바다

콜포비아 극복을 위한 AI 기반 전화 훈련 서비스

문제정의

최근 MZ세대를 중심으로 메신저 기반 소통을 선호하는 문화가 확산되면서, 단순한 소통 방식의 변화에 그치지 않고 전화 통화 자체에 대한 불안과 두려움을 느끼는 사람들이 꾸준히 증가하고 있습니다.

이러한 현상을 콜포비아(Call Phobia) 또는 전화공포증이라고 하며, 전화를 걸거나 받을 때 극심한 긴장감과 불안으로 인해 통화를 기피하는 심리적 현상을 의미합니다.

특히 취업 준비생은 지원·면접 관련 전화를 미루거나 포기하고, 사회초년생은 업무 전화를 두려워해 실수를 걱정하며, 대학생은 병원 예약이나 문의 전화와 같은 일상적인 통화조차 부담을 느끼는 등 다양한 어려움을 겪고 있습니다. 실제로 MZ세대의 콜포비아 경험 비율은 29.9%에서 35.6%로 증가했으며, 신입사원의 39.4%가 전화벨이 울리는 순간을 가장 두려운 상황 중 하나로 꼽았습니다. 이는 구직 기회를 놓치거나 업무 적응에 어려움을 겪는 등 다양한 사회적 문제로 이어질 수 있습니다.

하지만 실제 전화 상황을 부담 없이 반복 연습하며 전화 불안을 극복할 수 있는 서비스는 없습니다. 대부분의 AI 대화 서비스는 외국어 회화나 면접 연습에 초점을 맞추고 있어, 전화 상황 자체에 익숙해질 수 있는 훈련 환경이 부족합니다.

MZ세대 콜포비아 현황 (알바천국, MZ세대 1,496명)

출처: 전화 통화 시 긴장, 불안, 두려움 느껴…알바 구직도 문자, 채팅으로! 알바천국, 콜 포비아 MZ세대 늘었다

• 콜포비아 증상 경험 비율 29.9% → 35.6% (1년 만에 5.7%p 증가)
• 텍스트 기반 소통 선호 61.4% → 70.7%
• 전화가 가장 부담스러운 상황
  • 구직 관련 전화 (72.8%)
  • 업무상 전화 (60.4%)
  • 문의 전화 (44.5%)
  • 예약·취소 전화 (39.2%)
  • 배달 주문 전화 (34.3%)

신입사원이 가장 두려워하는 상황 (잡코리아)

출처: 연합 뉴스 신입사원이 가장 두려운 것…선배호출 그리고 전화벨

• 전화벨이 울릴 때 긴장한다 39.4%
• 업무 중 전화 실수 경험 26.8%
• 기업이 원하는 역량 1위
  • 협업 및 커뮤니케이션 능력 (77.7%)

콜포비아 시장 확대 (중앙일보)

출처: 중앙일보 전화하면 문자로 "부장님, 왜?"…콜포비아 과외 1시간 10만원

• 콜포비아 극복을 위한 비즈니스 스피치 과외가 시간당 3만~9만 9천 원 수준으로 운영될 만큼 관련 수요가 증가하고 있습니다.

아키텍처

사용 스택

FrontEnd

분야	기술
Framework	React Native (Expo)
Language	TypeScript
Audio	expo-av, react-native-audio-record
Network	Axios, WebSocket
Form	React Hook Form

React Native(Expo)와 TypeScript를 기반으로 모바일 애플리케이션을 개발했습니다. Axios를 이용한 서버 통신과 WebSocket 기반 실시간 음성 스트리밍을 구현했으며, React Hook Form을 활용해 사용자 입력 검증과 인증 흐름을 구성했습니다.

BackEnd

분야	기술
Backend	Spring Boot, FastAPI
Language	Java, Python
Database	PostgreSQL, Redis
AI	Gemini, Claude, OpenAI
Speech	Google Cloud Speech-to-Text, ElevenLabs, Qwen3-TTS
Infra	Docker, GitHub Actions, AWS EC2, AWS S3

Spring Boot는 회원 관리, 인증, 자가진단, 훈련 기록 등 핵심 비즈니스 로직을 담당하며, FastAPI는 AI 음성 처리 파이프라인을 담당합니다.

사용자의 음성을 STT로 변환하고 Gemini가 전화 상황에 맞는 대화 응답을 생성합니다. 생성된 응답은 Qwen3-TTS 또는 ElevenLabs를 통해 음성으로 출력됩니다.

Claude는 커스텀 시나리오, 예시 대화, 이미지 생성용 장면 묘사를 생성하며, OpenAI는 Spring 서버에서 자가진단 결과 요약에 사용됩니다.

실행방법

Google Play Store

앱 다운로드 링크
설치 후 실행

AI 사용 내역

구분	활용 내용
실시간 대화	사용자 발화와 전화 상황에 맞는 응답 생성
시나리오 생성	사용자 맞춤형 전화 상황과 단계별 대화 목표 생성
예시 대화 생성	커스텀 시나리오의 모범 전화 대화를 생성하고 음성으로 제공
시나리오 삽화 생성	시나리오를 장면 묘사로 변환한 뒤 삽화 이미지 생성
음성 인식	사용자의 음성을 텍스트로 변환(STT)
음성 합성	AI 응답과 예시 대화를 음성으로 출력(TTS)
참조 음성 기반 합성	Qwen3-TTS로 참조 음성의 특성을 반영한 음성을 생성하고 스트리밍
통화 피드백	목소리 떨림·침묵 등 음성 분석 결과와 대화 내용을 활용해 구간별 피드백 생성
커뮤니티 콘텐츠 검사	게시글의 유해 콘텐츠 여부 판별
자가진단 결과 요약	Spring 서버에서 자가진단 응답을 종합해 전화 통화 성향 요약

개발 과정의 AI 활용

도구	활용 내용
Claude	기능 구현, 오류 수정, 테스트 코드 작성 보조
Claude Code	FastAPI 저장소의 GitHub Pull Request 자동 코드 리뷰

사용한 AI 모델

구분	모델	용도
LLM (실시간 대화·피드백)	Gemini 3.5 Flash Lite	전화 대화 응답 스트리밍, 워밍업, 구간 피드백 생성
LLM (콘텐츠 검사)	Gemini 3.5 Flash Lite	커뮤니티 게시글의 유해 콘텐츠 판별
LLM (시나리오·콘텐츠 생성)	Claude Sonnet 4	커스텀 시나리오, 예시 대화, 이미지 생성용 장면 묘사 생성
LLM (자가진단 요약)	GPT-4o-mini	Spring 서버의 콜포비아 자가진단 결과 요약
이미지	Gemini 2.5 Flash Image	시나리오 삽화 생성
STT	Google Cloud Speech-to-Text (chirp_3)	사용자 음성 인식
STT (선택형)	gemini-3.5-transcribe-live	Gemini Live 기반 음성 인식
TTS	ElevenLabs Flash v2.5	대화 및 예시 대화 음성 합성
TTS	Qwen3-TTS-12Hz-1.7B-Base	참조 음성 기반 합성, 실시간 스트리밍, 예시 대화 음성 생성

실험·평가에 사용한 AI 모델

구분	모델	용도
대화형 TTS	sesame/csm-1b	한국어 대화형 음성 합성 학습·추론 실험
음성 코덱	kyutai/mimi	CSM 실험의 음성 인코딩·디코딩
음성 품질 평가	UTMOS (utmos22_strong)	합성 음성의 품질 평가
화자 유사도 평가	WavLM-large SV / UniSpeech	참조 음성과 합성 음성의 화자 유사도 평가
화자 유사도 평가 (대체 경로)	microsoft/wavlm-base-plus-sv	선택 가능한 화자 유사도 평가

CSM은 실험 후 운영 적용을 보류했습니다. 위 실험·평가 모델은 서비스용 모델과 구분해 기록합니다.

사용한 데이터셋

데이터셋	출처	용도
한국어 음성	AI 허브	CSM 대화형 음성 합성 학습 실험, 합성 품질 평가 문장
상담 음성	AI 허브	CSM 대화 문맥 학습 실험, 평가
감정이 태깅된 자유대화 (성인)	AI 허브	CSM 재학습 실험, 시나리오 화자별 참조 음성 후보 추출·청취 평가
The Korean Corpus of Spontaneous Speech (Seoul Corpus)	OpenSLR (SLR113)	젊은 남성 화자 칸의 Qwen3-TTS 참조 음성

이 프로젝트는 과학기술정보통신부의 재원으로 한국지능정보사회진흥원의 지원을 받아 구축된 "한국어 음성", "상담 음성", "감정이 태깅된 자유대화 (성인)"을 활용하여 수행되었습니다. 활용된 데이터는 AI 허브(aihub.or.kr)에서 다운로드할 수 있습니다.

AI 허브 데이터 이용정책에 따라 이 저장소에는 데이터 원본과 원본을 자르거나 가공한 음성·전사를 포함하지 않습니다. scripts/csm_experiments, scripts/tts_bench의 데이터 처리 스크립트를 실행하려면 AI 허브에서 이용 승인을 받아 데이터를 직접 내려받아야 합니다.

젊은 남성 화자 칸의 참조 음성은 Seoul Corpus 화자 s11의 발화 일부(약 10초)를 잘라 잡음을 정리해 사용합니다. 출처: Yun, W., Yoon, K., Park, S., Lee, J., Cho, S., Kang, D., Byun, K., Hahn, H., Kim, J. (2015). The Korean Corpus of Spontaneous Speech. Journal of the Korean Society of Speech Sciences, 7(2), 103–109. Seoul Corpus는 CC BY-NC 2.0 라이선스를 따르며 비상업적 목적으로만 이용합니다. 이 저장소에는 해당 음성을 포함하지 않습니다.

License

This project is licensed under the MIT License.
See the LICENSE file for details.

오픈소스 패키지

FastAPI 서버

구분	패키지
웹	fastapi, uvicorn[standard], starlette, pydantic, pydantic-settings
인프라	redis[hiredis]
DB	sqlalchemy[asyncio], asyncpg
통신	httpx, websockets, boto3
AI SDK	google-cloud-speech, google-genai, anthropic, elevenlabs
음성 분석·처리	librosa, scipy, numpy
녹음 암호화	cryptography
인증·로깅	PyJWT, python-json-logger
개발·테스트	pytest, pytest-asyncio, aiosqlite, ruff, sounddevice, soundfile

GPU TTS 서버

구분	오픈소스
음성 합성	Qwen3-TTS (qwen_tts)
스트리밍·추론 최적화	dffdeeq/Qwen3-TTS-streaming
모델 실행	PyTorch (torch), transformers
오디오 처리	torchaudio
Attention 최적화	flash-attn

Qwen3-TTS는 Qwen/Qwen3-TTS-12Hz-1.7B-Base 모델을 사용합니다. 스트리밍 구현에는 dffdeeq/Qwen3-TTS-streaming 포크를 활용했습니다.

음성 분석 외부 프로그램·코드

구분	오픈소스	활용 내용
음성 분석 프로그램	Praat	음성 분석 스크립트 실행
음성 떨림 분석	tremor.praat 3.05	음성 떨림 지표 및 AVTI 분석

tremor.praat 3.05는 GNU GPL v3를 따릅니다. 관련 코드와 라이선스 원문은 vendor/tremor3.05에 포함되어 있습니다.

실험·평가 코드

구분	오픈소스
대화형 음성 합성	CSM (sesame/csm-1b)
음성 코덱	Mimi (kyutai/mimi)
학습 최적화	bitsandbytes
음성 품질 평가	SpeechMOS / UTMOS
화자 유사도 평가	UniSpeech / WavLM
동시 요청 실험	requests

Spring 서버

구분	패키지
웹·검증	Spring Boot, Spring Web, Spring Validation
인증·보안	Spring Security, Spring OAuth2 Client, JJWT
DB	Spring Data JPA, Spring Data Redis, PostgreSQL JDBC
쿼리	QueryDSL
코드 생성	Lombok, QueryDSL APT, Jakarta Annotation API, Jakarta Persistence API
API 문서	springdoc-openapi
메일·템플릿	Spring Mail, Thymeleaf
AI SDK	OpenAI Java SDK
AWS 연동	AWS SDK for Java v2 (S3, KMS)
푸시 알림	Firebase Admin SDK
테스트	Spring Boot Test, Spring Security Test, JUnit Platform

외부 자문

서비스의 신뢰성과 실효성을 높이기 위해 미디어 심리학자 조연주 대표님으로부터 프로젝트 전반에 대한 자문을 받았습니다.

주요 자문 내용

• 자가진단 문항 검토
  • 자가진단 문항이 콜포비아의 심리적 기제를 적절히 측정하는지 신뢰도와 타당성을 검토
• 훈련 솔루션 제언
  • 전화에 대한 불안뿐 아니라 감정을 스스로 인식하고 주체적으로 대처할 수 있도록 심리적 훈련 설계에 대한 의견 제공
• 지속적인 피드백
  • 프로젝트 진행 과정에서 심리학적 관점과 사용자 경험(UX)에 대한 지속적인 자문 제공

저장소 구조

Fast API - 현재 저장소
바다의 AI 서버로 실시간 음성 인식(STT), LLM 기반 대화 생성, 음성 합성(TTS)과 같은 AI 전화 훈련 파이프라인을 담당합니다.
https://github.com/ChickenMayoDeopbab/BADA_FASTAPI_SERVER

App
React Native(Expo) 기반 모바일 애플리케이션입니다.
https://github.com/ChickenMayoDeopbab/BADA_APP

Spring Server
백엔드 서버로 핵심 비즈니스 로직과 API를 담당합니다.
https://github.com/ChickenMayoDeopbab/BADA_SPRING_SERVER