로컬 음성 인프라 마이그레이션
음성 생성을 클라우드 비용에서 로컬 속도로 옮기기.
클라우드에 올라가 있던 음성 모델을 로컬 추론으로 옮긴 작업입니다. 음질은 그대로 두면서 속도, 비용, 다국어 유연성을 개선했습니다.
문제
기존 클라우드 음성 스택은 품질은 좋았지만, 비용도 레이턴시도 언어도 죄다 제약이었습니다. 중국어 출력은 잘했지만, 같은 목소리를 그대로 유지하면서 여러 언어로 캐릭터를 연기시킬 만한 유연함은 없었습니다.
Role: 아키텍처 기획 · 어댑터 구현 · API 호환성 담당 · 롤아웃 리드
클라우드 → 로컬
클라우드 음성 스택
품질은 좋지만 중국어에 묶여 있고, 쓸 때마다 비용과 네트워크 레이턴시가 따라옵니다.
로컬 추론
언어가 바뀌어도 같은 목소리를 유지하면서, 더 빠르고 더 저렴하게 동작합니다.
담당한 일
실제로 한 일.
클라우드에서 로컬 런타임으로 옮기는 마이그레이션 아키텍처를 설계했습니다.
기존 API 규약을 중심으로 인터페이스와 호환성 레이어를 맞췄습니다.
스피커 매핑, 레이턴시 제약, 품질 체크, 롤아웃 계획을 담당했습니다.
음성 모델 자체의 학습과 동작 튜닝만 빼고, 마이그레이션 작업 거의 전부를 맡았습니다.
AI 협업 거버넌스
수십 개 오픈소스 모델에서 맞는 하나를 골라낸 건 제가 하나하나 들어보며 감으로 고른 게 아니라, "어떻게 평가할지"를 AI가 스스로 돌리는 파이프라인으로 설계했기 때문입니다. 이 페이지는 대규모 모델 선정을 어떻게 거버넌스했는가의 기록입니다.
거버넌스 사례
일차 증거 열기
AI의 몸에 밴 습성
음성 품질 평가는 본질적으로 주관적입니다: 감정 기복이 충분한지, 대만 억양이 진짜인지 — 하나하나 청취는 느리고 일관성이 없으며, 수십 개 오픈소스 모델 사이에서는 제대로 비교할 수 없습니다. AI 협업이 가장 "감"에 빠지기 쉬운 지점입니다.
내가 세운 거버넌스 장치
여러 sub-agent를 움직여 자동 평가 파이프라인을 구축. 주관적 음질 판단을 교차 검증 가능한 지표로 분해하고, 수십 개 모델 사이에서 일관된 비교를 돌렸습니다 — 제 귀에만 기대지 않고.
협업으로 풀린 가치
"극히 제한된 로컬 연산 자원에서 풍부한 감정 기복과 조절 가능성을 동시에 지키는" 것을 실행 가능한 공정으로 만들었습니다. 최종 선정 모델은 파이프라인이 떠올린 것이지, 어림짐작이 아닙니다.
AI의 몸에 밴 습성
기반 추론 엔진을 바꿀 때 AI는 "새것이 돈다"만 신경 쓰고, 옛 API 계약·speaker 매핑·지연 가정에 의존하는 수많은 하류를 놓치기 쉽습니다 — 하나 바꾸면 전체가 터집니다.
내가 세운 거버넌스 장치
이전을 기존 API 계약 주위에 가두었습니다: 호환 계층을 더하고, speaker 매핑과 지연 제한을 명시적으로 처리하고, 단계적 롤아웃을 계획. 기반은 클라우드에서 로컬로 옮겨가되 상위 계층에는 무감했습니다.
협업으로 풀린 가치
7개 성우 라인의 클라우드 비용이 월 약 9만 대만달러에서 거의 0으로. 동시에 상위 시스템은 이 이전을 위해 다시 쓸 필요가 없었습니다 — 안정성을 대가로 치르지 않은 비용 절감입니다.
성과
비용 절감
로컬 추론으로 바꾸면서 음성 런타임이 클라우드 사용에 묶이지 않게 됐습니다.
레이턴시 개선
생성을 런타임 바로 옆으로 옮겨서, 캐릭터와 대화하는 상황에서 반응이 더 좋아졌습니다.
언어가 바뀌어도 같은 목소리
로컬 모델은 언어가 달라져도 같은 캐릭터 목소리를 유지할 수 있어서, 원래 중국어만 되던 데서 쓸 수 있는 폭이 크게 넓어졌습니다.