
WebRTC P2P vs SFU 버츄얼 개발 프로젝트 (Nest.js 2편)
·
개발 프로젝트
요구사항유저는 AI 버튜버와 1대1 채팅을 할 수 있고 AI 버튜버의 목소리와 반응을 볼 수 있는 서비스입니다. LLM& TTS 모델을 이용해 감정 별로 삽입해 놓은 이미지와 매칭시켜 감정에 따라 이미지가 출력되게는 성공했습니다. 그러나 팀원들과 저는 이에 멈추지 않고 실제 영상으로 출력하는 서비스를 원했고, 더 도전하기로 했습니다. 춤추기 노래부르기 등 큰 액션보다 소소하게 대화할 수 있는 모델을 행동 범위를 정해놓고 개발하기로 했습니다. 말을 할 때 좌우로 고개를 흔든다거나 인사할 때 손 흔드는 정도만 정했습니다. 잠시 후 시도해주세요 뜨는 것은 비용 때문에 TTS를 개발 단계에서 막아놨기 때문입니다 버츄얼 모델 렌더링을 어디서 하는게 최선인가? 크게 UNITY & WebRTC 로 서버에서 렌더링..