버츄얼 모델 렌더링 품질 향상 기록
·
개발 프로젝트
EC2 배포 환경 렌더링 속도 확인인프라 담당 팀원분이 열심히 해주신 결과 배포 환경에서도 CSR 렌더링 모델 'JUN'을 띄울 수 있었습니다.렌더링 시간은 5.81S 인것을 볼 수 있습니다. 렌더링 품질에 대해 더 높이고 싶은 욕심이 생겼습니다.뭔가 지금 렌더링은 three.js 방식의 본연의 의미인 3d 렌더링에만 충실한 느낌이 들었습니다. 공식 문서 확인이를 위해 현재 fbxloader 방식이 문제가 있다고 판단하고 고품질의 2D 느낌의 렌더링 방법을 구글링 해보았습니다. FBXLoader는 VRM 특유의 toon 스타일, 쉐이더, 물리 설정을 무시하고 단순 메쉬로만 렌더링하기 때문에, 퀄리티가 낮아지고 3D 정보만 남는 것처럼 보입니다. VRM은 glTF 기반 확장 형식으로, 애니메이션 외..
WebRTC P2P vs SFU 버츄얼 개발 프로젝트 (Nest.js 2편)
·
개발 프로젝트
요구사항유저는 AI 버튜버와 1대1 채팅을 할 수 있고 AI 버튜버의 목소리와 반응을 볼 수 있는 서비스입니다. LLM& TTS 모델을 이용해 감정 별로 삽입해 놓은 이미지와 매칭시켜 감정에 따라 이미지가 출력되게는 성공했습니다. 그러나 팀원들과 저는 이에 멈추지 않고 실제 영상으로 출력하는 서비스를 원했고, 더 도전하기로 했습니다. 춤추기 노래부르기 등 큰 액션보다 소소하게 대화할 수 있는 모델을 행동 범위를 정해놓고 개발하기로 했습니다. 말을 할 때 좌우로 고개를 흔든다거나 인사할 때 손 흔드는 정도만 정했습니다. 잠시 후 시도해주세요 뜨는 것은 비용 때문에 TTS를 개발 단계에서 막아놨기 때문입니다 버츄얼 모델 렌더링을 어디서 하는게 최선인가? 크게 UNITY & WebRTC 로 서버에서 렌더링..