← Work / XR · Technical Art02 / 14
DDP AI 가상피팅(VTON) 키오스크
AI VTON (Virtual Try-On) Kiosk, DDP
Period
2024.10 - 2025.1
Role
AI책임자
Affiliation
Bibimble · DDP
Category
Generative AI
생성형 AI를 이용한 가상피팅(VTON) 키오스크 제작 프로젝트입니다. ComfyUI에서 SAM, FLUX-redux, IC-Light 등을 조합해 자연스러운 가상피팅 기능을 자체적으로 구현했습니다.
모든 AI 모델을 로컬에서 실행하면 GPU 메모리 부족과 대기시간 문제가 생기고, 반대로 전부 서버에서 돌리면 고성능 GPU 서버 유지비 부담으로 수익성이 악화되는 딜레마가 있었습니다. 이미지 AI와 프롬프팅 처리는 로컬에서, 영상 AI 처리는 외부 API로 분리하는 방식으로 타협점을 찾았고, 로컬 실행 모델은 품질을 유지하는 선에서 최대한 경량화해 대기시간을 단축했습니다.
다수의 영상 생성 AI 서비스를 품질, 생성시간, 라이선스 비용 기준으로 비교 검증한 뒤 RunwayAI사의 GEN-3 Turbo 모델을 최종 선정해 API로 연동했습니다. 결과물 품질을 제어하기 위해 다회의 테스트로 히든 프롬프트를 추출해 삽입했으며, 백그라운드 이미지 전처리와 프론트 프롬프팅을 병렬화하는 방식으로 체감 대기시간을 3분에서 1분으로 대폭 줄였습니다.
Contributions
VTON(Virtual Try On) 구현
- —ComfyUI에서 SAM, FLUX-redux, IC-Light 등을 이용하여 자연스러운 가상피팅(VTON) 기능을 자체적으로 구현
리소스-비용 최적화
- —모든 AI모델을 로컬에서 실행할 경우 GPU메모리 부족 및 대기시간 악화 문제 발생
- —모두 서버에서 실행할 경우 고성능 GPU서버 유지비용 부담에 따른 수익성 악화 문제 발생
- —타협점으로 이미지AI 및 프롬프팅 처리는 로컬에서, 영상AI 처리는 외부에서 실행하도록 분리
- —결과물 품질을 유지하는 선에서 로컬 실행 AI 모델을 최대한 경량화하여 대기시간 단축
영상화AI 모델 검증
- —각종 영상AI 서비스의 품질, 생성시간, 라이센스 비용 등을 비교하고 검증
- —최종적으로 RunwayAI사의 GEN-3 Turbo 모델을 선정하여 API로 연동
히든 프롬프팅
- —결과물 품질 제어를 위해 다회의 테스트를 거쳐 히든 프롬프트를 추출하고 이를 삽입
UX 개선
- —백그라운드에서 이미지 전처리가 진행되는 동안 프론트에서는 사용자 요구를 프롬프팅할 수 있도록 플로우를 개편
- —체감 대기시간을 대폭(3분→1분) 줄이고 사용자 경험을 개선
