AI로 영상은 뽑았는데 배경음악에서 막히는 분들이 많습니다. 스톡 음원은 라이선스 확인이 번거롭고, Suno 같은 유료 서비스는 구독료가 또 나갑니다. 지난 9월 15일 ComfyUI v0.36.0에 오픈소스 음악 생성 모델 YuE2가 네이티브로 들어오면서, 이제 내 PC에서 크레딧 걱정 없이 배경음악을 뽑을 수 있게 됐습니다. 이번 글은 템플릿 불러오기부터 영상에 붙이는 것까지 실제 순서대로 정리합니다.
YuE2가 뭔가요
YuE2는 Multimodal Art Projection(MAP) 팀이 공개한 3B 파라미터 오픈소스 음악 생성 모델입니다. 특징은 두 가지입니다. 첫째, 소리를 바로 만드는 게 아니라 먼저 ABC 표기법으로 악보 플랜(멜로디·코드)을 쓰고, 그걸 바탕으로 48kHz 스테레오 오디오를 만듭니다. 악보가 텍스트라서 중간에 사람이 고칠 수 있다는 게 다른 모델과의 결정적 차이입니다. 둘째, 품질이 오픈소스치고 상당합니다. WildSongBench 벤치마크에서 6.96점으로 Suno v5(6.87점)를 근소하게 앞섰다는 게 공개 자료의 수치입니다. 곡 길이는 최대 900초(15분)까지 지원합니다.
준비물: 버전과 모델 파일
ComfyUI v0.35.0 이상이면 돌아가고, 9월 21일 v0.37.0부터는 YuE2 Generate Music 노드에 CFG 조절이 추가됐으니 업데이트하고 시작하는 걸 권합니다. 모델 파일은 하나면 됩니다.
- 체크포인트:
yue2_3b_int8_convrot.safetensors(int8 양자화, 약 3.7GB) →ComfyUI/models/checkpoints/ - 오디오 인코더(커버 모드 쓸 때만):
sheetsage2_bf16.safetensors→ComfyUI/models/audio_encoders/
공식 리포는 24GB GPU를 기준으로 안내하지만, ComfyUI의 int8 체크포인트는 훨씬 가볍습니다. RTX 4080(16GB)에서 3분 16초짜리 곡을 95초 만에 뽑았다는 실측 사례가 공개돼 있습니다. 실시간보다 빠른 셈입니다.
워크플로우 4단계
1단계: 템플릿 불러오기
ComfyUI 템플릿 라이브러리에서 “YuE2: Text to Music”을 검색해 불러옵니다. 체크포인트 로더 → YuE2 Generate ABC → YuE2 Generate Music → VAE Decode → Save Audio로 이어지는 구성이 이미 연결돼 있어서 노드를 직접 짤 필요가 없습니다.
2단계: 스타일 프롬프트 쓰기
스타일 입력칸에는 언어, 장르, 보컬 특성, 템포(BPM), 악기를 순서대로 넣습니다. 공식 문서의 예시는 이렇습니다.
English, warm female vocal, contemporary pop, 96 BPM, piano, rounded electric bass, restrained drums, clear diction
영상 배경음악이라면 보컬 대신 분위기와 악기에 힘을 주는 식으로 바꾸면 됩니다. 예: lo-fi hip hop, 80 BPM, mellow electric piano, vinyl crackle, soft drums, calm night mood
3단계: 가사(또는 구조) 입력
가사 칸은 [Verse] [Chorus] [Bridge] [Outro] 같은 섹션 태그로 구조를 잡고 그 아래 가사를 씁니다. ABC 플랜 모드는 melody와 chords를 다 짜주는 full이 기본 권장값입니다. 실측 사례의 세팅은 스텝 32, max duration 240초, CFG 1이었습니다.
4단계: 생성 후 영상에 붙이기
Save Audio로 뽑은 트랙은 지난 글에서 다룬 Video Concatenate 노드의 오디오 오버라이드 입력에 그대로 연결하면 됩니다. 30초 클립 여러 개를 이어 붙이면서 배경음악까지 한 워크플로우 안에서 끝나는 구성입니다.
배경음악용 “보컬 없는 곡” 만들기 — 솔직한 현재 상태
영상 BGM에는 보컬 없는 인스트루멘털이 필요한데, 여기가 YuE2의 약점입니다. 현재 ComfyUI 노드에는 인스트루멘털 전용 옵션이 없습니다. 커뮤니티에서 쓰는 우회법은 두 가지입니다.
- 가사 칸에
[Instrumental]태그만 넣기: 장르에 따라 통할 때도 있지만, 1분쯤 지나면 보컬이 끼어드는 사례가 보고돼 있습니다. 복불복입니다. - ABC 플랜 직접 수정: YuE2 Generate ABC가 뽑은 악보 텍스트에서 Vocal 파트의 음표를 악기(Ins) 파트로 옮긴 뒤 Generate Music에 넣는 방법입니다. 음정·박자를 유지한 채 보컬 멜로디를 악기가 연주하게 되는데, 공식 리포도 9월 25일 업데이트에서 이 방식으로 인스트루멘털 생성을 지원하기 시작했습니다. 악보가 텍스트라는 YuE2 구조 덕에 가능한 우회입니다.
확실한 인스트루멘털이 매번 필요하다면 아직은 이 우회법을 감수하거나 다른 툴을 병행하는 게 현실적입니다.
v0.37.0 CFG 노드: 스타일 반영이 약할 때
생성된 곡이 프롬프트에 쓴 장르·악기를 잘 안 따라온다면 v0.37.0에서 추가된 cfg_scale을 만져볼 차례입니다. 기본값 1.0은 가이드 꺼짐이고, 1.01이 모델 원본의 가이드 세팅과 같습니다. 값을 올릴수록 프롬프트를 더 강하게 따르는 대신 소리가 부자연스러워질 수 있으니, 1.01에서 시작해 조금씩 올리며 비교하는 걸 권합니다.
정리
체크포인트 하나(3.7GB), 16GB GPU면 크레딧 없이 배경음악이 나옵니다. 스타일 프롬프트는 언어·장르·BPM·악기 순서, 인스트루멘털은 ABC 플랜 수정이 정공법, 스타일이 약하면 CFG 1.01부터. 2026년 9월 기준으로 오픈소스 음악 생성 중 영상 파이프라인에 붙이기 가장 좋은 조합입니다.
다음 행동: 아직 클립 병합 워크플로우를 안 만들었다면 ComfyUI로 30초 AI 클립 이어 붙이기부터 따라 하고, YuE2가 어떤 흐름으로 ComfyUI에 들어왔는지는 9월 넷째 주 주간 브리핑에서 확인하세요.