AI가 음악을 만들어주는데, 사람은 무엇을 해야 할까?

AI 음악 만들기를 시작했을 무렵, 유튜브에서 흥미로운 프로그램 하나를 본 적이 있습니다.

Suno에서 음악을 만드는 과정을 자동화해주는 프로그램이었습니다.

여러 곡을 만들 때 제목과 가사, 스타일을 하나씩 입력하고 생성하는 과정을 상당 부분 프로그램이 대신 처리해주는 방식이었습니다.

관심이 생겨 알아보니 그 프로그램은 유료 강좌를 운영하는 유튜버가 자신의 강좌 회원들에게 제공하는 도구였습니다.

그때 이런 생각이 들었습니다.

“이것도 내가 직접 만들어볼 수 있지 않을까?”

마침 유튜브 채널을 운영하면서 반복되는 작업을 줄이기 위한 자동화 도구에 관심을 갖기 시작하던 때였습니다.

그래서 Claude와 함께 Suno 음악 제작을 자동화하는 프로그램도 한번 만들어보기로 했습니다.

Suno 자동화를 직접 만들어보려 했습니다

제가 생각했던 방식은 꽤 단순했습니다.

앨범이나 플레이리스트의 주제를 정하면 AI가 여러 곡의 제목을 만들고, 필요한 경우 가사를 작성하고, 각 곡에 맞는 스타일을 정합니다.

그리고 그 정보를 이용해 Suno에서 곡을 차례로 생성하는 방식이었습니다.

잘만 된다면 여러 곡을 만들 때 반복되는 입력 작업을 상당히 줄일 수 있을 것 같았습니다.

그런데 막상 만들어보려니 생각하지 못했던 문제들이 있었습니다.

Suno를 사용하다 보면 사람인지 확인하는 절차가 나타나는 경우가 있었고, 웹사이트 화면을 프로그램이 계속 대신 조작하는 방식으로 안정적인 자동화를 만드는 것이 생각처럼 간단하지 않았습니다.

외부 프로그램에서 안정적으로 연결하려면 공식적으로 지원되는 연동 방식이 있는지도 확인해야 했습니다.

결국 이 프로그램은 만들다가 일단 멈췄습니다.

당시에는 기술적인 문제가 가장 큰 이유였습니다.

그런데 시간이 지나 Rain on Porcelain에서 음악을 만드는 방향을 조금씩 잡아가면서 생각이 달라졌습니다.

처음에는 좋은 음악을 여러 곡 만들어 하나의 플레이리스트로 구성하는 것에 가까웠습니다.

하지만 작업을 계속하면서 점차 각각의 주제와 흐름을 가진 하나의 앨범을 만드는 방식으로 방향이 잡히기 시작했습니다. 그 과정은 Album Diary의 첫 번째 이야기에도 따로 기록해두었습니다.

그리고 실제로 앨범을 하나씩 만들어보니 알게 되었습니다.

Suno 자동화를 끝까지 만들지 않은 것이 오히려 잘된 일이었을지도 모르겠다고.

기술적으로 가능하느냐와는 별개로, 완전 자동화가 제가 음악을 만드는 방식과는 잘 맞지 않았기 때문입니다.

생성 버튼을 누른다고 곡이 완성되는 것은 아니었습니다

Suno에서 음악을 만들면 결과물이 나옵니다.

하지만 결과물이 나왔다는 것과 앨범에 사용할 수 있는 곡이 완성됐다는 것은 전혀 다른 이야기였습니다.

우선 생성된 곡이 정상적인지부터 확인해야 했습니다.

3분 정도의 곡을 생각하고 만들었는데 어떤 결과물은 1분도 되지 않아 끝나버리기도 했습니다.

반대로 7분이 넘는 파일이 만들어진 적도 있습니다. 실제로 음악이 7분 이상 정상적으로 이어지는 경우도 있었지만, 어떤 때는 음악이 중간에 이미 끝났는데도 파일만 계속 이어져 뒷부분이 비어 있는 비정상적인 결과가 나오기도 했습니다.

그런 곡은 당연히 다시 만들어야 했습니다.

하지만 정상적인 길이로 만들어졌다고 해서 바로 사용할 수 있는 것도 아니었습니다.

정상적인 곡과 마음에 드는 곡도 달랐습니다

AI에게 원하는 장르와 분위기, 악기와 템포를 설명했다고 해서 언제나 제가 생각했던 음악이 나오는 것은 아니었습니다.

생각했던 것보다 템포가 빠를 수도 있고, 반대로 지나치게 느릴 수도 있습니다.

원했던 악기보다 다른 악기가 더 두드러지는 경우도 있었습니다.

차분한 분위기를 생각했는데 예상하지 않았던 강한 악기가 곡의 중심에 등장하기도 했습니다.

같은 조건으로 곡을 만들어도 결과는 매번 조금씩 달랐습니다.

둘 중 하나는 마음에 들고, 다른 하나는 그렇지 않은 경우도 많았습니다.

그렇다고 마음에 들지 않는 이유를 언제나 정확하게 설명할 수 있는 것도 아니었습니다.

그냥 처음부터 몇 소절을 듣고,

“이건 아닌 것 같은데.”

싶을 때도 있었습니다.

반대로 처음 생각했던 방향과 조금 다르게 나왔는데 계속 듣다 보니 오히려 더 마음에 드는 곡도 있었습니다.

결국 직접 들어봐야 했습니다.

좋은 곡이라고 모두 앨범에 들어가는 것도 아니었습니다

앨범을 만들기 시작하면서 또 하나 알게 된 것이 있습니다.

곡 하나만 놓고 들었을 때는 충분히 괜찮은데, 앨범에 넣으려고 하면 맞지 않는 경우가 있다는 것입니다.

앞에서 선택한 곡과 시작 부분이 너무 비슷할 수도 있습니다.

비슷한 악기와 전개가 연속해서 나오거나, 전체적인 템포와 분위기가 겹칠 수도 있습니다.

반대로 한 곡만 유난히 튀어서 앨범 전체의 흐름을 깨는 경우도 있습니다.

그럴 때는 곡 자체가 나빠서 제외하는 것이 아닙니다.

좋은 곡인가와 이 앨범에 필요한 곡인가는 다른 문제였습니다.

앨범을 만들면서 저는 자연스럽게 세 가지를 따로 생각하게 되었습니다.

정상적으로 만들어진 곡인가.

내가 듣기에 좋은 곡인가.

그리고 지금 만들고 있는 앨범에 어울리는 곡인가.

AI가 음악을 생성해줄 수는 있었지만, 그다음부터는 계속 듣고 비교하고 판단해야 했습니다.

그리고 여러 곡을 하나의 앨범으로 묶으려면 한 곡씩 따로 판단하는 것만으로도 부족했습니다.

앞곡 다음에 이 곡이 오는 것이 자연스러운지, 비슷한 곡이 한쪽에 몰려 있지는 않은지, 처음부터 마지막까지 들었을 때 하나의 분위기가 이어지는지도 다시 들어봐야 했습니다.

제가 처음 생각했던 음악 자동화에는 이런 과정이 들어 있지 않았습니다.

무엇을 남길지는 AI가 정해주지 않았습니다

처음에는 이런 과정까지 모두 자동화하면 앨범을 훨씬 빨리 만들 수 있을 것이라고 생각했습니다.

물론 일부는 자동화할 수도 있을 겁니다.

예를 들어 파일 길이처럼 수치로 확인할 수 있는 부분이나 명백한 오류는 프로그램으로 어느 정도 걸러낼 수 있을지도 모릅니다.

하지만 길이가 정상이라고 좋은 곡인 것은 아닙니다.

원했던 스타일과 얼마나 가까운지를 어떤 기준으로 숫자로 정해야 할지도 애매합니다.

더 어려운 것은 음악을 들었을 때 느껴지는 작은 차이였습니다.

앞곡과 너무 비슷한지, 앨범의 흐름에 어울리는지, 처음 예상했던 방향과 조금 다르지만 그래도 남기고 싶은 곡인지.

이런 것까지 자동화하려고 생각하다 보니 오히려 다른 질문이 생겼습니다.

“나는 왜 이 과정까지 자동화하려고 하는 걸까?”

그때부터 생각이 조금 달라졌습니다.

AI는 음악을 만들어주었지만, 무엇을 남길지는 정해주지 않았습니다.

그리고 어쩌면 그 선택이 제가 해야 할 가장 중요한 일인지도 모르겠다는 생각이 들었습니다.

자동화할 수 있는 것과 자동화해야 하는 것은 달랐습니다

Creator Lab의 Tools & Workflow 첫 글에서 저는 이런 질문을 던졌습니다.

“내가 판단해야 하는 일은 내가 하고, 반복되는 일은 컴퓨터에게 맡길 수 없을까?”

그 생각은 지금도 같습니다.

영상을 업로드하고, 같은 정보를 반복해서 입력하고, 정해진 절차를 다시 수행하는 일처럼 컴퓨터가 대신해도 결과가 크게 달라지지 않는 작업은 가능한 한 줄여보고 싶습니다.

그렇게 아낀 시간을 사람이 직접 해야 하는 일에 쓰고 싶기 때문입니다.

그런데 음악을 만들면서는 그 경계를 조금 다르게 보게 되었습니다.

AI에게 음악을 만들어달라고 요청하는 것은 괜찮습니다.

AI의 도움을 받아 곡의 제목이나 가사, 스타일을 고민하는 것도 괜찮습니다.

하지만 결과를 직접 듣고, 어떤 곡을 남길지 결정하고, 필요하면 다시 만들고, 여러 곡을 하나의 앨범으로 구성하는 과정까지 모두 넘겨주고 싶지는 않았습니다.

처음 Suno 자동화 프로그램을 봤을 때는 여러 곡을 빠르게 만들어주는 것 자체가 매력적으로 보였습니다.

하지만 제가 만들고 싶은 것이 단순히 많은 곡이 아니라 하나의 방향을 가진 앨범이라는 것이 분명해지면서, 자동화에 대한 생각도 달라졌습니다.

적어도 지금은 그렇습니다.

반복되는 과정은 줄이되, 선택과 판단까지 자동화하지는 않는 것.

그것이 지금 제가 AI로 음악을 만들면서 정한 기준입니다.

AI 음악 만들기, 아직 답을 찾아가는 중입니다

AI로 음악을 만들기 시작한 지도 아직 오래되지 않았습니다.

앞으로 기술이 더 좋아지면 지금 어렵다고 생각하는 일들도 훨씬 쉽게 자동화할 수 있을 것입니다.

제 생각 역시 달라질 수 있습니다.

그래서 이 글에서 AI 음악은 이렇게 만들어야 한다는 답을 내리고 싶은 것은 아닙니다.

오히려 Rain on Porcelain의 앨범을 하나씩 만들어보면서 제가 어떤 선택을 했고, 왜 생각이 바뀌었는지를 기록해두고 싶습니다.

Creator Lab의 AI & Music에서는 앞으로 이런 이야기를 조금 더 구체적으로 다뤄보려고 합니다.

Suno에게 원하는 음악을 어떻게 설명하고 있는지.

같은 조건에서도 왜 결과가 달라지는지.

여러 결과 가운데 어떤 곡을 선택하고, 언제 다시 만드는지.

그리고 여러 곡을 어떻게 하나의 앨범으로 묶어가는지.

직접 음악을 만들면서 알게 된 것들을 하나씩 정리해보겠습니다.

그리고 지금까지 제가 얻은 첫 번째 답은 의외로 단순합니다.

AI가 음악을 만드는 시대에도, 결국 들어야 하는 사람은 사람이라는 것입니다.