2017년 11월, 사단법인 코드가 연 커먼즈펍 두 번째 자리는 ‘음악과 데이터 그리고 인간’을 다뤘습니다. 행사는 “이 음악을 들으려면 바로 그곳에 있어야 한다”는 Ryan Holladay의 영상으로 시작했습니다. 이어 원트리즈 뮤직과 코클레어 AI가 발표했습니다.
이 글은 강연을 그대로 옮긴 속기록이 아닙니다. 당시 메모를 바탕으로 제가 발표 형식으로 다시 구성한 기록입니다. 회사 현황과 수치, 기술 성능은 2017년 발표에서 들은 내용이며 현재 상태를 확인하지 않았습니다.
공간에 맞는 음악을 고르는 일
원트리즈 뮤직은 마트·호텔·백화점 같은 공간의 음악을 선곡하고 송출하는 일을 소개했습니다. 브랜드가 다른 광고 음악, 이별을 떠올리게 하는 가사, 비속어나 비속어처럼 들리는 소리처럼 매장에서 피해야 할 조건도 말했습니다. 선곡은 취향만의 일이 아니었습니다. 업종, 제품 가격, 고객층, 영업시간, 날씨와 시즌, 장르와 템포, 가사와 음질 같은 정보가 함께 쓰였습니다.
발표에서는 이런 메타데이터와 현장 피드백을 쌓고, 음악의 리듬·키·템포·피치 등을 분석해 추천과 자동 선곡에 활용하려는 시도도 소개했습니다. 원문에 나온 주간 처리 수치나 음악이 체류·식사 속도에 미치는 효과는 이 기록만으로 검증할 수 없습니다.
소리에서 상황을 읽는 일
코클레어 AI는 음성의 문자를 받아쓰는 일 바깥에서, 환경음과 목소리의 다른 정보를 다루는 작업을 소개했습니다. 집·도로·마트의 소리를 구분하고, 같은 말도 어감에 따라 다르게 들리는 문제를 탐색한다고 했습니다.
‘음악, 인공지능을 켜다’ 프로젝트에서는 공간·인공지능 알고리즘·음악이라는 세 단어에서 출발해 반투명 육각형 공간과 생성 음악 ‘에트모’를 만들었습니다. 작은 음악 입자를 뮤지션이 만들고, 시스템이 환경음을 인식해 그 입자를 연주하도록 구성했다는 설명이 인상에 남았습니다. 배경에 묻히기보다 우리가 흘려보낸 소리를 다시 듣게 하고 싶었다고 했습니다.
두 발표는 서로 다른 일을 말했지만 한 질문에서 만났습니다. 음악을 데이터로 바꿀 때, 장소와 상황을 어떻게 잃지 않을 것인가. 한쪽은 매장의 조건과 피드백을 선곡에 넣었고, 다른 쪽은 환경의 소리를 생성 음악 안으로 불러들였습니다.
뒤이은 질의응답은 제대로 기록하지 못했습니다. 그래서 이 글은 행사의 전체 결론이 아니라 제가 붙잡은 두 발표의 윤곽입니다. 기계가 소리를 분류하고 고르는 이야기를 들은 뒤, 결국 남은 것은 인간이 어느 장소에서 무엇을 듣고 싶어 하는가라는 질문이었습니다.
공간을 위한 음악을 고르는 일
원트리즈 뮤직 발표는 매장 음악을 일종의 방송실처럼 설명했다. 당시 발표에 따르면 마트, 호텔, 백화점 같은 공간에 맞는 음악을 고르거나 제작해 송출하고, 성우 멘트와 TTS, 광고 음악 편성까지 다뤘다. 라임덕과 삼성 MILK 운영도 발표에 포함됐다. 이는 2017년 행사 메모이므로 서비스와 회사의 현재 상태를 뜻하지 않는다.
선곡에는 업종, 판매 제품과 가격, 고객층, 영업시간, 인구 밀도, 직영점과 가맹점, 날씨, 시즌, 매장이 추구하는 분위기 같은 정보가 쓰인다고 했다. 음악 자체에서는 장르, 분위기 태그, 템포, 가사의 언어와 뜻, 보컬의 성별과 유무, 인지도, 발매 시기, 음질·볼륨·스테레오 같은 저장 상태를 관리했다.
흥미로운 부분은 금기 목록이었다. 경쟁 브랜드의 광고 음악이 잘못 나가면 안 되고, `굿바이`나 이별처럼 매장이 꺼리는 가사, 비속어나 비속어처럼 들리는 소리도 걸러야 했다. 반복이 강한 곡을 버퍼링으로 오해한다는 항의도 있었다. 음악 데이터는 곡의 속성만이 아니라 실제 공간에서 받은 피드백과 사고 가능성을 포함했다.
당시 발표자는 느린 음악과 체류 시간 같은 관찰, 고가 매장의 클래식·뉴에이지 선호 등을 이야기했다. 이 글은 강연 메모를 재구성한 기록이므로 이런 관계를 검증된 인과로 확대하지 않는다. 어떤 공간에서 어떤 관찰을 했는지 원자료가 있어야 별도 판단할 수 있다.
자동 선곡이 풀려던 문제
발표에서는 노동 집약적인 서비스에서 벗어나고, 시간이 지날수록 품질을 높이며, 만족도를 높이고 사고 위험을 줄이기 위해 AI를 접목한다고 설명했다. 음악을 분석해 리듬, 키, 템포, 피치 같은 정보를 기록하고 장르나 분위기를 분류하며 채널 추천과 자동 선곡을 시도한다는 내용이었다. 주간 업데이트 수치와 구현 방식은 당시 발표자의 설명이며 현재 사실로 이어 쓰지 않는다.
여기서 데이터의 역할은 사람의 감각을 지우는 것이 아니었다. 선곡자가 공간과 고객을 이해해 만든 기준, 실제 매장에서 돌아온 금기와 수정 기록을 기계가 다룰 수 있는 형태로 쌓는 일이었다. 자동화가 가능해질수록 무엇을 좋은 선곡으로 보는지와 어떤 실수를 막아야 하는지가 더 선명해야 했다.
소리의 의미를 읽으려는 코클레어 AI
코클레어 AI 발표는 음성 인식 이외의 소리를 이해하려는 작업을 소개했다. 환경음에서 집, 도로, 마트 같은 장면을 구분하고, 목소리의 어감과 감정처럼 문자로 옮기기 어려운 정보를 다루려 했다. `잘한다, 잘해`라는 같은 문장도 말투에 따라 칭찬과 비꼼으로 달라질 수 있다는 예가 나왔다.
발표자는 복잡한 음악을 그래프와 맵으로 만들어 이해한다고 말했다. SM엔터테인먼트와 진행한 `음악, 인공지능을 켜다` 프로젝트에서는 건축가 하태석, 뮤지션 하림·장준호와 공간, AI 알고리즘, 음악을 연결했다. 첫 회의에는 답이 없었고, 할 수 있는 일을 펼친 뒤 반투명 육각형 공간을 정했다.
`왜 음악을 듣는가`라는 질문에서는 기분을 원하는 방향으로 움직이려는 음악과, 노을 같은 환경에 녹아들기 위한 음악을 나누었다. 이 생각은 공간 생성 음악 `에트모`로 이어졌다. 당시 영상은 [여기](https://youtu.be/lZka9VVT3cI)에 남아 있다.
행사에서 남은 질문
행사의 오프닝은 Ryan Holladay의 장소와 음악에 관한 [TED 영상](https://youtu.be/-aouBn7IKIo)이었다. 이후 두 발표는 음악을 파일 하나로 보지 않고 장소, 사람, 시간, 브랜드, 감정과 관계 맺는 데이터로 보게 했다.
다만 강연 메모를 발표자의 정확한 원문이나 현재 회사 설명으로 읽어서는 안 된다. 원문도 메모를 바탕으로 강의 형식으로 재구성했다고 밝혔다. 내가 이 자리에서 얻은 것은 `AI가 음악을 골라준다`는 결론보다, 사람이 공간에서 알아차린 맥락과 실패가 어떤 데이터로 남아야 하는가라는 질문이었다.