📚 지식 노트

소리의 물리: 진동·주파수·배음

소리는 공기 압력이 빠르게 오르내리는 파동이다. 1초에 몇 번 떨리는지가 주파수(Hz)이고, 귀는 이를 음높이로 듣는다. 떨림의 폭은 크기로, 떨림의 모양은 음색으로 들린다. 같은 라 음을 피아노와 바이올린으로 내도 다르게 들리는 것은 모양이 다르기 때문이다.

악기 줄이나 관 속 공기는 한 주파수로만 떨지 않는다. 가장 낮은 기본음 f와 함께 2f, 3f, 4f … 정수배의 배음이 동시에 울리고, 배음마다 크기가 다르다. 어떤 주기적인 모양이든 사인파 여럿의 합으로 나눌 수 있다는 것이 푸리에 분석이고, 배음 크기의 목록이 곧 음색의 지문이다. 파형을 주파수 성분으로 나누는 원리는 신호 처리 노트에 있다.

배음 구성은 주파수 분석기로 직접 볼 수 있다. 이 사이트의 스펙트럼 분석기에 목소리나 악기 소리를 넣으면 기본음 위로 배음이 사다리처럼 늘어선다. 마이크·스피커 쪽 하드웨어는 오디오 노트에 있다.

음높이와 평균율

음높이는 주파수의 비로 들린다. 주파수가 두 배면 한 옥타브 위의 "같은 음"으로 들리고, 3:2는 완전 5도, 5:4는 장3도로 어울려 들린다. 문제는 이 깔끔한 비들로 12음을 정하면 조를 바꿀 때 어긋난다는 것이다. 지금 대부분의 악기와 소프트웨어가 쓰는 12평균율은 옥타브를 똑같은 비율 12개로 나눠, 반음 하나를 2^1/12 ≈ 1.0595배로 정했다. 대신 5도는 순정 3:2보다 약 2.0센트 낮고, 장3도는 5:4보다 약 13.7센트 높다(센트는 반음의 100분의 1). 어느 조로든 자유롭게 옮겨 갈 수 있는 대가로 조금씩 모두 어긋나게 한 셈이다.

기준음은 A4 = 440Hz다. 국제표준화기구가 1955년 권고로 받아들였고 1975년 ISO 16이 되었다. 다만 모두가 따르지는 않아, 오케스트라나 시대 악기 연주에서는 다른 기준음을 쓰기도 한다. MIDI 번호로는 A4가 69, 가운데 도(C4)가 60이고, 번호 n의 주파수는 440 × 2^(n−69)/12로 계산한다. 가운데 도는 261.63Hz, 피아노의 가장 낮은 라(A0, 21번)는 27.5Hz다.

디지털 오디오

컴퓨터는 연속된 파형을 일정한 간격으로 잰 숫자의 줄로 저장한다. 1초에 몇 번 재는지가 샘플링 레이트, 한 번 잰 값을 몇 비트로 적는지가 비트 깊이다. 샘플링 레이트의 절반(나이퀴스트 주파수)까지만 담을 수 있고, 그보다 높은 성분은 낮은 주파수로 접혀 들어가는 에일리어싱이 된다. 비트 깊이가 깊을수록 반올림 오차, 곧 양자화 노이즈가 작아진다. 원리와 증명은 신호 처리 노트에서 다루므로 여기서는 음악 쪽 숫자만 본다.

음악 CD는 44,100Hz, 16비트, 2채널 PCM이다. 압축 없이 초당 176,400바이트, 1분이면 약 10.6MB다. 녹음·제작 단계에서는 여유를 두려고 24비트(또는 부동소수점)와 48kHz 이상을 흔히 쓰고, 마지막에 배포 형식으로 바꾼다. 신호를 32비트 부동소수점으로 처리하면 중간에 0dBFS를 넘어도 잘리지 않아, 많은 DAW가 내부 계산을 부동소수점으로 한다. 이 사이트의 음량 측정은 완성된 음원의 음량을 LUFS로 잰다.

24비트로 만든 곡을 16비트로 내보낼 때는 그냥 아랫자리를 자르지 않고 디더(dither)를 건다. 아주 작은 잡음을 일부러 섞은 뒤 줄이면, 잘림 때문에 신호를 따라 생기는 일그러짐이 고른 잔잡음으로 바뀌어 페이드아웃 끝자락 같은 작은 소리가 덜 거칠다. 비트 깊이를 줄이는 마지막 단계에서 한 번 거는 것이 보통이다(iZotope: What is dithering). 반대로 0dBFS를 넘은 값은 정수 형식에서 위가 잘리는 클리핑이 되므로, 내보내기 전에 마지막 단의 최고 레벨을 0dBFS 아래로 둔다.

합성 방식

신시사이저는 녹음 없이 숫자 계산으로 소리를 만든다. 방식마다 "음색을 무엇으로 조절하는가"가 다르다.

• 감산 합성: 배음이 풍부한 톱니·사각파를 필터로 깎아 음색을 만든다. 손잡이 몇 개로 직관적으로 다룰 수 있어 아날로그 신시사이저의 기본이 되었다. 아래 단계 그림에서 직접 따라간다.
• 가산 합성: 사인파 여러 개를 배음마다 크기를 정해 더한다. 원리상 어떤 음색이든 만들 수 있지만 조절할 값이 너무 많다.
• FM 합성: 한 오실레이터(변조기)로 다른 오실레이터(반송파)의 주파수를 빠르게 흔든다. 반송파 f_c 둘레에 f_c ± k·f_m 측파대가 생겨, 사인파 두 개만으로 종·금속성 소리처럼 배음이 복잡한 음색이 나온다(440Hz를 110Hz로 흔들면 220·330·440·550·660Hz …). 스탠퍼드의 존 차우닝이 연구했고, 1980년대 야마하 DX7로 널리 퍼졌으며 게임기와 PC 사운드 칩에도 들어갔다.
• 웨이브테이블: 한 주기짜리 파형 여러 장을 표로 두고, 읽는 위치를 시간에 따라 옮겨 음색을 변하게 한다.
• 샘플링: 실제 악기를 녹음한 조각을 음높이에 맞게 속도를 바꿔 재생한다. 진짜 같은 대신 메모리를 많이 쓰고, 음마다 여러 세기로 녹음해 둬야 자연스럽다.

이 밖에 줄·관·막의 물리 방정식을 직접 푸는 물리 모델링, 아주 짧은 소리 알갱이 수천 개를 뿌리는 그래뉼러 합성도 있다.

ADSR 엔벌로프

음색이 같아도 소리가 시간에 따라 어떻게 커지고 사라지는지에 따라 악기가 다르게 들린다. 피아노는 치는 순간 가장 크고 점점 줄고, 오르간은 누르는 동안 같은 크기를 유지한다. 신시사이저는 이 모양을 엔벌로프로 정한다. 가장 흔한 것이 네 값으로 된 ADSR이다.

• 어택(A): 건반을 누른 뒤 최대치까지 오르는 시간.
• 디케이(D): 최대치에서 서스테인 레벨까지 내려오는 시간.
• 서스테인(S): 누르고 있는 동안 머무는 레벨(시간이 아니다).
• 릴리스(R): 건반을 뗀 뒤 0까지 사라지는 시간.

오실레이터와 필터로 소리 만들기

감산 합성의 기본 회로는 세 덩어리다. 파형을 만드는 오실레이터(VCO), 배음을 깎는 필터(VCF), 시간에 따라 크기를 바꾸는 앰프(VCA)이고, 엔벌로프와 느린 오실레이터(LFO)가 이들의 손잡이를 자동으로 돌린다. 필터의 핵심 값은 차단 주파수와, 차단 주파수 근처를 솟게 하는 공진(레조넌스)이다.

이 사이트의 레트로 SFX는 같은 구조로 8비트풍 효과음을 만든다. 파형을 고르고 음높이를 미끄러뜨리고 엔벌로프를 짧게 잡으면 점프·코인·폭발 소리가 된다. 브라우저에서는 Web Audio API의 오실레이터·필터·게인 노드를 이어 붙여 똑같이 짤 수 있다.

디지털 오실레이터에는 함정이 하나 있다. 톱니파·사각파의 날카로운 모서리는 배음이 끝없이 이어진다는 뜻이라, 표본을 그대로 계산해 그리면 나이퀴스트 주파수를 넘는 배음이 아래로 접혀 들어와(에일리어싱) 음높이와 상관없는 쇳소리가 난다. 높은 음일수록 심하다. 그래서 신시사이저는 나이퀴스트 아래의 배음만 더해 만든 대역 제한 파형을 쓴다. Web Audio 규격도 오실레이터의 실제 파형이 에일리어싱을 막으려고 수학적 정의와 다를 수 있다고 적고, 같은 이유로 왜곡(웨이브셰이퍼) 노드에 2배·4배 오버샘플링을 둔다.

MIDI: 악기들의 공용어

MIDI는 소리가 아니라 "어떤 음을 얼마나 세게 눌렀다"는 연주 정보를 주고받는 약속이다. 1983년 여러 제조사가 함께 MIDI 1.0을 발표했고, 덕분에 한 회사의 건반으로 다른 회사의 음원 모듈을 칠 수 있게 되었다. 메시지는 바이트 몇 개다. 맨 앞 비트가 1인 상태 바이트가 종류와 채널(16개)을 알리고, 맨 앞 비트가 0인 데이터 바이트가 값(0~127)을 싣는다. 노트 온은 1001nnnn 다음에 건반 번호와 세기(velocity)가 온다.

원래의 5핀 DIN 선은 31,250보 직렬 통신이고, 바이트마다 시작·정지 비트를 붙여 10비트를 보낸다. 바이트 하나에 320µs라, 많은 음을 한꺼번에 보내면 미세한 시간차가 생긴다. 지금은 대부분 USB나 블루투스로 같은 메시지를 보낸다.

MIDI 2.0은 2020년에 소개되었다. MIDI Association은 이를 1.0을 대체하는 것이 아니라 확장하는 규격으로 설명한다. 장치끼리 서로 무엇을 할 수 있는지 묻고 합의하는 MIDI-CI(Capability Inquiry), 새 패킷 형식 UMP(Universal MIDI Packet)를 바탕으로 채널 메시지의 해상도를 높이고 음 하나하나를 따로 다듬는 메시지를 더했다. 장치 종류별 동작 규칙(프로파일)과 설정값을 주고받는 방법(프로퍼티 익스체인지)도 정했고, 1.0과의 상호 변환을 높은 우선순위로 둔다. 핵심 규격은 2023년 6월에 갱신되었다.

MIDI 바깥에는 OSC(Open Sound Control)가 있다. 2002년 1.0 규격이 나온, 컴퓨터·신시사이저·멀티미디어 장치 사이의 메시지 규약이다. 특정 전송 수단에 묶이지 않지만 패킷 하나를 UDP 데이터그램 하나로 보내는 것이 자연스러운 짝이고(TCP 같은 스트림이면 길이를 앞에 붙인다), /synth/1/cutoff 같은 주소와 32비트 정수·실수·문자열 인자를 담는다. MIDI처럼 정해진 번호(채널·컨트롤 번호, 7비트 값)에 맞출 필요 없이 주소 이름을 직접 짓고 실수 값을 그대로 보낼 수 있어, 음악 프로그램끼리나 음악 프로그램과 다른 미디어 장치를 네트워크로 이을 때 쓴다.

DAW와 플러그인

DAW(디지털 오디오 워크스테이션)는 녹음·편집·작곡·믹싱을 한 프로그램에서 하는 작업대다. 시간 축 위에 트랙을 쌓고, MIDI 트랙에는 피아노 롤로 음표를 그리고, 오디오 트랙에는 녹음한 소리를 둔다. 각 트랙의 신호는 이펙트를 거쳐 믹서에서 음량과 좌우 위치(팬)를 맞춘 뒤 마스터 트랙으로 모인다.

악기와 이펙트는 대개 플러그인으로 끼운다. 1996년 Steinberg가 만든 VST, Apple이 macOS·iOS의 Core Audio에 둔 AU(Audio Units)가 대표 규격이라, 같은 플러그인을 여러 DAW에서 쓴다. DAW는 오디오를 작은 블록(버퍼)으로 나눠 플러그인에 넘기는데, 버퍼가 작으면 건반을 누른 뒤 소리가 날 때까지의 지연이 줄지만 CPU가 블록을 제시간에 못 채우면 소리가 툭툭 끊긴다. 버퍼 하나의 지연은 버퍼 크기 ÷ 샘플링 레이트다. 48kHz에서 64샘플이면 1.33ms, 256샘플이면 5.33ms, 1,024샘플이면 21.33ms이고, 실제 왕복 지연은 입력·출력 버퍼와 변환기 지연이 더해져 이보다 길다. 녹음·연주할 때는 버퍼를 작게, 플러그인을 많이 건 믹싱 때는 크게 두는 이유다. 실시간 오디오 처리가 일반 프로그램보다 까다로운 이유다.

시퀀서와 트래커

시퀀서는 "언제 어떤 음을" 적어 두었다가 차례로 연주시키는 장치다. DAW의 피아노 롤이 시간을 가로로 그린다면, 트래커는 시간을 세로로 내려가는 표로 그린다. 줄마다 채널별로 음·악기 번호·효과 명령을 글자로 적고, 재생 위치가 위에서 아래로 내려가며 연주한다. 1987년 아미가용 Ultimate Soundtracker에서 이름이 나왔고, 데모신과 게임 음악, 칩튠 문화와 함께 자랐다.

이 사이트의 칩튠 메이커는 레트로 SFX에서 만든 효과음을 악기로 삼아 곡을 짜는 도구이고, 루프 스테이션은 짧은 구간을 녹음해 겹쳐 쌓는다. 옛 게임기의 사운드 칩처럼 채널 수가 적으면 사각파·삼각파·노이즈 채널을 나눠 맡기고, 빠른 아르페지오로 화음을 흉내 내는 것이 칩튠의 전형이다.

이펙트: 딜레이·리버브·컴프레서

이펙트는 이미 만든 소리를 가공한다. 대부분 몇 가지 기본 연산의 조합이다.

• 딜레이: 신호를 일정 시간 늦춰 원음에 섞는다. 출력 일부를 다시 입력으로 되먹이면(피드백) 메아리가 점점 작아지며 되풀이된다. 템포에 맞추는 것이 보통인데, 4분음표 길이는 60,000 ÷ BPM ms라 120 BPM에서 500ms, 점8분음표는 그 4분의 3인 375ms다.
• 리버브: 방 안에서 소리가 벽에 수없이 부딪혀 생기는 잔향을 흉내 낸다. 짧은 딜레이와 필터를 여러 개 엮는 알고리즘 방식과, 실제 공간에서 잰 충격 응답을 신호에 컨볼루션하는 방식이 있다.
• 컴프레서: 문턱(threshold)을 넘은 소리를 비율(ratio)만큼 눌러 크고 작은 소리의 차이를 줄인다. 4:1이면 문턱 위로 4dB 커질 때 출력은 1dB만 커진다. 줄인 만큼 전체를 다시 올리면(메이크업 게인) 작은 소리가 잘 들린다. 지나치면 소리가 납작해진다.

EQ(특정 주파수 대역 올리고 내리기), 코러스·플랜저(아주 짧은 딜레이 시간을 흔들기), 디스토션(파형을 일부러 잘라 배음 더하기)도 같은 재료로 만든다.

음악 정보 검색

음악 정보 검색(MIR)은 컴퓨터가 음악을 "알아듣게" 하는 분야다. 템포·박자·조성·화음을 알아내고, 장르를 분류하고, 악기별로 소리를 나누고, 비슷한 곡을 추천한다. 그 첫걸음이 온셋, 곧 소리가 새로 시작된 순간을 찾는 것이다. 스펙트럼이 갑자기 커지는 시점을 고르고, 온셋 사이 간격이 어떤 값에 몰리는지 보면 템포가 나온다. 실제 템포 추정기는 간격을 하나하나 세는 대신 온셋 세기 곡선의 자기상관으로 반복 주기를 찾고, 박자가 두 배·절반으로 헷갈리는 문제를 따로 다룬다.

시끄러운 카페에서 몇 초 녹음으로 곡 이름을 알려 주는 오디오 지문도 MIR의 대표적인 성과다. Shazam의 방식을 설명한 Avery Wang의 논문은 휴대폰 마이크로 노이즈와 함께 녹음한 짧은 조각으로 백만 곡 넘는 데이터베이스에서 곡을 찾는다고 적었다. 핵심은 소리 전체가 아니라 노이즈에 강한 특징만 남기고, 그 특징을 해시 열쇠로 만들어 색인에서 바로 찾는 것이다. 이 사이트의 검색과 추천 노트의 역색인과 같은 발상이다.

알고리즘 작곡과 생성형 AI 음악

규칙이나 확률로 곡을 만드는 시도는 컴퓨터보다 오래되었다. 컴퓨터 위에서는 문법 규칙, 유전 알고리즘, 그리고 마르코프 연쇄가 오래 쓰였다. 마르코프 연쇄는 "지금 음 다음에 어떤 음이 올 확률"만 배워서, 그 확률대로 다음 음을 하나씩 뽑는다. 배운 곡의 분위기는 흉내 내지만 지금 음 하나만 보므로 긴 구조(반복되는 후렴, 마디의 흐름)를 만들지 못한다.

요즘의 생성형 AI 음악은 이 "다음을 예측하기"를 훨씬 긴 문맥으로 늘렸다. 오디오를 작은 토큰으로 압축한 뒤 트랜스포머로 다음 토큰을 예측하거나, 노이즈에서 시작해 조금씩 소리를 다듬는 확산 모델로 글 설명에서 바로 노래를 만든다. 원리는 생성 모델 노트에 있다. 기술이 빨리 좋아지는 만큼, 무엇으로 학습했는지와 만든 결과물의 권리가 누구에게 있는지가 다음 절의 쟁점이 된다.

저작권 개요

노래 한 곡에는 권리가 여러 겹 있다. 멜로디와 가사, 곧 곡에는 작사가·작곡가의 저작권이 있고, 그 곡을 실제로 녹음한 음원에는 음반 제작자의 권리가, 연주와 노래에는 실연자의 권리가 따로 붙는다(한국 저작권법에서는 뒤의 둘을 저작인접권이라 부른다). 그래서 남의 곡을 새로 연주하는 커버와, 남의 음원을 잘라 쓰는 샘플링은 닿는 권리가 다르다.

AI로 만든 음악에서는 두 질문이 따로 있다. 학습에 남의 음악을 써도 되는가, 그리고 AI가 만든 결과물을 누가 권리로 보호받는가다. 나라마다 논의와 소송이 진행 중이며, 미국 저작권청은 AI와 저작권 보고서를 여러 부로 나눠 내고 있고 2025년 1월의 2부가 생성형 AI 산출물의 저작권 보호 문제를 다룬다. 한국의 제도와 상담 창구는 한국저작권위원회가 안내한다.

이 절은 개념을 정리한 것이고 법률 조언이 아니다. 실제로 곡을 내거나 남의 소리를 쓸 때는 해당 권리 단체나 전문가에게 확인해야 한다.

핵심 자료

샘플링·필터·푸리에 변환의 원리는 신호 처리 노트, 생성형 음악 모델의 바탕은 생성 모델 노트에 있다.