사람들은 대부분 스피커로 음악을 듣습니다.

하지만 최근에는 거의 무선 헤드폰/이어폰 등으로 음악을 듣고 있습니다.

또한 애플 뮤직 등에서는 Dolby Atmos¹⁾음원을 스트리밍한다는 소식도 들려옵니다. 또한 홈레코딩 시대가 도래 함으로 인하여, 홈레코딩 환경에서는 스피커를 크게 틀고 사용하기가 현실적으로 쉽지 않습니다.

일부 음향 감독들은 현재 스피커로만 믹싱이 가능하다고 주장하고 있는 현시점에서 우리는 헤드폰으로 과연 믹싱을 과연 할 수 있는 것인지 할 수 없는 것인지 의문이 생깁니다.

스테레오 스피커를 사용하여 음악을 들을 때, 소리의 스테레오 이미지가 스피커의 중간 위치에서 맺히는 듯한 효과가 있습니다.
이것을 팬텀 이미지 라고 하는데 위의 그림처럼 스피커의 정확한 셋팅 및, 스피커의 각각의 지향각에 따라 생성됩니다.

이 지점에서는 좌, 우의 스피커의 소리가 서로 섞여서 하나의 소리로 합쳐집니다.²⁾

이 팬텀 이미지가 생성되는 원리는 다음과 같습니다.

왼쪽 귀에는 왼쪽 스피커의 소리가 들어오게 돕니다. 하지만 또한, 오른쪽 스피커에서 나오는 소리도 시간 지연³⁾ 및 주파수 범위 감소⁴⁾ 및 음량 감소⁵⁾가 되어 왼쪽 귀에 같이 들어오게 됩니다.⁶⁾

오른쪽 귀의 경우에도 마찬가지 입니다.

이러한 원리로 우리는 스피커를 통해 모니터링 시 가상의 센터 팬텀 이미지를 듣게 됩니다.

또한, 우리가 듣고 판단하는 음악의 개별 악기의 밸런스, 톤 퀄리티 , 스테레오 이미지 등은 모두 이 센터 팬텀 이미지로 다시 재생성 된 소리의 밸런스, 톤 퀄리티, 스테레오 이미지라는 점입니다.

그러나 헤드폰이나 이어폰을 사용 시에는 양쪽의 소리가 각각의 귀로 직접 전달되게 되어 이 가상의 팬텀 이미지가 나타나는 현상이 생기지 않습니다. 오픈형 헤드폰⁷⁾을 사용하는 경우 헤드폰의 외부로 소리가 새어 나가 어느 정도 팬텀 이미지가 생성된다는 말이 있긴 하지만, 사실 그렇지 않습니다. 오픈형 헤드폰의 경우에도 팬텀 이미지의 생성은 어렵습니다. 헤드폰을 오픈형으로 만들면, 진동판이 더 자유롭게 진동할 수 있기 때문에, 좀 더 플랫하고 좋은 소리의 생성이 가능할 뿐입니다.

이 때문에, 헤드폰이나 이어폰을 그냥 사용하는 경우에, 소리의 각각의 크기 차이(밸런스), 및 각각 소리에 대한 세부적인 톤의 조정이 힘들어지게 됩니다.⁸⁾

따라서, 이런 헤드폰/이어폰 사운드 모니터링의 치명적인 단점을 해결한 제품들도 나오고 있습니다.

대표적으로 SPL phonitor 라는 제품은, 좌우의 소리에 따른 스테레오 팬텀 이미지를 직접 생성하여 헤드폰으로 출력해주는 Stereo matrix 기능을 가지고 있습니다.

플러그인으로는 Waves의 NX가 가장 대표적인 기술입니다. NX의 경우에는 머리 전달 함수(HRTF)에 의해 동작하여, 좌우의 소리가 반대편의 귀로 들어가는 소리에 대한 주파수 변화 및 시간 지연, 레벨 감소 등을 시뮬레이션 하여 정확한 가상 팬텀 이미지를 프로세싱하여 내보내주게 됩니다. 추가로 대표적인 헤드폰들에 대한 이퀄라이저 조정까지 포함되어 있습니다.

NX 는 머리 움직임을 추적하기 위해서 웹캠으로 얼굴을 인식하는 알고리즘을 사용합니다. 그렇지만 웹캠 트레킹을 사용하게 되면 CPU 점유가 다소 높습니다. 그래서 따로, 아래와 같은 전용 헤드 트래커를 사용할 수 있습니다.⁹⁾

Waves NX의 발전형으로는 애비로드 스튜디오 3나, 오션웨이 네슈빌 이라는 플러그인도 있습니다.

이 제품들은 각 이름에 명시된 스튜디오들의 모니터링 환경을 재현하는 방식의 플러그인들입니다.

헤드폰/이어폰을 통한 믹싱 환경은 쉽지 않습니다. 하지만, 가상 팬텀 이미지를 생성하여, 실제로 스피커로 듣는 소리 처럼 모델링 해주는 하드웨어나 플러그인을 사용하면, 불가능한 작업이 아닙니다. 애플 헤드폰 등이 지원하는 Dolby Atmos 바이노럴이나 스페이셜 관련 기능들도 사실 위에 서술한 것들과 같은 기술입니다. 우리 마음속에 있는 “스피커가 아니면 절대 안됨” 라는 고집만 깬다면, 충분히 현실적으로 가능한 부분이라는 생각이 듭니다.

— retronica 2022/01/04 09:46