목차
이머시브 오디오
Immersive, 입체음향
이머시브 오디오(Immersive Audio)는 청취자를 사운드 환경의 깊숙한 곳으로 끌어들이는 오디오 체험을 제공하는 기술 및 음향 형식을 나타냅니다. 이러한 기술은 공간 감각, 입체감, 현실감을 증강시켜 일반적인 오디오 청취 경험을 뛰어넘어 더 몰입적인 환경을 제공합니다. 이머시브 오디오는 다양한 분야에서 사용되며, 주로 영화, 비디오 게임, 가상 현실(VR), 환경 소리 설계, 음악 프로덕션 등에서 활용됩니다.
이머시브 오디오의 핵심 요소와 특징은 다음과 같습니다:
이머시브 오디오는 다양한 분야에서 오디오 체험을 혁신하고 확장시키는 중요한 기술 중 하나로 간주되며, 기술의 발전과 함께 더욱 현실적이고 몰입감 있는 사운드 환경을 제공할 것으로 예상됩니다.
앰비소닉
앰비소닉은 3차원 공간에 대한 이머시브 오디오 포맷이다.1)
스피커의 재생 방법에 대해서는 결정되어 있지 않고, B-format 이라는 방식을 통해 청취자가 사용하는 스피커 레이아웃2)으로 소리를 디코딩하는 방법을 사용한다. 따라서 앰비소닉으로 제작된 트랙이나, 앰비소닉으로 녹음된 트랙은 청취자가 어떤 포맷의 청취 환경을 가지고 있더라도 모두 재생할 수 있는 유연성을 가진다.
앰비소닉은 1970년대에 영국 British National Research Development Corporation에 의해 만들어졌지만, A-format 을 B-format 으로 컨버팅하는 장치도 필요하고, B-format을 재생하는 스피커 시스템에 맞춰 디코딩하는 장치도 추가되야 하는 비용적, 기술적 추가 요구사항이 많아 당시에는 각광 받지 못했다.3) 하지만 근래에 들어 VR이나 입체음향의4) 수요가 증가하고, DSP 나 CPU를 이용하여 소프트웨어를 통한 컨버팅, 디코딩이 쉬워지고 구현 비용이 줄어듦에 따라 다시 주목 받고 있다.
Dolby Atmos
기존의 평면 음장인 서라운드에서 한단계 더 발전하여 입체음향(이머시브 오디오)를 구현한다. 또한 기존의 Channel based 방식에 Object based5)방식이 추가되어 동작한다.
Dolby Atmos 스피커 레이아웃
Dolby Atmos 스피커 레이아웃은 기존 5.1 채널이나 7.1 채널에 해당하는 Dolby 서라운드 스피커 레이아웃에 천정에 스피커6)를 추가하는 형식을 말한다. 따라서 소리의 전후 좌우에 대한 음장에 소리의 높이에 대한 음장이 추가 된다. 청취자는 이머시브 오디오를 들을 수 있다.
스피커 레이아웃에는 7.1 서라운드에 천정 스피커 2개를 추가 하면 7.1.2 와 같이 부르게 되며, 베이직 Dolby Atmos 스피커 레이아웃(5.1.2 & 7.1.2), 레퍼런스 Dolby Atmos 스피커 레이아웃(5.1.4 & 7.1.4), 대형 Dolby Atmos 스피커 레이아웃(9.1.4)이 있다.
추가로 헤드폰용으로 Dolby Atmos 헤드폰(바이노럴) 등이 있다.
베이직 Dolby Atmos 스피커 레이아웃
레퍼런스 Dolby Atmos 스피커 레이아웃
대형 Dolby Atmos 스피커 레이아웃
Dolby Atmos 헤드폰
Dolby Atmos는 헤드폰 바이노럴 컨버팅에 대한 내용이 포함되어 있어 일반 스테레오 헤드폰/이어폰으로 Dolby Atmos를 재생하면, 이머시브 오디오를 일반 스테레오 헤드폰/이어폰으로 듣는 것이 가능하다. 주로 게임에서 사운드 플레이 용으로도 많이 쓰인다.
Dolby Atmos 시네마
객체 기반(Object based)
Object Oriented, 객체 지향 → Object based, 오브젝트 기반8)
기존의 Dolby Digital 5.1 채널, Dolby Digital Plus 7.1 채널은 소스 채널 갯수가 스피커 레이아웃과 일치하는 Channel based이다.
Dolby Atmos는 ADM 파일 포맷을 사용하며 이 안의 128개의 트랙을 통해 BED 채널과 Object 채널을 담는다.
- BED : Channel based
- Object : Object based
Dolby Atmos는 다운믹스 기능이 있어서, 스피커 레이아웃에 대한 하위 호환성을 지원한다. 즉 Dolby Atmos로 제작된 컨텐츠는 일반 서라운드 시스템에서도 동작하고, 일반 스테레오 스피커 시스템에서도 동작하며, 심지어 헤드폰에서는 이머시브 오디오를 재현 가능한 바이노럴 재생을 지원한다. 하지만, 일반 서라운드나 스테레오로 재생되는 다운믹스는 천정 스피커가 없기 때문에 입체음향(이머시브 오디오)을 재현하지는 못한다.
ADM Authoring for Dolby Atmos
ADM Authoring for Dolby Atmos는 ADM 파일을 만들기 위한 기능을 뜻한다.
ADM Authoring for Dolby Atmos 기능이 있는 DAW 는 Cubase Pro9), Nuendo, Logic Pro X, Pro Tools 등이 있다.
Cubase Pro 12 의 Dolby Atmos 설정 방법
Renderer for Dolby Atmos
DAW 에서는 Dolby Atmos 스피커 레이아웃을 가진 아웃풋 버스에 해당 렌더러 플러그인을 인서트하여 사용한다. DAW 에서 ADM Authoring 기능을 통해 지정된 128개의 Bed 와 Object 채널과 해당 채널들의 위치 정보 메타데이터를 직접 전달받아 아웃풋 버스의 Dolby Atmos 스피커 레이아웃에 맞게 렌더링해서 출력해준다.
BED 그룹은 7.1.2 채널까지 설정되는 버스를 통하므로 BED 그룹으로 라우팅되는 채널 소스들의 패닝은 자연스럽게 잘 표현된다. 하지만 Object 소스들은 버스없이 바로 Dolby Renderer로 직접 라우팅되기 때문에 Dolby Renderer가 그 소스들의 패닝을 표현하기 위해서는 패닝 정보를 전달받아야한다. 그래서 Object 채널들은 패닝 정보를 전달하기 위해 메타데이터를 추가로 사용한다.
Object type
BED
Dolby Renderer 플러그인은 일반 입력이 막혀있다. 따라서, Dolby renderer 플러그인을 걸은 메인 아웃풋 버스에서 패닝이나 버스를 이용한 프로세싱이 되지 않는다. 따라서, 패닝 표현이나 버스 프로세싱 등의 일반적인 버스의 역할을 하기 위해 BED 라는 버스를 따로 만들어서 사용하게 되고, Bed 버스의 출력이 Dolby renderer로 라우팅된다.10)
Channel Based
BED로 설정하는 버스 예시
- 대화 : 2.0
- Music : 7.1.2
- BGM : 5.1
Object
Object Based, 메타데이터
Object는 모노 또는 스테레오 채널이 가능하다.
Object로 설정된 채널들은 다른 일반 채널들과 다르게 Bed Group 채널로 라우팅되지 않고 Dolby Renderer로 직접 라우팅된다.11)
Object는 버스를 거치지 않고 모노, 스테레오 상태로 바로 Dolby Renderer 플러그인으로 라우팅되기 때문에 일반적인 방법으로는 패닝이 되지 않는다. 따라서 Dolby Renderer에서 Object 채널의 패닝 데이터를 받아서 Dolby Renderer에서 직접 패닝을 표현한다. 그래서 패닝 정보를 담은 메타데이터가 같이 필요하다.
Object로 설정하는 채널 예시
Export ADM file
ADM 파일로 Export한다.
ADM BWF
Dobly Atmos Delivering
마스터링
유통, 스트리밍
재생기기에서 출력
각각의 방식으로 인코딩된 최대 12채널(11.1) 또는 16채널(15.1) 데이터는 다시 Dolby Atmos 재생기기에 내장된 렌더러를 통해 다양한 스피커 포맷(모노, 스테레오,서라운드, Atmos)이나 바이노럴(스테레오 헤드폰)으로 렌더링되어 출력된다.
대부분의 컨슈머 기기들에서는 보통 16 채널이 전송 가능한 HDMI eARC 연결을 통해 Dolby Atmos 사운드바나 Dolby Atmos 호환 리시버(돌비 시네마 프로세서 등)의 다양한 포맷(스테레오, 서라운드, Dolby Atmos)에 맞게 다운믹스되어 재생된다.
보통 Dolby Atmos 영상 미디어는 사운드바를 통해서 재생하는 경우가 많고, 음악 청취는 헤드폰 바이노럴을 통해서 재생하는 경우가 많다. 컨슈머 환경에서 Dolby Atmos를 듣는 방법은 사운드바, 헤드폰 또는 Dolby Atmos를 지원하는 리시버15) 이외에는 알려진 수단이 거의 없다.16)
Blu-Ray
Blu-Ray 디스크는 Dolby TrueHD17)를 사용하여 Dolby Atmos를 제공한다. 하지만 Dolby Atmos의 128(Object, BED) 채널이 전부 담겨 있는 것은 아니다. 최대 16 채널의 채널로 사전에 렌더링된 TrueHD 코덱으로 인코딩된 미디어가 제공된다. Dolby Atmos를 지원하는 리시버 또는 사운드바는 이 16 채널 소스를 자신의 스피커 레이아웃에 맞게 다운믹스하여 재생한다.
Dolby TrueHD는 최대 15.1 채널의 오디오 채널이 가능하고, 24-bit 192kHz의 해상도까지 지원된다. 무손실 압축 오디오 코덱이며, 최대 전송률은 18,000kbps이다.
하지만, Blu-Ray를 통한 음원의 유통은 거의없다.
스트리밍
방송 및 스트리밍 서비스는 주로 Dolby Digital Plus를 사용하여 Dolby Atmos를 제공한다.
애플 뮤직의 경우 스트리밍 서버에서 먼저 스트리밍 받는 재생기기의 Dolby Atmos 스피커 레이아웃의 정보를 읽는다. 그리고 나서 스트리밍 서버에 내장된 DSP 서버의 Dolby Atmos 렌더러를 이용하여 128개의 오브젝트가 담긴 ADM 파일을 최대 12채널(11.1) 또는 16채널(15.1)의 E-AC-3 코덱18)으로 인코딩하여 재생기기로 스트리밍한다. 재생기기는 자체 스피커 포맷에 맞게 다운믹스하여 재생한다.
Dolby Atmos 헤드폰의 경우는 스트리밍 서버에서 바이노럴(2 채널)로 사전 렌더링하여 스트리밍한다.
Dolby Digital Plus의 코덱인 E-AC-3 는 최대 15.1 채널의 오디오 채널이 가능하다. 손실 압축 오디오 코덱이며, 최대 전송률은 6144kbps 이다.19)
이러한 이유로 Dolby Atmos 사운드바나 스피커 시스템으로 16채널 렌더링 데이터를 스트리밍하는 경우는 손실률이 높을 수 있다. 2 채널 전송인 Dolby Atmos 바이노럴 헤드폰인 경우에는 손실률은 높지 않다. 이러한 음질 손실 문제가 최근 크게 문제되고 있다. 오히려 Dolby Atmos 는 헤드폰 바이노럴로 듣는 것이 훨씬 더 좋을 수 있다. 같은 비트레이트 제한으로 16 채널을 전송하는 것보다 2 채널을 전송하는 것이 음질의 충실도가 높기 때문이다.
