KR102051084B1 - 바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램 - Google Patents

바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램 Download PDF

Info

Publication number
KR102051084B1
KR102051084B1 KR1020180028554A KR20180028554A KR102051084B1 KR 102051084 B1 KR102051084 B1 KR 102051084B1 KR 1020180028554 A KR1020180028554 A KR 1020180028554A KR 20180028554 A KR20180028554 A KR 20180028554A KR 102051084 B1 KR102051084 B1 KR 102051084B1
Authority
KR
South Korea
Prior art keywords
binaural
interface
virtual
host program
surround
Prior art date
Application number
KR1020180028554A
Other languages
English (en)
Other versions
KR20190107374A (ko
Inventor
김동준
Original Assignee
김동준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김동준 filed Critical 김동준
Priority to KR1020180028554A priority Critical patent/KR102051084B1/ko
Publication of KR20190107374A publication Critical patent/KR20190107374A/ko
Application granted granted Critical
Publication of KR102051084B1 publication Critical patent/KR102051084B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램이 개시된다. 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 방법은 서라운드 프로세싱(Surround Processing)을 수행하는 호스트 프로그램과 동기화된 가상 바이노럴(Binaural) 인터페이스를 기반으로 상기 호스트 프로그램에 마운트된 서라운드 오디오를 바이노럴 인코딩하여 바이노럴 오디오 신호를 생성하는 단계; 및 상기 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 호스트 프로그램을 리모트 컨트롤(Remote Control)하여 상기 바이노럴 신호에 상응하는 바이노럴 컨텐츠를 생성하는 단계를 포함하고, 상기 호스트 프로그램 및 상기 가상 바이노럴 인터페이스 중 적어도 하나에 대한 입력은 상기 서라운드 오디오에 실시간으로 반영된다.

Description

바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램 {METHOD FOR AUTHORING BINAURAL CONTENT AND PROGRAM USING THE SAME}
본 발명은 바이노럴 컨텐츠 저작 기술에 관한 것으로, 특히 오디오 프로세싱 소프트웨어의 종류와 상관없이 바이노럴 믹싱 기능을 제공할 수 있는 바이노럴 컨텐츠 저작 프로그램과 이를 이용한 바이노럴 컨텐츠 저작 방법에 관한 것이다.
최근 이머시브 서라운드 사운드(Immersive Surround Sound) 제작을 위하여 DAW(Digital Audio Workstation) 소프트웨어에서 플러그인으로 동작하는 다양한 종류의 이머시브 서라운드 플러그인이 판매되고 있다. 이러한 플러그인 형태의 제작 환경은 DAW 소프트웨어의 기존 작업 환경을 그대로 유지할 수 있고, 전용 믹싱 툴을 사용할 때보다는 손에 익고, 자주 사용하던 서드파티 플러그인을 그대로 사용할 수 있다는 점에서는 효과적이라는 장점이 존재한다.
그러나, DAW 소프트웨어 상에서 이머시브 서라운드 사운드 제작을 위한 플러그인을 구동해야 하는 것은 매우 복잡한 설정이 필요하며, 다양한 DAW 소프트웨어에 대한 호환성도 제공하지 않는다. 즉, 특정한 DAW 소프트웨어를 만든 제작사에서 제공하는 전용 플러그인을 사용하여야 하며, 타사 제품과는 파라미터나 믹싱 방식이 상이하여 함께 사용할 수 없다는 문제점이 존재한다. 또한, 플러그인 방식은 전문가도 사용하기 힘든 복잡한 사용법과 믹스 방법으로 인해 다른 엔지니어가 수정하기 쉽지 않으므로 작업의 효율성이 떨어진다. 즉, 믹싱을 위해 많은 시간과 컴퓨터 자원을 소모할 수 밖에 없다.
그리고, 플러그인을 사용하는 경우, DAW 소프트웨어에서 기본적으로 제공하는 믹서의 기능을 바이패스하고, 전용 플러그인으로 신호를 어사인(assign)하여 사용하기 때문에 믹싱 결과의 품질을 향상시키기 어렵다.
한국 공개 특허 제10-2015-0013073호, 2015년 2월 4일 공개(명칭: 다채널 오디오 신호의 바이노럴 렌더링 방법 및 장치)
본 발명의 목적은 다수의 가상 버스를 생성하지 않고도 기존의 DAW 소프트웨어를 그대로 사용하여 바이노럴 믹싱을 수행하는 방법을 제공하는 것이다.
또한, 본 발명의 목적은 DAW 소프트웨어에서 기본적으로 제공하는 기능을 그대로 사용하면서 바이노럴 믹스를 수행하는 것이다.
또한, 본 발명의 목적은 DAW 소프트웨어의 제작사 또는 포맷에 상관없이 호환이 가능한 바이노럴 믹싱 프로그램을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 바이노럴 컨텐츠 저작 방법은 서라운드 프로세싱(Surround Processing)을 수행하는 호스트 프로그램과 동기화된 가상 바이노럴(Binaural) 인터페이스를 기반으로 상기 호스트 프로그램에 마운트된 서라운드 오디오를 바이노럴 인코딩하여 바이노럴 오디오 신호를 생성하는 단계; 및 상기 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 호스트 프로그램을 리모트 컨트롤(Remote Control)하여 상기 바이노럴 신호에 상응하는 바이노럴 컨텐츠를 생성하는 단계를 포함하고, 상기 호스트 프로그램 및 상기 가상 바이노럴 인터페이스 중 적어도 하나에 대한 입력은 상기 서라운드 오디오에 실시간으로 반영된다.
이 때, 바이노럴 오디오 신호를 생성하는 단계는 상기 호스트 프로그램으로부터 공유된 미디 타임 코드(MIDI Time Code)를 기반으로 상기 서라운드 오디오 중 상기 호스트 프로그램에서 지정된 시간정보에 상응하는 범위를 바이노럴 인코딩할 수 있다.
이 때, 가상 바이노럴 인터페이스는 상기 호스트 프로그램에 설정된 복수개의 출력 버스들에 일대일 대응하는 복수개의 채널들을 설정하여 상기 서라운드 오디오를 수신할 수 있다.
이 때, 복수개의 출력 버스들은 상기 호스트 프로그램에서 지원하는 이머시브 서라운드 패너(immersive surround panner)의 종류에 상응하게 설정될 수 있다.
이 때, 바이노럴 오디오 신호를 생성하는 단계는 상기 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 복수개의 채널들 중 바이노럴 인코딩에서 제외할 바이패스(Bypass) 채널을 설정하는 단계를 포함할 수 있다.
이 때, 바이노럴 컨텐츠 저작 방법은 상기 가상 바이노럴 인터페이스를 기반으로 상기 서라운드 오디오에 대한 서라운드 포맷을 결정하는 단계; 및 상기 가상 바이노럴 인터페이스를 기반으로 상기 서라운드 포맷에 상응하는 채널 레이아웃 및 채널 리스트 중 적어도 하나를 디스플레이 단계를 더 포함할 수 있다.
이 때, 바이노럴 컨텐츠 저작 방법은 상기 가상 바이노럴 인터페이스에 대한 입력에 실시간으로 반응하여 바이노럴 모니터링 오디오를 제공하는 단계를 더 포함할 수 있다.
이 때, 가상 바이노럴 인터페이스는 상기 복수개의 출력 버스들과 상이한 다이렉트 출력 버스를 기반으로 오브젝트 오디오를 수신하되, 상기 오브젝트 오디오에 상응하는 좌표 정보를 함께 수신할 수 있다.
이 때, 좌표 정보는 상기 이머시브 서라운드 패너에 대한 3차원 좌표 정보에 상응할 수 있다.
이 때, 바이노럴 컨텐츠 저작 방법은 상기 가상 바이노럴 인터페이스에 상기 미디 타임 코드에 상응하는 타임 코드를 생성하여 상기 호스트 프로그램과 동기화를 수행하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 프로그램은, 서라운드 프로세싱(Surround Processing)을 수행하는 호스트 프로그램과 동기화된 가상 바이노럴(Binaural) 인터페이스를 기반으로 상기 호스트 프로그램에 마운트된 서라운드 오디오를 바이노럴 인코딩하여 바이노럴 오디오 신호를 생성하는 단계; 및 상기 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 호스트 프로그램을 리모트 컨트롤(Remote Control)하여 상기 바이노럴 신호에 상응하는 바이노럴 컨텐츠를 생성하는 단계를 포함하고, 상기 호스트 프로그램 및 상기 가상 바이노럴 인터페이스 중 적어도 하나에 대한 입력은 상기 서라운드 오디오에 실시간으로 반영된다.
이 때, 호스트 프로그램으로부터 공유된 미디 타임 코드(MIDI Time Code)를 기반으로 상기 서라운드 오디오 중 상기 호스트 프로그램에서 지정된 시간정보에 상응하는 범위를 바이노럴 인코딩할 수 있다.
이 때, 가상 바이노럴 인터페이스는 상기 호스트 프로그램에 설정된 복수개의 출력 버스들에 일대일 대응하는 복수개의 채널들을 설정하여 상기 서라운드 오디오를 수신할 수 있다.
이 때, 복수개의 출력 버스들은 상기 호스트 프로그램에서 지원하는 이머시브 서라운드 패너(immersive surround panner)의 종류에 상응하게 설정될 수 있다.
이 때, 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 복수개의 채널들 중 바이노럴 인코딩에서 제외할 바이패스(Bypass) 채널을 설정할 수 있다.
이 때, 바이노럴 컨텐츠 저작 프로그램은 상기 가상 바이노럴 인터페이스를 기반으로 상기 서라운드 오디오에 대한 서라운드 포맷을 결정하는 단계; 및 상기 가상 바이노럴 인터페이스를 기반으로 상기 서라운드 포맷에 상응하는 채널 레이아웃 및 채널 리스트 중 적어도 하나를 디스플레이 단계를 더 실행시킬 수 있다.
이 때, 바이노럴 컨텐츠 저작 프로그램은 상기 가상 바이노럴 인터페이스에 대한 입력에 실시간으로 반응하여 바이노럴 모니터링 오디오를 제공하는 단계를 더 실행시킬 수 있다.
이 때, 가상 바이노럴 인터페이스는 상기 복수개의 출력 버스들과 상이한 다이렉트 출력 버스를 기반으로 오브젝트 오디오를 수신하되, 상기 오브젝트 오디오에 상응하는 좌표 정보를 함께 수신할 수 있다.
이 때, 좌표 정보는 상기 이머시브 서라운드 패너에 대한 3차원 좌표 정보에 상응할 수 있다.
이 때, 바이노럴 컨텐츠 저작 프로그램은 상기 가상 바이노럴 인터페이스에 상기 미디 타임 코드에 상응하는 타임 코드를 생성하여 상기 호스트 프로그램과 동기화를 수행하는 단계를 더 실행시킬 수 있다.
본 발명에 따르면, 다수의 가상 버스를 생성하지 않고도 기존의 DAW 소프트웨어를 그대로 사용하여 바이노럴 믹싱을 수행하는 방법을 제공할 수 있다.
또한, 본 발명은 DAW 소프트웨어에서 기본적으로 제공하는 기능을 그대로 사용하면서 바이노럴 믹스를 수행할 수 있다.
또한, 본 발명은 DAW 소프트웨어의 제작사 또는 포맷에 상관없이 호환이 가능한 바이노럴 믹싱 프로그램을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 시스템을 나타낸 도면이다.
도 2는 종래의 플러그인 방식을 이용한 바이노럴 컨텐츠 저작 시스템을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 방법을 나타낸 동작흐름도이다.
도 4 내지 도 5는 본 발명의 다른 실시예에 따른 바이노럴 컨텐츠 저작 시스템을 나타낸 도면이다.
도 6은 본 발명에 따른 호스트 프로그램과 가상 바이노럴 인터페이스 간의 입출력 구조의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 호스트 프로그램과 가상 바이노럴 인터페이스 간의 동기화 과정의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 가상 바이노럴 인터페이스의 매트릭스 어사인 윈도우의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 채널 이름 설정 메뉴의 일 예를 나타낸 도면이다.
도 10은 본 발명에 따른 채널 그룹 설정 메뉴의 일 예를 나타낸 도면이다.
도 11은 본 발명에 따른 톤 제너레이션 메뉴의 일 예를 나타낸 도면이다.
도 12는 본 발명에 따른 가상 바이노럴 인터페이스의 레벨 미터의 일 예를 나타낸 도면이다.
도 13은 본 발명에 따른 레벨 미터 설정 메뉴의 일 예를 나타낸 도면이다.
도 14는 본 발명에 따른 가상 바이노럴 인터페이스의 믹서의 일 예를 나타낸 도면이다.
도 15 내지 16은 본 발명에 따른 가상 바이노럴 인터페이스의 바이노럴 엔진 윈도우의 일 예를 나타낸 도면이다.
도 17은 본 발명에 따른 바이노럴 엔진 설정 메뉴의 일 예를 나타낸 도면이다.
도 18 내지 도 19는 본 발명에 따른 바이노럴 모니터 윈도우의 일 예를 나타낸 도면이다.
도 20 내지 도 21은 본 발명에 따른 하드웨어 설정 메뉴의 일 예를 나타낸 도면이다.
도 22는 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 시스템을 상세하게 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 시스템은 오디오에 대한 서라운드 프로세싱(Surround Processing)을 수행하는 호스트 프로그램(110)의 출력 버스와 오디오 인터페이스의 DA 컨버터의 사이에 이머시브 오디오 프로세서가 장착된 가상 바이노럴 인터페이스(120)를 장착할 수 있다.
일반적으로 DAW(Digital Audio Workstation) 소프트웨어와 같은 오디오 프로세싱 프로그램에서는 바이노럴 렌더 기능이 제공되지 않기 때문에 스피커를 통해서만 이머시브 사운드를 청취할 수 있고, 헤드폰이나 이어폰을 사용한 바이노럴 청취를 위해서는 별도의 장치를 추가해야 한다. 따라서, 바이노럴 청취를 위해서는 오디오를 개별 파일로 추출한 후 바이노럴로 변환해주는 별도의 소프트웨어를 사용하여 바이노럴 사운드로 변환하는 과정을 거쳐야 한다. 그러나, 이러한 과정에서는 믹싱 과정에서 수정이 발생하는 경우, 수정된 사항을 반영하는 과정이 복잡할뿐더러 바이노럴로 변환해주기전까지는 믹싱된 결과를 확인할 수 없기 때문에 프로세싱 과정에서 불편함을 야기한다.
최근 이러한 불편함을 해소하기 위해서 도 2에 도시된 것과 같이 DAW 소프트웨어(210)에 플러그인(220)을 이용하여 바이노럴 인코더를 추가하는 기술이 개발되었다.
예를 들어, DAW 소프트웨어(210)에서는 기본적으로 제공하는 출력 버스를 사용하는 대신에 플러그인(220)에서 가상 버스(Virtual Bus)를 만들어 사용할 수 있다. 이 때, 가상 버스에 신호를 보내기 위해서 오디오 트랙의 인서트(Insert) 단자(또는 Aux)에 센더(Sender)를 삽입하여 신호의 흐름을 바꾸고, 센더를 통해 입력된 신호는 플러그인(220) 내의 이머시브 서라운드 패너(Immersive Surround Panner)를 거쳐 프로세싱될 수 있다. 이 때, 이머시브 서라운드 패너를 통해 프로세싱된 신호는 가상 버스로 전달되고, 가상 버스로부터 신호를 수신 받아 출력하기 위해 다시 마스터 트랙(출력 트랙)(Master Track)을 생성하게 된다. 이 때, 가상 버스의 종단에 리시버(Receiver) 플러그인을 삽입하여 마스터 트랙(출력 트랙)의 인서트 단자로 신호를 전달할 수 있다. 이 후, 마스터 트랙의 인서트 단자를 통해 수신된 신호는 버스 출력(Output Bus)으로 전달될 수 있으며, 버스 출력은 오디오 인터페이스의 DA 컨버터를 거쳐 스피커로 출력될 수 있다.
이 때, 믹싱된 오디오에 대한 바이노럴 청취를 위해서는, 리시버 플러그인의 종단에 바이노럴 인코더(Binaural Encoder)를 배치하여 바이노럴 프로세싱을 수행한 후, 스피커와 연결된 마스터 트랙과는 별도의 마스터 트랙을 생성하여 바이노럴 프로세싱 신호를 출력할 수 있다.
그러나, 도 2에 도시된 DAW 소프트웨어(210)는 소프트웨어 자체의 기능을 대부분 사용할 수 없게 되고, 플러그인(220) 내부의 기능을 사용해야 하기 때문에 복잡한 믹싱 과정을 거쳐야 한다. 또한, 믹싱할 트랙의 개수가 늘어날수록 작업의 복잡도가 증가하여 시스템 자원 측면이나 시간적 측면에서 효율이 떨어지게 된다.
또한, 이머시브 서라운드 패너의 제작사마다 자사의 사운드 포맷을 사용하기 때문에 완벽한 호환성을 제공하지 않고, 이로 인해 DAW 소프트웨어의 기본 패너나 플러그인 사용이 매우 제한적이라는 단점이 존재한다.
따라서, 본 발명에서는 도 1에 도시된 것과 같이 바이노럴 믹싱을 수행하는 가상 바이노럴 인터페이스(120)를 서라운드 프로세싱을 수행하는 호스트 프로그램(110)의 외부에 위치시킴으로써 도 2에 도시된 플러그인(220)내에서 수행되는 복잡한 과정을 생략한 효율적인 구조를 제안할 수 있다. 즉, 도 2에 도시된 것과 같은 가상 버스를 사용하지 않고, 신호의 흐름을 이해하기 수월한 형태로 바이노럴 믹싱을 수행할 수 있다. 또한, 바이노럴 인코더로 입력된 채널에 대해서만 바이노럴 사운드로 청취하고, 기존의 스테레오 신호를 바이노럴 사운드와 함께 청취할 수도 있다.
이 때, 본 발명의 일실시예에 따르면, 도 1에 도시된 호스트 프로그램(110)으로부터의 출력은 가상 바이노럴 인터페이스(120)의 입력과 일대일로 대응할 수 있으며, 입력된 값은 가상 바이노럴 인터페이스(120)에서 이머시브 오디오 프로세서의 후단에 위치하는 바이노럴 인코더를 통해 바이노럴 믹싱될 수 있다.
이 때, 스피커 출력과 바이노럴 출력은 각각 연동된 DA 컨버터를 통해 출력될 수 있다.
또한, 본 발명에 따른 바이노럴 컨텐츠 저작 방식은 바이노럴 믹싱과정에서 미리 믹싱결과를 모니터링 할 수 있는 기능을 제공하여 사용자가 작업결과를 실시간으로 확인하며 믹싱을 수행할 수 있다. 이 때, 오디오 인터페이스를 통한 출력단에서 스피커 모니터와 헤드폰 모니터를 자유롭게 전환할 수 있는데, 가상 바이노럴 인터페이스는 호스트 프로그램에서 사용하는 플러그인이 아니기 때문에 모니터 전환 시 플러그인 파라미터를 수정하지 않아도 모니터링이 가능하다.
도 3은 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 방법을 나타낸 동작흐름도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 방법은 서라운드 프로세싱(Surround Processing)을 수행하는 호스트 프로그램과 동기화된 가상 바이노럴(Binaural) 인터페이스를 기반으로 호스트 프로그램에 마운트된 서라운드 오디오를 바이노럴 인코딩하여 바이노럴 오디오 신호를 생성한다(S310).
이 때, 호스트 프로그램은 오디오에 대한 서라운드 프로세싱을 수행하는 소프트웨어에 상응하는 것으로, 예를 들어, DAW 소프트웨어나 또는 서라운드 컨텐츠를 실행시키는 일반 플레이어에 해당할 수도 있다. 즉, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스는 서라운드 오디오를 출력하는 프로그램과 연동되어 바이노럴 인코딩된 결과를 제공할 수 있다.
이 때, 가상 바이노럴 인터페이스는 호스트 프로그램의 내부에 위치하는 것이 아니라 호스트 프로그램의 외부에서 별도의 소프트웨어로써 동작할 수 있다.
예를 들어, 도 4에 도시된 것과 같이 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스(420)는 5.1 채널 또는 7.1 채널의 서라운드 패너를 지원하는 DAW 소프트웨어(410)로부터 출력된 신호를 입력 받아 바이노럴 믹싱을 수행할 수 있다. 이 때, 도 4에 도시된 가상 바이노럴 인터페이스(420)는 평면 서라운드 이머시브 믹스된 신호와 함께 바이노럴 신호를 출력해줄 수도 있다.
다른 예를 들어, 도 5에 도시된 것과 같이 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스(520)는 멀티채널 서라운드 컨텐츠를 재생하는 플레이어(510)에서 오디오 디코더를 통해 출력되는 신호를 바이노럴 믹싱하여 제공함으로써 사용자가 헤드폰을 통해 서라운드 사운드 및 이머시브 서라운드 사운드를 청취할 수도 있다. 일반적인 플레이어의 경우에는 5.1 또는 그 이상의 서라운드 패널을 보유하고 있다고 하여도 전체 오디오 채널 중 전면 채널에 해당하는 Left 신호와 Right 신호만 들을 수 있거나, 다운믹스(downmix)되어 Left 채널과 Right 채널에 해당하는 스테레오로 오디오를 감사할 수 있다. 본 발명에서는 이러한 컨텐츠를 서라운드 로 감상하기 위해 도 5에 도시된 것과 같이 오디오 출력을 디지털로 전환한 후 플레이어(510)의 오디오 설정에서 오디오 출력을 가상 바이노럴 인터페이스(520)로 지정할 수 있다.
이 때, 도 5와 같은 구조를 통해 개별 오디오 출력을 바이노럴로 인코딩하여 헤드폰을 통해 서라운드로 감상할 수 있다.
즉, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스는 종래의 기술처럼 호스트 프로그램의 내부에서 플러그인으로 동작하는 것이 아니라 호스트 프로그램과 동기화된 별개의 프로그램으로써 동작할 수 있다.
예를 들어, 호스트 프로그램과 가상 바이노럴 인터페이스를 제공하는 바이노럴 컨텐츠 저작 프로그램을 각각 컴퓨터에 설치한 뒤, 호스트 프로그램에서 바이노럴 컨텐츠 저작 프로그램을 드라이버 설정해줌으로써 호스트 프로그램과 가상 바이노럴 인터페이스가 함께 동작할 수 있다.
이와 같이 호스트 프로그램의 외부에서 가상 바이노럴 인터페이스가 별개의 프로그램으로 동기화되어 동작함으로써 호스트 프로그램에서 자체적으로 제공하는 오디오 플러그인 또는 서드파티 플러그인을 그대로 사용할 수 있는 장점이 존재한다. 또한, 가상 바이노럴 인터페이스는 호스트 프로그램 안에서 사용하는 플러그인이 아니기 때문에 퍼포먼스에 영향을 미치지 않으며, 호스트 프로그램에서 이머시브 서라운드 믹스를 위한 어떠한 설정도 적용할 필요가 없기 때문에 믹스의 호환성을 높이고 효율적인 믹스를 수행할 수도 있다.
이 때, 호스트 프로그램 및 가상 바이노럴 인터페이스 중 적어도 하나에 대한 입력은 서라운드 오디오에 실시간으로 반영될 수 있다.
예를 들어, 호스트 프로그램에서 일반적인 작업을 하는 것과 같이 서라운드 출력 버스를 생성하여 믹스를 시작할 수 있다. 이 때, 호스트 프로그램에서 믹스하고자 하는 서라운드 포맷을 설정하여 서라운드 믹스를 수행할 수 있는데, 호스트 프로그램에서 설정된 서라운드 포맷에 따른 출력이 가상 바이노럴 인터페이스에 반영될 수 있다. 즉, 호스트 프로그램에서 5개의 채널만으로 서라운드 믹스를 수행하면 가상 바이노럴 인터페이스에서도 5개의 채널에 대한 입력을 받을 수 있고, 호스트 프로그램에서 11개로 채널을 늘려서 서라운드 믹스를 수행하면 가상 바이노럴 인터페이스에서도 11개의 채널에 대한 입력을 받을 수 있다.
이와 같이 가상 바이노럴 인터페이스에 호스트 프로그램에서 프로세싱되는 서라운드 오디오에 관한 정보를 실시간으로 반영할 수 있다.
또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 방법은 가상 바이노럴 인터페이스에 미디 타임 코드에 상응하는 타임 코드를 생성하여 호스트 프로그램과 동기화를 수행한다.
예를 들어, 도 6을 참조하면, 호스트 프로그램(610)의 MIDI 출력을 가상 바이노럴 인터페이스의 MIDI 입력과 소프트웨어적으로 연결한 후 호스트 프로그램(610)이 MTC(MIDI Time Code) 신호를 가상 바이노럴 인터페이스(620)로 송출할 수 있다. 이 때, 가상 바이노럴 인터페이스(620)에서는 호스트 프로그램(610)의 타임코드 정보를 수신할 수 있으므로 렌더링되는 범위 내의 시간정보를 확인할 수 있다.
보다 상세하게는 도 7에 도시된 것과 같은 호스트 프로그램(710)의 타임코드(711)를 가상 바이노럴 인터페이스(720)로 송출하면, 가상 바이노럴 인터페이스(720)에서는 타임코드 오프셋(offset)을 조정하여 타임코드(721)를 설정할 수 있다. 도 7에서는 가상 바이노럴 인터페이스(720)에서 오프셋을 +1 HR로 적용한 예시를 나타내고 있다.
이 때, 호스트 프로그램으로부터 공유된 미디 타임 코드(MIDI Time Code)를 기반으로 서라운드 오디오 중 호스트 프로그램에서 지정된 시간정보에 상응하는 범위를 바이노럴 인코딩할 수 있다.
예를 들어, 도 7을 참조하면, 호스트 프로그램(710)에서는 로케이터(712, 713)를 통해서 서라운드 오디오 중 일부 영역 또는 전체 영역을 지정할 수 있다. 이 때, 가상 바이노럴 인터페이스(720)는 타임코드를 기반으로 로케이터(712)부터 로케이터(713) 사이의 시간정보에 해당하는 오디오 파일을 생성하여 메모리(722)에 저장할 수 있다.
이 때, 도 6에 도시된 것과 같이 호스트 프로그램(610)의 MIDI 입력과 소프트웨어적으로 연결된 가상 바이노럴 인터페이스(620)의 MIDI 출력을 통해, 가상 바이노럴 인터페이스(620)가 MMC(MIDI Machine Control) 신호를 호스트 프로그램(610)에게 전송할 수 있다. 이 때, 도 7에 도시된 것과 같이 가상 바이노럴 인터페이스(720)에서 제어 버튼(726)을 사용하여 호스트 프로그램(710)의 제어 버튼(716)을 리모트 컨트롤함으로써 로케이터(712, 713)로 지정된 영역을 재생하거나 렌더링하여 파일로 생성할 수 있다.
즉, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스만으로는 오디오 파일을 생성하는 오디오 익스포트(Audio Export) 기능을 수행할 수 없지만, 가상 바이노럴 인터페이스가 마스터가 되어 오디오 익스포트 기능을 포함하는 호스트 프로그램을 리모트 컨트롤할 수 있으므로 하나의 프로그램을 사용하는 것처럼 오디오 파일을 생성할 수 있다.
이 때, 호스트 프로그램에서 지정된 범위는 프리롤(Pre-Roll) 기능과 포스트롤(Post-Roll) 기능을 기반으로 보다 유연하게 파일 생성이 가능하다. 예를 들어, 도 7을 참조하면, 호스트 프로그램(710)을 통해 지정된 로케이터(712)를 기준으로 더 빠른 위치에서 프리롤 지점(714)이 설정되고, 로케이터(713)를 기준으로 더 느린 위치에서 포스트롤 지점(715)이 설정된 것을 확인할 수 있다. 이와 같이 프리롤 기능과 포스트롤 기능을 통해 지정된 위치보다 더 넓은 범위를 오디오 파일로 저장함으로써 음악적인 뉘앙스를 파악하는데 효과적이고, 보다 안전한 오디오 파일을 생성할 수 있다.
이 때, 호스트 프로그램에서 내부 프로세싱을 거치지 않고 오디오 클립에 정보 파일만을 제공하는 방식으로 오디오 파일을 생성하기 때문에 종래의 플러그인을 이용하는 방식보다 파일의 생성과 관리가 수월할 수 있다.
이 때, 가상 바이노럴 인터페이스는 호스트 프로그램에 설정된 복수개의 출력 버스들에 일대일 대응하는 복수개의 채널들을 설정하여 서라운드 오디오를 수신할 수 있다.
예를 들어, 도 8에 도시된 것과 같이, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스를 통해 매트릭스 어사인 윈도우(Matrix Assign Window)를 실행시키면, 호스트 프로그램에서 출력되는 다수의 오디오 버스가 입력 레벨(810)로 표시될 수 있다. 이 때, 매트릭스 어사인 윈도우는 입력 레벨(810)에 표시된 채널들을 가상 바이노럴 인터페이스의 출력 레벨(820)로 어사인하기 위한 주요 설정 윈도우에 상응할 수 있다.
이 때, 복수개의 출력 버스들은 호스트 프로그램에서 지원하는 이머시브 서라운드 패너(immersive surround panner)의 종류에 상응하게 설정될 수 있다.
기본적으로는 입력 레벨(810)의 채널 번호와 출력 레벨(820)의 채널 번호가 일대일로 대응하지만, 호스트 프로그램에 상응하는 이머시브 서라운드 패너에 따른 서라운드 포맷 또는 호스트 프로그램 종류에 따라 동일한 규격의 서라운드 포맷이어도 채널 출력 포트가 달라질 수 있다.
따라서, 매트릭스 어사인 윈도우에서는 서라운드 아이콘(830)을 선택하여 나타나는 메뉴를 통해 호스트 프로그램에서 지정한 서라운드 포맷과 일치시킬 수 있다. 이 때, 표준화되지 않은 서라운드 포맷을 사용할 수도 있고 또는 사용자가 지정한 서라운드 채널을 사용할 수도 있다.
이 때, 도 9에 도시된 것과 같이, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스에서는 복수개의 출력 버스들과 일대일 대응한 복수개의 채널들 각각에 대해서 명칭을 부여할 수도 있다. 이 때, 도 9에 도시된 Channel Name Scheme 메뉴가 활성화되어 있으면, 선택된 서라운드 포맷에 따른 기존 채널의 이름을 출력 포트의 이름 그대로 사용할 수 있다. 즉, 이러한 방식으로 서라운드 포맷에 맞는 포트의 이름을 자동으로 불러올 수 있다.
이 때, 복수개의 출력 버스들은 호스트 프로그램의 서라운드 포맷의 이름과 동일하게 지정하는 것이 유리할 수 있고, 가상 바이노럴 인터페이스의 입력 채널들은 현재 선택된 서라운드 포맷의 이름과 동일하게 지정하는 것이 유리할 수 있다.
또한, 본 발명의 일실시예에 따른 매트릭스 어사인 윈도우에서는 옵션을 통해 하나의 입력을 2개 이상의 출력으로 어사인할 수도 있다. 이는 일반적인 믹스 과정에서는 필요하지 않은 기능이지만, 업믹스를 수행하거나 입력된 신호를 병렬로 분배하여 출력하고자 하는 경우에 유용하게 사용될 수 있다.
또한, 본 발명의 일실시예에 따른 매트릭스 어사인 윈도우에서는 채널 그룹을 지정하여 사용할 수 있다, 이 때, 각각의 그룹은 페이더, 솔로 및 뮤트로 구분될 수 있지만, 세가지 기증을 한 그룹에 모두 적용하여 사용할 수도 있다.
예를 들어, 도 10을 참조하면, 하나의 채널 그룹(1010)에 대해서 페이더(F), 솔로(S), 뮤트(M) 중 적어도 하나의 목적을 설정할 수 있고, 사용자 지정에 따라 채널 그룹의 그룹 이름을 변경할 수도 있다. 또한, 각각의 채널 그룹들마다 원하는 컬러를 적용하여 현재 그룹에서 사용하고자 하는 채널을 번호로 선택할 수 있다.
이 때, 채널 그룹의 컬러는 향후 잘못된 그룹핑으로 원하지 않는 결과가 출력되는 것을 방지하기 위해서 믹서 및 레벨 윈도우에서 현재 채널이 어떠한 그룹으로 어사인되어 있는지 표시하는데 사용될 수 있다.
또한, 본 발명의 일실시예에 따른 매트릭스 어사인 윈도우에서는 도 11에 도시된 것과 같이 톤 제어레이터 기능을 제공할 수 있다. 이 때, 톤 제너레이터 기능은 사운드를 튜닝하거나 시스템의 문제를 확인할 경우에 유용하게 사용할 수 있는 기능일 수 있다.
예를 들어, 매트릭스 어사인 윈도우에서 톤 제너레이터 기능을 사용하기 위해서는 도 11에 도시된 것처럼 뮤트(Mute) 설정을 해제하여야 할 수 있다.
다른 예를 들어, 톤 제너레이션 메뉴 중 프리퀀시(Frequency) 항목에서는 톤 제너레이트 주파수를 설정할 수 있으며, 레벨(Level) 항목을 통해 톤 제너레이트 레벨을 설정할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스는 도 12에 도시된 것과 같이 레벨 미터 윈도우(Level Meter Window)를 제공함으로써 바이노럴 인코딩이 이루어지기 전에 전체적인 채널의 레벨(1210)을 확인할 수 있다.
이 때, 레벨 미터 윈도우가 나타내는 채널 정보(1220)를 통해 출력 채널을 일시적으로 뮤트하거나 솔로 기능을 적용할 수 있으며, 해당 채널에 포함된 채널 그룹 정보도 나타낼 수 있다.
이 때, 도 12에 도시된 레벨 미터 윈도우는 도 13과 같이 설정될 수 있다.
먼저, 레벨 미터 항목의 Apply Color Scheme 옵션을 선택하여 레벨 미터의 색상이 기본 미터의 색상을 따르도록 설정할 수 있다. 이 때, 사용자는 필요에 따라 레벨 미터의 색상을 지정하여 사용할 수도 있다.
또한, 레벨 미터 항목의 Always Save Peak Log 옵션을 선택하여 레벨의 피크 상태를 항상 로그 파일로 기록할 수 있으며, 자동으로 로그 기록이 저장될 수 있다. 이 때, Always Save Peak Log 옵션이 설정되어 있지 않는 경우에도 레벨의 피크는 로그 파일로 기록될 수 있지만, 가상 바이노럴 인터페이스를 제공하는 프로그램을 종료함과 동시에 파일이 삭제될 수 있다.
이 때, 피크 상태를 로그 파일로 저장하여 보관함으로써 어느 시간대에 피크가 발생하였는지 파악할 수 있으므로 피크가 발생한 원인을 찾는데 용이할 수 있다.
또한, 미터 설정(Meter Configuration) 항목의 Peak Hold Time 옵션을 통해 레벨 미터의 피크 홀드 타임을 지정할 수 있다. 예를 들어, 피크 홀드 타임은 off 또는 0~5000ms 범위에서 선택될 수 있다.
또한, 미터 설정 항목의 Default Metering Position 옵션은 레벨 미터를 페이더 전 단계에서 볼 것인지 또는 페이더 후 단계에서 볼 것인지 설정하는 것으로, 일반적으로 인코딩되는 레벨을 정확하게 확인하기 위해서는 Post fader를 선택하여 사용할 수 있다.
마지막으로, 미터 설정 항목의 Grid 옵션은 레벨 그리드를 표시할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스는 도 14에 도시된 것과 같이 믹스 윈도우(Mix Window)를 제공함으로써 최종적으로 출력하고자 하는 채널의 개별적인 레벨을 조정할 수 있다.
이 때, 가상 바이노럴 인터페이스에 대한 입력을 기반으로 복수개의 채널들 중 바이노럴 인코딩에서 제외할 바이패스(Bypass) 채널을 설정할 수 있다.
이 때, 바이패스 채널과 같이 다이렉트 출력이 적용된 경우, 이를 인식하기 쉽도록 도 14의 도시된 것과 같이 페이더(1410)의 색상이 변경될 수 있다.
이 때, 본 발명에 따른 믹스 윈도우는 Disable SOLO Defeat 옵션을 통해 Solo Defeat 기능을 사용할 수도 있다. 이 때, Solo Defeat 기능이 적용된 채널은 뮤트가 선택되더라도 뮤트되지 않고 항상 오디오를 출력할 수 있다.
또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 방법은 가상 바이노럴 인터페이스를 기반으로 서라운드 오디오에 대한 서라운드 포맷을 결정하고, 가상 바이노럴 인터페이스를 기반으로 서라운드 포맷에 상응하는 채널 레이아웃 및 채널 리스트 중 적어도 하나를 디스플레이한다.
예를 들어, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스는 도 15 내지 도 16에 도시된 바이노럴 엔진 윈도우(Binaural Engine Window)를 통해 바이노럴 인코딩을 위한 상태를 확인할 수 있다.
먼저, 도 15에 도시된 채널 레이아웃(1510)을 기반으로 서라운드 포맷에 따라 서라운드 필드를 구성하는 스피커의 위치를 직관적으로 확인할 수 있다. 이 때, 호스트 프로그램에 따라 설정 가능한 서라운드 포맷에 따라 제공되는 채널을 채널 레이아웃(1510)에 표시할 수 있다. 이 때, 채널 레이아웃(1510)에 표시된 각각의 스피커에 대한 좌표는 사용자지정에 따라 변경이 가능할 수 있으며, 전혀 새로운 서라운드 필드를 생성하는 것도 가능할 수 있다.
또한, 도 16에 도시된 채널 리스트를 기반으로 채널 레이아웃(1510)에 포함된 채널 별 스피커의 포지션 파라미터를 변경할 수도 있다. 이 때, 변경된 포지션 파라미터 값은 렌더링에 반영될 수 있다.
이 때, 도 17과 같은 메뉴를 통해 도 15 내지 도 16에 도시된 바이노럴 엔진 윈도우를 설정할 수 있다.
예를 들어, MIDI Driver 항목의 각 메뉴를 통해 동기화하여 사용하고자 하는 디바이스 포트, MIDI 입력 포트 및 MIDI 출력 포트를 각각 지정해줄 수 있다. 이 때, 지정된 포트들을 기반으로 호스트 프로그램과 동기화될 수 있다.
또한, 동기화 항목의 Time Display Format 옵션이나 Display Offset 옵션을 통해 호스트 프로그램으로부터 송출된 타임코드를 표시하기 위한 디스플레이 포맷과 디스플레이 오프셋의 타임 디스플레이 포맷이 결정될 수 있다. 이 때, 호스트 프로그램으로부터 입력되는 타임코드와 다르게 시간을 측정하고자 한다면, 디스플레이 오프셋을 조정하여 간편하게 볼 수 있다.
또한, 렌더(Render) 항목의 Render File Format 옵션을 통해 렌더링되는 파일의 포맷을 지정할 수 있으며, Extract Chunk Data to Individual File 옵션을 통해 다양한 정보를 포함하고 있는 청크 데이터를 별도의 파일로 생성할 수 있다.
또한, 렌더 항목의 Extract Room Configuration Data To Individual File 옵션을 통해 다른 프로그램이나 다른 소프트웨어에서 사용할 수 있는 룸 설정 데이터 및 매트릭스 어사인 데이터를 개별 파일로 생성할 수 있다.
마지막으로, Render Quality 옵션과 Default Save Folder 옵션을 통해 렌더링퀄리티와 렌더링된 파일을 저장될 폴더를 설정할 수 있다.
이 때, 가상 바이노럴 인터페이스는 복수개의 출력 버스들과 상이한 다이렉트 출력 버스를 기반으로 오브젝트 오디오를 수신하되, 오브젝트 오디오에 상응하는 좌표 정보를 함께 수신할 수 있다. 즉, 이머시브 서라운드 믹스 과정에서 오브젝트 오디오는 믹스가 적용되는 출력 버스가 아닌 별개의 버스로 다이렉트 출력될 수 있다.
이 때, 오브젝트 오디오에는 타임코드 정보와 (X, Y, Z)에 상응하는 좌표정보가 부여될 수 있는데, 이는 타임코드에 따른 좌표의 움직임 정보를 의미할 수 있다.
이 때, 좌표 정보는 이머시브 서라운드 패너에 대한 3차원 좌표 정보에 상응할 수 있다. 즉, 이머시브 서라운드 패너의 X, Y, Z에 대한 오토메이션 정보를 오프젝트 오디오의 좌표 정보로 전환할 수 있다.
이 때, 다이렉트 출력 버스를 통해 수신되는 오브젝트 오디오는 고정(fixed) 오브젝트 오디오 및 무빙(moving) 오브젝트 오디오 중 어느 하나에 상응할 수 있다. 만약, 무빙 오브젝트 오디오가 수신되는 경우, 무빙 오브젝트 오디오에 상응하는 트래킹 정보도 함께 수신할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스는 복수개의 출력 버스 들과 상이한 복수개의 다이렉트 출력 버스들을 할당하여 고정(fixed) 오브젝트 오디오 및 무빙(moving) 오브젝트 오디오를 수신할 수도 있다. 예를 들어, 다수의 다이렉트 출력 버스들을 기반으로 여러 종류의 고정 오브젝트 오디오를 수신하거나 또는 다수의 다이렉트 출력 버스들을 기반으로 무빙 오브젝트 오디오의 입체적 위치를 나타낼 수도 있다.
또한, 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 방법은 가상 바이노럴 인터페이스에 대한 입력을 기반으로 호스트 프로그램을 리모트 컨트롤(Remote Control)하여 바이노럴 신호에 상응하는 바이노럴 컨텐츠를 생성한다(S320).
이 때, 가상 바이노럴 인터페이스는 상기의 도 6 내지 도 7을 통해 설명한 것과 같이 가상 바이노럴 인터페이스가 MMC(MIDI Machine Control) 신호를 호스트 프로그램에게 전송하여 호스트 프로그램을 리모트 컨트롤 할 수 있다.
이 때, 가상 바이노럴 인터페이스는 트랜스포트 및 호스트 프로그램의 프로젝트를 컨트롤하기 위한 다수의 신호를 함께 호스트 프로그램으로 전송할 수 있다.
또한, 도 3에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 방법은 가상 바이노럴 인터페이스에 대한 입력에 실시간으로 반응하여 바이노럴 모니터링 오디오를 제공한다. 즉, 평면 서라운드 믹스 또는 이머시브 서라운드 믹스에 따른 오디오를 바이노럴로 모니터링 할 수 있다.
예를 들어, 본 발명의 일실시예에 따른 가상 바이노럴 인터페이스는 바이노럴 엔진에서 출력되는 최종 출력을 헤드폰을 통해 모니터링 할 수 있도록 도 18 내지 도 19에 도시된 것과 같은 바이노럴 모니터 윈도우(Binaural Monitor Window)를 제공할 수 있다.
이 때, 바이노럴 모니터 윈도우에서는 헤드폰을 통한 바이노럴 모니터링 기능과 함께 헤드 트래킹 사운드 시뮬레이션 기능, 레이어별 모니터 레벨 조정 기능 및 헤드폰 뮤트 및 패드 기능 등을 제공할 수 있다.
이 때, 도 20과 같은 디바이스 설정을 통해 사용하고자 하는 오디오 하드웨어 기기를 선택하고, 선택된 하드웨어 기기에 대한 기본적인 인터페이스 설정을 수행할 수 있다.
예를 들어, Audio Driver 항목의 Device Name 옵션에서 최종 출력 장치인 헤드폰 또는 이어폰 장치를 선택할 수 있고, Input/Output Ports 옵션을 통해 물리적인 입출력 포트 수를 나타낼 수 있다.
또한, Configurations 항목에서는 오디오 드라이브의 샘플 레이트, 클럭 모드, 클럭 상태 및 버퍼 사이즈 등을 선택할 수 있으며, ASIO 기반의 호스트 프로그램일 경우, 안정적인 스트리밍 모드가 가능하도록 설정할 수 있다.
또한, I/O Setup 항목에서는 현재 선택된 오디오 드라이버에서 사용 가능한 입력 포트 수와 출력 포트 수를 각각 지정할 수 있다.
이 때, 도 21과 같은 오디오 하드웨어 설정을 통해 선택된 오디오 하드웨어 기기에서 제공하는 추가적인 기능과 버전 정보 등을 확인하고 설정할 수 있다.
예를 들어, Output 항목에서는 헤드폰 출력 소스와 디밍되는 레벨을 설정할 수 있으며, System Information 항목에서는 오디오 하드웨어 기기의 제조사, 모델명, 펌웨어 버전 정보, 펌웨어 업데이트 정보, 드라이버 버전 등 다양한 정보를 표시할 수 있다.
이 때, 바이노럴 모니터링 오디오는 스피커 출력과 헤드폰 출력으로 전환되어 제공될 수 있어서 가상 바이노럴 인터페이스를 통해 바이노럴 컨텐츠를 저작하는 과정이 훨씬 수월해질 수 있다.
이와 같은 바이노럴 컨텐츠 저작 방법을 통해 평면 서라운드 또는 이머시브 서라운드로 인코딩되어 배포되는 컨텐츠를 바이노럴로 청취할 수 있다.
또한, 본 발명에 따른 가상 바이노럴 인터페이스는 바이노럴 버스, 스테레오 버스, 서라운드 버스 및 LFE 버스 등의 구분이 없으므로 어떠한 방식의 사운드도 믹스되어 청취가 가능할 수 있다.
도 22는 본 발명의 일실시예에 따른 바이노럴 컨텐츠 저작 시스템을 상세하게 나타낸 블록도이다.
도 22를 참조하여 본 발명의 따른 바이노럴 컨텐츠 저작 과정을 설명하면 다음과 같다.
먼저, 본 발명에 따른 호스트 프로그램에 상응하는 DAW 소프트웨어(2210)는 PC 또는 Mac을 지원하는 소프트웨어 상의 Audio Device 설정 영역에서 가상 바이노럴 인터페이스를 포함한 일반적인 오디오 인터페이스를 선택할 수 있다.
이 때, 가상의 오디오 인터페이스를 사용하는 경우에는 일반적인 오디오 인터페이스와 동일한 형태의 오디오 인터페이스 설정을 지원할 수 있다.
이 때, 가상 바이노럴 인터페이스의 드라이버를 실제 하드웨어와 같이 설치함으로써 컴퓨터의 운영체제에서 가상 바이노럴 인터페이스의 드라이버를 인식할 수 있다.
이 후, 가상 바이노럴 인터페이스의 설정 윈도우를 통해 설정된 출력 채널을 출력 버스(2220)로 표시할 수 있다. 이 때, 출력 버스의 개수는 가상 바이노럴 인터페이스의 설정 윈도우를 통해 결정될 수 있고, 출력 버스의 이름이나 버퍼 등은 호스트 프로그램에 해당하는 DAW 소프트웨어(2210)를 통해 설정될 수 있다.
또한, 샘플 레이트는 가상 바이노럴 인터페이스의 설정 윈도우에서 호스트 프로그램과 동일하게 지정할 수 있으며, 호스트 프로그램에서 지정된 샘플 레이트에 따라 변경되도록 할 수 있다.
이 후, 가상 바이노럴 인터페이스의 입력단(2230)은 DAW 소프트웨어(2210)의 출력 버스(2220)와 일대일로 대응하는 채널을 설정하여 신호를 입력 받을 수 있다.
이 때, 가상 바이노럴 인터페이스에서는 피크 디텍터(Peak Detector)를 통해 피크 발생 정보를 생성하고, 로그 파일로 저장함으로써 피크가 발생한 시간을 확인할 수 있다.
이 후, 가상 바이노럴 인터페이스의 내부에 포함된 바이노럴 엔진의 입력단(2240)에서는 가상 바이노럴 인터페이스의 입력단(2230)에서 입력되는 신호를 그대로 전송받고, 각각의 입력 포트의 이름을 제공할 수 있다.
이 때, 가상 바이노럴 인터페이스 셋업 과정을 통해 입력된 각 채널의 이름을 설정할 수 있고, 믹싱될 채널 그룹을 설정하는 과정을 거쳐 최종적으로 출력될 채널의 수를 설정할 수도 있다.
이 때, 입력된 신호가 버스의 개념에서 채널의 개념으로 변화될 수 있다.
이 후, 바이노럴 믹서(2250)를 통해 믹싱을 수행할 수 있다.
이 때, 각 채널에 대해 솔로(solo) 및 뮤트(mute)를 설정할 수 있으며, 페이더(fader)와 팬(pan) 값은 다이렉트 출력 채널에 대해서만 조정이 가능할 수 있다.
이 때, 가상 바이노럴 인터페이스에서 제공하는 매트릭스 어사인 윈도우를 통해 입력 채널과 출력 채널을 매핑할 수 있고, 별도로 출력되는 오브젝트 채널을 확인할 수 있다.
이 때, Dolby Atmos, DTS 및 기타 파일 포맷에 대한 Room Configuration Preset Data 로딩하여 바이노럴 프리셋을 선택할 수 있으며, 최대 16 채널 내에서 Room Configuration 값을 사용자가 직접 지정할 수도 있다.
이 후, 엑셉트(Except) 채널 출력단(2250)을 통해 바이노럴 렌더에 포함되지 않는 채널에 대한 다이렉트 출력을 수행함과 동시에, 바이노럴 엔진 인코더(2260)에서는 바이노럴 채널에 대한 실시간 인코딩을 수행할 수 있다.
이 때, 다이렉트 출력은 별도의 스테레오 버스를 사용할 수 있고, 최종 단에서 바이노럴 인코딩된 바이노럴 신호와 스테레오 버스 상에서 서밍(summing)될 수 있다.
이 후, 서밍된 신호는 가상 바이노럴 인터페이스의 출력단(2270)을 통해 바이노럴 모니터링 사운드로 제공될 수도 있다.
이 때, 모니터링 옵션에 따라 스피커나 헤드폰 중 어느 하나로 사운드가 출력될 수 있으며, 모니터링 옵션은 파일을 생성하는 오디오 익스포터(2280)의 렌더링 옵션과 동일하게 설정될 수 있다.
또한, 서밍된 신호는 오디오 익스포터(2280)에서 지정된 렌더링 옵션에 따라 파일로 생성될 수도 있다.
예를 들어, 바이노럴 채널만 익스포트되어 바이노럴 컨텐츠가 생성될 수도 있고, 멀티채널들이 개별 파일로 익스포트될 수도 있다. 또는 바이노럴 채널과 다이렉트 채널이 함께 익스포트되어 바이노럴 컨텐츠가 생성될 수도 있다.
이 때, 파일 브라우저(2290)에서는 바이노럴 채널을 익스포트된 경우에만 룸 컨피큐레이션(Room Configuration)에 해당하는 청크 데이터(Chunk Data)를 포함시킬 수 있다. 이 때, 청크 데이터는 웹 플레이어 상에서 리스닝 모드를 결정하는 파라미터로 사용될 수 있다.
이상에서와 같이 본 발명에 따른 바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110, 610, 710: 호스트 프로그램
120, 420, 520, 620, 720: 가상 바이노럴 인터페이스
210, 410, 2210: DAW 소프트웨어 220: 플러그인
510: 플레이어 711: 호스트 프로그램 타임코드
712, 713: 로케이터 714: 프리롤 지점
715: 포스트롤 지점 716: 호스트 프로그램 제어버튼
721: 가상 바이노럴 인터페이스 타임코드 722: 메모리
726: 가방 바이노럴 인터페이스 제어버튼 810: 입력 레벨
820: 출력 레벨 830: 서라운드 아이콘
1010: 채널 그룹 1210: 레벨
1220: 채널 정보 1410: 페이더
1510: 채널 레이아웃 2220: 출력 버스
2230: 가상 바이노럴 인터페이스의 입력단
2240: 바이노럴 엔진의 입력단 2250: 바이노럴 믹서
2260: 바이노럴 엔진 인코더
2270: 가상 바이노럴 인터페이스의 출력단
2280: 오디오 익스포터 2290: 파일 브라우저

Claims (20)

  1. 서라운드 프로세싱(Surround Processing)을 수행하는 호스트 프로그램과 동기화된 가상 바이노럴(Binaural) 인터페이스를 기반으로 상기 호스트 프로그램에 마운트된 서라운드 오디오를 바이노럴 인코딩하여 바이노럴 오디오 신호를 생성하는 단계; 및
    상기 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 호스트 프로그램을 리모트 컨트롤(Remote Control)하여 상기 바이노럴 오디오 신호에 상응하는 바이노럴 컨텐츠를 생성하는 단계를 포함하고,
    상기 호스트 프로그램 및 상기 가상 바이노럴 인터페이스 중 적어도 하나에 대한 입력은 상기 서라운드 오디오에 실시간으로 반영되고,
    상기 가상 바이노럴 인터페이스는
    상기 호스트 프로그램의 외부에 위치하는 하드웨어의 형태에 상응하게 동작하되, 상기 리모트 컨트롤을 기반으로 상기 호스트 프로그램의 외부에서 상기 호스트 프로그램에 마운트된 서라운드 오디오를 바이노럴 인코딩하고,
    상기 호스트 프로그램의 출력을 상기 가상 바이노럴 인터페이스가 입력받아 상기 바이노럴 인코딩을 수행하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  2. 청구항 1에 있어서,
    상기 바이노럴 오디오 신호를 생성하는 단계는
    상기 호스트 프로그램으로부터 공유된 미디 타임 코드(MIDI Time Code)를 기반으로 상기 서라운드 오디오 중 상기 호스트 프로그램에서 지정된 시간정보에 상응하는 범위를 바이노럴 인코딩하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  3. 청구항 1에 있어서,
    상기 가상 바이노럴 인터페이스는
    상기 호스트 프로그램에 설정된 복수개의 출력 버스들에 일대일 대응하는 복수개의 채널들을 설정하여 상기 서라운드 오디오를 수신하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  4. 청구항 3에 있어서,
    상기 복수개의 출력 버스들은
    상기 호스트 프로그램에서 지원하는 이머시브 서라운드 패너(immersive surround panner)의 종류에 상응하게 설정되는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  5. 청구항 3에 있어서,
    상기 바이노럴 오디오 신호를 생성하는 단계는
    상기 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 복수개의 채널들 중 바이노럴 인코딩에서 제외할 바이패스(Bypass) 채널을 설정하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  6. 청구항 1에 있어서,
    상기 바이노럴 컨텐츠 저작 방법은
    상기 가상 바이노럴 인터페이스를 기반으로 상기 서라운드 오디오에 대한 서라운드 포맷을 결정하는 단계; 및
    상기 가상 바이노럴 인터페이스를 기반으로 상기 서라운드 포맷에 상응하는 채널 레이아웃 및 채널 리스트 중 적어도 하나를 디스플레이 하는 단계를 더 포함하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  7. 청구항 1에 있어서,
    상기 바이노럴 컨텐츠 저작 방법은
    상기 가상 바이노럴 인터페이스에 대한 입력에 실시간으로 반응하여 바이노럴 모니터링 오디오를 제공하는 단계를 더 포함하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  8. 청구항 4에 있어서,
    상기 가상 바이노럴 인터페이스는
    상기 복수개의 출력 버스들과 상이한 다이렉트 출력 버스를 기반으로 오브젝트 오디오를 수신하되, 상기 오브젝트 오디오에 상응하는 좌표 정보를 함께 수신하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  9. 청구항 8에 있어서,
    상기 좌표 정보는
    상기 이머시브 서라운드 패너에 대한 3차원 좌표 정보에 상응하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  10. 청구항 2에 있어서,
    상기 바이노럴 컨텐츠 저작 방법은
    상기 가상 바이노럴 인터페이스에 상기 미디 타임 코드에 상응하는 타임 코드를 생성하여 상기 호스트 프로그램과 동기화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 방법.
  11. 서라운드 프로세싱(Surround Processing)을 수행하는 호스트 프로그램과 동기화된 가상 바이노럴(Binaural) 인터페이스를 기반으로 상기 호스트 프로그램에 마운트된 서라운드 오디오를 바이노럴 인코딩하여 바이노럴 오디오 신호를 생성하는 단계; 및
    상기 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 호스트 프로그램을 리모트 컨트롤(Remote Control)하여 상기 바이노럴 오디오 신호에 상응하는 바이노럴 컨텐츠를 생성하는 단계를 포함하고,
    상기 호스트 프로그램 및 상기 가상 바이노럴 인터페이스 중 적어도 하나에 대한 입력은 상기 서라운드 오디오에 실시간으로 반영되고,
    상기 가상 바이노럴 인터페이스는
    상기 호스트 프로그램의 외부에 위치하는 하드웨어의 형태에 상응하게 동작하되, 상기 리모트 컨트롤을 기반으로 상기 호스트 프로그램의 외부에서 상기 호스트 프로그램에 마운트된 서라운드 오디오를 바이노럴 인코딩하고,
    상기 호스트 프로그램의 출력을 상기 가상 바이노럴 인터페이스가 입력받아 상기 바이노럴 인코딩을 수행하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 바이노럴 컨텐츠 저작 프로그램.
  12. 청구항 11에 있어서,
    상기 호스트 프로그램으로부터 공유된 미디 타임 코드(MIDI Time Code)를 기반으로 상기 서라운드 오디오 중 상기 호스트 프로그램에서 지정된 시간정보에 상응하는 범위를 바이노럴 인코딩하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
  13. 청구항 11에 있어서,
    상기 가상 바이노럴 인터페이스는
    상기 호스트 프로그램에 설정된 복수개의 출력 버스들에 일대일 대응하는 복수개의 채널들을 설정하여 상기 서라운드 오디오를 수신하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
  14. 청구항 13에 있어서,
    상기 복수개의 출력 버스들은
    상기 호스트 프로그램에서 지원하는 이머시브 서라운드 패너(immersive surround panner)의 종류에 상응하게 설정되는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
  15. 청구항 13에 있어서,
    상기 가상 바이노럴 인터페이스에 대한 입력을 기반으로 상기 복수개의 채널들 중 바이노럴 인코딩에서 제외할 바이패스(Bypass) 채널을 설정하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
  16. 청구항 11에 있어서,
    상기 바이노럴 컨텐츠 저작 프로그램은
    상기 가상 바이노럴 인터페이스를 기반으로 상기 서라운드 오디오에 대한 서라운드 포맷을 결정하는 단계; 및
    상기 가상 바이노럴 인터페이스를 기반으로 상기 서라운드 포맷에 상응하는 채널 레이아웃 및 채널 리스트 중 적어도 하나를 디스플레이 하는 단계를 더 실행시키는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
  17. 청구항 11에 있어서,
    상기 바이노럴 컨텐츠 저작 프로그램은
    상기 가상 바이노럴 인터페이스에 대한 입력에 실시간으로 반응하여 바이노럴 모니터링 오디오를 제공하는 단계를 더 실행시키는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
  18. 청구항 14에 있어서,
    상기 가상 바이노럴 인터페이스는
    상기 복수개의 출력 버스들과 상이한 다이렉트 출력 버스를 기반으로 오브젝트 오디오를 수신하되, 상기 오브젝트 오디오에 상응하는 좌표 정보를 함께 수신하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
  19. 청구항 18에 있어서,
    상기 좌표 정보는
    상기 이머시브 서라운드 패너에 대한 3차원 좌표 정보에 상응하는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
  20. 청구항 12에 있어서,
    상기 바이노럴 컨텐츠 저작 프로그램은
    상기 가상 바이노럴 인터페이스에 상기 미디 타임 코드에 상응하는 타임 코드를 생성하여 상기 호스트 프로그램과 동기화를 수행하는 단계를 더 실행시키는 것을 특징으로 하는 바이노럴 컨텐츠 저작 프로그램.
KR1020180028554A 2018-03-12 2018-03-12 바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램 KR102051084B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180028554A KR102051084B1 (ko) 2018-03-12 2018-03-12 바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180028554A KR102051084B1 (ko) 2018-03-12 2018-03-12 바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램

Publications (2)

Publication Number Publication Date
KR20190107374A KR20190107374A (ko) 2019-09-20
KR102051084B1 true KR102051084B1 (ko) 2019-12-02

Family

ID=68067518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180028554A KR102051084B1 (ko) 2018-03-12 2018-03-12 바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램

Country Status (1)

Country Link
KR (1) KR102051084B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090044122A1 (en) * 2007-08-06 2009-02-12 Matt Evans Method and system to process digital audio data

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102007991B1 (ko) 2013-07-25 2019-08-06 한국전자통신연구원 다채널 오디오 신호의 바이노럴 렌더링 방법 및 장치
KR20170106063A (ko) * 2016-03-11 2017-09-20 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090044122A1 (en) * 2007-08-06 2009-02-12 Matt Evans Method and system to process digital audio data

Also Published As

Publication number Publication date
KR20190107374A (ko) 2019-09-20

Similar Documents

Publication Publication Date Title
KR102406776B1 (ko) 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
US9924289B2 (en) System and method for forming and rendering 3D MIDI messages
CN109068263B (zh) 使用元数据处理的耳机的双耳呈现
EP2205007B1 (en) Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
EP1866742B1 (en) System and method for forming and rendering 3d midi messages
JP4643987B2 (ja) スマートスピーカ
JP4263217B2 (ja) オーディオシーンでのオーディオ表現を生成し、保存し、編集するための装置および方法
CN105075295A (zh) 用于生成和渲染具有条件渲染元数据的基于对象的音频的方法和系统
CN110915220B (zh) 具有流式传输能力的音频输入和输出装置
US9818448B1 (en) Media editing with linked time-based metadata
KR20220071869A (ko) 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법
KR101744361B1 (ko) 다채널 오디오 신호 편집 장치 및 방법
KR102051084B1 (ko) 바이노럴 컨텐츠 저작 방법 및 이를 위한 프로그램
US11368806B2 (en) Information processing apparatus and method, and program
CN109348390B (zh) 一种沉浸式全景声电子音乐扩散系统的实现方法
US11902768B2 (en) Associated spatial audio playback
JP4967916B2 (ja) 信号処理装置
CN115103293B (zh) 一种面向目标的声重放方法及装置
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
KR20160113036A (ko) 3차원 사운드를 편집 및 제공하는 방법 및 장치
US20200120435A1 (en) Audio triangular system based on the structure of the stereophonic panning
JP4792819B2 (ja) 遠隔編集方法及び遠隔編集システム
Mickiewicz et al. Surround mixing in pro tools LE
JP2002320299A (ja) ディジタル・ミキシングシステム
KR20160113035A (ko) 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant