상기 목적을 달성하기 위한 본 발명의 시스템은, 객체 오디오신호를 생성하기 위한 전처리 수단과, 상기 객체 오디오신호를 편집하여 오디오 장면을 구성하기 위한 객체기반 오디오 편집 수단과, 객체기반 오디오 부호화 수단과, 전송 수단을 포함하는 오디오 전송 시스템에 있어서, 상기 객체기반 오디오 편집 수단은, 객체기반 오디오 콘텐츠에 편집자의 다양한 오디오 장면 구성에 관한 장면 부가데이터를 추가하기 위해, 상기 전처리 수단으로부터의 객체 오디오신호를 편집하기 위한 오디오 편집블록; 상기 오디오 편집블록으로부터의 객체 오디오신호를 이용하여 오디오 장면을 구성하기 위한 오디오 장면구성블록; 및 상기 전처리 수단으로부터의 멀티채널 오디오신호를 입력받아 부호화하기 위한 멀티채널 오디오 부호화블록을 포함하되, 상기 오디오 장면구성블록에 의해 구성된 오디오 장면은, 가상의 사용자 위치에서 각 객체별 오디오까지의 거리 정보와 가상 사용자 위치에서의 객체별 오디오신호의 수평 및 수직 각도에 대한 정보와 같은 객체 오디오신호의 위치정보와, 공간의 크기, 형태, 잔향 시간, 내부의 음에 대한 반사, 흡수, 및 투과와 같은 특성과 같은 오디오 장면의 공간정보와, 객체별 음원의 레벨 및 형태 정보와 같은 기타정보를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 시스템은, 객체기반 오디오 콘텐츠를 수신하기 위한 수신 수단과, 객체기반 오디오 복호화 수단과, 사용자로부터의 제어에 따라 오디오 장면 구성을 위한 장면 사용자 제어신호 및 재생 환경 설정을 위한 재생 사용자 제어신호를 출력하기 위한 사용자 제어 수단과, 객체기반 오디오 장면합성 수단과, 재생 수단을 포함하는 객체기반 오디오 수신 시스템에 있어서, 상기 사용자 제어 수단은, 다양한 오디오 장면에 관한 정보를 사용자에게 제공하여 사용자가 원하는 장면을 선택할 수 있도록 하기 위해, 오디오 장면의 구성을 위해 각각의 객체를 제어하기 위한 사용자 인터페이스를 제공하기 위한 인터페이스 블록; 상기 인터페이스 블록으로부터의 장면 사용자 제어정보에 따라 오디오 장면에 관한 장면 사용자 제어신호를 생성하기 위한 오디오 장면제어신호 생성블록; 및 상기 인터페이스 블록으로부터의 재생 사용자 제어정보에 따라 재생환경에 대한 재생 사용자 제어신호를 생성하기 위한 오디오 재생제어신호 생성블록을 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 방법은, 다양한 소스로부터 오디오신호를 입력받아 전처리 과정을 통해 객체 오디오신호를 생성하는 단계; 상기 생성한 객체 오디오신호를 편집하여 오디오 장면을 구성하는 객체기반 오디오 편집 단계; 상기 편집한 객체 오디오신호와 상기 구성한 오디오 장면에 관한 정보를 부호화하고 다중화하여 객체기반 오디오 콘텐츠를 생성하는 단계; 및 상기 생성한 객체기반 오디오 콘텐츠를 전송하는 단계를 포함하되, 상기 객체기반 오디오 편집 단계는, 객체기반 오디오 콘텐츠에 편집자의 다양한 오디오 장면 구성에 관한 장면 부가데이터가 추가되는데, 상기 장면 부가데이터는, 가상의 사용자 위치에서 각 객체별 오디오까지의 거리 정보와 가상 사용자 위치에서의 객체별 오디오신호의 수평 및 수직 각도에 대한 정보와 같은 객체 오디오신호의 위치정보와, 공간의 크기, 형태, 잔향 시간, 내부의 음에 대한 반사, 흡수, 및 투과와 같은 특성과 같은 오디오 장면의 공간정보와, 객체별 음원의 레벨 및 형태 정보와 같은 기타정보를 포함하는 것을 특징으로 한다.
삭제
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 객체기반 오디오 전송/수신 시스템의 일실시예 전체 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 객체기반 오디오 전송 시스템은 전처리부(100), 객체기반 오디오 편집부(200), 객체기반 오디오 부호화부(300), 및 전송부(400)를 포함하고 있으며, 오디오신호를 입력받아 객체기반으로 편집한 후 비디오신호 및 부가데이터를 이용하여 다중화한 후 매체(예 : 유/무선 통신시스템)를 통해 객체기반 오디오 수신 시스템 측으로 전송한다.
이를 좀 더 구체적으로 살펴보면, 본 발명에 따른 객체기반 오디오 전송 시스템은 외부의 다양한 소스로부터 오디오신호를 입력받아 전처리 과정을 통해 객체 오디오신호를 생성하기 위한 전처리부(100), 상기 전처리부(100)로부터의 객체 오디오신호를 편집하여 오디오 장면을 구성하기 위한 객체기반 오디오 편집부(200), 상기 객체기반 오디오 편집부(200)로부터의 객체 오디오신호와 오디오 장면에 관한 정보를 부호화하고 다중화하여 객체기반 오디오 콘텐츠를 생성하기 위한 객체기반 오디오 부호화부(300), 및 상기 객체기반 오디오 부호화부(300)로부터의 객체기반 오디오 콘텐츠를 다양한 매체를 통해 전송하기 위한 전송부(400)를 포함한다. 이에 대한 구체적인 실시예는 도 2 내지 도 4를 참조하여 후술하기로 한다.
한편, 본 발명에 따른 객체기반 오디오 수신 시스템은 수신부(500), 객체기반 오디오 복호화부(600), 객체기반 오디오 장면합성부(700), 재생부(800), 및 사용자 제어부(900)를 포함하고 있으며, 상기 매체(예 : 유/무선 통신시스템)를 통해 객체기반 오디오 전송 시스템 측으로부터 객체기반 오디오 콘텐츠를 수신한 후에, 사용자 제어에 따라 오디오 장면을 구성하여 출력한다.
이를 좀 더 구체적으로 살펴보면, 본 발명에 따른 객체기반 오디오 수신 시스템은 상기 객체기반 오디오 전송 시스템 측으로부터 매체를 통하여 전송된 객체기반 오디오 콘텐츠를 수신하기 위한 수신부(500), 상기 수신부(500)로부터의 객체 기반 오디오 콘텐츠(예 : 객체 오디오신호 및 오디오 장면에 관한 부가데이터 등)를 복호화하기 위한 객체기반 오디오 복호화부(600), 사용자로부터의 제어에 따라 오디오 장면 구성을 위한 장면 사용자 제어신호 및 재생 환경 설정을 위한 재생 사용자 제어신호를 출력하기 위한 사용자 제어부(900), 상기 사용자 제어부(900)로부터의 장면 사용자 제어신호에 따라 상기 객체기반 오디오 복호화부(600)로부터의 객체기반 오디오 콘텐츠(예 : 객체 오디오신호 및 오디오 장면에 관한 부가데이터 등)를 이용하여 오디오 장면을 구성하기 위한 객체기반 오디오 장면합성부(700), 및 상기 사용자 제어부(900)로부터의 재생 사용자 제어신호에 따라 객체기반 오디오 장면합성부(700)로부터의 객체기반 오디오 콘텐츠(예 : 객체 오디오신호 및 오디오 장면에 관한 부가데이터 등)를 재생하기 위한 재생부(800)를 포함한다. 이에 대한 구체적인 실시예는 도 5 내지 도 8을 참조하여 후술하기로 한다.
한편, 외부로부터 상기 객체기반 오디오 편집부(200)로 입력되는 비디오신호, 객체기반 오디오 콘텐츠, 및 멀티채널 오디오신호는 본 발명의 부가 구성요소로서, 이에 대해서는 도 3을 참조하여 상세히 후술하기로 한다. 또한, 외부로부터 상기 객체기반 오디오 복호화부(600)로 입력되는 객체기반 오디오 콘텐츠도 본 발명의 부가 구성요소로서, 이에 대해서는 도 5를 참조하여 상세히 후술하기로 한다.
도 2는 도 1의 전처리부의 일실시예 상세 구성도이다.
도 2에 도시된 바와 같이, 상기 전처리부(100)는 외부로부터 객체 오디오신호와 멀티채널 오디오신호를 입력받기 위한 오디오신호 입력블록(110)과, 외부로부터 혼합 오디오신호를 입력받아 음원 분리 과정을 통해 객체 오디오신호를 생성하 기 위한 음원분리블록(120)을 포함한다.
여기서, 상기 오디오신호 입력블록(110)은 외부의 다양한 음원 소스로부터 객체 오디오신호와 멀티채널 오디오신호를 입력받아 객체기반 오디오 편집부(200)로 전달한다.
그리고 상기 음원분리블록(120)은 다양한 오디오신호가 혼합되어있는 음원(혼합 오디오신호)이 입력된 경우, 혼합 오디오신호를 객체별로 분리하여 객체 오디오신호를 생성하여 객체기반 오디오 편집부(200)로 출력한다. 예를 들어, 상기 음원분리블록(120)은 지향성 마이크로폰 등을 이용하여 획득한 오디오신호가 입력된 경우, 각 오디오신호의 음원분리도를 향상시킨 객체 오디오신호를 생성한다.
도 3은 도 1의 객체기반 오디오 편집부의 일실시예 상세 구성도이다.
도 3에 도시된 바와 같이, 상기 객체기반 오디오 편집부(200)는 상기 전처리부(100)의 오디오신호 입력블록(110)과 음원분리블록(120)으로부터의 객체 오디오신호를 편집하기 위한 오디오 편집블록(210), 상기 오디오 편집블록(210)으로부터의 객체 오디오신호를 이용하여 오디오 장면을 구성하기 위한 오디오 장면구성블록(220), 및 상기 전처리부(100)의 오디오신호 입력블록(110)으로부터의 멀티채널 오디오신호를 입력받아 부호화하기 위한 멀티채널 오디오 부호화블록(250)을 포함한다. 또한, 부가적으로 역다중화 및 복호화블록(230)이나 비디오신호 입력블록(240)을 더 포함하여 구현할 수도 있다. 이에 대한 구성 및 동작을 구체적으로 살펴보면 다음과 같다.
예를 들어, 상기 객체기반 오디오 편집부(200)는 외부로부터 입력되는 기 제작한 객체기반 오디오 콘텐츠를 역다중화 및 복호화하기 위한 역다중화 및 복호화블록(230), 외부로부터 비디오신호를 입력받기 위한 비디오신호 입력블록(240), 상기 전처리부(100)의 오디오신호 입력블록(110)과 음원분리블록(120)으로부터의 객체 오디오신호 및 상기 역다중화 및 복호화블록(230)으로부터의 객체 오디오신호를 편집하기 위한 오디오 편집블록(210), 상기 오디오 편집블록(210)으로부터의 객체 오디오신호 및 상기 역다중화 및 복호화블록(230)으로부터의 장면 부가데이터를 이용하여 오디오 장면을 구성하기 위한 오디오 장면구성블록(220), 및 상기 전처리부(100)의 오디오신호 입력블록(110)으로부터의 멀티채널 오디오신호 및 외부로부터의 멀티채널 오디오신호를 입력받아 부호화하기 위한 멀티채널 오디오 부호화블록(250)을 포함한다.
여기서, 상기 오디오 편집블록(210)은 상기 전처리부(100)의 오디오신호 입력블록(110)과 음원분리블록(120)으로부터 객체 오디오신호를 입력받거나 부가적으로 상기 역다중화 및 복호화블록(230)으로부터 객체 오디오신호를 더 입력받아 오디오신호에 따라 믹싱과 음향효과 편집을 추가한 객체 오디오신호를 생성하여 상기 오디오 장면구성블록(220)으로 출력한다. 여기서, 음향효과 편집은 음원의 레벨, 잔향 추가, 변조 등의 다양한 음향효과 편집을 의미한다. 즉, 상기 오디오 편집블록(210)은 객체 오디오신호를 믹싱하여 시스템에서 처리 가능한 수만큼의 오디오 객체를 생성하고, 그 오디오 객체에 대해 잔향, 변조 등 다양한 음향 신호처리를 수행하여 객체 오디오신호를 생성한다.
그리고 오디오 장면구성블록(220)은 상기 오디오 편집블록(210)으로부터 객 체 오디오신호를 입력받거나 부가적으로 상기 역다중화 및 복호화블록(230)으로부터 장면 부가데이터를 더 입력받아 편집자가 객체 오디오신호를 오디오 장면 상에 배치하여 오디오 장면을 구성할 수 있도록 한다. 여기서, 오디오 장면은 객체 오디오신호의 위치정보와 오디오 장면의 공간정보 및 기타정보 등을 포함한다. 상기 객체 오디오신호의 위치정보는 가상의 사용자 위치에서 각 객체별 오디오까지의 거리 정보와 가상 사용자 위치에서의 객체별 오디오신호의 수평 및 수직 각도에 대한 정보를 포함한다. 그리고 오디오 장면의 공간정보는 각 객체별 오디오신호가 존재하는 공간에 대한 정보를 의미하는 것으로, 공간의 크기, 형태, 잔향 시간, 내부의 음에 대한 반사, 흡수, 및 투과 등의 특성을 포함한다. 그리고 기타정보는 객체별 음원의 레벨 및 형태 정보를 포함한다. 이때, 오디오 장면구성블록(220)은 편집자가 객체 오디오신호를 이용하여 구성한 오디오 장면에 관한 정보를 장면 부가데이터 형태로 객체기반 오디오 부호화부(300)로 객체 오디오신호와 함께 출력한다. 이처럼, 편집자가 오디오 장면구성블록(220)에서 객체 오디오신호를 이용하여 다양한 오디오 장면을 구성할 수 있도록 한다. 그에 따라, 사용자는 편집자가 구성한 다양한 오디오 장면 중 자신의 취향에 따른 오디오 장면을 선택하여 청취하게 된다.
즉, 편집자가 하나의 객체기반 오디오 콘텐츠에 다양한 오디오 장면을 구성하여 전송함으로써 수신 시스템에서 사용자가 편집자가 의도한 다양한 장면 중 자신의 취향에 따른 오디오 장면을 선택하여 청취할 수 있도록, 객체기반 오디오 콘텐츠에 편집자의 다양한 오디오 장면 구성에 관한 장면 부가데이터를 추가한다.
그리고 상기 역다중화 및 복호화블록(230)은 이전에 제작한 객체기반 오디 오 콘텐츠를 편집자가 다시 편집할 수 있도록 하기 위해, 외부로부터 입력되는 객체기반 오디오 콘텐츠를 역다중화 및 복호화하여 객체 오디오신호/비디오신호/장면 부가데이터/부호화된 멀티채널 다운믹스신호/멀티채널 부가데이터를 생성하여 각 블록으로 출력한다.
그리고 상기 비디오신호 입력블록(240)은 부가 구성요소로서, 오디오 장면의 배경이 되는 비디오신호를 외부로부터 입력받아 객체기반 오디오 부호화부(300)로 출력하는 기능을 수행한다.
그리고 상기 멀티채널 오디오 부호화블록(250)은 상기 전처리부(100)의 오디오신호 입력블록(110)으로부터 멀티채널 오디오신호를 입력받거나 부가적으로 외부로부터의 멀티채널 오디오신호를 더 입력받아 모노나 스테레오로 다운믹스하고, 다시 멀티채널로 확장하기 위한 멀티채널 부가데이터를 추출한다. 즉, 상기 멀티채널 오디오 부호화블록(250)은 배경음으로 멀티채널 오디오신호가 입력된 경우, 멀티채널 오디오신호를 모노나 스테레오 형태로 다운믹스하여 객체기반 오디오 부호화부(300)로 출력하고, 멀티채널 오디오에 관한 정보를 멀티채널 부가데이터 형태로 객체기반 오디오 부호화부(300)로 출력하는 기능을 수행한다. 여기서, 멀티채널 부가데이터는 다운믹스한 모노나 스테레오신호를 다시 멀티채널로 확장하기 위한 정보이고, 배경음은 출력 시스템에서 사용자가 제어할 수 있는 객체 오디오신호를 제외한 오디오신호를 의미한다.
도 4는 도 1의 객체기반 오디오 부호화부의 일실시예 상세 구성도이다.
도 4에 도시된 바와 같이, 상기 객체기반 오디오 부호화부(300)는 상기 객 체기반 오디오 편집부(200)로부터의 객체 오디오신호를 부호화하기 위한 오디오 부호화블록(310), 상기 객체기반 오디오 편집부(200)로부터의 오디오 장면에 관한 정보인 장면 부가데이터를 부호화하기 위한 부가데이터 부호화블록(320), 및 상기 오디오 부호화블록(310)에서 부호화한 오디오신호, 상기 부가데이터 부호화블록(320)에서 부호화한 장면 부가데이터, 상기 객체기반 오디오 편집부(200)로부터의 부호화된 멀티채널 다운믹스신호와 멀티채널 부가데이터를 다중화하여 객체기반 오디오 콘텐츠를 생성하기 위한 다중화 블록(330)을 포함한다. 또한, 부가적으로 상기 다중화 블록(330)이 비디오신호를 더 입력받도록 구현할 수도 있다. 이에 대한 구성 및 동작을 구체적으로 살펴보면 다음과 같다.
예를 들어, 상기 객체기반 오디오 부호화부(300)는 상기 객체기반 오디오 편집부(200)로부터의 객체 오디오신호를 부호화하기 위한 오디오 부호화블록(310), 상기 객체기반 오디오 편집부(200)로부터의 오디오 장면에 관한 정보인 장면 부가데이터를 부호화하기 위한 부가데이터 부호화블록(320), 및 상기 오디오 부호화블록(310)에서 부호화한 오디오신호, 상기 부가데이터 부호화블록(320)에서 부호화한 장면 부가데이터, 상기 객체기반 오디오 편집부(200)로부터의 부호화된 멀티채널 다운믹스신호와 멀티채널 부가데이터와 비디오신호를 다중화하여 객체기반 오디오 콘텐츠를 생성하기 위한 다중화 블록(330)을 포함한다.
한편, 상기 전송부(400)는 상기 다중화 블록(330)으로부터의 객체기반 오디오 콘텐츠를 다양한 매체(예 : 유/무선 통신시스템)를 통해 사용자에게 전달하기 위한 변환을 수행한다. 이때, 상기 전송부(400)는 상기 다중화 블록(330)에서 생성 한 객체기반 오디오 콘텐츠를 역다중화하여 각 데이터별로 객체기반 오디오 수신 시스템 측으로 전송하거나, 상기 다중화 블록(330)에서 생성한 객체기반 오디오 콘텐츠를 객체기반 오디오 수신 시스템 측으로 전송하여 수신부(500)에서 역다중화하도록 하는 등의 다양한 방식으로 구현할 수 있다.
한편, 상기 수신부(500)는 상기 객체기반 오디오 전송 시스템 측으로부터 다양한 매체를 통하여 전송된 객체기반 오디오 콘텐츠에서 부호화된 객체 오디오신호/장면 부가데이터/멀티채널 다운믹스신호/멀티채널 부가데이터를 추출하여 객체기반 오디오 복호화부(600)로 전달한다. 또는, 상기 수신부(500)는 전술한 예에 상응하여 동작하도록 하기 위해, 상기 객체기반 오디오 전송 시스템 측으로부터 다양한 매체를 통하여 전송된 객체기반 오디오 콘텐츠에서 부호화된 객체 오디오신호/비디오신호/장면 부가데이터/멀티채널 다운믹스신호/멀티채널 부가데이터를 객체기반 오디오 복호화부(600)로 전달하도록 구현할 수도 있다. 이때, 상기 수신부(500)는 상기 객체기반 오디오 전송 시스템 측으로부터 수신한 객체기반 오디오 콘텐츠가 다중화되어 있는 경우에, 이를 역다중화하여 상기 각 데이터를 추출하는 방식으로 구현할 수도 있다.
도 5는 도 1의 객체기반 오디오 복호화부의 일실시예 상세 구성도이다.
도 5에 도시된 바와 같이, 상기 객체기반 오디오 복호화부(600)는 상기 수신부(500)로부터의 부호화된 객체 오디오신호를 복호화하기 위한 복호화블록(610), 상기 수신부(500)로부터의 부호화된 장면 부가데이터를 복호화하기 위한 부가데이터 복호화블록(620), 및 상기 수신부(500)로부터의 부호화된 멀티채널 다운믹스신 호와 멀티채널 부가데이터를 이용하여 멀티채널 오디오신호로 복호화하기 위한 멀티채널 오디오 복호화블록(630)을 포함한다. 또한, 부가적으로 역다중화블록(640)을 더 포함하여 구현할 수도 있다. 이에 대한 구성 및 동작을 구체적으로 살펴보면 다음과 같다.
예를 들어, 상기 객체기반 오디오 복호화부(600)는 외부로부터 입력된 기 제작한 객체기반 오디오 콘텐츠를 역다중화하여 부호화된 객체 오디오신호/비디오신호/장면 부가데이터/멀티채널 다운믹스신호/멀티채널 부가데이터를 생성하기 위한 역다중화블록(640), 상기 수신부(500)로부터의 부호화된 객체 오디오신호/비디오신호와 상기 역다중화블록(640)으로부터의 부호화된 객체 오디오신호/비디오신호를 복호화하기 위한 복호화블록(610), 상기 수신부(500)로부터의 부호화된 장면 부가데이터와 상기 역다중화블록(640)으로부터의 부호화된 장면 부가데이터를 복호화하기 위한 부가데이터 복호화블록(620), 및 상기 수신부(500)로부터의 부호화된 멀티채널 다운믹스신호와 멀티채널 부가데이터 및 상기 역다중화블록(640)으로부터의 부호화된 멀티채널 다운믹스신호와 멀티채널 부가데이터를 이용하여 멀티채널 오디오신호로 복호화하기 위한 멀티채널 오디오 복호화블록(630)을 포함한다.
즉, 상기 복호화블록(610)은 상기 수신부(500)로부터 부호화된 객체 오디오신호/비디오신호를 입력받거나 부가적으로 상기 역다중화블록(640)으로부터 부호화된 객체 오디오신호/비디오신호를 더 입력받아 상기 부호화된 객체 오디오신호와 비디오신호를 복호화하여 객체 오디오신호 및 비디오신호를 생성하여 객체기반 오디오 장면합성부(700)로 출력한다.
그리고 상기 부가 데이터 복호화블록(620)은 상기 수신부(500)로부터의 부호화된 장면 부가데이터를 입력받거나 부가적으로 상기 역다중화블록(640)으로부터의 부호화된 장면 부가데이터를 더 입력받아 상기 부호화된 오디오 장면에 관한 장면 부가데이터를 복호화하여 장면 부가데이터를 생성하여 객체기반 오디오 장면합성부(700)로 출력한다.
그리고 상기 멀티채널 오디오 복호화블록(630)은 상기 수신부(500)로부터의 부호화된 멀티채널 다운믹스신호와 멀티채널 부가데이터를 입력받거나 부가적으로 상기 역다중화블록(640)으로부터의 부호화된 멀티채널 다운믹스신호와 멀티채널 부가데이터를 더 입력받아 상기 부호화된 멀티채널 다운믹스신호와 멀티채널 부가데이터를 이용하여 멀티채널 오디오신호를 생성하여 객체기반 오디오 장면합성부(700)로 출력한다.
그리고 상기 역다중화블록(640)은 외부로부터 기 제작되어 있는 객체기반 오디오 콘텐츠를 입력받아 역다중화하여 부호화된 객체 오디오신호/비디오신호/장면 부가데이터/멀티채널 다운믹스신호/멀티채널 부가데이터를 추출하여 해당 복호화블록으로 출력한다.
도 6은 도 1의 객체기반 오디오 장면합성부의 일실시예 상세 구성도이다.
도 6에 도시된 바와 같이, 상기 객체기반 오디오 장면합성부(700)는 상기 객체기반 오디오 복호화부(600)로부터의 객체 오디오신호와 장면 부가데이터 및 사용자 제어부(900)로부터의 장면 사용자 제어신호를 이용하여 객체 오디오신호의 위치를 제어하기 위한 객체 오디오신호 위치제어블록(710), 상기 객체기반 오디오 복 호화부(600)로부터의 객체 오디오신호와 장면 부가데이터 및 사용자 제어부(900)로부터의 장면 사용자 제어신호를 이용하여 오디오 장면의 공간을 제어하기 위한 객체 오디오신호 공간 제어블록(720), 상기 객체기반 오디오 복호화부(600)로부터의 객체 오디오신호와 장면 부가데이터 및 사용자 제어부(900)로부터의 장면 사용자 제어신호를 이용하여 객체 오디오신호의 레벨(크기)이나 형태 등을 변경하기 위한 객체 오디오신호 기타 제어블록(730), 및 상기 객체 오디오신호 위치제어블록(710)으로부터의 객체 오디오신호와 위치 제어신호, 상기 객체 오디오신호 공간 제어블록(720)으로부터의 객체 오디오신호와 공간 제어신호, 상기 객체 오디오신호 기타 제어블록(730)으로부터의 객체 오디오신호와 기타 제어신호 및 상기 객체기반 오디오 복호화부(600)로부터의 멀티채널 오디오신호를 이용하여 오디오 장면을 생성하기 위한 오디오 장면생성블록(740)을 포함한다. 이때, 상기 오디오 장면생성블록(740)은 부가적으로 상기 객체기반 오디오 복호화부(600)로부터 비디오신호를 더 입력받아 재생부(800)로 출력하는 기능을 더 수행할 수도 있다.
즉, 상기 객체 오디오신호 위치 제어블록(710)은 상기 객체기반 오디오 복호화부(600)로부터의 객체 오디오신호와 장면 부가데이터 및 사용자 제어부(900)로부터의 장면 사용자 제어신호 중에서 객체 오디오신호의 위치 제어에 관한 정보를 이용하여 객체 오디오신호의 위치를 제어하여 객체 오디오신호와 위치 제어신호를 오디오 장면생성블록(740)으로 출력한다. 여기서, 객체 오디오신호의 위치는 가상의 사용자 위치를 중심으로 각각의 객체 오디오신호와의 거리 및 수평/수직 각도 정보를 포함한다.
그리고 상기 객체 오디오신호 공간 제어블록(720)은 상기 객체기반 오디오 복호화부(600)로부터의 객체 오디오신호와 장면 부가데이터 및 사용자 제어부(900)로부터의 장면 사용자 제어신호 중에서 오디오 장면의 공간 특성에 관한 정보를 이용하여 객체 오디오신호의 공간에 대한 특성을 제어하여 객체 오디오신호와 공간 제어신호를 오디오 장면생성블록(740)으로 출력한다. 여기서, 공간 특성에 관한 정보는 공간의 크기, 형태, 잔향 시간, 내부의 음에 대한 반사, 흡수, 투과 등의 특성을 포함한다.
그리고 상기 객체 오디오신호 기타 제어블록(730)은 상기 객체기반 오디오 복호화부(600)로부터의 객체 오디오신호와 장면 부가데이터 및 사용자 제어부(900)로부터의 장면 사용자 제어신호 중에서 객체 오디오 신호에 대한 기타 제어정보(오디오 객체의 레벨이나 형태에 관한 정보)를 이용하여 객체 오디오신호의 기타 특성(오디오 객체의 레벨이나 형태)을 제어하여 객체 오디오신호와 기타 제어신호를 오디오 장면생성블록(740)으로 출력한다. 여기서, 기타 제어정보는 객체 오디오신호의 크기(레벨) 및 형태에 관한 정보를 포함한다.
그리고 상기 오디오 장면생성블록(740)은 상기 객체 오디오신호 위치제어블록(710)으로부터의 객체 오디오신호와 위치 제어신호, 상기 객체 오디오신호 공간 제어블록(720)으로부터의 객체 오디오신호와 공간 제어신호, 상기 객체 오디오신호 기타 제어블록(730)으로부터의 객체 오디오신호와 기타 제어신호 및 상기 객체기반 오디오 복호화부(600)로부터의 멀티채널 오디오신호를 이용하여 오디오 장면을 생성하여 오디오신호를 재생부(800)로 출력한다.
도 7은 도 1의 재생부의 일실시예 상세 구성도이다.
도 7에 도시된 바와 같이, 상기 재생부(800)는 객체기반 오디오 장면합성부(700)로부터의 오디오신호와 사용자 제어부(900)로부터의 재생 사용자 제어신호를 이용하여 재생공간을 등화하기 위한 재생공간 제어블록(810), 및 상기 재생공간 제어블록(810)으로부터의 오디오신호를 출력하기 위한 오디오 출력블록(820)을 포함한다. 이때, 상기 재생부(800)는 객체기반 오디오 장면합성부(700)로부터의 비디오신호를 출력하기 위한 비디오출력블록(830)을 더 구비할 수도 있다.
즉, 상기 재생공간 제어블록(810)은 객체기반 오디오 장면합성부(700)로부터의 오디오신호와 사용자 제어부(900)로부터의 재생 사용자 제어신호(오디오신호를 재생하기 위한 재생환경에 대한 정보)를 이용하여 재생공간의 특성을 등화시키는 기능을 수행한다. 여기서, 재생공간의 등화는 사용자로부터의 재생환경의 크기/형태/특성 및 스피커 위치 등에 관한 정보를 이용하여 이 특성을 제거하는 것으로, 재생환경이 다르더라도 동일한 오디오신호를 출력시키기 위한 것이다. 즉, 재생환경 등화는 재생공간의 스피커 배치나 재생공간의 크기 등의 특성 정보를 등화시켜서 재생공간의 특성이 다른 환경에서도 동일한 오디오신호를 사용자가 청취할 수 있도록 처리하는 과정이다.
그리고 상기 오디오 출력블록(820)과 비디오 출력블록(830)은 최종 출력장치를 통해 오디오신호와 비디오신호를 출력한다.
도 8은 도 1의 사용자 제어부의 일실시예 상세 구성도이다.
도 8에 도시된 바와 같이, 상기 사용자 제어부(900)는 오디오 장면의 구성 을 위해 각각의 객체를 제어하기 위한 사용자 인터페이스를 제공하기 위한 GUI(Graphic User Interface) 블록(910), 상기 GUI 블록(910)으로부터의 장면 사용자 제어정보에 따라 오디오 장면에 관한 장면 사용자 제어신호를 생성하기 위한 오디오 장면제어신호 생성블록(920), 및 상기 GUI 블록(910)으로부터의 재생 사용자 제어정보에 따라 재생환경에 대한 재생 사용자 제어신호를 생성하기 위한 오디오 재생제어신호 생성블록(930)을 포함한다.
즉, 상기 GUI 블록(910)은 사용자 인터페이스를 통해 사용자가 오디오 장면을 제어하거나 재생공간의 특성을 설정하기 위한 인터페이스로서, 그래픽 사용자 인터페이스(Graphic User Interface) 형태로 사용자가 오디오 객체의 위치나 크기/형태 등 기타 속성을 제어하거나, 오디오 장면의 특성 및 재생환경의 특성을 제어할 수 있도록 인터페이스를 제공한다.
또한, 본 발명에서는 편집자가 하나의 객체기반 오디오 콘텐츠에 다양한 오디오 장면에 대한 정보를 다중화한 경우, 다양한 오디오 장면에 관한 정보를 예를 들어 그래픽 사용자 인터페이스 등을 통하여 사용자에게 제공하여 사용자가 원하는 장면을 선택할 수 있도록 한다(도면에 도시되지 않음).
그리고 상기 오디오 장면제어신호 생성블록(920)은 사용자가 그래픽 사용자 인터페이스(Graphic User Interface)를 통해 오디오 장면에 관한 정보를 변경하는 경우, 상기 GUI 블록(910)으로부터의 장면 사용자 제어정보에 따라 장면 사용자 제어신호를 생성하여 객체기반 오디오 장면합성부(700)로 출력한다. 여기서, 장면 사용자 제어신호는 객체 오디오신호의 위치에 관한 정보, 공간에 관한 정보, 및 기타 제어정보를 포함한다.
그리고 상기 오디오 재생제어신호 생성블록(930)은 사용자가 그래픽 사용자 인터페이스(Graphic User Interface)를 통해 재생환경에 대한 설정을 변경하는 경우, 상기 GUI 블록(910)으로부터의 재생 사용자 제어정보에 따라 재생환경에 대한 재생 사용자 제어신호를 생성하여 재생부(800)로 출력한다. 여기서, 재생 사용자 제어신호는 재생환경의 크기/형태 및 스피커 배치 등에 관한 정보를 포함한다.
다음으로, 도 9 및 도 10을 참조하여 객체기반 오디오 전송/수신 시스템의 동작 과정을 살펴보기로 한다. 전술한 바와 같이, 상기 객체기반 오디오 전송/수신 시스템의 구체적인 실시예에 대해서는 상세히 설명하였으므로, 여기서는 그 동작 과정의 요지만을 설명하기로 한다.
도 9는 본 발명에 따른 객체기반 오디오 전송 방법에 대한 일실시예 흐름도이다.
먼저, 다양한 소스(다양한 장치)로부터 오디오신호를 입력받아 전처리 과정을 통해 객체 오디오신호를 생성한다(1010, 1020). 예를 들어, 외부의 다양한 소스로부터 객체 오디오신호 및 멀티채널 오디오신호를 입력받아 전처리 과정을 통해 객체 오디오신호 및 멀티채널 오디오신호를 생성하고, 오디오신호에 다양한 음원이 혼합되어 있는 경우 음원 분리를 통해 객체 오디오신호를 생성할 수도 있다.
이후, 상기 생성한 객체 오디오신호를 편집하여 오디오 장면을 구성한다(1030). 예를 들어, 상기 생성한 객체 오디오신호/멀티채널 오디오신호, 및 외부로부터 입력받은 비디오신호를 이용하여 편집자가 다양한 오디오 장면을 구성하도록 할 수 있다.
이후, 상기 객체 오디오신호와 오디오 장면에 관한 정보를 부호화하고 다중화하여 객체기반 오디오 콘텐츠를 생성한다(1040). 예를 들어, 상기 객체 오디오신호와 오디오 장면에 관한 정보를 부호화하고 비디오신호와 다중화하여 객체기반 오디오 콘텐츠를 생성할 수도 있다. 또는, 상기 객체 오디오신호와 오디오 장면에 관한 정보를 부호화하고 비디오신호/멀티채널 오디오신호/멀티채널 부가데이터와 다중화하여 객체기반 오디오 콘텐츠를 생성할 수도 있다.
이후, 상기 생성한 객체기반 오디오 콘텐츠를 다양한 매체를 통해 전송한다(1050). 즉, 편집자가 제작한 객체기반 오디오 콘텐츠는 다양한 전송매체를 통해 전송하기 위해 전송매체에 따른 변환이 수행된 후 수신 시스템 측으로 전송된다.
도 10은 본 발명에 따른 객체기반 오디오 수신 방법에 대한 일실시예 흐름도이다.
먼저, 상기 객체기반 오디오 전송 시스템 측으로부터 매체를 통하여 전송된 객체기반 오디오 콘텐츠를 수신한다(1110).
이후, 상기 수신한 객체기반 오디오 콘텐츠(예 : 객체 오디오신호 및 오디오 장면에 관한 부가데이터 등)를 복호화한다(1120). 예를 들어, 외부로부터 입력되는 객체기반 오디오 콘텐츠를 역다중화하여 상기 수신한 객체기반 오디오 콘텐츠(예 : 객체 오디오신호 및 오디오 장면에 관한 부가데이터 등)와 함께 복호화하여 객체 오디오신호/비디오신호/멀티채널 오디오신호 및 장면 부가데이터/멀티채널 부가데이터를 생성할 수도 있다.
이후, 장면 사용자 제어신호에 따라 상기 복호화한 객체기반 오디오 콘텐츠(예 : 객체 오디오신호 및 오디오 장면에 관한 부가데이터 등)를 이용하여 오디오 장면을 구성한다(1130, 1140). 일예로, 사용자에게 편집자가 제작한 다양한 오디오 장면 중 하나를 선택하도록 하거나, 사용자가 객체 오디오신호를 제어하여 새로운 오디오 장면을 구성하도록 할 수 있다. 또는, 사용자로부터의 장면 사용자 제어정보에 따라 객체 오디오신호/멀티채널 오디오신호/비디오신호와 오디오 장면에 관한 부가데이터를 이용하여 오디오 장면을 구성할 수도 있다.
이후, 상기 새로 장면을 구성한 객체기반 오디오 콘텐츠(예 : 객체 오디오신호 및 오디오 장면에 관한 부가데이터 등)를 재생 사용자 제어신호에 따라 재생한다(1150, 1160). 일예로, 사용자로부터의 재생환경 제어에 대한 정보를 이용하여 재생환경을 등화시킨 다음에 재생환경에 따른 오디오/비디오 신호를 재생하여 출력한다.
이와 같이, 객체기반 오디오 전송/수신 시스템을 이용하여 사용자는 오디오신호의 객체별 속성을 편집하고, 재생환경에 따른 정보를 제어함으로써 입체감과 사실감을 줄 수 있는 새로운 오디오를 서비스받을 수 있게 된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 롬, 램, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.