KR20110065972A - 콘텐츠 적응형 입체음향 구현 방법 및 시스템 - Google Patents

Abstract

본 발명은 콘텐츠 적응형 입체음향 구현 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 콘텐츠로부터 입력되는 오디오 신호에 대해 음색 및 리듬의 특징 파라미터를 추출하는 특징 파라미터 추출단계와, 특징 파라미터가 추출된 상기 오디오 신호에 대해 음상정위 및 음장제어 파라미터로 변환하는 입체음향 파라미터 변환단계 및 입체음향 파라미터 변환된 상기 오디오 신호가 음상정위 및 음장제어를 통해 입체음향으로 생성되는 입체음향 발생단계를 포함하는 콘텐츠 적응형 입체음향 구현 방법에 관한 것이다. 본 발명에 따르면, 어떠한 오디오 부가 정보 없이 오디오 출력 신호에 대한 음색 및 리듬 특징 파라미터 분석을 통해 오디오 콘텐츠에 적합한 가상의 연주 공간을 자동으로 선택해 해줌으로써 다양한 입체음향을 즐길 수 있는 효과가 있다. 또한, 이것은 사용자로 하여금 음향파라미터를 직접 조절해야하는 불편함과 오디오 부가 정보를 만들어주어야 하는 불편함을 사라지게 하고, 오디오 콘텐츠에 맞는 음향 공간 선택을 통해 음원의 방향, 확산감, 온도감, 잔향감 및 명료감을 제어함으로써 보다 현실감 있는 입체음향을 즐길 수 있도록 하는 효과가 있다.

입체음향, 오디오, 바이노럴, 파라미터

Description

콘텐츠 적응형 입체음향 구현 방법 및 시스템{Apparatus and method of stereophonic sound reproduction adapting for multimedia contents}

본 발명은 입체음향 구현 방법 및 시스템에 관한 것으로서, 특히 입력된 콘텐츠의 오디오 출력 신호에 대한 음색과 리듬의 특징을 분석하여 콘텐츠에 적합한 입체음향 공간이 자동 결정되도록 음원의 방향, 확산감, 온도감, 잔향감 및 명료감 파라미터를 제어하여 콘텐츠 내용에 적합한 공간적 입체음향을 생성해내는 콘텐츠 적응형 입체음향 구현 방법 및 시스템에 관한 것이다.

일반적으로 입체음향기술은 원본 음악 파일로부터 공간정보를 정의하여 사용자에게 거리감, 방향감 및 잔향감을 제공함으로써 마치 실제 현장에서 듣는 것 같은 현실감 있는 음향을 생성해내는 기술이다.

이러한 입체음향을 생성해 내기 위한 방법으로는 크게 두 가지가 있는데, 청취자 주변 음향 공간(Sound Field)자체를 여러 개의 스피커를 사용하여 입체감 있게 구성하는 서라운드 사운드 방법과 스테레오 기반으로 사람의 두 귀 주변에 들리는 사운드를 입체적으로 제어하는 바이노럴(Binaural) 방법이 있다.

기존의 입체음향 기술은 플레이되는 오디오 콘텐츠의 내용이 바뀌면 입체음 향 파라미터를 사용자가 직접 판단하여 조정해서 듣거나 몇 가지 정해진 입체음향파라미터로 듣는 단순한 기본적인 수준이었다.

특히, 사용자가 입체음향 파라미터를 조정할 경우 콘텐츠에 적합한 입체 공간감을 얻기 위해서는 잔향 시간이나 명료도와 같은 음향 수치를 사용자가 직접적으로 청취하면서 최적의 상태로 조절해야하는데 이 과정은 상당히 쉽지 않고 매우 불편한 과정이다.

상기 단점을 극복하여 콘텐츠에 적합하고 다양한 입체음향 서비스를 즐기려면 콘텐츠의 오디오 특징을 자동 판단하여 그에 적합한 입체공간 효과를 나타내는 것이 필요하다.

종래의 콘텐츠를 고려한 입체음향 기술 중에 하나는 서라운드 시스템의 음장을 자동으로 선택하기 위해 방송국 수신 주파수에 실린 방송프로그램 데이터를 판독하거나, 음원의 시작 비트에 실린 프로그램 타입 또는 음악 장르 데이터를 사용하는 음원신호 부가 데이터를 이용하는 수준이었다.

그러나, 상기 방법은 송신단 정보 또는 미리 정해진 장르에 대한 부가 신호를 미리 추가해야하는 방법이고 음향 공간으로 분류된 것이 아닌 음악장르에 국한된 방법이기 때문에 선택의 자유도가 낮고, 부가 음원 정보가 없는 콘텐츠에서는 입체음향을 즐길 수 없다는 문제점이 있다.

상술한 문제점을 해결하기 위해 안출된 본 발명의 과제는, 멀티미디어 콘텐츠의 오디오 출력 신호에 대한 음색, 리듬 특징 파라미터 분석을 통해 콘텐츠 내용에 적합한 입체음향 공간을 자동 판단하여 최적의 잔향감 및 명료감 파라미터를 결정할 수 있는 콘텐츠 적응형 입체음향 구현 방법 및 시스템을 제공하는 데 있다.

또한, 본 발명의 부수적인 과제는, 상기 잔향감, 명료감 파라미터와 함께 입체음향 공간에 따라 사용자의 선호도를 미리 조사하여 분류된 데이터를 사용하여 음원위치, 확산감 및 온도감 파라미터를 제어하여 보다 현실감 있는 입체음향을 생성할 수 있는 콘텐츠 적응형 입체음향 구현 방법 및 시스템을 제공하는 데 있다.

상기 과제를 달성하기 위해 안출된 본 발명은, 콘텐츠로부터 입력되는 오디오 신호에 대해 음색 및 리듬의 특징 파라미터를 추출하는 특징 파라미터 추출단계, 상기 특징 파라미터가 추출된 상기 오디오 신호에 대해 음상정위 및 음장제어 파라미터로 변환하는 입체음향 파라미터 변환단계 및 상기 입체음향 파라미터 변환된 상기 오디오 신호가 음상정위 및 음장제어를 통해 입체음향으로 생성되는 입체음향 발생단계를 포함한다.

상기 특징 파라미터 추출단계는 상기 콘텐츠의 오디오 출력 신호를 입력으로 받아 시간 및 주파수 파형 분석을 통해 추출되는 음색 및 리듬 특징을 계산하는 단계를 더 포함하는 것을 특징으로 한다.

상기 특징 파라미터 추출단계에서, 상기 콘텐츠로부터 입력되는 오디오 신호에 대해 음색 및 리듬의 특징 파라미터를 추출한 후, 특징 파라미터로부터 음색, 리듬 특징 파라미터들을 사용하여 입체음향 공간 카테고리를 결정하는 입체음향 공간 결정단계를 더 포함하는 것을 특징으로 한다.

상기 입체음향 파라미터 변환단계는 입체음향 공간 카테고리 인덱스와 그에 따른 사용자 선호 데이터를 참조하여 음원방향, 확산감, 온도감, 잔향감, 명료감 파라미터로 변환하는 것을 특징으로 한다.

상기 입체음향 발생단계는 음원방향, 확산감, 온도감, 잔향감 및 명료감에 대한 파라미터로부터 가상공간에서 반사되는 반사음 및 잔향음을 만들어 주변 입체 공간을 제공하는 입체음향 생성기를 구비하는 것을 특징으로 한다.

콘텐츠로부터 입력되는 오디오 신호에 대해 특징 파라미터를 구하는 특징 파라미터 추출부와, 상기 특징 파라미터로부터 입체음향 공간 카테고리를 결정하는 입체음향 공간 결정부를 구비하는 오디오 콘텐츠 판단부 및 상기 입체음향 공간이 결정된 오디오 신호가 입체음향 공간 카테고리 인덱스로부터 음원위치, 확산감, 온도감, 잔향감 및 명료감 파라미터로 변환되는 입체음향 파라미터 변환부를 구비하되, 상기 변환된 입체음향 파라미터로부터 음향 필터를 통해 입체음향을 생성해 내는 입체음향 발생부를 포함한다.

본 발명은 어떠한 오디오 부가 정보 없이 오디오 출력 신호에 대한 음색 및 리듬 특징 파라미터 분석을 통해 오디오 콘텐츠에 적합한 가상의 연주 공간을 자동 으로 선택해 해줌으로써 다양한 입체음향을 즐길 수 있는 효과가 있다.

또한, 이것은 사용자로 하여금 음향파라미터를 직접 조절해야하는 불편함과 오디오 부가 정보를 만들어주어야 하는 불편함을 사라지게 하고, 오디오 콘텐츠에 맞는 음향 공간 선택을 통해 음원의 방향, 확산감, 온도감, 잔향감 및 명료감을 제어함으로써 보다 현실감 있는 입체음향을 즐길 수 있도록 하는 효과가 있다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템의 바람직한 실시예에 대해 상세하게 설명한다.

먼저, 본 발명은 스테레오 기반의 바이노럴 방법에 속하는 기술로 오디오 콘텐츠의 내용에 따라 입체음향 공간 카테고리를 자동 결정하여 다양한 입체감을 느낄 수 있도록 해주는 기술이다.

그리고, 본 발명에서는 콘텐츠의 음색과 리듬의 오디오 특징파라미터로부터 그에 적합한 각기 다른 입체 공간을 만들어 줌으로써 본래의 입체 음향 효과보다 현실감 있는 소리를 들려준다.

특히, 콘텐츠 내용에 대한 오디오 출력 신호 자체를 분석하여 음원 방향, 확산감, 온도감, 잔향감, 명료감으로 구성되는 입체음향 파라미터를 제어하는 것을 특징으로 한다.

도 1은 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 콘텐츠에 적합한 입체공간을 구현하는 입체음향 발생 시스템의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구 현 시스템은, 오디오 콘텐츠 판단부와 입체음향 생성부를 포함하며, 이를 상세히 설명하면 다음과 같다.

상기 오디오 콘텐츠 판단부는 멀티미디어 기기 또는 플레이어로부터 만들어지는 오디오 출력파형을 입력으로 하여 오디오 특징 파라미터를 계산하고 콘텐츠에 적합한 음향 공간 카테고리를 결정하는 역할을 한다.

그리고, 상기 입체음향 생성부는 결정된 음향공간 카테고리 인덱스와 유저 컨트롤 입력파라미터 그리고, 음향 공간 카테고리 인덱스에 따른 파라미터 선호도 데이터를 사용하여 음원의 위치, 확산감, 온도감, 잔향감 및 명료감 파라미터를 결정하고 입체음향 필터의 반사음과 잔향음을 발생하여 입체음향을 만들어 낸다.

도 2는 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 상기 도 1의 특징 파라미터를 추출하는 것을 세부적으로 나타낸 블록도이다. 도 2를 참조하면, 오디오 특징 파라미터 추출부는 콘텐츠의 오디오 출력 신호에 대하여 시간 또는 주파수 분석을 통해 음색 및 리듬 특징을 계산한다.

여기서, 계산된 음색 및 리듬 특징 파라미터들은 입체음향 공간 카테고리를 결정하기 위해 사용된다.

여기서, 음색특징은 스펙트럴 센트로이드(spectral centroid), 스펙트럴 롤 오프(spectral roll off), 스펙트럴 플럭스(spectral flux) 및 영점교차율(zero crossing rates) 값이 사용된다.

상기 스펙트럼 센트로이드는 단 구간 푸리에 트랜스폼의 에너지 중심에 해당 하는 주파수를 뜻한다. 센트로이드는 음의 음색(Timbre)을 질적으로 측정하는 방법으로 사용된다.

상기 스펙트럴 롤오프(Spectral Rolloff)는 스펙트럼 분포의 약 80%가 집중되어 있는 주파수를 나타낸다. 롤오프는 스펙트럼 형태와 낮은 주파수 영역에 신호 에너지가 얼마나 집중되어 있는지를 보여준다.

상기 제로 크로싱 레이트(Zero Crossing Rate)는 오디오 신호 파형의 위상이 중심축을 통과하는 회수를 나타낸다. 주로 신호의 주파수 내용을 측정하는 가장 간단한 방법으로 음성인식에서 유성음, 무성음의 판별에 사용된다.

리듬 특징으로는 템포와 비트의 세기, 빈도 특징이 사용된다. 이때, 안정적인 리듬 추출 알고리즘은 음악의 범주를 구분하는 알고리즘에서 있어서 매우 중요한 위치를 차지한다. 즉, 약 3초의 윈도우에서 20~200BPM(Beat per minute)의 리듬을 추출하여 곡 전체에 대한 히스토그램을 만든 후 특징을 계수로 사용한다.

상기 비트는 주기적으로 반복되는 강한 신호를 말하는 것으로, 비트의 세기는 신호의 평균 세기와 비교하여 상대적인 세기를 구한다. 상기 비트의 빈도는 비트 히스토그램을 사용하여 구한다.

상기 히스토그램에서 첫 번째와 두 번째 최대치의 상대적 크기를 히스토그램의 전체 합으로 나눈 값이 사용된다.

입체음향 공간 카테고리 판단부는 상기 추출된 오디오 특징 파라미터를 사용하여 대표 특징 파라미터에 대한 데이터베이스를 구성하고 학습된 특징 파라미터를 이용하여 콘텐츠에 적합한 입체음향 공간을 판단해준다

여기서 학습, 판단 알고리즘은 GMM(Gaussian Mixture Model), k-NN(Nearest Neighbour)으로 알려진 알고리즘이 사용된다.

도 3은 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 입체음향의 공간별 카테고리를 분류한 카테고리 분류도이고, 도 4는 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 입체음향의 공간별 최적의 잔향시간을 나타낸 상관도이다. 도 3 및 도 4를 참조하면, 상기 대표 특징 파라미터들은 도 3에 정해진 입체음향 공간 카테고리로 분류된 각각의 오디오 콘텐츠의 음색 리듬파라미터들을 학습하여 구한다.

이러한 입체음향 공간 카테고리는 건축음향에서 정의되는 음악특성에 기반하여 도 3과 같이 정의된 것과 같이 분류한다.

일반적으로 건축음향에서 음향공간은 음악, 영화, 음성 및 악기 편성 위주의 내용에 따라 음향을 듣기에 적합한 공간으로 설계를 한다.

즉, 도 3과 같이 음악 같은 경우 4가지의 큰 카테고리로 나누어 공간을 정의한다.

C1의 카테고리로 분류되는 오르간, 합창, 전통교회 음악은 느린 템포이지만 광대한 느낌을 느끼게 하고, 명료도의 범위가 작고, 잔향시간이 큰 홀을 필요로 한다.

또한, C2와 같은 카테고리는 바이올린, 비올라 등의 활을 가진 악기가 위주인 클래식이나, 오케스트라 심포니 음악 같은 경우로 C1보다는 잔향시간이 작지만 상대적으로 명료도는 좋은 홀이 적합하다.

C3 카테고리의 대중음악이나 포크 재즈 음악 같은 경우는 잔향시간 보다는 명료도가 좋은 홀이 적합하다.

C4처럼 충격성이 강한 음 같은 경우는 잔향으로 울리는 곳보다는 명료도가 큰 홀이 적합하다.

또한, 음악 외에 뮤지컬과 영화 나 강연이나 연설 같은 분류에 따라 그에 적합한 잔향시간과 명료도를 도 3와 같이 분류하였다.

이러한 공간분류에 바탕을 두어 사용자의 선호도에 따라 정의되는 체적 및 각 카테고리별 적합한 잔향시간을 도 4에 나타내었다.

도 5는 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 파라미터 제어를 통한 입체음향을 생성하는 블록도이다. 도 5를 참조하면, 도 5는 상기 콘텐츠의 내용을 반영한 입체음향 공간 인덱스 외에 사용자의 취향에 따라 컨트롤 가능한 가상음원의 위치, 확산감 및 온도감을 조절할 수 있도록 하여 입체음향 파라미터를 제어하도록 하는 내용을 나타낸 것이다.

상기 확산감은 정면음 대비 측면음에 대한 반사음 비가 높을수록, 좌우 신호의 상관도가 낮을수록, 직접음과 1차 반사음과의 시간차가 많이 날수록 높아진다.

상기 온도감은 저음의 잔향시간(125Hz, 250Hz)에 대한 중음 잔향시간(500Hz, 1,000Hz)의 비율로서 저음에 대한 사람의 주관적인 감각인 따뜻함 즉, 음색의 포근함을 의미한다.

상기 잔향감은 잔향음이 얼마나 지속되는가에 의존한다. 실내 사용 목적에 따라서 잔향시간의 최적 값이 달라진다. 잔향시간은 60dB 감쇠되는 시간으로 정의한다.

상기 명료감은 음성의 명료도와 음악의 명료도로 나누어진다. 직접음 도달 후 약 50ms까지의 에너지(직접음에너지)와 전체 에너지와의 비를 백분율로 표시한 것이 음성의 명료도(D50)이며, 약 80ms까지의 에너지(직접음에너지)와 전체 에너지와의 비를 dB단위로 나타낸 것이 음악의 명료도(D80)이다.

도 6은 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 입체음향기의 세부 블록도이다. 도 6을 참조하면, 도 6은 상기 위치, 확산감, 온도감, 잔향감, 명료감 인덱스로부터 거리 및 방향성, 직접음, 반사음, 잔향음을 만들어내는 입체음향기의 블록다이어그램을 나타낸다.

상기 입체음향기의 각 블록들은 연산량을 줄이기 위해 IIR 필터를 사용하여 구현된다. 직접음은 Bi-Quad 저주파, 고주파 필터로 구현되며, 반사음과 잔향음은 Comb 필터와 Allpass 필터로 구성된다.

이상에서는 본 발명을 바람직한 실시예에 의거하여 설명하였으나, 본 발명의 기술적 사상은 이에 한정되지 아니하고 청구항에 기재된 범위 내에서 변형이나 변경 실시가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이며, 그러한 변형이나 변경은 첨부된 특허청구범위에 속한다 할 것이다.

본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어서 해석되어서는 아니된다.

도 1은 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 콘텐츠에 적합한 입체공간을 구현하는 입체음향 발생 시스템의 개략적인 블록도,

도 2는 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 상기 도 1의 특징 파라미터를 추출하는 것을 세부적으로 나타낸 블록도,

도 3은 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 입체음향의 공간별 카테고리를 분류한 카테고리 분류도,

도 4는 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 입체음향의 공간별 최적의 잔향시간을 나타낸 상관도,

도 5는 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 파라미터 제어를 통한 입체음향을 생성하는 블록도,

도 6은 본 발명의 실시예에 따른 콘텐츠 적응형 입체음향 구현 방법 및 시스템에서 입체음향기의 세부 블록도이다.

Claims (6)

1. a) 콘텐츠로부터 입력되는 오디오 신호에 대해 음색 및 리듬의 특징 파라미터를 추출하는 특징 파라미터 추출단계;

   b) 상기 특징 파라미터가 추출된 상기 오디오 신호에 대해 음상정위 및 음장제어 파라미터로 변환하는 입체음향 파라미터 변환단계; 및

   c) 상기 입체음향 파라미터 변환된 상기 오디오 신호가 음상정위 및 음장제어를 통해 입체음향으로 생성되는 입체음향 발생단계를 포함하는 콘텐츠 적응형 입체음향 구현 방법.
2. 제1항에 있어서, 상기 a) 단계는,

   상기 콘텐츠의 오디오 출력 신호를 입력으로 받아 시간 및 주파수 파형 분석을 통해 추출되는 음색 및 리듬 특징을 계산하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 적응형 입체음향 구현 방법.
3. 제1항에 있어서, 상기 a) 단계에서,

   상기 콘텐츠로부터 입력되는 오디오 신호에 대해 음색 및 리듬의 특징 파라미터를 추출한 후, 특징 파라미터로부터 음색, 리듬 특징 파라미터들을 사용하여 입체음향 공간 카테고리를 결정하는 입체음향 공간 결정단계를 더 포함하는 것을 특징으로 하는 콘텐츠 적응형 입체음향 구현 방법.
4. 제1항에 있어서, 상기 b) 단계는,

   입체음향 공간 카테고리 인덱스와 그에 따른 사용자 선호 데이터를 참조하여 음원방향, 확산감, 온도감, 잔향감, 명료감 파라미터로 변환하는 것을 특징으로 하는 콘텐츠 적응형 입체음향 구현 방법.
5. 제1항에 있어서, 상기 c) 단계는,

   음원방향, 확산감, 온도감, 잔향감 및 명료감에 대한 파라미터로부터 가상공간에서 반사되는 반사음 및 잔향음을 만들어 주변 입체 공간을 제공하는 입체음향 생성기를 구비하는 것을 특징으로 하는 콘텐츠 적응형 입체음향 구현 방법.
6. 콘텐츠로부터 입력되는 오디오 신호에 대해 특징 파라미터를 구하는 특징 파라미터 추출부와, 상기 특징 파라미터로부터 입체음향 공간 카테고리를 결정하는 입체음향 공간 결정부를 구비하는 오디오 콘텐츠 판단부; 및

   상기 입체음향 공간이 결정된 오디오 신호가 입체음향 공간 카테고리 인덱스로부터 음원위치, 확산감, 온도감, 잔향감 및 명료감 파라미터로 변환되는 입체음향 파라미터 변환부를 구비하되, 상기 변환된 입체음향 파라미터로부터 음향 필터를 통해 입체음향을 생성해 내는 입체음향 발생부를 포함하는 콘텐츠 적응형 입체음향 구현 시스템.

Images