KR102032803B1 - 멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스 - Google Patents
멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스 Download PDFInfo
- Publication number
- KR102032803B1 KR102032803B1 KR1020180018810A KR20180018810A KR102032803B1 KR 102032803 B1 KR102032803 B1 KR 102032803B1 KR 1020180018810 A KR1020180018810 A KR 1020180018810A KR 20180018810 A KR20180018810 A KR 20180018810A KR 102032803 B1 KR102032803 B1 KR 102032803B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- listener
- sound source
- original
- sound signal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Stereophonic System (AREA)
Abstract
멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스가 개시된다. 입체 음향 효과 제공 방법은 가상 공간 상에 배치된 가상 음원을 식별하는 단계 - 상기 가상 음원은, 멀티미디어 컨텐츠가 재생될 때, 멀티미디어 컨텐츠가 출력되는 가상의 출력 장치에 대응함 -; 상기 가상 음원에서 출력된 원본 음향 신호가 가상 공간에 위치한 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로를 결정하는 단계; 상기 이동 경로에 기초하여, 상기 청취자의 왼쪽 귀와 오른쪽 귀에 대한 원본 음향 신호를 믹싱하여 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력하는 단계를 포함할 수 있다.
Description
본 발명은 멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스에 관한 것으로, 보다 구체적으로는 가상 공간에 배치된 청취자와 가상 음원을 사용자가 자유롭게 제어하는 경우 이를 고려한 입체 음향 효과를 제공하는 방법 및 장치를 제공한다.
최근에 다양한 서비스를 위한 컨텐츠가 제공되면서 해당 컨텐츠를 재생할 때 입체 음향 효과에 대한 요구가 증가하고 있다. 이러한 입체 음향 효과는 청취자에게 컨텐츠에 대한 공간감과 임장감을 제공하여, 청취자가 좀더 실감있게 컨텐츠를 재생할 수 있도록 한다.
입체 음향 효과는 실제로 다수의 스피커 배치(ex. 5.1채널, 7.1 채널 등)를 통해 구현될 수도 있지만, 소프트웨어를 통해 가상으로도 구현할 수 있다. 실제 공간에 배치된 스피커의 경우 실제 공간에서 위치를 조절하기 어려운 부분이 있기 때문에 입체 음향 효과가 제한적이다. 하지만, 디바이스에서 실행되는 소프트웨어를 통해 가상으로 입체 음향 효과를 구현하는 경우, 청취자가 보다 다양한 형태의 입체 음향 효과를 제공받을 수 있다.
특히나, 가상 공간에서 청취자 또는 가상 음원을 조절하는 경우에, 보다 실감나는 입체 음향 효과를 제공할 수 있는 방안이 필요하다.
본 발명은 가상 공간에서 청취자와 가상 음원 간의 공간적인 관계를 고려하여 보다 현실감있는 입체 음향 효과를 구현하는 방법 및 장치를 제공한다.
본 발명은 가상 공간의 상황에 기초하여 가상 음원에서 청취자까지 도달하는 음향 신호의 다양한 이동 경로를 고려함으로써 가상 공간에 배치된 청취자와 가상 음원의 특징을 좀더 하여 보다 정확하게 반영함으로써 보다 현실감있는 입체 음향 효과를 구현하는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 입체 음향 효과 제공 방법은 가상 공간 상에 배치된 가상 음원을 식별하는 단계 - 상기 가상 음원은, 멀티미디어 컨텐츠가 재생될 때, 멀티미디어 컨텐츠가 출력되는 가상의 출력 장치에 대응함 -; 상기 가상 음원에서 출력된 원본 음향 신호가 가상 공간에 위치한 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로를 결정하는 단계; 상기 이동 경로에 기초하여, 상기 청취자의 왼쪽 귀와 오른쪽 귀에 대한 원본 음향 신호를 믹싱하여 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력하는 단계를 포함할 수 있다.
상기 최종 음향 신호를 출력하는 단계는, 상기 원본 음향 신호가 가상 공간에 반사되지 않고 직접 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로, 상기 원본 음향 신호가 가상 공간에 적어도 한번 이상 반사되어 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로, 상기 원본 음향 신호가 가상 공간에 배치된 가상 객체에 적어도 한번 이상 반사되어 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로 중 적어도 하나의 이동 경로에 따라 상기 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력할 수 있다.
상기 최종 음향 신호를 출력하는 단계는, 상기 청취자를 중심으로 설정된 가상 영역을 복수의 셀들로 분할하고, 상기 복수의 셀들 중 원본 음향 신호의 이동 경로에 대응하는 셀들의 가중치에 기초하여 결정된 최종 음향 신호를 출력할 수 있다.
상기 이동 경로는, 상기 가상 공간에서 가상 음원과 청취자 간의 공간 관계에 따라 결정되고, 상기 공간 관계는, 가상 공간에 배치된 구성 요소의 속성이 인터페이스를 통해 변경됨에 따라 결정될 수 있다.
상기 구성요소의 속성은, (1) 인터페이스에 표시된 가상 공간에서 청취자의 위치; (2) 인터페이스에 표시된 가상 공간에서 청취자의 방향; (3) 인터페이스에 표시된 가상 공간에서 가상 음원의 위치; (4) 인터페이스에 표시된 가상 공간에서 가상 음원의 방향; (5) 인터페이스에 표시된 가상 공간에서 가상 음원으로부터 출력되는 원본 음향 신호의 세기; (6) 인터페이스에 표시된 가상 공간에서 가상 음원으로부터 출력되는 원본 음향 신호의 개수; (7) 인터페이스에 표시된 가상 공간의 형태, 차원, 크기; (8) 인터페이스에 표시된 가상 공간에 배치된 가상 객체의 위치, 방향, 크기, 종류, 재질, 형태 중 적어도 하나를 포함할 수 있다.
상기 최종 음향 신호를 출력하는 단계는, 상기 구성 요소의 속성에 따라 변경되는 (1) 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 경로의 거리, (2) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 각도, (3) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 횟수, (4) 가상 음원으로부터 원본 음향 신호가 출력되는 각도, (5) 가상 음원으로부터 출력된 원본 음향 신호가 청취자로 입사하는 각도 중 적어도 하나를 포함하는 이동 경로의 속성을 고려하여 최종 음향 신호를 출력할 수 있다.
상기 최종 음향 신호를 출력하는 단계는, 상기 이동 경로의 속성이 변경되면, (1) 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 시간, (2) 가상 음원으로부터 출력된 원본 음향 신호의 초기 세기와 최종 세기 간의 차이인 감쇄량, (3) 가상 음원으로부터 출력된 원본 음향 신호의 소멸 시간, (4) 가상 음원으로부터 출력된 원본 음향 신호의 잔향 효과 중 적어도 하나가 변경된 원본 음향 신호를 이용하여 최종 음향 신호를 출력할 수 있다.
상기 최종 음향 신호를 출력하는 단계는, 상기 구성 요소의 속성에 따라 변경되는 원본 음향 신호에 기초하여 입체 음향 효과가 업데이트된 최종 음향 신호를 출력할 수 있다.
본 발명의 일실시예에 따른 멀티미디어 디바이스의 저장 매체에 기록되는 프로그램은 가상 공간 상에 배치된 가상 음원을 식별하고, - 상기 가상 음원은, 멀티미디어 컨텐츠가 재생될 때, 멀티미디어 컨텐츠가 출력되는 가상의 출력 장치에 대응함 -; 상기 가상 음원에서 출력된 원본 음향 신호가 가상 공간에 위치한 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로를 결정하고, 상기 이동 경로에 기초하여, 상기 청취자의 왼쪽 귀와 오른쪽 귀에 대한 원본 음향 신호를 믹싱하여 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력할 수 있다.
상기 프로그램은, 상기 원본 음향 신호가 가상 공간에 반사되지 않고 직접 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로, 상기 원본 음향 신호가 가상 공간에 적어도 한번 이상 반사되어 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로, 상기 원본 음향 신호가 가상 공간에 배치된 가상 객체에 적어도 한번 이상 반사되어 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로, 중 적어도 하나의 이동 경로에 따라 상기 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력할 수 있다.
상기 프로그램은, 상기 청취자를 중심으로 설정된 가상 영역을 복수의 셀들로 분할하고, 상기 복수의 셀들 중 원본 음향 신호의 이동 경로에 대응하는 셀들의 가중치에 기초하여 결정된 최종 음향 신호를 출력할 수 있다.
상기 이동 경로는, 상기 가상 공간에서 가상 음원과 청취자 간의 공간 관계에 따라 결정되고, 상기 공간 관계는, 가상 공간에 배치된 구성 요소의 속성이 인터페이스를 통해 변경됨에 따라 결정될 수 있다.
상기 구성요소의 속성은, (1) 인터페이스에 표시된 가상 공간에서 청취자의 위치; (2) 인터페이스에 표시된 가상 공간에서 청취자의 방향; (3) 인터페이스에 표시된 가상 공간에서 가상 음원의 위치; (4) 인터페이스에 표시된 가상 공간에서 가상 음원의 방향; (5) 인터페이스에 표시된 가상 공간에서 가상 음원으로부터 출력되는 원본 음향 신호의 세기; (6) 인터페이스에 표시된 가상 공간에서 가상 음원으로부터 출력되는 원본 음향 신호의 개수; (7) 인터페이스에 표시된 가상 공간의 형태, 차원, 크기; (8) 인터페이스에 표시된 가상 공간에 배치된 가상 객체의 위치, 방향, 크기, 종류, 재질, 형태 중 적어도 하나를 포함할 수 있다.
상기 최종 음향 신호를 출력하는 단계는, 상기 구성 요소의 속성에 따라 변경되는 (1) 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 경로의 거리, (2) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 각도, (3) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 횟수, (4) 가상 음원으로부터 원본 음향 신호가 출력되는 각도, (5) 가상 음원으로부터 출력된 원본 음향 신호가 청취자로 입사하는 각도, 중 적어도 하나를 포함하는 이동 경로의 속성을 고려하여 최종 음향 신호를 출력할 수 있다.
상기 프로그램은, 상기 이동 경로의 속성이 변경되면, (1) 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 시간, (2) 가상 음원으로부터 출력된 원본 음향 신호의 초기 세기와 최종 세기 간의 차이인 감쇄량, (3) 가상 음원으로부터 출력된 원본 음향 신호의 소멸 시간, (4) 가상 음원으로부터 출력된 원본 음향 신호의 잔향 효과 중 적어도 하나가 변경된 원본 음향 신호를 이용하여 최종 음향 신호를 출력할 수 있다.
상기 프로그램은, 상기 구성 요소의 속성에 따라 변경되는 원본 음향 신호에 기초하여 입체 음향 효과가 업데이트된 최종 음향 신호를 출력할 수 있다.
본 발명의 일실시예에 따르면, 가상 공간에서 청취자와 가상 음원 간의 공간적인 관계를 고려하여 보다 현실감있는 입체 음향 효과를 구현할 수 있다.
본 발명의 일실시예에 따르면, 가상 공간의 상황에 기초하여 가상 음원에서 청취자까지 도달하는 음향 신호의 다양한 이동 경로를 고려함으로써 가상 공간에 배치된 청취자와 가상 음원의 특징을 좀더 하여 보다 정확하게 반영함으로써 보다 현실감있는 입체 음향 효과를 구현할 수 있다.
도 1은 본 발명의 일실시예에 따른 입체 음향 효과를 제공하는 멀티미디어 디바이스의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따라 인터페이스 상에 표시된 가상 공간에서 청취자와 가상 음원의 위치 또는 방향을 변경하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따라 가상 음원에서 청취자로 도달하는 음향 신호의 이동 경로를 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 가상 음원에서 청취자로 도달하는 음향 신호의 이동 경로를 고려한 렌더링 과정을 도시한 도면이다.
도 5 본 발명의 일실시예에 따라, 청취자를 중심으로 설정된 가상 영역을 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라, 가상 공간에 배치된 가상 객체를 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
도 7 본 발명의 일실시예에 따른 입체 음향 효과를 제공하는 멀티미디어 디바이스의 구성 요소를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따라 인터페이스 상에 표시된 가상 공간에서 청취자와 가상 음원의 위치 또는 방향을 변경하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따라 가상 음원에서 청취자로 도달하는 음향 신호의 이동 경로를 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 가상 음원에서 청취자로 도달하는 음향 신호의 이동 경로를 고려한 렌더링 과정을 도시한 도면이다.
도 5 본 발명의 일실시예에 따라, 청취자를 중심으로 설정된 가상 영역을 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라, 가상 공간에 배치된 가상 객체를 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
도 7 본 발명의 일실시예에 따른 입체 음향 효과를 제공하는 멀티미디어 디바이스의 구성 요소를 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 일실시예에 따른 입체 음향 효과 제공 방법은 멀티미디어 컨텐츠를 재생할 때 사용자에게 멀티미디어 컨텐츠의 입체 음향 효과를 제공할 수 있다. 멀티미디어 컨텐츠는 프로세서를 통해 재생될 수 있는 모든 형태를 포함할 수 있다.
도 1은 본 발명의 일실시예에 따른 입체 음향 효과를 제공하는 멀티미디어 디바이스의 동작을 설명하기 위한 도면이다.
멀티미디어 디바이스(101)는 디스플레이를 통해 인터페이스를 표시할 수 있다. 인터페이스에서는 청취자(104)에 대응하는 청취자 아이콘과 가상 음원(103)에 대응하는 가상 음원 아이콘이 표시될 수 있다. 청취자(104)는 멀티미디어 컨텐츠를 재생하는 사용자(102)에 대응할 수 있다. 본 발명에 있어서, 사용자는 재생되는 멀티미디어 컨텐츠를 듣는 현실의 사람을 의미하고, 청취자는 가상 공간에서 사용자에 매핑된 가상의 사람을 의미한다. 다시 말해서, 청취자를 중심으로 결정되는 멀티미디어 컨텐츠의 입체 음향 효과는 멀티미디어 컨텐츠를 재생하는 사용자가 인지할 수 있다.
그리고, 가상 음원은, 멀티미디어 컨텐츠가 재생될 때, 멀티미디어 컨텐츠가 출력되는 가상의 출력 장치(ex. 스피커, 헤드폰, 사운드바 등)에 대응할 수 있다.
본 발명은 사용자(102)가 복수의 가상 음원(103)이 배치된 가상 공간에서 멀티미디어 컨텐츠를 재생할 때 사용자(102)에게 제공하는 입체 음향 효과를 어떻게 실감있게 제공할 것인지를 설명한다. 가상 음원(103)은 원본 음향 신호가 출력되는 발성점이 될 수 있다.
그러면, 현재 멀티미디어 디바이스(101)를 통해 재생되는 멀티미디어 컨텐츠는 사용자(102)의 제어에 따라 변경되는 청취자 아이콘과 가상 음원 아이콘의 위치 또는 방향에 따라 실시간으로 변동되는 입체 음향 효과가 적용되어 재생된다. 멀티미디어 컨텐츠는 N채널의 원본 음향 신호에 대응하며, 실제로 재생될 때에는 N채널 그대로 재생되거나 또는 업믹싱을 통해 N채널보다 많은 수의 M채널로 변환되어 재생될 수 있다.
예를 들어, 멀티미디어 컨텐츠가 2채널의 MP3 파일인 경우, 실제 멀티미디어 디바이스(101)는 멀티미디어 컨텐츠를 2채널에서 5.1채널로 업믹싱하여 재생할 수 있다. 따라서, 멀티미디어 디바이스(101)를 통해 표시되는 가상 음원(103)의 개수는 멀티미디어 디바이스(101)가 실제로 멀티미디어 컨텐츠를 업믹싱하여 출력된 채널수에 매칭된다. 그리고, 멀티미디어 디바이스(101)에 입력된 멀티미디어 컨텐츠가 2채널의 스테레오 신호이고 재생할 때 5.1 채널로 업믹싱되는 경우, 스테레오 신호를 구성하는 좌측 신호(L)와 우측 신호(R)는 5.1 채널에 대응하는 스피커에 배분되어 재생될 수 있다. 이 때, 스피커는 인터페이스 상에서 가상 음원(103)에 대응할 수 있다.
여기서, 사용자(102)가 실제로 듣는 멀티미디어 컨텐츠는 멀티미디어 디바이스(101)가 입체 음향 효과를 적용한 멀티미디어 컨텐츠를 의미한다. 이 때, 채널수가 증가할수록 입체 음향 효과의 공간감이나 임장감은 증가할 수 있다. 가상 음원(103)은 멀티미디어 컨텐츠인 원본 음향 신호가 출력되는 가상 공간에서의 가상 스피커에 대응한다.
특히, 본 발명의 일실시예에 따르면, 사용자(102)는 다양한 방식의 제어를 통해 멀티미디어 디바이스(101)의 청취자(104)에 대응하는 청취자 아이콘과 가상 음원(103)에 대응하는 가상 음원 아이콘의 위치 또는 방향을 변경할 수 있다. 만약 가상 음원 아이콘이나 청취자 아이콘의 위치나 방향이 변경되는 경우, 사용자(102)가 듣는 멀티미디어 컨텐츠의 입체 음향 효과가 변경될 수 있다. 이에 대해서는 도 2 내지 도 5에서 구체적으로 설명하기로 한다.
또한, 본 발명의 일실시예에 따르면, 가상 음원(103)에서 출력되는 원본 음향 신호가 청취자(104)에 도달하는 이동 경로가 복수 개라고 가정하고, 이동 경로의 속성에 따라 입체 음향 효과를 결정할 수 있다. 이 때, 이동 경로의 속성은 가상 공간에 대한 특성 정보, 가상 공간에서 가상 음원(103)과 청취자(104) 간에 대한 관계 정보 등에 기초하여 결정될 수 있다. 이에 대해서는 도 2 내지 도 5에서 구체적으로 설명하기로 한다.
도 2는 본 발명의 일실시예에 따라 인터페이스 상에 표시된 가상 공간에서 청취자와 가상 음원의 위치 또는 방향을 변경하는 과정을 설명하기 위한 도면이다.
도 2를 참고하면, 가상 공간(203)에 배치된 가상 음원(201)과 청취자(202)가 도시된다. 가상 음원(201)은 멀티미디어 컨텐츠가 재생되는 경우 멀티미디어 컨텐츠가 출력되는 가상의 스피커에 대응한다. 가상 공간(203)은 멀티미디어 컨텐츠를 듣는 사용자에 매핑된 청취자(202)를 중심으로 설정된 공간으로, 2차원 형태 또는 3차원 형태으로 표현될 수 있다.
본 발명에 있어서, 원본 음향 신호는 가상 음원(201)에서 출력된 멀티미디어 컨텐츠를 의미하고, 최종 음향 신호는 가상 음원(201)에서 청취자(202)의 왼쪽 귀나 오른쪽 귀까지의 복수의 이동 경로에 따라 도달한 복수의 원본 음향 신호를 믹싱한 결과를 의미한다. 여기서, 청취자(202)의 왼쪽 귀나 오른쪽 귀를 중심으로 최종 음향 신호를 결정하는 과정을 렌더링이라고 정의할 수 있다.
멀티미디어 컨텐츠가 재생되는 제1 시점 이후에 제2 시점에서 사용자의 제어에 따라 인터페이스에 표시된 가상 공간(203)에서의 구성 요소의 속성이 변경되는 경우, 구성 요소의 속성에 따라 이동 경로가 다르게 결정된다. 그러면, 사용자의 제어에 따라 최종 음향 신호도 새롭게 결정될 수 있다.
여기서, 가상 공간(203)에서의 구성 요소의 속성은, (i) 가상 공간(203)에 배치된 가상 음원(201)의 위치 또는 방향이 변경되는 경우, (ii) 가상 공간(203)에 배치된 청취자(202)의 위치 또는 방향이 변경되는 경우, (iii) 가상 공간(203)에 가상 객체가 신규로 배치되거나 또는 기존에 배치된 가상 객체의 위치 또는 방향이 변경되는 경우, (iv) 가상 공간(203)에 배치된 가상 음원(201)이 추가로 배치되거나 또는 일부 제외되는 경우, (v) 가상 공간(203)의 크기, 형태, 차원 등이 변경되는 경우 중 적어도 하나를 포함한다.
가상 음원(201)의 위치와 청취자(202)의 위치는 가상 공간을 중심으로 설정된 좌표계의 좌표로 식별될 수 있다. 그리고, 가상 음원(201)의 방향은 가상 음원(201)에 대응하는 스피커 아이콘의 전면이 향하는 방향으로 식별될 수 있다. 또한, 청취자(202)의 방향은 청취자(202)에 대응하는 머리 아이콘이나 얼굴 아이콘의 전면이 향하는 방향으로 식별될 수 있다.
만약, 가상 공간(203)에서의 구성 요소의 속성가 변경되는 경우, 가상 음원(201)에서 청취자(202)까지의 이동 경로의 속성이 변경될 수 있다. 그리고, 멀티미디어 디바이스는 이동 경로의 속성이 변경되는 것에 기초하여, 최종 음향 신호를 다시 결정할 수 있다.
최종 음향 신호가 결정되는 과정은 도 3 내지 도 5에서 구체적으로 설명하기로 한다.
도 3은 본 발명의 일실시예에 따라 가상 음원에서 청취자로 도달하는 음향 신호의 이동 경로를 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
도 3을 참고하면, 가상 공간(303)에 가상 음원(301)과 청취자(302)가 배치되어 있다. 가상 음원(301)에서 출력되는 원본 음향 신호는 전파 속성으로 인해 전방향(omni-direction)으로 방사될 수 있다. 그러면, 하나의 가상 음원(301)에서 출력되는 원본 음향 신호는 복수의 이동 경로를 통해 청취자(302)에게 도달할 수 있다.
그리고, 보다 현실감있는 입체 음향 효과를 제공하기 위해, 가상 음원(301)에서 청취자(302)의 왼쪽 귀와 오른쪽 귀 각각에 도달하는 원본 음향 신호의 이동 경로가 고려될 필요가 있다. 하나의 가상 음원(301)에서 출력된 원본 음향 신호는 레벨차 또는 시간차를 가지는 서로 다른 이동 경로를 통해 청취자(302)의 왼쪽 귀와 오른쪽 귀에 도달한다.
특히, 도 3을 참고하면, 가상 음원(301)에서 출력되는 원본 음향 신호는 복수의 이동 경로를 통해 청취자(302)의 왼쪽 귀 또는 오른쪽 귀에 도달한다. 도 3에서 원본 음향 신호는 이동 경로 (1), 이동 경로 (2), 이동 경로 (3), 이동 경로 (4)를 통해 청취자(302)에게 도달한다.
이동 경로(1)은 원본 음향 신호가 가상 공간(303)에 반사되지 않고 직접 청취자(302)의 왼쪽 귀 또는 오른쪽 귀에 도달하는 이동 경로를 의미한다. 그리고, 이동 경로(2) 내지 이동 경로 (4)는 원본 음향 신호가 가상 공간(303)에 적어도 한번 이상 반사되어 청취자의 왼쪽 귀 또는 오른쪽 귀에 도달하는 이동 경로를 의미한다.
본 발명에서, 이동 경로는 다음과 같이 구분될 수 있다.
(1) 원본 음향 신호가 가상 공간에 반사되지 않고 직접 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로,
(2) 원본 음향 신호가 가상 공간에 적어도 한번 이상 반사되어 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로
(3) 원본 음향 신호가 가상 공간에 배치된 가상 객체에 적어도 한번 이상 반사되어 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로
여기서, 가상 객체는 가상 공간에서 사용자가 배치하는 아이콘(ex. 가구, 전자 기기 등)에 대응한다. 본 발명에 의하면, 사용자가 가상 공간에 가상 객체를 배치하여 다양한 형태의 청취 환경을 설정할 수 있도록 함으로써 원하는 상황에서의 입체 음향 효과를 구현할 수 있다.
만약 사용자가 인터페이스를 통해 가상 음원(301)에 대응하는 가상 음원 아이콘이나 청취자(302)에 대응하는 청취자 아이콘의 위치 또는 방향을 변경하는 경우, 멀티미디어 디바이스는 가상 공간(303)에서 변경된 가상 음원(301)의 위치 또는 방향, 또는 청취자(302)의 위치 또는 방향을 고려하여 이동 경로를 재설정할 수 있다. 그런 후, 멀티미디어 디바이스는 재설정된 이동 경로를 고려하여 최종 음향 신호를 새롭게 결정할 수 있다.
한편, 가상 음원(301)의 위치가 시간적으로 연속하여 변경되는 경우, 청취자(302)를 중심으로 가상 음원(301)이 특정 궤적에 따라 이동하는 패닝 효과가 발생될 수 있다. 가상 음원(301)의 위치가 청취자(302)에게 근접하면 원본 음향 신호의 세기가 증가하고, 가상 음원(301)의 위치가 청취자(302)로부터 멀어지면 원본 음향 신호의 세기가 감소할 수 있다.
즉, 본 발명은 가상 음원(301)과 청취자(302) 간에 가상 공간(303)에서의 공간 관계에 따라 결정되는 이동 경로를 고려하여 원본 음향 신호로부터 최종 음향 신호를 결정할 수 있는 방법을 제안한다.
먼저, 멀티미디어 디바이스의 디스플레이에 표시되는 인터페이스를 통해 사용자가 조작할 수 있는 구성 요소의 속성은 다음과 같다. 구성 요소의 속성에 따라 가상 음원(301)과 청취자(302) 간에 가상 공간(303)에서의 공간 관계가 결정되고, 이에 따라 원본 음향 신호의 이동 경로도 결정될 수 있다. 여기서, 사용자는 드래그나 입력 도구 (마우스, 키보드, 터치펜 등)를 통해 인터페이스에서 구성 요소의 속성과 같은 파라미터가 변경될 수 있다.
<구성 요소의 속성>
(1) 인터페이스에 표시된 가상 공간(303)에서 청취자(302)의 위치
(2) 인터페이스에 표시된 가상 공간(303)에서 청취자(302)의 방향
(3) 인터페이스에 표시된 가상 공간(303)에서 가상 음원(301)의 위치
(4) 인터페이스에 표시된 가상 공간(303)에서 가상 음원(301)의 방향
(5) 인터페이스에 표시된 가상 공간(303)에서 가상 음원(301)으로부터 출력되는 원본 음향 신호의 세기
(6) 인터페이스에 표시된 가상 공간(303)에서 가상 음원(301)으로부터 출력되는 원본 음향 신호의 개수
(7) 인터페이스에 표시된 가상 공간(303)의 형태(ex. 원형, 다각형 등), 차원(ex. 2차원 또는 3차원), 크기
(8) 인터페이스에 표시된 가상 공간(303)에 배치된 가상 객체의 위치, 방향, 크기, 종류, 재질, 형태
위에서 설명한 구성 요소의 속성이 변경되면, 가상 음원(301)으로부터 청취자(302)까지의 이동 경로의 속성이 변경될 수 있다. 이동 경로의 속성은 다음과 같다.
<이동 경로의 속성>
(1) 가상 음원(301)으로부터 출력된 원본 음향 신호가 청취자(302)까지 도달하는 이동 경로의 거리
(2) 가상 음원(301)으로부터 출력된 원본 음향 신호가 가상 공간(303)에서 반사되는 각도
(3) 가상 음원(301)으로부터 출력된 원본 음향 신호가 가상 공간(303)에서 반사되는 횟수
(4) 가상 음원(301)으로부터 원본 음향 신호가 출력되는 각도
(5) 가상 음원(301)으로부터 출력된 원본 음향 신호가 청취자(302)로 입사하는 각도
위에서 설명한 이동 경로의 속성이 변경되면, (1) 가상 음원(301)으로부터 출력된 원본 음향 신호가 청취자(302)까지 도달하는 이동 시간(시간차), (2) 가상 음원(301)으로부터 출력된 원본 음향 신호의 초기 세기와 최종 세기 간의 차이인 감쇄량, (3) 가상 음원(301)으로부터 출력된 원본 음향 신호의 소멸 시간, (4) 가상 음원(301)으로부터 출력된 원본 음향 신호의 잔향 효과 등의 원본 음향 신호에 적용되는 시간이나 세기가 변경된다. 그러면, 원본 음향 신호를 나타내는 세기와 시간이 변경됨에 따라 최종 음향 신호의 입체 음향 효과도 변경될 수 있다.
구체적으로, 사용자의 제어에 따라 가상 음원(301)으로부터 출력된 원본 음향 신호가 청취자(302)까지 도달하는 이동 경로의 거리가 증가할수록, 이동 경로에 대응하는 원본 음향 신호의 최종 세기는 감소한다. 즉, 이동 경로에 대한 감쇄량은 증가한다.
사용자의 제어에 따라 가상 음원(301)으로부터 출력된 원본 음향 신호가 청취자(302)까지 도달하는 이동 경로의 거리가 증가할수록, 이동 경로에 대응하는 이동 시간이 증가한다.
사용자의 제어에 따라 가상 음원(301)으로부터 출력된 원본 음향 신호가 가상 공간(303)에서 반사되는 횟수가 증가할수록, 원본 음향 신호의 잔향 효과는 증가한다.
도 4는 본 발명의 일실시예에 따라 가상 음원에서 청취자로 도달하는 음향 신호의 이동 경로를 고려한 렌더링 과정을 도시한 도면이다.
도 4를 참고하면, 청취자의 왼쪽 귀(L)와 오른쪽 귀(R)에 도달하는 원본 음향 신호를 고려하여 최종 음향 신호를 결정하는 과정을 도시한다. 도 4에서 청취자의 왼쪽 귀(L)에 대한 최종 음향 신호는 
이고, 청취자의 오른쪽 귀(R)에 대한 최종 음향 신호는 
이다. 이 때, 청취자의 왼쪽 귀(L)에 대한 최종 음향 신호와 청취자의 오른쪽 귀(R)에 대한 최종 음향 신호는 하기 수학식 1에 따라 결정될 수 있다.
여기서, 
는 가상 음원과 청취자의 왼쪽 귀(L)의 이동 경로를 고려한 임펄스 응답을 나타내고, 
는 가상 음원과 청취자의 오론쪽 귀(R)의 이동 경로를 고려한 임펄스 응답을 나타낸다. 그리고, 
는 청취자의 왼쪽 귀에 대해 i번째 이동 경로에 대해 시간차를 나타내고, 
는 청취자의 오른쪽 귀에 대해 i번째 이동 경로에 대해 시간차를 나타낸다.
이 때, 시간차는 가상 음원으로부터 출력된 원본 음향 신호가 청취자에게 직접 도달했을 때와 가상음원으로부터 출력된 원본 음향 신호가 가상 공간에 의해 반사되어 청취자에게 도달했을 때의 시간차를 의미한다. 
는 청취자의 왼쪽 귀에 대해 i번째 이동 경로에서 반사된 원본 음향 신호의 감쇄 계수를 나타내고, 
는 청취자의 오른쪽 귀에 대해 i번째 이동 경로에서 반사된 원본 음향 신호의 감쇄 계수를 나타낸다.
도 4에서 설명하는 이동 경로는 다음과 같이 구분될 수 있다.
(1) 원본 음향 신호가 가상 공간에 반사되지 않고 직접 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로,
(2) 원본 음향 신호가 가상 공간에 적어도 한번 이상 반사되어 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로
(3) 원본 음향 신호가 가상 공간에 배치된 가상 객체에 적어도 한번 이상 반사되어 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로
도 5 본 발명의 일실시예에 따라, 청취자를 중심으로 설정된 가상 영역을 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
본 발명의 일실시예에 따르면, 멀티미디어 디바이스는 청취자(502)를 중심으로 설정된 가상 영역을 복수의 셀들로 분할하고, 복수의 셀들 중 원본 음향 신호의 이동 경로에 대응하는 셀들의 가중치를 고려하여 최종 음향 신호를 결정할 수 있다.
도 5를 참고하면, 가상 공간(503)에 존재하는 청취자(502)를 중심으로 가상 영역이 설정될 수 있다. 그리고, 가상 영역은 복수의 셀로 분할될 수 있다. 그러면, 가상 음원(501), 가상 음원(504)에서 출력된 원본 음향 신호가 가상 영역의 어떠한 셀을 통해 청취자에게 도달되는지가 결정될 수 있다.
본 발명에 있어서, 원본 음향 신호의 이동 경로는 가상 영역에서 분할된 셀을 매핑될 수 있다. 그리고, 가상 영역에서 분할된 각각의 셀마다 원본 음향 신호에 적용되는 가중치가 다르게 적용된다. 그리고, 가중치는 (1) 가상 음원(501), 가상 음원(504)으로부터 출력된 원본 음향 신호가 청취자(502)까지 도달하는 이동 경로의 거리, (2) 가상 음원(501), 가상 음원(504)으로부터 출력된 원본 음향 신호가 가상 공간(503)에서 반사되는 각도, (3) 가상 음원(501), 가상 음원(504)으로부터 출력된 원본 음향 신호가 가상 공간(503)에서 반사되는 횟수, (4) 가상 음원(501), 가상 음원(504)으로부터 출력된 원본 음향 신호가 청취자(502)로 입사하는 각도와 같은 이동 경로의 속성을 반영함으로써 결정된다. 가중치는 이동 경로들 각각에 대응하는 원본 음향 신호에 적용될 세기를 반영할 수 있다.
그리고, 가상 영역의 각각의 셀에 할당된 가중치는 가상 공간(503)에 배치된 청취자(502)와 가상 음원(501), 가상 음원(504)의 위치 또는 방향이 변경됨에 따라 업데이트될 수 있다. 또한, 가상 영역을 구성하는 셀의 개수가 증가할수록 청취자(502)와 가상 음원(501) 또는 청취자(502)와 가상 음원(504) 간의 공간 관계가 보다 정밀하게 결정됨으로써, 사용자가 느낄 수 있는 입체 음향 효과가 좀더 실감있게 표현될 수 있다.
도 5와 같이 가상 음원(501)이 청취자(502)의 왼쪽 상단에 위치하는 경우, 가상 음원(501)으로부터 출력된 원본 음향 신호는 3개의 이동 경로 (이동 경로 (1), 이동 경로(2), 이동 경로(3))를 통해 청취자(502)에게 도달할 수 있다. 구체적으로, 이동 경로(1)는 원본 음향 신호(1-1)가 가상 영역의 셀 A를 통해 청취자(502)에게 도달하는 경우를 나타낸다. 그리고, 이동 경로(2)는 원본 음향 신호(1-2)가 가상 영역의 셀 B를 통해 청취자(502)에게 도달하는 경우를 나타낸다. 또한, 이동 경로(3)는 원본 음향 신호(1-3)가 가상 영역의 셀 C를 통해 청취자(502)에게 도달하는 경우를 나타낸다.
또한, 가상 음원(504)가 청취자(502)의 오른쪽 하단에 위치하는 경우, 가상 음원(504)으로부터 출력된 원본 음향 신호는 3개의 이동 경로 (이동 경로 (4), 이동 경로(5), 이동 경로 (6))를 통해 청취자(502)에게 도달할 수 있다. 구체적으로, 이동 경로(4)는 원본 음향 신호(2-1)가 가상 영역의 셀 D를 통해 도달하는 경우를 나타낸다. 그리고, 이동 경로(5)는 원본 음향 신호(2-2)가 가상 영역의 셀 E를 통해 청취자(502)에게 도달하는 경우를 나타낸다. 또한, 이동 경로(6)는 원본 음향 신호(2-3)가 가상 영역의 셀 F를 통해 청취자(502)에게 도달하는 경우를 나타낸다.
그러면, 청취자(502)의 왼쪽 귀를 중심으로 결정되는 최종 음향 신호는 가상 음원(501)으로부터 출력되어 직접 왼쪽 귀에 도달하는 원본 음향 신호(1-1) 이외에, 가상 음원(504)으로부터 출력되어 가상 공간(503)에 반사된 후 왼쪽 귀에 도달하는 원본 음향 신호(2-2)와 원본 음향 신호(2-3)의 조합으로 결정될 수 있다. 이 때, 가상 음원(501)과 청취자(502) 간의 거리와, 원본 음향 신호(1-1)가 청취자(502)에게 도달하는 시간 및 가상 음원(504)과 청취자(502) 간의 거리와 원본 음향 신호 (2-2) 및 원본 음향 신호(2-3)이 청취자(502)에게 도달하는 시간을 고려하여 청취자(502)의 왼쪽 귀를 기준으로 설정된 가상 영역의 셀 A, 셀 E, 셀 F에 대한 가중치가 다르게 결정될 수 있다.
도 5를 참고하면, 청취자(502)의 왼쪽 귀를 중심으로 이동 경로의 거리, 가상 공간에서의 반사 횟수, 가상 공간에서의 반사각을 고려할 때, 이동 거리가 짧고 반사 횟수가 없는 가상 영역의 셀 A에 대한 가중치가 가장 크게 설정된다. 그리고, 반사 횟수와 이동 경로의 거리를 함께 고려하여 셀 E와 셀 F에 대한 가중치가 설정될 수 있다.
마찬가지로, 청취자(502)의 오른쪽 귀를 중심으로 결정되는 최종 음향 신호는 가상 음원(504)으로부터 출력되어 직접 오른쪽 귀에 도달하는 원본 음향 신호(2-1) 이외에 가상 음원(501)으로부터 출력되어 가상 공간(503)에 의해 반사된 후 오른쪽 귀에 도달하는 원본 음향 신호(1-2)와 원본 음향 신호(1-3)의 조합으로 결정될 수 있다. 이 때, 가상 음원(501)과 청취자(502) 간의 거리와, 원본 음향 신호(1-2) 및 원본 음향 신호(1-3)가 청취자(502)에게 도달하는 시간 및 가상 음원(504)과 청취자(502) 간의 거리와 원본 음향 신호 (2-1)이 청취자(502)에게 도달하는 시간을 고려하여 청취자(502)의 오른쪽 귀를 기준으로 설정된 가상 영역의 셀 B, 셀 C, 셀 D에 대한 가중치가 다르게 결정될 수 있다.
도 5를 참고하면, 청취자(502)의 오른쪽 귀를 중심으로 이동 경로의 거리, 가상 공간에서의 반사 횟수, 가상 공간에서의 반사각을 고려할 때, 이동 거리가 짧고 반사 횟수가 없는 가상 영역의 셀 D에 대한 가중치가 가장 크게 설정된다. 그리고, 반사 횟수와 이동 경로의 거리를 함께 고려하여 셀 B와 셀 C에 대한 가중치가 설정될 수 있다.
도 5와 같이 설명된 사항에 따라, 멀티미디어 디바이스는 청취자(502)의 양족 귀를 중심으로 보다 실제감있고 정확한 공간감이 형성된 최종 음향 신호를 결정할 수 있다.
도 6은 본 발명의 일실시예에 따라, 가상 공간에 배치된 가상 객체를 고려하여 입체 음향 효과를 제공하는 과정을 도시한 도면이다.
도 6을 참고하면, 가상 공간(602)에 가상 음원(601) 및 청취자(605) 이외에 가상 객체(603), 가상 객체(604)가 배치될 수 있다. 멀티미디어 디바이스는 인터페이스를 통해 가상 공간(602)에 배치된 가상 음원(601), 청취자(605)의 위치나 방향을 변경하는 것 이외에, 가상 객체(603, 604)를 추가로 배치할 수 있도록 한다. 뿐만 아니라, 멀티미디어 디바이스는 인터페이스를 통해 가상 공간(602)에서 가상 객체(603, 604)의 위치나 방향을 변경할 수 있도록 한다. 그리고, 멀티미디어 디바이스는 인터페이스를 통해 가상 객체(603, 604)의 위치, 방향, 크기, 종류, 재질, 형태 등 가상 객체(603, 604)의 속성을 변경할 수 있도록 한다.
결국, 본 발명의 일실시예에 따르면, 멀티미디어 디바이스는 가상 공간(602)에서 가상 객체(603, 604)를 추가로 배치하고 가상 객체(603, 604)의 속성을 변경할 수 있도록 함으로써, 사용자가 원하는 청취 환경을 설정하여 청취 환경에서의 입체 음향 효과를 확인할 수 있도록 한다.
가상 객체(603, 604)의 위치는 가상 공간(602)에서의 좌표로 결정된다. 그리고, 가상 객체(603, 604)의 방향은 가상 객체(603, 604)의 특정면이 향하는 방향으로 결정된다. 그리고, 가상 객체(603, 604)의 크기는 가로, 세로, 높이 등으로 특정될 수 있다. 가상 객체(603, 604)의 종류는 가구, 가전 기기 등 청취 환경에서 배치될 수 있는 모든 형태의 종류를 포함한다. 또한, 가상 객체(603, 604)의 재질은 직물, 목재, 플라스틱, 금속 등을 의미한다. 그리고, 가상 객체(603, 604)의 형태는 외형적인 모양을 의미한다.
가상 객체(603, 604)의 속성으로 인해서 가상 객체(603, 604)가 가상 공간(602)에 배치되었을 때와 배치되지 않았을 때 가상 음원(601)에서 청취자(605)로 도달하는 원본 음향 신호의 이동 경로의 속성이 다르게 결정될 수 있다. 그렇기 때문에, 가상 객체(603, 604)를 통해 원본 음향 신호에 적용되는 입체 음향 효과도 다르게 결정될 수 있다.
가상 공간(602)에 배치된 가상 객체(603, 604)로 인해서 원본 음향 신호가 반사되거나, 원본 음향 신호가 흡수됨으로써 원본 음향 신호에 대응하는 이동 경로의 속성도 변경될 수 있다.
도 7 본 발명의 일실시예에 따른 입체 음향 효과를 제공하는 멀티미디어 디바이스의 구성 요소를 도시한 도면이다.
멀티미디어 디바이스(701)는 디스플레이(702), 프로세서(703), 스피커(704), 출력 인터페이스(705)를 포함할 수 있다. 디스플레이(702)는 인터페이스를 통해 가상 공간을 표시할 수 있다. 가상 공간에는 청취자를 중심으로 복수의 가상 음원이 배치될 수 있다. 그리고, 가상 공간에 가상 객체가 추가로 배치될 수 있다.
한편, 프로세서는 입체 음향 효과 제공 방법 또는 프로그램이 실행될 수 있다. 입체 음향 효과 제공 방법 또는 프로그램은 가상 공간 상에 배치된 가상 음원을 식별하고, 가상 음원에서 출력된 원본 음향 신호가 가상 공간에 위치한 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로를 결정하고, 이동 경로에 기초하여, 상기 청취자의 왼쪽 귀와 오른쪽 귀에 대한 원본 음향 신호를 믹싱하여 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력할 수 있다.
스피커(704)는 멀티미디어 디바이스(701)에 내장된 음향 출력 장치로 멀티미디어 컨텐츠가 재생될 때 가상 음원을 통해 출력된 원본 음향 신호를 청취자를 중심으로 렌더링한 결과인 최종 음향 신호를 재생하기 위해 사용될 수 있다.
또한, 출력 인터페이스(705)는 멀티미디어 디바이스(701)와 독립적인 음향 출력 장치를 유선이나 무선으로 연결하기 위한 것이다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 멀티미디어 디바이스
102: 사용자
103: 가상 음원
104: 청취자
102: 사용자
103: 가상 음원
104: 청취자
Claims (16)
- 가상 공간 상에 배치된 가상 음원을 식별하는 단계 - 상기 가상 음원은, 멀티미디어 컨텐츠가 재생될 때, 멀티미디어 컨텐츠가 출력되는 가상의 출력 장치에 대응함 -;
상기 가상 음원에서 출력된 원본 음향 신호가 가상 공간에 위치한 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로를 결정하는 단계;
상기 이동 경로에 기초하여, 상기 청취자의 왼쪽 귀와 오른쪽 귀에 대한 원본 음향 신호를 믹싱하여 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력하는 단계
를 포함하고,
상기 최종 음향 신호를 출력하는 단계는,
상기 청취자를 중심으로 설정된 가상 영역을 복수의 셀들로 분할하고, 상기 복수의 셀들 중 원본 음향 신호의 이동 경로에 대응하는 셀들의 가중치에 기초하여 결정된 최종 음향 신호를 출력하고,
상기 원본 음향 신호의 이동 경로는 가상 영역에서 분할된 셀에 매핑되며, 가상 영역에서 분할된 각각의 셀마다 원본 음향 신호에 적용되는 가중치가 다르게 적용되며,
상기 가중치는, 동일한 셀에 대해 청취자의 왼쪽 귀와 오른쪽 귀마다 서로 다르게 설정되며, 상기 가중치는 (1) 상기 청취자의 왼쪽 귀와 오른쪽 귀를 중심으로 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 경로의 거리, (2) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 각도, (3) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 횟수, 및 (4) 가상 음원으로부터 출력된 원본 음향 신호가 청취자로 입사하는 각도 중 적어도 하나에 기초하여 결정되는 입체 음향 효과 제공 방법. - 제1항에 있어서,
상기 최종 음향 신호를 출력하는 단계는,
상기 원본 음향 신호가 가상 공간에 반사되지 않고 직접 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로,
상기 원본 음향 신호가 가상 공간에 적어도 한번 이상 반사되어 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로
상기 원본 음향 신호가 가상 공간에 배치된 가상 객체에 적어도 한번 이상 반사되어 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로
중 적어도 하나의 이동 경로에 따라 상기 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력하는 입체 음향 효과 제공 방법. - 제1항에 있어서,
상기 가중치는 가상 공간에 배치된 청취자와 가상 음원의 위치 또는 방향이 변경됨에 따라 업데이트되는 입체 음향 효과 제공 방법. - 제1항에 있어서,
상기 이동 경로는,
상기 가상 공간에서 가상 음원과 청취자 간의 공간 관계에 따라 결정되고,
상기 공간 관계는,
가상 공간에 배치된 구성 요소의 속성이 인터페이스를 통해 변경됨에 따라 결정되는 입체 음향 효과 제공 방법. - 제4항에 있어서,
상기 구성요소의 속성은,
(1) 인터페이스에 표시된 가상 공간에서 청취자의 위치;
(2) 인터페이스에 표시된 가상 공간에서 청취자의 방향
(3) 인터페이스에 표시된 가상 공간에서 가상 음원의 위치
(4) 인터페이스에 표시된 가상 공간에서 가상 음원의 방향
(5) 인터페이스에 표시된 가상 공간에서 가상 음원으로부터 출력되는 원본 음향 신호의 세기
(6) 인터페이스에 표시된 가상 공간에서 가상 음원으로부터 출력되는 원본 음향 신호의 개수
(7) 인터페이스에 표시된 가상 공간의 형태, 차원, 크기
(8) 인터페이스에 표시된 가상 공간에 배치된 가상 객체의 위치, 방향, 크기, 종류, 재질, 형태
중 적어도 하나를 포함하는 입체 음향 효과 제공 방법. - 제4항에 있어서,
상기 최종 음향 신호를 출력하는 단계는,
상기 구성 요소의 속성에 따라 변경되는
(1) 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 경로의 거리
(2) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 각도
(3) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 횟수
(4) 가상 음원으로부터 원본 음향 신호가 출력되는 각도
(5) 가상 음원으로부터 출력된 원본 음향 신호가 청취자로 입사하는 각도
중 적어도 하나를 포함하는 이동 경로의 속성을 고려하여 최종 음향 신호를 출력하는 입체 음향 효과 제공 방법. - 제6항에 있어서,
상기 최종 음향 신호를 출력하는 단계는,
상기 이동 경로의 속성이 변경되면,
(1) 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 시간, (2) 가상 음원으로부터 출력된 원본 음향 신호의 초기 세기와 최종 세기 간의 차이인 감쇄량, (3) 가상 음원으로부터 출력된 원본 음향 신호의 소멸 시간, (4) 가상 음원으로부터 출력된 원본 음향 신호의 잔향 효과 중 적어도 하나가 변경된 원본 음향 신호를 이용하여 최종 음향 신호를 출력하는 입체 음향 효과 제공 방법. - 제4항에 있어서,
상기 최종 음향 신호를 출력하는 단계는,
상기 구성 요소의 속성에 따라 변경되는 원본 음향 신호에 기초하여 입체 음향 효과가 업데이트된 최종 음향 신호를 출력하는 입체 음향 효과 제공 방법. - 멀티미디어 디바이스의 저장 매체에 기록되는 프로그램에 있어서,
상기 프로그램은,
가상 공간 상에 배치된 가상 음원을 식별하고, - 상기 가상 음원은, 멀티미디어 컨텐츠가 재생될 때, 멀티미디어 컨텐츠가 출력되는 가상의 출력 장치에 대응함 -;
상기 가상 음원에서 출력된 원본 음향 신호가 가상 공간에 위치한 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로를 결정하고,
상기 이동 경로에 기초하여, 상기 청취자의 왼쪽 귀와 오른쪽 귀에 대한 원본 음향 신호를 믹싱하여 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력하고,
상기 프로그램은,
상기 청취자를 중심으로 설정된 가상 영역을 복수의 셀들로 분할하고, 상기 복수의 셀들 중 원본 음향 신호의 이동 경로에 대응하는 셀들의 가중치에 기초하여 결정된 최종 음향 신호를 출력하고,
상기 원본 음향 신호의 이동 경로는 가상 영역에서 분할된 셀에 매핑되며, 가상 영역에서 분할된 각각의 셀마다 원본 음향 신호에 적용되는 가중치가 다르게 적용되며,
상기 가중치는, 동일한 셀에 대해 청취자의 왼쪽 귀와 오른쪽 귀마다 서로 다르게 설정되며, 상기 가중치는 (1) 상기 청취자의 왼쪽 귀와 오른쪽 귀를 중심으로 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 경로의 거리, (2) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 각도, (3) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 횟수, 및 (4) 가상 음원으로부터 출력된 원본 음향 신호가 청취자로 입사하는 각도 중 적어도 하나에 기초하여 결정되는 프로그램. - 제9항에 있어서,
상기 프로그램은,
상기 원본 음향 신호가 가상 공간에 반사되지 않고 직접 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로,
상기 원본 음향 신호가 가상 공간에 적어도 한번 이상 반사되어 청취자의 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로
상기 원본 음향 신호가 가상 공간에 배치된 가상 객체에 적어도 한번 이상 반사되어 왼쪽 귀와 오른쪽 귀에 도달하는 이동 경로
중 적어도 하나의 이동 경로에 따라 상기 청취자를 위한 입체 음향 효과가 적용된 최종 음향 신호를 출력하는 프로그램. - 제9항에 있어서,
상기 가중치는 가상 공간에 배치된 청취자와 가상 음원의 위치 또는 방향이 변경됨에 따라 업데이트되는 프로그램. - 제9항에 있어서,
상기 이동 경로는,
상기 가상 공간에서 가상 음원과 청취자 간의 공간 관계에 따라 결정되고,
상기 공간 관계는,
가상 공간에 배치된 구성 요소의 속성이 인터페이스를 통해 변경됨에 따라 결정되는 프로그램. - 제12항에 있어서,
상기 구성요소의 속성은,
(1) 인터페이스에 표시된 가상 공간에서 청취자의 위치;
(2) 인터페이스에 표시된 가상 공간에서 청취자의 방향
(3) 인터페이스에 표시된 가상 공간에서 가상 음원의 위치
(4) 인터페이스에 표시된 가상 공간에서 가상 음원의 방향
(5) 인터페이스에 표시된 가상 공간에서 가상 음원으로부터 출력되는 원본 음향 신호의 세기
(6) 인터페이스에 표시된 가상 공간에서 가상 음원으로부터 출력되는 원본 음향 신호의 개수
(7) 인터페이스에 표시된 가상 공간의 형태, 차원, 크기
(8) 인터페이스에 표시된 가상 공간에 배치된 가상 객체의 위치, 방향, 크기, 종류, 재질, 형태
중 적어도 하나를 포함하는 프로그램. - 제12항에 있어서,
상기 최종 음향 신호를 출력하는 단계는,
상기 구성 요소의 속성에 따라 변경되는
(1) 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 경로의 거리
(2) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 각도
(3) 가상 음원으로부터 출력된 원본 음향 신호가 가상 공간에서 반사되는 횟수
(4) 가상 음원으로부터 원본 음향 신호가 출력되는 각도
(5) 가상 음원으로부터 출력된 원본 음향 신호가 청취자로 입사하는 각도
중 적어도 하나를 포함하는 이동 경로의 속성을 고려하여 최종 음향 신호를 출력하는 프로그램. - 제14항에 있어서,
상기 프로그램은,
상기 이동 경로의 속성이 변경되면,
(1) 가상 음원으로부터 출력된 원본 음향 신호가 청취자까지 도달하는 이동 시간, (2) 가상 음원으로부터 출력된 원본 음향 신호의 초기 세기와 최종 세기 간의 차이인 감쇄량, (3) 가상 음원으로부터 출력된 원본 음향 신호의 소멸 시간, (4) 가상 음원으로부터 출력된 원본 음향 신호의 잔향 효과 중 적어도 하나가 변경된 원본 음향 신호를 이용하여 최종 음향 신호를 출력하는 프로그램. - 제12항에 있어서,
상기 프로그램은,
상기 구성 요소의 속성에 따라 변경되는 원본 음향 신호에 기초하여 입체 음향 효과가 업데이트된 최종 음향 신호를 출력하는 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180018810A KR102032803B1 (ko) | 2018-02-14 | 2018-02-14 | 멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180018810A KR102032803B1 (ko) | 2018-02-14 | 2018-02-14 | 멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190098637A KR20190098637A (ko) | 2019-08-22 |
| KR102032803B1 true KR102032803B1 (ko) | 2019-10-17 |
Family
ID=67766986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180018810A KR102032803B1 (ko) | 2018-02-14 | 2018-02-14 | 멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102032803B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102132892B1 (ko) * | 2019-09-26 | 2020-07-13 | 주식회사 신안정보통신 | 평면파 합성 기법을 이용하는 수평 어레이형 음향 재생 장치의 음향 제어 인터페이스 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100636252B1 (ko) * | 2005-10-25 | 2006-10-19 | 삼성전자주식회사 | 공간 스테레오 사운드 생성 방법 및 장치 |
| KR100677629B1 (ko) * | 2006-01-10 | 2007-02-02 | 삼성전자주식회사 | 다채널 음향 신호에 대한 2채널 입체 음향 생성 방법 및장치 |
| KR101682105B1 (ko) * | 2015-05-28 | 2016-12-02 | 조애란 | 입체음향 조절 방법 및 장치 |
-
2018
- 2018-02-14 KR KR1020180018810A patent/KR102032803B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100636252B1 (ko) * | 2005-10-25 | 2006-10-19 | 삼성전자주식회사 | 공간 스테레오 사운드 생성 방법 및 장치 |
| KR100677629B1 (ko) * | 2006-01-10 | 2007-02-02 | 삼성전자주식회사 | 다채널 음향 신호에 대한 2채널 입체 음향 생성 방법 및장치 |
| KR101682105B1 (ko) * | 2015-05-28 | 2016-12-02 | 조애란 | 입체음향 조절 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190098637A (ko) | 2019-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10952010B2 (en) | Spatial audio for interactive audio environments | |
| RU2015109613A (ru) | Система и инструментальные средства для усовершенствованной авторской разработки и представления трехмерных аудиоданных | |
| KR101820224B1 (ko) | 믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램 | |
| US10542366B1 (en) | Speaker array behind a display screen | |
| CN101171882B (zh) | 借助于图形用户界面设备来产生并处理声音效果的设备及方法 | |
| CN105325014A (zh) | 基于用户跟踪的声场调节 | |
| Murphy et al. | Spatial sound for computer games and virtual reality | |
| CN108391199A (zh) | 基于个性化反射声阈值的虚拟声像合成方法、介质和终端 | |
| KR102032803B1 (ko) | 멀티미디어 컨텐츠를 위한 입체 음향 효과 제공 방법 및 상기 방법을 수행하는 멀티미디어 디바이스 | |
| Raghuvanshi et al. | Interactive and Immersive Auralization | |
| CN103856878A (zh) | 处理音频信号的方法和音频设备 | |
| CN110169087A (zh) | 重定向音频输出 | |
| JP2019165845A (ja) | プログラム、画像処理方法、及び情報処理装置 | |
| KR102610263B1 (ko) | 장애물을 고려한 객체 기반의 오디오 신호의 렌더링 방법 및 장치 | |
| EP3002960A1 (en) | System and method for generating surround sound | |
| Gutiérrez A et al. | Audition | |
| Ogi et al. | Immersive sound field simulation in multi-screen projection displays | |
| Cecchi et al. | An advanced spatial sound reproduction system with listener position tracking | |
| KR20210069910A (ko) | 렌더링 최적화를 위한 오디오 데이터 전송 방법 및 오디오 데이터 재생 방법, 오디오 데이터 전송 장치 및 오디오 데이터 재생 장치 | |
| CN116193196A (zh) | 虚拟环绕声渲染方法、装置、设备及存储介质 | |
| Flanagan et al. | Real-time virtual acoustics for 5.1 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |