KR20170120407A - System and method for reproducing audio object signal - Google Patents

System and method for reproducing audio object signal Download PDF

Info

Publication number
KR20170120407A
KR20170120407A KR1020160048856A KR20160048856A KR20170120407A KR 20170120407 A KR20170120407 A KR 20170120407A KR 1020160048856 A KR1020160048856 A KR 1020160048856A KR 20160048856 A KR20160048856 A KR 20160048856A KR 20170120407 A KR20170120407 A KR 20170120407A
Authority
KR
South Korea
Prior art keywords
audio object
rendering
information
signal
audio
Prior art date
Application number
KR1020160048856A
Other languages
Korean (ko)
Other versions
KR102421292B1 (en
Inventor
이용주
유재현
장대영
서정일
이태진
구본희
Original Assignee
한국전자통신연구원
한국산업은행
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국산업은행 filed Critical 한국전자통신연구원
Priority to KR1020160048856A priority Critical patent/KR102421292B1/en
Publication of KR20170120407A publication Critical patent/KR20170120407A/en
Application granted granted Critical
Publication of KR102421292B1 publication Critical patent/KR102421292B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection

Abstract

오디오 객체 신호 재생 시스템 및 그 방법이 개시된다.
오디오 객체 신호 렌더링 방법은 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 단계; 상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 단계; 식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 단계; 및 렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 단계를 포함할 수 있다.An audio object signal reproducing system and method thereof are disclosed.
A method for rendering an audio object signal includes extracting audio object signals and audio object information from a received audio object file; Identifying a rendering scheme of each of the audio object signals using the audio object information; Rendering each of the audio object signals in an identified rendering manner; And grouping the rendered audio object signals according to the rendering method and outputting the grouped audio object signals.

Description

오디오 객체 신호 재생 시스템 및 그 방법{SYSTEM AND METHOD FOR REPRODUCING AUDIO OBJECT SIGNAL}TECHNICAL FIELD [0001] The present invention relates to an audio object signal reproducing system,

본 발명은 오디오 객체 신호 재생 시스템 및 그 방법에 관한 것이다.The present invention relates to an audio object signal reproduction system and a method thereof.

오디오 신호 재생 서비스는 모노, 스테레오 서비스에서 5.1 7.1 채널 등을 거쳐 상향 채널을 포함하는 9.1, 11.1, 10.2, 13.1, 15.1, 22.2 채널과 같은 다채널 서비스로 변화를 해왔다. 또한, 하나의 음원 소스를 객체로 설정하고, 오디오 객체 신호와 오디오 객체의 위치, 크기 등과 같은 오디오 객체 관련 정보를 저장/전송/재생하는 객체기반 오디오 신호 재생 서비스 기술도 개발이 되었다. The audio signal playback service has changed from multi-channel services such as 9.1, 11.1, 10.2, 13.1, 15.1, and 22.2 channels including uplink channels through 5.1 7.1 channels in mono and stereo services. In addition, an object-based audio signal reproduction service technology for storing / transmitting / reproducing information related to audio objects such as audio object signals and positions and sizes of audio objects has also been developed by setting one sound source as an object.

그리고, 오디오 신호를 재생하는 방식으로는 스피커를 이용한 재생 방식과 헤드폰을 이용한 재생 방식이 있다.As a method for reproducing an audio signal, there are a reproducing method using a speaker and a reproducing method using a headphone.

스피커를 이용한 재생 방식은 스피커를 통해 방사된 오디오 신호가 공간을 거쳐 사람의 귀에 전달되므로, 사용자로부터 일정 거리 이상 이격된 음원의 소리 효과는 잘 표현할 수 있으나, 사용자의 머리 주변에서 위치한 음원에서 소리가 발생하는 듯한 효과를 표현하기 어려운 실정이다.Since the audio signal emitted through the speaker is transmitted to the human ear through the space, the sound effect of the sound source separated from the user by a certain distance can be expressed well. However, in the reproducing method using the speaker, It is difficult to express the effect that seems to occur.

또한, 헤드폰을 이용한 재생 방식은 공간을 거치지 않고 직접 사람 귀에 전달되므로, 사용자의 머리 속 또는 머리 주변에 위치한 음원에서 소리가 발생하는 듯한 효과를 표현할 수는 있으나, 먼 거리에서 소리가 나는 듯한 효과를 표현하기 어려운 실정이다.In addition, since the reproduction method using the headphone is directly transmitted to the human ear without going through the space, it is possible to express the sound-like effect in the sound source located in the vicinity of the head or the head of the user, It is difficult to express.

그리고, 헤드폰을 착용한 상태에서는 스피커를 통해 소리를 듣는 경우, 스피커에서 방사된 오디오 신호가 헤드폰에 의해 왜곡되므로 스피커와 헤드폰을 동시에 활용하여 오디오 신호를 재생하는 경우는 거의 없었다. In the case where the headphone is worn and the sound is heard through the speaker, the audio signal radiated from the speaker is distorted by the headphone, so that the audio signal is rarely reproduced by utilizing the speaker and the headphone at the same time.

최근에는 스피커와 헤드폰을 함께 사용하여 오디오 신호를 재생하는 방법이 연구되고 있다. 그러나, 종래의 렌더링 장치는 채널 오디오 신호, 오디오 객체 신호, 채널과 객체가 함께 있는 신호가 재생되는 경우, 스피커 또는 헤드폰 중 하나에 최적화된 방식으로 재생하고 있으므로, 스피커 재생 환경의 장점과 헤드폰 재생 환경에서의 장점을 모두 살리지는 못하는 실정이다.Recently, a method of reproducing an audio signal by using a speaker and a headphone together has been studied. However, since the conventional rendering apparatus reproduces a channel audio signal, an audio object signal, and a signal in which a channel and an object together are reproduced in a manner optimized for one of a speaker and a headphone, It can not save all the advantages of

따라서, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생하는 방법이 요청되고 있다.Therefore, there is a demand for a method of reproducing an audio object signal by optimizing the audio playback system using a speaker and a headphone together.

본 발명은 렌더링 정보가 포함된 오디오 객체 파일을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 각각을 렌더링하여 출력함으로써, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생하는 장치 및 방법을 제공할 수 있다.The present invention identifies a rendering method of each audio object signal using an audio object file including rendering information, and outputs each audio object signal according to an identification result to output an audio playback signal And reproduce the audio object signal.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법은 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 단계; 상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 단계; 식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 단계; 및 렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an audio object signal rendering method including extracting audio object signals and audio object information from a received audio object file; Identifying a rendering scheme of each of the audio object signals using the audio object information; Rendering each of the audio object signals in an identified rendering manner; And grouping the rendered audio object signals according to the rendering method and outputting the grouped audio object signals.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 렌더링 방식은, 다채널 스피커에 대응하는 렌더링 방식, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식, 및 트랜스오럴(transaural)에 대응하는 렌더링 방식 중 하나일 수 있다.The rendering method of the audio object signal rendering method according to an embodiment of the present invention may include a rendering method corresponding to a multi-channel speaker, a headphone rendering method corresponding to a binaural headphone, and a rendering method corresponding to a transaural It can be one.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 렌더링하는 단계는, 상기 오디오 객체 신호들 중 제1 오디오 객체 신호의 렌더링 방식이 다채널 스피커에 대응하는 렌더링 방식이고, 상기 오디오 객체 신호들 중 제2 오디오 객체 신호의 렌더링 방식이 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식인 경우, 상기 제1 오디오 객체 신호를 다채널 스피커에 대응하는 렌더링 방식으로 렌더링하고, 상기 제2 오디오 객체 신호를 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식으로 렌더링할 수 있다.The rendering of the audio object signal rendering method according to an embodiment of the present invention may include rendering the first audio object signal among the audio object signals to a multi-channel speaker, The second audio object signal is rendered in a rendering manner corresponding to a multi-channel speaker, and when the second audio object signal is rendered by a headphone rendering method corresponding to a binaural headphone, The headphone rendering method corresponding to the headphone can be rendered.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 오디오 객체 정보들은, 상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.The audio object information of the audio object signal rendering method according to an embodiment of the present invention includes rendering information including a rendering method of the audio object signal, three-dimensional position information of the audio object corresponding to the audio object signal, Volume information of the audio object, and shape information of the audio object.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 렌더링하는 단계는, 식별한 렌더링 방식들에 따라 상기 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 상기 오디오 객체 신호들을 각각 렌더링할 수 있다.The rendering of the audio object signal rendering method according to an embodiment of the present invention may include rendering three-dimensional position information of the audio object, volume information of the audio object, and shape information of the audio object according to the identified rendering methods And render the audio object signals using at least one.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 출력하는 단계는, 렌더링된 오디오 객체 신호들 중 상기 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다.The outputting step of the audio object signal rendering method according to an embodiment of the present invention may mix and output the audio object signals of the same rendering method among the rendered audio object signals.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 오디오 객체 파일은, 서로 다른 오디오 재생 환경에 대응하는 오디오 객체 신호들을 포함할 수 있다.The audio object file of the audio object signal rendering method according to an embodiment of the present invention may include audio object signals corresponding to different audio reproduction environments.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 오디오 객체 신호들은, 오디오 재생 환경의 채널과 오디오 객체를 고려한 채널/오디오 객체 신호일 수 있다.The audio object signals of the audio object signal rendering method according to an embodiment of the present invention may be a channel / audio object signal considering a channel of an audio reproduction environment and an audio object.

본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법은 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정하는 단계; 오디오 객체 관련 정보 및 상기 렌더링 방식을 포함하는 오디오 객체 정보들을 생성하는 단계; 및 상기 오디오 객체 신호들 및 상기 오디오 객체 정보들을 부호화하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of encoding audio object signals, the method comprising: determining a rendering method of each of the audio object signals according to an audio reproduction environment in which audio object signals are reproduced; Generating audio object information including audio object related information and the rendering method; And encoding the audio object signals and the audio object information.

본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법의 오디오 객체 정보들은, 상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.The audio object information of the audio object signal encoding method according to an exemplary embodiment of the present invention includes rendering information including a rendering method of the audio object signal, three-dimensional position information of the audio object corresponding to the audio object signal, Volume information of the audio object, and shape information of the audio object.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치는 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 오디오 객체 정보 추출부; 상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 렌더링 방식 식별부; 식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 렌더링부; 및 렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 출력부를 포함할 수 있다.The apparatus for rendering an audio object signal according to an embodiment of the present invention includes an audio object information extractor for extracting audio object signals and audio object information from a received audio object file; A rendering method identification unit for identifying a rendering method of each of the audio object signals using the audio object information; A rendering unit for rendering the audio object signals according to the identified rendering method; And an output unit for grouping the rendered audio object signals according to the rendering method and outputting the grouped audio object signals.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 렌더링 방식은, 다채널 스피커에 대응하는 렌더링 방식, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식, 및 트랜스오럴(transaural)에 대응하는 렌더링 방식 중 하나일 수 있다.The rendering method of the apparatus for rendering an audio object signal according to an embodiment of the present invention may include a rendering method corresponding to a multi-channel speaker, a headphone rendering method corresponding to a binaural headphone, and a rendering method corresponding to a transaural It can be one.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 오디오 객체 정보들은, 상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.The audio object information of the audio object signal rendering apparatus according to an embodiment of the present invention includes rendering information including a rendering method of the audio object signal, three-dimensional position information of the audio object corresponding to the audio object signal, Volume information of the audio object, and shape information of the audio object.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 렌더링부는, 식별한 렌더링 방식들에 따라 상기 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 상기 오디오 객체 신호들을 각각 렌더링할 수 있다.The rendering unit of the audio object signal rendering apparatus according to an embodiment of the present invention may include at least one of three-dimensional position information of the audio object, volume information of the audio object, and shape information of the audio object according to the identified rendering methods To render the audio object signals, respectively.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 출력부는, 렌더링된 오디오 객체 신호들 중 상기 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다.The output unit of the audio object signal rendering apparatus according to an embodiment of the present invention may mix and output the audio object signals having the same rendering method among the rendered audio object signals.

본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치는 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정하는 렌더링 방식 결정부; 오디오 객체 관련 정보 및 상기 렌더링 방식을 포함하는 오디오 객체 정보들을 생성하는 오디오 객체 정보 생성부; 및 상기 오디오 객체 신호들 및 상기 오디오 객체 정보들을 부호화하는 부호화부를 포함할 수 있다.The apparatus for encoding an audio object signal according to an embodiment of the present invention includes a rendering method determination unit determining a rendering method of each of the audio object signals according to an audio reproduction environment in which audio object signals are reproduced, An audio object information generating unit for generating audio object information including the audio object related information and the rendering method; And an encoding unit for encoding the audio object signals and the audio object information.

본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 오디오 객체 정보들은, 상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.The audio object information of the audio object signal encoding apparatus according to an embodiment of the present invention includes rendering information including a rendering method of the audio object signal, three-dimensional position information of the audio object corresponding to the audio object signal, Volume information of the audio object, and shape information of the audio object.

본 발명의 일실시예에 의하면, 렌더링 정보가 포함된 오디오 객체 파일을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 각각을 렌더링하여 출력함으로써, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생할 수 있다.According to an embodiment of the present invention, a rendering method of each audio object signal is identified using an audio object file including rendering information, and each audio object signal is rendered according to an identification result, The audio object signal can be reproduced by optimizing it to the audio reproduction system using it together.

도 1은 본 발명의 일실시예에 따른 오디오 객체 신호 재생 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 일례이다.
도 3은 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 출력 일례이다.
도 4는 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 일례이다.
도 5는 종래 기술에 따른 오디오 객체 신호 렌더링 과정의 일례이다.
도 6은 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 과정의 일례이다.
도 7은 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법을 도시한 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법을 도시한 플로우차트이다.1 is a block diagram of an audio object signal reproducing system according to an embodiment of the present invention.
2 is an example of an audio object signal encoding apparatus according to an embodiment of the present invention.
3 is an exemplary output of the audio object signal encoding apparatus according to an embodiment of the present invention.
4 is an example of an audio object signal rendering apparatus according to an embodiment of the present invention.
5 is an example of a process of rendering an audio object signal according to the related art.
6 is an example of an audio object signal rendering process according to an embodiment of the present invention.
7 is a flowchart illustrating a method of encoding an audio object signal according to an embodiment of the present invention.
8 is a flowchart illustrating an audio object signal rendering method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법은 오디오 객체 신호 부호화 장치에 의해 수행될 수 있다. 또한, 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법은 오디오 객체 신호 렌더링 장치에 의해 수행될 수 있다. 또한,DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The audio object signal encoding method according to an embodiment of the present invention can be performed by an audio object signal encoding apparatus. In addition, the audio object signal rendering method according to an embodiment of the present invention can be performed by the audio object signal rendering apparatus. Also,

도 1은 본 발명의 일실시예에 따른 오디오 객체 신호 재생 시스템을 나타내는 도면이다. 1 is a block diagram of an audio object signal reproducing system according to an embodiment of the present invention.

오디오 객체 신호 재생 시스템은 도 1에 도시된 바와 같이 오디오 객체 신호 부호화 장치(110) 및 오디오 객체 신호 렌더링 장치(120)로 구성될 수 있다.The audio object signal reproducing system may include an audio object signal encoding apparatus 110 and an audio object signal rendering apparatus 120 as shown in FIG.

오디오 객체 신호 부호화 장치(110)는 오디오 객체들 각각에 대한 오디오 객체 신호를 부호화하여 오디오 객체 신호 렌더링 장치(120)로 전송할 수 있다. 이때, 오디오 객체 신호 부호화 장치(110)는 오디오 객체들 각각의 렌더링 방법과 관련된 정보를 오디오 객체 신호와 함께 렌더링 장치(120)로 전송할 수 있다. The audio object signal encoding apparatus 110 may encode an audio object signal for each of the audio objects and transmit the encoded audio object signal to the audio object signal rendering apparatus 120. At this time, the audio object signal encoding apparatus 110 may transmit information related to each audio object rendering method to the rendering apparatus 120 together with the audio object signal.

예를 들어, 오디오 객체 신호 부호화 장치(110)가 출력하는 오디오 객체 파일 포맷에는 오디오 객체 신호, 오디오 재생 환경 정보, 오디오 객체와 관련된 오디오 객체 정보 및 오디오 객체의 렌더링 정보가 포함될 수 있다. 이때, 오디오 객체 정보는 오디오 객체의 3차원 공간상의 위치 정보, 오디오 객체의 볼륨 정보, 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다. 이때, 오디오 객체의 형상 정보는 오디오 객체의 형상이 점인지, 또는 선인지, 또는 면인지를 나타내는 정보일 수 있다.For example, the audio object file format output by the audio object signal encoding apparatus 110 may include an audio object signal, audio reproduction environment information, audio object information related to the audio object, and rendering information of the audio object. At this time, the audio object information may include at least one of position information on the three-dimensional space of the audio object, volume information of the audio object, and shape information of the audio object. At this time, the shape information of the audio object may be information indicating whether the shape of the audio object is a point, a line, or a surface.

그리고, 렌더링 정보는 오디오 객체를 렌더링할 때, 헤드폰 재생 형태로 렌더링할 것인지, 또는 스피커 재생 형태로 렌더링할 것인지와 같은 오디오 객체의 렌더링 방식을 포함할 수 있다.The rendering information may include a rendering method of an audio object such as whether the audio object is rendered in a headphone playback format or a speaker playback format when the audio object is rendered.

오디오 객체 신호 부호화 장치(110)의 구체적인 구성 및 동작은 이하 도 2를 참조하여 상세히 설명한다.The specific configuration and operation of the audio object signal encoding apparatus 110 will be described in detail with reference to FIG.

오디오 객체 신호 렌더링 장치(120)는 오디오 객체 신호 부호화 장치(110)가 출력한 오디오 객체 파일에서 오디오 객체 신호를 복호화하고, 렌더링 정보에 따라 렌더링하여 출력할 수 있다. 이때, 오디오 객체 신호 렌더링 장치(120)는 렌더링 정보에 따라 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 중 일부는 스피커 재생 형태로 렌더링하고, 나머지는 헤드폰 재생 형태로 렌더링할 수 있다.The audio object signal rendering apparatus 120 may decode the audio object signal from the audio object file output by the audio object signal encoding apparatus 110 and render and output the audio object signal according to the rendering information. At this time, the audio object signal rendering apparatus 120 identifies a rendering method of each of the audio object signals according to the rendering information, and renders some of the audio object signals in a speaker playback form according to the identification result, . ≪ / RTI >

본 발명의 일실시예에 따른 오디오 객체 신호 재생 시스템은 렌더링 정보가 포함된 오디오 객체 파일을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 각각을 렌더링하여 출력함으로써, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생할 수 있다.The audio object signal reproducing system according to an embodiment of the present invention identifies the rendering method of each audio object signal using the audio object file including the rendering information, renders each audio object signal according to the identification result, So that it is possible to optimize the audio reproduction system using the speaker and the headphone together to reproduce the audio object signal.

도 2는 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 일례이다.2 is an example of an audio object signal encoding apparatus according to an embodiment of the present invention.

오디오 객체 신호 부호화 장치(110)는 도 2에 도시된 바와 같이 렌더링 방식 결정부(210), 오디오 객체 정보 생성부(220), 및 부호화부(230)를 포함할 수 있다. The audio object signal encoding apparatus 110 may include a rendering method determining unit 210, an audio object information generating unit 220, and an encoding unit 230, as shown in FIG.

렌더링 방식 결정부(210)는 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정할 수 있다. 예를 들어, 오디오 객체 신호가 재생될 오디오 재생 환경이 헤드폰인 경우, 렌더링 방식 결정부(210)는 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식을 오디오 객체 신호의 렌더링 방식으로 결정할 수 있다. 또한, 오디오 객체 신호가 재생될 오디오 재생 환경이 다채널 스피커인 경우, 렌더링 방식 결정부(210)는 다채널 스피커에 대응하는 스피커 렌더링 방식을 오디오 객체 신호의 렌더링 방식으로 결정할 수 있다.The rendering mode determination unit 210 may determine the rendering mode of each of the audio object signals according to the audio playback environment in which the audio object signals are to be reproduced. For example, when the audio reproduction environment in which the audio object signal is to be reproduced is the headphone, the rendering mode determination unit 210 may determine the headphone rendering mode corresponding to the binaural headphone as the rendering method of the audio object signal. If the audio reproduction environment in which the audio object signal is to be reproduced is a multi-channel speaker, the rendering mode determination unit 210 may determine a speaker rendering mode corresponding to the multi-channel speaker as a rendering method of the audio object signal.

오디오 객체 정보 생성부(220)는 오디오 객체 관련 정보 및 렌더링 방식을 포함하는 오디오 객체 정보들을 생성할 수 있다. 이때, 오디오 객체 관련 정보는 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 오디오 객체의 볼륨 정보, 및 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다. The audio object information generation unit 220 may generate audio object information including audio object related information and a rendering method. At this time, the audio object related information may include at least one of three-dimensional position information of the audio object corresponding to the audio object signal, volume information of the audio object, and shape information of the audio object.

부호화부(230)는 오디오 객체 신호들 및 오디오 객체 정보 생성부(220)가 생성한 오디오 객체 정보들을 부호화할 수 있다. 이때, 부호화부(230)는 부호화한 오디오 객체 신호들 및 오디오 객체 정보들이 포함된 오디오 객체 파일을 출력할 수 있다.The encoding unit 230 may encode the audio object signals and the audio object information generated by the audio object information generating unit 220. At this time, the encoding unit 230 may output an audio object file including encoded audio object signals and audio object information.

도 3은 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 출력 일례이다.3 is an exemplary output of the audio object signal encoding apparatus according to an embodiment of the present invention.

오디오 객체 신호 부호화 장치(110)가 출력하는 오디오 객체 파일은 도 3에 도시된 바와 같이 오디오 객체 1 내지 오디오 객체 n 각각에 대응하는 오디오 객체 신호(310)들 및 오디오 객체 정보(320)들을 포함할 수 있다. 이때, 오디오 객체 파일에 포함된 오디오 객체 신호들 및 오디오 객체 정보들은 부호화된 신호 및 정보들일 수 있다.The audio object file output by the audio object signal encoding apparatus 110 includes audio object signals 310 and audio object information 320 corresponding to audio objects 1 to n as shown in FIG. 3 . At this time, the audio object signals and the audio object information included in the audio object file may be encoded signals and information.

그리고, 오디오 객체 정보(320)는 오디오 객체 신호(310)의 렌더링 방식이 포함된 렌더링 정보, 오디오 객체 신호(310)에 대응하는 오디오 객체의 3차원 위치 정보, 오디오 객체의 볼륨 정보, 및 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.The audio object information 320 includes rendering information including a rendering method of the audio object signal 310, three-dimensional position information of the audio object corresponding to the audio object signal 310, volume information of the audio object, And the shape information of the image forming apparatus.

즉, 오디오 객체 정보(320)는 오디오 객체 신호(310)의 렌더링 방식이 포함된 렌더링 정보를 포함함으로써, 오디오 객체 신호 렌더링 장치(120)에게 오디오 객체 신호(310)를 렌더링하는 방식을 제공할 수 있다.That is, the audio object information 320 includes rendering information including a rendering method of the audio object signal 310, thereby providing a method of rendering the audio object signal 310 to the audio object signal rendering device 120 have.

도 4는 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 일례이다.4 is an example of an audio object signal rendering apparatus according to an embodiment of the present invention.

오디오 객체 신호 렌더링 장치(120)는 도 4에 도시된 바와 같이 오디오 객체 정보 추출부(410), 렌더링 방식 식별부(420), 렌더링부(430) 및 출력부(440)를 포함할 수 있다. The audio object signal rendering apparatus 120 may include an audio object information extraction unit 410, a rendering scheme identification unit 420, a rendering unit 430, and an output unit 440, as shown in FIG.

오디오 객체 정보 추출부(410)는 오디오 객체 신호 부호화 장치(110)로부터 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출할 수 있다. The audio object information extraction unit 410 may extract audio object signals and audio object information from the audio object file received from the audio object signal encoding apparatus 110. [

이때, 오디오 객체 파일은 서로 다른 오디오 재생 환경에 대응하는 오디오 객체 신호들을 포함할 수 있다. 예를 들어, 오디오 객체 신호들 중 일부, 또는 전부는 오디오 재생 환경의 채널과 오디오 객체를 고려한 채널/오디오 객체 신호일 수 있다.At this time, the audio object file may include audio object signals corresponding to different audio reproduction environments. For example, some or all of the audio object signals may be channel / audio object signals taking into consideration the channels and audio objects of the audio reproduction environment.

렌더링 방식 식별부(420)는 오디오 객체 정보 추출부(410)가 추출한 오디오 객체 정보들을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별할 수 있다.The rendering method identification unit 420 may identify the rendering method of each of the audio object signals using the extracted audio object information extracted by the audio object information extraction unit 410. [

이때, 렌더링 방식 식별부(420)가 식별하는 렌더링 방식은, 다채널 스피커에 대응하는 스피커 렌더링 방식, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식, 및 트랜스오럴(transaural)에 대응하는 렌더링 방식 중 하나일 수 있다.At this time, the rendering method identified by the rendering method identification unit 420 may include a speaker rendering method corresponding to a multi-channel speaker, a headphone rendering method corresponding to a binaural headphone, and a rendering method corresponding to a transaural Lt; / RTI >

렌더링부(430)는 렌더링 방식 식별부(420)가 식별한 렌더링 방식으로 오디오 객체 신호를 각각 렌더링할 수 있다. 구체적으로, 렌더링부(430)는 식별한 렌더링 방식들에 따라 오디오 객체의 3차원 위치 정보, 오디오 객체의 볼륨 정보, 및 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 오디오 객체 신호들을 각각 렌더링할 수 있다.The rendering unit 430 may render the audio object signals according to the rendering method identified by the rendering method identification unit 420. Specifically, the rendering unit 430 may render the audio object signals using at least one of the three-dimensional position information of the audio object, the volume information of the audio object, and the shape information of the audio object according to the identified rendering methods have.

출력부(440)는 렌더링부(430)에서 렌더링된 오디오 객체 신호들을 렌더링 방식에 따라 그룹화하여 출력할 수 있다. 이때, 출력부(440)는 렌더링된 오디오 객체 신호들 중 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다. 예를 들어, 출력부(440)는 렌더링된 오디오 객체 신호들 중 스피커 렌더링 방식으로 렌더링된 오디오 객체 신호들과 헤드폰 렌더링 방식으로 렌더링된 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다.The output unit 440 may group the audio object signals rendered by the rendering unit 430 according to a rendering method. At this time, the output unit 440 may mix and output the audio object signals having the same rendering method among the rendered audio object signals. For example, the output unit 440 may mix and output the audio object signals rendered by the speaker rendering method and the audio object signals rendered by the headphone rendering method, among the rendered audio object signals.

도 5는 종래 기술에 따른 오디오 객체 신호 렌더링 과정의 일례이다.5 is an example of a process of rendering an audio object signal according to the related art.

종래 기술에 따른 오디오 객체 신호 렌더링 장치(510)는 모든 오디오 객체 신호를 동일한 렌더링 방식으로 렌더링하여 출력할 수 있다.The audio object signal rendering apparatus 510 according to the related art can render all audio object signals in the same rendering manner and output them.

예를 들어, 종래 기술에 따른 오디오 객체 신호 렌더링 장치(510)는 케이스 1(Case 1)에 도시된 바와 같이 오디오 객체 신호들을 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식으로 렌더링할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(510)는 렌더링된 오디오 객체 신호들을 믹싱한 헤드폰 재생 신호를 출력할 수 있다.For example, the audio object signal rendering apparatus 510 according to the prior art can render audio object signals in a headphone rendering manner corresponding to a binaural headphone, as shown in Case 1 (Case 1). The audio object signal rendering device 510 may output a headphone reproduction signal obtained by mixing the rendered audio object signals.

또한, 종래 기술에 따른 오디오 객체 신호 렌더링 장치(510)는 케이스 2(Case 2)에 도시된 바와 같이 오디오 객체 신호들을 다채널 스피커에 대응하는 스피커 렌더링 방식으로 렌더링할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(510)는 렌더링된 오디오 객체 신호들을 믹싱한 헤드폰 재생 신호를 출력할 수 있다.In addition, the audio object signal rendering apparatus 510 according to the related art can render audio object signals in a speaker rendering manner corresponding to a multi-channel speaker as shown in Case 2 (Case 2). The audio object signal rendering device 510 may output a headphone reproduction signal obtained by mixing the rendered audio object signals.

따라서, 종래 기술에 따른 오디오 객체 신호 렌더링 장치(510)는 오디오 객체 신호들이 출력될 오디오 재생 환경이 다채널 스피커, 또는 바이노럴 헤드폰 중 하나인 경우에는 최적화된 신호를 출력할 수 있다. 그러나, 오디오 재생 환경이 다채널 스피커와 바이노럴 헤드폰을 모두 사용하는 경우, 모든 오디오 객체 신호들을 스피커 렌더링, 또는 헤드폰 렌더링 중 하나로 렌더링하는 오디오 객체 신호 렌더링 장치(510)의 출력은 다채널 스피커, 또는 바이노럴 헤드폰 중 하나에 대응하지 못할 수 있다.Accordingly, the audio object signal rendering apparatus 510 according to the related art can output an optimized signal when the audio reproduction environment in which audio object signals are output is one of a multi-channel speaker and a binaural headphone. However, if the audio playback environment uses both multi-channel speakers and binaural headphones, the output of the audio object signal rendering device 510, which renders all audio object signals as either speaker rendering or headphone rendering, Or one of the binaural headphones.

도 6은 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 과정의 일례이다.6 is an example of an audio object signal rendering process according to an embodiment of the present invention.

오디오 객체 신호 렌더링 장치(120)는 도 6에 도시된 바와 같이 오디오 객체 신호에 따라 서로 다른 렌더링 방식으로 렌더링할 수 있다.The audio object signal rendering apparatus 120 may render the audio object signal in different rendering schemes according to the audio object signal as shown in FIG.

예를 들어, 오디오 객체 신호 렌더링 장치(120)는 제1 오디오 객체(610)에 대응하는 오디오 객체 정보에 따라 제1 오디오 객체(610)의 렌더링 방법을 스피커 렌더링으로 결정할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(120)는 제1 오디오 객체(610)에 대응하는 오디오 객체 신호를 스피커 렌더링할 수 있다.For example, the audio object signal rendering apparatus 120 may determine the rendering method of the first audio object 610 as speaker rendering according to the audio object information corresponding to the first audio object 610. The audio object signal rendering device 120 may render the audio object signal corresponding to the first audio object 610 as a speaker.

또한, 오디오 객체 신호 렌더링 장치(120)는 제2 오디오 객체(620)에 대응하는 오디오 객체 정보에 따라 제2 오디오 객체(620)의 렌더링 방법을 헤드폰 렌더링으로 결정할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(120)는 제2 오디오 객체(620)에 대응하는 오디오 객체 신호를 헤드폰 렌더링할 수 있다.In addition, the audio object signal rendering apparatus 120 may determine the rendering method of the second audio object 620 as the headphone rendering according to the audio object information corresponding to the second audio object 620. The audio object signal rendering apparatus 120 may perform headphone rendering of an audio object signal corresponding to the second audio object 620.

오디오 객체 신호 렌더링 장치(120)는 상기 과정을 마지막 오디오 객체인 제n 오디오 객체(630)까지 반복할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(120)는 제n 오디오 객체(630)에 대응하는 오디오 객체 정보에 따라 제n 오디오 객체(630)의 렌더링 방법을 스피커 렌더링으로 결정할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(120)는 제n 오디오 객체(630)에 대응하는 오디오 객체 신호를 스피커 렌더링할 수 있다.The audio object signal rendering apparatus 120 may repeat the process up to the nth audio object 630, which is the last audio object. The audio object signal rendering apparatus 120 may determine the rendering method of the n-th audio object 630 as speaker rendering according to the audio object information corresponding to the n-th audio object 630. The audio object signal rendering apparatus 120 may render the audio object signal corresponding to the nth audio object 630 as a speaker.

그리고, 오디오 객체 신호 렌더링 장치(120)는 도 6에 도시된 바와 같이 스피커 렌더링된 제1 오디오 객체(610)에 대응하는 오디오 객체 신호, 및 제n 오디오 객체(630)에 대응하는 오디오 객체 신호를 믹싱하여 스피커 재생 신호로 출력할 수 있다. 또한, 오디오 객체 신호 렌더링 장치(120)는 도 6에 도시된 바와 같이 헤드폰 렌더링된 제2 오디오 객체(620)에 대응하는 오디오 객체 신호, 및 다른 오디오 객체 신호를 믹싱하여 헤드폰 재생 신호로 출력할 수 있다.6, the audio object signal rendering apparatus 120 may generate an audio object signal corresponding to the speaker-rendered first audio object 610 and an audio object signal corresponding to the n-th audio object 630 Mix and output it as a speaker reproduction signal. 6, the audio object signal rendering apparatus 120 mixes the audio object signal corresponding to the second audio object 620 rendered as a headphone and other audio object signals and outputs the mixed audio object signal as a headphone reproduction signal have.

즉, 본원발명에 따른 오디오 객체 신호 렌더링 장치(120)는 오디오 객체 신호에 따라 서로 다른 렌더링 방식으로 렌더링함으로써, 오디오 재생 환경이 다채널 스피커와 바이노럴 헤드폰을 모두 사용하더라도 오디오 객체 신호들 각각에 최적화하여 렌더링할 수 있다. That is, the audio object signal rendering apparatus 120 according to the present invention renders the audio object signal in a different rendering manner according to the audio object signal, so that even if the audio reproduction environment uses both the multi-channel speaker and the binaural headphone, It can be optimized and rendered.

도 7은 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법을 도시한 플로우차트이다.7 is a flowchart illustrating a method of encoding an audio object signal according to an embodiment of the present invention.

단계(710)에서 렌더링 방식 결정부(210)는 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정할 수 있다. In step 710, the rendering mode determination unit 210 may determine a rendering method of each of the audio object signals according to an audio reproduction environment in which audio object signals are reproduced.

단계(720)에서 오디오 객체 정보 생성부(220)는 오디오 객체 관련 정보 및 단계(710)에서 결정된 렌더링 방식을 포함하는 오디오 객체 정보들을 생성할 수 있다. In operation 720, the audio object information generation unit 220 may generate audio object information including audio object related information and the rendering method determined in operation 710.

단계(730)에서 부호화부(230)는 오디오 객체 신호들 및 단계(720)에서 생성한 오디오 객체 정보들을 부호화할 수 있다. In operation 730, the encoding unit 230 may encode the audio object signals and the audio object information generated in operation 720.

도 8은 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법을 도시한 플로우차트이다.8 is a flowchart illustrating an audio object signal rendering method according to an embodiment of the present invention.

단계(810)에서 오디오 객체 정보 추출부(410)는 오디오 객체 신호 부호화 장치(110)로부터 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출할 수 있다. In operation 810, the audio object information extraction unit 410 may extract audio object signals and audio object information from the audio object file received from the audio object signal encoding apparatus 110.

단계(820)에서 렌더링 방식 식별부(420)는 단계(810)에서 추출한 오디오 객체 정보들을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별할 수 있다.In operation 820, the rendering method identification unit 420 may identify the rendering method of each audio object signal using the extracted audio object information in operation 810.

단계(830)에서 렌더링부(430)는 단계(820)에서 식별한 렌더링 방식으로 오디오 객체 신호를 각각 렌더링할 수 있다. 구체적으로, 렌더링부(430)는 식별한 렌더링 방식들에 따라 오디오 객체의 3차원 위치 정보, 오디오 객체의 볼륨 정보, 및 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 오디오 객체 신호들을 각각 렌더링할 수 있다.In operation 830, the rendering unit 430 may render the audio object signals in the rendering mode identified in operation 820, respectively. Specifically, the rendering unit 430 may render the audio object signals using at least one of the three-dimensional position information of the audio object, the volume information of the audio object, and the shape information of the audio object according to the identified rendering methods have.

단계(840)에서 출력부(440)는 단계(830)에서 렌더링된 오디오 객체 신호들을 렌더링 방식에 따라 그룹화하여 출력할 수 있다. 이때, 출력부(440)는 렌더링된 오디오 객체 신호들 중 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다. In step 840, the output unit 440 may group the audio object signals rendered in step 830 according to a rendering method. At this time, the output unit 440 may mix and output the audio object signals having the same rendering method among the rendered audio object signals.

본 발명은 렌더링 정보가 포함된 오디오 객체 파일을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 각각을 렌더링하여 출력함으로써, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생할 수 있다.The present invention identifies a rendering method of each audio object signal using an audio object file including rendering information, and outputs each audio object signal according to an identification result to output an audio playback signal So that the audio object signal can be reproduced.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

110: 오디오 객체 신호 부호화 장치
120: 오디오 객체 신호 렌더링 장치110: audio object signal encoding device
120: audio object signal rendering device

Claims (18)

수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 단계;
상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 단계;
식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 단계; 및
렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 단계
를 포함하는 오디오 객체 신호 렌더링 방법.Extracting audio object signals and audio object information from the received audio object file;
Identifying a rendering scheme of each of the audio object signals using the audio object information;
Rendering each of the audio object signals in an identified rendering manner; And
Grouping the rendered audio object signals according to the rendering method and outputting
Gt; a < / RTI > audio object signal. 제1항에 있어서,
상기 렌더링 방식은,
다채널 스피커에 대응하는 렌더링 방식, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식, 및 트랜스오럴(transaural)에 대응하는 렌더링 방식 중 하나인 오디오 객체 신호 렌더링 방법.The method according to claim 1,
In the rendering method,
A method of rendering an audio object signal, the rendering method corresponding to a multi-channel speaker, the headphone rendering method corresponding to a binaural headphone, and the rendering method corresponding to a transaural. 제2항에 있어서,
상기 렌더링하는 단계는,
상기 오디오 객체 신호들 중 제1 오디오 객체 신호의 렌더링 방식이 다채널 스피커에 대응하는 렌더링 방식이고, 상기 오디오 객체 신호들 중 제2 오디오 객체 신호의 렌더링 방식이 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식인 경우, 상기 제1 오디오 객체 신호를 다채널 스피커에 대응하는 렌더링 방식으로 렌더링하고, 상기 제2 오디오 객체 신호를 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식으로 렌더링하는 오디오 객체 신호 렌더링 방법.3. The method of claim 2,
Wherein the rendering comprises:
Wherein a rendering method of a first audio object signal among the audio object signals is a rendering method corresponding to a multi-channel speaker, and a rendering method of a second audio object signal among the audio object signals is a headphone rendering method corresponding to a binaural headphone , Rendering the first audio object signal as a rendering method corresponding to a multi-channel speaker, and rendering the second audio object signal as a headphone rendering method corresponding to a binaural headphone. 제1항에 있어서,
상기 오디오 객체 정보들은,
상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함하는 오디오 객체 신호 렌더링 방법.The method according to claim 1,
Wherein the audio object information comprises:
An audio object including at least one of rendering information including a rendering method of the audio object signal, three-dimensional position information of an audio object corresponding to the audio object signal, volume information of the audio object, Signal rendering method. 제4항에 있어서,
상기 렌더링하는 단계는,
식별한 렌더링 방식들에 따라 상기 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 상기 오디오 객체 신호들을 각각 렌더링하는 오디오 객체 신호 렌더링 방법.5. The method of claim 4,
Wherein the rendering comprises:
And rendering the audio object signals using at least one of three-dimensional position information of the audio object, volume information of the audio object, and shape information of the audio object according to the identified rendering methods. 제1항에 있어서,
상기 출력하는 단계는,
렌더링된 오디오 객체 신호들 중 상기 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력하는 오디오 객체 신호 렌더링 방법.The method according to claim 1,
Wherein the outputting step comprises:
And mixing and outputting audio object signals having the same rendering method among the rendered audio object signals. 제1항에 있어서,
상기 오디오 객체 파일은,
서로 다른 오디오 재생 환경에 대응하는 오디오 객체 신호들을 포함하는 오디오 객체 신호 렌더링 방법.The method according to claim 1,
The audio object file includes:
Wherein the audio object signals include audio object signals corresponding to different audio playback environments. 제1항에 있어서,
상기 오디오 객체 신호들은,
오디오 재생 환경의 채널과 오디오 객체를 고려한 채널/오디오 객체 신호인 오디오 객체 신호 렌더링 방법.The method according to claim 1,
Wherein the audio object signals comprise:
A method of rendering an audio object signal that is a channel / audio object signal considering channels and audio objects in an audio playback environment. 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정하는 단계;
오디오 객체 관련 정보 및 상기 렌더링 방식을 포함하는 오디오 객체 정보들을 생성하는 단계; 및
상기 오디오 객체 신호들 및 상기 오디오 객체 정보들을 부호화하는 단계
를 포함하는 오디오 객체 신호 부호화 방법.Determining a rendering scheme of each of the audio object signals according to an audio reproduction environment in which each of the audio object signals is to be reproduced;
Generating audio object information including audio object related information and the rendering method; And
Encoding the audio object signals and the audio object information
Wherein the audio object signal encoding method comprises: 제8항에 있어서,
상기 오디오 객체 정보들은,
상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함하는 오디오 객체 신호 부호화 방법.9. The method of claim 8,
Wherein the audio object information comprises:
An audio object including at least one of rendering information including a rendering method of the audio object signal, three-dimensional position information of an audio object corresponding to the audio object signal, volume information of the audio object, Signal encoding method. 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 오디오 객체 정보 추출부;
상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 렌더링 방식 식별부;
식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 렌더링부; 및
렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 출력부
를 포함하는 오디오 객체 신호 렌더링 장치.An audio object information extracting unit for extracting audio object signals and audio object information from the received audio object file;
A rendering method identification unit for identifying a rendering method of each of the audio object signals using the audio object information;
A rendering unit for rendering the audio object signals according to the identified rendering method; And
An output unit for grouping and outputting rendered audio object signals according to the rendering method,
Wherein the audio object signal rendering device comprises: 제11항에 있어서,
상기 렌더링 방식은,
다채널 스피커에 대응하는 렌더링 방식, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식, 및 트랜스오럴(transaural)에 대응하는 렌더링 방식 중 하나인 오디오 객체 신호 렌더링 장치.12. The method of claim 11,
In the rendering method,
A rendering method corresponding to a multi-channel speaker, a headphone rendering method corresponding to a binaural headphone, and a rendering method corresponding to a transaural. 제12항에 있어서,
상기 렌더링부는,
상기 오디오 객체 신호들 중 제1 오디오 객체 신호의 렌더링 방식이 다채널 스피커에 대응하는 렌더링 방식이고, 상기 오디오 객체 신호들 중 제2 오디오 객체 신호의 렌더링 방식이 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식인 경우, 상기 제1 오디오 객체 신호를 다채널 스피커에 대응하는 렌더링 방식으로 렌더링하고, 상기 제2 오디오 객체 신호를 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식으로 렌더링하는 오디오 객체 신호 렌더링 방법.13. The method of claim 12,
The rendering unit may include:
Wherein a rendering method of a first audio object signal among the audio object signals is a rendering method corresponding to a multi-channel speaker, and a rendering method of a second audio object signal among the audio object signals is a headphone rendering method corresponding to a binaural headphone , Rendering the first audio object signal as a rendering method corresponding to a multi-channel speaker, and rendering the second audio object signal as a headphone rendering method corresponding to a binaural headphone. 제11항에 있어서,
상기 오디오 객체 정보들은,
상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함하는 오디오 객체 신호 렌더링 장치.12. The method of claim 11,
Wherein the audio object information comprises:
An audio object including at least one of rendering information including a rendering method of the audio object signal, three-dimensional position information of an audio object corresponding to the audio object signal, volume information of the audio object, Signal rendering device. 제14항에 있어서,
상기 렌더링부는,
식별한 렌더링 방식들에 따라 상기 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 상기 오디오 객체 신호들을 각각 렌더링하는 오디오 객체 신호 렌더링 장치.15. The method of claim 14,
The rendering unit may include:
And rendering the audio object signals using at least one of three-dimensional position information of the audio object, volume information of the audio object, and shape information of the audio object according to the identified rendering methods. 제11항에 있어서,
상기 출력부는,
렌더링된 오디오 객체 신호들 중 상기 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력하는 오디오 객체 신호 렌더링 장치.12. The method of claim 11,
The output unit includes:
And mixes and outputs the audio object signals having the same rendering method among the rendered audio object signals. 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정하는 렌더링 방식 결정부;
오디오 객체 관련 정보 및 상기 렌더링 방식을 포함하는 오디오 객체 정보들을 생성하는 오디오 객체 정보 생성부; 및
상기 오디오 객체 신호들 및 상기 오디오 객체 정보들을 부호화하는 부호화부
를 포함하는 오디오 객체 신호 부호화 장치.A rendering mode determination unit for determining a rendering mode of each of the audio object signals according to an audio reproduction environment in which audio object signals are reproduced;
An audio object information generating unit for generating audio object information including the audio object related information and the rendering method; And
An encoding unit for encoding the audio object signals and the audio object information,
The audio object signal encoding apparatus comprising: 제17항에 있어서,
상기 오디오 객체 정보들은,
상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함하는 오디오 객체 신호 부호화 장치.
18. The method of claim 17,
Wherein the audio object information comprises:
An audio object including at least one of rendering information including a rendering method of the audio object signal, three-dimensional position information of an audio object corresponding to the audio object signal, volume information of the audio object, Signal encoding apparatus.
KR1020160048856A 2016-04-21 2016-04-21 System and method for reproducing audio object signal KR102421292B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160048856A KR102421292B1 (en) 2016-04-21 2016-04-21 System and method for reproducing audio object signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160048856A KR102421292B1 (en) 2016-04-21 2016-04-21 System and method for reproducing audio object signal

Publications (2)

Publication Number Publication Date
KR20170120407A true KR20170120407A (en) 2017-10-31
KR102421292B1 KR102421292B1 (en) 2022-07-18

Family

ID=60301495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160048856A KR102421292B1 (en) 2016-04-21 2016-04-21 System and method for reproducing audio object signal

Country Status (1)

Country Link
KR (1) KR102421292B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029940A (en) * 2006-09-29 2008-04-03 한국전자통신연구원 Apparatus and method for coding and decoding multi-object audio signal with various channel
WO2014165668A1 (en) * 2013-04-03 2014-10-09 Dolby Laboratories Licensing Corporation Methods and systems for generating and interactively rendering object based audio
WO2015144409A1 (en) * 2014-03-26 2015-10-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029940A (en) * 2006-09-29 2008-04-03 한국전자통신연구원 Apparatus and method for coding and decoding multi-object audio signal with various channel
WO2014165668A1 (en) * 2013-04-03 2014-10-09 Dolby Laboratories Licensing Corporation Methods and systems for generating and interactively rendering object based audio
KR20150123925A (en) * 2013-04-03 2015-11-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 Methods and systems for interactive rendering of object based audio
WO2015144409A1 (en) * 2014-03-26 2015-10-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jean-Marc JOT. Interactive 3D audio rendering in flexible playback configurations. IEEE Proceedings of Asia Pacific Signal and Information Processing Association Annual Summit and Conference, 2012.12.* *
LEE, Tae-Gyu, et al. 모바일 3D 사운드: 바이노럴 오디오 기술 동향. Broadcasting and Media Magazine, 2014.01.* *

Also Published As

Publication number Publication date
KR102421292B1 (en) 2022-07-18

Similar Documents

Publication Publication Date Title
US20200221249A1 (en) Method, Apparatus or Systems for Processing Audio Objects
KR102653560B1 (en) Processing appratus mulit-channel and method for audio signals
US9271101B2 (en) System and method for transmitting/receiving object-based audio
KR102322104B1 (en) Audio signal procsessing apparatus and method for sound bar
CN104054126A (en) Spatial audio rendering and encoding
JP2009526467A (en) Method and apparatus for encoding and decoding object-based audio signal
KR20090104674A (en) Method and apparatus for generating side information bitstream of multi object audio signal
KR101837084B1 (en) Method for signal processing, encoding apparatus thereof, decoding apparatus thereof, and information storage medium
KR102149411B1 (en) Apparatus and method for generating audio data, apparatus and method for playing audio data
US11924627B2 (en) Ambience audio representation and associated rendering
CN105556598A (en) Selective watermarking of channels of multichannel audio
KR20150028147A (en) Apparatus for encoding audio signal, apparatus for decoding audio signal, and apparatus for replaying audio signal
CN110191745B (en) Game streaming using spatial audio
KR102370672B1 (en) Method and apparatus for providing audio data, method and apparatus for providing audio metadata, method and apparatus for playing audio data
US8615090B2 (en) Method and apparatus of generating sound field effect in frequency domain
JP2010516077A (en) Audio signal processing method and apparatus
KR102455549B1 (en) Apparatus and method for transforming audio signal using location of the user and the speaker
KR102421292B1 (en) System and method for reproducing audio object signal
US20150373472A1 (en) Data processing device and data processing program
KR102370348B1 (en) Apparatus and method for providing the audio metadata, apparatus and method for providing the audio data, apparatus and method for playing the audio data
JP6306958B2 (en) Acoustic signal conversion device, acoustic signal conversion method, and acoustic signal conversion program
US9786286B2 (en) Methods and apparatuses for generating and using low-resolution preview tracks with high-quality encoded object and multichannel audio signals
KR20220030983A (en) Apparatus and method for providing the audio metadata, apparatus and method for providing the audio data, apparatus and method for playing the audio data
KR20170095105A (en) Apparatus and method for generating metadata of hybrid audio signal

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant