KR102421292B1 - System and method for reproducing audio object signal - Google Patents

System and method for reproducing audio object signal Download PDF

Info

Publication number
KR102421292B1
KR102421292B1 KR1020160048856A KR20160048856A KR102421292B1 KR 102421292 B1 KR102421292 B1 KR 102421292B1 KR 1020160048856 A KR1020160048856 A KR 1020160048856A KR 20160048856 A KR20160048856 A KR 20160048856A KR 102421292 B1 KR102421292 B1 KR 102421292B1
Authority
KR
South Korea
Prior art keywords
audio object
rendering
information
rendering method
audio
Prior art date
Application number
KR1020160048856A
Other languages
Korean (ko)
Other versions
KR20170120407A (en
Inventor
이용주
유재현
장대영
서정일
이태진
구본희
Original Assignee
한국전자통신연구원
한국산업은행
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국산업은행 filed Critical 한국전자통신연구원
Priority to KR1020160048856A priority Critical patent/KR102421292B1/en
Publication of KR20170120407A publication Critical patent/KR20170120407A/en
Application granted granted Critical
Publication of KR102421292B1 publication Critical patent/KR102421292B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 객체 신호 재생 시스템 및 그 방법이 개시된다.
오디오 객체 신호 렌더링 방법은 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 단계; 상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 단계; 식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 단계; 및 렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 단계를 포함할 수 있다.An audio object signal reproduction system and method are disclosed.
An audio object signal rendering method includes: extracting audio object signals and audio object information from a received audio object file; identifying a rendering method of each of the audio object signals using the audio object information; rendering each of the audio object signals by the identified rendering method; and grouping and outputting the rendered audio object signals according to the rendering method.

Description

오디오 객체 신호 재생 시스템 및 그 방법{SYSTEM AND METHOD FOR REPRODUCING AUDIO OBJECT SIGNAL}Audio object signal reproduction system and method {SYSTEM AND METHOD FOR REPRODUCING AUDIO OBJECT SIGNAL}

본 발명은 오디오 객체 신호 재생 시스템 및 그 방법에 관한 것이다.The present invention relates to an audio object signal reproduction system and method therefor.

오디오 신호 재생 서비스는 모노, 스테레오 서비스에서 5.1 7.1 채널 등을 거쳐 상향 채널을 포함하는 9.1, 11.1, 10.2, 13.1, 15.1, 22.2 채널과 같은 다채널 서비스로 변화를 해왔다. 또한, 하나의 음원 소스를 객체로 설정하고, 오디오 객체 신호와 오디오 객체의 위치, 크기 등과 같은 오디오 객체 관련 정보를 저장/전송/재생하는 객체기반 오디오 신호 재생 서비스 기술도 개발이 되었다. Audio signal reproduction services have changed from mono and stereo services to multi-channel services such as 9.1, 11.1, 10.2, 13.1, 15.1, and 22.2 channels including uplink channels through 5.1 and 7.1 channels. In addition, an object-based audio signal reproduction service technology has been developed that sets one sound source as an object and stores/transmits/reproduces audio object-related information such as the audio object signal and the location and size of the audio object.

그리고, 오디오 신호를 재생하는 방식으로는 스피커를 이용한 재생 방식과 헤드폰을 이용한 재생 방식이 있다.In addition, as a method of reproducing an audio signal, there are a reproduction method using a speaker and a reproduction method using a headphone.

스피커를 이용한 재생 방식은 스피커를 통해 방사된 오디오 신호가 공간을 거쳐 사람의 귀에 전달되므로, 사용자로부터 일정 거리 이상 이격된 음원의 소리 효과는 잘 표현할 수 있으나, 사용자의 머리 주변에서 위치한 음원에서 소리가 발생하는 듯한 효과를 표현하기 어려운 실정이다.In the playback method using the speaker, the audio signal emitted through the speaker is transmitted to the human ear through the space, so the sound effect of the sound source separated from the user by a certain distance or more can be expressed well, but the sound from the sound source located near the user's head is not heard. It is difficult to express the effect that seems to occur.

또한, 헤드폰을 이용한 재생 방식은 공간을 거치지 않고 직접 사람 귀에 전달되므로, 사용자의 머리 속 또는 머리 주변에 위치한 음원에서 소리가 발생하는 듯한 효과를 표현할 수는 있으나, 먼 거리에서 소리가 나는 듯한 효과를 표현하기 어려운 실정이다.In addition, since the playback method using headphones is delivered directly to the human ear without going through a space, it is possible to express the effect that sound is generated from a sound source located in or around the user's head, but the effect of sound as if it is heard from a long distance can be expressed. It is difficult to express.

그리고, 헤드폰을 착용한 상태에서는 스피커를 통해 소리를 듣는 경우, 스피커에서 방사된 오디오 신호가 헤드폰에 의해 왜곡되므로 스피커와 헤드폰을 동시에 활용하여 오디오 신호를 재생하는 경우는 거의 없었다. Also, when listening to a sound through a speaker while wearing headphones, since the audio signal emitted from the speaker is distorted by the headphones, there is almost no case in which the audio signal is reproduced by using the speaker and the headphone at the same time.

최근에는 스피커와 헤드폰을 함께 사용하여 오디오 신호를 재생하는 방법이 연구되고 있다. 그러나, 종래의 렌더링 장치는 채널 오디오 신호, 오디오 객체 신호, 채널과 객체가 함께 있는 신호가 재생되는 경우, 스피커 또는 헤드폰 중 하나에 최적화된 방식으로 재생하고 있으므로, 스피커 재생 환경의 장점과 헤드폰 재생 환경에서의 장점을 모두 살리지는 못하는 실정이다.Recently, a method of reproducing an audio signal using a speaker and a headphone together has been studied. However, in the conventional rendering apparatus, when a channel audio signal, an audio object signal, and a signal with a channel and an object are reproduced, they are reproduced in a manner optimized for either a speaker or a headphone, so that the advantage of the speaker reproduction environment and the headphone reproduction environment It is not possible to take advantage of all the advantages of

따라서, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생하는 방법이 요청되고 있다.Accordingly, there is a demand for a method of reproducing an audio object signal by optimizing for an audio reproducing system using both a speaker and a headphone.

본 발명은 렌더링 정보가 포함된 오디오 객체 파일을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 각각을 렌더링하여 출력함으로써, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생하는 장치 및 방법을 제공할 수 있다.The present invention identifies a rendering method of each audio object signal using an audio object file including rendering information, and renders and outputs each of the audio object signals according to the identification result, thereby using an audio reproduction system using a speaker and a headphone together. It is possible to provide an apparatus and method for reproducing an audio object signal by optimizing it.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법은 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 단계; 상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 단계; 식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 단계; 및 렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 단계를 포함할 수 있다.An audio object signal rendering method according to an embodiment of the present invention includes the steps of extracting audio object signals and audio object information from a received audio object file; identifying a rendering method of each of the audio object signals using the audio object information; rendering each of the audio object signals by the identified rendering method; and grouping and outputting the rendered audio object signals according to the rendering method.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 렌더링 방식은, 다채널 스피커에 대응하는 렌더링 방식, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식, 및 트랜스오럴(transaural)에 대응하는 렌더링 방식 중 하나일 수 있다.The rendering method of the audio object signal rendering method according to an embodiment of the present invention includes a rendering method corresponding to a multi-channel speaker, a headphone rendering method corresponding to binaural headphones, and a rendering method corresponding to a transaural. can be one

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 렌더링하는 단계는, 상기 오디오 객체 신호들 중 제1 오디오 객체 신호의 렌더링 방식이 다채널 스피커에 대응하는 렌더링 방식이고, 상기 오디오 객체 신호들 중 제2 오디오 객체 신호의 렌더링 방식이 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식인 경우, 상기 제1 오디오 객체 신호를 다채널 스피커에 대응하는 렌더링 방식으로 렌더링하고, 상기 제2 오디오 객체 신호를 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식으로 렌더링할 수 있다.In the rendering of the audio object signal rendering method according to an embodiment of the present invention, a rendering method of a first audio object signal among the audio object signals is a rendering method corresponding to a multi-channel speaker, and one of the audio object signals is a rendering method corresponding to a multi-channel speaker. When the rendering method of the second audio object signal is the headphone rendering method corresponding to the binaural headphones, the first audio object signal is rendered by the rendering method corresponding to the multi-channel speaker, and the second audio object signal is converted to the binaural headphone. It can be rendered using the headphone rendering method corresponding to the real headphones.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 오디오 객체 정보들은, 상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.The audio object information of the audio object signal rendering method according to an embodiment of the present invention includes rendering information including a rendering method of the audio object signal, 3D position information of an audio object corresponding to the audio object signal, and the audio object. It may include at least one of volume information and shape information of the audio object.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 렌더링하는 단계는, 식별한 렌더링 방식들에 따라 상기 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 상기 오디오 객체 신호들을 각각 렌더링할 수 있다.The rendering of the audio object signal rendering method according to an embodiment of the present invention includes: according to the identified rendering methods, 3D position information of the audio object, volume information of the audio object, and shape information of the audio object. Each of the audio object signals may be rendered using at least one.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 출력하는 단계는, 렌더링된 오디오 객체 신호들 중 상기 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다.The outputting of the audio object signal rendering method according to an embodiment of the present invention may include mixing and outputting audio object signals having the same rendering method among the rendered audio object signals.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 오디오 객체 파일은, 서로 다른 오디오 재생 환경에 대응하는 오디오 객체 신호들을 포함할 수 있다.The audio object file of the audio object signal rendering method according to an embodiment of the present invention may include audio object signals corresponding to different audio reproduction environments.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법의 오디오 객체 신호들은, 오디오 재생 환경의 채널과 오디오 객체를 고려한 채널/오디오 객체 신호일 수 있다.The audio object signals of the audio object signal rendering method according to an embodiment of the present invention may be channel/audio object signals in consideration of a channel and an audio object of an audio reproduction environment.

본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법은 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정하는 단계; 오디오 객체 관련 정보 및 상기 렌더링 방식을 포함하는 오디오 객체 정보들을 생성하는 단계; 및 상기 오디오 객체 신호들 및 상기 오디오 객체 정보들을 부호화하는 단계를 포함할 수 있다.An audio object signal encoding method according to an embodiment of the present invention includes: determining a rendering method of each of the audio object signals according to an audio reproduction environment in which each of the audio object signals is to be reproduced; generating audio object information including audio object related information and the rendering method; and encoding the audio object signals and the audio object information.

본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법의 오디오 객체 정보들은, 상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.The audio object information of the audio object signal encoding method according to an embodiment of the present invention includes rendering information including a rendering method of the audio object signal, 3D position information of an audio object corresponding to the audio object signal, and the audio object. It may include at least one of volume information and shape information of the audio object.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치는 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 오디오 객체 정보 추출부; 상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 렌더링 방식 식별부; 식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 렌더링부; 및 렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 출력부를 포함할 수 있다.An audio object signal rendering apparatus according to an embodiment of the present invention includes: an audio object information extractor for extracting audio object signals and audio object information from a received audio object file; a rendering method identification unit for identifying a rendering method of each of the audio object signals by using the audio object information; a rendering unit that renders the audio object signals in the identified rendering method, respectively; and an output unit for grouping and outputting the rendered audio object signals according to the rendering method.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 렌더링 방식은, 다채널 스피커에 대응하는 렌더링 방식, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식, 및 트랜스오럴(transaural)에 대응하는 렌더링 방식 중 하나일 수 있다.A rendering method of the audio object signal rendering apparatus according to an embodiment of the present invention includes a rendering method corresponding to a multi-channel speaker, a headphone rendering method corresponding to binaural headphones, and a rendering method corresponding to a transaural. can be one

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 오디오 객체 정보들은, 상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.The audio object information of the audio object signal rendering apparatus according to an embodiment of the present invention includes rendering information including a rendering method of the audio object signal, 3D position information of an audio object corresponding to the audio object signal, and the audio object. It may include at least one of volume information and shape information of the audio object.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 렌더링부는, 식별한 렌더링 방식들에 따라 상기 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 상기 오디오 객체 신호들을 각각 렌더링할 수 있다.The rendering unit of the audio object signal rendering apparatus according to an embodiment of the present invention may include at least one of 3D position information of the audio object, volume information of the audio object, and shape information of the audio object according to the identified rendering methods. can be used to render each of the audio object signals.

본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 출력부는, 렌더링된 오디오 객체 신호들 중 상기 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다.The output unit of the audio object signal rendering apparatus according to an embodiment of the present invention may mix and output audio object signals having the same rendering method among the rendered audio object signals.

본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치는 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정하는 렌더링 방식 결정부; 오디오 객체 관련 정보 및 상기 렌더링 방식을 포함하는 오디오 객체 정보들을 생성하는 오디오 객체 정보 생성부; 및 상기 오디오 객체 신호들 및 상기 오디오 객체 정보들을 부호화하는 부호화부를 포함할 수 있다.An audio object signal encoding apparatus according to an embodiment of the present invention includes: a rendering method determining unit that determines a rendering method of each of the audio object signals according to an audio reproduction environment in which each of the audio object signals is to be reproduced; an audio object information generating unit that generates audio object information including audio object related information and the rendering method; and an encoder for encoding the audio object signals and the audio object information.

본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 오디오 객체 정보들은, 상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 상기 오디오 객체의 볼륨 정보, 및 상기 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.Audio object information of the audio object signal encoding apparatus according to an embodiment of the present invention includes rendering information including a rendering method of the audio object signal, 3D position information of an audio object corresponding to the audio object signal, and the audio object. It may include at least one of volume information and shape information of the audio object.

본 발명의 일실시예에 의하면, 렌더링 정보가 포함된 오디오 객체 파일을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 각각을 렌더링하여 출력함으로써, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생할 수 있다.According to an embodiment of the present invention, by using an audio object file including rendering information to identify a rendering method of each audio object signal, and rendering and outputting each of the audio object signals according to the identification result, a speaker and a headphone It is possible to reproduce an audio object signal by optimizing it for an audio reproduction system using together.

도 1은 본 발명의 일실시예에 따른 오디오 객체 신호 재생 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 일례이다.
도 3은 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 출력 일례이다.
도 4는 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 일례이다.
도 5는 종래 기술에 따른 오디오 객체 신호 렌더링 과정의 일례이다.
도 6은 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 과정의 일례이다.
도 7은 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법을 도시한 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법을 도시한 플로우차트이다.1 is a diagram illustrating an audio object signal reproduction system according to an embodiment of the present invention.
2 is an example of an audio object signal encoding apparatus according to an embodiment of the present invention.
3 is an output example of an audio object signal encoding apparatus according to an embodiment of the present invention.
4 is an example of an audio object signal rendering apparatus according to an embodiment of the present invention.
5 is an example of an audio object signal rendering process according to the prior art.
6 is an example of an audio object signal rendering process according to an embodiment of the present invention.
7 is a flowchart illustrating an audio object signal encoding method according to an embodiment of the present invention.
8 is a flowchart illustrating an audio object signal rendering method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법은 오디오 객체 신호 부호화 장치에 의해 수행될 수 있다. 또한, 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법은 오디오 객체 신호 렌더링 장치에 의해 수행될 수 있다. 또한,Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The audio object signal encoding method according to an embodiment of the present invention may be performed by an audio object signal encoding apparatus. Also, the audio object signal rendering method according to an embodiment of the present invention may be performed by an audio object signal rendering apparatus. In addition,

도 1은 본 발명의 일실시예에 따른 오디오 객체 신호 재생 시스템을 나타내는 도면이다. 1 is a diagram illustrating an audio object signal reproduction system according to an embodiment of the present invention.

오디오 객체 신호 재생 시스템은 도 1에 도시된 바와 같이 오디오 객체 신호 부호화 장치(110) 및 오디오 객체 신호 렌더링 장치(120)로 구성될 수 있다.The audio object signal reproducing system may include an audio object signal encoding apparatus 110 and an audio object signal rendering apparatus 120 as shown in FIG. 1 .

오디오 객체 신호 부호화 장치(110)는 오디오 객체들 각각에 대한 오디오 객체 신호를 부호화하여 오디오 객체 신호 렌더링 장치(120)로 전송할 수 있다. 이때, 오디오 객체 신호 부호화 장치(110)는 오디오 객체들 각각의 렌더링 방법과 관련된 정보를 오디오 객체 신호와 함께 렌더링 장치(120)로 전송할 수 있다. The audio object signal encoding apparatus 110 may encode an audio object signal for each of the audio objects and transmit it to the audio object signal rendering apparatus 120 . In this case, the audio object signal encoding apparatus 110 may transmit information related to a rendering method of each of the audio objects to the rendering apparatus 120 together with the audio object signal.

예를 들어, 오디오 객체 신호 부호화 장치(110)가 출력하는 오디오 객체 파일 포맷에는 오디오 객체 신호, 오디오 재생 환경 정보, 오디오 객체와 관련된 오디오 객체 정보 및 오디오 객체의 렌더링 정보가 포함될 수 있다. 이때, 오디오 객체 정보는 오디오 객체의 3차원 공간상의 위치 정보, 오디오 객체의 볼륨 정보, 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다. 이때, 오디오 객체의 형상 정보는 오디오 객체의 형상이 점인지, 또는 선인지, 또는 면인지를 나타내는 정보일 수 있다.For example, the audio object file format output by the audio object signal encoding apparatus 110 may include an audio object signal, audio reproduction environment information, audio object information related to an audio object, and rendering information of the audio object. In this case, the audio object information may include at least one of location information of the audio object in 3D space, volume information of the audio object, and shape information of the audio object. In this case, the shape information of the audio object may be information indicating whether the shape of the audio object is a point, a line, or a plane.

그리고, 렌더링 정보는 오디오 객체를 렌더링할 때, 헤드폰 재생 형태로 렌더링할 것인지, 또는 스피커 재생 형태로 렌더링할 것인지와 같은 오디오 객체의 렌더링 방식을 포함할 수 있다.And, when rendering the audio object, the rendering information may include a rendering method of the audio object, such as whether to render in a headphone playback format or a speaker playback format.

오디오 객체 신호 부호화 장치(110)의 구체적인 구성 및 동작은 이하 도 2를 참조하여 상세히 설명한다.A detailed configuration and operation of the audio object signal encoding apparatus 110 will be described in detail below with reference to FIG. 2 .

오디오 객체 신호 렌더링 장치(120)는 오디오 객체 신호 부호화 장치(110)가 출력한 오디오 객체 파일에서 오디오 객체 신호를 복호화하고, 렌더링 정보에 따라 렌더링하여 출력할 수 있다. 이때, 오디오 객체 신호 렌더링 장치(120)는 렌더링 정보에 따라 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 중 일부는 스피커 재생 형태로 렌더링하고, 나머지는 헤드폰 재생 형태로 렌더링할 수 있다.The audio object signal rendering apparatus 120 may decode the audio object signal from the audio object file output by the audio object signal encoding apparatus 110 , render it according to rendering information, and output it. At this time, the audio object signal rendering apparatus 120 identifies a rendering method of each of the audio object signals according to the rendering information, and renders some of the audio object signals in a speaker reproduction form, and the rest in a headphone reproduction form according to the identification result. can be rendered with

본 발명의 일실시예에 따른 오디오 객체 신호 재생 시스템은 렌더링 정보가 포함된 오디오 객체 파일을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 각각을 렌더링하여 출력함으로써, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생할 수 있다.An audio object signal reproduction system according to an embodiment of the present invention identifies a rendering method of each audio object signal using an audio object file including rendering information, and renders and outputs each of the audio object signals according to the identification result By doing so, the audio object signal can be reproduced by optimizing it for an audio reproduction system using both a speaker and a headphone.

도 2는 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 일례이다.2 is an example of an audio object signal encoding apparatus according to an embodiment of the present invention.

오디오 객체 신호 부호화 장치(110)는 도 2에 도시된 바와 같이 렌더링 방식 결정부(210), 오디오 객체 정보 생성부(220), 및 부호화부(230)를 포함할 수 있다. The audio object signal encoding apparatus 110 may include a rendering method determiner 210 , an audio object information generator 220 , and an encoder 230 as shown in FIG. 2 .

렌더링 방식 결정부(210)는 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정할 수 있다. 예를 들어, 오디오 객체 신호가 재생될 오디오 재생 환경이 헤드폰인 경우, 렌더링 방식 결정부(210)는 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식을 오디오 객체 신호의 렌더링 방식으로 결정할 수 있다. 또한, 오디오 객체 신호가 재생될 오디오 재생 환경이 다채널 스피커인 경우, 렌더링 방식 결정부(210)는 다채널 스피커에 대응하는 스피커 렌더링 방식을 오디오 객체 신호의 렌더링 방식으로 결정할 수 있다.The rendering method determining unit 210 may determine a rendering method of each of the audio object signals according to an audio reproduction environment in which each of the audio object signals is to be reproduced. For example, when the audio reproduction environment in which the audio object signal is to be reproduced is headphones, the rendering method determiner 210 may determine the headphone rendering method corresponding to the binaural headphone as the rendering method of the audio object signal. Also, when the audio reproduction environment in which the audio object signal is to be reproduced is a multi-channel speaker, the rendering method determining unit 210 may determine a speaker rendering method corresponding to the multi-channel speaker as the rendering method of the audio object signal.

오디오 객체 정보 생성부(220)는 오디오 객체 관련 정보 및 렌더링 방식을 포함하는 오디오 객체 정보들을 생성할 수 있다. 이때, 오디오 객체 관련 정보는 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보, 오디오 객체의 볼륨 정보, 및 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다. The audio object information generator 220 may generate audio object information including audio object related information and a rendering method. In this case, the audio object related information may include at least one of 3D location information of an audio object corresponding to the audio object signal, volume information of the audio object, and shape information of the audio object.

부호화부(230)는 오디오 객체 신호들 및 오디오 객체 정보 생성부(220)가 생성한 오디오 객체 정보들을 부호화할 수 있다. 이때, 부호화부(230)는 부호화한 오디오 객체 신호들 및 오디오 객체 정보들이 포함된 오디오 객체 파일을 출력할 수 있다.The encoder 230 may encode audio object signals and audio object information generated by the audio object information generator 220 . In this case, the encoder 230 may output an audio object file including encoded audio object signals and audio object information.

도 3은 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 장치의 출력 일례이다.3 is an output example of an audio object signal encoding apparatus according to an embodiment of the present invention.

오디오 객체 신호 부호화 장치(110)가 출력하는 오디오 객체 파일은 도 3에 도시된 바와 같이 오디오 객체 1 내지 오디오 객체 n 각각에 대응하는 오디오 객체 신호(310)들 및 오디오 객체 정보(320)들을 포함할 수 있다. 이때, 오디오 객체 파일에 포함된 오디오 객체 신호들 및 오디오 객체 정보들은 부호화된 신호 및 정보들일 수 있다.The audio object file output by the audio object signal encoding apparatus 110 may include audio object signals 310 and audio object information 320 corresponding to each of the audio objects 1 to n as shown in FIG. 3 . can In this case, the audio object signals and audio object information included in the audio object file may be encoded signals and information.

그리고, 오디오 객체 정보(320)는 오디오 객체 신호(310)의 렌더링 방식이 포함된 렌더링 정보, 오디오 객체 신호(310)에 대응하는 오디오 객체의 3차원 위치 정보, 오디오 객체의 볼륨 정보, 및 오디오 객체의 형상 정보 중 적어도 하나를 포함할 수 있다.In addition, the audio object information 320 includes rendering information including a rendering method of the audio object signal 310 , 3D position information of an audio object corresponding to the audio object signal 310 , volume information of the audio object, and an audio object may include at least one of shape information of

즉, 오디오 객체 정보(320)는 오디오 객체 신호(310)의 렌더링 방식이 포함된 렌더링 정보를 포함함으로써, 오디오 객체 신호 렌더링 장치(120)에게 오디오 객체 신호(310)를 렌더링하는 방식을 제공할 수 있다.That is, the audio object information 320 includes rendering information including the rendering method of the audio object signal 310, thereby providing the audio object signal rendering apparatus 120 with a method of rendering the audio object signal 310. have.

도 4는 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 장치의 일례이다.4 is an example of an audio object signal rendering apparatus according to an embodiment of the present invention.

오디오 객체 신호 렌더링 장치(120)는 도 4에 도시된 바와 같이 오디오 객체 정보 추출부(410), 렌더링 방식 식별부(420), 렌더링부(430) 및 출력부(440)를 포함할 수 있다. The audio object signal rendering apparatus 120 may include an audio object information extraction unit 410 , a rendering method identification unit 420 , a rendering unit 430 , and an output unit 440 as shown in FIG. 4 .

오디오 객체 정보 추출부(410)는 오디오 객체 신호 부호화 장치(110)로부터 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출할 수 있다. The audio object information extractor 410 may extract audio object signals and audio object information from the audio object file received from the audio object signal encoding apparatus 110 .

이때, 오디오 객체 파일은 서로 다른 오디오 재생 환경에 대응하는 오디오 객체 신호들을 포함할 수 있다. 예를 들어, 오디오 객체 신호들 중 일부, 또는 전부는 오디오 재생 환경의 채널과 오디오 객체를 고려한 채널/오디오 객체 신호일 수 있다.In this case, the audio object file may include audio object signals corresponding to different audio reproduction environments. For example, some or all of the audio object signals may be channel/audio object signals in consideration of a channel and an audio object of an audio reproduction environment.

렌더링 방식 식별부(420)는 오디오 객체 정보 추출부(410)가 추출한 오디오 객체 정보들을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별할 수 있다.The rendering method identification unit 420 may identify a rendering method of each of the audio object signals by using the audio object information extracted by the audio object information extraction unit 410 .

이때, 렌더링 방식 식별부(420)가 식별하는 렌더링 방식은, 다채널 스피커에 대응하는 스피커 렌더링 방식, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식, 및 트랜스오럴(transaural)에 대응하는 렌더링 방식 중 하나일 수 있다.In this case, the rendering method identified by the rendering method identification unit 420 is one of a speaker rendering method corresponding to a multi-channel speaker, a headphone rendering method corresponding to binaural headphones, and a rendering method corresponding to a transaural. can be

렌더링부(430)는 렌더링 방식 식별부(420)가 식별한 렌더링 방식으로 오디오 객체 신호를 각각 렌더링할 수 있다. 구체적으로, 렌더링부(430)는 식별한 렌더링 방식들에 따라 오디오 객체의 3차원 위치 정보, 오디오 객체의 볼륨 정보, 및 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 오디오 객체 신호들을 각각 렌더링할 수 있다.The rendering unit 430 may render each audio object signal by the rendering method identified by the rendering method identification unit 420 . Specifically, the rendering unit 430 may render the audio object signals using at least one of 3D position information of the audio object, volume information of the audio object, and shape information of the audio object according to the identified rendering methods, respectively. have.

출력부(440)는 렌더링부(430)에서 렌더링된 오디오 객체 신호들을 렌더링 방식에 따라 그룹화하여 출력할 수 있다. 이때, 출력부(440)는 렌더링된 오디오 객체 신호들 중 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다. 예를 들어, 출력부(440)는 렌더링된 오디오 객체 신호들 중 스피커 렌더링 방식으로 렌더링된 오디오 객체 신호들과 헤드폰 렌더링 방식으로 렌더링된 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다.The output unit 440 may group and output the audio object signals rendered by the rendering unit 430 according to a rendering method. In this case, the output unit 440 may mix and output audio object signals having the same rendering method among the rendered audio object signals. For example, the output unit 440 may mix and output audio object signals rendered by a speaker rendering method and audio object signals rendered by a headphone rendering method among the rendered audio object signals, respectively.

도 5는 종래 기술에 따른 오디오 객체 신호 렌더링 과정의 일례이다.5 is an example of an audio object signal rendering process according to the prior art.

종래 기술에 따른 오디오 객체 신호 렌더링 장치(510)는 모든 오디오 객체 신호를 동일한 렌더링 방식으로 렌더링하여 출력할 수 있다.The audio object signal rendering apparatus 510 according to the related art may render and output all audio object signals in the same rendering method.

예를 들어, 종래 기술에 따른 오디오 객체 신호 렌더링 장치(510)는 케이스 1(Case 1)에 도시된 바와 같이 오디오 객체 신호들을 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식으로 렌더링할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(510)는 렌더링된 오디오 객체 신호들을 믹싱한 헤드폰 재생 신호를 출력할 수 있다.For example, the audio object signal rendering apparatus 510 according to the related art may render the audio object signals in a headphone rendering method corresponding to binaural headphones as illustrated in Case 1 . In addition, the audio object signal rendering apparatus 510 may output a headphone reproduction signal obtained by mixing the rendered audio object signals.

또한, 종래 기술에 따른 오디오 객체 신호 렌더링 장치(510)는 케이스 2(Case 2)에 도시된 바와 같이 오디오 객체 신호들을 다채널 스피커에 대응하는 스피커 렌더링 방식으로 렌더링할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(510)는 렌더링된 오디오 객체 신호들을 믹싱한 헤드폰 재생 신호를 출력할 수 있다.Also, as shown in Case 2, the audio object signal rendering apparatus 510 according to the related art may render audio object signals in a speaker rendering method corresponding to a multi-channel speaker. In addition, the audio object signal rendering apparatus 510 may output a headphone reproduction signal obtained by mixing the rendered audio object signals.

따라서, 종래 기술에 따른 오디오 객체 신호 렌더링 장치(510)는 오디오 객체 신호들이 출력될 오디오 재생 환경이 다채널 스피커, 또는 바이노럴 헤드폰 중 하나인 경우에는 최적화된 신호를 출력할 수 있다. 그러나, 오디오 재생 환경이 다채널 스피커와 바이노럴 헤드폰을 모두 사용하는 경우, 모든 오디오 객체 신호들을 스피커 렌더링, 또는 헤드폰 렌더링 중 하나로 렌더링하는 오디오 객체 신호 렌더링 장치(510)의 출력은 다채널 스피커, 또는 바이노럴 헤드폰 중 하나에 대응하지 못할 수 있다.Accordingly, the audio object signal rendering apparatus 510 according to the related art may output an optimized signal when the audio reproduction environment to which the audio object signals are output is one of a multi-channel speaker or a binaural headphone. However, when the audio reproduction environment uses both multi-channel speakers and binaural headphones, the output of the audio object signal rendering device 510 that renders all audio object signals by either speaker rendering or headphone rendering is multi-channel speaker, Or it may not correspond to one of the binaural headphones.

도 6은 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 과정의 일례이다.6 is an example of an audio object signal rendering process according to an embodiment of the present invention.

오디오 객체 신호 렌더링 장치(120)는 도 6에 도시된 바와 같이 오디오 객체 신호에 따라 서로 다른 렌더링 방식으로 렌더링할 수 있다.As shown in FIG. 6 , the audio object signal rendering apparatus 120 may render different rendering methods according to the audio object signal.

예를 들어, 오디오 객체 신호 렌더링 장치(120)는 제1 오디오 객체(610)에 대응하는 오디오 객체 정보에 따라 제1 오디오 객체(610)의 렌더링 방법을 스피커 렌더링으로 결정할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(120)는 제1 오디오 객체(610)에 대응하는 오디오 객체 신호를 스피커 렌더링할 수 있다.For example, the audio object signal rendering apparatus 120 may determine the rendering method of the first audio object 610 as speaker rendering according to audio object information corresponding to the first audio object 610 . In addition, the audio object signal rendering apparatus 120 may render the audio object signal corresponding to the first audio object 610 through a speaker.

또한, 오디오 객체 신호 렌더링 장치(120)는 제2 오디오 객체(620)에 대응하는 오디오 객체 정보에 따라 제2 오디오 객체(620)의 렌더링 방법을 헤드폰 렌더링으로 결정할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(120)는 제2 오디오 객체(620)에 대응하는 오디오 객체 신호를 헤드폰 렌더링할 수 있다.Also, the audio object signal rendering apparatus 120 may determine the rendering method of the second audio object 620 as headphone rendering according to audio object information corresponding to the second audio object 620 . In addition, the audio object signal rendering apparatus 120 may render the audio object signal corresponding to the second audio object 620 through headphones.

오디오 객체 신호 렌더링 장치(120)는 상기 과정을 마지막 오디오 객체인 제n 오디오 객체(630)까지 반복할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(120)는 제n 오디오 객체(630)에 대응하는 오디오 객체 정보에 따라 제n 오디오 객체(630)의 렌더링 방법을 스피커 렌더링으로 결정할 수 있다. 그리고, 오디오 객체 신호 렌더링 장치(120)는 제n 오디오 객체(630)에 대응하는 오디오 객체 신호를 스피커 렌더링할 수 있다.The audio object signal rendering apparatus 120 may repeat the above process until the n-th audio object 630 that is the last audio object. Also, the audio object signal rendering apparatus 120 may determine the rendering method of the n-th audio object 630 as speaker rendering according to audio object information corresponding to the n-th audio object 630 . In addition, the audio object signal rendering apparatus 120 may render the audio object signal corresponding to the n-th audio object 630 through a speaker.

그리고, 오디오 객체 신호 렌더링 장치(120)는 도 6에 도시된 바와 같이 스피커 렌더링된 제1 오디오 객체(610)에 대응하는 오디오 객체 신호, 및 제n 오디오 객체(630)에 대응하는 오디오 객체 신호를 믹싱하여 스피커 재생 신호로 출력할 수 있다. 또한, 오디오 객체 신호 렌더링 장치(120)는 도 6에 도시된 바와 같이 헤드폰 렌더링된 제2 오디오 객체(620)에 대응하는 오디오 객체 신호, 및 다른 오디오 객체 신호를 믹싱하여 헤드폰 재생 신호로 출력할 수 있다.In addition, the audio object signal rendering apparatus 120 generates an audio object signal corresponding to the speaker-rendered first audio object 610 and an audio object signal corresponding to the n-th audio object 630 as shown in FIG. 6 . It can be mixed and output as a speaker reproduction signal. In addition, the audio object signal rendering apparatus 120 may mix an audio object signal corresponding to the headphone-rendered second audio object 620 and another audio object signal as shown in FIG. 6 and output it as a headphone reproduction signal. have.

즉, 본원발명에 따른 오디오 객체 신호 렌더링 장치(120)는 오디오 객체 신호에 따라 서로 다른 렌더링 방식으로 렌더링함으로써, 오디오 재생 환경이 다채널 스피커와 바이노럴 헤드폰을 모두 사용하더라도 오디오 객체 신호들 각각에 최적화하여 렌더링할 수 있다. That is, the audio object signal rendering apparatus 120 according to the present invention renders in different rendering methods according to the audio object signals, so that even if the audio reproduction environment uses both the multi-channel speaker and the binaural headphones, the audio object signals are applied to each of the audio object signals. It can be optimized and rendered.

도 7은 본 발명의 일실시예에 따른 오디오 객체 신호 부호화 방법을 도시한 플로우차트이다.7 is a flowchart illustrating an audio object signal encoding method according to an embodiment of the present invention.

단계(710)에서 렌더링 방식 결정부(210)는 오디오 객체 신호들 각각이 재생될 오디오 재생 환경에 따라 상기 오디오 객체 신호들 각각의 렌더링 방식을 결정할 수 있다. In operation 710 , the rendering method determining unit 210 may determine a rendering method of each of the audio object signals according to an audio reproduction environment in which each of the audio object signals is to be reproduced.

단계(720)에서 오디오 객체 정보 생성부(220)는 오디오 객체 관련 정보 및 단계(710)에서 결정된 렌더링 방식을 포함하는 오디오 객체 정보들을 생성할 수 있다. In operation 720 , the audio object information generator 220 may generate audio object information including audio object related information and the rendering method determined in operation 710 .

단계(730)에서 부호화부(230)는 오디오 객체 신호들 및 단계(720)에서 생성한 오디오 객체 정보들을 부호화할 수 있다. In operation 730 , the encoder 230 may encode the audio object signals and the audio object information generated in operation 720 .

도 8은 본 발명의 일실시예에 따른 오디오 객체 신호 렌더링 방법을 도시한 플로우차트이다.8 is a flowchart illustrating an audio object signal rendering method according to an embodiment of the present invention.

단계(810)에서 오디오 객체 정보 추출부(410)는 오디오 객체 신호 부호화 장치(110)로부터 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출할 수 있다. In operation 810 , the audio object information extractor 410 may extract audio object signals and audio object information from the audio object file received from the audio object signal encoding apparatus 110 .

단계(820)에서 렌더링 방식 식별부(420)는 단계(810)에서 추출한 오디오 객체 정보들을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별할 수 있다.In operation 820 , the rendering method identification unit 420 may identify a rendering method of each of the audio object signals using the audio object information extracted in operation 810 .

단계(830)에서 렌더링부(430)는 단계(820)에서 식별한 렌더링 방식으로 오디오 객체 신호를 각각 렌더링할 수 있다. 구체적으로, 렌더링부(430)는 식별한 렌더링 방식들에 따라 오디오 객체의 3차원 위치 정보, 오디오 객체의 볼륨 정보, 및 오디오 객체의 형상 정보 중 적어도 하나를 이용하여 오디오 객체 신호들을 각각 렌더링할 수 있다.In operation 830 , the rendering unit 430 may render each audio object signal by the rendering method identified in operation 820 . Specifically, the rendering unit 430 may render the audio object signals using at least one of 3D position information of the audio object, volume information of the audio object, and shape information of the audio object according to the identified rendering methods, respectively. have.

단계(840)에서 출력부(440)는 단계(830)에서 렌더링된 오디오 객체 신호들을 렌더링 방식에 따라 그룹화하여 출력할 수 있다. 이때, 출력부(440)는 렌더링된 오디오 객체 신호들 중 렌더링 방식이 동일한 오디오 객체 신호들을 각각 믹싱하여 출력할 수 있다. In operation 840 , the output unit 440 may group and output the audio object signals rendered in operation 830 according to a rendering method. In this case, the output unit 440 may mix and output audio object signals having the same rendering method among the rendered audio object signals.

본 발명은 렌더링 정보가 포함된 오디오 객체 파일을 이용하여 오디오 객체 신호들 각각의 렌더링 방식을 식별하고, 식별 결과에 따라 오디오 객체 신호들 각각을 렌더링하여 출력함으로써, 스피커와 헤드폰을 함께 이용하는 오디오 재생 시스템에 최적화하여 오디오 객체 신호를 재생할 수 있다.The present invention identifies a rendering method of each audio object signal using an audio object file including rendering information, and renders and outputs each of the audio object signals according to the identification result, thereby using an audio reproduction system using a speaker and a headphone together. can be optimized to reproduce the audio object signal.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited to the above-described embodiments, and those skilled in the art to which the present invention pertains can make various modifications and variations from these descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims as well as the claims and equivalents.

110: 오디오 객체 신호 부호화 장치
120: 오디오 객체 신호 렌더링 장치110: audio object signal encoding device
120: audio object signal rendering device

Claims (18)

수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 단계;
상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 단계;
식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 단계; 및
렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 단계
를 포함하고,
상기 오디오 객체 정보들은,
상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보 및 상기 오디오 객체의 볼륨 정보 및 오디오 객체의 형상 정보를 포함하고,
상기 렌더링 정보는, 상기 오디오 객체 신호가 재생될 오디오 재생 환경이 헤드폰인 경우, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식을 오디오 객체 신호의 렌더링 방식으로 결정하고, 상기 오디오 객체 신호가 재생될 오디오 재생 환경이 다채널 스피커인 경우, 다채널 스피커에 대응하는 스피커 렌더링 방식인 것을 결정하는 정보이며,
상기 오디오 객체의 형상 정보는, 오디오 객체의 형상이 점, 선, 또는 면인지를 나타내는 정보이고,
상기 출력하는 단계는,
상기 오디오 객체 신호의 렌더링 방식이 동일한 오디오 객체 신호들을 믹싱하여 출력하는 오디오 객체 신호 렌더링 방법.extracting audio object signals and audio object information from the received audio object file;
identifying a rendering method of each of the audio object signals using the audio object information;
rendering each of the audio object signals by the identified rendering method; and
Grouping and outputting rendered audio object signals according to the rendering method
including,
The audio object information is
Rendering information including a rendering method of the audio object signal, 3D position information of an audio object corresponding to the audio object signal, volume information of the audio object, and shape information of an audio object,
In the rendering information, when an audio reproduction environment in which the audio object signal is to be reproduced is a headphone, a headphone rendering method corresponding to the binaural headphone is determined as a rendering method of the audio object signal, and audio reproduction in which the audio object signal is to be reproduced When the environment is a multi-channel speaker, it is information that determines whether a speaker rendering method corresponding to the multi-channel speaker is used,
The shape information of the audio object is information indicating whether the shape of the audio object is a point, a line, or a plane,
The output step is
An audio object signal rendering method for mixing and outputting audio object signals having the same rendering method of the audio object signal. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 오디오 객체 파일은,
서로 다른 오디오 재생 환경에 대응하는 오디오 객체 신호들을 포함하는 오디오 객체 신호 렌더링 방법.The method of claim 1,
The audio object file is
An audio object signal rendering method including audio object signals corresponding to different audio reproduction environments. 제1항에 있어서,
상기 오디오 객체 신호들은,
오디오 재생 환경의 채널과 오디오 객체를 고려한 채널/오디오 객체 신호인 오디오 객체 신호 렌더링 방법.The method of claim 1,
The audio object signals are
An audio object signal rendering method that is a channel/audio object signal considering the channel and audio object of the audio reproduction environment. 삭제delete 삭제delete 수신한 오디오 객체 파일에서 오디오 객체 신호들 및 오디오 객체 정보들을 추출하는 오디오 객체 정보 추출부;
상기 오디오 객체 정보들을 이용하여 상기 오디오 객체 신호들 각각의 렌더링 방식을 식별하는 렌더링 방식 식별부;
식별한 렌더링 방식으로 상기 오디오 객체 신호를 각각 렌더링하는 렌더링부; 및
렌더링된 오디오 객체 신호들을 상기 렌더링 방식에 따라 그룹화하여 출력하는 출력부
를 포함하고,
상기 오디오 객체 정보들은,
상기 오디오 객체 신호의 렌더링 방식이 포함된 렌더링 정보, 상기 오디오 객체 신호에 대응하는 오디오 객체의 3차원 위치 정보 및 상기 오디오 객체의 볼륨 정보 및 오디오 객체의 형상 정보를 포함하고,
상기 렌더링 정보는, 상기 오디오 객체 신호가 재생될 오디오 재생 환경이 헤드폰인 경우, 바이노럴 헤드폰에 대응하는 헤드폰 렌더링 방식을 오디오 객체 신호의 렌더링 방식으로 결정하고, 상기 오디오 객체 신호가 재생될 오디오 재생 환경이 다채널 스피커인 경우, 다채널 스피커에 대응하는 스피커 렌더링 방식인 것을 결정하는 정보이며,
상기 오디오 객체의 형상 정보는, 오디오 객체의 형상이 점, 선, 또는 면인지를 나타내는 정보이고,
상기 출력부는,
상기 오디오 객체 신호의 렌더링 방식이 동일한 오디오 객체 신호들을 믹싱하여 출력하는 오디오 객체 신호 렌더링 장치.an audio object information extraction unit for extracting audio object signals and audio object information from the received audio object file;
a rendering method identification unit for identifying a rendering method of each of the audio object signals by using the audio object information;
a rendering unit that renders the audio object signals in the identified rendering method, respectively; and
An output unit for grouping and outputting rendered audio object signals according to the rendering method
including,
The audio object information is
Rendering information including a rendering method of the audio object signal, 3D position information of an audio object corresponding to the audio object signal, volume information of the audio object, and shape information of an audio object,
In the rendering information, when an audio reproduction environment in which the audio object signal is to be reproduced is a headphone, a headphone rendering method corresponding to the binaural headphone is determined as a rendering method of the audio object signal, and audio reproduction in which the audio object signal is to be reproduced When the environment is a multi-channel speaker, it is information that determines whether a speaker rendering method corresponding to the multi-channel speaker is used,
The shape information of the audio object is information indicating whether the shape of the audio object is a point, a line, or a plane,
the output unit,
An audio object signal rendering apparatus for mixing and outputting audio object signals having the same rendering method of the audio object signal. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020160048856A 2016-04-21 2016-04-21 System and method for reproducing audio object signal KR102421292B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160048856A KR102421292B1 (en) 2016-04-21 2016-04-21 System and method for reproducing audio object signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160048856A KR102421292B1 (en) 2016-04-21 2016-04-21 System and method for reproducing audio object signal

Publications (2)

Publication Number Publication Date
KR20170120407A KR20170120407A (en) 2017-10-31
KR102421292B1 true KR102421292B1 (en) 2022-07-18

Family

ID=60301495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160048856A KR102421292B1 (en) 2016-04-21 2016-04-21 System and method for reproducing audio object signal

Country Status (1)

Country Link
KR (1) KR102421292B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014165668A1 (en) 2013-04-03 2014-10-09 Dolby Laboratories Licensing Corporation Methods and systems for generating and interactively rendering object based audio
WO2015144409A1 (en) 2014-03-26 2015-10-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008039038A1 (en) * 2006-09-29 2008-04-03 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi-object audio signal with various channel

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014165668A1 (en) 2013-04-03 2014-10-09 Dolby Laboratories Licensing Corporation Methods and systems for generating and interactively rendering object based audio
WO2015144409A1 (en) 2014-03-26 2015-10-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jean-Marc JOT. Interactive 3D audio rendering in flexible playback configurations. IEEE Proceedings of Asia Pacific Signal and Information Processing Association Annual Summit and Conference, 2012.12.*
LEE, Tae-Gyu, et al. 모바일 3D 사운드: 바이노럴 오디오 기술 동향. Broadcasting and Media Magazine, 2014.01.*

Also Published As

Publication number Publication date
KR20170120407A (en) 2017-10-31

Similar Documents

Publication Publication Date Title
KR102653560B1 (en) Processing appratus mulit-channel and method for audio signals
KR102322104B1 (en) Audio signal procsessing apparatus and method for sound bar
EP3131313B1 (en) Method and apparatus for rendering sound signal, and computer-readable recording medium
CN104054126A (en) Spatial audio rendering and encoding
US8948406B2 (en) Signal processing method, encoding apparatus using the signal processing method, decoding apparatus using the signal processing method, and information storage medium
KR20090104674A (en) Method and apparatus for generating side information bitstream of multi object audio signal
KR102149411B1 (en) Apparatus and method for generating audio data, apparatus and method for playing audio data
JP2009526467A (en) Method and apparatus for encoding and decoding object-based audio signal
KR101837084B1 (en) Method for signal processing, encoding apparatus thereof, decoding apparatus thereof, and information storage medium
US11924627B2 (en) Ambience audio representation and associated rendering
KR102478163B1 (en) Audio coding/decoding apparatus using reverberation signal of object audio signal
KR102243395B1 (en) Apparatus for encoding audio signal, apparatus for decoding audio signal, and apparatus for replaying audio signal
KR20200054978A (en) Encoding apparatus and method, decoding apparatus and method, and program
KR102455549B1 (en) Apparatus and method for transforming audio signal using location of the user and the speaker
KR102071431B1 (en) Method and apparatus for providing audio data, method and apparatus for providing audio metadata, method and apparatus for playing audio data
JP2010516077A (en) Audio signal processing method and apparatus
KR102421292B1 (en) System and method for reproducing audio object signal
US20120033819A1 (en) Signal processing method, encoding apparatus therefor, decoding apparatus therefor, and information storage medium
KR102335911B1 (en) Audio coding/decoding apparatus using reverberation signal of object audio signal
JP6306958B2 (en) Acoustic signal conversion device, acoustic signal conversion method, and acoustic signal conversion program
KR20090066190A (en) Apparatus and method of transmitting/receiving for interactive audio service

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant