WO2010005264A2 - 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치 - Google Patents

공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치 Download PDF

Info

Publication number
WO2010005264A2
WO2010005264A2 PCT/KR2009/003795 KR2009003795W WO2010005264A2 WO 2010005264 A2 WO2010005264 A2 WO 2010005264A2 KR 2009003795 W KR2009003795 W KR 2009003795W WO 2010005264 A2 WO2010005264 A2 WO 2010005264A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
bitstream
old
downmix
editing
Prior art date
Application number
PCT/KR2009/003795
Other languages
English (en)
French (fr)
Other versions
WO2010005264A3 (ko
Inventor
서정일
백승권
강경옥
홍진우
김진웅
안치득
김광기
한민수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090061636A external-priority patent/KR101230691B1/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/003,160 priority Critical patent/US20110112842A1/en
Publication of WO2010005264A2 publication Critical patent/WO2010005264A2/ko
Publication of WO2010005264A3 publication Critical patent/WO2010005264A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Definitions

  • the present invention relates to object-based audio encoding that effectively compresses an audio object signal. More specifically, the present invention relates to a multi-object bitstream and a downmix signal generated by encoding input objects in a multi-object audio decoder. The present invention relates to a method of editing an existing object signal without encoding.
  • Object-based audio encoding technology is a technique for effectively compressing audio object signals.
  • the original object signal when modifying or removing an object in a conventional multi-object audio decoder, the original object signal must be re-encoded. When adding another object, the original object signal and the added object signal must be encoded. It was.
  • One embodiment of the present invention edits an existing object signal using a multi-object bitstream and a downmix signal generated by encoding input objects in a multi-object audio decoder, thereby making the audio object without the original object signal.
  • an audio object editing apparatus in multi-object audio encoding capable of editing.
  • embodiments of the present invention by using the multi-object bitstream and the downmix signal generated by the encoding of the input objects in the multi-object audio decoder for an object that is edited by editing an existing object signal
  • an apparatus for editing an audio object in multi-object audio encoding in which an encoding process can be omitted.
  • An apparatus for editing an audio object in multi-object audio encoding includes: an object information extracting unit configured to receive an object bitstream and extract object information from the object bitstream; A downmix processor that receives a downmix signal and adjusts the downmix signal using object edit information and the object information; And a bitstream processing unit for editing the object information according to the object editing information and generating an adjusted object bitstream based on the edited object information.
  • the apparatus for editing an audio object in multi-object audio encoding receives an object bitstream, and the BGO object bitstream indicating a background sound and the FGO object bitstream indicating a specific object signal in the object bitstream.
  • a bitstream handler for extracting the data;
  • An object generator for receiving a downmix signal and generating a BGO downmix signal and an FGO using the BGO object bitstream, the FGO object bitstream, and the downmix signal;
  • a downmix controller for adjusting the BGO downmix signal and the FGO according to object editing information and generating an adjusted downmix signal by mixing the adjusted BGO downmix signal and the adjusted FGO;
  • a bitstream controller configured to edit the BGO object bitstream and the FGO object bitstream according to the object edit information.
  • a bitstream formatter configured to synthesize the BGO object bitstream and the FGO object bitstream edited by the bitstream adjusting unit with the bitstream to generate an adjusted bitstream and to transmit the adjusted bitstream.
  • One embodiment of the present invention edits an existing object signal using a multi-object bitstream and a downmix signal generated by encoding input objects in a multi-object audio decoder, thereby making the audio object without the original object signal. You can edit
  • embodiments of the present invention by using the multi-object bitstream and the downmix signal generated by the encoding of the input objects in the multi-object audio decoder for an object that is edited by editing an existing object signal
  • the encoding process can be omitted.
  • FIG. 1 is a diagram illustrating an example of a multi-object audio encoding apparatus combined with an audio object editing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an overview of an audio object editing apparatus in multi-object audio encoding according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an audio object editing method in multi-object audio encoding according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an overview of an audio object editing apparatus in multi-object audio encoding according to another embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of editing an audio object in multi-object audio encoding according to another embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of a multi-object audio encoding apparatus combined with an audio object editing apparatus according to an embodiment of the present invention.
  • the multi-object audio encoding apparatus combined with the audio object editing apparatus includes the multi-object audio encoder 110, the multi-object audio decoder 120, and the object editor 130. It is composed of
  • the multi-object audio encoder 110 performs encoding on the input multi-object signal to generate an object bitstream, which is an additional information representing a downmix signal and information about each object, to generate the object audio decoder 120 and the object. It may be transmitted to the editor 130.
  • the multi-object audio decoder 120 may reconstruct the multi-object signal by using the downmix signal and the object bitstream transmitted from the multi-object audio encoder 110.
  • the object editor 130 may perform an editing function of modifying, removing, or adding an object by using the downmix signal and the object bitstream transmitted from the multi-object audio encoder 110.
  • FIG. 2 is a diagram illustrating an overview of an audio object editing apparatus in multi-object audio encoding according to an embodiment of the present invention.
  • an apparatus for editing an audio object in multi-object audio encoding includes an object information extractor 210, a downmix processor 220, and a bitstream processor 230.
  • the object information extractor 210 receives the object bitstream transmitted from the multi-object audio encoder 110, extracts object information from the object bitstream, and transmits the object information to the downmix processor 220 and the bitstream processor 230. Can be.
  • the object information extracted by the object information extracting unit 210 is a parameter used as additional information indicating the information of each object in the multi-object audio encoding technique.
  • the object information may be extracted in units of subbands in a frame structure including 20 or 28 subbands according to frequency resolution.
  • the downmix processor 220 may receive the downmix signal transmitted from the multi-object audio encoder 110 and adjust the downmix signal using the object edit information and the object information.
  • the downmix processor 220 may include a frequency analyzer 221, a downmix controller 222, and a frequency synthesizer 223.
  • the frequency analyzer 221 may convert the downmix signal transmitted from the multi-object audio encoder 110 into a downmix signal in the frequency domain.
  • the downmix controller 222 may edit (modify, add, remove, or replace) a specific object signal using the object edit information and the object information to generate the downmix signal of the adjusted frequency domain.
  • the specific object signal may be a signal included in the downmix signal of the frequency domain converted by the frequency analyzer 221.
  • the frequency synthesizer 223 may synthesize the downmix signal of the adjusted frequency domain to generate an adjusted downmix signal, and transmit the adjusted downmix signal.
  • the bitstream processor 230 may edit the object information according to the object edit information, and generate the adjusted object bitstream based on the edited object information.
  • the bitstream processor 230 may include an object information controller 231 and a bitstream output unit 232.
  • the object information controller 231 may edit the object information according to the object edit information.
  • the bitstream output unit 232 may generate the adjusted bitstream by combining the object information adjusted by the object information controller 231 with the bitstream, and transmit the adjusted bitstream.
  • the downmix processing unit 220 changes the OLD of the object corresponding to the modification information among the OLDs according to the modification information, and accumulates the OLD cumulative value using the changed OLD.
  • the downmix signal can be adjusted according to the ratio between OLD cumulative values before the change.
  • the OLD cumulative value may be a value obtained by adding up the OLD of each object in a frame including a plurality of objects.
  • the downmix processor 220 may adjust the downmix signal using Equation 1 below.
  • N may be a total number of objects
  • n may be a frame
  • k may be information for identifying a subband included in the frame
  • ⁇ may be a scaling vector indicating an editing degree of the object.
  • OLD i is the OLD size of the i-th object
  • OLD m is the OLD size to be changed according to the correction information
  • P d is the power of the downmix signal received by the downmix processor 220
  • the correction information is information for reducing the OLD of the fourth object by half.
  • the downmix processor 220 may reduce the power of the downmix signal by 2.4 / 2.6, which is the ratio of 2.4, which is the OLD cumulative value using the changed OLD, and 2.6, before the change.
  • the object information controller 231 may change the OLD according to the correction information.
  • the object information controller 231 may change the OLD of the object by using a scaling vector ⁇ representing the editing degree of the object changed according to the fact that the maximum value of the OLD is 1 and the modification information.
  • a method of adjusting OLD for a specific subband k in a specific frame n may be divided into a case where the OLD of the object corresponding to the correction information is 1 and a case where the OLD is not 1.
  • the object information controller 231 may compare OLD m (n, k) with the OLD of the remaining objects.
  • the object information control unit 231 may change the OLD of each object to satisfy Equation 2 described below.
  • OLD will be changed by the revised information m (n, k) Is the remaining OLD to be changed by the amendment, May be OLD input from the object information extractor 210.
  • the object information control unit 231 may change the OLD of each object to satisfy Equation 3 below. .
  • the object information control unit 231 may determine whether OLD m (n, k) is greater than 1 or less than 1. have.
  • the object information control unit 231 may change the OLD of each object to satisfy Equation 2.
  • the object information control unit 231 changes the OLD of OLD m (n, k) to satisfy the following equation (4), and the OLD of the remaining objects is changed. You can't.
  • the downmix processing unit 220 changes the OLD of the object corresponding to the deletion information among OLDs to 0, and accumulates the OLD cumulative value using the changed OLD. You can adjust the downmix signal according to the ratio between the OLD cumulative values before the change.
  • the downmix processor 220 may adjust the downmix signal using Equation 5 below.
  • Equation 5 may be the same as the formula of inputting 0 to OLD m (n, k) in Equation (1).
  • the object information controller 231 may delete the object using OLD and IOC.
  • the object information controller 231 removes an OLD of an object corresponding to the correction information from among OLDs, changes an OLD of an object not removed, and at least one associated with an object corresponding to the correction information among the IOCs. You can delete the value of the IOC.
  • the IOC can be formed into an NXN matrix as shown in Equation 6 by grouping two frames, and can indicate a correlation between each object included in the two grouped frames. have.
  • the IOC associated with the specific object becomes meaningless and can be deleted from the IOC matrix.
  • the object information control unit 231 removes the IOC corresponding to the M-th row and column from the IOC matrix of Equation 6 so that (N-1) I (N-1) IOC
  • the matrix may be generated, and the generated IOC matrix of (N-1) X (N-1) may be stored in the adjusted bitstream generated by the bitstream output unit 232.
  • a method of adjusting OLD for a specific subband k in a specific frame n may be divided into a case where the OLD of the object corresponding to the correction information is 1 and a case where the OLD is not 1.
  • the object information adjusting unit 231 may change the OLD of the remaining objects so as to satisfy Equation 7 below.
  • the object information controller 231 may not change the OLD of the remaining objects.
  • the object information controller 231 may remove the DMG and the DCLD for the corresponding object from the bitstream.
  • the downmix processor 220 may adjust the downmix signal by mixing the additional information with the downmix signal.
  • the downmix processor 220 may adjust the downmix signal using Equation 8 below.
  • the object information controller 231 may generate the adjusted OLD and the adjusted IOC based on the additional information, and change the OLD and the IOC extracted by the object information extractor 210 to the adjusted OLD and the adjusted IOC. .
  • the object information controller 231 may generate an IOC matrix satisfying Equation 10 described below using Equation 9 below.
  • IOC (N + 1) (N + 1) is 1 in the N + 1 th row and column of Equation 10, and the remaining IOC values except for IOC (N + 1) (N + 1) are represented by Equation 10 above.
  • 9 may be a calculated IOC value between the object added using 9 and the downmix signal.
  • all IOC values except for IOC (N + 1) (N + 1) may be the same value.
  • the object information controller 231 calculates power information for each object by using the downmix signal and OLD extracted by the object information extractor 210, and calculates power information for each object and power of an input object signal. To adjust the OLD. In this case, the object information controller 231 may receive the power of the downmix signal from the downmix controller 222.
  • the power of each object in a specific subband of a specific frame may be calculated as follows.
  • the downmix controller 222 may calculate the power of the downmix signal by the sum of the power for each object included in the object information as shown in Equation 11 below.
  • the multi-object audio encoder 110 may calculate OLD of each object as shown in Equation 12 below.
  • the object information controller 231 may calculate the power of each object using Equation 13 described below.
  • the object information control unit 231 is a power of the n-th object using the following equation (14) Is calculated, By substituting into Equation 13, the power of all remaining objects can be calculated.
  • Equation 13 is the power of the n th object.
  • Equation 16 may be generated by modifying the center of the equation.
  • the object information controller 231 may generate the adjusted OLD i by applying the following Equation 17 to the power of the added object and the power of each object.
  • Equation 18 is the power of the largest object among the power of the added object and the power of each object.
  • the object information controller 231 may simply calculate a DMG and a DCLD for the added object and add it to the bitstream.
  • FIG. 3 is a flowchart illustrating an audio object editing method in multi-object audio encoding according to an embodiment of the present invention.
  • the frequency analyzer 221 may convert the downmix signal received from the multi-object audio encoder 110 into a downmix signal in the frequency domain and transmit the converted downmix signal to the downmix controller 222.
  • the object information extractor 210 extracts object information from the object bitstream received from the multi-object audio encoder 110 and transmits the object information to the downmix controller 222 and the object information controller 231. Can be. In addition, the object information extractor 210 may transmit the object bitstream received from the multi-object audio encoder 110 to the bitstream output unit 232.
  • the downmix controller 222 edits (modifies, adds, removes, replaces) a specific object signal using object editing information and the object information received in operation S315 to down the adjusted frequency domain. You can generate a mix signal.
  • the specific object signal may be a signal included in the downmix signal of the frequency domain transmitted in step S310.
  • the object information controller 231 may adjust the object information received in operation S315 according to the object edit information.
  • the object information adjusting unit 231 deletes part of the object information received in step S315 or adds content of the object editing information, or adds the object information received in step S315 according to the content of the object editing information. You can modify the content.
  • the frequency synthesizing unit 223 may synthesize the downmix signal of the adjusted frequency domain to generate an adjusted downmix signal and transmit the adjusted downmix signal.
  • step S335 the bitstream output unit 232 synthesizes the object information adjusted in step S325 with the bitstream received in step S315 to generate the adjusted bitstream and transmit the adjusted bitstream. Can be.
  • FIG. 4 is a diagram illustrating an overview of an audio object editing apparatus in multi-object audio encoding according to another embodiment of the present invention.
  • an apparatus for editing an audio object in multi-object audio encoding is an apparatus for editing an object in a multi-object audio encoder having a TTN structure.
  • An object generator 420 a downmix controller 430, a bitstream controller 440, and a bitstream formatter 450.
  • the bitstream handler 410 may receive an object bitstream and extract a background object (BGO) object bitstream representing a background sound and an foreground object (FGO) object bitstream representing a specific object signal from the object bitstream. In addition, the bitstream handler 410 may transmit the received object bitstream to the bitstream formatter 450.
  • BGO background object
  • FGO foreground object
  • the object generator 420 receives the downmix signal and generates the BGO downmix signal and the FGO using the received downmix signal and the BGO object bitstream and the FGO object bitstream received from the bitstream handler 410. Can be. In this case, when a residual signal is input, the object generator 420 may generate an FGO and a BGO close to the original sound by using the residual signal.
  • the downmix controller 430 adjusts the BGO downmix signal and the FGO generated by the object generator 420 according to the object editing information, and adjusts the downmix signal by mixing the adjusted BGO downmix signal and the adjusted FGO. Can be generated.
  • the downmix control unit 430 may indicate a control degree to the modified BGO or FGO. You can multiply and mix again.
  • the downmix adjustment unit 430 may indicate a control degree to the FGO from which information corresponding to the deletion information is deleted. You can multiply and mix again. In this case, the downmix controller 430 may not perform the removal on the BGO.
  • the downmix controller 430 may generate the adjusted downmix signal through mixing the BGO and the FGO with the added object.
  • the downmix controller 430 may generate another adjusted downmix signal by mixing another FGO added by removing the FGO and replacing the existing FGO. .
  • the downmix controller 430 uses the adjusted BGO downmix signal, the adjusted FGO and the BGO object bitstream, and the FGO object bitstream. Can be extracted again.
  • the downmix controller 430 may control the FGO / BGO adjusted by the downmix controller 430 and the adjusted downmix signal and bitstream controller 440 generated using the same.
  • the residual signal can be extracted using the edited object bitstream. Specifically, the residual signal is generated by regenerating the FGO and BGO using the adjusted downmix signal and the edited object parameter, and extracting the difference between the adjusted FGO and BGO before downmixing the regenerated FGO and BGO as the residual signal. Can be.
  • the downmix controller 430 may not extract the residual signal.
  • the downmix controller 430 may generate a residual signal by using the added object signal and another object signal, their downmix signal, and the edited object bitstream.
  • the downmix controller 430 restores the added object and the other object signal using the downmix signal generated by adding the object and the edited object bitstream, and the original object before downmixing with the restored object signal. The difference from the signal can be extracted as the residual signal.
  • the bitstream controller 440 may edit the BGO object bitstream and the FGO object bitstream received from the bitstream handler 410 according to the object editing information.
  • bitstream controller 440 may edit the BGO object bitstream and the FGO object bitstream in the same manner as the object information controller 231 according to the object edit information, detailed description of the operation will be omitted.
  • the bitstream formatter 450 synthesizes the BGO object bitstream and the FGO object bitstream edited by the bitstream adjusting unit 440 with the object bitstream transmitted from the bitstream handler 410 to generate the adjusted bitstream.
  • the adjusted bitstream may be transmitted.
  • FIG. 5 is a flowchart illustrating a method of editing an audio object in multi-object audio encoding according to another embodiment of the present invention.
  • the bitstream handler 410 receives the object bitstream, and extracts a background object (BGO) object bitstream representing a background sound and an foreground object (FGO) object bitstream representing a specific object signal from the object bitstream. can do.
  • the bitstream handler 410 may transmit the received object bitstream to the bitstream formatter 450.
  • the object generator 420 receives the downmix signal, and uses the received downmix signal and the BGO object bitstream and the FGO object bitstream received from the bitstream handler 410 to perform the BGO downmix signal. And FGO can be created.
  • the downmix controller 430 may adjust the BGO downmix signal and the FGO generated by the object generator 420 according to the object edit information.
  • the bitstream controller 440 may edit the BGO object bitstream and the FGO object bitstream received from the bitstream handler 410 according to the object editing information.
  • the downmix controller 430 may generate the adjusted downmix signal by mixing the adjusted BGO downmix signal and the adjusted FGO in operation S530.
  • the bitstream formatter 450 may generate the adjusted bitstream by combining the BGO object bitstream and the FGO object bitstream edited in operation S535 with the object bitstream transmitted in operation S510. have.
  • the downmix controller 430 may check whether the residual signal is input to the object generator 420.
  • the downmix controller 430 adjusts the BGO downmix signal adjusted in operation S530, the FGO adjusted in operation S530, the BGO object bitstream adjusted in operation S535, and operation S530.
  • the residual signal can be extracted using the adjusted FGO object bitstream at.
  • the downmix controller 430 transmits the adjusted BGO downmix signal of operation S540 and the residual signal generated in operation S560, and the bitstream formatter 450 outputs the operation of operation S545.
  • the adjusted BGO object bitstream and the adjusted FGO object bitstream may be transmitted.
  • step S575 the downmix controller 430 sends the adjusted BGO downmix signal of step S540, and the bitstream formatter 450 adjusts the adjusted BGO object bitstream and adjusted FGO in step S545.
  • the object bitstream can be sent.
  • An apparatus for editing an audio object in multi-object audio encoding according to the present invention is existing without another encoding process by using a multi-object bitstream and a downmix signal generated through encoding of input objects in a multi-object audio decoder.
  • the audio object can be edited without the original object signal.
  • the encoding process for the edited object may be omitted, thereby reducing the complexity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

다객체 오디오 부호화에서의 오디오 객체 편집 장치가 개시된다. 다객체 오디오 부호화에서의 오디오 객체 편집 장치는 객체 비트스트림을 수신하고, 상기 객체 비트스트림에서 객체 정보를 추출하는 객체 정보 추출부; 다운믹스 신호를 수신하고, 객체 편집 정보와 상기 객체 정보를 사용하여 상기 다운믹스 신호를 조절하는 다운믹스 처리부; 및 상기 객체 편집 정보에 따라 상기 객체 정보를 편집하고, 편집된 객체 정보를 기초로 조절된 객체 비트스트림을 생성하는 비트스트림 처리부를 포함한다.

Description

공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
본 발명은 오디오 객체 신호를 효과적으로 압축하는 객체 기반 오디오 부호화에 관한 것으로서, 구체적으로는 다객체 오디오 복호화기에서 입력 객체들에 대한 부호화를 통해 생성된 다객체 비트스트림과 다운믹스 신호를 이용하여 또 다른 부호화 과정 없이 기존에 존재하는 객체 신호를 편집하는 방법에 관한 것이다.
객체 기반 오디오 부호화 기술은 오디오 객체 신호를 효과적으로 압축하는 기술이다.
종래의 객체 기반 오디오 부호화 기술에서는 객체의 수정이나 제거, 및 추가와 같은 편집을 할 경우에, 편집을 하고자 하는 객체에 대하여 부호화를 다시 수행해야 하였다.
구체적으로 종래의 다객체 오디오 복호화기에서 객체를 수정하거나 제거할 경우에는 원래의 객체 신호를 가지고 다시 부호화해야 되며, 또 다른 객체를 추가할 경우에는 원래의 객체신호와 추가되는 객체 신호에 대하여 부호화해야 하였다.
그러므로, 객체의 편집하기 위해서는 항상 원래의 객체 신호를 가지고 있어야 하는 불편함이 있었고, 부호화 과정을 다시 실행해야 하므로 복잡도가 증가하는 문제점이 있었다.
따라서, 원래의 객체 신호 없이 객체를 편집하거나 부호화를 다시 실행하지 않고 객체를 편집할 수 있는 장치나 방법이 필요하다.
본 발명의 일실시예들은 다객체 오디오 복호화기에서 입력 객체들에 대한 부호화를 통해 생성된 다객체 비트스트림과 다운믹스 신호를 이용하여 기존에 존재하는 객체 신호를 편집함으로써 원래의 객체 신호 없이도 오디오 객체를 편집할 수 있는 다객체 오디오 부호화에서의 오디오 객체 편집 장치를 제공한다.
또한, 본 발명의 일실시예들은 다객체 오디오 복호화기에서 입력 객체들에 대한 부호화를 통해 생성된 다객체 비트스트림과 다운믹스 신호를 이용하여 기존에 존재하는 객체 신호를 편집함으로써 편집되는 객체에 대한 부호화 과정을 생략할 수 있는 다객체 오디오 부호화에서의 오디오 객체 편집 장치를 제공한다.
본 발명의 일실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치는 객체 비트스트림을 수신하고, 상기 객체 비트스트림에서 객체 정보를 추출하는 객체 정보 추출부; 다운믹스 신호를 수신하고, 객체 편집 정보와 상기 객체 정보를 사용하여 상기 다운믹스 신호를 조절하는 다운믹스 처리부; 및 상기 객체 편집 정보에 따라 상기 객체 정보를 편집하고, 편집된 객체 정보를 기초로 조절된 객체 비트스트림을 생성하는 비트스트림 처리부를 포함한다.
또한, 본 발명의 다른 실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치는 객체 비트스트림을 수신하고, 상기 객체 비트스트림에서 배경음을 나타내는 BGO 객체 비트스트림과 특정 객체 신호를 나타내는 FGO 객체 비트스트림을 추출하는 비트스트림 핸들러; 다운믹스 신호를 수신하고, 상기 BGO 객체 비트스트림과 상기 FGO 객체 비트스트림 및 상기 다운믹스 신호를 사용하여 BGO 다운믹스 신호와 FGO를 생성하는 오브젝트 생성부; 상기 BGO 다운믹스 신호와 상기 FGO를 객체 편집 정보에 따라 조절하고, 조절된 BGO 다운믹스 신호와 조절된 FGO를 믹싱하여 조절된 다운믹스 신호를 생성하는 다운믹스 조절부; 및 상기 객체 편집 정보에 따라 상기 BGO 객체 비트스트림과 상기 FGO 객체 비트스트림을 편집하는 비트스트림 조절부; 상기 비트스트림 조절부에서 편집된 BGO 객체 비트스트림과 FGO 객체 비트스트림을 상기 비트스트림과 합성하여 조절된 비트스트림을 생성하고, 상기 조절된 비트스트림을 송출하는 비트스트림 포맷터를 포함한다.
본 발명의 일실시예들은 다객체 오디오 복호화기에서 입력 객체들에 대한 부호화를 통해 생성된 다객체 비트스트림과 다운믹스 신호를 이용하여 기존에 존재하는 객체 신호를 편집함으로써 원래의 객체 신호 없이도 오디오 객체를 편집할 수 있다.
또한, 본 발명의 일실시예들은 다객체 오디오 복호화기에서 입력 객체들에 대한 부호화를 통해 생성된 다객체 비트스트림과 다운믹스 신호를 이용하여 기존에 존재하는 객체 신호를 편집함으로써 편집되는 객체에 대한 부호화 과정을 생략할 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 객체 편집 장치가 결합된 다객체 오디오 부호화 장치의 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치의 개괄적인 모습을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 방법을 도시한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치의 개괄적인 모습을 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예들을 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 오디오 객체 편집 장치가 결합된 다객체 오디오 부호화 장치의 일례를 도시한 도면이다.
본 발명의 일실시예에 따른 오디오 객체 편집 장치가 결합된 다객체 오디오 부호화 장치는 도 1에 도시된 바와 같이 다객체 오디오 부호화부(110), 다객체 오디오 복호화부(120) 및 객체 편집부(130)로 구성된다.
다객체 오디오 부호화부(110)는 입력된 다객체 신호에 대한 부호화를 수행하여 다운믹스 신호와 각 객체에 대한 정보를 나타내는 부가정보인 객체 비트스트림을 생성하여 다객체 오디오 복호화부(120)와 객체 편집부(130)로 전송할 수 있다.
다객체 오디오 복호화부(120)는 다객체 오디오 부호화부(110)로부터 전송된 다운믹스 신호와 객체 비트스트림을 이용하여 상기 다객체 신호를 복원할 수 있다.
객체 편집부(130)는 다객체 오디오 부호화부(110)로부터 전송된 다운믹스 신호와 객체 비트스트림을 이용하여 객체를 수정하거나 제거 또는 추가하는 편집 기능을 수행할 수 있다.
도 2는 본 발명의 일실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치의 개괄적인 모습을 도시한 도면이다.
도 2를 참조하면 본 발명의 일실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치는, 객체 정보 추출부(210), 다운믹스 처리부(220) 및 비트스트림 처리부(230)로 구성된다.
객체 정보 추출부(210)는 다객체 오디오 부호화부(110)로부터 전송된 객체 비트스트림을 수신하고, 객체 비트스트림에서 객체 정보를 추출하여 다운믹스 처리부(220)와 비트스트림 처리부(230)로 전송할 수 있다.
이때, 객체 정보 추출부(210)가 추출하는 객체 정보는 다객체 오디오 부호화 기술에서 각 객체의 정보를 나타내는 부가정보로 사용되는 파라미터로서 객체 간 크기 차이를 나타내는 OLD(object level difference), 객체 간 상관도를 나타내는 IOC(inter-object correlation), 각 객체가 다운믹스 될 때 신호 레벨의 조절 정도를 나타내는 DMG(downmix gain), 스테레오 객체 신호의 좌우 파워비율을 나타내는 DCLD(downmix channel level difference) 중에 적어도 하나를 포함할 수 있다.
또한, 상기 객체 정보는 주파수 해상도에 따라 20 또는 28개의 서브밴드를 포함하는 프레임 구조에서 각각의 서브밴드 단위로 추출될 수 있다.
다운믹스 처리부(220)는 다객체 오디오 부호화부(110)로부터 전송된 다운믹스 신호를 수신하고, 객체 편집 정보와 객체 정보를 사용하여 다운믹스 신호를 조절할 수 있다.
다운믹스 처리부(220)는 도 2에 도시된 바와 같이 주파수 분석부(221), 다운믹스 조절부(222) 및 주파수 합성부(223)를 포함할 수 있다.
주파수 분석부(221)는 다객체 오디오 부호화부(110)로부터 전송된 다운믹스 신호를 주파수 영역의 다운믹스 신호로 변환할 수 있다.
다운믹스 조절부(222)는 객체 편집 정보와 객체 정보를 사용하여 특정 객체 신호를 편집(수정, 추가, 제거, 대치)하여 조절된 주파수 영역의 다운믹스 신호를 생성할 수 있다. 이때, 특정 객체 신호는 주파수 분석부(221)에서 변환한 주파수 영역의 다운믹스 신호에 포함된 신호일 수 있다.
주파수 합성부(223)는 상기 조절된 주파수 영역의 다운믹스 신호를 합성하여 조절된 다운믹스 신호를 생성하고, 조절된 다운믹스 신호를 송출할 수 있다.
비트스트림 처리부(230)는 객체 편집 정보에 따라 객체 정보를 편집하고, 편집된 객체 정보를 기초로 조절된 객체 비트스트림을 생성할 수 있다.
비트스트림 처리부(230)는 도 2에 도시된 바와 같이 객체 정보 조절부(231)와 비트스트림 출력부(232)로 구성될 수 있다.
객체 정보 조절부(231)는 상기 객체 편집 정보에 따라 상기 객체 정보를 편집할 수 있다.
비트스트림 출력부(232)는 객체 정보 조절부(231)에서 조절된 객체 정보를 상기 비트스트림과 합성하여 조절된 비트스트림을 생성하고, 상기 조절된 비트스트림을 송출할 수 있다.
다음으로 객체 편집부(130)가 객체를 수정하거나 제거 또는 추가하는 경우의 각 구성 별 동작을 설명한다.
먼저, 객체 편집 정보가 객체를 수정하도록 하는 수정 정보일 경우에, 다운믹스 처리부(220)는 OLD 중에서 수정 정보에 대응하는 객체의 OLD를 수정 정보에 따라 변경하고, 변경된 OLD을 사용한 OLD 누적 값과 변경 전 OLD 누적 값 간의 비율에 따라 다운믹스 신호를 조절할 수 있다. 이때, 상기 OLD 누적 값은 복수의 객체를 포함하는 프레임에서 각 객체의 OLD를 모두 더한 값일 수 있다.
구체적으로 다운믹스 처리부(220)는 하기 수학식 1을 사용하여 다운믹스 신호를 조절할 수 있다.
[수학식 1]
Figure PCTKR2009003795-appb-I000001
이때, N은 전체 객체의 수이고, n은 프레임, k는 프레임에 포함된 서브밴드를 식별하는 정보이며, α는 객체의 편집 정도를 나타내는 스케일링 백터일 수 있다.
또한, OLDi는 i 번째 객체의 OLD 크기이고, OLDm는 수정 정보에 따라 변경되어야 할 OLD 크기이며, Pd는 다운믹스 처리부(220)가 수신한 다운믹스 신호의 파워이고,
Figure PCTKR2009003795-appb-I000002
는 다운믹스 처리부(220)에서 조절된 다운믹스 신호의 파워일 수 있다.
4개의 서브 밴드로 구성된 하나의 프레임이 있고 서브 밴드의 OLD가 각각 1, 0.5, 0.7, 0.4이며, 수정 정보는 4번째 객체의 OLD를 절반으로 감소시키도록 하는 정보인 경우를 일례로 설명한다.
먼저, 다운믹스 처리부(220)는 프레임에서 각 객체의 OLD를 모두 더한 값인 변경 전 OLD 누적 값을 1+0.5+0.7+0.4=2.6로 계산할 수 있다.
다음으로 다운믹스 처리부(220)는 4번째 객체의 OLD인 0.4를 절반으로 감소시켜 0.2로 변경하고, 0.2로 변경된 4번째 객체의 OLD를 포함한 OLD 누적 값을 1+0.5+0.7+0.2=2.4로 계산할 수 있다.
마지막으로 다운믹스 처리부(220)는 다운믹스 신호의 파워를 변경된 OLD을 사용한 OLD 누적 값인 2.4와 변경 전 OLD 누적 값 2.6의 비율인 2.4/2.6만큼 감소 시킬 수 있다.
이때, 객체 정보 조절부(231)는 OLD를 수정 정보에 따라 변경할 수 있다.
구체적으로 객체 정보 조절부(231)는 OLD의 최대값이 1이라는 사실과 수정 정보에 따라 변경되는 객체의 편집 정도를 나타내는 스케일링 백터 α을 이용하여 객체의 OLD를 변경할 수 있다.
이때, 특정 프레임(n)에서 특정 서브밴드(k)에 대한 OLD의 조절 방법은 수정 정보에 대응하는 객체의 OLD가 1인 경우와 1이 아닌 경우로 구분될 수 있다.
수정 정보에 대응하는 객체의 OLD인 OLDm(n,k)가 1인 경우에 객체 정보 조절부(231)는 OLDm(n,k)와 나머지 객체의 OLD를 비교할 수 있다.
이때, OLDm(n,k)가 모든 나머지 객체의 OLD보다 크면, 객체 정보 조절부(231)는 하기된 수학식 2를 만족하도록 각 객체의 OLD를 변경할 수 있다.
[수학식 2]
Figure PCTKR2009003795-appb-I000003
Figure PCTKR2009003795-appb-I000004
이때,
Figure PCTKR2009003795-appb-I000005
는 수정 정보에 의하여 변경될 OLDm(n,k)이고,
Figure PCTKR2009003795-appb-I000006
는 수정 정보에 의하여 변경될 나머지 OLD이며,
Figure PCTKR2009003795-appb-I000007
는 객체 정보 추출부(210)로부터 입력된 OLD일 수 있다.
또한, OLDm(n,k)보다 큰 OLD를 가지는 객체인 OLDs(n,k)가 있으면, 객체 정보 조절부(231)는 하기된 수학식 3을 만족하도록 각 객체의 OLD를 변경할 수 있다.
[수학식 3]
Figure PCTKR2009003795-appb-I000008
Figure PCTKR2009003795-appb-I000009
그리고, 수정 정보에 대응하는 객체의 OLD인 OLDm (n,k)가 1이 아닌 경우에 객체 정보 조절부(231)는 OLDm(n,k)이 1보다 큰지 아니면 1보다 작은지를 확인할 수 있다.
이때, OLDm(n,k)이 1보다 크면, 객체 정보 조절부(231)는 상기 수학식 2를 만족하도록 각 객체의 OLD를 변경할 수 있다.
또한, OLDm(n,k)이 1보다 작으면, 객체 정보 조절부(231)는 하기된 수학식 4를 만족하도록 OLDm(n,k)의 OLD를 변경하고, 나머지 객체의 OLD는 변경하지 않을 수 있다.
[수학식 4]
Figure PCTKR2009003795-appb-I000010
다음으로, 객체 편집 정보가 객체를 삭제하도록 하는 삭제 정보일 경우에, 다운믹스 처리부(220)는 OLD 중에서 상기 삭제 정보에 대응하는 객체의 OLD를 0으로 변경하고, 변경된 OLD을 사용한 OLD 누적 값과 변경 전 OLD 누적 값 간의 비율에 따라 다운믹스 신호를 조절할 수 있다.
구체적으로 다운믹스 처리부(220)는 하기 수학식 5를 사용하여 다운믹스 신호를 조절할 수 있다.
[수학식 5]
Figure PCTKR2009003795-appb-I000011
이때, 상기 수학식 5는 상기 수학식 1에서 OLDm(n,k)에 0을 입력한 수식과 동일할 수 있다.
이때, 객체 정보 조절부(231)는 OLD와 IOC를 사용하여 객체를 삭제할 수 있다.
구체적으로 객체 정보 조절부(231)는 OLD 중에서 상기 수정 정보에 대응하는 객체의 OLD를 제거하고, 제거되지 않은 객체의 OLD를 변경하며, 상기 IOC 중에서 상기 수정 정보에 대응하는 객체에 연관된 적어도 하나의 IOC의 값을 삭제할 수 있다.
하나의 프레임당 객체 수가 N일 경우에 IOC는 2개의 프레임을 그룹화하여 하기된 수학식 6과 같은 N X N 매트릭스로 형성될 수 있으며, 그룹화된 2개의 프레임에 포함된 각각의 개체 간 상관도를 나타낼 수 있다.
[수학식 6]
Figure PCTKR2009003795-appb-I000012
따라서, 특정 객체가 삭제 된 경우에, 특정 객체와 연관되어 있는 IOC는 의미가 없게 되므로 상기 IOC 매트릭스에서 삭제할 수 있다.
일례로, M 번째 객체를 삭제할 경우에 객체 정보 조절부(231)는 상기 수학식 6의 IOC 매트릭스에서 M번째 행과 열에 해당되는 IOC를 제거하여 (N-1) X (N-1)의 IOC 매트릭스를 생성하고, 생성된 (N-1) X (N-1)의 IOC 매트릭스를 비트스트림 출력부 (232)에서 생성되는 조절된 비트스트림에 저장할 수 있다.
이때, 특정 프레임(n)에서 특정 서브밴드(k)에 대한 OLD의 조절 방법은 수정 정보에 대응하는 객체의 OLD가 1인 경우와 1이 아닌 경우로 구분될 수 있다.
제거되는 OLD가 1인 경우에, 객체 정보 조절부(231)는 하기된 수학식 7을 만족하도록 나머지 객체의 OLD를 변경할 수 있다.
[수학식 7]
Figure PCTKR2009003795-appb-I000013
또한, OLD가 1이 아닌 경우에 객체 정보 조절부(231)는 나머지 객체의 OLD를 변경하지 않을 수 있다.
그리고, 객체 정보 조절부(231)는 비트스트림에서 해당 객체에 대한 DMG와 DCLD를 제거할 수 있다.
마지막으로, 객체 편집 정보가 추가할 객체가 포함된 추가 정보일 경우에, 다운믹스 처리부(220)는 추가 정보를 다운믹스 신호와 믹싱하여 다운믹스 신호를 조절할 수 있다.
구체적으로 다운믹스 처리부(220)는 하기 수학식 8을 사용하여 다운믹스 신호를 조절할 수 있다.
[수학식 8]
Figure PCTKR2009003795-appb-I000014
이때, 객체 정보 조절부(231)는 추가 정보를 기초로 조절된 OLD와 조절된 IOC를 생성하고, 객체 정보 추출부(210)에서 추출한 OLD와 IOC를 조절된 OLD와 조절된 IOC로 변경할 수 있다.
이때, 객체 정보 조절부(231)는 하기된 수학식 9를 사용하여 하기된 수학식 10을 만족하는 IOC 매트릭스를 생성할 수 있다.
[수학식 9]
Figure PCTKR2009003795-appb-I000015
[수학식 10]
Figure PCTKR2009003795-appb-I000016
이때, 상기 수학식 10의 N+1 번째 행과 열에서 IOC(N+1)(N+1)은 1이고, IOC(N+1)(N+1)를 제외한 나머지 IOC 값들은 상기 수학식 9를 사용하여 추가되는 객체와 다운믹스 신호간의 계산된 IOC 값일 수 있다. 또한, IOC(N+1)(N+1)를 제외한 나머지 IOC 값들은 모두 같은 값일 수 있다.
또한, 객체 정보 조절부(231)는 다운믹스 신호와 객체 정보 추출부(210)에서 추출된 OLD를 이용하여 각 객체 별 파워 정보를 계산하고, 각 객체 별 파워 정보와 입력되는 객체 신호의 파워를 이용하여 OLD를 조절한다. 이때, 객체 정보 조절부(231)는 다운믹스 조절부(222)로부터 다운믹스 신호의 파워를 전송 받을 수 있다.
이때, 특정 프레임의 특정 서브밴드에서의 각 객체의 파워는 다음과 같이 계산될 수 있다.
먼저, 다운믹스 조절부(222)는 하기된 수학식 11과 같이 객체 정보에 포함된 객체 별 파워의 합으로 다운믹스 신호의 파워를 계산할 수 있다.
[수학식 11]
Figure PCTKR2009003795-appb-I000017
이때, 객체 중에서 n 번째 객체가 가장 큰 파워를 가지고 있다고 가정하면 다객체 오디오 부호화부(110)에서 각 객체의 OLD는 하기된 수학식 12와 같이 계산될 수 있다. 이때, 객체 정보 조절부(231)는 하기된 수학식 13을 사용하여 각 객체의 파워를 계산할 수 있다.
[수학식 12]
Figure PCTKR2009003795-appb-I000018
[수학식 13]
Figure PCTKR2009003795-appb-I000019
또한, 객체 정보 조절부(231)는 하기된 수학식 14를 사용하여 n 번째 객체의 파워인
Figure PCTKR2009003795-appb-I000020
을 계산하고, 계산된
Figure PCTKR2009003795-appb-I000021
을 상기 수학식 13에 대입하여 나머지 모든 객체의 파워를 계산할 수 있다.
[수학식 14]
Figure PCTKR2009003795-appb-I000022
구체적으로 객체 정보 조절부(231)는 상기 수학식 11에 상기 수학식 13을 대입하여 하기 수학식 15를 생성하고, 하기 수학식 15를 n 번째 객체의 파워인
Figure PCTKR2009003795-appb-I000023
를 중심으로 변형하여 하기 수학식 16을 생성할 수 있다.
[수학식 15]
Figure PCTKR2009003795-appb-I000024
[수학식 16]
Figure PCTKR2009003795-appb-I000025
다음으로, 객체 정보 조절부(231)는 추가되는 객체의 파워와 각 객체의 파워에 하기된 수학식 17을 적용하여 조절된 OLD인 OLDi를 생성할 수 있다.
[수학식 17]
Figure PCTKR2009003795-appb-I000026
이때,
Figure PCTKR2009003795-appb-I000027
은 추가되는 객체의 파워와 각 객체의 파워 중에서 가장 큰 객체의 파워로 하기된 수학식 18을 만족하는 m의 파워일 수 있다.
[수학식 18]
Figure PCTKR2009003795-appb-I000028
그리고, 객체 정보 조절부(231)는 추가되는 객체에 대한 DMG와 DCLD를 간단히 계산하여 비트스트림에 추가할 수 있다.
도 3은 본 발명의 일실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 방법을 도시한 흐름도이다.
단계(S310)에서 주파수 분석부(221)는 다객체 오디오 부호화부(110)로부터 수신한 다운믹스 신호를 주파수 영역의 다운믹스 신호로 변환하여 다운믹스 조절부(222)에 전송할 수 있다.
단계(S315)에서 객체 정보 추출부(210)는 다객체 오디오 부호화부(110)로부터 수신한 객체 비트스트림에서 객체 정보를 추출하여 다운믹스 조절부(222)와 객체 정보 조절부(231)로 전송할 수 있다. 또한, 객체 정보 추출부(210)는 다객체 오디오 부호화부(110)로부터 수신한 객체 비트스트림을 비트스트림 출력부(232)로 전송할 수 있다.
단계(S320)에서 다운믹스 조절부(222)는 객체 편집 정보와 단계(S315)에서 수신한 객체 정보를 사용하여 특정 객체 신호를 편집(수정, 추가, 제거, 대치)하여 조절된 주파수 영역의 다운믹스 신호를 생성할 수 있다.
이때, 특정 객체 신호는 단계(S310)에서 전송된 주파수 영역의 다운믹스 신호에 포함된 신호일 수 있다.
단계(S325)에서 객체 정보 조절부(231)는 객체 편집 정보에 따라 단계(S315)에서 수신한 객체 정보를 조절할 수 있다. 구체적으로 객체 정보 조절부(231)는 단계(S315)에서 수신한 객체 정보의 일부를 삭제하거나 객체 편집 정보의 내용을 추가하거나, 객체 편집 정보의 내용에 따라 단계(S315)에서 수신한 객체 정보의 내용을 수정할 수 있다.
단계(S330)에서 주파수 합성부(223)는 상기 조절된 주파수 영역의 다운믹스 신호를 합성하여 조절된 다운믹스 신호를 생성하고, 조절된 다운믹스 신호를 송출할 수 있다.
단계(S335)에서 비트스트림 출력부(232)는 단계(S325)에서 조절된 객체 정보를 단계(S315)에서 전송 받은 비트스트림과 합성하여 조절된 비트스트림을 생성하고, 조절된 비트스트림을 송출할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치의 개괄적인 모습을 도시한 도면이다.
도 4를 참조하면 본 발명의 다른 실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치는 TTN (Two to N) 구조를 갖는 다객체 오디오 부호화기에서 객체를 편집하는 장치로서, 비트스트림 핸들러(410), 오브젝트 생성부(420), 다운믹스 조절부(430), 비트스트림 조절부(440), 및 비트스트림 포맷터(450) 로 구성된다.
비트스트림 핸들러(410)는 객체 비트스트림을 수신하고, 상기 객체 비트스트림에서 배경음을 나타내는 BGO(background object) 객체 비트스트림과 특정 객체 신호를 나타내는 FGO(foreground object) 객체 비트스트림을 추출할 수 있다. 또한, 비트스트림 핸들러(410)는 수신한 객체 비트스트림을 비트스트림 포맷터(450)로 전송할 수도 있다.
오브젝트 생성부(420)는 다운믹스 신호를 수신하고, 수신한 다운믹스 신호와 비트스트림 핸들러(410)로부터 수신한 BGO 객체 비트스트림 및 FGO 객체 비트스트림을 사용하여 BGO 다운믹스 신호와 FGO를 생성할 수 있다. 이때, 오브젝트 생성부(420)는 잔여 신호(residual signal)가 입력되면, 잔여 신호를 이용하여 원음에 가까운 FGO와 BGO를 생성할 수 있다.
다운믹스 조절부(430)는 오브젝트 생성부(420)에서 생성된 BGO 다운믹스 신호와 FGO를 객체 편집 정보에 따라 조절하고, 조절된 BGO 다운믹스 신호와 조절된 FGO를 믹싱하여 조절된 다운믹스 신호를 생성할 수 있다.
일례로 객체 편집 정보가 수정 정보인 경우에 다운믹스 조절부(430)는 수정된 BGO나 FGO에 조절 정도를 나타내는 팩터
Figure PCTKR2009003795-appb-I000029
를 곱한 후 다시 믹싱을 할 수 있다.
또한, 객체 편집 정보가 삭제 정보인 경우에 다운믹스 조절부(430)는 삭제 정보에 대응하는 정보가 삭제된 FGO에 조절 정도를 나타내는 팩터
Figure PCTKR2009003795-appb-I000030
를 곱한 후 다시 믹싱을 할 수 있다. 이때, 다운믹스 조절부(430)는 BGO에 대해서 제거를 수행하지 않을 수 있다.
마지막으로 객체 편집 정보가 추가 정보인 경우에 다운믹스 조절부(430)는 BGO, FGO와 추가되는 객체의 믹싱을 통해서 조절된 다운믹스 신호를 생성할 수 있다.
이때, FGO는 객체의 제거와 추가가 동시에 수행되므로, 다운믹스 조절부(430)는 FGO를 제거한 후 이를 대체하여 추가되는 다른 FGO를 기존의 BGO와 믹싱하여 조절된 다운믹스 신호를 생성할 수 있다.
그리고, 다운믹스 조절부(430)는 오브젝트 생성부(420)에 잔여 신호가 입력된 경우에 조절된 BGO 다운믹스 신호와 조절된 FGO와 BGO 객체 비트스트림 및 FGO 객체 비트스트림을 이용하여 잔여 신호를 다시 추출할 수 있다.
이때, 객체 편집 정보가 수정 정보이면, 다운믹스 조절부(430)는 다운믹스 조절부(430)에서 조절된 FGO/BGO와 이를 이용하여 생성된 조절된 다운믹스 신호 및 비트스트림 조절부(440)에서 편집된 객체 비트스트림을 사용하여 잔여 신호를 추출할 수 있다. 구체적으로 잔여 신호는 조절된 다운믹스 신호와 편집된 객체 파라미터를 이용하여 FGO와 BGO를 다시 생성하고, 다시 생성된 FGO와 BGO와 다운믹스하기 전의 조절된 FGO와 BGO의 차이를 잔여 신호로 추출할 수 있다.
또한, 객체 편집 정보가 수정 정보이면, 다운믹스 조절부(430)는 잔여 신호를 추출하지 않을 수 있다.
마지막으로 객체 편집 정보가 추가 정보이면, 다운믹스 조절부(430)는 추가되는 객체 신호와 다른 객체 신호, 이들의 다운믹스신호와 편집된 객체 비트스트림을 이용하여 잔여 신호를 생성할 수 있다. 구체적으로 다운믹스 조절부(430)는 객체를 추가하여 생성된 다운믹스 신호와 편집된 객체 비트스트림을 이용하여 추가되는 객체와 다른 객체 신호를 복원하고, 복원된 객체 신호와 다운믹스되기 전의 원래 객체 신호와의 차이를 잔여 신호로 추출할 수 있다.
비트스트림 조절부(440)는 객체 편집 정보에 따라 비트스트림 핸들러(410)로부터 수신한 BGO 객체 비트스트림 및 FGO 객체 비트스트림을 편집할 수 있다.
이때, 비트스트림 조절부(440)는 객체 편집 정보에 따라 객체 정보 조절부(231)와 같은 방법으로 BGO 객체 비트스트림 및 FGO 객체 비트스트림을 편집할 수 있으므로 상세한 동작 설명은 생략한다.
비트스트림 포맷터(450)는 비트스트림 조절부(440)에서 편집된 BGO 객체 비트스트림과 FGO 객체 비트스트림을 비트스트림 핸들러(410)로부터 전송된 객체 비트스트림과 합성하여 조절된 비트스트림을 생성하고, 상기 조절된 비트스트림을 송출할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 방법을 도시한 흐름도이다.
단계(S510)에서 비트스트림 핸들러(410)는 객체 비트스트림을 수신하고, 객체 비트스트림에서 배경음을 나타내는 BGO(background object) 객체 비트스트림과 특정 객체 신호를 나타내는 FGO(foreground object) 객체 비트스트림을 추출할 수 있다. 또한, 비트스트림 핸들러(410)는 수신한 객체 비트스트림을 비트스트림 포맷터(450)로 전송할 수도 있다.
단계(S520)에서 오브젝트 생성부(420)는 다운믹스 신호를 수신하고, 수신한 다운믹스 신호와 비트스트림 핸들러(410)로부터 수신한 BGO 객체 비트스트림 및 FGO 객체 비트스트림을 사용하여 BGO 다운믹스 신호와 FGO를 생성할 수 있다.
단계(S530)에서 다운믹스 조절부(430)는 오브젝트 생성부(420)에서 생성된 BGO 다운믹스 신호와 FGO를 객체 편집 정보에 따라 조절할 수 있다.
단계(S535)에서 비트스트림 조절부(440)는 객체 편집 정보에 따라 비트스트림 핸들러(410)로부터 수신한 BGO 객체 비트스트림 및 FGO 객체 비트스트림을 편집할 수 있다.
단계(S540)에서 다운믹스 조절부(430)는 단계(S530)에서 조절된 BGO 다운믹스 신호와 조절된 FGO를 믹싱하여 조절된 다운믹스 신호를 생성할 수 있다.
단계(S545)에서 비트스트림 포맷터(450)는 단계(S535)에서 편집된 BGO 객체 비트스트림과 FGO 객체 비트스트림을 단계(S510)에서 전송된 객체 비트스트림과 합성하여 조절된 비트스트림을 생성할 수 있다.
단계(S550)에서 다운믹스 조절부(430)는 오브젝트 생성부(420)에 잔여 신호가 입력되었는지를 확인할 수 있다.
단계(S560)에서 다운믹스 조절부(430)는 단계(S530)에서 조절된 BGO 다운믹스 신호, 단계(S530)에서 조절된 FGO, 단계(S535)에서 조절된 BGO 객체 비트스트림 및 단계(S530)에서 조절된 FGO 객체 비트스트림을 이용하여 잔여 신호를 추출할 수 있다.
단계(S570)에서 다운믹스 조절부(430)는 단계(S540)의 조절된 BGO 다운믹스 신호와 단계(S560)에서 생성된 잔여 신호를 송출하고, 비트스트림 포맷터(450)는 단계(S545)의 조절된 BGO 객체 비트스트림 및 조절된 FGO 객체 비트스트림을 송출할 수 있다.
단계(S575)에서 다운믹스 조절부(430)는 단계(S540)의 조절된 BGO 다운믹스 신호를 송출하고, 비트스트림 포맷터(450)는 단계(S545)의 조절된 BGO 객체 비트스트림 및 조절된 FGO 객체 비트스트림을 송출할 수 있다.
본 발명에 따른 다객체 오디오 부호화에서의 오디오 객체 편집 장치는 다객체 오디오 복호화기에서 입력 객체들에 대한 부호화를 통해 생성된 다객체 비트스트림과 다운믹스 신호를 이용하여 또 다른 부호화 과정 없이 기존에 존재하는 객체 신호를 편집함으로써 원래의 객체 신호 없이도 오디오 객체를 편집할 수 있다. 또한, 편집되는 객체에 대한 부호화 과정이 생략되어 복잡도를 감소할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (14)

  1. 객체 비트스트림을 수신하고, 상기 객체 비트스트림에서 객체 정보를 추출하는 객체 정보 추출부;
    다운믹스 신호를 수신하고, 객체 편집 정보와 상기 객체 정보를 사용하여 상기 다운믹스 신호를 조절하는 다운믹스 처리부; 및
    상기 객체 편집 정보에 따라 상기 객체 정보를 편집하고, 편집된 객체 정보를 기초로 조절된 객체 비트스트림을 생성하는 비트스트림 처리부
    을 포함하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  2. 제1항에 있어서,
    상기 다운믹스 처리부는,
    상기 다운믹스 신호를 주파수 영역의 다운믹스 신호로 변환하는 주파수 분석부;
    상기 객체 편집 정보와 상기 객체 정보를 사용하여 상기 주파수 영역의 다운믹스 신호에 포함된 특정 객체 신호를 편집하여 조절된 주파수 영역의 다운믹스 신호를 생성하는 다운믹스 조절부; 및
    상기 조절된 주파수 영역의 다운믹스 신호를 합성하여 조절된 다운믹스 신호를 생성하는 주파수 합성부
    를 포함하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  3. 제1항에 있어서,
    상기 객체 정보는 상기 객체 정보 중에서 객체간 크기 차이를 나타내는 값인 OLD(Object level difference)와 객체 간 상관도를 나타내는 값인 IOC(inter-object correlation)중에 적어도 하나를 포함하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  4. 제3항에 있어서,
    상기 다운믹스 처리부는 상기 객체 편집 정보가 객체를 수정하도록 하는 수정 정보일 경우에, 상기 수정 정보에 대응하는 객체의 OLD를 상기 수정 정보에 따라 변경하고, 변경된 OLD을 사용한 OLD 누적 값과 변경 전 OLD 누적 값 간의 비율에 따라 다운 믹스 신호를 조절하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  5. 제4항에 있어서,
    상기 OLD 누적 값은 복수의 객체를 포함하는 프레임에서 각 객체의 OLD를 모두 더한 값인 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  6. 제5항에 있어서,
    상기 다운믹스 처리부는 상기 객체 편집 정보가 객체를 삭제하도록 하는 삭제 정보일 경우일 경우에, 상기 OLD 중에서 상기 삭제 정보에 대응하는 객체의 OLD를 0으로 변경하고, 변경된 OLD을 사용한 OLD 누적 값과 변경 전 OLD 누적 값 간의 비율에 따라 다운 믹스 신호를 조절하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  7. 제3항에 있어서,
    상기 다운믹스 처리부는 상기 객체 편집 정보가 추가할 객체가 포함된 추가 정보일 경우에, 상기 추가 정보를 상기 다운믹스 신호와 믹싱하여 다운믹스 신호를 조절하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  8. 제3항에 있어서,
    상기 비트스트림 처리부는,
    상기 객체 편집 정보에 따라 상기 객체 정보를 편집하는 객체 정보 조절부; 및
    상기 객체 정보 조절부에서 조절된 객체 정보를 상기 비트스트림과 합성하여 조절된 비트스트림을 생성하는 비트스트림 출력부
    를 포함하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  9. 제8항에 있어서,
    상기 객체 정보 조절부는 상기 객체 편집 정보가 수정 정보일 경우에, 상기 OLD를 수정 정보에 따라 변경하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  10. 제8항에 있어서,
    상기 객체 정보 조절부는 상기 객체 편집 정보가 삭제 정보일 경우에, 상기 OLD 중에서 상기 삭제 정보에 대응하는 객체의 OLD를 제거하고, 제거되지 않은 객체의 OLD를 변경하며, 상기 IOC 중에서 상기 삭제 정보에 대응하는 객체에 연관된 적어도 하나의 IOC의 값을 삭제하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  11. 제8항에 있어서,
    상기 객체 정보 조절부는 상기 객체 편집 정보가 추가 정보일 경우에, 상기 추가 정보를 기초로 조절된 OLD와 조절된 IOC를 생성하고, 상기 OLD와 상기 IOC를 상기 조절된 OLD와 상기 조절된 IOC로 변경하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  12. 제11항에 있어서,
    상기 다운믹스 처리부는 상기 다운믹스 신호와 상기 OLD를 사용하여 각 객체 별 파워정보를 계산하고, 상기 각 객체 별 파워 정보와 상기 추가 정보에 포함된 객체 신호의 파워를 사용하여 조절된 OLD를 생성하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  13. 객체 비트스트림을 수신하고, 상기 객체 비트스트림에서 배경음을 나타내는 BGO(background object) 객체 비트스트림과 특정 객체 신호를 나타내는 FGO(foreground object) 객체 비트스트림을 추출하는 비트스트림 핸들러;
    다운믹스 신호를 수신하고, 상기 BGO 객체 비트스트림과 상기 FGO 객체 비트스트림 및 상기 다운믹스 신호를 사용하여 BGO 다운믹스 신호와 FGO를 생성하는 오브젝트 생성부;
    상기 BGO 다운믹스 신호와 상기 FGO를 객체 편집 정보에 따라 조절하고, 조절된 BGO 다운믹스 신호와 조절된 FGO를 믹싱하여 조절된 다운믹스 신호를 생성하는 다운믹스 조절부; 및
    상기 객체 편집 정보에 따라 상기 BGO 객체 비트스트림과 상기 FGO 객체 비트스트림을 편집하는 비트스트림 조절부;
    상기 비트스트림 조절부에서 편집된 BGO 객체 비트스트림과 FGO 객체 비트스트림을 상기 비트스트림과 합성하여 조절된 비트스트림을 생성하는 비트스트림 포맷터
    을 포함하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
  14. 제13항에 있어서,
    상기 다운믹스 조절부는 상기 오브젝트 생성부에 잔여 신호가 입력된 경우에 조절된 BGO 다운믹스 신호와 조절된 FGO 및 상기 편집된 BGO 객체 비트스트림과 FGO 객체 비트스트림을 이용하여 상기 잔여 신호를 다시 추출하는 것을 특징으로 하는 다객체 오디오 부호화에서의 오디오 객체 편집 장치.
PCT/KR2009/003795 2008-07-10 2009-07-10 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치 WO2010005264A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/003,160 US20110112842A1 (en) 2008-07-10 2009-07-10 Method and apparatus for editing audio object in spatial information-based multi-object audio coding apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2008-0067096 2008-07-10
KR20080067096 2008-07-10
KR1020090061636A KR101230691B1 (ko) 2008-07-10 2009-07-07 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
KR10-2009-0061636 2009-07-07

Publications (2)

Publication Number Publication Date
WO2010005264A2 true WO2010005264A2 (ko) 2010-01-14
WO2010005264A3 WO2010005264A3 (ko) 2010-04-22

Family

ID=41507596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/003795 WO2010005264A2 (ko) 2008-07-10 2009-07-10 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치

Country Status (1)

Country Link
WO (1) WO2010005264A2 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007083958A1 (en) * 2006-01-19 2007-07-26 Lg Electronics Inc. Method and apparatus for decoding a signal
WO2008035275A2 (en) * 2006-09-18 2008-03-27 Koninklijke Philips Electronics N.V. Encoding and decoding of audio objects
WO2008069584A2 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for decoding an audio signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007083958A1 (en) * 2006-01-19 2007-07-26 Lg Electronics Inc. Method and apparatus for decoding a signal
WO2008035275A2 (en) * 2006-09-18 2008-03-27 Koninklijke Philips Electronics N.V. Encoding and decoding of audio objects
WO2008069584A2 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for decoding an audio signal

Also Published As

Publication number Publication date
WO2010005264A3 (ko) 2010-04-22

Similar Documents

Publication Publication Date Title
WO2020013661A1 (ko) 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치
WO2010005272A2 (ko) 멀티 채널 부호화 및 복호화 방법 및 장치
WO2022255529A1 (ko) 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치
WO2010143907A2 (ko) 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
WO2010008185A2 (en) Method and apparatus to encode and decode an audio/speech signal
WO2010050740A2 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
WO2010008175A2 (ko) 음성/오디오 통합 신호의 부호화/복호화 장치
WO2016175564A1 (ko) 오디오 컨텐츠 인식 방법 및 장치
WO2021002584A1 (ko) 음성을 통한 전자문서 제공 방법, 음성을 통한 전자문서 작성 방법 및 장치
WO2020107761A1 (zh) 广告文案处理方法、装置、设备及计算机可读存储介质
WO2020050509A1 (en) Voice synthesis device
JP2009266240A (ja) ビデオと音とを整合させる方法および装置、コンピュータ可読媒体、ならびにデータを複合化する方法およびデコーダ
WO2015115798A1 (en) User terminal device and secured communication method thereof
WO2020122478A2 (ko) 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
WO2020133764A1 (zh) 语音遥控方法、系统、受控装置及计算机可读存储介质
WO2010002095A2 (en) Method and apparatus for generating media file having media information compatible between media files having same format, and method and apparatus for executing the media file
KR101230691B1 (ko) 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
WO2010005264A2 (ko) 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
WO2021033964A1 (ko) 컨텐츠전송방법 및 이를 이용한 컨텐츠 생성 단말
WO2023167466A1 (ko) 음성 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템
WO2018034535A1 (en) Display apparatus and content display method thereof
WO2020166855A1 (en) Electronic device and control method thereof
WO2023177108A1 (en) Method and system for learning to share weights across transformer backbones in vision and language tasks
WO2017074016A1 (ko) 컬러 컴포넌트의 동적 범위를 이용한 영상 처리 방법 및 그 장치
WO2013029439A1 (zh) 一种录制流媒体文件的方法及相应的设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09794670

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13003160

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09794670

Country of ref document: EP

Kind code of ref document: A2