KR100875429B1 - 신호 처리에서 시간 지연을 보상하는 방법 - Google Patents

신호 처리에서 시간 지연을 보상하는 방법 Download PDF

Info

Publication number
KR100875429B1
KR100875429B1 KR1020087007451A KR20087007451A KR100875429B1 KR 100875429 B1 KR100875429 B1 KR 100875429B1 KR 1020087007451 A KR1020087007451 A KR 1020087007451A KR 20087007451 A KR20087007451 A KR 20087007451A KR 100875429 B1 KR100875429 B1 KR 100875429B1
Authority
KR
South Korea
Prior art keywords
domain
signal
downmix signal
downmix
spatial information
Prior art date
Application number
KR1020087007451A
Other languages
English (en)
Other versions
KR20080040786A (ko
Inventor
방희석
김동수
임재현
오현오
정양원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060078219A external-priority patent/KR20070074442A/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority claimed from PCT/KR2006/003974 external-priority patent/WO2007049863A2/en
Publication of KR20080040786A publication Critical patent/KR20080040786A/ko
Application granted granted Critical
Publication of KR100875429B1 publication Critical patent/KR100875429B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 하나 이상의 신호 처리 과정에서 시간 지연에 관한 하나 이상의 신호 및/또는 하나 이상의 파라미터들을 보상하기 위한 시스템들, 방법들, 장치들 및 컴퓨터로 읽을 수 있는 매체들을 제공한다.
Figure R1020087007451
시간 지연, 도메인, 파라미터

Description

신호 처리에서 시간 지연을 보상하는 방법{REMOVING TIME DELAYS IN SIGNAL PATHS}
본 발명은 신호 처리에 관한 것이다.
다채널 오디오 코딩(일반적으로 공간 오디오 코딩(spatial audio coding)이라 함)은 다채널 오디오 신호의 공간 이미지를 공간 파라미터들의 압축된 세트로 캡쳐할 수 있다. 여기서, 공간 파라미터는 전송된 다운믹스 신호로부터 고음질의 다채널 신호로 합성하기 위해 이용된다.
여러 가지의 코딩 설계가 지원될 수 있는 다채널 오디오 시스템에 있어서, 다운믹스 신호는 신호 처리(예를 들어, 시간-주파수 도메인 변환) 과정 때문에 다른 다운믹스 신호 및/또는 대응되는 공간 파라미터들에 비해 시간적으로 지연될 수 있다.
이하, 본 발명의 바람직한 실시예들에 대해 참조할 것이며, 이러한 예들은 첨부 도면에 도시된다.
오디오 신호는 여러 도메인 상에서 신호 처리가 가능하며, 특히 시간 도메인 상에서 신호 처리가 되기 때문에 오디오 신호는 시간의 배열(alignment)을 고려하여 적절히 신호 처리하는 것이 필요하다.
따라서, 오디오 신호의 도메인은 오디오 신호 처리 과정에서 변환될 수 있다. 상기 오디오 신호의 도메인의 변환은 시간/주파수 도메인 변환 및 콤플렉스 도메인 변환을 포함할 수 있다. 상기 시간/주파수 도메인 변환은 시간 도메인 신호의 주파수 도메인 신호로의 변환과 주파수 도메인 신호의 시간 도메인 신호로의 변환 중 적어도 하나를 포함할 수 있다. 상기 콤플렉스 도메인 변환은 상기 오디오 신호 처리 동작에서의 콤플렉스에 따른 도메인 변환을 의미할 수 있다. 또한, 상기 콤플렉스 도메인 변환은 리얼 주파수 도메인(real frequency domain)에 있는 신호의 콤플렉스 주파수 도메인(complex frequency domain)으로의 변환 및 콤플렉스 주파수 도메인에 있는 신호의 리얼 주파수 도메인으로의 변환 등을 포함할 수 있다. 만약 오디오 신호가 시간 배열을 고려하지 않고 처리된다면, 음질이 저하될 수 있다. 지연 과정은 상기 배열 과정에서 수행될 수 있다. 상기 지연 과정은 인코딩 지연과 디코딩 지연 중 적어도 하나를 포함할 수 있다. 상기 인코딩 지연은 인코딩 과정에 있어서 고려된 지연에 의해 신호가 지연되는 것을 의미할 수 있다. 상기 디코딩 지연은 디코딩하는 동안에 나타난 실제 시간 지연을 의미할 수 있다.
본 발명을 설명하기에 앞서, 본 명세서에서 사용되는 용어에 대해 정의하면 다음과 같다.
본 명세서에서 사용되는 ‘다운믹스 연결도메인’이란 다채널 오디오 신호를 생성하는 다채널 디코딩부에서 전송받을 수 있는 다운믹스 신호의 도메인을 말하고, ‘레지듀얼 연결도메인’이란 상기 다채널 디코딩부에서 전송받을 수 있는 레지듀얼 신호의 도메인을 말한다. 그리고‘시계열 데이터’란 다채널 오디오 신호와 시간 동기화 또는 시간의 배열이 필요한 데이터로 그 예로 동영상, 이미지, 텍스트 등이 있다. 또한, ‘리딩’은 신호를 특정 시간만큼 앞당기는 것을 말하고, ‘래깅’은 신호를 특정 시간만큼 지연시키는 것을 말한다. 또한, ‘공간정보’라 함은 다채널 오디오 신호를 합성하기 위한 정보를 의미한다. 상기 공간정보는 공간 파라미터를 포함할 수 있다. 예를 들어, 상기 공간 파라미터는 두 채널 간의 에너지 차이를 의미하는 CLD(channel level difference), 두 채널 간의 상관관계(correlation)를 의미하는 ICC(inter channel coherences) 및 두 채널로부터 세 채널을 생성할 때 이용되는 예측 계수인 CPC(channel prediction coefficients) 등을 포함할 수 있으나, 이에 한정되지 않는다.
본 명세서에서 오디오 신호의 디코딩은 신호 처리방법의 일례가 될 수 있다. 또한, 본 발명은 다른 종류의 신호 처리에도 적용될 수 있다. 예를 들어, 비디오 신호의 처리 방법에도 적용될 수 있다. 본 명세서의 실시예들은 여러 종류의 도메인에서 표현될 수 있는, 여러 신호들을 포함하도록 수정될 수 있다. 상기 도메인은 시간, QMF(Quadrature Mirror Filter), MDCT(Modified Discreet Cosine Transform), 콤플렉스 일 수 있고, 이에 한정되지 않는다.
본 발명의 일실시예에 의한 오디오 신호의 처리방법은 다운믹스 신호와 공간정보를 결합하여 다채널 오디오 신호를 생성하는 방법을 제공할 수 있다. 이 경우 다운믹스 연결도메인(예를 들어, 시간 도메인, QMF, MDCT)이 복수 개 존재할 수 있다. 도메인들 사이의 변환은 다운믹스 신호의 처리 과정에서 시간 지연을 발생시킬 수 있기 때문에, 다운믹스 신호와 상기 다운믹스 신호에 대응되는 공간 정보의 시간 동기 차이를 보상하는 단계가 필요하게 된다. 시간 동기 차이를 보상하는 단계는 상기 다운믹스 신호와 상기 공간 정보 중 적어도 하나를 지연시키는 단계를 포함할 수 있다. 이하, 두 신호들 사이의 시간 동기 차이 및/또는 신호들과 파라미터들 사이의 시간 동기 차이를 보상하기 위한 다양한 실시예들이 도면과 함께 설명될 것이다.
여기서, 장치는 하드웨어의 실시예에 한정되어 해석되어서는 안될 것이다. 본 발명의 실시예들은 하드웨어, 소프트웨어, 펌웨어 또는 이러한 것들의 결합 등에 이용될 수 있다.
본 발명의 실시예들은 컴퓨터로 읽을 수 있는 매체의 명령으로 수행될 수 있다. 프로세서(예를 들어, 컴퓨터 프로세서)에 의해 수행될 때, 프로세서는 본 발명의 다양한 면들을 제공하는 동작들을 수행하게 된다. 상기 컴퓨터로 읽을 수 있는 매체란, 수행을 위한 프로세서에 명령을 제공하는 매체를 의미할 수 있다. 예를 들어, 상기 매체는 비휘발성 매체들(예를 들어, 광 또는 자기 디스크), 휘발성 매체들(예를 들어, 메모리), 전송 매체들 등 제한 없이 포함할 수 있다. 상기 전송 매체들은 광 케이블, 구리 케이블(copper wire), 광섬유 등 제한 없이 포함할 수 있다. 또한, 상기 전송 매체들은 음파, 빛 또는 라디오 주파수 웨이브 등의 형태를 취할 수도 있다.
도 1은 본 발명의 일실시예에 의한 오디오 신호의 디코딩 장치의 블록도를 나타낸다.
도 1을 참조하면, 본 발명의 일실시예에 따른 오디오 신호 디코딩 장치는 다운믹스 디코딩부(100)와 다채널 디코딩부(200)를 포함할 수 있다.
상기 다운믹스 디코딩부(100)는 도메인 변환부(110)를 포함할 수 있다. 따라서 다운믹스 디코딩부(100)는 QMF 도메인 상에서 신호 처리된 다운믹스 신호(XQ1)를 그대로 다채널 디코딩부(200)로 전송할 수도 있다. 그리고, QMF 도메인 상에서 신호 처리된 다운믹스 신호(XQ1)를 변환부(110)를 경유하게 하여 시간 도메인 상의 다운믹스 신호(XT1)로 변환하여 다채널 디코딩부(200)로 전송할 수도 있다. 오디오 신호를 QMF 도메인에서 시간 도메인으로 변환하는 기술은 잘 알려져 있고, 공개적으로 이용가능한 오디오 신호 처리 표준(예를 들어, MPEG)에서 다루어져 왔다.
다채널 디코딩부(200)에서는 다운믹스 신호(XT1 또는 XQ1)와 공간정보(SI1 또는 SI2)를 이용하여 다채널 오디오 신호(XM1)를 생성한다.
도 2는 본 발명의 또 다른 일실시예에 의한 오디오 신호의 디코딩 장치의 블록도를 나타낸다.
도 2를 참조하면, 본 발명의 일실시예에 따른 오디오 신호 디코딩 장치는 다운믹스 디코딩부(100a)와 다채널 디코딩부(200a)와 도메인 변환부(300a)로 구성된다.
도시된 바와 같이, 다운믹스 디코딩부(100a)는 도메인 변환부(110a)를 구비하고 있다. 따라서 다운믹스 디코딩부(100a)는 MDCT 도메인 상에서 신호 처리된 다운믹스 신호(Xm)를 그대로 출력할 수도 있고, MDCT 도메인 상에서 신호 처리된 다운믹스 신호(Xm)를 변환부(110a)를 경유하게 하여 시간 도메인 상의 다운믹스 신호(XT2)로 변환하여 출력할 수도 있다.
그리고 타임 도메인 상의 다운믹스 신호(XT2)는 다채널 디코딩부(200a)로 전송되고, MDCT 도메인 상의 다운믹스 신호(Xm)는 도메인 변환부(300a)를 거쳐 QMF 도메인 상의 다운믹스 신호(XQ2)로 변환된 후 다채널 디코딩부(200a)로 전송된다.
그리고 다채널 디코딩부(200a)에서는 전송된 다운믹스 신호(XT2 또는 XQ2)와 공간정보(SI3 또는 SI4)를 이용하여 다채널 오디오 신호(XM2)를 생성한다.
도 3은 본 발명의 일실시예에 의한 오디오 신호의 디코딩 장치의 블록도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 오디오 신호 디코딩 장치는 다운믹스 디코딩부(100b)와 다채널 디코딩부(200b)와 레지듀얼 디코딩부(400b)와 도메인 변환부(500b)로 구성된다.
상기 다운믹스 디코딩부(100b)는 도메인 변환부(110b)를 포함할 수 있다. 상기 다운믹스 디코딩부(100b)는 QMF 도메인 상에서 신호 처리된 다운믹스 신호(XQ3)를 그대로 다채널 디코딩부(200b)로 전송할 수도 있고, QMF 도메인 상에서 신호 처리된 다운믹스 신호(XQ3)를 변환부(110b)를 경유하게 하여 시간 도메인 상의 다운믹스 신호(XT3)로 변환하여 다채널 디코딩부(200b)로 전송할 수도 있다.
인코딩된 레지듀얼 신호(RB)가 레지듀얼 디코딩부(400b)로 입력되어 신호 처리된다. 신호 처리된 레지듀얼 신호(RM)은 MDCT 도메인 상의 신호이다. 레지듀얼 신호는, 예를 들어 예측 오차 신호는, 통상 오디오 코딩 어플리케이션에서 이용될 수 있다.
그리고 MDCT 도메인 상의 레지듀얼 신호(RM)는 도메인 변환부(500b)를 거쳐 QMF 도메인 상의 레지듀얼 신호(RQ)로 변환되어 다채널 디코딩부(200b)로 전송된다.
한편, 레지듀얼 디코딩부(400b)에서 신호 처리되어 출력되는 레지듀얼 신호의 도메인이 레지듀얼 연결도메인이라면 신호 처리된 레지듀얼 신호가 도메인 변환과정을 거치지 않고 다채널 디코딩부(200b)로 전송될 수 있다.
또한, 도메인 변환부(500b)는 MDCT 도메인 상의 레지듀얼 신호(RM)를 QMF 도메인 상의 다운믹스 신호(RQ)로 변환하는 것으로 도시되어 있지만, 본 발명은 이에 한정되지 않는다. 즉, 도메인 변환부(500b)는 레지듀얼 디코딩부(400b)에서 출력된 레지듀얼 신호(RM)를 레지듀얼 연결도메인 중 어느 한 도메인 상의 신호로 변환할 수 있다.
상술한 바와 같이, 다운믹스 연결도메인 복수개가 존재할 수 있고, 이로 인해 다운믹스 신호와 공간정보간의 시간 동기 차가 발생하기에 이를 보상해 주어할 경우가 생길 수도 있다.
이하에서, 이에 대해 좀 더 구체적으로 설명하기로 한다.
본 발명에 일실시예에 의한 오디오 신호의 처리는 다운믹스 신호와 공간정보가 포함된 인코딩된 오디오 신호를 디코딩하여 다채널 오디오 신호를 생성하는 것이다.
상기 다운믹스 신호와 상기 공간정보는 디코딩 시에 서로 다른 처리 과정을 거치기 때문에 서로 다른 시간 지연이 발생한다. 따라서 상기 다운믹스 신호와 상기 공간정보는 인코딩 시에 시간 동기 맞추어져 인코딩이 될 수 있다.
이 경우 상기 다운믹스 신호와 상기 공간정보는 다운믹스 디코딩부(100, 100a 또는 100b)에서 신호 처리된 다운믹스 신호가 다채널 디코딩부(200, 200a 또는 200b)로 전송되는 도메인을 고려하여 상기 시간 동기가 맞추어질 수 있다.
일례로 다운믹스 코딩 식별자가 인코딩된 오디오 신호에 포함될 수 있고, 상기 다운믹스 코딩 식별자에 의해 상기 다운믹스 신호와 공간정보의 시간 동기가 맞추어진 도메인이 파악될 수 있다. 이러한 경우, 상기 다운믹스 코딩 식별자란 다운믹스 신호의 디코딩 방식에 대한 정보를 나타낼 수 있다.
예를 들어, 다운믹스 코딩 식별자가 AAC(Advanced Audio Coding)라는 디코딩 방식에 대한 정보를 의미한다면, 인코딩된 오디오 신호는 인코딩된 다운믹스 신호가 AAC 디코더로 디코딩될 경우를 상정하여 만들어진 것이다. 그리고 상기 다운믹스 코딩 식별자에 의해 다운믹스 신호와 공간정보의 시간 동기가 맞추어진 도메인을 알 수도 있다.
본 발명의 일실시예에 의한 오디오 신호처리 방법에 의하면 시간 동기가 맞추어진 도메인과 다른 도메인 상에서 다운믹스 신호가 처리되어 다채널 디코딩부(200, 200a 또는 200b)로 전송될 수 있고, 이 경우는 디코딩부(200, 200a 또는 200b)에서 다운믹스 신호와 공간정보간의 시간 동기 차를 보상하여 다채널 오디오 신호를 생성할 수 있다.
이하, 도 1과 도 4를 참조하여 다운믹스 신호와 공간정보의 시간동기차를 보상하는 방법에 대해 설명하기로 한다.
도 4는 도 1에 도시된 다채널 디코딩부에서 신호처리 되는 방법을 설명하기 위한 블록도이다.
도 1과 도 4을 참조하면, 본 발명의 일실시예에 의한 오디오 신호의 처리방법은 다운믹스 디코딩부(100)에서 신호 처리된 다운믹스 신호가 2가지 도메인 중 어느 한 도메인 상에서 다채널 디코딩부(200)로 전송될 수 있다. 본 실시예에서 다운믹스 신호와 공간정보는 QMF 도메인 상에서 시간 동기가 맞추어졌다고 가정하고 설명하기로 하나, 본 발명은 이에 한정되지 않고 QMF 도메인이 아닌 다른 도메인 상에서 다운믹스 신호와 공간정보가 맞추어진 오디오 신호를 처리할 수도 있다.
QMF 도메인 상에서 신호 처리된 다운믹스 신호(XQ1)가 다채널 디코딩부(200)로 전송되어 신호 처리되는 경우를 설명하면 다음과 같다. 전송된 다운믹스 신호(XQ1)는 다채널 생성부(230)에서 공간정보(SI1)와 결합된 후 다채널 오디오 신호(XM1)를 생성한다. 이 경우 공간정보(SI1)는 인코딩 시 시간 동기가 맞추어진 시간만큼 지연된 후 결합된다. 상기 지연은 인코딩 지연일 수 있다. 또한, 공간정보(SI1)와 다운믹스 신호(XQ1)는 인코딩 시 동기가 맞추어져 있으므로 특별히 동기를 맞추는 처리과정이 없이도 다채널 오디오 신호를 생성할 수 있다. 즉, 상기 공간정보(SI1)는 이러한 경우 디코딩 지연에 의해 지연되지 않는다.
한편, 시간 도메인 상에서 신호 처리된 다운믹스 신호(XT1)가 다채널 디코딩부(200)로 전송되어 신호 처리되는 경우를 설명하면 다음과 같다.
QMF 도메인 상의 다운믹스 신호(XQ1)는 도메인 변환부(110)를 거쳐 시간 도메인 상의 다운믹스 신호(XT1)로 변환된다. 시간 도메인 상의 다운믹스 신호(XT1)는 다채널 디코딩부(200)로 전송된다.
상기 도 4를 참조하면, 전송된 다운믹스 신호(XT1)는 도메인 변환부(210)에서 QMF 도메인 상의 다운믹스 신호(Xq1)로 변환된다. 시간 도메인 상의 다운믹스 신호(XT1)가 다채널 디코딩부(200)로 전송될 때는 다운믹스 신호(Xq1) 또는 공간정보(SI2) 중 적어도 하나는 시간 지연보상이 이루어진 후, 다채널 생성부(230)로 전송되어야 한다.
그리고 다채널 생성부(230)에서는 전송된 다운믹스 신호(Xq1’)와 공간정보(SI2’)를 결합하여 다채널 오디오 신호(XM1)를 생성할 수 있다.
한편, 다운믹스 신호(Xq1) 또는 공간정보(SI2) 중 적어도 하나가 시간 지연보상이 이루어져야 하는 이유는 공간정보와 다운믹스 신호가 인코딩 시 QMF 도메인으로 시간 동기가 맞추어졌기 때문이다. 따라서 도메인 변환된 다운믹스 신호(Xq1)는 신호 지연 처리부(220)에서 어긋난 시간 동기 차만큼 보상된 후 다채널 생성부(230)로 입력될 수 있다.
상기 시간 동기 차를 보상하는 방법은 다운믹스 신호(Xq1)를 시간 동기 차 만큼 리딩시키는 것이다. 여기서 시간 동기 차는 다운믹스 디코딩부(100)의 도메인 변환부(110)에서 발생한 지연시간과 다채널 디코딩부(200)의 도메인 변환부(210)에서 발생한 지연시간의 합이 될 수 있다.
또한, 공간정보(SI2)의 시간지연을 보상하여 상술한 시간 동기 차를 보상할 수 있다. 이는 상술한 시간 동기 차만큼 공간정보(SI2)를 공간정보 지연 처리부(240)에서 래깅시킨 후, 다채널 생성부(230)로 전송하는 것이다.
하지만 실제 지연되는 공간정보의 지연값은 어긋난 시간 동기 차와 이미 시간 동기가 맞추어진 시간지연과 합이 된다. 즉, 상기 지연된 공간 정보는 인코딩 지연과 디코딩 지연에 의해 지연된 것이다. 이는 다운믹스 디코딩부(100)에서 발생하는 다운믹스 신호와 공간정보와 시간 동기 차와 다채널 디코딩부(200)에서 발생하는 시간 동기 차와의 합이기도 하다. 실제 지연되는 공간정보(SI2)의 지연값은 필터(예를 들어, QMF, 하이브리드 필터 뱅크)의 성능과 딜레이를 고려하여 결정될 수 있다.
예를 들어, 필터의 성능과 딜레이를 고려한 공간정보 지연값이 961 타임샘플로 될 수 있다. 상기 공간정보의 지연값을 분석해 보면 다운믹스 디코딩부(100)에서 발생한 시간 동기 차가 257 타임샘플이고, 다채널 디코딩부(200)에서 발생한 시간 동기 차가 704 타임샘플이다. 상술한 지연값은 타임샘플 단위로 표현하였으나, 타임샘플 말고도 타임슬롯(time slot) 단위로도 표현이 가능하다.
도 5는 도 2에 도시된 다채널 디코딩부에서 신호처리 되는 방법을 설명하기 위한 블록도이다. 도 2와 도 5를 참조하여 설명하기로 한다.
도시된 바와 같이, 본 발명의 일실시예에 의한 오디오 신호의 처리방법은 다운믹스 디코딩부(100a)에서 신호 처리된 다운믹스 신호가 2가지 도메인 중 어느 한 도메인 상에서 다채널 디코딩부(200a)로 전송될 수 있다. 본 실시예에서 다운믹스 신호와 공간정보는 시간 도메인 상에서 시간 동기가 맞추어졌다고 가정하고 설명하기로 하나, 본 발명은 이에 한정되지 않고 시간 도메인이 아닌 다른 도메인 상에서 다운믹스 신호와 공간정보가 맞추어진 오디오 신호를 처리할 수도 있다.
시간 도메인 상에서 신호 처리된 다운믹스 신호(XT2)가 다채널 디코딩부(200a)로 전송되어 신호 처리되는 경우를 설명하면 다음과 같다. MDCT 도메인 상의 다운믹스 신호(Xm)는 도메인 변환부(110a)를 거쳐 시간 도메인 상의 다운믹스 신호(XT2)로 변환된다. 변환된 다운믹스 신호(XT2)는 다채널 디코딩부(200a)로 전송된다. 전송된 다운믹스 신호(XT2)는 도메인 변환부(210a)를 거쳐 QMF 도메인 상의 다운믹스 신호(Xq2)로 변환되어 다채널 생성부(230a)로 전송된다. 전송된 다운믹스 신호(Xq2)는 다채널 생성부(230a)에서 공간정보(SI3)와 결합된 후 다채널 오디오 신호(XM2)를 생성한다.
이 경우 공간정보(SI3)는 인코딩 시 시간 동기가 맞추어진 시간만큼 지연된 후 다운믹스 신호(Xq2)와 결합된다. 또한, 공간정보(SI3)와 다운믹스 신호(Xq2)는 인코딩 시 동기가 맞추어져 있으므로 특별히 동기를 맞추는 처리과정이 없이도 다채널 오디오 신호를 생성할 수 있다. 즉, 여기서 상기 공간정보(SI3)는 디코딩 지연에 의해 지연된 것이 아니다.
한편, QMF 도메인 상에서 신호 처리된 다운믹스 신호(XQ2)가 다채널 디코딩부(200a)로 전송되어 신호 처리되는 경우를 설명하면 다음과 같다.
다운믹스 디코딩부(Xm)에서 MDCT 도메인 상에서 신호 처리된 다운믹스 신호(Xm)가 출력된다. 출력된 다운믹스 신호(Xm)은 도메인 변환부(300a)를 거쳐 QMF 도메인 상의 다운믹스 신호(XQ2)로 변환된다. 변환된 다운믹스 신호(XQ2)는 다채널 디코딩부(200a)로 전송된다.
QMF 도메인 상의 다운믹스 신호(XQ)가 다채널 디코딩부(200a)로 전송될 때는 다운믹스 신호(XQ2) 또는 공간정보(SI4) 중 적어도 하나는 시간 지연보상이 이루어진 후, 다채널 생성부(230a)로 전송되어야 한다. 그리고 다채널 생성부(230a)에서는 전송된 다운믹스 신호(XQ2’)와 공간정보(SI4’)를 결합하여 다채널 오디오 신호(XM2)를 생성할 수 있다.
한편, 다운믹스 신호(XQ2) 또는 공간정보(SI4) 중 적어도 하나가 시간 지연보상이 이루어져야 하는 이유는 공간정보와 다운믹스 신호가 인코딩 시 시간 도메인으로 시간 동기가 맞추어졌기 때문이다. 따라서 도메인 변환된 다운믹스 신호(XQ2)는 신호 지연 처리부(220a)에서 어긋난 시간 동기 차만큼 보상된 후 다채널 생성부(230a)로 입력될 수 있다.
상기 시간 동기 차를 보상하는 방법은 다운믹스 신호(XQ2)를 시간 동기 차 만큼 래깅시키는 것이다. 여기서 시간 동기 차는 다운믹스 디코딩부(100)의 도메인 변환부(110a)에서 발생한 지연시간과 다채널 디코딩부(200a)의 도메인 변환부(210a)에서 발생한 지연시간의 합과 도메인 변환부(300a)에서 발생한 지연시간의 차를 말한다.
또한, 공간정보(SI4)의 시간지연을 보상하여 상술한 시간 동기 차를 보상할 수 있다. 이는 상술한 시간 동기 차만큼 공간정보(SI4)를 공간정보 지연 처리부(240a)에서 리딩시킨 후, 다채널 생성부(230a)로 전송하는 것이다. 하지만 실제 지연되는 공간정보의 지연값은 어긋난 시간 동기 차와 이미 시간 동기가 맞추어진 시간지연과 합이 된다. 즉, 상기 지연된 공간정보(SI4’)는 인코딩 지연과 디코딩 지연에 의해 지연된 것이다.
한편, 본 발명의 일실시예에 의한 오디오 신호의 처리방법은 디코딩 방식이 상이함으로 발생하는 지연시간을 보상하여 오디오 신호를 처리하는 방법을 포함한다. 이에 대해 구체적으로 설명하기로 한다.
본 발명의 일실시예에 의한 오디오 신호의 처리방법은 인코딩 시 특정 디코딩 방식을 상정하여 다운믹스 신호와 공간정보간의 시간 동기가 맞추어진 오디오 신호를 인코딩하고, 그렇게 인코딩된 오디오 신호를 디코딩한다. 디코딩 방식의 예로는 음질 중심에 기반에 둔 디코딩 방식과 전력 중심에 기반을 둔 디코딩 방식이 있다. 음질 중심에 기반을 둔 디코딩 방식의 예로는 고음질(High Quality) 버전이 있고, 전력 중심에 기반을 둔 디코딩 방식의 예로는 저전력(Low Power) 버전이 있다. 고음질 버전이란 음질이 저전력 버전과 비교해 상대적으로 섬세하고 정제된 다채널 오디오 신호를 출력하는 디코딩 방식을 말하고, 저전력 버전이라 함은 음질은 상대적으로 고음질 버전보다 떨어지지만 고음질 버전보다 구성이 덜 복잡하여 전력소모가 상대적을 적을 것을 말한다.
이하, 디코딩의 방식은 고음질 버전과 저전력 버전을 예를 들어 설명하나 본 발명은 이에 한정되지 않고 보다 많은 디코딩 방식이 존재할 수 있다.
도 6는 본 발명의 일실시예에 의한 오디오 신호의 디코딩 방법을 설명하기 위한 블록도이다.
도 6을 참조하면, 본 발명에 따른 디코딩 장치는 다운믹스 디코딩부(100c)와 다채널 디코딩부(200c)를 포함할 수 있다.
도시된 바와 같이, 다운믹스 디코딩부(100c)에서 신호 처리된 다운믹스 신호(XT4)가 다채널 디코딩부(200c)로 전송되어 공간정보(SI7 또는 SI8)와 결합되어 다채널 오디오 신호(M1 또는 M2)를 생성한다. 신호 처리된 다운믹스 신호(XT4)는 시간 도메인 상의 신호이다.
부호화된 다운믹스 신호(DB)가 다운믹스 디코딩부(100c)로 전송되어 신호 처리되고, 신호 처리된 다운믹스 신호(XT4)는 다채널 디코딩부(200c)로 전송되어 2가지 디코딩 버전(고음질 버전 또는 저전력 버전) 중 어느 하나에 따라 다채널 오디오 신호를 생성한다.
신호 처리된 다운믹스 신호(XT4)가 저전력 버전으로 디코딩될 경우는 P2경로를 따라 다운믹스 신호(XT4)가 전송되어 디코딩된다. 신호 처리된 다운믹스 신호(XT4)는 도메인 변환부(240c)를 거쳐 리얼(Real) QMF 도메인 상의 신호(XRQ)로 변환된다.
그리고 변환된 다운믹스 신호(XRQ)는 도메인 변환부(250c)를 거쳐 콤플렉스(Complex) QMF 도메인 상의 신호(XCQ2)로 변환된다. 콤플렉스(Complex) QMF 도메인 상의 신호(XCQ2)는 다채널 생성부(260c)에서 공간정보(SI8)와 결합된 후 다채널 오디오 신호(M2)를 생성한다.
이상과 같이, 다운믹스 신호(XT4)를 저전력 디코딩 버전으로 디코딩할 때는 별도의 지연처리 절차가 필요하지 않다. 이는 오디오 신호 인코딩 시에 이미 저전력 버전으로 다운믹스 신호와 공간정보가 시간 동기가 맞추어져 인코딩 되었기 때문이다. 즉, 상기 다운믹스 신호(XRQ)는 디코딩 지연에 의해 지연되지 않았다.
한편, 신호 처리된 다운믹스 신호(XT4)가 고음질 버전으로 디코딩될 경우는 P1경로를 따라 다운믹스 신호(XT4)가 전송되어 디코딩된다. 신호 처리된 다운믹스 신호(XT4)는 도메인 변환부(210c)를 거쳐 콤플렉스 QMF 도메인 상의 신호(XCQ1)로 변환된다. 그리고 변환된 다운믹스 신호(XCQ1)는 신호 지연 처리부(220c)에서 다운믹스 신호(XCQ1)와 공간정보(SI7)의 시간 동기 차만큼 지연된다. 그리고 지연된 다운믹스 신호(XCQ’)는 다채널 생성부(230c)에서 공간정보(SI7)와 결합된 후 다채널 오디오 신호(M1)를 생성한다.
이와 같이, 다운믹스 신호(XCQ1)가 신호 지연 처리부(220c)를 거치는 것은 인코딩 시 오디오 신호가 저전력 버전을 가정하고 인코딩 되어서, 다운믹스 신호(XCQ1)와 공간정보(SI7)가 시간 동기 차가 발생하기 때문이다.
시간 동기 차는 사용되는 디코딩 방식에 따른 시간 지연 차를 의미할 수 있다. 예를 들어, 시간 지연 차는 저전력 버전의 디코딩 방식과 고음질 버전의 디코딩 방식의 차이 때문에 발생할 수 있다. 상기 시간 지연 차는 다운 믹스 신호와 공간 정보 신호가 결합되는 시점까지 고려될 수 있다. 왜냐하면, 상기 다운 믹스 신호와 상기 공간 정보 신호가 결합되는 시점까지 상기 다운 믹스 신호와 상기 공간 정보 신호를 동기화시킬 필요가 없을 수 있기 때문이다.
저전력 버전으로 디코딩을 수행할 경우 다운믹스 신호(XCQ2)와 공간정보(SI8)가 결합되는 시점까지 발생하는 지연시간과 고음질 버전으로 수행할 경우 다운믹스 신호(XCQ1’)와 공간정보(SI7)가 결합되는 시점까지 발생하는 지연시간이 같게 상기 시간 동기 차가 결정된다. 시간지연의 단위로는 타임 샘플을 사용할 수도 있고, 타임 슬롯을 사용할 수도 있다.
한편, 도메인 변환부(210c)에서 발생하는 지연시간과 도메인 변환부(240c)에서 발생하는 지연시간이 같다면 신호 지연 처리부(220c)에서는 도메인 변환부(250c)에서 발생하는 지연 시간만큼만 다운믹스 신호(XCQ1)를 지연시키면 된다.
도시된 실시예에 의하면 2개의 디코딩 방식이 다채널 디코딩부(200c)에 존재하는 경우를 예를 들어 설명했으나, 본 발명은 다채널 디코딩부 안에 하나의 디코딩 방식만 존재할 수도 있다.
또한, 상술한 실시예에서는 저전력 버전으로 다운믹스 신호와 공간정보의 시간 동기가 맞추어진 경우를 예를 들어 설명했으나, 본 발명은 고음질 버전으로 다운믹스 신호와 공간정보의 시간 동기가 맞추어진 경우도 포함한다. 이 경우는 저전력 버전을 시간 동기가 맞추어진 경우와 반대로 다운믹스 신호를 리딩시키면 된다.
도 7은 본 발명의 일실시예에 의한 오디오 신호의 디코딩 방법을 설명하기 위한 블록도이다.
도 7을 참조하면, 본 발명에 따른 디코딩 장치는 다운믹스 디코딩부(100d)와 다채널 디코딩부(200d)로 구성된다.
다운믹스 디코딩부(100d)에서 신호 처리된 다운믹스 신호(XT4)가 다채널 디코딩부(200d)로 전송되어 공간정보(SI7’ 또는 SI8)와 결합되어 다채널 오디오 신호(M3 또는 M2)를 생성한다. 신호 처리된 다운믹스 신호(XT4)는 시간 도메인 상의 신호이다.
부호화된 다운믹스 신호(DB)가 다운믹스 디코딩부(100d)로 전송되어 신호 처리되고, 신호 처리된 다운믹스 신호(XT4)는 다채널 디코딩부(200d)로 전송되어 2가지 디코딩 방식(고음질 방식 또는 저전력 방식) 중 어느 하나에 따라 다채널 오디오 신호를 생성한다.
신호 처리된 다운믹스 신호(XT4)가 저전력 방식으로 디코딩될 경우는 P4경로를 따라 다운믹스 신호(XT4)가 전송되어 디코딩된다. 신호 처리된 다운믹스 신호(XT4)는 도메인 변환부(240d)를 거쳐 리얼(Real) QMF 도메인 상의 신호(XRQ)로 변환된다. 그리고 변환된 다운믹스 신호(XRQ)는 도메인 변환부(250d)를 거쳐 콤플렉스(Complex) QMF 도메인 상의 신호(XCQ2)로 변환된다. 상기 다운믹스 신호(XRQ)의 상기 다운믹스 신호(XCQ2)로의 변환은 콤플렉스 도메인 변환의 예로 볼 수 있다.
콤플렉스(Complex) QMF 도메인 상의 신호(XCQ2)는 다채널 생성부(260d)에서 공간정보(SI8)과 결합된 후 다채널 오디오 신호(M2)를 생성한다.
이상과 같이, 다운믹스 신호(XT4)를 저전력 디코딩 방식으로 디코딩할 때는 별도의 지연처리 절차가 필요하지 않다. 이는 오디오 신호 인코딩 시에 이미 저전력 방식으로 다운믹스 신호와 공간정보가 시간 동기가 맞추어져 인코딩 되었기 때문이다. 즉, 상기 공간정보(SI8)은 디코딩 지연에 의해 지연되지 않았다.
한편, 신호 처리된 다운믹스 신호(XT4)가 고음질 방식으로 디코딩될 경우는 P3경로를 따라 다운믹스 신호(XT4)가 전송되어 디코딩된다. 신호 처리된 다운믹스 신호(XT4)는 도메인 변환부(210d)를 거쳐 콤플렉스 QMF 도메인 상의 신호(XCQ1)로 변환된다.
그리고 변환된 다운믹스 신호(XCQ1)는 다채널 생성부(230d)로 전송되어 공간정보(SI7’)과 결합된 후 다채널 오디오 신호(M3)를 생성한다. 공간정보(SI7’)는 공간정보(SI7)가 공간정보 지연 처리부(220d)를 거치면서 시간 지연이 보상된 공간정보이다.
이와 같이, 공간정보(SI7)가 공간정보 지연 처리부(220d)를 거치는 것은 인코딩 시 오디오 신호가 저전력 디코딩 방식을 가정하고 인코딩 되어서, 다운믹스 신호(XCQ1)와 공간정보(SI7)가 시간 동기 차가 발생하기 때문이다.
시간 동기 차는 사용되는 디코딩 방식에 따른 시간 지연 차를 의미할 수 있다. 예를 들어, 시간 지연 차는 저전력 버전의 디코딩 방식과 고음질 버전의 디코딩 방식의 차이 때문에 발생할 수 있다. 상기 시간 지연 차는 다운 믹스 신호와 공간 정보 신호가 결합되는 시점까지 고려될 수 있다. 왜냐하면, 상기 다운 믹스 신호와 상기 공간 정보 신호가 결합되는 시점까지 상기 다운 믹스 신호와 상기 공간 정보 신호를 동기화시킬 필요가 없을 수 있기 때문이다.
저전력 버전으로 디코딩을 수행할 경우 다운믹스 신호(XCQ2)와 공간정보(SI8)가 결합되는 시점까지 발생하는 지연시간과 고음질 버전으로 수행할 경우 다운믹스 신호(XCQ’)와 공간정보(SI7’)가 결합되는 시점까지 발생하는 지연시간이 같게 상기 시간 동기 차가 결정된다. 시간지연의 단위로는 타임 샘플을 사용할 수도 있고, 타임 슬롯을 사용할 수도 있다.
한편, 도메인 변환부(210d)에서 발생하는 지연시간과 도메인 변환부(240d)에서 발생하는 지연시간이 같다면 공간정보 지연 처리부(220d)에서는 도메인 변환부(250d)에서 발생하는 지연 시간만큼만 공간정보(SI7)를 리딩시키면 된다.
도시된 실시예에 의하면 2개의 디코딩 방식이 다채널 디코딩부(200d)에 존재하는 경우를 예를 들어 설명했으나, 본 발명은 다채널 디코딩부 안에 하나의 디코딩 방식만 존재할 수도 있다.
또한, 상술한 실시예에서는 저전력 버전으로 다운믹스 신호와 공간정보의 시간 동기가 맞추어진 경우를 예를 들어 설명했으나, 본 발명은 고음질 버전으로 다운믹스 신호와 공간정보의 시간 동기가 맞추어진 경우도 포함한다. 이 경우는 저전력 버전을 시간 동기가 맞추어진 경우와 반대로 공간정보를 래깅시키면 된다.
또한, 도 6 내지 도 7에 도시된 바에 의하면 다채널 디코딩부(200c 또는 200d) 내에 신호 지연 처리부(220c) 또는 공간정보 지연 처리부(220d) 중 하나만 있는 경우를 예를 들어 설명했지만, 본 발명은 다채널 디코딩부 내에 공간정보 지연 처리부와 신호 지연 처리부가 동시에 있는 경우도 포함한다. 이 경우는 공간정보 지연 처리부(220d)에서 지연보상 하는 시간과 신호 지연 처리부(220c)에서 지연보상 하는 시간의 합이 시간 동기 차와 동일해야 한다.
이상은 다운믹스 연결도메인(downmix input domain)이 복수 개 존재함으로 인한 시간 동기 차 보상방법과 디코딩 방식 복수 개 존재함으로 발생하는 시간 동기 차 보상방법에 대해 설명하였다.
다음은 다운믹스 연결도메인이 복수 개 존재함과 함께 디코딩 방식도 복수 개 존재함으로 인한 시간 동기 차 보상 방법에 대해 설명하기로 한다.
도 8은 본 발명의 일실시예에 의한 오디오 신호의 디코딩 방법을 설명하기 위한 블록도이다.
도 8을 참조하면, 본 발명에 따른 디코딩 장치는 다운믹스 디코딩부(100e)와 다채널 디코딩부(200e)를 포함할 수 있다.
도시된 바와 같이, 본 발명의 일실시예에 의한 오디오 신호의 처리방법은 다운믹스 디코딩부(100e)에서 신호 처리된 다운믹스 신호가 2가지 도메인 중 어느 한 도메인 상에서 다채널 디코딩부(200e)로 전송될 수 있다. 본 실시예에서 다운믹스 신호와 공간정보는 QMF 도메인 상에서 그리고 저전력 버전을 기준으로 시간 동기가 맞추어졌다고 가정하고 설명하기로 하나, 본 발명은 이에 한정되지 않고 다양한 변형이 가능하다.
우선 QMF 도메인 상에서 처리된 다운믹스 신호(XQ5)가 다채널 디코딩부(200e)로 전송되어 신호 처리되는 방법을 살펴보기로 한다. 이 경우, 상기 다운믹스 신호(XQ5)는 콤플렉스 QMF 신호(XCQ5)와 리얼 QMF 신호(XRQ5) 중 어느 하나일 수 있다. 상기 콤플렉스 QMF 신호(XCQ5)는 다운믹스 디코딩부(100e)에서 고음질 디코딩 방식에 의해 처리된 신호일 수 있다. 그리고, 상기 리얼 QMF 신호(XRQ5)는 다운믹스 디코딩부(100e)에서 저전력 디코딩 방식에 의해 처리된 신호일 수 있다.
본 발명의 실시예에서는 상기 다운믹스 디코딩부(100e)에서 고음질 디코딩 방식에 의해 처리된 신호는 고음질 디코딩 방식의 다채널 디코딩부(200e)와 연결되어 있고, 상기 다운믹스 디코딩부(100e)에서 저전력 디코딩 방식에 의해 처리된 신호는 저전력 디코딩 방식의 다채널 디코딩부(200e)와 연결되어 있다고 가정한다.
도시된 바와 같이, 신호 처리된 다운믹스 신호(XQ5)가 저전력 버전으로 디코딩될 경우는 P6경로를 따라 다운믹스 신호(XQ5)가 전송되어 디코딩된다. 여기서, 상기 다운믹스 신호(XQ5)는 리얼 QMF 도메인의 다운믹스 신호(XRQ5)이다.
상기 다운믹스 신호(XRQ5)는 다채널 생성부(231e)에서 공간정보(SI10)와 결합된 후 다채널 오디오 신호(M5)를 생성한다.
이상과 같이 다운믹스 신호(XQ5)를 저전력 디코딩 버전으로 디코딩할 때는 별도의 지연처리 절차가 필요하지 않다. 이는 오디오 신호 인코딩 시에 이미 저전력 버전으로 다운믹스 신호와 공간정보가 시간 동기가 맞추어져 인코딩 되었기 때문이다.
한편, 신호 처리된 다운믹스 신호(XQ5)가 고음질 버전으로 디코딩될 경우는 P5경로를 따라 다운믹스 신호(XQ5)가 전송되어 디코딩 된다. 여기서, 상기 다운믹스 신호(XQ5)는 콤플렉스 QMF 도메인의 다운믹스 신호(XCQ5)이다. 상기 다운믹스 신호(XCQ5)는 다채널 생성부(230e)에서 공간정보(SI9)와 결합된 후 다채널 오디오 신호(M4)를 생성한다.
다음으로 시간 도메인 상에서 처리된 다운믹스 신호(XT5)가 다채널 디코딩부(200e)로 전송되어 신호 처리되는 방법을 살펴보기로 한다.
다운믹스 디코딩부(100e)에서 신호 처리된 다운믹스 신호(XT5)가 다채널 디코딩부(200e)로 전송되어 공간정보(SI11 또는 SI12)와 결합되어 다채널 오디오 신호(M6 또는 M7)를 생성한다.
다운믹스 신호(XT5)는 다채널 디코딩부(200e)로 전송되어 2가지 디코딩 방식(고음질 디코딩 방식 또는 저전력 디코딩 방식) 중 어느 하나에 따라 다채널 오디오 신호를 생성한다.
신호 처리된 다운믹스 신호(XT5)가 저전력 디코딩 방식으로 디코딩될 경우는 P8경로를 따라 다운믹스 신호(XT5)가 전송되어 디코딩된다. 신호 처리된 다운믹스 신호(XT5)는 도메인 변환부(241e)를 거쳐 리얼(Real) QMF 도메인 상의 신호(XR)로 변환된다.
그리고 변환된 다운믹스 신호(XR)는 도메인 변환부(250e)를 거쳐 콤플렉스(Complex) QMF 도메인 상의 신호(XC2)로 변환된다. 상기 다운믹스 신호(XR)의 상기 신호(XC2)로의 변환은 콤플렉스 도메인 변환의 일예이다.
콤플렉스(Complex) QMF 도메인 상의 신호(XC2)는 다채널 생성부(233e)에서 공간정보(SI12’)와 결합된 후 다채널 오디오 신호(M7)를 생성한다.
공간정보(SI12’)는 공간정보(SI12)가 공간정보 지연 처리부(240e)를 거치면서 시간 지연이 보상된 공간정보이다.
이와 같이, 공간정보(SI12)가 공간정보 지연 처리부(240e)를 거치는 것은 인코딩 시 오디오 신호가 저전력 디코딩 방식 및 다운믹스 신호와 공간정보의 시간 동기가 맞추어진 도메인으로 QMF 도메인을 가정하고 인코딩 되어서, 다운믹스 신호(XC2)와 공간정보(SI12)가 시간 동기 차가 발생하기 때문이다. 여기서, 상기 지연된 공간정보(SI12’)는 인코딩 지연과 디코딩 지연에 의해 지연된 것이다.
한편, 신호 처리된 다운믹스 신호(XT5)가 고음질 디코딩 방식으로 디코딩될 경우는 P7경로를 따라 다운믹스 신호(XT5)가 전송되어 디코딩된다. 신호 처리된 다운믹스 신호(XT5)는 도메인 변환부(240e)를 거쳐 콤플렉스 QMF 도메인 상의 신호(XC1)로 변환된다.
그리고 변환된 다운믹스 신호(XC1)와 상기 공간정보(SI11)는 각각 신호 지연 처리부(250e)와 공간정보 지연 처리부(260e)에서 다운믹스 신호(XC1)와 공간정보(SI11)의 시간 동기 차만큼 시간 지연이 보상된다.
그리고 시간 지연 보상된 다운믹스 신호(XC1’)는 다채널 생성부(232e)에서 공간정보(SI11)와 결합된 후 다채널 오디오 신호(M6)를 생성한다.
따라서, 다운믹스 신호(XC1)가 신호 지연 처리부(250e)를 통과하고, 공간정보(SI11)는 공간정보 지연 처리부(260e)를 통과한다. 이는 인코딩 시 오디오 신호가 저전력 디코딩 방식 및 다운믹스 신호와 공간정보의 시간 동기가 맞추어진 도메인으로 QMF 도메인을 가정하고 인코딩 되어서, 다운믹스 신호(XC2)와 공간정보(SI12)가 시간 동기 차가 발생하기 때문이다.
도 9는 본 발명의 일실시예에 따른 오디오 신호의 디코딩 방법을 설명하기 위한 블록도이다.
도 9를 참조하면, 본 발명에 따른 디코딩 장치는 다운믹스 디코딩부(100f)와 다채널 디코딩부(200f)를 포함할 수 있다.
인코딩된 다운믹스 신호(DB1)는 다운믹스 디코딩부(100f)로 전송되어 처리된다. 상기 다운믹스 신호(DB1)는 2가지 다운믹스 디코딩 방식을 고려하여 인코딩된 신호이다. 상기 2가지 다운믹스 디코딩 방식은 제 1 디코딩 방식과 제 2 디코딩 방식을 포함할 수 있다. 상기 다운믹스 신호(DB1)는 다운믹스 디코딩부(100f)에서 하나의 다운믹스 디코딩 방식에 따라 처리될 수 있다. 상기 하나의 다운믹스 디코딩 방식은 상기 제 1 디코딩 방식일 수 있다.
상기 처리된 다운믹스 신호(XT6)는 다채널 오디오 신호(Mf)를 생성하기 위해 다채널 디코딩부(200f)로 전송된다.
상기 처리된 다운믹스 신호(XT6’)는 신호처리부(210f)에서 디코딩 지연에 의해 지연될 수 있다. 상기 다운믹스 신호(XT6’)가 지연되는 이유는, 인코딩에서 고려된 다운믹스 디코딩 방식이 디코딩에서 사용된 디코딩 방식과 다르기 때문이다. 따라서, 상기 환경에 따라 상기 다운믹스 신호(XT6’)를 업샘플링할 필요가 있다.
상기 지연된 다운믹스 신호(XT6’)는 업샘플링부(220f)에서 업샘플될 수 있다. 상기 다운믹스 신호(XT6’)가 업샘플되는 이유는 상기 다운믹스 신호(XT6’)의 샘플수가 상기 공간 정보(SI13)의 샘플수와 다르기 때문이다.
상기 다운믹스 신호(XT6)의 지연 처리와 상기 다운믹스 신호(XT6’)의 업샘플링 처리의 순서는 서로 바뀔 수 있다.
상기 업샘플된 다운믹스 신호(UXT6)의 도메인은 도메인 처리부(230f)에서 변환될 수 있다. 상기 다운믹스 신호(UXT6)의 도메인 변환은 주파수/시간 도메인 변환과 콤플렉스 도메인 변환을 포함할 수 있다.
그리고, 상기 도메인 변환된 다운믹스 신호(UXT6)는 다채널 생성부(260d)에서 공간 정보(SI13)과 결합하여 다채널 오디오 신호(Mf)를 생성하게 된다.
이상은 다운믹스 신호와 공간정보의 시간 동기 차가 발생한 경우 이를 보상하는 방법에 관한 것이었다.
다음은 상술한 여러 가지 방법에 의해 생성된 다채널 오디오 신호와 시계열 데이터와의 시간 동기 차가 발생한 경우 이를 보상하는 방법에 대해 설명하기로 한다.
도 10은 본 발명의 일실시예에 의한 오디오 신호의 디코딩 장치의 블록도이다. 도 10을 참조하면, 본 발명의 일실시예에 따른 오디오 디코딩 장치는 시계열 데이터 디코딩부(10)와 다채널 오디오 신호의 처리부(20)를 포함할 수 있다.
이에 도시된 바와 같이, 다채널 오디오 신호 처리장치(20)는 다운믹스 디코딩부(21)와, 다채널 디코딩부(22)와, 시간 지연 보상부(23)를 포함할 수 있다.
먼저, 부호화된 다운믹스 신호의 일례인 다운믹스 비트스트림(IN2)이 다운믹스 디코딩부(21)로 인가되어 디코딩된다. 여기서 다운믹스 비트스트림(IN2)은 2가지의 도메인 상에서 디코딩되어 출력될 수 있다. 출력될 수 있는 도메인은 시간 도메인과 QMF 도메인이다. 참조번호 50은 시간 도메인에서 디코딩되어 출력되는 다운믹스 신호이고, 참조번호 51은 QMF 도메인에서 디코딩되어 출력되는 다운믹스 신호이다.
본 실시예에서는 2가지 경우의 도메인만을 언급했으나, 본 발명은 이에 한정되지 않고, 그 이상의 도메인에서 디코딩되어 출력되는 다운믹스 신호도 포함한다.
또한, 상기와 같은 방법으로 디코딩된 다운믹스 신호(50, 51)는 다채널 디코딩부(22)로 전송되어 2가지 디코딩 방식(22H, 22L)으로 디코딩된다. 참조번호 22H는 고음질 디코딩 방식이고, 참조번호 22L은 저전력 디코딩 방식이다.
본 발명의 일실시예에서는 두 개의 디코딩 방식만이 언급되어 있지만, 본 발명은 이에 한정되지 않고, 보다 많은 디코딩 방식 중에서 선택 가능하다.
먼저, 시간 도메인 상에서 디코딩되어 출력되는 다운믹스 신호(50)는 두 가지 경로(P9, P10)를 선택하여 디코딩될 수 있는데, P9는 고음질 버전(22H)으로 디코딩되는 경로이고, P10은 저전력 버전(22L)으로 디코딩되는 경로이다.
따라서 P9경로를 따라 전송된 다운믹스 신호(50)는 고음질 버전(22H)에 따라 공간정보(SI)와 결합된 후 다채널 오디오 신호(MHT)를 생성한다. P4경로를 따라 전송된 다운믹스 신호(50)는 저전력 버전(22L)에 따라 공간정보(SI)와 결합된 후 다채널 오디오 신호(MLT)를 생성한다.
또한, QMF 도메인 상에서 디코딩되어 출력된 다운믹스 신호(51)는 두 가지 경로(P11, P12)를 선택하여 디코딩될 수 있는데, P11은 고음질 버전(22H)으로 디코딩되는 경로이고, P12는 저전력 버전(22L)으로 디코딩되는 경로이다.
따라서 P11경로를 따라 전송된 다운믹스 신호(51)는 고음질 버전(22H)에 따라 공간정보(SI)와 결합된 후 다채널 오디오 신호(MHQ)를 생성한다. P12경로를 따라 전송된 다운믹스 신호(51)는 저전력 버전(22L)에 따라 공간정보(SI)와 결합된 후 다채널 오디오 신호(MLQ)를 생성한다.
전술한 방법에 의해 생성된 다채널 오디오 신호(MHT, MHQ, MLT, MLQ) 중 적어도 하나는 시간지연 보상부(23)에서 시간지연 보상과정을 거친 후에 출력된다(OUT2, OUT3, OUT4, OUT5).
본 실시예에서 시간지연 보상과정이라 함은 예를 들어, 시계열 디코딩부(10)에서 디코딩되어 출력되는 시계열 데이터(OUT1)가 전술한 다채널 오디오 신호(MHT)와 시간 동기가 맞추어 졌다고 가정할 때, 시간 동기가 어긋난 다채널 오디오 신호(MHQ, MLT, MLQ)를 다채널 오디오 신호(MHT)와 비교해 시간지연이 발생하지 않도록 하는 것을 의미한다. 물론 시계열 데이터(OUT1)가 전술한 다채널 오디오 신호(MHT)외의 다른 다채널 오디오 신호(MHQ, MLT, MLQ) 중 어느 하나와 시간 동기가 맞추어 졌을 때, 시간 동기가 어긋난 나머지 다른 다채널 오디오 신호의 시간지연을 보상하여 시계열 데이터(OUT1)와의 시간동기를 맞추는 것도 포함된다.
한편, 시계열 데이터(OUT1)와 다채널 오디오 신호(MHT, MHQ,MLT,MLQ)와 함께 처리되지 않는 경우도 시간지연 보상과정을 수행할 수 있다. 예를 들어, 다채널 오디오 신호(MHT)의 시간지연을 보상하되, 다채널 오디오 신호(MLT)와 비교한 결과를 이용하여 시간지연이 발생하지 않도록 하는 것이다. 물론 그 외의 형태로도 다양화될 수 있다.
본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.
본 발명의 이해를 돕기 위해 포함되는 첨부 도면은, 본 발명의 실시예를 도시하는 것으로, 본 명세서와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1 내지 도 3은 본 발명의 일실시예에 의한 오디오 신호의 디코딩 장치의 블록도이다.
도 4는 도 1에 도시된 다채널 디코딩부에서 신호처리 되는 방법을 설명하기 위한 블록도이다.
도 5는 도 2에 도시된 다채널 디코딩부에서 신호처리 되는 방법을 설명하기 위한 블록도이다.
도 6 내지 도 10은 본 발명의 일실시예에 의한 오디오 신호의 디코딩 방법을 설명하기 위한 블록도이다.
본 발명은 제 1 도메인의 다운믹스 신호와 공간 정보를 포함하는 오디오 신호를 수신하는 단계; 상기 제 1 도메인의 다운믹스 신호를 제 2 도메인의 다운믹스 신호로 변환하는 단계;및 상기 제 2 도메인의 다운믹스 신호와 상기 공간 정보를 결합하는 단계를 포함하되, 상기 제 2 도메인의 다운믹스 신호와 상기 공간 정보 중 적어도 하나는 상기 변환 과정에서 경과된 시간만큼 지연되는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
이상에서 설명한 바와 같이, 본 발명에 의한 오디오 신호의 처리방법은 다운믹스 신호와 공간정보의 시간 동기 차가 발생한 경우 이를 보상하여 음질저하를 막을 수 있는 효과가 있다.
또한, 본 발명에 의한 오디오 신호의 처리방법은 다채널 오디오 신호가 동영상, 텍스트, 이미지 등의 시계열 데이터와 함께 처리될 다채널 오디오 신호와 시계열 데이터와의 시간 동기 차를 보상할 수 있는 효과가 있다.

Claims (21)

  1. 제 1 도메인의 다운믹스 신호와 공간 정보를 포함하는 오디오 신호를 수신하는 단계;
    상기 제 1 도메인의 다운믹스 신호를 제 2 도메인의 다운믹스 신호로 변환하는 단계; 및
    상기 제 2 도메인의 다운믹스 신호와 상기 공간 정보를 결합하는 단계
    를 포함하되,
    상기 제 2 도메인의 다운믹스 신호와 상기 공간 정보 중 적어도 하나는 상기 변환 과정에서 경과된 시간을 고려하여 지연된 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제 1항에 있어서,
    상기 공간 정보는 인코딩 지연과 디코딩 지연 중 적어도 하나에 의해 시간 지연된 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제 2항에 있어서,
    상기 변환 단계는 시간 도메인의 다운믹스 신호에서 주파수 도메인의 다운믹스 신호로의 변환 및 콤플렉스 도메인 변환 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제 3항에 있어서,
    상기 주파수 도메인은 QMF(Quadrature Mirror Filter) 도메인을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제 3항에 있어서,
    상기 콤플렉스 도메인 변환은 리얼 QMF 도메인(real QMF domain)의 다운믹스 신호에서 콤플렉스 QMF 도메인(complex QMF domain)의 다운믹스 신호로의 변환 및 콤플렉스 QMF 도메인(complex QMF domain)의 다운믹스 신호에서 리얼 QMF 도메인(real QMF domain)의 다운믹스 신호로의 변환 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제 1 도메인의 다운믹스 신호와 공간 정보를 포함하는 오디오 신호를 수신하는 오디오 신호 수신부;
    상기 제 1 도메인의 다운믹스 신호를 제 2 도메인 다운믹스 신호로 변환하는 도메인 변환부; 및
    상기 제 2 도메인 다운믹스 신호와 상기 공간 정보를 결합하는 공간 정보 결합부를 포함하되,
    상기 공간 정보는 상기 변환 과정에서 경과된 시간에 기초하여 지연된 것을 특징으로 하는 오디오 신호 처리 장치.
  7. 제 6 항에 있어서,
    상기 도메인 변환부는 상기 다운믹스 신호를 시간 도메인의 다운믹스 신호에서 주파수 도메인의 다운믹스 신호로 변환하는 주파수 도메인 변환부 및 콤플렉스 도메인의 다운믹스 신호로 변환하는 콤플렉스 도메인 변환부 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  8. 제 7 항에 있어서,
    상기 주파수 도메인 변환부는 QMF(Quadrature Mirror Filter) 도메인 변환부를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  9. 제 7 항에 있어서,
    상기 콤플렉스 도메인 변환부는 리얼 QMF 도메인(real QMF domain)의 다운믹스 신호에서 콤플렉스 QMF 도메인(complex QMF domain)의 다운믹스 신호로의 변환를 수행하는 콤플렉스 QMF 도메인 신호 변환부 및 콤플렉스 QMF 도메인(complex QMF domain)의 다운믹스 신호에서 리얼 QMF 도메인(real QMF domain)의 다운믹스 신호로의 변환를 수행하는 리얼 QMF 도메인 신호 변환부 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 다운믹스 신호와 공간 정보를 포함하는 오디오 신호를 수신하는 단계;
    상기 다운믹스 신호를 제 1도메인에서 제 2도메인으로 변환하는 단계; 및
    상기 변환된 다운믹스 신호와 상기 공간 정보를 결합된 신호로 결합하는 단계
    를 프로세서가 수행하도록 하는 지시 정보를 저장하고 있는, 컴퓨터로 읽을 수 있는 매체.
  11. 제 10항에 있어서,
    상기 변환 단계는 시간 도메인에서 주파수 도메인으로의 변환과 콤플렉스 도메인 변환 중 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨터로 읽을 수 있는 매체.
  12. 제 11항에 있어서,
    상기 콤플렉스 도메인 변환은 리얼 QMF 도메인(real QMF domain)의 다운믹스 신호에서 콤플렉스 QMF 도메인(complex QMF domain)의 다운믹스 신호로의 변환 및 콤플렉스 QMF 도메인의 다운믹스 신호에서 리얼 QMF 도메인의 다운믹스 신호로의 변환 중 적어도 하나를 포함하는 것을 특징으로 하는, 컴퓨터로 읽을 수 있는 매체.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020087007451A 2005-10-24 2006-10-02 신호 처리에서 시간 지연을 보상하는 방법 KR100875429B1 (ko)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US72922505P 2005-10-24 2005-10-24
US60/729,225 2005-10-24
US75700506P 2006-01-09 2006-01-09
US60/757,005 2006-01-09
US78674006P 2006-03-29 2006-03-29
US60/786,740 2006-03-29
US79232906P 2006-04-17 2006-04-17
US60/792,329 2006-04-17
KR1020060078225A KR20070037987A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 장치
KR1020060078219 2006-08-18
KR1020060078218A KR20070037983A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 부호화된 오디오신호 생성방법
KR1020060078225 2006-08-18
KR1020060078223A KR20070037986A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 처리방법 및 그 장치
KR1020060078219A KR20070074442A (ko) 2006-01-09 2006-08-18 다채널 오디오 복원 장치 및 방법과 이 장치에서 수행되는프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체
KR1020060078221 2006-08-18
KR1020060078222A KR20070037985A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR1020060078223 2006-08-18
KR1020060078221A KR20070037984A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR1020060078222 2006-08-18
KR1020060078218 2006-08-18
PCT/KR2006/003974 WO2007049863A2 (en) 2005-10-24 2006-10-02 Removing time delays in signal paths

Publications (2)

Publication Number Publication Date
KR20080040786A KR20080040786A (ko) 2008-05-08
KR100875429B1 true KR100875429B1 (ko) 2008-12-22

Family

ID=38159536

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020060078223A KR20070037986A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 처리방법 및 그 장치
KR1020060078222A KR20070037985A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR1020060078218A KR20070037983A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 부호화된 오디오신호 생성방법
KR1020060078225A KR20070037987A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 장치
KR1020060078221A KR20070037984A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR1020087007451A KR100875429B1 (ko) 2005-10-24 2006-10-02 신호 처리에서 시간 지연을 보상하는 방법

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020060078223A KR20070037986A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 처리방법 및 그 장치
KR1020060078222A KR20070037985A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR1020060078218A KR20070037983A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 부호화된 오디오신호 생성방법
KR1020060078225A KR20070037987A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 장치
KR1020060078221A KR20070037984A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 그 장치

Country Status (1)

Country Link
KR (6) KR20070037986A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394063B (zh) * 2006-07-04 2013-03-20 韩国电子通信研究院 运动图像专家组环绕解码器和恢复多通道音频信号的方法
KR100881312B1 (ko) * 2007-06-28 2009-02-03 엘지전자 주식회사 멀티 채널 오디오 신호의 부호화/복호화 방법 및 장치,그를 이용한 인터넷 프로토콜 디스플레이 장치
KR100958110B1 (ko) 2007-12-17 2010-05-17 한국전자통신연구원 유비쿼터스 서비스 인증 게이트웨이 장치 및 그 방법
US9666198B2 (en) * 2013-05-24 2017-05-30 Dolby International Ab Reconstruction of audio scenes from a downmix
KR102317416B1 (ko) 2015-04-20 2021-10-25 충남대학교산학협력단 높은 에너지 밀도를 가지는 음극 활물질 및 이를 포함하는 리튬이온2차전지

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481643A (en) 1993-03-18 1996-01-02 U.S. Philips Corporation Transmitter, receiver and record carrier for transmitting/receiving at least a first and a second signal component
US5682461A (en) 1992-03-24 1997-10-28 Institut Fuer Rundfunktechnik Gmbh Method of transmitting or storing digitalized, multi-channel audio signals
US6021386A (en) 1991-01-08 2000-02-01 Dolby Laboratories Licensing Corporation Coding method and apparatus for multiple channels of audio information representing three-dimensional sound fields

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6021386A (en) 1991-01-08 2000-02-01 Dolby Laboratories Licensing Corporation Coding method and apparatus for multiple channels of audio information representing three-dimensional sound fields
US5682461A (en) 1992-03-24 1997-10-28 Institut Fuer Rundfunktechnik Gmbh Method of transmitting or storing digitalized, multi-channel audio signals
US5481643A (en) 1993-03-18 1996-01-02 U.S. Philips Corporation Transmitter, receiver and record carrier for transmitting/receiving at least a first and a second signal component

Also Published As

Publication number Publication date
KR20080040786A (ko) 2008-05-08
KR20070037986A (ko) 2007-04-09
KR20070037987A (ko) 2007-04-09
KR20070037983A (ko) 2007-04-09
KR20070037985A (ko) 2007-04-09
KR20070037984A (ko) 2007-04-09

Similar Documents

Publication Publication Date Title
KR100888972B1 (ko) 신호 처리에서 시간 지연을 보상하는 방법
KR100875429B1 (ko) 신호 처리에서 시간 지연을 보상하는 방법
RU2389155C2 (ru) Устранение задержек по времени на трактах обработки сигнала
TWI450603B (zh) 音頻訊號處理方法及其系統與電腦可讀取媒體

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20191114

Year of fee payment: 12