KR20230121431A - 복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치 - Google Patents

복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치 Download PDF

Info

Publication number
KR20230121431A
KR20230121431A KR1020220018299A KR20220018299A KR20230121431A KR 20230121431 A KR20230121431 A KR 20230121431A KR 1020220018299 A KR1020220018299 A KR 1020220018299A KR 20220018299 A KR20220018299 A KR 20220018299A KR 20230121431 A KR20230121431 A KR 20230121431A
Authority
KR
South Korea
Prior art keywords
channel signal
signal
domain
complex
encoding
Prior art date
Application number
KR1020220018299A
Other languages
English (en)
Inventor
백승권
성종모
이태진
임우택
장인선
조병호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220018299A priority Critical patent/KR20230121431A/ko
Priority to US18/108,431 priority patent/US20230298599A1/en
Publication of KR20230121431A publication Critical patent/KR20230121431A/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치가 개시된다. 부호화 방법은 스테레오 신호에 대응하는 오디오 신호를 구성하는 제1 채널 신호 및 제2 채널 신호를 실수 영역에서 복소 영역으로 변환하는 단계; 상기 복소 영역으로 변환된 제2 채널 신호에 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산인지 판단하는 단계; 상기 판단된 연산에 따라 복소 공간 큐(complex spatial cue)를 결정하는 단계; 상기 복소 공간 큐를 이용하여 제2 채널 신호에 대한 잔차 신호를 실수 영역으로 변환하는 단계; 상기 제1 채널 신호를 실수 영역으로 변환하는 단계; 상기 실수 영역으로 변환된 제1 채널 신호를 부호화하는 단계; 및 상기 실수 영역으로 변환된 제2 채널 신호에 대한 잔차 신호를 부호화하는 단계를 포함할 수 있다.

Description

복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치 {ENCODING METHOD AND ENCODING DEVICE, DECODING METHOD AND DECODING DEVICE USING COMPLEX SIGNAL}
복수의 채널로 구성된 오디오 신호의 경우, 스테레오 채널과 같은 기본 단위로 부호화가 진행될 수 있다. 이와 같은 다채널 오디오 신호를 부호화를 진행하기 위해서 채널의 상관도를 최대한 반영하는 것이 요구된다.
또한, 오디오 신호의 채널 간의 정보량을 최대한 감축함으로써 오디오 신호에 대한 부호화 효율을 향상시키는 것도 필요하다.
본 발명은 채널간 상관도를 최대한 반영하여 오디오 채널 간의 정보량 감축을 극대화 하여 오디오 부호화 효율을 높일 수 있는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 부호화 방법은 스테레오 신호에 대응하는 오디오 신호를 구성하는 제1 채널 신호 및 제2 채널 신호를 실수 영역에서 복소 영역으로 변환하는 단계; 상기 복소 영역으로 변환된 제2 채널 신호에 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산인지 판단하는 단계; 상기 판단된 연산에 따라 복소 공간 큐(complex spatial cue)를 결정하는 단계; 상기 복소 공간 큐를 이용하여 제2 채널 신호에 대한 잔차 신호를 실수 영역으로 변환하는 단계; 상기 제1 채널 신호를 실수 영역으로 변환하는 단계; 상기 실수 영역으로 변환된 제1 채널 신호를 부호화하는 단계; 및 상기 실수 영역으로 변환된 제2 채널 신호에 대한 잔차 신호를 부호화하는 단계를 포함할 수 있다.
상기 판단하는 단계는, 상기 제2 채널 신호 및 제2 채널 신호에 대한 잔차 신호 간의 파워를 비교하고, 파워의 비교 결과에 따라 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산을 결정할 수 있다.
상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 작은 경우, 합 연산 또는 차등 연산이 선택될 수 있다.
상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 큰 경우, 바이패스 연산이 선택될 수 있다.
상기 복소 공간 큐는, 상기 복소 영역으로 변환된 제1 채널 신호와 상기 복소 영역으로 변환된 제2 채널 신호를 이용하여 결정될 수 있다.
상기 제2 채널 신호에 대한 잔차 신호는, (i) 상기 제2 채널 신호 및 (ii) 상기 제1 채널 신호와 복소 공간 큐를 통해 수정된 제2 채널 신호 간의 차이에 기초하여 결정될 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 부호화된 실수 영역의 제1 채널 신호를 복호화하는 단계; 상기 부호화된 실수 영역의 제2 채널 신호에 대한 잔차 신호를 복호화하는 단계; 상기 실수 영역의 제1 채널 신호 및 제2 채널 신호에 대한 잔차 신호를 복소 영역으로 변환하는 단계; 상기 제1 채널 신호에 복소 공간 큐를 적용하여 변형된 제2 채널 신호를 추정하는 단계; 상기 제2 채널 신호에 대한 잔차 신호와 상기 변현된 제2 채널 신호를 이용하여 제2 채널 신호를 결정하는 단계; 상기 제2 채널 신호에 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산인지 판단하는 단계; 상기 제1 채널 신호 및 상기 판단된 연산이 적용된 제2 채널 신호를 복소 영역에서 실수 영역으로 변환하는 단계를 포함할 수 있다.
상기 결정된 제2 채널 신호 및 상기 제2 채널 신호에 대한 잔차 신호 간의 파워를 비교하고, 파워의 비교 결과에 따라 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산을 결정할 수 있다.
상기 어느 하나의 연산인지 판단하는 단계는, 상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 작은 경우, 합 연산 또는 차등 연산으로 판단할 수 있다.
상기 어느 하나의 연산인지 판단하는 단계는, 상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 큰 경우, 바이패스 연산으로 판단할 수 있다.
상기 복소 공간 큐는, 상기 복소 영역으로 변환된 제1 채널 신호와 상기 복소 영역으로 변환된 제2 채널 신호를 이용하여 결정될 수 있다.
본 발명의 일실시예에 따른 부호화 장치는 프로세서를 포함하고, 상기 프로세서는, 스테레오 신호에 대응하는 오디오 신호를 구성하는 제1 채널 신호 및 제2 채널 신호를 실수 영역에서 복소 영역으로 변환하는 단계; 상기 복소 영역으로 변환된 제2 채널 신호에 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산인지 판단하는 단계; 상기 판단된 연산에 따라 복소 공간 큐(complex spatial cue)를 결정하는 단계; 상기 복소 공간 큐를 이용하여 제2 채널 신호에 대한 잔차 신호를 실수 영역으로 변환하는 단계; 상기 제1 채널 신호를 실수 영역으로 변환하는 단계; 상기 실수 영역으로 변환된 제1 채널 신호를 부호화하는 단계; 및 상기 실수 영역으로 변환된 제2 채널 신호에 대한 잔차 신호를 부호화하는 단계를 수행할 수 있다.
상기 판단하는 단계는, 상기 제2 채널 신호 및 제2 채널 신호에 대한 잔차 신호 간의 파워를 비교하고, 파워의 비교 결과에 따라 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산을 결정할 수 있다.
상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 작은 경우, 합 연산 또는 차등 연산이 선택될 수 있다.
상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 큰 경우, 바이패스 연산이 선택될 수 있다.
상기 복소 공간 큐는, 상기 복소 영역으로 변환된 제1 채널 신호와 상기 복소 영역으로 변환된 제2 채널 신호를 이용하여 결정될 수 있다.
상기 제2 채널 신호에 대한 잔차 신호는, (i) 상기 제2 채널 신호 및 (ii) 상기 제1 채널 신호와 복소 공간 큐를 통해 수정된 제2 채널 신호 간의 차이에 기초하여 결정될 수 있다.
본 발명의 일실시예에 따르면, 채널간 상관도를 최대한 반영하여 오디오 채널 간의 정보량 감축을 극대화 하여 오디오 부호화 효율을 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 과정을 도시한 플로우차트이다.
도 3은 본 발명의 일실시예에 따른 복호화 과정을 도시한 플로우차트이다.
도 4는 본 발명의 일실시예에 따른 성능 향상의 결과를 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
오디오 신호의 부호화 과정에서 다수의 채널로 구성된 오디오 신호가 입력될 경우 오디오 부호화 효율을 높이기 위해 다채널 오디오 부호화 기술이 적용될 필요가 있다. 다채널 오디오 신호에 대한 부호화 기술의 기본 단위는 스테레오 단위로 진행되며, 2개의 채널 사이의 상관도 또는 스테레오 코딩을 위한 파라메터에 기초하여 부호화가 진행된다.
스테레오 신호에 대한 코딩은 비트레이트에 따라 서로 다른 과정이 적용될 수 있다. 본 발명은 고품질을 위한 다채널 오디오 신호의 부호화를 수행하기 위한 것을 제안한다. 특히, 본 발명은 채널간 상관도를 최대한 반영하여 오디오 채널 간의 정보량 감축을 극대화 하여 오디오 부호화 효율을 높이기 위한 방법을 제안한다.
도 2는 본 발명의 일실시예에 따른 부호화 과정을 도시한 플로우차트이다.
본 발명의 일실시예에 따른 다채널 부호화 과정은 채널 pair에 따라 수행될 수 있다. 도 2는 스테레오 채널을 구성하는 2개의 제1 채널 x_1 (n)과 제2 채널 x_2 (n)이 입력되었을 때의 예시를 설명한다.
단계(201)에서, 부호화 장치(101)는 실수 형태(real)의 제1 채널의 오디오 신호를 복소 형태(complex)로 변환할 수 있다. 그리고, 단계(202)에서, 부호화 장치(102)는 부호화 장치(101)는 실수 형태(real)의 제2 채널의 오디오 신호를 복소 형태(complex)로 변환할 수 있다.
복소 형태로 변환하는 과정은 다음과 같이 진행될 수 있다.
부호화 장치(101)는 오디오 신호에 대해 주파수 영역의 복소 신호를 생성하기 위하여 DFT(Discrete Fourier Transform)을 수행하거나 또는 시간영역의 복소 신호를 생성하기 위하여 Hilbert transform을 수행할 수 있다. 이하에서는 Hibert Transform에 따라 실수 형태의 오디오 신호를 복소 형태로 변환하는 과정을 설명하기로 한다.
수학식 1에에서, HT{}는 Hilbert transform(HT)을 나타낸다. 즉, Hilbert transform을 수행한 결과에서 오디오 신호에서 복소 신호를 추출될 수 있다. 수학식 1과 같이 Hilbert Transform을 이용하여 오디오 신호에서 복소 신호를 추출하는 경우, 시간 영역의 정보를 이용할 수 있는 장점이 있다. 하지만, Hilbert Transform에 따라 오디오 신호의 복소 신호를 추출하는 경우, 시간 샘플 간의 급격한 변화나 또는 프레임 간에 분석 파라미터의 급격한 변화에 대한 불연속적인 왜곡이 문제될 수 있다. 본 발명은 단계(206)에서, 시간 샘플 또는 프레임 간의 변화에 대해 보간을 수행할 수 있다.
단계(203)에서, 부호화 장치(101)는 복소 형태의 제1 채널의 오디오 신호와 제2 채널의 오디오 신호에 대해 Sum 연산 또는 Difference 연산, Bypass 연산을 수행할 수 있다. 부호화 장치(101)는 Sum 연산, Difference 연산 또는 Bypass 연산을 수행할지 여부를 결정하기 위해, 단계(205)에서 게인 추정 과정을 수행할 수 있다.
단계(204)에서, 부호화 장치(101)는 복소 형태의 제1 채널의 오디오 신호와 제2 채널의 오디오 신호에 대해 complex spatial cue를 결정할 수 있다.
단계(205)의 게인 추정(gain estimation)을 수행하는 과정은 다음과 같다.
단계(205)에서, 부호화 장치(101)는 (i) 단계(206)에서 출력된 과 와의 차이인 및 (ii) 를 비교할 수 있다. 이 때, 이 보다 파워가 적은 경우, 단계(203)에서 Sum 연산/Difference 연산이 선택될 수 있다. 그리고, 이 보다 파워가 더 큰 경우, 단계(203)에서 Bypass 연산이 수행되어 원래의 복소 신호가 출력될 수 있다.
이 때, 는 단계(204)에서의 Complex Spatial Cue를 통해 으로부터 생성된 신호일 수 있다. Complex Spatial Cue는 와 로부터 도출될 수 있다. 본 발명의 일실시예에 따르면, 2가지의 complex cue가 이용될 수 있다.
수학식 2는 2개의 신호 간의 위상차를 나타내며, 수학식 3은 2개 신호 간의 게인 차이를 나타낸다. 본 발명의 일실시예에 따르면, 복수 공간 큐(complex spatial cue)는 오디오 신호의 복소 신호로부터 추출될 수 있으며, 차분 신호인 와 잔차 신호인 를 생성함으로써 부호화 효율이 향상될 수 있다.
부호화 장치(101)는 단계(204)에서 생성된 complex spatial cue를 이용하여 단계(206)에서 위상차와 게인값을 보정함으로써 를 출력할 수 있다. 부호화 장치(101)는 수학식 4에 기초하여 를 출력할 수 있다.
수학식 4에서 M은 분석 구간과 관련되며, 프레임 단위 또는 프레임을 분할할 서브 프레임 단위를 의미할 수 있다. complex spatial cue는 하나의 프레임 단위로 도출되거나 또는 하나의 프레임에서 복수의 서브 프레임 단위로 도출될 수 있다.
부호화 장치(101)는 와 간의 차이인 잔차 신호인 를 출력할 수 있다. 잔차 신호는 단계(208)을 통해 complex(복소) 영역에서 real(실수) 영역으로 변환된 후에 단계(210)에서 부호화될 수 있다. 그리고, 의 파워가 보다 크지 않은 경우, 로 결정된다,.
부호화 장치(101)는 단계(205)에서 각 입력 포멧에 따른 energy gain을 측정하고, 이를 비교하여 입력 layout을 결정한다. 입력 layout은 Sum / diff / bypass 중 하나로 결정될 수 있는데, 가 sum / diff / bypass로 결정된다. 예를 들어, 가 sum일 경우 은 diff로 된다. 그리고, 가 diff일 경우 는 sum 신호가 된다. Sum은 두 채널의 합이며, diff는 두 채널의 차이다.
Bypass의 경우 입력 신호가 로 결정될 수 있다. 이 때, 가 Sum 연산, Difference 연산 또는 Bypass 연산 중 어느 하나로 결정되기 위해, 단계(205)에서 측정된 게인값의 SNR이 이용될 수 있다. 게인값에 대한 SNR은 입력 layout에 따른 3가지이다.
수학식 5에서 의 3가지 타입인 sum, diff, bypass는 수학식 6과 같이 결정될 수 있다.
수학식 5에서 결정되는 type은 수학식 6에서 정의된 각 연산에 대한 SNR 중 가장 큰 SNR을 갖는 type으로 결정된다. 선택된 type에 따라 가 결정되며, 단계(208)에서 복소 영역에서 실수 영역으로 변환된 이후에 단계(210)에서 부호화될 수 있다. 여기서 수학식 6에서 로 정의될 경우 로 자동적으로 정의되며, 마찬가지로 로 정의되면 으로 자동 정의된다.
도 3은 본 발명의 일실시예에 따른 복호화 과정을 도시한 플로우차트이다.
복호화 과정은 부호화 과정의 역 과정을 수행하며, 도 1의 하단 블록도가 복호화 과정을 나타낸다. 각각의 부호화 신호는 'Decoding block'을 통해 복호화 되고 'real to complex' 블록을 거쳐 과 를 복원한다. 'conversion' 블록은 부호화 과정과 마찬가지로 를 추정한다.
를 구하면 와 합하여 를 구할 수 있다. 만일에 부호화 과정에서 (n)==(n)로 처리했다면 는 그대로 로 활용된다. Type은 관련한 정보를 받아 부호화 과정과 동일하게 처리한다.
의 경우, 수학식 8에 따라 결정된다.
인 경우, 수학식 9에 따라 결정된다.
Type이 bypass이면, 수학식 10에 따라 결정될 수 있다.
수학식 8, 9, 10에서 한가지 type이 선택되는 경우, 복호화 장치(102)의 최종 출력 신호는 수학식 11과 같이 결정될 수 있다.
도 4는 본 발명의 일실시예에 따른 성능 향상의 결과를 도시한 도면이다.
오디오 부호화 효율은 입력 정보량의 차이로부터 필요한 비트량이 결정되므로, 변환된 잔차신호 의 정보량 감축을 SNR 수치로부터 추정할 수 있다. 하기 그림은 오디오 콘텐츠에 따른 SNR 수치이다. 종전의 방식과 비교하여 평균적으로 우세한 결과를 관측할 수 있었다. 여기서 t-angle은 위상차만 보정했을때의 결과이며, t-complex는 수학식 4에 근거하여 동작한 결과이다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (17)

  1. 스테레오 신호에 대응하는 오디오 신호를 구성하는 제1 채널 신호 및 제2 채널 신호를 실수 영역에서 복소 영역으로 변환하는 단계;
    상기 복소 영역으로 변환된 제2 채널 신호에 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산인지 판단하는 단계;
    상기 판단된 연산에 따라 복소 공간 큐(complex spatial cue)를 결정하는 단계;
    상기 복소 공간 큐를 이용하여 제2 채널 신호에 대한 잔차 신호를 실수 영역으로 변환하는 단계;
    상기 제1 채널 신호를 실수 영역으로 변환하는 단계;
    상기 실수 영역으로 변환된 제1 채널 신호를 부호화하는 단계;
    상기 실수 영역으로 변환된 제2 채널 신호에 대한 잔차 신호를 부호화하는 단계
    를 포함하는 부호화 방법.
  2. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 제2 채널 신호 및 제2 채널 신호에 대한 잔차 신호 간의 파워를 비교하고, 파워의 비교 결과에 따라 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산을 결정하는 부호화 방법.
  3. 제2항에 있어서,
    상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 작은 경우, 합 연산 또는 차등 연산이 선택되는 부호화 방법.
  4. 제2항에 있어서,
    상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 큰 경우, 바이패스 연산이 선택되는 부호화 방법.
  5. 제1항에 있어서,
    상기 복소 공간 큐는, 상기 복소 영역으로 변환된 제1 채널 신호와 상기 복소 영역으로 변환된 제2 채널 신호를 이용하여 결정되는 부호화 방법.
  6. 제1항에 있어서,
    상기 제2 채널 신호에 대한 잔차 신호는,
    (i) 상기 제2 채널 신호 및 (ii) 상기 제1 채널 신호와 복소 공간 큐를 통해 수정된 제2 채널 신호 간의 차이에 기초하여 결정되는 부호화 방법.
  7. 부호화된 실수 영역의 제1 채널 신호를 복호화하는 단계;
    상기 부호화된 실수 영역의 제2 채널 신호에 대한 잔차 신호를 복호화하는 단계;
    상기 실수 영역의 제1 채널 신호 및 제2 채널 신호에 대한 잔차 신호를 복소 영역으로 변환하는 단계;
    상기 제1 채널 신호에 복소 공간 큐를 적용하여 변형된 제2 채널 신호를 추정하는 단계;
    상기 제2 채널 신호에 대한 잔차 신호와 상기 변현된 제2 채널 신호를 이용하여 제2 채널 신호를 결정하는 단계;
    상기 제2 채널 신호에 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산인지 판단하는 단계;
    상기 제1 채널 신호 및 상기 판단된 연산이 적용된 제2 채널 신호를 복소 영역에서 실수 영역으로 변환하는 단계
    를 포함하는 복호화 방법.
  8. 제7항에 있어서,
    상기 어느 하나의 연산인지 판단하는 단계는,
    상기 결정된 제2 채널 신호 및 상기 제2 채널 신호에 대한 잔차 신호 간의 파워를 비교하고, 파워의 비교 결과에 따라 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산을 결정하는 복호화 방법.
  9. 제8항에 있어서,
    상기 어느 하나의 연산인지 판단하는 단계는,
    상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 작은 경우, 합 연산 또는 차등 연산으로 판단하는 복호화 방법.
  10. 제8항에 있어서,
    상기 어느 하나의 연산인지 판단하는 단계는,
    상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 큰 경우, 바이패스 연산으로 판단하는 복호화 방법.
  11. 제7항에 있어서,
    상기 복소 공간 큐는, 상기 복소 영역으로 변환된 제1 채널 신호와 상기 복소 영역으로 변환된 제2 채널 신호를 이용하여 결정되는 복호화 방법.
  12. 부호화 장치에 있어서,
    상기 부호화 장치는, 프로세서를 포함하고,
    상기 프로세서는, 스테레오 신호에 대응하는 오디오 신호를 구성하는 제1 채널 신호 및 제2 채널 신호를 실수 영역에서 복소 영역으로 변환하는 단계; 상기 복소 영역으로 변환된 제2 채널 신호에 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산인지 판단하는 단계; 상기 판단된 연산에 따라 복소 공간 큐(complex spatial cue)를 결정하는 단계; 상기 복소 공간 큐를 이용하여 제2 채널 신호에 대한 잔차 신호를 실수 영역으로 변환하는 단계; 상기 제1 채널 신호를 실수 영역으로 변환하는 단계; 상기 실수 영역으로 변환된 제1 채널 신호를 부호화하는 단계; 및 상기 실수 영역으로 변환된 제2 채널 신호에 대한 잔차 신호를 부호화하는 단계를 수행하는 부호화 장치.
  13. 제12항에 있어서,
    상기 판단하는 단계는,
    상기 제2 채널 신호 및 제2 채널 신호에 대한 잔차 신호 간의 파워를 비교하고, 파워의 비교 결과에 따라 대해 SUM 연산(합 연산), Difference 연산(차등 연산) 및 Bypass 연산(바이패스 연산) 중 어느 하나의 연산을 결정하는 부호화 장치.
  14. 제12항에 있어서,
    상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 작은 경우, 합 연산 또는 차등 연산이 선택되는 부호화 장치.
  15. 제12항에 있어서,
    상기 제2 채널 신호에 대한 잔차 신호가 제2 채널 신호보다 파워가 큰 경우, 바이패스 연산이 선택되는 부호화 장치.
  16. 제11항에 있어서,
    상기 복소 공간 큐는, 상기 복소 영역으로 변환된 제1 채널 신호와 상기 복소 영역으로 변환된 제2 채널 신호를 이용하여 결정되는 부호화 장치.
  17. 제11항에 있어서,
    상기 제2 채널 신호에 대한 잔차 신호는,
    (i) 상기 제2 채널 신호 및 (ii) 상기 제1 채널 신호와 복소 공간 큐를 통해 수정된 제2 채널 신호 간의 차이에 기초하여 결정되는 부호화 장치.
KR1020220018299A 2022-02-11 2022-02-11 복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치 KR20230121431A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220018299A KR20230121431A (ko) 2022-02-11 2022-02-11 복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치
US18/108,431 US20230298599A1 (en) 2022-02-11 2023-06-12 Encoding method and encoding device using complex signal and decoding method and decoding device using complex signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220018299A KR20230121431A (ko) 2022-02-11 2022-02-11 복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치

Publications (1)

Publication Number Publication Date
KR20230121431A true KR20230121431A (ko) 2023-08-18

Family

ID=87801767

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220018299A KR20230121431A (ko) 2022-02-11 2022-02-11 복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치

Country Status (2)

Country Link
US (1) US20230298599A1 (ko)
KR (1) KR20230121431A (ko)

Also Published As

Publication number Publication date
US20230298599A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
TWI463790B (zh) 用於信號分析與合成之適應性混成變換技術（一）
CN104681030B (zh) 用于编码/解码信号的装置和方法
CN101385075B (zh) 用于编码/解码信号的装置和方法
CN103282958B (zh) 信号分析器、信号分析方法、信号合成器、信号合成方法、变换器和反向变换器
KR101756838B1 (ko) 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
KR100745688B1 (ko) 다채널 오디오 신호 부호화/복호화 방법 및 장치
EP1818910A1 (en) Scalable encoding apparatus and scalable encoding method
KR101697550B1 (ko) 멀티채널 오디오 대역폭 확장 장치 및 방법
KR20220151953A (ko) 부가 정보를 이용한 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기
KR20230121431A (ko) 복소 신호를 이용한 부호화 방법 및 부호화 장치, 그리고 복호화 방법 및 복호화 장치
US8255232B2 (en) Audio encoding method with function of accelerating a quantization iterative loop process
JP2006146247A (ja) オーディオ復号装置
US20220262378A1 (en) Audio signal encoding and decoding method using learning model, training method of learning model, and encoder and decoder that perform the methods
JP4134262B2 (ja) 信号処理方法、信号処理装置及びプログラム
JP4454603B2 (ja) 信号処理方法、信号処理装置及びプログラム
KR20210070767A (ko) 오디오 부호화를 위한 잠재 벡터의 양자화 방법 및 양자화 방법을 수행하는 컴퓨팅 장치
US9837085B2 (en) Audio encoding device and audio coding method
US20230245666A1 (en) Encoding method, encoding device, decoding method, and decoding device using scalar quantization and vector quantization
KR20160003083A (ko) 오디오 인코딩 및 디코딩 방법들, 대응하는 컴퓨터-판독 가능한 매체들 및 대응하는 오디오 인코더 및 디코더
US20210280201A1 (en) Encoding device and encoding method
KR20220151997A (ko) 오디오 신호의 코딩을 수행하는 신경망 모델의 훈련을 위한 손실 결정 방법 및 장치
KR20210086394A (ko) 오디오 신호의 부호화 및 복호화 방법 및 장치
JP4767290B2 (ja) 信号処理方法、信号処理装置及びプログラム
KR20220080466A (ko) 플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치
US20150170656A1 (en) Audio encoding device, audio coding method, and audio decoding device