KR20100077424A - 서라운드 사운드 가상화 방법 및 장치 - Google Patents

서라운드 사운드 가상화 방법 및 장치 Download PDF

Info

Publication number
KR20100077424A
KR20100077424A KR1020080135351A KR20080135351A KR20100077424A KR 20100077424 A KR20100077424 A KR 20100077424A KR 1020080135351 A KR1020080135351 A KR 1020080135351A KR 20080135351 A KR20080135351 A KR 20080135351A KR 20100077424 A KR20100077424 A KR 20100077424A
Authority
KR
South Korea
Prior art keywords
signal
surround
signals
filter
channel
Prior art date
Application number
KR1020080135351A
Other languages
English (en)
Other versions
KR101496760B1 (ko
Inventor
이강은
김도형
손창용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20080135351A priority Critical patent/KR101496760B1/ko
Priority to US12/458,028 priority patent/US8705779B2/en
Publication of KR20100077424A publication Critical patent/KR20100077424A/ko
Application granted granted Critical
Publication of KR101496760B1 publication Critical patent/KR101496760B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

서라운드 사운드 가상화 방법 및 장치를 개시한다. 머리전달함수(HRTF: Head-related transfer function) 필터링을 수행하는 오디오 디코더 및 상기 오디오 디코더의 복수개의 출력 신호에 시간 지연을 반영하는 시간 지연부를 포함한다.
HRTF, 서라운드 사운드 가상화, IID, ITD, 복잡도

Description

서라운드 사운드 가상화 방법 및 장치{APPARATUS AND METHOD FOR SURROUND SOUND VIRTUALIZATION}
본 발명의 실시예들은 서라운드 사운드 가상화 방법 및 장치에 관한 것으로, 특히 서라운드 사운드 가상화에 필요한 계산량을 줄일 수 있도록 함으로써, 서라운드 사운드 가상화의 성능을 향상시키는 기술과 관련된 것이다.
오디오 기술은 채널 수 증가에 따른 고음질 위주에서 고현장감 중심으로 진화하고 있다. 고현장감 중심의 오디오 재생을 위해 서라운드 사운드 가상화 기술에 대한 연구가 활발히 이루어지고 있다. 서라운드 사운드 가상화 시스템에서는 2채널의 스테레오 음향을 음원으로 받아 후방 좌우와 센터 채널, 그리고 서브우퍼 스피커 위치로 음상정위(Sound Image Localization)시켜 복수개의(ex. 5.1)채널로 확장한 다음 다시 2채널로 사운드 믹싱하여 전방 좌우 스피커로 내보낼 수 있다. 또한, 헤드폰을 이용한 가상 서라운드 방식에서는 HRTF(Head Related Transfer Function: 머리전달함수) 알고리즘으로 주파수를 필터링하고, 볼륨을 조절하며, 위상차를 만들어 실제 사운드가 인간의 귀에 도달하는 방식을 그대로 흉내 내거나, 휴대폰 등의 영상신호와 연관되어 가상의 입체감을 느끼도록 할 수 있다.
이때, 서라운드 사운드 가상화를 위해서는 매우 많은 계산량을 필요로 하며, 실용적이지 못한 복잡도로 인해 구현상의 어려움이 있었다.
따라서, 적은 계산량으로 서러운드 사운드 가상화를 구현하는 서라운드 사운드 가상화 방법 및 장치에 대한 연구가 지속적으로 필요하다.
본 발명의 일실시예에 따른 3차원 서라운드 사운드 가상화 장치는, 머리전달함수(HRTF: Head-related transfer function) 필터링을 수행하는 오디오 디코더 및 상기 오디오 디코더의 복수개의 출력 신호에 시간 지연을 반영하는 시간 지연부를 포함할 수 있다.
이때, 상기 오디오 디코더는, 인코딩된 비트 스트림으로부터 복수개의 채널 신호를 추출하는 스펙트럴 디코딩부, 상기 추출된 복수개의 채널 신호에 상기 머리전달함수(HRTF) 필터링을 수행하는 서라운드 가상화부 및 상기 서라운드 가상화부의 출력 신호를 타임 도메인으로 전환하는 도메인 전환부를 포함할 수 있다.
또한, 상기 서라운드 가상화부는, 주파수 도메인에서 상기 머리전달함수(HRTF) 필터링을 수행할 수 있다.
또한, 상기 서라운드 가상화부는, 상기 복수개의 채널 신호를 머리전달함수(HRTF) 주파수 특성을 반영하기 위한 복수개의 응답함수와 곱셈연산 할 수 있다.
또한, 상기 도메인 전환부는, 상기 서라운드 가상화부의 출력 신호의 전부 또는 일부를 합산하는 신호 합산부 및 상기 합산된 신호를 타임 도메인으로 전환하는 역변환부를 포함할 수 있다.
본 발명의 일실시예에 따른 서라운드 사운드 가상화 방법은, 인코딩된 비트 스트림으로부터 복수개의 채널 신호를 추출하는 단계, 상기 추출된 복수개의 채널 신호에 머리전달함수(HRTF: Head-related transfer function) 필터링을 수행하는 단계, 상기 복수개의 필터링된 신호를 타임 도메인으로 전환하는 단계 및 상기 타임 도메인으로 전환된 복수개의 신호에 시간 지연을 반영하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, HRTF(Head-related transfer function)를 오디오 디코더 내부의 주파수 도메인에서 처리하도록 함으로써, 서라운드 사운드 가상화에 필요한 계산량을 감소시키는 서라운드 사운드 가상화 방법 및 장치를 제공할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 있어서, 서라운드 사운드 가상화 장치를 나타낸 블록도이다.
도 1을 참고하면, 서라운드 사운드 가상화 장치는 오디오 디코더(110) 및 시간 지연부(120)를 포함할 수 있다. 이때, 오디오 디코더(110)는 머리전달함수(HRTF: Head-related transfer function) 필터링을 수행하며, 스펙트럴 디코딩부(111), 서라운드 가상화부(112), 및 도메인 전환부(113)를 포함할 수 있다.
오디오 디코더(110)의 세부 구성을 살펴보면, 스펙트럴 디코딩부(111)는 인코딩된 비트 스트림으로부터 복수개의 채널 신호를 추출할 수 있다. 예를 들어, 인코딩된 비트 스트림으로부터 5.1채널 서라운드 사운드 효과 구현을 위해 복수개의 채널(프론트 레프트 채널, 프론트 라이트 채널, 센터 채널, 서라운드 레프트 채널, 서라운드 라이트 채널, 저주파수 채널) 신호를 추출할 수 있다.
서라운드 가상화부(112)는 상기 추출된 복수개의 채널 신호에 상기 머리전달함수(HRTF) 필터링을 수행할 수 있다. 예를 들어, 상기 추출된 복수개의 채널 신호가 5.1 채널 신호인 경우, 각 채널 신호에 하나 이상의 응답함수를 곱셈연산하여 HRTF 필터링을 수행할 수 있다. 상기 HRTF 필터링을 통해 복수개의 채널 신호에 두 귀간의 강도차(IID: Interaural Intensity Difference), 스펙트럼 특성(spectral cues) 등을 반영할 수 있다. 또한, 상기 HRTF 필터링은 주파수 도메인에서 수행된다.
도메인 전환부(113)는 상기 서라운드 가상화부의 출력 신호를 타임 도메인으로 전환할 수 있다. 즉, 도메인 전환부(113)는 주파수 도메인 신호를 타임 도메인 신호로 전환하여 출력할 수 있다.
시간 지연부(120)는 상기 오디오 디코더의 복수개의 출력 신호에 시간 지연(ITD: Interaural Time Differences)을 반영할 수 있다. 즉, 상기 시간 지연의 반영은 오디오 디코더의 외부에서 수행되어 서라운드 사운드 가상화의 계산량을 효율적으로 줄일 수 있다.
상기와 같이, HRTF 필터링을 오디오 디코더의 내부에서 수행하고, 상기 HRTF 필터링된 신호를 다시 타임 도메인으로 전환하여 오디오 디코더 외부에서 시간 지연을 반영함으로써, 서라운드 사운드 가상화에 필요한 계산량을 줄이고, 복잡 도를 감소시킬 수 있다.
도 2는 본 발명의 일실시예에 있어서, 서라운드 가상화부(200)의 구성을 나타낸 도면이다.
도 2를 참고하면, 5.1채널의 서라운드 사운드 가상화를 수행하는 경우, 복수개의 채널(프론트 레프트 채널, 프론트 라이트 채널, 센터 채널, 서라운드 레프트 채널, 서라운드 라이트 채널, 저주파수 채널)신호와 하나 이상의 응답함수(Hfront_n, Hrear_n, Hfront_f, Hrear_f, Hcenter)를 하나 이상의 곱셈기(210 내지 290)를 통해 곱셈연산 할 수 있다. 즉, 프론트 레프트 채널 신호는 제1 곱셈기(210) 및 제2 곱셈기(270)를 통해 제1 응답함수(Hfront_n) 및 제2 응답함수(Hfront_f)와 곱셈연산 되어 제1 필터신호 및 제2 필터신호를 생성할 수 있다. 또한, 서라운드 레프트 채널 신호는 제3 곱셈기(220) 및 제4 곱셈기(260)를 통해 제3 응답함수(Hrear_n) 및 제4 응답함수(Hrear_f)와 곱셈연산 되어 제3 필터신호 및 제4 필터신호를 생성할 수 있고, 프론트 라이트 채널 신호는 제5 곱셈기(230) 및 제6 곱셈기(290)를 통해 제5 응답함수(Hfront_f) 및 제6 응답함수(Hfront_n)와 곱셈연산 되어 제5 필터신호 및 제6 필터신호를 생성할 수 있으며, 서라운드 라이트 채널 신호는 제7 곱셈기(240) 및 제8 곱셈기(280)를 통해 제7 응답함수(Hrear_f) 및 제8 응답함수(Hrear_n) 와 곱셈연산 되어 제7 필터신호 및 제8 필터신호를 생성할 수 있다.
여기서, 저주파수 신호(LFE)는 응답함수와 곱셈연산되지 않고 서라운드 가 상화부를 통과할 수 있으며, 센터 채널 신호는 제9 곱셈기(250)를 통해 제9 응답함수(Hcenter)와 곱셈연산 되어 제9 필터 신호를 생성할 수 있다. 또한, 제1 필터신호, 제3 필터신호, 제5 필터신호, 및 제7 필터신호는 레프트 채널 신호 생성에 사용될 수 있고, 제2 필터신호, 제4 필터신호, 제6 필터신호, 및 제8 필터신호는 라이트 채널 신호 생성에 사용될 수 있으며, 제9 신호 및 저주파수 신호는 레프트 채널 신호 및 라이트 채널 신호 생성에 모두 사용될 수 있다.
도 3은 본 발명의 일실시예에 있어서, 시간 지연부의 구성을 나타낸 도면이다.
도 3을 참고하면, 시간 지연부는 오디오 디코더의 외부에 존재하며, 서라운드 가상화부에서 필터링된 신호를 기설정된 시간만큼 지연할 수 있다. 즉, 서라운드 가상화부에서 필터링된 신호에 ITD(Interaural Time Differences)를 적용할 수 있다. 일예로, 상기 도 2에 도시된 것과 마찬가지로, 5.1채널 서라운드 사운드를 구현하는 경우, 도 2의 서라운드 가상화부에서 필터링된 제1 필터신호 내지 제9 필터신호는 시간 지연부(300)의 제1 지연회로 내지 제9 지연회로(310 내지 390)를 통해 각각 기설정된 지연 시간만큼 지연될 수 있다. 이를 통해 좌측 귀 및 우측 귀에 도달하는 사운드의 시간차를 반영하여 현실감있는 서라운드 사운드 가상화가 이루어질 수 있다.
도 4는 본 발명의 일실시예에 따른 서라운드 사운드 가상화 장치의 세부 구성을 도시한 도면이다.
도 4를 참고하면, 서라운드 사운드 가상화 장치가 5.1채널 서라운드 사운드를 가상화하는 경우, 서라운드 가상화부(410)를 통해 필터링된 제1 필터신호 내지 제9 필터신호 및 저주파수 신호를 출력하면, 도메인 전환부(420)를 통해 타임 도메인으로 도메인 전환이 수행될 수 있다. 여기서, 제9 필터신호(센터 채널 신호) 및 저주파수 신호(LFE)는 합산기를 통해 합산되어 하나의 신호로 도메인 전환부(420)에 입력될 수 있다. 이후, 도메인 전환부(420)는 제1 역변환부 내지 제9 역변환부(421 내지 429)를 통해 주파수 도메인에서 타임 도메인으로 전환하여 각 채널의 신호를 출력할 수 있다. 또한, 상기 제1 역변환부 내지 제9 역변환부(421 내지 429)를 통해 타임 도메인으로 전환된 9개의 신호는 시간 지연부(430)의 제1 지연회로 내지 제9 지연회로(431 내지 439)를 통해 기설정된 시간 지연되고, 제1 합산기(440) 및 제2 합산기(450)에서 합산되어 출력될 수 있다.
도 5는 본 발명의 다른 일실시예에 따른 서라운드 사운드 가상화 장치의 세부 구성을 도시한 도면이다.
도 5를 참고하면, 서라운드 가상화부(510)를 통해 필터링된 제1 필터신호 내지 제9 필터신호 및 저주파수 신호를 출력하면, 상기 제1 필터신호 내지 제9 필터신호 및 저주파수 신호 중 일부가 합산부(540)를 통해 합산되어 출력될 수 있다. 즉, 제5 필터신호, 제7 필터신호, 및 제9 필터신호가 하나의 신호로 합산되고, 상기 합산된 신호는 다시 저주파수 신호와 합산되어 출력되며, 제2 필터신호, 제4 필터신호, 및 제9 필터신호가 하나의 신호로 합산되고, 상기 합산된 신호는 다시 저주파수 신호와 합산되어 출력될 수 있다. 즉, 합산부(540)에서 합산되어 출력되는 두 개의 신호를 포함한 6개의 필터 신호가 도메인 전환부(520)로 입력될 수 있다.
입력된 6개의 신호는 도메인 전환부(520)를 통해 타임 도메인으로 도메인 전환이 수행될 수 있다. 이후, 도메인 전환부(520)는 제1 역변환부 내지 제6 역변환부(521 내지 526)를 통해 주파수 도메인에서 타임 도메인으로 전환하여 각 채널의 신호를 출력할 수 있다. 또한, 상기 제1 역변환부 내지 제6 역변환부(521 내지 526)를 통해 타임 도메인으로 전환된 6개의 신호는 시간 지연부(530)의 제1 지연회로 내지 제6 지연회로(531 내지 536)를 통해 기설정된 시간 지연되고, 두 개의 합산기를 통해 합산되어 두 개의 신호로 출력될 수 있다.
도 6은 본 발명의 다른 일실시예에 따른 서라운드 사운드 가상화 장치의 세부 구성을 도시한 도면이다.
도 6을 참고하면, 서라운드 가상화부(610)를 통해 필터링된 제1 필터신호 내지 제9 필터신호 및 저주파수 신호를 출력하면, 상기 제1 필터신호 내지 제9 필터신호 및 저주파수 신호 중 일부가 합산부(640)를 통해 합산되어 출력될 수 있다. 즉, 제5 필터신호, 제7 필터신호, 및 제9 필터신호가 하나의 신호로 합산되고, 상기 합산된 신호는 다시 저주파수 신호 및 제1 필터신호와 합산되어 출력되며, 제2 필터신호, 제4 필터신호, 및 제9 필터신호가 하나의 신호로 합산되고, 상기 합산된 신호는 다시 저주파수 신호 및 제6 필터신호와 합산되어 출력될 수 있다. 즉, 합산부(640)에서 합산되어 출력되는 두 개의 신호를 포함한 4개의 필터 신호가 도메인 전환부(620)로 입력될 수 있다.
입력된 4개의 신호는 도메인 전환부(620)를 통해 타임 도메인으로 도메인 전환이 수행될 수 있다. 이후, 도메인 전환부(620)는 제1 역변환부 내지 제4 역변환부(621 내지 624)를 통해 주파수 도메인에서 타임 도메인으로 전환하여 각 채널의 신호를 출력할 수 있다. 또한, 상기 제1 역변환부 내지 제4 역변환부(621 내지 624)를 통해 타임 도메인으로 전환된 4개의 신호는 시간 지연부(630)의 제1 지연회로 내지 제4 지연회로(631 내지 634)를 통해 기설정된 시간 지연되고, 두 개의 합산기를 통해 합산되어 두 개의 신호로 출력될 수 있다.
도 7은 본 발명의 다른 일실시예에 따른 서라운드 사운드 가상화 장치의 세부 구성을 도시한 도면이다.
도 7을 참고하면, 서라운드 가상화부(710)를 통해 필터링된 제1 필터신호 내지 제9 필터신호 및 저주파수 신호를 출력하면, 상기 제1 필터신호 내지 제9 필터신호 및 저주파수 신호 중 일부가 합산부(740)를 통해 합산되어 출력될 수 있다. 즉, 제5 필터신호, 제7 필터신호, 및 제9 필터신호가 하나의 신호로 합산되고, 상기 합산된 신호는 다시 저주파수 신호, 제1 필터신호, 및 제3 필터신호와 합산되어 출력되며, 제2 필터신호, 제4 필터신호, 및 제9 필터신호가 하나의 신호로 합산되고, 상기 합산된 신호는 다시 저주파수 신호, 제6 필터신호, 및 제8 필터신호와 합산되어 출력될 수 있다. 즉, 합산부(740)에서 합산되어 출력되는 두 개의 신호가 도메인 전환부(720)로 입력될 수 있다.
입력된 두 개의 신호는 도메인 전환부(720)를 통해 타임 도메인으로 도메인 전환이 수행될 수 있다. 이후, 도메인 전환부(720)는 제1 역변환부 및 제2 역변환부(721, 722)를 통해 주파수 도메인에서 타임 도메인으로 전환하여 각 채널의 신호 를 출력할 수 있다. 또한, 상기 제1 역변환부 및 제2 역변환부(721 및 722)를 통해 타임 도메인으로 전환된 두 개의 신호는 시간 지연부(730)의 제1 지연회로 및 제2 지연회로(731 및 732)를 통해 기설정된 시간 지연되어 두 개의 신호로 출력될 수 있다.
상기와 같이, 서라운드 가상화부의 출력 신호들 중 시간 딜레이 간격이 유사한 신호들을 합산하여 도메인 전환하고, 시간 지연함으로써, 계산량을 더욱 감소시킬 수 있는 서라운드 사운드 가상화 장치를 제공할 수 있다.
도 8은 본 발명의 일실시예에 있어서, 서라운드 사운드 가상화 방법을 도시한 흐름도이다.
도 8을 참고하면, 단계(S810)에서는 인코딩된 비트 스트림으로부터 복수개의 채널 신호를 추출할 수 있다. 따라서, 5.1채널 서라운드 사운드 구현의 경우, 인코딩된 비트 스트림의 압축을 해제하고 6개의 신호를 생성할 수 있다.
단계(S820)에서는 상기 추출된 복수개의 채널 신호에 머리전달함수(HRTF: Head-related transfer function) 필터링을 수행할 수 있다. 여기서, HRTF 필터링은 상기 추출된 복수개의 채널 신호에 두 귀간의 강도차(IID: Interaural Intensity Difference), 스펙트럼 특성(spectral cues) 등을 반영할 수 있다.
단계(S830)에서는 상기 복수개의 필터링된 신호를 타임 도메인으로 전환할 수 있다. 즉, 상기 HRTF 필터링은 주파수 도메인에서 수행되므로 주파수 도메인 신호를 타임 도메인 신호로 전환할 수 있다.
단계(S840)에서는 상기 타임 도메인으로 전환된 복수개의 신호에 시간 지연 을 반영할 수 있다. 따라서, 상기 타임 도메인으로 전환된 복수개의 신호에 기설정된 시간 지연값을 적용하여 두 귀간의 시간차(Interaural Time Difference: ITD)를 반영할 수 있다.
상기와 같이, 오디오 디코더 내부에서 HRTF 필터링을 수행하고, 오디오 외부에서 시간 지연을 반영함으로써, 서라운드 사운드 가상화에 필요한 연산량 및 복잡도를 줄여 서라운드 사운드 가상화 장치의 효율을 높일 수 있다.
본 발명의 실시예에 따른 서라운드 사운드 가상화 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구 성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 있어서, 서라운드 사운드 가상화 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 서라운드 가상화부의 구성을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 있어서, 시간 지연부의 구성을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 서라운드 사운드 가상화 장치의 세부 구성을 도시한 도면이다.
도 5는 본 발명의 다른 일실시예에 따른 서라운드 사운드 가상화 장치의 세부 구성을 도시한 도면이다.
도 6은 본 발명의 다른 일실시예에 따른 서라운드 사운드 가상화 장치의 세부 구성을 도시한 도면이다.
도 7은 본 발명의 다른 일실시예에 따른 서라운드 사운드 가상화 장치의 세부 구성을 도시한 도면이다.
도 8은 본 발명의 일실시예에 있어서, 서라운드 사운드 가상화 방법을 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110 : 오디오 디코더
120 : 시간 지연부
111 : 스펙트럴 디코딩부
112 : 서라운드 가상화부
113 : 도메인 전환부

Claims (17)

  1. 머리전달함수(HRTF: Head-related transfer function) 필터링을 수행하는 오디오 디코더; 및
    상기 오디오 디코더의 복수개의 출력 신호에 시간 지연을 반영하는 시간 지연부
    를 포함하는 서라운드 사운드 가상화 장치.
  2. 제1항에 있어서,
    상기 오디오 디코더는,
    인코딩된 비트 스트림으로부터 복수개의 채널 신호를 추출하는 스펙트럴 디코딩부;
    상기 추출된 복수개의 채널 신호에 상기 머리전달함수(HRTF) 필터링을 수행하는 서라운드 가상화부; 및
    상기 서라운드 가상화부의 출력 신호를 타임 도메인으로 전환하는 도메인 전환부
    를 포함하는 서라운드 사운드 가상화 장치.
  3. 제2항에 있어서,
    상기 서라운드 가상화부는,
    주파수 도메인에서 상기 머리전달함수(HRTF) 필터링을 수행하는 것을 특징으로 하는 서라운드 사운드 가상화 장치.
  4. 제2항에 있어서,
    상기 서라운드 가상화부는,
    상기 복수개의 채널 신호를 머리전달함수(HRTF) 주파수 특성을 반영하기 위한 복수개의 응답함수와 곱셈연산 하는 것을 특징으로 하는 서라운드 사운드 가상화 장치.
  5. 제2항에 있어서,
    5.1 채널 사운드를 구현하는 경우 상기 서라운드 가상화부는,
    프런트 레프트 채널 신호를 제1 응답함수 및 제2 응답함수와 각각 곱셈연산하여 제1 필터신호 및 제2 필터신호를 생성하고,
    서라운드 레프트 채널 신호를 제3 응답함수 및 제4 응답함수와 각각 곱셈연산하여 제3 필터신호 및 제4 필터신호를 생성하고,
    프런트 라이트 채널 신호를 제5 응답함수 및 제6응답함수와 각각 곱셈연산하여 제5 필터신호 및 제6 필터신호를 생성하고,
    서라운드 라이트 채널 신호는 제7 응답함수 및 제8 응답함수와 각각 곱셈연산하여 제7 필터신호 및 제8 필터신호를 생성하고,
    센터 채널 신호는 제9 응답함수와 곱셈연산하여 제9 필터신호를 생성하여,
    상기 제1 필터신호 내지 제9 필터신호 및 저주파수 채널 신호(Low Frequency Effect)를 출력하는 것을 특징으로 하는 서라운드 사운드 가상화 장치.
  6. 제5항에 있어서,
    상기 도메인 전환부는,
    상기 제1 필터신호 내지 제9 필터신호 및 저주파수 채널 신호를 각각 시간 도메인으로 전환하는 것을 특징으로 하는 서라운드 사운드 가상화 장치.
  7. 제6항에 있어서,
    상기 시간 지연부는,
    상기 시간 도메인으로 변환된 각각의 신호를 기설정된 시간 지연하여 출력하는 것을 특징으로 하는 서라운드 사운드 가상화 장치.
  8. 제2항에 있어서,
    상기 도메인 전환부는,
    상기 서라운드 가상화부의 출력 신호의 전부 또는 일부를 합산하는 신호 합산부; 및
    상기 합산된 신호를 타임 도메인으로 전환하는 역변환부
    를 포함하는 서라운드 사운드 가상화 장치.
  9. 제1항에 있어서,
    상기 타임 딜레이 모듈의 복수개의 출력 신호를 두 개의 신호로 합산하는 제1 합산기 및 제2합산기
    를 포함하는 서라운드 사운드 가상화 장치.
  10. 인코딩된 비트 스트림으로부터 복수개의 채널 신호를 추출하는 단계;
    상기 추출된 복수개의 채널 신호에 머리전달함수(HRTF: Head-related transfer function) 필터링을 수행하는 단계;
    상기 복수개의 필터링된 신호를 타임 도메인으로 전환하는 단계; 및
    상기 타임 도메인으로 전환된 복수개의 신호에 시간 지연을 반영하는 단계
    를 포함하는 서라운드 사운드 가상화 방법.
  11. 제10항에 있어서,
    상기 필터링을 수행하는 단계는,
    주파수 도메인에서 상기 머리전달함수(HRTF) 필터링을 수행하는 것을 특징으로 하는 서라운드 사운드 가상화 방법.
  12. 제10항에 있어서,
    상기 필터링을 수행하는 단계는,
    상기 추출된 복수개의 채널 신호를 머리전달함수(HRTF) 주파수 특성을 반영 하기 위한 복수개의 응답함수와 곱셈연산 하는 것을 특징으로 하는 서라운드 사운드 가상화 방법.
  13. 제12항에 있어서,
    5.1 채널 사운드를 구현하는 경우 상기 필터링을 수행하는 단계는,
    프런트 레프트 채널 신호를 제1 응답함수 및 제2 응답함수와 각각 곱셈연산하여 제1 필터신호 및 제2 필터신호를 생성하는 단계;
    서라운드 레프트 채널 신호를 제3 응답함수 및 제4 응답함수와 각각 곱셈연산하여 제3 필터신호 및 제4 필터신호를 생성하는 단계;
    프런트 라이트 채널 신호를 제5 응답함수 및 제6응답함수와 각각 곱셈연산하여 제5 필터신호 및 제6 필터신호를 생성하는 단계;
    서라운드 라이트 채널 신호는 제7 응답함수 및 제8 응답함수와 각각 곱셈연산하여 제7 필터신호 및 제8 필터신호를 생성하는 단계;
    센터 채널 신호는 제9 응답함수와 곱셈연산하여 제9 필터신호를 생성하는 단계; 및
    상기 제1 필터신호 내지 제9 필터신호 및 저주파수 채널 신호(Low Frequency Effect)를 출력하는 단계
    를 포함하는 서라운드 사운드 가상화 방법.
  14. 제13항에 있어서,
    상기 타임 도메인으로 전환하는 단계는,
    상기 제1 필터신호 내지 제9 필터신호 및 저주파수 채널 신호를 각각 시간 도메인으로 전환하는 것을 특징으로 하는 서라운드 사운드 가상화 방법.
  15. 제10항에 있어서,
    상기 타임 도메인으로 전환하는 단계는,
    상기 복수개의 필터링된 신호의 전부 또는 일부를 합산하는 단계; 및
    상기 합산된 신호를 타임 도메인으로 전환하는 단계
    를 포함하는 서라운드 사운드 가상화 방법.
  16. 제10항에 있어서,
    상기 시간 지연을 반영한 복수개의 신호를 두 개의 신호로 합산하는 단계
    를 더 포함하는 서라운드 사운드 가상화 방법.
  17. 제10항 내지 제16항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR20080135351A 2008-12-29 2008-12-29 서라운드 사운드 가상화 방법 및 장치 KR101496760B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20080135351A KR101496760B1 (ko) 2008-12-29 2008-12-29 서라운드 사운드 가상화 방법 및 장치
US12/458,028 US8705779B2 (en) 2008-12-29 2009-06-29 Surround sound virtualization apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20080135351A KR101496760B1 (ko) 2008-12-29 2008-12-29 서라운드 사운드 가상화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100077424A true KR20100077424A (ko) 2010-07-08
KR101496760B1 KR101496760B1 (ko) 2015-02-27

Family

ID=42285030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080135351A KR101496760B1 (ko) 2008-12-29 2008-12-29 서라운드 사운드 가상화 방법 및 장치

Country Status (2)

Country Link
US (1) US8705779B2 (ko)
KR (1) KR101496760B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013103256A1 (ko) * 2012-01-05 2013-07-11 삼성전자 주식회사 다채널 음향 신호의 정위 방법 및 장치
US20150156096A1 (en) * 2013-11-29 2015-06-04 Electronics And Telecommunications Research Institute Virtualization service apparatus and method of providing virtualization service
CN112789869A (zh) * 2018-11-19 2021-05-11 深圳市欢太科技有限公司 三维音效的实现方法、装置、存储介质及电子设备
WO2023120957A1 (ko) * 2021-12-22 2023-06-29 삼성전자주식회사 송신 장치, 수신 장치 및 그 제어 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011108788B4 (de) 2011-07-29 2013-04-04 Werner Roth Verfahren zur Verarbeitung eines Audiosignals, Audiowiedergabesystem und Verarbeitungseinheit zur Bearbeitung von Audiosignalen
US9426599B2 (en) 2012-11-30 2016-08-23 Dts, Inc. Method and apparatus for personalized audio virtualization
WO2014164361A1 (en) 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
EP3726858A1 (en) * 2019-04-16 2020-10-21 Fraunhofer Gesellschaft zur Förderung der Angewand Lower layer reproduction
CN111526455A (zh) * 2020-05-21 2020-08-11 菁音电子科技（上海）有限公司 车载音响的校正增强方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4509191A (en) * 1982-09-20 1985-04-02 Scholz Research & Development Electronic stereo reverberation device
EP1304797A3 (en) * 1992-07-07 2007-11-28 Dolby Laboratories Licensing Corporation Digital filter having high accuracy and efficiency
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6307941B1 (en) * 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
KR100416757B1 (ko) * 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US20030202665A1 (en) * 2002-04-24 2003-10-30 Bo-Ting Lin Implementation method of 3D audio
FR2851879A1 (fr) * 2003-02-27 2004-09-03 France Telecom Procede de traitement de donnees sonores compressees, pour spatialisation.
US20050276430A1 (en) * 2004-05-28 2005-12-15 Microsoft Corporation Fast headphone virtualization
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
KR100608025B1 (ko) * 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
KR100677629B1 (ko) * 2006-01-10 2007-02-02 삼성전자주식회사 다채널 음향 신호에 대한 2채널 입체 음향 생성 방법 및장치
JP5173840B2 (ja) 2006-02-07 2013-04-03 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
KR100773560B1 (ko) * 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
US8705748B2 (en) * 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US9445213B2 (en) * 2008-06-10 2016-09-13 Qualcomm Incorporated Systems and methods for providing surround sound using speakers and headphones

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013103256A1 (ko) * 2012-01-05 2013-07-11 삼성전자 주식회사 다채널 음향 신호의 정위 방법 및 장치
US11445317B2 (en) 2012-01-05 2022-09-13 Samsung Electronics Co., Ltd. Method and apparatus for localizing multichannel sound signal
US20150156096A1 (en) * 2013-11-29 2015-06-04 Electronics And Telecommunications Research Institute Virtualization service apparatus and method of providing virtualization service
CN112789869A (zh) * 2018-11-19 2021-05-11 深圳市欢太科技有限公司 三维音效的实现方法、装置、存储介质及电子设备
CN112789869B (zh) * 2018-11-19 2022-05-17 深圳市欢太科技有限公司 三维音效的实现方法、装置、存储介质及电子设备
WO2023120957A1 (ko) * 2021-12-22 2023-06-29 삼성전자주식회사 송신 장치, 수신 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR101496760B1 (ko) 2015-02-27
US8705779B2 (en) 2014-04-22
US20100166238A1 (en) 2010-07-01

Similar Documents

Publication Publication Date Title
KR101496760B1 (ko) 서라운드 사운드 가상화 방법 및 장치
US9842597B2 (en) Binaural rendering method and apparatus for decoding multi channel audio
KR102226071B1 (ko) 다채널 오디오 신호의 바이노럴 렌더링 방법 및 장치
KR102294767B1 (ko) 고채널 카운트 멀티채널 오디오에 대한 멀티플렛 기반 매트릭스 믹싱
JP5964311B2 (ja) ステレオイメージ拡張システム
US8064624B2 (en) Method and apparatus for generating a stereo signal with enhanced perceptual quality
ES2330274T3 (es) Procedimiento y dispositivo de especializacion sonora binaural eficaz en el dominio transformado.
JP7294135B2 (ja) 信号処理装置および方法、並びにプログラム
JP2000152399A (ja) 音場効果制御装置
CN108702582B (zh) 用于双耳对话增强的方法和装置
KR102114440B1 (ko) 일정-파워 페어와이즈 패닝을 갖는 매트릭스 디코더
KR20140017639A (ko) 부가적인 출력 채널들을 제공하기 위하여 스테레오 출력 신호를 발생시키기 위한 장치와 방법 및 컴퓨터 프로그램
JPH10336798A (ja) 音場補正回路
KR101546849B1 (ko) 주파수 영역에서의 음장효과 생성 방법 및 장치
JP2006148936A (ja) 非対称性を利用して仮想立体音響を生成する装置及びその方法、それを行うためのプログラムが記録された記録媒体
JP4497161B2 (ja) 音像生成装置及び音像生成プログラム
JP4951985B2 (ja) 音声信号処理装置、音声信号処理システム、プログラム
KR20110041062A (ko) 가상 스피커 장치 및 가상 스피커 처리 방법
JP2003061196A (ja) ヘッドホン再生装置
US7065218B2 (en) Method of generating a left modified and a right modified audio signal for a stereo system
KR100942143B1 (ko) 기존 오디오 포맷의 오디오 장면 정보를 유지하는 ｗｆｓ재생 방법 및 그 장치
KR102161169B1 (ko) 오디오 신호 처리 방법 및 장치
WO2023164801A1 (en) Method and system of virtualized spatial audio
KR101090962B1 (ko) 오디오 업믹싱 장치 및 방법
JP2007202020A (ja) 音声信号処理装置、音声信号処理方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee