KR20050060552A - 입체 음향 시스템 및 입체 음향 구현 방법 - Google Patents

입체 음향 시스템 및 입체 음향 구현 방법 Download PDF

Info

Publication number
KR20050060552A
KR20050060552A KR1020030092189A KR20030092189A KR20050060552A KR 20050060552 A KR20050060552 A KR 20050060552A KR 1020030092189 A KR1020030092189 A KR 1020030092189A KR 20030092189 A KR20030092189 A KR 20030092189A KR 20050060552 A KR20050060552 A KR 20050060552A
Authority
KR
South Korea
Prior art keywords
channel
sound
signal
transfer function
head transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020030092189A
Other languages
English (en)
Inventor
김형중
지덕구
박만호
윤병식
최송인
김대식
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030092189A priority Critical patent/KR20050060552A/ko
Publication of KR20050060552A publication Critical patent/KR20050060552A/ko
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 입체 음향 시스템 및 입체 음향 구현 방법에 관한 것이다.
본 발명에서는 압축된 5.1 채널 데이터를 수신한 다음에 복호화 한 후 머리전달함수(HRTF)와 유한 및 무한 임펄스 응답 필터로 처리한 2개의 채널 신호를 생성한다. 즉, 머리전달함수를 사용하여 원하는 방향에 음원을 정위시키며, 앞/뒤 방향을 강조하기 위해 머리전달함수에 가중치를 주며, 음장 제어를 위하여 잔향기를 사용하여 3차원의 입체 음향을 구현한다.
이러한 본 발명에 따르면, 일반적인 5.1채널 시스템과 같이 전방 가운데, 전방 좌우, 후방 좌우 5개의 채널에 해당하는 음원을 각각 가상적으로 설정하여 헤드폰에서도 멀티 채널에 의한 다차원 음장을 구현할 수 있다.

Description

입체 음향 시스템 및 입체 음향 구현 방법{Virtual sound system and Virtual Sound implementation method}
본 발명은 입체 음향 시스템에 관한 것으로 특히, 이동통신 단말기와 같이 헤드폰을 이용하여 음향을 생성하는 장치용 입체 음향 시스템 및 입체 음향 구현 방법에 관한 것이다.
최근 들어 초고속 인터넷 및 이동통신 단말기가 일반 대중에게 보편적으로 사용되면서, 인터넷 망 및 무선망을 통한 방송서비스를 포함하여 주문형 오디오(Audio On Demand) 및 주문형 비디오(Video On Demand) 등의 멀티미디어의 서비스가 보편화되고 있고, 3차원 입체영상과 사운드를 제공하는 서비스가 시도되고 있다.
일반적으로 서라운드(surround) 입체 음향 시스템은 전방(center), 전방 좌측(front left), 전방 우측(front right), 후방 좌측(rear left), 후방 우측(rear right)과, 저음을 내는 중앙의 서브우퍼(sub-woofer)를 추가한 형태 즉, 5개의 스피커와 하나의 서브우퍼로 이루어진 5.1채널의 음향 데이터를 생성하여 출력한다. 그런데, 이러한 다채널 음향 시스템은 채널 수만큼의 스피커가 필요하게 되므로, 설치비용과 공간상의 문제가 발생한다.
이러한 문제점을 해결하기 위한 방안으로, 다채널의 입체 음향을 2채널의 가상 입체 음향으로 변환 후 기존의 2채널 헤드폰 및 스피커로 재생하는 방법에 대한 많은 연구가 수행되고 있다. 다채널의 입체 음향을 2채널의 가상입체 음향으로 변환하는 대표적인 방법은 머리전달함수(Head Related Transfer Function: HRTF)를 이용하여 음상정위하는 방법으로, 실제 스피커의 위치에 음원을 가상 배치함으로써 청취자는 실제 다채널 스피커를 통해 듣는 것과 같은 입체감을 느끼게 된다. 이때 헤드폰에 의한 재생은 음원이 머릿속에 머무르는 문제가 있으며, 이를 해결하기 위해서 음장 제어 기술이 사용된다.
기존의 이동 통신 단말기는 헤드폰 또는 이어폰을 통하여 음향 서비스를 제공하고 있다. 기존 방식은 오디오 시스템의 양쪽 스피커에서 재생될 오디오 신호를 그대로 양쪽 귀에 전달하는 방식이다. 이는 스피커를 통하여 재생해 듣는 것과 아주 다른 청각 효과를 가져온다.
즉, 기존 헤드폰 재생의 결정적인 문제로서는, 첫째, 음의 공간감이 머리 속으로 제한된다는 점과 둘째, 각광받고 있는 멀티채널에 의한 다차원 음장을 구현하기가 힘들다는 점이다.
음의 공간감이 머리 속으로 제한되는 현상(Inside the Head Location : IHL)의 원인 중 하나는 헤드폰 시스템의 경우 바로 귀 앞에서 소리가 나게 하기 때문이다. 예를 들어, 왼쪽 스피커에서 나는 소리는 헤드폰의 경우처럼 반드시 왼쪽 귀 앞에서 소리가 나는 것은 아니다. 왼쪽 스피커에서 나는 소리가 공간(스피커와 청취자 사이)을 통하여 전파된 다음 소리의 입사 방향과 인간의 상체 및 얼굴, 그리고 귀의 위치와 모양에 따라 결정되는 머리 전달 함수에 의해 그 스펙트럼 구조가 변경된 후 귀의 입구에 전달되게 된다. 또한 왼쪽 스피커에서 나는 소리는 왼쪽 귀에만 전달되는 것이 아니다. 그 소리는 양쪽 귀에 각각 다른 크기, 스펙트럼 구조, 그리고 다른 시간 간격을 두고 전달된다.
그리고, 인간이 소리의 방향을 파악하는 기능은 양쪽 귀에 들어오는 신호를 서로 비교함으로써 더욱 강화된다. 전방의 왼쪽과 오른쪽에 놓여진 스피커에서 재생하는 신호를 듣는 경우 두 귀를 모두 활용하여 그 두 신호를 듣게 되지만 헤드폰에서는 그 스피커로 재생될 신호를 각각 한쪽 귀에만 들리게 함으로써, 소리가 전방에 위치하고 있다는 느낌을 줄 수 없게 된다.
그러므로 본 발명이 이루고자 하는 기술적 과제는 이러한 문제점을 해결하기 위한 것으로서, 이동 통신 단말기 등의 헤드폰을 이용하여 음향을 생성하는 시스템에서도 입체감 있는 3차원 사운드를 재현할 수 있는 입체 음향 시스템 및 그 입체 음향 구현 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는 채널간 신호를 독립적으로 처리하여, 원 음원의 방향성을 유지하기 위한 것이다.
이러한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 입체 음향 시스템은, 입력되는 오디오 데이터를 복호화 처리하여 다수 채널의 모노 신호를 복원하는 오디오 복호화부; 상기 다수 채널의 모노 신호 중 설정 채널의 모노 신호를 각각 음상 정위시켜 출력하는 음상 제어부; 상기 다수 채널의 모노 신호를 혼합하여 잔향 신호를 생성하는 음장 제어부; 상기 음상 정위된 각 채널의 모노 신호와 상기 잔향 신호를 혼합하여 공간감이 부여된 제1 및 제2 채널의 입체 음향 신호를 각각 출력하는 출력 제어부를 포함한다.
여기서, 음상 제어부는 상기 설정 채널의 모노 신호를 각각 소정 방향으로 음상 정위시켜 출력하는 다수의 음상 정위부를 포함한다. 특히, 각각의 음상 정위부는 해당 채널의 방향에 대한 제1 머리 전달 함수 계수쌍과 반대 방향의 제2 머리 전달 함수 계수쌍을 제공하는 머리전달함수 계수부; 상기 제1 머리 전달 함수 계수쌍과 제2 머리 전달 함수 계수쌍의 스펙트럼차로 이루어지는 머리 전달 함수 계수쌍을 출력하는 머리 전달 함수 계수 처리부; 및 상기 오디오 복호화부로부터 전달되는 해당 채널의 모노 신호와 상기 머리 전달 함수 계수 처리부로부터 제공되는 머리 전달 함수 계수쌍을 각각 컨벌루션하여, 해당 채널 방향으로 음상 정위된 제1 및 제2 채널의 신호를 출력하는 컨벌루션 처리부를 포함한다.
특히, 상기 머리 전달 함수 계수 처리부는 머리 전달 함수 계수를 고정화시키고, 머리 전달 함수의 제1 개수의 탭으로 이루어지는 임펄스 응답을 제1 개수보다 작은 제2 개수의 탭으로 감소시켜 사용할 수 있다. 예를 들어, 상기 머리전달함수 계수는 200개의 탭으로 이루어지는 CIPIC(Center for Image Processing and Integrated Computing)의 머리전달함수의 임펄스 응답을 128탭으로 줄여서 사용한다.
한편, 상기 음장 제어부는 상기 오디오 복호화부에서 출력되는 다수 채널의 모노 신호를 혼합하는 혼합부; 상기 혼합 신호에 대하여 초기 잔향 신호를 생성하는 초기 잔향부; 및 상기 혼합 신호에 대하여 후기 잔향 신호를 생성하는 후기 잔향부를 포함한다. 특히, 상기 초기 잔향부는 유한 임펄스 필터로 이루어지고, 상기 후기 잔향부는 무한 임펄스 필터로 이루어질 수 있다. 또한, 초기 잔향부는 초기 반사열 중에 공간감 형성에 영향을 미치는 24 개의 펄스열을 지연기를 통해 모델링하여 사용하여, 유한 임펄스 필터의 필터링시의 계산량을 감소시킬 수 있다.
한편, 상기 출력 제어부는 상기 음상 제어부에서 출력되는 각 채널의 모노 신호 중 제1 채널 신호와 상기 잔향 신호를 혼합하여 공간감이 부여된 제1 입체 음향 신호를 생성하는 제1 채널용 혼합부; 상기 제1 입체 음향 신호를 설정 레벨로 처리하여 출력하는 제1 이득 처리부; 상기 음상 제어부에서 출력되는 각 채널의 모노 신호 중 제2 채널 신호와 상기 잔향 신호를 혼합하여 공간감이 부여된 제2 입체 음향 신호를 생성하는 제2 채널용 혼합부; 및 상기 제2 입체 음향 신호를 설정 레벨로 처리하여 출력하는 제2 이득 처리부를 포함할 수 있다.
또한, 본 발명의 다른 특징에 따른 입체 음향 구현 방법은, 입력되는 오디오 데이터를 토대로 2 채널의 입체 음향 신호를 생성하는 입체 음향 구현 방법으로, a) 상기 오디오 데이터를 복호화 처리하여 다수 채널의 모노 신호를 복원하는 단계; b) 상기 복원된 다수 채널의 모노 신호 중 설정 채널의 모노 신호를 각각 해당 채널의 머리 전달 함수와 컨벌루션하여 각 채널별로 소정 방향으로 음상 정위된 제1 및 제2 채널 신호를 생성하는 단계; c) 상기 복원된 다수 채널의 모노 신호를 혼합하여 잔향 신호를 생성하는 단계; 및 d) 상기 음상 정위된 각 채널의 제1 및 제2 채널 신호와 상기 잔향 신호를 각각 혼합하여 공간감이 부여된 제1 및 제2 채널의 입체 음향 신호를 각각 출력하는 단계를 포함한다.
여기서, 상기 b) 단계는 각 채널별로 해당 채널의 방향에 대한 제1 머리 전달 함수 계수쌍과 반대 방향의 제2 머리 전달 함수 계수쌍의 스펙트럼차를 가중치로 적용하여 상기 스펙트럼차를 강조한다. 또한, 상기 b) 단계는 상기 채널별 머리 전달 함수 계수를 고정화시키고, 머리 전달 함수의 제1 개수의 탭으로 이루어지는 임펄스 응답을 제1 개수보다 작은 제2 개수의 탭으로 감소시켜, 각 채널의 모노 신호와 컨벌루션시킨다.
이외에도, 본 발명의 특징에 따른 입체 음향 구현 방법은 상기 공간감이 부여된 제1 및 제2 채널의 입체 음향 신호를 설정 레벨로 처리하여 출력하는 단계를 더 포함할 수 있다.
이러한 특징을 가지는 본 발명에 따른 입체 음향 시스템 및 입체 음향 구현 방법은 이동 통신 단말기에 사용될 수 있다. 또한, 상기 다수 채널은 각각 중앙 채널, 전방우측 채널, 전방좌측 채널, 후방우측 채널, 후방좌측 채널 및 각 채널의 소정 대역폭을 차지하는 LFE(Low Frequency Effect) 채널로 이루어지며, 상기 설정 채널은 상기 LFE 채널을 제외한 나머지 채널들일 수 있다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시 예를 첨부된 도면을 참조로 하여 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예에서는 이동 통신 단말기에서도 입체 음향을 재현하기 위하여, 인간의 청각 특성을 반영한 것으로 음원과 청취자 귀의 상대적 위치에 해당하는 머리 전달 함수를 이용하여 5.1 채널 오디오 신호를 복원 및 처리한다.
또한, 이동 통신 단말기에서 다량의 연산 처리가 어려운 점을 고려하여, 머리 전달 함수를 고정화시키고 그 개수를 최소화하여 음향 재현을 위한 연산을 최소화하면서도 실질적인 3차원 사운드를 재현한다.
이외에도, 음의 공간감이 머리 속에 제한되는 점을 해결하기 위하여, 적절한 잔향 효과를 첨가하여 공간감을 느끼게 하며, 특히, 공간감을 살리기 위하여 유한 및 무한 임펄스 응답 필터를 사용하여 잔향을 병렬로 부가한다.
이러한 특징을 가지는 본 발명의 실시 예에서는 가상적인 음원을 기존 스테레오 방식에서와 같이 전방 좌우에서만 설치해야 하는 제한은 없다. 일반적인 5.1채널과 같이 전방 가운데, 전방 좌우, 후방 좌우 5개의 채널에 해당하는 음원을 각각 가상적으로 설정하면 헤드폰에서도 멀티 채널에 의한 다차원 음장을 구현할 수 있다. 오히려 이동 통신 단말기와 같이 헤드폰을 이용한 시스템에서는 스피커가 설치되기 어려운 곳, 예를 들어 천정(바로 머리 위)나 청취자의 아래 바닥 등에도 가상적인 음원을 설정할 수 있기 때문에 더 완벽한 3차원 음장을 용이하게 구현할 수 있다.
다음에는 이러한 특징을 가지는 본 발명의 실시 예에 따른 입체 음향 시스템의 구체적인 구조 및 이를 이용한 입체 음향 구현 방법에 대하여 구체적으로 설명한다.
도 1은 본 발명의 실시 예에 따른 입체 음향 시스템의 구조도이다.
첨부한 도 1에 나타나 있듯이, 본 발명의 실시 예에 따른 입체 음향 시스템은 5.1채널 오디오 복호화부(100), 음상 제어부(200), 음장 제어부(300), 출력 제어부(400)를 포함한다.
5.1채널 오디오 복호화부(100)는 입력되는 압축된 오디오 데이터를 복호화 처리하여 6 채널(중앙, 전방우측, 전방좌측, 후방우측, 후방 좌측, LFE)의 PCM (pulse code modulation) 신호를 복원한다. 여기서, LFE는 다른 채널의 1/20 정도의 대역폭을 차지하는 0.1 채널이다.
음상 제어부(200)는 5.1채널 오디오 복호화부(100)로부터 제공되는 5채널(LFE를 제외한 나머지)의 PCM 데이터를 입력받아 특정 방향으로 음상을 정위시켜 출력 제어부(400)로 출력한다.
음장 제어부(300)는 오디오 복호화부(100)로부터 제공되는 6채널의 PCM 데이터를 입력받아 공간감을 주는 잔향 효과 신호를 생성하여 출력 제어부(400)로 출력한다.
출력 제어부(400)는 음상 제어부(200)로부터 음상 정위된 신호를 입력받고, 음장 제어부(300)로부터 잔향 신호를 입력받아 처리한 후 2채널 신호를 생성 및 출력한다.
도 2에 이러한 구조로 이루어지는 입체 음향 시스템에서, 음상 제어부(200)의 구조가 구체적으로 도시되어 있다.
음상 제어부(200)는 도 2에 도시되어 있듯이, 중앙(center) 채널용 음상 정위부(210), 전방 우측(Front Right) 채널용 음상 정위부(220), 전방 좌측(Front Left) 채널용 음상 정위부(230), 후방 우측(Rear Right) 채널용 음상 정위부(240), 후방 좌측(Rear Left) 채널용 음상 정위부(250)를 포함한다. 5.1채널 오디오 복화화부(100)에 의해 생성된 5개 채널의 PCM 신호는 각 채널 음원 신호별로 해당 음상 정위부를 통하여 특정 방향으로 음상 정위된다.
본 발명의 실시 예에서는 가상 청취 공간으로는 ITU-R에서 규정한 리스닝룸을 기준으로 중앙, 전방 우측, 후방 우측, 전방 좌측, 후방 좌측을 나타내는 5 방향에 대해 모델로 하여 5개의 각 채널 음원 신호를 가상 배치 하였다. 즉, 전방에 중앙 채널을 배치하고, 전방 ±30도 방향에 전방 좌우측(L/R) 스피커를, 그리고 후방 ±110도 방향에는 후방 좌우측 스피커를 가상 배치하였다. 여기서 LFE는 아주 낮은 저음으로 사람이 듣기에 방향성을 구별할 수 없는 대역의 신호이므로 방향감 제어를 하지 않았다.
각각의 음상 정위부(210∼250)는 방향 정보가 없는 각 채널의 모노 신호(PCM 신호)를 각 채널의 스피커가 위치할 방향의 머리 전달 함수와 컨벌루션 처리한다.
도 3에 이를 위한 1 개의 채널에 대한 음상 정위부의 구조가 구체적으로 도시되어 있다.
첨부한 도 3에 도시되어 있듯이, 각 음상 정위부는 머리전달함수 계수부(211), 머리전달함수 계수 처리부(212), 컨벌루션 처리부(213)를 포함한다.
머리전달함수를 이용하여 입력되는 오디오 신호를 필터링하여 음원을 원하는 위치에 정위시킬 수 있지만, 여전히 앞/ 뒤 구분의 혼동과 음원이 머리속에 머무르는 문제점이 존재한다. 이를 해결하기 위하여, 본 발명의 실시 예에서 머리 전달 함수는 앞/ 뒤 머리전달함수의 스펙트럼 차이를 가중치로 적용하여 스펙트럼 차이를 강조한다.
이를 위해, 머리전달함수 계수부(211)는 해당 채널의 방향에 대한 머리 전달 함수 계수쌍(H_L_C, H_R_C)과 스펙트럼차를 계산하기 위해 필요한 반대 방향의 머리전달함수 계수(H_L_C', H_R_C’)를 제공한다.
그리고, 머리전달함수 계수 처리부(212)는 해당 채널의 방향에 대한 머리 전달 함수 계수쌍(H_L_C, H_R_C)에서 반대 방향의 머리전달함수 계수(H_L_C', H_R_C’)를 각각 감산하여, 두 머리전달함수 계수의 스펙트럼차를 가지는 좌우측의 두 채널의 머리 전달함수 계수(R_C, L_C)를 산출한다.
컨벌루션 처리부(213)는 오디오 복호화부(100)로부터 전달되는 각 채널의 모노 신호(PCM 신호)를 머리전달함수 계수 처리부(212)로부터 제공되는 각 채널의 스피커가 위치할 방향의 머리 전달 함수(R_C, L_C)와 컨벌루션하여 특정 방향으로 음상 정위된 2 채널(좌우측 채널)의 신호를 출력한다.
특히, 본 발명의 실시 예에서는 이러한 음상 정위 과정에 사용되는 머리전달함수 계수로 CIPIC의 머리전달함수의 임펄스 응답을 128탭으로 줄여서 사용한다.
CIPIC 머리전달함수의 임펄스 응답은 원래 200개 탭이나, 이는 상대적으로 많은 연산량을 요구하여 단말기에서 사용7 어렵다. 중앙 채널로 사용되는 0도 방향의 HRTF 계수를 분석하면 앞부분의 약 25샘플까지, 뒷부분의 약 180샘플 이후로는 거의 값을 가지지 않는 것을 볼 수 있다. 따라서, 거의 값을 가지지 않는 38 샘플(앞:24, 뒤:14)과 72 샘플(앞:22, 뒤:50)을 각각 감소시켜 자체 스펙트럼 차이를 관찰하면 거의 차이를 느낄 수가 없다.
도 4에 이러한 HRIR 탭 수 감소에 따른 스펙트럼 특성을 나타낸 그래프(0도 방향)가 도시되어 있다. 도 4에 도시된 그래프는 거의 값을 가지지 않는 38 샘플(앞:24, 뒤:14)과 72샘플(앞:22, 뒤:50)을 각각 HRTF을 각각 감소시켜 스펙트럼 차이를 관찰한 결과를 나타낸 것이다. 도 4를 참조하면, 두 샘플간의 스펙트럼 차를 거의 느낄 수가 없음을 알 수 있다.
실제 모노 음원을 통해 머리전달함수와 컨벌루션한 결과의 차이를 비교해 보아도 원래의 200 탭을 쓸 경우와 차이를 거의 구분할 수 없다. 따라서, 이러한 방식으로 5 채널의 머리전달함수 계수에 대해 스펙트럼 차이를 거의 느낄 수 없는 탭의 경계치를 확인한 결과 다음과 같은 결과를 얻었다.
중앙(0도) : 22 ~ 150
전방 우측(30도) : 21~140
전방 좌측(30도) : 20 ~ 140
후방 우측(-110도) : 15~140
후방 좌측(-110도) : 15~140
5개 채널에 대해 구한 경계치를 종합하여 감소할 탭 수의 범위를 15~143 샘플로 정하고, 탭 수를 감소한 머리전달함수의 자체 스펙트럼과 청감 변화를 관찰하였다. 탭 수가 감소한 머리전달함수 자체의 스펙트럼의 변화는 거의 나타나지 않았으며 실제 머리전달함수와 컨벌루션된 결과를 청취하여도 차이를 느낄 수 없었다. 도 5에 15∼143 샘플로 탭 수를 감소했을 때의 스펙트럼 특성을 나타낸 그래프(110도 방향)가 도시되어 있다. 따라서 본 발명의 실시 예에서는 15~143 샘플 사이의 128 탭을 각 채널의 머리전달함수 계수로 사용한다.
힌편, 위의 음상 정위 과정을 거쳐서 방향감을 갖게 된 2채널 신호를 헤드폰을 통해 들어보면 실제 상황과는 다르게 머리 안에 머무르는 느낌을 많이 받게 된다. 이는 머리전달함수가 음원과 청취자의 귀까지의 직접 경로만을 표현하고 있는데 반해, 실제 상황에서는 직접 경로를 통해 도달한 직접음 뿐만 아니라 청취공간의 형태에 따라 다양하게 반사되어 온 반향신호가 같이 도달하기 때문이다.
청취자는 직접음으로 음의 방향을 지각할 수 있고, 반향 신호를 통해서 주변 공간의 정보를 얻고 공간감을 느끼게 된다. 따라서 본 발명의 실시 예에서는 머리전달함수를 통해 컨벌루션한 결과를 직접음으로 생각하고, 이 것과 병렬로 잔향을 부여함으로써 현실에서 느낄수 있는 공간감을 느낄 수있도록 하여, 음이 자연스럽게 머리 밖으로 나가는 결과를 얻을 수 있었다.
이를 위하여, 공간감을 주는 잔향 효과 신호를 생성하는 음장 제어부(300)는 다음과 같은 구조로 이루어진다.
도 6에 본 발명의 실시 예에 따른 음장 제어부(300)의 구조가 도시되어 있다. 첨부한 도 6에 도시되어 있듯이, 음장 제어부(300)는 혼합부(310), 초기 잔향부(320), 후기 잔향부(330)를 포함한다.
혼합부(310)는 오디오 복호화부(100)로부터 출력되는 6 채널의 PCM 신호를 혼합하여 출력하며, 초기 잔향부(320) 및 후기 잔향부(330)는 6 채널의 모노 신호의 합에 대하여 각각 초기 잔향(ER) 및 후기 잔향(LR_R, LR_L)을 발생시킨다.
본 발명의 실시 예에서는 후기 잔향 신호의 경우 음원의 방향에 무관하고 초기 반사 신호의 경우도 각 채널별로 생성하지 않고도 어느 정도의 성능을 나타내므로, 각 채널별 음원에 대하여 각각 잔향을 생성하지 않고 혼합부(310)에 의하여 출력되는 6 채널의 모노 소스의 합에 대해 잔향을 생성한다.
특히, 본 실시 예에서, 초기 잔향부(320)는 유한 임펄스 필터 형태로 이루어지며, 후기 잔향부(330)는 무한 임펄스 필터 형태로 이루어진다.
유한 임펄스 필터 형태의 잔향기는 성능과 계산량을 고려한 알고리즘이지만 어느 정도의 성능을 내기 위해서는 수천 개의 초기 반사열이 필요하다. 무한 임펄스 필터 형태의 잔향기는 계산량이 적어서 실시간 구현에 유용하게 사용할 수 있지만, 약간의 부자연스러운 잔향음을 생성한다. 자연스러운 잔향효과를 내기 위해서는 실제로 룸에서 측정한 유한 임펄스 필터 타입의 필터를 사용하면 가장 좋겠지만 계산량이 매우 높아서 실시간 구현에는 적합하지 않다.
따라서, 본 발명의 실시 예에서는 계산량과 잔향효과를 적절히 고려하여 초기 반사음(초기 잔향)을 생성하는 초기 잔향부(320)는 유한임펄스필터 형태로, 후기 잔향 신호를 생성하는 후기 잔향부(330)는 무한임펄스필터 형태로 구성하여 실감나고 충실한 잔향 효과를 얻을 수 있도록 한다.
특히, 초기 잔향부(320)는 초기 반사열의 유한 임펄스 필터의 필터링에 의한 계산량을 줄이기 위해 초기 반사열 중에 공간감 형성에 기여하는 펄스만을 찾아 지연기와 곱셈기를 통해 각 펄스를 생성한다. 이 때 초기 반사열은 영상 방법(image method)를 통해 형성된 2000개(약 45msec)의 펄스열에서 청감 테스트를 통해 공간감 형성에 영향을 미치는 24 개의 펄스열을 지연기를 통해 모델링 하였다. 그 결과 1000 탭을 다 사용하는 유한임펄스필터에 의한 잔향 생성 결과보다 양호한 성능을 나타내면서 계산량을 줄일 수 있었다.
한편, 위에 기술된 바와 같은 구조로 이루어지는 음상 제어부(200) 및 음장 제어부(300)에서 각각 출력되는 2 채널의 신호와 초기 및 후기 잔향 신호를 토대로, 입체 음향의 2채널 신호를 생성하는 출력 제어부(400)는 다음과 같은 구조로 이루어진다.
도 7에 본 발명의 실시 예에 따른 출력 제어부의 구조가 도시되어 있다.
첨부한 도 7에 도시되어 있듯이, 출력 제어부(400)는 우측 채널용 혼합부(410), 좌측 채널용 혼합부(420), 우측 채널용 이득처리부(430), 및 좌측 채널용 이득처리부(440)를 포함한다.
우측 채널용 혼합부(410)는 음상 제어부(200)의 각각의 음상 정위부 (210∼250)로부터 출력되는 우측 채널용 출력인 Rd_1, Rd_2, Rd_3, Rd_4, Rd_5 신호들과, 음장 제어부(300)의 우측 채널용 출력인 후기 잔향 신호 LR-R 신호와 초기 잔향 신호인 ER 신호를 혼합하여 출력한다. 즉, 우측 방향성을 가지도록 음상 정위된 각 채널의 신호들에 잔향 신호를 혼합하여 공간감을 부여한다.
좌측 채널용 혼합부(420)는 음상 제어부(200)의 각각의 음상 정위부(210∼250)로부터 출력되는 좌측 채널용 출력인 Ld_1, Ld_2, Ld_3, Ld_4, Ld_5 신호들과, 음장 제어부(300)의 좌측 채널용 출력인 후기 잔향 신호 LR-L 신호와 초기 잔향 신호인 ER 신호를 혼합하여 출력한다. 즉, 좌측 방향성을 가지도록 음상 정위된 각 채널의 신호들에 잔향 신호를 혼합하여 공간감을 부여한다.
이와 같이, 혼합된 2채널의 신호는 각각 우측 채널용 이득처리부(430)와, 좌측 채널용 이득처리부(440)로 각각 입력되어, 원하는 신호 레벨로 처리되어 출력된다.
비록, 본 발명이 가장 실제적이며 바람직한 실시 예를 참조하여 설명되었지만, 본 발명은 상기 개시된 실시 예에 한정되지 않으며, 후술되는 특허청구범위 내에 속하는 다양한 변형 및 등가물들도 포함한다. 예를 들어, 위의 실시 예에서는 본 발명에 따른 입체 음향 시스템이 이동 통신 단말기에 적용되는 것을 토대로 설명하였으나, 본 발명에 따른 입체 음향 시스템은 이동 통신 단말기에 한정되지 않고 헤드폰을 이용하여 음향을 재생하는 모든 장치에 적용될 수 있다.
이상에서와 같이, 본 발명에 따르면, 일반적인 5.1채널 시스템과 같이 전방 가운데, 전방 좌우, 후방 좌우 5개의 채널에 해당하는 음원을 각각 가상적으로 설정하여 헤드폰에서도 멀티 채널에 의한 다차원 음장을 구현할 수 있으므로, 이동 통신 단말기에서 다양하면서 실감나는 멀티미디어 서비스를 제공할 수 있다. 또한, 음상 정위시에 머리전달함수의 스펙트럼 차이를 가중치로 적용하여 앞/뒤 구분의 혼동을 개선하였다.
또한, 머리전달함수를 통해 컨벌루션한 신호에 대하여 병렬로 잔향을 부여하여, 현실에서 느낄 수 있는 공간감을 느낄 수 있다. 특히, 음장 제어시 계산량을 줄이면서도 출력 신호에 생생한 공간감을 부여할 수 있다.
도 1은 본 발명의 실시 예에 따른 이동통신 단말기용 입체 음향 시스템의 구조를 나타낸 도이다.
도 2는 도 1에 도시된 음상 제어부의 구체적인 구조도이다.
도 3은 도 2에 도시된 하나의 음상 정위부의 구조도이다.
도 4는 탭 수 감소에 따른 스펙트럼 특성을 나타낸 그래프(0도 방향)이다.
도 5는 15∼143 샘플로 탭 수를 감소했을 때의 스펙트럼 특성을 나타낸 그래프(110도 방향)이다.
도 6은 도 1에 도시된 음장 제어부의 구체적인 구조도이다.
도 7은 도 1에 도시된 출력 제어부의 구체적인 구조도이다.

Claims (15)

  1. 입력되는 오디오 데이터를 처리하여 입체 음향을 생성하는 입체 음향 시스템에서,
    상기 입력되는 오디오 데이터를 복호화 처리하여 다수 채널의 모노 신호를 복원하는 오디오 복호화부;
    상기 다수 채널의 모노 신호 중 설정 채널의 모노 신호를 각각 음상 정위시켜 출력하는 음상 제어부;
    상기 다수 채널의 모노 신호를 혼합하여 잔향 신호를 생성하는 음장 제어부; 및
    상기 음상 정위된 각 채널의 모노 신호와 상기 잔향 신호를 혼합하여 공간감이 부여된 제1 및 제2 채널의 입체 음향 신호를 각각 출력하는 출력 제어부
    를 포함하는 입체 음향 시스템.
  2. 제1항에 있어서
    상기 음상 제어부는
    상기 설정 채널의 모노 신호를 각각 소정 방향으로 음상 정위시켜 출력하는 다수의 음상 정위부를 포함하며,
    상기 각각의 음상 정위부는
    해당 채널의 방향에 대한 제1 머리 전달 함수 계수쌍과 반대 방향의 제2 머리 전달 함수 계수쌍을 제공하는 머리전달함수 계수부;
    상기 제1 머리 전달 함수 계수쌍과 제2 머리 전달 함수 계수쌍의 스펙트럼차로 이루어지는 머리 전달 함수 계수쌍을 출력하는 머리 전달 함수 계수 처리부; 및
    상기 오디오 복호화부로부터 전달되는 해당 채널의 모노 신호와 상기 머리 전달 함수 계수 처리부로부터 제공되는 머리 전달 함수 계수쌍을 각각 컨벌루션하여, 해당 채널 방향으로 음상 정위된 제1 및 제2 채널의 신호를 출력하는 컨벌루션 처리부
    를 포함하는 입체 음향 시스템.
  3. 제2항에 있어서
    상기 머리 전달 함수 계수 처리부는 머리 전달 함수 계수를 고정화시키고, 머리 전달 함수의 제1 개수의 탭으로 이루어지는 임펄스 응답을 제1 개수보다 작은 제2 개수의 탭으로 감소시켜 사용하는 입체 음향 시스템.
  4. 제3항에 있어서
    상기 머리 전달 함수 계수는 200개의 탭으로 이루어지는 CIPIC(Center for Image Processing and Integrated Computing)의 머리전달함수의 임펄스 응답을 128탭으로 줄여서 사용하는 입체 음향 시스템.　　
  5. 제1항에 있어서,
    상기 음장 제어부는
    상기 오디오 복호화부에서 출력되는 다수 채널의 모노 신호를 혼합하는 혼합부;
    상기 혼합 신호에 대하여 초기 잔향 신호를 생성하는 초기 잔향부; 및
    상기 혼합 신호에 대하여 후기 잔향 신호를 생성하는 후기 잔향부
    를 포함하는 입체 음향 시스템.
  6. 제5항에 있어서
    상기 초기 잔향부는 유한 임펄스 필터로 이루어지고, 상기 후기 잔향부는 무한 임펄스 필터로 이루어지는 입체 음향 시스템.
  7. 제6항에 있어서,
    상기 초기 잔향부는 초기 반사열 중에 공간감 형성에 영향을 미치는 24 개의 펄스열을 지연기를 통해 모델링하여 사용하여, 유한 임펄스 필터의 필터링시의 계산량을 감소시키는 입체 음향 시스템.
  8. 제2항에 있어서,
    상기 출력 제어부는
    상기 음상 제어부에서 출력되는 각 채널의 모노 신호 중 제1 채널 신호와 상기 잔향 신호를 혼합하여 공간감이 부여된 제1 입체 음향 신호를 생성하는 제1 채널용 혼합부;
    상기 제1 입체 음향 신호를 설정 레벨로 처리하여 출력하는 제1 이득 처리부;
    상기 음상 제어부에서 출력되는 각 채널의 모노 신호 중 제2 채널 신호와 상기 잔향 신호를 혼합하여 공간감이 부여된 제2 입체 음향 신호를 생성하는 제2 채널용 혼합부; 및
    상기 제2 입체 음향 신호를 설정 레벨로 처리하여 출력하는 제2 이득 처리부
    를 포함하는 입체 음향 시스템.
  9. 제1항에 있어서,
    상기 입체 음향 시스템은 이동 통신 단말기에 사용되는 것을 특징으로 하는 입체 음향 시스템.
  10. 입력되는 오디오 데이터를 토대로 2 채널의 입체 음향 신호를 생성하는 입체 음향 구현 방법에 있어서
    a) 상기 오디오 데이터를 복호화 처리하여 다수 채널의 모노 신호를 복원하는 단계;
    b) 상기 복원된 다수 채널의 모노 신호 중 설정 채널의 모노 신호를 각각 해당 채널의 머리 전달 함수와 컨벌루션하여 각 채널별로 소정 방향으로 음상 정위된 제1 및 제2 채널 신호를 생성하는 단계;
    c) 상기 복원된 다수 채널의 모노 신호를 혼합하여 잔향 신호를 생성하는 단계; 및
    d) 상기 음상 정위된 각 채널의 제1 및 제2 채널 신호와 상기 잔향 신호를 각각 혼합하여 공간감이 부여된 제1 및 제2 채널의 입체 음향 신호를 각각 출력하는 단계
    를 포함하는 입체 음향 구현 방법.
  11. 제10항에 있어서
    상기 b) 단계는 각 채널별로 해당 채널의 방향에 대한 제1 머리 전달 함수 계수쌍과 반대 방향의 제2 머리 전달 함수 계수쌍의 스펙트럼차를 가중치로 적용하여 상기 스펙트럼차를 강조하는 입체 음향 구현 방법.
  12. 제10항에 있어서
    상기 b) 단계는 상기 채널별 머리 전달 함수 계수를 고정화시키고, 머리 전달 함수의 제1 개수의 탭으로 이루어지는 임펄스 응답을 제1 개수보다 작은 제2 개수의 탭으로 감소시켜, 각 채널의 모노 신호와 컨벌루션시키는 입체 음향 구현 방법.
  13. 제10항에 있어서
    상기 c) 단계는 상기 혼합된 다수 채널의 모노 신호를 유한 임퍼스 필터로 필터링시켜 초기 잔향 신호를 생성하고, 상기 혼합된 다수 채널의 모노 신호를 무한 임펄스 필터로 필터링시켜 후기 잔향 신호를 생성하는 입체 음향 구현 방법.
  14. 제10항에 있어서
    d) 상기 공간감이 부여된 제1 및 제2 채널의 입체 음향 신호를 설정 레벨로 처리하여 출력하는 단계를 더 포함하는 입체 음향 구현 방법.
  15. 제10항에 있어서
    상기 다수 채널은 각각 중앙 채널, 전방우측 채널, 전방좌측 채널, 후방우측 채널, 후방좌측 채널 및 각 채널의 소정 대역폭을 차지하는 LFE(Low Frequency Effect) 채널로 이루어지며, 상기 설정 채널은 상기 LFE 채널을 제외한 나머지 채널들인 입체 음향 구현 방법.
KR1020030092189A 2003-12-16 2003-12-16 입체 음향 시스템 및 입체 음향 구현 방법 Ceased KR20050060552A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030092189A KR20050060552A (ko) 2003-12-16 2003-12-16 입체 음향 시스템 및 입체 음향 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030092189A KR20050060552A (ko) 2003-12-16 2003-12-16 입체 음향 시스템 및 입체 음향 구현 방법

Publications (1)

Publication Number Publication Date
KR20050060552A true KR20050060552A (ko) 2005-06-22

Family

ID=37253246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030092189A Ceased KR20050060552A (ko) 2003-12-16 2003-12-16 입체 음향 시스템 및 입체 음향 구현 방법

Country Status (1)

Country Link
KR (1) KR20050060552A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100829560B1 (ko) * 2006-08-09 2008-05-14 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 방법 및 장치,멀티채널이 다운믹스된 신호를 2 채널로 출력하는 복호화방법 및 장치
KR100847453B1 (ko) * 2006-11-20 2008-07-21 주식회사 대우일렉트로닉스 입체 음향을 위한 적응 간섭 제거 방법
US7853023B2 (en) 2005-11-30 2010-12-14 Samsung Electronics Co., Ltd. Method and apparatus to reproduce expanded sound using mono speaker

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853023B2 (en) 2005-11-30 2010-12-14 Samsung Electronics Co., Ltd. Method and apparatus to reproduce expanded sound using mono speaker
KR100829560B1 (ko) * 2006-08-09 2008-05-14 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 방법 및 장치,멀티채널이 다운믹스된 신호를 2 채널로 출력하는 복호화방법 및 장치
US8867751B2 (en) 2006-08-09 2014-10-21 Samsung Electronics Co., Ltd. Method, medium, and system encoding/decoding a multi-channel audio signal, and method medium, and system decoding a down-mixed signal to a 2-channel signal
KR100847453B1 (ko) * 2006-11-20 2008-07-21 주식회사 대우일렉트로닉스 입체 음향을 위한 적응 간섭 제거 방법

Similar Documents

Publication Publication Date Title
Noisternig et al. A 3D ambisonic based binaural sound reproduction system
Hacihabiboglu et al. Perceptual spatial audio recording, simulation, and rendering: An overview of spatial-audio techniques based on psychoacoustics
ES2249823T3 (es) Descodificacion de audio multifuncional.
KR100416757B1 (ko) 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US7583805B2 (en) Late reverberation-based synthesis of auditory scenes
EP0965247B1 (en) Multi-channel audio enhancement system for use in recording and playback and methods for providing same
CN1829393B (zh) 产生用于双声道头戴耳机的立体声的方法和设备
EP3895451B1 (en) Method and apparatus for processing a stereo signal
US20070172086A1 (en) Utilization of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
KR20050119605A (ko) 7.1 채널 오디오 재생 방법 및 장치
JP2002159100A (ja) ２チャネル・ステレオ・フォーマットの左及び右のチャネル入力信号を左及び右のチャネル出力信号に変換する方法及び信号処理装置
Jot et al. Binaural simulation of complex acoustic scenes for interactive audio
US8817997B2 (en) Stereophonic sound output apparatus and early reflection generation method thereof
US20050273324A1 (en) System for providing audio data and providing method thereof
US10440495B2 (en) Virtual localization of sound
KR20050064442A (ko) 이동통신 시스템에서 입체음향 신호 생성 장치 및 방법
JP7286876B2 (ja) 変換パラメータによるオーディオ符号化／復号化
KR100849030B1 (ko) 복수 채널 스피커 환경에서 가상 스피커 기술을 사용한입체음향 재생 장치
JP2004538669A (ja) ２つのスピーカを用いたサランド音の創成方法
Vickers Fixing the phantom center: diffusing acoustical crosstalk
Jot et al. Binaural concert hall simulation in real time
JP2000333297A (ja) 立体音生成装置、立体音生成方法及び立体音を記録した媒体
KR100802339B1 (ko) 스테레오 스피커 환경에서 가상 스피커 기술을 사용한입체음향 재생 장치 및 방법
KR20050060552A (ko) 입체 음향 시스템 및 입체 음향 구현 방법
KR20010086976A (ko) 채널 다운 믹싱 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20031216

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20050909

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20060306

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20050909

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I