KR100639814B1 - 멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을구현한 프로그램을 기록한 기록매체 - Google Patents

멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을구현한 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR100639814B1
KR100639814B1 KR1020050060975A KR20050060975A KR100639814B1 KR 100639814 B1 KR100639814 B1 KR 100639814B1 KR 1020050060975 A KR1020050060975 A KR 1020050060975A KR 20050060975 A KR20050060975 A KR 20050060975A KR 100639814 B1 KR100639814 B1 KR 100639814B1
Authority
KR
South Korea
Prior art keywords
channel
sample
data
module
stereo
Prior art date
Application number
KR1020050060975A
Other languages
English (en)
Inventor
강동협
황보율
Original Assignee
(주)인투미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인투미디어 filed Critical (주)인투미디어
Priority to KR1020050060975A priority Critical patent/KR100639814B1/ko
Application granted granted Critical
Publication of KR100639814B1 publication Critical patent/KR100639814B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 다양한 미디어 음원을 입체 음향으로 재생시킬 수 있는 입체 음향 재생 방법에 관한 것이다. 상기 재생 방법을 구현한 프로그램은, 재생하고자 하는 음원 데이터를 입력받는 음원 입력 모듈과, 상기 입력된 음원 데이터로부터 PCM 데이터를 생성하는 채널 신호 추출 모듈과, 상기 PCM 데이터를 이용하여 PCM 블록을 구성하는 각 채널별 샘플 데이터를 생성하고, 생성된 샘플 데이터들을 PCM 블록의 각 해당영역에 할당시키는 채널 분리 모듈과, 상기 PCM 블록에 할당된 각 채널별 샘플 데이터들에 대하여 소정의 효과를 부여하는 채널별 효과 부여 모듈과, 각 채널별로 소정의 효과가 부여된 채널별 샘플 데이터들을 일정 비율로 믹싱하여 PCM 블록의 각 채널별 최종 출력값을 결정하는 채널별 믹싱 모듈과, 스피커 환경에 따라 채널별 최종 출력값을 멀티 채널 또는 2-채널로 출력하는 채널별 출력 모듈을 구비한다. 여기서, PCM 블록은 최대 5.1 채널로 이루어지며, 5.1 채널은 중앙 채널, 좌측/우측 스테레오 채널. 좌측/우측 서라운드 채널, LFE 채널이다.
입체 음향, 5.1채널, 재생, 멀티채널

Description

멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을 구현한 프로그램을 기록한 기록매체{METHOD FOR PLAYING SOUND RESOURCE HAVING MULTI-CHANNEL AND MEDIUM OF RECORDING PROGRAM EMBODIMENED THE METHOD}
도 1은 일반적인 5.1 채널 사운드 시스템의 스피커 배치도를 개략적으로 도시한 구성도이다.
도 2는 일반적인 머리 전달 함수를 측정할 때의 모습을 도식적으로 도시한 도면이다.
도 3은 도 2의 머리 전달 함수에 대한 컨볼루션 과정을 도시한 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 입체 음향 재생 프로그램의 구성을 개략적으로 도시한 블록도이다.
도 5는 본 발명의 바람직한 실시예에 따른 입체 음향 재생 프로그램 중 채널 분리 모듈의 동작을 순차적으로 설명하는 흐름도이다.
도 6은 본 발명의 바람직한 실시예에 따라 음원 데이터를 채널별로 분리하여 저장하는 PCM 블록의 구조를 도시한 구성도이다.
도 7은 본 발명의 바람직한 실시예에 따른 입체 음향 재생 프로그램 중 채널별 효과 부여 모듈의 동작을 순차적으로 설명하는 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
400 : 입체 음향 재생 프로그램
410 : 음원 입력 모듈
420 : 채널 신호 추출 모듈
430 : 채널 분리 모듈
440 : 채널별 효과 부여 모듈
450 : 채널별 믹싱 모듈
460 : 채널별 출력 모듈
본 발명은 멀티채널을 갖는 입체 음향 재생 방법 및 상기 방법을 구현한 프로그램을 기록한 기록매체에 관한 것으로서, 더욱 구체적으로는 다양한 미디어 음원을 멀티 채널 또는 2-채널의 입체 음향으로 재생시키는 입체 음향 재생 방법과 상기 입체 음향 재생 방법을 소프트웨어로 구현한 프로그램을 기록한 기록 매체에 관한 것이다.
돌비(Dolby) 디지털 사운드나 DTS(Digital Theater System)과 같은 입체 음향 시스템은 5.1 채널 사운드 시스템으로 이루어진다. 도 1은 일반적인 5.1 채널 사운드 시스템의 스피커 배치도를 개략적으로 도시한 것이다. 도 1에 도시된 바와 같이, 5.1 채널 사운드 시스템은 좌측 스테레오 채널(Left Stereo Channel;110), 우측 스테레오 채널(Right Stereo Channel;120), 좌측 서라운드 채널(Left Surround Channel;130), 우측 서라운드 채널(Right Surround Channel;140), 중앙 채널(Central Channel;150) 및 저주파 향상 채널(Low Frequency Enhancement Channel;160)로 구성되며, 해당 스피커로 해당 채널 신호를 출력함으로써 입체 음향을 제공하게 된다.
최근 3차원 가상 현실을 요하는 멀티콘텐츠, CD-ROM 타이틀, 게임기, 가상 현실 등의 멀티미디어 장치에서 고가의 장비의 설치없이 2 개의 스피커만을 사용하여 3차원 음향 효과를 낼 수 있도록 하는 입체 음향 기법에 관한 연구가 많이 이루어지고 있다. 2채널 방식에 근거한 3차원 가상 입체 음향 기술은 모노(mono) 음원에 음향의 방향과 위치 등의 방향감과 현장감을 부여하여 청취자에게 가상 청취 공간의 느낌을 전달할 수 있도록 하는 기술이다.
즉, 3차원 가상 입체 음향이란 헤드폰이나 스피커를 통해 가상 공간의 특정 위치에 음원을 형성하여 사용자가 듣는 소리가 마치 실제로 그 가상 음원이 위치하고 있는 곳에서 들려 오는 것처럼 방향감, 거리감, 공간감 등을 형성해 주는 것을 말한다.
사람의 눈은 전방의 일정 영역만 바라볼 수 있기 때문에 들려오는 소리 정보에 의해서 시선을 움직이게 된다. 소리가 없고 영상만 있는 가상 현실 시스템은 눈으로 볼 수 있는 전방의 일정 영역에만 가상 공간을 형성하지만, 3차원 음향 효과가 부여된 가상 현실 시스템은 사용자의 모든 주위 환경을 가상 공간으로 형성하는 큰 효과가 있다.
입체 음향을 구현하기 위해서는 공간상의 특정 위치에 음원을 위치시키는 입 체 음상 정위(Sound Image Localization) 기술이 필수적이다. 3차원 공간상의 특정 위치에 음원이 있는 것과 같은 효과를 내는 것을 위치 음 효과라고 한다. 2채널 재생 방식에서 위치 음 효과는 모노 음원과 머리 전달 함수(Head Related Transfer Function;'HRTF')와의 시간축 컨볼루션(convolution)을 통해서 이루어진다.
일반적으로, 청취자는 두 귀에 입사한 두 신호간의 차이에 의해 음원에 대한 공간적 단서를 지각하게 되는데, 머리 전달 함수(HRTF)는 이러한 특성에 대한 정보를 내포하고 있다. 따라서, 머리 전달 함수를 이용하여 단순음에 공간적 정보를 부가하여 입체음을 생성할 수 있게 된다.
일반적으로, 음상 정위에 이용되는 머리 전달 함수의 측정은 더미 헤드(dummy head)를 대상으로 하여 무향실에서 행해진다. 머리 전달 함수는, 무향실내에서 더미 헤드를 중심으로 구의 형태로 여러 각도로 배치된 다수의 스피커로부터 임펄스(impulse) 신호를 방사시킨 후, 더미 헤드의 양쪽 귀에 장착된 마이크로폰에 의해 측정된 임펄스 응답 신호들로 이루어진다.
도 2는 무향실에서 머리 전달 함수를 측정할 때의 모습을 도식적으로 나타낸 도면이다. 더미헤드(10)를 중심으로 고도각(elevation)과 방위각(azimuth)을 각각 일정한 간격, 예를 들어 10도 간격으로 세분화시킨 후에 각각의 세분화된 각도에 스피커를 두고 임펄스 신호를 출력시킨 후, 더미헤드의 좌, 우 마이크로폰(20, 30)에 도착된 임펄스 응답을 측정함으로써 머리 전달 함수를 구하게 된다. 이때, 측정되지 않은 불연속 공간의 머리 전달 함수는 인접한 머리 전달 함수들간의 보간(interpolation)을 통해서 구할 수 있다. 이와 같은 방법으로 머리 전달 함수 데이 터베이스를 구축하게 된다. 일반적으로 머리 전달 함수 데이터베이스는 N탭 유한 임펄스 응답(Finite Impulse Response)을 사용하게 된다.
한편, 청취자가 지각한 음상에 대한 위치를 파악하는 것을 음상 정위라 하고, 음상을 공간상의 특정 장소에 위치시키는 기술을 음상 정위 기술이라 한다.
2 채널 스테레오 방식은 두 스피커 사이의 공간에 음상을 형성하는데 반해서 입체 음향은 2 채널 스피커를 이용하여 3차원 공간상의 임의의 방향에 위치한 입체 음상을 생성하는 기술이다.
3차원 공간상에 음상을 위치시키기 위하여 모노 음원과 청취자 사이의 음원 전달 경로를 모델링한 머리 전달 함수 데이터베이스를 이용하게 된다. 즉, 특정 방향의 음원으로부터 두 귀 까지의 좌우 머리 전달 함수 쌍을 모노 음에 대하여 각각 필터링하는 양이(兩耳) 머리전달함수 필터링(binaural HRTF filtering)을 수행함으로써 3차원 음상 정위를 구현한다.
이러한 기술을 이용하면 고정된 특정 위치에서 소리가 지각되는 효과와 소리가 한 위치에서 다른 위치로 움직이는 효과를 생성할 수 있다. 위치음 생성은 해당 위치의 머리 전달 함수를 모노 음원과 컨볼루션 연산을 행함으로써 얻을 수 있고, 이동음 생성은 소리가 이동하는 궤적상에 해당하는 연속적인 머리 전달 함수들을 모노 음원과 컨볼루션을 수행함으로써 얻을 수 있다.
도 3은 전술한 머리 전달 함수에 대한 컨볼루션 과정을 도시한 블록도이다. 도 3에 도시된 바와 같이, 모노 음원(40)에 대해서 모노 음원을 재생하고자 하는 위치에 해당하는 좌우 머리전달함수와 각각 컨볼루션을 하고(50, 60), 이들을 각각 좌, 우측 스피커 또는 헤드폰으로 재생시킴으로써 위치음을 생성하게 된다.
입체 음향 재생 프로그램으로는 현재 아드레날린, 곰플레이어 등이 제공되고 있는데, 이러한 프로그램들은 필터를 타사에 의해 개발된 컴포넌트(component)를 그대로 사용하여 Direct Show를 이용하여 구현하고 있거나, 마이크로소프트사의 Direct Sound의 3D Sound를 그대로 이용하고 있다. 이와 같이, 종래의 입체 음향 재생 프로그램들은 AC3 미디어의 경우에만 입체 음향 재생이 가능하다는 문제점이 있다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 모든 미디어 음원들을 입체 음향으로 재생시킬 수 있는 입체 음향 재생 방법을 제공하는 것이다.
본 발명의 다른 목적은 모든 미디어 음원들을 멀티 채널 또는 2-채널의 입체 음향으로 재생시킬 수 있는 입체 음향 재생 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 모든 미디어 음원들을 멀티 채널 또는 2-채널의 입체 음향으로 재생시킬 수 있는 입체 음향 재생 프로그램을 기록한 기록 매체를 제공하는 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 특징은 입체 음향 재생 프로그램을 기록한 기록매체에 관한 것으로서, 상기 입체 음향 재생 프로그램은,
재생하고자 하는 음원 데이터를 입력받는 음원 입력 모듈과,
상기 음원 입력 모듈에 의해 입력된 음원 데이터로부터 PCM 데이터를 생성하 는 채널 신호 추출 모듈과,
상기 채널 신호 추출 모듈에 의해 생성된 PCM 데이터를 이용하여, PCM 블록을 구성하는 각 채널별 샘플 데이터들을 생성시키는 채널 분리 모듈과,
상기 채널 분리 모듈에 의해 생성된 채널별 샘플 데이터들에 대하여 소정의 효과를 부여하는 채널별 효과 부여 모듈과,
상기 채널별 효과 부여 모듈에 의해 효과가 부여된 채널별 샘플 데이터들을 일정 비율로 믹싱하여 채널별 최종 출력값을 결정하는 채널별 믹싱 모듈과,
상기 채널별 믹싱 모듈에 의해 결정된 채널별 최종 출력값을 출력하는 채널별 출력 모듈을 구비한다.
여기서, 상기 PCM 블록은 최대 5.1 채널로 구성된다.
또한, 상기 채널별 출력 모듈은 5.1 채널로 이루어지는 PCM 블록의 채널별 최종 출력값들을 기설정된 방식에 따라 연산하여 2개의 채널 출력값을 결정하고, 2개의 채널 출력값을 출력할 수도 있다.
본 발명의 다른 특징에 따른 입체 음향 재생 프로그램은,
재생하고자 하는 음원 데이터를 입력받는 음원 입력 모듈과,
상기 음원 입력 모듈에 의해 입력된 음원 데이터로부터 PCM 데이터를 생성하는 채널 신호 추출 모듈과,
상기 채널 신호 추출 모듈에 의해 생성된 PCM 데이터를 이용하여, PCM 블록을 구성하는 각 채널별 샘플 데이터들을 생성하여 PCM 블록의 해당 채널에 할당하는 채널 분리 모듈을 구비하며,
상기 채널 분리 모듈은,
음원 데이터의 채널 속성에 따라 PCM 데이터들을 생성시키는 단계와,
생성된 PCM 데이터들로부터 좌측 스테레오 샘플 및 우측 스테레오 샘플을 획득하는 단계와,
상기 좌측 스테레오 샘플 및 우측 스테레오 샘플을 이용하여, PCM 블록을 구성하는 각 채널별 샘플 데이터들을 생성하되, 생성되는 샘플 데이터들은 모노 샘플(M), 좌측 서라운드 샘플(SL), 우측 서라운드 샘플(SR), LFE 샘플인 것을 특징으로 하는 단계를 순차적으로 실행한다.
여기서, 상기 LFE 샘플을 생성하는 단계는, 생성된 모노 샘플을 저역 통과 필터링하는 단계 및 필터링된 데이터를 소정의 보정 계수를 이용하여 보정하는 단계를 포함하는 것이 바람직하다.
본 발명의 또 다른 특징에 따른 입체 음향 재생 방법은 다양한 음원 데이터를 좌측/우측 스테레오 채널, 중앙 채널, 좌측/우측 서라운드 채널, LFE 채널로 이루어지는 입체 음향으로 재생하는 방법에 관한 것으로서,
(a) 중앙 채널 샘플에 대하여 제1 지연 시간을 적용하는 단계와,
(b) 좌측 및 우측 서라운드 샘플들에 대하여 잔향 효과를 부여하는 단계를 구비하고,
상기 (b) 단계는
(b-1) 좌측 및 우측 서라운드 샘플 데이터들을 고역 통과 필터링시키는 단계와,
(b-2) 상기 좌측 및 우측 서라운드 샘플 데이터들을 저역 통과 필터링시키는 단계와,
(b-3) 상기 고역 통과 필터링된 샘플 데이터 및 상기 저역 통과 필터링된 샘플 데이터를 컨볼루션시키는 단계로 이루어져, 각 채널별로 소정의 효과를 부여한다.
본 발명의 또 다른 특징에 따른 입체 음향 재생 방법은,
(a) 재생하고자 하는 음원 데이터를 입력받는 단계와,
(b) 입력된 음원 데이터로부터 PCM 데이터를 생성하는 단계와,
(c) 생성된 PCM 데이터들을 이용하여 PCM 블록을 구성하는 다수 개의 채널별 샘플 데이터들을 생성하고, 생성된 샘플 데이터들을 PCM 블록의 해당 채널에 할당하는 단계와,
(d) PCM 블록을 구성하는 채널별 샘플 데이터들의 각각에 대하여 소정의 효과를 부여하는 단계와,
(e) PCM 블록을 구성하는 채널별 샘플 데이터들을 출력하는 단계를 구비한다.
여기서, 상기 (d) 단계 이후에, (d-1)효과가 부여된 채널별 샘플 데이터들을 일정 비율로 믹싱하여 PCM 블록의 채널별 최종 출력값을 결정하는 단계를 더 구비하는 것이 바람직하며, 상기 (e) 단계는 스피커가 2 채널로 이루어지는 경우에는 기설정된 방법에 따라 PCM 블록을 구성하는 채널별 샘플 데이터들로부터 2개의 채널 출력값을 구하여 출력하는 것이 바람직하다.
또한, 상기 PCM 블록은 최대 5.1 채널로 이루어지며, 상기 5.1 채널은 중앙 채널, 좌측/우측 스테레오 채널, 좌측/우측 서라운드 채널, LFE 채널인 것이 바람직하다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 멀티 채널 또는 2-채널을 갖는 입체 음향 재생 프로그램의 구성 및 동작을 구체적으로 설명한다.
도 4는 본 발명의 바람직한 실시예에 따른 입체 음향 재생 프로그램(400)은 음원 입력 모듈(410), 채널 신호 추출 모듈(420), 채널 분리 모듈(430), 채널별 효과 부여 모듈(440), 채널별 믹싱 모듈(450), 채널별 출력 모듈(460)을 포함한다.
상기 음원 입력 모듈(410)은 재생하고자 하는 음원 데이터를 입력받고, 입력된 음원 데이터의 분해능(Resolution)과 채널의 속성을 추출하여 보유한다. 여기서, 음원 데이터의 채널의 종류는, 예를 들면, 1/0(Mono), 2/0(Stereo), 3/0(Front), 2/1(Surrond), 3/1(Surrond), 2/2(Quadro), 3/2(5ch), 1/0+SW(1.1 Mono), 2/0+SW(2.1 Stereo), 3/0+SW(3.1Front), 2/1+SW(3.1 Surrond), 3/1+SW(4.1 Surrond), 2/2+SW(4.1 Quadro), 3/2+SW(5.1CH) 등이 있다.
또한, 음원 데이터의 분해능의 종류는, 예를 들면, 16 bit Fixed Point, 24 bit Fixed Point, 32 bit Fixed Point, 32 Float Point 등이 있다.
상기 채널 신호 추출 모듈(420)은 상기 음원 입력 모듈(410)로부터 전송된 음원 데이터를 디코딩하여 펄스 코드 변조(Pulse Code Moduration; 이하 'PCM'이라 한다) 데이터를 생성한 후, 음원 데이터의 채널 속성에 따라 PCM 데이터로부터 각 채널별 신호를 추출한다.
상기 채널 분리 모듈(430)은 상기 채널 신호 추출 모듈(420)에 의해 추출된 PCM데이터들을 이용하여 PCM 블록을 구성하는 각 채널별 신호들을 생성하여 PCM 블록의 해당 채널 영역에 할당시킨다. 여기서, PCM 블록은 최대 5.1 채널로 이루어지며, 상기 5.1 채널은 중앙 채널, 좌측/우측 스테레오 채널, 좌측/우측 서라운드 채널, LFE 채널로 이루어진다.
도 5는 상기 채널 분리 모듈(430)의 구체적인 동작을 순차적으로 설명하는 흐름도이다. 도 5에 도시된 바와 같이, 상기 채널 분리 모듈(430)은 PCM 데이터들 중 좌측 스테레오 신호 및 우측 스테레오 신호를 이용하여 모노 샘플, 좌측/우측 서라운드 샘플, LFE 샘플을 순차적으로 생성한다.
이하, 도 5를 참조하여, 상기 채널 분리 모듈(430)의 동작에 대하여 구체적으로 설명한다.
먼저, 상기 채널 분리 모듈(430)은 음원 데이터의 채널과 분해능의 속성에 따라 PCM 데이터들로부터 좌측 스테레오 신호 및 우측 스테레오 신호를 검출한 후(단계 500), 검출된 스테레오 신호들을 이용하여 최대 5.1 채널로 구성되는 PCM 블록의 각 채널별 샘플 데이터를 생성한다. 도 6은 PCM 블록의 구조를 도시한 도면이다. 도 6에 도시된 바와 같이, 5.1 채널로 구성되는 PCM 블록은 중앙 채널(Center), 좌측/우측 스테레오 채널(Left, Right), 좌측/우측 서라운드 채널(S Left, S Right), LFE 채널(LFE)로 구성되며, 작은 블록은 1 Byte를 의미하며, 굵은 블록은 채널별 샘플(Sample)을 의미하며, 채널별 샘플의 크기(size)는 사용자가 선 택한 출력 분해능(resolution)에 따라 결정된다. 예컨대, 출력 분해능이 16bit Fixed Point인 경우에는 채널별 샘플은 2 byte이며, 출력 분해능이 24 bit Fixed Point인 경우에는 채널별 샘플은 3 byte이며, 출력 분해능이 32 bit Fixed Point인 경우에는 채널별 샘플은 4 byte로 이루어진다. 이하, PCM 블록을 구성하는 각 채널별 샘플 데이터를 생성하는 과정을 설명한다.
상기 채널 분리 모듈은 PCM 데이터로부터 구한 좌측 스테레오 신호(L) 및 우측 스테레오 신호(R)를 PCM 블록의 좌측 스테레오 채널 및 우측 스테레오 채널의 각각에 할당한다. 다음, 음원 데이터에 대한 PCM 데이터 중 좌측 스테레오 신호 및 우측 스테레오 신호를 이용하여 모노 샘플(Mono Sample) M을 수학식 1에 따라 생성한 후 중앙 채널(Center Channel) 신호에 할당한다(단계 510).
M = ( L + R ) / 2
여기서, L은 PCM 데이터 중 좌측 스테레오 신호이며, R은 PCM 데이터 중 우측 스테레오 신호이다.
다음, 상기 채널 분리 모듈은 생성된 모노 샘플(M)을 이용하여 수학식 2에 따라 좌측, 우측 서라운드 샘플(Surround Sample)을 생성한다(단계 520).
Ldiff = L - M
Rdiff = R - M
SL = M + Ldiff × Co
SR = M + Rdiff × Co
여기서, SL은 좌측 서라운드 샘플 신호이며, SR은 우측 서라운드 샘플 신호이며, Co는 보정 계수로서 사용자에 의해 지정되는 값이며 0.0~1.0의 범위내의 값이 사용된다.
다음, 상기 채널 분리 모듈은 모노 샘플(M)을 수학식 3을 이용하여 저역 통과 필터링시킨후 수학식 4를 이용하여 보정함으로써 LFE 샘플을 생성한다(단계 530).
(초기값)
Pos = 0
Speed = 0
Fx = cos(2*Pi*ResoFreq/SampleRate)
Coeff = 2-2*cos(2*Pi*ResoFreq/SampleRate)
Res = (Sqrt(2) * Sqrt(-(Fx-1)^3+Amplitude*(Fx-1))/(Amplitude*(Fx-1))
(Loop Equation)
Speed = Speed + (Input-Pos)*Coeff
Pos = Pos + Speed
Speed = Speed * Res
Output = Pos
여기서, Input 데이터는 모노 샘플(M)이다.
LFE = Sample of Low Pass Filtering (Output) × k
여기서, k는 보정 계수로서 0.3~0.5 범위내의 값이 사용된다.
다음, 상기 채널 분리 모듈(430)은 HRTF 데이터베이스를 이용하여 생성된 모노 샘플, 좌측/우측 스테레오 샘플, 좌측/우측 서라운드 샘플, LFE 샘플들에 대하여 음상 정위시킨다(단계 540). HRTF 데이터베이스를 이용한 음상 정위 과정은 종래의 방법과 동일하므로, 구체적인 설명은 생략한다.
다음, 상기 채널 분리 모듈은 음상 정위된 각 샘플 데이터들을 도 6과 같은 PCM 블록의 해당 채널에 할당하여 배치시킨다(단계 550). 즉, 모노 샘플은 PCM 블록의 중앙 채널에 할당하고, 좌측/우측 스테레오 샘플은 PCM 블록의 좌측/우측 스테레오 채널에 할당하며, 좌측/우측 서라운드 샘플은 PCM 블록의 좌측/우측 서라운드 채널에 할당하며, LFE 샘플은 PCM 블록의 LFE 채널에 할당한다.
한편, 채널별 효과 부여 모듈(440)은 상기 채널 분리 모듈(430)에 의해 생성된 PCM 블록의 각 채널별 샘플 데이터들에 대하여 각 채널별 특성에 따라 효과를 부여한다. 이하, 도 7을 참조하여, 채널별 효과 부여 모듈(440)의 동작을 구체적으로 설명한다.
먼저, 중앙 채널의 샘플 데이터에 대해 부여하는 효과를 설명한다. 일반적으로 중앙 스피커와 전방 좌/우 스피커로부터 청취자에게 음원을 전달하는 경우, 음 원이 중앙 스피커로부터 청취자까지 도달되는 시간과 음원이 좌/우 스피커로부터 청취자까지 도달되는 시간이 서로 다르게 된다. 이러한 도달 시간의 차이로 인하여, 중앙 스피커로부터 오는 음원은 좌/우 스피커로부터 오는 음원에 비해 어느 정도의 지연이 발생하게 된다.
상기 채널별 효과 부여 모듈(440)은 이와 같은 지연에 의한 효과를 중앙 채널 샘플에 부여하게 된다(단계 800). 상기 채널별 효과 부여 모듈(440)은 수학식 5에 의해 구해지는 지연 시간(d)만큼 중앙 채널 샘플에 대해 지연(Delay)시킨다.
지연 시간(d) = 거리/음속
여기서, 음속은 340m/sec 이며, 거리는 청취자의 위치와 좌측 또는 우측 스피커간의 거리를 말한다.
다음, 상기 채널별 효과 부여 모듈(440)은 좌측/우측 스테레오 채널의 샘플은 추가의 효과를 부여하지 아니하며, 좌측/우측 서라운드 채널의 샘플에 대해 잔향 효과를 부여한다(단계 810). 이러한 잔향 효과는 후방에 배치되는 좌측/우측 서라운드 스피커의 위치적 조건과 인간의 귀의 구조적 특징을 고려한 것이다. 이와 같이, 좌측/우측 서라운드 샘플에 대해 잔향 효과를 부여하기 위하여, 상기 채널별 효과 부여 모듈(440)은 고역 통과 필터(High Pass Filter), 피드백 필터(Feedback Filter), 저역 통과 필터(Low Pass Filter)로 이루어지는 콤 필터(Comb Filter)를 구비한다. 이하, 콤 필터의 동작을 순차적으로 설명한다.
먼저, 고역 통과 필터는 입력되는 샘플 데이터를 고역 통과 필터링시켜 출력 하며, 저역 통과 필터는 샘플 데이터들을 저역 통과 필터링시켜 출력한다. 다음, 피드백 필터는 고역 통과 필터링된 샘플 데이터와 저역 통과 필터링된 샘플 데이터를 컨볼루션(Convolution)시킨 후 일정 시간을 지연시킨다. 그 결과, 좌측/우측 스테레오 샘플에 대해 잔향 효과를 부여하게 된다.
여기서, 저역 통과 필터링 과정은 수학식 3에서 설명된 것과 동일하므로 중복되는 설명을 생략한다. 상기 고역 통과 필터는 수학식 6을 이용하여 고역 통과 필터링한다.
(초기값)
Q, Gain, Freq, SampleRate : 사용자 지정
TempQ = Q^0.25
TempGain = Gain^0.25
Omega = 2*Pi*Freq/SampleRate
Sn = sin(Omega)
Cs = cos(Omega)
Alpha = Sn/2 * TempQ
t = 1 + Alpha
C0 = (1+Cs)/2/t
C1 = -(1+Cs)/2/t
C2 = (1+Cs)/2/t
D1 = -2*Cs/t*(-1)
D2 = (1-Alpha)/t*(-1)
XC1 = 0
XC2 = 0
YC1 = 0
YC2 = 0
(Loop Equation)
Y=Input*C0 + XC1*C1 + YC1*D1 + YC2*D2
YC2 = YC1
YC1 = Y
XC2 = XC!
XC1 = Input
Output = Y
여기서, Input 데이터는 각각의 좌측 스테레오 샘플(L) 및 우측 스테레오 샘플이다.
다음, 상기 채널별 효과 부여 모듈(440)은 LFE 샘플에 대하여 지연 시간을 적용하는데(단계 820), 이때 적용되는 지연 시간은 중앙 채널 샘플에 적용된 지연 시간보다 작아야 한다. 또한, 지연 시간이 적용된 LFE 샘플에 대하여, 상기 채널별 효과 부여 모듈(440)은 퓨리에 변환시킨 후, 주파수별 샘플을 보간(interpolation)시킨 후 역변환시킴으로써, 스무딩(smmothing)시켜 LFE 샘플의 음질을 향상시키게 된다(단계 830).
이하, 채널별 믹싱 모듈(450)의 동작에 대하여 구체적으로 설명한다. 상기 채널별 믹싱 모듈은 소정의 효과가 부여된 각 채널별 샘플 데이터들을 수학식 7에 의해 일정 비율로 믹싱(mixing)하여 각 채널에 대한 최종 출력값을 결정한다.
Out_Left = 좌측 스테레오 샘플 * SQRT(Out_Coeff)
Out_Right = 우측 스테레오 샘플 * SQRT(Out_Coeff)
Out_Center = 중앙 채널 샘플
Out_SL = 좌측 서라운드 샘플 * SQRT(Out_Coeff)
Out_SR = 우측 서라운드 샘플 * SQRT(Out_Coeff)
Out_LFE = LFE 채널 샘플 * SQRT(Out_Coeff)
여기서, Out_Left는 좌측 스테레오 채널에 할당되는 샘플 데이터의 최종 결과값이며, Out_Right는 우측 스테레오 채널에 할당되는 샘플 데이터의 최종 결과값이며, Out_Center는 중앙 채널에 할당되는 샘플 데이터의 최종 결과값이며, Out_SL은 좌측 서라운드 채널에 할당되는 샘플 데이터의 최종 결과값이며, Out_SR은 우측 스테레오 채널에 할당되는 샘플 데이터의 최종 결과값이며, Out_LFE는 LFE 채널에 할당되는 샘플 데이터의 최종 결과값이다. 또한, 상기 Out_Coeff는 출력 채널 보정 계수로서, 경험적 방식에 의해 구한 값이 사용되며, 본 발명의 바람직한 실시예에서는 Out_Coeff = 0.5이다.
한편, 채널 출력 모듈(460)은 상기 채널별 믹싱 모듈(450)에 의해 결정된 각 채널별 최종 출력값들을 사용자의 스피커 환경에 맞게 출력한다. 만약, 사용자의 스피커가 5.1 채널로 설정되어 있는 경우, 해당 채널별 출력값을 그대로 출력한다.
만약, 사용자의 스피커가 2 채널인 경우, 상기 채널 출력 모듈은 수학식 8을 이용하여 각 채널별 출력값을 다운믹싱하여 2개의 채널로 변환시킨 후 해당 스피커로 출력한다.
DownMixing_Left= (0.25*Out_Center+0.45*Out_Left+0.2*Out_SL+0.1*Out_LFE)*SQRT(Out_Coeff)
DownMixing_Right= (0.25*Out_Center+0.45*Out_Right+0.2*Out_SR+0.1*Out_LFE)*SQRT(Out_Coeff)
여기서, DownMixing_Left는 좌측 스테레오 스피커로 출력되는 최종 결과값이며, DownMixing_Right는 우측 스테레오 스피커로 출력되는 최종 결과값이다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에서 채널의 샘플 데이터들을 보정하기 위한 보정 계수 등은 경험칙에 의해 최상의 음질을 재생시키기 위하여 다양하게 변형하여 실시할 수 있는 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 의하여, 다양한 형태의 미디어 음원을 사용자의 선택에 의해 5.1채널의 멀티 채널 또는 2채널 형태로 입체 음향 출력이 가능해진다.
또한, 본 발명에 의해, 하드웨어의 동작없이 단지 소프트웨어만으로 다양한 형태의 미디어 음원을 입체 음향의 출력을 구현하였다.
또한, 본 발명에 의하여, 모든 형태의 미디어 음원들을 멀티 채널 또는 2-채널로 이루어지는 입체 음향으로 재생시킬 수 있게 된다.

Claims (11)

  1. 재생하고자 하는 음원 데이터를 입력받는 음원 입력 모듈;
    상기 음원 입력 모듈에 의해 입력된 음원 데이터로부터 PCM 데이터를 생성하는 채널 신호 추출 모듈;
    상기 채널 신호 추출 모듈에 의해 생성된 PCM 데이터를 이용하여, PCM 블록을 구성하는 각 채널별 샘플 데이터들을 생성시키는 채널 분리 모듈;
    상기 채널 분리 모듈에 의해 생성된 채널별 샘플 데이터들에 대하여 소정의 효과를 부여하는 채널별 효과 부여 모듈;
    상기 채널별 효과 부여 모듈에 의해 효과가 부여된 채널별 샘플 데이터들을 일정 비율로 믹싱하여 채널별 최종 출력값을 결정하는 채널별 믹싱 모듈;
    상기 채널별 믹싱 모듈에 의해 결정된 채널별 최종 출력값을 출력하는 채널별 출력 모듈;
    를 구비하여, 멀티 채널을 갖는 입체 음향 재생 프로그램을 기록한 기록매체.
  2. 제1항에 있어서, 상기 PCM 블록은 최대 5.1 채널로 구성되는 것을 특징으로 하는 입체 음향 재생 프로그램을 기록한 기록매체.
  3. 제1항 또는 제2항에 있어서, 상기 채널별 출력 모듈은 5.1 채널로 이루어지 는 PCM 블록의 채널별 최종 출력값들을 기설정된 방식에 따라 연산하여 2개의 채널 출력값을 결정하고, 2개의 채널 출력값을 출력하는 것을 특징으로 하는 입체 음향 재생 프로그램을 기록한 기록매체.
  4. 재생하고자 하는 음원 데이터를 입력받는 음원 입력 모듈;
    상기 음원 입력 모듈에 의해 입력된 음원 데이터로부터 PCM 데이터를 생성하는 채널 신호 추출 모듈;
    상기 채널 신호 추출 모듈에 의해 생성된 PCM 데이터를 이용하여, PCM 블록을 구성하는 각 채널별 샘플 데이터들을 생성하여 PCM 블록의 해당 채널에 할당하는 채널 분리 모듈을 구비하며,
    상기 채널 분리 모듈은,
    음원 데이터의 채널 속성에 따라 PCM 데이터들을 생성시키는 단계와,
    생성된 PCM 데이터들로부터 좌측 스테레오 샘플 및 우측 스테레오 샘플을 획득하는 단계와,
    상기 좌측 스테레오 샘플 및 우측 스테레오 샘플을 이용하여, PCM 블록을 구성하는 각 채널별 샘플 데이터들을 생성하되, 생성되는 샘플 데이터들은 모노 샘플(M), 좌측 서라운드 샘플(SL), 우측 서라운드 샘플(SR), LFE 샘플인 것을 특징으로 하는 단계를
    순차적으로 실행하는 것을 특징으로 하는 입체 음향 재생 프로그램을 기록한 기록매체.
  5. 제4항에 있어서, 상기 LFE 샘플을 생성하는 단계는, 생성된 모노 샘플을 저역 통과 필터링하는 단계 및 필터링된 데이터를 소정의 보정 계수를 이용하여 보정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 프로그램을 기록한 기록 매체.
  6. 다양한 음원 데이터를 좌측/우측 스테레오 채널, 중앙 채널, 좌측/우측 서라운드 채널, LFE 채널로 이루어지는 입체 음향으로 재생하는 방법에 있어서,
    (a) 중앙 채널 샘플에 대하여 제1 지연 시간을 적용하는 단계;
    (b) 좌측 및 우측 서라운드 샘플들에 대하여 잔향 효과를 부여하는 단계를 구비하고,
    상기 (b) 단계는
    (b-1) 좌측 및 우측 서라운드 샘플 데이터들을 고역 통과 필터링시키는 단계와,
    (b-2) 상기 좌측 및 우측 서라운드 샘플 데이터들을 저역 통과 필터링시키는 단계와,
    (b-3) 상기 고역 통과 필터링된 샘플 데이터 및 상기 저역 통과 필터링된 샘플 데이터를 컨볼루션시키는 단계
    로 이루어져, 각 채널별로 소정의 효과를 부여하는 것을 특징으로 하는 멀티 채널을 갖는 입체 음향 재생 방법.
  7. 제6항에 있어서, 상기 (b)단계는
    (b-4) LFE 샘플에 대하여 제2 지연 시간을 적용하고 스무딩(Smoothing)시키는 단계를 더 구비하되,
    상기 제2 지연 시간은 상기 제1 지연 시간보다 작은 것을 특징으로 하는 입체 음향 재생 방법.
  8. (a) 재생하고자 하는 음원 데이터를 입력받는 단계;
    (b) 입력된 음원 데이터로부터 PCM 데이터를 생성하는 단계;
    (c) 생성된 PCM 데이터들을 이용하여 PCM 블록을 구성하는 다수 개의 채널별 샘플 데이터들을 생성하고, 생성된 샘플 데이터들을 PCM 블록의 해당 채널에 할당하는 단계;
    (d) PCM 블록을 구성하는 채널별 샘플 데이터들의 각각에 대하여 소정의 효과를 부여하는 단계;
    (e) PCM 블록을 구성하는 채널별 샘플 데이터들을 출력하는 단계
    를 구비하여, 멀티 채널을 갖는 입체 음향 재생 방법.
  9. 제8항에 있어서, 상기 입체 음향 재생 방법은 상기 (d) 단계 이후에, (d-1)효과가 부여된 채널별 샘플 데이터들을 일정 비율로 믹싱하여 PCM 블록의 채널별 최종 출력값을 결정하는 단계를 더 구비하는 것을 특징으로 하는 멀티 채널을 갖는 입체 음향 재생 방법.
  10. 제8항에 있어서, 상기 (e) 단계는 스피커가 2 채널로 이루어지는 경우에는 기설정된 방법에 따라 PCM 블록을 구성하는 채널별 샘플 데이터들로부터 2개의 채널 출력값을 구하여 출력하는 것을 특징으로 하는 멀티 채널을 갖는 입체 음향 재생 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 PCM 블록은 최대 5.1 채널로 이루어지며, 상기 5.1 채널은 중앙 채널, 좌측/우측 스테레오 채널, 좌측/우측 서라운드 채널, LFE 채널인 것을 특징으로 하는 멀티 채널을 갖는 입체음향 재생 방법.
KR1020050060975A 2005-07-07 2005-07-07 멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을구현한 프로그램을 기록한 기록매체 KR100639814B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050060975A KR100639814B1 (ko) 2005-07-07 2005-07-07 멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을구현한 프로그램을 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050060975A KR100639814B1 (ko) 2005-07-07 2005-07-07 멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을구현한 프로그램을 기록한 기록매체

Publications (1)

Publication Number Publication Date
KR100639814B1 true KR100639814B1 (ko) 2006-10-30

Family

ID=37621177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050060975A KR100639814B1 (ko) 2005-07-07 2005-07-07 멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을구현한 프로그램을 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR100639814B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343590A (ja) 2003-05-19 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> ステレオ音響信号処理方法、装置、プログラムおよび記憶媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343590A (ja) 2003-05-19 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> ステレオ音響信号処理方法、装置、プログラムおよび記憶媒体

Similar Documents

Publication Publication Date Title
KR102668237B1 (ko) 입체 음향 재생 방법 및 장치
Hacihabiboglu et al. Perceptual spatial audio recording, simulation, and rendering: An overview of spatial-audio techniques based on psychoacoustics
KR101368859B1 (ko) 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
US9154896B2 (en) Audio spatialization and environment simulation
JP5285626B2 (ja) 音声空間化及び環境シミュレーション
KR100608025B1 (ko) 2채널 헤드폰용 입체 음향 생성 방법 및 장치
CN113170271B (zh) 用于处理立体声信号的方法和装置
US7079658B2 (en) System and method for localization of sounds in three-dimensional space
JP2019506058A (ja) 没入型オーディオ再生のための信号合成
JP6284480B2 (ja) 音声信号再生装置、方法、プログラム、及び記録媒体
Yao Headphone-based immersive audio for virtual reality headsets
JP2993418B2 (ja) 音場効果装置
JP2018110366A (ja) ３ｄサウンド映像音響機器
Malham Approaches to spatialisation
KR20190109019A (ko) 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
JP5338053B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
JP2005157278A (ja) 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム
KR100639814B1 (ko) 멀티채널을 갖는 입체음향 재생 방법 및 상기 방법을구현한 프로그램을 기록한 기록매체
Geluso Stereo
JP5743003B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
JP4407467B2 (ja) 音響シミュレーション装置、音響シミュレーション方法、および音響シミュレーションプログラム
JP2000333297A (ja) 立体音生成装置、立体音生成方法及び立体音を記録した媒体
US11470435B2 (en) Method and device for processing audio signals using 2-channel stereo speaker
JP5590169B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
JP2005278125A (ja) マルチチャンネルオーディオ信号処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091026

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee