KR20230059283A - 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 - Google Patents
공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 Download PDFInfo
- Publication number
- KR20230059283A KR20230059283A KR1020210143311A KR20210143311A KR20230059283A KR 20230059283 A KR20230059283 A KR 20230059283A KR 1020210143311 A KR1020210143311 A KR 1020210143311A KR 20210143311 A KR20210143311 A KR 20210143311A KR 20230059283 A KR20230059283 A KR 20230059283A
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- processing
- sound source
- sensory
- performances
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 107
- 238000007654 immersion Methods 0.000 title claims abstract description 13
- 238000009877 rendering Methods 0.000 claims abstract description 19
- 230000001953 sensory effect Effects 0.000 claims description 48
- 230000000694 effects Effects 0.000 claims description 20
- 238000012546 transfer Methods 0.000 claims description 10
- 210000005069 ears Anatomy 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 235000007119 Ananas comosus Nutrition 0.000 claims description 8
- 244000099147 Ananas comosus Species 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 5
- 210000003128 head Anatomy 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
Abstract
본 발명의 일 실시예에 따른 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템은, 공연 현장에서 녹음된 입력 음원에 대하여 주변 노이즈 또는 하울링을 제거하거나 저감할 수 있도록 처리하는 노이즈처리부; 실감 음향을 생성하기 위해 노이즈 처리된 입력 음원에 대해 현장감을 더해주는 가상 위치 설정 및 공간감 처리를 통하여 실감음향을 생성하는 실감음향렌더링부; 공연 현장에 위치한 적어도 하나의 마이크에 대하여 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하기 위해 마이크 위치에 대한 시계열적 정보를 생성하여 상기 실감음향렌더링부에 제공하는 실감음향스크립트처리부; 및상기 실감음향렌더링부에 의해 생성된 실감음향을 출력장치를 통하여 출력하는 음원출력부를 포함할 수 있다.
Description
본 발명은 실감음향 처리 시스템에 관한 것으로, 더욱 상세하게는 공연 현장의 음원에 대하여 주변 소음을 저감하고, 가상위치 설정, 음상정위 및 공간감 처리한 입체적인 실감음향을 생성할 수 있는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템에 관한 것이다.
최근 지속적으로 성장하던 온라인 공연시장은 코로나19로 계획되었던 공연이 취소되고, 랜선을 통한 새로운 공연이 진행되면서 급격하게 증가하고 있다.
이를 반영하여 코로나19 확산으로 오프라인 공연을 열지 못하자 그 대안으로 온라인 유료 공연이 등장하고 있으나, 비대면 온라인 공연 활성화에 따라 공연 청취자나, 공연 제작자는 부족한 현장감에 대한 보완할 요소에 대한 요구사항이 대두되고 있다.
또한 코로나19 종식 후에도 온라인 유료 공연이 계속 살아남기 위해서는 첨단기술로 현장감을 얼마나 잘 살리면서 편리한 관람문화를 제공에 대한 요구사항이 많이 발생하고 있으며, 실시간 양방향 온라인 공연의 경우 청취자에서 실감 나는 현장의 느낌을 전달하기 위한 차별화된 서비스가 요구되고 있어, 음향에 대한 요구사항이 늘어나고 있다.
특히, 사운드 디자이너의 오프라인 공연 느낌을 온라인 공연에서도 그대로 재현되는 기술에 대한 요구사항 발생하고 있으며, 온라인 공연에 대하여 영상 제작자 및 청취자가 지적하는 현장감 부족에 대한 문제는 다음과 같다.
실시간 양방향 온라인 공연의 경우 현장감 부족 문제 발생하고, 현재 마스터링 기술은 수평면상에 표현으로 후반 작업 없이 마스터링 기술만 이용할 경우 실시간 공간감을 제공하기에는 어려움이 있으며, 실시간 영상제작 시 주변 소음 문제가 발생하고, 스튜디오 등 영상 제작을 위해 시설을 구축한 곳이 아닌 일반 공연장에서 영상을 획득 시 마이크를 통하여 지속적으로 주변 소음이 녹음되어 청취감을 저하시키고, 피로감을 유발할 수 있다.
한편 최근 멀티미디어 기술의 발달, 특히 음향 기술의 급격한 발달과 더불어 고품질 오디오에 대한 요구와 함께 보다 현실감 있는 오디오를 재생하기 위한 실감 오디오 기술 개발이 요구되고 있으며, 이러한 요구를 만족시키기 위해 사용자의 가상현실 증강 및 실감나는 오디오 효과를 제공해 줄 수 있는 3차원 오디오에 대한 연구가 활발히 진행되고 있다.
3차원 오디오 기술은 개발자가 일반 음향에 특정 가상 공간정보를 담아 사용자가 위치에 있지 않은 가상의 환경에 대한 방향감과 거리감을 느낄 수 있도록 하는 기술이다.
3차원 오디오 기술은 크게 머리전달함수나 초기 반사음 등을 이용하여 음원이 실제 위치해 있지 않은 곳에 음상(sound image)을 정위시키는 음상정위(sound image localization) 기술, 공간감을 주기 위한 가상 입체음장(virtual sound field) 기술, 라우드스피커(loudspeaker)에서 3차원 오디오 재생을 위한 가상 채널 확장 기술, 헤드폰 재생환경에 대해 음상을 머리 밖으로 맺히게 하는 음상 외재화(externalization) 기술, 그리고 라우드스피커에서의 좌우 채널에 의해 나타나는 상호 간섭을 제거하는 기술 등으로 나눌 수 있다.
따라서, 비대면 온라인 공연 및 영상 콘텐츠 제작 및 재생에서 요구사항이 늘어나고 있는 현장감 개선 문제를 해결하고자 실감 음향 솔루션을 개발할 필요가 있으며, 현장감 개선을 위한 실시간 다채널 실감음향 요소 기술과, 마이크를 통해 수집되는 주변 잡음 처리를 위한 잡음제거 필터를 적용할 수 있는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템에 대한 연구가 필요하게 되었다.
본 발명의 목적은 공연 현장의 적어도 하나 이상의 마이크로부터 집음된 입력 음원에 대하여 주변 소음을 저감하고, 가상위치 설정, 음상정위 및 공간감 처리한 입체적인 실감음향을 생성할 수 있는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템은, 공연 현장에서 녹음된 입력 음원에 대하여 주변 노이즈 또는 하울링을 저감하도록 처리하는 노이즈처리부; 실감 음향을 생성하기 위해 노이즈 처리된 입력 음원에 대해 현장감을 더해주는 가상 위치 설정 및 공간감 처리를 통하여 실감음향을 생성하는 실감음향렌더링부; 공연 현장에 위치한 적어도 하나의 마이크에 대하여 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하기 위해 마이크 위치에 대한 시계열적 정보를 생성하여 상기 실감음향렌더링부에 제공하는 실감음향스크립트처리부; 및 상기 실감음향렌더링부에 의해 생성된 실감음향을 출력장치를 통하여 출력하는 음원출력부를 포함한다.
상기 실감음향렌더링부는 입력 음원에 대하여 현장감을 제공할 수 있도록 가상 위치를 설정하는 가상위치처리부; 가상 위치가 설정된 가공 음원에 대하여 공감간 처리를 수행하는 공간감처리부; 및 공간감 처리된 음원의 EQ를 조정하고, 마이크 음향차를 교정하도록 오디오 밸런스를 조정하는 EQ 및밸런스처리부를 포함한다.
상기 가상위치처리부는 입력 음원에 대하여 머리전달함수를 이용하여 가상의 공간에 음상 정위(Sound Image Position)되도록 신호 처리하는 음상정위부를 더 포함한다.
상기 음상정위부는 입력 음원에 대해 귓바퀴로 인해 나타나는 피나(Pinna) 효과를 처리하기 위한 피나처리모듈; 입력 음원에 대해 머리 모양으로 인해 양귀로 들어오는 소리의 차이가 발생하는 헤드쉐도우(Head Shadow) 효과를 처리하기 위한 헤드쉐도우처리모듈을 더 포함한다.
상기 피나처리모듈은 양측 귀로 입력되는 신호를 피나 효과로 표현하기 위해 복수의 엘리베이션 피나 필터(Elevation Pinna Filter)와, 복수의 아지무스 피나 필터(Azimuth Pinna Filter)를 더 포함한다.
상기 헤드쉐도우처리모듈은 상기 피나처리모듈 후단에 한 쌍의 제1,2 헤드쉐도우 필터로 구성하여 위치하고, 피나처리모듈을 거쳐 헤드 쉐도우 표현을 수행하는 것을 특징으로 한다.
상기 공간감처리부는 입력음원 신호에 대하여 스테레오 성분과 모노 성분으로 분리하여 음상 정위 시 반사음 효과를 높이기 위한 전처리를 수행하는 전처리 필터; 입력음원 신호의 목소리를 포함하는 모노 성분 신호에 대하여 공간감을 생성하는 모노 공간감 필터; 입력음원 신호 중 스테레오 성분 신호에 대하여 공간감을 생성하는 스테레오 공간감 필터를 더 포함한다.
본 발명에 의하면, 입력 음원에 대하여 주변 노이즈를 저감하고, 입력 음원에 대하여 머리전달함수(Head Related Transfer Function, HRTF)를 이용하여 가상의 공간에 음상 정위(Sound Image Position)되도록 신호 처리하는 음상정위부를 활용하고, 공간감 처리를 통하여 현장감 있는 실감 음향을 생성할 수 있는 장점이 있다.
또한 생성된 실감 음향을 활용하여 비대면 양방향 온라인 공연 서비스 플랫폼에서 실시간 실감음향 솔루션으로 활용 가능할 뿐만 아니라 동영상 제작 편집 및 재생 관련 다양한 서비스 분야에서 활용 가능하며, 예를 들어 OTT(동영상 스트리밍 서비스) 플랫폼, 음원 스트리밍 플랫폼에 실감음향 재생 기능 등 실감 음향 제공을 위한 다양한 서비스로 활용 가능한 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 실감음향 처리 시스템을 포함한 전체 개념 구성을 보인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 구성을 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 가상위치처리부의 세부 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 공간감처리부의 세부 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 구성을 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 가상위치처리부의 세부 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 공간감처리부의 세부 구성을 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 실감음향 처리 시스템을 포함한 전체 개념 구성을 보인 블록도이고, 도 2는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 구성을 보인 블록도이며, 도 3은 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 가상위치처리부의 세부 구성을 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 공간감처리부의 세부 구성을 나타낸 도면이다.
본 발명의 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템(1000)은 예컨대 공연장 음향/영상 촬영 시스템과 연결되어, 입체적인 실감 음향 처리를 수행하여 생성하고, 공연 영상과 함께 인터넷망을 통하여 동영상이나 스트리밍 서비스 제공시, 생성된 실감 음향을 서비스로 제공할 수 있다.
즉, 공연장 음향/영상 촬영시스템에서는 도 1에 도시된 바와 같이 다수의 마이크로폰(마이크)으로 집음된 다채널 음원을 목적에 맞게 공연장용, 방송 송출용 등으로 각각의 믹서로 입력받아 믹싱 후 활용하는데, 본 발명의 실감음향 처리 시스템(1000)을 활용함으로써, 방송 송출용으로 분기된 다채널 음원을 실시간으로 실감음향 처리하여 송출할 수 있는 것이다.
이와 같은 공연장 음향/영상 촬영시스템에서 다채널 음원을 오디오 믹서로 입력받아 방송용으로 믹싱한 후 출력된 다채널 음원을 실감음향 처리하여 방송하고, 실감음향 처리 시 PC에 입력된 다채널 음원을 소프트웨어를 통해 처리하는 방법과 HW모듈을 이용하여 처리하는 방법이 있으며, HW모듈은 유무선(예 : BLE 또는 RS232)통신을 통하여 컨트롤하여 음향 효과를 제어할 수 있다.
나아가, 본 발명의 실감음향 처리 시스템(1000)은 실내외 공연장의 공연장 음향/영상 촬영시스템에서 제공된 영상이나 음원뿐만 아니라, 다양한 장소에서 녹음 및 녹화된 영상(음원 분리)이나 음원으로부터 현장감있는 실감 음향을 제공하도록 실감 음향 처리를 수행할 수 있음은 물론이다.
이를 위해 본 발명의 실감음향 처리 시스템(1000)은 도 2를 참조하면, 노이즈처리부(100), 실감음향렌더링부(200), 실감음향스크립트처리부(300), 음원출력부(400)를 포함할 수 있다.
노이즈처리부(100)는 공연 현장이나 실내 주변 노이즈 또는 하울링을 제거하거나 저감할 수 있도록 필터링하여 처리하며, 이를 위한 적어도 하나의 노이즈 필터가 포함될 수 있다.
실감음향렌더링부(200)는 실감 음향을 생성하기 위해 노이즈 처리된 입력 음원에 대해 현장감을 더해주는 가상 위치 설정 및 공간감 처리를 수행할 수 있다.
실감음향렌더링부(200)는 가상위치처리부(210), 공간감처리부(220) 및 EQ및밸런스 처리부(230)를 더 포함한다.
가상위치처리부(210)는 입력 음원(원음)에 대하여 현장감을 제공할 수 있도록 가상 위치를 설정할 수 있다.
또한 가상위치처리부(210)는 현실의 공연장에서 소리가 공간감을 갖고 들리게 되는 이유는 직접 듣게 되는 소리와 벽, 가구 등에 반사되어 들리는 반사음의 조합 때문인데, 현장감 보완을 위해서는 공연 음원에 공간감 적용이 중요한 요소이나, 많은 채널에 공간감을 제공하기 위해서는 메모리와 연산량의 문제가 있기 때문에, RTF(Room Transfer Function) 기반의 Compact Virtual Sound Field(콤팩트 가상 입체 음장)의 필터를 통하여 초기(Early) 반사음과 후기 반사음을 모델링하여 공간감을 조정할 수 있도록 한다.
또한, 복수 채널(10채널 이상) 시스템에서 공간감 적용에 필요한 메모리와 연산량을 최적화한 가상 음장(Virtual Sound Field) 알고리즘 모델링을 설계하고, 상술한 Compact Virtual Sound Field 알고리즘을 적용해서 처리된 오디오는 원음에 충실하면서도 공간감 효과에 충실하도록 구현될 수 있다.
나아가 가상위치처리부(210)는 입력 음원에 대하여 머리전달함수(Head Related Transfer Function, HRTF)를 이용하여 가상의 공간에 음상 정위(Sound Image Position)되도록 신호 처리하는 음상정위부(211)를 더 포함할 수 있다.
여기서 머리전달함수는 3차원 공간상 특정 지점에 위치한 음원으로부터 사람의 양 귀까지의 음향 시스템을 표현한 전달함수로서, 음원의 3차원적 위치에 따라 머리 및 어깨의 회절과 차음, 외이(귀 바퀴)의 반사 회절 등의 영향을 담고 있어, 사람이 3차원적 음원의 위치를 어떻게 파악하는지 알 수 있도록 하는 전달함수이다.
또한 머리전달함수는 머리의 크기, 외이의 위치와 모양 등에 영향을 받으므로 개인마다 조금씩 차이가 있을 수 있다.
즉 음상정위부(211)는 다중 마이크로부터 입력되는 적어도 하나 이상의 입력 음원에 대하여 음상 정위(Sound Image Postioning) 알고리즘으로 모델링을 진행하되 입력 음원에 대하여 현장감을 제공할 수 있도록 가상 위치 설정 및 실시간 동시 랜더링이 가능하도록 IIR(Infinite Impulse Response Filter) 필터를 적용하여 상술한 알고리즘에 의해 최적화 모델링을 진행한다.
특히 현장에서 청취자가 듣는 것과 같은 느낌을 받기 위해서는 소리의 가상 위치에 대한 세밀한 표현이 필요하므로, 음상(Sound Image)의 앞, 뒤, 위, 아래의 표현을 위한 모델링 고도화를 진행할 수 있으며, 머리전달함수 기반으로 10 채널 이상의 오디오 신호를 실시간 음상 정위(Sound Image Positioning)가 가능하도록 모델링할 수 있다.
또한 음상정위부(211)는 입력 음원에 대해 귓바퀴로 인해 나타나는 피나(Pinna) 효과를 처리하기 위한 피나처리모듈(212)과, 입력 음원에 대해 머리 모양으로 인해 양귀로 들어오는 소리의 차이가 발생하는 헤드쉐도우(Head Shadow) 효과를 처리하기 위한 헤드쉐도우처리모듈(215)을 더 포함할 수 있다.
여기서 피나 효과는 귓바퀴(Pinna)로 인하여 반사된 사운드가 귀에 결합되어 고주파 필터링 효과를 만들어 내는 것을 의미한다.
또한 피나처리모듈(212)은 양측 귀로 입력되는 신호를 피나 효과로 표현하기 위해 복수의 엘리베이션 피나 필터(Elevation Pinna Filter)와, 아지무스 피나 필터(Azimuth Pinna Filter)를 포함한다.
엘리베이션 피나 필터와 아지무스 피나 필터는 2채널 좌우측부를 갖는 출력장치의 신호에 따라 구분하여 표현하기 위해 도 3과 같이 좌우측 한 쌍의 제1,2 필터로 구성될 수 있다.
구체적으로 제1 좌측 엘리베이션 피나 필터(Elevation Pinna Filter1(L))는 양측 출력장치 중 좌측부 출력장치 음원의 높낮이에 따라 왼쪽 귀로 입력되는 신호를 표현할 수 있다.
또한 제1 우측 엘리베이션 피나 필터(Elevation Pinna Filter1(R))는 양측 출력장치 중 우측부 출력장치 음원의 높낮이에 따라 오른쪽 귀로 입력되는 신호를 표현할 수 있다.
또한 제2 좌측 엘리베이션 피나 필터(Elevation Pinna Filter2(L))는 좌측부 출력장치 음원의 높낮이에 따라 왼쪽 귀로 입력되는 신호를 표현할 수 있다.
또한 제2 우측 엘리베이션 피나 필터(Elevation Pinna Filter2(R))는 좌측부 출력장치 음원의 높낮이에 따라 오른쪽 귀로 입력되는 신호를 표현할 수 있다.
제1,2 아지무스 피나 필터 또한 좌우측에 한 쌍으로 각각 구성될 수 있다.
즉 제1 좌측 아지무스 피나 필터(Azimuth Pinna Filter1(L))는 좌측부 출력장치 음원의 평면상에 위치에 따라 왼쪽 귀로 입력되는 신호를 표현하고, 제1 우측 아지무스 피나 필터(Azimuth Pinna Filter1(R))는 우측부 출력장치 음원의 평면상에 위치에 따라 오른쪽 귀로 입력되는 신호를 표현할 수 있다.
마찬가지로, 제2 좌측 아지무스 피나 필터(Azimuth Pinna Filter2(L))는 우측부 출력장치 음원의 평면상에 위치에 따라 왼쪽 귀로 입력되는 신호를 표현할 수 있으며, 제2 우측 아지무스 피나 필터(Azimuth Pinna Filter2(R))는 좌측부 출력장치 음원의 평면상에 위치에 따라 오른쪽 귀로 입력되는 신호를 표현할 수 있다.
이와 같은 엘리베이션 피나 필터와 아지무스 피나 필터로 구분하여 음상 정위되도록 실감음향을 모델링함으로써, 피나 효과에 의한 소리의 위치감을 개선할 수 있는 것이다.
또한 헤드쉐도우처리모듈(215)은 피나처리모듈(212) 후단에 한 쌍의 제1,2 헤드쉐도우 필터로 구성하여 위치하고, 피나 효과를 표현한 후 헤드쉐도우 표현을 수행하고, 가산기에 의해 합쳐져서 하나의 출력신호 L,R로 구분하여 출력되도록 한다.
구체적으로 헤드쉐도우처리모듈(215)은 좌우측부 출력장치 음원으로부터 각각 왼쪽 귀로 입력되는 신호(출력신호 L)를 표현하는 제1,2 좌측 헤드쉐도우 필터(Head Shadow Filter1(L), Head Shadow Filter2(L))와, 좌우측부 출력장치 음원으로부터 각각 오른쪽 귀로 입력되는 신호(출력신호 R)를 표현하는 제1,2 우측 헤드쉐도우 필터(Head Shadow Filter1(R), Head Shadow Filter2(R))를 더 포함할 수 있다.
공간감처리부(220)는 가상위치처리부(210)에 의해 가상 위치 설정된 가공 음원(가공 오디오 신호)에 대하여 공감간 처리를 수행한다.
구체적으로 공간감처리부(220)는 도 4를 참조하면, 전처리 필터(221), 모노 공간감 필터(222), 스테레오 공간감 필터(223)를 더 포함한다.
전처리 필터(221)는 입력음원 신호에 대하여 스테레오 성분과 모노 성분으로 분리하여 음상 정위 시 반사음 효과를 높이기 위한 전처리를 수행한다.
모노 공간감 필터(222)는 입력음원 신호의 목소리를 포함하는 모노 성분 신호에 대하여 공간감을 생성한다.
스테레오 공간감 필터(223)는 입력음원 신호 중 스테레오 성분 신호에 대하여 공간감을 생성한다.
EQ및밸런스 처리부(230)는 공간감 처리된 음원의 EQ를 조정하고, 마이크 음향차를 교정하도록 오디오 밸런스를 조정한다.
실감음향스크립트처리부(300)는 공연 현장에 위치한 적어도 하나의 마이크에 대하여 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하기 위해 마이크 위치에 대한 시계열적 정보를 생성하여 상기 실감음향렌더링부(200)에 제공할 수 있다.
즉, 실감음향렌더링부(200)는 마이크 위치에 대한 시계열적 정보를 실감음향스크립트처리부(300)로부터 전달받아 가공 음원에 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하여 음원출력부(400)로 전달할 수 있다.
음원출력부(400)는 실감음향렌더링부(200)에 의해 생성 및 처리된 실감음향을 출력장치에 맞춰 스테레오 또는 5.1채널로 다운(또는 업)믹싱 후 출력되도록 한다.
100 : 노이즈처리부
200 : 실감음향렌더링부
210 : 가상위치처리부
211 : 음상정위부
212 : 피나처리모듈
215 : 헤드쉐도우처리모듈
220 : 공간감처리부
221 : 전처리 필터
222 : 모노 공간감 필터
223 : 스테레오 공간감 필터
230 : EQ및밸런스 처리부
300 : 실감음향스크립트처리부
400 : 음원출력부
1000 : 실감음향 처리 시스템
200 : 실감음향렌더링부
210 : 가상위치처리부
211 : 음상정위부
212 : 피나처리모듈
215 : 헤드쉐도우처리모듈
220 : 공간감처리부
221 : 전처리 필터
222 : 모노 공간감 필터
223 : 스테레오 공간감 필터
230 : EQ및밸런스 처리부
300 : 실감음향스크립트처리부
400 : 음원출력부
1000 : 실감음향 처리 시스템
Claims (7)
- 공연 현장에서 녹음된 입력 음원에 대하여 주변 노이즈 또는 하울링을 저감하도록 처리하는 노이즈처리부;
실감 음향을 생성하기 위해 노이즈 처리된 입력 음원에 대해 현장감을 더해주는 가상 위치 설정 및 공간감 처리를 통하여 실감음향을 생성하는 실감음향렌더링부;
공연 현장에 위치한 적어도 하나의 마이크에 대하여 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하기 위해 마이크 위치에 대한 시계열적 정보를 생성하여 상기 실감음향렌더링부에 제공하는 실감음향스크립트처리부; 및
상기 실감음향렌더링부에 의해 생성된 실감음향을 출력장치를 통하여 출력하는 음원출력부
를 포함하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템. - 제1항에 있어서,
상기 실감음향렌더링부는
입력 음원에 대하여 현장감을 제공할 수 있도록 가상 위치를 설정하는 가상위치처리부;
가상 위치가 설정된 가공 음원에 대하여 공감간 처리를 수행하는 공간감처리부; 및
공간감 처리된 음원의 EQ를 조정하고, 마이크 음향차를 교정하도록 오디오 밸런스를 조정하는 EQ 및밸런스처리부
를 포함하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템. - 제2항에 있어서,
상기 가상위치처리부는
입력 음원에 대하여 머리전달함수를 이용하여 가상의 공간에 음상 정위(Sound Image Position)되도록 신호 처리하는 음상정위부
를 더 포함하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템. - 제3항에 있어서,
상기 음상정위부는
입력 음원에 대해 귓바퀴로 인해 나타나는 피나(Pinna) 효과를 처리하기 위한 피나처리모듈;
입력 음원에 대해 머리 모양으로 인해 양귀로 들어오는 소리의 차이가 발생하는 헤드쉐도우(Head Shadow) 효과를 처리하기 위한 헤드쉐도우처리모듈
을 더 포함하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템. - 제4항에 있어서,
상기 피나처리모듈은
양측 귀로 입력되는 신호를 피나 효과로 표현하기 위해 복수의 엘리베이션 피나 필터(Elevation Pinna Filter)와, 복수의 아지무스 피나 필터(Azimuth Pinna Filter)를 더 포함하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템. - 제4항에 있어서,
상기 헤드쉐도우처리모듈은
상기 피나처리모듈 후단에 한 쌍의 제1,2 헤드쉐도우 필터로 구성하여 위치하고, 피나처리모듈을 거쳐 헤드 쉐도우 표현을 수행하는 것을 특징으로 하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템. - 제2항에 있어서,
상기 공간감처리부는
입력음원 신호에 대하여 스테레오 성분과 모노 성분으로 분리하여 음상 정위 시 반사음 효과를 높이기 위한 전처리를 수행하는 전처리 필터;
입력음원 신호의 목소리를 포함하는 모노 성분 신호에 대하여 공간감을 생성하는 모노 공간감 필터;
입력음원 신호 중 스테레오 성분 신호에 대하여 공간감을 생성하는 스테레오 공간감 필터
를 더 포함하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143311A KR102559015B1 (ko) | 2021-10-26 | 2021-10-26 | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143311A KR102559015B1 (ko) | 2021-10-26 | 2021-10-26 | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230059283A true KR20230059283A (ko) | 2023-05-03 |
| KR102559015B1 KR102559015B1 (ko) | 2023-07-24 |
Family
ID=86381080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210143311A KR102559015B1 (ko) | 2021-10-26 | 2021-10-26 | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102559015B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101505099B1 (ko) | 2012-12-27 | 2015-03-25 | 전자부품연구원 | 3차원 음향 제공 시스템 |
| KR20160012204A (ko) * | 2013-05-24 | 2016-02-02 | 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. | 믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램 |
| KR20210077169A (ko) * | 2019-12-17 | 2021-06-25 | 주식회사 라온에이엔씨 | 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치 |
-
2021
- 2021-10-26 KR KR1020210143311A patent/KR102559015B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101505099B1 (ko) | 2012-12-27 | 2015-03-25 | 전자부품연구원 | 3차원 음향 제공 시스템 |
| KR20160012204A (ko) * | 2013-05-24 | 2016-02-02 | 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. | 믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램 |
| KR20210077169A (ko) * | 2019-12-17 | 2021-06-25 | 주식회사 라온에이엔씨 | 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102559015B1 (ko) | 2023-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kyriakakis | Fundamental and technological limitations of immersive audio systems | |
| Algazi et al. | Headphone-based spatial sound | |
| US5459790A (en) | Personal sound system with virtually positioned lateral speakers | |
| US5841879A (en) | Virtually positioned head mounted surround sound system | |
| CA3008214C (en) | Synthesis of signals for immersive audio playback | |
| JP6085029B2 (ja) | 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム | |
| US5661812A (en) | Head mounted surround sound system | |
| US6144747A (en) | Head mounted surround sound system | |
| KR20170106063A (ko) | 오디오 신호 처리 방법 및 장치 | |
| US11877135B2 (en) | Audio apparatus and method of audio processing for rendering audio elements of an audio scene | |
| CN113170271A (zh) | 用于处理立体声信号的方法和装置 | |
| US11223920B2 (en) | Methods and systems for extended reality audio processing for near-field and far-field audio reproduction | |
| WO2018026963A1 (en) | Head-trackable spatial audio for headphones and system and method for head-trackable spatial audio for headphones | |
| Jot et al. | Binaural simulation of complex acoustic scenes for interactive audio | |
| US10321252B2 (en) | Transaural synthesis method for sound spatialization | |
| KR102559015B1 (ko) | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 | |
| KR100275779B1 (ko) | 5채널 오디오 데이터를 2채널로 변환하여 헤드폰으로 재생하는 장치 및 방법 | |
| Melchior et al. | Emerging technology trends in spatial audio | |
| US11665498B2 (en) | Object-based audio spatializer | |
| US11924623B2 (en) | Object-based audio spatializer | |
| CN114584914A (zh) | 一种3d音效方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |