KR20200083490A - 메타재료층을 이용한 음향 홀로그래픽 레코딩 및 재생 시스템 - Google Patents
메타재료층을 이용한 음향 홀로그래픽 레코딩 및 재생 시스템 Download PDFInfo
- Publication number
- KR20200083490A KR20200083490A KR1020207013656A KR20207013656A KR20200083490A KR 20200083490 A KR20200083490 A KR 20200083490A KR 1020207013656 A KR1020207013656 A KR 1020207013656A KR 20207013656 A KR20207013656 A KR 20207013656A KR 20200083490 A KR20200083490 A KR 20200083490A
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- microphone
- resonators
- piezo
- recording
- Prior art date
Links
- 239000000463 material Substances 0.000 title claims abstract description 42
- 230000010363 phase shift Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 67
- 238000005516 engineering process Methods 0.000 claims description 47
- 230000006835 compression Effects 0.000 claims description 29
- 238000007906 compression Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 210000005069 ears Anatomy 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 21
- 210000003477 cochlea Anatomy 0.000 description 18
- 239000013598 vector Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000005070 sampling Methods 0.000 description 12
- 238000001093 holography Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 210000002469 basement membrane Anatomy 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000013707 sensory perception of sound Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000012530 fluid Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 210000003027 ear inner Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 210000002768 hair cell Anatomy 0.000 description 2
- 210000000067 inner hair cell Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005788 Cochlea function Effects 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000003984 auditory pathway Anatomy 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007321 biological mechanism Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012576 optical tweezer Methods 0.000 description 1
- 210000002985 organ of corti Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011479 proximal gradient method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000004613 tight binding model Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00992—Circuits for stereophonic or quadraphonic recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only
- H04R1/28—Transducer mountings or enclosures modified by provision of mechanical or acoustic impedances, e.g. resonator, damping means
- H04R1/2807—Enclosures comprising vibrating or resonating arrangements
- H04R1/2838—Enclosures comprising vibrating or resonating arrangements of the bandpass type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R17/00—Piezoelectric transducers; Electrostrictive transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10546—Audio or video recording specifically adapted for audio data
- G11B2020/10555—Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account
- G11B2020/10564—Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account frequency
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
- G11B2020/10601—Audio or video recording specifically adapted for recording or reproducing multichannel signals surround sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/34—Directing or guiding sound by means of a phase plug
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Electrostatic, Electromagnetic, Magneto- Strictive, And Variable-Resistance Transducers (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Stereophonic Arrangements (AREA)
Abstract
홀로그래픽 사운드는 왼쪽과 오른쪽 귀에 대하여 레코딩된 단일의 단이성 레코딩을 통해서 레코딩되고 재생된다. 이것은 각각 다른 주파수에 공명하고, 원형 배열로 배치되며 비공진 재료에 의해서 개별 채널로 분리된 공진기를 갖는 레코딩 장치에서 사운드를 개별 주파수로 분할한 후 레코딩 된 주파수의 위상 시프트를 결정함으로써 달성된다. 공진기는 레코딩 장치 내에 의사 무작위 배열로 위치되고 공진기의 원은 단이성으로 사운드를 레코딩하는 마이크로폰 앞에 있다. 재생은 이후에 스피커 또는 변환기를 음향을 증폭시키는 미세 타공 시트 방향으로 배열, 중심점의 주변의 스피커/변환기의 배열, 하는 방법으로 된다. 사운드는 사운드가 최초에 레코딩된 위치와 중심점 주변의 특정 변환기의 위치에 기초하여 방향성 있게 재생된다.
Description
본 발명은 일반적으로 사운드의 레코딩 및 재생에 대한 것으로서, 보다 구체적으로 홀로그래픽적인 사운드의 레코딩 및 재생에 관한 것이다.
기본적인 오디오 레코딩 및 재생 기술은 보편화되었으며 일상생활에 없어서는 안 될 부분이 되었다. 이러한 영역은, 예를 들어 스튜디오, 콘서트 홀 등의 음악 레코딩에서 홈 엔터테인먼트 시스템, 전화 통신/사무실 통신, 전관 방송 시스템 등에서 이어지는 재생 등의, 레코딩부터 재생까지의 전체 과정을 포함한다. 궁극적인 목표는 처음 만들어졌을 때와 정확히 같은 사운드를 재생하는 것이다. 다시 말해서, 진폭, 주파수 성분과 깊이 감각, 공간적 위치 등과 같은 다양한 요인의 관점에서 처음 레코딩된 것과 동일한 음향적 영역에 있기를 원한다.
최근에 이 영역에서는 가상의 영상/음향의 레코딩과 재생을 향한 단계로 진입하고 있다. 가상 음향의 레코딩과 재생은, 잔향 공간(reverberant spaces)에서의 실제 음향 연주/공연 레코딩 및 VAE(Virtual Auditory Environment)로 알려진 원래 공연 공간의 가상 버전에서 이후에 허용되는 재생을 나타낸다. 청각적 장면(Auditory scenes)은 레코딩 또는 청각화(auralization)라는 두 가지 주요 메커니즘을 사용하여 만들 수 있다. 첫 번째 방법에서, 장면 합성을 위한 레코딩은 일반적으로 스튜디오 환경에서 구현된다. 예를 들면, 대중음악 제작에서, 멀티트랙 방식이 사용됨으로 인해, 악기들이 시간적, 스펙트럼 및 공간적으로 레이어드(계층화) 된다. 다른 예인 영화에서는, 효과음향 아티스트(Foley artists)가 배우의 움직임에 동기화된 일상적인 사운드를 추가하여 청각적 장면을 만든다. 두 번째 방법에서, 청각화(auralization)에 의한 청각적 장면의 생성은, 실제 방에서 취득하거나 청각화 소프트웨어로 산출된 음향 응답을 갖는 레코딩된 오디오(바람직하게는 무반향)의 처리를 포함한다. 가상 현실과 달리, 우리를 새로운 현실과 홀로그램 및 홀로그램 사운드로 안내하는 것은 우리들 "자신의 현실"에서 3차원의 이미지를 생성하는 것이다. 따라서, 홀로그래피 및 홀로그램 사운드는 뇌에 의한 3차원 사운드 프로세싱(홀로그램)이 생성되어 뇌가 사운드의 지향성 소스를 검출하고, 개시된 기술의 실시예에서, 공간의 동일한 위치에서 나오는 2개의 사운드임에도 불구하고 사운드가 나오는 방향을 결정할 수 있도록 하는 기술로 정의된다. 즉, 가상 현실(virtual reality)은 컴퓨터를 통해서 생성된 현실이다. 증강 현실(Augmented reality)은 조각들이 추가된 가상 현실이다. 홀로그래피는 걸어다닐 수 있는 "영상"(오디오 장면 또는 "사진"을 포함하는)을 보여주는 방법이다. 가상의 홀로그래픽 비디오 장치가 현재 널리 이용되고 있지만, 이글을 쓰는 시점에서 가상의 음향 홀로그래픽 레코딩과 재생 장치는 여전히 원시적인 수준이다.
홀로그래피를 더 설명하면, 이는 파동장의 완전한 정보를 레코딩하고 재구성하는 기술이다. '홀로-그래프(holo-graph)'라는 단어는 전체 그림을 의미하는 그리스어에서 파생되었으며, 홀로그램에 포함된 방대한 정보를 나타낸다. 홀로그래피의 기초는, 홀로그램이 적절한 코히어런트 소스(coherent source)로 비추어질 때, 간섭에 의해서 파면을 재구성할 수 있는 방식으로, 원하는 파면(wave-front)의 위상 및/또는 진폭 프로파일을 공간 저장하는 것이다. 광학 홀로그램은 가상 현실 디스플레이, 데이터 저장, 감지 및 보안 인쇄 분야에 널리 적용되어 있다.
한편, 음향 홀로그램은 현재의 응용에 있어서 전자기 대응물에 비해 상대적으로 덜 진보되어있다. 주요한 제한요소 중에 하나는 천연 또는 전통적인 재료가 제공할 수 있는 제한적인 음향특성이다. 음향 홀로그래피는 음파가 유형의 매체에 레코딩되고 프로세서를 이용하여 3차원으로 배열 또는 재생되는 프로세스이다. 음장(sound field)은 3차원(3D) 이미지를 사용하여 그 구조를 재구성하도록 모델링될 수 있다. 음향 홀로그램은 다른 기술에 의해서 생산된 것에 비하여 약 100배 더 상세한 3D 음장을 생성할 수 있다. 현재까지, 대부분의 음향 홀로그래픽 재구성 기술은 많은 수의 능동 소자들의 위상 배열에 의지하며, 정교한 위상 시프팅 회로, 큰 전력 소비 및 신중한 교정과 튜닝이 필요하다. 음향 홀로그래피에 포함된 측정 기술들은 다양한 분야에서 점점 인기를 얻고 있다. 가장 잘 알려진 기술은 근접장 음향 홀로그래피(Near Field Acoustic Holography, NAH)를 기반으로 한다. 근접장 음향 홀로그래피는, 일련의 압력 및/또는 입자 속도 변환기에 의해 음원에서 떨어진 음향 파라미터를 측정함으로써, 음원 근처의 음장을 추정하는 방법이다. 근접장 음향 홀로그래피는 음원과 측정 평면 사이의 3차원 음장을 재구성 할 수 있다.
홀로그래픽 기술은, 3차원 볼륨 내에서 복잡한 광학 또는 음향 장의 공간 제어가 필요한 체적디스플레이, 고밀도 데이터 저장 및 광학 집게(optical tweezers) 분야의 기본을 이룬다. 엠비소닉(Ambisonics), 파면 합성 기술(Wave Field Synthesis), 역문제 해법에 기초한 방법 및 기타 기술과 같은 다양한 음장 재생 방법이 제안되어왔다. 최근에는 홀로그래피 시스템에 NAH도 고려되었다. NAH의 주요 장점은, 타겟 음원 표면의 근접장에서 음압(acoustic pressure)을 측정함으로써, 음압, 입자 속도 및 음향 강도와 같은 모든 음향적 양을 측정 위치뿐만 아니라 3D 공간 및 음원 표면에서 재구성할 수 있다는 것이다. NAH 시스템은 복수의 마이크로폰의 구형상 어레이, 각 마이크로폰의 압력 데이터를 디지털화하기 위한 아날로그-디지털 변환기 및 각각의 위치에서 음향 강도를 결정하기 위한 프로세서를 포함하며, 프로세서는 압력 및 속도에 대한 구형 파동 방정식에 정규화 필터를 적용하도록 구성된 컴퓨터 소프트웨어를 갖는다. 전체 NAH는, 51개의 마이크로폰과 51개의 스피커와 같은, 많은 수의 레코딩 및 재생 센서가 필요하다. 다중 변환기가 필요한 점과 시스템 복잡성이 NAH 방식의 주요 단점이다. 또한, 음향적 홀로그래피는 나이퀴스트 샘플링 정리(Nyquist sampling theorem)에 의해서 여전히 제한된다. 공간 엘리어싱(spatial aliasing) 문제를 피하기 위해서, 배열된 마이크로폰 간격이 음향 파장의 절반보다 약간 작아야하며, 이는 고주파수에서 심각한 제한이 된다. 또한 나이퀴스트 레이트 결과가 매우 높아서, 매우 많은 수의 샘플을 사용해야만 한다. 많은 수의 하드웨어(스피커와 마이크로폰)과 많은 처리량을 결합하면, 이러한 시스템은 비용이 많이 들고 구현하기 어렵다.
다른 간단한 방법은 양이(binaural) 사운드에서 제한된다. 사운드는 공기 및 물과 같은 매체를 통해 압력과 변위가 가청범위의 역학적 파동으로 전파되는 진동이다. 인간의 청각 용어에서, 사운드는 이러한 파장의 수신과 뇌에 의한 그들의 인식이다. 많은 이론가들은 이전에 올바른 청각에 단 하나의 귀만 필요하다고 믿었지만, 두 귀가 양이 청각과 우리 주변 세게에 대한 우리의 이해에 필수적이라는 것이 증명되었다. 실제로, "양이적(binaural)"이란 단어는 "양쪽 귀를 사용하는 것"을 의미한다. 뇌의 청각 시스템은 양이적이며, 이 방법에는 저주파 사운드에 대한 상대적 위상 편이, 음성 범위의 사운드에 대한 상대적 강도 및 빠른 상승 시간 및 고주파수 구성 요소가 있는 사운드의 상대적 도달 시간을 포함한다. 양이적 레코딩은, 실제로 연주자 또는 악기와 함께에 있는 "방안에 있는" 청취자를 위한 3D 스테레오 감각을 만들려는 의도로 배치된, 2개의 마이크로폰을 이용하여 사운드를 레코딩하는 방법이다. 양이적 사운드는 일반적으로 두 귀를 대신하는 것과 같이 이격된 2개의 마이크로폰을 사용하여 레코딩되며, 때때로 실제 "쿤스트코프(Kunstkopf)"(더미 헤드)에서 마이크로폰이 진짜 이도(ear canals)의 위치에 배치된다. 그 결과, 좋은 헤드폰으로 재생할 때, 실제 레코딩된 공간에 대한 현실감이 느껴지고, 때로는 그 공간 주위로 악기나 목소리가 움직이는 이상한 감각이 느껴지며, 때때로 위나 뒤에서 오는 것으로 느껴진다. 그러나 헤드폰을 통한 음향 재생은 '머리내 정위(in-head localization)'로 이어지기 때문에 공간 신호(spatial cues)에 대한 좋은 평가는 불가능하다.
반면, 스피커 재생을 위해 일반적으로 믹싱되고 패닝된 멀티 마이크로폰 스튜디오 레코딩은, 종종 각 악기에 개별적인 마이크로폰을 사용하고, 믹스 콘솔에서 먼 왼쪽에서 먼 오른쪽으로 패닝되어 있으며, 목소리와 종종 드럼이 데드센터(dead center)에 위치하고 다른 악기들은 가상의 이미지에서 왼쪽과 오른쪽으로 이동한다. 헤드폰으로 이런 레코딩을 들으면, 종종 원래의 레코딩 공간이 아닌 머리의 중간에 이미지가 있는 것으로 느껴진다. 이러한 "머리 속"의 인식을 보완하기 위한 다양한 헤드폰과 오디오 프로세서가 수년 동안 설계되어 왔다. 양이적인 레코딩이 헤드폰에서 가장 좋은 사운드를 내지만, 스튜디오 스피커의 멀티 트랙에서 믹싱된 레코딩은 스피커에서 가장 좋은 사운드를 낸다.
인간의 청각은 3차원이다. 우리는 음원의 방향과 거리를 어느 정도 식별할 수 있다. 사실, 우리의 귀에 도달하는 사운드에는 풍부한 정보가 있으며, 우리의 뇌는 이러한 정보를 매우 정교하게 처리한다. 달팽이관, 그리고 실제로 전체 귀,는 사운드를 신경 신호로 변환하고 사운드 정보를 뇌로 전달하도록 설계되었다. 내이의 달팽이관은 청각 경로에서 가장 중요한 구조이며, 음향적으로 생성된 압력파로부터의 에너지가 신경 임펄스로 변환된다. 달팽이관은 음파를 증폭시키고 음파를 신경신호로 변환할 뿐만 아니라, 복잡한 음향적 파형을 단순한 요소들로 분해하는 기계식 주파수 분석기의 역할도 한다. 인간의 달팽이관은 주파수와 강도의 양측면에서 뛰어난 사운드 분석이 가능하다. 달팽이관은, 1/230 옥타브(3Hz에서 1000Hz)의 분해능으로 20Hz 내지 20000Hz(거의 10옥타브) 사이의 사운드를 인식하도록 한다. 1000Hz에서, 달팽이관은 0 dB SPL (2 x 10-5 Pa)과 120 dB SPL (20 Pa) 사이의 음압을 인코딩한다.
달팽이관은 내이에 위치하는 유체역학적(hydro-mechanical) 주파수 분석기이다. 이것의 중요한 역할은 공간-주파수 맵을 생성하면서 음향 신호의 실시간 스팩트럼 분해를 수행하는 것이다. 달팽이관은 주파수를 공간으로 변환하여 오디오 스펙트럼 분석을 수행한다. 유체로 채워진 달팽이관에 대한 음향 신호의 타격에 의해서, 기저막은 사운드의 주파수에 따른 진동운동을 하며, 그 결과 파동이 그 단부를 향하여 이동한다. 파동은 기저막의 길이를 따라서 공간적으로 제한되며, 최대 진폭의 위치는 그 사운드의 주파수와 관련된다. 주파수가 높을수록, 몸체 끝(proximal end)으로의 방해는 더 제한된다. 내이의 주파수 분석에 대한 이해는 3가지 주요 기간에서 수행되었다. 첫 번째는, 달팽이관 내에서 약간 감쇠되고 공간적으로 정렬된 기계적 공진 요소가 스펙트럼 분석을 수행한다는 헬름홀츠의 제안이 지배적이었다. 1940 년대 후반에서 1970 년대 초반까지 지속된 두 번째 기간은, 진행파에 대한 폰 베케시(von Bekesy)의 표현이 지배적이었다. 세 번째 시대에는 근본적으로 다른 패러다임이 등장한다. 이 패러다임에 따르면, 폰 베케시의 진행파는, 귀의 감각세포 그룹 중에 하나인 외유모세포(outer hair cells)가 센서와 기계적 피드백 요소로서 기능하는, 부분적인 전기기계적 증폭 프로세스에 의해 증가된다. 이러한 발견은 달팽이관의 주파수 선택성을 설명하는데에 도움이 된다. 베케시와 존스턴(Johnston)의 관찰 사이의 차이는, 살아있는 대상의 기저막 진동에 작용하는 활성 생물학적 메커니즘에 기인한다.
달팽이관에서, 기저막은 채널의 모양에 의해서 제한되는 유체와 상호 작용하여, 기계적 진행파를 지지하는 전송로를 만든다. 이 전송로의 위치는, 상이한 주파수 응답의 진행과 함께하고, 달팽이관 기능의 기존 헬름홀츠 공명 뷰(Helmholtz resonance view)와 유사한, 많은 출력에 대응된다.
순수한 톤(tone) 사운드를 위해, 능동 역학은 코르티기관의 매우 좁은 부분에서 기저막 진동을 약 + 50dB 증폭시켜, 이 부위에서 달팽이관의 감도를 높인다. 2개의 유사한 주파수는 2개의 구분된 달팽이관 영역을 활성화하여, 이들을 구별할 수 있도록 한다(주파수 선택성이라고 알려진 특성). 이러한 주파수 튜닝은 외유모세포(OHCs)의 전기-운동성과 밀접하게 연결되고, 신경 신호를 생성하는 청각신경 섬유와 내유모세포(IHCs)에 의해서 정의된다.
달팽이관의 가장 중요한 비선형적 거동들 중에 하나는 높은 레벨에서의 압축이다. 낮은 강도의 사운드 신호는 특정 달팽이관 위치에서의 주파수 선택 방식으로 증폭되어, 달팽이관에서 큰 이득을 나타내지만, 높은 레벨의 사운드 신호는 거의 증폭하지 않아서, 달팽이관에서의 이득이 거의 없다. 청각 시스템은, 실시간 처리 기능을 유지하면서 인상적인 청각 범위 달성을 위한 장소이론과 함께 고유한 실시간 스펙트럼 분해방법을 사용한다. 유체역학적 주파수 분석기로 동작하면서, 효율적 데이터 전송을 위한 압축기술을 사용함으로써, 이를 달성할 수 있다. 기저막의 고무적인 기능은 실시간 스펙트럼 분석을 수행하는 능력이다. 기저막 하위 섹션의 활성화는, 입력신호의 내용에 따라서, 다양한 진폭과 위상의 정현파(sinusoidal) 진동을 초래한다. 따라서, 내이에서는 주파수를 위치에 매핑시키는 변환이 발생한다. 이 메커니즘은 귀의 주파수 식별에 필수적이다. 최대 진폭을 위한 기저막의 위치는 다음과 같이 설명된다:
여기에서:
f : 주파수 [Hz]
x : 기저막의 최대 이동 위치 [mm].
인류의 달팽이관 시스템의 주파수 의존적 필터링 메커니즘은, 분산된 음향 메타 재료(AMM) 시스템을 사용한 공간주파수 의존적 설계로 우리를 이끈다. 이와 같이, 기저막은, 복잡한 신호를 주파수 성분으로 동시에 분해하는, 밴드패스 필터(BPFs)의 뱅크와 종종 비교되어 왔다. 오늘날 많은 음향학자들은 기저막 기능의 가장 현실적인 모델이 공진기 시스템, 또는 더 나은 경우 (원심성 피드백(efferent feedback)으로 알려진) 중추 신경계에 의해 조절될 수 있는 주파수 조정 발진기라고 생각한다.
음악적 음향신호는, 음악이 생성되는 과정에 의해서, 많은 기저 구조를 포함한다. 사람의 청력은, 청각장면 분석으로 알려진 프로세스인 음향 신호의 구조를 분석하는 데 일반적으로 매우 뛰어나다. 음악의 경우, 한번에 활성화될 수 있는 적은 수의 음에서 음악적 음향 신호가 생성되어, 희박한 표현이 가능하다는 것은 놀라운 일이 아니다. 압축감지(Compressed sensing, CS)는 다수의 선형 및 비적응형 측정을 이용하여 신호를 나타내려고 한다. 신호가 나이퀴스트 레이트(Nyquist rate)로 샘플링되는 경우에, 일반적으로 측정 횟수는 필요한 샘플의 수보다 훨씬 적다. CS는, 원래 신호를 올바르게 재구성하기 위해, 신호가 어느 정도-적은 기본 함수의 선형 조합이라는 의미에서- 희소해야 한다. 음향 신호의 정현파-모델링 된 부분은 희소 신호이므로, CS를 사용하여 이러한 신호를 인코딩하는 것은 당연하다. 센서측에 복잡성이 적고 범용적이기 때문에, CS는 다중센서 시스템에서 매력적인 압축 방식이다. 최근, 멀티미디어 코딩 표준에서 사용되는 현재의 압축 기술보다 훨씬 높은 압축 비율을 얻기 위한 목적으로 음향신호의 희소성이 이용되고 있다.
임피던스에 정합된 표면은 입사파가 반사를 일으키지 않는 것으로 알려져있다. 딥-서브파장(deep-subwavelength) 스케일의 완벽한 음향 흡수는 큰 과학적 및 공학적으로 관심거리이다. 이는, 시간 반전 파장 기술(time-reversal wave technology)에 중요한 영향을 미치는, 점원의 정확한 시간 반전된 대응물으로서 행동할 수 있다. 음향 흡수의 종래 수단은, 다공성 및 섬유질의 재료와 구배지수(gradient index) 재료를 사용하거나, 패널 뒤쪽에 조정된 캐비디 깊이를 갖는 천공 또는 미세천공 패널을 적용한다. 그들은 일반적으로, 도래파에 일치하는 불완전한 임피던스 또는 파장과 유사한 크기의 매우 커다란 구조물이 된다. 반면, 능동형 '흡수제(absorbers)'는 비싸고 정교한 전기적 설계가 필요하다. 최근, 전자파의 경우, 2개의 다른 재질 사이의 접점을 구조화하는 것이, 위상 불연속, 이상 굴절/반사 및 편광 조작과 같은 다양한 기능을 가진, 메타 표면에 이를 수 있음이 알려졌다. 음향 메타 소재 기반 시스템은 더 적은 센서로 레코딩할 수 있을 뿐만이 아니라 더 적은 스피커로 사운드를 재생할 수 있다. 음향 메타 재료와 압축 감지, 다른 음원에서 동시에 겹쳐진 사운드들을 분리하는 소수의 센서를 가진 홀로그래픽 레코딩 장치 및 홀로그래픽 사운드를 재생할 수 있는 스피커 어레이를 이용하여, 완전한 가상 음향 홀로그래픽 시스템이 설계 및 제시된다. 이방성 음향 메타 재료은, 메타 재료 압력장의 직접 증폭을 제공하는, 강한 파동 압축 효과를 갖도록 디자인될 수 있다.
따라서, 본 기술 분야에서 현재 알려진 기술보다 저렴하고 품질이 뛰어난 홀로그래픽 사운드를 정확하게 재생하는 방법이 요구된다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서 음향 메타 재료를 사용하여 홀로그래픽 음향을 레코딩 및 재생할 수 있는 방법과 장치를 제공하는데 그 목적이 있다.
홀로그래픽적 또는 3차원으로 사운드를 레코딩하고 재생하는 방법 및 이를 수행하는 장치가 여기에 개시된다. 3차원 사운드 레코딩 및 재생 또는 홀로그래픽 사운드는 건강한 사람의 뇌가 사운드가 나오는 방향을 감지 할 수 있고 360도 평면 주위의 다른 방향에서 다른 사운드가 나오는 방향을 구분할 수 있는 사운드로 정의된다. 이는, 개시된 기술의 실시예에서, 개별 채널(discrete channel)로 배열된 복수의 공진기에서 사운드가 반사 및/또는 굴절된 후 마이크로폰으로 사운드를 수신함으로써 달성된다. 개시된 기술의 실시예에서 공진기는 특정 주파수를 진동 및 증폭시키는 음향 공진기이다. "특정 주파수"는 실시 예에 따라 1Hz, 5Hz, 10Hz 또는 20Hz 내에 있을 수 있다. 정확한 공진 주파수에서 특정 공진기는 다른 주파수에 비해 가장 강하게 공진한다.
마이크로폰에 의해 출력되는 사운드(즉, 공진기의 진동에 의해 생성되는 마이크로폰에 의해 수신된 음파)는 디지털 압축 방식을 사운드에 적용한 후에 레코딩된다. 디지털 압축 방식은 아래의 상세한 설명에서 설명된다.
개별 채널들 각각에서 마이크로폰까지의 거리 및 사운드 내의 적어도 일부 주파수의 결정된 위상 시프트 (각 공진기에서 마이크로폰까지의 (알려진) 거리로 인한)에 적어도 부분적으로 기초하여, 복수의 피에조 드라이버가 진동한다. 피에조 드라이버는 전기 임펄스를 기계적 임펄스 또는 진동으로 변환하는 장치이다. 이들 피에조 드라이버는 복수의 공진기로부터 반사되거나 굴절된 사운드의 방향성을 적어도 부분적으로 재생성하는 방식으로 음향 메타 재료를 통해 진동을 전달한다. 메타 재료가 배열되는 장치의 형상은 육각형, 팔각형 등등(예를 들어, 10, 12, 14, 16 측면)일 수 있지만, 피에조 드라이버 및 연관된 메타 재료는 중심점에서 등거리에 배치되어, 중심점 주위에서 올바른 방향으로 사운드를 생성하여 사운드의 방향을 재현할 수 있다.
사운드 레코딩을 위한 마이크로폰은 단이성(monaural) 및 전방향성이며, 개별 채널들 각각으로부터 실질적으로 균등하게 사운드를 수신하도록 캘리브레이션 된다. 각 공진기는 서로 다른 공진기와는 다른 주파수에서 공진하고, 마이크로폰의 사운드 입력단의 앞에 원형으로 의사 무작위하게(pseudo-randomly) 배열된다. 다시 말해서, 마이크로폰은 제1방향을 가리키고, 일부 실시예에서, 공진기의 원형 배열은 마이크로폰의 선단으로부터 마이크로폰의 전방을 지나서 바깥쪽으로 연장되는 가상의 선을 중심으로 마이크로폰이 가리키는 방향의 전방에 있다. 의사-무작위로 배치된 공진기는 원형방식으로 개별 채널별로 배열되며, 개별 채널은 개별 채널들 중에 각 두 채널 사이에 비공진 재료에 의해 서로 분리된다. 다시 말해, 비공진 물질의 각 층 사이의 공진기는 단일 채널을 구성한다. 복수의 공진기가 비공진 물질의 각 층 사이에서 상이한 주파수로 공진하도록 각각 설계되어, 원형 또는 규칙적인 다각형 단면 모양 주위로 공진기와 비공진 물질이 교번하여 위치한다.
개시된 기술의 실시예에서, 결정된 위상 시프트뿐만 아니라 각각의 개별 채널과 마이크로폰 사이의 거리에 기초하여, 사운드가 발산되는 방향이 결정된다. 이 결정은 복수의 피에조 드라이버가 음향 메타 재료를 진동시키도록 하는데 사용된다. 출력/재생 장치 주변의 위치에 따른 올바른 피에조 드라이버가 진동되면, 그 결과로 사운드가 3차원 공간에서 올바른 방향으로 출력된다. 각각의 볼륨(피에조 드라이버의 진동 진폭의 결과로서)은 사운드가 나오는 각 방향의 볼륨에 해당하지만, 다수의 피에조 드라이버에서 나오는 사운드로 인해 발생할 수도 있음이 이해되어야 한다. 마찬가지로, 출력에 사용된 2개의 메타 재료 판의 두 위치 사이인 3차원 공간안의 위치에서 사운드가 나왔을 때, 각각은 더 적은 양으로 진동하여 그 사이의 방향으로부터 사운드를 재생성할 수 있다.
일부 실시예에서, 복수의 공진기의 배치와는 대응성이 결여된 방식으로, 복수의 피에조 드라이버가 사운드 재생 장치의 중심점 주위에 등간격을 두고 있다. 즉, 예를 들어, 레코딩 장치에는 32개의 개별 채널이 사용될 수 있지만, 12면 재생 장치, 15면 재생 장치 등 만 사용될 수 있다. 일부 실시예에서, 이들 복수의 피에조 드라이버는 상기 피에조의 압전 드라이버로부터 나오는 음파를 증폭시키는 단일 사운드 재생 장치에 각각 부착된다.
상기 내용은 단일 마이크로폰을 사용하여 단일 위치에서 단일의 단이성 레코딩을 참조하여 설명되었다. 이것은 또한 전술한 바와 같이 장치 두 세트를 사용하여 수행될 수 있다. 이것은 각각의 귀에 대해 하나의 레코딩 장치와 하나의 재생 장치를 사용하는 것과 유사하거나, 또는 당해 기술 분야에서 스테레오 사운드의 레코딩 및 재생으로 알려진 것과 유사하다. 따라서, 이러한 실시예에서, 2개의 마이크로폰, 2개의 마이크로폰 중 하나에 대응하(고 원형 배열에서 각각의 마이크로폰 앞에 배치되)는 복수의 공진기 각각에서 반사되거나 굴절된 사운드를 사용할 것이다. 2 개의 마이크로폰 각각에 대하여, 그로부터의 출력에 디지털 압축 방식(예를 들면, 본 기술분야에 알려진 twist 알고리즘)을 적용한 후, 데이터가 저장되고 상기 실시예에서 설명된 바와 같이 재생이 (저장된 데이터를 검색하는, 동시에 또는 나중에) 진행된다. 이제, 각각의 재생 장치는 좌측 및 우측 오디오를 형성하는 사람의 각각의 귀에 더 가까이 배치될 수 있으며, 각각의 좌측 및 우측 오디오에 대해 홀로 그래픽 사운드를 생성한다.
상기한 실시예에서, 각 마이크로폰은 단이성 및 전방향성이며, 2개의 마이크로폰 중 하나에 대응하는 특정 복수의 공진기의 각 공진기로부터 실질적으로 동일한 사운드를 수신할 수 있도록 캘리브레이션된다. 따라서, 일부 실시예에서, 재생 장치에는 사운드 재생 장치 상의 중심점으로부터 등거리 이격된 제1 피에조 드라이버 세트 및 제2중심점으로부터 등거리 이격되어있는 제2 피에조 드라이버 세트가 존재한다. 첫 번째 세트와 두 번째 세트 출력 각각은 두 마이크로폰 중 다른 마이크로폰의 사운드를 재생성한다.
상기 다른 방법에서, 각각이 다른 주파수에서 공명하는 복수의 공진기는 실질적으로 원형 배열로 배열된다. 마이크로폰은 3차원 평면의 적어도 하나의 평면상에서 복수의 공진기 사이에 위치된다. 유형의 저장 매체는 마이크로폰에서 출력되는 디지털 및 압축된 버전의 출력을 저장한다. 사운드 재생 장치의 중심점으로부터 등거리로 배열된 복수의 피에조 드라이버는 사운드(또는 사운드 입력, 레코딩된 사운드 등)의 출력 내에서 적어도 일부 주파수의 결정된 위상 시프트에 기초하여 상기 복수의 피에조 드라이버 중에 특정 피에조 드라이버로 출력과 함께 상기 마이크로폰으로부터의 상기 출력의 압축되지 않은 버전을 재생한다.
상기 마이크로폰에 의해 레코딩된 사운드의 방향성은 사운드 재생 장치에 부착된 음향 메타 재료층을 통해 진동을 일으키는 피에조 드라이버에 의해 재생된다. 양이성 및/또는 스테레오 사운드를 생성하기 위해, 상기 복수의 공진기, 상기 마이크로폰 및 상기 복수의 피에조 드라이버의 부가적이고 실질적으로 동일한 세트가 제1세트와 함께 사운드를 생성하는데 사용될 수있다. 복수의 피에조 드라이버와 부가적 복수의 피에조 드라이버에 의한 재생은 마이크로폰과 부가적 마이크로폰에 의해 픽업된 사운드의 위치의 검출이 복수의 피에조 드라이버와 부가적 피에조 드라이버들에 대한 입체 공간에서 청각적으로 결정될 수 있게 한다.
복수의 피에조 드라이버는 각각 개시된 기술의 실시예에서 피에조 드라이버의 사운드를 증폭시키는 단일 사운드 재생 장치에 부착된다. 개시된 기술의 실시예들에서. (서로 연관된) 피에조 드라이버들의 간격은 (서로 연관된) 복수의 공진기/개별 채널의 간격과 일치하지 않는다. 개시된 기술의 실시예들에서. 복수의 공진기는 실질적인 원형 배열로 의사-무작위하게 배열된다. 개시된 기술의 실시예들에서. 복수의 공진기는 원형 배열 내에 배치된 복수의 등간격 비공진 재료에 의해 분기된다. 개시된 기술의 실시예들에서. 사용된 각각의 또는 유일한 마이크로폰은 단이성이며, 저장 매체는 그로부터 수신된 사운드를 압축된 단일 데이터 채널에 저장한다.
본 명세서의 목적 상, "실질적으로" 및 "실질적으로 도시된"은 "적어도 90%"또는 다르게 지시된 것으로 정의된다. 청구 범위에 의해 제한되는 바와 같이, 임의의 장치는 여기에 언급된 장치를 "포함" 또는 "구성"할 수 있다.
"a 및/또는 b"라는 용어는 "a 및 b", "a 또는 b", "a", "b"의 세트를 포함하도록 읽혀지도록 "및/또는"의 사용이 포괄적으로 정의되는 것으로 이해되어야 한다.
상술한 바와 같이 구성된 본 발명은, 메타 물질 재료를 사용함으로써, 3차원의 홀로그래픽 사운드를 레코딩 및 재생할 수 있는 효과가 있다.
도 1은 개시된 기술의 실시예에서 사용되는 모노럴 레코딩 장치의 사시도를 도시한다.
도 2는 개시된 기술의 실시예에서 사용되는 모노럴 레코딩 장치의 평면도를 도시한다.
도 3은 개시된 기술의 실시예에서 사용되는 사운드 획득 또는 레코딩 장치의 하이 레벨(high level) 도해를 도시한다
도 4는, 도 3에 대해 90도 회전된, 도 3의 사운드 획득 또는 레코딩 장치의 단면도를 도시한다.
도 5는 개시된 기술의 실시예를 사용하여 레코딩된 홀로그래픽 사운드를 나타내는데 사용되는 재생 장치를 도시한다.
도 6은 개시된 기술의 실시예에 따른 레코딩 장치의 제1 개략도를 도시한다.
도 7은 개시된 기술의 실시예에 따른 레코딩 장치의 제2 개략도를 도시한다.
도 8은 개시된 기술의 방법을 수행하기 위해 취해지는 단계들의 하이 레벨 흐름도를 도시한다.
도 9는 홀로그픽 파동을 측정 및 재구성하는 하이 레벨 블록 다이어그램을 나타낸다.
도 10은 개시된 기술의 실시예가 수행될 수 있는 장치를 도시하는 하이 레벨 블록도이다.
도 2는 개시된 기술의 실시예에서 사용되는 모노럴 레코딩 장치의 평면도를 도시한다.
도 3은 개시된 기술의 실시예에서 사용되는 사운드 획득 또는 레코딩 장치의 하이 레벨(high level) 도해를 도시한다
도 4는, 도 3에 대해 90도 회전된, 도 3의 사운드 획득 또는 레코딩 장치의 단면도를 도시한다.
도 5는 개시된 기술의 실시예를 사용하여 레코딩된 홀로그래픽 사운드를 나타내는데 사용되는 재생 장치를 도시한다.
도 6은 개시된 기술의 실시예에 따른 레코딩 장치의 제1 개략도를 도시한다.
도 7은 개시된 기술의 실시예에 따른 레코딩 장치의 제2 개략도를 도시한다.
도 8은 개시된 기술의 방법을 수행하기 위해 취해지는 단계들의 하이 레벨 흐름도를 도시한다.
도 9는 홀로그픽 파동을 측정 및 재구성하는 하이 레벨 블록 다이어그램을 나타낸다.
도 10은 개시된 기술의 실시예가 수행될 수 있는 장치를 도시하는 하이 레벨 블록도이다.
홀로그래픽 음향은, 왼쪽과 오른쪽 귀 각각에 대해 레코딩된 단이성 레코딩의 방법으로 레코딩 및 재생된다. 이는, 각각 다른 주파수에서 공진하고 원형배열로 배치되며 비-공진 물질에 의해 개별 채널로 분할된, 공진기를 갖는 레코딩장치에서 사운드를 이산 주파수로 분할 뒤에 레코딩된 주파수의 위상 편이를 결정함으로써 달성된다. 공진기는 레코딩장치 내부에 의사-무작위 배열로 배치되며, 공진기의 원은 사운드를 단이성으로 레코딩하는 마이크로폰의 앞에 위치한다. 스테레오 레코딩을 위해서, 각각이 단일의 단이성 마이크로폰과 결합된 이와 같은 공진기의 원형배열 2개가 사용된다. 재생은 이후에 스피커 또는 변환기를 음향을 증폭시키는 미세 타공 시트 방향으로 배열, 중심점의 주변의 스피커/변환기의 배열, 하는 방법으로 된다. 음향은 이후에, 원래 사운드가 레코딩 된 위치와 중심점 주변의 특정 변환기 위치를 기준으로, 방향성 있게 재생된다.
개시된 기술의 실시예를 이해하기 위해, 발명가가 만든 사람의 귀와 레코딩에 대한 발견을 설명할 필요가 있다.
인간 귀의 달팽이관은 전체적으로 강제 결합된 진동자의 체인(chain)으로 볼 수 있으며, 이러한 모델은 공명 및 진행파 이론의 기본 측면을 통합한다. 생물학적 달팽이관에서 사용되는 스펙트럼 분석 구조는 매우 효율적이다: 분석 시간, 전력 및 하드웨어 사용량은 모두, 고속 푸리에 변환을 위한 N log (N)에 대한, 출력 주파수 빈(output frequency bins)의 수에 비례하여 확장된다. 달팽이관 같은 주파수 및 품질 계수를 가진, 결합되지 않은 조파발진기(harmonic oscillators)의 등급이 나뉜 뱅크는 동시에 여기되며, 그 공명은 실험에 의해 관찰된 것과 비슷한 주파수 응답과 그룹 지연 및 진행파 속도의 상승을 가져온다. 음정(tone)은 결합된 공진기의 등급이 나뉜 뱅크에서 전체적이고 거의 동시적인 강제력을 생성하며, 이는 명백한 진행파를 유발한다. 본 특허에서, 대역 통과 필터의 메커니즘은 랜덤화된 헬름홀츠 공진기 또는 서브파장 공진기의 뱅크에 의해 시뮬레이션된다.
음향 메타 재료(AMM)("최소한 하나의 구멍 또는 일련의 이격된 구멍이 있는 두께 2mm 이하의 얇은 평판으로 구성된, 또는 포함된, 사운드를 흡수하거나 사운드의 강도를 낮추기 위해 사용되는 장치"라고 정의)는 기하학적으로 배치된 간격 및 공명 효과를 결합한다. 예를 들면, 종래의 기본 재료는, 일반적으로 양의 값을 갖는 것에 반하여, 음의 유효 밀도
및 벌크 모듈러스
를 나타내는 재료로 이끌어, 음의 음향굴절율
의 결과가 되는, 천공, 채널, 공진기 또는 산란 부위를 포함하는 규칙적인 구조를 갖도록 변형된다. 간단한 AMM 공진기는 다양한 분야에서 광범위하게 사용되는 헬름홀츠 공진기이다. 음향 공진기로 잘 알려져 있고, 파장에 비하여 작은 헬름홀츠 공진기는 점성 감쇠로 인하여 상대적으로 낮은 손실을 나타낸다. 후자는 부피V를 포함하고, 길이 l과 단면S의 개방형 목으로 한정되는 단단한 용기로 구성된다. 조정가능한 주파수에서 공기 전파음에 임피던스 매칭되어, 반사가 발생되지 않도록 하는, 하이브리드 공진을 얻도록 음향반사 표면을 설게될 수 있다. 여기에 설명된 Helmholtz 공진기는 AMM 개념을 설명하기위한 기본 기존 요소로 사용된다. 단일 공진기와 비교할 때, 복수의 동일한 공진기를 가진 덕트(duct)는 구조적 주기성으로 인해 고유한 감쇠 특성을 나타내며, 신중하게 설계된 경우 훨씬 더 넓은 노이즈 감쇠 대역을 제공할 수 있다.
장치의 공진 주파수는 그 관성(예를 들면, 질량) 및 복원력(예를들면, 스프링의 복원력)에만 의존하기 때문에, 공진 주파수에서의 관련 파장은 공진 장치의 물리적 규모보다 큰 차수 일 수있다. 이 서브파장 특성은 메타 재료의 모든 유형에서 공통적인 특징이며, 자연에서 발견되지 않는 기능을 가진 서브 파장 구조를 포함한다. 메타 재료 특성은 사용된 재료와는 독립적이며 구조물의 기하학적 구조와 그를 채우고 있는 매체에만 의존한다. 따라서 이러한 구조는 조정가능한 음의 체적 탄성계를 구현하기에 이상적이다. 음파의 서브파장 제어는 전자기학만큼 연구되지는 않았지만, 캐널리제이션(canalization) 또는 하이퍼렌즈 기반의 초해상도 이미징을 구현하려는 시도는 거의 없었다.
압축감지(압축의 감지, 압축 샘플링, 또는 희소 샘플링으로도 알려진)는 불명확한 선형 시스템에 대한 해법을 찾아서 신호를 효율적으로 수집 및 재구성 하기 위한 신호처리 기술이다. 이는, 최적화를 통해서, 신호의 희소성은 샤넌-니퀴스트(Shannon-Nyquist) 샘플링 정리에서 요구되는 것보다 훨씬 적은 샘플들에서 신호를 복구하기 위하여 활용될 수 있다는 원리를 기반으로 한다. 복구가 가능한 조건은 두 가지가 있다. 첫 번째 조건은, 일부 영역에서 신호가 희소할 것이 요구되는 희소성이다. 두 번째 조건은, 희소 신호에 충분한 등방성 특성을 통해서 적용되는 비일관성(incoherence)이다. 압축감지는 알려진 기초안에서 신호가 희박할수록 유리하고; 측정(또는 센서 끝에서의 계산)은 비싸며; 반면 수신기 끝에서의 계산은 저렴하다. 불완전한 데이터에서 이미지를 복구할 수 있는 것은 매우 중요하다: 이미징 또는 기타 감지 기술에 소요되는 시간이 줄고, 스토리지 요구사항이 줄어드는데, 필요한 모든 데이터를 복구하고 에너지를 절약하기 위해 오직 불확실한 데이터만이 필요하기 때문이다. 신호의 중요한 대부분의 정보가 포함된 신호의 선형 랜덤 프로젝션의 적은 수를 취득하여 관심신호가 샘플링된다. 이것은 신호에 대한 두가지 주요 가정, 즉 희소성과 비일관성에 기본적으로 의존한다. 희소성은 관심 신호에 의존하고, 비일관성은 감지 양식에 의존한다. 희소성은 신호에 존재하는 정보의 양이 신호에 의해 획득된 총 대역폭보다 훨씬 작음을 의미한다. 자연 신호의 대부분은 사실상 희소하다. 반면에, 비일관성은 띄엄띄엄 표현될 수 있는 신호가 신호가 획득된 영역에서 확산되어야 함을 의미한다. 희소성이 음향 신호, 레이더, 통계 모델, PED 솔루션 및 기타 다수에 존재하는 점에 주목하는 것은 흥미롭다.
음향 메타 재료는 음파를 제어, 지시 및 조작하도록 설계된 인공적으로 제작된 소재(재료)이다. 음향 메타 재료는 메타 재료의 파생물 중 하나이기 때문에, 음향 메타 재료의 기본 원리는 메타 재료의 원리와 유사하다. 일반적으로 이러한 메타 재료는 구성이 아닌 효과적인 거시적 행동을 구현하기 위하여 작은 비균질성의 함유를 사용한 구조에서 특성을 얻는다. 음파의 다양한 형태에 대한 제어는 벌크 모듈러스
, 질량 밀도
및 비대칭성(chirality) 를 통하여 대부분 달성된다. 음향 메타 재료는 일반적으로 두 가지 주요 영역으로 나눌 수 있다. 공진 재료는 보통 파장보다 작은 간격을 가지는 공진기, 강구 또는 실린더와 같은 비균질성의 주기적 배열이 내장된 매트릭스 재료로 구성된다. 내장된 구조는 저지 대역과 굴절 효과를 만드는 파의 산란과 공진 거동을 일으킨다. 비-공진 음향 메타 재료는 유체와 재료를 통한 음파의 전파를 제어하기 위하여 설계된다. 공진과 비공진 메타 재료 디자인 양쪽이 본 특허에서 사용된다. 음향 반사 표면은 하이브리드 공진을 획득할 수 있고 조정 가능한 주파수에서 공기 전파음에 임피던스-정합되어, 반사가 발생되지 않는다. 메타 표면의 각 공진셀은 모든 공간 규격에서 딥-서브파장(deep-subwavelength)이며, 그 두께는 피크 흡수 파장(peak absorption wavelength)보다 두 자리수 만큼 작다. 전송이 없을 수 있으므로, 임피던스 매칭된 음향파는 따라서 하나 이상의 주파수에서 완전히 흡수되거나 전류와 같은 에너지의 다른 형태로 변환된다.
말하기와 음악 등과 같은 음향 신호는 정보가 풍부한 신호이며, 인간 사이 통신의 주요 수단이 되어왔다. 실제 신호를 디지털화하면 보다 간결한 표현을 달성하고 사용 가능한 리소스의 보다 나은 활용을 제공하는 것에 도움이 된다. 또한, 신호/이미지 처리의 많은 응용 분야에서 역문제가 많이 있다: 원격 감지, 레이더 이미징, 단층 이미징, 현미경 이미징, 천체 이미징, 디지털 사진 등. 이미지 복원은 1960년대로 거슬러 올라가는 이미징에서 가장 초기이자 가장 고전적인 선형 역문제 중 하나이다. 신호처리 이론에 따르면, 해당 신호의 모든 정보를 획득하기 위하여 신호가 샘플링되어야 하는 속도는 그 신호의 푸리에 대역폭의 2배(니퀴스트 속도)와 같다. 이러한 샘플링 방법은 많은 중복 정보를 포함하는 많은 양의 데이터를 생성한다. 전통적으로, 신호를 복구하려면, 앨리어싱(aliasing)을 피하고 높은 정확도로 재구성하기 위한 충분한 샘플들을 가져올 필요가 있다. 니퀴스트-샤넌의 샘플링 정리(Nyquist-Shannon sampling theorem)에 따르면, 신호를 정확하고 독창적으로 복원하기 위해서는 최소한 주파수의 두 배로 신호를 샘플링해야 한다. 물론, 이 정리는 여전히 유효하며; 백색 소음의 신호 또는 이미지에서 1바이트를 건너뛰면, 원본을 복원할 수 없다. 하지만 가장 관심있는 신호와 이미지는 백색 소음이 아니다. 삼각 함수 또는 웨이블릿(wavelets)과 같은 적절한 기본 함수로 표현할 때, 많은 신호는 0이 아닌 계수가 거의 없다. 압축 감지 용어에 있어서, 그들은 희소하다. 샤넌의 정리(니퀴스트-샤넌의 샘플링 정리라고도 하는)는 이미지의 해상도가 측정 횟수에 비례하는 것으로 이야기한다. 해상도를 2배로 늘리려면, 픽셀의 수가 2배로 필요하다.
제한된 조건을 보상하기 위하여 신호 희소성과 비일균성과 같은 특정의 조건을 사용할 수 있고, 따라서, 여전히 신호를 정확하게 복구할 수 있는 동안, 압축 감지로 니퀴스트 기준을 위반할 수 있다. 많은 중요한 신호들은 이러한 희소함의 특성을 가지며, 그러므로 신호의 정보 전부를 획득하기 위하여 요구되는 샘플의 수를 줄이는 것이 가능하다는 점이 관찰되었다. 중요한(크기가 큰) 구성요소가 적고 중요하지 않은(0에 가까운) 구성요소가 더 많을 경우, 신호는 본질적인 희소라고 불린다.
압축 감지 또는 샘플링(CS)에서, 신호 희소함은 정보의 손실 없이 신호를 부족하게 샘플링하게 한다. CS는 미결정된 선형 시스템의 해법을 찾아서 신호를 효율적으로 획득하고 재구성하기 위한 신호 처리 기술로 정의된다. 이는, 최적화를 통해서, 신호의 희소성은 샤넌-니퀴스트(Shannon-Nyquist) 샘플링 정리에서 요구되는 것보다 훨씬 적은 샘플들에서 신호를 복구하기 위하여 활용될 수 있다는 원리를 기반으로 한다. 복구가 가능한 조건은 두 가지가 있다. 첫 번째 조건은, 일부 영역에서 신호가 희소할 것이 요구되는 희소성이다. 두 번째 조건은, 희소 신호에 충분한 등방성 특성을 통해서 적용되는 비일관성(incoherence)이다. 세계의 압축 감지 관점에서, 달성 가능한 해상도는 주로 이미지의 정보 내용에 의해 제어된다. 본질적으로 희소한 경우라면, 신호는 압축 가능하다고 한다. 정보내용이 적은 이미지는 적은 수의 측정으로부터 완벽하게 재구성될 수 있다. 필요한 수의 측정이 완료되면, 추가하는 것은 도움이 되지 않는다.
압축 감지는 제한된 수의 측정과 미결정된 선형 시스템이 주어지면 희소 신호의 정확한 재구성이 가능한 신호 처리 기술이다. 그러나 압축감지는 신호가 희소하고 시스템이 비일관적이라는 것을 알면 이러한 규칙을 유지할 필요가 없음을 보여주며, 이는 이 시스템이 측정에서 희소 신호를 확산시킬 수 있어야 함을 의미한다. 시스템이 일관적인 경우, 또는 원 신호를 적절하게 확산시키기 못한다면, 이 기술은 실패한다. 희소성은 CS의 주요 원칙이기 때문에, 효과적인 신호의 희소 표현은 CS 기반 적용분야의 성공에서 중요한 역할을 한다. 예를 들어, 압축 감지(CS) 기술은 최근 단층 이미지가 샤넌-니퀴시트 기준보다 훨씬 적은 샘플 데이터로부터 잘 메워질 수 있음을 보여왔다.
"실측 자료"는 감지된 음향 소스와 주파수 내용과 관련하여 중요한 것으로 여겨지는 유형, 크기, 상태 및 기타 물리적 또는 스펙트럼 특성에 대한 측정과 관측의 모음을 포함한다. CS는 제한된 수의 측정을 기반으로 신호를 표시하는 방법과 이후에 이러한 측정으로부터 신호를 복구하는 방법의 모음을 포함한다.
획득된 신호는 다음과 같이 표현될 수 있다:
여기서 s는 획득된 신호이고, ψ는 희소 행렬이고 x는 실수치의 열 벡터이다.
여기서 y는 압축 샘플이고 Φ는 감지 매트릭스이다.
위의 방정식에 대한 해법은 다음과 같다.
상기한 식은 결정되지 않은 문제로서, 즉 M 차원 공간으로 n 차원 벡터의 투영이고, 즉 방정식의 수 < 미지수의 수이다.
이러한 종류의 문제를 해결하기 위해 규준의 개념이 사용된다. 규준은 벡터 공간의 벡터에 대해 양의 길이를 엄격하게 할당한다. 규준은 형태는 다음과 같다:
a. L0 규준: 단순히 벡터에서 0이 아닌 성분의 수를 센다
b. L1 규준: 다음 방정식으로 주어진다:
L2 규준: 다음 방정식으로 주어진다:
헬름홀츠 공진기의 공진 동작은 목에 위치하는 기체 기둥의 질량 진동에 의한 것이며, 공동은 조화 발진기의 복원력으로 작용한다. 따라서 헬름홀츠 공진기의 공진 주파수는 간단히 다음과 같이 쓰여진다:
공진 주파수는 사용 파장이 공진기의 범위보다 훨씬 큰 낮은 주파수 범위에서 발생될 수 있다. 공진 주파수를 바르게 선택하여, 주파수의 한정된 범위에 걸쳐서 음의 밀도와 음의 압축율을 동시에 달성하는 것이 가능하다. 독립적인 공진기들의 시스템은 진행방향으로 에너지 전달이 없는 진행파를 생성할 수 있다.
헬름홀츠 공진기에서, 유효 질량 밀도가 아닌 유효 벌크 계수는 주파수에 의존하게 된다. 공진유도된 이례적 유효 벌크 계수
는 헬름홀츠 공진기 체인에 의해 션트된(shunted) 도파관에 의해서 달성될 수 있다. 헬름홀츠 공진기는 공동 내부 유체의 압축과 팽창에 의해 제공되는 복원력 하에서 넥 영역 내부 유체의 진동으로 특징으로 한다. 샘플은 그 단위가 서브 파장이다. 국부 공진의 주파수 분산으로 인하여, 음의 벌크 계수가 얻어진다. 헬름홀츠 공진기 기반의 메타 재료에 숨겨진 원인은 공진기 공동으로부터 주입되는 여분의 공기 부피이다. 조정가능한 공기전파음에 임피던스 매칭된 서브파장 스케일의 단위셀을 가지는 AMM 메타 표면은 다른 공진기를 결합하고 하이브리드 공명 모드를 생성함으로써 달성된다.
감지 매트릭스 설계: 신호가 충실하게 복구되도록, 감지 매트릭스를 설계하는 동안 다음의 조건이 엄격히 만족되어야 한다:
범용 비일관성 조건: 감지 매트릭스의 두 채널 또는 열 벡터들 사이의 상호 상관값은 최소여야 한다.
데이터 독립성: 랜덤 매트릭스의 구성은 데이터의 모든 사전 지식에 의존하지 않는다.
강건성: 무작위 투영된 계수의 전송은 네트워크에서 패킷 손실에 대하여 강하다.
비일관성 조건: 감지 매트릭스는 회소 매트릭스와는 달라야 한다. 시간과 주파수 기준은 최대로 비일관적이다. 다음식은 비일관성 조건을 나타낸다:
개시된 기술의 실시예는 도면에 대한 다음 설명을 고려하여 더욱 명확해질 것이다.
먼저 도 1-3을 참조하면, 이들 도면은 공진기와 공진기 그룹을 개별 채널로 분리하는 비음향 분리 장벽을 형성하는 음향 메타 재료층을 이용한 사운드 수집 시스템을 도시한다. 사운드 수집 장치의 외형은 구형, 원뿔형이거나 또는 3차원 공간으로 확장된 규칙적인 다각형으로부터 형성될 수 있다. 도 1과 2에서 주어진 거리들(볼드체가 아닌 숫자)은 특정 실시예에서 사운드 레코딩 또는 수집 시스템의 크기를 밀리미터 단위로 나타낸다. 이러한 크기는 변경될 수 있고 주어진 크기는 단지 예시의 목적인 것으로 이해되어야 한다.
먼저 도 3과 4를 참조하면, 도 3은 개시된 기술의 실시예에서 사용된 사운드 수집 또는 레코딩 장치의 하이 레벨 도해를 보여준다. 도 4는, 도 3에 대해 90도 회전된, 도 3의 사운드 수집 또는 레코딩 장치의 단면도를 도시한다. 2개의 이러한 장치(300)는 왼쪽 및 오른쪽과 같은 하나의 모노럴 레코딩 장치를 각각 형성한다. 각각은 복수의 음향 공진기(310)를 포함하고, 각 공진기는 특정의 이산 주파수에 공진하고(일부 실시예에서, 모노 및 전방향) 마이크로폰(390)을 둘러싸고 있다. 시스템의 왼쪽 절반은 왼쪽 레코딩을 위한 사운드/왼쪽 귀에 해당하는 사운드를 레코딩하고, 오른쪽 절반은 오른쪽 레코딩/ 사운드 (즉 오른쪽 귀)를 위한 것이다. 두 레코딩 장치(300)의 중심 간 거리는 양이성 또는 스테레오 레코딩 요건으로 설정될 수 있다. 양이성을 위한 간격 d1은 의도된 듣기 위한 귀 사이의 간격(약 21.5cm)일 수 있다. 스테레오 레코딩 및 2개의 재생장치를 통한 재생을 위한 간격 d1은 예를 들어 약 1미터 내지 25미터 사이일 수 있다. 각 AMM 레코딩 시스템은 비공진재료(315)의 각층 사이에 위치하는 공진기(310)에 의해 규정되는 몇몇의 채널을 가진다. 각 채널은 무작위적 공진을 갖는 공진기와 시스템의 중앙에 위치하는 레코딩 마이크로폰을 포함한다. 사운드가 마이크로폰(390)에서 수신된 이후, 일부 실시예에서 사운드를 증폭하는 사전증폭 장치(410)로 보내지고, 다음으로 데이터를 처리하고 유형의 저장매체에 저장하는 데이터 수집 시스템(520)에 보내진다.
개시된 기술의 실시예는 도면에 대한 다음 설명을 고려하여 더욱 명확해질 것이다.
도 1은 개시된 기술의 실시예에서 사용되는 모노럴 레코딩 장치의 사시도를 도시한다. 전술한 바와 같이, 실시예에서 2개의 이러한 단이성 레코딩 장치(300)가 사용된다. 각 장치(300)는 다양한 부피(서로 상대적 크기)의 복수의 헬름홀츠/음향 서브파장 공진기를 가진다. 각각 다른 주파수에서 변이하기 위하여 일부는 더 크고 일부는 더 작다. 공진기(310)는 최대의 공진 분산을 제공하기 위하여 장치(300)의 중심점 주변의 위치에 무작위 또는 의사 무작위로 배치된다. 공진기 위의 표면판은 특정 퍼센트의 개방 영역(POA), 두께 및 홀직경을 가진다. 들어오는 음향신호를 위한 음향 임피던스 매칭을 제공하기 위하여 각 사운드 수집 장치(300)의 공진기들을 덮는다. 공진기 채널에서의 유사한 무작위 분산은 홀 직경을 변화시키고 공진기의 부피(크기)는 일정하게 유지함으로써 달성될 수 있으며, 이는 도 2에서 더욱 잘 설명되어 있다.
도 2는 개시된 기술의 실시예에서 사용되는 모노럴 레코딩 장치의 평면도를 도시한다. 각 채널의 공진 분산(공진기(310)의 그룹을 서로에게서 이산 채널로 음향적으로 분리시키는 비공진층(315)들 사이의 공진기)은 층(315)으로 분리된 채널들 속에 분산된 복수의 헬름홀츠(음향) 공진기를 가진다. 공진은 무작위화 또는 의사-무작위화 되고, 전술한 바와 같이, 압축 감지를 지원하는 측정 매트릭스에 기여한다. 채널 전체로부터 무작위화된 변조는, 개시된 실시예에서 전방향 마이크로폰(390)이고, 공진기(310)들과 채널들의 링의 중심에 배치된 단일 센서의 원래의 전방향 측정 모드를 "스크램블(scramble)한다". 결과적으로, 측정 모드는 공간 및 스펙트럼 차원 모두에서 복잡하다.
도 9로 넘어가서, 도 9는 홀로그픽 파동을 측정 및 재구성하는 하이 레벨 블록 도해를 보여준다. 각 채널(각 비공진 영역(315) 사이의 공진기 그룹(310))의 공진이 관심 있는 주파수 범위에 걸쳐 희소하게 분포되고 1차 필터링 응답이 지배한다고 가정하면, 도파관의 전체 주파수 변조는 공진기의 개별 응답의 곱셈에 의해 근사 될 수 있다:
측정 매트릭스의 각 열
은 레코딩 무대의 스피커들 중 하나로부터 음악신호를 방출하는 소스의 이산 푸리에 성분을 나타낸다. 매트릭스에서 열의 개수는 N = KxP이고, 여기서 K는 무대에서 가능한 스피커 위치이고 P는 오디오 조각의 크기이다.
측정 행렬의 각행
(즉 H)은 한 주파수에서 객체 벡터에 대한 테스트 함수를 나타내며, 측정 데이터 벡터의 측정값은 
(꺽쇠괄호는 내적을 나타냄)와 같은 테스트 기능에 의해 정의된 방식으로 샘플링된다. AMM 음향 감지 시스템에 대한 측정 행렬의 무작위화는 신중하게 설계된 AMM 채널 응답 
에 의해서 제공된다.
측정 행렬의 성분은 다음과 같이 표현될 수 있다:
따라서 
는 각각 다른 위치 
에 있는 소스의 주파수 스펙트럼(진폭과 주파수 내용물)을 나타내고, 그리고 
을 통해서 결정된다.
압축된 데이터로부터 원래 신호를 효과적으로 복구하는 방법에 대한 문제가 현재 발생하며, 이 문제는 본 기술에 의해 해결된다. 베이시스 추적(basis pursuit, BP)은 제한적인 L1 규준의 최소화를 기반으로 하는 널리 알려진 수학적 최적화 문제이며, 스플릿 브레그먼 방법(split Bregman method)은 다양한 L1-정규화된 최적화 문제를 풀기 위한 효과적인 기술이다. p<1인 제한된 Lp 규준 최소화에 기초한 몇몇 재구성 알고리즘이 제한되어왔다. 게다가, 시뮬레이션 결과를 기존의 여러 알고리즘에서 얻은 해당 결과와 비교하는 평활화 근사 L0 규준(SL0)의 최적화에 기초한 신호 재구성 알고리즘이 연구된다. 그 결과는 근사 L0 규준의 사용을 장려한다.
TwIST(Two-Step Iterative Shrinkage Thresholding)는 역 선형 문제의 해법을 제공하는 알고리즘이다. TwIST 알고리즘은 당업계에 공지되어 있으며, 현 시점에 예를 들어 http://www.lx.it.pt/~bioucas/TwIST/TwIST.htm에 기술되어 있고 전체적으로 인용되어 있다:
선형 역문제에 대한 많은 접근 방식은 해법(예 : 복원된 이미지)을 y는 관측 된 데이터이고 K는 (선형) 직접 연산자이고 F(x)가 정규화기(regularizer)인 목적 함수의 최소화기(minimizer)로 정의한다. f의 직관적 의미는 간단하다: 그것을 최소화하는 것은 ||y-Kx||2로 측정된 관측된 데이터의 후보추정치 x의 부족한 적합성과 F(x)로 주어진 비바람직성(undesirability)의 정도 사이에서 타협을 찾는 것에 해당한다. 정규화 매개 변수로 불리는 l은 두 항의 상대 가중치를 제어한다.
최신의 정규화기(regularizer)는 비-이차원적이고 부드럽지 않다; 총 변동과 ℓp 규준은 디컨볼루션(deconvolution), MRI 재구성, 웨이블릿 기반 디컨볼루션(deconvolution), BP, LASSO(Least Absolute Shrinkage and Selection Operator) 및 압축 감지와 같은 많은 통계적 추론 및 신호/이미지 처리 문제에 응용되는 정규화기(regularizer)의 잘 알려진 2개의 예시이다.
IST(iterative shrinkage/thresholding) 알고리즘은 F(x)가 비-이차원이고 아마도 부드럽지 않은 정규화기(regularizer)인 f의 최소화를 위해 최근 제안되었다. IST 알고리즘의 수렴 속도가 선형 관측 연산자에 크게 의존하여, 조건이 없거나 잘못되면 매우 느려진다. TwIST(Two-Step Iterative Shrinkage Thresholding) 알고리즘은 IST의 비선형 2단계 ("2차(second order)"라고도 함) 반복 버전을 구현하여 이러한 단점을 극복한다. 결과 알고리즘은 잘못 조정되고 잘못된 문제에 대해 IST보다 훨씬 빠른 수렴 속도를 나타낸다. 과학에서 역문제는 일련의 관측으로부터 그것을 일으킨 인과적 요인을 계산하는 과정이다. TwIST는 많은 이미지 복원 및 압축 감지문제를 해결하는 데 사용되어 왔다. 이미지 복원을위한 최근의 접근 방식은 2단계 프로세스인 TwIST에서 웨이블릿을 사용하는 것이다. TwIST에서 두 단계는 반복 수축과 임계값이다. TwIST 알고리즘은 조건이 잘못된 문제 일지라도 기존의 IST 알고리즘에 비해 더 빠른 수렴을 생성한다. 2차 접근법을 기반으로 하는 TwIST(Two-Step Iterative Shrinkage Thresholding) 알고리즘이 수렴 성능을 향상시키는데 사용된다. 푸리에 공간에 기반한 반복 최적화 프로세스에서 TwIST 알고리즘은 다른 1차 방법보다 수렴률이 더 우수하다. 다른 IST(Iterative Shrinkage/Thresholding) 알고리즘과 비교할 때 TwIST는 수렴이 과거 및 현재 반복을 기반으로하기 때문에 더 효과적이다. IST(iterative shrinkage-thresholding) 알고리즘은 프록시멀 그레디언트(proximal gradient) 방법의 L1-규준을 고려하여 파생되며, 이제 CS의 원리를 기초로 하는 하나의 이미지 복구용 기본 도구이다. 이산차변환(discrete difference transform)의 의사역행렬을 사용하는 소프트-쓰레스홀딩 필터링(soft-thresholding filtering) 알고리즘은 뛰어난 이미지 복구를 보여준다.
단계 210에서, TwIST 알고리즘은 고도로 악의적인 노이즈 제거 문제를 처리하는데 사용될 수 있다. 역문제에서는, x에 적용된 연산자 K에 의해 생성된 (아마 노이즈가 있는) 관측값 y로부터 알려지지 않은 원래 신호/이미지 x를 추정하는 것이 목적이다. 조건이 잘못된 문제의 선형 시스템인
여기서, x의 다른 값들에 대한 이미지가 관찰된다.
TwIST에서, 접근 방식은 최소화 문제를 해결하는 것이다:
여기서 λ는 일정한 가중 인자, N은 노이즈 벡터, y는 측정 값, A는 시스템 매트릭스, 
는 정규화 함수, 
는 에너지 매칭 계수이다.
선형 역문제에 대한 많은 접근 방식은 해법(예, 복원 이미지)을 다음 목적함수의 최소화로 정의하며,
여기서 y는 관측된 데이터이고 K는 (선형) 직접 연산자이고 F(x)는 정규화기(regularizer)이다. f의 직관적 의미는 간단하다: 그것을 최소화하는 것은 ||y-Kx||2로 측정된 관측된 데이터의 후보추정치 x의 부족한 적합성과 F(x)로 주어진 비바람직성(undesirability)의 정도 사이에서 타협을 찾는 것에 해당한다. 정규화 매개 변수로 불리는 l은 두 항의 상대 가중치를 제어한다. TwIST(Two-Step Iterative Shrinkage Thresholding) 알고리즘은 IST의 비선형 2단계("2차(second order)"라고도 함) 반복 버전을 구현한다. 결과 알고리즘은 잘못 조정되고 잘못된 문제에 대해 IST보다 훨씬 빠른 수렴 속도를 나타낸다.
TwIST 방법은 IST 알고리즘만큼 효율적으로 잘못된 문제를 처리하는 동안에도, IST 체계의 우수한 노이즈 제거 성능을 유지하는 것을 목표로 한다. 이 방법에서는 TwIST (Two-step Iterative Shrinkage / Thresholding) 알고리즘의 형식을 가지는, TwIST라고 불리우는, 새로운 반복 방법이 사용되었다. 업데이트 방정식은 이전의 추정치 하나가 아니라 이전의 추정치 2개(따라서, 2단계로 명칭됨)에 따라 달라진다. 이 클래스는 IST(Iterative Shrinkage/Thresholding) 방법을 포함하면서 확장한다.
본 기술의 감지 시스템은 일반 샘플링 모델이 g = Hf인 헬름홀츠 공진기의 무작위 배치(또는 의사-무작위 배치)를 가지며, 여기서 g는 측정된 데이터의 벡터 형태(측정 벡터)이고; f는 추정할 객체 벡터이다. 감지 시스템의 순방향 모델을 나타내는, 측정 행렬 H는 순차적으로 인덱스 된 주파수에서 행의 선형 샘플링 벡터 [테스트 함수로도 알려짐]의 행을 적층함으로써 형성된다. 이 매트릭스는 서로 다른 방위각과 범위에서 음파에 대하여 관련성이 없는 정보 채널을 생성하기 위한 메타 재료의 물리적 특성에 의해 랜덤화된다. 행렬의 랜덤화 정도는 감지 시스템의 지원되는 해상도 및 멀티플렉싱 능력을 결정한다.
이제 다중-스피커 시스템을 참조하는 것이 무대의 여러 스피커를 통해 재생되는 음향 신호를 제공한다. 수집된 신호의 푸리에 성분은 이 주파수에서 도파관의 응답의 중첩으로 표현될 수 있다:
재구성에 사용될 측정 데이터 벡터는 g=[
이고, 객체 벡터 f는 N = K ㅧ P 요소(K는 가능한 위치의 개수이고 P는 유한 오디오 라이브러리의 크기)를 포함하는 스칼라 벡터이다. f의 희소성(활성화된 소스에 해당하는 오직 몇몇 요소만 0이 아님) 때문에, 감지 프로세스는 압축 감지의 프레임 워크에 이상적으로 어울린다. L1-규준 정규화는 잘못된 역 문제를 해결하기 위하여 TwIST(Two-step Iterative Shrinkage/Thresholding) 알고리즘으로 수행된다.
역 문제에서, x에 적용된 연산자 K에 의해 생성된 (아마 노이즈가 있는) 관측값 y로부터 알려지지 않은 원래 신호/이미지 x를 추정하는 것이 목적이다. 조건이 잘못된 문제의 선형 시스템인
y = Kx
여기서, x의 다른 값들에 대한 이미지가 관찰된다.
이제, 단계 210(도 9를 참조)에서 선형 시스템에 대한 TwIST 방법으로부터, 아래에 주어진 것과 같이 행렬 A가 C 및 R으로 분할되는 선형 함수 Ax = B가 고려된다(단계 230):
A = C ― R,
상기 식에서 
를 취함(단계 240)
선형 시스템 
에 대한 2단계 반복이 된다.(단계 250)
TwIST의 프로세스가 수행된다 (단계 260) :
α 및 β의 상이한 값은 다음과 같이 설정된다 (단계 270):
여기서 p의 값은 다음과 같이 주어진다 (단계 280):
수렴 (단계 290)이 증명되면 반복이 중지되고 (단계 295), 그렇지 않으면 프로세스가 반복되고 단계 260-290이 다시 수행된다.
다공성 층들 내에 주기적으로 배열된 MPP(micro-perforated panels)를 사용하는 비공진 음향 메타 재료(AMM) 임피던스 시스템 및 개시된 기술의 실시예에서 적층된 장치에 사용된 에어 갭은 흡음 이외에 음향 임피던스에 대해 최적화된다. Helmholtz 공진기에서와 같이 기존의 미세 구멍은 특정 주파수로 조정되는 반면, 본 기술에서는 AMM 장치가 20 -20000 Hz의 주파수 범위에서 조정된다. 개시된 기술의 실시 예에서, 에어 갭뿐만 아니라 메타 재료 MPP 시트 및 흡음층의 주기적 배열을 이용하는 비공진 음향 메타 재료 층이 사용된다. 구멍 직경, 구멍 간격 등과 같은 흡수성 층의 두께와 재료 특성 및 미세 천공 된 시트의 설계 파라미터는 메타 재료 접근법[Ref]을 사용하여 최적화된다. AMM 임피던스 매칭은 본질적으로 주파수 독립적이며 음향 메타 재료 스피커 시스템의 기하학적 구조에 의해 조정될 수 있다.
이제 도 5를 논의하면, 도 5는 개시된 기술의 실시예를 사용하여 레코딩된 홀로그램 사운드를 나타내는데 사용되는 재생 장치를 도시한다. 상대 크기는 밀리미터와 같이 굵지 않은 숫자로 표시된다. 이 다면체 스피커(500)(도시된 것과 같이, 10면)의 하이 레벨 도면에서 압전 액츄에이터(510)(단일 구조가 도시되어 있지만, 다면체의 각 섹션/측면은 개시된 기술의 실시예에서 동일하다)는 음향 홀로그램을 재생한다. 다면체 스피커의 표면에 다수의 압전 액츄에이터가 결합될 수 있다. 다른 실시예에서, 다수의 종래의 확성기가 음향 홀로그램을 재생하는데 사용될 수 있다. 스피커는 중심점 주위에 3차원으로 배열되어야 하며, 중심점은 홀로그래픽 사운드를 레코딩하는데 사용되는 마이크로폰(390)의 위치와 동일하다. 재생은 사운드가 발생한 중심점으로부터 방향(레코딩 점에 대한 공간에서 3차원 벡터)으로 사운드를 표시하는 방식으로 작동한다. 이러한 방식으로, 다면체 스피커(500)의 예에서, 사운드는 공진기 플레이트(510)로부터의 사운드 전파 방향에 횡방향인 방향 1과 2로 재생되고 빠져나간다. 공진기(510)는 압전 변환기에 의해 진동되고 그로부터 사운드를 증폭시키는 음향 메타 재료일 수 있다. 하나의 이러한 사운드 재생 장치(500) 또는 스피커 세트는 각각 레코딩된 홀로그픽 사운드, 예를 들어 왼쪽 귀용 및 오른쪽 귀용으로 사용될 수 있다.
도 8은 개시된 기술의 방법을 수행하기 위해 취해지는 단계들의 하이 레벨 흐름도를 도시한다. 단계 110에서, 음향 공진기는 의사-무작위의 원형 배열로 개별(개별적이고 분리된) 채널로 배열된다. 단이성 전방향 마이크로폰과 같은 마이크로폰은 레코딩 장치의 음향 공진기의 앞 또는 끝에 배치되고, 각각의 복수의 일부의 또는 대부분의 레코딩 장치 음향공진기의 원형 단면의 사이에 중심에 있다. 3차원 공간에서의 2개 또는 그 이상인 소스 또는 포인트로부터의 사운드 출력(즉, 마이크로폰으로부터 X, Y 및 Z 좌표 평면에서 적어도 1, 2 또는 3거리에서 다른 거리를 가짐)은 단계 120에서 생성된다. 레코딩 장치 주위의 주변 공간으로부터의 출력 사운드는 공진기가 공진하게 한다. 이들은 1Hz, 2Hz, 5Hz 또는 20Hz와 같이 서로 다른 특정의 주파수로 튜닝되지만, 원형 배열 및/또는 개별 채널 내에서 의사 무작위하게 배치된다. 일부 실시예에서는, 이러한 사운드가 공진기로부터 반사된 후 마이크로폰에 의해 픽업되는 것에 더하여, 반사 없이 마이크로폰에 의해 직접 픽업된다. 직접적인 마이크로폰에 대한 사운드의 타격과 특정 주파수에 대한 공진기에서 반사된 것의 시간 차이와 마이크로폰으로부터 얼마나 떨어져 있는지에 아는 것에 기초하여, 상기한 것과 같이 사운드 소스의 방향을 적어도 부분적으로 계산할 수 있다. 이를 특정 사운드에 대한 무수한 다른 주파수, 대기 시간 및 공진기 위치와 결합하여, 단계 340에서, 마이크로폰에 대한 각 사운드의 위치를 결정하기에 충분한 정도로 음파의 위상 편이를 계산한다.
그 후, 단계 160에서, 마이크로폰으로 수신된 사운드가 압축되고 원형 배열 (레코딩 장치)로부터 출력되는 단일 채널 (단이성 사운드 레코딩)에 저장된다. 스테레오 레코딩을 생성하기 위해 두 개의 레코딩 장치를 사용할 수 있으며, 따라서 각 레코딩 장치에서 하나의 단이성 채널이 생성된다. 본 실시예에서, 레코딩 장치는 개별 채널과 그 자신의 단이성 마이크로폰을 가지는 2개의 원형 배열이 존재하도록 복제되고, 그 출력은 각각 단일의 단이성 레코딩으로 레코딩된다(단계 160). 이것들은 함께 스테레오 레코딩을 형성한다.
단계 170과 180은 재생을 위해 수행되는 단계이다. 재생은 실시간(프로세서, 네트워크 장치 및 레코딩 장치와 재생 장치 사이의 전송 장치에서 허용되는 즉시) 또는 레코딩된 이후에 이루어질 수 있다. 그렇게 하기 위해, 단계 170에서, 피에조 드라이버 또는 스피커는 각 채널의 중심점으로부터 등거리 또는 실질적으로 등거리로 배열된다. 이후에 단계 180에서, 각각 또는 단일 모노 채널 내에 저장된 이전에 결정된 위상 시프트에 기초하여, 사운드가 특정의 피에조 드라이버를 통해서 재생된다.
도 6 및 도 7을 다시 참조하면, 개시된 기술의 실시예에 따른 레코딩 장치의 개략도가 도시된다. 도 6은 개시된 기술의 실시예에 따른 레코딩 장치의 제1개략도를 도시한다. 도 7은 개시된 기술의 실시예에 따른 레코딩 장치의 제2개략도를 도시한다. 페이지 상부가 상대적으로 낮은 주파수를 가지며, 반면에 페이지 하부가 상대적으로 높은 주파수를 가진다. 이는 원의 부분/웨지이므로(도 1을 참조), 더 큰 공진기가 요구되는 낮은 주파수에 대한 원의 단면을 고려하며, 반면에 더 높은 주파수는 더 작은 공진기를 요구하고 일반적으로 원의 바깥쪽을 향해 있다. 외부에있는 절연층(315) 및 페이스 플레이트(319)는, 개시된 기술의 실시예에 따른 레코딩 장치에서의 내부에 있는 서브 파장 공진기로 사운드가 통과하는 복수의 홀(317)을 가진다. 90도 뒤집으면, 횡단면의 우측 및 하부에 작은 도면으로 공진기(310)의 깊이를 볼 수 있다.
도 10은 개시된 기술을 수행하기 위해 사용될 수 있는 장치의 하이 레벨 블록도를 도시한다. 장치(600)는 그러한 동작을 정의하는 장치의 프로그램 명령을 실행함으로써 컴퓨터의 전반적인 동작을 제어하는 프로세서(650)를 포함한다. 이 장치의 프로그램 명령은 저장 장치(620) (예를 들어, 자기 디스크, 데이터베이스)에 저장되고, 콘솔의 프로그램 명령 실행이 필요한 경우에 메모리 (630)에 로딩될 수 있다. 따라서, 장치의 동작은 메모리(630) 및/또는 저장 장치(620)에 저장된 장치의 프로그램 명령에 의해 정의될 것이고, 콘솔의 프로그램 명령을 실행하는 프로세서(650)에 의해 콘솔이 제어될 것이다. 장치(600)는 네트워크(예를 들어, 인터넷)를 통해 다른 장치와 통신하기 위한 하나, 또는 복수의, 입력 네트워크 인터페이스를 또한 포함한다. 장치(600)는 전기적 입력 인터페이스를 더 포함한다. 장치(600)는 다른 장치와 통신하기 위한 하나 이상의 출력 네트워크 인터페이스 (610)도 또한 포함한다. 장치(600)는 컴퓨터와의 사용자 상호 작용을 허용하는 장치(예를 들어, 디스플레이, 키보드, 마우스, 스피커, 버튼 등)에 해당하는 입력/출력(640)을 또한 포함한다. 당업자는 실제 장치의 구현이 다른 구성 요소를 포함할 수 있고, 도 4는 예시적인 목적으로 이러한 장치의 일부 구성 요소에 대한 하이 레벨 표현이라는 것을 인식할 것이다. 또한 당업자는 도 1 내지 도 9에 도시된 방법 및 장치가 도 10에 도시된 것과 같은 장치에서 구현될 수도 있음을 이해할 것이다.
또한, 본 명세서에 개시된 모든 기술요지는 법적으로 비추론적인 기술요지로서 지시되고 읽혀지는 것으로 이해되어야 한다. 모든 용어는 청구된 정의의 부분만을 포함하도록 읽어져야 한다. 예를 들면, "컴퓨터 판독 가능 저장 매체"는 비일시적 저장 매체로만 정의된다고 이해된다.
개시된 기술이 상기 실시예들을 구체적으로 참조하여 교시되었지만, 당업자는 개시된 기술의 사상 및 범위를 벗어나지 않고 형태 및 세부 사항이 변경될 수 있음을 인식할 것이다. 설명된 실시예들은 모든 면에서 단지 예시적이고 제한적이지 않은 것으로 간주되어야 한다. 청구항의 의미 및 등가 범위 내에 있는 모든 변경은 그 범위 내에 포함되어야 한다. 전술한 방법 및 장치 중 임의의 조합이 또한 본 발명의 범위 내에 있는 것으로 고려된다.
Claims (18)
- 3차원으로 사운드를 레코딩 및 재생하는 방법으로서,
개별 채널들로 배열된 복수의 공진기에서 반사 또는 굴절된 이후에 사운드를
마이크로폰으로 수신하는 단계;
상기 사운드에 디지털 압축 기술을 적용한 이후에 상기 마이크로폰으로부터 출력된 상기 사운드를 저장하는 단계; 및
상기 개별 채널들 각각에서 상기 마이크로폰 까지의 거리 및 상기 사운드 내의 적어도 일부 주파수의 결정된 위상 시프트에 적어도 부분적으로 기초하여, 상기 복수의 공진기로부터 반사되거나 굴절된 상기 사운드의 방향성을 적어도 부분적으로 재생성하는 방식으로 음향 메타 재료를 통해 진동을 전달하는 복수의 피에조 드라이버를 진동시키는 단계를 포함하는 3차원으로 사운드를 레코딩 및 재생하는 방법.
- 청구항 1에 있어서, 상기 마이크로폰은 단이성(monaural) 및 전방향성이며, 상기 개별 채널들 각각으로부터 실질적으로 균등하게 사운드를 수신하도록 캘리브레이션되는 것을 특징으로 하는 3차원으로 사운드를 레코딩 및 재생하는 방법.
- 청구항 2에 있어서, 각 공진기는 서로 다른 공진기와는 다른 주파수에서 공진하고, 분리된 채널별로 상기 마이크로폰의 사운드 입력단의 앞에 원형으로 의사 무작위하게 배열되는 것을 특징으로 하는 3차원으로 사운드를 레코딩 및 재생하는 방법.
- 청구항 3에 있어서, 상기 의사 무작위하게 배열된 상기 공진기들은 상기 개별 채널별에 원형 방식으로 배열되고, 상기 개별 채널들은 서로가 상기 개별 채널의 2개 채널 각각의 사이에서 비공진 재료에 의해서 분리된 것을 특징으로 하는 3차원으로 사운드를 레코딩 및 재생하는 방법.
- 청구항 1에 있어서, 상기 개별 채널들 각각과 상기 마이크로폰 사이의 거리 및 상기 위상 시프트에 기초하여, 상기 복수의 피에조 드라이버가 상기 음향 메타 재료를 진동을 야기하기 전에 상기 사운드가 방출되는 방향을 결정하는 것을 특징으로 하는 3차원으로 사운드를 레코딩 및 재생하는 방법.
- 청구항 1에 있어서, 상기 복수의 공진기의 배치와는 대응성이 결여된 방식으로, 상기 복수의 피에조 드라이버가 사운드 재생 장치 상의 중심점 주위에서 등간격을 두고 있는 것을 특징으로 하는 3차원으로 사운드를 레코딩 및 재생하는 방법.
- 청구항 6에 있어서, 상기 복수의 피에조 드라이브에서 방출되는 음파를 증폭시키는 단일의 사운드 재생 장치에 상기 복수의 피에조 드라이버들이 각각 부착된 것을 특징으로 하는 3차원으로 사운드를 레코딩 및 재생하는 방법.
- 홀로그래픽(holographic) 사운드를 레코딩 및 생성하는 방법으로서,
복수의 공진기에서 반사 또는 굴절된 사운드를 2개의 마이크로폰으로 수신하되; 상기 복수의 공진기 각각은 상기 2개의 마이크로폰 중의 하나에 대응하는 수신하는 단계;
상기 2개의 마이크로폰 각각에 대해서, 상기 사운드와 관련된 음향 홀로그래픽 데이터를 얻기 위해 상기 출력에 디지털 압축 기술을 적용한 후에 상기 출력을 저장하는 단계; 및
상기 복수의 공진기의 각 공진기에서 상기 마이크로폰들에서 대응하는 상기 하나까지의 거리와 상기 대응하는 상기 마이크로폰을 위한 상기 출력 내의 적어도 일부 주파수의 결정된 위상 시프트에 적어도 부분적으로 기초하여, 재생성되는 상기 사운드의 위치 및 방향이 검출될 수 있는 방식으로 상기 복수의 공진기로부터 반사된 상기 사운드의 방향성을 적어도 부분적으로 재생성하는 방식으로 음향 재생 장치에 장착된 복수의 피에조 드라이버를 진동시키는 단계를 포함하는 홀로그래픽 사운드를 레코딩 및 생성하는 방법.
- 청구항 8에 있어서, 상기 마이크로폰 각각은 단이성(monaural) 및 전방향성이며, 상기 2개의 마이크로폰에서 각자의 상기 마이크로폰에 대응하는 복수의 공진기의 각 공진기로부터 실질적으로 균등하게 사운드를 수신하도록 캘리브레이션되는 것을 특징으로 하는 홀로그래픽 사운드를 레코딩 및 생성하는 방법.
- 청구항 8에 있어서, 상기 복수의 피에조 드라이버는 중심점에서 등간격을 둔 제1 피에조 드라이버 세트와 상기 사운드 재생 장치 상의 제2 중심점에서 등간격을 둔 제2 피에조 드라이버 세트를 포함하고, 상기 제1 세트와 제2 세트 각각은 상기 2개의 마이크로폰 중 다른 하나로부터 재생된 사운드를 출력하는 것을 특징으로 하는 홀로그래픽 사운드를 레코딩 및 생성하는 방법.
- 3차원으로 사운드를 수신 및 재생하기 위한 장치로서,
실질적인 원형 배열로 배치되고 각각 상이한 주파수에서 공진하는 복수의 공진기;
3차원 평면의 적어도 하나의 평면에서 상기 복수의 공진기들 사이에 위치되는 마이크로폰;
상기 마이크로폰으로부터의 출력에 압축 감지를 적용한 이후의 상기 사운드의 디지털 버전을 저장하는 유형의 저장 매체; 및
사운드 재생 장치의 중심점으로부터 등거리로 배열되고, 상기 출력 내에서 적어도 일부 주파수의 결정된 위상 시프트에 기초하여 복수의 피에조 드라이버 중에 특정 피에조 드라이버로 출력과 함께 상기 마이크로폰으로부터의 상기 출력의 압축되지 않은 버전을 재생하는 복수의 피에조 드라이버를 포함하는 3차원으로 사운드를 수신 및 재생하기 위한 장치.
- 청구항 11에 있어서, 상기 마이크로폰에 의해 레코딩된 사운드의 방향성은 상기 사운드 재생 장치에 부착된 음향 메타 재료층을 통해 진동을 일으키는 상기 피에조 드라이버에 의해 재생되는 것을 특징으로 하는 3차원으로 사운드를 수신 및 재생하기 위한 장치.
- 청구항 11에 있어서, 상기 복수의 공진기, 상기 마이크로폰 및 상기 복수의 피에조 드라이버의 부가적이고 실질적으로 동일한 세트를 포함하고, 상기 마이크로폰과 부가적 상기 마이크로폰으로부터의 출력은 양이성 또는 스테레오 사운드로 레코딩되며, 상기 복수의 피에조 드라이버와 부가적인 상기 복수의 피에조 드라이버에 의한 재생은 상기 마이크로폰과 상기 부가적 상기 마이크로폰에 의해 픽업된 사운드의 위치의 검출이 상기 복수의 피에조 드라이버와 상기 부가적 피에조 드라이버들에 대한 입체 공간에서 청각적으로 결정될 수 있게 하는 것을 특징으로 하는 3차원으로 사운드를 수신 및 재생하기 위한 장치.
- 청구항 11에 있어서, 상기 복수의 피에조 드라이버는 각각 상기 피에조 드라이버의 사운드를 증폭시키는 단일의 상기 사운드 재생 장치에 부착된 것을 특징으로 하는 3차원으로 사운드를 수신 및 재생하기 위한 장치.
- 청구항 14에 있어서, 상기 피에조 드라이버의 간격은 상기 복수의 공진기의 간격과 일치하지 않는 것을 특징으로 하는 3차원으로 사운드를 수신 및 재생하기 위한 장치.
- 청구항 11에 있어서, 상기 복수의 공진기는 상기 실질적인 원형 배열로 의사-무작위하게 배열된 것을 특징으로 하는 3차원으로 사운드를 수신 및 재생하기 위한 장치.
- 청구항 16에 있어서, 상기 복수의 공진기는 상기 원형 배열 내에 배치된 복수의 등간격 비공진 재료에 의해 분기된 것을 특징으로 하는 3차원으로 사운드를 수신 및 재생하기 위한 장치.
- 청구항 11에 있어서, 상기 마이크로폰은 단이성이고, 상기 저장 매체는 상기 압축된 버전의 단일 데이터 채널에서 수신된 사운드를 저장하는 것을 특징으로 하는 3차원으로 사운드를 수신 및 재생하기 위한 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/801,942 | 2017-11-02 | ||
| US15/801,942 US10304490B2 (en) | 2017-11-02 | 2017-11-02 | Acoustic holographic recording and reproduction system using meta material layers |
| PCT/US2018/058616 WO2019089873A2 (en) | 2017-11-02 | 2018-11-01 | Acoustic holographic recording and reproduction system using meta material layers |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200083490A true KR20200083490A (ko) | 2020-07-08 |
| KR102370896B1 KR102370896B1 (ko) | 2022-03-04 |
Family
ID=62064855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207013656A KR102370896B1 (ko) | 2017-11-02 | 2018-11-01 | 메타재료층을 이용한 음향 홀로그래픽 레코딩 및 재생 시스템 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US10304490B2 (ko) |
| EP (1) | EP3685595A2 (ko) |
| JP (1) | JP7319689B2 (ko) |
| KR (1) | KR102370896B1 (ko) |
| CN (1) | CN111316666B (ko) |
| AU (1) | AU2018359547B2 (ko) |
| CA (1) | CA3080748A1 (ko) |
| IL (1) | IL274389B2 (ko) |
| WO (1) | WO2019089873A2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023219228A1 (ko) * | 2022-05-10 | 2023-11-16 | 부산대학교 산학협력단 | 음파 스캐닝이 가능한 홀로그래픽 기반 지향성 음향 장치 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9950282B2 (en) | 2012-03-15 | 2018-04-24 | Flodesign Sonics, Inc. | Electronic configuration and control for acoustic standing wave generation |
| US9458450B2 (en) | 2012-03-15 | 2016-10-04 | Flodesign Sonics, Inc. | Acoustophoretic separation technology using multi-dimensional standing waves |
| US10704021B2 (en) | 2012-03-15 | 2020-07-07 | Flodesign Sonics, Inc. | Acoustic perfusion devices |
| US10967298B2 (en) | 2012-03-15 | 2021-04-06 | Flodesign Sonics, Inc. | Driver and control for variable impedence load |
| CA2935960C (en) | 2014-01-08 | 2023-01-10 | Bart Lipkens | Acoustophoresis device with dual acoustophoretic chamber |
| US11021699B2 (en) | 2015-04-29 | 2021-06-01 | FioDesign Sonics, Inc. | Separation using angled acoustic waves |
| US11377651B2 (en) | 2016-10-19 | 2022-07-05 | Flodesign Sonics, Inc. | Cell therapy processes utilizing acoustophoresis |
| US11708572B2 (en) | 2015-04-29 | 2023-07-25 | Flodesign Sonics, Inc. | Acoustic cell separation techniques and processes |
| US11459540B2 (en) | 2015-07-28 | 2022-10-04 | Flodesign Sonics, Inc. | Expanded bed affinity selection |
| US11474085B2 (en) | 2015-07-28 | 2022-10-18 | Flodesign Sonics, Inc. | Expanded bed affinity selection |
| US11214789B2 (en) | 2016-05-03 | 2022-01-04 | Flodesign Sonics, Inc. | Concentration and washing of particles with acoustics |
| US11085035B2 (en) | 2016-05-03 | 2021-08-10 | Flodesign Sonics, Inc. | Therapeutic cell washing, concentration, and separation utilizing acoustophoresis |
| CN110494543A (zh) | 2016-10-19 | 2019-11-22 | 弗洛设计声能学公司 | 通过声学的亲和细胞提取 |
| BR112020009889A2 (pt) | 2017-12-14 | 2020-11-03 | Flodesign Sonics, Inc. | acionador e controlador de transdutor acústico |
| WO2020046392A1 (en) * | 2018-08-31 | 2020-03-05 | Halliburton Energy Services, Inc. | Sparse deconvolution and inversion for formation properties |
| CN110012397B (zh) * | 2019-05-10 | 2020-12-29 | 美特科技(苏州)有限公司 | 一种扬声器 |
| US11428933B2 (en) * | 2019-05-13 | 2022-08-30 | Light Field Lab, Inc. | Light field display system for performance events |
| US11202144B2 (en) * | 2020-01-13 | 2021-12-14 | Brian Michael Coyle | Sound directing framework |
| EP4201083A2 (en) * | 2020-08-19 | 2023-06-28 | Smd Corporation | Acoustic meta material panel system for attenuating sound |
| RU2751440C1 (ru) * | 2020-10-19 | 2021-07-13 | Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени М.В.Ломоносова» (МГУ) | Система для голографической записи и воспроизведения звуковой информации |
| CN113806975B (zh) * | 2021-08-12 | 2023-07-18 | 上海工程技术大学 | 一种手性声学超材料板的结构设计方法 |
| CN114237000B (zh) * | 2021-12-15 | 2023-05-23 | 中国工程物理研究院激光聚变研究中心 | 一种离轴数字全息优化重建方法及系统 |
| CN113948085B (zh) * | 2021-12-22 | 2022-03-25 | 中国科学院自动化研究所 | 语音识别方法、系统、电子设备和存储介质 |
| CN114913842B (zh) * | 2022-04-29 | 2023-03-24 | 浙江大学 | 一种双功能声学平面超透镜 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6958950B2 (en) * | 2003-01-14 | 2005-10-25 | Korea Advanced Institute Of Science And Technology | Method of visualizing sound fields of individual sound sources using acoustic holography |
| US20080226109A1 (en) * | 2007-02-28 | 2008-09-18 | Yoko Yamakata | Acoustic vibration reproducing apparatus |
| US20150288063A1 (en) * | 2014-04-07 | 2015-10-08 | Mikala C. Johnson | Beam shaping for reconfigurable holographic antennas |
| KR20160020377A (ko) * | 2014-08-13 | 2016-02-23 | 삼성전자주식회사 | 음향 신호를 생성하고 재생하는 방법 및 장치 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL8900571A (nl) * | 1989-03-09 | 1990-10-01 | Prinssen En Bus Holding Bv | Electro-akoestisch systeem. |
| US9130651B2 (en) * | 2010-08-07 | 2015-09-08 | Joseph Akwo Tabe | Mega communication and media apparatus configured to provide faster data transmission speed and to generate electrical energy |
| JP4415986B2 (ja) * | 2006-12-07 | 2010-02-17 | Ｔｄｋ株式会社 | 積層型電子部品 |
| JP5354295B2 (ja) | 2010-04-09 | 2013-11-27 | 和男 村上 | 捕音器 |
| US20120162732A1 (en) * | 2010-12-22 | 2012-06-28 | Qualcomm Mems Technologies, Inc. | Device and method for a holographic display with electromechanical actuated mirror display |
| CN102118670B (zh) * | 2011-03-17 | 2013-10-30 | 杭州赛利科技有限公司 | 可产生三维立体声效果的耳机 |
| CN107611249B (zh) * | 2011-03-30 | 2021-11-30 | 阿姆巴托雷股份有限公司 | 由极低电阻材料形成的电气、机械、计算和/或其他设备 |
| KR101282673B1 (ko) * | 2011-12-09 | 2013-07-05 | 현대자동차주식회사 | 음원 위치 추정 방법 |
| FR3010836B1 (fr) * | 2013-09-18 | 2016-12-09 | Centre Nat Rech Scient | Dispositif de reflexion d'une onde, dispositif mobile, et systeme |
| KR101537513B1 (ko) | 2014-02-28 | 2015-07-17 | 한국기계연구원 | 메타물질 음파 증폭기 |
| US9525944B2 (en) * | 2014-08-05 | 2016-12-20 | The Boeing Company | Apparatus and method for an active and programmable acoustic metamaterial |
| CN104198748B (zh) * | 2014-09-03 | 2015-11-18 | 中国科学院植物研究所 | 一种气体自动进样器 |
| US9596544B1 (en) * | 2015-12-30 | 2017-03-14 | Gregory Douglas Brotherton | Head mounted phased focused speakers |
| US9762994B2 (en) * | 2016-12-02 | 2017-09-12 | AcoustiX VR Inc. | Active acoustic meta material loudspeaker system and the process to make the same |
| US10764703B2 (en) * | 2018-03-28 | 2020-09-01 | Sony Corporation | Acoustic metamaterial device, method and computer program |
-
2017
- 2017-11-02 US US15/801,942 patent/US10304490B2/en active Active
-
2018
- 2018-11-01 CN CN201880071395.0A patent/CN111316666B/zh active Active
- 2018-11-01 CA CA3080748A patent/CA3080748A1/en active Pending
- 2018-11-01 JP JP2020522327A patent/JP7319689B2/ja active Active
- 2018-11-01 AU AU2018359547A patent/AU2018359547B2/en active Active
- 2018-11-01 EP EP18811679.2A patent/EP3685595A2/en not_active Withdrawn
- 2018-11-01 KR KR1020207013656A patent/KR102370896B1/ko active IP Right Grant
- 2018-11-01 WO PCT/US2018/058616 patent/WO2019089873A2/en unknown
- 2018-11-01 IL IL274389A patent/IL274389B2/en unknown
-
2019
- 2019-05-09 US US16/407,261 patent/US20190295592A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6958950B2 (en) * | 2003-01-14 | 2005-10-25 | Korea Advanced Institute Of Science And Technology | Method of visualizing sound fields of individual sound sources using acoustic holography |
| US20080226109A1 (en) * | 2007-02-28 | 2008-09-18 | Yoko Yamakata | Acoustic vibration reproducing apparatus |
| US20150288063A1 (en) * | 2014-04-07 | 2015-10-08 | Mikala C. Johnson | Beam shaping for reconfigurable holographic antennas |
| KR20160020377A (ko) * | 2014-08-13 | 2016-02-23 | 삼성전자주식회사 | 음향 신호를 생성하고 재생하는 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023219228A1 (ko) * | 2022-05-10 | 2023-11-16 | 부산대학교 산학협력단 | 음파 스캐닝이 가능한 홀로그래픽 기반 지향성 음향 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2018359547A1 (en) | 2020-04-30 |
| US20180130491A1 (en) | 2018-05-10 |
| KR102370896B1 (ko) | 2022-03-04 |
| IL274389B1 (en) | 2024-01-01 |
| JP2021502015A (ja) | 2021-01-21 |
| WO2019089873A2 (en) | 2019-05-09 |
| CA3080748A1 (en) | 2019-05-09 |
| JP7319689B2 (ja) | 2023-08-02 |
| IL274389A (en) | 2020-06-30 |
| US20190295592A1 (en) | 2019-09-26 |
| IL274389B2 (en) | 2024-05-01 |
| AU2018359547B2 (en) | 2021-11-18 |
| CN111316666B (zh) | 2021-11-09 |
| CN111316666A (zh) | 2020-06-19 |
| US10304490B2 (en) | 2019-05-28 |
| EP3685595A2 (en) | 2020-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102370896B1 (ko) | 메타재료층을 이용한 음향 홀로그래픽 레코딩 및 재생 시스템 | |
| US6239348B1 (en) | Sound system and method for creating a sound event based on a modeled sound field | |
| Valimaki et al. | Fifty years of artificial reverberation | |
| Hulusic et al. | Acoustic rendering and auditory–visual cross‐modal perception and interaction | |
| US8908875B2 (en) | Electronic device with digital reverberator and method | |
| WO2006050353A2 (en) | A system and method for generating sound events | |
| JP5611970B2 (ja) | オーディオ信号を変換するためのコンバータ及び方法 | |
| JP2012509632A5 (ja) | オーディオ信号を変換するためのコンバータ及び方法 | |
| JP2023139188A (ja) | 方向性音源のエンコードおよびデコードのための方法、装置およびシステム | |
| Sterling et al. | Audio-material reconstruction for virtualized reality using a probabilistic damping model | |
| Comanducci | Intelligent networked music performance experiences | |
| Bédard et al. | Development of a directivity-controlled piezoelectric transducer for sound reproduction | |
| Murphy et al. | Digital waveguide mesh topologies in room acoustics modelling | |
| Maestre et al. | State-space modeling of sound source directivity: An experimental study of the violin and the clarinet | |
| Gonzalez et al. | Spherical decomposition of arbitrary scattering geometries for virtual acoustic environments | |
| CA3164476A1 (en) | Generating an audio signal associated with a virtual sound source | |
| Katz et al. | Advances in Fundamental and Applied Research on Spatial Audio | |
| WO2014064494A1 (en) | System for visualizing acoustic information | |
| Simionato | Numerical Simulation of a Tube-Delay Audio Effect | |
| Mehra | Efficient techniques for wave-based sound propagation in interactive applications | |
| Meng | Impulse response measurement and spatio-temporal response acquisition | |
| Frey | The Derivation of the Acoustical Impulse Response Function of | |
| Zotkin et al. | Signal processing for Audio HCI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |