JP7447719B2 - 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム - Google Patents
頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム Download PDFInfo
- Publication number
- JP7447719B2 JP7447719B2 JP2020123655A JP2020123655A JP7447719B2 JP 7447719 B2 JP7447719 B2 JP 7447719B2 JP 2020123655 A JP2020123655 A JP 2020123655A JP 2020123655 A JP2020123655 A JP 2020123655A JP 7447719 B2 JP7447719 B2 JP 7447719B2
- Authority
- JP
- Japan
- Prior art keywords
- characteristic
- unit
- representative
- microphone
- conversion function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 126
- 230000004807 localization Effects 0.000 title claims description 107
- 238000000034 method Methods 0.000 title claims description 40
- 210000000613 ear canal Anatomy 0.000 claims description 207
- 238000012546 transfer Methods 0.000 claims description 183
- 238000005259 measurement Methods 0.000 claims description 164
- 230000006870 function Effects 0.000 claims description 136
- 238000006243 chemical reaction Methods 0.000 claims description 128
- 230000005540 biological transmission Effects 0.000 claims description 79
- 238000004364 calculation method Methods 0.000 claims description 78
- 238000013500 data storage Methods 0.000 claims description 28
- 230000005236 sound signal Effects 0.000 claims description 24
- 210000005069 ears Anatomy 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 239000013598 vector Substances 0.000 description 89
- 230000004044 response Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 210000003128 head Anatomy 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 210000003454 tympanic membrane Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Description
まず、音像定位処理の概要について説明する。ここでは、音像定位処理装置の一例である頭外定位処理について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、外耳道入口から鼓膜までの伝達特性である。本実施形態では、ヘッドホンを装着した状態での外耳道伝達特性を測定し、その測定データを用いて頭外定位処理を実現している。
まず、本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を図1に示す。図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がPCなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
図2を用いて、空間音響伝達特性Hls、Hlo、Hro、Hrsを測定する測定装置200について説明する。図2は、被測定者1に対して第1の事前測定を行うための測定構成を模式的に示す図である。
次に、第1の外耳道伝達特性を測定するための測定装置200について、図3を用いて説明する。図3は、被測定者1に対して第2の事前測定を行うための構成を示している。
第2の外耳道伝達特性を測定するための測定装置200について、図4を用いて説明する。図4は、被測定者1に対して第3の事前測定を行うための構成を模式的に示している。
次に、本実施の形態にかかる頭外定位フィルタ生成システム500について、図5を用いて説明する。図5は、頭外定位フィルタ生成システム500の全体構成を示す図である。頭外定位フィルタ生成システム500は、マイクユニット62と、ヘッドホン43と、頭外定位処理装置100と、サーバ装置300と、を備えている。
AL_CONV=AL_Stetho-AL_bim ・・・(1)
クラスタリング部315は、帯域毎に分割してクラスタリングを行ってもよい。例えば、サーバ装置300は、低域、中域、高域の3つに第1及び第2の外耳道伝達特性を分割する。変換ベクトル算出部317は、帯域毎に、差分値ベクトルを求める。図11は、3つの帯域に分割された代表変換関数を合成する処理を示す図である。図11において、横軸が周波数、縦軸が振幅値となっている。代表変換関数算出部318は、各クラスタに属するデータセットに基づいて、低域の代表変換関数、中域の代表変換関数、高域の代表変換関数をそれぞれ算出する。
1 被測定者
2L 左マイク
2R 右マイク
5L 左スピーカ
5R 右スピーカ
9L 左耳
9R 右耳
10 頭外定位処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 フィルタ部
42 フィルタ部
43 ヘッドホン
100 頭外定位処理装置
111 インパルス応答測定部
112 周波数特性取得部
131 送信部
132 受信部
120 演算処理部
121 逆フィルタ算出部
122 フィルタ記憶部
131 送信部
132 受信部
200 測定装置
201 測定処理装置
300 サーバ装置
301 受信部
302 比較部
303 データ格納部
304 抽出部
305 決定部
306 送信部
312 周波数特性取得部
315 クラスタリング部
317 変換ベクトル算出部
318 代表変換関数算出部
319 代表特性算出部
Claims (5)
- ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、
前記出力ユニットに内蔵された内蔵マイクと、
前記出力ユニットに対して測定信号を出力するとともに、前記内蔵マイクから出力された収音信号を測定する測定部と、
前記収音信号を周波数領域に変換して、第1の周波数特性を取得する周波数特性取得部と、
前記出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、
前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数を算出する変換関数算出部と、
複数の前記被測定者の前記変換関数に基づいて、前記複数の被測定者をクラスタリングするクラスタリング部と、
クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性を算出する代表特性算出部と、
前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数を算出する代表変換関数算出部と、
前記第1の周波数特性を前記代表特性と比較する比較部と、
前記比較部での比較結果に基づいて、前記代表変換関数を抽出する抽出部と、
抽出された前記代表変換関数を前記第1の周波数特性に適用することで、前記第1の周波数特性を第2の周波数特性に変換する変換部と、
前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出部と、を備えた、コンピュータを用いて構築された頭外定位フィルタ生成システム。 - 前記クラスタリング部は、複数の帯域毎にクラスタリングを行う請求項1に記載の頭外定位フィルタ生成システム。
- 被測定者に装着され、前記被測定者の耳に向けて音を出力する出力ユニットと、
前記出力ユニットに内蔵された内蔵マイクと、
前記出力ユニットと独立に設けられた独立マイクと、
前記出力ユニットに対して測定信号を出力するとともに、前記内蔵マイク又は独立マイクから出力された収音信号を測定する測定処理部と、
前記内蔵マイクを用いて取得された第1の外耳道伝達特性、及び被測定者が前記独立マイクを装着した状態で取得された第2の外耳道伝達特性の周波数特性をそれぞれ取得する周波数特性取得部と、
前記第1の外耳道伝達特性の周波数特性と、前記第2の外耳道伝達特性の周波数特性との間の変換関数を算出する変換関数算出部と、
複数の前記被測定者の前記変換関数に基づいて、前記複数の被測定者をクラスタリングするクラスタリング部と、
クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性を算出する代表特性算出部と、
前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数を算出する代表変換関数算出部と、を備えた処理装置。 - ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、
前記出力ユニットに内蔵された内蔵マイクと、
前記出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、を備えたシステムにおける頭外定位フィルタ生成方法であって、
前記データ格納部において、
前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数に基づいて、前記第1及び第2のプリセットデータがクラスタリングされており、
クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性が算出されており、
前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数が算出されており、
前記頭外定位フィルタ生成方法は、コンピュータに、
ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、
前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、
前記収音信号を周波数領域に変換して、第1の周波数特性を取得する第1の周波数特性取得ステップと、
前記第1の周波数特性を複数の前記代表特性と比較する比較ステップと、
前記比較ステップでの比較結果に基づいて、前記代表変換関数を抽出するステップと、
抽出された代表変換関数を前記第1の周波数特性に適用することで、第2の周波数特性を算出する第2の周波数特性算出ステップと、
前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出ステップと、を実行させる頭外定位フィルタ生成方法。 - コンピュータに対して頭外定位フィルタ生成方法を実行させるためのプログラムであって、
前記コンピュータは、出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部にアクセス可能であり、
前記データ格納部において、
前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数に基づいて、前記第1及び第2のプリセットデータがクラスタリングされており、
クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性が算出されており、
前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数が算出されており、
前記頭外定位フィルタ生成方法は、
ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、
前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、
前記収音信号を周波数領域に変換して、第1の周波数特性を取得する第1の周波数特性取得ステップと、
前記第1の周波数特性を複数の前記代表特性と比較する比較ステップと、
前記比較ステップでの比較結果に基づいて、前記代表変換関数を抽出するステップと、
抽出された代表変換関数を前記第1の周波数特性に適用することで、第2の周波数特性を算出する第2の周波数特性算出ステップと、
前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出ステップと、を備えた、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020123655A JP7447719B2 (ja) | 2020-07-20 | 2020-07-20 | 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム |
US17/378,590 US11503406B2 (en) | 2020-07-20 | 2021-07-16 | Processor, out-of-head localization filter generation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020123655A JP7447719B2 (ja) | 2020-07-20 | 2020-07-20 | 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022020259A JP2022020259A (ja) | 2022-02-01 |
JP7447719B2 true JP7447719B2 (ja) | 2024-03-12 |
Family
ID=79293162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020123655A Active JP7447719B2 (ja) | 2020-07-20 | 2020-07-20 | 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11503406B2 (ja) |
JP (1) | JP7447719B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024084716A1 (ja) * | 2022-10-21 | 2024-04-25 | 株式会社final | ターゲットレスポンスカーブデータ、ターゲットレスポンスカーブデータの生成方法、放音装置、音処理装置、音データ、音響システム、ターゲットレスポンスカーブデータの生成システム、プログラム、及び、記録媒体 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018133708A (ja) | 2017-02-15 | 2018-08-23 | 株式会社Jvcケンウッド | 収音装置、及び収音方法 |
JP2018191208A (ja) | 2017-05-10 | 2018-11-29 | 株式会社Jvcケンウッド | 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017197156A1 (en) * | 2016-05-11 | 2017-11-16 | Ossic Corporation | Systems and methods of calibrating earphones |
US10511915B2 (en) * | 2018-02-08 | 2019-12-17 | Facebook Technologies, Llc | Listening device for mitigating variations between environmental sounds and internal sounds caused by the listening device blocking an ear canal of a user |
US20210393168A1 (en) * | 2020-06-22 | 2021-12-23 | Bose Corporation | User authentication via in-ear acoustic measurements |
-
2020
- 2020-07-20 JP JP2020123655A patent/JP7447719B2/ja active Active
-
2021
- 2021-07-16 US US17/378,590 patent/US11503406B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018133708A (ja) | 2017-02-15 | 2018-08-23 | 株式会社Jvcケンウッド | 収音装置、及び収音方法 |
JP2018191208A (ja) | 2017-05-10 | 2018-11-29 | 株式会社Jvcケンウッド | 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220021973A1 (en) | 2022-01-20 |
JP2022020259A (ja) | 2022-02-01 |
US11503406B2 (en) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6791001B2 (ja) | 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム | |
JP7447719B2 (ja) | 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム | |
JP6981330B2 (ja) | 頭外定位処理装置、頭外定位処理方法、及びプログラム | |
JP6753329B2 (ja) | フィルタ生成装置、及びフィルタ生成方法 | |
JP7435334B2 (ja) | 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム | |
WO2021059984A1 (ja) | 頭外定位フィルタ決定システム、頭外定位処理装置、頭外定位フィルタ決定装置、頭外定位フィルタ決定方法、及びプログラム | |
JP7404736B2 (ja) | 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム | |
JP7395906B2 (ja) | ヘッドホン、頭外定位フィルタ決定装置、及び頭外定位フィルタ決定方法 | |
JP6805879B2 (ja) | フィルタ生成装置、フィルタ生成方法、及びプログラム | |
WO2021059983A1 (ja) | ヘッドホン、頭外定位フィルタ決定装置、頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム | |
JP7115353B2 (ja) | 処理装置、処理方法、再生方法、及びプログラム | |
US11228837B2 (en) | Processing device, processing method, reproduction method, and program | |
JP2022185840A (ja) | 頭外定位処理装置、及び頭外定位処理方法 | |
JP2023024038A (ja) | 処理装置、及び処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |