JP7435334B2 - 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム - Google Patents
頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム Download PDFInfo
- Publication number
- JP7435334B2 JP7435334B2 JP2020123654A JP2020123654A JP7435334B2 JP 7435334 B2 JP7435334 B2 JP 7435334B2 JP 2020123654 A JP2020123654 A JP 2020123654A JP 2020123654 A JP2020123654 A JP 2020123654A JP 7435334 B2 JP7435334 B2 JP 7435334B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- user
- unit
- envelope
- preset data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004807 localization Effects 0.000 title claims description 104
- 238000000034 method Methods 0.000 title claims description 46
- 238000012546 transfer Methods 0.000 claims description 152
- 238000005259 measurement Methods 0.000 claims description 141
- 210000000613 ear canal Anatomy 0.000 claims description 80
- 238000004364 calculation method Methods 0.000 claims description 68
- 238000000605 extraction Methods 0.000 claims description 43
- 238000013500 data storage Methods 0.000 claims description 33
- 230000005236 sound signal Effects 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 19
- 210000005069 ears Anatomy 0.000 claims description 16
- 238000012545 processing Methods 0.000 description 126
- 230000005540 biological transmission Effects 0.000 description 30
- 230000004044 response Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 210000003128 head Anatomy 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000003454 tympanic membrane Anatomy 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Description
まず、音像定位処理の概要について説明する。ここでは、音像定位処理装置の一例である頭外定位処理について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、外耳道入口から鼓膜までの伝達特性である。本実施形態では、ヘッドホンを装着した状態での外耳道伝達特性を測定し、その測定データを用いて頭外定位処理を実現している。
まず、本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を図1に示す。図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がPCなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
図2を用いて、空間音響伝達特性Hls、Hlo、Hro、Hrsを測定する測定装置200について説明する。図2は、被測定者1に対して第1の事前測定を行うための測定構成を模式的に示す図である。
次に、外耳道伝達特性を測定するための測定装置200について、図3を用いて説明する。図3は、被測定者1に対して第2の事前測定を行うための構成を示している。
次に、本実施の形態にかかる頭外定位フィルタ決定システム500について、図4を用いて説明する。図4は、頭外定位フィルタ決定システム500の全体構成を示す図である。頭外定位フィルタ決定システム500は、マイクユニット2と、ヘッドホン43と、頭外定位処理装置100と、サーバ装置300と、を備えている。
変形例1では、類似クラスタの中から類似データセットを決定する処理が異なっている。変形例1では、比較部302が、特徴量(包絡線データ)ではなく外耳道伝達特性の周波数特性の相関に基づいて、類似データセットを決定している。例えば、比較部302が、任意の帯域における外耳道伝達特性の周波数特性の相関を求め、最も相関が高いデータセットを類似データセットとすることができる。
1 被測定者
2L 左マイク
2R 右マイク
5L 左スピーカ
5R 右スピーカ
9L 左耳
9R 右耳
10 頭外定位処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 フィルタ部
42 フィルタ部
43 ヘッドホン
100 頭外定位処理装置
111 インパルス応答測定部
112 周波数特性取得部
113 極値抽出部
114 包絡線算出部
131 送信部
132 受信部
120 演算処理部
121 逆フィルタ算出部
122 フィルタ記憶部
131 送信部
132 受信部
200 測定装置
201 測定処理装置
300 サーバ装置
301 受信部
302 比較部
303 データ格納部
304 抽出部
305 決定部
306 送信部
312 周波数特性取得部
313 極値抽出部
314 包絡線算出部
315 クラスタリング部
316 代表特徴量算出部
Claims (6)
- ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、
前記ユーザの耳に装着され、前記出力ユニットから出力された音を収音するマイクユニットと、
前記出力ユニットに対して測定信号を出力するとともに、前記マイクユニットから出力された収音信号を測定する測定部と、
音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、
前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得部と、
前記周波数特性の極大値及び極小値を抽出する極値抽出部と、
前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する包絡線算出部と、
前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較部と、
前記比較部の比較結果に基づいて、前記第1のプリセットデータを抽出する抽出部と、
抽出された前記第1のプリセットデータに応じたフィルタを決定する決定部と、を備えた頭外定位フィルタ決定システム。 - 前記データ格納部は、前記第1のプリセットデータと前記第2のプリセットデータとを1つのデータセットとして、複数のデータセットを格納しており、
複数の前記第2のプリセットデータが複数のクラスタに分類されており、
前記比較部は、前記クラスタ毎の代表特徴量を前記ユーザ特徴量と比較することで、前記複数のクラスタから類似クラスタを決定し、
前記比較部は、前記類似クラスタに属する前記第2のプリセットデータの特徴量を前記ユーザ特徴量と比較することで、前記類似クラスタの中から類似データセットを決定し、
前記決定部は、前記類似データセットに対応する第1のプリセットデータを抽出して、抽出した前記第1のプリセットデータに応じたフィルタを決定する請求項1に記載の頭外定位フィルタ決定システム。 - 前記第2のプリセットデータの前記第1包絡線データ及び前記第2包絡線データで別々にクラスタリングすることで、前記複数の第2のプリセットデータが複数のクラスタに分類されており、
前記第1包絡線データで分割されたクラスタには、第1代表特徴量が対応付けられており、
前記第2包絡線データで分割されたクラスタには、第2代表特徴量が対応付けられており、
前記比較部は、前記第1包絡線データに基づくユーザ特徴量を前記第1代表特徴量と比較し、かつ第2包絡線データに基づくユーザ特徴量を前記第2代表特徴量と比較する請求項2に記載の頭外定位フィルタ決定システム。 - 前記第2のプリセットデータが複数の帯域に分割されており、
前記帯域毎に前記第2のプリセットデータがクラスタリングされている請求項2、又は3に記載の頭外定位フィルタ決定システム。 - ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、
前記ユーザの耳に装着され、前記出力ユニットから出力された音を収音するマイクユニットと、
音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部とを備えたシステムにおける頭外定位フィルタ決定方法であって、
ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、
前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、
前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得ステップと
前記周波数特性の極大値及び極小値を抽出する抽出ステップと、
前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する算出ステップと、
前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較ステップと、
前記比較ステップの比較結果に基づいて、前記第1のプリセットデータを抽出する抽出ステップと、
抽出した前記第1のプリセットデータに応じたフィルタを決定する決定ステップと、を備えた頭外定位フィルタ決定方法。 - コンピュータに対して頭外定位フィルタ決定方法を実行させるためのプログラムであって、
前記コンピュータは、音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部にアクセス可能であり、
前記頭外定位フィルタ決定方法は、
ユーザに装着された出力ユニットにそれぞれ測定信号を出力するステップと、
前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、
前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得ステップと、
前記周波数特性の極大値及び極小値を抽出する抽出ステップと、
前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する算出ステップと、
前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較ステップと、
前記比較ステップの比較結果に基づいて、前記第1のプリセットデータを抽出する抽出ステップと、
抽出した前記第1のプリセットデータに応じたフィルタを決定する決定ステップと、を備えたプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020123654A JP7435334B2 (ja) | 2020-07-20 | 2020-07-20 | 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム |
CN202110700722.8A CN113965859B (zh) | 2020-07-20 | 2021-06-23 | 头外定位滤波器确定系统、方法以及程序 |
US17/372,365 US11470422B2 (en) | 2020-07-20 | 2021-07-09 | Out-of-head localization filter determination system, out-of-head localization filter determination method, and computer readable medium |
EP21185877.4A EP3944640B1 (en) | 2020-07-20 | 2021-07-15 | Out-of-head localization filter determination system, out-of-head localization filter determination method, and computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020123654A JP7435334B2 (ja) | 2020-07-20 | 2020-07-20 | 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022020258A JP2022020258A (ja) | 2022-02-01 |
JP7435334B2 true JP7435334B2 (ja) | 2024-02-21 |
Family
ID=76942914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020123654A Active JP7435334B2 (ja) | 2020-07-20 | 2020-07-20 | 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11470422B2 (ja) |
EP (1) | EP3944640B1 (ja) |
JP (1) | JP7435334B2 (ja) |
CN (1) | CN113965859B (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006251697A (ja) | 2005-03-14 | 2006-09-21 | Yamaha Corp | カラオケ装置 |
JP2017028525A (ja) | 2015-07-23 | 2017-02-02 | 株式会社Jvcケンウッド | 頭外定位処理装置、頭外定位処理方法、及びプログラム |
JP2018191208A (ja) | 2017-05-10 | 2018-11-29 | 株式会社Jvcケンウッド | 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5596644A (en) * | 1994-10-27 | 1997-01-21 | Aureal Semiconductor Inc. | Method and apparatus for efficient presentation of high-quality three-dimensional audio |
JP6138015B2 (ja) * | 2013-10-01 | 2017-05-31 | クラリオン株式会社 | 音場測定装置、音場測定方法および音場測定プログラム |
WO2017106898A1 (en) * | 2015-12-22 | 2017-06-29 | Acoustic 3D Holdings Ltd | Improved sound projection |
JP6565709B2 (ja) * | 2016-01-26 | 2019-08-28 | 株式会社Jvcケンウッド | 音像定位処理装置、及び音像定位処理方法 |
JP6658026B2 (ja) * | 2016-02-04 | 2020-03-04 | 株式会社Jvcケンウッド | フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法 |
JP6701824B2 (ja) * | 2016-03-10 | 2020-05-27 | 株式会社Jvcケンウッド | 測定装置、フィルタ生成装置、測定方法、及びフィルタ生成方法 |
JP6790654B2 (ja) * | 2016-09-23 | 2020-11-25 | 株式会社Jvcケンウッド | フィルタ生成装置、フィルタ生成方法、及びプログラム |
JP6903933B2 (ja) | 2017-02-15 | 2021-07-14 | 株式会社Jvcケンウッド | 収音装置、及び収音方法 |
EP3588987A4 (en) * | 2017-02-24 | 2020-01-01 | JVC KENWOOD Corporation | FILTER GENERATION DEVICE, FILTER GENERATION METHOD AND PROGRAM |
JP6950405B2 (ja) * | 2017-09-27 | 2021-10-13 | 株式会社Jvcケンウッド | 処理装置、処理方法、及びプログラム |
US10390171B2 (en) * | 2018-01-07 | 2019-08-20 | Creative Technology Ltd | Method for generating customized spatial audio with head tracking |
-
2020
- 2020-07-20 JP JP2020123654A patent/JP7435334B2/ja active Active
-
2021
- 2021-06-23 CN CN202110700722.8A patent/CN113965859B/zh active Active
- 2021-07-09 US US17/372,365 patent/US11470422B2/en active Active
- 2021-07-15 EP EP21185877.4A patent/EP3944640B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006251697A (ja) | 2005-03-14 | 2006-09-21 | Yamaha Corp | カラオケ装置 |
JP2017028525A (ja) | 2015-07-23 | 2017-02-02 | 株式会社Jvcケンウッド | 頭外定位処理装置、頭外定位処理方法、及びプログラム |
JP2018191208A (ja) | 2017-05-10 | 2018-11-29 | 株式会社Jvcケンウッド | 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3944640B1 (en) | 2024-05-15 |
CN113965859B (zh) | 2024-06-14 |
US11470422B2 (en) | 2022-10-11 |
EP3944640A1 (en) | 2022-01-26 |
US20220021976A1 (en) | 2022-01-20 |
CN113965859A (zh) | 2022-01-21 |
JP2022020258A (ja) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6791001B2 (ja) | 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム | |
US11503406B2 (en) | Processor, out-of-head localization filter generation method, and program | |
JP7435334B2 (ja) | 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム | |
CN110301142A (zh) | 滤波器生成装置、滤波器生成方法以及程序 | |
US11044571B2 (en) | Processing device, processing method, and program | |
WO2021059984A1 (ja) | 頭外定位フィルタ決定システム、頭外定位処理装置、頭外定位フィルタ決定装置、頭外定位フィルタ決定方法、及びプログラム | |
JP6805879B2 (ja) | フィルタ生成装置、フィルタ生成方法、及びプログラム | |
JP7404736B2 (ja) | 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム | |
JP7395906B2 (ja) | ヘッドホン、頭外定位フィルタ決定装置、及び頭外定位フィルタ決定方法 | |
WO2021059983A1 (ja) | ヘッドホン、頭外定位フィルタ決定装置、頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム | |
WO2024147327A1 (ja) | フィルタ生成装置、フィルタ生成方法、及び頭外定位処理装置 | |
US11228837B2 (en) | Processing device, processing method, reproduction method, and program | |
JP7115353B2 (ja) | 処理装置、処理方法、再生方法、及びプログラム | |
JP2023024038A (ja) | 処理装置、及び処理方法 | |
JP2024097516A (ja) | フィルタ生成装置、フィルタ生成方法、及び頭外定位処理装置 | |
JP2024097517A (ja) | フィルタ生成装置、フィルタ生成方法、及び頭外定位処理装置 | |
JP2022185840A (ja) | 頭外定位処理装置、及び頭外定位処理方法 | |
JP2023047706A (ja) | フィルタ生成装置、及びフィルタ生成方法 | |
JP2024097515A (ja) | フィルタ生成装置、フィルタ生成方法、及び頭外定位処理装置 | |
JP2023047707A (ja) | フィルタ生成装置、及びフィルタ生成方法 | |
CN115938376A (zh) | 处理装置和处理方法 | |
JP2008066872A (ja) | 音空間再合成提示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7435334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |