JP7447719B2 - 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム - Google Patents

頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム Download PDF

Info

Publication number
JP7447719B2
JP7447719B2 JP2020123655A JP2020123655A JP7447719B2 JP 7447719 B2 JP7447719 B2 JP 7447719B2 JP 2020123655 A JP2020123655 A JP 2020123655A JP 2020123655 A JP2020123655 A JP 2020123655A JP 7447719 B2 JP7447719 B2 JP 7447719B2
Authority
JP
Japan
Prior art keywords
characteristic
unit
representative
microphone
conversion function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020123655A
Other languages
English (en)
Other versions
JP2022020259A (ja
Inventor
優美 藤井
寿子 村田
邦明 高地
敬洋 下条
万葉 飯山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020123655A priority Critical patent/JP7447719B2/ja
Priority to US17/378,590 priority patent/US11503406B2/en
Publication of JP2022020259A publication Critical patent/JP2022020259A/ja
Application granted granted Critical
Publication of JP7447719B2 publication Critical patent/JP7447719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Description

本開示は、頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラムに関する。
音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像を定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンから耳までの特性をキャンセルし、ステレオスピーカから耳までの4本の特性を与えることにより、音像を頭外に定位させている。
頭外定位再生においては、2チャンネル(以下、chと記載)のスピーカから発した測定信号(インパルス音等)を聴取者本人(ユーザ)の耳に設置したマイクロフォン(以下、マイクとする)で録音する。そして、インパルス応答で得られた収音信号に基づいて、処理装置がフィルタを作成する。これにより、スピーカから外耳道のマイク位置までの空間音響伝達特性に応じたフィルタが作成される。作成したフィルタを2chのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。
さらに、ヘッドホンから耳までの特性をキャンセルするためのフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性(外耳道伝達関数ECTF、外耳道伝達特性とも言う)を聴取者本人の耳に設置したマイクで測定する。
特許文献1には、ヘッドホンとマイクユニットとを備えた頭外定位フィルタ決定装置が開示されている。特許文献1では、サーバ装置が、音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、被測定者の耳の外耳道伝達特性に関する第2のプリセットデータとを対応付けて記憶している。ユーザ端末が、ユーザの外耳道伝達特性に関する測定データを測定している。ユーザ端末が測定データに基づくユーザデータをサーバ装置に送信している。サーバ装置は、ユーザデータを複数の第2のプリセットデータと比較している。サーバ装置は、比較結果に基づいて、第1のプリセットデータを抽出している。
特許文献2には、ヘッドホンからの測定信号を適切な収音位置で収音することができる収音装置が開示されている。例えば、特許文献2には、聴診器のような構成の収音装置が開示されている。
特開2018-191208号公報 特開2018-133708号公報
頭外定位処理を行う場合、聴取者本人の耳に設置したマイクで特性を測定することが好ましい。受聴者の耳にマイクを装着した状態で、インパルス応答測定(以下、ユーザ測定ともいう)などが実施される。聴取者本人の特性を用いることで、聴取者に適したフィルタを生成することができる。
つまり、ユーザ測定を行うことで、スピーカから外耳道までの空間音響伝達特性を適切に測定することができる。しかしながら、ユーザ測定を行うためには、ユーザがリスニングルームに行くか、ユーザの自宅などにリスニングルームを準備する必要がある。
特許文献1の方法では、データベースに空間音響伝達特性に関する第1のプリセットデータと、外耳道伝達特性に関する第2のプリセットデータとが対応付けられている。そして、ユーザ個人の外耳道伝達特性に基づいて、第1のプリセットデータの中からユーザに適した空間音響伝達特性を抽出している。特許文献1の方法では、空間音響伝達特性のユーザ測定を行わなくても、フィルタを決定することができる。
頭外定位処理を行うためのフィルタをより適切に決定することが望まれる。
本開示は上記の点に鑑みなされたものであり、より適切にフィルタを生成することができる頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラムを提供することを目的とする。
本実施の形態にかかる頭外定位フィルタ生成システムは、ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、前記出力ユニットに内蔵された内蔵マイクと、前記出力ユニットに対して測定信号を出力するとともに、前記内蔵マイクから出力された収音信号を測定する測定部と、前記収音信号を周波数領域に変換して、第1の周波数特性を取得する周波数特性取得部と、前記出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数を算出する変換関数算出部と、複数の前記被測定者の前記変換関数に基づいて、前記複数の被測定者をクラスタリングするクラスタリング部と、クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性を算出する代表特性算出部と、前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数を算出する代表変換関数算出部と、前記第1の周波数特性を前記代表特性と比較する比較部と、前記比較部での比較結果に基づいて、前記代表変換関数を抽出する抽出部と、抽出された前記代表変換関数を前記第1の周波数特性に適用することで、前記第1の周波数特性を第2の周波数特性に変換する変換部と、前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出部と、を備えている。
本実施の形態にかかる処理装置は、被測定者に装着され、前記被測定者の耳に向けて音を出力する出力ユニットと、前記出力ユニットに内蔵された内蔵マイクと、前記出力ユニットと独立に設けられた独立マイクと、前記出力ユニットに対して測定信号を出力するとともに、前記内蔵マイク又は独立マイクから出力された収音信号を測定する測定処理部と、前記内蔵マイクを用いて取得された第1の外耳道伝達特性、及び前記独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性の周波数特性をそれぞれ取得する周波数特性取得部と、前記第1の外耳道伝達特性の周波数特性と、前記第2の外耳道伝達特性の周波数特性との間の変換関数を算出する変換関数算出部と、複数の前記被測定者の前記変換関数に基づいて、前記複数の被測定者をクラスタリングするクラスタリング部と、クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性を算出する代表特性算出部と、前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数を算出する代表変換関数算出部と、を備えている。
本実施の形態にかかる頭外定位フィルタ生成方法は、ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、前記出力ユニットに内蔵された内蔵マイクと、前記出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、を備えたシステムにおける頭外定位フィルタ生成方法であって、前記データ格納部において、前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数に基づいて、前記第1及び第2のプリセットデータがクラスタリングされており、クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性が算出されており、前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数が算出されており、前記頭外定位フィルタ生成方法は、ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、前記収音信号を周波数領域に変換して、第1の周波数特性を取得する第1の周波数特性取得ステップと、前記第1の周波数特性を複数の前記代表特性と比較する比較ステップと、前記比較ステップでの比較結果に基づいて、前記代表変換関数を抽出するステップと、抽出された代表変換関数を前記第1の周波数特性に適用することで、第2の周波数特性を算出する第2の周波数特性算出ステップと、前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出ステップと、を備えている。
本実施の形態にかかる頭外定位フィルタ生成システムは、コンピュータに対して頭外定位フィルタ生成方法を実行させるためのプログラムであって、前記コンピュータは、出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部にアクセス可能であり、前記データ格納部において、前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数に基づいて、前記第1及び第2のプリセットデータがクラスタリングされており、クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性が算出されており、前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数が算出されており、前記頭外定位フィルタ生成方法は、ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、前記収音信号を周波数領域に変換して、第1の周波数特性を取得する第1の周波数特性取得ステップと、前記第1の周波数特性を複数の前記代表特性と比較する比較ステップと、前記比較ステップでの比較結果に基づいて、前記代表変換関数を抽出するステップと、抽出された代表変換関数を前記第1の周波数特性に適用することで、第2の周波数特性を算出する第2の周波数特性算出ステップと、前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出ステップと、を備えている。
本開示によれば、適切にフィルタを生成することができる頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラムを提供することができる。
本実施の形態に係る頭外定位処理装置を示すブロック図である。 空間音響伝達特性を測定する測定装置の構成を示す図である。 第1の外耳道伝達特性を測定する測定装置の構成を示す図である。 第2の外耳道伝達特性を測定する測定装置の構成を示す図である。 本実施の形態にかかる頭外定位フィルタ生成システムの全体構成を示す図である。 第1の周波数特性に代表変換関数を適用する処理を説明するための図である。 サーバ装置の構成を示すブロック図である。 データ格納部に格納されている第1及び第2プリセットデータを説明するための表である。 クラスタリングされたデータを説明するための表である。 頭外定位フィルタ生成方法を示すフローチャートである。 帯域毎の代表変換関数を合成する処理を示す図である。
(概要)
まず、音像定位処理の概要について説明する。ここでは、音像定位処理装置の一例である頭外定位処理について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、外耳道入口から鼓膜までの伝達特性である。本実施形態では、ヘッドホンを装着した状態での外耳道伝達特性を測定し、その測定データを用いて頭外定位処理を実現している。
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ(PC)、スマートホン、タブレット端末などのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有している。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。
高い定位効果を得るには、ユーザ本人の特性を測定して頭外定位フィルタを生成することが好ましい。しかしながら、ユーザ本人に対して適切な測定を行うことができない場合がある。例えば、適切な測定を行うためには、ユーザの耳の適切な位置にマイクを装着する必要がある。ユーザ本人がマイク位置を適切に調整することは困難である。
具体的には、頭外定位処理システムは、ユーザ端末と、サーバ装置とを備えている。ユーザ以外の複数の被測定者に対して事前に測定された空間音響伝達特性及び外耳道伝達特性をサーバ装置が格納しておく。すなわち、ユーザ端末とは異なる測定装置を用いて、音源としてスピーカを用いた空間音響伝達特性の測定(以下、第1の事前測定とも称する)と、音源としてヘッドホンを用いた外耳道伝達特性の測定を行う。
さらに、外耳道伝達特性の測定には、2つのタイプのマイクが用いられる。1つ目のタイプはヘッドホンに内蔵されたマイク(内蔵マイクともいう)であり、2つ目のタイプは、ヘッドホンと別個に設けられたマイク(独立マイクともいう)である。内蔵マイクを用いた測定を第2の事前測定とし、この測定で得られた特性を第1の外耳道伝達特性とする。独立マイクを用いた測定を第3の事前測定とし、この測定で得られた特性を第2の外耳道伝達特性とする。第1~第3の事前測定は、ユーザ以外の被測定者に対して実施される。
サーバ装置は、第1の外耳道伝達特性についての第1のプリセットデータと、第2外耳道伝達特性についての第2のプリセットデータとを格納している。複数の被測定者に対して第2、第3の事前測定を行うことで、複数の第1のプリセットデータと、複数の第2のプリセットデータとが取得される。サーバ装置は、データベースに、複数の第1のプリセットデータと、複数の第2のプリセットデータと、を格納している。
さらに、頭外定位処理を実行するユーザ個人に対しては、ユーザ端末を用いて、第1の外耳道伝達特性のみを測定する(以下、ユーザ測定とする)。ユーザ測定は、第2の事前測定と同様に、ヘッドホンに内蔵された内蔵マイクを用いた測定である。ユーザ個人に対しては、独立マイクを用いた測定を行わない。ユーザ端末は、第1の外耳道伝達特性に関する測定データを取得する。そして、ユーザ端末は、測定データに基づくユーザデータをサーバ装置に送信する。
内蔵マイクによる測定は、ヘッドホンから独立したマイクを必要とせず、マイクの装着や位置調整が不要であるため、簡便に行うことができる。この反面、内蔵マイクによる測定は、マイクを理想的な外耳道入口の位置に配置することは困難である。そのため、内蔵マイクを用いた測定のみでは適切な逆フィルタを生成することができない場合がある。内蔵マイクを用いて測定された外耳道伝達特性をそのままキャンセルするような逆フィルタでは、ユーザに対して高い頭外定位効果を得ることができない場合がある。
そこで、サーバ装置は、第1の外耳道伝達特性(第1のプリセットデータ)を第2の外耳道伝達特性(第2のプリセットデータ)に変換する代表変換関数を算出している。サーバ装置は、ユーザデータに代表変換関数を適用することで第2の外耳伝達特性を算出する。サーバ装置又はユーザ端末は、第2の外耳道伝達特性に基づいて、逆フィルタを生成する。サーバ装置は、複数の代表変換関数を有しており、マッチングによりユーザに対して適切な代表変換関数を抽出する。サーバ装置は、代表変換関数をユーザ端末に送信する。ユーザ端末がユーザデータに代表変換関数を適用することで逆フィルタを生成している。ユーザ測定に基づく逆フィルタを用いて、頭外定位処理を行う。
なお、以下の説明では、内蔵マイクを用いたユーザ測定の結果から、外耳道伝達特性をキャンセルする逆フィルタを生成する処理を中心に説明する。なお、以下の説明では、音響空間伝達特性を測定するための第1の事前測定の構成についても説明するが、第1の事前測定は適宜省略可能である。
(頭外定位処理装置)
まず、本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を図1に示す。図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がPCなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
頭外定位処理装置100は、頭外定位処理部10、フィルタ部41、フィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、フィルタ部41、及びフィルタ部42は後述する演算処理部120を構成し、具体的にはプロセッサにより実現可能である。
頭外定位処理部10は、畳み込み演算部11~12、21~22、及び加算器24、25を備えている。畳み込み演算部11~12、21~22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、後述する測定装置を用いて測定されている。
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。
フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタを畳み込む。フィルタ部41で加算器24からのLch信号に対して、逆フィルタを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して逆フィルタを畳み込む。逆フィルタは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。逆フィルタは、ユーザU本人の特性の測定結果から算出されている。
フィルタ部41は、補正されたLch信号をヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、補正されたRch信号をヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号とRch信号をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。
(空間音響伝達特性の測定装置)
図2を用いて、空間音響伝達特性Hls、Hlo、Hro、Hrsを測定する測定装置200について説明する。図2は、被測定者1に対して第1の事前測定を行うための測定構成を模式的に示す図である。
図2に示すように、測定装置200は、ステレオスピーカ5とマイクユニット2を有している。ステレオスピーカ5が測定環境に設置されている。測定環境は、ユーザUの自宅の部屋やオーディオシステムの販売店舗やショールーム等でもよい。測定環境は、スピーカや音響の整ったリスニングルームであることが好ましい。
本実施の形態では、測定装置200の測定処理装置201が、空間音響フィルタを適切に生成するための演算処理を行っている。測定処理装置201は、例えば、CDプレイヤー等の音楽プレイヤーなどを有している。測定処理装置201は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であってもよい。また、測定処理装置201は、サーバ装置自体であってもよい。
ステレオスピーカ5は、左スピーカ5Lと右スピーカ5Rを備えている。例えば、被測定者1の前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは、インパルス応答測定を行うためのインパルス音等を出力する。以下、本実施の形態では、音源となるスピーカの数を2(ステレオスピーカ)として説明するが、測定に用いる音源の数は2に限らず、1以上であればよい。すなわち、1chのモノラル、または、5.1ch、7.1ch等の、いわゆるマルチチャンネル環境においても同様に、本実施の形態を適用することができる。
マイクユニット2は、左のマイク2Lと右のマイク2Rを有するステレオマイクである。左のマイク2Lは、被測定者1の左耳9Lに設置され、右のマイク2Rは、被測定者1の右耳9Rに設置されている。具体的には、左耳9L、右耳9Rの外耳道入口から鼓膜までの位置にマイク2L、2Rを設置することが好ましい。マイク2L、2Rは、ステレオスピーカ5から出力された測定信号を収音して、収音信号を取得する。マイク2L、2Rは収音信号を測定処理装置201に出力する。被測定者1は、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、被測定者1は人だけでなく、ダミーヘッドを含む概念である。
上記のように、左スピーカ5L、右スピーカ5Rで出力されたインパルス音をマイク2L、2Rで測定することでインパルス応答が測定される。測定処理装置201は、インパルス応答測定により取得した収音信号をメモリなどに記憶する。これにより、左スピーカ5Lと左マイク2Lとの間の空間音響伝達特性Hls、左スピーカ5Lと右マイク2Rとの間の空間音響伝達特性Hlo、右スピーカ5Rと左マイク2Lとの間の空間音響伝達特性Hro、右スピーカ5Rと右マイク2Rとの間の空間音響伝達特性Hrsが測定される。すなわち、左スピーカ5Lから出力された測定信号を左マイク2Lが収音することで、空間音響伝達特性Hlsが取得される。左スピーカ5Lから出力された測定信号を右マイク2Rが収音することで、空間音響伝達特性Hloが取得される。右スピーカ5Rから出力された測定信号を左マイク2Lが収音することで、空間音響伝達特性Hroが取得される。右スピーカ5Rから出力された測定信号を右マイク2Rが収音することで、空間音響伝達特性Hrsが取得される。
また、測定装置200は、収音信号に基づいて、左右のスピーカ5L、5Rから左右のマイク2L、2Rまでの空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタを生成してもよい。例えば、測定処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出す。測定処理装置201は、測定した空間音響伝達特性Hls、Hlo、Hro、Hrsを補正してもよい。
このようにすることで、測定処理装置201は、頭外定位処理装置100の畳み込み演算に用いられる空間音響フィルタを生成する。図1で示したように、頭外定位処理装置100が、左右のスピーカ5L、5Rと左右のマイク2L、2Rとの間の空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタを用いて頭外定位処理を行う。すなわち、空間音響フィルタをオーディオ再生信号に畳み込むことにより、頭外定位処理を行う。
測定処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれに対応する収音信号に対して同様の処理を実施している。すなわち、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応する4つの収音信号に対して、それぞれ同様の処理が実施される。これにより、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応する空間音響フィルタをそれぞれ生成することができる。
(第1の外耳道伝達特性の測定)
次に、第1の外耳道伝達特性を測定するための測定装置200について、図3を用いて説明する。図3は、被測定者1に対して第2の事前測定を行うための構成を示している。
測定処理装置201には、マイクユニット62と、ヘッドホン43と、が接続されている。マイクユニット62は、左マイク62Lと、右マイク62Rとを備えている。左マイク62Lは、被測定者1の左耳9Lに装着される。右マイク62Rは、被測定者1の右耳9Rに装着される。測定処理装置201、及びマイク62L、62Rは、図2の測定処理装置201、及びマイク2L、2Rと同じものでもよく、異なるものでもよい。マイクユニット62は、ヘッドホン43に内蔵された内蔵マイクユニットである。
ヘッドホン43は、ヘッドホンバンド43Bと、左ユニット43Lと、右ユニット43Rとを、有している。ヘッドホンバンド43Bは、左ユニット43Lと右ユニット43Rとを連結する。左ユニット43Lは被測定者1の左耳9Lに向かって音を出力する。右ユニット43Rは被測定者1の右耳9Rに向かって音を出力する。ヘッドホン43は密閉型、開放型、半開放型、または半密閉型等、ヘッドホンの種類を問わない。ヘッドホン43は、ヘッドホン43が装着された状態で、マイクユニット62が被測定者1に装着される。すなわち、左マイク62L、右マイク62Rが装着された左耳9L、右耳9Rにヘッドホン43の左ユニット43L、右ユニット43Rがそれぞれ装着される。ヘッドホンバンド43Bは、左ユニット43Lと右ユニット43Rとをそれぞれ左耳9L、右耳9Rに押し付ける付勢力を発生する。
左マイク62Lは、ヘッドホン43の左ユニット43Lから出力された音を収音する。右マイク62Rは、ヘッドホン43の右ユニット43Rから出力された音を収音する。左マイク62L、及び右マイク62Rのマイク部は、外耳孔近傍の収音位置に配置される。左マイク62L、及び右マイク62Rは、ヘッドホン43に干渉しないように構成されている。左マイク62L、及び右マイク62Rは、それぞれヘッドホン43の左ユニット43L、及び右ユニット43Rに内蔵されている。例えば、左マイク62Lは左ユニット43Lの筐体内に固定されており、右マイク62Rは右ユニット43Rの筐体内に固定されている。
測定処理装置201は、左ユニット43L、及び右ユニット43Rに対して測定信号を出力する。これにより、左ユニット43L、及び右ユニット43Rはインパルス音などを発生する。具体的には、左ユニット43Lから出力されたインパルス音を左マイク62Lで測定する。右ユニット43Rから出力されたインパルス音を右マイク62Rで測定する。このようにすることで、インパルス応答測定が実施される。
測定処理装置201は、インパルス応答測定に基づく収音信号をメモリなどに記憶する。これにより、左ユニット43Lと左マイク62Lとの間の伝達特性(すなわち、左耳の第1の外耳道伝達特性)と、右ユニット43Rと右マイク62Rとの間の伝達特性(すなわち、右耳の第1の外耳道伝達特性)が取得される。ここで、左マイク62Lが取得した左耳の第1の外耳道伝達特性の測定データを測定データECTFL_1とし、右マイク62Rが取得した右耳の第1の外耳道伝達特性の測定データを測定データECTFR_1とする。
測定処理装置201は、測定データECTFL_1、ECTFR_1をそれぞれ記憶するメモリなどを有している。なお、測定処理装置201は、外耳道伝達特性又は空間音響伝達特性を測定するための測定信号として、インパルス信号やTSP(Time Stretched Pulse)信号等を発生する。測定信号はインパルス音等の測定音を含んでいる。複数の被測定者1に対するヘッドホン43及びマイクユニット62が統一されていることが好ましい。
(第2の外耳道伝達特性の測定)
第2の外耳道伝達特性を測定するための測定装置200について、図4を用いて説明する。図4は、被測定者1に対して第3の事前測定を行うための構成を模式的に示している。
図4では、マイクユニット2は、ヘッドホン43から独立した独立マイクユニットとなっている。マイクユニット2は、特許文献2に示したように聴診器の構成を有している。マイクユニット2の構成については、特許文献2に詳述されているため、説明を省略する。もちろん、聴診器の構成以外のマイクユニット2を用いることも可能である。なお、マイクユニット2は、第1の事前測定で用いられたものと同じものとなっていても良い。
左耳9Lには、左マイク2Lが装着され、右耳9Rには右マイク2Rが装着されている。そして、被測定者1は、左右のマイク2L、2Rの上からヘッドホン43を装着している。つまり、マイク2L、マイク2Rが装着された耳9L、9Rを覆うように被測定者1がヘッドホン43を装着する。なお、第2の事前測定と第3の事前測定とで用いられるヘッドホン43は、同一のタイプのものとなっている。複数の被測定者1に対するヘッドホン43及びマイクユニット2が統一されていることが好ましい。
左マイク2Lは、ヘッドホン43の左ユニット43Lから出力された音を収音する。右マイク2Rは、ヘッドホン43の右ユニット43Rから出力された音を収音する。左マイク2L、及び右マイク2Rのマイク部は、外耳孔近傍の収音位置に配置される。左マイク2L、及び右マイク2Rは、ヘッドホン43に干渉しないように構成されている。すなわち、左マイク2L、及び右マイク2Rは左耳9L、右耳9Rの適切な位置に配置された状態で、被測定者1がヘッドホン43を装着することができる。また、マイク2L、マイク2Rは、図3で示したマイク2L、2Rと異なる収音位置に設置される。
測定処理装置201は、左ユニット43L、及び右ユニット43Rに対して測定信号を出力する。これにより、左ユニット43L、及び右ユニット43Rはインパルス音などを発生する。具体的には、左ユニット43Lから出力されたインパルス音を左マイク2Lで測定する。右ユニット43Rから出力されたインパルス音を右マイク2Rで測定する。このようにすることで、インパルス応答測定が実施される。
測定処理装置201は、インパルス応答測定に基づく収音信号をメモリなどに記憶する。これにより、左ユニット43Lと左マイク2Lとの間の伝達特性(すなわち、左耳の第2の外耳道伝達特性)と、右ユニット43Rと右マイク2Rとの間の伝達特性(すなわち、右耳の第2の外耳道伝達特性)が取得される。ここで、左マイク2Lが取得した左耳の第2の外耳道伝達特性の測定データを測定データECTFL_2とし、右マイク2Rが取得した右耳の第2の外耳道伝達特性の測定データを測定データECTFR_2とする。
測定処理装置201は、測定データECTFL_2、ECTFR_2をそれぞれ記憶するメモリなどを有している。なお、測定処理装置201は、外耳道伝達特性又は空間音響伝達特性を測定するための測定信号として、インパルス信号やTSP(Time Stretched Pulse)信号等を発生する。測定信号はインパルス音等の測定音を含んでいる。
図3、図4で示した測定装置200によって、複数の被測定者1の第1及び第2の外耳道伝達特性が測定される。本実施の形態では、図3の測定構成による第2の事前測定を複数の被測定者1に対して実施する。同様に、図4の測定構成による第3の事前測定を複数の被測定者1に対して実施する。これにより、被測定者1毎に、第1及び第2の外耳道伝達特性が測定される。
(頭外定位フィルタ生成システム)
次に、本実施の形態にかかる頭外定位フィルタ生成システム500について、図5を用いて説明する。図5は、頭外定位フィルタ生成システム500の全体構成を示す図である。頭外定位フィルタ生成システム500は、マイクユニット62と、ヘッドホン43と、頭外定位処理装置100と、サーバ装置300と、を備えている。
頭外定位処理装置100とサーバ装置300とは、ネットワーク400を介して接続されている。ネットワーク400は、例えば、インターネットや携帯電話通信網などの公衆ネットワークなどである。頭外定位処理装置100とサーバ装置300とは無線又は有線により通信可能になっている。なお、頭外定位処理装置100とサーバ装置300とは一体の装置であってもよい。
頭外定位処理装置100は、図1で示したように、頭外定位処理された再生信号をユーザUに出力するユーザ端末となる。さらに、頭外定位処理装置100は、ユーザUの外耳道伝達特性の測定を行う。そのため、頭外定位処理装置100には、マイクユニット62とヘッドホン43とが接続されている。頭外定位処理装置100は、図3の測定装置200と同様に、マイクユニット62と、ヘッドホン43とを用いたインパルス応答測定を行う。なお、マイクユニット62、及びヘッドホン43とBluetooth(登録商標)などにより無線接続されていてもよい。マイクユニット62は、図3と同様にヘッドホン43に内蔵された内蔵マイクユニットとなっている。
頭外定位処理装置100は、インパルス応答測定部111と、周波数特性取得部112と、送信部131と、受信部132と、演算処理部120と、逆フィルタ算出部121と、フィルタ記憶部122と、変換部123と、スイッチ124と、を備えている。なお、頭外定位処理装置100とサーバ装置300とが一体の装置である場合、該装置は受信部132に代えてユーザデータを取得する取得部を備えていてもよい。
スイッチ124はユーザ測定と、頭外定位再生とを切り替える。すなわち、ユーザ測定の場合、スイッチ124は、ヘッドホン43とインパルス応答測定部111とを接続する。頭外定位再生の場合、スイッチ124は、ヘッドホン43を演算処理部120に接続する。
まず、外耳道伝達特性の逆フィルタを求める処理について説明する。インパルス応答測定部111は、ユーザ測定を行うため、インパルス音となる測定信号をヘッドホン43に出力する。ヘッドホン43が出力したインパルス音をマイクユニット62が収音する。ここでは、マイクユニット62がヘッドホン43に内蔵されている。また、マイクユニット62は、ヘッドホン43に脱着可能に取り付けられていても良い。
ヘッドホン43は収音信号をインパルス応答測定部111に出力する。なお、インパルス応答測定については、図3の説明と同様であるため、適宜説明を省略する。すなわち、頭外定位処理装置100が、図3の測定処理装置201と同様の機能を有している。頭外定位処理装置100と、マイクユニット62と、ヘッドホン43とがユーザ測定を行う測定装置を構成する。インパルス応答測定部111は、収音信号に対して、A/D変換や同期加算処理などを行ってもよい。
インパルス応答測定により、インパルス応答測定部111は、第1の外耳道伝達特性に関する測定データECTF_1を取得する。測定データECTF_1は、ユーザUの左耳9Lの第1の外耳道伝達特性に関する測定データECTFL_1と、右耳9Rの第1の外耳道伝達特性に関する測定データECTFR_1とを含んでいる。
周波数特性取得部112は、測定データECTFL_1、ECTFR_1に対して所定の処理を行うことで、測定データECTFL_1、ECTFR_1の周波数特性を取得する。例えば、周波数特性取得部112は、離散フーリエ変換を行うことで、周波数振幅特性及び周波数位相特性を算出する。また、周波数特性取得部112は、離散フーリエ変換に限らず、離散コサイン変換などの離散信号を周波数領域に変換する手段により、周波数振幅特性及び周波数位相特性を算出してもよい。周波数振幅特性の代わりに、周波数パワー特性が用いられていてもよい。
ユーザ測定により得られた周波数特性を第1の周波数特性user-bim(又は第1の外耳道伝達特性user-bimともいう)とする。第1の周波数特性user-bimは第1の外耳道伝達特性の周波数振幅特性を含んでいる。また、左耳に関する第1の周波数特性user-bimを第1の周波数特性userL-bim(又は第1の外耳道伝達特性userL-bimともいう)とする。右耳に関する第1の周波数特性user-bimを第1の周波数特性userR-bim(又は第1の外耳道伝達特性userR-bimともいう)とする。第1の周波数特性user-bimは第1の周波数特性userL-bim及び第1の周波数特性userR-bimを含んでいる。
送信部131は第1の周波数特性user-bimをユーザデータ(ユーザ特徴量)としてサーバ装置300に送信する。送信部131は、ユーザデータに対して、通信規格に応じた処理(例えば、変調処理)を行って、送信する。送信部131は、第1の周波数特性user-bimの振幅値をユーザデータとして送信してもよい。
サーバ装置300は、第1の周波数特性user-bimに基づいて代表変換関数を決定する。代表変換関数は、第1の外耳道伝達特性の周波数特性を第2の外耳道伝達特性の周波数特性に変換するための関数である。ユーザの第2の外耳道伝達特性の周波数特性を第2の周波数特性user-Stetho(又は第2の外耳道伝達特性user-Stethoともいう)とする。代表変換関数を決定するための処理については後述する。
サーバ装置300は、代表変換関数を頭外定位処理装置100に送信する。受信部132は、サーバ装置300から代表変換関数を受信する。変換部123は、第1の周波数特性user-bimに代表変換関数を適用することで、第2の周波数特性user-Stethoを算出する。つまり、変換部123は、代表変換関数を用いて、第1の周波数特性user-bimを第2の周波数特性user-Stethoに変換する。
代表変換関数を用いて、第1の周波数特性user-bimを第2の周波数特性user-Stethoに変換するための処理について、図6を用いて説明する。図6では代表変換関数として、周波数振幅特性の代表差分値ベクトルCONVとして示している。図6に示す一例では、第1の周波数特性user-bimに代表差分値ベクトルCONVを周波数領域上で加算することで、第2の周波数特性user-Stethoが算出される。ここで、代表変換関数は、周波数振幅特性の代表差分値ベクトルの加算に限るものではなく、第1の周波数特性user-bimと第2の周波数特性user-Stetho間の空間伝達関数を用いて算出した代表的な伝達関数そのものでも良い。図6に示すグラフでは、横軸が周波数、縦軸が振幅値(振幅レベル)を示している。
第1の周波数特性user-bim、及び代表差分値ベクトルCONVはそれぞれ周波数毎に振幅値が設定されている。第1の周波数特性user-bim、及び代表差分値ベクトルCONVは、複数の振幅値を含む多次元ベクトルとして示される。第1の周波数特性user-bim、及び代表差分値ベクトルCONVは、同じ次元数のベクトルとなっているが、異なる次元数のベクトルであってもよい。異なる次元数のベクトルの場合、適宜補間することで、代表差分値ベクトルCONVを加算することができる。第2の周波数特性user-Stethoは、第1の周波数特性user-bimと同じ次元数のベクトルとなる。
より具体的には、左耳の第1の周波数特性userL-bimに代表差分値ベクトルCONV_Lを関数として適用することで、左耳の第2の周波数特性userL-Stethoが算出される。同様に、右耳の第1の周波数特性userR-bimに代表差分値ベクトルCONV_Rを関数として適用することで、右耳の第2の周波数特性userR-Stethoが算出される。左耳の代表差分値ベクトルCONV_Lと右耳の代表差分値ベクトルCONV_Rは異なるベクトルであってもよく、同じベクトルであってもよい。
逆フィルタ算出部121は、第2の周波数特性user-Stethoに基づいて、逆フィルタを算出する。例えば、逆フィルタ算出部121は、第2の周波数特性user-Stethoを補正する。逆フィルタ算出部121は、第2の周波数特性user-Stethoの振幅スペクトルをキャンセルするような逆特性を求める。逆特性は、振幅スペクトルをキャンセルするようなフィルタ係数を有する振幅スペクトルである。
逆フィルタ算出部121は、逆離散フーリエ変換又は逆離散コサイン変換により、逆特性と位相特性から時間領域の信号を算出する。逆フィルタ算出部121は、逆特性と位相特性をIFFT(高速逆フーリエ変換)することで、時間信号を生成する。逆フィルタ算出部121は、生成した時間信号を所定のフィルタ長で切り出すことで、逆フィルタを算出する。逆フィルタ算出部121は、マイク62L、62Rからの収音信号に対して、同様の処理を行うことで、逆フィルタLinv、Rinvを生成する。第2の周波数特性userL-Stethoに基づいて逆フィルタLinvが生成され、第2の周波数特性userR-Stethoに基づいて逆フィルタRinvが生成される。なお、逆フィルタを求めるための処理は、公知の手法を用いることができるため、詳細な説明を省略する。
上記のように、逆フィルタはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルするフィルタである。フィルタ記憶部122は、逆フィルタ算出部121が算出した左右の逆フィルタを記憶する。これにより、図1に示したフィルタ部41、42に逆フィルタLinv、Rinvが設定される。
代表変換関数を求める処理について、図7を用いて説明する。図7は、サーバ装置300の構成を示すブロック図である。サーバ装置300は、受信部301と、比較部302と、データ格納部303と、抽出部304と、送信部306と、を備えている。サーバ装置300は、ユーザデータに基づいて、代表変換関数を求めるための処理装置となる。なお、頭外定位処理装置100とサーバ装置300とが一体の装置である場合、該装置は、送信部306等を備えていなくてもよい。
さらに、サーバ装置300は、周波数特性取得部312と、クラスタリング部315と、変換ベクトル算出部317と、代表変換関数算出部318と、代表特性算出部319と、を備えている。
なお、サーバ装置300は、プロセッサやメモリなどを備えたコンピュータであり、プログラムにしたがって以下の処理を行う。また、サーバ装置300は単一な装置に限らず、2つ以上の装置の組み合わせにより実現してもよく、クラウドサーバ等の仮想サーバでもよい。データを格納するデータ格納部303と、データ処理を行う比較部302,抽出部304等は物理的に異なる装置であってもよい。
データ格納部303は、事前測定で測定された複数の被測定者に関するデータをプリセットデータとして格納するデータベースである。図8を参照して、データ格納部303に格納されているデータについて、説明する。図8は、データ格納部303に格納されているデータを示す表である。
データ格納部303は、被測定者の左右の耳毎にプリセットデータを格納している。具体的には、データ格納部303は、被測定者ID、耳の左右、第1の外耳道伝達特性、第2の外耳道伝達特性が1行に並んだテーブル形式となっている。なお、図8に示すデータ形式は一例であり、テーブル形式ではなく、各パラメータのオブジェクトをタグ等で関連付けて保持するデータ形式等を採用してもよい。
データ格納部303には、1人の被測定者Aに対して、2つのデータセットが格納されている。すなわち、データ格納部303は、被測定者Aの左耳に関するデータセットと、被測定者Aの右耳に関するデータセットが格納されている。
1つのデータセットには、被測定者ID、耳の左右、第1の外耳道伝達特性、第2の外耳道伝達特性が含まれている。第1の外耳道伝達特性は、図3に示す測定装置200による第2の事前測定に基づくデータであり、第1のプリセットデータとなる。ヘッドホン43に内蔵されたマイク62L、62Rで取得された第1の外耳道伝達特性の周波数振幅特性となっている。第2の外耳道伝達特性は、図4に示す測定装置200による第3の事前測定に基づくデータであり、第2のプリセットデータとなる。ヘッドホン43と独立に設けられたマイク2L、2Rで取得された第2の外耳道伝達特性の周波数振幅特性となっている。
被測定者Aの左耳の第1の外耳道伝達特性は、第1の外耳道伝達特性AL_bimと示し、被測定者Aの右耳の第1の外耳道伝達特性は、第1の外耳道伝達特性AR_bimと示している。被測定者Bの左耳の1の外耳道伝達特性は、第1の外耳道伝達特性BL_bimと示し、被測定者Bの右耳の1の外耳道伝達特性は、第1の外耳道伝達特性BR_bimと示している。ユーザ測定と第2の事前測定に用いられるヘッドホン43、及びマイクユニット62は同じタイプのものであることが好ましいが、異なるタイプのものであってもよい。第1の外耳道伝達特性AL_bim、AR_bim、BL_bim、BR_bimは、第1のプリセットデータとなる。
被測定者Aの左耳の第2の外耳道伝達特性は、第2の外耳道伝達特性AL_Stethoと示し、被測定者Aの右耳の第2の外耳道伝達特性は、第2の外耳道伝達特性AR_Stethoと示している。被測定者Bの左耳の2の外耳道伝達特性は、第2の外耳道伝達特性BL_Stethoと示し、被測定者Bの右耳の第2の外耳道伝達特性は、第2の外耳道伝達特性BR_Stethoと示している。第2の外耳道伝達特性AL_Stetho、AR_Stetho、BL_Stetho、BR_Stethoは、第2のプリセットデータとなる。
周波数特性取得部312は、第1及び第2の外耳道伝達特性の周波数特性を取得する。ここでは、周波数特性取得部312は第1及び第2の外耳道伝達特性の周波数振幅特性を周波数特性として算出する。周波数特性取得部312の処理は、周波数特性取得部112の処理と同様であるため適宜説明を省略する。
変換ベクトル算出部317は、被測定者の第1の外耳道伝達特性と第2の外耳道伝達特性に関する周波数振幅特性の差分値ベクトルを変換関数として算出する変換関数算出部となる。例えば、被測定者Aの左耳の第1の外耳道伝達特性AL_bimを第2の外耳道伝達特性AL_Stethoに関する周波数振幅特性の差分値ベクトルを差分値ベクトルAL_CONVとする。例えば、差分値ベクトルAL_CONVは以下の式(1)で求められる。
AL_CONV=AL_Stetho-AL_bim ・・・(1)
周波数毎に、第2の外耳道伝達特性AL_Stethoの振幅値から第1の外耳道伝達特性AL_bimの振幅値を減算することで差分値ベクトルAL_CONVが求められる。つまり、差分値ベクトルAL_CONVは、第2の外耳道伝達特性AL_Stethoと第1の外耳道伝達特性AL_bimとの差分値の集合となる。換言すると、第1の外耳道伝達特性AL_bimに差分値ベクトルAL_CONVを加算すると第2の外耳道伝達特性AL_Stethoとなる。
同様に変換ベクトル算出部317は、各データセットに対する差分値ベクトルを算出する。差分値ベクトルAR_CONVは、被測定者Aの右耳に関する差分値ベクトルであり、第1の外耳道伝達特性AR_bim及び第2の外耳道伝達特性AR_Stethoに基づいて算出される。差分値ベクトルBL_CONVは、被測定者Bの左耳に関する差分値ベクトルであり、第1の外耳道伝達特性BL_bim及び第2の外耳道伝達特性BL_Stethoに基づいて算出される。差分値ベクトルBR_CONVは、被測定者Bの右耳に関する差分値ベクトルであり、第1の外耳道伝達特性BR_bim及び第2の外耳道伝達特性BR_Stethoに基づいて算出される。なお、変換ベクトル算出部317は、第1の外耳道伝達特性と第2の外耳道伝達特性との間の差分値ベクトルを変換ベクトル(変換関数)として算出しているが、差分値ベクトル以外のベクトルや関数を変換関数として算出してもよい。
クラスタリング部315は、複数の被測定者の差分値ベクトルに基づいて、複数の被測定者をクラスタリングしている。ここでは、差分値ベクトルに基づいて、クラスタリング部315がデータセットを複数のクラスタ(グループ)に分割する。クラスタリング部315は、差分値ベクトルを特徴量ベクトルとして、特徴量ベクトル間の距離に応じて、クラスタリングを行うことができる。クラスタリングは、非階層型クラスタリングでもよく、階層型クラスタリングでもよい。また、ここでは周波数振幅特性の差分値ベクトルを特徴量としてクラスタリングを行っているが、これに限るものではない。例えば、クラスタリングのための特徴量は第1の外耳道伝達特性と第2の外耳道伝達特性の間の空間伝達関数そのものでもよい。
例えば、予め設定されたk(kは2以上の整数)個のクラスタに分類するk平均法(k-means)でクラスタリング部315が複数のデータセットをk個のクラスタに分類する。1つのクラスタには複数のデータセットが含まれている。1つのクラスタには、複数の被測定者に対する第2の事前測定で取得された第1のプリセットデータが含まれている。1つのクラスタには複数の耳に関する第1のプリセットデータが属する。1つのクラスタには、図8に示したデータセットが複数含まれている。なお、クラスタリング手法はk平均法に限られるものではない。
代表変換関数算出部318は、クラスタ毎に代表変換関数を算出する。代表変換関数算出部318は、1つのクラスタに含まれる複数のデータセットの差分値ベクトルに基づいて代表変換関数を算出する。代表変換関数は、クラスタに属する複数の差分値ベクトルの特徴を代表する特徴量ベクトルとなる。
図9は、各クラスタのデータを説明するための表である。図9は、k個のクラスタのデータを示す表である。各クラスタには1人以上の被測定者が属している。
代表差分値ベクトル1_CONVは、1番目のクラスタ(クラスタ1)に属する被測定者の差分値ベクトルの周波数毎の中央値を集めた特徴量ベクトルとなる。同様に、代表差分値ベクトル2_CONVは、2番目のクラスタ(クラスタ2)に属する被測定者の差分値ベクトルの周波数毎の中央値を集めた特徴量ベクトルである。代表差分値ベクトルk_CONVは、k番目のクラスタ(クラスタk)に属する被測定者の差分値ベクトルの周波数毎の中央値を集めた特徴量ベクトルである。
例えば、クラスタに属する複数の差分値ベクトルの中央値を代表変換関数とすることができる。代表変換関数算出部318は、周波数ごとに差分値の中央値を求めて、代表差分値とする。全帯域にわたる代表差分値を合成し、全帯域における代表差分値ベクトルを生成する。この代表差分値ベクトルを関数として適用する。適用した関数のことを代表変換関数と称する。もちろん、差分値ベクトルの中央値ではなく、平均値を代表値としてもよい。また、代表変換関数は、多項式近似による値(曲線)でもよい。代表変換関数は、各被測定者の差分値ベクトルと同じ次元数のベクトルとなる。
代表特性算出部319は、クラスタ毎に代表特性を算出する。代表特性算出部319は、1つのクラスタに含まれる複数のデータセットの第1の外耳道伝達特性に基づいて代表特性を算出する。代表特性は、クラスタに属する複数の第1の外耳道伝達特性の特徴を代表する特徴量ベクトルとなる。
1番目のクラスタは代表特性1_bimを含んでいる。同様に2番目のクラスタは代表特性2_bimを含んでいる。k番目のクラスタは代表特性k_bimを含んでいる。このように、それぞれのクラスタには、クラスタを代表する代表特性が求められる。代表特性は第1の外耳道伝達特性に対応するデータである。
例えば、クラスタに属する複数の第1の外耳道伝達特性の平均値を代表特性とすることができる。代表特性算出部319は、周波数ごとに振幅値の平均値を求めて、代表値とする。全帯域にわたる代表値の集合が、代表特性となる。もちろん、第1の外耳道伝達特性の平均値ではなく、中央値を代表値としてもよい。代表特性は、多項式近似による値(曲線)でもよい。代表特性は、各被測定者の第1の外耳道伝達特性と同じ次元数のベクトルとなる。
このように、各クラスタには、代表変換関数と、代表特性とが含まれている。クラスタ毎に、代表変換関数と、代表特性とが対応付けられている。クラスタには複数の被測定者のデータセットが属している。代表変換関数は、クラスタに属する複数の差分値ベクトルから求められる。代表特性は、クラスタに属する複数の第1の外耳道伝達特性から求められる。代表特性と、代表変換関数は、同じ次元数のベクトルとなる。代表特性と、代表変換関数はそれぞれ第1の周波数特性と差分値ベクトルと同じ次元数のベクトルとなる。そして、各クラスタに対応する代表特性と代表変換関数とが、データ格納部303にデータベースとして格納されている。
なお、データ格納部303は図9に示すクラスタのデータを格納していれば、図8に示すプリセットデータを格納していなくてもよい。つまり、代表特性と代表変換関数を求めた後は、サーバ装置300が第1及び第2のプリセットデータ等を削除してもよい。また、データ格納部303が第1及び第2のプリセットデータを保持していれば、データの増強などを容易に行うことができる。
次に、ユーザデータに基づいて、フィルタを生成するための処理について説明する。受信部301は、頭外定位処理装置100から送信されたユーザデータを受信する。ここで、ユーザデータは、第1の周波数特性user-bim(以下、第1の外耳道伝達特性user-bimとする)となっている。
比較部302は、ユーザデータである第1の外耳道伝達特性user-bimを代表特性と比較する。つまり、比較部302はユーザデータを各クラスタの代表特性と比較することで、クラスタ毎に類似度スコアを求める。最も類似度スコアが高いクラスタが類似クラスタとなる。比較部302は、全クラスタに対してマッチングを行う。
以下、比較部302における処理の一例について説明する。上記のように、ユーザデータは、第1の外耳道伝達特性user-bimを含んでいる。また、各クラスタは、第1の外耳道伝達特性に対応する代表特性(例えば、1_bim)を含んでいる。
比較部302は、第1の外耳道伝達特性user-bimと、代表特性(例えば、1_bim)との相関係数rを算出する。比較部302は、第1の外耳道伝達特性user-bimと、代表特性(例えば、1_bim)とのユークリッド距離qを算出する。
比較部302は、相関係数r、ユークリッド距離qに基づいて類似度スコアを算出する。ユークリッド距離qは値が小さいほど距離が近いこと、つまり特性が似ていることを示す。相関係数rは-1~+1の間で値を取り、+1に近いほど似ていることを示す。よって、(1-r)の値が小さいほど、特性が類似していることとなる。
比較部302は、(1-r)、qの2つの値を重み付け加算することで、類似度スコアを算出する。重み付け加算の重みは適宜設定可能である。そして、比較部302は、クラスタ毎に類似度スコアを算出する。比較部302は、最も類似度スコアが高いクラスタを類似クラスタとする。このようにして、ユーザデータに最も類似する類似クラスタが選択される。なお、比較部302は、ベクトル間距離又は相関係数の一方のみを用いて類似度スコアを算出してもよい。なお、類似度スコアは、相関値及び距離ベクトルの大きさ(ユークリッド距離)に限らず、コサイン類似度(コサイン距離)、マハラノビス距離、ピアソン相関係数等を用いて算出されていてもよい。
抽出部304は、比較部302での比較結果に基づいて代表変換関数を抽出する。つまり、抽出部304は、データ格納部303から類似クラスタに含まれる代表変換関数(例えば、1_CONV)を読み出す。抽出部304は、ユーザの第1の外耳道伝達特性と類似する類似クラスタの代表変換関数を抽出する。送信部306は、代表変換関数を頭外定位処理装置100に送信する。




そして、図5に示した頭外定位処理装置100の受信部132が代表変換関数を受信する。変換部123は、上記のように第1の外耳道伝達特性user-bimに代表変換関数を適用することで、第2の外耳道伝達特性user-Stethoを算出する。例えば、変換部123は、第1の外耳道伝達特性user-bimの振幅値に代表変換関数の振幅値を加算する。つまり、周波数毎の第1の外耳道伝達特性user-bimの振幅値と代表変換関数の振幅値との和が第2の外耳道伝達特性user-Stethoとなる。これにより、第2の外耳道伝達特性の周波数振幅特性を求めることが可能となる。逆フィルタ算出部121は、第2の外耳道伝達特性user-Stethoを打ち消すような逆特性を求め、逆フーリエ変換することで、逆フィルタを求める。
頭外定位フィルタ生成システム500は、左右の第1の外耳道伝達特性userL-bim、userR-bimのそれぞれに対して、上記の処理を行う。このようにすることで、左右の逆フィルタL_inv,R_invが設定される。左の第1の外耳道伝達特性userL-bimに対する類似クラスタは、右の第1の外耳道伝達特性userR-bimの類似クラスタと同じであってもよく。異なっていてもよい。
本実施の形態では、ヘッドホン43に内蔵されたマイクユニット62を用いて第1の外耳道伝達特性user-bimが測定されている。そして、第1の外耳道伝達特性の周波数特性に代表変換関数を適用することで、ユーザの第2の外耳道伝達特性user-Stethoを求めている。このようにすることで、簡便な測定で、ユーザに適した逆フィルタを求めることができる。適切に頭外定位処理を行うことが可能になる。
ユーザ以外の調整者がマイク位置やヘッドホン位置等を調整する必要が無い。ユーザ単独での測定から逆フィルタを求めることが可能となる。スマートホンなどのユーザ端末と、マイクユニット62を内蔵したヘッドホン43があれば、リスニングルームなどの受聴環境でなくても測定を行うことができる。
また、クラスタリング部315は、被測定者の耳に対して求められた第1の外耳道伝達特性と第2の外耳道伝達特性の差分値ベクトルに基づいて、クラスタリングを行っている。これにより、複数のデータセットを適切にクラスタリングすることができる。さらに、代表特性算出部319が、クラスタ毎に代表特性を算出している。第1の外耳道伝達特性のデータだけでなく第2の外耳道伝達特性のデータも加味して生成した代表特性を用いることで、人によって異なる外耳道入り口と内蔵マイクとの位置関係も含んだ状態で、マッチングを適切に行うことができる。さらに、クラスタ毎に、代表特性と代表変換関数が対応付けられている。変換部123は、ユーザに適した代表変換関数を用いて、第1の外耳道伝達特性を第2の外耳道伝達特性に変換することができる。
さらに、クラスタ毎に代表特性が求められている。比較部302はユーザデータと代表特性とを比較することで類似クラスタを決定している。このようにすることで、事前測定で得られた全てのデータセットに対して、類似度スコアを算出する必要がなくなる。つまり、類似度スコアを算出するデータセットを選別することができる。よって、データベースに多数の被測定者のデータセットが格納されている場合、処理時間を短縮することが可能となる。
本実施の形態にかかる頭外定位フィルタ生成方法の一例について、図10を用いて説明する。図10は、逆フィルタを生成する方法を示すフローチャートである。なお、図10に示す処理に先だって、サーバ装置300が被測定者を複数のクラスタに分類している。
まず、図5に示したように、インパルス応答測定部111がヘッドホン43の出力ユニットから測定信号を出力する(S30)。インパルス応答測定部111がマイクユニット62を用いて測定信号を収音する(S31)。インパルス応答測定部111がユーザUの第1の外耳道伝達特性に関する測定データを取得する。インパルス応答測定部111は、同期加算処理を行っていてもよい。
次に、周波数特性取得部112が、測定データから第1の周波数特性user-bimを取得する(S32)。周波数特性取得部112が、時間領域の測定データをフーリエ変換することで、周波数振幅特性及び周波数位相特性が求められる。周波数振幅特性が第1の周波数特性user-bimとなる。
送信部131は、第1の周波数特性user-bimをユーザデータとしてサーバ装置300に送信する(S33)。つまり、第1の周波数特性user-bimの振幅値の集合がユーザデータとして送信される。なお、頭外定位処理装置100は、時間領域の第1の外耳道伝達特性をサーバ装置300が送信してもよい。この場合、周波数特性取得部312がユーザの第1の外耳道伝達特性をフーリエ変換する。
比較部302は、ユーザデータと代表特性とを比較する(S34)。比較部302は、第1の周波数特性user-bimとクラスタの代表特性(例えば、1-bim)とを比較する。これにより、1つのクラスタに対する類似度スコアが求められる。
比較部302は、全てのクラスタが終了したか否かを判定する(S35)。全てのクラスタが終了していない場合(S35のNO)、ステップS34に戻って、比較部302はユーザデータを次のクラスタの代表特性と比較する。全てのクラスタが終了した場合(S35のYES)、比較部302は、類似クラスタを決定する(S36)。つまり、最も類似度スコアが高いクラスタが類似クラスタとなる。
抽出部304は、比較結果に基づいて、類似クラスタの代表変換関数を抽出する(S37)。送信部306は、代表変換関数を頭外定位処理装置100に送信する(S38)。変換部123は、第1の周波数特性user-bimに代表変換関数を適用することで、第2の周波数特性user-Stethoを算出する(S39)。
逆フィルタ算出部121は、第2の周波数特性user-Stethoを用いて、逆フィルタを算出する。逆フィルタ算出部121は、第2の周波数特性user-Stethoに基づいて、逆フィルタを算出する(S40)。第2の周波数特性user-Stethoの振幅スペクトルを打ち消すような逆フィルタが生成される。
このようにすることで、適切に逆フィルタを算出することができる。なお、上記の説明では、頭外定位処理装置100が逆フィルタを算出したが、算出するための処理の一部は、サーバ装置300で実施されていてもよい。例えば、サーバ装置300が第1の周波数特性user-bim及び代表変換関数に基づいて、第2の周波数特性user-Stethoを算出してもよい。そして、頭外定位処理装置100は、サーバ装置300から受信した第2の周波数特性user-Stethoから逆フィルタを生成しても良い。
サーバ装置300の処理の一部は、頭外定位処理装置100で行ってもよい。あるいは、頭外定位処理装置100、測定処理装置201、サーバ装置300とは物理的に異なる装置が一部の処理を行ってもよい。
変形例1.
クラスタリング部315は、帯域毎に分割してクラスタリングを行ってもよい。例えば、サーバ装置300は、低域、中域、高域の3つに第1及び第2の外耳道伝達特性を分割する。変換ベクトル算出部317は、帯域毎に、差分値ベクトルを求める。図11は、3つの帯域に分割された代表変換関数を合成する処理を示す図である。図11において、横軸が周波数、縦軸が振幅値となっている。代表変換関数算出部318は、各クラスタに属するデータセットに基づいて、低域の代表変換関数、中域の代表変換関数、高域の代表変換関数をそれぞれ算出する。
そのため、サーバ装置300は、被測定者の第1の外耳道伝達特性を3つの帯域に分割する。サーバ装置300は、低域の第1の外耳道伝達特性、中域の第1の外耳道伝達特性、及び高域の第1の外耳道伝達特性を求める。サーバ装置300は、被測定者の第2の外耳道伝達特性を3つの帯域に分割する。サーバ装置300は、低域の第2の外耳道伝達特性、中域の第2の外耳道伝達特性、及び高域の第2の外耳道伝達特性を求める。変換ベクトル算出部317は、帯域毎の第2の外耳道伝達特性と第1の外耳道伝達特性の差分値ベクトルを算出する。これにより、変換ベクトル算出部317が、帯域毎に差分値ベクトルを算出することができる。
クラスタリング部315は、各帯域の差分値ベクトルに基づいてクラスタリングを行う。クラスタリング部315は、低域の差分値ベクトルに基づいて、データセットを複数のクラスタに分割する。同様にクラスタリング部315は、中域の差分値ベクトルに基づいて、データセットを複数のクラスタに分割する。クラスタリング部315は、高域の差分値ベクトルに基づいて、データセットを複数のクラスタに分割する。
代表変換関数算出部318は、帯域毎の代表変換関数を算出する。代表変換関数は、上記の通り、複数の差分値ベクトルの代表値の集合となる。これにより、図11に示すように、低域の代表変換関数、中域の代表変換関数、及び高域の代表変換関数が求められる。
代表特性算出部319は、帯域毎に代表特性を算出する。代表特性は、上記の通り、複数の第1の外耳道伝達特性の代表値の集合となる。低域の代表特性、中域の代表特性、及び高域の代表特性が求められる。
低域のクラスタでは、低域の代表特性と低域の代表変換関数が対応付けて記憶される。中域のクラスタでは、中域の代表特性と中域の代表変換関数が対応付けて記憶される。高域のクラスタでは、高域の代表特性と高域の代表変換関数が対応付けて記憶される。
サーバ装置300が、ユーザデータについても同様に3つの帯域に分割する。比較部302は、帯域毎にユーザデータと代表特性を比較する。比較部302は、帯域毎に類似クラスタを決定する。抽出部304は、帯域毎の類似クラスタの代表変換関数を抽出して、合成する。抽出部304が低域、中域、高域の代表変換関数を繋ぎ合わせる。このようにすることで、全帯域の代表変換関数が求められる。抽出部304が各帯域の振幅値を結合し、代表変換関数を作成する。抽出部304が帯域間の境界部が重なる部分はクロスフェード等で結合してもよい。
なお、上記の説明では、クラスタリング部315が、第1及び第2の外耳道伝達特性をクラスタリングしたが、各クラスタに属するプリセットデータに空間音響伝達特性を紐づけて保持することも可能である。例えば、被測定者の左耳に関するデータセットには、左耳に関する空間音響伝達特性Hls,Hroを対応付けておく。被測定者の右耳に関するデータセットには、右耳に関する空間音響伝達特性Hrs,Hloを対応付けておく。または、各クラスタに属する複数の音響伝達特性から代表値を算出し、代表空間音響伝達特性を送信してもよいサーバ装置300は、類似クラスタの代表空間音響伝達特性を頭外定位処理装置100に送信する。これにより、より簡便に頭外定位フィルタを生成することができる。
上記の説明では、クラスタリング部315が、差分値ベクトルを特徴量ベクトルとして、クラスタリングを行ったが、差分値ベクトル以外のデータを用いてクラスタリングをおこなっても良い。例えば、第1の外耳道伝達特性、又は第2の外耳道伝達特性を特徴量ベクトルに加えてもよい。また、上記の説明では、図4で示した独立マイクが第2の外耳道伝達特性を収音していたが、図3で示した内蔵マイクが第2の外耳道伝達特性を取得してもよい。具体的には、被測定者1が、図3のマイク内蔵ヘッドホンと図4の独立マイクを装着した状態で、内蔵マイクが第2の外耳道伝達特性を収音する。また、特徴量は第1の外耳道伝達特性と第2の外耳道伝達特性の間の空間伝達関数そのものでもよい。
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
U ユーザ
1 被測定者
2L 左マイク
2R 右マイク
5L 左スピーカ
5R 右スピーカ
9L 左耳
9R 右耳
10 頭外定位処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 フィルタ部
42 フィルタ部
43 ヘッドホン
100 頭外定位処理装置
111 インパルス応答測定部
112 周波数特性取得部
131 送信部
132 受信部
120 演算処理部
121 逆フィルタ算出部
122 フィルタ記憶部
131 送信部
132 受信部
200 測定装置
201 測定処理装置
300 サーバ装置
301 受信部
302 比較部
303 データ格納部
304 抽出部
305 決定部
306 送信部
312 周波数特性取得部
315 クラスタリング部
317 変換ベクトル算出部
318 代表変換関数算出部
319 代表特性算出部

Claims (5)

  1. ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、
    前記出力ユニットに内蔵された内蔵マイクと、
    前記出力ユニットに対して測定信号を出力するとともに、前記内蔵マイクから出力された収音信号を測定する測定部と、
    前記収音信号を周波数領域に変換して、第1の周波数特性を取得する周波数特性取得部と、
    前記出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、
    前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数を算出する変換関数算出部と、
    複数の前記被測定者の前記変換関数に基づいて、前記複数の被測定者をクラスタリングするクラスタリング部と、
    クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性を算出する代表特性算出部と、
    前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数を算出する代表変換関数算出部と、
    前記第1の周波数特性を前記代表特性と比較する比較部と、
    前記比較部での比較結果に基づいて、前記代表変換関数を抽出する抽出部と、
    抽出された前記代表変換関数を前記第1の周波数特性に適用することで、前記第1の周波数特性を第2の周波数特性に変換する変換部と、
    前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出部と、を備えた、コンピュータを用いて構築された頭外定位フィルタ生成システム。
  2. 前記クラスタリング部は、複数の帯域毎にクラスタリングを行う請求項1に記載の頭外定位フィルタ生成システム。
  3. 被測定者に装着され、前記被測定者の耳に向けて音を出力する出力ユニットと、
    前記出力ユニットに内蔵された内蔵マイクと、
    前記出力ユニットと独立に設けられた独立マイクと、
    前記出力ユニットに対して測定信号を出力するとともに、前記内蔵マイク又は独立マイクから出力された収音信号を測定する測定処理部と、
    前記内蔵マイクを用いて取得された第1の外耳道伝達特性、及び被測定者が前記独立マイクを装着した状態で取得された第2の外耳道伝達特性の周波数特性をそれぞれ取得する周波数特性取得部と、
    前記第1の外耳道伝達特性の周波数特性と、前記第2の外耳道伝達特性の周波数特性との間の変換関数を算出する変換関数算出部と、
    複数の前記被測定者の前記変換関数に基づいて、前記複数の被測定者をクラスタリングするクラスタリング部と、
    クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性を算出する代表特性算出部と、
    前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数を算出する代表変換関数算出部と、を備えた処理装置。
  4. ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、
    前記出力ユニットに内蔵された内蔵マイクと、
    前記出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、を備えたシステムにおける頭外定位フィルタ生成方法であって、
    前記データ格納部において、
    前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数に基づいて、前記第1及び第2のプリセットデータがクラスタリングされており、
    クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性が算出されており、
    前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数が算出されており、
    前記頭外定位フィルタ生成方法は、コンピュータに、
    ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、
    前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、
    前記収音信号を周波数領域に変換して、第1の周波数特性を取得する第1の周波数特性取得ステップと、
    前記第1の周波数特性を複数の前記代表特性と比較する比較ステップと、
    前記比較ステップでの比較結果に基づいて、前記代表変換関数を抽出するステップと、
    抽出された代表変換関数を前記第1の周波数特性に適用することで、第2の周波数特性を算出する第2の周波数特性算出ステップと、
    前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出ステップと、を実行させる頭外定位フィルタ生成方法。
  5. コンピュータに対して頭外定位フィルタ生成方法を実行させるためのプログラムであって、
    前記コンピュータは、出力ユニットに内蔵された内蔵マイクで収音された第1の外耳道伝達特性に関する第1のプリセットデータと、前記出力ユニットと独立した独立マイクを被測定者が装着した状態で取得された第2の外耳道伝達特性に関する第2のプリセットデータと、を対応付けて記憶するデータ格納部であって、複数の被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部にアクセス可能であり、
    前記データ格納部において、
    前記第1の外耳道伝達特性と第2の外耳道伝達特性との間の変換関数に基づいて、前記第1及び第2のプリセットデータがクラスタリングされており、
    クラスタに属する複数の前記第1の外耳道伝達特性に基づいて、前記クラスタ毎に代表特性が算出されており、
    前記クラスタに属する複数の前記変換関数に基づいて、前記クラスタ毎に代表変換関数が算出されており、
    前記頭外定位フィルタ生成方法は、
    ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、
    前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、
    前記収音信号を周波数領域に変換して、第1の周波数特性を取得する第1の周波数特性取得ステップと、
    前記第1の周波数特性を複数の前記代表特性と比較する比較ステップと、
    前記比較ステップでの比較結果に基づいて、前記代表変換関数を抽出するステップと、
    抽出された代表変換関数を前記第1の周波数特性に適用することで、第2の周波数特性を算出する第2の周波数特性算出ステップと、
    前記第2の周波数特性に基づいて逆フィルタを算出する逆フィルタ算出ステップと、を備えた、プログラム。
JP2020123655A 2020-07-20 2020-07-20 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム Active JP7447719B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020123655A JP7447719B2 (ja) 2020-07-20 2020-07-20 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム
US17/378,590 US11503406B2 (en) 2020-07-20 2021-07-16 Processor, out-of-head localization filter generation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020123655A JP7447719B2 (ja) 2020-07-20 2020-07-20 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022020259A JP2022020259A (ja) 2022-02-01
JP7447719B2 true JP7447719B2 (ja) 2024-03-12

Family

ID=79293162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020123655A Active JP7447719B2 (ja) 2020-07-20 2020-07-20 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム

Country Status (2)

Country Link
US (1) US11503406B2 (ja)
JP (1) JP7447719B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084716A1 (ja) * 2022-10-21 2024-04-25 株式会社final ターゲットレスポンスカーブデータ、ターゲットレスポンスカーブデータの生成方法、放音装置、音処理装置、音データ、音響システム、ターゲットレスポンスカーブデータの生成システム、プログラム、及び、記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018133708A (ja) 2017-02-15 2018-08-23 株式会社Jvcケンウッド 収音装置、及び収音方法
JP2018191208A (ja) 2017-05-10 2018-11-29 株式会社Jvcケンウッド 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017197156A1 (en) * 2016-05-11 2017-11-16 Ossic Corporation Systems and methods of calibrating earphones
US10511915B2 (en) * 2018-02-08 2019-12-17 Facebook Technologies, Llc Listening device for mitigating variations between environmental sounds and internal sounds caused by the listening device blocking an ear canal of a user
US20210393168A1 (en) * 2020-06-22 2021-12-23 Bose Corporation User authentication via in-ear acoustic measurements

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018133708A (ja) 2017-02-15 2018-08-23 株式会社Jvcケンウッド 収音装置、及び収音方法
JP2018191208A (ja) 2017-05-10 2018-11-29 株式会社Jvcケンウッド 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム

Also Published As

Publication number Publication date
US20220021973A1 (en) 2022-01-20
JP2022020259A (ja) 2022-02-01
US11503406B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
JP6791001B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム
JP7447719B2 (ja) 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム
JP6981330B2 (ja) 頭外定位処理装置、頭外定位処理方法、及びプログラム
JP6753329B2 (ja) フィルタ生成装置、及びフィルタ生成方法
JP7435334B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
WO2021059984A1 (ja) 頭外定位フィルタ決定システム、頭外定位処理装置、頭外定位フィルタ決定装置、頭外定位フィルタ決定方法、及びプログラム
JP7404736B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
JP7395906B2 (ja) ヘッドホン、頭外定位フィルタ決定装置、及び頭外定位フィルタ決定方法
JP6805879B2 (ja) フィルタ生成装置、フィルタ生成方法、及びプログラム
WO2021059983A1 (ja) ヘッドホン、頭外定位フィルタ決定装置、頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
JP7115353B2 (ja) 処理装置、処理方法、再生方法、及びプログラム
US11228837B2 (en) Processing device, processing method, reproduction method, and program
JP2022185840A (ja) 頭外定位処理装置、及び頭外定位処理方法
JP2023024038A (ja) 処理装置、及び処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R150 Certificate of patent or registration of utility model

Ref document number: 7447719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150