JP6988758B2 - 頭外定位処理システム、フィルタ生成装置、方法、及びプログラム - Google Patents

頭外定位処理システム、フィルタ生成装置、方法、及びプログラム Download PDF

Info

Publication number
JP6988758B2
JP6988758B2 JP2018183579A JP2018183579A JP6988758B2 JP 6988758 B2 JP6988758 B2 JP 6988758B2 JP 2018183579 A JP2018183579 A JP 2018183579A JP 2018183579 A JP2018183579 A JP 2018183579A JP 6988758 B2 JP6988758 B2 JP 6988758B2
Authority
JP
Japan
Prior art keywords
filter
characteristic
user
characteristic data
head localization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018183579A
Other languages
English (en)
Other versions
JP2020053915A (ja
Inventor
寿子 村田
正也 小西
優美 藤井
敬洋 下条
邦明 高地
俊明 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018183579A priority Critical patent/JP6988758B2/ja
Priority to PCT/JP2019/036076 priority patent/WO2020066692A1/ja
Publication of JP2020053915A publication Critical patent/JP2020053915A/ja
Priority to US17/200,708 priority patent/US11438721B2/en
Priority to JP2021194105A priority patent/JP7188545B2/ja
Application granted granted Critical
Publication of JP6988758B2 publication Critical patent/JP6988758B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

本発明は、頭外定位処理システム、フィルタ生成装置、方法、及びプログラムに関する。
特許文献1には、ディスプレイ装置で画像を見ながら、イヤホンやヘッドホンによって音声を聴く場合において、音像定位を制御するシステムが開示されている。特許文献1のシステムでは、スピーカから両耳に至る伝達関数を時間領域に変換したインパルス応答を畳み込むフィルタを用いている。さらに、イヤホン又はヘッドホンの左右の出力毎に加算回路が設けられている。加算回路は、デジタルフィルタからの音声信号を加算している。加算回路からの音声信号が、DAC(Digital to Analog Converter)でアナログ信号に変換される。変換後の音声信号は、増幅回路を介して、トランスデューサに供給される。さらに、特許文献1では、ディスプレイ又はリスナー頭部の移動距離と回転とに応じて、音像の定位位置を制御している。
ところで、音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像を定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンから耳までの特性をキャンセルし、ステレオスピーカから耳までの4本の特性(空間音響伝達特性)を与えることにより、音像を頭外に定位させている。
頭外定位再生においては、例えば、2チャンネル(以下、chと記載)のスピーカから発した測定信号(インパルス音等)を聴取者(リスナー)本人の耳に設置したマイクロフォン(以下、マイクとする)で録音する。これにより、スピーカからマイクまでの特性(空間音響伝達特性、空間音響伝達関数、頭部伝達関数HRTF等とも称する)そして、測定信号を集音して得られた空間音響伝達特性に基づいて、処理装置がフィルタを生成する。頭外定位処理装置は、フィルタを2chのオーディオ信号に畳み込む。
さらに、ヘッドホンから耳までの特性をキャンセルするフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性(外耳道伝達関数ECTF、外耳道伝達特性とも称する)を聴取者本人の耳に設置したマイクで測定する。
特開2010−147529号公報
頭外定位処理を行う場合、聴取者本人の耳に設置したマイクで特性を測定することが好ましい。しかしながら、聴取者本人の耳にマイクを適切に設置することは困難である。さらに、スピーカからマイクまでの空間音響伝達特性を測定する測定場所も制限される。一方、聴取者以外の特性を用いた場合、適切に頭外定位処理を行うことができないおそれがある。特に、人毎、あるいは耳毎に外耳道の形状が異なるため、他人の外耳道伝達特性に応じたフィルタを用いた場合、処理を適切に行なうことができない場合がある。
本発明は上記の点に鑑みなされたものであり、適切に処理することができる頭外定位処理装置、処理方法、及びプログラムを提供することを目的とする。
本実施形態にかかる頭外定位処理システムは、ユーザが乗り物に搭乗する前に、前記ユーザの耳に装着されたマイクを用いて、伝達特性を測定する測定装置と、前記乗り物に設置され、前記伝達特性に応じたフィルタを用いて頭外定位処理を行う頭外定位処理装置と、前記ユーザの識別情報に基づいて、前記伝達特性に応じたフィルタを、前記頭外定位処理装置に送信するサーバと、を備えたものである。
本実施形態にかかる頭外定位処理方法は、ユーザが乗り物に搭乗する前に、前記ユーザの耳に装着されたマイクを用いて、伝達特性を測定するステップと、前記ユーザの識別情報に基づいて、前記乗り物に設置された頭外定位処理装置に前記伝達特性に応じたフィルタを送信するステップと、前記頭外定位処理装置が、再生信号に対して前記フィルタを用いた頭外定位処理を行うステップと、前記識別情報に対応する前記ユーザに対して、前記頭外定位処理された再生信号をヘッドホン又はイヤホンから出力するステップと、を備えたものである。
本実施形態にかかるフィルタ生成装置は、ユーザが装着したヘッドホン又はイヤホンからマイクまでの外耳道伝達特性を取得する外耳道伝達特性取得部と、スピーカからマイクまでの空間音響伝達特性に対応する第1の特性データと、前記外耳道伝達特性に対応する第2の特性データとを1セットとして、複数セット分を格納するデータベースを参照することで、前記ユーザの外耳道伝達特性の第1の周波数帯域における周波数特性に基づいて、第1のセットを選択する第1の選択部と、前記第1の選択部で選択された前記第1のセットに含まれる第2の特性データを取得する第1の取得部と、前記データベースを参照することで、前記ユーザの外耳道伝達特性の第2の周波数帯域における周波数特性に基づいて、第2のセットを選択する第2の選択部と、前記第2の選択部で選択された前記第2のセットに含まれる第2の特性データを取得する第2の取得部と、予め設定されたプリセットデータを取得する第3の取得部と、前記第1のセットの前記第2の特性データと、前記第2のセットの第2の特性データと、前記プリセットデータとに基づいて、前記ユーザの空間音響伝達特性に応じたフィルタを生成するフィルタ生成部と、を備えたものである。
本実施形態にかかるフィルタ生成方法は、ユーザが装着したヘッドホン又はイヤホンからマイクまでの外耳道伝達特性を取得するステップと、スピーカからマイクまでの空間音響伝達特性に対応する第1の特性データと、前記外耳道伝達特性に対応する第2の特性データとを1セットとして、複数セット分を格納するデータベースを参照することで、前記ユーザの外耳道伝達特性の第1の周波数帯域における周波数特性に基づいて、第1のセットを選択するステップと、前記第1のセットに含まれる第2の特性データを取得するステップと、前記データベースを参照することで、前記ユーザの外耳道伝達特性の第2の周波数帯域における周波数特性に基づいて、第2のセットを選択するステップと、前記第2のセットに含まれる第2の特性データを取得するステップと、予め設定されたプリセットデータを取得するステップと、前記第1のセットの前記第2の特性データと、前記第2のセットの第2の特性データと、前記プリセットデータとに基づいて、前記ユーザの空間音響伝達特性に応じたフィルタを生成するステップと、を備えたフィルタものである。
本発明によれば、適切な処理を行うことができる頭外定位処理システム、フィルタ生成装置、方法、及びプログラムを提供することを目的とする。
本実施の形態に係る頭外定位処理装置を示すブロック図である。 外耳道伝達特性を測定するための測定装置を示す模式図である。 システムの全体構成を示す図である。 サーバ端末の構成を示す図である。 航空機内に設置された搭乗席と座席端末を示す図である。 測定装置における処理を示すフローチャートである。 サーバ端末における処理を示すフローチャートである。 実施の形態2にかかるフィルタ生成装置の構成を示すブロック図である。 データベースに格納されている第1及び第2の特性データを示す表である。 収音信号における直接音及び反射音を説明するための図である。 実施の形態3にかかる処理装置の構成を示すブロック図である。 5.1chの再生信号での畳み込み処理と音量調整を説明するための図である。 実施の形態4の例1において、LPFをかける処理前後のフィルタを示す図である。 実施の形態4の例2において、残響成分を付加したフィルタを示す図である。
本実施の形態にかかる頭外定位処理の概要について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホン又はイヤホンのスピーカユニットから鼓膜までの伝達特性である。本実施形態では、ヘッドホン又はイヤホンを装着していない状態で測定された空間音響伝達特性に応じたフィルタを用いて、頭外定位処理を行うことができる。さらに、ヘッドホン又はイヤホンを装着した状態で測定された外耳道伝達特性に応じたフィルタを用いて、頭外定位処理を行うことができる。
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットPCなどのユーザ端末で実行される。さらに、頭外定位処理を行うユーザ端末は、航空機、電車(鉄道車両)、船舶、バス等の乗り物に搭載された再生装置であってもよい。この場合、乗り物の搭乗席に搭乗した搭乗者が頭外定位受聴を行う。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。以下の説明ではヘッドホンを用いる例について説明するが、ヘッドホンの代わりにイヤホンを用いてもよい。
実施の形態1.
(頭外定位処理装置)
本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を図1に示す。図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、頭外定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、オーディオ再生信号、又はデジタルオーディオデータをまとめて再生信号と称する。すなわち、LchとRchのステレオ入力信号XL、XRが再生信号となっている。
なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がスマートホンなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
頭外定位処理装置100は、頭外定位処理部10、フィルタ部41、フィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、フィルタ部41、及びフィルタ部42は、具体的にはプロセッサ等により実現可能である。
頭外定位処理部10は、畳み込み演算部11〜12、21〜22、及び加算器24、25を備えている。畳み込み演算部11〜12、21〜22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。
空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、ユーザUが左右の耳にマイクをそれぞれ装着する。ユーザUの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Hls、Hlo、Hro、Hrsが取得される。左スピーカと左マイクとの間の空間音響伝達特性Hls、左スピーカと右マイクとの間の空間音響伝達特性Hlo、右スピーカと左マイクとの間の空間音響伝達特性Hro、右スピーカと右マイクとの間の空間音響伝達特性Hrsが測定される。
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。
フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタLinv、Rinvが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタLinv、Rinvを畳み込む。フィルタ部41で加算器24からのLch信号に対して、Lch側のヘッドホン特性の逆フィルタLinvを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して、Rch側のヘッドホン特性の逆フィルタRinvを畳み込む。逆フィルタLinv、Rinvは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。
フィルタ部41は、処理されたLch信号YLをヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、処理されたRch信号YRをヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号YLとRch信号YR(以下、Lch信号YLとRch信号をまとめてステレオ信号ともいう)をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。頭外定位フィルタは、ユーザU個人の測定に基づくものであることが好ましい。例えば,ユーザUの耳に装着されたマイクが収音した収音信号に基づいて、頭外定位フィルタが設定されている。なお、メモリ容量を削減するため、フィルタ同士を演算し、4つのフィルタにまとめてもよい。
このように空間音響フィルタと、ヘッドホン特性の逆フィルタはオーディオ信号用のフィルタである。これらのフィルタが再生信号(ステレオ入力信号XL、XR)に畳み込まれることで、頭外定位処理装置100が、頭外定位処理を実行する。つまり、頭外定位処理装置100は、頭外に音像が定位された音場を再生する再生装置となる。
(測定装置)
次に、図2を用いて、伝達特性を測定する測定装置について説明する。図2は、測定装置200の測定構成を模式的に示す図である。なお、測定装置200は、図1に示す頭外定位処理装置100と共通の装置であってもよい。あるいは、測定装置200の一部又は全部が頭外定位処理装置100と異なる装置となっていてもよい。
図2に示すように、測定装置200は、ステレオスピーカ5と、ステレオマイク2と、ヘッドホン43と、処理装置201とを有している。ステレオスピーカ5が測定環境に設置されている。測定環境は、被測定者1の自宅の部屋やオーディオシステムの販売店舗やショールーム等でもよい。また、測定環境は空港、駅、港湾、バスターミナルなど、乗り物に搭乗する際に利用する各種施設に設置されていてもよい。
本実施の形態では、測定装置200の処理装置201が、測定結果に応じて、頭外定位フィルタを適切に生成するための演算処理を行っている。処理装置201は、測定信号生成部211と、収音信号取得部212と、フィルタ生成部213と、を備えている。処理装置201は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であり、メモリ、及びCPUを備えている。メモリは、処理プログラムや各種パラメータや測定データなどを記憶している。CPUは、メモリに格納された処理プログラムを実行する。CPUが処理プログラムを実行することで、測定信号生成部211、収音信号取得部212、フィルタ生成部213の各処理が実行される。
測定信号生成部211は、外耳道伝達特性又は空間音響伝達特性を測定するための測定信号を生成する。測定信号は、例えば、インパルス信号やTSP(Time Streched Pulse)信号等である。ここでは、測定信号としてインパルス音を用いて、測定装置200がインパルス応答測定を実施している。
空間音響伝達特性Hls、Hlo、Hro、Hrsを測定する場合、測定装置200は、ステレオスピーカ5を用いた測定を行う。つまり、被測定者1がヘッドホン43を装着せずに、ステレオマイク2のみを装着する。そして、ステレオスピーカ5から測定信号を出力し、ステレオマイク2が測定信号を収音する。空間音響伝達特性Hls、Hlo、Hro、Hrsを測定する場合、ヘッドホン43は使用されない。
外耳道伝達特性を測定する場合、測定装置200は、ヘッドホン43を用いた測定を行う。つまり、被測定者1がステレオマイク2、及びヘッドホン43を装着する。そして、ヘッドホン43から測定信号を出力し、ステレオマイク2が測定信号を収音する。外耳道伝達特性を測定する場合、ステレオスピーカ5は使用されない。
まず、空間音響伝達特性Hls、Hlo、Hro、Hrs(以下、単に伝達特性Hls、Hlo、Hro、Hrsともいう)の測定と、空間音響フィルタの生成について説明する。ステレオスピーカ5は、左スピーカ5Lと右スピーカ5Rを備えている。例えば、被測定者1の前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは、インパルス応答測定を行うための測定信号を出力する。以下、本実施の形態では、音源となるスピーカの数を2(ステレオスピーカ)として説明するが、測定に用いる音源の数は2に限らず、1以上であればよい。すなわち、1chのモノラル、または、5.1ch、7.1ch等の、いわゆるマルチチャンネル環境においても同様に、本実施の形態を適用することができる。
ステレオマイク2は、左のマイク2Lと右のマイク2Rを有している。左のマイク2Lは、被測定者1の左耳9Lに設置され、右のマイク2Rは、被測定者1の右耳9Rに設置されている。具体的には、左耳9L、右耳9Rの外耳道入口から鼓膜までの位置にマイク2L、2Rを設置することが好ましい。マイク2L、2Rは、ステレオスピーカ5から出力された測定信号を収音して、収音信号を取得する。マイク2L、2Rは収音信号を処理装置201に出力する。被測定者1は、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、被測定者1は人だけでなく、ダミーヘッドを含む概念である。
ステレオマイク2の左マイク2L、右マイク2Rがそれぞれ測定信号を収音し、収音信号を処理装置201に出力する。収音信号取得部212は、左マイク2L、右マイク2Rで収音された収音信号を取得する。なお、収音信号取得部212は、マイク2L、2Rからの収音信号をA/D変換するA/D変換器を備えていてもよい。収音信号取得部212は、複数回の測定により得られた信号を同期加算してもよい。
左スピーカ5Lがインパルス音を出力することで、収音信号取得部212は、伝達特性Hlsに対応する収音信号と、伝達特性Hloに対応する収音信号を取得する。その後、右スピーカ5Rがインパルス音を出力することで、収音信号取得部212は、伝達特性Hrsに対応する収音信号と、伝達特性Hroに対応する収音信号を取得する。なお、左スピーカ5Lによる測定と、右スピーカ5Rによる測定との順番は反対でもよい。
上記のように、左右のスピーカ5L、5Rで出力されたインパルス音をマイク2L、2Rで測定することでインパルス応答が測定される。処理装置201は、インパルス応答測定に基づいて取得した収音信号をメモリなどに記憶する。これにより、左スピーカ5Lと左マイク2Lとの間の伝達特性Hls、左スピーカ5Lと右マイク2Rとの間の伝達特性Hlo、右スピーカ5Rと左マイク2Lとの間の伝達特性Hro、右スピーカ5Rと右マイク2Rとの間の伝達特性Hrsが測定される。すなわち、左スピーカ5Lから出力された測定信号を左マイク2Lが収音することで、伝達特性Hlsが取得される。左スピーカ5Lから出力された測定信号を右マイク2Rが収音することで、伝達特性Hloが取得される。右スピーカ5Rから出力された測定信号を左マイク2Lが収音することで、伝達特性Hroが取得される。右スピーカ5Rから出力された測定信号を右マイク2Rが収音することで、伝達特性Hrsが取得される。
そして、フィルタ生成部213は、収音信号に基づいて、左右のスピーカ5L、5Rから左右のマイク2L、2Rまでの伝達特性Hls、Hlo、Hro、Hrsに応じたフィルタを生成する。フィルタ生成部213は、伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出して、所定の演算処理を行う。このようにすることで、処理装置201は、頭外定位処理装置100の畳み込み演算に用いられる空間音響フィルタを生成する。
次に、外耳道伝達特性の測定と、逆フィルタLinv、Rinvの生成について説明する。被測定者1が、左右の耳9L、9Rにマイク2L、2Rを装着した状態で、ヘッドホン43を装着する。すなわち、被測定者1は左右のマイク2L、2Rの上から、ヘッドホン43を装着する。左マイク2L、及び右マイク2Rは、ヘッドホン43に干渉しないように構成されている。すなわち、左マイク2L、及び右マイク2Rは左耳9L、右耳9Rの適切な位置に配置された状態で、被測定者1がヘッドホン43を装着することができる。
測定信号生成部211が生成した測定信号は、ヘッドホン43の左ユニット43L、右ユニット43Rからそれぞれ出力される。左マイク2Lは、ヘッドホン43の左ユニット43Lから出力された音を収音する。右マイク2Rは、ヘッドホン43の右ユニット43Rから出力された音を収音する。
このように、マイク2L、2Rは、ヘッドホン43から出力された測定信号を収音して、収音信号を検出する。収音信号取得部212は、マイク2L、2Rからの収音信号を取得する。なお、外耳道伝達特性と空間音響伝達特性の測定は、別の処理装置201を用いて、別の場所で行われてもよい。したがって、ステレオスピーカ5が設けられている測定環境以外の場所でも、外耳道伝達特性を測定することが可能である。
処理装置201は、インパルス応答測定に基づく収音信号をメモリなどに記憶する。これにより、左ユニット43Lと左マイク2Lとの間の伝達特性(すなわち、左耳9Lの外耳道伝達特性ECTFL)と、右ユニット43Rと右マイク2Rとの間の伝達特性(すなわち、右耳9Rの外耳道伝達特性ECTFR)が取得される。処理装置201は、測定データを記憶するメモリなどを有している。
処理装置201は、外耳道伝達特性ECTFL、ECTFRに基づいて、逆フィルタLinv、Rinvをそれぞれ算出する。例えば、処理装置201は、離散フーリエ変換や離散コサイン変換などにより、外耳道伝達特性の周波数振幅特性及び周波数位相特性を算出する。そして、処理装置201は、周波数振幅特性の逆特性を求める。なお、処理装置201は、周波数帯域毎に、周波数振幅特性、又はその逆特性等を補正してもよい。処理装置201は、逆離散フーリエ変換等により、逆特性と位相特性とを用いて時間信号を算出する。処理装置201は、時間信号を所定のフィルタ長で切り出すことで、逆フィルタを算出する。上記のように、逆フィルタはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルするフィルタである。なお、逆フィルタの算出方法については、公知の手法を用いることができるため、詳細な説明を省略する。
処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じたフィルタ、及び左右の逆フィルタLinv、Rinvを保存する。処理装置201と頭外定位処理装置100とが異なる装置の場合、処理装置201は、フィルタ、及び逆フィルタを頭外定位処理装置100に送信する。なお、ヘッドホン43又はステレオスピーカ5と、処理装置201との接続は、Bluetooth(登録商標)などを用いた無線接続であってもよい。
ここで、頭外定位処理受聴を行うユーザUに対して、測定装置200が測定を行うことで、ユーザUに適した頭外定位フィルタを生成することができる。つまり、ユーザUを被測定者1として、測定装置200が、空間音響伝達特性、及び外耳道伝達特性を行うことで、ユーザU固有の頭外定位フィルタ(以下、単にフィルタとも称する)を生成することができる。
(システム構成)
次に、フィルタ生成、及び頭外定位処理を行うシステム構成について、図3を用いて説明する。図3は、システムの全体構成を模式的に示す図である。システム1000は測定装置200と、サーバ端末600と、を備えている。図3では、航空機500の搭乗者に対して、頭外定位処理を行うためのシステム1000が示されている。つまり、図1で示したユーザUが航空機500の搭乗者となる。ここでは、フィルタと搭乗者の識別情報とを対応付けて格納することで、搭乗者毎にフィルタを設定することができる。従って、搭乗者毎に異なるフィルタを用いて、頭外定位処理を行うことができる。
測定装置200は、図2で示した測定装置200と同様である。ここでは、測定装置200は、空港に設置されている。例えば、測定装置200は、航空会社のラウンジ等に設置されていてもよい。ラウンジを測定環境とする場合、ラウンジには、ステレオスピーカ5、ヘッドホン43、及び処理装置201等が設置されている。さらに、ラウンジには、測定装置200を設置するためのデスクなどが設けられていてもよい。処理装置201は、図1で示した頭外定位処理装置100の頭外定位処理機能を有していてもよい。
測定装置200には、入力手段221と、表示手段222と、通信手段223と、アンテナ224が設けられている。入力手段221は、キーボード、マウス、タッチパネルなどを備えており、搭乗者又は操作者からの入力を受け付ける。あるいは、音声入力を受け付ける場合、入力手段221は、マイク及び音声認識機能を備えている。表示手段222は、モニタなどを備えており、入力画面や測定画面を表示する。
搭乗者は、表示手段222に表示された入力画面を確認しながら、入力手段221を操作することで、搭乗者を識別するための識別情報を入力する。識別情報は搭乗者毎に与えられている固有の情報である。例えば、搭乗者が搭乗する航空機500の航空会社におけるマイレージクラブの会員番号(会員ID)を、識別情報として用いることができる。この場合、入力手段221は、マイレージカードをスキャンするカードスキャナなどであってもよい。入力手段221は、スマートホンの画面に表示した識別情報やスマートホンに内蔵されたICチップに記憶された識別情報などを読み取る装置であってもよい。
図2で説明したように、測定装置200は、測定を行って、フィルタを生成する。ここで、ヘッドホン43は、航空機500に搭載されたヘッドホンと同じタイプのものである。ヘッドホン43は、航空会社から貸与される。あるいは、搭乗者がヘッドホン43を購入することも可能となっている。また、複数のヘッドホン43を用意しておいて、測定に使用したヘッドホン43を搭乗者が機内に持ち込むようにしてもよい。フライト毎にヘッドホン43の機種が異なる場合、測定環境に、それぞれの機種のヘッドホン43を用意しておくことが好ましい。
測定装置200は、生成したフィルタをサーバ端末600に送信する。測定装置200は、識別情報に対応付けてフィルタをサーバ端末600に送信する。これにより、サーバ端末600は、搭乗者の識別情報とフィルタとを受信する。サーバ端末600は、機内に配置されていてもよく、機外に配置されていてもよい。
例えば、通信手段223は、フィルタや識別情報のデータに対して、変調などを行う変調回路等を有している。通信手段223で変調されたデータが、アンテナ224から送信される。サーバ端末600のアンテナ601は、アンテナ224から送信されたデータを受信する。
図4は、サーバ端末600を模式的に示す図である。受信手段602は、受信したデータを復調する復調回路等を備えている。サーバ端末600は、識別情報に応じて、フィルタを航空機500内の座席端末511に設定する。
航空機500は、複数の搭乗席と、複数の座席端末511と、が備えている。つまり、航空機500内では、搭乗席毎に座席端末511が設けられている。図5に搭乗席と座席端末511の一例を示す。図5では、搭乗席521に搭乗者であるユーザU(搭乗者)が座っている。ユーザUがヘッドホン43を装着している。機内においてユーザUが装着するヘッドホン43は、測定を行ったヘッドホン43と同じ機種のものとなっている。
座席端末511は、例えば、搭乗席521の下や肘掛け等に設置されている。ここでは、搭乗席521毎に座席端末511が設置されている。そして、座席端末511に設けられたイヤホンジャック(不図示)には、ヘッドホン43が接続されている。座席端末511が図1で示した頭外定位処理装置100に対応する。
座席端末511は、搭乗席521毎に設置されている。つまり、複数の搭乗席521と複数の座席端末511は、1対1に対応付けられている。サーバ端末600は、搭乗席521の座席番号と、座席端末511の端末番号を対応付けて、保存している。座席端末511の端末番号は、例えば、座席端末511のIPアドレス等の固有の情報である。さらに、航空機500では、搭乗者毎に搭乗する搭乗席521が指定されている。つまり、サーバ端末600は、搭乗者の識別情報と搭乗席とを対応付けて、保存している。
例えば、航空会社は、搭乗者の識別情報と、フライト番号と、座席番号と、端末番号と、を管理している。よって、サーバ端末600は、識別情報を参照することで、搭乗者が搭乗する航空機とその搭乗席を特定することができる。そして、サーバ端末600は、特定した搭乗席521に対応する座席端末511にフィルタを送信する。
このように、測定装置200は、搭乗者を識別するための識別情報に対応付けて、フィルタをサーバ端末600に送信する。そして、サーバ端末600は、識別情報を参照して、搭乗者の搭乗席521の座席端末511にフィルタを送信する。これにより、システム1000は、搭乗者毎に適切なフィルタを設定することができる。
次に、測定装置200における処理について、図6を用いて説明する。図6は、測定装置200における処理を示すフローチャートである。まず、搭乗者(ユーザU)の操作によって、処理装置201に搭乗者のID(識別情報)が入力される(S1)。処理装置201は、識別情報を記憶する。そして、処理装置201が識別情報に対応する搭乗者のフライト番号と座席番号を確認する(S2)。例えば、処理装置201は、サーバ端末600の情報を参照して、フライト番号と座席番号を確認する。処理装置201が、フライト番号又は座席番号を確認できない場合(S2のNO)、エラーメッセージを表示し(S3)、終了する。つまり、処理装置201は、搭乗者の識別情報に対応するフライト番号と座席番号を特定することができないため、エラーメッセージを表示した上で、処理を終了する。
処理装置201が、フライト番号又は座席番号を確認できた場合(S2のYES)、測定装置200が、空間音響伝達特性及び外耳道伝達特性の測定を行う(S4)。なお、空間音響伝達特性及び外耳道伝達特性を測定する順番は、特に限定されるものではない。そして、処理装置201が、測定結果に基づいて、フィルタを生成する(S5)。ここでは、処理装置201は、4つの空間音響フィルタ、及び左右の逆フィルタLinv、Rinvを含む頭外定位処理フィルタを保存する。
次に、S5で生成されたフィルタを用いて、頭外定位処理装置100がユーザUに頭外定位処理された再生信号を試聴させる(S6)。つまり、ユーザUがヘッドホン43を装着して、頭外定位受聴を行なう。これにより、頭外に音像が定位された音場を再生することができる。ここで、頭外定位処理装置100は、S4での測定やS5でのフィルタ生成を行った処理装置201と共通の装置であってもよく、別の装置であってもよい。処理装置201と頭外定位処理装置100とが、物理的に別の装置となっている場合、処理装置201は、無線又は有線で、頭外定位処理装置100にフィルタを送信する。
そして、処理装置201又は頭外定位処理装置100が、この音場を採用するか否かを判定する(S7)。処理装置201又は頭外定位処理装置100は、ユーザ入力に応じて、この音場を採用するか否かを判定する。例えば、表示手段222が、試聴した音場でよいか否かを確認するためのメッセージと選択ボタンなどをモニタ上に表示させる。あるいは、処理装置201は、音声メッセージで問い合わせを行うようにしてもよい。
ユーザUは、入力手段221を操作することで、試聴した音場を採用するか否かを選択することができる。つまり、ユーザUは、頭外定位受聴の受聴結果に応じて、音場が適切であるか否かを指定する。ユーザUは、頭外定位処理された音場に違和感などを覚えた場合、この音場を採用しないように、入力を行う。頭外定位再生された音場が好みの音場である場合、ユーザUは、この音場を採用するように、入力を行う。ユーザUは、音場を試聴した聴感に応じて、音場(フィルタ)の採用又は不採用のボタンを選択(例えばクリックやタップなど)する。そして、処理装置201がユーザ入力に基づいて、音場を採用するか否かを判定する。
この音場を採用しないと判定した場合(S7のNO)。処理装置201は、再測定の要求があるか否かを判定する(S8)。処理装置201又は頭外定位処理装置100は、ユーザ入力に応じて、再測定の要求があるか否かを判定する。例えば、表示手段222が、再測定ボタンと終了ボタンなどをモニタ上に表示させる。あるいは、処理装置201は、音声メッセージで再測定の問い合わせを行うようにしてもよい。
ユーザUは再測定を行なう場合、再測定ボタンを選択する。ユーザUは、再測定を行なわない場合、終了ボタンを選択する。処理装置201は、ユーザ入力を受け付けると、ユーザ入力に基づいて、再測定を行なうか否かを判定する。もちろん、音声メッセージを用いた入出力であってもよい。
S8において、再測定要求が無いと判定された場合(S8のNO)、処理装置201は、処理を終了する。S8において、再測定要求が有ると判定された場合(S8のYES)、S4に戻り、再測定を行う。そして、再測定結果に基づいて、測定装置200がフィルタを生成する(S5)。そして、頭外定位処理装置100が再測定により得られたフィルタを用いて、再度、試聴を実施する。(S6)。
S7において、処理装置201が、この音場を採用すると判定した場合(S7のYES)、ユーザUによる料金の支払いを受け付ける(S9)。ここで、料金はクレジットカード、又は現金による支払いに限らず、航空会社のマイル(マイレージ)等のポイントによる支払いでもよい。そして、処理装置201は、フィルタ及び識別情報を含む個人データをサーバ端末600に送信する(S10)。これにより、処理が終了する。
次に、サーバ端末600における処理について、図7を用いて、説明する。図7は、サーバ端末600における処理を示すフローチャートである。まず、サーバ端末600は、搭乗者のID(識別情報)を受信したか否かを判定する(S11)。ここでは、サーバ端末600が、図6のS1において入力された識別情報を処理装置201から受信したか否かを判定する。サーバ端末600が、識別情報を受信していない場合(S11のNO)、受信するまで処理を繰り返す。
サーバ端末600は、識別情報を受信した場合(S11のYES)、識別情報に対応するフライト番号、座席番号、座席端末番号を検索して、処理装置201に送信する(S12)。サーバ端末600は、航空会社が管理しているフライト情報等を参照して、識別情報の搭乗者が搭乗するフライト番号、座席番号、座席端末番号を特定する。なお、処理装置201では、S12で送信されたフライト番号、座席番号に基づいて、図6のS2での判定を行っている。
次に、サーバ端末600は、支払い意思通知を受信したか否かを判定する(S13)。ここでは、サーバ端末600は、図6のS9での料金支払いが行なわれているか否かを判定する。サーバ端末600は、料金の支払い意思通知を受信していない場合(S13のNO)、支払い意思通知を受信するまで待機する。
サーバ端末600は、料金の支払い意思通知を受信した場合(S13のYES)、支払い処理を実行する(S14)。そして、サーバ端末600は、支払いを完了したか否かを判定する(S15)。サーバ端末600は、支払いを完了していない場合(S15のNO)、エラーメッセージを表示手段222に表示させる(S16)。つまり、サーバ端末600は、ポイント残高が不足している場合などに、エラーメッセージを処理装置201に送信する。これにより、処理装置201の表示手段222がエラーメッセージをユーザUに対して表示する。
支払いを完了した場合(S15のYES)、サーバ端末600は、個人データを受信する(S17)。つまり、図6のS10で処理装置201が送信した個人データをサーバ端末600が受信する。個人データは、識別情報とフィルタとを含んでいる。そして、サーバ端末600は、識別情報を参照して、座席端末511にフィルタを転送する。つまり、識別情報に対応する搭乗席の座席端末511に、フィルタを送信する(S18)。これにより、搭乗者に応じたフィルタが、座席端末511に設定される。
搭乗者が航空機に搭乗した後に、頭外定位処理機能をオンとすると、座席端末511がフィルタを用いて頭外定位処理を行う。つまり、座席端末511が図1の頭外定位処理装置100として機能する。これにより、ヘッドホン43が、頭外定位処理された再生信号を搭乗者に対して出力する。このように、搭乗者に対して測定された空間音響伝達特性、及び外耳道伝達特性に応じたフィルタを用いて、搭乗者が頭外定位受聴を行なうことができる。このようにすることで、適切なフィルタを用いて、頭外定位受聴を行うことができる。
よって、搭乗者は、搭乗席521に着席している間において、リラックスして、再生信号を受聴することができるため、長時間の移動でも快適に過ごすことができる。識別情報とフィルタが紐付いているため、乗り継ぎ後の航空機でも、搭乗者は、同様に頭外定位受聴を楽しむことができる。さらに、フライト到着後において、生成されたフィルタを識別情報に対応付けて、サーバ端末600に保存しておくことも可能である。このようにすることで、次回以降のフライト時において、搭乗者に対する測定の一部又は全部を省略することができる。さらに、残存するマイルの利用を促進することができる。
さらに、航空機に搭載されているエンターテインメントシステムにおいて、頭外定位処理を行なうことができる。よって、搭乗者は、音楽の再生信号だけでなく、映画やゲームなどの再生信号を頭外定位受聴することができる。
以上まとめると、本実施の形態1にかかるシステム1000は、測定装置200と、座席端末511と、サーバ端末600とを備えている。測定装置200は、ユーザUが乗り物に搭乗する前に、ユーザの耳に装着されたマイクを用いて、伝達特性を測定する。座席端末511は、乗り物に設置され、伝達特性に応じたフィルタを用いて頭外定位処理を行う頭外定位処理装置である。サーバ端末は、ユーザの識別情報に基づいて、伝達特性に応じたフィルタを、座席端末511に送信する。これにより、搭乗者(ユーザU)に対して適切に頭外定位処理を行うことができる。
なお、上記の説明では、航空機の搭乗者が頭外定位受聴を行う例について説明したが、搭乗者が搭乗する乗り物は、航空機に限られるものではない。先に述べた電車、バス、船舶等の搭乗者に対して、ヘッドホン43が頭外定位処理された再生信号を出力してもよい。電車やバス、船舶などの場合は、駅やバスターミナル、港湾の待合室などに、測定装置200を設置しておけばよい。さらには、乗り物は、アミューズメントパークのアトラクション等であってもよい。この場合、頭外定位処理装置100は、実際に移動する乗り物に限らず、その場に滞在したままの乗り物に搭載されていてもよい。
頭外定位処理装置となる端末が搭乗者の識別情報と対応付けられていればよい。そして、それぞれの搭乗者が搭乗席において、ヘッドホンやイヤホンを装着する。そして、再生装置が搭乗席毎に設置されており、再生装置が搭乗者に適したフィルタを用いて、頭外定位処理を行う。もちろん、一部の搭乗者については、頭外定位処理を行わなくてもよい。さらには、複数の搭乗者に対して共通の再生信号を用いてもよい。この場合、再生信号を再生する装置は共通となっており、頭外定位フィルタを用いた処理が、搭乗者毎に実施されていればよい。また、ヘッドホン又はイヤホンは、測定環境に設置されたものに限らず、ユーザUが持参したものでもよい。
実施の形態2.
(空間音響フィルタの生成)
また、実施の形態1では、測定装置200が、空間音響伝達特性と、外耳道伝達特性の両方を測定するものとして説明したが、一部の測定を行うことができない場合がある。測定環境の制限などから、頭外定位受聴を行うユーザUに対して、空間音響伝達特性Hls、Hlo、Hro、Hrsと、左右の外耳道伝達特性ECTFL、ECTFRの全てを測定できないことがある。特に、空間音響伝達特性の測定では、ユーザUから離れた位置に1台又は複数台のスピーカを設置する必要がある。よって、空港等に広くて静かな測定環境を用意できない場合がある。
一方、外耳道伝達特性は、ヘッドホンを装着した状態で測定される。このため、外耳道伝達特性の測定では、空間音響伝達特性の測定ほど、広くて静かな測定環境は要求されない。よって、搭乗者に対して、外耳道伝達特性の測定のみを行うことで、頭外定位フィルタの全てを取得できることが好ましい。つまり、スピーカを用いた空間音響伝達特性の測定を行わずに、搭乗者に適した空間音響フィルタを生成することが望まれる。以下、外耳道伝達特性の測定結果から、搭乗者に適した空間音響フィルタを生成する方法について、説明する。
外耳道伝達特性ECTFL、ECTFRの測定結果に基づいて、空間音響フィルタを生成するフィルタ生成装置について、図8を用いて説明する。図8は、フィルタ生成装置900の構成を示すブロック図である。なお、フィルタ生成装置900は、処理装置201と同一の装置であってもよく、異なる装置であってもよい。さらには、フィルタ生成装置900は、物理的に単一な装置に限られるものではない。例えば、フィルタ生成装置900と、処理装置201とが異なる装置の場合、後述する処理の一部が処理装置201において実施されていてもよい。また、データベース901は、異なる装置に格納されていてもよく、複数の装置に分散して格納されていてもよい。
フィルタ生成装置900は、データベース901と、第1の選択部902と、第1の取得部903と、第2の選択部904と、第2の取得部905と、第3の取得部906と、第1の調整部907と、第1の合成部908と、第2の調整部911と、第2の合成部912と、生成部920と、外耳道伝達特性取得部930と、を備えている。
外耳道伝達特性取得部930は、ユーザUの外耳道伝達特性の測定結果を取得する。なお。フィルタ生成装置900が処理装置201と別の装置とする場合、外耳道伝達特性取得部930は、有線通信又は無線通信により、ユーザUの外耳道伝達特性が送信されている。
データベース901は、複数人分の特性データを格納している。つまり、複数の被測定者1に対して、予め、空間音響伝達特性及び外耳道伝達特性の測定が行われている。そして、データベース901は、複数人に対する測定結果に基づく空間音響伝達特性及び外耳道伝達特性のデータを特性データとして格納している。具体的には、データベース901は、第1の特性データと、第2の特性データと、を1セットとして、複数セット分のデータを格納している。例えば、N人(Nは2以上の整数)の被測定者1に対して、外耳道伝達特性の測定が事前に行われている。よって、データベース901は、左耳に関してNセット分の特性データを格納し、右耳に関してNセット分の特性データを格納する。
第1の特性データは、音源となるスピーカからマイクまでの空間音響伝達特性に対応するデータである。第1の特性データは、例えば、空間音響伝達特性の周波数特性である。具体的には、第1の特性データは、周波数領域の振幅特性を備えている。もちろん、第1の特性データは、振幅特性の代わりにパワー特性を備えていてもよい。また、第1の特性データは、空間音響伝達特性の直接音部分の周波数振幅特性を有していることが好ましい。第1の特性データは時間領域の信号を有していてもよい。例えば、時間領域の信号は測定装置200のマイク2L、2Rで収音された収音信号である。あるいは、時間領域の信号は、マイク2L、2Rで収音された収音信号を所定のフィルタ長で切りだした信号であってもよい。
第2の特性データは、外耳道伝達特性に対応するデータである。第2の特性データは、例えば、外耳道伝達特性の周波数特性である。具体的には、第2の特性データは、周波数領域の振幅特性を備えている。もちろん、第2の特性データは、振幅特性の代わりにパワー特性を備えていてもよい。さらには、第2の特性データは、周波数領域の位相特性を有していてもよい。第2の特性データは時間領域の信号を有していてもよい。例えば、時間領域の信号は測定装置200のマイク2L、2Rで収音された収音信号である。あるいは、時間領域の信号は、マイク2L、2Rで収音された収音信号を所定のフィルタ長で切りだした信号であってもよい。
処理装置201又はフィルタ生成装置900等が、時間領域の収音信号に対して、離散フーリエ変換や離散コサイン変換などを施すことで、周波数振幅特性等が求められる。また、収音信号を所定のフィルタ長で切り出すことで得られたフィルタに対して、離散フーリエ変換や離散コサイン変換などを施すことで、周波数振幅特性を求めてもよい。あるいは、データベース901は、第1の特性データ、及び第2の特性データとして、時間領域の収音信号やフィルタを記憶しており、フィルタ生成処理を行う毎に高速フーリエ変換(FFT)等を行うことで、周波数振幅特性を求めてもよい。
データベース901に格納された第1及び第2の特性データについて、図9を用いて説明する。1人目(1セット目)の被測定者1について、空間音響伝達特性Hls、Hlo、Hro、Hrsに関するデータをそれぞれ第1の特性データHls_DB1、Hlo_DB1、Hro_DB1、Hrs_DB1とする。N人目等についても、それぞれ第1の特性データHls_DBN、Hlo_DBN、Hro_DBN、Hrs_DBN等と称する。データベース901に格納されたN人分の第1の特性データHls_DB1〜Hls_DBNをまとめて、第1の特性データHls_DBと称する。同様に、第1の特性データHlo_DB1〜Hlo_DBN、Hro_DB1〜Hro_DBN、Hrs_DB1〜Hrs_DBNについても、同様に、N人分のデータをまとめて、第1の特性データHlo_DB、Hro_DB、Hrs_DBと称する。
1人目の被測定者1について、外耳道伝達特性ECTFL、ECTFRに関するデータをそれぞれ第2の特性データECTFL_DB1、ECTFR_DB1とする。N人目等の被測定者1についても、外耳道伝達特性ECTFL、ECTFRに関するデータを第2の特性データECTFL_DBN、ECTFR_DBN等と称する。また、データベース901に格納されたN人分の第2の特性データECTFL_DB1〜ECTFL_DBNをまとめて、第2の特性データECTFL_DBと称する。N人分の第2の特性データECTFR_DB1〜ECTFR_DBNをまとめて、第2の特性データECTFR_DBと称する。
データベース901は、1人目の被測定者1の左耳に関する第1の特性データHls_DB1、Hro_DB1と、第2の特性データECTFL_DB1を1セットにして記憶する。同様に、データベース901は、N人目の被測定者1の左耳に関する第1の特性データHls_DBN、Hro_DBNと、第2の特性データECTFL_DBNとを、1セットとして記憶する。また、データベース901は、1人目の被測定者1の右耳に関する第1の特性データHlo_DB1、Hrs_DB1と、第2の特性データECTFR_DB1を1セットにして記憶する。データベース901は、N人目の被測定者1の右耳に関する第1の特性データHlo_DBN、Hrs_DBNと、第2の特性データECTFR_DBNとを1セットとして記憶する。
したがって、1セットは、少なくとも3つの周波数振幅特性を備えている。データベース901は、同じ被測定者1であっても異なる耳の特性データは異なるセットとして格納する。もちろん、スピーカのチャネル数に応じて、1セットに含まれる第1の特性データの数が変化する。また、データベース901は、第1及び第2の特性データを識別情報に対応付けて記憶してもよい。
さらに、第1の特性データHls_DB、Hlo_DB、Hro_DB、Hrs_DBは、それぞれ2種類の周波数振幅特性を備えていることが好ましい。例えば、第1の特性データHls_DB1は、直接音部分の周波数振幅特性と、直接音部分及び反射音部分の周波数振幅特性を有していることが好ましい。直接音部分及び反射音部分の周波数振幅特性は、直接音と反射音とを含む時間領域の収音信号をFFTすることで求めることができる。直接音部分の周波数振幅特性は、反射音を含まずに直接音のみを含む時間領域の収音信号をFFTすることで求めることができる。なお、直接音は、音源(スピーカ)から直接耳(マイク)に到達する音であり、反射音は、音源から壁面などで反射して、耳に到達する音である。反射音は、直接音の後にマイクに到達する。他の第1の特性データHlo_DB1、Hro_DB1、Hrs_DB1等についても同様とする。
例えば、図10のように、空間音響伝達特性の測定で、0〜4095サンプルの収音信号を収音している場合について説明する。この場合、0〜4095サンプルの収音信号の全体をフーリエ変換することで直接音及び反射音の周波数振幅特性が得られる。0〜4095サンプルの収音信号から0〜X(Xは1以上の整数)サンプルの直接音信号(図10の点線部分)を切り出して、切り出した直接音信号をフーリエ変換することで、直接音の周波数振幅特性が得られる。
このように、データベース901において、第1の特性データHls_DB1は、直接音の周波数振幅特性と、直接音及び反射音の周波数振幅特性とをそれぞれ含んでいることが好ましい。同様に、第1の特性データHlo_DB1、Hro_DB1、Hrs_DB1は、直接音部分の周波数振幅特性と、直接音及び反射音部分の周波数振幅特性とをそれぞれ含んでいることが好ましい。もちろん、2〜N人目についても同様とする。
図2で示した測定装置200は、頭外定位受聴を行うユーザUに対して外耳道伝達特性ECTFL、ECTFRを測定する。ユーザUに対する測定結果が外耳道伝達特性取得部930に入力される。以下、搭乗者となるユーザUに対して測定された外耳道伝達特性ECTFL、ECTFRを外耳道伝達特性ECTFL_U、外耳道伝達特性ECTFR_Uとする。
フィルタ生成装置900は、外耳道伝達特性ECTFL_Uに対して、フィルタ生成処理を行う。これにより、フィルタ生成装置900は、ユーザUの左耳に対する空間音響伝達特性Hls、Hroに関するフィルタ(以下、フィルタF_Hls_U、F_Hro_Uと称する)をそれぞれ生成する。つまり、フィルタ生成装置900は、外耳道伝達特性ECTFL_Uに基づいて、2つのフィルタF_Hls_U及びフィルタF_Hro_Uを生成する。このとき、フィルタ生成装置900は、複数の被測定者1の左耳に関するセットのみを参照してもよく、両耳に関するセットを参照してもよい。
同様に、フィルタ生成装置900は、外耳道伝達特性ECTFR_Uに対して、フィルタ生成処理を行う。これにより、フィルタ生成装置900は、ユーザUの右耳に対する空間音響伝達特性Hlo、Hrsに関するフィルタ(以下、フィルタF_Hlo_U、F_Hrs_Uと称する)をそれぞれ生成する。つまり、フィルタ生成装置900は、外耳道伝達特性ECTFR_Uに基づいて、2つのフィルタF_Hlo_U、F_Hrs_Uを生成する。このとき、フィルタ生成装置900は、複数の被測定者1の右耳に関するセットのみを参照してもよく、両耳に関するセットを参照してもよい。
なお、フィルタF_Hls_U、F_Hro_Uの処理と、フィルタF_Hlo_U、F_Hrs_Uの処理は同様である。よって、以下の説明では、外耳道伝達特性ECTFL_Uに基づいて、フィルタF_Hls_U、F_Hro_Uを生成する処理について説明する。
第1の選択部902は、データベース901を参照することで、外耳道伝達特性ECTFL_Uに基づいて、第1のセットを選択する。例えば、第1の選択部902は、第1の周波数帯域(例えば、1kHz〜4kHz)において、外耳道伝達特性ECTFL_Uの周波数振幅特性を、第2の特性データECTFL_DBと比較する。具体的には、第1の選択部902は、第2の特性データECTFL_DB1〜ECTFL_DBNのそれぞれについて、外耳道伝達特性ECTFL_Uとの相関値を算出する。第1の選択部902は、第1の周波数帯域における周波数振幅特性の相関値を求める。そして、第1の選択部902は、最も相関値が大きい第2の特性データECTFL_DBk(kは1以上N以下の任意の整数)を含むセットを選択する。第1の選択部902が選択したセットを第1のセットとする。
第1の取得部903は、データベース901から、第1のセットに含まれる第1の特性データHls_DBk、Hro_DBkを取得する。第1の取得部903は、直接音部分の周波数振幅特性を第1の合成部908に出力し、直接音及び反射音部分の周波数振幅特性を第1の調整部907に出力する。
第2の選択部904は、データベース901を参照することで、外耳道伝達特性ECTFL_Uに基づいて、第2のセットを選択する。例えば、第2の選択部904は、第2の周波数帯域(例えば、4kHz〜15kHz)において、外耳道伝達特性ECTFL_Uの周波数振幅特性を、第2の特性データECTFL_DBと比較する。第2の選択部904は、第2の特性ECTFL_DB1〜ECTFL_DB1のそれぞれについて、外耳道伝達特性ECTFL_Uとの相関値を算出する。第2の選択部904は、第2の周波数帯域における周波数振幅特性の相関値を求める。そして、第2の選択部904は、最も相関値が大きい第2の特性データECTFL_DBm(mは1以上N以下の整数)を含むセットを選択する。第2の選択部904が選択したセットを第2のセットとする。
第2の取得部905は、データベース901から、第2のセットに含まれる第1の特性データHls_DBm、Hro_DBmを取得する。第2の取得部905は、直接音部分の周波数振幅特性を第1の合成部908に出力し、直接音及び反射音部分の周波数振幅特性を第1の調整部907に出力する。
第1の調整部907は、第1の特性データHls_DBk、Hro_DBkと、第1の特性データHls_DBm、Hro_DBmとの振幅レベルを調整するためのゲイン値を求める。例えば、調整用周波数帯域(200Hz〜1kHz)において、第1の特性データHls_DBkと第1の特性データHls_DBmとの間で振幅のレベルが等しくなるようなゲイン値を第1の調整部907が求める。そして、一方、または両方の第1の特性データにゲイン値を乗じることで、第1の特性データの振幅レベルを上下させることができる。具体的には、調整用周波数帯域における離散的な振幅の総和が等しくなるように、振幅特性にゲイン値(係数)を乗じることで、振幅レベルが調整される。
具体的には、調整用周波数帯域において、第1の特性データHls_DBkの振幅レベルが第1の特性データHls_DBmの振幅レベルよりも高い場合、第1の調整部907は、第1の特性データHls_DBkの振幅レベルを下げるためのゲイン値を求める。あるいは、第1の特性データHls_DBkの振幅レベルが第1の特性データHls_DBmの振幅レベルよりも高い場合、第1の調整部907は、第1の特性データHls_DBmの振幅レベルを上げるためのゲイン値を求める。もちろん、第1の調整部907は、両方の振幅レベルが所定の範囲に含まれるように、2つのゲイン値を算出してもよい。この場合、第1の特性データHls_DBm、第1の特性データHls_DBkのそれぞれにゲイン値が乗じられる。なお、第1の調整部907は、第1の特性データHls_DBk、Hro_DBkについて、ゲイン値を共通としてもよく、それぞれに異なるゲイン値を求めてもよい。
上記のように、第1の特性データは、複数の被測定者1に対して行われた測定結果によるものである。それぞれの測定において、スピーカの音量やマイク感度が同じとなっているとは限らない。さらには、測定環境が異なっていたり、異なるスピーカやマイクが使用されていたりすることもある。したがって、第1の調整部907は、異なるセットの第1の特性データの振幅レベルを調整する。例えば、第1の調整部907は2つの周波数振幅特性のバランスを調整するためのゲイン値を算出する。これにより、異なるセットの第1の特性データの振幅レベルのバランスを調整することができる。ここでは、直接音及び反射音の周波数振幅特性において、ゲイン値を算出している。
そして、第1の調整部907は、振幅レベルを調整するためのゲイン値を第1の合成部908に出力する。第1の合成部908は、第1の特性データにゲイン値を乗じて、レベル調整を行った後、第1の特性データHls_DBkと、第1の特性データHls_DBmとを合成する。第1の合成部908は、第1の特性データにゲイン値を乗じて、レベル調整を行った後、第1の特性データHro_DBkと、第1の特性データHro_DBmとを合成する。
ここでは、第1の合成部908は、直接音を合成する。すなわち、合成する第1の特性データHls_DBk、Hro_DBk及び第1の特性データHls_DBm、Hro_DBmは、直接音の周波数振幅特性となっている。第1の合成部908は、第1の周波数帯域(1kHz〜4kHz)における第1の特性データHls_DBmの振幅値を第1の特性データHls_DBkの振幅値に置き換える。第1の合成部908は、第1の周波数帯域における第1の特性データHro_DBmの振幅値を第1の特性データHro_DBkの振幅値に置き換える。第1の合成部908は、置換後の周波数振幅特性を第1の合成データHls_com1、Hro_com1として、第2の調整部911に出力する。
第1の合成データHls_com1、Hro_com1において、第1の周波数帯域の振幅値は、第1の特性データHls_DBk、Hro_DBkに基づくものとなっており、第1の周波数帯域以外の振幅値は、第2の特性データHls_DBm、Hro_DBmに基づくものとなっている。あるいは、第1の合成データHls_com1、Hro_com1において、第2の周波数帯域の振幅値は、第1の特性データHls_DBm、Hro_DBmに基づくものとし、第2の周波数帯域以外の振幅値は、第1の特性データHls_DBk、Hro_DBkに基づくものとするようにしてもよい。第1の合成部908は、第1の特性データHls_DBm、Hro_DBmと第1の特性データHls_DBk、Hro_DBkのバランスを取りながら、すなわち、調整用周波数帯域のレベルが所定の範囲に含まれるように周波数振幅特性を合成してもよい。
第3の取得部906は、データベース901を参照して、予め設定された第1の特性データHls_DBps、Hro_DBps(以下、プリセットデータHls_DBps、Hro_DBpsとする)を取得する。プリセットデータHls_DBps、Hro_DBpsは、第1の特性データHls_DB、Hro_DBのうちの、代表的な1人分(1セット分)のデータである。
ここで、プリセットデータHls_DBps、Hro_DBpsは、左右の位相特性や振幅レベルのバランスが取れている被測定者1の第1の特性データであることが好ましい。つまり、プリセットデータHls_DBps、Hlo_DBps、Hro_DBps、Hrs_DBpsは同一の被測定者1の第1の特性データとなる。さらに、1kHz以下の周波数振幅特性に大きなディップがない第1の特性データがプリセットデータとして設定されていることが好ましい。また、100kHzの4つの空間音響伝達特性Hls、Hlo、Hro、Hrsにおいて、100kHz以下の周波数振幅特性が揃っている被測定者1の第1の特性データをプリセットデータとすることが好ましい。プリセットデータは、システムの管理者等により予め設定されている。
さらに、プリセットデータの候補を複数セット分用意して、外耳道伝達特性ECTFL_Uに基づいて、1セット分のプリセットデータを選択してもよい。この場合、プリセットデータの候補となる複数セットの中で、外耳道伝達特性ECTFL_Uとの相関値が最も高くなる第2の特性データを有する1セットを選択してもよい。
第3の取得部906は、プリセットデータHls_DBps、Hro_DBpsを取得して、第2の合成部912、及び第2の調整部911に出力する。プリセットデータHls_DBps、Hro_DBpsは直接音部分の周波数振幅特性であるが、直接音及び反射音部分の周波数振幅特性となっていてもよい。
第1の合成データHls_com1、Hro_com1と第1のプリセットデータHls_DBps、Hro_DBpsの振幅レベルを調整するためのゲイン値を算出する。第2の調整部911は、第1の調整部907と同様に、調整用周波数帯域(200Hz〜1kHz)において、第1の合成データHls_com1とプリセットデータHls_DBpsとの間で振幅のレベルが等しくなるようなゲイン値を第2の調整部911が求める。そして、ゲイン値が第1の合成データ及び第1のプリセットデータの少なくとも一方に乗じられることで、振幅レベルが調整される。第2の調整部911は、第1の調整部907と同様の処理を行うため、説明を省略する。
第2の調整部911は、ゲイン値を第2の合成部912に出力する。第2の合成部912は、ゲイン値を用いてレベル調整を行った後、第1の合成データHls_com1と、プリセットデータHls_DBpsとを合成する。第2の合成部912は、ゲイン値を用いてレベル調整を行った後、第1の合成データHro_com1と、プリセットデータHro_DBpsとを合成する。これにより、第2の合成データHro_com2、Hro_com2が生成される。
第2の合成部912は、直接音を合成する。すなわち、第1の合成データHls_com1、Hro_com1及びプリセットデータHls_DBps、Hro_DBpsは、直接音の周波数振幅特性となっている。第2の合成部912は、第3の周波数帯域(最低周波数〜1kHz)における第1の合成データHls_com1の振幅値をプリセットデータHls_DBpsの振幅値に置き換える。第2の合成部912は、第3の周波数帯域(最低周波数〜1kHz)における第1の合成データHro_com1の振幅値をプリセットデータHro_DBpsの振幅値に置き換える。なお、最低周波数はFFTで得られる周波数特性における最も低い周波数であり、例えば、1Hzとなる。
第2の合成データHls_com2、Hro_com2において、第3の周波数帯域(最低周波数〜1kHz)の振幅値は、プリセットデータHls_DBps、Hro_DBpsに基づくものとなっている。第2の合成データHls_com2、Hro_com2において、第1の周波数帯域(1kHz〜4kHz)の振幅値は、第1の特性データHls_DBk、Hro_DBkに基づくものとなっている。第2の合成データHls_com2、Hro_com2において、第2の周波数帯域(4kHz〜15kHz)の振幅値は、第2の特性データHls_DBm、Hro_DBmに基づくものとなっている。なお、第1の周波数帯域、第2の周波数帯域、及び第3の周波数帯域以外の第4の周波数帯域(15kHz〜最高周波数)の振幅値は、第2の特性データHls_DBm、Hro_DBmに基づくものとすることができるが、プリセットデータHls_DBps、Hro_DBpsに基づくものとしてもよい。最高周波数はFFTで得られる周波数特性における最も高い周波数である。ここで、FFTのフレームサイズをframe_sizeとすると、最も高い周波数は、(FS/frame_size)*(frame_size/2−1)で求めることができる。また、各周波数帯域における振幅レベルは第1の調整部907、又は第2の調整部911で求めたゲイン値で調整されている。よって、適切に周波数振幅特性を合成することができる。
第2の合成部912は、第2の合成データHls_com2、Hro_com2は生成部920に出力する。生成部920は、第2の合成データHls_com2、Hro_com2に基づいて、フィルタF_Hls_U、F_Hro_Uを生成する。例えば、生成部920は、第2の合成データHls_com2、Hro_com2を、それぞれ逆フーリエ変換等することで、時間領域における第2の合成データHls_com2_Time、Hro_com2_Timeを算出する。なお、逆フーリエ変換において用いられる位相特性は、第2のセットのものとすることができるが、プリセットデータのものであってもよい。
これにより、生成部920は、フィルタF_Hls_U、F_Hro_Uの直接音部分を求めることができる。そして、生成部920は、第2の合成データHls_com2_TimeにプリセットデータHls_DBpsを合成する。また、生成部920は、第2の合成データHro_com2_Timeに、プリセットデータHro_DBpsの反射音部分を合成する。例えば、フィルタF_Hls_U、F_Hro_Uの直接音部分(つまり、0〜Xサンプル)は、第2の合成データHls_com2_Time、Hro_com2_Timeとなっている。反射音部分((X+1)〜4095サンプル)は、時間領域のプリセットデータHls_DBps、Hro_DBpsの反射音部分((X+1)〜4095サンプル)を切り出したものとなっている。なお、フィルタF_Hls_U、F_Hro_Uの反射音部分は、プリセットデータHls_DBps、Hro_DBpsのものとするが、第2のセットのものとなっていてもよい。なお、プリセットデータについては、データベース901が、予め時間領域の第1の特性データを格納しておくことが好ましい。
上記の処理により、フィルタ生成装置900が、フィルタF_Hls_U、F_Hro_Uを生成することができる。また、同様の処理によって、フィルタ生成装置900は、フィルタF_Hlo_U、F_Hrs_Uを生成する。これにより、ユーザUが外耳道伝達特性のみしか測定できない場合であっても、ユーザUに適したフィルタF_Hls_U、F_Hlo_U、F_Hro_U、F_Hrs_Uを生成することができる。
なお、上記説明における第1〜第3の周波数帯域の上限周波数及び下限周波数、信号のサンプル数、最高周波数、最低周波数の値は、例示的な値であり、特に限定されるものではない。また、第1の合成部908と第2の合成部912との処理順は特に限定されるものではない。例えば、プリセットデータと第2のセットの第1の特性データとを合成した後に、第1のセットの第1の特性データを合成してもよい。あるいは、プリセットデータと第2のセットの第1の特性データと第1のセットの第1の特性データとをまとめて合成してもよい。また、周波数領域における振幅値の代わりにパワー値を用いてもよい。
なお、実施の形態2では、頭外定位受聴を行うユーザは、航空機などの乗り物の搭乗者に限られるものではない。つまり、スマートホンやタブレット端末などのユーザが所有するユーザ端末において、頭外定位処理を行う場合に、実施の形態2の処理を適用することができる。従って、識別情報は不要となる。
以上まとめると、実施の形態2に係るフィルタ生成装置900は、外耳道伝達特性取得部930と、第1の選択部902と、第1の取得部903と、第2の選択部904と、第2の取得部905と、第3の取得部906と、生成部920と、を備えている。外耳道伝達特性取得部930は、ユーザが装着したヘッドホン又はイヤホンからマイクまでの外耳道伝達特性を取得する。第1の選択部902は、スピーカからマイクまでの空間音響伝達特性に対応する第1の特性データと、外耳道伝達特性に対応する第2の特性データとを1セットとして、複数セット分を格納するデータベース901を参照することで、ユーザの外耳道伝達特性の第1の周波数帯域における周波数特性に基づいて、第1のセットを選択する。第1の取得部903は、第1の選択部で選択された第1のセットに含まれる第2の特性データを取得する。第2の選択部904は、データベース901を参照することで、ユーザの外耳道伝達特性の第2の周波数帯域における周波数特性に基づいて、第2のセットを選択する。第2の取得部905は、第2の選択部903で選択された第2のセットに含まれる第2の特性データを取得する。第3の選択部906は、予め設定されたプリセットデータを取得する。生成部920は、第1のセットの第2の特性データと、第2のセットの第2の特性データと、プリセットデータとに基づいて、ユーザの空間音響伝達特性に応じたフィルタを生成する。これにより、適切な処理を行うことができるフィルタを生成することができる。
実施の形態3.
実施の形態3では、5.1chの再生信号を用いて、頭外定位処理を行っている。5.1chの場合、6個のスピーカがある。つまり、測定装置200の測定環境には、センタースピーカ(正面スピーカ)、右前方スピーカ、左前方スピーカ、右後方スピーカ、左後方スピーカ、低音サブウーファースピーカが配置されている。従って、図2に示した測定装置200に、センタースピーカ、左後方スピーカ、右後方スピーカ、サブウーファースピーカが追加されている。センタースピーカは、被測定者1の正面前方に配置される。センタースピーカは、例えば、左前方スピーカと右前方スピーカとの間に配置される。
左前方スピーカから左耳、及び右耳までの空間音響伝達特性を、実施の形態1と同様にHls、Hloとする。右前方スピーカから左耳、及び右耳までの空間音響伝達特性を、実施の形態1と同様にHro、Hrsとする。センタースピーカから左耳及び右耳までの空間音響伝達特性をCHl、CHrとする。左後方スピーカから左耳及び右耳までの空間音響伝達特性をSHls、SHloとする。右後方スピーカから左耳、及び右耳までの空間音響伝達特性を、SHro、SHrsとする。低音出力用のサブウーファースピーカから左耳及び右耳までの空間音響伝達特性をSWHl、SWHrとする。
従って、空間音響伝特性Hls、Hlo、CHl、CHr、Hro、Hrs、SHls、SHlo、SHro、SHrs、SWHl、SWHrに対応する12個のフィルタを用いて、畳み込み演算処理が実施される。空間音響伝特性Hls、Hlo、CHl、CHr、Hro、Hrs、SHls、SHlo、SHro、SHrs、SWHl、SWHrに対応するフィルタを、F_Hls、F_Hlo、F_CHl、F_CHr、F_Hro、F_Hrs、F_SHls、F_SHlo、F_SHro、F_SHrs、F_SWHl、F_SWHrとする。
図11は、本実施の形態にかかる処理装置700の構成を示すブロック図である。処理装置700は、図2に示す処理装置201に対応するものであり、フィルタを生成する。さらに、処理装置700は、図1で示したような頭外定位処理を行うものである。ここでは、処理装置700は、12個のフィルタF_Hls、F_Hlo、F_CHl、F_CHr、F_Hro、F_Hrs、F_SHls、F_SHlo、F_SHro、F_SHrs、F_SWHl、F_SWHrを用いて、畳み込み演算処理を行う。もちろん、実施の形態1のシステムのように、フィルタを生成する装置と、頭外定位処理を行う装置が異なる装置となっていてもよい
処理装置700は、音源ファイル701と、測定手段702と、フィルタ生成手段703と、畳み込み手段704と、再生手段705と、送受信手段706と、メモリ707と、センタch用残響除去手段708と、センタch用音量可変手段709と、を備えている。さらに、処理装置700には、セリフ音量制御手段711が接続されている。
測定手段702は、空間音響伝達特性を測定する。測定手段702は、6個のスピーカに対して、それぞれインパルス測定を行う。具体的には、図2に示した測定信号生成部211のように、各スピーカにインパルス音を出力する。さらに、測定手段702は、収音信号取得部212のように、マイク2L、2Rからの収音信号を取得する。
フィルタ生成手段703は、フィルタ生成部213と同様に、収音信号に基づいて、フィルタを生成する。ここでは、6個のスピーカ及び2個のマイクを用いて測定が行われているため、12個のフィルタが生成される。メモリ707は、12個のフィルタを格納する。なお、送受信手段706は、例えば、図3で示したサーバ端末600にフィルタを送信してもよい。これにより、データベースにフィルタが格納される。
5.1chの再生信号を再生している場合、ユーザUがセリフ音量を個別に調整することができるようになっている。つまり、セリフの音声信号を出力するセンタースピーカの音量のみが独立して調整可能になっている。セリフ音量制御手段711は、ユーザUからの入力を受け付けて、セリフ音量(センタchの音量)を制御する。例えば、セリフ音量制御手段711は、音量調整用のボタンやレバーを表示させる。そして、頭外定位受聴結果に応じて、ユーザUが、セリフ音量を上げたり、下げたりする。セリフ音量制御手段711は、セリフ音量を示す音量信号をセンタch用音量可変手段709に出力する。センタch用音量可変手段709は可変増幅器を有しており、入力に応じて増幅率を可変する。音量信号は、例えば音量の大きさを示すVolの数値または音量の増幅率を用いてもよい。
センタch用残響除去手段708は、音量信号に基づいて、センタchの残響を削除するための処理を行う。ここでは、センタch用残響除去手段708は、センタchのフィルタF_CHl、F_CHrに対して窓掛けを行う。窓掛け後のフィルタをF_WCHl、F_WCHrとする。
例えば、センタchの音量が閾値以上の場合、センタch用残響除去手段708は、フィルタF_CHl、F_CHrの後半部分のデータをゼロにする窓関数を用いて窓掛けを行う。このようにすることでノイズを減少することができ、自然な響きを得ることができる。また、所定時間までは一定であり、所定時間後、徐々に減少するような窓関数をセンタch用残響除去手段708が用いてもよい。窓掛け後のフィルタF_WCHl、F_WCHrを用いることで、セリフ部分の残響を抑制することができる。また、音量が閾値未満の場合、窓掛けを行わなくてもよいが、便宜上矩形窓を用いて窓掛けを行ったものとする。
さらに、セリフ音量に応じて、窓関数を変化させるようにしてもよい。セリフ音量が大きくなるにつれて、窓の長さが長くなるような窓関数を用いることが可能である。或いは、セリフ音量が大きくなるにつれて、窓の長さが短くなるような窓関数を用いることも可能である。
音源ファイル701には、5.1chの再生信号が格納されている。5.1chの再生信号は、畳み込み手段704に入力される。畳み込み手段704は、6個の再生信号に対して、12個のフィルタを用いて畳み込み演算処理を行う。
畳み込み手段704は、フィルタF_Hls、F_Hlo、F_WCHl、F_WCHr、F_Hro、F_Hrs、F_SHls、F_SHlo、F_SHro、F_SHrs、F_SWHl、F_SWHrを用いて、畳み込み演算を行う。図12は、5.1chの再生信号の場合の畳み込み演算とセリフ音量調整を説明するための図である。
左前方chの再生信号をL(t)、センタchの再生信号をC(t)、右前方chの再生信号をR(t)とする。左後方chの再生信号をSL(t)、右後方チャネルの再生信号をSR(t)、サブウーファーchの再生信号をLFE(t)とする。そして、それぞれの再生信号には、対応するフィルタを畳み込む。例えば、センタchの再生信号C(t)には、フィルタF_WCHl、F_WCHrがそれぞれ畳み込まれている。
そして、加算器24は、フィルタF_Hls、F_WCHl、F_Hro、F_SHls、F_SHro、F_SWHlが畳み込まれた6つの畳み込み信号を加算して、加算信号HRl(t)を生成する。加算器24は、加算信号HRl(t)をフィルタ部41(図1参照)に出力する。加算器25は、フィルタF_Hlo、F_WCHr、F_Hrs、F_SHlo、F_SHrs、F_SWHrが畳み込まれた畳み込み信号を加算して、加算信号HRr(t)を生成する。加算器25は、加算信号HRr(t)をフィルタ部42(図1参照)に出力する。再生手段705は、加算信号HRl(t)、HRr(t)にそれぞれ逆フィルタLinv,Rinvを畳み込む。そして、逆フィルタが畳み込まれた加算信号HRl(t)、HRr(t)がヘッドホン43から出力される。
ここで、フィルタF_WCHl、F_WCHrが畳み込まれた畳み込み信号は、可変増幅器721を介して、加算器24、25に入力されている。セリフ音量制御手段711は、入力された音量に応じて、可変増幅器721の振幅増幅率を変化させる。これにより、センタchによるセリフ音量をユーザUの好みに応じて調整することができる。よって、頭外定位処理をより適切に行うことができる。
実施の形態4.
実施の形態4では、頭外定位受聴において、頭外定位処理装置100がユーザをよりリラックスさせるための処理を行っている。例えば、頭外定位処理装置100がフィルタのダイナミックレンジを圧縮したり、再生信号の供給方法を変更したりすることで、BGM(Back-Ground Music)のように聴こえる様な処理を行っている。
例1.
例1では、フィルタの高周波数帯域を圧縮することで、フィルタが生成されている。具体的には、フィルタ生成装置が、測定した空間音響伝達特性のそれぞれに対して、ローパスフィルタ(LPF)をかけている。例えば、2kHzをカットオフ周波数とするLPFをかけた例を図13に示す。図13には、フィルタF_HlsにLPFをかける処理前後の音圧レベルを示している。LPFをかけたフィルタを用いて頭外定位処理を行うことで、ユーザUはよりリラックスすることができる。
例2.
例2では、フィルタ生成装置が、各フィルタにおいて、直接音の振幅を変えたものを残響成分として付加している。具体的には、フィルタ生成装置が、測定された伝達特性の直接音信号を切り出し、直接音信号の振幅を変えた信号を残響成分として、直接音信号の後に付加することでフィルタが生成されている。図14は、図10に示した収音信号に対して、残響成分を付加した後のフィルタF_Hlsを示すものである。図10では、7個の残響成分D1〜D7が追加されている。それぞれの残響成分は、直接音信号の振幅を個別に調整したものである。なお、追加する残響成分の数は、特に限定されるものではない。このようなフィルタを用いて頭外定位処理を行うことで、ユーザUはよりリラックスすることができる。
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
U ユーザ
1 被測定者
10 頭外定位処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 フィルタ部
42 フィルタ部
43 ヘッドホン
200 測定装置
201 処理装置
211 測定信号生成部
212 収音信号取得部
213 フィルタ生成部
511 座席端末
521 搭乗席

Claims (12)

  1. ユーザが乗り物に搭乗する前に、前記ユーザの耳に装着されたマイクを用いて、伝達特性を測定する測定装置と、
    前記乗り物に設置され、前記伝達特性に応じたフィルタを用いて頭外定位処理を行う頭外定位処理装置と、
    前記ユーザの識別情報に基づいて、前記伝達特性に応じたフィルタを、前記頭外定位処理装置に送信するサーバと、を備えた頭外定位処理システム。
  2. 前記乗り物には、複数の搭乗席と複数の頭外定位処理装置とが対応付けて設置されており、
    前記サーバは前記識別情報を参照して、前記ユーザの搭乗席を特定し、特定した前記搭乗席に対応する前記頭外定位処理装置に、前記フィルタを送信する請求項1に記載の頭外定位処理システム。
  3. 前記ユーザが試聴を行った後に、前記ユーザによる支払いを受け付ける請求項1、又は2に記載の頭外定位処理システム。
  4. 前記ユーザが装着したヘッドホン又はイヤホンから前記マイクまでの外耳道伝達特性を測定し、
    スピーカから前記マイクまでの空間音響伝達特性に対応する第1の特性データと、前記外耳道伝達特性に対応する第2の特性データとを1セットとして、複数セット分を格納するデータベースを参照することで、前記ユーザの前記外耳道伝達特性に基づいて、前記ユーザの前記空間音響伝達特性に応じたフィルタを取得する請求項1〜3のいずれか1項に記載の頭外定位処理システム。
  5. 前記データベースを参照することで、
    前記ユーザの外耳道伝達特性の第1の周波数帯域における周波数特性に基づいて、第1のセットを選択し、
    前記ユーザの外耳道伝達特性の第2の周波数帯域における周波数特性に基づいて、第2のセットを選択し、
    予め設定されたプリセットデータを取得し、
    前記第1のセットに含まれる前記第2の特性データと、前記第2のセットに含まれる第2の特性データと、前記プリセットデータとに基づいて、前記空間音響伝達特性に応じたフィルタを生成する請求項4に記載の頭外定位処理システム。
  6. 前記フィルタには、センタースピーカからマイクまでの空間音響伝達特性のセンタースピーカ用フィルタが含まれており、
    前記センタースピーカの音量を調整するための入力を受け付ける入力手段を備え、
    前記音量に基づいた窓関数を用いて、前記センタースピーカ用フィルタに窓掛けを行う請求項1〜5のいずれか1項に記載の頭外定位処理システム。
  7. 測定された前記伝達特性の直接音部分を切り出し、前記直接音部分の振幅を変えた信号を残響成分として、前記直接音部分の後に付加することでフィルタを生成する請求項1〜6のいずれか1項に記載の頭外定位処理システム。
  8. ユーザが乗り物に搭乗する前に、前記ユーザの耳に装着されたマイクを用いて、伝達特性をするステップと、
    前記ユーザの識別情報に基づいて、前記乗り物に設置された頭外定位処理装置に前記伝達特性に応じたフィルタを送信するステップと、
    前記頭外定位処理装置が、再生信号に対して前記フィルタを用いた頭外定位処理を行うステップと、
    前記識別情報に対応する前記ユーザに対して、前記頭外定位処理された再生信号をヘッドホン又はイヤホンから出力するステップと、を含む頭外定位処理方法。
  9. ユーザが装着したヘッドホン又はイヤホンからマイクまでの外耳道伝達特性を取得する外耳道伝達特性取得部と、
    スピーカからマイクまでの空間音響伝達特性に対応する第1の特性データと、前記外耳道伝達特性に対応する第2の特性データとを1セットとして、複数セット分を格納するデータベースを参照することで、前記ユーザの外耳道伝達特性の第1の周波数帯域における周波数特性に基づいて、第1のセットを選択する第1の選択部と、
    前記第1の選択部で選択された前記第1のセットに含まれる第2の特性データを取得する第1の取得部と、
    前記データベースを参照することで、前記ユーザの外耳道伝達特性の第2の周波数帯域における周波数特性に基づいて、第2のセットを選択する第2の選択部と、
    前記第2の選択部で選択された前記第2のセットに含まれる第2の特性データを取得する第2の取得部と、
    予め設定されたプリセットデータを取得する第3の取得部と、
    前記第1のセットの前記第2の特性データと、前記第2のセットの第2の特性データと、前記プリセットデータとに基づいて、前記ユーザの空間音響伝達特性に応じたフィルタを生成するフィルタ生成部と、を備えたフィルタ生成装置。
  10. 前記フィルタ生成部は、
    前記第1のセットの前記第2の特性データと、前記第2のセットの第2の特性データと、前記プリセットデータとを合成することで合成データを生成し、
    前記合成データを時間領域に変換することで、フィルタを生成し、
    前記合成データは、
    前記第1の周波数帯域の振幅値又はパワー値が、前記第1のセットに含まれる第2の特性データに基づいて設定され
    前記第2の周波数帯域の振幅値又はパワー値が、前記第2のセットに含まれる第2の特性データに基づいて設定され、
    前記第1及び第2の周波数帯域よりも低い周波数帯域である第3の周波数帯域の振幅値又はパワー値が、前記プリセットデータに基づいて設定されている、請求項9に記載のフィルタ生成装置。
  11. ユーザが装着したヘッドホン又はイヤホンからマイクまでの外耳道伝達特性を取得するステップと、
    スピーカからマイクまでの空間音響伝達特性に対応する第1の特性データと、前記外耳道伝達特性に対応する第2の特性データとを1セットとして、複数セット分を格納するデータベースを参照することで、前記ユーザの外耳道伝達特性の第1の周波数帯域における周波数特性に基づいて、第1のセットを選択するステップと、
    前記第1のセットに含まれる第2の特性データを取得するステップと、
    前記データベースを参照することで、前記ユーザの外耳道伝達特性の第2の周波数帯域における周波数特性に基づいて、第2のセットを選択するステップと、
    前記第2のセットに含まれる第2の特性データを取得するステップと、
    予め設定されたプリセットデータを取得するステップと、
    前記第1のセットの前記第2の特性データと、前記第2のセットの第2の特性データと、前記プリセットデータとに基づいて、前記ユーザの空間音響伝達特性に応じたフィルタを生成するステップと、を含むフィルタ生成方法。
  12. フィルタ生成方法をコンピュータに対して実行させるためのプログラムであって、
    前記フィルタ生成方法は、
    ユーザが装着したヘッドホン又はイヤホンからマイクまでの外耳道伝達特性を取得するステップと、
    スピーカからマイクまでの空間音響伝達特性に対応する第1の特性データと、前記外耳道伝達特性に対応する第2の特性データとを1セットとして、複数セット分を格納するデータベースを参照することで、前記ユーザの外耳道伝達特性の第1の周波数帯域における周波数特性に基づいて、第1のセットを選択するステップと、
    前記第1のセットに含まれる第2の特性データを取得するステップと、
    前記データベースを参照することで、前記ユーザの外耳道伝達特性の第2の周波数帯域における周波数特性に基づいて、第2のセットを選択するステップと、
    前記第2のセットに含まれる第2の特性データを取得するステップと、
    予め設定されたプリセットデータを取得するステップと、
    前記第1のセットの前記第2の特性データと、前記第2のセットの第2の特性データと、前記プリセットデータとに基づいて、前記ユーザの空間音響伝達特性に応じたフィルタを生成するステップと、を含む、プログラム。
JP2018183579A 2018-09-28 2018-09-28 頭外定位処理システム、フィルタ生成装置、方法、及びプログラム Active JP6988758B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018183579A JP6988758B2 (ja) 2018-09-28 2018-09-28 頭外定位処理システム、フィルタ生成装置、方法、及びプログラム
PCT/JP2019/036076 WO2020066692A1 (ja) 2018-09-28 2019-09-13 頭外定位処理システム、フィルタ生成装置、方法、及びプログラム
US17/200,708 US11438721B2 (en) 2018-09-28 2021-03-12 Out-of-head localization system, filter generation device, method, and program
JP2021194105A JP7188545B2 (ja) 2018-09-28 2021-11-30 頭外定位処理システム及び頭外定位処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018183579A JP6988758B2 (ja) 2018-09-28 2018-09-28 頭外定位処理システム、フィルタ生成装置、方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021194105A Division JP7188545B2 (ja) 2018-09-28 2021-11-30 頭外定位処理システム及び頭外定位処理方法

Publications (2)

Publication Number Publication Date
JP2020053915A JP2020053915A (ja) 2020-04-02
JP6988758B2 true JP6988758B2 (ja) 2022-01-05

Family

ID=69951974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018183579A Active JP6988758B2 (ja) 2018-09-28 2018-09-28 頭外定位処理システム、フィルタ生成装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US11438721B2 (ja)
JP (1) JP6988758B2 (ja)
WO (1) WO2020066692A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228900A1 (ja) * 2022-05-26 2023-11-30 クレプシードラ株式会社 信号処理システム、信号処理方法及びプログラム
WO2024053286A1 (ja) * 2022-09-09 2024-03-14 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285998A (ja) * 2000-03-29 2001-10-12 Oki Electric Ind Co Ltd 頭外音像定位装置
WO2007137232A2 (en) * 2006-05-20 2007-11-29 Personics Holdings Inc. Method of modifying audio content
JP2009288555A (ja) * 2008-05-29 2009-12-10 Toshiba Corp 音響特性測定装置、音響特性補正装置および音響特性測定方法
JP4849121B2 (ja) 2008-12-16 2012-01-11 ソニー株式会社 情報処理システムおよび情報処理方法
JP6515720B2 (ja) * 2015-07-23 2019-05-22 株式会社Jvcケンウッド 頭外定位処理装置、頭外定位処理方法、及びプログラム
JP6561718B2 (ja) * 2015-09-17 2019-08-21 株式会社Jvcケンウッド 頭外定位処理装置、及び頭外定位処理方法
JP6790654B2 (ja) * 2016-09-23 2020-11-25 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及びプログラム

Also Published As

Publication number Publication date
WO2020066692A1 (ja) 2020-04-02
US11438721B2 (en) 2022-09-06
US20210204084A1 (en) 2021-07-01
JP2020053915A (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
US10798517B2 (en) Out-of-head localization filter determination system, out-of-head localization filter determination device, out-of-head localization filter determination method, and program
US10555108B2 (en) Filter generation device, method for generating filter, and program
US20190130927A1 (en) An active monitoring headphone and a binaural method for the same
CN107925814B (zh) 生成提升声音印象的方法和设备
CN109565632A (zh) 有源监听耳机及其校准方法
US20190098427A1 (en) An active monitoring headphone and a method for regularizing the inversion of the same
US11438721B2 (en) Out-of-head localization system, filter generation device, method, and program
US10142760B1 (en) Audio processing mechanism with personalized frequency response filter and personalized head-related transfer function (HRTF)
US10687144B2 (en) Filter generation device and filter generation method
JP7188545B2 (ja) 頭外定位処理システム及び頭外定位処理方法
WO2018155164A1 (ja) フィルタ生成装置、フィルタ生成方法、及びプログラム
JP7447719B2 (ja) 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム
JP6805879B2 (ja) フィルタ生成装置、フィルタ生成方法、及びプログラム
US11228837B2 (en) Processing device, processing method, reproduction method, and program
EP3944640B1 (en) Out-of-head localization filter determination system, out-of-head localization filter determination method, and computer readable medium
US20230040821A1 (en) Processing device and processing method
WO2021059984A1 (ja) 頭外定位フィルタ決定システム、頭外定位処理装置、頭外定位フィルタ決定装置、頭外定位フィルタ決定方法、及びプログラム
JP2023024038A (ja) 処理装置、及び処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R150 Certificate of patent or registration of utility model

Ref document number: 6988758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150