JP6981325B2 - 処理装置、処理方法、及びプログラム - Google Patents

処理装置、処理方法、及びプログラム Download PDF

Info

Publication number
JP6981325B2
JP6981325B2 JP2018053764A JP2018053764A JP6981325B2 JP 6981325 B2 JP6981325 B2 JP 6981325B2 JP 2018053764 A JP2018053764 A JP 2018053764A JP 2018053764 A JP2018053764 A JP 2018053764A JP 6981325 B2 JP6981325 B2 JP 6981325B2
Authority
JP
Japan
Prior art keywords
sound
time difference
signal
measurement
listener
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018053764A
Other languages
English (en)
Other versions
JP2019168481A (ja
Inventor
優美 藤井
寿子 村田
正也 小西
敬洋 下条
邦明 高地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018053764A priority Critical patent/JP6981325B2/ja
Priority to PCT/JP2019/009619 priority patent/WO2019181599A1/ja
Publication of JP2019168481A publication Critical patent/JP2019168481A/ja
Priority to US17/016,674 priority patent/US11297427B2/en
Application granted granted Critical
Publication of JP6981325B2 publication Critical patent/JP6981325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01Input selection or mixing for amplifiers or loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

本発明は、処理装置、処理方法、及びプログラムに関する。
頭外定位技術では、ヘッドホンから耳までの特性をキャンセルし、ステレオスピーカから耳までの4本の特性を与えることにより、音像を頭外に定位させている。特許文献1には、頭外に音像を定位させる方法として、受聴者の頭部伝達関数HRTF(Head Related Transfer Function)を用いる方法が開示されている。また、HRTFは個人差が大きく、特に耳介形状の違いによるHRTFの変化が著しいことが知られている。
したがって、HRTF等の空間音響伝達特性(以下、伝達特性とも称する)は、受聴者が左右の耳にマイクを装着した状態で、測定することが好ましい。ところで、昨今のメモリ容量の増大や演算速度の高速化に伴い、スマートホンやタブレット等の携帯端末を用いて、音像定位などのオーディオ信号処理を行うことが可能となった。そのため、携帯端末に付属するマイク端子を用いて、空間音響伝達特性の測定演算を行うことが可能となった。
携帯端末の多くでは、マイク入力端子がステレオ入力ではなくモノラル入力となっている。さらに、パソコンなどでもマイク入力端子がモノラル入力となっていることがある。スピーカから左右の耳までの空間音響伝達特性を携帯端末等で測定する際に、スピーカから左右の耳までの距離が異なる場合、音響信号がスピーカから左右の耳へ到達するまでに必要な時間には差(時間差)が生じる。モノラルのマイク入力端子では左右の耳に設置したマイクで同時に録音することができないため、時間差を取得することはできない。したがって、モノラルのマイク入力端子では、左右の耳への到達時間の時間差を反映させた空間音響伝達特性を求めることが困難であった。
上記の問題を解決するための技術が特許文献2に開示されている。特許文献2には、モノラルのマイク入力の場合でも適切に伝達特性を測定することができる音場再生装置が開示されている。この音場再生装置は、左右のマイクを備えたマイクユニットと、モノラル入力端子と、マイクユニットの出力を切り替える切替器とを、備えている。
切替器を切り替えることで、左のマイクのみから収音された第1の収音信号、右のマイクのみから収音された第2の収音信号、及び左右のマイクから収音された第3の収音信号が測定している。処理装置は、第1〜第3の収音信号に基づいて、スピーカから左右の記マイクへの音の到達時間の時間差を算出している。処理装置は、第1及び第2の収音信号に基づいて時間差を反映した伝達特性を算出する。このようにすることで、モノラル入力端子であった場合でも、時間差を考慮した伝達測定を取得することができる。
特開2002−209300号公報 特開2017−28365号公報
頭外定位技術では、ステレオスピーカから耳までの4本の伝達特性を与えることにより、音像を頭外に定位させている。頭外定位処理を行うためには、受聴者の左前方にスピーカを配置した測定と、右前方にスピーカを配置した測定をそれぞれ行う必要がある。特許文献2では、1つのスピーカ位置に対して、第1〜第3の収音信号を測定するために、3回の測定を行う必要がある。左右のスピーカのそれぞれに対して、第1〜第3の収音信号を取得するためには、合計6回の測定を行う必要がある。
また、受聴者に対するスピーカの配置を変えて測定を行いたいという要求もある。例えば、受聴者の正面方向からの見開き角度を変えた伝達特性を用いることで、受聴者の好みに応じた定位感を実現することができる。配置数が増加すると、測定回数が増加してしまう。
本開示は上記の点に鑑みなされたもので、簡便に伝達特性を測定することができる処理装置、処理方法、及びプログラムを提供することを目的とする。
本実施形態にかかる処理装置は、音源から出力される音を受聴者に装着された左右のマイクにより収音することで得られた収音信号を処理する処理装置であって、前記受聴者の正面前方から角度θだけ傾いた方向に前記音源が配置された状態での特性測定を行うため、前記音源から出力される測定信号を生成する測定信号生成部と、前記左右のマイクで収音された収音信号が入力されるモノラル入力端子と、前記モノラル入力端子を介して、前記左右のマイクで収音された収音信号を取得する収音信号取得部と、左の前記マイクのみから収音された第1の収音信号、及び、右の前記マイクのみから収音された第2の収音信号がそれぞれ前記モノラル入力端子に入力されるように接続状態を切替える切替器と、前記受聴者の両耳間距離を取得する両耳間距離取得部と、前記受聴者の正面前方に配置された前記音源から左右の前記マイクまでの到達時間の時間差を正面時間差として取得する正面時間差取得部と、前記角度θと、前記正面時間差と、前記両耳間距離と、に基づいて、入射時間差を算出する入射時間差算出部と、前記特性測定において取得された前記第1及び第2の収音信号に前記入射時間差に応じた遅延を与えて、前記音源から前記左右のマイクまでの伝達特性を算出する伝達特性生成部と、を備えたものである。
本実施形態にかかる処理方法は、音源から出力される音を受聴者に装着された左右のマイクにより収音することで得られた収音信号を処理する処理装置における処理方法であって、前記処理装置は、前記受聴者の正面前方から角度θだけ傾いた方向に配置された前記音源に測定信号を出力することで特性測定を行い、前記処理装置は、モノラル入力端子を備え、前記モノラル入力端子と前記左右のマイクとの間には、切替器が設けられており、前記切替器は、左の前記マイクのみから収音された第1の収音信号、及び、右の前記マイクのみから収音された第2の収音信号がそれぞれ前記モノラル入力端子に入力されるよう、前記モノラル入力端子への入力を切替え、前記処理方法は、前記受聴者の両耳間距離を取得するステップと、前記受聴者の正面前方に配置された前記音源から左右の前記マイクまでの到達時間の時間差を正面時間差として取得するステップと、前記角度θと、前記正面時間差と、前記両耳間距離と、に基づいて、入射時間差を算出するステップと、前記特性測定において取得された前記第1及び第2の収音信号に前記入射時間差に応じた遅延を与えて、前記音源から前記左右のマイクまでの伝達特性を算出するステップと、を備えたものである。
本実施形態にかかるプログラムは、左右のマイクにより収音することで得られた収音信号を処理する処理方法をコンピュータに実行させるプログラムであって、前記コンピュータは、受聴者の正面前方から角度θだけ傾いた方向に配置された音源に測定信号を出力することで特性測定を行い、前記コンピュータは、モノラル入力端子を備え、前記モノラル入力端子と前記左右のマイクとの間には、切替器が設けられており、前記切替器は、左の前記マイクのみから収音された第1の収音信号、及び、右の前記マイクのみから収音された第2の収音信号がそれぞれ前記モノラル入力端子に入力されるよう、前記モノラル入力端子への入力を切替え、前記処理方法は、前記受聴者の両耳間距離を取得するステップと、前記受聴者の正面前方に配置された前記音源から左右の前記マイクまでの到達時間の時間差を正面時間差として取得するステップと、前記角度θと、前記正面時間差と、前記両耳間距離と、に基づいて、入射時間差を算出するステップと、前記特性測定において取得された前記第1及び第2の収音信号に前記入射時間差に応じた遅延を与えて、前記音源から前記左右のマイクまでの伝達特性を算出するステップと、を備えたものである。
本開示によれば、簡便に伝達特性を測定することができる処理装置、処理方法、及びプログラムを提供することができる。
本実施の形態に係る頭外定位処理装置を示すブロック図である。 伝達特性を測定する構成を示す図である。 スピーカの入射角φと両耳時間差ITDを説明するための図である。 特性測定における構成を模式的に示す上面図である。 伝達特性を測定するための処理装置を示すブロック図である。 正面測定における構成を模式的に示す上面図である。 時間差を求めるための処理を示すフローチャートである。 横方向測定における構成を模式的に示す上面図である。 本実施の形態にかかる処理方法を示すフローチャートである。 正面測定時に位置合わせを行う処理を説明するための模式図である。
本実施の形態にかかる処理装置で生成したフィルタを用いた音像定位処理の概要について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホンやイヤホンのスピーカユニットから鼓膜までの伝達特性である。本実施形態では、ヘッドホン又はイヤホンを装着していない状態での空間音響伝達特性を測定し、それらの測定データを用いて頭外定位処理を実現している。
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットPCなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの操作手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。頭外定位処理装置としては、モノラル入力端子を有する汎用の処理装置を用いることができる。
実施の形態1.
(頭外定位処理装置)
本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を図1に示す。図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着する受聴者Uに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がスマートホン等の情報処理装置により行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
頭外定位処理装置100は、頭外定位処理部10、フィルタ部41、フィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、フィルタ部41、及びフィルタ部42は、具体的にはプロセッサ等により実現可能である。
頭外定位処理部10は、畳み込み演算部11〜12、21〜22、及び加算器24、25を備えている。畳み込み演算部11〜12、21〜22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。
空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、受聴者Uが左右の耳にマイクをそれぞれ装着する。受聴者Uの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Hls、Hlo、Hro、Hrsが取得される。左スピーカと左マイクとの間の空間音響伝達特性Hls、左スピーカと右マイクとの間の空間音響伝達特性Hlo、右スピーカと左マイクとの間の空間音響伝達特性Hro、右スピーカと右マイクとの間の空間音響伝達特性Hrsが測定される。
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。
フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタを畳み込む。フィルタ部41で加算器24からのLch信号に対して、逆フィルタを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して逆フィルタを畳み込む。逆フィルタは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。逆フィルタは、受聴者U本人の特性の測定結果から算出されていてもよく、他の受聴者やダミーヘッドで測定されたものでもよい。
フィルタ部41は、処理されたLch信号をヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、処理されたRch信号をヘッドホン43の右ユニット43Rに出力する。受聴者Uは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号とRch信号を受聴者Uに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。
図2を用いて、空間音響伝達特性を測定する測定装置について説明する。測定装置200は、マイクユニット2、ステレオスピーカ5、処理装置210、及び切替器7を備えている。処理装置210は、モノラル入力端子8と、音声出力端子9と、を備えている。切替器7は、スイッチ7a、及び加算器7bを有している。
処理装置210は、パーソナルコンピュータ、スマートホン、タブレットPC等の情報処理装置である。処理装置210は、メモリ61等に格納されたプログラムを実行することにより、測定を実施する。処理装置210は、収音信号を記憶するメモリ61、受聴者Uの操作を受け付ける操作部62、各信号を処理する処理部63を備えている。操作部62は、例えば、タッチパネルである。
具体的には、処理装置210がアプリケーションプログラム(アプリ)を実行すると、インパルス信号を生成し、伝達特性の測定を開始する。なお、処理装置210は、図1に示した頭外定位処理装置100と同一の装置であってよいし、別の装置であってもよい。処理装置210と頭外定位処理装置100とが同一の装置である場合、処理装置210が、測定された伝達特性をメモリ61等に記憶する。処理装置210と頭外定位処理装置100とが別の装置である場合、処理装置210は頭外定位処理装置100へ、有線通信又は無線通信によって、伝達特性(伝達関数)を送信する。なお、測定用の信号はインパルス信号に限らず、TSP(Time Streched Pulse)信号やM系列信号等の他の信号を用いてもよい。
図2では、受聴者Uの前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは左右対称に配置されている。左スピーカ5Lと右スピーカ5Rを備えているステレオスピーカ5は、音声出力端子9を介して、処理装置210と接続されている。音声出力端子9がステレオ出力端子となっているため、左スピーカ5Lと右スピーカ5Rとに接続されているが、音声出力端子9は、モノラル出力端子であってもよい。この場合、音声出力端子9は、1つのスピーカと接続される。そして、スピーカを受聴者Uの左前方の位置(つまり、図2中の左スピーカ5Lの位置)から右前方の位置(つまり、図2中の右スピーカ5Rの位置)に変えることで左スピーカからの伝達特性と右のスピーカからの伝達特性を測定することができる。
また、モノラル入力端子8と音声出力端子9は、共通の入出力端子であってもよい。この場合、3極又は4極のプラグを接続することにより、音声を入出力することができる。さらに、処理装置210はBluetooth(登録商標)などの無線通信によって、スピーカユニット5に測定信号を出力してもよい。
処理装置210は、左スピーカ5Lと右スピーカ5Rのそれぞれから出力されるインパルス信号を生成する。すなわち、測定装置200は、左スピーカ5Lから左のマイク2Lまでの伝達特性Hlsの測定と、右スピーカ5Rから右のマイク2Rまでの伝達特性Hloの測定とをそれぞれ行う。なお、図2では、受聴者Uの前方左側に左スピーカ5Lを、前方右側に右スピーカ5Rをそれぞれ配置したが、スピーカの配置は任意の位置でよく、この配置に限らない。また、配置するスピーカの数は、1でもよく、2より多くてもよい。
また、受聴者Uの左耳3Lの外耳道入口、又は鼓膜位置に収音用のマイク2Lが設置される。受聴者Uの右耳3Rの外耳道入口、又は鼓膜位置に収音用のマイク2Rが設置される。なお、受聴者Uは、人でもよく、ダミーヘッドでもよい。したがって、本実施形態において、受聴者Uは人だけでなく、ダミーヘッドを含む概念である。左のマイク2L、及び右のマイク2Rを有するマイクユニット2は、切替器7と接続されている。なお、切替器7は、マイクユニット2に内蔵されていてもよい。
切替器7は、処理装置210に設けられたモノラル入力端子8にケーブルを介して接続されている。したがって、左のマイク2L、及び右のマイク2Rは、切替器7を介して、モノラル入力端子8に接続されている。さらに、マイクユニット2は、モノラル入力端子8を介して、処理装置210に接続されている。よって、マイクユニット2で収音された収音信号は、切替器7、及びモノラル入力端子8を介して、処理装置210に入力される。
切替器7は、左右のマイク2L、2Rの一方又は両方で収音された収音信号がモノラル入力端子8に入力されるよう、マイクユニット2の出力を切替える。加算器7bは、左のマイク2Lからの信号と右のマイク2Rからの信号とを加算する。スイッチ7aは、左のマイク2Lのみの出力、右のマイク2Rのみの出力、及び加算器7bからの出力を選択的に切り替える。切替器7の制御は、処理装置210が行ってもよく、受聴者Uが行ってもよい。
受聴者U又は処理部63がスイッチ7aを制御することで、接続状態が切替えられる。スイッチ7aが左のマイク2Lに接続した状態を第1の接続状態とする。スイッチ7aが右のマイク2Rに接続した状態を第2の接続状態とする。スイッチ7aが加算器7bに接続した状態を第3の接続状態とする。第1〜第3の接続状態で、マイクユニット2がスピーカで発生した音をそれぞれ収音する。ここで、第1の接続状態で収音した信号を第1の収音信号sLとする。第2の接続状態で収音した信号を第2の収音信号sRとする。第3の接続状態で収音した信号を第3の収音信号sCとする。
左のマイク2Lのみで収音される信号が第1の収音信号sLとなる。右のマイク2Rのみで収音される信号が第2の収音信号sRとなる。左右のマイク2L、2Rで収音される2つの信号を加算した信号が第3の収音信号sCとなる。第3の収音信号sCは、第1の収音信号sLと第2の収音信号sRが重ね合わされた信号となる。
ここで、上面視において、ユーザUの真正面を基準とする入射音の角度を入射角φとする(図3参照)。入射角φは、水平面内において、受聴者Uの正面方向を0°とする見開き角度であり、0〜90°の範囲となる。入射角φが任意の角度θの場合の伝達特性Hls、Hloを求める処理について以下に説明する。
図4に示すように、スピーカ5Lが角度θの位置に配置された状態での測定を特性測定とする。特性測定において、左スピーカ5Lはインパルス信号を再生する。処理装置210は切替器7を切替えて、収音信号を測定する。すなわち、切替器7がマイクユニット2の出力を切替えて、左スピーカ5Lからのインパルス信号による伝達特性の測定を2回実施する。これにより、左スピーカ5Lからのインパルス信号に対して、処理装置210が第1、及び第2の収音信号をそれぞれ収録する。
さらに、処理装置210は、スピーカから左右の耳へ音が到達する時間の時間差ITDを算出している(図3参照)。具体的には、左のスピーカ5Lから左のマイク2Lにインパルス信号が到達するまでの時間をtL、右のスピーカ5Rから右のマイク2Rにインパルス信号が到達するまでの時間をtRとすると、時間差ITDはtLとtRの差分(tL−tR)により求められる。ところが、第1の収音信号sLと第2の収音信号sRの収音は別々に行われているため、第1の収音信号sLと第2の収音信号sRのみからでは、時間差ITDを正確に求めることが困難になる。
そこで、処理装置210は、任意の角度θに配置した場合の時間差ITDθ(以下、入射時間差ITDθともいう)を、角度θ、正面時間差ITD0、及び両耳間距離Dに基づいて求めている。このようにすることで、角度θの方向にスピーカを配置した特性測定において、第3の収音信号を測定しなくても、伝達特性Hls、Hloを正確に求めることができる。
なお、両耳間距離Dは、受聴者Uの左耳から右耳までの距離である(図3参照)。正面時間差ITD0は、受聴者Uの正面前方にスピーカを配置した正面測定で取得される。正面時間差ITD0については後述する。
右スピーカ5Rについても同様の測定を行うことで、処理装置210が右スピーカ5Rに対する第1、及び第2の収音信号をそれぞれ収録する。処理装置210は、右スピーカ5Rに対する第1、及び第2の収音信号に基づいて、伝達特性HRo、HRsを求める。
本実施の形態では、角度θにスピーカ5L、5Rが配置された状態で、第3の収音信号を取得することが不要となる。よって、特許文献2に比べて、少ない収音回数で、伝達特性を測定すること可能となる。例えば、スピーカ5L、5Rの配置を変えて、伝達特性Hls、Hlo、HRo、HRsを複数セット測定する場合、収音回数の増加を抑制することができる。
上記の処理について、図5を用いて、詳細に説明する。図5は、処理装置210の構成を示す制御ブロック図である。処理装置210は、測定信号生成部211と、収音信号取得部212と、正面時間差取得部213と、両耳間距離取得部214と、入射時間差算出部215と、伝達特性生成部216と、を備えている。なお、以下の説明では、左スピーカ5Lを用いた場合の処理について説明を行うが、右スピーカ5Rを用いた場合の処理についても同様であるため、適宜説明を省略する。
上記したように、処理装置210は、モノラル入力端子8を備えた情報処理装置であり、メモリ61、操作部62、及び処理部63を備えている(図2を合わせて参照)。メモリ61は、処理プログラムや各種パラメータや測定データなどを記憶している。処理部63は、CPU(Central Processing Unit)等のプロセッサを有しており、メモリ61に格納された処理プログラムを実行する。処理部63が処理プログラムを実行することで、測定信号生成部211と、収音信号取得部212と、正面時間差取得部213と、両耳間距離取得部214と、入射時間差算出部215と、伝達特性生成部216と、における各処理が実施される。
測定信号生成部211は、測定信号を生成する。測定信号生成部211で生成された測定信号は、D/A変換器(不図示)でD/A変換されて、左スピーカ5Lに出力される。測定信号は、インパルス信号やTSP信号等であってもよい。測定信号はインパルス音等の測定音を含んでいる。
収音信号取得部212は、左マイク2L、右マイク2Rからの収音信号を取得する。なお、マイク2L、2Rからの収音信号は、A/D変換器(不図示)でA/D変換されて、収音信号取得部212に入力される。収音信号取得部212は、複数回の測定により得られた信号を同期加算してもよい。さらに、切替器7がスピーカ5Lからのモノラル入力端子8への入力を切替えている。収音信号取得部212は、第1〜第3の収音信号をそれぞれ取得する。
正面時間差取得部213は、受聴者Uの正面時間差ITD0を取得する。正面時間差ITD0を取得するための正面測定について、図6、及び図7を用いて説明する。図6は、正面時間差ITD0を取得するための正面測定の構成を模式的に示す上面図である。図7は、正面測定の処理を示すフローチャートである。
正面測定では、スピーカが左右の中央に配置されているため、図6のように、スピーカ5Cとして示している。図6では、スピーカ5Cが受聴者Uの真正面に配置されている。スピーカ5Cの左右の中心が、受聴者Uの左右の中心に一致している。入射角φ=0°となっている。
顔や耳の形状が完全に左右対称であれば、真正面に配置されたスピーカ5Cから左耳3Lまでの到達時間と、スピーカ5Lから右耳までの到達時間とは同じになるはずである。しかしながら、実際には、頭部や耳介形状の差によって微小な距離の差が生じ、その結果、正面時間差ITD0が発生する。つまり、正面時間差ITD0は、受聴者U個人の顔や耳の形状が持つ反射や回折によって生じる時間差となる。
処理装置210が、マイク2Lに入力されるLch信号の測定を行う(S11)。具体的には、切替器7を切替えて第1の接続状態として、測定信号生成部211が、スピーカCからインパルス信号を出力させる。これにより、収音信号取得部212が第1の収音信号sLを収音する。第1の収音信号sLは、スピーカ5Cから左耳3L(マイク2L)までの伝達特性CHlsに対応している。処理装置210は、第1の収音信号sLのデータをメモリ61等に記憶する。
次に、マイク2Rに入力されるRch信号の測定を行う(S12)。具体的には、切替器7を切替えて第2の接続状態として、測定信号生成部211が、スピーカ5Cからインパルス信号を出力させる。これにより、収音信号取得部212が第2の収音信号sRを収音する。第2の収音信号sRは、スピーカ5Cから右耳3R(マイク2L)までの伝達特性CHrsに対応している。処理装置210は、第2の収音信号sRのデータをメモリ61等に記憶する。
さらに、マイク2Lに入力されるLchの信号とマイク2Rに入力されるRchの信号とが加算された信号の測定を行う(S13)。具体的には、切替器7を切替えて第3の接続状態として、測定信号生成部211が、左スピーカ5Lからインパルス信号を出力させる。これにより、収音信号取得部212が第3の収音信号sC(=sL+sR)を収音する。処理装置210は、第3の収音信号sCのデータをメモリ61等に記憶する。なお、第1〜第3の収音信号の測定順序は特に限られるものではない。S11〜S13は、スピーカ5Cが受聴者Uの正面に配置されている状態で実施される。
正面時間差取得部213は、第1〜第3の収音信号に基づいて、スピーカ5Cから左右のマイク2L、2Rに音が到達するまでの時間差(正面時間差ITD0)を算出する(S14)。正面時間差取得部213は、第1の収音信号sLと第2の収音信号sRとの間に、遅延時間dtを与えて、加算した信号を加算信号yとして求める。正面時間差取得部213は、加算信号yと第3の収音信号sCとの相互相関関数を求める。収音信号の測定時間(フィルタ長)をLfとし、遅延時間dtを−Lf〜Lfまで変えたときに、相互相関関数が最も高いときの遅延時間dtが正面時間差ITD0となる。
正面測定では、第1の収音信号sLと第2の収音信号sRのどちらの信号が遅延するか明らかではないため、第1の収音信号sLに遅延を与えた場合と第2の収音信号sRに遅延を与えた場合との双方において加算信号yを算出する必要がある。すなわち、第1の収音信号sLを第2の収音信号sRよりも遅延させた場合と、第2の収音信号sRを第1の収音信号sLよりも遅延させた場合で、相互相関関数を求める。そのため、遅延時間の範囲を−Lf〜+Lfとしている。また、遅延時間t=0の時、第1の収音信号sLと第2の収音信号sRの出現タイミング(つまり、耳に最初に到達する直接音のタイミング)は一致している。
図5の説明に戻る。両耳間距離取得部214は、両耳間距離Dを取得する。両耳間距離Dは、例えば、横方向測定により取得することができる。横方向測定の構成を図8に示す。横方向測定では、スピーカ5Lが受聴者Uの真横に配置されている。すなわち、入射角φ=90°となっている。
図8に示す横方向測定では、左スピーカ5Lから左耳3Lまでの到達時間が、スピーカ5Lから右耳3Rまでの到達時間よりも短くなる。具体的には、受聴者Uの頭部の幅だけ、左耳3Lに音が早く到達する。さらに、φ=90°=π/2[rad]の時に、時間差ITDが最大となるため、横方向測定で求められる時間差を最大時間差ITDmaxとする。両耳間距離取得部214は、最大時間差ITDmaxに基づいて、両耳間距離D(つまり、頭部の幅)を求める。
両耳間距離取得部214は、横方向測定での第1の収音信号sL、第2の収音信号sR、第3の収音信号sCを用いて、最大時間差ITDmaxを算出する。具体的には、図7に示すフローチャートにしたがって、両耳間距離取得部214が最大時間差ITDmaxを算出する。正面時間差ITD0と同様の手法により、収音信号取得部212が第1〜第3の収音信号を取得する。1の収音信号sLは、伝達特性Rhlsに対応し、第2の収音信号sRは、伝達特性Rhloに対応する。
図7のS14と同様に、両耳間距離取得部214は時間差ITDを求める。両耳間距離取得部214は横方向測定での第1の収音信号sLと第2の収音信号sRとの間に、遅延時間dtを与えて、加算した信号を加算信号yとして求める。そして、両耳間距離取得部214は加算信号yと第3の収音信号sCとの相互相関関数を求める。各収音信号の測定時間(フィルタ長)をLfとし、遅延時間dtを0〜Lfまで変えたときに、相互相関関数が最も高いときの遅延時間dtが最大時間差ITDmaxとなる。
横方向測定では、第2の収音信号sRが第1の収音信号sLよりも遅れるのは明らかであるため、第2の収音信号sRのみに対して遅延を与えればよい。そのため、遅延時間の範囲を0〜Lfとしている。また、遅延時間t=0の時、第1の収音信号sLと第2の収音信号sRの出現タイミング(つまり、耳に到達する直接音のタイミング)は一致している。
次に、両耳間距離取得部214は、最大時間差ITDmaxから両耳間距離Dを算出する。後述する両耳時間差モデルを用いると、両耳間距離Dと時間差ITDの関係式は、以下の式(1)のようになる。
φ+sinφ=2c×ITD/D ・・・(1)
φは入射角[rad]、cは音速、ITDは時間差、Dは両耳間距離である。式(1)では、受聴者Uの鼻から頬までの音路長を直線で近似し、頬から耳までの音路長を円弧で近似する両耳時間差モデルを用いている。式(1)の近似式に示されるように、両耳時間差ITDは、入射角φ及び両耳間距離Dに応じて変化する。
上面視における頭部の形状を半径rの円形とし、両耳間距離D=半径2rとすると、式(1)から以下の式(2)が得られる。
ITD=r(φ+sinφ)/c ・・・(2)
c=340m/secとする。横方向測定では、φ=π/2(=90°)となるため、φにπ/2を代入し、ITD=ITDmaxとすると両耳間距離Dが得られる。このように両耳間距離Dは、両耳時間差モデルに、時間差ITDmaxを適用することで、求められる。なお、横方向測定はφ=90°に限られるものではない。φが任意の値であっても、式(1)から両耳間距離Dを算出することができる。
図5の説明に戻る。入射時間差算出部215は、入射角φ=θにおける時間差を入射時間差ITDθとして求める。入射時間差算出部215は、両耳時間差モデルに角度θ及び両耳間距離Dを適用して推定時間差を推定している。さらに、入射時間差算出部215は、推定時間差に正面時間差を加えることで、入射時間差ITDθを算出している。
具体的には、入射時間差算出部215は、両耳時間差モデルから導き出された式(1)の計算式において、φ=θ[rad]として、推定時間差を推定してる。すなわち、入射時間差算出部215は、上記の式(1)において、φ=θ/(2π)[rad]としたときの時間差ITDを推定時間差として求める。さらに、入射時間差算出部215は、推定時間差に正面時間差ITD0を加算することで、入射時間差ITDθを求める。このようにすることで、受聴者Uに最適な入射時間差ITDθを求めることができる。
伝達特性生成部216は、特性測定において収音された第1の収音信号sLと第2の収音信号sRとの間に、入射時間差ITDθに応じた遅延を与えることで、伝達特性Hls、Hloを生成する。特性測定は、図4に示したように、スピーカ5Lが角度θの方向に配置された状態で実施されている。
具体的には、第1の収音信号sLと第2の収音信号sRの出現タイミングを一致させた状態から、入射時間差ITDθだけ、第2の収音信号sRを遅延させる。そして、第1の収音信号sLを伝達特性Hlsとし、遅延時間が与えられた第2の収音信号sRを伝達特性Hloとする。また、所定のフィルタ長で切り出すことで、伝達特性Hls、Hloを算出してもよい。
Rchのスピーカに対して同様の処理が実施される。具体的には、受聴者Uの右前方の角度θの位置に配置された右スピーカ5Lを用いて特性測定を行う。左スピーカ5Lでの処理と同様に、入射時間差算出部215は、角度θ、両耳間距離D、正面時間差ITD0に基づいて、入射時間差ITDθを求める。なお、両耳間距離Dと、正面時間差ITD0は、左右の伝達特性で共通とすることができる。
伝達特性生成部216は、第1の収音信号sLと第2の収音信号sRとの出現タイミングを一致させた状態から、入射時間差ITDθだけ、第1の収音信号sLを遅延させる。伝達特性生成部216は、遅延時間が与えられた第1の収音信号sLを伝達特性Hroとし、第2の収音信号sRを伝達特性Hrsとする。また、所定のフィルタ長で切り出すことで、伝達特性Hrs、Hroを算出してもよい。このようにすることで、頭外定位処理に用いられる1セットの伝達特性Hls、Hlo、Hrs、Hroを取得することができる。図1に示した頭外定位処理装置100は、伝達特性Hls、Hlo、Hrs、Hroを用いて、頭外定位処理を実施する。
上記の通り、両耳間距離Dと、正面時間差ITD0は、伝達特性Hls、Hloと、伝達特性HRo、HRsとで共通の値を用いることができる。よって、両耳間距離Dを取得するための横方向測定は、一人の受聴者Uに対して1回実施される。同様に、正面時間差ITD0を取得するための正面測定は、一人の受聴者Uに対して1回実施される。
以上まとめると、処理装置210は、正面測定、及び横方向測定では、第1〜第3の収音信号を取得し、特性測定では、第1及び第2の収音信号を取得する。従って、伝達特性の数を増やしたい場合、すなわち、スピーカを様々な場所に配置して伝達特性を測定したい場合、特許文献2に比べて、全体の収音回数を低減することができる。
具体的には、スピーカの配置数をNとすると、特許文献2では、それぞれの配置で、第1〜第3の収音信号を測定するため、(3N)個の収音信号を収音する必要がある。一方、正面測定と横方向測定は、左右両方のスピーカに対して行う必要が無いため、本実施の形態では、(2N+6)個の収音信号を収音するだけでよい。これにより、スピーカの配置数を増やした場合でも、簡便に伝達特性を測定することができる。
本実施の形態では、正面測定で得られた正面時間差ITD0を用いて、入射時間差ITDθを算出している。上記のように正面時間差ITD0は、受聴者Uの顔や耳介の形状を反映した値となっているため、より正確に、伝達特性を算出することができる。さらに、受聴者Uに対して測定された両耳間距離D、第1及び第2の収音信号を用いているため、受聴者Uの顔や耳介の形状を反映した伝達特性を求めることができる。よって、受聴者Uに適した頭外定位処理を実施することができる。
本実施の形態では、収音回数を少なくすることができるため、測定に起因する誤差を低減することができる。例えば、収音回数が多くなると、測定途中で、受聴者Uの姿勢が変化してしまうおそれがある。受聴者Uの姿勢が変化してしまうと、適切な伝達特性を取得することができなくなってしまう。本実施の形態では、収音回数を少なくすることができるため、測定時間を短縮することができる。測定に起因する誤差を低減することができる。
図9を用いて、本実施の形態にかかる処理方法について説明する。図9は、本実施の形態にかかる処理方法を示すフローチャートである。なお、既に説明した内容については、適宜、説明を省略する。
両耳間距離取得部214が両耳間距離Dを取得する(S21)。具体的には、図8に示すスピーカ配置において、横方向測定が行われる。両耳間距離取得部214は、横方向測定で得られた第1〜第3の収音信号に基づいて、両耳間距離Dを算出する。横方向測定は、φ=90°に限られるものではなく、φを任意の角度とした状態で行うことができる。
両耳間距離Dは、横方向測定以外の測定で取得することも可能である。例えば、カメラ画像により両耳間距離Dを求めることも可能である。処理装置210のカメラが、受聴者Uの頭部を撮像する。処理部63が画像処理により、両耳間距離Dを算出してもよい。
あるいは、受聴者Uやその他の人が、スケールなどの測定機器を用いて両耳間距離Dを測定してもよい。この場合、受聴者U等が、操作部62を操作して、測定値を入力する。さらに、他の装置などで予め受聴者Uの両耳間距離Dが測定されていてもよい。この場合、他の装置から処理装置210に測定値が予め送信されていてもよく、処理装置210がその都度読み出すようにしてもよい。
正面時間差取得部213が、正面時間差ITD0を取得する(S22)。ここでは、図6に示すスピーカ配置において、正面測定が行われる。正面時間差取得部213は、正面測定で得られた第1〜第3の収音信号に基づいて、正面時間差ITD0を算出する。なお、他の装置などで予め正面時間差ITD0が測定されていてもよい。この場合、他の装置から処理装置210に測定値が予め送信されていてもよく、処理装置210がその都度読み出すようにしてもよい。
両耳間距離D、及び正面時間差ITD0が、予め他の装置で測定されている場合、切替器7が第3の接続状態に切替えることが不要となる。切替器7は第1の接続状態と第2の接続状態とを切替えるように構成されていればよい。
入射時間差算出部215が、入射時間差ITDθを算出する(S23)。上記の通り、入射時間差算出部215は、角度θ、正面時間差ITD0、両耳間距離Dを用いて、入射時間差ITDθを算出する。
次に、特性測定により、収音信号取得部212が第1及び第2の収音信号を取得する(S24)。そして、伝達特性生成部216は、第1及び第2の収音信号との間に入射時間差ITDθに応じた遅延時間を与えて、伝達特性を生成する(S25)。上記の処理を、スピーカの配置数だけ繰り返し行う。
このようにすることで、受聴者U個人に適した伝達特性を生成することができる。なお、横方向測定、特性測定、正面測定の順番は、図9のフローチャートに示す順番に限られるものではない。すなわち、S21〜S24の処理の順番は特に限定されるものではない。例えば、S22の後にS21が実施されていてもよい。
なお、両耳間距離D、及び入射時間差ITDθを求めるための両耳時間差モデルは、式(1)に示す計算式に限定されるものではない。例えば、受聴者Uの顔の輪郭全体を円弧で近似してもよい。あるいは、顔の輪郭全体を直線や多項式で近似してもよい。
図2では、受聴者Uの前方にステレオスピーカ5が配置されている測定構成を示したが、スピーカは1つであってもよい。この場合、Lchのスピーカの特性測定では、スピーカを受聴者Uの左前方に配置し、Rchのスピーカの特性測定ではスピーカを受聴者Uの右前方に配置する。この場合、モノラル出力端子での測定が可能となる。
なお、図5に示す正面測定では、受聴者Uの真正面にスピーカ5Cを配置することが好ましい。すなわち、左右方向におけるスピーカ5Cの中心が、受聴者Uの顔の中心と一致することが好ましい。スピーカ5Cが受聴者Uの真正面からわずかにずれてしまうと、正面時間差ITD0に測定誤差が含まれてしまう。従って、スピーカ5Cがφ=0の方向、つまり真正面に配置することが重要となる。以下、スピーカ5Cが受聴者Uの真正面に配置されているかを確認する方法について、図10を用いて説明する。
図10は、スピーカ5Cが受聴者Uの真正面、つまり、φ=0°の位置に配置されているかを確認するための構成を示している。図10に示すように、処理装置210は、第1カメラ251と第2カメラ252とを備えている。例えば、タブレットPCやスマートホンに搭載されているインカメラとアウトカメラが、それぞれ第1カメラ251、第2カメラ252となる。
第1カメラ251が受聴者Uの顔を撮像し、第2カメラ252が受聴者Uの前方に配置されたスピーカ5Cを撮像する。そして、処理装置210は、第1カメラ251の撮像画像と第2カメラ252の撮像画像とを画像処理することで、スピーカ5Cが受聴者Uの真正面に配置されているか否かを判定する。例えば、処理装置210は、画像処理により、スピーカ5Cが配置された角度φを求める。処理装置210は、角度φが閾値以下であるか否かに応じて、スピーカ5Cが真正面に配置されているか否かを判定する。
図10に示すように、スピーカ5Cが受聴者Uの真正面に配置されていない場合、スピーカ5Cが左右方向にずれていることを処理装置210が受聴者Uに知らせる。例えば、処理装置210は、表示画面中にずれている方向を表示する。この場合、受聴者Uがスピーカ5Cと受聴者Uとの相対位置を調整する。
スピーカの角度φが閾値以下となった場合、処理装置210は、正面測定を可能とさせる。例えば、処理装置210は、正面測定ボタンを表示画面に表示する。受聴者Uが正面測定ボタンをタッチすることで、正面測定が開始する。このようにすることで、より正確に正面時間差ITD0を測定することができる。
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
U 受聴者
7 切替器
10 頭外定位処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 フィルタ部
42 フィルタ部
43 ヘッドホン
200 測定装置
210 処理装置
211 測定信号生成部
212 収音信号取得部
213 正面時間差取得部
214 両耳間距離取得部
215 入射時間差算出部
216 伝達特性生成部

Claims (4)

  1. 音源から出力される音を受聴者に装着された左右のマイクにより収音することで得られた収音信号を処理する処理装置であって、
    前記受聴者の正面前方から角度θだけ傾いた方向に前記音源が配置された状態での特性測定を行うため、前記音源から出力される測定信号を生成する測定信号生成部と、
    前記左右のマイクで収音された収音信号が入力されるモノラル入力端子と、
    前記モノラル入力端子を介して、前記左右のマイクで収音された収音信号を取得する収音信号取得部と、
    左の前記マイクのみから収音された第1の収音信号、及び、右の前記マイクのみから収音された第2の収音信号がそれぞれ前記モノラル入力端子に入力されるように接続状態を切替える切替器と、
    前記受聴者の両耳間距離を取得する両耳間距離取得部と、
    前記受聴者の正面前方に配置された前記音源から左右の前記マイクまでの到達時間の時間差を正面時間差として取得する正面時間差取得部と、
    前記角度θと、前記正面時間差と、前記両耳間距離と、に基づいて、入射時間差を算出する入射時間差算出部と、
    前記特性測定において取得された前記第1及び第2の収音信号に前記入射時間差に応じた遅延を与えて、前記音源から前記左右のマイクまでの伝達特性を算出する伝達特性生成部と、を備え
    前記切替器は、前記第1の収音信号、前記第2の収音信号、及び左右の前記マイクから収音された第3の収音信号がそれぞれ前記モノラル入力端子に入力されるように接続状態を切替え、
    前記収音信号取得部は、前記受聴者の正面前方に前記音源が配置された状態の正面測定で、前記第1〜第3の収音信号をそれぞれ取得し、
    前記正面時間差取得部は、前記正面測定で取得された前記第1〜第3の収音信号に基づいて、前記正面時間差を算出し、
    前記収音信号取得部は、前記受聴者の横方向に前記音源が配置された状態の横方向測定で、前記第1〜第3の収音信号をそれぞれ取得し、
    前記両耳間距離取得部は、前記横方向測定で取得された前記第1〜第3の収音信号に基づいて、前記両耳間距離を算出する処理装置。
  2. 前記入射時間差算出部は、
    前記角度θを入射角φ、前記両耳間距離をD、音速をc、推定時間差をITDとして、次の式により、推定時間差ITDを求めて、
    φ+sinφ=2c×ITD/D、
    前記推定時間差ITDに、前記正面時間差を加えることで、前記入射時間差を算出する請求項1に記載の処理装置。
  3. 音源から出力される音を受聴者に装着された左右のマイクにより収音することで得られた収音信号を処理する処理装置における処理方法であって、
    前記処理装置は、前記受聴者の正面前方から角度θだけ傾いた方向に配置された前記音源に測定信号を出力することで特性測定を行い、
    前記処理装置は、モノラル入力端子を備え、
    前記モノラル入力端子と前記左右のマイクとの間には、切替器が設けられており、
    前記切替器は、左の前記マイクのみから収音された第1の収音信号、及び、右の前記マイクのみから収音された第2の収音信号がそれぞれ前記モノラル入力端子に入力されるよう、前記モノラル入力端子への入力を切替え、
    前記処理方法は、
    前記受聴者の両耳間距離を取得するステップと、
    前記受聴者の正面前方に配置された前記音源から左右の前記マイクまでの到達時間の時間差を正面時間差として取得するステップと、
    前記角度θと、前記正面時間差と、前記両耳間距離と、に基づいて、入射時間差を算出するステップと、
    前記特性測定において取得された前記第1及び第2の収音信号に前記入射時間差に応じた遅延を与えて、前記音源から前記左右のマイクまでの伝達特性を算出するステップと、を含み、
    前記切替器は、前記第1の収音信号、前記第2の収音信号、及び左右の前記マイクから収音された第3の収音信号がそれぞれ前記モノラル入力端子に入力されるように接続状態を切替え、
    前記受聴者の正面前方に前記音源が配置された状態の正面測定で、前記第1〜第3の収音信号をそれぞれ取得するステップと、
    前記正面測定で取得された前記第1〜第3の収音信号に基づいて、前記正面時間差を算出するステップと、
    前記受聴者の横方向に前記音源が配置された状態の横方向測定で、前記第1〜第3の収音信号をそれぞれ取得するステップと、
    前記横方向測定で取得された前記第1〜第3の収音信号に基づいて、前記両耳間距離を算出するステップと、をさらに含む処理方法。
  4. 左右のマイクにより収音することで得られた収音信号を処理する処理方法をコンピュータに実行させるプログラムであって、
    前記コンピュータは、受聴者の正面前方から角度θだけ傾いた方向に配置された音源に測定信号を出力することで特性測定を行い、
    前記コンピュータは、モノラル入力端子を備え、
    前記モノラル入力端子と前記左右のマイクとの間には、切替器が設けられており、
    前記切替器は、左の前記マイクのみから収音された第1の収音信号、及び、右の前記マイクのみから収音された第2の収音信号がそれぞれ前記モノラル入力端子に入力されるよう、前記モノラル入力端子への入力を切替え、
    前記処理方法は、
    前記受聴者の両耳間距離を取得するステップと、
    前記受聴者の正面前方に配置された前記音源から左右の前記マイクまでの到達時間の時間差を正面時間差として取得するステップと、
    前記角度θと、前記正面時間差と、前記両耳間距離と、に基づいて、入射時間差を算出するステップと、
    前記特性測定において取得された前記第1及び第2の収音信号に前記入射時間差に応じた遅延を与えて、前記音源から前記左右のマイクまでの伝達特性を算出するステップと、を含み、
    前記切替器は、前記第1の収音信号、前記第2の収音信号、及び左右の前記マイクから収音された第3の収音信号がそれぞれ前記モノラル入力端子に入力されるように接続状態を切替え、
    前記受聴者の正面前方に前記音源が配置された状態の正面測定で、前記第1〜第3の収音信号をそれぞれ取得するステップと、
    前記正面測定で取得された前記第1〜第3の収音信号に基づいて、前記正面時間差を算出するステップと、
    前記受聴者の横方向に前記音源が配置された状態の横方向測定で、前記第1〜第3の収音信号をそれぞれ取得するステップと、
    前記横方向測定で取得された前記第1〜第3の収音信号に基づいて、前記両耳間距離を算出するステップと、をさらに含むプログラム。
JP2018053764A 2018-03-22 2018-03-22 処理装置、処理方法、及びプログラム Active JP6981325B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018053764A JP6981325B2 (ja) 2018-03-22 2018-03-22 処理装置、処理方法、及びプログラム
PCT/JP2019/009619 WO2019181599A1 (ja) 2018-03-22 2019-03-11 処理装置、処理方法、及びプログラム
US17/016,674 US11297427B2 (en) 2018-03-22 2020-09-10 Processing device, processing method, and program for processing sound pickup signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018053764A JP6981325B2 (ja) 2018-03-22 2018-03-22 処理装置、処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019168481A JP2019168481A (ja) 2019-10-03
JP6981325B2 true JP6981325B2 (ja) 2021-12-15

Family

ID=67986198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018053764A Active JP6981325B2 (ja) 2018-03-22 2018-03-22 処理装置、処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11297427B2 (ja)
JP (1) JP6981325B2 (ja)
WO (1) WO2019181599A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679446B (zh) * 2017-08-17 2019-03-15 平安科技(深圳)有限公司 人脸姿态检测方法、装置及存储介质
CN112153552B (zh) * 2020-09-10 2021-12-17 头领科技(昆山)有限公司 一种基于音频分析的自适应立体声系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111899A (ja) * 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 両耳聴装置
JPH10294999A (ja) * 1997-04-17 1998-11-04 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用音響信号合成装置
JP3435141B2 (ja) 2001-01-09 2003-08-11 松下電器産業株式会社 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム
JP6500664B2 (ja) * 2015-07-16 2019-04-17 株式会社Jvcケンウッド 音場再生装置、音場再生方法、及びプログラム

Also Published As

Publication number Publication date
US11297427B2 (en) 2022-04-05
WO2019181599A1 (ja) 2019-09-26
US20200413190A1 (en) 2020-12-31
JP2019168481A (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
US10129684B2 (en) Systems and methods for audio creation and delivery
US10798517B2 (en) Out-of-head localization filter determination system, out-of-head localization filter determination device, out-of-head localization filter determination method, and program
US10142733B2 (en) Head-related transfer function selection device, head-related transfer function selection method, head-related transfer function selection program, and sound reproduction device
US10412530B2 (en) Out-of-head localization processing apparatus and filter selection method
JP6515720B2 (ja) 頭外定位処理装置、頭外定位処理方法、及びプログラム
US11297427B2 (en) Processing device, processing method, and program for processing sound pickup signals
CN105246001B (zh) 双耳录音耳机重放系统及方法
JP6500664B2 (ja) 音場再生装置、音場再生方法、及びプログラム
JP6981330B2 (ja) 頭外定位処理装置、頭外定位処理方法、及びプログラム
JP6658026B2 (ja) フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法
US11937072B2 (en) Headphones, out-of-head localization filter determination device, out-of-head localization filter determination system, out-of-head localization filter determination method, and program
JP7395906B2 (ja) ヘッドホン、頭外定位フィルタ決定装置、及び頭外定位フィルタ決定方法
JP7404736B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
JP2019169836A (ja) マイクシステム、及び収音方法
KR102613035B1 (ko) 위치보정 기능의 이어폰 및 이를 이용하는 녹음방법
JP6988321B2 (ja) 信号処理装置、信号処理方法、及びプログラム
JP2023080769A (ja) 再生制御装置、頭外定位処理システム、及び再生制御方法
Lezzoum et al. Assessment of sound source localization of an intra-aural audio wearable device for audio augmented reality applications
KR20150081541A (ko) 사용자의 머리전달함수 기반 음향 조절 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6981325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150