JP6606921B2 - 発声方向特定装置 - Google Patents

Description

本発明は、ユーザが、車内の何れの方向に向けて音声を発したかを特定する発声方向特定装置に関する。

従来、車両には様々なデバイスが搭載されてきた。このようなデバイスには、運転中に使用されるものもある。ただし、運転中の操作は、運転に支障をきたす恐れがあるため、操作を補助する技術が検討されてきた（例えば特許文献１）。

特許文献１には、運転者がステアリング操作をしながら車載装置（上記「デバイス」の一例）の状態を調整できる車載装置調整装置が記載されている。この車載装置調整装置は、運転者が所定の車載装置を指定した場合に、運転者の顔向きを検出し、当該車載装置の状態を調整するよう構成されている。このような処理を実現すべく、車載装置調整装置は、マイクロフォンで運転者が発した音声を取得し、顔向きカメラにより運転者の顔を所定時間毎に撮影して顔の向きを検出する。

特開２００７−２３０３６９号公報

このように特許文献１に記載の技術では、車載装置の制御にあたり、マイクロフォンとカメラとを備える必要があるので演算処理や装置が複雑となりコストアップの要因となる。

そこで、ユーザが音声を発した方向を特定する低コストな発声方向特定装置が求められている。

本発明に係る発声方向特定装置の特徴構成は、車内において互いに異なる位置に設けられた複数のマイクと、所定の座席に座ったユーザから発せられた音声を前記複数のマイクで取得した夫々の結果を基準とする複数の基準音データとして記憶しておく基準音データ記憶部と、前記車内で、その後に前記複数のマイクで取得された夫々の音声を複数の評価用音データとして記憶する評価用音データ記憶部と、前記評価用音データが前記評価用音データ記憶部に記憶された際に、前記複数のマイクの夫々で取得された前記音声の大きさを示す当該評価用音データの夫々のレベルの最大振幅値を、前記複数のマイクのうち同じマイクで取得された音声に係る前記基準音データのレベルの最大振幅値で除した結果に基づいて、前記所定の座席のユーザが前記取得された音声を発した方向を演算する方向演算部と、を備えている点にある。

このような特徴構成とすれば、車内に設けられた複数のマイクで音声を取得された際に、当該音声に係る評価用音データと基準音データとを用いてユーザが音声を発した方向を特定することができる。したがって、ユーザの顔の向き等を判定するようなカメラ等が不要とすることができ、低コストで発声方向特定装置を実現できる。

また、前記方向演算部は、前記複数のマイクの夫々で取得された前記基準音データに係る音声の取得時間の差と、前記複数のマイクの夫々で取得された前記評価用音データに係る音声の取得時間の差との差異に基づいて前記評価用音データに係る音声が前記所定の座席に座ったユーザが発した音声であるか否かを判定すると好適である。

基準音データに係る音声と評価用音データに係る音声とが同じ座席のユーザから発せられた場合には、基準音データに係る夫々の音声の取得時間の差と、評価用音データに係る夫々の音声の取得時間の差とは、同じような値になるはずである。したがって、このような構成とすれば、評価用音データに係る音声が、基準音データに係る音声を発したユーザが発した音声であることを容易に特定することが可能となる。

また、前記方向演算部は、前記ユーザの位置に関して予め設定された所定の許容範囲と、前記基準音データとを用いて前記評価用音データに係る音声が前記所定の座席に座ったユーザが発した音声であるか否かを判定すると好適である。

例えば、運転中、運転席のユーザによっては、体を動かすことがあり得る。また、運転席以外の座席に座ったユーザも体を動かすことがある。そこで、本構成とすれば、ユーザが体を動かした場合であっても、適切にユーザが発した音声の方向を特定することが可能となる。

また、前記基準音データは、前記ユーザが予め設定された行為を行った時に前記基準音データ記憶部に記憶されると好適である。

ユーザは夫々体格が異なり、その結果、ユーザ毎に発音する位置が変わる。そこで、予め設定された行為として、例えばシート位置の調整行為が行われた場合に、ユーザに合わせて基準音を設定することができる。したがって、複数のユーザが車両に搭乗する場合であっても、ユーザに応じて音声の発した方向を特定することができる。

また、前記複数のマイクのうち、少なくとも２つのマイクは、前記所定の座席からの距離が異なる位置に設けられていると好適である。

このような構成とすれば、少なくとも２つのマイクで取得された音声の取得時間に差を生じさせることができる。したがって、ユーザが音声を発した方向をより確実に特定することができる。

発声方向特定装置の構成を模式的に示したブロック図である。 車内に備えられるマイクの位置を示す図である。 基準音データ記憶部に記憶される基準音データである。 評価用音データ記憶部に記憶される基準音データである。 評価用音データ記憶部に記憶される基準音データである。 評価用音データ記憶部に記憶される基準音データである。 発声方向特定装置の処理を示すフローチャートである。

本発明に係る発声方向特定装置は、ユーザが車内のどの方向に向かって音声を発したかを特定することができる。以下、本実施形態の発声方向特定装置１について説明する。

図１は、本実施形態の発声方向特定装置１の構成を模式的に示したブロック図である。図１に示されるように、発声方向特定装置１は、マイク１０、基準音データ記憶部２０、評価用音データ記憶部３０、方向演算部４０の各機能部を備えて構成され、特に基準音データ記憶部２０、評価用音データ記憶部３０、方向演算部４０は、ユーザの発声方向の特定に係る処理を行うために、ＣＰＵを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。

マイク１０は、車内において互いに異なる位置に複数、設けられる。図２には車両２の車室を透かした鳥瞰図が示される。本実施形態では、マイク１０は車室における右前部、左前部、右後部、左後部の４カ所に設けられる。この時、複数のマイク１０のうち、少なくとも２つのマイク１０は、夫々の座席からの距離が異なる位置に設けられても良い。具体的には、夫々、例えば左右のＡピラー及びＣピラーに設けても良い。以下では、マイク１０を特に区別する必要がある場合には、右前部に設けられたものをマイク１０Ａ、左前部をマイク１０Ｂ、右後部をマイク１０Ｃ、左後部をマイク１０Ｄとして説明する。

マイク１０は、音声を取得し、電気信号に変換する。マイク１０で取得され、電気信号に変換された音声は、後述する基準音データ記憶部２０及び評価用音データ記憶部３０に伝達される。

基準音データ記憶部２０は、所定の座席に座ったユーザから発せられた音声を複数のマイク１０で取得した結果を基準とする基準音データとして記憶しておく。所定の座席に座ったユーザとは、本実施形態では運転席に座った、発声方向特定装置１により発声方向を特定したい音声を発するユーザである。ユーザは運転席に座った状態で所定の音声を発し、この音声は複数のマイク１０で集音される。この時、ユーザは運転席に着座し、複数のマイク１０の中から設定した一つのマイク１０（例えば後述する「マイク１０Ａ」）に向って発声すると良い。マイク１０で取得された音声は電気信号に変換され、基準音データ記憶部２０に基準音データとして記憶される。

基準音データ記憶部２０に記憶された基準音データの一例が、図３に示される。図３の（ａ）はマイク１０Ａで取得された基準音データ、（ｂ）はマイク１０Ｂで取得された基準音データ、（ｃ）はマイク１０Ｃで取得された基準音データ、（ｄ）はマイク１０Ｄで取得された基準音データである。本実施形態では、上述したように複数のマイク１０のうち、少なくとも２つのマイク１０は、夫々の座席からの距離が異なる位置に設けられても良い。これにより、少なくとも２つのマイク１０で音声が取得された時間を異ならせることができる。本実施形態では、図３に示されるように、ユーザが音声を発した方向とマイク１０との位置関係により、最初に基準音データ（図３では、マイク１０Ａで取得された音声に係る基準音データ）が取得されてから他の基準音データが取得されるまでの時間（取得時間）、及び音声の大きさを示す基準音データのレベル（振幅値）が異なる。これらの取得時間の差は、夫々、基準時間として演算され、レベルの差は、夫々、基準レベルとして演算される。これらの基準時間及び基準レベルは、夫々の基準音データが記憶された時に、演算して記憶しておいても良いし、後述する発声方向を演算する際に、演算しても良い。

このような基準音データは、ユーザが予め設定された行為を行った時に基準音データ記憶部２０に記憶される。「予め設定された行為」とは、基準音データ記憶部２０に基準音データを記憶するトリガとなるものであり、例えばユーザが車両２を運転しようとして運転席に着座した行為、シート位置を調整した行為、着座後に、シートベルトを着用した行為、ルームミラーを調整した行為、エンジン始動後、シフトレバーをＤレンジに変更した行為等のいずれかとすることが可能である。もちろん、上記行為の都度、ユーザが実際に発声して基準音データを取得するように構成することも可能であるが、前回、ユーザが運転した際に取得して記憶されていた基準音データを読み出して基準音データ記憶部２０に記憶するように構成することも可能である。

評価用音データ記憶部３０は、車内で、その後に取得された音声を評価用音データとして記憶する。「その後に取得された音声」とは、上述の基準音データ記憶部２０に記憶された後で取得された音声を意味する。すなわち、基準音データに係る音声が発声された後に取得された音声であり、ユーザが車両２に搭載されるデバイスに対して指示する際に発せられる音声である。この時、ユーザは運転姿勢の状態で音声を発する。このような音声がマイク１０により取得されると、当該音声は電気信号に変換され、評価用音データ記憶部３０に評価用音データとして記憶される。

図４は、ユーザが車両２の右前の窓を開ける指示を行うために、当該右前の窓の方向を向いて発声した時に取得された評価用音データの例を示したものであり、図５は、ユーザが車両２の左前の窓を開ける指示を行うために、当該左前の窓の方向を向いて発声した時に取得された評価用音データの例を示したものである。また、図６は、助手席の乗員が発声した時に取得された評価用音データの例を示したものである。なお、図４−図６は、図３と同様に、（ａ）はマイク１０Ａで取得された評価用音データ、（ｂ）はマイク１０Ｂで取得された評価用音データ、（ｃ）はマイク１０Ｃで取得された評価用音データ、（ｄ）はマイク１０Ｄで取得された評価用音データである。評価用音データ記憶部３０には、このような評価用音データが記憶される。

方向演算部４０は、評価用音データが評価用音データ記憶部３０に記憶された際に、音声の大きさを示す基準音データのレベルと評価用音データのレベルとに基づいて、所定の座席のユーザが取得された音声を発した方向を演算する。方向演算部４０は、複数のマイク１０で音声が取得され、評価用音データが評価用音データ記憶部３０に記憶されたことをトリガとして、ユーザが音声を発した方向を演算する。

基準音データのレベルとは、図３に示される４つの基準音データの夫々の最大振幅値でｈ１、ｈ２、ｈ３、ｈ４である。評価用音データのレベルとは、図４−図６に示される夫々４つの評価用音データの最大振幅値でｋ１、ｋ２、ｋ３、ｋ４である。

ここで、本実施形態に係る方向演算部４０は、複数のマイク１０の夫々で取得された基準音データに係る音声の取得時間の差と、複数のマイク１０の夫々で取得された評価用音データに係る音声の取得時間の差との差異に基づいて方向を演算する。

「複数のマイク１０の夫々で取得された基準音データに係る音声」とは、基準音データ記憶部２０に記憶されている基準音データの元となる音声である。「音声の取得時間の差」とは、図３の例では、マイク１０Ａで基準音データに係る音声が取得されてから、他のマイク１０Ｂ−１０Ｄで基準音データに係る音声が取得されるまでの時間差である。具体的には、夫々、ｔ１、ｔ２、ｔ３が相当する。

「複数のマイク１０の夫々で取得された評価用音データに係る音声」とは、評価用音データ記憶部３０に記憶された評価用音データの元となる音声である。「音声の取得時間の差」とは、図４−図６の例では、マイク１０Ａで評価用音データに係る音声が取得されてから、他のマイク１０Ｂ−１０Ｄで評価用音データに係る音声が取得されるまでの時間差である。具体的には、夫々、ｓ１、ｓ２、ｓ３が相当する。

方向演算部４０は、図４−図６のような評価用音データが取得された場合には、マイク１０間の評価用音データの時間差が、夫々対応する基準時間と同じか否かを判定する。マイク１０間の評価用音データの時間差とは、上述したｓ１、ｓ２、ｓ３である。この時、ｔ１＝ｓ１、ｔ２＝ｓ２、ｔ３＝ｓ３である場合には、運転席のユーザが音声を発したと判定する。

次に、方向演算部４０は、評価用音データのレベルと基準音データのレベルとの相対レベルを演算する。具体的には、評価用音データの夫々のレベルを、同じマイク１０Ａ−１０Ｄで取得された音声に係る基準音データのレベルで除算し、そのマイク１０Ａ−１０Ｄ毎の演算結果のうち、最も大きい値となったレベルを有する評価用音データに係る音声が取得されたマイク１０の方に向ってユーザが発声したと判定する。すなわち、方向演算部４０は、ｋ１／ｈ１、ｋ２／ｈ２、ｋ３／ｈ３、ｋ４／ｈ４を演算し、演算結果が最も大きくなったマイク１０の方に向って発声したと判定する。図４の例では、ｋ１／ｈ１が最も大きいので、方向演算部４０は、ユーザがｋ１に係る評価用音データが取得されたマイク１０Ａの方を向いて発声したと判定する。

また、図５の評価用音声データが取得された場合には、ｔ１＝ｓ１、ｔ２＝ｓ２、ｔ３＝ｓ３であることから、方向演算部４０は運転席のユーザが音声を発したと判定し、更にｋ１／ｈ１、ｋ２／ｈ２、ｋ３／ｈ３、及びｋ４／ｈ４のうちの最も大きい演算結果であるｋ２／ｈ２に係るマイク１０Ｂの方を向いて発声したと判定する。

ここで、ユーザは、運転姿勢であっても、僅かながら体を動かしたり顔を動かしたりすることがある。このような場合でも、運転席に着座するユーザが発声した音声が否かを適切に判定するために、方向演算部４０は、ユーザの位置に関して予め設定された所定の許容範囲と、基準音データとを用いて方向を演算すると良い。上述の例では、ｓ１、ｓ２、及びｓ３の夫々が、ｔ１、ｔ２、及びｔ３の夫々に対して予め設定された許容範囲（例えば±５％）内にあれば、方向演算部４０は運転席のユーザが音声を発したと判定すると良い。すなわち、この時には、ｔ１≒ｓ１、ｔ２≒ｓ２、ｔ３≒ｓ３である場合に、方向演算部４０は運転席のユーザが音声を発したと判定すると良い。

また、図６の評価用音声データが取得された場合には、ｔ１≠ｓ１、ｔ２≠ｓ２、ｔ３≠ｓ３であることから、方向演算部４０は運転席以外の席に座る乗員が音声を発したと判定し、発声方向の判定を終了する。このようにして発声方向特定装置１は、運転席のユーザが音声を発した方向を特定することが可能となる。

次に、発声方向特定装置１の処理を図７のフローチャートを用いて説明する。ユーザの基準音データが既に有している場合には（ステップ＃１：Ｙｅｓ）、当該ユーザに合致する基準音データが基準音データ記憶部２０に記憶される（ステップ＃２）。一方、ユーザの基準音データを有していない場合には（ステップ＃１：Ｎｏ）、ユーザにより発声された音声に基づき基準音データが取得され（ステップ＃３）、基準音データ記憶部２０に記憶される（ステップ＃２）。

基準音データ記憶部２０に基準音データが記憶されている状態において、評価用音データ記憶部３０に評価用音データが記憶されると（ステップ＃４：Ｙｅｓ）、方向演算部４０が基準音データに係る音声の取得時間と、評価用音データに係る音声の取得時間との差異が、夫々のマイク１０毎に所定に範囲内にあるか否かを判定する。全てのマイク１０において、夫々の取得時間の差異が所定の範囲内であれば（ステップ＃５：Ｙｅｓ）、マイク間の相対レベルを演算する。相対レベルが最大のものがあれば（ステップ＃６：Ｙｅｓ）、当該最大の相対レベルに関する評価用音データに係る音声が取得されたマイク１０の方に向ってユーザが発声したと特定する（ステップ＃７）。特定された結果は、発声方向特定装置１の演算結果を利用する上位システムに転送される（ステップ＃８）。同一のユーザが継続して車両２の運転を行う場合には（ステップ＃９：Ｎｏ）、ステップ＃４に戻り処理を継続する。一方、運転を終了する場合には（ステップ＃９：Ｙｅｓ）、処理を終了する。

一方、ステップ＃５において、少なくともいずれか一つのマイク１０で、夫々の取得時間の差異が所定の範囲内でない場合（ステップ＃５：Ｎｏ）や、ステップ＃７において相対レベルが最大のものがない場合（ステップ＃６：Ｎｏ）には、発声された方向を特定することなく、ステップ＃９から処理を継続する。このようなフローに沿って発声方向特定装置１は、ユーザが発声した方向を特定する。

〔その他の実施形態〕
上記実施形態では、方向演算部４０は、複数のマイク１０の夫々で取得された基準音データに係る音声の取得時間の差と、複数のマイク１０の夫々で取得された評価用音データに係る音声の取得時間の差との差異に基づいて発声された方向を演算するとして説明したが、当該取得時間の差異を用いずに発声された方向を演算するように構成することも可能である。この場合、相対レベルにより発声方向を特定することになるので、例えば助手席の乗員が運転席のユーザに向って話している場合には、運転席のユーザが車室の左前側に向って発声したと誤認識する可能性がある。しかしながら、発声により操作するデバイスによっては、何ら問題が生じないこともあるので、本発声方向特定装置１を適用することは可能である。

上記実施形態では、方向演算部４０は、ユーザの位置に関して予め設定された所定の許容範囲と、基準音データとを用いて発声された方向を演算するとして説明したが、前記許容範囲を設定せずに発声された方向を演算するよう構成することも可能である。

上記実施形態では、基準音データは、ユーザが予め設定された行為を行った時に基準音データ記憶部２０に記憶される場合の例として、一例を挙げて説明したが、上記例以外の行為が行われた時に基準音データが基準音データ記憶部２０に記憶されるように構成することも可能である。

上記実施形態では、ユーザが車両２の右前の窓を開ける指示、及び車両２の左前の窓を開ける指示の例を挙げて説明したが、例えばエアコン、サンシェード、サンルーフ等の制御に発声方向特定装置１を用いることも可能である。この時、同じ方向に複数のデバイスが存在する場合には、取得された評価用音データの波形の特徴に基づいて該当するデバイスを音声認識により解析し、当該音声認識の結果も併用してユーザが発した音声の方向を特定することも可能である。

上記実施形態では、運転席に座ったユーザが発した音声の方向を特定する例を挙げて説明したが、運転席以外の座席に座ったユーザが発した音声の方向の特定に発声方向特定装置１を適用することも可能である。

本発明は、ユーザが、車内の何れの方向に向けて音声を発したかを特定する発声方向特定装置に用いることが可能である。

１：発声方向特定装置
１０：マイク
１０Ａ：マイク
１０Ｂ：マイク
１０Ｃ：マイク
１０Ｄ：マイク
２０：基準音データ記憶部
３０：評価用音データ記憶部
４０：方向演算部

Claims (5)

1. 車内において互いに異なる位置に設けられた複数のマイクと、
   所定の座席に座ったユーザから発せられた音声を前記複数のマイクで取得した夫々の結果を基準とする複数の基準音データとして記憶しておく基準音データ記憶部と、
   前記車内で、その後に前記複数のマイクで取得された夫々の音声を複数の評価用音データとして記憶する評価用音データ記憶部と、
   前記評価用音データが前記評価用音データ記憶部に記憶された際に、前記複数のマイクの夫々で取得された前記音声の大きさを示す当該評価用音データの夫々のレベルの最大振幅値を、前記複数のマイクのうち同じマイクで取得された音声に係る前記基準音データのレベルの最大振幅値で除した結果に基づいて、前記所定の座席のユーザが前記取得された音声を発した方向を演算する方向演算部と、
   を備える発声方向特定装置。
2. 前記方向演算部は、前記複数のマイクの夫々で取得された前記基準音データに係る音声の取得時間の差と、前記複数のマイクの夫々で取得された前記評価用音データに係る音声の取得時間の差との差異に基づいて前記評価用音データに係る音声が前記所定の座席に座ったユーザが発した音声であるか否かを判定する請求項１に記載の発声方向特定装置。
3. 前記方向演算部は、前記ユーザの位置に関して予め設定された所定の許容範囲と、前記基準音データとを用いて前記評価用音データに係る音声が前記所定の座席に座ったユーザが発した音声であるか否かを判定する請求項２に記載の発声方向特定装置。
4. 前記基準音データは、前記ユーザが予め設定された行為を行った時に前記基準音データ記憶部に記憶される請求項１から３のいずれか一項に記載の発声方向特定装置。
5. 前記複数のマイクのうち、少なくとも２つのマイクは、前記所定の座席からの距離が異なる位置に設けられている請求項１から４のいずれか一項に記載の発声方向特定装置。

Images