JP6451606B2 - 車両用音声認識装置 - Google Patents

Description

本発明は、車両内において乗員の発する音声を認識するための車両用音声認識装置に関するものである。

従来から、自動車等の車両においては、乗員（特にドライバ）の発する音声を認識するための車両用音声認識装置が、各種装置に利用されている。例えば、カーナビゲーション装置においては、ドライバが音声として発した命令（目的地）を認識することによって、命令通りの目的地への案内が実行されるようになっている。

このような車両用音声認識装置においては、車内で取得される音からロードノイズや風切音等の雑音を適切に取り除いて、乗員の発する音声を正確に認識する必要がある。例えば、特許文献１には、車両用音声認識装置において、車内音に含まれる定常ノイズ量の大きさにしたがって、車内音に定常ノイズを加えるか否かを変更することにより、音声認識の精度を高めた発明が開示されている。

特開２００５−３５２３９７

このように、車両用音声認識装置においては、様々な雑音を含む車内音の中から、乗員の音声を正確に認識することが強く求められている。また、このような音声認識は、音声認識の対象となる乗員（ドライバ）が変わった場合でも正確に行われる必要があるが、所定のフィルタをかけただけでは、音声認識すべき乗員の変更に適切に対応することは難しかった。

本発明は、以上のような事情を勘案してなされたもので、その目的は、車両において乗員（特にドライバ）の発する音声を認識するための車両用音声認識装置において、より高精度な音声認識を行い得るようにした車両用音声認識装置を提供することである。

前記目的を達成するため、本発明にあっては、次のような解決方法を採択している。すなわち、請求項１に記載のように、
車両における乗員の音声を認識するための音声認識手段を備えた車両用音声認識装置において、
前記車両内の状態を撮影する撮像手段と、
前記車両内の音を取得する車内音取得手段と、
前記撮像手段によって撮影された映像から、音声認識の対象となる対象乗員が音声を発していることを検出する映像分析手段と、
前記映像分析手段により前記対象乗員が音声を発していることが検出されたときに現れた前記車両内の音の周波数に基づいて、前記対象乗員の発した音声周波数である対象乗員音声周波数を学習する周波数学習手段と、
前記車両内の音の周波数から前記対象乗員音声周波数以外の周波数をフィルタリングするフィルタリング手段と
を備え、前記音声認識手段は、前記フィルタリング手段によりフィルタリングされた後の前記車両内の音に基づいて、前記対象乗員の音声認識を行い、
前記撮像手段は、前記対象乗員を含む複数の乗員の状態を撮影可能であり、
前記車内音取得手段は、前記対象乗員以外の乗員よりも前記対象乗員に近接して設置されており、
前記周波数学習手段は、前記対象乗員が音声を発していることが検出されたときに現れた前記車両内の音の周波数の中で音圧が所定値よりも大きな周波数を前記対象乗員音声周波数と判別して学習するようにしている。

上記解決手法によれば、撮像手段により対象乗員（例えばドライバ）が音声を発していることが検出されたタイミングで現れた車両内の音の周波数に基づいて、対象乗員音声周波数の学習がなされるので、対象乗員が音声を発した正確なタイミングで対象乗員音声周波数の学習を行うことができ、音声認識の精度が向上する。また、対象乗員音声周波数以外の周波数がフィルタリングされるので、対象乗員が変わった場合でも、適切な音声認識を行える。また、撮像手段としては、例えばドライバモニタ装置に備えられた撮像手段を利用することができるので、音声認識装置は、最小限の設備の追加で構成し得る。また、複数の乗員が音声を発している場合でも、複雑になり過ぎない処理により、対象乗員音声周波数を取り出して学習することができる。

上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項２以下に記載の通りである。すなわち、前記周波数学習手段は、前記映像分析手段により前記対象乗員が音声を発していることが検出されたときに現れた前記車両内の音の周波数を、前記対象乗員音声周波数として学習する（請求項２対応）。この場合、対象乗員が音声を発したタイミングで新たに現れる車内音が対象乗員音声周波数として学習されるので、対象乗員音声周波数の適切な学習を、複雑になり過ぎない処理により高精度で達成できる。

前記周波数学習手段は、前記対象乗員が音声を発する度に学習された前記対象乗員音声周波数を記憶しておき、次回以降に前記対象乗員が音声を発した際の音声認識において利用する（請求項３対応）。この場合、対象乗員音声周波数の学習が上手くできなかった場合でも、事前に記憶されている対象乗員音声周波数を用いて、適切な音声認識を行うことができる。

本発明によれば、撮像手段により対象乗員が音声を発したことが検出されたタイミングで、対象乗員音声周波数の学習がなされるので、正確なタイミングで対象乗員音声周波数の学習を行うことができ、高精度の音声認識を達成できる。また、複数の乗員が話しているときでも、音声認識の対象となる乗員の音声を適切に認識できる。

本発明の車両用音声認識装置の一例を示すブロック構成図。 本発明の車両用音声認識処理の一例の処理手順を示すフローチャート。

以下、添付図面に基づいて本発明の実施形態について説明する。

図１には、本発明の一実施形態における車両用音声認識装置をブロック図で示す。図示されるように、音声認識装置は、撮像装置１と、車内音取得装置２と、処理装置３とを備えている。

撮像装置１は、車両の内部の状態を撮影するための撮像手段であり、例えばＣＣＤカメラ等から構成される。本実施形態において、撮像装置１は、ドライバの顔の表情を撮影できるとともに、ドライバ以外の各乗員の顔の表情も撮影できるようになっている。なお、撮像装置１としては、ドライバの居眠り防止等に用いられるドライバモニタ装置における撮像装置を利用するようにしてもよい。

車内音取得装置２は、車両内における各種の音を取得する装置である。撮像装置１で撮影された映像データと、車内音取得装置２で取得された車内音データは、処理装置３に送信され、処理装置3内で処理されるようになっている。

処理装置３には、映像分析手段４と、周波数学習手段５と、フィルタリング手段６と、音声認識手段7とが備えられている。

映像分析手段４は、撮像手段1により撮影された映像データを分析する手段であり、各乗員の口元の動きから乗員の各々が音声を発していることを検出し、各乗員が音声を発しているタイミングを、検出結果として周波数学習手段5に与える。

周波数学習手段５は、車内音取得装置２からの車内音データを受け取り、車内音データの周波数分析を行う手段である。周波数学習手段５は、映像分析手段４から受け取った検出結果に基づいて、音声認識の対象となる対象乗員（本実施形態ではドライバ）が発したと考えられる対象乗員音声周波数（ドライバ音声周波数）を学習する。

この場合、音声を発しているのがドライバだけである場合には、車内音の周波数のうちで、ドライバが音声を発しているタイミングで新たに現れてきた周波数を、ドライバ音声周波数として学習する。

一方、ドライバが音声を発している間に、ドライバ以外の乗員も音声を発していると検出されたときには、ドライバが音声を発しているタイミングで新たに現れてきた周波数（全乗員音声周波数）を更に分析することにより、全乗員音声周波数から、ドライバ音声周波数を取り出すようにする。

具体的には、映像分析手段４から受け取った各乗員の音声を発したタイミングと全乗員音声周波数を比較対照することにより、ドライバ音声周波数を判別する。この場合、例えば、ドライバのみが音声を発しているときに取得される周波数は、ドライバ音声周波数であると判断できるし、ドライバ以外の乗員が音声を発しているときのみに取得される周波数は、ドライバ音声周波数ではないと判断できることになる。

また、複数の乗員が音声を発しているときのドライバ音声周波数判別のための他の手法としては、車内音取得装置２を、ドライバ以外の乗員よりもドライバに近接して設置しておくとともに、全乗員音声周波数の中で、音圧が所定値よりも大きな周波数をドライバ音声周波数と判別することもできる。

フィルタリング手段６は、車内音から音声認識すべき周波数（すなわち、ドライバ音声周波数）を取り出す手段であり、車内音取得装置２により取得された車内音の周波数から、ドライバ音声周波数以外の周波数をフィルタリング（除外）する。音声認識手段７は、フィルタリング手段６から、フィルタリング後の車内音データ（したがって、ドライバ音声周波数のみを含むデータ）を受け取り、このフィルタリング後の車内音データを処理することにより、ドライバの音声認識を行う。

なお、周波数学習手段６は、学習したドライバ音声周波数を記憶しておき、次回以降にドライバが音声を発した際の音声認識に利用するようにしてもよい。これにより、ドライバ音声周波数の学習が上手くできなかった場合でも、事前に記憶されているドライバ音声周波数を用いて、適切な音声認識を行うことができる。

次に、図２のフローチャートを用いて、本実施形態の車両用音声認識装置による処理手順を説明する。

音声認識処理においては、まずステップＳ１において、音取得装置２により車室内の音を取得し、ステップＳ２において、撮像装置１により車室内の乗員の状態を検出する。

続くステップＳ３においては、撮像装置１からの映像データに基づいて、映像分析装置１によりドライバ（対象乗員）が音声を発しているか否かの判断がなされ、ドライバが音声を発していないと判定されたならば、そのまま、1サイクルの処理を終了する。

一方、ステップＳ３においてドライバが音声を発していると判定されたならば、ステップＳ４に進み、音声を発しているのはドライバだけであるか否かの判断がなされ、音声を発しているのがドライバだけであると判定されたならば、ステップＳ５に進む。ステップＳ５においては、ドライバが音声を発したタイミングで現れた車内音周波数を、ドライバ音声周波数であると学習し、ステップＳ８に進む。

ステップＳ４において、音声を発しているのがドライバだけではないと判定されたならば、ステップＳ６に進み、乗員が音声を発したタイミングで現れた音声周波数を全乗員音声周波数と判別する。続くステップＳ７においては、全乗員音声周波数から、ドライバ音声周波数を取り出す。例えば、各乗員の口元の状態と全乗員音声周波数を比較対照してドライバ音声周波数の判別をするか、または全乗員音声周波数の中で音圧が所定値よりも大きな周波数をドライバ音声周波数と判別する。このように、ドライバ音声周波数の学習を行ったら、ステップＳ８に進む。

ステップＳ８では、フィルタリング手段６により、車内音取得装置２により取得された車内音の周波数から、ドライバ音声周波数以外の周波数をフィルタリングして、ステップＳ９に進む。ステップＳ９においては、音声認識手段７により、フィルタリング後の車内音データを処理し、ドライバの音声認識を実行する。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載された範囲において適宜の変更が可能である。例えば、上記実施形態では、撮像装置１により車室内の複数の乗員の状態を検出可能としたが、撮像装置１は、音声認識の対象乗員（例えばドライバ）の状態のみを検出可能なものであってもよい。

本発明は、車両用音声認識装置において、音声認識の精度を向上するために利用できる。

１ 撮像装置
２ 車内音取得装置
３ 処理装置
４ 映像分析手段
５ 周波数学習手段
６ フィルタリング手段
７ 音声認識手段

Claims (3)

1. 車両における乗員の音声を認識するための音声認識手段を備えた車両用音声認識装置において、
   前記車両内の状態を撮影する撮像手段と、
   前記車両内の音を取得する車内音取得手段と、
   前記撮像手段によって撮影された映像から、音声認識の対象となる対象乗員が音声を発していることを検出する映像分析手段と、
   前記映像分析手段により前記対象乗員が音声を発していることが検出されたときに現れた前記車両内の音の周波数に基づいて、前記対象乗員の発した音声周波数である対象乗員音声周波数を学習する周波数学習手段と、
   前記車両内の音の周波数から前記対象乗員音声周波数以外の周波数をフィルタリングするフィルタリング手段と
   を備え、前記音声認識手段は、前記フィルタリング手段によりフィルタリングされた後の前記車両内の音に基づいて、前記対象乗員の音声認識を行い、
   前記撮像手段は、前記対象乗員を含む複数の乗員の状態を撮影可能であり、
   前記車内音取得手段は、前記対象乗員以外の乗員よりも前記対象乗員に近接して設置されており、
   前記周波数学習手段は、前記対象乗員が音声を発していることが検出されたときに現れた前記車両内の音の周波数の中で音圧が所定値よりも大きな周波数を前記対象乗員音声周波数と判別して学習する車両用音声認識装置。
2. 請求項1に記載の車両用音声認識装置において、
   前記周波数学習手段は、前記映像分析手段により前記対象乗員が音声を発していることが検出されたときに現れた前記車両内の音の周波数を、前記対象乗員音声周波数として学習する車両用音声認識装置。
3. 請求項１又は請求項２に記載の音声認識装置において、
   前記周波数学習手段は、前記対象乗員が音声を発する度に学習された前記対象乗員音声周波数を記憶しておき、次回以降に前記対象乗員が音声を発した際の音声認識において利用する車両用音声認識装置。

Images