JP7393738B2 - ドライバ状態推定装置 - Google Patents

Description

本発明は、ドライバ状態推定装置に関するものである。

車両においては、カメラによってドライバの顔面を含む車室内の画像を取得して、取得された画像に基づいてドライバの状態を推定するものがある。そして、推定されたドライバ状態に応じた運転支援を行うこともある。特に、推定されたドライバ状態が安全運転を阻害するような異常状態であると推定されたときに、安全確保のための運転支援を行うことが考えられている。例えば、ドライバが脇見をしていると推定されたときには警報を行ったり、ドライバが居眠りしていると推定されたときには、車両を自動車的に停止させたり、所定の目標地点に向けて自動運転する等のことが考えられている。

一方、ドライバの中には、精巧なお面（あるいは顔面を示す写真）で顔面を覆って、本
人とは異なる他人に見せかけるなりすましを行うことが考えられる。なりすましが行われた状態では、本人（ドライバ）の状態を正しく推定することが困難である。特許文献２、特許文献２には、人間の皮膚特有の周波数の反射光を検出することにより、上記なりすましを見破る技術が開示されている。

特開２０１９－１３９４３３号公報 特許第６２１３６６３号公報

前記特許文献１、特許文献２のものでは、人間の皮膚特有の周波数の反射光を利用することから、高額なカメラが必要になってしまい、大量生産を行う車両に用いることがコスト的に難しいものとなる。また、車室内の光の変化は大きいが、上記特許文献に記載の技術のものでは光の変化に弱いことから、この点においても車両用として採択することが難しいものとなる。

ところで、お面をかぶって他人になりすます以外に、お面を利用していたずらやシステムの限界を試す等のことが考えられる。具体的には、異常状態を示すような表情をしたお面をかぶって運転することが考えられる。この場合、お面が示す表情に基づいてドライバ状態が異常状態であると判断されて、不必要に運転支援を行ってしまうことおそれが生じる。

一方、ドライバが異常であると推定されたことによって実行される運転支援の内容によっては、やむを得ず実行するものの、極力実行を避けたいものもある。例えば、車両を自動的に停止させる運転支援を実行する場合、そのまま走行を継続させるよりは安全ではあるが、停止位置が高速道路であるときは、たとえ路肩に停止させたとしても危険性が高いものとなる。また、悪意のある者にあっては、実行された運転支援では支援不十分であるとか不具合がある等のクレームをつけるために、不必要に（故意に）運転支援を実行させる可能性も考えられる。

上述のように、カメラによって取得されるドライバの画像に基づいてドライバ状態を推定する場合、カメラで取得された画像が、ドライバ本人の顔面状態を示す真性な顔面なのか、あるいはお面の表情が示す人工的な顔面なのかを判定することが強く望まれるものである。特に、安価なシステムとしつつ、しかも光の変化が大きい車室内の画像の取得であることを考慮したものとすることが望まれるものである。

本発明は以上のような事情を勘案してなされたもので、その目的は、安価なシステムでもって、お面の表情が示す人工的な顔面であるのか否かを容易に判定できるようにしたドライバ状態推定装置を提供することにある。

前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項１に記載のように、
運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
前記カメラによって取得された画像に基づいて、ドライバ顔面の特徴部位の変化量を決定する変化量決定手段と、
前記変化量決定手段により決定された変化量があらかじめ設定された所定の下限値よりも小さいときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
を備え、
前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
ようにしてある。

上記解決手法によれば、特徴部位の変化量をみることによって、お面によって作られた人工的な表情であるか否かを判断することができる。すなわち、お面は、通常は無表情の場合が一般的なことから、特徴部位の動きの変化量が実質的に０あるいは殆ど生じないものであり、したがって特徴部位の変化量が下限値よりも小さいときは、人工的な表情であると判定して、この人工的な表情に基づいてドライバ状態を推定してしまう事態が防止される。また、カメラとしては、車両用として広く使用されている一般的なカメラを用いることができ、全体として安価にシステムを構築することができる。そして、人工的に作られた表情に起因して、不必要に運転支援を行ってしまう事態を防止することができる。

上記解決手法を前提とした好ましい態様は、請求項２以下に記載のとおりである。すなわち、
前記禁止手段は、前記変化量決定手段により決定された変化量があらかじめ設定された所定の上限値よりも大きいときに、前記推定手段によるドライバ状態の推定を禁止する、ようにしてある（請求項２対応）。この場合、特徴部位の一部に人工的な動きをもたせるようにしたお面をかぶっている場合に、このお面が示す表情に基づいてドライバ状態を推定してしまう事態を防止することができる。すなわち、人工的に作られる動きは自然な動きに比して強調された大きな動きとなりやすいことから、特徴部位の変化量が上限値よりも大きいときは人工的に作られて動きであると判断することができる。

前記下限値と前記上限値とをデータベースとして記憶している記憶手段をさらに備えている、ようにしてある（請求項３対応）。この場合、顔面における特徴部位の自然な動きに基づいて作成されたデータベースを利用して、下限値と上限値とを適切な値として設定することができる。

前記特徴部位として、眉、眼、鼻、口のうち任意の複数箇所が設定され、
前記カメラによって取得された画像において、前記複数箇所の前記特徴部位が全て検出できないときは、前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止される、
ようにしてある（請求項４対応）。この場合、顔面の特徴部位として好ましい部位が提供される。そして、複数の特徴部位の全てが検出できないということは、各特徴部位を検出できないようなお面をかぶっていると判断でき、この場合もドライバ状態の推定が禁止される。

前記カメラが赤外線式カメラとされている、ようにしてある（請求項５対応）。この場合、昼夜を問わず鮮明な画像を取得することができることから、画像に基づいてドライバ状態を精度よく推定する上で好ましいものとなる。

本発明によれば、安価なシステムでもって、お面の表情が示す人工的な顔面であるのか否かを容易に判定することができる。

本発明が適用された車両のインストルメントパネル付近を後方から見た図。 運転を行っているドライバを側方から見た図。 カメラ側から運転を行っているドライバを見た図。 本発明の制御系統例を示す図。 アイマスクによってドライバ顔面のうち眉と眼が隠された状態を示す図。 口元マスクによってドライバ顔面のうち鼻の下部から下方部分が隠された状態を示す図。 フェイスマスクによって、ドライバ顔面のほぼ全体が隠された状態を示す図。 本発明の制御例を示すフローチャート。

図１は、本発明が適用された車両Ｖにおける車室内前部の構造を示している。図中、１はインストルメントパネル、２はフロントウインドガラス、３はステアリングハンドル、４は運転席シート、５は助手席シート、６はシフトノブ、７はコマンダスイッチ、８はＡピラー、９サイドウインドガラスである。

インストルメントパネル１の上面には、車幅方向略中央部において、ディスプレイ１０が固定設置されている。このディスプレイ１０は、タッチ操作式とされて、各種情報が選択的に表示される。ディスプレイ１０での表示内容の変更は、コマンダスイッチ７を操作することによっても行うことが可能となっている。ディスプレイ１０への表示内容としては、例えば、ナビゲーション装置用の地図表示、テレビ画面表示、車両Ｖに搭載されている各種機器類の設定用の表示等がある。

ディスプレイ１０の外周縁部を構成する枠体が、符号１０ａで示される。この枠体１０ａの上部位置に、カメラＳ１が設置されている。カメラＳ１は、実施形態では赤外線式とされて、昼夜を問わず鮮明な画像を取得する（撮像する）ことが可能となっている。

カメラ１０による撮影範囲は、運転席シート４に着座されたドライバの顔面を含む所定範囲となるように設定されている。図２には、運転席４に着座されたドライバＤが示される。カメラＳ１の上下方向の撮影角度が、図２中符号θで示される。この図２において、運転席シート４のうち、シートクッションが符号４Ａで示され、シートバックが符号４Ｂで示され、ヘッドレストが符号４Ｃで示される。

図３は、運転席シート４にドライバＤが着座している状況を前方から見た状況が示される。ドライバＤは、Ｂピラー１１から延びるシートベルト１２を装着した状態となっている。前記カメラＳ１による撮影範囲Ｋが、図中一点鎖線で囲んだ方形の範囲とされている。撮影範囲Ｋには、ドライバＤの顔面全体、運転席シート４のうちシートバック４Ｂの上部から上方部分、ステアリングハンドル３の上部、Ｂピラー１１、シートベルト１２等が含まれる。

図３においては、ドライバＤは、お面（マスク）をかぶっていない状態であり、その顔面全体が露出している。この場合、カメラＳ１による取得される画像は、ドライバＤの自然な顔面全体を撮像した真性なものとなる。

ドライバ状態の推定に際して用いられる顔面の特徴部位として、実施形態では、眉（その付近を含む）、眼（特に瞳で、その付近を含む）、鼻（その付近を含む）、および口（その付近を含む）としてある。そして、上記複数の特徴部位のうち、少なくとも１カ所の状態（現在の状態やその変化量）に基づいて、ドライバ状態を推定するようにしてある。

図５～図７に、ドライバＤの顔面の一部あるいは全部がお面（マスク）によって隠された状態が示される。図５は、アイマスクＭ１によって、ドライバ顔面のうち眉（その付近を含む）と眼（その付近を含む）が覆われた状態が示される。この場合、眉や眼の状態に基づくドライバ状態の推定は困難であるが、露出している鼻や口の状態（現在の状態およびその変化量）に基づいてドライバ状態を推定することが可能である。

図６は、口元マスクＭ２によって、ドライバ顔面のうち鼻の下部から下方部分が覆われた状態が示される。この場合、露出している眉や眼、鼻の上部の状態（現在の状態およびその変化量）に基づいてドライバ状態を推定することが可能である。なお、口元マスクＭ２をすることは、いたずらではなく、一般的に行われていることである。

図７は、フェイスマスク（お面）Ｍ３によって、ドライバ顔面のほぼ全体を覆った状態が示される。運転の際に、顔面全体を覆うフェイスマスクＭ３を用いるのは通常では考えられず、いたずらや悪意をもった状態と考えられる。この場合、複数の特徴部位が全てフェイスマスクＭ３によって隠されていることから、ドライバ状態の推定は禁止される。

一方、フェイスマスクＭ３が、例えば立体的であり、しかも異常状態を示すような表情を有するものが用いられることが考えられる。この場合、カメラＳ１によって取得された画像において、特徴部位が存在すると判断されて、この特徴部位の状態からドライバ状態が異常状態であると誤って判断されてしまう可能性が高いものとなる。このため、本発明では、このようなフェイスマスクＭ３を用いているのか否かを判断して、フェイスマスクＭ３が示す表情に基づいてドライバ状態を推定することを禁止するようにしてある。

図４は、ドライバ状態の推定と、推定されたドライバ状態に応じて運転支援を行うための制御系統例が示される。図中、Ｕは、マイクロコンピュータを利用して構成されたコントローラ（制御ユニット）で、制御手段としてのＣＰＵの他、記憶手段としてのＲＯＭ、ＲＡＭや、インターフェイス等を備えている。このコントローラＵには、カメラＳ１の他、各種機器類Ｓ２～Ｓ４からの信号が入力される。Ｓ２は、車外を撮影するためのカメラであり、特に自動運転等を行うために車両Ｖの前方を撮影するものとなっている。Ｓ３は、車両前方の障害物までの距離を検出するレーダである。Ｓ４は、ナビゲーション装置であり、ディスプレイ１０への地図表示や、ＧＰＳによって車両Ｖの現在位置を取得する。

コントローラＵによって、各種機器類Ｓ１１～Ｓ１６が制御される。Ｓ１１は、ブレーキ装置であり、自動ブレーキを行うためのものである。Ｓ１２はエンジンのスロットルであり、車速を制御するためのものである（燃料噴射弁を制御してもよい）。Ｓ１３はステアリングハンドル４であり、現在走行している車線を維持させたり、車線変更を含む自動運転を行うためのものである。 Ｓ１４は、スピーカであり、ドライバＤに所定の警報を音声によって行うためのものである。Ｓ１５は、ハザードランプであり、ドライバＤが実質的に運転不可能であると推定されたときに、周囲の他車両等に対して注意を促すためのものである。Ｓ１６は、無線通信器であり、ドライバＤが実質的に運転不可能であると推定されたときに、無線によって運転管理を行う管理センタや病院あるいは警察へ緊急連絡するためのものである。連絡内容としては、ドライバＤに重大な異常が生じているという情報、車両Ｖの現在位置情報等がある。

コントローラＵは、カメラＳ１によって取得された画像が示す顔面の表情状態が、お面が示す人工的な表情なのか、あるいはお面をしていない真性な表情なのかを判断する。このため、前述した各特徴部位について、その変化量についてのデータベースをあらかじめ作成して記憶している（ＲＯＭへの記憶）。すなわち、お面をしていないときのドライバＤの各特徴部位での変化量（所定の単位時間において取得される変化量）は、所定範囲の大きさとなる（顔面の自然な動きから導き出される変化量の範囲）。なお、データベースは、各特徴部位毎に設定されているものである（各特徴部位毎に、個別に所定範囲が記憶されている）。

上記所定範囲から外れた変化量であるときは、お面によって作り出された人工的な表情であると判断される。すなわち、特徴部位の変化量が、上記所定範囲の下限値よりも小さいときや、該所定範囲の上限値よりも大きいときは、お面によって作り出された人工的な顔面であると判断される。

動きのないお面（フェイスマスクＭ３）を用いたときは、特徴部位の変化量が実質的に生じないものである。このため、特徴部位の変化量が下限値よりも小さいときは、お面が作り出している人工的な表情であると判断される。一方、特徴部位の一部（例えば口の部位）に人工的な動きをとり得るようにしたお面の場合には、特徴部位の変化量が不自然に（相当に）大きなものとなる場合が多い。このため、特徴部位の変化量が前記上限値よりも大きいときは、お面が作り出している人工的な表情であると判断される。

次に、図８のフローチャートを参照しつつ、コントローラＵによる制御内容について説明する。なお、以下の説明でＱはステップを示す。

まず、図８のＱ１において、カメラＳ１によって画像が取得される。カメラＳ１が赤外線式であることから、昼夜を問わず鮮明が画像を取得することが可能である。次いで、Ｑ２において、取得された画像中から、顔面の特徴部位が検出（抽出）される。

Ｑ３においては、画像から、全ての特徴部位が未検出であるか否かが判別される。このＱ３の判別でＹＥＳのときは、動きのないお面をかぶっているというように判断されて、Ｑ４に移行される。Ｑ４では、ドライバ状態の推定が禁止されて、これに伴ってドライバ状態に応じた運転支援（警告等）も禁止される。

前記Ｑ３の判別でＮＯのときは、Ｑ５において、検出された特徴部位の動きが、所定時間についてモニタリングされる（複数画像から特徴部位の動きを示す変化量を算出）。この後、Ｑ６において、Ｑ５で取得された特徴部位の変化量（動き状態）が、前述したデータベースと照合される。

Ｑ６の後、Ｑ７において、特徴部位の変化量が、データベースに記憶されている所定範囲内であるか否かが判別される。上記Ｑ７の判別でＮＯのとき、つまり特徴部位の変化量が、データベースに記憶されている上記所定範囲の下限値よりも小さいか、あるいは該所定範囲の上限値よりも大きいときは、Ｑ８に移行される。Ｑ８は、Ｑ４に対応するもので、ドライバ状態の推定が禁止されて、これに伴ってドライバ状態に応じた運転支援（警告等）も禁止される。

前記Ｑ７の判別でＹＥＳのときは、そのまま終了される。このＱ７の判別でＹＥＳのときは、カメラＳ１によって取得された画像が、ドライバＤの真性な表情を示すものであると判断されたときであり、このときは、特徴部位の動きに応じてドライバ状態が推定される。推定されたドライバ状態になんらかの異常があると判断されたときは、異常状態に応じた運転支援が適宜行われる。

図８の制御において、Ｑ７からＱ８へ移行されるのは、特徴部位の全てが所定範囲外のときである。つまり、複数の特徴部位のうち少なくとも１カ所（好ましくは２カ所以上）についてＱ７の判別でＹＥＳのときは、Ｑ８へ移行されることなく、Ｑ７の判別でＹＥＳとなった特徴部位に基づいてドライバ状態が推定される。

上述した図８に示す制御は、実施形態では、イグニッションスイッチがＯＮとされる毎に実行され、またイグニッションスイッチがＯＮとされた後は定期的に（所定時間経過毎に）実行され、さらに、カメラＳ１で取得される画像に乱れが生じた毎に実行される。なお、制御の実行条件は、適宜設定できる。

ドライバ状態に応じた運転支援の例について、簡単に説明する。まず、コントローラＵ（の記憶手段）には、あらかじめ、ドライバの多くの表情とそのときのドライバ状態とが関連付けられたデータベースが記憶されている。例えば、顔の向き、視線方向、瞳の状態、眉の動き、唇やその周辺の動き、鼻の動き等について、例えば「漫然としている」、「脇見をしている」、「眠気をもよおしている」、「居眠りしている」、「急病状態である」等のドライバ状態と関連づけられて記憶されている。

異常状態として、例えば、軽度、中度、重度の３段回に分けて判定される。軽度の異常状態は、例えば、注意散漫であるとか、眠気をもよおしているとか、脇見時間が長いとかで、この場合は、スピーカＳ１４からの音声によって注意警報が行われる。

異常状態が中度であるときは、例えば居眠りの可能性があるときである。このときは、各種機器類Ｓ１１～Ｓ１３を制御して、徐々に所定速度まで減速を行うと共に車線維持を行い、さらにスピーカＳ１４から大きな音で注意を行う（覚醒させる）。

異常状態が重度であるときは、もはや運転続行は不可能なときと判断される状態であり、例えば、ドライバＤが、完全に居眠り状態になっているときの他、前倒れあるいは横倒れになってしまうとかの急病発生状態のときである。このときは、ハザードランプＳ１５を作動させた状態で、路肩に向けて自動走行させつつ、車両Ｖをすみやかに停止させる。そして、無線通信によって、管理センタや病院あるいは警察に向けて、ドライバＤに重大な異常が生じていることと、車両Ｖの現在位置を報知する。この場合、車両のすみやかな停止に代えて、自動運転によって最寄りの病院へ走行させることもできる。

前述したドライバ状態（異常状態）とそれに応じて運転支援の内容とは、あくまで一例あり、ドライバ状態に応じた運転支援の内容は適宜のものを選択できる。

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。顔面の特徴部位としては、頬や額等適宜の部位を含めることもできる。ドライバ状態の推定に際しては、例えば眉、眼、鼻、口の複数箇所のうち任意の１カ所に基づいて行うことも可能ではあるが、任意の２カ所以上の特徴部位に基づいて行うのが、精度よくドライバ状態を推定する上で好ましいものとなる。

カメラ２０によって所得される画像は静止画でも動画でもよい。静止画の場合は、連続した複数の画像からドライバ状態を判定するのが好ましい。カメラＳ１としては、赤外線式に限らず、可視光で撮像するデジタルカメラ等、適宜のものを用いることができる。

推定されたドライバ状態に応じた運転支援は、安全運転を行うものに限らず、例えば運転技量に関するものに設定する等、適宜の内容を採択することができる。例えば、ドライバ状態が「退屈」であるときに、ステアリングハンドルの応答特性を高めたり、エンジンの出力特性を敏感にする等の運転支援によって、「楽しい」と感じる方向の運転支援を行うことができる。逆に、駐車時にドライバ状態が、「不安」であるときは、例えばディスプレイ１０に駐車支援用の周囲状況を示す画像を提供したり、ステアリングハンドルを自動的に操作する運転支援を行う等のこともできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗
黙的に含むものである。

本発明は、カメラによって取得される画像に基づいてドライバ状態を推定するようにした車両に適用して好適である。

Ｖ：車両
Ｄ：ドライバ
Ｓ１：カメラ
Ｋ：撮影範囲
１：インストルメントパネル
２：フロントウインドガラス
３：ステアリングハンドル
４：運転席シート
４Ａ：シートクッション
４Ｂ：シートバック
４Ｃ：ヘッドレスト
１０：ディスプレイ
１０ａ：枠体
１１：Ｂピラー
１２：シートベルト

Claims (5)

1. 運転席に着座されたドライバの顔面を含む車室内の画像を取得するカメラと、
   前記カメラによって取得された画像に基づいて、ドライバ状態を推定する推定手段と、
   前記推定手段によってドライバが異常であると推定されたときに運転支援を行う支援手段と、
   前記カメラによって取得された画像に基づいて、ドライバ顔面の特徴部位の変化量を決定する変化量決定手段と、
   前記変化量決定手段により決定された変化量があらかじめ設定された所定の下限値よりも小さいときに、前記推定手段によるドライバ状態の推定を禁止する禁止手段と、
   を備え、
   前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止されたときは、前記支援手段による運転支援が禁止される、
   ことを特徴とするドライバ状態推定装置。
2. 請求項１において、
   前記禁止手段は、前記変化量決定手段により決定された変化量があらかじめ設定された所定の上限値よりも大きいときに、前記推定手段によるドライバ状態の推定を禁止する、ことを特徴とするドライバ状態推定装置。
3. 請求項２において、
   前記下限値と前記上限値とをデータベースとして記憶している記憶手段をさらに備えている、ことを特徴とするドライバ状態推定装置。
4. 請求項１ないし請求項３のいずれか１項において、
   前記特徴部位として、眉、眼、鼻、口のうち任意の複数箇所が設定され、
   前記カメラによって取得された画像において、前記複数箇所の前記特徴部位が全て検出できないときは、前記禁止手段によって前記推定手段によるドライバ状態の推定が禁止される、
   ことを特徴とするドライバ状態推定装置。
5. 請求項１ないし請求項４のいずれか１項において、
   前記カメラが赤外線式カメラとされている、ことを特徴とするドライバ状態推定装置。

Images