JP4893507B2

JP4893507B2 - 脇見検出装置および方法、並びに、プログラム

Info

Publication number: JP4893507B2
Application number: JP2007175779A
Authority: JP
Inventors: 美希松岡
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2007-07-04
Filing date: 2007-07-04
Publication date: 2012-03-07
Anticipated expiration: 2027-07-04
Also published as: EP2012285A2; EP2012285A3; CN101336826A; JP2009015549A; US20090009302A1

Description

本発明は、脇見検出装置および方法、並びに、プログラムに関し、特に、より的確に脇見を検出できるようにした脇見検出装置および方法、並びに、プログラムに関する。

近年、ドライバの運転中の脇見が原因となる事故が多発している。そこで、ドライバの脇見を検出し、脇見に対する警告を行う技術の開発が行われている。

例えば、ドライバの顔または視線の向きの角度に基づいて、脇見を許容する時間を設定し、ドライバが脇見をしている状態が設定時間を超えた場合、脇見を警報することが提案されている（例えば、特許文献１参照）。

また、例えば、ドライバの顔または視線の向きに基づいて脇見を検出し、ハンドルの舵角、車両のシフト位置、または、車速に基づいて、脇見に対する警報を出力するか否かを判定することが提案されている（例えば、特許文献２参照）。

特開平３−１６７６９８号公報特開平６−２４３３６７号公報

しかしながら、特許文献１および特許文献２に記載の発明では、脇見を検出する際に、ドライバの顔の向きと視線の向きとの関係については考慮されていないため、脇見の検出精度を向上させるための改善の余地が残されている。

本発明は、このような状況に鑑みてなされたものであり、より的確に脇見を検出できるようにするものである。

本発明の一側面の脇見検出装置は、人の顔の向きを検出する顔向き検出手段と、人の顔の向きに基づいて、人が脇見をしているか否かを判定する第１の判定手段と、人の視線の向きを検出する視線方向検出手段と、人の顔の向きに基づいて、人が脇見をしていないと判定された場合、人の視線の向きに基づいて、人が脇見をしているか否かを判定する第２の判定手段とを備える。

本発明の一側面の脇見検出装置においては、人の顔の向きが検出され、人の顔の向きに基づいて、人が脇見をしているか否かが判定され、人の視線の向きが検出され、人の顔の向きに基づいて、脇見をしていないと判定された場合、人の視線の向きに基づいて、人が脇見をしているか否かが判定される。

従って、より的確に脇見を検出することができる。

この顔向き検出手段、第１の判定手段、視線方向検出手段、および、第２の判定手段は、例えば、CPU（Central Processing Unit）により構成される。

この第１の判定手段には、人が運転する乗り物の速度に応じて、脇見をしているか否かを判定する基準となる顔の向きの範囲を調整させることができる。

これにより、より的確に脇見を検出することができる。

この第２の判定手段には、人が運転する乗り物の速度に応じて、脇見をしているか否かを判定する基準となる視線の向きの範囲を調整させることができる。

これにより、より的確に脇見を検出することができる。

本発明の一側面の脇見検出方法またはプログラムは、人の顔の向きを検出する顔向き検出ステップと、人の顔の向きに基づいて、人が脇見をしているか否かを判定する第１の判定ステップと、人の視線の向きを検出する視線方向検出ステップと、人の顔の向きに基づいて、人が脇見をしていないと判定された場合、人の視線の向きに基づいて、人が脇見をしているか否かを判定する第２の判定ステップとを含む。

本発明の一側面の脇見検出方法またはプログラムにおいては、人の顔の向きが検出され、人の顔の向きに基づいて、人が脇見をしているか否かが判定され、人の視線の向きが検出され、人の顔の向きに基づいて、人が脇見をしていないと判定された場合、人の視線の向きに基づいて、人が脇見をしているか否かが判定される。

従って、より的確に脇見を検出することができる。

この顔向き検出ステップは、例えば、人の顔の向きをCPUにより検出する顔向き検出ステップにより構成され、この第１の判定ステップは、例えば、人の顔の向きに基づいて、人が脇見をしているか否かをCPUにより判定する第１の判定ステップにより構成され、この視線方向検出ステップは、例えば、人の視線の向きをCPUにより検出する視線方向検出ステップにより構成され、この第２の判定ステップは、例えば、人の顔の向きに基づいて、人が脇見をしていないと判定された場合、人の視線の向きに基づいて、人が脇見をしているか否かをCPUにより判定する第２の判定ステップにより構成される。

以上のように、本発明の一側面によれば、脇見を検出することができる。特に、本発明の一側面によれば、より的確に脇見を検出することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した運転支援装置の一実施の形態を示すブロック図である。運転支援装置１０１は、運転支援装置１０１が設けられた車両（以下、自車とも称する）を運転するドライバの脇見の検出処理を行い、ドライバの脇見を検出した場合、脇見に対する処理を行うように自車に設けられている車載装置の制御を行う。運転支援装置１０１は、撮影部１１１、車速検出部１１２、脇見検出部１１３、および、車両制御部１１４を含むように構成される。

撮影部１１１は、例えば、カメラにより構成され、ほぼ正面方向からドライバの顔を撮影する。撮影部１１１は、撮影したドライバの顔を含む画像（以下、顔画像と称する）を、脇見検出部１１３の顔方向検出部１２１および視線方向検出部１２３に供給する。

車速検出部１１２は、例えば、速度センサにより構成され、自車の速度を検出する。車速検出部１１２は、検出した自車の速度を示す情報を、脇見検出部１１３の判定部１２２および判定部１２４に供給する。

脇見検出部１１３は、ドライバの脇見の検出処理を行う。脇見検出部１１３は、顔方向検出部１２１、判定部１２２、視線方向検出部１２３、および、判定部１２４を含むように構成される。

顔方向検出部１２１は、顔画像に基づいて、所定の手法を用いて、ドライバの顔の向きを検出する。顔方向検出部１２１は、ドライバの顔の向きを示す情報を判定部１２２に供給する。なお、顔方向検出部１２１が顔の向きを検出する手法は、特定の手法に限定されるものではなく、顔の向きをより迅速かつ正確に検出できる手法を適用することが望ましい。

判定部１２２は、ドライバの顔の向きおよび自車の速度に基づいて、ドライバが脇見をしているか否かを判定する。判定部１２２は、判定結果を示す情報を視線方向検出部１２３および判定部１２４に供給する。また、判定部１２２は、ドライバが脇見していると判定した場合、ドライバが脇見をしていることを示す情報を車両制御部１１４に供給する。

視線方向検出部１２３は、顔画像に基づいて、所定の手法を用いて、ドライバの視線の向きを検出する。視線方向検出部１２３は、ドライバの視線の向きを示す情報を判定部１２４に供給する。なお、視線方向検出部１２３が視線の向きを検出する手法は、特定の手法に限定されるものではなく、視線の向きをより迅速かつ正確に検出できる手法を適用することが望ましい。

判定部１２４は、判定部１２２により、ドライバの顔の向きに基づいて、ドライバが脇見をしていないと判定された場合、ドライバの視線の向きに基づいて、ドライバが脇見をしているか否かを判定する。判定部１２４は、ドライバが脇見していると判定した場合、ドライバが脇見をしていることを示す情報を車両制御部１１４に供給する。

車両制御部１１４は、例えば、ECU（Electronic Control Unit）により構成される。車両制御部１１４は、ドライバの脇見が検出された場合、脇見に対する処理を行うように自車に設けられている車載装置の制御を行う。

なお、以下、ドライバの顔および視線の水平方向の向きを、自車の前方を基準方向とする角度により表す。具体的には、基準方向を０度とし、基準方向から左方向の角度を負の値で表し、基準方向から右方向の角度を正の値で表す。例えば、基準方向から左に３０度の方向は−３０度と表され、基準方向から右に３０度の方向は＋３０度と表される。

また、同様に、以下、ある方向を基準とした場合に、基準となる方向から左方向の角度を負の値で表し、基準となる方向から左方向の角度を正の値で表す。例えば、ドライバの顔の向きを基準とした場合、ドライバの顔の向きから左に３０度の方向は−３０度と表され、基準方向から右に３０度の方向は＋３０度と表される。

次に、図２のフローチャートを参照して、運転支援装置１０１により実行される運転支援処理について説明する。なお、この処理は、例えば、自車のエンジンが始動されたとき開始される。

ステップＳ１において、撮影部１１１は、撮影を開始する。具体的には、撮影部１１１は、ドライバの顔の撮影を開始し、撮影した顔画像の顔方向検出部１２１および視線方向検出部１２３への供給を開始する。

ステップＳ２において、車速検出部１１２は、自車の速度の検出を開始し、検出した速度を示す情報の判定部１２２および判定部１２４への供給を開始する。

ステップＳ３において、顔方向検出部１２１は、顔の向きを検出する。具体的には、顔方向検出部１２１は、顔画像に基づいて、ドライバの顔の向きを検出し、検出した顔の向きを示す情報を判定部１２２に供給する。

ステップＳ４において、判定部１２２は、顔の向きが所定の範囲（以下、顔向き判定範囲と称する）内であるかを判定する。

ここで、顔向き判定範囲とは、ドライバが脇見をしているか否かを判定する基準となる顔の向きの範囲であり、判定部１２２は、ドライバの顔の向きが顔向き判定範囲外である場合、ドライバが脇見をしていると判定する。

ところで、「高田一ほか、ドライバへの危険認知支援方法に関する研究、日本、学術講演会前刷集No.4-06、社団法人自動車技術会、２００６年５月、１１乃至１６ページ」（以下、引用文献１と称する）に、ドライバがLED（Light Emitting Diode）の発光の検知に要する時間は、LEDの呈示位置がドライバの正面方向に対して左に２０度乃至右に２０度の範囲内である場合、呈示位置、色、LEDの直径の違いによる顕著な差は現れず、呈示位置がその範囲を超えると、呈示位置、色、LEDの直径の違いにより顕著な差が現れるという実験結果が報告されている。

また、「中越聡ほか、ドライバーの顔向きによる前方不注視の推定と警報反応時間の研究、日本、学術講演会前刷集No.58-06、社団法人自動車技術会、２００６年５月、１７乃至２０ページ」（以下、引用文献２と称する）に、ドライバは、視対象物までの左右角度が２０度を超えると、顔向き角度が眼球運動を上回り、顔を動かす傾向が顕著になるという実験結果が報告されている。

例えば、これらの実験結果に基づいて、ドライバの顔が−２０度より左方向、または、＋２０度より右方向を向いている場合、ドライバが自車の前方を注視しておらず、自車の前方に対する注意力が低下している可能性が高いと考え、顔向き判定範囲の一例として、基準方向から−２０度乃至＋２０度の範囲に設定することが考えられる。

また、ドライバの視野は、自車の速度が速くなるほど狭くなるため、自車の速度に応じて顔向き判定範囲を調整するようにしてもよい。例えば、自車の速度が時速４０ｋｍ以下の場合、顔向き判定範囲を基準方向から−５０度乃至＋５０度の範囲に設定し、時速７０ｋｍ以下の場合、顔向き判定範囲を基準方向から−３２度乃至＋３２度の範囲に設定し、時速１００ｋｍ以下の場合、顔向き判定範囲を基準方向から−２０度乃至＋２０度の範囲に設定し、時速１００ｋｍを超えた場合、顔向き判定範囲を基準方向から−１０度乃至＋１０度の範囲に設定するようにしてもよい。

ステップＳ４において、顔の向きが顔向き判定範囲内であると判定された場合、処理はステップＳ５に進む。

ステップＳ５において、視線方向検出部１２３は、視線の向きを検出する。具体的には、視線方向検出部１２３は、顔画像に基づいて、ドライバの視線の向きを検出し、検出した視線の向きを示す情報を判定部１２４に供給する。

ステップＳ６において、判定部１２４は、視線の向きが所定の範囲（以下、視線方向判定範囲と称する）内であるかを判定する。

ここで、視線方向判定範囲とは、ドライバが脇見をしているか否かを判定する基準となる視線の向きの範囲であり、判定部１２４は、ドライバの視線の向きが視線方向判定範囲外である場合、ドライバが脇見をしていると判定する。

例えば、視線方向判定範囲の一例として、顔向き判定範囲と同様に、引用文献１および引用文献２に示される実験結果に基づいて、基準方向から−２０度乃至＋２０度の範囲に設定することが考えられる。

また、上述したように、ドライバの視野は、自車の速度が速くなるほど狭くなり、遅くなるほど広くなるので、顔向き判定範囲と同様に、視線方向判定範囲を自車の速度に応じて調整するようにしてもよい。

ステップＳ６において、視線の向きが視線方向判定範囲外であると判定された場合、処理はステップＳ７に進む。

ステップＳ７において、判定部１２４は、脇見をしていると判定する。判定部１２４は、ドライバが脇見をしていることを示す情報を車両制御部１１４に供給する。その後、処理はステップＳ９に進む。

一方、ステップＳ４において、顔の向きが顔向き判定範囲外であると判定された場合、処理はステップＳ８に進む。

ステップＳ８において、判定部１２２は、脇見をしていると判定する。すなわち、この場合、視線の向きに関わらず、顔の向きのみに基づいて、脇見をしていると判定される。判定部１２２は、ドライバが脇見をしていることを示す情報を車両制御部１１４に供給する。

ステップＳ９において、車両制御部１１４は、脇見に対応した処理を行う。例えば、車両制御部１１４は、ドライバの脇見が所定の時間以上継続した場合、脇見を止めるように促す警告画面を自車に設けられている表示装置に表示させたり、脇見を止めるように促す警報を自車に設けられているスピーカから出力させたりする。

一方、ステップＳ６において、視線の向きが視線方向判定範囲内であると判定された場合、すなわち、ドライバの顔および視線の両方に基づいて、ドライバが脇見をしていないと判定された場合、処理はステップＳ１０に進む。

ステップＳ１０において、運転支援装置１０１は、処理を終了するか否かを判定する。処理を終了しないと判定された場合、処理はステップＳ３に戻り、ステップＳ１０において、処理を終了すると判定されるまで、ステップＳ３乃至Ｓ１０の処理が繰り返し実行される。

一方、ステップＳ１０において、例えば、自車のエンジンが停止されたとき、運転支援装置１０１は、処理を終了すると判定し、運転支援処理は終了する。

以上のように、顔の向きと視線の向きの両方に基づいて、脇見を検出するようにすることにより、例えば、図３に示されるように、顔がほぼ正面を向いているが、視線が正面を向いていない場合においても、確実に脇見を検出することができる。逆に、顔が正面を向いていないが、視線が正面を向いている場合に、脇見をしていると誤検出されることが防止される。

また、図４および図５は、視線の向きが同じで、顔の向きが異なる場合のドライバの状態の例を示している。具体的には、図４において、ドライバの顔の向きは−１０度、かつ、視線の向きは−２０度であり、図５において、ドライバの顔の向きは−３０度、かつ、視線の向きは−２０度である。視線の向きが同じでも、図４に示されるように、顔の向きが正面に近いほど、ドライバは正面を見やすくなり、図５に示されるように、顔の向きが正面から遠ざかるほど、正面を見にくくなる。上述したように、顔の向きが顔向き判定範囲外である場合、視線の向きに関わらず、脇見をしていると判定することにより、視線の向きが同じでも、顔の向きが正面に近い場合には、脇見をしていないと判定し、顔の向きが正面から遠い場合には、脇見をしていると判定することができるようになる。

すなわち、より的確に脇見を検出することができる。

さらに、本発明の実施の形態においては、顔の向きおよび視線の向きを検出する手法として従来の手法を用いることができ、他に複雑な処理を行う必要がないため、簡単に脇見の検出精度を向上させることができる。

なお、以上の説明では、車両を運転するドライバの脇見を検出する例を示したが、本発明は、上述した例以外にも、例えば、電車、航空機、船舶などの各種の乗り物を運転または操作する人、工作機械などの装置を操作する人など、所定の方向を注視する必要がある人の脇見を検出する場合にも適用することができる。

また、脇見をしているか否かを判定する場合に、顔が顔向き判定範囲外を向いている時間、または、視線が視線方向判定範囲外を向いている時間を考慮するようにしてもよい。その場合、判定に用いる時間を、自車の速度、顔または視線の向きなどにより調整するようにしてもよい。

さらに、本発明の実施の形態において、顔および視線の向きを検出する手法は、画像を用いる手法に限定されるものではなく、例えば、ドライバの頭部に取り付けたセンサなどにより検出するようにしてもよい。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した運転支援装置の一実施の形態を示すブロック図である。運転支援装置により実行される運転支援処理を説明するためのフローチャートである。脇見の判定の例を説明するための図である。脇見の判定の例を説明するための図である。脇見の判定の例を説明するための図である。パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１０１運転支援装置
１１１撮影部
１１２車速検出部
１１３脇見検出部
１１４車両制御部
１２１顔方向検出部
１２２判定部
１２３視線方向検出部
１２４判定部

Claims

人の顔の向きを検出する顔向き検出手段と、
前記人の顔の向きに基づいて、前記人が脇見をしているか否かを判定する第１の判定手段と、
前記人の視線の向きを検出する視線方向検出手段と、
前記人の顔の向きに基づいて、前記人が脇見をしていないと判定された場合、前記人の視線の向きに基づいて、前記人が脇見をしているか否かを判定する第２の判定手段と
を含む脇見検出装置。
前記第１の判定手段は、前記人が運転する乗り物の速度に応じて、脇見をしているか否かを判定する基準となる顔の向きの範囲を調整する
請求項１に記載の脇見検出装置。
前記第２の判定手段は、前記人が運転する乗り物の速度に応じて、脇見をしているか否かを判定する基準となる視線の向きの範囲を調整する
請求項１に記載の脇見検出装置。
人の顔の向きを検出する顔向き検出ステップと、
前記人の顔の向きに基づいて、前記人が脇見をしているか否かを判定する第１の判定ステップと、
前記人の視線の向きを検出する視線方向検出ステップと、
前記人の顔の向きに基づいて、前記人が脇見をしていないと判定された場合、前記人の視線の向きに基づいて、前記人が脇見をしているか否かを判定する第２の判定ステップと
を含む脇見検出方法。
人の顔の向きを検出する顔向き検出ステップと、
前記人の顔の向きに基づいて、前記人が脇見をしているか否かを判定する第１の判定ステップと、
前記人の視線の向きを検出する視線方向検出ステップと、
前記人の顔の向きに基づいて、前記人が脇見をしていないと判定された場合、前記人の視線の向きに基づいて、前記人が脇見をしているか否かを判定する第２の判定ステップと
を含む処理をコンピュータに実行させるプログラム。