JP5042296B2

JP5042296B2 - 注視判定装置

Info

Publication number: JP5042296B2
Application number: JP2009274457A
Authority: JP
Inventors: 信介植田; 昭夫高橋
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2009-12-02
Filing date: 2009-12-02
Publication date: 2012-10-03
Anticipated expiration: 2029-12-02
Also published as: JP2011116210A

Description

本発明は、注視判定装置に関する。

従来、例えば運転者の顔を撮影した撮影画像上において、運転者が左右のドアミラー又はルームミラーを見たときの眼の位置を検出し、検出結果に基づき脇見許容時間に応じた所定の画像領域の左右端を決定する脇見検出装置が知られている（例えば、特許文献１参照）。
また、従来、例えば運転者により左右のアウターミラーが操作されているときの運転者の顔向き角度を予め検出して記憶しておき、記憶した顔向き角度に基づき、運転中の顔向き角度を判定し、運転者が余所見をしているか否かを判定する余所見判定装置が知られている（例えば、特許文献２参照）。

特許第４３０５０５７号公報特開２００９−９２４４号公報

ところで、上記従来技術に係る脇見検出装置においては、運転者の眼の位置又は視線を検出することが困難な場合には運転者の脇見を検知することが出来ないという問題が生じる。
また、上記従来技術に係る余所見判定装置においては、運転者により左右のアウターミラーが操作されているときの運転者の顔向き角度が予め検出されていない場合には、運転者が余所見をしているか否かを判定することが出来ないという問題が生じる。

本発明は上記事情に鑑みてなされたもので、運転者の注視対象を自動的かつ的確に判定することが可能な注視判定装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る注視判定装置は、車両の運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１１）と、該撮像手段から出力された前記顔画像に基づき前記運転者の顔向き角度を検知して検知結果を出力する顔向き検知手段（例えば、実施の形態での顔向き検知部２１）と、該顔向き検知手段から出力された前記顔向き角度の検知結果に基づいて前記運転者の注視対象を判定して判定結果を出力する注視対象判定手段（例えば、実施の形態での注視対象判定部２６）とを備える注視判定装置であって、前記顔向き検知手段から出力された前記顔向き角度の検知結果から、前記車両のフロントガラス（例えば、実施の形態でのフロントガラス３１）両端に設けられた各ピラー（例えば、実施の形態でのピラー３２）よりも左右の外側方向の所定範囲内に対応する前記顔向き角度の頻度分布を検出して検出結果を出力する頻度分布検出手段（例えば、実施の形態での頻度分布検出部２２）と、前記所定範囲を前記各ピラーから左右のドアミラー（例えば、実施の形態でのドアミラー３３）に向かう方向の近傍で前記各ピラーに接する第１領域と該第１領域よりも左右の外側方向の第２領域とに区分し、前記頻度分布検出手段から出力された前記頻度分布の検出結果を前記第１領域及び前記第２領域毎に記憶する記憶手段（例えば、実施の形態での頻度分布記憶部２３）と、前記記憶手段に記憶された前記頻度分布の検出結果から、前記第１領域及び前記第２領域毎に前記頻度分布が最大となる前記顔向き角度を検出して検出結果を出力する最大頻度検出手段（例えば、実施の形態での最大頻度検出部２４）と、前記最大頻度検出手段から出力された前記顔向き角度の前記検出結果から、前記第１領域にて前記頻度分布が最大となる前記顔向き角度と前記第２領域にて前記頻度分布が最大となる前記顔向き角度との略中間の角度を検出して検出結果を出力する中間角度検出手段（例えば、実施の形態での中間角度検出部２５）とを備え、前記注視対象判定手段は、前記顔向き検知手段から出力された前記顔向き角度の検知結果において、前記顔向き角度が前記各ピラーに対応する角度と前記略中間の角度との間の角度範囲に存在する場合には、前記注視対象がドアミラーであると判定する。

本発明の第１態様に係る注視判定装置によれば、運転者がドアミラーの調整操作などの機器操作を行なわない場合であっても、自動的にドアミラーの位置を運転者の顔向きから検出することができ、利便性を向上させることができる。
また、所定範囲内に対応する顔向き角度の頻度分布の蓄積により第１領域および第２領域を設定することから、例えば運転者の姿勢が変化した場合などであっても、自動的に追従して適切な第１領域および第２領域を設定することができる。

本発明の実施の形態に係る注視判定装置の構成図である。本発明の実施の形態に係る第１領域Ａ及び第２領域Ｂの例を示す図である。本発明の実施の形態に係る各第１領域Ａ及び第２領域Ｂでの顔向き角度の頻度分布の例を示す図である。本発明の実施の形態に係る注視判定装置の動作を示すフローチャートである。図４に示す判定角度設定の処理を示すフローチャートである。

以下、本発明の注視判定装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による注視判定装置１０は、例えば図１に示すように、乗員カメラ１１と、処理装置１２とを備えて構成され、さらに、処理装置１２は、顔向き検知部２１と、頻度分布検出部２２と、頻度分布記憶部２３と、最大頻度検出部２４と、中間角度検出部２５と、注視対象判定部２６とを備えて構成されている。

乗員カメラ１１は、少なくとも車両の運転席に着座した運転者の顔を、撮像対象として、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。

処理装置１２の顔向き検知部２１は、乗員カメラ１１から出力された顔画像に基づき、例えば運転者の顔を検知対象とした所定の認識処理を行ない、認識した顔に基づき、所定の基準方向（例えば、運転席の正面方向など）に対する運転者の顔向きの角度（顔向き角度）を検知して検知結果を出力する。

頻度分布検出部２２は、顔向き検知部２１から出力された運転者の顔向き角度の頻度分布を、例えば図２に示すように、車両のフロントガラス３１両端に設けられたピラー３２よりも左右の外側方向の所定範囲（学習範囲）内に対して検出して検出結果を出力する。
例えば、頻度分布検出部２２は、所定範囲（学習範囲）内に対応する角度範囲で運転者の顔向き角度が所定時間以上に亘って停留した場合に、この顔向き角度の頻度の度数を増大更新する。

頻度分布記憶部２３は、頻度分布検出部２２から出力された所定範囲内での運転者の顔向き角度の頻度分布を、例えばピラー３２から左右のドアミラー３３に向かう方向の近傍でピラー３２に接する第１領域Ａでの頻度分布と、この第１領域Ａよりも左右の外側方向の第２領域Ｂでの頻度分布とに区分して記憶する。
なお、第１領域Ａは、少なくとも左右のドアミラー３３を内部に含む領域であって、第２領域Ｂは、少なくとも左右のドアミラー３３よりも左右の外側方向であって、左右のドアガラス３４の一部を含む領域である。

最大頻度検出部２４は、頻度分布記憶部２３に記憶された各領域Ａ，Ｂ毎において、例えば頻度分布の標本数が所定閾値以上に到達した以後に、顔向き角度の頻度の度数が増大更新される都度に、運転者の顔向き角度の頻度分布が最大となる顔向き角度を検出して検出結果を出力する。

中間角度検出部２５は、例えば図３に示すように、最大頻度検出部２４から出力された各領域Ａ，Ｂ毎での運転者の顔向き角度の頻度分布が最大となる顔向き角度（最大頻度角度）θＡ，θＢの略中間の角度、例えば中点の角度（（θＡ＋θＢ）／２）を検出して、この検出結果を判定角度として出力する。

注視対象判定部２６は、中間角度検出部２５から出力された判定角度に基づき、顔向き検知部２１から出力された運転者の顔向き角度が、左右のピラー３２に対応する顔向き角度と判定角度との間の角度範囲に存在するか否かを判定し、この角度範囲内に存在すると判定した場合には、運転者の注視対象が左右のドアミラー３３であると判定して、この判定結果を出力する。

この実施の形態による注視判定装置１０は上記構成を備えており、次に、この注視判定装置１０の動作について説明する。

先ず、例えば図４に示すステップＳ０１においては、車両の運転席に着座した運転者の顔画像を取得する。
次に、ステップＳ０２においては、顔画像に基づき、運転者の顔向き角度を検出する。
次に、ステップＳ０３においては、運転者の顔向きの方向が左（例えば、運転席の正面から左）であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０４に進み、このステップＳ０４においては、左のドアミラー３３に対して、後述する判定角度設定の処理を行なう。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０５に進み、このステップＳ０５においては、右のドアミラー３３に対して、後述する判定角度設定の処理を行なう。

次に、ステップＳ０６においては、顔向き検知部２１から出力された運転者の顔向き角度が、左右のピラー３２に対応する顔向き角度と判定角度との間の角度範囲に存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進み、このステップＳ０７においては、運転者の注視対象がドアミラー３３であると判定して、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０８に進み、このステップＳ０８においては、運転者の注視対象がドアミラー３３以外であると判定して、エンドに進む。

以下に、上述したステップＳ０４，Ｓ０５での判定角度設定の処理について説明する。
先ず、例えば図５に示すステップＳ１１においては、運転者の顔向き角度は車両のフロントガラス３１両端に設けられたピラー３２よりも左右の外側方向の所定範囲（学習範囲）内に対応する角度であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１２に進む。

次に、ステップＳ１２においては、所定範囲（学習範囲）内に対応する角度範囲で運転者の顔向き角度が所定時間以上に亘って停留したか否かを判定する。
この判定結果が「ＮＯ」の場合には、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
次に、ステップＳ１３においては、運転者の顔向き角度が第１領域Ａ内に対応する角度範囲内であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、第１領域Ａの頻度分布、つまり顔向き角度の頻度の度数を増大更新する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１５に進み、このステップＳ１５においては、第２領域Ｂの頻度分布、つまり顔向き角度の頻度の度数を増大更新する。

次に、ステップＳ１６においては、各領域Ａ，Ｂ毎において頻度分布の標本数が所定閾値以上に到達したか否かを判定する。
この判定結果が「ＮＯ」の場合には、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１７に進む。
そして、ステップＳ１７においては、頻度分布の標本数が所定閾値以上に到達した以後での運転者の顔向き角度の頻度分布が最大となる顔向き角度を検出する。

次に、ステップＳ１８においては、両領域Ａ，Ｂにおいて運転者の顔向き角度の頻度分布が最大となる顔向き角度の検出が完了したか否かを判定する。
この判定結果が「ＮＯ」の場合には、エンドに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１９に進む。
そして、ステップＳ１９においては、各領域Ａ，Ｂ毎での運転者の顔向き角度の頻度分布が最大となる顔向き角度（最大頻度角度）θＡ，θＢの中点の角度（（θＡ＋θＢ）／２）を検出して、この検出結果を判定角度として設定し、エンドに進む。

上述したように、本実施の形態による注視判定装置１０によれば、運転者がドアミラー３３の調整操作などの機器操作を行なわない場合であっても、自動的にドアミラー３３の位置を運転者の顔向きから検出することができ、利便性を向上させることができる。
また、所定範囲内に対応する顔向き角度の頻度分布の蓄積により第１領域Ａおよび第２領域Ｂを設定することから、例えば運転者の姿勢が変化した場合などであっても、自動的に追従して適切な第１領域Ａおよび第２領域Ｂを設定することができる。

なお、上述した実施の形態においては、例えば車両の始動時などにおいて、例えばイグニッションがＯＮとされてから判定角度が設定されるまでの期間においては、単に、運転者の顔向き角度が第１領域Ａに対応する角度範囲内に存在するか否かに応じて、運転者の注視対象がドアミラー３３であるか否かを判定してもよい。

１０注視判定装置
１１乗員カメラ（撮像手段）
２１顔向き検知部（顔向き検知手段）
２２頻度分布検出部（頻度分布検出手段）
２３頻度分布記憶部（記憶手段）
２４最大頻度検出部（最大頻度検出手段）
２５中間角度検出部（中間角度検出手段）
２６注視対象判定部（注視対象判定手段）
３１フロントガラス
３２ピラー
３３ドアミラー

Claims

車両の運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記運転者の顔向き角度を検知して検知結果を出力する顔向き検知手段と、該顔向き検知手段から出力された前記顔向き角度の検知結果に基づいて前記運転者の注視対象を判定して判定結果を出力する注視対象判定手段とを備える注視判定装置であって、
前記顔向き検知手段から出力された前記顔向き角度の検知結果から、前記車両のフロントガラス両端に設けられた各ピラーよりも左右の外側方向の所定範囲内に対応する前記顔向き角度の頻度分布を検出して検出結果を出力する頻度分布検出手段と、
前記所定範囲を前記各ピラーから左右のドアミラーに向かう方向の近傍で前記各ピラーに接する第１領域と該第１領域よりも左右の外側方向の第２領域とに区分し、前記頻度分布検出手段から出力された前記頻度分布の検出結果を前記第１領域及び前記第２領域毎に記憶する記憶手段と、
前記記憶手段に記憶された前記頻度分布の検出結果から、前記第１領域及び前記第２領域毎に前記頻度分布が最大となる前記顔向き角度を検出して検出結果を出力する最大頻度検出手段と、
前記最大頻度検出手段から出力された前記顔向き角度の前記検出結果から、前記第１領域にて前記頻度分布が最大となる前記顔向き角度と前記第２領域にて前記頻度分布が最大となる前記顔向き角度との略中間の角度を検出して検出結果を出力する中間角度検出手段とを備え、
前記注視対象判定手段は、前記顔向き検知手段から出力された前記顔向き角度の検知結果において、前記顔向き角度が前記各ピラーに対応する角度と前記略中間の角度との間の角度範囲に存在する場合には、前記注視対象がドアミラーであると判定することを特徴とする注視判定装置。