JP7402084B2 - 乗員行動判定装置 - Google Patents

Description

本発明は、カメラで撮影した画像に基づいて車両の乗員の行動を判定する乗員行動判定装置に関する。

特許文献１には、カメラによって取得した画像に基づいて乗員の顔認証を行う技術が示される。この技術は、カメラのイメージセンサを、解像度が低い画像（低解像度画像）を出力する低消費電力モードと、解像度が高い画像（高解像度画像）を出力する通常モードと、で動作させる。具体的には、この技術は、イメージセンサを低消費電力モードで動作させ、低解像度画像に基づいて乗員の顔が検出される場合に、イメージセンサを通常モードで動作させ、高解像度画像に基づいて顔認証を行う。

カメラによって取得される乗員の顔の画像は、乗員の顔認証に用いられる他に、乗員の行動判定にも用いられる。例えば、乗員の顔の画像から乗員の視線又は顔の向きを検出することが可能であり、乗員が脇見しているか否かを判定することが可能である。

特開２０１８－１６０７９９号公報

車両の乗員に提供する様々なサービスが開発されている。サービスの増加に伴い、乗員の様々な行動を判定することが望まれる。しかし、特許文献１の技術のように乗員の顔の画像を取得するだけでは、判定することができる乗員の行動に限界がある。

本発明はこのような課題を考慮してなされたものであり、乗員の様々な行動を判定することができる乗員行動判定装置を提供することを目的とする。

本発明の態様は、
車両の乗員を撮影して画像を取得する監視カメラと、
前記画像に基づいて前記乗員の顔を認識する顔認識部と、
前記画像に基づいて前記乗員の姿勢を認識する姿勢認識部と、
前記顔認識部の認識結果と、前記姿勢認識部の認識結果と、に基づいて車室内における前記乗員の行動を判定する行動判定部と、
を備える。

本発明によれば、乗員の様々な行動を判定することができる。

図１は乗員行動判定装置のブロック図である。 図２はナビゲーション装置と監視カメラを示す図である。 図３は認識－行動情報を示す図である。 図４は行動判定処理のフローチャートである。 図５Ａは高解像度画像を示す図であり、図５Ｂは低解像度画像を示す図である。 図６Ａ及び図６Ｂは認識状態の遷移を示す図である。

以下、本発明に係る乗員行動判定装置について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。

［１．乗員行動判定装置１０の構成］
図１を用いて乗員行動判定装置１０の構成について説明する。乗員行動判定装置１０は、車両に設けられる。乗員行動判定装置１０は、監視カメラ１２と、行動判定ＥＣＵ１８と、を有する。

監視カメラ１２は、車室内を撮影するカメラである。図２に示されるように、監視カメラ１２は、乗員の指によって操作される車両の被操作物１４に近接して設けられる。本実施形態において、被操作物１４は、ナビゲーション装置１６である。被操作物１４は、各種スイッチ、例えば空調装置のスイッチ等であってもよい。監視カメラ１２は、撮影した画像４０を行動判定ＥＣＵ１８に出力する。なお、監視カメラ１２の近傍には、補助照明用の近赤外線ＬＥＤ２０が設けられる。

行動判定ＥＣＵ１８は、プロセッサを有する演算装置２２と、ＲＡＭ及びＲＯＭ等を有する記憶装置２４と、入出力インターフェース（不図示）等を有する。演算装置２２は、記憶装置２４に記憶されるプログラムを実行することにより、画像処理部２６と、近接物認識部２８と、顔認識部３０と、姿勢認識部３２と、物体認識部３４と、行動判定部３６として機能する。

画像処理部２６は、監視カメラ１２が撮影した画像４０を用いて多重解像度解析を行い、相対的に解像度が高い高解像度画像４４と、相対的に解像度が低い低解像度画像４２と、を生成する。高解像度画像４４は低解像度画像４２よりも解像度が高く、低解像度画像４２は高解像度画像４４よりも解像度が低い。

近接物認識部２８は、画像処理部２６が生成した低解像度画像４２に基づいて監視カメラ１２に近接する近接物及び近接物の有無を認識する。顔認識部３０は、画像処理部２６が生成した高解像度画像４４に基づいて乗員の顔を認識し、乗員の顔の向き及び視線の向きを認識する。姿勢認識部３２は、画像処理部２６が生成した高解像度画像４４に基づいて乗員の姿勢を認識する。物体認識部３４は、画像処理部２６が生成した高解像度画像４４に基づいて乗員が把持する物体を認識する。

行動判定部３６は、近接物認識部２８の認識結果と、顔認識部３０の認識結果と、姿勢認識部３２の認識結果と、物体認識部３４の認識結果と、に基づいて車室内にいる乗員の行動を判定する。行動判定部３６の判定結果は、例えば、乗員にリコメンド情報を提供する情報提供装置、又は、乗員に注意を促す報知装置等のように、乗員の行動の情報を使用する装置（ＥＣＵ）に出力される。

記憶装置２４は、各種のプログラムの他に、認識－行動情報３８を記憶する。認識－行動情報３８は、各認識部による認識結果と、その認識結果から推定される乗員の行動の種類とを対応付ける情報である。一例として、次のよう認識結果と行動との対応付けパターンがある。

例えば、運転席に座る乗員（運転者）の顔の向き又は視線の向きが正面以外の場合、運転者は脇見している可能性がある。そこで、図３に示されるように、認識－行動情報３８では、運転者の顔又は視線の向きが前以外という認識結果に対して、脇見という行動が対応付けられる。

例えば、乗員は車室で飲食又は喫煙する場合に、手を口周辺と口周辺以外の場所との間で往復させる可能性がある。そこで、図３に示されるように、認識－行動情報３８では、乗員の手が口周辺と口周辺以外の場所との間を往復するという認識結果に対して、飲食又は喫煙という行動が対応付けられる。

例えば、乗員がスマートフォンを把持する場合、その乗員は電話又は電子メール又は情報検索をしている可能性がある。そこで、図３に示されるように、認識－行動情報３８では、スマートフォンという物体に対して、スマートフォンの操作といった行動が対応付けられる。

例えば、乗員がナビゲーション装置１６を操作する場合、ナビゲーション装置１６に近接する監視カメラ１２の近くでスイッチ類を操作する。このとき、乗員の指又は掌が監視カメラ１２のレンズを遮る可能性が高い。すると、そのとき監視カメラ１２によって撮影される画像４０の大部分には、レンズに近接する乗員の指又は掌が写される。そこで、図３に示されるように、認識－行動情報３８では、監視カメラ１２が近接物（乗員の指又は掌）を認識するという認識結果に対して、ナビゲーション装置１６の操作という行動が対応付けられる。

［２．乗員行動判定装置１０が行う処理］
図４を用いて乗員行動判定装置１０が行う処理を説明する。図４に示される処理は、車両がスイッチ（イグニッションスイッチ、スタートスイッチ等）の操作に応じて始動してからスイッチの操作に応じて停止するまでの間に繰り返し実行される。

ステップＳ１において、監視カメラ１２は、乗員を撮影して画像４０を取得する。監視カメラ１２は、画像４０を行動判定ＥＣＵ１８に出力する。

ステップＳ２において、画像処理部２６は、監視カメラ１２が出力した画像４０を用いて多重解像度解析を行い、低解像度画像４２と高解像度画像４４を生成する。

ステップＳ３において、近接物認識部２８は、低解像度画像４２に基づいて監視カメラ１２に近接する近接物の有無を認識する。監視カメラ１２のレンズに乗員の指等が近接すると、指等は近赤外線ＬＥＤ２０によって照明される。このため、画像４０には白飛び部分が多く含まれる。図５Ａ及び図５Ｂに示されるように、白飛びは、解像度に関係なく発生する。従って、近接物認識部２８は、低解像度画像４２であっても、そこに含まれる白飛び部分の割合を判定することにより、近接物の有無を認識することができる。近接物の有無を認識するための閾値は、予め記憶装置２４に記憶される。監視カメラ１２に近接する近接物がある場合（ステップＳ３：ＹＥＳ）、処理はステップＳ４に移行する。一方、監視カメラ１２に近接する近接物がない場合（ステップＳ３：ＮＯ）、処理はステップＳ５に移行する。

ステップＳ４において、行動判定部３６は、近接物認識部２８の認識結果に基づいて乗員の行動を判定する。行動判定部３６は、認識－行動情報３８に基づいて、乗員の行動をナビゲーション装置１６の操作として判定する。

ステップＳ５において、顔認識部３０は、高解像度画像４４に基づいて乗員の顔を認識する。また、姿勢認識部３２は、高解像度画像４４に基づいて乗員の姿勢を認識する。また、物体認識部３４は、高解像度画像４４に基づいて乗員が把持する物体を認識する。

ステップＳ６において、行動判定部３６は、顔認識部３０の認識結果と、姿勢認識部３２の認識結果と、物体認識部３４の認識結果に基づいて乗員の行動を判定する。ここでは、行動判定部３６は、認識－行動情報３８を参照し、顔認識部３０の認識結果に対応付けられる行動を特定し、特定した行動を乗員の行動として判定する。また、行動判定部３６は、認識－行動情報３８を参照し、姿勢認識部３２の認識結果に対応付けられる行動を特定し、特定した行動を乗員の行動として判定する。また、行動判定部３６は、認識－行動情報３８を参照し、物体認識部３４の認識結果に対応付けられる行動を特定し、特定した行動を乗員の行動として判定する。

なお、ステップＳ６では、行動判定部３６が１以上の乗員の行動を判定する場合と、行動判定部３６が１つの行動も判定することができない場合と、がある。行動判定部３６は、乗員の複数の行動を判定する場合に、複数の行動のうちの１つを選択してもよい。

［３．近接物認識に基づく行動判定の有意性］
本実施形態では、顔認識と姿勢認識と物体認識の他に近接物認識が行われる。図６Ａ及び図６Ｂを用いて近接物認識に基づく行動判定を行うことの有意性について説明する。

顔認識に基づく行動判定には、監視カメラ１２による乗員の顔の撮影が必要である。姿勢認識に基づく行動判定には、監視カメラ１２による乗員の姿勢の撮影が必要である。物体認識に基づく行動判定には、監視カメラ１２による物体の撮影が必要である。しかし、本実施形態のように、監視カメラ１２が被操作物１４（ナビゲーション装置１６）の近傍に設けられると、その被操作物１４が操作されるときに、監視カメラ１２のレンズが乗員の指又は掌によって遮られる。すると、一時的に顔認識と姿勢認識と物体認識が行われなくなる。このとき、図６Ａに示されるように、一時的に行動判定を行うことができなくなる。

一方、本実施形態のように近接物認識を加えることによって、連続的に何らかの認識が行われる。従って、本実施形態は、図６Ｂに示されるように、連続した行動判定を行うことができる。

［４．変形例］
前述した実施形態では、近接物認識に基づく行動判定が行われる。しかし、近接物認識に基づく行動判定は行われなくてもよい。この場合、少なくとも、顔認識に基づく行動判定と姿勢認識に基づく行動判定が行われればよい。更に、物体認識に基づく行動判定が行われるとより好ましい。

また、顔認識と姿勢認識と物体認識と近接物認識が同じ解像度の画像４０に基づいて行われてもよい。

［５．実施形態から得られる技術的思想］
上記実施形態及び変形例から把握しうる技術的思想について、以下に記載する。

本発明の一態様は、
車両の乗員を撮影して画像４０を取得する監視カメラ１２と、
前記画像４０に基づいて前記乗員の顔を認識する顔認識部３０と、
前記画像４０に基づいて前記乗員の姿勢を認識する姿勢認識部３２と、
前記顔認識部３０の認識結果と、前記姿勢認識部３２の認識結果と、に基づいて車室内における前記乗員の行動を判定する行動判定部３６と、
を備える。

上記構成によれば、乗員の顔を認識するだけでなく、乗員の姿勢を認識するため、乗員の様々な行動を判定することができる。

本発明の一態様において、
前記画像４０に基づいて前記乗員が把持する物体を認識する物体認識部３４を更に備え、
前記行動判定部３６は、前記顔認識部３０の認識結果と、前記姿勢認識部３２の認識結果と、前記物体認識部３４の認識結果と、に基づいて前記乗員の行動を判定してもよい。

上記構成によれば、乗員が把持する物体を認識するため、乗員の顔及び姿勢だけでは判定することが難しい乗員の行動を判定することができる。

本発明の一態様において、
前記画像４０に基づいて前記監視カメラ１２に近接する近接物（指又は掌）を認識する近接物認識部２８と、
前記画像４０から、相対的に解像度が高い高解像度画像４４と、相対的に解像度が低い低解像度画像４２と、を生成する画像処理部２６と、を更に備え、
前記顔認識部３０と前記姿勢認識部３２は、前記高解像度画像４４に基づいて認識を行い、
前記近接物認識部２８は、前記低解像度画像４２に基づいて認識を行ってもよい。

上記構成によれば、顔の認識処理と姿勢の認識処理が高解像度画像４４を用いて行われるため、乗員の顔及び姿勢に基づく行動判定の精度を高くすることができる。また、上記構成においては、近接物の認識処理が低解像度画像４２を用いて行われる。監視カメラ１２のレンズに乗員の指等が近接すると、画像４０には白飛び部分が多く含まれる。白飛びは、解像度に関係なく発生する。従って、低解像度画像４２であっても、近接物の有無を認識することは可能である。なお、低解像度画像４２を用いる認識処理は、高解像度画像４４を用いる認識処理よりも演算負荷が少ない。

本発明の一態様において、
前記監視カメラ１２は、前記乗員の指によって操作される前記車両の被操作物１４（ナビゲーション装置１６）に近接して設けられており、
前記行動判定部３６は、前記近接物認識部２８が前記近接物（指又は掌）を認識する場合に、前記乗員の前記行動を、前記被操作物１４の操作行動として判定してもよい。

上記構成によれば、乗員の顔の認識処理及び乗員の姿勢の認識処理を行うことが困難な状況であっても、監視カメラ１２に近接して被操作物１４が設けられ、監視カメラ１２が遮られるという状況から、乗員の行動を判定することができる。

なお、本発明に係る乗員行動判定装置は、前述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

１０…乗員行動判定装置 １２…監視カメラ
１４…被操作物 １６…ナビゲーション装置
２６…画像処理部 ２８…近接物認識部
３０…顔認識部 ３２…姿勢認識部
３４…物体認識部 ３６…行動判定部
４０…画像 ４２…低解像度画像
４４…高解像度画像

Claims (2)

1. 車両の乗員を撮影して画像を取得する監視カメラと、
   前記画像に基づいて前記乗員の顔を認識する顔認識部と、
   前記画像に基づいて前記乗員の姿勢を認識する姿勢認識部と、
   前記顔認識部の認識結果と、前記姿勢認識部の認識結果と、に基づいて車室内における前記乗員の行動を判定する行動判定部と、
   前記画像に基づいて前記監視カメラに近接する近接物を認識する近接物認識部と、
   前記画像から、相対的に解像度が高い高解像度画像と、相対的に解像度が低い低解像度画像と、を生成する画像処理部と、
   を備え、
   前記監視カメラは、前記乗員の指によって操作される前記車両の被操作物に近接して設けられており、
   前記顔認識部と前記姿勢認識部は、前記高解像度画像に基づいて認識を行い、
   前記近接物認識部は、前記低解像度画像に基づいて認識を行い、
   前記行動判定部は、前記近接物認識部が前記近接物を認識する場合に、前記乗員の前記行動を、前記被操作物の操作行動として判定する、乗員行動判定装置。
2. 請求項１に記載の乗員行動判定装置であって、
   前記画像に基づいて前記乗員が把持する物体を認識する物体認識部を更に備え、
   前記行動判定部は、前記顔認識部の認識結果と、前記姿勢認識部の認識結果と、前記物体認識部の認識結果と、に基づいて前記乗員の前記行動を判定する、乗員行動判定装置。