JP7003332B2 - 運転者監視装置及び運転者監視方法 - Google Patents

Description

この発明は、車両における運転者監視装置及び運転者監視方法に関するものである。

従来、車両における運転者の状態を監視する運転者監視装置がある。運転者監視装置は、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された画像をカメラから受信し、受信した撮像画像を解析してこの撮像画像に含まれている顔の領域を認識し、認識した顔の領域を用いて運転者の状態を判定する（例えば、特許文献１参照）。

特開２００９－１１６７４２号公報

例えば、後部座席の乗員が運転席のヘッドレスト付近に身を乗り出すことにより後部座席の乗員の顔が運転者の顔に接近した場合、従来の運転者監視装置は、この後部座席の乗員の顔を運転者の顔として誤認識してしまう可能性があった。従来の運転者監視装置は、後部座席の乗員の顔を運転者の顔として誤認識した場合、後部座席の乗員の顔の領域を用いて脇見運転及び居眠り運転等の状態を判定することになる。そのため、従来の運転者監視装置は、運転者が正常な状態であっても、後部座席の乗員の状態によっては運転者が脇見運転及び居眠り運転等の状態であるものと誤判定する可能性があった。

この発明は、上記のような課題を解決するためになされたもので、運転者以外の乗員の顔を運転者の顔として誤認識することを抑制することを目的とする。

この発明に係る運転者監視装置は、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された撮像画像を撮像装置から取得し、撮像画像における顔認識領域に存在する顔を運転者の顔として認識する運転者認識部と、運転者認識部により認識された運転者の顔に基づいて運転者の状態を判定する運転者状態判定部と、運転席以外の座席のシートベルトの引き出し長さを検出するシートベルト検出部と、シートベルト検出部により検出されたシートベルトの引き出し長さに基づいて、撮像画像における顔認識領域の大きさ又は位置を変更する領域変更部とを備えるものである。

この発明によれば、運転席以外の座席のシートベルトの引き出し長さに基づいて、顔認識領域の大きさ又は位置を変更することができる。したがって、例えば、運転席以外の座席の乗員の顔が運転者の顔に接近した場合に、この乗員の顔が顔認識領域に入る可能性を低下させ、運転者以外の乗員の顔を運転者の顔として誤認識することを抑制することができる。

実施の形態１に係る運転者監視装置の構成例を示すブロック図である。 実施の形態１に係る運転者監視装置による運転者監視動作の一例を示すフローチャートである。 通常時の車内の状態が撮像された撮像画像の例を示す図である。 後部座席の乗員が運転席のヘッドレスト付近に身を乗り出している状態が撮像された撮像画像の例を示す図である。 実施の形態１に係る運転者監視装置による顔認識領域変更動作の一例を示すフローチャートである。 後部座席の乗員が運転席のヘッドレスト付近に身を乗り出している状態における、顔認識領域の縮小例を示す図である。 後部座席の乗員が運転席のヘッドレスト付近に身を乗り出している状態における、顔認識領域の移動例を示す図である。 実施の形態２に係る運転者監視装置による顔認識領域変更動作の一例を示すフローチャートである。 実施の形態３に係る運転者監視装置による顔認識領域変更動作の一例を示すフローチャートである。 各実施の形態に係る運転者監視装置のハードウェア構成の一例を示すブロック図である。 各実施の形態に係る運転者監視装置のハードウェア構成の別の例を示すブロック図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る運転者監視装置２の構成例を示すブロック図である。撮像装置１及び運転者監視装置２は、図示しない車両に搭載されている。この撮像装置１は、例えば、車両前部における運転席と助手席の中間位置に設置されて、運転席と助手席とを同時に撮像する。撮像装置１は、撮像画像を運転者監視装置２へ出力する。なお、撮像装置１は、少なくとも運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲を撮像可能に設置されているものであればよい。運転席に着座している運転者の顔が存在すべき範囲とは、例えば、運転席のヘッドレストの前方付近の空間に相当する範囲である。

運転者監視装置２は、運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６を備える。この運転者監視装置２は、撮像装置１に接続されている。

運転者認識部３は、撮像装置１が撮像した撮像画像を、撮像装置１から取得する。運転者認識部３は、この撮像画像中の運転者の顔が位置する可能性が高い領域（以下、「顔認識領域」と称する）に存在する顔を、運転者の顔として認識する。顔認識領域は、例えば、矩形状の領域である。運転者認識部３は、認識した運転者の顔の情報を、運転状態判定部４へ出力する。
なお、運転者認識部３は周知の技術を用いて顔を認識すればよいため、認識方法の詳細な説明は省略する。また、撮像画像における顔認識領域の大きさ及び位置は、領域変更部６から指示される。運転者認識部３は、領域変更部６から顔認識領域の大きさ及び位置の指示があると、当該指示に基づいて、顔認識領域を設定する。

運転状態判定部４は、運転者認識部３により認識された運転者の顔に基づいて、運転者の状態を判定する。例えば、運転状態判定部４は、運転者の顔の向きに基づいて脇見運転を判定する。また、例えば、運転状態判定部４は、運転者の眼の開閉度合いに基づいて居眠り運転を判定する。運転状態判定部４は、運転者が脇見運転又は居眠り運転等を行っていると判定した場合、車両に搭載されたスピーカ又はディスプレイの少なくとも一方を用いて運転者に対して警告する。また、運転状態判定部４は、運転者が脇見運転又は居眠り運転等を行っていると判定した場合、ハンドル又は運転席の少なくとも一方を振動させることによって運転者に対して警告してもよい。

シートベルト検出部５は、撮像装置１が撮像した撮像画像を、撮像装置１から取得する。ここでは、撮像装置１は、運転席、助手席、運転席側の後部座席、及び助手席側の後部座席を同時に撮像する構成であるものとする。シートベルト検出部５は、この撮像画像を解析して、運転席以外の座席、つまり助手席、運転席側の後部座席、及び助手席側の後部座席の各シートベルトの引き出し長さを検出する。例えば、シートベルトに等間隔の印がつけられている場合、シートベルト検出部５は、撮像画像中のシートベルトの印に基づいて引き出し長さを検出する。シートベルト検出部５は、検出した運転席以外のシートベルトの引き出し長さを、領域変更部６へ出力する。

シートベルト検出部５によるシートベルトの引き出し長さの検出方法は、撮像画像を用いた上記の方法に限定されない。例えば、各座席にシートベルトの巻き取り長さを計測するセンサが設置されている場合、シートベルト検出部５は、各座席のセンサからシートベルトの巻き取り長さの計測結果を取得し、この計測結果に基づいてシートベルトの引き出し長さを検出する。

領域変更部６は、撮像装置１の撮像画像における顔認識領域の大きさ及び位置の情報を保持している。撮像画像における顔認識領域の大きさ及び位置は、撮像装置１の設置場所及び撮像範囲等に応じて事前に設定されたものである。領域変更部６は、シートベルト検出部５により検出された運転席以外のシートベルトの引き出し長さに基づいて、この顔認識領域の大きさ又は位置を変更する。領域変更部６は、シートベルトの引き出し長さが長いほど顔認識領域の縮小量又は移動量を大きくしてもよいし、シートベルトの引き出し長さが予め定められた第１長さ以上になった場合に顔認識領域を縮小又は移動してもよい。引き出し長さは、シートベルトが巻き取り装置から引き出された長さであってもよいし、巻き取り装置から引き出された長さの変化量であってもよい。予め定められた第１長さとは、乗員がシートベルトを引き出しながら身体を運転席の方向に移動することによって、この乗員の顔が、事前に設定されたデフォルトの顔認識領域に入ったことを判定するための値である。この第１長さも、シートベルトが巻き取り装置から引き出された長さであってもよいし、巻き取り装置から引き出された長さの変化量であってもよい。また、この第１長さは、全座席共通の値であってもよいし、座席ごとに異なる値であってもよい。領域変更部６は、顔認識領域の大きさ及び位置の情報を、運転者認識部３へ出力することで、運転者認識部３に対して顔認識領域の大きさ及び位置の指示を行う。

次に、運転者監視装置２の動作を説明する。
図２は、実施の形態１に係る運転者監視装置２による運転者監視動作の一例を示すフローチャートである。ステップＳＴ１において、運転者認識部３は、領域変更部６から顔認識領域の大きさ及び位置の指示があった場合（ステップＳＴ１“ＹＥＳ”）、ステップＳＴ２において顔認識領域を設定する。顔認識領域の大きさ及び位置の指示がない場合（ステップＳＴ１“ＮＯ”）、運転者認識部３は、前回設定した顔認識領域をそのまま用いる。

ステップＳＴ３において、運転者認識部３は、撮像装置１から撮像画像を取得し、撮像画像における顔認識領域に存在する顔を運転者の顔として認識する。ステップＳＴ４において、運転状態判定部４は、運転者認識部３により認識された運転者の顔に基づいて、運転者の状態を判定する。

図３は、通常時の車内の状態が撮像された撮像画像の例を示す図である。図４は、後部座席３１の後部座席乗員３３が運転席１１のヘッドレスト付近に身を乗り出している状態が撮像された撮像画像の例を示す図である。
図３及び図４に示されるように、撮像画像には、運転席１１、運転席シートベルト１２、運転席１１に着座している運転者１３、助手席２１、運転席１１側の後部座席３１、後部座席シートベルト３２、及び後部座席３１に着座している後部座席乗員３３が含まれている。この例では、助手席２１には乗員が存在しない。また、この例では、説明を簡単にするために助手席２１側の後部座席が省略されている。

図３に示されるように、後部座席乗員３３が後部座席３１に着座している通常時、顔認識領域１０には、運転者１３の顔が存在する。なお、顔認識領域１０には後部座席乗員３３の顔の一部も存在するが、運転者認識部３は、運転者１３の顔の大きさに比べて後部座席乗員３３の顔の大きさが小さいこと、及び運転者１３の顔の明るさに比べて後部座席乗員３３の顔の明るさが暗いこと等に基づいて、運転者１３の顔と後部座席乗員３３の顔とを区別することができる。

図４に矢印４１で示されるように、後部座席乗員３３が運転席１１のヘッドレスト付近に身を乗り出した状態では、後部座席乗員３３の顔が運転席１１のヘッドレストに接近している可能性が高く、後部座席乗員３３の顔が顔認識領域１０に入っている可能性がある。この場合、運転者１３の顔の大きさと後部座席乗員３３の顔の大きさが略同じになり、また、運転者１３の顔の明るさと後部座席乗員３３の顔の明るさが略同じになる。そのため、運転者認識部３は、顔認識領域１０に存在する後部座席乗員３３の顔を、運転者の顔として誤認識する場合がある。後部座席乗員３３の顔が運転者の顔として誤認識された場合、運転状態判定部４は、実際の運転者１３は運転に集中している状態にもかかわらず、後部座席乗員３３の顔の状態に基づいて脇見運転等の警告を行ってしまうことがある。

図５は、実施の形態１に係る運転者監視装置２による顔認識領域変更動作の一例を示すフローチャートである。運転者監視装置２は、図５のフローチャートに示される動作を、図２のフローチャートに示される動作と並列に実行する。

ステップＳＴ１１において、シートベルト検出部５は、運転席以外の座席のシートベルトの引き出し長さを検出する。ステップＳＴ１２において、領域変更部６は、シートベルト検出部５により検出されたシートベルトの引き出し長さが第１長さ以上となった座席があるか否かを判定する。シートベルトの引き出し長さが第１長さ以上となった座席がある場合（ステップＳＴ１２“ＹＥＳ”）、ステップＳＴ１３において、領域変更部６は、顔認識領域を縮小し、縮小後の顔認識領域の情報を運転者認識部３に指示する。一方、シートベルトの引き出し長さが第１長さ以上となった座席がない場合（ステップＳＴ１２“ＮＯ”）、ステップＳＴ１４において、領域変更部６は、顔認識領域の大きさをリセットし、リセット後のデフォルトの顔認識領域の情報を運転者認識部３に指示する。

図６は、後部座席３１の後部座席乗員３３が運転席１１のヘッドレスト付近に身を乗り出している状態における、顔認識領域１０の縮小例を示す図である。図６に矢印４１で示されるように、後部座席乗員３３が運転席１１のヘッドレスト付近に身を乗り出すと、後部座席シートベルト３２が矢印４２で示されるように引き出されて長くなる。後部座席シートベルト３２の引き出し長さの変化量は、シートベルト検出部５により検出される。領域変更部６は、後部座席シートベルト３２が引き出されたことにより、後部座席シートベルト３２の引き出し長さが第１長さ以上となった場合、顔認識領域１０を顔認識領域１０ａに縮小する。これにより、後部座席乗員３３の顔が顔認識領域１０ａに入ることが抑制され、後部座席乗員３３の顔が運転者の顔として誤認識される可能性が低下する。なお、運転者１３の顔が顔認識領域１０ａから外れてしまうことを抑制するために、領域変更部６は、例えば、顔認識領域１０の左右方向のみを縮小する。

顔認識領域１０の縮小は、縮小後の顔認識領域１０ａが、運転者の顔が含まれている可能性がより高いと推定される領域を含み、かつ、運転者以外の乗員の顔が含まれる可能性が低い領域となるように行われる。デフォルトの顔認識領域１０は、例えば、運転者の顔が種々の位置に動いたとしても運転者の顔が検出できる程度に、広く設定されることがある。一方、運転中の運転者の姿勢は、略一定の状態であることが多く、このため、運転者の顔の位置も、一定の位置に止まることが多い。したがって、顔認識領域１０が広く設定される場合、当該顔認識領域１０の中にも、運転者の顔が含まれている可能性が比較的高い部分と、比較的低い部分とが生じる状態となる。顔認識領域１０の縮小は、このような状態を考慮して行われる。
顔認識領域１０の縮小は、例えば、顔認識領域１０内の特定の位置を基準として行われる。具体的には、例えば、矩形状の顔認識領域１０の中心を基準として、矩形の縦横の比率が変えずに縮小する態様、又は、矩形状の顔認識領域１０の中心を基準として、左右方向のみを縮小する態様が考えられる。矩形状の顔認識領域１０の中心を基準として、左右方向のみを縮小する態様の場合、左右を均等に縮小させることも可能であるし、左右の縮小の比率を異なるものとすることも可能である。また、例えば、矩形状の顔認識領域１０の左辺若しくは右辺を基準として、左右方向のみに縮小する態様、又は、矩形状の顔認識領域１０のいずれかの頂点を基準として、矩形の縦横の比率を変えずに若しくは矩形の縦横の比率を変えて縮小する態様も考えられる。
このように、顔認識領域１０の縮小は、縮小後の顔認識領域１０ａが、運転者の顔が含まれている可能性がより高いと推定される領域を含み、かつ、運転者以外の乗員の顔が含まれる可能性が低い領域となるように行われるものであればよい。

図６では、領域変更部６が顔認識領域１０を顔認識領域１０ａに縮小したが、顔認識領域１０を移動してもよい。
図７は、後部座席３１の後部座席乗員３３が運転席１１のヘッドレスト付近に身を乗り出している状態における、顔認識領域１０の移動例を示す図である。例えば、領域変更部６は、運転席１１以外の座席のシートベルトの引き出し長さが予め定められた第１長さ以上となった場合、顔認識領域１０を矢印４３で示されるように運転席１１の窓側に移動し、顔認識領域１０ｂにする。

顔認識領域１０の移動は、移動後の顔認識領域１０ｂが、運転者の顔が含まれている可能性がより高いと推定される領域を含み、かつ、運転者以外の乗員の顔が含まれる可能性が低い領域となるように行われる。例えば、図７に示されるような右ハンドルの車両の場合、撮像画像中の運転者の顔の右側の領域には、運転者以外の乗員の顔が含まれる可能性が高いが、運転者の顔の左側の領域、すなわち、運転席１１の窓側の領域には、運転者以外の乗員の顔が含まれる可能性が低い。したがって、上記のように顔認識領域１０を運転席１１の窓側に移動することで、移動後の顔認識領域１０ｂを、運転者の顔が含まれている可能性がより高いと推定される領域を含み、かつ、運転者以外の乗員の顔が含まれる可能性が低い領域とすることができる。

なお、実施の形態１に係る運転者監視装置２における領域変更部６は、顔認識領域の大きさを変更する機能のみを有するものでもよいし、顔認識領域の位置を変更する機能のみを有するものでもよいし、または、両方の機能をともに有するものであってもよい。また、領域変更部６が上記の両方の機能をともに有するものである場合、状況に応じて大きさ若しくは位置のいずれかのみを変更するものであってもよい。また、領域変更部６が上記の両方の機能をともに有するものである場合、大きさ若しくは位置のいずれかのみを変更するか、又は、大きさと位置の両方を変更するかを、状況に応じて選択可能なものであってもよい。

以上のように、実施の形態１に係る運転者監視装置２は、運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６を備える。運転者認識部３は、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された撮像画像を撮像装置１から取得し、この撮像画像における顔認識領域に存在する顔を運転者の顔として認識する。運転状態判定部４は、運転者認識部３により認識された運転者の顔に基づいて運転者の状態を判定する。シートベルト検出部５は、運転席以外の座席のシートベルトの引き出し長さを検出する。領域変更部６は、シートベルト検出部５により検出されたシートベルトの引き出し長さに基づいて、撮像画像における顔認識領域の大きさ又は位置を変更する。この構成により、領域変更部６は、例えば、運転席以外の座席の乗員が運転席へ接近した場合に、この乗員の顔が顔認識領域に入る可能性を低下させることができるので、運転者認識部３が運転者以外の乗員の顔を運転者の顔として誤認識することを抑制することができる。

また、実施の形態１によれば、領域変更部６は、運転席以外の座席のシートベルトの引き出し長さが予め定められた第１長さ以上となった場合、顔認識領域の縮小又は移動を行う。この構成により、領域変更部６は、運転席以外の座席の乗員が運転席へ接近した場合に、この乗員の顔が顔認識領域に入る可能性を低下させることができる。

なお、領域変更部６は、運転席以外の座席のシートベルトの引き出し長さが長いほど、顔認識領域の縮小量又は移動量を大きくしてもよい。この構成により、領域変更部６は、運転席以外の座席の乗員の、運転席への接近度合いに応じて、顔認識領域を変更することができる。よって、領域変更部６は、運転席以外の座席の乗員の顔が顔認識領域に入る可能性を低下させることができると共に、運転者１３の顔が顔認識領域１０ａから外れてしまうことを抑制することができる。

実施の形態２．
実施の形態２に係る運転者監視装置２の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。

実施の形態２の領域変更部６は、シートベルトの引き出し長さが予め定められた第１長さ以上となった座席の位置に応じて、顔認識領域の縮小の態様又は移動方向を変更する。例えば、シートベルトが引き出されている座席が運転席側の後部座席である場合、運転席側の後部座席の乗員は、運転席のヘッドレストの左右どちら側からも顔を出す可能性がある。そのため、領域変更部６は、運転席側の後部座席のシートベルトの引き出し長さが第１長さ以上となった場合、顔認識領域を左右均等に縮小させる。

また、例えば、シートベルトが引き出されている座席が助手席側の後部座席である場合、助手席側の後部座席の乗員は、運転席の窓側から顔を出すことが困難であり、助手席側から顔を出す可能性が高い。そのため、領域変更部６は、助手席側の後部座席のシートベルトの引き出し長さが第１長さ以上となった場合、顔認識領域を助手席側だけ縮小させる。または、領域変更部６は、助手席側の後部座席のシートベルトの引き出し長さが第１長さ以上となった場合、顔認識領域を窓側へ移動させてもよい。

このように、実施の形態２の領域変更部６は、運転席以外の座席の乗員が顔を出す可能性のある側の顔認識領域のみを縮小させる。または、領域変更部６は、運転席以外の座席の乗員が顔を出す可能性のある側とは反対へ顔認識領域を移動させる。なお、座席ごとの顔認識領域の縮小の態様、及び座席ごとの顔認識領域の移動方向等の情報は、領域変更部６に予め設定されている。

図８は、実施の形態２に係る運転者監視装置２による顔認識領域変更動作の一例を示すフローチャートである。運転者監視装置２は、図８のフローチャートに示される動作を、図２のフローチャートに示される動作と並列に実行する。図８のフローチャートにおけるステップＳＴ１１，ＳＴ１２，ＳＴ１４の動作は、図５のフローチャートにおけるステップＳＴ１１，ＳＴ１２，ＳＴ１４の動作と同じである。

シートベルトの引き出し長さが第１長さ以上となった座席がある場合（ステップＳＴ１２“ＹＥＳ”）、ステップＳＴ１３ａにおいて、領域変更部６は、その座席に応じた縮小の態様で顔認識領域を縮小し、縮小後の顔認識領域の情報を運転者認識部３に指示する。

以上のように、実施の形態２の領域変更部６は、シートベルトの引き出し長さが予め定められた第１長さ以上となった座席の位置に応じて顔認識領域の縮小の態様又は移動方向を変更する。この構成により、領域変更部６は、変更後の顔認識領域に、運転者以外の乗員の顔が入る可能性をさらに低下させることができる。

実施の形態３．
実施の形態３に係る運転者監視装置２の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。

図９は、実施の形態３に係る運転者監視装置２による顔認識領域変更動作の一例を示すフローチャートである。運転者監視装置２は、図９のフローチャートに示される動作を、図２のフローチャートに示される動作と並列に実行する。

ステップＳＴ１１ｂにおいて、シートベルト検出部５は、運転席を含む各座席のシートベルトの引き出し長さを検出する。

続くステップＳＴ１５において、領域変更部６は、シートベルト検出部５により検出された運転席のシートベルトの引き出し長さが予め定められた第２長さ以上であるか否かを判定する。第２長さは、第１長さと同じであってもよいし、異なってもよい。また、この第２長さは、シートベルトが巻き取り装置から引き出された長さであってもよいし、巻き取り装置から引き出された長さの変化量であってもよい。

運転席のシートベルトの引き出し長さが第２長さ以上である場合（ステップＳＴ１５“ＹＥＳ”）、実際の運転者の顔の位置が顔認識領域の端に寄っている可能性が高い。このような場合に顔認識領域が縮小又は移動されると、実際の運転者の顔が顔認識領域から外れてしまう可能性がある。そのため、領域変更部６は、運転席のシートベルトの引き出し長さが第２長さ以上である場合（ステップＳＴ１５“ＹＥＳ”）、顔認識領域の縮小又は移動をいずれも行わない。

一方、運転席のシートベルトの引き出し長さが第２長さ未満である場合（ステップＳＴ１５“ＮＯ”）、実際の運転者の顔の位置が顔認識領域の端に寄っている可能性が低い。このような場合に顔認識領域が縮小又は移動しても、実際の運転者の顔が顔認識領域から外れる可能性は低い。そのため、領域変更部６は、運転席のシートベルトの引き出し長さが第２長さ未満である場合（ステップＳＴ１５“ＮＯ”）、実施の形態１の顔認識領域変更動作（ステップＳＴ１２，ＳＴ１３，ＳＴ１４）を行う。なお、領域変更部６は、実施の形態１の顔認識領域変更動作に代えて、実施の形態２の顔認識領域変更動作（図８のステップＳＴ１２，ＳＴ１３ａ，ＳＴ１４）を行ってもよい。

以上のように、実施の形態３のシートベルト検出部５は、運転席のシートベルトの引き出し長さを検出する。領域変更部６は、シートベルト検出部５により検出された運転席のシートベルトの引き出し長さが予め定められた第２長さ以上である場合、顔認識領域の縮小又は移動をいずれも行わない。この構成により、領域変更部６は、顔認識領域を変更することによって実際の運転者の顔が変更後の顔認識領域から外れてしまうことを抑制することができる。

図１０及び図１１は、各実施の形態に係る運転者監視装置２のハードウェア構成例を示す図である。運転者監視装置２における運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６の機能は、処理回路により実現される。即ち、運転者監視装置２は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。

図１０に示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。

図１１に示されるように、処理回路がプロセッサ１０１である場合、運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、運転者監視装置２は、プロセッサ１０１により実行されるときに、図２及び図５等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６の手順又は方法をコンピュータに実行させるものであるとも言える。

ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性若しくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、運転者監視装置２における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。

上記例では、運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６の機能が車両に搭載される運転者監視装置２に集約された構成であったが、ネットワーク上のサーバ装置に集約され、このサーバ装置が車両の撮像装置１から撮像画像を取得すると共に運転者状態の判定結果を車両へ通知する構成であってもよい。また、運転者認識部３、運転状態判定部４、シートベルト検出部５、及び領域変更部６の機能がネットワーク上のサーバ装置、スマートフォン等の携帯端末、及び車載器等に分散されていてもよい。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。

この発明に係る運転者監視装置は、撮像画像を用いて運転者の脇見運転及び居眠り運転等の状態を判定する運転者監視装置等に用いるのに適している。

１ 撮像装置、２ 運転者監視装置、３ 運転者認識部、４ 運転状態判定部、５ シートベルト検出部、６ 領域変更部、１０，１０ａ，１０ｂ 顔認識領域、１１ 運転席、１２ 運転席シートベルト、１３ 運転者、２１ 助手席、３１ 後部座席、３２ 後部座席シートベルト、３３ 後部座席乗員、４１，４２，４３ 矢印、１００ 処理回路、１０１ プロセッサ、１０２ メモリ。

Claims (6)

1. 運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された撮像画像を撮像装置から取得し、前記撮像画像における顔認識領域に存在する顔を運転者の顔として認識する運転者認識部と、
   前記運転者認識部により認識された前記運転者の顔に基づいて前記運転者の状態を判定する運転者状態判定部と、
   前記運転席以外の座席のシートベルトの引き出し長さを検出するシートベルト検出部と、
   前記シートベルト検出部により検出された前記シートベルトの引き出し長さに基づいて、前記撮像画像における前記顔認識領域の大きさ又は位置を変更する領域変更部とを備える運転者監視装置。
2. 前記領域変更部は、前記運転席以外の座席のシートベルトの引き出し長さが長いほど、前記顔認識領域の縮小量又は移動量を大きくすることを特徴とする請求項１記載の運転者監視装置。
3. 前記領域変更部は、前記運転席以外の座席のシートベルトの引き出し長さが予め定められた第１長さ以上となった場合、前記顔認識領域の縮小又は移動を行うことを特徴とする請求項１記載の運転者監視装置。
4. 前記領域変更部は、シートベルトの引き出し長さが前記第１長さ以上となった座席の位置に応じて前記顔認識領域の縮小の態様又は移動方向を変更することを特徴とする請求項３記載の運転者監視装置。
5. 前記シートベルト検出部は、前記運転席のシートベルトの引き出し長さを検出し、
   前記領域変更部は、前記シートベルト検出部により検出された前記運転席のシートベルトの引き出し長さが予め定められた第２長さ以上である場合、前記顔認識領域の縮小又は移動をいずれも行わないことを特徴とする請求項１記載の運転者監視装置。
6. 運転者認識部が、運転席に着座している運転者の顔が存在すべき範囲を含む車両内の範囲が撮像された撮像画像を撮像装置から取得し、前記撮像画像における顔認識領域に存在する顔を運転者の顔として認識し、
   運転者状態判定部が、前記運転者認識部により認識された前記運転者の顔に基づいて前記運転者の状態を判定し、
   シートベルト検出部が、前記運転席以外の座席のシートベルトの引き出し長さを検出し、
   領域変更部が、前記シートベルト検出部により検出された前記シートベルトの引き出し長さに基づいて、前記撮像画像における前記顔認識領域の大きさ又は位置を変更する運転者監視方法。

Images