JP6737212B2

JP6737212B2 - 運転者状態推定装置、及び運転者状態推定方法

Info

Publication number: JP6737212B2
Application number: JP2017048503A
Authority: JP
Inventors: 匡史日向; 正樹諏訪
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2017-03-14
Filing date: 2017-03-14
Publication date: 2020-08-05
Anticipated expiration: 2037-03-14
Also published as: CN110199318A; US20200065595A1; DE112017007243T5; WO2018167996A1; JP2018151931A; CN110199318B

Description

本発明は運転者状態推定装置、及び運転者状態推定方法に関し、より詳細には、撮像された画像を用いて運転者の状態を推定することのできる運転者状態推定装置、及び運転者状態推定方法に関する。

車室内カメラで撮影された運転者の画像から運転者の動作や視線などの状態を検知し、運転者に必要とされる情報の提示や警告などを行う技術が従来より開発されている。
また、近年開発が進められている自動運転システムでは、自動運転中においても、自動運転から手動運転への引き継ぎがスムーズに行えるように、運転者が運転操作可能な状態であるかどうかを推定しておく技術が必要になると考えられており、車室内カメラで撮像した画像を解析して、運転者の状態を推定する技術の開発が進められている。

運転者の状態を推定するためには、運転者の頭部位置を検出する技術が必要とされている。例えば、特許文献１には、車室内カメラで撮像された画像中における運転者の顔領域を検出し、検出した顔領域に基づいて、運転者の頭部位置を推定する技術が開示されている。

上記運転者の頭部位置の具体的な推定方法は、まず、車室内カメラに対する頭部位置の角度を検出する。該頭部位置の角度の検出方法は、画像上での顔領域の中心位置を検出し、該検出した顔領域の中心位置を頭部位置として、該顔領域の中心位置を通る頭部位置直線を求め、該頭部位置直線の角度（頭部位置の車室内カメラに対する角度）を決定する。

次に、頭部位置直線上の頭部位置を検出する。該頭部位置直線上の頭部位置の検出方法は、車室内カメラから所定距離に存在する場合の顔領域の標準大きさを記憶しておき、この標準大きさと実際に検出した顔領域の大きさとを比較して、車室内カメラから頭部位置までの距離を求める。そして、求めた距離だけ車室内カメラから離れた、頭部位置直線上の位置を頭部位置として推定するようになっている。

［発明が解決しようとする課題］
特許文献１記載の頭部位置の推定方法では、画像上での頭部位置を顔領域の中心位置を基準として検出しているが、顔領域の中心位置は顔の向きによって変わってしまう。そのため、頭の位置が同じ位置であっても、顔の向きの違いより、画像上で検出される顔領域の中心位置がそれぞれ異なる位置に検出される。そのため画像上における頭部位置が実世界の頭部位置とは異なる位置に検出されてしまい、実世界における頭部位置までの距離を精度よく推定できないという課題があった。

特開２０１４−２１８１４０号公報

Yalin Xiong, Steven A. Shafer, "Depth from Focusing and Defocusing", CMU-RI-TR-93-07, The Robotics Institute Carnegie Mellon University Pittsburgh, Pennsylvania 15213. March, 1993. D. B. Gennery，"Determination of optical transfer function by inspection of frequency-domain plot，"Journal of the Optical Society of America，vol.63，pp.1571-1577，1973．電子情報通信学会論文誌Ｄ Vol. J90-D，No.10，pp.2848-2857「対数振幅スペクトル上の輝度こう配ベクトル分布を利用したノイズに頑健な焦点ずれＰＳＦ推定」，坂野盛彦、末竹規哲、内野英治 A. P. Pentland, "A new sense for depth of field", IEEE Transaction on Pattern Analysis and Machine Intelligence, 9, 4, pp.523-531(1987). S.Zhou, T.Sim, "Defocus Map Estimation from a Single Image,"Pattern Recognition, Vol.44, No.9, pp.1852-1858, (2011). YOAV Y. SCHECHNER，NAHUM KIRYATI，"Depth from Defocus vs. Stereo: How Different Really Are They?" International Journal of Computer Vision 39(2), 141-162, (2000).

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、画像中における運転者の顔領域の中心位置を検出することなく運転者の頭部までの距離を推定することができ、該推定された距離を前記運転者の状態判定に利用することができる運転者状態推定装置、及び運転者状態推定方法を提供することを目的としている。

上記目的を達成するために本発明に係る運転者状態推定装置（１）は、撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者を撮像可能な撮像部と、
少なくとも１つのハードウェアプロセッサとを備え、
該少なくとも１つのハードウェアプロセッサが、
前記撮像部により撮像された画像中の運転者の頭部を検出する頭部検出部と、
該頭部検出部で検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出部と、
該ボケ量検出部で検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴としている。

上記運転者状態推定装置（１）によれば、前記撮像部により撮像された前記運転者の画像を用いて、該画像中の運転者の頭部を検出し、該検出した前記画像中の運転者の頭部のボケ量を検出し、該ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離が推定される。したがって、前記画像中の顔領域の中心位置を求めることなく、前記画像中の前記運転者の頭部のボケ量から前記距離を推定することができる。該推定された距離を用いて、前記運転席に着座している運転者の位置姿勢などの状態を推定することが可能となる。

また本発明に係る運転者状態推定装置（２）は、上記運転者状態推定装置（１）において、前記運転席に着座している運転者の頭部から前記撮像部までの距離と、前記撮像部で撮像される前記運転者の画像のボケ量との相関関係を示すテーブル情報を記憶するテーブル情報記憶部を備え、
前記距離推定部が、
前記ボケ量検出部で検出された前記ボケ量と、前記テーブル情報記憶部から読み出された前記テーブル情報とを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴としている。

上記運転者状態推定装置（２）によれば、前記テーブル情報記憶部に、前記撮像部で撮像される前記運転者の画像のボケ量と、前記運転者の頭部から前記撮像部までの距離との対応関係を示すテーブル情報が記憶され、前記ボケ量検出部で検出された前記ボケ量と、前記テーブル情報記憶部から読み出された前記テーブル情報とが照合されて、前記運転席に着座している運転者の頭部から前記撮像部までの距離が推定される。したがって、前記テーブル情報に前記ボケ量を当てはめることにより、前記運転席に着座している運転者の頭部から前記撮像部までの距離を、演算処理に負荷をかけることなく高速に推定することができる。

また本発明に係る運転者状態推定装置（３）は、上記運転者状態推定装置（１）又は（２）において、前記距離推定部が、前記撮像部により撮像された複数の画像から検出された前記運転者の顔領域の大きさの変化を考慮して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴としている。

上記運転者状態推定装置（３）によれば、前記運転者の顔領域の大きさの変化を考慮することにより、前記撮像部のピントが合う焦点位置から前後いずれの方向に前記運転者が離れているのかを判定することができるので、前記距離の推定精度を高めることができる。

また本発明に係る運転者状態推定装置（４）は、上記運転者状態推定装置（１）〜（３）のいずれかにおいて、前記少なくとも１つのハードウェアプロセッサが、
前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴としている。

上記運転者状態推定装置（４）によれば、前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定することができ、前記運転者の監視を適切に行うことができる。

また本発明に係る運転者状態推定装置（５）は、上記運転者状態推定装置（１）〜（４）のいずれかにおいて、前記撮像部が、前記運転席に着座している運転者の位置姿勢の変化に応じて前記運転者の頭部のボケ具合が異なる画像を撮像可能なものであることを特徴としている。

上記運転者状態推定装置（５）によれば、前記運転席という限られた空間であっても、前記運転者の頭部のボケ具合が異なる画像が撮像可能であるので、前記ボケ量から前記距離を確実に推定することができる。

また本発明に係る運転者状態推定方法は、運転席に着座している運転者を撮像可能な撮像部と、少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも１つのハードウェアプロセッサが、
前記撮像部により撮像された画像中の運転者の頭部を検出する頭部検出ステップと、
該頭部検出ステップで検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出ステップと、
該ボケ量検出ステップで検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴としている。

上記運転者状態推定方法によれば、前記撮像部により撮像された前記運転者の画像を用いて、該画像中の運転者の頭部を検出し、該検出した前記画像中の運転者の頭部のボケ量を検出し、該ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する。したがって、前記画像中の顔領域の中心位置を求めることなく、前記画像中の前記運転者の頭部のボケ量から前記距離を推定することができる。該推定された距離を用いて、前記運転席に着座している運転者の位置姿勢などの状態を推定することが可能となる。

本発明の実施の形態に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。実施の形態に係る運転者状態推定装置の構成を示すブロック図である。運転席の座席位置と、撮像された画像中の運転者のボケ具合との関係について説明するためのイラスト図である。実施の形態に係る運転者状態推定装置で検出されるボケ量と運転者までの距離との関係について説明するための図である。運転者までの距離とボケ量の大きさとの相関関係を示すテーブル情報の一例を示したグラフ図である。実施の形態に係る運転者状態推定装置におけるＣＰＵの行う処理動作を示したフローチャートである。

以下、本発明に係る運転者状態推定装置、及び運転者状態推定方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

図１は、実施の形態に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。図２は、実施の形態に係る運転者状態推定装置の構成を示すブロック図である。

自動運転システム１は、車両を道路に沿って自動で走行させるためのシステムであり、運転者状態推定装置１０、ＨＭＩ（Human Machine Interface）４０、及び自動運転制御装置５０を含んで構成され、これら各装置が通信バス６０を介して接続されている。なお、通信バス６０には、自動運転や運転者による手動運転の制御に必要な各種センサや制御装置（図示せず）も接続されている。

運転者状態推定装置１０は、撮像された画像から運転者の状態、具体的には、撮像された画像中の運転者の頭部のボケ量を検出し、単眼カメラ１１から運転者の頭部（顔）までの距離を前記ボケ量から推定する処理、前記距離の推定結果に基づいて運転者が運転操作可能な状態であるか否かを判定し、その判定結果を出力する処理などを行う。

運転者状態推定装置１０は、単眼カメラ１１、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、記憶部１５、及び入出力インターフェース（Ｉ／Ｆ）１６を含んで構成され、これら各部が通信バス１７を介して接続されている。なお、単眼カメラ１１は、装置本体とは別体のカメラユニットとして構成してもよい。

撮像部としての単眼カメラ１１は、運転席に着座している運転者の頭部を含む画像を定期的（例えば、１秒間に３０〜６０回）に撮像可能な単眼カメラであり、１枚以上のレンズから構成されるレンズ系１１ａ、被写体の撮像データを生成するＣＣＤ又はＣＭＯＳなどの撮像素子１１ｂ、撮像データをデジタルデータに変換するＡＤ変換部（図示せず）、及び近赤外光を照射する近赤外ＬＥＤなどの赤外線照射器（図示せず）などを含んで構成されている。

また、単眼カメラ１１のレンズ系１１ａには、運転席の可動範囲内のいずれかの位置で運転者にピントが合い、かつ被写界深度が浅く（ピントの合う範囲が狭く）なるように、レンズの焦点距離及び絞り（Ｆ値）などの光学パラメータが設定されているものが使用される。これら光学パラメータの設定により、運転席に着座している運転者の位置姿勢の変化、例えば、運転席の座面位置や背もたれの傾きの変化に応じて運転者の頭部のボケ具合が異なる画像（運転者にピントの合った画像から徐々にピントのずれたボケ具合の異なる画像）を撮像可能となっている。なお、前記被写界深度は、後述する頭部検出部２３における処理性能、すなわち、画像中から運転者の頭部や顔器官を検出する性能を妨げないように、頭部検出部２３における処理性能のボケ許容範囲内において極力浅くなるように設定にすることが好ましい。

ＣＰＵ１２は、ハードウェアプロセッサであり、ＲＯＭ１３に記憶されているプログラムを読み出し、該プログラムに基づいて単眼カメラ１１で撮像された画像データの各種処理などを行う。ＣＰＵ１２は、画像処理や制御信号出力処理などの処理用途毎に複数装備してもよい。
ＲＯＭ１３には、図２に示す記憶指示部２１、読み出し指示部２２、頭部検出部２３、ボケ量検出部２４、距離推定部２５、及び運転操作可否判定部２６としての処理を、ＣＰＵ１２に実行させるためのプログラムなどが記憶されている。なお、ＣＰＵ１２で実行される前記プログラムの全部又は一部をＲＯＭ１３とは別の記憶部１５や他の記憶媒体（図示せず）に記憶してもよい。

ＲＡＭ１４には、ＣＰＵ１２で実行される各種処理に必要なデータやＲＯＭ１３から読み出したプログラムなどが一時記憶される。
記憶部１５は、単眼カメラ１１で撮像された画像データが記憶される画像記憶部１５ａと、単眼カメラ１１から被写体（運転者）までの距離と単眼カメラ１１で撮像される被写体の画像のボケ量との相関関係を示すテーブル情報が記憶されるテーブル情報記憶部１５ｂとを含んでいる。また、記憶部１５には、単眼カメラ１１の焦点距離や絞り（Ｆ値）、画角や画素数（幅×縦）などを含むパラメータ情報、単眼カメラ１１の取付位置情報なども記憶されるようになっている。単眼カメラ１１の取付位置情報などは、例えば、単眼カメラ１１の設定メニューをＨＭＩ４０で読み出せるように構成しておき、取付時に、前記設定メニューから入力設定できるようにすればよい。記憶部１５は、例えば、ＥＥＰＲＯＭ、フラッシュメモリなどの１つ以上の不揮発性の半導体メモリで構成されている。入出力インターフェース（Ｉ／Ｆ）１６は、通信バス６０を介して各種外部装置とのデータのやり取りを行うためのものである。

ＨＭＩ４０は、運転者状態推定装置１０から送信されてきた信号に基づいて、運転者に運転姿勢等の状態を報知する処理、自動運転システム１の作動状況や自動運転の解除情報などを運転者に報知する処理、自動運転制御に関連する操作信号を自動運転制御装置５０に出力する処理などを行う。ＨＭＩ４０は、例えば、運転者が視認しやすい位置に設けられた表示部４１や音声出力部４２の他、図示しない操作部や音声入力部などを含んで構成されている。

自動運転制御装置５０は、図示しない動力源制御装置、操舵制御装置、制動制御装置、周辺監視センサ、ナビゲーションシステム、外部と通信を行う通信装置などにも接続され、これら各部から取得した情報に基づいて、自動運転を行うための制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御や自動速度調整制御など）を行う。

図２に示した運転者状態推定装置１０の各部を説明する前に、図３を用いて、運転席の座席位置と、単眼カメラ１１で撮像される画像中の運転者のボケ具合との関係について説明する。図３は、運転席の座席位置の違いによって画像中の運転者のボケ具合が変化することを説明するためのイラスト図である。

図３に示すように、運転者３０が運転席３１に着座しているとする。運転席３１の正面前方にはハンドル３２が設置されている。運転席３１は、前後方向に位置調整可能となっており、座面の可動範囲がＳに設定されている。単眼カメラ１１は、ハンドル３２の奥側（図示しないステアリングコラム、又はダッシュボードやインストルメントパネルの手前）に設けられており、運転者３０Ａの頭部（顔）を含む画像１１ｃを撮像可能な箇所に設置されている。なお、単眼カメラ１１の設置位置姿勢はこの形態に限定されるものではない。

図３では、単眼カメラ１１から実世界における運転者３０までの距離をＺ（Ｚｆ、Ｚblur）、ハンドル３２から運転者３０までの距離をＡ、ハンドル３２から単眼カメラ１１までの距離をＢ、単眼カメラ１１の画角をα、撮像面の中心をＩで示している。
図３（ｂ）は、運転席３１を可動範囲Ｓの略中間位置Ｓ_Ｍにセットした状態を示している。この状態では、運転者３０の頭部（頭部正面の顔）の位置が、単眼カメラ１１のピントが合う焦点位置（距離Ｚｆ）になっており、画像１１ｃには、運転者３０Ａがピントの合ったボケのない状態で写されている。

図３（ａ）は、運転席３１を可動範囲Ｓの後方位置Ｓ_Ｂにセットした状態を示している。
運転者３０の頭部の位置は、単眼カメラ１１のピントが合う焦点位置（距離Ｚｆ）よりも遠い位置（ピントがずれた位置）（距離Ｚblur）にあるため、画像１１ｃには、運転者３０Ａが中間位置Ｓ_Ｍよりも少し小さく、かつボケが生じた状態で写されている。

図３（ｃ）は、運転席３１を可動範囲Ｓの前方位置Ｓ_Ｆにセットした状態を示している。
運転者３０の頭部の位置は、単眼カメラ１１のピントが合う焦点位置（距離Ｚｆ）よりも近い位置（ピントがすれた位置）（距離Ｚblur）にあるため、画像１１ｃには、運転者３０Ａが中間位置Ｓ_Ｍよりも少し大きく、かつボケが生じた状態で写されている。

このように単眼カメラ１１は、運転席３１を略中間位置Ｓ_Ｍにセットした状態で運転者３０の頭部にピントが合う一方、略中間位置Ｓ_Ｍよりも前後に運転席３１をセットした状態では、運転者３０の頭部にピントが合わず、画像中の運転者３０Ａの頭部には、ピント位置からのずれ量に応じたボケが生じる設定になっている。

なお、上記形態では、運転席３１を略中間位置Ｓ_Ｍにセットしたときの運転者３０の頭部にピントが合うように単眼カメラ１１の光学パラメータが設定されているが、単眼カメラ１１のピントを合わせる位置は、この位置に限定されるものではない。運転席３１を可動範囲Ｓのいずれかの位置にセットしたときの運転者３０の頭部にピントが合うように、単眼カメラ１１の光学パラメータを設定することができる。

次に、実施の形態に係る運転者状態推定装置１０の具体的構成について図２に示したブロック図に基づいて説明する。
運転者状態推定装置１０は、ＲＯＭ１３に記憶された各種のプログラムがＲＡＭ１４に読み出され、ＣＰＵ１２で実行されることによって、記憶指示部２１、読み出し指示部２２、頭部検出部２３、ボケ量検出部２４、距離推定部２５、及び運転操作可否判定部２６としての処理を行う装置として成立する。

記憶指示部２１は、単眼カメラ１１で撮像された運転者３０Ａの頭部（顔）を含む画像データを記憶部１５の一部である画像記憶部１５ａに記憶させる処理を行う。読み出し指示部２２は画像記憶部１５ａから運転者３０Ａが撮像された画像１１ｃを読み出す処理を行う。

頭部検出部２３は、画像記憶部１５ａから読み出された画像１１ｃから運転者３０Ａの頭部（顔）を検出する処理を行う。画像１１ｃから頭部（顔）を検出する手法は特に限定されない。例えば、頭部（顔全体）の輪郭に対応した基準テンプレートを用いたテンプレートマッチング、頭部（顔）の構成要素（目、鼻、耳など）に基づくテンプレートマッチングによって頭部（顔）を検出するように構成してもよい。また、高速で高精度に頭部（顔）を検出する手法として、例えば、顔の局所的な領域、例えば、目の端点や口の端点、鼻の穴回りなどの顔器官の明暗差（輝度差）やエッジ強度、これら局所的領域間の関連性（共起性）を特徴量として捉え、これら多数の特徴量を組み合わせて学習することで検出器を作成し、階層的な構造（顔をおおまかにとらえる階層から顔の細部をとらえる階層構造）の検出器を用いる方法により、顔の領域検出を高速に行うことが可能となる。また、顔のボケ具合の違い、顔の向きや傾きに対応するために、顔のボケ具合、顔の向きや傾きごとに別々に学習させた複数の検出器を備えるようにしてもよい。

ボケ量検出部２４は、頭部検出部２３で検出された画像１１ｃ中の運転者３０Ａの頭部のボケ量を検出する処理を行う。画像中の運転者３０Ａ（被写体）のボケ量を検出する方法には、公知の手法が採用され得る。
例えば、撮像画像を分析することでボケ量を求める方法（非特許文献１参照）、画像の対数振幅スペクトル上に現れる暗い円環の半径から、ボケの特性を表現するＰＳＦ（Point Spread Function：点像分布関数）の推定を行う方法（非特許文献２参照）、画像の対数振幅スペクトル上の輝度こう配のベクトル分布を用いてボケの特性を表現し、ＰＳＦの推定を行う方法（非特許文献３）などを採用することができる。

また、撮像された画像を処理して被写体までの距離を測定する方法として、合焦位置に応じた画像ボケに着目するＤＦＤ（Depth from Defocus）法やＤＦＦ（Depth from Focus）法が知られている。ＤＦＤ法は、焦点位置の異なる複数の画像を撮影して、光学ボケのモデル関数でボケ量をフィッティングし、ボケ量の変化から被写体に最もピントが合う位置を推定することで被写体までの距離を求める方法である。ＤＦＦ法は、焦点位置をずらしながら撮影した多数の画像列の中で、最もピントの合った画像位置から距離を求める方法である。これら方法を利用してボケ量を推定することも可能である。

例えば、画像中のボケが薄レンズモデルに従うと仮定すると、ボケ量は上記点像分布関数（ＰＳＦ）としてモデル化できる。一般にこのモデルとしてガウス関数が用いられる。これらを利用して、撮像された１枚又は２枚のボケを含んだ画像のエッジを解析しボケ量を推定する方法（非特許文献４）、撮像されたボケを含む画像（入力画像）と該入力画像を再度ぼかした平滑化画像とのエッジの潰れ方（エッジ強度の変化度合）を解析することによってボケ量を推定する方法（非特許文献５）などを採用することができる。また、非特許文献６には、ＤＦＤ法がステレオ法と同じような仕組みで物体までの距離を測定できることが開示され、物体の画像が撮像素子面に投影されたときのブラー（ボケ）の円の半径を求める方法などが開示されている。これらＤＦＤ法などは、画像のボケ量と被写体距離との相関情報から距離を測定するものであり、単眼カメラ１１を用いて実現可能である。これら方法を使用して、画像のボケ量を検出することができる。

図４は、ボケ量検出部２４で検出されるボケ量ｄと運転者３０までの距離との関係（ＤＦＤ法又はＤＦＦ法の仕組み）について説明するための図である。
図４において、ｆはレンズ系１１ａと撮像素子１１ｂとの距離、Ｚｆはピントの合う焦点（フォーカス点）と撮像素子１１ｂとの距離、Ｚ_blurはボケの生じている（デフォーカスされている）運転者３０（被写体）と撮像素子１１ｂとの距離、Ｆはレンズの焦点距離、Ｄはレンズ系１１ａの口径、ｄは被写体の画像が撮像素子に投影されたときのブラー（ボケ）の円（錯乱円）の半径であり、半径ｄがボケ量に相当する。
ボケ量ｄは、以下の式で示すことができる。

なお、実線で示す光線Ｌ１は、ピントの合う焦点位置に運転者３０がいるとき（図３（ｂ）の状態）の光線を示している。一点鎖線で示す光線Ｌ２は、単眼カメラ１１からの距離がピントの合う焦点位置よりも遠い位置に運転者３０がいるとき（図３（ａ）の状態）の光線を示している。破線で示す光線Ｌ３は、単眼カメラ１１からの距離がピントの合う焦点位置より近い位置に運転者３０がいるとき（図３（ｃ）状態）の光線を示している。

上記式は、ボケ量ｄと、ボケが生じているときの距離Ｚ_blurとが相関関係を有していることを示している。本実施の形態では、単眼カメラ１１で撮像される被写体の画像のボケ量ｄと、単眼カメラ１１から被写体までの距離Ｚとの相関関係を示すテーブル情報が予め作成されて、テーブル情報記憶部１５ｂに記憶されている。

図５は、テーブル情報記憶部１５ｂに記憶されているボケ量ｄと距離Ｚとの相関関係を示すテーブル情報の一例を示したグラフ図である。
ピントの合う焦点位置の距離Ｚｆで、ボケ量ｄは略０となっている。運転者３０までの距離Ｚがピントの合う焦点位置の距離Ｚｆから外れる（距離Ｚ_blurに移動する）につれてボケ量ｄが大きくなる。運転席３１の可動範囲Ｓで、ボケ量ｄが検出できるように、レンズ系１１ａの焦点距離や絞りの設定がなされている。なお、図５に破線で示すように、単眼カメラ１１のレンズ系１１ａの焦点距離を大きく、又は絞りを開く（Ｆ値を小さくする）設定にすることで、ピント位置からのボケ量の変化を大きくすることができる。

距離推定部２５は、ボケ量検出部２４で検出されたボケ量ｄを用いて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚ（奥行きに関する情報）を推定する処理を行う。すなわち、ボケ量検出部２４で検出されたボケ量ｄを、上記したテーブル情報記憶部１５ｂに記憶されたテーブル情報に当てはめて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚを推定する処理を行う。また、ボケ量検出部２４において、頭部検出部２３により検出された顔器官の特徴点部分、例えば、目の端点や口の端点、鼻の穴周りなどのコントラストがはっきりした特徴点部分のボケ量ｄを検出し、該ボケ量ｄを距離推定部２５での推定処理に用いることにより、距離推定が容易になるとともに、距離推定の精度も高めることができる。
また、ボケ量ｄからでは、ピントの合う焦点位置（距離Ｚｆの位置）から前後いずれの方向に外れているのかの判定が難しい場合は、時系列で取得した複数の画像中から運転者の顔領域の大きさを検出し、顔領域の大きさの変化（大きくなっていれば単眼カメラ１１に近づいている一方、小さくなっていれば単眼カメラ１１から離れている）を検出することによって、前記いずれの方向に外れているのかを判定することができる。また、前記テーブル情報の代わりに、ボケ量ｄと距離Ｚとの相関関係を示す式を用いて、ボケ量ｄから距離Ｚを求めてもよい。

運転操作可否判定部２６は、距離推定部２５で推定された距離Ｚを用いて、運転者３０が運転操作可能な状態であるか否か、例えば、ＲＯＭ１３又は記憶部１５に記憶された、ハンドルに手が届く範囲をＲＡＭ１４に読み出し、比較演算を行うことにより、運転者３０がハンドル３２に手が届く範囲内にいるか否かを判定し、該判定結果を示す信号をＨＭＩ４０や自動運転制御装置５０へ出力する。また、距離Ｚから距離Ｂ（ハンドル３２から単眼カメラ１１までの距離）を引き、距離Ａ（ハンドル３２から運転者３０までの距離）を求めて、上記判定を行ってもよい。

図６は、実施の形態に係る運転者状態推定装置１０におけるＣＰＵ１２の行う処理動作を示したフローチャートである。単眼カメラ１１では、例えば、毎秒３０〜６０フレームの画像が撮像され、各フレーム、又は一定間隔のフレーム毎に本処理が行われる。

まず、ステップＳ１では、単眼カメラ１１で撮像された１つ以上の画像データを画像記憶部１５ａから読み出し、ステップＳ２で、読み出した１つ以上の画像１１ｃから運転者３０Ａの頭部（顔）領域を検出する処理を行う。

ステップＳ３では、画像１１ｃ中における運転者３０Ａの頭部のボケ量ｄ、例えば、頭部領域の各画素のボケ量ｄ、又は頭部のエッジ領域の各画素のボケ量ｄを検出する処理を行う。ボケ量ｄの検出処理は上記手法が採用され得る。

ステップＳ４では、画像１１ｃ中の運転者３０Ａの頭部のボケ量ｄを用いて、運転者３０の頭部から単眼カメラ１１までの距離Ｚを推定する。すなわち、テーブル情報記憶部１５ｂから読み出した上記テーブル情報と、検出したボケ量ｄとを照合して、ボケ量ｄに対応する単眼カメラ１１からの距離Ｚを決定する。また、距離Ｚを推定する際に、単眼カメラ１１により撮像された複数の画像（時系列の画像）から運転者の顔領域の大きさの変化を検出し、単眼カメラ１１のピントが合う焦点位置から前後いずれの方向に運転者が離れているのかを判定し、該判定結果とボケ量ｄとを用いて、距離Ｚを推定してもよい。

ステップＳ５では、距離Ｚを用いて、ハンドル３２位置から運転者３０の頭部までの距離Ａを推定する。例えば、単眼カメラ１１と運転者３０との線分上にハンドル３２がある場合、距離Ｚから単眼カメラ１１とハンドル３２との距離Ｂを引くことで、距離Ａを推定する。

ステップＳ６では、ＲＡＭ１３又は記憶部１５に記憶された、ハンドルに手が届く範囲を読み出し、比較演算を行うことにより、距離Ａが、適切なハンドル操作が可能な範囲内（距離Ｄ_１＜距離Ａ＜距離Ｄ_２）であるか否かを判定する。距離Ｄ_１からＤ_２の距離範囲は、運転者３０が運転席３１に着座した状態で、ハンドル３２の操作が可能と推定される距離範囲、例えば、Ｄ１は４０ｃｍ、距離Ｄ２は８０ｃｍ程度の値に設定することができる。

ステップＳ６において、距離Ａが適切なハンドル操作が可能な範囲内であると判断すれば、その後処理を終える一方、距離Ａが適切なハンドル操作が可能な範囲内ではないと判断すればステップＳ７に進む。

ステップＳ７では、ＨＭＩ４０や自動運転制御装置５０に運転操作不可信号を出力し、その後処理を終える。ＨＭＩ４０では、運転操作不可信号を入力した場合、例えば、表示部４１に運転姿勢や座席位置を警告する表示や、音声出力部４２より運転姿勢や座席位置を警告するアナウンスを実行する。また、自動運転制御装置５０では、運転操作不可信号を入力した場合、例えば、減速制御などを実行する。

なお、上記ステップＳ５、Ｓ６の処理に代えて、ＲＡＭ１３又は記憶部１５に記憶された、適切なハンドル操作が可能な範囲を読み出し、比較演算を行うことにより、距離Ｚが、適切なハンドル操作が可能と推定する範囲内（距離Ｅ_１＜距離Ｚ＜距離Ｅ_２）であるか否かを判定する処理を行ってもよい。
この場合、距離Ｅ_１、Ｅ_２は、例えば、上記した距離Ｄ_１、Ｄ_２に、ハンドル３２から単眼カメラ１１までの距離Ｂを加算した値とすればよい。距離Ｅ_１、Ｅ_２の距離範囲は、運転者３０が運転席３１に着座した状態で、ハンドル３２の操作が可能と推定される距離範囲、例えば、距離Ｅ_１は（４０＋距離Ｂ）ｃｍ、距離Ｅ_２は（８０＋距離Ｂ）ｃｍ程度の値に設定することができる。

また、上記ステップＳ４、５、６に代えて、ボケ量検出部２４で検出されたボケ量ｄが、所定範囲内のボケ量（ボケ量ｄ_１＜ボケ量ｄ＜ボケ量ｄ_２）であるか否かにより、運転者が運転操作可能な位置にいるか否かを判断する処理を行ってもよい。
この場合、上記距離Ｚ、又は距離Ａがハンドル操作可能と推定される範囲内（上記距離Ｅ_１から距離Ｅ_２、又は上記距離Ｄ_１から距離Ｄ_２）でのボケ量（距離Ｅ_１、Ｄ_１のときのボケ量ｄ_１、距離Ｅ_１、Ｄ_２ときのボケ量ｄ_２を含む）を予め作成したテーブル情報をテーブル情報記憶部１５ｂに記憶しておき、上記判定時にボケ量のテーブル情報を読み出し、比較演算を行って判定するようにすればよい。

実施の形態に係る運転者状態推定装置１０によれば、単眼カメラ１１により撮像された運転者３０の頭部のボケ具合の異なる画像を用いて、画像１１ｃ中の運転者３０Ａの頭部を検出し、該検出した画像１１ｃ中の運転者３０Ａの頭部のボケ量を検出し、該ボケ量を用いて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚが推定される。したがって、画像１１ｃ中の顔領域の中心位置を求めることなく、画像１１ｃ中の運転者３０Ａの頭部のボケ量ｄから距離Ｚを推定することができ、該推定された距離Ｚを用いて、運転席３１に着座している運転者３０の位置姿勢などの状態を推定することができる。
また、運転者状態推定装置１０によれば、単眼カメラ１１に加えて別のセンサを設けることなく、上記した運転者までの距離Ｚや距離Ａを推定することができ、装置構成の簡素化を図ることができ、また、前記別のセンサを設ける必要がないため、それに伴う追加の処理も不要となり、ＣＰＵ１２にかかる負荷を低減させることができ、装置の小型化や低コスト化を図ることができる。

また、テーブル情報記憶部１５ｂに、単眼カメラ１１で撮像される運転者（被写体）の画像のボケ量と、運転者（被写体）から単眼カメラ１１までの距離との対応関係を示すテーブル情報が記憶されており、ボケ量検出部２４で検出されたボケ量ｄと、テーブル情報記憶部１５ｂから読み出されたテーブル情報とが照合されて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚが推定されるので、テーブル情報にボケ量ｄを当てはめることにより、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚを、演算処理に負荷をかけることなく高速に推定することができる。

また、距離推定部２５で推定された距離Ｚを用いて、ハンドル３２から運転者３０までの距離Ａを推定し、運転席３１に着座している運転者３０がハンドル操作可能な状態であるか否かを判定することができ、運転者３０の監視を適切に行うことができる。

運転者状態推定装置１０が自動運転システム１に搭載されることにより、運転者に自動運転の監視を適切に実行させることができ、自動運転での走行制御が困難状況になっても、手動運転への引き継ぎを迅速かつ安全に行うことができ、自動運転システム１の安全性を高めることができる。

（付記１）
撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者を撮像可能な撮像部と、
少なくとも１つの記憶部と、
少なくとも１つのハードウェアプロセッサとを備え、
前記少なくとも１つの記憶部が、
前記撮像部で撮像された画像を記憶する画像記憶部を備え、
前記少なくとも１つのハードウェアプロセッサが、
前記撮像部で撮像された画像を前記画像記憶部に記憶させる記憶指示部と、
前記画像記憶部から前記運転者が撮像された画像を読み出す読み出し指示部と、
前記画像記憶部から読み出された前記画像中の運転者の頭部を検出する頭部検出部と、
該頭部検出部で検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出部と、
該ボケ量検出部で検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えている運転者状態推定装置。

（付記２）
運転席に着座している運転者を撮像可能な撮像部と、
少なくとも１つの記憶部と、
少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも１つのハードウェアプロセッサが、
前記撮像部で撮像された画像を前記少なくとも１つの記憶部に含まれる画像記憶部に記憶させる記憶指示ステップと、
前記画像記憶部から前記運転者が撮像された画像を読み出す読み出し指示ステップと、
前記画像記憶部から読み出された前記画像中の運転者の頭部を検出する頭部検出ステップと、
該頭部検出ステップで検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出ステップと、
該ボケ量検出ステップで検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいる運転者状態推定方法。

１自動運転システム
１０運転者状態推定装置
１１単眼カメラ
１１ａレンズ系
１１ｂ撮像素子
１１ｃ画像
１２ＣＰＵ
１３ＲＯＭ
１４ＲＡＭ
１５記憶部
１５ａ画像記憶部
１５ｂテーブル情報記憶部
１６Ｉ／Ｆ
１７通信バス
２１記憶指示部
２２読み出し指示部
２３頭部検出部
２４ボケ量検出部
２５距離推定部
２６運転操作可否判定部
３０、３０Ａ運転者
３１運転席
３２ハンドル
４０ＨＭＩ
５０自動運転制御装置
６０通信バス

Claims

撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者を撮像可能な撮像部と、
少なくとも１つのハードウェアプロセッサとを備え、
該少なくとも１つのハードウェアプロセッサが、
前記撮像部により撮像された画像中の運転者の頭部を検出する頭部検出部と、
該頭部検出部で検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出部と、
該ボケ量検出部で検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備え、
該距離推定部が、
前記撮像部により撮像された複数の画像から検出された前記運転者の顔領域の大きさの変化を考慮して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴とする運転者状態推定装置。
前記運転席に着座している運転者の頭部から前記撮像部までの距離と、前記撮像部で撮像される前記運転者の画像のボケ量との相関関係を示すテーブル情報を記憶するテーブル情報記憶部を備え、
前記距離推定部が、
前記ボケ量検出部で検出された前記ボケ量と、前記テーブル情報記憶部から読み出された前記テーブル情報とを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴とする請求項１記載の運転者状態推定装置。
前記少なくとも１つのハードウェアプロセッサが、
前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴とする請求項１又は請求項２記載の運転者状態推定装置。
前記撮像部が、前記運転席に着座している運転者の位置姿勢の変化に応じて前記運転者の頭部のボケ具合が異なる画像を撮像可能なものであることを特徴とする請求項１〜３のいずれかの項に記載の運転者状態推定装置。
運転席に着座している運転者を撮像可能な撮像部と、
少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも１つのハードウェアプロセッサが、
前記撮像部により撮像された画像中の運転者の頭部を検出する頭部検出ステップと、
該頭部検出ステップで検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出ステップと、
該ボケ量検出ステップで検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含み、
該距離推定ステップが、
前記撮像部により撮像された複数の画像から検出された前記運転者の顔領域の大きさの変化を考慮して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定することを特徴とする運転者状態推定方法。