JP7505660B2 - 乗員監視装置、乗員監視方法、及び乗員監視プログラム - Google Patents

Description

本開示は、乗員監視装置、乗員監視方法、及び乗員監視プログラムに関する。

乗員監視装置は、車両内の乗員が撮像された撮像画像を取得し、取得した撮像画像を画像処理することにより、乗員に対する種々のセンシングを実施する。例えば特許文献１では、撮像画像を用いて運転者の視線方向を検出し、脇見運転の有無を判断することが記載されている。そして、特許文献１では、運転者の個体差に起因した視線方向の検出誤差を補正するためにキャリブレーションを実施することが記載されている。また、特許文献２には、撮像部の位置及び方向を計測し、計測した撮像部の位置及び方向に従いキャリブレーションを実施することが記載されている。

特開２００５―３１３８４３号公報 特開２０１０―１８１２０９号公報

ここで、撮像部は一般的にステアリングコラム又はセンターコンソールに配置されている。しかしながら、ステアリングコラム及びセンターコンソールは撮像部以外にも多くの機器が配置されるため、撮像部のレイアウトに制限がある。そこで、ステアリングコラム及びセンターコンソールよりもレイアウトに余裕がある例えばルームミラー等の可動部に撮像部を配置することが考えられる。この場合、特許文献１又は特許文献２に記載の方法でキャリブレーションを実施しても、乗員がルームミラーの角度を修正した際に撮像部と乗員の位置関係が変化するため、センシング性能が低下するという課題が生じる。

本開示は、上述した課題を解決するためになされたものであり、撮像部が車両内の可動部に設けられた乗員監視装置において、撮像部の位置が変化したことに起因するセンシング性能の低下を抑制することを目的とするものである。

本開示に係る乗員監視装置は、車両内の可動部に設けられた撮像部により車両内が撮像された撮像画像を取得する画像取得部と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部と、撮像部の位置に変化があるか否かを推定する位置推定部と、センシング部における画像処理に対するキャリブレーションを実施するキャリブレーション部と、位置推定部において撮像部の位置に変化があると推定された場合に、センシング部によるセンシングを実施させず、キャリブレーション部によるキャリブレーションを実施させる判断部とを備えたものである。

本開示に係る乗員監視方法は、車両内の可動部に設けられた撮像部により車両内が撮像された撮像画像を取得するステップと、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するステップと、撮像部の位置に変化があるか否かを推定するステップと、画像処理に対するキャリブレーションを実施するステップと、撮像部の位置に変化があると推定された場合に、センシングを実施させず、キャリブレーションを実施させるステップとを備えたものである。

本開示に係る乗員監視プログラムは、車両内の可動部に設けられた撮像部により車両内が撮像された撮像画像を取得する手順と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施する手順と、撮像部の位置に変化があるか否かを推定する手順と、画像処理に対するキャリブレーションを実施する手順と、撮像部の位置に変化があると推定された場合に、センシングを実施させず、キャリブレーションを実施させる手順とをコンピュータに実行させるものである。

本開示によれば、撮像部が車両内の可動部に設けられた乗員監視装置において、撮像部の位置に変化があると推定された場合に、センシングを実施させず、キャリブレーションを実施させることにより、撮像部の位置が変化したことに起因するセンシング性能の低下を抑制することができる。

図１は実施の形態１の乗員監視装置を備えた車両の一部を示すブロック図である。 図２は実施の形態１の乗員監視装置のハードウェア構成例を示すブロック図である。 図３は実施の形態１の乗員監視装置の処理動作を示すフローチャートである。 図４は実施の形態２の乗員監視装置を備えた車両の一部を示すブロック図である。 図５は実施の形態２の乗員監視装置の処理動作を示すフローチャートである。 図６は実施の形態３の乗員監視装置の処理動作を示すフローチャートである。 図７は実施の形態４の乗員監視装置を備えた車両の一部を示すブロック図である。 図８は実施の形態４の乗員監視装置の処理動作を示すフローチャートである。

実施の形態１．
実施の形態１における乗員監視装置２について図１を用いて説明する。図１は実施の形態１の乗員監視装置２を備えた車両１の一部を示すブロック図である。乗員監視装置２はドライバモニタリングシステム（ＤＭＳ：Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）であり、車両１内の乗員に対する画像処理により、乗員を対象とした種々のセンシングを行う。図１に示す車両１は、乗員監視装置２、撮像部８、及び通知部９を備える。乗員監視装置２は、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７を備える。ここで、乗員は車両１の運転者及び同乗者のいずれか一方である。

撮像部８は車両１内の可動部に設けられたカメラであり、車両１内を撮像する。車両１内の可動部とは、乗員の操作又は車両１からの指示により位置又は角度が変更可能に構成されたものであり、例えばルームミラー及びハンドルテレスコである。ルームミラーは、車両１内前方部の天井に垂設され、運転者が車両１の後方を確認するためにルームミラーの角度を変更可能に構成される。ハンドルテレスコはステアリングホイールの位置を変更可能に構成されたものであり、運転者はハンドルテレスコを調整することにより、運転姿勢を最適化することができる。

撮像部８は、設置位置から予め設定されたカメラの画角で広がる撮像領域を撮像する。撮像部８は、撮像領域に撮像対象である車両１内の乗員の顔が含まれるように設置される。撮像部８は例えば３０～６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の間隔で車両１内の乗員を撮像し、撮像画像を画像取得部３に出力する。

画像取得部３は撮像部８から撮像画像を取得する。そして、画像取得部３は位置推定部５、センシング部４、及びキャリブレーション部６に取得した撮像画像を出力する。

センシング部４は、撮像画像の画像処理により、居眠り運転及び脇見運転等の乗員の状態判定、又は乗員の個人認証の少なくともいずれか一方であるセンシングを実施する。センシング部４における撮像画像の画像処理は、例えば顔向き、開眼度、及び視線方向の検出等である。

位置推定部５は、撮像部８の位置に変化があるか否かを推定する。上述のとおり、撮像部８は車両１内のルームミラー及びハンドルテレスコ等の可動部に設けられる。そのため、ルームミラー又はハンドルテレスコの角度調整によって、撮像部８の位置が変化する可能性がある。撮像部８の位置が変化するとは、前回のキャリブレーション実施時と比較して、撮像部８の回転方向及び並進方向の少なくとも一方の位置が変化することである。また、位置推定部５は、撮像部８の回転量が予め設定された回転量の第一の閾値以上である場合、及び、撮像部８の並進量が予め設定された並進量の第一の閾値以上である場合の少なくとも一方の場合に、撮像部８の位置に変化があると推定してもよい。回転量の第一の閾値及び並進量の第一の閾値は、例えば車両１が走行することにより発生する車両１の振動に起因した撮像部８の位置の変化よりもそれぞれ大きく設定される。

ここで、撮像部８の回転量とは撮像部８の回転方向の変化量であり、撮像部８の並進量とは撮像部８の並進方向の変化量であり、撮像部８の位置の変化量とは、撮像部８の移動量及び回転量である。また、撮像部８の回転量が予め設定された回転量の第一の閾値以上である場合、及び、撮像部８の並進量が予め設定された並進量の第一の閾値以上である場合の少なくとも一方の場合を、撮像部８の位置の変化量が第一の閾値以上である場合と表現する。そして、撮像部８の回転量が予め設定された回転量の第一の閾値未満である場合、かつ、撮像部８の並進量が予め設定された並進量の第一の閾値未満である場合を、撮像部８の位置の変化量が第一の閾値未満である場合と表現する。

位置推定部５による撮像部８の位置に変化があるか否かを推定する方法の一例を説明する。位置推定部５は撮像画像における予め設定された対象物の座標位置を算出する。予め設定された対象物は、撮像部８の撮像範囲に存在する車両１内の設置物であり、例えば車両シート、ヘッドレスト、又は窓枠である。予め設定された対象物は、例えば運転者によりルームミラー又はハンドルテレスコの角度が調整され撮像部８の位置が変化した場合でも、撮像部８の撮像範囲に含まれると想定される位置に存在する設置物であり、撮像部８の設置場所に応じて適宜設定される。位置推定部５は撮像画像における対象物の座標位置を算出し、算出した座標位置を予め設定された時間記憶する。そして、位置推定部５は現在の撮像画像における対象物の座標位置と過去の撮像画像における対象物の座標位置とを比較し、撮像部８の回転量及び並進量を算出する。次に、位置推定部５は、算出した撮像部８の回転量及び並進量と、回転量の第一の閾値及び並進量の第一の閾値とをそれぞれ比較する。そして、位置推定部５は、撮像部８の位置の変化量が第一の閾値以上である場合に、撮像部８の位置に変化があると推定する。また、例えば特許文献２に記載の方法により、位置推定部５は撮像画像を用いて撮像部８の変化量を推定することも可能である。

また、位置推定部５による撮像部８の位置に変化があるか否かを推定する方法は上述の方法に限られない。例えば、位置推定部５は撮像部８が設けられた車両１内の可動部の位置が変化した場合に、車両１内の可動部の位置が変化したことを示す情報を車両１から取得することにより、撮像部８が移動したか否かを推定してもよい。また、位置推定部５は車両１内の可動部の変化量を示す情報を車両１から取得し、取得した情報に基づき撮像部８の変化量を推定してもよい。

キャリブレーション部６は、センシング部４の画像処理に対するキャリブレーションを実施する。キャリブレーションとは、画像処理においてセンシング対象である乗員の個体差を補正するための処理である。一般的に、センシング部４によるセンシング結果は乗員の個体差に起因した検出誤差を伴う。そこで、キャリブレーション部６はキャリブレーションを実施することにより、センシング部４におけるセンシング精度を確保する。以下に、キャリブレーションの具体例を説明するが、これに限らずその他の公知の手段を用いてもよい。

まず、キャリブレーション部６は視線方向検出に用いる標準モデルを補正する例を説明する。この場合、センシング部４は乗員の顔が撮像された撮像画像と乗員の視線方向とを対応づけた視線方向検出用の標準モデルを保持する。そして、センシング部４は標準モデルを用いて撮像画像から乗員の視線方向を検出し、例えば脇見運転の有無を判断する。ここで、センシング部４に保持された標準モデルは、乗員の個体差に対応して補正する必要がある。

そこで、キャリブレーション部６は、実際の乗員の視線方向及びその状態での撮像画像に基づき標準モデルを補正する。例えば、キャリブレーション部６は乗員の視線方向を検出し、その結果を用いて乗員が注視している車両装備品を推定する。そして、キャリブレーション部６は乗員から見た当該車両装備品の方向を視線方向の基準として定め、この基準となる視線方向と検出した視線方向との誤差に基づいて、標準モデルを補正する。また、キャリブレーション部６は乗員が車両１内の各機器の操作を行っているときの視線とこの操作が行われている機器の位置を対応させることで標準モデルを補正してもよい。これにより、センシング部４は乗員の個体差に関係なく視線方向を精度よく検出することができる。

また、キャリブレーション部６は顔向き検出に用いる標準モデルを補正してもよい。この場合、センシング部４は標準モデルである３Ｄモデルを保持し、３Ｄモデルを用いて撮像画像から乗員の顔方向を検出し、例えば脇見運転の有無を判断する。３Ｄモデルは、例えば標準的な成人の顔のサイズ、及び顔のパーツの特徴点を反映した３Ｄのモデルである。すなわち、３Ｄモデルは乗員の顔のサイズ、及び顔のパーツの特徴点を反映したものではない。

そこで、キャリブレーション部６は、３Ｄモデルの特徴点に対応する特徴点を撮像画像中の乗員から抽出する。撮像画像から乗員の特徴点を抽出する方法は特に限定されず、例えば機械学習による特徴点抽出技術、エッジ抽出等の画像認識技術、又はテンプレートマッチングによって特徴点を抽出する。そして、キャリブレーション部６は、３Ｄモデルの特徴点の位置と撮像画像から抽出した乗員の特徴点の位置とを撮像画像上で比較する。次に、キャリブレーション部６は、３Ｄモデルの特徴点の位置と撮像画像から抽出した乗員の特徴点の位置との誤差が予め設定された閾値以内となるように、３Ｄモデルの特徴点の位置を撮像画像から抽出した乗員の特徴点の位置にあわせて校正する。これにより、センシング部４は乗員の個体差に関係なく顔方向を精度よく検出することができる。

また、キャリブレーション部６は開眼度検出に用いる標準モデルを補正してもよい。この場合、センシング部４は乗員の開眼度検出用の標準モデルを保持する。そして、センシング部４は撮像画像から乗員の目を検出し、標準モデルを用いて乗員の目の開き具合である開眼度を検出する。開眼度検出用の標準モデルは、例えば開眼時における目の幅を目の高さで除した値である基準扁平率の情報を含むが、基準扁平率は乗員の個体差により異なる。

そこで、キャリブレーション部６は、撮像画像から乗員の目の幅及び目の高さを算出し乗員の基準扁平率を算出する。そして、キャリブレーション部６は、標準モデルの基準扁平率と算出した乗員の基準扁平率との誤差に基づいて、標準モデルを補正する。これにより、センシング部４は乗員の個体差に関係なく開眼度を精度よく検出することができる。

判断部７は、位置推定部５の推定結果に応じて、センシング部４におけるセンシング及びキャリブレーション部６によるキャリブレーションをそれぞれ実施させるか否かを判断する。より具体的には、判断部７は、位置推定部５の推定結果を用いて撮像部８の位置が変化したと判断した場合に、キャリブレーション部６によりキャリブレーションを実施させる。そして、判断部７は、キャリブレーション実施中はセンシング部４におけるセンシングを実施させず、キャリブレーション終了後にセンシング部４におけるセンシングを再開させる。或いは、判断部７は、キャリブレーション実施中はセンシング部４におけるセンシング結果を出力させず、キャリブレーション終了後にセンシング部４におけるセンシング結果を出力させてもよい。以下では、センシング部４におけるセンシングを実施しないとは、センシングを実施しないこと及びセンシングを実施するがセンシング結果を出力しないことの両方を含むこととする。判断部７の詳細な処理動作は、後述の乗員監視方法において説明する。

通知部９は乗員に情報を通知する、例えば車両１に設けられたスピーカ又はディスプレイである。通知部９は、センシング部４からセンシング結果を示す情報を取得した場合に、乗員にセンシング結果を通知する。また、通知部９は、判断部７からセンシングが実施されないことを示す信号を取得した場合に、乗員にセンシングが実施されないことを通知する。さらに、通知部９は、センシング部４又は判断部７からセンシング結果が出力されないことを示す情報を取得した場合に、乗員にセンシングが実施されないことを通知する。

次に、乗員監視装置２のハードウェア構成例を説明する。図２は実施の形態１の乗員監視装置２のハードウェア構成例を示すブロック図である。乗員監視装置２の、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７は、図２Ａに示すように専用のハードウェアである処理回路１２であってもよいし、図２Ｂに示すようにメモリ１４に格納されているプログラムを実行するプロセッサ１３であってもよい。

図２Ａに示すように、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７が専用のハードウェアである場合、処理回路１２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図２Ｂに示すように、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７がプロセッサ１３である場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１４に格納される。プロセッサ１３は、メモリ１４に記憶されたプログラムを読み出して実行することにより、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７の各機能を実現する。すなわち、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７は、プロセッサ１３により実行されるときに、後述する図３、図５、図６又は図８に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１４を備える。また、これらのプログラムは、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７の手順又は方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１３とは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のことである。メモリ１４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、画像取得部３、センシング部４、位置推定部５、キャリブレーション部６、及び判断部７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、乗員監視装置２における処理回路１２は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

次に、乗員監視装置２による乗員監視方法について説明する。図３は実施の形態１の乗員監視装置２の処理動作を示すフローチャートである。乗員監視装置２は、例えば撮像部８が起動を開始したタイミングで動作を開始し、車両１が走行中は動作を繰り返す。以下では、図３のＳＴＡＲＴにおいて、センシング部４はセンシングを実施しているものとして説明する。

ステップＳ１では、画像取得部３は撮像部８から撮像画像を取得する。そして、画像取得部３は位置推定部５、センシング部４、及びキャリブレーション部６に取得した撮像画像を出力する。

ステップＳ２では、位置推定部５は撮像部８の位置の変化量が第一の閾値以上であるか否かを判断する。そして、位置推定部５は撮像部８の位置の変化量が第一の閾値以上である場合（ステップS２のYES）、撮像部８の位置に変化があると推定する（ステップS３）。位置推定部５は撮像部８の位置の変化量が第一の閾値未満である場合（ステップS２のNO）、撮像部８の位置に変化がないと推定する（ステップS４）。

位置推定部５において撮像部８の位置に変化がないと推定された場合（ステップS４）に、判断部７はセンシング部４によるセンシングを実施させると判断する（ステップＳ５）。すなわち、判断部７はセンシング部４によるセンシングを継続させる。

位置推定部５において撮像部８の位置に変化があると推定された場合（ステップＳ３）、判断部７はセンシング部４によるセンシングを実施させないと判断する（ステップＳ６）。すなわち、判断部７はセンシング部４によるセンシングを中断させる。

ステップＳ７では、判断部７はセンシングが実施されないことを示す信号を通知部９に出力する。これにより、通知部９は乗員にセンシングが実施されないことを通知させる。ステップＳ７はステップＳ６と同時に実施してもよい。また、通知部９は後述するステップＳ１０の処理動作まで、継続して乗員にセンシングが実施されないことを通知してもよい。

ステップＳ８では、判断部７は位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定されたか否かを判断する。位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定されない場合（ステップＳ８のＮＯ）は、判断部７は位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定されるまで、ステップＳ８を繰り返す。予め設定された時間は、例えば、乗員の操作又は車両１の指示により車両１内の可動部の位置又は角度が変更されるために要する時間に設定される。予め設定された時間は例えば３０秒である。

位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定された場合（ステップＳ８のＹＥＳ）、判断部７はキャリブレーション部６によるキャリブレーションを実施させる（ステップＳ９）。

キャリブレーション部６によるキャリブレーションが終了後に、ステップＳ１０では判断部７はセンシング部４によるセンシングを実施させる。

ステップＳ１１では、センシング部４はセンシング結果を通知部９に出力する。これにより、通知部９はセンシング結果を乗員に通知する。
以上により、乗員監視装置２の処理動作を終了する。

次に、本実施の形態１の乗員監視装置２の効果を従来の乗員監視装置と比較して説明する。従来の乗員監視装置は、例えばステアリングコラム又はセンターコンソール等の車両１内の固定部に設置された撮像部８により撮像された撮像画像を画像処理し、乗員に対するセンシングを実施する。そして、従来の乗員監視装置は、例えば予め設定された時間が経過した場合にキャリブレーションを実施する。従来の乗員監視装置では、撮像部８は車両１内の固定部に設置されているため、撮像部８の位置は容易には変化しないため、予め設定された時間が経過した場合にキャリブレーションを実施することにより、センシング性能を維持することができる。しかしながら、ステアリングコラム及びセンターコンソール等の車両１内の固定部は撮像部８以外にも多くの機器が配置されるため、撮像部８のレイアウトに制限がある。

一般的に、車両１内の可動部は固定部と比較してレイアウトに余裕がある。そこで、本実施の形態の乗員監視装置２は、例えばルームミラー及びハンドルテレスコ等の車両１内の可動部に設けられた撮像部８により撮像された撮像画像を画像処理し、乗員に対するセンシングを実施する。ここで、本実施の形態の乗員監視装置２において、従来の乗員監視装置と同様に予め設定された時間が経過した場合にキャリブレーションを実施する場合を考える。この場合、例えば撮像部８が設けられた可動部の角度が変更され、撮像部８と乗員の位置関係が変化しても、乗員監視装置２は予め設定された時間が経過するまでキャリブレーションを実施せずセンシングを継続する。そのため、センシング性能が低下した状態が継続されるという課題がある。

そこで、本実施の形態の乗員監視装置２は、車両１内の可動部に設けられた撮像部８により車両１内が撮像された撮像画像を取得する画像取得部３と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部４と、撮像部８の位置に変化があるか否かを推定する位置推定部５と、センシング部４における画像処理に対するキャリブレーションを実施するキャリブレーション部６と、位置推定部５において撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる判断部７を備える。これにより、本実施の形態の乗員監視装置２は、撮像部８の位置に変化があると推定された場合にキャリブレーションを実施するため、撮像部８の位置が変化したことに起因するセンシング性能の低下を抑制することができる。

また、判断部７は、位置推定部５において撮像部８の位置が予め設定された時間継続して変化しないと推定された場合に、キャリブレーション部６によるキャリブレーションを実施させる。予め設定された時間は、例えば乗員の操作又は車両１の指示により車両１内の可動部の位置又は角度が変更されるために要する時間である。これにより、判断部７は、撮像部８の位置が変化している間はキャリブレーションを実施させないので、処理負荷を軽減することができる。なお、図３に示すステップS８の処理動作は実施しなくてもよい。すなわち、位置推定部５において撮像部８の位置に変化があると推定された場合、判断部７はキャリブレーション部６によるキャリブレーションを実施させてもよい。

また、判断部７は、位置推定部５において撮像部８の位置に変化があると推定された場合に、キャリブレーション部６によるキャリブレーションが終了後にセンシング部４によるセンシングを実施させる。これにより、キャリブレーション終了後に、センシングを迅速に再開させることができる。

また、判断部７は、センシング部４によるセンシングを実施させない場合に、センシングが実施されないことを示す信号を、乗員に情報を通知する通知部９に出力する。これにより、乗員監視装置２においてセンシングが実施されていないことを乗員に通知することができる。

また、車両１は走行することにより車両１全体に振動が発生するため、車両１が走行中、撮像部８の位置は厳密には変化している。そのため、位置推定部５の精度が車両１振動に起因した撮像部８の位置の変化を検出可能な程度に高い場合は、乗員監視装置２は図３のステップS８が繰り返し実施する。或いは、乗員監視装置２は図３のステップS８を実施しない場合、ステップS９を繰り返し実施する。そのため、センシング部４によるセンシングが実施されない期間が長くなる。

そこで、位置推定部５は、撮像部８の回転量が予め設定された回転量の第一の閾値以上である場合、及び、撮像部８の並進量が予め設定された並進量の第一の閾値以上である場合の少なくとも一方の場合に、撮像部８の位置に変化があると推定する。回転量の第一の閾値及び並進量の第一の閾値は、例えば車両１が走行することにより発生する車両１の振動に起因した撮像部８の位置の変化よりもそれぞれ大きい。これにより、乗員監視装置２は車両１内の可動部の位置が変更されたことに起因するセンシング性能の低下を抑制することができる。なお、車両１が走行することにより発生する車両１の振動に起因した撮像部８の位置の変化は、車両１内の可動部の位置が変更されたことに起因した撮像部８の位置の変化と比較して小さい。そのため、車両１内の可動部の位置が変更されたことに起因したセンシング性能の低下よりも、車両１が走行することにより発生する車両１の振動に起因したセンシング性能の低下の方が小さい。

実施の形態２．
実施の形態２の乗員監視装置２について図４を用いて説明する。図４は実施の形態２の乗員監視装置２を備えた車両１の一部を示すブロック図である。実施の形態２の乗員監視装置２はセンシング部４が記憶部１０を有することを特徴とする。その他の乗員監視装置２の構成は実施の形態１と同様である。実施の形態１と同様の構成については、同一符号が付されている。

実施の形態１と同様に、センシング部４は、撮像画像の画像処理により、居眠り運転及び脇見運転等の乗員の状態判定、又は乗員の個人認証の少なくともいずれか一方であるセンシングを実施する。そして、センシング部４は記憶部１０を有する。

記憶部１０は少なくとも前回のセンシングの結果を記憶する。そして、判断部７からの信号に従い、通知部９に前回のセンシングの結果を出力する。なお、記憶部１０はセンシング部４とは別に乗員監視装置２に備えられてもよい。

次に、乗員監視装置２による乗員監視方法について説明する。図５は実施の形態２の乗員監視装置２の処理動作を示すフローチャートである。乗員監視装置２は、例えば撮像部８が起動を開始したタイミングで動作を開始し、車両１が走行中は動作を繰り返す。以下では、図５のＳＴＡＲＴにおいて、センシング部４はセンシングを実施しているものとして説明する。

ステップＳ１～ステップＳ６、及びステップＳ８～ステップＳ１０は図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。位置推定部５において撮像部８の位置に変化があると推定された場合（ステップＳ３）、判断部７はセンシング部４によるセンシングを実施させないと判断（ステップＳ６）し、ステップＳ２０に進む。また、ステップＳ６において、センシング部４はセンシングを実施するがセンシングの結果を出力しない場合は、センシング部４は記憶部１０にセンシングの結果を有効なデータとして記憶しない。

ステップＳ２０では、判断部７はセンシング部４に前回のセンシングの結果を通知部９に出力させる。これにより、通知部９は、撮像部８の位置が変化したと推定される前のセンシング部４におけるセンシングの結果を乗員に通知する。ステップＳ２０はステップＳ６と同時に実施してもよい。また、通知部９は後述するステップＳ２１の処理動作まで、継続して撮像部８の位置が変化したと推定される前のセンシング部４におけるセンシングの結果を乗員に通知してもよい。次に、乗員監視装置２はステップＳ８～ステップＳ１０の処理動作を実施する。

ステップＳ２１では、判断部７はセンシング部４に最新のセンシングの結果を通知部９に出力させる。
以上により、乗員監視装置２の処理動作を終了する。

実施の形態１と同様に、本実施の形態の乗員監視装置２は、車両１内の可動部に設けられた撮像部８により撮像された撮像画像を取得する画像取得部３と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部４と、撮像部８の位置に変化があるか否かを推定する位置推定部５と、センシング部４における画像処理に対するキャリブレーションを実施するキャリブレーション部６と、位置推定部５において撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる判断部７を備える。これにより、撮像部８の位置が変化したことに起因するセンシング性能の低下を抑制することができる。

また、撮像部８の位置が変化している間、及びキャリブレーション実施中は、センシング部４はセンシング精度を担保できず誤検出する可能性が高い。そこで、センシング部４は少なくとも前回のセンシングの結果を記憶し、判断部７はセンシング部４によるセンシングを実施させない場合に、センシング部４に前回のセンシングの結果を通知部９に出力させる。これにより、乗員監視装置２は、撮像部８の位置が変化している間、及びキャリブレーション実施中は、撮像部８の位置が変化する前におけるセンシング部４のセンシングの結果を出力するので、センシング部４による誤検出を抑制することができる。

実施の形態３．
実施の形態３の乗員監視装置２について図６を用いて説明する。図６は実施の形態３の乗員監視装置２の処理動作を示すフローチャートである。実施の形態３の乗員監視装置２は、判断部７の処理動作が実施の形態１及び実施の形態２の乗員監視装置２と異なる。その他の乗員監視装置２の構成は実施の形態１又は実施の形態２と同様である。実施の形態１と同様の構成については、同一符号が付されている。

ステップＳ１～ステップＳ８は図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。実施の形態１の乗員監視装置２は、位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定された場合（ステップＳ８のＹＥＳ）、判断部７はキャリブレーション部６によるキャリブレーションを実施させる（ステップＳ９）。

これに対し、本実施の形態の乗員監視装置２は、位置推定部５において撮像部８の位置が予め設定された時間変化がないと推定された場合（ステップＳ８のＹＥＳ）、判断部７は撮像画像にセンシング部４によるセンシング対象である乗員は撮像されているか否かを判断する（ステップＳ３０）。判断部７は撮像画像にセンシング部４によるセンシング対象である乗員は撮像されているか否かを、例えばセンシング部４又はキャリブレーション部６により判断させてもよい。

判断部７において撮像画像に乗員が撮像されていると判断された場合（ステップＳ３０のＹＥＳ）、ステップＳ９に進む。ステップＳ９～ステップＳ１１は図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。

判断部７において撮像画像に乗員が撮像されていないと判断された場合（ステップＳ３０のＮＯ）、判断部７は撮像画像に乗員が撮像されていないと判断するまでステップＳ３０を繰り返す。すなわち、判断部７は、撮像画像に乗員が撮像されていない場合に、キャリブレーション（ステップＳ９）及びセンシング（ステップＳ１０）を実施させない。
以上により、乗員監視装置２の処理動作を終了する。

実施の形態１と同様に、本実施の形態の乗員監視装置２は、車両１内の可動部に設けられた撮像部８により車両１内が撮像された撮像画像を取得する画像取得部３と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部４と、撮像部８の位置に変化があるか否かを推定する位置推定部５と、センシング部４における画像処理に対するキャリブレーションを実施するキャリブレーション部６と、位置推定部５において撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる判断部７を備える。これにより、撮像部８の位置が変化したことに起因するセンシング性能の低下を抑制することができる。

また、撮像部８に乗員が撮像されていない場合、キャリブレーション部６及びセンシング部４は、それぞれキャリブレーション及びセンシングを実施することができない。そこで、判断部７は、撮像画像に乗員が撮像されていない場合に、キャリブレーション及びセンシングを実施させないことにより、無駄な処理を抑制することができる。

実施の形態４．
実施の形態４の乗員監視装置２について説明する。図７は実施の形態４の乗員監視装置２を備えた車両１の一部を示すブロック図である。実施の形態４の車両１は、車両１の速度を検出する車速センサ１１を備える。

上述のとおり乗員監視装置２は、センシング部４により居眠り運転及び脇見運転等の乗員の状態判定、又は乗員の個人認証の少なくともいずれか一方であるセンシングを実施する。これにより、乗員監視装置２は乗員の安全性及び快適性を向上することができる。

一方で、撮像部８が設けられた可動部の位置が変更されると、撮像部８と乗員の位置関係が変化するためセンシング部４は誤検出をする可能性が高まり、乗員の安全性及び快適性が低下する。そこで、実施の形態１から３の乗員監視装置２は、撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させることにより、センシング精度の低下を抑制することができる。

ところで、撮像部８の位置の変化量によってセンシング部４が誤検出をする可能性は異なる。すなわち、撮像部８の位置の変化量が大きいほど、センシング精度は低下する。実施の形態４の乗員監視装置２は、位置推定部５は撮像部８の位置の変化量を推定し、判断部７は撮像部８の位置の変化量に応じた判断を実施する点において実施の形態１から３の乗員監視装置２と異なる。その他の乗員監視装置２の構成は実施の形態１から３のいずれかと同様である。実施の形態１と同様の構成については、同一符号が付されている。

実施の形態１と同様に、位置推定部５は撮像部８の位置の変化量が第一の閾値以上である場合に、撮像部８の位置に変化があると推定する。

判断部７は、撮像部８の回転量が予め設定された回転量の第二の閾値以上であるか否か、及び、撮像部８の並進量が予め設定された並進量の第二の閾値以上であるか否かを判断する。回転量の第二の閾値及び並進量の第二の閾値は回転量の第一の閾値及び並進量の第一の閾値よりもそれぞれ大きい値に設定される。回転量の第二の閾値及び並進量の第二の閾値は、センシング部４によるセンシング精度をどの程度担保したいかによって適宜設定される。例えば回転量の第二の閾値及び並進量の第二の閾値は、撮像部８の位置の変化量とセンシング部４が誤検出する確率を実験的に算出し、センシング部４によるセンシングの誤検出の可能性が８０％である撮像部８の位置の変化量にそれぞれ設定される。

以下では、撮像部８の回転量が予め設定された回転量の第二の閾値以上である場合、及び、撮像部８の並進量が予め設定された並進量の第二の閾値以上である場合の少なくとも一方の場合を、撮像部８の位置の変化量が第二の閾値以上である場合と表現する。また、撮像部８の回転量が予め設定された回転量の第二の閾値未満である場合、かつ、撮像部８の並進量が予め設定された並進量の第二の閾値未満である場合を、撮像部８の位置の変化量が第二の閾値未満である場合と表現する。

そして、位置推定部５は撮像部８の位置の変化量が第一の閾値以上であり、撮像部８の位置に変化があると推定した場合に、判断部７は次の判断を実施する。判断部７は、撮像部８の位置の変化量が第二の閾値未満であると判断した場合に、例えば車両１が停止するまで、センシング部４によるセンシングを実施させ、キャリブレーション部６によるキャリブレーションを実施させない。また、判断部７は撮像部８の位置の変化量が第二の閾値以上であると判断した場合に、判断部７は車両１の走行状態に関わらず、センシング部４によるセンシングを実施させず、キャリブレーションを実施させる。

次に、乗員監視装置２による乗員監視方法について説明する。図８は実施の形態４の乗員監視装置２の処理動作を示すフローチャートである。乗員監視装置２は、例えば撮像部８が起動を開始したタイミングで動作を開始し、車両１が走行中は動作を繰り返す。以下では、図８のＳＴＡＲＴにおいて、センシング部４はセンシングを実施しているものとして説明する。

ステップＳ１～ステップＳ４は図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。位置推定部５において撮像部８の位置に変化があると推定された場合（ステップＳ３）、判断部７は撮像部８の位置の変化量は第二の閾値以上であるか否かを判断する（ステップＳ４０）。

撮像部８の位置の変化量が第二の閾値以上である場合（ステップＳ４０のＹＥＳ）、ステップＳ６に進む。撮像部８の位置の変化量が第二の閾値未満である場合（ステップＳ４０のＹＥＳ）、判断部７はセンシング部４によるセンシングを継続させる（ステップS４１）。そして、判断部７は車速センサ１１から車両１の速度を示す情報を取得し、車両１が停止しているか否かを判断する（ステップＳ４２）。車両１が停止している場合（ステップＳ４２のＹＥＳ）はステップＳ５に進む。車両１が停止していない場合（ステップＳ４２のＮＯ）は、ステップＳ４２を繰り返す。すなわち、車両１が停止していない場合（ステップＳ４２のＮＯ）は、車両１が停止するまでセンシングが継続される。ステップＳ６～ステップＳ１０１図３に示す実施の形態１の乗員監視装置２の処理動作と同様である。
以上により、乗員監視装置２の処理動作を終了する。

実施の形態１と同様に、本実施の形態の乗員監視装置２は、車両１内の可動部に設けられた撮像部８により車両１内が撮像された撮像画像を取得する画像取得部３と、撮像画像の画像処理により、乗員の状態判定及び乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部４と、撮像部８の位置に変化があるか否かを推定する位置推定部５と、センシング部４における画像処理に対するキャリブレーションを実施するキャリブレーション部６と、位置推定部５において撮像部８の位置に変化があると推定された場合に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる判断部７を備える。これにより、撮像部８の位置が変化したことに起因するセンシング性能の低下を抑制することができる。

また、本実施の形態の乗員監視装置２は、判断部７は、撮像部８の回転量が予め設定された回転量の第二の閾値未満である場合、かつ、撮像部８の並進量が予め設定された並進量の第二の閾値未満である場合、すなわち撮像部８の位置の変化量が第一の閾値以上かつ第二の閾値未満である場合は、車両１が停止するまでセンシング部４によるセンシングを実施させ、キャリブレーション部６によるキャリブレーションを実施させない。そして、判断部７は車両１が停止後に、センシング部４によるセンシングを実施させず、キャリブレーション部６によるキャリブレーションを実施させる。第二の閾値は、センシング部４によるセンシング精度をどの程度担保したいかによって適宜設定するとよい。例えば、第二の閾値は、撮像部８の位置の変化量とセンシング部４が誤検出する確率を実験的に算出し、センシング部４によるセンシングの誤検出の可能性が８０％である撮像部８の位置の変化量に設定された場合を考える。

この場合、センシングの誤検出の可能性が８０％未満である場合はセンシング精度を担保できているとして、判断部７は車両１が停止するまでセンシングを継続させる。これにより、乗員監視装置２は車両１が走行中はセンシングを実施することにより、乗員の安全性及び快適性を向上させることができる。

また、センシングの誤検出の可能性が８０％以上である場合はセンシング精度を担保できないとして、判断部７は車両１の走行状態に関わらずキャリブレーションを実施させる。このように、センシング精度を担保できていない場合はセンシング精度を向上させることを優先させることができる。

なお、本実施の形態では判断部７は車速センサ１１から車両１の速度を示す情報を取得し、車両１が停止しているか否かを判断する例を示したがこれに限られない。判断部７は例えば車両１からドアの開閉状態、イグニッションスイッチのオンオフを示す情報を取得し、車両１が停止しているか否かを判断してもよい。

また、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。

１ 車両、２ 乗員監視装置、３ 画像取得部、４ センシング部、５ 位置推定部、６ キャリブレーション部、７ 判断部、８ 撮像部、９ 通知部、１０ 記憶部、１１ 車速センサ、１２ 処理回路、１３ プロセッサ、１４ メモリ

Claims (11)

1. 車両内の可動部に設けられた撮像部により前記車両内が撮像された撮像画像を取得する画像取得部と、
   前記撮像画像の画像処理により、乗員の状態判定及び前記乗員の個人認証の少なくともいずれか一方であるセンシングを実施するセンシング部と、
   前記撮像部の位置に変化があるか否かを推定する位置推定部と、
   前記センシング部における前記画像処理に対するキャリブレーションを実施するキャリブレーション部と、
   前記位置推定部において前記撮像部の位置に変化があると推定された場合に、前記センシング部による前記センシングを実施させず、前記キャリブレーション部による前記キャリブレーションを実施させる判断部と、
   を備える乗員監視装置。
2. 前記判断部は、前記位置推定部において前記撮像部の位置が予め設定された時間継続して変化しないと推定された場合に、前記キャリブレーション部による前記キャリブレーションを実施させることを特徴とする請求項１に記載の乗員監視装置。
3. 前記判断部は、前記位置推定部において前記撮像部の位置に変化があると推定された場合に、前記キャリブレーション部による前記キャリブレーションが終了後に前記センシング部による前記センシングを実施させることを特徴とする請求項１又は請求項２に記載の乗員監視装置。
4. 前記判断部は、前記センシング部による前記センシングを実施させない場合に、前記センシングが実施されないことを示す信号を、前記乗員に情報を通知する通知部に出力することを特徴とする請求項１から請求項３のいずれか一項に記載の乗員監視装置。
5. 前記センシング部は、少なくとも前回の前記センシングの結果を記憶し、
   前記判断部は、前記センシング部による前記センシングを実施させない場合に、前記センシング部に前回の前記センシングの前記結果を、前記乗員に情報を通知する通知部に出力させることを特徴とする請求項１から請求項３のいずれか一項に記載の乗員監視装置。
6. 前記判断部は、前記撮像画像に前記乗員が撮像されていない場合に、前記キャリブレーション及び前記センシングを実施させないことを特徴とする請求項１から請求項５のいずれか一項に記載の乗員監視装置。
7. 前記位置推定部は前記撮像部の回転量が予め設定された回転量の第一の閾値以上である場合、及び、前記撮像部の並進量が予め設定された並進量の第一の閾値以上である場合の少なくとも一方の場合に、前記撮像部の位置に変化があると推定することを特徴とする請求項１から請求項６のいずれか一項に記載の乗員監視装置。
8. 前記回転量の第一の閾値及び前記並進量の第一の閾値は、前記車両が走行することにより発生する前記車両の振動に起因した前記撮像部の位置の変化よりもそれぞれ大きいことを特徴とする請求項７に記載の乗員監視装置。
9. 前記判断部は、前記撮像部の前記回転量が予め設定された回転量の第二の閾値未満である場合、かつ、前記撮像部の前記並進量が予め設定された並進量の第二の閾値未満である場合は、前記車両が停止するまで前記センシング部による前記センシングを実施させ、前記キャリブレーション部による前記キャリブレーションを実施させず、前記車両が停止後に、前記センシング部による前記センシングを実施させず、前記キャリブレーション部による前記キャリブレーションを実施させ、前記撮像部の前記回転量が前記回転量の第二の閾値以上である場合、及び、前記撮像部の並進量が前記並進量の第二の閾値以上である場合の少なくとも一方の場合には、前記センシング部による前記センシングを実施させず、前記キャリブレーション部による前記キャリブレーションを実施させる特徴とする請求項７又は請求項８に記載の乗員監視装置。
10. 車両内の可動部に設けられた撮像部により前記車両内が撮像された撮像画像を取得するステップと、
    前記撮像画像の画像処理により、乗員の状態判定及び前記乗員の個人認証の少なくともいずれか一方であるセンシングを実施するステップと、
    前記撮像部の位置に変化があるか否かを推定するステップと、
    前記画像処理に対するキャリブレーションを実施するステップと、
    前記撮像部の位置に変化があると推定された場合に、前記センシングを実施させず、前記キャリブレーションを実施させるステップと、
    を備える乗員監視方法。
11. 車両内の可動部に設けられた撮像部により前記車両内が撮像された撮像画像を取得する手順と、
    前記撮像画像の画像処理により、乗員の状態判定及び前記乗員の個人認証の少なくともいずれか一方であるセンシングを実施する手順と、
    前記撮像部の位置に変化があるか否かを推定する手順と、
    前記画像処理に対するキャリブレーションを実施する手順と、
    前記撮像部の位置に変化があると推定された場合に、前記センシングを実施させず、前記キャリブレーションを実施させる手順と、
    をコンピュータに実行させる乗員監視プログラム。

Images