JP6131692B2 - 乗員検出装置 - Google Patents

Description

本発明は、車室に設けられたカメラの撮像画像に基づいて、後席の乗員を検出する乗員検出装置に関する。

この種の装置に関し、車室内のカメラの撮像画像に基づいて、乗員の有無や状態を検出する検出装置が知られている（特許文献１）。

特開２０００−１１３１６４号公報

しかしながら、従来の装置では、エッジ画像の差分に基づいて被写体の状態や位置に関する情報を得ることができるが、車両の移動に伴う光環境の変化による外乱光による誤検知が生じるという問題がある。

本発明が解決しようとする課題は、車両に搭乗している乗員を検出する場合に、車両の移動に伴う光環境の変化による外乱光による誤検知が生じないようにすることである。

本発明は、車室内を撮像するカメラの撮像領域に、車室内の座席に対応する乗員検出領域と、乗員検出領域の外側に位置する外縁部領域とを設定し、乗員検出領域と外縁部領域における特徴をそれぞれ経時的に抽出し、乗員検出領域における経時的な特徴と外縁部領域における経時的な特徴との比較結果に基づいて車室内に存在する物体が乗員であるか否かを判断することにより、上記課題を解決する。

本発明によれば、乗員検出領域と、乗員検出領域の外側に位置する外縁部領域との特徴の時間的な変化に基づいて車室内の物体が乗員であるか又は外乱光による虚像であるかを判別することができるため、外乱光による虚像を後席に居る乗員として誤検出することを防止できるので、車室内の乗員を精度よく検知することができる。

本実施形態に係る車室内監視システム１のブロック構成図である。 本実施形態のカメラの設置例を示す図である。 後席の映像の一例を示す図である。 乗員検出領域と外縁部領域の第１の設定例を示す図である。 乗員検出領域と外縁部領域の第２の設定例を示す図である。 乗員の判断手法を説明するための第１の図である。 乗員の判断手法を説明するための第２の図である。 本実施形態に係る車室内監視システム１の制御手順を説明するためのフローチャートである。 本実施形態に係る乗員検出装置１００の制御手順を説明するためのフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る乗員検出装置を、車室内監視システム１に適用した場合を例にして説明する。

図１は、本実施形態に係る乗員検出装置１００を備える車室内監視システム１のブロック構成を示す図である。乗員検出装置１００及びこれを含む車室内監視システム１は、車両に搭載されている。車室内監視システム１は、自車両の車室内の様子を監視し、ドライバに必要な情報を提供する。乗員検出装置１００は、自車両の車室内の情報として、車室内に人員（乗員）が存在するか否かを検出する。

図１に示すように、車室内監視システム１は、乗員検出装置１００と、車載装置２００とを有する。車載装置２００は、車両コントローラ５０と、各種機器６０と、ナビゲーション装置７０とを備える。乗員検出装置１００と各車載装置２００とは、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

本実施形態の各種機器６０は、シフトレバーの位置を検出するシフトレバー６１と、自車両のヘッドライト点灯状態を検出して出力するヘッドライト６２と、自車両のワイパーの操作状態を検出して出力するワイパー６３と、車両の施錠状態を検出して出力する施錠装置６４と、車載装置２００内の時間を計時する時計６５と、車両の速度を検出して出力する車速センサ６６と、車両に付着した雨滴を検出して出力する雨滴センサ６７と、車両周囲の明るさを検出して出力する照度計６８と、車両の操舵量を検出して出力する操舵装置６６と、を有する。これらの各種機器群６０は、車両コントローラ５０を介して又は直接に、検出された情報を乗員検出装置１００へ出力する。

本実施形態のナビゲーション装置７０は、位置検出装置７１と、地図情報７２とを備え、自車両の現在位置から目的地までの経路を示してドライバを誘導する。また、本実施形態のナビゲーション装置７０は、外部との通信が可能であり、各地点の降雨情報を含む気象情報を取得し、乗員に提供する情報提供機能７３を備える。ナビゲーション装置７０は、取得した情報、演算した情報を、乗員検出装置１００、ディスプレイ３０、スピーカ７４に出力する。

また、同図に示すように、本実施形態の乗員検出装置１００は、制御装置１０と、カメラ２０と、ディスプレイ３０とを備える。

本実施形態のカメラ２０は、ＣＣＤ等の撮像素子を用いたカメラであり、車室内の後席を撮像する。図２は、カメラ２０の設置例を示す図である。図２（Ａ）は車両Ｖを上方から見た場合のカメラ２０の設置位置を示し、図２（Ｂ）は車両Ｖを側方から見た場合のカメラ２０の設置位置を示す。カメラ２０の数や配置場所は特に限定されず、本実施形態では、図２に示すように、車両Ｖの車室内天井付近に広角のカメラ２０を一つ設置する。

図３は、カメラ２０により撮像された後席映像の一例を示す。図３に示すように、カメラ２０は、撮像領域Ｐの中に、カメラ２０は前席の運転席ＳＴＦＲと助手席ＳＴＦＬ、及び後席の右側座席ＳＴＲＲと左側座席ＳＴＲＬの像が含まれるように撮像する。この映像には、後席の左側座席ＳＴＲＬに着座する乗員(子供)ＰＳ１の像が含まれる。

本実施形態のディスプレイ３０は、車両のドライバが視認可能なダッシュボード周囲に設置され、後席の撮像画像や案内情報などを提示する。

続いて、本実施形態の制御装置１０について説明する。本実施形態の乗員検出装置１００の制御装置１０は、カメラ２０の撮像画像に基づいて後席上の物体を検出し、その物体が人員であるか否かを判断し、その判断結果に基づいて車室内の監視を行うプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、乗員検出装置１００と車室内監視システム１として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。

本実施形態に係る乗員検出装置１００の制御装置１０は、画像取得機能と、乗員検出機能とを有する。さらに、本実施形態の制御装置１０は、実施態様に応じて、走行状態判断機能と、天候判断機能と、明度判断機能と、降車判断機能と、報知機能と、をさらに有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

以下、本実施形態に係る乗員検出装置１００の各機能について説明する。

まず、本実施形態の制御装置１０の画像像取得機能について説明する。制御装置１０は、カメラ２０が撮像した自車両周囲の撮像画像を取得する。取得した撮像画像は、後席の乗員の検出処理に利用されるとともに、後席の映像としてディスプレイ３０に提示される画像として利用される。

本実施形態の制御装置１０の乗員検出機能について説明する。制御装置１０は、カメラ２０により連続して撮像された撮像画像について差分比較を行い、乗員検出領域と外縁部領域の２つの領域について、連続して出力される差分値より領域内の動き情報を検出する。

本実施形態の制御装置１０は、カメラ２０の撮像領域Ｐに、車室内の座席に対応する乗員検出領域Ｘと、乗員検出領域Ｘの外側に位置する外縁部領域Ｙ（Ｙｓ，Ｙｂ）とを設定し、その乗員検出領域Ｘと外縁部領域Ｙにおける特徴をそれぞれ経時的に抽出し、乗員検出領域Ｘにおける経時的な特徴と外縁部領域Ｙにおける経時的な特徴とを比較し、当該比較の結果に基づいて車室内に存在する物体が乗員であるか否かを判断し、乗員を検出する。

本実施形態の制御装置１０は、撮像領域Ｐ内に乗員検出領域Ｘと外縁部領域Ｙとを設定する。図４Ａ，図４Ｂは乗員検出領域Ｘと外縁部領域Ｙの設定例を示す図である。本実施形態において、外縁部領域Ｙは破線で示す乗員検出領域Ｘの外縁の外側に設定することができる。本実施形態では、図４Ａに示す例のように、外縁部領域Ｙｓを、乗員検出領域Ｘの外縁のうち車両のサイドドア側に設定する。特に、本実施形態では、外縁部領域Ｙを、乗員検出領域Ｘに対して車両の窓の像が映り込む領域側に設定する。ここで車両の窓には、サイドドアのサイドウィンドウ、バックドアのバックドアウィンドウ又は車両後方のリヤウィンドウを含む。

つまり、本実施形態では、後席の左右の座席から近い窓側に外縁部領域Ｙを設定する。具体的に、図４Ａに示す例のように、乗員検出領域Ｘが車両進行方向の左側の後席の位置に設定された場合には、外縁部領域Ｙｓを車両進行方向の左側のサイドドア側（矢印ＤＬ側：図中右側）に設定する。他方、乗員検出領域Ｘが車両進行方向の右側の後席の位置に設定された場合には、外縁部領域Ｙｓを車両進行方向の右側のサイドドア側（矢印ＤＲ側：図中左側）に設定する。

また、本実施形態では、図４Ｂに示す例のように、外縁部領域Ｙｂを、乗員検出領域Ｘの外縁のうち車両の天井側（矢印ＵＰ側：図中上側）に配置する。本例では、乗員検出領域Ｘの車両のサイドドア側に設定された外縁部領域Ｙｓと、乗員検出領域Ｘの車両の天井側に設定された外縁部領域Ｙｂとを含む外縁部領域Ｙを設定する。図４Ｂに示す例のように、乗員検出領域Ｘが車両進行方向の左側の後席の位置に設定された場合には、外縁部領域Ｙｂを車両進行方向の左側であって、その天井側（矢印ＵＰ側：図中上側）に設定する。他方、乗員検出領域Ｘが車両進行方向の右側の後席の位置に設定された場合には、外縁部領域Ｙｂを車両進行方向の右側であって、その天井側（矢印ＵＰ側）に設定する。

次に、制御装置１０は、乗員検出領域Ｘと外縁部領域Ｙにおける特徴をそれぞれ経時的に抽出する。撮像画像の画像情報における特徴点の抽出手法は、本願出願時に知られている手法を適宜に用いることができる。

そして、制御装置１０は、乗員検出領域Ｘにおける経時的な特徴と外縁部領域Ｙにおける経時的な特徴とを比較し、その比較の結果に基づいて車室内に存在する物体が乗員であるか否かを判断する。具体的に制御装置１０は、乗員検出領域Ｘにおいて特徴が検出された時間帯に、外縁部領域Ｙ（Ｙｓ，Ｙｂ）において特徴が検出された場合には、検出された物体は乗員ではないと判断する。他方、制御装置１０は、乗員検出領域Ｘにおいて特徴が検出された時間帯に、外縁部領域Ｙにおいて特徴が検出されなかった場合には、検出された物体は乗員であると判断する。

具体的に、図５Ａ，図５Ｂに基づいて、乗員であるか否かの判断手法を説明する。図５Ａに示すように、乗員検出領域Ｘにおいて、画像（特徴点）の動きがタイミング（ａ）の期間中に検出された場合を想定する。図５Ａにおいて、乗員検出領域Ｘにおける物体の検出結果を図中上側に実線で示し、外縁部領域Ｙにおける物体の検出結果を図中下側に破線で示す。同図に示すように、このタイミング（ａ）において、外縁部領域Ｙに動きが検出されなかった場合には、車室内に存在するとして検出された物体は乗員であると判断し、「乗員存在」の結論を出力する。他方、乗員検出領域Ｘにおいて、画像（特徴点）の動きがタイミング（ｂ）（ｃ）（ｄ）（ｅ）の期間中に検出されたとしても、外縁部領域Ｙにおいて、同じタイミング（ｂ）（ｃ）（ｄ）（ｅ）の期間中に検出された場合には、乗員検出領域Ｘにおいて検出された物体は、車両外部から差し込む外乱光又は車両運動による誤検出であり、乗員（人員）ではないと判断する。

この判断において、タイミング（ｄ）のように、乗員検出領域Ｘにおいて画像（特徴点）の動きが検出されたタイミングの期間（始点と終点の間の時間）と、外縁部領域Ｙにおいて画像（特徴点）の動きが検出されたタイミングの期間（始点と終点の間の時間）とのずれ量が所定値未満である場合には、検出結果は車両運動によるものであると判断する。

また、図５Ｂに示すように、乗員検出領域Ｘにおいて、画像（特徴点）の動きがタイミング（Ａ）〜（Ｄ）に検出された場合を想定する。図５Ｂにおいて、乗員検出領域Ｘにおける物体の検出結果を図中上側に実線で示し、外縁部領域Ｙにおける物体の検出結果を図中下側に破線で示す。本処理例では、外縁部領域Ｙにおいて動き情報が検出された場合に、その後に一定期間を付加する監視期間を設け、外縁部領域Ｙにて動き情報が検出された期間および監視期間中に、タイミング（Ａ）（Ｂ）（Ｄ）に示すように、乗員検出領域Ｘにおいて動きが一定期間検出された場合には、外乱光または車両運動による誤検出であるとして、検出された動きを乗員以外として判断する。そして乗員無しの検出結果を出力する。一方、図５Ｂに示すように、乗員検出領域Ｘにおいて動きが一定期間検出されたタイミング（Ｃ）内に、外縁部領域Ｙにおいて動きが検出されず、さらにタイミング（Ｃ）がいずれの監視期間（外縁部領域Ｙにおいて動き情報が検出された場合に、それ以降の一定期間）とも重複していない場合には、検出した動きが乗員（人員）によるものであると判断し、乗車乗員ありの検出結果を出力する。このように、外縁部領域Ｙにおいて特徴が検出された時間帯と、その時間帯の後に付加される監視期間との間、つまり、外縁部領域Ｙにおいて特徴が検出された時間帯と監視期間とを合わせた時間帯に、乗員検出領域Ｘにおいて特徴が検出された場合には、検出された物体は乗員ではないと判断する。

そして、制御装置１０は、車室内の物体が荷物であれば、荷物として検出し、物体が人員であれば乗員として検出し、その結果を出力する。これにより、車室内監視システム１は、検出結果における物体の属性（荷物か人員か）に応じて監視処理を行うことができる。

さらに、本実施形態の制御装置１０は、走行状態判断機能により車両が高速道路を含む自動車専用道路を走行していると判断された場合には、乗員検出領域Ｘから抽出された経時的な特徴と外縁部領域Ｙから抽出された経時的な特徴とから、予め設定された所定の周波数成分を除去する。

ここで走行状態判断機能について説明する。走行状態判断機能は、車両から取得した車両情報に基づいて車両の走行状態を判断する。走行情報は各種機器６０から直接に取得してもよいし、各種機器から車両コントローラ５０を介して取得してもよい。車両情報としては、車速センサ６６から取得する自車両の車速、操舵装置６９から取得する操舵角などを例示することができる。制御装置１０は、車両の車速が所定値以上であること、車両の操舵角の変化量が所定量以下であることなどの条件に基づいて、自車両が自動車専用道路を走行しているか否かを判断する。

そして、制御装置１０は、自車両が自動車専用道路を走行していると判断した場合には、乗員検出領域Ｘから抽出された経時的な特徴と外縁部領域Ｙから抽出された経時的な特徴とから、予め設定された所定の周波数成分を除去する。特に限定されないが、本実施形態において、所定の周波数成分は、乗員検出領域Ｘと外縁部領域Ｙの２つの領域の動き情報の値に対して周波数解析を行い、最大の周波数成分を除去する。また、この所定の周波数成分は、自車両の振動成分に対応づけてもよい。この周波数成分はカメラ２０の振動、撮像画像のぶれなどに対応すると考えられる。車両の振動は、車体の構造、タイヤの性能、車両の大きさ・重さなどに応じて異なるので、予め、実験的に又はシミュレーションによって自車両の振動成分を算出し、それに対応する周波数成分を算出しておいてもよい。

また、本実施形態の制御装置１０は、天候判断機能が車両の走行地点の天候が雨天であると判断した場合には、外縁部領域Ｙの設定位置を乗員検出領域Ｘの車両の天井側に配置する。具体的に、制御装置１０は、先述した図４Ｂに示す外縁部領域Ｙｂを含む外縁部領域Ｙ（Ｙｓ＋Ｙｂ）を設定する。

本実施形態の天候判断機能は、車両から取得した車両情報又は外部から取得した気象情報に基づいて、車両の走行地点の天候を判断する。本実施形態の制御装置１０は、車両のワイパー６３の動作信号に基づいて降雨（雨天）を判断してもよいし、雨滴センサ６７の雨滴検出信号に基づいて降雨（雨天）を判断してもよい。また、制御装置１０は、ナビゲーション装置７０の情報提供機能７３が取得した現在位置における天候情報に基づいて天候を判断する。情報提供機能７３は、位置検出装置７１が検出した現在位置における天候の情報を提供する。

さらに、本実施形態の制御装置１０は、明度判断機能が車両の走行時における明度が所定値未満であると判断した場合には、外縁部領域Ｙの設定位置を乗員検出領域Ｘの車両の天井側に配置する。制御装置１０は、先述した図４Ｂに示す外縁部領域Ｙｂを含む外縁部領域Ｙ（Ｙｓ＋Ｙｂ）を設定する。

本実施形態の明度判断機能は、車両から取得した車両情報又は外部から取得した時刻情報に基づいて、車両の走行時における明度を判断する。本実施形態の制御装置１０は、車両からヘッドライト６２の点灯情報を取得した場合には明度が所定値未満（周囲は暗い）と判断してもよいし、車両の時計６５の示す時刻に基づいてアクセス可能な暦情報を参照して時刻が日没時刻以降である場合には明度が所定値未満（周囲は暗い）と判断してもよいし、照度計６８から取得した照度が所定値未満であるか否かにより明度を判断してもよい。本実施形態の制御装置１０は、ナビゲーション装置７０から自車両がトンネル内を走行しているとの情報を取得した場合に、車両の走行時における明度が低い（周囲は暗い）と判断してもよい。ナビゲーション装置７０は、トンネルの位置を含む地図情報を参照し、位置検出装置７１が検出した現在位置に基づいて、自車両がトンネル内を走行しえいるか否かを判断する。

このように、昼間・晴天時には、外縁部領域Ｙは乗員検出領域Ｘに対して側方窓側Ｙｓに設定されている（図４Ａ参照）。これは、サイドドアの窓から差し込む太陽光による外乱光による誤検知を排除するためである。他方、夜間・雨天時においては、太陽光による外乱光ではなく、後続車や対向車のヘッドランプによる外乱光の影響が大きくなる。そこで、夜間・雨天時には、乗員検知領域Ｘに対して側方窓側の外縁部領域Ｙｓだけでなく、後方窓側の外縁部領域Ｙｂも含む領域に外縁部領域Ｙを設定する。このようにすることで雨天・夜間時における後続車や対向車のヘッドラップによる外乱光による誤検知を抑制することができる。

次に、降車判断機能について説明する。本実施形態の制御装置１０は、車両から取得した車両情報に基づいて、前記車両のドライバの降車を判断する。制御装置１０は、シフトレバー６１のシフトレバー情報、車速センサ６６の車速信号、施錠装置６４の施錠信号から現在の車両の状態を取得し、自車両が走行中、降車準備時、施錠時のいずれの状態であるかを判断する。具体的には、シフトレバー情報がパーキング位置以外であり、車速信号が0km/hではない場合には、自車両が走行中であると判断する。車速信号が0km/hであり、シフトレバー情報がパーキング位置となった場合に降車準備中と判断する。さらに、施錠信号に基づいて施錠時と判断する。

最後に報知機能について説明する。降車判断機能によりドライバの降車後に乗員であると判断された物体が車内に存在している場合には、ドライバにその旨を報知する。報知機能は、降車判断機能と、乗員検出機能の処理結果に基づいてドライバが降車時に車両内に物体が置き去りにされていることを報知する。第１の報知態様としては、降車判断機能により降車準備中と判断されたタイミングにおいて、乗員検出機能が車室内の物体が乗員であると判断しているときには、ドライバに置き去りを報知する。第２の報知態様としては、降車状態判断機能が施錠時と判断されたタイミングにおいて、乗員検出機能が乗員と判断した物体が車室内に置去りにされていると判断しているときには、ドライバに置き去りを報知する。本実施形態の車室内監視システム１は、出力装置としてディスプレイ３０、スピーカ４０（ブザー機能を備える）を備え、報知機能の指令に呼応してテキストによる報知情報をディスプレイ３０に表示し、又は音声による報知情報をスピーカ４０により出力する。

続いて、本実施形態の車室内監視システム１の監視制御手順を、図７のフローチャートに基づいて説明する。図７には、車室内の乗員が置き去られていることを監視する処理を示す。本発明の乗員の検知処理については、後に詳述する。なお。図７に示す処理内容は、所定周期で連続的に行われる。

図７に示すように、ステップＳ１において、以降の処理の実行に使用するタイマーやカウンタ、フラグを初期設定する初期化の処理を実行する。次にステップＳ２において、制御装置１０は、車載装置２００から車両情報を取得する。車両情報は、シフトレバー情報、ヘッドライト動作情報、ワイパー動作情報、施錠情報、時間情報、車速情報、雨滴検知情報、照度、操舵情報、ナビゲーション装置７０の案内情報又は外部から取得した情報を含む。

続くＳ３において、制御装置１０は、ドライバの降車動作（又は運転動作）を判断する。本実施形態では、走行中（非降車）、降車準備時、施錠時のいずれの状態であるかを判断する。具体的に、制御装置１０は、シフトレバー６１がパーキング位置以外であり、車速信号が0km/hでない場合には自車両は走行中であると判断し、ステップＳ４へ進む。制御装置１０は、車速信号が0km/hであり、シフトレバー６１がパーキング位置となった場合には降車準備中と判断し、ステップＳ５へ進む。さらに、制御装置１０は、施錠信号に基づいて施錠時と判断し、ステップＳ６へ進む。

ステップＳ４において、制御装置１０は、自車両の現在の走行状態は走行中であると保持し、Ｓ７へ進む。そしてステップＳ５では、現在の車両状態を降車準備時であると保持し、Ｓ８へ進む。そしてステップＳ６では、現在の車両状態を施錠時であると保持し、Ｓ１１へ進む。

ステップ４に続くステップＳ７において、制御装置１０は乗車検出処理を行う。本実施形態の制御装置１０は、乗員検出領域Ｘと外縁部領域Ｙにおける特徴をそれぞれ経時的に抽出し、乗員検出領域Ｘにおける経時的な特徴と外縁部領域Ｙにおける経時的な特徴とを比較し、当該比較の結果に基づいて車室内に存在する物体が乗員であるか否かを判断して乗員を検出し、ステップＳ２へ戻る。

ステップＳ５に続くステップＳ８において、前回処理のステップＳ７で判断した乗員検出処理に基づいて分岐処理を行う。ステップＳ７において、乗車乗員が存在すると判断されている場合、ステップＳ９へ進み、そうでなければ処理を終了する。

ステップＳ９において、制御装置１０は、物体の置去りを検知する処理のためにカメラ２０に後席を撮像させ、その撮像画像を格納する。

ステップＳ１０において、制御装置１０は、降車準備中のドライバに、乗員がいることを報知するための一次報知処理を行う。一次報知処理は、ディスプレイ３０に、ステップＳ９においてカメラ１２で撮像された画像を表示し、ドライバに乗員の存在を思い出させ、乗員の置忘れを防止させる。一次報知処理終了後、ステップ２へ戻る。

ステップＳ６に続くステップＳ１１において、前回処理のステップＳ７で判断した乗員検出処理に基づいて分岐処理を行う。ステップＳ７において、乗車乗員が存在すると判断されている場合、ステップＳ１２へ進み、そうでなければ処理を終了する。

続くステップＳ１２において、置去り検知処理を行う。置去り検知処理は、カメラ２０で現在の車室内画像を撮像し、前回処理のＳ９で取得し格納された画像と差分比較を行う。差分比較の結果、差分が存在しない場合、乗員は依然乗車中であり、車両から降りていないと考えられるので置去りされていると判断する。また、差分が存在する場合、乗車した乗員は降車していると判断する。

ステップＳ１３において、ステップＳ１２で判断した置去り検知処理に基づいて分岐処理を行う。ステップＳ１２において、乗員の置去りがされていると判断されている場合、ステップＳ１４へ進み、そうでなければ処理を終了する。

ステップＳ１４において、乗員の置き忘れをドライバに報知するための二次報知処理を行う。二次報知処理は、スピーカ３０により乗員の置忘れをドライバに警報する。そして、全体の処理を終了する。

なお、本実施形態では置忘れを警報して直ぐ終了するようにしているが、置忘れが解消されるまで、または、ドライバの意思（例えば再度の施錠動作）を確認できるまで警報を継続するようにしても良い。ドライバに物体の乗車を思い出させ、物体の置忘れを防止させる。２次報知処理終了後、処理を終了する。

次に、乗員検出処理を、図７のフローチャートに基づいて説明する。本実施形態の乗員検出処理は、図６に示す車室内監視処理のフロー中におけるステップＳ７に位置づけられる。

図７に示すように、ステップＳ７０１において、前回の処理の乗員検出処理の結果に基づいて分岐処理を行う。過去の乗員検出処理における結果が「乗車乗員が有る」という判断である場合には、処理を終了し、そうでなければＳ７０２以降の処理を行う。

ステップＳ７０２において、制御装置１０は、各種車両情報を取得する。ステップＳ７０３において、ステップＳ７０２において取得した車両情報に基づいて現在の環境が雨天であるか、又は夜間であるかどうかの判断を行う。判断の手法は先述したいずれかの手法を用いることができるが、本処理例では、ワイパー６３が動作中であれば雨天時であると判断し、ヘッドライト６２が動作中であれば夜間時（周囲は暗い）と判断する。雨天又は夜間（明度が低い）と判断された場合にはＳ７０４へ進み、そうでない場合はＳ７０５へ進む。

Ｓ７０４において、制御装置１０は、外縁部領域Ｙの設定位置を変更する。具体的に、制御装置１０は、外縁部領域Ｙの設定位置を乗員検出領域Ｘの車両の天井側に配置する。具体的には図４Ｂのように領域Ｙｂを含む外縁部領域Ｙを設定する。

ステップＳ７０５において、制御装置１０は、車室内の物体の動きを判断する。具体的にはカメラ２０にて撮影される乗員検出領域Ｘと外縁部領域Ｙの２つの領域において、逐次差分処理のよる変化情報を計算し、物体の動き情報を記憶する。

ステップＳ７０６において、ステップＳ７０２にて取得された車両情報から、現在、自車両が高速道路など自動車専用道を走行中であるかどうかの判断を行い、処理を分岐する。具体的には、ナビゲーション装置７０から取得した走行情報（現在位置と走行中の道路の属性を含む）に基づいて、現在、自車両が高速道路など自動車専用道を走行しているかを判断する。自車両が高速道路など自動車専用道を通行していると判断されたら、ステップＳ７０７へ進み、そうでない場合はＳ７０８へ進む。

次にＳ７０７では、Ｓ７０５にて取得された物体の動き情報のうち、周波数成分の除去を行う。本実施形態では、制御装置１０が記憶する乗員検出領域Ｘと外縁部領域Ｙの２つの領域の動き情報の値に対して周波数解析を行い、最大の周波数成分を除去する。周波数成分の除去が完了したら、Ｓ７０８へ進む。

ステップＳ７０８において、Ｓ７０５にて取得された動き情報より判断処理を行い、処理を分岐する。Ｓ７０５の結果、乗員検出領域Ｘにて動き情報が検出されたならば、ステップＳ７０９へ進み、そうでない場合はＳ７１２へ進む。

次に、Ｓ７０９において、Ｓ７０５にて検出された物体の動きが乗員によるものかそうでないかの判断処理を行う。Ｓ７０５にて検出処理を行った乗員検出領域Ｘと外縁部領域Ｙの２つの領域のうち、乗員検出領域Ｘのみに動きが検出された場合には、Ｓ７０５で検出された物体の動き情報は人員（乗員）によるものであると判断し、２つの領域の両方で動きが検出された場合には、Ｓ７０５で検出された物体の動き情報は人員（乗員）によるものでないと判断し、ステップＳ７１０へ進む。

ステップＳ７１０では、ステップＳ７０９の判断結果に基づいて分岐処理を行う。ステップＳ７０９の判断処理の結果、ステップＳ７０５で検出された動き情報が乗車乗員によるものであると判断された場合にはステップＳ７１１へ進み、そうでない場合にはステップＳ７１２へ進む。

ステップＳ７１１において、制御装置１０は乗員検出結果として、運転手以外の乗車乗員が存在するという情報を保持し、処理を終了する。ステップＳ７１２において、制御装置１０は乗員検出結果として、運転手以外の乗車乗員が存在しないという情報を保持し、処理を終了する。

本実施形態の乗員検出装置１００によれば、以下の効果を奏する。

[１]本実施形態の乗員検出装置１００によれば、乗員検出領域Ｘと、乗員検出領域Ｘの外側に位置する外縁部領域Ｙとの特徴の時間的な変化に基づいて、車室内の物体が乗員であるか又は外乱による虚像であるかを判別できるので、車室内の乗員を精度よく検知することができる。つまり、外乱光や車両運動によるノイズを除外するので、乗員乗車の誤検出を低減することができる。

[２]本実施形態の乗員検出装置１００によれば、乗員検出領域Ｘにおいて特徴が検出された時間帯に、外縁部領域Ｙにおいて特徴が検出された場合には、検出された物体は乗員ではないと判断するので、外乱によって乗員検出領域Ｘに特徴が生じた場合でも、これを排除することができる。この結果、乗員を高い精度で検出することができる。

[３]本実施形態の乗員検出装置１００によれば、乗員検出領域Ｘにおいて特徴が検出された時間帯に、外縁部領域Ｙにおいて特徴が検出されなかった場合には、前記検出された物体は乗員であると判断するので、外乱の無い環境で乗員検出領域Ｘに生じた特徴に基づいて乗員を正確に検出することができる。

[４]本実施形態の乗員検出装置１００によれば、外縁部領域Ｙにおいて特徴が検出された時間帯と、その時間帯の後に付加される監視期間との間に、乗員検出領域Ｘにおいて検出された場合には、その検出された物体は乗員ではないと判断することにより、外乱光の影響を排除できる。すなわち、外乱が発生してからその影響が残る監視期間満了までは、検出された物体を乗員ではないと判断するので、外乱の影響で乗員検出領域Ｘに特徴が生じた場合でも、これを誤って乗員と判断することを抑制することができる。この結果、乗員を高い精度で検出することができる。

[５]本実施形態の乗員検出装置１００によれば、外縁部領域Ｙを、乗員検出領域Ｘに対して車両の窓の像が映り込む領域側に設定するので、車両のサイドウィンドウやリヤウィンドウから差し込む光により生じる虚像を誤って乗員と判断することを抑制することができる。

[６]本実施形態の乗員検出装置１００によれば、車両が高速道路を含む自動車専用道路を走行していると判断された場合には、乗員検出領域から抽出された経時的な特徴と外縁部領域から抽出された経時的な特徴とから、予め設定された所定の周波数成分を除去するので、高速道路など自動車専用道を通過するときに、車室内に侵入する外乱光のうち、防音壁の影などの影響を除外することができる。これにより、外乱光による誤検知の発生を抑制することができる。

[７]本実施形態の乗員検出装置１００によれば、外縁部領域Ｙを、乗員検出領域Ｘの外縁の車両のサイドドア側に設定することにより、サイドドアウィンドウから差し込む外乱光の影響による誤検出を抑制することができる。

[８]本実施形態の乗員検出装置１００によれば、車両の走行地点の天候が雨天であると判断した場合には、外縁部領域Ｙの設定位置を乗員検出領域の車両の天井側に配置するので、雨天時に後席に差し込む後方車両のヘッドライトや周辺街灯などの影響による誤検出を排除することができる。

[９]本実施形態の乗員検出装置１００によれば、車両の走行時における明度が所定値未満であると判断した場合には、外縁部領域Ｙの設定位置を乗員検出領域Ｘの車両の天井側に配置するので、夜間などの周囲が暗いときに後席に差し込む後方車両のヘッドライトや周辺街灯などの影響による誤検出を排除することができる。

[１０]本実施形態の乗員検出装置１００によれば、ドライバの降車後に乗員の存在が判断された場合にはドライバにその旨を報知するので、上述のように高い精度で降車時における乗員の存在を判断し、その結果を乗員に伝達することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る乗員検出装置１００と車載装置２００とを備える車室内監視システム１を例にして説明するが、本発明はこれに限定されるものではない。

本明細書では、本発明に係る乗員検出装置の一態様として、制御装置１０と、カメラ２０と、ディスプレイ３０とを備える乗員検出装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、画像取得手段と、乗員検出手段と、を備える本発明に係る乗員検出装置の一例として、画像取得機能と、乗員検出機能とを実行する制御装置１０を備える乗員検出装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、画像取得手段と、乗員検出手段と、走行状態判断手段と、天候判断手段と、明度判断手段と、降車判断手段と、報知手段とを備える本発明に係る乗員検出装置の一例として、画像取得機能と、乗員検出機能と、走行状態判断機能と、天候判断機能と、明度判断機能と、降車判断機能とを実行する制御装置と、ディスプレイ３０／スピーカ４０と、カメラ２０とを備える乗員検出装置１００を一例として説明するが、これに限定されるものではない。

１…車室内監視システム
１００…乗員検出装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…カメラ
３０…ディスプレイ
４０…スピーカ
２００…車載装置
５０…車両コントローラ
６０…各種機器
７０…ナビゲーション装置

Claims (10)

1. 車両の車室内を撮像するカメラから車室内の撮像画像を取得する画像取得手段と、
   前記カメラの撮像領域に、車室内の座席に対応する乗員検出領域と、前記乗員検出領域の外側に位置する外縁部領域とを設定し、前記乗員検出領域と前記外縁部領域における特徴をそれぞれ経時的に抽出し、前記乗員検出領域における経時的な特徴と前記外縁部領域における経時的な特徴とを比較し、当該比較の結果に基づいて前記車室内に存在する物体が乗員であるか否かを判断して乗員を検出する乗員検出手段と、を有する乗員検出装置。
2. 前記乗員検出手段は、前記乗員検出領域において特徴が検出された時間帯に、前記外縁部領域において特徴が検出された場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項１に記載の乗員検出装置。
3. 前記乗員検出手段は、前記乗員検出領域において特徴が検出された時間帯に、前記外縁部領域において特徴が検出されなかった場合には、前記検出された物体は乗員であると判断することを特徴とする請求項１又は２に記載の乗員検出装置。
4. 前記乗員検出手段は、前記外縁部領域において特徴が検出された時間帯と、当該時間帯の後に付加される監視期間との間に、前記乗員検出領域において前記特徴が検出された場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項１〜３の何れか一項に記載の乗員検出装置。
5. 前記乗員検出手段は、前記外縁部領域を、前記乗員検出領域に対して前記車両の窓の像が映り込む領域側に設定することを特徴とする請求項１〜４の何れか一項に記載の乗員検出装置。
6. 前記車両から取得した車両情報に基づいて前記車両の走行状態を判断する走行状態判断手段をさらに備え、
   前記乗員検出手段は、前記走行状態判断手段により前記車両が高速道路を含む自動車専用道路を走行していると判断された場合には、前記乗員検出領域から抽出された経時的な特徴と前記外縁部領域から抽出された経時的な特徴とから、予め設定された所定の周波数成分を除去することを特徴とする請求項１〜５の何れか一項に記載の乗員検出装置。
7. 前記乗員検出手段は、前記外縁部領域を、前記乗員検出領域の外縁の前記車両のサイドドア側に設定することを特徴とする請求項１〜６の何れか一項に記載の乗員検出装置。
8. 前記車両から取得した車両情報又は外部から取得した気象情報に基づいて、前記車両の走行地点の天候を判断する天候判断手段をさらに備え、
   前記乗員検出手段は、前記天候判断手段が前記車両の走行地点の天候が雨天であると判断した場合には、前記外縁部領域の設定位置を前記乗員検出領域の前記車両の天井側に配置することを特徴とする請求項１〜７の何れか一項に記載の乗員検出装置。
9. 前記車両から取得した車両情報又は外部から取得した時刻情報に基づいて、前記車両の走行時における明度を判断する明度判断手段をさらに備え、
   前記乗員検出手段は、前記明度判断手段が前記車両の走行時における明度が所定値未満であると判断した場合には、前記外縁部領域の設定位置を前記乗員検出領域の前記車両の天井側に配置することを特徴とする請求項１〜８の何れか一項に記載の乗員検出装置。
10. 前記車両から取得した車両情報に基づいて、前記車両のドライバの降車を判断する降車判断手段と、
    前記降車判断手段により前記ドライバの降車後に前記乗員検出手段により乗員であると判断された物体が車内に存在している場合には、前記ドライバにその旨を報知する報知手段と、をさらに備えることを特徴とする請求項１〜９の何れか一項に記載の乗員検出装置。

Images