JP7391265B2 - 乗員検知装置、乗員検知システム及び乗員検知方法 - Google Patents

Description

本開示は、車内の乗員を検知する乗員検知装置及び乗員検知システムに関する。

居眠り運転の防止、乗員の体調が急変した場合の緊急時の車両退避処理等を行うため、乗員を検知し、乗員の状態に応じて、警告の通知、車両制御等を行う技術が開発されている。従来、車内を撮像する撮像画像を解析して乗員を検知するとともに、乗員の体調の異常又は悪化があれば車両退避処理を行う等、運転者の体調に基づいて車両制御を行っていた（例えば、特許文献１参照）。

国際公開第２０１３／００８２９９号

車内の乗員の検知において、運転席に存在する運転者を検知するとともに、助手席又は後席に存在する同乗者も検知することが求められている。しかしながら、運転者と同乗者とを検知する場合、都度全ての座席に対して乗員検知処理を行うと処理負荷がかかるという課題があった。

本開示は、上述のような課題を解決するためになされたもので、運転者及び同乗者の両方の乗員を検知対象とする乗員検知装置において、乗員検知処理の処理負荷を軽減することを目的とする。

本開示に係る乗員検知装置は、車両の運転席に存在する運転者と、車両の助手席又は後席に存在する同乗者とを撮像範囲に含む撮像装置から、撮像画像を取得する画像取得部と、画像取得部から撮像画像を取得し、撮像画像内の運転者及び同乗者を検知可能な乗員検知部と、乗員検知部の検知対象を、運転者及び同乗者のうちの一方の乗員とするか、運転者及び同乗者の両方の乗員とするかを判定する検知対象判定部と、を備え、乗員検知部は、検知対象判定部により検知対象を一方の乗員とすると判定された場合、撮像画像内の一方の乗員を検知し、検知対象判定部により検知対象を両方の乗員とすると判定された場合、撮像画像内の両方の乗員を検知するものである。

また、本開示に係る乗員検知システムは、車両に搭載され、車両の運転席に存在する運転者と、車両の助手席又は後席に存在する同乗者とを撮像範囲に含む撮像装置と、撮像装置から、撮像画像を取得する画像取得部と、画像取得部から撮像画像を取得し、撮像画像内の運転者及び同乗者を検知可能な乗員検知部と、乗員検知部の検知対象を、運転者及び同乗者のうちの一方の乗員とするか、運転者及び同乗者の両方の乗員とするかを判定する検知対象判定部と、を備え、乗員検知部は、検知対象判定部により検知対象を一方の乗員とすると判定された場合、撮像画像内の一方の乗員を検知し、検知対象判定部により検知対象を両方の乗員とすると判定された場合、撮像画像内の両方の乗員を検知するものである。
また、本開示に係る乗員検知方法は、画像取得部により、車両の運転席に存在する運転者と、車両の助手席又は後席に存在する同乗者とを撮像範囲に含む撮像装置から、撮像画像を取得し、乗員検知部により、画像取得部から撮像画像を取得し、撮像画像内の運転者及び同乗者の少なくともいずれかを検知し、検知対象判定部により、乗員検知部の検知対象を、運転者及び同乗者のうちの一方の乗員とするか、運転者及び同乗者の両方の乗員とするかを判定し、乗員検知部は、検知対象判定部により検知対象を一方の乗員とすると判定された場合、撮像画像内の一方の乗員を検知し、検知対象判定部により検知対象を両方の乗員とすると判定された場合、撮像画像内の両方の乗員を検知するものである。

本開示によれば、運転者及び同乗者の両方の乗員を検知対象とする乗員検知装置において、必要な場合は、運転者又は同乗者のうち一方の乗員のみを検知対象とするため、乗員検知処理の処理負荷を軽減できる。

実施の形態１に係る乗員検知システムの構成例を示すブロック図である。 実施の形態１に係る撮像装置の撮像範囲を示す説明図である。 実施の形態１に係る乗員検知装置の乗員検知例を示す説明図である。 実施の形態１に係る乗員検知装置の乗員検知例を示す説明図である。 実施の形態１に係る乗員検知装置の動作例を示すフローチャートである。 実施の形態１に係る乗員検知装置のハードウェア構成例を示す図である。 実施の形態２に係る乗員検知装置の動作例を示すフローチャートである。 実施の形態３に係る乗員検知システムの構成例を示すブロック図である。 実施の形態３に係る乗員検知装置の動作例を示すフローチャートである。 実施の形態４に係る乗員検知装置の動作例を示すフローチャートである。 実施の形態４に係る乗員検知装置の動作例を示すフローチャートである。

以下、図面に基づいて実施の形態について説明する。

実施の形態１．
図１は、実施の形態１に係る乗員検知システム１００の構成例を示すブロック図である。乗員検知システム１００は、乗員検知装置１０及び撮像装置２０を備えており、乗員検知装置１０及び撮像装置２０は、車両に搭載される。また、乗員検知装置１０は、乗員検知装置１０が搭載された車両における、空調機器、音響機器、ナビゲーション装置、報知部等の車載機器、及びエンジン等を制御する車両側制御装置２００と接続されている。

図２は、実施の形態１に係る撮像装置２０の撮像範囲を示す説明図である。図２Ａは、乗員検知装置１０を搭載した車両３０の内部を側方から見た図であり、図２Ｂは、乗員検知装置１０を搭載した車両３０の内部を上方から見た図である。撮像装置２０は、例えば、広角カメラ、赤外線カメラ等で構成され、車両３０の内部を撮像する。また、撮像装置２０は、撮像装置２０と被写体との距離を反映した画像を撮像可能な、ＴＯＦ（Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）カメラであってもよい。撮像装置２０は、例えば３０～６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の間隔で車両３０の内部を撮像し、撮像した画像（以下、撮像画像という）を乗員検知装置１０が有する画像取得部１に出力する。

図２Ａの例において、撮像装置２０の撮像範囲を領域Ａで示している。撮像装置２０は、少なくとも運転席に存在する運転者４１と、助手席に存在する乗員４２、すなわち同乗者とを撮像範囲に含むように、一台又は複数台、オーバーヘッドコンソール、インストメントパネル、ステアリングコラム、ルームミラー等に配置される。

また、図２Ｂの例において、撮像装置２０の撮像範囲を領域Ｂで示している。図２Ｂに示すように、撮像装置２０は、運転者４１と、例えば後席左側の座席３３に存在する乗員４３等の後席に存在する乗員、すなわち同乗者とを撮像可能なように配置されていてもよい。つまり、撮像装置２０の撮像範囲に、運転席及び助手席に加えて、例えば、後席左側の座席３３、後席中央の座席３４、及び後席右側の座席３５の少なくともいずれかを含んでもよい。以下、乗員検知装置１０の検知対象となる運転者、同乗者をそれぞれ「乗員」と表現する場合がある。

図１に戻り、乗員検知装置１０について説明する。乗員検知装置１０は、撮像装置２０から撮像画像を取得する画像取得部１と、撮像画像内の運転者及び同乗者を検知可能な乗員検知部４と、乗員検知部４の検知対象を、運転者及び同乗者のうちの一方の乗員とするか、運転者及び同乗者の両方の乗員とするかを判定する検知対象判定部３とを備える。

乗員検知装置１０の画像取得部１は、撮像装置２０と接続されており、撮像装置２０から撮像画像を取得する。そして、画像取得部１は、取得した撮像画像を後述する乗員検知部４に出力する。また、図１に示すように、画像取得部１は、次に説明する車両情報取得部２と接続されている。画像取得部１は、車両情報取得部２から、乗員の検知を開始する旨の信号を取得した場合、撮像画像の取得を開始する。一方、画像取得部１は、車両情報取得部２から、乗員の検知を終了する旨の信号を取得した場合、撮像画像の取得を終了する。

乗員検知装置１０は、車両側制御装置２００と接続された車両情報取得部２を有する。車両情報取得部２は、車両側制御装置２００から、車両の始動、停止等に関する信号を取得する。そして、車両側制御装置２００から取得した信号を用いて、画像取得部１に撮像画像の取得を開始させる旨の信号、又は撮像画像の取得を終了させる旨の信号を出力する。

例えば、車両情報取得部２は、車両側制御装置２００から、ドアの開錠、ドアのオープン、イグニッションのＯＮ、人感センサのＯＮ、シフトレバーがドライブの位置に移動、車両速度が０ｋｍ／ｈを超えた、ナビゲーション装置が案内を開始した、及び車両が自宅を出発した等のいずれかの信号を取得した場合、画像取得部１に撮像画像の取得を開始させる旨の信号を出力する。一方、例えば、車両情報取得部２は、車両側制御装置２００から、イグニッションのＯＦＦ、人感センサのＯＦＦ、シフトレバーがパーキングの位置に移動、ナビゲーション装置が案内を終了した、及び車両が自宅へ帰着した等のいずれかの信号を取得した場合、画像取得部１に撮像画像の取得を終了させる旨の信号を出力する。

さらに、車両情報取得部２は、検知対象判定部３と接続されている。本実施の形態における検知対象判定部３は、車両情報取得部２から車両情報を取得し、車両情報を用いて乗員検知部４の検知対象を、一方の乗員とするか、両方の乗員とするかを判定する。

ところで、乗員検知装置１０により、運転者に加えて同乗者を検知すれば、検知された同乗者の体格等に適した座席位置の調整を車両側制御装置２００により行うことが可能になる等、多様な機能を実現できる。その一方で、乗員検知装置１０の検知対象を運転者及び同乗者としたとしても、運転者が眠気を感じており、居眠り運転の危険がある等、運転時において安全への影響が大きい状態にある場合は、即座に精度よく運転者の眠気等の状態を検知するため、運転者の検知処理に処理コストを割くことが好ましい。上述のように、乗員検知装置１０において、運転者と同乗者との両方の乗員を検知すると多様な機能が実現できるが、一方の乗員、すなわち運転者の検知処理に処理コストを割くことが好ましいケースが生じる場合がある。

そのため、本実施の形態における検知対象判定部３は、運転時において安全への影響が小さいと考えられる場合には、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると判定し、運転時において安全への影響が大きいと考えられる場合には、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定する。

例えば、乗員が車両へ乗車してから設定された時間が経過するまでは、運転者の覚醒度、運転への注意度は高いと考えられる。そのため、乗員が車両へ乗り込んでから設定された時間が経過するまでは、運転時において安全への影響が小さいと考えられる。また、例えば、車両側制御装置２００により、同乗者が着座する座席に対して座席位置の調整等を行うには、乗員検知装置１０は同乗者が車両に乗車した時点で同乗者を検知すると好ましい。

一方で、例えば、乗員が車両へ乗車してから設定された時間が経過した場合は、運転者が車両の運転を始めたと考えられ、運転時において安全への影響が大きい状態となる。そこで、検知対象判定部３は、同乗者が車両に乗車した場合、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると判定し、同乗者が車両に乗車してから設定された時間が経過した場合、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定する。

次に、検知対象判定部３が取得する車両情報例と、検知対象判定部３の判定例とについて説明する。検知対象判定部３は、例えば、助手席又は後席のドアが開閉されたことを示す車両情報を取得した場合、同乗者が車両に乗車したとして、運転者及び同乗者を検知対象とすると判定する。そして、検知対象判定部３は、同乗者が車両に乗車し、運転者及び同乗者を検知対象とすると判定した後、設定された時間が経過した場合は、運転者を検知対象とすると判定する。例えば、検知対象判定部３は、運転者及び同乗者を検知対象とすると判定した後、経過時間のカウントを開始する等して、経過時間が設定された時間を超えた場合に、運転者を検知対象とすると判定すればよい。

一方、検知対象判定部３は、助手席又は後席のドアが開閉されたことを示す車両情報を取得しなかった場合、同乗者が車両に乗車していないとして、運転者を検知対象とすると判定する。なお、検知対象判定部３は、助手席のドアが開閉された場合に、運転者に加えて助手席に存在する同乗者を検知対象とすると判定し、後席のドアが開閉された場合に、運転者に加えて後席に存在する同乗者を検知対象とすると判定する等、開閉されたドアに対応する座席に存在する同乗者を検知対象とすると判定するようにしてもよい。また、ドアの開閉とは、ドアが開かれた後に閉められたことを含むだけでなく、閉まっているドアが開かれたこと、又は開いているドアが閉められたことを含むものである。

また、検知対象判定部３による判定処理は上述の例に限らない。例えば、検知対象判定部３は、車室の天井等に設けられた電波センサ（図示せず）から、乗員の存否に関するセンサ情報を取得し、同乗者が車内に存在しない状態から、同乗者が車内に存在する状態に変化した場合に、同乗者が車両に乗車したとして、乗員検知部４の検知対象を運転者及び同乗者とすると判定するようにしてもよい。ここで、乗員の存否に関するセンサ情報とは、電波センサが検知した車内の動体に関する情報である。この場合においても、検知対象判定部３は、運転者及び同乗者を検知対象とすると判定した後に、例えば、設定された時間が経過した場合、運転者を検知対象とすると判定すればよい。

さらに、検知対象判定部３は、同乗者が車両に乗車した場合に、乗員検知部４の検知対象を両方の乗員とすると判定し、運転者及び同乗者の座席への着座が検出された場合に、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定してもよい。この場合、運転者及び同乗者の座席への着座の検出は、例えば、車両に搭載された着座センサ（図示せず）等により行えばよい。運転者及び同乗者の座席への着座が完了した後は、車両の運転が開始される、すなわち運転時において安全への影響が大きくなるため、運転者を検知対象とすると好ましい。そのため、運転者及び同乗者の座席への着座が検出された場合に、乗員検知部４の検知対象を運転者とすれば、運転時において安全への影響が大きい場合に、乗員検知処理の処理負荷を軽減できる。

次に、乗員検知装置１０の乗員検知部４について説明する。乗員検知部４は、撮像画像内に検知領域を設定する検知領域設定部５と、検知領域内において乗員の顔が存在する領域を検出する顔領域検出部６と、乗員の特徴情報を検出する特徴情報検出部７とを有する。以下、乗員検知部４が乗員の顔を検出して乗員検知処理を行う例を挙げて説明する。

乗員検知部４の検知領域設定部５は、画像取得部１が取得した撮像画像内に、次に説明する顔領域検出部６が乗員の顔を検出する検知領域を設定する。図３は、実施の形態１に係る乗員検知装置１０の乗員検知例を示す説明図である。図３には、撮像画像６０内に運転席３１に着座する運転者４１及び助手席３２に着座する同乗者である乗員４２が撮像された例を示している。また、図３中の領域６１、６２はそれぞれ検知領域の一例であり、領域７１、７２はそれぞれ顔領域の一例である。なお、顔領域についての詳細は後述する。

まず、検知領域について説明する。検知領域は、検知対象となる乗員が着座する座席に対応して設定される領域である。運転席３１に対応する検知領域６１は、例えば、運転席３１のヘッドレスト５１を含むよう、撮像画像６０内に設定された矩形状の領域である。検知領域６１の上辺の位置は、運転席３１のヘッドレスト５１の上方側面から車室内の天井側に所定の距離（例えば５ｃｍ程度）離間させた位置に設定される。検知領域６１の右辺の位置は、ヘッドレスト５１の右方側面から右側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。検知領域６１の左辺の位置は、ヘッドレスト５１の左方側面から左側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。検知領域６１の下辺の位置は、ヘッドレスト５１の下方側面から車両下方側に所定の距離（例えば、１５ｃｍ程度）離間させた位置に設定される。

助手席３２に対応する検知領域６２は、例えば、助手席３２のヘッドレスト５２を含むよう、撮像画像６０内に設定された矩形状の領域である。検知領域６２の上辺の位置は、助手席３２のヘッドレスト５２の上方側面から車室内の天井側に所定の距離（例えば５ｃｍ程度）離間させた位置に設定される。検知領域６２の右辺の位置は、ヘッドレスト５２の右方側面から右側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。検知領域６２の左辺の位置は、ヘッドレスト５２の左方側面から左側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。検知領域６２の下辺の位置は、ヘッドレスト５２の下方側面から車両下方側に所定の距離（例えば、１５ｃｍ程度）離間させた位置に設定される。

後席左側の座席３３に対応する検知領域（図示せず）は、例えば、後席左側の座席３３のヘッドレスト５３を含むよう、撮像画像６０内に設定された矩形状の領域である。後席左側の座席３３に対応する検知領域の上辺の位置は、後席左側の座席３３のヘッドレスト５３の上方側面から車室内の天井側に所定の距離（例えば５ｃｍ程度）離間させた位置に設定される。後席左側の座席３３に対応する検知領域の右辺の位置は、ヘッドレスト５３の右方側面から右側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。後席左側の座席３３に対応する検知領域の左辺の位置は、ヘッドレスト５３の左方側面から左側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。後席左側の座席３３に対応する検知領域の下辺の位置は、ヘッドレスト５３の下方側面から車両下方側に所定の距離（例えば、１５ｃｍ程度）離間させた位置に設定される。

後席中央の座席３４に対応する検知領域（図示せず）は、例えば、後席中央の座席３４のヘッドレスト５４を含むよう、撮像画像６０内に設定された矩形状の領域である。後席中央の座席３４に対応する検知領域の上辺の位置は、後席中央の座席３４のヘッドレスト５４の上方側面から車室内の天井側に所定の距離（例えば５ｃｍ程度）離間させた位置に設定される。後席中央の座席３４に対応する検知領域の右辺の位置は、ヘッドレスト５４の右方側面から右側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。後席中央の座席３４に対応する検知領域の左辺の位置は、ヘッドレスト５４の左方側面から左側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。後席中央の座席３４に対応する検知領域の下辺の位置は、ヘッドレスト５４の下方側面から車両下方側に所定の距離（例えば、１５ｃｍ程度）離間させた位置に設定される。

後席右側の座席３５に対応する検知領域（図示せず）は、例えば、後席右側の座席３５のヘッドレスト５５を含むよう、撮像画像６０内に設定された矩形状の領域である。後席右側の座席３５に対応する検知領域の上辺の位置は、後席右側の座席３５のヘッドレスト５５の上方側面から車室内の天井側に所定の距離（例えば５ｃｍ程度）離間させた位置に設定される。後席右側の座席３５に対応する検知領域の右辺の位置は、ヘッドレスト５５の右方側面から右側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。後席右側の座席３５に対応する検知領域の左辺の位置は、ヘッドレスト５５の左方側面から左側に所定の距離（例えば、１０ｃｍ程度）離間させた位置に設定される。後席右側の座席３５に対応する検知領域の下辺の位置は、ヘッドレスト５５の下方側面から車両下方側に所定の距離（例えば、１５ｃｍ程度）離間させた位置に設定される。

ここで、各座席に対応して設定された各検知領域における寸法は、それぞれ異なる検知領域と重畳しないように適宜設定されると好ましい。さらに、乗員検知部４が運転者を検知する場合は、運転席３１に対応する検知領域を設定し、乗員検知部４が運転者及び同乗者を検知する場合は、撮像画像全体等、運転者及び同乗者を含むよう検知領域を設定してもよい。また、上述した検知領域の設定は一例であり、対応する座席に存在する乗員を検知可能な設定であれば適宜適用可能である。なお、上述の検知領域の寸法例は、撮像画像における寸法例でなく、車内における実測値による寸法例を示している。

そして、乗員検知部４は、検知対象判定部３により検知対象を運転者及び同乗者のうちの一方の乗員とすると判定された場合、後述の乗員検知処理により、一方の乗員を検知し、検知対象判定部により検知対象を運転者及び同乗者の両方の乗員とすると判定された場合、乗員検知処理により、両方の乗員を検知する。

つまり、乗員検知部４の検知領域設定部５は、検知対象判定部３により検知対象を一方の乗員とすると判定された場合、検知領域を、運転席３１又は同乗者が存在する座席のいずれかに対して設定する。また、検知領域設定部５は、検知対象判定部３により検知対象を両方の乗員とすると判定された場合、検知領域を、運転席３１及び同乗者が存在する座席に対して設定する。そして、検知領域が設定された座席に対しては、次に説明する乗員検知処理が行われ、検知領域が設定されていない座席に対しては、乗員検知処理が行われないため、一方の乗員に対して乗員検知処理を行う場合は、両方の乗員に対して乗員検知処理を行う場合に比して、処理負荷を軽減できる。

図４は、実施の形態１に係る乗員検知装置１０の乗員検知例を示す説明図である。図４には、運転者４１に対して乗員検知処理を行う例を示している。顔領域検出部６は、撮像画像の解析を行い、検知領域６１内において、運転者４１、すなわち乗員の顔が存在する領域である顔領域７１を検出する。まず、顔領域検出部６は、例えば、検知領域６１内におけるコントラスト比から、乗員の顔が存在する領域を抽出する。

そして、顔領域検出部６は、乗員の顔が存在する領域を含むように、例えば矩形等の領域を設定し、顔領域７１として検出する。さらに、顔領域検出部６は、顔領域７１の位置情報を取得し、乗員検知装置１０の記憶部（図示せず）に出力する。ここで、顔領域７１の位置情報とは、例えば顔領域７１が矩形である場合、検知領域６１における特定の点（例えば、図４Ａに示す点Ｏ）に対する顔領域７１の各頂点の座標、顔領域７１の幅、高さ、及び大きさ等である。

特徴情報検出部７の特徴点の抽出処理について説明する。特徴情報検出部７は、画像取得部１から撮像画像を取得し、顔領域に含まれる顔パーツを抽出する。特徴情報検出部７は、画像取得部１が取得した撮像画像から、乗員の身体の器官に関する特徴点を抽出し、乗員の特徴情報を検出する。特徴情報検出部７による特徴点の抽出処理は、公知の種々のアルゴリズムを用いることができるものであり、これらのアルゴリズムの詳細な説明は省略する。例えば、特徴情報検出部７は、乗員の顔に関する特徴点を抽出する場合、複数個の顔パーツ（例えば、左目８１、右目８２、鼻８３、口８４等）の各々に対応する複数個の特徴点を抽出する処理を実行する。

特徴情報検出部７は、例えば、左目８１及び右目８２に関して、両目尻、両目頭、両上瞼、及び両下瞼等の、顔パーツの特徴点の撮像画像内における位置情報を取得する。また、特徴情報検出部７は、例えば、鼻８３に関して、鼻根、鼻尖、鼻背、及び鼻翼等の、顔パーツの特徴点の撮像画像内における位置情報を取得する。さらに、特徴情報検出部７は、例えば、口８４に関して、上唇、下唇、及び口角等の、顔パーツの特徴点の撮像画像内における位置情報を取得する。

なお、特徴情報検出部７が取得する各顔パーツの特徴点の位置情報は、図４Ａに示す、検知領域内の特定の位置Ｏを始点とした座標、又は検知領域における中心等の特定の位置を始点とした座標を示す情報である。また、特徴情報検出部７が抽出した特徴点に関する位置情報は、乗員検知装置１０の記憶部に記録されてもよい。

そして、特徴情報検出部７は、抽出した特徴点から、乗員の特徴量を算出する。ここで、乗員の特徴量とは、具体的には、例えば、乗員の開眼度、開口度等、乗員の状態を示す情報、左目８１と右目８２との距離、乗員の顔における鼻８３の位置といった、乗員の特徴点間の位置関係を示す情報等である。また、特徴情報検出部７による特徴量の算出についても、公知の種々のアルゴリズムを用いることができる。なお、特徴情報検出部７が算出した特徴量についても、乗員検知装置１０の記憶部に記録されてもよい。以下、特徴情報検出部７が抽出した特徴点の位置情報、特徴情報検出部７が算出した特徴量をまとめて、特徴情報という。

なお、乗員検知部４により撮像画像内の乗員の顔パーツを抽出して乗員検知処理を行う例について説明したが、上述の乗員検知処理は一例であり、乗員検知部４により、撮像画像内の乗員の関節等、骨格点を抽出して乗員検知処理を行ってもよい。撮像画像内の乗員の骨格点を用いて乗員検知処理を行う場合は、特徴情報検出部７により、検知領域内における乗員の骨格点を特徴点として抽出し、抽出した特徴点から関節間の距離又は肩幅等の特徴量を算出すればよい。

そして、乗員検知部４により、撮像画像内における乗員の骨格点を抽出する場合においても、一方の乗員を検知対象とする場合は、一方の乗員が存在する座席に対して設定された検知領域内で乗員の骨格点を抽出し、両方の乗員を検知対象とする場合は、運転席３１及び同乗者が存在する座席に対して設定された検知領域内で、乗員の骨格点を抽出すればよい。

さらに、乗員検知装置１０は、乗員認証部１１、属性推定部１２を備え、乗員検知結果を用いて乗員認証処理、属性推定処理を行うようにしてもよい。この場合、乗員の顔領域の位置情報、特徴情報等の、乗員検知部４による乗員検知結果は、乗員認証部１１、属性推定部１２の少なくともいずれかに出力される。乗員認証部１１は、乗員検知部４の乗員検知結果を用いて、乗員検知部４により検知された乗員を認証する。乗員認証部１１は、例えば、記憶部に格納された特徴情報と特定の個人とが紐づけられた認証データと、乗員検知部４により検知された乗員の特徴情報とを照合し、乗員の認証を行う。なお、乗員認証部１１による認証結果は、車両側制御装置２００に出力されてもよい。また、乗員認証部１１による乗員認証処理は、公知の種々のアルゴリズムを用いることができるものであり、上述の例に限らない。

また、属性推定部１２は、乗員検知部４の乗員検知結果を用いて、乗員検知部４により検知された乗員が大人であるか乳幼児であるか等を反映した年齢情報、性別、及び着座位置等の属性を推定する。属性推定部１２は、例えば、乗員の顔領域の位置と大きさ、乗員の肩幅等の特徴情報を用いて、乗員検知部４により検知された乗員の年齢情報、性別、及び着座位置等の属性を推定する。また、属性推定部１２による属性推定処理は、公知の種々のアルゴリズムを用いることができるものであり、上述の例に限らない。

さらに、乗員検知装置１０に状態推定部（図示せず）を備え、乗員検知結果を用いて状態推定処理を行うようにしてもよい。この場合、乗員の顔領域の位置情報、特徴情報等の、乗員検知部４による乗員検知結果は、状態推定部に出力される。そして、状態推定部は、乗員検知部４の乗員検知結果を用いて、乗員検知部４により検知された乗員の状態を推定する。ここで、乗員の状態とは、例えば、乗員の眠気の状態、運転に対する注意力の状態等である。状態推定部は、例えば、乗員の開眼度、乗員の視線方向等の特徴情報を用いて、乗員の状態を推定する。また、状態推定部による状態推定処理は、公知の種々のアルゴリズムを用いることができるものであり、上述の例に限らない。

なお、乗員認証部１１による認証結果、属性推定部１２による属性推定結果、及び状態推定部による状態推定結果は、車両側制御装置２００に出力されてもよい。例えば、車両側制御装置２００の座席位置調整部（図示せず）により、乗員認証部１１の認証結果を用いて座席位置を調整すれば、特定の個人に対して予め設定された位置等に座席位置を調整することできる。また、例えば、属性推定部１２の属性推定結果から、車内の乗員に乳幼児が含まれていることが示された場合、車両側制御装置２００の報知部（図示せず）の幼児置き去り報知機能をＯＮにする等すれば、幼児置き去りの防止が可能になる。さらに、車両側制御装置２００は、状態推定部による乗員の状態推定結果から、乗員が眠気を感じていることが示された場合に、眠気を解消するように空調機器を制御する、乗員に警告を発するよう報知部を制御する等して、居眠り運転を防止してもよい。

以下、乗員検知装置１０の動作について説明する。図５は、実施の形態１に係る乗員検知装置１０の動作例を示すフローチャートである。乗員検知装置１０は、例えば、車両情報取得部２が、車両側制御装置２００から、車両のいずれかのドアが開かれた旨を示す信号、車両のエンジンが始動した旨を示す信号を取得した場合、乗員検知処理の動作を開始する。また、図５のフローチャートには、乗員検知装置１０の動作を終了する処理が示されていないが、乗員検知装置１０は、例えば、車両情報取得部２が、車両側制御装置２００から車両のエンジンが停止した旨を示す信号を取得した場合、乗員検知処理の動作を終了する。

まず、乗員検知装置１０の動作が開始した後、乗員検知装置１０の車両情報取得部２は、車両側制御装置２００から車両情報を取得する（ＳＴ１０１）。そして、検知対象判定部３は、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかを判定する（ＳＴ１０２）。以下に説明する例では、一方の乗員とは運転者であり、両方の乗員とは運転者及び同乗者である。さらに、以下の説明では、検知対象判定部３が、助手席又は後席のドアが開閉されたか否かに基づき、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかを判定する例を挙げて説明する。

まず、検知対象判定部３は、車両情報取得部２から、車両のドアの開閉に関する車両情報を取得し、助手席又は後席のドアが開閉されたか否かを確認する。そして、検知対象判定部３は、取得した車両情報から助手席又は後席のドアが開閉されていないことが確認された場合、乗員検知部４の検知対象を運転者とすると判定する（ＳＴ１０２；ＹＥＳ）。そして、検知対象判定部３は、乗員検知部４の検知対象を運転者とすることを示す判定結果を乗員検知部４に出力し、一方の乗員、すなわち運転者を検知対象に決定する（ＳＴ１０３）。

乗員検知部４は、検知対象判定部３から、検知対象を運転者とすることを示す判定結果を取得した場合、運転者を検知対象として、乗員検知処理を行う。まず、画像取得部１は撮像装置２０から撮像画像を取得する（ＳＴ１０４）。そして、乗員検知部４の検知領域設定部５は、撮像画像内に、運転席に対応する領域に検知領域を設定する（ＳＴ１０５）。以下、運転席に対応する領域に設定された領域を第１検知領域という。

そして、乗員検知部４の顔領域検出部６は、第１検知領域において、乗員の顔が存在する領域、すなわち運転者の顔が存在する顔領域を検出する（ＳＴ１０６）。さらに、乗員検知部４の特徴情報検出部７は、顔領域が検出された乗員、すなわち運転者に対して特徴情報検出処理を行い、運転者の特徴情報を検出する（ＳＴ１０７）。なお、特徴情報検出処理により得られた運転者の特徴情報は、乗員認証部１１、属性推定部１２、及び状態推定部の少なくともいずれかに出力されてもよい。そして、乗員検知装置１０の動作は、ＳＴ１０１の処理に進む。

一方、検知対象判定部３は、取得した車両情報から助手席又は後席のドアが開閉されたことが確認された場合、乗員検知部４の検知対象を運転者及び同乗者とすると判定する（ＳＴ１０２；ＮＯ）。そして、検知対象判定部３は、乗員検知部４の検知対象を運転者及び同乗者とすることを示す判定結果を乗員検知部４に出力し、両方の乗員、すなわち運転者及び同乗者を検知対象に決定する（ＳＴ１０８）。

乗員検知部４は、検知対象判定部３から、検知対象を運転者及び同乗者とすることを示す判定結果を取得した場合、運転者及び同乗者を検知対象として、乗員検知処理を行う。まず、画像取得部１は撮像装置２０から撮像画像を取得する（ＳＴ１０９）。そして、乗員検知部４の検知領域設定部５は、撮像画像内に、第１検知領域を設定するとともに、同乗者が存在する座席に対応する領域に、検知領域を設定する（ＳＴ１１０）。以下、同乗者が存在する座席に対応する領域に設定された検知領域を第２検知領域という。

なお、第２検知領域は、助手席及び後席のそれぞれに対して設定されてもよい。また、同乗者が存在する座席に対応する領域に第２検知領域を設定する場合、助手席のドアが開閉されれば、助手席に対応する領域に第２検知領域を設定すればよい。同様に、後席左側のドアが開閉されれば、後席左側の座席に対応する領域に第２検知領域を設定すればよく、また、後席右側のドアが開閉されれば、後席右側の座席に対応する領域に第２検知領域を設定すればよい。そして、後席中央の座席に対応する領域に関しては、例えば、後席左側のドア又は後席右側のドアのいずれかが開閉された場合に、第２検知領域を設定すればよい。

そして、乗員検知部４の顔領域検出部６は、設定された第１検知領域及び第２検知領域において、乗員の顔が存在する顔領域、すなわち運転者及び同乗者の顔が存在する顔領域を検出する（ＳＴ１１１）。さらに、乗員検知部４の特徴情報検出部７は、顔領域が検出された乗員、すなわち運転者及び同乗者に対して特徴情報検出処理を行い、運転者及び同乗者の特徴情報を検出する（ＳＴ１１２）。なお、特徴情報検出処理により得られた運転者及び同乗者の特徴情報は、乗員認証部１１、属性推定部１２、及び状態推定部の少なくともいずれかに出力されてもよい。

次に、検知対象判定部３は、乗員検知部４の検知対象を運転者及び同乗者とすると判定してから経過した時間（以下、経過時間という）を算出し、経過時間が設定された時間を超えたか否かを判定する（ＳＴ１１３）。検知対象判定部３は、経過時間が設定された時間を超えた場合（ＳＴ１１３；ＹＥＳ）、乗員検知部４の検知対象を運転者とすると判定し、乗員検知部４に判定結果を出力する。そして、乗員検知装置１０の動作は、ＳＴ１０３の処理に進む。

一方、検知対象判定部３は、経過時間が設定された時間以下である場合（ＳＴ１１３；ＮＯ）、乗員検知部４の検知対象を運転者及び同乗者とすると判定し、乗員検知装置１０の動作は、ＳＴ１０８の処理に進む。

なお、上述したＳＴ１０１～ＳＴ１１３の処理は、乗員検知装置１０の動作が終了するまで繰り返される。ここで、乗員検知部４の検知対象は、検知対象判定部３による、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかの判定結果に応じて随時変化する。例えば、ＳＴ１０２の処理で検知対象判定部３により検知対象を運転者及び同乗者とすると判定され、ＳＴ１０９～ＳＴ１１２の処理で、乗員検知部４が運転者及び同乗者を検知した後に、ＳＴ１１３の処理で検知対象判定部３により検知対象を一方の乗員、すなわち運転者とすると判定された場合は、ＳＴ１０４～ＳＴ１０７の処理で乗員検知部４は、一方の乗員と異なる他方の乗員である同乗者を検知対象から除き、運転者を検知する。

一方、例えば、ＳＴ１０２の処理で検知対象判定部３により検知対象を運転者とすると判定され、ＳＴ１０４～ＳＴ１０７の処理で、乗員検知部４が運転者を検知した後に、再度のＳＴ１０２の処理で、検知対象判定部３により検知対象を運転者及び同乗者とすると判定された場合は、乗員検知部４は、一方の乗員である運転者に加え、一方の乗員と異なる他方の乗員である同乗者を検知対象とする。このように、乗員検知部４の検知対象が随時変化するため、乗員検知装置１０が動作中であっても処理負荷を調整できる。

また、検知対象を両方の乗員、すなわち運転者及び同乗者とした後に、乗員検知部４により同乗者が検知されなかった場合、検知対象を一方の乗員、すなわち運転者とするようにしてもよい。このようにすると、同乗者が車内に存在しないにもかかわらず、同乗者に対して乗員検知処理が行われることを抑制して処理負荷を軽減できる。

次に、乗員検知装置１０の機能を実現するハードウェア構成について説明する。図６は、実施の形態１に係る乗員検知装置１０のハードウェア構成例を示す図である。乗員検知装置１０における画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部の機能は、処理回路によって実現される。すなわち、乗員検知装置１０の、画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部は、図６Ａに示すように専用のハードウェアである処理回路１０ａであってもよいし、図６Ｂに示すようにメモリ１０ｃに格納されているプログラムを実行するプロセッサ１０ｂであってもよい。

図６Ａに示すように、画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部が専用のハードウェアである場合、処理回路１０ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、又はこれらを組み合わせたものが該当する。画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図６Ｂに示すように、画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部がプロセッサ１０ｂである場合、各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０ｃに格納される。プロセッサ１０ｂは、メモリ１０ｃに記憶されたプログラムを読み出して実行することにより、画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部の各機能を実現する。すなわち、画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部は、プロセッサ１０ｂにより実行されるときに、図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１０ｃを備える。また、これらのプログラムは、画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部の手順又は方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１０ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Digital Signal Processor）等のことである。メモリ１０ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

なお、画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、乗員検知装置１０における処理回路１０ａは、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。また、画像取得部１、車両情報取得部２、検知対象判定部３、乗員検知部４、検知領域設定部５、顔領域検出部６、特徴情報検出部７、乗員認証部１１、属性推定部１２、状態推定部、及び記憶部の少なくとも一部の機能を、外部サーバに実行させてもよい。

このように、乗員検知装置１０に、車両の運転席に存在する運転者と、助手席又は後席に存在する同乗者とを撮像範囲に含む撮像装置２０から、撮像画像を取得する画像取得部１と、画像取得部１から撮像画像を取得し、撮像画像内の運転者及び同乗者を検知可能な乗員検知部４と、乗員検知部４の検知対象を、運転者及び同乗者のうち、一方の乗員とするか、両方の乗員とするかを判定する検知対象判定部３と、を備え、乗員検知部４は、検知対象判定部３により検知対象を一方の乗員とすると判定された場合、一方の乗員を検知し、検知対象判定部３により検知対象を両方の乗員とすると判定された場合、両方の乗員を検知するものであると、運転者及び同乗者を検知する乗員検知装置１０において、必要な場合に、運転者及び同乗者のうち一方の乗員を検知するため、乗員検知処理の処理負荷を軽減できる。

なお、本実施の形態において、乗員検知装置１０の動作例について、乗員検知装置１０がＳＴ１０６及びＳＴ１１１の処理で乗員の顔領域を検出する例を挙げて説明したが、特徴情報検出部７が乗員の顔パーツを抽出する処理を行わない場合、ＳＴ１０６及びＳＴ１１１の処理は省略可能である。

また、本実施の形態において、検知対象判定部３は、同乗者が車両に乗車した場合、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると判定し、同乗者が車両に乗車してから設定された時間が経過した場合、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定する例を挙げて説明したが、検知対象判定部３の判定例は上述の例に限らない。同乗者が車両に乗車する際には、少なくとも運転者は車両に乗車する。そのため、検知対象判定部３は、車両側制御装置２００から、運転者が車両に乗車したことを示す信号を取得した場合に乗員検知部４の検知対象を両方の乗員とすると判定するようにしてもよい。すなわち、検知対象判定部３は、運転者が車両に乗車した場合、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると判定し、運転者が車両に乗車してから設定された時間が経過した場合、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定してもよい。

さらに、検知対象判定部３は、乗員が車両に乗車した場合、乗員検知部４の検知対象を両方の乗員とすると判定し、乗員認証部１１によって同乗者の認証処理が行われたことを示す信号を取得した場合に、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定してもよい。また、検知対象判定部３は、乗員が車両に乗車した場合、乗員検知部４の検知対象を両方の乗員とすると判定し、属性推定部１２による同乗者の属性推定処理が行われたことを示す信号を取得した場合に、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定してもよい。さらに、乗員が車両に乗車した場合、検知対象判定部３は、乗員検知部４の検知対象を両方の乗員とすると判定し、状態推定部による同乗者の状態推定処理が行われたことを示す信号を取得した場合に、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定してもよい。

例えば、属性推定部１２により同乗者の属性を推定し、推定結果を用いて同乗者の体格等に適した座席位置の調整を行う場合、一度、同乗者の属性推定処理に成功しさえすれば、常に同乗者の属性推定処理を行うことは不要である。そのため、同乗者の認証処理、属性推定処理、又は状態推定処理が行われた後、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすれば、常に同乗者の認証処理、属性推定処理、又は状態推定処理を行う場合に比して処理負荷を低減できる。

また、本実施の形態において、両方の乗員が車両に乗車し、乗員検知部４が両方の乗員を検知した後、運転者及び同乗者のうち一方の乗員が車両から降車した場合、検知対象判定部３は、乗員検知部４の検知対象を運転者及び同乗者のうち他方の乗員とすると判定してもよい。例えば、検知対象判定部３により、運転者及び同乗者が乗車した車両において、運転席に対応するドアが開閉したことを示す信号を車両側制御装置２００から取得した場合に、乗員検知部４の検知対象を同乗者とすると判定すればよい。このようにすると、車両に存在する乗員が、運転者及び同乗者のうち一方の乗員のみであるにもかかわらず、両方の乗員に対して乗員検知処理を行うことを抑制でき、乗員検知処理の処理負荷を軽減できる。

実施の形態２．
実施の形態２に係る乗員検知装置１０は、実施の形態１と同様に、撮像画像を取得する画像取得部１と、撮像画像内の運転者及び同乗者を検知可能な乗員検知部４と、乗員検知部４の検知対象を、運転者及び同乗者のうちの一方の乗員とするか、運転者及び同乗者の両方の乗員とするかを判定する検知対象判定部３とを備える。本実施の形態では、車両が走行している場合には一方の乗員を検知対象とし、車両が停止している場合には両方の乗員を検知対象とする点が、実施の形態１と異なる。実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。

車両の走行時において、居眠り運転の防止、緊急時の車両退避処理等の走行支援機能を実現するために、運転者の状態の変化を即座に検出する必要がある。そのため、車両の走行時には、運転者の検知処理に処理コストを割くことが求められる。そこで、本実施の形態の検知対象判定部３は、車両が走行している場合には、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定し、車両が停止している場合には、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者をとすると判定する。

検知対象判定部３は、車両情報取得部２から車両の走行状況に関する走行情報を取得し、走行情報を用いて、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかを判定する。ここで、検知対象判定部３が取得する車両の走行状況に関する走行情報とは、車両情報取得部２が車両側制御装置２００から取得した車両情報のうち、例えば、シフトレバーの位置、車両速度、ナビゲーション装置の案内情報等である。検知対象判定部３は、例えば、シフトレバーがドライブの位置にある場合、車両速度が設定された閾値（例えば、０ｋｍ／ｈ）を超えた場合、ナビゲーション装置が目的地までの道のりを案内している場合、車両が走行中であるとし、乗員検知部４の検知対象を運転者とすると判定する。一方、検知対象判定部３は、例えば、シフトレバーがパーキングの位置にある場合、車両速度が設定された閾値（例えば、０ｋｍ／ｈ）以下である場合、ナビゲーション装置が案内を終了した場合、車両が停車中であるとし、乗員検知部４の検知対象を運転者及び同乗者とすると判定する。

ところで、自動運転走行が可能な車両において、例えば、運転者が突発的に意識を失う等して、緊急時の車両退避処理を行う場合、車両が自動運転走行中であれば、車両がただちに走行不能になる可能性は低い。そのため、車両が自動運転走行中であれば、運転者の状態の変化を即座に検出せずとも重大な事故に繋がらない。また、自動運転走行中に、運転者に加えて同乗者を検知し、乗員の体格等に適した座席位置の調整等、多様な機能を実現すれば、快適な車内環境を提供できる。一方で、手動運転走行中である場合には、運転者が突発的に意識を失う等すれば、運転者による車両の運転制御が不可能になる可能性が高い。したがって、事故の発生を防止すべく、緊急時の車両退避処理等の走行支援機能を実現するためには、運転者の状態の変化を即座に検出する必要があり、手動運転走行中には乗員検知処理の処理負荷を軽減することが好ましい。

そのため、検知対象判定部３は、車両情報取得部２から、車両の走行状況に関する走行情報として、車両が自動運転走行中であるか、手動運転走行中であるかを示す情報を取得し、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするか判定してもよい。この場合、検知対象判定部３は、車両情報取得部２から、車両が手動運転走行中であることを示す走行情報を取得した場合、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定し、車両が自動運転走行中であることを示す走行情報を取得した場合、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると判定すればよい。このようにすると、上述したように、運転者の状態の変化を即座に検出する必要がある手動走行運転中には、乗員検知処理の処理負荷を軽減できる。

そして、乗員検知部４は、検知対象判定部３による判定結果を用いて、運転者の検知、又は運転者及び同乗者の検知を行う。次に、乗員検知装置１０の動作について説明する。図７は、実施の形態２に係る乗員検知装置１０の動作例を示すフローチャートである。乗員検知装置１０は、例えば、車両情報取得部２が、車両側制御装置２００から、車両のいずれかのドアが開かれた旨を示す信号、車両のエンジンが始動した旨を示す信号を取得した場合、乗員検知処理の動作を開始する。また、図７のフローチャートには、乗員検知装置１０の動作を終了する処理が示されていないが、乗員検知装置１０は、例えば、車両情報取得部２が、車両側制御装置２００から車両のエンジンが停止した旨を示す信号を取得した場合、乗員検知処理の動作を終了する。

まず、乗員検知装置１０の動作が開始した後、乗員検知装置１０の車両情報取得部２は、車両側制御装置２００から、走行情報を取得する（ＳＴ２０１）。そして、検知対象判定部３は、走行情報を用いて、乗員検知部４の検知対象を運転者とするか運転者及び同乗者とするかを判定する（ＳＴ２０２）。

検知対象判定部３は、車両情報取得部２から、車両の走行状況に関する走行情報を取得し、車両が走行中であるか否かを確認する（ＳＴ１０２）。例えば、検知対象判定部３は、走行情報から車両速度が０ｋｍ／ｈを超えたことが示された場合、車両が走行中であるとし、走行情報から車両速度が０ｋｍ／ｈであることが示された場合、車両が停車中であるとする。検知対象判定部３は、走行情報から車両が走行中であることが確認された場合、乗員検知部４の検知対象を運転者とすると判定する（ＳＴ２０２；ＹＥＳ）。そして、検知対象判定部３は、乗員検知部４の検知対象を運転者とすることを示す判定結果を乗員検知部４に出力し、一方の乗員、すなわち運転者を検知対象に決定する（ＳＴ２０３）。

乗員検知部４は、検知対象判定部３から、検知対象を運転者とすることを示す判定結果を取得した場合、運転者を検知対象として、乗員検知処理を行う。まず、画像取得部１は撮像装置２０から撮像画像を取得する（ＳＴ２０４）。そして、乗員検知部４の検知領域設定部５は、撮像画像内に第１検知領域を設定する（ＳＴ２０５）。次に、乗員検知部４の顔領域検出部６は、第１検知領域において、乗員の顔が存在する領域、すなわち運転者の顔が存在する顔領域を検出する（ＳＴ２０６）。さらに、乗員検知部４の特徴情報検出部７は、顔領域が検出された乗員、すなわち運転者に対して特徴情報検出処理を行い、運転者の特徴情報を検出する（ＳＴ２０７）。なお、特徴情報検出処理により得られた運転者の特徴情報は、乗員認証部１１、属性推定部１２、及び状態推定部の少なくともいずれかに出力されてもよい。そして、乗員検知装置１０の動作は、ＳＴ２０１の処理に進む。

一方、検知対象判定部３は、車両情報から車両が停車中であることが確認された場合、乗員検知部４の検知対象を運転者及び同乗者とすると判定する（ＳＴ２０２；ＮＯ）。そして、検知対象判定部３は、乗員検知部４の検知対象を運転者及び同乗者とすることを示す判定結果を乗員検知部４に出力し、両方の乗員、すなわち運転者及び同乗者を検知対象に決定する（ＳＴ２０８）。

乗員検知部４は、検知対象判定部３から、検知対象を運転者及び同乗者とすることを示す判定結果を取得した場合、運転者及び同乗者を検知対象として、乗員検知処理を行う。まず、画像取得部１は撮像装置２０から撮像画像を取得する（ＳＴ２０９）。そして、乗員検知部４の検知領域設定部５は、撮像画像内に、第１検知領域及び第２検知領域を設定する（ＳＴ２１０）。

そして、乗員検知部４の顔領域検出部６は、設定された第１検知領域及び第２検知領域において、乗員の顔が存在する領域、すなわち運転者及び同乗者の顔が存在する顔領域を検出する（ＳＴ２１１）。さらに、乗員検知部４の特徴情報検出部７は、顔領域が検出された乗員、すなわち運転者及び同乗者に対して特徴情報検出処理を行い、運転者及び同乗者の特徴情報を検出する（ＳＴ２１２）。そして、乗員検知装置１０の動作は、ＳＴ２０１の処理に進む。なお、特徴情報検出処理により得られた運転者及び同乗者の特徴情報は、乗員認証部１１、属性推定部１２、及び状態推定部の少なくともいずれかに出力されてもよい。

なお、上述したＳＴ２０１～ＳＴ２１２の処理は、乗員検知装置１０の動作が終了するまで繰り返される。ここで、乗員検知部４の検知対象は、検知対象判定部３による、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかの判定結果に応じて随時変化する。例えば、ＳＴ２０２の処理で検知対象判定部３により検知対象を運転者及び同乗者とすると判定され、ＳＴ２０９～ＳＴ２１２の処理で、乗員検知部４が運転者及び同乗者を検知した後に、ＳＴ２１１の処理で検知対象判定部３により検知対象を一方の乗員、すなわち運転者とすると判定された場合は、ＳＴ２０４～ＳＴ２０７の処理で乗員検知部４は、一方の乗員と異なる他方の乗員である同乗者を検知対象から除き、運転者を検知する。

一方、例えば、ＳＴ２０２の処理で検知対象判定部３により検知対象を運転者とすると判定され、ＳＴ２０４～ＳＴ２０７の処理で、乗員検知部４が運転者を検知した後に、再度のＳＴ２０２の処理で、検知対象判定部３により検知対象を運転者及び同乗者とすると判定された場合は、乗員検知部４は、一方の乗員である運転者に加え、一方の乗員と異なる他方の乗員である同乗者を検知対象とする。このように、乗員検知部４の検知対象が随時変化するため、乗員検知装置１０が動作中であっても処理負荷を調整できる。

また、検知対象を両方の乗員、すなわち運転者及び同乗者とした後に、乗員検知部４により同乗者が検知されなかった場合、検知対象を一方の乗員、すなわち運転者とするようにしてもよい。このようにすると、同乗者が車内に存在しないにもかかわらず、同乗者に対して乗員検知処理が行われることを抑制して処理負荷を軽減できる。

このように、運転者及び同乗者を検知対象とする乗員検知装置１０について、運転時において安全への影響が大きい車両の走行時には、運転者及び同乗者のうち、一方の乗員、すなわち運転者を乗員検知部４の検知対象とするため、乗員検知処理の処理負荷を軽減できる。

なお、本実施の形態において、乗員検知装置１０の動作例について、乗員検知装置１０がＳＴ２０６及びＳＴ２１１の処理で乗員の顔領域を検出する例を挙げて説明したが、特徴情報検出部７が乗員の顔パーツを抽出する処理を行わない場合、ＳＴ２０６及びＳＴ２１１の処理は省略可能である。

また、本実施の形態において、運転者及び同乗者を検知対象とする乗員検知装置１０について、運転時において安全への影響が大きい車両の走行時に、運転者及び同乗者のうち、運転者を乗員検知部４の検知対象とする例について動作例を用いて説明したが、乗員検知装置１０の動作例は上述の例に限らない。例えば、乗員検知装置１０は、車両が走行している場合、運転者及び同乗者の両方の乗員を乗員検知部４の検知対象とし、車両が停車している場合、運転者及び同乗者のうち、一方の乗員である同乗者を乗員検知部４の検知対象としてもよい。このようにすると、例えば、同乗者に対して認証処理を行う場合等、処理コストを割く必要がある処理を行う場合に、運転時において安全への影響が小さい車両の停止時に、処理コストを割く必要がある処理を完了させることができるため、乗員検知処理の処理負荷を軽減できる。

なお、本実施の形態において、検知対象判定部３が、車両情報取得部２から、車両が自動運転走行中であることを示す走行情報を取得した場合、乗員検知部４の検知対象を両方の乗員とすると判定し、車両が手動運転中であることを示す走行情報を取得した場合、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定する例について説明したが、上述の例に限定しない。例えば、検知対象判定部３は、車両情報取得部２から、走行情報として、自動運転レベルを取得し、自動運転レベルを用いて、乗員検知部４の検知対象を両方の乗員とするか、一方の乗員とするか判定してもよい。この場合、検知対象判定部３は、自動運転レベルが設定された閾値以上である場合には、車両が自動運転走行中であるとして、乗員検知部４の検知対象を両方の乗員とすると判定すればよい。一方。検知対象判定部３は、自動運転レベルが設定された閾値未満である場合には、車両が手動運転走行中であるとして、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定すればよい。このように、自動運転走行中であるとは、完全に自動運転走行が行われている場合に限らない。また、手動運転走行中であるとは、完全に手動運転走行が行われている場合に限らない。

また、本実施の形態において、実施の形態１と同様に、乗員検知装置１０は、運転者又は同乗者が車両に乗車した場合に、運転者及び同乗者を検知対象として乗員検知処理を行い、運転者又は同乗者が車両に乗車してから設定された時間が経過した場合等に、運転者を検知対象として乗員検知処理を行ってもよい。例えば、乗員検知装置１０における処理動作は、図５を用いて説明したＳＴ１０１～ＳＴ１１３の処理と、図７を用いて説明したＳＴ２０１～ＳＴ２１２の処理とを組み合わせたものであってもよい。この場合、ＳＴ１０２とＳＴ２０２の判定結果のいずれを優先させるかは任意であり、例えば、ＳＴ１０２とＳＴ２０２の判定結果が一致した場合に、検知対象判定部３の判定結果を乗員検知部４に出力させるようにしてもよい。

実施の形態３．
実施の形態３に係る乗員検知装置９０は、実施の形態１と同様に、撮像画像を取得する画像取得部１と、撮像画像内の運転者及び同乗者を検知可能な乗員検知部４と、乗員検知部４の検知対象を、運転者及び同乗者のうちの一方の乗員とするか、運転者及び同乗者の両方の乗員とするかを判定する検知対象判定部８とを備える。本実施の形態では、運転者の状態が正常でない場合、一方の乗員、すなわち運転者を検知対象とし、運転者の状態が正常である場合、両方の乗員、すなわち運転者及び同乗者を検知対象とする点が、実施の形態１と異なる。実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。

実施の形態２で説明したように、居眠り運転の防止、緊急時の車両退避処理等の走行支援機能を実現するために、運転者の状態を検出する必要がある。居眠り運転の防止のための警告の通知、緊急時の車両退避処理は、運転者の状態が正常である場合には実行されないため、このような場合においては、処理負荷が高くても問題がなく、同乗者を検知して同乗者に対する座席位置の制御、空調制御等を行うことが好ましい。一方で、運転者の状態が正常でない場合には、即座に運転者の状態の変化を検出するため、乗員検知装置９０の処理負荷を軽減することが必要な場合がある。

そこで、本実施の形態の検知対象判定部８は、運転者の状態が正常でない場合には、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定し、運転者の状態が正常である場合には、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると判定する。

図８は、実施の形態３に係る乗員検知システム１０１の構成例を示すブロック図である。図８に示すように、乗員検知装置９０は、乗員の状態を推定する状態推定部１３を備えている。また、検知対象判定部８は、状態推定部１３と接続されており、状態推定部１３による乗員の状態推定結果を用いて、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかを判定する。

まず、状態推定部１３について説明する。状態推定部１３は、乗員検知部４と接続されており、乗員検知部４の特徴情報検出部７が検出した特徴情報を用いて、乗員の状態を推定する。乗員の状態とは、例えば、乗員の眠気に関する状態、乗員の運転に対する注意力に関する状態、及び乗員の体調に関する状態等である。そして、状態推定部１３は、乗員の眠気に関する状態の指標値、乗員の運転に対する注意力に関する状態の指標値、及び乗員の体調に関する状態の指標値、すなわち、覚醒度、注意度、及び健常度を推定する。

状態推定部１３は、乗員の覚醒度を推定する場合、乗員検知部４から乗員の特徴情報を取得し、例えば、上瞼と下瞼との距離、すなわち開眼度を用いて、乗員の覚醒度を算出する。状態推定部１３は、例えば、開眼度が小さくなるにつれて、乗員の覚醒度を低く推定する。また、状態推定部１３は、乗員の瞬きの頻度が小さい場合に、乗員の覚醒度が低いと推定してもよい。

また、状態推定部１３は、乗員の注意度を算出する場合、乗員検知部４から乗員の特徴情報を取得し、例えば、乗員の視線方向を用いて、乗員の注意度を算出する。状態推定部１３は、例えば、乗員の顔向き、瞳孔の位置等から算出された乗員の視線方向が、車両の前方等、車両の走行方向に対して正常な視認範囲を逸脱するにつれて、乗員の注意度を低く推定する。

さらに、状態推定部１３は、乗員の健常度を推定する場合、乗員検知部４から乗員の特徴情報を取得し、例えば、乗員の顔向き、乗員の顔領域の大きさ等を用いて、乗員の健常度を推定する。状態推定部１３は、例えば、乗員がうつむく、倒れこむ等して、乗員の姿勢が異常な姿勢になるにつれて、乗員の健常度を低く推定する。

なお、上述した状態推定部１３による乗員の状態の推定処理は、一例であり、乗員の状態推定処理は公知の種々のアルゴリズムを用いることができるものである。また、状態推定部１３は、覚醒度、注意度、及び健常度の全てを推定するものでなくてもよく、覚醒度、注意度、及び健常度の少なくともいずれかを推定できればよい。

そして、検知対象判定部８は、状態推定部１３と接続されており、状態推定部１３による乗員の状態推定結果を用いて、乗員検知部４の検知対象を、一方の乗員、すなわち運転者とするか、両方の乗員、すなわち運転者及び同乗者とするかを判定する。検知対象判定部８は、状態推定部１３から状態推定結果として、覚醒度、注意度、及び健常度の少なくともいずれかを取得し、乗員の状態が正常であるか否かを確認する。ここで、乗員の状態が正常であるとは、状態推定部１３から取得した覚醒度、注意度、又は健常度が、設定された閾値以上である場合をいい、乗員の状態が正常でないとは、状態推定部１３から取得した覚醒度、注意度、又は健常度が、設定された閾値未満である場合をいう。

なお、乗員の状態が正常でないとは、乗員が睡眠に陥った場合等、既に乗員に異常が生じた場合だけでなく、乗員が眠気を感じている場合等、乗員に異常が生じる可能性がある場合も含むものとする。さらに、覚醒度、注意度、及び健常度に対して、設定される閾値は、覚醒度、注意度、及び健常度の間で全て同一の値である必要はなく、覚醒度、注意度、及び健常度の間で異なる値であってもよい。

例えば、検知対象判定部８は、状態推定部１３から取得した覚醒度、注意度、及び健常度の少なくともいずれかが、設定された閾値未満である場合、乗員の状態が正常でないとして、乗員検知部４の検知対象を運転者とすると判定する。一方、例えば、検知対象判定部８は、状態推定部１３から取得した覚醒度、注意度、及び健常度の全てが、設定された閾値以上である場合、乗員の状態が正常であるとして、乗員検知部４の検知対象を運転者及び同乗者とすると判定する。なお、検知対象判定部８が、乗員の状態が正常であるか否かの判定は、覚醒度、注意度、及び健常度の全てが設定された閾値以上であるか否かに限らず、覚醒度、注意度、及び健常度を用いて総合的に推定した指標値が、設定された閾値以上であるか否かに基づいて判定してもよい。

そして、乗員検知部４は、検知対象判定部８による判定結果を用いて、運転者の検知又は運転者及び同乗者の検知を行う。次に、乗員検知装置９０の動作について説明する。図９は、実施の形態３に係る乗員検知装置９０の動作例を示すフローチャートである。乗員検知装置９０は、例えば、車両情報取得部２が、車両側制御装置２００から、車両のいずれかのドアが開かれた旨を示す信号、車両のエンジンが始動した旨を示す信号を取得した場合、乗員検知処理の動作を開始する。また、図９のフローチャートには、乗員検知装置９０の動作を終了する処理が示されていないが、乗員検知装置９０は、例えば、車両情報取得部２が、車両側制御装置２００から車両のエンジンが停止した旨を示す信号を取得した場合、乗員検知処理の動作を終了する。

まず、乗員検知装置９０の動作が開始した後、画像取得部１は撮像装置２０から撮像画像を取得する（ＳＴ３０１）。そして、乗員検知部４の検知領域設定部５は、撮像画像内に、第１検知領域を設定する（ＳＴ３０２）。そして、乗員検知部４の顔領域検出部６は、設定された第１検知領域において、乗員の顔が存在する顔領域、すなわち運転者の顔が存在する顔領域を検出する（ＳＴ３０３）。さらに、乗員検知部４の特徴情報検出部７は、顔領域が検出された乗員、すなわち運転者に対して特徴情報検出処理を行い、運転者の特徴情報を検出する（ＳＴ３０４）。なお、特徴情報検出処理により得られた運転者の特徴情報は、乗員認証部１１及び属性推定部１２の少なくともいずれかに出力されてもよい。そして、乗員検知装置９０の動作は、ＳＴ３０５の処理に進む。

次に、乗員検知装置９０の状態推定部１３は、特徴情報検出部７から運転者の特徴情報を取得し、運転者の状態推定処理を行う（ＳＴ３０５）。状態推定部１３による運転者の状態推定処理は、特徴情報を用いた、例えば、運転者の覚醒度、注意度、及び健常度の推定を行う処理である。以下の説明では、状態推定部１３が運転者の覚醒度を推定し、検知対象判定部８が、運転者の覚醒度を用いて、乗員検知部４の検知対象を一方の乗員、すなわち運転者とするか、両方の乗員、すなわち運転者及び同乗者とするかを判定する例を挙げて説明する。

まず、検知対象判定部８は、状態推定部１３から状態推定結果を取得する。そして、検知対象判定部８は、状態推定結果から運転者が正常であるか否かを確認し、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするか判定する（ＳＴ３０６）。例えば、検知対象判定部８は、状態推定部１３から、運転者の覚醒度を状態推定結果として取得し、覚醒度が設定された閾値以上であれば、運転者の状態が正常であるとする。一方、検知対象判定部８は、運転者の覚醒度が設定された閾値未満であれば、運転者の状態が正常でないとする。

検知対象判定部８は、状態推定結果から運転者が正常でないことが確認された場合、乗員検知部４の検知対象を一方の乗員、すなわち運転者とすると判定する（ＳＴ３０６；ＹＥＳ）。そして、検知対象判定部８は、検知対象を運転者とすることを示す判定結果を乗員検知部４に出力し、一方の乗員、すなわち運転者を検知対象に決定する（ＳＴ３０７）。

乗員検知部４は、検知対象判定部８から、検知対象を運転者とすることを示す判定結果を取得した場合、ＳＴ３０１の処理に進み、上述したように、ＳＴ３０１～ＳＴ３０４の処理で、運転者を検知対象として、乗員検知処理を行う。すなわち、画像取得部１は撮像装置２０から撮像画像を取得する（ＳＴ３０１）。次に、検知領域設定部５は、撮像画像内に、第１検知領域を設定する（ＳＴ３０２）。そして、乗員検知部４の顔領域検出部６は、検知領域において、運転者の顔が存在する顔領域を検出する（ＳＴ３０３）。さらに、乗員検知部４の特徴情報検出部７は、運転者に対して特徴情報検出処理を行い、運転者の特徴情報を検出する（ＳＴ３０４）。

一方、検知対象判定部８は、状態推定結果から運転者が正常であることが確認された場合、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると判定する（ＳＴ３０６；ＮＯ）。そして、検知対象判定部８は、検知対象を運転者及び同乗者とすることを示す判定結果を乗員検知部４に出力し、両方の乗員、すなわち運転者及び同乗者を検知対象に決定する（ＳＴ３０８）。

乗員検知部４は、検知対象判定部８から、検知対象を運転者及び同乗者とすることを示す判定結果を取得した場合、運転者及び同乗者を検知対象として、乗員検知処理を行う。まず、画像取得部１は撮像装置２０から撮像画像を取得し（ＳＴ３０９）、乗員検知部４の検知領域設定部５は、撮像画像内に第１検知領域及び第２検知領域を設定する（ＳＴ３１０）。

次に、乗員検知部４の顔領域検出部６は、設定された第１検知領域及び第２検知領域において、乗員の顔が存在する顔領域、すなわち運転者及び同乗者の顔が存在する顔領域を検出する（ＳＴ３１１）。さらに、乗員検知部４の特徴情報検出部７は、顔領域が検出された乗員、すなわち運転者及び同乗者に対して特徴情報検出処理を行い、運転者及び同乗者の特徴情報を検出する（ＳＴ３１２）。なお、特徴情報検出処理により得られた運転者及び同乗者の特徴情報は、乗員認証部１１、属性推定部１２、及び状態推定部１３の少なくともいずれかに出力されてもよい。

そして、乗員検知装置９０の動作は、ＳＴ３０５の処理に進み、運転者の状態推定処理を行う。また、ＳＴ３０９～ＳＴ３１２の処理において、運転者及び同乗者の特徴情報を検出した場合、ＳＴ３０５の状態推定処理で、運転者の状態推定処理に加えて、同乗者の状態推定処理を行ってもよい。

このように、運転時において安全への影響が大きい場合である、運転者の状態が正常でない場合には、乗員検知部４の検知対象を一方の乗員、すなわち運転者とし、運転時において安全への影響が小さい場合である、運転者の状態が正常である場合には、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると、運転時において安全への影響が大きい場合には、乗員検知処理の処理負荷を軽減できる。

なお、上述したＳＴ３０１～ＳＴ３１２の処理は、乗員検知装置９０の動作が終了するまで繰り返される。ここで、乗員検知部４の検知対象は、検知対象判定部８による、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかの判定結果に応じて随時変化する。例えば、ＳＴ３０６の処理で検知対象判定部８により検知対象を運転者及び同乗者とすると判定され、ＳＴ３０９～ＳＴ３１２の処理で、乗員検知部４が運転者及び同乗者を検知した後に、ＳＴ３０６の処理で検知対象判定部８により検知対象を一方の乗員、すなわち運転者とすると判定された場合は、ＳＴ３０１～ＳＴ３０４の処理で乗員検知部４は、一方の乗員と異なる他方の乗員である同乗者を検知対象から除き、運転者を検知する。

一方、例えば、ＳＴ３０６の処理で検知対象判定部８により検知対象を運転者とすると判定され、ＳＴ３０１～ＳＴ３０５の処理で、乗員検知部４が運転者を検知した後に、再度のＳＴ３０６の処理で、検知対象判定部８により検知対象を運転者及び同乗者とすると判定された場合は、乗員検知部４は、一方の乗員である運転者に加え、一方の乗員と異なる他方の乗員である同乗者を検知対象とする。このように、乗員検知部４の検知対象が随時変化するため、乗員検知装置９０が動作中であっても処理負荷を調整できる。

なお、本実施の形態において、乗員検知装置９０の動作例について、乗員検知装置９０がＳＴ３０４及びＳＴ３１２の処理で乗員の顔領域を検出する例を挙げて説明したが、特徴情報検出部７が乗員の顔パーツを抽出する処理を行わない場合、ＳＴ３０４及びＳＴ３１２の処理は省略可能である。

また、上述した乗員検知装置９０の動作例では、乗員検知装置９０の動作を開始した後、乗員検知部４の検知対象を運転者としてＳＴ３０１～ＳＴ３０５の処理を行う例を挙げて説明したが、乗員検知装置９０の動作開始時の処理は上述の例に限らない。例えば、乗員検知装置９０の動作を開始した後に、乗員検知部４の検知対象を運転者及び同乗者としてＳＴ３０９～ＳＴ３１２の処理を行うようにしてもよい。すなわち、乗員検知装置９０の動作を開始した後に、運転者及び同乗者を検知対象として乗員検知処理を行い（ＳＴ３０９～ＳＴ３１２）、運転者の状態推定処理（ＳＴ３０５）において運転者が正常でなければ、運転者を検知対象として（ＳＴ３０６；ＹＥＳ）、乗員検知部４により乗員検知処理を行ってもよい。なお、この場合においても、運転者の状態推定処理（ＳＴ３０５）において運転者が正常であれば、運転者及び同乗者を検知対象として（ＳＴ３０６；ＮＯ）、乗員検知部４により乗員検知処理を行えばよい。

なお、本実施の形態において、実施の形態１と同様に、乗員検知装置９０は、運転者又は同乗者が車両に乗車した場合に、運転者及び同乗者を検知対象として乗員検知処理を行い、運転者又は同乗者が車両に乗車してから設定された時間が経過した場合に、運転者を検知対象として乗員検知処理を行ってもよい。例えば、乗員検知装置９０における処理動作は、図５を用いて説明したＳＴ１０１～ＳＴ１１３の処理と、図９を用いて説明したＳＴ３０１～ＳＴ３１２の処理とを組み合わせたものであってもよい。この場合、ＳＴ１０２とＳＴ３０６の判定結果のいずれを優先させるかは任意であり、例えば、ＳＴ１０２とＳＴ３０６の判定結果が一致した場合に、検知対象判定部３の判定結果を乗員検知部４に出力させるようにしてもよい。

また、本実施の形態において、実施の形態２と同様に、乗員検知装置９０は、車両の停止時に、運転者及び同乗者を検知対象として乗員検知処理を行い、車両の走行時に運転者を検知対象として乗員検知処理を行ってもよい。例えば、乗員検知装置９０における処理動作は、図７を用いて説明したＳＴ２０１～ＳＴ２１２の処理と、図９を用いて説明したＳＴ３０１～ＳＴ３１２の処理とを組み合わせたものであってもよい。この場合、ＳＴ２０２とＳＴ３０６の判定結果のいずれを優先させるかは任意であり、例えば、ＳＴ２０２とＳＴ３０６の判定結果が一致した場合に、検知対象判定部の判定結果を乗員検知部４に出力させるようにしてもよい。

さらに、乗員検知装置９０における処理動作は、図５を用いて説明したＳＴ１０１～ＳＴ１１３の処理と、図７を用いて説明したＳＴ２０１～ＳＴ２１２の処理と、図９を用いて説明したＳＴ３０１～ＳＴ３１２の処理とを組み合わせたものであってもよい。この場合、ＳＴ１０２、ＳＴ２０２、ＳＴ３０６の判定結果のいずれを優先させるかは任意であり、例えば、ＳＴ１０２、ＳＴ２０２、ＳＴ３０６の判定結果が一致した場合に、検知対象判定部の判定結果を乗員検知部４に出力させるようにしてもよい。

また、検知対象を両方の乗員、すなわち運転者及び同乗者とした後に、乗員検知部４により同乗者が検知されなかった場合、検知対象を一方の乗員、すなわち運転者とするようにしてもよい。このようにすると、同乗者が車内に存在しないにもかかわらず、同乗者に対して乗員検知処理が行われることを抑制して処理負荷を軽減できる。

実施の形態４．
実施の形態４に係る乗員検知装置９０は、実施の形態１と同様に、撮像画像を取得する画像取得部１と、撮像画像内の運転者及び同乗者を検知可能な乗員検知部４と、乗員検知部４の検知対象を、運転者及び同乗者のうちの一方の乗員とするか、運転者及び同乗者の両方の乗員とするかを判定する検知対象判定部８とを備える。本実施の形態では、運転者の状態が正常である場合、一方の乗員、すなわち同乗者を検知対象とし、運転者の状態が正常でない場合、両方の乗員、すなわち運転者及び同乗者を検知対象とする点が実施の形態１と異なる。実施の形態１と同じ構成要素には同じ符号を付し、その説明を省略する。

実施の形態２で説明したように、居眠り運転の防止、緊急時の車両退避処理等の走行支援機能を実現するために、運転者の状態を検出する必要がある。一方で、居眠り運転、乗員の体調の急変等が発生する可能性が低い場合には運転者を常に検知する必要はなく、同乗者を検知対象として、検知された同乗者に適した空調制御等を行えば、運転者及び同乗者にとって快適な車内環境を提供することができる。また、同乗者に適した空調制御等を行う場合、認証部により同乗者を認証し、同乗者と特定の個人とを紐づけることができれば、特定の同乗者に適した空調制御、音響機器の制御等が可能となる。

そこで、本実施の形態の検知対象判定部８は、運転者の状態が正常でない場合には、乗員検知部４の検知対象を両方の乗員、すなわち運転者及び同乗者とすると判定し、運転者の状態が正常である場合には、乗員検知部４の検知対象を一方の乗員、すなわち同乗者とすると判定する。なお、本実施の形態における乗員検知装置９０は、実施の形態３と同様に、状態推定部１３を備えている。

まず、状態推定部１３について説明する。状態推定部１３は、実施の形態３と同様に、乗員検知部４と接続されており、乗員検知部４の特徴情報検出部７が検出した特徴情報を用いて、乗員の状態を推定する。乗員の状態とは、例えば、乗員の眠気に関する状態、乗員の運転に対する注意力に関する状態、及び乗員の体調に関する状態等である。そして、状態推定部１３は、乗員の眠気に関する状態の指標値、乗員の運転に対する注意力に関する状態の指標値、及び乗員の体調に関する状態の指標値、すなわち、覚醒度、注意度、及び健常度を推定する。

そして、検知対象判定部８は、状態推定部１３による乗員の状態推定結果を用いて、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかを判定する。検知対象判定部８は、状態推定部１３から状態推定結果として、覚醒度、注意度、及び健常度の少なくともいずれかを取得し、乗員の状態が正常であるか否かを確認する。ここで、乗員の状態が正常であるとは、状態推定部１３から取得した覚醒度、注意度、又は健常度が、設定された閾値以上である場合をいい、乗員の状態が正常でないとは、状態推定部１３から取得した覚醒度、注意度、又は健常度が、設定された閾値未満である場合をいう。

なお、乗員の状態が正常でないとは、乗員が睡眠に陥った場合等、既に乗員に異常が生じた場合だけでなく、乗員が眠気を感じている場合等、乗員に異常が生じる可能性がある場合も含むものとする。さらに、覚醒度、注意度、及び健常度に対して、設定される閾値は、覚醒度、注意度、及び健常度の間で全て同一の値である必要はなく、覚醒度、注意度、及び健常度の間で異なる値であってもよい。

例えば、検知対象判定部８は、状態推定部１３から取得した覚醒度、注意度、及び健常度の少なくともいずれかが、設定された閾値未満である場合、乗員の状態が正常でないとして、乗員検知部４の検知対象を運転者及び同乗者とすると判定する。一方、例えば、検知対象判定部８は、状態推定部１３から取得した覚醒度、注意度、及び健常度の全てが、設定された閾値以上である場合、乗員の状態が正常であるとして、乗員検知部４の検知対象を同乗者とすると判定する。

なお、検知対象判定部８が、乗員の状態が正常であるか否かの判定は、覚醒度、注意度、及び健常度の全てが設定された閾値以上であるか否かに限らず、覚醒度、注意度、及び健常度を用いて総合的に算出した指標値が、設定された閾値以上であるか否かに基づいて判定してもよい。ここで、実施の形態３における設定された閾値と、実施の形態４における設定された閾値とは異なる値であってもよい。

そして、乗員検知部４は、検知対象判定部８による判定結果を用いて、運転者の検知又は運転者及び同乗者の検知を行う。次に、乗員検知装置９０の動作について説明する。図１０は、実施の形態４に係る乗員検知装置９０の動作例を示すフローチャートである。乗員検知装置９０は、例えば、車両情報取得部２が、車両側制御装置２００から、車両のいずれかのドアが開かれた旨を示す信号、車両のエンジンが始動した旨を示す信号を取得した場合、乗員検知処理の動作を開始する。また、図１０のフローチャートには、乗員検知装置９０の動作を終了する処理が示されていないが、乗員検知装置９０は、例えば、車両情報取得部２が、車両側制御装置２００から車両のエンジンが停止した旨を示す信号を取得した場合、乗員検知処理の動作を終了する。

まず、乗員検知装置９０の動作が開始した後、画像取得部１は撮像装置２０から撮像画像を取得する（ＳＴ４０１）。次に、乗員検知部４の検知領域設定部５は、撮像画像内に第１検知領域及び第２検知領域を設定する（ＳＴ４０２）。そして、乗員検知部４の顔領域検出部６は、設定された第１検知領域及び第２検知領域において、乗員の顔が存在する顔領域、すなわち運転者及び同乗者の顔が存在する顔領域を検出する（ＳＴ４０３）。さらに、乗員検知部４の特徴情報検出部７は、顔領域が検出された乗員、すなわち運転者及び同乗者に対して特徴情報検出処理を行い、運転者及び同乗者の特徴情報を検出する（ＳＴ４０４）なお、特徴情報検出処理により得られた運転者及び同乗者の特徴情報は、乗員認証部１１、属性推定部１２、及び状態推定部１３の少なくともいずれかに出力されてもよい。そして、乗員検知装置９０の動作は、ＳＴ４０５の処理に進む。

次に、乗員検知装置９０の状態推定部１３は、特徴情報検出部７から運転者の特徴情報を取得し、運転者の状態推定処理を行う（ＳＴ４０５）。状態推定部１３による運転者の状態推定処理は、特徴情報を用いた、例えば、運転者の覚醒度、注意度、及び健常度の推定を行う処理である。以下の説明では、状態推定部１３が運転者の覚醒度を推定し、検知対象判定部８が、運転者の覚醒度を用いて、乗員検知部４の検知対象を一方の乗員、すなわち同乗者とするか、両方の乗員、すなわち運転者及び同乗者とするかを判定する例を挙げて説明する。

まず、検知対象判定部８は、状態推定部１３から状態推定結果を取得する。そして、検知対象判定部８は、運転者が正常であるか否かを確認し、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするか判定する（ＳＴ４０６）。例えば、検知対象判定部８は、状態推定部１３から、運転者の覚醒度を状態結果として取得し、覚醒度が設定された閾値以上であれば、運転者の状態が正常であるとする。一方、検知対象判定部８は、運転者の覚醒度が設定された閾値未満であれば、運転者の状態が正常でないとする。

検知対象判定部８は、状態推定結果から運転者が正常でないことが確認された場合、乗員検知部４の検知対象を運転者及び同乗者とすると判定する（ＳＴ４０６；ＮＯ）。そして、検知対象判定部８は、検知対象を運転者及び同乗者とすることを示す判定結果を乗員検知部４に出力し、両方の乗員、すなわち運転者及び同乗者を検知対象に決定する（ＳＴ４０７）。

乗員検知部４は、検知対象判定部８から、検知対象を運転者及び同乗者とすることを示す判定結果を取得した場合、ＳＴ４０１の処理に進み、上述したように、ＳＴ４０１～ＳＴ４０４の処理で、運転者及び同乗者を検知対象として、乗員検知処理を行う。まず、画像取得部１は撮像装置から撮像画像を取得する（ＳＴ４０１）。次に、乗員検知部４の検知領域設定部５は、撮像画像内に、第１検知領域及び第２検知領域を設定する（ＳＴ４０２）。そして、乗員検知部４の顔領域検出部６は、検知領域において、運転者及び同乗者の顔が存在する顔領域を検出する（ＳＴ４０３）。さらに、乗員検知部４の特徴情報検出部７は、運転者及び同乗者に対して特徴情報検出処理を行い、運転者及び同乗者の特徴情報を検出する（ＳＴ４０４）。

一方、検知対象判定部８は、状態推定結果から運転者が正常であることが確認された場合、乗員検知部４の検知対象を同乗者とすると判定する（ＳＴ４０６；ＹＥＳ）。そして、検知対象判定部８は、検知対象を同乗者とすることを示す判定結果を乗員検知部４に出力し、一方の乗員、すなわち同乗者を検知対象に決定する。

乗員検知部４は、検知対象判定部８から、検知対象を同乗者とすることを示す判定結果を取得した場合、同乗者を検知対象として、乗員検知処理を行う。まず、画像取得部１は撮像装置から撮像画像を取得する（ＳＴ４０９）。そして、乗員検知部４の検知領域設定部５は、撮像画像内に第２検知領域を設定する（ＳＴ４１０）。

そして、乗員検知部４の顔領域検出部６は、設定された第２検知領域において、乗員の顔が存在する顔領域、すなわち同乗者の顔が存在する顔領域を検出する（ＳＴ４１１）。さらに、乗員検知部４の特徴情報検出部７は、顔領域が検出された乗員、すなわち同乗者に対して特徴情報検出処理を行い、同乗者の特徴情報を検出する（ＳＴ４１２）。なお、特徴情報検出処理により得られた同乗者の特徴情報は、乗員認証部１１、属性推定部１２、及び状態推定部１３の少なくともいずれかに出力されてもよい。さらに、乗員認証部１１は、同乗者に対して属性推定処理を行ってもよい。同様に、属性推定部１２は、同乗者に対して属性推定処理を行ってもよい。また、状態推定部１３は、同乗者に対して状態推定処理を行ってもよい。

次に、検知対象判定部８は、乗員検知部４の検知対象を同乗者とすると判定してから経過した時間（以下、経過時間という）が、設定された時間を超えたか否かを判定する（ＳＴ４１３）。そして、検知対象判定部８により、経過時間が設定された時間を超えたと判定された場合（ＳＴ４１３；ＹＥＳ）、乗員検知装置９０の動作はＳＴ４０１の処理に進み、上述したようにＳＴ４０１～ＳＴ４０４の処理で、運転者及び同乗者を検知対象として、乗員検知処理を行う。運転者の眠気、体調等の状態は、時間とともに変化するため、このように、同乗者のみを乗員検知部４の検知対象とした後に設定された時間が経過した場合、乗員検知部４の検知対象を運転者及び同乗者とすることで、運転者の状態が急激に悪化したとしても、運転者の状態を検出できる。

一方、検知対象判定部８により、経過時間が設定された時間を超えていないと判定された場合（ＳＴ４１２；ＮＯ）、乗員検知装置９０の動作はＳＴ４０９の処理に進み、上述したように、ＳＴ４０９～ＳＴ４１２の処理で、運転者及び同乗者を検知対象として、乗員検知処理を行う。

このように、運転時において安全への影響が小さい場合である、運転者の状態が正常である場合には、乗員検知部４の検知対象を一方の乗員、すなわち同乗者とし、運転時において安全への影響が大きい場合である、運転者の状態が正常でない場合には、乗員検知部４の検知対象を運転者及び同乗者とすると、運転時において安全への影響が小さい場合には、一方の乗員、すなわち同乗者のみを検知するため、乗員検知処理の処理負荷を軽減できる。

なお、上述したＳＴ４０１～ＳＴ４１２の処理は、乗員検知装置９０の動作が終了するまで繰り返される。ここで、乗員検知部４の検知対象は、検知対象判定部８による、乗員検知部４の検知対象を一方の乗員とするか、両方の乗員とするかの判定結果に応じて随時変化する。例えば、ＳＴ４０６の処理で検知対象判定部８により検知対象を運転者及び同乗者とすると判定され、ＳＴ４０１～ＳＴ４０４の処理で、乗員検知部４が運転者及び同乗者を検知した後に、ＳＴ４０６の処理で検知対象判定部８により検知対象を一方の乗員、すなわち同乗者とすると判定された場合は、ＳＴ４０９～ＳＴ４１２の処理で乗員検知部４は、一方の乗員と異なる他方の乗員である運転者を検知対象から除き、同乗者を検知する。

一方、例えば、ＳＴ４０６の処理で検知対象判定部８により検知対象を同乗者とすると判定され、ＳＴ４０９～ＳＴ４１２の処理で、乗員検知部４が同乗者を検知した後に、再度のＳＴ４０６の処理で、検知対象判定部８により検知対象を運転者及び同乗者とすると判定された場合は、乗員検知部４は、一方の乗員である同乗者に加え、一方の乗員と異なる他方の乗員である運転者を検知対象とする。このように、乗員検知部４の検知対象が随時変化するため、乗員検知装置９０が動作中であっても処理負荷を調整できる。

なお、本実施の形態において、乗員検知装置９０の動作例について、乗員検知装置９０がＳＴ４０４及びＳＴ４１２の処理で乗員の顔領域を検出する例を挙げて説明したが、特徴情報検出部７が乗員の顔パーツを抽出する処理を行わない場合、ＳＴ４０４及びＳＴ４１２の処理は省略可能である。

また、上述した乗員検知装置９０の動作例では、乗員検知装置９０の動作を開始した後、乗員検知部４の検知対象を運転者及び同乗者としてＳＴ４０１～ＳＴ４０５の処理を行う例を挙げて説明したが、乗員検知装置９０の動作開始時の処理は上述の例に限らない。例えば、乗員検知装置９０の動作を開始した後に、乗員検知部４の検知対象を運転者として乗員検知処理を行うようにしてもよい。すなわち、乗員検知装置９０の動作を開始した後に、運転者を検知対象として乗員検知処理を行い、運転者の状態推定処理（ＳＴ４０５）において運転者が正常であれば、同乗者を検知対象として（ＳＴ４０６；ＹＥＳ）、乗員検知部４により乗員検知処理を行ってもよい。なお、この場合においても、運転者の状態推定処理（ＳＴ４０６）において運転者が正常でなければ、運転者及び同乗者を検知対象として（ＳＴ４０６；ＮＯ）、乗員検知部４により乗員検知処理を行えばよい。

なお、本実施の形態において、実施の形態１と同様に、乗員検知装置９０は、運転者又は同乗者が車両に乗車した場合に、運転者及び同乗者を検知対象として乗員検知処理を行い、運転者又は同乗者が車両に乗車してから設定された時間が経過した場合に、運転者を検知対象として乗員検知処理を行ってもよい。例えば、乗員検知装置９０における処理動作は、図５を用いて説明したＳＴ１０１～ＳＴ１１３の処理と、図１０を用いて説明したＳＴ４０１～ＳＴ４１３の処理とを組み合わせたものであってもよい。この場合、ＳＴ１０２とＳＴ４０６の判定結果のいずれを優先させるかは任意であり、例えば、ＳＴ１０２とＳＴ４０６の判定結果が一致した場合に、検知対象判定部３の判定結果を乗員検知部４に出力させるようにしてもよい。

また、本実施の形態において、実施の形態２と同様に、乗員検知装置９０は、車両の停止時に、運転者及び同乗者を検知対象として乗員検知処理を行い、車両の走行時に運転者を検知対象として乗員検知処理を行ってもよい。例えば、乗員検知装置９０における処理動作は、図７を用いて説明したＳＴ２０１～ＳＴ２１２の処理と、図１０を用いて説明したＳＴ４０１～ＳＴ４１３の処理とを組み合わせたものであってもよい。この場合、ＳＴ２０２とＳＴ４０６の判定結果のいずれを優先させるかは任意であり、例えば、ＳＴ２０２とＳＴ４０６の判定結果が一致した場合に、検知対象判定部３の判定結果を乗員検知部４に出力させるようにしてもよい。

さらに、乗員検知装置９０における処理動作は、図５を用いて説明したＳＴ１０１～ＳＴ１１３の処理と、図７を用いて説明したＳＴ２０１～ＳＴ２１２の処理と、図１０を用いて説明したＳＴ４０１～ＳＴ４１３の処理とを組み合わせたものであってもよい。この場合、ＳＴ１０２、ＳＴ２０２、ＳＴ４０６の判定結果のいずれを優先させるかは任意であり、例えば、ＳＴ１０２、ＳＴ２０２、ＳＴ４０６の判定結果が一致した場合に、検知対象判定部の判定結果を乗員検知部４に出力させるようにしてもよい。

また、検知対象を両方の乗員、すなわち運転者及び同乗者とした後に、乗員検知部４により同乗者が検知されなかった場合、検知対象を一方の乗員、すなわち運転者とするようにしてもよい。このようにすると、同乗者が車内に存在しないにもかかわらず、同乗者に対して乗員検知処理が行われることを抑制して処理負荷を軽減できる。

なお、本実施の形態において、実施の形態３と同様に、乗員検知装置９０は、運転者の状態が正常である場合に、両方の乗員、すなわち運転者及び同乗者を検知対象として乗員検知処理を行い、運転者が正常でない場合に、一方の乗員、すなわち運転者を検知対象としてもよい。この場合は、覚醒度、注意度、及び健常度等の、運転者の状態を示す指標値との比較に用いる閾値を複数設け、指標値が閾値以上であるか否かに基づいて、次に説明する判定処理により検知対象を一方の乗員とするか、両方の乗員とするかを判定すればよい。

図１１は、実施の形態４に係る乗員検知装置９０の動作例を示すフローチャートである。例えば、図１１に示すように、ＳＴ５０１、ＳＴ５０３の処理にて、検知対象判定部８により運転者の状態を示す指標値と、第１閾値及び第２閾値とを比較する。なお、第２閾値は第１閾値よりも大きい値を有する。そして、指標値が第１閾値未満である場合（ＳＴ５０１；ＮＯ）、すなわち、運転者の状態が正常でない場合は、検知対象判定部８は、運転者を検知対象とすると判定し、一方の乗員、すなわち運転者を検知対象に決定する（ＳＴ５０２）。

一方、指標値が第１閾値以上である場合は（ＳＴ５０１；ＹＥＳ）、検知対象判定部８は、指標値と第２閾値とを比較する。そして、指標値が第２閾値以上である場合（ＳＴ５０３；ＹＥＳ）、すなわち、運転者の状態が正常である場合は、検知対象判定部８は、同乗者を検知対象とすると判定し、一方の乗員、すなわち同乗者を検知対象に決定する（ＳＴ５０４）。

また、指標値が第１閾値以上かつ第２閾値未満である場合は（ＳＴ５０３；ＮＯ）、検知対象判定部８は、運転者及び同乗者を検知対象とすると判定し、両方の乗員、すなわち運転者及び同乗者を検知対象に決定する（ＳＴ５０５）。このようにすると、運転者及び同乗者を検知する乗員検知装置９０について、運転時において安全への影響が大きい場合には、運転者のみを検知対象とし、運転時において安全への影響が小さい場合には、同乗者のみを検知対象とできるため、乗員検知装置９０の処理負荷を軽減できる。

なお、実施の形態１～４において、乗員検知部４の検知対象が一方の乗員である場合、所定の条件を満たせば、撮像画像に設定された、一方の乗員の座席に対応する検知領域を縮小するようにしてもよい。なお、検知領域を縮小する場合は、乗員検知部４の検知領域設定部５により、少なくとも乗員の顔が含まれるように検知領域を縮小すればよい。所定の条件とは、例えば、一方の乗員に対して、認証処理、属性推定処理、又は状態推定処理が行われたことを示す信号を乗員検知部４が取得した場合等である。また、乗員検知部４は、検知領域内で乗員が行ったジェスチャを検出するジェスチャ検出部（図示せず）をさらに備え、ジェスチャ検出が行われたことを示す信号を取得した場合に、所定の条件を満たしたとして、一方の乗員に対応した検知領域を縮小するようにしてもよい。なお、乗員検知部４の検知対象が両方の乗員である場合も同様に、検知領域設定部５により、両方の乗員の座席に対応して撮像画像に設定された検知領域を縮小するようにしてもよい。検知領域内を探索して乗員を検知する場合は、検知領域が小さくなるにつれて乗員検知処理に要する処理コストも小さくなるため、上述したように、検知領域を縮小するようにすると、乗員検知装置１０、９０の処理負荷を軽減できる。

また、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。

１ 画像取得部、２ 車両情報取得部、３、８ 検知対象判定部、４ 乗員検知部、５ 検知領域設定部、６ 顔領域検出部、７ 特徴情報検出部、１０、９０ 乗員検知装置、１１ 乗員認証部、１２ 属性推定部、１３ 状態推定部、３０ 車両、３１ 運転席、３２ 助手席、３３ 後席左側の座席、３４ 後席中央の座席、３５ 後席右側の座席、４１ 運転者、４２、４３ 乗員、５１、５２、５３、５４、５５ ヘッドレスト、６０ 撮像画像、６１、６２ 検知領域、７１、７２ 顔領域、８１ 左目、８２ 右目、８３ 鼻、８４ 口、１００、１０１ 乗員検知システム。

Claims (18)

1. 車両の運転席に存在する運転者と、前記車両の助手席又は後席に存在する同乗者とを撮像範囲に含む撮像装置から、撮像画像を取得する画像取得部と、
   前記画像取得部から前記撮像画像を取得し、前記撮像画像内の前記運転者及び前記同乗者を検知可能な乗員検知部と、
   前記乗員検知部の検知対象を、前記運転者及び前記同乗者のうちの一方の乗員とするか、前記運転者及び前記同乗者の両方の乗員とするかを判定する検知対象判定部と、を備え、
   前記乗員検知部は、前記検知対象判定部により検知対象を前記一方の乗員とすると判定された場合、前記撮像画像内の前記一方の乗員を検知し、前記検知対象判定部により検知対象を前記両方の乗員とすると判定された場合、前記撮像画像内の前記両方の乗員を検知する
   ことを特徴とする乗員検知装置。
2. 前記乗員検知部は、前記検知対象判定部により検知対象を前記両方の乗員とすると判定され、前記両方の乗員を検知した後に、前記検知対象判定部により検知対象を前記一方の乗員とすると判定された場合、前記運転者及び前記同乗者のうち、前記撮像画像内の前記一方の乗員と異なる他方の乗員を検知対象から除き、前記撮像画像内の前記一方の乗員を検知する
   ことを特徴とする請求項１に記載の乗員検知装置。
3. 前記乗員検知部は、前記検知対象判定部により検知対象を前記一方の乗員とすると判定され、前記一方の乗員を検知した後に、前記検知対象判定部により検知対象を前記両方の乗員とすると判定された場合、前記運転者及び前記同乗者のうち、前記撮像画像内の前記一方の乗員と異なる他方の乗員を検知対象に加え、前記撮像画像内の前記両方の乗員を検知する
   ことを特徴とする請求項１又は請求項２に記載の乗員検知装置。
4. 前記検知対象判定部は、前記運転者又は前記同乗者が前記車両に乗車した場合、前記乗員検知部の検知対象を、前記両方の乗員とすると判定し、前記運転者又は前記同乗者が前記車両に乗車してから設定された時間が経過した場合、前記乗員検知部の検知対象を前記運転者とすると判定する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
5. 前記検知対象判定部は、前記運転者又は前記同乗者が前記車両に乗車した場合、前記乗員検知部の検知対象を、前記両方の乗員とすると判定し、前記車両に搭載された乗員の着座を検出するセンサにより、前記運転者及び前記同乗者が前記車両の座席に着座したことが検出された場合、前記乗員検知部の検知対象を前記運転者とすると判定する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
6. 前記乗員検知部が検知した前記同乗者を認証する乗員認証部をさらに備え、
   前記検知対象判定部は、前記運転者又は前記同乗者が前記車両に乗車した場合、前記乗員検知部の検知対象を、前記両方の乗員とすると判定し、前記乗員認証部により前記同乗者が認証された場合、前記乗員検知部の検知対象を前記運転者とすると判定する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
7. 前記乗員検知部が検知した前記同乗者の属性を推定する属性推定部をさらに備え、
   前記検知対象判定部は、前記運転者又は前記同乗者が前記車両に乗車した場合、前記乗員検知部の検知対象を、前記両方の乗員とすると判定し、前記属性推定部により前記同乗者の属性が推定された場合、前記乗員検知部の検知対象を前記運転者とすると判定する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
8. 前記乗員検知部が検知した前記同乗者の状態を推定する状態推定部をさらに備え、
   前記検知対象判定部は、前記運転者又は前記同乗者が前記車両に乗車した場合、前記乗員検知部の検知対象を、前記両方の乗員とすると判定し、前記状態推定部により前記同乗者の状態が推定された場合、前記乗員検知部の検知対象を前記運転者とすると判定する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
9. 前記検知対象判定部は、前記両方の乗員が乗車している前記車両から、前記一方の乗員が降車した場合、前記乗員検知部の検知対象を、前記運転者及び前記同乗者のうち、前記一方の乗員と異なる他方の乗員とすると判定する
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の乗員検知装置。
10. 前記検知対象判定部は、前記車両に搭載された車載機器を制御する車両側制御装置から、前記車両が停車中であることを示す情報を取得した場合、前記乗員検知部の検知対象を前記両方の乗員とすると判定し、前記車両が走行中であることを示す情報を取得した場合、前記乗員検知部の検知対象を前記運転者とすると判定する
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
11. 前記検知対象判定部は、前記車両に搭載された車載機器を制御する車両側制御装置から、前記車両が停車中であることを示す情報を取得した場合、前記乗員検知部の検知対象を前記同乗者とすると判定し、前記車両が走行中であることを示す情報を取得した場合、前記乗員検知部の検知対象を前記両方の乗員とすると判定する
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
12. 前記検知対象判定部は、前記車両に搭載された車載機器を制御する車両側制御装置から、前記車両が自動運転走行中であることを示す情報を取得した場合、前記乗員検知部の検知対象を前記両方の乗員とすると判定し、前記車両が手動運転走行中であることを示す情報を取得した場合、前記乗員検知部の検知対象を前記運転者とすると判定する
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
13. 前記乗員検知部が検知した前記運転者の状態を推定する状態推定部をさらに備え、
    前記検知対象判定部は、前記状態推定部の推定結果から前記運転者の状態が正常であることが示された場合、前記乗員検知部の検知対象を前記両方の乗員とすると判定し、前記状態推定部の推定結果から前記運転者の状態が正常でないことが示された場合、前記乗員検知部の検知対象を前記運転者とすると判定する
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
14. 前記乗員検知部が検知した前記運転者の状態を推定する状態推定部をさらに備え、
    前記検知対象判定部は、前記状態推定部の推定結果から前記運転者の状態が正常であることが示された場合、前記乗員検知部の検知対象を前記同乗者とすると判定し、前記状態推定部の推定結果から前記運転者の状態が正常でないことが示された場合、前記乗員検知部の検知対象を前記両方の乗員とすると判定する
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
15. 前記乗員検知部が検知した前記運転者の状態を示す指標値を推定する状態推定部をさらに備え、
    前記検知対象判定部は、前記指標値が第１閾値未満である場合、前記乗員検知部の検知対象を前記運転者とすると判定し、
    前記指標値が、前記第１閾値よりも大きい値を有する第２閾値以上である場合、前記乗員検知部の検知対象を前記同乗者とすると判定し、
    前記指標値が、前記第１閾値以上かつ前記第２閾値未満である場合、前記乗員検知部の検知対象を前記両方の乗員とする
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の乗員検知装置。
16. 前記乗員検知部は、前記撮像画像内に乗員を検知するための検知領域を設定し、縮小された前記検知領域内で乗員を検知する
    ことを特徴とする請求項１から請求項１５のいずれか一項に記載の乗員検知装置。
17. 車両に搭載され、前記車両の運転席に存在する運転者と、前記車両の助手席又は後席に存在する同乗者とを撮像範囲に含む撮像装置と、
    前記撮像装置から、撮像画像を取得する画像取得部と、
    前記画像取得部から前記撮像画像を取得し、前記撮像画像内の前記運転者及び前記同乗者を検知可能な乗員検知部と、
    前記乗員検知部の検知対象を、前記運転者及び前記同乗者のうちの一方の乗員とするか、前記運転者及び前記同乗者の両方の乗員とするかを判定する検知対象判定部と、を備え、
    前記乗員検知部は、前記検知対象判定部により検知対象を前記一方の乗員とすると判定された場合、前記撮像画像内の前記一方の乗員を検知し、前記検知対象判定部により検知対象を前記両方の乗員とすると判定された場合、前記撮像画像内の前記両方の乗員を検知する
    ことを特徴とする乗員検知システム。
18. 画像取得部により、車両の運転席に存在する運転者と、前記車両の助手席又は後席に存在する同乗者とを撮像範囲に含む撮像装置から、撮像画像を取得し、
    乗員検知部により、前記画像取得部から前記撮像画像を取得し、前記撮像画像内の前記運転者及び前記同乗者の少なくともいずれかを検知し、
    検知対象判定部により、前記乗員検知部の検知対象を、前記運転者及び前記同乗者のうちの一方の乗員とするか、前記運転者及び前記同乗者の両方の乗員とするかを判定し、
    前記乗員検知部は、前記検知対象判定部により検知対象を前記一方の乗員とすると判定された場合、前記撮像画像内の前記一方の乗員を検知し、前記検知対象判定部により検知対象を前記両方の乗員とすると判定された場合、前記撮像画像内の前記両方の乗員を検知する
    ことを特徴とする乗員検知方法。

Images