JPWO2007105792A1 - 監視装置および監視方法、制御装置および制御方法、並びにプログラム - Google Patents

Abstract

本発明は、人の顔向きや視線方向の情報を用いて、人の動作または状態に対応する処理を装置に行わせることができるようにする監視装置および監視方法、制御装置および制御方法、並びにプログラムに関する。対象検出部２５１は、対象物を検出する。顔向き視線方向検出部２５２は、人の顔向きおよび視線方向を検出し、検出された対象物と、人の顔向きまたは視線方向との関係に基づいて、人の動作または状態を判定し、その判定結果を顔向き視線方向情報利用部２５３−１乃至２５３−３に通知する。顔向き視線方向情報利用部２５３−１乃至２５３−３は、判定結果に基づいて、装置に所定の処理を実行させる。本発明は、例えば、車載システムに適用できる。

Description

本発明は、監視装置および監視方法、制御装置および制御方法、並びにプログラムに関し、特に、人の顔向きや視線方向の情報を用いて、人の動作または状態に対応する処理を装置に行わせることができるようにする監視装置および監視方法、制御装置および制御方法、並びにプログラムに関する。

車を運転する運転者の視線方向を検出し、運転中の居眠りや脇見運転などを防止するなど、運転者を支援するシステムが提案されている（例えば、特許文献１参照）。
特開２００２−３５２２２８号公報

しかしながら、従来から提案されているシステムでは、運転者の顔向きと視線方向についての情報を、装置の制御に十分活用しているとは言い難かった。

本発明は、このような状況に鑑みてなされたものであり、人の顔向きや視線方向の情報を用いて、人の動作または状態に対応する処理を装置に行わせることができるようにするものである。

本発明の第１の側面の監視装置は、人の動作または状態を利用して装置の制御を行う制御装置に、前記人の動作または状態を出力する監視装置であって、人の顔向きを検出する顔向き検出手段と、前記人の視線方向を検出する視線方向検出手段と、前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定し、その判定結果を前記制御装置に出力する判定手段とを備える。

本発明の第１の側面の監視装置においては、人の顔向きが検出され、人の視線方向が検出され、さらに、人の視界に入る対象物と、人の顔向きまたは視線方向との関係に基づいて、人の動作または状態が判定され、その判定結果が制御装置に出力される。これにより、対象物と顔向きまたは視線方向との関係に基づく人の動作または状態に対応する処理を、装置に行わせることができる。

この顔向き検出手段、視線方向検出手段、および判定手段は、例えば、顔向き検出部、視線方向検出部、および判定部として機能するＣＰＵなどによって、それぞれ構成される。

前記対象物を判定対象リストに登録する登録手段をさらに設け、前記判定手段には、前記判定対象リストに登録されている前記対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定させることができる。これにより、登録された対象物と顔向きまたは視線方向との関係に基づく人の動作または状態に対応する処理を、装置に行わせることができる。

この登録手段は、例えば、対象リスト登録部として機能するＣＰＵなどによって構成される。

前記対象物には、時間の経過とともに前記人の視界に出現し、または前記人の視界から消滅する動的な対象物と、時間の経過に関わらず前記人の視界に入る静的な対象物とがあり、前記登録手段には、前記制御装置から、前記判定対象リストに登録する登録要求が供給された前記静的な対象物を、前記判定対象リストに登録させることができる。これにより、静的な対象物と顔向きまたは視線方向との関係に基づく人の動作または状態に対応する処理を、装置に行わせることができる。

前記登録手段には、前記動的な対象物を検出する対象物検出装置から、前記判定対象リストに登録する登録要求が供給された前記動的な対象物を、前記判定対象リストに登録させることができる。これにより、動的な対象物と顔向きまたは視線方向との関係に基づく人の動作または状態に対応する処理を、装置に行わせることができる。

この対象物検出装置は、例えば、撮像装置、画像処理装置、物体センサ、レーザ式または電波式のレーダ装置、レーザレーダ装置、前方画像監視装置、後方画像監視装置、または、室内画像監視装置などにより構成される。

前記判定対象リストには、前記対象物ごとに、判定を実行する時期、前記判定結果を通知する前記制御装置、および前記判定対象リストから前記対象物を削除する条件が少なくとも登録され、前記判定手段には、前記判定対象リストの前記判定を実行する時期に、前記人の動作または状態を判定させることができる。

前記人の顔の位置を検出する顔位置検出手段と、前記対象物の位置を、前記人の顔の位置を基準とする位置に変換する位置変換手段とをさらに設け、前記判定手段には、前記人の顔の位置を基準とする、前記対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定させることができる。これにより、人の顔の位置を基準とする、対象物と顔向きまたは視線方向との関係に基づく人の動作または状態に対応する処理を、装置に行わせることができる。

この顔位置検出手段および位置変換手段は、顔検出部および顔向き視線方向変換部として機能するＣＰＵなどによって、それぞれ構成される。

前記人の顔の器官の状態を検出する器官状態検出手段をさらに設け、前記判定手段には、前記人の顔の器官の状態にも基づいて、前記人の動作または状態を判定させることができる。これにより、顔の器官の状態にも基づく人の動作または状態に対応する処理を、装置に行わせることができる。

この器官状態検出手段は、例えば、器官状態検出部として機能するＣＰＵなどによって構成される。

本発明の第１の側面の制御方法は、人の動作または状態を利用して装置の制御を行う制御装置に、前記人の動作または状態を出力する監視装置の監視方法であって、前記人の顔向きを検出し、前記人の視線方向を検出し、前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定し、その判定結果を前記制御装置に出力するステップを含む。

本発明の第１の側面のプログラムは、人の動作または状態を利用して装置の制御を行う制御装置に、前記人の動作または状態を出力する処理を、コンピュータに実行させるプログラムであって、前記人の顔向きを検出し、前記人の視線方向を検出し、前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定し、その判定結果を前記制御装置に出力するステップを含む。

本発明の第１の側面の制御方法およびプログラムにおいては、人の顔向きが検出され、人の視線方向が検出され、さらに、人の視界に入る対象物と、人の顔向きまたは視線方向との関係に基づいて、人の動作または状態が判定され、その判定結果が制御装置に出力される。これにより、対象物と顔向きまたは視線方向との関係に基づく人の動作または状態に対応する処理を、装置に行わせることができる。

本発明の第２の側面の制御装置は、監視装置から出力される人の動作または状態を利用して装置の制御を行う制御装置であって、前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて前記人の動作または状態を判定する判定対象リストに、前記装置の一部を前記対象物として登録することを前記監視装置に要求し、その要求に応じて前記監視装置から返信されてくる前記判定の結果を利用して、前記装置に所定の処理を実行させる。

本発明の第２の側面の制御装置においては、人の視界に入る対象物と、人の顔向きまたは視線方向との関係に基づいて人の動作または状態を判定する判定対象リストに、装置の一部を対象物として登録することが監視装置に要求され、その要求に応じて監視装置から返信されてくる判定の結果を利用して、装置に所定の処理を実行させるようになされている。これにより、対象物と顔向きまたは視線方向との関係に基づく人の動作または状態に対応する処理を、装置に行わせることができる。

この制御装置は、例えば、オーバヘッド情報提示装置、エンジン制御装置、セキュリティ装置、パワーステアリング制御装置、オートシート制御装置、オートミラー制御装置、パワーウィンドウ制御装置、エアコン制御装置、オーディオ装置、ナビゲーション装置、音声応答装置、またはハンズフリー制御装置などにより構成される。

本発明の第２の側面の制御方法は、監視装置から出力される人の動作または状態を利用して装置の制御を行う制御装置の制御方法であって、前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて前記人の動作または状態を判定する判定対象リストに、前記装置の一部を前記対象物として登録することを前記監視装置に要求し、その要求に応じて前記監視装置から返信されてくる前記判定の結果を利用して、前記装置に所定の処理を実行させるステップを含む。

本発明の第２の側面のプログラムは、監視装置から出力される人の動作または状態を利用して行う装置の制御を、コンピュータを実行させるプログラムであって、前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて前記人の動作または状態を判定する判定対象リストに、前記装置の一部を前記対象物として登録することを前記監視装置に要求し、その要求に応じて前記監視装置から返信されてくる前記判定の結果を利用して、前記装置に所定の処理を実行させるステップを含む。

本発明の第２の側面の制御方法およびプログラムにおいては、人の視界に入る対象物と、人の顔向きまたは視線方向との関係に基づいて人の動作または状態を判定する判定対象リストに、装置の一部を対象物として登録することが監視装置に要求され、その要求に応じて監視装置から返信されてくる判定の結果を利用して、装置に所定の処理を実行させるようになされている。これにより、対象物と顔向きまたは視線方向との関係に基づく人の動作または状態に対応する処理を、装置に行わせることができる。

本発明によれば、人の顔向きや視線方向の情報を用いて、人の動作または状態に対応する処理を装置に行わせることができる。

人が対象物を見るときの視線方向を説明する図である。 人が対象物を見るときの視線方向を説明する図である。 人の顔向きと視線方向との関係を説明する図である。 本発明を適用した車載システムの一実施の形態の構成例を示すブロック図である。 運転席に座った運転者の視界に入る対象物の例を示す図である。 運転者の視界に入る対象物を複数の領域に分類した例を示す図である。 車外の対象物の例を示す図である。 運転者が見たときの方向と、レーザレーダ装置および前方画像監視装置が検出する方向との違いについて説明する図である。 運転者から見たときの方向と、後方画像監視装置が検出するとの違いについて説明する図である。 運転者監視装置のハードウエア構成例を示すブロック図である。 車載システムの機能的構成を表す機能ブロック図である。 顔向き視線方向検出部の詳細な構成例を示すブロック図である。 対象リスト記憶部において対象物のリストを記憶するときのデータ構造であるリンクリストについて説明する図である。 対象物の属性情報の構成例を示す図である。 対象物検出処理について説明するフローチャートである。 顔向き視線方向検出処理について説明するフローチャートである。 リスト登録処理について説明するフローチャートである。 判定処理について説明するフローチャートである。 顔向き視線方向利用処理について説明するフローチャートである。 最終視線方向の計算方法について説明する図である。 最終視線方向の計算方法について説明する図である。

符号の説明

１ 車載システム
１１ 監視装置
２５１ 対象検出部
２５２ 顔向き視線方向検出部
２５３−１乃至２５３−３ 顔向き視線方向情報利用部
２７１ 撮像部
２７２ 顔検出部
２７３ 顔向き検出部
２７４ 視線方向検出部
２７５ 器官状態検出部
２７６ 対象リスト登録部
２７７ 顔向き視線方向変換部
２７８ 対象リスト記憶部
２７９ 判定部

人の動作または状態を検出して装置の制御を行うことで、装置の利用に関する利便性が高まる。人の動作または状態を利用して装置の制御を行う場合、人の視界に入る対象物に応じて人の状態を判定することで、装置の制御を適切に行うことができる。
人の顔の向き（以下、顔向きと称する）と視線の方向（以下、視線方向と称する）をそれぞれ検出して、人の視界に入る対象物と顔向きおよび視線方向との関係に応じて人の状態を判定することで、人の顔向きまたは視線方向の一方のみを検出して、人の視界に入る対象物と顔向きまたは視線方向との関係に応じて人の状態を判定する場合よりも、装置の制御を適切に行うことができる。
顔向きまたは視線方向と対象物との関係の変化に応じて人の状態を判定することで、装置の制御をより適切に行うことができる。
顔向きと対象物との関係、および視線方向と対象物との関係の変化の違いに応じて人の状態を判定することで、装置の制御をより適切に行うことができる。
対象検出部を備えて所定の対象物を検出して管理することで、動的に出現する対象物に対応することが可能となり、装置の制御をより適切に行うことができる。
対象物を個別に管理することで、対象物ごとに装置の制御が異なる場合に対応することが可能となり、装置の制御をより適切に行うことができる。
時間の経過とともに、人の視界に入る対象物が変化する場合、各時点で存在している対象物に応じて人の状態を判定することで、装置の制御をより適切に行うことができる。
さらに、検出または登録されている対象物が、人が見るべき対象物であるか、または、見るべきではない対象物であるかに応じて人の状態を判定することで、より適切に装置の制御を行うことができる。
また、検出または登録されている対象物が、注意すべき対象物であるかに応じて人の状態を判定することで、より適切に装置の制御を行うことができる。

さらに、顔向きおよび視線方向が、対象物の方向を向いた時間、または、向いていなかった時間の長さに応じて人の状態を判定することで、より適切に装置の制御を行うことができる。
また、判定を行う時期を設定できるようにすることで、対象物と顔向きまたは視線方向との関係に応じた人の状態を適切なタイミングで判定することが可能となり、より適切に装置の制御を行うことができる。
さらに、対象物ごとに判定を行う時期を設定できるようにすることで、判定の頻度に求められる程度に対応して対象物と顔向きまたは視線方向との関係に応じて人の状態を判定することが可能となり、より適切に装置の制御を行うことができる。
また、人の状態または対象物の状態に応じて見るべき度合いや注意すべき度合いを変えることで、装置の制御をより適切に行うことができる。

人が対象物に顔や視線を向けるとき、人はその対象物に関心がある。例えば、人が美術館で絵画の前にじっと立って絵画を見る場合には、人の顔向きまたは視線方向と絵画との相対的関係は時間経過とともに変化しない。即ち、図１のＡに示すように、人の顔向きは、対象物である絵画の方向となる。また、視線方向は、絵画のいずれかの部分あるいは全体を見るための動作を行い、図１のＢに示すように、絵画内の関心がある領域付近を動くことがある。この対象物を見る動作が、顔向きと視線方向が対象物の方向とほぼ一致する基本的な動作である。

すなわち、人は所定の対象物に関心がありそれを見ようとするときには、対象物の方向に顔を向け、視線方向は視野内の対象物に対応する領域（対象領域）内で動く。したがって、顔向きまたは視線方向と対象物（対象領域）との関係を検出することで、対象物に対する人の関心の度合いがわかる。

具体的には、対象物の方向に対して顔向きまたは視線方向が近いほど、対象物への関心の度合いが高いと判定することができる。視線方向は対象物の方向とほぼ一致していて、顔向きが視線方向と異なる方向を向いているときは、顔向きが視線方向と一致しているとき（顔向きと視線方向の双方が対象物の方向を向いているとき）よりも、関心の度合いが低いと判定することができる。なお、顔向きと視線方向の差が大きいほど対象物に対する関心度を示す値が小さくなるように関心度を出力してもよい。

人が、特定の対象物に強い関心を持つと対象物を注視することがある。関心が特に強いときには、他の対象物には目を向けないので、特定の対象物を注視している時間が長くなる。対象物を注視する動作は、視線方向が対象の特定箇所に固定されるのが特徴である。対象物が人に対して移動する場合には、対象物の動きに追従するため、顔向きと視線方向が同じ方向に同じだけ変化する。

すなわち、視線方向が同じ方向に存在する対象物に長い時間向けられているときには、人が対象物に強い関心を持つことがわかる。
対象物が人に対して相対的に移動して、対象物の方向が変化したことが検出されたときに、顔向きと視線方向が同時に対象物と同じように移動したことが検出されたときには、人が対象物の動きを追っていることがわかる。

人は、顔向きの正面方向に関心の度合いが高い。このため、対象物の見える方向が変化したことが対象検出部によって検出されたときに、顔向きと視線方向の双方がほぼ対象物の方向に追従して変化している場合には、移動している対象物に対して関心の度合いが高いと判定することができる。顔向きが対象物の動きに追従せず、視線方向のみが追従している場合には、対象物に関心はあるが、顔向きと視線方向の双方が追従している場合よりも関心の度合いが低いと判定することができる。また、顔向きと視線方向の双方が対象物の動きと無関係に変化している場合には、対象物への関心が非常に低いと判定することができる。

以上のように、顔向きおよび視線方向と対象物との関係を検出し、個々の対象物について、関心の度合いを求めることで、複数の対象物のそれぞれに、人がどの程度の関心を持っているかを検出し、それぞれ出力することができる。

なお、対象物は、人から見たとき２次元の対象領域とみなすことができ、人の顔向きおよび視線方向が、その対象領域を通過するかどうかで、人が対象物を見ているかどうかを判断することができる。

人が見た対象物を認識して対象物の存在を把握するためには、所定の時間を必要とする。したがって、対象物が人の視線方向に存在していた時間を用いて、人が対象物の存在を把握した可能性があるかどうかを判定することができる。すなわち、人が対象物の方向に所定時間以上視線を向けていなかったときには、その人は対象物を認識していないと判定し、所定時間以上視線を向けていたときには、その人は対象物を認識していたと判定することができる。

さらに、顔向きを加味して判定することで、判定の精度を高めることができる。人は、顔向きの正面方向に関心が高い。このため、顔向きの正面方向の対象物に視線を向けた対象物の方が、顔向きの正面方向とは大きく異なる方向に存在する対象物に、顔を向けずに視線のみを向けた対象物よりも関心の度合いが高い。したがって、所定時間以上視線を向けていたときに対象物を認識していた程度が視線方向と顔向きの方向が近いほど高いと判定することができる。

人が対象物を見ている場合には、人の視線方向は、図２のＡに示すように、常に対象領域内を通過するが、図２のＢに示すように、視線方向が対象領域内に定まっていない場合には、人は、その対象物を見ていないと判断することができる。

直進状態の車において、顔向きを車の正面方向に向けた状態で、視線方向が横目で正面方向と大きく異なる方向を長時間見ている場合、脇見をしていることになるが顔向きのみで運転者の状態を検出する方法では脇見状態を検出することができない。しかしながら、運転者の顔向きと視線方向の双方を独立して検出すれば、顔向きが車の正面方向のほぼ一定の方向を向いていたとしても、視線方向が車の正面方向の所定の範囲内を超えて変化する場合には、適切に前方に気を配っていないと判定することができる。

また、直進状態の車において、運転者が前方に気を配っている場合には、運転者は、顔向きがほぼ一定の方向を向き、前方に存在する先行車両、道路標識、道路の白線、信号機、歩行者、または、障害物などが存在する方向に視線を向ける。また、信号機の無い交差点で右から交差点に進行してくる車がある場合には、運転者はその車のほうに視線を向ける。このような視線方向が特定の方向のみを見ていない状態では、視線方向のみを検出して運転者を監視するのでは、運転者が適切に前方を見ているのかを正確に判定することができない。しかしながら、運転者の顔向きと視線方向の双方を独立に検出し、顔向きがほぼ一定の方向を向き、かつ、視線方向が車の正面方向の所定の範囲内で変化している場合には、適切に前方に気を配っていると判定することができる。

見るべき対象物のうち、車が進行する道路の方向は、道路がカーブしているときには、車の進行に応じて変化する。このとき、車が進行する道路が見える方向の変化に応じて、顔向きのみを変化させる場合、視線方向のみを変化させる場合、および、顔向きと視線方向の両方を変化させる場合がある。運転者が進行方向の道路を見ているときには、視線方向または顔向きが車の正面方向を向いていなくても、脇見しているわけではない。運転者の顔向きと視線方向の双方を独立して検出し、顔向きが、見るべき対象物である車の進行方向の道路の方向を向いていて、かつ、視線方向が、見るべき対象物である車の進行方向の道路の方向付近の所定の範囲内で変化している場合には、運転者が適切に前方に気を配っていると判定することができる。

次に、図３を参照して、人の顔向きと視線方向との関係を説明する。

図３のＡは、人が最も単純な首振りの動きを行った場合の顔向きと視線方向を示している。この場合、顔向きと視線方向は同じ向きとなっている。特に何かの対象物を見ようとしたり、何かの意思を表そうとはしていない場合に、このような単純な首振り動作が行われる。

図３のＢは、人が左右または後方にある対象物を見ようとして振り返る首振りの動きを行った場合の顔向きと視線方向を示している。例えば、右後方で音が発生すると、人は何が起きたかを確認するために頭を右に向ける。また例えば、人は、他の人の声が右後方から聞こえてきて、しばらくしてそれが知っている人の声であることがわかり、話しかけようとする場合に右に振り向く。また、後方で発生した音が突発的なものである場合には、人は反射的に右方向を振り向くこともある。このような場合、視線方向が先に右方向に移動し、顔向きが遅れて右方向に移動する動きとなる。

図３のＣは、否定の意思を表すために首振りの動きを行った場合の顔向きと視線方向を示している。人が否定の意思を表すために首を２回横に振っているときには、顔向きは左右に変動するが、その間の視線方向は変化していない。即ち、対象物を見る動作が継続されている。

また、人が特定の対象物を注視しているときに、他人や装置からなにかを問いかけられ、無意識に首を縦や横に振る首振り動作を行う場合も、図３のＣに示すように、視線方向が変化せず、顔向きだけが変化する動きになる。

その他、例えば、肩が凝ったときや首が痛いときなどに頭部を回したり倒したりする動作を行うことがあるが、この動作を、車を運転中の運転者が行うときには、視線は前方に向けておく必要があるので、図３のＣに示すような、視線方向は前方のままで、顔向きが変化する動きとなる。また、図３のＣに示す顔向きおよび視線方向の変化は、運転中では、強い横加速度がかかるコーナリングのときに、外部からの加速度によって頭部が横に倒れるときにも発生する。加速度センサを備える構成にして、顔向きと併せて加速度を検出することで、外部から加えられた力によって顔向きが変わったのか（顔が動いたのか）、運転者が自らの意思で顔向きを変えたのか（顔を動かしたのか）を識別することができる。

なお、人は、通常、前方か手に触れる対象物を見ることが多く、視線方向も目の高さ付近に集中するので、横方向の顔向きおよび視線方向の動きが多くなる。従って、人の顔向きや視線方向が縦の動きをする場合は、人の状態が特別な状態であることが多い。例えば、首（頭）が縦に瞬間的に動くとき、即ち、顔向きが上下方向に瞬間的に動くときには、覚醒度が大きく低下している状態である可能性がある。人の覚醒度がわずかに低下した状態では、顔向きや視線方向はそのままとなることもあるが、その場合は、瞬きの間隔やまぶたを閉じている時間の長さの変化によって人の状態を検出することができる。

その他、人の顔向きや視線方向が縦の動きをする場合は、例えば、人からの問いかけに対して肯定の意思を示すときに首を縦に振ることがある。足元で音がするなど関心事項が発生した場合に、足元の方向を見るために頭を下に向けることがある。車の運転中には、基本的に前方を見るべきであるので、縦方向の動きは、安全上、特に重要である。

以上のように、顔向きや視線方向の動きは、対象物の方向との関係で特徴があり、対象物の方向と顔向きおよび視線方向との関係、即ち、対象物の方向と顔向きおよび視線方向との時間的な経過を知ることで、人の関心事項や人の動作および状態を把握することができる。そして、顔向きや視線方向を検出する対象者が車の運転者で、顔や視線を向ける対象物が前方の道路や車の装置（装備）である場合には、人の関心事項や人の動作および状態を把握することができれば、それに応じて装置の制御することができ、運転者の操作を簡易なものにしたり、より安全な運転を行うことができるようになる。

以下では、運転者の顔向きや視線の方向に応じて、車の装置に所定の動作を行わせるようにした実施の形態について説明する。

図４は、本発明を適用した車載システムの一実施の形態の構成例を示している。

車に搭載される制御装置である図４の車載システム１は、運転者監視装置１１、オーバヘッド情報提示装置１２、レーザレーダ装置１３、前方画像監視装置１４、後方画像監視装置１５、室内画像監視装置１６、エンジン制御装置１７、セキュリティ装置１８、パワーステアリング制御装置１９、オートシート制御装置２０、オートミラー制御装置２１、パワーウィンドウ制御装置２２、エアコン制御装置２３、オーディオ装置２４、ナビゲーション装置２５、音声応答装置２６、ハンズフリー制御装置２７、および車載バス２８により構成されている。

運転者監視装置１１は、運転者を撮像し、運転者の顔の位置を検出し、そこからさらに顔向きと視線方向を検出する。また、運転者監視装置１１は、車載バス２８を介して接続されている他の装置から供給される登録要求に従い、運転者が視認する対象である対象物を内部のリストに登録する。そして、運転者監視装置１１は、検出した顔向きと視線方向と対象物との関係に基づいて運転者の状態または動作についての判定を行い、その結果得られる判定結果を、車載バス２８を介して接続されているその他の装置に供給する。

オーバヘッド情報提示装置１２は、運転席前方のフロントグラスに設けられた表示部に文字や記号、または画像を投影することにより、所定の情報を運転者に提供する。例えば、オーバヘッド情報提示装置１２は、現在の速度を表す数値を表示する。

レーザレーダ装置１３は、所定の測定範囲内において方向を変えてレーザ光を照射し、物体から反射して返ってきたレーザ光の時間を測定することにより、検出対象となる対象物を検出する。前方画像監視装置１４、後方画像監視装置１５、および室内画像監視装置１６のそれぞれは、撮像して得られる画像を画像処理することにより、運転者の視界に入る対象物を検出する。ここで、対象物の検出とは、その対象物までの方向および距離（方向ベクトル）と対象物の大きさ（対象領域）が求められることを言う。また、前方画像監視装置１４は、車の前方（進行方向）の画像を撮像し、後方画像監視装置１５は、車の後方を撮像し、室内画像監視装置１６は、車の室内を撮像する点がそれぞれ異なる。前方画像監視装置１４は、例えば、自分の車（以下、自車とも称する）より前方の車（以下、先行車とも称する）や歩行者、または障害物などを検出する。後方画像監視装置１５は、例えば、自車より後方の車（以下、後続車とも称する）や歩行者、または障害物などを検出する。室内画像監視装置１６は、例えば、同乗者や荷物、ペット、または携帯電話機などを検出する。なお、前方画像監視装置１４、後方画像監視装置１５、および室内画像監視装置１６では、より正確に対象物を検出するために、ステレオカメラ等を採用することが可能である。

エンジン制御装置１７は、車を駆動するエンジンの制御を行い、運転者監視装置１１に走行状態の情報を通知する。セキュリティ装置１８は、ドアロックなどのセキュリティ管理を行い、セキュリティ状態を運転者監視装置１１に通知する。パワーステアリング制御装置１９は、パワーステアリングの制御を行う。

オートシート制御装置２０は、運転席の電動シートの制御を行い、シートポジジョンについての情報であるシートポジジョン情報を運転者監視装置１１に通知する。オートミラー制御装置２１は、運転者監視装置１１が検出した運転者の顔の位置に合わせて電動ミラーの角度を調整し、調整後の電動ミラーの方向（角度）を、電動ミラーの大きさ（面積）とともに、運転者監視装置１１に通知する。これにより、運転者監視装置１１は、運転者の顔の位置、オートシート制御装置２０からのシートポジション情報、およびオートミラー制御装置２１からの電動ミラーの方向および大きさから、運転者が電動ミラーを介して見ることができる後方の視界を計算することができる。

パワーウィンドウ制御装置２２は、ユーザによるパワーウィンドウスイッチの操作に応じて、ウィンドウの開閉を制御する。エアコン制御装置２３は、エアコンの制御を行う。オーディオ装置２４は、ラジオの放送局の電波を受信して音声を出力したり、ＣＤを再生して音声を出力する。

ナビゲーション装置２５は、ＧＰＳ （Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ ）を搭載し、所定の縮尺の地図上に車の現在位置を重畳させた画像を、ＬＣＤなどのディスプレイに表示して、運転者に進路を案内する。また、ナビゲーション装置２５は、ディスプレイの角度を電動で変更することができ、運転者にとって見やすいディスプレイの角度を登録することもできる。

音声応答装置２６は、運転者が発したボイスコマンドを音声認識して、そのボイスコマンドを対応する装置に供給したり、合成音声やメモリに記憶されている音声を用いて、所定の情報を運転者に報知する。

ハンズフリー制御装置２７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信により運転者所有の携帯電話機と接続し、音声データをやりとりする。

以上のように構成される車載システム１は、車を運転する運転者の顔向きおよび視線方向を検出し、その顔向きまたは視線方向と対象物との関係に基づいて、車に装着されている所定の装置（装備）を制御する。

より具体的には、路上の歩行者や対向車のような外部の物体を対象物として、運転者が対象物に顔や視線を向けたことに応じて、車載システム１が所定の装置に対応動作を行わせる。例えば、車載システム１は、暗い前方に歩行者を検出した場合、歩行者が前方にいることを強調して表示させたり、音声で歩行者の存在を通知する。

また、車載システム１は、運転者が対象物を見ていないことに対応して、所定の装置に対応動作を行わせることも可能である。例えば運転者が前方を十分な時間や頻度で見ていないときに、車載システム１が前方監視不十分状態の警告動作を行う。また例えば、車が高速道路の本線に流入するときに、運転者が本線を走行する車の方向を見ていなければ、車載システム１が本線を走行する車の方向を見るように注意を促す通知を行う。

運転者が見る対象物は、大まかには、 ・運転者自身（運転者の手など） ・運転している車のパーツ（ステアリングホイール、コンビネーションメータなど） ・車内に存在する物（携帯電話機など） ・自動者の周囲に存在する物（ガードレール、先行車など）というように分類することができる。

また、運転者が見る対象物を車内と車外とで分類すると、車内では、 ・運転者が操作する物（運転に関係するもの、運転に関係しないもの） ・表示に関係する物（運転に関係するもの、運転に関係しないもの） ・同乗者 ・荷物などがあり、車外では、 ・道路とその周辺に存在する物 ・自分の周囲の車（先行車、対向車、後続車など） ・障害物 ・道路の外の風景などがある。

また、対象物を、運転者に対して、前方にある物、後方にある物、および側方にある物、というように、運転者からの方向で分類することもできる。

図５は、運転席に座った運転者の視界に入る対象物の例を示している。

運転者は、車外を見る場合、フロントグラス５１、右ウィンドウ５２Ｒ、または左ウィンドウ５２Ｌを通して対象物を見る。図５において車外にある対象物としては、ボンネット５３や右ドアミラー５４Ｒや左ドアミラー５４Ｌがある。また、Ａピラー５５やＢピラー５６については、運転者が意識して見ることはないが、運転者が車外の歩行者などを見ようとしたときに、Ａピラー５５やＢピラー５６で視界が遮られることがあり、Ａピラー５５やＢピラー５６を対象物として登録しておくと、それらで遮られる車外の対象物を推測することができるので、対象物として登録するのが望ましい。

車内にある対象物には、運転者が操作を行う操作部と、運転者が操作を行わず、運転者に情報を伝えるための表示部とがある。操作部に含まれる対象物としては、オーディオ装置２４の操作パネル２４ｂ、ナビゲーション装置２５の操作パネル２５ｂ、エアコン装置６０の操作パネル６０ｂ、ステアリングホイール６１、ライトスイッチ、ワイパースイッチ、およびウィンカースイッチなどの取り付けられたコンビネーションスイッチ６２、ハザードスイッチ６３、パワーウィンドウスイッチ６４などがある。表示部に含まれる対象としては、オーディオ装置２４のディスプレイ２４ａ、ナビゲーション装置２５のディスプレイ２５ｂ、エアコン装置６０のディスプレイ６０ａ、オーバヘッド情報提示装置１２のディスプレイ１２ａ、コンビネーションメータ７２、ＡＴセレクタ表示部７３、クロック７４、ルームミラー７５である。その他、車内には、携帯電話機などが置かれる場合もあり、その場合、携帯電話機も対象物となる。なお、ルームミラー７５の付近には、運転者を撮像する運転者監視装置１１のカメラ１１ａと、車の前方を撮像する前方画像監視装置１４のカメラ１４ａとが取り付けられている。図５では、ルームミラー７５の上部に運転者監視装置１１のカメラ１１ａが取り付けられ、ルームミラー７５の下部に前方画像監視装置１４のカメラ１４ａが取り付けられている。

図６は、図５に示した運転者の視界に入る対象物を複数の領域に分類した例を示している。

運転者視界領域１０１Ａは、運転者の視界に入る全ての対象物を含む。また、運転者視界領域１０１Ａの中に、運転席領域１０１Ｄ、後方視界領域１０１Ｂ、および前方視界領域１０１Ｆが含まれる。なお、前方視界領域１０１Ｆは、その中に位置する後方視界領域１０１Ｂを含まない。

運転席領域１０１Ｄには、オーディオ装置２４、ナビゲーション装置２５、エアコン装置６０、ステアリングホイール６１、コンビネーションスイッチ６２、ハザードスイッチ６３、パワーウィンドウスイッチ６４、コンビネーションメータ７２、ＡＴセレクタ表示部７３、およびクロック７４などが対象物として含まれている。

後方視界領域１０１Ｂには、右ドアミラー５４Ｒ、左ドアミラー５４Ｌ、およびルームミラー７５などが対象物として含まれている。

前方視界領域１０１Ｆには、オーバヘッド情報提示装置１２のディスプレイ１２ａ、ナビゲーション装置２５のディスプレイ２５ｂ、フロントグラス５１、右ウィンドウ５２Ｒ、左ウィンドウ５２Ｌ、ボンネット５３、右ドアミラー５４Ｒ、左ドアミラー５４Ｌ、ステアリングホイール６１、コンビネーションスイッチ６２、ハザードスイッチ６３、コンビネーションメータ７２、およびクロック７４などが含まれている。

なお、運転席領域１０１Ｄ、後方視界領域１０１Ｂ、および前方視界領域１０１Ｆの各領域に含まれる対象物は、対象物の一部が領域に含まれていればよい。

図７は、ルームミラー７５の下部に取り付けられている前方画像監視装置１４のカメラ１４ａによって検出される車外の対象物の例を示している。

前方画像監視装置１４のカメラ１４ａによって、ボンネット５３、道路１２１、路側帯の白線１２２、センターライン１２３、ガードレール１２４ａ乃至１２４ｄ、ガードレール１２４ａ乃至１２４ｄに取り付けられたリフレクタ１２５ａ乃至１２５ｉ、道路標識１２６、信号機１２７、道路１２１上の落下物１２８、建築物１２９、先行車１３０、および歩行者１３１などが対象物として検出される。

次に、図８を参照して、前方にある対象物を、運転者が見たときの方向と、レーザレーダ装置１３および前方画像監視装置１４が検出したときの方向の違いについて説明する。

上述したように、前方画像監視装置１４のカメラ１４ａは、ルームミラー７５の下部に取り付けられている。従って、運転者が前方にある対象物２０１を見たときの方向と、前方画像監視装置１４が検出する対象物２０１の方向には違いが生じる。車体のフロアパネル２０２の前部に取り付けられているレーザレーダ装置１３についても同様のことが言える。

即ち、運転者は、前方にある対象物２０１を、実線の矢印で示される方向ベクトルＶＡにあるものと認識する。運転者監視装置１１は、その運転者の視線方向である方向ベクトルＶＡを、ルームミラー７５の上部に取り付けられたカメラ１１ａによって撮影した画像から検出する。

一方、ルームミラー７５の下部に取り付けられた前方画像監視装置１４のカメラ１４ａは、対象物２０１を、点線の矢印で示される方向ベクトルＶＢにあるものと認識する。また、車体のフロアパネル２０２の前方中央部分に取り付けられているレーザレーダ装置１３は、対象物２０１を、１点鎖線の矢印で示される方向ベクトルＶＣにあるものと認識する。

図８の方向ベクトルＶＡ，ＶＢ、およびＶＣの方向の違いは、運転者の顔の位置と、レーザレーダ装置１３、および前方画像監視装置１４の位置がそれぞれ異なることにより発生している。しかしながら、方向ベクトルＶＡ，ＶＢ、およびＶＣは、同一の対象物２０１の方向を向いているので、運転者監視装置１１は、運転者がレーザレーダ装置１３および前方画像監視装置１４によって検出された対象物２０１を見ていると判定するべきである。

そこで、運転者監視装置１１は、運転者監視装置１１、レーザレーダ装置１３、および前方画像監視装置１４の位置を、例えば、車体のフロアパネル２０２の中心部ＯＲＧを原点、前後方向をＸ軸、左右方向をＹ軸、垂直方向をＺ軸とする直交座標系（以下、適宜、自動車基準座標系と称する）で登録しておき、前方画像監視装置１４が検出した対象物２０１の方向ベクトルＶＢとレーザレーダ装置１３が検出した対象物２０１の方向ベクトルＶＣを、運転者の顔の位置を基準とする方向ベクトルＶＢ’およびＶＣ’に変換する。これにより、方向ベクトルＶＡとＶＢ’およびＶＣ’とが同一となり、運転者が対象物２０１を見ていると判定することができる。

直交座標系の原点は、上述した車体のフロアパネル２０２の中心部以外にも設定することが可能であるが、計算処理量軽減のため、地球上のある地点などではなく、運転者監視装置１１、レーザレーダ装置１３、および前方画像監視装置１４の位置が固定とされる車体上のどこかに設定するのがよい。

また、図９に示すように、運転者が、後方にある対象物２０３を、例えば、右ドアミラー５４Ｒを通して見ている場合、運転者の視線方向は、実線の矢印の方向ＶＤで表される。一方、車体のフロアパネル２０２の後方中央部分に取り付けられている後方画像監視装置１５は、対象物２０３を、点線の矢印で示される方向ＶＥとして認識する。

この場合も、後方画像監視装置１５が検出した対象物２０３の方向ＶＥが、運転者の顔の位置を基準とする方向に変換され、運転者が対象物２０３を見ていると判定することができる。なお、運転者の視線方向ＶＤは、右ドアミラー５４Ｒで反射されているので、運転者の位置を反射面を基準に折り返すなどの計算処理が必要である。

図１０は、運転者監視装置１１のハードウエア構成例を示すブロック図である。

運転者監視装置１１は、カメラ２１１、フレームメモリ２１２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１４、フラッシュメモリ２１５、車載バス接続部２１６、および内部バス２１７により構成されている。

カメラ２１１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像センサにより構成され、運転者を撮像し、撮像した運転者の画像をフレームメモリ２１２に供給する。なお、カメラ２１１では、上述したように、より正確に距離と方向を検出することができるように、２つの撮像センサで構成しても良い。

フレームメモリ２１２は、カメラ２１１で撮像された画像のデータを記憶し、必要に応じて、ＣＰＵ２１３、フラッシュメモリ２１５、車載バス接続部２１６などに供給する。

ＣＰＵ２１３は、ＲＯＭ２１４に記憶されているプログラムに従って、所定の処理、例えば、フレームメモリ２１２から供給された画像から、運転者の顔向きおよび視線方向を検出する処理などを行う。

ＲＯＭ２１４は、ＣＰＵ２１３で実行するプログラムや、プログラムの実行に必要な初期データなどを記憶する。フラッシュメモリ２１５は、プログラムの実行時に一時的に保存することが必要となったデータや、電源オフ後にも記憶しておくことが必要なデータを適宜記憶する。

車載バス接続部２１６は、車載バス２８と接続し、ＣＰＵ２１３やフレームメモリ２１２と車載バス２８より先の各装置との間でデータをやりとりする。内部バス２１７は、そこに接続されているフレームメモリ２１２、ＣＰＵ２１３、ＲＯＭ２１４、フレッシュメモリ２１５、および車載バス接続部２１６どうしでやりとりされるデータを中継する。

図１１は、図４の車載システム１の機能的構成を表す機能ブロック図である。

車載システム１は、機能的には、対象検出部２５１、顔向き視線方向検出部２５２、および顔向き視線方向情報利用部２５３−１乃至２５３−３により構成されている。

対象検出部２５１は、運転者が視認する対象となる対象物のうち、動的な対象物を検出する。動的な対象物とは、例えば、車の前方に出現した対向車や歩行者などの、時間の経過とともに運転者の視界に出現したり、視界から消滅する対象物である。なお、対象物には、動的な対象物のほかに、時間の経過に関わらず運転者の視界に入る静的な対象物がある。

対象検出部２５１は、検出した対象物について、登録要求を顔向き視線方向検出部２５２に供給する。登録要求は、対象物を、顔向きおよび視線方向との関係の判定を行う判定対象リストへ登録することを要求するコマンドである。なお、対象検出部２５１は、対象物の登録要求を供給するとき、その対象物の属性情報も顔向き視線方向検出部２５２に供給する。対象物の属性情報には、対象物を識別するＩＤ、対象物の位置（方向）および大きさ（領域）などが含まれている。一定の時間、継続的に検出される同一の対象物については、同一のＩＤが付与される。従って、例えば、先行する車が数台検出されたとしても、それらを区別して、認識することができる。なお、対象検出部２５１に通信機能を持たせ、他の外部装置が検出した対象物についても登録要求を行うようにさせることもできる。

対象検出部２５１は、例えば、撮像装置、画像処理装置、物体センサ、レーザ式または電波式のレーダ装置などにより構成され、図４のレーザレーダ装置１３、前方画像監視装置１４、後方画像監視装置１５、および室内画像監視装置１６に対応する。

顔向き視線方向検出部２５２には、対象検出部２５１から、動的な対象物の登録要求が、また、顔向き視線方向情報利用部２５３−１乃至２５３−３から、静的な対象物の登録要求が、属性情報とともに、それぞれ供給される。

顔向き視線方向検出部２５２は、運転者の顔向きと視線方向を検出するとともに、登録要求が供給された対象物と運転者の顔向きまたは視線方向との関係を判定し、判定結果を顔向き視線方向情報利用部２５３−１乃至２５３−３（のいずれか）に供給する。なお、判定結果を顔向き視線方向情報利用部２５３−１乃至２５３−３のいずれに供給するかについては、対象物の属性情報（図１４を参照して後述する）に設定されている。顔向き視線方向検出部２５２は、図４の運転者監視装置１１に対応する。

顔向き視線方向情報利用部２５３（２５３−１乃至２５３−３のそれぞれ）は、図４のオーバヘッド情報提示装置１２、エンジン制御装置１７、セキュリティ装置１８、パワーステアリング制御装置１９、オートシート制御装置２０、オートミラー制御装置２１、パワーウィンドウ制御装置２２、エアコン制御装置２３、オーディオ装置２４、ナビゲーション装置２５、音声応答装置２６、およびハンズフリー制御装置２７に対応する。

顔向き視線方向情報利用部２５３は、操作パネルなど、自分の所定の領域を、静的な対象物として、その対象物の登録要求を顔向き視線方向検出部２５２に供給する。

顔向き視線方向情報利用部２５３は、顔向き視線方向検出部２５２から供給される判定結果を基に所定の動作を行わせる。

例えば、顔向き視線方向情報利用部２５３がパワーウィンドウ制御装置２２である場合、パワーウィンドウ制御装置２２は、パワーウィンドウスイッチを対象物として登録要求を行う。そして、判定結果として、運転者がパワーウィンドウスイッチを見ていることが顔向き視線方向検出部２５２（としての運転者監視装置１１）から通知された場合、パワーウィンドウ制御装置２２は、所定の動作として、パワーウィンドウスイッチのライトを点灯させる。

また例えば、顔向き視線方向情報利用部２５３がエアコン制御装置２３である場合、エアコン制御装置２３は、操作パネルを対象物として登録要求を行う。そして、判定結果として、停車中に運転者がエアコン制御装置２３の操作パネルを見ていることが通知された場合、エアコン制御装置２３は、所定の動作として、室内灯またはエアコンの操作パネルの照明を明るくする。これにより、運転者のエアコンの操作を容易にさせる。

例えば、顔向き視線方向情報利用部２５３がオーディオ装置２４である場合、オーディオ装置２４は、操作パネルを対象物として登録要求を行う。そして、判定結果として、停車中に運転者がオーディオ装置２４の操作パネルを見ていることが通知された場合、オーディオ装置２４は、所定の動作として、再生中のコンテンツの詳細情報をディスプレイに表示する。ここで、コンテンツの詳細情報とは、オーディオ装置２４が放送局の電波を受信して音声を出力するラジオである場合、例えば、選局されている放送局名であり、オーディオ装置２４がＣＤプレーヤである場合、再生中のトラックのトラック番号、曲のタイトル、アーティスト名などである。

例えば、顔向き視線方向情報利用部２５３がナビゲーション装置２５である場合、ナビゲーション装置２５は、操作パネルを対象物として登録要求を行う。そして、判定結果として、停車中に運転者がナビゲーション装置２５の操作パネルを見ていることが通知された場合、ナビゲーション装置２５は、所定の動作として、地図をスクロールさせたり、目的地の位置設定、または項目の選択などを行う。また、運転者がナビゲーション装置２５のディスプレイを走行中に長時間注視している判定結果が通知されると、ナビゲーション装置２５は、警告音を発生させたり、表示を消したりさせてもよい。

例えば、顔向き視線方向情報利用部２５３がハンズフリー制御装置２７である場合、ハンズフリー制御装置２７は、近距離無線通信により接続される携帯電話機を対象物として登録要求を行う。そして、判定結果として、運転者が携帯電話機を見ていることが通知された場合、ハンズフリー制御装置２７は、所定の動作として、通話や操作を行うことができない状態（ドライブモードなど）に携帯電話機をさせる。

例えば、顔向き視線方向情報利用部２５３が音声応答装置２６である場合、音声応答装置２６は、突発音や救急車のサイレンなど人が反応する特徴を持つ音を検出して、音の方向を求め、音の発生源を対象物として登録要求を行う。そして、判定結果として、運転者が音の発生源を見ていることが通知された場合、音声応答装置２６は、所定の動作として、脇見の警告音を発生させる。

また、顔向き視線方向情報利用部２５３は、必要に応じて、自身の制御情報を顔向き視線方向検出部２５２に供給することができる。例えば、顔向き視線方向情報利用部２５３としてのオートミラー制御装置２１は、調整後の電動ミラーの方向（角度）および大きさ（面積）の情報を、顔向き視線方向検出部２５２に通知する。

なお、図１１では、車載システム１が３つの顔向き視線方向情報利用部２５３−１乃至２５３−３を有することとしているが、顔向き視線方向情報利用部２５３は、１つまたは２つとすることもできるし、４以上とすることもできる。或いは、顔向き視線方向情報利用部２５３の下図が、車載システム１の状態に応じて、最適に増減するものでもよい。

図１２は、図１１の顔向き視線方向検出部２５２の詳細な構成例を示すブロック図である。

顔向き視線方向検出部２５２は、撮像部２７１、顔検出部２７２、顔向き検出部２７３、視線方向検出部２７４、器官状態検出部２７５、対象リスト登録部２７６、顔向き視線方向変換部２７７、対象リスト記憶部２７８、および判定部２７９により構成されている。

撮像部２７１は、被写体としての運転者を撮像し、その結果得られる画像（信号）を顔検出部２７２に供給する。

顔検出部２７２は、撮像部２７１から供給された画像から、運転者の顔の領域を検出し、検出された顔の領域の画像（以下、適宜、顔画像と称する）を顔向き検出部２７３、視線方向検出部２７４、および器官状態検出部２７５に供給する。

また、顔検出部２７２は、撮像部２７１から供給された運転者の画像と、顔向き視線方向情報利用部２５３からの制御情報に基づいて、運転者の顔の位置を検出し、その検出結果、を顔の位置情報として顔向き検出部２７３、視線方向検出部２７４、器官状態検出部２７５、および顔向き視線方向変換部２７７に供給する。具体的には、顔検出部２７２は、撮像部２７１から供給される運転者の画像と、顔向き視線方向情報利用部２５３としてのオートシート制御装置２０から供給されるシートポジション情報、および、顔向き視線方向情報利用部２５３としてのオートミラー制御装置２１から供給される電動ミラーの方向および大きさに基づいて、運転者の顔の位置を検出する。ここで得られる運転者の顔の位置は、自動車基準座標系における座標として求められる。

顔向き検出部２７３は、顔検出部２７２から供給される運転者の顔画像から、運転者の顔向きを検出し、その検出結果を顔向き情報として判定部２７９に供給する。視線方向検出部２７４は、顔検出部２７２から供給される運転者の顔画像から、運転者の視線方向を検出し、その検出結果を視線方向情報として判定部２７９に供給する。

ここで求められる運転者の顔向きおよび視線方向は、自動車基準座標系において、運転者の顔の位置を始点とし、Ｘ軸、Ｙ軸、またはＺ軸との角度として求められる。

器官状態検出部２７５は、顔検出部２７２から供給される運転者の顔画像から、目、鼻、口、眉、および耳などの、運転者の顔の器官を検出し、その検出結果を器官情報として判定部２７９に供給する。器官情報としては、目、鼻、口、眉、および耳の位置についての情報のほか、運転者が瞬きした動作や、あくびをした動作などを表す情報がある。

対象リスト登録部２７６には、動的な対象物の登録要求が対象検出部２５１（図１１）から供給されるとともに、静的な対象物の登録要求が顔向き視線方向情報利用部２５３（図１１）から供給される。なお、上述したように、対象物の登録要求が供給される場合には、それと同時に、対象物の属性情報（以下、適宜、対象情報とも称する）も供給される。

対象リスト登録部２７６は、登録要求が供給された対象物の属性情報に含まれる対象物の位置を顔向き視線方向変換部２７７に供給して、対象物の位置を、運転者の顔の位置を基準にした位置に変換させる。対象リスト登録部２７６は、変換後の対象物の位置を顔向き視線方向変換部２７７から取得し、変換後の位置を含む対象情報を対象リスト記憶部２７８に供給することにより、対象物を判定対象リストに登録する。

例えば、車のエンジンが始動すると、静的な対象物としてのパワーウィンドウスイッチ６４やエアコン装置６０の操作パネル６０ｂの登録要求が顔向き視線方向情報利用部２５３（図１１）から対象リスト登録部２７６に供給される。対象リスト登録部２７６は、パワーウィンドウスイッチ６４やエアコン装置６０の操作パネル６０ｂの属性情報を対象リスト記憶部２７８の判定対象リストに登録する。また例えば、ナビゲーション装置２５は、ディスプレイ２５ａと操作パネル２５ｂを対象リスト登録部２７６に登録要求する。また、ナビゲーション装置２５は、ディスプレイ２５ａに表示された図形や操作スイッチを対象リスト登録部２７６に登録要求する。オーディオ装置２４は、ディスプレイ２４ａと操作パネル２４ｂを対象リスト登録部２７６に登録要求する。エアコン制御装置６０は、ディスプレイ６０ａと操作パネル６０ｂを対象リスト登録部２７６に登録要求する。パワーステアリング制御装置１９は、ステアリングホイール６１、コンビネーションスイッチ６２、コンビネーションメータ７２などを登録要求する。前方画像監視装置１４は、ドアミラー５４Ｒおよび５４Ｌ、ルームミラー７５、運転者の視線を遮るＡピラー５５などを登録要求する。

なお、静的な対象物は、工場での装置の組み立て時や販売店での装置の取り付け時に、対象物の位置が決定するので、工場組み立て後や販売店での取付後に、予め判定対象リストに登録させることができる。顔向き視線方向情報利用部２５３が検出することを必要とする対象物を判定対象リストに登録することにより、顔向き視線方向情報利用部２５３の増減に柔軟に対応することができる。

また、対象検出部２５１によって登録要求される動的な対象物の例としては、歩行者や障害物がある。また例えば、前方画像監視装置１４は、対向車、道路標識、信号機、道路上や道路周辺に存在する物体、空などの背景、横断歩道、自車の走行する車線、対向車線の道路領域、自転車などを登録要求する。後方画像監視装置１５は、後方を走行する車や、後退するときの自車周辺の障害物を登録要求する。室内画像監視装置１６は、運転者や同乗者を含む人、ペットなどの動物、バッグ、荷物、ぬいぐるみ、携帯電話機などの車に搭載された荷物、シート、シートベルトなどの車の一部、車内で発生する煙など、画像処理で検出可能な対象を登録要求する。

動的に検出された対象物は、検出されなくなった時点で、対象検出部２５１から削除要求が供給され、対象リスト登録部２７６は、削除要求された対象物の属性情報を、対象リスト記憶部２７８の判定対象リストから削除する。また、対象リスト登録部２７６は、属性情報に含まれる登録削除条件を参照し、そこに記載されている登録削除の条件に合致した対象物についても、対象リスト記憶部２７８の判定対象リストから削除する。

顔向き視線方向変換部２７７には、顔検出部２７２から運転者の顔の位置を表す位置情報が供給される。また、顔向き視線方向変換部２７７には、自動車基準座標系上における、対象検出部２５１の位置、即ち、レーザレーダ装置１３、前方画像監視装置１４、後方画像監視装置１５、および室内画像監視装置１６それぞれの取付位置が記憶されている。従って、運転者の顔の位置が顔向き視線方向変換部２７７に供給されると、運転者の顔の位置を基準とする対象検出部２５１の位置がベクトルとして求められる。この求められたベクトルを対象検出装置ベクトルと称する。

顔向き視線方向変換部２７７は、対象リスト登録部２７６から供給される、自動車基準座標系上における対象物の位置を、運転者の顔の位置を基準にした位置に変換する。なお、運転者の顔の位置を基準にした位置は、供給される対象物の位置ベクトルから、対象検出装置ベクトルを引くことにより求めることができる。

対象リスト記憶部２７８は、対象リスト登録部２７６から供給された対象情報を、図１３を参照して後述するように、リンクリストのデータ構造で記憶する。このリンクリストのデータ構造で記憶された対象情報が判定対象リストとなる。

判定部２７９は、顔向き検出部２７３、視線方向検出部２７４、および器官状態検出部２７５からそれぞれ供給される、運転者の顔向き、視線方向、および器官情報に基づいて、判定対象リストに登録されている対象物について各種の判定を行い、その結果得られる判定結果を顔向き視線方向情報利用部２５３に通知する。例えば、判定部２７９は、対象物として登録されたパワーウィンドウスイッチ６４の位置と、運転者の顔向きおよび視線方向とに基づいて、運転者がパワーウィンドウスイッチ６４を見ているか否かを判定し、その判定結果を顔向き視線方向情報利用部２５３としてのパワーウィンドウ制御装置２２に通知する。

次に、図１３を参照して、対象リスト記憶部２７８において対象物のリストを記憶するときのデータ構造であるリンクリストについて説明する。

判定対象リストは対象物の情報を記憶する機能を有する。対象物に関する情報は判定対象リストから読み出すことができる。以下の説明は例であり、判定対象リストの構成は以下に説明する構成に限定されない。対象物に関する情報が記憶されて、読み出せる構成となっていればよい。

対象リスト記憶部２７８では、参照される項目のうちの、先頭項目のアドレスＡＤＲＳＴと最終項目のアドレスＡＤＲＥＤが予め決定されている。

そして、先頭項目であるアドレスＡＤＲＳＴの位置に、１つ目の対象情報Ｂ１が記憶されている位置であるアドレスＡＤ１が記憶されている。また、１つ目の対象情報Ｂ１が記憶されているアドレスＡＤ１の位置には、その対象情報Ｂ１と、２つ目の対象情報Ｂ２が記憶されている位置であるアドレスＡＤ２が記憶されている。以下、同様に、アドレスＡＤ２の位置には、対象情報Ｂ２とアドレスＡＤ３が記憶され、アドレスＡＤ３の位置には、対象情報Ｂ３とアドレスＡＤ４が記憶されている。そして、アドレスＡＤ４の位置には、対象情報Ｂ４と最終項目のアドレスＡＤＲＥＤが記憶されている。

また、例えば、新たな対象情報Ｂ５が対象リスト記憶部２７８に登録される場合、アドレスＡＤＲＥＤに代えて、対象情報Ｂ５を記憶させたアドレスが、アドレスＡＤ４の位置の対象物情報Ｂ４の後段に記憶される。対象情報Ｂ５を記憶させたアドレスをＡＤ５とすると、その対象情報Ｂ５が記憶されたアドレスＡＤ５の位置には、最終項目のアドレスＡＤＲＥＤが記憶される。

従って、対象リスト記憶部２７８を参照する判定部２７９は、それぞれに記憶されているアドレスの位置を先頭項目から最終項目までを順次参照することにより、登録されている対象情報を確認することができる。

図１４は、対象情報（対象物の属性情報）の構成例を示している。

対象情報は、図１４に示すように、１）ＩＤ、２）名称、３）位置、大きさ、および形状、４）登録した装置、５）通知する装置のリスト、６）出力形式、７）対象物の検出時間、８）判定時期の条件、９）登録削除条件、１０）対象物の要注意度、１１）対象物の説明、１２）見るべき度、１３）状態との対応、および１４）通知内容の１４項目からなっている。なお、すべての項目が必ずしも記載される必要はなく、不要な項目は省略することが可能である。以下に、各項目について説明する。

１）ＩＤ
この項目には、対象リスト記憶部２７８に登録された対象情報を識別するＩＤが記載される。

２）名称
この項目には、対象物の名称が記載される。名称は、個人名など固有の名前でも、車種や犬、猫などの分類名でもよい。また、名称は、“前方の歩行者”や“駐車禁止の標識”のような説明的な表現でもよい。無線通信装置で検出されるＩＤ（識別子）や、運転者が任意に設定したＩＤなどを名称としてもよい。対象物が車である場合には、車のナンバープレートに記載された登録番号を読み取って名称としてもよい。例えば、前方画像監視装置１４が検出した対象物の名称を画像とともにオーバヘッド情報提示装置１２に表示させることにより、運転者に通知することができる。

３）位置、大きさ、および形状
この項目には、対象物の位置、大きさ（領域）、および形状が記載される。対象物の位置は、運転者の顔の位置を基準とした位置ベクトルで表される。対象物の大きさは、２次元の領域で表すことができる。例えば、ナビゲーション装置２５のディスプレイ２５ａについては、ディスプレイ２５ａの四隅を示す４つの座標で表現される矩形の領域とすることができる。形状は、球状、直方体など、対象物の見かけの形で表される。また、形状は、３次元ＣＡＤデータや、その他の形式で表すことができる。例えば、運転者の目から見てふくらみのある３次元形状のボンネット５３の形状を、車のＣＡＤデータを採用することができる。

４）登録した装置
この項目には、対象リスト記憶部２７８に登録した装置（対象検出部２５１や顔向き視線方向情報利用部２５３）が記載される。

５）通知する装置のリスト
この項目には、判定部２７９が判定結果を通知する対象の装置（通知対象装置）のリストが記載される。判定部２７９がこの項目を参照し、判定対象リストに登録された装置に判定結果を通知することで、複数の装置に通知することが可能となり、対象物を登録した装置以外の装置にも通知することが可能となる。

６）出力形式
この項目には、判定部２７９が判定結果を出力するときの形式が記載される。例えば、顔向きや視線方向を“３次元ベクトル形式で出力する”や“極座標形式で出力する”などのような出力形式が指定可能である。

７）対象物の検出時間
この項目には、対象物が検出された時間が記載される。あるいは、対象物が検出されていない間の時間が記載される場合もある。これにより、対象物がいつからいつまで検出されたかに応じた装置の利用が可能となる。

８）判定時期の条件
この項目には、判定部２７９が対象物の判定を行う判定時期の条件が記載される。判定時期の条件としては、例えば、“装置から要求があるとき”、“１秒間隔など所定の間隔”、“対象物の状態が所定の状態になったとき”、“運転者や歩行者など人の状態が所定の状態になったとき”、または、“自車、対向車、先行車など車の状態が所定の状態になったとき”などがある。また、車外に存在する対象物について、車の速度が大きくなるほど判定周期を短く設定するようにすれば、高速で走行しているときに、判定が遅れるのを防ぐことができる。車外に存在する対象物について、対象物までの距離が短いほど判定周期を短く設定するようにすれば、対象物に接近するまでの時間が短いときに、判定が遅れるのを防ぐことができる。運転者が対象物の確認をすべき程度が高い場合に、判定周期を短く設定するようにすれば、運転者が対象物を確認していないことの検出を適切に行うことができる。

９）登録削除条件
この項目には、判定対象リストから対象情報を削除する条件が記載される。条件は、例えば、“対象物を登録した装置から削除要求が送られたとき”、“登録時に設定された時間が経過したとき”、“登録された対象物を利用する装置が検出されなくなったとき”、“対象物が検出されなくなったとき”、“対象物が所定の状態になったとき”、“人が所定の状態になったとき”、または“車が所定の状態になったとき”などがある。

１０）対象物の要注意度
この項目には、対象物が要注意であるかについての度合いが記載される。この項目の情報は、顔向き視線方向情報利用部２５３によって利用される。例えば、自車が走行している車線の前方に、歩行者、自転車、または障害物が対象物として検出されたときにはその対象物の要注意度が高く設定される。また例えば、対象物としての道路標識の要注意度が高く設定される。要注意度は複数レベルに設定してもよい。あるいは、自車の速度が大きいときに要注意度を高く設定するようにしてもよい。

１１）対象物の説明
この項目には、対象物の説明や詳細情報が記載される。この項目の情報は、顔向き視線方向情報利用部２５３によって利用される。例えば、この項目の情報を、オーバヘッド情報提示装置１２に表示させたり、音声応答装置２６に音声で出力させたりすることができる。

１２）見るべき度
この項目には、対象物を“見るべきである”のか、あるいは、“見るべきではない”のかを表す“見るべき度”が記載されている。この項目では、例えば、１００または０などの値で、それぞれ、“見るべきである”のか、あるいは、“見るべきではない”のかが表される。例えば、運転者は走行中にエアコン装置６０の操作パネル６０ｂや、オーディオ装置２４のディスプレイ２４ａ、車側方の風景などを長時間見ると危険である。従って、これらの対象物に対しては低い“見るべき度”が設定される。一方、前方画像監視装置１４で検出される前方の歩行者や自転車の飛び出しを見落とすと非常に危険であり、運転者は走行中に前方の道路領域を見て安全を確認すべきである。従って、この対象物に対しては高い“見るべき度”が設定される。

１３）状態との対応
この項目には、上述した１２）の“見るべき度”の程度が、運転者の状態や車の走行状態に応じて変わる場合に、運転者の状態や車の走行状態に対応させた“見るべき度”が記載される。この項目では、例えば、０乃至１００の間の数値で、“見るべき度”の程度が表される。例えば、走行中にオーディオ装置２４のディスプレイ２４ａや携帯電話機を長時間注視することは危険であるが、駐車中であれば問題がない。従って、オーディオ装置２４のディスプレイ２４ａや携帯電話機の対象物に対して、走行中に対して低い“見るべき度”、および、運転中に対して高い“見るべき度”が記載される。また例えば、駐車中には、前方を見る必要がないが走行中には安全を確認するために前方を見る必要がある。従って、前方の対象物に対して、走行中には高い“見るべき度”、および、停車中には低い“見るべき度”が記載される。さらに例えば、燃料タンクの残量表示を長時間見つめるべきではないが、高速道路の運転中などでは、長時間燃料タンクの残量表示を見ずに走行すればガソリンが無くなることがあるので、時々確認する必要がある。速度計も同様である。これらの対象物については、運転者が見ていなかった時間の長さに応じて、高、中、低それぞれの程度の“見るべき度”が設定される。

１４）通知内容
この項目には、通知内容の範囲を指定する条件が記載される。対象物ごと、あるいは通知対象装置ごとにこの項目の内容を設定することもできる。

次に、図１５のフローチャートを参照して、動的な対象物の検出を行う対象検出部２５１の対象物検出処理について説明する。ここでは、対象検出部２５１として、前方画像監視装置１４が処理を行う場合の例を説明する。この処理は、例えば、車載システム１が起動されたときに開始され、車載システム１が停止されるまで繰り返し実行される。なお、処理開始または終了のタイミングについては、後述する図１６乃至図１９のフローチャートも同様である。

初めに、ステップＳ１において、対象検出部２５１（前方画像監視装置１４）が、１枚の画像を撮像し、その結果得られた画像のなかに、対象物を検出したか否かを判定する。ステップＳ１で、対象物を検出していないと判定した場合、対象検出部２５１は、処理をステップＳ６に進める。

一方、ステップＳ１で、対象物を検出したと判定された場合、ステップＳ２において、対象検出部２５１は、検出された対象物が以前と同一の対象物であるか否かを判定する。後述するように、ステップＳ１の処理は、定期的に、あるいは、不定期に繰り返されるため、以前に検出したものと同一の対象物が検出される場合がある。そのため、ステップＳ２の処理では、今回のステップＳ１の処理で検出された対象物が、前回のステップＳ１の処理で検出された対象物と同一であるか否かが判定される。

ステップＳ２で、検出された対象物が以前と同一の対象物ではないと判定された場合、ステップＳ３において、対象検出部２５１は、その検出された対象物の登録要求を、検出された対象物の属性情報とともに、顔向き視線方向検出部２５２の対象リスト登録部２７６に供給する。

ステップＳ２で、検出された対象物が以前と同一の対象物であると判定された場合、ステップＳ４において、対象検出部２５１は、その検出された対象物の属性情報のうちの２）の位置、大きさ、および形状の情報を、対象リスト登録部２７６に供給して、更新する。

ステップＳ３またはＳ４の処理後、ステップＳ５において、対象検出部２５１は、ステップＳ１の処理で撮像された画像において、他の対象物を検出したか否かを判定する。ステップＳ５で、他の対象物を検出したと判定された場合、対象検出部２５１は、処理をステップＳ２に戻し、上述したステップＳ２乃至Ｓ５の処理を繰り返す。

一方、ステップＳ５で、他の対象物を検出していないと判定された場合、ステップＳ６において、対象検出部２５１は、ステップＳ１の処理で撮像された画像において、前回の画像と比較して、検出されなくなった対象物があるか否かを判定する。ステップＳ６で、検出されなくなった対象物はないと判定された場合、処理は終了する。なお、前回の画像がない場合についても、ステップＳ６では、検出されなくなった対象物がないと判定される。

一方、ステップＳ６で、検出されなくなった対象物があると判定された場合、ステップＳ７において、対象検出部２５１は、検出されなくなった対象物の削除要求を顔向き視線方向検出部２５２の対象リスト登録部２７６に供給し、処理を終了する。

ステップＳ１乃至Ｓ７の処理は、上述したように、車載システム１が停止するまで繰り返されるので、車載システム１では、動的な対象物の検出が常に実行され、新たに検出された対象物については、登録要求が対象リスト登録部２７６に供給されるとともに、検出されなくなった対象物については、削除要求が対象リスト登録部２７６に供給される。

次に、図１６のフローチャートを参照して、顔向き視線方向検出部２５２の顔向き視線方向検出処理について説明する。

初めに、ステップＳ２１において、撮像部２７１は、被写体としての運転者を撮像し、その結果得られる画像を顔検出部２７２に供給する。

ステップＳ２２において、顔検出部２７２は、撮像部２７１から供給された画像から、運転者の顔の領域を検出し、検出された顔の領域の画像（顔画像）を顔向き検出部２７３、視線方向検出部２７４、および器官状態検出部２７５に供給する。

ステップＳ２３において、顔検出部２７２は、撮像部２７１によって撮像された運転者の画像と、顔向き視線方向情報利用部２５３からの制御情報に基づいて、運転者の顔の位置を検出し、その検出結果を顔の位置情報として、顔向き検出部２７３、視線方向検出部２７４、器官状態検出部２７５、および顔向き視線方向変換部２７７に供給する。

ステップＳ２４において、顔向き検出部２７３は、顔検出部２７２から供給される運転者の顔画像から、運転者の顔向きを検出し、その検出結果を顔向き情報として判定部２７９に供給する。

ステップＳ２５において、視線方向検出部２７４は、顔検出部２７２から供給される運転者の顔画像から、運転者の視線方向を検出し、その検出結果を視線方向情報として判定部２７９に供給する。

ステップＳ２６において、器官状態検出部２７５は、顔検出部２７２から供給される運転者の顔画像から、目、鼻、口、眉、耳などの、運転者の顔の器官を検出し、その検出結果を器官情報として判定部２７９に供給して、処理を終了する。

次に、図１７のフローチャートを参照して、顔向き視線方向検出部２５２のリスト登録処理について説明する。

初めに、ステップＳ４１において、対象リスト登録部２７６は、対象検出部２５１または顔向き視線方向情報利用部２５３から、対象物の登録要求があったか否かを判定し、対象物の登録要求があると判定するまで待機する。

ステップＳ４１で、対象物の登録要求があると判定された場合、ステップＳ４２において、対象リスト登録部２７６は、登録要求が供給された対象物の属性情報に含まれる対象物の位置を顔向き視線方向変換部２７７に供給して、対象物の位置を運転者の顔の位置を基準とする位置に変換させる。顔向き視線方向変換部２７７は、供給された対象物の位置を、運転者の顔の位置を基準とする位置に変換する。

ステップＳ４３において、対象リスト登録部２７６は、変換後の位置を含む対象情報を対象リスト記憶部２７８に供給することにより、対象物を判定対象リストに登録する。

ステップＳ４４において、対象リスト登録部２７６は、判定対象リストから削除する対象物があるか否かを判定する。ステップＳ４４では、対象検出部２５１から削除要求が供給されたか、または、対象情報のなかの登録削除条件を満たす対象物が存在した場合、判定対象リストから削除する対象物があると判定される。ステップＳ４４で、削除する対象物がないと判定された場合、ステップＳ４５がスキップされ、処理は終了する。

一方、ステップＳ４４で、削除する対象物があると判定された場合、ステップＳ４５において、対象リスト登録部２７６は、削除が決定された対象物を、対象リスト記憶部２７８の判定対象リストから削除して、処理を終了する。

次に、図１８のフローチャートを参照して、判定対象リストに登録された対象物について判定する判定処理について説明する。

初めに、ステップＳ６１において、判定部２７９は、対象リスト記憶部２７８に判定対象リストとして登録されている対象物があるか否かを判定し、登録されている対象物があると判定されるまで、ステップＳ６１の処理が繰り返される。

そして、ステップＳ６１で、登録されている対象物があると判定された場合、ステップＳ６２において、判定部２７９は、判定対象リストから１つの対象物を選択する。ステップＳ６１の処理後の１回目の処理では、図１３を参照して説明したように、アドレスＡＤ１の位置に記憶されている対象物が選択される。ここで選択された対象物を、以下では、選択対象物と称する。

ステップＳ６３において、判定部２７９は、選択対象物が、その属性情報のうちの判定時期の条件を満足するか否かを判定する。ステップＳ６３で、判定時期の条件を満足しないと判定された場合、処理は、ステップＳ６４乃至Ｓ６７をスキップし、ステップＳ６８に進む。

一方、ステップＳ６３で、判定時期の条件を満足すると判定された場合、ステップＳ６４において、判定部２７９は、運転者の顔向きと対象物との関係を判定し、ステップＳ６５において、運転者の視線方向と対象物との関係を判定し、ステップＳ６６において、運転者の顔向きと視線方向を組み合わせて、対象物との関係を判定する。なお、ステップＳ６４乃至Ｓ６６では、必要に応じて、器官状態検出部２７５からの器官情報が利用される。

ステップＳ６７において、ステップＳ６４乃至Ｓ６６で判定した判定結果を、選択対象物の属性情報の“５）通知する装置のリスト”に記載された装置（通知対象装置）に通知する。

ステップＳ６８において、判定部２７９は、次の対象物が登録されているか否かを判定する。ステップＳ６８で、次の対象物が登録されていると判定された場合、処理はステップＳ６２に戻り、ステップＳ６２乃至Ｓ６８の処理が繰り返される。即ち、対象リスト記憶部２７８で選択対象物とともに記憶されているアドレスが最終項目のアドレスＡＤＲＥＤ以外を示している場合、そのアドレスに記憶されている対象物が、次の選択対象物として選択され、運転者の顔向きまたは視線方向と対象物との関係が判定され、その判定結果が通知対象装置に通知される。

一方、ステップＳ６８で、次の対象物が登録されていないと判定された場合、即ち、対象リスト記憶部２７８で選択対象物とともに記憶されているアドレスが最終項目のアドレスＡＤＲＥＤを示している場合、処理は終了する。

上述したステップＳ６４乃至Ｓ６６において、判定部２７９が行う判定の例についてさらに説明する。

判定部２７９は、登録された対象物が運転者の視線方向と同一の方向にあるかどうかにより、運転者が対象物を見ているか否かを判定して、通知する。具体的には、判定部２７９は、運転者の視線方向が対象物の方向および大きさからなる対象領域を向いている場合に、運転者が対象物を見ていると判定する。また反対に、運転者の視線方向が対象領域を向いていない対象物に対しては、運転者が対象物を見ていないと判定して、通知することもできる。例えば、判定部２７９は、高速道路で１００ｍ以上はなれて走行している先行車の方を見ているか否かを判定することができる。また、判定部２７９は、燃料タンクの残量アラームインジケータを見ているか否かを判定することができる。さらに、判定部２７９は、ディスプレイに表示された選択項目のどれを見ているかを判定することもできる。

なお、判定部２７９は、運転者の顔向きまたは視線方向と、運転者から見た対象物の方向との方向の差である角度情報をそのまま判定結果として通知してもよい。

運転者が顔向きや視線を回した途中の過程で、移動中の視線が対象領域を通過することがある。視線方向の移動速度が大きいときには、運転者の視線方向が通過した対象領域をよく見ていないこともある。運転者の顔向きと視線方向の双方を独立して検出していれば、顔向きと視線方向が一致して移動することが検出されるので、このような状態を正確に判定することができる。判定部２７９は、所定時間の間に視線方向が対象領域を向いているときに対象物を見たと判定して、判定結果を通知することができる。例えば、２秒間の視線方向の移動を解析し、例えば０．５秒以上の時間だけ、視線方向が対象領域にとどまっていなければ、見ていないと判定することができる。視線方向のとどまるべき時間は、車の速度や対象物の相対移動速度、緊急度などに応じて変化させるようにできる。所定時間の間に視線方向が対象領域に含まれた時間の比率に応じた度合いを判定結果として付加してもよい。

また、運転者が対象物を見ている場合であっても、運転者の注意力が低下してくると、対象物を向いている運転者の視線方向の細かい動きが減少する。このような運転者の視線方向の動きから、判定部２７９は、運転者の注意力の低下を判定し、通知する。なお、注意力の低下の判定には、運転者の瞬きの変化や表情の変化など器官情報や、運転者の体温や血圧、脈拍などの生体情報を加えてもよい。判定部２７９は、注意力の低下の度合いも通知してもよい。

判定部２７９は、運転者の顔向きまたは視線方向と、運転者から見た対象物の方向とから、運転者が脇見をしているか否かを判定し、その判定結果を通知する。具体的には、判定部２７９は、高度の見るべき度が設定されている対象物を運転者が見ている場合には、運転者が脇見をしていないと判定する。また、判定部２７９は、限度時間を設定し、高度の見るべき度が設定されている対象物であっても、設定された限度時間以上その対象物を見ている場合には、脇見であると判定することができる。なお、脇見の判定結果に脇見の程度を付加してもよい。

また、判定部２７９は、対象物とは関係なく、運転者の顔向きまたは視線方向から、運転者の動作を判定し、その判定結果を通知することも可能である。この場合、判定部２７９は、判定対象リストに登録されている全ての対象物を通知対象装置としてもよいし、判定部２７９自身で通知対象装置を選別してもよい。

例えば、運転者の視線方向が顔向きと同じ方向を向いたまま顔向きが移動する場合には単純な首振り運動をおこなっていると判定する。この単純な首振り運動中には、特定の方向を見ていることができないので、特定の対象物を見ていないという判定結果を通知する。

また、視界に入っていないために見えていないものを見ようとするとき、人は、見ようとする方向に首を振る動作を行う。このような動作では、視線方向角度は、顔向きの角度よりも先に振り向く先の方向に移動する動きとなる。従って、判定部２７９は、顔向きの角度よりも大きな角度の視線方向の変化が反復なく行われた場合に、運転者が振り返る動作を行ったと判定する。

例えば、首が疲れたとき、運転者は首を回したり、倒したり、意図的に首を動かす動作を行う。判定部２７９は、運転者の顔向きが縦または横に移動し、視線方向が特定の方向に向いたままであるとき、首を意図的に動かす動作を行ったと判定する。

顔を縦や横に動かした後、１秒あるいはそれ以下の短い時間停止させ、すぐに戻す運転者の動作が検出されることがある。この顔向きの動きと、視線方向の動きが一致している場合には、判定部２７９は、運転者が停止した方向を一瞬見る動作を行ったと判定する。また、視線方向が特定の領域付近を向いたまま顔向きが変化して元に戻った場合には、判定部２７９は、運転者がある対象物を見たまま頭部を動かす動作をおこなったと判定する。視線方向が特定の領域付近を向いたまま顔向きが変化してすぐ元に戻る変化が反復する場合には、運転者が対象物を見たまま頭部を動かす動作を行ったと判定する。

判定部２７９は、車の速度がゼロでなくて、運転者の顔向きが長時間下を向いている場合に、運転者が意識を失っていると判定する。この判定は、確実性を高めるために、音声で呼びかけを行って、反応の有無を確認してもよい。また、運転者がシートにもたれた状態で意識を失うと、顔向きが前方を向いた状態となっている場合があるので、判定部２７９は、運転者の視線方向が高度の見るべき度の対象物に向いていなくて、長時間特定の一定方向を向いていたら、意識を失っていると判定することもできる。

会話をしているときや、装置から質問を受けたときなどに、運転者が半ば無意識のうちに首を縦に振るうなずき動作や、否定の意思を示す首を横に振る動作を行うことがある。判定部２７９は、視線方向が変化せずに、顔向きだけが縦または横方向に１回から数回往復に動いたときには、このような運転者の動作も判定することができる。

次に、図１９のフローチャートを参照して、顔向き視線方向情報利用部２５３の顔向き視線方向利用処理について説明する。なお、以下の顔向き視線方向利用処理の説明では、顔向き視線方向情報利用部２５３がパワーウィンドウ制御装置２２である場合の例について必要に応じて補足して説明する。

初めに、ステップＳ８１において、顔向き視線方向情報利用部２５３は、対象リスト記憶部２７３の判定対象リストに登録する静的な対象物があるか否かを判定する。ステップＳ８１で、判定対象リストに登録する静的な対象物がないと判定された場合、処理はステップＳ８３に進む。

一方、ステップＳ８１で、判定対象リストに登録する静的な対象物があると判定された場合、ステップＳ８２において、顔向き視線方向情報利用部２５３は、その対象物の登録要求を顔向き視線方向検出部２５２に供給する。例えば、パワーウィンドウ制御装置２２は、パワーウィンドウスイッチ６４の登録要求を供給する。

ステップＳ８３において、顔向き視線方向情報利用部２５３は、判定結果が通知されたか否かを判定する。ステップＳ８３で、判定結果が通知されていないと判定された場合、処理は終了する。

一方、ステップＳ８３で、判定結果が通知されたと判定された場合、ステップＳ８４において、顔向き視線方向情報利用部２５３は、判定部２７９から供給された判定結果を確認する。例えば、運転者の視線方向が、パワーウィンドウスイッチ６４を向いていることを表す判定結果がパワーウィンドウ制御装置２２に供給され、パワーウィンドウ制御装置２２が、その内容を確認する。

ステップＳ８５において、顔向き視線方向情報利用部２５３は、判定結果に対応する動作を行うか否かを判定し、判定結果に対応する動作を行わないと判定された場合、処理は終了する。

一方、ステップＳ８５で、判定結果に対応する動作を行うと判定された場合、ステップＳ８６において、顔向き視線方向情報利用部２５３は、判定結果に対応する動作を行って、処理を終了する。例えば、パワーウィンドウ制御装置２２は、判定結果に対応する動作として、パワーウィンドウスイッチ６４のライトを点灯させる。

以上のように、人の顔の向きや視線の方向の情報によって、人の動作または状態を識別できるので、人の動作または状態に対応する処理を装置に行わせることができる。なお、上述した例では、登録された１つの対象物に対して１つの判定を行うようにしたが、登録された複数の対象物を統合し、統合された対象物に対して判定を行うようにすることもできる。

上述した実施の形態では、ルームミラー７５の上部に取り付けられている運転者監視装置１１の撮像部１１ａが、運転者の顔向きと視線方向の両方を検出するようにしたが、運転者の視線方向をより認識しやすくするため、ルームミラー７５の上部に取り付けられている運転者監視装置１１の撮像部１１ａを運転者の顔向きを専用に検出するものとし、それとは別に、運転者を顔の正面から撮影する視線方向専用のカメラを設けるようにしてもよい。この場合、視線方向専用のカメラから検出された運転者の視線方向は、運転者の顔の正面を基準とする角度で表されるため、それを、本来求めるべき最終的な運転者の視線方向（最終視線方向）に変換する必要がある。最終視線方向は、視線方向専用のカメラで検出された視線方向角度と運転者の顔向き角度の和（最終視線方向＝視線方向角度＋顔向き角度）で表される。

図２０と図２１を参照して、運転者の顔の正面から常に撮像する視線方向専用のカメラを設けた場合の最終視線方向の計算方法について説明する。図２０は、対象物が進行方向と同一の方向（自車の正面）にある場合の例を示しており、図２１は、対象物が進行方向より左側２０度の角度にある場合の例を示している。なお、図２０および図２１では、進行方向を基準方向として、基準方向から反時計回りの方向を正の角度として表している。

図２０のＡは、運転者が自車の正面にある対象物３０２を顔向き角度０度で見ている状態を上方から示している。運転者の顔の正面に視線方向専用のカメラ３０１が位置しており、そのカメラ３０１により、図２０のＢに示すような運転者の顔が撮像される。この場合、最終視線方向の角度は、計算するまでもなく０度である。

図２０のＣは、運転者が自車の正面にある対象物３０２を顔向き角度−３０度で見ている状態を上方から示している。図２０のＣにおいても運転者の顔の正面に視線方向専用のカメラ３０１が位置しており、そのカメラ３０１により、図２０のＤに示すような運転者の顔が撮像される。この場合、視線方向専用のカメラ３０１の画像から検出される視線方向の角度は、顔向きの方向を基準として＋３０度で計算される。一方、顔向きの角度は、基準方向から−３０度として検出されるので、最終視線方向は０度（最終視線方向＝視線方向角度＋顔向き角度＝＋３０−３０＝０度）となる。

一方、図２１のＡは、運転者が進行方向から＋２０度にある対象物３０２を顔向き角度０度で見ている状態を上方から示している。運転者の顔の正面に視線方向専用のカメラ３０１が位置しており、そのカメラ３０１により、図２１のＢに示すような運転者の顔が撮像される。この場合、視線方向専用のカメラ３０１の画像から検出される視線方向の角度は、顔向きの方向を基準として＋２０度で計算される。一方、顔向きの角度は、基準方向から０度として検出されるので、最終視線方向は＋２０度（最終視線方向＝視線方向角度＋顔向き角度＝＋２０＋０＝＋２０度）となる。

図２１のＣは、運転者が進行方向から＋２０度にある対象物３０２を顔向き角度−３０度で見ている状態を上方から示している。図２１のＣにおいても運転者の顔の正面に視線方向専用のカメラ３０１が位置しており、そのカメラ３０１により、図２１のＤに示すような運転者の顔が撮像される。この場合、視線方向専用のカメラ３０１から検出される視線方向の角度は、顔向きの方向を基準として＋５０度で計算される。一方、顔向きの角度は、基準方向から−３０度として検出されるので、最終視線方向は＋２０度（最終視線方向＝視線方向角度＋顔向き角度＝＋５０−３０＝＋２０度）となる。

判定対象リストに記録された対象物に関する情報を用いることで、運転者の状態を的確に判定することができる。以下に具体的な例を示す。

運転者は、車内にある対象物、例えばオーディオ装置２４の操作パネル２４ｂ、ナビゲーション装置２５の操作パネル２５ｂ、エアコン装置６０の操作パネル６０ｂ、ステアリングホイール６１、ライトスイッチ、ワイパースイッチ、およびウィンカースイッチなどの取り付けられたコンビネーションスイッチ６２、ハザードスイッチ６３、または、パワーウィンドウスイッチ６４を見る。また、運転者は運転中に前方を確認するために車外の対象物、例えばガードレール１２４ａ乃至１２４ｄ、ガードレール１２４ａ乃至１２４ｄに取り付けられたリフレクタ１２５ａ乃至１２５ｉ、道路標識１２６、信号機１２７、道路１２１上の落下物１２８、建築物１２９、先行車１３０、または、歩行者１３１の方向を見る。

運転者が視線方向や顔向きに関連して行うべき行為、行っても良い行為、並びに、行うべきでない行為は、対象物ごとに異なり、さらに状況によっても異なる。また、視線を向けて注視する必要性は対象物ごとに異なる。例えば、ガードレール１２４ａ乃至１２４ｄは視認しやすく、見落とす可能性が低いので、視線を向けて注視する必要性は低い。進行方向にいる歩行者１３１は見落とすと問題があるので、視線を向けて注視する必要性が高い。したがって、対象検出部２５１が検出した対象物であるガードレール１２４ａ乃至１２４ｄや歩行者１３１を判定対象リストに登録するときにガードレール１２４ａ乃至１２４ｄには見るべき度を低く設定し、歩行者１３１には見るべき度を高く設定することによって、見るべき度合いに応じた判定を行うことができる。

車が走行中であるかまたは停車中であるかに応じて、対象物の方向を見てもよい程度や見るべきではない程度は変化する。例えば、走行中の運転者はオーディオ装置２４の操作パネル２４ｂを注視すべきではない。しかし、停車中にオーディオ装置２４の方向を注視して操作を行うことは問題がない。

オーディオ装置２４が操作パネル２４ｂに視線を向けたことを通知するように、判定対象リストへの登録を行うことで、運転者がオーディオ装置２４を操作しようとする意思を検出することができ、さらに操作パネル２４ｂの一部分である音量表示部やチャンネル表示部に視線を向けたことを検出して、オーディオ装置２４に制御のための信号として出力することで操作の利便性を高めることができる。運転中にオーディオ装置２４の各部に視線を向けて注視することは問題があるので、警告を通知すべきである。そこで、車が走行中である場合には、対象物であるオーディオ装置２４の見るべき度を低くし、車が停車中である場合にはオーディオ装置２４の見るべき度を高くすることによって、状態に応じて適切に判定することができる。

また、対象物ごとに判定を行う時期を設定できるようにすることで、判定の頻度に求められる程度に対応して対象物と顔向きまたは視線方向との関係に応じて人の状態を判定することが可能となり、より適切に装置の制御を行うことができる。

例えば、運転者の状態を人の顔向きおよび視線方向と対象物との関係に基づいて判定を行う時期を設定するようにできる。時期を設定することで、判定を行うべき適切なタイミングで判定することが可能となる。歩行者１３１が対象物として検出されたときに、歩行者１３１が検出されている間０．５秒ごとに視線を向けたかどうかを判定して出力するようにすれば、運転者が歩行者を見たかどうかがわかる。

運転者の視線方向の動きに応じてオーディオ装置２４を制御することで運転者がオーディオ装置２４に視線を向けたときにオーディオ装置２４の操作が行えるようにすることができるが、オーディオ装置２４がオフになっているときにまで、例えば、操作パネル２４ｂの一部分である音量表示部に視線を向けたことなどを検出する必要はない。従って、例えば、自動車のエンジンがオンになったときには運転者がオーディオ装置２４を見たことを検出して出力するように判定対象リストに登録し、オーディオ装置２４の電源がオンになったときには、運転者が、操作パネル２４ｂの一部分、例えば音量操作部、音質操作部を見たことを０．５秒ごとに検出するように判定対象リストの設定を変更すれば、必要なときにだけ詳細な判定が行われるようになって無駄な処理を行わないようにすることができる。これにより、判定対象リストに登録する対象物の数が増えたときに、無駄な処理を大幅に減らすことができる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

Claims (12)

1. 人の動作または状態を利用して装置の制御を行う制御装置に、前記人の動作または状態を出力する監視装置であって、
   前記人の顔向きを検出する顔向き検出手段と、
   前記人の視線方向を検出する視線方向検出手段と、
   前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定し、その判定結果を前記制御装置に出力する判定手段と
   を備える監視装置。
2. 前記対象物を判定対象リストに登録する登録手段をさらに備え、
   前記判定手段は、前記判定対象リストに登録されている前記対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定する
   請求項１に記載の監視装置。
3. 前記対象物には、時間の経過とともに前記人の視界に出現し、または前記人の視界から消滅する動的な対象物と、時間の経過に関わらず前記人の視界に入る静的な対象物とがあり、
   前記登録手段は、前記制御装置から、前記判定対象リストに登録する登録要求が供給された前記静的な対象物を、前記判定対象リストに登録する
   請求項２に記載の監視装置。
4. 前記登録手段は、前記動的な対象物を検出する対象物検出装置から、前記判定対象リストに登録する登録要求が供給された前記動的な対象物を、前記判定対象リストに登録する
   請求項３に記載の監視装置。
5. 前記判定対象リストには、前記対象物ごとに、判定を実行する時期、前記判定結果を出力する前記制御装置、および前記判定対象リストから前記対象物を削除する条件が少なくとも登録され、
   前記判定手段は、前記判定対象リストの前記判定を実行する時期に、前記人の動作または状態を判定する
   請求項２に記載の監視装置。
6. 前記人の顔の位置を検出する顔位置検出手段と、
   前記対象物の位置を、前記人の顔の位置を基準とする位置に変換する位置変換手段と
   をさらに備え、
   前記判定手段は、前記人の顔の位置を基準とする、前記対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定する
   請求項１に記載の監視装置。
7. 前記人の顔の器官の状態を検出する器官状態検出手段をさらに備え、
   前記判定手段は、前記人の顔の器官の状態にも基づいて、前記人の動作または状態を判定する
   請求項１に記載の監視装置。
8. 人の動作または状態を利用して装置の制御を行う制御装置に、前記人の動作または状態を出力する監視装置の監視方法であって、
   前記人の顔向きを検出し、
   前記人の視線方向を検出し、
   前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定し、その判定結果を前記制御装置に出力する
   ステップを含む監視方法。
9. 人の動作または状態を利用して装置の制御を行う制御装置に、前記人の動作または状態を出力する処理を、コンピュータに実行させるプログラムであって、
   前記人の顔向きを検出し、
   前記人の視線方向を検出し、
   前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて、前記人の動作または状態を判定し、その判定結果を前記制御装置に出力する
   ステップを含むプログラム。
10. 監視装置から出力される人の動作または状態を利用して装置の制御を行う制御装置であって、
    前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて前記人の動作または状態を判定する判定対象リストに、前記装置の一部を前記対象物として登録することを前記監視装置に要求し、その要求に応じて前記監視装置から返信されてくる前記判定の結果を利用して、前記装置に所定の処理を実行させる
    制御装置。
11. 監視装置から出力される人の動作または状態を利用して装置の制御を行う制御装置の制御方法であって、
    前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて前記人の動作または状態を判定する判定対象リストに、前記装置の一部を前記対象物として登録することを前記監視装置に要求し、その要求に応じて前記監視装置から返信されてくる前記判定の結果を利用して、前記装置に所定の処理を実行させる
    ステップを含む制御方法。
12. 監視装置から出力される人の動作または状態を利用して行う装置の制御を、コンピュータを実行させるプログラムであって、
    前記人の視界に入る対象物と、前記人の顔向きまたは視線方向との関係に基づいて前記人の動作または状態を判定する判定対象リストに、前記装置の一部を前記対象物として登録することを前記監視装置に要求し、その要求に応じて前記監視装置から返信されてくる前記判定の結果を利用して、前記装置に所定の処理を実行させる
    ステップを含むプログラム。

Images