JP6908339B2

JP6908339B2 - 視線検知装置、視線検知プログラムおよび視線検知方法

Info

Publication number: JP6908339B2
Application number: JP2017085072A
Authority: JP
Inventors: 修平林
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2017-04-24
Filing date: 2017-04-24
Publication date: 2021-07-28
Anticipated expiration: 2037-04-24
Also published as: JP2018183249A

Description

本発明は、人物の視線検出に関し、特に、自動車等の移動体における搭乗者の視線検出に関する。

今日、人物の視線を検知するための視線検知センサは広く利用されている。例えば、運転監視システムでは、視線検知センサにより運転者がどの方向を見ていたかを判定し、もし、脇見運転などしている場合には警報を発している。運転者が特定の対象物を見ていたか否かの注視判定は、仮想平面座標を構築し、その仮想平面上のどの位置に視線データが滞留したかを検知し、その検知された座標位置との関係からどの対象物を見ていたかを判定する。図１１に、仮想平面座標を利用した視線検知方法の一例を示す。同図に示すように、（１）仮想平面１０の法線ベクトルＶｓを求め、（２）仮想平面１０の１点とユーザーＵの瞳孔（３次元座標）を通る３次元ベクトルＶｃを求め、（３）３次元ベクトルＶｃと仮想平面１０を結ぶベクトルの係数ｔを求め、（４）仮想平面１０上の３次元座標Ｆを求め、３次元座標Ｆから対象物を特定する。

視線検知に関して、例えば、特許文献１には、車両内に備えられた装備品への視線方向を基準にキャリブレーションを行う技術が開示されている。特許文献２には、眼球からの反射光を利用して、注視点の計測を行う技術が開示されている。

特開２０１０−３０３６１号公報特開平７−３５５４３号公報

図１２は、仮想平面を利用した視線検知の一例を説明する図である。運転者が、バックミラー２０、サイドミラー２２、ＣＩＤ（center Information Display）２４の各対象物を注視したか否かの判定は、仮想平面上のどの位置に視線方向が滞留したかを検知することにより行われる。このため、仮想平面上には領域を規定する閾値が設定されるが、通常、この閾値は、開発者が手動で座席からミラー２０、２２やＣＩＤ２４までの距離を測定し、それに基づき一律に決定している。

しかしながら、閾値を一律に決定すると、ユーザーの顔の位置が少しでも変化してしまうと、閾値が不正確となり、対象物の注視判定を正確に行うことができなくなる。また、人によっても視線方向にはバラツキがある。図１３は、被験者１から被験者４に画面の中心点を見たときの視線データであり、３つの白丸が各被験者の視線位置を表している。同図からも分かるように、同一点を注視していても、人によって視線方向にばらつきが発生してしまう。このような要因により、図１２に示すように、ユーザーＡにとっての最適な閾値（破線）Ｑａと、ユーザーＢにとっての最適な閾値（点線）Ｑｂとは必ずしも一致しない。さらに、視線検知センサの精度が悪いと、大きな誤差を含んだ視線データが取得されるため、閾値を正確に規定しても、結果的に正確な注視判定をすることが難しくなる。

本発明は、このような従来の課題を解決するものであり、ユーザー毎に注視判定を正確に行うことができる視線検知装置、視線検知プログラムおよび視線検知方法を提供することを目的とする。

本発明に係る視線検知装置は、注視の対象となる対象物を案内する案内手段と、人物の視線方向を検知する検知手段と、前記案内手段により案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定する設定手段と、前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定する判定手段とを含む。

好ましくは前記設定手段は、仮想平面上の座標領域を規定する閾値を設定する。好ましくは前記設定手段は、複数の視線方向に基づき仮想平面上のＸ方向の最大および最小の最外点、Ｙ方向の最大および最小の最外点を抽出し、前記最外点に基づき閾値を設定する。好ましくは前記設定手段は、左右の視線方向を一対の視線方向とし、一対の視線方向の重心点に基づき閾値を設定する。好ましくは前記設定手段は、案内された対象物の外形に近似する外形の閾値を設定する。好ましくは前記設定手段は、前記案内手段により案内が行われたときから一定期間、または案内が行われている期間中に複数の視線方向を取得する。好ましくは前記案内手段は、対象物の取り付けられた発光素子を含み、発光素子を点灯または点滅させることで案内を行う。好ましくは前記発光素子は、対象物の外周に沿うように複数配置され、前記案内手段は、複数の発光素子を点灯または点滅させることで案内を行う。好ましくは前記案内手段は、複数の発光素子を一定方向に順次点灯させる。好ましくは対象物が表示手段であるとき、前記案内手段は、前記表示手段の外周が点灯されるかの如く前記表示手段に画像を表示させる。好ましくは前記案内手段は、対象物についての案内を音声により行う。好ましくは前記設定手段は、ユーザー入力に基づき閾値を設定または更新する。

本発明に係る視線検知プログラムは、人物の視線方向を検知する検知手段を備えた視線検知装置が実行するものであって、注視の対象となる対象物を案内するステップと、前記案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定するステップと、前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定するステップとを含む。

好ましくは前記設定するステップは、電源投入時に行われる。好ましくは前記設定するステップは、ユーザー入力に応答して行われる。好ましくは前記設定するステップは、複数の視線方向に基づき仮想平面上のＸ方向の最大および最小の最外点、Ｙ方向の最大および最小の最外点を抽出し、前記最外点に基づき閾値を設定する。好ましくは前記設定するステップは、左右の視線方向を一対の視線方向とし、一対の視線方向の重心点に基づき閾値を設定する。

本発明に係る視線検知方法は、人物の視線方向を検知する検知手段を備えた視線検知装置におけるものであって、注視の対象となる対象物を案内するステップと、前記案内された対象物に関し、前記検知手段により検知された視線方向に基づき対象物の注視判定を行うための範囲を規定する閾値を設定するステップと、前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定するステップとを含む。

本発明によれば、案内された対象物に関し、検知手段により検知された視線方向に基づき注視判定を行うための範囲を規定する閾値を設定するようにしたので、人物の顔の位置や視線方向のばらつき等の個人差があっても、個人に最適な閾値を自動で設定することができ、開発の効率化とともに注視判定の精度向上を図ることができる。また、視線検知センサの精度が悪くとも、誤差を含んだ形で仮想領域が生成されるため、視線検知センサの精度に依存することなく正確な注視判定を行うことができる。

本発明の実施例に係る車載装置の構成を示すブロック図である。本発明の実施例に係る対象物への発光素子の配置例を示す図である。視線検知センサの取付け例を示す図である。本発明の実施例に係る視線検知プログラムの機能的な構成を示す図である。図５（Ａ）は、案内された対象物について取得された視線データの例示であり、図５（Ｂ）は、取得された視線データに基づき設定された閾値の例示である。本発明の実施例に係る閾値設定部の第１の設定方法を説明する図である。本発明の実施例に係る閾値設定部の第２の設定方法を説明する図である。本実施例に係る対象物とそれに対応して設定された閾値との関係を記憶する例である。本発明の実施例に係る視線検知動作を示すフローである。本発明の第２の実施例に係る対象物の案内方法を説明する図である。仮想平面座標を利用した視線検知方法を説明する図である。仮想平面を利用した視線検知の一例を説明する図である。視線方向の個人差（バラツキ）の一例を示す図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る視線検知装置は、それ単独で存在するものであってもよいし、車載装置等の電子装置に包含されるものであってもよい。車載装置は、運転アシスト機能、ナビゲーション機能、オーディオ・ビデオデータを再生する機能、テレビ・ラジオ放送を受信する機能、アプリケーションソフトウエアを実行する機能などを備えたコンピュータ装置、タブレット型のコンピュータ装置であることができる。視線検知装置の検知結果は、車載装置の各機能に利用することができる。

図１は、本発明の実施例に係る車載装置の構成を示すブロック図であり、本実施例の車載装置１００は、視線検知機能または視線検知部を包含する。同図に示すように、車載装置１００は、入力部１１０、ナビゲーション部１２０、マルチメディア再生部１３０、表示部１４０、音声出力部１５０、対象物案内部１６０、視線検知センサ１７０、記憶部１８０、および制御部１９０を含んで構成される。但し、ここに示す構成は一例であり、車載装置１００は、他の機能や構成を包含するものであってもよい。

入力部１１０は、ユーザーからの指示を受け取り、これを制御部１９０へ提供する。ナビゲーション部１２０は、ＧＰＳ衛星から送信されるＧＰＳ信号等に基づき自車位置を算出し、自車位置周辺の地図を案内する。マルチメディア再生部１３０は、ＣＤ、ＤＶＤ、半導体メモリ等の記録媒体に記録された音声データや映像データを再生する。表示部１４０は、ナビゲーション部１２０により生成された地図画像やマルチメディア再生部１３０により再生された映像データを表示する。音声出力部１５０は、ナビゲーション部１２０やマルチメディア再生部１３０で生成された音声データを出力する。

対象物案内部１６０は、ユーザーに注視させたい対象物の案内を行う。好ましい例では、対象物案内部１６０は、視覚または聴覚により案内を行う。聴覚による案内は、音声出力部１５０から、例えば、「表示部の外周または輪郭を目で追うように見てください」、「ミラーの外周または輪郭を目で追うように見てください」などの音声を出力させる。視覚による案内は、注視させたい対象物を点灯または点滅させる。好ましくは、対象物の外周に、発光ダイオード（ＬＥＤ）等の発光素子を１つまたは複数個取り付け、発光素子を点灯または点滅させることで、ユーザーに対象物を注視させる。より好ましくは、発光素子を一定方向に順次点灯させることで、ユーザーが発光素子の点灯を目で追えるようにする。対象物案内部１６０は、好ましくは一定期間、対象物の案内を行う。

図２（Ａ）は、バックミラー２０の外周に沿って複数のＬＥＤ１６２が取り付けられた例、図２（Ｂ）は、サイドミラー２２の外周に沿って複数のＬＥＤ１６４が取り付けられた例、図２（Ｃ）は、ＣＩＤ２４または表示部１４０の外周に沿って複数のＬＥＤ１６６が取り付けられた例である。ＬＥＤ１６２、１６４、１６６の数、色、配置は任意である。また上記したように、ＬＥＤ１６２、１６４、１６６は、例えば、一定方向に順次点灯され、ユーザーは、案内された対象物の外形の発光点を目で追うことが自然に促される。

視線検知センサ１７０は、車内の搭乗者の視線を検知する。好ましくは、運転者の視線を検知する。視線検知センサ１７０は、例えば、図３に示すように、コラムカバー１７２上に取り付けられ、ステアリング１７４の合間を通して運転者１７６の顔を撮像する。好ましくは、視線検知センサ１７０は、運転者１７６の顔を照射する赤外線ＬＥＤと、その反射光を受光する赤外線カメラとを含み、赤外線カメラで撮像されたデータは制御部１９０へ提供される。

記憶部１８０は、ナビゲーション部１２０が必要とする地図データ、マルチメディア再生部１３０が再生するマルチメディアデータ、制御部１９０が実行するアプリケーションソフトウエアやプログラム等を格納することができる。制御部１９０は、車載装置１００の各部を制御し、好ましい態様では、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等を含み、制御部１９０は、車載装置１００の動作を制御するための種々のプログラムを実行する。本実施例では、制御部１９０は、視線検知センサ１７０からの出力に基づき視線検知を行う視線検知プログラムを実行する。

図４は、本実施例の視線検知プログラムの機能的な構成を示す。視線検知プログラム２００は、対象物案内制御部２１０、視線データ処理部２２０、閾値設定部２３０、注視判定部２４０を含む。視線検知プログラム２００は、車載装置１００に含まれる他の機能と連動して実行され、例えば、ナビゲーション部１２０が起動されたことに応答して視線検知プログラム２００が実行される。または、視線検知プログラムは、車載装置１００に電源が投下されたとき、あるいはユーザーからの指示があったときに実行されるようにしてもよい。

対象物案内制御部２１０は、注視判定のための閾値を設定するときに対象物案内部１６０を制御する。すなわち、対象物案内制御部２１０は、対象物案内部１６０を介して、図２に示すＬＥＤ１６２、１６４、１６６を点灯させたり、あるいは音声出力部１５０から注視させたい対象物の音声案内をさせる。例えば、対象物案内制御部２１０は、対象物の周囲に取り付けられた複数のＬＥＤを時計周り、または反時計周りに順次、点灯または点滅させ、これにより、運転者に注視対象を認識させ、かつ、一定方向に点滅するＬＥＤの発光により運転者の視線方向を対象物の外周に向けさせる。また、対象物案内制御部２１０は、ＬＥＤの点灯を開始する前または点灯中に、「点灯中の光を追ってください」等の誘導案内を音声出力部１５０から出力させたり、あるいは表示部１４０に誘導案内のメッセージを表示させてもよい。

ＬＥＤの点灯態様は、特に限定されるものではなく、運転者の視線方向が対象物の１点に留まらず、複数の点あるいは対象物の外周に沿うように喚起されればよく、例えば、対象物のＬＥＤの全てを同タイミングで点滅させ、「点灯中の光を視線でなぞってください」等の誘導案内を行ってもよい。また、ＬＥＤの点灯は、対象物の案内を行っている期間中、一定期間継続される。これにより、ユーザーは、ＬＥＤが点灯または点滅している期間、対象物を視認する必要性を理解する。さらに、対象物案内制御部２１０による案内制御は、必ずしも視覚による案内がなくてもよく、音声出力部１５０を介して、「サイドミラーの外周を見てください」、「サイドミラーの外周に沿うように視線を合わせてください」、「サイドミラーの注視判定のための閾値を設定しますので、サイドミラーの外周に沿うように視線を移動させてください」等の音声案内だけでもよい。

対象物案内制御部２１０は、案内すべき対象物が複数あるときは、それらの案内を順次行う。また、対象物案内制御部２１０は、対象物の注視判定のための閾値を新たに設定するとき、または更新するときに実施される。例えば、運転者が変更になるとき、ユーザーは、入力部１１０を介して対象物案内制御部２１０の起動を指示したり、車載装置１００の電源が投入されたときに対象物案内制御部２１０が起動される。

視線データ処理部２２０は、対象物案内制御部２１０によって案内された対象物に向けられた運転者の視線データを視線検知センサ１７０を介して取得する。好ましくは、対象物案内制御部２１０による案内制御が行われたときから一定期間、あるいは案内が行われている期間、視線データ処理部２２０は、案内された対象物についての複数の視線データをサンプリングする。

視線データ処理部２２０は、例えば、赤外線カメラで撮像されたデータから、目の中の白い丸い形をしたものを角膜反射の候補として検出し、黒い丸の形をしたものを瞳孔の候補として検出し、それら角膜や瞳孔の位置関係や過去のデータ等から候補の絞り込みを行い、可能性の高いものを視線データとして選択する。

図５（Ａ）は、対象物案内制御部２１０によって表示部１４０が対象物として案内され、その間に表示部１４０に向けられた運転者の視線データが視線データ処理部２２０により取得される。視線データは、運転者の視線方向を表し、ここでは仮想平面上の座標データとして表されている。視線方向、すなわち視線データは、表示部１４０の外枠付近に不規則に複数検知されている。

閾値設定部２３０は、視線データ処理部２２０によって取得され、処理された視線データに基づき、対象物の注視判定を行うための範囲を規定する閾値を自動で設定する。図５（Ｂ）は、取得された視線データに基づき閾値設定部２３０が設定した閾値Ｔｈを示している。閾値の詳細な設定方法は、後述する。

注視判定部２４０は、閾値設定部２３０により設定された閾値に基づき運転者が対象物を注視しているか否かを判定する。この判定結果は、車載装置１００やその他の装置において利用することができる。例えば、車載装置１００が運転アシスト機能を備えている場合、走行中に運転者が何度も表示部１４０を注視すると警告を発したり、あるいは、停止中に、運転者が表示部１４０を注視するとナビゲーション画面をオーディオ画面に切り替えたり、バックミラーを注視すると表示部１４０にリアビューの画像を表示する、といった制御が可能である。

次に、閾値設定部２３０による第１の閾値の設定方法について図６を参照して説明する。図６（Ａ）において、□は、ＬＥＤの発光位置、○は、左目の視線の座標データ、斜線の○は、右目の視線の座標データ、△は、任意秒内の平均の視線の座標データであり、これらのデータがＸＹ平面に表されている。

第１の設定方法は、取得された複数の視線の座標データから最も外にある点（最外点）をサンプリングし、これに基づき閾値を設定する。具体的には、ＸＹ平面におけるＸ方向の最大、最小の視線データと、Ｙ方向の最大、最小の視線データが抽出される。図の例では、Ｘ方向の最大の視線データＤ、最小の視線データＢ、Ｙ方向の最大の視線データＡ、最小の視線データＣが抽出される。これら４つのＡ、Ｂ、Ｃ、Ｄ点は、最も外にある最外点である。ここでは、左右の視線データを区別することなく最外点が抽出される。

閾値設定部２３０は、これら４つの最外点を直線で連結することにより矩形状の２次元領域が閾値として設定される。矩形状の閾値Ｔｈは、図６（Ｂ）に示すように、コーナーを一定の曲率で丸めるようにしてもよい。この設定方法では、最外点に合わせて閾値を設定するため、仮に運転者が対象物を注視しているならば、その視線は、ほぼ閾値の範囲内に包含されるはずであり、それ故、正確に注視判定をすることができる。

また、閾値は、必ずしも矩形状である必要はなく、対象物の外形または輪郭に応じた形状にすることもできる。この場合、閾値設定部２３０は、対象物の外形または輪郭の情報を予め取得していることが望ましい。例えば、閾値設定部２３０は、対象物の外形に応じて、４つの最外点を曲線によって連結することも可能である。また、閾値設定部２３０は、対象物が円形であるならば、４つの最外点から３つの最外点を選択し、選択された３つの最外点に外接する円または内接する円を判定閾値とすることができる。また、閾値設定部２３０は、対象物の外形に応じた数の最外点を抽出するようにしてもよく、例えば、対象物が三角形であれば、その三角形に応じた３つの最外点を抽出し、これに基づき閾値を設定するようにしてもよい。さらに上記の方法では、４つの最外点を抽出したが、これに限らず、サンプリングされた５つ以上の座標データまたは全ての座標データを連結することで閾値を設定したり、あるいは最小二乗法などを利用して座標データを包絡するような閾値を設定するようにしてもよい。

次に、第２の閾値の設定方法について図７を参照して説明する。第２の設定方法では、視線データ処理部２２０によって取得された右目と左目の座標データの重心点を複数算出し、算出された重心点を結んだ領域を閾値とする。重心点の算出方法は、任意秒内（例えば、０．５秒内）に取得された右目および左目の座標データの重心点を算出する方法を用いている。つまり、ほぼ同時刻に取得された左右の一対の視線の座標データの重心点が算出される。図７（Ｂ）の例で示せば、時刻ｔ１で取得された一対の視線の座標データの重心点ｐ１が算出され、時刻ｔ２、時刻ｔ３でそれぞれ取得された一対の視線の座標データの重心点ｐ２、ｐ３が算出される。閾値設定部２３０は、このようにして複数の重心点を算出し、算出された重心点を通る範囲を閾値Ｔｈに設定する。なお、閾値Ｔｈは、図７（Ｂ）に示すように、不規則な形状でも良いし、最小二乗法を用いて近似直線または近似曲線を求めても良い。さらには、図６に示したように、複数の重心点から最外点を抽出し、第１の設定方法と同じように閾値を設定してもよい。また、第１ないし第２の設定方法において、例えば図７に示すように、著しく外れた座標データＺが存在する場合、これを異常な座標データＺとして除外してもよい。著しく外れたとは、座標データＺが最も隣接する座標データから一定距離以上離れたことを意味する。このような著しく外れた座標データＺを取り除くことで、座標収束している地点が閾値に反映され、その結果、設定される閾値の精度を高めることができる。

閾値設定部２３０によって設定された閾値は、記憶部１８０に記憶される。例えば、図８に示すように、対象物とそれに対応する閾値とが記憶され、注視判定部２４０は、記憶された閾値を参照し、一定時間内に滞留した視線（すなわち、視線範囲）が閾値内にあれば、当該閾値の対象物が注視されたことが判定される。

図９は、本実施例に係る視線検知の動作のフローである。視線検知プログラム２００は、対象物の注視判定を行うための閾値の設定が必要なときに実行される。例えば、車載装置１００の電源が投下されたとき、対象物案内制御部２１０は、対象物案内部１６０を介して対象物をユーザーに視認させるような案内を開始する（Ｓ１００）。この対象物の案内は、運転者からの複数の視線データをサンプリングできるように一定期間行われることが望ましい。

次に、視線データ処理部２２０は、案内期間中、対象物に関する運転者の視線データを取得する（Ｓ１０２）。次に、閾値設定部２３０は、取得された視線データに基づき対象物の注視判定を行うための仮想平面上の領域を規定する閾値を設定する（Ｓ１０４）。Ｓ１００からＳ１０４の処理については、全ての対象物について実施され（Ｓ１０６）、全ての対象物に関する閾値が設定されると、その設定された閾値が図８に示すようなテーブルに記憶される。

以後、注視判定部２４０は、設定された閾値に従い、視線データが取得されたとき、対象物の注視判定を行う（Ｓ１０８）。具体的には、視線の座標データと閾値とを比較し、閾値内に幾つかの座標データが滞留した場合には、対象物を注視していると判定し、そうでなければ、注視していないと判定する。注視判定部２４０の判定結果は、上記したように種々の機能に利用することができ、また、ユーザー入力インターフェースとしての視線入力または視線選択であることができる。視線検知動作は、車載装置１００の電源がオフにされたり、ユーザーから指示があったり、その他、動作が不要とされたとき、終了する（Ｓ１１０）。再度、閾値を設定または更新する場合には、Ｓ１００から処理が開始される。

本実施例では、運転者等の生の視線データから注視判定のための範囲を規定する閾値を自動で設定するようにしたので、従来のように開発者が苦労して閾値をチューニングする必要がなくなり、開発の効率化を図ることができる。また、閾値の設定は、任意に行うことができるため、個々のユーザーに応じた閾値を適切なタイミングで設定することができ、ユーザー毎に正確な注視判定を行うことができる。さらに、視線検知センサ１７０の精度に依存することなく、正確な注視判定を行うことができる。

次に、本実施例の第２の実施例について説明する。上記実施例では、対象物の外周に複数のＬＥＤを配置させることで対象物の案内を行ったが、第２の実施例では、対象物が表示機能を有する場合には、その表示機能を利用して案内を行う。図１０（Ａ）は、第２の実施例による対象物の案内例を説明する図である。表示部１４０は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイから構成され、対象物案内制御部２１０は、対象物案内部１６０を介して対象物の案内を行うとき、表示部１４０の画面の外周に沿ってあたかもＬＥＤが順次点灯または点滅するような視標１４２の画像を表示させる。さらに、図１０（Ｂ）に示すように、表示部１４０の中央部には、「表示部の外周の点滅を追うように見てください」等のメッセージ１４４の画像を表示させるようにしてもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：車載装置１１０：入力部
１２０：ナビゲーション部１３０：マルチメディア再生部
１４０：表示部１５０：音声出力部
１６０：対象物案内部１７０：視線検知センサ
１８０：記憶部１９０：制御部

Claims

注視の対象となる対象物を案内する案内手段と、
人物の視線方向を検知する検知手段と、
前記検知手段により検知された視線方向に基づき前記案内手段により案内された対象物の仮想平面上の複数の座標データを取得する取得手段と、
前記取得手段によって取得された複数の座標データに基づき対象物の注視判定を行うための前記仮想平面上の座標領域を規定する閾値を自動で設定する設定手段と、
前記検知手段により検知された視線方向に基づく座標データと前記設定された閾値とを比較し、対象物が注視されているか否かを判定する判定手段とを含み、
前記設定手段は、複数の座標データに基づき仮想平面上のＸ方向の最大および最小の最外点、Ｙ方向の最大および最小の最外点を抽出し、前記最外点に基づき閾値を設定する、視線検知装置。
前記案内手段は、対象物として車両のバックミラー、サイドミラーまたは表示部を案内する、請求項１に記載の視線検知装置。
前記設定手段は、左右の視線の座標データを一対の座標データとし、一対の座標データの重心点に基づき閾値を設定する、請求項１に記載の視線検知装置。
前記設定手段は、案内された対象物の外形に近似する外形の閾値を設定する、請求項１に記載の視線検知装置。
前記設定手段は、前記案内手段により案内が行われたときから一定期間、または案内が行われている期間中に複数の座標データを取得する、請求項１ないし４いずれか１つに記載の視線検知装置。
前記案内手段は、対象物の取り付けられた発光素子を含み、発光素子を点灯または点滅させることで案内を行う、請求項１または２に記載の視線検知装置。
前記発光素子は、対象物の外周に沿うように複数配置され、前記案内手段は、複数の発光素子を点灯または点滅させることで案内を行う、請求項６に記載の視線検知装置。
前記案内手段は、複数の発光素子を一定方向に順次点灯させる、請求項７に記載の視線検知装置。
対象物が表示手段であるとき、前記案内手段は、前記表示手段の外周が点灯されるかの如く前記表示手段に画像を表示させる、請求項１ないし６いずれか１つに記載の視線検知装置。
前記案内手段は、対象物についての案内を音声により行う、請求項１ないし９いずれか１つに記載の視線検知装置。
前記設定手段は、ユーザー入力に基づき閾値を設定または更新する、請求項１に記載の視線検知装置。
人物の視線方向を検知する検知手段を備えた視線検知装置が実行する視線検知プログラムであって、
注視の対象となる対象物を案内するステップと、
前記検知手段により検知された視線方向に基づき前記案内された対象物の仮想平面上の複数の座標データを取得するステップと、
前記取得するステップで取得された複数の座標データに基づき対象物の注視判定を行うための前記仮想平面上の座標領域を規定する閾値を自動で設定するステップと、
前記検知手段により検知された視線方向に基づく座標データと前記設定された閾値とを比較し、対象物が注視されているか否かを判定するステップとを含み、
前記設定するステップは、複数の座標データに基づき仮想平面上のＸ方向の最大および最小の最外点、Ｙ方向の最大および最小の最外点を抽出し、前記最外点に基づき閾値を設定する、視線検知プログラム。
視線検知プログラム。
前記設定するステップは、電源投入時に行われる、請求項１２に記載の視線検知ステップ。
前記設定するステップは、ユーザー入力に応答して行われる、請求項１２に記載の視線検知プログラム。
前記設定するステップは、左右の視線の座標データを一対の座標データとし、一対の座標データの重心点に基づき閾値を設定する、請求項１２に記載の視線検知プログラム。
人物の視線方向を検知する検知手段を備えた視線検知装置における視線検知方法であって、
注視の対象となる対象物を案内するステップと、
前記検知手段により検知された視線方向に基づき前記案内された対象物の仮想平面上の複数の座標データを取得するステップと、
前記取得するステップで取得された複数の座標データに基づき対象物の注視判定を行うための前記仮想平面上の座標領域を規定する閾値を自動で設定するステップと、
前記検知手段により検知された視線方向と前記設定された閾値とを比較し、対象物が注視されているか否かを判定するステップとを含み、
前記設定するステップは、複数の座標データに基づき仮想平面上のＸ方向の最大および最小の最外点、Ｙ方向の最大および最小の最外点を抽出し、前記最外点に基づき閾値を設定する、視線検知方法。
前記設定するステップは、左右の視線の座標データを一対の座標データとし、一対の座標データの重心点に基づき閾値を設定する、請求項１６に記載の視線検知方法。