JP6264440B2 - 視線検出装置、および視線検出方法 - Google Patents
視線検出装置、および視線検出方法 Download PDFInfo
- Publication number
- JP6264440B2 JP6264440B2 JP2016250503A JP2016250503A JP6264440B2 JP 6264440 B2 JP6264440 B2 JP 6264440B2 JP 2016250503 A JP2016250503 A JP 2016250503A JP 2016250503 A JP2016250503 A JP 2016250503A JP 6264440 B2 JP6264440 B2 JP 6264440B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- line
- sight
- icon
- confirmed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
A.装置構成 :
図1(a)には、視線検出装置10の構成が示されている。本実施例の視線検出装置10は、図示されるように、後述する各種処理を実行するCPU11、CPU11が実行する処理のプログラム等が記憶されているフラッシュメモリ12、CPU11の作業領域であるRAM13がバス14を介して接続されている。
また、バス14には、車両のインストルメントパネルに設けられた液晶表示器16が、液晶用インターフェース15を介して接続されている。液晶表示器16の表示画面には、車両に搭載されているナビゲーションシステムやオーディオシステム、空調システム等に関する内容を表示可能である。
また、バス14には、近赤外光を用いて撮像する近赤外光カメラ18や、近赤外光照射用のLED(近赤外光LED)19がカメラ用インターフェース17を介して接続されている。近赤外光カメラ18および近赤外光LED19は、運転席の前方に運転席側を向けて設けられている。近赤外光カメラ18は、近赤外光LED19が照射された運転者の目を定期的に(例えば1秒間に30回)撮影する。このようにして撮影された運転者の目の画像はRAM13の所定アドレスに一時的に記憶され、運転者の視線を検出する際に使用される。
また、本実施例の視線検出装置10では、始動点検画面が表示された状態で、始動点検画面上における運転者の視線が到達する「視線位置」を検出する。そして、検出された視線位置が、上述した何れかのアイコンが表示されている領域に存在する場合は、運転者がそのアイコンを視認していると判断される。
また、始動点検画面には、各アイコンの中心位置を所定時間続けて視認することを運転者に促す催促画像16rが表示される。そして、何れかのアイコンが運転者に視認されている間は、そのアイコンが視認されていることを示す視認中画像16s(図2(a)中のエアバッグアイコン16aを囲む太枠の画像)が表示されると共に、視認時間の経過を示す視認時間画像16tが表示される。そして、図2(b)に示すように、何れかのアイコンを運転者が視認してから所定時間が経過したら視認を終了しても良いことを示す視認終了画像16z(図2(b)中の視認OKの画像)が表示される。
図3は、運転者の目の画像中の瞳孔および角膜反射像を例示する説明図である。運転者の目の画像20において、角膜反射像20aの中心に対する相対的な瞳孔20bの中心の位置(以下「瞳孔相対位置」)は運転者が視認している位置に対応して変化する。例えば、図3(a)に示すように運転者が正面を視認している場合、瞳孔20bは角膜反射像20aの真上に位置するのに対して、図3(b)に示すように運転者が左方を視認している場合、瞳孔20bは角膜反射像20aの右上に位置する。そこで、CPU201は、瞳孔20bの中心および角膜反射像20aの中心を検出したら、角膜反射像20aの中心に対する相対的な瞳孔20bの中心の位置(瞳孔相対位置)を演算する。尚、瞳孔相対位置は、目の画像20中のX,Y方向の画素数で示される。
こうして、瞳孔相対位置を演算したら、視線位置決定テーブルを参照して視線位置を検出する。視線位置決定テーブルは、フラッシュメモリ12の所定アドレスに記憶されている。
以下では、図2を用いて前述した始動点検画面を表示させた状態で、運転者に始動点検を行わせるための処理(始動点検用処理)について説明する。
図5は、CPU11によって実行される始動点検用処理を示すフローチャートである。始動点検用処理は、車両のエンジンが起動された後、図2を用いて前述した始動点検画面が液晶表示器16に表示された状態で開始される。
始動点検用処理を開始すると、CPU11は、図2を用いて前述した各アイコン16a〜16eに関係する処理(エアバッグアイコン用処理、水温監視アイコン用処理、燃料監視アイコン用処理、周囲監視アイコン用処理、通信アイコン用処理)を行う(S100〜S108)。これらの処理は、処理の対象となるアイコンが互いに異なるだけであるので、これらの中からエアバッグアイコン用処理を例にとって説明する。
これに対して、運転者がエアバッグアイコン16aを視認していれば(S200:yes)、今回視線位置を検出するにあたって検出した「瞳孔相対位置」(図3を用いて前述)をエアバッグアイコン16aに対応させて記憶する(S202)。本実施例の視線検出装置10では、運転者がエアバッグアイコン16aを視認している間は視線位置を検出するたびに、該視線位置を検出するにあたって演算した「瞳孔相対位置」をRAM13の所定アドレスに累積して記憶する(S202の処理、後述のS212の処理)。この理由については後に説明する。
続いて、運転者がエアバッグアイコン16aを視認している時間(視認時間)の計測を開始する(S204)。そして、図2に示すように、エアバッグアイコン16aを視認していることを示す視認中画像16sおよび視認時間の経過を示す視認時間画像16tを、液晶表示器16の始動点検画面に表示する。
ここで、図2を用いて前述したように、液晶表示器16の始動点検画面には、アイコンの「中心位置」を所定時間続けて視認することを運転者に促す催促画像16rが表示されている。従って、運転者がエアバッグアイコン16aを視認している間における「瞳孔相対位置」は、運転者がエアバッグアイコン16aの「中心位置」を視認した状態における「瞳孔相対位置」(以下「中心向き瞳孔相対位置」)であると推定できる。S218の処理では、このような「中心向き瞳孔相対位置」の平均値を求めることで、ノイズ(外れ値)の影響を小さくした「中心向き瞳孔相対位置」を求めることができる。例えば、視認開始時等に視線が定まらない状態で(すなわちエアバッグアイコン16aの端部等を視認した状態で)演算された「瞳孔相対位置」がそのまま「中心向き瞳孔相対位置」として求められることを抑制できる。尚、上述した複数の「中心向き瞳孔相対位置」の平均値を演算する以外にも、複数の「中心向き瞳孔相対位置」の中央値や最頻値を演算することで、ノイズの影響を小さくした「中心向き瞳孔相対位置」を求めることとしても良い。
そこで、図7に例示するように、S220の処理ではこれらの対応関係のズレを抑えるべく、視線位置決定テーブルを校正する。すなわち、今回求められた「中心向き瞳孔相対位置」は運転者がエアバッグアイコン16aの中心位置を視認している状態で演算される「瞳孔相対位置」と推定できることから、該「瞳孔相対位置」が演算された場合にエアバッグアイコン16aの中心位置(本発明における「特定位置」に相当)に対応する視線位置が検出されるように、視線位置決定テーブルの該「瞳孔相対位置」に対応する視線位置をエアバッグアイコン16aの中心位置に対応する視線位置に更新する。また、これに連動して、その他の「瞳孔相対位置」に対応する視線位置も、周知の補間処理や補外処理を行うことによって更新する。これにより、運転者が実際に視認している位置と検出される視線位置との間にズレが生じてしまうことを抑えることができる。
C−1.変形例1 :
上述した実施例では、それぞれのアイコン16a〜16eが確認されるたびに視線位置決定テーブルの校正を行ったが、全てのアイコンが確認されてから視線位置決定テーブルの校正を行ってもよい。
また、視線位置決定テーブルを校正するに際しては、全てのアイコンについて、「中心向き瞳孔相対位置」に対応する視線位置を更新してから、それ以外の瞳孔相対位置に対応する視線位置を周知の補間処理や補外処理等を行うことによって更新する。したがって、この補間処理や補外処理等の信頼度を高めることができ、ひいては、視線位置の検出精度を高めることが可能となる。
車両に搭載されている複数のシステムの中には運転者固有の情報である固有情報を利用するシステムが存在する。例えば、ナビゲーションシステムでは住所や電話番号等を固有情報として利用し、オーディオシステムでは楽曲の再生リスト等を固有情報として利用し、通信システムではメールアドレス等を固有情報として利用する。そして、これらの固有情報は、運転者が積極的に設定することで、または、運転者が各システムを利用した結果として、フラッシュメモリ12(固有情報記憶手段)の所定アドレスに記憶される。
図9は、変形例2の始動点検用処理を示すフローチャートである。変形例2の始動点検用処理を開始すると、CPU11は先ず、図5のS100〜S108と同様の処理を行う(S400〜S408)。そして、全てのアイコンが運転者に確認されたと判断したら(S410:yes)、走行レンジの切り換えが可能な状態にした後(S412)、予め定められた順序でアイコン16a〜16eが確認されたか否かを判断する(S414)。例えば、予め定められた順序として、エアバッグアイコン16a→通信アイコン16e→周囲監視アイコン16d→水温監視アイコン16b→燃料監視アイコン16cの順序がフラッシュメモリ12に記憶されており、この順序でアイコン16a〜16eが運転者に確認されたか否かを判断する。
上述した実施例では、図2を用いて前述した液晶表示器16(始動点検画面のアイコン)を確認させることで、運転者に始動点検を行わせると共に視線位置決定テーブルの校正を行うこととした。これに限らず、他の部分を確認させることで、運転者に始動点検を行わせると共に視線位置決定テーブルの校正を行うこととしてもよい。
尚、変形例3においても、変形例2と同様に、予め定められた順序で各部位が確認されたら、各システムにおける固有情報の利用が可能な状態にすることとしてもよい。
上述した変形例2では、システムが正常に動作可能であるか否かを示すアイコン16a〜16eが予め定められた順序で確認されたら、固有情報を利用するシステムにおける固有情報の利用を可能にすることとしたが、アイコン16a〜16eに代えて、システムが正常に動作可能であるか否かを示さないアイコンを利用してもよい。例えば、図11に示すように、液晶表示器16の表示画面にアイコンA〜Iを表示して、これらのアイコンが予め定められた順序で視認されたら、固有情報を利用するシステムにおける固有情報の利用を可能にすることとしてもよい。そして、この場合は、アイコンA〜Iを視認した場合の瞳孔相対位置をアイコンA〜Iの中心位置に対応する視線位置に更新することで、視線位置決定テーブルを校正する。
11a…検出処理機能、 11b…確認済記憶機能、
11c…走行可能化機能、 11d…校正機能、
12…ROM、 13…RAM、
14…バス、 15…液晶用インターフェース、
16…液晶表示器、 16a〜16e…アイコン、
17…カメラ用インターフェース、 18…近赤外光カメラ、
19…近赤外光LED、 20…目の画像、
20a…角膜反射像、 20b…瞳孔、
30…バックミラー、 31…サイドミラー、
32…各種計器類、 33…ハンドル、
34…ヘッドアップディスプレイ
Claims (4)
- 車両に設けられ、運転者の視線が到達する視線位置を検出する視線検出装置であって、
前記車両の走行のための機能の種類毎に設けられ、前記機能が正常であるか否かを示す表示部(16a〜16e)と、
前記運転者の前記視線位置を検出するための検出処理を行う検出処理手段(11a)と、
前記表示部毎に、前記運転者の前記視線位置が前記表示部の表示領域内に存在するか否かを判断し、前記運転者の前記視線位置が前記表示部の表示領域内に存在する場合は該表示部が前記運転者に確認されたことを記憶する確認済記憶手段(11b、S216)と、
複数の前記表示部について前記運転者に確認されたことが記憶されたら、前記車両を走行可能な状態とする走行可能化手段(11c、S112、S312、S412)と、
前記表示部が前記運転者に確認されたことが記憶された場合の前記運転者の前記視線位置が該表示部の表示領域内の特定位置として検出されるように、前記検出処理の校正を行う校正手段(11d、S220、S316)と
を備える視線検出装置。 - 請求項1に記載の視線検出装置であって、
前記走行可能化手段は、エンジンの始動が可能な状態またはシフトレンジを走行レンジに切り換え可能な状態とすることで、前記車両を走行可能な状態とする手段である視線検出装置。 - 請求項1または請求項2に記載の視線検出装置であって、
前記校正手段は、複数の前記表示部全てについて前記運転者に確認されたことが記憶された後に、前記校正を行う手段(11d、S316)である視線検出装置。 - 車両に設けられ、運転者の視線が到達する視線位置を検出する視線検出方法であって、
前記運転者の前記視線位置を検出するための検出処理を行う工程(11a)と、
前記車両の走行のための機能の種類毎に設けられ前記機能が正常であるか否かを前記運転者が確認可能な表示部(16a〜16e)毎に、前記運転者の前記視線位置が前記表示部の表示領域内に存在するか否かを判断し、前記運転者の前記視線位置が前記表示部の表示領域内に存在する場合は該表示部が前記運転者に確認されたことを記憶する工程(11b、S216)と、
複数の前記表示部について前記運転者に確認されたことが記憶されたら、前記車両を走行可能な状態とする工程(11c、S112、S312、S412)と、
前記表示部が前記運転者に確認されたことが記憶された場合の前記運転者の前記視線位置が該表示部の表示領域内の特定位置として検出されるように、前記検出処理の校正を行う工程(11d、S220、S316)と
を備える視線検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016250503A JP6264440B2 (ja) | 2016-12-26 | 2016-12-26 | 視線検出装置、および視線検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016250503A JP6264440B2 (ja) | 2016-12-26 | 2016-12-26 | 視線検出装置、および視線検出方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013245219A Division JP6136891B2 (ja) | 2013-11-27 | 2013-11-27 | 視線検出装置、および視線検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017132455A JP2017132455A (ja) | 2017-08-03 |
JP6264440B2 true JP6264440B2 (ja) | 2018-01-24 |
Family
ID=59502135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016250503A Expired - Fee Related JP6264440B2 (ja) | 2016-12-26 | 2016-12-26 | 視線検出装置、および視線検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6264440B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09212082A (ja) * | 1996-01-30 | 1997-08-15 | Nissan Motor Co Ltd | 視線入力装置 |
JP4694895B2 (ja) * | 2005-06-07 | 2011-06-08 | 日立建機株式会社 | 建設機械 |
JP4006715B1 (ja) * | 2007-03-20 | 2007-11-14 | 孝明 最上 | 飲酒運転防止装置 |
JP2012198731A (ja) * | 2011-03-21 | 2012-10-18 | Denso Corp | 車両制御装置 |
-
2016
- 2016-12-26 JP JP2016250503A patent/JP6264440B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017132455A (ja) | 2017-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3357793A1 (en) | Parking assist apparatus | |
JP4480755B2 (ja) | 車両用ヘッドアップディスプレイ装置 | |
JP5092776B2 (ja) | 視線方向検出装置及び視線方向検出方法 | |
JP7053437B2 (ja) | 運転支援装置および車両 | |
JP4222183B2 (ja) | 車両周辺画像表示装置 | |
JP2007259931A (ja) | 視線検出装置 | |
US20180257565A1 (en) | Drive assist apparatus | |
JP2010143411A (ja) | ヘッドアップディスプレイ装置 | |
US10793069B2 (en) | Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination | |
JP2016055801A (ja) | 車載表示装置 | |
JP2014045265A (ja) | 車載撮像システム | |
JP2024501253A (ja) | カメラミラーシステムのディスプレイカメラ較正 | |
JP2006205938A (ja) | 車載表示装置 | |
JP2010208359A (ja) | 車両用表示装置 | |
JP6136891B2 (ja) | 視線検出装置、および視線検出方法 | |
KR20170138939A (ko) | 자동차의 주변을 표시하기 위한 장치 및 방법 | |
KR20090052413A (ko) | 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법 | |
CN112996695A (zh) | 车身构造 | |
US10953811B2 (en) | Vehicle image controller, system including the same, and method thereof | |
JP6264440B2 (ja) | 視線検出装置、および視線検出方法 | |
WO2015092977A1 (ja) | 視線検出装置、および視線検出方法 | |
JP2018034716A (ja) | 車両用操作システム及びコンピュータプログラム | |
US11590893B2 (en) | Vehicle electronic mirror system | |
JP2019095892A (ja) | 車両用運転支援装置、および車両用運転支援プログラム | |
JP6953987B2 (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6264440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |