JP5150610B2 - Gaze determination device - Google Patents

Gaze determination device Download PDF

Info

Publication number
JP5150610B2
JP5150610B2 JP2009275693A JP2009275693A JP5150610B2 JP 5150610 B2 JP5150610 B2 JP 5150610B2 JP 2009275693 A JP2009275693 A JP 2009275693A JP 2009275693 A JP2009275693 A JP 2009275693A JP 5150610 B2 JP5150610 B2 JP 5150610B2
Authority
JP
Japan
Prior art keywords
area
vehicle device
line
stored
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009275693A
Other languages
Japanese (ja)
Other versions
JP2011116248A (en
Inventor
信介 植田
昭夫 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2009275693A priority Critical patent/JP5150610B2/en
Publication of JP2011116248A publication Critical patent/JP2011116248A/en
Application granted granted Critical
Publication of JP5150610B2 publication Critical patent/JP5150610B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、注視判定装置に関する。   The present invention relates to a gaze determination apparatus.

従来、例えば操作者により操作された車載機器の位置情報と、この操作時における操作者の視線に応じた位置情報との差異が所定値未満である場合に、眼球センサの検出値を較正する視線検出装置が知られている(例えば、特許文献1参照)。   Conventionally, for example, when the difference between the position information of the in-vehicle device operated by the operator and the position information corresponding to the line of sight of the operator at the time of this operation is less than a predetermined value, the line of sight to calibrate the detection value of the eyeball sensor A detection device is known (see, for example, Patent Document 1).

特開2007−259931号公報JP 2007-259931 A

ところで、上記従来技術に係る視線検出装置によれば、眼球センサの検出値を較正するためには操作者による車載機器の操作が必要であり、較正が行なわれるタイミングが制限されてしまうという問題が生じる。しかも、較正のために操作者による意図的な操作が必要とされることで煩わしさが生じてしまうという問題が生じる。   By the way, according to the eye gaze detection device according to the above-described conventional technology, in order to calibrate the detection value of the eyeball sensor, the operator needs to operate the in-vehicle device, and there is a problem that the timing for performing the calibration is limited. Arise. In addition, there is a problem in that it is troublesome because an intentional operation by an operator is required for calibration.

本発明は上記事情に鑑みてなされたもので、視線の検出結果に基づく注視対象の判定処理に対する較正の利便性を適切に向上させることが可能な注視判定装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object thereof is to provide a gaze determination apparatus capable of appropriately improving the convenience of calibration for a gaze target determination process based on a line-of-sight detection result.

上記課題を解決して係る目的を達成するために、本発明の第1態様に係る注視判定装置は、運転席に着座した運転者の眼を撮像して画像を出力する撮像手段(例えば、実施の形態での乗員カメラ11)と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段(例えば、実施の形態での視線検出部21)と、少なくとも1つ以上の車載機器毎の存在領域を第1領域として記憶する記憶手段(例えば、実施の形態での第1領域記憶部23)と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定する注視判定手段(例えば、実施の形態での注視判定部22)とを備える注視判定装置であって、前記車載機器毎の前記第1領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第2領域として出力する領域拡大手段(例えば、実施の形態での領域拡大部24)と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段(例えば、実施の形態での座標位置格納部25)と、前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段(例えば、実施の形態での格納数判定部26)と、前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段(例えば、実施の形態での中央位置算出部27)と、前記記憶手段に記憶された前記車載機器毎の前記第1領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第1領域の位置を変更して変更結果を出力する領域位置変更手段(例えば、実施の形態での第1領域位置変更部28)とを備え、前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定する。   In order to solve the above-described problems and achieve the object, the gaze determination device according to the first aspect of the present invention is an imaging unit that captures the eyes of the driver seated in the driver's seat and outputs an image (for example, implementation) And a line-of-sight detection means (for example, a line-of-sight detection unit in the embodiment) for detecting the driver's line-of-sight direction based on the image output from the imaging means and outputting a detection result 21), a storage unit (for example, the first region storage unit 23 in the embodiment) that stores an existing region for each of at least one on-vehicle device as the first region, and the line-of-sight detection unit that outputs the Gaze determination means for determining that the driver is gazing at the in-vehicle device corresponding to the first area when the line-of-sight direction of the detection result intersects the first area stored in the storage means. (For example, in the embodiment A gaze determination unit comprising: a gaze determination unit 22), wherein the first area for each in-vehicle device is temporarily enlarged in the vicinity of the in-vehicle device, and an enlarged result is output as a second region for each in-vehicle device. An area enlarging unit (for example, the area enlarging unit 24 in the embodiment) and the line-of-sight direction of the detection result output from the line-of-sight detecting unit intersect the second area output from the area enlarging unit. In this case, the storage unit (for example, the coordinate position storage unit 25 in the embodiment) that stores the coordinate position corresponding to the line-of-sight direction for each on-vehicle device, and the on-vehicle device stored in the storage unit A storage number determination unit (for example, a storage number determination unit 26 in the embodiment) that determines whether or not the number of stored coordinate positions is greater than or equal to a predetermined number and outputs a determination result, and outputs from the storage number determination unit Said size In the result, when the stored number is equal to or greater than a predetermined number, the central position calculating means for calculating the central position of the coordinate position for each in-vehicle device and outputting the calculation result (for example, the central position calculating unit in the embodiment) 27) and the central coordinate position of the first area for each on-vehicle device stored in the storage means matches the central position for each on-vehicle device of the calculation result output from the central position calculation means. And a region position changing unit (for example, the first region position changing unit 28 in the embodiment) that changes the position of the first region and outputs a change result, and the gaze determining unit includes the line of sight When the line-of-sight direction of the detection result output from the detection unit intersects the first region of the change result output from the region position change unit, the driver corresponds to the first region. In-vehicle machine It is determined that the device is being watched.

また、本発明の第2態様に係る注視判定装置は、運転席に着座した運転者の眼を撮像して画像を出力する撮像手段(例えば、実施の形態での乗員カメラ11)と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段(例えば、実施の形態での視線検出部21)と、少なくとも1つ以上の車載機器毎の存在領域を第1領域として記憶する記憶手段(例えば、実施の形態での第1領域記憶部23)と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定する注視判定手段(例えば、実施の形態での注視判定部22)とを備える注視判定装置であって、前記車載機器毎の前記第1領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第2領域として出力する領域拡大手段(例えば、実施の形態での領域拡大部24)と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段(例えば、実施の形態での座標位置格納部25)と、前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段(例えば、実施の形態での格納数判定部26)と、前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段(例えば、実施の形態での中央位置算出部27)と、前記記憶手段に記憶された前記車載機器毎の前記第1領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第1領域の位置を変更して変更結果を出力する領域位置変更手段(例えば、実施の形態での第1領域位置変更部28)とを備え、前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定しており、前記領域拡大手段は、前記車載機器毎の前記第1領域を、該第1領域の周縁部を前記車載機器の周縁部に対応する形状で所定程度だけ拡大するようにして、一時的に拡大する。
さらに、本発明の第3態様に係る注視判定装置は、少なくとも1つ以上の方向での車両の加速度を取得して取得結果を出力する加速度取得手段(例えば、実施の形態での加速度センサ13)と、前記加速度取得手段から出力された前記取得結果の前記加速度が所定値以下であるか否かを判定して判定結果を出力する加速度判定手段(例えば、実施の形態でのステップS31)とを備え、前記格納手段は、前記視線検出手段から出力された前記検出結果の前記視線方向のうち、前記加速度判定手段から出力された前記判定結果において前記加速度が前記所定値以下であるときに前記視線検出手段により検出された前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する。
In addition, the gaze determination apparatus according to the second aspect of the present invention includes imaging means (for example, the occupant camera 11 in the embodiment) that images the eyes of the driver seated in the driver's seat and outputs the images, and the imaging Line-of-sight detection means (for example, line-of-sight detection unit 21 in the embodiment) that detects the driver's line-of-sight direction based on the image output from the means and outputs a detection result; and at least one on-vehicle device The storage means (for example, the first area storage unit 23 in the embodiment) that stores the existence area of the image and the line-of-sight direction of the detection result output from the line-of-sight detection means are stored in the storage means. Gaze determination means for determining that the driver is gazing at the in-vehicle device corresponding to the first area when intersecting the stored first area (for example, the gaze determination unit 22 in the embodiment) ) And, the first area for each of the in-vehicle devices is temporarily expanded in the vicinity of the in-vehicle device, and the expansion result is output as the second area for each of the in-vehicle devices (for example, in the embodiment) When the line-of-sight direction of the detection result output from the area enlargement unit 24) and the line-of-sight detection means intersects the second area output from the area enlargement means, the coordinate position corresponding to the line-of-sight direction Storage means (for example, the coordinate position storage unit 25 in the embodiment) and the number of stored coordinate positions stored in the storage means for each in-vehicle device is greater than or equal to a predetermined number. A storage number determination unit (for example, a storage number determination unit 26 in the embodiment) that outputs a determination result and the determination result output from the storage number determination unit determines whether the storage number is predetermined. More than a few A central position calculation means (for example, the central position calculation section 27 in the embodiment) that calculates a central position of the coordinate position for each on-vehicle device and outputs a calculation result, and is stored in the storage means. In addition, the position of the first region is determined so that the center coordinate position of the first region for each on-vehicle device matches the center position for each on-vehicle device of the calculation result output from the central position calculation means. Area position changing means (for example, the first area position changing unit 28 in the embodiment) that changes and outputs the change result, and the gaze determination means outputs the detection result output from the line-of-sight detection means. When the line-of-sight direction intersects the first area of the change result output from the area position changing means, it is determined that the driver is gazing at the in-vehicle device corresponding to the first area. And said territory The area enlarging means temporarily enlarges the first region for each of the in-vehicle devices by enlarging the peripheral portion of the first region by a predetermined amount in a shape corresponding to the peripheral portion of the in-vehicle device.
Furthermore, the gaze determination apparatus according to the third aspect of the present invention acquires acceleration of the vehicle in at least one direction and outputs an acquisition result (for example, the acceleration sensor 13 in the embodiment). And an acceleration determination unit (for example, step S31 in the embodiment) that determines whether or not the acceleration of the acquisition result output from the acceleration acquisition unit is equal to or less than a predetermined value and outputs a determination result. The storage means includes the line of sight when the acceleration is equal to or less than the predetermined value in the determination result output from the acceleration determination means out of the line-of-sight directions of the detection result output from the line-of-sight detection means. When the line-of-sight direction detected by the detection unit intersects the second region output from the region enlargement unit, a coordinate position corresponding to the line-of-sight direction is set as the vehicle-mounted device. It is stored for each.

本発明の第1態様または第2態様に係る注視判定装置によれば、運転者による特別な操作を必要とせずに車載機器毎の存在領域である第1領域の位置を変更して較正を行なうことができ、利便性を向上させることができる。
また、車載機器近傍において第1領域を拡大して得られる第2領域に対してのみ、視線方向に対応する座標位置を格納することから、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
また、第1領域の位置を変更する較正の実行途中において、視線検出手段から出力された検出結果の視線方向が、第2領域と交差する場合に、運転者が当該第2領域に対応する車載機器を注視していると判定する判定手段を備えた場合には、較正の実行途中であっても、運転者が車載機器を注視しているか否かを判定することができ、装置の信頼性を向上させることができる。
According to the gaze determination apparatus according to the first aspect or the second aspect of the present invention, calibration is performed by changing the position of the first area, which is an existing area for each in-vehicle device, without requiring a special operation by the driver. And convenience can be improved.
In addition, since the coordinate position corresponding to the line-of-sight direction is stored only in the second area obtained by enlarging the first area in the vicinity of the vehicle-mounted device, the coordinates that do not contribute to the improvement of the calculation accuracy of the center position of the coordinate position It is possible to prevent the position from being stored, to secure a desired accuracy in the calculation result of the center position, and to prevent the processing calculation load from being unnecessarily increased.
Further, in the middle of executing calibration for changing the position of the first area, when the line-of-sight direction of the detection result output from the line-of-sight detection means intersects the second area, the driver mounts the vehicle corresponding to the second area. In the case where the determination means for determining that the device is being watched is provided, it is possible to determine whether or not the driver is paying attention to the on-vehicle device even during the execution of calibration, and the reliability of the device Can be improved.

また、本発明の第2態様に係る注視判定装置によれば、第1領域の周縁部を車載機器の周縁部に対応する形状で所定程度だけ拡大して第2領域を設定することにより、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
さらに、本発明の第3態様に係る注視判定装置によれば、加速度が所定値よりも大きい場合、つまり運転者の姿勢が定常状態ではない可能性が高い場合に検出された視線方向を除外して、視線方向に対応する座標位置を格納することから、第1領域の位置の変更を精度良く行なうことができる。
Further, according to the gaze determination device according to the second aspect of the present invention, the coordinates of the first region are enlarged by setting the second region by enlarging the peripheral portion of the first region by a predetermined amount in a shape corresponding to the peripheral portion of the in-vehicle device. It is possible to prevent the storage of coordinate positions that do not contribute to the improvement of the calculation accuracy of the central position of the position, and to ensure the desired accuracy in the calculation result of the central position, and to increase the processing calculation load unnecessarily. Can be prevented.
Furthermore, according to the gaze determination device according to the third aspect of the present invention, the gaze direction detected when the acceleration is larger than a predetermined value, that is, when the driver's posture is not likely to be in a steady state is excluded. Since the coordinate position corresponding to the line-of-sight direction is stored, the position of the first region can be changed with high accuracy.

本発明の実施の形態に係る注視判定装置の構成図である。It is a lineblock diagram of a gaze judging device concerning an embodiment of the invention. 本発明の実施の形態に係る第1領域および第2領域の例を示す図である。It is a figure which shows the example of the 1st area | region and 2nd area | region which concern on embodiment of this invention. 本発明の実施の形態に係る注視判定装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the gaze determination apparatus which concerns on embodiment of this invention. 図3に示す注視判定の処理を示すフローチャートである。It is a flowchart which shows the process of gaze determination shown in FIG. 図3に示す補正を伴う注視判定の処理を示すフローチャートである。It is a flowchart which shows the process of the gaze determination accompanying the correction | amendment shown in FIG. 本発明の実施の形態の第1変形例に係る補正を伴う注視判定の処理を示すフローチャートである。It is a flowchart which shows the process of the gaze determination accompanying the correction | amendment which concerns on the 1st modification of embodiment of this invention. 本発明の実施の形態の第2変形例に係る注視判定装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the gaze determination apparatus which concerns on the 2nd modification of embodiment of this invention.

以下、本発明の注視判定装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態による注視判定装置10は、例えば図1に示すように、乗員カメラ11と、処理装置12と、加速度センサ13とを備えて構成され、さらに、処理装置12は、視線検出部21と、注視判定部22と、第1領域記憶部23と、領域拡大部24と、座標位置格納部25と、格納数判定部26と、中央位置算出部27と、第1領域位置変更部28とを備えて構成されている。
Hereinafter, an embodiment of a gaze determination apparatus according to the present invention will be described with reference to the accompanying drawings.
The gaze determination device 10 according to the present embodiment is configured to include an occupant camera 11, a processing device 12, and an acceleration sensor 13, for example, as illustrated in FIG. 1, and the processing device 12 further includes a gaze detection unit 21. A gaze determination unit 22, a first region storage unit 23, a region enlargement unit 24, a coordinate position storage unit 25, a storage number determination unit 26, a center position calculation unit 27, and a first region position change unit 28. And is configured.

乗員カメラ11は、少なくとも車両の運転席に着座した運転者の眼を撮像対象として、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の眼を含む画像を出力する。   The occupant camera 11 can image at least the eyes of the driver sitting in the driver's seat of the vehicle, for example, in the visible light region or the infrared region, and outputs an image including the driver's eyes.

処理装置12の視線検出部21は、乗員カメラ11から出力された画像に基づき、例えば運転者の眼を検知対象とした所定の認識処理を行ない、認識した眼に基づき、運転者の視線方向(つまり、視線ベクトルの方向)を検出して、検出結果を出力する。
注視判定部22は、視線検出部21から出力された検出結果と、第1領域記憶部23に記憶されている第1領域とに基づき、例えば運転者の視線方向が第1領域と交差するか否かを判定することにより、運転者が第1領域に対応する車載機器を注視しているか否かを判定して、判定結果を出力する。
なお、注視判定部22は、後述する補正処理の実行中(つまり、第2領域が設定されている状態)では、例えば運転者の視線方向が第2領域と交差するか否かを判定することにより、運転者が第2領域に対応する車載機器を注視しているか否かを判定して、判定結果を出力する。
The line-of-sight detection unit 21 of the processing device 12 performs a predetermined recognition process based on, for example, the driver's eyes based on the image output from the occupant camera 11, and based on the recognized eyes, the driver's line-of-sight direction ( That is, the direction of the line-of-sight vector) is detected and the detection result is output.
Based on the detection result output from the line-of-sight detection unit 21 and the first area stored in the first area storage unit 23, the gaze determination unit 22 determines, for example, whether the driver's line-of-sight direction intersects the first area. By determining whether or not, it is determined whether or not the driver is gazing at the in-vehicle device corresponding to the first region, and the determination result is output.
Note that the gaze determination unit 22 determines, for example, whether or not the driver's line-of-sight direction intersects the second area during the execution of correction processing described later (that is, in a state where the second area is set). Thus, it is determined whether or not the driver is gazing at the in-vehicle device corresponding to the second region, and the determination result is output.

第1領域記憶部23は、各種の車載機器毎の存在領域を第1領域として記憶している。
この第1領域は、例えば車載機器の実際の存在位置に応じて予め設定された既定の存在領域(例えば図2(A)に示すドアミラー、ルームミラー、ナビゲーション画面などに対する各領域A1〜A4など)である。
The first area storage unit 23 stores an existence area for each of various on-vehicle devices as a first area.
This first area is, for example, a predetermined existence area set in advance according to the actual position of the vehicle-mounted device (for example, the areas A1 to A4 for the door mirror, the room mirror, the navigation screen, etc. shown in FIG. 2A). It is.

領域拡大部24は、第1領域記憶部23に記憶されている第1領域の位置を補正する補正処理の実行時に、第1領域記憶部23に記憶されている第1領域を一時的に拡大して第2領域(例えば図2(B)に示す各領域C1〜C4など)を設定する。
領域拡大部24は、車載機器毎に車載機器近傍において第1領域を拡大しており、例えば第1領域の周縁部を、車載機器の周縁部に対応する形状で所定程度だけ拡大する。
The area enlargement unit 24 temporarily enlarges the first area stored in the first area storage unit 23 when executing the correction process for correcting the position of the first area stored in the first area storage unit 23. Then, the second area (for example, the areas C1 to C4 shown in FIG. 2B) is set.
The area enlarging unit 24 enlarges the first area in the vicinity of the in-vehicle device for each in-vehicle device. For example, the area enlarging the periphery of the first region by a predetermined amount in a shape corresponding to the periphery of the in-vehicle device.

なお、第1領域および第2領域の形状は、対応する車載機器の形状に限定されず、例えば矩形や楕円形などの各種の形状であってもよい。
また、第1領域を拡大する場合には、例えば適宜の倍率(縦方向に1.4倍かつ横方向に1.2倍など)で拡大してもよいし、適宜の加算(縦方向にプラス15cmかつ横方向にプラス20cmなど)で拡大してもよい。
Note that the shapes of the first region and the second region are not limited to the shape of the corresponding in-vehicle device, and may be various shapes such as a rectangle and an ellipse.
Further, when the first area is enlarged, for example, it may be enlarged at an appropriate magnification (1.4 times in the vertical direction and 1.2 times in the horizontal direction) or may be added appropriately (plus in the vertical direction). 15 cm and laterally plus 20 cm, etc.).

座標位置格納部25は、視線検出部21から出力された検出結果の視線方向が、車載機器毎の第2領域と交差する場合に、この視線方向に対応する第2領域上の座標位置(つまり、視線方向と第2領域との交点の座標位置)を車載機器毎に格納する。
また、座標位置格納部25は、例えば加速度センサ13から出力される加速度の検出結果に基づき、視線方向に対応する第2領域上の座標位置を格納するか否かを決定しており、先ず、加速度センサ13により検出された加速度が所定の閾値以下であるか否かを判定する。そして、検出された加速度が所定値以下であるときに視線検出部21により検出された視線方向が第2領域と交差する場合に、この視線方向に対応する第2領域上の座標位置を車載機器毎に格納する。
なお、加速度に対する所定の閾値は、例えば、前後方向加速度に対して0.5G、上下方向加速度に対して0.2G、左右方向加速度に対して0.4Gなどである。
The coordinate position storage unit 25, when the line-of-sight direction of the detection result output from the line-of-sight detection unit 21 intersects with the second area for each in-vehicle device, the coordinate position on the second area corresponding to this line-of-sight direction (that is, , The coordinate position of the intersection of the line-of-sight direction and the second region) is stored for each in-vehicle device.
The coordinate position storage unit 25 determines whether or not to store the coordinate position on the second region corresponding to the line-of-sight direction based on, for example, the acceleration detection result output from the acceleration sensor 13. It is determined whether or not the acceleration detected by the acceleration sensor 13 is equal to or less than a predetermined threshold value. When the detected direction of acceleration is equal to or less than a predetermined value and the line-of-sight direction detected by the line-of-sight detection unit 21 intersects the second area, the coordinate position on the second area corresponding to the line-of-sight direction is set as the in-vehicle device. Store every time.
The predetermined threshold for acceleration is, for example, 0.5 G for longitudinal acceleration, 0.2 G for vertical acceleration, 0.4 G for horizontal acceleration, and the like.

格納数判定部26は、座標位置格納部25に格納された車載機器毎の座標位置の格納数(例えば、車両が始動してから累積された格納数など)が所定数以上であるか否かを車載機器毎に判定して、判定結果を出力する。
中央位置算出部27は、格納数判定部26から出力された判定結果において何れかの車載機器に対する座標位置の格納数が所定数以上である場合には、この車載機器に対して座標位置格納部25に格納されている複数の座標位置の中央位置(例えば図2(C)に示す各中央位置D1〜D4など)を算出して、算出結果を出力する。
なお、座標位置の格納数に対する所定数は、例えば各座標位置での視線方向の停留時間を積算して得られる積算時間が所定時間となる状態に対応する座標位置の格納数などである。
なお、複数の座標位置の中央位置が算出された車載機器に対しては、第1領域の一時的な拡大により第2領域を設定する動作は解除される。
The storage number determination unit 26 determines whether or not the number of stored coordinate positions for each in-vehicle device stored in the coordinate position storage unit 25 (for example, the stored number accumulated since the vehicle is started) is equal to or greater than a predetermined number. Is determined for each in-vehicle device, and the determination result is output.
If the number of stored coordinate positions for any one of the in-vehicle devices is greater than or equal to a predetermined number in the determination result output from the stored number determination unit 26, the center position calculating unit 27 receives the coordinate position storage unit for this in-vehicle device. A central position (for example, each of the central positions D1 to D4 shown in FIG. 2C) of the plurality of coordinate positions stored in 25 is calculated, and a calculation result is output.
The predetermined number with respect to the number of stored coordinate positions is, for example, the number of stored coordinate positions corresponding to a state in which the accumulated time obtained by accumulating the stop time in the line-of-sight direction at each coordinate position is a predetermined time.
Note that the operation for setting the second region is canceled by temporarily expanding the first region for the in-vehicle device for which the center position of the plurality of coordinate positions is calculated.

第1領域位置変更部28は、中央位置算出部27から出力された車載機器毎の中央位置を補正位置として、第1領域記憶部23に記憶されている車載機器毎の第1領域の中心座標位置が補正位置に一致するようにして、第1領域記憶部23に記憶されている車載機器毎の第1領域の位置を変更して、変更結果(例えば図2(C)に示す位置変更後の各領域B1〜B4など)を出力する。   The first region position changing unit 28 uses the center position of each in-vehicle device output from the center position calculating unit 27 as the correction position, and the center coordinates of the first region for each in-vehicle device stored in the first region storage unit 23. The position of the first area for each in-vehicle device stored in the first area storage unit 23 is changed so that the position matches the correction position, and the change result (for example, after the position change shown in FIG. 2C) Each region B1-B4, etc.) is output.

この実施の形態による注視判定装置10は上記構成を備えており、次に、この注視判定装置10の動作について説明する。   The gaze determination apparatus 10 according to this embodiment has the above-described configuration. Next, the operation of the gaze determination apparatus 10 will be described.

先ず、例えば図3に示すステップS01においては、運転者の視線ベクトルを取得する。
次に、ステップS02においては、第1領域記憶部23に記憶されている第1領域の中心座標位置を変更する補正処理が完了しているか否かを判定する。
この判定結果が「YES」の場合には、ステップS03に進み、このステップS03においては、後述する注視判定の処理を実行し、エンドに進む。
一方、この判定結果が「NO」の場合には、ステップS04に進み、このステップS04においては、後述する補正を伴う注視判定の処理を実行し、エンドに進む。
First, for example, in step S01 shown in FIG. 3, the driver's line-of-sight vector is acquired.
Next, in step S02, it is determined whether or not correction processing for changing the center coordinate position of the first area stored in the first area storage unit 23 has been completed.
When the determination result is “YES”, the process proceeds to step S03, and in this step S03, a gaze determination process described later is executed, and the process proceeds to the end.
On the other hand, if this determination is “NO”, the flow proceeds to step S 04, and in this step S 04, a gaze determination process with correction described later is executed, and the flow proceeds to the end.

以下に、上述したステップS03での注視判定の処理について説明する。
先ず、例えば図4に示すステップS11においては、第1領域記憶部23に記憶されている車載機器毎の第1領域の中心座標位置を、補正処理により設定された補正位置に一致させるようにして第1領域の位置を変更する。
Hereinafter, the gaze determination process in step S03 described above will be described.
First, for example, in step S11 shown in FIG. 4, the center coordinate position of the first area for each in-vehicle device stored in the first area storage unit 23 is made to coincide with the correction position set by the correction process. The position of the first area is changed.

次に、ステップS12においては、視線ベクトルが第1領域に交差しているか否かを判定する。
この判定結果が「YES」の場合には、ステップS13に進み、このステップS13においては、運転者が第1領域に対応する対象(車載機器)を注視していると判定し、エンドに進む。
一方、この判定結果が「NO」の場合には、ステップS14に進み、このステップS14においては、運転者が第1領域に対応する対象(車載機器)を注視していないと判定し、エンドに進む。
Next, in step S12, it is determined whether or not the line-of-sight vector intersects the first region.
When this determination result is “YES”, the process proceeds to step S13, and in this step S13, it is determined that the driver is gazing at the target (vehicle equipment) corresponding to the first region, and the process proceeds to the end.
On the other hand, if this determination is “NO”, the flow proceeds to step S 14, in which it is determined that the driver is not gazing at the target (in-vehicle device) corresponding to the first region, and the process ends. move on.

以下に、上述したステップS04での補正を伴う注視判定の処理について説明する。
先ず、例えば図5に示すステップS21においては、例えば車載機器毎に車載機器近傍において第1領域を拡大することなどによって、第2領域を取得する。
次に、ステップS22においては、視線ベクトルが第2領域に交差しているか否かを判定する。
この判定結果が「NO」の場合には、ステップS23に進み、このステップS23においては、運転者が第2領域に対応する対象(車載機器)を注視していないと判定し、エンドに進む。
一方、この判定結果が「YES」の場合には、ステップS24に進む。
Below, the gaze determination process accompanied by the correction in step S04 described above will be described.
First, for example, in step S21 shown in FIG. 5, the second area is acquired by, for example, enlarging the first area in the vicinity of the in-vehicle device for each in-vehicle device.
Next, in step S22, it is determined whether or not the line-of-sight vector intersects the second region.
When this determination result is “NO”, the process proceeds to step S23, and in this step S23, it is determined that the driver is not gazing at the target (vehicle equipment) corresponding to the second region, and the process proceeds to the end.
On the other hand, if this determination is “YES”, the flow proceeds to step S24.

次に、ステップS24においては、視線ベクトルと第2領域との交点の座標位置を車載機器毎に格納する。
次に、ステップS25においては、何れかの車載機器に対する座標位置の格納数が所定数以上であるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS28に進む。
一方、この判定結果が「YES」の場合には、ステップS26に進む。
Next, in step S24, the coordinate position of the intersection of the line-of-sight vector and the second region is stored for each in-vehicle device.
Next, in step S25, it is determined whether or not the number of stored coordinate positions for any one of the in-vehicle devices is a predetermined number or more.
If this determination is “NO”, the flow proceeds to step S 28 described later.
On the other hand, if the determination is “YES”, the flow proceeds to step S26.

次に、ステップS26においては、格納した座標位置の中央位置を補正位置として、第1領域の中心座標位置を補正位置に一致させる。
次に、ステップS27においては、補正処理を完了する。
次に、ステップS28においては、運転者が第2領域に対応する対象(車載機器)を注視していると判定し、エンドに進む。
Next, in step S26, the central coordinate position of the first region is made to coincide with the correction position with the central position of the stored coordinate position as the correction position.
Next, in step S27, the correction process is completed.
Next, in step S <b> 28, it is determined that the driver is gazing at the target (in-vehicle device) corresponding to the second region, and the process proceeds to the end.

上述したように、本実施の形態による注視判定装置10によれば、運転者による特別な操作を必要とせずに車載機器毎の存在領域である第1領域の位置を変更する補正によって注視判定の較正を行なうことができ、利便性を向上させることができる。
また、車載機器近傍において第1領域を拡大して得られる第2領域に対してのみ、視線方向に対応する座標位置を格納することから、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
また、第1領域の位置を変更する補正処理の実行途中において、視線検出部21から出力された検出結果の視線方向が、第2領域と交差する場合に、運転者が当該第2領域に対応する車載機器を注視していると判定することにより、補正処理の実行途中であっても、運転者が車載機器を注視しているか否かを判定することができ、装置の信頼性を向上させることができる。
As described above, according to the gaze determination device 10 according to the present embodiment, the gaze determination is performed by correction that changes the position of the first area, which is an existing area for each in-vehicle device, without requiring a special operation by the driver. Calibration can be performed and convenience can be improved.
In addition, since the coordinate position corresponding to the line-of-sight direction is stored only in the second area obtained by enlarging the first area in the vicinity of the vehicle-mounted device, the coordinates that do not contribute to the improvement of the calculation accuracy of the center position of the coordinate position It is possible to prevent the position from being stored, to secure a desired accuracy in the calculation result of the center position, and to prevent the processing calculation load from being unnecessarily increased.
In the course of executing the correction process for changing the position of the first area, the driver corresponds to the second area when the line-of-sight direction of the detection result output from the line-of-sight detection unit 21 intersects the second area. By determining that the in-vehicle device is being watched, it is possible to determine whether or not the driver is watching the in-vehicle device even during the correction process, thereby improving the reliability of the device. be able to.

さらに、第1領域の周縁部を、車載機器の周縁部に対応する形状で所定程度だけ拡大して第2領域を設定することにより、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。   Furthermore, the coordinate position that does not contribute to the improvement of the calculation accuracy of the central position of the coordinate position by setting the second area by enlarging the peripheral area of the first area by a predetermined amount in a shape corresponding to the peripheral area of the in-vehicle device Can be prevented, a desired accuracy can be ensured in the calculation result of the center position, and the processing calculation load can be prevented from being unnecessarily increased.

なお、上述した実施の形態においては、例えば図6に示す第1変形例のように、加速度センサ13により検出された加速度が所定の閾値以下である場合にのみ、視線ベクトルと第2領域との交点の座標位置を車載機器毎に格納してもよい。
この第1変形例では、上述したステップS22の判定結果が「YES」の場合には、ステップS31に進む。
そして、ステップS31においては、加速度センサ13により検出された加速度が所定の閾値以下であるか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS28に進む。
一方、この判定結果が「YES」の場合には、上述したステップS24に進む。
In the above-described embodiment, the line-of-sight vector and the second region are set only when the acceleration detected by the acceleration sensor 13 is equal to or less than a predetermined threshold as in the first modification shown in FIG. You may store the coordinate position of an intersection for every vehicle equipment.
In the first modification, when the determination result in step S22 described above is “YES”, the process proceeds to step S31.
In step S31, it is determined whether or not the acceleration detected by the acceleration sensor 13 is equal to or less than a predetermined threshold value.
If this determination is “NO”, the flow proceeds to step S 28 described above.
On the other hand, if this determination is “YES”, the flow proceeds to step S 24 described above.

この第1変形例によれば、加速度が所定の閾値よりも大きい場合、つまり旋回時や加減速時などにおいて運転者の姿勢が定常状態ではない可能性が高い場合に検出された視線方向を除外して、視線方向に対応する座標位置を格納することから、第1領域の位置の変更を精度良く行なうことができる。
なお、加速度が所定の閾値よりも大きくなって座標位置の格納が行われない場合であっても、視線方向が第2領域と交差するか否かに応じて注視判定が実行されることにより、装置の信頼性を向上させることができる。
According to the first modification, the gaze direction detected when the acceleration is greater than a predetermined threshold, that is, when the driver's posture is not likely to be in a steady state during turning or acceleration / deceleration is excluded. Since the coordinate position corresponding to the line-of-sight direction is stored, the position of the first region can be changed with high accuracy.
Even when the acceleration is larger than a predetermined threshold value and the coordinate position is not stored, the gaze determination is executed depending on whether the line-of-sight direction intersects the second region, The reliability of the apparatus can be improved.

なお、上述した実施の形態においては、例えば図7に示す第2変形例のように、運転者毎に車載機器毎の補正位置のデータを記憶して、運転者毎の補正位置に基づいて第1領域の中心座標位置を変更してもよい。
この第2変形例では、先ず、ステップS41において、乗員カメラ11から出力された画像に基づき運転者の顔を認識する。
次に、ステップS42においては、認識した運転者に応じた補正位置が存在するか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS44に進む。
一方、この判定結果が「YES」の場合には、ステップS43に進む。
In the above-described embodiment, for example, as in the second modified example shown in FIG. 7, the correction position data for each in-vehicle device is stored for each driver, and the first is based on the correction position for each driver. You may change the center coordinate position of 1 area | region.
In the second modification, first, in step S41, the driver's face is recognized based on the image output from the occupant camera 11.
Next, in step S42, it is determined whether there is a correction position corresponding to the recognized driver.
If this determination is “NO”, the flow proceeds to step S 44 described later.
On the other hand, if this determination is “YES”, the flow proceeds to step S43.

次に、ステップS43においては、認識した運転者に応じた補正位置を取得し、第1領域記憶部23に記憶されている車載機器毎の第1領域の中心座標位置を補正位置に一致させるようにして第1領域の位置を変更する。
次に、ステップS44においては、運転者の視線ベクトルを取得する。
次に、ステップS45においては、第1領域記憶部23に記憶されている第1領域または運転者に応じた補正位置によって補正された第1領域の中心座標位置を変更する補正処理が完了しているか否かを判定する。
この判定結果が「NO」の場合には、ステップS46に進み、このステップS46においては、上述した補正を伴う注視判定の処理を実行し、エンドに進む。
一方、この判定結果が「YES」の場合には、ステップS47に進む。
そして、ステップS47においては、補正処理により設定された補正位置を運転者に対応させて記憶する。
そして、ステップS48においては、上述した注視判定の処理を実行し、エンドに進む。
この第2変形例によれば、運転者毎に応じて第1領域の位置変更の変更精度を向上させることができる。
Next, in step S43, a correction position corresponding to the recognized driver is acquired, and the center coordinate position of the first area for each in-vehicle device stored in the first area storage unit 23 is made to coincide with the correction position. Thus, the position of the first area is changed.
Next, in step S44, the driver's line-of-sight vector is acquired.
Next, in step S45, the correction process for changing the center coordinate position of the first area corrected by the correction position corresponding to the first area or the driver stored in the first area storage unit 23 is completed. It is determined whether or not.
If this determination is “NO”, the flow proceeds to step S 46, in which the gaze determination process with correction described above is executed, and the flow proceeds to the end.
On the other hand, if this determination is “YES”, the flow proceeds to step S47.
In step S47, the correction position set by the correction process is stored in association with the driver.
In step S48, the gaze determination process described above is executed, and the process proceeds to the end.
According to the second modification, it is possible to improve the change accuracy of the position change of the first region according to each driver.

なお、上述した実施の形態においては、第1領域を一時的に拡大して第2領域を設定するとしたが、これに限定されず、単に、補正処理の実行中においては第2領域を用いて、補正処理の実行中以外においては第1領域を用いて、視線方向と各領域との交差の有無を判定する際に、補正処理の実行有無に応じて第1領域と第2領域とを切り替えてもよい。この場合、第2領域は第1領域が拡大されて設定された領域であればよい。   In the above-described embodiment, the first area is temporarily enlarged to set the second area. However, the present invention is not limited to this, and the second area is simply used during the execution of the correction process. When the correction process is not executed, the first area is used to switch between the first area and the second area depending on whether the correction process is executed or not when determining whether or not the line-of-sight direction intersects each area. May be. In this case, the second area may be an area set by enlarging the first area.

10 注視判定装置
11 乗員カメラ(撮像手段)
13 加速度センサ(加速度取得手段)
21 視線検出部(視線検出手段)
22 注視判定部(注視判定手段)
23 第1領域記憶部(記憶手段)
24 領域拡大部(領域拡大手段)
25 座標位置格納部(格納手段)
26 格納数判定部(格納数判定手段)
27 中央位置算出部(中央位置算出手段)
28 第1領域位置変更部(領域位置変更手段)
ステップS31 加速度判定手段
10 Gaze determination device 11 Crew camera (imaging means)
13 Acceleration sensor (acceleration acquisition means)
21 Gaze detection unit (gaze detection means)
22 Gaze determination unit (gaze determination means)
23 1st area | region memory | storage part (memory | storage means)
24 Area expansion part (area expansion means)
25 Coordinate position storage unit (storage means)
26 Stored Number Judgment Unit (Stored Number Judgment Unit)
27 Center position calculation unit (center position calculation means)
28 1st area position change part (area position change means)
Step S31: acceleration determination means

Claims (3)

運転席に着座した運転者の眼を撮像して画像を出力する撮像手段と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段と、少なくとも1つ以上の車載機器毎の存在領域を第1領域として記憶する記憶手段と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定する注視判定手段とを備える注視判定装置であって、
前記車載機器毎の前記第1領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第2領域として出力する領域拡大手段と、
前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段と、
前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段と、
前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段と、
前記記憶手段に記憶された前記車載機器毎の前記第1領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第1領域の位置を変更して変更結果を出力する領域位置変更手段とを備え、
前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定することを特徴とする注視判定装置。
Imaging means for imaging the driver's eyes seated in the driver's seat and outputting an image; and gaze detection means for detecting the driver's gaze direction based on the image output from the imaging means and outputting a detection result Storage means for storing an existence area for each of at least one on-vehicle device as a first area, and the line-of-sight direction of the detection result output from the line-of-sight detection means is stored in the storage means. A gaze determination device comprising gaze determination means for determining that the driver is gazing at the in-vehicle device corresponding to the first area when intersecting with one area,
A region enlarging means for temporarily enlarging the first region for each in-vehicle device in the vicinity of the in-vehicle device and outputting an expansion result as a second region for each in-vehicle device;
When the line-of-sight direction of the detection result output from the line-of-sight detection unit intersects the second area output from the area enlarging unit, the coordinate position corresponding to the line-of-sight direction is stored for each on-vehicle device. Storage means for
A storage number determination unit that determines whether or not the number of stored coordinate positions for each in-vehicle device stored in the storage unit is equal to or greater than a predetermined number, and outputs a determination result;
A central position calculating means for calculating a central position of the coordinate position for each in-vehicle device and outputting a calculation result when the stored number is equal to or larger than a predetermined number in the determination result output from the stored number determining means; ,
The center coordinate position of the first area for each on-vehicle device stored in the storage means matches the center position for each on-vehicle device of the calculation result output from the central position calculation means, An area position changing means for changing the position of the first area and outputting the change result;
When the gaze direction of the detection result output from the line-of-sight detection unit intersects the first region of the change result output from the region position changing unit, the gaze determination unit A gaze determination device that determines that the vehicle-mounted device corresponding to the first region is being watched.
運転席に着座した運転者の眼を撮像して画像を出力する撮像手段と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段と、少なくとも1つ以上の車載機器毎の存在領域を第1領域として記憶する記憶手段と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定する注視判定手段とを備える注視判定装置であって、
前記車載機器毎の前記第1領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第2領域として出力する領域拡大手段と、
前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段と、
前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段と、
前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段と、
前記記憶手段に記憶された前記車載機器毎の前記第1領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第1領域の位置を変更して変更結果を出力する領域位置変更手段とを備え、
前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定しており、
前記領域拡大手段は、前記車載機器毎の前記第1領域を、該第1領域の周縁部を前記車載機器の周縁部に対応する形状で所定程度だけ拡大するようにして、一時的に拡大することを特徴とする注視判定装置。
Imaging means for imaging the driver's eyes seated in the driver's seat and outputting an image; and gaze detection means for detecting the driver's gaze direction based on the image output from the imaging means and outputting a detection result Storage means for storing an existence area for each of at least one on-vehicle device as a first area, and the line-of-sight direction of the detection result output from the line-of-sight detection means is stored in the storage means. A gaze determination device comprising gaze determination means for determining that the driver is gazing at the in-vehicle device corresponding to the first area when intersecting with one area,
A region enlarging means for temporarily enlarging the first region for each in-vehicle device in the vicinity of the in-vehicle device and outputting an expansion result as a second region for each in-vehicle device;
When the line-of-sight direction of the detection result output from the line-of-sight detection unit intersects the second area output from the area enlarging unit, the coordinate position corresponding to the line-of-sight direction is stored for each on-vehicle device. Storage means for
A storage number determination unit that determines whether or not the number of stored coordinate positions for each in-vehicle device stored in the storage unit is equal to or greater than a predetermined number, and outputs a determination result;
A central position calculating means for calculating a central position of the coordinate position for each in-vehicle device and outputting a calculation result when the stored number is equal to or larger than a predetermined number in the determination result output from the stored number determining means; ,
The center coordinate position of the first area for each on-vehicle device stored in the storage means matches the center position for each on-vehicle device of the calculation result output from the central position calculation means, An area position changing means for changing the position of the first area and outputting the change result;
When the gaze direction of the detection result output from the line-of-sight detection unit intersects the first region of the change result output from the region position changing unit, the gaze determination unit It is determined that the in-vehicle device corresponding to the first area is being watched,
The area enlarging means temporarily enlarges the first area for each in-vehicle device by enlarging the peripheral portion of the first area by a predetermined degree in a shape corresponding to the peripheral portion of the in-vehicle device. Note vision determination device you wherein a.
少なくとも1つ以上の方向での車両の加速度を取得して取得結果を出力する加速度取得手段と、
前記加速度取得手段から出力された前記取得結果の前記加速度が所定値以下であるか否かを判定して判定結果を出力する加速度判定手段とを備え、
前記格納手段は、前記視線検出手段から出力された前記検出結果の前記視線方向のうち、前記加速度判定手段から出力された前記判定結果において前記加速度が前記所定値以下であるときに前記視線検出手段により検出された前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納することを特徴とする請求項1または請求項2に記載の注視判定装置。
Acceleration acquisition means for acquiring acceleration of the vehicle in at least one direction and outputting an acquisition result;
Acceleration determination means for determining whether the acceleration of the acquisition result output from the acceleration acquisition means is equal to or less than a predetermined value and outputting a determination result;
The storage means includes the line-of-sight detection means when the acceleration is equal to or less than the predetermined value in the determination result output from the acceleration determination means among the line-of-sight directions of the detection result output from the line-of-sight detection means. The coordinate position corresponding to the line-of-sight direction is stored for each on-vehicle device when the line-of-sight direction detected by the crossing with the second area output from the area enlarging means is stored. The gaze determination apparatus according to claim 1 or 2 .
JP2009275693A 2009-12-03 2009-12-03 Gaze determination device Expired - Fee Related JP5150610B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009275693A JP5150610B2 (en) 2009-12-03 2009-12-03 Gaze determination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009275693A JP5150610B2 (en) 2009-12-03 2009-12-03 Gaze determination device

Publications (2)

Publication Number Publication Date
JP2011116248A JP2011116248A (en) 2011-06-16
JP5150610B2 true JP5150610B2 (en) 2013-02-20

Family

ID=44282111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009275693A Expired - Fee Related JP5150610B2 (en) 2009-12-03 2009-12-03 Gaze determination device

Country Status (1)

Country Link
JP (1) JP5150610B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176535A1 (en) * 2011-06-20 2012-12-27 本田技研工業株式会社 Automotive instrument operating device and alert device
JP6316559B2 (en) * 2013-09-11 2018-04-25 クラリオン株式会社 Information processing apparatus, gesture detection method, and gesture detection program
JP6908339B2 (en) * 2017-04-24 2021-07-28 アルパイン株式会社 Line-of-sight detection device, line-of-sight detection program and line-of-sight detection method
JP2019169004A (en) * 2018-03-23 2019-10-03 富士通デバイス株式会社 Sight line detection system and sight line detection program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785669B2 (en) * 1996-03-05 2006-06-14 日産自動車株式会社 Gaze direction measuring device
US7460940B2 (en) * 2002-10-15 2008-12-02 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
JP5098438B2 (en) * 2007-05-24 2012-12-12 株式会社デンソー Information display device
JP5144412B2 (en) * 2008-07-18 2013-02-13 本田技研工業株式会社 Vehicle object determination device

Also Published As

Publication number Publication date
JP2011116248A (en) 2011-06-16

Similar Documents

Publication Publication Date Title
US9817237B2 (en) Head-up display device
JP6062473B2 (en) Road sign judgment device and road sign judgment method
US9430046B2 (en) Gesture based image capturing system for vehicle
JP6379967B2 (en) Image generating apparatus and image generating method
JP2010246088A (en) Device and method for adjusting image captured by on-board camera device, and on-board camera device
JP5150610B2 (en) Gaze determination device
JP2010018201A (en) Driver assistant device, driver assistant method, and driver assistant processing program
CN110316063B (en) Vehicle-mounted display terminal system, display control method of vehicle-mounted display terminal and vehicle
CN111252074B (en) Multi-modal control method, device, computer-readable storage medium and vehicle
CN110494904B (en) Method for operating an assistance system for a vehicle and assistance system
JP2010208359A (en) Display device for vehicle
WO2019187283A1 (en) Image processing device, image display system, and image processing method
JP2012195634A (en) Vehicle rearview visual-recognition apparatus
JP7320736B2 (en) display system
JP2019020312A (en) Display controller and method for display control
JP6407596B2 (en) Image processing apparatus and driving support system
JP5042296B2 (en) Gaze determination device
US10953811B2 (en) Vehicle image controller, system including the same, and method thereof
WO2018042861A1 (en) Vehicle operation system and computer program
JP6322991B2 (en) Gaze detection device and gaze detection method
JP2017083308A (en) Electronic apparatus, facility specification method, and facility specification program
JP7051014B2 (en) Face detection processing device and face detection processing method
JP6405930B2 (en) In-vehicle display device
JP2017112566A (en) Parameter identification device
EP2100772A2 (en) Imaging device and method thereof, as well as image processing device and method thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees