JP6793473B2 - Sideways state judgment device - Google Patents
Sideways state judgment device Download PDFInfo
- Publication number
- JP6793473B2 JP6793473B2 JP2016117654A JP2016117654A JP6793473B2 JP 6793473 B2 JP6793473 B2 JP 6793473B2 JP 2016117654 A JP2016117654 A JP 2016117654A JP 2016117654 A JP2016117654 A JP 2016117654A JP 6793473 B2 JP6793473 B2 JP 6793473B2
- Authority
- JP
- Japan
- Prior art keywords
- sideways
- duration
- consciousness
- amplitude
- aside
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004434 saccadic eye movement Effects 0.000 claims description 21
- 210000001508 eye Anatomy 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000004424 eye movement Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 19
- 238000012360 testing method Methods 0.000 description 14
- 210000004556 brain Anatomy 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Eye Examination Apparatus (AREA)
Description
本発明は、わき見状態判定装置に関するものである。 The present invention relates to a sideways state determination device.
運転者のわき見は、安全運転を行う上で好ましくないものである。特許文献１には、視線が動くときに生じる跳躍運動の１回あたりの移動量から、進行方向を見ていないときのわき見を判定するものが開示されている。
Aside from the driver is not preferable for safe driving.
わき見の中には、車両の進行方向を見ていない一般的なわき見の他、進行方向を見ているときのわき見となる「意識のわき見」といわれるものがある。すなわち、運転者が考え事をしているときや漫然としているときには、運転者は進行方向を見ているものの、前方に存在する視認すべき対象物を十分に見ていない状態を生じることが往々にしてあり、このような状態が意識のわき見となる。特許文献２には、運転者の脳波に基づいて意識のわき見を判定するものが開示されている。
In addition to the general side-view that does not look at the direction of travel of the vehicle, there is also a side-view called "aside of consciousness" that is a side-view when looking at the direction of travel. That is, when the driver is thinking or is absent, the driver is often looking in the direction of travel, but not sufficiently looking at the object to be seen in front of him. This is a sideways view of consciousness.
上述した意識のわき見であるか否かを判定するために、特許文献２に記載のように運転者の脳波を用いることは一般的でなく（脳波検出装置がかなり大掛かりでコスト高）、より簡便な手法で判定できるようにすることが望まれる。
It is not common to use the driver's brain waves as described in
本発明は以上のような事情を勘案してなされたもので、その目的は、運転者等の判定対象者の眼球の動きを検出するという簡便な手法により、意識のわき見を判定できるようにしわき見状態判定装置を提供することにある。 The present invention has been made in consideration of the above circumstances, and an object of the present invention is to make it possible to judge aside of consciousness by a simple method of detecting the movement of the eyeball of a judgment target person such as a driver. The purpose is to provide a state determination device.
前記目的を達成するため、本発明にあっては基本的に、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカード（サッケードと称されることもある）の振幅あたりの移動速度や持続時間が、意識のわき見のときと正常に前方を視認しているときとで相違する、という知見に基づいてなされたものである。 In order to achieve the above object, in the present invention, basically, movement per amplitude of soccerd (sometimes referred to as saccade), which is a sudden eye movement that occurs when the line of sight of the determination target person moves. It was made based on the finding that the speed and duration differ between when one is consciously looking aside and when one is normally looking ahead.
本発明にあっては、次のような第１の解決手法を採択してある。すなわち、請求項１に記載のように、
判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの移動速度を検出する移動速度検出手段と、
前記移動速度検出手段により検出される前記移動速度に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備え、
前記わき見判定手段は、前記振幅が所定値以下の小さい範囲のときを条件として、前記移動速度検出手段により検出される前記移動速度があらかじめ設定された基準移動速度から所定以上低下したときに、意識のわき見であると判定する、
ようにしてある。上記第１の解決手法によれば、判定対象者の眼を撮像するという簡便な手法によって、意識のわき見であるか否かを判定することができる。また、意識のわき見であることの判定について、より具体的な手法が提供される。
In the present invention, the following first solution method is adopted. That is, as described in
An imaging means that images the eyes of the person to be judged,
Based on the image captured by the imaging means, the moving speed detecting means for detecting the moving speed per amplitude of the saccade, which is a sudden eye movement that occurs when the line of sight of the determination target person moves,
Based on the movement speed detected by the movement speed detecting means, a sideways determination means for determining whether or not the determination target person is a sideways consciousness when looking in the viewing direction, and
Bei to give a,
The sideways determining means is conscious when the moving speed detected by the moving speed detecting means is lower than a predetermined reference moving speed by a predetermined value or more, provided that the amplitude is in a small range of a predetermined value or less. Judged as aside,
I am doing it. According to the first solution method, it is possible to determine whether or not the person is aside of consciousness by a simple method of imaging the eyes of the person to be determined. In addition, a more specific method is provided for determining that the person is aside from consciousness.
上記第１の解決手法を前提とした好ましい態様は、請求項２に記載のとおりである。
A preferred embodiment premised on the first solution method is as described in
前記振幅に対する前記移動速度との関係を示す近似直線の傾きを求める傾き決定手段を備え、
前記わき見判定手段は、前記傾き決定手段により決定される傾きが、前記基準移動速度を示す基準傾きよりも所定以上低下したときに、意識のわき見であると判定する、
ようにしてある（請求項２対応）。この場合、小さい範囲内での振幅についての移動速度を総合勘案して、意識のわき見であるか否かを精度よく判定することができる。
A slope determining means for obtaining the slope of an approximate straight line indicating the relationship between the amplitude and the moving speed is provided.
When the inclination determined by the inclination determining means is lower than the reference inclination indicating the reference moving speed by a predetermined value or more, the sideways determining means determines that the person is consciously looking aside.
(Corresponding to claim 2 ). In this case, it is possible to accurately determine whether or not the person is aside of consciousness by comprehensively considering the moving speed of the amplitude within a small range.
前記目的を達成するため、本発明にあっては次のような第２の解決手法を採択してある。すなわち、請求項３に記載のように、
判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの持続時間を検出する持続時間検出手段と、
前記持続時間検出手段により検出される前記持続時間に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備えているようにしてある。上記解決手法によれば、判定対象者の眼を撮像するという簡便な手法によって、意識のわき見であるか否かを判定することができる。
In order to achieve the above object, the following second solution method is adopted in the present invention. That is, as described in
An imaging means that images the eyes of the person to be judged,
Based on the image captured by the imaging means, a duration detecting means for detecting the duration per amplitude of the saccade, which is a sudden eye movement that occurs when the line of sight of the determination target person moves,
Based on the duration detected by the duration detecting means, a sideways determining means for determining whether or not the determination target person is aside of consciousness when looking in the viewing direction, and
It is designed to be equipped with. According to the above-mentioned solution method, it is possible to determine whether or not the person is aside of consciousness by a simple method of imaging the eyes of the person to be determined.
上記第２の解決手法を前提とした好ましい態様は、請求項４、請求項５に記載のとおりである。すなわち、
前記わき見判定手段は、前記振幅が所定値以下の小さい範囲のときを条件として、前記持続時間検出手段により検出される前記持続時間があらかじめ設定された基準持続時間よりも所定以上増大したときに、意識のわき見であると判定する、ようにしてある（請求項４対応）。この場合、意識のわき見であることの判定について、より具体的な手法が提供される。
A preferred embodiment premised on the second solution method is as described in
The sideways determination means, on condition that the amplitude is in a small range of a predetermined value or less, when the duration detected by the duration detecting means increases by a predetermined time or more from a preset reference duration. It is determined that it is a side of consciousness (corresponding to claim 4 ). In this case, a more specific method is provided for determining that the person is aside from consciousness.
前記振幅に対する前記持続時間との関係を示す近似直線の傾きを求める傾き決定手段を備え、
前記わき見判定手段は、前記傾き決定手段により決定される傾きが、前記基準持続時間を示す基準傾きよりも所定以上増大したときに、意識のわき見であると判定する、
ようにしてある（請求項５対応）。この場合、小さい範囲内での振幅についての持続時間を総合勘案して、意識のわき見であるか否かを精度よく判定することができる。
A slope determining means for obtaining the slope of an approximate straight line indicating the relationship between the amplitude and the duration is provided.
When the inclination determined by the inclination determining means increases by a predetermined amount or more from the reference inclination indicating the reference duration, the sideways determining means determines that the person is consciously looking aside.
(Corresponding to claim 5 ). In this case, it is possible to accurately determine whether or not the person is aside of consciousness by comprehensively considering the duration of the amplitude within a small range.
前記目的を達成するため、本発明にあっては次のような第３の解決手法を採択してある。すなわち、請求項６に記載のように、
判定対象者の眼を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの移動速度および持続時間を検出するサッカード状態検出手段と、
前記サッカード状態検出手段により検出される前記移動速度および前記持続時間との両方に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備えているようにしてある。上記解決手法によれば、前述した移動速度および持続時間の両方に基づいて意識のわき見であるか否かの判定を行うでの、意識のわき見の判定をより精度よく行う上で好ましいものとなる。
In order to achieve the above object, the following third solution method is adopted in the present invention. That is, as described in claim 6 ,
An imaging means that images the eyes of the person to be judged,
Based on the image captured by the imaging means, the saccade state detecting means for detecting the movement speed and duration per amplitude of the saccade, which is a sudden eye movement that occurs when the line of sight of the determination target person moves,
A sideways determination means for determining whether or not the determination target person is a sideways consciousness when the determination target person is looking in the viewing direction based on both the movement speed and the duration detected by the saccade state detecting means. When,
It is designed to be equipped with. According to the above-mentioned solution method, it is preferable to more accurately determine the consciousness aside in determining whether or not the consciousness is aside based on both the movement speed and the duration described above. ..
本発明によれば、簡便な手法により、意識のわき見であるか否かを判定することができる。 According to the present invention, it is possible to determine whether or not the person is aside from consciousness by a simple method.
以下、本発明の実施形態について説明するが、実施形態では、意識のわき見の判定が行われる判定対象者が、車両の運転者の場合としてある。 Hereinafter, embodiments of the present invention will be described. In the embodiment, the determination target person for determining the sideways consciousness is the driver of the vehicle.
まず、図１〜図３に基づいて、サッカードにおける振幅と移動速度との関係について行った試験およびその結果について説明する。試験は、アイカメラを装備した運転者（テストドライバ）が、テストコースを複数回（５回）繰り返し運転することにより行った。この試験は、運転中に考えごとをさせるための課題を設定した課題有りのとき（つまり意識のわき見の状態で運転している状態に対応）と、課題無しのとき（つまり意識のわき見をしていない正常に前方状況を視認している状態に対応）との２種類について行った。 First, a test conducted on the relationship between the amplitude and the moving speed in the saccade and the result thereof will be described with reference to FIGS. 1 to 3. The test was carried out by a driver (test driver) equipped with an eye camera repeatedly driving the test course a plurality of times (5 times). In this test, when there is a task (that is, when driving in a state of consciousness aside) and when there is no task (that is, consciousness is aside), a task is set to make people think while driving. It corresponds to the state where the forward situation is visually recognized normally).
上記課題無しのときの試験結果が図１に示される。また、課題有りのときの試験結果が図２に示される。図１、図２において、横軸は、サッカードの振幅を示し、縦軸は移動速度としての角速度を示す。振幅は、眼球の微細な運動の角度範囲（視線変更の角度範囲）となる。進行方向を注視（見ている）という前提から、振幅の範囲は５deg以内での結果を示している。そして、図１、図２では、振幅に対する角速度の値を示す平均値と最大値とのそれぞれについて得られた近似直線を合わせて示してある。 The test results without the above tasks are shown in FIG. In addition, the test results when there is a problem are shown in FIG. In FIGS. 1 and 2, the horizontal axis represents the amplitude of the saccade, and the vertical axis represents the angular velocity as the moving speed. The amplitude is the angle range of fine movement of the eyeball (angle range of changing the line of sight). From the premise of gazing (looking) in the direction of travel, the amplitude range shows the results within 5 deg. Then, in FIGS. 1 and 2, the approximate straight lines obtained for each of the average value and the maximum value indicating the values of the angular velocities with respect to the amplitude are shown together.
図３は、図１、図２に示す近似直線の傾き（平均値）について、課題無しの場合と課題有りの場合とを比較して示してある。また、図３では、最小値と最大値との範囲をも合わせて示してある。 FIG. 3 shows the slopes (mean values) of the approximate straight lines shown in FIGS. 1 and 2 in comparison with the case without a problem and the case with a problem. Further, in FIG. 3, the range between the minimum value and the maximum value is also shown.
図３から理解されるように、課題有りの場合（つまり意識のわき見の場合）は、課題無しの場合（つまり正常な場合）に比して、近似直線の傾きが小さくなる、ということが理解される。つまり、課題無し（正常状態）での近似直線の傾きを基準傾きとしてあらかじめデータベースに記憶（保存）しておき、このデータベースに記憶されている基準傾きに対して所定以上近似直線の傾きが小さくなったときに、意識のわき見であると判定することができる。 As can be understood from FIG. 3, it is understood that the slope of the approximate straight line is smaller when there is a task (that is, when the consciousness is aside) than when there is no task (that is, when it is normal). Will be done. That is, the slope of the approximate straight line without a problem (normal state) is stored (saved) in the database in advance as the reference slope, and the slope of the approximate straight line becomes smaller than a predetermined value with respect to the reference slope stored in this database. At that time, it can be determined that it is a side of consciousness.
上述した近似直線の傾きの所定分の低下によって意識のわき見を判定することに代えて、角速度（移動速度）そのものが所定分低下したときに意識のわき見であると判定することもできる。また、最小値と最大値との幅範囲（偏差）、あるいは平均値と最小値（あるいは最大値）との幅範囲（偏差）が、課題有りのときは課題無しのときに比して大きくなることから、この幅範囲（偏差）が所定分増大したときに意識のわき見であると判定することもできる。 Instead of determining the side of consciousness by a predetermined decrease in the slope of the approximate straight line described above, it is also possible to determine that the side of consciousness is when the angular velocity (moving speed) itself decreases by a predetermined amount. In addition, the width range (deviation) between the minimum value and the maximum value, or the width range (deviation) between the average value and the minimum value (or the maximum value) becomes larger when there is a problem than when there is no problem. Therefore, when this width range (deviation) increases by a predetermined amount, it can be determined that the person is aside from consciousness.
図４は、サッカードにおける振幅とその持続時間（ある振幅の大きさのときにとどまっている時間）との関係を試験結果であり、図１、図２に対応している（図４は、課題有りのときと課題無しのときとをまとめて示してある）。図３では、課題有りのときと課題なしのときの近似直線も合わせて示してある。 FIG. 4 shows the test results of the relationship between the amplitude in the saccade and its duration (time staying at a certain amplitude magnitude), and corresponds to FIGS. 1 and 2 (FIG. 4 shows. The time when there is a problem and the time when there is no problem are shown together). In FIG. 3, the approximate straight lines when there is a problem and when there is no problem are also shown.
図４は、図３で示す近似直線の傾きを、課題有りのときと課題無しのときとを比較して示すものである。図４から理解されるように、課題有りのとき（意識のわき見のとき）は、課題無しのとき（正常のとき）に比して、近似直線の傾きが大きくなる。つまり、持続時間に関して、課題無し（正常状態）での近似直線の傾きを基準傾きとしてあらかじめデータベースに記憶、保存しておき、このデータベースに記憶されている基準傾きに対して所定以上近似直線の傾きが大きくなったときに、意識のわき見であると判定することができる。 FIG. 4 shows the slope of the approximate straight line shown in FIG. 3 by comparing the case with the problem and the case without the problem. As can be seen from FIG. 4, when there is a task (when consciousness is aside), the slope of the approximate straight line becomes larger than when there is no task (normal). That is, with respect to the duration, the slope of the approximate straight line without a problem (normal state) is stored and saved in the database in advance as the reference slope, and the slope of the approximate straight line is equal to or more than the predetermined slope with respect to the reference slope stored in this database. When becomes large, it can be determined that it is a side of consciousness.
持続時間に関して、上述した近似直線の傾きの所定分の増大によって意識のわき見を判定することに代えて、持続時間そのものが所定分増大したときに意識のわき見であると判定することもできる。また、最小値と最大値との幅範囲（偏差）、あるいは平均値と最小値（あるいは最大値）との幅範囲（偏差）が、課題有りのときは課題無しのときに比して大きくなることから、この幅範囲（偏差）が所定分増大したときに意識のわき見であると判定することもできる。 With respect to the duration, instead of determining the consciousness aside by increasing the inclination of the approximate straight line by a predetermined amount, it is also possible to determine that the consciousness is aside when the duration itself increases by a predetermined amount. In addition, the width range (deviation) between the minimum value and the maximum value, or the width range (deviation) between the average value and the minimum value (or the maximum value) becomes larger when there is a problem than when there is no problem. Therefore, when this width range (deviation) increases by a predetermined amount, it can be determined that the person is aside from consciousness.
図６は、前述した試験結果からの知見に基づいて、市販用の車両において意識のわき見を判定できるようにする場合の制御系統例が示される。図中、Ｕは、マイクロコンピュータを利用して構成されたコントローラ（制御ユニット）である。この制御ユニットＵは、前述した近似直線の基準傾きが、データベースＤに記憶（保存）されている。データベースＤに記憶されている基準傾きは、実施形態では、サッカードの振幅あたりの移動速度（角速度）に関する近似直線についてのものとなっている。 FIG. 6 shows an example of a control system in a case where it is possible to determine aside of consciousness in a commercial vehicle based on the findings from the above-mentioned test results. In the figure, U is a controller (control unit) configured by using a microcomputer. In this control unit U, the reference inclination of the approximate straight line described above is stored (stored) in the database D. In the embodiment, the reference slope stored in the database D is for an approximate straight line regarding the moving speed (angular velocity) per amplitude of the saccade.
なお、上記基準傾きは、運転者毎に学習によって得るようにしてもよく（例えば正常運転していると想定されるときに得られる複数の近似直線の傾きを平均化した値）、あるいはベテランドライバによって得られ近似直線の傾きに基づいて設定されたものとすることもできる。 The reference slope may be obtained by learning for each driver (for example, a value obtained by averaging the slopes of a plurality of approximate straight lines obtained when the vehicle is assumed to be operating normally), or a veteran driver. It can also be set based on the slope of the approximate straight line obtained by.
コントローラＵには、種々のセンサあるいは機器類１〜４からの信号が入力される。すなわち、１は、アイカメラ（車内カメラ）であり、実施形態ではステレオ式のデジタルカメラによって構成されて、運転者の両目を撮像して、取得された画像に基づいて、サッカードの状態が取得される。２は、車両前方の状況を撮像する車外カメラである。３は、ナビゲーション装置であり、車両の現在位置を取得するＧＰＳを含む他、地図情報を記憶しており、地図情報の他各種情報を表示するディスプレイを備えている。４は、車両前方の障害物までの距離を検出するレーダである。
Signals from various sensors or
コントローラＵは、報知手段（警報手段）としてのスピーカ１１、ディスプレイ１２を制御する。なお、でＰ１２は、ナビゲーション装置用のものを兼用することもできる。
The controller U controls the
次に、コントローラＵによる制御例について、図７のフローチャートを参照しつつ説明する。なお、以下の説明でＱはステップを示す。まず、アイカメラ１によって、ドライバの視線行動が検出される。この後、Ｑ２において、アイカメラ１によって得られた画像から、サッカードの振幅とそのときの移動速度とが演算される。この後Ｑ３において、振幅と移動速度との関係を示す近似直線の傾きが演算される。
Next, a control example by the controller U will be described with reference to the flowchart of FIG. In the following description, Q indicates a step. First, the
Ｑ４では、Ｑ３で得られた近似直線の傾きが、データベースＤに記憶されている基準傾きと比較される。Ｑ５では、Ｑ４での比較の結果に基づいて、意識のわき見であるか否かが判定される。この後Ｑ６において、Ｑ５の判定結果が、意識のわき見であるか否かが判別される。このＱ６の判別でＮＯのときは、Ｑ１に戻る。 In Q4, the slope of the approximate straight line obtained in Q3 is compared with the reference slope stored in the database D. In Q5, it is determined whether or not the person is aside from consciousness based on the result of the comparison in Q4. After that, in Q6, it is determined whether or not the determination result of Q5 is a sideways consciousness. If the determination in Q6 is NO, the process returns to Q1.
上記Ｑ６の判別でＹＥＳのときは、Ｑ７において、運転者に対する注意喚起方法が決定される。この後、Ｑ８において、Ｑ７で決定された注意喚起方法でもって、運転者に対する注意喚起が行われる。Ｑ７、Ｑ８の処理は、意識のわき見であると判定されている状態で、例えば車両の状況に応じて注意すべき内容を変更するための処理となる。例えば、車外カメラ２やレーダ４によって、前方に危険と思われる障害物が存在しないきは、例えば、ディスプレイ１２に「前方への注意がおろそかになっています。前方状況をよく見るようにしましょう」というような軽度の注意喚起が行われる。逆に、前方に危険と思われる障害物が存在したり、ナビゲーション装置３によって前方に急カーブが存在するようなときは、例えばスピーカ１１によって「前方に注意して下さい」という音声による注意を行うことによる重度の注意喚起が行われる。
If the determination in Q6 is YES, the method for alerting the driver is determined in Q7. After that, in Q8, the driver is alerted by the alerting method determined in Q7. The processing of Q7 and Q8 is a processing for changing the content to be noted according to, for example, the situation of the vehicle in a state where it is determined to be a sideways view of consciousness. For example, if there are no obstacles in front of you due to the
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。判定対象者としては、車両の運転者に限らず、船舶や航空機の操縦者、クレーン等のオペレータ等々、意識のわき見が問題となるような者であれば、適宜のものを判定対象者とすることができる。サッカードの振幅あたりの移動速度に代えて、持続時間に基づいて意識のわき見の判定を行うようにしてもよい。また、上記移動速度に基づいて意識のわき見であると判定（仮判定）され、かつ持続時間に基づいて位意識のわき見であると判定（仮判定）されたときに、最終的に意識のわき見であると判定することができる（より精度のよい判定）。また、上記移動速度に基づいて意識のわき見であると判定されるか、あるいは持続時間に基づいて位意識のわき見であると判定されるかいずれか一方の条件を満たしたときに、最終的に意識のわき見であると判定することもできる（応答性のよい判定）。視線方向が進行方向とは所定以上大きくずれた一般的なわき見についても合わせて判定することもでき（サッカードの振幅が所定値以上であるときに一般的なわき見と判定するようにしてもよい）、この場合、運転者に対するわき見の注意喚起（警報）の内容を、一般的なわき見と意識のわき見とで区別して行うこともできる。７に示すステップ（あるいはステップ群）は、コントローラＵの有する機能（あるいは手段）として表現することができる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。 Although the embodiments have been described above, the present invention is not limited to the embodiments, and appropriate modifications can be made within the scope of the claims. The judgment target is not limited to the driver of the vehicle, but any person who has a problem of consciousness, such as a ship or aircraft operator, an operator of a crane, etc. be able to. Instead of the moving speed per saccade amplitude, the determination of consciousness aside may be made based on the duration. In addition, when it is determined (provisional determination) that it is a side of consciousness based on the above movement speed, and it is determined (provisional determination) that it is a side of consciousness based on the duration, it is finally determined that it is a side of consciousness. It can be determined that (more accurate determination). In addition, when either the condition of being determined to be aside of consciousness based on the above-mentioned movement speed or being determined to be aside of consciousness based on the duration is satisfied, finally. It can also be judged to be a side of consciousness (judgment with good responsiveness). It is also possible to determine a general side view in which the line-of-sight direction deviates significantly from the traveling direction by a predetermined value or more (when the amplitude of the saccade is equal to or more than a predetermined value, it may be determined as a general side view. ), In this case, the content of the alert for the driver's sideways look can be distinguished between the general sideways look and the conscious sideways look. The step (or step group) shown in 7 can be expressed as a function (or means) of the controller U. Of course, an object of the present invention is not limited to what is specified, but also implicitly includes providing what is expressed as substantially preferable or advantageous.
本発明は、意識のわき見であることを簡便に判定して、安全運転向上の上で好ましいものとなる。 INDUSTRIAL APPLICABILITY The present invention is preferable in terms of improving safe driving by simply determining that the person is aside from consciousness.
Ｕ：コントローラ
Ｄ：データベース
１：アイカメラ
２：車外カメラ
３：ナビゲーション装置
４：レーダ
１１：スピーカ
１２：ディスプレイ
U: Controller D: Database 1: Eye camera 2: Outside camera 3: Navigation device 4: Radar 11: Speaker 12: Display
Claims (6)
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの移動速度を検出する移動速度検出手段と、
前記移動速度検出手段により検出される前記移動速度に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備え、
前記わき見判定手段は、前記振幅が所定値以下の小さい範囲のときを条件として、前記移動速度検出手段により検出される前記移動速度があらかじめ設定された基準移動速度から所定以上低下したときに、意識のわき見であると判定する、
ことを特徴とするわき見状態判定装置。 An imaging means that images the eyes of the person to be judged,
Based on the image captured by the imaging means, the moving speed detecting means for detecting the moving speed per amplitude of the saccade, which is a sudden eye movement that occurs when the line of sight of the determination target person moves,
Based on the movement speed detected by the movement speed detecting means, a sideways determination means for determining whether or not the determination target person is a sideways consciousness when looking in the viewing direction, and
Bei to give a,
The sideways determining means is conscious when the moving speed detected by the moving speed detecting means is lower than a predetermined reference moving speed by a predetermined value or more, provided that the amplitude is in a small range of a predetermined value or less. Judged as aside,
A sideways state determination device characterized by this.
前記振幅に対する前記移動速度との関係を示す近似直線の傾きを求める傾き決定手段を備え、
前記わき見判定手段は、前記傾き決定手段により決定される傾きが、前記基準移動速度を示す基準傾きよりも所定以上低下したときに、意識のわき見であると判定する、
ことを特徴とするわき見状態判定装置。 In claim 1 ,
A slope determining means for obtaining the slope of an approximate straight line indicating the relationship between the amplitude and the moving speed is provided.
When the inclination determined by the inclination determining means is lower than the reference inclination indicating the reference moving speed by a predetermined value or more, the sideways determining means determines that the person is consciously looking aside.
A sideways state determination device characterized by this.
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの持続時間を検出する持続時間検出手段と、
前記持続時間検出手段により検出される前記持続時間に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備えていることを特徴とするわき見状態判定装置。 An imaging means that images the eyes of the person to be judged,
Based on the image captured by the imaging means, a duration detecting means for detecting the duration per amplitude of the saccade, which is a sudden eye movement that occurs when the line of sight of the determination target person moves,
Based on the duration detected by the duration detecting means, a sideways determining means for determining whether or not the determination target person is aside of consciousness when looking in the viewing direction, and
A sideways state determination device characterized by being equipped with.
前記わき見判定手段は、前記振幅が所定値以下の小さい範囲のときを条件として、前記持続時間検出手段により検出される前記持続時間があらかじめ設定された基準持続時間よりも所定以上増大したときに、意識のわき見であると判定する、ことを特徴とするわき見状態判定装置。 In claim 3 ,
The sideways determination means, on condition that the amplitude is in a small range of a predetermined value or less, when the duration detected by the duration detecting means increases by a predetermined time or more from a preset reference duration. A side-view state determination device characterized in that it determines that it is a side-view of consciousness.
前記振幅に対する前記持続時間との関係を示す近似直線の傾きを求める傾き決定手段を備え、
前記わき見判定手段は、前記傾き決定手段により決定される傾きが、前記基準持続時間を示す基準傾きよりも所定以上増大したときに、意識のわき見であると判定する、
ことを特徴とするわき見状態判定装置。 In claim 4 ,
A slope determining means for obtaining the slope of an approximate straight line indicating the relationship between the amplitude and the duration is provided.
When the inclination determined by the inclination determining means increases by a predetermined amount or more from the reference inclination indicating the reference duration, the sideways determining means determines that the person is consciously looking aside.
A sideways state determination device characterized by this.
前記撮像手段で撮像された画像に基づいて、判定対象者の視線が動くときに生じる急激な眼球運動となるサッカードの振幅あたりの移動速度および持続時間を検出するサッカード状態検出手段と、
前記サッカード状態検出手段により検出される前記移動速度および前記持続時間との両方に基づいて、判定対象者が視認方向を見ているときにおける意識のわき見であるか否かを判定するわき見判定手段と、
を備えていることを特徴とするわき見状態判定装置。
An imaging means that images the eyes of the person to be judged,
Based on the image captured by the imaging means, the saccade state detecting means for detecting the movement speed and duration per amplitude of the saccade, which is a sudden eye movement that occurs when the line of sight of the determination target person moves,
A sideways determination means for determining whether or not the determination target person is a sideways consciousness when looking in the viewing direction, based on both the movement speed and the duration detected by the saccade state detecting means. When,
A sideways state determination device characterized by being equipped with.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016117654A JP6793473B2 (en) | 2016-06-14 | 2016-06-14 | Sideways state judgment device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016117654A JP6793473B2 (en) | 2016-06-14 | 2016-06-14 | Sideways state judgment device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017224066A JP2017224066A (en) | 2017-12-21 |
| JP6793473B2 true JP6793473B2 (en) | 2020-12-02 |
Family
ID=60687013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016117654A Active JP6793473B2 (en) | 2016-06-14 | 2016-06-14 | Sideways state judgment device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6793473B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7298510B2 (en) * | 2020-02-26 | 2023-06-27 | マツダ株式会社 | state estimator |
| JP7298508B2 (en) * | 2020-02-26 | 2023-06-27 | マツダ株式会社 | state estimator |
| JP7298509B2 (en) * | 2020-02-26 | 2023-06-27 | マツダ株式会社 | state estimator |
| JP7400697B2 (en) * | 2020-11-12 | 2023-12-19 | 豊田合成株式会社 | Vehicle occupant protection system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPR872301A0 (en) * | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
| JP5358414B2 (en) * | 2009-12-04 | 2013-12-04 | 株式会社豊田中央研究所 | Fragile state determination device, method and program |
| JP6087171B2 (en) * | 2013-03-01 | 2017-03-01 | 公立大学法人首都大学東京 | Human state estimation device and transport equipment including the same |
| DE102016201531A1 (en) * | 2016-02-02 | 2017-08-03 | Robert Bosch Gmbh | Method and device for detecting fatigue of a driver |
-
2016
- 2016-06-14 JP JP2016117654A patent/JP6793473B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017224066A (en) | 2017-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6342856B2 (en) | Vehicle control device | |
| KR102051142B1 (en) | System for managing dangerous driving index for vehicle and method therof | |
| JP5718942B2 (en) | Apparatus and method for assisting safe operation of transportation means | |
| JP6103383B2 (en) | Vehicle driving evaluation system | |
| US20150229885A1 (en) | Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle | |
| JP6793473B2 (en) | Sideways state judgment device | |
| JP3941770B2 (en) | Collision possibility judgment device | |
| US20170178509A1 (en) | Method and apparatus for operating a driver assistance system, driver assistance system | |
| US10005392B2 (en) | Object alarm device and object alarm method | |
| JP7210929B2 (en) | Driving consciousness estimation device | |
| JP7501598B2 (en) | Driving assistance device, driving status information acquisition system, driving assistance method and program | |
| KR20150061943A (en) | Device for detecting the status of the driver and method thereof | |
| JP2015141432A (en) | Vehicle operation evaluation system | |
| JP2008084219A (en) | Alarm device for curve in front | |
| JP5109851B2 (en) | Alarm display control device for vehicles | |
| EP3270764B1 (en) | Situational awareness monitoring method and apparatus | |
| WO2019087662A1 (en) | Driving assistance device, driving situation information acquisition system, driving assistance method, and program | |
| WO2018168050A1 (en) | Concentration level determination device, concentration level determination method, and program for determining concentration level | |
| KR20180024479A (en) | Distance display device and a method for the forward vehicle | |
| JP2018094294A (en) | State estimation system | |
| JP6326990B2 (en) | Vehicle driving support device | |
| JP7393738B2 (en) | Driver state estimation device | |
| JP5747847B2 (en) | Vehicle periphery monitoring device | |
| JP7294483B2 (en) | Driving support device, driving support method and program | |
| JP2017126288A (en) | Vehicle-purposed information providing control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201110 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6793473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |