JP7140072B2 - Eyeball index detection device, eyeball index detection method, eyeball index detection program - Google Patents
Eyeball index detection device, eyeball index detection method, eyeball index detection program Download PDFInfo
- Publication number
- JP7140072B2 JP7140072B2 JP2019139117A JP2019139117A JP7140072B2 JP 7140072 B2 JP7140072 B2 JP 7140072B2 JP 2019139117 A JP2019139117 A JP 2019139117A JP 2019139117 A JP2019139117 A JP 2019139117A JP 7140072 B2 JP7140072 B2 JP 7140072B2
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- index
- detection
- intermittent
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
本開示は、監視対象者における眼球に関連した眼球指標を検出する技術に、関する。 The present disclosure relates to techniques for detecting ocular indices associated with the eyeballs of a monitored subject.
従来の技術として特許文献1には、眼球指標として視線を検出する技術が開示されている。この特許文献1の開示技術では、監視対象者における左右の眼それぞれの視線の信頼度が算出されることで、信頼度が高い少なくとも一方の眼の特徴量に基づいて視線が検出されている。
As a conventional technique,
特許文献1の開示技術では、左右双方の眼を検出眼球として、それらの眼の特徴量を連結するケースが、想定されている。この場合、連結された特徴量は、信頼度が低い方の眼の特徴量に引っ張られることで、視線の検出精度を低下させるおそれがあった。
In the technique disclosed in
また、特許文献1の開示技術において検出される視線は、眼球指標のうち、定常変化する定常指標である。一方で眼球指標には、例えば瞬目運動等といった、断続変化する断続指標もある。そこで、特許文献1の開示技術を断続指標の検出に適用すると、断続指標の断続変化中に検出眼球を切り替えてしまうケースが、想定され得る。この場合、検出眼球の切り替わり、特に繰り返しのチャタリングでは、断続指標の検出精度を低下させるおそれがあった。
In addition, the line of sight detected in the technology disclosed in
本開示の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出装置を提供することにある。本開示の別の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出方法を提供することにある。本開示のさらに別の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出プログラムを、提供することにある。 An object of the present disclosure is to provide an eyeball index detection device that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index. Another object of the present disclosure is to provide an eyeball index detection method that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index. Still another object of the present disclosure is to provide an eyeball index detection program that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index.
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。 Technical means of the present disclosure for solving the problems will be described below. It should be noted that the symbols in parentheses described in the claims and this column indicate the correspondence with specific means described in the embodiments described in detail later, and limit the technical scope of the present disclosure. not something to do.
本開示の第一態様は、
監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出装置(1)であって、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度(R)を、時系列に算定する信頼算定ブロック(20)と、
定常指標の検出タイミング毎に、信頼算定ブロックにより算定される信頼度が高い側の眼球を定常検出眼球(2c)に選定し、当該定常検出眼球の特徴データ(D)に基づき定常指標を検出する定常検出ブロック(30)と、
断続指標の変化開始タイミングにて信頼算定ブロックにより算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球(2d)に選定し、当該断続検出眼球の特徴データ(D)に基づき断続指標を検出する断続検出ブロック(40,2040)とを、備える。
A first aspect of the present disclosure is
An eyeball index detection device (1) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to an eyeball (2b) of a person to be monitored (2),
a reliability calculation block (20) for calculating, in chronological order, the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitored person;
The eyeball with the higher reliability calculated by the confidence calculation block is selected as the steady detection eyeball (2c) at each detection timing of the steady index, and the steady index is detected based on the feature data (D) of the steady detected eyeball. a stationary detection block (30);
The eyeball with the higher reliability calculated by the reliability calculation block at the start timing of the change of the intermittent index is selected as the intermittent detection eyeball (2d) until the end timing of the change of the intermittent index, and the characteristic data of the intermittent detection eyeball (D a discontinuity detection block (40, 2040) for detecting discontinuity indicators based on ).
本開示の第二態様は、
プロセッサ(6)により実行され、監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出方法であって、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度(R)を、時系列にて算定し(S101,102)と、
定常指標の検出タイミング毎に、算定される信頼度が高い側の眼球を定常検出眼球(2c)に選定し、当該定常検出眼球の特徴データ(D)に基づき定常指標を検出し(S201~S210)
断続指標の変化開始タイミングにて算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球(2d)に選定し、当該断続検出眼球の特徴データ(D)に基づき断続指標を検出する(S301~S310,S2311~S2320)、ことを含む。
A second aspect of the present disclosure is
An eyeball index detection method executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index associated with an eyeball (2b) of a monitored person (2), comprising:
Calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitored person in chronological order (S101, 102);
At each detection timing of the stationary index, the eyeball with the higher calculated reliability is selected as the stationary detected eyeball (2c), and the stationary index is detected based on the characteristic data (D) of the stationary detected eyeball (S201 to S210 )
The eyeball with the higher reliability calculated at the start timing of the change of the intermittent index is selected as the intermittent detection eyeball (2d) until the end timing of the change of the intermittent index, and the intermittent detection is performed based on the characteristic data (D) of the intermittent detection eyeball. Detecting indicators (S301-S310, S2311-S2320).
本開示の第三態様は、
監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出するために記憶媒体(5)に格納され、プロセッサ(6)に実行させる命令を含む眼球指標検出プログラムであって、
命令は、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度(R)を、時系列にて算定させ(S101,102)と、
定常指標の検出タイミング毎に、算定される信頼度が高い側の眼球を定常検出眼球(2c)に選定させ、当該定常検出眼球の特徴データ(D)に基づき定常指標を検出させ(S201~S210)
断続指標の変化開始タイミングにて算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球(2d)に選定させ、当該断続検出眼球の特徴データ(D)に基づき断続指標を検出させる(S301~S310,S2311~S2320)、ことを含む。
A third aspect of the present disclosure is
Stored in a storage medium (5) and executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to the eyeball (2b) of the monitored person (2) An eye index detection program comprising instructions for:
the instruction is
Calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the person to be monitored in chronological order (S101, 102);
At each detection timing of the stationary index, the eyeball with the higher calculated reliability is selected as the stationary detection eyeball (2c), and the stationary index is detected based on the feature data (D) of the stationary detection eyeball (S201 to S210 )
The eyeball with the higher reliability calculated at the start timing of the change of the discontinuity index is selected by the discontinuity detection eyeball (2d) until the end timing of the change of the discontinuity index, and the discontinuity is performed based on the characteristic data (D) of the discontinuity detection eyeball. including detecting the index (S301-S310, S2311-S2320).
これら第一~第三態様によると、監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度は、時系列に算定される。そこで定常指標の検出タイミング毎に、信頼度の高い側の眼球が定常検出眼球に選定されることによれば、定常指標の定常変化毎に合わせた定常検出眼球の特徴データに基づき、正確に定常指標が検出され得る。また一方、断続指標の変化開始タイミングにて信頼度の高い側の眼球が、断続指標の変化終了タイミングまで断続検出眼球に選定されることによれば、断続指標が断続変化する間は同じ断続検出眼球の特徴データに基づき、正確に断続指標が検出され得る。これらのことから第一~第三態様では、眼球指標として定常指標及び断続指標の双方の検出精度を向上させることが、可能となる。 According to these first to third aspects, the reliability in detecting the steady index and the intermittent index is calculated in chronological order for each of the left and right eyeballs of the monitoring subject. Therefore, if the eyeball with the higher reliability is selected as the steady-state detection eyeball at each detection timing of the steady-state index, the steady An indicator can be detected. On the other hand, according to the fact that the eyeball with the higher reliability at the intermittent index change start timing is selected as the intermittent detection eyeball until the intermittent index change end timing, the same intermittent detection is performed while the intermittent index intermittently changes. The discontinuity index can be accurately detected based on the eyeball feature data. For these reasons, in the first to third aspects, it is possible to improve the detection accuracy of both the steady index and the intermittent index as the eyeball index.
以下、複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。 A plurality of embodiments will be described below with reference to the drawings. Note that redundant description may be omitted by assigning the same reference numerals to corresponding components in each embodiment. When only a part of the configuration is described in each embodiment, the configurations of other embodiments previously described can be applied to other portions of the configuration. Moreover, not only the combinations of the configurations explicitly specified in the description of each embodiment, but also the configurations of a plurality of embodiments can be partially combined even if they are not specified unless there is a particular problem with the combination.
(第一実施形態)
図1に示すように第一実施形態による眼球指標検出装置1は、監視対象者2の顔2aにおける眼球2bに関連した眼球指標を、検出する。眼球指標検出装置1は、車両に搭載されて、監視対象者2である乗員の眼球指標を検出してもよい。この場合に眼球指標の検出結果は、例えば車両の運転制御等に利用される。眼球指標検出装置1は、コンピュータに接続されて、監視対象者2であるユーザの眼球指標を検出してもよい。この場合に眼球指標の検出結果は、例えばコンピュータの操作制御等に利用される。眼球指標検出装置1の適用形態は、これら以外の形態であっても勿論よい。
(First embodiment)
As shown in FIG. 1, the eyeball
眼球指標検出装置1により検出の眼球指標は、定常指標及び断続指標である。定常指標は、監視対象者2の顔2aにおける眼球2bの定常的な運動に合わせて、随時変化する。即ち定常指標とは、眼球2bの定常変化する運動状態を表した、眼球指標を意味する。定常指標としては、眼球2bの視線及び開眼度のうち、少なくとも一方が検出される。視線は、眼球2bのうち瞳孔の向く方向により定義されてもよいし、顔2aの正面方向に対する当該方向の角度により定義されてもよい。開眼度は、顔2aの上下方向における眼球2bの開き幅の最大値に対する比率により定義されてもよい。
The eyeball indices detected by the eyeball
断続指標は、監視対象者2の顔2aにおける眼球2bの断続的な運動に応じたタイミング毎に、変化する。即ち断続指標とは、眼球2bの断続変化する運動状態を表した、眼球指標を意味する。断続指標としては、眼球2bの断続運動(以下、眼球断続運動という)及び瞬目の有無のうち、少なくとも一方が検出される。眼球断続運動は、眼球2bのサッカード運動を含む。サッカード運動は、監視対象者2が視線を意図して変化させる場合に生じる、短時間で高速な運動であってもよいし、監視対象者2が注視(即ち、固視)中に不随意に生じる、微動で急速な運動であってもよい。眼球断続運動には勿論、こうしたサッカード運動以外の断続運動が含まれていてもよい。瞬目運動は、眼球2bの開閉する、所謂瞬きである。
The intermittent index changes at each timing according to intermittent movements of the
眼球指標検出装置1は、情報取得ユニット3及び電子制御ユニット4を含んで構成される。情報取得ユニット3は、監視対象者2の顔情報を取得する。情報取得ユニット3による顔情報の取得は、監視対象者2若しくは他者からの指示に従って、又は電子制御ユニット4若しくは他ユニットからの制御に従って、実行される。顔情報は、監視対象者2の顔2aのうち、少なくとも眼球2bを含む複数部位の状態(以下、顔状態という)に、関する情報である。
The eye
情報取得ユニット3は、監視対象者2の顔2aを撮影する、例えばカメラ等の撮像装置を主体に構成される。そこで情報取得ユニット3では、撮像装置により撮影されて生成される画像が、顔情報として利用される。眼球指標検出装置1が車両に搭載される場合、車両に搭載された例えば車内カメラ等の撮像装置が、情報取得ユニット3として利用されてもよい。情報取得ユニット3は、こうした撮像装置以外にも、監視対象者2における眼球2bの運動を波形出力する、例えば眼電図計測装置等を含んでいてもよい。この場合に情報取得ユニット3では、眼電図計測装置により計測される眼電図も、顔情報として利用される。尚、情報取得ユニット3が上記車両に搭載の撮像装置を含む場合、眼球指標検出装置1は電子制御ユニット4のみから構成されてもよい。
The
電子制御ユニット4は、例えばLAN(Local Area Network)、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して、情報取得ユニット3に接続されている。電子制御ユニット4は、メモリ5及びプロセッサ6を、少なくとも一つずつ含んで構成される専用のコンピュータである。
The
メモリ5は、コンピュータにより読み取り可能なプログラム及びデータを非一時的に格納する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ6は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
The memory 5 stores computer-readable programs and data non-temporarily, and includes at least one type of non-transitory tangible storage medium such as a semiconductor memory, a magnetic medium, and an optical medium. medium). The
プロセッサ6は、メモリ5に格納されたサッカード検出プログラムに含まれる複数の命令を、実行する。これにより電子制御ユニット4は、監視対象者2の眼球指標として定常指標及び断続指標を検出するための機能ブロックを、複数構築する。このように電子制御ユニット4では、監視対象者2の眼球指標として定常指標及び断続指標を検出するためにメモリ5に格納された眼球指標検出プログラムが複数の命令をプロセッサ6に実行させることで、複数の機能ブロックが構築される。
電子制御ユニット4により構築される機能ブロックには、図2に示すように、特徴抽出ブロック10、信頼算定ブロック20、定常検出ブロック30、及び断続検出ブロック40が含まれる。
Functional blocks built by the
特徴抽出ブロック10には、情報取得ユニット3により取得の顔情報が、入力される。特徴抽出ブロック10は、監視対象者2における顔2aの特徴点を、入力された顔情報に基づき抽出する。特徴抽出ブロック10は、抽出された顔2aのうち、左右の眼球2bを含む複数部位の特徴点を表した特徴データDを、生成する。特徴抽出ブロック10による特徴点の抽出及び特徴データDの生成は、情報取得ユニット3による顔情報の取得フレーム毎に時系列にて実行される。こうして生成される特徴データDを特徴抽出ブロック10は、時間データ(即ち、タイムスタンプ)と関連付けて時系列に、メモリ5に記憶する。
The facial information obtained by the
信頼算定ブロック20には、特徴抽出ブロック10によりメモリ5に記憶の特徴データDが、入力される。信頼算定ブロック20は、監視対象者2における左右の眼球2bそれぞれに対して、入力された特徴データDに基づく信頼度Rを、算定する。信頼算定ブロック20による信頼度Rの算定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。こうして算定される各眼球2bの信頼度Rを信頼算定ブロック20は、それぞれの算定時に基づくこととなった特徴データDと、それぞれの算定時刻の時間データ(即ち、タイムスタンプ)とに関連付けて、メモリ5に記憶する。
The feature data D stored in the memory 5 by the
信頼算定ブロック20により算定の信頼度Rとは、左右の眼球2bの各状態が定常指標及び断続指標を検出する上において信頼し得る度合いを、意味する。この信頼度Rには、左右の眼球2bに共通な初期値としての標準値が、予め設定されている。そこで以下の説明では、信頼度Rを減らして算定するとは、標準値に1未満の算定係数を乗算することで、より小さな値に信頼度Rを調整する処理として、定義される。一方、信頼度Rを増やして算定するとは、標準値に1超過の算定係数を乗算することで、より大きな値に信頼度Rを調整する処理として、定義される。
The reliability R calculated by the
信頼算定ブロック20は、図3に示すように信頼度Rを増減算定するための算定基準データ21を、メモリ5から読み出す。算定基準データ21は、例えばテーブル、マップ、及び演算式等のうち少なくとも一種類の形式で生成され、メモリ5に予め記憶されている。算定基準データ21は、算定条件と算定処理とのデータセットとして、図3に示すセット22~26のうち少なくとも一セットを含んでいる。データセット22~26は、監視対象者2に現出する相異の顔状態を算定条件として、それぞれ対応する算定処理と共に定義されている。
The
データセット22の算定条件は、監視対象者2における顔2aの向きである。そこでデータセット22の算定処理は、この向きに応じて信頼度Rを増減する。具体的に、顔2aの向きが正面方向に対して許容範囲内となる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、顔2aの向きが正面方向に対して許容範囲外となる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における許容範囲は、例えば正面方向に対する角度で両側30度等の範囲に、設定される。
A calculation condition for the data set 22 is the orientation of the
データセット23の算定条件は、監視対象者2における開眼度である。そこでデータセット23の算定処理は、この開眼度に応じて信頼度Rを増減する。具体的に、開眼度が許容値以上となる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、開眼度が許容値未満となる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における許容値は、例えば顔2aの上下方向における眼球2bの開き幅の最大値に対する比率にて20%等に、設定される。
A calculation condition for the data set 23 is the degree of eye opening of the monitored
データセット24の算定条件は、監視対象者2における顔2aのうち複数部位の位置関係である。そこでデータセット24の算定処理は、この位置関係に応じて信頼度Rを増減する。具体的に、複数部位の位置関係を表す相対距離が許容範囲内でのずれに留まる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、複数部位の位置関係を表す相対距離が許容範囲外までずれる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における複数部位とは、例えば眼球2b、口、鼻、及び耳等のうち、少なくとも二つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位間の相対距離が推移する時間分布からのずれの割合にて±95%等の範囲に、設定される。
A calculation condition for the data set 24 is the positional relationship of multiple parts of the
データセット25の算定条件は、監視対象者2における顔2aのうち所定部位の位置である。そこでデータセット25の算定処理は、この位置に応じて信頼度Rを増減する。具体的に、所定部位の位置が許容範囲内でのずれに留まる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、所定部位の位置が許容範囲外までずれる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における所定部位とは、例えば眼球2b、口、鼻、及び耳等のうち、少なくとも一つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位の位置が推移する時間分布からのずれの割合にて±95%等の範囲に、設定される。
A calculation condition for the data set 25 is the position of a predetermined portion of the
データセット26の算定条件は、監視対象者2における顔2aのうち所定部位の面積である。そこでデータセット26の算定処理は、この面積に応じて信頼度Rを増減する。具体的に、所定部位の面積が許容範囲内でのずれに留まる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、所定部位の面積が許容範囲外までずれる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における所定部位とは、例えば眼球2b、口、鼻、及び耳等のうち、少なくとも一つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位の面積が推移する時間分布からのずれの割合にて±95%等の範囲に、設定される。
A calculation condition for the data set 26 is the area of a predetermined portion of the
図2に示す信頼算定ブロック20は、データセット22~26のうちメモリ5における全記憶セットの算定処理を実行することで、信頼度Rを確定する。その際、標準値に乗算する算定係数は、メモリ5における記憶セットの全算定条件同士で同一値、又は記憶セットの各算定条件毎に重みを付けて相異なる値に、設定される。記憶セットの各々に設定された算定係数が標準値に乗算されることで、信頼度Rが確定される。
尚、信頼度Rの確定に際しては、データセット22~26のうち全記憶セットの算定条件に関して、時系列な信頼算定タイミング間(即ち、フレーム間)でのばらつき具合が、考慮されてもよい。また信頼度Rは、定常指標及び断続指標それぞれの検出対象毎に異なる値に確定されてもよいし、そうした検出対象に拘わらず同一値に確定されてもよい。例えば、定常指標として開眼度が検出対象に含まれる場合には、データセット23の算定条件及び算定処理での算出値は考慮されないことで、検出対象毎に異なる値に信頼度Rが確定されてもよい。
Incidentally, when determining the reliability R, regarding the calculation conditions for all of the data sets 22 to 26, variations between time-series reliability calculation timings (that is, between frames) may be taken into consideration. Further, the reliability R may be determined as a different value for each detection target of the steady index and the intermittent index, or may be determined as the same value regardless of such detection targets. For example, when the degree of eye opening is included in the detection target as a steady index, the calculation conditions of the
定常検出ブロック30は、監視対象者2の定常指標である視線及び開眼度のうち、少なくとも一方の有無を、検出対象とする。定常検出ブロック30には、特徴抽出ブロック10によりメモリ5に記憶の特徴データDと、信頼算定ブロック20によりメモリ5に記憶の信頼度Rとが、監視対象者2の眼球2bそれぞれに関して入力される。定常検出ブロック30は、監視対象者2における左右の眼球2bのうち、入力された信頼度Rが高い側となる一方の眼球2bを、定常検出眼球2cとして選定する。
The
定常検出ブロック30による定常検出眼球2cの選定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。そこで定常検出ブロック30は、定常指標の検出タイミング毎に信頼算定ブロック20によって算定される信頼度Rに基づくことで、当該検出タイミング毎に定常検出眼球2cを選定することとなる。
Selection of the
定常検出ブロック30は、選定した定常検出眼球2cと関連付けてメモリ5に記憶の信頼度Rが、許容範囲内であるか否かを判定する。定常検出眼球2cに対する許容範囲は、定常指標の検出を許容する信頼度Rの下限値を閾値として、当該閾値以上の数値範囲に予め設定されてもよい。定常検出眼球2cに対する許容範囲は、定常指標の検出を禁止する信頼度Rの上限値を閾値として、当該閾値超過の数値範囲に予め設定されてもよい。
The
定常検出ブロック30による信頼度Rの判定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。そこで定常検出ブロック30は、定常指標の検出タイミング毎に信頼算定ブロック20によって算定される定常検出眼球2cの信頼度Rを、当該検出タイミング毎に判定することとなる。
Determination of the reliability R by the
信頼度Rが許容範囲外の場合に定常検出ブロック30は、選定した定常検出眼球2cに対する定常指標の検出処理を、中止する。一方、信頼度Rが許容範囲内の場合に定常検出ブロック30は、選定した定常検出眼球2cを確定する。定常検出ブロック30は、確定した定常検出眼球2cと関連付けてメモリ5に記憶の特徴データDに基づき、同眼球2cに対する定常指標を検出する。
When the reliability R is out of the allowable range, the steady
定常検出ブロック30による定常指標の検出は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。そこで定常検出ブロック30は、検出タイミング毎に同じ又は異なる眼球2bに選定される定常検出眼球2cに対しての定常指標を、当該検出タイミング毎に検出することとなる。但し、検出タイミング間にて定常検出眼球2cが入れ替わる場合等には、例えば左右における開眼度の違いや利き眼の違い等による定常指標の急変を抑制するために、定常指標の補正処理が実行されてもよい。
Detection of the stationary index by the
断続検出ブロック40は、監視対象者2の断続指標である眼球断続運動及び瞬目のうち、少なくとも一方の有無を、検出対象とする。断続検出ブロック40には、特徴抽出ブロック10によりメモリ5に記憶の特徴データDの中で、検出対象の断続指標に関連するデータが、監視対象者2の眼球2bそれぞれに関して入力される。
The
断続検出ブロック40は、入力された特徴データDに基づき、断続指標の変化状況を判定する。断続検出ブロック40による変化状況の判定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。変化状況判定の結果、断続指標の変化がない場合に断続検出ブロック40は、断続指標の検出処理を中止する。一方、断続指標の変化が開始されて終了するまでの間となる場合に断続検出ブロック40は、断続指標の検出処理を実行する。
The
断続検出ブロック40には、信頼算定ブロック20によりメモリ5に記憶の信頼度Rが、監視対象者2の眼球2bそれぞれに関して入力される。断続検出ブロック40は、監視対象者2における左右の眼球2bのうち、入力された信頼度Rが高い側となる一方の眼球2bを、断続検出眼球2dとして選定する。
The reliability R stored in the memory 5 by the
断続検出ブロック40による断続検出眼球2dの選定は、断続指標の変化開始タイミングに限って実行される。ここで、断続変化の開始から終了までの間における断続指標の各回の検出タイミングのうち、最初の検出タイミングが、断続指標の変化開始タイミングと実質一致する。そこで断続検出ブロック40は、断続指標の変化開始タイミングにて信頼算定ブロック20により算定される信頼度Rに基づくことで、断続検出眼球2dを選定することとなる。
The
断続検出ブロック40は、選定した断続検出眼球2dと関連付けてメモリ5に記憶の信頼度Rが、許容範囲内であるか否かを判定する。断続検出眼球2dに対する許容範囲は、断続指標の検出を許容する信頼度Rの下限値を閾値として、当該閾値以上の数値範囲に予め設定されてもよい。断続検出眼球2dに対する許容範囲は、断続指標の検出を禁止する信頼度Rの上限値を閾値として、当該閾値超過の数値範囲に予め設定されてもよい。これらいずれの場合であっても、断続検出眼球2dに対する許容範囲は、上述した定常検出眼球2cに対する許容範囲と同一の範囲であってもよいし、異なる範囲であってもよい。
The
断続検出ブロック40による信頼度Rの判定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、断続変化する断続指標の各回の検出タイミングは、断続変化の開始から終了までの間では、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。そこで断続検出ブロック40は、断続指標の検出タイミング毎に信頼算定ブロック20によって算定される定常検出眼球2cの信頼度Rを、当該検出タイミング毎に判定することとなる。
Determination of the reliability R by the
信頼度Rが許容範囲外である場合に断続検出ブロック40は、選定した断続検出眼球2dに対する断続指標の検出処理を、中止する。一方、信頼度Rが許容範囲内である場合に断続検出ブロック40は、選定した断続検出眼球2dを確定する。断続検出ブロック40は、確定した断続検出眼球2dと関連付けてメモリ5に記憶の特徴データDに基づき、同眼球2dに対する断続指標を検出する。
If the reliability R is out of the allowable range, the
断続検出ブロック40による断続指標の検出は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、断続変化する断続指標の各回の検出タイミングは、断続変化の開始から終了までの間では、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。一方、上述した断続検出眼球2dの選定は、断続指標の変化開始に一回実行されると、その後の変化終了までは実行されない。これらにより断続検出ブロック40は、変化開始タイミングから変化終了タイミングまでの間は同じ側の眼球2bに維持される断続検出眼球2dに対しての断続指標を、それら変化開始タイミング及び変化終了タイミング間での検出タイミング毎に、検出することとなる。
The detection of the discontinuity index by the
ここまで説明したブロック10,20,30,40の共同により、電子制御ユニット4が監視対象者2の眼球指標を検出する眼球指標検出方法のフローを、以下に説明する。眼球指標検出方法のフローは、図4に示す共通フローと、図5に示す定常判定フローと、図6に示す断続判定フローとから、構成される。尚、後述する各フローにおいて「S」とは、眼球指標検出プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。
The flow of the eyeball index detection method in which the
図4に示す共通フローは、情報取得ユニット3による顔情報の取得フレーム毎に、実行される。共通フローのS101では、情報取得ユニット3により取得された顔情報に基づくことで、監視対象者2における顔2aの特徴点を、特徴抽出ブロック10により抽出する。S101ではさらに、抽出された特徴点を表す特徴データDを、特徴抽出ブロック10により生成してメモリ5に記憶する。
The common flow shown in FIG. 4 is executed for each frame of face information acquired by the
共通フローのS102では、S101にて記憶された最新の特徴データDに基づくことで、監視対象者2における左右の眼球2bそれぞれに対する信頼度Rを、信頼算定ブロック20により算定する。S102ではさらに、各眼球2bに対して算定された信頼度Rを、それぞれ対応する特徴データD及び時間データと関連付けて、信頼算定ブロック20によりメモリ5に記憶する。その結果、共通フローの今回の実行が終了する。
In S102 of the common flow, the
眼球指標検出方法のフローのうち、図5に示す定常判定フローは、情報取得ユニット3による顔情報の取得フレーム毎に、実行される。定常判定フローのS201では、各眼球2bに対して定常指標の検出タイミング毎に算定される信頼度Rとして、メモリ5に記憶の最新の信頼度Rを、監視対象者2の眼球2bそれぞれに関して定常検出ブロック30により読み出す。
Among the flows of the eye index detection method, the regular determination flow shown in FIG. 5 is executed for each frame of face information acquired by the
定常判定フローにおいて続くS202では、S201にて読み出された信頼度Rが高い側の眼球2bを、定常検出眼球2cとして定常検出ブロック30により選定する。S202ではさらに、選定した定常検出眼球2cが左右いずれの眼球2bであるかを、定常検出ブロック30によりメモリ5に記憶する。
In S202, which follows the steady determination flow, the
定常判定フローにおいて続くS203では、メモリ5に記憶の最新の定常検出眼球2cが左側の眼球2bであるか否かを、定常検出ブロック30により判定する。その結果、肯定判定が下された場合、即ち定常指標の検出タイミングにて選定された定常検出眼球2cが左側の眼球2bである場合に定常判定フローでは、S204へ移行する。
In S203, which follows the steady-state determination flow, the steady-
S204では、メモリ5に記憶の信頼度Rのうち、左側眼球2bに関する最新の信頼度Rを、定常検出ブロック30により読み出す。S204ではさらに、読み出した左側眼球2bの信頼度Rが許容範囲内であるか否かを、定常検出ブロック30により判定する。その結果、肯定判定が下された場合に断続判定フローでは、S205,S206へ順次移行する。
In S204, the
S205では、定常検出ブロック30により、定常検出眼球2cの選定を左側眼球2bに確定する。続くS206では、メモリ5に記憶の特徴データDのうち、左側眼球2bに関する最新の特徴データDを、定常検出ブロック30により読み出す。S206ではさらに、読み出した特徴データDに基づくことで、定常検出眼球2cとしての左側眼球2bの定常指標を、定常検出ブロック30により検出する。その結果、定常判定フローの今回の実行が終了する。
In S205, the
以上、左側眼球2bの信頼度Rが右側眼球2bの信頼度Rよりも高い検出タイミングには、左側眼球2bが選定される。したがって、左側眼球2bの信頼度Rが許容範囲内に収まる間の定常指標は、図7に示すように信頼度Rの高低関係が前回の検出タイミングから入れ替わった場合には、当該前回とは異なる左側眼球2bに対して検出されるといえる。また一方、左側眼球2bの信頼度Rが許容範囲内に収まる間の定常指標は、図7に示すように信頼度Rの高低関係が前回の検出タイミングから入れ替わっていない場合には、当該前回と同じ左側眼球2bに対して検出されるといえる。尚、図7では、定常検出眼球2cに対して信頼度Rの許容範囲を決める上述の下限値又は上限値が閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。
As described above, the
図5に示すようにS203にて否定判定が下された場合、即ち定常指標の検出タイミングにて選定された定常検出眼球2cが右側の眼球2bである場合に定常判定フローでは、S207へ移行する。
As shown in FIG. 5, when a negative determination is made in S203, that is, when the
S207では、メモリ5に記憶の信頼度Rのうち、右側眼球2bに関する最新の信頼度Rを、定常検出ブロック30により読み出す。S207ではさらに、読み出した右側眼球2bの信頼度Rが許容範囲内であるか否かを、定常検出ブロック30により判定する。その結果、肯定判定が下された場合に断続判定フローでは、S208,S209へ順次移行する。
In S207, the
S208では、定常検出ブロック30により、定常検出眼球2cの選定を右側眼球2bに確定する。続くS209では、メモリ5に記憶の特徴データDのうち、右側眼球2bに関する最新の特徴データDを、定常検出ブロック30により読み出す。S209ではさらに、読み出した特徴データDに基づくことで、定常検出眼球2cとしての右側眼球2bの定常指標を、定常検出ブロック30により検出する。その結果、定常判定フローの今回の実行が終了する。
In S208, the
以上、右側眼球2bの信頼度Rが左側眼球2bの信頼度Rよりも高い検出タイミングには、右側眼球2bが選定される。したがって、右側眼球2bの信頼度Rが許容範囲内に収まる間の定常指標は、図8に示すように信頼度Rの高低関係が前回の検出タイミングから入れ替わった場合には、当該前回とは異なる右側眼球2bに対して検出されるといえる。また一方、右側眼球2bの信頼度Rが許容範囲内に収まる間の定常指標は、図8に示すように信頼度Rの高低関係が前回の検出タイミングから入れ替わっていない場合には、当該前回と同じ右側眼球2bに対して検出されるといえる。尚、図8でも、定常検出眼球2cに対して信頼度Rの許容範囲を決める上述の下限値又は上限値が閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。
As described above, the
図5に示すようにS204又はS207にて否定判定が下された場合、即ち定常検出眼球2cに選定された左側眼球2b又は右側眼球2bに関する最新の信頼度Rが許容範囲外の場合、断続判定フローではS210へ移行する。S210では、定常検出ブロック30による断続指標の検出処理を中止する。その結果、定常判定フローの今回の実行が終了する。ここまでの説明から定常指標の検出では、信頼度Rが低い方に引っ張られることによる検出精度の低下を抑制しつつ、プロセッサ6による処理速度の高速化及び処理負荷の低減を図ることが、可能となっている。
If a negative determination is made in S204 or S207 as shown in FIG. 5, that is, if the latest reliability R regarding the
図6に示す断続判定フローは、情報取得ユニット3による顔情報の取得フレーム毎に、実行される。断続判定フローのS300では、メモリ5に記憶の最新の特徴データDを、断続検出ブロック40により読み出す。S300ではさらに、読み出した特徴データDに基づくことで、断続指標の変化状況を断続検出ブロック40により判定する。
The intermittent determination flow shown in FIG. 6 is executed for each frame of face information acquired by the
その結果、断続指標の変化はないとの判定が下された場合に断続判定フローでは、後述するS310にて断続指標の検出処理が中止されてから、断続判定フローの今回の実行が終了する。断続指標は変化開始のタイミングにあるとの判定が下された場合に断続判定フローでは、S301,S302へ順次移行する。断続指標は変化開始タイミング後の変化途中にあるとの判定が下された場合に断続判定フローでは、S301,S302をスキップしてS303へと移行する。 As a result, when it is determined that there is no change in the intermittence indicator, the current execution of the intermittence determination flow ends after the intermittence indicator detection process is stopped in S310, which will be described later. When it is determined that the intermittence indicator is at the timing of starting to change, the intermittence determination flow sequentially proceeds to S301 and S302. When it is determined that the intermittence index is in the middle of changing after the change start timing, the intermittence determination flow skips S301 and S302 and proceeds to S303.
S301では、各眼球2bに対して断続指標の変化開始タイミングに算定される信頼度Rとして、メモリ5に記憶の最新の信頼度Rを、監視対象者2の眼球2bそれぞれに関して断続検出ブロック40により読み出す。続くS302では、S301にて読み出された信頼度Rが高い側の眼球2bを、断続検出眼球2dとして断続検出ブロック40により選定する。S302ではさらに、選定した断続検出眼球2dが左右いずれの眼球2bであるかを、断続検出ブロック40によりメモリ5に記憶する。
In S301, the latest reliability R stored in the memory 5 is obtained by the
断続判定フローにおいてS300又はS302に続くS303では、メモリ5に記憶の最新の断続検出眼球2dが左側の眼球2bであるか否かを、断続検出ブロック40により判定する。その結果、肯定判定が下された場合、即ち断続指標の変化開始タイミングにて選定された断続検出眼球2dが左側の眼球2bである場合に断続判定フローでは、S304へ移行する。
In S303 following S300 or S302 in the discontinuity determination flow, the
S304では、メモリ5に記憶の信頼度Rのうち、左側眼球2bに関する最新の信頼度Rを、断続検出ブロック40により読み出す。S304ではさらに、読み出した左側眼球2bの信頼度Rが許容範囲内であるか否かを、断続検出ブロック40により判定する。その結果、肯定判定が下された場合に断続判定フローでは、S305,S306へ順次移行する。
In S304, the
S305では、断続検出ブロック40により、断続検出眼球2dの選定を左側眼球2bに確定する。続くS306では、メモリ5に記憶の特徴データDのうち、左側眼球2bに関する最新の特徴データDを、断続検出ブロック40により読み出す。S306ではさらに、読み出した特徴データDに基づくことで、断続検出眼球2dとしての左側眼球2bの断続指標を、断続検出ブロック40により検出する。その結果、断続判定フローの今回の実行が終了する。
In S305, the
以上、左側眼球2bの信頼度Rが右側眼球2bの信頼度Rよりも高い断続指標の変化開始タイミングから、その後の変化終了タイミングまでの各検出タイミングには、左側眼球2bが継続して断続検出眼球2dに選定される。したがって、変化開始タイミングにて高い左側眼球2bの信頼度Rが断続変化の間は許容範囲内のまま推移する検出タイミングの断続指標は、図9に示すように信頼度Rの高低関係が入れ替わったとしても、同じ左側眼球2bに対して検出されるといえる。尚、図9では、断続検出眼球2dに対して信頼度Rの許容範囲を決める上述の下限値又は上限値が閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。
As described above, the intermittent detection of the
図6に示すようにS303にて否定判定が下された場合、即ち断続指標の変化開始タイミングに選定された断続検出眼球2dが右側の眼球2bである場合に断続判定フローでは、S307へ移行する。
As shown in FIG. 6, when a negative determination is made in S303, that is, when the
S307では、メモリ5に記憶の信頼度Rのうち、右側眼球2bに関する最新の信頼度Rを、断続検出ブロック40により読み出す。S307ではさらに、読み出した右側眼球2bの信頼度Rが許容範囲内であるか否かを、断続検出ブロック40により判定する。その結果、肯定判定が下された場合に断続判定フローでは、S308,S309へ順次移行する。
In S307, the
S308では、断続検出ブロック40により、断続検出眼球2dの選定を右側眼球2bに確定する。続くS309では、メモリ5に記憶の特徴データDのうち、右側眼球2bに関する最新の特徴データDを、断続検出ブロック40により読み出す。S309ではさらに、読み出した特徴データDに基づくことで、断続検出眼球2dとしての右側眼球2bの断続指標を、断続検出ブロック40により検出する。その結果、断続判定フローの今回の実行が終了する。
In S308, the
以上、右側眼球2bの信頼度Rが左側眼球2bの信頼度Rよりも高い断続指標の変化開始タイミングから、その後の変化終了タイミングまでの各検出タイミングには、右側眼球2bが継続して断続検出眼球2dに選定される。したがって、変化開始タイミングにて高い右側眼球2bの信頼度Rが断続変化の間は許容範囲内のまま推移する検出タイミングの断続指標は、図10に示すように信頼度Rの高低関係が入れ替わったとしても、同じ右側眼球2bに対して検出されるといえる。尚、図10でも、断続検出眼球2dに対して信頼度Rの許容範囲を決める上述の下限値又は上限値が、閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。
As described above, the
図6に示すようにS304又はS307にて否定判定が下された場合、即ち断続検出眼球2dに選定された左側眼球2b又は右側眼球2bに関する最新の信頼度Rが許容範囲外の場合、断続判定フローではS310へ移行する。S310では、断続検出ブロック40による断続指標の検出処理を中止する。その結果、断続判定フローの今回の実行が終了する。ここまでの説明から断続指標の検出では、チャタリングによる検出精度の低下を抑制しつつ、プロセッサ6による処理速度の高速化及び処理負荷の低減を図ることが、可能となっている。
If a negative determination is made in S304 or S307 as shown in FIG. 6, that is, if the latest reliability R regarding the
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
(Effect)
The effects of the first embodiment described above will be described below.
第一実施形態によると、監視対象者2における左右の眼球2bそれぞれに対して、定常指標及び断続指標を検出する上での信頼度Rは、時系列に算定される。そこで定常指標の検出タイミング毎に、信頼度Rの高い側の眼球2bが定常検出眼球2cに選定されることによれば、定常指標の定常変化毎に合わせた定常検出眼球2cの特徴データDに基づき、正確に定常指標が検出され得る。また一方、断続指標の変化開始タイミングにて信頼度Rの高い側の眼球2bが、断続指標の変化終了タイミングまで断続検出眼球2dに選定されることによれば、断続指標が断続変化する間は同じ断続検出眼球2dの特徴データDに基づき、正確に断続指標が検出され得る。これらのことから第一実施形態では、眼球指標として定常指標及び断続指標の双方の検出精度を向上させることが、可能となる。
According to the first embodiment, for each of the left and
第一実施形態によると、定常検出眼球2cの信頼度Rが許容範囲外となる場合には、定常指標の検出が中止される。これによれば、定常検出眼球2cの信頼度Rが逆側の信頼度Rより高くても許容範囲内には確保されていないが故に定常指標の検出精度が低下するのを、抑制することが可能となる。
According to the first embodiment, when the reliability R of the steady detected
第一実施形態によると、断続検出眼球2dの信頼度Rが許容範囲外となる場合には、断続指標の検出が中止される。これによれば、断続検出眼球2dの信頼度Rが逆側の信頼度Rより高くても許容範囲内には確保されていないが故に断続指標の検出精度が低下するのを、抑制することが可能となる。
According to the first embodiment, the detection of the discontinuity index is stopped when the reliability R of the
第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における顔2aの向きに応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。
According to the first embodiment, the reliability R is increased or decreased according to the orientation of the
第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における開眼度に応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。
According to the first embodiment, the reliability R is increased or decreased according to the degree of eye opening of the monitored
第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における顔2aのうち複数部位の位置関係に応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。
According to the first embodiment, the reliability R is increased or decreased according to the positional relationship of multiple parts of the
第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における顔2aのうち所定部位の位置に応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。
According to the first embodiment, the reliability R is increased or decreased according to the position of a predetermined portion of the
第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における顔2aのうち所定部位の面積に応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。
According to the first embodiment, the reliability R is increased or decreased according to the area of a predetermined portion of the
第一実施形態によると、監視対象者2における視線及び開眼度のうち少なくとも一方である定常指標は、信頼度Rの高い眼球2bに選定された定常検出眼球2cの特徴データDに基づき、正確に検出され得る。故に、これら視線及び開眼度のうち少なくとも一方の検出精度を向上させることが、可能となる。
According to the first embodiment, the stationary index, which is at least one of the line of sight and the degree of eye opening of the monitored subject 2, is accurately determined based on the characteristic data D of the stationary detected
第一実施形態によると、監視対象者2における眼球断続運動及び瞬目運動の有無のうち少なくとも一方である断続指標は、信頼度Rの高い眼球2bに選定された断続検出眼球2dの特徴データDに基づき、正確に検出され得る。故に、これら眼球断続運動及び瞬目運動の有無のうち少なくとも一方の検出精度を向上させることが、可能となる。
According to the first embodiment, the intermittent indicator, which is at least one of the intermittent eyeball movement and the presence or absence of the blinking movement of the
(第二実施形態)
図11に示すように第二実施形態は、第一実施形態の変形例である。
(Second embodiment)
As shown in FIG. 11, the second embodiment is a modification of the first embodiment.
第二実施形態の断続検出ブロック2040は、信頼算定ブロック20により算定される断続検出眼球2dの信頼度Rが許容範囲内から許容範囲外へ切り替わったか否かを、判定する。断続検出ブロック2040による切り替わりの判定は、断続指標の変化開始タイミング後から変化終了タイミングまでの間の検出タイミング毎に、実行される。
The
断続検出眼球2dの信頼度Rが許容範囲内から許容範囲外へ切り替わった場合に断続検出ブロック2040は、変化開始タイミングにおける断続検出眼球2dとは逆側の眼球2bとなる逆側眼球2eを、正しい断続検出眼球2dとして更新する。そこで、この場合に断続検出ブロック2040は、断続検出眼球2dに更新した逆側眼球2eと関連付けてメモリ5に記憶の信頼度Rが、許容範囲内であるか否かを判定する。
When the reliability R of the
逆側眼球2eの信頼度Rが許容範囲外である場合に断続検出ブロック2040は、変化開始タイミングでの断続検出眼球2dに対する断続指標の検出だけでなく、逆側眼球2eに対する断続指標の検出も、中止する。一方、逆側眼球2eの信頼度Rが許容範囲内である場合に断続検出ブロック40は、逆側眼球2eへの断続検出眼球2dの更新を確定する。このとき逆側眼球2eの信頼度Rは、更新前における断続検出眼球2dの信頼度Rよりも高くなっている。即ち、このとき信頼度Rの高低関係は、入れ替わった状態となっている。そこで断続検出ブロック2040は、断続検出眼球2dに更新した逆側眼球2eに対して、検出タイミング毎における断続指標の検出を、変化開始タイミングまで遡って再実行する。
When the reliability R of the
断続検出ブロック2040による断続指標の再検出は、変化開始タイミングから更新タイミング前までの間にてメモリ5に蓄積された特徴データDのうち、逆側眼球2eに関して検出タイミング毎に記憶の過去データに、基づく。これに対して、更新タイミングから変化終了タイミングまでの検出タイミング毎に断続検出ブロック2040は、逆側眼球2eに対する断続指標の検出を、第一実施形態に準じて実行する。
Re-detection of the discontinuity index by the
このような第二実施形態による眼球指標検出方法のうち断続判定フローを、図12~14に従って以下に説明する。第二実施形態の断続判定フローでは、第一実施形態と同様なS301~S309が、断続検出ブロック2040により実行される。
The intermittent determination flow of the eyeball index detection method according to the second embodiment will be described below with reference to FIGS. In the intermittence determination flow of the second embodiment, S301 to S309 similar to those of the first embodiment are executed by the
図12,13に示すように第二実施形態の断続判定フローでは、S304にて否定判定が下された場合に、S2311へ移行する。S2311では、今回の断続判定フローにてS301,S302がスキップされたか否かを、断続検出ブロック2040により判定する。その結果、否定判定が下された場合、即ち断続検出眼球2dである左側眼球2bの信頼度Rが断続指標の変化開始タイミングから許容範囲外である場合には、第一実施形態と同様なS310へ移行する。
As shown in FIGS. 12 and 13, in the intermittent determination flow of the second embodiment, when a negative determination is made in S304, the process proceeds to S2311. In S2311, the
S304の否定判定後にS2311にて肯定判定が下された場合、即ち断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、左側眼球2bの信頼度Rが許容範囲内から許容範囲外へ切り替わった場合、断続判定フローではS2312,S2313へ順次移行する。
If an affirmative determination is made in S2311 after a negative determination in S304, that is, during the period from the change start timing of the intermittent index to the change end timing, the reliability R of the
図13に示すようにS2312では、断続指標の変化開始タイミングに選定された断続検出眼球2dとは逆側眼球2eとなる右側眼球2bを、新たな断続検出眼球2dとして、断続検出ブロック2040により更新し且つメモリ5に記憶する。続くS2313では、メモリ5に記憶の信頼度Rのうち、右側眼球2bに関する最新の信頼度Rを、断続検出ブロック2040により読み出す。S2313ではさらに、読み出した右側眼球2bの信頼度Rが許容範囲内であるか否かを、断続検出ブロック2040により判定する。その結果、否定判定が下された場合には、図12,13に示すように、第一実施形態と同様なS310へ移行する。
As shown in FIG. 13, in S2312, the
S2313にて肯定判定が下された場合に断続判定フローでは、図13に示すように、S2314,S2315へ順次移行する。S2314では、断続検出ブロック2040により、断続検出眼球2dの更新を逆側眼球2eとしての右側眼球2bに確定する。続くS2315では、変化開始タイミングから断続判定フローの前回実行までの間にてメモリ5に記憶の特徴データDのうち、右側眼球2bに関する検出タイミング毎の過去データを、断続検出ブロック2040により読み出す。S2315ではさらに、変化開始タイミングにまで遡って読み出した検出タイミング毎の過去データに基づくことで、断続検出眼球2dに更新された右側眼球2bの断続指標を、当該検出タイミング毎に断続検出ブロック2040によって再検出する。
If an affirmative determination is made in S2313, the intermittent determination flow proceeds to S2314 and S2315 sequentially as shown in FIG. In S2314, the
図12,13に示すようにS2315からは、S309へ移行する。これにより、断続検出眼球2dが更新された更新回の断続判定フローでは、S2315から移行したS309にて、更新タイミングでの断続指標の検出処理が右側眼球2bに対して実行される。また、断続検出眼球2dの更新回後となる次回以降の断続判定フローでは、右側眼球2bの信頼度Rが許容範囲外とならない限り、更新タイミング後から変化終了タイミングまでの検出タイミング毎に、右側眼球2bに対する断続指標の検出処理が実行される。
As shown in FIGS. 12 and 13, the process proceeds from S2315 to S309. As a result, in the discontinuity determination flow of the update time when the
以上、変化開始タイミングには高い左側眼球2bの信頼度Rが許容範囲内から許容範囲外へと切り替わった検出タイミング以降は、逆側の右側眼球2bが断続検出眼球2dに更新される。これにより変化開始タイミング後には、許容範囲内にて高低関係の入れ替わった信頼度Rがさらに許容範囲外まで下がると、断続変化の間であっても図15に示すように、当該変化開始タイミングまで遡って断続検出眼球2dが更新されることを意味する。したがって、断続検出眼球2dに更新された右側眼球2bの信頼度Rが許容範囲内のまま推移する間の断続指標は、変化開始タイミングまでの遡りにより同じ右側眼球2bに対して検出されるといえる。尚、図15では、断続検出眼球2dに対して信頼度Rの許容範囲を決める下限値又は上限値が、第一実施形態と同様に閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。
As described above, after the detection timing when the reliability R of the
図12,14に示すように第二実施形態の断続判定フローでは、S307にて否定判定が下された場合は、S2316へ移行する。S2316では、今回の断続判定フローにてS301,S302がスキップされたか否かを、断続検出ブロック2040により判定する。その結果、否定判定が下された場合、即ち断続検出眼球2dである右側眼球2bの信頼度Rが断続指標の変化開始タイミングから許容範囲外である場合には、第一実施形態と同様なS310へ移行する。
As shown in FIGS. 12 and 14, in the intermittent determination flow of the second embodiment, when a negative determination is made in S307, the process proceeds to S2316. In S2316, the
S307の否定判定後にS2316にて肯定判定が下された場合、即ち断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、右側眼球2bの信頼度Rが許容範囲内から許容範囲外へ切り替わった場合、断続判定フローではS2317,S2318へ順次移行する。
If an affirmative determination is made in S2316 after a negative determination in S307, that is, during the period from the change start timing of the intermittent index to the change end timing, the reliability R of the
図14に示すようにS2317では、断続指標の変化開始タイミングに選定された断続検出眼球2dとは逆側眼球2eとなる左側眼球2bを、新たな断続検出眼球2dとして、断続検出ブロック2040により更新し且つメモリ5に記憶する。続くS2318では、メモリ5に記憶の信頼度Rのうち、左側眼球2bに関する最新の信頼度Rを、断続検出ブロック2040により読み出す。S2318ではさらに、読み出した左側眼球2bの信頼度Rが許容範囲内であるか否かを、断続検出ブロック2040により判定する。その結果、否定判定が下された場合には、図12,14に示すように、第一実施形態と同様なS310へ移行する。
As shown in FIG. 14, in S2317, the
S2318にて肯定判定が下された場合に断続判定フローでは、図14に示すように、S2319,S2320へ順次移行する。S2319では、断続検出ブロック2040により、断続検出眼球2dの更新を逆側眼球2eとしての左側眼球2bに確定する。続くS2320では、変化開始タイミングから断続判定フローの前回実行までの間にてメモリ5に記憶の特徴データDのうち、左側眼球2bに関する検出タイミング毎の過去データを、断続検出ブロック2040により読み出す。S2320ではさらに、変化開始タイミングにまで遡って読み出した検出タイミング毎の過去データに基づくことで、断続検出眼球2dに更新された左側眼球2bの断続指標を、当該検出タイミング毎に断続検出ブロック2040によって再検出する。
If an affirmative determination is made in S2318, the intermittent determination flow sequentially proceeds to S2319 and S2320 as shown in FIG. In S2319, the
図12,14に示すようにS2320からは、S306へ移行する。これにより、断続検出眼球2dが更新された更新回の断続判定フローでは、S2320から移行したS306にて、更新タイミングでの断続指標の検出処理が左側眼球2bに対して実行される。また、断続検出眼球2dの更新回後となる次回以降の断続判定フローでは、左側眼球2bの信頼度Rが許容範囲外とならない限り、更新タイミング後から変化終了タイミングまでの検出タイミング毎に、左側眼球2bに対する断続指標の検出処理が実行される。
As shown in FIGS. 12 and 14, the process proceeds from S2320 to S306. As a result, in the discontinuity determination flow of the update time when the
以上、変化開始タイミングには高い右側眼球2bの信頼度Rが許容範囲内から許容範囲外へと切り替わった検出タイミング以降は、逆側の左側眼球2bが断続検出眼球2dに更新される。これにより変化開始タイミング後には、許容範囲内にて高低関係の入れ替わった信頼度Rがさらに許容範囲外まで下がると、断続変化の間であっても図16に示すように、当該変化開始タイミングまで遡って断続検出眼球2dが更新されることを意味する。したがって、断続検出眼球2dに更新された左側眼球2bの信頼度Rが許容範囲内のまま推移する間の断続指標は、そうした変化開始タイミングまでの遡りにより同じ左側眼球2bに対して検出されるといえる。尚、図16でも、断続検出眼球2dに対して信頼度Rの許容範囲を決める下限値又は上限値が、第一実施形態と同様に閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。
As described above, after the detection timing when the reliability R of the
(作用効果)
以上説明した第二実施形態の作用効果を、以下に説明する。
(Effect)
The effects of the second embodiment explained above will be explained below.
第二実施形態によると、断続指標の変化開始タイミング後から変化終了タイミングまでの間にて断続検出眼球2dの信頼度Rには、許容範囲内から許容範囲外へと切り替わる場合が想定される。この場合、断続検出眼球2dとは逆側眼球2eの信頼度Rが許容範囲内であれば、当該逆側眼球2eに断続検出眼球2dが更新される。そこで、逆側眼球2eに更新された断続検出眼球2dに対しては、メモリ5に時系列に記憶の特徴データDに基づいた断続指標の検出が、変化開始タイミングまで遡って再実行されることになる。これによれば、断続指標の比較的短時間での断続変化の間は、逆側眼球2eの信頼度Rが継続して断続検出眼球2dであったと擬制されることで、当該擬制のない場合よりも断続指標が正確に検出され得る。故に、特に断続指標の検出精度を向上させる上で貢献することが、可能となる。
According to the second embodiment, it is assumed that the reliability R of the
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
(Other embodiments)
Although a plurality of embodiments have been described above, the present disclosure is not to be construed as being limited to those embodiments, and can be applied to various embodiments and combinations within the scope of the present disclosure. can be done.
具体的に、第一及び第二実施形態に関する変形例の電子制御ユニット4は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。
Specifically, the
第一実施形態に関する変形例では、図17に示すように、S204,S205が省略されることでS203の肯定判定の場合にS206が直接実行されると共に、S207,S208が省略されることでS203の否定判定の場合にS209が直接実行されてもよい。この変形例では、S210が省略されることになる。その結果、定常指標の定常変化毎に合わせた定常検出眼球2cに対しての定常指標の検出は、図18に示すように定常検出眼球2cの信頼度Rが許容範囲外になったとしても、継続されることになる。
In the modification of the first embodiment, as shown in FIG. 17, S204 and S205 are omitted, so that S206 is directly executed in the case of affirmative determination in S203, and S207 and S208 are omitted, so that S203 S209 may be directly executed in the case of a negative determination. In this modification, S210 is omitted. As a result, even if the reliability R of the steadily detected
第一実施形態に関する変形例では、図19に示すように、S304,S305が省略されることでS303の肯定判定の場合にS306が直接実行されると共に、S307,S308が省略されることでS303の否定判定の場合にS309が直接実行されてもよい。この変形例では、S310への移行が断続指標の変化なしの場合のみとなる。その結果、図20に示すように断続検出眼球2dの信頼度Rが許容範囲外になったとしても、断続指標が断続変化する間は同じ断続検出眼球2dに対して、断続指標の検出が継続されることになる。
In the modification of the first embodiment, as shown in FIG. 19, S304 and S305 are omitted, so that S306 is directly executed in the case of affirmative determination in S303, and S307 and S308 are omitted, so that S303 S309 may be directly executed in the case of a negative determination. In this modification, the process proceeds to S310 only when there is no change in the intermittent index. As a result, even if the reliability R of the
1 眼球指標検出装置、2 監視対象者、2a 顔、2b 眼球、2c 定常検出眼球、2d 断続検出眼球、2e 逆側眼球、5 メモリ、6 プロセッサ、20 信頼算定ブロック、30 定常検出ブロック、40,2040 断続検出ブロック、R 信頼度
1 eye
Claims (13)
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度(R)を、時系列に算定する信頼算定ブロック(20)と、
前記定常指標の検出タイミング毎に、前記信頼算定ブロックにより算定される前記信頼度が高い側の前記眼球を定常検出眼球(2c)に選定し、当該定常検出眼球の特徴データ(D)に基づき前記定常指標を検出する定常検出ブロック(30)と、
前記断続指標の変化開始タイミングにて前記信頼算定ブロックにより算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球(2d)に選定し、当該断続検出眼球の特徴データ(D)に基づき前記断続指標を検出する断続検出ブロック(40,2040)とを、備える眼球指標検出装置。 An eyeball index detection device (1) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to an eyeball (2b) of a person to be monitored (2),
a reliability calculation block (20) for calculating in time series the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject;
For each detection timing of the steady indicator, the eyeball with the higher reliability calculated by the confidence calculation block is selected as the steady detected eyeball (2c), and based on the feature data (D) of the steady detected eyeball a stationary detection block (30) for detecting stationary indicators;
The eyeball with the higher reliability calculated by the reliability calculation block at the timing when the intermittent index starts to change is selected as the intermittent detecting eyeball (2d) until the timing when the intermittent index ends changing, and the intermittent detecting eyeball is selected. and an intermittent detection block (40, 2040) for detecting the intermittent index based on the feature data (D) of the above.
前記信頼算定ブロックにより算定される前記定常検出眼球の前記信頼度が許容範囲外となる場合に、前記定常指標の検出を中止する請求項1に記載の眼球指標検出装置。 The stationary detection block is
2. The eyeball index detection device according to claim 1, wherein the detection of the steady index is stopped when the reliability of the constantly detected eyeball calculated by the reliability calculation block is out of an allowable range.
前記信頼算定ブロックにより算定される前記断続検出眼球の前記信頼度が許容範囲外となる場合に、前記断続指標の検出を中止する請求項1又は2に記載の眼球指標検出装置。 The intermittent detection block is
3. The eyeball index detection device according to claim 1, wherein the detection of the intermittent index is stopped when the reliability of the intermittent detection eyeball calculated by the reliability calculation block is out of an allowable range.
前記断続検出ブロック(2040)は
前記断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、前記信頼算定ブロックにより算定される前記断続検出眼球の前記信頼度が許容範囲内から許容範囲外へ切り替わった場合に、前記信頼算定ブロックにより算定される前記断続検出眼球とは逆側眼球(2e)の前記信頼度が許容範囲内であれば当該逆側眼球に更新される前記断続検出眼球に対して、前記記憶媒体に記憶された特徴データ(D)に基づく前記断続指標の検出を、前記断続指標の変化開始タイミングまで遡って再実行する請求項3に記載の眼球指標検出装置。 a storage medium (5) for storing characteristic data (D) of each of the left and right eyeballs of the monitoring subject in chronological order;
The discontinuity detection block (2040) determines that the reliability of the discontinuity detection eyeball calculated by the reliability calculation block is within the allowable range or out of the allowable range after the change start timing of the discontinuity indicator and before the change end timing. , the intermittent detection eyeball is updated to the opposite eyeball if the reliability of the eyeball opposite to the eyeball (2e) calculated by the reliability calculation block is within the allowable range. 4. The eyeball index detection device according to claim 3, wherein the detection of the intermittent index based on the feature data (D) stored in the storage medium is re-executed retroactively to the change start timing of the intermittent index.
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度(R)を、時系列にて算定し(S101,102)と、
前記定常指標の検出タイミング毎に、算定される前記信頼度が高い側の前記眼球を定常検出眼球(2c)に選定し、当該定常検出眼球の特徴データ(D)に基づき前記定常指標を検出し(S201~S210)
前記断続指標の変化開始タイミングにて算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球(2d)に選定し、当該断続検出眼球の特徴データ(D)に基づき前記断続指標を検出する(S301~S310,S2311~S2320)、ことを含む眼球指標検出方法。 An eyeball index detection method executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index associated with an eyeball (2b) of a monitored person (2), comprising:
calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject in time series (S101, 102);
Selecting the eyeball on the side of the calculated high reliability as a steady detection eyeball (2c) at each detection timing of the steady index, and detecting the steady index based on the characteristic data (D) of the steady detection eyeball. (S201-S210)
The eyeball on the side with the higher reliability calculated at the change start timing of the intermittent index is selected as the intermittent detection eyeball (2d) until the change end timing of the intermittent index, and the feature data of the intermittent detection eyeball (D ) (S301 to S310, S2311 to S2320).
前記命令は、
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度(R)を、時系列にて算定させ(S101,102)、
前記定常指標の検出タイミング毎に、算定される前記信頼度が高い側の前記眼球を定常検出眼球(2c)に選定させ、当該定常検出眼球の特徴データ(D)に基づき前記定常指標を検出させ(S201~S210)、
前記断続指標の変化開始タイミングにて算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球(2d)に選定させ、当該断続検出眼球の特徴データ(D)に基づき前記断続指標を検出させる(S301~S310,S2311~S2320)、ことを含む眼球指標検出プログラム。 Stored in a storage medium (5) and executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to the eyeball (2b) of the monitored person (2) An eye index detection program comprising instructions for:
Said instruction
calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject in time series (S101, 102);
At each detection timing of the steady index, the eyeball with the higher calculated reliability is selected as the steady detection eyeball (2c), and the steady index is detected based on the characteristic data (D) of the steady detection eyeball. (S201 to S210),
The intermittent detection eyeball (2d) is caused to select the eyeball with the higher reliability calculated at the intermittent index change start timing until the intermittent index change end timing, and the intermittent detection eyeball feature data (D ) to detect the intermittent index (S301-S310, S2311-S2320).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019139117A JP7140072B2 (en) | 2019-07-29 | 2019-07-29 | Eyeball index detection device, eyeball index detection method, eyeball index detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019139117A JP7140072B2 (en) | 2019-07-29 | 2019-07-29 | Eyeball index detection device, eyeball index detection method, eyeball index detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021019942A JP2021019942A (en) | 2021-02-18 |
JP7140072B2 true JP7140072B2 (en) | 2022-09-21 |
Family
ID=74573923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019139117A Active JP7140072B2 (en) | 2019-07-29 | 2019-07-29 | Eyeball index detection device, eyeball index detection method, eyeball index detection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7140072B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014113227A (en) | 2012-12-07 | 2014-06-26 | Tokyo Metropolitan Univ | Device for estimating human state and transportation equipment having the same |
WO2017077601A1 (en) | 2015-11-04 | 2017-05-11 | 株式会社ジェイアイエヌ | Information processing method, information processing device, program, and eyewear |
JP2018504957A (en) | 2016-01-13 | 2018-02-22 | レビスカン インク. | Fixation, alignment and / or impulsiveness measuring method and apparatus for identifying and / or tracking brain function |
JP2018183532A (en) | 2017-04-27 | 2018-11-22 | 株式会社デンソー | State estimation apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10179520A (en) * | 1996-12-26 | 1998-07-07 | Canon Inc | Visual axis detecting method and device, and storage medium |
JP5618686B2 (en) * | 2010-08-03 | 2014-11-05 | キヤノン株式会社 | Gaze detection device, gaze detection method, and program |
-
2019
- 2019-07-29 JP JP2019139117A patent/JP7140072B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014113227A (en) | 2012-12-07 | 2014-06-26 | Tokyo Metropolitan Univ | Device for estimating human state and transportation equipment having the same |
WO2017077601A1 (en) | 2015-11-04 | 2017-05-11 | 株式会社ジェイアイエヌ | Information processing method, information processing device, program, and eyewear |
JP2018504957A (en) | 2016-01-13 | 2018-02-22 | レビスカン インク. | Fixation, alignment and / or impulsiveness measuring method and apparatus for identifying and / or tracking brain function |
JP2018183532A (en) | 2017-04-27 | 2018-11-22 | 株式会社デンソー | State estimation apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2021019942A (en) | 2021-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6245398B2 (en) | State estimation device, state estimation method, and state estimation program | |
EP3809227B1 (en) | Driving assistance apparatus and driving assistance method | |
CN112673378B (en) | Device for generating estimator, monitoring device, method for generating estimator, and program for generating estimator | |
US9526448B2 (en) | State estimation device and state estimation program | |
WO2011074198A1 (en) | User interface apparatus and input method | |
JP2010141616A5 (en) | ||
JP5273030B2 (en) | Facial feature point detection device and drowsiness detection device | |
US20190230292A1 (en) | Photographing control apparatus and photographing control method | |
JP2014144096A (en) | Vigilance level detection device and vigilance level detection method | |
CN106108922B (en) | Drowsiness detection device | |
JP2014064784A (en) | Visual line detection device, visual line detection method and program | |
CN117897780A (en) | Hospital diagnosis guiding method for active thyroid eye disease medical treatment and execution system thereof | |
JP7140072B2 (en) | Eyeball index detection device, eyeball index detection method, eyeball index detection program | |
JP7345101B2 (en) | Image recognition device and image recognition method | |
JP2015213734A (en) | Program, information processing device, and eyewear | |
JP6672972B2 (en) | Safe driving support device and safe driving support program | |
JP2021037216A (en) | Eye closing determination device | |
US9959635B2 (en) | State determination device, eye closure determination device, state determination method, and storage medium | |
JP6572841B2 (en) | Information processing apparatus and program | |
CN113642442B (en) | Face detection method and device, computer readable storage medium and terminal | |
CN112181128A (en) | Sight estimation method and device with calculation resource self-adaption function | |
JP7131491B2 (en) | Saccade detection device, saccade detection method, saccade detection program | |
JP2018130342A (en) | Wakefulness estimation device, wakefulness estimation method and wakefulness estimation system | |
JP2017138646A (en) | Sight-line detection device | |
JP5655491B2 (en) | Open-eye detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7140072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |