JP7140072B2 - Eyeball index detection device, eyeball index detection method, eyeball index detection program - Google Patents

Eyeball index detection device, eyeball index detection method, eyeball index detection program Download PDF

Info

Publication number
JP7140072B2
JP7140072B2 JP2019139117A JP2019139117A JP7140072B2 JP 7140072 B2 JP7140072 B2 JP 7140072B2 JP 2019139117 A JP2019139117 A JP 2019139117A JP 2019139117 A JP2019139117 A JP 2019139117A JP 7140072 B2 JP7140072 B2 JP 7140072B2
Authority
JP
Japan
Prior art keywords
eyeball
index
detection
intermittent
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019139117A
Other languages
Japanese (ja)
Other versions
JP2021019942A (en
Inventor
健太 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019139117A priority Critical patent/JP7140072B2/en
Publication of JP2021019942A publication Critical patent/JP2021019942A/en
Application granted granted Critical
Publication of JP7140072B2 publication Critical patent/JP7140072B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本開示は、監視対象者における眼球に関連した眼球指標を検出する技術に、関する。 The present disclosure relates to techniques for detecting ocular indices associated with the eyeballs of a monitored subject.

従来の技術として特許文献１には、眼球指標として視線を検出する技術が開示されている。この特許文献１の開示技術では、監視対象者における左右の眼それぞれの視線の信頼度が算出されることで、信頼度が高い少なくとも一方の眼の特徴量に基づいて視線が検出されている。 As a conventional technique, Patent Document 1 discloses a technique for detecting a line of sight as an eyeball index. In the technique disclosed in Patent Literature 1, the line of sight is detected based on the feature amount of at least one of the eyes having a high degree of reliability by calculating the degree of reliability of the line of sight of each of the left and right eyes of the person to be monitored.

特許第５６１８６８６号公報Japanese Patent No. 5618686

特許文献１の開示技術では、左右双方の眼を検出眼球として、それらの眼の特徴量を連結するケースが、想定されている。この場合、連結された特徴量は、信頼度が低い方の眼の特徴量に引っ張られることで、視線の検出精度を低下させるおそれがあった。 In the technique disclosed in Patent Document 1, a case is assumed in which both the left and right eyes are used as detection eyeballs and the feature amounts of those eyes are connected. In this case, there is a possibility that the connected feature amount is pulled by the feature amount of the eye with the lower reliability, thereby reducing the detection accuracy of the line of sight.

また、特許文献１の開示技術において検出される視線は、眼球指標のうち、定常変化する定常指標である。一方で眼球指標には、例えば瞬目運動等といった、断続変化する断続指標もある。そこで、特許文献１の開示技術を断続指標の検出に適用すると、断続指標の断続変化中に検出眼球を切り替えてしまうケースが、想定され得る。この場合、検出眼球の切り替わり、特に繰り返しのチャタリングでは、断続指標の検出精度を低下させるおそれがあった。 In addition, the line of sight detected in the technology disclosed in Patent Document 1 is a stationary index that changes steadily among the eyeball indices. On the other hand, the eyeball index also includes an intermittent index that changes intermittently, such as eye blinking. Therefore, if the technology disclosed in Patent Document 1 is applied to the detection of the intermittent index, a case can be assumed in which the detection eyeball is switched during the intermittent change of the intermittent index. In this case, switching of the eyeball to be detected, especially repeated chattering, may reduce the detection accuracy of the intermittent indicator.

本開示の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出装置を提供することにある。本開示の別の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出方法を提供することにある。本開示のさらに別の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出プログラムを、提供することにある。 An object of the present disclosure is to provide an eyeball index detection device that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index. Another object of the present disclosure is to provide an eyeball index detection method that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index. Still another object of the present disclosure is to provide an eyeball index detection program that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index.

以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。 Technical means of the present disclosure for solving the problems will be described below. It should be noted that the symbols in parentheses described in the claims and this column indicate the correspondence with specific means described in the embodiments described in detail later, and limit the technical scope of the present disclosure. not something to do.

本開示の第一態様は、
監視対象者（２）における眼球（２ｂ）に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出装置（１）であって、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度（Ｒ）を、時系列に算定する信頼算定ブロック（２０）と、
定常指標の検出タイミング毎に、信頼算定ブロックにより算定される信頼度が高い側の眼球を定常検出眼球（２ｃ）に選定し、当該定常検出眼球の特徴データ（Ｄ）に基づき定常指標を検出する定常検出ブロック（３０）と、
断続指標の変化開始タイミングにて信頼算定ブロックにより算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球（２ｄ）に選定し、当該断続検出眼球の特徴データ（Ｄ）に基づき断続指標を検出する断続検出ブロック（４０，２０４０）とを、備える。 A first aspect of the present disclosure is
An eyeball index detection device (1) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to an eyeball (2b) of a person to be monitored (2),
a reliability calculation block (20) for calculating, in chronological order, the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitored person;
The eyeball with the higher reliability calculated by the confidence calculation block is selected as the steady detection eyeball (2c) at each detection timing of the steady index, and the steady index is detected based on the feature data (D) of the steady detected eyeball. a stationary detection block (30);
The eyeball with the higher reliability calculated by the reliability calculation block at the start timing of the change of the intermittent index is selected as the intermittent detection eyeball (2d) until the end timing of the change of the intermittent index, and the characteristic data of the intermittent detection eyeball (D a discontinuity detection block (40, 2040) for detecting discontinuity indicators based on ).

本開示の第二態様は、
プロセッサ（６）により実行され、監視対象者（２）における眼球（２ｂ）に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出方法であって、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度（Ｒ）を、時系列にて算定し（Ｓ１０１，１０２）と、
定常指標の検出タイミング毎に、算定される信頼度が高い側の眼球を定常検出眼球（２ｃ）に選定し、当該定常検出眼球の特徴データ（Ｄ）に基づき定常指標を検出し（Ｓ２０１～Ｓ２１０）
断続指標の変化開始タイミングにて算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球（２ｄ）に選定し、当該断続検出眼球の特徴データ（Ｄ）に基づき断続指標を検出する（Ｓ３０１～Ｓ３１０，Ｓ２３１１～Ｓ２３２０）、ことを含む。 A second aspect of the present disclosure is
An eyeball index detection method executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index associated with an eyeball (2b) of a monitored person (2), comprising:
Calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitored person in chronological order (S101, 102);
At each detection timing of the stationary index, the eyeball with the higher calculated reliability is selected as the stationary detected eyeball (2c), and the stationary index is detected based on the characteristic data (D) of the stationary detected eyeball (S201 to S210 )
The eyeball with the higher reliability calculated at the start timing of the change of the intermittent index is selected as the intermittent detection eyeball (2d) until the end timing of the change of the intermittent index, and the intermittent detection is performed based on the characteristic data (D) of the intermittent detection eyeball. Detecting indicators (S301-S310, S2311-S2320).

本開示の第三態様は、
監視対象者（２）における眼球（２ｂ）に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出するために記憶媒体（５）に格納され、プロセッサ（６）に実行させる命令を含む眼球指標検出プログラムであって、
命令は、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度（Ｒ）を、時系列にて算定させ（Ｓ１０１，１０２）と、
定常指標の検出タイミング毎に、算定される信頼度が高い側の眼球を定常検出眼球（２ｃ）に選定させ、当該定常検出眼球の特徴データ（Ｄ）に基づき定常指標を検出させ（Ｓ２０１～Ｓ２１０）
断続指標の変化開始タイミングにて算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球（２ｄ）に選定させ、当該断続検出眼球の特徴データ（Ｄ）に基づき断続指標を検出させる（Ｓ３０１～Ｓ３１０，Ｓ２３１１～Ｓ２３２０）、ことを含む。 A third aspect of the present disclosure is
Stored in a storage medium (5) and executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to the eyeball (2b) of the monitored person (2) An eye index detection program comprising instructions for:
the instruction is
Calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the person to be monitored in chronological order (S101, 102);
At each detection timing of the stationary index, the eyeball with the higher calculated reliability is selected as the stationary detection eyeball (2c), and the stationary index is detected based on the feature data (D) of the stationary detection eyeball (S201 to S210 )
The eyeball with the higher reliability calculated at the start timing of the change of the discontinuity index is selected by the discontinuity detection eyeball (2d) until the end timing of the change of the discontinuity index, and the discontinuity is performed based on the characteristic data (D) of the discontinuity detection eyeball. including detecting the index (S301-S310, S2311-S2320).

これら第一～第三態様によると、監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度は、時系列に算定される。そこで定常指標の検出タイミング毎に、信頼度の高い側の眼球が定常検出眼球に選定されることによれば、定常指標の定常変化毎に合わせた定常検出眼球の特徴データに基づき、正確に定常指標が検出され得る。また一方、断続指標の変化開始タイミングにて信頼度の高い側の眼球が、断続指標の変化終了タイミングまで断続検出眼球に選定されることによれば、断続指標が断続変化する間は同じ断続検出眼球の特徴データに基づき、正確に断続指標が検出され得る。これらのことから第一～第三態様では、眼球指標として定常指標及び断続指標の双方の検出精度を向上させることが、可能となる。 According to these first to third aspects, the reliability in detecting the steady index and the intermittent index is calculated in chronological order for each of the left and right eyeballs of the monitoring subject. Therefore, if the eyeball with the higher reliability is selected as the steady-state detection eyeball at each detection timing of the steady-state index, the steady An indicator can be detected. On the other hand, according to the fact that the eyeball with the higher reliability at the intermittent index change start timing is selected as the intermittent detection eyeball until the intermittent index change end timing, the same intermittent detection is performed while the intermittent index intermittently changes. The discontinuity index can be accurately detected based on the eyeball feature data. For these reasons, in the first to third aspects, it is possible to improve the detection accuracy of both the steady index and the intermittent index as the eyeball index.

第一実施形態による眼球指標検出装置の全体構成を示すブロック図である。1 is a block diagram showing the overall configuration of an eye index detection device according to a first embodiment; FIG. 第一実施形態による眼球指標検出装置の詳細構成を示すブロック図である。2 is a block diagram showing the detailed configuration of the eyeball index detection device according to the first embodiment; FIG. 第一実施形態による算定基準データを説明するための表である。4 is a table for explaining calculation reference data according to the first embodiment; 第一実施形態による眼球指標検出方法のフローのうち共通フローを示すフローチャートである。4 is a flowchart showing a common flow among the flows of the eyeball index detection method according to the first embodiment; 第一実施形態による眼球指標検出方法のフローのうち定常判定フローを示すフローチャートである。4 is a flow chart showing a steady determination flow among the flows of the eyeball index detection method according to the first embodiment. 第一実施形態による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。4 is a flow chart showing an intermittent determination flow in the flow of the eyeball index detection method according to the first embodiment. 第一実施形態による定常判定フローを説明するためのタイムチャートである。FIG. 4 is a time chart for explaining a steady state determination flow according to the first embodiment; FIG. 第一実施形態による定常判定フローを説明するためのタイムチャートである。FIG. 4 is a time chart for explaining a steady state determination flow according to the first embodiment; FIG. 第一実施形態による断続判定フローを説明するためのタイムチャートである。4 is a time chart for explaining an intermittent determination flow according to the first embodiment; 第一実施形態による断続判定フローを説明するためのタイムチャートである。4 is a time chart for explaining an intermittent determination flow according to the first embodiment; 第二実施形態による眼球指標検出装置の詳細構成を示すブロック図である。FIG. 11 is a block diagram showing the detailed configuration of the eyeball index detection device according to the second embodiment; 第二実施形態による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。FIG. 10 is a flow chart showing an intermittent determination flow in the flow of the eye index detection method according to the second embodiment; FIG. 第二実施形態による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。FIG. 10 is a flow chart showing an intermittent determination flow in the flow of the eye index detection method according to the second embodiment; FIG. 第二実施形態による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。FIG. 10 is a flow chart showing an intermittent determination flow in the flow of the eye index detection method according to the second embodiment; FIG. 第二実施形態による断続判定フローを説明するためのタイムチャートである。FIG. 9 is a time chart for explaining an intermittent determination flow according to the second embodiment; FIG. 第二実施形態による断続判定フローを説明するためのタイムチャートである。FIG. 9 is a time chart for explaining an intermittent determination flow according to the second embodiment; FIG. 変形例による眼球指標検出方法のフローのうち定常判定フローを示すフローチャートである。10 is a flow chart showing a steady determination flow among the flows of the eyeball index detection method according to the modification; 変形例による定常判定フローを説明するためのタイムチャートである。It is a time chart for demonstrating the steady-state determination flow by a modification. 変形例による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。10 is a flow chart showing an intermittent determination flow in the flow of an eyeball index detection method according to a modification; 変形例による断続判定フローを説明するためのタイムチャートである。It is a time chart for demonstrating the intermittent determination flow by a modification.

以下、複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。 A plurality of embodiments will be described below with reference to the drawings. Note that redundant description may be omitted by assigning the same reference numerals to corresponding components in each embodiment. When only a part of the configuration is described in each embodiment, the configurations of other embodiments previously described can be applied to other portions of the configuration. Moreover, not only the combinations of the configurations explicitly specified in the description of each embodiment, but also the configurations of a plurality of embodiments can be partially combined even if they are not specified unless there is a particular problem with the combination.

（第一実施形態）
図１に示すように第一実施形態による眼球指標検出装置１は、監視対象者２の顔２ａにおける眼球２ｂに関連した眼球指標を、検出する。眼球指標検出装置１は、車両に搭載されて、監視対象者２である乗員の眼球指標を検出してもよい。この場合に眼球指標の検出結果は、例えば車両の運転制御等に利用される。眼球指標検出装置１は、コンピュータに接続されて、監視対象者２であるユーザの眼球指標を検出してもよい。この場合に眼球指標の検出結果は、例えばコンピュータの操作制御等に利用される。眼球指標検出装置１の適用形態は、これら以外の形態であっても勿論よい。 (First embodiment)
As shown in FIG. 1, the eyeball index detection device 1 according to the first embodiment detects eyeball indexes related to the eyeballs 2b on the face 2a of the monitoring subject 2. As shown in FIG. The eyeball index detection device 1 may be mounted on a vehicle to detect the eyeball index of the passenger who is the person to be monitored 2 . In this case, the detection result of the eyeball index is used, for example, for driving control of the vehicle. The eyeball index detection device 1 may be connected to a computer to detect the eyeball index of the user who is the monitored person 2 . In this case, the detection result of the eyeball index is used, for example, for computer operation control. Needless to say, the application form of the eyeball index detection device 1 may be a form other than these.

眼球指標検出装置１により検出の眼球指標は、定常指標及び断続指標である。定常指標は、監視対象者２の顔２ａにおける眼球２ｂの定常的な運動に合わせて、随時変化する。即ち定常指標とは、眼球２ｂの定常変化する運動状態を表した、眼球指標を意味する。定常指標としては、眼球２ｂの視線及び開眼度のうち、少なくとも一方が検出される。視線は、眼球２ｂのうち瞳孔の向く方向により定義されてもよいし、顔２ａの正面方向に対する当該方向の角度により定義されてもよい。開眼度は、顔２ａの上下方向における眼球２ｂの開き幅の最大値に対する比率により定義されてもよい。 The eyeball indices detected by the eyeball index detection device 1 are a steady index and an intermittent index. The steady index changes at any time according to the steady movement of the eyeballs 2b on the face 2a of the person to be monitored 2. FIG. That is, the stationary index means an eyeball index that represents a constantly changing motion state of the eyeball 2b. At least one of the line of sight and the degree of eye opening of the eyeball 2b is detected as the constant index. The line of sight may be defined by the direction in which the pupil of the eyeball 2b faces, or may be defined by the angle of that direction with respect to the frontal direction of the face 2a. The degree of eye opening may be defined by the ratio of the opening width of the eyeballs 2b in the vertical direction of the face 2a to the maximum value.

断続指標は、監視対象者２の顔２ａにおける眼球２ｂの断続的な運動に応じたタイミング毎に、変化する。即ち断続指標とは、眼球２ｂの断続変化する運動状態を表した、眼球指標を意味する。断続指標としては、眼球２ｂの断続運動（以下、眼球断続運動という）及び瞬目の有無のうち、少なくとも一方が検出される。眼球断続運動は、眼球２ｂのサッカード運動を含む。サッカード運動は、監視対象者２が視線を意図して変化させる場合に生じる、短時間で高速な運動であってもよいし、監視対象者２が注視（即ち、固視）中に不随意に生じる、微動で急速な運動であってもよい。眼球断続運動には勿論、こうしたサッカード運動以外の断続運動が含まれていてもよい。瞬目運動は、眼球２ｂの開閉する、所謂瞬きである。 The intermittent index changes at each timing according to intermittent movements of the eyeballs 2b on the face 2a of the person to be monitored 2. FIG. In other words, the intermittent index means an eyeball index representing the state of intermittent movement of the eyeball 2b. At least one of the intermittent movement of the eyeball 2b (hereinafter referred to as intermittent eyeball movement) and the presence or absence of blinking is detected as the intermittent index. The intermittent eye movement includes saccade movement of the eyeball 2b. A saccade movement may be a short-term, high-speed movement that occurs when the monitored person 2 intentionally changes his/her line of sight, or may be an involuntary movement that occurs while the monitored person 2 is gazing (i.e., fixation). It may be a micro-movement and rapid movement that occurs in the body. Intermittent eye movements may of course include intermittent movements other than such saccade movements. The blinking motion is a so-called blinking that opens and closes the eyeball 2b.

眼球指標検出装置１は、情報取得ユニット３及び電子制御ユニット４を含んで構成される。情報取得ユニット３は、監視対象者２の顔情報を取得する。情報取得ユニット３による顔情報の取得は、監視対象者２若しくは他者からの指示に従って、又は電子制御ユニット４若しくは他ユニットからの制御に従って、実行される。顔情報は、監視対象者２の顔２ａのうち、少なくとも眼球２ｂを含む複数部位の状態（以下、顔状態という）に、関する情報である。 The eye index detection device 1 includes an information acquisition unit 3 and an electronic control unit 4 . The information acquisition unit 3 acquires face information of the monitored person 2 . Acquisition of face information by the information acquisition unit 3 is executed according to instructions from the person to be monitored 2 or others, or according to control from the electronic control unit 4 or other units. The face information is information relating to the state of a plurality of parts including at least the eyeballs 2b in the face 2a of the person to be monitored 2 (hereinafter referred to as "face state").

情報取得ユニット３は、監視対象者２の顔２ａを撮影する、例えばカメラ等の撮像装置を主体に構成される。そこで情報取得ユニット３では、撮像装置により撮影されて生成される画像が、顔情報として利用される。眼球指標検出装置１が車両に搭載される場合、車両に搭載された例えば車内カメラ等の撮像装置が、情報取得ユニット３として利用されてもよい。情報取得ユニット３は、こうした撮像装置以外にも、監視対象者２における眼球２ｂの運動を波形出力する、例えば眼電図計測装置等を含んでいてもよい。この場合に情報取得ユニット３では、眼電図計測装置により計測される眼電図も、顔情報として利用される。尚、情報取得ユニット３が上記車両に搭載の撮像装置を含む場合、眼球指標検出装置１は電子制御ユニット４のみから構成されてもよい。 The information acquisition unit 3 is mainly composed of an image pickup device such as a camera for photographing the face 2a of the person to be monitored 2 . Therefore, in the information acquisition unit 3, an image captured by an imaging device and generated is used as face information. When the eye index detection device 1 is mounted on a vehicle, an imaging device such as an in-vehicle camera mounted on the vehicle may be used as the information acquisition unit 3 . The information acquisition unit 3 may include, for example, an electrooculogram measurement device that outputs a waveform of the movement of the eyeball 2b of the person to be monitored 2, in addition to such an imaging device. In this case, the information acquisition unit 3 also uses the electrooculogram measured by the electrooculogram measuring device as face information. Incidentally, when the information acquisition unit 3 includes an imaging device mounted on the vehicle, the eyeball index detection device 1 may be configured only with the electronic control unit 4 .

電子制御ユニット４は、例えばＬＡＮ（Local Area Network）、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して、情報取得ユニット３に接続されている。電子制御ユニット４は、メモリ５及びプロセッサ６を、少なくとも一つずつ含んで構成される専用のコンピュータである。 The electronic control unit 4 is connected to the information acquisition unit 3 via at least one of, for example, a LAN (Local Area Network), a wire harness, an internal bus, and the like. The electronic control unit 4 is a dedicated computer including at least one memory 5 and at least one processor 6 .

メモリ５は、コンピュータにより読み取り可能なプログラム及びデータを非一時的に格納する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ６は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。 The memory 5 stores computer-readable programs and data non-temporarily, and includes at least one type of non-transitory tangible storage medium such as a semiconductor memory, a magnetic medium, and an optical medium. medium). The processor 6 includes, as a core, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a RISC (Reduced Instruction Set Computer)-CPU.

プロセッサ６は、メモリ５に格納されたサッカード検出プログラムに含まれる複数の命令を、実行する。これにより電子制御ユニット４は、監視対象者２の眼球指標として定常指標及び断続指標を検出するための機能ブロックを、複数構築する。このように電子制御ユニット４では、監視対象者２の眼球指標として定常指標及び断続指標を検出するためにメモリ５に格納された眼球指標検出プログラムが複数の命令をプロセッサ６に実行させることで、複数の機能ブロックが構築される。 Processor 6 executes a plurality of instructions contained in a saccade detection program stored in memory 5 . Thereby, the electronic control unit 4 constructs a plurality of functional blocks for detecting the steady index and the intermittent index as the eyeball index of the person to be monitored 2 . In this way, in the electronic control unit 4, the eyeball index detection program stored in the memory 5 for detecting the steady index and the intermittent index as the eyeball index of the monitored person 2 causes the processor 6 to execute a plurality of commands, Multiple functional blocks are constructed.

電子制御ユニット４により構築される機能ブロックには、図２に示すように、特徴抽出ブロック１０、信頼算定ブロック２０、定常検出ブロック３０、及び断続検出ブロック４０が含まれる。 Functional blocks built by the electronic control unit 4 include a feature extraction block 10, a confidence calculation block 20, a steady state detection block 30 and an intermittent detection block 40, as shown in FIG.

特徴抽出ブロック１０には、情報取得ユニット３により取得の顔情報が、入力される。特徴抽出ブロック１０は、監視対象者２における顔２ａの特徴点を、入力された顔情報に基づき抽出する。特徴抽出ブロック１０は、抽出された顔２ａのうち、左右の眼球２ｂを含む複数部位の特徴点を表した特徴データＤを、生成する。特徴抽出ブロック１０による特徴点の抽出及び特徴データＤの生成は、情報取得ユニット３による顔情報の取得フレーム毎に時系列にて実行される。こうして生成される特徴データＤを特徴抽出ブロック１０は、時間データ（即ち、タイムスタンプ）と関連付けて時系列に、メモリ５に記憶する。 The facial information obtained by the information obtaining unit 3 is input to the feature extraction block 10 . The feature extraction block 10 extracts feature points of the face 2a of the person to be monitored 2 based on the input face information. The feature extraction block 10 generates feature data D representing feature points of a plurality of parts including the left and right eyeballs 2b of the extracted face 2a. Extraction of feature points and generation of feature data D by the feature extraction block 10 are executed in chronological order for each frame of face information acquired by the information acquisition unit 3 . The feature extraction block 10 stores the feature data D thus generated in the memory 5 in chronological order in association with time data (that is, time stamp).

信頼算定ブロック２０には、特徴抽出ブロック１０によりメモリ５に記憶の特徴データＤが、入力される。信頼算定ブロック２０は、監視対象者２における左右の眼球２ｂそれぞれに対して、入力された特徴データＤに基づく信頼度Ｒを、算定する。信頼算定ブロック２０による信頼度Ｒの算定は、特徴抽出ブロック１０による特徴データＤの生成タイミング毎に時系列にて実行される。こうして算定される各眼球２ｂの信頼度Ｒを信頼算定ブロック２０は、それぞれの算定時に基づくこととなった特徴データＤと、それぞれの算定時刻の時間データ（即ち、タイムスタンプ）とに関連付けて、メモリ５に記憶する。 The feature data D stored in the memory 5 by the feature extraction block 10 is input to the confidence calculation block 20 . The reliability calculation block 20 calculates the reliability R based on the input feature data D for each of the left and right eyeballs 2b of the person to be monitored 2. FIG. Calculation of the reliability R by the reliability calculation block 20 is performed in time series at each generation timing of the feature data D by the feature extraction block 10 . The reliability calculation block 20 associates the reliability R of each eyeball 2b calculated in this way with the feature data D based on each calculation and the time data (that is, time stamp) at each calculation time, Store in memory 5.

信頼算定ブロック２０により算定の信頼度Ｒとは、左右の眼球２ｂの各状態が定常指標及び断続指標を検出する上において信頼し得る度合いを、意味する。この信頼度Ｒには、左右の眼球２ｂに共通な初期値としての標準値が、予め設定されている。そこで以下の説明では、信頼度Ｒを減らして算定するとは、標準値に１未満の算定係数を乗算することで、より小さな値に信頼度Ｒを調整する処理として、定義される。一方、信頼度Ｒを増やして算定するとは、標準値に１超過の算定係数を乗算することで、より大きな値に信頼度Ｒを調整する処理として、定義される。 The reliability R calculated by the reliability calculation block 20 means the degree to which each state of the left and right eyeballs 2b is reliable in detecting the steady index and the intermittent index. A standard value as an initial value common to the left and right eyeballs 2b is set in advance for the reliability R. Therefore, in the following description, calculation with a reduced reliability R is defined as processing for adjusting the reliability R to a smaller value by multiplying the standard value by a calculation coefficient of less than 1. On the other hand, calculating by increasing the reliability R is defined as processing for adjusting the reliability R to a larger value by multiplying the standard value by a calculation factor exceeding 1.

信頼算定ブロック２０は、図３に示すように信頼度Ｒを増減算定するための算定基準データ２１を、メモリ５から読み出す。算定基準データ２１は、例えばテーブル、マップ、及び演算式等のうち少なくとも一種類の形式で生成され、メモリ５に予め記憶されている。算定基準データ２１は、算定条件と算定処理とのデータセットとして、図３に示すセット２２～２６のうち少なくとも一セットを含んでいる。データセット２２～２６は、監視対象者２に現出する相異の顔状態を算定条件として、それぞれ対応する算定処理と共に定義されている。 The reliability calculation block 20 reads from the memory 5 the calculation reference data 21 for calculating the increase/decrease of the reliability R as shown in FIG. The calculation reference data 21 is generated in at least one format of, for example, a table, a map, an arithmetic expression, etc., and stored in the memory 5 in advance. The calculation reference data 21 includes at least one of the sets 22 to 26 shown in FIG. 3 as a data set of calculation conditions and calculation processing. The data sets 22 to 26 are defined together with corresponding calculation processes, using different facial states appearing on the monitored person 2 as calculation conditions.

データセット２２の算定条件は、監視対象者２における顔２ａの向きである。そこでデータセット２２の算定処理は、この向きに応じて信頼度Ｒを増減する。具体的に、顔２ａの向きが正面方向に対して許容範囲内となる算定条件では、信頼度Ｒを増やす算定処理が、実行される。一方、顔２ａの向きが正面方向に対して許容範囲外となる算定条件では、信頼度Ｒを減らす算定処理が、実行される。尚、算定条件における許容範囲は、例えば正面方向に対する角度で両側３０度等の範囲に、設定される。 A calculation condition for the data set 22 is the orientation of the face 2 a of the person to be monitored 2 . Therefore, the calculation process of the data set 22 increases or decreases the reliability R according to this orientation. Specifically, the calculation process for increasing the reliability R is executed under the calculation condition that the orientation of the face 2a is within the allowable range with respect to the front direction. On the other hand, under calculation conditions where the orientation of the face 2a is out of the allowable range with respect to the front direction, calculation processing for reducing the reliability R is executed. The allowable range in the calculation conditions is set, for example, to a range of 30 degrees on both sides with respect to the front direction.

データセット２３の算定条件は、監視対象者２における開眼度である。そこでデータセット２３の算定処理は、この開眼度に応じて信頼度Ｒを増減する。具体的に、開眼度が許容値以上となる算定条件では、信頼度Ｒを増やす算定処理が、実行される。一方、開眼度が許容値未満となる算定条件では、信頼度Ｒを減らす算定処理が、実行される。尚、算定条件における許容値は、例えば顔２ａの上下方向における眼球２ｂの開き幅の最大値に対する比率にて２０％等に、設定される。 A calculation condition for the data set 23 is the degree of eye opening of the monitored person 2 . Therefore, the calculation process of the data set 23 increases or decreases the reliability R according to this degree of eye opening. Specifically, a calculation process for increasing the reliability R is executed under the calculation condition that the degree of eye opening is greater than or equal to the allowable value. On the other hand, under calculation conditions where the degree of eye opening is less than the allowable value, a calculation process for reducing the reliability R is executed. The allowable value in the calculation conditions is set to 20%, for example, as a ratio of the maximum opening width of the eyeballs 2b in the vertical direction of the face 2a.

データセット２４の算定条件は、監視対象者２における顔２ａのうち複数部位の位置関係である。そこでデータセット２４の算定処理は、この位置関係に応じて信頼度Ｒを増減する。具体的に、複数部位の位置関係を表す相対距離が許容範囲内でのずれに留まる算定条件では、信頼度Ｒを増やす算定処理が、実行される。一方、複数部位の位置関係を表す相対距離が許容範囲外までずれる算定条件では、信頼度Ｒを減らす算定処理が、実行される。尚、算定条件における複数部位とは、例えば眼球２ｂ、口、鼻、及び耳等のうち、少なくとも二つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位間の相対距離が推移する時間分布からのずれの割合にて±９５％等の範囲に、設定される。 A calculation condition for the data set 24 is the positional relationship of multiple parts of the face 2 a of the person to be monitored 2 . Therefore, the calculation process of the data set 24 increases or decreases the reliability R according to this positional relationship. Specifically, a calculation process for increasing the reliability R is executed under calculation conditions in which the relative distances representing the positional relationship of the multiple sites remain within the allowable range. On the other hand, under calculation conditions in which the relative distances representing the positional relationship of multiple parts deviate beyond the allowable range, calculation processing for reducing the reliability R is executed. Note that the multiple parts in the calculation conditions are at least two parts among the eyeball 2b, mouth, nose, ears, and the like. In addition, the allowable range in the calculation conditions is set, for example, to a range of ±95% or the like in terms of the rate of deviation from the time distribution in which the relative distances between target parts change for each frame.

データセット２５の算定条件は、監視対象者２における顔２ａのうち所定部位の位置である。そこでデータセット２５の算定処理は、この位置に応じて信頼度Ｒを増減する。具体的に、所定部位の位置が許容範囲内でのずれに留まる算定条件では、信頼度Ｒを増やす算定処理が、実行される。一方、所定部位の位置が許容範囲外までずれる算定条件では、信頼度Ｒを減らす算定処理が、実行される。尚、算定条件における所定部位とは、例えば眼球２ｂ、口、鼻、及び耳等のうち、少なくとも一つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位の位置が推移する時間分布からのずれの割合にて±９５％等の範囲に、設定される。 A calculation condition for the data set 25 is the position of a predetermined portion of the face 2 a of the person to be monitored 2 . The calculation process of the data set 25 then increases or decreases the reliability R depending on this position. Specifically, a calculation process for increasing the reliability R is executed under the calculation condition that the position of the predetermined portion remains within the allowable range. On the other hand, under the calculation condition that the position of the predetermined portion is out of the allowable range, calculation processing for reducing the reliability R is executed. Note that the predetermined part in the calculation conditions is at least one of the eyeball 2b, mouth, nose, ear, and the like. In addition, the allowable range in the calculation conditions is set, for example, to a range of ±95% or the like in terms of the rate of deviation from the time distribution in which the position of the target part changes for each frame.

データセット２６の算定条件は、監視対象者２における顔２ａのうち所定部位の面積である。そこでデータセット２６の算定処理は、この面積に応じて信頼度Ｒを増減する。具体的に、所定部位の面積が許容範囲内でのずれに留まる算定条件では、信頼度Ｒを増やす算定処理が、実行される。一方、所定部位の面積が許容範囲外までずれる算定条件では、信頼度Ｒを減らす算定処理が、実行される。尚、算定条件における所定部位とは、例えば眼球２ｂ、口、鼻、及び耳等のうち、少なくとも一つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位の面積が推移する時間分布からのずれの割合にて±９５％等の範囲に、設定される。 A calculation condition for the data set 26 is the area of a predetermined portion of the face 2 a of the person to be monitored 2 . Therefore, the calculation process of the data set 26 increases or decreases the reliability R according to this area. Specifically, a calculation process for increasing the reliability R is executed under the calculation condition that the area of the predetermined portion remains within the allowable range. On the other hand, under calculation conditions in which the area of the predetermined portion deviates beyond the allowable range, calculation processing for reducing the reliability R is executed. Note that the predetermined part in the calculation conditions is at least one of the eyeball 2b, mouth, nose, ear, and the like. Also, the allowable range in the calculation conditions is set to a range of ±95%, for example, as a rate of deviation from the time distribution in which the area of the target site changes for each frame.

図２に示す信頼算定ブロック２０は、データセット２２～２６のうちメモリ５における全記憶セットの算定処理を実行することで、信頼度Ｒを確定する。その際、標準値に乗算する算定係数は、メモリ５における記憶セットの全算定条件同士で同一値、又は記憶セットの各算定条件毎に重みを付けて相異なる値に、設定される。記憶セットの各々に設定された算定係数が標準値に乗算されることで、信頼度Ｒが確定される。 Confidence calculation block 20 shown in FIG. 2 establishes confidence R by performing a calculation process for all stored sets in memory 5 among data sets 22-26. At that time, the calculation coefficient to be multiplied by the standard value is set to the same value for all the calculation conditions of the memory set in the memory 5, or to different values weighted for each calculation condition of the memory set. The reliability R is determined by multiplying the standard value by the calculation factor set in each of the storage sets.

尚、信頼度Ｒの確定に際しては、データセット２２～２６のうち全記憶セットの算定条件に関して、時系列な信頼算定タイミング間（即ち、フレーム間）でのばらつき具合が、考慮されてもよい。また信頼度Ｒは、定常指標及び断続指標それぞれの検出対象毎に異なる値に確定されてもよいし、そうした検出対象に拘わらず同一値に確定されてもよい。例えば、定常指標として開眼度が検出対象に含まれる場合には、データセット２３の算定条件及び算定処理での算出値は考慮されないことで、検出対象毎に異なる値に信頼度Ｒが確定されてもよい。 Incidentally, when determining the reliability R, regarding the calculation conditions for all of the data sets 22 to 26, variations between time-series reliability calculation timings (that is, between frames) may be taken into consideration. Further, the reliability R may be determined as a different value for each detection target of the steady index and the intermittent index, or may be determined as the same value regardless of such detection targets. For example, when the degree of eye opening is included in the detection target as a steady index, the calculation conditions of the data set 23 and the calculated values in the calculation process are not taken into consideration, so that the reliability R is determined as a different value for each detection target. good too.

定常検出ブロック３０は、監視対象者２の定常指標である視線及び開眼度のうち、少なくとも一方の有無を、検出対象とする。定常検出ブロック３０には、特徴抽出ブロック１０によりメモリ５に記憶の特徴データＤと、信頼算定ブロック２０によりメモリ５に記憶の信頼度Ｒとが、監視対象者２の眼球２ｂそれぞれに関して入力される。定常検出ブロック３０は、監視対象者２における左右の眼球２ｂのうち、入力された信頼度Ｒが高い側となる一方の眼球２ｂを、定常検出眼球２ｃとして選定する。 The constant detection block 30 detects the presence or absence of at least one of the line of sight and the degree of eye openness, which are constant indicators of the person to be monitored 2 . The steady detection block 30 receives the feature data D stored in the memory 5 by the feature extraction block 10 and the reliability R stored in the memory 5 by the reliability calculation block 20 for each of the eyeballs 2b of the monitored person 2. . The steady state detection block 30 selects one of the left and right eyeballs 2b of the person to be monitored 2, which has the higher input reliability R, as the steady state detection eyeball 2c.

定常検出ブロック３０による定常検出眼球２ｃの選定は、特徴抽出ブロック１０による特徴データＤの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック１０による特徴データＤの各回の生成タイミングと実質一致する。そこで定常検出ブロック３０は、定常指標の検出タイミング毎に信頼算定ブロック２０によって算定される信頼度Ｒに基づくことで、当該検出タイミング毎に定常検出眼球２ｃを選定することとなる。 Selection of the steady detection eyeball 2c by the steady detection block 30 is performed in time series at each generation timing of the feature data D by the feature extraction block 10. FIG. Here, the detection timing of each time of the stationary index that changes steadily substantially coincides with the generation timing of each time of the feature data D by the feature extraction block 10 . Therefore, the stationary detection block 30 selects the stationary detected eyeball 2c for each detection timing based on the reliability R calculated by the reliability calculation block 20 for each detection timing of the stationary index.

定常検出ブロック３０は、選定した定常検出眼球２ｃと関連付けてメモリ５に記憶の信頼度Ｒが、許容範囲内であるか否かを判定する。定常検出眼球２ｃに対する許容範囲は、定常指標の検出を許容する信頼度Ｒの下限値を閾値として、当該閾値以上の数値範囲に予め設定されてもよい。定常検出眼球２ｃに対する許容範囲は、定常指標の検出を禁止する信頼度Ｒの上限値を閾値として、当該閾値超過の数値範囲に予め設定されてもよい。 The constant detection block 30 determines whether or not the reliability R of storage in the memory 5 in association with the selected constant detection eyeball 2c is within the allowable range. The allowable range for the stationary detection eyeball 2c may be set in advance to a numerical range equal to or higher than the threshold, which is the lower limit value of the reliability R that allows detection of the stationary index. The allowable range for the steady detection eyeball 2c may be set in advance to a numerical range exceeding the threshold, with the upper limit of the reliability R for prohibiting the detection of the steady index as a threshold.

定常検出ブロック３０による信頼度Ｒの判定は、特徴抽出ブロック１０による特徴データＤの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック１０による特徴データＤの各回の生成タイミングと実質一致する。そこで定常検出ブロック３０は、定常指標の検出タイミング毎に信頼算定ブロック２０によって算定される定常検出眼球２ｃの信頼度Ｒを、当該検出タイミング毎に判定することとなる。 Determination of the reliability R by the stationary detection block 30 is performed in time series at each generation timing of the feature data D by the feature extraction block 10 . Here, the detection timing of each time of the stationary index that changes steadily substantially coincides with the generation timing of each time of the feature data D by the feature extraction block 10 . Therefore, the steady detection block 30 determines the reliability R of the steady detected eyeball 2c calculated by the reliability calculation block 20 at each detection timing of the steady index at each detection timing.

信頼度Ｒが許容範囲外の場合に定常検出ブロック３０は、選定した定常検出眼球２ｃに対する定常指標の検出処理を、中止する。一方、信頼度Ｒが許容範囲内の場合に定常検出ブロック３０は、選定した定常検出眼球２ｃを確定する。定常検出ブロック３０は、確定した定常検出眼球２ｃと関連付けてメモリ５に記憶の特徴データＤに基づき、同眼球２ｃに対する定常指標を検出する。 When the reliability R is out of the allowable range, the steady state detection block 30 stops the steady index detection processing for the selected steady state detection eyeball 2c. On the other hand, when the reliability R is within the allowable range, the stationary detection block 30 determines the selected stationary eyeball 2c. The steady state detection block 30 detects a steady state index for the determined steady state detected eyeball 2c based on the feature data D stored in the memory 5 in association with the fixed eyeball 2c.

定常検出ブロック３０による定常指標の検出は、特徴抽出ブロック１０による特徴データＤの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック１０による特徴データＤの各回の生成タイミングと実質一致する。そこで定常検出ブロック３０は、検出タイミング毎に同じ又は異なる眼球２ｂに選定される定常検出眼球２ｃに対しての定常指標を、当該検出タイミング毎に検出することとなる。但し、検出タイミング間にて定常検出眼球２ｃが入れ替わる場合等には、例えば左右における開眼度の違いや利き眼の違い等による定常指標の急変を抑制するために、定常指標の補正処理が実行されてもよい。 Detection of the stationary index by the stationary detection block 30 is performed in time series at each generation timing of the feature data D by the feature extraction block 10 . Here, the detection timing of each time of the stationary index that changes steadily substantially coincides with the generation timing of each time of the feature data D by the feature extraction block 10 . Therefore, the steady detection block 30 detects a steady index for the steady detected eyeball 2c selected for the same or different eyeball 2b at each detection timing. However, when the steady detected eyeball 2c is switched between detection timings, for example, a correction process of the steady index is executed in order to suppress a sudden change in the steady index due to the difference in the degree of eye opening between the left and right eyes or the difference in the dominant eye. may

断続検出ブロック４０は、監視対象者２の断続指標である眼球断続運動及び瞬目のうち、少なくとも一方の有無を、検出対象とする。断続検出ブロック４０には、特徴抽出ブロック１０によりメモリ５に記憶の特徴データＤの中で、検出対象の断続指標に関連するデータが、監視対象者２の眼球２ｂそれぞれに関して入力される。 The intermittent detection block 40 detects the presence or absence of at least one of intermittent eye movement and blinking, which are intermittent indicators of the person to be monitored 2 . The discontinuity detection block 40 receives, among the feature data D stored in the memory 5 by the feature extraction block 10, data related to the discontinuity index to be detected for each of the eyeballs 2b of the person 2 to be monitored.

断続検出ブロック４０は、入力された特徴データＤに基づき、断続指標の変化状況を判定する。断続検出ブロック４０による変化状況の判定は、特徴抽出ブロック１０による特徴データＤの生成タイミング毎に時系列にて実行される。変化状況判定の結果、断続指標の変化がない場合に断続検出ブロック４０は、断続指標の検出処理を中止する。一方、断続指標の変化が開始されて終了するまでの間となる場合に断続検出ブロック４０は、断続指標の検出処理を実行する。 The intermittence detection block 40 determines the state of change of the intermittence index based on the input feature data D. FIG. The intermittent detection block 40 determines the change state in time series at each generation timing of the feature data D by the feature extraction block 10 . As a result of the change status determination, if there is no change in the intermittence indicator, the intermittence detection block 40 stops the detection process of the intermittence indicator. On the other hand, when the change of the intermittence index is between the start and the end, the intermittence detection block 40 executes the detection processing of the intermittence index.

断続検出ブロック４０には、信頼算定ブロック２０によりメモリ５に記憶の信頼度Ｒが、監視対象者２の眼球２ｂそれぞれに関して入力される。断続検出ブロック４０は、監視対象者２における左右の眼球２ｂのうち、入力された信頼度Ｒが高い側となる一方の眼球２ｂを、断続検出眼球２ｄとして選定する。 The reliability R stored in the memory 5 by the reliability calculation block 20 is input to the discontinuity detection block 40 for each eye 2b of the monitored person 2 . The discontinuity detection block 40 selects one of the left and right eyeballs 2b of the person to be monitored 2 that has the higher input reliability R as the discontinuity detection eyeball 2d.

断続検出ブロック４０による断続検出眼球２ｄの選定は、断続指標の変化開始タイミングに限って実行される。ここで、断続変化の開始から終了までの間における断続指標の各回の検出タイミングのうち、最初の検出タイミングが、断続指標の変化開始タイミングと実質一致する。そこで断続検出ブロック４０は、断続指標の変化開始タイミングにて信頼算定ブロック２０により算定される信頼度Ｒに基づくことで、断続検出眼球２ｄを選定することとなる。 The discontinuity detection block 40 selects the discontinuity detection eyeball 2d only at the timing when the discontinuity index starts to change. Here, among the detection timings of the intermittent index from the start to the end of the intermittent change, the first detection timing substantially coincides with the change start timing of the intermittent index. Therefore, the discontinuity detection block 40 selects the discontinuity detection eyeball 2d based on the reliability R calculated by the reliability calculation block 20 at the change start timing of the discontinuity index.

断続検出ブロック４０は、選定した断続検出眼球２ｄと関連付けてメモリ５に記憶の信頼度Ｒが、許容範囲内であるか否かを判定する。断続検出眼球２ｄに対する許容範囲は、断続指標の検出を許容する信頼度Ｒの下限値を閾値として、当該閾値以上の数値範囲に予め設定されてもよい。断続検出眼球２ｄに対する許容範囲は、断続指標の検出を禁止する信頼度Ｒの上限値を閾値として、当該閾値超過の数値範囲に予め設定されてもよい。これらいずれの場合であっても、断続検出眼球２ｄに対する許容範囲は、上述した定常検出眼球２ｃに対する許容範囲と同一の範囲であってもよいし、異なる範囲であってもよい。 The discontinuity detection block 40 determines whether or not the reliability R stored in the memory 5 in association with the selected discontinuity detection eyeball 2d is within the allowable range. The permissible range for the intermittent detection eyeball 2d may be set in advance to a numerical range equal to or greater than the threshold, which is the lower limit value of the reliability R that permits detection of the intermittent indicator. The allowable range for the intermittent detection eyeball 2d may be set in advance to a numerical range exceeding the threshold, with the upper limit value of the reliability R for prohibiting the detection of the intermittent indicator as a threshold. In any of these cases, the allowable range for the intermittent detection eyeball 2d may be the same as or different from the above-described allowable range for the steady detection eyeball 2c.

断続検出ブロック４０による信頼度Ｒの判定は、特徴抽出ブロック１０による特徴データＤの生成タイミング毎に時系列にて実行される。ここで、断続変化する断続指標の各回の検出タイミングは、断続変化の開始から終了までの間では、特徴抽出ブロック１０による特徴データＤの各回の生成タイミングと実質一致する。そこで断続検出ブロック４０は、断続指標の検出タイミング毎に信頼算定ブロック２０によって算定される定常検出眼球２ｃの信頼度Ｒを、当該検出タイミング毎に判定することとなる。 Determination of the reliability R by the discontinuity detection block 40 is performed in time series at each generation timing of the feature data D by the feature extraction block 10 . Here, the timing of each detection of the intermittently changing intermittent index substantially matches the timing of each generation of the feature data D by the feature extraction block 10 from the start to the end of the intermittent change. Therefore, the discontinuity detection block 40 determines the reliability R of the steady detected eyeball 2c calculated by the reliability calculation block 20 for each detection timing of the discontinuity indicator.

信頼度Ｒが許容範囲外である場合に断続検出ブロック４０は、選定した断続検出眼球２ｄに対する断続指標の検出処理を、中止する。一方、信頼度Ｒが許容範囲内である場合に断続検出ブロック４０は、選定した断続検出眼球２ｄを確定する。断続検出ブロック４０は、確定した断続検出眼球２ｄと関連付けてメモリ５に記憶の特徴データＤに基づき、同眼球２ｄに対する断続指標を検出する。 If the reliability R is out of the allowable range, the discontinuity detection block 40 stops the discontinuity indicator detection processing for the selected discontinuity detection eyeball 2d. On the other hand, if the reliability R is within the allowable range, the discontinuity detection block 40 determines the selected discontinuity detection eyeball 2d. The discontinuity detection block 40 detects the discontinuity index for the determined discontinuity detection eyeball 2d based on the feature data D stored in the memory 5 in association with the determined discontinuity detection eyeball 2d.

断続検出ブロック４０による断続指標の検出は、特徴抽出ブロック１０による特徴データＤの生成タイミング毎に時系列にて実行される。ここで、断続変化する断続指標の各回の検出タイミングは、断続変化の開始から終了までの間では、特徴抽出ブロック１０による特徴データＤの各回の生成タイミングと実質一致する。一方、上述した断続検出眼球２ｄの選定は、断続指標の変化開始に一回実行されると、その後の変化終了までは実行されない。これらにより断続検出ブロック４０は、変化開始タイミングから変化終了タイミングまでの間は同じ側の眼球２ｂに維持される断続検出眼球２ｄに対しての断続指標を、それら変化開始タイミング及び変化終了タイミング間での検出タイミング毎に、検出することとなる。 The detection of the discontinuity index by the discontinuity detection block 40 is performed in chronological order at each generation timing of the feature data D by the feature extraction block 10 . Here, the timing of each detection of the intermittently changing intermittent index substantially matches the timing of each generation of the feature data D by the feature extraction block 10 from the start to the end of the intermittent change. On the other hand, once the selection of the intermittent detection eyeball 2d described above is executed once when the intermittent index starts to change, it is not executed until the end of the change after that. As a result, the discontinuity detection block 40 detects the discontinuity index for the discontinuity detection eyeball 2d that is maintained in the eyeball 2b on the same side from the change start timing to the change end timing, between the change start timing and the change end timing. is detected at each detection timing of .

ここまで説明したブロック１０，２０，３０，４０の共同により、電子制御ユニット４が監視対象者２の眼球指標を検出する眼球指標検出方法のフローを、以下に説明する。眼球指標検出方法のフローは、図４に示す共通フローと、図５に示す定常判定フローと、図６に示す断続判定フローとから、構成される。尚、後述する各フローにおいて「Ｓ」とは、眼球指標検出プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。 The flow of the eyeball index detection method in which the electronic control unit 4 detects the eyeball index of the monitored subject 2 in cooperation with the blocks 10, 20, 30, and 40 described so far will be described below. The flow of the eye index detection method is composed of a common flow shown in FIG. 4, a steady determination flow shown in FIG. 5, and an intermittent determination flow shown in FIG. In each flow described later, "S" means multiple steps of the flow executed by multiple instructions included in the eye index detection program.

図４に示す共通フローは、情報取得ユニット３による顔情報の取得フレーム毎に、実行される。共通フローのＳ１０１では、情報取得ユニット３により取得された顔情報に基づくことで、監視対象者２における顔２ａの特徴点を、特徴抽出ブロック１０により抽出する。Ｓ１０１ではさらに、抽出された特徴点を表す特徴データＤを、特徴抽出ブロック１０により生成してメモリ５に記憶する。 The common flow shown in FIG. 4 is executed for each frame of face information acquired by the information acquisition unit 3 . In S<b>101 of the common flow, the feature extraction block 10 extracts the feature points of the face 2 a of the person to be monitored 2 based on the face information acquired by the information acquisition unit 3 . Further, in S101, feature data D representing the extracted feature points is generated by the feature extraction block 10 and stored in the memory 5. FIG.

共通フローのＳ１０２では、Ｓ１０１にて記憶された最新の特徴データＤに基づくことで、監視対象者２における左右の眼球２ｂそれぞれに対する信頼度Ｒを、信頼算定ブロック２０により算定する。Ｓ１０２ではさらに、各眼球２ｂに対して算定された信頼度Ｒを、それぞれ対応する特徴データＤ及び時間データと関連付けて、信頼算定ブロック２０によりメモリ５に記憶する。その結果、共通フローの今回の実行が終了する。 In S102 of the common flow, the reliability calculation block 20 calculates the reliability R for each of the left and right eyeballs 2b of the monitored subject 2 based on the latest feature data D stored in S101. Further, in S102, the reliability R calculated for each eyeball 2b is stored in the memory 5 by the reliability calculation block 20 in association with the corresponding feature data D and time data. As a result, the current execution of the common flow ends.

眼球指標検出方法のフローのうち、図５に示す定常判定フローは、情報取得ユニット３による顔情報の取得フレーム毎に、実行される。定常判定フローのＳ２０１では、各眼球２ｂに対して定常指標の検出タイミング毎に算定される信頼度Ｒとして、メモリ５に記憶の最新の信頼度Ｒを、監視対象者２の眼球２ｂそれぞれに関して定常検出ブロック３０により読み出す。 Among the flows of the eye index detection method, the regular determination flow shown in FIG. 5 is executed for each frame of face information acquired by the information acquisition unit 3 . In S201 of the steady determination flow, the latest reliability R stored in the memory 5 is used as the reliability R calculated for each detection timing of the steady index for each eyeball 2b. Read out by the detection block 30 .

定常判定フローにおいて続くＳ２０２では、Ｓ２０１にて読み出された信頼度Ｒが高い側の眼球２ｂを、定常検出眼球２ｃとして定常検出ブロック３０により選定する。Ｓ２０２ではさらに、選定した定常検出眼球２ｃが左右いずれの眼球２ｂであるかを、定常検出ブロック３０によりメモリ５に記憶する。 In S202, which follows the steady determination flow, the steady detection block 30 selects the eyeball 2b with the higher reliability R read out in S201 as the steady detection eyeball 2c. Further, in S202, the stationary detection block 30 stores in the memory 5 which eyeball 2b is the left or right eyeball 2c that has been selected as the stationary detection eyeball 2c.

定常判定フローにおいて続くＳ２０３では、メモリ５に記憶の最新の定常検出眼球２ｃが左側の眼球２ｂであるか否かを、定常検出ブロック３０により判定する。その結果、肯定判定が下された場合、即ち定常指標の検出タイミングにて選定された定常検出眼球２ｃが左側の眼球２ｂである場合に定常判定フローでは、Ｓ２０４へ移行する。 In S203, which follows the steady-state determination flow, the steady-state detection block 30 determines whether or not the latest steady-state detected eyeball 2c stored in the memory 5 is the left eyeball 2b. As a result, when affirmative determination is made, that is, when the steady detection eyeball 2c selected at the detection timing of the steady index is the left eyeball 2b, the steady determination flow proceeds to S204.

Ｓ２０４では、メモリ５に記憶の信頼度Ｒのうち、左側眼球２ｂに関する最新の信頼度Ｒを、定常検出ブロック３０により読み出す。Ｓ２０４ではさらに、読み出した左側眼球２ｂの信頼度Ｒが許容範囲内であるか否かを、定常検出ブロック３０により判定する。その結果、肯定判定が下された場合に断続判定フローでは、Ｓ２０５，Ｓ２０６へ順次移行する。 In S204, the steady detection block 30 reads out the latest reliability R regarding the left eyeball 2b among the reliability R stored in the memory 5. FIG. Further, in S204, the stationary detection block 30 determines whether or not the read reliability R of the left eyeball 2b is within the allowable range. As a result, when an affirmative determination is made, the intermittent determination flow proceeds to S205 and S206 sequentially.

Ｓ２０５では、定常検出ブロック３０により、定常検出眼球２ｃの選定を左側眼球２ｂに確定する。続くＳ２０６では、メモリ５に記憶の特徴データＤのうち、左側眼球２ｂに関する最新の特徴データＤを、定常検出ブロック３０により読み出す。Ｓ２０６ではさらに、読み出した特徴データＤに基づくことで、定常検出眼球２ｃとしての左側眼球２ｂの定常指標を、定常検出ブロック３０により検出する。その結果、定常判定フローの今回の実行が終了する。 In S205, the constant detection block 30 determines the selection of the left eyeball 2b as the constant detection eyeball 2c. In the following S206, among the feature data D stored in the memory 5, the regular detection block 30 reads out the latest feature data D regarding the left eyeball 2b. Further, in S206, based on the read feature data D, the steady detection block 30 detects the steady index of the left eyeball 2b as the steady detection eyeball 2c. As a result, the current execution of the steady determination flow ends.

以上、左側眼球２ｂの信頼度Ｒが右側眼球２ｂの信頼度Ｒよりも高い検出タイミングには、左側眼球２ｂが選定される。したがって、左側眼球２ｂの信頼度Ｒが許容範囲内に収まる間の定常指標は、図７に示すように信頼度Ｒの高低関係が前回の検出タイミングから入れ替わった場合には、当該前回とは異なる左側眼球２ｂに対して検出されるといえる。また一方、左側眼球２ｂの信頼度Ｒが許容範囲内に収まる間の定常指標は、図７に示すように信頼度Ｒの高低関係が前回の検出タイミングから入れ替わっていない場合には、当該前回と同じ左側眼球２ｂに対して検出されるといえる。尚、図７では、定常検出眼球２ｃに対して信頼度Ｒの許容範囲を決める上述の下限値又は上限値が閾値Ｒｔｈと表されることで、各検出タイミングにて当該信頼度Ｒが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, the left eyeball 2b is selected at the detection timing when the reliability R of the left eyeball 2b is higher than the reliability R of the right eyeball 2b. Therefore, the stationary index while the reliability R of the left eyeball 2b is within the allowable range is different from the previous detection timing when the level relationship of the reliability R is switched from the previous detection timing as shown in FIG. It can be said that the left eyeball 2b is detected. On the other hand, the steady-state index while the reliability R of the left eyeball 2b is within the allowable range is, as shown in FIG. It can be said that the same left eyeball 2b is detected. In FIG. 7, the above-described lower limit value or upper limit value that determines the allowable range of the reliability R for the steady detection eyeball 2c is represented as the threshold value Rth, so that the reliability R is within the allowable range at each detection timing. It is possible to easily understand whether it is inside or outside.

図５に示すようにＳ２０３にて否定判定が下された場合、即ち定常指標の検出タイミングにて選定された定常検出眼球２ｃが右側の眼球２ｂである場合に定常判定フローでは、Ｓ２０７へ移行する。 As shown in FIG. 5, when a negative determination is made in S203, that is, when the stationary detection eyeball 2c selected at the detection timing of the stationary index is the right eyeball 2b, the stationary determination flow proceeds to S207. .

Ｓ２０７では、メモリ５に記憶の信頼度Ｒのうち、右側眼球２ｂに関する最新の信頼度Ｒを、定常検出ブロック３０により読み出す。Ｓ２０７ではさらに、読み出した右側眼球２ｂの信頼度Ｒが許容範囲内であるか否かを、定常検出ブロック３０により判定する。その結果、肯定判定が下された場合に断続判定フローでは、Ｓ２０８，Ｓ２０９へ順次移行する。 In S207, the steady detection block 30 reads out the latest reliability R regarding the right eyeball 2b among the reliability R stored in the memory 5. FIG. Further, in S207, the stationary detection block 30 determines whether or not the read reliability R of the right eyeball 2b is within the allowable range. As a result, when an affirmative determination is made, the intermittent determination flow proceeds to S208 and S209 sequentially.

Ｓ２０８では、定常検出ブロック３０により、定常検出眼球２ｃの選定を右側眼球２ｂに確定する。続くＳ２０９では、メモリ５に記憶の特徴データＤのうち、右側眼球２ｂに関する最新の特徴データＤを、定常検出ブロック３０により読み出す。Ｓ２０９ではさらに、読み出した特徴データＤに基づくことで、定常検出眼球２ｃとしての右側眼球２ｂの定常指標を、定常検出ブロック３０により検出する。その結果、定常判定フローの今回の実行が終了する。 In S208, the constant detection block 30 determines the selection of the right eyeball 2b as the constant detection eyeball 2c. In the following S209, among the feature data D stored in the memory 5, the regular detection block 30 reads out the latest feature data D regarding the right eyeball 2b. Further, in S209, based on the read feature data D, the steady detection block 30 detects the steady index of the right eyeball 2b as the steady detection eyeball 2c. As a result, the current execution of the steady determination flow ends.

以上、右側眼球２ｂの信頼度Ｒが左側眼球２ｂの信頼度Ｒよりも高い検出タイミングには、右側眼球２ｂが選定される。したがって、右側眼球２ｂの信頼度Ｒが許容範囲内に収まる間の定常指標は、図８に示すように信頼度Ｒの高低関係が前回の検出タイミングから入れ替わった場合には、当該前回とは異なる右側眼球２ｂに対して検出されるといえる。また一方、右側眼球２ｂの信頼度Ｒが許容範囲内に収まる間の定常指標は、図８に示すように信頼度Ｒの高低関係が前回の検出タイミングから入れ替わっていない場合には、当該前回と同じ右側眼球２ｂに対して検出されるといえる。尚、図８でも、定常検出眼球２ｃに対して信頼度Ｒの許容範囲を決める上述の下限値又は上限値が閾値Ｒｔｈと表されることで、各検出タイミングにて当該信頼度Ｒが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, the right eyeball 2b is selected at the detection timing when the reliability R of the right eyeball 2b is higher than the reliability R of the left eyeball 2b. Therefore, the steady-state index while the reliability R of the right eyeball 2b is within the allowable range is different from the previous detection timing when the level relationship of the reliability R changes from the previous detection timing as shown in FIG. It can be said that the right eyeball 2b is detected. On the other hand, the steady index while the reliability R of the right eyeball 2b is within the allowable range is, as shown in FIG. It can be said that it is detected for the same right eyeball 2b. In FIG. 8 as well, the aforementioned lower limit value or upper limit value that determines the allowable range of the reliability R for the stationary detected eyeball 2c is represented as the threshold value Rth, so that the reliability R is within the allowable range at each detection timing. It is possible to easily understand whether it is inside or outside.

図５に示すようにＳ２０４又はＳ２０７にて否定判定が下された場合、即ち定常検出眼球２ｃに選定された左側眼球２ｂ又は右側眼球２ｂに関する最新の信頼度Ｒが許容範囲外の場合、断続判定フローではＳ２１０へ移行する。Ｓ２１０では、定常検出ブロック３０による断続指標の検出処理を中止する。その結果、定常判定フローの今回の実行が終了する。ここまでの説明から定常指標の検出では、信頼度Ｒが低い方に引っ張られることによる検出精度の低下を抑制しつつ、プロセッサ６による処理速度の高速化及び処理負荷の低減を図ることが、可能となっている。 If a negative determination is made in S204 or S207 as shown in FIG. 5, that is, if the latest reliability R regarding the left eyeball 2b or the right eyeball 2b selected as the steady detection eyeball 2c is outside the allowable range, intermittent determination The flow moves to S210. In S210, the intermittent index detection processing by the steady state detection block 30 is stopped. As a result, the current execution of the steady determination flow ends. From the explanation so far, it is possible to increase the processing speed and reduce the processing load of the processor 6 while suppressing the deterioration of the detection accuracy due to the lower reliability R in the detection of the steady index. It has become.

図６に示す断続判定フローは、情報取得ユニット３による顔情報の取得フレーム毎に、実行される。断続判定フローのＳ３００では、メモリ５に記憶の最新の特徴データＤを、断続検出ブロック４０により読み出す。Ｓ３００ではさらに、読み出した特徴データＤに基づくことで、断続指標の変化状況を断続検出ブロック４０により判定する。 The intermittent determination flow shown in FIG. 6 is executed for each frame of face information acquired by the information acquisition unit 3 . In S 300 of the intermittence determination flow, the latest feature data D stored in the memory 5 is read by the intermittence detection block 40 . Further, in S300, the intermittence detection block 40 determines the state of change of the intermittence index based on the read feature data D. FIG.

その結果、断続指標の変化はないとの判定が下された場合に断続判定フローでは、後述するＳ３１０にて断続指標の検出処理が中止されてから、断続判定フローの今回の実行が終了する。断続指標は変化開始のタイミングにあるとの判定が下された場合に断続判定フローでは、Ｓ３０１，Ｓ３０２へ順次移行する。断続指標は変化開始タイミング後の変化途中にあるとの判定が下された場合に断続判定フローでは、Ｓ３０１，Ｓ３０２をスキップしてＳ３０３へと移行する。 As a result, when it is determined that there is no change in the intermittence indicator, the current execution of the intermittence determination flow ends after the intermittence indicator detection process is stopped in S310, which will be described later. When it is determined that the intermittence indicator is at the timing of starting to change, the intermittence determination flow sequentially proceeds to S301 and S302. When it is determined that the intermittence index is in the middle of changing after the change start timing, the intermittence determination flow skips S301 and S302 and proceeds to S303.

Ｓ３０１では、各眼球２ｂに対して断続指標の変化開始タイミングに算定される信頼度Ｒとして、メモリ５に記憶の最新の信頼度Ｒを、監視対象者２の眼球２ｂそれぞれに関して断続検出ブロック４０により読み出す。続くＳ３０２では、Ｓ３０１にて読み出された信頼度Ｒが高い側の眼球２ｂを、断続検出眼球２ｄとして断続検出ブロック４０により選定する。Ｓ３０２ではさらに、選定した断続検出眼球２ｄが左右いずれの眼球２ｂであるかを、断続検出ブロック４０によりメモリ５に記憶する。 In S301, the latest reliability R stored in the memory 5 is obtained by the intermittence detection block 40 for each eyeball 2b of the monitored subject 2 as the reliability R calculated at the start timing of the change of the intermittent index for each eyeball 2b. read out. In subsequent S302, the intermittent detection block 40 selects the eyeball 2b with the higher reliability R read out in S301 as the intermittent detection eyeball 2d. Further, in S302, the discontinuity detection block 40 stores in the memory 5 whether the selected discontinuity detection eyeball 2d is the left or right eyeball 2b.

断続判定フローにおいてＳ３００又はＳ３０２に続くＳ３０３では、メモリ５に記憶の最新の断続検出眼球２ｄが左側の眼球２ｂであるか否かを、断続検出ブロック４０により判定する。その結果、肯定判定が下された場合、即ち断続指標の変化開始タイミングにて選定された断続検出眼球２ｄが左側の眼球２ｂである場合に断続判定フローでは、Ｓ３０４へ移行する。 In S303 following S300 or S302 in the discontinuity determination flow, the discontinuity detection block 40 determines whether or not the latest discontinuity detection eyeball 2d stored in the memory 5 is the left eyeball 2b. As a result, if an affirmative determination is made, that is, if the intermittent detection eyeball 2d selected at the change start timing of the intermittent index is the left eyeball 2b, the intermittent determination flow proceeds to S304.

Ｓ３０４では、メモリ５に記憶の信頼度Ｒのうち、左側眼球２ｂに関する最新の信頼度Ｒを、断続検出ブロック４０により読み出す。Ｓ３０４ではさらに、読み出した左側眼球２ｂの信頼度Ｒが許容範囲内であるか否かを、断続検出ブロック４０により判定する。その結果、肯定判定が下された場合に断続判定フローでは、Ｓ３０５，Ｓ３０６へ順次移行する。 In S304, the intermittent detection block 40 reads out the latest reliability R regarding the left eyeball 2b among the reliability R stored in the memory 5. FIG. In S304, the discontinuity detection block 40 further determines whether or not the read reliability R of the left eyeball 2b is within the allowable range. As a result, when an affirmative determination is made, the intermittent determination flow proceeds to S305 and S306 sequentially.

Ｓ３０５では、断続検出ブロック４０により、断続検出眼球２ｄの選定を左側眼球２ｂに確定する。続くＳ３０６では、メモリ５に記憶の特徴データＤのうち、左側眼球２ｂに関する最新の特徴データＤを、断続検出ブロック４０により読み出す。Ｓ３０６ではさらに、読み出した特徴データＤに基づくことで、断続検出眼球２ｄとしての左側眼球２ｂの断続指標を、断続検出ブロック４０により検出する。その結果、断続判定フローの今回の実行が終了する。 In S305, the discontinuity detection block 40 determines the selection of the left eyeball 2b as the discontinuity detection eyeball 2d. In the following S306, among the feature data D stored in the memory 5, the discontinuity detection block 40 reads out the latest feature data D regarding the left eyeball 2b. Further, in S306, based on the read feature data D, the discontinuity detection block 40 detects the discontinuity index of the left eyeball 2b as the discontinuity detection eyeball 2d. As a result, the current execution of the intermittence determination flow ends.

以上、左側眼球２ｂの信頼度Ｒが右側眼球２ｂの信頼度Ｒよりも高い断続指標の変化開始タイミングから、その後の変化終了タイミングまでの各検出タイミングには、左側眼球２ｂが継続して断続検出眼球２ｄに選定される。したがって、変化開始タイミングにて高い左側眼球２ｂの信頼度Ｒが断続変化の間は許容範囲内のまま推移する検出タイミングの断続指標は、図９に示すように信頼度Ｒの高低関係が入れ替わったとしても、同じ左側眼球２ｂに対して検出されるといえる。尚、図９では、断続検出眼球２ｄに対して信頼度Ｒの許容範囲を決める上述の下限値又は上限値が閾値Ｒｔｈと表されることで、各検出タイミングにて当該信頼度Ｒが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, the intermittent detection of the left eyeball 2b continues at each detection timing from the timing when the intermittent indicator starts changing when the reliability R of the left eyeball 2b is higher than the reliability R of the right eyeball 2b to the timing when the change ends thereafter. The eyeball 2d is selected. Therefore, the intermittent index of the detection timing, in which the reliability R of the left eyeball 2b, which is high at the change start timing, stays within the allowable range during the intermittent change, changes the high-low relationship of the reliability R as shown in FIG. , it can be said to be detected for the same left eyeball 2b. In FIG. 9, the above-described lower limit value or upper limit value that determines the allowable range of the reliability R for the intermittent detection eyeball 2d is represented as the threshold value Rth, so that the reliability R is within the allowable range at each detection timing. It is possible to easily understand whether it is inside or outside.

図６に示すようにＳ３０３にて否定判定が下された場合、即ち断続指標の変化開始タイミングに選定された断続検出眼球２ｄが右側の眼球２ｂである場合に断続判定フローでは、Ｓ３０７へ移行する。 As shown in FIG. 6, when a negative determination is made in S303, that is, when the intermittent detection eyeball 2d selected at the change start timing of the intermittent index is the right eyeball 2b, the intermittent determination flow proceeds to S307. .

Ｓ３０７では、メモリ５に記憶の信頼度Ｒのうち、右側眼球２ｂに関する最新の信頼度Ｒを、断続検出ブロック４０により読み出す。Ｓ３０７ではさらに、読み出した右側眼球２ｂの信頼度Ｒが許容範囲内であるか否かを、断続検出ブロック４０により判定する。その結果、肯定判定が下された場合に断続判定フローでは、Ｓ３０８，Ｓ３０９へ順次移行する。 In S307, the intermittent detection block 40 reads out the latest reliability R regarding the right eyeball 2b among the reliability R stored in the memory 5. FIG. In S307, the discontinuity detection block 40 further determines whether or not the read reliability R of the right eyeball 2b is within the allowable range. As a result, when an affirmative determination is made, the intermittent determination flow proceeds to S308 and S309 in sequence.

Ｓ３０８では、断続検出ブロック４０により、断続検出眼球２ｄの選定を右側眼球２ｂに確定する。続くＳ３０９では、メモリ５に記憶の特徴データＤのうち、右側眼球２ｂに関する最新の特徴データＤを、断続検出ブロック４０により読み出す。Ｓ３０９ではさらに、読み出した特徴データＤに基づくことで、断続検出眼球２ｄとしての右側眼球２ｂの断続指標を、断続検出ブロック４０により検出する。その結果、断続判定フローの今回の実行が終了する。 In S308, the discontinuity detection block 40 determines the selection of the right eyeball 2b as the discontinuity detection eyeball 2d. In the following S309, among the feature data D stored in the memory 5, the latest feature data D regarding the right eyeball 2b is read out by the discontinuity detection block 40. FIG. Further, in S309, based on the read feature data D, the discontinuity detection block 40 detects the discontinuity index of the right eyeball 2b as the discontinuity detection eyeball 2d. As a result, the current execution of the intermittence determination flow ends.

以上、右側眼球２ｂの信頼度Ｒが左側眼球２ｂの信頼度Ｒよりも高い断続指標の変化開始タイミングから、その後の変化終了タイミングまでの各検出タイミングには、右側眼球２ｂが継続して断続検出眼球２ｄに選定される。したがって、変化開始タイミングにて高い右側眼球２ｂの信頼度Ｒが断続変化の間は許容範囲内のまま推移する検出タイミングの断続指標は、図１０に示すように信頼度Ｒの高低関係が入れ替わったとしても、同じ右側眼球２ｂに対して検出されるといえる。尚、図１０でも、断続検出眼球２ｄに対して信頼度Ｒの許容範囲を決める上述の下限値又は上限値が、閾値Ｒｔｈと表されることで、各検出タイミングにて当該信頼度Ｒが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, the right eyeball 2b is continuously intermittently detected at each detection timing from the change start timing of the intermittent index where the reliability R of the right eyeball 2b is higher than the reliability R of the left eyeball 2b to the subsequent change end timing. The eyeball 2d is selected. Therefore, the intermittent index of the detection timing, in which the reliability R of the right eyeball 2b, which is high at the change start timing, remains within the allowable range during the intermittent change, changes the relationship between high and low reliability R as shown in FIG. , it can be said to be detected for the same right eyeball 2b. Note that in FIG. 10 as well, the above-described lower limit value or upper limit value that determines the allowable range of the reliability R for the intermittent detection eyeball 2d is expressed as the threshold value Rth, so that the reliability R is allowed at each detection timing. It is possible to easily understand whether it is inside or outside the range.

図６に示すようにＳ３０４又はＳ３０７にて否定判定が下された場合、即ち断続検出眼球２ｄに選定された左側眼球２ｂ又は右側眼球２ｂに関する最新の信頼度Ｒが許容範囲外の場合、断続判定フローではＳ３１０へ移行する。Ｓ３１０では、断続検出ブロック４０による断続指標の検出処理を中止する。その結果、断続判定フローの今回の実行が終了する。ここまでの説明から断続指標の検出では、チャタリングによる検出精度の低下を抑制しつつ、プロセッサ６による処理速度の高速化及び処理負荷の低減を図ることが、可能となっている。 If a negative determination is made in S304 or S307 as shown in FIG. 6, that is, if the latest reliability R regarding the left eyeball 2b or the right eyeball 2b selected as the intermittent detection eyeball 2d is outside the allowable range, the intermittent determination The flow moves to S310. In S310, the intermittent indicator detection process by the intermittent detection block 40 is stopped. As a result, the current execution of the intermittence determination flow ends. From the description so far, it is possible to increase the processing speed and reduce the processing load of the processor 6 while suppressing deterioration in detection accuracy due to chattering in the intermittent index detection.

（作用効果）
以上説明した第一実施形態の作用効果を、以下に説明する。 (Effect)
The effects of the first embodiment described above will be described below.

第一実施形態によると、監視対象者２における左右の眼球２ｂそれぞれに対して、定常指標及び断続指標を検出する上での信頼度Ｒは、時系列に算定される。そこで定常指標の検出タイミング毎に、信頼度Ｒの高い側の眼球２ｂが定常検出眼球２ｃに選定されることによれば、定常指標の定常変化毎に合わせた定常検出眼球２ｃの特徴データＤに基づき、正確に定常指標が検出され得る。また一方、断続指標の変化開始タイミングにて信頼度Ｒの高い側の眼球２ｂが、断続指標の変化終了タイミングまで断続検出眼球２ｄに選定されることによれば、断続指標が断続変化する間は同じ断続検出眼球２ｄの特徴データＤに基づき、正確に断続指標が検出され得る。これらのことから第一実施形態では、眼球指標として定常指標及び断続指標の双方の検出精度を向上させることが、可能となる。 According to the first embodiment, for each of the left and right eyeballs 2b of the monitoring subject 2, the reliability R in detecting the steady index and the intermittent index is calculated in chronological order. Therefore, if the eyeball 2b on the side with the higher reliability R is selected as the steady detection eyeball 2c at each detection timing of the steady index, the characteristic data D of the steady detection eyeball 2c that matches each steady change in the steady index can be obtained. Based on this, the stationary index can be detected accurately. On the other hand, according to the fact that the eyeball 2b with the higher reliability R at the start timing of the change of the intermittent index is selected as the intermittent detection eyeball 2d until the end timing of the change of the intermittent index, during the intermittent change of the intermittent index Based on the feature data D of the same discontinuity detection eyeball 2d, the discontinuity index can be accurately detected. For these reasons, in the first embodiment, it is possible to improve the detection accuracy of both the steady index and the intermittent index as the eyeball index.

第一実施形態によると、定常検出眼球２ｃの信頼度Ｒが許容範囲外となる場合には、定常指標の検出が中止される。これによれば、定常検出眼球２ｃの信頼度Ｒが逆側の信頼度Ｒより高くても許容範囲内には確保されていないが故に定常指標の検出精度が低下するのを、抑制することが可能となる。 According to the first embodiment, when the reliability R of the steady detected eyeball 2c is outside the allowable range, detection of the steady index is stopped. According to this, even if the reliability R of the steady detection eyeball 2c is higher than the reliability R of the opposite side, it is not ensured within the allowable range, and therefore the detection accuracy of the steady index is prevented from decreasing. It becomes possible.

第一実施形態によると、断続検出眼球２ｄの信頼度Ｒが許容範囲外となる場合には、断続指標の検出が中止される。これによれば、断続検出眼球２ｄの信頼度Ｒが逆側の信頼度Ｒより高くても許容範囲内には確保されていないが故に断続指標の検出精度が低下するのを、抑制することが可能となる。 According to the first embodiment, the detection of the discontinuity index is stopped when the reliability R of the discontinuity detecting eyeball 2d is out of the allowable range. According to this, even if the reliability R of the intermittent detection eyeball 2d is higher than the reliability R of the opposite side, it is not ensured within the allowable range, so that the accuracy of detection of the intermittent indicator can be suppressed. It becomes possible.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者２における顔２ａの向きに応じて、信頼度Ｒが増減させられる。これによれば、信頼度Ｒに合わせた定常検出眼球２ｃ及び断続検出眼球２ｄの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the orientation of the face 2a of the person being monitored 2, among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者２における開眼度に応じて、信頼度Ｒが増減させられる。これによれば、信頼度Ｒに合わせた定常検出眼球２ｃ及び断続検出眼球２ｄの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the degree of eye opening of the monitored person 2, among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者２における顔２ａのうち複数部位の位置関係に応じて、信頼度Ｒが増減させられる。これによれば、信頼度Ｒに合わせた定常検出眼球２ｃ及び断続検出眼球２ｄの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the positional relationship of multiple parts of the face 2a of the person to be monitored 2, among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者２における顔２ａのうち所定部位の位置に応じて、信頼度Ｒが増減させられる。これによれば、信頼度Ｒに合わせた定常検出眼球２ｃ及び断続検出眼球２ｄの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the position of a predetermined portion of the face 2a of the person to be monitored 2, especially among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者２における顔２ａのうち所定部位の面積に応じて、信頼度Ｒが増減させられる。これによれば、信頼度Ｒに合わせた定常検出眼球２ｃ及び断続検出眼球２ｄの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the area of a predetermined portion of the face 2a of the person to be monitored 2, among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、監視対象者２における視線及び開眼度のうち少なくとも一方である定常指標は、信頼度Ｒの高い眼球２ｂに選定された定常検出眼球２ｃの特徴データＤに基づき、正確に検出され得る。故に、これら視線及び開眼度のうち少なくとも一方の検出精度を向上させることが、可能となる。 According to the first embodiment, the stationary index, which is at least one of the line of sight and the degree of eye opening of the monitored subject 2, is accurately determined based on the characteristic data D of the stationary detected eyeball 2c selected as the eyeball 2b with high reliability R. can be detected. Therefore, it is possible to improve the detection accuracy of at least one of the line of sight and the degree of eye opening.

第一実施形態によると、監視対象者２における眼球断続運動及び瞬目運動の有無のうち少なくとも一方である断続指標は、信頼度Ｒの高い眼球２ｂに選定された断続検出眼球２ｄの特徴データＤに基づき、正確に検出され得る。故に、これら眼球断続運動及び瞬目運動の有無のうち少なくとも一方の検出精度を向上させることが、可能となる。 According to the first embodiment, the intermittent indicator, which is at least one of the intermittent eyeball movement and the presence or absence of the blinking movement of the monitoring subject 2, is the feature data D of the intermittent detection eyeball 2d selected as the eyeball 2b with the high reliability R. can be accurately detected based on Therefore, it is possible to improve the detection accuracy of at least one of the intermittent eye movement and the presence or absence of the blink movement.

（第二実施形態）
図１１に示すように第二実施形態は、第一実施形態の変形例である。 (Second embodiment)
As shown in FIG. 11, the second embodiment is a modification of the first embodiment.

第二実施形態の断続検出ブロック２０４０は、信頼算定ブロック２０により算定される断続検出眼球２ｄの信頼度Ｒが許容範囲内から許容範囲外へ切り替わったか否かを、判定する。断続検出ブロック２０４０による切り替わりの判定は、断続指標の変化開始タイミング後から変化終了タイミングまでの間の検出タイミング毎に、実行される。 The discontinuity detection block 2040 of the second embodiment determines whether or not the reliability R of the discontinuity detection eyeball 2d calculated by the reliability calculation block 20 has switched from within the allowable range to outside the allowable range. The determination of switching by the intermittence detection block 2040 is executed at each detection timing from after the change start timing of the intermittence index to the change end timing.

断続検出眼球２ｄの信頼度Ｒが許容範囲内から許容範囲外へ切り替わった場合に断続検出ブロック２０４０は、変化開始タイミングにおける断続検出眼球２ｄとは逆側の眼球２ｂとなる逆側眼球２ｅを、正しい断続検出眼球２ｄとして更新する。そこで、この場合に断続検出ブロック２０４０は、断続検出眼球２ｄに更新した逆側眼球２ｅと関連付けてメモリ５に記憶の信頼度Ｒが、許容範囲内であるか否かを判定する。 When the reliability R of the intermittent detection eyeball 2d switches from within the allowable range to outside the allowable range, the intermittent detection block 2040 selects the opposite eyeball 2e, which is the eyeball 2b opposite to the intermittent detection eyeball 2d at the change start timing, It is updated as the correct intermittent detection eyeball 2d. Therefore, in this case, the discontinuity detection block 2040 determines whether or not the reliability R of storage in the memory 5 in association with the updated opposite eyeball 2e to the discontinuity detection eyeball 2d is within the allowable range.

逆側眼球２ｅの信頼度Ｒが許容範囲外である場合に断続検出ブロック２０４０は、変化開始タイミングでの断続検出眼球２ｄに対する断続指標の検出だけでなく、逆側眼球２ｅに対する断続指標の検出も、中止する。一方、逆側眼球２ｅの信頼度Ｒが許容範囲内である場合に断続検出ブロック４０は、逆側眼球２ｅへの断続検出眼球２ｄの更新を確定する。このとき逆側眼球２ｅの信頼度Ｒは、更新前における断続検出眼球２ｄの信頼度Ｒよりも高くなっている。即ち、このとき信頼度Ｒの高低関係は、入れ替わった状態となっている。そこで断続検出ブロック２０４０は、断続検出眼球２ｄに更新した逆側眼球２ｅに対して、検出タイミング毎における断続指標の検出を、変化開始タイミングまで遡って再実行する。 When the reliability R of the opposite eyeball 2e is out of the allowable range, the discontinuity detection block 2040 not only detects the discontinuity index for the discontinuity detecting eyeball 2d at the change start timing, but also detects the discontinuity index for the opposite eyeball 2e. ,Cancel. On the other hand, when the reliability R of the opposite eyeball 2e is within the allowable range, the discontinuity detection block 40 confirms the update of the discontinuity detection eyeball 2d to the opposite eyeball 2e. At this time, the reliability R of the opposite eyeball 2e is higher than the reliability R of the intermittent detection eyeball 2d before updating. That is, at this time, the level relationship of the reliability R is changed. Therefore, the discontinuity detection block 2040 re-executes the detection of the discontinuity index at each detection timing retroactively to the change start timing for the opposite eyeball 2e updated to the discontinuity detection eyeball 2d.

断続検出ブロック２０４０による断続指標の再検出は、変化開始タイミングから更新タイミング前までの間にてメモリ５に蓄積された特徴データＤのうち、逆側眼球２ｅに関して検出タイミング毎に記憶の過去データに、基づく。これに対して、更新タイミングから変化終了タイミングまでの検出タイミング毎に断続検出ブロック２０４０は、逆側眼球２ｅに対する断続指標の検出を、第一実施形態に準じて実行する。 Re-detection of the discontinuity index by the discontinuity detection block 2040 is performed by storing the past data of the opposite eyeball 2e among the feature data D accumulated in the memory 5 from the change start timing to the update timing to the stored past data at each detection timing. , based on. On the other hand, the discontinuity detection block 2040 detects the discontinuity index for the opposite eyeball 2e at each detection timing from the update timing to the change end timing according to the first embodiment.

このような第二実施形態による眼球指標検出方法のうち断続判定フローを、図１２～１４に従って以下に説明する。第二実施形態の断続判定フローでは、第一実施形態と同様なＳ３０１～Ｓ３０９が、断続検出ブロック２０４０により実行される。 The intermittent determination flow of the eyeball index detection method according to the second embodiment will be described below with reference to FIGS. In the intermittence determination flow of the second embodiment, S301 to S309 similar to those of the first embodiment are executed by the intermittence detection block 2040. FIG.

図１２，１３に示すように第二実施形態の断続判定フローでは、Ｓ３０４にて否定判定が下された場合に、Ｓ２３１１へ移行する。Ｓ２３１１では、今回の断続判定フローにてＳ３０１，Ｓ３０２がスキップされたか否かを、断続検出ブロック２０４０により判定する。その結果、否定判定が下された場合、即ち断続検出眼球２ｄである左側眼球２ｂの信頼度Ｒが断続指標の変化開始タイミングから許容範囲外である場合には、第一実施形態と同様なＳ３１０へ移行する。 As shown in FIGS. 12 and 13, in the intermittent determination flow of the second embodiment, when a negative determination is made in S304, the process proceeds to S2311. In S2311, the intermittence detection block 2040 determines whether or not S301 and S302 have been skipped in the current intermittence determination flow. As a result, if a negative determination is made, that is, if the reliability R of the left eyeball 2b, which is the intermittent detecting eyeball 2d, is outside the allowable range from the change start timing of the intermittent index, S310 similar to the first embodiment is performed. Move to

Ｓ３０４の否定判定後にＳ２３１１にて肯定判定が下された場合、即ち断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、左側眼球２ｂの信頼度Ｒが許容範囲内から許容範囲外へ切り替わった場合、断続判定フローではＳ２３１２，Ｓ２３１３へ順次移行する。 If an affirmative determination is made in S2311 after a negative determination in S304, that is, during the period from the change start timing of the intermittent index to the change end timing, the reliability R of the left eyeball 2b changes from within the allowable range to outside the allowable range. In the case of switching, the intermittence determination flow proceeds to S2312 and S2313 sequentially.

図１３に示すようにＳ２３１２では、断続指標の変化開始タイミングに選定された断続検出眼球２ｄとは逆側眼球２ｅとなる右側眼球２ｂを、新たな断続検出眼球２ｄとして、断続検出ブロック２０４０により更新し且つメモリ５に記憶する。続くＳ２３１３では、メモリ５に記憶の信頼度Ｒのうち、右側眼球２ｂに関する最新の信頼度Ｒを、断続検出ブロック２０４０により読み出す。Ｓ２３１３ではさらに、読み出した右側眼球２ｂの信頼度Ｒが許容範囲内であるか否かを、断続検出ブロック２０４０により判定する。その結果、否定判定が下された場合には、図１２，１３に示すように、第一実施形態と同様なＳ３１０へ移行する。 As shown in FIG. 13, in S2312, the discontinuity detection block 2040 updates the right eyeball 2b, which is the opposite side eyeball 2e to the discontinuity detection eyeball 2d selected at the change start timing of the discontinuity index, as the new discontinuity detection eyeball 2d. and stored in the memory 5. In subsequent S2313, the intermittent detection block 2040 reads out the latest reliability R regarding the right eyeball 2b among the reliability R stored in the memory 5. FIG. In S2313, the discontinuity detection block 2040 further determines whether the read reliability R of the right eyeball 2b is within the allowable range. As a result, when a negative determination is made, as shown in FIGS. 12 and 13, the process proceeds to S310, which is the same as in the first embodiment.

Ｓ２３１３にて肯定判定が下された場合に断続判定フローでは、図１３に示すように、Ｓ２３１４，Ｓ２３１５へ順次移行する。Ｓ２３１４では、断続検出ブロック２０４０により、断続検出眼球２ｄの更新を逆側眼球２ｅとしての右側眼球２ｂに確定する。続くＳ２３１５では、変化開始タイミングから断続判定フローの前回実行までの間にてメモリ５に記憶の特徴データＤのうち、右側眼球２ｂに関する検出タイミング毎の過去データを、断続検出ブロック２０４０により読み出す。Ｓ２３１５ではさらに、変化開始タイミングにまで遡って読み出した検出タイミング毎の過去データに基づくことで、断続検出眼球２ｄに更新された右側眼球２ｂの断続指標を、当該検出タイミング毎に断続検出ブロック２０４０によって再検出する。 If an affirmative determination is made in S2313, the intermittent determination flow proceeds to S2314 and S2315 sequentially as shown in FIG. In S2314, the discontinuity detection block 2040 determines the update of the discontinuity detection eyeball 2d to the right eyeball 2b as the opposite eyeball 2e. In subsequent S2315, the intermittence detection block 2040 reads past data for each detection timing regarding the right eyeball 2b among the feature data D stored in the memory 5 from the change start timing to the previous execution of the intermittence determination flow. In S2315, the discontinuity detection block 2040 detects the discontinuity index of the right eyeball 2b that has been updated to the discontinuity detection eyeball 2d based on the past data for each detection timing that is read retroactively to the change start timing. Redetect.

図１２，１３に示すようにＳ２３１５からは、Ｓ３０９へ移行する。これにより、断続検出眼球２ｄが更新された更新回の断続判定フローでは、Ｓ２３１５から移行したＳ３０９にて、更新タイミングでの断続指標の検出処理が右側眼球２ｂに対して実行される。また、断続検出眼球２ｄの更新回後となる次回以降の断続判定フローでは、右側眼球２ｂの信頼度Ｒが許容範囲外とならない限り、更新タイミング後から変化終了タイミングまでの検出タイミング毎に、右側眼球２ｂに対する断続指標の検出処理が実行される。 As shown in FIGS. 12 and 13, the process proceeds from S2315 to S309. As a result, in the discontinuity determination flow of the update time when the discontinuity detection eyeball 2d is updated, in S309 after moving from S2315, the detection processing of the discontinuity index at the update timing is executed for the right eyeball 2b. In addition, in the intermittent determination flow after the next time after the intermittent detection eyeball 2d is updated, unless the reliability R of the right eyeball 2b is outside the allowable range, the right Intermittent index detection processing for the eyeball 2b is executed.

以上、変化開始タイミングには高い左側眼球２ｂの信頼度Ｒが許容範囲内から許容範囲外へと切り替わった検出タイミング以降は、逆側の右側眼球２ｂが断続検出眼球２ｄに更新される。これにより変化開始タイミング後には、許容範囲内にて高低関係の入れ替わった信頼度Ｒがさらに許容範囲外まで下がると、断続変化の間であっても図１５に示すように、当該変化開始タイミングまで遡って断続検出眼球２ｄが更新されることを意味する。したがって、断続検出眼球２ｄに更新された右側眼球２ｂの信頼度Ｒが許容範囲内のまま推移する間の断続指標は、変化開始タイミングまでの遡りにより同じ右側眼球２ｂに対して検出されるといえる。尚、図１５では、断続検出眼球２ｄに対して信頼度Ｒの許容範囲を決める下限値又は上限値が、第一実施形態と同様に閾値Ｒｔｈと表されることで、各検出タイミングにて当該信頼度Ｒが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, after the detection timing when the reliability R of the left eyeball 2b, which is high at the change start timing, switches from within the allowable range to outside the allowable range, the right eyeball 2b on the opposite side is updated to the intermittently detected eyeball 2d. As a result, after the change start timing, if the reliability R in which the high-low relationship is switched within the allowable range further falls outside the allowable range, as shown in FIG. This means that the intermittent detection eyeball 2d is retroactively updated. Therefore, it can be said that the intermittent index while the reliability R of the right eyeball 2b updated to the intermittent detection eyeball 2d remains within the allowable range is detected for the same right eyeball 2b by going back to the change start timing. . Note that in FIG. 15, the lower limit value or upper limit value that determines the allowable range of the reliability R for the intermittent detection eyeball 2d is expressed as the threshold value Rth in the same manner as in the first embodiment. It is possible to easily understand whether the reliability R is inside or outside the allowable range.

図１２，１４に示すように第二実施形態の断続判定フローでは、Ｓ３０７にて否定判定が下された場合は、Ｓ２３１６へ移行する。Ｓ２３１６では、今回の断続判定フローにてＳ３０１，Ｓ３０２がスキップされたか否かを、断続検出ブロック２０４０により判定する。その結果、否定判定が下された場合、即ち断続検出眼球２ｄである右側眼球２ｂの信頼度Ｒが断続指標の変化開始タイミングから許容範囲外である場合には、第一実施形態と同様なＳ３１０へ移行する。 As shown in FIGS. 12 and 14, in the intermittent determination flow of the second embodiment, when a negative determination is made in S307, the process proceeds to S2316. In S2316, the intermittence detection block 2040 determines whether or not S301 and S302 have been skipped in the current intermittence determination flow. As a result, if a negative determination is made, that is, if the reliability R of the right eyeball 2b, which is the intermittent detection eyeball 2d, is outside the allowable range from the change start timing of the intermittent index, S310 similar to the first embodiment is performed. Move to

Ｓ３０７の否定判定後にＳ２３１６にて肯定判定が下された場合、即ち断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、右側眼球２ｂの信頼度Ｒが許容範囲内から許容範囲外へ切り替わった場合、断続判定フローではＳ２３１７，Ｓ２３１８へ順次移行する。 If an affirmative determination is made in S2316 after a negative determination in S307, that is, during the period from the change start timing of the intermittent index to the change end timing, the reliability R of the right eyeball 2b changes from within the allowable range to outside the allowable range. In the case of switching, the intermittence determination flow sequentially proceeds to S2317 and S2318.

図１４に示すようにＳ２３１７では、断続指標の変化開始タイミングに選定された断続検出眼球２ｄとは逆側眼球２ｅとなる左側眼球２ｂを、新たな断続検出眼球２ｄとして、断続検出ブロック２０４０により更新し且つメモリ５に記憶する。続くＳ２３１８では、メモリ５に記憶の信頼度Ｒのうち、左側眼球２ｂに関する最新の信頼度Ｒを、断続検出ブロック２０４０により読み出す。Ｓ２３１８ではさらに、読み出した左側眼球２ｂの信頼度Ｒが許容範囲内であるか否かを、断続検出ブロック２０４０により判定する。その結果、否定判定が下された場合には、図１２，１４に示すように、第一実施形態と同様なＳ３１０へ移行する。 As shown in FIG. 14, in S2317, the discontinuity detection block 2040 updates the left eyeball 2b, which is the eyeball 2e on the opposite side of the discontinuity detection eyeball 2d selected at the change start timing of the discontinuity index, as the new discontinuity detection eyeball 2d. and stored in the memory 5. In subsequent S2318, the intermittent detection block 2040 reads out the latest reliability R regarding the left eyeball 2b among the reliability R stored in the memory 5. FIG. Further, in S2318, the discontinuity detection block 2040 determines whether or not the read reliability R of the left eyeball 2b is within the allowable range. As a result, when a negative determination is made, as shown in FIGS. 12 and 14, the process proceeds to S310, which is the same as in the first embodiment.

Ｓ２３１８にて肯定判定が下された場合に断続判定フローでは、図１４に示すように、Ｓ２３１９，Ｓ２３２０へ順次移行する。Ｓ２３１９では、断続検出ブロック２０４０により、断続検出眼球２ｄの更新を逆側眼球２ｅとしての左側眼球２ｂに確定する。続くＳ２３２０では、変化開始タイミングから断続判定フローの前回実行までの間にてメモリ５に記憶の特徴データＤのうち、左側眼球２ｂに関する検出タイミング毎の過去データを、断続検出ブロック２０４０により読み出す。Ｓ２３２０ではさらに、変化開始タイミングにまで遡って読み出した検出タイミング毎の過去データに基づくことで、断続検出眼球２ｄに更新された左側眼球２ｂの断続指標を、当該検出タイミング毎に断続検出ブロック２０４０によって再検出する。 If an affirmative determination is made in S2318, the intermittent determination flow sequentially proceeds to S2319 and S2320 as shown in FIG. In S2319, the discontinuity detection block 2040 determines the update of the discontinuity detection eyeball 2d to the left eyeball 2b as the opposite eyeball 2e. In subsequent S2320, the intermittence detection block 2040 reads past data for each detection timing regarding the left eyeball 2b among the feature data D stored in the memory 5 from the change start timing to the previous execution of the intermittence determination flow. In S2320, the discontinuity detection block 2040 detects the discontinuity index of the left eyeball 2b that has been updated to the discontinuity detection eyeball 2d based on the past data for each detection timing read out retroactively to the change start timing. Redetect.

図１２，１４に示すようにＳ２３２０からは、Ｓ３０６へ移行する。これにより、断続検出眼球２ｄが更新された更新回の断続判定フローでは、Ｓ２３２０から移行したＳ３０６にて、更新タイミングでの断続指標の検出処理が左側眼球２ｂに対して実行される。また、断続検出眼球２ｄの更新回後となる次回以降の断続判定フローでは、左側眼球２ｂの信頼度Ｒが許容範囲外とならない限り、更新タイミング後から変化終了タイミングまでの検出タイミング毎に、左側眼球２ｂに対する断続指標の検出処理が実行される。 As shown in FIGS. 12 and 14, the process proceeds from S2320 to S306. As a result, in the discontinuity determination flow of the update time when the discontinuity detection eyeball 2d is updated, in S306 after shifting from S2320, the detection processing of the discontinuity index at the update timing is executed for the left eyeball 2b. In addition, in the intermittent determination flow after the next time after the intermittent detection eyeball 2d is updated, unless the reliability R of the left eyeball 2b is outside the allowable range, the left Intermittent index detection processing for the eyeball 2b is executed.

以上、変化開始タイミングには高い右側眼球２ｂの信頼度Ｒが許容範囲内から許容範囲外へと切り替わった検出タイミング以降は、逆側の左側眼球２ｂが断続検出眼球２ｄに更新される。これにより変化開始タイミング後には、許容範囲内にて高低関係の入れ替わった信頼度Ｒがさらに許容範囲外まで下がると、断続変化の間であっても図１６に示すように、当該変化開始タイミングまで遡って断続検出眼球２ｄが更新されることを意味する。したがって、断続検出眼球２ｄに更新された左側眼球２ｂの信頼度Ｒが許容範囲内のまま推移する間の断続指標は、そうした変化開始タイミングまでの遡りにより同じ左側眼球２ｂに対して検出されるといえる。尚、図１６でも、断続検出眼球２ｄに対して信頼度Ｒの許容範囲を決める下限値又は上限値が、第一実施形態と同様に閾値Ｒｔｈと表されることで、各検出タイミングにて当該信頼度Ｒが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, after the detection timing when the reliability R of the right eyeball 2b, which is high at the change start timing, switches from within the allowable range to outside the allowable range, the opposite left eyeball 2b is updated to the intermittently detected eyeball 2d. As a result, after the change start timing, if the reliability R in which the high-low relationship is switched within the allowable range further falls outside the allowable range, as shown in FIG. This means that the intermittent detection eyeball 2d is retroactively updated. Therefore, the intermittent index while the reliability R of the left eyeball 2b updated to the intermittent detection eyeball 2d remains within the allowable range can be detected for the same left eyeball 2b by going back to the change start timing. I can say. Note that in FIG. 16 as well, the lower limit value or upper limit value that determines the allowable range of the reliability R for the intermittent detection eyeball 2d is expressed as the threshold value Rth in the same manner as in the first embodiment. It is possible to easily understand whether the reliability R is inside or outside the allowable range.

（作用効果）
以上説明した第二実施形態の作用効果を、以下に説明する。 (Effect)
The effects of the second embodiment explained above will be explained below.

第二実施形態によると、断続指標の変化開始タイミング後から変化終了タイミングまでの間にて断続検出眼球２ｄの信頼度Ｒには、許容範囲内から許容範囲外へと切り替わる場合が想定される。この場合、断続検出眼球２ｄとは逆側眼球２ｅの信頼度Ｒが許容範囲内であれば、当該逆側眼球２ｅに断続検出眼球２ｄが更新される。そこで、逆側眼球２ｅに更新された断続検出眼球２ｄに対しては、メモリ５に時系列に記憶の特徴データＤに基づいた断続指標の検出が、変化開始タイミングまで遡って再実行されることになる。これによれば、断続指標の比較的短時間での断続変化の間は、逆側眼球２ｅの信頼度Ｒが継続して断続検出眼球２ｄであったと擬制されることで、当該擬制のない場合よりも断続指標が正確に検出され得る。故に、特に断続指標の検出精度を向上させる上で貢献することが、可能となる。 According to the second embodiment, it is assumed that the reliability R of the intermittent detection eyeball 2d switches from within the allowable range to outside the allowable range after the change start timing of the intermittent indicator and before the change end timing. In this case, if the reliability R of the eyeball 2e on the side opposite to the eyeball 2d on the side opposite to the eyeball 2d on which the eyeball 2d is detected is within the allowable range, the eyeball 2d on the side opposite the eyeball 2d on which the eyeball 2d is detected is updated. Therefore, for the discontinuity detection eyeball 2d updated to the opposite eyeball 2e, detection of the discontinuity index based on the feature data D stored in time series in the memory 5 is re-executed retroactively to the change start timing. become. According to this, during the intermittent change of the intermittent index in a relatively short time, it is hypothesized that the reliability R of the opposite eyeball 2e continues to be the intermittent detection eyeball 2d. intermittent indicators can be detected more accurately than Therefore, it is possible to contribute to improving the detection accuracy of the intermittent index in particular.

（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。 (Other embodiments)
Although a plurality of embodiments have been described above, the present disclosure is not to be construed as being limited to those embodiments, and can be applied to various embodiments and combinations within the scope of the present disclosure. can be done.

具体的に、第一及び第二実施形態に関する変形例の電子制御ユニット４は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。 Specifically, the electronic control unit 4 of the modification of the first and second embodiments may be a dedicated computer including at least one of digital circuits and analog circuits as a processor. Here, especially digital circuits include, for example, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), and CPLD (Complex Programmable Logic Device). at least one of Such digital circuits may also include memory storing programs.

第一実施形態に関する変形例では、図１７に示すように、Ｓ２０４，Ｓ２０５が省略されることでＳ２０３の肯定判定の場合にＳ２０６が直接実行されると共に、Ｓ２０７，Ｓ２０８が省略されることでＳ２０３の否定判定の場合にＳ２０９が直接実行されてもよい。この変形例では、Ｓ２１０が省略されることになる。その結果、定常指標の定常変化毎に合わせた定常検出眼球２ｃに対しての定常指標の検出は、図１８に示すように定常検出眼球２ｃの信頼度Ｒが許容範囲外になったとしても、継続されることになる。 In the modification of the first embodiment, as shown in FIG. 17, S204 and S205 are omitted, so that S206 is directly executed in the case of affirmative determination in S203, and S207 and S208 are omitted, so that S203 S209 may be directly executed in the case of a negative determination. In this modification, S210 is omitted. As a result, even if the reliability R of the steadily detected eyeball 2c is out of the allowable range as shown in FIG. will be continued.

第一実施形態に関する変形例では、図１９に示すように、Ｓ３０４，Ｓ３０５が省略されることでＳ３０３の肯定判定の場合にＳ３０６が直接実行されると共に、Ｓ３０７，Ｓ３０８が省略されることでＳ３０３の否定判定の場合にＳ３０９が直接実行されてもよい。この変形例では、Ｓ３１０への移行が断続指標の変化なしの場合のみとなる。その結果、図２０に示すように断続検出眼球２ｄの信頼度Ｒが許容範囲外になったとしても、断続指標が断続変化する間は同じ断続検出眼球２ｄに対して、断続指標の検出が継続されることになる。 In the modification of the first embodiment, as shown in FIG. 19, S304 and S305 are omitted, so that S306 is directly executed in the case of affirmative determination in S303, and S307 and S308 are omitted, so that S303 S309 may be directly executed in the case of a negative determination. In this modification, the process proceeds to S310 only when there is no change in the intermittent index. As a result, even if the reliability R of the intermittent detection eyeball 2d is out of the allowable range as shown in FIG. will be

１ 眼球指標検出装置、２ 監視対象者、２ａ 顔、２ｂ 眼球、２ｃ 定常検出眼球、２ｄ 断続検出眼球、２ｅ 逆側眼球、５ メモリ、６ プロセッサ、２０ 信頼算定ブロック、３０ 定常検出ブロック、４０，２０４０ 断続検出ブロック、Ｒ 信頼度 1 eye index detection device 2 monitored subject 2a face 2b eyeball 2c steady detection eyeball 2d intermittent detection eyeball 2e opposite eyeball 5 memory 6 processor 20 confidence calculation block 30 steady detection block 40, 2040 Intermittent Detection Block, R Confidence

Claims (13)

監視対象者（２）における眼球（２ｂ）に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出装置（１）であって、
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度（Ｒ）を、時系列に算定する信頼算定ブロック（２０）と、
前記定常指標の検出タイミング毎に、前記信頼算定ブロックにより算定される前記信頼度が高い側の前記眼球を定常検出眼球（２ｃ）に選定し、当該定常検出眼球の特徴データ（Ｄ）に基づき前記定常指標を検出する定常検出ブロック（３０）と、
前記断続指標の変化開始タイミングにて前記信頼算定ブロックにより算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球（２ｄ）に選定し、当該断続検出眼球の特徴データ（Ｄ）に基づき前記断続指標を検出する断続検出ブロック（４０，２０４０）とを、備える眼球指標検出装置。 An eyeball index detection device (1) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to an eyeball (2b) of a person to be monitored (2),
a reliability calculation block (20) for calculating in time series the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject;
For each detection timing of the steady indicator, the eyeball with the higher reliability calculated by the confidence calculation block is selected as the steady detected eyeball (2c), and based on the feature data (D) of the steady detected eyeball a stationary detection block (30) for detecting stationary indicators;
The eyeball with the higher reliability calculated by the reliability calculation block at the timing when the intermittent index starts to change is selected as the intermittent detecting eyeball (2d) until the timing when the intermittent index ends changing, and the intermittent detecting eyeball is selected. and an intermittent detection block (40, 2040) for detecting the intermittent index based on the feature data (D) of the above. 前記定常検出ブロックは、
前記信頼算定ブロックにより算定される前記定常検出眼球の前記信頼度が許容範囲外となる場合に、前記定常指標の検出を中止する請求項１に記載の眼球指標検出装置。 The stationary detection block is
2. The eyeball index detection device according to claim 1, wherein the detection of the steady index is stopped when the reliability of the constantly detected eyeball calculated by the reliability calculation block is out of an allowable range. 前記断続検出ブロックは、
前記信頼算定ブロックにより算定される前記断続検出眼球の前記信頼度が許容範囲外となる場合に、前記断続指標の検出を中止する請求項１又は２に記載の眼球指標検出装置。 The intermittent detection block is
3. The eyeball index detection device according to claim 1, wherein the detection of the intermittent index is stopped when the reliability of the intermittent detection eyeball calculated by the reliability calculation block is out of an allowable range. 前記監視対象者における左右の前記眼球それぞれの特徴データ（Ｄ）を時系列に記憶する記憶媒体（５）を、備え、
前記断続検出ブロック（２０４０）は
前記断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、前記信頼算定ブロックにより算定される前記断続検出眼球の前記信頼度が許容範囲内から許容範囲外へ切り替わった場合に、前記信頼算定ブロックにより算定される前記断続検出眼球とは逆側眼球（２ｅ）の前記信頼度が許容範囲内であれば当該逆側眼球に更新される前記断続検出眼球に対して、前記記憶媒体に記憶された特徴データ（Ｄ）に基づく前記断続指標の検出を、前記断続指標の変化開始タイミングまで遡って再実行する請求項３に記載の眼球指標検出装置。 a storage medium (5) for storing characteristic data (D) of each of the left and right eyeballs of the monitoring subject in chronological order;
The discontinuity detection block (2040) determines that the reliability of the discontinuity detection eyeball calculated by the reliability calculation block is within the allowable range or out of the allowable range after the change start timing of the discontinuity indicator and before the change end timing. , the intermittent detection eyeball is updated to the opposite eyeball if the reliability of the eyeball opposite to the eyeball (2e) calculated by the reliability calculation block is within the allowable range. 4. The eyeball index detection device according to claim 3, wherein the detection of the intermittent index based on the feature data (D) stored in the storage medium is re-executed retroactively to the change start timing of the intermittent index. 前記信頼算定ブロックは、前記監視対象者における顔（２ａ）の向きに応じて、前記信頼度を増減する請求項１～４のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 4, wherein the confidence calculation block increases or decreases the confidence according to the direction of the face (2a) of the person to be monitored. 前記信頼算定ブロックは、前記監視対象者における開眼度に応じて、前記信頼度を増減する請求項１～５のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 5, wherein the reliability calculation block increases or decreases the reliability according to the degree of eye opening of the monitored person. 前記信頼算定ブロックは、前記監視対象者における顔（２ａ）のうち複数部位の位置関係に応じて、前記信頼度を増減する請求項１～６のいずれか一項に記載の眼球指標検出装置。 The eyeball index detecting device according to any one of claims 1 to 6, wherein the reliability calculation block increases or decreases the reliability according to the positional relationship of a plurality of parts of the face (2a) of the monitored person. 前記信頼算定ブロックは、前記監視対象者における顔（２ａ）のうち所定部位の位置に応じて、前記信頼度を増減する請求項１～７のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 7, wherein the reliability calculation block increases or decreases the reliability according to the position of a predetermined portion of the face (2a) of the person to be monitored. 前記信頼算定ブロックは、前記監視対象者における顔（２ａ）のうち所定部位の面積に応じて、前記信頼度を増減する請求項１～８のいずれか一項に記載の眼球指標検出装置。 The eyeball index detecting device according to any one of claims 1 to 8, wherein the reliability calculation block increases or decreases the reliability according to the area of a predetermined portion of the face (2a) of the person to be monitored. 前記定常指標は、前記監視対象者における視線及び開眼度のうち少なくとも一方である請求項１～９のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 9, wherein the steady index is at least one of a line of sight and an eye opening degree of the monitored person. 前記断続指標は、前記監視対象者における眼球断続運動及び瞬目の有無のうち少なくとも一方である請求項１～１０のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 10, wherein the intermittent index is at least one of intermittent eyeball movement and presence/absence of blinking of the person to be monitored. プロセッサ（６）により実行され、監視対象者（２）における眼球（２ｂ）に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出方法であって、
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度（Ｒ）を、時系列にて算定し（Ｓ１０１，１０２）と、
前記定常指標の検出タイミング毎に、算定される前記信頼度が高い側の前記眼球を定常検出眼球（２ｃ）に選定し、当該定常検出眼球の特徴データ（Ｄ）に基づき前記定常指標を検出し（Ｓ２０１～Ｓ２１０）
前記断続指標の変化開始タイミングにて算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球（２ｄ）に選定し、当該断続検出眼球の特徴データ（Ｄ）に基づき前記断続指標を検出する（Ｓ３０１～Ｓ３１０，Ｓ２３１１～Ｓ２３２０）、ことを含む眼球指標検出方法。 An eyeball index detection method executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index associated with an eyeball (2b) of a monitored person (2), comprising:
calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject in time series (S101, 102);
Selecting the eyeball on the side of the calculated high reliability as a steady detection eyeball (2c) at each detection timing of the steady index, and detecting the steady index based on the characteristic data (D) of the steady detection eyeball. (S201-S210)
The eyeball on the side with the higher reliability calculated at the change start timing of the intermittent index is selected as the intermittent detection eyeball (2d) until the change end timing of the intermittent index, and the feature data of the intermittent detection eyeball (D ) (S301 to S310, S2311 to S2320). 監視対象者（２）における眼球（２ｂ）に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出するために記憶媒体（５）に格納され、プロセッサ（６）に実行させる命令を含む眼球指標検出プログラムであって、
前記命令は、
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度（Ｒ）を、時系列にて算定させ（Ｓ１０１，１０２）、
前記定常指標の検出タイミング毎に、算定される前記信頼度が高い側の前記眼球を定常検出眼球（２ｃ）に選定させ、当該定常検出眼球の特徴データ（Ｄ）に基づき前記定常指標を検出させ（Ｓ２０１～Ｓ２１０）、
前記断続指標の変化開始タイミングにて算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球（２ｄ）に選定させ、当該断続検出眼球の特徴データ（Ｄ）に基づき前記断続指標を検出させる（Ｓ３０１～Ｓ３１０，Ｓ２３１１～Ｓ２３２０）、ことを含む眼球指標検出プログラム。 Stored in a storage medium (5) and executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to the eyeball (2b) of the monitored person (2) An eye index detection program comprising instructions for:
Said instruction
calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject in time series (S101, 102);
At each detection timing of the steady index, the eyeball with the higher calculated reliability is selected as the steady detection eyeball (2c), and the steady index is detected based on the characteristic data (D) of the steady detection eyeball. (S201 to S210),
The intermittent detection eyeball (2d) is caused to select the eyeball with the higher reliability calculated at the intermittent index change start timing until the intermittent index change end timing, and the intermittent detection eyeball feature data (D ) to detect the intermittent index (S301-S310, S2311-S2320).
JP2019139117A 2019-07-29 2019-07-29 Eyeball index detection device, eyeball index detection method, eyeball index detection program Active JP7140072B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019139117A JP7140072B2 (en) 2019-07-29 2019-07-29 Eyeball index detection device, eyeball index detection method, eyeball index detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019139117A JP7140072B2 (en) 2019-07-29 2019-07-29 Eyeball index detection device, eyeball index detection method, eyeball index detection program

Publications (2)

Publication Number Publication Date
JP2021019942A JP2021019942A (en) 2021-02-18
JP7140072B2 true JP7140072B2 (en) 2022-09-21

Family

ID=74573923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019139117A Active JP7140072B2 (en) 2019-07-29 2019-07-29 Eyeball index detection device, eyeball index detection method, eyeball index detection program

Country Status (1)

Country Link
JP (1) JP7140072B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113227A (en) 2012-12-07 2014-06-26 Tokyo Metropolitan Univ Device for estimating human state and transportation equipment having the same
WO2017077601A1 (en) 2015-11-04 2017-05-11 株式会社ジェイアイエヌ Information processing method, information processing device, program, and eyewear
JP2018504957A (en) 2016-01-13 2018-02-22 レビスカン インク． Fixation, alignment and / or impulsiveness measuring method and apparatus for identifying and / or tracking brain function
JP2018183532A (en) 2017-04-27 2018-11-22 株式会社デンソー State estimation apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179520A (en) * 1996-12-26 1998-07-07 Canon Inc Visual axis detecting method and device, and storage medium
JP5618686B2 (en) * 2010-08-03 2014-11-05 キヤノン株式会社 Gaze detection device, gaze detection method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113227A (en) 2012-12-07 2014-06-26 Tokyo Metropolitan Univ Device for estimating human state and transportation equipment having the same
WO2017077601A1 (en) 2015-11-04 2017-05-11 株式会社ジェイアイエヌ Information processing method, information processing device, program, and eyewear
JP2018504957A (en) 2016-01-13 2018-02-22 レビスカン インク． Fixation, alignment and / or impulsiveness measuring method and apparatus for identifying and / or tracking brain function
JP2018183532A (en) 2017-04-27 2018-11-22 株式会社デンソー State estimation apparatus

Also Published As

Publication number Publication date
JP2021019942A (en) 2021-02-18

Similar Documents

Publication Publication Date Title
JP6245398B2 (en) State estimation device, state estimation method, and state estimation program
US9526448B2 (en) State estimation device and state estimation program
WO2011074198A1 (en) User interface apparatus and input method
US20190230292A1 (en) Photographing control apparatus and photographing control method
JP2014144096A (en) Vigilance level detection device and vigilance level detection method
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
JPWO2011118393A1 (en) Awakening level determination device, awakening level determination method, and program
CN106108922B (en) Drowsiness detection device
JP2014064784A (en) Visual line detection device, visual line detection method and program
CN117897780A (en) Hospital diagnosis guiding method for active thyroid eye disease medical treatment and execution system thereof
JP7140072B2 (en) Eyeball index detection device, eyeball index detection method, eyeball index detection program
JP7345101B2 (en) Image recognition device and image recognition method
JP2015213734A (en) Program, information processing device, and eyewear
JP6672972B2 (en) Safe driving support device and safe driving support program
JP5644414B2 (en) Awakening level determination device, awakening level determination method, and program
JP2021037216A (en) Eye closing determination device
US9959635B2 (en) State determination device, eye closure determination device, state determination method, and storage medium
JP6572841B2 (en) Information processing apparatus and program
CN113642442B (en) Face detection method and device, computer readable storage medium and terminal
JP2017138645A (en) Sight-line detection device
CN115953813A (en) Expression driving method, device, equipment and storage medium
JP7131491B2 (en) Saccade detection device, saccade detection method, saccade detection program
JP2017138646A (en) Sight-line detection device
JP2018045451A (en) Vehicle control apparatus
JP2020199165A (en) Saccade detection device, saccade detection method, and saccade detection program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R151 Written notification of patent or utility model registration

Ref document number: 7140072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151