JP7140072B2 - Eyeball index detection device, eyeball index detection method, eyeball index detection program - Google Patents

Eyeball index detection device, eyeball index detection method, eyeball index detection program Download PDF

Info

Publication number
JP7140072B2
JP7140072B2 JP2019139117A JP2019139117A JP7140072B2 JP 7140072 B2 JP7140072 B2 JP 7140072B2 JP 2019139117 A JP2019139117 A JP 2019139117A JP 2019139117 A JP2019139117 A JP 2019139117A JP 7140072 B2 JP7140072 B2 JP 7140072B2
Authority
JP
Japan
Prior art keywords
eyeball
index
detection
intermittent
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019139117A
Other languages
Japanese (ja)
Other versions
JP2021019942A (en
Inventor
健太 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019139117A priority Critical patent/JP7140072B2/en
Publication of JP2021019942A publication Critical patent/JP2021019942A/en
Application granted granted Critical
Publication of JP7140072B2 publication Critical patent/JP7140072B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本開示は、監視対象者における眼球に関連した眼球指標を検出する技術に、関する。 The present disclosure relates to techniques for detecting ocular indices associated with the eyeballs of a monitored subject.

従来の技術として特許文献1には、眼球指標として視線を検出する技術が開示されている。この特許文献1の開示技術では、監視対象者における左右の眼それぞれの視線の信頼度が算出されることで、信頼度が高い少なくとも一方の眼の特徴量に基づいて視線が検出されている。 As a conventional technique, Patent Document 1 discloses a technique for detecting a line of sight as an eyeball index. In the technique disclosed in Patent Literature 1, the line of sight is detected based on the feature amount of at least one of the eyes having a high degree of reliability by calculating the degree of reliability of the line of sight of each of the left and right eyes of the person to be monitored.

特許第5618686号公報Japanese Patent No. 5618686

特許文献1の開示技術では、左右双方の眼を検出眼球として、それらの眼の特徴量を連結するケースが、想定されている。この場合、連結された特徴量は、信頼度が低い方の眼の特徴量に引っ張られることで、視線の検出精度を低下させるおそれがあった。 In the technique disclosed in Patent Document 1, a case is assumed in which both the left and right eyes are used as detection eyeballs and the feature amounts of those eyes are connected. In this case, there is a possibility that the connected feature amount is pulled by the feature amount of the eye with the lower reliability, thereby reducing the detection accuracy of the line of sight.

また、特許文献1の開示技術において検出される視線は、眼球指標のうち、定常変化する定常指標である。一方で眼球指標には、例えば瞬目運動等といった、断続変化する断続指標もある。そこで、特許文献1の開示技術を断続指標の検出に適用すると、断続指標の断続変化中に検出眼球を切り替えてしまうケースが、想定され得る。この場合、検出眼球の切り替わり、特に繰り返しのチャタリングでは、断続指標の検出精度を低下させるおそれがあった。 In addition, the line of sight detected in the technology disclosed in Patent Document 1 is a stationary index that changes steadily among the eyeball indices. On the other hand, the eyeball index also includes an intermittent index that changes intermittently, such as eye blinking. Therefore, if the technology disclosed in Patent Document 1 is applied to the detection of the intermittent index, a case can be assumed in which the detection eyeball is switched during the intermittent change of the intermittent index. In this case, switching of the eyeball to be detected, especially repeated chattering, may reduce the detection accuracy of the intermittent indicator.

本開示の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出装置を提供することにある。本開示の別の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出方法を提供することにある。本開示のさらに別の課題は、眼球指標として定常指標及び断続指標の双方の検出精度を向上させる、眼球指標検出プログラムを、提供することにある。 An object of the present disclosure is to provide an eyeball index detection device that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index. Another object of the present disclosure is to provide an eyeball index detection method that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index. Still another object of the present disclosure is to provide an eyeball index detection program that improves the detection accuracy of both the steady index and the intermittent index as the eyeball index.

以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。 Technical means of the present disclosure for solving the problems will be described below. It should be noted that the symbols in parentheses described in the claims and this column indicate the correspondence with specific means described in the embodiments described in detail later, and limit the technical scope of the present disclosure. not something to do.

本開示の第一態様は、
監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出装置(1)であって、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度(R)を、時系列に算定する信頼算定ブロック(20)と、
定常指標の検出タイミング毎に、信頼算定ブロックにより算定される信頼度が高い側の眼球を定常検出眼球(2c)に選定し、当該定常検出眼球の特徴データ(D)に基づき定常指標を検出する定常検出ブロック(30)と、
断続指標の変化開始タイミングにて信頼算定ブロックにより算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球(2d)に選定し、当該断続検出眼球の特徴データ(D)に基づき断続指標を検出する断続検出ブロック(40,2040)とを、備える。
A first aspect of the present disclosure is
An eyeball index detection device (1) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to an eyeball (2b) of a person to be monitored (2),
a reliability calculation block (20) for calculating, in chronological order, the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitored person;
The eyeball with the higher reliability calculated by the confidence calculation block is selected as the steady detection eyeball (2c) at each detection timing of the steady index, and the steady index is detected based on the feature data (D) of the steady detected eyeball. a stationary detection block (30);
The eyeball with the higher reliability calculated by the reliability calculation block at the start timing of the change of the intermittent index is selected as the intermittent detection eyeball (2d) until the end timing of the change of the intermittent index, and the characteristic data of the intermittent detection eyeball (D a discontinuity detection block (40, 2040) for detecting discontinuity indicators based on ).

本開示の第二態様は、
プロセッサ(6)により実行され、監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出方法であって、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度(R)を、時系列にて算定し(S101,102)と、
定常指標の検出タイミング毎に、算定される信頼度が高い側の眼球を定常検出眼球(2c)に選定し、当該定常検出眼球の特徴データ(D)に基づき定常指標を検出し(S201~S210)
断続指標の変化開始タイミングにて算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球(2d)に選定し、当該断続検出眼球の特徴データ(D)に基づき断続指標を検出する(S301~S310,S2311~S2320)、ことを含む。
A second aspect of the present disclosure is
An eyeball index detection method executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index associated with an eyeball (2b) of a monitored person (2), comprising:
Calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitored person in chronological order (S101, 102);
At each detection timing of the stationary index, the eyeball with the higher calculated reliability is selected as the stationary detected eyeball (2c), and the stationary index is detected based on the characteristic data (D) of the stationary detected eyeball (S201 to S210 )
The eyeball with the higher reliability calculated at the start timing of the change of the intermittent index is selected as the intermittent detection eyeball (2d) until the end timing of the change of the intermittent index, and the intermittent detection is performed based on the characteristic data (D) of the intermittent detection eyeball. Detecting indicators (S301-S310, S2311-S2320).

本開示の第三態様は、
監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出するために記憶媒体(5)に格納され、プロセッサ(6)に実行させる命令を含む眼球指標検出プログラムであって、
命令は、
監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度(R)を、時系列にて算定させ(S101,102)と、
定常指標の検出タイミング毎に、算定される信頼度が高い側の眼球を定常検出眼球(2c)に選定させ、当該定常検出眼球の特徴データ(D)に基づき定常指標を検出させ(S201~S210)
断続指標の変化開始タイミングにて算定される信頼度が高い側の眼球を、断続指標の変化終了タイミングまで断続検出眼球(2d)に選定させ、当該断続検出眼球の特徴データ(D)に基づき断続指標を検出させる(S301~S310,S2311~S2320)、ことを含む。
A third aspect of the present disclosure is
Stored in a storage medium (5) and executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to the eyeball (2b) of the monitored person (2) An eye index detection program comprising instructions for:
the instruction is
Calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the person to be monitored in chronological order (S101, 102);
At each detection timing of the stationary index, the eyeball with the higher calculated reliability is selected as the stationary detection eyeball (2c), and the stationary index is detected based on the feature data (D) of the stationary detection eyeball (S201 to S210 )
The eyeball with the higher reliability calculated at the start timing of the change of the discontinuity index is selected by the discontinuity detection eyeball (2d) until the end timing of the change of the discontinuity index, and the discontinuity is performed based on the characteristic data (D) of the discontinuity detection eyeball. including detecting the index (S301-S310, S2311-S2320).

これら第一~第三態様によると、監視対象者における左右の眼球それぞれに対して、定常指標及び断続指標を検出する上での信頼度は、時系列に算定される。そこで定常指標の検出タイミング毎に、信頼度の高い側の眼球が定常検出眼球に選定されることによれば、定常指標の定常変化毎に合わせた定常検出眼球の特徴データに基づき、正確に定常指標が検出され得る。また一方、断続指標の変化開始タイミングにて信頼度の高い側の眼球が、断続指標の変化終了タイミングまで断続検出眼球に選定されることによれば、断続指標が断続変化する間は同じ断続検出眼球の特徴データに基づき、正確に断続指標が検出され得る。これらのことから第一~第三態様では、眼球指標として定常指標及び断続指標の双方の検出精度を向上させることが、可能となる。 According to these first to third aspects, the reliability in detecting the steady index and the intermittent index is calculated in chronological order for each of the left and right eyeballs of the monitoring subject. Therefore, if the eyeball with the higher reliability is selected as the steady-state detection eyeball at each detection timing of the steady-state index, the steady An indicator can be detected. On the other hand, according to the fact that the eyeball with the higher reliability at the intermittent index change start timing is selected as the intermittent detection eyeball until the intermittent index change end timing, the same intermittent detection is performed while the intermittent index intermittently changes. The discontinuity index can be accurately detected based on the eyeball feature data. For these reasons, in the first to third aspects, it is possible to improve the detection accuracy of both the steady index and the intermittent index as the eyeball index.

第一実施形態による眼球指標検出装置の全体構成を示すブロック図である。1 is a block diagram showing the overall configuration of an eye index detection device according to a first embodiment; FIG. 第一実施形態による眼球指標検出装置の詳細構成を示すブロック図である。2 is a block diagram showing the detailed configuration of the eyeball index detection device according to the first embodiment; FIG. 第一実施形態による算定基準データを説明するための表である。4 is a table for explaining calculation reference data according to the first embodiment; 第一実施形態による眼球指標検出方法のフローのうち共通フローを示すフローチャートである。4 is a flowchart showing a common flow among the flows of the eyeball index detection method according to the first embodiment; 第一実施形態による眼球指標検出方法のフローのうち定常判定フローを示すフローチャートである。4 is a flow chart showing a steady determination flow among the flows of the eyeball index detection method according to the first embodiment. 第一実施形態による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。4 is a flow chart showing an intermittent determination flow in the flow of the eyeball index detection method according to the first embodiment. 第一実施形態による定常判定フローを説明するためのタイムチャートである。FIG. 4 is a time chart for explaining a steady state determination flow according to the first embodiment; FIG. 第一実施形態による定常判定フローを説明するためのタイムチャートである。FIG. 4 is a time chart for explaining a steady state determination flow according to the first embodiment; FIG. 第一実施形態による断続判定フローを説明するためのタイムチャートである。4 is a time chart for explaining an intermittent determination flow according to the first embodiment; 第一実施形態による断続判定フローを説明するためのタイムチャートである。4 is a time chart for explaining an intermittent determination flow according to the first embodiment; 第二実施形態による眼球指標検出装置の詳細構成を示すブロック図である。FIG. 11 is a block diagram showing the detailed configuration of the eyeball index detection device according to the second embodiment; 第二実施形態による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。FIG. 10 is a flow chart showing an intermittent determination flow in the flow of the eye index detection method according to the second embodiment; FIG. 第二実施形態による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。FIG. 10 is a flow chart showing an intermittent determination flow in the flow of the eye index detection method according to the second embodiment; FIG. 第二実施形態による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。FIG. 10 is a flow chart showing an intermittent determination flow in the flow of the eye index detection method according to the second embodiment; FIG. 第二実施形態による断続判定フローを説明するためのタイムチャートである。FIG. 9 is a time chart for explaining an intermittent determination flow according to the second embodiment; FIG. 第二実施形態による断続判定フローを説明するためのタイムチャートである。FIG. 9 is a time chart for explaining an intermittent determination flow according to the second embodiment; FIG. 変形例による眼球指標検出方法のフローのうち定常判定フローを示すフローチャートである。10 is a flow chart showing a steady determination flow among the flows of the eyeball index detection method according to the modification; 変形例による定常判定フローを説明するためのタイムチャートである。It is a time chart for demonstrating the steady-state determination flow by a modification. 変形例による眼球指標検出方法のフローのうち断続判定フローを示すフローチャートである。10 is a flow chart showing an intermittent determination flow in the flow of an eyeball index detection method according to a modification; 変形例による断続判定フローを説明するためのタイムチャートである。It is a time chart for demonstrating the intermittent determination flow by a modification.

以下、複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。 A plurality of embodiments will be described below with reference to the drawings. Note that redundant description may be omitted by assigning the same reference numerals to corresponding components in each embodiment. When only a part of the configuration is described in each embodiment, the configurations of other embodiments previously described can be applied to other portions of the configuration. Moreover, not only the combinations of the configurations explicitly specified in the description of each embodiment, but also the configurations of a plurality of embodiments can be partially combined even if they are not specified unless there is a particular problem with the combination.

(第一実施形態)
図1に示すように第一実施形態による眼球指標検出装置1は、監視対象者2の顔2aにおける眼球2bに関連した眼球指標を、検出する。眼球指標検出装置1は、車両に搭載されて、監視対象者2である乗員の眼球指標を検出してもよい。この場合に眼球指標の検出結果は、例えば車両の運転制御等に利用される。眼球指標検出装置1は、コンピュータに接続されて、監視対象者2であるユーザの眼球指標を検出してもよい。この場合に眼球指標の検出結果は、例えばコンピュータの操作制御等に利用される。眼球指標検出装置1の適用形態は、これら以外の形態であっても勿論よい。
(First embodiment)
As shown in FIG. 1, the eyeball index detection device 1 according to the first embodiment detects eyeball indexes related to the eyeballs 2b on the face 2a of the monitoring subject 2. As shown in FIG. The eyeball index detection device 1 may be mounted on a vehicle to detect the eyeball index of the passenger who is the person to be monitored 2 . In this case, the detection result of the eyeball index is used, for example, for driving control of the vehicle. The eyeball index detection device 1 may be connected to a computer to detect the eyeball index of the user who is the monitored person 2 . In this case, the detection result of the eyeball index is used, for example, for computer operation control. Needless to say, the application form of the eyeball index detection device 1 may be a form other than these.

眼球指標検出装置1により検出の眼球指標は、定常指標及び断続指標である。定常指標は、監視対象者2の顔2aにおける眼球2bの定常的な運動に合わせて、随時変化する。即ち定常指標とは、眼球2bの定常変化する運動状態を表した、眼球指標を意味する。定常指標としては、眼球2bの視線及び開眼度のうち、少なくとも一方が検出される。視線は、眼球2bのうち瞳孔の向く方向により定義されてもよいし、顔2aの正面方向に対する当該方向の角度により定義されてもよい。開眼度は、顔2aの上下方向における眼球2bの開き幅の最大値に対する比率により定義されてもよい。 The eyeball indices detected by the eyeball index detection device 1 are a steady index and an intermittent index. The steady index changes at any time according to the steady movement of the eyeballs 2b on the face 2a of the person to be monitored 2. FIG. That is, the stationary index means an eyeball index that represents a constantly changing motion state of the eyeball 2b. At least one of the line of sight and the degree of eye opening of the eyeball 2b is detected as the constant index. The line of sight may be defined by the direction in which the pupil of the eyeball 2b faces, or may be defined by the angle of that direction with respect to the frontal direction of the face 2a. The degree of eye opening may be defined by the ratio of the opening width of the eyeballs 2b in the vertical direction of the face 2a to the maximum value.

断続指標は、監視対象者2の顔2aにおける眼球2bの断続的な運動に応じたタイミング毎に、変化する。即ち断続指標とは、眼球2bの断続変化する運動状態を表した、眼球指標を意味する。断続指標としては、眼球2bの断続運動(以下、眼球断続運動という)及び瞬目の有無のうち、少なくとも一方が検出される。眼球断続運動は、眼球2bのサッカード運動を含む。サッカード運動は、監視対象者2が視線を意図して変化させる場合に生じる、短時間で高速な運動であってもよいし、監視対象者2が注視(即ち、固視)中に不随意に生じる、微動で急速な運動であってもよい。眼球断続運動には勿論、こうしたサッカード運動以外の断続運動が含まれていてもよい。瞬目運動は、眼球2bの開閉する、所謂瞬きである。 The intermittent index changes at each timing according to intermittent movements of the eyeballs 2b on the face 2a of the person to be monitored 2. FIG. In other words, the intermittent index means an eyeball index representing the state of intermittent movement of the eyeball 2b. At least one of the intermittent movement of the eyeball 2b (hereinafter referred to as intermittent eyeball movement) and the presence or absence of blinking is detected as the intermittent index. The intermittent eye movement includes saccade movement of the eyeball 2b. A saccade movement may be a short-term, high-speed movement that occurs when the monitored person 2 intentionally changes his/her line of sight, or may be an involuntary movement that occurs while the monitored person 2 is gazing (i.e., fixation). It may be a micro-movement and rapid movement that occurs in the body. Intermittent eye movements may of course include intermittent movements other than such saccade movements. The blinking motion is a so-called blinking that opens and closes the eyeball 2b.

眼球指標検出装置1は、情報取得ユニット3及び電子制御ユニット4を含んで構成される。情報取得ユニット3は、監視対象者2の顔情報を取得する。情報取得ユニット3による顔情報の取得は、監視対象者2若しくは他者からの指示に従って、又は電子制御ユニット4若しくは他ユニットからの制御に従って、実行される。顔情報は、監視対象者2の顔2aのうち、少なくとも眼球2bを含む複数部位の状態(以下、顔状態という)に、関する情報である。 The eye index detection device 1 includes an information acquisition unit 3 and an electronic control unit 4 . The information acquisition unit 3 acquires face information of the monitored person 2 . Acquisition of face information by the information acquisition unit 3 is executed according to instructions from the person to be monitored 2 or others, or according to control from the electronic control unit 4 or other units. The face information is information relating to the state of a plurality of parts including at least the eyeballs 2b in the face 2a of the person to be monitored 2 (hereinafter referred to as "face state").

情報取得ユニット3は、監視対象者2の顔2aを撮影する、例えばカメラ等の撮像装置を主体に構成される。そこで情報取得ユニット3では、撮像装置により撮影されて生成される画像が、顔情報として利用される。眼球指標検出装置1が車両に搭載される場合、車両に搭載された例えば車内カメラ等の撮像装置が、情報取得ユニット3として利用されてもよい。情報取得ユニット3は、こうした撮像装置以外にも、監視対象者2における眼球2bの運動を波形出力する、例えば眼電図計測装置等を含んでいてもよい。この場合に情報取得ユニット3では、眼電図計測装置により計測される眼電図も、顔情報として利用される。尚、情報取得ユニット3が上記車両に搭載の撮像装置を含む場合、眼球指標検出装置1は電子制御ユニット4のみから構成されてもよい。 The information acquisition unit 3 is mainly composed of an image pickup device such as a camera for photographing the face 2a of the person to be monitored 2 . Therefore, in the information acquisition unit 3, an image captured by an imaging device and generated is used as face information. When the eye index detection device 1 is mounted on a vehicle, an imaging device such as an in-vehicle camera mounted on the vehicle may be used as the information acquisition unit 3 . The information acquisition unit 3 may include, for example, an electrooculogram measurement device that outputs a waveform of the movement of the eyeball 2b of the person to be monitored 2, in addition to such an imaging device. In this case, the information acquisition unit 3 also uses the electrooculogram measured by the electrooculogram measuring device as face information. Incidentally, when the information acquisition unit 3 includes an imaging device mounted on the vehicle, the eyeball index detection device 1 may be configured only with the electronic control unit 4 .

電子制御ユニット4は、例えばLAN(Local Area Network)、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して、情報取得ユニット3に接続されている。電子制御ユニット4は、メモリ5及びプロセッサ6を、少なくとも一つずつ含んで構成される専用のコンピュータである。 The electronic control unit 4 is connected to the information acquisition unit 3 via at least one of, for example, a LAN (Local Area Network), a wire harness, an internal bus, and the like. The electronic control unit 4 is a dedicated computer including at least one memory 5 and at least one processor 6 .

メモリ5は、コンピュータにより読み取り可能なプログラム及びデータを非一時的に格納する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ6は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。 The memory 5 stores computer-readable programs and data non-temporarily, and includes at least one type of non-transitory tangible storage medium such as a semiconductor memory, a magnetic medium, and an optical medium. medium). The processor 6 includes, as a core, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a RISC (Reduced Instruction Set Computer)-CPU.

プロセッサ6は、メモリ5に格納されたサッカード検出プログラムに含まれる複数の命令を、実行する。これにより電子制御ユニット4は、監視対象者2の眼球指標として定常指標及び断続指標を検出するための機能ブロックを、複数構築する。このように電子制御ユニット4では、監視対象者2の眼球指標として定常指標及び断続指標を検出するためにメモリ5に格納された眼球指標検出プログラムが複数の命令をプロセッサ6に実行させることで、複数の機能ブロックが構築される。 Processor 6 executes a plurality of instructions contained in a saccade detection program stored in memory 5 . Thereby, the electronic control unit 4 constructs a plurality of functional blocks for detecting the steady index and the intermittent index as the eyeball index of the person to be monitored 2 . In this way, in the electronic control unit 4, the eyeball index detection program stored in the memory 5 for detecting the steady index and the intermittent index as the eyeball index of the monitored person 2 causes the processor 6 to execute a plurality of commands, Multiple functional blocks are constructed.

電子制御ユニット4により構築される機能ブロックには、図2に示すように、特徴抽出ブロック10、信頼算定ブロック20、定常検出ブロック30、及び断続検出ブロック40が含まれる。 Functional blocks built by the electronic control unit 4 include a feature extraction block 10, a confidence calculation block 20, a steady state detection block 30 and an intermittent detection block 40, as shown in FIG.

特徴抽出ブロック10には、情報取得ユニット3により取得の顔情報が、入力される。特徴抽出ブロック10は、監視対象者2における顔2aの特徴点を、入力された顔情報に基づき抽出する。特徴抽出ブロック10は、抽出された顔2aのうち、左右の眼球2bを含む複数部位の特徴点を表した特徴データDを、生成する。特徴抽出ブロック10による特徴点の抽出及び特徴データDの生成は、情報取得ユニット3による顔情報の取得フレーム毎に時系列にて実行される。こうして生成される特徴データDを特徴抽出ブロック10は、時間データ(即ち、タイムスタンプ)と関連付けて時系列に、メモリ5に記憶する。 The facial information obtained by the information obtaining unit 3 is input to the feature extraction block 10 . The feature extraction block 10 extracts feature points of the face 2a of the person to be monitored 2 based on the input face information. The feature extraction block 10 generates feature data D representing feature points of a plurality of parts including the left and right eyeballs 2b of the extracted face 2a. Extraction of feature points and generation of feature data D by the feature extraction block 10 are executed in chronological order for each frame of face information acquired by the information acquisition unit 3 . The feature extraction block 10 stores the feature data D thus generated in the memory 5 in chronological order in association with time data (that is, time stamp).

信頼算定ブロック20には、特徴抽出ブロック10によりメモリ5に記憶の特徴データDが、入力される。信頼算定ブロック20は、監視対象者2における左右の眼球2bそれぞれに対して、入力された特徴データDに基づく信頼度Rを、算定する。信頼算定ブロック20による信頼度Rの算定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。こうして算定される各眼球2bの信頼度Rを信頼算定ブロック20は、それぞれの算定時に基づくこととなった特徴データDと、それぞれの算定時刻の時間データ(即ち、タイムスタンプ)とに関連付けて、メモリ5に記憶する。 The feature data D stored in the memory 5 by the feature extraction block 10 is input to the confidence calculation block 20 . The reliability calculation block 20 calculates the reliability R based on the input feature data D for each of the left and right eyeballs 2b of the person to be monitored 2. FIG. Calculation of the reliability R by the reliability calculation block 20 is performed in time series at each generation timing of the feature data D by the feature extraction block 10 . The reliability calculation block 20 associates the reliability R of each eyeball 2b calculated in this way with the feature data D based on each calculation and the time data (that is, time stamp) at each calculation time, Store in memory 5.

信頼算定ブロック20により算定の信頼度Rとは、左右の眼球2bの各状態が定常指標及び断続指標を検出する上において信頼し得る度合いを、意味する。この信頼度Rには、左右の眼球2bに共通な初期値としての標準値が、予め設定されている。そこで以下の説明では、信頼度Rを減らして算定するとは、標準値に1未満の算定係数を乗算することで、より小さな値に信頼度Rを調整する処理として、定義される。一方、信頼度Rを増やして算定するとは、標準値に1超過の算定係数を乗算することで、より大きな値に信頼度Rを調整する処理として、定義される。 The reliability R calculated by the reliability calculation block 20 means the degree to which each state of the left and right eyeballs 2b is reliable in detecting the steady index and the intermittent index. A standard value as an initial value common to the left and right eyeballs 2b is set in advance for the reliability R. Therefore, in the following description, calculation with a reduced reliability R is defined as processing for adjusting the reliability R to a smaller value by multiplying the standard value by a calculation coefficient of less than 1. On the other hand, calculating by increasing the reliability R is defined as processing for adjusting the reliability R to a larger value by multiplying the standard value by a calculation factor exceeding 1.

信頼算定ブロック20は、図3に示すように信頼度Rを増減算定するための算定基準データ21を、メモリ5から読み出す。算定基準データ21は、例えばテーブル、マップ、及び演算式等のうち少なくとも一種類の形式で生成され、メモリ5に予め記憶されている。算定基準データ21は、算定条件と算定処理とのデータセットとして、図3に示すセット22~26のうち少なくとも一セットを含んでいる。データセット22~26は、監視対象者2に現出する相異の顔状態を算定条件として、それぞれ対応する算定処理と共に定義されている。 The reliability calculation block 20 reads from the memory 5 the calculation reference data 21 for calculating the increase/decrease of the reliability R as shown in FIG. The calculation reference data 21 is generated in at least one format of, for example, a table, a map, an arithmetic expression, etc., and stored in the memory 5 in advance. The calculation reference data 21 includes at least one of the sets 22 to 26 shown in FIG. 3 as a data set of calculation conditions and calculation processing. The data sets 22 to 26 are defined together with corresponding calculation processes, using different facial states appearing on the monitored person 2 as calculation conditions.

データセット22の算定条件は、監視対象者2における顔2aの向きである。そこでデータセット22の算定処理は、この向きに応じて信頼度Rを増減する。具体的に、顔2aの向きが正面方向に対して許容範囲内となる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、顔2aの向きが正面方向に対して許容範囲外となる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における許容範囲は、例えば正面方向に対する角度で両側30度等の範囲に、設定される。 A calculation condition for the data set 22 is the orientation of the face 2 a of the person to be monitored 2 . Therefore, the calculation process of the data set 22 increases or decreases the reliability R according to this orientation. Specifically, the calculation process for increasing the reliability R is executed under the calculation condition that the orientation of the face 2a is within the allowable range with respect to the front direction. On the other hand, under calculation conditions where the orientation of the face 2a is out of the allowable range with respect to the front direction, calculation processing for reducing the reliability R is executed. The allowable range in the calculation conditions is set, for example, to a range of 30 degrees on both sides with respect to the front direction.

データセット23の算定条件は、監視対象者2における開眼度である。そこでデータセット23の算定処理は、この開眼度に応じて信頼度Rを増減する。具体的に、開眼度が許容値以上となる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、開眼度が許容値未満となる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における許容値は、例えば顔2aの上下方向における眼球2bの開き幅の最大値に対する比率にて20%等に、設定される。 A calculation condition for the data set 23 is the degree of eye opening of the monitored person 2 . Therefore, the calculation process of the data set 23 increases or decreases the reliability R according to this degree of eye opening. Specifically, a calculation process for increasing the reliability R is executed under the calculation condition that the degree of eye opening is greater than or equal to the allowable value. On the other hand, under calculation conditions where the degree of eye opening is less than the allowable value, a calculation process for reducing the reliability R is executed. The allowable value in the calculation conditions is set to 20%, for example, as a ratio of the maximum opening width of the eyeballs 2b in the vertical direction of the face 2a.

データセット24の算定条件は、監視対象者2における顔2aのうち複数部位の位置関係である。そこでデータセット24の算定処理は、この位置関係に応じて信頼度Rを増減する。具体的に、複数部位の位置関係を表す相対距離が許容範囲内でのずれに留まる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、複数部位の位置関係を表す相対距離が許容範囲外までずれる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における複数部位とは、例えば眼球2b、口、鼻、及び耳等のうち、少なくとも二つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位間の相対距離が推移する時間分布からのずれの割合にて±95%等の範囲に、設定される。 A calculation condition for the data set 24 is the positional relationship of multiple parts of the face 2 a of the person to be monitored 2 . Therefore, the calculation process of the data set 24 increases or decreases the reliability R according to this positional relationship. Specifically, a calculation process for increasing the reliability R is executed under calculation conditions in which the relative distances representing the positional relationship of the multiple sites remain within the allowable range. On the other hand, under calculation conditions in which the relative distances representing the positional relationship of multiple parts deviate beyond the allowable range, calculation processing for reducing the reliability R is executed. Note that the multiple parts in the calculation conditions are at least two parts among the eyeball 2b, mouth, nose, ears, and the like. In addition, the allowable range in the calculation conditions is set, for example, to a range of ±95% or the like in terms of the rate of deviation from the time distribution in which the relative distances between target parts change for each frame.

データセット25の算定条件は、監視対象者2における顔2aのうち所定部位の位置である。そこでデータセット25の算定処理は、この位置に応じて信頼度Rを増減する。具体的に、所定部位の位置が許容範囲内でのずれに留まる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、所定部位の位置が許容範囲外までずれる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における所定部位とは、例えば眼球2b、口、鼻、及び耳等のうち、少なくとも一つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位の位置が推移する時間分布からのずれの割合にて±95%等の範囲に、設定される。 A calculation condition for the data set 25 is the position of a predetermined portion of the face 2 a of the person to be monitored 2 . The calculation process of the data set 25 then increases or decreases the reliability R depending on this position. Specifically, a calculation process for increasing the reliability R is executed under the calculation condition that the position of the predetermined portion remains within the allowable range. On the other hand, under the calculation condition that the position of the predetermined portion is out of the allowable range, calculation processing for reducing the reliability R is executed. Note that the predetermined part in the calculation conditions is at least one of the eyeball 2b, mouth, nose, ear, and the like. In addition, the allowable range in the calculation conditions is set, for example, to a range of ±95% or the like in terms of the rate of deviation from the time distribution in which the position of the target part changes for each frame.

データセット26の算定条件は、監視対象者2における顔2aのうち所定部位の面積である。そこでデータセット26の算定処理は、この面積に応じて信頼度Rを増減する。具体的に、所定部位の面積が許容範囲内でのずれに留まる算定条件では、信頼度Rを増やす算定処理が、実行される。一方、所定部位の面積が許容範囲外までずれる算定条件では、信頼度Rを減らす算定処理が、実行される。尚、算定条件における所定部位とは、例えば眼球2b、口、鼻、及び耳等のうち、少なくとも一つの部位である。また、算定条件における許容範囲は、例えばフレーム毎に対象部位の面積が推移する時間分布からのずれの割合にて±95%等の範囲に、設定される。 A calculation condition for the data set 26 is the area of a predetermined portion of the face 2 a of the person to be monitored 2 . Therefore, the calculation process of the data set 26 increases or decreases the reliability R according to this area. Specifically, a calculation process for increasing the reliability R is executed under the calculation condition that the area of the predetermined portion remains within the allowable range. On the other hand, under calculation conditions in which the area of the predetermined portion deviates beyond the allowable range, calculation processing for reducing the reliability R is executed. Note that the predetermined part in the calculation conditions is at least one of the eyeball 2b, mouth, nose, ear, and the like. Also, the allowable range in the calculation conditions is set to a range of ±95%, for example, as a rate of deviation from the time distribution in which the area of the target site changes for each frame.

図2に示す信頼算定ブロック20は、データセット22~26のうちメモリ5における全記憶セットの算定処理を実行することで、信頼度Rを確定する。その際、標準値に乗算する算定係数は、メモリ5における記憶セットの全算定条件同士で同一値、又は記憶セットの各算定条件毎に重みを付けて相異なる値に、設定される。記憶セットの各々に設定された算定係数が標準値に乗算されることで、信頼度Rが確定される。 Confidence calculation block 20 shown in FIG. 2 establishes confidence R by performing a calculation process for all stored sets in memory 5 among data sets 22-26. At that time, the calculation coefficient to be multiplied by the standard value is set to the same value for all the calculation conditions of the memory set in the memory 5, or to different values weighted for each calculation condition of the memory set. The reliability R is determined by multiplying the standard value by the calculation factor set in each of the storage sets.

尚、信頼度Rの確定に際しては、データセット22~26のうち全記憶セットの算定条件に関して、時系列な信頼算定タイミング間(即ち、フレーム間)でのばらつき具合が、考慮されてもよい。また信頼度Rは、定常指標及び断続指標それぞれの検出対象毎に異なる値に確定されてもよいし、そうした検出対象に拘わらず同一値に確定されてもよい。例えば、定常指標として開眼度が検出対象に含まれる場合には、データセット23の算定条件及び算定処理での算出値は考慮されないことで、検出対象毎に異なる値に信頼度Rが確定されてもよい。 Incidentally, when determining the reliability R, regarding the calculation conditions for all of the data sets 22 to 26, variations between time-series reliability calculation timings (that is, between frames) may be taken into consideration. Further, the reliability R may be determined as a different value for each detection target of the steady index and the intermittent index, or may be determined as the same value regardless of such detection targets. For example, when the degree of eye opening is included in the detection target as a steady index, the calculation conditions of the data set 23 and the calculated values in the calculation process are not taken into consideration, so that the reliability R is determined as a different value for each detection target. good too.

定常検出ブロック30は、監視対象者2の定常指標である視線及び開眼度のうち、少なくとも一方の有無を、検出対象とする。定常検出ブロック30には、特徴抽出ブロック10によりメモリ5に記憶の特徴データDと、信頼算定ブロック20によりメモリ5に記憶の信頼度Rとが、監視対象者2の眼球2bそれぞれに関して入力される。定常検出ブロック30は、監視対象者2における左右の眼球2bのうち、入力された信頼度Rが高い側となる一方の眼球2bを、定常検出眼球2cとして選定する。 The constant detection block 30 detects the presence or absence of at least one of the line of sight and the degree of eye openness, which are constant indicators of the person to be monitored 2 . The steady detection block 30 receives the feature data D stored in the memory 5 by the feature extraction block 10 and the reliability R stored in the memory 5 by the reliability calculation block 20 for each of the eyeballs 2b of the monitored person 2. . The steady state detection block 30 selects one of the left and right eyeballs 2b of the person to be monitored 2, which has the higher input reliability R, as the steady state detection eyeball 2c.

定常検出ブロック30による定常検出眼球2cの選定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。そこで定常検出ブロック30は、定常指標の検出タイミング毎に信頼算定ブロック20によって算定される信頼度Rに基づくことで、当該検出タイミング毎に定常検出眼球2cを選定することとなる。 Selection of the steady detection eyeball 2c by the steady detection block 30 is performed in time series at each generation timing of the feature data D by the feature extraction block 10. FIG. Here, the detection timing of each time of the stationary index that changes steadily substantially coincides with the generation timing of each time of the feature data D by the feature extraction block 10 . Therefore, the stationary detection block 30 selects the stationary detected eyeball 2c for each detection timing based on the reliability R calculated by the reliability calculation block 20 for each detection timing of the stationary index.

定常検出ブロック30は、選定した定常検出眼球2cと関連付けてメモリ5に記憶の信頼度Rが、許容範囲内であるか否かを判定する。定常検出眼球2cに対する許容範囲は、定常指標の検出を許容する信頼度Rの下限値を閾値として、当該閾値以上の数値範囲に予め設定されてもよい。定常検出眼球2cに対する許容範囲は、定常指標の検出を禁止する信頼度Rの上限値を閾値として、当該閾値超過の数値範囲に予め設定されてもよい。 The constant detection block 30 determines whether or not the reliability R of storage in the memory 5 in association with the selected constant detection eyeball 2c is within the allowable range. The allowable range for the stationary detection eyeball 2c may be set in advance to a numerical range equal to or higher than the threshold, which is the lower limit value of the reliability R that allows detection of the stationary index. The allowable range for the steady detection eyeball 2c may be set in advance to a numerical range exceeding the threshold, with the upper limit of the reliability R for prohibiting the detection of the steady index as a threshold.

定常検出ブロック30による信頼度Rの判定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。そこで定常検出ブロック30は、定常指標の検出タイミング毎に信頼算定ブロック20によって算定される定常検出眼球2cの信頼度Rを、当該検出タイミング毎に判定することとなる。 Determination of the reliability R by the stationary detection block 30 is performed in time series at each generation timing of the feature data D by the feature extraction block 10 . Here, the detection timing of each time of the stationary index that changes steadily substantially coincides with the generation timing of each time of the feature data D by the feature extraction block 10 . Therefore, the steady detection block 30 determines the reliability R of the steady detected eyeball 2c calculated by the reliability calculation block 20 at each detection timing of the steady index at each detection timing.

信頼度Rが許容範囲外の場合に定常検出ブロック30は、選定した定常検出眼球2cに対する定常指標の検出処理を、中止する。一方、信頼度Rが許容範囲内の場合に定常検出ブロック30は、選定した定常検出眼球2cを確定する。定常検出ブロック30は、確定した定常検出眼球2cと関連付けてメモリ5に記憶の特徴データDに基づき、同眼球2cに対する定常指標を検出する。 When the reliability R is out of the allowable range, the steady state detection block 30 stops the steady index detection processing for the selected steady state detection eyeball 2c. On the other hand, when the reliability R is within the allowable range, the stationary detection block 30 determines the selected stationary eyeball 2c. The steady state detection block 30 detects a steady state index for the determined steady state detected eyeball 2c based on the feature data D stored in the memory 5 in association with the fixed eyeball 2c.

定常検出ブロック30による定常指標の検出は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、定常変化する定常指標の各回の検出タイミングは、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。そこで定常検出ブロック30は、検出タイミング毎に同じ又は異なる眼球2bに選定される定常検出眼球2cに対しての定常指標を、当該検出タイミング毎に検出することとなる。但し、検出タイミング間にて定常検出眼球2cが入れ替わる場合等には、例えば左右における開眼度の違いや利き眼の違い等による定常指標の急変を抑制するために、定常指標の補正処理が実行されてもよい。 Detection of the stationary index by the stationary detection block 30 is performed in time series at each generation timing of the feature data D by the feature extraction block 10 . Here, the detection timing of each time of the stationary index that changes steadily substantially coincides with the generation timing of each time of the feature data D by the feature extraction block 10 . Therefore, the steady detection block 30 detects a steady index for the steady detected eyeball 2c selected for the same or different eyeball 2b at each detection timing. However, when the steady detected eyeball 2c is switched between detection timings, for example, a correction process of the steady index is executed in order to suppress a sudden change in the steady index due to the difference in the degree of eye opening between the left and right eyes or the difference in the dominant eye. may

断続検出ブロック40は、監視対象者2の断続指標である眼球断続運動及び瞬目のうち、少なくとも一方の有無を、検出対象とする。断続検出ブロック40には、特徴抽出ブロック10によりメモリ5に記憶の特徴データDの中で、検出対象の断続指標に関連するデータが、監視対象者2の眼球2bそれぞれに関して入力される。 The intermittent detection block 40 detects the presence or absence of at least one of intermittent eye movement and blinking, which are intermittent indicators of the person to be monitored 2 . The discontinuity detection block 40 receives, among the feature data D stored in the memory 5 by the feature extraction block 10, data related to the discontinuity index to be detected for each of the eyeballs 2b of the person 2 to be monitored.

断続検出ブロック40は、入力された特徴データDに基づき、断続指標の変化状況を判定する。断続検出ブロック40による変化状況の判定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。変化状況判定の結果、断続指標の変化がない場合に断続検出ブロック40は、断続指標の検出処理を中止する。一方、断続指標の変化が開始されて終了するまでの間となる場合に断続検出ブロック40は、断続指標の検出処理を実行する。 The intermittence detection block 40 determines the state of change of the intermittence index based on the input feature data D. FIG. The intermittent detection block 40 determines the change state in time series at each generation timing of the feature data D by the feature extraction block 10 . As a result of the change status determination, if there is no change in the intermittence indicator, the intermittence detection block 40 stops the detection process of the intermittence indicator. On the other hand, when the change of the intermittence index is between the start and the end, the intermittence detection block 40 executes the detection processing of the intermittence index.

断続検出ブロック40には、信頼算定ブロック20によりメモリ5に記憶の信頼度Rが、監視対象者2の眼球2bそれぞれに関して入力される。断続検出ブロック40は、監視対象者2における左右の眼球2bのうち、入力された信頼度Rが高い側となる一方の眼球2bを、断続検出眼球2dとして選定する。 The reliability R stored in the memory 5 by the reliability calculation block 20 is input to the discontinuity detection block 40 for each eye 2b of the monitored person 2 . The discontinuity detection block 40 selects one of the left and right eyeballs 2b of the person to be monitored 2 that has the higher input reliability R as the discontinuity detection eyeball 2d.

断続検出ブロック40による断続検出眼球2dの選定は、断続指標の変化開始タイミングに限って実行される。ここで、断続変化の開始から終了までの間における断続指標の各回の検出タイミングのうち、最初の検出タイミングが、断続指標の変化開始タイミングと実質一致する。そこで断続検出ブロック40は、断続指標の変化開始タイミングにて信頼算定ブロック20により算定される信頼度Rに基づくことで、断続検出眼球2dを選定することとなる。 The discontinuity detection block 40 selects the discontinuity detection eyeball 2d only at the timing when the discontinuity index starts to change. Here, among the detection timings of the intermittent index from the start to the end of the intermittent change, the first detection timing substantially coincides with the change start timing of the intermittent index. Therefore, the discontinuity detection block 40 selects the discontinuity detection eyeball 2d based on the reliability R calculated by the reliability calculation block 20 at the change start timing of the discontinuity index.

断続検出ブロック40は、選定した断続検出眼球2dと関連付けてメモリ5に記憶の信頼度Rが、許容範囲内であるか否かを判定する。断続検出眼球2dに対する許容範囲は、断続指標の検出を許容する信頼度Rの下限値を閾値として、当該閾値以上の数値範囲に予め設定されてもよい。断続検出眼球2dに対する許容範囲は、断続指標の検出を禁止する信頼度Rの上限値を閾値として、当該閾値超過の数値範囲に予め設定されてもよい。これらいずれの場合であっても、断続検出眼球2dに対する許容範囲は、上述した定常検出眼球2cに対する許容範囲と同一の範囲であってもよいし、異なる範囲であってもよい。 The discontinuity detection block 40 determines whether or not the reliability R stored in the memory 5 in association with the selected discontinuity detection eyeball 2d is within the allowable range. The permissible range for the intermittent detection eyeball 2d may be set in advance to a numerical range equal to or greater than the threshold, which is the lower limit value of the reliability R that permits detection of the intermittent indicator. The allowable range for the intermittent detection eyeball 2d may be set in advance to a numerical range exceeding the threshold, with the upper limit value of the reliability R for prohibiting the detection of the intermittent indicator as a threshold. In any of these cases, the allowable range for the intermittent detection eyeball 2d may be the same as or different from the above-described allowable range for the steady detection eyeball 2c.

断続検出ブロック40による信頼度Rの判定は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、断続変化する断続指標の各回の検出タイミングは、断続変化の開始から終了までの間では、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。そこで断続検出ブロック40は、断続指標の検出タイミング毎に信頼算定ブロック20によって算定される定常検出眼球2cの信頼度Rを、当該検出タイミング毎に判定することとなる。 Determination of the reliability R by the discontinuity detection block 40 is performed in time series at each generation timing of the feature data D by the feature extraction block 10 . Here, the timing of each detection of the intermittently changing intermittent index substantially matches the timing of each generation of the feature data D by the feature extraction block 10 from the start to the end of the intermittent change. Therefore, the discontinuity detection block 40 determines the reliability R of the steady detected eyeball 2c calculated by the reliability calculation block 20 for each detection timing of the discontinuity indicator.

信頼度Rが許容範囲外である場合に断続検出ブロック40は、選定した断続検出眼球2dに対する断続指標の検出処理を、中止する。一方、信頼度Rが許容範囲内である場合に断続検出ブロック40は、選定した断続検出眼球2dを確定する。断続検出ブロック40は、確定した断続検出眼球2dと関連付けてメモリ5に記憶の特徴データDに基づき、同眼球2dに対する断続指標を検出する。 If the reliability R is out of the allowable range, the discontinuity detection block 40 stops the discontinuity indicator detection processing for the selected discontinuity detection eyeball 2d. On the other hand, if the reliability R is within the allowable range, the discontinuity detection block 40 determines the selected discontinuity detection eyeball 2d. The discontinuity detection block 40 detects the discontinuity index for the determined discontinuity detection eyeball 2d based on the feature data D stored in the memory 5 in association with the determined discontinuity detection eyeball 2d.

断続検出ブロック40による断続指標の検出は、特徴抽出ブロック10による特徴データDの生成タイミング毎に時系列にて実行される。ここで、断続変化する断続指標の各回の検出タイミングは、断続変化の開始から終了までの間では、特徴抽出ブロック10による特徴データDの各回の生成タイミングと実質一致する。一方、上述した断続検出眼球2dの選定は、断続指標の変化開始に一回実行されると、その後の変化終了までは実行されない。これらにより断続検出ブロック40は、変化開始タイミングから変化終了タイミングまでの間は同じ側の眼球2bに維持される断続検出眼球2dに対しての断続指標を、それら変化開始タイミング及び変化終了タイミング間での検出タイミング毎に、検出することとなる。 The detection of the discontinuity index by the discontinuity detection block 40 is performed in chronological order at each generation timing of the feature data D by the feature extraction block 10 . Here, the timing of each detection of the intermittently changing intermittent index substantially matches the timing of each generation of the feature data D by the feature extraction block 10 from the start to the end of the intermittent change. On the other hand, once the selection of the intermittent detection eyeball 2d described above is executed once when the intermittent index starts to change, it is not executed until the end of the change after that. As a result, the discontinuity detection block 40 detects the discontinuity index for the discontinuity detection eyeball 2d that is maintained in the eyeball 2b on the same side from the change start timing to the change end timing, between the change start timing and the change end timing. is detected at each detection timing of .

ここまで説明したブロック10,20,30,40の共同により、電子制御ユニット4が監視対象者2の眼球指標を検出する眼球指標検出方法のフローを、以下に説明する。眼球指標検出方法のフローは、図4に示す共通フローと、図5に示す定常判定フローと、図6に示す断続判定フローとから、構成される。尚、後述する各フローにおいて「S」とは、眼球指標検出プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。 The flow of the eyeball index detection method in which the electronic control unit 4 detects the eyeball index of the monitored subject 2 in cooperation with the blocks 10, 20, 30, and 40 described so far will be described below. The flow of the eye index detection method is composed of a common flow shown in FIG. 4, a steady determination flow shown in FIG. 5, and an intermittent determination flow shown in FIG. In each flow described later, "S" means multiple steps of the flow executed by multiple instructions included in the eye index detection program.

図4に示す共通フローは、情報取得ユニット3による顔情報の取得フレーム毎に、実行される。共通フローのS101では、情報取得ユニット3により取得された顔情報に基づくことで、監視対象者2における顔2aの特徴点を、特徴抽出ブロック10により抽出する。S101ではさらに、抽出された特徴点を表す特徴データDを、特徴抽出ブロック10により生成してメモリ5に記憶する。 The common flow shown in FIG. 4 is executed for each frame of face information acquired by the information acquisition unit 3 . In S<b>101 of the common flow, the feature extraction block 10 extracts the feature points of the face 2 a of the person to be monitored 2 based on the face information acquired by the information acquisition unit 3 . Further, in S101, feature data D representing the extracted feature points is generated by the feature extraction block 10 and stored in the memory 5. FIG.

共通フローのS102では、S101にて記憶された最新の特徴データDに基づくことで、監視対象者2における左右の眼球2bそれぞれに対する信頼度Rを、信頼算定ブロック20により算定する。S102ではさらに、各眼球2bに対して算定された信頼度Rを、それぞれ対応する特徴データD及び時間データと関連付けて、信頼算定ブロック20によりメモリ5に記憶する。その結果、共通フローの今回の実行が終了する。 In S102 of the common flow, the reliability calculation block 20 calculates the reliability R for each of the left and right eyeballs 2b of the monitored subject 2 based on the latest feature data D stored in S101. Further, in S102, the reliability R calculated for each eyeball 2b is stored in the memory 5 by the reliability calculation block 20 in association with the corresponding feature data D and time data. As a result, the current execution of the common flow ends.

眼球指標検出方法のフローのうち、図5に示す定常判定フローは、情報取得ユニット3による顔情報の取得フレーム毎に、実行される。定常判定フローのS201では、各眼球2bに対して定常指標の検出タイミング毎に算定される信頼度Rとして、メモリ5に記憶の最新の信頼度Rを、監視対象者2の眼球2bそれぞれに関して定常検出ブロック30により読み出す。 Among the flows of the eye index detection method, the regular determination flow shown in FIG. 5 is executed for each frame of face information acquired by the information acquisition unit 3 . In S201 of the steady determination flow, the latest reliability R stored in the memory 5 is used as the reliability R calculated for each detection timing of the steady index for each eyeball 2b. Read out by the detection block 30 .

定常判定フローにおいて続くS202では、S201にて読み出された信頼度Rが高い側の眼球2bを、定常検出眼球2cとして定常検出ブロック30により選定する。S202ではさらに、選定した定常検出眼球2cが左右いずれの眼球2bであるかを、定常検出ブロック30によりメモリ5に記憶する。 In S202, which follows the steady determination flow, the steady detection block 30 selects the eyeball 2b with the higher reliability R read out in S201 as the steady detection eyeball 2c. Further, in S202, the stationary detection block 30 stores in the memory 5 which eyeball 2b is the left or right eyeball 2c that has been selected as the stationary detection eyeball 2c.

定常判定フローにおいて続くS203では、メモリ5に記憶の最新の定常検出眼球2cが左側の眼球2bであるか否かを、定常検出ブロック30により判定する。その結果、肯定判定が下された場合、即ち定常指標の検出タイミングにて選定された定常検出眼球2cが左側の眼球2bである場合に定常判定フローでは、S204へ移行する。 In S203, which follows the steady-state determination flow, the steady-state detection block 30 determines whether or not the latest steady-state detected eyeball 2c stored in the memory 5 is the left eyeball 2b. As a result, when affirmative determination is made, that is, when the steady detection eyeball 2c selected at the detection timing of the steady index is the left eyeball 2b, the steady determination flow proceeds to S204.

S204では、メモリ5に記憶の信頼度Rのうち、左側眼球2bに関する最新の信頼度Rを、定常検出ブロック30により読み出す。S204ではさらに、読み出した左側眼球2bの信頼度Rが許容範囲内であるか否かを、定常検出ブロック30により判定する。その結果、肯定判定が下された場合に断続判定フローでは、S205,S206へ順次移行する。 In S204, the steady detection block 30 reads out the latest reliability R regarding the left eyeball 2b among the reliability R stored in the memory 5. FIG. Further, in S204, the stationary detection block 30 determines whether or not the read reliability R of the left eyeball 2b is within the allowable range. As a result, when an affirmative determination is made, the intermittent determination flow proceeds to S205 and S206 sequentially.

S205では、定常検出ブロック30により、定常検出眼球2cの選定を左側眼球2bに確定する。続くS206では、メモリ5に記憶の特徴データDのうち、左側眼球2bに関する最新の特徴データDを、定常検出ブロック30により読み出す。S206ではさらに、読み出した特徴データDに基づくことで、定常検出眼球2cとしての左側眼球2bの定常指標を、定常検出ブロック30により検出する。その結果、定常判定フローの今回の実行が終了する。 In S205, the constant detection block 30 determines the selection of the left eyeball 2b as the constant detection eyeball 2c. In the following S206, among the feature data D stored in the memory 5, the regular detection block 30 reads out the latest feature data D regarding the left eyeball 2b. Further, in S206, based on the read feature data D, the steady detection block 30 detects the steady index of the left eyeball 2b as the steady detection eyeball 2c. As a result, the current execution of the steady determination flow ends.

以上、左側眼球2bの信頼度Rが右側眼球2bの信頼度Rよりも高い検出タイミングには、左側眼球2bが選定される。したがって、左側眼球2bの信頼度Rが許容範囲内に収まる間の定常指標は、図7に示すように信頼度Rの高低関係が前回の検出タイミングから入れ替わった場合には、当該前回とは異なる左側眼球2bに対して検出されるといえる。また一方、左側眼球2bの信頼度Rが許容範囲内に収まる間の定常指標は、図7に示すように信頼度Rの高低関係が前回の検出タイミングから入れ替わっていない場合には、当該前回と同じ左側眼球2bに対して検出されるといえる。尚、図7では、定常検出眼球2cに対して信頼度Rの許容範囲を決める上述の下限値又は上限値が閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, the left eyeball 2b is selected at the detection timing when the reliability R of the left eyeball 2b is higher than the reliability R of the right eyeball 2b. Therefore, the stationary index while the reliability R of the left eyeball 2b is within the allowable range is different from the previous detection timing when the level relationship of the reliability R is switched from the previous detection timing as shown in FIG. It can be said that the left eyeball 2b is detected. On the other hand, the steady-state index while the reliability R of the left eyeball 2b is within the allowable range is, as shown in FIG. It can be said that the same left eyeball 2b is detected. In FIG. 7, the above-described lower limit value or upper limit value that determines the allowable range of the reliability R for the steady detection eyeball 2c is represented as the threshold value Rth, so that the reliability R is within the allowable range at each detection timing. It is possible to easily understand whether it is inside or outside.

図5に示すようにS203にて否定判定が下された場合、即ち定常指標の検出タイミングにて選定された定常検出眼球2cが右側の眼球2bである場合に定常判定フローでは、S207へ移行する。 As shown in FIG. 5, when a negative determination is made in S203, that is, when the stationary detection eyeball 2c selected at the detection timing of the stationary index is the right eyeball 2b, the stationary determination flow proceeds to S207. .

S207では、メモリ5に記憶の信頼度Rのうち、右側眼球2bに関する最新の信頼度Rを、定常検出ブロック30により読み出す。S207ではさらに、読み出した右側眼球2bの信頼度Rが許容範囲内であるか否かを、定常検出ブロック30により判定する。その結果、肯定判定が下された場合に断続判定フローでは、S208,S209へ順次移行する。 In S207, the steady detection block 30 reads out the latest reliability R regarding the right eyeball 2b among the reliability R stored in the memory 5. FIG. Further, in S207, the stationary detection block 30 determines whether or not the read reliability R of the right eyeball 2b is within the allowable range. As a result, when an affirmative determination is made, the intermittent determination flow proceeds to S208 and S209 sequentially.

S208では、定常検出ブロック30により、定常検出眼球2cの選定を右側眼球2bに確定する。続くS209では、メモリ5に記憶の特徴データDのうち、右側眼球2bに関する最新の特徴データDを、定常検出ブロック30により読み出す。S209ではさらに、読み出した特徴データDに基づくことで、定常検出眼球2cとしての右側眼球2bの定常指標を、定常検出ブロック30により検出する。その結果、定常判定フローの今回の実行が終了する。 In S208, the constant detection block 30 determines the selection of the right eyeball 2b as the constant detection eyeball 2c. In the following S209, among the feature data D stored in the memory 5, the regular detection block 30 reads out the latest feature data D regarding the right eyeball 2b. Further, in S209, based on the read feature data D, the steady detection block 30 detects the steady index of the right eyeball 2b as the steady detection eyeball 2c. As a result, the current execution of the steady determination flow ends.

以上、右側眼球2bの信頼度Rが左側眼球2bの信頼度Rよりも高い検出タイミングには、右側眼球2bが選定される。したがって、右側眼球2bの信頼度Rが許容範囲内に収まる間の定常指標は、図8に示すように信頼度Rの高低関係が前回の検出タイミングから入れ替わった場合には、当該前回とは異なる右側眼球2bに対して検出されるといえる。また一方、右側眼球2bの信頼度Rが許容範囲内に収まる間の定常指標は、図8に示すように信頼度Rの高低関係が前回の検出タイミングから入れ替わっていない場合には、当該前回と同じ右側眼球2bに対して検出されるといえる。尚、図8でも、定常検出眼球2cに対して信頼度Rの許容範囲を決める上述の下限値又は上限値が閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, the right eyeball 2b is selected at the detection timing when the reliability R of the right eyeball 2b is higher than the reliability R of the left eyeball 2b. Therefore, the steady-state index while the reliability R of the right eyeball 2b is within the allowable range is different from the previous detection timing when the level relationship of the reliability R changes from the previous detection timing as shown in FIG. It can be said that the right eyeball 2b is detected. On the other hand, the steady index while the reliability R of the right eyeball 2b is within the allowable range is, as shown in FIG. It can be said that it is detected for the same right eyeball 2b. In FIG. 8 as well, the aforementioned lower limit value or upper limit value that determines the allowable range of the reliability R for the stationary detected eyeball 2c is represented as the threshold value Rth, so that the reliability R is within the allowable range at each detection timing. It is possible to easily understand whether it is inside or outside.

図5に示すようにS204又はS207にて否定判定が下された場合、即ち定常検出眼球2cに選定された左側眼球2b又は右側眼球2bに関する最新の信頼度Rが許容範囲外の場合、断続判定フローではS210へ移行する。S210では、定常検出ブロック30による断続指標の検出処理を中止する。その結果、定常判定フローの今回の実行が終了する。ここまでの説明から定常指標の検出では、信頼度Rが低い方に引っ張られることによる検出精度の低下を抑制しつつ、プロセッサ6による処理速度の高速化及び処理負荷の低減を図ることが、可能となっている。 If a negative determination is made in S204 or S207 as shown in FIG. 5, that is, if the latest reliability R regarding the left eyeball 2b or the right eyeball 2b selected as the steady detection eyeball 2c is outside the allowable range, intermittent determination The flow moves to S210. In S210, the intermittent index detection processing by the steady state detection block 30 is stopped. As a result, the current execution of the steady determination flow ends. From the explanation so far, it is possible to increase the processing speed and reduce the processing load of the processor 6 while suppressing the deterioration of the detection accuracy due to the lower reliability R in the detection of the steady index. It has become.

図6に示す断続判定フローは、情報取得ユニット3による顔情報の取得フレーム毎に、実行される。断続判定フローのS300では、メモリ5に記憶の最新の特徴データDを、断続検出ブロック40により読み出す。S300ではさらに、読み出した特徴データDに基づくことで、断続指標の変化状況を断続検出ブロック40により判定する。 The intermittent determination flow shown in FIG. 6 is executed for each frame of face information acquired by the information acquisition unit 3 . In S 300 of the intermittence determination flow, the latest feature data D stored in the memory 5 is read by the intermittence detection block 40 . Further, in S300, the intermittence detection block 40 determines the state of change of the intermittence index based on the read feature data D. FIG.

その結果、断続指標の変化はないとの判定が下された場合に断続判定フローでは、後述するS310にて断続指標の検出処理が中止されてから、断続判定フローの今回の実行が終了する。断続指標は変化開始のタイミングにあるとの判定が下された場合に断続判定フローでは、S301,S302へ順次移行する。断続指標は変化開始タイミング後の変化途中にあるとの判定が下された場合に断続判定フローでは、S301,S302をスキップしてS303へと移行する。 As a result, when it is determined that there is no change in the intermittence indicator, the current execution of the intermittence determination flow ends after the intermittence indicator detection process is stopped in S310, which will be described later. When it is determined that the intermittence indicator is at the timing of starting to change, the intermittence determination flow sequentially proceeds to S301 and S302. When it is determined that the intermittence index is in the middle of changing after the change start timing, the intermittence determination flow skips S301 and S302 and proceeds to S303.

S301では、各眼球2bに対して断続指標の変化開始タイミングに算定される信頼度Rとして、メモリ5に記憶の最新の信頼度Rを、監視対象者2の眼球2bそれぞれに関して断続検出ブロック40により読み出す。続くS302では、S301にて読み出された信頼度Rが高い側の眼球2bを、断続検出眼球2dとして断続検出ブロック40により選定する。S302ではさらに、選定した断続検出眼球2dが左右いずれの眼球2bであるかを、断続検出ブロック40によりメモリ5に記憶する。 In S301, the latest reliability R stored in the memory 5 is obtained by the intermittence detection block 40 for each eyeball 2b of the monitored subject 2 as the reliability R calculated at the start timing of the change of the intermittent index for each eyeball 2b. read out. In subsequent S302, the intermittent detection block 40 selects the eyeball 2b with the higher reliability R read out in S301 as the intermittent detection eyeball 2d. Further, in S302, the discontinuity detection block 40 stores in the memory 5 whether the selected discontinuity detection eyeball 2d is the left or right eyeball 2b.

断続判定フローにおいてS300又はS302に続くS303では、メモリ5に記憶の最新の断続検出眼球2dが左側の眼球2bであるか否かを、断続検出ブロック40により判定する。その結果、肯定判定が下された場合、即ち断続指標の変化開始タイミングにて選定された断続検出眼球2dが左側の眼球2bである場合に断続判定フローでは、S304へ移行する。 In S303 following S300 or S302 in the discontinuity determination flow, the discontinuity detection block 40 determines whether or not the latest discontinuity detection eyeball 2d stored in the memory 5 is the left eyeball 2b. As a result, if an affirmative determination is made, that is, if the intermittent detection eyeball 2d selected at the change start timing of the intermittent index is the left eyeball 2b, the intermittent determination flow proceeds to S304.

S304では、メモリ5に記憶の信頼度Rのうち、左側眼球2bに関する最新の信頼度Rを、断続検出ブロック40により読み出す。S304ではさらに、読み出した左側眼球2bの信頼度Rが許容範囲内であるか否かを、断続検出ブロック40により判定する。その結果、肯定判定が下された場合に断続判定フローでは、S305,S306へ順次移行する。 In S304, the intermittent detection block 40 reads out the latest reliability R regarding the left eyeball 2b among the reliability R stored in the memory 5. FIG. In S304, the discontinuity detection block 40 further determines whether or not the read reliability R of the left eyeball 2b is within the allowable range. As a result, when an affirmative determination is made, the intermittent determination flow proceeds to S305 and S306 sequentially.

S305では、断続検出ブロック40により、断続検出眼球2dの選定を左側眼球2bに確定する。続くS306では、メモリ5に記憶の特徴データDのうち、左側眼球2bに関する最新の特徴データDを、断続検出ブロック40により読み出す。S306ではさらに、読み出した特徴データDに基づくことで、断続検出眼球2dとしての左側眼球2bの断続指標を、断続検出ブロック40により検出する。その結果、断続判定フローの今回の実行が終了する。 In S305, the discontinuity detection block 40 determines the selection of the left eyeball 2b as the discontinuity detection eyeball 2d. In the following S306, among the feature data D stored in the memory 5, the discontinuity detection block 40 reads out the latest feature data D regarding the left eyeball 2b. Further, in S306, based on the read feature data D, the discontinuity detection block 40 detects the discontinuity index of the left eyeball 2b as the discontinuity detection eyeball 2d. As a result, the current execution of the intermittence determination flow ends.

以上、左側眼球2bの信頼度Rが右側眼球2bの信頼度Rよりも高い断続指標の変化開始タイミングから、その後の変化終了タイミングまでの各検出タイミングには、左側眼球2bが継続して断続検出眼球2dに選定される。したがって、変化開始タイミングにて高い左側眼球2bの信頼度Rが断続変化の間は許容範囲内のまま推移する検出タイミングの断続指標は、図9に示すように信頼度Rの高低関係が入れ替わったとしても、同じ左側眼球2bに対して検出されるといえる。尚、図9では、断続検出眼球2dに対して信頼度Rの許容範囲を決める上述の下限値又は上限値が閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, the intermittent detection of the left eyeball 2b continues at each detection timing from the timing when the intermittent indicator starts changing when the reliability R of the left eyeball 2b is higher than the reliability R of the right eyeball 2b to the timing when the change ends thereafter. The eyeball 2d is selected. Therefore, the intermittent index of the detection timing, in which the reliability R of the left eyeball 2b, which is high at the change start timing, stays within the allowable range during the intermittent change, changes the high-low relationship of the reliability R as shown in FIG. , it can be said to be detected for the same left eyeball 2b. In FIG. 9, the above-described lower limit value or upper limit value that determines the allowable range of the reliability R for the intermittent detection eyeball 2d is represented as the threshold value Rth, so that the reliability R is within the allowable range at each detection timing. It is possible to easily understand whether it is inside or outside.

図6に示すようにS303にて否定判定が下された場合、即ち断続指標の変化開始タイミングに選定された断続検出眼球2dが右側の眼球2bである場合に断続判定フローでは、S307へ移行する。 As shown in FIG. 6, when a negative determination is made in S303, that is, when the intermittent detection eyeball 2d selected at the change start timing of the intermittent index is the right eyeball 2b, the intermittent determination flow proceeds to S307. .

S307では、メモリ5に記憶の信頼度Rのうち、右側眼球2bに関する最新の信頼度Rを、断続検出ブロック40により読み出す。S307ではさらに、読み出した右側眼球2bの信頼度Rが許容範囲内であるか否かを、断続検出ブロック40により判定する。その結果、肯定判定が下された場合に断続判定フローでは、S308,S309へ順次移行する。 In S307, the intermittent detection block 40 reads out the latest reliability R regarding the right eyeball 2b among the reliability R stored in the memory 5. FIG. In S307, the discontinuity detection block 40 further determines whether or not the read reliability R of the right eyeball 2b is within the allowable range. As a result, when an affirmative determination is made, the intermittent determination flow proceeds to S308 and S309 in sequence.

S308では、断続検出ブロック40により、断続検出眼球2dの選定を右側眼球2bに確定する。続くS309では、メモリ5に記憶の特徴データDのうち、右側眼球2bに関する最新の特徴データDを、断続検出ブロック40により読み出す。S309ではさらに、読み出した特徴データDに基づくことで、断続検出眼球2dとしての右側眼球2bの断続指標を、断続検出ブロック40により検出する。その結果、断続判定フローの今回の実行が終了する。 In S308, the discontinuity detection block 40 determines the selection of the right eyeball 2b as the discontinuity detection eyeball 2d. In the following S309, among the feature data D stored in the memory 5, the latest feature data D regarding the right eyeball 2b is read out by the discontinuity detection block 40. FIG. Further, in S309, based on the read feature data D, the discontinuity detection block 40 detects the discontinuity index of the right eyeball 2b as the discontinuity detection eyeball 2d. As a result, the current execution of the intermittence determination flow ends.

以上、右側眼球2bの信頼度Rが左側眼球2bの信頼度Rよりも高い断続指標の変化開始タイミングから、その後の変化終了タイミングまでの各検出タイミングには、右側眼球2bが継続して断続検出眼球2dに選定される。したがって、変化開始タイミングにて高い右側眼球2bの信頼度Rが断続変化の間は許容範囲内のまま推移する検出タイミングの断続指標は、図10に示すように信頼度Rの高低関係が入れ替わったとしても、同じ右側眼球2bに対して検出されるといえる。尚、図10でも、断続検出眼球2dに対して信頼度Rの許容範囲を決める上述の下限値又は上限値が、閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, the right eyeball 2b is continuously intermittently detected at each detection timing from the change start timing of the intermittent index where the reliability R of the right eyeball 2b is higher than the reliability R of the left eyeball 2b to the subsequent change end timing. The eyeball 2d is selected. Therefore, the intermittent index of the detection timing, in which the reliability R of the right eyeball 2b, which is high at the change start timing, remains within the allowable range during the intermittent change, changes the relationship between high and low reliability R as shown in FIG. , it can be said to be detected for the same right eyeball 2b. Note that in FIG. 10 as well, the above-described lower limit value or upper limit value that determines the allowable range of the reliability R for the intermittent detection eyeball 2d is expressed as the threshold value Rth, so that the reliability R is allowed at each detection timing. It is possible to easily understand whether it is inside or outside the range.

図6に示すようにS304又はS307にて否定判定が下された場合、即ち断続検出眼球2dに選定された左側眼球2b又は右側眼球2bに関する最新の信頼度Rが許容範囲外の場合、断続判定フローではS310へ移行する。S310では、断続検出ブロック40による断続指標の検出処理を中止する。その結果、断続判定フローの今回の実行が終了する。ここまでの説明から断続指標の検出では、チャタリングによる検出精度の低下を抑制しつつ、プロセッサ6による処理速度の高速化及び処理負荷の低減を図ることが、可能となっている。 If a negative determination is made in S304 or S307 as shown in FIG. 6, that is, if the latest reliability R regarding the left eyeball 2b or the right eyeball 2b selected as the intermittent detection eyeball 2d is outside the allowable range, the intermittent determination The flow moves to S310. In S310, the intermittent indicator detection process by the intermittent detection block 40 is stopped. As a result, the current execution of the intermittence determination flow ends. From the description so far, it is possible to increase the processing speed and reduce the processing load of the processor 6 while suppressing deterioration in detection accuracy due to chattering in the intermittent index detection.

(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
(Effect)
The effects of the first embodiment described above will be described below.

第一実施形態によると、監視対象者2における左右の眼球2bそれぞれに対して、定常指標及び断続指標を検出する上での信頼度Rは、時系列に算定される。そこで定常指標の検出タイミング毎に、信頼度Rの高い側の眼球2bが定常検出眼球2cに選定されることによれば、定常指標の定常変化毎に合わせた定常検出眼球2cの特徴データDに基づき、正確に定常指標が検出され得る。また一方、断続指標の変化開始タイミングにて信頼度Rの高い側の眼球2bが、断続指標の変化終了タイミングまで断続検出眼球2dに選定されることによれば、断続指標が断続変化する間は同じ断続検出眼球2dの特徴データDに基づき、正確に断続指標が検出され得る。これらのことから第一実施形態では、眼球指標として定常指標及び断続指標の双方の検出精度を向上させることが、可能となる。 According to the first embodiment, for each of the left and right eyeballs 2b of the monitoring subject 2, the reliability R in detecting the steady index and the intermittent index is calculated in chronological order. Therefore, if the eyeball 2b on the side with the higher reliability R is selected as the steady detection eyeball 2c at each detection timing of the steady index, the characteristic data D of the steady detection eyeball 2c that matches each steady change in the steady index can be obtained. Based on this, the stationary index can be detected accurately. On the other hand, according to the fact that the eyeball 2b with the higher reliability R at the start timing of the change of the intermittent index is selected as the intermittent detection eyeball 2d until the end timing of the change of the intermittent index, during the intermittent change of the intermittent index Based on the feature data D of the same discontinuity detection eyeball 2d, the discontinuity index can be accurately detected. For these reasons, in the first embodiment, it is possible to improve the detection accuracy of both the steady index and the intermittent index as the eyeball index.

第一実施形態によると、定常検出眼球2cの信頼度Rが許容範囲外となる場合には、定常指標の検出が中止される。これによれば、定常検出眼球2cの信頼度Rが逆側の信頼度Rより高くても許容範囲内には確保されていないが故に定常指標の検出精度が低下するのを、抑制することが可能となる。 According to the first embodiment, when the reliability R of the steady detected eyeball 2c is outside the allowable range, detection of the steady index is stopped. According to this, even if the reliability R of the steady detection eyeball 2c is higher than the reliability R of the opposite side, it is not ensured within the allowable range, and therefore the detection accuracy of the steady index is prevented from decreasing. It becomes possible.

第一実施形態によると、断続検出眼球2dの信頼度Rが許容範囲外となる場合には、断続指標の検出が中止される。これによれば、断続検出眼球2dの信頼度Rが逆側の信頼度Rより高くても許容範囲内には確保されていないが故に断続指標の検出精度が低下するのを、抑制することが可能となる。 According to the first embodiment, the detection of the discontinuity index is stopped when the reliability R of the discontinuity detecting eyeball 2d is out of the allowable range. According to this, even if the reliability R of the intermittent detection eyeball 2d is higher than the reliability R of the opposite side, it is not ensured within the allowable range, so that the accuracy of detection of the intermittent indicator can be suppressed. It becomes possible.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における顔2aの向きに応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the orientation of the face 2a of the person being monitored 2, among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における開眼度に応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the degree of eye opening of the monitored person 2, among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における顔2aのうち複数部位の位置関係に応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the positional relationship of multiple parts of the face 2a of the person to be monitored 2, among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における顔2aのうち所定部位の位置に応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the position of a predetermined portion of the face 2a of the person to be monitored 2, especially among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、定常指標及び断続指標の双方に影響する顔状態の中でも特に、監視対象者2における顔2aのうち所定部位の面積に応じて、信頼度Rが増減させられる。これによれば、信頼度Rに合わせた定常検出眼球2c及び断続検出眼球2dの選定を正確に実行して、定常指標及び断続指標の双方の検出精度を高めることが、可能となる。 According to the first embodiment, the reliability R is increased or decreased according to the area of a predetermined portion of the face 2a of the person to be monitored 2, among the facial states that affect both the steady index and the intermittent index. According to this, it is possible to accurately select the steady detection eyeball 2c and the intermittent detection eyeball 2d in accordance with the reliability R and improve the detection accuracy of both the steady index and the intermittent index.

第一実施形態によると、監視対象者2における視線及び開眼度のうち少なくとも一方である定常指標は、信頼度Rの高い眼球2bに選定された定常検出眼球2cの特徴データDに基づき、正確に検出され得る。故に、これら視線及び開眼度のうち少なくとも一方の検出精度を向上させることが、可能となる。 According to the first embodiment, the stationary index, which is at least one of the line of sight and the degree of eye opening of the monitored subject 2, is accurately determined based on the characteristic data D of the stationary detected eyeball 2c selected as the eyeball 2b with high reliability R. can be detected. Therefore, it is possible to improve the detection accuracy of at least one of the line of sight and the degree of eye opening.

第一実施形態によると、監視対象者2における眼球断続運動及び瞬目運動の有無のうち少なくとも一方である断続指標は、信頼度Rの高い眼球2bに選定された断続検出眼球2dの特徴データDに基づき、正確に検出され得る。故に、これら眼球断続運動及び瞬目運動の有無のうち少なくとも一方の検出精度を向上させることが、可能となる。 According to the first embodiment, the intermittent indicator, which is at least one of the intermittent eyeball movement and the presence or absence of the blinking movement of the monitoring subject 2, is the feature data D of the intermittent detection eyeball 2d selected as the eyeball 2b with the high reliability R. can be accurately detected based on Therefore, it is possible to improve the detection accuracy of at least one of the intermittent eye movement and the presence or absence of the blink movement.

(第二実施形態)
図11に示すように第二実施形態は、第一実施形態の変形例である。
(Second embodiment)
As shown in FIG. 11, the second embodiment is a modification of the first embodiment.

第二実施形態の断続検出ブロック2040は、信頼算定ブロック20により算定される断続検出眼球2dの信頼度Rが許容範囲内から許容範囲外へ切り替わったか否かを、判定する。断続検出ブロック2040による切り替わりの判定は、断続指標の変化開始タイミング後から変化終了タイミングまでの間の検出タイミング毎に、実行される。 The discontinuity detection block 2040 of the second embodiment determines whether or not the reliability R of the discontinuity detection eyeball 2d calculated by the reliability calculation block 20 has switched from within the allowable range to outside the allowable range. The determination of switching by the intermittence detection block 2040 is executed at each detection timing from after the change start timing of the intermittence index to the change end timing.

断続検出眼球2dの信頼度Rが許容範囲内から許容範囲外へ切り替わった場合に断続検出ブロック2040は、変化開始タイミングにおける断続検出眼球2dとは逆側の眼球2bとなる逆側眼球2eを、正しい断続検出眼球2dとして更新する。そこで、この場合に断続検出ブロック2040は、断続検出眼球2dに更新した逆側眼球2eと関連付けてメモリ5に記憶の信頼度Rが、許容範囲内であるか否かを判定する。 When the reliability R of the intermittent detection eyeball 2d switches from within the allowable range to outside the allowable range, the intermittent detection block 2040 selects the opposite eyeball 2e, which is the eyeball 2b opposite to the intermittent detection eyeball 2d at the change start timing, It is updated as the correct intermittent detection eyeball 2d. Therefore, in this case, the discontinuity detection block 2040 determines whether or not the reliability R of storage in the memory 5 in association with the updated opposite eyeball 2e to the discontinuity detection eyeball 2d is within the allowable range.

逆側眼球2eの信頼度Rが許容範囲外である場合に断続検出ブロック2040は、変化開始タイミングでの断続検出眼球2dに対する断続指標の検出だけでなく、逆側眼球2eに対する断続指標の検出も、中止する。一方、逆側眼球2eの信頼度Rが許容範囲内である場合に断続検出ブロック40は、逆側眼球2eへの断続検出眼球2dの更新を確定する。このとき逆側眼球2eの信頼度Rは、更新前における断続検出眼球2dの信頼度Rよりも高くなっている。即ち、このとき信頼度Rの高低関係は、入れ替わった状態となっている。そこで断続検出ブロック2040は、断続検出眼球2dに更新した逆側眼球2eに対して、検出タイミング毎における断続指標の検出を、変化開始タイミングまで遡って再実行する。 When the reliability R of the opposite eyeball 2e is out of the allowable range, the discontinuity detection block 2040 not only detects the discontinuity index for the discontinuity detecting eyeball 2d at the change start timing, but also detects the discontinuity index for the opposite eyeball 2e. ,Cancel. On the other hand, when the reliability R of the opposite eyeball 2e is within the allowable range, the discontinuity detection block 40 confirms the update of the discontinuity detection eyeball 2d to the opposite eyeball 2e. At this time, the reliability R of the opposite eyeball 2e is higher than the reliability R of the intermittent detection eyeball 2d before updating. That is, at this time, the level relationship of the reliability R is changed. Therefore, the discontinuity detection block 2040 re-executes the detection of the discontinuity index at each detection timing retroactively to the change start timing for the opposite eyeball 2e updated to the discontinuity detection eyeball 2d.

断続検出ブロック2040による断続指標の再検出は、変化開始タイミングから更新タイミング前までの間にてメモリ5に蓄積された特徴データDのうち、逆側眼球2eに関して検出タイミング毎に記憶の過去データに、基づく。これに対して、更新タイミングから変化終了タイミングまでの検出タイミング毎に断続検出ブロック2040は、逆側眼球2eに対する断続指標の検出を、第一実施形態に準じて実行する。 Re-detection of the discontinuity index by the discontinuity detection block 2040 is performed by storing the past data of the opposite eyeball 2e among the feature data D accumulated in the memory 5 from the change start timing to the update timing to the stored past data at each detection timing. , based on. On the other hand, the discontinuity detection block 2040 detects the discontinuity index for the opposite eyeball 2e at each detection timing from the update timing to the change end timing according to the first embodiment.

このような第二実施形態による眼球指標検出方法のうち断続判定フローを、図12~14に従って以下に説明する。第二実施形態の断続判定フローでは、第一実施形態と同様なS301~S309が、断続検出ブロック2040により実行される。 The intermittent determination flow of the eyeball index detection method according to the second embodiment will be described below with reference to FIGS. In the intermittence determination flow of the second embodiment, S301 to S309 similar to those of the first embodiment are executed by the intermittence detection block 2040. FIG.

図12,13に示すように第二実施形態の断続判定フローでは、S304にて否定判定が下された場合に、S2311へ移行する。S2311では、今回の断続判定フローにてS301,S302がスキップされたか否かを、断続検出ブロック2040により判定する。その結果、否定判定が下された場合、即ち断続検出眼球2dである左側眼球2bの信頼度Rが断続指標の変化開始タイミングから許容範囲外である場合には、第一実施形態と同様なS310へ移行する。 As shown in FIGS. 12 and 13, in the intermittent determination flow of the second embodiment, when a negative determination is made in S304, the process proceeds to S2311. In S2311, the intermittence detection block 2040 determines whether or not S301 and S302 have been skipped in the current intermittence determination flow. As a result, if a negative determination is made, that is, if the reliability R of the left eyeball 2b, which is the intermittent detecting eyeball 2d, is outside the allowable range from the change start timing of the intermittent index, S310 similar to the first embodiment is performed. Move to

S304の否定判定後にS2311にて肯定判定が下された場合、即ち断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、左側眼球2bの信頼度Rが許容範囲内から許容範囲外へ切り替わった場合、断続判定フローではS2312,S2313へ順次移行する。 If an affirmative determination is made in S2311 after a negative determination in S304, that is, during the period from the change start timing of the intermittent index to the change end timing, the reliability R of the left eyeball 2b changes from within the allowable range to outside the allowable range. In the case of switching, the intermittence determination flow proceeds to S2312 and S2313 sequentially.

図13に示すようにS2312では、断続指標の変化開始タイミングに選定された断続検出眼球2dとは逆側眼球2eとなる右側眼球2bを、新たな断続検出眼球2dとして、断続検出ブロック2040により更新し且つメモリ5に記憶する。続くS2313では、メモリ5に記憶の信頼度Rのうち、右側眼球2bに関する最新の信頼度Rを、断続検出ブロック2040により読み出す。S2313ではさらに、読み出した右側眼球2bの信頼度Rが許容範囲内であるか否かを、断続検出ブロック2040により判定する。その結果、否定判定が下された場合には、図12,13に示すように、第一実施形態と同様なS310へ移行する。 As shown in FIG. 13, in S2312, the discontinuity detection block 2040 updates the right eyeball 2b, which is the opposite side eyeball 2e to the discontinuity detection eyeball 2d selected at the change start timing of the discontinuity index, as the new discontinuity detection eyeball 2d. and stored in the memory 5. In subsequent S2313, the intermittent detection block 2040 reads out the latest reliability R regarding the right eyeball 2b among the reliability R stored in the memory 5. FIG. In S2313, the discontinuity detection block 2040 further determines whether the read reliability R of the right eyeball 2b is within the allowable range. As a result, when a negative determination is made, as shown in FIGS. 12 and 13, the process proceeds to S310, which is the same as in the first embodiment.

S2313にて肯定判定が下された場合に断続判定フローでは、図13に示すように、S2314,S2315へ順次移行する。S2314では、断続検出ブロック2040により、断続検出眼球2dの更新を逆側眼球2eとしての右側眼球2bに確定する。続くS2315では、変化開始タイミングから断続判定フローの前回実行までの間にてメモリ5に記憶の特徴データDのうち、右側眼球2bに関する検出タイミング毎の過去データを、断続検出ブロック2040により読み出す。S2315ではさらに、変化開始タイミングにまで遡って読み出した検出タイミング毎の過去データに基づくことで、断続検出眼球2dに更新された右側眼球2bの断続指標を、当該検出タイミング毎に断続検出ブロック2040によって再検出する。 If an affirmative determination is made in S2313, the intermittent determination flow proceeds to S2314 and S2315 sequentially as shown in FIG. In S2314, the discontinuity detection block 2040 determines the update of the discontinuity detection eyeball 2d to the right eyeball 2b as the opposite eyeball 2e. In subsequent S2315, the intermittence detection block 2040 reads past data for each detection timing regarding the right eyeball 2b among the feature data D stored in the memory 5 from the change start timing to the previous execution of the intermittence determination flow. In S2315, the discontinuity detection block 2040 detects the discontinuity index of the right eyeball 2b that has been updated to the discontinuity detection eyeball 2d based on the past data for each detection timing that is read retroactively to the change start timing. Redetect.

図12,13に示すようにS2315からは、S309へ移行する。これにより、断続検出眼球2dが更新された更新回の断続判定フローでは、S2315から移行したS309にて、更新タイミングでの断続指標の検出処理が右側眼球2bに対して実行される。また、断続検出眼球2dの更新回後となる次回以降の断続判定フローでは、右側眼球2bの信頼度Rが許容範囲外とならない限り、更新タイミング後から変化終了タイミングまでの検出タイミング毎に、右側眼球2bに対する断続指標の検出処理が実行される。 As shown in FIGS. 12 and 13, the process proceeds from S2315 to S309. As a result, in the discontinuity determination flow of the update time when the discontinuity detection eyeball 2d is updated, in S309 after moving from S2315, the detection processing of the discontinuity index at the update timing is executed for the right eyeball 2b. In addition, in the intermittent determination flow after the next time after the intermittent detection eyeball 2d is updated, unless the reliability R of the right eyeball 2b is outside the allowable range, the right Intermittent index detection processing for the eyeball 2b is executed.

以上、変化開始タイミングには高い左側眼球2bの信頼度Rが許容範囲内から許容範囲外へと切り替わった検出タイミング以降は、逆側の右側眼球2bが断続検出眼球2dに更新される。これにより変化開始タイミング後には、許容範囲内にて高低関係の入れ替わった信頼度Rがさらに許容範囲外まで下がると、断続変化の間であっても図15に示すように、当該変化開始タイミングまで遡って断続検出眼球2dが更新されることを意味する。したがって、断続検出眼球2dに更新された右側眼球2bの信頼度Rが許容範囲内のまま推移する間の断続指標は、変化開始タイミングまでの遡りにより同じ右側眼球2bに対して検出されるといえる。尚、図15では、断続検出眼球2dに対して信頼度Rの許容範囲を決める下限値又は上限値が、第一実施形態と同様に閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, after the detection timing when the reliability R of the left eyeball 2b, which is high at the change start timing, switches from within the allowable range to outside the allowable range, the right eyeball 2b on the opposite side is updated to the intermittently detected eyeball 2d. As a result, after the change start timing, if the reliability R in which the high-low relationship is switched within the allowable range further falls outside the allowable range, as shown in FIG. This means that the intermittent detection eyeball 2d is retroactively updated. Therefore, it can be said that the intermittent index while the reliability R of the right eyeball 2b updated to the intermittent detection eyeball 2d remains within the allowable range is detected for the same right eyeball 2b by going back to the change start timing. . Note that in FIG. 15, the lower limit value or upper limit value that determines the allowable range of the reliability R for the intermittent detection eyeball 2d is expressed as the threshold value Rth in the same manner as in the first embodiment. It is possible to easily understand whether the reliability R is inside or outside the allowable range.

図12,14に示すように第二実施形態の断続判定フローでは、S307にて否定判定が下された場合は、S2316へ移行する。S2316では、今回の断続判定フローにてS301,S302がスキップされたか否かを、断続検出ブロック2040により判定する。その結果、否定判定が下された場合、即ち断続検出眼球2dである右側眼球2bの信頼度Rが断続指標の変化開始タイミングから許容範囲外である場合には、第一実施形態と同様なS310へ移行する。 As shown in FIGS. 12 and 14, in the intermittent determination flow of the second embodiment, when a negative determination is made in S307, the process proceeds to S2316. In S2316, the intermittence detection block 2040 determines whether or not S301 and S302 have been skipped in the current intermittence determination flow. As a result, if a negative determination is made, that is, if the reliability R of the right eyeball 2b, which is the intermittent detection eyeball 2d, is outside the allowable range from the change start timing of the intermittent index, S310 similar to the first embodiment is performed. Move to

S307の否定判定後にS2316にて肯定判定が下された場合、即ち断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、右側眼球2bの信頼度Rが許容範囲内から許容範囲外へ切り替わった場合、断続判定フローではS2317,S2318へ順次移行する。 If an affirmative determination is made in S2316 after a negative determination in S307, that is, during the period from the change start timing of the intermittent index to the change end timing, the reliability R of the right eyeball 2b changes from within the allowable range to outside the allowable range. In the case of switching, the intermittence determination flow sequentially proceeds to S2317 and S2318.

図14に示すようにS2317では、断続指標の変化開始タイミングに選定された断続検出眼球2dとは逆側眼球2eとなる左側眼球2bを、新たな断続検出眼球2dとして、断続検出ブロック2040により更新し且つメモリ5に記憶する。続くS2318では、メモリ5に記憶の信頼度Rのうち、左側眼球2bに関する最新の信頼度Rを、断続検出ブロック2040により読み出す。S2318ではさらに、読み出した左側眼球2bの信頼度Rが許容範囲内であるか否かを、断続検出ブロック2040により判定する。その結果、否定判定が下された場合には、図12,14に示すように、第一実施形態と同様なS310へ移行する。 As shown in FIG. 14, in S2317, the discontinuity detection block 2040 updates the left eyeball 2b, which is the eyeball 2e on the opposite side of the discontinuity detection eyeball 2d selected at the change start timing of the discontinuity index, as the new discontinuity detection eyeball 2d. and stored in the memory 5. In subsequent S2318, the intermittent detection block 2040 reads out the latest reliability R regarding the left eyeball 2b among the reliability R stored in the memory 5. FIG. Further, in S2318, the discontinuity detection block 2040 determines whether or not the read reliability R of the left eyeball 2b is within the allowable range. As a result, when a negative determination is made, as shown in FIGS. 12 and 14, the process proceeds to S310, which is the same as in the first embodiment.

S2318にて肯定判定が下された場合に断続判定フローでは、図14に示すように、S2319,S2320へ順次移行する。S2319では、断続検出ブロック2040により、断続検出眼球2dの更新を逆側眼球2eとしての左側眼球2bに確定する。続くS2320では、変化開始タイミングから断続判定フローの前回実行までの間にてメモリ5に記憶の特徴データDのうち、左側眼球2bに関する検出タイミング毎の過去データを、断続検出ブロック2040により読み出す。S2320ではさらに、変化開始タイミングにまで遡って読み出した検出タイミング毎の過去データに基づくことで、断続検出眼球2dに更新された左側眼球2bの断続指標を、当該検出タイミング毎に断続検出ブロック2040によって再検出する。 If an affirmative determination is made in S2318, the intermittent determination flow sequentially proceeds to S2319 and S2320 as shown in FIG. In S2319, the discontinuity detection block 2040 determines the update of the discontinuity detection eyeball 2d to the left eyeball 2b as the opposite eyeball 2e. In subsequent S2320, the intermittence detection block 2040 reads past data for each detection timing regarding the left eyeball 2b among the feature data D stored in the memory 5 from the change start timing to the previous execution of the intermittence determination flow. In S2320, the discontinuity detection block 2040 detects the discontinuity index of the left eyeball 2b that has been updated to the discontinuity detection eyeball 2d based on the past data for each detection timing read out retroactively to the change start timing. Redetect.

図12,14に示すようにS2320からは、S306へ移行する。これにより、断続検出眼球2dが更新された更新回の断続判定フローでは、S2320から移行したS306にて、更新タイミングでの断続指標の検出処理が左側眼球2bに対して実行される。また、断続検出眼球2dの更新回後となる次回以降の断続判定フローでは、左側眼球2bの信頼度Rが許容範囲外とならない限り、更新タイミング後から変化終了タイミングまでの検出タイミング毎に、左側眼球2bに対する断続指標の検出処理が実行される。 As shown in FIGS. 12 and 14, the process proceeds from S2320 to S306. As a result, in the discontinuity determination flow of the update time when the discontinuity detection eyeball 2d is updated, in S306 after shifting from S2320, the detection processing of the discontinuity index at the update timing is executed for the left eyeball 2b. In addition, in the intermittent determination flow after the next time after the intermittent detection eyeball 2d is updated, unless the reliability R of the left eyeball 2b is outside the allowable range, the left Intermittent index detection processing for the eyeball 2b is executed.

以上、変化開始タイミングには高い右側眼球2bの信頼度Rが許容範囲内から許容範囲外へと切り替わった検出タイミング以降は、逆側の左側眼球2bが断続検出眼球2dに更新される。これにより変化開始タイミング後には、許容範囲内にて高低関係の入れ替わった信頼度Rがさらに許容範囲外まで下がると、断続変化の間であっても図16に示すように、当該変化開始タイミングまで遡って断続検出眼球2dが更新されることを意味する。したがって、断続検出眼球2dに更新された左側眼球2bの信頼度Rが許容範囲内のまま推移する間の断続指標は、そうした変化開始タイミングまでの遡りにより同じ左側眼球2bに対して検出されるといえる。尚、図16でも、断続検出眼球2dに対して信頼度Rの許容範囲を決める下限値又は上限値が、第一実施形態と同様に閾値Rthと表されることで、各検出タイミングにて当該信頼度Rが許容範囲内外のいずれにあるかを容易に理解することが可能となっている。 As described above, after the detection timing when the reliability R of the right eyeball 2b, which is high at the change start timing, switches from within the allowable range to outside the allowable range, the opposite left eyeball 2b is updated to the intermittently detected eyeball 2d. As a result, after the change start timing, if the reliability R in which the high-low relationship is switched within the allowable range further falls outside the allowable range, as shown in FIG. This means that the intermittent detection eyeball 2d is retroactively updated. Therefore, the intermittent index while the reliability R of the left eyeball 2b updated to the intermittent detection eyeball 2d remains within the allowable range can be detected for the same left eyeball 2b by going back to the change start timing. I can say. Note that in FIG. 16 as well, the lower limit value or upper limit value that determines the allowable range of the reliability R for the intermittent detection eyeball 2d is expressed as the threshold value Rth in the same manner as in the first embodiment. It is possible to easily understand whether the reliability R is inside or outside the allowable range.

(作用効果)
以上説明した第二実施形態の作用効果を、以下に説明する。
(Effect)
The effects of the second embodiment explained above will be explained below.

第二実施形態によると、断続指標の変化開始タイミング後から変化終了タイミングまでの間にて断続検出眼球2dの信頼度Rには、許容範囲内から許容範囲外へと切り替わる場合が想定される。この場合、断続検出眼球2dとは逆側眼球2eの信頼度Rが許容範囲内であれば、当該逆側眼球2eに断続検出眼球2dが更新される。そこで、逆側眼球2eに更新された断続検出眼球2dに対しては、メモリ5に時系列に記憶の特徴データDに基づいた断続指標の検出が、変化開始タイミングまで遡って再実行されることになる。これによれば、断続指標の比較的短時間での断続変化の間は、逆側眼球2eの信頼度Rが継続して断続検出眼球2dであったと擬制されることで、当該擬制のない場合よりも断続指標が正確に検出され得る。故に、特に断続指標の検出精度を向上させる上で貢献することが、可能となる。 According to the second embodiment, it is assumed that the reliability R of the intermittent detection eyeball 2d switches from within the allowable range to outside the allowable range after the change start timing of the intermittent indicator and before the change end timing. In this case, if the reliability R of the eyeball 2e on the side opposite to the eyeball 2d on the side opposite to the eyeball 2d on which the eyeball 2d is detected is within the allowable range, the eyeball 2d on the side opposite the eyeball 2d on which the eyeball 2d is detected is updated. Therefore, for the discontinuity detection eyeball 2d updated to the opposite eyeball 2e, detection of the discontinuity index based on the feature data D stored in time series in the memory 5 is re-executed retroactively to the change start timing. become. According to this, during the intermittent change of the intermittent index in a relatively short time, it is hypothesized that the reliability R of the opposite eyeball 2e continues to be the intermittent detection eyeball 2d. intermittent indicators can be detected more accurately than Therefore, it is possible to contribute to improving the detection accuracy of the intermittent index in particular.

(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
(Other embodiments)
Although a plurality of embodiments have been described above, the present disclosure is not to be construed as being limited to those embodiments, and can be applied to various embodiments and combinations within the scope of the present disclosure. can be done.

具体的に、第一及び第二実施形態に関する変形例の電子制御ユニット4は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。 Specifically, the electronic control unit 4 of the modification of the first and second embodiments may be a dedicated computer including at least one of digital circuits and analog circuits as a processor. Here, especially digital circuits include, for example, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), and CPLD (Complex Programmable Logic Device). at least one of Such digital circuits may also include memory storing programs.

第一実施形態に関する変形例では、図17に示すように、S204,S205が省略されることでS203の肯定判定の場合にS206が直接実行されると共に、S207,S208が省略されることでS203の否定判定の場合にS209が直接実行されてもよい。この変形例では、S210が省略されることになる。その結果、定常指標の定常変化毎に合わせた定常検出眼球2cに対しての定常指標の検出は、図18に示すように定常検出眼球2cの信頼度Rが許容範囲外になったとしても、継続されることになる。 In the modification of the first embodiment, as shown in FIG. 17, S204 and S205 are omitted, so that S206 is directly executed in the case of affirmative determination in S203, and S207 and S208 are omitted, so that S203 S209 may be directly executed in the case of a negative determination. In this modification, S210 is omitted. As a result, even if the reliability R of the steadily detected eyeball 2c is out of the allowable range as shown in FIG. will be continued.

第一実施形態に関する変形例では、図19に示すように、S304,S305が省略されることでS303の肯定判定の場合にS306が直接実行されると共に、S307,S308が省略されることでS303の否定判定の場合にS309が直接実行されてもよい。この変形例では、S310への移行が断続指標の変化なしの場合のみとなる。その結果、図20に示すように断続検出眼球2dの信頼度Rが許容範囲外になったとしても、断続指標が断続変化する間は同じ断続検出眼球2dに対して、断続指標の検出が継続されることになる。 In the modification of the first embodiment, as shown in FIG. 19, S304 and S305 are omitted, so that S306 is directly executed in the case of affirmative determination in S303, and S307 and S308 are omitted, so that S303 S309 may be directly executed in the case of a negative determination. In this modification, the process proceeds to S310 only when there is no change in the intermittent index. As a result, even if the reliability R of the intermittent detection eyeball 2d is out of the allowable range as shown in FIG. will be

1 眼球指標検出装置、2 監視対象者、2a 顔、2b 眼球、2c 定常検出眼球、2d 断続検出眼球、2e 逆側眼球、5 メモリ、6 プロセッサ、20 信頼算定ブロック、30 定常検出ブロック、40,2040 断続検出ブロック、R 信頼度 1 eye index detection device 2 monitored subject 2a face 2b eyeball 2c steady detection eyeball 2d intermittent detection eyeball 2e opposite eyeball 5 memory 6 processor 20 confidence calculation block 30 steady detection block 40, 2040 Intermittent Detection Block, R Confidence

Claims (13)

監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出装置(1)であって、
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度(R)を、時系列に算定する信頼算定ブロック(20)と、
前記定常指標の検出タイミング毎に、前記信頼算定ブロックにより算定される前記信頼度が高い側の前記眼球を定常検出眼球(2c)に選定し、当該定常検出眼球の特徴データ(D)に基づき前記定常指標を検出する定常検出ブロック(30)と、
前記断続指標の変化開始タイミングにて前記信頼算定ブロックにより算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球(2d)に選定し、当該断続検出眼球の特徴データ(D)に基づき前記断続指標を検出する断続検出ブロック(40,2040)とを、備える眼球指標検出装置。
An eyeball index detection device (1) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to an eyeball (2b) of a person to be monitored (2),
a reliability calculation block (20) for calculating in time series the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject;
For each detection timing of the steady indicator, the eyeball with the higher reliability calculated by the confidence calculation block is selected as the steady detected eyeball (2c), and based on the feature data (D) of the steady detected eyeball a stationary detection block (30) for detecting stationary indicators;
The eyeball with the higher reliability calculated by the reliability calculation block at the timing when the intermittent index starts to change is selected as the intermittent detecting eyeball (2d) until the timing when the intermittent index ends changing, and the intermittent detecting eyeball is selected. and an intermittent detection block (40, 2040) for detecting the intermittent index based on the feature data (D) of the above.
前記定常検出ブロックは、
前記信頼算定ブロックにより算定される前記定常検出眼球の前記信頼度が許容範囲外となる場合に、前記定常指標の検出を中止する請求項1に記載の眼球指標検出装置。
The stationary detection block is
2. The eyeball index detection device according to claim 1, wherein the detection of the steady index is stopped when the reliability of the constantly detected eyeball calculated by the reliability calculation block is out of an allowable range.
前記断続検出ブロックは、
前記信頼算定ブロックにより算定される前記断続検出眼球の前記信頼度が許容範囲外となる場合に、前記断続指標の検出を中止する請求項1又は2に記載の眼球指標検出装置。
The intermittent detection block is
3. The eyeball index detection device according to claim 1, wherein the detection of the intermittent index is stopped when the reliability of the intermittent detection eyeball calculated by the reliability calculation block is out of an allowable range.
前記監視対象者における左右の前記眼球それぞれの特徴データ(D)を時系列に記憶する記憶媒体(5)を、備え、
前記断続検出ブロック(2040)は
前記断続指標の変化開始タイミング後から変化終了タイミングまでの間にて、前記信頼算定ブロックにより算定される前記断続検出眼球の前記信頼度が許容範囲内から許容範囲外へ切り替わった場合に、前記信頼算定ブロックにより算定される前記断続検出眼球とは逆側眼球(2e)の前記信頼度が許容範囲内であれば当該逆側眼球に更新される前記断続検出眼球に対して、前記記憶媒体に記憶された特徴データ(D)に基づく前記断続指標の検出を、前記断続指標の変化開始タイミングまで遡って再実行する請求項3に記載の眼球指標検出装置。
a storage medium (5) for storing characteristic data (D) of each of the left and right eyeballs of the monitoring subject in chronological order;
The discontinuity detection block (2040) determines that the reliability of the discontinuity detection eyeball calculated by the reliability calculation block is within the allowable range or out of the allowable range after the change start timing of the discontinuity indicator and before the change end timing. , the intermittent detection eyeball is updated to the opposite eyeball if the reliability of the eyeball opposite to the eyeball (2e) calculated by the reliability calculation block is within the allowable range. 4. The eyeball index detection device according to claim 3, wherein the detection of the intermittent index based on the feature data (D) stored in the storage medium is re-executed retroactively to the change start timing of the intermittent index.
前記信頼算定ブロックは、前記監視対象者における顔(2a)の向きに応じて、前記信頼度を増減する請求項1~4のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 4, wherein the confidence calculation block increases or decreases the confidence according to the direction of the face (2a) of the person to be monitored. 前記信頼算定ブロックは、前記監視対象者における開眼度に応じて、前記信頼度を増減する請求項1~5のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 5, wherein the reliability calculation block increases or decreases the reliability according to the degree of eye opening of the monitored person. 前記信頼算定ブロックは、前記監視対象者における顔(2a)のうち複数部位の位置関係に応じて、前記信頼度を増減する請求項1~6のいずれか一項に記載の眼球指標検出装置。 The eyeball index detecting device according to any one of claims 1 to 6, wherein the reliability calculation block increases or decreases the reliability according to the positional relationship of a plurality of parts of the face (2a) of the monitored person. 前記信頼算定ブロックは、前記監視対象者における顔(2a)のうち所定部位の位置に応じて、前記信頼度を増減する請求項1~7のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 7, wherein the reliability calculation block increases or decreases the reliability according to the position of a predetermined portion of the face (2a) of the person to be monitored. 前記信頼算定ブロックは、前記監視対象者における顔(2a)のうち所定部位の面積に応じて、前記信頼度を増減する請求項1~8のいずれか一項に記載の眼球指標検出装置。 The eyeball index detecting device according to any one of claims 1 to 8, wherein the reliability calculation block increases or decreases the reliability according to the area of a predetermined portion of the face (2a) of the person to be monitored. 前記定常指標は、前記監視対象者における視線及び開眼度のうち少なくとも一方である請求項1~9のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 9, wherein the steady index is at least one of a line of sight and an eye opening degree of the monitored person. 前記断続指標は、前記監視対象者における眼球断続運動及び瞬目の有無のうち少なくとも一方である請求項1~10のいずれか一項に記載の眼球指標検出装置。 The eyeball index detection device according to any one of claims 1 to 10, wherein the intermittent index is at least one of intermittent eyeball movement and presence/absence of blinking of the person to be monitored. プロセッサ(6)により実行され、監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出する眼球指標検出方法であって、
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度(R)を、時系列にて算定し(S101,102)と、
前記定常指標の検出タイミング毎に、算定される前記信頼度が高い側の前記眼球を定常検出眼球(2c)に選定し、当該定常検出眼球の特徴データ(D)に基づき前記定常指標を検出し(S201~S210)
前記断続指標の変化開始タイミングにて算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球(2d)に選定し、当該断続検出眼球の特徴データ(D)に基づき前記断続指標を検出する(S301~S310,S2311~S2320)、ことを含む眼球指標検出方法。
An eyeball index detection method executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index associated with an eyeball (2b) of a monitored person (2), comprising:
calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject in time series (S101, 102);
Selecting the eyeball on the side of the calculated high reliability as a steady detection eyeball (2c) at each detection timing of the steady index, and detecting the steady index based on the characteristic data (D) of the steady detection eyeball. (S201-S210)
The eyeball on the side with the higher reliability calculated at the change start timing of the intermittent index is selected as the intermittent detection eyeball (2d) until the change end timing of the intermittent index, and the feature data of the intermittent detection eyeball (D ) (S301 to S310, S2311 to S2320).
監視対象者(2)における眼球(2b)に関連した眼球指標として、定常変化する定常指標及び断続変化する断続指標を検出するために記憶媒体(5)に格納され、プロセッサ(6)に実行させる命令を含む眼球指標検出プログラムであって、
前記命令は、
前記監視対象者における左右の前記眼球それぞれに対して、前記定常指標及び前記断続指標を検出する上での信頼度(R)を、時系列にて算定させ(S101,102)、
前記定常指標の検出タイミング毎に、算定される前記信頼度が高い側の前記眼球を定常検出眼球(2c)に選定させ、当該定常検出眼球の特徴データ(D)に基づき前記定常指標を検出させ(S201~S210)、
前記断続指標の変化開始タイミングにて算定される前記信頼度が高い側の前記眼球を、前記断続指標の変化終了タイミングまで断続検出眼球(2d)に選定させ、当該断続検出眼球の特徴データ(D)に基づき前記断続指標を検出させる(S301~S310,S2311~S2320)、ことを含む眼球指標検出プログラム。
Stored in a storage medium (5) and executed by a processor (6) for detecting a steady index that changes steadily and an intermittent index that changes intermittently as an eyeball index related to the eyeball (2b) of the monitored person (2) An eye index detection program comprising instructions for:
Said instruction
calculating the reliability (R) in detecting the steady index and the intermittent index for each of the left and right eyeballs of the monitoring subject in time series (S101, 102);
At each detection timing of the steady index, the eyeball with the higher calculated reliability is selected as the steady detection eyeball (2c), and the steady index is detected based on the characteristic data (D) of the steady detection eyeball. (S201 to S210),
The intermittent detection eyeball (2d) is caused to select the eyeball with the higher reliability calculated at the intermittent index change start timing until the intermittent index change end timing, and the intermittent detection eyeball feature data (D ) to detect the intermittent index (S301-S310, S2311-S2320).
JP2019139117A 2019-07-29 2019-07-29 Eyeball index detection device, eyeball index detection method, eyeball index detection program Active JP7140072B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019139117A JP7140072B2 (en) 2019-07-29 2019-07-29 Eyeball index detection device, eyeball index detection method, eyeball index detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019139117A JP7140072B2 (en) 2019-07-29 2019-07-29 Eyeball index detection device, eyeball index detection method, eyeball index detection program

Publications (2)

Publication Number Publication Date
JP2021019942A JP2021019942A (en) 2021-02-18
JP7140072B2 true JP7140072B2 (en) 2022-09-21

Family

ID=74573923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019139117A Active JP7140072B2 (en) 2019-07-29 2019-07-29 Eyeball index detection device, eyeball index detection method, eyeball index detection program

Country Status (1)

Country Link
JP (1) JP7140072B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113227A (en) 2012-12-07 2014-06-26 Tokyo Metropolitan Univ Device for estimating human state and transportation equipment having the same
WO2017077601A1 (en) 2015-11-04 2017-05-11 株式会社ジェイアイエヌ Information processing method, information processing device, program, and eyewear
JP2018504957A (en) 2016-01-13 2018-02-22 レビスカン インク. Fixation, alignment and / or impulsiveness measuring method and apparatus for identifying and / or tracking brain function
JP2018183532A (en) 2017-04-27 2018-11-22 株式会社デンソー State estimation apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179520A (en) * 1996-12-26 1998-07-07 Canon Inc Visual axis detecting method and device, and storage medium
JP5618686B2 (en) * 2010-08-03 2014-11-05 キヤノン株式会社 Gaze detection device, gaze detection method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113227A (en) 2012-12-07 2014-06-26 Tokyo Metropolitan Univ Device for estimating human state and transportation equipment having the same
WO2017077601A1 (en) 2015-11-04 2017-05-11 株式会社ジェイアイエヌ Information processing method, information processing device, program, and eyewear
JP2018504957A (en) 2016-01-13 2018-02-22 レビスカン インク. Fixation, alignment and / or impulsiveness measuring method and apparatus for identifying and / or tracking brain function
JP2018183532A (en) 2017-04-27 2018-11-22 株式会社デンソー State estimation apparatus

Also Published As

Publication number Publication date
JP2021019942A (en) 2021-02-18

Similar Documents

Publication Publication Date Title
JP6245398B2 (en) State estimation device, state estimation method, and state estimation program
EP3809227B1 (en) Driving assistance apparatus and driving assistance method
CN112673378B (en) Device for generating estimator, monitoring device, method for generating estimator, and program for generating estimator
US9526448B2 (en) State estimation device and state estimation program
WO2011074198A1 (en) User interface apparatus and input method
JP2010141616A5 (en)
JP5273030B2 (en) Facial feature point detection device and drowsiness detection device
US20190230292A1 (en) Photographing control apparatus and photographing control method
JP2014144096A (en) Vigilance level detection device and vigilance level detection method
CN106108922B (en) Drowsiness detection device
JP2014064784A (en) Visual line detection device, visual line detection method and program
CN117897780A (en) Hospital diagnosis guiding method for active thyroid eye disease medical treatment and execution system thereof
JP7140072B2 (en) Eyeball index detection device, eyeball index detection method, eyeball index detection program
JP7345101B2 (en) Image recognition device and image recognition method
JP2015213734A (en) Program, information processing device, and eyewear
JP6672972B2 (en) Safe driving support device and safe driving support program
JP2021037216A (en) Eye closing determination device
US9959635B2 (en) State determination device, eye closure determination device, state determination method, and storage medium
JP6572841B2 (en) Information processing apparatus and program
CN113642442B (en) Face detection method and device, computer readable storage medium and terminal
CN112181128A (en) Sight estimation method and device with calculation resource self-adaption function
JP7131491B2 (en) Saccade detection device, saccade detection method, saccade detection program
JP2018130342A (en) Wakefulness estimation device, wakefulness estimation method and wakefulness estimation system
JP2017138646A (en) Sight-line detection device
JP5655491B2 (en) Open-eye detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R151 Written notification of patent or utility model registration

Ref document number: 7140072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151