JP7444286B2 - 推定装置、推定方法、および、推定プログラム - Google Patents

推定装置、推定方法、および、推定プログラム Download PDF

Info

Publication number
JP7444286B2
JP7444286B2 JP2022563506A JP2022563506A JP7444286B2 JP 7444286 B2 JP7444286 B2 JP 7444286B2 JP 2022563506 A JP2022563506 A JP 2022563506A JP 2022563506 A JP2022563506 A JP 2022563506A JP 7444286 B2 JP7444286 B2 JP 7444286B2
Authority
JP
Japan
Prior art keywords
subject
pupil diameter
variation
amount
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022563506A
Other languages
English (en)
Other versions
JPWO2022107288A1 (ja
Inventor
純平 山下
英毅 小矢
明 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022107288A1 publication Critical patent/JPWO2022107288A1/ja
Application granted granted Critical
Publication of JP7444286B2 publication Critical patent/JP7444286B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、作業者が課題を行っている最中のパフォーマンスを推定する、推定装置、推定方法、および、推定プログラムに関する。
人間が目視で何かを確認しながら作業を行う（認知的な課題を行う）際、課題を行う際のパフォーマンスがよい時もあれば悪い時もある。ここで課題を行う際のパフォーマンスを推定する方法として、作業者の瞳孔径の変動量を用いる方法がある。
上記の作業者の瞳孔径の変動量を用いる方法により、作業者が課題を行う際のパフォーマンス（以下、適宜「課題パフォーマンス」と称す）を推定する際には、作業者を所定時間、暗所に置き、当該作業者の瞳孔径の変動量を計測する。ここで、例えば、作業者が睡眠を長時間妨げられるなど、作業者の課題パフォーマンスが低下している状態にある場合、作業者の瞳孔径の変動量に大きな波が現れることが知られている（非特許文献１参照）。
したがって、暗所中の作業者の瞳孔径の変動量が多い場合には、当該作業者の課題パフォーマンスは低く、瞳孔径の変動量が少ない場合には、当該作業者の課題パフォーマンスは高いと推定される。なお、この暗所で観測される、課題パフォーマンスの低下を反映して変化する瞳孔径の変動を、以下では「パフォーマンス低下と相関する瞳孔径の変動」と呼ぶ。
作業者の課題パフォーマンスを推定する際に、作業者を所定時間暗所に置くのは、作業者が注視している位置の明るさが変化すると、明／暗順応により瞳孔径に一過性の変動が生じるからである。また、作業者が注視している位置の明るさが変化しなくとも、作業者が注視している位置が明るいと、瞳孔径の変動が生じるからである。なお、これらの光によって引き起こされる瞳孔径の変動を、以下では「光依存の瞳孔径の変動」と呼ぶ。
Pupillographic Assessment of Sleepiness in Sleep-deprived Healthy Subjects. Sleep, 21, 258-265.，［2020年11月2日検索］、インターネット＜URL：https://pubmed.ncbi.nlm.nih.gov/9595604/＞ Binda, P., Pereverzeva, M., & Murray, S. O. (2013). Attention to Bright Surfaces Enhances the Pupillary Light Reflex. Journal of Neuroscience, 33(5), 2199-2204. doi:10.1523/jneurosci.3440-12.2013 ［2020年11月2日検索］、インターネット＜URL：https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6619119/＞
しかしながら、上記の従来技術は、作業者の課題パフォーマンスを推定するためには、作業者を所定時間暗所に置く必要がある。このため、作業者が、課題を行っている最中の課題パフォーマンスを推定できないという課題があった。
そこで、本発明は、前記した問題を解決し、作業者が課題を行っている最中の課題パフォーマンスを推定することを課題とする。
前記した課題を解決するため、本発明は、作業パフォーマンスの推定の対象者の作業時における瞳孔径および注視対象の輝度を取得する取得部と、前記対象者の瞳孔径の時系列データから、当該対象者の瞳孔径の変動量を算出する変動量算出部と、当該対象者の注視対象の輝度が所定値以上か否かを判定する判定部と、当該対象者の注視対象の輝度が所定の閾値以上であると判定された場合、前記対象者の瞳孔径の変動量の大きさと当該対象者の作業パフォーマンスの低下との相関性が低いと判定し、当該対象者の注視対象の輝度が所定の閾値よりも低いと判定された場合、前記対象者の瞳孔径の変動量の大きさと当該対象者の作業パフォーマンスの低下との相関性が高いと判定し、前記判定の結果と、当該対象者の瞳孔径の変動量とに基づき、当該対象者の作業パフォーマンスを推定する推定部とを備えることを特徴とする。
本発明によれば、作業者が課題を行っている最中における課題パフォーマンスを推定することができる。
図１は、推定装置の構成例を示す図である。 図２は、図１の推定装置の処理手順の例を示すフローチャートである。 図３は、図２に示す処理手順の例を示す図である。 図４は、対象者の瞳孔径の時系列データとその時系列データにおける無効区間を説明するための図である。 図５は、実験の流れを説明するための図である。 図６は、実験結果を示す図である。 図７は、推定プログラムを実行するコンピュータの構成例を示す図である。
以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は、以下に説明する実施形態に限定されない。
［概要］
まず、本実施形態の推定装置の動作概要を説明する。推定装置は、作業者の課題遂行中における作業パフォーマンス（課題パフォーマンス）を推定する。
まず、推定装置は、作業者（課題パフォーマンスの推定の対象者）の課題遂行中における瞳孔径の変動量と、当該対象者が注視している位置（注視対象）の明るさを取得する。ここで、推定装置は、注視対象の明るさが、所定値未満との場合と所定値以上の場合とで、それぞれに対応したモードで課題パフォーマンスの推定を行う。
例えば、対象者の注視対象の明るさが所定値未満の場合、当該対象者の瞳孔径の変動に関し、上記の「光依存の瞳孔径の変動」は少なく、「課題パフォーマンス低下と相関する瞳孔径の変動」は多くなると考えられる。
そこで、推定装置は、対象者の注視対象の明るさが所定値未満の場合、当該対象者の瞳孔径の変動量の大きさと、当該対象者の課題パフォーマンスの低下との相関が高いと推定する。例えば、推定装置は、対象者の注視対象の明るさが所定値未満の場合において、当該対象者の瞳孔径の変動量が大きいとき、当該対象者の課題パフォーマンスは低く、当該対象者の瞳孔径の変動量が小さいとき、当該対象者の課題パフォーマンスは高いと推定する。
一方、対象者の注視対象の明るさが所定値以上の場合、当該対象者の瞳孔径の変動に関し、前記した「光依存の瞳孔径の変動」は多く、「課題パフォーマンス低下と相関する瞳孔径の変動」は少なくなくなると考えられる。
そこで、推定装置は、対象者の注視対象の明るさが所定値以上の場合、当該対象者の瞳孔径の変動量の大きさと、当該対象者の課題パフォーマンスの低下との相関が低いと推定する。
ここで、対象者が注視対象により注意を向けているほうが、注視対象の明るさによって引き起こされる瞳孔径の変動は大きくなる。また、対象者が注視対象に注意を向けている場合、課題パフォーマンスは向上すると考えられる。よって、推定装置は、例えば、対象者の注視対象の明るさが所定値以上の場合において、当該対象者の瞳孔径の変動量が大きいとき、当該対象者の課題パフォーマンスは高く、当該対象者の瞳孔径の変動量が小さい場合、当該対象者の課題パフォーマンスは低いと推定する。
このようにすることで、推定装置は、対象者が課題を行っている最中における課題フォーマンスを推定することができる。
なお、対象者の注視対象が明るい場合において、当該対象者の瞳孔径の変動量が大きいとき課題パフォーマンスは高く、当該対象者の瞳孔径の変動量が小さいとき課題パフォーマンスは低いと推定することができる理由について説明する。
・「光依存の瞳孔径の変動」に関する前提
例えば、対象者の注視対象の輝度の変化が生じた場合において、当該対象者が注視対象に注意を向けている（きちんと見ている）ときは、当該対象者が注視対象に視線を向けているが漫然と見ているときに比べて、注視対象の輝度変化による瞳孔径の変動は大きくなることが知られている（非特許文献２参照）。あるいは単純に、対象者の注視対象に視線が向いている場合、注視対象に視線すら向いていない場合に比べ、輝度変化による瞳孔径の変動は大きくなる。
・課題パフォーマンスの推定場面に関する分析と、課題パフォーマンスの推定が可能である理由
対象者が行っている課題が、電話応答等である場合を除き、対象者の行う課題では、モニタ画面上に表示されている視覚情報の処理が最も重要であると考えられる。そのため、対象者の注意がモニタ画面上に向いている（対象者の視線が向いている）ことが、課題パフォーマンスの推定にとって重要と考えられる。例えば、対象者の注意がモニタ画面上にきちんと向いている場合、上記の前提により、モニタ画面の明るさ（例えば、輝度）の変化による瞳孔径の変動量は大きくなるため、これをもって課題パフォーマンスが推定することができる。
［構成例］
次に、図１を用いて推定装置１０の構成例を説明する。推定装置１０は、入出力部１１と、記憶部１２と、制御部１３とを備える。
入出力部１１は、各種データの入出力を司り、例えば、課題パフォーマンスの推定の対象者が、課題を遂行している際の瞳孔径の時系列データ、当該対象者の注視対象の明るさ（例えば、輝度）の時系列データ等の入力を受け付ける。
なお、対象者の瞳孔径は、例えば、赤外線カメラあるいは可視光カメラを利用した光学デバイスによって取得される。また、対象者の注視位置の明るさは、例えば、上記の光学デバイスによって取得してもよいし、対象者の行う課題がＶＤＴ（Visual Display Terminals）作業の場合には、ディスプレイ上に表示されている画面の大局的な色から、おおまかな明るさを推定してもよい。
また、入出力部１１は、制御部１３による、当該対象者の課題パフォーマンスの推定の結果を出力する。記憶部１２は、制御部１３が処理を実行する際に参照する各種データを記憶する。
制御部１３は、推定装置１０全体の制御を行う。この制御部１３は、例えば、データ取得部１３１と、変動量算出部１３２と、判定部１３３と、推定部１３４とを備える。
データ取得部１３１は、入出力部１１経由で対象者の瞳孔径の時系列データ、当該対象者の注視対象の明るさの時系列データ等を取得する。
変動量算出部１３２は、データ取得部１３１により取得された対象者の瞳孔径の時系列データに基づき、当該対象者の瞳孔径の変動量を算出する。
判定部１３３は、データ取得部１３１により取得された対象者の注視対象の明るさ（例えば、輝度）が所定値以上か否かを判定する。
推定部１３４は、判定部１３３により判定された対象者の注視対象の明るさの判定結果と、変動量算出部１３２により算出された当該対象者の瞳孔径の変動量とを用いて、当該対象者の課題パフォーマンスを推定する。そして、推定部１３４は、当該対象者の課題パフォーマンスの推定の結果を出力する。
例えば、判定部１３３により、当該対象者の注視対象の明るさが所定の閾値以上と判定された場合、推定部１３４は、当該対象者の瞳孔径の変動量の大きさと当該対象者の課題パフォーマンスの低下との相関性が低いと判定する。
一例を挙げると、推定部１３４は、当該対象者の瞳孔径の変動量の大きさと当該対象者の課題パフォーマンスの高さとが正の相関を持つと判定し、当該対象者の瞳孔径の変動量が大きいほど、当該対象者の課題パフォーマンスは高い状態にあると推定する。また、推定部１３４は、当該対象者の瞳孔径の変動量が小さいほど、当該対象者の課題パフォーマンスは低い状態にあると推定する。
一方、判定部１３３により、当該対象者の注視対象の明るさが所定の閾値未満と判定された場合、推定部１３４は、当該対象者の瞳孔径の変動の大きさと当該対象者の課題パフォーマンスの低下との相関性が高いと判定する。
一例を挙げると、推定部１３４は、当該対象者の瞳孔径の変動量の大きさと当該対象者の課題パフォーマンスの高さとが負の相関を持つと判定し、当該対象者の瞳孔径の変動量が大きいほど、当該対象者の課題パフォーマンスが低い状態にあると推定する。また、推定部１３４は、当該対象者の瞳孔径の変動量が小さいほど、当該対象者の課題パフォーマンスは高い状態にあると推定する。
このようにすることで、推定装置１０は、対象者が課題を行っている最中における課題パフォーマンスを推定することができる。
［処理手順の例］
次に、図２を用いて、推定装置１０の処理手順の例を説明する。まず、推定装置１０のデータ取得部１３１は、対象者の瞳孔径の時系列データを取得する（Ｓ１）。また、データ取得部１３１は、当該対象者の注視対象の明るさの時系列データを取得する（Ｓ２）。そして、データ取得部１３１は、上記の２つの時系列データ（当該対象者の瞳孔径の時系列データおよび注視対象の明るさの時系列データ）から、課題パフォーマンスの推定を行う区間を切り出す（Ｓ３）。
ここで、Ｓ３で切り出したすべての区間での課題パフォーマンスの推定が終了していれば（Ｓ４でＹｅｓ）、処理を終了し、まだ推定していない区間があれば（Ｓ４のＮｏ）、Ｓ５へ進む。
Ｓ５において、判定部１３３は、指定区間（まだ課題パフォーマンスの推定を行っていない区間から選択された区間）における注視対象の明るさが所定値以上か否かを判定する。ここで、判定部１３３が、指定区間における注視対象の明るさが所定値以上と判定した場合（Ｓ５でＹｅｓ）、推定部１３４は、対象者の瞳孔径の変動と課題パフォーマンスの低下との相関性は低いと判定する（Ｓ６）。そして、推定部１３４は、当該判定結果に基づき、指定区間における瞳孔径の変動量を用いて、対象者の課題パフォーマンスを推定する（Ｓ７）。そして、Ｓ４へ戻る。
一方、判定部１３３が、指定区間における注視対象の明るさが所定値未満と判定した場合（Ｓ５でＮｏ）、推定部１３４は、対象者の瞳孔径の変動と課題パフォーマンスの低下との相関性が高いと判定する（Ｓ８）。そして、推定部１３４は、当該判定結果に基づき、指定区間における瞳孔径の変動量を用いて、対象者の課題パフォーマンスを推定する（Ｓ９）。そして、Ｓ４へ戻る。
次に、図３を用いて、図２に示した推定装置１０の処理手順の一例を説明する。図３に示すＳ１１～Ｓ１４までの処理は、図２のＳ１～Ｓ４の処理と同様なので、図３のＳ１５から説明する。
Ｓ１５において、判定部１３３は、指定区間における注視対象の輝度が所定値以上か否かを判定する。ここで、判定部１３３が、指定区間における注視対象の輝度が所定値以上と判定した場合（Ｓ１５でＹｅｓ）、指定区間中の瞳孔径の変動量が所定値以上であれば（Ｓ１６でＹｅｓ）、推定部１３４は、指定区間の課題パフォーマンスは高いと判定する（Ｓ１７）。その後、Ｓ１４へ戻る。一方、指定区間中の瞳孔径の変動量が所定値未満であれば場合（Ｓ１６でＮｏ）、推定部１３４は、指定区間の課題パフォーマンスは低いと判定する（Ｓ１８）。その後、Ｓ１４へ戻る。
また、Ｓ１５で、判定部１３３が、指定区間における注視対象の輝度が所定値未満と判定した場合（Ｓ１５でＮｏ）、指定区間中の瞳孔径の変動量が所定値以上であれば（Ｓ１９でＹｅｓ）、推定部１３４は、指定区間の課題パフォーマンスは低いと判定する（Ｓ２０）。その後、Ｓ１４へ戻る。一方、指定区間中の瞳孔径の変動量が所定値未満であれば（Ｓ１９でＮｏ）、推定部１３４は、指定区間の課題パフォーマンスは高いと判定する（Ｓ２１）。その後、Ｓ１４へ戻る。
このようにすることで、推定装置１０は作業者が課題を行っている最中における課題パフォーマンスを推定することができる。
［その他の実施形態］
なお、変動量算出部１３２が、対象者の瞳孔径の変動量を算出する際、瞳孔径の時系列データのうち、瞬目発生中とその前後を無効区間として除外してもよい。
ここで変動量算出部１３２が瞬目発生の検知をする際、瞳孔径を制御する生体システムの性質を考慮すると、瞼が閉じられた状態でなければ算出され得ないような小さな瞳孔径が計測されている場合（図４に示す瞳孔径が所定の閾値以下になった場合）に瞬目発生とみなすアルゴリズムを用いてもよい。
例えば、対象者の瞳孔径の時系列データが、図４に示す値である場合を考える。この場合、変動量算出部１３２は、図４に示すように、瞳孔径の値が所定の閾値以下になった区間とその前後の区間を無効空間とする。そして、変動量算出部１３２は、対象者の瞳孔径の時系列データから当該無効空間のデータを除外する。このようにすることで、変動量算出部１３２は、対象者の瞳孔径の変動量を精度よく算出することができる。
また、変動量算出部１３２が、瞳孔径の変動量を算出する際、事前に瞳孔径の時系列データをローパスフィルタや移動平均等を利用して平滑化することで、瞳孔径の計測ノイズを低減してもよい。最も簡易な瞳孔径の変動量の算出方法としては、変動量算出部１３２が、瞳孔径の時系列データのうち、課題パフォーマンスの推定対象となる区間におけるデータを１階微分し、得られた瞳孔径の変動量の時系列データの値の絶対値をとり、得られた絶対値の平均を算出する方法がある。
なお、変動量算出部１３２は、瞳孔径の時系列データから得られた瞳孔径の変動量を対数変換する等、生体情報に一般的にみられる関係を関数変換として組み込んだ値を算出してもよい。
［実験］
以下に、推定装置１０が、課題遂行時における対象者の瞳孔径の変動量を用いて、当該対象者の課題パフォーマンスの推定が可能であることを示す実験の結果を示す。
［実験条件］
本実験では、６人の対象者に対して、以下の課題を行う際の課題パフォーマンスを推定した。課題は、対象者が、黒い背景画面が表示されているモニタを注視し続け、白い円（ターゲット）が出現した場合に、できる限り素早くボタンを押すという試行を116回繰り返すというものである。
本実験において、対象者が注視する場所（注視画面）は暗いため、課題遂行時における対象者の瞳孔径の変動量の大きさと課題パフォーマンスの低下との相関は強いと推定できる。換言すると、課題遂行時における対象者の瞳孔径の変動量が少ない場合、当該対象者の課題パフォーマンスは高いと推定できるはずである。
本実験において、試行開始からターゲットが出現するまでの時間は、1秒（1,000ms:milliseconds）～8秒（8,000ms）までの間で、0.25秒（250ms）刻みでランダムに決定した。このため、対象者はターゲットの出現タイミングを予測できず、絶えず画面に注意し続ける必要がある。
このような課題（Psychomotor Vigilanve Task:PVT）において、ターゲットが表示されてから、対象者がボタンを押すまでにかかった時間（反応時間（RT: Reaction Time））が短い試行については、当該対象者の課題パフォーマンスが高いと解釈されている（非特許文献１）。すなわち、試行ごとに算出される、対象者の瞳孔径の変動量が少ないほど、試行ごとのRTが短くなる傾向が存在すれば、推定装置１０によって、注視画面が暗い場合における対象者の課題パフォーマンスをリアルタイムに推定できることが示される。
なお、本課題では、対象者がボタン押した直後に、そのボタン押しにかかったRTが1秒間（1,000ms）表示され、当該対象者が試行ごとに自分のRTを確認できるようにした。
また、対象者の瞳孔径のデータ（Pupil data）は、試行開始直後からターゲットが出現するまでの待機時間（Waiting time）中に計測し、この計測結果から、試行ごとの当該対象者の瞳孔径の変動量を算出した。上述した実験の流れは図５に示す通りである。
［瞳孔径の算出過程］
以下に、本実験における、対象者の瞳孔径の変動量の算出過程を示す。
まず、推定装置１０は、光学装置による瞳孔径計測装置を用いて、1秒間に1,000回の頻度で、対象者の左目の瞳孔径を計測した。
次に、推定装置１０は、対象者ごとに実験全体における瞳孔径の中央値を算出し、瞳孔径が上記の中央値の1/2以下になっている区間を瞬目中の区間とみなした。推定装置１０は、対象者の瞳孔径の時系列データのうち、上記の瞬目中の区間と、その前後0.2秒を瞬目に関連したノイズが含まれる可能性のある区間とし、当該区間を無効データとして除外した。
次に、推定装置１０は、対象者の瞳孔径の時系列データのうち、上記の無効データを除外したデータを有効データとし、当該有効データに対し、ハニング窓と呼ばれる重み行列を用いて、当該瞳孔径の時系列データの平滑化を行った。なお、ハニング窓の大きさは50ポイントとした。
ここで上記の有効データの連続区間が短い場合（例えば、瞬目が高頻度で発生している場合等）、推定装置１０は、上記の平滑化が適切に行えない可能性がある。そのため、推定装置１０は、瞳孔径の時系列データのうち、無効データの区間は仮に線形補完して平滑化を行い、線形補完した区間は、後の処理で無効とする操作を行った。
次に、推定装置１０は、瞳孔径の時系列データを１階微分し、得られた瞳孔径の変動量の時系列データの絶対値をとり、得られた絶対値の平均を算出することで、瞳孔径の変動量を算出した。次に、推定装置１０は、算出した瞳孔径の変動量を対数変換し、同様にRTも対数変換した。
最後に、推定装置１０は、上記の処理により得られた瞳孔径の変動量およびRTを、対象者ごとに標準化した。標準化した瞳孔径の変動量を、標準化済み瞳孔径変動量（Normalized amount of change in pupil data）と呼ぶ。また、標準化したRTを、標準化済み（Normalized RT）と呼ぶ。
推定装置１０は、上記の標準化において、z-scoreと呼ばれる標準化を実施した。このz-scoreは、標準化の対象となるそれぞれの値から、値の平均値を減算した後、値の標準偏差を除算する。このz-scoreによれば、対象者個人の中で、瞳孔径の変動量やRTが、相対的に大きかった／小さかった場合に、大きな／小さな値が算出される。これにより、推定装置１０は、瞳孔径の変動量やRTが常に大きい／小さいといった対象者の個人差を無視して、課題遂行中に対象者個人の中でリアルタイムに変動していた瞳孔径の変動量やRTの差を考慮することができる。
［実験結果］
推定装置１０は、対象者の瞳孔径の計測区間で、当該対象者が目を閉じていた試行などの無効試行を除外した結果、上記の手続きによって687個の瞳孔径の変動量と696個のRTのデータが得られた。
このデータのうち、得られた687個の瞳孔径の変動量と、それに対応した687個のRTにおいて、Normalized amount of change in pupil dataとNormalized RTの関係を示す、散布図を図６に示す。このデータにおいて、Normalized amount of change in pupil dataとNormalized RTの相関係数（ピアソンのr）を調べた結果、0.34であり、Permutation testと呼ばれる検定を実施した結果、p<0.0001であり、有意であった。
すなわち、各試行において、瞳孔径の変動量が大きいほどRTが大きくなることが示された。換言すると、試行ごとに算出される瞳孔径の変動量が小さいほど、試行ごとのRTが短くなる傾向が存在することが示された。このことから、対象者の注視画面が暗い場合に、推定装置１０が当該対象者の課題遂行中における瞳孔径の変動量を取得することで、当該対象者の課題パフォーマンスの高さをリアルタイムに推定できることが示された。
［システム構成等］
また、図示した各部の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、前記した実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
前記した推定装置１０は、パッケージソフトウェアやオンラインソフトウェアとしてプログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記のプログラムを情報処理装置に実行させることにより、情報処理装置を各実施形態の推定装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS（Personal Handyphone System）等の移動体通信端末、さらには、PDA（Personal Digital Assistant）等の端末等がその範疇に含まれる。
また、推定装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の処理に関するサービスを提供するサーバ装置として実装することもできる。この場合、サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
図７は、推定プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、CPU１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
メモリ１０１０は、ROM（Read Only Memory）１０１１及びRAM（Random Access Memory）１０１２を含む。ROM１０１１は、例えば、BIOS（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
ハードディスクドライブ１０９０は、例えば、OS１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の推定装置１０が実行する各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、推定装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、SSDにより代替されてもよい。
また、上述した実施形態の処理で用いられる各データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、CPU１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてRAM１０１２に読み出して実行する。
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してCPU１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワされたーク（LAN（Local Area Network）、WAN（Wide Area Network）等）を介して接続他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してCPU１０２０によって読み出されてもよい。
１０ 推定装置
１１ 入出力部
１２ 記憶部
１３ 制御部
１３１ データ取得部
１３２ 変動量算出部
１３３ 判定部
１３４ 推定部

Claims (9)

  1. 作業パフォーマンスの推定の対象者の作業時における瞳孔径および注視対象の輝度を取得する取得部と、
    前記対象者の瞳孔径の時系列データから、当該対象者の瞳孔径の変動量を算出する変動量算出部と、
    当該対象者の注視対象の輝度が所定値以上か否かを判定する判定部と、
    当該対象者の注視対象の輝度が所定の閾値以上であると判定された場合、前記対象者の瞳孔径の変動量の大きさと当該対象者の作業パフォーマンスの低下との相関性が低いと判定し、当該対象者の注視対象の輝度が所定の閾値よりも低いと判定された場合、前記対象者の瞳孔径の変動量の大きさと当該対象者の作業パフォーマンスの低下との相関性が高いと判定し、前記判定の結果と、当該対象者の瞳孔径の変動量とに基づき、当該対象者の作業パフォーマンスを推定する推定部と
    を備えることを特徴とする推定装置。
  2. 前記推定部は、
    前記注視対象の輝度が所定の閾値以上であると判定された場合、当該対象者の瞳孔径の変動量が大きいほど当該対象者の作業パフォーマンスは高いと推定し、前記注視対象の輝度が所定の閾値よりも低いと判定された場合、当該対象者の瞳孔径の変動量が大きいほど当該対象者の作業パフォーマンスは低いと推定する
    ことを特徴とする請求項１に記載の推定装置。
  3. 前記推定部は、
    前記注視対象の輝度が所定の閾値以上であると判定された場合、当該対象者の瞳孔径の変動量が小さいほど当該対象者の作業パフォーマンスは低いと推定し、前記注視対象の輝度が所定の閾値よりも低いと判定された場合、当該対象者の瞳孔径の変動量が小さいほど当該対象者の作業パフォーマンスは高いと推定する
    ことを特徴とする請求項１に記載の推定装置。
  4. 前記変動量算出部は、
    前記対象者の瞳孔径の時系列データのうち、前記瞳孔径の値が所定の閾値以下である期間における瞳孔径の時系列データを、前記対象者の瞳孔径の時系列データから除外し、前記除外した前記時系列データから、前記対象者の瞳孔径の変動量を算出する、
    ことを特徴とする請求項１に記載の推定装置。
  5. 前記変動量算出部は、
    前記対象者の瞳孔径の時系列データをローパスフィルタまたは移動平均を用いて平滑化して、前記対象者の瞳孔径の変動量を算出する、
    ことを特徴とする請求項１に記載の推定装置。
  6. 前記変動量算出部は、
    前記対象者の瞳孔径の時系列データを１階微分し、前記１階微分した時系列データの値の絶対値をとり、前記時系列データの値の絶対値の平均値を算出し、前記算出した平均値を用いて、前記対象者の瞳孔径の変動量を算出する、
    ことを特徴とする請求項１に記載の推定装置。
  7. 前記変動量算出部は、さらに、
    前記算出した対象者の瞳孔径の変動量を対数変換した値を、前記対象者の瞳孔径の変動量とする
    ことを特徴とする請求項１に記載の推定装置。
  8. 推定装置により実行される推定方法であって、
    作業パフォーマンスの推定の対象者の作業時における瞳孔径および注視対象の輝度を取得する取得工程と、
    前記対象者の瞳孔径の時系列データから、当該対象者の瞳孔径の変動量を算出する変動量算出工程と、
    当該対象者の注視対象の輝度が所定値以上か否かを判定する判定工程と、
    当該対象者の注視対象の輝度が所定の閾値以上であると判定された場合、前記対象者の瞳孔径の変動量の大きさと当該対象者の作業パフォーマンスの低下との相関性が低いと判定し、当該対象者の注視対象の輝度が所定の閾値よりも低いと判定された場合、前記対象者の瞳孔径の変動量の大きさと当該対象者の作業パフォーマンスの低下との相関性が高いと判定し、前記判定の結果と、当該対象者の瞳孔径の変動量とに基づき、当該対象者の作業パフォーマンスを推定する推定工程と
    を含むことを特徴とする推定方法。
  9. 作業パフォーマンスの推定の対象者の作業時における瞳孔径および注視対象の輝度を取得する取得工程と、
    前記対象者の瞳孔径の時系列データから、当該対象者の瞳孔径の変動量を算出する変動量算出工程と、
    当該対象者の注視対象の輝度が所定値以上か否かを判定する判定工程と、
    当該対象者の注視対象の輝度が所定の閾値以上であると判定された場合、前記対象者の瞳孔径の変動量の大きさと当該対象者の作業パフォーマンスの低下との相関性が低いと判定し、当該対象者の注視対象の輝度が所定の閾値よりも低いと判定された場合、前記対象者の瞳孔径の変動量の大きさと当該対象者の作業パフォーマンスの低下との相関性が高いと判定し、前記判定の結果と、当該対象者の瞳孔径の変動量とに基づき、当該対象者の作業パフォーマンスを推定する推定工程と
    コンピュータに実行させること特徴とする推定プログラム。
JP2022563506A 2020-11-19 2020-11-19 推定装置、推定方法、および、推定プログラム Active JP7444286B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/043246 WO2022107288A1 (ja) 2020-11-19 2020-11-19 推定装置、推定方法、および、推定プログラム

Publications (2)

Publication Number Publication Date
JPWO2022107288A1 JPWO2022107288A1 (ja) 2022-05-27
JP7444286B2 true JP7444286B2 (ja) 2024-03-06

Family

ID=81708649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022563506A Active JP7444286B2 (ja) 2020-11-19 2020-11-19 推定装置、推定方法、および、推定プログラム

Country Status (3)

Country Link
US (1) US20230404393A1 (ja)
JP (1) JP7444286B2 (ja)
WO (1) WO2022107288A1 (ja)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246013A (ja) 2007-03-30 2008-10-16 National Univ Corp Shizuoka Univ 眠気検知装置
WO2010143455A1 (ja) 2009-06-11 2010-12-16 株式会社日立製作所 表示装置
WO2011042989A1 (ja) 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
JP2014100227A (ja) 2012-11-19 2014-06-05 Toyota Motor Corp 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法
WO2015072202A1 (ja) 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
WO2015159374A1 (ja) 2014-04-15 2015-10-22 株式会社メニコン 回折多焦点眼用レンズおよび回折多焦点眼用レンズの製造方法
WO2016143759A1 (ja) 2015-03-06 2016-09-15 株式会社 脳機能研究所 感情推定装置及び感情推定方法
JP2016167189A (ja) 2015-03-10 2016-09-15 Ｎｅｃエンジニアリング株式会社 酒気帯び検知装置及びルームミラー装置
JP2018108130A (ja) 2016-12-28 2018-07-12 株式会社ブレインウェイ 視覚利用脳トレーニングシステム
WO2019043896A1 (ja) 2017-08-31 2019-03-07 富士通株式会社 検知プログラム、検知方法、および検知システム
JP2019204416A (ja) 2018-05-25 2019-11-28 トヨタ自動車株式会社 状態判定装置
WO2020194529A1 (ja) 2019-03-26 2020-10-01 日本電気株式会社 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7116119B2 (ja) 2020-04-27 2022-08-09 大陽日酸株式会社 冷鉄源の溶解・精錬炉、及び溶解・精錬炉の操業方法
JP7255669B2 (ja) 2019-03-20 2023-04-11 株式会社島津製作所 Ｘ線撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07116119A (ja) * 1993-10-21 1995-05-09 Nippon Telegr & Teleph Corp <Ntt> カオス状態の測定方法及び測定装置並びに健康状態の判定方法及び判定装置
JP3348956B2 (ja) * 1994-03-24 2002-11-20 ソニー株式会社 表示装置
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
JP2009078006A (ja) * 2007-09-26 2009-04-16 Honda Motor Co Ltd 眠気状態判定装置
JP5829590B2 (ja) * 2012-09-10 2015-12-09 日本電信電話株式会社 疲労感評価装置、疲労感評価方法、及びプログラム
JP2014095987A (ja) * 2012-11-08 2014-05-22 Denso Corp 車載機および車両安全制御システム
JP2016002109A (ja) * 2014-06-13 2016-01-12 パナソニックＩｐマネジメント株式会社 活動評価装置、評価処理装置、プログラム
JP6755839B2 (ja) * 2017-08-08 2020-09-16 日本電信電話株式会社 運動パフォーマンス推定装置、その方法、およびプログラム
JP2019055161A (ja) * 2017-09-19 2019-04-11 Ｋｉｋｕｒａ株式会社 瞳孔径変化の呼吸及び脈拍の影響を排除する手法と刺激による瞳孔径変化に基づく視認者情感判定装置、視認者情感判定システム及びプログラム。

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246013A (ja) 2007-03-30 2008-10-16 National Univ Corp Shizuoka Univ 眠気検知装置
WO2010143455A1 (ja) 2009-06-11 2010-12-16 株式会社日立製作所 表示装置
WO2011042989A1 (ja) 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
JP2014100227A (ja) 2012-11-19 2014-06-05 Toyota Motor Corp 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法
WO2015072202A1 (ja) 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
WO2015159374A1 (ja) 2014-04-15 2015-10-22 株式会社メニコン 回折多焦点眼用レンズおよび回折多焦点眼用レンズの製造方法
WO2016143759A1 (ja) 2015-03-06 2016-09-15 株式会社 脳機能研究所 感情推定装置及び感情推定方法
JP2016167189A (ja) 2015-03-10 2016-09-15 Ｎｅｃエンジニアリング株式会社 酒気帯び検知装置及びルームミラー装置
JP2018108130A (ja) 2016-12-28 2018-07-12 株式会社ブレインウェイ 視覚利用脳トレーニングシステム
WO2019043896A1 (ja) 2017-08-31 2019-03-07 富士通株式会社 検知プログラム、検知方法、および検知システム
JP2019204416A (ja) 2018-05-25 2019-11-28 トヨタ自動車株式会社 状態判定装置
JP7255669B2 (ja) 2019-03-20 2023-04-11 株式会社島津製作所 Ｘ線撮像装置
WO2020194529A1 (ja) 2019-03-26 2020-10-01 日本電気株式会社 興味判定装置、興味判定システム、興味判定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7116119B2 (ja) 2020-04-27 2022-08-09 大陽日酸株式会社 冷鉄源の溶解・精錬炉、及び溶解・精錬炉の操業方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
西山潤平，瞳孔揺らぎを指標とした覚醒度状態評価，生体医工学，日本生体医工学会，2008年04月08日，第46巻，第2号，212-217頁

Also Published As

Publication number Publication date
US20230404393A1 (en) 2023-12-21
WO2022107288A1 (ja) 2022-05-27
JPWO2022107288A1 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
US20180256023A1 (en) Monitoring system for monitoring head mounted device wearer
JP2018005726A5 (ja)
US20130303860A1 (en) Systems and methods for use in fall risk assessment
EP3570726A1 (en) A method and system for monitoring attention of a subject
WO2015042476A1 (en) Systems and methods for disease progression modeling
Baker et al. Nonlinearities in the binocular combination of luminance and contrast
US20160100826A1 (en) Predicted menstruation start date calculation apparatus, program, and body analysis apparatus
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
WO2018113469A1 (zh) 一种资源分配方法和装置
US20200152328A1 (en) Cognitive analysis for identification of sensory issues
Baldewijns et al. Developing a system that can automatically detect health changes using transfer times of older adults
JP7444286B2 (ja) 推定装置、推定方法、および、推定プログラム
EP3364371A1 (en) User device, server, and computer program stored in computer-readable medium for determining vision information
JP2022515484A (ja) 睡眠スコアを算出するための睡眠関連パラメータを最適化するシステム及び方法
US20240135300A1 (en) Estimation device, estimation method, and estimation program
WO2019181517A1 (ja) 視野検査装置、その制御方法及び視野検査プログラム
Harris et al. Manual choice reaction times in the rate-domain
US20200268299A1 (en) State display apparatus, state display system, and non-transitory computer readable medium storing program
US10866829B2 (en) Performing disruptive tasks based on user state
Griffith et al. Towards reduced latency in saccade landing position prediction using velocity profile methods
WO2022097273A1 (ja) 機器制御装置、プログラム及び機器制御方法
KR102233768B1 (ko) 안저사진 이미지 분석을 통한 망막혈관 구불거림의 정량화 방법, 장치, 컴퓨터프로그램 및 컴퓨터 판독가능 매체
Baldewijns et al. Automatic detection of health changes using statistical process control techniques on measured transfer times of elderly
JP3764394B2 (ja) 品質推定方法および装置
CN111223054A (zh) 超声图像评估方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R150 Certificate of patent or registration of utility model

Ref document number: 7444286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150