JP7466766B2

JP7466766B2 - 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法

Info

Publication number: JP7466766B2
Application number: JP2023518565A
Authority: JP
Inventors: 大智常道; 良樹小野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-05-07
Filing date: 2021-05-07
Publication date: 2024-04-12
Anticipated expiration: 2041-05-07
Also published as: DE112021007613T5; WO2022234632A1; JPWO2022234632A1; US20240206729A1

Description

本開示は、反射性眼球運動評価技術に関する。

車両の運転者が眠気に襲われていないかを判定する技術が開発されている。例えば、特許文献１には、移動体に設置され、移動体中の人物の顔を撮影する撮像部と、その移動体に設置され、移動体の運動データを計測するジャイロセンサと、撮像部により撮影された顔の画像を用いてその人物の眼球運動を算出する第１の算出部と、センサにより計測された移動体の運動データ及び撮像部により撮影された顔の画像を用いてその人物の頭部運動を算出する第２の算出部と、第１の算出部によって算出された眼球運動、及び第２の算出部によって算出された頭部運動を用いて、その人物の覚醒に関する指標を算出する第３の算出部とを備えた算出システムに関する技術が開示されている。

特許第６４３２７０２号公報

しかしながら、特許文献１の算出システムによれば、移動体の外界の他の移動体の移動を直接評価していないので、反射性眼球運動を正確に評価できないという課題がある。

本開示は、このような課題を解決するためになされたものであり、移動体内の対象者の反射性眼球運動を正確に評価できる反射性眼球運動評価技術を提供することを目的とする。

本開示の実施形態による反射性眼球運動評価装置は、車両に備えて用いられる反射性眼球運動評価装置であって、撮像部により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から前記車両を固定座標系とした前記対象者の視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定する反射性眼球運動推定部と、前記車内映像から前記対象者の眼球運動を測定する眼球運動測定部と、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出する評価値算出部と、を備える。

本開示の実施形態による反射性眼球運動評価装置は、移動体内の対象者の反射性眼球運動を正確に評価できる。

実施の形態１による反射性眼球運動評価装置および反射性眼球運動評価システムを表すブロック図である。実施の形態２による反射性眼球運動評価装置および反射性眼球運動評価システムを表すブロック図である。実施の形態１および２による反射性眼球運動評価装置または反射性眼球運動評価システムで考える座標系の違いと、着目する運動を示す図である。図４Ａは、実施の形態１および２による反射性眼球運動評価装置のハードウェアの構成例を示す図である。図４Ｂは、実施の形態１および２による反射性眼球運動評価装置のハードウェアの構成例を示す図である。反射性眼球運動評価方法のフローチャートである。

以下、図１から図５を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものとする。

実施の形態１．
＜構成＞
（反射性眼球運動評価システム）
図１は、本開示の実施の形態１による反射性眼球運動評価装置１００Ａ、および反射性眼球運動評価システムＳＹＳ．Ａを示すブロック図である。反射性眼球運動評価システムＳＹＳ．Ａは、不図示の移動可能な車両に備えて用いられる。車両は移動可能であればよく、従って車両は２輪車両でも、３輪車両でも、４輪車両でもよい。図１に示すように、対象者が注視している視対象を含む車外映像および車内の対象者（典型的には、車両の運転者）を撮影する撮像部１０と、撮像部１０により撮像された映像が入力される反射性眼球運動評価装置１００Ａとにより、反射性眼球運動評価システムＳＹＳ．Ａが構成される。

なお、「車内」および「車外」との用語は、本開示においては、車両を現に操作し又は操作することが予定されている対象者を撮影するか否かという観点から区別される用語である。換言すれば、「車内」および「車外」との用語は、車内の空間か否かという観点から区別される用語でない。したがって、例えば、車両を現に操作し又は操作することが予定されている対象者を撮影する場合には、「車内映像」という用語を用いる。また、２輪車両のように車両の内部空間と外部空間の識別が困難である場合であっても、２輪車両を操作している対象者を撮影する場合は、「車内映像」という用語を用いる。「車両を操作することが予定されている対象者」には、自動走行車両の操作者が含まれる。

（撮像部）
撮像部１０は、車内の対象者の顔映像を含む車内映像Ａ１と、視対象を含む車外映像Ｂ１とを撮影し、撮影された車内映像Ａ１および車外映像Ｂ１を出力する。車内映像Ａ１および車外映像Ｂ１はそれぞれ単一のカメラを用いて撮影してもよいし、正確な三次元位置を計測するためにステレオカメラを用いて撮影してもよい。また、車内映像Ａ１および車外映像Ｂ１は別々のカメラを用いて個別の映像として撮影してもよいし、全天球カメラのように広範囲の撮影を可能にするデバイスによって同一画像内にまとめて撮影してもよい。撮像部１０は、反射性眼球運動推定部２０Ａに接続され、車内映像Ａ１および車外映像Ｂ１を反射性眼球運動推定部２０Ａに出力する。また、撮像部１０は、眼球運動測定部３０にも接続され、車内映像Ａ１を眼球運動測定部３０に出力する。

（反射性眼球運動評価装置）
反射性眼球運動評価装置１００Ａは、視対象運動および頭部運動を測定し反射性眼球運動を推定する反射性眼球運動推定部２０Ａと、車内映像Ａ１の顔映像から眼球運動を測定する眼球運動測定部３０と、推定した反射性眼球運動と測定した眼球運動から前庭動眼反射のパフォーマンスを表す評価値を算出する評価値算出部４０Ａとを備える。

（反射性眼球運動推定部）
反射性眼球運動推定部２０Ａは、得られた撮像データとして車内映像Ａ１および車外映像Ｂ１を入力として受け付け、車内映像Ａ１および車外映像Ｂ１を視対象運動または頭部運動の測定に必要な撮像データに分類して出力するデータ入力部２１Ａと、車外映像Ｂ１から視対象の運動を測定する視対象運動測定部２２Ａと、車内映像Ａ１から対象者の頭部運動を測定する頭部運動測定部２３と、視対象運動と頭部運動から、対象者の反射性眼球運動を推定する反射性眼球運動算出部２４Ａとを備える。

（データ入力部）
データ入力部２１Ａは、車内映像Ａ１および車外映像Ｂ１を視対象運動の測定または頭部運動の測定に必要な撮像データに分類して、車内映像Ａ１および車外映像Ｂ１を出力する。データ入力部２１Ａは、視対象運動測定部２２Ａに接続され、車外映像Ｂ１を視対象運動測定部２２Ａに出力する。また、データ入力部２１Ａは、頭部運動測定部２３にも接続され、車内映像Ａ１を頭部運動測定部２３に出力する。

（視対象運動測定部）
視対象運動測定部２２Ａは、車外映像Ｂ１を入力として受け付け、車外映像Ｂ１から視対象領域を特定して、車両を固定座標系とした場合の視対象の運動の測定結果である視対象運動測定結果Ｃ１を出力する。視対象領域の特定においては、例えば車外映像Ｂ１内で人が視線を向けやすい特徴を推定する顕著性マップを生成して視対象領域を特定してもよいし、車外映像Ｂ１から物体の動き量を表すオプティカルフローを算出してオプティカルフローが消失した消失領域を視対象領域として特定してもよいし、顕著性マップまたはオプティカルフローの結果と一般物体認識の結果とを組み合わせて視対象領域を特定してもよい。このように車外映像Ｂ１全体の中から、注視されている領域の限定または注視されている対象物体の特定をすることで、車内の対象者の反射性眼球運動に影響を与える物体に限定した運動を計測することが可能となる。視対象運動測定部２２Ａは、反射性眼球運動算出部２４Ａに接続され、視対象運動測定結果Ｃ１を反射性眼球運動算出部２４Ａに出力する。

（頭部運動測定部）
頭部運動測定部２３は、車内映像Ａ１を入力として受け付け、車両を固定座標系として車内映像Ａ１から対象者の頭部の運動である頭部運動を測定し、対象者の頭部運動の測定結果である頭部運動測定結果Ｄ１を出力する。頭部運動の測定方法は、例えば特許文献１に記載されており公知であるので、説明を省略する。頭部運動測定部２３は、反射性眼球運動算出部２４Ａに接続され、頭部運動測定結果Ｄ１を反射性眼球運動算出部２４Ａに出力する。

（反射性眼球運動算出部）
反射性眼球運動算出部２４Ａは、車両を固定座標系とした視対象運動測定結果Ｃ１と頭部運動測定結果Ｄ１を入力として受け付け、視対象運動測定結果Ｃ１と頭部運動測定結果Ｄ１から対象者の反射性眼球運動を算出して、算出結果を反射性眼球運動推定結果Ｅ１として出力する。反射性眼球運動算出部２４Ａは、視対象運動の方向と同方向かつ頭部運動の方向と逆方向に、車内映像Ａ１における対象者の反射性眼球運動を推定する。車両内の対象者が知覚する視対象の運動は、車両を固定座標系とした視対象運動と頭部運動を組み合わせたものとなる。視界を安定させるために、反射性眼球運動は車両内の対象者が知覚する視対象の運動を打ち消すような動きとなる。そのため反射性眼球運動の推定値は、得られた視対象運動に対して方向が逆転した運動として推定される。頭部運動だけではなく、視対象運動を考慮することにより、対象者が注視している箇所に応じた反射性眼球運動の推定が可能となる。反射性眼球運動算出部２４Ａは、評価値算出部４０Ａに接続され、反射性眼球運動推定結果Ｅ１を評価値算出部４０Ａに出力する。

（眼球運動測定部）
眼球運動測定部３０は、車内映像Ａ１を入力として受け付け、車両を固定座標系として車内映像Ａ１から対象者の眼球の運動である眼球運動を測定し、測定された対象者の眼球運動の測定結果である眼球運動測定結果Ｆ１を出力する。眼球運動の測定方法は、例えば特許文献１に記載されており公知であるので、説明を省略する。眼球運動測定部３０は、評価値算出部４０Ａに接続され、眼球運動測定結果Ｆ１を評価値算出部４０Ａに出力する。

（評価値算出部）
評価値算出部４０Ａは、反射性眼球運動推定結果Ｅ１および眼球運動測定結果Ｆ１を入力として受け付け、反射性眼球運動に関わる評価指標を算出する。評価指標の例には、反射性眼球運動の推定値に対する対象者の眼球運動の絶対値比であるゲイン値、並びに反射性眼球運動の推定値の波形（時系列データ）と対象者の眼球運動の波形（時系列データ）との位相差、残差標準偏差、および周期差が含まれる。評価指標の例はこれらに限られるものでなく、反射性眼球運動の推定値の波形と眼球運動の波形との相関に関する指標であればよい。２つの時系列データを比較するうえで、波形の相関に関わる指標を抽出することにより、２波形の類似性を評価することが可能となる。評価値算出部４０Ａは、少なくとも１つの指標を算出し、算出された１つの指標または算出された２つ以上の指標の組合せ（合算）で得られる評価値を、反射性眼球運動評価値Ｇ１として出力する。

このように、反射性眼球運動評価装置１００Ａおよび反射性眼球運動評価システムＳＹＳ．Ａによれば、対象者の反射性眼球運動は、対象者が注視している視対象を含む車外映像Ｂ１を用いて評価されるので、正確に評価される。

実施の形態２．
＜構成＞
（反射性眼球運動評価システム）
図２は、本開示の実施の形態２による反射性眼球運動評価装置１００Ｂ、および反射性眼球運動評価システムＳＹＳ．Ｂを示すブロック図である。反射性眼球運動評価システムＳＹＳ．Ｂは、不図示の車両に備えられる。図２に示すように、視対象を含む車外映像および車内の運転者を撮影する撮像部１０と、撮像部１０により撮像された映像が入力される反射性眼球運動評価装置１００Ｂとにより、反射性眼球運動評価システムＳＹＳ．Ｂが構成される。

（撮像部）
撮像部１０は、車内の対象者の顔映像を含む車内映像Ａ１と、対象者が注視している視対象を含む車外映像Ｂ１とを撮影し、撮影された車内映像Ａ１および車外映像Ｂ１を出力する。車内映像Ａ１および車外映像Ｂ１はそれぞれ単一のカメラを用いて撮影してもよいし、正確な三次元位置を計測するためにステレオカメラを用いて撮影してもよい。また、車内映像Ａ１および車外映像Ｂ１は別々のカメラを用いて個別の映像として撮影してもよいし、全天球カメラのように広範囲の撮影を可能にするデバイスによって同一画像内にまとめて撮影してもよい。撮像部１０は、反射性眼球運動推定部２０Ｂに接続され、車内映像Ａ１および車外映像Ｂ１を反射性眼球運動推定部２０Ｂに出力する。また、撮像部１０は、眼球運動測定部３０にも接続され、車内映像Ａ１を眼球運動測定部３０に出力する。また、撮像部１０は、視線角度算出部５０にも接続され、車内映像Ａ１を視線角度算出部５０に出力する。

（反射性眼球運動評価装置）
反射性眼球運動評価装置１００Ｂは、視対象運動および頭部運動を測定し反射性眼球運動を推定する反射性眼球運動推定部２０Ｂと、車内映像Ａ１の顔映像から眼球運動を測定する眼球運動測定部３０と、推定した反射性眼球運動と測定した眼球運動から前庭動眼反射のパフォーマンスを表す評価値を算出する評価値算出部４０Ｂと、車内映像Ａ１の顔映像から視線角度を算出する視線角度算出部５０とを備える。

（視線角度算出部）
視線角度算出部５０は、車内映像Ａ１を入力とし、車両を固定座標系として対象者の視線角度を算出して、視線角度の算出結果である視線角度算出結果Ｈ１を出力する。視線角度は、所定の基準軸、例えば車両の固定座標系の前後方向の軸と、対象者の視線方向とがなす角の角度である。視線角度算出部５０は、反射性眼球運動推定部２０Ｂに接続され、視線角度算出結果Ｈ１を反射性眼球運動推定部２０Ｂに出力する。対象者の視線角度を算出することにより、視線角度の算出結果を用いて、車外における視対象を細かく特定することが可能になる。そのため、対象者が実際に注視している視対象の運動を考慮した反射性眼球運動の推定をすることが可能となる。

（反射性眼球運動推定部）
反射性眼球運動推定部２０Ｂは、得られた撮像データとして車内映像Ａ１および車外映像Ｂ１と視線角度算出結果Ｈ１とを入力として受け付け、視対象運動と頭部運動測定に必要な撮像データと視線角度を分類して出力するデータ入力部２１Ｂと、車外映像Ｂ１と視線角度算出結果Ｈ１から視対象の運動を測定する視対象運動測定部２２Ｂと、車内映像Ａ１から対象者の頭部運動を測定する頭部運動測定部２３と、視対象運動と頭部運動から、対象者の反射性眼球運動を推定する反射性眼球運動算出部２４Ｂとを備える。

（データ入力部）
データ入力部２１Ｂは、車内映像Ａ１、車外映像Ｂ１および視線角度算出結果Ｈ１を、視対象運動の測定または頭部運動の測定に必要なデータに分類して、車内映像Ａ１、車外映像Ｂ１または視線角度算出結果Ｈ１を出力する。データ入力部２１Ｂは、視対象運動測定部２２Ｂに接続され、車外映像Ｂ１および視線角度算出結果Ｈ１を視対象運動測定部２２Ｂに出力する。また、データ入力部２１Ｂは、頭部運動測定部２３にも接続され、車内映像Ａ１を頭部運動測定部２３に出力する。

（視対象運動測定部）
視対象運動測定部２２Ｂは、車外映像Ｂ１および視線角度算出結果Ｈ１を入力として受け付け、車外映像Ｂ１および視線角度から視対象領域を特定して、車両を固定座標系とした場合の視対象の運動の測定結果である視対象運動測定結果Ｃ２を出力する。視対象領域の特定においては、視線角度を用いて特定する。さらに、視線角度と一般物体認識の結果とを組み合わせて視対象を特定してもよい。視対象運動測定部２２Ｂは、反射性眼球運動算出部２４Ｂに接続され、視対象運動測定結果Ｃ２を反射性眼球運動算出部２４Ｂに出力する。

（頭部運動測定部）
頭部運動測定部２３は、車内映像Ａ１を入力として受け付け、車両を固定座標系として車内映像Ａ１から対象者の頭部の運動である頭部運動を測定し、対象者の頭部運動の測定結果である頭部運動測定結果Ｄ１を出力する。頭部運動測定部２３は、反射性眼球運動算出部２４Ｂに接続され、頭部運動測定結果Ｄ１を反射性眼球運動算出部２４Ｂに出力する。

（反射性眼球運動算出部）
反射性眼球運動算出部２４Ｂは、車両を固定座標系とした視対象運動測定結果Ｃ２と頭部運動測定結果Ｄ１を入力として受け付け、対象者の反射性眼球運動の推定結果である反射性眼球運動推定結果Ｅ２を出力する。反射性眼球運動算出部２４Ｂは、視対象運動の方向と同方向かつ頭部運動の方向と逆方向に、車内映像Ａ１における対象者の反射性眼球運動を推定する。車両内の対象者が知覚する視対象の運動は、車両を固定座標系とした視対象運動と頭部運動を組み合わせたものとなる。視界を安定させるために、反射性眼球運動は車両内の対象者が知覚する視対象の運動を打ち消すような動きとなる。そのため反射性眼球運動の推定値は、得られた視対象運動に対して方向が逆転した運動として推定される。頭部運動だけではなく、視対象運動を考慮することにより、対象者が注視している箇所に応じた反射性眼球運動の推定が可能となる。反射性眼球運動算出部２４Ｂは、評価値算出部４０Ｂに接続され、反射性眼球運動推定結果Ｅ２を評価値算出部４０Ｂに出力する。

（眼球運動測定部）
眼球運動測定部３０は、車内映像Ａ１を入力として受け付け、車両を固定座標系として車内映像Ａ１から対象者の眼球の運動である眼球運動を測定し、測定された対象者の眼球運動の測定結果である眼球運動測定結果Ｆ１を出力する。眼球運動測定部３０は、評価値算出部４０Ｂに接続され、眼球運動測定結果Ｆ１を評価値算出部４０Ｂに出力する。

（評価値算出部）
評価値算出部４０Ｂは、反射性眼球運動推定結果Ｅ２および眼球運動測定結果Ｆ１を入力として受け付け、反射性眼球運動に関わる評価指標を算出する。評価指標の例には、反射性眼球運動の推定値に対する対象者の眼球運動の絶対値比であるゲイン値、並びに反射性眼球運動の推定値の波形（時系列データ）と対象者の眼球運動の波形（時系列データ）との位相差、残差標準偏差、および周期差が含まれる。評価指標の例はこれらに限られるものでなく、反射性眼球運動の推定値の波形と眼球運動の波形との相関に関する指標であればよい。評価値算出部４０Ｂは、少なくとも１つの指標を算出し、算出された１つの指標または算出された２つ以上の指標の組合せで得られる評価値を、反射性眼球運動評価値Ｇ２として出力する。

図３は、本開示の実施の形態１及び実施の形態２に関わる反射性眼球運動評価時に考える座標系の違いと、着目する運動を示す図である。図３では、車内映像Ａ１を撮影するカメラとして内向きカメラが、車外映像Ｂ１を撮影するカメラとして外向きカメラが示されている。重力方向を鉛直方向に定めた世界座標系と、車両を固定座標系とした車両座標系とでは、車両自体に振動がある場合には異なる座標系と考えることができる。

車両に取り付けられたカメラおよび振動を計測するデバイスは、車両に固定されているために車両座標系における測定結果を出力していることになる。

一方で、車両に乗車している対象者が車外の対象を注視している状態では、対象者から見た視対象の運動は、自車両の振動が発生したことによる視界変動と、車両振動によって頭部運動が発生したことによる視界変動と、視対象自体の運動を合わせた結果として知覚される。車内映像からは、車両座標系における対象者の頭部運動と眼球運動を測定することができる。また車外映像からは、車両の振動による視界変動と、視対象自体の運動とを、車両座標系からみた相対運動として測定することができる。

本開示の反射性眼球運動評価装置１００Ａまたは１００Ｂは、撮像部１０により撮影された視対象を含む車外映像Ｂ１を受け付けて、対象者の反射性眼球運動を評価する。したがって、反射性眼球運動評価装置１００Ａまたは１００Ｂによれば、車外の他の車両等の移動体の動きが考慮されるので、対象者の反射性眼球運動を正確に評価することができる。

次に、図４Ａおよび図４Ｂを参照して、反射性眼球運動評価装置１００Ａおよび１００Ｂのハードウェアの構成例について説明する。データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の各機能は、処理回路（processing circuitry）により実現される。すなわち、反射性眼球運動評価装置１００Ａおよび１００Ｂは、データ受付け、視対象運動測定、頭部運動測定、反射性眼球運動算出、評価値算出、視線角度算出などの種々の演算を行うための処理回路を備える。処理回路（processing circuitry）は、図４Ａに示されているような専用の処理回路（processing circuit）１００ａであっても、図４Ｂに示されているようなメモリ１００ｃに格納されるプログラムを実行するＣＰＵ１００ｂであってもよい。

処理回路（processing circuitry）が専用の処理回路１００ａである場合、専用の処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）、またはこれらを組み合わせたものが該当する。データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の各部の機能を別個の複数の処理回路（processing circuits）で実現してもよいし、各部の機能をまとめて単一の処理回路（processing circuit）で実現してもよい。

処理回路（processing circuitry）がＣＰＵ１００ｂの場合、データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。ＣＰＵ１００ｂは、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、データ受付けを行うステップ、視対象運動測定を行うステップ、頭部運動測定を行うステップ、反射性眼球運動算出を行うステップ、評価値算出を行うステップ、視線角度算出を行うステップ等のステップが、結果的に実行されることになるプログラムを格納するためのメモリ１００Ｃを備える。また、これらのプログラムは、データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００ｃの例には、ＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、フラッシュメモリ、ＥＰＲＯＭ（erasable programmable read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。

なお、データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

（動作）
次に、図５を参照して、反射性眼球運動評価装置１００Ａおよび１００Ｂの動作について説明する。

ステップＳＴ１１において、反射性眼球運動推定部２０（２０Ａ；２０Ｂ）は、撮像部１０により撮影される対象者の視対象を含む車外映像Ｂ１および対象者を含む車内映像Ａ１を受け付ける。

ステップＳＴ１２において、反射性眼球運動推定部２０（２０Ａ；２０Ｂ）は、車外映像Ｂ１から視対象運動を、車内映像Ａ１から対象者の頭部運動を測定して、測定された視対象運動測定結果Ｃ１と頭部運動測定結果Ｄ１から対象者の反射性眼球運動を推定する。

車外映像Ｂ１から視対象運動を測定する際、視線角度算出部５０が車内映像Ａ１から対象者の視線角度を算出し、反射性眼球運動推定部２０Ｂは算出された視線角度算出結果Ｈ１を視線角度算出部５０から受け付けて、車外映像Ｂ１と視線角度算出結果Ｈ１から視対象運動を測定してもよい。この場合、反射性眼球運動推定部２０Ｂは、視対象運動測定結果Ｃ２と頭部運動測定結果Ｄ１から対象者の反射性眼球運動を推定する。

ステップＳＴ１３において、眼球運動測定部３０は、車内映像Ａ１から対象者の眼球運動を測定する。

ステップＳＴ１４において、評価値算出部４０（４０Ａ；４０Ｂ）は、推定された反射性眼球運動推定結果Ｅ１またはＥ２と測定された眼球運動測定結果Ｆ１とから、前記反射性眼球運動の評価値Ｇ１またはＧ２を算出する。

＜付記＞
以上で説明した実施形態の種々の側面の一部を、以下にてまとめる。

（付記１）
付記１の反射性眼球運動評価装置は、車両に備えて用いられる反射性眼球運動評価装置（１００Ａ；１００Ｂ）であって、撮像部（１０）により撮影される対象者の視対象を含む車外映像（Ｂ１）および前記対象者を含む車内映像（Ａ１）を受け付けて、前記車外映像から前記車両を固定座標系とした前記対象者の視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定する反射性眼球運動推定部（２０Ａ；２０Ｂ）と、前記車内映像から前記対象者の眼球運動を測定する眼球運動測定部（３０）と、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出する評価値算出部（４０Ａ；４０Ｂ）と、を備える。

（付記２）
付記２の反射性眼球運動評価装置は、付記１の反射性眼球運動評価装置であって、前記反射性眼球運動推定部（２０Ａ）は、前記撮像部から入力される前記車内映像および前記車外映像を分配して出力するデータ入力部（２１Ａ）と、前記車外映像から前記視対象運動を測定する視対象運動測定部（２２Ａ）と、前記車内映像から前記頭部運動を測定する頭部運動測定部（２３）と、前記視対象運動および前記頭部運動から前記反射性眼球運動を算出する反射性眼球運動算出部（２４Ａ）と、を備える。

（付記３）
付記３の反射性眼球運動評価装置は、付記２の反射性眼球運動評価装置であって、前記視対象運動測定部は、前記車外映像の顕著性マップ、前記車外映像のオプティカルフロー、および前記車外映像から一般物体認識により検出される物体位置情報の少なくとも１つを用いて、前記視対象を含む領域を限定し又は前記視対象を特定する。

（付記４）
付記４の反射性眼球運動評価装置は、付記２の反射性眼球運動評価装置であって、前記反射性眼球運動算出部は、前記視対象運動の方向と同方向かつ前記頭部運動の方向と逆方向に、前記車内映像における前記対象者の前記反射性眼球運動を推定する。

（付記５）
付記５の反射性眼球運動評価装置（１００Ｂ）は、付記１の反射性眼球運動評価装置であって、前記車内映像から前記対象者の視線角度を算出する視線角度算出部（５０）を更に備える。

（付記６）
付記６の反射性眼球運動評価装置は、付記５の反射性眼球運動評価装置であって、前記反射性眼球運動推定部は、前記撮像部から入力される前記車内映像および前記車外映像並びに前記視線角度算出部から入力される視線角度を分配して出力するデータ入力部（２１Ｂ）と、前記車外映像および前記視線角度から前記視対象運動を測定する視対象運動測定部（２２Ｂ）と、前記車内映像から前記頭部運動を測定する頭部運動測定部（２３）と、前記視対象運動および前記頭部運動から前記反射性眼球運動を算出する反射性眼球運動算出部（２４Ｂ）と、を備える。

（付記７）
付記７の反射性眼球運動評価装置は、付記６の反射性眼球運動評価装置であって、前記視対象運動測定部は、前記車外映像の顕著性マップ、前記車外映像のオプティカルフロー、前記車外映像から一般物体認識により検出される物体位置情報、および前記視線角度の少なくとも１つを用いて、前記視対象を含む領域を限定し又は前記視対象を特定する。

（付記８）
付記８の反射性眼球運動評価装置は、付記６の反射性眼球運動評価装置であって、前記反射性眼球運動算出部は、前記視対象運動の方向と同方向かつ前記頭部運動の方向と逆方向に、前記車内映像における前記対象者の前記反射性眼球運動を推定する。

（付記９）
付記９の反射性眼球運動評価装置は、付記１から８のいずれか１つの反射性眼球運動評価装置であって、前記評価値算出部は、推定された反射性眼球運動の時系列データと、測定された眼球運動の時系列データとを比較し、２つの時系列データ間のゲイン、位相差、残差標準偏差、および周期差を含む少なくとも１つの指標に関する算出結果の合算値を前記反射性眼球運動の評価値として算出する。

（付記１０）
付記１０の反射性眼球運動評価システムは、前記撮像部と、付記１から９のいずれか１つの反射性眼球運動評価装置と、を備える。

（付記１１）
付記１１の反射性眼球運動評価方法は、反射性眼球運動評価装置（１００Ａ；１００Ｂ）による反射性眼球運動評価方法であって、反射性眼球運動推定部（２０）により、撮像部により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定するステップ（ＳＴ１１、ＳＴ１２）と、眼球運動測定部（２３）により、前記車内映像から前記対象者の眼球運動を測定するステップ（ＳＴ１３）と、評価値算出部（４０）により、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出するステップ（ＳＴ１４）と、を備える。

なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。

本開示の反射性眼球運動評価装置は、車両に搭載されて運転支援システムの一部として用いることができる。

１０撮像部、２０反射性眼球運動推定部、２１（２１Ａ；２１Ｂ）データ入力部、２２（２２Ａ；２２Ｂ）視対象運動測定部、２３頭部運動測定部、２４（２４Ａ；２４Ｂ）反射性眼球運動算出部、３０眼球運動測定部、４０（４０Ａ；４０Ｂ）評価値算出部、５０視線角度算出部、１００（１００Ａ；１００Ｂ）反射性眼球運動評価装置、Ａ１車内映像、Ｂ１車外映像、Ｃ１視対象運動測定結果、Ｄ１頭部運動測定結果、Ｅ１反射性眼球運動推定結果、Ｆ１眼球運動測定結果、Ｇ１反射性眼球運動評価値、Ｈ１視線角度算出結果、Ｃ２視対象運動測定結果、Ｅ２反射性眼球運動推定結果、Ｇ２反射性眼球運動評価値。

Claims

車両に備えて用いられる反射性眼球運動評価装置であって、
撮像部により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から前記車両を固定座標系とした前記対象者の視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定する反射性眼球運動推定部と、
前記車内映像から前記対象者の眼球運動を測定する眼球運動測定部と、
推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出する評価値算出部と、
を備える、反射性眼球運動評価装置。
前記反射性眼球運動推定部は、
前記撮像部から入力される前記車内映像および前記車外映像を分配して出力するデータ入力部と、
前記車外映像から前記視対象運動を測定する視対象運動測定部と、
前記車内映像から前記頭部運動を測定する頭部運動測定部と、
前記視対象運動および前記頭部運動から前記反射性眼球運動を算出する反射性眼球運動算出部と、
を備える、
請求項１に記載の反射性眼球運動評価装置。
前記視対象運動測定部は、前記車外映像の顕著性マップ、前記車外映像のオプティカルフロー、および前記車外映像から一般物体認識により検出される物体位置情報の少なくとも１つを用いて、前記視対象を含む領域を限定し又は前記視対象を特定する、
請求項２に記載の反射性眼球運動評価装置。
前記反射性眼球運動算出部は、前記視対象運動の方向と同方向かつ前記頭部運動の方向と逆方向に、前記車内映像における前記対象者の前記反射性眼球運動を推定する、
請求項２に記載の反射性眼球運動評価装置。
前記車内映像から前記対象者の視線角度を算出する視線角度算出部を更に備える、
請求項１に記載の反射性眼球運動評価装置。
前記反射性眼球運動推定部は、
前記撮像部から入力される前記車内映像および前記車外映像並びに前記視線角度算出部から入力される視線角度を分配して出力するデータ入力部と、
前記車外映像および前記視線角度から前記視対象運動を測定する視対象運動測定部と、
前記車内映像から前記頭部運動を測定する頭部運動測定部と、
前記視対象運動および前記頭部運動から前記反射性眼球運動を算出する反射性眼球運動算出部と、
を備える、
請求項５に記載の反射性眼球運動評価装置。
前記視対象運動測定部は、前記車外映像の顕著性マップ、前記車外映像のオプティカルフロー、前記車外映像から一般物体認識により検出される物体位置情報、および前記視線角度の少なくとも１つを用いて、前記視対象を含む領域を限定し又は前記視対象を特定する、
請求項６に記載の反射性眼球運動評価装置。
前記反射性眼球運動算出部は、前記視対象運動の方向と同方向かつ前記頭部運動の方向と逆方向に、前記車内映像における前記対象者の前記反射性眼球運動を推定する、
請求項６に記載の反射性眼球運動評価装置。
前記評価値算出部は、推定された反射性眼球運動の時系列データと、測定された眼球運動の時系列データとを比較し、２つの時系列データ間のゲイン、位相差、残差標準偏差、および周期差を含む少なくとも１つの指標に関する算出結果の合算値を前記反射性眼球運動の評価値として算出する、
請求項１に記載の反射性眼球運動評価装置。
前記撮像部と、
請求項１から９のいずれか１項に記載の反射性眼球運動評価装置と、
を備える、反射性眼球運動評価システム。
反射性眼球運動推定部により、撮像部により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定するステップと、
眼球運動測定部により、前記車内映像から前記対象者の眼球運動を測定するステップと、
評価値算出部により、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出するステップと、
を備える、反射性眼球運動評価装置による反射性眼球運動評価方法。