JP2024128869A - 電子機器、集中度算出方法、及び集中度算出プログラム - Google Patents

Abstract

【課題】簡易な構成で多様な状況下において対象者の集中度を算出する。【解決手段】電子機器１０は撮像部１１と視線検知部１２と制御部１３とを有する。撮像部１１は撮像により光景に対応する画像を生成する。視線検知部１２は光景に対する対象者の視線を検知する。制御部１３は画像中の認識対象物の有無の判別及び当該認識対象物の位置の特定を行う。制御部１３は視線が認識対象物の位置と重なる後の視線の動きに基づいて対象者の集中度を算出する。【選択図】図１

Description

本発明は、電子機器、集中度算出方法、及び集中度算出プログラムに関するものである。

移動体の安全な運転には、運転者の集中力が求められる。それゆえ、運転者の集中度を観察して、集中度が低下する場合、運転者への警告を発したり、運転の支援を行うことが検討されている。集中度を、前庭動眼反射や視運動性反射等に基づいて観察することが提案されている（特許文献１から５参照）。

特開２０１９－１３６１６６号公報 国際公開２０１０－０３２４２４号 特開２００８－０７９７３７号公報 特開２０２２－０１２２０６号公報 特開２０２１－０５３２４０号公報

しかし、前庭動眼反射の観察には観察対象者の頭部の動きを精密に検出する必要があり、例えば、運転者に対して観察することが難しかった。又、視運動性眼振は（静止している状態でも発生するが）、観測するには車両の振動や制動の情報を持っておく必要があった。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、簡易な構成で多様な状況下における対象者の集中度を算出する電子機器、集中度算出方法及び集中度算出プログラムを提供することにある。

上述した諸課題を解決すべく、第１の観点による電子機器は、
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像中の認識対象物の有無の判別及び該認識対象物の位置の特定を行い、前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する制御部と、を備える。

第２の観点による集中度算出方法は、
撮像により光景に対応する画像を生成する撮像工程と、
前記光景に対する対象者の視線を検知する視線検知工程と、
前記画像中の認識対象物の有無の判別及び該認識対象物の位置の特定を行う判別工程と、
前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する算出工程と、を備える。

第３の観点による集中度算出プログラムは、
コンピュータを、
撮像部が撮像により生成する光景に対応する画像、及び視線検知部が検知する前記光景に対象者の視線を取得する取得部と、
前記画像中の認識対象物の有無の判別及び該認識対象物の位置の特定を行い、前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する制御部と、して機能させる。

上記のように構成された本開示に係る電子機器、集中度算出方法及び集中度算出プログラムによれば、簡易な構成で多様な状況下において対象者の集中度が算出される

一実施形態に係る電子機器の概略構成を示すブロック図である。 視線検知部が検知する視線と画像との関係を説明するための図である。 一実施形態において図１の制御部が実行する算出処理を説明するためのフローチャートである。 画像におけるオプティカルフローと、高集中度下におけるオプティカルフローに対する視線の第１の動きを説明する図である。 画像におけるオプティカルフローと、高集中度下におけるオプティカルフローに対する視線の第２の動きを説明する図である。 画像におけるオプティカルフローと、低集中度下におけるオプティカルフローに対する視線の動きを説明する図である。 画像における、高集中度下に視線の移動速度を説明する図である。

以下、本開示を適用した電子機器の実施形態について、図面を参照して説明する。なお、以下の説明は、本開示を適用した集中度算出方法及び集中度算出プログラムの説明を兼ねる。

本開示の一実施形態に係る電子機器は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

図１に示すように、一実施形態に係る電子機器１０は、撮像部１１、視線検知部１２、及び、制御部１３を含んで構成される。電子機器１０は、更に、メモリ１４を含んで構成されてよい。

撮像部１１は、例えば、移動体の前進方向の光景を撮像可能に、移動体に設けられている。撮像部１１は、例えば、３０ｆｐｓの速度で撮像可能なカメラである。撮像部１１は、撮像により光景に対応する画像を生成する。

視線検知部１２は、例えば、移動体の運転席に着座する対象者の視線を検知可能に、移
動体に設けられている。視線検知部１２は、例えば、接触型のアイトラッカーおよび非接触型のアイトラッカーのいずれかであり、光景に対する対象者の視線を検知する。図２に示すように、視線ＬＳは、例えば、撮像部１１が撮像により生成する画像ＩＭと同じ座標系における位置ＰＥに相当する視線の方向として示される。

メモリ１４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１４は、制御部１３を機能させる多様なプログラム、および制御部１３が用いる多様な情報を記憶する。

制御部１３は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部１３は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。制御部１３は、電子機器１０の各構成要素の動作を制御する。

制御部１３は、通常時に、例えば、３０ｆｐｓなどの速度で連続的な撮像を撮像部１１に実行させ、連続的に画像ＩＭを情報として取得する。制御部１３は、画像ＩＭ中の認識対象物の有無を判別する。認識対象物の有無は、認識対象物が像として含まれているか否かを意味してよい。以下の説明において、画像ＩＭにおける認識対象物は、認識対象物の像を意味する。

認識対象物は、電子機器１０が用いられる用途に応じて定められてよい。例えば、電子機器１０が移動体における運転者を観察する用途に用いられる構成においては、認識対象物は、移動体の運転において運転者が一般的に意図して視覚する物体である。運転者が一般的に意図して視覚する物体は、例えば、車両、歩行者、路上の交通安全施設等である。路上の交通安全施設は、例えば、信号機、道路標識、路面標示等である。

制御部１３は、任意の方法を用いて、画像ＩＭ中の認識対象物を認識してよい。制御部１３は、例えば、学習用の画像を用いて機械学習させた認識モデルを用いて、画像ＩＭ中の認識対象物を認識してよい。制御部１３は、画像ＩＭ中の認識対象物の存在が認められる場合、画像ＩＭにおける認識対象物の位置を特定する。認識対象物の位置は、認識対象物が占める領域のいずこかであってよい。

制御部１３は、撮像部１１における撮像の実行時の対象者の視線ＬＳを視線検知部１２に検知させ、画像ＩＭの撮像時点と実質的に同じ時期における視線ＬＳを情報として取得してよい。画像ＩＭの撮像時点と実質的に同じ時期とは、単一の検出時点を含んでよく、画像ＩＭの直近の撮像のひとつ前の撮像時点から直近の撮像時点までの間の複数の検出時点を含んでよい。画像ＩＭの撮像時点と実質的に同じ時期は、視線の単一の検出時点を含む場合、厳密な同時点ではなく、画像撮像と同じ周期の視線検知において、撮像時に最も近い時点における検知時点を含んでよい。

制御部１３は、画像ＩＭに認識対象物が存在する場合、撮像時点と実質的に同じ検知時点における視線ＬＳが認識対象物の位置と重なるか否かを判別する。制御部１３は、視線ＬＳが認識対象物の位置と重なる場合、重なると判別した後の視線ＬＳの動きに基づいて
、対象者の集中度を算出する。なお、本開示において集中度は、ある事柄に対して対象者が注意を向けている程度である。ただし、本開示における集中度は、このような概念に限定されるものではなく、適用場面に応じて適宜ほかの定義が適用されてよい。制御部１３は、以下に説明するように、視線ＬＳの動き及びオプティカルフローに基づいて、又は視線ＬＳ移動速度に基づいて、対象者の集中度を算出してよい。オプティカルフローは、連続するフレームの画像ＩＭ間における同じ認識対象物の像の光学的な動き、言換えると画像ＩＭ内でのベクトルである。

制御部１３は、集中度の算出のために、例えば、視線ＬＳと重なる位置の認識対象物のオプティカルフローを、後のフレームの画像ＩＭから算出してよい。後のフレームの画像ＩＭとは、視線ＬＳが認識対象物の位置と重なる画像ＩＭの後に制御部１３が取得する画像である。又、制御部１３は、集中度の算出のために、オプティカルフローの算出に用いた複数の画像ＩＭの撮像時と実質的に同じ検知時点である視線ＬＳの動き、言換えると視線ＬＳの変化を示すベクトルを算出してよい。

制御部１３は、オプティカルフローと視線ＬＳの動きの相関性を算出してよい。制御部１３は、オプティカルフローと視線ＬＳの動きの相関性を、例えば、オプティカルフローを示すベクトルと視線ＬＳを示すベクトルとの大きさの差及び角度に応じて算出してよい。例えば、制御部１３は、オプティカルフローを示すベクトルと視線ＬＳを示すベクトルとの大きさの差がゼロに近づくほど高くなるように、相関性を算出してよい。又、制御部１３は、オプティカルフローを示すベクトルと視線ＬＳを示すベクトルとのなす角度が９０°に近づくほど低く且つ０°又は１８０°に近づくほど高くなるように、相関性を算出してよい。

制御部１３は、算出した相関性が低くなるほど小さくなるように、集中度を算出してよい。逆に、制御部１３は、算出した相関性が高くなるほど大きくなるように、集中度を算出してよい。

制御部１３は、集中度の算出のために、検知時点が連続する視線ＬＳに基づいて、視線の移動速度を算出してよい。制御部１３は、視線ＬＳが認識対象物の位置と重なる画像ＩＭの次に取得する画像ＩＭにおいて視線ＬＳが当該認識対象物から外れるか否かを判別してよい。制御部１３は、視線ＬＳが当該認識対象物から外れると判別される場合、視線ＬＳの移動速度に基づいて集中度を算出してよい。具体的には、制御部１３は、視線ＬＳの移動速度がサッカードの速度を超えている場合、高くなるように集中度を算出してよい。サッカードの速度は、一般的に、１００°／秒から５００°／秒であり、視線ＬＳの移動速度との比較には、この範囲内で定められた値が用いられてよい。又は、制御部１３は、視線ＬＳの移動速度がサッカードの速度を下回る場合、低くなるように集中度を算出してよい。視線ＬＳの移動速度とサッカードの移動速度の比較に基づく集中度の算出では、集中度は低集中度及び高集中度のいずれかが算出されているが、段階的な値が算出されてよい。なお、本開示において、サッカードの速度は角速度として示されてよい。サッカードの速度単位の［°／秒］は、例えば［ｒａｄ／ｓ］等の他の速度単位により表現されてよい。サッカードの速度測定の際の角度の中心は対象者の頭（目）を基準としてよい。サッカードの速度は、どれだけの速度で目が回転したかという値であってよい。サッカードの速度は、目が止まっている時を０［ｒａｄ／ｓ］であってよい。サッカードの速度を与える角度は、目を中心とした３次元で測定されてよい。

制御部１３は、算出した集中度を外部機器１５に出力する。外部機器１５は、集中度に基づいて所定の動作を行う装置である。外部機器１５は、例えば、集中度に基づいて対象者に警告を発する警告装置、集中度に基づいて移動体の運転補助を行う運転補助装置、及び集中度に基づいて移動体の運転を行う運転装置などである。

次に、本実施形態において制御部１３が実行する、算出処理について、図３のフローチャートを用いて説明する。算出処理は、１フレームの画像ＩＭおよび視線ＬＳを制御部１３が取得するたびに開始する。

ステップＳ１００において、制御部１３は、取得する視線ＬＳを、画像ＩＭと同じ座標系における位置ＰＥに相当する視線の方向として認識する。認識後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、制御部１３は、画像ＩＭにおける認識対象物の有無の判別及び位置の検出を行う。判別及び検出後、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、制御部１３は、前フレームの画像ＩＭにおいて視線ＬＳが認識対象物の位置と重なるか否かを判別する。重なる場合、プロセスはステップＳ１０３に進む。重ならない場合、プロセスはステップＳ１０７に進む。

ステップＳ１０３では、制御部１３は、現フレームの画像ＩＭにおいて視線ＬＳが前フレームにおいて視線ＬＳと重なった認識対象物から外れるか否かを判別する。外れない場合、プロセスはステップＳ１０４に進む。外れる場合、プロセスはステップＳ１０５に進む。

ステップＳ１０４では、制御部１３は、前フレームと現フレームとの間における視線ＬＳの動き及びオプティカルフローに基づいて、集中度を算出する。算出後、プロセスはステップＳ１０６に進む。

ステップＳ１０５では、制御部１３は、前フレームと現フレームとの間における視線ＬＳの動きに基づいて移動速度を算出してよい。更に、制御部１３は、算出した移動速度をサッカードの速度と比較することにより、集中度を算出する。算出後、プロセスはステップＳ１０６に進む。

ステップＳ１０６では、制御部１３は、ステップＳ１０４又はステップＳ１０５において算出した集中度を外部機器１５に出力する。出力後、プロセスはステップＳ１０７に進む。

ステップＳ１０７では、制御部１３は、ステップＳ１００において認識した視線ＬＳ、及びステップ１０１において認識された認識対象物の重なりを判別する。なお、ステップＳ１０１において、画像ＩＳ中に認識対象物が存在しないと判別される場合、ステップＳ１０７をスキップしてよい。

以上のような構成の本実施形態の電子機器１０は、撮像により光景に対応する画像ＩＭを生成する撮像部１１と、光景に対する対象者の視線を検知する視線検知部１２と、画像ＩＭ中の認識対象物の有無及び当該認識対象物の位置を判別し、視線ＬＳが認識対象物の位置と重なる後の当該視線ＬＳの動きに基づいて対象者の集中度を算出する制御部１３とを備える。認識対象物を視覚した後の視線の動きは、集中度の高低により変動する。そのような反応を利用して、上述のような構成を有する電子機器１０は、必要な情報を撮像部１１及び視線検知部１２の検出結果から得られるので、簡易な構成で集中度を算出し得る。又、上述の構成を有する電子機器１０は、認識対象物に視線ＬＳが重なれば集中度を算出可能なので、多様な状況下でも対象者の集中度を算出し得る。

又、本実施形態の電子機器１０は、視線ＬＳが重なる位置の認識対象物のオプティカル
フローを当該視線ＬＳが当該認識対象物の位置と重なる画像ＩＭの後に取得する画像ＩＭから算出し、オプティカルフローと視線ＬＳの動きとに基づいて、集中度を算出する。例えば、対象者が道路を走行中に、認識対象物として経路案内に視線ＬＳを向けることが想定される。図４に示すように、走行中の移動体において撮像した任意のフレームの画像ＩＭにおける路面標示１６は、前のフレームの画像ＩＭにおいては異なる位置ｄｐにあることが想定される。集中力が高い状態で対象者が路面標示１６を注視している場合、前のフレームから任意のフレーム間において、視線ＬＳの動きＭ１は路面標示１６のオプティカルフローｏｆに近づくことが一般的である。又は、集中力が高い状態の対象者は、それまでオプティカルフローに沿って注視していた路面標示１６から、特にどこかを意図してみない場合は、それまでのオプティカルフローの逆方向に視線を移すことが一般的である。それゆえ、図５に示すように、視線ＬＳの動きＭ１は路面標示１６のオプティカルフローとは逆方向に近くづく可能性が高い。一方で、図６に示すように、集中力の低い状態の対象者は、特定の物を注視していない可能性が高いため、視線ＬＳの動きＭ１はオプティカルフローとは無関係になる。このような生理現象に対して、上述の構成を有する電子機器１０は、オプティカルフローと視線ＬＳの動きに基づくので、高い精度で集中度を算出し得る。

又、本実施形態の電子機器１０は、視線ＬＳが認識対象物の位置と重なる画像の次に取得する画像において視線が当該認識対象物の位置から外れる場合に、当該視線ＬＳの移動速度に基づいて、前記集中度を算出する。前述のように、例えば、対象者が道路を走行中に、認識対象物として経路案内に視線ＬＳを向けることが想定される。集中力が高い状態で対象者が路面標示１６を注視している場合、他の認識対象物に視線ＬＳを移すことはあり得る。このように集中力が高い状態では、任意の認識対象物から別の認識対象物に視線ＬＳを移す場合、サッカードの速度を超える移動速度で視線ＬＳが切り替わることが一般的である。それゆえ、図７に示すように、それまで注視していた路面標示１６のオプティカルフローｏｆとは無関係であっても、視線ＬＳの移動速度がサッカードの速度を超える場合、対象者の集中度は高い。このような生理現象に対して、上述の構成を有する電子機器１０は、視線ＬＳの移動速度に基づくので、高い精度で集中度を算出し得る。

以上、電子機器１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

１０ 電子機器
１１ 撮像部
１２ 視線検知部
１３ 制御部
１４ メモリ
１５ 外部機器
１６ 路面標示
ｄｐ 異なる位置
ＩＭ 画像
ＬＳ 視線
Ｍ１ 視線の動き
ｏｆ オプティカルフロー
ＰＥ 視線の方向に相当する位置

Claims (6)

1. 撮像により光景に対応する画像を生成する撮像部と、
   前記光景に対する対象者の視線を検知する視線検知部と、
   前記画像中の認識対象物の有無の判別及び該認識対象物の位置の特定を行い、前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する制御部と、を備える
   電子機器。
2. 請求項１に記載の電子機器において、
   前記制御部は、前記視線が重なる位置の前記認識対象物のオプティカルフローを該視線が該認識対象物の位置と重なる画像の後に取得する前記画像から算出し、前記オプティカルフローと前記視線の動きとに基づいて、前記集中度を算出する
   電子機器。
3. 請求項２に記載の電子機器において、
   前記制御部は、前記オプティカルフロー及び前記視線の動きの相関性が低くなるほど、集中度が小さくなるように、該集中度を算出する
   電子機器。
4. 請求項１に記載の電子機器において、
   前記制御部は、前記視線が前記認識対象物の位置と重なる前記画像の次に取得する前記画像において前記視線が該認識対象物の位置から外れる場合に、該視線の移動速度に基づいて、前記集中度を算出する
   電子機器。
5. 撮像により光景に対応する画像を生成する撮像工程と、
   前記光景に対する対象者の視線を検知する視線検知工程と、
   前記画像中の認識対象物の有無及び該認識対象物の位置を判別する判別工程と、
   前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する算出工程と、を備える
   集中度算出方法。
6. コンピュータを、
   撮像部が撮像により生成する光景に対応する画像、及び視線検知部が検知する前記光景に対象者の視線を取得する取得部と、
   前記画像中の認識対象物の有無及び該認識対象物の位置を判別し、前記視線が前記認識対象物の位置と重なる後の該視線の動きに基づいて、前記対象者の集中度を算出する制御部と、して機能させる
   集中度算出プログラム。

Images