JP7244011B2 - 注意状態監視システム、注意状態監視装置、注意状態監視方法、およびコンピュータプログラム - Google Patents

Description

特許法第３０条第２項適用 研究集会名 ：平成３０年度精神的価値が成長する感性イノベーション拠点公開シンポジウム 主催者 ：広島大学 感性イノベーション研究推進機構 開催日 ：２０１８年６月２９日 〔刊行物等〕 資料タイトル：注意の可視化 公開日 ：２０１８年６月２９日

本発明は、人間の注意の状態を監視する技術に関する。

近年、人間の注意の状態を検出する技術が様々な分野において要求されている。要求に応えるために、例えば保安の分野においては、特許文献１に記載されるようなシステムが提案されている。

このシステムは、保安監視制御設備に装着でき、モニタ監視人員の目のイメージを取得することに用いる撮像装置と、該撮像装置に接続し、目の運動状況を検出することに用い、目が注視するスクリーンの位置を算出する検出ユニットと、該検出ユニットに接続し、算出された注視位置データに基づき、該モニタ監視人員が監視制御スクリーンを監視する注意力の集中程度及び適合程度を分析して得る分析ユニットと、を含む。

特開２０１１－４００３２号公報

人間の注意力の状態を検出する方法は様々であるが、人間が活動している最中にリアルタイムに検出しなければならない場合は特に、できるだけ正確に検出することが要求される。

しかし、人間の注意力の状態を１００％正確に検出することは困難である。そこで、幾つかの検出の技術を組み合わせたり使い分けたりすることによって正確性を１００％に近づけることが必要である。そのためには、検出の技術が多いほうが好ましい。

本発明は、このような課題に鑑み、人間の注意力の状態をリアルタイムに検出する新たな技術を提案する。

本発明の一形態に係る注意状態監視システムは、被験者の視覚的な注意の状態をリアルタイムに監視する注意状態監視システムであって、前記被験者の視界の画像を取得する画像取得手段と、定期的に前記被験者の視線を検知する視線検知手段と、前記視線が検知されるごとに、前記画像の中の前記被験者が注目する注目部分のサリエンス値を第一のサリエンス値として当該検知された視線に基づいて選出する第一の選出手段と、前記視線が検知されるごとに、前記画像の中のランダムに決めたランダム部分のサリエンス値を第二のサリエンス値として選出する第二の選出手段と、所定のタイミングが訪れるごとに、直近の所定の時間内に選出された前記第一のサリエンス値および前記第二のサリエンス値に基づいて前記注意の程度を算出する算出手段と、前記程度を出力する出力手段と、を有する。

好ましくは、前記画像取得手段は、定期的に前記被験者の視界を撮影することによって前記画像を取得し、前記第一の選出手段は、前記視線が検知された時点、当該時点の直前、または当該時点の直後に前記画像取得手段によって取得された前記画像である直近画像の中の前記注目部分のサリエンス値を前記第一のサリエンス値として選出し、前記第二の選出手段は、前記直近画像の中の前記ランダム部分のサリエンス値を前記第二のサリエンス値として選出する。

前記程度は、例えば、前記所定の時間内に選出された前記第一のサリエンス値の全体的な傾向と前記所定の時間内に選出された前記第二のサリエンス値の全体的な傾向との乖離の度合である。前記度合は、例えば、前記所定の時間内に選出された前記第一のサリエンス値および前記所定の時間内に選出された前記第二のサリエンス値のＲＯＣ（Receiver Operatorating Characteristic）曲線のＡＵＣ（Area Under Curve）スコアである。

本発明によると、人間の注意力の状態をリアルタイムに検出する新たな技術を得ることができる。

注意可視化システムの全体的な構成の例を示す図である。 スマートグラスのハードウェア構成の例を示す図である。 視界、撮影範囲、および視点の位置関係の例を示す図である。 解析装置のハードウェア構成の例を示す図である。 解析装置の機能的構成の例を示す図である。 フレームおよびサリエンシーマップの例を示す図である。 視点サリエンス値およびランダムサリエンス値を選出する方法の例を説明するための図である。 視点サリエンス値およびランダムサリエンス値それぞれの保存の例を示す図である。 視点サリエンス値およびランダムサリエンス値それぞれのヒストグラムの例を示す図である。 真出現総数および偽出現総数それぞれの例を示す図である。 真陽性率および偽陽性率それぞれの例を示す図である。 ＲＯＣ曲線の例を示す図である。 折れ線グラフの表示の態様の例を示す図である。 メッセージの表示の態様の例を示す図である。 解析装置における全体的な処理の流れの例を説明するためのフローチャートである。 折れ線グラフの提示の仕方の変形例を示す図である。

図１は、注意可視化システム１の全体的な構成の例を示す図である。図２は、スマートグラス２のハードウェア構成の例を示す図である。図３は、視界２Ａ、撮影範囲２Ｂ、および視点２Ｃの位置関係の例を示す図である。図４は、解析装置３のハードウェア構成の例を示す図である。図５は、解析装置３の機能的構成の例を示す図である。

図１に示すように、注意可視化システム１は、スマートグラス２、解析装置３、および中継装置４などによって構成される。

注意可視化システム１は、被験者の注意を可視化して提示する。以下、歩行者１１が被験者である場合を例に、説明する。

中継装置４は、スマートグラス２と解析装置３との間でやり取りされるデータを、携帯電話回線、無線ＬＡＮ（Local Area Network）、またはインターネットなどの通信回線を介して中継する。中継装置４として、Ｗｉ－Ｆｉ用ルータ、スマートフォン、またはタブレットコンピュータなどが用いられる。

スマートグラス２は、歩行者１１の視線および視界を観察するための装置である。スマートグラス２は、図２に示すようにコントロールユニット２１、視線センサ２２、ビデオカメラ２３、ディスプレイ２４、および通信装置２５など装置を備える。歩行者１１は、スマートグラス２を装着して使用する。歩行者１１は、スマートグラス２を装着したまま屋外または屋内を歩いたり走ったり立ち止まったりする。

コントロールユニット２１は、プロセッサおよびメモリなどによって構成され、スマートグラス２の全体的な制御を行う。

視線センサ２２は、「アイトラッカー」または「視線追跡装置」などと呼ばれる装置であって、歩行者１１の視線の動きをリアルタイムに検知する。

ビデオカメラ２３は、図３に示すように、歩行者１１がスマートグラス２を装着した状態でスマートグラス２のレンズ２６越しに見ることのできる範囲（以下、「視界２Ａ」と記載する。）をビデオカメラ２３の撮影の範囲（以下、「撮影範囲２Ｂ」と記載する。）が含むように設定されている。したがって、ビデオカメラ２３によると、歩行者１１が見ている風景の動画像を撮影することができる。

視線センサ２２とビデオカメラ２３との位置関係は、固定的である。よって、視線センサ２２によって検知される視線と撮影範囲２Ｂとの位置関係は、視線センサ２２とビデオカメラ２３との位置関係などに基づいて算出することができる。

なお、視界２Ａと撮影範囲２Ｂとは、できるだけ一致していることが望ましい。または、撮影範囲２Ｂのうちの視界２Ａと重複しない部分をカットし、重複する部分が後述の処理において使用されるようにしてもよい。また、図３の例では、ビデオカメラ２３がスマートグラス２の端に設けられているが、中央に設けられていてもよい。

ディスプレイ２４は、歩行者１１に見せるための画像を表示する。ディスプレイ２４は、網膜投射型のディスプレイであってもよいし、光学透過型のディスプレイであってもよい。

通信装置２５は、中継装置４にケーブルまたは無線を介して接続し、中継装置４および通信回線を介して解析装置３と通信する。特に、視線センサ２２およびビデオカメラ２３のそれぞれによって得られたデータを解析装置３へ送信したり、解析装置３から処理の結果を受信したりする。

スマートグラス２として、例えばトビー・テクノロジー社、ＳＭＩ（Senso Motoric Instruments）社、またはグーグル社などの企業が市販するスマートグラスを用いることができる。このようなスマートグラスの例として、ＴｏｂｉｉＰｒｏグラス２およびグーグルグラスなどが挙げられる。

解析装置３は、歩行者１１の視界および視線を解析することによって歩行者１１の注意を判別するための装置である。解析装置３は、図４に示すように、プロセッサ３１、ＲＡＭ（Random Access Memory）３２、ＲＯＭ（Read Only Memory）３３、補助記憶装置３４、ネットワークアダプタ３５、キーボード３６、ポインティングデバイス３７、およびタッチパネルディスプレイ３８などによって構成される。

プロセッサ３１は、ＲＡＭ３２にロードされたプログラムを実行する。プロセッサ３１として、ＧＰＵ（Graphics Processing Unit）またはＣＰＵ（Central Processing Unit）などが用いられる。

ネットワークアダプタ３５は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで他の装置と通信する。ネットワークアダプタ３５として、ＮＩＣ（Network Interface Card）または無線ＬＡＮ装置などが用いられる。

キーボード３６およびポインティングデバイス３７は、コマンドまたはデータなどをオペレータが入力するための入力装置である。

タッチパネルディスプレイ３８は、コマンドもしくはデータを入力するための画面またはプロセッサ３１による処理の結果などを表示する。

ＲＯＭ３３または補助記憶装置３４には、注意可視化プログラム３０がインストールされている。注意可視化プログラム３０は、歩行者１１の現在の注意の状態を検出して可視化するプログラムであって、図５に示す視線データ記憶部３０１、サリエンシーマップ生成部３０２、マップデータ記憶部３０３、視点サリエンス値選出部３０４、ランダムサリエンス値選出部３０５、サリエンス値記憶部３０６、ＲＯＣ曲線算出部３０７、ＡＵＣスコア算出部３０８、およびＡＵＣスコア出力部３０９などのモジュールによって構成される。

ところで、月が夜空に光っているときに、人間の注意は、月に向きやすい。これは、月が周囲よりも目立つからである。このように視覚的な刺激が人間の注意を誘引する性質は、「サリエンシー」と呼ばれる。

サリエンシーマップは、画像の各部分のサリエンシーの高さを輝度または濃度の階調で表わしたものである（非特許文献１）。また、コンピュータによってサリエンシーを検出する場合であっても、サリエンシーの高い部分ほど人間の注意が向きやすいことが知られている。非特許文献１：「サリエンシー・マップの視覚探索解析への応用」，吉田正俊，日本神経回路学会誌 Vol. 21, No. 1 (2014), 3-12，https://www.jstage.jst.go.jp/article/jnns/21/1/21_3/_pdf/-char/ja
したがって、サリエンシーマップは人間の視覚的な注意の向きやすさを表わす分布図であると、言える。

注意可視化プログラム３０は、非特許文献１に記載される技術を応用することによって歩行者１１の現在の注意の状態を検出して可視化する。

以下、歩行者１１がスマートグラス２を装着して屋内または屋外にいるときの、スマートグラス２および解析装置３それぞれの処理について、説明する。

図６は、フレーム６Ａおよびサリエンシーマップ６Ｂの例を示す図である。図７は、視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆを選出する方法の例を説明するための図である。図８は、視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆそれぞれの保存の例を示す図である。図９は、視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆそれぞれのヒストグラムの例を示す図である。図１０は、真出現総数Ｓｔ０～Ｓｔ１０および偽出現総数Ｓｆ０～Ｓｆ１０それぞれの例を示す図である。図１１は、真陽性率Ｒｔ０～Ｒｔ１０および偽陽性率Ｒｆ０～Ｒｆ１０それぞれの例を示す図である。図１２は、ＲＯＣ曲線の例を示す図である。図１３は、折れ線グラフ７０の表示の態様の例を示す図である。図１４は、メッセージ７１の表示の態様の例を示す図である。

スマートグラス２において、視線センサ２２は、時間Ｌａごとに歩行者１１の視線を検知する。より具体的には、図３に示すような、撮影範囲２Ｂにおける、歩行者１１の視点２Ｃの位置を検知する。そして、視点２Ｃの位置および検知した際の時刻を示す視線データ５Ａを、通信装置２５を介してリアルタイムで解析装置３へ送信する。

ビデオカメラ２３は、歩行者１１がスマートグラス２を身に付けている間、動画像を撮影する。これにより、歩行者１１が見ている風景の動画像の動画像データ５Ｂが得られる。ビデオカメラ２３のフレームレートは時間Ｌａである。したがって、時間Ｌａごとの、撮影範囲２Ｂの画像（静止画像）としてフレーム６Ａが得られる。そして、ビデオカメラ２３は、動画像データ５Ｂを、ストリーミングによって通信装置２５を介してリアルタイムで解析装置３へ送信する。

なお、時間Ｌａは、オペレータが任意に設定することができ、例えば２０ミリ秒である。視線センサ２２が検知を開始する時刻およびビデオカメラ２３が撮影を開始する時刻は同一であり、ともに時刻Ｔ０である。以下、時刻Ｔ０から時間Ｌａが経過するごとの時刻を順に「時刻Ｔ１」、「時刻Ｔ２」、「時刻Ｔ３」、…と記載する。

解析装置３において、視線データ記憶部３０１には、視線センサ２２から送信されてきた視線データ５Ａが記憶される。

サリエンシーマップ生成部３０２は、ビデオカメラ２３から送信されてきた動画像データ５Ｂをデコードすることによって時刻Ｔ０、Ｔ１、Ｔ２、…ごとのフレーム６Ａの画像データを生成し、各フレーム６Ａのサリエンシーマップ６Ｂを生成する。

サリエンシーマップ６Ｂは、フレーム６Ａの中の各部分の視覚的なサリエンス（顕著性）の高低を表わすグレースケール画像である。以下、視覚的なサリエンスを単に「サリエンス」と記載する。

例えば、フレーム６Ａが１００×７０個の部分に分けられる場合は、サリエンシーマップ生成部３０２は、１００×７０個の部分それぞれのサリエンス値を算出することによってサリエンシーマップ６Ｂを生成する。

一般的なサリエンシーマップは、サリエンス値が高いほど輝度または明度の階調が高くなるように表示されまたは印刷される。しかし、本実施形態では、図面を見やすくするために、サリエンスが高いほど黒の濃度の階調が高くなるようにサリエンシーマップ６Ｂを表わしている。例えば、図６（Ａ）に示すフレーム６Ａから、図６（Ｂ）に示すサリエンシーマップ６Ｂが生成されるが、このサリエンシーマップ６Ｂの中の真っ白の部分はサリエンス値がゼロであり、真っ黒の部分はサリエンス値がマックス値（本実施形態では、「１」）である。

サリエンシーマップ６Ｂは、非特許文献１に記載されるような公知の方法によって生成される。非特許文献１に記載される方法によると、フレーム６Ａの部分ごとに種々の特徴量（輝度、色、傾き、動き）を算出し、それらを足し合わせることによって部分ごとのサリエンス値が算出される。

サリエンシーマップ生成部３０２によって生成されたサリエンシーマップ６Ｂは、基のフレーム６Ａが撮影された時刻と対応付けられてマップデータとしてマップデータ記憶部３０３に記憶される。

以下、時刻Ｔ０、Ｔ１、Ｔ２、…それぞれのフレーム６Ａを「フレーム６Ａ０」、「フレーム６Ａ１」、「フレーム６Ａ２」、…と記載する。時刻Ｔ０、Ｔ１、Ｔ２、…それぞれの視線データ５Ａを「視線データ５Ａ０」、「視線データ５Ａ１」、「視線データ５Ａ２」、…と記載する。また、「フレーム６Ａ０」、「フレーム６Ａ１」、「フレーム６Ａ２」、…それぞれのサリエンシーマップ６Ｂを「サリエンシーマップ６Ｂ０」、「サリエンシーマップ６Ｂ１」、「サリエンシーマップ６Ｂ２」、…と記載する。

視点サリエンス値選出部３０４は、時刻Ｔ０、Ｔ１、Ｔ２、…それぞれにおける視点サリエンス値Ｖｔを選出する。「視点サリエンス値Ｖｔ」は、歩行者１１の視点のサリエンスの高さを表わす値であって、視線データ５Ａおよびサリエンシーマップ６Ｂに基づいて特定することができる。

例えば、時刻Ｔｋにおける視点サリエンス値Ｖｔｋは、視線データ５Ａｋおよびサリエンシーマップ６Ｂｋに基づいて、図７のように特定される。

視点サリエンス値選出部３０４は、サリエンシーマップ６Ｂｋの中の、視線データ５Ａｋに示される視点２Ｃの座標（Ｘｃ，Ｙｃ）の位置の属する部分を特定する。特定した部分のサリエンス値を時刻Ｔｋにおける視点サリエンス値Ｖｔとして選出する。

ランダムサリエンス値選出部３０５は、図７のようにサリエンシーマップ６Ｂｋの中からランダムに部分を１つ選出し、その部分のサリエンス値を時刻Ｔｋのランダムサリエンス値Ｖｆとして選出する。なお、サリエンシーマップ６Ｂｋの中から部分を複数してもよいが、これについては変形例として後に説明する。

各時刻Ｔ０、Ｔ１、Ｔ２、…、の視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆは、図８のようにサリエンス値記憶部３０６に記憶される。

ＲＯＣ曲線算出部３０７は、各時刻のＲＯＣ（Receiver Operatorating Characteristic）曲線を算出する。以下、時刻ＴｋのＲＯＣ曲線を算出する場合を例に、ＲＯＣ曲線の算出の方法を説明する。

ＲＯＣ曲線算出部３０７は、時刻Ｔｋから時間Ｌｂ前までの間の各時刻の視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆをサリエンス値記憶部３０６から読み出し、視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆそれぞれのヒストグラムを算出する。

時間Ｌｂは、オペレータが任意に設定することができるが、２０秒程度であるのが望ましい。時間Ｌｂが２０秒であり時間Ｌａが２０ミリ秒である場合は、ＲＯＣ曲線算出部３０７は、時刻Ｔ（ｋ－１０００）から時刻Ｔｋまでの視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆを読み出し、ヒストグラムを算出する。

視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆの取り得る値がともに「０」～「１」間の０．１刻みの値である場合つまり「０．０」、「０．１」、「０．２」、…、「０．９」、「１．０」である場合は、図９に示すようなヒストグラムが算出される。以下、図９のようなヒストグラムが算出された場合を例に説明する。

真出現回数Ｎｔ０、Ｎｔ１、Ｎｔ２、…、Ｎｔ９、Ｎｔ１０は、それぞれ、時刻Ｔｋから時間Ｌｂ前までの間に視点サリエンス値Ｖｔとして「０．０」、「０．１」、「０．２」、…、「０．９」、「１．０」が出現した（視点サリエンス値選出部３０４によって選出された）回数である。図９において、例えば真出現回数Ｎｔ３は「１００」である。これは、時刻Ｔｋから時間Ｌｂ前までの間に視点サリエンス値Ｖｔとして「０．３」が９０回出現したことを意味する。

一方、偽出現回数Ｎｆ０、Ｎｆ１、Ｎｆ２、…、Ｎｆ９、Ｎｆ１０は、それぞれ、時刻Ｔｋから時間Ｌｂ前までの間にランダムサリエンス値Ｖｆとして「０．０」、「０．１」、「０．２」、…、「０．９」、「１．０」が出現した（ランダムサリエンス値選出部３０５によって選出された）回数である。図９において、例えば偽出現回数Ｎｆ５は「７０」である。これは、時刻Ｔｋから時間Ｌｂ前までの間にランダムサリエンス値Ｖｆとして「０．５」が７０回出現したことを意味する。

ＲＯＣ曲線算出部３０７は、「０．０」、「０．１」、「０．２」、…、「０．９」、「１．０」、「１．１」それぞれの真出現総数Ｓｔ０、Ｓｔ１、Ｓｔ２、…、Ｓｔ９、Ｓｔ１０、Ｓｔ１１を算出する。

真出現総数Ｓｔ０、Ｓｔ１、Ｓｔ２、…、Ｓｔ９、Ｓｔ１０、Ｓｔ１１は、それぞれ、視点サリエンス値Ｖｔとして０．０以上、０．１以上、０．２以上、…、０．９以上、１．０以上、１．１以上のサリエンス値が出現した回数である。すなわち、例えば、真出現総数Ｓｔ０は、０．０以上のサリエンス値が視点サリエンス値Ｖｔとして出現した回数であって、真出現回数Ｎｔ０～Ｎｔ１０の合計値である。または、真出現総数Ｓｔ３は、０．３以上のサリエンス値が視点サリエンス値Ｖｔとして出現した回数であって、真出現回数Ｎｔ３～Ｎｔ１０の合計値である。

さらに、ＲＯＣ曲線算出部３０７は、「０．０」、「０．１」、「０．２」、…、「０．９」、「１．０」、「１．１」それぞれの偽出現総数Ｓｆ０、Ｓｆ１、Ｓｆ２、…、Ｓｆ９、Ｓｆ１０、Ｓｆ１１を算出する。

偽出現総数Ｓｆ０、Ｓｆ１、Ｓｆ２、…、Ｓｆ９、Ｓｆ１０、Ｓｆ１１は、それぞれ、ランダムサリエンス値Ｖｆとして０．０以上、０．１以上、０．２以上、…、０．９以上、１．０以上、１．１以上のサリエンス値が出現した回数である。すなわち、例えば、偽出現総数Ｓｆ０は、０．０以上のサリエンス値がランダムサリエンス値Ｖｆとして出現した回数であって、偽出現回数Ｎｆ０～Ｎｆ１０の合計値である。または、偽出現総数Ｓｆ６は、０．６以上のサリエンス値がランダムサリエンス値Ｖｆとして出現した回数であって、偽出現回数Ｎｆ６～Ｎｆ１０の合計値である。

本例では、真出現総数Ｓｔ０～Ｓｔ１１および偽出現総数Ｓｆ０～Ｓｆ１１として、図１０に示す値が得られる。

ＲＯＣ曲線算出部３０７は、「０．０」、「０．１」、「０．２」、…、「０．９」、「１．０」、「１．１」それぞれの真陽性率Ｒｔ０、Ｒｔ１、Ｒｔ２、…、Ｒｔ９、Ｒｔ１０、Ｒｔ１１を算出する。

真陽性率Ｒｔ０、Ｒｔ１、Ｒｔ２、…、Ｒｔ９、Ｒｔ１０、Ｒｔ１１は、それぞれ、真出現総数Ｓｔ０、Ｓｔ１、Ｓｔ２、…、Ｓｔ９、Ｓｔ１０、Ｓｔ１１を総和Ｗｔで割った値である。総和Ｗｔは、真出現回数Ｎｔ０～Ｎｔ１０の合計値であって、本例では「９６０」である。

さらに、ＲＯＣ曲線算出部３０７は、「０．０」、「０．１」、「０．２」、…、「０．９」、「１．０」、「１．１」それぞれの偽陽性率Ｒｆ０、Ｒｆ１、Ｒｆ２、…、Ｒｆ９、Ｒｆ１０、Ｒｆ１１を算出する。

偽陽性率Ｒｆ０、Ｒｆ１、Ｒｆ２、…、Ｒｆ９、Ｒｆ１０、Ｒｆ１１は、それぞれ、偽出現総数Ｓｆ０、Ｓｆ１、Ｓｆ２、…、Ｓｆ９、Ｓｆ１０、Ｓｆ１１を総和Ｗｆで割った値である。総和Ｗｆは、偽出現回数Ｎｆ０～Ｎｆ１０の合計値であって、本例では「９６０」である。

本例では、真陽性率Ｒｔ０～Ｒｔ１０および偽陽性率Ｒｆ０～Ｒｆ１０として、図１１に示す値が得られる。

そして、ＲＯＣ曲線算出部３０７は、サリエンス値が共通する真陽性率Ｒｔと偽陽性率Ｒｆとを組み合わせ、真陽性率ＲｔがＸ座標の値であり偽陽性率ＲｆがＹ座標の値である点をＸＹ平面に配置する。つまり、（Ｒｔ０，Ｒｆ０）、（Ｒｔ１，Ｒｆ１）、（Ｒｔ２，Ｒｆ２）、…、（Ｒｔ９，Ｒｆ９）、（Ｒｔ１０，Ｒｆ１０）、（Ｒｔ１１，Ｒｆ１１）の各座標の点を配置する。そして、隣り合う点同士を線で結ぶ。

これにより、図１２（Ａ）に示すように１１本の線が連続的にＸＹ平面上に引かれる。これらの１１本の線を繋いだものがＲＯＣ曲線である。

ＡＵＣスコア算出部３０８は、ＲＯＣ曲線が算出されるごとに、算出されたＲＯＣ曲線、Ｘ＝１である直線、およびＹ＝０である直線（Ｘ軸）の３本の線によって囲まれる領域つまり図１２（Ｂ）にグレー色で示す領域の面積をＡＵＣ（Area Under Curve）スコアＰとして算出する。

ＡＵＣスコアＰは、直近の所定の時間における視点サリエンス値Ｖｔが全体的にランダムサリエンス値Ｖｆと比べてどの程度離れているかを表わしていると、言える。つまり、直近の所定の時間における視点サリエンス値Ｖｔの全体的な傾向とランダムサリエンス値Ｖｆの全体的な傾向との乖離の具合を表わしていると、言える。ＡＵＣスコアＰが０．５に近いほど、歩行者１１の視覚的な注意力が欠けていると考えられる。

ＡＵＣスコア出力部３０９は、ＡＵＣスコア算出部３０８によって算出されたＡＵＣスコアＰを例えば次のように出力する。

ＡＵＣスコア出力部３０９は、ＡＵＣスコアＰが算出されるごとに、図１３のように、最新のＡＵＣスコアＰであるＡＵＣスコアＰおよび直近の所定の期間（例えば、２０秒間）のＡＵＣスコアＰを時刻の早い順にプロットした折れ線グラフ７０をタッチパネルディスプレイ３８に表示させる。または、折れ線グラフ７０の画像データをスマートグラス２へ送信することによってディスプレイ２４に表示させてもよい。ＡＵＣスコアＰを示すデータをスマートグラス２へ送信し、コントロールユニット２１が折れ線グラフ７０を生成してもディスプレイ２４に表示させてよい。

または、ＡＵＣスコア出力部３０９は、折れ線グラフ７０だけでなく、ＡＵＣスコアＰを表わす数字もタッチパネルディスプレイ３８またはディスプレイ２４に表示させてもよい。この場合は、すべてのＡＵＣスコアＰを表示させると見にくいので、間引きして表示するのが好ましい。例えば、１秒ごとに最新のＡＵＣスコアＰを表示させればよい。

さらに、ＡＵＣスコア出力部３０９は、ＡＵＣスコアＰから歩行者１１の注意の状態を推定し、折れ線グラフ７０またはＡＵＣスコアＰを表わす数字とともにディスプレイ２４またはタッチパネルディスプレイ３８に表示させてもよい。

例えば、歩行者１１が明るいところに居る場合において、ＡＵＣスコアＰが０．５に近ければ、ＡＵＣスコア出力部３０９は、歩行者１１の意識が散漫である、つまり、注意の程度が低いと、推定する。具体的には、｜Ｐ－０．５｜≦Ｕ、であれば、そのように推定する。「Ｕ」は所定の値であって、例えば、「０．０５」である。「Ｕ」は、オペレータが任意に調整することができる。または、環境に応じて変更できるようにしてもよい。

そして、｜Ｐ－０．５｜≦Ｕ、である状態が一定の時間（例えば、３秒）続いた場合は、ＡＵＣスコア出力部３０９は、図１４のように、「ぼーっとしているようです。注意して下さい。」または「疲れているようです。休憩して下さい。」のような警告のメッセージ７１をタッチパネルディスプレイ３８に表示させる。メッセージ７１をディスプレイ２４へ送信し、図１４のように表示させてもよい。スマートグラス２または解析装置３にスピーカが備わりまたは接続されている場合は、メッセージ７１をこのスピーカから音声によって出力してもよい。

ＡＵＣスコア出力部３０９は、さらに視線の動きにも基づいて、歩行者１１の注意の程度を推定してもよい。具体的には、｜Ｐ－０．５｜≦Ｕ、であり、かつ、直近の所定の時間における視線の動きが所定の距離未満である場合に、歩行者１１の注意の程度が低いと推定し、メッセージ７１を出力してもよい。

この方法によると、歩行者１１が明るいところに居るか暗いところに居るかに関わらず、歩行者１１がスマートフォンを操作しながら歩いている場合に警告を与えることができる。人間はスマートフォンを操作している際にサリエンス値の高いところを凝視し続けるからである。

そこで、ＡＵＣスコア出力部３０９は、｜Ｐ－０．５｜≦Ｕ、であり、かつ、直近の所定の時間における視線の動きが所定の距離未満である場合に、メッセージ７１として「歩きながらスマートフォンを操作していませんか？」というメッセージを出力させてもよい。

または、スマートグラス２にジャイロセンサが設けられているならば、ＡＵＣスコア出力部３０９は、｜Ｐ－０．５｜≦Ｕ、であり、かつ、直近の所定の時間における視線の動きが所定の距離未満である場合に、ジャイロセンサによる測定値に基づいて歩行者１１の鉛直方向に対する首の傾きを算出する。そして、首の傾きが所定の角度（例えば、３０度）以上であれば、スマートフォンを操作していると判別し、メッセージ７１として「歩きながらスマートフォンを操作していませんか？」というメッセージを出力させる。所定の角度未満であれば、「ぼーっとしているようです。注意して下さい。」というメッセージを出力させる。

歩行者１１が暗いところに居る場合において、ＡＵＣスコアＰが、０．５よりも大きい所定の値（例えば、０．７）以上である状態が一定の時間（例えば、５秒）続いたら、「暗いところにも注意しながら歩いて下さい。」のようなメッセージ７２をタッチパネルディスプレイ３８またはディスプレイ２４に表示させ、またはスピーカから音声によって出力させてもよい。メッセージ７２は、歩いている場合にのみ出力させ、止まっているときは出力させないようにしてもよい。

なお、ＡＵＣスコア出力部３０９は、歩行者１１が明るいところに居るか暗いところに居るかを、スマートグラス２または解析装置３のクロックが指す時刻によって判別すればよい。具体的には、時刻が日中の時間帯に属する場合は歩行者１１が明るいところに居ると判別し、夜の時間帯に属する場合は暗いところに居ると判別すればよい。または、動画像データ５Ｂの各フレーム４Ａの全体の輝度に基づいて判別してもよい。具体的には、全体の輝度が所定の値以上であれば明るいところに居ると判別し、所定の値未満である場合は暗いところに居ると判別すればよい。

歩いているか立ち止まっているかは、スマートグラス２の加速度センサまたは歩行者１１のスマートフォンもしくはタブレットコンピュータによって判別させ、解析装置３へ通知させればよい。または、動画像データ５Ｂに基づいてＡＵＣスコア出力部３０９が判別してもよい。

図１５は、解析装置３における全体的な処理の流れの例を説明するためのフローチャートである。

次に、歩行者１１の注意の状態を可視化する全体的な処理の流れを、フローチャートを参照しながら説明する。

歩行者１１がスマートグラス２を身に付けている間、視線センサ２２は、歩行者１１の視線の動きを検出しその結果を視線データ５Ａとしてリアルタイムに解析装置３へ送信する。また、ビデオカメラ２３は、歩行者１１がスマートグラス２を身に付けている間、動画像を撮影しストリーミングによってリアルタイムに動画像データ５Ｂを解析装置３へ送信する。

解析装置３は、歩行者１１がスマートグラス２を身に付けている間、注意可視化プログラム３０に基づいて、図１５に示す手順で処理をリアルタイムに実行する。

解析装置３は、視線データ５Ａを視線センサ２２から受信するごとに（図１５の＃７０１でＹｅｓ）、視線データ５Ａを記憶する（＃７０２）。

または、ビデオカメラ２３からストリーミングで送信されてくる動画像データ５Ｂをデコードすることによってフレーム６Ａのデータが得られるごとに（＃７０３でＹｅｓ）、解析装置３は、サリエンシーマップ６Ｂを生成し記憶する（＃７０４）。

解析装置３は、同じ時刻の視線データ５Ａおよびサリエンシーマップ６Ｂが揃ったら（＃７０５でＹｅｓ）、その時刻の視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆをその視線データ５Ａおよびサリエンシーマップ６Ｂに基づいて選出し記憶する（＃７０６、＃７０７）。

解析装置３は、時間Ｔａごとに（＃７０８でＹｅｓ）、直近の所定の個数の視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆに基づいてＲＯＣ曲線を算出し（＃７０９）、ＡＵＣスコアＰを算出する（＃７１０）。

そして、解析装置３は、直近の所定の個数のＡＵＣスコアＰを折れ線グラフ７０として出力する（＃７１１）。なお、前述の通り、歩行者１１の注意の状態をＡＵＣスコアＰに基づいて推定し、推定した状態に応じたメッセージを折れ線グラフ７０とともに出力してもよい。

解析装置３は、歩行者１１がスマートグラス２を身に付けている間（＃７１２でＹｅｓ）、ステップ＃７０２の処理、ステップ＃７０４の処理、ステップ＃７０６～＃７０７の処理、およびステップ＃７０９～＃７１１の処理を適宜、リアルタイムに実行する。

本実施形態によると、歩行者１１の注意の状態をリアルタイムに監視するための新たな技術を得ることができる。

〔変形例〕
図１６は、折れ線グラフ７０の提示の仕方の変形例を示す図である。

本実施形態では、サリエンス値は０．１刻みであったが、もっと細かくてもよい。例えば、０．０１刻みであってもよいし、０．０５刻みであってもよい。または、もっと疎らであってもよい。例えば、０．２刻みであってもよい。

本実施形態では、視線データ５Ａおよび動画像データ５Ｂが同時に視線センサ２２またはビデオカメラ２３によって取得されたが、どちらかが若干遅れて取得される場合がある。このような場合は、解析装置３の各部は、取得された時刻が最も近いもの同士が同時に取得されたものとみなして、上述の各処理を実行すればよい。

本実施形態では、視線データ５Ａおよびフレーム６Ａを取得するインターバルと、ＲＯＣ曲線およびＡＵＣスコアＰを算出するインターバルとが同じであった。つまり、ともに時間Ｔａであった。しかし、ＲＯＣ曲線およびＡＵＣスコアＰを算出するインターバルをもう少し長くしてもよい。例えば、時間Ｔａの５～１００倍くらいにしてもよい。

本実施形態では、解析装置３は、折れ線グラフ７０、メッセージ７１～７３をディスプレイ２４に表示させたが、歩行者１１のスマートフォンまたはタブレットコンピュータのディスプレイに表示させてもよい。または、歩行者１１が子どもでありまたは介護を必要とする者である場合は、歩行者１１の保護者または介護者のスマートフォンまたはタブレットコンピュータに表示させてもよい。

本実施形態では、解析装置３は、約１０００個の視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆを用いてそれぞれのヒストグラムを算出したが、もっと多くの視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆを用いてそれぞれのヒストグラムを算出してもよいし、もっと少ない視点サリエンス値Ｖｔおよびランダムサリエンス値Ｖｆを用いてそれぞれのヒストグラムを算出してもよい。

本実施形態では、ランダムサリエンス値選出部３０５は、図７に示したように１つのサリエンシーマップ６Ｂからランダムサリエンス値Ｖｆを１つだけ選出したが、ランダムに決めた複数の部分それぞれのサリエンス値をランダムサリエンス値Ｖｆとして選出してもよい。例えば、１つのサリエンシーマップ６Ｂの中のランダムに決めた５００個所の部分から、合計５００個のサリエンス値をランダムサリエンス値Ｖｆとして選出してもよい。

ランダムサリエンス値Ｖｆの個数が増えるほどプロセッサ３１への負荷が大きくなるが、個数が少ない場合よりもサリエンシーマップ６Ｂにおけるサリエンス値の分布がＲＯＣ曲線に明確に表われ、ノイズを軽減することができる。

ＡＵＣスコア出力部３０９は、折れ線グラフ７０またはＡＵＣスコアＰとともに、最新のフレーム６Ａおよびサリエンシーマップ６Ｂをディスプレイ２４またはタッチパネルディスプレイ３８に表示させてもよい。この際に、フレーム６Ａおよびサリエンシーマップ６Ｂを並べてもよい。または、サリエンシーマップ６Ｂを透過ＧＩＦ（Graphics Interchange Format）のような透過フォーマットに変換し、フレーム６Ａの上に重ねてもよい。さらに、フレーム６Ａまたはサリエンシーマップ６Ｂの上に、歩行者１１の視線の軌跡を表示させてもよい。

本実施形態では、歩行者１１の注意の状態を監視するためにサリエンシーマップ６Ｂおよび視線データ５Ａが用いられたが、他の目的のために用いてもよい。例えば、屋外の看板またはデジタルサイネージなどのアイテムが歩行者１１にどれくらい注目されたのかを定量化するために用いてもよい。

解析装置３は、ＡＵＣスコアだけでなく他の要素を組み合わせて歩行者１１の注意の状態を検出してもよい。例えば、瞬きの頻度を視線とともに視線センサ２２によって測定し、これらの情報を組み合わせて歩行者１１の注意の状態を検出してもよい。さらに、局所での輝度のエントロピー、局所での輝度の分散、または空間周波数などを組み合わせて歩行者１１の注意の状態を検出してもよい。

具体的には、ＡＵＣスコア、瞬きの頻度、局所での輝度のエントロピー、局所での輝度の分散、および空間周波数のうちの２～６つをパラメータとする関数を予め用意しておき、解析装置３は、この関数に基づいて注意の度合または集中度を算出してもよい。この場合も、集中度の変化を折れ線グラフとして表示させればよい。

図５に示した、解析装置３の機能の全部または一部を他の装置に設けてもよい。例えば、視線データ記憶部３０１ないしＡＵＣスコア出力部３０９のすべてを歩行者１１のスマートフォンまたはタブレットコンピュータに設けてもよい。

本実施形態では、注意可視化システム１は、歩行の際の注意の状態を監視するために用いられたが、他の活動の際の注意の状態を監視するために用いてもよい。

例えば、買物客が店舗内で買物する際の注意の状態を監視するために解析装置３を用いてもよい。この場合は、店舗の経営者が注目してもらいたいアイテム（例えば、ポスターまたはデジタルサイネージ）を買物客がどれくらい注目しているのかを定量化したり、買物客が注目する想定外のアイテムを検出したりするためにも、注意可視化システム１を用いることができる。

または、読者がウェブページまたは雑誌などのドキュメントを読む際の状態を監視するために解析装置３を用いてもよい。この場合は、ドキュメントに掲載される広告を読者がどれくらい注目しているのかを定量化したり、読者が注目する想定外の部分を検出したりするためにも、注意可視化システム１を用いることができる。ドキュメントまたは広告を読んでいる際の目の動きを測定してもよい。

本実施形態では、サリエンシーマップ生成部３０２は、非特許文献１に記載される方法によってサリエンシーマップ６Ｂを生成した。サリエンシーマップ６Ｂは、ボトムアップ注意（bottom up attention）のデータである。サリエンシーマップ６Ｂの代わりに他の方法によってボトムアップ注意のデータを生成し、マップデータ記憶部３０３以降の処理に使用してもよい。例えば、歩行者１１の脳を観察することによって生成してもよい（A saliency based search mechanism for overt and covert shifts of visual attention. Itti L, Koch C. Vision Res. 2000;40(1012):1489 506. 参照）。または、Brain Simulation Saliency(Veale Richard, Hafed Ziad M. and Yoshida Masatoshi, How is visual salience computed in the brain? Insights from behaviour, neurobiology and modelling372Phil. Trans. R. Soc. B)によって生成してもよい。または、Bayesian Surprise Saliency(Laurent Itti, Pierre Baldi, Bayesian surprise attracts human attention, Vision Research, Volume 49, Issue 10, 2009, Pages 1295-1306, ISSN 0042-6989, https://doi.org/10.1016/j.visres.2008.09.007.)によって生成してもよい。または、Boolean Maps Saliency(Zhang, Jianming and Stan Sclaroff. "Saliency Detection: A Boolean Map Approach." 2013 IEEE International Conference on Computer Vision (2013): 153-160.)によって生成してもよい。

本実施形態では、歩行者１１の注意の状態を表わす値としてＡＵＣスコアを算出したが、ＡＵＣスコアの代わりに他の計算方法によって他の値を算出してもよい。例えば、ＮＳＳ（normalized sum of square）またはＴ値（T-value）を算出してもよい。または、歩行者１１の注意の状態を表わす値を、ＡＵＣスコア、ＮＳＳ、およびＴ値を組み合わせて算出してもよい。

本実施形態では、ＡＵＣスコア出力部３０９は、ＡＵＣスコアＰの折れ線グラフ７０を１つだけ表示させた。しかし、ＡＵＣスコア算出部３０８が異なる条件でそれぞれＡＵＣスコアＰを算出し、ＡＵＣスコア出力部３０９がそれぞれのＡＵＣスコアＰの折れ線グラフ７０を表示させてもよい。例えば、短期的な注意の状態、中期的な注意の状態、および長期的な注意の状態を監視するために、時間Ｌｂがそれぞれ５秒、２０秒、６０秒に設定された場合のＡＵＣスコアＰを算出し、図１６のように、それぞれの折れ線グラフ７０Ａ、７０Ｂ、および７０Ｃを表示させてもよい。

その他、注意可視化システム１、スマートグラス２、解析装置３の全体または各部の構成、処理の内容、処理の順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。

１ 注意可視化システム（注意状態監視システム）
１１ 歩行者（被験者）
２２ 視線センサ（視線検知手段）
２３ ビデオカメラ（画像取得手段）
３０４ 視点サリエンス値選出部（第一の選出手段）
３０５ ランダムサリエンス値選出部（第二の選出手段）
３０８ ＡＵＣスコア算出部（算出手段）
３０９ ＡＵＣスコア出力部（出力手段）
５Ａ 視線データ
６Ａ フレーム（画像）
Ｖｆ ランダムサリエンス値（第二のサリエンス値）
Ｖｔ 視点サリエンス値（第一のサリエンス値）
Ｐ ＡＵＣスコア

Claims (12)

1. 被験者の視覚的な注意の状態をリアルタイムに監視する注意状態監視システムであって、
   前記被験者の視界の画像を取得する画像取得手段と、
   定期的に前記被験者の視線を検知する視線検知手段と、
   前記視線が検知されるごとに、前記画像の中の前記被験者が注目する注目部分の顕著性の高さを第一のサリエンス値として当該検知された視線に基づいて選出する第一の選出手段と、
   前記視線が検知されるごとに、前記画像の中のランダムに決めたランダム部分の顕著性の高さを第二のサリエンス値として選出する第二の選出手段と、
   所定のタイミングが訪れるごとに、直近の所定の時間内に選出された前記第一のサリエンス値および前記第二のサリエンス値に基づいて前記注意の程度を算出する算出手段と、
   前記程度を出力する出力手段と、
   を有することを特徴とする注意状態監視システム。
2. 前記画像取得手段は、定期的に前記被験者の視界を撮影することによって前記画像を取得し、
   前記第一の選出手段は、前記視線が検知された時点、当該時点の直前、または当該時点の直後に前記画像取得手段によって取得された前記画像である直近画像の中の前記注目部分の顕著性の高さを前記第一のサリエンス値として選出し、
   前記第二の選出手段は、前記直近画像の中の前記ランダム部分の顕著性の高さを前記第二のサリエンス値として選出する、
   請求項１に記載の注意状態監視システム。
3. 前記算出手段は、前記程度として、前記所定の時間内に選出された前記第一のサリエンス値の全体的な傾向と前記所定の時間内に選出された前記第二のサリエンス値の全体的な傾向との乖離の度合を算出する、
   請求項１または請求項２に記載の注意状態監視システム。
4. 前記算出手段は、前記度合として、前記所定の時間内に選出された前記第一のサリエンス値および前記所定の時間内に選出された前記第二のサリエンス値のＲＯＣ（Receiver Operatorating Characteristic）曲線のＡＵＣ（Area Under Curve）スコアを算出する、
   請求項３に記載の注意状態監視システム。
5. 前記出力手段は、前記度合に応じて警告を出力する、
   請求項３または請求項４に記載の注意状態監視システム。
6. 前記出力手段は、前記度合および前記被験者の周囲の状況に応じた警告を出力する、
   請求項３または請求項４に記載の注意状態監視システム。
7. 前記出力手段は、前記被験者が明るいところに居りかつ前記ＡＵＣスコアと０．５との差の絶対値が所定の値以下である場合に警告を出力する、
   請求項４に記載の注意状態監視システム。
8. 前記出力手段は、前記被験者が暗いところに居りかつ前記ＡＵＣスコアが０．５よりも大きい所定の値以上である状態が所定の時間以上続いた場合に警告を出力する、
   請求項４に記載の注意状態監視システム。
9. 前記出力手段は、前記程度をグラフとして出力する、
   請求項１ないし請求項８のいずれかに記載の注意状態監視システム。
10. 被験者の視覚的な注意の状態をリアルタイムに監視する注意状態監視装置であって、
    視線検知手段によって前記被験者の視線が検知されるごとに、前記被験者の視界の画像の中の前記被験者が注目する注目部分の顕著性の高さを第一のサリエンス値として当該検知された視線に基づいて選出する第一の選出手段と、
    前記視線検知手段によって前記視線が検知されるごとに、前記画像の中のランダムに決めたランダム部分の顕著性の高さを第二のサリエンス値として選出する第二の選出手段と、
    所定のタイミングが訪れるごとに、直近の所定の時間内に選出された前記第一のサリエンス値および前記第二のサリエンス値に基づいて前記注意の程度を算出する算出手段と、
    前記程度を出力する出力手段と、
    を有することを特徴とする注意状態監視装置。
11. 被験者の視覚的な注意の状態をリアルタイムに監視する注意状態監視方法であって、
    前記被験者の視界の画像を取得し、
    定期的に前記被験者の視線を検知し、
    前記視線が検知されるごとに、前記画像の中の前記被験者が注目する注目部分の顕著性の高さを第一のサリエンス値として当該検知された視線に基づいて選出し、
    前記視線が検知されるごとに、前記画像の中のランダムに決めたランダム部分の顕著性の高さを第二のサリエンス値として選出し、
    所定のタイミングが訪れるごとに、直近の所定の時間内に選出された前記第一のサリエンス値および前記第二のサリエンス値に基づいて前記注意の程度を算出し、
    前記程度を出力する、
    ことを特徴とする注意状態監視方法。
12. 被験者の視覚的な注意の状態をリアルタイムに監視するコンピュータに用いられるコンピュータプログラムであって、
    前記コンピュータに、
    前記被験者の視線が検知されるごとに、前記被験者の視界の画像の中の前記被験者が注目する注目部分の顕著性の高さを第一のサリエンス値として当該検知された視線に基づいて選出する処理を実行させ、
    前記視線が検知されるごとに、前記画像の中のランダムに決めたランダム部分の顕著性の高さを第二のサリエンス値として選出する処理を実行させ、
    所定のタイミングが訪れるごとに、直近の所定の時間内に選出された前記第一のサリエンス値および前記第二のサリエンス値に基づいて前記注意の程度を算出する処理を実行させ、
    前記程度を出力する処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images