JP6221292B2 - 集中度判定プログラム、集中度判定装置、および集中度判定方法 - Google Patents

Description

本明細書で議論される実施態様は、集中度判定プログラム、集中度判定装置、および集中度判定方法に関する。

教育ビデオや講演映像の中身、または車の運転を対象とする集中度判定方法において、視線検出技術を使ってユーザの集中度を判定する技術が知られている。例えば、ユーザがＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ（または、テレビジョン）で教育関連または講演用の映像（静止画、動画）を視聴しているときの集中度判定方法が知られている。また、車運転中における運転状態の集中度判定方法が知られている。

例えば、正面の注視方向にある対象物とは異なる場所に追加の刺激用表示（光点の点滅）を与えて、その方向に視線を向けた場合は運転者（被験者）の集中度が低下したと判定する、運転者状態検出装置、意識状態検出方法が知られている。

また、運転者の視線方向が視覚的な刺激を加えた位置に向いているか否かを判定し、視覚的な刺激を加えた位置に向いていれば、運転者が集中していると判定する、運転者状態判定装置が知られている。

また、対象物の検出として、輪郭検出の方法が知られている。輪郭検出の方法としては、アフィン動き分割による領域分割、およびオプティカルフローによる領域分割等の方法が知られている。

特開２００９−２３２９４５号公報 特開２００６−１５８７４０号公報

「実時間動領域抽出を目的としたアフィン動き推定プロセッサ」松田吉雄，深山正幸，金沢大学工学部広報（２００９年３月号） Ｏｄｏｂｅｚ ｅｔ ａｌ."Ｄｉｒｅｃｔ Ｉｎｃｒｅｍｅｎｔａｌ Ｍｏｄｅｌ−Ｂａｓｅｄ Ｉｍａｇｅ Ｍｏｔｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ａｎａｌｙｓｉｓ"Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ,６６ ｐｐ.１４３−１５５，１９９８. 「視線から何がわかるか―視線測定に基づく高次認知処理の解明」大野健彦，日本認知科学会「認知科学」９巻４号，共立出版，ｐｐ．５６５−５７６，２００２年

しかしながら、これらの従来技術は、何れの発明も被験者（運転者）に対して意識的に追加刺激表示を与えて、見ている場所と違うところに視線を向けたかどうかで集中度を判定する技術である。そのため、映像視聴中であっても、運転中のシーンであっても、追加刺激を与えるために、別途にＬｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（ＬＥＤ、発光ダイオード）等を光らせるための準備が必要となり、かつ検出処理量が多くなるという問題がある。

そこで、上記事情を鑑みて、簡便であり、かつ検出処理量の軽い集中度判定プログラム、集中度判定装置、および集中度判定方法を提供することを目的とする。

本明細書で後述する集中度判定プログラムのひとつは、カメラが撮像した画像を取得し、該画像から被検体の視線を検出し、前記被検体の視線から視覚刺激を含む、表示装置における注視範囲を規定し、前記注視範囲内において注視領域を決定し、前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定し、前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、集中度を判定する際の基準になる複数の閾値を格納する閾値情報格納部を参照し、前記複数の閾値のうち何れかの閾値を設定し、前記停留時間が設定された前記閾値を超える場合に集中度が低下したと判定する、処理をコンピュータに実行させる。

本明細書で後述する集中度判定プログラム、集中度判定装置、および集中度判定方法によれば、簡便であり、かつ検出処理量を軽減することができるという効果を奏する。

従来技術を説明するための図である。 第１の実施形態に係る集中度判定方法を説明するための図である。 閾値時間標準データの基準例を示す表である。 第１の実施形態に係る集中度判定装置の機能ブロック図である。 標準的なコンピュータのハードウエア構成の一例を示すブロック図である。 第１の実施形態に係る集中度判定方法の処理内容を図解したフローチャートである。 第１の実施形態の変形例Ａに係る集中度判定方法を説明するための図である。 第１の実施形態の変形例Ｂに係る集中度判定方法を説明するための図である。 第２の実施形態に係る集中度判定方法を説明するための図である。 第２の実施形態における対象物の検出方法を説明するための図である。 第２の実施形態に係る集中度判定装置の機能ブロック図である。 第２の実施形態に係る集中度判定方法の処理内容を図解したフローチャートである。

まず、図１（a）〜図１（ｃ）を用いて、従来技術について説明する。図１（a）および図１（ｂ）は、被験者（運転者）に対して意識的に追加刺激（ＬＥＤ）表示を与えて、見ている場所と違うところに視線を向けたかどうかで集中度を判定する技術を示す。図１（a）は、被験者が追加刺激１に視線を向けた場合であり、被験者は集中していると判定される。図１（ｂ）は、被験者が「今まで見ていた視覚刺激（対象物）」に視線を向けたままの場合であり、被験者は集中していないと判定される。

図１（ｃ）に示すように、追加刺激を与えない場合、上記の従来技術を拡張して「追加刺激に相当するもの」を探すことで対応する方法が考えられる。この方法では、例えば、車の場合、信号機２の色が青から赤に変わる状態、または、前方車両のブレーキランプの点灯などが追加刺激に相当する。しかし、このような「追加刺激相当」のものがどこにあるのかを検出する必要がある。すなわち、従来技術については、画像全体から「追加刺激に相当するもの」（変化）を探す処理（画像全体を解析する処理）が必要である。一方、本明細書に記載する実施形態は、追加刺激やフレーム全体の画素を必要とせずに、視線が今ある場所の、少ない画素値の変化を利用して、集中度を判定する。これにより、簡便であり、かつ検出処理量の軽い集中度判定プログラム、集中度判定装置、および集中度判定方法を提供する。

本明細書による検出方法は、画面（視界）の中にある何かを見ている状態において、視線が今ある場所の、少ない画素値の変化を利用して、集中度を判定する。すなわち、「追加刺激を与える」のではなく、「今まで見ていた視覚刺激（対象物）」に着目する。今まで見ていた視覚刺激が、「なくなる」、「移動する」に反応しなければ、集中していないことがわかる。「なくなる」、「移動する」への反応であれば、追加刺激の付加が不要となり、ＬＥＤを追加する準備や検出処理量が多くなるという問題が解決する。

さらに、「今まで見ていた視覚刺激」がなくなることや、移動することを判定するため、そのような判定による画像処理は「視線位置」に限定してよく、追加刺激を与えない場合、どこに「追加刺激相当」のものがあるかわからないという問題が解決する。

なお、これらの実施形態において「対象物」とは、背景（または対象物の周囲）と色度またはコントラストが異なり、背景との区別が可能な「図形」のことである。

「図形」は立体物であってもよく、平面図でもよい。立体物には、人、動物、物体が含まれる。例えば、運転中の環境であれば、物体は前方車両でもよく、信号機、道路標識でもよい。また、映像視聴中の環境であれば、自然画の図（写真）で表される人であってもよく、アニメーション（人工画）の人の絵であってもよい。

「対象物」は、人や車のように「動くもの」であってもよく、標識や木のように「動かないもの」であってもよい。ただし、「動かないもの」に対しては、映像の切替わりで今まであったものがなくなる場合や、動かないものが相対的に移動する場合に、本発明が適用される。

＜第１の実施形態＞
次に、第１の実施形態に係る集中度判定方法として、木にいる鳥を人が見ているときの利用シーンを用いて説明する。なお、この集中度判定方法は、プログラムによってコンピュータに処理を行わせるものである。図２（ａ）〜図２（ｄ）は、今まで見ていた視覚刺激として、木にいる鳥を人が見ているシーンを示す。「今まで見ていた視覚刺激」がなくなる場所は、その（画像の）周囲との色度の区別が可能であることを特徴とする。すなわち、「今まで見ていた視覚刺激」が状態変化により色度が変化したにも関わらず、同じ場所を閾値の時間以上見続けている場合、集中度が低下したと判定する。

人がものを見る場合、注目している場所に焦点が合い（中心視）、周辺はぼける（周辺視）。焦点が合う領域の注視領域の範囲は概ね視野角度２°以内である。そこで、図２（a）に示すように、このように木にいる鳥に注目していた場合、「今まで見ていた視覚刺激」の注視領域（視野角度２°以内）の平均色度を算出する。その後、平均色度変化後の視線が同じ場所を見ているかどうかを、停留時間を測定することによって判定する。

被検体の眼の情報から被検体の視線を検出するには、一般的な視線検出方法を用いることができる。例えば、非特許文献３に記載される方法、または一般的な角膜反射法による検出方法を用いることができる。

例えば、角膜反射法は、ＰＣに内蔵可能である汎用的な小型カメラで撮影した画像から検出することができる。瞳孔は眼の中で他部分に比べて暗いこと、角膜反射は逆に他部分に比べて明るいことなどを特徴とするので、撮影した画像を元に画像処理を行い、眼領域の中からこのような特徴を持つ候補を抽出する。抽出した候補の中から、カメラ、顔位置との関係や直前の瞳孔サイズなどの整合性のルールを適用して絞り込むことで、瞳孔と角膜反射の位置関係から視線方向を算出する。

その他に、強膜トラッカー法、Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ（ＥＯＧ）法、サーチコイル等の検出方法を用いてもよい。
なお、ユーザと注視範囲との間の距離に応じて、焦点が合う中心視野領域より広めの周辺視野領域（視野角５°）を注視領域として設定してもよい。例えば、遠距離には視野角５°以内、近距離には２°以内を適用してもよい。

図２（ｂ）に時間Ｔ１経過後に鳥が動いた時の状態を示す。さらに、時間Ｔ２経過後、鳥を集中して見ていた場合は、鳥の移動とともに、視線がこれまで鳥のいた場所とは異なり、図２（ｃ）のように、鳥が動いた場所に視線が移動する。この場合は、視線の位置（座標）が変わることから、集中して見ていることの確認が可能である。一方、時間Ｔ２経過後、集中が低下した場合は、鳥のいた同じ場所を見続けていることが想定される。この場合、視線は図２（ｄ）のように、鳥が動いた後も、同じ場所の木を見たままになり、注視領域の平均色度（緑色系）は、鳥がいたとき（灰色系）に比べて明らかに異なる。よって、集中度判定部により、図２（ｄ）のように色度の変化後も、同じ場所を閾値の時間以上見ていた場合には、集中度が低下したと判定する。

なお、参照する閾値時間は、停留時間から集中度を判定する際のベースになる閾値であり、サーバ等に予め格納されている。閾値として格納する値は、個人単位の値を格納してもよいし、不特定多数の閾値の平均の値を格納してもよい。例えば、利用者の個人データの平均値から決めてもよく、複数人の統計データを使用してもよい。どちらを使用しても構わないが、個人にカスタマイズする場合は、個人データの平均値を使うことが好ましい。

閾値時間については、本実施形態に係る集中度判定方法を利用する人の年齢層、または視力によって、異なることが想定される。例えば、高齢者は若年層に比べて反応が鈍くなるため、閾値時間が長くなると思われる。また、近視度が強くなるとともに、「対象物」のエッジが見えにくくなるため、閾値時間が長くなることが想定される。

年齢層や視力等の規定が難しい一般的な使用環境下では、標準の閾値時間Ｔｔｈ_ｓｔｄを使用すればよい。

ただし、特定の年齢層、または視力等が規定可能な条件下では、例えば、図３（ａ）および図３（ｂ）の表に示すように、閾値時間をそれぞれユーザの条件に対応して設定すればよい。なお、図３（ａ）および図３（ｂ）の表に示した条件および数値は単に例示であって、これらに限定されるものではない。その他の様々な条件設定が可能であり、対応する数値設定も条件に応じて様々に変化させることができる。

次に、本実施形態に係る集中度判定装置について説明する。図４は、集中度判定装置の一実施例のシステム構成図を示す。
この集中度判定装置１００は、視線検出部１０２と、注視範囲規定部１０４と、視線位置画像情報計算部１１０と、閾値情報格納部１１８と、集中度判定部１２０と、ユーザ通知部１２２とを備える。視線検出部１０２は、更に、眼情報撮像部１０６と、視線位置抽出部１０８とを備える。視線位置画像情報計算部１１０は、更に、注視領域決定部１１２と、平均色度算出部（画素値算出部）１１４と、停留時間測定部１１６とを備える。

視線検出部１０２は、被検体の眼の情報から被検体の視線を検出する。例えば、眼情報撮像部１０６が、被検体の眼の画像を取得し、視線位置抽出部１０８が、画像から被検体の視線を検出し、注視範囲規定部１０４に対して、視線がある場所の中心座標を求める。ここで、視線検出方法は、一般的な視線検出方法を用いることができる。例えば、非特許文献３に記載される方法、または一般的な角膜反射法による検出方法を用いることができる。その他に、強膜トラッカー法、ＥＯＧ法、サーチコイル等の検出方法を用いてもよい。

注視範囲規定部１０４は、今まで見ていた視覚刺激の注視を特定し、ユーザが見ている映像の表示領域、または、車運転中であれば、視野範囲内で規定される表示領域を規定する。注視範囲規定部１０４は、例えば、映像用のディスプレイであれば、縦４８０ピクセル、横６４０ピクセルなどの、画素座標範囲に合せて表示領域を決定する画像表示部であってもよい。同様に、車の視野範囲領域においても、仮想の画素座標範囲を決めることで領域を決定する仮想範囲確定部であってもよい。

注視領域決定部１１２は、視線の中心位置から所定の注視領域を決定する。例えば、視線の中心位置から視野角で２°以内の範囲の領域を決定する。視野角２°以内の範囲の領域は、人がものを見る際に注目している場所は焦点が合うという特徴を有することが知られている。なお、ユーザと注視範囲との間の距離に応じて、焦点が合う中心視野領域より広めの周辺視野領域（視野角５°）を注視領域として設定してもよい。例えば、遠距離には視野角５°以内、近距離には２°以内を適用してもよい。

平均色度算出部１１４は、注視領域で決定した領域（エリア）の平均色度を求める。平均色度としては、例えば、画素値を用いて算出することができる。
停留時間測定部１１６は、注視領域で決定した領域の平均色度が変化した直後からの視線が同じ場所に停留する時間を測定する。
集中度判定部１２０は、停留時間測定部により求めた停留時間と閾値とを比較して集中度を判定する。

閾値情報格納部１１８は、停留時間から集中度を判定する際の基準になる閾値を格納する。閾値に格納する値は、個人単位の値を格納してもよいし、不特定多数の閾値の平均の値を格納してもよい。例えば、利用者の個人データの平均値から決めてもよく、複数人の統計データを使用してもよい。どちらを使用しても構わないが、個人にカスタマイズする場合は、個人データの平均値を使うことが好ましい。

なお、本実施形態に係る集中度判定装置１００を利用する人の年齢層、または視力によって、異なることが想定される。例えば、高齢者は若年層に比べて反応が鈍くなるため、閾値時間が長くなると思われる。また、近視度が強くなるとともに、「対象物」のエッジが見えにくくなるため、閾値時間が長くなることが想定される。

そこで、年齢層や視力等の規定が難しい一般的な使用環境下では、標準の閾値時間Ｔｔｈ_ｓｔｄを使用すればよい。ただし、特定の年齢層、または視力等が規定可能な条件下では、例えば、図３（ａ）および図３（ｂ）の表に示すように、閾値時間をそれぞれユーザの条件に対応して設定すればよい。なお、図３（ａ）および図３（ｂ）の表に示した条件および数値は単に例示であって、これらに限定されるものではない。その他の様々な条件設定が可能であり、対応する数値設定も条件に応じて様々に変化させることができる。

ユーザ（状態）通知部１２２は、集中度の判定結果に基づき、特に集中度がないと判定された場合に、ユーザに通知する。

上記のように構成されることで、本実施形態に係る集中度判定装置は、画面（視界）の中にある何かを見ている状態において、視線が今ある場所の、少ない画素値の変化を利用して集中度を判定することができる。そのため、検出処理量を軽減することができるという効果を奏する。

ここで、上記実施の形態による集中度判定装置の動作、および集中度判定方法の処理をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。

図５は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図４に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。

ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送信する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

続いて、上記の集中度判定装置１００を用いて前述の集中度判定方法をコンピュータに行わせるプログラムについて説明する。図５は、第１の実施形態に係る集中度判定方法の処理内容を図解したフローチャートである。

まず、Ｓ１００では、視線検出部１０２が、被検体の眼の情報から被検体の視線を検出する。例えば、眼情報撮像部１０６が、被検体の眼の画像を取得し、視線位置抽出部１０８が、画像から被検体の視線を検出し、注視範囲規定部１０４に対して、視線がある場所の中心座標を求める。ここで、視線検出方法は、一般的な視線検出方法を用いることができる。例えば、非特許文献３に記載される方法、または一般的な角膜反射法による検出方法を用いることができる。その他に、強膜トラッカー法、Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ（ＥＯＧ）法、サーチコイル等の検出方法を用いてもよい。

続いて、Ｓ１０１では、注視範囲規定部１０４が、今まで見ていた視覚刺激の注視を特定し、視覚刺激を含む注視範囲を規定する。すなわち、ユーザが見ている映像の表示領域、または、車運転中であれば、視野範囲内で規定される表示領域を示す。例えば、映像用のディスプレイであれば、縦４８０ピクセル、横６４０ピクセルなどの、画素座標範囲に合せて表示領域を決定する。同様に、車の視野範囲領域においても、仮想の画素座標範囲を決めることで、表示領域を決定する。

次に、Ｓ１０２では、注視領域決定部１１２が、視線の中心位置から所定の注視領域を決定する。例えば、視線の中心位置から視野角で２°の範囲の領域を決定する。この領域は、人がものを見る際に注目している場所は焦点が合うという特徴に基づいて決める。

続いて、Ｓ１０３では、平均色度算出部１１４が、注視領域で決定した領域（エリア）の平均色度を求める。
そして、Ｓ１０４では、時間Ｔ１において、平均色度算出部１１４が視覚刺激の消失の有無を確認する。

次に、Ｓ１０５では、停留時間測定部１１６が、注視領域で決定した領域の平均色度が変化した直後からの視線が同じ場所に停留する時間を測定する。すなわち、視覚刺激消失後の停留時間を測定する。

続いて、Ｓ１０６では、集中度判定部１２０が、閾値情報格納部１１８から閾値標準データを参照し、停留時間測定部により求めた停留時間と閾値とを比較して集中度を判定する。Ｓ１０６の結果がＹＥＳ、すなわち時間Ｔ２における視線の停留時間が閾値以内ならば、Ｓ１０７に進む。このとき、ユーザは視覚刺激の消失により元の場所から視線が離れているので、Ｓ１０７において、集中度判定部１２０は、ユーザが集中して見ていると判定する。

一方、Ｓ１０６の結果がＮＯ、すなわち時間Ｔ２における視線の停留時間が閾値を超えていれば、Ｓ１０８に進む。そして、Ｓ１０８では、集中度判定部１２０は、ユーザが漠然と見ていると判定する。そして、Ｓ１０９に進み、Ｓ１０８で判定した結果を、状態通知部１２２により、ユーザに直ちに伝えてもよく、Ｓ１０８で判定した結果をデータベースにまとめておいて、データ分析に使用してもよい。

なお、閾値情報格納部１１８に格納する閾値時間は、停留時間から集中度を判定する際の基準になる閾値である。閾値として格納する値は、個人単位の値を格納してもよいし、不特定多数の閾値の平均の値を格納してもよい。例えば、利用者の個人データの平均値から決めてもよく、複数人の統計データを使用してもよい。どちらを使用しても構わないが、個人にカスタマイズする場合は、個人データの平均値を使うことが好ましい。

閾値時間については、本実施形態を利用する人の年齢層、または視力によって、異なることが想定される。例えば、高齢者は若年層に比べて反応が鈍くなるため、閾値時間が長くなると思われる。また、近視度が強くなるとともに、「対象物」のエッジが見えにくくなるため、閾値時間が長くなることが想定される。

年齢層や視力等の規定が難しい一般的な使用環境下では、標準の閾値時間Ｔｔｈ_ｓｔｄを使用すればよい。

ただし、特定の年齢層、または視力等が規定可能な条件下では、例えば、図３（ａ）および図３（ｂ）の表に示すように、閾値時間をそれぞれユーザの条件に対応して設定すればよい。なお、図３（ａ）および図３（ｂ）の表に示した条件および数値は単に例示であって、これらに限定されるものではない。その他の様々な条件設定が可能であり、対応する数値設定も条件に応じて様々に変化させることができる。

上記のように処理を行うことで、画面（視界）の中にある何かを見ている状態において、視線が今ある場所の、少ない画素値の変化を利用して集中度を判定することができる。そのため、簡便であり、かつ検出処理量を軽減することができるという効果を奏する。

＜第１の実施形態の変形例Ａ＞
次に、図７（a）〜図７（ｃ）を用いて、第１の実施形態の変形例Ａについて説明する。なお、この集中度判定方法は、プログラムによってコンピュータに処理を行わせるものである。第１の実施形態と同様に、前述の集中度判定装置１００を用いることができる。

図７（a）〜図７（ｃ）に示すように、第１の実施形態の変形例Ａに係る集中度判定方法では、注視領域決定部１１２により決定される「今まで見ていた視覚刺激」の有無を判定する際に、注視領域の平均色度として、注視領域とその周辺とのエッジの色度差を求め、エッジの色度差に十分な変化があった場合に視覚刺激が消失したとみなす。

図７（a）は、初期の視覚刺激を見ている図を示す。例えば、四角の図形を見ているとする。元の対象が消失すれば、集中ありの場合は、図７（ｂ）のように、消失後の視線は、閾値の時間内で元の場所から離れる。

このように、注視領域（座標）が異なる状態から、集中状態が確認できる。一方、集中度が低下している場合は、図７（ｃ）のように、注視している場所（座標）は元の場所（図７（a））と同じであるが、エッジの色度が変化（例えば青色系→白色系）する。このエッジにおける色度の差から、視覚刺激が消失したか否かを判定する。すなわち、エッジにおける色度に十分な変化があった場合、視覚刺激が消失したとみなし、集中しているか否か（閾値時間以上、色度の異なる同じ場所を注視しているか）の判定を行う。

この集中度判定方法をコンピュータに行わせるプログラムは、図６のフローチャートに示した処理内容と同様である。ただし、Ｓ１０３において、視線位置画像情報計算部１１０は、注視領域の平均色度として、注視領域とその周辺とのエッジの色度を求める。

＜第１の実施形態の変形例Ｂ＞
続いて、図８（a）および図８（ｂ）を用いて、第１の実施形態の変形例Ｂについて説明する。なお、この集中度判定方法は、プログラムによってコンピュータに処理を行わせるものである。第１の実施形態と同様に、前述の集中度判定装置１００を用いることができる。

図８（a）および図８（ｂ）に示すように、第１の実施形態の変形例Ｂに係る集中度判定方法は、注視領域決定部１１２により決定される「今まで見ていた視覚刺激」の有無を判定する際に、視線位置角度２°の画像の平均ＲＧＢの値を求め、平均ＲＧＢが所定の閾値以上変わる場合に視覚刺激が消失したとみなすことによって集中度を判定する。

図８（a）は「今まで見ていた視覚刺激」がある状態であり、図８（ｂ）は「今まで見ていた視覚刺激」がなくなった状態を示す。「今まで見ていた視覚刺激」がなくなったときに、視線が閾値以内の時間で動けば「集中している」と判定する。

このとき、平均ＲＧＢの閾値としては、１０以上が好ましい。なぜならば、人間の目で認識可能なＲＧＢ値の差が１０以上を必要とするためである。

この集中度判定方法をコンピュータに行わせるプログラムは、図６のフローチャートに示した処理内容と同様である。ただし、Ｓ１０３において、平均色度算出部１１４は、注視領域で決定した領域の平均色度として、平均ＲＧＢの値を求める。

＜第２の実施形態＞
本実施形態は、視点中心位置からの注視領域内に含まれる「対象物」が検出対象となる。そのため、注視領域内で「対象物」とその周囲のエッジ（境界）の検出が可能であり、エッジが移動しているにも拘らず、注視位置が元の位置に留まる場合に、集中度が低下していると判定する。なお、この集中度判定方法は、プログラムによってコンピュータに処理を行わせるものである。第１の実施形態と同様に、前述の集中度判定装置１００を用いることができる。

図９（a）〜図９（ｄ）を用いて、第２の実施形態について説明する。第２の実施形態では、注視領域決定部１１２により決定される「今まで見ていた視覚刺激」は、車のような動きを持つ対象物であることを特徴とする。元々は対象物がいた場所を見ており、視線が今ある場所の対象物のみを検出する。時間経過に伴い対象物がいなくなったにも関わらず、同じ場所を閾値の時間以上見続けている場合、集中度が低下したと判定する。

図９（a）は、時間Ｔ１において、対象物（車）３に視線がある状態を示す。この状態から時間Ｔ２（図９（ｂ））、時間Ｔ３（図９（ｃ））、時間Ｔ４（図９（ｄ））と対象物３は動くが、時間Ｔ４のときの視線は時間Ｔ１のときと同じ場所にある。しかし、時間Ｔ１は対象物３があるが、時間Ｔ４では対象物３がなくなる。この差を検出することによって、閾値時間以上視線が元の位置にあれば、集中していない状態と判定する。

（第２の実施形態における対象物の検出方法）
続いて、第２の実施形態における対象物の検出方法について説明する。対象物の検出方法は、例えば、輪郭検出方法を用いることができる。輪郭検出方法としては、アフィン動き分割による領域分割、またはオプティカルフローによる領域分割等の方法を用いればよい。これらの方法によって対象物を検出（区別）する。

アフィン動き分割による領域分割は、例えば、非特許文献１に記載の方法を利用することができる。アフィン動きモデルは、２次元のアフィン変換を用いて対象領域の動きを表現するものである。アフィン動きモデルは6つの動きパラメータで構成される。このパラメータにより、領域内の各画素の動きベクトルを与える。この詳細は、例えば、非特許文献２に記載されたアルゴリズムに基づき領域の分割を行うことができる。

また、オプティカルフローは、画像中の画素の動きを解析し、速度ベクトルによって物体の運動を表す方法であり、これを用いて対象領域を分割することができる。オプティカルフローを使った領域分割アルゴリズムも複数の方法が提案されている。例えば、勾配法、Ｗａｔｅｒｓｈｅｄアルゴリズムを使った方法、ＥＭ（期待値最大化）法を使った方法などである。オプティカルフローを使った領域分割手法はオープンソースソフトウェア（ＯＳＳ）として提供されている技術であり、これをベースに領域分割が可能である。

なお、これらの手法により、領域分割を行うと、例えば、図１０（a）の元画像に対する領域分割後の画像は、図１０（ｂ）のようにあらわされる。以上の検出手法を使って、今見ている場所の対象物（車）に対する領域を検出する。

次に、第２の実施形態に係る集中度判定装置について説明する。図１１は、第２の実施形態に係る集中度判定装置２００の機能ブロック図である。集中度判定装置２００の基本構成は、図４に示した第１の実施形態に係る集中度判定装置１００の基本構成と同様に、視線検出部２０２と、注視範囲規定部２０４と、視線位置画像情報計算部２１０と、閾値情報格納部２１８と、集中度判定部２２０と、ユーザ通知部２２２とを備える。同様に、視線検出部２０２は、更に、眼情報撮像部２０６と、視線位置抽出部２０８とを備える。

しかし、視線位置画像情報計算部２１０は、更に、注視領域決定部２１２と、対象物検出部２１４と、停留時間測定部２１６とを備える。

対象物検出部２１４は、注視領域内の対象物を検出し、その対象物の変化に基づいて注視領域内の視覚刺激の有無を判定する。対象物の検出方法は、例えば、輪郭検出方法を用いることができる。輪郭検出方法としては、アフィン動き分割による領域分割、またはオプティカルフローによる領域分割等の方法を用いればよい。これらの方法によって対象物を検出（区別）する。

続いて、第２実施形態に係る集中度判定方法をコンピュータに行わせるプログラムについて説明する。図１２は、第２の実施形態に係る集中度判定方法の処理内容を図解したフローチャートである。基本的なフローは、図６に示した第１の実施形態と同様であるが、注視領域を決定する際の、対象物の輪郭検出（領域分割）処理が異なる。すなわち、Ｓ１０３の代わりに、Ｓ２０３において、対象物検出部２１４は、注視領域内の対象物を検出し、その対象物の変化に基づいて注視領域内の視覚刺激の有無を判定する。対象物の検出方法は、例えば、輪郭検出方法を用いることができる。輪郭検出方法としては、アフィン動き分割による領域分割、またはオプティカルフローによる領域分割等の方法を用いればよい。これらの方法によって対象物を検出（区別）する。

このように構成することで、本明細書に記載した実施形態に係る集中度判定プログラム、集中度判定装置、および集中度判定方法は、画面（視界）の中にある何かを見ている状態において、視線が今ある場所の少ない画素値の変化を利用して集中度を判定することにより、簡便であり、かつ検出処理量を軽減することができるという効果を奏する。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、他の様々な変更が可能である。

なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
被検体の眼の情報から前記被検体の視線を検出し、
前記被検体の視線から視覚刺激を含む注視範囲を規定し、
前記注視範囲内において注視領域を決定し、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の消失を判定し、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、
閾値情報格納部に格納されている閾値を参照し、
前記停留時間が前記閾値を超える場合に集中度が低下したと判定する、
処理をコンピュータに実行させる集中度判定プログラム。
（付記２）
前記注視領域内の画素値から前記注視領域内の平均色度を算出し、
前記平均色度の変化に基づいて前記注視領域内の視覚刺激の消失を判定する、
ことを特徴とする付記１に記載の集中度判定プログラム。
（付記３）
前記視覚刺激の有無の判定は、前記注視領域とその周辺とのエッジの色度差から判定する、
ことを特徴とする付記２または付記３に記載の集中度判定プログラム。
（付記４）
前記画素値の変化として、前記注視領域内の平均ＲＧＢが所定値以上変化する場合に、前記視覚刺激が消失したと判定する、
ことを特徴とする付記１〜３のいずれか一項に記載の集中度判定プログラム。
（付記５）
前記注視領域は、所定の視野角度以内である、
ことを特徴とする付記１〜４のいずれか一項に記載の集中度判定プログラム。
（付記６）
前記注視領域内の画素値に基づいて、前記注視領域内の対象物を検出し、
前記対象物の変化に基づいて前記注視領域内の視覚刺激の有無を判定する、
ことを特徴とする付記１に記載の集中度判定プログラム。
（付記７）
前記対象物の検出は輪郭検出法を用いる、
ことを特徴とする付記６に記載の集中度判定プログラム。
（付記８）
被検体の眼の情報から前記被検体の視線を検出する視線位置検出部と、
前記被検体の視線から視覚刺激を含む注視範囲を規定する注視範囲規定部と、
前記注視範囲内において注視領域を決定する注視領域決定部と、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定する画素値算出部と、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定する停留時間測定部と、
集中度を判定する際の基準になる閾値を格納する閾値情報格納部と、
前記停留時間が前記閾値を超える場合に集中度が低下したと判定する集中度判定部と、
を含む集中度判定装置。
（付記９）
前記画素値算出部は、前記注視領域内の画素値から、前記注視領域内の平均色度を算出する、
ことを特徴とする付記８に記載の集中度判定装置。
（付記１０）
前記視覚刺激の有無の判定は、前記注視領域とその周辺とのエッジの色度差から判定する、
ことを特徴とする付記８または付記９に記載の集中度判定装置。
（付記１１）
前記画素値の変化として、前記注視領域内の平均ＲＧＢが所定値以上変化する場合に、前記視覚刺激が消失したと判定する、
ことを特徴とする付記８〜１０のいずれか一項に記載の集中度判定装置。
（付記１２）
前記注視領域は、所定の視野角度以内である、
ことを特徴とする付記８〜１１のいずれか一項に記載の集中度判定装置。
（付記１３）

前記画素値算出部は、前記注視領域内の画素値に基づいて前記注視領域内の対象物を検出し、前記対象物の変化に基づいて前記注視領域内の視覚刺激の有無を判定する対象物検出部である、
ことを特徴とする付記８に記載の集中度判定装置。
（付記１４）
前記対象物の検出は輪郭検出法を用いる、
ことを特徴とする付記１３に記載の集中度判定装置。
（付記１５）
コンピュータによって実行される集中度判定方法であって、
被検体の眼の情報から前記被検体の視線を検出し、
前記被検体の視線から視覚刺激を含む注視範囲を規定し、
前記注視範囲内において注視領域を決定し、
前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定し、
前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、
閾値情報格納部に格納されている閾値を参照し、
前記停留時間が前記閾値を超える場合に集中度が低下したと判定する、
ことを特徴とする集中度判定方法。
（付記１６）
前記注視領域内の画素値から前記注視領域内の平均色度を算出し、
前記平均色度の変化に基づいて前記注視領域内の視覚刺激の消失を判定する、
ことを特徴とする付記１５に記載の集中度判定方法。
（付記１７）
前記視覚刺激の有無の判定は、前記注視領域とその周辺とのエッジの色度差から判定する、
ことを特徴とする付記１５または付記１６に記載の集中度判定方法。
（付記１８）
前記画素値の変化として、前記注視領域内の平均ＲＧＢが所定値以上変化する場合に、前記視覚刺激が消失したと判定する、
ことを特徴とする付記１５〜１７のいずれか一項に記載の集中度判定方法。
（付記１９）
前記注視領域は、所定の視野角度以内である、
ことを特徴とする付記１５〜１８のいずれか一項に記載の集中度判定方法。
（付記２０）
前記注視領域内の画素値に基づいて、前記注視領域内の対象物を検出し、
前記対象物の変化に基づいて前記注視領域内の視覚刺激の有無を判定する、
ことを特徴とする付記１５に記載の集中度判定方法。
（付記２１）
前記対象物の検出は輪郭検出法を用いる、
ことを特徴とする付記１９に記載の集中度判定方法。

１００ 集中度判定装置
１０２ 視線検出部
１０４ 注視範囲規定部
１０６ 眼情報撮像部
１０８ 視線位置抽出部
１１０ 視線位置画像情報計算部
１１２ 注視領域決定部
１１４ 平均色度算出部
１１６ 停留時間測定部
１１８ 閾値情報格納部
１２０ 集中度判定部
１２２ ユーザ通知部
２１４ 対象物検出部

Claims (9)

1. カメラが撮像した画像を取得し、該画像から被検体の視線を検出し、
   前記被検体の視線から視覚刺激を含む、表示装置における注視範囲を規定し、
   前記注視範囲内において、前記被検体の視線の中心位置と前記注視範囲との間の距離に応じて範囲が異なる注視領域を決定し、
   前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定し、
   前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、
   集中度を判定する際の基準になる複数の閾値を格納する閾値情報格納部を参照し、前記複数の閾値のうち何れかの閾値を設定し、前記停留時間が設定された前記閾値を超える場合に集中度が低下したと判定する、
   処理をコンピュータに実行させる集中度判定プログラム。
2. 前記注視領域内の画素値から前記注視領域内の平均色度を算出し、
   前記平均色度の変化に基づいて前記注視領域内の視覚刺激の消失を判定する、
   ことを特徴とする請求項１に記載の集中度判定プログラム。
3. 前記視覚刺激の有無を、前記注視領域とその周辺とのエッジの色度差から判定する、
   ことを特徴とする請求項２に記載の集中度判定プログラム。
4. 前記画素値の変化として、前記注視領域内の平均ＲＧＢが所定値以上変化する場合に、前記視覚刺激が消失したと判定する、
   ことを特徴とする請求項１〜３のいずれか一項に記載の集中度判定プログラム。
5. 前記注視領域は、所定の視野角度以内である、
   ことを特徴とする請求項１〜４のいずれか一項に記載の集中度判定プログラム。
6. 前記注視領域内の画素値に基づいて、前記注視領域内の対象物を検出し、
   前記対象物の変化に基づいて前記注視領域内の視覚刺激の有無を判定する、
   ことを特徴とする請求項１に記載の集中度判定プログラム。
7. 前記対象物の検出は輪郭検出法を用いる、
   ことを特徴とする請求項６に記載の集中度判定プログラム。
8. 被検体の眼の情報から前記被検体の視線を検出する視線検出部と、
   前記被検体の視線から視覚刺激を含む注視範囲を規定する注視範囲規定部と、
   前記注視範囲内において、前記被検体の視線の中心位置と前記注視範囲との間の距離に応じて範囲が異なる注視領域を決定する注視領域決定部と、
   前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定する平均色度算出部と、
   前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定する停留時間測定部と、
   集中度を判定する際の基準になる複数の閾値を格納する閾値情報格納部と、
   前記閾値情報格納部を参照し、前記複数の閾値のうち何れかの閾値を設定し、前記停留時間が設定された前記閾値を超える場合に集中度が低下したと判定する集中度判定部と、
   を含む集中度判定装置。
9. コンピュータによって実行される集中度判定方法であって、
   カメラが撮像した画像を取得し、該画像から被検体の視線を検出し、
   前記被検体の視線から視覚刺激を含む、表示装置における注視範囲を規定し、
   前記注視範囲内において、前記被検体の視線の中心位置と前記注視範囲との間の距離に応じて範囲が異なる注視領域を決定し、
   前記注視領域内の画素値の変化に基づいて、前記注視領域内の視覚刺激の有無を判定し、
   前記視覚刺激が消失したと判定される時点から、前記被検体の視線が前記注視領域に停留する停留時間を測定し、
   集中度を判定する際の基準になる複数の閾値を格納する閾値情報格納部を参照し、前記複数の閾値のうち何れかの閾値を設定し、前記停留時間が設定された前記閾値を超える場合に集中度が低下したと判定する、
   ことを特徴とする集中度判定方法。

Images