JPWO2019026130A1 - 作業支援装置、作業支援方法、プログラム - Google Patents

Abstract

目視対象を撮影して得た画像中の所定の小領域のうち目視対象を視認するユーザの視線に対応する画像中の注視領域を特定する。特定された注視領域の時間推移に基づいて作業支援情報を特定する。

Description

本発明は、作業支援装置、作業支援方法、プログラムに関する。

労働者等のユーザの作業を支援するためにユーザが目視している画像中の視点位置付近の関連情報を表示させる技術が特許文献１に開示されている。

特開２０１７−１６５０６号公報

上述のような技術においてユーザの作業の労力をさらに軽減できる技術が求められている。

特に、確認対象が表示された画面やウィンドウと、確認のために参照すべき他の情報が表示された画面やウィンドウとの間で視線を移動させる身体的負荷と時間や、これらのウィンドウが同一画面中で重なって表示されている場合にこれらを切り替え操作する身体的負荷と時間や、参照すべき他の情報の中から、確認のために必要なレコードや部分を探す（目で探す、または検索機能を実行するための操作をする）身体的負荷と時間がかかっており、上述の関連技術の技術者は、これらの身体的負荷や時間を削減することが課題だった。

また同じ確認対象であっても、ユーザにおける確認目的は１つではない。したがって、ある領域を一定時間以上注視していることに基づいて、一義的に支援情報を提示する関連技術では、ユーザの意図している確認目的に沿った支援情報の提示が困難である。同じ確認対象であっても、ユーザの意図に合わせた支援情報を提示することが課題だった。

そこでこの発明は、上述の課題を解決することのできる作業支援装置、作業支援方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、作業支援装置は、目視対象を撮影して得た画像中の所定の小領域のうち前記目視対象を視認するユーザの視線に対応する前記画像中の注視領域を特定する注視領域特定部と、特定された前記注視領域の時間推移に基づいて作業支援情報を特定する支援情報特定部と、を備えることを特徴とする。

また本発明の第２の態様によれば、作業支援方法は、目視対象を撮影して得た画像中の所定の小領域のうち前記目視対象を視認するユーザの視線に対応する前記画像中の注視領域を特定し、特定された前記注視領域の時間推移に基づいて作業支援情報を特定することを特徴とする。

また本発明の第３の態様によれば、プログラムは、作業支援装置のコンピュータを、目視対象を撮影して得た画像中の所定の小領域のうち前記目視対象を視認するユーザの視線に対応する前記画像中の注視領域を特定する注視領域特定手段、特定された前記注視領域の時間推移に基づいて作業支援情報を特定する支援情報特定手段、として機能させることを特徴とする。

本発明によれば、ユーザの作業の労力をさらに軽減することができる。

また本発明は、確認対象が表示された画面やウィンドウと、確認のために参照すべき他の情報が表示された画面やウィンドウとの間で視線を移動させる身体的負荷と時間や、これらのウィンドウが同一画面中で重なって表示されている場合にこれらを切り替え操作する身体的負荷と時間や、参照すべき他の情報の中から、確認のために必要なレコードや部分を探す（目で探す、または検索機能を実行するための操作をする）身体的負荷と時間を削減することができる。

また本発明は、同じ確認対象であっても、ユーザの意図に合わせた支援情報を提示することができる。

作業支援装置を含む作業支援システムの構成を示す第一の図である。 作業支援装置のハードウェア構成を示す図である。 作業支援装置の機能ブロック図である。 作業支援装置の処理フローを示す図である。 画像に映る電子メーラにおけるユーザの注視状態を示す第一の図である。 作業支援情報の生成ルールのデータテーブルを示す図である。 作業支援情報を示す第一の例である。 画像に映る電子メーラにおけるユーザの注視状態を示す第二の図である。 作業支援情報を示す第二の例である。 他の実施形態による作業支援システムの構成を示す第一の図である。 作業支援装置の最小構成を示す図である。

以下、本発明の一実施形態による作業支援装置を図面を参照して説明する。
図１は同実施形態による作業支援装置を含む作業支援システムの構成を示す第一の図である。
図１に示すように作業支援システム１００は作業支援装置１、視線検出装置２を備えて構成される。作業支援装置１は視線検出装置２に通信接続されている。視線検出装置２は本実施形態においては眼鏡に設けられている。視線検出装置２は眼鏡をかけているユーザの前方の映像を撮影するカメラと、作業支援情報５を眼鏡に設けられたレンズの内側に表示するモニタと、眼鏡をかけているユーザの眼球の動きや瞳孔の位置に基づいて映像を構成する画像４中の注視位置を検出する検出機能とを備える。視線検出装置２は、例えば、レンズの内側のモニタの一部領域に高輝度の画素で構成された作業支援情報５を表示し、他の領域にはユーザの目視対象から反射した光を透過するように輝度ゼロの画素を表示する。視線検出装置２にはこのようなユーザの視認する背景に重ねて作業支援情報５が表示できる透過型のモニタが設けられてよい。これによりユーザは目視対象とモニタの表示の両方を認識することができる。またはレンズの内側に設けられたモニタは非透過型のモニタであってもよい。非透過型のモニタは、例えばスマートフォンの画面のようにモニタ自体は背面からの光を透過せず、スマートフォンの筐体の背面に設けられたカメラがユーザの前方の視界の映像を撮影し、それをモニタに表示する。この場合、非透過型のモニタは、画像４と作業支援情報５を重ねてモニタに表示する。ユーザはコンピュータ３の画面方向に顔を向ける。そうすることにより、映像を構成する画像４にはコンピュータ３の画面が映っている。作業支援装置１はユーザの注視位置などに基づいてユーザの作業を軽減するための支援情報を画像中に表示するよう視線検出装置２に通知する。視線検出装置２はレンズの内側のモニタに表示した画像中に作業支援情報５を表示する。なお視線検出装置２は公知の視線検出技術を利用する。本実施形態において視線検出装置２は、視線検出と画像４におけるユーザの注視位置を検出するものである。視線検出装置２は、一例としては瞳孔の位置を検出しその瞳孔の位置に応じた画像中の位置を、瞳孔の位置、眼球の範囲、眼鏡と眼球の相対位置関係などに基づいて所定の算出式などにより求めるものであってよい。

図２は作業支援装置のハードウェア構成を示す図である。
作業支援装置１は図２で示すように、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は視線検出装置２との間で無線通信を行うものであってもよいし、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。なお作業支援装置１にはＨＤＤ１６は設けられなくともよい。

図３は作業支援装置の機能ブロック図である。
作業支援装置１のＣＰＵ１１は記憶するプログラムを実行することにより、画像入力部１０１、注視座標入力部１０２、目視対象特定部１０３、注視領域特定部１０４、注視状態特定部１０５、支援情報特定部１０６、支援情報出力部１０７の機能を備える。その他、作業支援装置１にはＲＡＭ１５などの内部に注視状態記憶部１０８、生成ルール記憶部１０９、参照情報記憶部１１０を設ける。

画像入力部１０１は、視線検出装置２に設けられたカメラから得た映像の１コマ１コマの画像４を入力する。
注視座標入力部１０２は、視線検出装置２が検出した映像を構成する各画像４上のユーザの注視座標を入力する。

目視対象特定部１０３は、画像入力部１０１から入力した画像において所定の目視対象を検出し、またその目視対象の領域に映る目視対象種別と、目視対象における所定の小領域を検出する。例えば、一例として目視対象はコンピュータの画面に映るアプリケーション画面であり、目視対象種別はそのアプリケーションの種別であり、所定の小領域はそのアプリケーションにおいて設定された所定の領域である。例えばアプリケーションが電子メーラである場合には所定の小領域は電子メールに設けられたメールの属性を示す各欄の領域である。メールの属性は例えば、電子メールの受信日、送信元（ｆｒｏｍ）、宛先（ｔｏ）、件名（ｓｕｂｊｅｃｔ）などである。

注視領域特定部１０４は、目視対象を撮影して得た画像中の所定の小領域のうち目視対象を視認するユーザの注視位置に対応する小領域を示す注視領域を特定する。
注視状態特定部１０５は、目視対象における注視領域の時間推移に基づいてユーザの注視状態を示す情報を特定する。
支援情報特定部１０６は、特定された注視状態に基づいて画像中の注視領域から検索キーを抽出し、当該検索キーと支援情報出力条件とに基づいて作業支援情報を特定する。
支援情報出力部１０７は、支援情報特定部１０６の特定した作業支援情報を視線検出装置２へ出力する。当該作業支援情報は視線検出装置２のレンズ内側のモニタに表示される。

注視状態記憶部１０８は、ユーザの目視対象における注視領域の時間推移に対応して特定した注視状態に対応する識別子の情報を記憶する。
生成ルール記憶部１０９は、目視対象種別と注視状態の識別子とに対応した作業支援情報の生成ルールを記憶する。
参照情報記憶部１１０は、作業支援情報を出力するために参照すべき各種情報を記憶する。

このような機能を備えた作業支援装置１は、目視対象の撮影により得られた画像中の所定の小領域のうち目視対象を視認するユーザの視線に対応する画像中の注視領域を特定する。作業支援装置は、その特定された注視領域の時間推移に基づいて作業支援情報を特定してユーザが目視対象と共にその作業支援情報を同時に視認できるように表示部（視線検出装置２のレンズ内側のモニタ）に表示する。
これにより作業支援装置１は、目視対象を見ながら行うユーザの作業の労力を、作業支援情報を表示することによって軽減させる。

図４は作業支援装置の処理フローを示す図である。
図５は画像に映る電子メーラにおけるユーザの注視状態を示す第一の図である。
次に作業支援装置の処理フローについて順を追って説明する。
まずユーザは視線検出装置２が備わる眼鏡をかけコンピュータ３を操作してメーラを立ち上げる。一例としてユーザはコンピュータセキュリティエンジニアである。本実施形態は、コンピュータ３においてユーザが起動させた電子メーラにおいて不正なメールが届いていないかのチェック作業をそのユーザが行う際の作業支援において作業支援装置１が利用される場合の処理について説明する。

ユーザはコンピュータ３で起動された電子メーラを目視する。すると視線検出装置２のユーザ視認方向を撮影するよう眼鏡に取り付けられたカメラがコンピュータ３を映す映像を生成し、その映像を作業支援装置１へ出力する。作業支援装置１の画像入力部１０１は映像を構成する各画像を順次入力する（ステップＳ４０１）。目視対象特定部１０３は画像入力部１０１から画像を取得する。目視対象特定部１０３は画像に映る電子メーラの表示領域Ａを特定する（ステップＳ４０２）。本実施形態において電子メーラが目視対象である。電子メーラ全体の画像パターンは既知であり、作業支援装置１はメモリ等にこの画像パターンのデータを記憶しておく。目視対象特定部１０３はこの電子メーラの記憶する画像パターンデータと新たに取得した画像に映る物体とをパターンマッチングにより比較して、画像４中の電子メーラ全体の表示領域Ａの座標を特定する。目視対象特定部１０３は目視対象である電子メーラの画像４中の表示領域Ａの座標をメモリ等に一時記録する。

また目視対象特定部１０３は画像４中の電子メーラの表示領域Ａに映る電子メーラの識別子（目視対象種別）を検出する（ステップＳ４０３）。電子メーラの識別子は、画像４中の電子メーラの表示領域Ａに映る、電子メーラのアプリケーション名の文字列などである。目視対象特定部１０３はアプリケーション名をメモリ等に一時記録する。

また目視対象特定部１０３は画像４中の電子メーラの表示領域Ａにおける複数の小領域の座標を検出する（ステップＳ４０４）。本実施形態において小領域は電子メーラの表示領域Ａにおける電子メールの属性を示す各欄の領域であり、電子メールの受信日（ｄａｔｅ）表示領域ａ１、送信元（ｆｒｏｍ）表示領域ａ２、宛先（ｔｏ）表示領域ａ３、件名（ｓｕｂｊｅｃｔ）表示領域ａ４、１件１件のメールの表示領域ｂ１、ｂ２、・・・である。目視対象特定部１０３はこれら小領域の座標を検出してメモリ等に一時記録する。小領域の座標は本実施形態のように例えば小領域が矩形である場合には、電子メールの表示領域Ａの左上の頂点を原点とする、当該矩形の左上、右上、左下、右下の各頂点の相対座標である。目視対象特定部１０３は電子メーラの表示領域Ａの座標、電子メーラの識別子、表示領域Ａにおける各小領域の座標を検出すると、注視領域特定部１０４に処理開始を指示する。目視対象特定部１０３は、当該表示領域Ａの座標、電子メーラの識別子、表示領域Ａにおける各小領域の座標、の各検出処理を、画像４が入力される毎に繰り返し行う。画像４を入力して順次処理する各時刻Ｔは、時間の経過に沿ってＴ０１、Ｔ０２、Ｔ０３、・・・と呼ぶこととする。

注視座標入力部１０２は画像入力部１０１から取得された入力画像におけるユーザの注視座標を視線検出装置２から入力する。注視座標入力部１０２はその注視座標を注視領域特定部１０４へ出力する。注視領域特定部１０４は時刻ＴがＴ０１、Ｔ０２、Ｔ０３、・・・と進むごとに注視座標を入力する。注視領域特定部１０４は時刻Ｔ０１に入力した注視座標と、その時刻Ｔ０１において目視対象特定部１０３が検出した各小領域の表示領域Ａの原点を基準とする相対座標を用いて、時刻Ｔ０１に入力した画像４においてユーザが注視した小領域（注視領域）を特定する（ステップＳ４０５）。注視領域は電子メールの受信日（ｄａｔｅ）、送信元（ｆｒｏｍ）、宛先（ｔｏ）、件名（ｓｕｂｊｅｃｔ）などの属性を表示しているため、属性表示領域とも定義することができる。

例えば、時刻Ｔ０１に入力した画像４においてユーザの注視座標が、小領域ａ２を示す複数の座標で囲まれる領域内にあって、さらに小領域ｂ５を示す複数の座標で囲まれる領域内にあるとする。この場合、注視領域特定部１０４は注視領域情報Ｅ１（時刻Ｔ０１、小領域ａ２、小領域ｂ５）を注視状態特定部１０５へ出力する（ステップＳ４０６）。なお注視領域情報Ｅ１（時刻Ｔ０１、小領域ａ２、小領域ｂ５）は、ユーザが、時刻Ｔ０１において５行目に表示されている受信メール（小領域ｂ５）の、送信元（ｆｒｏｍ）表示領域（小領域ａ２）を注視していることを意味する。そして注視領域特定部１０４は時刻Ｔ０１以降の各時刻それぞれにおいて同様に注視領域情報を生成する。注視領域特定部１０４は生成した注視領域情報を順次、注視状態特定部１０５へ出力する。

注視状態特定部１０５は注視領域特定部１０４から各時刻における注視領域情報Ｅを順次入力する。注視状態特定部１０５は各時刻における注視領域情報Ｅを解析する。この解析において注視状態特定部１０５は、１つまたは複数の注視領域情報が注視状態記憶部１０８から取得した１つの注視状態条件Ｃまたは複数の注視状態条件Ｃの何れかに合致するかを判定する（ステップＳ４０７）。例えば注視状態条件Ｃには期間、その期間内における各時刻の小領域の識別子を特定する条件式等が格納される。例えば期間として「２秒」、注視領域として「小領域ａ（列方向の小領域）≧３箇所、小領域ｂ（行方向の小領域）＝１箇所」に合致するかを識別するための条件式の情報が注視状態条件Ｃ１に格納されているとする。

図５の例で説明すると、注視状態特定部１０５は時刻Ｔ０１において注視領域情報Ｅ１（時刻Ｔ０１、小領域ａ２（２列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０２において注視領域情報Ｅ２（時刻Ｔ０２、小領域ａ３（３列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０３において注視領域情報Ｅ３（時刻Ｔ０３、小領域ａ３（３列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０４において注視領域情報Ｅ４（時刻Ｔ０４、小領域ａ３（３列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０５において注視領域情報Ｅ５（時刻Ｔ０５、小領域ａ４（４列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０６において注視領域情報Ｅ６（時刻Ｔ０６、小領域ａ５（５列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０７において注視領域情報Ｅ７（時刻Ｔ０７、小領域ａ５（５列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０８において注視領域情報Ｅ８（時刻Ｔ０８、小領域ａ５（５列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０９において注視領域情報Ｅ９（時刻Ｔ０９、小領域ａ４（４列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ１０において注視領域情報Ｅ１０（時刻Ｔ１０、小領域ａ３（３列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ１１において注視領域情報Ｅ１１（時刻Ｔ１１、小領域ａ４（４列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ１２において注視領域情報Ｅ１２（時刻Ｔ１２、小領域ａ３（３列目）、小領域ｂ５（５行目））を入力する。

注視状態特定部１０５は、期間「２秒」を示す情報と、注視領域としての小領域の識別情報が「小領域ａ（列方向の小領域）≧３箇所、小領域ｂ（行方向の小領域）＝１箇所」に合致するかを判定するための条件式を示す情報とを含む注視状態条件Ｃ１を取得する。そして注視状態特定部１０５はその注視状態条件Ｃ１と、上記注視領域情報Ｅ１〜Ｅ１２とを比較する。注視状態特定部１０５はこの比較によって、注視領域情報Ｅ１〜Ｅ１２により示される注視領域が、２秒間、小領域ａ（列方向の小領域）の３箇所以上に亘っており、それと同時に当該注視領域が、小領域ｂ（行方向の小領域）の１箇所のみであることを検出する。これにより注視状態特定部１０５は、ユーザが、２秒間、小領域ａ（列方向の小領域）を３箇所以上に亘って、それと同時に小領域ｂ（行方向の小領域）を１箇所のみを注視していたことを検出する。２秒間、小領域ａ（列方向の小領域）を３箇所以上に亘って、それと同時に小領域ｂ（行方向の小領域）を１箇所のみ注視していたことは、ユーザが電子メールを「調査」している状態にあったと言える。

ユーザがコンピュータセキュリティエンジニアであり、コンピュータ３において起動させた電子メーラにおいて不正なメールが届いていないかのチェック作業においては、ユーザは各電子メールを１行ずつチェックする。そしてユーザが不審な電子メールを見付けた場合には、その電子メールに注視する。例えば２秒間の間その電子メールを注視して、電子メールの受信日（ｄａｔｅ）表示領域ａ１、送信元（ｆｒｏｍ）表示領域ａ２、宛先（ｔｏ）表示領域ａ３、件名（ｓｕｂｊｅｃｔ）表示領域ａ４などを確認する事となる。このような場合には、注視状態特定部１０５は、注視領域情報Ｅと、注視状態記憶部１０８から取得した注視状態条件Ｃとが合致したと判定する。

注視状態特定部１０５は注視領域情報Ｅと、注視状態記憶部１０８から取得した注視状態条件Ｃとが合致した場合、注視状態条件Ｃに合致した注視領域情報Ｅに含まれる小領域（小領域ｂ５）と、その注視状態条件Ｃと、電子メーラの識別子、表示領域Ａ内の各小領域の座標を含む注視状態特定結果を生成する（ステップＳ４０８）。注視状態特定部１０５は注視状態特定結果を支援情報特定部１０６へ出力する。

図６は作業支援情報の生成ルールのデータテーブルを示す図である。
支援情報特定部１０６は生成ルール記憶部１０９から作業支援情報の生成ルールを取得する。作業支援情報の生成ルールは、目視対象種別、検索キー、注視状態条件Ｃ、参照先のデータテーブルを識別する情報、マッチング条件式、支援情報出力種別が対応付けられて記録されるデータテーブルである。注視状態条件は、調査(investigating)、やフィルタリング（filtering）などを示す。図６によれば、当該作業支援情報の生成ルールは、作業支援情報を出力すると判定されるべき電子メーラの識別子（目視対象種別）と注視状態条件Ｃ（注視状態の識別子に相当）の組み合わせを含む。なお参照先である攻撃メールリスト、グループドメインリスト、不審ドメインリストは参照情報記憶部１１０に記録されている。

支援情報特定部１０６は注視状態特定結果に含まれる電子メーラの識別子（目視対象種別）と注視状態条件Ｃ（注視状態の識別子）の組み合わせが、生成ルール記憶部１０９から取得した作業支援情報の生成ルールの何れかに合致するかを判定する（ステップＳ４０９）。支援情報特定部１０６は、注視状態特定結果に含まれる電子メーラの識別子（目視対象種別）と注視状態条件Ｃ（注視状態の識別子）の組み合わせが、生成ルール記憶部１０９から取得した作業支援情報の生成ルールの何れかに合致する場合、作業支援情報を生成すると判定する。

支援情報特定部１０６は作業支援情報を生成する場合、電子メーラの識別子（目視対象種別）と注視状態条件Ｃ（注視状態の識別子）の組み合わせに対応付けて記憶する検索キーを作業支援情報の生成ルールから取得する（ステップＳ４１０）。例えば具体的に上述の例においては、電子メーラの識別子（目視対象種別）と注視状態条件Ｃ１（注視状態の識別子）の組み合わせに対応付けて検索キーＫ１、Ｋ２が作業支援情報の生成ルールに含まれる。支援情報特定部１０６は検索キーＫ１、Ｋ２を作業支援情報の生成ルールのテーブルから取得する。例えば検索キーＫ１は「送信元（ｆｒｏｍ）表示領域ａ２」、検索キーＫ２は「件名（ｓｕｂｊｅｃｔ）表示領域ａ４」とする。送信元を確認することにより不審な電子メールと同じ送信元からの電子メールが過去に受信されており不審な送信元として登録されているかどうかの確認にこの検索キーＫ１が利用される。または件名を確認することにより不審な電子メールと同じ件名の電子メールが過去に受信されており不審な件名として登録されているかどうかの確認に検索キーＫ２が利用される。

支援情報特定部１０６は検索キーを取得すると、注視状態特定結果から注視状態条件Ｃに合致した注視領域情報Ｅ内の小領域（小領域ｂ５の電子メールの属性が示されている５行目の領域）を特定する。支援情報特定部１０６は、その特定した注視領域情報Ｅ内の小領域において検索キーＫ１「送信元（ｆｒｏｍ）表示領域ａ２」、検索キーＫ２「件名（ｓｕｂｊｅｃｔ）表示領域ａ４」の各小領域に含まれる文字列を抽出する（ステップＳ４１１）。例えば検索キーＫ１に基づいて抽出した文字列は送信元（ｆｒｏｍ）表示領域ａ２に表示されている送信元の電子メールアドレス、検索キーＫ２に基づいて抽出した文字列は件名（ｓｕｂｊｅｃｔ）表示領域ａ４に表示されている電子メールの件名である。

支援情報特定部１０６は次に、目視対象種別である電子メーラの識別子と、注視状態を表す注視状態条件Ｃの組み合わせに応じた参照先とマッチング条件式を作業支援情報の生成ルールから取得する（ステップＳ４１２）。支援情報特定部１０６は検索キーに基づいて抽出した情報である、送信元の電子メールアドレスや電子メールの件名が、このマッチング条件式に当てはまるかどうかを判定する（ステップＳ４１３）。目視対象種別である電子メーラの識別子と、注視状態を表す注視状態条件Ｃ１の組み合わせに応じたマッチング条件式は、送信元の電子メールアドレスと参照情報記憶部１１０に記録され参照先によって指定される攻撃メールリストにおける何れかのエントリに含まれる送信元の電子メールのアドレスとが一致するかどうかを示す条件式と、電子メールの件名と参照情報記憶部１１０に記録され参照先によって指定される攻撃メールリストにおける何れかのエントリに含まれる電子メールの件名とが一致するかどうかを示す条件式である。

支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定される攻撃メールリストを検索して送信元の電子メールアドレスが一致するエントリが存在するかを判定する。また支援情報特定部１０６は参照情報記憶部１１０に記録される攻撃メールリストを検索して件名が一致するエントリが存在するかを判定する。つまり、支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定される各種情報を検索して検索キーに基づいて抽出した情報に合致する情報を含むエントリがあるかを判定する。支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定される各種情報に、検索キーに基づいて抽出した情報に合致する情報を含むエントリが存在しない場合には作業支援情報の表示を行わないと決定する。支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定される各種情報に、検索キーに基づいて抽出した情報に合致する情報を含むエントリが存在する場合には作業支援情報の表示を行うと決定する。一例としては、支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定される攻撃メールリストに送信元の電子メールアドレスと一致する電子メールアドレスを含むエントリが存在しない場合には作業情報支援情報の表示を行わないと決定する。支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定される攻撃メールリストに送信元の電子メールアドレスと一致する電子メールアドレスを含むエントリが存在する場合には作業情報支援情報の表示を行うと決定する。

支援情報特定部１０６は作業支援情報の表示を行うと決定した場合、目視対象種別である電子メーラの識別子と、注視状態を表す注視状態条件Ｃの組み合わせに応じた支援情報出力種別を作業支援情報の生成ルールから取得する。支援情報特定部１０６は支援情報種別に基づく作業支援情報を生成する（ステップＳ４１４）。例えば支援情報種別に応じた作業支援情報のテンプレート画像が予め生成ルール記憶部１０９に記録されている。

参照情報記憶部１１０に記憶されている攻撃メールリストには、ケース番号と電子メールアドレスと受信日時と感染事例数が含まれているとする（図示せず）。支援情報特定部１０６は、検索キーをもとに抽出した情報（送信元メールアドレスや件名）と合致する電子メールの情報（メールアドレスや件名）を有するレコードを参照情報記憶部１１０における攻撃メールリストから検索する。支援情報特定部１０６は、検索の結果、レコードを見つけた場合は、当該レコードのケース番号と受信日時と感染事例数をテンプレート画像に埋め込む。これにより、支援情報特定部１０６は、作業支援情報を生成する。

支援情報特定部１０６は作業支援情報の表示位置を決定してもよい。例えば電子メーラの識別子と、注視状態を表す注視状態条件Ｃの組み合わせに基づく支援情報出力種別に基づいて、注視領域情報Ｅ内の小領域である「送信元（ｆｒｏｍ）表示領域ａ２」に表示するという表示位置特定ルールが規定されているとする。つまり支援情報出力種別は支援情報を出力する動作の態様を特定する情報である。この場合、支援情報特定部１０６は、この表示位置特定ルールを作業支援情報生成ルールなどから読み取って作業支援情報の表示位置を決定してもよい。

支援情報特定部１０６は生成した作業支援情報と表示位置とを支援情報出力部１０７へ出力する。支援情報出力部１０７は作業支援情報と、注視領域情報Ｅの内の小領域（小領域ｂ５）の情報と、表示位置とを含む表示要求を視線検出装置２へ送信する。なお支援情報特定部１０６は支援情報出力種別に基づいて複数の作業支援情報を出力すると決定してもよい。この場合、支援情報特定部１０６はそれぞれ作業支援情報の表示位置を決定する。支援情報特定部１０６は処理を終了するかを判定する（ステップＳ４１５）。処理を終了しない場合にはステップＳ４０１からの処理を繰り返す。

視線検出装置２は表示要求に含まれる作業支援情報と、注視領域情報Ｅの内の小領域（小領域ｂ５）と、表示位置との情報を読み取る。視線検出装置２は視線検出装置２のレンズ内側のモニタに表示されている画像４中において、注視領域情報Ｅの内の小領域（小領域ｂ５）が示す電子メーラ５行目の表示位置「送信元（ｆｒｏｍ）表示領域ａ２」を特定する。視線検出装置２は特定した「送信元（ｆｒｏｍ）表示領域ａ２」の上に作業支援情報を重ねて表示する。

このような処理により作業支援装置１は、電子メーラの識別子と、ユーザの注視領域における注視状態を表す注視状態条件とに基づいて、ユーザの作業を支援するための情報をユーザが作業しながら確認している画像中に表示することができる。

またこのような作業支援装置１の処理によれば、作業支援装置１は、ユーザの目視対象に対する注視状態に応じた作業支援情報を出力することができる。これにより作業支援装置１は、目視対象に対するユーザの注視状態に応じた適切な作業支援を行うことができる。上述の例では、作業支援装置１は、電子メーラの５行目を注視しているというユーザの注視状態に基づいて、攻撃メールとしてその電子メールアドレスが過去に攻撃メールリストに記録されている電子メールアドレスかをユーザにただちに認識させる作業支援情報を出力することができる。これにより作業支援装置１は、大量の電子メールの中からコンピュータセキュリティエンジニアであるユーザが不審な電子メールを検索する場合の作業を軽減することができる。

また、作業支援装置１は、確認対象が表示された画面やウィンドウと、確認のために参照すべき他の情報が表示された画面やウィンドウとの間で視線を移動させるユーザの身体的負荷と時間や、これらのウィンドウが同一画面中で重なって表示されている場合にこれらを切り替え操作するユーザの身体的負荷と時間や、参照すべき他の情報の中から、確認のために必要なレコードや部分を探す（目で探す、または検索機能を実行するための操作をする）ユーザの身体的負荷と時間を削減することができる。

また作業支援装置１は、同じ確認対象であっても、ユーザの意図に合わせた支援情報を提示することができる。

図７は作業支援情報を示す第一の例である。
上述の処理により電子メーラが表示している電子メールの中に攻撃メールとして過去に受信した電子メールアドレスと同一の電子メールアドレスが送信元となる電子メールを受信した場合、作業支援装置１は、図７に示すような作業支援情報を画像４において表示する。
図７に示す作業支援情報Ｍ１は、注視領域情報Ｅの内の小領域（小領域ｂ５）が示す電子メーラ５行目の表示位置「送信元（ｆｒｏｍ）表示領域ａ２」に表示され、過去に同じ電子メールアドレスから攻撃メールがあったことを知らせる画像である。
また図７に示す作業支援情報Ｍ２は、注視領域情報Ｅの内の小領域（小領域ｂ５）が示す電子メーラ５行目の表示位置「宛先（ｔｏ）表示領域ａ３」に表示され、宛先のユーザの氏名、役職、所属、内線番号などの属性情報を知らせる画像である。
また図７に示す作業支援情報Ｍ３は、注視領域情報Ｅの内の小領域（小領域ｂ５）が示す電子メーラ５行目の表示位置「件名（ｓｕｂｊｅｃｔ）表示領域ａ４」に表示され、過去に同じ件名での攻撃メールがあったことおよび、その攻撃メールのケース番号、被害発生日などを知らせる画像である。

図８は画像に映る電子メーラにおけるユーザの注視状態を示す第二の図である。
図８に示す電子メーラにおける注視状態に基づいて作業支援装置１が作業支援情報を出力する場合の処理について図４を用いながら以下に説明する。ステップＳ４０１〜ステップＳ４０４の処理は上述の処理と同様である。
注視領域特定部１０４は時刻Ｔ０１に入力した注視座標と、その時刻Ｔ０１において目視対象特定部１０３が検出した各小領域の表示領域Ａの原点を基準とする相対座標を用いて、時刻Ｔ０１に入力した画像４においてユーザが注視した小領域（注視領域）を特定する（ステップＳ４０５）。

例えば、時刻Ｔ０１に入力した画像４においてユーザの注視座標が、小領域ａ２を示す複数の座標で囲まれる領域内にあって、さらに小領域ｂ１を示す複数の座標で囲まれる領域内にあるとする。この場合、注視領域特定部１０４は注視領域情報Ｅ２１（時刻Ｔ０１、小領域ａ２、小領域ｂ１）を注視状態特定部１０５へ出力する（ステップＳ４０６）。なお注視領域情報Ｅ２１（時刻Ｔ０１、小領域ａ２、小領域ｂ１）は、ユーザが、時刻Ｔ０１において１行目に表示されている受信メール（小領域ｂ１）の、送信元（ｆｒｏｍ）表示領域（小領域ａ２）を注視していることを意味する。そして注視領域特定部１０４は時刻Ｔ０１以降の時刻にそれぞれにおいて同様に注視領域情報を生成する。注視領域特定部１０４は生成した注視領域情報を順次、注視状態特定部１０５へ出力する。

注視状態特定部１０５は注視領域特定部１０４から各時刻における注視領域情報Ｅを順次入力する。注視状態特定部１０５は各時刻における注視領域情報Ｅを解析する。この解析において注視状態特定部１０５は、１つまたは複数の注視領域情報が注視状態記憶部１０８から取得した１つの注視状態条件Ｃまたは複数の注視状態条件Ｃの何れかに合致するかを判定する（ステップＳ４０７）。例えば注視状態条件Ｃには期間、その期間内における各時刻の小領域の識別子を特定する条件式等が格納される。例えば期間として「２秒」、注視領域として「小領域ａ（列方向の小領域）＝１箇所、小領域ｂ（行方向の小領域）≧３箇所、ただし小領域ｂは上の行から下の行に一方向に変化している」に合致するかを識別するための条件式の情報が注視状態条件Ｃ２に格納されているとする。

図８の例で説明すると、注視状態特定部１０５は時刻Ｔ０１において注視領域情報Ｅ２１（時刻Ｔ０１、小領域ａ２（２列目）、小領域ｂ１（１行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０２において注視領域情報Ｅ２２（時刻Ｔ０２、小領域ａ２（２列目）、小領域ｂ２（２行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０３において注視領域情報Ｅ２３（時刻Ｔ０３、小領域ａ２（２列目）、小領域ｂ３（３行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０４において注視領域情報Ｅ２４（時刻Ｔ０４、小領域ａ２（２列目）、小領域ｂ４（４行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０５において注視領域情報Ｅ２５（時刻Ｔ０５、小領域ａ２（２列目）、小領域ｂ５（５行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０６において注視領域情報Ｅ２６（時刻Ｔ０６、小領域ａ２（２列目）、小領域ｂ６（６行目））を入力する。
また注視状態特定部１０５は時刻Ｔ０７において注視領域情報Ｅ２７（時刻Ｔ０７、小領域ａ２（２列目）、小領域ｂ７（７行目））を入力する。

注視状態特定部１０５は、期間として「２秒」を示す情報と、注視領域としての小領域の識別情報として「小領域ａ（列方向の小領域）＝１箇所、小領域ｂ（行方向の小領域）≧３箇所、ただし小領域ｂは上の行から下の行に一方向に変化している」を示す情報である注視状態条件Ｃ２と、上記注視領域情報Ｅ２１〜Ｅ２７とを比較する。注視状態特定部１０５は注視領域情報Ｅ２１〜Ｅ２７により示される注視領域が、２秒間、小領域ａ（列方向の小領域）の１箇所のみであり、それと同時に小領域ｂ（行方向の小領域）が３箇所以上に亘っており、それと同時に、注視領域が小領域ｂにおける上の行から下の行に一方向に変化していることを検出する。ユーザが、２秒間、小領域ａ（列方向の小領域）の１箇所のみを注視し、それと同時に、小領域ｂ（行方向の小領域）を３箇所以上に亘って注視しており、それと同時に、ユーザが注視する小領域ｂが上の行から下の行に一方向に変化していることは電子メールを「フィルタリング」している状態にあったと言える。

注視状態特定部１０５は注視領域情報Ｅと、注視状態記憶部１０８から取得した注視状態条件Ｃとが合致した場合、注視状態条件Ｃに合致した注視領域情報Ｅに含まれる小領域ａ２（２列目）と、その注視状態条件Ｃと、電子メーラの識別子、表示領域Ａ内の各小領域の座標を含む注視状態特定結果を生成する（ステップＳ４０８）。注視状態特定部１０５は注視状態特定結果を支援情報特定部１０６へ出力する。

支援情報特定部１０６は注視状態特定結果に含まれる電子メーラの識別子（目視対象種別）と注視状態条件Ｃ（注視状態の識別子）の組み合わせが、生成ルール記憶部１０９から取得した作業支援情報の生成ルールの何れかに合致するかを判定する（ステップＳ４０９）。支援情報特定部１０６は、注視状態特定結果に含まれる電子メーラの識別子（目視対象種別）と注視状態条件Ｃ（注視状態の識別子）の組み合わせが、生成ルール記憶部１０９から取得した作業支援情報の生成ルールの何れかに合致する場合、作業支援情報を生成すると判定する。

支援情報特定部１０６は作業支援情報を生成する場合、電子メーラの識別子（目視対象種別）と注視状態条件Ｃ（注視状態の識別子）の組み合わせに対応付けて記憶する検索キーを作業支援情報の生成ルールから取得する（ステップＳ４１０）。例えば具体的に上述の例においては、電子メーラの識別子（目視対象種別）と注視状態条件Ｃ２（注視状態の識別子）の組み合わせに対応付けて検索キーＫ１が作業支援情報の生成ルールに含まれる。支援情報特定部１０６は検索キーＫ１を作業支援情報の生成ルールのテーブルから取得する。例えば検索キーＫ１は「送信元（ｆｒｏｍ）表示領域ａ２」とする。検索キーＫ１は、メールの送信元が安全であるかどうかの確認や、メールの送信元が不審であるかどうかの確認に利用される。

支援情報特定部１０６は検索キーを取得すると、注視状態特定結果から注視状態条件Ｃ２に合致した注視領域情報Ｅ内の小領域（小領域ａ２）を特定する。支援情報特定部１０６は、その特定した小領域ａ２の全てにおいて文字列を抽出する（ステップＳ４１１）。

支援情報特定部１０６は次に、目視対象種別である電子メーラの識別子と、注視状態を表す注視状態条件Ｃの組み合わせに応じた参照先とマッチング条件式を作業支援情報の生成ルールから取得する（ステップＳ４１２）。支援情報特定部１０６は検索キーに基づいて抽出した送信元の電子メールアドレスが、このマッチング条件式に当てはまるかどうかを判定する（ステップＳ４１３）。目視対象種別である電子メーラの識別子と、注視状態を表す注視状態条件Ｃ２の組み合わせに応じたマッチング条件式は、送信元の電子メールアドレスのドメインと参照情報記憶部１１０に記録され参照先によって指定されるグループドメインリストにおける何れかのエントリに含まれるドメインとが一致するかどうかを示す条件式と、送信元の電子メールアドレスのドメインと参照情報記憶部１１０に記録され参照先によって指定される不審ドメインリストにおける何れかのエントリに含まれるドメインとが一致するかどうかを示す条件式である。

支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定されるグループドメインリストや不審ドメインリストを検索して送信元の電子メールアドレスのドメインが一致するエントリが存在するかを判定する。支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定されるグループドメインリストや不審ドメインリストに送信元の電子メールアドレスのドメインと一致するドメインを含むエントリが存在しない場合には作業支援情報の表示を行わないと決定する。支援情報特定部１０６は参照情報記憶部１１０に記録され参照先によって指定されるグループドメインリストや不審ドメインリストに送信元の電子メールアドレスのドメインと一致するドメインを含むエントリが存在する場合には作業支援情報の表示を行うと決定する。

支援情報特定部１０６は作業支援情報の表示を行うと決定した場合、目視対象種別である電子メーラの識別子と、注視状態を表す注視状態条件Ｃの組み合わせに応じた支援情報出力種別を作業支援情報の生成ルールから取得する。支援情報特定部１０６は支援情報種別に基づく作業支援情報を生成する（ステップＳ４１４）。

図９は作業支援情報を示す第二の例である。
当該処理により電子メーラが表示している電子メールの中にグループドメインリストに記述されているドメインと同じドメインから送信された電子メールアドレスがある場合には、作業支援装置１は、図９に示すような作業支援情報を画像４において表示する。グループドメインリストは、例えば、既知で安全性が確認された取引先のドメインを列挙したリストである。グループドメインリストを基にした作業支援情報はユーザにこのメールの送信元が安全である旨を知らせるものとなる。
図９に示す作業支援情報Ｍ１１は、注視領域情報Ｅの内の小領域（小領域ａ２）に一部が表示されている電子メールのうち２行目の電子メールがグループドメインリストに記述されたドメインと同じドメインから送信されたものであるため、当該電子メールが表示されている行の２列目の表示位置「送信元（ｆｒｏｍ）表示領域ａ２」に丸印のマークを指標として表示する、ユーザに安全であることを知らせる画像である。
図９に示す作業支援情報Ｍ１２は、注視領域情報Ｅの内の小領域（小領域ａ２）に一部が表示されている電子メールのうち４行目の電子メールがグループドメインリストに記述されたドメインと同じドメインから送信されたものであるため、当該電子メールが表示されている行の２列目の表示位置「送信元（ｆｒｏｍ）表示領域ａ２」に丸印のマークを指標として表示する、ユーザに安全であることを知らせる画像である。
図９に示す作業支援情報Ｍ１３は、注視領域情報Ｅの内の小領域（小領域ａ２）に一部が表示されている電子メールのうち７行目の電子メールがグループドメインリストに記述されたドメインと同じドメインから送信されたものであるため、当該電子メールの２列目の表示位置「送信元（ｆｒｏｍ）表示領域ａ２」に丸印のマークを指標として表示する、ユーザに安全であることを知らせる画像である。
同様に図９に示す画像には８行目と１０行目の各電子メールの２列目の表示位置「送信元（ｆｒｏｍ）表示領域ａ２」に丸印のマークが指標として表示される。
不審ドメインリストは、例えば、過去にそのドメインから発信されたメールが攻撃メールであることが確認されたドメインを列挙したリストである。不審ドメインリストを基にした作業支援情報はユーザにこのメールの送信元が危険である旨を知らせるものとなる。
注視領域情報Ｅの内の小領域（小領域ａ２）に一部が表示されている電子メールのうち不審ドメインリストに記述されたドメインと同じドメインから送信されたものが存在する場合は、上記とは別のマークが指標として表示され、ユーザに危険であることを知らせる（図示しない）。

図１０は他の実施形態による作業支援システムの例を示している。
この例では視線検出装置２に作業支援装置１が含まれる。視線検出装置２は眼鏡型の構造であってよい。視線検出装置２はカメラ２１、注視座標検出部２２、モニタ２３と、作業支援装置１を備える。この作業支援装置１には目視対象特定部１０３、注視領域特定部１０４、注視状態特定部１０５、支援情報特定部１０６の各機能部が備わる。これら各機能の処理は上述の実施形態の処理と同様である。そして、図１０で示す作業支援システムでは管理サーバ９を備え、管理サーバ９が注視状態記憶部９１、生成ルール記憶部９２、参照情報記憶部９３を備える。視線検出装置２と管理サーバ９とは通信接続される。このような態様により、上述と同様の処理が行われてもよい。

なお上述の処理においては目視対象がコンピュータ３を撮影した画像４に映る電子メーラの領域である場合の処理について説明したが、目視対象は他の物体であってもよい。例えば、航空機のパイロットが操作するコックピット内の操作パネルや、車の運転手が運転時に確認する計器類であってもよい。この場合小領域は、画像中の操作パネルや計器類の全体の目視対象のうちの個々の計器類等の小領域である。作業支援装置１は目視対象となる操作パネル等のうちの計器類等の小領域を視認するユーザの視線に対応する小領域を示す注視領域を画像中から検出する。作業支援装置１はパイロットの注視領域に応じた作業支援情報や、パイロットの注視状態に応じた計器類の操作の為の作業支援情報を出力してよい。

図１１は作業支援装置の最小構成を示す図である。
作業支援装置１は少なくとも、注視領域特定部１０４と、支援情報特定部１０６とを備えるものであってよい。または更に、注視状態特定部１０５を備えるものであってよい。

上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、当該各装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・作業支援装置
２・・・視線検出装置
３・・・コンピュータ
４・・・画像
１０１・・・画像入力部
１０２・・・注視座標入力部
１０３・・・目視対象特定部
１０４・・・注視領域特定部
１０５・・・注視状態特定部
１０６・・・支援情報特定部
１０７・・・支援情報出力部
１０８・・・注視状態記憶部
１０９・・・生成ルール記憶部
１１０・・・参照情報記憶部

Claims (6)

1. 目視対象を撮影して得た画像中の所定の小領域のうち前記目視対象を視認するユーザの視線に対応する前記画像中の注視領域を特定する注視領域特定部と、
   特定された前記注視領域の時間推移に基づいて作業支援情報を特定する支援情報特定部と、
   を備える作業支援装置。
2. 前記目視対象における前記注視領域の時間推移に基づいてユーザの注視状態を特定する注視状態特定部と、を備え、
   前記支援情報特定部は、特定された前記注視状態に基づいて前記画像中の前記注視領域から検索キーを抽出し、当該検索キーと支援情報出力条件とに基づいて作業支援情報を特定する
   請求項１に記載の作業支援装置。
3. 前記目視対象はコンピュータ画面に表示された画像であり、
   前記小領域および前記注視領域は前記画像中に設けられた領域である
   請求項２に記載の作業支援装置。
4. 前記画像は電子メーラの画像であり、
   前記小領域および前記注視領域は前記電子メーラの画像中に設けられた電子メールの属性を表示する属性表示領域であり、
   前記支援情報特定部は、前記属性表示領域に含まれる前記検索キーを抽出する
   請求項３に記載の作業支援装置。
5. 目視対象を撮影して得た画像中の所定の小領域のうち前記目視対象を視認するユーザの視線に対応する前記画像中の注視領域を特定し、
   特定された前記注視領域の時間推移に基づいて作業支援情報を特定する
   作業支援方法。
6. 作業支援装置のコンピュータを、
   目視対象を撮影して得た画像中の所定の小領域のうち前記目視対象を視認するユーザの視線に対応する前記画像中の注視領域を特定する注視領域特定手段、
   特定された前記注視領域の時間推移に基づいて作業支援情報を特定する支援情報特定手段、
   として機能させるプログラム。

Images