JP7094759B2 - システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、システム、情報処理方法及びプログラムに関する。

カメラ等の撮像装置で撮像した静止画像や動画像から、特定の対象を検出して提示する方法がある。
例えば、監視カメラの分野では、不審な動きをしている人物がいることを検出して、異常を通報したり、不審人物を色の付いた枠で示したりすることがある。
また、人の顔を認識して提示するシステムもある。例えば、カジノではカードカウンティング等の不正を防止するため、ブラックリストに載っている人物を識別するシステムが用いられている。
また、自動車の分野では、車載カメラの映像から走行可能領域、歩行者、車両等を識別し、危険を事前に察知し、運転者に通知したり危険回避の対応を行ったりするシステムも開発されてきている。
このように、撮像装置で撮像した静止画像や動画像等の画像から何らかの対象を識別し、識別した対象に関する情報を提示するシステムには様々なものがある。

提示する情報には、識別した対象の名称等の簡易な情報や、その対象に関するより詳細な情報等がある。
情報を提示する方法として、アノテーションやノーティフィケーションといった方法がある。
アノテーションは、拡張現実（ＡＲ）で、用いられる方法である。画像上の事物に関連した名称等の概要の情報を、その事物の付近に重畳表示する方法である。
ノーティフィケーションは、ユーザに何らかの事象を伝えるのに用いられる方法である。例えば、電話機の呼び出し音や発信者番号表示、スマートフォンでの電子メールやＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）通知等が、ノーティフィケーションの一例である。

アノテーションやノーティフィケーションは、ユーザに情報を提示するのに有効であるが、ユーザが更に詳細な情報を知りたい場合もある。
アノテーションとして提示された情報を選択して、選択した情報に関連する詳細情報を表示する方法には、特許文献１がある。
また、プラント監視システムにおいて、個別の機器に異常があった場合に、監視画面にノーティフィケーションを出し、その監視画面とは異なる装置の画面に個別異常を表示する方法には、特許文献２がある。

特開２０１２－６９０６５号公報 特開平０５－３４２４８７号公報

しかしながら、特許文献１では、アノテーション等の提示されている情報と同じ画面（表示デバイス）上に詳細情報が表示されてしまっていた。
そのため、画面に多量の情報が表示され、画面が見づらくなってしまい、詳細情報の閲覧や関連する操作がやりづらい等、ユーザの利便性が低かった。特に、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型ディスプレイ）においては、詳細情報の表示箇所によってユーザの視線方向が拘束されてしまい、利便性が低かった。
また、特許文献２では、予め定められた監視対象の異常に関する情報しか提示できず、ユーザが視認している対象に応じた情報を提示できず、利便性が低かった。

本発明のシステムは、ユーザの観察対象に基づいて、前記ユーザへの提示情報を生成する生成手段と、ウエアラブルデバイスである第１の情報処理装置を前記ユーザが身に着けた場合、前記ユーザの視界に入るように前記生成手段により生成された前記提示情報を第１の情報処理装置の第１の表示部に表示させる、もしくは、前記第１の情報処理装置が撮影した画像と前記提示情報とを前記第１の表示部に表示させる第１の表示制御手段と、前記第１の表示制御手段により前記第１の表示部に表示された前記提示情報に基づいて決定手段により決定され、前記第１の情報処理装置と異なる第２の情報処理装置の第２の表示部に第２の表示制御手段によって表示された、前記提示情報に関する詳細情報が、前記ユーザによって注視されたことを検出手段により検出した場合に、前記第１の表示部に表示される前記提示情報の表示を制御する制御手段と、を有することを特徴とする。

本発明によれば、利便性を向上させることができる。

情報処理システムのシステム構成の一例を示す図である。 情報処理システムの各構成要素のハードウェア構成の一例を示す図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 情報処理システムの処理の一例の概要を説明する図である。 情報の提示の一例の概要を説明する図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 表示情報制御部の処理の一例を示すアクティビティ図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 概要情報表示装置の姿勢の検出処理の一例を説明する図である。 詳細情報注視検知部の処理の一例を示すアクティビティ図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 詳細情報表示装置の姿勢の検出処理の一例を説明する図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 詳細情報の表示態様の一例を示す図である。 詳細情報注視検知部の処理の一例を示すアクティビティ図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 情報処理システムの利用態様の一例を示す図である。 撮像された画像の一例を示す図である。 詳細情報注視検知部の処理の一例を示すアクティビティ図である。 撮像された画像の一例を示す図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 詳細情報注視検知部の処理の一例を示すアクティビティ図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 操作中推定処理の一例を示すアクティビティ図である。 詳細情報注視検知部の処理の一例を示すアクティビティ図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 概要情報フィルタ部の処理の一例を示すアクティビティ図である。 選択ミス検出部の処理の一例を示すアクティビティ図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 選択ミス検出部の処理の一例を示すステートマシン図である。 概要情報選択部の処理の一例を示すアクティビティ図である。 概要情報選択部の処理の一例を示すアクティビティ図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 概要情報選択部の処理の一例を示すアクティビティ図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 情報処理システムの各構成要素の機能構成の一例を示す図である。 概要情報選択部の処理の一例を示すアクティビティ図である。 選択ミス検出部の処理の一例を示すアクティビティ図である。 概要情報選択部の処理の一例を示すアクティビティ図である。 選択ミス検出部の処理の一例の概要を説明する図である。

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、本実施形態の情報処理システム１のシステム構成の一例を示す図である。
情報処理システム１は、概要情報表示装置２と詳細情報表示装置３とを含む。概要情報表示装置２と詳細情報表示装置３とは、通信可能に接続されている。本実施形態では、概要情報表示装置２と詳細情報表示装置３とは、無線で通信可能に接続されているとするが、有線で接続されているとしてもよい。
概要情報表示装置２は、ユーザが視認している画像や現実風景に関する情報をユーザに提示する。概要情報表示装置２は、スマートグラス等のメガネ型の端末装置、ヘッドマウントディスプレイ（ＨＭＤ、頭部装着型ディスプレイ）等の頭部装着型の端末装置、スマートフォン、タブレット装置等の端末装置で構成される。また、概要情報表示装置２は、パーソナルコンピュータ（ＰＣ）、サーバ装置等により構成されることとしてもよい。本実施形態では、概要情報表示装置２は、ユーザに対して、ユーザが視認している画像や現実風景内のオブジェクト（例えば、建物等）や事象（例えば、天気等）についての名称等のそのオブジェクトや事象についての概要を示す情報を提示する。名称等のように、そのオブジェクトや事象についての概要を示す情報を、概要情報とする。即ち、概要情報表示装置２は、ユーザに対して、概要情報を提示する。また、概要情報は、例えば、監視カメラにより撮影された画像から人物が検出された場合の検出結果を示す情報等であってもよい。概要情報は、監視カメラにより撮影された画像から人物が検出された場合の検出結果を示す情報である場合、例えば、検出枠、人物名、人物ＩＤ等となる。

詳細情報表示装置３は、概要情報表示装置２により提示された概要情報に関する詳細な情報をユーザに提示する。あるオブジェクトや事象に関する詳細を示す情報を、詳細情報とする。即ち、詳細情報表示装置３は、詳細情報をユーザに提示する。詳細情報表示装置３は、スマートフォン、タブレット装置等の端末装置で構成される。しかし、詳細情報表示装置３は、パーソナルコンピュータ（ＰＣ）、サーバ装置等により構成されることとしてもよい。また、詳細情報表示装置３は、例えば、カーエンタテイメントシステムにおける車載ディスプレイ、多機能テレビ等であってもよい。
本実施形態では、情報処理システム１は、概要情報表示装置２を介してユーザに提示された概要情報に関する詳細情報を、詳細情報表示装置３を介して、ユーザに提示する。概要情報表示装置２、詳細情報表示装置３は、情報処理装置の一例である。

図２は、情報処理システム１の各構成要素のハードウェア構成の一例を示す図である。
図２（ａ）は、概要情報表示装置２のハードウェア構成の一例を示す図である。概要情報表示装置２は、ＣＰＵ１２１、主記憶装置１２２、補助記憶装置１２３、入力部１２４、表示部１２５、撮像部１２６、通信Ｉ／Ｆ１２７を含む。各要素は、システムバス１２８を介して、相互に接続されている。
ＣＰＵ１２１は、概要情報表示装置２を制御する中央演算装置である。主記憶装置１２２は、ＣＰＵ１２１のワークエリアや情報の一時的な記憶場所として機能するＲＡＭ等の記憶装置である。補助記憶装置１２３は、各種プログラム、各種設定情報、各種画像、各種提示情報の候補情報等を記憶するＲＯＭ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶装置である。

入力部１２４は、ユーザからの入力を受付けるハードボタン、ダイヤルデバイス、タッチパネル、キーボード、マウス、タッチペン等の入力装置である。表示部１２５は、情報を表示するディスプレイ、透過型ディスプレイ等の表示装置である。撮像部１２６は、カメラ等の撮像装置である。通信Ｉ／Ｆ１２７は、詳細情報表示装置３等の外部の装置との通信に利用されるインターフェースである。
また、撮像部１２６は、遠隔地に設置されたカメラ、録画映像を配信する録画装置等でもよい。この場合、撮像部１２６は、通信Ｉ／Ｆ１２７を介して、概要情報表示装置２の各要素と接続されることとなる。
ＣＰＵ１２１が、補助記憶装置１２３に記憶されるプログラムに基づき処理を実行することで、図３、６、８、１１、１３、１６、２１、２３、２６、２９、３３、３５、３６で後述する概要情報表示装置２の機能が実現される。また、ＣＰＵ１２１が、補助記憶装置１２３に記憶されるプログラムに基づき処理を実行することで、図７、１０、１５、２５、２７、２８、３１、３２、３４、３７、３８、３９で後述するアクティビティ図の処理等の概要情報表示装置２の処理が実現される。また、ＣＰＵ１２１が、補助記憶装置１２３に記憶されるプログラムに基づき処理を実行することで、図３０で後述するステートマシン図の処理も実現される。

図２（ｂ）は、詳細情報表示装置３のハードウェア構成の一例を示す図である。詳細情報表示装置３は、ＣＰＵ１３１、主記憶装置１３２、補助記憶装置１３３、入力部１３４、表示部１３５、撮像部１３６、通信Ｉ／Ｆ１３７を含む。各要素は、システムバス１３８を介して、相互に接続されている。
ＣＰＵ１３１は、詳細情報表示装置３を制御する中央演算装置である。主記憶装置１３２は、ＣＰＵ１３１のワークエリアや情報の一時的な記憶場所として機能するＲＡＭ等の記憶装置である。補助記憶装置１３３は、各種プログラム、各種設定情報、各種画像、各種提示情報の候補情報等を記憶するＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶装置である。

入力部１３４は、ユーザからの入力を受付けるハードボタン、ダイヤルデバイス、タッチパネル、キーボード、マウス、タッチペン等の入力装置である。表示部１３５は、情報を表示するタッチパネルの表示装置、ディスプレイ等の表示装置である。撮像部１３６は、カメラ等の撮像装置である。通信Ｉ／Ｆ１３７は、概要情報表示装置２、不図示のデータベース装置、インターネット上の情報処理装置等の外部の装置を通信先とした通信に利用されるインターフェースである。
ＣＰＵ１３１が、補助記憶装置１３３に記憶されるプログラムに基づき処理を実行することで、図３、６、８、１１、１３、１６、２１、２３、２６、２９、３３、３５、３６で後述する詳細情報表示装置３の機能が実現される。また、ＣＰＵ１３１が、補助記憶装置１３３に記憶されるプログラムに基づき処理を実行することで、図１９、２２、２４で後述するアクティビティ図の処理等の詳細情報表示装置３の処理が実現される。

図３は、情報処理システム１の各構成要素の機能構成の一例を示す図である。
概要情報表示装置２は、概要情報表示制御部２１、通信制御部Ａ２２、概要情報生成部２３を含む。概要情報表示制御部２１は、第１の表示制御手段の一例である。
概要情報表示制御部２１は、概要情報生成部２３により生成された概要情報を、表示部１２５に表示する。通信制御部Ａ２２は、詳細情報表示装置３等の外部の装置を通信先とした通信を行う。概要情報生成部２３は、表示部１２５に表示される画像や現実風景等のユーザの視認対象に基づいて、ユーザに提示する概要情報を生成する。本実施形態では、表示部１２５に表示される画像やユーザが視認する現実風景は、撮像部１２６を介して撮像される。そこで、本実施形態の概要情報生成部２３は、撮像部１２６を介して撮像された画像に基づいて、ユーザに提示する概要情報を生成する。

詳細情報表示装置３は、詳細情報表示制御部３１、通信制御部Ｂ３２、詳細情報検索部３３を含む。詳細情報表示制御部３１は、第２の表示制御手段の一例である。
詳細情報表示制御部３１は、詳細情報検索部３３により検索された詳細情報を、表示部１３５に表示する。通信制御部Ｂ３２は、概要情報表示装置２等の外部の装置との通信を行う。詳細情報検索部３３は、概要情報表示制御部２１により表示部１２５に表示された概要情報に基づいて、ユーザに提示する詳細情報を検索する。
概要情報表示装置２と詳細情報表示装置３とは、通信制御部Ａ２２と通信制御部Ｂ３２とにより、通信Ｉ／Ｆ１２７と通信Ｉ／Ｆ１３７とを介して、通信する。
概要情報生成部２３は、概要情報表示装置２に含まれるとしたが、詳細情報表示装置３に含まれるとしてもよい。また、詳細情報検索部３３は、詳細情報表示装置３に含まれるとしたが、概要情報表示装置２に含まれるとしてもよい。

図４は、情報処理システム１の処理の一例の概要を説明する図である。図４の例では、単一のユーザが、概要情報表示装置２と、詳細情報表示装置３と、を携帯しているものとする。
図４（ａ）の状況は、概要情報表示装置２がデジタルカメラ（以下では、デジタルカメラ２ａ）である場合の情報処理システム１の利用状況の一例である。図４（ａ）の例では、表示部１２５は、デジタルカメラ２ａの表示画面である。また、詳細情報表示装置３は、スマートフォンであり、表示部１３５は、スマートフォンである詳細情報表示装置３の画面である。
図４（ａ）の例における情報処理システム１のユーザ体験の一例を説明する。
デジタルカメラ２ａの撮像部１２６により撮像された画像は、表示部１２５に表示される。このとき、概要情報表示制御部２１は、この画像内に写っているオブジェクトや事象に関連した概要情報を、その画像に重畳して、表示部１２５に表示する。

図５は、図４（ａ）の例における表示部１２５に概要情報が重畳表示されている様子の一例を示す図である。図５（ａ）の例では、表示部１２５に表示されている画像には、エッフェル塔が写っている。概要情報表示制御部２１は、表示部１２５内の設定された位置に、概要情報である「エッフェル塔」というメッセージを、ノーティフィケーション２１１として、画像に重畳して、表示部１２５に表示する。
図５（ｂ）の例では、概要情報表示制御部２１は、画像内のエッフェル塔から、概要情報である吹き出し状の「エッフェル塔」といメッセージを、アノテーション２１２として、画像と重畳して表示する。
図５（ａ）、（ｂ）の何れの場合でも、詳細情報表示制御部３１は、表示部１２５に表示されている概要情報が示すオブジェクトである「エッフェル塔」の詳細情報を、スマートフォンである詳細情報表示装置の表示部１３５に表示する。本実施形態では、情報処理システム１は、概要情報表示装置２の表示部１２５に概要情報が、ノーティフィケーションとして表示されているか、アノテーションとして表示されているか、に関わらず、以下の処理を行う。即ち、情報処理システム１は、概要情報に関する詳細情報を詳細情報表示装置の表示部１３５に表示する。

図４（ｂ）の例における情報処理システム１のユーザ体験の一例を説明する。
図４（ｂ）の例では、概要情報表示装置２は、メガネ型端末装置（以下では、メガネ型端末装置２ｂ）であるとする。本実施形態では、メガネ型端末装置２ｂは、シースルー型ＨＭＤ（シースルー型頭部装着型ディスプレイ、以下では、ＨＭＤ）であるとする。ＨＭＤは、装着者の視界の上に画像情報を重畳表示する。ＨＭＤは、視界と重畳表示する画像の合成方法によって光学シースルー型と、ビデオシースルー型に分類できる。概要情報表示装置２は、何れのタイプのＨＭＤでもよい。
メガネ型端末装置２ｂを装着したユーザがエッフェル塔を視認できる場所まで来たとする。その際、概要情報表示制御部２１は、図５のように表示部１２５に「エッフェル塔」というメッセージを、概要情報として、現実風景に重畳して表示する。そして、スマートフォンである詳細情報表示装置３の詳細情報表示制御部３１は、表示部１３５に「エッフェル塔」に関する詳細情報を表示する。ユーザは、手元に持っているスマートフォンである詳細情報表示装置３の表示部１３５に表示されている「エッフェル塔」の詳細情報を視認できることとなる。
以上、本実施形態の情報処理システム１のユーザ体験の一例である。

以下では、図４、図５で説明したような機能を実現するための情報処理システム１の処理を説明する。
ユーザが携帯する概要情報表示装置２の撮像部１２６が、エッフェル塔を含む現実風景を撮像したとする。
概要情報生成部２３は、撮像部１２６により撮像された画像に基づいて、ユーザに提示する概要情報を生成する。本実施形態では、概要情報生成部２３は、撮像部１２６により撮像された画像から、異常検知や物体認識等の画像認識を行い、エッフェル塔を検出する。そして、概要情報生成部２３は、検出したエッフェル塔の名称を示すメッセージを、ノーティフィケーション、アノテーション２１２等として生成する。また、概要情報生成部２３は、例えば、ＧＰＳ等を介して取得された概要情報表示装置２の位置情報と、方位センサ等を介して取得された概要情報生成部２３の向きと、に基づいて、エッフェル塔が撮像されていることを検出してもよい。即ち、概要情報生成部２３は、取得された概要情報表示装置２の位置情報から、取得された向きを向くとエッフェル塔が撮像部１２６の撮像範囲に入るか否かに基づいて、エッフェル塔が撮像されていることを検出してもよい。

概要情報生成部２３は、概要情報として、図や文字列等のオブジェクト（例えば、「エッフェル塔」というテキストメッセージ、メッセージ画像等）を生成する。また、概要情報生成部２３は、アノテーションとして概要情報を生成する場合、概要情報の表示位置（例えば、表示部１２５における中心位置と吹き出しの始点位置等）を決定する。概要情報生成部２３は、例えば、撮像部１２６により撮像された画像から検出されたエッフェル塔の位置に吹き出しの始点位置がくるように、概要情報の表示位置を決定する。
また、概要情報生成部２３は、例えば、撮像部１２６により撮像された画像から複数のオブジェクトや事象を検出し、検出したオブジェクトや事象それぞれについての概要情報を生成してもよい。即ち、概要情報生成部２３は、複数の概要情報を生成してもよい。
概要情報表示制御部２１は、概要情報生成部２３により生成された概要情報を、表示部１２５に、ノーティフィケーションやアノテーション２１２等として、撮像部１２６により撮像された画像、又は現実風景と重畳して、表示する。

概要情報表示制御部２１は、例えば、表示部１２５が、デジタルカメラの画面やビデオシースルー型ＨＭＤの画面であれば、画面に表示された画像に概要情報の画像を合成した合成画像を生成し、それを表示部１２５に表示する。また、概要情報表示制御部２１は、概要情報表示制御部２１が、光学シースルー型ＨＭＤの画面であれば、概要情報画像のみを表示デバイスに表示することにより、概要情報の画像を、光学的に現実風景に重畳して表示する。
このように、概要情報表示制御部２１は、ユーザの視認する現実風景、撮像部１２６により撮像された画像等に対して重畳するように、概要情報を表示部１２５に表示する。
概要情報生成部２３は、生成した概要情報を、通信制御部Ａ２２及び通信制御部Ｂ３２を介して、詳細情報表示装置３の詳細情報検索部３３に送信する。
このように、通信制御部Ａ２２と通信制御部Ｂ３２とは、概要情報表示装置２と詳細情報表示装置３との間で情報の受け渡しを制御する。通信制御部Ａ２２と通信制御部Ｂ３２とは、任意の通信方式、プロトコルで通信可能である。

詳細情報検索部３３では、概要情報表示装置２から受信した概要情報に基づいて、受信した概要情報に関する詳細情報を検索する。例えば、補助記憶装置１３３が、各種概要情報の候補となる情報に関する詳細情報の一覧を予め記憶していることとする。その場合、詳細情報検索部３３は、補助記憶装置１３３に記憶されている詳細情報の一覧の情報から、受信した概要情報に対応する詳細情報を検索する。
また、詳細情報検索部３３は、例えば、各種概要情報の候補となる情報に関する詳細情報を記憶するＫｅｙ－Ｖａｌｕｅ型のデータベースから、受信した概要情報に関する詳細情報を検索することとしてもよい。また、詳細情報検索部３３は、インターネットを介して、検索用のＷｅｂサービス、アプリケーション等を用いることで、受信した概要情報に関する詳細情報を検索してもよい。
詳細情報検索部３３は、検索した詳細情報を、詳細情報表示制御部３１に送信する。そして、詳細情報表示制御部３１は、受信した詳細情報を、表示部１３５に表示する。

以上、本実施形態では、概要情報表示装置２は、撮像部１２６により撮像された画像やユーザの視界の現実風景等のユーザの視認対象に基づいて、ユーザに提示する概要情報を生成し、生成した概要情報を、表示部１２５に表示することでユーザに提示した。そして、詳細情報表示装置３は、概要情報表示装置２に表示された概要情報に基づいて、その概要情報に関する詳細情報を決定し、決定した詳細情報を表示部１３５に表示することでユーザに提示した。
これにより、情報処理システム１は、概要情報と詳細情報とを別々の装置に表示することで、概要情報と詳細情報とを別々の画面で視認可能とすることで、概要情報、詳細情報の視認性を向上させることができる。また、情報処理システム１は、画像や現実風景からオブジェクトや事象を検出して、検出したオブジェクトや事象についての概要情報を生成するため、予め定められたオブジェクトや事象以外のオブジェクトや事象についての情報をユーザに提示できる。これにより、情報処理システム１は、ユーザの利便性を向上できる。
また、概要情報の表示と、詳細情報の閲覧や関連する操作と、を異なる装置で行うようにすることで、各々の目的に沿ったシステムを作りやすくなる。そのため、概要情報の視認と、詳細情報の閲覧や関連する操作と、が行いやすいシステムを作りやすい。

＜実施形態２＞
本実施形態では、情報処理システム１は、ユーザによる表示部１３５に表示されている詳細情報の注視動作を検知し、検知できた場合、表示部１２５への概要情報の表示を抑制する。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。

図６は、本実施形態の情報処理システム１の各構成要素の機能構成の一例である。
図６の機能構成は、実施形態１と比べて、概要情報表示装置２が、詳細情報注視検知部２４、表示情報制御部２５を更に含む点で異なる。詳細情報注視検知部２４は、第２の検知手段の一例である。
詳細情報注視検知部２４は、ユーザが表示部１３５に表示された詳細情報を注視しているか否かを判定することで、ユーザによる詳細情報の注視動作を検知する検知処理を行う。詳細情報注視検知部２４によりユーザによる詳細情報の注視が検知された場合、表示情報制御部２５は、概要情報生成部２３により生成された概要情報の概要情報表示制御部２１への送信を全てブロックする。これにより、概要情報表示制御部２１は、概要情報生成部２３により生成された概要情報の表示部１２５への表示を禁止することとなる。

図７は、表示情報制御部２５の処理の一例を示すアクティビティ図である。
Ｓ５１において、表示情報制御部２５は、概要情報生成部２３から、概要情報生成部２３により生成された概要情報を受信する。
Ｓ５２において、表示情報制御部２５は、詳細情報注視検知部２４によりユーザによる詳細情報の注視が検知されたか否かを判定する。表示情報制御部２５は、詳細情報注視検知部２４から、ユーザによる詳細情報の注視が検知されたか否かを示す詳細情報注視中情報を受信する。そして、表示情報制御部２５は、受信した詳細情報注視中情報に基づいて、詳細情報注視検知部２４によりユーザによる詳細情報の注視が検知されたか否かを判定する。
表示情報制御部２５は、詳細情報注視検知部２４によりユーザによる詳細情報の注視が検知されたと判定した場合、Ｓ５１で受信した概要情報を概要情報表示制御部２１に送信することなく、図７の処理を終了する。これにより、表示情報制御部２５は、Ｓ５１で受信した概要情報について、表示部１２５への表示を禁止する。
また、表示情報制御部２５は、詳細情報注視検知部２４によりユーザによる詳細情報の注視が検知されていないと判定した場合、Ｓ５３の処理に進む。

Ｓ５３において、表示情報制御部２５は、Ｓ５１で受信した概要情報を、概要情報表示制御部２１に送信する。そして、概要情報表示制御部２１は、受信した概要情報を表示部１２５に、表示部１２５に表示されている画像や現実風景と重畳して表示する。
以上、図７の処理により、情報処理システム１は、ユーザが詳細情報を注視している場合には、概要情報の重畳表示を抑制することができる。これにより、情報処理システム１は、表示部１３５に表示された詳細情報の閲覧の妨害になりうる表示部１２５に表示された概要情報の表示を抑制することで、詳細情報の視認性を向上させることができるという効果を奏する。特に、概要情報表示装置２がＨＭＤである場合、上記の効果が大きい。

詳細情報注視検知部２４は、ユーザが詳細情報表示制御部３１に表示された詳細情報を注視しているか否かを判定するが、その判定方法の一例を、図８を用いて説明する。
図８は、情報処理システム１の各構成要素の機能構成の一例を示す図である。図８の機能構成は、図６の機能構成と比べて、概要情報表示装置２が、姿勢検出部２６を更に含む点で異なる。
姿勢検出部２６は、概要情報表示装置２の姿勢を検出する。姿勢検出部２６は、検出する姿勢情報を、例えば、ピッチング方向の傾斜角や、３軸の加速度等の形式で出力する。
姿勢検出部２６は、例えば、概要情報表示装置２の傾斜センサや３軸加速度センサ等を用いて、傾斜角や３軸の加速度を検出する。
図８の例では、概要情報表示装置２がＨＭＤであり、姿勢検出部２６が傾斜センサを用いて姿勢情報を検知するとする。

図９は、概要情報表示装置２の姿勢の検出処理の一例を説明する図である。図９の状況は、ＨＭＤである概要情報表示装置２を横から見た状況を示す。図９の例では、概要情報表示装置２を装着したユーザは、図９における右方向を見ている。図９の概要情報表示装置２から出ている矢印は、ユーザの正視の向きを示す。
水平方向を０（ｄｅｇ）（０（ｒａｄ））、鉛直方向真上向きを＋９０（ｄｅｇ）（＋π／２（ｒａｄ））、鉛直方向真下向きを－９０（ｄｅｇ）（－π／２（ｒａｄ））とする。そして、姿勢検出部２６は、概要情報表示装置の姿勢情報を、ユーザの正視方向の鉛直方向における傾きを検出する。図９の例では、下向きであるので、αはマイナスの値となる。
ここで、姿勢検出部２６により検出される角度αと、ユーザが詳細情報を注視しているか否かと、の関係を説明する。
ユーザが詳細情報表示装置３の詳細情報表示制御部３１を注視している状況は、角度αが設定された角度θ（＜０）よりも小さい場合であると仮定する。
α＜θ （式１）
この場合の、詳細情報注視検知部２４の処理の一例を、図１０を用いて説明する。

図１０は、詳細情報注視検知部２４の処理の一例を示すアクティビティ図である。
Ｓ８１において、詳細情報注視検知部２４は、姿勢検出部２６から、姿勢検出部２６により検出された概要情報表示装置２の姿勢の情報（傾き角度α）を受信する。
Ｓ８２において、詳細情報注視検知部２４は、Ｓ８１で受信した角度αが設定された角度θよりも小さいか否かを判定する。即ち、詳細情報注視検知部２４は、Ｓ８１で受信した角度αが式１を満たすか否かを判定する。詳細情報注視検知部２４は、Ｓ８１で受信した角度αが設定された角度θよりも小さいと判定した場合、Ｓ８３の処理に進む。また、詳細情報注視検知部２４は、Ｓ８１で受信した角度αが設定された角度θ以上であると判定した場合、Ｓ８４の処理に進む。
Ｓ８３において、詳細情報注視検知部２４は、ユーザが表示部１３５に表示された詳細情報を注視しているとして、ユーザによる詳細情報の注視動作を検知したとする。
Ｓ８４において、詳細情報注視検知部２４は、ユーザが表示部１３５に表示された詳細情報を注視していないとして、ユーザによる詳細情報の注視動作を検知していないとする。
Ｓ８５において、詳細情報注視検知部２４は、Ｓ８３またはステップＳ８４の処理の結果を、ユーザによる詳細情報の注視動作を検知したか否かを示す情報である詳細情報注視中情報として、表示情報制御部２５に送信する。

以上、本実施形態では、姿勢検出部２６が詳細情報を注視している状況を推定できる姿勢情報を検出し、その姿勢情報から、概要情報表示装置２のユーザが表示部１３５に表示されている詳細情報を注視しているか否かを判定することとした。
スマートフォン等を注視する場合、そのスマートフォン等のユーザの視線は、自然と下向きになる。そのため、以上の処理により、概要情報表示装置２のユーザがスマートフォン等である詳細情報表示装置３の表示部１３５に表示された詳細情報を注視した場合、情報処理システム１は、詳細情報の閲覧に邪魔となる概要情報の重畳表示を抑制することができる。
姿勢検出部２６は、概要情報表示装置２の傾斜センサを用いて、概要情報表示装置２の姿勢を検出したが、概要情報表示装置２の３軸加速度センサ等の他のセンサ等を用いて、姿勢を検出してもよい。

＜実施形態３＞
実施形態２では、情報処理システム１は、概要情報表示装置２の姿勢を検出し、検出した姿勢に基づいて、ユーザによる詳細情報の注視動作を検知した。本実施形態では、情報処理システム１は、詳細情報表示装置３の姿勢を検出し、検出した姿勢に基づいて、ユーザによる詳細情報の注視動作を検知する。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。

図１１は、本実施形態の情報処理システムの各構成要素の機能構成の一例を示す図である。図８では、詳細情報注視検知部２４、姿勢検出部２６は、概要情報表示装置２に含まれることとした。図１１の例では、詳細情報注視検知部２４、姿勢検出部２６は、詳細情報表示装置３に含まれることとする。本実施形態の姿勢検出部２６は、概要情報表示装置２の姿勢でなく、詳細情報表示装置３の姿勢を検出する。詳細情報注視検知部２４は、概要情報表示装置２に含まれることとしてもよい。
本実施形態では、詳細情報表示装置３は、スマートフォンであるとする。姿勢検出部２６は、詳細情報表示装置３の表示部１３５の法線と鉛直軸のなす角度を、詳細情報表示装置３の姿勢情報として検出する。検出される角度は、表示部１３５が鉛直方向真上向きに向いているときに０（ｄｅｇ）（０（ｒａｄ））、表示部１３５がユーザに対して手前に傾いているときにプラスの値、ユーザに対して向こう側に傾いているときにマイナスの値となる。姿勢検出部２６は、詳細情報表示装置３の傾斜センサや３軸加速度センサ等を介して、詳細情報表示装置３の姿勢情報を取得する。
姿勢検出部２６により検出される角度と、概要情報表示装置２のユーザが詳細情報を注視しているか否かと、の関係を、図１２を用いて説明する。

図１２は、詳細情報表示装置の姿勢の検出処理の一例を説明する図である。図１２の状況は、スマートフォンである詳細情報表示装置３を横から見た状況を示す。表示部１３５が鉛直方向の上方にある。図１２の例では、ユーザは、画面の左側に存在し、詳細情報表示装置３は、表示部１３５がユーザに対して手前方向に傾くような姿勢となっている。また、図１２の表示部１３５から出ている矢印は、表示部１３５の法線を示す。表示部１３５の法線と鉛直軸とのなす角度を、αとする。
ユーザが詳細情報表示装置３の詳細情報表示制御部３１を注視している状況は、角度αが以下の式２を満たしている場合であると仮定する。
θ―γ＜α＜θ＋γ （式２）
式２におけるθ（＞０）及びγ（＞０）は、予め設定された値である。θ及びγは、ユーザの閲覧姿勢からの生体負担が少なくなるよう、生体力学手法により求められる。また、θ及びγは、官能評価等で実験的に求めることもできる値であり、例えばθ＝４０［ｄｅｇ］、γ＝１５［ｄｅｇ］となる。

この場合の詳細情報注視検知部２４の処理を、図１０を用いて説明する。実施形態２と比べて、図１０のＳ８２の処理が異なる。
Ｓ８２において、詳細情報注視検知部２４は、Ｓ８１で受信した角度αが式２を満たすか否かを判定する。詳細情報注視検知部２４は、Ｓ８１で受信した角度αが式２を満たすと判定した場合、Ｓ８３の処理に進む。また、詳細情報注視検知部２４は、Ｓ８１で受信した角度αが式２を満たさないと判定した場合、Ｓ８４の処理に進む。

以上、本実施形態では、姿勢検出部２６が、ユーザが詳細情報を注視している場合の詳細情報表示装置３の姿勢情報を検出し、検出した姿勢情報から、ユーザが詳細情報を注視しているか否かを判定した。
ユーザがスマートフォン等を注視する場合、スマートフォン等の画面は自然とユーザの側に傾く。そのため、以上の処理により、情報処理システムは、ユーザによるスマートフォンである詳細情報表示装置３の注視により、詳細情報の閲覧に邪魔となる概要情報の表示を抑制することができる。これにより、情報処理システムは、詳細情報の視認性を向上させることができる。
本実施形態では、スマートフォンを注視している状況を、式２を満たす状況であると仮定した。しかし、例えば、スマートフォンを注視している状況を、詳細情報表示装置３の３軸加速度センサの軸毎の出力値が、設定された範囲内にある状況であると仮定してもよい。

＜実施形態４＞
実施形態２、３では、情報処理システム１は、概要情報表示装置２又は詳細情報表示装置３の姿勢情報を用いて、ユーザによる詳細情報の注視動作を検知した。本実施形態では、情報処理システム１は、概要情報表示装置２と詳細情報表示装置３の相対的な位置関係に基づいて、ユーザによる詳細情報の注視動作を検知する。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。

図１３は、本実施形態の情報処理システム１の各構成要素の機能構成の一例を示す図である。図１３の例では、概要情報表示装置２は、図６の場合と比べて、更に、詳細情報表示部撮像制御部２７、及び、詳細情報表示認識部２８を含む。
本実施形態では、詳細情報表示制御部３１は、表示部１３５に詳細情報を表示するが、併せて、標識３１２も表示部１３５に表示する。この様子を図１４に示す。図１４の例では、標識３１２は、「詳細情報」というメッセージと、２次元コードと、である。また、標識３１２は、詳細情報表示認識部２８により認識可能なものであれば、任意のものでよく、例えば、文字列、図案、点滅する文字列や図案、動画等でもよく、必ずしもユーザが認識できるものでなくてもよい。標識３１２は、例えば、印刷媒体に用いられる電子透かしや、可視領域外の波長の標識等であってもよい。

撮像部１２６は、ユーザが表示部１３５に表示された詳細情報を注視している場合に、表示部１３５が撮像できるように配置される。本実施形態の撮像部１２６は、例えば、ＨＭＤである概要情報表示装置２が有するユーザの視界を撮像するカメラ等である。
詳細情報表示部撮像制御部２７は、撮像部１２６を介して撮像した画像を、詳細情報表示認識部２８に送信する。
詳細情報表示認識部２８は、詳細情報表示部撮像制御部２７により撮像された画像から、標識３１２を検出する。概要情報表示装置２と詳細情報表示装置３とが、撮像部１２６により表示部１３５が撮像できるような位置関係である場合、詳細情報表示部撮像制御部２７により撮像された画像から、標識３１２が検出されることとなる。そして、詳細情報表示認識部２８は、検出結果を、詳細情報表示認識情報として詳細情報注視検知部２４に送信する。

図１５は、本実施形態の詳細情報注視検知部２４の処理の一例を示すアクティビティ図である。図１５の処理は、図８と比べて、Ｓ８１の処理の代わりにＳ８６の処理があり、Ｓ８２の処理の代わりにＳ８７の処理がある点で異なる。
Ｓ８６において、詳細情報注視検知部２４は、詳細情報表示認識部２８から、標識３１２の検出処理の結果を示す詳細情報表示認識情報を受信する。
Ｓ８７において、詳細情報注視検知部２４は、Ｓ８６で受信した詳細情報表示認識情報に基づいて、詳細情報表示部撮像制御部２７により撮像された画像中に標識３１２が存在するか否かを判定する。詳細情報注視検知部２４は、詳細情報表示部撮像制御部２７により撮像された画像中に標識３１２が存在すると判定した場合、Ｓ８３の処理に進む。また、詳細情報注視検知部２４は、詳細情報表示部撮像制御部２７により撮像された画像中に標識３１２が存在しないと判定した場合、Ｓ８４の処理に進む。

以上、本実施形態では、情報処理システムは、概要情報表示装置２の撮像部１２６により撮像された画像中に詳細情報を表示する表示部１３５が存在するか否かに基づいて、ユーザが詳細情報を注視しているか否かを判定した。
スマートフォン等を注視する場合、ユーザの視界の中にはスマートフォンの画面が写る。そのため、以上の処理により、情報処理システム１は、ユーザによるスマートフォンを注視するという自然な行動により、詳細情報の閲覧に邪魔となる概要情報の表示を抑制することができる。これにより、情報処理システム１は、詳細情報の視認性を向上させることができる。
本実施形態では、詳細情報表示認識部２８は、標識３１２を認識することで、画像中に表示部１３５が存在するか否かを判定した。しかし、例えば詳細情報表示制御部３１が標識３１２を表示しない場合でも、詳細情報表示認識部２８は、表示部１３５そのものを認識することで、画像中に表示部１３５が存在するか否かを判定してもよい。
詳細情報表示認識部２８は、例えば、詳細情報表示装置３の表示部１３５周辺のボタンやデザイン等を認識することで、表示部１３５を認識できる。

＜実施形態５＞
実施形態４では、情報処理システム１は、撮像部１２６により表示部１３５が撮像されたか否かに基づいて、ユーザによる詳細情報の注視動作を検知した。本実施形態では、情報処理システム１は、撮像部１３６により概要情報表示装置２が撮像されたか否かに基づいて、ユーザによる詳細情報の注視動作を検知する。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。

図１６は、情報処理システム１の各構成要素の機能構成の一例を示す図である。図１６の例は、図１３と比べて、詳細情報注視検知部２４が、概要情報表示装置２ではなく、詳細情報表示装置３に含まれる点で異なる。また、概要情報表示装置２に、詳細情報表示部撮像制御部２７、詳細情報表示認識部２８が含まれない代わりに、詳細情報表示装置３に、概要情報表示装置撮像制御部３４、概要情報表示装置認識部３５が含まれる。概要情報表示装置認識部３５は、概要情報表示装置２に含まれることとしてもよい。
概要情報表示装置撮像制御部３４は、撮像部１３６を介して、概要情報表示装置２を撮像する。
撮像部１３６は、ユーザが表示部１３５に表示された詳細情報を注視している場合に、ユーザが装着する概要情報表示装置２を撮像できるように配置されている。本実施形態の撮像部１３６は、詳細情報表示装置３の表示部１３５側に設けられたカメラである。また、本実施形態では、ユーザは、ＨＭＤである概要情報表示装置２を装着している。この場合にユーザが「詳細情報を注視している」様子を図１７に示す。

図１７は、本実施形態の情報処理システム１の利用態様の一例を示す図である。図１７において、ユーザが詳細情報を注視している場合、撮像部１３６を介して撮像される画像は、例えば、図１８に示すような画像となる。そこで、本実施形態では、情報処理システム１は、撮像部１３６により撮像された画像から概要情報表示装置２を認識することで、ユーザが詳細情報を注視しているか否かを判定する。
概要情報表示装置撮像制御部３４は、撮像部１３６を介して撮像した画像を、概要情報表示装置認識部３５に送信する。概要情報表示装置認識部３５は、送信された画像から、概要情報表示装置２を検出する。概要情報表示装置２と詳細情報表示装置３とが、撮像部１３６により概要情報表示装置２が撮像できるような位置関係である場合、概要情報表示装置撮像制御部３４により撮像された画像から、概要情報表示装置２が検出されることとなる。概要情報表示装置認識部３５は、行った検出処理の結果を、概要情報表示装置２が検出されたか否かを示す概要情報表示装置認識情報として詳細情報注視検知部２４に送信する。

図１９は、詳細情報注視検知部２４の処理の一例を示すアクティビティ図である。図１９の処理は、図１５と比べて、Ｓ８６の処理の代わりにＳ８６１の処理があり、Ｓ８７の処理の代わりにＳ８７１がある点で異なる。
Ｓ８６１において、詳細情報注視検知部２４は、概要情報表示装置認識部３５から概要情報表示装置認識情報を受信する。
Ｓ８７１において、詳細情報注視検知部２４は、Ｓ８６１で受信した概要情報表示装置認識情報に基づいて、撮像部１３６により撮像された画像中に概要情報表示装置２が存在するか否かを判定する。詳細情報注視検知部２４は、撮像部１３６により撮像された画像中に概要情報表示装置２が存在すると判定した場合、Ｓ８３の処理に進む。詳細情報注視検知部２４は、撮像部１３６により撮像された画像中に概要情報表示装置２が存在しないと判定した場合、Ｓ８４の処理に進む。

以上、本実施形態では、情報処理システム１は、詳細情報表示装置３の撮像部１３６により撮像された画像中に概要情報表示装置２が存在するか否かに基づいて、ユーザが詳細情報を注視しているか否かを判定した。
図１７のような状況で、ユーザが詳細情報表示装置３を注視する場合、詳細情報表示装置３の撮像部１３６により撮像された画像には、概要情報表示装置２が写る。そのため、以上の処理により、情報処理システム１は、ユーザがスマートフォンを注視するという自然な行動により、詳細情報の閲覧に邪魔となる概要情報の重畳表示を抑制することができる。これにより、情報処理システムは、詳細情報の視認性を向上させることができる。
本実施形態では、情報処理システム１は、ユーザが詳細情報を注視しているか否かを判定するのに、概要情報表示装置撮像制御部３４が撮像した画像中に概要情報表示装置２が写っているか否かの情報を用いた。しかし、情報処理システム１は、更に、詳細な情報を用いてもよい。例えば、情報処理システム１は、概要情報表示装置２上の複数の点（部位）の、画像中での座標を用いてもよい。情報処理システム１は、これらの各点がそれぞれ設定された座標範囲内にあるか否かに基づいて、概要情報表示装置２と詳細情報表示装置３との相対的な位置関係をより厳密にチェックすることができる。

＜実施形態６＞
実施形態５では、情報処理システム１は、撮像部１３６により概要情報表示装置２が撮影されたか否かに基づいて、ユーザによる詳細情報の注視動作を検知した。本実施形態では、情報処理システム１は、撮像部１３６によりユーザの顔が撮影されたか否かに基づいて、ユーザによる詳細情報の注視動作を検知する。即ち、情報処理システム１は、ユーザの顔と詳細情報表示装置３との相対的な位置関係に基づいて、ユーザによる詳細情報の注視動作を検知する。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。

概要情報表示装置２がＨＭＤでない場合等では、ユーザは、必ずしも概要情報表示装置２を装着しているわけではない。図４（ａ）に示すように、概要情報表示装置２がデジタルカメラである場合等もある。このような場合、撮像部１３６を介して撮像される画像は、例えば、図２０のようになる。
そこで、本実施形態では、情報処理システム１は、ユーザが詳細情報を注視しているか否かを、撮像部１３６を介して撮像された画像内にユーザの顔４が存在するか否かに基づいて、判定する。

図２１は、本実施形態の情報処理システム１の各構成要素の機能構成の一例を示す図である。図２１の機能構成は、図１６と比べて、詳細情報表示装置３が、概要情報表示装置撮像制御部３４の代わりに顔撮像制御部３４１を含み、概要情報表示装置認識部３５の代わりに顔認識部３５１を含む点で異なる。
顔撮像制御部３４１は、撮像部１３６を介して、画像を撮像し、撮像した画像を、顔認識部３５１に送信する。撮像部１３６は、ユーザが表示部１３５に表示された詳細情報を注視している場合に、ユーザの顔４を撮像できるように配置されている。撮像部１３６は、詳細情報表示装置３の表示部１３５側に設けられたカメラである。
顔認識部３５１は、顔撮像制御部３４１により撮像された画像からユーザの顔４を検出する。撮像部１３６により顔４が撮像できるような位置関係である場合、顔撮像制御部３４１により撮像された画像から、顔４が検出されることとなる。顔認識部３５１は、行った検出処理の結果を、顔４が検出されたか否かを示す顔認識情報として、詳細情報注視検知部２４に送信する。

図２２は、詳細情報注視検知部２４の処理の一例を示すアクティビティ図である。図２４の処理は、図１９と比べて、Ｓ８６１の代わりにＳ８６２の処理があり、Ｓ８７１の処理の代わりにＳ８７２の処理がある点で異なる。
Ｓ８６２において、詳細情報注視検知部２４は、顔認識部３５１から顔認識情報を受信する。
Ｓ８７２において、詳細情報注視検知部２４は、Ｓ８６２で受信した顔認識情報に基づいて、顔撮像制御部３４１により撮像された画像中に顔４が存在するか否かを判定する。詳細情報注視検知部２４は、顔撮像制御部３４１により撮像された画像中に顔４が存在すると判定した場合、Ｓ８３の処理に進み、顔撮像制御部３４１により撮像された画像中に顔４が存在しないと判定した場合、Ｓ８４の処理に進む。

以上、本実施形態では、情報処理システム１は、撮像部１３６によりユーザの顔が撮影されたか否かに基づいて、ユーザによる詳細情報の注視動作を検知することとした。
図１７のような状況で、詳細情報表示装置３を注視する場合、詳細情報表示装置３の撮像部１３６を介して撮像された画像には、ユーザの顔４が写る。そのため、以上の処理により、情報処理システム１は、ユーザがスマートフォンを注視するという自然な行動により、詳細情報の閲覧に邪魔となる概要情報の重畳表示を抑制することができる。これにより、情報処理システムは、詳細情報の視認性を向上させることができる。
本実施形態では、顔認識部３５１は、ユーザの顔４を認識するとしたが、必ずしも顔４でなくてもよく、目、鼻、口等の顔４を構成する器官を認識してもよい。

本実施形態では、情報処理システム１は、ユーザが詳細情報を注視しているか否かを判定するのに、撮像部１３６を介して撮像された画像中に顔４が写っているか否かの情報を用いたが、更に詳細な情報を用いてもよい。情報処理システム１は、例えば、撮像部１３６により撮像された画像におけるユーザの顔４の大きさや向きといった情報を用いて、ユーザが詳細情報を注視しているか否かを判定してもよい。
情報処理システム１は、画像中の顔の大きさや向きの情報を直接的に推定してもよいが、例えば、顔４上の複数の点（部位）の、画像中での座標を用いて、推定してもよい。情報処理システム１は、各点がそれぞれ設定された座標範囲内にあるか否かに基づいて、顔４と詳細情報表示装置３との相対位置姿勢をより厳密にチェックすることができる。
情報処理システム１は、更に、画像中に写っている顔４から推定されるユーザの視線方向を用いて、ユーザが詳細情報を注視しているか否かを判定してもよい。情報処理システム１は、例えば、顔４上の「目」という器官を認識した上で、「目」中の虹彩や瞳孔の位置からユーザの視線方向を推定することができる。情報処理システム１は、推定した視線方向が表示部１３５に向かっていると判定した場合、ユーザが詳細情報を注視していると判定できる。

＜実施形態７＞
本実施形態では、情報処理システム１は、詳細情報表示装置３に対して行われる操作を検出することで、ユーザによる詳細情報の注視動作を検知する。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。

ユーザが表示部１３５を介して見る詳細情報は、詳細情報表示制御部３１が出力している詳細情報である。しかし、表示部１３５の物理的な大きさは限られているため、詳細情報の一部しか表示できないことがある。このような場合、ユーザは、入力部１３４を介した表示部１３５に表示された詳細情報への操作を行うことで、表示部１３５に表示される画面をスクロールさせることがある。また、複数の詳細情報が表示部１３５に表示されている場合、ユーザが、画面を見ながら表示させる詳細情報を一つ選択したいと望む場合がある。
入力部１３４へのユーザの操作に即座に反応を返すような操作方式を、対話操作（対話型操作、双方向操作、双方向型操作、インタラクティブ操作）とする。
情報処理システム１が表示部１３５に表示された詳細情報を介して、ユーザへの対話操作を行っている場合、ユーザが詳細情報を注視している、と仮定することができる。そこで、本実施形態では、情報処理システム１は、表示部１３５に表示された詳細情報への操作を検知して、検知できた場合、ユーザが詳細情報を注視していると判定する。

図２３は、本実施形態の情報処理システム１の各構成要素の機能構成の一例を示す図である。図２３の機能構成は、図６と比べて、詳細情報表示装置３が詳細情報操作制御部３６を更に含む点で異なる。
詳細情報操作制御部３６は、入力部１３４を介して、ユーザへの対話操作を行う。
詳細情報操作制御部３６は、ユーザによる入力部１３４を介した操作（例えば、ハードボタンの押下、タッチパネルへのジェスチャ操作等）のユーザによる操作を検知する。
詳細情報操作制御部３６は、入力部１３４を介して、受け付けた操作に応じた操作情報を、詳細情報検索部３３に送信する。操作情報とは、何らかの操作が行われた際に、続く処理が開始されるトリガとなる情報である。操作情報は、操作に応じて、呼び出されるものである。詳細情報検索部３３は、送信された操作情報に基づいて、ユーザが操作中か否かを推定する。以下では、この処理の流れを、図２４を用いて説明する。

図２４は、操作中推定処理の一例を示すアクティビティ図である。本実施形態では、図２４の処理は、詳細情報検索部３３により実行されるとするが、詳細情報操作制御部３６等の他の要素により実行されるとしてもよい。詳細情報検索部３３は、図２４の処理を実行後、処理の結果を詳細情報注視検知部２４に送信する。
図２４（ａ）の処理は、「操作中」であると推定する処理の一例である。図２４（ｂ）の処理は、「操作中ではない」と推定する処理の一例である。
本実施形態では、ユーザが操作を行った際に、詳細情報検索部３３は、図２４（ａ）の処理を行い、ユーザによる「操作中」であることを、詳細情報注視検知部２４に通知する。そして、ユーザによる一連の操作が完了した際に、詳細情報検索部３３は、図２４（ｂ）の処理を行い、「非操作中」であることを、詳細情報注視検知部２４に通知することとなる。

図２４（ａ）の処理について説明する。
Ｓ２２１において、詳細情報検索部３３は、詳細情報操作制御部３６から、詳細情報操作制御部３６により受付けられた入力部１３４を介したユーザによる操作に応じた操作情報を受付ける。詳細情報検索部３３は、Ｓ２２１では、予め設定された操作のみに対応する操作情報を受信することとしてもよい。詳細情報検索部３３は、例えば、タッチパネルである入力部１３４への「タップ」操作、「スワイプ」操作に応じた操作情報のみを受信することとして、「スワイプ」操作や「フリック」操作等の他の操作に応じた操作情報を受信しないこととしてもよい。
Ｓ２２２において、詳細情報検索部３３は、現在の状況を、ユーザによる入力部１３４を介した操作中であると推定する。
Ｓ２２３において、詳細情報検索部３３は、「操作中」である旨を示す情報を、操作中か否かを示す操作中情報として詳細情報注視検知部２４に送信する。

図２４（ｂ）の処理について説明する。
ユーザが操作中である期間とは、個々の操作を行った瞬間のみではなく、一連の操作を行っている間や、操作の結果を確認する時間も含むものと仮定する。そこで、本実施形態では、一連の操作を行った後、設定された時間Ｔ経過するまでに続く操作が行われなかった場合、操作中の期間が終了するものとする。即ち、ある操作が行われた後、時間Ｔの経過前に次の操作が行われた場合は、操作中の期間が継続していることとなる。
Ｓ２２４において、詳細情報検索部３３は、Ｓ２２１と同様に詳細情報操作制御部３６から、操作情報を受信する。
Ｓ２２５において、詳細情報検索部３３は、Ｓ２２４で最後に受信された操作情報を受信した時刻から設定された時間Ｔの経過を待機する。詳細情報検索部３３は、Ｓ２２４で最後に受信された操作情報を受信した時刻から設定された時間Ｔが経過するまで、新たな操作情報を受信することなく、待機した場合、Ｓ２２６の処理に進む。また、詳細情報検索部３３は、待機中に、新たな操作情報を、詳細情報操作制御部３６から受信した場合、受信した時刻から時間Ｔの待機を開始する。即ち、詳細情報検索部３３は、Ｓ２２５の処理を最初からやり直すことになる。

Ｓ２２６において、詳細情報検索部３３は、現在の状況がユーザによる操作が行われていない「非操作中」であると推定する。
Ｓ２２７において、詳細情報検索部３３は、現在の状況が「非操作中」であることを示す情報を、操作中情報として詳細情報注視検知部２４に送信する。
以上、図２４（ａ）の処理により、詳細情報検索部３３は、ユーザによる表示部１３５、入力部１３４を介した操作が行われるたびに「操作中」である旨の操作中情報を、詳細情報注視検知部２４に送信する。また、図２４（ｂ）の処理により、詳細情報検索部３３は、一連の操作が終了した際には、「非操作中」である旨の操作中情報を、詳細情報注視検知部２４に送信する。

図２５は、本実施形態の詳細情報注視検知部２４の処理の一例を示すアクティビティ図である。図２５の処理は、図１０と比べて、Ｓ８１の処理の代わりにＳ８８の処理があり、Ｓ８２の処理の代わりにＳ８９の処理がある点で異なる。
Ｓ８８において、詳細情報注視検知部２４は、詳細情報検索部３３から操作中情報を受信する。
Ｓ８９において、詳細情報注視検知部２４は、Ｓ８８で受信した操作中情報に基づいて、ユーザが操作中か否かを判定する。詳細情報注視検知部２４は、ユーザが操作中であると判定した場合、Ｓ８３の処理に進み、ユーザが操作中でないと判定した場合、Ｓ８４の処理に進む。

以上、本実施形態では、情報処理システム１は、詳細情報表示装置３に対して行われるユーザによる操作を検出することで、ユーザによる詳細情報の注視動作を検知することとした。
以上の処理により、情報処理システム１は、ユーザによる詳細情報表示装置の操作という自然な行動により、詳細情報の閲覧や関連する操作を行う際に邪魔となる概要情報の表示部１２５への表示を抑制できる。これにより、情報処理システム１は、詳細情報の視認性を向上させることができる。

＜実施形態８＞
実施形態１～７では、概要情報生成部２３は、生成した概要情報をそのまま、詳細情報検索部３３に送信することとした。詳細情報検索部３３は、複数の概要情報が送信された場合、詳細情報を検索する対象となる概要情報を選択する必要が生じる。そこで、本実施形態では、情報処理システム１は、複数の概要情報から、詳細情報を検索する対象となる概要情報を選択する。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。
本実施形態では、情報処理システム１は、選択した概要情報が、ユーザの所望するものではなかった場合、概要情報を再度選択し直すこととする。

図２６は、本実施形態の情報処理システム１の各構成要素の機能構成の一例を示す図である。図２６の機能構成は、図１と比べて、概要情報表示装置２が概要情報選択部２９１、選択ミス検出部２９２、概要情報フィルタ部２９３、詳細情報注視検知部２４を含む点で異なる。選択ミス検出部２９２は、第１の検知手段の一例である。
図２６を用いて、本実施形態の処理を説明する。
概要情報生成部２３は、生成した概要情報は、概要情報フィルタ部２９３を経由して概要情報表示制御部２１に送信する。そして、概要情報表示制御部２１は、表示部１２５に送信された概要情報を表示する。概要情報フィルタ部２９３の処理については、図２７で後述する。
概要情報フィルタ部２９３は、概要情報を、概要情報表示制御部２１だけでなく、概要情報選択部２９１にも送信する。概要情報選択部２９１は、概要情報が複数送信された場合、一つを選択する。概要情報選択部２９１により選択された概要情報は、選択情報の一例である。

概要情報選択部２９１は、任意の方法で、概要情報を選択してよい。概要情報選択部２９１は、例えば、メガネ型端末装置である概要情報表示装置２のつるの部分に仕込まれた入力部１２４であるタッチパッドを介したユーザによる指定や、入力部１２４であるマイクを介したユーザによる発生に対する音声認識に基づいて、選択できる。本実施形態では、概要情報表示装置２の入力部１２４を介したユーザによる指定に基づいて、表示部１２５に表示された概要情報から１つの概要情報を選択する。
概要情報選択部２９１は、選択した概要情報を、詳細情報検索部３３に送信する。そして、詳細情報検索部３３は、送信された概要情報に関する詳細情報を検索する。詳細情報表示制御部３１は、詳細情報検索部３３により検索された詳細情報を、表示部１３５に表示する。
概要情報選択部２９１は、選択した概要情報を、選択ミス検出部２９２にも送信する。選択ミス検出部２９２は、送信された概要情報が、ユーザが所望したものではないことを検出する。選択ミス検出部２９２は、送信された概要情報が、ユーザが所望したものではないことを検出できた場合、概要情報の選択ミスがあったことを示す選択ミス情報として、概要情報選択部２９１から送信された概要情報を概要情報フィルタ部２９３に送信する。選択ミス検出部２９２の処理については、図２８で後述する。

図２７は、概要情報フィルタ部２９３の処理の一例を示すアクティビティ図である。図２７（ａ）の処理は、選択ミスとして検出された概要情報を表示部１２５に表示させないようにする処理である。図２７（ｂ）の処理は、選択ミスとして検出された概要情報を表示部１２５に表示させ、選択できないようにする処理である。
まず、図２７（ａ）の処理を説明する。
Ｓ２５１において、概要情報フィルタ部２９３は、概要情報生成部２３から概要情報を受信する。
Ｓ２５２において、概要情報フィルタ部２９３は、選択ミス検出部２９２から送られた選択ミス情報を受信する。

Ｓ２５３において、概要情報フィルタ部２９３は、Ｓ２５１で受信した概要情報を主記憶装置１２２、補助記憶装置１２３等に記憶する。
２５４において、概要情報フィルタ部２９３は、Ｓ２５２で受信した選択ミス情報を主記憶装置１２２、補助記憶装置１２３等に記憶する。
Ｓ２５１～Ｓ２５４の処理により、概要情報フィルタ部２９３は、最新の概要情報、及び選択ミス情報を、主記憶装置１２２、補助記憶装置１２３等から取得できるようになる。

Ｓ２５５において、概要情報フィルタ部２９３は、表示部１２５に表示される概要情報を決定する。以下のＳ２５５１で、Ｓ２５５の処理の詳細を説明する。
Ｓ２５５１において、概要情報フィルタ部２９３は、Ｓ２５３で記憶された概要情報のそれぞれについて、Ｓ２５４で記憶された選択ミス情報と一致するか否かを判定する。概要情報フィルタ部２９３は、Ｓ２５３で記憶された概要情報に含まれる概要情報が、Ｓ２５４で記憶された選択ミス情報と一致すると判定した場合、その概要情報を表示部１２５に表示されない概要情報として決定する。そして、概要情報フィルタ部２９３は、Ｓ２５３で記憶された概要情報に含まれる概要情報が、Ｓ２５４で記憶された選択ミス情報と一致しないと判定した場合、その概要情報を表示部１２５に表示される概要情報として決定する。概要情報フィルタ部２９３は、例えば、表示部１２５に表示される概要情報として決定した概要情報を、リストとして、主記憶装置１２２、補助記憶装置１２３等に記憶する。概要情報フィルタ部２９３は、Ｓ２５３で記憶された概要情報全てについて、以上の処理を行い、完了したら、Ｓ２５６の処理に進む。

Ｓ２５６において、概要情報フィルタ部２９３は、Ｓ２５５（Ｓ２５５１）で決定された概要情報を、主記憶装置１２２、補助記憶装置１２３等に記憶されているリストから取得する。
Ｓ２５７において、概要情報フィルタ部２９３は、Ｓ２５６で取得した概要情報を、概要情報表示制御部２１に送信する。
図２７（ａ）では、概要情報フィルタ部２９３は、Ｓ２５４で最新の選択ミス情報を一つ記憶することとした。しかし、概要情報フィルタ部２９３は、Ｓ２５４で最新の選択ミス情報を複数記憶することとしてもよい。概要情報フィルタ部２９３は、例えば、既に記憶されている選択ミス情報を保持するリストに対して、新たな選択ミス情報を追加していってもよい。これにより、一度選択ミスとして検出された概要情報は、新たな概要情報が選択ミスとして検出された場合でも、概要情報表示制御部２１により表示部１２５に表示されない。
また、概要情報フィルタ部２９３は、最新の設定された個数の選択ミス情報のみを、主記憶装置１２２、補助記憶装置１２３等に記憶し続けてもよい。また、概要情報フィルタ部２９３は、選択ミスとして検出されてから設定された時間経過した選択ミス情報を、記憶しないようにしてもよい。

続いて、図２７（ｂ）の処理の説明をする。図２７（ｂ）の処理は、図２７（ａ）と比べて、Ｓ２５５の処理の内部にＳ２５５２の処理がある点で異なる。
Ｓ２５５１において、概要情報フィルタ部２９３は、図２７（ａ）の場合と同様に、Ｓ２５３で記憶された概要情報のそれぞれについて、Ｓ２５４で記憶された選択ミス情報と一致するか否かを判定する。概要情報フィルタ部２９３は、一致しないと判定した場合、図２７（ａ）の場合と同様に、その概要情報を表示部１２５に表示される概要情報として決定する。概要情報フィルタ部２９３は、一致すると判定した場合、Ｓ２５５２の処理に進む。

Ｓ２５５２において、概要情報フィルタ部２９３は、Ｓ２５４で記憶された選択ミス情報と一致すると判定した概要情報に対して、概要情報選択部２９１による選択を許可しないことを示す選択不可情報を付加する。概要情報フィルタ部２９３は、例えば、主記憶装置１２２、補助記憶装置１２３等に、選択ミス情報と一致すると判定した概要情報と対応付けて、選択不可情報を記憶する。
概要情報選択部２９１は、選択不可情報が付加された概要情報を選択しないこととなる。
これにより、表示部１２５に選択ミスを検出された概要情報が表示されるが、再度、選択されることはなくなる。概要情報表示制御部２１は、選択不可情報が付加された概要情報を、グレーアウト表示で、表示部１２５に表示させてもよい。これにより、ユーザは、その概要情報を選択できないことを把握できる。

図２８は、選択ミス検出部２９２の処理の一例を示すアクティビティ図である。
所望しない概要情報に関する詳細情報が表示部１３５に表示された場合、ユーザは、まず、表示された詳細情報を注視し、概要情報の選択ミスが生じたと判断し、詳細情報から目を離すと仮定できる。
そこで、本実施形態では、情報処理システム１は、ユーザによる詳細情報の注視動作を検知し、その後、ユーザによる詳細情報の非注視を検知した場合、概要情報選択部２９１による概要情報の選択ミスが発生したとする。
図２８（ａ）の処理は、概要情報選択部２９１により新たに概要情報が選択された際の選択ミス検出部２９２の処理の一例を示す。

Ｓ２６１において、選択ミス検出部２９２は、概要情報選択部２９１から、概要情報選択部２９１により選択された概要情報を受信し、主記憶装置１２２、補助記憶装置１２３等に記憶する。
Ｓ２６２において、選択ミス検出部２９２は、既注視フラグをＦａｌｓｅとする。既注視フラグとは、ユーザが詳細情報を注視したか否かを示す情報であり、主記憶装置１２２、補助記憶装置１２３等に記憶される。選択ミス検出部２９２は、選択された概要情報に対応する詳細情報が一度もユーザにより注視されていない間は、既注視フラグの値を、Ｆａｌｓｅとする。そして、選択ミス検出部２９２は、選択された概要情報に対応する詳細情報が一度でもユーザにより注視された場合は、既注視フラグの値を、Ｔｒｕｅとする。Ｓ２６２では、概要情報が新たに選択されたので、選択ミス検出部２９２は、既注視フラグをＦａｌｓｅとする。

次に、図２８（ｂ）を用いて、詳細情報注視検知部２４から詳細情報注視中情報を受信した場合の選択ミス検出部２９２の処理の一例を説明する。
Ｓ２６４において、選択ミス検出部２９２は、詳細情報注視検知部２４から詳細情報注視中情報を受信する。
Ｓ２６５において、選択ミス検出部２９２は、Ｓ２６４で受信した詳細情報注視中情報に基づいて、ユーザが表示部１３５に表示されている詳細情報を注視しているか否かを判定する。選択ミス検出部２９２は、ユーザが表示部１３５に表示されている詳細情報を注視していると判定した場合、Ｓ２６６の処理に進む。また、選択ミス検出部２９２は、ユーザが表示部１３５に表示されている詳細情報を注視していないと判定した場合、Ｓ２６７の処理に進む。
Ｓ２６６において、選択ミス検出部２９２は、既注視フラグをＴｒｕｅにする。Ｓ２６６の処理により、ユーザが詳細情報を一度でも注視した場合に、既注視フラグは、Ｔｒｕｅとなる。

Ｓ２６７において、選択ミス検出部２９２は、既注視フラグがＴｒｕｅかＦａｌｓｅかを判定する。選択ミス検出部２９２は、既注視フラグがＦａｌｓｅであると判定した場合、ユーザがまだ一度も詳細情報を注視していないとして、図２８（ｂ）の処理を終了する。選択ミス検出部２９２は、既注視フラグがＴｒｕｅであると判定した場合、Ｓ２６８の処理に進む。
Ｓ２６８において、選択ミス検出部２９２は、ユーザが詳細情報を注視した後に目を離したとして、概要情報選択部２９１による概要情報の選択ミスを検出する。
Ｓ２６９において、選択ミス検出部２９２は、Ｓ２６８で選択ミスを検出した概要情報を、選択ミス情報として、概要情報フィルタ部２９３に送信する。

以上、本実施形態の処理により、情報処理システム１は、概要情報の選択ミスが発生した場合、ユーザが詳細情報を注視して、目を離すという自然な操作を行うことで、再度同じ概要情報を選択しないようにすることができる。これにより、情報処理システム１は、概要情報の選択ミスが発生した場合に、再度同じ概要情報を選択することを防止できる。
本実施形態では、選択ミス検出部２９２は、詳細情報注視検知部２４からの詳細情報注視中情報に基づいて、概要情報の選択がミスか否かを判定したが、他の情報に基づいて判定してもよい。選択ミス検出部２９２は、例えば、顔認識部３５１を備えた表示システムであって、顔認識部３５１がユーザの視線推定を行う場合、「選択ミス」である場合の視線の動きを予め機械学習し、その学習結果を元に選択ミスか否かを判断してもよい。
本実施形態では、選択ミス検出部２９２は、ユーザが詳細情報を注視した後に、詳細情報から目を離した場合に、概要情報の選択ミスが発生したと判定した。しかし、ユーザは、所望の概要情報の詳細情報が表示部１３５に表示された場合でも、詳細情報を十分に閲覧した後で、詳細情報から目を離すと仮定できる。そこで、選択ミス検出部２９２は、ユーザが詳細情報を注視した後に、設定された期間内（例えば、３秒等）に詳細情報から目を離した場合に、概要情報の選択ミスが発生したと判定してもよい。

＜実施形態９＞
実施形態８では、情報処理システム１は、概要情報の選択ミスを検出した際に、ユーザによる入力部１２４を介した指定に基づいて、再度概要情報の選択を行った。本実施形態では、情報処理システム１は、ユーザによる操作を介さずに、再度の概要情報の選択を行う。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。

ユーザが概要情報の選択ミスを行う場合として、次のようなものが挙げられる。
（１）表示部１２５上で所望の概要情報と物理的に近い場所に表示された概要情報を、誤って選択してしまった場合。
（２）似通ったカテゴリの概要情報を誤って選択してしまった場合。
（３）似通ったカテゴリの詳細情報をパラパラと見ていくことで、目的の詳細情報に辿り着きたい場合。
このような場合について、本実施形態の情報処理システム１の処理を説明する。

概要情報の選択ミスとユーザが判断する直前のユーザの行動は、「詳細情報の注視」である。ユーザは、表示部１３５に表示される詳細情報を見た上で、概要情報の選択ミスと判断すると仮定できる。
また、本実施形態の情報処理システム１は、概要情報の選択ミスを検出して、別の概要情報を、ユーザの操作に依らずに選択する。選択ミスの概要情報に関する詳細情報を注視したユーザは、一度目を離した後、再度、新たな詳細情報を期待して、表示部１３５を注視すると仮定する。
そこで、本実施形態の情報処理システム１は、ユーザによる詳細情報の「注視→非注視→注視」を設定された期間内に検知した場合、概要情報選択部２９１により選択された概要情報を選択ミスとして決定する。

図２９は、本実施形態の情報処理システム１の各構成要素の機能構成の一例を示す図である。図２９の機能構成は、図２６と比べて、概要情報表示装置２が概要情報フィルタ部２９３を含まない点で異なる。また、本実施形態の概要情報選択部２９１、選択ミス検出部２９２は、実施形態８の場合と比べて処理が異なる。
以下では、本実施形態の処理のうち、実施形態８と異なる点について説明する。
図３０は、選択ミス検出部２９２の処理の一例を示すステートマシン図である。
Ｓ２８１において、選択ミス検出部２９２は、ユーザによる詳細情報の注視が行われていないことを示す非注視中状態となる。そして、選択ミス検出部２９２は、概要情報選択部２９１から、概要情報選択部２９１により選択された概要情報を受信すると、受信した概要情報を主記憶装置１２２、補助記憶装置１２３等に記憶する。そして、選択ミス検出部２９２は、詳細情報注視検知部２４から詳細情報注視中情報を受信し、受信した詳細情報注視中情報が、ユーザが詳細情報を注視中であることを示す場合、Ｓ２８２の処理に進む。選択ミス検出部２９２は、詳細情報注視検知部２４から詳細情報注視中情報を受信し、受信した詳細情報注視中情報が、ユーザが詳細情報を注視中でないことを示す場合、非注視中状態のままとなる。

Ｓ２８２において、選択ミス検出部２９２は、ユーザによる詳細情報の注視が行われていることを示す注視中状態となる。そして、選択ミス検出部２９２は、詳細情報注視検知部２４から詳細情報注視中情報を受信し、受信した詳細情報注視中情報が、ユーザが詳細情報を注視中でないことを示す場合、Ｓ２８３の処理に進む。選択ミス検出部２９２は、受信した詳細情報注視中情報が、ユーザが詳細情報を注視中であることを示す場合、注視中状態のままとなる。また、選択ミス検出部２９２は、概要情報選択部２９１から概要情報を受信した場合、受信した概要情報を主記憶装置１２２、補助記憶装置１２３等に記憶し、注視中状態のままとなる。
Ｓ２８３において、選択ミス検出部２９２は、ユーザによる詳細情報の注視が行われておらず、経過時間を計測中である非注視中（時間計測）状態とする。選択ミス検出部２９２は、非注視中（時間計測）状態である間、概要情報表示装置２のタイマ等を介して、経過する時間を計測する。選択ミス検出部２９２は、ユーザによる詳細情報の「注視→非注視→注視」の遷移が設定された期間内に行われるか否かを判定するために、時間を計測する。選択ミス検出部２９２は、非注視中（時間計測）状態に遷移した際の時刻を主記憶装置１２２、補助記憶装置１２３等に記憶する。そして、選択ミス検出部２９２は、非注視中（時間計測）状態から他の状態に遷移する際の時刻と、記憶した時刻との差分から、ユーザが詳細情報を注視していなかった時間である被注視時間を取得する。

選択ミス検出部２９２は、非注視中（時間計測）状態で、詳細情報注視検知部２４から詳細情報注視中情報を受信し、受信した詳細情報注視中情報が、ユーザが詳細情報を注視中であることを示す場合、以下の処理を行う。即ち、選択ミス検出部２９２は、非注視時間を取得し、取得した非注視時間が設定された閾値よりも小さいか否かを判定する。
選択ミス検出部２９２は、取得した非注視時間が設定された閾値よりも小さい場合、ユーザによる詳細情報の「注視→非注視→注視」の遷移が設定された時間内に起きたということなので、概要情報選択部２９１により選択された概要情報を、選択ミスと判定する。そして、選択ミス検出部２９２は、選択ミスと判定した概要情報を、選択ミス情報として概要情報選択部２９１に送信する。選択ミス検出部２９２は、取得した非注視時間が設定された閾値よりも小さい場合でも、設定された閾値以上である場合でも、Ｓ２８２に進み、再度、注視中状態となる。
また、選択ミス検出部２９２は、Ｓ２８３で非注視中（時間計測）状態となった後で、詳細情報注視検知部２４から詳細情報注視中情報を受信し、受信した詳細情報注視中情報が非注視中であることを示す場合は、非注視中（時間計測）状態のままとなる。
また、選択ミス検出部２９２は、Ｓ２８３で非注視中（時間計測）状態となった後で、概要情報選択部２９１から概要情報を受信した場合、受信した概要情報を主記憶装置１２２、補助記憶装置１２３等に記憶し、Ｓ２８１の処理に進み、非注視中状態となる。

図３１は、本実施形態の概要情報選択部２９１の処理の一例をアクティビティ図である。概要情報選択部２９１は、図３１の処理の他にも、実施形態８と同様に、ユーザによる入力部１２４を介した指定に基づく概要情報の選択を行うこととしてもよい。
まず、概要情報選択部２９１は、概要情報生成部２３にから概要情報を受信した場合、受信した概要情報を、主記憶装置１２２、補助記憶装置１２３等に記憶する。
Ｓ２９１において、概要情報選択部２９１は、選択ミス検出部２９２から、選択ミス情報を受信する。
Ｓ２９２において、概要情報選択部２９１は、主記憶装置１２２、補助記憶装置１２３等に記憶した概要情報の中から、一つを選択する。
Ｓ２９３において、概要情報選択部２９１は、Ｓ２９２で選択した概要情報を選択ミス検出部２９２と詳細情報検索部３３とに送信する。

図３２は、概要情報選択部２９１の処理の一例を示すアクティビティ図である。図３２を用いて、Ｓ２９２の処理の詳細を説明する。
概要情報選択部２９１は、例えば、「最小距離」という変数を、主記憶装置１２２上に、用意する。「最小距離」は、選択ミス検出部２９２から概要情報選択部２９１へ送信された選択ミス情報が示す概要情報と、概要情報選択部２９１による選択候補である概要情報それぞれと、の距離のうち、最小のものを格納する変数である。ここで、距離とは、選択ミス情報が示す概要情報と、概要情報それぞれと、がどの程度乖離しているかを示す指標である。ここでの距離は、ユークリッド距離等の物理的な距離における乖離を示すこととしてもよいし、意味合いの乖離の程度を示すこととしてもよい。
Ｓ３０１において、概要情報選択部２９１は、「最小距離」の値を∞（無限大）にする。

Ｓ３０２において、概要情報選択部２９１は、概要情報の各々について選択ミス情報との距離を算出し、距離が最小のものを選択候補として決定する。以下のＳ３０２１～Ｓ３０２４では、Ｓ３０２の処理の詳細を説明する。
Ｓ３０２１において、概要情報選択部２９１は、主記憶装置１２２、補助記憶装置１２３等に記憶した概要情報のうち、１つを選択し、選択した概要情報と選択ミス情報が示す概要情報との距離を取得する。上記（１）の場合、概要情報選択部２９１は、例えば、アノテーションである概要情報同士の表示部１２５の表示位置間のユークリッド距離を取得する。
上記（２）、（３）では、概要情報選択部２９１は、別途定義されたカテゴリ間の距離を取得する。本実施形態では、概要情報生成部２３が生成する概要情報には、カテゴリ情報が付与されることになる。ここで、カテゴリ情報とは、概要情報がどのカテゴリに属するかを示す情報であり、「橋」、「建物」、「飲食店」、「駅」といったものがある。概要情報には、複数のカテゴリ情報が付与されることとしてもよい。その場合、概要情報選択部２９１は、任意のカテゴリ情報を用いて距離を取得できる。概要情報選択部２９１は、例えば、全てのカテゴリの組み合わせで距離を計算し、最も小さいものを、最終結果としてもよい。

Ｓ３０２２において、概要情報選択部２９１は、Ｓ３０２１で取得した距離が、「最小距離」よりも小さいか否かを判定する。概要情報選択部２９１は、Ｓ３０２１で取得した距離が、「最小距離」よりも小さいと判定した場合、Ｓ３０２３の処理に進む。また、概要情報選択部２９１は、Ｓ３０２１で取得した距離が、「最小距離」以上であると判定した場合、Ｓ３０２１で、主記憶装置１２２、補助記憶装置１２３等に記憶した概要情報全てを選択済みであるなら、Ｓ３０３の処理に進む。また、概要情報選択部２９１は、Ｓ３０２１で取得した距離が、「最小距離」以上であると判定した場合、Ｓ３０２１で、主記憶装置１２２、補助記憶装置１２３等に記憶した概要情報全てを選択済みでないなら、Ｓ３０２１の処理に進む。
Ｓ３０２３において、概要情報選択部２９１は、「最小距離」の値を、Ｓ３０２１で取得した距離で更新する。
Ｓ３０２４において、概要情報選択部２９１は、Ｓ３０２１で選択した概要情報を、選択候補とする。
以上、Ｓ３０２の処理により、概要情報選択部２９１は、選択ミス情報が示す概要情報との距離が最小となる概要情報を選択候補とすることができる。
Ｓ３０３において、概要情報選択部２９１は、Ｓ３０２で決定された選択候補の概要情報を、Ｓ２９２の処理の結果として出力する。

図２９の機能構成では、一度選択ミスと判断された概要情報も、再度の選択ミスの際には、概要情報選択部２９１によって選択されてしまう。そこで、実施形態８と同様に、概要情報表示装置２が概要情報フィルタ部２９３を備えることとしてもよい。これにより、情報処理システム１は、一度選択ミスと判断された概要情報が再選択されてしまうことを防止できる。
図３３は、この場合の情報処理システム１の各構成要素の機能構成の一例を示す図である。概要情報フィルタ部２９３の処理は、実施形態８と同様である。概要情報フィルタ部２９３が図２７（ｂ）のような処理を行う場合の、Ｓ２９２の処理の詳細を、図３２を用いて説明する。
図３４は、概要情報選択部２９１の処理の一例を示すアクティビティ図である。図３４は、図３２と比べて、Ｓ３０２５の処理がある点で異なる。
Ｓ３０２５において、概要情報選択部２９１は、主記憶装置１２２、補助記憶装置１２３等に記憶した概要情報それぞれについて、選択不可情報が付与されているか否かに基づいて、選択不可にするか否かを決定する。概要情報選択部２９１は、Ｓ３０２１で、Ｓ３０２５で、選択不可にすることを決定された概要情報を除く概要情報から１つを選択することになる。

以上、本実施形態の処理により、情報処理システム１は、概要情報の選択ミスを犯した場合、ユーザが詳細情報を「注視→非注視→注視」するという自然な操作で、新たな概要情報を自動的に選択することができる。これにより、情報処理システム１は、概要情報の選択をより簡易にできる。
本実施形態では、選択ミス検出部２９２は、詳細情報注視検知部２４からの詳細情報注視中情報に基づいて、概要情報の選択がミスか否かを判定したが、他の情報を元に判定してもよい。
選択ミス検出部２９２は、例えば、情報処理システム１が顔認識部３５１を含む場合、顔認識部３５１を介してユーザの視線推定を行い、推定したユーザの視線に基づいて、概要情報の選択ミスを検出してもよい。選択ミス検出部２９２は、例えば、予め学習された選択ミスの概要情報に係る詳細情報が表示部１３５に表示された場合のユーザの視線のモデルに基づいて、概要情報が選択ミスか否かを判定してもよい。

＜実施形態１０＞
実施形態１では、概要情報生成部２３は、表示部１２５に表示される画像や現実風景等の概要情報表示装置２と詳細情報表示装置３とを携帯するユーザの視認対象に基づいて、ユーザに提示する概要情報を生成した。本実施形態では、概要情報生成部２３は、ユーザの視認対象に関連した情報に基づいて、ユーザに提示する概要情報を生成する。本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各構成要素のハードウェア構成についても、実施形態１と同様である。
図３５は、本実施形態の情報処理システム１の機能構成の一例を示す図である。図３と比べて、概要情報表示装置２が画像解析部２３１を更に含む点で異なる。以下、本実施形態の処理の詳細について、実施形態１との差分を中心に説明する。
概要情報表示装置２は、コンピュータ、及びこのコンピュータと接続されたディスプレイモニタを含み、撮像部１２６が撮像した映像を、画像解析部２３１を介して処理して、このディスプレイに表示する。
撮像部１２６は、例えば、監視カメラであり、１つ、又は複数設置されている。画像解析部２３１は、撮像部１２６を介して撮像された映像を解析し、映っている人物を特定する。そして、画像解析部２３１は、映像とともに解析結果を、概要情報生成部２３に出力する。また、画像解析部２３１は、録画再生機能を有することとしてもよい。この場合、画像解析部２３１は、過去の映像とその過去の映像に映っている人物の解析結果とを出力することができる。

本実施形態では、撮像部１２６は監視カメラであるとして説明する。しかし、撮像部１２６は、工場の組み立てラインに設置されたカメラや、産業用ロボットに組み込まれたカメラ、Ｘ線撮像装置等の医用画像撮像装置、撮像装置付き天体望遠鏡、テレビ顕微鏡等いかなる撮像装置であってもよい。
また、本実施形態では画像解析部２３１は、映像内に写っている人物を同定する処理を行うこととするが、組立て部品、病巣、天体、微生物等、目的に応じた事物を同定する処理を行うこととしてもよい。ここで同定する処理とは、オブジェクトがあるオブジェクトと同一であるか否かを決定する処理、目的に応じて個体を識別する処理、オブジェクトをカテゴリ（例えば、微生物の名前等）に分類する処理等の処理である。
また、画像解析部２３１に複数の撮像部１２６が接続されている場合、画像解析部２３１は、これらの複数の撮像部１２６のうち何れか１つの映像を出力してもよいし、複数の撮像部１２６の複数の映像を例えばタイル上に並べて出力してもよい。また、画像解析部２３１は、概要情報表示装置２の外部の装置に実装されることとしてもよい。その場合、画像解析部２３１は、概要情報表示装置２の各機能構成要素と、通信制御部Ａ２２を介して通信する。

撮像部１２６を介して撮像された映像は、画像解析部２３１に送られる。画像解析部２３１は、撮像部１２６を介して撮像された映像を受信し、受信した映像に写っている人物を同定することで、映像を解析する。画像解析部２３１は、同定した人物の識別情報（人物ＩＤ）に基づいて、補助記憶装置１２３等に記憶されている人物ＩＤと人物の属性情報との対応情報であるデータベースを参照することで、同定した人物に関する情報を検索することができる。画像解析部２３１は、このデータベースの内容（例えば、同定した人物の最新位置、過去の位置等の属性情報）を、解析結果に基づいて、随時更新する。
画像解析部２３１は、何れか１台の撮像部１２６の映像及び、その映像に映っている人物の人物ＩＤをその関連画面内情報とともに、概要情報生成部２３に出力する。関連画面内情報とは、ある人物の頭部の座標、人物全体を囲むバウンディングボックスの対角座標や、人物領域のマスク画像とその座標といったその人物の属性の情報であり、概要情報表示制御部２１により概要情報を重畳表示する際に用いられる。

画像解析部２３１の出力は、概要情報生成部２３に伝えられる。概要情報生成部２３では、画像解析部２３１から受け取った関連画面内情報に基づいて、ユーザに提示する概要情報を生成する。概要情報生成部２３が生成する概要情報とは、人物の近辺に表示する図や文字列等のオブジェクトである。概要情報生成部２３が生成する概要情報は、例えば、人物ＩＤ、人物ＩＤに基づいてデータベースから検索された人物名、その人物の頭部近辺に表示するマーク、人物全体を囲むバウンディングボックス、人物領域を示す半透明のマスク画像等である。また、画像解析部２３１は、人物ＩＤから検索された人物名の情報を、概要情報生成部２３に出力することとしてもよい。概要情報生成部２３は、複数のオブジェクトを、概要情報として生成してもよい。
概要情報表示制御部２１は、画像解析部２３１から出力された映像を、概要情報生成部２３により生成された概要情報を重畳して、表示部１２５に表示する。概要情報表示制御部２１は、表示部１２５に表示する映像が画像解析部２３１によって加工されない場合、表示部１２５に表示する映像を撮像部１２６から取得することとしてもよい。

概要情報生成部２３は、生成した概要情報を、通信制御部Ａ２２及び通信制御部Ｂ３２を介して、詳細情報表示装置３の詳細情報検索部３３に送信する。ここで、概要情報生成部２３は、生成した概要情報の全てを詳細情報検索部３３に送信してもよいし、生成した概要情報の一部を詳細情報検索部３３に送信してもよいし、画像解析部２３１から受け取った人物ＩＤのみを詳細情報検索部３３に送信してもよい。
一方、詳細情報検索部３３は、概要情報生成部２３から受信した概要情報に基づいて、受信した概要情報に関する詳細情報を検索する。詳細情報検索部３３は、例えば、受信した人物ＩＤに基づいて、データベースを参照して、人物の氏名、住所、過去の検出履歴、その他人物に関連する詳細情報を検索する。

以上、本実施形態では、概要情報表示装置２は、ユーザの視認対象に関連した情報に基づいて、ユーザに提示する概要情報を生成した。
本実施形態では、撮像部１２６及び画像解析部２３１は、概要情報表示装置２に含まれるものとした。しかし、撮像部１２６、画像解析部２３１の一部又は全部は、概要情報表示装置２とは異なる装置に含まれることとしてもよい。

＜実施形態１１＞
実施形態８では、概要情報の選択は、以下のようにして行われることとした。即ち、概要情報の選択は、メガネ型端末装置である概要情報表示装置２のつるの部分に仕込まれた入力部１２４であるタッチパッドを介したユーザによる指定や、入力部１２４であるマイクを介したユーザの発声に対する音声認識に基づき、行われることとした。本実施形態では、入力部１２４が、表示部１２５と一体になったタッチパネル、タッチペン、マウス等のポインティングデバイス、キーボード等である場合の例を示す。
本実施形態の情報処理システム１のシステム構成は、実施形態１と同様である。また、情報処理システム１の各種構成要素のハードウェア構成についても、実施形態１と同様である。図３６は、本実施形態の情報処理システム１の各構成要素の機能構成の一例を示す図である。図２６と比べ、概要情報表示装置２が画像解析部２３１を更に含む点で異なる。以下、本実施形態の処理の詳細について、実施形態８及び実施形態１０との差分を中心に説明する。

概要情報表示制御部２１は、１つ又は複数の概要情報を表示部１２５に重畳表示する。概要情報選択部２９１は、これらの概要情報から、入力部１２４を介したユーザによる指定により、概要情報を１つ選択する。
概要情報表示制御部２１は、入力部１２４がキーボードの場合、例えば「スペース」や矢印のキーの選択を検知することで、複数の概要情報の中から１つの概要情報を、選択候補となる概要情報として決定する。そして、概要情報表示制御部２１は、決定した概要情報を他の概要情報よりも強調して表示（色を濃く表示する等）する。ユーザは、「スペース」や矢印のキーの選択を繰り返すことで、複数の概要情報の中から選択候補となる概要情報が順に選択され、強調表示されることで、提示されることとなる。そして、ユーザは、選択したい概要情報が選択候補となっている状態で、例えば、「エンター」キーを選択する。概要情報選択部２９１は、「エンター」キーの選択を検知することで、現在選択候補となっている概要情報を、選択する。また、概要情報選択部２９１は、「エンター」キーの選択の検知を行わずに、概要情報の何れかが選択候補となった際に、選択候補となった概要情報を選択することとしてもよい。

以下では、入力部１２４がキーボードではなく、表示部１２５と一体になったタッチパネルやタッチペン、マウス等のポインティングデバイスの場合について説明する。
図３７は、概要情報選択部２９１の処理の一例を示すアクティビティ図である。図３７を用いて、概要情報選択部２９１の処理を説明する。
Ｓ２９０１において、概要情報選択部２９１は、入力部１２４のポインティングデバイスからポインティング情報を得る。ポインティング情報とは、入力部１２４によってポイントされた、表示部１２５内の位置（ポインティング位置）である。
Ｓ２９０２において、概要情報選択部２９１は、ポインティング位置に最も近い概要情報を特定する。概要情報選択部２９１は、特定した概要情報と、このポインティング位置の情報とを対応付けて補助記憶装置１２３等に保存する。
Ｓ２９０３において、概要情報選択部２９１は、Ｓ２９０２で特定した概要情報を選択する。

Ｓ２９０３で概要情報選択部２９１が概要情報を選択する前に再度、入力部１２４を介したポインティングが行われた場合、選択ミス検出部２９２は、概要情報の選択ミスが発生したか否かを判断する。図３８は、選択ミス検出部２９２の処理の一例を示すアクティビティ図である。図３８を用いて、Ｓ２９０３で概要情報選択部２９１が概要情報を選択する前に再度、入力部１２４を介したポインティングが行われた場合、選択ミス検出部２９２の処理について説明する。
Ｓ３９１において、選択ミス検出部２９２は、概要情報選択部２９１が概要情報を選択する前に再度行われた入力部１２４を介したポインティングが行われた位置に最も近い概要情報を特定する。
Ｓ３９２において、選択ミス検出部２９２は、Ｓ２９０２で特定した概要情報と、この概要情報に対応するポインティング位置の情報と、を、補助記憶装置１２３等から取り出す。取り出されたポインティング情報は、予め、ポインティング情報が取りうる何れの位置とも所定値以上の距離がある位置に初期化されているものとする。
Ｓ３９３において、選択ミス検出部２９２は、Ｓ３９１で特定した概要情報と、この概要情報に対応するポインティング位置の情報とを対応付けて、補助記憶装置１２３等に保存する。

Ｓ３９４において、選択ミス検出部２９２は、Ｓ３９２で取り出した概要情報に対応するポインティング情報が示す位置と、Ｓ３９１で特定した概要情報に対応するポインティング位置と、の距離が、所定値よりも小さいか否かを判定する。選択ミス検出部２９２は、所定値以上であれば、図３８の処理を終了する。選択ミス検出部２９２は、所定値よりも小さければ、Ｓ３９５の処理に進む。
Ｓ３９５において、選択ミス検出部２９２は、Ｓ３９２で取り出した概要情報を選択ミスとして決定する。
Ｓ３９６において、選択ミス検出部２９２は、選択ミスが発生したことを示す選択ミス情報を、概要情報フィルタ部２９３に送信する。

図４０は、本実施形態の選択ミス検出部２９２による処理の概要を説明する図である。図４０（ａ）に示される状況では、左側のディスプレイ（表示部１２５）には、人物ＩＤが１１３４、１２３４、１２４２の３人の人物が映っている。そして、表示部１２５の左側のある１点がポインティングされることによって、そのポインティング位置から最も近くにいる人物の氏名、住所、過去の検出履歴、その他人物に関連する詳細情報等が右側のディスプレイ（表示部１３５）に表示される。
その後、図４０（ｂ）のように、また、左側のディスプレイ（表示部１２５）のある１点がポインティングされると、選択ミス検出部２９２は、そのポインティング位置に最も近い人物の概要情報を特定する（Ｓ３９１）。そして、また、選択ミス検出部２９２は、前回保存した概要情報を取り出す（Ｓ３９２）。そして、選択ミス検出部２９２は、取り出した概要情報に対応するポインティング情報と受信した概要情報に対応するポインティング位置との距離が所定値よりも小さいか否かを判定する（Ｓ３９４）。図４０（ｂ）の例では、選択ミス検出部２９２は、所定値よりも小さいと判断し、取り出した概要情報を選択ミスとして（Ｓ３９５）、選択ミス情報を送信する（Ｓ３９６）。図４０（ｂ）の例では、選択ミス検出部２９２により選択ミスが発生したと判断されたため、ポインティング位置から次に近い人物の詳細情報が右側のディスプレイ（表示部１３５）に表示されることとなる。

以上、本実施形態の処理により、情報処理システム１は、概要情報の選択にポインティングデバイスを用いることができ、ユーザの所望の概要情報をより短時間に選択することができる。
また、情報処理システム１は、選択した概要情報が、ユーザの所望の概要情報ではなかった場合、その概要情報を選択した付近で再度選択することにより、その概要情報を除いた他の概要情報のうち、最も選択した位置に近い概要情報を選択することとした。これにより、情報処理システム１は、ユーザの所望の概要情報をより短時間に選択することができる。

＜実施形態１２＞
実施形態１１では、情報処理システム１は、選択した位置（ポインティング位置）に最も近い概要情報を候補としたが、選択した位置から遠い概要情報を候補から外すことはしなかった。そのため、誤って再選択をした場合、選択位置から、想定よりも離れた位置にある概要情報が選択される場合が生じうる。そこで、本実施形態では、選択位置から明らかに離れた位置にある概要情報は選択対象から外す処理について説明する。
本実施形態の概要情報選択部２９１の処理の一例を、図３９に示す。図３９の処理は、図３７の処理に対して、Ｓ２９０４の処理が追加されている点で異なる。
Ｓ２９０２において、概要情報選択部２９１は、ポインティング位置に最も近い概要情報を特定し、Ｓ２９０４の処理に進む。
Ｓ２９０４において、概要情報選択部２９１は、Ｓ２９０２で特定した概要情報の位置とポインティング位置との距離が、所定の距離以下か否かを判定する。概要情報選択部２９１は、所定の距離以下と判定した場合、Ｓ２９０３の処理に進む。概要情報選択部２９１は、所定の距離より大きいと判定した場合、図３９の処理を終了し、選択処理を行わない。

以上、本実施形態の処理により、情報処理システム１は、ポインティング位置から所定の距離よりも離れた位置にある概要情報は選択対象から外すことにより、誤って概要情報を再選択した際に、誤った概要情報が選択されてしまうことを防ぐことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した情報処理システム１の機能構成の一部又は全てをハードウェアとして概要情報表示装置２又は詳細情報表示装置３に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。

１ 情報処理システム
２ 概要情報表示装置
３ 詳細情報表示装置

Claims (20)

1. ユーザの観察対象に基づいて、前記ユーザへの提示情報を生成する生成手段と、
   ウエアラブルデバイスである第１の情報処理装置を前記ユーザが身に着けた場合、前記ユーザの視界に入るように前記生成手段により生成された前記提示情報を第１の情報処理装置の第１の表示部に表示させる、もしくは、前記第１の情報処理装置が撮影した画像と前記提示情報とを前記第１の表示部に表示させる第１の表示制御手段と、
   前記第１の表示制御手段により前記第１の表示部に表示された前記提示情報に基づいて決定手段により決定され、前記第１の情報処理装置と異なる第２の情報処理装置の第２の表示部に第２の表示制御手段によって表示された、前記提示情報に関する詳細情報が、前記ユーザによって注視されたことを検出手段により検出した場合に、前記第１の表示部に表示される前記提示情報の表示を制御する制御手段と、
   を有することを特徴とするシステム。
2. 前記制御手段は、前記検出手段により前記詳細情報に対する前記ユーザの注視が検出された場合、前記第１の表示部に表示される前記提示情報の表示を抑制することで、前記詳細情報の視認性を向上できる
   ことを特徴とする請求項１に記載のシステム。
3. 前記第１の表示制御手段により前記第１の表示部に表示された複数の前記提示情報の中から、前記ユーザからの指定に応じた前記提示情報を、選択情報として、選択する選択手段と、
   前記選択手段による前記選択情報の選択が、前記選択手段による選択ミスであることを検知する検知処理を行う第１の検知手段と、を更に有する請求項１に記載のシステム。
4. 前記選択手段は、前記第１の検知手段により前記選択手段による選択ミスであることが検知された前記選択情報を、再度、選択できないように制御する請求項３に記載のシステム。
5. 前記選択手段は、前記第１の検知手段により前記選択情報が前記選択手段による選択ミスであることが検知された場合、前記第１の表示部に表示された複数の前記提示情報のうち、前記選択情報を除いたものの中から、再度、前記選択情報となる提示情報を選択する請求項３に記載のシステム。
6. 前記選択手段は、前記第１の表示制御手段により前記第１の表示部に表示された複数の前記提示情報の中から、ポインティングデバイスを介して前記ユーザにより選択された位置に最も近い前記提示情報を、前記選択情報として選択し、
   前記第１の検知手段は、前記選択手段による前記選択情報の選択の際に前記ポインティングデバイスを介して前記ユーザにより選択された位置と、前記位置が選択される前に前記ポインティングデバイスを介して前記ユーザにより選択された位置と、の距離が予め定められた値よりも小さい場合に、前記選択手段による前記選択情報の選択が、前記選択手段による選択ミスであることを検知する請求項３に記載のシステム。
7. 前記選択手段は、更に、前記ポインティングデバイスを介して前記ユーザにより選択された位置と、前記ユーザにより選択された位置に最も近い前記提示情報の位置と、の距離が前記予め定められた値よりも大きい場合に、前記提示情報の選択を行わない請求項６に記載のシステム。
8. 前記第２の表示制御手段により前記第２の表示部に表示された前記詳細情報に対する前記ユーザによる注視動作を検知する検知処理を行う第２の検知手段を更に有し、
   前記第１の検知手段は、前記第２の検知手段による検知処理の結果の遷移に基づいて、前記選択手段による前記選択情報の選択が、前記選択手段による選択ミスであることを検知する検知処理を行う請求項３に記載のシステム。
9. 前記第１の情報処理装置は、
   前記ユーザの観察対象に関連した情報を出力する出力手段を更に有し、
   前記生成手段は、前記出力手段により出力された情報に基づいて、前記提示情報を生成する請求項１から８のいずれか１項に記載のシステム。
10. 前記検出手段により前記注視が検出された場合、前記制御手段は、前記第１の表示部への前記提示情報の表示を禁止する請求項２に記載のシステム。
11. 前記検出手段は、前記第１の情報処理装置の姿勢に基づいて、前記注視を検出する請求項２または１０に記載のシステム。
12. 前記検出手段は、前記第２の情報処理装置の姿勢に基づいて、前記注視を検出する請求項２または１０に記載のシステム。
13. 前記検出手段は、前記第１の情報処理装置の撮像部により撮像された画像に、前記第２の表示部が含まれるか否かに基づいて、前記注視を検出する請求項２または１０に記載のシステム。
14. 前記検出手段は、前記第１の情報処理装置の撮像部により撮像された画像に、前記第２の表示部に表示された前記詳細情報が含まれるか否かに基づいて、前記注視を検出する請求項２または１０に記載のシステム。
15. 前記検出手段は、前記第２の情報処理装置の撮像部により撮像された画像に、前記第１の情報処理装置が含まれるか否かに基づいて、前記注視を検出する請求項２または１０に記載のシステム。
16. 前記検出手段は、前記第２の情報処理装置の撮像部により撮像された画像に、前記ユーザが含まれるか否かに基づいて、前記注視を検出する請求項２または１０に記載のシステム。
17. 前記検出手段は、前記第２の表示制御手段により前記第２の表示部に表示された前記詳細情報に対する操作中であるか否かに基づいて、前記注視を検出する請求項２または１０に記載のシステム。
18. 前記第１の情報処理装置は、頭部装着型のウエアラブルデバイスである請求項１から１７のいずれか１項に記載のシステム。
19. システムが実行する情報処理方法であって、
    ユーザの観察対象に基づいて、前記ユーザへの提示情報を生成する生成ステップと、
    ウエアラブルデバイスである第１の情報処理装置を前記ユーザが身に着けた場合、前記ユーザの視界に入るように前記生成ステップにおいて生成された前記提示情報を第１の情報処理装置の第１の表示部に表示させる、もしくは、前記第１の情報処理装置が撮影した画像と前記提示情報とを前記第１の表示部に表示させる第１の表示制御ステップと、
    前記第１の表示制御ステップで前記第１の表示部に表示された前記提示情報に基づいて決定ステップで決定され、前記第１の情報処理装置と異なる第２の情報処理装置の第２の表示部に第２の表示制御ステップで表示された、前記提示情報に関する詳細情報が、前記ユーザによって注視されたことを検出ステップで検出した場合に、前記第１の表示部に表示される前記提示情報の表示を制御する制御ステップと、
    を含むことを特徴とする情報処理方法。
20. コンピュータに、
    ユーザの観察対象に基づいて、前記ユーザへの提示情報を生成する生成ステップと、
    ウエアラブルデバイスである第１の情報処理装置を前記ユーザが身に着けた場合、前記ユーザの視界に入るように前記生成ステップにおいて生成された前記提示情報を第１の情報処理装置の第１の表示部に表示させる、もしくは、前記第１の情報処理装置が撮影した画像と前記提示情報とを前記第１の表示部に表示させる第１の表示制御ステップと、
    前記第１の表示制御ステップで前記第１の表示部に表示された前記提示情報に基づいて決定ステップで決定され、前記第１の情報処理装置と異なる第２の情報処理装置の第２の表示部に第２の表示制御ステップで表示された、前記提示情報に関する詳細情報が、前記ユーザによって注視されたことを検出ステップで検出した場合に、前記第１の表示部に表示される前記提示情報の表示を制御する制御ステップと、
    を実行させるためのプログラム。

Images