JPWO2014181380A1 - 情報処理装置およびアプリケーション実行方法 - Google Patents

Abstract

記録部１４０は、イベントに、時間情報と物体画像情報とを関連付けたイベントリスト１５２を記録する。画像処理部２３４は、記録部１４０に記録された時間情報により特定される時間帯に撮影された撮影画像に、記録部１４０に記録された物体画像情報に対応する画像が含まれているか判定する。条件判定部２３６は、撮影画像に物体画像情報に対応する画像が含まれていることが判定されると、イベント開始条件が成立したことを判定する。開始指示部２３８は、アプリケーション実行部２２０に、アプリケーションの処理を指示すると、アプリケーション実行部２２０は、開始条件が成立したイベントに関連付けられたアプリケーションの処理を開始する。

Description

本発明は、撮影画像を処理する情報処理技術に関する。

従来より、ユーザの現在の状況に応じて、コンテンツを選択して自動再生する技術が様々提案されている。たとえば特許文献１は、ユーザの生体情報からユーザの心理状態を判定し、その心理状態に基づいて音楽を選択する再生装置を開示している。

また近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されており、奥行きを持った立体映像を呈示可能なヘッドマウントディスプレイ（Head Mounted Display: 以下「ＨＭＤ」と記載する。）が普及している。ＨＭＤには様々な種類が存在するが、その１つにホログラフィック素子やハーフミラー等を用いて、仮想的な立体映像をユーザに呈示しつつ、ＨＭＤの外の様子をシースルーで見させることのできる光学透過型ＨＭＤがある。

特開２００６−１４６６３０号公報

特許文献１は、再生する音楽を選択するために、ユーザの心理状態を利用する斬新なアプローチを採用しているが、現実には高精度で心理状態を判定することは容易でない事情がある。そこでユーザの現在の状況を適切に判断して、ユーザに対して好適なタイミングでサービスを提供する技術の開発が望まれている。本発明者は、特にこのような技術をウェアラブルコンピュータ、たとえば光学透過型ＨＭＤを備えたコンピュータに搭載することで、ユーザの現在の状況を的確に判断でき、好適にサービスを提供できる可能性を見いだした。さらに本発明者はＨＭＤなどの装着型ディスプレイの特徴を利用して、ユーザが扱いやすいユーザインタフェースを想到するに至った。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ユーザに対して好適にサービスを提供することのできる情報処理技術、またユーザが扱いやすいユーザインタフェースアプリケーションを提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、イベントに、時間情報と物体画像情報とを関連付けたイベントリストを記録する記録部と、実空間を撮影する撮像部と、イベント開始条件が成立したか否かを判定する制御部と、アプリケーションを処理する実行部とを備える。制御部は、記録部に記録された時間情報により特定される時間帯に撮影された撮影画像に、記録部に記録された物体画像情報に対応する画像が含まれているか判定する画像処理部と、撮影画像に物体画像情報に対応する画像が含まれていることが判定されると、イベント開始条件が成立したことを判定する条件判定部と、実行部に、アプリケーションの処理を指示する指示部とを有する。実行部は、開始条件が成立したイベントに関連付けられたアプリケーションの処理を開始する。

本発明の別の態様は、アプリケーション実行方法である。この方法は、実空間を撮影した撮影画像を取得するステップと、イベントに時間情報と物体画像情報とを関連付けたイベントリストを参照して、イベントリストに含まれる時間情報により特定される時間帯に撮影された撮影画像に、イベントリストに含まれる物体画像情報に対応する画像が含まれているか判定するステップと、撮影画像に物体画像情報に対応する画像が含まれていることが判定された場合に、イベント開始条件が成立したことを判定するステップと、開始条件が成立したイベントに関連付けられたアプリケーションの処理を開始させるステップとを備える。

本発明のさらに別の態様は、情報処理装置である。この装置は、実空間に仮想オブジェクトを重畳して呈示する情報処理装置であって、仮想オブジェクトを実空間中でユーザが観察できるように表示する装着型ディスプレイと、実空間を撮影する撮像部と、撮影画像に含まれる実物体画像を特定する画像処理部と、特定した実物体画像、または実物体画像に対応するマーク画像を、物体画像として記録する記録部と、装着型ディスプレイに、物体画像を表示する表示処理部とを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ユーザに対して好適にサービスを提供することのできる情報処理技術を提供することができ、またユーザが扱いやすいユーザインタフェースアプリケーションを提供することができる。

実施例に係る情報処理装置の外観の一例を模式的に示す図である。 実施例に係る情報処理システムを模式的に示す図である。 情報処理装置のユーザインタフェース提供機能を実現するための機能ブロックを示す図である。 撮像部により撮影される撮影画像の一例を示す図である。 （ａ）および（ｂ）は、ジェスチャ入力モード開始の検出処理を説明するための図である。 メニュー画面の配置位置を説明するための図である。 （ａ）および（ｂ）は、ユーザがジェスチャを行った様子を示す図である。 （ａ）および（ｂ）は、ユーザがジェスチャを行った様子を示す図である。 （ａ）および（ｂ）は、ジェスチャ入力モード終了の検出処理を説明するための図である。 下層のメニュー画面の一例を示す図である。 下層のメニュー画面の一例を示す図である。 ユーザがディスプレイ装置を介して見える光景を示す図である。 時計を取り囲む軌跡を示す図である。 実物体特定部により特定された実物体画像を示す図である。 ユーザの平均的な行動表を示す図である。 イベント候補呈示画面を示す図である。 スケジュール表作成画面を示す図である。 ドラッグ操作によりイベント名を表領域に配置する動作を説明するための図である。 表領域にイベント名を割り当てた状態を示す図である。 スケジュール表作成画面を示す図である。 ドラッグ操作により物体画像を表領域に配置されたイベント名に関連付ける動作を説明するための図である。 イベントに物体画像を割り当てた状態を示す図である。 スケジュール表の一例を示す図である。 イベントの選択画面を示す図である。 情報処理装置のアプリケーション処理機能を実現するための機能ブロックを示す図である。 イベントリストを説明するための図である。 イベントリストの一例を示す図である。 イベントとコンテンツとを関連付けたコンテンツ表を示す図である。

拡張現実（ＡＲ）技術においてユーザに呈示される情報は、アノテーションとも呼ばれ、テキスト、アイコンまたはアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化される。たとえば、ＡＲ技術を広告のために利用する場合には、実空間の建物の壁面または看板などに、広告用の仮想オブジェクトが重畳されて表示される。また、ＡＲ技術を道案内のために利用する場合には、実世界で目印となる物体または路上などに、道案内用の仮想オブジェクトや地図などが重畳されて表示される。

このようなＡＲアプリケーションでは、まずマーカが登録され、マーカに対応する実物体が撮影されることで、マーカに関連付けられた処理（サービス）が起動される。本発明者は、ユーザが個別にマーカを登録できるようにすることで、アプリケーションをユーザカスタマイズして処理できることに注目し、ユーザがマーカを簡易に登録するためのユーザインタフェースを開発するに至った。また、登録したマーカと実物体画像とを照合した後、視覚的なアノテーションに限らず、他の種類のアプリケーションをユーザに提供することで、ＡＲ技術の可能性を広げられることにも注目した。以下、本発明を実施例をもとに説明する。

図１は、実施例に係る情報処理装置の外観の一例を模式的に示す図である。情報処理装置１０は、視覚的なユーザインタフェースなどの仮想オブジェクトを呈示するディスプレイ装置１２、撮像部１４、イヤホン１６、マイク（図示せず）および種々のモジュールを収納する筐体１８を含む。本実施例の情報処理装置１０はウェアラブルコンピュータであって、光学透過型ＨＭＤなどを有する映像観察デバイスとして構成されてよいが、たとえば携帯電話やＰＤＡ（Personal Digital Assistant）などの撮像部を備えた端末装置として構成されてもよい。情報処理装置１０は、実空間に仮想オブジェクトを表現する映像を重畳してユーザに観察させる機能を有する。撮像部１４は、情報処理装置１０を装着したユーザの周囲の環境を周期的（たとえば３０枚／秒または６０枚／秒）に撮像し、イヤホン１６は、音声を出力し、マイクは、ユーザが発する音声や実空間中に存在する環境音を取得する。

本実施例においてディスプレイ装置１２は、ハーフミラーで構成された光学透過型ＨＭＤであって、ユーザはディスプレイ装置１２を介して実空間をシースルーで見ることができ、また情報処理装置１０が生成した映像（仮想オブジェクト）を見ることができる。情報処理装置１０は立体映像を生成してもよい。ディスプレイ装置１２はホログラフィック素子を用いて導光板に映像を投影するディスプレイ装置であってもよく、虚像を形成して映像を観察できるようにする投影方式のディスプレイ装置であってもよい。なおディスプレイ装置１２は、ビデオ透過型ＨＭＤであってもよく、撮像部１４で撮影した実空間画像を表示しつつ、情報処理装置１０が生成した仮想オブジェクトを実空間画像に重畳して表示してもよい。このように情報処理装置１０は、ユーザに実空間をユーザ周辺の環境として見せつつ、その周辺環境に、仮想的なオブジェクトを重畳して表示する装着型のものであればよい。

本実施例において「実物体」は、実空間に存在する物を意味し、「仮想オブジェクト」は、情報処理装置１０が作り出したオブジェクトを意味する。ディスプレイ装置１２が光学透過型ＨＭＤである場合、実物体は、ユーザにより光学透過型ＨＭＤを介してシースルーで観察される。またディスプレイ装置１２がビデオ透過型ＨＭＤである場合、実物体は、ビデオ透過型ＨＭＤに表示されてユーザにより観察される。なお撮影画像から実物体の画像を切り出して、情報処理装置１０がディスプレイ装置１２の任意の位置に表示する場合、その実物体画像は、仮想オブジェクトとして扱われる。

ディスプレイ装置１２は２つのめがねの形態をとり、右めがねに右目用画像、左めがねに左目用画像を表示する。これによりユーザは立体的な映像を観察できるようになる。なお本実施例のディスプレイ装置１２は、必ずしも立体映像を提供する仕組みを有しなくてもよく、たとえば片目用の１つのめがねのみを有していてもよい。

撮像部１４は、情報処理装置１０をユーザが装着したとき、ユーザの眉間のあたりに配置されるように２つのメガネ型ディスプレイの間に設けられており、ユーザの視野に含まれる実空間を撮像する。なお撮像部１４の画角は、人間の視野角に一致ないしは同等であることが好ましいが、図１に示すタイプの情報処理装置１０では、撮像部１４の画角は人間の視野角より狭いこともある。撮像部１４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。

筐体１８は、めがね形状の情報処理装置１０のめがねフレームの役割を果たすとともに、情報処理装置１０が利用する様々なモジュールを収容する。情報処理装置１０が利用するモジュールとは、光学透過型ＨＭＤを実現するためのモジュール、３次元映像（仮想オブジェクト）を生成するためのモジュール、Bluetooth（登録商標）プロトコル、IEEE802.11プロトコルまたは移動通信プロトコルなどにより通信処理を行うための通信モジュール、音声出力するためのモジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、および照度センサ等である。これらのモジュールは例示であり、また情報処理装置１０はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、情報処理装置１０が想定する利用シーンに応じて決定すればよい。

図１に示す情報処理装置１０は、めがね形状を有しているが、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられる。本実施例の情報処理装置１０は、いずれの形状を有してもよい。なおこれらは装着型のウェアラブルコンピュータの形状の例であるが、携帯電話機や携帯ゲーム機なども情報処理装置１０の形態としてあげることができる。

本実施例において情報処理装置１０は、ユーザが扱いやすいユーザインタフェースを提供し、またユーザの行動に応じてコンテンツを提供する機能を有する。なおユーザに提供されるコンテンツは、情報処理装置１０の記録部に保持されているものであってもよく、またコンテンツサーバや端末装置などの外部機器から配信されるものであってもよい。以下、外部機器から情報処理装置１０にコンテンツを配信する環境について説明する。

図２は、実施例に係る情報処理システムを模式的に示す図である。情報処理システム１は、通信機能を有する端末装置２と、デジタルコンテンツを配信するコンテンツサーバ４と、無線アクセスポイントおよびルータの機能を有するアクセスポイント（以下、「ＡＰ」とよぶ）５と、移動電話通信の基地局６とを備える。コンテンツサーバ４、ＡＰ５および基地局６は、インターネットなどのネットワーク３に接続している。情報処理装置１０は通信機能を有し、端末装置２および／またはコンテンツサーバ４からコンテンツを取得する。情報処理装置１０は、端末装置２からBluetooth（登録商標）プロトコル通信でコンテンツを受信してもよい。また情報処理装置１０は、ＡＰ５との間でIEEE802.11プロトコルによる接続を確立し、コンテンツサーバ４からＡＰ５経由でコンテンツを受信してもよい。また情報処理装置１０は、基地局６との間で移動通信プロトコルによる接続を確立し、コンテンツサーバ４から基地局６経由でコンテンツを受信してもよい。このように情報処理装置１０は、外部機器からコンテンツを取得することができる。

情報処理装置１０の機能の概要を説明する。なお以下ではディスプレイ装置１２が、ユーザが実空間をシースルーで見ることができる光学透過型ＨＭＤである場合を例にとる。情報処理装置１０はＡＲアプリケーションを搭載し、ディスプレイ装置１２に、仮想オブジェクトを表示する機能をもつ。

情報処理装置１０は、ユーザの状況に応じて、アプリケーションを処理することができる。ここでアプリケーションの処理とは、ユーザの状況に応じたアプリケーションを起動して実行することと、また特定のアプリケーションにおいてユーザの状況に応じたコンテンツを実行することを含む。たとえば前者は、朝ユーザが会社に出勤する前に、道路の混雑情報や電車の遅延情報、今日の天気予報などを通知するアプリケーションを起動して実行し、またユーザが自宅を出て通勤している間に、音楽を再生するアプリケーションを起動して実行することなどを含む。また、たとえば後者は、朝ユーザが会社に出勤する前に、目覚めのよい音楽を再生し、また通勤中は、外国語の勉強のために外国語のラジオ番組をストリーミング再生することなどを含む。本実施例の情報処理装置１０は、イベントと時間情報と物体画像情報とを関連付けたイベントリストを保持しておき、時間情報により特定される時間帯に撮像部１４が撮影した実空間画像に、物体画像情報に対応する画像が含まれていれば、そのイベントの開始条件が成立したことを判定して、そのイベントに関連付けられているアプリケーションの処理を開始する。

以上の機能を効率よく実現するために、情報処理装置１０は、ユーザが一日のスケジュール表を作成するためのユーザインタフェースを提供する。一般にスケジュール表では、イベントに関連付けて、イベントの開始時刻、終了時刻が設定されるが、本実施例のスケジュール表には、さらにイベント開始条件の成立を判定するための物体画像情報が登録される。

イベントリストは、ユーザが作成したスケジュール表と同じであってもよいが、後で詳述するように、スケジュール表を加工して生成されることが好ましい。映像観察デバイスである情報処理装置１０は撮像部１４を有しており、撮像部１４が、イベントリストに登録された物体画像情報に対応する実物体を撮影すると、その物体画像情報に関連付けられたイベントの開始条件が成立したことが判定される。

以下において、ユーザがスケジュール表を簡易に作成できるようにするための基本操作を実現するユーザインタフェースを説明する。

＜ユーザインタフェース提供機能＞
図３は、情報処理装置１０のユーザインタフェース提供機能を実現するための機能ブロックを示す。情報処理装置１０は、入出力機能を提供するディスプレイ装置１２、撮像部１４およびマイク２０を備える。また情報処理装置１０は、撮像部１４およびマイク２０からの入力を操作情報に変換する入力受付部１００、各種処理を行う処理部８０およびデータを記録する記録部１４０を備え、処理部８０は、画像処理部１１０、表示処理部１２０、スケジュール登録部１５０を有する。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム、ストレージなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。なお記録部１４０は、フラッシュメモリ、ＨＤＤなどにより構成されてよい。なお実施例では、図３に示す機能ブロックを情報処理装置１０が備えていることを前提とするが、後述するように、図３に示す機能ブロックの一部は、端末装置２によって実現されてもよい。

入力受付部１００は、撮像部１４またはマイク２０から入力された情報を受け付ける。マイク２０からは音情報が入力され、入力受付部１００は音声認識機能を有して、ユーザからの音声を認識して操作情報を生成し、生成した操作情報を表示処理部１２０、画像処理部１１０および／またはスケジュール登録部１５０などの処理モジュールに提供する。

また入力受付部１００は、撮像部１４で撮影された撮影画像を受け取ると、撮影画像に含まれるユーザのジェスチャを検出して、そのジェスチャから操作情報を生成し、生成した操作情報を表示処理部１２０、画像処理部１１０および／またはスケジュール登録部１５０などの処理モジュールに提供する。本実施例において、撮像部１４はユーザの眉間あたりに配置されているため、入力受付部１００がジェスチャを認識する物体は、ユーザの視線方向付近の手の動きや指の動きとなる。なお、入力受付部１００が所定の形状の物体をジェスチャ認識用物体として登録しておき、ユーザがその物体を撮像部１４の画角内で動かすことで、入力受付部１００がジェスチャを検出するようにしてもよい。以下、入力受付部１００が、ジェスチャ認識用物体であるユーザの手や指の動きを検出して、操作情報を生成する例について説明する。入力受付部１００は、ジェスチャ入力モードの開始を検出すると、ジェスチャ認識処理を開始し、ジェスチャ入力モードの終了を検出すると、ジェスチャ認識処理を終了する。

図４は、撮像部１４により撮影される撮影画像の一例を示す。撮像部１４は、情報処理装置１０を装着したユーザの視線方向を含む所定の画角で実空間を撮影する。たとえば図４は、自宅のリビングルームの様子を撮影した画像を示している。なお撮影画像中、点線で囲んだ領域は、ユーザの手や指の動き（ジェスチャ）を認識するためのジェスチャ認識領域３０として設定されている。

図５（ａ）および図５（ｂ）は、ジェスチャ入力モード開始の検出処理を説明するための図である。図５（ａ）および図５（ｂ）は、それぞれジェスチャ入力モード開始を異なる条件で判定する例を示している。

図５（ａ）は、ジェスチャ認識領域３０に、ユーザの手が進入する様子を示す。入力受付部１００は、撮影画像のジェスチャ認識領域３０にユーザの手が含まれたことを検出すると、ジェスチャ入力モードの開始条件が成立したことを判定し、ジェスチャ認識処理を開始する。なお、ジェスチャ認識領域３０が撮影画像の領域全体を占める場合、ユーザの手がフレームインしたことが、ジェスチャ入力モードの開始条件として設定されていることに等しくなる。

図５（ｂ）は、ジェスチャ認識領域３０に撮影されている手が所定の動作を行った様子を示す。入力受付部１００は、撮影画像のジェスチャ認識領域３０に含まれるユーザの手が所定の動作を行ったことを検出すると、ジェスチャ入力モードの開始条件が成立したことを判定し、ジェスチャ認識処理を開始する。なお、所定の動作とは、ユーザが手を所定のポーズにすることや、また所定の連続的な動きをすることを含む。

以上のように、入力受付部１００は、ジェスチャ認識領域３０における手の動きを認識し、その動きがジェスチャ入力モードの開始条件を成立させる場合に、ジェスチャ認識処理を開始する。なお以下において、「手」は、手全体ないしは指を含むものとして説明する。

ジェスチャ入力モードが開始されると、ディスプレイ装置１２のＡＲ表示領域に、メニュー画面が表示される。これによりユーザは実空間を見ながら、ディスプレイ装置１２に表示されるメニュー画面も見られるようになる。なおメニュー画面などのＡＲ表示領域に表示される仮想オブジェクトは、実空間においてジェスチャ認識領域３０中の対応する位置に配置される。

ディスプレイ装置１２のＡＲ表示領域と、撮影画像のジェスチャ認識領域３０との関係について説明する。ＡＲ表示領域は、ディスプレイ装置１２の背景として広がる実空間に、仮想オブジェクトを重ね合わせてユーザに見せるための領域である。ユーザは、表示された仮想オブジェクトに対して手や指を使って入力操作を行う。この入力操作は、撮像部１４により撮影されなければならないため、したがって仮想オブジェクトは、撮像部１４の画角内に仮想的に配置されていなければならず、さらに言えば、ジェスチャ認識領域３０内に仮想的に配置されていなければならない。このため、ディスプレイ装置１２のＡＲ表示領域と撮影画像のジェスチャ認識領域３０とは、それぞれ独立した空間座標を有するものであるが、両者は互いに重なっている必要があり、さらには同一の画像領域であることが好ましい。以下、ＡＲ表示領域とジェスチャ認識領域３０とが実空間における同一の領域を示すものとする。

図６は、メニュー画面３２の配置位置を説明するための図である。なお、図６はディスプレイ装置１２の表示領域の一部を示しており、ここでは撮影画像と同じ領域を示している。実際のディスプレイ装置１２の表示領域は、図６に示すよりも大きいことが通常である。あくまでも図６はユーザが見ている実空間にメニュー画面３２が重畳されて観察されることを示すための説明図であることに留意されたい。また図６において、ディスプレイ装置１２に表示されているのはメニュー画面３２のみであり、それ以外のリビングルームの背景は、ユーザがハーフミラーであるディスプレイ装置１２を介して、直接見ている光景であることにも留意されたい。

図７（ａ）は、ユーザがクリックジェスチャを行った様子を示す。情報処理装置１０において、クリック操作は、２次元ＡＲ表示座標を確定する操作として利用される。たとえばディスプレイ装置１２にアイコンなどの仮想オブジェクトが表示されている場合、ユーザは、仮想オブジェクトに対してクリックジェスチャを行うことで、その仮想オブジェクトを選択することができる。

入力受付部１００は、手が撮像部１４の光軸方向、つまり奥行き方向を往復した場合に、クリックジェスチャが行われたことを判定する。撮像部１４がステレオカメラで構成されている場合、入力受付部１００は、撮影された手の視差量から奥行き方向の手の動きを検出できる。一方撮像部１４が単眼カメラで構成されている場合には、手の大きさの変化を検出して、奥行き方向の手の動きを検出することができる。なお情報処理装置１０が距離センサを有して、距離センサの計測値で手の奥行き方向の動きが検出されてもよい。入力受付部１００は、クリックジェスチャを連続して２回検出すると、ダブルクリック操作が行われたことを判定する。

入力受付部１００は、ジェスチャ認識領域３０においてクリックジェスチャを検出すると、クリック操作が行われたことを示す情報を、クリック操作が行われた２次元ＡＲ表示座標値とともに、表示処理部１２０、画像処理部１１０および／またはスケジュール登録部１５０などの処理モジュールに伝達する。入力受付部１００は、ジェスチャ認識領域３０においてクリックジェスチャが行われた２次元座標値を、２次元ＡＲ表示座標値に変換する。入力受付部１００は、このように撮影画像における２次元座標値を２次元ＡＲ表示座標値に変換し、処理モジュールに伝達する機能を有している。以下、この座標値の変換および伝達については説明を省略する。

図７（ｂ）は、ユーザがドラッグジェスチャを行った様子を示す。情報処理装置１０において、ドラッグ操作は、２次元または３次元ＡＲ座標系に表示されている仮想オブジェクトを移動させる操作として利用される。ディスプレイ装置１２に仮想オブジェクトが表示されている場合、ユーザは、仮想オブジェクトに対してドラッグジェスチャを行うことで、その仮想オブジェクトを移動させることができる。

入力受付部１００は、手がＡＲ座標系を縦横斜めに移動した場合に、ドラッグジェスチャが行われたことを判定する。入力受付部１００は、ジェスチャ認識領域３０においてドラッグジェスチャを検出すると、ドラッグ操作が行われたことを示す情報を、表示処理部１２０、画像処理部１１０および／またはスケジュール登録部１５０などの処理モジュールに伝達する。なおドラッグ操作は、クリック操作により選択された仮想オブジェクトに対して行われる。したがって入力受付部１００は、クリックジェスチャが行われた仮想オブジェクトを特定し、その仮想オブジェクトに対してドラッグジェスチャが行われた場合に、その仮想オブジェクトに対するドラッグ操作情報を所定の処理モジュールに伝達する。なお入力受付部１００は、ドラッグ操作の終了を、その仮想オブジェクトに対してクリックジェスチャが行われたときに認識する。

図８（ａ）は、ユーザがズームインジェスチャを行った様子を示す。情報処理装置１０において、ズームイン操作は、２次元または３次元ＡＲ座標系に表示されている仮想オブジェクトを拡大させる操作として利用される。ディスプレイ装置１２に仮想オブジェクトが表示されている場合、ユーザは、仮想オブジェクトに対してズームインジェスチャを行うことで、その仮想オブジェクトを拡大表示させることができる。

入力受付部１００は、２本の指の間隔がＡＲ座標系において広がった場合に、ズームインジェスチャが行われたことを判定する。入力受付部１００は、ジェスチャ認識領域３０においてズームインジェスチャを検出すると、ズームイン操作が行われたことを示す情報を、表示処理部１２０、画像処理部１１０および／またはスケジュール登録部１５０などの処理モジュールに伝達する。なおズームイン操作は、クリック操作により選択された仮想オブジェクトに対して行われる。したがって入力受付部１００は、クリックジェスチャが行われた仮想オブジェクトを特定し、その仮想オブジェクトに対してズームインジェスチャが行われた場合に、その仮想オブジェクトに対するズームイン操作情報を所定の処理モジュールに伝達する。なお入力受付部１００は、ズームイン操作の終了を、その仮想オブジェクトに対してクリックジェスチャが行われたときに認識する。

図８（ｂ）は、ユーザがズームアウトジェスチャを行った様子を示す。情報処理装置１０において、ズームアウト操作は、２次元または３次元ＡＲ座標系に表示されている仮想オブジェクトを縮小させる操作として利用される。ディスプレイ装置１２に仮想オブジェクトが表示されている場合、ユーザは、仮想オブジェクトに対してズームアウトジェスチャを行うことで、その仮想オブジェクトを縮小表示させることができる。

入力受付部１００は、２本の指の間隔がＡＲ座標系において狭まった場合に、ズームアウトジェスチャが行われたことを判定する。入力受付部１００は、ジェスチャ認識領域３０においてズームアウトジェスチャを検出すると、ズームアウト操作が行われたことを示す情報を、表示処理部１２０、画像処理部１１０および／またはスケジュール登録部１５０などの処理モジュールに伝達する。なおズームアウト操作は、クリック操作により選択された仮想オブジェクトに対して行われる。したがって入力受付部１００は、クリックジェスチャが行われた仮想オブジェクトを特定し、その仮想オブジェクトに対してズームアウトジェスチャが行われた場合に、その仮想オブジェクトに対するズームアウト操作情報を所定の処理モジュールに伝達する。なお入力受付部１００は、ズームアウト操作の終了を、その仮想オブジェクトに対してクリックジェスチャが行われたときに認識する。

図９（ａ）および図９（ｂ）は、ジェスチャ入力モード終了の検出処理を説明するための図である。図９（ａ）および図９（ｂ）は、それぞれジェスチャ入力モード終了を異なる条件で判定する例を示している。

図９（ａ）は、ジェスチャ認識領域３０から、ユーザの手が退避する様子を示す。入力受付部１００は、ジェスチャ認識処理の実行中に、撮影画像のジェスチャ認識領域３０にユーザの手が含まれなくなったことを検出すると、ジェスチャ入力モードの終了条件が成立したことを判定し、ジェスチャ認識処理を終了する。

図９（ｂ）は、ジェスチャ認識領域３０に撮影されている手が所定の動作を行った様子を示す。入力受付部１００は、ジェスチャ認識処理の実行中に、撮影画像のジェスチャ認識領域３０に含まれるユーザの手が所定の動作を行ったことを検出すると、ジェスチャ入力モードの終了条件が成立したことを判定し、ジェスチャ認識処理を終了する。なお、所定の動作とは、ユーザが手を所定のポーズにすることや、また所定の連続的な動きをすることを含む。

ジェスチャ入力モードが終了されると、ディスプレイ装置１２のＡＲ表示領域に表示されていたメニュー画面などは消失する。

なお後述するように、本実施例のインタフェースでは、メニュー画面に含まれる項目を選択することで、下層のメニュー画面が開き、さらに下層メニュー画面に含まれる項目に関する処理を実行するなど、連続して様々な処理が行われる。そのため、図９（ａ）ないしは図９（ｂ）に関連するジェスチャ入力モードの終了条件が成立した場合に、即座にメニュー画面や、表示中のインタフェースをディスプレイ装置１２から消すのは好ましくないことも考えられる。そこで、入力モードの終了条件が成立した場合には、ユーザに、終了する旨の確認メッセージをディスプレイ装置１２に表示し、ユーザが明示的にＯＫを出した場合に、ディスプレイ装置１２から仮想オブジェクトを消すようにしてもよい。

また特に図９（ａ）に関連する終了条件は、ユーザの手がフレームアウトしたときに成立するため、意図せずに終了条件が成立する可能性が高いといえる。そこで、入力モードの開始条件には、図５（ａ）に関連するフレームインを採用し、一方で終了条件には、図９（ａ）に関連するフレームアウトを採用しないようにしてもよい。この場合、終了条件は、図９（ｂ）に関連するものを採用すればよい。なお、図５（ａ）に関連するフレームインの開始条件が成立し、所定時間（たとえば数秒以内）の間に図９（ａ）に関連するフレームアウトの終了条件が成立した場合には、ジェスチャ入力モードを開始する意図がなく、偶然ユーザの手がフレームインした可能性が高いため、確認メッセージを呈示することなく、ジェスチャ認識処理を終了してもよい。

このように情報処理装置１０は、ユーザのジェスチャを操作入力として扱うためのユーザインタフェースを提供する。なお入力受付部１００は、上記した例以外のジェスチャ、たとえば手の回転ジェスチャを検出して、仮想オブジェクトの回転操作情報を生成してもよい。このように入力受付部１００は、ジェスチャ認識用物体の動きを検出して、ユーザの操作情報を生成することができる。なお既述したように入力受付部１００は、マイク２０から入力される音声を解析して、ユーザの操作情報を生成してもよい。たとえばユーザが「クリック」と発声すると、入力受付部１００は、マイク２０から発声情報を受け付け、クリック操作情報を生成して所定の処理モジュールに伝達する。

本実施例の情報処理装置１０は、ユーザの一日のイベントの予定を設定したスケジュール表から、イベントリストを作成する。イベントリストの詳細は後述するが、情報処理装置１０はイベントリストをもとに、イベントの開始条件の成立を判定すると、そのイベントに関連付けられたアプリケーションの処理を行う。イベントの開始条件は、イベントリストに登録されているイベントの時間帯に、そのイベントに関連付けられている物体画像情報に対応する実物体が撮像部１４により撮影されたことである。このような処理を可能とするべく、イベントリストは、イベントに、時間情報と物体画像情報とを関連付けて構成されている。

イベントリストを作成するために、その基礎となるスケジュール表も、ユーザがイベントに、時間情報と物体画像情報とを関連付けて設定する。以下、このようなスケジュール表を作成するための手順の一例を示す。以下の例では、まず最初に、ユーザがイベントに関連付けるための物体画像を収集し、その後、スケジュール表を作成する際に、イベントの時間情報を特定して、イベントと収集した物体画像情報とを関連付ける作業を行う。

入力受付部１００が、図５（ａ）または図５（ｂ）に示すジェスチャを検出すると、ジェスチャ入力モードの開始条件が成立したことを判定し、表示処理部１２０にその旨を通知する。表示処理部１２０においてメニュー表示部１２２は、図６に示すメニュー画面３２を生成して、ディスプレイ装置１２に表示する。これによりユーザは、実空間に重ね合わされたメニュー画面３２を見ることができるようになる。

ユーザがディスプレイ装置１２に表示されるメニュー画面３２に重なる位置に指を動かし、「スケジュールアプリ」が表示された空間上の領域でクリックジェスチャを２回行うと、入力受付部１００が、ディスプレイ装置１２のＡＲ表示領域の座標値とダブルクリック操作情報を表示処理部１２０に送る。メニュー表示部１２２は、ＡＲ表示領域の座標値から、メニュー項目「スケジュールアプリ」が選択されたことを検出すると、「スケジュールアプリ」に対応付けられた下層のメニュー画面をＡＲ表示領域に表示する。

図１０は、下層のメニュー画面の一例を示す。図６に示すメニュー画面３２において「スケジュールアプリ」が選択されることで、図６に示すメニュー画面３２の代わりに、図１０に示すメニュー画面３４が表示される。メニュー画面３４には、メニュー項目「イベント開始オブジェクトの登録」、「イベント登録」、「スケジュール作成」、「スケジュール編集」が含まれる。

ユーザがディスプレイ装置１２に表示されるメニュー画面３４において、「イベント開始オブジェクトの登録」の表示領域上でダブルクリックジェスチャを行うと、入力受付部１００がダブルクリック操作情報と、そのＡＲ表示領域座標値を画像処理部１１０および表示処理部１２０に送る。なお「表示領域上」とは、ディスプレイ装置１２により表現される仮想空間上の表示領域上であることを意味する。メニュー表示部１２２は、メニュー項目「イベント開始オブジェクトの登録」が選択されたことを検出すると、該項目に対応付けられている下層のメニュー画面をディスプレイ装置１２に表示するとともに、画像処理部１１０は、撮影画像に含まれる実物体画像を特定する処理を開始する。

図１１は、下層のメニュー画面の一例を示す。図１０に示すメニュー画面３４において「イベント開始オブジェクトの登録」が選択されることで、図１１に示すメニュー画面３６が表示される。メニュー画面３４には、メニュー項目「フリーハンド描画」、「直接指定」、「画像認識」、「自動物体選定」、「登録」が含まれる。

図１２は、ユーザがディスプレイ装置１２を介して見える光景を示す。図６に関して説明したように、図１２もディスプレイ装置１２の表示領域の一部（撮影画像と同じ領域）を示しており、実際のディスプレイ装置１２の表示領域は、図１２に示すよりも大きいことが通常である。また図１２において、ディスプレイ装置１２に表示されているのはメニュー画面３６のみであり、それ以外のリビングルームの背景は、ユーザがハーフミラーであるディスプレイ装置１２を介して、直接見ている光景である。

ユーザが「フリーハンド描画」の表示領域上でダブルクリックジェスチャを行うと、フリーハンドでの入力モードが開始される。ユーザは、この入力モードにおいて、切り出したい物体を取り囲むように指を操作すると、軌跡表示部１３０が、指の動きに追従するように指の軌跡を仮想オブジェクトとしてディスプレイ装置１２に表示する。「フリーハンド描画」の入力の開始および終了は、ユーザのクリックジェスチャにより判定され、したがってユーザは、自由曲線の開始点で一回クリックジェスチャを行い、指を動かして物体を取り囲んだ時に一回クリックジェスチャを行うことで、自由曲線が確定される。

図１３は、時計を取り囲む軌跡３８を示す。このように軌跡３８が時計を取り囲むと、入力受付部１００が画像処理部１１０に自由曲線が確定されたことを通知し、これを受けて実物体特定部１１２は、ユーザにより選択された実物体画像を特定する。具体的に実物体特定部１１２は、撮像部１４から撮影画像を取得し、撮影画像において軌跡３８で取り囲まれている画像を特定して、その中に主として含まれている実物体画像を抽出する。このとき入力受付部１００は、実物体特定部１１２に対して、撮影された指の軌跡に関する情報を提供してもよく、また実物体特定部１１２が軌跡３８の情報を撮影画像における座標情報に変換することで、撮影画像において軌跡３８で取り囲まれている画像を特定してもよい。ここでは、時計が置かれている棚や壁の画像をそぎ取られ、時計の画像が抽出される。

実物体特定部１１２は、実物体画像を抽出すると、その外輪郭ないしは実物体画像の全体を彩色し、抽出処理が完了したことをユーザに知らせてもよい。ユーザは適切に抽出処理が完了したことを確認すると、メニュー画面３６における「登録」の表示領域上でダブルクリックジェスチャを行い、入力受付部１００がダブルクリック操作情報を画像処理部１１０に送ると、物体画像決定部１１４は、抽出した実物体画像を、物体画像１４４として記録部１４０に記録する。物体画像１４４は、後述するが、イベント開始条件の成立を判定するための基礎情報として用いられる。

物体画像決定部１１４は、物体画像１４４として、抽出した実物体画像に対応するマーク画像を記録部１４０に記録してもよい。記録部１４０には、物体に対応するマーク画像を含むマークデータ１４２が記録されている。マークデータ１４２は、物体に対して用意される複数のマーク画像を含む。ここで物体は時計であり、マークデータ１４２は、様々な種類の時計のマーク画像を含んでいる。置き時計は、その形状でいえば縦長のもの、横長のもの、丸いもの、表示方式でいえばアナログ式、デジタル式、また色でいえば赤いもの、青いもの、黒いものなど、様々なバリエーションがあるが、それらのバリエーションを網羅するようにマークデータ１４２が用意されている。物体画像決定部１１４は、実物体特定部１１２により抽出された実物体画像に同一または類似するマーク画像をマークデータ１４２から抽出して、抽出したマーク画像を、物体画像１４４として記録部１４０に記録してもよい。

具体的には、軌跡３８が時計を囲んだ状態で、ユーザがメニュー画面３６における「画像認識」の表示領域上でダブルクリックジェスチャを行うと、物体画像決定部１１４が、実物体画像に同一または類似するマーク画像をマークデータ１４２から抽出し、抽出されたマーク画像が、ユーザ確認用としてＡＲ表示領域に表示される。ユーザはマーク画像を見て、軌跡３８で囲んだ時計と同一または類似することを確認すると、メニュー画面３６における「登録」の表示領域上でダブルクリックジェスチャを行い、これにより物体画像決定部１１４が、マーク画像を物体画像１４４として記録部１４０に記録する。同一または類似の判断は、実物体画像とマーク画像のそれぞれの特徴量を算出して、その一致度に応じて判断されればよく、たとえば物体画像決定部１１４が、複数の類似するマーク画像をマークデータ１４２から抽出した場合には、それらのマーク画像がユーザ確認用としてＡＲ表示領域に表示されて、ユーザが選択できるようにする。

なおマークデータ１４２が置き時計の様々なバリエーションのマーク画像を含んでいることを示したが、他の物体、たとえば机、椅子、電車、建物、ドアなど、様々なものに関するマーク画像を含んでおり、撮影された実物体画像に同一または類似するマーク画像が適宜抽出されることが好ましい。

このように物体画像決定部１１４は、実物体画像またはマーク画像を、物体画像１４４として決定して、記録部１４０に記録する。ユーザはこの作業を繰り返すことで、複数の物体画像１４４を記録部１４０に記録することができる。

上記したように、ユーザの状況に応じてコンテンツを再生するアプリケーションにおいて、物体画像１４４は、撮影されることで、音楽が選択され再生されるための条件となっている。したがって、再生アプリケーションを実行するためのイベントを発生するためには、必ず１つの物体画像１４４をイベントリストに登録しておく必要があり、複数の物体画像１４４を登録しておくことで、いずれかの物体画像１４４が撮影される可能性を高められ、イベントの発生を高精度に検出できるようになる。そのためユーザは、１つのイベントに対して、複数の物体画像１４４を登録できるように、「イベント開始オブジェクトの登録」作業において、多くの物体画像１４４を記録部１４０に記録しておくことが好ましい。なお物体画像決定部１１４は、物体画像１４４として、撮像部１４により撮影された撮影画像全体を記録部１４０に記録してもよい。

以上は、ユーザが自由曲線で実物体を指定する例であるが、ユーザは実物体を直接指定することもできる。ユーザがメニュー画面３６において「直接指定」の表示領域上でダブルクリックジェスチャを行うと、直接指定による実物体の選択モードが開始される。ユーザは、このモードにおいて、実物体に対してクリックジェスチャを行うと、実物体特定部１１２は、ユーザにより選択された実物体画像を特定する。具体的に実物体特定部１１２は、撮影画像においてクリック操作が行われた空間座標値を含む実物体を抽出する。実物体特定部１１２は、実物体画像を抽出すると、その外輪郭ないしは実物体画像の全体を彩色し、抽出処理が完了したことをユーザに知らせてもよい。ユーザは適切に抽出処理が完了したことを確認すると、メニュー画面３６における「登録」の表示領域上でダブルクリックジェスチャを行い、入力受付部１００がダブルクリック操作情報を画像処理部１１０に送ると、物体画像決定部１１４は、抽出した実物体画像を、物体画像１４４として記録部１４０に記録する。なお、物体画像決定部１１４が、抽出した実物体画像に対応するマーク画像を、物体画像１４４として記録部１４０に記録してもよいことは上記したとおりである。

「フリーハンド描画」および「直接指定」モードは、ユーザが手動で実物体を選択するモードであるが、本実施例の情報処理装置１０は、自動で実物体を選択するモードも用意している。

ユーザがメニュー画面３６において「自動物体選定」の表示領域上でダブルクリックジェスチャを行うと、実物体の自動選定モードが開始される。このモードにおいては、実物体特定部１１２が、撮影画像に含まれる実物体画像を特定する。このとき実物体特定部１１２は、撮影画像において、周囲の環境に対して特徴的な要素を有している実物体画像を選定することが好ましい。ここで特徴的な要素とは、物体が背景色に対して大きなコントラストを有している、物体が周囲に対して大きな形状を有している、などがあげられる。たとえば図４の例でいえば、時計、テーブル、テーブルの手前の椅子、時計が置かれた棚などが、周囲の環境に対して特徴的な要素を有する物体として選定される。

図１４は、実物体特定部１１２により特定された実物体画像を示す。実物体特定部１１２は、時計、テーブル、テーブルの手前の椅子、時計が置かれた棚を選定し、それぞれの外輪郭線の内側のハッチングをディスプレイ装置１２に表示させている。これによりユーザは、４つの実物体が特定されたことを認識する。ユーザがメニュー画面３６における「登録」の表示領域上でダブルクリックジェスチャを行い、入力受付部１００がダブルクリック操作情報を画像処理部１１０に送ると、物体画像決定部１１４は、抽出した実物体画像を、物体画像１４４として記録部１４０に記録する。なお、物体画像決定部１１４が、抽出した実物体画像に対応するマーク画像を、物体画像１４４として記録部１４０に記録してもよいことは上記したとおりである。

なお物体画像１４４としてマーク画像を記録する場合、物体画像決定部１１４は、実物体特定部１１２により特定された実物体画像に対応するマーク画像の存在の有無を確認する。たとえば、テーブルの手前の椅子に対応するマーク画像がマークデータ１４２に含まれていない場合、椅子のマーク画像を記録部１４０に記録できないため、物体画像決定部１１４は、椅子に、ハッチング画像を重ね合わせないように決定することが好ましい。そのため、実物体特定部１１２によるハッチング画像の生成は、物体画像決定部１１４による対応マーク画像の存在確認が行われた後に、行われることが好ましい。

また「自動物体選定」モードにおける実物体の選定処理は、ユーザの意志には関係なく行われるため、ユーザは、実物体特定部１１２により特定された実物体画像またはそのマーク画像を、物体画像１４４として記録するか否かを判断できるようにしてもよい。たとえばテーブルの手前の椅子は、通常、その場所（リビングルーム）には存在せず、偶然そのときに存在したものであるとする。物体画像１４４は、イベント開始の条件を構成するため、普段から存在する物体の画像であることが好ましい。ユーザは、椅子のハッチングが施された領域上でダブルクリックジェスチャを行うことで、物体画像１４４の候補から除外することができる。

このようにユーザはメニュー画面３６の項目を選択することで、様々なモードで物体画像１４４を記録部１４０に記録することが可能である。

ここで、システムエンジニアであるユーザの平日の行動の一例を示す。ユーザは朝起床し、朝ご飯を食べて身支度を整え、会社に出勤する。会社に到着すると、デスクにつき、パソコンの画面を見ながらプログラミング作業を行う。昼休みになるとランチをとり、昼休みが終わると、午後の作業にとりかかる。退社時刻になるとパソコンの電源を落とし、帰宅する。帰宅後は、お風呂に入って晩ご飯を食べ、テレビを見て就寝時刻になるとベッドに入る。このような一日の行動は、様々なイベントに分けることができる。

図１５は、ユーザの平均的な行動表を示す。行動表の横軸は時間を示し、表中の記載内容はイベントを示す。この行動表によると、ユーザは、平日以下の行動をとっている。
ａ）７：００〜８：００ 起床イベント
起床して朝ご飯を食べ、身支度を整える。
ｂ）８：００〜９：００ 出勤イベント
自宅を出て、電車に乗り会社に向かう。
ｃ）９：００〜１２：００ 作業イベント
朝の仕事をする。
ｄ）１２：００〜１３：００ 昼休憩イベント
会社の外に出て昼食をとる。
ｅ）１３：００〜１７：３０ 作業イベント
午後の仕事をする。
ｆ）１７：３０〜１８：３０ 帰宅イベント
会社を出て、自宅に帰る。
ｇ）１８：３０〜１９：３０ 風呂イベント
風呂にはいる。
ｈ）１９：３０〜２０：３０ 晩飯イベント
晩ご飯を食べる。
ｉ）２０：３０〜２３：００ リラックスイベント
テレビを見たりして一日の疲れをとる。
ｊ）２３：００ 睡眠イベント
就寝。

この行動表は、ユーザの状況をイベント名および時間情報で特定する一般的なものである。本実施例の情報処理装置１０は、このような行動表を、ユーザがスケジュール表として作成するための支援を行う。

本実施例の情報処理装置１０は、ユーザの状況に応じて、アプリケーションを処理することができる。既述したようにアプリケーションの処理とは、ユーザの状況に応じたアプリケーションを起動して実行することと、また特定のアプリケーションにおいてユーザの状況に応じたコンテンツを実行することを含む。理解を容易にするために、以下では情報処理装置１０が、サウンド再生アプリケーションで、ユーザの状況に応じてコンテンツを選択して再生する例を説明する。

情報処理装置１０は、イベント開始条件が成立すると、ユーザの状況を特定し、そのイベントに関連付けられているコンテンツを再生する。イベントの開始条件には、そのイベントに関連付けられた物体画像情報に対応する実画像が撮像部１４により撮影されることが含まれているため、ユーザは、イベントに関連する物体画像１４４を、予め記録部１４０に記録しておく必要がある。

そこでユーザは、ａ）〜ｊ）の各イベントに関して、イベントの開始条件を定める物体画像１４４を記録部１４０に登録するようにする。

ａ）起床イベント
ユーザは朝ベッドから起きて、情報処理装置１０を装着し、リビングルームで朝ご飯を食べる。朝食後は外着に着替え、出勤時間がくるまで新聞を読む。ユーザは、この起床イベントを代表する物体画像１４４を記録部１４０に記録させる。この記録処理は、メニュー画面３６のメニュー項目に関して説明したような手法で行うが、既述したように、ユーザが起床イベントにおいて必ずリビングルームに行くのであれば、リビングルームに存在する実物体（時計やテーブルなど）の物体画像１４４を記録部１４０に記録すればよい。またユーザが必ず新聞を読むのであれば、新聞の物体画像１４４を記録部１４０に記録すればよい。このようにユーザは、起床イベントにおいて撮像部１４が撮影する可能性の高い物体画像１４４を登録しておくことが好ましい。またイベントの開始が早期に検出されるように、ユーザは、イベント内の行動にしたがって、イベント初期に撮影される可能性の高い物体画像１４４を登録しておくことが好ましい。起床イベントでは、ユーザは起床後、すぐにリビングルームに行くため、リビングルームに存在する実物体の物体画像１４４を記録部１４０に記録させることが好ましい。これは他のイベントにおいても同様である。

ｂ）出勤イベント
出勤時間がくると、ユーザは仕事鞄を持ち、自宅のドアを開け、外に出る。ユーザは駅までバスに乗り、駅からは電車に乗って、会社の最寄り駅で降り、そこから会社まで歩く。ユーザは、たとえば自宅のドアの物体画像１４４や、自宅のドアを開けたときの外の環境の物体画像１４４を記録部１４０に記録させる。

ｃ）作業イベント
会社に到着すると、ユーザは自分のデスクにつき、ディスプレイとキーボードを見ながらプログラミング作業を行う。そこでユーザは、たとえば会社の入っているビル、ビルの玄関、デスク上のディスプレイ、キーボードなどの物体画像１４４を記録部１４０に記録させる。

ｄ）昼休憩イベント
午前作業の終了時間がくると、ユーザは会社の外に出て定食屋で食事をとり、午後の始業時間までに会社に戻る。ユーザは、たとえば会社ビルの玄関、定食屋までの道中などの物体画像１４４を記録部１４０に記録させる。

ｅ）作業イベント
会社に戻ると、ユーザは自分のデスクにつき、再びディスプレイとキーボードを見ながらプログラミング作業を行う。ユーザは、たとえば会社ビル、会社ビルの玄関、自分のデスク上のディスプレイ、キーボードなどの物体画像１４４を記録部１４０に記録させる。

ｆ）帰宅イベント
終業時間がくると、ユーザは仕事鞄を持ち会社を出て、駅まで歩き、電車に乗って自宅の最寄り駅で降り、そこからバスに乗って自宅に戻る。ユーザは、たとえば仕事鞄、会社ビルの玄関、駅までの道中などの物体画像１４４を記録部１４０に記録させる。

ｇ）風呂イベント
帰宅するとユーザは、自分の部屋に仕事鞄を置き、着替えを持って風呂に行く。風呂場では、情報処理装置１０は外される。ユーザは風呂から上がると、寝間着を着て、リビングルームに向かう。ユーザは、たとえば自分の部屋のドア、風呂のドアなどの物体画像１４４を記録部１４０に記録させる。

ｈ）晩飯イベント
リビングルームでユーザは、晩ご飯を食べる。ａ）イベントと同様、ユーザは、時計やテーブルなどの物体画像１４４を記録部１４０に記録させる。なお、これらの画像が既に記録済みであれば、ユーザは、これらの物体画像１４４をあらためて記録させる必要はない。

ｉ）リラックスイベント
ユーザはソファに寝転がってテレビを見て、一日の疲れをとる。ユーザは、ソファやテレビなどの物体画像１４４を記録部１４０に記録させる。

ｊ）睡眠イベント
ユーザは寝室にいき、情報処理装置１０を取り外して就寝する。ユーザは、ベッドや目覚まし時計などの物体画像１４４を記録部１４０に記録させる。
なお、この例では、０時〜７時までの睡眠イベントについては触れていないが、起床イベントの前に、この睡眠イベントが考慮されてもよい。

図１０を参照して、以上の記録処理は、メニュー画面３４におけるメニュー項目「イベント開始オブジェクトの登録」が選択されることで行われる。ユーザは、それぞれのイベントの撮影場所でこの項目を選択して、物体画像１４４をその都度記録する作業を行い、物体画像１４４の記録が完了する。

ユーザが、メニュー画面３４におけるメニュー項目「イベント登録」の表示領域上でダブルクリックジェスチャを行うと、入力受付部１００がダブルクリック操作情報と、そのＡＲ表示領域座標値を表示処理部１２０に送る。イベント表示部１２４は、メニュー項目「イベント登録」が選択されたことを検出すると、スケジュール表の作成に使用可能なイベント名の候補をディスプレイ装置１２に表示する。

図１６は、イベント候補呈示画面を示す。イベント候補は、ディスプレイ装置１２におけるＡＲ表示領域４０に表示されるが、本実施例においてＡＲ表示領域４０とジェスチャ認識領域３０とは重なっている。図示されるように、イベント表示部１２４は、ユーザがスケジュール表で使用するイベント名を選択可能に表示する。たとえばイベント表示部１２４は、職業別のイベントひな形を用意しておき、ユーザの属性情報に含まれる職業をもとに、職業に対応付けられたイベント候補をＡＲ表示領域４０に表示してもよい。

ユーザが、イベント名が表示されている領域上でクリックジェスチャを行うと、入力受付部１００が、そのＡＲ表示座標値とともにクリック操作情報をイベント決定部１１６に送り、イベント決定部１１６は、選択されたイベント名を保持する。ユーザは、スケジュール表の作成に使用する全てのイベント名を選択すると、「登録」の表示領域上でクリックジェスチャを行い、入力受付部１００が、そのＡＲ表示座標値とともにクリック操作情報をイベント決定部１１６に送ると、イベント決定部１１６が、選択された全てのイベント名を、イベント１４６として記録部１４０に記録する。ここでは、「睡眠」、「起床」、「出勤」、「作業」、「休憩」、「帰宅」、「風呂」、「晩飯」、「リラックス」がイベント１４６として記録される。

ユーザが、メニュー画面３４におけるメニュー項目「スケジュール作成」の表示領域上でダブルクリックジェスチャを行うと、入力受付部１００がダブルクリック操作情報と、そのＡＲ表示領域座標値を表示処理部１２０に送る。これを受けて表示処理部１２０は、スケジュール表を作成するためのユーザインタフェースを提供する。

図１７は、スケジュール表作成画面を示す。ＡＲ表示領域４０において、時間軸表示部１２８が、一日の時間軸を表現する表領域４２を表示する。なお図示の例では２４時間分の表領域４２が表示されているが、それよりも短い時間分の表領域が表示され、時間（横）方向に表領域４２をスクロールできるように時間軸表示部１２８が表領域４２を表示してもよい。

スケジュール表作成画面において、上段の「イベント入力」、「物体画像入力」の項目は、それぞれ表領域４２に入力する対象を特定するために設けられる。すなわち「イベント入力」は、表領域４２にイベント名を入力するための項目であり、「物体画像入力」は、表領域４２に物体画像を入力するための項目である。スケジュール表作成の初期画面においては、「イベント入力」の項目がデフォルトで設定されており、イベント表示部１２４は、記録部１４０に記録されたイベント１４６を読み出して、表領域４２の上方に、記録されたイベント名を表示する。

図１８は、ドラッグ操作によりイベント名を表領域４２に配置する動作を説明するための図である。ユーザは、イベント名の表示領域上でクリックジェスチャを行い、そのイベント名をドラッグ操作により表領域４２上に動かし、クリックジェスチャを行うことで、ドラッグ操作を完了する。イベント表示部１２４は、イベント名を表領域４２上に配置する。ユーザは、表領域４２においてイベントの開始時刻と終了時刻とをそれぞれクリックすることで、その時間幅にイベント名を収めるようにする。なお、ユーザは、表領域４２に表示されたイベント名の横枠を指で右または左にずらすことができ、これによりイベントの開始時刻と終了時刻とを調整してもよい。なお、表領域４２の上方に表示されているイベント名は、ドラッグ操作されても残り、消されることはない。

図１９は、表領域４２にイベント名を割り当てた状態を示す。ユーザが「登録」の表示領域上でクリックジェスチャを行うと、スケジュール登録部１５０が、イベント名と、その開始時刻および終了時刻とを関連付けて記録部１４０に記録する。これによりイベント入力作業は完了する。続いて、ユーザが「物体画像入力」の表示領域上でクリックジェスチャを行うと、イベント表示部１２４が、表領域４２の上方に表示していたイベント名を消し、代わりに物体画像表示部１２６が、表領域４２の上方に、記録されている物体画像１４４を表示する。

図２０は、スケジュール表作成画面を示す。「物体画像入力」の項目が選択されると、物体画像表示部１２６が、記録部１４０に記録された物体画像１４４を読み出して、表領域４２の上方に、記録された物体画像を表示する。

図２１は、ドラッグ操作により物体画像を表領域４２に配置されたイベント名に関連付ける動作を説明するための図である。ユーザは、物体画像の表示領域上でクリックジェスチャを行い、その物体画像をドラッグ操作により表領域４２の特定のイベント上に動かし、クリックジェスチャを行うことで、ドラッグ操作を完了する。物体画像表示部１２６は、物体画像がいずれかのイベントまで移動して、ドラッグ操作が完了すると、たとえばその縮小画像をイベントの下方に表示する。なお、表領域４２の上方に表示されている物体画像は、ドラッグ操作されても残り、消されることはない。

図２２は、イベントに物体画像を割り当てた状態を示す。縮小画像表示領域４４には、各イベントに対して、割り当てられた物体画像の縮小画像が表示される。ユーザが「登録」の表示領域上でクリックジェスチャを行うと、スケジュール登録部１５０が、イベント名と、物体画像とを関連付けて記録部１４０に記録する。これにより物体画像入力作業は完了する。なおイベントと物体画像を関連付ける際、物体画像は、画像ファイル名、画像ファイルの記録領域（パス情報）、または物体画像の特徴量などの態様をとってよい。物体画像は、これらのいずれかの態様でイベントと関連づけられればよく、これらをまとめて物体画像情報とよぶ。スケジュール登録部１５０は、イベント名、時間情報および物体画像とを関連付けたスケジュール表１４８を記録部１４０に記録する。

図２３は、スケジュール表１４８の一例を示す。このスケジュール表１４８には、イベントに、開始時刻および終了時刻を示す時間情報と、物体画像情報とが関連付けられて記録されている。ここで物体画像情報は、画像ファイルのパス情報として示しているが、画像ファイル名であってもよく、また物体画像の特徴量であってもよい。なお物体画像の特徴量は、後述するが、撮影画像に含まれる画像の特徴量と比較する際に利用される。

以上のスケジュール表作成作業においては、ユーザが様々な環境において物体画像１４４を記録部１４０に記録させた後、表領域４２にイベントを割り当て、それからイベントに物体画像１４４を割り当てた。変形例では、たとえば表領域４２にイベントを割り当てた後、様々な環境において特定される物体画像１４４が、直接イベントに割り当てられるようにしてもよい。

この変形例では、まず最初に、ユーザが図１６から図１９に関連して説明した手順で、表領域４２にイベントを割り当てる。それから各環境においてメニュー画面３４における「イベント開始オブジェクトの登録」を選択し、実物体特定部１１２が、撮影画像の中から実物体画像を特定する。実物体特定部１１２は、実物体画像を抽出すると、その外輪郭ないしは実物体画像の全体を彩色し、ユーザは適切に抽出処理が完了したことを確認すると、メニュー画面３６における「登録」を選択する。このとき、イベント表示部１２４は、関連付けるイベントを選択するための選択画面をディスプレイ装置１２に表示する。

図２４は、イベントの選択画面を示す。イベント表示部１２４は、記録部１４０に記録されたイベント１４６を読み出して、ユーザが選択できるように並べてＡＲ表示領域４０に配置する。このとき記録部１４０は、イベントの時間情報も読み出して、各イベントに対応付けて表示する。この例では、２つの作業イベントが存在しているが、それぞれは午前の作業イベントと午後の作業イベントを表現している。そこで、時間情報を併記することで、ユーザは、いずれの作業イベントかを知ることができ、これにより物体画像を関連付けるイベントを特定することができる。ユーザは、イベント名をクリック操作することで、スケジュール登録部１５０は、物体画像情報を自動的にイベントに関連付ける。なお上記したように、関連付ける物体画像情報は、ファイル名、パス情報、特徴量などの情報であってよい。この変形例によると、物体画像を特定したときにその場でイベントに関連付けることが可能となるため、ユーザが後で作業する手間を省略できる。

また以上は、いずれも手動でスケジュール表を作成する例であるが、画像処理部１１０およびスケジュール登録部１５０が協働して自動的にスケジュール表を作成することも可能である。この自動作成においても、まず前提として、ユーザが図１６から図１９に関連して説明した手順で、イベントと時間情報とを予め関連付けておく。

実物体特定部１１２は、イベントに関連付けられた開始時刻の撮影画像に含まれる実物体画像を特定する。このとき実物体特定部１１２は、撮影画像において、周囲の環境に対して特徴的な要素を有している実物体画像を特定することが好ましい。実物体特定部１１２は、特定した実物体画像を記録部１４０に記録する。実物体特定部１１２は、各イベントごとに、実物体画像を特定し、記録部１４０に記録する。実物体特定部１１２は、複数日にわたって、この記録処理を行う。なおイベントと時間情報との関連付けが行われたスケジュール表が平日用のものであれば、実物体特定部１１２は、平日の複数日にわたりこの記録処理を行い、休日用のものであれば、休日の複数日にわたりこの記録処理を行う。

このように複数日分のサンプル画像が記録部１４０に記録された後、実物体特定部１１２は、各イベントについて、頻繁に撮影された実物体画像を抽出する。たとえば起床イベントにおいて、時計の画像が撮影された回数が最も多ければ、時計の画像を実物体画像として抽出する。このように、各イベントにおいて、その開始時刻に最も撮影回数の多い実物体画像を検出することで、その実物体画像をイベントの開始条件に含ませることの確度を高められる。このように実物体特定部１１２が実物体画像を特定し、物体画像決定部１１４が、特定した実物体画像を、物体画像１４４として記録部１４０に記録する。なお、物体画像決定部１１４が、特定した実物体画像に対応するマーク画像を、物体画像１４４として記録部１４０に記録してもよいことは上記したとおりである。以上のように画像処理部１１０が動作することで、ユーザは、物体画像を手動で記録部１４０に記録する必要なく、イベントと物体画像とを関連付けたスケジュール表が作成されることになる。

なお上記の例では、ユーザが手動または自動でイベントを設定したが、たとえば情報処理装置１０は、職業別のイベントと時間情報とを関連付けたイベントひな形を用意しておき、ユーザは、自分の職業に応じてひな形を選択することで、イベントが自動設定されるようにしてもよい。

ユーザは、メニュー画面３４におけるメニュー項目「スケジュール編集」の表示領域上でダブルクリックジェスチャを行うと、入力受付部１００がダブルクリック操作情報と、そのＡＲ表示領域座標値を表示処理部１２０に送る。これを受けて表示処理部１２０は、スケジュール表を編集するためのユーザインタフェースを提供する。このユーザインタフェースでは、すでに作成されたスケジュール表が表領域４２に表示されたスケジュール表編集画面がユーザに呈示され、ユーザは、上記したような作業を行うことで、スケジュール表を編集することが可能となる。

＜アプリケーション処理機能＞
以上のようにユーザがユーザインタフェースを利用してスケジュール表を設定すると、情報処理装置１０は、スケジュール表をもとにイベントリストを作成する。情報処理装置１０は、このイベントリストを用いてユーザの現在の状況を判定し、アプリケーションの処理を開始するアプリケーション処理機能を有する。以下では、アプリケーション処理機能の一例として、サウンド再生アプリケーションが、ユーザの状況に応じたコンテンツを再生して音声出力する場合を示す。

図２５は、情報処理装置１０のアプリケーション処理機能を実現するための機能ブロックを示す。情報処理装置１０は、入出力機能を提供するディスプレイ装置１２、撮像部１４、イヤホン１６およびマイク２０を備える。また情報処理装置１０は、センサ群として、モーションセンサ５０およびＧＰＳセンサ５２を備える。モーションセンサ５０は、加速度センサや傾きセンサを含み、情報処理装置１０の動きや姿勢を検出するための計測値を出力し、またＧＰＳセンサ５２は、情報処理装置１０の位置情報を示す計測値を出力する。また情報処理装置１０は、各種処理を行う処理部８０およびデータを記録する記録部１４０を備え、処理部８０は、イベントリスト生成部２００、装着状態判定部２１０、アプリケーション実行部２２０および制御部２３０を有する。

これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム、ストレージなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。なお図３に示した機能ブロックと同じ符号を付した機能ブロックは、図３に関連して説明したような機能を有し、また同様の動作を行う。なお情報処理装置１０は、図３および図２５に示す機能ブロックを有して構成されてよい。なお実施例では、図３および図２５に示す機能ブロックを情報処理装置１０が備えていることとするが、後述するように、図３および図２５に示す機能ブロックの一部は、端末装置２によって実現されてもよい。

イベントリスト生成部２００は、スケジュール登録部１５０により記録部１４０に登録されたスケジュール情報をもとに、イベントに、時間情報と物体画像情報とを関連付けたイベントリストを生成して記録部１４０に記録する。具体的にイベントリスト生成部２００は、スケジュール表１４８に設定された時間情報から、イベントリスト用の時間情報を導出して、イベントリストを生成する。

ここでスケジュール表とイベントリストの相違点について説明する。スケジュール表は、ユーザの一日の行動（イベント）予定を表現し、各イベントに対して設定される開始時刻および終了時刻は、各イベントが行われる予定となる時間帯を示す。そのため、スケジュール表において、各イベントに設定される時間帯が時間的に重なることはなく、先行するイベントの終了時刻と同時またはその後に、後続のイベントの開始時刻が設定されることになる。

一方で、イベントリストは、スケジュール表をもとにユーザの状況を判定するために作成されるものであり、ユーザ状況の判定精度を高めるために、スケジュール表に設定されている各イベントの時間帯を広げて設定される。図２３に示すスケジュール表１４８において、ユーザは、７時から８時の間に起床イベントを行い、また８時から９時の間に出勤イベントを行うことが予定されている。しかしながら、実際にユーザは７時前に起床するかもしれず、また８時前に家を出て出勤するかもしれない。このようにスケジュール表１４８は、平均的な一日の行動を表現するものの、日々の行動に当てはめた場合には、ユーザは、スケジュール表１４８からずれた行動をとることもある。

そこでイベントリストは、スケジュール表１４８から外れた時間帯の行動も捉えてユーザの状況を精度良く判定できるように、スケジュール表１４８の各イベントの時間帯を広げて作成される。
図２６は、イベントリストを説明するための図を示す。上段はスケジュール表１４８におけるイベントとその時間帯を示し、下段には、イベントの時間帯が拡張される様子が示される。たとえば起床イベントについて見れば、スケジュール表１４８では７時から８時の時間帯が予定されているのに対し、イベントリストでは、５時から８時の間に拡張されている。なおイベントリストでは、登録されたスケジュール情報におけるイベントの時間帯を少なくとも含む時間帯が、イベントに関連付ける時間情報に設定される。なおイベントリストの時間情報は、スケジュール情報におけるイベントの時間帯を含んでいればよく、スケジュール情報におけるイベントの時間帯と同じであってもよい。

イベントリスト生成部２００は、スケジュール表１４８に登録されたスケジュール情報をもとに、イベントリスト１５２を生成して記録部１４０に記録する。上記したようにイベントリスト生成部２００は、登録されたスケジュール情報におけるイベントの時間帯を少なくとも含む時間帯を、イベントに関連付ける時間情報に設定する。

図２７は、イベントリスト１５２の一例を示す。このイベントリスト１５２には、イベントに、イベント順序と、開始可能時刻および終了可能時刻を示す時間情報と、物体画像情報とが関連付けられて記録されている。ここで物体画像情報は、画像ファイルのパス情報として示しているが、画像ファイル名であってもよく、また物体画像の特徴量であってもよい。物体画像情報は、撮影画像に含まれる画像と比較する際に利用される情報であり、具体的には、撮像部１４により撮影される撮影画像に、イベントに関連付けられた画像が含まれているか判定する際に利用される。

なおイベントリスト生成部２００は、イベント順序として、各イベントに対して、イベントの発生順序を関連付けて設定する。イベント順序は、スケジュール表１４８におけるイベントの並び順と同じく設定され、図示されるように、起床イベントを１番として、降順に番号が付与されてよい。

イベントリスト生成部２００は、スケジュール情報において開始時刻、終了時刻により規定されている時間帯を、開始可能時刻、終了可能時刻により規定される時間帯に変更する。既述したように、イベントリスト１５２における各イベントの時間帯は、スケジュール表１４８における各イベントの時間帯を少なくとも含んで拡張している。

またイベントリスト生成部２００は、各イベントの開始可能時刻を、イベント順序にしたがって決定する。ここでは、後続のイベント、つまり番号の大きいイベント順序を設定されたイベントの開始可能時刻は、先行のイベント、つまり番号の小さいイベント順序を設定されたイベントの開始可能時刻以降に設定される。後続イベントの開始可能時刻は、先行イベントの開始可能時刻と同じであってもよいが、先行イベントの開始可能時刻よりも前であってはならない。同様に、後続のイベントの終了可能時刻は、先行のイベントの終了可能時刻以降に設定される。後続イベントの終了可能時刻は、先行イベントの終了可能時刻と同じであってもよいが、先行イベントの終了可能時刻よりも前であってはならない。以上のようにイベントリスト生成部２００は、イベントリストを生成する。なお生成されたイベントリストは、ユーザによって手動で修正可能とされてもよい。

装着状態判定部２１０は、モーションセンサ５０からの計測情報にしたがって、情報処理装置１０の装着状態を判定する。ユーザが情報処理装置１０を装着している際、モーションセンサ５０は、ユーザの動きに連動して情報処理装置１０が動いていることを示す計測情報を装着状態判定部２１０に提供し、一方で、ユーザが情報処理装置１０を取り外して、たとえばテーブルに置いた際には、モーションセンサ５０は、情報処理装置１０が動いていないことを示す計測情報を装着状態判定部２１０に提供する。たとえば装着状態判定部２１０は、モーションセンサ５０からの計測情報が所定時間（たとえば３分間）変化しなければ、情報処理装置１０が取り外されたことを判定し、一方で、所定時間内に計測情報が変化すれば、情報処理装置１０が装着されていることを判定する。

以下、情報処理装置１０のアプリケーション処理機能について説明する。このアプリケーション処理機能は、イベントリスト生成部２００が、イベントに、時間情報と物体画像情報とを関連付けたイベントリスト１５２を作成し、記録部１４０に記録した状態のもとで実行される。なおイベントリスト生成部２００は、ユーザが情報処理装置１０で作成したスケジュール表１４８をもとにイベントリスト１５２を生成するが、たとえばスケジュール表１４８は、他の機器において作成され、イベントリスト生成部２００が、他の機器において作成されたスケジュール表１４８をもとに、イベントリストを生成してもよい。

ユーザが情報処理装置１０の電源をオンして装着すると、撮像部１４が実空間を周期的に撮影し、撮影画像を制御部２３０に提供する。制御部２３０は撮影画像を取得し、イベントリスト１５２を参照してイベント開始条件が成立したか否かを判定し、イベント開始条件が成立したことを判定すると、アプリケーション実行部２２０にアプリケーションの処理を指示する。これを受けて、アプリケーション実行部２２０は、開始条件が成立したイベントに関連付けられたアプリケーションの処理を開始する。

このアプリケーション処理機能を実現するために、制御部２３０は、候補抽出部２３２、画像処理部２３４、条件判定部２３６および開始指示部２３８を有する。ここで候補抽出部２３２は、内部または外部から現在時間情報を取得して、開始可能時刻および終了開始可能時刻の間に現在時間情報が含まれるイベントを特定する。たとえば現在時間情報が７：３０であれば、候補抽出部２３２は、イベント順序１の起床イベント、イベント順序２の出勤イベントおよびイベント順序３の作業イベントを抽出する。この抽出したイベントは、７：３０の時点で、開始条件が成立しうるイベント候補である。

画像処理部２３４は、候補抽出部２３２により抽出されたイベントに関連付けられた画像が、撮像部１４により撮影された撮影画像に含まれているか判定する。これは、画像処理部２３４が、イベントリスト１５２における時間情報により特定される時間帯に撮影された撮影画像に、物体画像情報に対応する画像が含まれているか判定する処理に相当する。つまり７：３０の時点において、起床イベント、出勤イベント、作業イベントのそれぞれに関連付けられた物体画像情報に対応する画像が、撮影画像に含まれているか否かが判定される。なお物体画像情報に対応する画像が撮影画像に含まれているか否かの判定処理は、物体画像情報に対応する画像の特徴量と、撮影画像に含まれている画像の特徴量との一致度を導出することによって行われ、完全に一致していれば両者が同一であること、一致度が非常に高い場合には両者が類似していることが判定される。画像処理部２３４が、撮影画像に物体画像情報に対応する画像が含まれていることを判定すると、条件判定部２３６が、イベント開始条件が成立したことを判定する。

イベントリスト１５２において、イベントに、複数の物体画像情報を関連付けて記録しておくことで、イベントの開始条件が成立する可能性を高めることができる。たとえば起床イベントに関連付けて、時計およびテーブルの物体画像情報が記録されている場合、画像処理部２３４が、時計またはテーブルのいずれかの画像が撮影画像に含まれていることを判定すれば、条件判定部２３６が、起床イベントの開始条件が成立したことを判定できるようになる。このようにイベントに複数の物体画像情報を関連付けておくことで、イベントの開始条件の成立を正確に判定することが可能となる。条件判定部２３６が、起床イベントの開始条件が成立したことを判定すると、開始指示部２３８は、アプリケーション実行部２２０にアプリケーションの処理を指示するとともに開始条件の成立したイベント名を通知し、アプリケーション実行部２２０は、開始条件の成立したイベントに応じたアプリケーションの処理を開始する。

図２８は、イベントとコンテンツとを関連付けたコンテンツ表を示す。コンテンツ表１５４は記録部１４０に記録されており、アプリケーション実行部２２０は、コンテンツ表１５４にしたがって、開始指示部２３８により通知されたイベントに関連付けられたコンテンツを再生してイヤホン１６から出力する。このコンテンツ表１５４では、イベントと再生コンテンツのジャンルが対応付けられているが、実際には、コンテンツプレイリストの記録部１４０における格納アドレスや、コンテンツサーバ４のＵＲＬなどが記述されてよい。アプリケーション実行部２２０は、開始条件の成立したイベントに関連付けられているコンテンツを再生する。

コンテンツ表１５４は、ユーザがイベントに対してコンテンツを関連付けることで生成されてもよいが、図２８に示す例では、予め業者などにより作成されたコンテンツ表１５４が示されている。そのためイベントリスト１５２に設定されていない習い事イベントや運動イベントなどがコンテンツ表１５４に含まれているが、ユーザは、このコンテンツ表１５４を適宜編集して、自分の好みに応じたコンテンツをイベントに対して割り当ててよい。

なお図２８に示されるように、いくつかのイベントに対して、コンテンツは関連付けられていない。ここでは作業イベント、習い事イベント、風呂イベントに対してコンテンツが関連付けられておらず、このことは、これらのイベントにおいて、アプリケーション実行部２２０は、コンテンツを再生しないことを意味する。したがって、開始指示部２３８からアプリケーションの処理を指示された場合であっても、アプリケーション実行部２２０は、作業イベント、習い事イベント、風呂イベントの開始条件の成立が通知された場合には、コンテンツの再生を行わないようにする。

なお画像処理部２３４は、候補抽出部２３２により抽出されたイベントに関連付けられた画像が撮影画像に含まれているか判定するが、一度含まれていることを判定した画像については、その後の判定対象から除外してよい。これにより、画像判定処理の負荷を軽減できる。さらに、開始条件が成立したイベントに含まれる全ての画像を、判定対象から除外してもよい。これにより、開始したイベントに含まれる他の画像の判定処理をする必要がなくなり、画像判定処理の負荷を軽減できる。

また条件判定部２３６は、イベントリストに登録されている発生順序にしたがって、イベント開始条件の成立を判定してもよい。たとえば図２７を参照すると、起床イベントのイベント順序が１番、出勤イベントのイベント順序が２番に設定されているが、条件判定部２３６が、最初に出勤イベントの開始条件の成立を判定すると、その後に、起床イベントの開始条件の成立を判定することはない。本来であれば、起床イベントの開始条件の成立後、出勤イベントの開始条件が成立することが好ましいが、出勤イベントの開始条件が成立した後は、出勤イベント以降のイベント順序が設定されているイベントの開始条件の成立が監視されるようになる。そのため、条件判定部２３６によりあるイベントの開始条件の成立が判定されると、候補抽出部２３２は、そのイベントの次以降のイベント順序を設定されたイベントであって、且つ開始可能時刻と終了可能時刻の間に現在時間が含まれているイベントを候補イベントとして抽出し、また開始条件が成立したイベントおよびそのイベントに先行するイベントを候補イベントから除外する。これにより、開始条件が成立したイベントよりも若いイベント順序が設定されているイベントに関連付けられた画像を、画像処理部２３４による判定対象から除外することができ、候補抽出部２３２の処理負荷を低減することが可能となる。

なおアプリケーション実行部２２０は、開始指示部２３８から別のイベントの開始条件が成立したことを通知されるまで、アプリケーションの処理を継続して実行する。アプリケーション実行部２２０は、別のイベントの開始条件が成立したことを通知されると、コンテンツ表１５４を参照して、その別のイベントに関連付けられたコンテンツの再生を開始する。なお、あるイベントに関連付けられたコンテンツの再生中、そのイベントの終了可能時刻までに別のイベントの開始条件が成立したことを通知されなければ、アプリケーション実行部２２０は、その終了可能時刻において、コンテンツの再生処理を終了する。

またアプリケーション実行部２２０は、情報処理装置１０の装着状態に応じて、アプリケーションの処理の継続または終了を行ってもよい。装着状態判定部２１０は、情報処理装置１０をユーザが装着していないことを判定すると、その旨をアプリケーション実行部２２０に通知し、アプリケーション実行部２２０は、アプリケーションの処理を停止してもよい。情報処理装置１０がウェアラブルコンピュータである場合、ユーザは情報処理装置１０を装着した状態で、再生された音声をイヤホン１６から聞くことができるため、出力音声を聞けないのであれば、アプリケーション実行部２２０が音声を出力再生する必要もない。そこで、情報処理装置１０をユーザが装着していなければ、アプリケーション実行部２２０は、アプリケーションの処理を停止することが好ましい。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例において、イベントリスト生成部２００が、イベントに、イベントの発生順序と、時間情報と、１つ以上の物体画像情報とを関連付けたイベントリストを生成することを説明したが、イベントリスト生成部２００は、さらに、ＧＰＳ情報を関連付けてイベントリストを生成してもよい。ＧＰＳ情報は、物体画像情報が取得された位置情報を示すものであり、これにより、候補抽出部２３２は、イベントリストに記録されたＧＰＳ情報と、現在位置のＧＰＳ情報とが一致する候補イベントを容易に抽出できるようになる。

また実施例では、ユーザに音楽などのコンテンツを再生することを示したが、イベントリストにおいて、企業や商品などのマーク画像情報を登録してもよい。実施例と同様に、このようなイベントリストにおいても、イベントに対して、時間情報と、マーク画像情報とが関連付けられて登録される。制御部２３０が、イベントリストに規定された時間帯に撮影された撮影画像に、マーク画像情報に対応する画像が含まれているか判定し、含まれている場合にイベント開始条件が成立したことを判定して、アプリケーション実行部２２０にアプリケーションの処理を指示する。これを受けてアプリケーション実行部２２０は、イベントに関連付けられた広告情報などをディスプレイ装置１２に表示してもよい。

また実施例では、アプリケーション実行部２２０が、コンテンツ表１５４を参照してイベントに応じたコンテンツを再生することを説明したが、この際、イベントに対して常に同じコンテンツが選択されないように工夫してもよい。アプリケーション実行部２２０はコンテンツの検索機能を有し、たとえば撮影画像に含まれる物体名を検索に使用し、たとえばコンテンツ表１５４のジャンルおよび物体名を検索キーとして、コンテンツサーバ４からコンテンツを検索して取得してもよい。

また、イベントリスト生成部２００は、イベントに、物体画像情報を関連付けたイベントリストを生成したが、たとえばイベントに音声情報を関連付けてもよい。たとえばイベント検出用に特定の場所や条件で発生する音声をマイク２０で取得し、この取得した音声情報をイベントに関連付けて、イベントの開始条件の判定処理に利用してもよい。

なお図３および図２５において、情報処理装置１０の機能ブロックを示したが、情報処理システム１においては、端末装置２が情報処理装置として動作して、図３および図２５に示す機能の一部を実行してもよい。つまり情報処理システム１においては、情報処理装置１０と、情報処理機能を備えた端末装置２とが協働して、各種処理機能を実現してもよい。

具体的には端末装置２が、図３に示す入力受付部１００、処理部８０における画像処理部１１０およびスケジュール登録部１５０、記録部１４０を備えてもよい。また端末装置２が、図２５に示す入力受付部１００、処理部８０および記録部１４０を備えてもよい。なお、端末装置２が処理機能の一部を実行する場合、撮像部１４やマイク２０などの出力は端末装置２に送信されて、端末装置２が各種処理を実行する。このように、情報処理装置１０および端末装置２の少なくとも一方が、図３および図２５に示す処理機能を実現することで、ユーザに対して好適にサービスを提供し、またユーザが扱いやすいユーザインタフェースを提供する情報処理システム１を実現できる。

１・・・情報処理システム、１０・・・情報処理装置、１２・・・ディスプレイ装置、１４・・・撮像部、１６・・・イヤホン、１８・・・筐体、２０・・・マイク、５０・・・モーションセンサ、５２・・・ＧＰＳセンサ、８０・・・処理部、１００・・・入力受付部、１１０・・・画像処理部、１１２・・・実物体特定部、１１４・・・物体画像決定部、１１６・・・イベント決定部、１２０・・・表示処理部、１２２・・・メニュー表示部、１２４・・・イベント表示部、１２６・・・物体画像表示部、１２８・・・時間軸表示部、１３０・・・軌跡表示部、１４０・・・記録部、１５０・・・スケジュール登録部、２００・・・イベントリスト生成部、２１０・・・装着状態判定部、２２０・・・アプリケーション実行部、２３０・・・制御部、２３２・・・候補抽出部、２３４・・・画像処理部、２３６・・・条件判定部、２３８・・・開始指示部。

本発明は、撮影画像を処理する情報処理分野に利用できる。

Claims (14)

1. 情報処理装置であって、
   イベントに、時間情報と物体画像情報とを関連付けたイベントリストを記録する記録部と、
   実空間を撮影する撮像部と、
   イベント開始条件が成立したか否かを判定する制御部と、
   アプリケーションを処理する実行部と、を備え、
   前記制御部は、
   前記記録部に記録された時間情報により特定される時間帯に撮影された撮影画像に、前記記録部に記録された物体画像情報に対応する画像が含まれているか判定する画像処理部と、
   撮影画像に物体画像情報に対応する画像が含まれていることが判定されると、イベント開始条件が成立したことを判定する条件判定部と、
   前記実行部に、アプリケーションの処理を指示する指示部と、を有し、
   前記実行部は、開始条件が成立したイベントに関連付けられたアプリケーションの処理を開始すること、
   を特徴とする情報処理装置。
2. 前記実行部は、コンテンツの再生を行うことを特徴とする請求項１に記載の情報処理装置。
3. ユーザのスケジュール情報を登録する登録部と、
   登録されたスケジュール情報から、イベントに関連付ける時間情報を導出するイベントリスト生成部と、
   をさらに備えることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記イベントリスト生成部は、登録されたスケジュール情報におけるイベントの時間帯を少なくとも含む時間帯を、イベントに関連付ける時間情報として設定することを特徴とする請求項３に記載の情報処理装置。
5. 前記記録部は、１つのイベントに、複数の物体画像情報を関連付けて記録することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記記録部は、イベントリストにおける複数のイベントのそれぞれに、発生順序を関連付けて記録することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記条件判定部は、発生順序にしたがって、イベント開始条件の成立を判定することを特徴とする請求項６に記載の情報処理装置。
8. 当該情報処理装置の装着状態を判定する装着状態判定部をさらに備え、
   前記装着状態判定部が、当該情報処理装置をユーザが装着していないことを判定すると、前記実行部は、アプリケーションの処理を停止すること、
   を特徴とする請求項１から７のいずれかに記載の情報処理装置。
9. 実空間を撮影した撮影画像を取得するステップと、
   イベントに時間情報と物体画像情報とを関連付けたイベントリストを参照して、イベントリストに含まれる時間情報により特定される時間帯に撮影された撮影画像に、イベントリストに含まれる物体画像情報に対応する画像が含まれているか判定するステップと、
   撮影画像に物体画像情報に対応する画像が含まれていることが判定された場合に、イベント開始条件が成立したことを判定するステップと、
   開始条件が成立したイベントに関連付けられたアプリケーションの処理を開始させるステップと、
   を備えることを特徴とするアプリケーション実行方法。
10. コンピュータに、
    実空間を撮影した撮影画像を取得する機能と、
    イベントに時間情報と物体画像情報とを関連付けたイベントリストを参照して、イベントリストに含まれる時間情報により特定される時間帯に撮影された撮影画像に、イベントリストに含まれる物体画像情報に対応する画像が含まれているか判定する機能と、
    撮影画像に物体画像情報に対応する画像が含まれていることが判定された場合に、イベント開始条件が成立したことを判定する機能と、
    開始条件が成立したイベントに関連付けられたアプリケーションの処理を開始する機能と、
    を実現させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 実空間に仮想オブジェクトを重畳して呈示する情報処理装置であって、
    仮想オブジェクトを実空間中でユーザが観察できるように表示する装着型ディスプレイと、
    実空間を撮影する撮像部と、
    撮影画像に含まれる実物体画像を特定する画像処理部と、
    特定した実物体画像、または実物体画像に対応するマーク画像を、物体画像として記録する記録部と、
    前記装着型ディスプレイに、物体画像を表示する表示処理部と、
    を備えることを特徴とする情報処理装置。
13. ディスプレイに表示された物体画像に対する操作入力を受け付ける入力受付部をさらに備え、
    前記表示処理部は、操作入力にしたがって、ディスプレイにおける物体画像の表示位置を移動させることを特徴とする請求項１２に記載の情報処理装置。
14. 第１情報処理装置および第２情報処理装置を備えた情報処理システムであって、
    前記第１情報処理装置または前記第２情報処理装置の少なくとも一方が、
    イベントに、時間情報と物体画像情報とを関連付けたイベントリストを記録する記録部と、
    実空間を撮影する撮像部と、
    イベント開始条件が成立したか否かを判定する制御部と、
    アプリケーションを処理する実行部と、を備え、
    前記制御部は、
    前記記録部に記録された時間情報により特定される時間帯に撮影された撮影画像に、前記記録部に記録された物体画像情報に対応する画像が含まれているか判定する画像処理部と、
    撮影画像に物体画像情報に対応する画像が含まれていることが判定されると、イベント開始条件が成立したことを判定する条件判定部と、
    前記実行部に、アプリケーションの処理を指示する指示部と、を有し、
    前記実行部は、開始条件が成立したイベントに関連付けられたアプリケーションの処理を開始すること、
    を特徴とする情報処理システム。

Images