WO2013187131A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

マーカ等の特徴画像に応じたコンテンツ再生処理において、マーカロスト時、およびマーカ再検出時の改善された再生制御を実現する。撮像部の撮影画像からマーカ等の特徴画像の検出を実行し、マーカ検出に応じてコンテンツ再生を実行する。撮影画像からのマーカ検出が不能となったマーカロスト時に、コンテンツ再生を停止し、再生を停止したコンテンツ位置をメモリに記録し、その後のマーカ再検出を条件として、メモリからコンテンツ位置を取得し、取得したコンテンツ位置からコンテンツを再生する。コンテンツは画像および音声を含むコンテンツであり、マーカロスト時に画像のみ再生を停止し、音声再生を継続し、マーカロスト時からの経過時間が予め設定した閾値時間を超えた場合に、音声の再生を停止する。

Description

情報処理装置、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。特に、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。

　例えばカメラの撮影画像に、撮影画像以外の仮想画像を重畳した画像は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像と呼ばれ、昨今、様々な分野で利用されている。
　特に、近年、通信機能に加えカメラ機能とディスプレイを備えたスマートフォンなどの携帯端末が普及し、これらのスマートフォンにおいて拡張現実（ＡＲ）画像を適用したアプリケーションが多く利用されている。

　ＡＲ画像の１つの利用例として、以下のような例がある。
　例えばスマートフォン等の携帯端末のカメラ機能を用いて、あるオブジェクト（被写体）を撮影すると、オブジェクト情報、例えば撮影されたオブジェクトに印刷されたサイバーコード（Ｃｙｂｅｒ－Ｃｏｄｅ）などのマーカを識別し、識別マーカに基づいて選択されたキャラクタや人物などの仮想画像を撮影画像に重畳して表示するとともに、その仮想画像が話かけるような音声を出力する。

　仮想画像は、例えば撮影オブジェクトに関連する仮想的なキャラクタの画像や、予め撮影済みの人物や景色など、様々である。携帯端末に出力される仮想画像や音声情報は、携帯端末の記憶部、あるいは携帯端末とネットワーク接続したサーバから取得される。
　なお、ＡＲ画像の生成、表示処理について開示した従来技術として、例えば特許文献１（特開２０１２－５８８３８号公報）がある。

　しかし、このような仮想画像や音声出力は、撮影画像からマーカが認識されたことをトリガとして開始される。従って、例えばユーザが携帯端末の撮像部（カメラ）の方向を変更して撮影画像中からマーカがはずれてしまうと、仮想画像や音声出力が停止してしまう。
　再度、ユーザが撮像部（カメラ）の方向を変更して撮影画像中にマーカを入れると、また同じ仮想画像や音声出力が最初から再生される。

　すなわち、以下の２つの処理によって仮想画像の再生および停止が制御される。
　（処理１）撮影画像からのマーカ認識による仮想画像と音声の再生開始、
　（処理２）撮影画像からのマーカロストによる仮想画像と音声の再生終了、

　例えば、マーカ認識によって再生されるコンテンツが３０秒程度の画像と音声から構成される情報について、３０秒のコンテンツを全て視聴するためには、ユーザは、その３０秒の間、携帯端末を動かさずにマーカの撮影状態を維持していなければならなくなる。

　例えば、３０秒の間に、一度でもマーカが撮影画像からはずれてしまうと、仮想画像と音声からなるコンテンツの再生は途中で停止してしまう。もう一度、マーカの撮影し位置に戻した場合は、停止した位置から再生を再開させることはできず、再度、コンテンツの開始位置からの再生が実行されてしまうことになる。

　このような状況は、例えば人の往来のはげしい混雑した場所にあるような例えば街頭広告などにマーカを設定してユーザに情報を提供する構成において、ユーザに対する情報伝達を困難にしてしまう事態を発生させる。すなわち、人の往来が激しい場所では、撮影画像に人が移り込み、マーカを継続的にカメラに撮影させることは困難となる。この結果、コンテンツ開始位置からの再生が繰り返し実行され、最後までコンテンツを再生することが困難になるという問題が発生する。

特開２０１２－５８８３８号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、撮影画像内のマーカ等の特徴画像を認識してコンテンツ再生を行う構成において、マーカが撮影画像からはずれた場合や、マーカの再認識がなされた場合など、様々な状況に応じたコンテンツ再生制御を実行可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　撮像部の撮像により得られる撮像画像から特徴画像が検出されることに基づき、前記特徴画像に応じたコンテンツの再生処理を実行するデータ処理部と、
　前記特徴画像の検出が不能となったタイミングに応じた前記コンテンツの再生位置であるレジュームポイントを特定する特定部と、
　前記データ処理部は、前記特徴画像の検出が不能となった後に再度前記特徴画像が検出されることに応じて、前記レジュームポイントに応じた位置から前記コンテンツの再生を実行する、
　情報処理装置にある。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、コンテンツ再生処理において、コンテンツを構成する画像データを前記撮像部の撮影画像に重畳表示する処理を行なう。

　さらに、本開示の情報処理装置の一実施態様において、前記コンテンツは画像および音声を含むコンテンツであり、前記データ処理部は、前記特徴画像の検出が不能となった場合に画像のみ再生を停止し、音声を継続再生する処理を実行する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記特徴画像の検出が不能となった時からの経過時間を計測し、経過時間が予め設定した閾値時間を超えた場合に、音声の再生を停止する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記特徴画像の再検出を条件として、メモリから前記レジュームポイントを取得し、取得したコンテンツ位置から画像と音声を含むコンテンツ再生を実行する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記特徴画像の検出が不能となった場合に、コンテンツ出力レベルを時間経過とともに低下させるフェードアウト処理を実行する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記特徴画像の再検出時に、コンテンツ出力レベルを時間経過とともに上昇させるフェードイン処理を実行する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、
　前記特徴画像の再検出時におけるコンテンツ再生処理の態様として、
　（ａ）コンテンツをメモリに格納されたレジュームポイントから再生するレジューム処理、または、
　（ｂ）コンテンツを始めから再生するリプレイ処理、
　いずれかの処理を選択するかの指示情報を入力し、入力情報に応じたコンテンツ再生を実行する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、
　前記特徴画像の再検出時におけるコンテンツ再生処理の態様として、
　（ａ）コンテンツをメモリに格納されたレジュームポイントから再生するレジューム処理、または、
　（ｂ）コンテンツを始めから再生するリプレイ処理、
　いずれかの処理を選択するかの指示情報を入力可能としたユーザインタフェースを表示部に表示する。

　さらに、本開示の情報処理装置の一実施態様において、前記特徴画像は、撮影画像に含まれる識別マークである。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記再生コンテンツのシーン情報、または、前記情報処理装置のセンサ情報、または、前記情報処理装置の電話着信情報の入力に応じて、コンテンツ再生を停止し、再生を停止したコンテンツ位置をメモリに記録する処理を実行する。

　さらに、本開示の第２の側面は、
　画像撮影を行う撮像部と、
　サーバとの通信を実行する通信部と、
　前記撮像部の撮影画像から特徴画像の検出を実行し、サーバからの提供コンテンツの再生を実行するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像からの特徴画像の検出が不能となった場合に、サーバからの受信コンテンツの再生を停止し、再生停止位置をレジュームポイント情報としてサーバに送信し、
　その後の特徴画像の再検出を条件として、前記サーバから前記レジュームポイント情報を入力して、該レジュームポイント位置からのコンテンツ再生を実行する情報処理装置にある。

　さらに、本開示の第３の側面は、
　画像撮影を行う撮像部と、
　サーバとの通信を実行する通信部と、
　前記撮像部の撮影画像を、前記通信部を介してサーバに送信し、サーバから前記撮影画像に基づく特徴画像検出情報を受信し、サーバからの提供コンテンツの再生を実行するデータ処理部を有し、
　前記データ処理部は、
　前記サーバからの特徴画像検出情報が特徴画像の検出不能を示す場合、コンテンツ再生を停止し、再生を停止したコンテンツ位置を、レジュームポイント情報として前記通信部を介してサーバに送信し、
　その後の特徴画像再検出を条件として、前記サーバから前記レジュームポイント位置に対応する位置からのコンテンツを受信して再生する情報処理装置にある。

　さらに、本開示の第４の側面は、
　クライアントとの通信を実行する通信部と、
　前記クライアントに提供するコンテンツを格納した記憶部と、
　前記クライアントの撮影画像からの特徴画像検出処理と、コンテンツの提供処理を実行するデータ処理部を有し、
　前記データ処理部は、
　前記クライアントの撮影画像からの特徴画像検出処理を実行し特徴画像検出情報を前記クライアントに提供するサーバにある。

　さらに、本開示の第５の側面は、
　情報処理装置において実行する情報処理方法であり、
　データ処理部が、撮像部の撮像により得られる撮像画像から特徴画像が検出されることに基づき、前記特徴画像に応じたコンテンツの再生処理を実行し、
　前記データ処理部は、
　前記特徴画像の検出が不能となったタイミングに応じた前記コンテンツの再生位置であるレジュームポイントを特定する処理と、
　前記特徴画像の検出が不能となった後に再度前記特徴画像が検出されることに応じて、前記レジュームポイントに応じた位置からの前記コンテンツの再生処理を実行する情報処理方法にある。

　さらに、本開示の第６の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　データ処理部に、撮像部の撮像により得られる撮像画像から特徴画像が検出されることに基づき、前記特徴画像に応じたコンテンツの再生処理を実行させ、
　前記プログラムは、前記データ処理部に、
　前記特徴画像の検出が不能となったタイミングに応じた前記コンテンツの再生位置であるレジュームポイントを特定する処理と、
　前記特徴画像の検出が不能となった後に再度前記特徴画像が検出されることに応じて、前記レジュームポイントに応じた位置からの前記コンテンツの再生処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、マーカ等の特徴画像に応じたコンテンツ再生処理において、マーカロスト時、およびマーカ再検出時の改善された再生制御が実現される。
　具体的には、撮像部の撮影画像からマーカ等の特徴画像検出を実行し、マーカ検出に応じてコンテンツ再生を実行する。撮影画像からのマーカ検出が不能となったマーカロスト時に、コンテンツ再生を停止し、再生を停止したコンテンツ位置をメモリに記録し、その後のマーカ再検出を条件として、メモリからコンテンツ位置を取得し、取得したコンテンツ位置からコンテンツを再生する。コンテンツは画像および音声を含むコンテンツであり、マーカロスト時に画像のみ再生を停止し、音声再生を継続し、マーカロスト時からの経過時間が予め設定した閾値時間を超えた場合に、音声の再生を停止する。
　これらの構成により、マーカに応じたコンテンツ再生処理において、マーカロスト時、およびマーカ再検出時の改善された再生制御が実現される。

本開示の処理の概要について説明する図である。 本開示の処理の概要について説明する図である。 本開示の情報処理装置の状態遷移例について説明する図である。 本開示の情報処理装置の実行するコンテンツ再生制御シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実行するコンテンツ再生制御シーケンスの一例について説明する図である。 本開示の情報処理装置の実行するコンテンツ再生制御シーケンスの一例について説明する図である。 本開示の情報処理装置の構成例について説明する図である。 本開示の情報処理装置の構成例について説明する図である。 本開示の情報処理装置の表示部に表示するユーザインタフェース（ＵＩ）の例について説明する図である。 本開示の情報処理装置の表示部に表示するユーザインタフェース（ＵＩ）の例について説明する図である。 本開示の情報処理装置の構成例について説明する図である。 本開示の情報処理装置の構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．本開示の処理の概要について
　　２．本開示のコンテンツ再生制御における状態遷移について
　　３．情報処理装置の実行するコンテンツ再生制御処理シーケンスについて
　　４．情報処理装置の構成例について
　　５．その他の実施例について
　　６．本開示の構成のまとめ

　　［１．本開示の処理の概要について］
　まず、図１以下を参照して、本開示の処理の概要について説明する。
　図１は、本開示の処理の一利用例を示す図である。ユーザ２１がカメラ機能を持つスマートフォン等の情報処理装置（携帯端末）３０を用いて、ポスター１０を含む画像を撮影する。なお、撮影画像は例えば動画像である。

　ポスター１０には、例えばサイバーコード（二次元コード）等のマーカ（識別子）が印刷されている。
　なお、以下の実施例ではサイバーコード（二次元コード）等のマーカ（識別子）を識別対象とした例について説明するが、本開示の構成においては、様々な特徴画像、例えば、以下のような特徴画像を識別対象とするこが可能である。
　・二次元バーコード（サイバーコード）
　・特定の人の顔や特定の物体（本の表紙）などの特定物体認識の対象
　・車、ペン、犬などの一般物体認識の対象
　情報処理装置３０は、通信部を介してマーカ情報を含む撮影情報をサーバに送信する。サーバは、情報処理装置（クライアント）３０から受信した撮影情報に基づいて、情報処理装置（クライアント）３０がポスター１０を含む画像を撮影していると認識し、サーバ内のコンテンツデータベースに格納済みのコンテンツ、例えば、ポスター１０に印刷されている人物を撮影した動画像と音声からなるコンテンツを取得して、情報処理装置３０に送信する。

　情報処理装置３０は、サーバから受信したコンテンツの再生を行う。画像は、撮影中の画像に重ねて表示する。図１に示す再生仮想画像３１である。さらに、音声をスピーカを介して出力する。図１に示す再生音声３２である。
　図１に示すように、情報処理装置３０は、情報処理装置３０の撮像部（カメラ）で実際に撮影している撮影画像と、サーバから受信した仮想画像を併せて表示する。このような画像は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像と呼ばれる。
　さらに、仮想画像の再生に併せてサーバから受信した音声情報を出力する。

　情報処理装置３０に表示する再生仮想画像３１は、ユーザが居る場所には実際には存在しない人物の画像である。
　しかし、情報処理装置３０の表示部の画面中には、あたかもユーザ２１のいるその場所に立っているように表示される。
　情報処理装置３０は、この仮想画像３１および音声を含むコンテンツを記録することが可能となる。

　なお、上述の説明では、仮想画像と音声から構成されるコンテンツを、サーバから提供する処理例として説明したが、情報処理装置３０の記憶部内にコンンテンツを格納して、撮影された識別子（マーカ）に基づいて、マーカ対応のコンテンツ検索を実行して取得したコンテンツを再生する構成としてもよい。

　このように情報処理装置３０は、情報処理装置３０の撮影画像中からマーカ１１が認識されるとコンテンツ再生を開始する。
　しかし、前述したように、マーカ認識をトリガとしてコンテンツ再生を行う多くの装置では、マーカが認識されなくなるとコンテンツ再生を停止し、その後、再度、マーカが再認識された場合には、同じコンテンツを最初から再生するといった処理を行なうのが一般的であった。

　本開示の構成では、このような場合の処理制御において、従来の制御とは異なる処理を実行する。―その一例について図２を参照して説明する。
　図２には、ユーザが持つ情報処理装置３０において画像を撮影中の状態として以下の２つの状態を示している。
　（Ａ）マーカ認識状態
　（Ｂ）マーカ一時ロスト状態

　（Ａ）マーカ認識状態は、ユーザが持つ情報処理装置３０の撮像部（カメラ）によって撮影された撮影画像中にマーカ１１が撮り込まれ、マーカ認識が可能な状態である。
　この状態では、マーカ認識に基づいてコンテンツ差異性が実行され、再生仮想絵画像３１が表示部に表示され、再生音声３２がスピーカすら出力される。

　一方、（Ｂ）マーカ一時ロスト状態は、ユーザが持つ情報処理装置３０の撮像部（カメラ）によって撮影された撮影画像中からマーカ１１が見失われ、一時的にマーカ認識ができない状態である。

　本開示の処理では、このマーカ一時ロスト状態においても、音声再生を継続する。
　このようなコンテンツ再生制御によって、マーカが瞬間的に撮影画像から消えた場合であっても、ユーザは例えば広告情報などのコンテンツを聞き逃すことはなくなる。

　また、本開示の構成では、再度マーカ認識が可能な状態、すなわち図２（Ａ）の状態に戻った場合、コンテンツの最初からの再生を行うのではなく、連続的な再生処理を継続する。
　以下、この本開示のコンテンツ再生制御処理の詳細について説明する。

　　［２．本開示のコンテンツ再生制御における状態遷移について］
　次に、本開示のコンテンツ再生制御における状態遷移について説明する。
　図３は、本開示の情報処理装置が設定される複数の状態と各状態の遷移処理について説明する図である。

　本開示の情報処理装置は、以下の４状態のいずれかの状態に設定される。
　（ａ）マーカ認識成功状態
　（ｂ）マーカトラッキング状態
　（ｃ）マーカ一時ロスト状態
　（ｄ）マーカ完全ロスト状態
　本開示の情報処理装置は、これら（ａ）～（ｄ）の４状態のいずれかの状態に設定される。

　（ａ）マーカ認識成功状態とは、撮影画像中からマーカが認識できない「完全ロスト状態」から初めてマーカを認識した状態である。
　（ｂ）マーカトラッキング状態とは、認識したマーカを追従している状態である。
　（ｃ）マーカ一時ロスト状態とは、「マーカトラッキング状態」において追従していたマーカを見失い（ロスト）、見失った（ロスト）時間からの経過時間が、予め規定した閾値時間Δｔ以下である状態である。
　（ｄ）マーカ完全ロスト状態とは、「マーカトラッキング状態」において追従していたマーカを見失い（ロスト）、見失った（ロスト）時間からの経過時間が、予め規定した閾値時間Δｔを超えた状態である。

　本開示の処理を実行するフログラムであるアプリケーションを起動すると、まず、初期状態は、「（ｄ）マーカ完全ロスト状態」に設定される。その後、撮影画像からマーカが認識されると、図３に示す遷移ライン（Ｓ１）に従って、「（ａ）マーカ認識成功状態」に遷移する。

　「（ａ）マーカ認識成功状態」に遷移後、すぐに、遷移ライン（Ｓ２）に従って、「（ｂ）マーカトラッキング状態」に遷移する。
　この「（ｂ）マーカトラッキング状態」においてマーカが撮影画像中から検出されている間は、「（ｂ）マーカトラッキング状態」に留まる。

　「（ｂ）マーカトラッキング状態」において、撮影画像中からマーカを見失うと、遷移ライン（Ｓ３）に従って、「（ｃ）マーカ一時ロスト状態」に遷移する。
　「（ｃ）マーカ一時ロスト状態」では、この状態の開始時間からの経過時間が計測され、予め規定した閾値時間Δｔを超えたか否かが判定される。

　「（ｃ）マーカ一時ロスト状態」において、予め規定した閾値時間Δｔ以内に、マーカが撮影画像中から検出された場合は、遷移ライン（Ｓ４）に従って、「（ｂ）マーカトラッキング状態」に遷移する。
　一方、「（ｃ）マーカ一時ロスト状態」において、予め規定した閾値時間Δｔ以内に、マーカが撮影画像中から検出されず、予め規定した閾値時間Δｔを超えると、遷移ライン（Ｓ５）に従って、「（ｄ）マーカ完全ロスト状態」に遷移する。

　「（ｄ）マーカ完全ロスト状態」において、撮影画像からマーカが認識されると、図３に示す遷移ライン（Ｓ１）に従って、「（ａ）マーカ認識成功状態」に遷移する。
　「（ｄ）マーカ完全ロスト状態」において、撮影画像からマーカが認識されない場合は、「（ｄ）マーカ完全ロスト状態」を継続する。

　本開示の情報処理装置は、このような状態遷移を行う。
　さらに、図３に示すように、
　（ａ）マーカ認識成功状態
　（ｂ）マーカトラッキング状態
　これらの２つの状態では、画像と音声からなるコンテンツ再生を実行する。
　すなわち、図２（Ａ）に示すマーカ認識状態に示すように、情報処理装置３０の表示部に撮影画像に重畳して再生仮想画像３１を重畳表示し、スピーカを介して再生音声３２を出力する。

　また、
　（ｃ）マーカ一時ロスト状態
　においては、音声のみの再生を実行する。
　すなわち、図２（Ｂ）に示すマーカ一時ロスト状態に示すように、情報処理装置３０のスピーカを介して再生音声３２を出力する。表示部には、再生仮想画像３１は重畳表示しない。
　また、
　（ｄ）マーカ完全ロスト状態
　においては、画像、音声の再生を停止する。

　　［３．情報処理装置の実行するコンテンツ再生制御処理シーケンスについて］
　次に、本開示の情報処理装置が実行するコンテンツ再生制御処理らシーケンスについて説明する。
　図４は、本開示の情報処理装置が実行するコンテンツ再生制御処理らシーケンスを説明するフローチャートを示す図である。

　なお、図４のフローに示す処理は、例えば情報処理装置の記憶部に格納されたプログラム（アプリケーション）に従って、情報処理装置のデータ処理部、すなわちプログラム実行機能を有するＣＰＵ等を有するデータ処理部の制御の下に実行される。
　以下、各ステップの処理の詳細について、順次、説明する。

　　（ステップＳ１０１）
　まず、情報処理装置は、アプリケーションを起動し、ステップＳ１０１において、情報処理装置の撮像部（カメラ）を介して画像を撮影する。例えば図１に示すようなマーカを持つポスターを撮影する。
　なお、情報処理装置のデータ処理部は、加増撮影開始後、撮影画像にマーカが含まれるか否かのマーカ検索処理を継続して実行する。

　前述したように、情報処理装置の初期状態は、「マーカ完全ロスト状態」であり、撮影画像からマーカが検出された場合は、「マーカ認識成功状態」に遷移する。

　なお、マーカは、例えば図１を参照して説明したようにサイバーコードなどのコード情報が適用可能である。なお、このようなコード情報を用いることなく、例えばポスターの画像情報そのものであってもよく、あるいはポスターに印刷された番号等、様々な情報をマーカとして利用することが可能である。

　　（ステップＳ１０２）
　次に、情報処理装置はステップＳ１０２において、撮影画像中からマーカが検出されない「マーカ完全ロスト状態」にあるか否かを判定する。
　前述したように、初期状態では、「マーカ完全ロスト状態」にある。
　「マーカ完全ロスト状態」にあると判定した場合は、ステップＳ１０３に進む。
　「マーカ完全ロスト状態」でない場合、すなわち、既にマーカが検出された場合は、ステップＳ１０９に進み、マーカのトラッキング処理を行なう。すなわち、図３（ｂ）に示すマーカトラッキング状態でのマーカ追従処理を実行する。

　　（ステップＳ１０３）
　ステップＳ１０２において、「マーカ完全ロスト状態」にあると判定し、ステップＳ１０３に進むと、撮影画像からのマーカ検出処理を実行する。

　　（ステップＳ１０４）
　ステップＳ１０４では、ステップＳ１０３のマーカ検出処理に成功したか否かを判定する。
　マーカ検出処理に成功すると、状態を「マーカ認識成功状態」に遷移させて、ステップＳ１０５に進む。
　一方、マーカ検出処理に成功していない場合は、ステップＳ１０１のかめら画像取得処理に戻り、ステップＳ１０１以下の処理を繰り返す。

　　（ステップＳ１０５）
　ステップＳ１０４で、マーカ検出処理に成功すると、状態を「マーカ認識成功状態」に遷移させて、ステップＳ１０５に進む。
　ステップＳ１０５では、再生位置情報が情報処理装置のメモリ（記憶部）に記録されているか否かを判定する。
　この再生位置情報とは、前回のコンテンツ再生処理における再生停止位置情報である。

　なお、再生位置情報の格納先は、情報処理装置のメモリ（記憶部）としてもよいし、あるいは情報処理装置の通信部を介して通信を実行しているサーバ内の記憶部であってもよい。サーバを利用する構成では、サーバとの通信処理を実行しながら、図４に示すフローを実行する。

　後段で説明するが、情報処理装置は、マーカロスト等の所定条件に基づいてコンテンツの再生途中でコンテンツ再生を停止する場合、コンテンツの再生停止位置を情報処理装置、あるいはサーバのメモリ（記憶部）に記録する。
　なお、以下の説明では、サーバを利用しない構成例として説明する。
　ステップＳ１０５では、コンテンツ再生が途中で停止され、再生位置情報が情報処理装置のメモリ（記憶部）に記録されているか否かを判定する。
　再生位置情報が記録されている場合はステップＳ１０６に進む。
　再生位置情報が記録されていない場合はステップＳ１０７に進む。

　　（ステップＳ１０６）
　ステップＳ１０５において、情報処理装置のメモリ（記憶部）に前回のコンテンツ再生処理における再生停止位置情報が記録されていると判定した場合、情報処理装置はステップＳ１０６において、再生停止位置情報をメモリから取得し、取得したコンテンツの再生停止位置を、コンテンツ再生開始位置として、その再生開始位置をコンテンツから検索する再生位置シーク処理を実行する。

　　（ステップＳ１０７）
　情報処理装置は、ステップＳ１０７において、ステップＳ１０６でのシーク処理によって検出したコンテンツ再生開始位置からのコンテンツ再生を開始する。
　なお、ステップＳ１０５において、情報処理装置のメモリ（記憶部）に前回のコンテンツ再生処理における再生停止位置情報が記録されていないと判定した場合は、ステップＳ１０７では、コンテンツのスタート部分からコンテンツ再生を開始する。

　なお、再生コンテンツは、図１を参照して説明した再生仮想画像３１と再生音声３２からなるコンテンツである。このコンテンツは、情報処理装置の記憶部から取得する。あるいはサーバを利用した構成においては、通信中のサーバから取得する構成としてもよい。
　以下の説明では、情報処理装置の記憶部に格納したコンテンツを再生する処理例として説明する。

　　（ステップＳ１０８）
　ステップＳ１０８では、所定の終了条件、例えばコンテンツの再生終了、あるいは、アプリケーションの終了等、所定の終了条件が発生したか否かを判定し、終了条件が発生した場合は処理を終了する。
　終了条件が発生していない場合は、ステップＳ１０１に戻り、ステップＳ１０１以下の処理を継続的に実行する。

　　（ステップＳ１０９）
　ステップＳ１０９は、前述したように、ステップＳ１０２における処理、すなわち、撮影画像中からマーカが検出されない「マーカ完全ロスト状態」にあるか否かの判定処理において、「マーカ完全ロスト状態」でない場合、すなわち、既にマーカが検出された場合に移行する処理ステップである。
　ステップＳ１０９では、検出されたマーカのトラッキングを実行する。すなわち、図３（ｂ）に示すマーカトラッキング状態でのマーカ追従処理を実行する。

　　（ステップＳ１１０）
　ステップＳ１１０では、マーカトラッキングにおいてマーカトラッキング（追従）が成功しているか否かを判定する。
　成功している場合は、ステップＳ１０７に進み、コンテンツ再生を継続する。
　マーカトラッキングにおいてマーカトラッキング（追従）が失敗、すなわちマーカを見失った（ロスト）場合は、ステップＳ１１１に進む。この場合、ジョウタイハ、図３に示す「（ｃ）マーカ一時ロスト状態」に移行する。

　　（ステップＳ１１１）
　ステップＳ１１１では、すなわちマーカを見失った（ロスト）時間からの経過時間の計測を開始する。

　　（ステップＳ１１２）
　ステップＳ１１２では、ステップＳ１１１で計測を開始したマーカのロスト発生時からの経過時間（ロスト時間）が予め規定した閾値時間Δｔを超えたか否かを判定する。
　ロスト時間＞閾値時間Δｔ
　上記判定式を満足する場合は、ステップＳ１１４に進む。ステップＳ１１４に進む時点で、状態は、図３に示す「（ｄ）マーカ完全ロスト状態」に遷移する。
　マーカのロスト発生時からの経過時間（ロスト時間）が予め規定した閾値時間Δｔを超えておらず、上記判定式を満足しない場合は、ステップＳ１１３に進む。

　　（ステップＳ１１３）
　ステップＳ１１３は、マーカのロスト発生時からの経過時間（ロスト時間）が予め規定した閾値時間Δｔを超えていない場合の処理である。すなわち、図３に示す「（ｃ）マーカ一時ロスト状態」における処理である。ステップＳ１１３では、コンテンツ中の画像の再生を停止、すなわち、撮影画像に仮想画像を重畳表示する処理を停止する。ただし、音声出力のみは継続する。
　具体的には、図２（Ｂ）に示すマーカ一時ロスト状態に対応する音声のみのコンテンツ再生を継続する。

　　（ステップＳ１１４）
　ステップＳ１１４は、マーカのロスト発生時からの経過時間（ロスト時間）が予め規定した閾値時間Δｔを超えた場合の処理である。すなわち、図３に示す「（ｄ）マーカ完全ロスト状態」に移行した場合の処理である。
　ステップＳ１１４では、画像と音声の両者の再生を停止状態にする。すなわち、撮影画像に仮想画像を重畳表示する処理も音声再生も停止する。

　　（ステップＳ１１５）
　ステップＳ１１４でのコンテンツ再生停止後、ステップＳ１１５において、コンテンツの再生停止位置情報をメモリに記録する。
　なお、コンテンツ中、画像再生は先行して停止され、音声のみが再生継続し、その後、音声再生が停止する処理が実行されるが、メモリに格納する再生停止位置は、画像再生停止位置、あるいは音声再生停止位置のいずれかの設定とする。

　コンテンツ中の画像と音声は同期再生が実行され、ステップＳ１１３では、再生コンテンツ中の音声のみが出力され、画像の表示は実行されないが、コンテンツ再生位置は音声の再生に応じて更新される。
　ステップＳ１１５では、ステップＳ１１４での画像再生停止位置、あるいは音声再生停止位置に対応する再生位置情報がメモリに記録される。

　先に説明したステップＳ１０５におけるメモリからの再生位置情報の検索処理は、この再生停止位置情報をメモリから取り出す処理となる。
　ステップＳ１０５でメモリから再生位置情報の取得に成功し、ステップＳ１０７において、再生開始位置が決定され、ステップＳ１０７でのコンテンツ再生の再開時には、ステップＳ１１４で停止した画像あるいは音声の停止位置から画像と音声が併せて再生を開始する。

　コンテンツの再生停止と、その後のコンテンツ再生の再開の処理例について図５に示すシーケンス図を参照して説明する。
　再生コンテンツは、コンテンツ再生位置として、再生開始位置＝Ｔ０、再生終了位置＝Ｔ５の、再生位置＝Ｔ０～Ｔ５からなるコンテンツである。コンテンツには画像、音声が含まれる。
　画像は、図１、図２に示した再生仮想画像３１に対応し、撮影画像等のベース画像に重畳表示される画像である。
　音声は、画像に併せて同期再生される例えば図１、図２に示す再生音声３２に対応する。

　図５には、
　（Ａ）１回目のマーカ認識時の再生処理、
　（Ｂ）２回目のマーカ認識時の再生処理、
　これらを個別に示している。

　まず、（Ａ）１回目のマーカ認識時の再生処理について説明する。アプリケーションを起動し、撮影画像中からマーカを検出すると、コンテンツのスタート位置（Ｔ０）から画像、音声ともに再生を開始する。

　コンテンツ再生位置（Ｔ１）の時点で、マーカのロストが発生、すなわち撮影画像からのマーカ検出に失敗したとする。
　この時点から、ロスト時間の計測が開始される。すなわち、図に示す（Ｔ１）からの経過時間が計測される。
　マーカのロスト発生時において、コンテンツ中の画像再生が停止される。
　すなわちコンテンツの再生時間（Ｔ１）が画像の再生停止位置となり、この画像再生停止位置がメモリに記録される。
　なお、本処理例では、画像再生停止位置をメモリに記録する再生位置情報とする。

　コンテンツ再生位置（Ｔ１）において画像再生は停止されるが、音声の再生は継続して実行される。すなわち、図３に示す「（ｃ）マーカ一時ロスト状態」において音声の再生のみが継続して実行される。
　この音声再生処理は、図５に示すコンテンツ再生位置（Ｔ１～Ｔ２）の音声のみの再生処理に相当する。

　コンテンツ再生位置（Ｔ１）で、マーカのロストが発生し、ロスト時間の計測が開始され、経過時間が予め規定した閾値時間Δｔ経過後まで、マーカロスト次様態が継続すると、マーカ完全ロスト状態に遷移し、この時点で音声の再生も停止する。すなわち、図５に示すように、コンテンツ再生位置（Ｔ２）において音声再生が停止される。

　その後、撮影画像中からマーカ検出処理が継続的に実行され、マーカ検出に成功すると、図５（Ｂ）２回目のマーカ認識時の再生処理が実行される。

　（Ｂ）２回目のマーカ認識時のコンテンツ再生処理においては、１回目の再生処理の停止位置からの再生が行われる。
　（Ａ）１回目のマーカ認識時のコンテンツ再生において、コンテンツの再生時間（Ｔ１）が画像の再生停止位置となり、この画像再生停止位置がメモリに記録されている。

　（Ｂ）２回目のマーカ認識時のコンテンツ再生処理においては、このメモリに格納された再生位置情報（Ｔ１）を取得し、コンテンツの再生位置（Ｔ１）から画像および音声の再生が再開される。
　この処理によって、ユーザは、コンテンツを始めからではなく、再生停止した位置から視聴することが可能となる。

　さらに、図５には、（Ｂ）２回目のマーカ認識時のコンテンツ再生処理において、コンテンツ再生位置（Ｔ３）で、マーカロストが発生した場合の処理を示している。
　ただし、図に示すコンテンツ再生位置（Ｔ３～Ｔ４）の例は、ロスト発生時からの経過時間が既定しきい値時間Δｔを超える前にマーカが再検出された場合の処理例である。
　すなわち、ロスト発生時からの経過時間が既定しきい値時間Δｔを超える前のコンテンツ再生位置（Ｔ４）の時点で、マーカが再検出された場合の処理である。
　この場合、状態遷移は以下の通りである。
　Ｔ３以前は、マーカトラッキング状態、
　Ｔ３～Ｔ４は、マーカ一時ロスト状態、
　Ｔ４でマーカ認識成功状態、
　Ｔ４以降は、再度、マーカトラッキング状態、
　このような状態遷移となる。

　ロスト発生時の（Ｔ３）で画像再生は停止する。ただし、音声再生は継続する。
　その後（Ｔ４）においてマーカが再検出されると、音声再生はそのまま継続し、画像についても、音声と同期した再生位置から再生を開始する。

　このように、本開示の処理では、マーカのロストが発生した場合、再生停止位置を記録しておき、再生再開時に再生停止位置からの再生を開始するので、始めからコンテンツ再生を繰り返すといった無駄な処理が行われることがない。
　また、マーカロストが発生しても、音声の再生が所定時間継続するので、例えばその期間にユーザがマーカ位置にカメラを向けるといった処理を行なうことで、画像再生も再開され、継続したコンテンツ再生を実行させることも可能となる。

　なお、図５に示すコンテンツの再生制御処理では、コンテンツの再生停止および再開時にコンテンツの再生のオンオフ切り替えを実行しているが、コンテンツの再生停止時には、音声レベルを徐々に低下させるフェードアウト処理を実行し、コンテンツの再生再開時には、音声レベルを徐々に上昇させるフェードイン処理を実行する構成としてもよい。
　この再生制御処理例を図６に示す。

　図６には、図５と同様、
　（Ａ）１回目のマーカ認識時の再生処理、
　（Ｂ）２回目のマーカ認識時の再生処理、
　これらを個別に示している。

　再生コンテンツ、および、マーカロストや再検出のタイミングは図５と同様である。
　すなわち、コンテンツは、再生位置＝Ｔ０～Ｔ５からなるコンテンツである。コンテンツには画像、音声が含まれる。

　（Ａ）１回目のマーカ認識時の再生処理に示す処理は、
　再生位置（Ｔ１）でマーカロストが発生し、そのまま、閾値時間（Δｔ）が経過した場合の処理である。
　この処理例では、マーカのロスト発生時（Ｔ１）において、コンテンツ中の画像再生が停止され、この画像再生停止位置がメモリに記録される。

　コンテンツ再生位置（Ｔ１）において画像再生は停止されるが、音声の再生は継続して実行される。ただし、本処理例では、コンテンツ再生位置（Ｔ１）からの音声再生処理において、音声レベルを徐々に低下させるフェードアウト処理を実行する。
　このフェードアウト音声再生処理は、図６（Ａ）に示すコンテンツ再生位置（Ｔ１～Ｔ２）の音声のみの再生処理時に実行する。

　その後、撮影画像中からマーカ検出処理が継続的に実行され、マーカ検出に成功すると、図６（Ｂ）２回目のマーカ認識時の再生処理が実行される。

　（Ｂ）２回目のマーカ認識時のコンテンツ再生処理においては、１回目の再生処理の停止位置からの再生が行われる。
　（Ａ）１回目のマーカ認識時のコンテンツ再生において、コンテンツの再生時間（Ｔ１）が画像の再生停止位置となり、この画像再生停止位置がメモリに記録されている。

　（Ｂ）２回目のマーカ認識時のコンテンツ再生処理においては、このメモリに格納された再生位置情報（Ｔ１）を取得し、コンテンツの再生位置（Ｔ１）から画像および音声の再生が再開される。
　本処理例では、メモリに格納された再生位置情報（Ｔ１）より前の位置を再生開始位置として、この再生開始位置から画像と音声のレベルを徐々に上げていくフェードイン再生処理を実行する。

　さらに、図６（Ｂ）には、図５（Ｂ）と同様、コンテンツ再生位置（Ｔ３）で、マーカロストが発生し、既定しきい値時間Δｔを超える前にマーカが再検出された場合の処理例を示している。
　コンテンツ再生位置（Ｔ３）で、マーカロストが発生し他場合、画像再生は停止するが、音声再生は停止せず、継続する。ただし、本処理例では、再生音声レベルを徐々に低下させるフェードアウト処理を実行している。

　さらに、ロスト発生時からの経過時間が既定しきい値時間Δｔを超える前のコンテンツ再生位置（Ｔ４）の時点で、マーカが再検出された場合、画像と音声の再生レベルを徐々に増加させて再生を再開、すなわちフェードイン処理を実行してコンテンツ再生を再開する。

　　［４．情報処理装置の構成例について］
　次に、図７を参照して上述の処理を実行する情報処理装置の構成例について説明する。

　図７に示すように、情報処理装置１００は、データ処理部１１０、記憶部１２０、撮像部（カメラ）１３０、表示部１４０、スピーカ１５０を有する。
　データ処理部１１０は、マーカ認識追従部１１１、再生制御部１１２、画像表示処理部１１３、音声再生処理部１１４を有する。
　記憶部１２０には、コンテンツ１２１と、再生位置情報１２２が記録される。

　図７に示す各構成部の実行する処理について、先に説明した図４に示すフローチャートの各ステップの処理に対応付けて説明する。

　撮像部（カメラ）１３０は、図４に示すフローのステップＳ１０１の処理、すなわちカメラ画像の撮影処理を実行する。
　マーカ認識追従部１１１は、図４のフローのステップＳ１０３やステップＳ１０９の処理を実行する。すなわち、撮像部（カメラ）１３０の撮影画像からマーカを検出し、さらに、検出マーカのトラッキング（追従）処理を実行する。
　マーカは前述したように、例えばサイバーコードなどのコード情報、あるいは特定の画像情報など、さまざまな情報が利用可能である。

　再生制御部１１２は、図４に示すフローのステップＳ１０４～Ｓ１０７、ステップＳ１１０～Ｓ１１５の各処理を実行する。
　すなわち、マーカ認識追従部１１１からのマーカ認識結果情報を入力して、コンテンツの再生制御を実行する。
　このコンテンツ再生制御においては、先に図３を参照して説明した状態遷移を実行し、さらに、図５や図６を参照して説明した再生制御、すなわち画像の再生停止後、音声を継続再生する処理などを行う。

　さらに、再生停止する場合は、再生停止位置に対応する再生位置情報１２２を記憶部１２０に記録する処理を実行し、再生再開時には、記憶部１２０に格納された再生位置情報１２２を取得してその位置からの再生処理を再開する処理などを実行する。
　なお、再生コンテンツは、記憶部１２０のコンテンツ１２１であり、画像と音声情報を含むコンテンツである。

　画像表示処理部１１３は、コンテンツ１２１中の画像データを撮影画像に重畳させて、表示部１４０に出力する。
　音声再生処理部１１４は、コンテンツ１２１中の音声データをスピーカ１５０を介して出力する。
　なお、先に図６を参照して説明したフェードイン、フェードアウト処理を実行する場合は、再生制御部１１２の指示に応じて画像表示処理部１１３と、音声再生処理部１１４が、それぞれ出力データのレベル制御を実行する。

　なお、具体的なハードウェア構成としては、データ処理部１１０は、ＣＰＵ等を有する制御手段によって構成可能であり、記憶部１２０はＲＡＭ、ＲＯＭ、ハードディスクなどの各種の記憶手段によって構成可能である。
　ＣＰＵ等によって構成されるデータ処理部１１０が記憶部１２０内に格納されたプログラム（アプリケーション）を実行することで、先に説明した図鵜に示すフローに従った処理が実行される。

　図８は、もう１つの情報処理装置２００の構成例を示している。
　図７の情報処理装置１００との差異は、入力部１６０を有する点である。
　入力部１６０は、例えばコンテンツ再生停止後のコンテンツ再生再開処理時の処理態様を決定するためのユーザ入力を入力して、再生制御部１１２に通知する。

　再生制御部１１２は、このユーザ入力情報に応じた処理を実行する。
　例えば、
　（１）上述した実施例において説明した再生停止位置からの途中再生を実行させるレジューム（Ｒｅｓｕｍｅ）処理、あるいは、
　（２）再生停止位置からではなく、始めからのコンテンツ再生を実行させるリプレイ（Ｒｅｐｌａｙ）処理、
　これら（１），（２）のいずれかをユーザの入力に応じて選択再生可能とする。

　この入力部１６０は。具体的には表示部１４０に表示するユーザインタフェース（ＩＦ）として実現可能である。
　ユーザインタフェース表示例を図９に示す。

　図９には、ＵＩ情報として、
　（Ａ）最初から再生指示アイコン２５１［Ｒｅｐｌａｙ］を表示した例、
　（Ｂ）最初から再生指示アイコン２５１［Ｒｅｐｌａｙ］と、停止位置から再生指示アイコン２５２［Ｒｅｓｕｍｅ］を表示した例、
　これらの２つのＵＩ表示例を示している。

　これらのＵＩは、例えば、マーカロスト後、再度、マーカが検出された場合に表示部１４０に表示する。
　例えば、図９（Ａ）に示す最初から再生指示アイコン２５１［Ｒｅｐｌａｙ］のみが表示された構成では、このアイコンをタッチすることで、コンテンツの再生は最初からの再生として実行される。すなわち、前回の再生停止位置からの再生は実行されず、最初からのコンテンツ再生を実行する。
　図９（Ａ）に示す最初から再生指示アイコン２５１［Ｒｅｐｌａｙ］に対するタッチ入力を所定時間検出しない場合は、前述の実施例で説明した処理、すなわち前回の再生停止位置からの再生を実行する。
　この再生制御は、再生制御部１１２において実行する。

　例えば、図９（Ｂ）に示す最初から再生指示アイコン２５１［Ｒｅｐｌａｙ］と、停止位置から再生指示アイコン２５２［Ｒｅｓｕｍｅ］とが表示された構成では、いずれかのアイコンをタッチすることで、そのタッチアイコンに応じた処理を実行する。

　すなわち、再生指示アイコン２５１［Ｒｅｐｌａｙ］のタッチ入力を検出すると、コンテンツの再生を最初からの再生として実行する。
　一方、停止位置から再生指示アイコン２５２［Ｒｅｓｕｍｅ］のタッチ入力を検出すると、前回の再生停止位置からの再生を実行する。
　この再生制御は、再生制御部１１２において実行する。

　さらに、図１０に示すように、前回の再生停止位置における再生画像を表示部に表示する構成としてもよい。図１０に示す停止位置の再生画像２５３である。
　ユーザは、この画像を確認して、再生停止位置からの再生とするか、始めからの再生とするかを選択することが可能となる。
　図８に示す情報処理装置２００は、このようなユーザ入力に応じた制御を可能とした情報処理装置である。

　さらに、図１１に示す情報処理装置３００は、コンテンツ４０１と、再生位置情報４０２をサーバ４００に格納した場合の構成例である。
　情報処理装置３００は通信部１１５を介してサーバ４００と通信を実行し、コンテンツ４０１の取得、再生位置情報４０２の送信、および受信を実行して、再生制御を行う。

　この場合の再生制御は、先に説明した図４のフローに従った処理と同様の処理となる。
　ただし、コンテンツの取得や、再生位置情報の格納や取り出し処理については、通信部１１５を介したサーバ４００との通信によって実行することになる。

　クライアントとしての情報処理装置３００のデータ処理部１１０は、撮像部１３０の撮影画像からマーカ検出を実行し、マーカ検出が不能となったマーカロスト時に、サーバ４００からの受信コンテンツの再生を停止し、再生停止位置情報をサーバに送信し、その後のマーカ再検出を条件として、サーバから再生停止位置情報を入力して、該再生停止位置に対応する位置からのコンテンツ再生を実行する。

　さらに、図１２に示す情報処理装置５００は図１１に示す構成と同様、コンテンツ４０１と、再生位置情報４０２をサーバ４００に格納し、さらに、マーカ認識追従部４０３もサーバ４００に設置した構成である。

　情報処理装置５００は通信部１１５を介してサーバ４００と通信を実行し、撮像部（カメラ）１３０撮影画像５０１をサーバ４００のマーカ認識追従部４０３に提供する。
　サーバ４００のマーカ認識追従部４０３は、撮影画像からマーカを識別して、マーカの識別結果であるマーカ識別情報５０２を情報処理装置５００に提供する。
　情報処理装置５００の再生制御部１１２は、サーバ４００からコンテンツを受信し、さらにマーカ識別情報５０１を受信し、受信したマーカ識別情報５０１を利用して、先に説明した図４のフローに従った処理と同様の処理を実行する。

　本構成においては、クライアントとしての情報処理装置５００のデータ処理部１１０は、撮像部１３０の撮影画像５０１を、通信部１１５を介してサーバ４００に送信し、サーバ４００から撮影画像に基づくマーカ識別情報５０２を受信し、サーバ４００からの提供コンテンツの再生を実行する。
　データ処理部１１０は、サーバからのマーカ検出情報がマーカ検出不能を示すマーカロストを示す場合、コンテンツ再生を停止し、再生を停止したコンテンツ位置を、通信部１１５を介してサーバ４００に送信し、その後のマーカ再検出を条件として、サーバ４００から直前にサーバ４００に送信したコンテンツ位置情報を取得して、その位置に対応する位置からのコンテンツを再生する。
　この処理構成とすることで、情報処理装置５００の処理負荷が大きく軽減されることになる。

　　［５．その他の実施例について］
　上述した実施例では、マーカのロスト、すなわち、情報処理装置の撮影画像中からのマーカ検出の有無に応じてコンテンツの再生制御を実行する実施例について説明した。
　具体的には、マーカが検出されているか否かの情報、およびマーカロストからの経過時間に応じてコンテンツの再生制御を実行する処理例である。

　情報処理装置におけるコンテンツ再生制御のトリガとする情報は、このマーカ以外の情報とすることも可能である。
　具体的には、例えば以下の情報をコンテンツ再生制御のトリガとして利用可能である。
　（ａ）再生コンテンツのシーン情報
　（ｂ）情報処理装置のセンサ情報
　（ｃ）情報処理装置の電話着信情報
　例えば、情報処理装置の再生制御部において、これらの情報を入力してコンテンツ再生制御を行う構成としてもよい。

　上記の各情報をトリガとしたコンテンツ再生制御処理の具体例について説明する。
　（ａ）再生コンテンツのシーン情報を利用する場合、情報処理装置の再生制御部は、再生コンテンツに付属して設定されたメタデータ（属性情報）を入力する。
　例えばメタデータが、コンテンツの区切りを示すメタデータである場合にコンテンツを停止し、その停止位置をメモリに記録するといった処理を行なう。
　再生再開時点においては、再生停止したコンテンツの区切り位置からコンテンツを再開させる制御を行う。

　また、（ｂ）情報処理装置のセンサ情報を利用する場合、情報処理装置の再生制御部は、情報処理装置のセンサ情報、例えば加速度センサ情報を入力し、突然の情報処理装置の動きを検出した場合などに、コンテンツの再生を停止し、再生停止位置情報をメモリに記録する。この処理は、例えばユーザが情報処理装置をポケットに格納するといった処理時に行われることになる。
　再生再開時点においては、再生停止したコンテンツの位置からコンテンツを再開させる制御を行う。

　また、（ｃ）情報処理装置の電話着信情報を利用する場合、情報処理装置の再生制御部は、情報処理装置の電話着信情報を入力し、電話着信があった場合に、コンテンツの再生を停止し、再生停止位置情報をメモリに記録する。この処理は、例えば電話着信後、通話を行い、通話終了後に再生再開する場合に、再生停止したコンテンツの位置からコンテンツを再開させることを可能とする制御である。

　　［６．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）撮像部の撮像により得られる撮像画像から特徴画像が検出されることに基づき、前記特徴画像に応じたコンテンツの再生処理を実行するデータ処理部と、
　前記特徴画像の検出が不能となったタイミングに応じた前記コンテンツの再生位置であるレジュームポイントを特定する特定部と、
　前記データ処理部は、前記特徴画像の検出が不能となった後に再度前記特徴画像が検出されることに応じて、前記レジュームポイントに応じた位置から前記コンテンツの再生を実行する、
　情報処理装置。

　（２）前記データ処理部は、コンテンツ再生処理において、コンテンツを構成する画像データを前記撮像部の撮影画像に重畳表示する処理を行なう前記（１）に記載の情報処理装置。
　（３）前記コンテンツは画像および音声を含むコンテンツであり、前記データ処理部は、前記特徴画像の検出が不能となった場合に画像のみ再生を停止し、音声を継続再生する処理を実行する前記（１）または（２）に記載の情報処理装置。

　（４）前記データ処理部は、前記特徴画像の検出が不能となった時からの経過時間を計測し、経過時間が予め設定した閾値時間を超えた場合に、音声の再生を停止する前記（１）～（３）いずれかに記載の情報処理装置。
　（５）前記データ処理部は、前記特徴画像の再検出を条件として、メモリから前記レジュームポイントを取得し、取得したコンテンツ位置から画像と音声を含むコンテンツ再生を実行する前記（１）～（４）いずれかに記載の情報処理装置。

　（６）前記データ処理部は、前記特徴画像の検出が不能となった場合に、コンテンツ出力レベルを時間経過とともに低下させるフェードアウト処理を実行する前記（１）～（５）いずれかに記載の情報処理装置。
　（７）前記データ処理部は、前記特徴画像の再検出時に、コンテンツ出力レベルを時間経過とともに上昇させるフェードイン処理を実行する前記（１）～（６）いずれかに記載の情報処理装置。

　（８）前記データ処理部は、
　前記特徴画像の再検出時におけるコンテンツ再生処理の態様として、
　（ａ）コンテンツをメモリに格納されたレジュームポイントから再生するレジューム処理、または、
　（ｂ）コンテンツを始めから再生するリプレイ処理、
　いずれかの処理を選択するかの指示情報を入力し、入力情報に応じたコンテンツ再生を実行する前記（１）～（７）いずれかに記載の情報処理装置。

　（９）前記データ処理部は、
　前記特徴画像の再検出時におけるコンテンツ再生処理の態様として、
　（ａ）コンテンツをメモリに格納されたレジュームポイントから再生するレジューム処理、または、
　（ｂ）コンテンツを始めから再生するリプレイ処理、
　いずれかの処理を選択するかの指示情報を入力可能としたユーザインタフェースを表示部に表示する前記（１）～（８）いずれかに記載の情報処理装置。

　（１０）前記特徴画像は、撮影画像に含まれる識別マークである前記（１）～（９）いずれかに記載の情報処理装置。
　（１１）前記データ処理部は、前記再生コンテンツのシーン情報、または、前記情報処理装置のセンサ情報、または、前記情報処理装置の電話着信情報の入力に応じて、コンテンツ再生を停止し、再生を停止したコンテンツ位置をメモリに記録する処理を実行する前記（１）～（１０）いずれかに記載の情報処理装置。

　（１２）画像撮影を行う撮像部と、
　サーバとの通信を実行する通信部と、
　前記撮像部の撮影画像から特徴画像の検出を実行し、サーバからの提供コンテンツの再生を実行するデータ処理部を有し、
　前記データ処理部は、
　前記撮影画像からの特徴画像の検出が不能となった場合に、サーバからの受信コンテンツの再生を停止し、再生停止位置をレジュームポイント情報としてサーバに送信し、
　その後の特徴画像の再検出を条件として、前記サーバから前記レジュームポイント情報を入力して、該レジュームポイント位置からのコンテンツ再生を実行する情報処理装置。

　（１３）　画像撮影を行う撮像部と、
　サーバとの通信を実行する通信部と、
　前記撮像部の撮影画像を、前記通信部を介してサーバに送信し、サーバから前記撮影画像に基づく特徴画像検出情報を受信し、サーバからの提供コンテンツの再生を実行するデータ処理部を有し、
　前記データ処理部は、
　前記サーバからの特徴画像検出情報が特徴画像の検出不能を示す場合、コンテンツ再生を停止し、再生を停止したコンテンツ位置を、レジュームポイント情報として前記通信部を介してサーバに送信し、
　その後の特徴画像再検出を条件として、前記サーバから前記レジュームポイント位置に対応する位置からのコンテンツを受信して再生する情報処理装置。

　（１４）　クライアントとの通信を実行する通信部と、
　前記クライアントに提供するコンテンツを格納した記憶部と、
　前記クライアントの撮影画像からの特徴画像検出処理と、コンテンツの提供処理を実行するデータ処理部を有し、
　前記データ処理部は、
　前記クライアントの撮影画像からの特徴画像検出処理を実行し特徴画像検出情報を前記クライアントに提供するサーバ。

　さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
　なお、たとえば、上記（１）に記載の構成は、ユーザ側の端末の構成であってもよいが、ユーザ端末と通信するサーバの構成であってもよい。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、マーカ等の特徴画像に応じたコンテンツ再生処理において、マーカロスト時、およびマーカ再検出時の改善された再生制御が実現される。
　具体的には、撮像部の撮影画像からマーカ等の特徴画像検出を実行し、マーカ検出に応じてコンテンツ再生を実行する。撮影画像からのマーカ検出が不能となったマーカロスト時に、コンテンツ再生を停止し、再生を停止したコンテンツ位置をメモリに記録し、その後のマーカ再検出を条件として、メモリからコンテンツ位置を取得し、取得したコンテンツ位置からコンテンツを再生する。コンテンツは画像および音声を含むコンテンツであり、マーカロスト時に画像のみ再生を停止し、音声再生を継続し、マーカロスト時からの経過時間が予め設定した閾値時間を超えた場合に、音声の再生を停止する。
　これらの構成により、マーカに応じたコンテンツ再生処理において、マーカロスト時、およびマーカ再検出時の改善された再生制御が実現される。

　　１０　ポスター
　　１１　マーカ
　　２１　ユーザ
　　３０　情報処理装置（携帯端末）
　　３１　再生仮想画像
　　３２　再生音声
　１００　情報処理装置
　１１０　データ処理部
　１１１　マーカ認識追従部
　１１２　再生制御部
　１１３　画像表示処理部
　１１４　音声再生処理部
　１２０　記憶部
　１２１　コンテンツ
　１２２　再生位置情報
　１３０　撮像部（カメラ）
　１４０　表示部
　１５０　スピーカ
　１６０　入力部
　２００　情報処理装置
　３００　情報処理装置
　４００　サーバ
　４０１　コンテンツ
　４０２　再生位置情報
　４０３　マーカ認識追従部
　５００　情報処理装置

Claims (16)

1. 　撮像部の撮像により得られる撮像画像から特徴画像が検出されることに基づき、前記特徴画像に応じたコンテンツの再生処理を実行するデータ処理部と、
   　前記特徴画像の検出が不能となったタイミングに応じた前記コンテンツの再生位置であるレジュームポイントを特定する特定部と、
   　前記データ処理部は、前記特徴画像の検出が不能となった後に再度前記特徴画像が検出されることに応じて、前記レジュームポイントに応じた位置から前記コンテンツの再生を実行する、
   　情報処理装置。
2. 　前記データ処理部は、
   　コンテンツ再生処理において、コンテンツを構成する画像データを前記撮像部の撮影画像に重畳表示する処理を行なう請求項１に記載の情報処理装置。
3. 　前記コンテンツは画像および音声を含むコンテンツであり、
   　前記データ処理部は、
   　前記特徴画像の検出が不能となった場合に画像のみ再生を停止し、音声を継続再生する処理を実行する請求項１に記載の情報処理装置。
4. 　前記データ処理部は、
   　前記特徴画像の検出が不能となった時からの経過時間を計測し、経過時間が予め設定した閾値時間を超えた場合に、音声の再生を停止する請求項３に記載の情報処理装置。
5. 　前記データ処理部は、
   　前記特徴画像の再検出を条件として、メモリから前記レジュームポイントを取得し、取得したコンテンツ位置から画像と音声を含むコンテンツ再生を実行する請求項３に記載の情報処理装置。
6. 　前記データ処理部は、
   　前記特徴画像の検出が不能となった場合に、コンテンツ出力レベルを時間経過とともに低下させるフェードアウト処理を実行する請求項１に記載の情報処理装置。
7. 　前記データ処理部は、
   　前記特徴画像の再検出時に、コンテンツ出力レベルを時間経過とともに上昇させるフェードイン処理を実行する請求項１に記載の情報処理装置。
8. 　前記データ処理部は、
   　前記特徴画像の再検出時におけるコンテンツ再生処理の態様として、
   　（ａ）コンテンツをメモリに格納されたレジュームポイントから再生するレジューム処理、または、
   　（ｂ）コンテンツを始めから再生するリプレイ処理、
   　いずれかの処理を選択するかの指示情報を入力し、入力情報に応じたコンテンツ再生を実行する請求項１に記載の情報処理装置。
9. 　前記データ処理部は、
   　前記特徴画像の再検出時におけるコンテンツ再生処理の態様として、
   　（ａ）コンテンツをメモリに格納されたレジュームポイントから再生するレジューム処理、または、
   　（ｂ）コンテンツを始めから再生するリプレイ処理、
   　いずれかの処理を選択するかの指示情報を入力可能としたユーザインタフェースを表示部に表示する請求項１に記載の情報処理装置。
10. 　前記特徴画像は、撮影画像に含まれる識別マークである請求項１に記載の情報処理装置。
11. 　前記データ処理部は、
    　前記再生コンテンツのシーン情報、または、前記情報処理装置のセンサ情報、または、前記情報処理装置の電話着信情報の入力に応じて、コンテンツ再生を停止し、再生を停止したコンテンツ位置をメモリに記録する処理を実行する請求項１に記載の情報処理装置。
12. 　画像撮影を行う撮像部と、
    　サーバとの通信を実行する通信部と、
    　前記撮像部の撮影画像から特徴画像の検出を実行し、サーバからの提供コンテンツの再生を実行するデータ処理部を有し、
    　前記データ処理部は、
    　前記撮影画像からの特徴画像の検出が不能となった場合に、サーバからの受信コンテンツの再生を停止し、再生停止位置をレジュームポイント情報としてサーバに送信し、
    　その後の特徴画像の再検出を条件として、前記サーバから前記レジュームポイント情報を入力して、該レジュームポイント位置からのコンテンツ再生を実行する情報処理装置。
13. 　画像撮影を行う撮像部と、
    　サーバとの通信を実行する通信部と、
    　前記撮像部の撮影画像を、前記通信部を介してサーバに送信し、サーバから前記撮影画像に基づく特徴画像検出情報を受信し、サーバからの提供コンテンツの再生を実行するデータ処理部を有し、
    　前記データ処理部は、
    　前記サーバからの特徴画像検出情報が特徴画像の検出不能を示す場合、コンテンツ再生を停止し、再生を停止したコンテンツ位置を、レジュームポイント情報として前記通信部を介してサーバに送信し、
    　その後の特徴画像再検出を条件として、前記サーバから前記レジュームポイント位置に対応する位置からのコンテンツを受信して再生する情報処理装置。
14. 　クライアントとの通信を実行する通信部と、
    　前記クライアントに提供するコンテンツを格納した記憶部と、
    　前記クライアントの撮影画像からの特徴画像検出処理と、コンテンツの提供処理を実行するデータ処理部を有し、
    　前記データ処理部は、
    　前記クライアントの撮影画像からの特徴画像検出処理を実行し特徴画像検出情報を前記クライアントに提供するサーバ。
15. 　情報処理装置において実行する情報処理方法であり、
    　データ処理部が、撮像部の撮像により得られる撮像画像から特徴画像が検出されることに基づき、前記特徴画像に応じたコンテンツの再生処理を実行し、
    　前記データ処理部は、
    　前記特徴画像の検出が不能となったタイミングに応じた前記コンテンツの再生位置であるレジュームポイントを特定する処理と、
    　前記特徴画像の検出が不能となった後に再度前記特徴画像が検出されることに応じて、前記レジュームポイントに応じた位置からの前記コンテンツの再生処理を実行する情報処理方法。
16. 　情報処理装置において情報処理を実行させるプログラムであり、
    　データ処理部に、撮像部の撮像により得られる撮像画像から特徴画像が検出されることに基づき、前記特徴画像に応じたコンテンツの再生処理を実行させ、
    　前記プログラムは、前記データ処理部に、
    　前記特徴画像の検出が不能となったタイミングに応じた前記コンテンツの再生位置であるレジュームポイントを特定する処理と、
    　前記特徴画像の検出が不能となった後に再度前記特徴画像が検出されることに応じて、前記レジュームポイントに応じた位置からの前記コンテンツの再生処理を実行させるプログラム。

Images