JP6486077B2 - 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体 - Google Patents

Description

本発明は、デジタルビデオカメラ、デジタルカメラをはじめとする撮像装置を備えた表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体に関する。具体的には、本発明は、ハガキ、チラシ等のドキュメントや電子機器の表示画面などにマーカを表示し、撮像装置によって撮影することによってマーカを介してコンピュータやネットワーク上に保存された関連映像を読み出して表示する表示システムに関する。

近年、デジタルビデオカメラ、デジタルカメラ、カメラ付き携帯電話等の撮像装置によって、動画、静止画等の映像情報を撮影する機会が増加している。

かかる映像情報のうち静止画を他のユーザに伝達する手段としては、プリントされた写真、写真を複数集めたアルバム、結婚や出産を祝うための手紙等をはじめとする媒体に静止画を印刷して配布する手段が一般的に用いられている。静止画を利用した媒体は、そのまま作品として飾ることができたり、媒体自身の質感による高級感を感じるなど、静止画用の媒体ならではの付加価値を有している。

一方、動画を伝達する手段としては、ネットワークを介してクラウドサーバに動画を保存し、別のユーザがネットワークを介して別の場所のテレビや携帯端末などの表示装置で視聴する手段が用いられている。かかる場合、動画情報を閲覧するためにＵＲＬ（Uniform Resource Locator）等が利用されている。すなわち、ＵＲＬが紙媒体などに印刷されて又はＥメールなどで他のユーザに送信されることによって他のユーザに配布され、当該他のユーザは、受信したＵＲＬを利用してクラウドサーバに保存された動画にネットワークを介してアクセスが可能となる。

近年、ＵＲＬ等の情報を容易に用いることが可能な手段としてＱＲコード（登録商標）のような二次元バーコードが用いられている。ＱＲコードを表示装置が備える撮像装置で撮影すると、表示装置自身がＱＲコードからＵＲＬ情報を抽出し、かつ自動でクラウドサーバにアクセスする。これにより、ユーザはＱＲコードを撮影しただけで、クラウドサーバ上の他の情報を閲覧することが可能となり、ユーザの利便性、興趣性が向上している。

しかしながら、ＱＲコードを用いた従来技術では、１つのＱＲコードには１種類の情報が関連付けられているに過ぎない。すなわち、上述の静止画用の媒体にＱＲコードを印刷し、表示装置を用いて、ＱＲコードに基づいた映像情報をクラウドサーバから閲覧可能にする構成において、１つのＱＲコードに対しては１つの映像情報のみが表示される。

また、近年、実世界を撮像した画像に仮想オブジェクトを合成表示することによって、その仮想オブジェクトがあたかも実世界内に実在するかのように表示する、拡張現実感（Ａｕｇｍｉｎｔｅｄ Ｒｅａｌｉｔｙ）技術（ＡＲ技術）が実用化されている。かかるＡＲ技術に関するものとして、特許文献１が挙げられる。

このＡＲ技術では、撮像装置で撮像された画像に映っているマーカを検出し、該マーカの検出結果に基づいて撮像装置とマーカの位置関係を算出する。そして、算出した結果に基づいて、仮想オブジェクトの画像を撮像した画像に重畳することによって、仮想オブジェクトが撮像画像におけるマーカ上に位置する重畳画像を生成して表示する。これにより、ユーザの興趣性が向上している。

特開２０１２−６８９７７号公報

しかしながら、上記従来技術では、１つのマーカに対応して表示される画像は１つの静止画情報又は動画情報であり、表示させる情報と同じ数のマーカが必要となる。従って、より多くの情報を表示するためには多くのマーカが必要となり、マーカが記載された媒体を作成する上で、スペースや、デザイン性において改善の余地がある。例えば、マーカが記載される媒体をハガキとする。ハガキには、一般的に、伝えたい情報の写真やコメントが記載される。一方、ＱＲコードのようなマーカは、大きさや色、形状に制約がある。従って、ハガキにＱＲコードのようなマーカを印刷する場合、印刷場所に制約があるだけでなく、デザイン性が大きく損なわれるという問題がある。

本発明は、マーカ数を増加することなくより多くの情報を表示することができる表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体を提案することを目的とする。

上記目的を達成するために、請求項１に係る表示装置は、ネットワークを介してサーバ装置と接続可能で、接続情報に対応する情報を前記サーバ装置から受信して表示する表示装置において、複数の情報にそれぞれ対応付けられたマーカのうち選択されたマーカを検知する検知手段と、前記検知手段が複数のマーカを検知した場合、前記複数のマーカにそれぞれ対応する複数の接続情報を作成し、該複数の接続情報を第１の所定時間間隔内に連続して前記サーバ装置に発信する発信手段と、を備えることを特徴とする。

本発明によれば、表示装置が、複数のマーカを検知した場合、対応する複数の接続情報を所定時間間隔内に連続して発信し、サーバ装置が、複数の接続情報を所定時間間隔内に連続して受信した場合、対応する複数の情報以外の別の情報を選択して返送する。これによって、マーカ数を増加することなくより多くの情報を表示することができるようになる。

第１の実施の形態に係る表示装置を示す斜視図である。 図１の表示装置の構成を示すブロック図である。 図１の表示装置を用いた画像表示処理の手順を示すフローチャートである。 第１の実施例におけるドキュメントと、該ドキュメントの撮影状態を示す概略図である。 マーカを撮影した場合におけるＬＣＤパネルの表示映像を示す図である。 デジタルビデオカメラが、ネットワークを介してクラウドサーバと接続している状態を示す概念図である。 第２の実施の形態に係るスマートフォンの斜視図である。 図７のスマートフォンの構成を示すブロック図である。 図７の表示装置を用いた画像表示処理の手順を示すフローチャートである。 第２の実施の形態におけるドキュメントと、該ドキュメントの撮影状態を示す概略図である。 ユーザがマーカを撮影して選択した場合のＬＣＤパネルの表示映像を示す図である。 スマートフォンが、ネットワークを介してクラウドサーバと接続されている状態を示す概念図である。 スマートフォンを用いた画像表示処理の手順を示す別のフローチャートである。 第３の実施の形態におけるドキュメントと、該ドキュメントの撮影状態を示す概略図である。 ユーザが、マーカを撮影して選択した場合のＬＣＤパネルの表示映像を示す図である。 スマートフォンが、ネットワークを介してクラウドサーバと接続されている状態を示す概念図である。

以下、本発明の第１の実施の形態について図面を参照しつつ詳細に説明する。

図１は、第１の実施の形態に係る表示装置を示す斜視図であり、図１（ａ）は、レンズの光軸先端方向からみた図、図１（ｂ）は背面方向からみた図、図１（ｃ）は、表示部を本体部に対して反転収納した状態を示す図である。

図１において、この表示装置は、撮影装置を備えたデジタルビデオカメラである。デジタルビデオカメラ１００は、カメラ部１０１を有する本体部１１４と、ヒンジ部１２０によって本体部１１４に対して矢印Ａ及びＢ方向に回動自在に取り付けられた表示部１１３とを有する。図１（ｃ）に示すように、表示部１１３は、ヒンジ部１２０によって本体部１１４に対して反転して収納することも可能である。

表示部１１３は、図１（ｂ）に示すように、ＬＣＤパネル１１２とタッチパネル１０８とを内蔵しており、ＬＣＤパネル１１２とタッチパネル１０８は一体的に構成されている。タッチパネル１０８は、例えば、光の透過率がＬＣＤパネル１１２の表示を妨げないように構成され、ＬＣＤパネル１１２の表示面の上層に取り付けられている。タッチパネル１０８における入力座標と、ＬＣＤパネル１１２上の表示座標とが対応付けられている。これによって、あたかもユーザがＬＣＤパネル１１２上に表示された画面を直接的に操作できるかのようなＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成している。本体部１１４には操作キー１０７が設けられている。

図２は、図１の表示装置の構成を示すブロック図である。

図２において、表示装置としてのデジタルビデオカメラ１００は、該デジタルビデオカメラ１００全体の動作を制御する演算処理装置としてのＣＰＵ１０９を有する。ＣＰＵ１０９は、デジタルビデオカメラ１００を構成する各機能部と接続されており、プログラム・データ記憶部１１０から読み込んだプログラムに従ってデジタルビデオカメラ１００全体の動作を制御する。プログラム・データ記憶部１１０に記憶されたプログラムは、ＣＰＵ１０９に複数のタスクを並列に実行させるための機能を備えており、ＣＰＵ１０９の制御によってモード制御タスク、カメラ制御タスク、レコーダ制御タスク、及び、表示制御タスクが動作する。表示制御タスクを実行するＣＰＵ１０９が、表示制御手段としての機能を果たす。

ＣＰＵ１０９に接続された一次記憶部１０３の一部は、ＣＰＵ１０９のワーク領域として機能し、後述の動画用フレームバッファ、ＯＳＤ用フレームバッファを提供する。

カメラ部１０１は、被写体像を光電変換することによりアナログ映像信号を生成する。従って、カメラ部１０１は、被写体光を結像させるための撮影レンズ、撮影レンズによって結像された被写体像を光電変換する撮像素子、撮像素子を駆動する回路などを備える。映像処理部１０２は、カメラ部１０１から出力されるアナログ映像信号をデジタル信号に変換し、所定の信号処理を施して動画データを生成する。カメラ部１０１及び映像処理部１０２の動作は、ＣＰＵ１０９が実行する上述のカメラ制御タスクによって制御される。

エンコーダ・デコーダ部１０４は、映像処理部１０２からの動画データを符号化する。エンコーダ・デコーダ部１０４によって符号化された動画データは、一次記憶部１０３に一旦記憶されたのち、付随する管理データとともにユーザデータ記憶部１０５に記憶される。ユーザデータ記憶部１０５は、ハードディスクやフラッシュメモリなどの内蔵メモリや、メモリーカードなどの着脱可能な記録媒体からなる。

動画再生時は、ユーザデータ記憶部１０５から読みだされた符号化された動画データ（以下、「画像データ」という。）が一次記憶部１０３を介してエンコーダ・デコーダ部１０４で復号化され、再び一次記憶部１０３内の動画用フレームバッファに展開される。エンコーダ・デコーダ部１０４及びユーザデータ記憶部１０５の制御は、ＣＰＵ１０９が実行する上述のレコーダ制御タスクによって制御される。

ユーザデータ記憶部１０５から読みだされた管理データは、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）データ、すなわち、撮影画像もしくは再生画像に重畳して表示される文字やＧＵＩの生成に利用される。そして、生成されたＯＳＤデータは、一次記憶部１０３内のＯＳＤ用フレームバッファに描画される。

動画用フレームバッファ及びＯＳＤ用フレームバッファの各内容は、表示制御部１１１で重畳されて、タッチパネル式のＬＣＤパネル１１２に表示される。ＯＳＤデータに関する制御及び表示制御部１１１とＬＣＤパネル１１２の制御は、ＣＰＵ１０９が実行する上述の制御タスクによって制御される。

また、デジタルビデオカメラ１００には、電話やネットワーク接続などの通信機能全般を制御する通信制御部１２２と、アンテナのような通信手段１２３が搭載されており、ＣＰＵ１０９によって統括的に制御されている。通信手段１２３を駆動することで、デジタルビデオカメラ１００は、インターネットを介して他の機器との間でデータの送受信を行うことが可能となる。

ユーザデータ記憶部１０５には、上述した画像データのみならず、その他ユーザデータ等も格納されている。かかる構成により、例えばカメラ部１０１を介した画像データ以外にも、通信制御部１２２によって駆動された通信手段１２３を介してダウンロードされた画像データをユーザデータ記憶部１０５に格納することが可能となる。また、ユーザデータ記憶部１０５には、画像データ以外のデータ、例えばアプリケーションデータなどの各種データを格納することができる。

マーカ検知手段１３０は、映像処理部１０２によって生成された動画データから、後述するマーカの個数を検知し、かつマーカが検知された場合には、該マーカから接続情報としてＵＲＬ情報を抽出するものであり、ＣＰＵ１０９によって統括的に制御される。

接続情報発信手段１３１は、マーカから得られた接続情報に基づいて後述するクラウドサーバ１６１に対する接続情報の送信タイミングなどを制御する。ＣＰＵ１０９は、接続情報発信手段１３１や、通信制御部１２２を統括的に制御することで、マーカから得られた接続情報をもとに、後述するクラウドサーバとの間で好適にデータの送受信を行う。

操作キー１０７や、表示部１１３におけるタッチパネル１０８は、ユーザから操作指示を受け付けるための操作手段として機能する。そして、タッチパネル制御部１２１は、タッチパネル１０８に対する以下のユーザの操作を検出する。タッチパネル１０８を指やペンで触れたこと（以下、「タッチダウン」という。）、タッチパネル１０８を指やペンで触れている状態であること（以下、「タッチオン」という。）などの操作である。また、タッチパネル制御部１２１は、タッチパネル１０８を指やペンで触れたまま移動していること（以下、「ムーブ」という。）、タッチパネル１０８へ触れていた指やペンを離したこと（以下、「タッチオフ」という。）などの操作を検出する。また、タッチパネル１０８上に指やペンが触れている位置座標は、タッチパネル制御部１２１に通知され、タッチパネル制御部１２１は通知された情報に基づいてタッチパネル１０８上にどのような操作が行われたかを判定する。

ムーブについては、タッチパネル１０８上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０８上の垂直成分・水平成分毎に判定される。また、タッチパネル１０８上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークが描かれたものと判定される。すばやくストロークを描く操作をフリックという。フリックは、タッチパネル１０８上に指を触れたまま有る程度の距離だけすばやく動かして、そのまま離す操作であり、換言すればタッチパネル１０８上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出された後、そのままタッチアップが検出されるとフリックが行われたと判定される。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行われたと判定される。

ＣＰＵ１０９によって実行される上述のモード制御タスクは、次のように動作する。すなわち、操作部（操作キー１０７、タッチパネル１０８）からの指示、他タスクからの要求、もしくはモード制御タスク自身が管理する内部状態の変化に従って、デジタルビデオカメラ１００全体の動作状態を遷移させ、各タスクイベントを通知する。

以下、図１の表示装置（デジタルビデオカメラ）を用いた画像表示処理について図面を参照しつつ詳細に説明する。

図３は、図１の表示装置を用いた画像表示処理の手順を示すフローチャートである。図３において、デジタルビデオカメラ１００側の処理は、デジタルビデオカメラ１００のＣＰＵ１０９がプログラム・データ記憶部１１０からプログラムを読み出して実行する。また、デジタルビデオカメラ１００にネットワークを介して接続されたクラウドサーバ側の処理はクラウドサーバ１６１のＣＰＵ１６２が実行する（後述する図６参照）。

画像表示処理を開始するに際し、先ず、ＣＰＵ１０９は、ユーザによって、デジタルビデオカメラ１００の電源が投入されるまで待機する（ステップＳ３０１）。次いで、ＣＰＵ１０９は、ユーザが電源を投入して動画撮影モードにすると撮影スタンバイ状態に入り、撮影スタンバイ処理を開始する。すなわち、ＣＰＵ１０９は、ユーザによって電源が投入されると、初期設定を行った後、モード制御タスクによって初期動画撮影モードを通常撮影モードとする（ステップＳ３０２）。

次いで、ＣＰＵ１０９は、表示制御部１１１を制御して、ＬＣＤパネル１１２の表示領域の全領域に画像データを表示（以下、「全画面表示」ともいう。）する（ステップＳ３０３）。なお、ＬＣＤパネル１１２の表示領域と、タッチパネル１０８の位置検出領域は略一致するように構成されている。

次いで、ＣＰＵ１０９は、表示制御部１１１を制御して、動画撮影モードに応じて表示画面を更新する（ステップＳ３０４）。すなわち、通常撮影モードならば、ＬＣＤパネル１１２に、画像データとして、カメラ部１０１で撮像された画像をリアルタイムに表示するスルー表示画像が表示される。また、ＬＣＤパネル１１２には、ＯＳＤデータとして、メニューボタンや、バッテリの残量表示などの各種アイコンが、重畳して表示される。

このとき、ユーザは、表示装置としてのデジタルビデオカメラ１００の表示部１１３に表示したい、例えば動画に対応するマーカが記載されたドキュメントにおいて任意のマーカを選択し、撮影する。

図４は、本実施の形態におけるドキュメントと、該ドキュメントの撮影状態を示す概略図である。図４（ａ）において、ドキュメント１５０としては、例えばハガキ（以下、「ハガキ１５０」という。）が適用される。ハガキ１５０には、静止画Ａと静止画Ｂが印刷されている。また、静止画Ａと対応する識別マークとしてマーカＡが、静止画Ｂと対応する識別マークとしてマーカＢが印刷されている。マーカは、例えば、ＱＲコードに類する二次元コードによって形成されている。

マーカＡには、ＱＲコードと同様の技術でデコードすることによって動画Ａにアクセス可能となるＵＲＬ情報（ＵＲＬ：Ａ）がテキスト形式で記入されており、マーカＢには、動画Ｂにアクセス可能となるＵＲＬ情報（ＵＲＬ：Ｂ）が記入されている。すなわち、ハガキ１５０に印刷された静止画Ａ及び静止画Ｂは、それぞれマーカＡ及びマーカＢを介することによって、それぞれ動画Ａ及び動画Ｂと対応付けられている。なお、動画Ａ及び動画Ｂは、静止画Ａ及び静止画Ｂにそれぞれ対応する情報として後述するクラウドサーバ１６１のデータ保管部１６３に保管されている。

図４（ｂ）には、デジタルビデオカメラ１００のカメラ部１０１によって、ハガキ１５０のマーカを撮影する状態が示されている。

ユーザが、ドキュメントであるハガキ１５０の任意のマーカを撮影して選択すると、ＣＰＵ１０９は、マーカ検知手段１３０を制御して、映像処理部１０２によって生成された画像データから、画面内のマーカの個数Ｎを判定する（ステップＳ３０５）。

図５は、ユーザが、マーカを撮影して選択した場合のＬＣＤパネル１１２の表示映像を示す図である。図５の（ａ）はマーカＡが撮影された場合を示し、図５（ｃ）はマーカＢが撮影された場合を示し、図５（ｅ）はマーカＡとマーカＢがともに撮影された場合を示す。すなわち、図５（ａ）及び図５（ｃ）は、１つのマーカが選択された場合を示し、図５（ｅ）は２つのマーカが選択された場合を示す。

ステップＳ３０５の判定の結果、１個以上のマーカが検知される（ステップＳ３０５で「ＹＥＳ」）と、ＣＰＵ１０９は、マーカ検知手段１３０を制御して、検知した各マーカから各ＵＲＬ情報を読み出す（ステップＳ３０６）。

マーカからＵＲＬ情報を読み出して取得した後、ＣＰＵ１０９は、接続情報発信手段１３１を制御して、読みだした各ＵＲＬ情報を接続情報として、通信制御部１２２を介してクラウドサーバ１６１に発信する（ステップＳ３０７）。

このとき、図５（ａ）又は図５（ｃ）に示すように、マーカＡ又はマーカＢのいずれか一方のみが検知された場合は、各ＵＲＬ情報ＵＲＬ：Ａ又はＵＲＬ：Ｂが接続情報としてクラウドサーバ１６１に発信される。一方、図５（ｅ）に示すように、マーカＡとマーカＢがともに検知された場合は、第一の接続情報としてのＵＲＬ：Ａ、及び第二の接続情報としてのＵＲＬ：Ｂが連続してクラウドサーバ１６１に発信される。ＵＲＬ：Ａ及びＵＲＬ：Ｂは、所定時間間隔内、例えば０．２ｓｅｃ以内に連続してクラウドサーバ１６１に発信される。

図６は、デジタルビデオカメラ１００が、ネットワーク１６０を介してクラウドサーバ１６１と接続している状態を示す概念図である。デジタルビデオカメラ１００と、該デジタルビデオカメラ１００にネットワーク１６０を介して接続されるクラウドサーバ１６１とで、表示システムを構成している。

図６において、デジタルビデオカメラ１００は、ネットワーク１６０を介してクラウドサーバ１６１と接続可能である。クラウドサーバ１６１は、クラウドサーバ１６１の動作を統括制御するＣＰＵ１６２と、外部機器からのアクセスに応じて出力するための情報を格納するデータ保管部１６３と、情報有無判別手段１６４とから主として構成されている。データ保管部１６３には、図示したようにデジタルビデオカメラ１００へ発送するダウンロード用データとして、動画Ａ、動画Ｂ、動画Ｃが保管されている。データ保管部１６３及び情報有無判別手段１６４はＣＰＵ１６２によって統括制御される。

クラウドサーバ１６１に接続情報を発信した後、ＣＰＵ１０９は、デジタルビデオカメラ１００を受信待ちの状態とし（ステップＳ３０８）、クラウドサーバ１６１からダウンロード用のデータを受信するまで待機する（ステップＳ３０９）。

このとき、クラウドサーバ１６１のＣＰＵ１６２は、クラウドサーバ１６１を初期状態とし、該クラウドサーバ１６１は、デジタルビデオカメラ１００からのデータを受信する受信待ちの状態となっている（ステップＳ４０１）。

次いで、ＣＰＵ１６２は、デジタルビデオカメラ１００から接続情報を受信したか否かを判定し、接続情報を受信するまで待機する（ステップＳ４０２）。ステップＳ４０２の判定の結果、接続情報を受信した（ステップＳＳ４０２で「ＹＥＳ」）場合、ＣＰＵ１６２は、情報有無判別手段１６４を制御して、受信した接続情報の判別を行う（ステップＳ４０３）。すなわち、ＣＰＵ１６２は、受信した接続情報がＵＲＬ：Ａのみか、ＵＲＬ：Ｂのみか、又はＵＲＬ：Ａ及びＵＲＬ：Ｂの両方かを判別し、ＵＲＬ：Ａ及びＵＲＬ：Ｂを受信した場合は、受信した時間間隔を判定する。時間間隔とは、第一の接続情報（ＵＲＬ：Ａ）が受信されてから、第二の接続情報（ＵＲＬ：Ｂ）が受信されるまでの時間である。この時間間隔が、例えば０．５ｓｅｃ以内であれば、ＣＰＵ１０９は、ＵＲＬ：Ａ及びＵＲＬ：Ｂが連続して受信されたと判定する。なお、接続情報を受信する際の所定の時間間隔は、デジタルビデオカメラ１００からクラウドサーバ１６１に発信する際の第一及び第二の接続情報における所定時間間隔である０．２ｓｅｃに対して長く設定される。通信による遅延などを考慮したものである。

ステップＳ４０３の判別の結果、ＵＲＬ：Ａのみを受信した場合、ＣＰＵ１６２は、デジタルビデオカメラ１００に返信するダウンロード用データとして、動画Ａを選択する（ステップＳ４０４）。また、ステップＳ４０３における判別の結果、ＵＲＬ：Ｂのみを受信した場合、ＣＰＵ１６２は、デジタルビデオカメラ１００に返信するダウンロード用データとして、動画Ｂを選択する（ステップＳ４０６）。

一方、ステップＳ４０３における判別の結果、複数の接続情報であるＵＲＬ：ＡとＵＲＬ：Ｂを連続して受信した場合、ＣＰＵ１６２は、情報有無判別手段１６４を制御して、第三の情報である動画Ｃの有無を判別させる（ステップＳ４０５）。すなわち、ＣＰＵ１０９は、ＵＲＬ：ＡとＵＲＬ：Ｂを所定時間間隔内に連続して受信した場合は、ＵＲＬ：Ａに対応する動画Ａ、ＵＲＬ：Ｂに対応する動画Ｂ以外の別の情報である動画Ｃの有無を判別させる。情報有無判別手段１６４は、複数、例えば２つの接続情報が連続して受信された場合に作動する。動画Ｃは、ＵＲＬ：Ａに対応する動画Ａ、ＵＲＬ：Ｂに対応する動画Ｂ以外の別の情報であるが、ＵＲＬ：Ａ及びＵＲＬ：Ｂに関連する情報である。

上述の図６に示したように、クラウドサーバ１６１のデータ保管部１６３に、動画Ｃが保管されている場合、ステップＳ４０５の判別結果は「ＹＥＳ」となる。すなわち、動画Ｃが保管されている場合、ＣＰＵ１６２は、デジタルビデオカメラ１００に返信するダウンロード用データとして、複数の接続情報（ＵＲＬ：Ａ、Ｂ）に対応する複数の動画（Ａ、Ｂ）以外の情報である動画Ｃを選択する（ステップＳ４０７）。

一方、図６の状態とは異なり、動画Ｃがデータ保管部１６３に保管されていない場合、ステップＳ４０５の判別結果は「ＮＯ」となる。すなわち、動画Ｃが存在しない場合、ＣＰＵ１６２は、デジタルビデオカメラ１００に返信するダウンロード用データとして、複数の接続情報（ＵＲＬ：Ａ、Ｂ）にそれぞれ対応する複数の情報である動画Ａと動画Ｂを選択する（ステップＳ４０８）。

このとき、ＣＰＵ１６２は、ステップＳ４０４、Ｓ４０６、Ｓ４０７、又はＳ４０８において選択したダウンロード用データをデジタルビデオカメラ１００に対して返信する（ステップＳ４０９）。なお、デジタルビデオカメラ１００に返信するダウンロード用データとして動画Ａと動画Ｂが選択された場合（ステップステップＳ４０８）、ＣＰＵ１６２は、動画Ａと動画Ｂを連続した動画として返信する。

次いで、ダウンロード用のデータを受信するまで待機していた（ステップＳ３０９）デジタルビデオカメラ１００のＣＰＵ１０９は、クラウドサーバ１６１からダウンロード用データを受信すると、処理をステップＳ３１０に進める。すなわち、ＣＰＵ１０９は、
受信したダウンロード用データをユーザデータ記憶部１０５に一時的に保存し、マーカ検知手段１３０を制御して、その時点における画面内のマーカの位置を算出する（ステップＳ３１０）。本画像表示処理においては、例えば、図５の画像の左下角を原点として、横軸、縦軸の位置情報が算出される。

次いで、ＣＰＵ１０９は、算出したマーカの位置に応じて、カメラ部１０１で撮像された画像をリアルタイムに表示するスルー表示画像に、クラウドサーバ１６１から受信した動画データを重畳して表示する（ステップＳ３１１）。

すなわち、図５（ａ）、（ｃ）に示すように、マーカＡ及びマーカＢのうち何れか１つのマーカが撮影された場合は、それぞれ図５（ｂ）、（ｄ）に示すように、マーカの右下角部と動画データの右下角部が一致するように動画Ａ、動画Ｂが表示される。また、図５（ｅ）に示すように、２つのマーカが同時に撮影された場合、動画Ｃは、２つのマーカの中央部に配置するように表示される。なお、ステップＳ４０８において、ダウンロード用データとして動画Ａと動画Ｂが選択された場合、動画Ａ及び動画Ｂは、それぞれ個別にダウンロードされた場合と同様の位置に重畳して表示される。受信した画像データを表示した後、ＣＰＵ１０９は、本処理を終了する。

図３の処理によれば、ハガキ１５０に表示されたマーカのうち２つのマーカＡ及びＢが選択された際、デジタルビデオカメラ１００は、２つのマーカＡ及びに対応する２つの接続情報を所定時間間隔内に連続してクラウドサーバ１６１に発信する。一方、クラウドサーバ１６１は、２つの接続情報を所定時間間隔内に受信した場合、連続して受信したと判定し、２つの接続情報にそれぞれ対応する２つの情報以外の別の情報である動画Ｃを選択してデジタルビデオカメラ１００に返送する。すなわち、本実施の形態に係るデジタルビデオカメラ１００は、２つのマーカＡ，Ｂに対し、３通りのダウンロード用データである動画Ａ，動画Ｂ，動画Ｃを表示することが可能となる。従って、マーカ数を増加することなく、より多くの情報をサーバからダウンロードして表示することができる。

また、本実施の形態によれば、１つのマーカが選択された場合は、各マーカの右下角部と動画データの右下角部が一致するように表示され、２つのマーカが選択された場合は、それぞれ対応する動画データ以外の別の動画Ｃが２つのマーカの中央部に表示される。これによって、ダウンロードした動画を、選択されたマーカに対応付けて好適に表示することができる。

本実施の形態において、背景となるスルー表示画像は、明度と彩度を下げて表示される。これにより、ダウンロードしたデータを引き立たせることができ、好適に視認が可能になる。

また、本実施の形態において、ステップＳ３０５からＳ３１０の処理が実行されるまでの時間は極力短いことが望ましい。しかしながら、実際には通信時間などが必要となるため、接続情報を発信してからデータがダウンロードされるまでに、被写体であるドキュメント１５０とデジタルビデオカメラ１００の位置が変化する可能性がある。このため、本実施の形態では、ダウンロードデータをデジタルビデオカメラ１００が受信した後に、マーカの表示位置を算出することとしている（ステップＳ３１０）。これにより、マーカとダウンロード用データを重畳させた際の位置ズレを低減することができる。

また、本実施の形態におけるデジタルビデオカメラは、図３の画像表示処理の実行中に、ユーザによって撮影開始が指示された場合、全画像表示処理を中断して撮影を開始する。これにより、タイミングを逃すことなく好適に撮影することができる上、任意のタイミングで本画像表示処理を実行することができる。

また、本実施の形態において、静止画とマーカの種類をそれぞれ２種類としたが、これに限定されるものではなく、例えば、３種類以上のマーカを配置し、ダウンロード用データを４種類以上にすることも可能である。すなわち、本実施の形態において、例えば、識別マーカをマーカＡ、マーカＢ、マーカＣの３種類とし、ダウンロード用データを動画Ａ、動画Ｂ、動画Ｃ、動画Ｄ、動画Ｅ、動画Ｆ、動画Ｇとすることもできる。そして、マーカＡとＢが検出された場合は動画Ｄを、マーカＡとＣが検出された場合は動画Ｅを、マーカＢとＣが検出された場合は動画Ｆを、全てのマーカが検出された場合は動画Ｇを表示するようにしてもよい。これにより、更にマーカの個数より多くの情報を表示することが可能となる。

以下、第２の実施の形態について説明する。

本実施の形態では、撮像装置付き表示装置としてスマートフォンを適用する。スマートフォンの基本的な構成は、第１の実施の形態におけるデジタルビデオカメラ１００に準じている。従って、同一の機能を有する部分には同一の符号を付して説明を省略する。

図７は、第２の実施の形態に係るスマートフォンの斜視図であり、図７（ａ）はレンズの光軸先端方向からみた図、図７（ｂ）は、背面側からみた図である。図７において、スマートフォン２００には、電話機能を満足するために、タッチパネル１０８とＬＣＤパネル１１２とを内蔵する表示部１１３側にマイク２０１及びスピーカ２０２が配置されている。表示部１１３に対向する面にはカメラ部１０１が配置されている。また、スマートフォン２００の側面には電源ボタンとして操作キー１０７が配置されている。操作キー１０７を押すことによって、スマートフォン２００本体に電源が投入される。

図８は、図７のスマートフォンの構成を示すブロック図である。図８のブロック図が、第１の実施の形態における図２のブロック図と異なるところは、マイク２０１及びスピーカ２０２が追加された点である。マイク２０１及びスピーカ２０２は、ＣＰＵ１０９によって統括的に制御される。映像処理部１０２、タッチパネル制御部１２１等の動作は、第１の実施の形態と同様である。従って、詳細な説明は省略する。

スマートフォン２００は、電源が投入された後、ユーザが、表示部１１３のタッチパネル１０８を用いてＬＣＤパネル１１２に表示される各種アイコンを操作することによって、例えば、撮影モードに移行する。

以下、図７の表示装置（スマートフォン）を用いた画像表示処理について詳細に説明する。

図９は、図７の表示装置を用いた表示処理の手順を示すフローチャートである。図９において、スマートフォン側の処理は、スマートフォン２００のＣＰＵ１０９がプログラム・データ記憶部１１０のプログラムを読み出して実行する。また、スマートフォン２００にネットワークを介して接続されたクラウドサーバ側の処理はクラウドサーバ１６１のＣＰＵ１６２が実行する（後述する図１２参照）。

画像表示処理を開始するに際し、まず、ＣＰＵ１０９は、ユーザによって、スマートフォン２００の電源が投入されるまで待機し（ステップＳ５０１）、ユーザが電源を投入して動画撮影モードにすると撮影スタンバイ状態に入り、撮影スタンバイ処理を開始する。すなわち、ＣＰＵ１０９は、ユーザによって電源が投入されると、初期設定を行った後、モード制御タスクによって初期動画撮影モードを通常撮影モードとする（ステップＳ５０２）。

次いで、ＣＰＵ１０９は、表示制御部１１１を制御して、ＬＣＤパネル１１２の表示領域の全領域に画像データを全画面表示する（ステップＳ５０３）。なお、ＬＣＤパネル１１２の表示領域と、タッチパネル１０８の位置検出領域は略一致するように構成されている。

次いで、ＣＰＵ１０９は、表示制御部１１１を制御して、動画撮影モードに応じて表示画面を更新する（ステップＳ５０４）。すなわち、通常撮影モードならば、ＬＣＤパネル１１２に、画像データとして、カメラ部１０１で撮像された画像をリアルタイムに表示するスルー表示画像が表示される。また、ＬＣＤパネル１１２には、ＯＳＤデータとして、メニューボタンや、バッテリの残量表示などの各種アイコンが、重畳して表示される。

このとき、ユーザは、スマートフォン２００の表示部１１３に表示したい、例えば動画に対応するマーカが記載されたドキュメントにおいて任意のマーカを選択し、撮影する。図１０は、ドキュメントと、該ドキュメントの撮影状態を示す概略図である。

図１０（ａ）において、ドキュメント１５０としては、例えばハガキ（以下、「ハガキ１５０」という。）が適用される。ハガキ１５０には、静止画Ａと静止画Ｂが印刷されている。また、静止画Ａと対応する識別マークとしてマーカＡが、静止画Ｂと対応する識別マークとしてマーカＢが印刷されている。

図１０（ｂ）において、マーカＡ及びマーカＢには、シナリオ情報（付属情報）として、第一のＵＲＬ情報と、第二のＵＲＬ情報の２つの異なるＵＲＬ情報が記載されている。シナリオ情報は、分岐条件ごとに異なる情報を参照可能に構成されている。第一のＵＲＬ情報には、各マーカごとに異なるＵＲＬが記載され、第二のＵＲＬ情報には、各マーカに同じＵＲＬ情報が記載されている。すなわち、マーカＡには、第一のＵＲＬ情報として、後述する動画Ａにアクセス可能なＵＲＬ情報（ＵＲＬ：Ａ）が、第二のＵＲＬ情報として動画Ｃにアクセス可能なＵＲＬ情報（ＵＲＬ：Ｃ）が記載されている。また、マーカＢには、第一のＵＲＬ情報として、後述する動画Ｂにアクセス可能なＵＲＬ情報（ＵＲＬ：Ｂ）が、第二のＵＲＬ情報として動画Ｃにアクセス可能なＵＲＬ情報（ＵＲＬ：Ｃ）が記載されている。これらのＵＲＬ情報は、第１の実施の形態と同様にＱＲコードと同様の技術でデコードすることでテキスト形式で取得される。

マーカは、例えば、ＱＲコードに類する二次元コードである。図１０（ｃ）には、スマートフォン２００のカメラ部１０１によって、ハガキ１５０のマーカを撮影する状態が示されている。

ユーザが、ドキュメントであるハガキ１５０の任意のマーカを撮影して選択すると、ＣＰＵ１０９は、マーカ検知手段１３０を制御して、映像処理部１０２によって生成された画像データから、画面内のマーカの個数Ｎを判定する（ステップＳ５０５）。

図１１は、ユーザが、マーカを撮影して選択した場合のＬＣＤパネル１１２の表示映像を示す図である。図１１（ａ）はマーカＡが撮影された場合を示し、図１１（ｃ）はマーカＢが撮影された場合を示し、図１１（ｅ）はマーカＡとマーカＢがともに撮影された場合を示す。すなわち、図１１（ａ）及び図１１（ｃ）は、１つのマーカが選択された場合を示し、図１１（ｅ）は２つのマーカが選択された場合を示す。

ステップＳ５０５の判定の結果、選択されたマーカの個数Ｎが１である場合、ＣＰＵ１０９は、マーカ検知手段１３０を制御して、マーカから、第一のＵＲＬ情報（ＵＲＬ：Ａ又はＵＲＬ：Ｂ）を読み出す（ステップＳ５０６）。一方、ステップＳ５０５の判定の結果、選択されたマーカの個数Ｎが２以上の場合、ＣＰＵ１０９は、マーカ検知手段１３０を制御して、検知している複数のマーカのうちの任意の１つから、第二のＵＲＬ情報（ＵＲＬ：Ｃ）を読み出す（ステップＳ５０７）。第二のＵＲＬ情報は、マーカＡ及びマーカＢにおいて共通であり、ＵＲＬ：Ｃである。従って、マーカＡ及びマーカＢのいずれから第二のＵＲＬ情報を読み出しても、ＵＲＬ：Ｃが読み出される。

図９に戻り、マーカからＵＲＬ情報を読み出した後、ＣＰＵ１０９は、接続情報発信手段１３１を制御してステップＳ５０６又はＳ５０７で読み出したＵＲＬ情報を接続情報として通信制御部１２２を介してクラウドサーバ１６１に発信する（ステップＳ５０８）。

このとき、図１１（ａ）に示すように、マーカＡのみが検知された場合は、ＵＲＬ：Ａが接続情報としてクラウドサーバ１６１に発信される。また、図１１（ｃ）に示すように、マーカＢのみが検知された場合は、ＵＲＬ：Ｂが接続情報としてクラウドサーバ１６１に発信する。一方、図１１（ｅ）に示すように、マーカＡとマーカＢがともに検知された場合は、マーカＡとマーカＢがそれぞれ有する共通の接続情報であるＵＲＬ：Ｃがクラウドサーバ１６１に発信される。

図１２は、スマートフォン２００が、ネットワーク１６０を介してクラウドサーバ１６１と接続されている状態を示す概念図である。図１２において、スマートフォン２００は、ネットワーク１６０を介してクラウドサーバ１６１と接続可能である。クラウドサーバ１６１は、クラウドサーバ１６１の動作を統括制御するＣＰＵ１６２と、外部機器からのアクセスに応じて出力するための情報を格納するデータ保管部１６３とから主として構成されている。データ保管部１６３には、スマートフォン２００へ発信するダウンロード用データとして、動画Ａ、動画Ｂ、動画Ｃが保管されている。データ保管部１６３はＣＰＵ１６２によって統括制御される。

クラウドサーバ１６１に接続情報を発信した後、ＣＰＵ１０９は、スマートフォン２００を受信待ちの状態とし（ステップＳ５０９）、クラウドサーバ１６１からダウンロード用データを受信するまで待機する（ステップＳ５１０）。

このとき、クラウドサーバ１６１のＣＰＵ１６２は、クラウドサーバ１６１を初期状態に保持しており、クラウドサーバ１６１は、スマートフォン２００からのデータを受信する受信待ちの状態となっている（ステップＳ６０１）。

次いで、ＣＰＵ１６２は、スマートフォン２００から接続情報を受信したか否かを判定し、接続情報を受信するまで待機する（ステップＳ６０２）。ステップＳ６０２の判定の結果、接続情報を受信した（ステップＳ６０２で「ＹＥＳ」）場合、ＣＰＵ１６２は、処理をステップＳ６０３に進める。すなわち、ＣＰＵ１６２は、受信した接続情報に応じてダウンロード用データを選択し、選択したダウンロード用データをスマートフォン２００に返信する。このとき、ＣＰＵ１６２は、接続情報がＵＲＬ：Ａである場合は動画Ａを、接続情報がＵＲＬ：Ｂである場合は動画Ｂを、接続情報がＵＲＬ：Ｃである場合は動画Ｃを選択してスマートフォン２００に返信する。

このとき、ダウンロード用のデータを受信するまで待機していた（ステップＳ５１０）スマートフォン２００のＣＰＵ１０９は、クラウドサーバ１６１からダウンロード用データを受信すると、処理をステップＳ５１１に進める。すなわち、ＣＰＵ１０９はダウンロード用データをユーザデータ記憶部１０５に一時的に保存し、カメラ部１０１で撮像された画像をリアルタイムに表示するスルー表示画像にクラウドサーバ１６１から受信した動画データを重畳して表示する（ステップＳ５１１）。このとき、マーカに対応する動画の配置位置が、常に、画面の中央になるように配置される。スルー表示画像にクラウドサーバ１６１から受信した動画データを重畳して表示した後、ＣＰＵ１０９は、本処理を終了する。

図９の処理によれば、ハガキ１５０に表示されたマーカのうち２つのマーカＡ及びＢが選択された際、スマートフォン２００は、マーカＡ及びマーカＢに直接対応する２つの接続情報以外の別の接続情報をクラウドサーバ１６１に発信する。一方、クラウドサーバ１６１は、受信した接続情報に応じて、マーカＡ及びマーカＢに直接対応する２つの情報以外の別の情報である、例えば、動画Ｃを選択してスマートフォン２００に返送する。すなわち、本実施の形態に係るスマートフォン２００は、２つのマーカＡ、Ｂに対し、３通りのダウンロード用データである動画Ａ、動画Ｂ、動画Ｃを表示することが可能となる。従って、マーカ数を増加することなく、より多くの情報をサーバからダウンロードして表示することができる。

本実施の形態において、図１１（ａ）、（ｃ）、（ｅ）に示すような撮影画面内のマーカの位置に拘わらず、図１１（ｂ）、（ｄ）、（ｆ）に示すように、ダウンロード用データは、常に画面の中央に配置される。これにより、上記実施の形態と比較して、マーカ位置の算出処理を削減することが可能となり、処理時間の短縮を実現することができる。また、図９のステップＳ５０８からステップＳ５１１の処理中に、被写体であるマーカとカメラ部１０１の位置がずれた場合でも、ダウンロード用画像を画面中央に好適に表示することができる。

以下、第３の実施の形態について説明する。

本実施の形態では、第２の実施の形態と同様に、撮像装置付き表示装置としてスマートフォンを適用する。スマートフォンの基本的な装置構成は、第２の実施の形態に準じている。従って、同一の機能を有する部分には同一符号を付して説明を省略する。

以下、図７と同様の表示装置（スマートフォン）を用いた別の画像表示処理について詳細に説明する。

図１３は、スマートフォンを用いた別の画像表示処理の手順を示すフローチャートである。図１３において、スマートフォン側の処理は、スマートフォン２００のＣＰＵ１０９がプログラム・データ記憶部１１０のプログラムを読み出して実行する。また、スマートフォン２００にネットワークを介して接続されたクラウドサーバ側の処理はクラウドサーバ１６１のＣＰＵ１６２が実行する（後述する図１６参照）。

表示処理を開始するに際し、まず、ＣＰＵ１０９は、ユーザによって、スマートフォン２００の電源が投入されるまで待機し（ステップＳ７０１）、ユーザが電源を投入して動画撮影モードにすると撮影スタンバイ状態に入り、撮影スタンバイ処理を開始する。すなわち、ＣＰＵ１０９は、ユーザによって電源が投入されると、初期設定を行った後、モード制御タスクによって初期動画撮影モードを通常撮影モードとする（ステップＳ７０２）。

次いで、ＣＰＵ１０９は、表示制御部１１１を制御して、ＬＣＤパネル１１２の表示領域の全領域に画像データを全画面表示する（ステップＳ７０３）。なお、ＬＣＤパネル１１２の表示領域と、タッチパネル１０８の位置検出領域は略一致して構成されている。

次いで、ＣＰＵ１０９は、表示制御部１１１を制御して、動画撮影モードに応じた表示画面を更新する（ステップＳ７０４）。すなわち、通常撮影モードならば、ＬＣＤパネル１１２には、画像データとして、カメラ部１０１で撮像された画像をリアルタイムに表示するスルー表示画像が表示される。また、ＬＣＤパネル１１２には、ＯＳＤデータとして、メニューボタンや、バッテリの残量表示などの各種アイコンが、重畳して表示される。

このとき、ユーザは、スマートフォン２００の表示部１１３に表示したい、例えば動画に対応するマーカが記載されたドキュメントにおいて任意のマーカを選択し、撮影する。

図１４は、ドキュメントと、該ドキュメントの撮影状態を示す概略図である。図１０（ａ）において、ドキュメント１５０としては、例えばハガキ（以下、「ハガキ１５０」という。）が適用される。ハガキ１５０には、静止画Ａ、静止画Ｂ、静止画Ｃ、静止画Ｄが印刷されている。また、静止画Ａと対応する識別マークとしてマーカＡが、静止画Ｂと対応する識別マークとしてマーカＢが、静止画Ｃと対応する識別マークとしてマーカＣが、静止画Ｄと対応する識別マークとしてマーカＤが印刷されている。

図１４（ｂ）において、マーカＡ〜Ｄには、シナリオ情報（付属情報）として、第一のＵＲＬ情報と、第二のＵＲＬ情報が各々記載されている。シナリオ情報は、分岐条件ごとに異なる情報を参照可能に構成されている。第一のＵＲＬ情報は、各マーカごとに異なるＵＲＬである。また、マーカＡとマーカＢの第二のＵＲＬ情報は、同一であり、かつ、全マーカにそれぞれ対応する第一のＵＲＬ情報とは異なるＵＬＲ情報となっている。また、マーカＣとマーカＤの第二のＵＲＬ情報は、それぞれマーカＣとマーカＤの第一のＵＲＬ情報と同一の内容のＵＲＬ情報となっている。これらのＵＲＬ情報は、上記各実施の形態と同様にＱＲコードに類する二次元コードであり、ＱＲコードと同様の技術でデコードすることでテキスト形式で取得される。図１４（ｃ）には、スマートフォン２００のカメラ部１０１によって、ハガキ１５０のマーカを撮影する状態が示されている。

ユーザが、ドキュメントであるハガキ１５０の任意のマーカを撮影して選択すると、ＣＰＵ１０９は、マーカ検知手段１３０を制御して、映像処理部１０２によって生成された画像データから、分岐条件であるＵＲＬ情報の記載内容を読み出す。そして、ＣＰＵ１０９は、読み出したＵＲＬ情報の記載が同一となるマーカの個数Ｎを判定する（ステップＳ７０５）。

図１５は、ユーザが、マーカを撮影して選択した場合のＬＣＤパネル１１２の表示映像を示す図である。図１５（ａ）はマーカＢとマーカＤが撮影された場合を示し、図１５（ｃ）は全てのマーカ（マーカＡ〜マーカＤ）が撮影された場合を示す図である。図１５（ａ）の場合、検知されたＵＲＬの情報は、ＵＲＬ：Ｂ、ＵＲＬ：Ｅ、及びＵＲＬ：Ｄが２個であり、ステップＳ７０５の判定結果は、Ｎ＝１となる。一方、図１５（ｃ）の場合、検知されたＵＲＬの情報は、図１５（ｂ）の全てであり、ステップＳ７０５の判定結果はＮ＝３となる。

ステップＳ７０５の判定の結果、Ｎ＝１である場合、ＣＰＵ１０９は、マーカ検知手段１３０を制御して、ステップＳ７０５において検知された各マーカから、それぞれ第一のＵＲＬ情報を読み出す（ステップＳ７０６）。この場合、マーカＢ及びマーカＤにおける第一のＵＲＬ情報は、ＵＲＬ：ＢとＵＲＬ：Ｄである。

一方、ステップＳ７０５の判定の結果、Ｎ≧３である場合（ステップＳ７０７）、ＣＰＵ１０９は、マーカ検知手段１３０を制御して、ステップＳ７０５において検知された各ＵＲＬ情報のうち、Ｎが最多となる第二のＵＲＬ情報を読み出す。この場合、マーカＡ〜マーカＤにおけるＮが最多となる第二のＵＲＬ情報は、ＵＲＬ：Ｅである。

図９に戻り、マーカからＵＲＬ情報を読み出した後、ＣＰＵ１０９は、接続情報発信手段１３１を制御して、ステップＳ７０６又はＳ７０７で読み出したＵＲＬ情報を接続情報として通信制御部１２２を介してクラウドサーバ１６１に発信する（ステップＳ７０８）。

このとき、図１５（ａ）に示すように、マーカＢ及びマーカＤが検知された場合、接続情報発信手段１３１は、ＵＲＬ：ＢとＵＲＬ：Ｄの双方を接続情報としてクラウドサーバ１６１に発信する。一方、図１５（ｃ）に示すように、マーカＡ〜マーカＤが全て検知された場合は、接続情報発信手段１３１は、ＵＲＬ：Ｅのみを接続情報としてクラウドサーバ１６１に発信する。

図１６は、スマートフォン２００が、ネットワーク１６０を介してクラウドサーバ１６１と接続されている状態を示す概念図である。図１６において、スマートフォン２００は、ネットワーク１６０を介してクラウドサーバ１６１と接続可能である。クラウドサーバ１６１は、クラウドサーバ１６１の動作を統括制御するＣＰＵ１６２と、外部機器からのアクセスに応じて出力するための情報を格納するデータ保管部１６３とから主として構成されている。データ保管部１６３には、スマートフォン２００へ発信するダウンロード用データとして、動画Ａ、動画Ｂ、動画Ｃ、動画Ｄ、動画Ｅが保管されている。動画Ａ〜動画Ｅは、それぞれＵＲＬ：Ａ〜ＵＲＬ：Ｅに対応する画像データである。データ保管部１６３はＣＰＵ１６２によって統括制御される。

クラウドサーバ１６１に接続情報を発信した後、ＣＰＵ１０９は、スマートフォン２００を受信待ちの状態とし（ステップＳ７０９）、クラウドサーバ１６１からダウンロード用データを受信するまで待機する（ステップＳ７１０）。

このとき、クラウドサーバ１６１のＣＰＵ１６２は、クラウドサーバ１６１を初期状態に保持しており、クラウドサーバ１６１は、スマートフォン２００からのデータを受信する受信待ちの状態となっている（ステップＳ８０１）。

次いで、ＣＰＵ１６２は、スマートフォン２００から接続情報を受信したか否かを判定し、接続情報を受信するまで待機する（ステップＳ８０２）。ステップＳ８０２の判定の結果、接続情報を受信した（ステップＳ８０２で「ＹＥＳ」）場合、ＣＰＵ１６２は、処理をステップＳ８０３に進める。すなわち、ＣＰＵ１６２は、受信した接続情報に応じてダウンロード用データを選択し、選択したダウンロード用のデータをスマートフォン２００に返信する。このとき、ＣＰＵ１６２は、図１５（ａ）に例示した場合は、動画Ｂと動画Ｄをスマートフォン２００に返送し、図１５（ｃ）に例示した場合は、動画Ｅをスマートフォン２００に返送する。

このとき、ダウンロード用のデータを受信するまで待機していた（ステップＳ７１０）スマートフォン２００のＣＰＵ１０９は、クラウドサーバ１６１からダウンロード用データを受信すると、処理をステップＳ７１１に進める。すなわち、ＣＰＵ１０９は、ダウンロード用データをユーザデータ記憶部１０５に一時的に保存し、カメラ部１０１で撮像された画像をリアルタイムに表示するスルー表示画像に、クラウドサーバ１６１から受信した動画データを重畳して表示する。このとき、マーカに対応する動画の配置位置が、常に、画面の中央になるように配置される。

すなわち、図１５（ａ）に示す場合、ＣＰＵ１０９は、表示制御部１１１を制御して、図１５（ｂ）に示すように、マーカＢに応じた動画Ｂを再生した後に、マーカＤに対応した動画Ｄを再生する。一方、図１５（ｃ）に示す場合、ＣＰＵ１０９は、表示制御部１１１を制御して、図１５（ｄ）に示すように、動画Ｅを再生する。スルー表示画像にクラウドサーバ１６１から受信した動画データを重畳して表示した後、ＣＰＵ１０９は、本処理を終了する。

図１３の処理によれば、スマートフォン２００は、４つのマーカＡ〜Ｄに対し、５通りのダウンロード用データである動画Ａ〜動画Ｅを表示することが可能となる。従って、マーカ数よりも多くのダウンロード用データをサーバからダウンロードして表示することができる。

本実施の形態において、上述した以外の場合、例えばマーカＡ、マーカＣなどが単独で選択された場合、その他、複数のマーカの組み合わせが選択された場合は、上記他の実施の形態に準じて処理される。

また、本実施の形態において、マーカＣとマーカＤの第二のＵＲＬ情報をＵＲＬ：Ｆとし、該ＵＲＬに対応した動画Ｆを用意することもできる。これによって、マーカＡとマーカＢが検知された場合は、動画Ｅを、マーカＣとマーカＤが検知された場合は、動画Ｆを表示することができる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。例えば、デジタルビデオカメラ１００に代えて、デジタルカメラや携帯電話等を用いることも可能である。

また、ドキュメントは、ハガキ１５０に限定されるものではなく、手紙や、ポスター、チラシ、シールのような他の紙媒体や、ＣＤのレーベル面のような他の材質による媒体、Ｔシャツのような曲面を有している素材なども適用できる。なお、近年実用化されているプリンタにてプリント可能なものであれば、好適に適用することができる。

また、マーカとしてＱＲコードを例示したが、これに限定されるものではない。例えば通常のバーコードや、ゲーム機のＡＲ技術で採用されているような専用の識別マークであっても適用することができる。

また、上記実施の形態では、マーカをドキュメントに印刷したが、例えば別のスマートフォンのような電子機器の表示画面にマーカを表示し、本実施の形態の表示装置によって電子機器の表示画面を撮影することによっても本発明を実現することができる。

また、ダウンロードした動画をスルー表示画像に重畳せずに、表示画面全域に表示することもできる。また、ドキュメントに印刷した静止画と各々のマーカの位置も、上記実施の形態に限定するものではない。

また、各動画情報はクラウドサーバに保管されているデータをダウンロードすることで利用したが、例えば、クラウドサーバ以外のパーソナルコンピュータのような他の機器との間で通信して実現することも可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述の実施形態の機能を実現するソフトウェア（制御プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）が制御プログラムを読み出して実行する処理である。

１００ デジタルビデオカメラ
１０１ カメラ部
１０８ タッチパネル
１０９ ＣＰＵ
１１２ ＬＣＤパネル
１１３ 表示部
１１４ 本体部
１３０ マーカ検知手段
１３１ 接続情報発信手段
１５０ ドキュメント（ハガキ）
１６０ ネットワーク
１６１ クラウドサーバ
１６２ クラウドサーバのＣＰＵ
２００ スマートフォン

Claims (18)

1. ネットワークを介してサーバ装置と接続可能で、接続情報に対応する情報を前記サーバ装置から受信して表示する表示装置において、
   複数の情報にそれぞれ対応付けられたマーカのうち選択されたマーカを検知する検知手段と、
   前記検知手段が複数のマーカを検知した場合、前記複数のマーカにそれぞれ対応する複数の接続情報を第１の所定時間間隔内に連続して前記サーバ装置に発信する発信手段と、を備えることを特徴とする表示装置。
2. 前記マーカは、分岐条件ごとに異なる情報を参照可能に構成された付属情報を有し、
   前記発信手段は、前記検知手段で検知された前記マーカの前記付属情報に対応する分岐条件を参照して前記接続情報を取得することを特徴とする請求項１記載の表示装置。
3. 前記付属情報は、第一のＵＲＬ情報と、第二のＵＲＬ情報であることを特徴とする請求項２記載の表示装置。
4. 前記第一のＵＲＬ情報は、各マーカごとに異なるＵＲＬ情報であり、
   前記第二のＵＲＬ情報は、前記第一のＵＲＬ情報と異なる情報であって、少なくとも２つのマーカに共通する同一のＵＲＬ情報であることを特徴とする請求項３記載の表示装置。
5. 前記分岐条件とは、前記検知手段によって検知された前記マーカの個数であることを特徴とする請求項２乃至４のいずれか１項に記載の表示装置。
6. 前記分岐条件とは、前記検知手段によって検知された第一のＵＲＬ情報又は第二のＵＲＬ情報の個数であることを特徴とする請求項３乃至５のいずれか１項に記載の表示装置。
7. 前記マーカは、二次元コードによって形成されていることを特徴とする請求項１乃至６のいずれか１項に記載の表示装置。
8. 前記表示装置は、撮像装置を備えることを特徴とする請求項１乃至７のいずれか１項に記載の表示装置。
9. ネットワークを介して表示装置と接続可能で、接続情報に対応する情報を前記表示装置に送信するサーバ装置において、
   複数の接続情報を第２の所定時間間隔内に連続して受信した場合、前記複数の接続情報にそれぞれ対応する複数の情報以外の別の情報を前記表示装置に返送する返送手段を有することを特徴とするサーバ装置。
10. 前記の別の情報は、前記複数の接続情報にそれぞれ関連する１つの情報であることを特徴とする請求項９記載のサーバ装置。
11. 前記第２の所定時間間隔内に複数の接続情報を連続して受信した場合に作動する情報有無判別手段を有し、
    前記情報有無判別手段の判別の結果、前記別の情報が存在しない場合、前記返送手段は、前記複数の接続情報に対応した複数の情報を前記表示装置に返送することを特徴とする請求項９又は１０記載のサーバ装置。
12. ネットワークを介してサーバ装置と接続可能で、接続情報に対応する情報を前記サーバ装置から受信して表示する表示装置を有する表示システムにおいて、
    複数の情報にそれぞれ対応付けられたマーカのうち選択されたマーカを検知する検知手段と、
    前記検知手段で検知されたマーカが複数の場合、前記複数のマーカにそれぞれ対応する複数の接続情報を第１の所定時間間隔内に連続して発信する発信手段と
    前記複数の接続情報を第２の所定時間間隔内に連続して受信した場合、前記複数の接続情報にそれぞれ対応する複数の情報以外の別の情報を返送する返送手段と、
    を有することを特徴とする表示システム。
13. 前記第２の所定時間は、前記第１の所定時間よりも長いことを特徴とする請求項１２記載の表示システム。
14. ネットワークを介してサーバ装置と接続可能で、接続情報に対応する情報を前記サーバ装置から受信して表示する表示装置を有する表示システムの制御方法において、
    複数の情報にそれぞれ対応付けられたマーカのうち選択されたマーカを検知する検知ステップと、
    前記検知ステップで検知されたマーカが複数の場合、前記複数のマーカにそれぞれ対応する複数の接続情報を第１の所定時間間隔内に連続して発信する発信ステップと
    前記複数の接続情報を第２の所定時間間隔内に連続して受信した場合、前記複数の接続情報にそれぞれ対応する複数の情報以外の別の情報を返送する返送ステップと、
    を有することを特徴とする表示システムの制御方法。
15. 前記第２の所定時間は、前記第１の所定時間よりも長いことを特徴とする請求項１４記載の表示システムの制御方法。
16. ネットワークを介してサーバ装置と接続可能で、接続情報に対応する情報を前記サーバ装置から受信して表示する表示装置を有する表示システムの制御方法をコンピュータに実行させるための制御プログラムにおいて、
    前記表示システムの制御方法は、
    複数の情報にそれぞれ対応付けられたマーカのうち選択されたマーカを検知する検知ステップと、
    前記検知ステップで検知されたマーカが複数の場合、前記複数のマーカにそれぞれ対応する複数の接続情報を第１の所定時間間隔内に連続して発信する発信ステップと
    前記複数の接続情報を第２の所定時間間隔内に連続して受信した場合、前記複数の接続情報にそれぞれ対応する複数の情報以外の別の情報を返送する返送ステップと、
    を有することを特徴とする制御プログラム。
17. 前記第２の所定時間は、前記第１の所定時間よりも長いことを特徴とする請求項１６記載の制御プログラム。
18. 請求項１６又は１７記載の制御プログラムが格納されたコンピュータで読み取り可能な記憶媒体。