JP6999516B2 - 情報処理装置 - Google Patents

Description

本発明は、撮像画像に画像を重畳表示するための技術に関する。

いわゆるＡＲ（拡張現実）は、現実空間に対して情報の付加・削除・強調・減衰を行うことで、人間が見た現実の世界を拡張するものである。例えば特許文献１には、２枚のゲームカードを接触させると、キャラクタ同士の間に仮想オブジェクトが表示されることが記載されている。さらに、これらのゲームカード同士を離すことにより、仮想オブジェクトが伸びるように表現され、ゲームカード同士を近づけることにより、仮想オブジェクトが縮むように表現されることが記載されている。

特開２００６－７２６６８号公報

このＡＲを楽曲再生に利用することが考えられている。例えば、実オブジェクトとしてのＡＲマーカを撮像すると、楽曲演奏を行うキャラクタを仮想オブジェクトとしてその撮像画像に重畳して表示するといった具合である。このような動きのある仮想オブジェクトを表示する場合に、例えば複数の仮想オブジェクトに応じた動きのある画像を重畳表示することができれば、ユーザにとって面白いサービスを提供し得る可能性がある。

そこで、本発明は、複数の仮想オブジェクト間の距離に応じて、動きのある画像を表示し得る仕組みを提供することを目的とする。

上記課題を解決するため、本発明は、撮像画像を取得する取得部と、前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部とを備え、前記表示制御部は、動作を行う前記仮想オブジェクトを重畳表示させるとともに、当該仮想オブジェクトの動作に連動する前記動画を重畳表示させることを特徴とする情報処理装置を提供する。

前記表示制御部は、演奏動作を行う前記仮想オブジェクトを重畳表示させるとともに、当該仮想オブジェクトの演奏動作に対応する演奏動作を行う演奏者を収録した前記動画を重畳表示させるようにしてもよい。

また、本発明は、撮像画像を取得する取得部と、前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部とを備え、前記表示制御部は、前記算出部により算出された距離に応じた内容の前記動画を重畳表示させることを特徴とする情報処理装置を提供する。

また、本発明は、撮像画像を取得する取得部と、前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部とを備え、前記表示制御部は、前記撮像画像を閲覧するユーザの目を撮像した画像を画像解析して当該ユーザの視線方向を特定し、特定した視線方向に応じた向きの仮想平面に前記動画を重畳表示させることを特徴とする情報処理装置を提供する。

また、本発明は、撮像画像を取得する取得部と、前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部とを備え、前記表示制御部は、前記撮像画像を閲覧するユーザにより所定の操作が行われた場合には、前記複数の実オブジェクトのうちいずれか一方の実オブジェクトが移動させられて当該複数の前記実オブジェクト間の距離が変更した場合であっても、前記動画の表示の態様を変更しないことを特徴とする情報処理装置を提供する。

また、本発明は、撮像画像を取得する取得部と、前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部とを備え、前記表示制御部は、前記検出部により検出された複数の前記実オブジェクトのうちいずれか一方の識別情報に対応する仮想オブジェクトの位置に応じた態様の前記動画を重畳表示させることを特徴とする情報処理装置を提供する。

また、本発明は、撮像画像を取得する取得ステップと、前記取得ステップにおいて取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出ステップと、前記検出ステップにおいて複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出ステップと、前記検出ステップにおいて検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御ステップであって、前記検出ステップにおいて複数の前記実オブジェクトが検出された場合には、前記算出ステップにおいて算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御ステップとを備えることを特徴とする情報処理方法を提供する。

また、本発明は、コンピュータに、撮像画像を取得する取得ステップと、前記取得ステップにおいて取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出ステップと、前記検出ステップにおいて複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出ステップと、前記検出ステップにおいて検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御ステップであって、前記検出ステップにおいて複数の前記実オブジェクトが検出された場合には、前記算出ステップにおいて算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御ステップとを実行させるためのプログラムを提供する。

本発明によれば、複数の仮想オブジェクト間の距離に応じて、動きのある画像を表示することが可能となる。

本発明の一実施形態に係る情報処理システムの構成を例示する図である。 撮像表示装置のハードウェア構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置に記憶されている画像データベースの一例を示す図である。 情報処理装置に記憶されている表示サイズテーブルの一例を示す図である。 情報処理システムの機能構成の一例を示すブロック図である。 情報処理装置の動作の一例を示すフローチャートである。 撮像表示装置における表示例を示す図である。 撮像表示装置における表示例を示す図である。

［構成］
図１は、本実施形態の情報処理システム１の一例を示す図である。情報処理システム１は、いわゆるＡＲ（拡張現実）を実現するための処理を行う情報処理装置１０と、画像の撮像及び表示を行う撮像表示装置２０と、これら情報処理装置１０及び撮像表示装置２０を通信可能に接続するネットワーク９０とを備えている。ネットワーク９０は、例えばＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。なお、図１には、情報処理装置１０及び撮像表示装置２０を１つずつ示しているが、これらはそれぞれ複数であってもよい。

情報処理装置１０は、撮像表示装置２０によって撮像された現実空間の撮像画像を取得し、その現実空間に対して付加的な画像を重畳した状態で表示するよう、撮像表示装置２０を制御する。具体的には、情報処理装置１０は、撮像表示装置２０によって撮像された現実空間の撮像画像において、ＡＲマーカと呼ばれる実オブジェクトを検出し、その実オブジェクトに対応する仮想オブジェクトを現実空間に重畳した状態で撮像表示装置２０に表示させる。さらに、情報処理装置１０は、撮像表示装置２０によって撮像された現実空間の撮像画像において、複数の実オブジェクト同士の距離に応じた態様の動画を現実空間に重畳した状態で撮像表示装置２０に表示させる。

ここで、ＡＲマーカとは、ＡＲにおいて現実空間に重畳表示する画像及びその位置を指定するための識別情報が記された標識のことである。この識別情報は、図形や文字等によってＡＲマーカに記されているが、よく用いられるのは白黒の図形やＱＲコード（登録商標）などである。本実施形態では、円形の媒体に白黒の図形が記されたＡＲマーカを用いるが、その形状や大きさ、そして識別情報の表現形式はどのようなものであってもよい。仮想オブジェクトがＡＲマーカに重畳した状態で表示されるので、ユーザから見ると、あたかも現実空間に仮想オブジェクトが存在しているように感じられる。仮想オブジェクトは、ＡＲオブジェクトとも呼ばれる。

なお、本実施形態では、撮像表示装置２０が情報処理装置１０の制御下で画像を表示するという、より複雑な例で説明するが、このような例に限定されず、撮像表示装置２０が情報処理装置１０の制御を受けずに単体で画像表示に関する動作を行ってもよい。つまり、撮像表示装置２０は、自装置の撮像部２０６が撮像した現実空間の撮像画像において、複数のＡＲマーカを検出し、その実オブジェクト同士の距離に応じた態様の動画を現実空間に重畳した状態で表示部２０７に表示させるようにしてもよい。

図２は、撮像表示装置２０のハードウェア構成を例示する図である。撮像表示装置２０は、例えばグラス型、ヘッドマウントディスプレイ型又はコンタクトレンズ型のウェアラブルコンピュータ、或いは、スマートフォン又はタブレットなどの情報処理装置である。ＡＲを実現する装置として、現実空間の撮像画像を表示する表示面において仮想オブジェクトをその撮像画像に重畳して表示するタイプと、ユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置に仮想オブジェクトを表示するタイプとがある。本実施形態に係る撮像表示装置２０はいずれのタイプであってもよく、仮想オブジェクトを現実空間に重畳表示する装置として機能する。

撮像表示装置２０は、ＣＰＵ２０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、補助記憶装置２０４、通信ＩＦ２０５、撮像部２０６、表示部２０７及び操作部２０８を有する。

ＣＰＵ２０１は、各種の演算を行うプロセッサである。ＲＯＭ２０２は、例えば撮像表示装置２０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。補助記憶装置２０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置であり、撮像表示装置２０において用いられるプログラム及びデータを記憶する。ＣＰＵ２０１がこのプログラムを実行することにより撮像表示装置２０はコンピュータ装置として機能する。通信ＩＦ２０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。無線の場合、通信ＩＦ２０５は、例えばＬＴＥ（Long Term Evolution）又はＷｉ－Ｆｉ（登録商標）等の通信規格で動作するアンテナ及び通信回路を備えている。撮像部２０６はレンズ及び光学素子を含み、撮像した画像を示す撮像画像データを生成する。表示部２０７は、例えば液晶パネル及び液晶駆動回路などを含み、画像データに応じた画像を表示する。操作部２０８は、例えばキーやタッチセンサなどの操作子を含み、ユーザの操作を受け付けてその操作に応じた信号をＣＰＵ２０１に供給する。なお、撮像表示装置２０は、図２に例示した構成以外に、例えばＧＰＳ（Global Positioning System）ユニットや音声入出力部などの他の構成を含んでいてもよい。

図３は、情報処理装置１０のハードウェア構成を例示する図である。情報処理装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、及び通信ＩＦ１０５を有するコンピュータ装置である。ＣＰＵ１０１は、各種の演算を行うプロセッサである。ＲＯＭ１０２は、例えば情報処理装置１０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。補助記憶装置１０４は、例えばＨＤＤ又はＳＳＤなどの不揮発性の記憶装置であり、情報処理装置１０において用いられるプログラム及びデータを記憶する。ＣＰＵ１０１がこのプログラムを実行することにより、後述する図６に示される機能が実現される。通信ＩＦ１０５は、所定の通信規格に従ってネットワーク９０を介した通信を行うためのインターフェースである。情報処理装置１０は、図３に例示した構成以外に、例えば表示部や操作部などの他の構成を含んでいてもよい。

補助記憶装置１０４は、画像データベース（以下、データベースをＤＢと省略する）と表示サイズテーブルとを記憶している。図４は、画像ＤＢの一例を示す図である。画像ＤＢには、ＡＲマーカに記された識別情報（ＡＲマーカ識別情報）と、そのＡＲマーカに重畳表示するキャラクタを撮像表示装置２０において再生するためのデータ（キャラクタ再生データ）と、複数（本実施形態では２つ）のＡＲマーカの組み合わせに対して決められた動画を撮像表示装置２０において再生するためのデータ（動画再生データ）とが対応付けられている。例えばＡＲマーカ識別情報「ＩＤ００１」が記されたＡＲマーカに対しては、「Ｃ００１」というデータ名のキャラクタ再生データによって示されるキャラクタが重畳表示される。また、例えばＡＲマーカ識別情報「ＩＤ００２」が記されたＡＲマーカに対しては、「Ｃ００２」というデータ名のキャラクタ再生データによって示されるキャラクタが重畳表示される。ここでいうキャラクタは、例えば楽曲を演奏する集団（バンド）を構成する各メンバーの外観を模したものである。キャラクタ再生データは、画像データ及び音声データを含んでいる。キャラクタ再生データが撮像表示装置２０において再生されると、キャラクタが楽曲を演奏する動作を行っているように表示され、且つ、その演奏による楽曲の音声が出力される。

ＡＲマーカ識別情報「ＩＤ００１」及びＡＲマーカ識別情報「ＩＤ００２」は１つの組を構成しており、また、ＡＲマーカ識別情報「ＩＤ００３」及びＡＲマーカ識別情報「ＩＤ００４」は上記とは別の１つの組を構成している。１つの組み合わせに係るＡＲマーカ識別情報が記されたＡＲマーカ群の各々は、或る楽曲を演奏する集団（バンド）を構成するメンバーのそれぞれに対応している。例えばＡＲマーカ識別情報「ＩＤ００１」及び「ＩＤ００２」の組み合わせに対応する「Ｃ００１」というキャラクタ再生データによって、或る楽曲についてギター演奏を行うキャラクタが再生され、また、「Ｃ００２」というキャラクタ再生データによって、上記楽曲についてボーカル演奏を行うキャラクタが再生されるといった具合である。

また、１つの組み合わせに係るＡＲマーカ群の各々によって再生される楽曲は同期している。例えば「Ｃ００１」というキャラクタ再生データによってギター演奏を行うキャラクタの動き及び音声と、「Ｃ００２」というキャラクタ再生データによってボーカル演奏を行うキャラクタの動き及び音声とは、楽曲演奏の進行において同期した状態で再生される。つまり、これらのキャラクタが１つの楽曲をそれぞれのパートにおいて同時に演奏しているように再生される。この同期再生のために、キャラクタ再生データ「Ｃ００１」及びキャラクタ再生データ「Ｃ００２」には共通のタイムコードが含まれており、これらのデータはこのタイムコードに従って同期した状態で再生される。

さらに、１つの組み合わせに係るＡＲマーカの間には、この組に対応する動画再生データによって動画が重畳表示される。例えばＡＲマーカ識別情報「ＩＤ００１」が記されたＡＲマーカとＡＲマーカ識別情報「ＩＤ００２」が記されたＡＲマーカとの間には、「Ａ００１」というデータ名の動画再生データが示す動画が重畳表示される。この動画は、「Ｃ００１」というキャラクタ再生データによって示されるキャラクタに対応する現実の演奏者（バンドのメンバー）と、「Ｃ００２」というキャラクタ再生データによって示されるキャラクタに対応する現実の演奏者（バンドのメンバー）とが現実空間のライブやコンサートで演奏しているときの様子を収録した動画である。つまり、動画再生データは画像データ及び音声データを含む。さらに、１つの組み合わせに係るＡＲマーカの各々において再生される楽曲と、これらのＡＲマーカ間に重畳表示される動画とは同期（つまり連動）している。例えばＡＲマーカ識別情報「ＩＤ００１」及び「ＩＤ００２」の組み合わせに対応する「Ｃ００１」というキャラクタ再生データによって再生される、ギター演奏を行うキャラクタの動き及び音声と、「Ｃ００２」というキャラクタ再生データによって再生される、ボーカル演奏を行うキャラクタの動き及び音声と、「Ａ００１」という動画再生データによって再生される、現実の演奏者が現実空間で演奏しているときの動き及び音声とが同期した状態で再生される。つまり、撮像表示装置２０において、各キャラクタが１つの楽曲を同時にそれぞれのパートで演奏しているように再生されるとともに、その演奏中の収録動画がキャラクタの演奏動作と同期した状態で再生される。この同期再生のために、キャラクタ再生データ「Ｃ００１」、キャラクタ再生データ「Ｃ００２」及び動画再生データ「Ａ００１」には共通のタイムコードが含まれており、これらのデータはこのタイムコードに従って同期した状態で再生される。

図６は、情報処理システム１の機能構成の一例を示すブロック図である。図６に示すように、情報処理装置１０においては、取得部１１と、検出部１２と、算出部１３と、表示制御部１４という機能が実現される、取得部１１は、撮像表示装置２０の撮像部２０６から通信ＩＦ２０５を介して撮像画像を取得する。検出部１２は、取得部１１により取得された撮像画像においてＡＲマーカを検出する。算出部１３は、検出部１２により複数のＡＲマーカが検出された場合に、当該複数のＡＲマーカ間の距離を算出する。表示制御部１４は、撮像表示装置２０の表示部２０７に対して通信ＩＦ２０５経由で表示制御を行うことで、検出部１２により検出されたＡＲマーカのＡＲマーカ識別情報に対応するキャラクタを撮像画像に重畳表示させる。さらに、表示制御部１４は、検出部１２により複数のＡＲマーカが検出された場合には、算出部１３により算出された距離に応じた態様の動画を撮像画像に重畳表示させる。

なお、前述したとおり本実施形態では、撮像表示装置２０が情報処理装置１０の制御下で画像を表示する例で説明するため、その機能構成は図６のようになる。ただし、前述したように、本発明においては、撮像表示装置２０が情報処理装置１０の制御を受けずに単体で画像表示に関する動作を行ってもよい。この場合は、撮像表示装置２０が、撮像部２０６から撮像画像を取得する取得部１１と、取得部１１により取得された撮像画像においてＡＲマーカを検出する検出部１２と、検出部１２により複数のＡＲマーカが検出された場合に、当該複数のＡＲマーカ間の距離を算出する算出部１３と、検出部１２により検出されたＡＲマーカのＡＲマーカ識別情報に対応するキャラクタを、表示部２０７を制御して撮像画像に重畳表示させる表示制御部１４であって、検出部１２により複数のＡＲマーカが検出された場合には、算出部１３により算出された距離に応じた態様の動画を撮像画像に重畳表示させる表示制御部１４という機能を実現することになる。

［動作］
図７～図９を参照して、情報処理装置１０の動作例について説明する。まず、ユーザは、ＡＲマーカを机や台の上に置き、撮像表示装置２０の撮像部２０６を起動する。これにより、ＡＲマーカを含む空間の撮像が開始される。撮像部２０６によって撮像された撮像画像データは、通信ＩＦ２０５からネットワーク９０経由で情報処理装置１０に送信される。

情報処理装置１０の取得部１１が撮像画像データを取得すると（図７、ステップＳ１１）、検出部１２は、その撮像画像データについてパターンマッチング等の画像認識処理を行ってＡＲマーカの検出を試み、撮像画像にＡＲマーカが含まれるか否かを判断する（ステップＳ１２）。

撮像画像にＡＲマーカが含まれていれば（ステップＳ１２；ＹＥＳ）、表示制御部１４は、認識したＡＲマーカのＡＲマーカ識別情報に対応するキャラクタ再生データを補助記憶装置１０４から読み出し、読み出したキャラクタ再生データを、その表示位置（例えばＡＲマーカ上の所定の位置）を指定して撮像表示装置２０に送信し、キャラクタを表示させる（ステップＳ１３）。

そして、ユーザが撮像表示装置２０において所定の再生操作を行うと（ステップＳ１４；ＹＥＳ）、その旨が情報処理装置１０に通知される。この通知に応答して、情報処理装置１０の表示制御部１４がキャラクタ再生データを再生するよう、撮像表示装置２０に指示する。これにより、撮像表示装置２０において、キャラクタ再生データに従い楽曲の再生とキャラクタの動作に関する再生制御が開始される（ステップＳ１５）。

以上説明した実施形態によれば、複数のＡＲマーカ間の距離に応じた大きさの動画を表示することが可能となる。各ＡＲマーカに対しては、バンドメンバーに対応する各キャラクタが１つの楽曲を同時にそれぞれのパートで演奏しているように重畳表示されるとともに、現実空間でその演奏を収録した動画がキャラクタの演奏と同期した状態で重畳表示される。これにより、ユーザが面白みを感じられるようなサービスを提供することができる。

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
［変形例１］
上述した実施形態において、表示制御部１４は、演奏動作を行うキャラクタを現実空間に重畳表示させるとともに、当該キャラクタの演奏動作に対応する演奏動作を行う現実の演奏者を収録した動画を現実空間に重畳表示させていた。表示対象はこの例に限定されるわけではない。例えば、表示制御部１４は、何らかの動作を行う仮想オブジェクトを現実空間に重畳表示させるとともに、当該仮想オブジェクトの動作に連動する動画を現実空間に重畳表示させるようにしてもよい。また、仮想オブジェクトは何らかの動作を行わなくてもよい。要するに、表示制御部１４は、複数の実オブジェクトが検出された場合に、その実オブジェクト間の距離に応じた態様の動画を撮像画像に重畳表示させるようにすればよい。

［変形例２］
表示制御部１４は、実オブジェクト間の距離に応じた態様の動画を重畳表示させるようにすればよい。この態様とは、実施形態では動画の表示サイズであったが、例えば距離に応じた動画の内容であってもよい。例えばＡＲマーカ間の距離が閾値以下の場合は、バンドを構成するメンバーのうち特定のメンバーの演奏行為を主に被写体として収録した動画を表示し、ＡＲマーカ間の距離が閾値を超えるとそのバンド全員の演奏風景を俯瞰する撮影位置から収録した動画を表示するようにしてもよい。つまり、表示制御部１４は、算出部１３により算出された距離に応じた内容の動画を重畳表示させるようにしてもよい。この場合、情報処理装置１０において、ＡＲマーカ間の距離と表示対象となる動画再生データとが対応付けられて記憶されており、表示制御部１４は、算出部１３により算出された距離に対応する動画再生データを読み出して重畳表示させる。

［変形例３］
実施形態では、ＡＲマーカを結ぶ線分上にその線分の方向に応じた向きの仮想平面ａが設けられ、その仮想平面ａに動画が重畳表示されていた。これに代えて、表示制御部１４は、撮像画像を閲覧するユーザの視線方向に応じた向きの仮想平面に動画を重畳表示させてもよい。ユーザの視線方向は、ユーザの目を撮像表示装置２０が撮像して画像解析により特定すればよい。これにより、ユーザの視る方向により動画を表示する仮想平面の向きを変えられることになるから、例えば、常にユーザに対して正対する仮想平面（つまり仮想平面の法線とユーザの視線方向とが平行となる）に動画を重畳表示させることが可能となる。

［変形例４］
２つのＡＲマーカのうち、いずれか一方のＡＲマーカが移動させられてＡＲマーカ間の距離が変わると、それに追随して動画の表示の態様が変わってもよいし、また、ＡＲマーカ間の距離が変わったとしても、移動前の態様のまま動画を表示し続けるようにしてもよい。例えば、或る態様で動画が表示されているときにユーザにより所定の操作が行われた場合、その操作以後、複数のＡＲマーカのうちいずれか一方が移動させられたとしても、動画の表示はそのままとする。つまり、表示制御部１４は、ユーザにより所定の操作が行われた場合には、複数の実オブジェクトのうちいずれか一方の実オブジェクトが移動させられて当該複数の実オブジェクト間の距離が変更した場合であっても、動画の表示の態様を変更しないようにしてもよい。これは、ユーザが動画の表示態様を維持したい場合に便利である。また、例えば、或る態様で動画が表示されているときにいずれかのＡＲマーカが移動させられた場合には、その動画の表示を消去してもよい。

［変形例５］
例えば楽曲を演奏するバンドを構成するメンバーが３人以上であって、これらメンバーに対応するＡＲマーカが３つ以上の場合、ＡＲマーカの組み合わせに応じて異なる内容の動画を表示するようにしてもよい。例えば３人で構成されるバンドのメンバーＡ，Ｂ，Ｃに対応するＡＲマーカＭ１，Ｍ２，Ｍ３としたとき、ＡＲマーカＭ１，Ｍ２の組み合わせの場合にはメンバーＡ，Ｂを主に被写体として収録した動画を表示し、ＡＲマーカＭ２，Ｍ３の組み合わせの場合にはメンバーＢ，Ｃを主に被写体として収録した動画を表示し、ＡＲマーカＭ１，Ｍ３の組み合わせの場合にはメンバーＡ，Ｃを主に被写体として収録した動画を表示するといった具合である。つまり、表示制御部１４は、検出部１２により検出された複数の実オブジェクトの識別情報の組み合わせに応じた態様の動画を重畳表示させるようにしてもよい。

また、表示サイズテーブルにおいて、ＡＲマーカの組み合わせに応じて異なる閾値を設定しておいてもよい。例えばＡＲマーカＭ１，Ｍ２の組み合わせの場合には閾値Ｌ１，Ｌ２を用い、ＡＲマーカＭ２，Ｍ３の組み合わせの場合には閾値Ｌ１、Ｌ２とは異なる閾値Ｌ３，Ｌ４を用い、ＡＲマーカＭ１，Ｍ３の組み合わせの場合には閾値Ｌ１～Ｌ４とは異なる閾値Ｌ５，Ｌ６を用いるといった具合である。

また、１つの組み合わせに係るＡＲマーカは３つ以上であってもよい。この場合、これらのＡＲマーカのうちいずれか２つのＡＲマーカ間の距離を用いてもよいし、各ＡＲマーカ間の距離を全て算出してそれらの平均値を用いてもよい。また、この場合の動画の表示位置は、これらのＡＲマーカのうちいずれか２つのＡＲマーカ間を結ぶ線分上の仮想平面を表示位置としてもよいし、全てのＡＲマーカを結んだ図形の重心となる位置に仮想平面を設けてそれを表示位置としてもよい。

［変形例６］
動画の内容は実施形態の例に限定されない。例えば、或るキャラクタの位置から各キャラクタを見たときの様子を動画として表示するようにしてもよい。具体的には、情報処理装置１０の表示制御部１４は、撮像画像中のＡＲマーカの位置に基づいて各ＡＲマーカの位置関係を特定し、例えばユーザにより指定された１のＡＲマーカの位置から或る視野範囲で見たときの他のＡＲマーカの位置を特定する。そして、表示制御部１４は、或るＡＲマーカの位置から見た視野範囲において、他のＡＲマーカに対応するキャラクタ演奏動作を行っている様子を動画として生成して、撮像表示装置２０に表示させる。つまり、表示制御部１４は、検出部１２により検出された複数の実オブジェクトのうちいずれか一方の識別情報に対応する仮想オブジェクトの位置に応じた態様の動画を重畳表示させるようにしてもよい。

［変形例７］
情報処理装置１０が、撮像画像を閲覧しているユーザを例えばそのユーザの顔画像を認識する方法やユーザＩＤ又は生体情報を入力する方法等により識別するユーザ識別部を備え、表示制御部１４は、ユーザ識別部により識別されたユーザに応じた動画を重畳表示させるようにしてもよい。例えばバンドを構成するメンバーのうち、そのユーザが好きなメンバーの識別情報を情報処理装置１０に登録しておくようにすれば、複数の動画のうちユーザ識別部により識別された、ユーザが好きなメンバーを主に収録した動画を選択して、それを重畳表示させることが可能となる。つまり、ユーザの趣味嗜好に対応する動画を登録しておき、識別されたユーザに対応する動画を重畳表示させるようにしてもよい。

［変形例８］
ＡＲマーカ間の距離の算出方法は実施形態の例に限定されない。また、動画の表示サイズの上限又は下限は無くてもよい。

［そのほかの変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えば、情報処理装置１０の機能の少なくとも一部が撮像表示装置２０に実装されてもよい。情報処理装置１０の機能の全部が撮像表示装置２０に実装された場合、撮像表示装置２０が本発明に係る情報処理装置として機能する。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、その所定の情報の通知を行わない）ことによって行われてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining） した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信（receiving） （例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

本発明は、撮像表示装置２０又は情報処理装置１０において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、撮像表示装置２０又は情報処理装置１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。

本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１要素が第２要素に先行しなければならないことを意味しない。

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１…情報処理システム、１０…情報処理装置、１１…取得部、１２…検出部、１３…算出部、１４…表示制御部、２０…撮像表示装置、９０…ネットワーク、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…補助記憶装置、１０５…通信ＩＦ、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…補助記憶装置、２０５…通信ＩＦ、２０６…撮像部、２０７…表示部、２０８…操作部。

Claims (6)

1. 撮像画像を取得する取得部と、
   前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、
   前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、
   前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部と
   を備え、
   前記表示制御部は、動作を行う前記仮想オブジェクトを重畳表示させるとともに、当該仮想オブジェクトの動作に連動する前記動画を重畳表示させる
   ことを特徴とする情報処理装置。
2. 前記表示制御部は、演奏動作を行う前記仮想オブジェクトを重畳表示させるとともに、当該仮想オブジェクトの演奏動作に対応する演奏動作を行う演奏者を収録した前記動画を重畳表示させる
   ことを特徴とする請求項１記載の情報処理装置。
3. 撮像画像を取得する取得部と、
   前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、
   前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、
   前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部と
   を備え、
   前記表示制御部は、前記算出部により算出された距離に応じた内容の前記動画を重畳表示させる
   ことを特徴とする情報処理装置。
4. 撮像画像を取得する取得部と、
   前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、
   前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、
   前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部と
   を備え、
   前記表示制御部は、前記撮像画像を閲覧するユーザの目を撮像した画像を画像解析して当該ユーザの視線方向を特定し、
   特定した視線方向に応じた向きの仮想平面に前記動画を重畳表示させる
   ことを特徴とする情報処理装置。
5. 撮像画像を取得する取得部と、
   前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、
   前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、
   前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部と
   を備え、
   前記表示制御部は、前記撮像画像を閲覧するユーザにより所定の操作が行われた場合には、前記複数の実オブジェクトのうちいずれか一方の実オブジェクトが移動させられて当該複数の前記実オブジェクト間の距離が変更した場合であっても、前記動画の表示の態様を変更しない
   ことを特徴とする情報処理装置。
6. 撮像画像を取得する取得部と、
   前記取得部により取得された撮像画像において、識別情報が記された実オブジェクトを検出する検出部と、
   前記検出部により複数の前記実オブジェクトが検出された場合に、当該複数の前記実オブジェクト間の距離を算出する算出部と、
   前記検出部により検出された前記実オブジェクトの識別情報に対応する仮想オブジェクトを前記撮像画像に重畳表示させる表示制御部であって、前記検出部により複数の前記実オブジェクトが検出された場合には、前記算出部により算出された距離に応じた態様の動画を前記撮像画像に重畳表示させる表示制御部と
   を備え、
   前記表示制御部は、前記検出部により検出された複数の前記実オブジェクトのうちいずれか一方の識別情報に対応する仮想オブジェクトの位置に応じた態様の前記動画を重畳表示させる
   ことを特徴とする情報処理装置。

Images