JP6935531B1 - 情報処理プログラムおよび情報処理システム - Google Patents

Abstract

【課題】映像の中の被写体において、ユーザが現実空間で所有する被写体の特徴を維持しつつ、被写体の一部に動きを与える情報処理プログラムおよび情報処理システムを提供すること。【解決手段】情報処理プログラムは、情報端末装置のコンピュータで実行される情報処理プログラムであって、コンピュータに、現実空間を撮影した映像の中の第１被写体の一部であるパーツを特定させ、パーツを含む第１オブジェクト領域に、パーツに基づくパーツデータを重畳させる。【選択図】図４

Description

本発明は、情報処理プログラムおよび情報処理システムに関する。

拡張現実（ＡＲ）は、現実空間の情報に仮想空間の情報を付加し、視覚的に現実が拡張された空間をユーザに提供する技術である。近年、スマートフォンにおけるＡＲの利用が進んでおり、例えば、スマートフォンのカメラで撮影した現実空間の映像に仮想空間の視覚情報を付加して表示するゲームまたはコンテンツなどが提供されている。

ＡＲでは、撮影した映像によってユーザは現実空間を感じることができるとともに、付加された仮想空間の視覚情報によって仮想空間も感じることができる。例えば、ＡＲでは、カメラで撮影した現実空間を背景に、仮想空間の視覚情報としてアニメまたはゲームなどのキャラクタを付加した表示が可能である。すなわち、ＡＲを利用すれば、スマートフォンの表示を通じて、現実空間の中に仮想的なキャラクタを登場させることができる。しかしながら、このようなＡＲを利用するコンテンツの多くは、スマートフォンの表示をオフにするとキャラクタが消えてしまうものである。ユーザがキャラクタに対して感情移入し、愛着を感じるためには、現実空間においてもキャラクタが実体化されていることが好ましい。

現実空間でキャラクタが実体化されたものとしては、例えば、フィギュアがある。フィギュアを撮影した映像にＡＲを適用すれば、フィギュアの映像にオブジェクトを追加することも可能である（例えば、特許文献１参照）。例えば、フィギュアの手に武器として銃が握られている場合、映像の中では、銃口からビームを照射するようなオブジェクトを追加することができる。また、スマートフォンの表示をオフにしても、現実空間にフィギュアが残る。そのため、ユーザは、常にフィギュアとの一体感を感じることができる。

特開２０１９−１８５７９６号公報

特許文献１では、フィギュアのキャラクタを判定するために、フィギュアに特定のポーズを取らせている。すなわち、ＡＲを適用するためのフィギュアのポーズが、キャラクタごとに予め決められている。これは、映像の中において、キャラクタごとに予め用意されたオブジェクトを重畳する位置がずれないことを目的とするものであるが、フィギュアは常に所定のポーズに固定されることになる。そのため、特許文献１は、映像の中に判定されたキャラクタのオブジェクトをフィギュアに付随した物体（例えば、武器など）に対して重畳するものであり、映像の中のフィギュアそのものに動きを与えるものではなかった。また、撮影されたフィギュアのキャラクタは同じポーズであるため、ユーザは、かえってフィギュアに動きが無いことを実感してしまう問題があった。

キャラクタに動きを与えるため、映像の中のフィギュアにアニメーション表示のオブジェクトを重畳することもできる。しかし、ユーザが所持するフィギュアは、フィギュアの製造過程でのばらつき、もしくは経年変化による色の変化または傷の有無など、ユーザのフィギュアそれぞれが個々の特徴を持っている。ユーザが愛着のあるフィギュアであれば、その特徴の違いはなおさら気になるところである。そのため、単に映像の中のフィギュアにオブジェクトを重畳するだけでは、ユーザは、フィギュアとオブジェクトとを一体として感じるのではなく、フィギュアとオブジェクトとを別個のものとして感じることが多かった。そのため、フィギュアに対してＡＲを利用しても、ユーザは、依然として映像の中のフィギュアが動いているように感じることは少なかった。したがって、フィギュアに対してのＡＲの利用は、ユーザの満足度が得られにくく、利用可能性が低いという問題があった。

本発明は、上記問題に鑑み、映像の中の被写体において、ユーザが現実空間で所有する被写体の特徴を維持しつつ、被写体の一部に動きを与える情報処理プログラムおよび情報処理システムを提供することを課題の１つとする。

本発明の一実施形態に係る情報処理プログラムは、情報端末装置のコンピュータで実行される情報処理プログラムであって、コンピュータに、現実空間を撮影した映像の中の第１被写体の一部であるパーツを特定させ、パーツを含む第１オブジェクト領域に、パーツに基づくパーツデータを重畳させる。

パーツデータは、サーバ装置から情報端末装置に送信されてもよい。また、パーツデータは、パーツから生成されてもよい。

パーツデータは、第１オブジェクト領域に基づく第１オブジェクト情報によって調整されてもよい。

コンピュータは、ユーザによって選択されたパーツを特定させてもよい。

第１オブジェクト領域は、ユーザによって選択されてもよい。

映像の中のユーザの身体の一部の動きを判定させ、パーツデータは、さらに、判定に基づいてもよい。

第２オブジェクト領域に、情報端末装置の端末情報に基づく映像データを重畳させてもよい。

映像の中の物体を特定させ、第２オブジェクト領域に、物体に基づく映像データを重畳させてもよい。

第１被写体が有する認証マークを検出し、認証マークを含む第３オブジェクト領域に、遮蔽データを重畳させてもよい。

第１被写体は、認証マークによって特定されてもよい。

第１被写体は、キャラクタであってもよい。

第２被写体を特定させ、第４オブジェクト領域に、第１被写体と第２被写体とのインタラクションを示すインタラクションデータを重畳させてもよい。

本発明の一実施形態に係る情報処理システムは、現実空間を撮影する撮像部と、撮像部によって撮影された映像を表示する表示部と、映像の中の第１被写体の一部であるパーツを特定する第２処理部と、パーツを含む第１オブジェクト領域を画定する第３処理部と、第１オブジェクト領域に、パーツに基づくパーツデータを重畳する。

本発明の一実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の一実施形態に係る情報処理システムのサーバ装置および情報端末装置の構成を示すブロック図である。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体のパーツを変化させる情報処理を示すフローチャートである。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体のパーツが変化する前後の撮影を説明する図である。 本発明の一実施形態に係る情報処理システムを利用し、パーツデータを生成し、生成されたパーツデータが重畳された映像を説明する図である。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体にセリフを表示する情報処理を示すフローチャートである。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体にセリフが表示された映像を説明する図である。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体にセリフを表示する情報処理を示すフローチャートである。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体にセリフを表示する前後の撮影を説明する図である。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体のパーツを変化させる情報処理を示すフローチャートである。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体のパーツが変化する前後の撮影を説明する図である。 本発明の一実施形態に係る情報処理システムを利用し、映像の中に第１被写体と第２被写体とのインタラクションを表示する情報処理を示すフローチャートである。 本発明の一実施形態に係る情報処理システムを利用し、映像の中に第１被写体と第２被写体とのインタラクションを表示する前後の撮影を説明する図である。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体のパーツをユーザの身体の一部の動きに応じて変化させる情報処理を示すフローチャートである。 本発明の一実施形態に係る情報処理システムを利用し、映像の中の被写体のパーツがユーザの身体の一部の動きに応じて変化する前後の撮影を説明する図である。 本発明の一実施形態に係る情報処理システムを利用し、情報端末装置の操作部または撮像部を利用して、変化させた映像を説明する図である。 本発明の一実施形態に係る情報処理システムを利用し、被写体または背景をカスタマイズした映像を説明する図である。

以下、本発明の各実施形態において、図面等を参照しつつ説明する。但し、本発明は、その技術的思想の要旨を逸脱しない範囲において様々な態様で実施することができ、以下に例示する実施形態の記載内容に限定して解釈されるものではない。

図面は、説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、図示の形状そのものが本発明の解釈を限定するものではない。また、図面において、明細書中で既出の図に関して説明したものと同様の機能を備えた要素には、別図であっても同一の符号を付して、重複する説明を省略する場合がある。

本明細書において、「映像」とは、静止画像だけでなく、動画像も含む。

本明細書において、「キャラクタ」とは、アニメ、漫画、小説、ゲーム、または広告などにおいて創作された、人物、動物、または植物などの生物、もしくはロボットなどの無生物を含む。

始めに、図１および図２を参照して、本発明の一実施形態に係る情報処理システム１０の構成について説明する。

［１．情報処理システム１０の構成］
図１は、本発明の一実施形態に係る情報処理システム１０の構成を示すブロック図である。図１に示すように、情報処理システム１０は、サーバ装置１００、第１情報端末装置２００−１、第２情報端末装置２００−２、・・・、第ｎ情報端末装置２００−ｎを含む。ただし、情報処理システム１０の構成はこれに限られない。情報処理システム１０は、複数のサーバ装置１００を含んでいてもよい。なお、第１情報端末装置２００−１、第２情報端末装置２００−２、・・・、第ｎ情報端末装置２００−ｎのそれぞれを特に区別しない場合、以下では、情報端末装置２００として記載して説明する。

サーバ装置１００と情報端末装置２００とは、通信ネットワーク３００によって接続されている。通信ネットワーク３００は、複数のコンピュータを有線または無線によって接続し、相互に通信可能な状態にするシステムである。通信ネットワーク３００は、例えば、インターネットなどである。通信ネットワーク３００は、通信業者によって管理される通信基地局を介してもよい。すなわち、サーバ装置１００と情報端末装置２００とは、通信基地局を介した通信ネットワーク３００によって接続されてもよい。

情報端末装置２００は、サーバ装置１００と接続されることによって、情報端末装置２００での情報処理に必要なプログラム、情報、またはデータを送受信することができる。

図２は、本発明の一実施形態に係る情報処理システム１０のサーバ装置１００および情報端末装置２００の構成を示すブロック図である。図２（Ａ）に示すように、サーバ装置１００は、コンピュータ１１０を含む。また、図２（Ｂ）に示すように、情報端末装置２００は、コンピュータ２１０を含む。サーバ装置１００のコンピュータ１１０は、サーバ処理部１１１を含む。一方、情報端末装置２００のコンピュータ２１０は、第１処理部２１１、第２処理部２１２、第３処理部２１３、第４処理部２１４、第５処理部２１５、第６処理部２１６、第７処理部２１７、第８処理部２１８、および第９処理部２１９を含む。

サーバ装置１００は、例えば、ワークステーションまたはパーソナルコンピュータであり、コンピュータ１１０を含む。コンピュータ１１０は、演算手段として中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む。ＣＰＵは、情報処理プログラムを読み込むことで、サーバ処理部１１１として機能し、所定の情報処理を実行することができる。また、ＧＰＵは、映像表示における演算処理を実行することができる。サーバ処理部１１１は、１つのＣＰＵまたはＧＰＵを用いて情報処理を実行してもよく、複数のＣＰＵまたはＧＰＵを用いて情報処理を実行してもよい。

サーバ装置１００は、さらに、通信部１２０または記憶部１３０などを含んでいてもよい。

通信部１２０は、プログラム、情報、またはデータを送受信することができる通信インターフェースである。

記憶部１３０は、情報またはデータを格納することができるメモリまたはストレージである。例えば、記憶部は１３０は、後述するパーツデータ、セリフデータ、遮蔽データ、またはインタラクションデータなどの映像データを格納することができる。映像データは、画素サイズまたは色などの映像情報を含む。映像データには、音声データが含まれていてもよい。また、記憶部１３０は、キャラクタに関するキャラクタ情報を格納していてもよい。

サーバ処理部１１１は、情報を判定し、判定した情報に基づいたデータを取得することができる。例えば、サーバ処理部１１１は、通信部１２０によって受信された情報がどのような情報であるかを判定し、判定された情報に基づくデータを記憶部１３０から取得することができる。

また、サーバ処理部１１１は、映像データを判定することによって被写体を特定し、被写体情報を生成することもできる。さらに、サーバ処理部１１１は、被写体情報とキャラクタ情報とを比較し、被写体のキャラクタを判定することもできる。

また、サーバ処理部１１１は、パーツデータとパーツ情報に基づいて、中間のパーツデータを生成することができる。

情報端末装置２００は、例えば、携帯電話、スマートフォン、タブレット、または携帯ゲーム機などであり、コンピュータ２１０を含む。また、コンピュータ２１０は、演算手段としてＣＰＵまたはＧＰＵを含む。ＣＰＵは、情報処理プログラムを読み込むことで、第１処理部２１１〜第９処理部２１９として機能し、所定の情報処理を実行することができる。また、ＧＰＵは、映像表示における演算処理を実行することができる。第１処理部２１１〜第９処理部２１９の各々は、１つのＣＰＵまたはＧＰＵを用いて情報処理を実行してもよく、複数のＣＰＵまたはＧＰＵを用いて情報処理を実行してもよい。

情報端末装置２００は、さらに、撮像部２２０、表示部２３０、操作部２４０、通信部２５０、または記憶部２６０などを含んでいてもよい。

撮像部２２０は、現実空間の風景を撮影することができる。撮像部２２０は、例えば、カメラまたはビデオなどである。情報端末装置２００は、複数の撮像部２２０を含んでいてもよい。情報端末装置２００が２つの撮像部２２０を含む場合、一方の撮像部２２０は情報端末装置２００の表示面側に設けられ、他方の撮像部２２０は情報端末装置２００の表示面とは反対側の面に設けられていてもよい。

表示部２３０は、撮像部２２０で撮影した映像を表示することができる。表示部２３０は、例えば、液晶表示装置または発光ダイオード（ＬＥＤ）表示装置などである。

操作部２４０は、ユーザが操作することができるユーザインターフェースである。操作部２４０は、例えば、キーボード、マウス、タッチパネル、またはマイクなどである。情報端末装置２００の操作部２４０は、タッチパネルが含まれていることが好ましい。タッチパネルは表示部２３０上に設けられるため、ユーザは、表示部２３０に表示された映像を確認しながらタッチパネルを用いて情報端末装置２００を操作することができる。

通信部２５０は、プログラム、情報、またはデータを送受信することができる通信インターフェースである。

記憶部２６０は、情報またはデータを格納することができるメモリまたはストレージである。

第１処理部２１１は、表示部２３０に表示された映像の中から被写体を特定することができる。第１処理部２１１は、映像の中に含まれる所定の特徴を有する分類パターンに基づいて被写体を特定する。分類パターンは、例えば、人型パターン、動物型パターン、またはロボット型パターンなどであるが、これに限られない。被写体がキャラクタであるとき、頭部と頭部以外とのバランスが人間のバランスと異なることも多いため、さらに二頭身パターンまたは五頭身パターンなどの分類方法が異なる分類パターンに基づいて被写体を特定してもよい。また、第１処理部２１１は、被写体に関する情報を含む認証マークを検出し、認証マークから被写体を特定することもできる。被写体の特定においては、機械学習またはディープラーニングなどを用いることもできる。被写体の特定は、これらに限られず、あらゆる方法を適用することができる。また、第１処理部２１１は、特定された被写体に基づく被写体情報を生成することができる。さらに、第１処理部２１１は、認証マークから被写体を特定したときは、認証マークに関する認証マーク情報を生成することができる。

第２処理部２１２は、表示部２３０に表示された映像の中の被写体に含まれるパーツを抽出し、判定することができる。第２処理部２１２は、特定された被写体における特徴または位置に基づいてパーツを抽出し、抽出したパーツが被写体のどのパーツに該当するかを判定し、抽出したパーツを特定することができる。なお、第２処理部は、選択されたパーツを判定し、選択されたパーツを特定することもできる。また、第２処理部２１２は、特定されたパーツに基づくパーツデータを取得することができる。

第３処理部２１３は、表示部２３０に表示された映像において、映像データを重畳させるためのオブジェクト領域を画定することができる。第３処理部２１３は、所定の条件に従って、映像の座標情報を取得し、オブジェクト領域を画定する。オブジェクト領域は、矩形であることが好ましいが、これに限られない。オブジェクト領域は、多角形、円形、または楕円形であってもよい。また、第３処理部２１３は、オブジェクト領域に基づくオブジェクト領域情報を生成する。

なお、パーツの抽出とオブジェクト領域の画定は同時に実行することもできる。すなわち、パーツを含むオブジェクト領域を画定するとともに、オブジェクト領域を抽出し、オブジェクト領域からパーツを特定してもよい。この場合、第３処理部２１３がオブジェクト領域を画定し、第２処理部２１２は、画定されたオブジェクト領域の中からパーツを特定することができる。

また、パーツをオブジェクト領域とすることもできる。

第４処理部２１４は、オブジェクト領域の大きさに合わせて映像データの大きさを調整することができる。具体的には、第４処理部２１４は、オブジェクト領域情報と映像データ情報とを比較し、オブジェクト領域情報に合わせて映像データを拡大し、または縮小する。また、第４処理部２１４は、被写体の角度を検出して、映像データの角度を調整することができる。さらに、第４処理部２１４は、オブジェクト領域情報に含まれる色の情報に基づいて、映像データの色を調整することができる。映像データの輪郭部分の色は、オブジェクト領域の輪郭近傍の色を用いて調整されることが好ましい。映像データの輪郭近傍の色を、オブジェクト領域の輪郭近傍の色に合わせることで、被写体に映像データを重畳させたときの境界を見えにくくすることができる。

第５処理部２１５は、表示部２３０に表示された映像のオブジェクト領域に、映像データを重畳することができる。具体的には、第５処理部２１５は、オブジェクト領域情報に基づいて、調整された映像データをオブジェクト領域に重畳する。

第６処理部２１６は、映像の中の被写体のパーツとパーツ情報に基づいて、アニメーション表示に必要な中間のパーツデータを生成することができる。第６処理部２１６は、１つだけでなく、複数のパーツデータを生成することができる。生成されるパーツデータの個数は、パーツによって決められていてもよく、設定によって決められていてもよい。

第７処理部２１７は、情報端末装置２００の記憶部２６０から端末情報を取得することができる。端末情報としては、例えば、日付、時刻、場所、天気、またはユーザの誕生日など、情報端末装置２００の機能または情報端末装置２００に格納されたデータに関する情報であるが、これらに限られない。また、第７処理部２１７は、取得した端末情報がどのような情報であるかを判定することができる。具体的には、今日の日付とユーザの誕生日が一致していれば、第７処理部２１７は、誕生日であると判定する。また、今日の日付が休日、祝日、または行事の日であれば、特定日であると判定する。行事の日であるか否かの判定においては、インターネットと接続し、行事に関する情報を取得することもできる。また、時刻であれば、その時刻に基づいて、朝、昼、または夜と判定することができる。さらに、第７処理部２１７は、判定に基づいて、環境情報を生成することができる。

第８処理部２１８は、ユーザの身体の一部の動きを検出し、動きを判定することができる。例えば、第８処理部２１８は、映像のデータを解析して、動きを検出することができる。また、タッチパネルの信号に基づいて、動きを検出することもできる。また、第８処理部２１８は、検出された動きから、ユーザの指示（被写体に対するユーザの行動）を判定することができる。さらに、第８処理部２１８は、判定に基づいて、ユーザ行動情報を生成することができる。

第９処理部２１９は、撮像部２２０で撮影されたユーザの顔の表情を判定することができる。例えば、第９処理部２１９は、口角の形状から、ユーザの表情が笑顔かどうかを判定することができる。なお、第９処理部２１９が判定するユーザの表情は、笑顔に限られない。第９処理部２１９は、泣き顔または怒り顔なども判定することができる。また、第９処理部２１９は、判定に基づいて、ユーザ感情情報を生成することができる。

以下では、図３〜図１７を参照して、本発明の一実施形態に係る情報処理システム１０、情報処理プログラム、または情報処理方法を利用した具体的な情報処理について説明する。なお、本発明の一実施形態に係る情報処理システム、情報処理プログラム、または情報処理方法における情報処理は、以下の例示に限られない。

［２．被写体のパーツを変化させる情報処理（情報処理Ａ）］
図３および図４を参照して、情報端末装置２００の撮像部２２０で現実空間の被写体５００を撮影しながら、情報端末装置２００の表示部２３０に表示された映像の中の被写体４００のパーツを変化させる情報処理についてについて説明する。

図３は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００のパーツを変化させる情報処理を示すフローチャートである。以下、便宜上、図３に示す情報処理を、情報処理Ａとして説明する。

図３に示す情報処理Ａは、映像の中の被写体４００を特定するステップ（Ｓ１１０）と、被写体４００に含まれるパーツ４０１を特定するステップ（Ｓ１２０）と、パーツ４０１に関するパーツデータ４１１を取得するステップ（Ｓ１３０）と、映像の中に第１オブジェクト領域３０１を画定するステップ（Ｓ１４０）と、パーツデータ４１１を調整するステップ（Ｓ１５０）と、第１オブジェクト領域３０１にパーツデータ４１１を重畳するステップ（Ｓ１６０）と、を含む。以下、図４を参照しながら、各ステップについて説明する。

図４は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００のパーツが変化する前後の撮影を説明する図である。具体的には、図４（Ａ）に示す情報端末装置２００の表示部２３０には、被写体４００のパーツが変化する前の映像が表示され、図４（Ｂ）に示す情報端末装置２００の表示部２３０には、被写体４００のパーツが変化した後の映像が表示されている。

図４（Ａ）および図４（Ｂ）に示すように、ユーザは、情報端末装置２００の撮像部２２０を用いて、現実空間の被写体５００を撮影する。撮影された映像は、情報端末装置２００の表示部２３０に表示される。すなわち、ユーザは、表示部２３０に表示された映像の被写体４００を確認しながらも、現実空間の被写体５００を視認することが可能である。なお、撮像部２２０は、表示部２３０側だけでなく、表示部２３０と反対側にも設けられている。以下、便宜上、表示部と反対側の撮像部２２０を第１撮像部２２０−１とし、表示部側の撮像部２２０を第２撮像部２２０−２として説明する。被写体５００は、第１撮像部２２０−１で撮影されている。

被写体５００は、キャラクタが模されたフィギュア、人形、ぬいぐるみ、またはプラモデルなどの立体的なものであるが、これに限られない。被写体５００は、キャラクタが描かれたポスターなどの平面的なものであってもよい。

ステップＳ１１０では、第１処理部２１１が、表示部２３０に表示された映像の中から被写体４００を特定する。第１処理部２１１は、分類パターンに基づいて被写体４００を特定する。被写体４００は、キャラクタが特定されることが好ましいが、キャラクタが特定されなくてもよい。第１処理部２１１は、映像の中の背景と分離された被写体４００を特定することができればよい。また、第１処理部２１１は、特定された被写体４００に基づいて被写体情報を生成する。

被写体４００の特定においては、サーバ装置１００を用いることもできる。情報端末装置２００の通信部２５０は、撮影された映像データをサーバ装置１００に送信する。サーバ装置１００の通信部１２０は、映像データを受信する。サーバ処理部１１１は、映像データを判定することによって被写体４００を特定し、被写体情報を生成する。その際、サーバ処理部１１１は、被写体４００のキャラクタを特定してよい。例えば、サーバ処理部１１１は、被写体情報と、記憶部１３０に格納されたキャラクタ情報と比較することによって、被写体４００のキャラクタを特定することができる。被写体４００のキャラクタが特定できたとき、被写体情報は、キャラクタに関する情報を含む。通信部１２０は、サーバ処理部１１１によって生成された被写体情報を情報端末装置２００に送信する。通信部２５０が、被写体情報を受信することによって、情報端末装置２００は、被写体情報を取得することができる。なお、取得された被写体情報は、情報端末装置２００の記憶部２６０に格納されてもよい。

ステップＳ１２０では、第２処理部２１２が、被写体４００に含まれるパーツ４０１を特定する。具体的には、第２処理部２１２は、パーツ４０１を抽出し、抽出したパーツ４０１が被写体４００のどのパーツに該当するかを判定し、パーツ４０１を特定する。図４（Ａ）に示すパーツ４０１は口であるが、パーツ４０１は口に限られない。パーツ４０１は、被写体４００の部位（顔部、胴部、腕部、脚部、目、鼻、口、耳、髪の毛、手、または足など）であってもよく、被写体が着ている服であってもよく、被写体が具備する道具（武器または羽など）であってもよい。被写体４００においては、特に、目または口などのパーツ４０１が判定されることが好ましい。被写体４００の目を変化させることにより、被写体４００がまばたきをしているアニメーションを表示することができる。また、被写体４００の口を変化させることにより、被写体４００が会話しているアニメーションを表示することができる。

第２処理部２１２は、複数のパーツ４０１を判定してもよい。複数のパーツが判定されることにより、複数のパーツでアニメーション表示をすることができる。

パーツ４０１は、ユーザが選択することもできる。第２処理部２１２によるパーツ４０１の抽出が困難である場合、またはユーザがアニメーション表示させたい特定のパーツがある場合、ユーザがパーツ４０１を選択することで、第２処理部２１２はパーツ４０１を抽出することなくパーツ４０１を判定することが可能になる。そのため、第２処理部２１２によるパーツ４０１の判定の精度が向上する。

また、第２処理部は、特定されたパーツ４０１に基づくパーツ情報を生成する。

ステップＳ１３０では、情報端末装置２００が、パーツ情報に基づくパーツデータ４１１を取得する。情報端末装置２００の通信部２５０は、パーツ情報をサーバ装置１００に送信する。サーバ装置１００の通信部１２０は、パーツ情報を受信する。サーバ処理部１１１はパーツ情報を判定し、判定に基づくパーツデータ４１１を記憶部１３０から取得する。通信部１２０は、サーバ処理部１１１によって取得されたパーツデータ４１１を情報端末装置２００に送信する。通信部２５０が、パーツデータ４１１を受信することによって、情報端末装置２００は、パーツデータ４１１を取得することができる。なお、取得されたパーツデータ４１１は、情報端末装置２００の記憶部２６０に格納されてもよい。

パーツデータ４１１は、静止画データであってもよく、動画データであってもよい。パーツデータが静止画データであっても、被写体４００がもともと有するパーツと静止画データとを交互に表示させることで、被写体４００のアニメーション表示が可能となる。

ステップＳ１４０では、第３処理部２１３が、表示部２３０に表示された映像の中に、パーツ４０１を含む第１オブジェクト領域３０１を画定する。第３処理部２１３は、パーツ情報に基づき、パーツ４０１を囲むように映像の座標情報を取得し、第１オブジェクト領域３０１を画定する。また、第３処理部２１３は、第１オブジェクト領域３０１に基づく第１オブジェクト領域情報を生成する。

ステップＳ１５０では、第４処理部２１４が、第１オブジェクト領域３０１の大きさに合わせて、取得されたパーツデータ４１１の大きさを調整する。また、第４処理部２１４は、被写体情報に基づいてパーツデータ４１１の角度を調整する。さらに、第４処理部２１４は、第１オブジェクト領域情報に含まれる色の情報に基づいて、パーツデータ４１１の色を調整する。パーツデータ４１１の大きさ、角度、および色を調整することで、被写体４００にパーツデータ４１１を重畳したときであっても、違和感のない映像を表示することができる。

ステップＳ１６０では、第５処理部２１５が、第１オブジェクト領域情報に基づいて、調整されたパーツデータ４１１を第１オブジェクト領域３０１に重畳する。被写体４００にパーツデータ４１１を重畳することにより、被写体４００がアニメーション表示され、被写体４００に動きを与えることができる。

以上、情報処理Ａについて説明したが、情報処理Ａが実行されることによって、情報端末装置２００の表示部２３０には、被写体４００の一部（パーツ）が変化した映像が表示される。被写体４００の一部以外は、被写体５００を撮影した映像であるため、ユーザは、被写体４００を、現実空間の被写体５００であるかのように感じることができる。また、被写体４００を基にパーツデータ４１１が調整されているため、被写体４００にパーツデータ４１１を重畳しても違和感のない表示が可能である。そのため、ユーザは、被写体４００の一部が変化するアニメーション表示により、本来動きのない現実空間の被写体５００が、あたかも動いているかのように感じることができる。

［３．パーツデータの生成］
上述したステップＳ１３０では、サーバ装置１００の記憶部１３０からパーツデータ４１１を取得したが、パーツデータ４１１は生成することもできる。ここでは、図５を参照して、パーツデータ４１１の生成方法について説明する。

図５は、本発明の一実施形態に係る情報処理システム１０を利用し、パーツデータを生成し、生成されたパーツデータが重畳された映像を説明する図である。なお、図５では、判定されたパーツ４０１が被写体４００の目であるとして説明する。

図５（Ａ）〜図５（Ｄ）は、それぞれ、第１パーツデータ４１１−１〜第４パーツデータ４１１−４を示す。第６処理部２１６は、被写体４００のオリジナルである第１パーツデータ４１１−１とパーツ情報に基づいて、中間のパーツデータとして第２パーツデータ４１１−２〜第４パーツデータ４１１−４を生成する。特定されたパーツが開いている目である場合、パーツ情報に含まれる目の情報に基づいて、目を閉じる中間の第２パーツデータ４１１−２〜第４パーツデータ４１１−４を生成する。例えば、目の瞳の一部を削除する処理を行うことで、中間の第２パーツデータ４１１−２〜第４パーツデータ４１１−４を生成することができる。

パーツデータ４１１の生成においては、サーバ装置１００を用いることもできる。情報端末装置２００の通信部２５０は、被写体のオリジナルである第１パーツデータ４１１−１とパーツ情報をサーバ装置１００に送信する。サーバ装置１００の通信部１２０は第１パーツデータ４１１−１とパーツ情報を受信する。サーバ処理部１１１は、受信した第１パーツデータ４１１−１とパーツ情報に基づいて、中間の第２パーツデータ４１１−２〜第４パーツデータ４１１−４を生成する。通信部１２０は、サーバ処理部１１１によって生成された第２パーツデータ４１１−２〜第４パーツデータ４１１−４を情報端末装置２００に送信する。通信部２５０が第２パーツデータ４１１−２〜第４パーツデータ４１１−４を受信することによって、情報端末装置２００は、生成されたパーツデータ４１１を取得することができる。

図３に示したステップＳ１３０の代わりに、上述したパーツデータ４１１の生成に関する情報処理を実行し、生成されたパーツデータ４１１を用いて、ステップＳ１４０〜Ｓ１６０の情報処理を実行する。その結果、図５（Ｅ）に示すように、情報端末装置２００の表示部２３０には、生成されたパーツデータ４１１を用いて被写体４００の一部（パーツ）が変化した映像が表示される。情報処理システム１０では、パーツデータ４１１を生成することができるため、サーバ装置１００の記憶部１３０にパーツ情報に基づくパーツデータ４１１が格納されていないときであっても、被写体４００に動きを与えることができる。また、生成されたパーツデータ４１１は、被写体４００から生成されるため、被写体４００にパーツデータ４１１を重畳しても違和感のない表示が可能である。

［４．被写体のセリフを表示する情報処理（情報処理Ｂ）］
図６および図７を参照して、情報端末装置２００の撮像部２２０で現実空間の被写体５００を撮影しながら、情報端末装置２００の表示部２３０に表示された映像の被写体４００にセリフを表示する情報処理について説明する。

図６は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００にセリフを表示する情報処理を示すフローチャートである。以下、便宜上、図６に示す情報処理を、情報処理Ｂとして説明する。

図６に示す情報処理Ｂは、端末情報を取得するステップ（Ｓ２１０）と、環境情報を生成するステップ（Ｓ２２０）と、環境情報に基づくセリフデータ４１２を取得するステップ（Ｓ２３０）と、映像の中に第２オブジェクト領域３０２を画定するステップ（Ｓ２４０）と、セリフデータ４１２を調整するステップ（Ｓ２５０）と、第２オブジェクト領域３０２にセリフデータ４１２を重畳するステップと、を含む。以下、図７を参照しながら、各ステップについて説明する。

図７は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００にセリフが表示された映像を説明する図である。

ステップＳ２１０では、第７処理部２１７が、情報端末装置２００の記憶部２６０に格納されている時刻などの端末情報を取得する。ここでは、第７処理部２１７は、端末情報として、時刻に関する情報を取得している。

ステップＳ２２０では、第７処理部２１７が、取得した端末情報を判定し、セリフデータ４１２の取得に必要な環境情報を生成する。ここでは、第７処理部２１７は、時刻に関する情報が「朝」の情報であると判定し、「朝」の情報を含む環境情報を生成する。

環境情報の生成においては、サーバ装置１００を用いることもできる。情報端末装置２００の通信部２５０は、端末情報をサーバ装置１００に送信する。サーバ装置１００の通信部１２０は、端末情報を受信する。サーバ処理部１１１は、端末情報を判定し、環境情報を生成する。通信部１２０は、サーバ処理部１１１によって生成された環境情報を情報端末装置２００に送信する。通信部２５０が、環境情報を受信することによって、情報端末装置２００は、環境情報を取得することができる。なお、取得された環境情報は、情報端末装置２００の記憶部２６０に格納されてもよい。

ステップＳ２３０では、情報端末装置２００が、端末情報に基づくセリフデータ４１２を取得する。情報端末装置２００の通信部２５０は、環境情報をサーバ装置１００に送信する。サーバ装置１００の通信部１２０は、環境情報を受信する。サーバ処理部１１１は環境情報を判定し、環境情報に基づくセリフデータ４１２を記憶部１３０から取得する。通信部１２０は、サーバ処理部１１１によって取得されたセリフデータを情報端末装置２００に送信する。通信部２５０が、セリフデータ４１２を受信することによって、情報端末装置２００は、セリフデータ４１２を取得することができる。なお、取得されたセリフデータ４１２は、情報端末装置２００の記憶部２６０に格納されてもよい。

環境情報の生成をサーバ装置１００で実行する場合、サーバ装置１００は、環境情報の生成に続いてセリフデータ４１２を取得してもよい。すなわち、サーバ装置１００は、情報端末装置２００に環境情報を送信することなく、環境情報に基づくセリフデータ４１２を記憶部１３０から取得し、セリフデータ４１２のみを情報端末装置２００に送信してもよい。

セリフデータ４１２は、少なくとも会話データを含み、セリフの吹き出しデータを含んでいてもよい。セリフデータ４１２の会話データは、被写体４００がユーザに話しかける会話のデータである。例えば、会話データは、環境情報に誕生日の情報が含まれていれば「おめでとう」、環境情報に「朝」の情報が含まれていれば「おはよう」、または端末情報に「特定日」の情報が含まれていれば「どこか遊びにいこうよ」などである。また、セリフデータ４１２は、音声データを含んでいてもよい。

被写体４００のキャラクタが特定されている場合、サーバ処理部１１１は、キャラクタ情報と環境情報とに基づいてセリフデータ４１２を取得してもよい。その場合、キャラクタの話し方に合わせたセリフデータ４１２を取得することができるため、ユーザはキャラクタの世界観を共有することができる。

さらに、セリフデータ４１２の代わりに、環境情報に基づくキャラクタの映像データまたは環境情報に基づく広告データを取得してもよい。これらのデータは、サーバ装置１００の記憶部１３０から取得してもよく、他のサーバ装置から取得してもよい。なお、これらのデータも、第２オブジェクト領域３０２に重畳することができる。

ステップＳ２４０では、第３処理部２１３が、表示部２３０に表示された映像の中に、第２オブジェクト領域３０２を画定する。第３処理部２１３は、被写体４００の顔部近傍であって、可能な限り顔部と重畳しないように第２オブジェクト領域３０２を画定する。顔部は被写体４００の上部に位置することが多いため、第３処理部２１３は、被写体４００の上部と隣接する位置に第２オブジェクト領域３０２を画定してもよい。また、第３処理部２１３は、第２オブジェクト領域３０２に基づく第２オブジェクト領域情報を生成する。

ステップＳ２５０では、第４処理部２１４が、第２オブジェクト領域３０２の大きさに合わせて、取得されたセリフデータ４１２の大きさを調整する。第４処理部２１４は、第２オブジェクト領域３０２の第２オブジェクト領域情報とセリフデータ４１２のセリフ情報とを比較し、第２オブジェクト領域情報に基づいて、セリフデータ４１２の大きさを調整する。なお、セリフデータ４１２が小さすぎると、表示されるセリフが小さくなってしまい、ユーザの没入感が得られない。そのため、セリフデータ４１２の大きさには下限を設けておいてもよい。

ステップＳ２６０では、第５処理部２１５が、第２オブジェクト領域情報に基づいて、調整されたセリフデータ４１２を第２オブジェクト領域３０２に重畳する。セリフデータ４１２に音声データが含まれるときは、セリフデータ４１２を表示するとともに、音声データを再生してもよい。音声があることにより、ユーザーの没入感を高めることができる。

情報処理Ｂは、情報処理Ａと組み合わせて実行することができる。

以上、情報処理Ｂについて説明したが、情報処理Ｂが実行されることによって、情報端末装置２００の表示部２３０の映像には、被写体４００のセリフが表示される。セリフは、端末情報に基づいたものであるため、ユーザは、現実空間の被写体５００のキャラクタがあたかもユーザに語りかけてくるかのように感じることができる。そのため、ユーザは、被写体５００のキャラクタの世界観に没頭することができる。

［５．被写体の背景に基づくセリフを表示する情報処理（情報処理Ｃ）］
図８および図９を参照して、情報端末装置２００の撮像部２２０で現実空間の被写体５００を撮影しながら、被写体４００に、表示部２３０に表示された映像の背景に基づくセリフを表示する情報処理について説明する。

図８は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００にセリフを表示する情報処理を示すフローチャートである。以下、便宜上、図８に示す情報処理を、情報処理Ｃとして説明する。

図８に示す情報処理Ｃは、被写体４００の背景から背景情報を生成するステップ（Ｓ３１０）と、背景情報に基づくセリフデータ４１３を取得するステップ（Ｓ３２０）と、映像の中に第２オブジェクト領域３０２を画定するステップ（Ｓ３３０）と、セリフデータ４１３を調整するステップ（Ｓ３４０）と、第２オブジェクト領域３０２にセリフデータ４１３を重畳するステップと、を含む。以下、図９を参照しながら、各ステップについて説明する。

図９は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００にセリフを表示する前後の撮影を説明する図である。具体的には、図９（Ａ）に示す情報端末装置２００の表示部２３０には、被写体４００にセリフを表示する前の映像が表示され、図９（Ｂ）に示す情報端末装置２００の表示部２３０には、被写体４００にセリフを表示した後の映像が表示されている。図９（Ａ）および図９（Ｂ）に示すように、現実空間には、被写体５００のほかに、物体５１０が置かれている。図９（Ａ）および図９（Ｂ）に示す物体５１０は、主に夏の季節で使用する扇風機である。

ステップＳ３１０では、第１処理部２１１が、表示部２３０に表示された映像の中から被写体４００以外の部分（背景）に含まれる物体４５０を特定する。第１処理部２１１は、物体４５０を所定の分類パターンに基づいて物体を４５０を特定する。また、第１処理部２１１は、特定された物体４５０に基づいて物体情報を生成する。

物体４５０の特定において、サーバ装置１００を用いることもできる。情報端末装置２００の通信部２５０は、撮影された映像データをサーバ装置１００に送信する。サーバ装置１００の通信部１２０は、映像データを受信する。サーバ処理部１１１は、映像データを判定することによって物体４５０を特定し、物体情報を生成する。通信部１２０は、サーバ処理部１１１によって生成された物体情報を情報端末装置２００に送信する。通信部２５０が、物体情報を受信することによって、情報端末装置２００は、物体情報を取得することができる。なお、取得された物体情報は、情報端末装置２００の記憶部２６０に格納されてもよい。

ステップＳ３２０では、情報端末装置２００が、物体情報に基づくセリフデータ４１３を取得する。情報端末装置２００の通信部２５０は、物体情報をサーバ装置１００に送信する。サーバ装置１００の通信部１２０は、物体情報を受信する。サーバ処理部１１１は物体情報を判定し、物体情報に基づくセリフデータ４１３を記憶部１３０から取得する。通信部１２０は、サーバ処理部１１１によって取得されたセリフデータ４１３を情報端末装置２００に送信する。通信部２５０が、セリフデータ４１３を受信することによって、情報端末装置２００は、セリフデータ４１３を取得することができる。なお、取得されたセリフデータ４１３は、情報端末装置２００の記憶部２６０に格納されてもよい。

物体４５０の特定をサーバ装置１００で実行する場合、サーバ装置１００は、物体情報の生成に続いてセリフデータ４１３を取得してもよい。すなわち、サーバ装置１００は、情報端末装置２００に物体情報を送信することなく、物体情報に基づくセリフデータ４１３を記憶部１３０から取得し、セリフデータ４１３のみを情報端末装置２００に送信してもよい。

セリフデータ４１３は、少なくとも会話データを含み、セリフの吹き出しデータを含んでいてもよい。セリフデータ４１３の会話データは、被写体４００がユーザに話しかける会話のデータであるが、物体情報に基づくものである。例えば、会話データは、物体情報に夏の情報が含まれていれば「暑いね」、物体情報に花の情報が含まれていれば「きれいだね」、または物体情報に食べ物の情報が含まれていれば「お腹減った」などである。また、セリフデータ４１３は、音声データを含んでいてもよい。

被写体４００のキャラクタが特定されている場合、サーバ処理部１１１は、キャラクタ情報と物体情報とに基づいてセリフデータ４１３を取得してもよい。その場合、キャラクタの話し方に合わせたセリフデータ４１３を取得することができるため、ユーザはキャラクタの世界観を共有することができる。

ステップＳ３３０、ステップＳ３４０、およびステップＳ３５０は、それぞれ、上述したステップＳ２４０、ステップＳ２５０、およびステップＳ２６０と同様であるため、ここでは説明を省略する。

情報処理Ｃは、情報処理Ａまたは情報処理Ｂと組合わせて実行することができる。

以上、情報処理Ｃについて説明したが、情報処理Ｃが実行されることによって、情報端末装置２００の表示部２３０に、撮影されている環境に応じた被写体４００のセリフを表示することができる。そのため、ユーザは、現実空間の環境に融合された被写体５００のキャラクタの世界観を身近に感じることができるとともに、被写体５００のキャラクタに感情移入することができる。

［６．認証マークに基づき被写体のパーツを変化させる情報処理（情報処理Ｄ）］
図１０および図１１を参照して、情報端末装置２００の撮像部２２０で現実空間の認証マークが付加された被写体５００を撮影しながら、表示部２３０に表示された映像の被写体４００のパーツを変化させる情報処理フローについて説明する。

図１０は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００のパーツを変化させる情報処理を示すフローチャートである。以下、便宜上、図１０に示す情報処理を、情報処理Ｄとして説明する。

図１０に情報処理Ｄは、映像の中の認証マーク４０３に基づいて被写体４００を特定するステップ（Ｓ４０５）と、被写体４００に含まれるパーツ４０１を特定するステップ（Ｓ４１０）と、パーツ４０１に関するパーツデータ４１１を取得するステップ（Ｓ４１５）と、映像の中に第１オブジェクト領域３０１を画定するステップ（Ｓ４２０）と、パーツデータ４１１を調整するステップ（Ｓ４２５）と、第１オブジェクト領域３０１にパーツデータ４１１を重畳するステップ（Ｓ４３０）と、遮蔽データ４１４を取得するステップ（Ｓ４３５）と、映像の中に第３オブジェクト領域３０３を画定するステップ（Ｓ４４０）と、遮蔽データ４１４を調整するステップ（Ｓ４４５）と、第３オブジェクト領域３０３に遮蔽データ４１４を重畳するステップ（Ｓ４５０）と、を含む。以下、図１１を参照しながら、各ステップについて説明する。

図１１は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００のパーツが変化する前後の撮影を説明する図である。具体的には、図１１（Ａ）に示す情報端末装置２００の表示部２３０には、被写体４００のパーツが変化する前の映像が表示され、図１１（Ｂ）に示す情報端末装置２００の表示部２３０には、被写体４００のパーツが変化した後の映像が表示されている。

図１１（Ａ）および図１１（Ｂ）に示す被写体５００は、被写体５００を特定することができる（被写体５００に関する情報を含む）認証マーク５２０が付加されている。そのため、認証マーク５２０（具体的には、映像の中の認証マーク４０３）を読み込むことにより、被写体５００の形態およびキャラクタを特定することができる。図１１（Ａ）および図１１（Ｂ）に示す認証マーク５２０はＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コードであるが、認証マーク５２０は、ＱＲコード（登録商標）に限られない。認証マーク５２０は、例えば、バーコードであってもよく、認証マーク５２０（具体的には、映像の中の認証マーク４０３）を解析することによって被写体５００を特定することができるものであればよい。

ステップＳ４０５では、第１処理部２１１が、表示部２３０に表示された映像の中から認証マーク４０３を検出し、認証マーク４０３から被写体４００を特定する。また、第１処理部２１１は、特定された被写体４００に基づいて被写体情報を生成する。さらに、第１処理部２１１は、認証マーク情報を生成する。

ステップＳ４１０、ステップＳ４１５、ステップＳ４２０、ステップＳ４２５、およびステップＳ４３０は、それぞれ、上述したステップＳ１２０、ステップＳ１３０、ステップＳ１４０、ステップＳ１５０、およびステップＳ１６０と同様であるため、ここでは説明を省略する。

ステップＳ４３５では、情報端末装置２００が、認証マーク４０３を隠すための遮蔽データ４１４を取得する。情報端末装置２００の通信部２５０は、認証マーク情報をサーバ装置１００に送信する。サーバ装置１００の通信部１２０は、認証マーク情報を受信する。サーバ処理部１１１は、認証マーク情報を判定し、判定に基づく遮蔽データ４１４を記憶部１３０から取得する。通信部１２０は、サーバ処理部１１１によって取得された遮蔽データ４１４を情報端末装置２００に送信する。通信部２５０が、遮蔽データ４１４を受信することによって、情報端末装置２００は、遮蔽データ４１４を取得することができる。なお、取得された遮蔽データ４１４は、情報端末装置２００の記憶部２６０に格納されてもよい。

遮蔽データ４１４は、単色の矩形を表示するデータであってもよく、複数色の矩形を表示するデータであってもよい。また、遮蔽データ４１４は、模様が付された矩形を表示するデータであってもよい。さらに、遮蔽データ４１４は、矩形を表示するものに限られない。遮蔽データ４１４は、円形または楕円形などを表示するものであってもよい。また、被写体４００のキャラクタが特定されている場合、遮蔽データ４１４は、キャラクタに固有のトレードマークまたはエンブレムなどの映像であってもよい。

ステップＳ４４０では、第３処理部２１３が、表示部２３０に表示された映像の中に、認証マーク４０３を含む第３オブジェクト領域３０３を画定する。第３処理部２１３は、認証マーク情報に基づき、認証マーク４０３を囲むように映像の座標情報を取得し、第３オブジェクト領域３０３を画定する。また、第３処理部２１３は、第３オブジェクト領域３０３に基づく第３オブジェクト領域情報を生成する。

ステップＳ４４５では、第４処理部２１４が、第３オブジェクト領域３０３の大きさに合わせて、取得された遮蔽データ４１４の大きさを調整する。また、第４処理部２１４は、被写体情報に基づいて遮蔽データ４１４の角度を調整する。さらに、第４処理部２１４は、第３オブジェクト領域情報に含まれる色の情報に基づいて、遮蔽データ４１４の色を調整する。例えば、第４処理部２１４は、遮蔽データ４１４を、認証マーク４０３を除去した第３オブジェクト領域３０３の色に合わせるように調整することができる。

ステップＳ４５０では、第５処理部２１５が、第３オブジェクト領域情報に基づいて、調整された遮蔽データ４１４を第３オブジェクト領域３０３に重畳する。重畳する遮蔽データ４１４は、第３オブジェクト領域情報に含まれる色の情報に基づいて調整されているため、違和感なく、認証マーク４０３を隠すことができる。したがって、被写体４００の認証マーク４０３を隠しても、被写体４００のユーザに与える印象は変わらない。

情報処理Ｄは、情報処理Ａ〜情報処理Ｃと組合わせて実行することができる。

以上、情報処理Ｄについて説明したが、情報処理Ｄが実行されることによって、情報端末装置２００の表示部２３０の映像には、認証マーク４０３が隠される。そのため、ユーザは、認証マーク４０３に邪魔されることなく、被写体５００のキャラクタの世界観に没頭することができる。

［７．複数の被写体によるインタラクションを表示する情報処理（情報処理Ｅ）］
図１２および図１３を参照して、情報端末装置２００の撮像部２２０で現実空間の第１被写体５００−１および第２被写体５００−２を撮影しながら、情報端末装置２００の表示部２３０に表示された映像の中に、第１被写体４００−１と第２被写体４００−２とのインタラクションを表示する情報処理について説明する。

図１２は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中に第１被写体４００−１と第２被写体４００−２とのインタラクションを表示する情報処理を示すフローチャートである。以下、便宜上、図１２に示す情報処理を、情報処理Ｅとして説明する。

図１２に示す情報処理Ｅは、映像の中の第１被写体４００−１を特定するステップ（Ｓ５１０）と、映像の中の第２被写体４００−２を特定するステップ（Ｓ５２０）と、インタラクションデータ４１５を取得するステップ（Ｓ５３０）と、映像の中に第４オブジェクト領域３０４を画定するステップ（Ｓ５４０）と、インタラクションデータ４１５を調整するステップ（Ｓ５５０）と、第４オブジェクト領域３０４にインタラクションデータ４１５を重畳するステップ（Ｓ５６０）と、を含む。以下、図１３を参照しながら、各ステップについて説明する。

図１３は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中に第１被写体４００−１と第２被写体４００−２とのインタラクションを表示する前後の撮影を説明する図である。具体的には、図１３（Ａ）に示す情報端末装置２００の表示部２３０には、第１被写体４００−１と第２被写体４００−２とのインタラクションを表示する前の映像が表示され、図１３（Ａ）に示す情報端末装置２００の表示部２３０には、第１被写体４００−１と第２被写体４００−２とのインタラクションを表示した後の映像が表示されている。

図１３（Ａ）および図１３（Ｂ）に示すように、ユーザは、情報端末装置２００の撮像部２２０を用いて、現実空間の第１被写体５００−１および第２被写体５００−２を撮影する。撮影において、第１被写体５００−１の一部と第２被写体５００−２の一部とは重なっていてもよいが、第１被写体５００−１の特徴を示す部分と第２被写体５００−２の特徴を示す部分とは重ならないことが好ましい。特徴を示す部分としては、例えば、顔部である。

ステップＳ５１０およびステップＳ５２０は、上述したステップＳ１１０と同様であるため、ここでは説明を省略する。

ステップＳ５３０では、情報端末装置２００が、第１被写体情報および第２被写体情報に基づくインタラクションデータ４１５を取得する。情報端末装置２００の通信部２５０は、第１被写体情報および第２被写体情報をサーバ装置１００に送信する。サーバ装置１００の通信部２５０は第１被写体情報および第２被写体情報を受信し、サーバ処理部１１１は第１被写体情報および第２被写体情報を判定する。具体的には、サーバ処理部１１１は、第１被写体情報に係る第１被写体５００−１と第２被写体情報に係る第２被写体５００−２との関連性を判定する。第１被写体５００−１と第２被写体５００−２との関連性としては、例えば、人と人であるか、人と動物であるか、または人とロボットであるか、などである。

また、サーバ処理部１１１は、第１被写体情報および第２被写体情報から、それぞれのキャラクタを特定してもよい。第１被写体情報に係る第１被写体５００−１と第２被写体情報に係る第２被写体５００−２のそれぞれのキャラクタが特定されることにより、サーバ処理部１１１は、キャラクタ同士の関連性を判定することができる。すなわち、サーバ処理部１１１は、同じアニメに登場するキャラクタであるかなど、キャラクタに基づく判定を行うことができる。そのため、サーバ処理部１１１は、キャラクタが味方同士であるか、敵同士であるか、または恋人同士であるか、なども判定することができるようになり、第１被写体５００−１と第２被写体５００−２との関連性をより詳細に判定することができる。

サーバ処理部１１１は、第１被写体５００−１と第２被写体５００−２との関連性の判定に基づくインタラクションデータ４１５を記憶部１３０から取得する。通信部１２０は、サーバ処理部１１１によって取得されたインタラクションデータ４１５を情報端末装置２００に送信する。通信部２５０がインタラクションデータ４１５を受信することによって、情報端末装置２００は、インタラクションデータ４１５を取得することができる。なお、取得されたインタラクションデータ４１５は、情報端末装置２００の記憶部２６０に格納されてもよい。

なお、インタラクションデータ４１５は、情報端末装置２００で生成されてもよい。

ステップＳ５４０では、第３処理部２１３が、表示部２３０に表示された映像の中に、第４オブジェクト領域３０４を画定する。第４オブジェクト領域３０４は、第１被写体４００−１と第２被写体４００−２との間に画定されることが好ましいが、これに限られない。第３処理部２１３は、映像の座標情報を取得し、第４オブジェクト領域３０４を画定する。また、第３処理部２１３は、第４オブジェクト領域に基づく第４オブジェクト領域情報を生成する。

ステップＳ５５０では、第４処理部２１４が、第４オブジェクト領域３０４の大きさに合わせて、取得されたインタラクションデータ４１５の大きさを調整する。また、第４処理部２１４は、第４オブジェクト領域情報に含まれる色の情報に基づいて、インタラクションデータ４１５の色を調整する。

ステップＳ５６０では、第５処理部２１５が、第４オブジェクト領域情報に基づいて、調整されたインタラクションデータ４１５を第４オブジェクト領域３０４に重畳する。

情報処理Ｅは、情報処理Ａ〜情報処理Ｄと組合わせて実行することができる。

以上、情報処理Ｅについて説明したが、情報処理Ｅが実行されることによって、情報端末装置２００の表示部２３０の映像には、第１被写体４００−１と第２被写体４００−２とのインタラクションが表示される。被写体５００の組み合わせによって異なるインタラクションが得られるため、ユーザは、被写体５００の組み合わせによるゲーム性を楽しむことができる。そのため、キャラクタである被写体５００に対してのＡＲの利用率が向上する。

［８．動きの検出によって被写体のパーツを変化させる情報処理（情報処理Ｆ）］
図１４および図１５を参照して、情報端末装置２００の撮像部２２０で現実空間の被写体５００を撮影しながら、ユーザの身体の一部の動きも撮影し、表示部２３０に表示された映像の被写体４００のパーツを、動きに応じて変化させる情報処理フローについて説明する。

図１４は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００のパーツをユーザの身体の一部の動きに応じて変化させる情報処理を示すフローチャートである。以下、便宜上、図１４に示す情報処理を、情報処理Ｆとして説明する。

図１４に示す情報処理Ｆは、映像の中の被写体４００を特定するステップ（Ｓ６１０）と、被写体４００に含まれるパーツ４０１を判定するステップ（Ｓ６２０）と、ユーザーの身体の一部の動きを判定するステップ（Ｓ６３０）と、パーツ４０１に基づくパーツデータ４１６を取得するステップ（Ｓ６４０）と、第１オブジェクト領域３０１を画定するステップ（Ｓ６５０）と、パーツデータ４１６を調整するステップ（Ｓ６６０）と、第１オブジェクト領域３０１にパーツデータ４１６を重畳するステップ（Ｓ６７０）と、を含む。以下、図１５を参照しながら、各ステップについて説明する。

図１５は、本発明の一実施形態に係る情報処理システム１０を利用し、映像の中の被写体４００のパーツがユーザの身体の一部の動きに応じて変化する前後の撮影を説明する図である。具体的には、図１５（Ａ）に示す情報端末装置２００の表示部２３０には、被写体４００のパーツが変化する前の映像が表示され、図１５（Ｂ）に示す情報端末装置２００の表示部２３０には、ユーザの身体の一部の動きに応じて、被写体４００のパーツが変化した後の映像が表示されている。

図１５（Ａ）および図１５（Ｂ）に示すように、ユーザは、ユーザの身体の一部である指５３０を被写体５００に近づけ、被写体５００に対して指５３０を動かす。例えば、図１５（Ａ）および図１５（Ｂ）に示すように、ユーザは、被写体５００を撫でるように指５３０を動かすことができる。他にも、ユーザは、被写体５００を突くように指５３０を動かすこともできる。なお、指５３０の動きは、これらに限定されない。

また、映像の中の指４６０が被写体４００の近傍にあればよく、現実空間の指５３０は、被写体５００に触れていてもよく、被写体５００に触れていなくてもよい。また、指５３０は、被写体５００の近傍になくてもよく、被写体５００から離れていてもよい。例えば、指５３０は、被写体５００と情報端末装置２００との間にあってもよい。

ステップＳ６１０およびステップＳ６２０は、それぞれ、上述したステップＳ１１０およびステップＳ１２０と同様であるため、ここでは説明を省略する。

ステップＳ６３０では、第８処理部２１８が、指４６０の動きを検出し、指４６０の動きを判定する。第８処理部２１８は、被写体４００の近傍で反復する一定の動きをしている指４６０を検出する。また、第８処理部２１８は、反復する一定の動きから、被写体４００に対するユーザの行動を判定する。例えば、指４６０が、被写体４００の近傍を反復して動くとき、第８処理部２１８は、ユーザが被写体４００を撫でていると判定する。また、指４６０が、繰り返し、被写体４００に近づいたり、離れたりして動くとき、第８処理部は、ユーザが被写体４００を突いていると判定する。第８処理部２１８は、判定に基づき、ユーザ行動情報を生成する。

ステップＳ６４０では、情報端末装置２００が、パーツ情報およびユーザ行動情報に基づくパーツデータ４１６を取得する。情報端末装置２００の通信部２５０は、パーツ情報およびユーザ行動情報をサーバ装置１００に送信する。サーバ装置１００の通信部１２０は、パーツ情報およびユーザ行動情報を受信する。サーバ処理部１１１は、パーツ情報およびユーザ行動情報を判定し、判定に基づくパーツデータ４１６を記憶部１３０から取得する。通信部１２０は、サーバ処理部１１１によって取得されたパーツデータ４１６を情報端末装置２００に送信する。通信部２５０が、パーツデータ４１６を受信することによって、情報端末装置２００は、パーツデータ４１１を取得することができる。なお、取得されたパーツデータ４１６は、情報端末装置２００の記憶部２６０に格納されてもよい。

ステップＳ６５０、ステップＳ６６０、およびステップＳ６７０は、それぞれ、上述したステップＳ１４０、Ｓ１５０、およびＳ１６０と同様であるため、ここでは説明を省略する。

情報処理Ｆは、情報処理Ａ〜Ｅと組み合わせて実行することができる。

以上、情報処理Ｆについて説明したが、情報処理Ｆが実行されることによって、情報端末装置２００の表示部２３０には、ユーザの意思に応じて被写体４００の一部が変化した映像が表示される。そのため、ユーザと被写体５００のキャラクタとの一体感が高まり、ユーザの満足度が向上する。

［９．操作部または撮像部の利用］
情報処理システム１０は、情報端末装置２００の操作部２４０または撮像部２２０を利用し、映像の中の被写体４００のパーツを変化させ、または被写体４００のセリフを表示することができる。

図１６は、本発明の一実施形態に係る情報処理システム１０を利用し、情報端末装置２００の操作部２４０または撮像部２２０を利用して、変化させた映像を説明する図である。具体的には、図１６（Ａ）に示す情報端末装置２００の表示部２３０には、被写体のパーツが変化した後の映像が表示され、図１６（Ｂ）に示す情報端末装置２００の表示部２３０には、被写体４００にセリフを表示した映像が表示されている。

図１６（Ａ）では、ユーザが、現実空間の被写体５００を撮影しながら、指５３０が、情報端末装置２００の表示部２３０に直接触れている。表示部２３０には操作部２４０としてタッチパネルが設けられており、操作部２４０は、指５３０の表示部への接触を検出することができる。第８処理部２１８は、操作部２４０を介して、指５３０の動きを検出し、指４６０の動きを判定する。具体的には、第８処理部２１８は、指５３０の動きに規則性があるかどうかを判定する。指５３０の動きに所定の規則性があるとき、第８処理部２１８は、ユーザ行動情報を生成する。

その後の情報処理については上述した説明と同様であるため、ここでは説明を省略するが、情報端末装置２００は、パーツ情報およびユーザ行動情報に基づいてパーツデータ４１７を取得することができる。また、画定された第１オブジェクト領域３０１にパーツデータ４１７が重畳される。図１６（Ａ）では、指５３０が被写体４００を撫でていると判定されたため、被写体４００がくすぐったがる表情のパーツデータ４１７が重畳されている。

図１６（Ｂ）では、ユーザが、第１撮像部２２０−１で現実空間の被写体５００を撮影しながら、第２撮像部２２０−２でユーザの顔を撮影している。第９処理部２１９は、撮像部２２０によって撮影されたユーザの顔の映像からユーザの表情を判定する。具体的には、第９処理部２１９は、ユーザの表情が笑顔かどうかを判定する。また、第９処理部２１９は、判定結果に基づき、ユーザ感情情報を生成する。

なお、第９処理部２１９による判定は、ユーザの表情に限られない。第９処理部２１９は、第２撮像部２２０−２で撮影されたものであればよく、ユーザの身体の動きを判定してもよい。例えば、第９処理部は、予め決められたユーザの身体の動きを判定し、ユーザ感情情報を生成してもよい。

その後の情報処理については上述した説明と同様であるため、詳細な説明は省略するが、情報端末装置２００は、セリフ情報およびユーザ感情情報に基づいてセリフデータ４１８を取得することができる。また、画定された第２オブジェクト領域３０２にセリフデータ４１８が重畳される。図１６（Ｂ）では、ユーザの表情が笑顔でなかったと判定されたため、被写体４００が笑顔でなかった理由を問いかける会話データ「疲れてるの」を含むセリフデータ４１８が重畳されている。

図１６（Ａ）においては、セリフ情報およびユーザ行動情報に基づいてセリフデータが取得されてもよく、図１６（Ｂ）においては、パーツ情報およびユーザ感情情報に基づいてパーツデータが取得されてもよい。

また、情報処理システム１０では、第２撮像部２２０−２で撮影した物体に基づき、セリフデータ４１８またはパーツデータが取得されてもよい。例えば、第２撮像部２２０−２を食べ物を撮影し、撮影した食べ物を判定して、「食べたい」または「おいしそう」などのセリフデータを取得してもよい。

また、図示しないが、情報処理システム１０では、情報端末装置２００の操作部２４０のマイクを利用することもできる。すなわち、情報端末装置２００は、マイクを介してユーザの音声を判定し、被写体４００のパーツデータまたはセリフデータを取得してもよい。情報処理システム１０において、情報端末装置２００のマイクを利用することにより、ユーザは、あたかも被写体４００と対話しているかのように感じることができる。そのため、ユーザは、被写体４００との対話を通じて、被写体４００のキャラクタとより深いコミュニケーションを図ることができる。

なお、顔の表情の判定または音声の判定においては、機械学習またはディープラーニングを用いることができる。

以上、情報端末装置２００の操作部２４０または撮像部２２０を用いても、情報端末装置２００の表示部２３０に、ユーザの意思に応じて被写体４００の一部が変化した映像を表示することができる。そのため、ユーザと被写体５００のキャラクタとの一体感が高まり、ユーザの満足度が向上する。

［１０．被写体のカスタマイズ］
情報処理システム１０は、情報端末装置２００の操作部２４０を利用し、映像の中の被写体４００または背景をカスタマイズすることができる。

図１７（Ａ）および図１７（Ｂ）は、それぞれ、本発明の一実施形態に係る情報処理システム１０を利用し、被写体４００または背景をカスタマイズした映像を説明する図である。

図１７（Ａ）に示す情報端末装置２００の表示部２３０の映像の中の被写体４００は、現実空間の被写体５００との髪の毛４１９の色が異なっている。すなわち、ユーザは、現実空間の被写体５００を撮影しながら、情報処理システム１０を利用し、映像の中の被写体４００をユーザの好みに合わせてカスタマイズすることができる。

図１７（Ｂ）に示す情報端末装置２００の表示部２３０の映像の中の背景には、現実空間に存在しないオブジェクト４２０が配置されている。すなわち、ユーザは、現実空間の被写体５００を撮影しながら、情報処理システム１０を利用し、映像の中の被写体４００の背景をユーザの好みに合わせてカスタマイズすることができる。オブジェクト４２０は、予め用意されたオブジェクトから選択されてもよく、ユーザが生成したオブジェクトであってもよい。さらに、オブジェクト４２０は、情報端末装置２００に保管されている映像データから生成されたオブジェクトであってもよい。

ユーザは、情報端末装置２００の表示部２３０に表示される被写体４００を、ユーザの好みに合わせてカスタマイズすることができる。そのため、ユーザは、被写体５００のキャラクタに感情移入して愛着を感じることができるようになり、ユーザの満足度が向上する。

本発明の実施形態として上述した各実施形態は、相互に矛盾しない限りにおいて、適宜組み合わせて実施することができる。また、各実施形態を基にして、当業者が適宜構成要素の追加、削除、または設計変更を行ったもの、もしくは工程の追加、省略、または条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。

上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。

１０：情報処理システム、 １００：サーバ装置、 １１０：コンピュータ、 １１１：サーバ処理部、 １２０：通信部、 １３０：記憶部、 ２００：情報端末装置、 ２００−１：第１情報端末装置、 ２００−２：第２情報端末装置、 ２００−ｎ：第ｎ情報端末装置、 ２１０：コンピュータ、 ２１１：第１処理部、 ２１２：第２処理部、 ２１３：第３処理部、 ２１４：第４処理部、 ２１５：第５処理部、 ２１６：第６処理部、 ２１７：第７処理部、 ２１８：第８処理部、 ２１９：第９処理部、 ２２０：撮像部、 ２２０−１：第１撮像部、 ２２０−２：第２撮像部、 ２３０：表示部、 ２４０：操作部、 ２５０：通信部、 ２６０：記憶部、 ３００：通信ネットワーク、 ３０１：第１オブジェクト領域、 ３０２：第２オブジェクト領域、 ３０３：第３オブジェクト領域、 ３０４：第４オブジェクト領域、 ４００：被写体、 ４００−１：第１被写体、 ４００−２：第２被写体、 ４０１：パーツ、 ４０３：認証マーク、 ４１１：パーツデータ、 ４１１−１：第１パーツデータ、 ４１１−２：第２パーツデータ、 ４１１−４：第４パーツデータ、 ４１２：セリフデータ、 ４１３：セリフデータ、 ４１４：遮蔽データ、 ４１５：インタラクションデータ、 ４１６：パーツデータ、 ４１７：パーツデータ、 ４１８：セリフデータ、 ４１９：髪の毛、 ４２０：オブジェクト、 ４５０：物体、 ４６０：指、 ５００：被写体、 ５００−１：第１被写体、 ５００−２：第２被写体、 ５１０：物体、 ５２０：認証マーク、 ５３０：指

Claims (18)

1. 表示部にタッチパネルが設けられた情報端末装置のコンピュータで実行される情報処理プログラムであって、前記コンピュータに、
   現実空間を撮影した映像の中の第１被写体の一部であるパーツを特定させ、
   前記現実空間における距離情報に基づくことなく、前記映像の中のユーザの身体の一部の動きを判定させ、
   前記パーツを含む第１オブジェクト領域に、前記パーツおよび前記判定に基づくパーツデータを重畳させる情報処理プログラム。
2. 情報端末装置のコンピュータで実行される情報処理プログラムであって、前記コンピュータに、
   現実空間を撮影した映像の中の第１被写体の一部であるパーツを特定させ、
   前記映像の中のユーザの身体の一部の反復する動きを判定させ、
   前記パーツを含む第１オブジェクト領域に、前記パーツおよび前記判定に基づくパーツデータを重畳させる情報処理プログラム。
3. 第２オブジェクト領域に、前記判定に基づく映像データを重畳させる請求項１または請求項２に記載の情報処理プログラム。
4. 前記コンピュータに、
   前記映像の中の物体を特定させ、
   第２オブジェクト領域に、前記物体に基づく映像データを重畳させる請求項１または請求項２に記載の情報処理プログラム。
5. 第２オブジェクト領域に、前記情報端末装置の端末情報に基づく映像データを重畳させる請求項１または請求項２に記載の情報処理プログラム。
6. 前記パーツデータは、サーバ装置から前記情報端末装置に送信される請求項１乃至請求項５のいずれか一項に記載の情報処理プログラム。
7. 前記パーツデータは、前記パーツから生成される請求項１乃至請求項５のいずれか一項に記載の情報処理プログラム。
8. 前記パーツデータは、前記第１オブジェクト領域に基づく第１オブジェクト情報によって調整される請求項１乃至請求項７のいずれか一項に記載の情報処理プログラム。
9. 前記コンピュータは、ユーザによって選択された前記パーツを特定させる請求項１乃至請求項８のいずれか一項に記載の情報処理プログラム。
10. 前記第１オブジェクト領域は、ユーザによって選択される請求項１乃至請求項８のいずれか一項に記載の情報処理プログラム。
11. 前記第１被写体が有する認証マークを検出し、
    前記認証マークを含む第３オブジェクト領域に、遮蔽データを重畳させる請求項１乃至請求項１０のいずれか一項に記載の情報処理プログラム。
12. 前記第１被写体は、前記認証マークによって特定される請求項１１に記載の情報処理プログラム。
13. 前記第１被写体は、キャラクタである請求項１乃至請求項１２のいずれか一項に記載の情報処理プログラム。
14. 第２被写体を特定させ、
    第４オブジェクト領域に、前記第１被写体と前記第２被写体とのインタラクションを示すインタラクションデータを重畳させる請求項１乃至請求項１３のいずれか一項に記載の情報処理プログラム。
15. 現実空間を撮影する撮像部と、
    前記撮像部によって撮影された映像を表示し、タッチパネルが設けられた表示部と、
    前記映像の中の第１被写体の一部であるパーツを特定する第２処理部と、
    前記パーツを含む第１オブジェクト領域を画定する第３処理部と、
    前記現実空間における距離情報に基づくことなく、前記映像の中のユーザの身体の一部の動きを判定する第８処理部と、
    前記第１オブジェクト領域に、前記パーツおよび前記判定に基づくパーツデータを重畳する第５処理部と、を含む情報処理システム。
16. 現実空間を撮影する撮像部と、
    前記撮像部によって撮影された映像を表示する表示部と、
    前記映像の中の第１被写体の一部であるパーツを特定する第２処理部と、
    前記パーツを含む第１オブジェクト領域を画定する第３処理部と、
    前記映像の中のユーザの身体の一部の反復する動きを判定する第８処理部と、
    前記第１オブジェクト領域に、前記パーツおよび前記判定に基づくパーツデータを重畳する第５処理部と、を含む情報処理システム。
17. 前記映像の中の物体を特定する第１処理部をさらに含み、
    前記第３処理部は、さらに第２オブジェクト領域を画定し、
    前記第５処理部は、さらに前記第２オブジェクト領域に、前記物体に基づく映像データを重畳する、請求項１５または請求項１６に記載の情報処理システム。
18. 前記第１被写体は、キャラクタである請求項１５乃至請求項１７のいずれか一項に記載の情報処理システム。

Images