JP5583741B2 - 携帯端末装置、端末プログラムおよび玩具 - Google Patents

Description

本発明は、携帯端末装置、端末プログラムおよび玩具に関する。

近年、ゲーム、アニメ、あるいはプロスポーツ選手等のキャラクタを模して造形されたフィギュア等の人気が高まっており、このフィギュアを収集することが幅広い年齢層に支持されるようになった。また、例えば、特許文献１，２に開示されているように、このようなフィギュアに記憶媒体を取り付けておき、記憶媒体からフィギュアのキャラクタ情報を読み取り、ゲームを行わせることが可能なゲーム機も知られている。

ところで、従来、人間が知覚する現実環境をコンピュータによって拡張するＡＲ（Augment
Reality）技術が知られている。例えば、特許文献３には、拡張現実画像において、現実世界の様子を表す画像に合成されるオブジェクト画像を適切に変化させる技術が紹介されている。

特許文献３に開示された技術によれば、ＡＲは、３次元位置認識のために用いられるマーカと呼ばれる所定形状の図形を現実世界の中に配置し、撮影機器がそのマーカを含む現実世界を撮影する。したがって、マーカは、撮影された画像内において透視変換された形態で配置される。そして、このマーカに対応付けられたオブジェクトに透視変換技術が適用され、撮影された画像を背景に得られたオブジェクト画像が合成され、拡張現実画像が生成される。このＡＲ技術により動画や静止画によるＣＧ再生が可能になる。

特開２００６−０９５１８０号公報 特開２００２−１５３６７５号公報 特開２０１１−２０４０４７号公報

しかしながら、特許文献１，２に開示された技術によれば、フィギュア等の玩具からキャラクタ情報を読み取った後は、ゲーム中におけるフィギュア等の玩具の利用価値がなくなってしまう。

一方、携帯端末の多機能化が進み、最近では、撮像機能は勿論のこと、インターネット接続を行うネットワーク通信環境を強化したスマートフォンが普及してきた。このスマートフォンとフィギュア等の玩具とを連携させることにより、消費者が購入したフィギュアと関連したアニメーションＣＧやサウンド等、ＡＲを用いて再生できれば有益である。この場合、消費者が購入したフィギュア等の玩具に付加価値を与えることができ、趣向を高めるとともに販売促進効果も得られるはずである。

しかしながら、特許文献３に開示された技術によれば、ＡＲを用いて拡張現実感画像を生成するのに特殊なマーカを必要とし、かつ、その背景となるオブジェクト画像はそのマーカ近傍に描画されなければならないといった実装上の制約がある。

本発明は、簡易に拡張現実画像を生成し、フィギュア等の玩具と関連した拡張現実画像を再生することによって趣向を高めることができる携帯端末装置、端末プログラムおよび玩具を提供することを目的とする。

本発明の携帯端末装置は、少なくとも、撮像部と、表示部、音声出力部とを有する携帯端末装置であって、撮像部によって所定の位置に特定のマークが付与され、かつ、特定のマークの近傍領域に文字または画像が書き込み可能な書込み領域を有するフィギュア設置用台座を撮像して画像認識を行う画像認識部と、画像認識された書込み領域に書き込まれた文字又は画像に関連付け、かつ、画像認識されたフィギュア設置用台座のそれぞれに対応付けて予め用意された、フィギュア設置用台座に設置されるフィギュア本体の演出用の画像または音声を選択し、表示部または音声出力部から演出用の画像または音声を出力する演出制御部と、を備える。
また、本発明の携帯端末装置は、少なくとも、撮像部と、表示部、音声出力部とを有する携帯端末装置であって、前記撮像部によって所定の位置に特定のマークが付与され、かつ、前記特定のマークの近傍領域に文字または画像が書き込み可能な書込み領域を有するフィギュア設置用台座を撮像して画像認識を行う画像認識部と、前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像を記憶する記憶部と、を備え、前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像が前記記憶部に記憶されている文字又は画像と一致しなければ、前記記憶部に前記画像認識された前記書き込み領域に書き込まれている文字又は画像を記憶するための制御を行い、一致すれば、前記画像認識された前記書込み領域に書き込まれた文字又は画像に関連付け、かつ、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて予め用意された、前記フィギュア設置用台座に設置されるフィギュア本体の演出用の画像または音声を選択し、前記表示部または前記音声出力部から前記演出用の画像または音声を出力する演出制御部と、を備える。

本発明の携帯端末装置において、演出制御部は、画像認識部により画像認識される、特定のマークが示す前記フィギュア本体の種類と、撮像部と前記特定のマークとの間の相対的な位置情報とに基づき、選択されるフィギュア本体の演出用の画像を位置情報によって決まる所定のサイズで前記表示部に表示することが好ましい。

本発明の携帯端末装置において、演出制御部は、表示部に表示されたフィギュア本体の任意の部位のタッチを検出すると、フィギュア本体の表情を変化させて表示部に表示することが好ましい。

本発明の携帯端末装置において、演出制御部は、画像認識部が２以上のフィギュア設置用台座に付与されたそれぞれの特定のマークを認識すると、表示部に動的に割当てられる特定の領域に、フィギュア設置用台座の２以上の組み合わせに応じて予め用意された会話パターンを表示することが好ましい。

本発明の端末プログラムは、所定の位置に特定のマークが付与され、かつ、特定のマークの近傍領域に文字または画像を書き込み可能な書込み領域を有するフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、撮像部により玩具を撮影して拡張現実画像を生成して表示部に表示する携帯端末装置と、を有する拡張現実感システムにおいて、携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、コンピュータに、撮像部により玩具を撮影して得た画像を取得する処理と、取得したフィギュア設置用台座の画像を画像認識する処理と、画像認識されたフィギュア設置用台座のそれぞれに対応付けて用意された、フィギュア設置用台座に設置されるフィギュア本体の演出用の画像を、取得した画像に重ね合わせて表示部に表示する処理と、画像認識された書込み領域に書き込まれた文字または画像を記憶する処理と、を実行させる。
また、本発明の端末プログラムは、所定の位置に特定のマークが付与され、かつ、前記特定のマークの近傍領域に文字または画像を書き込み可能な書込み領域を有するフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置と、を有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部により前記玩具を撮影して得た画像を取得する処理と、前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像を前記記憶部に記憶する画像認識記憶処理と、次に前記撮像部により前記玩具を撮影した際に、前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像が前記画像認識記憶処理によって前記記憶部に記憶されている文字又は画像と一致しなければ、前記記憶部に前記画像認識された前記書き込み領域に書き込まれている文字又は画像を記憶する処理と、次に前記撮像部により前記玩具を撮影した際に、前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像が前記記憶部に記憶されている文字又は画像と一致すれば、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された、前記フィギュア設置用台座に設置されるフィギュア本体の演出用の画像を、前記取得した画像に重ね合わせて前記表示部に表示する処理と、を実行させる。
また、本発明の端末プログラムは、所定の位置に特定のマークが付与され、かつ、前記特定のマークの近傍領域に文字または画像を書き込み可能な書込み領域を有するフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置と、を有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部により前記玩具を撮影して得た画像を取得する処理と、前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像を前記記憶部に記憶する画像認識記憶処理と、次に前記撮像部により前記玩具を撮影した際に、前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像が前記画像認識記憶処理によって前記記憶部に記憶されている文字又は画像と一致しなければ、前記記憶部に前記画像認識された前記書き込み領域に書き込まれている文字又は画像を記憶する処理と、次に前記撮像部により前記玩具を撮影した際に、前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像が前記記憶部に記憶されている文字又は画像と一致すれば、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された、前記フィギュア設置用台座に設置されるフィギュア本体の演出用の画像を選択し、前記取得した画像に重ね合わせて前記表示部に表示する処理と、を実行させる。

本発明の端末プログラムにおいて、記憶された書込み領域の画像と、撮像部により撮影して得られた書込み領域の画像と、を比較する処理を実行させることが好ましい。

本発明の端末プログラムにおいて、フィギュア設置用台座の画像を画像認識することにより得られる特定のマークが示すフィギュア本体の種類と、撮像部と特定のマークとの間の相対的な位置情報とに基づき、選択されるフィギュア本体の演出用の画像を位置情報によって決まる所定のサイズで表示部に表示する処理を実行させることが好ましい。

本発明の玩具は、所定の位置に特定のマークが付与され、かつ、特定のマークの近傍領域に文字または画像を書き込み可能な書込み領域が付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具であって、フィギュア設置用台座を撮像して画像認識し、画像認識された書込み領域に書き込まれた文字又は画像に関連付け、かつ、画像認識された前記フィギュア設置用台座のそれぞれに対応付けて予め用意された、フィギュア設置用台座に設置されるフィギュア本体の演出用の画像または音声を選択して出力する携帯端末装置からなる拡張現実感システムに使用される。
また、本発明の玩具は、所定の位置に特定のマークが付与され、かつ、前記特定のマークの近傍領域に文字または画像を書き込み可能な書込み領域が付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具であって、前記フィギュア設置用台座を撮像して画像認識し、前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像を記憶する記憶部を備え、前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像が前記記憶部に記憶されている文字又は画像と一致しなければ、前記記憶部に前記画像認識された前記書き込み領域に書き込まれている文字又は画像を記憶するための制御を行い、一致すれば、前記画像認識された前記書込み領域に書き込まれた前記文字又は画像に関連付け、かつ、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて予め用意された、前記フィギュア設置用台座に設置されるフィギュア本体の演出用の画像または音声を選択して出力する携帯端末装置からなる拡張現実感システムに使用される。
また、本発明の玩具は、所定の位置に特定のマークが付与され、かつ、前記特定のマークの近傍領域に文字または画像を書き込み可能な書込み領域が付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具であって、前記フィギュア設置用台座を撮像して画像認識を行う画像認識部と、前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像を記憶する記憶部を備え、前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像が前記記憶部に記憶されている文字又は画像と一致しなければ、前記記憶部に前記画像認識された前記書き込み領域に書き込まれている文字又は画像を記憶するための制御を行い、一致すれば、前記画像認識された前記書込み領域に書き込まれた前記文字又は画像に関連付け、かつ、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて予め用意された、前記フィギュア設置用台座に設置されるフィギュア本体の演出用の画像または音声を選択して出力する携帯端末装置からなる拡張現実感システムに使用される。

本発明において、フィギュア設置用台座は、上面に複数の突起部を有し、フィギュア本体は、該突起部と対応する位置に開口部を有することが好ましい。

本発明によれば、簡易に拡張現実画像を生成し、フィギュア等の玩具と関連した拡張現実画像を再生することによって趣向を高めることができる。

本発明の実施の形態に係る携帯端末装置と玩具からなる拡張現実感システムを示す図である。 本発明の実施の形態に係る携帯端末装置の内部構成を示すブロック図である。 本発明の実施の形態に係る携帯端末装置の動作を示すフローチャートである。 本発明の実施の形態に係る携帯端末装置により生成される画面構成の一例（画面Ａ）を示す図である。 本発明の実施の形態に係る携帯端末装置により生成される画面構成の一例（画面Ｂ）を示す図である。 本発明の実施の形態に係る携帯端末装置により生成される画面構成の一例（画面Ｃ）を示す図である。 本発明の実施の形態に係る携帯端末装置により生成される画面構成の一例（画面Ｄ）を示す図である。

（実施形態の構成）
以下、添付図面を参照して本発明を実施するための実施の形態（以下、単に本実施形態という）について詳細に説明する。

図１に、本実施形態に係る玩具１０と携帯端末装置２０、とからなる拡張現実感システム１が示されている。図１（ａ）に示されるように、拡張現実感システム１は、所定の位置に特定のマーク１１０ａが付与されたフィギュア設置用台座（以下、断りがない場合、単に、台座１１という）と、フィギュア本体１２とを含む玩具１０と、この玩具１０を、撮影釦２０ａの押下により撮影して得た画像を取得して台座１１の画像を画像認識し、画像認識された文字又は画像に関連付け、かつ、画像認識された台座１１のそれぞれに対応付けて予め用意されたフィギュア本体１２の演出用の画像（拡張現実画像）を選択して表示する携帯端末装置２０と、を含み構成される。

ここでは、玩具１０として、プラスチック製の動物（例えば、犬）を模したフィギュアが例示されている。玩具１０は、更に、フィギュア本体１２に対応した特定のマーク１１０ａが所定の位置に付与された台座１１も含む。ここで、特定のマーク１１０ａとは、例えば、図１（ｂ）に示すように、台座１１を構成する前板１１ｂ（あるいは後板）に印刷あるいは貼付された画像（例えば、犬の漫画を囲む○枠内の線のパターン）である。この特定のマーク１１０ａの近傍には、更に、空白の書込み領域１１０ｂが割り当てられている。使用者は、この書込み領域１１０ｂに自身の名前を手書きすることにより、後述するようにフィギュア本体１２を自身のペットとして扱うことが可能になる。

また、例えば、図１（ｃ）に示すように、台座１１を構成する天板１１ａの四隅には、フィギュア本体１２を携帯端末装置２０に表示するために必要な位置決め用パターン１２１が印刷または貼付されている。なお、台座１１の天板１１ａに設けられた４本の突起１２０は、フィギュア本体１２の所定の部位（本実施の形態では、犬の４本の足裏）の開口部と嵌合し、台座とフィギュア本体との位置合わせ用に使用される。この突起１２０は、フィギュア本体１２を携帯端末装置２０に表示する際の正確な位置決め用にも使用される。

携帯端末装置２０は、台座１１を構成する前板１１ｂに印刷あるいは貼付された特定のマーク１１０ａ、及び書込み領域１１０ｂに書き込まれた文字または画像を撮像して得た画像を認識することにより、台座１１のそれぞれに対応して用意される画像（拡張現実画像）および音声を生成し、ここで生成された画像を、台座１１を構成する天板１１ａに印刷あるいは貼付された位置決め用パターン１２１を撮影して得た画像を認識して得られる位置に表示する。なお、ここで生成される拡張現実画像は、あらかじめ携帯端末装置２０内部（後述する記憶部２６）に登録され、あるいは必要に応じてインターネット経由で玩具１０の販売元のサイトからダウンロードにより取得するものとする。

図２に本実施形態に係る携帯端末装置２０の内部構成が示されている。図２に示されるように、携帯端末装置２０は、例えば、スマートフォンであり、撮像部２１と、表示部２２と、操作部２３と、音声出力部２４と、通信部２５と、記憶部２６と、制御部２７と、を含む。

撮像部２１は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子と、その制御回路等により構成されるカメラである。表示部２２は、多数の画素（複数色の発光素子の組み合わせ）を縦横に配して構成される、例えばＬＣＤ（Liquid Crystal Display Device）や有機ＥＬ（Electro-Luminescence）を用いて構成されており、制御部２７により生成され、記憶部２６の所定の領域（ＶＲＡＭ領域）に書き込まれた拡張現実感画像を含む表示情報を表示する。

操作部２３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー（左右上下）、決定キー、発信キー、撮像キー等、各種の機能が割り当てられたキースイッチを有しており、これらのキーが操作者によって操作された場合に、その操作内容に対応する信号を発生し、これを操作者の指示として制御部２７に出力する。なお、この操作部２３は、位置情報を入力するタッチパネルで実現してもよい。この場合、タッチバネル上に上記したキースイッチ類や拡張現実画像が表示される。

音声出力部２４は、制御部２７により生成される音声（サウンド）を出力するスピーカである。通信部２５は、無線通信システムを捕捉し、通信ネットワークに接続される不図示の基地局との間で無線通信を行い、各種データの送受信を行う。ここで、各種データとは、音声通話時の音声データ、メール送受信時のメールデータ、Ｗｅｂ（World Wide Web）閲覧時のＷｅｂページデータ等である。本発明と関係するところでは、制御部２７は、通信部２５を介し、台座１１に対応した拡張現実画像生成のために必要なデータを販売元のサイト（サーバ）からダウンロードにより取得する。このとき、通信部２５は、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）に準拠したプロトコルにしたがい不図示のサーバとの接続を行う。

記憶部２６には、端末プログラム２６０が格納されるプログラム領域の他に、作業領域とＶＲＡＭ（Video RAM）領域とが割当てられている。プログラム領域に格納される端末プログラム２６０は、台座１１を撮像して得た画像を取得して画像認識し、画像認識された文字又は画像に関連付け、かつ、画像認識された台座１１のそれぞれに対応付けて用意された、フィギュア本体１２の演出用の画像を選択して表示する仮想現実感画像表示のための専用のアプリケーションプログラム（以下、単に専用アプリという）である。なお、この専用アプリは、玩具１０の販売元サイトから玩具１０を購入した使用者に対しインターネット経由で供与されるものとする。

作業領域には、制御部２７により生成される上記した拡張現実感画像、あるいはインターネット経由で取得される拡張現実感画像、撮像部２１により撮像された画像、フィギュア本体１２に関連したテンプレート画像等が格納され、ＶＲＡＭ領域には、この拡張現実画像を含む表示情報が描画される。なお、記憶部２６として、例えば、半導体記憶素子、磁気、あるいは光記憶素子が実装される。

制御部２７は、撮像部２１が、所定の位置に特定のマーク１１０ａ（以下、マーク画像という）が付与され、かつ、マーク画像１１０ａの近傍領域（書込み領域）に文字または画像が書き込まれた台座１１を撮像して得た画像を取得して画像認識を行ない、当該画像認識された文字又は画像に関連付け、かつ、画像認識された台座１１のそれぞれに対応付けて用意された、台座１１に設置されるフィギュア本体１２の演出用の画像（仮想現実感画像）を選択し、表示部２２に表示する機能を有する。

制御部２７が有する上記の機能は、記憶部２６に記憶された端末プログラム２６０を逐次読み出し実行する、例えば、マイクロプロセッサによって実現される。このため、制御部２７が実行する端末プログラム２６０の構造を機能的に分解して図示すれば、図２に示すように、画像取得部２７１と、画像認識部２７２と、演出制御部２７３と、表示制御部２７４と、音声合成部２７５と、を含む。

画像取得部２７１は、撮像部２１が、所定の位置にマーク画像１１０ａが付与された台座１１とフィギュア本体１２とを含む玩具１０を撮影して得た画像を取得して画像認識部２７２に出力する。画像認識部２７２は、画像取得部２７１が取得した台座１１の画像を画像認識して演出制御部２７３に出力する。

演出制御部２７３は、画像認識部２７２で画像認識された文字又は画像に関連付け、かつ、画像認識された台座１１のそれぞれに対応付けて用意された、台座１１に設置されるフィギュア本体１２の演出用の画像（仮想現実感画像）を選択し、表示部２２に表示する。このため、演出制御部２７３にはフラグ設定用のメモリが内蔵される。フラグについての詳細は後述する。

また、演出制御部２７３は、画像認識される、マーク画像１１０ａが示すフィギュア本体１２の種類と、撮像部２１と天板１１ａの位置決め用パターン１２１との間の相対的な位置情報とに基づき、選択されるフィギュア本体１２の演出用の画像をその位置情報によって決まる所定のサイズで表示部２２に表示する。また、演出制御部２７３は、表示部２２に表示されたフィギュア本体１２の任意の部位のタッチを検出すると、フィギュア本体１２の表情を変化させて表示部２２に表示する。また、演出制御部２７３は、２以上の台座１１に付与されたそれぞれのマーク画像１１０ａを認識すると、表示部２２の画面に吹き出しで動的に割当てられる領域に、台座１１の２以上の組み合わせに応じて予め用意された会話パターンを表示する。

なお、演出制御部２７３は、画像認識部２７２で画像認識された台座１１のそれぞれに対応付けられて用意された演出用の音声を生成し、音声合成部２７５を介して音声を合成して音声出力部２４に出力してもよい。また、画像認識したマーク画像１１０ａの数が複数であれば、その組み合わせによって決まる画像、もしくは音声、またはその両方のパターンを変化させるように制御してもよい。

表示制御部２７４は、演出制御部２７３により生成される拡張現実画像を含む表示情報を記憶部２６のＶＲＡＭ領域に描画し、描画した表示情報を表示部２２の表示タイミングに同期して読み出して表示部２２に表示する。音声合成部２７５は、演出制御部２７３により生成される音声を復号し、音声出力部２４を介して外界へ出力する。

（実施形態の動作）
以下、本実施形態の携帯端末装置２０の動作について、図３のフローチャートに基づき、図４〜図７の画面構成図を参照しながら詳細に説明する。

まず、携帯端末装置２０の電源を立ち上げ、表示部２２に表示される特定のアプリケーションアイコンをタッチすることにより、仮想現実感画像を表示する専用のアプリ（端末プログラム２６０）を起動する（ステップＳ１０１）。専用アプリが立ち上がると、使用者は、購入した玩具１０を被写体とし、操作部２３に割当てられた撮影釦２０ａを押下することにより撮影する。このとき、台座１１の天板１１ａに印刷または貼付された位置決め用パターン１２１、および前板１１ｂに印刷または貼付されたマーク画像１１０ａと書込み領域１１０ｂに書き込まれた文字あるいは画像とがその被写体に含まれるように配慮する。

制御部２７は、操作部２３による撮像釦２０ａの押下（ＯＮ）を検出することにより（ステップＳ１０２“ＹＥＳ”）画像取得部２５１を起動する。画像取得部２７１は、撮像により取得した台座１１のマーク画像１１０ａと書込み領域１１０ｂに書き込まれた文字や画像を取り込み、画像認識部２７２へ出力する（ステップＳ１０３）。画像認識部２７２は、マーク画像１１０ａおよび書込み領域１１０ｂに書き込まれた文字や画像を認識し、マーク画像１１０ａが認識された場合（ステップＳ１０４“マーク”）、その結果を演出制御部２７３へ出力する（ステップＳ１０５）。また、書込み領域１１０ｂに書き込まれた文字や画像が使用者個人等の特定の個体を表す情報（ここでは、使用者名「マリエ」）であれば（ステップＳ１０４“書込み”）、演出制御部２７３は、その個体毎にフラグを割り当て、該当のフラグをＯＮ設定して、ステップＳ１０２の「撮像釦」の押下判定処理に戻る（ステップＳ１０６）。すなわち、フラグがＯＮしていると、今回撮像され取り込まれた被写体は、過去に「マリエ」によって撮像された玩具１０であることを示す。

本実施の形態では、書込み領域に手書きで文字や画像を書き込んだ際、記憶部にその画像を記憶しておき、次に被写体を撮影した際に、該書込み領域の文字や画像が記憶部に記憶されている書込み領域の画像と一致するかどうかを判断している。つまり、書込み領域に書き込まれている文字や画像が記憶部に記憶されている文字や画像と一致すれば、今回撮影された被写体は、過去に撮影された玩具体と同一であると判断し、一致しなければ過去に撮影された玩具ではないと判断し、玩具の個体認識を行っている。ここで、認識した書込み領域の画像が記憶された画像と一致していない場合（過去に撮影された玩具体でない場合）、自動的に記憶部に書込み領域の文字や画像を記憶しておく設定としてもよいし、書込み領域に書き込まれた文字や画像を記憶することを手動で選択する設定としてもよい。

次に、演出制御部２７３は、画像認識部２７２により画像認識されたマーク画像１１０ａが単数か否かを判定する（ステップＳ１０７）。続いて、特定の個体を示す情報毎に設定されるフラグがＯＦＦになっているか否かを判定する（ステップＳ１０８）。ここで、画像認識したマーク画像１１０ａが単数であり（ステップＳ１０７“ＹＥＳ”）、かつ、フラグがＯＦＦになっていれば（ステップＳ１０８“Ｙｅｓ”）、演出制御部２７３は、画像認識された台座１１に対応付けて用意された、例えば、図４に示す演出画像Ａを選択して表示制御部２７４へ出力する。表示制御部２７４は、画像認識部２７２により画像認識される、マーク画像１１０ａが示すフィギュア本体１２の種類と、撮像部２１と位置決め用パターン１２１との間の相対的な位置情報とに基づき、演出制御部２７３によって選択されるフィギュア本体１２の演出画像Ａを、その位置情報によって決まる所定のサイズで表示部２２に表示する。

また、演出制御部２７３は、必要に応じて関連する音声情報を生成して音声合成部２７５へ出力し、音声合成部２７５は、演出制御部２７３により生成された音声情報を音声出力部２４により音声出力する（ステップＳ１０９）。

一方、画像認識したマーク画像１１０ａが単数であり（ステップＳ１０７“Ｙｅｓ”）、かつ、フラグがＯＮになっていれば（ステップＳ１０８“Ｎｏ”）、演出制御部２７３は、台座１１の書込み領域１１０ｂに書き込まれた文字または画像に関連付け、かつ、マーク画像１１０ａのそれぞれに対応付けて用意された、例えば、図６に示す演出画像Ｂを選択し、必要に応じて関連する音声情報を生成し、表示制御部２７４、音声合成部２７５のそれぞれに出力する。そして、表示制御部２７４は、演出制御部２７３により選択され、生成された演出画像Ｂを表示部２２へ表示し、音声合成部２７５は、演出制御部２７３により生成された音声情報を音声出力部２４により音声出力する（ステップＳ１１０）。

すなわち、フラグがＯＮ設定されていることで、書込み領域１１０ｂに書き込まれた文字あるいは画像が再び使用者（マリエ）を示していることが確認されると、その特定の個体用に特化された画像を表示することができる。具体的に、玩具１０（フィギュア本体１２）が犬の場合は、図６に示す演出画像Ｂのように、吹き出しに、「わし、実はマリエちゃんが好きなんや・・・あいたいよー」のように、フィギュア本体１２が使用者自身の名前を発するように、使用者自身のペットのような演出が可能である。

なお、画像認識したマーク画像１１０ａが単数でなければ（ステップＳ１０７“Ｎｏ”）、すなわち、画像認識部２７２が２以上のマーク画像１１０ａを認識すると、演出制御部２７３は、表示部２２に動的に割当てられる特定の領域に、台座１１の２以上の組み合わせに応じて予め用意された会話パターンを含む、例えば、図７に示す演出画像Ｃを生成して表示制御部２７４に出力する。そして、表示制御部２７４は、演出制御部２７３により生成された演出画像Ｃを表示部２２へ表示し、音声合成部２７５は、必要に応じて演出制御部２７３により生成される音声情報を音声出力部２４により音声出力する（ステップＳ１１１）。

次に、演出制御部２７３は、表示部２２に表示されたフィギュア本体１２のオブジェクトの使用者による任意部位のタッチを検出すると（ステップＳ１１２“Ｙｅｓ”）、例えば、図７に示す演出画像Ｄを表示部２２に表示すべく表示制御部２７４を制御する。これを受けて表示制御部２７４は、フィギュア本体１２の表情を変化させ、例えば、図７に示す演出画像Ｄのように、表情豊かにしゃべり出す画像を表示部２２に表示する（ステップＳ１１３）。最後に、演出制御部２７３は、使用者が操作部２３を操作することよる専用アプリの終了操作を検出することにより（ステップＳ１１４“Ｙｅｓ”）、上記した一連の仮想現実感画像再生処理を終了する。

以上説明のように本実施形態に係る携帯端末装置２０によれば、制御部２７は、画像認識された台座１１の書込み領域１１０ｂに書き込まれ文字又は画像に関連付け、かつ、画像認識された台座１１のマーク画像１１０ａのそれぞれに対応付けて用意された、フィギュア本体１２の演出用の画像（拡張現実感画像）を選択して表示部２２に表示する。したがって、透視変換といった高度な技術を用いることなく拡張現実画像を容易に生成でき、また、消費者が購入したフィギュア等の玩具１０と関連した拡張現実画像を再生することで趣向を高めることができる。

具体的に、例えば、フィギュア本体１２として動物（犬）を想定した場合、表示部２２の画面上で、フィギュア本体１２自身がまるで生きているように、かつ、表情豊かにしゃべりだすため、趣向を高めることができる。また、台座１１の書込み領域１１０ｂに使用者自身の名前を書き込むことで、例えば、表示画面に、フィギュア本体１２を模した演出用画像と、フィギュア本体１２が使用者自身の名前を発するように表現された吹き出し画像とを合成し、使用者用に特化して表示することができ、この場合、フィギュア本体１２を使用者自身のペットとして演出することが可能であり一層演出効果が増す。このようにすることで、フィギュア等の玩具１０の販売促進効果を得ることができる。

また、制御部２７は、画像認識される、玩具１０の台座１１に印刷されまたは貼付されたマーク画像１１０ａによって示されるフィギュア本体１２の種類と、撮像部２１と位置決め用パターン１２１との間の相対的な位置情報とに基づき、選択されるフィギュア本体１２の演出用の画像を相対的な位置情報によって決まる所定のサイズで表示部２２に表示する。また、台座１１の天板１１ａに設けられる位置合わせ用の突起１２０にフィギュア本体１２の所定の部位を嵌合した玩具１０を被写体とし、撮像時に携帯端末装置２０の有効画面内に玩具１０を適当に納めることで、画像認識のための位置決めが適正になされ、正確な画像認識処理を実現することができる。

更に、制御部２７は、表示部２２に表示されたフィギュア本体１２の任意の部位のタッチを検出すると、フィギュア本体１２の表情を変化させて表示部２２に表示する。したがって、例えば、フィギュア本体１２として動物（犬）を想定した場合、フィギュア本体１２がまるで生きているように、かつ、表情豊かにしゃべりだし、一層、趣向を高めることができる。また、２以上の台座１１に付与されたそれぞれのマーク画像１１０ａを認識すると、台座１１の２以上の組み合わせに応じて予め用意された会話パターンを表示することができる。したがって、フィギュア本体１２の種類に、キャラクタ、名前、メッセージ、それぞれの関係性といった世界感が広がり、消費者に対して玩具１０複数買いの動機付けにもなり一層の販売促進効果を得ることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１…拡張現実感システム、１０…玩具、１１…フィギュア設置用台座（台座）、１１ａ…天板、１１ｂ…前板、１２…フィギュア本体、２０…携帯端末装置、２０ａ…撮影釦、２１…撮像部、２２…表示部、２３…操作部、２４…音声出力部、２５…通信部、２６…記憶部、２７…制御部、２７１…画像取得部、１１０ａ…特定のマーク（マーク画像），１１０ｂ…書込み領域、１２１…位置決め用パターン、２６０…端末プログラム、２７２…画像認識部、２７３…演出制御部、２７４…表示制御部、２７５…音声合成部。

Claims (9)

1. 少なくとも、撮像部と、表示部、音声出力部とを有する携帯端末装置であって、
   前記撮像部によって所定の位置に特定のマークが付与され、かつ、前記特定のマークの近傍領域に文字または画像が書き込み可能な書込み領域を有するフィギュア設置用台座を撮像して画像認識を行う画像認識部と、
   前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像を記憶する記憶部と、を備え、
   前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像が前記記憶部に記憶されている文字又は画像と一致しなければ、前記記憶部に前記画像認識された前記書き込み領域に書き込まれている文字又は画像を記憶するための制御を行い、一致すれば、前記画像認識された前記書込み領域に書き込まれた文字又は画像に関連付け、かつ、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて予め用意された、前記フィギュア設置用台座に設置されるフィギュア本体の演出用の画像または音声を選択し、前記表示部または前記音声出力部から前記演出用の画像または音声を出力する演出制御部と、
   を備える携帯端末装置。
2. 請求項１において、
   前記演出制御部は、
   前記画像認識部により画像認識される、前記特定のマークが示す前記フィギュア本体の種類と、前記撮像部と前記特定のマークとの間の相対的な位置情報とに基づき、前記選択される前記フィギュア本体の演出用の画像を前記位置情報によって決まる所定のサイズで前記表示部に表示する携帯端末装置。
3. 請求項１または請求項２において、
   前記演出制御部は、
   前記表示部に表示された前記フィギュア本体の任意の部位のタッチを検出すると、前記フィギュア本体の表情を変化させて前記表示部に表示する携帯端末装置。
4. 請求項１または請求項２において、
   前記演出制御部は、
   前記画像認識部が２以上の前記フィギュア設置用台座に付与されたそれぞれの前記特定のマークを認識すると、前記表示部に動的に割当てられる特定の領域に、前記フィギュア設置用台座の２以上の組み合わせに応じて予め用意された会話パターンを表示する携帯端末装置。
5. 所定の位置に特定のマークが付与され、かつ、前記特定のマークの近傍領域に文字または画像を書き込み可能な書込み領域を有するフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置と、を有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、
   前記コンピュータに、
   前記撮像部により前記玩具を撮影して得た画像を取得する処理と、
   前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、
   前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像を前記記憶部に記憶する画像認識記憶処理と、
   次に前記撮像部により前記玩具を撮影した際に、前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像が前記画像認識記憶処理によって前記記憶部に記憶されている文字又は画像と一致しなければ、前記記憶部に前記画像認識された前記書き込み領域に書き込まれている文字又は画像を記憶する処理と、
   次に前記撮像部により前記玩具を撮影した際に、前記画像認識する処理で画像認識された前記書込み領域に書き込まれている文字又は画像が前記記憶部に記憶されている文字又は画像と一致すれば、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された、前記フィギュア設置用台座に設置されるフィギュア本体の演出用の画像を選択し、前記取得した画像に重ね合わせて前記表示部に表示する処理と、
   を実行させる端末プログラム。
6. 請求項５において、
   前記記憶された前記書込み領域の画像と、前記撮像部により撮影して得られた前記書込み領域の画像と、を比較する処理を実行させる端末プログラム。
7. 請求項５または請求項６において、
   前記フィギュア設置用台座の画像を画像認識することにより得られる前記特定のマークが示す前記フィギュア本体の種類と、前記撮像部と前記特定のマークとの間の相対的な位置情報とに基づき、前記選択される前記フィギュア本体の演出用の画像を前記位置情報によって決まる所定のサイズで前記表示部に表示する処理を実行させる端末プログラム。
8. 所定の位置に特定のマークが付与され、かつ、前記特定のマークの近傍領域に文字または画像を書き込み可能な書込み領域が付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具であって、
   前記フィギュア設置用台座を撮像して画像認識を行う画像認識部と、
   前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像を記憶する記憶部を備え、
   前記画像認識部で画像認識された前記書込み領域に書き込まれている文字又は画像が前記記憶部に記憶されている文字又は画像と一致しなければ、前記記憶部に前記画像認識された前記書き込み領域に書き込まれている文字又は画像を記憶するための制御を行い、一致すれば、前記画像認識された前記書込み領域に書き込まれた前記文字又は画像に関連付け、かつ、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて予め用意された、前記フィギュア設置用台座に設置されるフィギュア本体の演出用の画像または音声を選択して出力する携帯端末装置からなる拡張現実感システムに使用される前記玩具。
9. 請求項８において、
   前記フィギュア設置用台座は、上面に複数の突起部を有し、
   前記フィギュア本体は、前記突起部と対応する位置に開口部を有する玩具。

Images