JPWO2012144389A1 - 個人識別キャラクター表示システム、端末装置、個人識別キャラクター表示方法、及びコンピュータプログラム - Google Patents

Abstract

端末装置は、ＡＲ制御部にキャラクター定義として、自己端末ユーザのキャラクター画像、及びＡＲデータベースサーバ（または他端末装置）から取得した他端末ユーザのキャラクター画像を保持する。また、他端末装置の位置と、カメラ部が向いている方向を取得することができる。撮影者の端末装置は、取得した前記方向に、探している他端末装置のユーザが居るか否かを、他端末装置の特定ユーザの顔画像を画像認識手段を用いて識別することで判定し、他端末装置の特定ユーザが居る場合には、その他端末装置の特定ユーザのキャラクター画像を、カメラ部が得た画像の顔画像領域の近傍に、合成して表示する。

Description

本発明は個人識別キャラクター表示システム、端末装置、個人識別キャラクター表示方法、及びコンピュータプログラムに係り、特に、撮影して得られた撮像データから特定の個人を識別すると共に、特定の個人を撮影した撮像の近傍に、撮影された個人を視認できる個人識別キャラクターを併せて表示することができる個人識別キャラクター表示システム、端末装置、個人識別キャラクター表示方法、及びコンピュータプログラムに関する。

近年、撮影者がカメラ等で撮影した現実世界の撮像に、コンピュータグラフィック（ＣＧ）を使って、ＣＧ描画した画像を合成して表示装置に表示する技術が開発されている。特に、撮影した現実世界の個人の撮像データに、予め登録（設定）され、かつ指定したＣＧ画像データを合成する技術が注目されている。
この分野の公知技術情報としては、例えば、非特許文献１に開示されたものが有る。
非特許文献１では、平行四辺形の各頂点に配置されたマーカーを用いて、物体の３次元位置及び姿勢を計測して現実世界の映像に仮想物体を合成する方法について記載している。

また、特許文献１には、複合現実感表示装置及び方法、記憶媒体、並びにコンピュータプログラムについて示されている。そして具体的には、現実世界の特定の場所に、模様を描いたマーカーや点滅するＬＥＤ光源を設置することで、カメラを通して撮影した画像にＣＧ画像を合成して表示することができる。これによれば、例えば、現実世界の特定の場所に家具を設置した場合の風景をシミュレーションして表示装置によって視認することできる。そして、上記の複合現実感表示方法を、家具や家電製品の現実空間への配置シミュレーションとして応用することを示している。

また、特許文献２には、ポータブル拡張現実感デバイスおよびその方法が示されてされており、上記の表示システムを携帯ゲーム装置に適用した実施例が述べられている。
特許文献３には、エンタテイメント装置、システム、及び方法が示されており、上記の固有の物体としてサイコロ状の物体を使用する実施例が開示されている。
また、特許文献４には、目標位置探索装置、目標位置探索方法及びプログラムについて記載されている。これは本件出願人の先願特許技術であり、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）による個人及び目的施設等の検索表示システムについて記載されている。
具体的には、検索対象による区別を行なわない、単純な図形による表示方法によって、現実の映像に対象とする物の位置を表す図形を合成表示するものである。

特許４０３２７７６号公報 特表２００８‐５１０２５４号公報 特開２０１０‐０４９６９０号公報 特許３７２９１６１号公報

加藤博一、Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』（日本バーチャルリアリティ学会論文誌， Ｖｏｌ．４， Ｎｏ．４， １９９９）

上記の背景技術で示した文献の個人識別キャラクター表示システムには、例えば、特許文献１〜４において開示された技術において、下記の問題点が有った。
前述の特許文献１に開示された技術では、画像を配置する位置に固有の物体を設置することが必要である。
即ち、この技術では、画像を合成する場所を指定するためのマーカーとして特別な物体（マーカー物体）を用意する必要がある。また、多くの種類の合成ＣＧ画像を制御するためには、無数の種類のマーカー物体が必要になるため、予め準備されたマーカーによって表示できるＣＧ画像の種類は非常に限られたものになる。

また、特許文献２，３による技術では、特許文献１に示された技術と同様に、画像を合成する場所を指定するためのマーカーとして、特別な物体を用意する必要が有り、また、多くの種類の合成ＣＧ画像を制御するためには、対応する無数の種類のマーカー物体が必要になる。このため、予め用意したマーカー（マーカー物体に対応したマーカー）によって表示できるＣＧ画像の種類は非常に限られたものにならざるを得ない。これらは、本発明とは異なり、個人がカスタマイズした無数の画像のマーカーを用意して、端末装置間でデータ共有することなどは不可能であった。

前述の特許文献４に開示された技術では、ＡＲ合成技術によって、風景の中の遠方にいる個人の距離と方向を表示することができる。しかし、これによって合成される画像は相手が誰であっても固定され、演出力が不足している。
また、特許文献４に開示された技術では、予め探す個人を特定して表示することしかできない。これによると、合成に用いる画像を、特定個人を表す画像データとしてカスタマイズすることができないので、風景の中に存在している仲間の存在に気づいたり、その気づいた中から個人を特定して、撮影者がその個人の元にまで辿り着くといった用途には使用することができなかった。

本発明は、上に述べた従来の問題点に鑑みてなされたものであって、画像認識技術を使用することで、撮影者が撮影した撮像から特定の個人を識別することを可能にすると共に、前記特定の個人の撮像の近傍にその個人を視認できる個人識別キャラクターを併せて表示することができる個人識別キャラクター表示システムを提供することを目的としている。

上記課題を解決するために、本発明に係る個人識別キャラクター表示システムは、端末装置に搭載したカメラで撮影した現実世界の画像にＣＧ描画した画像を合成描画する個人識別キャラクター表示システムであって、
前記カメラで撮影した現実世界の画像データから、前記画像データを表示する画像領域において所定の被写体の特徴を有する部分領域を、パターンマッチング法で認識して検出する検出部と、前記現実世界の画像の前記検出した部分領域に、前記部分領域で特徴付けられた前記被写体に対応して予め保持されている所定のＣＧ画像を合成描画する合成描画部と、前記合成された画像領域を含む前記現実世界の画像を表示する画像表示部と、を備えたことを特徴とする。

また、本発明に係る端末装置は、前記端末装置が搭載するカメラで撮影した現実世界の画像にＣＧ描画した画像を合成描画する端末装置であって、前記カメラで撮影した現実世界の画像データから、前記画像データを表示する画像領域において所定の被写体の特徴を有する部分領域を、パターンマッチング法で認識して検出する検出部と、前記現実世界の画像の前記検出した部分領域に、前記部分領域で特徴付けられた前記被写体に対応して予め保持されている所定のＣＧ画像を合成描画する合成描画部と、前記合成された画像領域を含む前記現実世界の画像を表示する画像表示部と、を備えたことを特徴とする。

また、本発明に係る個人識別キャラクター表示方法は、端末装置に搭載したカメラで撮影した現実世界の画像にＣＧ描画した画像を合成描画する個人識別キャラクター表示方法であって、前記カメラで撮影した現実世界の画像データから、前記画像データを表示する画像領域において所定の被写体の特徴を有する部分領域を、パターンマッチング法で認識して検出するステップと、前記現実世界の画像の前記検出した部分領域に、前記部分領域で特徴付けられた前記被写体に対応して予め保持されている所定のＣＧ画像を合成描画するステップと、前記合成された画像領域を含む前記現実世界の画像を表示するステップと、を有することを特徴とする。

さらに、本発明に係るコンピュータプログラムは、搭載するカメラで撮影した現実世界の画像にＣＧ描画した画像を合成描画する端末装置を制御するためのコンピュータプログラムであって、前記カメラで撮影した現実世界の画像データから、前記画像データを表示する画像領域において所定の被写体の特徴を有する部分領域を、パターンマッチング法で認識して検出するステップと、前記現実世界の画像の前記検出した部分領域に、前記部分領域で特徴付けられた前記被写体に対応して予め保持されている所定のＣＧ画像を合成描画するステップと、前記合成された画像領域を含む前記現実世界の画像を表示するステップと、を有することを特徴とする。

以上説明したように、本発明の個人識別キャラクター表示システムによれば、特定の個人を検出し、その個人の顔部分をマーカーにして、個人毎にカスタマイズされたＡＲキャラクターを合成描画することができるため、例えば、主人公とその主人公に従う従者とを登場人物とするアニメーション作品と、現実世界とを融合表現した画像を提供することができる。

本発明の第一の実施形態に係る個人識別キャラクター表示システムの全体構成を示す構成図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムの携帯電話端末の外観を示す構成図である。 図１に示されたＡＲキャラクタデータベースが格納する個人レコードのデータ構成の詳細を示すデータ構成図である。 ＡＲキャラクター定義と画像との対応例を示す説明図である。 ＡＲキャラクター定義と画像との対応例を示す説明図である。 ＡＲキャラクター定義と画像との対応例を示す説明図である。 ＡＲキャラクター定義と画像との対応例を示す説明図である。 撮影対象のユーザが遠距離である場合のユーザ間の位置関係の１例として示す説明図である。 撮影対象のユーザが遠距離である場合の表示部の表示例を示す説明図である。 撮影対象のユーザが近距離である場合のユーザ間の位置関係の１例として示す説明図である。 撮影対象のユーザが近距離である場合の表示部の表示例を示す説明図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムの通信相手発見機能における表示画面の推移を示す説明図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、ユーザが端末装置を操作して自己ＡＲキャラクターデータの定義を行うときの動作手順を示すフローチャート図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、他者の端末装置からキャラクター定義データを取得する場合の動作手順を示すフローチャート図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、通信相手の相手端末装置が近接している場合にＡＲキャラクターを表示する場合の動作手順を示すフローチャート図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、相手端末装置が近接している場合に顔起点ＡＲ表示する場合の動作手順を示すフローチャート図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、撮影範囲を検索した時にＡＲキャラクターを表示する場合の動作手順を示すフローチャート図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、相手端末装置が近接していない場合にＡＲキャラクターを表示する場合の動作手順を示すフローチャート図である。 本発明の第一の実施形態に係る個人識別キャラクター表示システムにおける通信相手発見機能を実現する場合の動作手順を示すフローチャート図である。 本発明の第二の実施形態に係る個人識別キャラクター表示システムの全体構成を示す構成図である。 本発明の第二の実施形態に係る個人識別キャラクター表示システムにおける個人レコードデータの１例としての構成を示すデータ構成図である。 本発明の第二の実施形態に係る個人識別キャラクター表示システムにおけるＡＲデータベースサーバのデータ転送時の動作手順を示すフローチャート図である。 本発明の第二の実施形態に係る個人識別キャラクター表示システムにおいて、端末装置側からＡＲデータベースサーバへデータを転送する時の端末装置の動作手順を示すフローチャート図である。

本発明の一実施形態においては、個人の顔の画像上での特徴を抽出する画像認識部により、特定の個人を認識すると共に、その個人と強く結び付けられた合成すべき画像（ＡＲキャラクター）を、その個人の近辺画像に併せて表示する。
これにより、個人毎にカスタマイズされた無数のＡＲキャラクターを制御することが可能となる。例えば、主人公に従う従者を持つアニメーション作品と、現実に撮影された人物とを融合表現するような画像を提供するサービスの実施が可能となる。また、眼前の風景にいるユーザをカスタマイズされた図形を羅列して表示することを可能にすると共に、その中から特定の個人を指定する操作を実行することができる。

本発明の一実施形態における個人識別キャラクター表示システムは、
（１） 複数の端末装置（例えば、携帯電話端末装置）と、データベースサーバとがネットワーク接続される構成において、複数の端末装置の各々は、カメラ部、測位部、方位測定部を備えおり、
（２） 少なくとも撮影者の端末装置は、キャラクター定義部の中に、端末ユーザのキャラクター画像、及びデータベースサーバ（或いは、他の端末）から取得した他の端末ユーザのキャラクター画像を保持することができ、
（３） 少なくとも撮影者の端末装置は、カメラ部から眼前の画像を取得して表示し、また、前記撮影者の端末装置の位置を取得することができる。
さらに、本発明の一実施形態の個人識別キャラクター表示システムにおいては、
（４） 少なくとも撮影者の端末装置は、カメラ部が向いている方向を取得することができ、
（５） 少なくとも撮影者の端末装置は、取得した前記方向に、探している他の端末装置のユーザが居るか否かを、撮影者の端末装置とは異なる他の端末装置の特定ユーザの顔画像を画像認識部を用いて識別することで判定し、前記他の端末装置の特定ユーザが居る場合には、前記他の端末装置までの距離を表示すると共に、前記他の端末装置の前記特定ユーザのキャラクター画像を、カメラ部が得た画像に合成して表示する。なお、より具体的には、合成するキャラクター画像は、前記他の端末装置の特定ユーザの顔から画像認識部を用いて抽出した特徴情報により選択されるように構成する。

すなわち、本発明の一実施形態においては、撮影した撮像データにおいて特定の個人を識別すると共に、その特定の個人と強く関連付けられた（即ち、特定の個人をカスタマイズしたＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）：拡張現実感）キャラクターを、前記特定の個人の撮像画像の近傍に表示できるようにするシステムであり、個人を特定するためには、例えば顔認識機能を使用し、この認識した顔部分を画像の合成場所を指定するマーカーにして、上記の個人に関連付けられたＡＲキャラクターを併せて描画する。
通常、ＡＲキャラクターデータの配信は、撮影した個人が所有する撮影者の携帯端末装置がＡＲデータサーバとなって行われる。
他のユーザ（他の登録会員個人）の携帯端末装置が前記撮影者の端末装置と近接する場合（近距離無線通信手段等が使用できる範囲の場合）は、近距離無線通信手段等により、前記他のユーザの携帯端末装置が直接ＡＲデータサーバとして動作する。

また、他のユーザの携帯端末装置が撮影者の端末装置と近接しない場合（近距離無線通信手段等が使用できない範囲の場合）は、ネットワーク通信により、中央サーバと通信して携帯端末装置からデータを取得したサーバがデータを直接配信するか、若しくは携帯端末装置に中継接続して間接的に配信する。
撮影者の端末装置が、他のユーザの他の携帯端末装置と近接しなくても、近傍に他のユーザが居る場合は、他のユーザの概略の位置を示したり、近傍に複数の他のユーザがいることを示すことができ、示されたキャラクターを指定することによって他の個人を指定することができる。
なお、撮影した登録会員個人が所有する携帯端末装置に保持されている撮影者のＡＲキャラクターデータは、特殊には、撮影者個人が自分で撮影者自身の顔を撮影する場合に参照するように構成することも可能であるが、一般には、前記撮影した登録会員とは別の他の登録会員個人の携帯端末装置から参照されるものである。
これにより、登録会員のユーザに、ＡＲ環境で特定のアニメキャラクターの周囲を飛ぶ妖精や小動物のようなキャラクターをＡＲキャラクターデータとして撮影者の装置に設定することで、アニメーション作品と現実とを融合した画像を表示するサービスを提供することができる。
さらに、カメラに写った前記の妖精や小動物を指定して、被写体となった本人のいる場所まで撮影者が辿り着くことができるシステムも提供できる。

以下、本発明に係わる個人識別キャラクター表示システム、端末装置、及びコンピュータプログラムの実施形態について、第一の実施形態、第二の実施形態の順に図面を参照して詳細に説明する。
なお、それぞれの実施形態の説明では、本発明に係る個人識別キャラクター表示システム、個人識別キャラクター表示方法、及び端末装置について詳述するが、本発明に係るコンピュータプログラムについては、前記端末装置を動作させるためのプログラムであることから、その説明は以下の説明に含まれる。

〔第一の実施形態〕
図１は、本発明の第一の実施形態に係る個人識別キャラクター表示システムの全体構成を示す構成図である。
図１に示す本実施形態に係る個人識別キャラクター表示システムは、携帯電話端末装置である携帯電話端末１及び携帯電話端末２（いずれも本発明の実施形態に係る端末装置）と、ＡＲデータベースサーバ３と、を備えいる。
但し、本発明における係る個人識別キャラクター表示システムでは、一般に、２台以上の端末装置とデータベースサーバ装置によって構成することが可能である。本発明の実施形態に係る端末装置として、携帯電話端末装置１と、携帯電話端末２とを備える構成としたが、端末装置の構成は上記の構成に限定されるものではなく、従って、その台数は任意の複数でもよい。
また、本発明の実施形態に係る端末装置は、携帯電話端末装置やスマートフォンとは限らず、他の装置、例えば、ゲーム機、タブレットＰＣ、ノートＰＣでもよい。

以下の説明では、一例として、携帯電話端末装置１（端末装置１）と、携帯電話端末２（端末装置２）とは、同じ構成であるものとするが、携帯電話端末装置１と携帯電話端末２の機能が同じであれば、本発明の実施形態に係る複数の端末装置の各々が、他と異なる構成であっても良い。
携帯電話端末装置１は、カメラ部１１と、画像メモリ部１２と、顔認識部１３と、タッチパネルで構成された表示部１４と、ＧＰＳ／磁気センサ１５と、ＡＲ制御部１６と、通信部１７と、を備える。
ＡＲ制御部１６は、制御プログラム１６１と、自己ＡＲキャラクター定義１６２と、他者ＡＲキャラクター定義１６３と、を備える。
通信部１７は、ネット通信部１７１と、近距離通信部１７２と、を備える。
携帯電話端末装置２は、カメラ部２１と、画像メモリ部２２と、顔認識部２３と、タッチパネルで構成された表示部２４と、ＧＰＳ／磁気センサ２５と、ＡＲ制御部２６と、通信部２７と、を備える。

携帯電話端末２におけるＡＲ制御部２６は、制御プログラム２６１と、自己ＡＲキャラクター定義２６２と、他者ＡＲキャラクター定義２６３と、を備える。
通信部２７は、ネット通信部２７１と、近距離通信部２７２と、を備える。
ＡＲデータベースサーバ３は、端末通信部３１と、登録制御部３２と、検索制御部３３と、ＡＲデータキャラクタデータベース３４と、備える。
ＡＲデータキャラクタデータベース３４は個人レコード１（３４１）と、個人レコード２（３４２）と、個人レコード３（３４３）…と、個人レコードｎ（３４ｎ）と、を備える（但し、前記のｎは登録されたレコード数である）。

図２は、本発明の第一の実施形態に係る個人識別キャラクター表示システムの携帯電話端末１及び携帯電話端末２の外観を示す構成図である。
図２では、カメラ部１１の一部と、表示部１４の構成要素である表示画面１４１と、ＧＰＳ／磁気センサ部１６の構成要素であるＧＰＳ１５１及び磁気センサ１５２と、を示している。
以下、図１，２を参照して、本実施形態に係る個人識別キャラクター表示システムの機能を説明する。
なお、以下の説明では、携帯電話端末１の機能も併せて説明するが、携帯電話端末２の機能も携帯電話端末１の機能と同様であり、よって、以下の説明に含まれるものとする。
カメラ部１１で撮影された画像は画像メモリ１２に保持される。
画像メモリ１２には顔認識部１３が接続されている。この顔認識部１３は、カメラ部１１で撮影された画像中の人物の顔部分を切り出して、その大きさと位置を取得する手段と、切り出した顔の特徴を数値化する手段とを具備している。

また、画像メモリ１２は、ＡＲ制御部１６からもアクセスが可能であり、ここに図形を描画することで現実の風景に図形を合成描画して表示することを可能にしている。
この描画の際には、制御プログラム１６１は、顔の特徴数値に関連付けられた図形を、切り出された顔領域の大きさに応じて拡大縮小し、顔領域の近傍に表示する。
また、時刻をキーに相対位置を変化させることで検出された顔領域の上方周囲を飛翔するようなアニメーション表現をも可能にしている。
ＡＲ制御部１６のキャラクター定義部（携帯電話端末１における自己ＡＲキャラクター定義１６２及び他者ＡＲキャラクター定義１６３）を備えており、制御プログラム１６１はキャラクター定義に定義されたデータを参照して画像メモリ１２に図形を描画する。

キャラクター定義としては、本システムへの登録ユーザである携帯電話端末１の使用者のための定義であり、本システムへの他の登録ユーザの端末装置（例えば携帯電話端末２）において表示が行われることになる携帯電話端末１の使用者の自己ＡＲキャラクター定義を１つ（ここでは携帯電話端末１の自己ＡＲキャラクター定義１６２）と、本システムへの他の登録ユーザの１つ以上のＡＲキャラクタ（携帯電話端末１で表示する）を定義するＡＲキャラクター定義を１つ（ここでは他者ＡＲキャラクター定義１６３）とを具備する。
さらに、ＡＲ制御部１６は、携帯電話端末１で表示するための複数の他者ＡＲキャラクター定義を格納する手段を具備している。
携帯電話端末１の自己ＡＲキャラクター定義１６２の定義データは通信部１７による参照が可能となっており、通信部１７に具備された近距離通信部１７２（無線通信部）などによる近距離通信によって端末装置の間（例えば、携帯電話端末１と携帯電話端末２）でデータ交換が可能であるか、若しくは同じく通信部１７に具備されたネット通信部１７１によってネットワークに設置されたＡＲデータベースサーバ３に定義データをアップロードすることが可能である。

上記と逆の動作として、通信部１７は、近距離通信部１７２及び／またはネット通信部１７１を介して、ＡＲデータベースサーバ３にアップロードされた携帯電話端末２の定義データを携帯電話端末１のＡＲキャラクター定義部１６３にダウンロードすることができる。
また、携帯電話端末１のＧＰＳ／磁気センサ１５は、ＧＰＳによる端末位置の測位部及び磁気センサーによる方位測定部として搭載されている。なお、ＡＲ制御部１６の制御プログラム１６１からも測位結果を参照することができる。
ＡＲデータベースサーバ３は、携帯電話端末１との通信手段として端末通信部３１を備えており、携帯電話端末１から端末通信部３１を介して送られて来たキャラクター定義データを格納する手段としてＡＲキャラクタデータベース３４を備える。

また、ＡＲデータベースサーバ３は、携帯電話端末１からＡＲデータベースサーバ３に格納されているデータの検索要求を受ける手段として検索制御部３３を備えている。
この検索制御部３３は、端末通信部３１を介して検索結果を携帯電話端末１にネットワーク送信する手段を備えている。
さらに、ＡＲデータベースサーバ３は、一人当たり少なくとも１レコードで構成されるＡＲキャラクターをＡＲキャラクタデータベース３４に登録する手段として、登録制御部３２を備える。
図１に示すように、ＡＲキャラクタデータベース３４が格納する１レコード分のデータには、端末装置を識別する端末ＩＤとユーザ名、端末装置１の持ち主の顔認識を行った際に算出される特徴値である顔キー、個人毎にカスタマイズされた図形情報であるキャラクター定義、及びＧＰＳ等で計測される端末装置の現在位置が格納されている。

但し、前記端末装置の現在位置は、複数の登録ユーザの複数の端末装置間で交信される現在位置取得要求を、ＡＲキャラクタデータベース３４が中継した時に取得されるものである。
なお、後述の第２実施形態でも説明するが、このデータの格納方法は、端末ＩＤとユーザ名、及び端末の現在位置情報だけを保持して、顔キーとキャラクター定義情報はデータが格納される対象の端末装置に情報取得要求をリダイレクトして前記データが格納される端末装置自身が情報を配信するように構成することもできる。

図３は、ＡＲキャラクタデータベース３４が格納する個人レコードのデータ構成の詳細を１例として示すデータ構成図であり、図３は個人レコードの全体構成と個人レコードのキャラクター定義の詳細構成を例示するものである。
図３に例示するＡＲキャラクタデータベース３４が格納する個人レコードのデータは、端末装置の電話番号や通信ＭＡＣアドレスなどの端末装置を識別できる端末ＩＤ、端末ＩＤと関連付けるユーザの氏名データ、顔キー、キャラクター定義データ、端末の現在位置のデータで構成されている。
図３に例示する個人レコードのキャラクター定義には、キャラクターの種別、パーツの形状及び色や模様、キャラクターの名称などが含まれており、キャラクターの種別や模様は、図４Ａ〜図４Ｄに示すようなコードが定義されていて、本システムのユーザは、これらを自由に組み合わせて独自のキャラクターを定義することができる。

図４Ａ〜図４Ｄは、ＡＲキャラクター定義と画像との対応例を示す説明図である。
図４Ａは、種別コードが１（トンボ）、図４Ｂは種別コードが２（蝶）の場合を示している。
図４Ｃは、前羽の模様＝１、図４Ｄは前羽の模様＝２の場合を示している。
図４Ａ〜図４Ｄでは、簡便にするために昆虫の例で示したが、もっと複雑なキャラクターにしても構わない。

図５は、ユーザＡと撮影対象のユーザＢが遠距離である場合のユーザ間の位置関係を１例として示す説明図である。ユーザＡの位置座標は（Ｘ１，Ｙ１，Ｚ１）として示されている。また、ユーザＢの位置座標は（Ｘ２，Ｙ２，Ｚ２）と示されている。

図６は、撮影対象のユーザＢが遠距離である場合の端末装置１における表示部１４の表示例を示す説明図である。
前述のキャラクター定義レコードにより、ユーザとカスタマイズ定義された図形とが対応付けされるので、例えば、図５に示すようなユーザＡとユーザＢの位置を、現実の風景に合成して表示する動作において、撮影対象のユーザを端的に表す小さいキャラクター図形を用いて図６に示すような表示をすることが可能となる。
もしも、同時に二人を表示する場合であっても、図６に示すように小さいキャラクター図形を用いているため、同時に二人分のキャラクター図形を端末装置の表示部に表示することが可能であり、よって、キャラクターとユーザとの関連が既知であれば、どの辺りに、どちらの人が居るかを一目で視認できる表示をすることが可能となる。

図６に示す距離を表す数値に関しては、選択したキャラクターとの距離を数値で表すようにすることも可能である。
例えば、図６では、太い実線の吹き出し内の図形の方が選択したキャラクターを表しており、図５に示すユーザＢからユーザＡまでの距離の表示を例示している。

図７は、撮影対象のユーザＢがユーザＡと近距離である場合のユーザ間の位置関係を１例として示す説明図である。
図７は、図５に示すユーザＢが、ユーザＡとの間で近距離通信が可能な距離に近づいたときの様子を例示したものである。
ユーザＡとユーザＢとの距離が近距離通信が可能な距離に近づいたか否かは、ユーザＡとユーザＢ間の距離と、予め設定された閾値とを比較することで決定され、ユーザＡが使用する端末装置１から、この状態に至ったことが通知される。この場合、ユーザＡは、自己が使用する端末装置１とＡＲデータベースサーバ３とを介して、この状態に至ったことをユーザＢに通知し、ユーザＢの端末装置２を近距離通信モードに切り換えさせることができる。

図８は、撮影対象のユーザが近距離である場合の表示部１４の表示例を示す説明図である。
図７は、図５に示すユーザＢが、ユーザＡに近づいたときの様子を例示したものであったが、この場合、端末装置１（ここでは携帯電話端末１の表示部１４）の表示画面は、例えば図８に示すようになる。
ここでは、顔認識した領域をマーカーとして、その相対位置に領域の大きさに合わせたキャラクターを表示しているため、図９に示すように、ユーザの上方周囲をキャラクターが飛翔している表現になっている。
図８の右側半分に示すように、撮影対象のユーザＢがさらにユーザＡに近づいた場合は、撮影対象のユーザＢの顔領域の大きさが大きくなり、それに従ってキャラクター図形も拡大するように構成するので、自然に感じられる合成結果を得ることができる。

図８に示す表示状態については、撮影対象のユーザＢが、初めからユーザＡに対して近距離に位置した状態で本システムを起動した場合でも同様に表示可能である。この場合は、端末装置１の近距離通信部１７１が備える近距離通信手段によって撮影対象のユーザＢの端末装置２（ここでは携帯電話端末２）と、ＡＲキャラクター定義を交換し合って表示を行うことができる。
撮影者の携帯電話端末１が一度取得したキャラクター定義は、（少なくとも後述する検索機能などを使わない限りは）他者ＡＲキャラクター定義１６３に格納されているので、撮影対象のユーザの端末装置とは毎回通信を行わなくても表示することが可能である。
以上は表示する相手が分かっていて表示する相手を指定したか、若しくは目の前に表示する相手が存在する場合の動作であったが、ユーザＡの目の前の空間に撮影対象のユーザＢ（携帯電話端末２）が居るかどうか分からない場合において本システムを動作させるのが、図９に画面例を示す通信相手発見機能である。

図９は、本発明の第一の実施形態に係る個人識別キャラクター表示システムの通信相手発見機能における表示画面の推移を示す説明図である。
図９において、左端の図が通信相手発見機能を起動した直後の画面である。
この場合、操作者ユーザＡが端末装置１のカメラを向けた方向と、端末装置１の位置の測定データとから、前方にいる登録ユーザをネット通信部１７を介してＡＲデータベースサーバ３に問い合わせた検索結果のキャラクターを並べて表示部１４に表示している。
このような表示方法は、多数の検索結果が出たときに、その中から特定の個人を選択する操作をし易くするためである。
ここで図９の左側に示すように、表示部１４に表示された中から、目的のキャラクターをタッチ指定することで図９の中央（即ち前述の図６で示した状態を示す画面と同じ画面）に遷移させることができる。
操作者（携帯電話端末１の操作者）は、この画面表示に従って歩行することで、特定された個人である相手の居る場所に到達することが可能となり、図９の右側（即ち、前述の図８の左側半分で示した状態を示す画面と同じ画面）に遷移する。

なお、ここまでで述べた例では、図９の左側は携帯電話端末１の登録ユーザの全てが検索対象となっているが、後述する第二の実施形態で示すように、ＡＲキャラクター定義の定義要素の中にグループＩＤ定義を導入し、グループＩＤが一致した人物だけを表示するようにすれば、人が集まった場所にグループＩＤが一致した仲間が来ているかどうかを調べることができるようになる。
また、グループＩＤを導入した場合には、グループＩＤを指定した場合にのみ、キャラクターをタッチする指定が可能になり、グループＩＤを指定しない場合はキャラクターをタッチ指定することができないようにして、グループＩＤを指定しないことで本システムに加入するユーザがどれくらい来ているかを見てみたり、他の人の定義したキャラクターを鑑賞するといった表示のさせ方を実現することも可能である。

以下では、前述の第一の実施形態の個人識別キャラクター表示システムの機能を纏める。
本発明における一形態においては、人物が写った映像から顔を認識し、顔部分の特徴を数値化して、その数値と関連付けられた図形としてユーザ個人がカスタマイズした独自図形を定義し、定義情報と顔部分の特徴数値をそのユーザの端末に保存して、無線による近接通信、あるいはネットワーク上のサーバーを経由して他のユーザの端末との間で交換することができるように構成している。よって、本システムのユーザは、無数の種類の合成画像と、無数の種類のマーカーを運用することができる。
キャラクター図形を配置する際には、認識された顔の画像の大きさと位置とを使用するので、対象となる特定の個人との関連を自然な表現で表示し、視認させることができる。

また、キャラクター図形の取得先として、ＡＲデータベースサーバ３を経由する場合は、さらにデータ所有者の位置情報を取得することが可能となり、この取得情報を基に、カメラの映像範囲内に実在している特定のメンバーの有無が、カスタマイズされたキャラクター図形で表示されるので、特定のメンバーの有無を容易に視認することが可能となる。
また、特定の個人を示すキャラクター図形を指定することで、前記特定の個人にまで辿り着くことができる手段を備える。

さらに、ユーザが、その特定の個人の前記顔領域を切り出せる近傍に至った際には、個人を特定する画像が、アイコン的な表示の状態から、個人の近くにＡＲキャラクター図形が表示される状態に自然な形で状態遷移できるので、個人と画像との関連性の世界観を損なうことなく、撮影対象ユーザが遠距離に居る場合と近距離に居る場合との両方のケースで、特定の個人に独自な図形を扱うことができるようになる。

図１０Ａは、本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、ユーザが端末装置を操作してユーザの携帯電話端末１における自己ＡＲキャラクターデータの定義を行う場合と、他のユーザの端末装置２から前記他のユーザの端末装置における前記他のユーザのキャラクター定義データを取得する場合との動作を示すフローチャート図である。
まず、ユーザが端末装置１を操作して自己ＡＲキャラクターデータの定義を行うときの動作を説明する。
（ステップＳ１）
ステップＳ１では、カメラ部１１が操作者によって起動される（ユーザ自身を撮影する準備）。
（ステップＳ２）
ステップＳ２では、カメラ部１１を介して操作しているユーザ自身が撮影される。
（ステップＳ３）
ステップＳ３では、顔認識部１３が、顔認識用の特徴抽出を行って顔キーの特徴データを作成し、端末装置１の自己ＡＲキャラクター定義１６２の１項目である顔キー（図３参照）に登録する。
このとき、正面だけではなく、必要に応じて、左右方向からの撮影を行うようにしても良い。

（ステップＳ４）
ステップＳ４では、図４Ａ〜図４Ｄに示したような定義のバリエーション（種別、色、模様等）が前記操作者によって指定され、自己ＡＲキャラクターの見かけが定義される。
（ステップＳ５）
ステップＳ５では、ＡＲ制御部１６が、ステップＳ４で定義されたＡＲキャラクターを、自己ＡＲキャラクター定義１６２の各項目に登録する（登録内容は表示部１４に表示される）。
（ステップＳ６）
ステップＳ６では、操作者は、表示部１４の表示画面を視認して、登録の確認を行う。
（ステップＳ７）
ステップＳ７では、ＡＲ制御部１６が、登録がＯＫであったか否かを検証し、登録がＯＫの場合はステップＳ８に進み、登録がＯＫではない場合にはステップＳ４に戻る。
即ち、ここでは、操作者は、定義に従った表示を行ってみて、気に入れば登録を実行し、気に入らなければバリエーションの指定をし直すことができる。

（ステップＳ８）
ステップＳ８では、ＡＲ制御部１６が、ネット通信部１７１を介してＡＲデータベースサーバ３にステップＳ４で定義されたＡＲキャラクターを登録させ、処理を終了する。
即ち、ここでは、ＡＲデータベースサーバ３にもキャラクター定義を置くことにしているため、ＯＫの場合はネットワーク通信によってＡＲデータベースサーバ３に指定結果を登録するが、ＡＲデータベースサーバ３がリダイレクト動作をして、毎回端末データを取得する制御方法にする場合はＡＲデータベースサーバ３への登録は省略できる。
なお、端末装置の現在位置を、適宜ＡＲデータベースサーバ３にアップロードして該サーバに保持させる処理は、本システムの特徴的な処理ではなく、既存の動作であるので、ここでの説明は省略する。

次に、図１０Ｂを使って、ユーザが他の登録ユーザの端末装置から他の登録ユーザのＡＲキャラクターデータの定義を取得する場合の動作を説明する。
（ステップＳ２１）
ステップＳ２１では、操作者によって、データを取得する他者の端末装置２からの入力指定が示される。
（ステップＳ２２）
ステップＳ２２では、通信部１７が、自己端末装置とデータを取得する他者の端末装置との間の距離が、前述のとおり予め設定された所定の閾値より、近いか否かを判定し、上記距離が近い場合はステップＳ２６に移り、上記距離が近くない場合はステップＳ２３に進む。
（ステップＳ２３）
ステップＳ２３では、端末装置１の通信部１７は、ネット通信部１７１を介してＡＲデータベースサーバ３にアクセスし、データを取得する他者の端末装置由来のＡＲキャラクター定義を検索させる。

（ステップＳ２４）
ステップＳ２４では、通信部１７は、ＡＲデータベースサーバ３から、データを取得する他者の端末装置由来のＡＲキャラクター定義と、前記他者の端末装置の位置情報とを取得する。
（ステップＳ２５）
ステップＳ２５では、通信部１７は、前記取得した他者ＡＲキャラクター定義と、該他者の端末装置の位置情報とを、他者ＡＲキャラクター定義１６３に格納し、処理を終了する。
なお、遠距離通信による取得であれば、その後にＧＰＳを使って相手（他者）の距離と方向を表示する必要があるので、上記のように、前記他者の端末装置位置情報も取得するものである。
（ステップＳ２６）
ステップＳ２６では、通信部１７は、近距離通信部１７２を起動して、前記他者の端末装置と接続する。
（ステップＳ２７）
ステップＳ２７では、通信部１７は、前記他者の端末装置から、他者の端末装置由来のＡＲキャラクター定義を取得し、その後、ステップＳ２５に移る。

図１１Ａと図１１Ｂは、本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、通信相手の相手端末装置が近接している場合にＡＲキャラクターを表示する場合の動作を示すフローチャート図である。
図１１Ａに示した動作は、図７に示すシチュエーション（状況）で実行するものである。
この動作を実行する時点では、図１０Ｂに示す他者データ取得処理は終了している状態であるものとする。
（ステップＡ１）
ステップＡ１では、操作者によって端末装置１のカメラ部１１が操作され、撮影した撮像データが取得される。
（ステップＡ２）
ステップＡ２では、顔認識部１３が、撮像データから、人間の顔として認識できるデータを検出する。
（ステップＡ３）
ステップＡ３では、顔認識部１３が、人間の顔として認識できるデータを検出したか否かを検証し、人間の顔として認識できるデータを検出した場合はステップＡ４に進み、人間の顔として認識できるデータを検出しなかった場合は処理を終了する。

（ステップＡ４）
ステップＡ４では、顔認識部１３が、人間の顔として認識できるデータが複数検出された場合には、最初の処理対象として、例えば一番左上に位置する検出結果を選択する。
（ステップＡ５）
ステップＡ５では、顔認識部１３が、顔認識用の特徴データを抽出する。例えば、目と口の距離や目の間隔との比率などの顔の特徴データを抽出する。
（ステップＡ６）
ステップＡ６では、顔認識部１３が、他者ＡＲキャラクター定義１６３の顔キーのデータに一致する（あるいは近い）ものがあるか否かを検索する。
（ステップＡ７）
ステップＡ７では、顔認識部１３が、上記検索により、他者ＡＲキャラクター定義１６３の顔キーのデータに近い特徴データが存在していたか否かを検証し、上記特徴データが存在する場合はステップＳ９にて後述の顔基点ＡＲ表示処理を行い、その後、ステップＡ８に戻る。また、上記特徴データが存在しない場合は直ちにステップＡ８に進む。

（ステップＡ８）
ステップＡ８では、顔認識部１３が、人間の顔として認識されたデータの全てについて、上記の処理が完了したか否かを検証し、未処理のデータが有ればステップＡ１０に移り、また、全データについての上記処理が完了した場合は処理を終了する。
（ステップＡ９）
ステップＡ９（サブルーチン）の処理は後述する。
（ステップＡ１０）
ステップＡ１０では、顔認識部１３が、人間の顔として認識された次のデータを選択し、ステップＡ５に戻る。
以下、図１１Ｂでは、図１１Ａに示すフローチャートおいて、ステップＡ９で実行するサブルーチン（顔基点ＡＲ表示処理）での動作手順を説明する。
（ステップＡ２１）
ステップＡ２１では、顔認識部１３が、パターンマッチング法を用いて、所与の画像から、所定の特徴を有する顔画像を認識して検出し、顔認識枠の位置と大きさとを取得する。

（ステップＡ２２）
ステップＡ２２では、顔認識部１３が、顔認識枠の大きさによってＡＲキャラクター画像の拡大（拡大率の決定）または縮小（縮小率の決定）を行う。
（ステップＡ２３）
ステップＡ２３では、顔認識部１３が、現在時刻をパラメータとして、顔認識枠からの相対座標（即ち相対描画位置）を決定する。
なお、現在時刻をパラメータとして前記の相対描画位置を変化させることで、顔の周囲を飛翔したり、肩のあたりで上下して羽ばたくようなアニメーション表示も可能となる。

（ステップＡ２４）
ステップＡ２４では、顔認識部１３が、ＡＲキャラクター画像を、上記で決定した位置と大きさで、画像メモリ１２に描画し、呼び出し元に復帰する。
これにより、現実の映像にカスタマイズされたキャラクターが合成された映像が表示される。
複数の顔が検出されていた場合は、検出された次の顔領域に対して特徴抽出処理以降の処理を繰り返すものとする。
これにより、端末装置１の表示部１４の画面内にいる複数の人の周囲に、それぞれの人物に対応して、それぞれ定義したＡＲキャラクターを飛翔させることができる。

図１２は、本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、撮影範囲を検索した時にＡＲキャラクターを表示する場合の動作手順を示すフローチャート図である。
図１２に示すフローチャートは、図９の左端に示す画像の表示を行う場合の動作を示す。
（ステップＢ１）
ステップＢ１では、操作者によって端末装置１のカメラ部１１が操作され、表示のベースとなる眼前の景色の撮像データが取得される。
（ステップＢ２）
ステップＢ２では、操作者によってＧＰＳ／磁気センサ１５が起動され、端末装置１の位置が確定され、その位置が取得される。
（ステップＢ３）
ステップＢ３では、操作者によって起動されたＧＰＳ／磁気センサ１５を介して、カメラ部１１のカメラが向いている方向が取得される。

（ステップＢ４）
ステップＢ４では、カメラ部１１が、カメラ撮影範囲の位置を算出する。
（ステップＢ５）
ステップＢ５では、ネット通信部１７１が、ＡＲデータベースサーバ３と接続する。
（ステップＢ６）
ステップＢ６では、ネット通信部１７１が、ＡＲデータベースサーバ３にアクセスし、ＡＲキャラクタデータベース３４内に、端末装置１の現在位置がカメラ撮影範囲に含まれる他者の端末装置から登録された個人レコードが存在するか否かを検索させる。
ここでは、例えば、カメラの画角が対角６０度程度あり、前方８０ｍまでを範囲とする場合は、自己の位置からカメラが向いている方向に４０ｍ先の、半径３０ｍの円内に存在する端末装置のユーザを検索するようにＡＲデータベースサーバ３に指示する。
より正確には、２０ｍ先の半径１０ｍの円内に含まれる端末装置と、４０ｍ先の半径２０ｍ、及び６０ｍ先の半径３０ｍの円内に含まれる端末装置を検索させる。
（ステップＢ７）
ステップＢ７では、ネット通信部１７１が、ＡＲデータベースサーバ３から、上記個人レコードの存在が応答されたか否かを検証し、上記個人レコードの存在が応答された場合はステップＢ８に進み、上記個人レコードの存在が応答されなかった場合は処理を終了する。

（ステップＢ８）
ステップＢ８では、ネット通信部１７１が、ＡＲデータベースサーバ３から存在が応答された他者の個人レコードを全て取得し、ＡＲ制御部１６に送出する。
（ステップＢ９）
ステップＢ９では、ＡＲ制御部１６が、存在した他者の個人レコードについて、画像メモリ１２に、取得したＡＲキャラクターを全てタイル状に並べて描画し、表示部１４の画面上に表示すると共に、どの位置にどのＡＲキャラクターを並べたかを記憶しておく（これは、後で表示画面がタッチされた時に、どのＡＲキャラクターが選択されたのかを判断する必要があるからである）。

図１３は、本発明の第一の実施形態に係る個人識別キャラクター表示システムにおいて、相手端末装置が近接していない場合にＡＲキャラクターを表示する場合の動作手順を示すフローチャート図である。
図１３に示すフローチャートの動作は、図５に示すシチュエーション（ユーザＡとユーザＢが離れている状況）で、図６の表示を行う場合に実行されるものである。
ここでは、ＡＲキャラクターの表示対象の指定は、端末装置１の他者ＡＲキャラクター定義１６３に格納された他の個人であるものとしている。
（ステップＣ１）
ステップＣ１では、カメラ部１１のカメラが、操作者によって操作され、表示のベースとなる映像が撮影されて、画像メモリ１２に撮影された画像データが取得される。
（ステップＣ２）
ステップＣ２では、操作者によって起動されたＧＰＳ／磁気センサ１５を介して、端末装置１が存在する位置の位置情報が取得される。
（ステップＣ３）
ステップＣ３では、操作者によって起動されたＧＰＳ／磁気センサ１５を介して、端末装置１の方向が取得される。

（ステップＣ４）
ステップＣ４では、ＡＲ制御部１６が、相手端末装置の位置を更新するために、図１０Ｂに示した他者データ取得処理を実行して他者の個人レコードを再取得する。
このとき、ＡＲデータベースサーバ３との通信手段としては、ネット通信部１７を介したネットワーク通信手段が用いられる。但し、相手端末装置の位置情報以外の情報は既に保持しているため、相手端末装置の位置情報だけを取得するようにしても構わない。
（ステップＣ５）
ステップＣ５では、ＡＲ制御部１６が、表示部１４の表示画面上の、端末装置１から見た相手端末装置の方向を算出する。
（ステップＣ６）
ステップＣ６では、ＡＲ制御部１６が、端末装置１と相手端末装置との間の距離を算出する。
（ステップＣ７）
ステップＣ７では、ＡＲ制御部１６が、画像メモリ１２内に相手端末装置に対応するＡＲキャラクターと吹き出し図形とを合成し、表示部１４の表示画面上の大体の場所に表示し、処理を終了する。これにより、図６に例示する画面表示が出力される。

図１４は、本発明の第一の実施形態に係る個人識別キャラクター表示システムにおける通信相手発見機能を実現する場合の動作手順を示すフローチャート図である。
（ステップＣ２１）
ステップＣ２１では、ＡＲ制御部１６が、図１２に示した範囲指定ＡＲ表示処理を実行する。これにより、図９の左側に示す画像が表示される。
（ステップＣ２２）
ステップＣ２２では、操作者が、図９の左側に表示された画像において、表示されている１つのＡＲキャラクターの描画位置を指定する。
ＡＲ制御部１６は、図１２のステップＢ９の処理でＡＲキャラクターの描画位置を記憶していたので、ＡＲ制御部１６は、上記の指定により、どのＡＲキャラクターが選択されたかが判り、他者ＡＲキャラクター定義部１６３に格納されている、どの定義レコードであるかを判明することができる。
（ステップＣ２３）
ステップＣ２３では、ＡＲ制御部１６が、上記で選択された定義だけを残して他の定義を消去する。

（ステップＣ２４）
ステップＣ２４では、ＡＲ制御部１６が、図１３に示す遠距離ＡＲ表示処理を実行する。
これにより、表示部１４の表示画面は、図９に示す中央部の図形の表示状態に遷移するので、操作者は、この表示を見ながら歩行して相手端末装置に接近することができる。
（ステップＣ２５）
ステップＣ２５では、ＡＲ制御部１６が、図１３に示すステップＣ６の処理で計算された端末装置１と相手端末装置との距離が５ｍ以内になったか否かを検証し、距離が５ｍ以内の場合はステップＣ２６に進み、また、前記の距離が５ｍ以内でない場合はステップＣ２４に戻る。
（ステップＣ２６）
ステップＣ２６では、ＡＲ制御部１６が、図７に示すように、例えば相手との距離が５ｍ以内になると、顔認識部１３を起動し、カメラ部１１から取得した画像中に、指定した定義に格納されているキーに近い顔画像が有るか否かを検索する。
（ステップＣ２７）
ステップＣ２７では、ＡＲ制御部１６は、ステップＣ２５の処理で、前記キーに近い顔画像が検索されたか否かを検証し、前記キーに近い顔画像が検索されたならステップＣ２８に進み、前記キーに近い顔画像が検索されていない場合はステップＣ２４に戻る。

（ステップＣ２８）
ステップＣ２８では、ＡＲ制御部１６は、図１１Ａに示す近距離ＡＲ表示処理を実行する。
これにより、表示部１４の表示画面は、図９の右側に示す表示状態に遷移する。
なお、図１４のフローチャートに示す動作手順では、操作者が検索対象に近づいたときの動作として、５ｍ以内に近づいた場合に顔認識部１３を起動し、顔画像が検出できたことを確認した上で、図１１Ａに示す近距離ＡＲ表示処理を実行するものとしたが、この顔画像の検出処理を省略して、いきなり図１１Ａに示す近距離ＡＲ表示処理を動作させるようにしても構わない。
但し、この場合は、表示部１４の表示画面から、一時的にキャラクター表示が消える可能性が有るが、その代わりに、顔画像の認識処理を、ステップＣ２４の遠距離ＡＲ表示処理に続いて実行する必要が無くなり、処理が簡便で軽くなるというメリットが有る。

この実施形態の個人識別キャラクター表示システムによれば、使用者が撮影した画像に対して顔画像認識処理を実行することで特定個人を検出し、検出された個人の顔部分をマーカーにして、個人毎にカスタマイズされたＡＲキャラクターを合成描画することができるため、例えば、主人公とその主人公に従う従者とを登場人物とするアニメーション作品と、現実世界とを融合表現した画像を提供することができる効果が有る。

また、キャラクターデータの配信手段として、個人持ちの携帯端末装置をＡＲデータサーバとすることもできる構成としたので、カスタマイズの操作が容易であるだけでなく、使用者個人によるカスタマイズが即時効果を発揮すると共に、他の端末装置から見た映像にも反映できるようになる。

さらに、端末装置同士が近接しない場合に備えて、ネット通信部１７のネットワーク通信手段により、ＡＲデータベースサーバ３と連携してＡＲキャラクターデータの配信を行えるように構成したので、端末装置同士が近接していなくても、自己端末装置の近傍に他の登録ユーザが居る場合は、この他の登録ユーザの概略の位置を示すことが可能となり、また、自己端末装置の近傍に複数の他の登録ユーザが居る場合は、これら複数の登録ユーザのことを他の登録ユーザが設定したＡＲキャラクター画像で示すことができる。
さらに、この時、この他の登録ユーザが設定した複数のＡＲキャラクターの１つを指で指定することによって、特定の個人だけを指定して追跡することができるようになる。

〔第二の実施形態〕
前述の第一の実施形態では、連携するサーバ装置（即ちＡＲデータベースサーバ３）にも、ＡＲキャラクター定義データが保持されている場合を示したが、本発明は、一般に、連携するサーバ装置には、端末ＩＤとユーザ名、及び端末装置の現在位置のみを保持し、顔キー及びキャラクター定義については、本システムに加入している個々のユーザの端末装置に取得要求をリダイレクトして取得するように構成することも可能である。
さらに、連携するサーバ装置には、個々の端末装置の現在位置を示す位置情報も保持しないものとし、ユーザ名と端末ＩＤのみを保持するようにして、そのサーバ装置から遠隔制御によって端末装置の現在位置を取得させ、キー及びキャラクター定義データと共に、現在位置を取得した端末装置からＡＲキャラクター定義データの一部を取得するようにしても良い。

この場合、サーバ装置の保持するデータ量が削減できる効果だけではなく、ＡＲキャラクター定義データや、端末装置の位置への追従精度が向上するという効果が得られる。
しかしながら、この場合、相手端末装置が通信可能な場所に居る必要が有るという制約が発生する。
そこで、以下で説明する本発明の第二の実施形態では、上記の制約を緩和できるようにすることを意図し、具体的には、本システムに加入しているユーザの個々の端末装置に保持するＡＲキャラクター定義データと、連携サーバ（ここでもＡＲデータベースサーバ３とする）が保持するＡＲキャラクター定義データには、それぞれグループＩＤを付加するものとしている。
以下、図を参照しながら、本発明の第二の実施形態について説明する。

図１５は、本発明の第二の実施形態に係る個人識別キャラクター表示システムの全体構成を示す構成図である。
図１５に示す本発明の第二の実施形態に係る個人識別キャラクター表示システムの全体構成は、図１に示す本発明の第一の実施形態に係る個人識別キャラクター表示システムの全体構成と同じであるが、ＡＲデータベースサーバ３のＡＲキャラクタデータベース３４に格納されている、顔キー、キャラクター定義、及び端末現在位置については、括弧付きで示している点だけが、図１に示す本発明の第一の実施形態に係る個人識別キャラクター表示システムとの相違点である。
このような表現の意図するところは、ＡＲデータベースサーバ３のＡＲキャラクタデータベース３４には、実際には前記のデータが保持されておらず、前記のデータについては、指定された他の端末装置から取得したデータを転送するだけであることを示すことである。

図１６は、本発明の第二の実施形態に係る個人識別キャラクター表示システムにおける個人レコードデータの１例としての構成を示すデータ構成図である。
図１６に示す個人レコードデータは、本システムに加入しているユーザの個々の端末装置が保持する個人のレコードデータを表したものであり、ＡＲデータベースサーバ３にも、同様に端末ＩＤ、氏名、及びグループＩＤが保持されているものとする。
以下、第二の実施形態に係る個人識別キャラクター表示システムの動作を、ＡＲデータベースサーバ３の機能を中心にして説明する。
加入ユーザの端末装置の１つから、ＡＲデータベースサーバ３に対してＡＲキャラクター定義データの送信要求が発信されると、ＡＲデータベースサーバ３は、その通信要求で指定された加入ユーザの端末装置に対してＡＲキャラクター定義データの送信を要求する。

これにより、指定された端末装置が応答すれば、その指定された端末装置からＡＲキャラクター定義データを取得して、最初の要求元である加入ユーザの端末装置に対して、指定された端末装置におけるＡＲキャラクター定義データを転送するが、前記通信要求で指定された加入ユーザの端末装置が通信できない状態であった場合には、ＡＲキャラクタデータベース３４上で、このユーザのグループＩＤと同じグループＩＤを持つ他の端末装置を検索し、この検索がヒットした端末装置に対して接続を試みる。
この端末装置が応答し、かつ該当ユーザのＡＲキャラクター定義データを、この端末装置の他者ＡＲキャラクター定義に保持している場合は、その保持されているＡＲキャラクター定義データを送信させ、最初の要求元である加入ユーザの端末装置に対して転送する。

このように構成したことにより、同じグループＩＤを持つ端末装置間であれば、要求された端末装置のＡＲキャラクター定義データを保持している可能性が高いので、要求されたユーザのＡＲキャラクター定義データを取得できる可能性を高めることができる。

図１７は、本発明の第二の実施形態に係る個人識別キャラクター表示システムにおけるＡＲデータベースサーバ３のデータ転送時の動作手順を示すフローチャート図である。
（ステップＤ１）
ステップＤ１では、ＡＲデータベースサーバ３は、第１実施形態における図１０Ｂの他者データ取得処理と同様の処理によって、例えば携帯電話端末１から、指定された相手端末装置のユーザのＡＲキャラクター定義データを要求される。
（ステップＤ２）
ステップＤ２では、ＡＲデータベースサーバ３の検索制御部３３は、前記ＡＲキャラクター定義データの要求において氏名で指定された加入ユーザの端末ＩＤを、ＡＲキャラクタデータベース３４上で検索し、端末通信部３１を介して、検索結果の端末ＩＤを有する端末装置との通信が可能か否かをテストする。
（ステップＤ３）
ステップＤ３では、検索制御部３３は、前記指定された加入ユーザの端末装置との通信が可能か否かのステップＤ２におけるテストの結果により、前記加入ユーザの端末装置との通信が可能か否か検証し、前記指定された加入ユーザの端末装置との通信が可能な場合はステップＤ４に進み、前記指定された加入ユーザの端末装置との通信が不可能の場合はステップＤ６に移る。

（ステップＤ４）
ステップＤ４では、検索制御部３３は、前記加入ユーザの端末装置のＡＲキャラクター定義に格納されたＡＲキャラクター定義データを取得する。
（ステップＤ５）
ステップＤ５では、検索制御部３３は、ステップＤ４の処理で取得したＡＲキャラクター定義データを、端末通威信部３１を介して元の要求元の端末装置（ここでは携帯電話端末１）に転送する。
（ステップＤ６）
ステップＤ６では、検索制御部３３は、前記要求において通信対象として定義されたグループＩＤを有する他の端末装置を、ＡＲキャラクタデータベース３４上で検索する。
（ステップＤ７）
ステップＤ７では、検索制御部３３は、ステップＤ６の検索処理の結果として、前記グループＩＤを有する他の端末装置が検索されたか否かを検証し、前記グループＩＤを有する他の端末装置が検索された場合はステップＤ８に進み、前記グループＩＤを有する他の端末装置が検索されなかった場合はステップＤ１３に移る。

（ステップＤ８）
ステップＤ８では、検索制御部３３は、検索結果の端末ＩＤを有する端末装置との通信が可能か否かをテストする。
（ステップＤ９）
ステップＤ９では、検索制御部３３は、ステップＤ８におけるテストの結果により、前記検索結果の端末ＩＤを有する端末装置との通信が可能か否か検証し、該端末装置との通信が可能な場合はステップＤ１０に進み、該端末装置との通信が不可能の場合はステップＤ６に戻る。
（ステップＤ１０）
ステップＤ１０では、検索制御部３３は、前記検索結果の端末ＩＤを有する端末装置のＡＲキャラクター定義に格納されている、前記要求において氏名で指定された加入ユーザの端末装置のデータを取得する。
（ステップＤ１１）
ステップＤ１１では、検索制御部３３は、前記データの取得が成功したか否かを検証し、前記データの取得に成功した場合はステップＤ１２に進み、前記データの取得に成功しなかった場合はステップＤ６に戻る。

（ステップＤ１２）
ステップＤ１２では、検索制御部３３は、前記検索結果の端末ＩＤを有する端末装置のＡＲキャラクター定義に格納されている、前記要求において氏名で指定された加入ユーザの端末装置のＡＲキャラクター定義データを取得し、その後、ステップＤ５に移る。
（ステップＤ１３）
ステップＤ１３では、検索制御部３３は、最初の要求元の端末装置（ここでは携帯電話端末１）に対して、「氏名で指定された人物のＡＲキャラクター定義データは取得できなかった」という旨の信号を応答する。

図１８は、本発明の第二の実施形態に係る個人識別キャラクター表示システムにおいて、端末装置側からＡＲデータベースサーバ３へデータを転送する時の端末装置の動作手順を示すフローチャート図である。
（ステップＥ１）
ステップＥ１では、例えば携帯電話端末１のネット通信部１７１が、ＡＲデータベースサーバ３から、データを転送すべき端末装置２（携帯電話端末２）が発信した端末ＩＤの送信要求を受信する。
（ステップＥ２）
ステップＥ２では、端末装置１のＡＲ制御部１６が、自己ＡＲキャラクター定義１６２の格納データが要求されたか否かを判断し、自己ＡＲキャラクター定義１６２の格納データが要求された場合はステップＥ７に移り、自己ＡＲキャラクター定義１６２の格納データが要求されていない場合にはステップＥ３に進む。

（ステップＥ３）
ステップＥ３では、端末装置１のＡＲ制御部１６が、他者ＡＲキャラクター定義１６３の中に、受信した端末ＩＤのデータが格納されているか否かを検証する。
（ステップＥ４）
ステップＥ４では、端末装置１のＡＲ制御部１６が、ステップＥ３の検証によって、他者ＡＲキャラクター定義１６３の中に、該当する端末ＩＤのデータが格納されていたか否かを判断し、他者ＡＲキャラクター定義１６３の中に、該当する端末ＩＤのデータが格納されていた場合はステップＥ５に進み、また、該当する端末ＩＤのデータが格納されていなかった場合はステップＥに移る。
（ステップＥ５）
ステップＥ５では、ＡＲ制御部１６が、他者ＡＲキャラクター定義１６３に格納されている受信した端末ＩＤのデータを取得し、ネット通信部１７１を介してＡＲデータベースサーバ３に送信し、処理を終了する。

（ステップＥ６）
ステップＥ６では、ＡＲ制御部１６が、該当する端末ＩＤのデータは格納されていなかった旨の信号を、ネット通信部１７１を介してＡＲデータベースサーバ３に送信し、処理を終了する。
（ステップＥ７）
ステップＥ７では、ＡＲ制御部１６が、自己ＡＲキャラクター定義１６２に格納されている該当端末ＩＤのデータを取得し、ネット通信部１７１を介してＡＲデータベースサーバ３に送信し、処理を終了する。
このような動作の処理により、同じグループＩＤを持つ複数の端末装置群とＡＲデータベースサーバ３とが、データキャッシュサーバの役割を果たすようになり、最初にＡＲキャラクター定義データを要求した端末装置（ここでは携帯電話端末１）は、高い確度で、要求したデータを入手することができる。

なお、上記の構成において、図９で示したように、特定の範囲内に存在するユーザのＡＲキャラクター画像を指タッチで指定する場合には、指タッチしたＡＲキャラクター画像が、同じグループＩＤを持っていない人物のＡＲキャラクター画像である場合には、指タッチによる指定が実行されてもその人物の探索はできないように制御することも可能となる。
この場合、本システムの加入ユーザは、ＡＲキャラクター画像の指タッチで指定した本システムの他の加入ユーザが、どの程度の眼前に居るかを調べることができても、他の加入ユーザの個人情報は保護されることになる。

さらに、この表示を行う際に、ＡＲデータベースサーバ３に対して、同じグループＩＤを持つ人物のみを検索するように予め指定しておくことも可能である。
なお、上記のグループＩＤを参照する各処理においては、グループＩＤの文字列自体ではなく、その文字列から計算されるハッシュコードを通信時に交換することで、グループＩＤの設定が他者に漏洩することを防ぐことができる。

なお、本発明に係る個人識別キャラクター表示システムの各構成要素の処理の少なくとも一部をコンピュータ制御により実行するものとし、かつ、上記処理を、図１０Ａ〜図１４及び図１７、図１８のフローチャートで示した動作手順により、コンピュータに実行させるためのコンピュータプログラムは、半導体メモリを始め、ＣＤ−ＲＯＭや磁気テープなどのコンピュータ読み取り可能な記録媒体に格納して配付しても良い。そして、少なくともマイクロコンピュータ、パーソナルコンピュータ、汎用コンピュータを範疇に含むコンピュータが、上記の記録媒体から上記コンピュータプログラムを読み出して、実行するものとしても良い。
本願は、２０１１年４月２０日に、日本に出願された特願２０１１−０９３８１０号に基づき優先権を主張し、その内容をここに援用する。

特定の個人の撮像の近傍に該個人を視認できる個人識別キャラクターを併せて表示することができる個人識別キャラクター表示システムを提供することができる。

１ 携帯電話端末
２ 携帯電話端末
３ ＡＲデータベースサーバ
１１ カメラ部
１２ 画像メモリ
１３ 顔認識部
１４ 表示部
１５ ＧＰＳ／磁気センサ
１６ ＡＲ制御部
１７ 通信部
３１ 端末通信部
３２ 登録制御部
３３ 検索制御部
３４ ＡＲキャラクタデータベース
１６１ 制御プログラム
１６２ 自己ＡＲキャラクター定義
１６３ 他者ＡＲキャラクター定義
１７１ ネット通信部
１７２ 近距離通信部

Claims (10)

1. 端末装置に搭載したカメラで撮影した現実世界の画像にＣＧ描画した画像を合成描画する個人識別キャラクター表示システムであって、
   前記カメラで撮影した現実世界の画像データから、該画像データを表示する画像領域において所定の被写体の特徴を有する部分領域を、パターンマッチング法で認識して検出する検出手段と、
   前記現実世界の画像の前記検出した部分領域に、該部分領域で特徴付けられた前記被写体に対応して予め保持されている所定のＣＧ画像を合成描画する合成描画部と、
   前記合成された画像領域を含む前記現実世界の画像を表示する画像表示部と、
   を備えた個人識別キャラクター表示システム。
2. 登録ユーザ個人が使用する端末装置には、他の登録ユーザも含めた登録ユーザ個人毎の情報を記録した個人レコードを保持すると共に、前記登録ユーザ個人毎の個人レコードの内訳は、前記ＡＲキャラクター画像の形状を定義する情報、及び前記所定の被写体の特徴を示す情報である請求項１記載の個人識別キャラクター表示システム。
3. 登録ユーザ個人毎の情報を記録した個人レコードを保持するネットワーク上のＡＲデータベースサーバをさらに備えると共に、前記登録ユーザ個人毎の個人レコードの内訳は、前記ＡＲキャラクター画像の形状を定義する情報、及び前記所定の被写体の特徴を示す情報である請求項２記載の個人識別キャラクター表示システム。
4. 前記端末装置と前記他の登録ユーザが使用する他の端末装置とが各々保持する前記登録ユーザ個人毎の個人レコードの情報は、前記端末装置と前記他の端末装置間の直接の近接通信部、若しくは前記ＡＲデータベースサーバが前記ネットワークを介して中継する通信部により、前記端末装置と前記他の端末装置の間で互いに交換して参照する請求項３記載の個人識別キャラクター表示システム。
5. 前記ＡＲデータベースサーバが保持する前記登録ユーザ個人毎の個人レコードの情報は、前記いずれの端末装置においてもダウンロードして該端末装置において参照する請求項３または請求項４記載の個人識別キャラクター表示システム。
6. 前記ネットワーク上の前記ＡＲデータベースサーバには、さらに、登録ユーザ個人が所有する端末装置の現在の位置情報の登録が可能であり、該位置情報は、前記ＡＲデータベースサーバからの前記ダウンロードの際に前記端末装置に送信され、前記合成された画像領域を含む前記現実世界の画像の表示に反映される請求項５記載の個人識別キャラクター表示システム。
7. 前記ネットワーク上の前記ＡＲデータベースサーバに、現在位置が前記カメラの撮影範囲に含まれる他の登録ユーザの端末装置が存在し、かつ該他の登録ユーザの端末装置から登録された前記登録ユーザ個人毎の個人レコードの情報が存在するか否かを検索させる請求項２乃至６のいずれか１項に記載の個人識別キャラクター表示システム。
8. 自己が搭載するカメラで撮影した現実世界の画像にＣＧ描画した画像を合成描画する端末装置であって、
   前記カメラで撮影した現実世界の画像データから、該画像データを表示する画像領域において所定の被写体の特徴を有する部分領域を、パターンマッチング法で認識して検出する検出部と、
   前記現実世界の画像の前記検出した部分領域に、該部分領域で特徴付けられた前記被写体に対応して予め保持されている所定のＣＧ画像を合成描画する合成描画部と、
   前記合成された画像領域を含む前記現実世界の画像を表示する画像表示部と、
   を備えた端末装置。
9. 端末装置に搭載したカメラで撮影した現実世界の画像にＣＧ描画した画像を合成描画する個人識別キャラクター表示方法であって、
   前記カメラで撮影した現実世界の画像データから、該画像データを表示する画像領域において所定の被写体の特徴を有する部分領域を、パターンマッチング法で認識して検出するステップと、
   前記現実世界の画像の前記検出した部分領域に、該部分領域で特徴付けられた前記被写体に対応して予め保持されている所定のＣＧ画像を合成描画するステップと、
   前記合成された画像領域を含む前記現実世界の画像を表示するステップと、
   を有する個人識別キャラクター表示方法。
10. 搭載するカメラで撮影した現実世界の画像にＣＧ描画した画像を合成描画する端末装置を制御するためのコンピュータプログラムであって、
    前記カメラで撮影した現実世界の画像データから、該画像データを表示する画像領域において所定の被写体の特徴を有する部分領域を、パターンマッチング法で認識して検出するステップと、
    前記現実世界の画像の前記検出した部分領域に、該部分領域で特徴付けられた前記被写体に対応して予め保持されている所定のＣＧ画像を合成描画するステップと、
    前記合成された画像領域を含む前記現実世界の画像を表示するステップと、
    を有するコンピュータプログラム。

Images