JP4218637B2 - 情報端末装置 - Google Patents

Description

本発明は、情報端末装置に関するものである。本発明の情報端末装置は、通信システムの端末として用いるパーソナルコンピュータ、携帯電話やPDA（Personal Digital Assistant）等の情報端末装置、テレビ電話機およびカメラ付インタホン等の端末装置に関するものである。

従来、特許文献１に示す画像コミュニケーション機能付情報端末装置および画像配信システムは、テレビ電話等の画像コミュニケーションにおいて画像データを常に通信せずに、主に、顔の特徴点データを通信することで、プライバシとエンタテイメントの両方を向上させる情報システムとして提案されている。

特許文献１に示すシステムは、取り込んだ顔画像から顔の特徴点を抽出し、抽出したデータとユーザが選択したキャラクタとに基づいて選択したキャラクタに表情を持たせ、感情移入させやすく、エンタテイメント性の高い通信システムを構築して、画像コミュニケーションの手軽な利用可能性を高めてきている。

また、画像コミュニケーション等で使用するコンテンツの提供を受ける場合、コンテンツは、配信にともないラインセンス管理もされている。この管理手法には、特許文献２ないし４がある。

特許文献２のコンテンツ管理システムは、ある施設内で利用可能なコンテンツの管理システムであって、位置情報を用いて、コンテンツの閲覧可能な情報端末装置がコンテンツの利用許可範囲の施設内にある場合に所望のコンテンツをダウンロードすることができ、利用禁止の施設外に出るとコンテンツが削除されるように管理する手法を提案している。

また、特許文献３のデータ配信システムおよびデータ端末装置は、暗号化されたコンテンツデータをデータ端末装置が示す位置情報とライセンスデータとを用いて、複号する手法を提案している。さらに、特許文献４のコンテンツ受信装置は、暗号化されたコンテンツデータを復号するために、利用許可条件により復号鍵を利用端末情報として取得し、所望のコンテンツを復号する手法を提案している。

特許第3593067号公報 特開2004−86441号公報 特開2002−140450号公報 特開2002−344921号公報 特開2003−281539号公報 特開平8−251561号公報 特開2000−322588号公報

ところで、現在、パーソナルコンピュータは、カメラおよびマイクロフォンを接続して利用者の画像および音声を入力し、これらの入力によって得られるデータに対してIP（Internet Protocol）を適用して通信相手先にデータと送受信し、通信相手先で供給されたデータを再現するソフトウェア機能の実行によりIPテレビ電話を実現させている。また、携帯電話によるテレビ電話等でも画像通信のプラットフォームが整備されつつあり、上述したような画像コミュニケーションが広く利用されるようになってきている。

しかしながら、現在、画像コミュニケーションは、個々のプラットフォームの通信に制限されている。すなわち、同種間の端末装置との通信に限定されている。画像コミュニケーションは、使い勝手よく、コストを上げることなく、さらなる広範な普及、展開が望まれている。

また、前述したいずれのライセンス管理手法であっても、コンテンツのライセンス情報をコンテンツと別に管理していることから、膨大なコンテンツを扱う際に、コンテンツとライセンスの管理が煩雑になるという問題がある。とくに、特許文献２は、特定の場所でコンテンツを利用する際の制限においても、制限により使用できるか否かの両極端であり、コンテンツ利用に関する自由度がない。

本発明はこのような従来技術の欠点を解消し、使い勝手よく、さらなる広範な利用をもたらすことができる情報端末装置を提供することを目的とする。

本発明は上述の課題を解決するために、画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、この装置は、音声信号を取り込み、音声データにして出力する音声入力手段と、被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、この画像データおよび音声データそれぞれを所定の通信形式に変換するインタフェース手段と、通信相手と通信する複数の画像データおよび音声データのうち、所望の画像データおよび音声データを選択する選択手段と、通信相手の情報端末装置とデータを送受信する送受信手段と、通信相手の情報端末装置からの画像データおよび音声データを出力する出力手段とを含み、インタフェース手段は、音声データおよび画像データの少なくとも一方から表情を表す特徴データを抽出する特徴抽出手段と、この特徴データに基づいてユーザが選択した基本画像としてのキャラクタデータを変形させて、キャラクタ合成画像を生成する表情合成手段と、この表情合成手段に供給するキャラクタデータを管理する画像管理手段と、画像データおよび音声データのそれぞれを所定の通信形式に変換する形式変換手段とを含み、さらに、この装置は、少なくとも、通信する情報端末装置の一つに用いることを特徴とする。

本発明の情報端末装置は、画像データおよび音声データをインタフェース手段および選択手段にそれぞれ、供給し、表情合成手段で特徴データに合わせてキャラクタ合成画像を生成し、このキャラクタ画像および音声データを形式変換手段で所定の通信形式に画像データおよび音声データをそれぞれ変換し、選択手段に供給し、選択手段で複数種類の画像データおよび音声データの中から出力する画像データおよび音声データの一組を選択し、出力することにより、構成を大幅なに変更することなく、エンタテイメント性に優れた画像コミュニケーションを容易に提供することができる。

次に添付図面を参照して本発明による情報端末装置の実施例を詳細に説明する。

本実施例は、本発明の情報端末装置を画像通信システム10の少なくとも、通信端末装置12に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

画像通信システム10は、図１に示すように、通信端末装置12および14、ならびにキャラクタ管理センタ16を含み、これらが通信回線を介してインターネット18にそれぞれ、接続されている。通信端末装置12および14は、ともに同じ構成要素を含む場合や通信形態に応じてそれぞれ異なる構成要素を含む場合がある。以後の実施例にて順次開示していく。

同じ構成要素を含む画像通信システム10の場合を示す本実施例は、通信端末装置12を用いて開示する。通信端末装置12は、画像入力部20、音声入力部22、ドライバ23、操作部28、キャラクタ管理部30、符号化部32、送受信部34、復号部36、映音出力部38および出力選択部56を含む。これに対して、異なる構成要素で構築し簡素化する場合、通信端末装置14は表情特徴抽出部24、表情合成部26およびキャラクタ管理部30を持たなくてもよい。この場合、キャラクタによる合成が行われていない入力画像が通信端末装置14から通信端末装置12に送信される。

画像入力部20は、図示しない光学系を介して被写界または被写体からの入射光40を２次元に配した受光素子に集光し、光電変換によりアナログ画像信号にして、この得られたアナログ画像信号をディジタル画像信号に変換して、通信端末装置12内に画像データとして取り込む機能を有している。画像入力部20は、ユーザの顔を被写体とし、顔画像を画像データ42としてドライバ23および出力選択部56に、それぞれ出力する。

音声入力部22は、周囲の環境音、とくにユーザである通話者の音声44をマイクロフォンによりアナログ音声信号に変換し、アナログ音声信号をディジタル音声信号に変換して、装置12内に音声データとして取り込む機能を有している。音声入力部22は、音声データ46として表情抽出部24および表情合成部26に、それぞれ出力する。

ドライバ23は、図２に示すように、入力選択部25、表情特徴抽出部24、表情合成部26および形式変換部27を含む。入力選択部25には、図２において画像データ42および音声データ46だけが記載されているが、複数の画像入力部および音声入力部からの画像データおよび音声データが供給され、複数の画像データおよび音声データの中から一組の画像データおよび音声データを選択する機能を有している。入力選択部25は、選択した画像データ43および音声データ47を表情特徴抽出部24に出力する。

なお、本実施例以降の実施例では、入力選択部25がなく、画像データ42および音声データ46が直接に表情特徴抽出部24に供給されるものとする。入力選択部25を設けた場合、画像データ43および音声データ47は、表情特徴抽出部24に供給するだけでなく、図示しないがドライバ23からスルー出力させるようにしてもよい。

表情特徴抽出部24は、供給される画像データ43および音声データ47に基づき感情を表すデータを求める機能と、画像データ42が持つ表情を表す特徴データを求める機能とを有している。表情特徴抽出部24は、求めた感情データおよび特徴データ48を表情合成部26に出力する。表情特徴抽出部24は、少なくとも、特徴データを表情合成部26に供給することが望ましい。表情特徴抽出部24は、感情データおよび特徴データを反映するように顔の部位を変位または移動させる表情データ48を出力する。また、表情特徴抽出部24は、操作部28の操作指示信号50に応じて画像を縮小させ、音声とともに映音信号52として映音出力部38に出力する機能も有している。

画像データを利用する場合、表情特徴抽出部24は特許文献１および５の手法が利用できる。また、表情特徴抽出部24が音声データを利用する場合、音声波形を閾値処理してある値以上で表情の特徴部位である口を開いたり、眉を上げたり、ある閾値以下では口を閉じたり、眉を下げたりする表情データを生成して、出力することが可能である。

操作部28は、ユーザの操作により選択された操作指示信号50が図示しない制御部やキャラクタ管理部30に供給する。

表情合成部26は、表情を示す特徴データ48および選択した基本モデルであるキャラクタ画像58を入力し、基本モデル画像のキャラクタ画像が有する特徴点を移動させ、表情に反映させた画像を生成する機能を有する。この機能はアプリケーションソフトウェアで実現させることができる。この画像には、供給されるキャラクタ画像に応じてテクスチャマッピング等が施されて２次元画像や３次元画像が生成される。表情合成部26は、ユーザ（話者）の表情を反映したキャラクタ画像データ54およびたとえば、感情や口の動きに同期するように音声データ55を形式変換部27に出力する。このように表情合成部26は、音声データと画像データとを同時に利用して表情を示す特徴データを合成したり、画像および音声のいずれか一方を利用したりすることが可能である。

また、表情合成部26は、キャラクタ画像データ54および音声データ55で表される映音データ64を映音出力部38に出力している。ただし、これは、送信者が送信画像を確認するためのものであり、映音出力部38への確認画像はなくてもよい。表情合成部26は供給される音声データの音質等を変形させる音声データ変換部を設けてもよい。

形式変換部27は、供給されるデータを所定の形式（フォーマット）に変換する機能を有している。この機能は、アプリケーションのインタフェース機能に対応している。形式変換部27は、画像出力部27aおよび音声出力部27bを含む。画像出力部27aおよび音声出力部27bは、形式変換には、テレビ電話やテレビ会議用のフォーマット、IPテレビ電話用フォーマットおよび携帯電話用フォーマット等のプラットフォームに応じた変換がある。画像出力部27aおよび音声出力部27bは、これら通信相手先のプラットフォームに応じた形式に合わせて、出力する。形式変換部27は、選択した画像および音声データ60および62を出力選択部56にドライバ23の出力として出力する。このようにドライバ23を設けることにより、エンタテイメント性を有する画像コミュニケーションの実現を容易にでき、このコミュニケーションを広く通信相手に提供することができる。

図１に戻って、本実施例における出力選択部56は、供給される画像データ42および60、ならびに音声データ46および62のうち、一組の画像データ72および音声データ74を選択し、出力する機能を有している。出力選択は、図示しない制御部から供給される選択信号70により制御されている。また、図１に図示していないが、出力選択にあたり出力選択部56に供給される画像データにおけるデバイスおよび信号の種類等の情報が、映音出力部38にも供給されている。映音出力部38は、この情報を表示し、操作部28の操作により出力する一組を選択決定に寄与する。出力選択部56は、選択された一組の画像データ72および音声データ74を符号化部32に出力する。

なお、本実施例の出力選択部56は、同じデバイスからの２種類または２組の信号だけを扱っているが、これに限定にされるものでなく、複数のデバイスからの信号を入力し、選択するようにしてもよい。また、出力選択部56は、所定の形式に変換する機能を有することが望ましい。この機能は、とくに、画像データ72および音声データ74が画像データ42および音声データ46の場合、有効にするとよい。これは、画像データ60および音声データ62を除いて、入力される複数の画像データおよび音声データ、たとえば画像データ42および音声データ46を一組としてフォーマット等の所定の調整を行うとよい。

キャラクタ管理部30は、送受信部34を介してキャラクタ管理センタ16からキャラクタ画像データおよび背景データを信号線76からダウンロードして、格納し、キャラクタ画像データおよび背景データのサムネイルデータ78を映音出力部38に出力する機能を有している。これはユーザがキャラクタ画像データおよび背景データを選択する際、これらを組み合わせた最終的な画像の確認に用いるためのものである。ユーザは、操作部28からの操作指示信号50により要求に合わせたキャラクタ画像データおよび背景データを選択し、選択したキャラクタ画像データおよび背景データをコンテンツ58として表情合成部26に出力する。

キャラクタ管理部30は、常にキャラクタ画像データと背景データを管理しなくてもよく、キャラクタ画像データおよび背景データのいずれか一方を管理するだけでも構わない。

符号化部32は、送信する画像データ72および音声データ74を符号化する機能を有している。符号化部32は、圧縮符号化機能を有してもよい。符号化部32は、符号化した映音データ80を送受信部34に出力する。符号化は、従来から既知のものでエンコードするとよい。

送受信部34は、符号化部32からの映音データ80を送信し、通信相手の通信端末装置14から送られてくる映音データを受信する機能を有し、受信した映音データ82を復号部36に出力する機能を有している。また、前述したように、送受信部34はキャラクタ管理部30とキャラクタ管理センタ16の間のデータ通信も行う機能を有している。

復号部36は、送受信部34から供給される映音データ82を復号する機能を有している。復号は、たとえば映音データ82におけるパケットのヘッダ領域に書き込まれている符号化の種類を読み出し、施されている符号化に対して逆変換する機能である。復号部36は、復号した映音データ84を映音出力部38に出力する。

映音出力部38は、図示しないが表示部およびスピーカを有している。表示部のモニタ画面86には、図３に示すように、キャラクタ画像データの一覧表示領域88と背景データの一覧表示領域90を設けている。一覧表示における表示画像それぞれは、ハッチングで示すカーソル92を動かすことで、移動させて切り換えて表示する。選択は、カーソル92の位置が示す画像領域、すなわち上下左右に移動した際の交点を含むキャラクタ画像や背景データをそれぞれ、選択する。

ここで、表示上において、選択したデータは、太い画像枠表示により選択されたことがわかるように表示されている。選択した画像は、プレビュー画面94に確認のため合成表示される。ユーザは、この確認表示に満足した場合、決定ボタン96を押して選択決定する。また、モニタ画面86には、相手の通信端末装置14から送られるテキストデータも表示する。キャラクタ画像の選択画面は、図３に限るものではなく、プレビュー画面94や決定ボタン96を設けず表示させるように様々な表示・選択方法が可能である。

再び、図１に戻って、キャラクタ管理センタ16は、たとえばインターネット18に通信回線98を介して接続されている。キャラクタ管理センタ16は、図４に示すように、コンテンツ管理サーバ100およびストレージ102を含む。ストレージ102には、コンテンツデータをデータベース化して格納されている。コンテンツデータは、図示しないベンダから供給される２次元あるいは３次元のキャラクタデータである。コンテンツ管理サーバ100は、ストレージ102と接続され、コンテンツデータの書込み/読出しが信号線104を介して行っている。コンテンツ管理サーバ100は、キャラクタデータを使用するユーザ情報（登録・履歴等）およびベンダ情報の管理機能も有している。ここで、ベンダとは、キャラクタデータを作成し、供給する業者である。キャラクタ管理センタ16は、キャラクタ管理部30に対する認証、キャラクタデータおよび背景データの使用許諾の可否、ならびに使用制限時間等の時間管理および課金情報等を管理する。

本実施例において画像通信システム10における通信端末装置12は、ドライバ23および出力選択部56の機能を利用することにより、ユーザは、プラットフォームの利用形態を変更することなく、コストアップを極力抑えながら、エンタテイメント性に優れた画像コミュニケーションを提供することができる。この提供によりこの画像コミュニケーションの普及に寄与することができる。また、ユーザに対する使い勝手もよくすることができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例について開示する。以後、共通する構成要素には、先の実施例で使用した参照符号と同じ符号を付し、煩雑な説明の繰返しを避けるため説明を省略する。

本実施例の画像通信システム10は、図５に示すように、先の実施例において構成要素として含まれていたキャラクタ管理センタ16を廃止し、通信端末装置12に廃止した機能を担わせている点に特徴がある。すなわち、通信端末装置12は、この廃止にともないあらかじめストレージ106をキャラクタ管理部30に設け、さらにデータ入力部108を設けている。データ入力部108は、たとえば購入したCD（Compact Disc）やDVD（Digital Versatile Disc）などの外部記憶媒体に記録されたキャラクタデータおよび背景データを読み出す機能を有して、キャラクタ管理部30に読み出したデータ110を出力する。ストレージ106は、供給されるデータ110を格納し、上書きしてもよい。これにより、キャラクタ管理部30は、データのバリエーションを増やすことができる。このように購入した記録媒体を利用していることから、キャラクタ管理部30は、認証、使用許諾、時間および課金の管理等を行わずに済む。動作は、先の実施例と同じである。

このようにキャラクタ管理センタ16とのやり取りが不要になることから、先の実施例におけるキャラクタ管理部30の機能が簡素化され、ユーザとしてもキャラクタ管理センタ16とのユーザ登録などのわずらわしい処理をしなくても画像通信システム10の機能を実現し、利用することができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例について開示する。図６に示すように、本実施例の画像通信システム10における通信端末装置12は、図１の構成にテキスト入力部112を新たに加えている点に特徴がある。テキスト入力部112は、キーボードなどの入力装置からテキストデータ114を入力し、テキストとしてのテキストデータ114を出力する機能および音声データに変換するTTS（Text To Speech）変換機能を有している。テキスト入力部112は、テキストデータおよび/または音声データ116を表情特徴抽出部24に出力する。テキストデータおよび/または音声データ116、ならびに画像データ42および音声データ46のいずれの組合せを出力するかは、操作部28への操作で選択する。

表情特徴抽出部24は、テキストデータ116を用いて表情データ48を抽出し、音声データとともに抽出した表情データ48を表情合成処理部54に出力する。この場合、たとえば、１、２、３、・・・などの数字のように、あらかじめ決めておいた特殊テキストデータに応じて特殊な表情データを出力する設定にしておき、特殊な表情データを出力する。

また、表情特徴抽出部24は、音声データ116を用いて表情データ48を抽出し、音声データとともに抽出した表情データ48を表情合成処理部54に出力する。この場合、表情特徴抽出部24は、音声データ116があらわす口の形状に表情データ48を変化させる。たとえば「あ」を入力すると、「あ」の口形状をした表情データ48を出力する。なお、出力する音声データは、入力される音声データ46ではなく、合成された音声データ116を出力する。

上述したこれら２つの手法は、このように単独で利用することも可能であるが、組み合わせて利用してもよい。この場合は、たとえば通常のテキストデータに特殊テキストデータを組み合わせて入力し、通常テキストデータは、口形状のみ変化させた表情データを出力し、特殊テキストデータが入力されると、あらかじめ設定した特殊表情データを出力させるとよく、特殊表情データに口形状表情データを同期させて出力することも可能である。

さらに、表情特徴抽出部24は、画像データ42、音声データ46およびテキストデータ116を入力し、これらのデータを合成して表情データ48を出力させてもよい。データの合成方法は、様々な方法が利用可能であるが、たとえば画像データ42、音声データ46およびテキストデータ116を同時に入力した場合、表情特徴抽出部24は、口形状の表情データにテキストデータ116を利用し、口形状以外は画像データ42からの表情データを利用し、音声データ46は表情データ抽出に利用しないなどの方法である。テキスト入力部112に設けたTTS機能を表情特徴抽出部24に設置させてもよい。

このようにテキスト入力部112を新たに加え、この入力に対応して表情特徴抽出部24の処理を変更することにより、コミュニケーションのバリエーションを増やすことができ、よりエンタテイメント性の高い画像コミュニケーションを実現できる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例について開示する。図７に示すように、本実施例の画像通信システム10における通信端末装置12は、図１の構成に基本表情生成部118を新たに加えている点に特徴がある。

基本表情生成部118は、通常は無表情状態を基準とし、この基準に対して操作部28から供給される基本表情信号120に基づいて基本表情データ122を作成する機能を有している。基本表情生成部118は、作成した基本表情データ122を表情合成処理部54に出力する。基本表情データ122は、表情特徴抽出部24が出力する表情データ48と同じ形式のデータ形式で、喜怒哀楽などの基本的な表情を表す表情データである。

表情合成処理部54は、表情特徴抽出部24から出力される表情データ48と基本表情生成部118から出力される基本表情データ122とを合成した結果に基づいてキャラクタ画像データ58を変形させる。表情データの合成は、様々な手法が可能であるが、この方法に限定するものではない。表情合成処理部54は、たとえば笑顔の基本表情データ122を基準に表情特徴抽出部24から送られてくる表情データ48を合成する。このようにすることにより、実際の入力画像は笑顔ではなくても、キャラクタ画像は常に笑顔を維持しながら、実際に変化する口形状に変形させることができる。

これにより、キャラクタの表現能力を向上させ、よりエンタテイメント性を高くすることが可能になる。また、構成として、最初の他の実施例に少なくとも、第２および第３の他の実施例における一方を組み合わせてもよい。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例について開示する。これ以降の実施例は、コンテンツに場所や時間等を示す情報としてライセンス情報を付加し、コンテンツおよびライセンス情報の一元管理方法について示す。また、場所や時間等による制限に応じた課金方法も後段にて示していく。本実施例の画像通信システム10における通信端末装置12は、図１の構成のうち、キャラクタ管理部30に図８の構成要素を含む点が相違している。本実施例のキャラクタ管理部30は、ユーザからのコンテンツ取得要求によりキャラクタ管理センタ16と通信して管理しながら、ユーザからのコンテンツ出力要求およびコンテンツに付加されたライセンス情報に応じて格納しているコンテンツを出力する。

図８に示すキャラクタ管理部30は、入力制御部124、コンテンツ制御部126、位置情報管理部128、ストレージ106および出力制御部130を含む。入力制御部124は、操作部28としてのキーボードやマウス等の入力インタフェースを用いて入力される操作指示信号50をユーザからのコンテンツ取得要求として受け付ける機能を有する。コンテンツ取得要求には、取得するコンテンツの内容、すなわちどのコンテンツを取得したいかを示す情報および通信端末装置12のストレージ106に格納されているコンテンツの出力要求が含まれている。入力制御部124は、コンテンツ取得要求132をコンテンツ制御部126に出力する。

位置情報管理部128は、GPS（Global Positioning System）等を用いた通信端末装置12の現在位置を取得する機能を有し、現在位置を経度・緯度等で求め、得られた位置情報134をコンテンツ制御部126に出力する。

コンテンツ制御部126は、３つの機能を持っている。第１に、コンテンツ取得要求132の要求に応じて位置情報134を取得し、キャラクタ管理センタ16に信号線76を介してコンテンツ取得要求132および位置情報134を送信する機能を有する。また、コンテンツ制御部126は、第２に、キャラクタ管理センタ16からの正常なコンテンツの配信に応じて配信されたコンテンツを受信し、ストレージ106にダウンロードしたコンテンツ135を格納する機能も有している。第３に、コンテンツ制御部126は、コンテンツの再生に応じてストレージ106から要求に応じたコンテンツ135を取り出し、出力制御部130に出力する機能を有している。

出力制御部130は、コンテンツ制御部126から出力されるコンテンツの出力命令に応じて再生用や表示用のコンテンツ58および78を出力する機能を有する。出力制御部130は、コンテンツ58および78をそれぞれ表情合成処理部54および映音出力部38に出力する。

次にキャラクタ管理部30とキャラクタ管理センタ16との間の通信について個々の動作により簡単に開示する。図９に示すキャラクタ管理部30の入力制御部124にてコンテンツ取得要求を受け付け、コンテンツ制御部126に通知する（ステップS10）。この通知を受けて、コンテンツ制御部126は、位置情報管理部128に位置情報取得命令134を出す（ステップS12）。位置情報管理部128は、GPS等を用いて、通信端末装置12の位置情報134を取得し、コンテンツ制御部126に出力する（ステップS12）。

次にコンテンツ制御部126は、キャラクタ管理センタ16にコンテンツ取得要求132と位置情報134を含む照合情報76を送信する（ステップS14）。

キャラクタ管理センタ16からの情報を受信する（ステップS16）。受信した情報が配信を認めるか否かを検証する（ステップS18）。コンテンツの配信が認められると（YES）、コンテンツ制御部126は、コンテンツをストレージ106に供給し、格納する処理に進む（ステップS20へ）。また、コンテンツの配信が拒否されると（NO）、コンテンツ制御部126は、コンテンツの配信拒否情報を出力制御部130に出力する。配信拒否情報78は、出力制御部130を介して映音出力部38に供給し、映音出力部38の表示部に表示する。この後、処理を終了する。

ステップS20では、上述した正常なコンテンツ配信を受けて、ストレージ106は、供給されたコンテンツを格納する（ステップS20）。次にコンテンツ制御部126は、ストレージ106からコンテンツ出力要求に応じて格納したコンテンツを、キャラクタデータおよび背景データ58として読み出し、出力制御部130を介して再生したコンテンツ58を表情合成処理部54に出力する（ステップS22）。この出力により、表情合成処理部54は、表情および背景付きキャラクタ画像を生成する。この後、処理を終了する。

次に図４に示すキャラクタ管理センタ16の動作を説明する。キャラクタ管理センタ16は、図10に示すように、コンテンツ管理サーバ100に供給された通信端末装置12からのコンテンツ取得要求76を受信する（ステップS24）。

次に取得要求に該当するコンテンツをストレージ102から取り出す（ステップS26）。図11に示すように、読み出したコンテンツ136は、ヘッダ領域138およびコンテンツ本体140を含む。ヘッダ領域138には、配布許可情報142が含まれている。配布許可情報142は、配布許可地域を示す情報144で、具体的にはフラグ146で示す緯度・経度を中心とし、半径rで囲まれる円領域148や緯度・経度による多角形分割領域150のように表す。とくに、後者の多角形分割領域150は、複数の緯度・経度で囲む領域の重ね合わせで表す。重ね合わせは各領域内か外にあるかを論理演算で示す不等式の条件を与え、それをデータに持たせることができる。この他、緯度・経度から国や地域番号に変換するテーブルを用意すると、より管理が容易となり、国・地域別における著作権の有無の問題なども解決することができる。端末固有情報としてたとえば、端末製造番号等を付加したり、コンテンツデータ等を用いて暗号化された端末固有情報を付加したりして、端末側でコンテンツの不正コピーや内容の改竄を防止するような仕組みを導入してもよい。

次に配信するか否かを判断する（ステップS28）。コンテンツ管理サーバ100は、通信端末装置12の存在する地点を示す位置情報76と配布許可情報142とを照らし合わせて配布してよいかどうか確認する（ステップS28）。位置情報76が配布許可のある地点内にあることを示せば（YES）、コンテンツ管理サーバ100は、コンテンツを通信端末装置12に送信する送信処理に進む（ステップS30へ）。また、位置情報76が配布許可しない地点にいるまたは許可しないコンテンツの場合（NO）、配信の拒否情報を通信端末装置12に送信する送信処理に進む（ステップS32へ）。

次にコンテンツを通信端末装置12に送信する（ステップS30）。この送信段階では、通信端末装置12に対する認証、使用権限および課金等がすでに許容されていることは言うまでもない。ステップS32では、配信の拒否情報を送信する。これら情報の送信後、動作を終了する。

このように動作させることにより、通信端末装置12の位置情報76に応じたコンテンツ配信を制御することができ、ライセンス情報とコンテンツデータを分割して管理することなく、管理を簡素化することができる。また、配布許可情報142に複数の許可地域を設定することにより、これまで同一コンテンツを複数で管理しなければならなかったものが、一元管理できるようになる。さらに、緯度・経度から国や地域番号に変換するテーブルを用意すると、より管理が容易となる上、国・地域別における著作権の有無の問題等を解決することができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例について開示する。本実施例では画像通信システム10におけるキャラクタ管理センタ16は、図４に示した構成要素に新たなストレージ152をスタンプラリー用のデータベースとして加えている。ストレージ152は、各通信端末装置の識別情報、イベント情報や位置情報履歴を保持するスタンプラリーデータベース（DB）を有し、このデータベースに保持されている位置情報履歴に応じて格納するコンテンツ154をコンテンツ管理サーバ100に配信する。ストレージ152は、コンテンツ管理サーバ100により管理されている。

コンテンツ管理サーバ100は、前述したように、通信端末装置12からのコンテンツ取得要求に応じて、コンテンツDBよりコンテンツを取得し、通信端末装置12の位置情報76と、ストレージ152のスタンプラリーDBの位置情報履歴およびコンテンツに含まれる配信してよいかどうかの配布許可情報とを照合して、許可があればコンテンツを配信する。配信許可条件は、位置履歴の順番や位置情報取得時間等を組み合わせてもよい。

先の実施例との相違する本実施例の動作について説明する。相違は、キャラクタ管理センタ16の動作にある。図12に示すように、コンテンツ管理サーバ100は、通信端末装置12からコンテンツ取得要求を受信し（ステップS24）、ともに供給される通信端末装置12の位置情報をスタンプラリーDBに保存する（ステップS34）。次に要求のあったコンテンツをストレージ102のコンテンツDBから取り出す（ステップS26）。

本実施例では、図13に示すように通信端末装置12の配布許可情報142に含まれる位置履歴をスタンプラリーDBから取り出す（ステップS36）。配布許可情報142には、領域156内における位置履歴としてA地点、B地点、C地点、・・・に対応する位置情報146A, 146B, 146C,・・・が含まれる。さらに、配布許可情報142は、たとえば図14に示すように、識別情報、イベント情報および位置情報履歴を順次格納している。

図12に戻って、次にコンテンツ管理サーバ100は、位置情報履歴および現在の位置情報と配信可否情報とを照合して配信してよいか否か確認する（ステップS28）。配信許可のある地点であれば（YES）、ステップS30に進み、コンテンツを通信端末装置12に送信する。また、コンテンツが配信禁止の場合（NO）、ステップS32に進み、配信の拒否を通信端末装置12に送信する。

これにより、キャラクタ管理センタ16は、通信端末装置12の位置情報、位置情報履歴に応じたコンテンツ配信を制御することが可能になり、今までライセンス情報、イベント情報およびコンテンツデータをそれぞれ、分割して扱い、複雑に管理しなければならなかったが、コンテンツと通信端末装置12のスタンプラリー情報だけで管理できるようになり、ライセンス管理を従来よりも容易にすることができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例について開示する。図15に示すように、本実施例では、図８に示した通信端末装置12におけるキャラクタ管理部30の構成要素にライセンス管理部158を新たに加え、入力制御部124、位置情報管理部128、ストレージ106および出力制御部130に、それぞれ接続されている。通信端末装置12は、コンテンツの出力要求をコンテンツに付加されている配布許可情報142に基づいてコンテンツのライセンス情報を管理する点にある。

通信端末装置12において入力制御部124は、コンテンツ取得要求やコンテンツ出力要求を含む操作指示信号50を、それぞれ受け、コンテンツ制御部126とライセンス管理部158とにコンテンツ取得要求132やコンテンツ出力要求160をそれぞれ、出力する。ライセンス管理部158は、供給されるコンテンツ出力要求160を受け、コンテンツ出力要求162を位置情報管理部128に出力する。

位置情報管理部128は、コンテンツ出力要求162の供給に応じて通信端末装置12自身の現在位置情報を取得する。位置情報管理部128は、取得した現在位置情報162をライセンス管理部158に出力する。

ライセンス管理部158は、ストレージ106に信号線164を介して接続されている。ライセンス管理部158は、信号線164を介してコンテンツ出力要求160の供給に応じてストレージ106が格納する配布許可情報142を読み出すように読出し制御信号を供給する。ストレージ106は、読出し制御信号に対応する配布許可情報142を読み出してライセンス管理部158に出力する。ライセンス管理部158は、現在位置情報162と配布許可情報142とを比較し、コンテンツの使用可否を判断する。ライセンス管理部158は、使用許可との判断に応じてストレージ106にアクセスして、コンテンツを読み出し、出力制御部130を介して出力する。また、ストレージ106は、図８に示したキャラクタ管理部30と同様に、コンテンツ制御部126の制御に応じてキャラクタ管理センタ16からのダウンロードし、コンテンツを格納している。

次に本実施例におけるコンテンツ出力要求に対応した動作を簡単に開示する。コンテンツ出力要求とは、通信端末装置12のストレージ106が保持しているコンテンツを選択し、ライセンス情報を確認後、映音出力部38に表示させる手順である。まず、図16に示すように、操作部28の操作により操作指示信号50を入力制御部124に入力する（ステップS38）。ここで、供給される操作指示信号50は、ユーザからのコンテンツ出力要求である。

次に入力制御部124で受け付けたコンテンツ出力要求160をライセンス管理部158に渡す（ステップS40）。ライセンス管理部158では、入力制御部124から受け取ったコンテンツ出力要求160を基にストレージ106を検索する（ステップS42）。ストレージ106は、この検索結果により得られたコンテンツ140およびコンテンツに付加されている配布許可情報142を信号線164を介して、ライセンス管理部158に出力する。ライセンス管理部158は、この入力によりコンテンツ140および配布許可情報142を取得する。また、図示していないが、コンテンツに端末固有情報が付加されている場合、ユーザの通信端末装置12の端末固有情報と照合することにより不正コピーを判断できる。さらに、図示していないが、コンテンツデータ等を用いて暗号化された暗号化端末固有情報が付加されている場合、通信端末装置12でたとえば、コンテンツ140と端末固有情報とを用いて、暗号化された端末固有情報を生成し、通信端末装置12で生成した暗号化端末固有情報と、コンテンツに付加された暗号化端末固有情報と照合することにより不正コピーや改竄を検出することができるようになる。

次にライセンス管理部158で位置情報管理部128より通信端末装置12の現在位置情報162を取得する（ステップS12）。次にライセンス管理部158は、取得したコンテンツの配布許可情報142と、取得した現在位置情報162とを比較し、現在位置での使用が許可されるか否かを判断する（ステップS44）。現在位置が配布許可情報142に記載されている使用許可範囲内に含まれる場合（YES）、出力制御部130への出力処理に進む（ステップS22へ）。また、現在位置が配布許可情報142に記載されている使用許可範囲外である場合、出力制御部250にコンテンツが使用できない旨の通知処理に進む（ステップS46へ）。

ステップS22では、ライセンス管理部158は、ストレージ106から所望のコンテンツを再生し、表示させるようにコンテンツ58および/または78を出力制御部130に供給する。出力制御部130はコンテンツ58および/または78を出力する。

ライセンス情報管理部158は、使用許可範囲外の判断に応じて出力制御部130にコンテンツが使用できない旨のメッセージを渡し、映音出力部38に供給して、メッセージを通知する（ステップS46）。

なお、通信端末装置12がキャラクタ管理センタ16からコンテンツをダウンロードして使用する場合、通信端末装置12は、キャラクタ管理センタ16にコンテンツ取得要求を送信する（ステップS48）。通信端末装置12は、キャラクタ管理センタ16での処理によりコンテンツを受信する（ステップS16）。受信したコンテンツは、ストレージ106に格納される（ステップS20）。この後、ストレージ106は所望のコンテンツに対して読出しおよび再生を行うように出力する。

このようにコンテンツに使用許可範囲を付加し、使用地域等を限定できることにより、ライセンスサーバ等のネットワーク通信を介さず、コンテンツのライセンスを管理することができる。また、コンテンツの管理上ライセンスサーバなどを保持しなくて良いことから、設備コストや通信料金を削減することができる。

本実施例の利用としては、たとえば、アミューズメントパークや図書館といった所定の施設内だけで利用可能なコンテンツを作成すると、来場者の増加や施設利用の促進等の効果を発揮させることができる。

次に本発明の情報端末装置を適用した画像通信システム10における他の実施例について開示する。本実施例は、通信端末装置12でのライセンス管理を利用位置や地域に応じた課金によりコンテンツを利用することを特徴とする。本実施例の構成は、図15に示した画像通信システム10と相違する点に着目して、画像通信システム10における通信端末装置12に対して課金する課金システムを図17に示す。

ストレージ102には、コンテンツデータをデータベースとして格納されている。コンテンツには配布許可情報142が含まれている。図18に示すように、配布許可情報142は、地域を示すとともに、一定の距離や範囲内に応じた料金体系も含む情報144が書き込まれている。情報144は、具体的には料金体系の情報144aのように示される。位置情報の表記は先の実施例に同じ形式を用いている。

図17に戻って、課金サーバ166は、ラインセンス管理部158からのコンテンツの利用料金取得要求を受け、ストレージ102のコンテンツDBに信号線168を介してアクセスして、探索し、コンテンツに付加されている利用料金を抽出し、ライセンス管理部158に信号線170、IPネットワーク18および信号線172を介して通知する機能を有している。

キャラクタ管理部30のライセンス管理部158は、入力制御部124からの操作指示信号50をコンテンツ出力要求160として入力制御部124から入力し、位置情報管理部128にコンテンツ出力要求162を出力する。ライセンス管理部158は、コンテンツ出力要求160の供給に応じて位置情報管理部128から通信端末装置12の現在位置情報162を取得する。ライセンス管理部158は、ストレージ106からコンテンツに格納されているコンテンツの配布許可情報142に含まれている位置情報164を取得する。ライセンス管理部158は、現在位置情報162と配布許可情報142の位置情報164とを比較し、コンテンツの使用許可を判断する。使用許可位置ではない場合、ライセンス管理部158は、信号線172、IPネットワーク18および信号線170を介して課金サーバ166に問い合わせる。ライセンス管理部158は、課金サーバ166からコンテンツの使用位置に応じた利用料金情報を受けて、利用料金を支払うことでコンテンツの使用が許可され、コンテンツを出力制御部130に出力し、出力制御を管理制御する。ライセンス管理部158は、使用許可する場合、出力制御部130を管理制御し、この制御に応じて供給されたコンテンツの出力している。

キャラクタ管理センタ16は、通信端末装置12からのコンテンツ取得要求に応じて、コンテンツを配信し、課金サーバ166により、通信端末装置12の位置情報に応じて課金情報を提示する。通信端末装置12は、提供される課金情報を基に場所に応じた対価を支払って、コンテンツを利用する。

次に本実施例の動作を図19に開示する。ライセンス管理部158は、コンテンツ出力要求の受付〜使用許可の判断（ステップS38〜44）の手順を進め、使用許可と判断した場合（YES）、コンテンツ出力処理に進む（ステップS22へ）。また、使用許可範囲外との判断の場合（NO）、課金サーバ166への問合せに進む（ステップS50へ）。

通信端末装置12は、現在の位置情報を課金サーバ166に出力する。課金サーバ166では、現在の位置情報を基に利用料金を問い合わせる（ステップS50）。課金サーバ166は、問い合わせた位置情報を基にストレージ102のコンテンツDBを探索し、該当する料金を求め、取得する（ステップS52）。課金サーバ166は、取得した料金情報または課金情報を通信端末装置12に供給する。通信端末装置12は、供給される料金情報78を映音出力部38に出力し、表示する。

ユーザは、表示される料金を見て、操作部28を操作して、利用を選択する（ステップS54）。利用を承諾する場合（YES）、支払いの通知処理に進む（ステップS56へ）。また、利用を拒否する場合（NO）、利用拒絶の通知処理に進む（ステップS58へ）。

支払いの通知処理は、通信端末装置12から課金サーバ166に利用する旨の情報および料金の払い込み完了を示す情報を通知する（ステップS56）。また、この完了を受けて、通信端末装置12は、所望するコンテンツを読み出し、再生する（ステップS22：出力）。この後、コンテンツ出力要求処理を終了する。

一方、利用拒絶の通知処理は、通信端末装置12から課金サーバ166に使用拒否を示す情報を通知する（ステップS58）。ライセンス管理部158は、この通知を受けて、コンテンツを利用しない旨を映音出力部38に出力し、表示する（ステップS60）。この後、コンテンツ出力要求処理を終了する。

このように、利用場所に応じて課金することでコンテンツの利用制限を緩和しながら、コンテンツ提供者に対する作成したコンテンツの効率的な利用を促進させ、コンテンツ提供にともなう経費を利用料金から適切に回収することができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例について開示する。本実施例の通信端末装置12は、位置情報ではなく、使用期限や日時の時刻情報によりライセンスを管理する点に特徴がある。

本施例の構成は、上述した特徴を実現させる上で、図20に示す時刻情報管理部174を具備し、ライセンス管理部158に信号線162aを介して接続されている。図20のキャラクタ管理部30は、この構成要素、時刻情報管理部174以外の構成および接続が図15の構成に同じである。すなわち位置情報管理部128が時刻情報管理部174で置き換えられている。

なお、本実施例では、時刻情報だけを扱うとしたが、この情報に限定されるものでなく、図示しないが位置情報も扱う構成要素を含んでいてもよいことは言うまでもない。

ライセンス管理部158は、ストレージ106とアクセスし、検索して、情報を読み出す。ストレージ106は、コンテンツデータのデータベースとして機能させ、コンテンツに含む配布許可情報を図21に示す時刻情報144bとしている。時刻情報114bは、具体的に一定期間や使用期限が記載された使用許可日数で設定されている。ライセンス管理部158は、ユーザのコンテンツ取得要求をキャラクタ管理センタと通信するとともに、ユーザのコンテンツ出力要求に応じて時刻情報管理部174から取得した端末の現在時刻と取得したコンテンツの使用期限とを比較し、コンテンツの使用可否を判断する機能を有している。

時刻情報管理部174は、現在日時を取得する時計機能を有し、西暦、年月日、時分秒等を計測し、ライセンス管理部158に出力している。

次に本実施例の動作を開示する。本実施例の動作手順は、図22に示すように、上述した構成において配布許可情報142の取得（ステップS42）まで同じ手順で処理する。この後、ライセンス管理部158では、時刻情報管理部174から通信端末装置12の現在時刻情報162aを取得する（ステップS62）。

次にライセンス管理部158では、取得したコンテンツの配布許可情報142と取得した現在時刻情報162aとを比較し、使用可否を判断する（ステップS64）。現在時刻が配布許可情報142の使用期限内である場合（YES）、出力制御部130にコンテンツを出力させ、出力制御部130が出力するコンテンツを映音出力部38で再生・表示する処理に進む（ステップS22へ）。また、現在時刻が使用期限切れを示す場合（NO）、出力制御部130にコンテンツが使用できない旨のメッセージを渡し、ユーザに通知する通知処理に進む（ステップS46へ）。これ以降の各工程（ステップS22, S46）は、図16の手順で動作させる。

このようにコンテンツに使用期限を付加し、使用期間を限定できることにより、ライセンスサーバなどのネットワーク通信を介さず、コンテンツのライセンスを管理することができる。また、コンテンツの管理上、ライセンスサーバなどを保持しなくて済むことから、設備コストや通信料金を削減することができる。具体例としては、ユーザに対するコンテンツの試用やキャンペーン期間の一定期間だけコンテンツを利用させることが容易に行うことができる。

次に本発明の情報端末装置を適用した画像通信システム10における通信端末装置の他の実施例について開示する。本実施例は、先の実施例と同様に位置情報ではなく、使用期限や日時の時刻情報によりライセンスを管理し、たとえば利用期限が過ぎてしまっても課金することでコンテンツの継続利用を可能にする点に特徴がある。

図23の画像通信システム10における通信端末装置12のキャラクタ管理部30は、構成要素、時刻情報管理部174以外の構成および接続が図17の構成に同じである。すなわち位置情報管理部128が時刻情報管理部174で置き換えられている。

なお、本実施例では、時刻情報だけを扱うとしたが、この情報に限定されるものでなく、図示しないが位置情報も扱う構成要素を含んでいてもよいことは言うまでもない。

ストレージ102には、コンテンツデータをデータベースとして格納されている。コンテンツには配布許可情報142が含まれている。図24に示すように、配布許可情報142は、使用期限に対する料金体系を示す情報144cが書き込まれている。情報144は、具体的には料金体系の情報144cのように示される。位置情報の表記は先の実施例に同じ形式を用いている。

図23に戻って、課金サーバ166は、ラインセンス管理部158からのコンテンツの利用料金取得要求を受け、ストレージ102のコンテンツDBに信号線168を介してアクセスして、探索し、コンテンツに付加されている利用料金を抽出し、ライセンス管理部158に信号線170、IPネットワーク18および信号線172を介して通知する機能を有している。

ライセンス管理部158は、入力制御部124からのコンテンツ出力要求を入力し、時刻情報管理部174から取得した通信端末装置12の現在時刻情報162aと、取得したコンテンツの使用期限とを比較し、コンテンツの使用可否を判断する機能を有している。とくに、判断結果が使用期限切れを示した場合（NO）、課金サーバ166に問い合わせて、コンテンツの延長期間に応じた利用料金を支払うことでコンテンツの利用を提供する機能も有している。

次に本実施例の動作を開示する。本実施例の動作手順は、図25に示すように、上述した構成において配布許可情報の取得（ステップS42）まで同じ手順で処理する。この後、ライセンス管理部158では、時刻情報管理部174から通信端末装置12の現在時刻情報を取得する（ステップS62）。

次にライセンス管理部158では、取得したコンテンツの配布許可情報142と取得した現在時刻情報162aとを比較し、使用可否を判断する（ステップS64）。現在時刻が配布許可情報の使用期限内である場合（YES）、出力制御部130にコンテンツを出力させ、出力制御部130が出力するコンテンツを映音出力部38で再生・表示する処理に進む（ステップS22へ）。また、現在時刻が使用期限切れを示す場合（NO）、課金サーバ166への問合せに進む（ステップS50へ）。

通信端末装置12は、現在の位置情報を課金サーバ166に出力する。課金サーバ166では、現在の時刻情報を基に利用料金を問い合わせる（ステップS50）。課金サーバ166は、問い合わせた時刻情報を基にストレージ102のコンテンツDBを探索し、該当する延長利用料金を求め、取得する（ステップS52）。課金サーバ166は、取得した料金情報または課金情報を通信端末装置12に供給する。通信端末装置12は、供給される料金情報78を映音出力部38に出力し、表示する。

この利用料金のユーザ提示以降は、前述した処理、すなわちステップS56、S58、S60およびS22をそれぞれ、行う。

このように使用期限を課金により更新・延長することで、コンテンツの試用等を行った後に、商用版として正式にユーザに提供することが容易になり、ユーザに対してコンテンツを使用したいときに、使用したい分だけの課金を提供することができる。また、コンテンツの作成経費を利用料金により効率的に回収することが可能になる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例について開示する。図26に示すように、本実施例の通信端末装置12には、ガイダンス情報生成部176、通知制御部178、オブジェクト格納部180および追従処理部182を含む。通信端末装置12は、基本的に図１の構成要素を含み、キャラクタ管理部30およびキャラクタ管理センタ16が前述した構成要素を含んでいてもよいことは言うまでもない。

このような画像通信において、ユーザのカメラ写りは互いのコミュニケーションの質に影響を与えることが知られている。従来、この分野では、いくつかの方法が採られてきた。第１の方法には、ユーザ自身を撮像した画像を表示する方法がある。この方法は、相手側からの画像を表示している画面内に小ウィンドウとして表示するピクチャインピクチャ方式や画面を複数の領域に分割した一つの領域に表示する画面分割方式が用いられてきた。

第２の方法としては、特許文献６の画像通信端末装置のユーザインタフェースがあり、ユーザがカメラの撮影範囲外である場合、受信した相手側画像に対して種々の操作を行った後に表示状態を変更して表示することで、自地点画像を表示せずにユーザがカメラの撮影範囲内に位置するか否かの判断を可能にし、ユーザがカメラの撮影範囲から逸脱したことを通知する方法がある。

しかしながら、上述した第１の方法で挙げた２つの方式による表示では、ユーザ自身の画像だけを表示することから撮影状況を確認し難く、撮影状況の調整もユーザが実際に表示される画像を見て判断する以外にないという問題がある。

また、第２の方法においてユーザが撮影範囲内にいる場合、どのような位置にいるのか等を確認することができないという問題がある。この方法は、ユーザの位置を撮影範囲内に調整することを可能にするが、ユーザ画像を表示せずに相手の画像だけの通知を受け、表示することから、たとえば周囲の明るさ、カメラ・ユーザ間の距離等他の撮影状況については確認することができない。

本実施例の画像通信システム10における通信端末装置12は、上述した構成要素のうち、ガイダンス情報生成部176および通知制御部178を適用して、撮影状況を確認操作しながら、画像通信している。ガイダンス情報生成部176は、求めた感情データおよび特徴データ48を基にガイダンス情報を生成する機能を有し、図27に示すように、ガイダンス情報判定部184を含んでいる。ガイダンス情報とは、抽出処理の結果である感情データおよび特徴データ48を基に抽出処理の成功や失敗を判定して得られる現在の判定結果および一定期間の抽出処理成功率のそれぞれを表す情報である。ガイダンス情報生成部176は、生成したガイダンス情報186を通知制御部178に出力する。

図27に戻って、通知制御部178は、供給されるガイダンス情報186からユーザへ通知すべき情報186を生成する機能を有している。通知制御部178は、通知情報188を映音出力部38に出力している。通知情報188は、供給されるガイダンス情報186の段階に対応して点灯させるランプの数に対応した情報である。通知制御部178は、図28に示すように、ガイダンス情報186と通知情報188とをたとえば、抽出処理成功率とランプの点灯数とに対応させている。

映音出力部38は、抽出処理の状態を供給される通知情報188に応じて表示させる。表示は、たとえば図29に示すように、判定結果に基づき「成功」や「失敗」という文字列を表示する文字列表示部190や記号「○」や「×」のほかに図形等の形状を表示する記号表示部192およびこれらの大きさで状況を報知する段階表示部194を設けて行うことが好ましい。文字列や図形は、色を変化させて報知してもよい。また、この他、音声出力によりユーザに報知させてもよい。たとえばビープ音の出力だけでなく、「成功」や「失敗」、「○」や「×」などの文字または文字列を読み上げて出力してもよいし、あらかじめ登録されている文字または文字列を読み上げて出力させてもよい。音声出力は、任意に出力／非出力の設定ができることが望ましい。

図26に示した通信端末装置12における画像通信の動作を簡単に説明する。ユーザは通信端末装置12を用いて顔画像を撮影する。図30に示すように、通信端末装置12は画像入力部20を介して顔画像を取得する（ステップS66）。顔画像の画像データ42を表情特徴抽出部24に出力する。

次に表情特徴抽出部24にて通信相手に対する画像送信しないか否かを判断する（ステップS68）。図示しないが、この判断は、制御信号に対応して行う。制御信号は、たとえばユーザによる操作に応じて操作部28から供給される操作指示信号50に基づいて生成される。特徴データ48を送信しない場合（YES）、表情特徴抽出部24に出力し、抽出処理に進む（ステップS70へ）。また、送信する場合（NO）、画像データ42の送信処理に進む（ステップS72へ）。

ステップS70では、画像データ42から表情の特徴を抽出する。次にキャラクタ画像を生成するか否か判断する（ステップS74）。この判断も操作に応じて行われる。キャラクタ画像を生成する場合（YES）、画像生成処理に進む（ステップS76へ）。また、キャラクタ画像を生成しない場合（NO）、ガイダンス情報の生成処理に進む（ステップS78へ）。

画像生成処理では、表情合成処理部54でキャラクタ画像を生成する（ステップS76）。ここでの処理は、供給される特徴データ48を基にガイダンス情報186も生成している。キャラクタ画像および背景のコンテンツ58に表情を反映させた背景付キャラクタ画像にする。

ガイダンス情報の生成処理では、ガイダンス情報生成部176で抽出処理成功率等を生成し、通知制御部178に出力する。ガイダンス情報の生成処理は、手順として分けて表しているが、背景付キャラクタ画像を生成する場合にも行うようにしてもよい。これにより、ユーザは撮影状況を確認することができる。

次に生成した表情付キャラクタ画像または顔画像データを送信する（ステップS72）。映音出力部38には送信した画像を表示する（ステップS80）。この表示後、処理を終了する。

一方、通知制御部178では、供給されるガイダンス情報186に対応する通知情報188を生成し、映音出力部38に出力する（ステップS82）。ユーザは、映音出力部38に表示される通知に応じてたとえば、次の画像取得をどのようにするか対応する。この通知は、ランプの点滅数だけでなく、音声の出力を抽出処理成功率にしたがって段階的に大きくしたり小さくしたりしてもよい。この表示後、処理を終了する。

このようにガイダンス情報186に対応する通知情報188を表示させ、ユーザに対し撮影状況を通知することにより、利用の際にユーザ自身が撮影状況を容易に確認することができ、ユーザの負担を低減することができる。また、ユーザはカメラで適切に撮影されていても、撮影状況を確認できるので利便性を非常に高めることができる。

図26に戻って、オブジェクト格納部180および追従処理部182について開示する。特許文献７の画像処理装置およびその方法は、面内の顔の大きさ、位置の変化に応じて仮想物体であるオブジェクトの大きさ・位置を変更し、顔の動きに追従する画像合成を提案している。この画像合成を用いると、図31に示すように、図31(a)の入力した顔画像に仮想的な帽子をかぶらせると、図31(b)が得られる。顔画像が左右に動くと、図31(c)に示すように、その帽子は頭にきちんと乗っている。このように画像合成は、動画像に対するコミュニケーションツールとして使用することができる。

しかしながら、上述した手法はオブジェクトが２次元の図形であることから、振り向くなど顔の向きを変更しても、合成したオブジェクトの向きが変化せず、非常に不自然、かつ単調な合成画像になってしまう。この点で特許文献７は、機能の乏しいコミュニケーションツールと言わざるを得ない。

本実施例では、これに対してオブジェクト格納部180および追従処理部182を用いて自然なオブジェクトの合成画像をユーザに提供している。この提供により、ユーザを広めることに寄与することができる。

オブジェクト格納部180は、たとえばリボン、眼鏡および帽子等の３次元で作成された形状のデータを格納する機能を有している。ユーザの選択に応じたオブジェクトデータ196を表情合成処理部54および映音出力部38に、それぞれ出力している。

追従処理部182は、供給される特徴データ48に含まれる顔画像が示した頭の平行移動量、拡大・縮小量、回転量をオブジェクトに反映させ、表示する機能を有している。追従処理部182は、顔の変化に追従してオブジェクトを変形させた追従データ198を表情合成処理部54に出力する。

この動作を開示する。表情特徴抽出部24では、少なくとも、顔の向き、目・口など顔の各部位の位置などを解析して、特徴データ48を作成する。特徴データ48は、オブジェクトの変形量を含んでいる。この変形量は、３次元グラフィックスで一般的に使用されている4×4の行列を使用して表すとよい。これを用いると、図32に示すように、(a)に示す基準の顔画像の目、鼻、口の位置と比較して、(b)の平行移動、(c)の（拡大/）縮小および（d）の回転すべてを表現することができる。特徴データ48は、オブジェクトの変形がどれであるかの情報を含んでいる。

表情特徴抽出部24では、基準となる顔画像と入力した顔画像の各部位、すなわち目、鼻、口での位置のずれをオブジェクトの変形量として解析する。この解析は、追従処理部182で行ってもよい。顔における各部位の位置の解析には、特許文献５等を使用するとよい。図32では、顔画像が目、鼻、口が一様に動いた量を平行移動、分布が狭まった縮小と判断し、さらに両目の中心位置を基にした鼻または口のずれから顔の振り向いた量を回転量として解析している。

より具体的には、図33(a)に示す顔画像が供給されると、表情特徴抽出部24は、図33(b)に示すようにオブジェクト変形量を解析する。次にオブジェクトとしてリボンを選択する（図33(c)を参照）。追従処理部182では、平行移動量、拡大・縮小量および回転量をそれぞれ、オブジェクトに反映させた、図33(d)に示す追従データ198を生成する。表情合成部26では、適切な形状に変形させたオブジェクトと顔画像または選択したキャラクタ画像とを合成することにより図33(e)に示す合成画像を作成する。

ここで、合成画像に使用するオブジェクトの数はいくつでも構わない。オブジェクトを２次元モデルである板ポリゴンにすると、画像の合成の処理速度を上げることもできる。オブジェクトの変形で縮小によってオブジェクトを非常に小さくすることでオブジェクトの非表示にすることも可能である。

ユーザの顔の向きを考慮した３次元形状のオブジェクトを作成して、キャラクタ画像等と合成することで自然な合成画像を作成することができる。また、入力された顔画像を覆うお面のようなオブジェクトを使用すれば、背景はそのままに自分の顔を隠しながらコミュニケーションすることもできる。

図34〜図36の画像通信システム10は、図５〜図７の構成にガイダンス情報生成部176、通知制御部178、オブジェクト格納部180および追従処理部182を、それぞれ配設した構成を示している。この構成により、広範なユーザの獲得とともに、ユーザにとって使い勝手よく、かつオブジェクト付加にともなうエンタテイメント性の高い画像通信システム10を提供することができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例としてガイダンスによる通知表示だけに着目して説明する。本実施例の通信端末装置12は、図34〜図36の構成にそれぞれ、図37に示すように、ストレージ200を配設する。ストレージ200は、通知情報の対応を管理するガイダンスデータベースを格納している。ストレージ200は、通知制御部178と信号線202を介して接続されている。

また、ガイダンス情報生成部176には、特徴データ48だけでなく、画像データ42が供給されている。ガイダンス情報生成部176は、図38に示すように、抽出データ判定部204、画像明暗判定部206、顔距離判定部208、開閉判定部210、顔角度判定部212および統合判定部214を含む。抽出データ判定部204、顔距離判定部208、開閉判定部210および顔角度判定部212は、それぞれ、供給される特徴データ48を入力し、統合判定部212に判定結果としてデータ216を出力している。また、画像明暗判定部206は、供給される画像データ42を入力し、統合判定部212に判定結果としてデータ216を出力している。

抽出データ判定部204は、ガイダンス情報判定部184に対応している。画像明暗判定部206は、撮像した画像データ42から抽出処理結果を基準とした任意の領域に対するヒストグラムの算出による判定や任意の領域の濃度値を加算し画素数で割った値による判定等、様々な手法を適用することにより画像の明暗判定を実現する。この判定により、ユーザは事前に適切な撮影環境の明暗が把握できる。

顔距離判定部206は、抽出処理結果に含まれる左目と右目、左口端と右口端等の自由な複数の組み合わせの距離による判定や抽出処理結果を基準とした顔の領域の大きさによる判定等、様々な手法を適用してユーザの適切な顔距離を判定することができる。この判定により、ユーザは事前に画像入力部20との適切な距離を把握することができる。

開閉判定部208は、抽出処理結果である特徴データ48と撮像した画像データ42とから目領域内の濃度値の変動に基づく判定やテンプレートマッチングによる判定等、様々な手法を適用することにより左目、右目それぞれの開閉有無の判定することができる。この判定により、顔特徴量の抽出が安定して行うことができないと思われる場合に対して目が閉じているという情報を事前にユーザに知らせることで顔の抽出精度を向上させ適切なコミュニケーションを行うことが可能となる。この場合、開閉判定部210には、画像データ42を入力するように接続してもよい。

顔角度判定部212は、特徴データ48の左目と右目のそれぞれの目頭と目尻との距離および左端と口右端との距離の算出、左目と右目のそれぞれの上まぶたと下まぶたの距離および眉間と口中心との距離の算出、ならびに左目と右目の瞳を結んだ直線と水平との傾きおよび口左端と口右端を結んだ直線と水平との傾きの算出による判定や抽出処理結果を基準とした顔の領域の傾きによる判定等、様々な手法の適用により顔角度を判定することができる。この判定により、ユーザに事前に知らせることで適切なコミュニケーションを行うことが可能となる。

統合判定214は、上述した判定結果216を統合する機能を有し、ガイダンス情報186を生成する。統合判定部214は、ガイダンス情報186を通知制御部178に出力する。

通知制御部178は、受信したガイダンス情報186に基づきストレージ200のガイダンスDBを使用して通知情報188を生成する。通知制御部178は、映音出力部38に送信する。映音出力部38は、受信した通知情報188に見合った通知を表示することができる。ガイダンスDBには、たとえば図39に示すガイダンス情報186と通知情報188との対応が管理されている。

本実施例の動作を簡単に説明する。図40に示すように、動作手順は、図30に示したステップS76とステップS82との間にガイダンス情報186に基づきストレージ200のガイダンスDBを使用して通知情報188を生成する工程（ステップS84）を設けている。

ガイダンスDBを使用して通知情報188を生成させ、表示させ、ユーザに対し適切なガイダンスを行うことにより、表情付画像通信システムの利用においてユーザ自身が撮影状況を詳細に知ることができ、ユーザの負担を大幅に低減できる。また、適切でない撮影状況の場合、その原因を通知するだけでなく、適切に撮影されている場合においても、撮影状況を把握できるので、非常に利便性が高めることができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例としてガイダンスによる通知表示だけに着目して説明する。本実施例の通信端末装置12は、図34〜図36の構成にそれぞれ、以下に示す構成要素を用いている。第１には、図41に示すように、IPネットワーク18を介した通信相手先の通信端末装置14に少なくとも、送受信部218、通知制御部220、ストレージ222および映音出力部224を配設する。通信端末装置14における送受信部218、通知制御部220および映音出力部224は、通信端末装置12で用いた送受信部34、通知制御部178および映音出力部38と同じ機能を有している。

通信端末装置12および14は、ガイダンス情報を送受信できるようにしている。すなわち、送受信部34および218は、画像情報およびガイダンス情報を含む形式のデータを扱う機能を有している。送受信部34は、通知制御部178からガイダンス情報186を受信し、通知制御部178に相手からのガイダンス情報を出力している。

ストレージ222は、ガイダンス情報と通知情報とを対応付けて格納され、管理機能を有するガイダンスデータベースである。

送受信部218は、通信端末装置12から受信したガイダンス情報226を通知制御部220に供給する。通知制御部220は、ガイダンス情報226に対応する通知情報をストレージ222のガイダンスDBにアクセスして、該当する通知情報228を取得し、生成した通知情報230を映音出力部224に出力する。

通信端末装置12の動作を図42に示す。まず、撮像した画像を取得する（ステップS66）。次に送信しないか否かを判断する（ステップS68）。送信にかかわらず、表情特徴を特徴データ48として抽出する（ステップS70）。送信する場合（NO）、抽出した特徴データ48に基づきガイダンス情報186を生成する（ステップS78）。送信する画像データ42とともに、ガイダンス情報186を通信端末装置14に送信する（ステップS86）。この送信後、映音出力部38に送信した画像と同じ画像を表示する（ステップS80）。この後、通知情報の生成処理に進む（ステップS84へ）。

一方、送信可否を判断し、直ちに送信しない場合（YES）、特徴データ48を生成する（ステップS70）。次にキャラクタ画像を生成するか否かを判断する（ステップS74）。キャラクタ画像を生成する場合（YES）、キャラクタ画像生成処理に進む（ステップS76へ）。また、キャラクタ画像を生成しない場合（NO）、ガイダンス情報の生成処理に進む（ステップS78へ）。

キャラクタ画像の生成処理は、ユーザが選択したキャラクタ画像に表情を持たせ、選択した背景と合成した合成画像をキャラクタ画像として生成している（ステップS76）。ここでの処理は、供給される特徴データ48を基にガイダンス情報186も生成している。特徴データ48は、表情合成処理部54だけでなく、ガイダンス情報生成部176にも供給されている。ガイダンス情報生成部176では、特徴データ48および画像データ42を基にガイダンス情報186を生成する。

通信端末装置12は、生成したキャラクタ画像およびガイダンス情報を符号化部32および通知制御部178のそれぞれから送受信部34に供給し、通信端末装置14に送信する（ステップS88）。送信後、通信端末装置12は、映音出力部38にキャラクタ画像を表示させる（ステップS90）。

キャラクタ画像も生成しない判断（NO）では、上述したように、ガイダンス情報186を生成する。生成したガイダンス情報186は、通知制御部178から送受信部34を介して通信端末装置14に送信する（ステップS92）。

ステップS80、S90またはS92の後、通知制御部178では、供給されるガイダンス情報186に基づき通知情報188を生成する。生成した通知情報188は、映音出力部38に出力される（ステップS84）。映音出力部38では、供給された通知情報188を図示しない表示部に表示させる（ステップS82）。このように動作させた後、通信端末装置12の処理が終了する。

通信端末装置14では、図43に示すように、通信端末装置12からの情報、画像、キャラクタ画像やガイダンス情報を受信する（ステップS94）。受信した情報のうち、ガイダンス情報226を通知制御部220に出力する。次にガイダンス情報226に対応する通知情報を生成する（ステップS84）。通知情報230の生成は、通知制御部220からのアクセスによりガイダンス情報226に対応する通知情報をストレージ222のガイダンスDBから読み出し、映音出力部224に出力する。

映音出力部224では、供給される通知情報230を表示する（ステップS82）。

キャラクタ画像を使用した画像コミュニケーションにおいて、通信相手先にたとえば、カメラからの撮影画像が送信されず、キャラクタ画像だけが送信されても、ガイダンス情報226が通知されることにより、通信相手先のユーザは、通信相手の存在を確認することができ、通信相手が実際にいるか否か不安感を取り除くことができ、コミュニケーションに集中することができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例としてガイダンスによる通知表示だけに着目して説明する。本実施例で、通信端末装置12は、図44に示すように、表情合成部26にガイダンス情報186を入力させ，ストレージ232を新たに設けている。ストレージ232は、モデル合成データベース（DB）を格納している。モデル合成DBとは、ガイダンス情報186とモデル合成情報とを対応付けて格納するデータベースである。モデル合成情報は、キャラクタ画像の生成に反映させる情報を意味している。ストレージ232は、ガイダンス情報186に対応して読み出したモデル合成情報234を表情合成部26に出力している。

通信端末装置12において、この接続により表情合成部26は、モデル合成DBを使用し、受信したガイダンス情報と同様に受信したモデル合成情報を反映させた後にキャラクタ画像を生成している。

ここで、映音出力部38の図示しない表示部には、少なくとも、液晶ディスプレイ等を有し、スピーカ等の音声出力装置も設けることで、ガイダンス情報186に対応した音声信号をキャラクタ画像へ付加し、付加された音声を出力することができる。

ガイダンス情報をモデル合成情報に反映させる方法をいくつか挙げる。たとえば、ガイダンス情報186が撮影状況の暗さを示す場合、画像全体を黒味がかっているように表現させて、選択したキャラクタが暗い場所にいるように表現する。また、ガイダンス情報186がカメラと離れている撮影状況、すなわち遠いことを示す場合、キャラクタを小さく表示させて、キャラクタが遠い場所にいるように表現する。さらに、モデル合成情報としては、何らかのガイダンス情報に対応したキャラクタの背景変更、涙、発汗または吹き出し内への文字列表示など、特別な表現効果を持ったオブジェクトを付加したり、効果音などの音声をキャラクタ画像に付加したりするようにしてもよい。

動作を簡単に説明する。図45に示すように、通信端末装置12は、ガイダンス情報186を取得後、表情合成部26にガイダンス情報186を供給する。表情合成部26は、ストレージ232にガイダンス情報186をアクセスして対応するモデル合成情報234を取得する（ステップS96）。

表情合成部26では、選択に応じて供給される基本のキャラクタ画像58に対してモデル合成情報234を反映させるように画像を生成する。表情合成部26は、生成したキャラクタ画像を送受信部34に出力する。送受信部34では、顔画像または生成したキャラクタ画像が通信端末装置14に送信する（ステップS72）。通信端末装置12は、図44では信号線としてあらわに現れていないが、映音出力部38に顔画像または生成したキャラクタ画像を表示する（ステップS80）。この表示後、一つの画像通信の動作を終了する。

ガイダンス情報を反映させたモデル合成情報に基づいてキャラクタ画像を生成することにより、ユーザはキャラクタ画像の生成とともに撮影状況が確認でき、ユーザの負担を大幅に低減できる。また、ガイダンス情報にともなう通知を表示する表示部が不要になり、ユーザは目視の注目箇所が減り、よりコミュニケーションに集中することができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例としてガイダンスによる通知表示だけに着目して説明する。本実施例で、通信端末装置12の構成要素を極力簡略化させ、キャラクタ画像生成機能をサーバ236に持たせている。サーバ236は、キャラクタ管理センタ16に設けてもよい。

サーバ236には、図46に示すように、通信端末装置12で用いている構成要素に対して同じ参照符号を付している。サーバ236は、送受信部34、表情特徴抽出部24、表情合成部26、ガイダンス情報生成部176およびストレージ232を含む。とくに、ストレージ232は、モデル合成DBだけでなく、キャラクタ画像および背景も格納している。したがって、ストレージ232は、ユーザの選択に応じたキャラクタ画像および背景、ならびにガイダンス情報186に対応したモデル合成情報を含むデータ234を表情合成部26に出力している。

表情合成部26は、供給されるデータ234に応じてキャラクタ画像を生成する。生成したキャラクタ画像は、サーバ236の送受信部34からIPネットワーク18を介して通信端末装置12および14のそれぞれに供給される。図46の通信端末装置12は、供給されるキャラクタ画像82を受信し、映音出力部38に出力する。映音出力部38では、たとえば通信相手とユーザ本人が選択したキャラクタ画像が表示される。

画像通信システム10の通信端末装置12の動作を図47に示す。通信端末装置12は、撮像した画像データ42を取得する（ステップS66）。画像データ42を送信するか否か判断する（ステップS68a）。送信しない場合（NO）、映音出力部38に画像データ42を送って、表示処理に進む（ステップS80へ）。送信する場合（YES）、画像データ42を送受信部34からサーバ232に送信する（ステップS98）。この送信により画像通信システム10は、管理処理に進む（サブルーチンSUBへ）。

管理処理は、サーバ236における処理である。これにより、キャラクタ画像を生成して、図46に図示しない通信相手の通信端末装置14に送信する。サーバ236は、通信端末装置14からの画像データも受信して、キャラクタ画像を生成する。サーバ236は、生成したキャラクタ画像のうち、少なくとも、通信相手から供給されるキャラクタ画像およびガイダンス情報を送出する。サーバ236は、ユーザ自身が選択したキャラクタ画像を返してもよい。

通信端末装置12は、サーバ236から供給されるキャラクタ画像およびガイダンス情報を受信する（ステップS100）。通信端末装置12は、受信したキャラクタ画像を映音出力部38に供給し、表示する（ステップS80）。このようにサーバ236を介して通信すると、簡素化された構成の通信端末装置で画像コミュニケーションを容易に実現させることができる。

管理処理をサブルーチンとして図48に示す。サーバ236は、各通信端末装置で撮影した画像データ42を受信する（ステップS94）。次に受信した画像データ42を基に表情特徴を示す特徴データ48を表情特徴抽出部24で抽出する。特徴データ48は、表情合成部26およびガイダンス情報生成部176にそれぞれ、供給される。

ガイダンス情報186は、画像データ42および特徴データ48を基にガイダンス情報生成部176で生成される（ステップS78）。生成したガイダンス情報186は、表情合成部26に供給される。表情合成部26では、供給されるガイダンス情報186を基にストレージ232のモデル合成DBにアクセスして、ユーザにより選択されているキャラクタ画像および背景や該当するモデル合成情報を読み出して、表情合成部26で取得する（ステップS96）。

表情合成部26では、供給される情報を基に合成画像としてのキャラクタ画像を生成する（ステップS76）。サーバ236は、合成画像およびガイダンス情報186を通信相手の通信端末装置12および14に送信する（ステップS102）。通信端末装置12への送信は、ユーザによる画像確認のために送信しているが、自身には送信しないようにしてもよい。この送信後、サーバ236は、画像生成する管理処理を終えて、リターンに進む。通信端末装置のそれぞれは、前述したように供給される合成画像およびガイダンス情報186を受信、表示している。

なお、本実施例では、ガイダンス情報186をあえて送信しているが、送信しなくても済むことは前述の記載から明らかである。

このように動作させると、ガイダンス情報を反映させたキャラクタ画像を生成し、顔特徴抽出やキャラクタ画像生成等、負荷の高い処理をサーバ236で実行させ、かつ通知表示部がなくても、通信端末装置12および14は汎用的なテレビ電話装置などで代用でき、ガイダンス機能付画像通信システムをより容易に実現することができる。

次に本発明の情報端末装置を適用した画像通信システム10の通信端末装置における他の実施例としてオブジェクトの追従による合成表示だけに着目して説明する。本実施例では、図34〜図36の構成にそれぞれ、以下に示す構成を用いている。第１に、通信端末装置12は、図49に示すように、オブジェクト作成部238を含んでいる。オブジェクト作成部238は、オブジェクトを作成する機能を有している。オブジェクトの作成は、球・直方体など簡単な形状の組合せや丸、四角など基本的な形状テクスチャ画像を貼る作成方法でもよい。オブジェクト作成部238は、作成したオブジェクトデータ240をオブジェクト格納部180に供給して、格納する。動作は、作成したオブジェクトデータ240を格納しておき、ユーザの操作選択によりオブジェクトを読み出して使用する図34の通信端末装置12に同じである。

このようにオブジェクト作成部238を設けることで、あらかじめ決まったオブジェクトだけでなく、ユーザが自由に様々なオブジェクトを作成することができる。これにより、作成できる合成画像の種類を簡単に増やすことができる。

第２に、通信端末装置12は、図50に示すように、先の実施例に表情認識部242および特徴データ合成部244を含む。表情認識部242は、供給される顔画像の画像データ42を基に解析し、表情を認識結果に合った動作をさせる特徴データ246を作成する機能を有している。表情の認識方法としては、たとえば目、口などのそれぞれの状態をパラメータ化して、どのような表情かを判断する。目の場合、目じりが下がっていることで笑っている状態を認識する。また、表情以外にも下を向いた状態を判断して表情パラメータを作成してもよい。とくに、表情が悲しみと判断し、認識されると、表情認識部242は、この認識に対応する特徴データ246を特徴データ合成部244に出力する。

特徴データ合成部244は、表情特徴部24から供給される特徴データ48および246を合成する機能を有している。特徴データ合成部244は、合成した特徴データ248を追従処理部182に出力する。

追従処理部182は、オブジェクト格納部180にアクセスして、認識した表情を表すオブジェクトを読み出し、読み出したオブジェクトに供給される特徴データ248を基に追従処理を施す。追従処理部182は、上述した悲しみとの認識に応じてオブジェクトとして涙を読み出して、涙を追従処理として目元に表示させる。このように表示させることにより、表情画像を効果的に演出することができ、表現を多様化させることができる。

これにより、顔の位置だけでなく、顔の表情によってもオブジェクトを変形して、効果的に表現することができる。

第３に、図51に示す通信端末装置12は、図49の構成に音声認識部250および特徴データ合成部244を含む。音声認識部250は、音声入力部22から供給される音声データ46を基に解析し、表情を認識結果に合った動作をさせる特徴データ252を作成する機能を有している。特徴データ252は、音声だけでなく、音量も加味して適したオブジェクトを動作させる特徴データを作成するとよい。また、特徴データ252は、音量だけで認識し、特徴データを作成してもよい。音声認識部250は、認識した特徴データ252を特徴データ合成部244に出力する。

通信端末装置12における追従処理部182は、オブジェクト格納部180にアクセスして、認識した表情を表すオブジェクトを読み出し、読み出したオブジェクトに供給される特徴データ248を基に追従処理を施す。追従処理部182は、たとえば、「えっ？」と発声したときに頭の回りに文字「？」マークをオブジェクトとして読み出したり、入力音声の言葉を解析し、その発音した言葉をオブジェクトとして吹出し画像を生成したりしてオブジェクト画像198を表示合成部26に出力する。これにより、表情合成部26は、生成したキャラクタ画像とオブジェクト画像198とを合成して、表示する。これによっても表現を多様化することができ、オブジェクトを動作させることで、画像に補助的な効果を与えることができる。

第４に、図52に示す通信端末装置12は、図49の構成にイベント認識部254および特徴データ合成部244を含む。イベント認識部254は、ユーザからの入力情報256に対応した特徴データ258を作成し、出力する機能を有している。イベント認識部254は、認識した特徴データ258を特徴データ合成部244に出力する。

操作部28は、イベント入力部としての機能を有し、たとえば、キーボードの特定のキーを押すことでユーザの意図を反映した情報を提供する。

通信端末装置12における追従処理部182は、供給される特徴データ248を基にオブジェクト格納部180にアクセスして、認識した表情を表すオブジェクトを読み出す。特徴データ248には、たとえば、入力情報256に対応した特徴データ258が含まれている。追従処理部182は、特徴データ248に対応して追従処理させたオブジェクト画像198を表示合成部26に出力する。これにより、表情合成部26は、生成したキャラクタ画像とオブジェクト画像198とを合成して、表情付画像データ60を出力する。これにより、ユーザが意図した動作をするオブジェクトにさせることができる。

たとえば、キーボードの特定のキーを押すことで、目にハートマークのオブジェクトを表示させるなど、通常の画像では表現できない大げさな表現の画像を出力し、ユーザが意図する表現を画像に持たせることができる。

以上のように構成することにより、画像通信システム10における通信端末装置12は、画像データ42および音声データ46をドライバ23および出力選択部56にそれぞれ、供給し、ドライバ23内の表情合成部26で特徴データ48に合わせてキャラクタ合成画像であるキャラクタデータ54を生成し、このキャラクタデータ54および音声データ55を形式変換部27で所定の通信形式の画像データ60および音声データ62をそれぞれ変換し、出力選択部56に供給し、出力選択部56で複数種類の画像データ60および42、ならびに音声データ62および46の中から出力する画像データ72および音声データ74の一組を選択し、出力して、プラットフォームの利用形態である構成を大幅なに変更することなく、コストアップを極力抑えながら、エンタテイメント性に優れた画像コミュニケーションを容易に提供することができる。この提供によりこの画像コミュニケーションの普及に寄与することができ、ユーザに対する使い勝手もよくすることができる。

通信端末装置12は、符号化部32で生成したキャラクタ合成画像72を符号化し、復号部36では通信相手の通信端末装置14から供給されてきた画像データおよび音声データ82を復号することにより、データ通信量を抑制して回線の占有を抑えることができる。

キャラクタ管理部30は、基本画像であるキャラクタデータだけでなく、背景データも管理し、これら管理するキャラクタデータおよび背景データを集中管理するキャラクタ管理センタ16からの取得機能および記録媒体に記録されたキャラクタデータおよび背景データを読み取るデータ入力部108からの取得のうち、少なくとも一方の取得機能を有し、とくに、図５に示したように後者の取得により、キャラクタ管理センタ16を不要にしてシステムを構築する上で簡素化することができる。

通信端末装置12は、図６に示したテキスト入力部112でテキストデータを取り込むことにより数字のように、あらかじめ決めておいた特殊テキストデータに応じて特殊な表情データを出力する設定にしておき、特殊な表情データを基に表情付キャラクタ画像を生成し、出力することができる。

テキスト入力部112には、テキストデータを音声データに変換する機能を持たせてもよい。

通信端末装置12は、図７に示した基本表情生成部118であらかじめ固定した基本とする表情を持たせる基本特徴データ122を設定し、操作部28から供給されるユーザの選択データ120に応じて基本特徴データ122を出力し、表情合成部26は、特徴データ48および基本特徴データ122を合成して表情付のキャラクタ合成画像を生成して、キャラクタの表現能力を向上させ、よりエンタテイメント性を高くすることができる。

通信端末装置12は、図26に示したガイダンス情報生成部176で特徴データ48を基にユーザの撮影状況がいかなる状況にあるかを示すガイダンス情報186を生成し、表情合成部26は、生成したキャラクタ合成画像および供給されるガイダンス情報186をともに通信相手先に出力し、通知情報188を表示させると、ユーザに対し撮影状況を通知して、利用の際にユーザ自身が撮影状況を容易に確認することができ、ユーザの負担を低減することができる。

表情合成部26は、図44に示した生成するキャラクタ合成画像に供給されるガイダンス情報186を反映させて、合成画像を生成することでユーザはキャラクタ画像の生成とともに撮影状況が確認でき、ユーザの負担を大幅に低減できる。また、ガイダンス情報にともなう通知を表示する表示部を不要にして、ユーザは目視の注目箇所が減り、よりコミュニケーションに集中することができる。

通信端末装置12は、通知制御部178でガイダンス情報186を通知情報188に変換し、映音出力部38は、通知情報188を受けて出力し、ユーザにとって使い勝手のよい端末を提供することができる。

ガイダンス情報生成部176は、図38に示したガイダンスを提供する上で、特徴データ48の抽出成功率を判定するとともに、画像明暗判定部206、顔距離判定部208、開閉判定部210および顔角度判定部212それぞれのうちの少なくとも一つと抽出データ判定部206とを統合し、ガイダンス情報186を統合判定部214で生成し、さらに、通信端末装置12は、図37に示したストレージ200でガイダンス情報186と通知情報188とを対応付けて管理し、通知制御部178は、ストレージ200にアクセスして、ガイダンス情報186に対応する通知情報188を取得して、変換し、映音出力部38に出力することでユーザ自身が撮影状況を詳細に知ることができ、ユーザの負担を大幅に低減できる。また、適切でない撮影状況の場合、その原因を通知するだけでなく、適切に撮影されている場合においても、撮影状況を把握できるので、非常に利便性が高めることができる。

通知制御部は、図41に示したガイダンス情報186を送受信部34に出力し、ガイダンス情報を通信相手の通信端末装置14に供給し、通信端末装置14は、少なくとも、送受信部34、通知制御部178および映音出力部38を含むことで、通信相手先にたとえば、カメラからの撮影画像が送信されず、キャラクタ画像だけが送信されても、ガイダンス情報226が通知されることにより、通信相手先のユーザは、通信相手の存在を確認することができ、通信相手が実際にいるか否か不安感を取り除くことができ、コミュニケーションに集中することができる。

通信端末装置12が接続される画像通信システム10は、図46に示したサーバ236を有し、サーバ236は、送受信部34、表情特徴抽出部24、表情合成部26およびガイド情報生成部176を含み、サーバ236は、キャラクタ合成画像をキャラクタデータ、特徴データおよびガイダンス情報を基に表情合成部26で生成し、少なくとも、通信相手の通信端末装置14に出力することで、ガイダンス情報を反映させたキャラクタ画像を生成し、顔特徴抽出やキャラクタ画像生成等、負荷の高い処理をサーバ236で実行させ、かつ通知表示部がなくても、通信端末装置12および14は汎用的なテレビ電話装置などで代用でき、ガイダンス機能付画像通信システムをより容易に実現することができる。

通信端末装置12は、図26に示したオブジェクト格納部238にキャラクタデータを除く、付随的な対象であるオブジェクトをデータとして格納し、追従処理部182で特徴データ48に応じて読み出したオブジェクトに対して追従処理を施し、得られたオブジェクトデータを表情合成部26に出力し、表情合成部26は、供給されるオブジェクトデータおよびキャラクタデータ58を基にキャラクタ合成画像を生成することでオブジェクト付加にともなうエンタテイメント性の高い画像通信システム10を提供することができる。

通信端末装置12において、表情特徴抽出部24は、正面の顔画像を基準とし、入力された顔画像における各部位の位置から顔の向きおよび移動量を解析することで、キャラクタ画像の変化に対してオブジェクトを追従させることができる。

通信端末装置12は、図50に示した表情認識部242で画像データから顔画像が持つ表情を認識し、表情特徴データ246を生成し、特徴データ合成部244で表情特徴データ246および特徴データ48を合成して、合成特徴データ248を追従処理部182に出力し、追従処理部182で合成特徴データ248を基にオブジェクトデータ198を生成することで表情画像を効果的に演出することができ、表現を多様化させることができる。

通信端末装置12は、図51に示した音声認識部250で音声データ46を基に音声を認識し、音声特徴データ252を生成し、特徴データ合成部244で音声特徴データ252および特徴データ48を合成して、合成特徴データ248を出力し、追従処理部182で合成特徴データ248を基にオブジェクトデータ198を生成することで表現を多様化することができ、オブジェクトを動作させることで、画像に補助的な効果を与えることができる。

通信端末装置12は、図52に示した操作部28でユーザの操作により所定のイベントを入力し、イベント認識部254で所定のイベントを認識し、イベント特徴データ258を生成し、特徴データ合成部244でイベント特徴データ258および特徴データ48を合成して、合成特徴データ248を出力し、追従処理部182で合成特徴データ248を基にオブジェクトデータ198を生成することでたとえば、キーボードの特定のキーを押すことでユーザの意図を反映した情報を提供する。

通信端末装置は、図８に示したキャラクタ管理部30の位置情報管理部128から要求に対する判断情報を端末情報として提供し、コンテンツ制御部126で供給される少なくとも、キャラクタデータおよび背景データをコンテンツ情報とし、コンテンツ情報の配信を要求する取得要求およびコンテンツ情報の使用を要求する出力要求に応じてコンテンツ情報の取得および出力を管理し、キャラクタ管理センタ16は、画像通信システム10における通信回線に接続され、図４に示したストレージ102に少なくとも、コンテンツ情報の配信を許可する配布許可情報とコンテンツ情報を一体的に扱うコンテンツデータを格納し、このコンテンツデータと少なくとも、通信端末装置12から供給されるコンテンツデータの取得要求およびコンテンツデータの出力要求のうち、一方の要求に対して配信または出力の制御をコンテンツ管理サーバ100で管理し、通信端末装置12は、供給される要求に応じて端末情報をコンテンツ管理サーバ100に出力し、コンテンツ管理サーバ100は、供給される端末情報が配布許可情報に含む条件を満足するか否かを判断し、条件を満足する判断に応じて通信端末装置12にコンテンツデータに対する要求を許可することにより管理が容易にでき、たとえば国・地域別における著作権の有無の問題などを解決することができる。

ここで、配布許可情報は、少なくとも、許可する位置情報および使用期限情報のいずれかであり、端末情報は、少なくとも、通信端末装置12の位置情報および通信端末装置12が要求を出した時刻情報のいずれかであることが好ましい。

通信端末装置12において、情報提供手段は、少なくとも、図８や図15の通信端末装置12自体の位置を検出する位置情報管理部128および図20の時刻を測定する時刻情報管理部174のいずれかを含むことで情報提供の管理に寄与することができる。

画像通信システム10において、ストレージ152は、図４に示した位置情報の時間経過にともなう位置の履歴情報も対応付けて格納し、コンテンツ管理サーバ100は、要求に対する判断に位置の履歴情報も用いて、要求に対して制御することで今までライセンス情報、イベント情報およびコンテンツデータをそれぞれ、分割して扱い、複雑に管理しなければならなかったが、コンテンツと通信端末装置12のスタンプラリー情報だけで管理でき、スタンプラリーなどのイベント時のライセンス管理が従来よりも容易にすることができる。

画像通信システム10において、通信端末装置12は、コンテンツデータに通信端末装置12および14のそれぞれに対応する固有情報およびユーザを一意に特定するユーザ情報を端末情報として含めて、キャラクタ管理センタ16に送信し、キャラクタ管理センタ16は、供給される端末情報とストレージ106および152に格納されている許可情報とを比較して、これら情報の一致により許可と判断された通信端末装置に対して要求を満たす情報を提供し、この情報の提供を受けた通信端末装置にてこの情報に応じてコンテンツデータを利用することで個人個人のライセンス管理が従来よりも容易にすることができる。

画像通信システム10において、通信端末装置12は、ストレージ152およびコンテンツサーバ装置の管理機能を有するライセンス管理部158を備え、コンテンツデータに端末情報を埋め込んで要求を管理することでシステムの構築を簡素化し、構築する上でコストを削減することができる。

画像通信システム10において、キャラクタ管理センタ16は、図23に示した課金サーバ166でコンテンツデータの利用にともなう課金形態に応じて前記ユーザから利用料金を回収し、通信端末装置12および14のそれぞれにおいて配布許可情報と端末情報との判断によりコンテンツデータの使用を制限し、課金サーバ166は、使用制限を解消する条件を提示し、ユーザが該当する利用料金の支払いを確認の上、コンテンツデータの利用を許可することで更新・延長が容易にでき、たとえばコンテンツの試用等を行った後に、商用版として正式にユーザに提供することができるようになり、ユーザに対してコンテンツを使用したいときに、使用したい分だけの課金を提供することができる。また、コンテンツの作成経費を利用料金により効率的に回収することが可能になる。

課金サーバ166は、課金形態として段階的に設定された位置情報から得られる距離情報および使用期間情報を用いて課金することが望ましい。

本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における実施例の概略的な構成を示すブロック図である。 図１に用いる通信端末装置におけるドライバの概略的な構成を示すブロック図である。 図１の映音出力部におけるモニタ画面の画面構成を説明する図である。 図１の画像通信システムにおけるキャラクタ管理センタの概略的な構成を示すブロック図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の概略的な構成を示すブロック図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の概略的な構成を示すブロック図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の概略的な構成を示すブロック図である。 図１のキャラクタ管理部のおける具体的な構成のブロック図である。 図８のキャラクタ管理部の動作手順を説明するフローチャートである。 図４のキャラクタ管理センタの動作手順を説明するフローチャートである。 図４のキャラクタ管理センタにおけるコンテンツ管理サーバが扱うコンテンツと配布許可情報の関係を説明する図である。 図４のキャラクタ管理センタにおける他の動作手順を説明するフローチャートである。 図４のキャラクタ管理センタにおけるコンテンツ管理サーバが扱うコンテンツと配布許可情報の関係を説明する図である。 図４のコンテンツ管理サーバが扱う配布許可情報の内容を説明する図である。 図８のキャラクタ管理部における他の構成例を示すブロック図である。 図15のキャラクタ管理部におけるコンテンツ出力要求の動作手順を説明するフローチャートである。 図15のキャラクタ管理部を適用した画像通信システムにおける課金システムの構成を示すブロック図である。 図17の課金システムにおいて扱うコンテンツと配布許可情報の関係を説明する図である。 図17の課金システムを用いたコンテンツ出力要求の動作手順を説明するフローチャートである。 図15のキャラクタ管理部における他の構成例を示すブロック図である。 図20のキャラクタ管理部が扱うコンテンツと配布許可情報の関係を説明する図である。 図20のキャラクタ管理部の動作手順を説明するフローチャートである。 図17のキャラクタ管理部を適用した画像通信システムにおける課金システムの他の構成を示すブロック図である。 図23の課金システムにおいて扱うコンテンツと配布許可情報の関係を説明する図である。 図23の課金システムを用いたコンテンツ出力要求の動作手順を説明するフローチャートである。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の概略的な構成を示すブロック図である。 図26の通信端末装置におけるガイダンス情報生成部の構成を示す図である。 図26の通信端末装置が扱うガイダンス情報と通知情報との対応を示す図である。 図26の通信端末装置の映音出力部で表示する通知表示例を示す図である。 図26の通信端末装置における動作手順を説明するフローチャートである。 従来のオブジェクト合成を説明する図である。 オブジェクトの変形を表現する種類を説明する図である。 キャラクタ画像の合成原理を説明する図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の概略的な構成を示すブロック図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の概略的な構成を示すブロック図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の概略的な構成を示すブロック図である。 図26、図34〜図36の画像通信システムの通信端末装置におけるガイダンスによる通知を表示する他の構成例を示す要部ブロック図である。 図37のガイダンス情報生成部における他の構成例を示すブロック図である。 図38のガイダンス情報生成部を用いた場合のガイダンス情報と通知情報の対応を示す図である。 図38のガイダンス情報生成部を用いた通信端末装置の動作手順を説明するフローチャートである。 本発明に係る情報端末装置を適用した画像通信システムの各通信端末装置における他の実施例の要部構成を示すブロック図である。 本発明に係る情報端末装置を適用した図41の画像通信システムの送信側通信端末装置における動作手順を説明するフローチャートである。 図41の送信側通信端末装置に対する受信側通信端末装置における動作手順を説明するフローチャートである。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の要部構成を示すブロック図である。 図44の通信端末装置における動作手順を説明するフローチャートである。 本発明に係る情報端末装置を適用した画像通信システムにおける通信端末装置とサーバの構成をそれぞれ示すブロック図である。 図46の画像通信システムにおける動作手順を説明するフローチャートである。 図46の画像通信システムにおけるサーバの動作手順を説明するフローチャートである。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の要部構成を示すブロック図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の要部構成を示すブロック図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の要部構成を示すブロック図である。 本発明に係る情報端末装置を適用した画像通信システムの通信端末装置における他の実施例の要部構成を示すブロック図である。

符号の説明

10 画像通信システム
12, 14 通信端末装置
16 キャラクタ管理センタ
18 IPネットワーク
20 画像入力部
22 音声入力部
23 ドライバ
24 表情特徴抽出部
26 表情合成部
27a 画像出力部
27b 音声出力部
28 操作部
30 キャラクタ管理部
32 符号化部
34 送受信部
36 復号部
38 映音出力部
56 出力選択部

Claims (18)

1. 画像を通信情報として扱う情報端末装置を用いて通信する画像伝送システムにおいて、該装置は、
   音声信号を取り込み、音声データにして出力する音声入力手段と、
   被写体を映像信号として取り込み、画像データにして出力する画像入力手段と、
   該画像データおよび前記音声データそれぞれを所定の通信形式に変換するインタフェース手段と、
   通信相手と通信する複数の画像データおよび音声データのうち、所望の画像データおよび音声データを選択する選択手段と、
   前記通信相手の情報端末装置とデータを送受信する送受信手段と、
   前記通信相手の情報端末装置からの画像データおよび音声データを出力する出力手段とを含み、
   前記インタフェース手段は、前記音声データおよび前記画像データの少なくとも一方から表情を表す特徴データを抽出する特徴抽出手段と、
   該特徴データに基づいてユーザが選択した基本画像としてのキャラクタデータを変形させて、キャラクタ合成画像を生成する表情合成手段と、
   該表情合成手段に供給する前記キャラクタデータを管理する画像管理手段と、
   前記画像データおよび音声データのそれぞれを所定の通信形式に変換する形式変換手段とを含み、
   該装置は、前記特徴データを基に前記ユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段を含み、
   前記アドバイス情報は、前記ユーザの表情の特徴を抽出する抽出処理の結果である感情データおよび前記特徴データを基に前記抽出処理の成功や失敗を所定の期間判定して得られる抽出処理成功率も情報として含み、
   前記出力手段は、前記アドバイス情報を出力し、
   さらに、該装置は、少なくとも、通信する前記情報端末装置の一つに用いることを特徴とする情報端末装置。
2. 請求項１に記載の装置において、該装置は、前記生成したキャラクタ合成画像を符号化する符号化手段と、
   前記通信相手の情報端末装置から供給されてきた画像データおよび音声データを復号する復号手段とを含むことを特徴とする情報端末装置。
3. 請求項１または２に記載の装置において、該装置は、テキストデータを取り込むテキスト入力手段を含むことを特徴とする情報端末装置。
4. 請求項３に記載の装置において、前記テキスト入力手段は、前記テキストデータを音声データに変換する機能を有することを特徴とする情報端末装置。
5. 請求項１ないし４のいずれか一項に記載の装置において、前記表情合成手段は、前記生成するキャラクタ合成画像に供給されるアドバイス情報を反映させることを特徴とする情報端末装置。
6. 請求項１ないし５のいずれか一項に記載の装置において、前記表情合成手段は、前記生成するキャラクタ合成画像に供給されるアドバイス情報を反映させることを特徴とする情報端末装置。
7. 請求項１ないし６のいずれか一項に記載の装置において、該装置は、前記アドバイス情報を通知情報に変換する通知変換手段とを含み、
   前記出力手段は、前記通知情報を受けて出力することを特徴とする情報端末装置。
8. 請求項７に記載の装置において、前記ガイド情報生成手段は、前記アドバイスを提供する上で、前記特徴データの抽出成功率を判定するとともに、前記画像データから画像の明暗を検出する第１の機能ブロック、前記特徴データから顔とカメラとの距離を検出する第２の機能ブロック、目の瞬きおよび口の開閉を検出する第３の機能ブロックおよび視線を検出する第４の機能ブロック、および
   前記判定および機能ブロックそれぞれのうちの少なくとも一つを統合し、前記アドバイス情報を生成する統合判定手段を含み、
   さらに、該装置は、前記アドバイス情報と前記通知情報とを対応付けて管理する記憶手段を含み、
   前記通知変換手段は、前記記憶手段にアクセスして、前記アドバイス情報に対応する前記通知情報を取得して、変換し、前記出力手段に出力することを特徴とする情報端末装置。
9. 請求項７または８に記載の装置において、前記通知変換手段は、前記アドバイス情報を前記送受信手段に出力し、前記アドバイス情報を通信相手の情報端末装置に供給し、
   前記通信相手の情報端末装置は、少なくとも、前記送受信手段、前記通知変換手段および前記出力手段を含むことを特徴とする情報端末装置。
10. 請求項１ないし５のいずれか一項に記載の情報端末装置が接続される前記画像伝送システムにおいて、該システムは、サーバ装置を有し、
    該サーバ装置は、前記送受信手段、前記特徴抽出手段、前記表情合成手段および前記特徴データを基に前記ユーザの撮影状況がいかなる状況にあるかを示すアドバイス情報を生成するガイド情報生成手段を含み、
    該サーバ装置は、前記キャラクタ合成画像を前記キャラクタデータ、前記特徴データおよび前記アドバイス情報を基に前記表情合成手段で生成し、少なくとも、前記通信相手の情報端末装置に出力することを特徴とするサーバ装置。
11. 請求項１ないし10のいずれか一項に記載の情報端末装置において、該情報端末装置は、供給される少なくとも、前記キャラクタデータおよび前記背景データをコンテンツ情報とし、該コンテンツ情報の配信を要求する取得要求および該コンテンツ情報の使用を要求する出力要求に応じて前記コンテンツ情報の取得および出力を管理する要求管理手段と、
    該要求管理手段に要求に対する判断情報を端末情報として提供する情報提供手段とを含み、
    前記集中管理手段は、前記画像伝送システムにおける通信回線に接続され、少なくとも、前記コンテンツ情報の配信を許可する許可情報と前記コンテンツ情報を一体的に扱うコンテンツデータを格納するコンテンツ記憶手段と、
    該コンテンツデータと少なくとも、前記情報端末装置から供給されるコンテンツデータの取得要求およびコンテンツデータの出力要求のうち、一方の要求に対して配信または出力の制御を管理するコンテンツサーバ装置とを含み、
    前記情報端末装置は、供給される要求に応じて前記端末情報を前記コンテンツサーバ装置に出力し、
    該コンテンツサーバ装置は、供給される端末情報が前記許可情報に含む条件を満足するか否かを判断し、前記条件を満足する判断に応じて前記情報端末装置に前記コンテンツデータに対する要求を許可することを特徴とする画像伝送システム。
12. 請求項11に記載のシステムにおいて、前記許可情報は、少なくとも、許可する位置情報および使用期限情報のいずれかであり、
    前記端末情報は、少なくとも、前記情報端末装置の位置情報および該情報端末装置が要求を出した時刻情報のいずれかであることを特徴とする画像伝送システム。
13. 請求項11または12に記載の情報端末装置において、前記情報提供手段は、少なくとも、該装置自体の位置を検出する手段および時刻を測定する手段のいずれかを含むことを特徴とする情報端末装置。
14. 請求項11または12に記載のシステムにおいて、前記情報端末装置は、前記コンテンツデータに前記情報端末装置のそれぞれに対応する固有情報および前記ユーザを一意に特定するユーザ情報を前記端末情報として含めて、前記集中管理手段に送信し、
    該集中管理手段は、供給される端末情報と前記コンテンツ記憶手段に格納されている許可情報とを比較して、これら情報の一致により許可と判断された情報端末装置に対して要求を満たす情報を提供し、
    該情報の提供を受けた情報端末装置にて該情報に応じて前記コンテンツデータを利用することを特徴とする画像伝送システム。
15. 請求項11または12に記載のシステムにおいて、前記情報端末装置は、前記コンテンツ記憶手段および前記コンテンツサーバ装置の管理機能を備え、前記コンテンツデータに前記端末情報を埋め込んで前記要求を管理することを特徴とする情報端末装置。
16. 請求項11または12に記載のシステムにおいて、前記集中管理手段は、前記コンテンツデータの利用にともなう課金形態に応じて前記ユーザから利用料金を回収する課金手段を含み、
    前記情報端末装置において前記許可情報と前記端末情報との判断により前記コンテンツデータの使用を制限し、
    前記課金手段は、前記使用制限を解消する条件を提示し、前記ユーザが該当する利用料金の支払いを確認の上、前記コンテンツデータの利用を許可することを特徴とする課金システム。
17. 請求項16に記載のシステムにおいて、課金手段は、課金形態として段階的に設定された前記位置情報から得られる距離情報および前記使用期間情報を用いて課金することを特徴とする課金システム。
18. 請求項１に記載の装置において、前記出力手段は、前記抽出処理成功率に従って前記撮影状況を段階的に画面出力または音声出力することを特徴とする情報端末装置。

Images