JP3593067B2 - 画像コミュニケーション機能付き情報端末装置および画像配信システム - Google Patents
画像コミュニケーション機能付き情報端末装置および画像配信システム Download PDFInfo
- Publication number
- JP3593067B2 JP3593067B2 JP2001204096A JP2001204096A JP3593067B2 JP 3593067 B2 JP3593067 B2 JP 3593067B2 JP 2001204096 A JP2001204096 A JP 2001204096A JP 2001204096 A JP2001204096 A JP 2001204096A JP 3593067 B2 JP3593067 B2 JP 3593067B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model data
- terminal device
- information terminal
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像コミュニケーション機能付き情報端末装置および画像配信における課金システムに関し、たとえば情報端末装置で送信者の顔画像を入力し、この画像に含まれる表情に対応した顔画像とは異なる画像および音声を受信側の情報端末装置に送るコミュニケーションに適用し、より具体的には携帯端末装置を含む情報処理装置等がある。通信に用いる画像は、実際の顔画像と異なる２次元または３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）画像等である。
【０００２】
また、本発明の画像伝送システムにおいても情報端末装置に送信者の顔画像に応じて所望の画像に表情を持たせ、この画像に音声を同期させてリアルタイムに通信を行い、たとえば、有線としてはＣＡＴＶ（ＣＡｂｌｅ ＴｅｌｅＶｉｓｉｏｎ）伝送、ＩＰやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のようなネットワーク通信等に、無線としてはＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ）放送等に用いて好適なものである。
【０００３】
本発明は、画像配信における課金システムに関し、上述した情報端末装置やシステムにおいて顔画像と異なる画像の利用に対するキャラクタ画像の作成料、登録料および使用料、スポンサからの料金徴収等において、これらの課金に対する情報管理およびその対象からの料金徴収等に適用して好適なシステムである。
【０００４】
また、本発明は、画像配信サービスの提供方法に関し、画像および音声の通信において実際の顔画像と異なる画像の配信サービス等で異なる画像の使用に対する使用料金やサービスの提供手順に適用して好適な方法である。
【０００５】
さらに、本発明は、画像蓄積伝送システムに関し、音声および画像のデータを蓄積し、受信側のユーザからの読出し要求時に蓄積されている音声および画像のデータを用いて前述した所望な画像で受信端末装置に表示させて通信を行う、たとえば、有線としてはＣＡＴＶ伝送、ＩＰやＬＡＮのようなネットワーク通信等のシステムに適用し、無線としてはＣＳ放送や携帯端末の通信等のシステムに適用して好適なものである。
【０００６】
【従来の技術】
従来、電話を用いたコミュニケーションには２つある。それは、たとえば一般の電話で行われるように音声を伝送してコミュニケーションをとる場合と一例としてテレビ会議等で行われるように音声および生の画像を伝送してコミュニケーションをとる場合である。人間のコミュニケーション力に着目して両者の場合を検討してみると、前者の場合、コミュニケーションの相手には、伝送情報が音声に限られ、音声会話でしか話し手が有する言外の雰囲気・ニュアンスを伝えることができないことから、コミュニケーション力は不十分である。これに対して、後者のコミュニケーションでは、コミュニケーションの相手に話者の顔や背景等の画像が音声とともに伝送されている。人はコミュニケーションにおける情報の多くを視覚情報から得ているので、後者のコミュニケーションは十分なコミュニケーション力を有していると言える。
【０００７】
ところで、近年、有線回線を用いて一般家庭でテレビ電話機による通信も行われるようになってきている。さらに、使用する通信デバイスの広帯域化および小型化等を反映し、携帯電話機でも画像通信をリアルタイムに行うための実験が行われつつある。
【０００８】
前述したようなテレビ会議システムを用いた通信では十分なコミュニケーション力を如何なく発揮される。一方、携帯電話機やテレビ電話機の通信は、あらかじめ時間を設定して行われるテレビ会議システムの通信に比べて一般に場所を選ばず、不特定な時間にも通話が行われる。このため携帯電話機は話者のプライバシがテレビ会議システムを用いた場合よりも侵されやすいことが考えられる。画像伝送が可能な携帯電話機を使用する場合、通話に備えて化粧や服装等を気にかけるユーザもでてくることが予想される。このようなユーザは、想定もしない時間に通信を受信する側で多くなると考えられる。この場合、携帯電話機は、画像非通話状態にして音声だけで通話することもできるが、コミュニケーション力の低下を防ぐことはできない。
【０００９】
また、カメラで撮影した画像の静止画伝送は、これまで景色もそのまま送信してきたが、通信時の居場所を特定されたくない場合や周囲の様子を相手に知らせたくない場合がある。このような場合もコミュニケーション力の低い音声だけで会話を行うしかない。
【００１０】
ところで、現在コミュニケーション力の向上を図ることのできる通信技術が提案されている。この提案が、たとえば顔画像から顔の表情を抽出してアニメーション化する手法である。この手法については、エリック ペタジャン（Ｅｒｉｃ Ｐｅｔａｊａｎ）， “Ｖｅｒｙ Ｌｏｗ Ｂｉｔｒａｔｅ Ｆａｃｅ Ａｎｉｍａｔｉｏｎ Ｃｏｄｉｎｇ ｉｎ ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４”， ２０００ ｆａｃｅ２ｆａｃｅ Ａｎｉｍａｔｉｏｎ， Ｉｎｃ．， ｐｐ．１−３３の総説がある。この総説は、１９９８年１月１日にＭＰＥＧのワーキンググループ１１（ＷＧ： Ｗｏｒｋｉｎｇ Ｇｒｏｕｐ）１１／ＭＰＥＧに提案したコミッティドラフトを要約したものである。この総説には、顔の特徴をそれぞれ解析し、誤検出の追跡を行って、あらかじめ定義した複数の顔パラメータ等を用いて画像処理、符号化、グラフィックおよびアニメーションを低ビットレートで統合化し、プライバシ保護に対応した処理も行うことが記載されている。
【００１１】
【発明が解決しようとする課題】
ところで、このような音声および画像を伝送する装置は、携帯電話に限定されず、情報端末装置を介して行うようにしてもよい。しかしながら、このような伝送を行う情報端末装置には、この画像処理技術を発揮させるように現時点で搭載されている機能・構成に加えて、新たな構成を追加することになり、ユーザに新しい情報端末装置の購入という負担を強いることになる。これは、社会に普及の妨げにもなる。
【００１２】
また、情報端末装置のメーカには、装置の製造コストを低く抑えたいという要求がある。この要求に応じて情報端末装置に付加させる機能・構成をどのようにするかといった観点での示唆もまだされていない。そして、前述した提案の技術は、高額な金額を支払って企業にライセンス提供されているに過ぎず、この画像伝送を普及させるような課金システムも提案されていない。
【００１３】
ところで、上述した情報端末装置における音声および画像の通信では、リアルタイムな通信の場合であるが、この通信では情報の送信／受信の機会が同時な場合に限定されしまう。現在、このリアルタイムな音声および画像通信ができないので、文字情報や音声情報等のメッセージを送信して蓄積させ、利用者により蓄積されている情報をダウンロードすることが行われている。したがって、発信者の音声とともに画像も配信して、会話するように送信者の意図や合図を相手に伝えることができなかった。しかし、ユーザは受信の機会の限定されない画像付きのメッセージ通信も望んでいる。
【００１４】
本発明はこのような従来技術の欠点を解消し、通信におけるプライバシとエンタテイメント性の高い、音声および画像によりコミュニケーションを行うことのできる画像コミュニケーション機能付き情報端末装置および画像伝送システムを提供することを目的とする。
【００１５】
また、本発明は、画像伝送の普及に寄与させることのできる画像配信における課金システムおよび画像配信サービスの提供方法を提供することを目的とする。
【００１６】
さらに、本発明は、所望の機会に通信を行い、ダウンロード時に送信者と会話を行っているかのように通信することができる画像蓄積伝送システムを提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明の画像コミュニケーション機能付き情報端末装置は上述の課題を解決するために、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して音声および画像の通信を行う電話機能を具備した画像通信機能付き電話機において、この装置は、コミュニケーションにおける送信側の情報端末装置に、画像を入力する画像入力手段と、入力した画像のうち、顔を表す画像の入力に応じて顔の表情に関してあらかじめ設定されている特徴点のデータを抽出する表情抽出手段と、顔画像に対応して用いるモデルデータを格納するモデル格納手段とを含み、コミュニケーションにおける受信側の情報端末装置に、送信側の情報端末装置から供給される信号を受信し、この受信した特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成するモデルデータ作成手段と、この生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含むことを特徴とする。
【００１８】
本発明の画像コミュニケーション機能付き情報端末装置は、送信側の情報端末装置の画像入力手段で顔画像を入力し、表情抽出手段はこの画像に応じて顔の特徴点のデータを抽出し、モデル格納手段からモデルデータを読み出して顔の特徴点のデータおよびモデルデータを受信側の情報端末装置に送り、受信側の情報端末装置にて受信し、モデルデータ作成手段では供給される抽出した特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成し、レンダリング手段でこの生成したモデルデータにレンダリングを施すことにより、受信側の情報端末装置に送信側から供給される送信者の表情を反映させたモデル画像にして、このモデル画像を動画表示させている。
【００１９】
また、本発明の画像コミュニケーション機能付き情報端末装置は上述の課題を解決するために、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う画像コミュニケーション機能付き情報端末装置において、この装置は、コミュニケーションにおける送信側の情報端末装置に、画像を入力する画像入力手段と、入力した画像のうち、顔を表す画像の入力に応じて顔の表情に関してあらかじめ設定されている特徴点のデータを抽出する表情抽出手段とを含み、コミュニケーションにおける受信側の情報端末装置に、顔画像に対応して用いるモデルデータを格納するモデル格納手段と、送信側の情報端末装置から供給される信号を受信し、この受信した特徴点のデータに基づいてモデル格納手段から供給されるモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成するモデルデータ作成手段と、この生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含むことを特徴とする。
【００２０】
本発明の画像コミュニケーション機能付き情報端末装置は、送信側の情報端末装置の画像入力手段で顔画像を入力し、表情抽出手段この画像に応じて顔の特徴点のデータを抽出し、顔の特徴点のデータを受信側の情報端末装置に送り、受信側の情報端末装置にて受信し、モデル格納手段から読み出したモデルデータと受信した特徴点のデータとを用いてモデルデータ作成手段で表情の特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成し、レンダリング手段でこの生成したモデルデータにレンダリング処理を施してモデル画像を生成することにより、受信側の情報端末装置にて所望のモデルデータを選び、このモデルデータに送信側から供給される送信者の表情を反映させて、このモデル画像として動画表示させることができ、画像通信における送受信の電話機間の通信を表情の特徴点のデータで済ますことができる。
【００２１】
本発明の画像伝送システムは上述の課題を解決するために、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う情報端末装置を用いた画像伝送システムにおいて、このシステムは、通信における送信側の情報端末装置と、通信における受信側の情報端末装置と、送信および受信側の情報端末装置をクライアントとしてネットワーク接続され、供給される情報に処理を施し、この情報処理した情報をクライアントに供給する情報処理装置とを含み、送信情報端末装置は、前記画像を入力する画像入力手段を含み、受信情報端末装置は、情報処理装置から供給される画像を表示させる表示手段とを少なくとも含み、さらに、このシステムは、画像入力手段から供給される画像のうち、顔を表す画像の入力に応じて顔の表情の特徴点を抽出する表情抽出手段と、顔画像に対応するモデルデータを格納し、この格納するモデルデータのうち、使用の候補として登録されたモデルデータおよびこの画像の使用時間を管理するモデル管理手段と、特徴点のデータに基づいてモデル管理手段から供給されるモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成するモデルデータ作成手段と、このモデルデータ作成手段で生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含み、情報処理装置は、情報抽出手段、モデル管理手段、モデルデータ作成手段、およびレンダリング手段のいくつかを配設することを特徴とする。
【００２２】
本発明の画像伝送システムは、情報処理装置を送信情報端末装置と受信情報端末装置との間に配し、表情抽出手段、モデル管理手段、モデルデータ作成手段およびレンダリング手段のいくつかを情報処理装置に配することにより、送信および受信情報端末装置の構成変更を抑制し、送信情報端末装置の画像入力手段で入力された顔画像に対する顔の特徴点のデータを表情抽出手段で抽出し、このデータとモデル管理手段から読み出したモデルデータとを用いてモデルデータ作成手段で顔画像の表情に合ったモデルデータを生成し、レンダリング手段でこの生成したモデルデータにレンダリング処理を施してモデル画像を生成して受信情報端末装置に表示することにより、選んだモデル画像に送信者の表情を反映させて、このモデル画像を動画表示させることができる。
【００２３】
本発明の画像配信における課金システムは上述の課題を解決するために、情報通信を行う情報端末装置を用い、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって情報端末装置に提供する画像に対して所望するモデルデータを選んで送る画像配信における課金システムにおいて、このシステムは、送信側にて情報端末装置のユーザの顔画像から表情の特徴点を抽出し、ユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じて所望するモデルデータに変更を施して情報端末装置の受信側にて受信した画像を表示する情報端末装置を用い、情報端末装置のユーザが所望するモデルデータ作成の要求を示すモデルデータ作成指示信号を前記情報端末装置から受けて前記所望するモデルデータを作成し、この作成した画像を情報端末装置に提供するモデルデータ作成機能ブロックと、このモデルデータ作成機能ブロックから提供されるモデルデータのそれぞれに情報を付して保存し、保存されているモデルデータの選択を行う読出し要求信号に応動してユーザの所望するモデルデータを情報端末装置に提供するモデルデータ提供ブロックと、回線を介してモデルデータ提供ブロックのモデルデータが新規または既知か否か各画像に付された情報を基に照会し、このモデルデータが新規の際にこのモデルデータの情報としてユーザの名義で新規登録する機能ならびに読み出したモデルデータの使用に応じた課金に関する複数の情報の管理およびこの管理に基づきユーザのそれぞれに対する課金を請求する機能を含む情報蓄積機能ブロックと、ユーザの開設した口座またはユーザから課金の請求に対応した料金を徴収して管理し、モデルデータ作成機能ブロックの管理業者、回線の管理業者、および情報蓄積機能ブロックの管理運営業者に徴収した料金をそれぞれの割合で送金する口座管理機能ブロックとを含むことを特徴とする。
【００２４】
本発明の画像配信における課金システムは、情報端末装置の送信側にてユーザの供給する顔の画像から表情の特徴点を抽出し、モデルデータ提供ブロックからユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じた変更を所望するモデルデータに施し、このモデルデータにレンダリング処理を施して得られたモデル画像を受信側に送出し、生成したモデル画像を受信側の情報端末装置にて受信し、この画像を表示させ、モデルデータ作成機能ブロックで作成させたモデルデータの作成料金、情報端末装置を所有する送信側または受信側のユーザが所望するモデルデータの登録およびその画像使用に応じて課金された料金の請求を情報蓄積機能ブロックで行い、口座管理機能ブロックを介して料金を徴収することにより、所望のモデルデータを使用に要する料金負担を従来よりも大幅に軽減する。
【００２５】
また、本発明の画像配信における課金システムは上述の課題を解決するために、情報通信を行う情報端末装置を用い、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって情報端末装置に提供する画像に対して所望するモデルデータを選んで送る画像配信における課金システムにおいて、このシステムは、情報端末装置のユーザが所望するモデルデータ作成の要求を示すモデルデータ作成指示信号を情報端末装置から受けて所望するモデルデータを作成し、この作成したモデルデータを情報端末装置に提供するモデルデータ作成機能ブロックと、情報端末装置の送信側から供給される顔の画像から表情の特徴点を抽出し、この抽出した表情の特徴点に応じてモデルデータ格納手段からユーザの所望するモデルデータを変化させて、生成したモデルデータを受信側の前記情報端末装置に送出するサーバ装置と、ユーザの開設した口座またはユーザから所望するモデルデータの使用に対して課金請求した料金を徴収して管理し、モデルデータ作成機能ブロックの管理業者、回線の管理業者、および情報蓄積機能ブロックの管理運営業者に徴収した料金をそれぞれの割合で送金する口座管理機能ブロックとを含み、サーバ装置は、モデルデータ作成機能ブロックから提供されるモデルデータのそれぞれに情報を付して保存し、保存されているモデルデータの選択を行う読出し要求信号に応動してユーザの所望するモデルデータを情報端末装置に提供するモデルデータ提供ブロックと、回線を介してモデルデータ提供ブロックのモデルデータが新規または既知か否か各モデルデータに付された情報を基に照会し、このモデルデータが新規の際にこのモデルデータの情報としてユーザの名義で新規登録する機能ならびに読み出したモデルデータの使用に応じた課金に関する複数の情報の管理およびこの管理に基づきユーザのそれぞれに対する課金を請求する機能を含む情報蓄積機能ブロックとを含むことを特徴とする。
【００２６】
本発明の画像配信における課金システムは、情報端末装置の送信側にてユーザの顔の画像を取り込み、サーバ装置にてこの顔画像から表情の特徴点を抽出し、ユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じた変更を所望するモデルデータに施し、このモデルデータにレンダリング処理を施して生成されたモデル画像を受信側に送出し、生成したモデル画像を受信側の情報端末装置にて受信し、この画像を表示させ、サーバ装置の情報蓄積機能ブロックにてモデルデータ作成機能ブロックで作成させたモデルデータの作成料金、情報端末装置を所有する送信側または受信側のユーザが所望するモデルデータの登録およびそのモデルデータ使用に応じて課金された料金の請求を情報蓄積機能ブロックで行い、口座管理機能ブロックを介して料金を徴収することにより、所望のモデルデータを使用に要する料金負担を従来よりも大幅に軽減するとともに、モデルデータの提供における一元的な料金の管理を行うことができる。
【００２７】
本発明の画像配信サービスの提供方法は上述の課題を解決するために、情報通信を行う情報端末装置を用い、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって情報端末装置に提供する画像を所望なモデルデータにして送る画像配信サービスの提供方法において、この方法は、所望なモデルデータの候補における各モデルデータの固有な情報を蓄積するデータベースにアクセスする第１の工程と、このデータベースの各ユーザが登録しているモデルデータを所望なモデルデータの候補とし、この候補中に所望するモデルデータの情報が含まれているか否かをチェックする第２の工程と、所望なモデルデータの情報が含まれている場合、候補の中から、所望なモデルデータを選択する第３の工程と、所望なモデルデータの情報が含まれていない場合、データベースの中から新たなモデルデータを選択し、この選択した所望のモデルデータの情報をデータベースのユーザに対する追加情報として新規登録し、モデルデータ作成業者にこの新規登録料金を支払う第４の工程と、情報端末装置の送信側から画像を取り込む第５の工程と、情報端末装置から供給された画像に含まれる顔における表情の特徴点のデータを抽出する第６の工程と、選択した所望のモデルデータを通信の相手先に表示するモデルデータに用い、このモデルデータを前記抽出した特徴点のデータに応じて変化させた表情が考慮されたモデルデータを生成し、このモデルデータにレンダリング処理を施してモデル画像を生成する第７の工程と、所望なモデルデータの使用時間を通信の終了まで計測する第８の工程と、レンダリングした画像を情報端末装置の受信側で表示する第９の工程と、通信終了後に使用時間をデータベースにおけるデータ項目の一つとし、この使用時間を前記データベースにて更新させ、所望なモデルデータの使用者から業者に使用時間に応じた課金を徴収する第１０の工程とを含むことを特徴とする。
【００２８】
本発明の画像配信サービスの提供方法は、所望なモデルデータの候補における各モデルデータの固有な情報を蓄積するデータベースにアクセスし、このデータベースの各ユーザが登録しているモデルデータを所望なモデルデータの候補とし、この候補中に所望するモデルデータが含まれているか否かをチェックし、所望なモデルデータの情報を含む場合、候補の中から、所望のモデルデータを選択し、所望なモデルデータの情報を含んでいない場合、データベースの中から新たなモデルデータを選択し、この選択した所望のモデルデータの情報をデータベースのユーザに対する追加情報として新規登録し、モデルデータ作成業者にこの新規登録料金を支払い、情報端末装置の送信側からモデルデータを取り込み、情報端末装置から供給された画像に含まれる顔における表情の特徴点のデータを抽出し、選択した所望のモデルデータを通信の相手先に表示するモデルデータに用い、このモデルデータを前記抽出した特徴点のデータに応じて変化させた表情が考慮されたモデルデータを生成し、このモデルデータにレンダリングを施してモデル画像を生成し、所望なモデルデータの使用時間を通信の終了まで計測し、レンダリングした画像を情報端末装置の受信側で表示し、通信終了後に使用時間をデータベースにおけるデータ項目の一つとし、この使用時間を前記データベースにて更新させ、所望なモデルデータの使用者から使用時間に応じた課金を徴収することにより、利用頻度に応じた料金徴収が行われて、人気を収益に反映させることができ、ユーザにとって利用しやすいサービスの形態を提供する。
【００２９】
本発明の画像蓄積伝送システムは上述の課題を解決するために、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う情報端末装置を用いた画像蓄積伝送システムにおいて、このシステムは、通信における送信側の情報端末装置と、通信における受信側の情報端末装置と、送信および受信側の情報端末装置をクライアントとしてネットワーク接続され、このネットワークを介してクライアントから供給される情報を蓄積し、この蓄積した情報をクライアントの要求に応じて送出する情報蓄積装置とを含み、送信情報端末装置は、画像を入力する画像入力手段を含み、受信情報端末装置は、情報処理手段から供給される画像を表示させる表示手段とを少なくとも含み、さらに、該システムは、画像入力手段から供給される画像のうち、顔を表す画像の入力に応じて顔の表情の特徴点を抽出する表情抽出手段と、顔画像に対応するモデルデータを格納し、この格納するモデルデータのうち、使用の候補として登録されたモデルデータおよびこのモデルデータの使用時間を管理するモデル管理手段と、特徴点のデータに基づいてモデル管理手段から供給されるモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成するモデルデータ作成手段と、このモデルデータ作成手段で生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含むことを特徴とする。
【００３０】
本発明の画像蓄積伝送システムは、送信側の情報端末装置から供給される音声および入力された画像に関する情報を情報蓄積装置に格納し、受信側の情報端末装置からの読出し時に格納されている情報を読み出して情報の処理段階に応じた処理としてモデル管理手段から所望なモデルデータを選択して提供し、モデルデータ作成手段でモデルデータを表情に合ったモデルデータにしてレンダリング手段を介して作成したモデル画像を動画として対応させ、出力することにより、受信側のユーザが所望の機会に表情を持ったモデル画像を読み出して表示させることができる。
【００３１】
【発明の実施の形態】
次に添付図面を参照して本発明による画像コミュニケーション機能付き情報端末装置の実施例を詳細に説明する。
【００３２】
本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
〈情報端末装置〉
本実施例の情報端末装置は、図１に示すように、それぞれを送信側と受信側に配して送信端末装置１０ａと受信端末装置１０ｂとして用いている。本実施例の情報端末装置は、装置１０ａ， １０ｂの間にＩＰネットワーク１００を介して音声と画像をやりとりし、装置１０ａ， １０ｂで符号化と復号処理をそれぞれ行う場合である。本実施例では、送信端末装置１０ａには、キャラクタ管理センタ１２が接続されている。なお、送信端末装置１０ａと受信端末装置１０ｂには、図示しないがともに音声入力用のマイク、音声出力用のスピーカが配設されている。
【００３３】
送信端末装置１０ａには、画像入力部１４、表情特徴抽出部１６、キャラクタ格納部１８および符号化部２０が含まれている。画像入力部１４は、図示しないが、光学系、固体撮像素子およびＡ／Ｄ変換部を含む。光学系には、固体撮像素子をアレイ状に配した撮像面上の焦点位置に被写体からの入射光１０ｃを収束させるＡＦ調節（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ ｃｏｎｔｒｏｌ）機構や被写界の画角を調節するズーム調節機構がある。また、光学系には被写界からの入射光の強さに応じて露光光量を調節するＡＥ調節（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ ｃｏｎｔｒｏｌ）機構も含まれている。固体撮像素子には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光デバイスが用いられる。固体撮像素子は、露光により蓄積した電荷を電圧信号にＱ／Ｖ変換する。Ａ／Ｄ変換部は、供給される電圧信号をディジタル信号に変換し、取り込んだ光学像をディジタル画像にした信号１４ａを表情特徴抽出部１６に出力する。
【００３４】
表情特徴抽出部１６は、動画表示を行うためにあらかじめ定義された顔の特徴点の位置を解析する機能を有している。この解析は、たとえば前述したＷＧ１１／ＭＰＥＧのコミッティドラフト（１９９８年１月１日に提案）に記載されている６８個のＦＡＰ（Ｆａｃｅ Ａｎｉｍａｔｉｏｎ Ｐａｒａｍｅｔｅｒｓ）について行う。これを行うため、表情特徴抽出部１４には、図示しないが、エッジ検出回路、特徴点トラッキング回路等が含まれる。エッジ検出回路は、供給される顔画像を走査して画像のエッジ検出を行う。エッジ検出回路では、検出したエッジから目、鼻、口、眉毛領域等の輪郭が抽出される。特徴点トラッキング回路は、抽出した顔画像の輪郭からたとえば図２の顔画像の中で特徴点を示す記号（×）の位置（座標データ）を探索し、各特徴点が随時所定のタイミングでどの位置にあるか位置を追跡し、特徴点を座標データとして検出する機能を有している。表情特徴抽出部１６は、検出した特徴の座標データ１６ａを符号化部２０に出力する。
【００３５】
キャラクタ格納部１８は、キャラクタ管理センタ１２から提供されるキャラクタ画像と呼ぶモデルデータ１２ａの格納・使用時間の管理等の情報を格納するメモリである。キャラクタ格納部１８は、複数のモデルデータを記憶させる容量を持つようにしてもよい。しかし、送信端末装置１０ａが持つことができる容量には限界があり、より多くのモデルデータを保有することは難しい。そこで、キャラクタ管理センタ１２には、利用者ごとにモデルデータを管理する機能を持たせるようにしてもよい。これによって利用者は、大量のモデルデータを保有することができ、かつ利用したい所望のモデルデータをキャラクタ管理センタ１２から随時ダウンロードさせることができ、利便性を向上させることができる。
【００３６】
モデルデータは、画像のフレームを形成するようなデータであり、具体的には、図３に示す人物や猫などのような２次元画像や図４に示す３次元ＣＧによるワイヤフレームでもよい。このワイヤフレームは、約１６００個のポリゴンで構成されている。たとえば、喜び、怒り、悲しみなどの表情および発話時の口の動きは、人間の顔の筋肉の動きに基づいて変化する。すなわちワイヤフレーム上に筋肉のモデルを３次元的に配置し、各筋肉を収縮させることにより、ワイヤフレーム自体を変形させている。モデルデータは、このようなフレームデータがキャラクタとして出力される。
【００３７】
送信端末装置１０ａは、配設されたスイッチ操作によりユーザの要求に応じて送信するキャラクタを選択し、キャラクタ格納部１８は、選択したキャラクタ画像のモデルデータ１８ａを符号化部２０に出力する。キャラクタ格納部１８は、通信期間中に所定のタイミングで選択されたキャラクタ画像を送出する。所定のタイミングとは、表情特徴抽出部１６からの出力タイミングである。送信端末装置１０ａが、音声および画像伝送において受信側での画像表示をキャラクタにより行う場合、キャラクタ格納部１８は、使用するキャラクタおよび使用開始の時刻を記憶し、このキャラクタ画像表示の終了または通信終了の際にも終了を記憶し、たとえば、これらの情報をまとめたテンプレート形式でキャラクタ管理センタ１２に報知する。
【００３８】
符号化部２０は、供給されるデータを圧縮符号化して送出する機能を有する。符号化部２０には、表情特徴抽出部１６からの座標データ１６ａとキャラクタ格納部１８からのキャラクタ画像としてモデルデータ１８ａとが供給されている。ここで、符号化部２０に供給されるモデルデータ１８ａは、上述の記述では座標データ１６ａの供給されるたびに送信するように考えられるが、一回の通信（コミュニケーション）において通常通信に先立って少なくとも一回送信するとよい。これ以降はモデルデータ１８ａの要求がないかぎり単に座標データ１６ａを送信すればよい。符号化部２０は、これら供給されたデータに対してたとえば、ＭＰＥＧ４に基づく圧縮符号化処理を施したパケットデータ２０ａにしてＩＰネットワーク１００を介して受信端末装置１０ｂに出力する。
【００３９】
キャラクタ管理センタ１２は、ＩＰネットワーク１００に接続されている、たとえばサーバ装置である。キャラクタ管理センタ１２には、図示しないベンダから供給された２次元または３次元のキャラクタ画像としてのモデルデータが保存され、保存したキャラクタのモデルデータを使用するユーザ登録データと各ユーザのキャラクタ使用状況や使用時間量等が一組ずつ保存されている。ベンダとは、この場合キャラクタのモデルデータを作成し、供給する業者である。キャラクタのモデルデータとしては、たとえば図４の３次元の場合ポリゴンデータで構成された人の頭部が供給されている。また、キャラクタ管理センタ１２は、使用時間に限定されず、ユーザが使用を所望するキャラクタのモデルデータを送信端末装置１０ａにダウンロードした際にキャラクタの利用料金を徴収し、以後の所定の期間中の使用を自由にするように管理してもよい。
【００４０】
受信端末装置１０ｂは、データ作成部２２およびレンダリング部２４を含んでいる。なお、受信端末装置１０ｂには、図示しないが復号処理部が配設され、ＩＰネットワーク１００を介して供給されるパケットデータ２０ａにＭＰＥＧ４の復号処理が施されている。データ作成部２２は、供給される圧縮符号化されたデータ２０ａを復号し、復号したデータを基にしてキャラクタのモデルデータに対して抽出した特徴点の座標データを関連させて、入力した座標データに対応するようにキャラクタのモデルデータに表情の変化をもたせる機能を有する。キャラクタのモデルデータがたとえば、３次元のポリゴンの場合、ポリゴンの形成位置を座標データに合わせて変更する処理を行う。データ作成部２２は、入力画像に対応したキャラクタのモデルデータ２２ａをレンダリング部２４に出力する。
【００４１】
レンダリング部24は、供給される２次元または３次元のキャラクタのモデルデータ22aに対して最終的な画像を生成するように可視化の描画を行う表示機能を持ち、キャラクタのモデルデータ22aを各メモリに書き込んでいる。レンダリング部24には、可視化をするためのレンダリングアルゴリズムが含まれている。レンダリング部24は、受信端末装置10bの表示部（図示せず）にレンダリングされたキャラクタ画像を連続して動画表示させるため、複数のメモリも有している。レンダリング部24は、各メモリに随時供給されるキャラクタのモデルデータにアルゴリズムを適用してそれぞれ書き込み、この書込み完了のメモリから順にキャラクタ画像として読み出している。この結果、表示部には、話者の表情に応じて表情を変化させるキャラクタ画像が表示され、かつ送信端末装置10aから送信された音声データをキャラクタ画像に同期させて再生する。
【００４２】
なお、送信端末装置１０ａと受信端末装置１０ｂの通信において、双方がキャラクタ画像の通信を行う場合、送信端末装置１０ａには受信端末装置１０ｂの構成要素が含まれ、受信端末装置１０ｂには送信端末装置１０ａの構成要素が含まれることは言うまでもない。また、この通信は、ＩＰネットワーク１００を介して行う場合について説明したが、公衆回線網やＣＡＴＶのように有線回線を用いた電話機やＰＡＤ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等でもよく、携帯電話機やＣＳ放送のような電波を用いる無線回線で行ってもよい。本実施例では符号化および復号処理を配設した情報端末装置として説明したが、十分な伝送速度が確保できれば符号化および復号処理を行わずそのまま送受信してもよいことは明らかである。
【００４３】
送信端末装置１０ａにて入力した顔画像が示す表情の特徴点（での座標データ）を抽出し、ユーザが所望するキャラクタのモデルデータを選択して、たとえば抽出に同期して選択したキャラクタのモデルデータを出力し、特徴点の座標データおよびキャラクタのモデルデータを符号化し、受信端末装置１０ｂにて送信端末装置１０ａから供給される符号化されたデータを復号し、特徴点のデータを反映したキャラクのモデルデータに変換し、この変換したキャラクタのモデルデータを可視化させ、かつ動画表示させるようにレンダリング処理している。これにより、受信者は発信者のプライバシを守るように発信者の顔を受信者に直接見せていなくても、キャラクタ画像の表情を介して発信者の感情を知ることができ、音声だけの場合よりもコミュニケーションを向上させることができる。
【００４４】
そして、このキャラクタのモデルデータと特徴点のデータ伝送は、本来の顔画像に比べて人工的なデータ量の少ない画像であり、圧縮符号化が容易で回線使用時間が少なくて済むので、回線の有効利用を図ることができる。また、キャラクタのモデルデータの伝送は、好みのキャラクタで通信することから、ユーザにエンターテイメント感をもたらすことができる。
【００４５】
次に上述した情報端末装置に構成要素を追加した他の実施例を説明する。本実施例の送信端末装置１０ａには、図５に示すように、同定情報（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ：以下、ＩＤという）確認部２６が含まれている。ＩＤ確認部２６は、キャラクタ格納部１８と符号化部２０との間の配設され、送信端末装置２０ａのＩＤとキャラクタ格納部１８のキャラクタのモデルデータ１８ａに埋め込まれたＩＤとの確認を行う機能を有している。ＩＤ確認部２６は、図示しないが送信端末装置１０ａに固有な情報をＩＤとして格納するメモリと、キャラクタのモデルデータ１８ａに埋め込まれたＩＤを抽出するＩＤ抽出回路と、ＩＤを比較する比較回路とを含んでいる。
【００４６】
送信端末装置１０ａは、受信端末装置１０ｂとの通信を行う前に、キャラクタ管理センタ１２に対してダウンロード指示信号１０ｄを供給する。 キャラクタ管理センタ１２は、たとえば、装置１０ａに固有な情報の提供要求信号１０ｅを下り信号として送り、装置１０ａから固有な情報１０ｅを上り信号として取得する。固有な情報１０ｅがＩＤであり、たとえば（携帯電話機の）電話番号やＩＰアドレス等である。管理センタ１２は、ダウンロード指示を受けたユーザに所望のキャラクタのモデルデータにＩＤを埋め込んで、キャラクタ格納部１８に送出する。キャラクタ格納部１８は、供給されたＩＤ付きキャラクタのモデルデータを保存する。
【００４７】
なお、本実施例でＩＤは、送信端末装置１０ａから提供したが、この提供に限定されず、キャラクタ管理センタ１２にて送信端末装置１０ａのそれぞれを特定するＩＤが生成できるならば、キャラクタ管理センタ１２の生成したＩＤをＩＤ確認に用いるようにしてもよい。ただし、キャラクタ管理センタ１２は、送信端末装置１０ａからのダウンロード指示信号１０ｄを受けた際に、送信端末装置１０ａに管理センタ１２にて生成したＩＤをあらかじめ供給しておく。
【００４８】
音声および画像の通信において、前述した実施例とは、上述した送信端末装置１０ａとキャラクタ管理センタ１２との間でＩＤのやりとりを行っていることおよびＩＤの確認処理を行うことが異なっている。あらかじめ設定したＩＤを用いる場合、ＩＤ確認部２６ａではキャラクタ格納部１８から供給されるユーザの選んだキャラクタのモデルデータ１８ａのＩＤと送信端末装置１０ａのＩＤとが比較され、両ＩＤが一致した場合にキャラクタのモデルデータ２６ａが符号化部２０に送出される。また、ＩＤが不一致の場合、キャラクタ格納部１８は符号化部２０への送出を禁止する。このようにＩＤ確認部２６を配設してキャラクタのモデルデータの認証処理を行って送出の可否が判定され、使用直前の段階で不一致の場合に送出するキャラクタのモデルデータの供給を停止することにより、送信端末装置１０ａにおけるキャラクタのモデルデータ１２ａの不正な使用を防止することができる。
【００４９】
また、ID確認部26は、送信端末装置10aへの配設に限定されるものでなく、受信端末装置10bに配設してもよい（図６を参照）。送信端末装置10aは、最初に説明した実施例の場合とまったく同じ構成要素を用いている。ただし、送信端末装置10aは、キャラクタ管理センタ12および後述する受信端末装置10bのID確認部26に認証用のIDをあらかじめ提供させておく。このようにIDの提供を行うことにより、キャラクタ格納部18が送出するキャラクタのモデルデータ18aにはIDが埋め込まれている。
【００５０】
図６の受信端末装置１０ｂには、これまでの実施例と同様にデータ作成部２２およびレンダリング部２４が用いられるとともに、ＩＤ確認部２６およびストレージ部２８が配設されている。受信端末装置１０ｂには、圧縮符号化されたデータ２０ａがデータ作成部２２に供給される。データ作成部２２では、データ２０ａを復号し、復号したデータ２２ｂをストレージ部２８に出力する。復号は図示しないデータ作成部の前段で行うようにしてもよい。ストレージ部２８には、データ作成部２２を介して画像伝送を行う前に、送信端末装置１０ａからＩＤが供給されている。受信端末装置１０ｂは、このようにＩＤを受信し、ストレージ部２８を介してＩＤ確認部２６に送信元のＩＤを格納しておく。
【００５１】
ストレージ部28は、供給されるデータを一時的に格納する記憶部であり、図５に示すように装置10bの内部または着脱自在な外付けのリムーバブルディスク装置等を用いる。ストレージ部28は、供給されるデータ22bを一時的に格納し、この記憶したデータ22bを読出し信号28aとしてID確認部26に出力する。
【００５２】
ＩＤ確認部２６は、先に供給された取得済みのＩＤとキャラクタのモデルデータに埋め込まれているＩＤとを比較し、一致している場合にキャラクタのモデルデータ２６ａを供給する。不一致の場合、ＩＤ確認部２６はデータ作成部２２への出力を禁止する。換言すると、ＩＤ確認部２６は、キャラクタのモデルデータ２６ａをデータ作成部２２に対するデータとして用いるとともに、データ作成の動作制御信号としても出力している。このため、ＩＤが不一致の場合、データ作成部２２における表情の特徴点をキャラクタのモデルデータに反映させる機能が停止してしまう。結果的に、データ作成部２２は、この場合画像作成を禁止したと同じ結果が得られる。これにより、情報端末装置１０ｂに対するキャラクタのモデルデータ１２ａの不正な使用を防止することができる。
【００５３】
また、送信端末装置１０ａと受信端末装置１０ｂの通信を行う前に、やりとりするキャラクタのモデルデータに関する認証用のＩＤの情報交換を行って、ＩＤ確認部に格納しておき、供給される送信側の保有するキャラクタのモデルデータが受信側のストレージ部２８に記憶しているキャラクタのモデルデータとしてすでに含まれている場合、受信端末装置１０ｂはストレージ部２８に格納されているキャラクタのモデルデータを利用し、送信端末装置１０ａは一致するキャラクタのモデルデータの送信時に表情の特徴点を示す座標データだけを送信する。これにより、装置１０ａと装置１０ｂ間の伝送量を抑えることができ、回線資源を節約することができる。ここで、受信端末装置１０ｂにおける受信操作の指示が送信端末装置１０ａを介して行われる場合、伝送経路が上述した手順によって見かけ上送信端末装置１０ａ、キャラクタ管理センタ１２、そして受信端末装置１０ｂになったように見せることもできる。
【００５４】
これまで説明した実施例で、キャラクタ格納部１８は、送信端末装置１０ａに配設させてきたが受信端末装置１０ｂに配設させてもよい（図７を参照）。同じ構成要素に対して先の実施例で用いた参照符号を付して説明を省略する。この配設にともなって図７に示すように、キャラクタ管理センタ１２は、受信端末装置１０ｂと接続することになる。
【００５５】
受信端末装置１０ｂは、通信を行う前にキャラクタ管理部１２が所蔵するキャラクタのモデルデータの中から所望するキャラクタのモデルデータ１２ａを選択し、キャラクタ格納部１８にダウンロードしておく。このようにキャラクタ格納部１８を受信端末装置１０ｂに配設することにより、通信時に受信側のユーザが選択することにより所望なキャラクタによる動画表示を図示しない表示部に行わせることができるようになる。受信端末装置１０ｂのユーザに合わせたキャラクタ画像表示を行うことから、送信者から単に画像が伝送されてくる場合に比べて受信者のエンタテイメント性を高めることができる。
【００５６】
送信端末装置１０ａでは、画像入力部１４で入力した顔画像から表情を表す特徴点の座標データ２０ａだけが圧縮符号化されて受信端末装置１０ｂに伝送される。受信端末装置１０ｂのデータ作成部２２では、供給される座標データ２０ａを復号し、座標データ２０ａの供給に同期してキャラクタ格納部１８から供給されるキャラクタのモデルデータ１８ａを基にして顔の表情に合わせたキャラクタのモデルデータ２２ａを作成しレンダリング部２４に供給する。レンダリング部２４でキャラクタのモデルデータ２２ａを用いてレンダリング処理を施し図示しない表示部に表示させる。これにより、受信端末装置１０ｂは通信による動画を表示部に表示させている。この表示にあたり、送信端末装置１０ａから伝送されるデータが特徴点の座標データだけで済むことから、回線資源を節約することができる。このとき、受信端末装置１０ｂは、送信端末装置１０ａから供給される音声データも同時に再生している。
【００５７】
さらに、他の実施例として送信端末装置１０ａは、図８に示すように画像入力部１４、表情特徴抽出部１６、キャラクタ格納部１８および符号化部２０に加えて、データ作成部４００， ４０４、レンダリング部４０２， ４０６および表示サイズ調整部４０８を含んでいる。また、受信端末装置１０ｂは、データ作成部２２およびレンダリング部２４に加えて、画像入力部４１０、表情特徴抽出部４１２、キャラクタ格納部４１４および符号化部４１６を送信部として有している。
【００５８】
データ作成部400は、図示しないが符号化部20の出力20aを復号処理し、復号処理されたモデルデータを座標データに合わせて変更したモデルデータ418をレンダリング部402に出力する。レンダリング部402は、供給されるモデルデータ418にレンダリングアルゴリズムを適用して、キャラクタ画像420を生成して表示サイズ調整部408に出力する。
【００５９】
なお、表情特徴抽出部１６からの座標データ１６ａとキャラクタ格納部１８からのモデルデータ１８ａがそのままデータ作成部４００に供給すると、復号処理を行うことなく新たなモデルデータ４１８を生成することができる。
【００６０】
また、データ作成部404は、データ作成部400と同じ機能を有している。ただし、データ作成部404には、受信端末装置10bからの符号化されたデータ422が供給されている。データ作成部404は、受信端末装置10bから供給されるデータ422を基に受信側の新たなモデルデータ424を生成し、レンダリング部406に出力する。レンダリング部406は、供給されるモデルデータ424にレンダリングアルゴリズムを適用して、キャラクタ画像426を生成して表示サイズ調整部408に出力する。
【００６１】
表示サイズ調整部４０８は、供給されるキャラクタ画像４２０， ４２６の表示サイズをそれぞれ調整する。たとえば、コミュニケーション中の相手から供給されるキャラクタ画像４２６は、通常の大きさで表示させ、送信者を示すキャラクタ画像４２０はサムネイルサイズのように画面の一部分に表示する調整機能を有している。表示サイズ調整部４０８は、図示しないが表示部に調整したサムネイルサイズのキャラクタ画像と相手からのキャラクタ画像の両方を出力する。このように表示部にキャラクタ画像４２０を表示させることにより、相手の受信端末装置１０ｂに送信者、すなわち、自分の顔がどのように変換されているかをリアルタイムで知ることができる。双方向通信を行う場合、表示サイズ調整部４０８は、表示部に相手側の表示画像とこの送信者のキャラクタ画像とを同時に表示することになる。表示部には、送信者側のキャラクタ画像を画面隅に小さく表示させるように各画像の大きさを調整するとよい。
【００６２】
双方向通信を行うにあたり、受信端末装置１０ｂは、画像入力部４１０で受信者の顔画像を入力し、画像データ４３０を表情特徴抽出部４１２に供給する。表情特徴抽出部４１２は、抽出した座標データ４３２を符号化部４１６に出力する。また、キャラクタ格納部４１４は、最寄のキャラクタ管理センタ１２からダウンロードしたモデルデータ１２ａを格納し、格納したモデルデータの中から所望のモデルデータ４３４を符号化部４１６に出力する。符号化部４１６は、符号化したデータ４２２をＩＰネットワーク１００を介して送信端末装置１０ａに送っている。
〈画像伝送システム〉
次に、この音声および画像の通信において送信端末装置１０ａと受信端末装置１０ｂの構成要素をほとんどそのままに用い、この通信を実現させる画像伝送システム３０について説明する（図９を参照）。画像伝送システム３０でも符号化と復号処理を出力と入力において行う場合を示している。これらの処理を用いなくてもよい場合については説明を省いている。また、同じ構成要素に関しては説明の重複を避けるため省略する。画像伝送システム３０は、送信および受信端末装置１０ａ， １０ｂの間の伝送路上にサーバ装置３２を配し、音声および画像を同期再生している。
【００６３】
送信端末装置１０ａは、画像入力部３４および符号化部３６を有している。画像入力部３４で被写体からの入射光１０ｃを画像信号に変換し、さらに画像信号をディジタル信号３４ａにして符号化部３６に出力する。 符号化部３６では、供給される画像のディジタル信号３４ａにＭＰＥＧ４の圧縮符号化を施した画像データ３６ａをＩＰネットワーク１００に出力する。画像データ３６ａが、ＩＰネットワーク１００を介してサーバ装置３２に供給される。
【００６４】
サーバ装置３２は、復号処理部３２０、表情特徴抽出部３２２、データ変換レンダリング部３２４、キャラクタ格納部３２６、および符号化部３２８を含んでいる。サーバ装置３２は、本実施例においてＡＳＰ（Ａｃｃｅｓｓ Ｓｉｇｎａｌｉｎｇ Ｐｒｏｔｏｃｏｌ）サーバを用いている。ＡＳＰサーバは、ゲートウェイに対してＩＰネットワーク側の機器がサポートするプロトコルに従って動作させる装置である。復号処理部３２０は、供給される画像データ３６ａを復号する機能を有している。すなわち、送信端末装置１０ａの符号化部３６で行ったＭＰＥＧ４の圧縮符号化に対応した伸長処理および復号を行う。復号処理部３２０は、画像データ３２０ａを供給する送信元である送信端末装置１０ａを電話番号、アドレスデータまたはユーザＩＤ等から特定して、復号した画像データ３２０ａを表情特徴抽出部３２２に送出する。表情特徴抽出部３２２は、供給される画像データ３２０ａから表情の特徴点の座標データを抽出し、抽出した座標データ３２２ａをデータ変換レンダリング部３２４に出力する。
【００６５】
キャラクタ管理部３２６は、図示しないがベンダから供給されるキャラクタのモデルデータの保存と、各キャラクタに対して個々のユーザの使用登録と、ユーザが使用したキャラクタの使用時間および使用料金等を管理するデータベースである。キャラクタ管理部３２６は、上述したように画像データ３６ａを受信した際に得られる電話番号、アドレスデータまたはユーザＩＤ等から特定したユーザがあらかじめ（いわゆるユーザデータベース内で）選択したキャラクタのモデルデータ３２６ａをデータ変換レンダリング部３２４に送出する。キャラクタのモデルデータ３２６ａは、通信前に選択しておくことがより好ましいが、通信中に設定したり新たに設定し直してもよい。
【００６６】
キャラクタ管理部３２６は、復号処理部３２０からの復号した画像データ３２０ａの供給に同期して選択したキャラクタのモデルデータ３２６ａをデータ変換レンダリング部３２４に出力する。通信終了後、キャラクタ管理部３２６は、使用時間情報を対応するユーザＩＤのテンプレートに更新する。
【００６７】
データ変換レンダリング部３２４は、モデルデータ作成手段とレンダリング手段とに対応するデータ作成機能およびレンダリング機能と２つの機能を有している。データ作成機能は、キャラクタのモデルデータ３２６ａと抽出した座標データ３２２ａとに基づいて送信者の表情を考慮したキャラクタのモデルデータを生成する。レンダリング機能は、データ作成機能により生成された２次元または３次元のキャラクタのモデルデータに対してレンダリングアルゴリズムに応じてレンダリング処理を施し、個々のメモリに記憶し、レンダリングしたキャラクタ画像３２４ａを時系列関係が保たれるようにそれぞれ順に符号化部３２８に出力する。
【００６８】
符号化部３２８は、供給されるキャラクタ画像３２４ａに圧縮符号化処理を施したキャラクタ画像３２８ａを受信端末装置１０ｂに送出する。本実施例のサーバ装置３２はＩＰネットワーク１００に接続していることから、キャラクタ画像３２８ａはＩＰネットワーク１００を介して受信端末装置１０ｂに供給される。
【００６９】
受信端末装置１０ｂは、復号処理部３８および表示部４０を含んでいる。復号処理部３８は、サーバ装置３２から供給される圧縮符号化されたキャラクタ画像３２８ａを伸長処理し、復号したキャラクタ画像３８ａを表示部４０に出力する。表示部４０は、たとえば液晶ディスプレイを用いる。表示部４０は、供給される画像を所定の時間間隔で表示させると、送信者の表情に対応したキャラクタ画像が動画表示される。
【００７０】
このように送信者の表情に対応したキャラクタ画像の通信に用いる構成要素をサーバ装置３２内に集中して含ませ、送信端末装置１０ａと受信端末装置１０ｂの構成要素を最小限にすることにより、端末装置１０ａ， １０ｂを小型化、かつ安価な製造を実現することができ、各装置の処理も軽減させることができる。また、サーバ装置３２にてキャラクタ画像処理が行われるように構成することにより、システムのバージョンアップやメンテナンスを行う場合、サーバ装置３２の処理内容を変更すればよく、個々の端末装置に対する変更を行わずに済ませることができ、変更時のユーザの負担をなくすことができる。
【００７１】
サーバ装置３２による管理により、キャラクタ使用の監視を容易に行うことができ、キャラクタ使用にともなうセキュリティも向上させることができる。たとえば、金融機関のＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）端末装置は現在、音声だけで顧客の対応処理を行っているが、コミュニケーション力を高めるために接客時に行員の顔画像をそのまま表示させた場合、防犯の面での危険が懸念される。画像伝送システム３０を適用し、ＡＴＭ端末装置を受信端末装置として用いるようにすれば、行員に対する防犯効果を高めながら、顧客に対して良好なコミュニケーションをもたらすことができる。
【００７２】
また、画像伝送システム３０は、図１０に示すように、送信端末装置１０ａに表情特徴抽出部３２２を配設させてもよい。送信端末装置１０ａにおいて、画像入力部３４に入力され、電気信号に変換された画像３４ａが表情特徴抽出部３２２に供給される。表情特徴抽出部３２２では、供給される画像３４ａの中から、表情における特徴点を示す座標データ３２２ａが抽出される。座標データ３２２ａは、生の画像３４ａに比べてデータ量が少ない。符号化部３６は、供給される座標データ３２２ａを圧縮符号化してＩＰネットワーク１００を介してサーバ装置３２に送出する。表情特徴抽出部３２２を送信端末装置１０ａに配設することにより、生の画像３４ａを供給する場合に比べてキャラクタの新たなモデルデータの生成に用いる座標データ３２２ａを送出することで送信の所要時間が少なくて済むことから、ＩＰネットワーク１００のような回線資源が節約される。また、画像３４ａを送信していないので、回線を傍受されても送信者のプライバシの侵害を防ぐことができる。
【００７３】
なお、このような回線資源の節約は、上述した構成に限定されるものでなく、受信端末装置10bにデータ変換レンダリング部324を配設するようにしても実現することができる。この場合、サーバ装置32は、所望なキャラクタのモデルデータを符号化して受信端末装置10bに送ればよい。これにより、サーバ装置32と受信端末装置10bとの間で伝送される情報量が大幅に抑えられ、画像通信を効率的に行うことができる。
【００７４】
画像伝送システム30は、図11に示すように、装置端末装置10aの画像入力部34を画像差分出力部42で置き換える構成にしてもよい。これは、画像伝送システム30において受信端末装置10bに所望のキャラクタのモデルデータ326aを表示すればよく、顔画像そのものでなく、表情の変化を示すデータがサーバ装置32に供給できればよいからである。画像差分出力部42は、最初の画像以外、差分画像42aを符号化部36に供給する。
【００７５】
たとえば、送信端末装置１０ａにおいて画像差分出力部４２は、図１２（ａ）の口を開いた顔画像を画像入力して出力し、以後、一つ前に入力した顔画像と図１２（ｂ）に示す現在入力した口を閉じた顔画像との差分をとって、この差がゼロ以外の領域を差分画像４２ａとして符号化部３６に出力する。符号化部３６は、供給される差分データ４２ａに圧縮符号化を施してサーバ装置３２に伝送する。これにより、送信端末装置１０ａとサーバ装置３２との間の伝送量を大幅に抑制できるようになる。
【００７６】
また、サーバ装置３２には、表情特徴差分抽出部３３０が配設されている。サーバ装置３２は、供給される圧縮符号化された差分データ４２ａに復号処理を施して表情特徴差分抽出部３３０に復号した差分データ３２０ａを供給する。表情特徴差分抽出部３３０は、領域を示す座標データを基に表情を示す特徴点を特定しながら、対応する特徴点に供給された差分量を最初に供給された顔画像に関して対応する座標データに加算する。
【００７７】
より具体的に示すと、表情特徴差分抽出部３３０は、図１２（ｃ）に示すように、図１２（ａ）に対応して基準となる画像における記号（×）の特徴点を抽出する。図１２（ｃ）の点線で示した位置が得られる。次に差分量を加算することにより、図１２（ｂ）における実線で示す画像が得られる。表情特徴差分抽出部３３０は、実線の画像における特徴点を求めて、得られた特徴点での座標データ３３０ａをデータ変換レンダリング部３２４に出力する。
【００７８】
データ変換レンダリング部３２４は、所望のキャラクタのモデルデータ３２６ａにおける表情を表す特徴点の座標データ３３０ａを基に作成し、レンダリングアルゴリズムに従ってレンダリング処理を施して符号化部３２８に出力する。符号化部３２８では、単に画像を圧縮符号化するのでなく、画像間の差分形式にして伝送する方法を用いてもよい。これらのような伝送手法は、たとえばＭＰＥＧ４等の開発されたソフトウェア的手法により実現することができる。このように圧縮符号化されたキャラクタ画像３２８ａが受信端末装置１０ｂに出力される。受信端末装置１０ｂは、これまでと同様に供給されるキャラクタ画像３２８ａを復号処理部３８で伸長、かつ復号を行い、表示部４０に表示させている。
【００７９】
このように構成することにより、サーバ装置３２の入出力、すなわち送信端末装置１０ａ−サーバ装置３２間とサーバ装置３２−受信端末装置１０ｂ間のデータが差分の形式に応じてそれぞれ、入出力されることから、伝送サイズを元の大きさに比べて大幅に小さくすることができる。したがって、回線の使用時間も少なくて済むことから、回線資源がこれまで以上に節約できる。また、サーバ装置３２は、扱うデータを小さくできることから、装置３２の負荷を抑え、処理速度の向上も図ることができる。ただし、差分の影響を受けてレンダリングした画像が滑らかに表示できない虞がある。これを回避する場合、サーバ装置３２と受信端末装置１０ｂの間ではレンダリングして得られたキャラクタ画像を差分化せずにそのまま符号化して出力することが望ましい。
【００８０】
また、画像伝送システム３０におけるサーバ装置３２には、図１３に示すように、送信認証部４４を配設するようにしてもよい。送信認証部４４は、供給される顔画像のような身体的な特徴または送信者（ユーザ）が所有するＩＤカードやパスワード等を用いて送信者を認証し、この認証に応じてキャラクタ管理部３２６を制御する機能を有している。送信認証部４４には、この機能を発揮させるため通信に先立って送信者を認識させる指定形式による認証テンプレートデータの登録等が行われる。認証テンプレートデータは、サーバ装置３２にて作成される。また、送信者の利用するキャラクタ画像に関する情報の登録を送信認証部４４で行ってもよいが、この情報の登録は、一般的にキャラクタ管理部３２６のデータベースで行う。
【００８１】
本実施例では、図１４に示すように、送信認証部４４に送信者のユーザ情報も含めたデータベースが用意されている。このデータベースは、たとえば図１４の認証テンプレートのデータを保存し、認証テンプレートには、項目として送信者ＩＤ、認証テンプレートファイル、ファイルサイズ、登録年月日および登録キャラクタが設けられている。送信認証部４４は、復号処理部３２０から供給される画像データ３２０ａを用いて、上述したデータベースの項目ごとにデータを付き合せて送信者が一致するか否かを認証判定を行う。認証判定の結果に応じて送信認証部４４はキャラクタ管理部３２６に制御信号４４ａを供給する。送信認証部４４は、認証が一致した場合、制御信号４４ａをキャラクタのモデルデータ３２６ａの送信許可信号として送出する。また、認証が不一致の場合、送信認証部４４は、送信禁止信号としてキャラクタ管理部３２６に供給する。
【００８２】
このように認証することにより、送信端末装置に依存したＩＤ等と異なり、より具体的に送信者そのものを認証することから、たとえば盗難や紛失にあった端末装置の第三者による不正利用を防止することができ、先に述べたＩＤ確認部２６の場合よりも高いセキュリティをシステムに持たせることができる。
【００８３】
なお、図１に示した構成の場合、キャラクタ管理センタ１２の手前に送信認証部４４を配設し、不正と判断されたらキャラクタのモデルデータ１２ａの送出を禁止するようにキャラクタ管理センタ１２を制御するとよい。
【００８４】
また、他の実施例として画像伝送システム３０におけるサーバ装置３２は、符号化部３２８から圧縮符号化したキャラクタ画像３２８ａを受信端末装置１０ｂに送出するとともに、ＩＰネットワーク１００を介して送信端末装置１０ａにも供給するように帰還出力させている（図１５を参照）。送信端末装置１０ａには、復号処理部４６および表示サイズ調整部４８が含まれている。
【００８５】
復号処理部４６は、ＩＰネットワーク１００を介して圧縮符号化したキャラクタ画像３２８ａを受信し、受信したキャラクタ画像３２８ａを伸長し、かつ復号処理をキャラクタ画像３２８ａに施す。復号処理されたキャラクタ画像４６ａが表示サイズ調整部４８に供給される。表示サイズ調整部４８は、供給されるキャラクタ画像４６ａの表示サイズを、たとえばサムネイルサイズのように画面の一部分に表示調整する機能を有している。表示サイズ調整部４８は、図示しないが表示部に調整した表示サイズのキャラクタ画像を出力させる。表示部にキャラクタ画像を表示させることにより、相手の受信端末装置１０ｂに送信者、すなわち自分の顔がどのように変換されているかをリアルタイムで知ることができる。双方向通信を行う場合、表示サイズ調整部４８は、表示部に相手側の表示画像とこの送信者のキャラクタ画像とを同時に表示することになるが、送信者のキャラクタ画像を画面隅に小さく表示させるように各画像の大きさを調整するとよい。
【００８６】
画像伝送システム３０において、サーバ装置３２に顔画像を送出する送信端末装置を複数接続する構成（多対一の接続）にしてもよい（図１６を参照）。複数の送信端末装置１０＿１， １０＿２， ・・・， １０＿ｎは、図示しないがこれまでの構成と同様に画像入力部および符号化部をそれぞれ有している。送信端末装置１０＿１， １０＿２， ・・・， １０＿ｎは、入射光Ｃ１， Ｃ２， ・・・， Ｃｎを画像信号に変換し、圧縮符号化した画像データ１００＿１， １００＿２， ・・・， １００＿ｎをＩＰネットワーク１００を介してサーバ装置３２に供給される。
【００８７】
復号処理部３２０では、供給される画像データ１００＿１， １００＿２， ・・・， １００＿ｎのそれぞれに伸長処理を施し、復号処理も施す。これらの処理後、復号処理部３２０は、表情特徴抽出部３２２に復号した画像データ３２０ａを出力する。供給される各画像データ３２０ａから表情における特徴点の座標データをそれぞれ抽出し、データ変換レンダリング部３２４に送出する。データ変換レンダリング部３２４では、抽出した座標データ３２２ａに対応させて、選択した各キャラクタのモデルデータ３２６ａの表情を変化させ、得られたキャラクタのモデルデータのサイズを考慮してマルチ表示になるように画像を縮小させるレンダリングが行われる。マルチ表示になるようにレンダリングしたキャラクタ画像３２４ａを符号化部３２８で圧縮符号化して受信端末装置１０ｂに送出する。受信端末装置１０ｂでは復号処理部３８を介した複数のキャラクタ画像３８ａが表示部４０に表示される。
【００８８】
４つの送信端末装置から受信端末装置１０ｂにキャラクタ画像による通信が行われるとき、図１７に示すように、図示しない表示部の画面４０には同時に４つのキャラクタ画像４０ａ〜４０ｄが表示される。キャラクタ画像は、図１７のように２次元に限定されることなく、３次元コンピュータグラフィック表示で行うようにしてもよい。送信者が４人以上のとき、受信端末装置１０ｂには、表示部４０の画面切替を順次行うようにしてしたり、供給される複数のキャラクタ画像のうち、選択した画像を大きく表示させる等の選択表示機能を持たせるとよい。
【００８９】
このようにして同時に複数の送信者から一人の受信者に送信してテレビ会議システムのような通信を行うことができる。
【００９０】
画像伝送システム３０には、複数の送信者から一人の受信者への多対１の通信と逆に１対多の通信を行う場合がある（図１８を参照）。たとえば、リアルタイムに接続して一人の先生が通信教育によって複数の生徒を指導するような場合である。この通信関係を実現させるために、画像伝送システム３０は、サーバ装置３２の直後にメディアサーバグループ５０を配設し、ＩＰネットワーク１００を介して複数の受信端末装置２００＿１， ２００＿２， ・・・， ２００＿ｎと接続されている。メディアサーバグループ５０は、複数台のメディアサーバ装置５０ａ〜５０ｎをサーバ装置３２に対して並列的に配設することが好ましい。
【００９１】
メディアサーバグループ５０には、複数のストレージ５００が含まれている。ストレージ５００は、たとえばＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）や大容量の半導体メモリで構成されている。メディアサーバ装置５０ａ〜５０ｎは、受信端末装置２００＿１， ２００＿２， ・・・， ２００＿ｎから送信要求信号が供給されると、この送信要求信号に応じた音声および画像における同期のとれたデータが要求のあった受信端末装置に出力する。メディアサーバグループ５０は、複数台用いることにより多くの受信端末装置２００＿１， ２００＿２， ・・・， ２００＿ｎとの通信を行うことができる。受信端末装置２００＿１， ２００＿２， ・・・， ２００＿ｎのそれぞれは、サーバ装置３２と通信して所望のキャラクタ画像を選択すると、個々に異なるキャラクタ画像を表示部（図示せず）に表示させることができる。
【００９２】
これまで、送信側で入力した画像のうち、顔の画像から顔の表情における特徴点を抽出し、顔の画像と異なるキャラクタのモデルデータを選んで、受信側にキャラクタ画像によって動画表示させる例を示してきたが、画像を変更する表示は、個人を認識する顔画像に限定されるものでなく、背景の画像がプライバシを侵害する場合もある。周囲の様子を知らせたくない場合、音声のみの会話を行うしかなかった。
【００９３】
このような状況を改善するため、送信端末装置１０ａには、前述した構成要素に加えて、基本的に前処理部１１０、人物抽出部１１２、記憶部１１４、および背景合成部１１６が含まれている（図１９を参照）。前処理部１１０は、画像入力部３４から供給される画像データ３４ａに対してフィルタ処理を施す。前処理部１１０は、図示しない主制御部による制御に応じた出力先を切り換えて出力する。前処理部１１０は、画像の背景を変更する場合、フィルタ処理された画像データ１１８を人物抽出部１１２に出力させ、画像データ１１８をそのまま送出する場合、符号化部３６および記憶部１１４に供給する。
【００９４】
人物抽出部１１２は、供給される画像データ１１８ａに輪郭抽出処理を施し、人物の領域を抜き出す機能を有している。人物抽出部１１２は、抜き出した人物領域の画像データ１２０を背景合成部１１６に出力する。記憶部１１４は、供給される画像データ１１８ｂを保存する機能を有する。記憶部１１４は、送信端末装置１０ａの小型化に対処する場合半導体メモリ等が好ましい。この他、磁気記録媒体や光記録媒体等に記録させるようにしてもよい。記憶部１１４は、主制御部の制御にともない、記憶する画像データの中から、ユーザが所望する画像データ１２２を読み出して背景合成部１１６に供給する。記憶部１１４は、供給される画像データ１１８ｂを背景画像として記憶する場合、背景画像を特徴付けるキーワードを付けて登録しておくことが望ましい。
【００９５】
背景合成部１１６には、それぞれ供給される人物領域の画像データ１２０と記憶部１１４に格納されている背景画像データ１２２とを合成する機能がある（背景合成処理）。背景画像データ１２２は、風景に限定するものでなく、たとえば、壁紙のようなパターンデータでもよい。背景合成部１１６は、供給される画像データ１２０， １２２を合成し、送信端末装置１０ａの画像データ１２４として符号化部３６に供給する。符号化部３６は、供給される画像データ１１８または画像データ１２４に対して圧縮符号化を施し、画像データ３６ａとして出力する。
【００９６】
このように送信者の要望に応じて背景合成した画像データを送出することにより、送信者の現在位置を受信者に特定されることなく、画像通信を行うことができる。また、背景を見せたくない場合でも同様に画像通信できる。
【００９７】
この構成を基本に送信端末装置１０ａは、図２０に示すように、背景作成部１２６を追加してもよい。背景作成部１２６は、実際に撮影して得られた実画像データ、アニメーションの背景画像やＣＧに限定することなく、任意の背景画像を作成する機能を有している。背景作成部１２６は、簡単な背景作成をする場合、図示しない送信端末装置１０ａに配設されているポインティングデバイスがユーザにより操作され、たとえばパターンを組み合わせて背景画像を選択して作成するようにしてもよい。作成の際に背景作成部１２６は、主制御部の制御を受けて画像作成を行っている。背景作成部１２６は、作成した背景画像データ１２８を記憶部１１４および背景合成部１１６に供給する。記憶部１１４に記憶させる場合、背景画像データ１２８は前述したように背景登録処理を経て保存される。背景合成部１１６は、背景画像に関して既に記憶部１１４に保存されている背景画像データ１２２または背景作成部１２６で作成した背景画像データ１２８のいずれかを選択して用いている。この構成要素の追加により、任意の背景画像を作成することができ、送信画像のバリエーションを増やすことができる。
【００９８】
さらに、図２０の構成に加えて送信端末装置１０ａは、表情認識部１３０を含むようにしてもよい（図２１を参照）。表情認識部１３０は、前処理部１１０からの画像データ１１８ｂを入力し、画像データ１１８ｂが表す画像の中から、特に顔の表情に含まれる表情を数値化する機能を有している。表情に対する数値化は、たとえば、笑い、笑み、怒り、泣き等に対応させるように認識処理によって行われる。また、表情認識部１３０は、認識結果に応じた数値を制御信号１３２として記憶部１１４および背景作成部１２６に供給する。画像通信にリアルタイム性が要求される場合、背景作成できないので記憶部１１４に格納されている背景画像データ１２２を用いるとよい。記憶部１１４には、保存時に保存する背景画像に対してあらかじめ表情を表す数値を付して記憶しておくと表情認識部１３０による制御に対して対応し易い。
【００９９】
背景合成部１１６には、送信者の表情を示す背景画像データが記憶部１１４または背景作成部１２６から供給される。表情認識部１３０も図示しない主制御部の制御に応じて動作制御されている。
【０１００】
顔の表情に応じて背景画像が変化することにより、複雑な操作を逐次に行うようユーザに強いることなく、負担を軽減してコミュニケーション力をより一層高めることができる。
【０１０１】
このように送信端末装置１０ａについて説明したが、画像伝送システム３０では、前処理部１１０、人物抽出部１１２、背景合成部１１６、背景作成部１２６および表情認識部１３０をサーバ装置３２に配設するようにしてもよい。このように集約して配設することにより送信端末装置１０ａは小型化を容易にし、かつシステム変更にも対応しやすくすることができる。
【０１０２】
また、図示しないが、背景合成部を受信端末装置10bに配設するようにしてもよい。送信端末装置10aは、合成前の人物画像120および背景画像122/128を圧縮符号化した画像データ36aを受信端末装置10bに供給する。受信端末装置10bは、供給された画像データ36aを伸長し、かつ復号した画像データを背景合成部に供給し、合成して表示する。供給される背景画像に動きがない場合、受信端末装置10bは、この背景画像を受信端末装置10bが有する記憶部に保存する。受信端末装置10bは、このとき送信端末装置10aに対して背景画像の送信停止信号を送る。これを受けて送信端末装置10aは、人物画像120だけを受信端末装置10bに送信する。受信端末装置10bは、内蔵する記憶部から一旦保存した背景画像を背景合成部に読み出す。背景合成部では、供給される人物画像と一旦保存した背景画像とを合成して表示させる。
【０１０３】
このように背景合成処理を送信端末装置１０ａでなく、サーバ装置３２や受信端末装置１０ｂに分けて配設することにより、背景画像に動きの少ない画像を伝送する場合、通信において背景画像の保存後、人物画像だけを送信しても合成画像表示させることができるので、回線資源を節約することができる。
【０１０４】
なお、画像伝送システム３０として説明したが、最初の実施例のようにサーバ装置３２を介さない電話機や情報端末装置間の通信においても同様の背景画像を変更して画像伝送できることは言うまでもない。これにより、個人のプライバシ等を守って通信することができる。
〈画像配信における課金システム〉
次に所望のキャラクタ画像を送信者の顔画像が示す表情に応じた画像に変化させ、受信側に変化させたキャラクタ画像を表示しながら音声および画像による通信を行う場合の課金システムについて説明する（図２２を参照）。課金システム６０には、ベンダ６２、キャラクタ提供部６４、データベース部６６、課金徴収部６８および情報端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎが含まれている。
【０１０５】
ベンダ６２とは、キャラクタの原画を提供する製造元であり、図示していないがキャラクタを作成するシステムの提供者も指して、両者とも一般的に生成したキャラクタ（のモデルデータ）の著作権者である。本実施例におけるベンダ６２は、キャラクタ作成システムであるキャラクタ作成装置も示している。端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎの所有者、すなわちユーザは、データベース部６６を検索して所望なモデルデータがないと判断した場合、ＩＰネットワーク１００を介してベンダ６２に画像作成依頼信号７２を端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎのそれぞれから送出させる。また、モデルデータ作成依頼を受け付けず、一方的に作成しているキャラクタのモデルデータを提供するようにしてもよい。
【０１０６】
画像作成依頼信号７２には、依頼者の要求する情報がパラメータとして含まれている。情報には、キャラクタのモデルデータ作成料の支払い先を示す口座番号等も含まれている。ベンダ６２は、供給される依頼信号７２に合ったキャラクタのモデルデータを作成する。ベンダ６２は、たとえば、作成したキャラクタのモデルデータ７４とモデルデータ７４が新規であることを示す情報を付加してキャラクタ提供部６４にアップロードし、データベース部６６にはモデルデータ７４が新規だけでなく、たとえば口座番号や画像作成依頼者のユーザＩＤを含めた情報を送出する。また、このような複数の情報をベンダ６２に送出することから、データベースに登録済みの場合ユーザは、所有する端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎの一つを介してキャラクタのモデルデータに要望する条件をデータベース部６６に提供する。データベース部６６は、上述の条件に依頼のあったユーザの情報を加えた画像作成依頼信号（図示せず）をベンダ６２に供給するようにしてもよい。
【０１０７】
なお、依頼者は、ベンダ６２が作成したキャラクタのモデルデータをアップロードする前にキャラクタのモデルデータの確認を行い、要求を満たしているか確認する。
【０１０８】
キャラクタ提供部６４は、ベンダ６２から供給されるキャラクタのモデルデータ７４に対して登録処理を行い、保存する。また、キャラクタ提供部６４は、端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎのいずれかから読出し要求信号７６がＩＰネットワーク１００を介して供給されると、ユーザが所望するキャラクタのモデルデータ７８をＩＰネットワーク１００を介して要求のあった端末装置に送出する（ダウンロード）。この送出タイミングを基にダウンロードしたキャラクタを所定の期間中では自由に使うように課金を行うようにしてもよい。
【０１０９】
データベース部６６は、図２３に示すような項目を保存して管理するとともに、ユーザの要求に応じたキャラクタのモデルデータの照会検索を行う機能を有している。データベース構造は、ユーザごとに各項目の情報を区分して持つように形成されている。各項目には、送信者ＩＤ、口座番号、キャラクタＩＤ、登録年月日、利用時間および利用料金等がある。データベース部６６は、端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎのいずれかから照会検索要求信号８０が供給された際に、所望のキャラクタのモデルデータがキャラクタ提供部６４に保存されているか否かを検索する。データベース部６６は、検索結果８２を照会検索要求のあった端末装置に送出する。データベース部６６の検索結果８２が所望のキャラクタのモデルデータの保存を示すとき、データベース部６６は、ユーザの端末装置に検索結果８２に含まれる所望のキャラクタＩＤを供給する。また、データベース部６６は、検索結果８２に所望のキャラクタのモデルデータが含まれていないと判明した際に、新たなキャラクタのモデルデータの生成または別なキャラクタのモデルデータを検索するか否か等のメッセージを表示させるようにメッセージを送出する。
【０１１０】
データベース部６６は、各端末装置に対する利用時間および利用料金等に関する情報も管理しているから、要求に応じて各ユーザに情報を提供することができる。データベース部６６は、この情報を各端末装置における課金請求情報８４として課金徴収部６８に供給する。データベース部６６は、課金徴収部６８から供給される徴収の情報８６を受けてベンダ６２の作成者、図示しないが回線管理者およびこのシステム６０の運用者にそれぞれの徴収した料金、徴収情報８８， ９０， ９２を提供する。
【０１１１】
なお、キャラクタ提供部６４およびデータベース部６６は、画像コミュニケーション機能付き情報端末装置の実施例におけるキャラクタ管理センタ１２や画像伝送システムの実施例におけるキャラクタ管理部３２６に対応している。また、キャラクタ提供部６４とデータベース部６６は、データベースにおけるユーザや各項目ごとのデータをやりとりして適切な処理を行わせるようにしてもよい。また、前述したキャラクタ格納部１８にキャラクタ提供部６４の機能を一部持たせるように考えることもできる。
【０１１２】
課金徴収部６８は、たとえば、銀行、郵便局等の金融機関のコンピュータシステムに対応する。このコンピュータシステムは、ホストコンピュータが各ユーザの預金口座を管理し、供給される課金請求情報８４に応じて料金の引き落としを行う。課金徴収部６８は、たとえば端末装置に電子マネー管理機能がある場合、ＩＰネットワーク１００、回線９４を介して料金の精算を行うようにしてもよい。
【０１１３】
端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎは、音声および画像の通信において、前述したキャラクタ画像を送信者の表情に応動させて送信し、相手の端末装置として受信した際にキャラクタ画像を動画表示させながら音声を出力させる機能を有している。端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎは、システム６０における設定や通信者同士の取り決めに応じて送信者または受信者がシステム６０やキャラクタのモデルデータの使用料を支払うようにしている。
【０１１４】
また、上述したキャラクタ画像の表示にともなう画像処理が負担にならないように画像処理の構成をサーバ装置３２に配設させる。すなわち、サーバ装置３２には、図示しないが端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎの前述した画像処理に対応する、たとえば図９の表情特徴抽出部３２２およびデータ変換レンダリング部３２４が含まれている。また、キャラクタ管理部３２６は、より統合的な機能を有する前述したキャラクタ提供部６４を用いるとよい。このように構成することにより、システム６０における図２４のサーバ装置３２は、データセンタ的な役割を持たせることができる。データベース部６６は図２３に示すようにユーザごとに各項目の情報を管理するとよい。また、課金の対象は送信者に限定されるものでなく、受信者を対象にしてもよい。この場合、データベース部６６は、図２５に示すように受信者ＩＤ、口座番号、キャラクタＩＤ、利用時間および利用料金等の各項目にデータを格納するとよい。
【０１１５】
課金システム６０は、さらに広告データベース部９６および広告端末装置９８を含むようにしてもよい。広告データベース部９６は、複数の広告依頼する会社（広告主）から掲載する広告データ、この広告掲載を了承したユーザ情報および広告掲載料金を管理する機能を有している。広告データベース部９６は、図２６に示す項目（広告主ＩＤ、広告データファイル名、ファイルサイズ、掲載開始、掲載終了および掲載料金等を保存している。
【０１１６】
広告データベース部９６は、広告主の端末装置９８から供給される広告データ１０２を登録し、広告データ１０２をサーバ装置３２に供給する。データベース部６６は、ユーザに対して掲載をするか否かの情報８２を提供する。サーバ装置３２には広告データベース部９６から広告データ１０４が供給されている。サーバ装置３２は、ユーザからの応答信号８０に応じて供給される広告データ１０４およびキャラクタ画像を合成し、この合成画像をＩＰネットワーク１００を介してユーザの受信側の端末装置に供給する。
【０１１７】
広告端末装置９８は、各広告主に対応して設けられた情報入出力装置である。本実施例で広告端末装置９８は、広告データベース部９６に広告データを出力し、広告データベース部９６からの使用状況等の情報を入力する。
【０１１８】
サーバ装置３２は、データベース部６６にて広告データ１０４が供給される広告掲載を了承したユーザに対するユーザ情報の項目の一部として広告掲載データを管理し、広告掲載データを考慮して利用料金の請求を作成し、課金徴収部６８に課金請求情報８４を送る。また、サーバ装置３２は、掲載を了承したユーザ情報とともに掲載時間・掲載料金等を含む情報１０４を広告データベース部９６を介して広告端末装置９８に供給する。広告端末装置９８は、広告主が管理するホストコンピュータ（図示せず）に接続されている。ホストコンピュータは、供給されるユーザごとの情報１０４を集計し、集計した広告掲載料に対する支払い情報１０６を課金徴収部６８に送る。なお、集計は広告データベース部９６で行ってもよい。データベース部６６は、供給される徴収情報８６を基に前述したそれぞれの業者に徴収情報８８， ９０， ９２を供給する。
【０１１９】
このように構成することにより、システムの利用頻度に応じた課金を課すことができ、ユーザ、キャラクタ、課金、および広告掲載等の監視を容易にし、かつセキュリティも高くすることができる。
【０１２０】
課金は、利用頻度に限定されるものでなく、徴収請求情報の作成プログラムを所定の期間中、定額料金とする設定に変更してもよい。この変更に対応して課金徴収部６８では、各ユーザの口座からの引き落としや月額ごとの定額料金振込みにて徴収する。所定の期間は、キャラクタ画像がダウンロードされた時点を開始時刻として設定し、データベース部６６の対応するユーザＩＤの項目に記録し、これから、たとえば通常通信が完了する期間ないし最大数時間程度に設定するとよい。これにより、システムのユーザを増やし、一層利用しやすくする効果を奏することもできる。
【０１２１】
また、課金の支払いは、キャラクタのモデルデータを使用した送信者側または受信者側で行う。受信側の支払いは、ユーザ登録時だけまたは利用ごとだけで行うようにしてもよい。広告掲載をシステムに導入することにより、システム運営を安定なものにすることができ、ユーザの使用経費負担を軽減させることもできるようになる。
〈画像配信サービスの提供方法〉
次にサービス提供の手順は、サーバ装置３２の有無と関係なく、サービス提供の管理を行うデータベース部６６の判断および合成画像処理を中心に説明する。送受信にともなう符号化および復号処理については説明を省略する。課金システム６０を参照しながら最も簡単な手順を図２７に示す。たとえば、送信側を端末装置７０＿３と受信側を端末装置７０＿１として音声および画像の伝送を行う。送信側は、データベース部６６にアクセスする（ステップＳ１０）。このとき、送信側のユーザはシステム６０に登録済みであるとする。ユーザがすでに登録しているキャラクタのモデルデータについて図２３のキャラクタＩＤの項目を検索して使用可能なキャラクタを使用する候補として探し出す。
【０１２２】
探し出したキャラクタＩＤの中に所望のキャラクタが含まれているか否かを判断する（ステップＳ１２）。所望のキャラクタが存在する場合（ＹＥＳ）、そのキャラクタＩＤを選択する（ステップＳ１４）。また、所望のキャラクタが存在しなかった場合（ＮＯ）、データベース部６６が保存するキャラクタの中から所望のキャラクタを選択する（ステップＳ１６）。
【０１２３】
この場合、選択したキャラクタＩＤは、データベース部６６にて現在選択を行っているユーザがこのキャラクタＩＤに対して登録されていないことから、このユーザ用に新規登録を行う（ステップＳ１８）。データベース部６６には、新規登録にともなってデータベース部６６には登録年月日および登録料の請求が作成される。登録料の請求は、徴収請求情報８４として課金徴収部６８に供給される。課金徴収部６８では、ユーザ名義の口座から徴収請求情報８４に対応して預金を引き落とす（ステップＳ２０）。課金徴収部６８は、徴収情報８６をデータベース部６６に送って、徴収完了を報告する。データベース部６６は、徴収情報８６に基づいてキャラクタを作成したベンダ６２に徴収情報８８を通知する。このような手順で新規登録・登録料の徴収が行われる。
【０１２４】
なお、図示していないが、ベンダ６２から供給されるキャラクタのモデルデータに所望のキャラクタのモデルデータがなかった場合、ベンダ６２に対して新たなキャラクタのモデルデータの作成を要求する。ベンダ６２への要求時にユーザは、端末装置７０＿３を介してユーザ登録情報および要望するキャラクタ条件をベンダ６２に供給する。ベンダ６２は、要望に応じて作成したキャラクタのモデルデータをキャラクタ提供部６４に格納する。要求を出してキャラクタのモデルデータを作成してもらったユーザは、新規に作成されたモデルデータを確認し、要求を満たしていると判断した際に、キャラクタ作成の代金をベンダに支払う。この支払いはデータベース部６６を介して行われる。このように作成依頼により作られたキャラクタのモデルデータは、キャラクタ提供部６４に保存されるが、ユーザの希望に応じてユーザのみの使用、一般ユーザの使用を選択できるように登録するとよい。これにより、作成依頼者は自分専用のキャラクタのモデルデータを保有することができる。また、ベンダ６２は、選択したキャラクタのモデルデータに対してダウンロードしてから利用可能な有効期間を設定して課金し、運用するようにしてもよい。
【０１２５】
ステップＳ１４またはステップＳ２０の後に、キャラクタ提供部６４からキャラクタＩＤを基に所望のキャラクタのモデルデータを読み出し、この読み出した時刻を図示しないが使用開始としてデータベースで管理する（ステップＳ２２）。キャラクタのモデルデータは、ユーザごとにキャラクタのモデルデータを保有する場合、キャラクタ格納部１８から読み出し、システム管理してキャラクタのモデルデータを保有する場合、キャラクタ提供部６４（キャラクタ管理部３２６）から読み出している。
【０１２６】
なお、読み出したキャラクタのモデルデータを端末装置に格納して使用する場合、端末装置は、使用開始時刻を記憶し、使用終了時の時刻とこの使用開始時刻との差から利用時間を算出し、データベース部６６に送る。
【０１２７】
以上の設定の後に、音声およびキャラクタ画像による通信が行われる。送信側の端末装置７０＿３では、送信者の顔画像を入力する（ステップＳ２４）。顔画像における表情の特徴点を各座標データとして抽出する（ステップＳ２６）。次に、キャラクタのモデルデータと抽出した座標データとを基に表情のあるキャラクタのモデルデータの合成データを生成する（ステップＳ２８）。この合成データを２次元または３次元のレンダリングアルゴリズムに従って可視化するレンダリング処理を行ってメモリに格納する。（ステップＳ３０）。端末装置またはサーバ装置３２は、レンダリング処理して生成されたキャラクタ画像を複数のメモリに格納し、時系列の順序に応じて出力させている。受信側の端末装置７０＿１は、供給されるキャラクタ画像を表示部に表示させて、音声に同期したキャラクタ画像を動画表示する（ステップＳ３２）。
【０１２８】
次に、このキャラクタ画像表示を行う通信を終了するか否かの判断を行う（ステップＳ３４）。通信を継続する場合（ＮＯ）、処理をステップＳ２４に戻す。また、通信を終了させる場合（ＹＥＳ）、ユーザのキャラクタのモデルデータ使用の終了時刻を記憶する（ステップＳ３６）。サーバ装置３２では、使用開始時刻と終了時刻から利用時間を求め、課金される利用料金を算出する。データベース部６６は、ユーザを特定し、利用時間および利用料金を特定したユーザのデータとして更新する（ステップＳ３８）。この更新したデータに基づいてデータベース部６６は、徴収請求情報８４を課金徴収部６８に送り、課金徴収部６８での徴収結果を徴収情報８６として受けている。データベース部６６は、回線使用料を除いた徴収情報８６によりベンダ６２の業者およびシステム運用の業者にそれぞれ徴収した収益情報８８，９０を送る。この後、課金システム６０を適用した画像伝送システム３０を終了する。
【０１２９】
このように動作させることにより、キャラクタのモデルデータを登録させ、システムの利用時間に応じてユーザの登録したキャラクタのモデルデータごとに課金することから、人気度を反映させた料金の徴収を行うことができる。本実施例では、送信者側が課金の対象であったが、受信者側が所望のキャラクタのモデルデータを選ぶようにし、選んだキャラクタのモデルデータを利用するようにしてもよい。この場合、受信者をキャラクタのモデルデータのユーザと見做して課金してもよい。このように通信するユーザの一方に課金することにより、サービスの負担を軽減することができ、サービスの利用を促す効果も得られる。
【０１３０】
受信者が課金を支払う場合の具体的な手順を図２８に示す。ここで、前述した同じ手順処理（ステップ）に対しては同じ参照符号を付す。この場合、データベースの照会（ステップＳ１０）と所望のキャラクタの存在確認（ステップＳ１２）の間で受信側の確認処理をいくつか行う。まず、ステップＳ１０の後で、通信においてキャラクタ画像による通信を行ってもよいか否かの確認を行う（ステップＳ４０）。キャラクタ画像通信が拒否された場合（ＮＯ）、接続子Ａを介して図２９に移行して通信処理を終了する。また、キャラクタ画像通信が了承された場合（ＹＥＳ）、受信者がキャラクタ画像通信を行う課金システム６０にユーザとして登録されているかの確認処理に進む（ステップＳ４２へ）。
【０１３１】
受信者がユーザ登録されていない場合（ＮＯ）、ユーザ登録処理に進む（ステップＳ４４）。ユーザ登録処理は、ユーザ本人の登録を行う。登録はデータベース部６６と所有する端末装置７０＿３との情報をＩＰネットワーク１００を介してやりとりして行われ、データベース部６６に登録情報が保存される。登録情報は、所定の期間有効にするように設定してもよい。この有効期間は、たとえば定額料金制に応じて設定することが好ましい。システム６０では、登録料をシステム運用費等の経費としてデータベース部６６から徴収請求情報８４が課金徴収部６８に出力される。
【０１３２】
課金徴収部６８では、徴収請求情報８４に応じて口座から登録料分が引き落とされる。課金徴収部６８は、引き落としの完了の徴収情報８６をデータベース部６６に出力してキャラクタのモデルデータの選択処理に進む。
【０１３３】
ステップＳ４２にて受信者がユーザ登録されている場合（ＹＥＳ）、ステップＳ１２に進む。ステップＳ１２では、前述したようにキャラクタのモデルデータが所望のモデルデータか否かの判断を行う。ただし、この場合、データベース部６６は、メッセージを受信側の端末装置７０＿１に送る。端末装置７０＿１の表示部の画面１０８には、たとえば、図３０（ａ）， （ｂ）に示すようなメッセージが表示される。ユーザはこのメッセージに対する応答を端末装置７０＿１の操作によりデータベース部６６に行う。これ以降の処理は前述した手順と同じで、図２９に示す通りである。ここで、前述した手順と異なる点は、キャラクタのモデルデータの登録料や利用時間に基づくキャラクタのモデルデータの使用料を受信者から徴収する点である。なお、受信者への課金は、登録時のみまたは登録を無料にして利用ごとに課すようにしてもよい。
【０１３４】
このよう手順で動作させることにより、受信側でキャラクタのモデルデータを選ぶことができ、通信のエンタテイメント性を高めることができる。また、システム６０を適用した画像伝送システム３０において、使用するキャラクタのモデルデータが正規のものか否かを判断して、不正な使用を防止する手順を加えるようにしてもよい。
【０１３５】
具体的には、図３１に示すように、実際にキャラクタのモデルデータの使用を開始処理（ステップＳ２２）の前にいくつかの手順が配される。すなわち、キャラクタのモデルデータの選択（ステップＳ１４）や登録料の徴収（ステップＳ２０）の終了後に供給されるキャラクタのモデルデータに同定用のＩＤが付いているか否かを判断する（ステップＳ４８）。ＩＤが付いていないと判断された場合（ＮＯ）、キャラクタのモデルデータのＩＤを示すデータを判断処理部である図５や図６のＩＤ認識部２６や図１３の送信認証部４４に転送する（ステップＳ５０）。ＩＤは、この場合送信側としての端末装置７０＿３が特定でき、かつキャラクタの登録が確認できるデータである。ＩＤの提供元は、この確認済みに対応するデータとしてキャラクタ画像通信に固有なデータを転送するとよい。
【０１３６】
ステップＳ４８でキャラクタのモデルデータにＩＤがすでに付されている場合（ＹＥＳ）やＩＤを示すデータ転送を受けて供給されたＩＤが正しいか否かの判断を行う（ステップＳ５２）。上述に例示した判断処理部には、あらかじめ画像通信に固有なＩＤが記憶されている。キャラクタのモデルデータに対して供給されたＩＤが、この固有なＩＤと比較され、比較結果が一致するとき（ＹＥＳ）、キャラクタのモデルデータを扱う正規の登録ユーザと判断してステップＳ２２以降の処理を継続する。また、比較結果が不一致のとき（ＮＯ）、接続子Ａを介して図２９の終了に移行し、処理を終了する。
【０１３７】
また、キャラクタおよびシステムの使用料として課金システム６０が定額料金制を採用している場合、ＩＤ認証時にこの定額料金の支払い者かの確認も行うとよい。定額料金を支払っているユーザは、自由に安心して利用でき、利用における予算化も立て易くなる。一方、サーバ装置３２の運用業者やベンダ６２の業者は、この制度により収益を安定化させることができ、データベース部６６の料金の関係項目を簡素化することができ、システム６０の運用を容易にすることができる。なお、サーバ装置３２を用いない場合、キャラクタ管理部１２がキャラクタの管理および各ユーザのデータ管理を行って、キャラクタのモデルデータの新規登録時に登録料や利用時間に応じた課金を行うことで、サーバ装置３２での管理および料金徴収等の処理を同様に行うことができる。
【０１３８】
次に課金システム６０には、スポンサを導入してもよい。スポンサとしては、たとえば広告主等がある。広告の掲載において課金システム６０には、図２４に示したように、広告データベース９６および広告端末装置９８が加えられている。これらを加えた場合、画像通信を行う前に、送信側のユーザは、端末装置７０＿３を用いて画像通信時に広告を掲載するか否かの判断を行う（ステップＳ５４：図３２を参照）。広告の掲載を了承する場合（ＹＥＳ）、データベース部６６に了承の応答信号をサーバ装置３２に送る。また、広告の掲載を拒否する場合（ＮＯ）、データベースの照会（ステップＳ１０）まで手順をスキップする。
【０１３９】
広告掲載の了承を受けて、サーバ装置３２は、広告データベース部９６に広告データを送出する許可信号１０４を送り、広告データを選択的に読み出す（ステップＳ５６）。許可信号１０４には、広告データベース部９６にアクセスして読み出すアドレスデータが含まれている。アドレスデータには、図２６の広告主ＩＤや広告データファイルがサーバ装置３２から指定される。指定の仕方は、ランダムに指定するようにしてもよいし、順序に応じて指定するようにしてもよい。これらにより指定された広告データ１０４が、サーバ装置３２に供給される。逆に、広告掲載の了承を広告データベース部９６が受けて、広告データベース部９６が指定しデータベース部６６に出力するようにしてもよい。また、サーバ装置３２は、たとえば、広告掲載がユーザにより了承されている際に広告了承フラグを立てておく。
【０１４０】
次にこれまでと同様にデータベースの照会を行う（ステップＳ１０）。そして、所望のキャラクタ画像が含まれているか否か判断する。判断には、たとえばキャラクタＩＤを用いる。ステップＳ１４〜Ｓ２０で所望のキャラクタのモデルデータの選択と、新規登録および登録料の徴収が行われる。
【０１４１】
次に広告掲載料金の徴収が行われる（ステップＳ５８）。ただし、広告了承フラグが立っている場合に限定する。広告拒否の場合、このフラグがないので何も処理することなく次のステップに移行する。本実施例ではサーバ装置３２は、掲載時間に関係なく広告掲載料金を１回の通話に対して課金するようにして徴収する。データベース部６６および広告データベース部９６では、図２６のように広告主ＩＤおよび掲載する広告データファイルに対して掲載開始・掲載終了・掲載料金等が管理される。データベース部６６を用いた処理については後段で説明する。広告データベース部９６は、管理している掲載料金を集計して、各広告主の広告端末装置９８に集計したデータを供給する。広告端末装置９８は、図示しない会社のホストコンピュータに集計データを送る。広告主は、ホストコンピュータや広告端末装置９８を介して広告掲載料金の支払い情報１０６を課金徴収部６８に出力する。
【０１４２】
なお、広告掲載料金は、広告データファイルのサイズに応じて徴収してもよいし、広告データベース部９６への登録時に徴収するようにしてもよい。また、この広告掲載料金を時間に応じて徴収し、かつ時間に応じて表示する広告を変更するようにしてもよい。この場合、広告データの選択および広告掲載料金の徴収処理を通信終了の判断前に行うようにするとよい。広告掲載の方法は、背景に埋め込むだけでなく、キャラクタのモデルデータに埋め込んだり、音声に埋め込むようにしてもよい。
【０１４３】
キャラクタのモデルデータの使用開始をデータベース部６６に記す（ステップＳ２２）。接続子Ｄを介して送信側で顔画像の入力処理を行う（図３３のステップＳ２４）。サーバ装置３２は入力した顔画像に対する表情の特徴点を抽出する（ステップＳ２６）。特徴点は座標データとして得られる。供給されるキャラクタのモデルデータの特徴点を座標データに対応させて表情を有するキャラクタのモデルデータを生成し、このキャラクタのモデルデータを読み出す際にフラグがあれば、キャラクタのモデルデータの表示領域と異なる領域に広告データ１０４を合成する（ステップＳ６０）。合成したデータをレンダリングする（ステップＳ３０）。レンダリング処理を行って、出力する合成画像が表示部の画面１０８に動画として表示させる。合成画像の一例を図３４に示す。通信を終了させるか否かの判断を行う。通信を継続する場合（ＮＯ）、画像入力から処理を繰り返す。ここで、端末装置７０＿３， ７０＿１が終了ボタンが押された際に終了と判断して電源を断せずに、以下に説明する処理を行う。キャラクタのモデルデータの使用終了の時刻を記し（ステップＳ３６）、時刻を管理するデータベース部６６に使用終了時刻を格納する。サーバ装置３２を用いていない場合、キャラクタ提供部１２に通信開始・通信終了時刻が報告される。
【０１４４】
次に通信を利用したユーザに対する課金を精算する（ステップＳ６２）。通信開始時刻から通信終了時刻までがユーザに対するキャラクタのモデルデータの使用期間で、キャラクタのモデルデータの利用料金が課される。ところで、本実施例では広告掲載料金分の割合を設定してユーザのキャラクタのモデルデータ利用料金に還元し、課金負担を軽減させるとする。データベース部６６は、広告掲載を了承したユーザに対してこの分を差し引く精算処理を行う。
【０１４５】
精算処理により得られたデータを基にデータベース部６６のデータを更新する（ステップＳ３８）。データベース部６６では更新したデータに応じた課金請求情報８４が課金徴収部６８に送られる。課金徴収部６８では、課金請求情報に対応するユーザの口座から料金が引き落とされ、徴収情報８６がデータベース部６６に出力される。データベース部６６は、徴収情報８６から各業者に配分した収益情報を供給する。一つの通話に対して以上の手順を行った後、課金システム６０の処理を終了する。
【０１４６】
本実施例では、広告掲載を了承したユーザに対して料金負担の軽減措置を行うようにしたが、広告掲載による増収分をユーザ全体的に還元するように料金を値下げさせてもよい。
【０１４７】
このような手順で動作させることにより、ユーザの料金負担を軽減させることができる。
〈画像蓄積伝送システム〉
本発明の画像蓄積伝送システムを適用したメッセージ提供システム１４０について説明する。メッセージ提供システム１４０は、図３５に示すように、ＩＰネットワーク１００に接続する送信端末装置１４２、ストレージ装置１４４、受信端末装置１４６， １５０および画像処理装置１４８を含んでいる。システム１４０で用いる構成要素のうち、すでに述べた要素については説明を省略し、接続関係を説明する。
【０１４８】
送信端末装置１４２は、音声と画像とを同期させて取り込んでいる。送信端末装置１４２には、画像入力部１４２ａおよび表情特徴出部１４２ｂが含まれている。送信端末装置１４２は、画像入力部で顔画像１０ｃを取り込んで画像データ１５２にして表情特徴抽出部１４２ｂに送る。表情特徴抽出部１４２は、供給される画像データから顔の特徴点の座標データ１５４を抽出し、ＩＰネットワーク１００を介してストレージ装置１４４に供給する。ストレージ装置１４４には、音声および特徴点の座標データ１５４が保存される。
【０１４９】
ストレージ装置１４４は、たとえばレイドタイプで磁気や光／光磁気記録媒体を用いた記録装置である。ストレージ装置１４４は、ＩＰネットワーク１００に接続されている。ストレージ装置１４４には、ＩＰネットワーク１００、信号線１５６を介して送信端末装置１４２から音声および特徴点の座標データ１５４の情報が供給され、特に、音声を顔の表情の変化である特徴点の座標データと時系列に同期が保たれるように格納される。また、ストレージ装置１４４には、受信端末装置１４６， １５０からそれぞれ格納している情報の読出し要求信号がＩＰネットワーク１００、信号線１５６を介して供給される。この場合、ストレージ装置１４４は格納している情報を読み出して要求信号を出力した受信端末装置に向けて信号線１５６、ＩＰネットワーク１００を介して送出する。このとき、送出する音声は、特徴点の座標データと時系列の関係を崩さないように受信端末装置１４６， １５０に供給される。
【０１５０】
受信端末装置１４６， １５０は、異なる仕様である。受信端末装置１４４には、キャラクタ格納部１４６ａ、データ変換部１４６ｂおよびレンダリング部１４６ｃが含まれている。受信端末装置１４６は、信号線１５８を介してＩＰネットワーク１００に接続している。キャラクタ格納部１４６ａは、受信端末装置１４６のユーザがあらかじめ図示しないキャラクタ管理部からダウンロードし、格納しておいた所望のキャラクタのモデルデータの候補である。ユーザは、候補のキャラクタのモデルデータの中から所望のキャラクタのモデルデータを選択する。キャラクタ格納部１４６ａは、選択したキャラクタのモデルデータ１６０をデータ変換部１４６ｂに供給する。
【０１５１】
データ変換部１４６ｂは、信号線１５６、ＩＰネットワーク１００、信号線１５８を介して供給される音声および特徴点の座標データ１５４のうち、座標データ１５４を基にキャラクタのモデルデータ１６０の特徴点を変更するデータ変換処理を行っている。データ変換部１４６ｂは、処理の施されたキャラクタのモデルデータ１６２をレンダリング部１４６ｃに供給する。レンダリング部１４６ｃは、供給されるキャラクタのモデルデータ１６２を２次元／３次元にレンダリング処理した画像データ１６４を図示しない表示部に力する。画像データ１６４が、同時に出力される音声に同期していることは言うまでもない。
【０１５２】
また、もう一つの受信端末装置150は、復号処理部150aを含み、受信端末装置146のキャラクタ格納部146a、データ変換部146bおよびレンダリング部146cを含んでいないこれまで用いられてきた構成とほとんど同じである。これは、受信端末装置150の前段に画像処理装置148が配設されていることに由来している。復号処理部150aは、MPEG4のデコード機能を有するソフトウェアを内蔵し、このソフトウェアを実行することにより画像データを伸長し復号処理を行う。復号処理部150aは言うまでもなくハードウェアで構成してもよい。ストレージ装置144に情報の読出し要求信号を出力すると、受信端末装置150は、画像処理装置148を介してストレージ装置144に供給する。これに応動してストレージ装置144は、画像処理装置148を経て受信端末装置150に格納している情報を読み出して出力する。受信端末装置150には、後述するように画像処理装置148にて符号化された画像データ168が供給されることから、受信端末装置150は、画像データ168に復号処理を施し、音声および音声に同期した画像データ166を図示しない表示部に出力する。
【０１５３】
画像処理装置１４８は、信号線１７０を介してＩＰネットワーク１００と接続している。画像処理装置１４８は、受信端末装置１４６と同じ役割を果たすキャラクタ格納部１４８ａ、データ変換部１４８ｂ、レンダリング部１４８ｃを含み、さらに受信端末装置１４６になかった符号化部１４８ｄを有している。符号化部１４８ｄは、所望のキャラクタのモデルデータにされた画像データ１７２にＭＰＥＧ４のエンコードを施し、音声および音声に同期した画像データ１６８を受信端末装置１５０に出力する。
【０１５４】
メッセージ提供システム１４０は、図３６に示すように構成してもよい。システム１４０の変形例として送信端末装置１４２には、図３５の構成要素に加えて画像処理装置１４８の構成要素が含まれている。追加される構成要素は、キャラクタ格納部１４２ｃ、データ変換部１４２ｄ、レンダリング部１４２ｅおよび符号化部１４２ｆである。この追加構成により、送信端末装置１４２は、音声および送信者が所望するキャラクタのモデルデータにてレンダリングした画像データ（動画）を符号化してストレージ装置１４４に供給する。受信端末装置１５０は、情報要求時にストレージ装置１４４から読み出された符号化された音声および画像データの情報を信号線１５６、ＩＰネットワーク１００および信号線１７０を介して受信する。受信端末装置１５０は、受信した情報に復号処理を施し、音声同期した画像データ１６６を出力する。
【０１５５】
このように構成することにより、音声だけでメッセージを伝える通信に比べて供給される顔の表情からメッセージに含むニュアンス、たとえばメッセージの内容に関する明るさ、深刻さ、あいまいな情報の雰囲気等を受信者に伝えることができ、コミュニケーション力を向上させることができる。送信者からの情報を蓄積しておくことにより、送信者と受信者の関係が一対多の場合、受信者は所望する機会にメッセージ内容を取り出して確認できることから、アクセスする時間の自由度を高めることができる。また、表示される画像は送信者と一致しない画像に変更して供給することができるので、たとえば人気の高いキャラクタを利用してメッセージを伝えることで、受信者の注意や興味を喚起する効果がある。
【０１５６】
なお、前述した実施例では、画像処理等の各種処理をハードウェアで実現させる構成を説明してきたが、これらの処理は、ハードウェアに限定されるものでなく、ソフトウェアによって実現できることは言うまでもない。すなわち、ソフトウェアとして作成したプログラムを装置に格納し、供給される顔画像から表情における特徴点を抽出し、モデルデータと組み合わせて、表情の考慮されたモデルデータにし、このモデルデータにレンダリング処理を施すことにより、所望のキャラクタ画像を情報端末装置に表示させ、音声データも同時に同期再生させて、プライバシを保護しながら、良好なコミュニケーションを図ることができる。
【０１５７】
以上のように構成することにより、画像コミュニケーション機能付き情報端末装置において、音声だけで通信していた場合よりも通信におけるコミュニケーション力を向上させるとともに、送信者のプライバシの保護も行うことができる。この場合、送信者は自分の様子や送信場所を気にしないで通信することができ、利用機会の増加に寄与させることもできる。画像の差分処理、圧縮符号化−復号処理の採用や受信側の情報端末装置でのキャラクタのモデルデータの格納により、回線を伝送する情報量を抑えて回線資源を節約し有効に利用することができる。また、キャラクタのモデルデータにＩＤ認識を含めて供給して認証処理することにより、不正なキャラクタのモデルデータの使用を防止することができる。
【０１５８】
キャラクタのモデルデータの選択を受信端末装置で行う場合、受信側のユーザにエンタテイメント性を持たせることができ、画像通信における送受信の電話機間の通信を表情の特徴点のデータで済ますことから、回線資源を節約することができる。
【０１５９】
画像伝送システムにおいてもサーバ装置に画像処理機能を集約させ、情報端末装置の構成変更を最小限に抑えて画像入力および表示を可能にすることにより、上述と同様の効果を奏することができ、コミュニケーション力やプライバシ保護に寄与する通信を行うことができ、小型で、かつ安価な情報端末装置を提供することができる。また、システムのバージョンアップやメンテナンスもサーバ装置で行うことにより、管理が容易にでき、ユーザに迷惑をかけることなく、サービスの向上を図ることができる。リアルな通信において送信者と受信者の関係が一対多や多対一にも対応することができ、前者の場合、一度の伝送で情報を送ることから効率のよい伝送と数多くのユーザが一つの情報を共有することができ、後者の複数の表示をサムネイル表示で画面にテレビ会議的に同時表示させることもできる。
【０１６０】
また、画像配信における課金システムおよび画像配信サービスの提供方法では、ユーザの新規登録、ユーザが所望するキャラクタのモデルデータの新規登録、新規キャラクタのモデルデータの作成料、実際に使用したキャラクタのモデルデータの使用料をユーザごとに管理し、請求、徴収を行うことにより、従来に比べて非常に安く、かつ利用し易いサービス形態による画像配信が提供でき、ユーザの料金負担を軽減できることから、利用するユーザの増加に大きく寄与することができる。さらに、人気の高いキャラクタのモデルデータを作成したベンダは利用を収益に反映して得ることができる。利用料金の定額制を採用することにより、利用における計画性（予算等）を立て易くでき、ユーザの増加およびシステムにおける収益の安定化が期待できる。この課金システムは監視の面においても容易にユーザの管理ができる。
【０１６１】
課金システムに、たとえば、広告主のようなスポンサを導入することにより、収益の増収が図られ、利用料金の値下げや広告掲載を了承したユーザに対するサービスも提供することができる。
【０１６２】
画像蓄積伝送システムによれば、画像伝送システムと同様に音声だけでメッセージを伝える通信に比べて供給される顔の表情からメッセージに含むニュアンス、たとえばメッセージの内容に関する明るさ、深刻さ、あいまいな情報の雰囲気等を受信者に伝えることができ、コミュニケーション力を向上させることができる。
【０１６３】
本システムの特徴である送信者からの情報を蓄積しておくことにより、送信者と受信者の関係が一対多の場合、受信者は所望する機会にメッセージ内容を取り出して確認でき、アクセスする時間の自由度を高めることができる。また、表示される画像は送信者と一致しない画像に変更して供給することができるので、たとえば人気の高いキャラクタを利用してメッセージを伝えることで、受信者の注意や興味を喚起する効果がある。
【０１６４】
【発明の効果】
このように本発明の画像コミュニケーション機能付き情報端末装置によれば、送信側の情報端末装置機の画像入力手段で顔画像を入力し、表情抽出手段この画像に応じて顔の特徴点のデータを抽出し、モデル格納手段からモデルデータを読み出して顔の特徴点のデータおよびモデルデータを受信側の情報端末装置に送り、受信側の情報端末装置にて受信し、モデルデータ作成手段で供給される抽出した特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成し、レンダリング手段でこの生成したモデルデータにレンダリングを施して、受信側の情報端末装置に送信側から供給される送信者の表情を反映させたモデル画像にして、このモデル画像を動画表示させることにより、音声だけで通信していた場合よりも通信におけるコミュニケーション力を向上させるとともに、送信者のプライバシの保護も行うことができる。
【０１６５】
また、本発明の画像コミュニケーション機能付き情報端末装置によれば、送信側の情報端末装置の画像入力手段で顔画像を入力し、表情抽出手段でこの画像に応じて顔の特徴点のデータを抽出し、顔の特徴点のデータを受信側の情報端末装置に送り、受信側の情報端末装置にて所望のモデルデータを選び、このモデルデータに送信側から供給される送信者の表情を反映させて、このモデル画像として動画表示させることにより、受信側のユーザにエンタテイメント性を持たせることができ、画像通信における送受信の情報端末装置間の通信を表情の特徴点のデータで済ますことから、回線資源を節約することができる。
【０１６６】
本発明の画像伝送システムは、情報処理装置を送信情報端末装置と受信情報端末装置との間に配し、表情抽出手段、モデル管理手段、モデルデータ作成手段およびレンダリング手段のいくつかを情報処理装置に配することにより、送信および受信情報端末装置の構成変更を抑制し、サーバ装置に画像処理機能を集約させ、情報端末装置の構成変更を最小限に抑えて画像入力および表示を可能にすることにより、上述した画像通信機能付き電話機と同様の効果を奏することができ、コミュニケーション力やプライバシ保護に寄与する通信を行うことができ、小型で、かつ安価な情報端末装置を提供することができる。
【０１６７】
本発明の画像配信における課金システムによれば、情報端末装置の送信側にてユーザの供給する顔の画像から表情の特徴点を抽出し、モデルデータ提供ブロックからユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じた変更を所望するモデルデータに施し、このモデルデータにレンダリング処理を施して得られたモデル画像を受信側に送出し、生成したモデル画像を受信側の情報端末装置にて受信し、この画像を表示させ、モデルデータ作成機能ブロックで作成させたモデルデータの作成料金、情報端末装置を所有する送信側または受信側のユーザが所望するモデルデータの登録およびその画像使用に応じて課金された料金の請求を情報蓄積機能ブロックで行い、口座管理機能ブロックを介して料金を徴収して、所望の画像を使用に要する料金を従来に比べて非常に安く、かつ利用し易いサービス形態による画像配信が提供できることにより、従来に比べてユーザの料金負担を軽減でき、利用するユーザの増加に大きく寄与することができる。
【０１６８】
また、本発明の画像配信における課金システムによれば、情報端末装置の送信側にてユーザの顔の画像を取り込み、サーバ装置にてこの顔画像から表情の特徴点を抽出し、ユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じた変更を所望するモデルデータに施し、このモデルデータにレンダリング処理を施して生成されたモデル画像を受信側に送出し、生成したモデル画像を受信側の情報端末装置にて受信し、この画像を表示させ、サーバ装置の情報蓄積機能ブロックにてモデルデータ作成機能ブロックで作成させたモデルデータの作成料金、情報端末装置を所有する送信側または受信側のユーザが所望するモデルデータの登録およびそのモデルデータ使用に応じて課金された料金の請求を情報蓄積機能ブロックで行い、口座管理機能ブロックを介して料金を徴収することにより、所望の画像を使用に要する料金負担を従来よりも大幅に軽減し、モデルデータの提供における一元的な料金の管理を行うことができる。
【０１６９】
本発明の画像配信サービスの提供方法によれば、所望なモデルデータの候補における各モデルデータの固有な情報を蓄積するデータベースにアクセスし、このデータベースの各ユーザが登録しているモデルデータを所望なモデルデータの候補とし、この候補中に所望するモデルデータの有無に応じて、所望なモデルデータの情報を含む場合、候補の中から、所望のモデルデータを選択し、所望なモデルデータの情報を含んでいない場合、データベースの中から新たなモデルデータを選択し、この選択した所望のモデルデータの情報をデータベースのユーザに対する追加情報として新規登録し、モデルデータ作成業者にこの新規登録料金を支払い、情報端末装置の送信側からモデルデータを取り込み、情報端末装置から供給された画像に含まれる顔における表情の特徴点のデータを抽出し、選択した所望のモデルデータを通信の相手先に表示するモデルデータに用い、このモデルデータを前記抽出した特徴点のデータに応じて変化させた表情が考慮されたモデルデータを生成し、このモデルデータにレンダリングを施してモデル画像を生成し、所望なモデルデータの使用時間を通信の終了まで計測し、レンダリングした画像を情報端末装置の受信側で表示し、通信終了後に使用時間をデータベースにおけるデータ項目の一つとし、この使用時間を前記データベースにて更新させ、所望なモデルデータの使用者から使用時間に応じた課金を徴収して、利用頻度に応じた料金徴収を行うことにより、人気を収益に反映させ、ユーザにとって利用しやすいサービスの形態を提供し、ユーザの増加に貢献することができる。
【０１７０】
最後に、本発明の画像蓄積伝送システムによれば、送信側の情報端末装置から供給される音声および入力された画像に関する情報を情報蓄積装置に格納し、受信側の情報端末装置からの読出し時に格納されている情報を読み出して情報の処理段階に応じた処理としてモデル管理手段から所望なモデルデータを選択して提供し、モデルデータ作成手段でモデルデータを表情に合ったモデルデータにしてレンダリング手段を介して作成したモデル画像を動画として対応させ、出力し、受信側のユーザが所望の機会に表情を持ったモデル画像を読み出して表示させることにより、画像伝送システムと同様に音声だけでメッセージを伝える通信に比べてコミュニケーション力を向上させることができ、アクセスする時間の自由度を高めることができる。
【図面の簡単な説明】
【図１】本発明の画像コミュニケーション機能付き情報端末装置を適用した情報端末装置の送信側および受信側の実施例における構成を示すブロック図である。
【図２】図１の表情特徴抽出部における顔表情特徴抽出を行う各位置関係を示す図である。
【図３】図１のキャラクタ格納部が保有する２次元のキャラクタのモデルデータを示す図である。
【図４】図１のキャラクタ格納部が保有する３次元のキャラクタにおけるモデルデータ（顔モデル）を示す図である。
【図５】図１の情報端末装置の他の実施例における構成を示すブロック図である。
【図６】図１の情報端末装置の他の実施例における構成を示すブロック図である。
【図７】本発明の画像コミュニケーション機能付き情報端末装置を適用した情報端末装置の送信側および受信側の実施例における構成を示すブロック図である。
【図８】情報端末装置の送信側にて受信側に表示させたキャラクタ画像と受信側から供給されるキャラクタ画像を複数表示させる概略的な構成を示すブロック図である。
【図９】本発明の画像伝送システムを適用したシステムにおける送受信の情報端末装置のそれぞれおよびサーバ装置の概略的な構成を示すブロック図である。
【図１０】図９の画像伝送システムにおける変形例の構成を示すブロック図である。
【図１１】図９の画像伝送システムにおける変形例の構成を示すブロック図である。
【図１２】図１１の表情特徴差分抽出部の動作原理を説明する図である。
【図１３】図９のサーバ装置における他の構成を示すブロック図である。
【図１４】図１３の送信認証部に供給される認証テンプレートを格納するデーベースの内容を表す図である。
【図１５】図９の画像伝送システムにおける変形例の構成を示すブロック図である。
【図１６】図９の画像伝送システムにおいてリアルタイムに多対一の接続を行う場合の構成を示すブロック図である。
【図１７】図１６の構成にて受信端末装置の表示部に表示される出力画面の例を示す図である。
【図１８】図９の画像伝送システムにおいてリアルタイムに一対多の接続を行う場合の構成を示すブロック図である。
【図１９】送信端末装置に配設される背景合成を行う構成を示すブロック図である。
【図２０】図１９の送信端末装置における背景合成処理の他の構成を示すブロック図である。
【図２１】図１９の送信端末装置における背景合成処理の他の構成を示すブロック図である。
【図２２】本発明の画像配信における課金システムの構成を示すブロック図である。
【図２３】図２２のデータベース部に格納されるデータベースの内容を表す図である。
【図２４】図２２のシステムに広告掲載を導入した場合の他の構成を示すブロック図である。
【図２５】図２２のデータベース部において受信者に課金した場合のデータベースの内容を表す図である。
【図２６】図２４の広告データベース部における広告データベースの内容を表す図である。
【図２７】本発明の画像配信サービスの提供方法における基本的な動作手順を説明するフローチャートである。
【図２８】図２７に動作手順に受信側の登録手順を加えたフローチャートである。
【図２９】図２８に続く動作手順を示すフローチャートである。
【図３０】図２８の所望な画像の選択を行う際に画面に表示されるメッセージの例を表す図である。
【図３１】図２７の動作手順にＩＤ認証処理を含めたサービス提供のフローチャートである。
【図３２】図２７の動作手順に広告掲載処理を含めたサービス提供のフローチャートである。
【図３３】図３２に続く動作手順を示すフローチャートである。
【図３４】図３３の表示にて表される合成画像の一例を示す図である。
【図３５】本発明の画像蓄積伝送システムを適用したメッセージ提供システムの構成を示す図である。
【図３６】図３５のメッセージ提供システムにおける他の実施例の構成を示すブロック図である。
【符号の説明】
１０ａ 送信端末装置
１０ｂ 受信端末装置
１２ キャラクタ管理センタ
１４，３４ 画像入力部
１６， ３２２ 表情特徴抽出部
１８ キャラクタ格納部
２０， ３６， ３２８ 符号化部
２２ データ作成部
２４ レンダリング部
２６ ＩＤ確認部
３２ サーバ装置
３８， ３２０ 復号処理部
４０ 表示部
６２ ベンダ
６４ キャラクタ提供部
６６ データベース部
６８ 課金徴収部
９６ 広告データベース
３２４ データ変換レンダリング部
３２６ キャラクタ管理部
【発明の属する技術分野】
本発明は、画像コミュニケーション機能付き情報端末装置および画像配信における課金システムに関し、たとえば情報端末装置で送信者の顔画像を入力し、この画像に含まれる表情に対応した顔画像とは異なる画像および音声を受信側の情報端末装置に送るコミュニケーションに適用し、より具体的には携帯端末装置を含む情報処理装置等がある。通信に用いる画像は、実際の顔画像と異なる２次元または３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）画像等である。
【０００２】
また、本発明の画像伝送システムにおいても情報端末装置に送信者の顔画像に応じて所望の画像に表情を持たせ、この画像に音声を同期させてリアルタイムに通信を行い、たとえば、有線としてはＣＡＴＶ（ＣＡｂｌｅ ＴｅｌｅＶｉｓｉｏｎ）伝送、ＩＰやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のようなネットワーク通信等に、無線としてはＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ）放送等に用いて好適なものである。
【０００３】
本発明は、画像配信における課金システムに関し、上述した情報端末装置やシステムにおいて顔画像と異なる画像の利用に対するキャラクタ画像の作成料、登録料および使用料、スポンサからの料金徴収等において、これらの課金に対する情報管理およびその対象からの料金徴収等に適用して好適なシステムである。
【０００４】
また、本発明は、画像配信サービスの提供方法に関し、画像および音声の通信において実際の顔画像と異なる画像の配信サービス等で異なる画像の使用に対する使用料金やサービスの提供手順に適用して好適な方法である。
【０００５】
さらに、本発明は、画像蓄積伝送システムに関し、音声および画像のデータを蓄積し、受信側のユーザからの読出し要求時に蓄積されている音声および画像のデータを用いて前述した所望な画像で受信端末装置に表示させて通信を行う、たとえば、有線としてはＣＡＴＶ伝送、ＩＰやＬＡＮのようなネットワーク通信等のシステムに適用し、無線としてはＣＳ放送や携帯端末の通信等のシステムに適用して好適なものである。
【０００６】
【従来の技術】
従来、電話を用いたコミュニケーションには２つある。それは、たとえば一般の電話で行われるように音声を伝送してコミュニケーションをとる場合と一例としてテレビ会議等で行われるように音声および生の画像を伝送してコミュニケーションをとる場合である。人間のコミュニケーション力に着目して両者の場合を検討してみると、前者の場合、コミュニケーションの相手には、伝送情報が音声に限られ、音声会話でしか話し手が有する言外の雰囲気・ニュアンスを伝えることができないことから、コミュニケーション力は不十分である。これに対して、後者のコミュニケーションでは、コミュニケーションの相手に話者の顔や背景等の画像が音声とともに伝送されている。人はコミュニケーションにおける情報の多くを視覚情報から得ているので、後者のコミュニケーションは十分なコミュニケーション力を有していると言える。
【０００７】
ところで、近年、有線回線を用いて一般家庭でテレビ電話機による通信も行われるようになってきている。さらに、使用する通信デバイスの広帯域化および小型化等を反映し、携帯電話機でも画像通信をリアルタイムに行うための実験が行われつつある。
【０００８】
前述したようなテレビ会議システムを用いた通信では十分なコミュニケーション力を如何なく発揮される。一方、携帯電話機やテレビ電話機の通信は、あらかじめ時間を設定して行われるテレビ会議システムの通信に比べて一般に場所を選ばず、不特定な時間にも通話が行われる。このため携帯電話機は話者のプライバシがテレビ会議システムを用いた場合よりも侵されやすいことが考えられる。画像伝送が可能な携帯電話機を使用する場合、通話に備えて化粧や服装等を気にかけるユーザもでてくることが予想される。このようなユーザは、想定もしない時間に通信を受信する側で多くなると考えられる。この場合、携帯電話機は、画像非通話状態にして音声だけで通話することもできるが、コミュニケーション力の低下を防ぐことはできない。
【０００９】
また、カメラで撮影した画像の静止画伝送は、これまで景色もそのまま送信してきたが、通信時の居場所を特定されたくない場合や周囲の様子を相手に知らせたくない場合がある。このような場合もコミュニケーション力の低い音声だけで会話を行うしかない。
【００１０】
ところで、現在コミュニケーション力の向上を図ることのできる通信技術が提案されている。この提案が、たとえば顔画像から顔の表情を抽出してアニメーション化する手法である。この手法については、エリック ペタジャン（Ｅｒｉｃ Ｐｅｔａｊａｎ）， “Ｖｅｒｙ Ｌｏｗ Ｂｉｔｒａｔｅ Ｆａｃｅ Ａｎｉｍａｔｉｏｎ Ｃｏｄｉｎｇ ｉｎ ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４”， ２０００ ｆａｃｅ２ｆａｃｅ Ａｎｉｍａｔｉｏｎ， Ｉｎｃ．， ｐｐ．１−３３の総説がある。この総説は、１９９８年１月１日にＭＰＥＧのワーキンググループ１１（ＷＧ： Ｗｏｒｋｉｎｇ Ｇｒｏｕｐ）１１／ＭＰＥＧに提案したコミッティドラフトを要約したものである。この総説には、顔の特徴をそれぞれ解析し、誤検出の追跡を行って、あらかじめ定義した複数の顔パラメータ等を用いて画像処理、符号化、グラフィックおよびアニメーションを低ビットレートで統合化し、プライバシ保護に対応した処理も行うことが記載されている。
【００１１】
【発明が解決しようとする課題】
ところで、このような音声および画像を伝送する装置は、携帯電話に限定されず、情報端末装置を介して行うようにしてもよい。しかしながら、このような伝送を行う情報端末装置には、この画像処理技術を発揮させるように現時点で搭載されている機能・構成に加えて、新たな構成を追加することになり、ユーザに新しい情報端末装置の購入という負担を強いることになる。これは、社会に普及の妨げにもなる。
【００１２】
また、情報端末装置のメーカには、装置の製造コストを低く抑えたいという要求がある。この要求に応じて情報端末装置に付加させる機能・構成をどのようにするかといった観点での示唆もまだされていない。そして、前述した提案の技術は、高額な金額を支払って企業にライセンス提供されているに過ぎず、この画像伝送を普及させるような課金システムも提案されていない。
【００１３】
ところで、上述した情報端末装置における音声および画像の通信では、リアルタイムな通信の場合であるが、この通信では情報の送信／受信の機会が同時な場合に限定されしまう。現在、このリアルタイムな音声および画像通信ができないので、文字情報や音声情報等のメッセージを送信して蓄積させ、利用者により蓄積されている情報をダウンロードすることが行われている。したがって、発信者の音声とともに画像も配信して、会話するように送信者の意図や合図を相手に伝えることができなかった。しかし、ユーザは受信の機会の限定されない画像付きのメッセージ通信も望んでいる。
【００１４】
本発明はこのような従来技術の欠点を解消し、通信におけるプライバシとエンタテイメント性の高い、音声および画像によりコミュニケーションを行うことのできる画像コミュニケーション機能付き情報端末装置および画像伝送システムを提供することを目的とする。
【００１５】
また、本発明は、画像伝送の普及に寄与させることのできる画像配信における課金システムおよび画像配信サービスの提供方法を提供することを目的とする。
【００１６】
さらに、本発明は、所望の機会に通信を行い、ダウンロード時に送信者と会話を行っているかのように通信することができる画像蓄積伝送システムを提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明の画像コミュニケーション機能付き情報端末装置は上述の課題を解決するために、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して音声および画像の通信を行う電話機能を具備した画像通信機能付き電話機において、この装置は、コミュニケーションにおける送信側の情報端末装置に、画像を入力する画像入力手段と、入力した画像のうち、顔を表す画像の入力に応じて顔の表情に関してあらかじめ設定されている特徴点のデータを抽出する表情抽出手段と、顔画像に対応して用いるモデルデータを格納するモデル格納手段とを含み、コミュニケーションにおける受信側の情報端末装置に、送信側の情報端末装置から供給される信号を受信し、この受信した特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成するモデルデータ作成手段と、この生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含むことを特徴とする。
【００１８】
本発明の画像コミュニケーション機能付き情報端末装置は、送信側の情報端末装置の画像入力手段で顔画像を入力し、表情抽出手段はこの画像に応じて顔の特徴点のデータを抽出し、モデル格納手段からモデルデータを読み出して顔の特徴点のデータおよびモデルデータを受信側の情報端末装置に送り、受信側の情報端末装置にて受信し、モデルデータ作成手段では供給される抽出した特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成し、レンダリング手段でこの生成したモデルデータにレンダリングを施すことにより、受信側の情報端末装置に送信側から供給される送信者の表情を反映させたモデル画像にして、このモデル画像を動画表示させている。
【００１９】
また、本発明の画像コミュニケーション機能付き情報端末装置は上述の課題を解決するために、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う画像コミュニケーション機能付き情報端末装置において、この装置は、コミュニケーションにおける送信側の情報端末装置に、画像を入力する画像入力手段と、入力した画像のうち、顔を表す画像の入力に応じて顔の表情に関してあらかじめ設定されている特徴点のデータを抽出する表情抽出手段とを含み、コミュニケーションにおける受信側の情報端末装置に、顔画像に対応して用いるモデルデータを格納するモデル格納手段と、送信側の情報端末装置から供給される信号を受信し、この受信した特徴点のデータに基づいてモデル格納手段から供給されるモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成するモデルデータ作成手段と、この生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含むことを特徴とする。
【００２０】
本発明の画像コミュニケーション機能付き情報端末装置は、送信側の情報端末装置の画像入力手段で顔画像を入力し、表情抽出手段この画像に応じて顔の特徴点のデータを抽出し、顔の特徴点のデータを受信側の情報端末装置に送り、受信側の情報端末装置にて受信し、モデル格納手段から読み出したモデルデータと受信した特徴点のデータとを用いてモデルデータ作成手段で表情の特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成し、レンダリング手段でこの生成したモデルデータにレンダリング処理を施してモデル画像を生成することにより、受信側の情報端末装置にて所望のモデルデータを選び、このモデルデータに送信側から供給される送信者の表情を反映させて、このモデル画像として動画表示させることができ、画像通信における送受信の電話機間の通信を表情の特徴点のデータで済ますことができる。
【００２１】
本発明の画像伝送システムは上述の課題を解決するために、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う情報端末装置を用いた画像伝送システムにおいて、このシステムは、通信における送信側の情報端末装置と、通信における受信側の情報端末装置と、送信および受信側の情報端末装置をクライアントとしてネットワーク接続され、供給される情報に処理を施し、この情報処理した情報をクライアントに供給する情報処理装置とを含み、送信情報端末装置は、前記画像を入力する画像入力手段を含み、受信情報端末装置は、情報処理装置から供給される画像を表示させる表示手段とを少なくとも含み、さらに、このシステムは、画像入力手段から供給される画像のうち、顔を表す画像の入力に応じて顔の表情の特徴点を抽出する表情抽出手段と、顔画像に対応するモデルデータを格納し、この格納するモデルデータのうち、使用の候補として登録されたモデルデータおよびこの画像の使用時間を管理するモデル管理手段と、特徴点のデータに基づいてモデル管理手段から供給されるモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成するモデルデータ作成手段と、このモデルデータ作成手段で生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含み、情報処理装置は、情報抽出手段、モデル管理手段、モデルデータ作成手段、およびレンダリング手段のいくつかを配設することを特徴とする。
【００２２】
本発明の画像伝送システムは、情報処理装置を送信情報端末装置と受信情報端末装置との間に配し、表情抽出手段、モデル管理手段、モデルデータ作成手段およびレンダリング手段のいくつかを情報処理装置に配することにより、送信および受信情報端末装置の構成変更を抑制し、送信情報端末装置の画像入力手段で入力された顔画像に対する顔の特徴点のデータを表情抽出手段で抽出し、このデータとモデル管理手段から読み出したモデルデータとを用いてモデルデータ作成手段で顔画像の表情に合ったモデルデータを生成し、レンダリング手段でこの生成したモデルデータにレンダリング処理を施してモデル画像を生成して受信情報端末装置に表示することにより、選んだモデル画像に送信者の表情を反映させて、このモデル画像を動画表示させることができる。
【００２３】
本発明の画像配信における課金システムは上述の課題を解決するために、情報通信を行う情報端末装置を用い、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって情報端末装置に提供する画像に対して所望するモデルデータを選んで送る画像配信における課金システムにおいて、このシステムは、送信側にて情報端末装置のユーザの顔画像から表情の特徴点を抽出し、ユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じて所望するモデルデータに変更を施して情報端末装置の受信側にて受信した画像を表示する情報端末装置を用い、情報端末装置のユーザが所望するモデルデータ作成の要求を示すモデルデータ作成指示信号を前記情報端末装置から受けて前記所望するモデルデータを作成し、この作成した画像を情報端末装置に提供するモデルデータ作成機能ブロックと、このモデルデータ作成機能ブロックから提供されるモデルデータのそれぞれに情報を付して保存し、保存されているモデルデータの選択を行う読出し要求信号に応動してユーザの所望するモデルデータを情報端末装置に提供するモデルデータ提供ブロックと、回線を介してモデルデータ提供ブロックのモデルデータが新規または既知か否か各画像に付された情報を基に照会し、このモデルデータが新規の際にこのモデルデータの情報としてユーザの名義で新規登録する機能ならびに読み出したモデルデータの使用に応じた課金に関する複数の情報の管理およびこの管理に基づきユーザのそれぞれに対する課金を請求する機能を含む情報蓄積機能ブロックと、ユーザの開設した口座またはユーザから課金の請求に対応した料金を徴収して管理し、モデルデータ作成機能ブロックの管理業者、回線の管理業者、および情報蓄積機能ブロックの管理運営業者に徴収した料金をそれぞれの割合で送金する口座管理機能ブロックとを含むことを特徴とする。
【００２４】
本発明の画像配信における課金システムは、情報端末装置の送信側にてユーザの供給する顔の画像から表情の特徴点を抽出し、モデルデータ提供ブロックからユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じた変更を所望するモデルデータに施し、このモデルデータにレンダリング処理を施して得られたモデル画像を受信側に送出し、生成したモデル画像を受信側の情報端末装置にて受信し、この画像を表示させ、モデルデータ作成機能ブロックで作成させたモデルデータの作成料金、情報端末装置を所有する送信側または受信側のユーザが所望するモデルデータの登録およびその画像使用に応じて課金された料金の請求を情報蓄積機能ブロックで行い、口座管理機能ブロックを介して料金を徴収することにより、所望のモデルデータを使用に要する料金負担を従来よりも大幅に軽減する。
【００２５】
また、本発明の画像配信における課金システムは上述の課題を解決するために、情報通信を行う情報端末装置を用い、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって情報端末装置に提供する画像に対して所望するモデルデータを選んで送る画像配信における課金システムにおいて、このシステムは、情報端末装置のユーザが所望するモデルデータ作成の要求を示すモデルデータ作成指示信号を情報端末装置から受けて所望するモデルデータを作成し、この作成したモデルデータを情報端末装置に提供するモデルデータ作成機能ブロックと、情報端末装置の送信側から供給される顔の画像から表情の特徴点を抽出し、この抽出した表情の特徴点に応じてモデルデータ格納手段からユーザの所望するモデルデータを変化させて、生成したモデルデータを受信側の前記情報端末装置に送出するサーバ装置と、ユーザの開設した口座またはユーザから所望するモデルデータの使用に対して課金請求した料金を徴収して管理し、モデルデータ作成機能ブロックの管理業者、回線の管理業者、および情報蓄積機能ブロックの管理運営業者に徴収した料金をそれぞれの割合で送金する口座管理機能ブロックとを含み、サーバ装置は、モデルデータ作成機能ブロックから提供されるモデルデータのそれぞれに情報を付して保存し、保存されているモデルデータの選択を行う読出し要求信号に応動してユーザの所望するモデルデータを情報端末装置に提供するモデルデータ提供ブロックと、回線を介してモデルデータ提供ブロックのモデルデータが新規または既知か否か各モデルデータに付された情報を基に照会し、このモデルデータが新規の際にこのモデルデータの情報としてユーザの名義で新規登録する機能ならびに読み出したモデルデータの使用に応じた課金に関する複数の情報の管理およびこの管理に基づきユーザのそれぞれに対する課金を請求する機能を含む情報蓄積機能ブロックとを含むことを特徴とする。
【００２６】
本発明の画像配信における課金システムは、情報端末装置の送信側にてユーザの顔の画像を取り込み、サーバ装置にてこの顔画像から表情の特徴点を抽出し、ユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じた変更を所望するモデルデータに施し、このモデルデータにレンダリング処理を施して生成されたモデル画像を受信側に送出し、生成したモデル画像を受信側の情報端末装置にて受信し、この画像を表示させ、サーバ装置の情報蓄積機能ブロックにてモデルデータ作成機能ブロックで作成させたモデルデータの作成料金、情報端末装置を所有する送信側または受信側のユーザが所望するモデルデータの登録およびそのモデルデータ使用に応じて課金された料金の請求を情報蓄積機能ブロックで行い、口座管理機能ブロックを介して料金を徴収することにより、所望のモデルデータを使用に要する料金負担を従来よりも大幅に軽減するとともに、モデルデータの提供における一元的な料金の管理を行うことができる。
【００２７】
本発明の画像配信サービスの提供方法は上述の課題を解決するために、情報通信を行う情報端末装置を用い、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって情報端末装置に提供する画像を所望なモデルデータにして送る画像配信サービスの提供方法において、この方法は、所望なモデルデータの候補における各モデルデータの固有な情報を蓄積するデータベースにアクセスする第１の工程と、このデータベースの各ユーザが登録しているモデルデータを所望なモデルデータの候補とし、この候補中に所望するモデルデータの情報が含まれているか否かをチェックする第２の工程と、所望なモデルデータの情報が含まれている場合、候補の中から、所望なモデルデータを選択する第３の工程と、所望なモデルデータの情報が含まれていない場合、データベースの中から新たなモデルデータを選択し、この選択した所望のモデルデータの情報をデータベースのユーザに対する追加情報として新規登録し、モデルデータ作成業者にこの新規登録料金を支払う第４の工程と、情報端末装置の送信側から画像を取り込む第５の工程と、情報端末装置から供給された画像に含まれる顔における表情の特徴点のデータを抽出する第６の工程と、選択した所望のモデルデータを通信の相手先に表示するモデルデータに用い、このモデルデータを前記抽出した特徴点のデータに応じて変化させた表情が考慮されたモデルデータを生成し、このモデルデータにレンダリング処理を施してモデル画像を生成する第７の工程と、所望なモデルデータの使用時間を通信の終了まで計測する第８の工程と、レンダリングした画像を情報端末装置の受信側で表示する第９の工程と、通信終了後に使用時間をデータベースにおけるデータ項目の一つとし、この使用時間を前記データベースにて更新させ、所望なモデルデータの使用者から業者に使用時間に応じた課金を徴収する第１０の工程とを含むことを特徴とする。
【００２８】
本発明の画像配信サービスの提供方法は、所望なモデルデータの候補における各モデルデータの固有な情報を蓄積するデータベースにアクセスし、このデータベースの各ユーザが登録しているモデルデータを所望なモデルデータの候補とし、この候補中に所望するモデルデータが含まれているか否かをチェックし、所望なモデルデータの情報を含む場合、候補の中から、所望のモデルデータを選択し、所望なモデルデータの情報を含んでいない場合、データベースの中から新たなモデルデータを選択し、この選択した所望のモデルデータの情報をデータベースのユーザに対する追加情報として新規登録し、モデルデータ作成業者にこの新規登録料金を支払い、情報端末装置の送信側からモデルデータを取り込み、情報端末装置から供給された画像に含まれる顔における表情の特徴点のデータを抽出し、選択した所望のモデルデータを通信の相手先に表示するモデルデータに用い、このモデルデータを前記抽出した特徴点のデータに応じて変化させた表情が考慮されたモデルデータを生成し、このモデルデータにレンダリングを施してモデル画像を生成し、所望なモデルデータの使用時間を通信の終了まで計測し、レンダリングした画像を情報端末装置の受信側で表示し、通信終了後に使用時間をデータベースにおけるデータ項目の一つとし、この使用時間を前記データベースにて更新させ、所望なモデルデータの使用者から使用時間に応じた課金を徴収することにより、利用頻度に応じた料金徴収が行われて、人気を収益に反映させることができ、ユーザにとって利用しやすいサービスの形態を提供する。
【００２９】
本発明の画像蓄積伝送システムは上述の課題を解決するために、公衆回線網、ＩＰネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う情報端末装置を用いた画像蓄積伝送システムにおいて、このシステムは、通信における送信側の情報端末装置と、通信における受信側の情報端末装置と、送信および受信側の情報端末装置をクライアントとしてネットワーク接続され、このネットワークを介してクライアントから供給される情報を蓄積し、この蓄積した情報をクライアントの要求に応じて送出する情報蓄積装置とを含み、送信情報端末装置は、画像を入力する画像入力手段を含み、受信情報端末装置は、情報処理手段から供給される画像を表示させる表示手段とを少なくとも含み、さらに、該システムは、画像入力手段から供給される画像のうち、顔を表す画像の入力に応じて顔の表情の特徴点を抽出する表情抽出手段と、顔画像に対応するモデルデータを格納し、この格納するモデルデータのうち、使用の候補として登録されたモデルデータおよびこのモデルデータの使用時間を管理するモデル管理手段と、特徴点のデータに基づいてモデル管理手段から供給されるモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成するモデルデータ作成手段と、このモデルデータ作成手段で生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含むことを特徴とする。
【００３０】
本発明の画像蓄積伝送システムは、送信側の情報端末装置から供給される音声および入力された画像に関する情報を情報蓄積装置に格納し、受信側の情報端末装置からの読出し時に格納されている情報を読み出して情報の処理段階に応じた処理としてモデル管理手段から所望なモデルデータを選択して提供し、モデルデータ作成手段でモデルデータを表情に合ったモデルデータにしてレンダリング手段を介して作成したモデル画像を動画として対応させ、出力することにより、受信側のユーザが所望の機会に表情を持ったモデル画像を読み出して表示させることができる。
【００３１】
【発明の実施の形態】
次に添付図面を参照して本発明による画像コミュニケーション機能付き情報端末装置の実施例を詳細に説明する。
【００３２】
本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
〈情報端末装置〉
本実施例の情報端末装置は、図１に示すように、それぞれを送信側と受信側に配して送信端末装置１０ａと受信端末装置１０ｂとして用いている。本実施例の情報端末装置は、装置１０ａ， １０ｂの間にＩＰネットワーク１００を介して音声と画像をやりとりし、装置１０ａ， １０ｂで符号化と復号処理をそれぞれ行う場合である。本実施例では、送信端末装置１０ａには、キャラクタ管理センタ１２が接続されている。なお、送信端末装置１０ａと受信端末装置１０ｂには、図示しないがともに音声入力用のマイク、音声出力用のスピーカが配設されている。
【００３３】
送信端末装置１０ａには、画像入力部１４、表情特徴抽出部１６、キャラクタ格納部１８および符号化部２０が含まれている。画像入力部１４は、図示しないが、光学系、固体撮像素子およびＡ／Ｄ変換部を含む。光学系には、固体撮像素子をアレイ状に配した撮像面上の焦点位置に被写体からの入射光１０ｃを収束させるＡＦ調節（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ ｃｏｎｔｒｏｌ）機構や被写界の画角を調節するズーム調節機構がある。また、光学系には被写界からの入射光の強さに応じて露光光量を調節するＡＥ調節（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ ｃｏｎｔｒｏｌ）機構も含まれている。固体撮像素子には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光デバイスが用いられる。固体撮像素子は、露光により蓄積した電荷を電圧信号にＱ／Ｖ変換する。Ａ／Ｄ変換部は、供給される電圧信号をディジタル信号に変換し、取り込んだ光学像をディジタル画像にした信号１４ａを表情特徴抽出部１６に出力する。
【００３４】
表情特徴抽出部１６は、動画表示を行うためにあらかじめ定義された顔の特徴点の位置を解析する機能を有している。この解析は、たとえば前述したＷＧ１１／ＭＰＥＧのコミッティドラフト（１９９８年１月１日に提案）に記載されている６８個のＦＡＰ（Ｆａｃｅ Ａｎｉｍａｔｉｏｎ Ｐａｒａｍｅｔｅｒｓ）について行う。これを行うため、表情特徴抽出部１４には、図示しないが、エッジ検出回路、特徴点トラッキング回路等が含まれる。エッジ検出回路は、供給される顔画像を走査して画像のエッジ検出を行う。エッジ検出回路では、検出したエッジから目、鼻、口、眉毛領域等の輪郭が抽出される。特徴点トラッキング回路は、抽出した顔画像の輪郭からたとえば図２の顔画像の中で特徴点を示す記号（×）の位置（座標データ）を探索し、各特徴点が随時所定のタイミングでどの位置にあるか位置を追跡し、特徴点を座標データとして検出する機能を有している。表情特徴抽出部１６は、検出した特徴の座標データ１６ａを符号化部２０に出力する。
【００３５】
キャラクタ格納部１８は、キャラクタ管理センタ１２から提供されるキャラクタ画像と呼ぶモデルデータ１２ａの格納・使用時間の管理等の情報を格納するメモリである。キャラクタ格納部１８は、複数のモデルデータを記憶させる容量を持つようにしてもよい。しかし、送信端末装置１０ａが持つことができる容量には限界があり、より多くのモデルデータを保有することは難しい。そこで、キャラクタ管理センタ１２には、利用者ごとにモデルデータを管理する機能を持たせるようにしてもよい。これによって利用者は、大量のモデルデータを保有することができ、かつ利用したい所望のモデルデータをキャラクタ管理センタ１２から随時ダウンロードさせることができ、利便性を向上させることができる。
【００３６】
モデルデータは、画像のフレームを形成するようなデータであり、具体的には、図３に示す人物や猫などのような２次元画像や図４に示す３次元ＣＧによるワイヤフレームでもよい。このワイヤフレームは、約１６００個のポリゴンで構成されている。たとえば、喜び、怒り、悲しみなどの表情および発話時の口の動きは、人間の顔の筋肉の動きに基づいて変化する。すなわちワイヤフレーム上に筋肉のモデルを３次元的に配置し、各筋肉を収縮させることにより、ワイヤフレーム自体を変形させている。モデルデータは、このようなフレームデータがキャラクタとして出力される。
【００３７】
送信端末装置１０ａは、配設されたスイッチ操作によりユーザの要求に応じて送信するキャラクタを選択し、キャラクタ格納部１８は、選択したキャラクタ画像のモデルデータ１８ａを符号化部２０に出力する。キャラクタ格納部１８は、通信期間中に所定のタイミングで選択されたキャラクタ画像を送出する。所定のタイミングとは、表情特徴抽出部１６からの出力タイミングである。送信端末装置１０ａが、音声および画像伝送において受信側での画像表示をキャラクタにより行う場合、キャラクタ格納部１８は、使用するキャラクタおよび使用開始の時刻を記憶し、このキャラクタ画像表示の終了または通信終了の際にも終了を記憶し、たとえば、これらの情報をまとめたテンプレート形式でキャラクタ管理センタ１２に報知する。
【００３８】
符号化部２０は、供給されるデータを圧縮符号化して送出する機能を有する。符号化部２０には、表情特徴抽出部１６からの座標データ１６ａとキャラクタ格納部１８からのキャラクタ画像としてモデルデータ１８ａとが供給されている。ここで、符号化部２０に供給されるモデルデータ１８ａは、上述の記述では座標データ１６ａの供給されるたびに送信するように考えられるが、一回の通信（コミュニケーション）において通常通信に先立って少なくとも一回送信するとよい。これ以降はモデルデータ１８ａの要求がないかぎり単に座標データ１６ａを送信すればよい。符号化部２０は、これら供給されたデータに対してたとえば、ＭＰＥＧ４に基づく圧縮符号化処理を施したパケットデータ２０ａにしてＩＰネットワーク１００を介して受信端末装置１０ｂに出力する。
【００３９】
キャラクタ管理センタ１２は、ＩＰネットワーク１００に接続されている、たとえばサーバ装置である。キャラクタ管理センタ１２には、図示しないベンダから供給された２次元または３次元のキャラクタ画像としてのモデルデータが保存され、保存したキャラクタのモデルデータを使用するユーザ登録データと各ユーザのキャラクタ使用状況や使用時間量等が一組ずつ保存されている。ベンダとは、この場合キャラクタのモデルデータを作成し、供給する業者である。キャラクタのモデルデータとしては、たとえば図４の３次元の場合ポリゴンデータで構成された人の頭部が供給されている。また、キャラクタ管理センタ１２は、使用時間に限定されず、ユーザが使用を所望するキャラクタのモデルデータを送信端末装置１０ａにダウンロードした際にキャラクタの利用料金を徴収し、以後の所定の期間中の使用を自由にするように管理してもよい。
【００４０】
受信端末装置１０ｂは、データ作成部２２およびレンダリング部２４を含んでいる。なお、受信端末装置１０ｂには、図示しないが復号処理部が配設され、ＩＰネットワーク１００を介して供給されるパケットデータ２０ａにＭＰＥＧ４の復号処理が施されている。データ作成部２２は、供給される圧縮符号化されたデータ２０ａを復号し、復号したデータを基にしてキャラクタのモデルデータに対して抽出した特徴点の座標データを関連させて、入力した座標データに対応するようにキャラクタのモデルデータに表情の変化をもたせる機能を有する。キャラクタのモデルデータがたとえば、３次元のポリゴンの場合、ポリゴンの形成位置を座標データに合わせて変更する処理を行う。データ作成部２２は、入力画像に対応したキャラクタのモデルデータ２２ａをレンダリング部２４に出力する。
【００４１】
レンダリング部24は、供給される２次元または３次元のキャラクタのモデルデータ22aに対して最終的な画像を生成するように可視化の描画を行う表示機能を持ち、キャラクタのモデルデータ22aを各メモリに書き込んでいる。レンダリング部24には、可視化をするためのレンダリングアルゴリズムが含まれている。レンダリング部24は、受信端末装置10bの表示部（図示せず）にレンダリングされたキャラクタ画像を連続して動画表示させるため、複数のメモリも有している。レンダリング部24は、各メモリに随時供給されるキャラクタのモデルデータにアルゴリズムを適用してそれぞれ書き込み、この書込み完了のメモリから順にキャラクタ画像として読み出している。この結果、表示部には、話者の表情に応じて表情を変化させるキャラクタ画像が表示され、かつ送信端末装置10aから送信された音声データをキャラクタ画像に同期させて再生する。
【００４２】
なお、送信端末装置１０ａと受信端末装置１０ｂの通信において、双方がキャラクタ画像の通信を行う場合、送信端末装置１０ａには受信端末装置１０ｂの構成要素が含まれ、受信端末装置１０ｂには送信端末装置１０ａの構成要素が含まれることは言うまでもない。また、この通信は、ＩＰネットワーク１００を介して行う場合について説明したが、公衆回線網やＣＡＴＶのように有線回線を用いた電話機やＰＡＤ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等でもよく、携帯電話機やＣＳ放送のような電波を用いる無線回線で行ってもよい。本実施例では符号化および復号処理を配設した情報端末装置として説明したが、十分な伝送速度が確保できれば符号化および復号処理を行わずそのまま送受信してもよいことは明らかである。
【００４３】
送信端末装置１０ａにて入力した顔画像が示す表情の特徴点（での座標データ）を抽出し、ユーザが所望するキャラクタのモデルデータを選択して、たとえば抽出に同期して選択したキャラクタのモデルデータを出力し、特徴点の座標データおよびキャラクタのモデルデータを符号化し、受信端末装置１０ｂにて送信端末装置１０ａから供給される符号化されたデータを復号し、特徴点のデータを反映したキャラクのモデルデータに変換し、この変換したキャラクタのモデルデータを可視化させ、かつ動画表示させるようにレンダリング処理している。これにより、受信者は発信者のプライバシを守るように発信者の顔を受信者に直接見せていなくても、キャラクタ画像の表情を介して発信者の感情を知ることができ、音声だけの場合よりもコミュニケーションを向上させることができる。
【００４４】
そして、このキャラクタのモデルデータと特徴点のデータ伝送は、本来の顔画像に比べて人工的なデータ量の少ない画像であり、圧縮符号化が容易で回線使用時間が少なくて済むので、回線の有効利用を図ることができる。また、キャラクタのモデルデータの伝送は、好みのキャラクタで通信することから、ユーザにエンターテイメント感をもたらすことができる。
【００４５】
次に上述した情報端末装置に構成要素を追加した他の実施例を説明する。本実施例の送信端末装置１０ａには、図５に示すように、同定情報（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ：以下、ＩＤという）確認部２６が含まれている。ＩＤ確認部２６は、キャラクタ格納部１８と符号化部２０との間の配設され、送信端末装置２０ａのＩＤとキャラクタ格納部１８のキャラクタのモデルデータ１８ａに埋め込まれたＩＤとの確認を行う機能を有している。ＩＤ確認部２６は、図示しないが送信端末装置１０ａに固有な情報をＩＤとして格納するメモリと、キャラクタのモデルデータ１８ａに埋め込まれたＩＤを抽出するＩＤ抽出回路と、ＩＤを比較する比較回路とを含んでいる。
【００４６】
送信端末装置１０ａは、受信端末装置１０ｂとの通信を行う前に、キャラクタ管理センタ１２に対してダウンロード指示信号１０ｄを供給する。 キャラクタ管理センタ１２は、たとえば、装置１０ａに固有な情報の提供要求信号１０ｅを下り信号として送り、装置１０ａから固有な情報１０ｅを上り信号として取得する。固有な情報１０ｅがＩＤであり、たとえば（携帯電話機の）電話番号やＩＰアドレス等である。管理センタ１２は、ダウンロード指示を受けたユーザに所望のキャラクタのモデルデータにＩＤを埋め込んで、キャラクタ格納部１８に送出する。キャラクタ格納部１８は、供給されたＩＤ付きキャラクタのモデルデータを保存する。
【００４７】
なお、本実施例でＩＤは、送信端末装置１０ａから提供したが、この提供に限定されず、キャラクタ管理センタ１２にて送信端末装置１０ａのそれぞれを特定するＩＤが生成できるならば、キャラクタ管理センタ１２の生成したＩＤをＩＤ確認に用いるようにしてもよい。ただし、キャラクタ管理センタ１２は、送信端末装置１０ａからのダウンロード指示信号１０ｄを受けた際に、送信端末装置１０ａに管理センタ１２にて生成したＩＤをあらかじめ供給しておく。
【００４８】
音声および画像の通信において、前述した実施例とは、上述した送信端末装置１０ａとキャラクタ管理センタ１２との間でＩＤのやりとりを行っていることおよびＩＤの確認処理を行うことが異なっている。あらかじめ設定したＩＤを用いる場合、ＩＤ確認部２６ａではキャラクタ格納部１８から供給されるユーザの選んだキャラクタのモデルデータ１８ａのＩＤと送信端末装置１０ａのＩＤとが比較され、両ＩＤが一致した場合にキャラクタのモデルデータ２６ａが符号化部２０に送出される。また、ＩＤが不一致の場合、キャラクタ格納部１８は符号化部２０への送出を禁止する。このようにＩＤ確認部２６を配設してキャラクタのモデルデータの認証処理を行って送出の可否が判定され、使用直前の段階で不一致の場合に送出するキャラクタのモデルデータの供給を停止することにより、送信端末装置１０ａにおけるキャラクタのモデルデータ１２ａの不正な使用を防止することができる。
【００４９】
また、ID確認部26は、送信端末装置10aへの配設に限定されるものでなく、受信端末装置10bに配設してもよい（図６を参照）。送信端末装置10aは、最初に説明した実施例の場合とまったく同じ構成要素を用いている。ただし、送信端末装置10aは、キャラクタ管理センタ12および後述する受信端末装置10bのID確認部26に認証用のIDをあらかじめ提供させておく。このようにIDの提供を行うことにより、キャラクタ格納部18が送出するキャラクタのモデルデータ18aにはIDが埋め込まれている。
【００５０】
図６の受信端末装置１０ｂには、これまでの実施例と同様にデータ作成部２２およびレンダリング部２４が用いられるとともに、ＩＤ確認部２６およびストレージ部２８が配設されている。受信端末装置１０ｂには、圧縮符号化されたデータ２０ａがデータ作成部２２に供給される。データ作成部２２では、データ２０ａを復号し、復号したデータ２２ｂをストレージ部２８に出力する。復号は図示しないデータ作成部の前段で行うようにしてもよい。ストレージ部２８には、データ作成部２２を介して画像伝送を行う前に、送信端末装置１０ａからＩＤが供給されている。受信端末装置１０ｂは、このようにＩＤを受信し、ストレージ部２８を介してＩＤ確認部２６に送信元のＩＤを格納しておく。
【００５１】
ストレージ部28は、供給されるデータを一時的に格納する記憶部であり、図５に示すように装置10bの内部または着脱自在な外付けのリムーバブルディスク装置等を用いる。ストレージ部28は、供給されるデータ22bを一時的に格納し、この記憶したデータ22bを読出し信号28aとしてID確認部26に出力する。
【００５２】
ＩＤ確認部２６は、先に供給された取得済みのＩＤとキャラクタのモデルデータに埋め込まれているＩＤとを比較し、一致している場合にキャラクタのモデルデータ２６ａを供給する。不一致の場合、ＩＤ確認部２６はデータ作成部２２への出力を禁止する。換言すると、ＩＤ確認部２６は、キャラクタのモデルデータ２６ａをデータ作成部２２に対するデータとして用いるとともに、データ作成の動作制御信号としても出力している。このため、ＩＤが不一致の場合、データ作成部２２における表情の特徴点をキャラクタのモデルデータに反映させる機能が停止してしまう。結果的に、データ作成部２２は、この場合画像作成を禁止したと同じ結果が得られる。これにより、情報端末装置１０ｂに対するキャラクタのモデルデータ１２ａの不正な使用を防止することができる。
【００５３】
また、送信端末装置１０ａと受信端末装置１０ｂの通信を行う前に、やりとりするキャラクタのモデルデータに関する認証用のＩＤの情報交換を行って、ＩＤ確認部に格納しておき、供給される送信側の保有するキャラクタのモデルデータが受信側のストレージ部２８に記憶しているキャラクタのモデルデータとしてすでに含まれている場合、受信端末装置１０ｂはストレージ部２８に格納されているキャラクタのモデルデータを利用し、送信端末装置１０ａは一致するキャラクタのモデルデータの送信時に表情の特徴点を示す座標データだけを送信する。これにより、装置１０ａと装置１０ｂ間の伝送量を抑えることができ、回線資源を節約することができる。ここで、受信端末装置１０ｂにおける受信操作の指示が送信端末装置１０ａを介して行われる場合、伝送経路が上述した手順によって見かけ上送信端末装置１０ａ、キャラクタ管理センタ１２、そして受信端末装置１０ｂになったように見せることもできる。
【００５４】
これまで説明した実施例で、キャラクタ格納部１８は、送信端末装置１０ａに配設させてきたが受信端末装置１０ｂに配設させてもよい（図７を参照）。同じ構成要素に対して先の実施例で用いた参照符号を付して説明を省略する。この配設にともなって図７に示すように、キャラクタ管理センタ１２は、受信端末装置１０ｂと接続することになる。
【００５５】
受信端末装置１０ｂは、通信を行う前にキャラクタ管理部１２が所蔵するキャラクタのモデルデータの中から所望するキャラクタのモデルデータ１２ａを選択し、キャラクタ格納部１８にダウンロードしておく。このようにキャラクタ格納部１８を受信端末装置１０ｂに配設することにより、通信時に受信側のユーザが選択することにより所望なキャラクタによる動画表示を図示しない表示部に行わせることができるようになる。受信端末装置１０ｂのユーザに合わせたキャラクタ画像表示を行うことから、送信者から単に画像が伝送されてくる場合に比べて受信者のエンタテイメント性を高めることができる。
【００５６】
送信端末装置１０ａでは、画像入力部１４で入力した顔画像から表情を表す特徴点の座標データ２０ａだけが圧縮符号化されて受信端末装置１０ｂに伝送される。受信端末装置１０ｂのデータ作成部２２では、供給される座標データ２０ａを復号し、座標データ２０ａの供給に同期してキャラクタ格納部１８から供給されるキャラクタのモデルデータ１８ａを基にして顔の表情に合わせたキャラクタのモデルデータ２２ａを作成しレンダリング部２４に供給する。レンダリング部２４でキャラクタのモデルデータ２２ａを用いてレンダリング処理を施し図示しない表示部に表示させる。これにより、受信端末装置１０ｂは通信による動画を表示部に表示させている。この表示にあたり、送信端末装置１０ａから伝送されるデータが特徴点の座標データだけで済むことから、回線資源を節約することができる。このとき、受信端末装置１０ｂは、送信端末装置１０ａから供給される音声データも同時に再生している。
【００５７】
さらに、他の実施例として送信端末装置１０ａは、図８に示すように画像入力部１４、表情特徴抽出部１６、キャラクタ格納部１８および符号化部２０に加えて、データ作成部４００， ４０４、レンダリング部４０２， ４０６および表示サイズ調整部４０８を含んでいる。また、受信端末装置１０ｂは、データ作成部２２およびレンダリング部２４に加えて、画像入力部４１０、表情特徴抽出部４１２、キャラクタ格納部４１４および符号化部４１６を送信部として有している。
【００５８】
データ作成部400は、図示しないが符号化部20の出力20aを復号処理し、復号処理されたモデルデータを座標データに合わせて変更したモデルデータ418をレンダリング部402に出力する。レンダリング部402は、供給されるモデルデータ418にレンダリングアルゴリズムを適用して、キャラクタ画像420を生成して表示サイズ調整部408に出力する。
【００５９】
なお、表情特徴抽出部１６からの座標データ１６ａとキャラクタ格納部１８からのモデルデータ１８ａがそのままデータ作成部４００に供給すると、復号処理を行うことなく新たなモデルデータ４１８を生成することができる。
【００６０】
また、データ作成部404は、データ作成部400と同じ機能を有している。ただし、データ作成部404には、受信端末装置10bからの符号化されたデータ422が供給されている。データ作成部404は、受信端末装置10bから供給されるデータ422を基に受信側の新たなモデルデータ424を生成し、レンダリング部406に出力する。レンダリング部406は、供給されるモデルデータ424にレンダリングアルゴリズムを適用して、キャラクタ画像426を生成して表示サイズ調整部408に出力する。
【００６１】
表示サイズ調整部４０８は、供給されるキャラクタ画像４２０， ４２６の表示サイズをそれぞれ調整する。たとえば、コミュニケーション中の相手から供給されるキャラクタ画像４２６は、通常の大きさで表示させ、送信者を示すキャラクタ画像４２０はサムネイルサイズのように画面の一部分に表示する調整機能を有している。表示サイズ調整部４０８は、図示しないが表示部に調整したサムネイルサイズのキャラクタ画像と相手からのキャラクタ画像の両方を出力する。このように表示部にキャラクタ画像４２０を表示させることにより、相手の受信端末装置１０ｂに送信者、すなわち、自分の顔がどのように変換されているかをリアルタイムで知ることができる。双方向通信を行う場合、表示サイズ調整部４０８は、表示部に相手側の表示画像とこの送信者のキャラクタ画像とを同時に表示することになる。表示部には、送信者側のキャラクタ画像を画面隅に小さく表示させるように各画像の大きさを調整するとよい。
【００６２】
双方向通信を行うにあたり、受信端末装置１０ｂは、画像入力部４１０で受信者の顔画像を入力し、画像データ４３０を表情特徴抽出部４１２に供給する。表情特徴抽出部４１２は、抽出した座標データ４３２を符号化部４１６に出力する。また、キャラクタ格納部４１４は、最寄のキャラクタ管理センタ１２からダウンロードしたモデルデータ１２ａを格納し、格納したモデルデータの中から所望のモデルデータ４３４を符号化部４１６に出力する。符号化部４１６は、符号化したデータ４２２をＩＰネットワーク１００を介して送信端末装置１０ａに送っている。
〈画像伝送システム〉
次に、この音声および画像の通信において送信端末装置１０ａと受信端末装置１０ｂの構成要素をほとんどそのままに用い、この通信を実現させる画像伝送システム３０について説明する（図９を参照）。画像伝送システム３０でも符号化と復号処理を出力と入力において行う場合を示している。これらの処理を用いなくてもよい場合については説明を省いている。また、同じ構成要素に関しては説明の重複を避けるため省略する。画像伝送システム３０は、送信および受信端末装置１０ａ， １０ｂの間の伝送路上にサーバ装置３２を配し、音声および画像を同期再生している。
【００６３】
送信端末装置１０ａは、画像入力部３４および符号化部３６を有している。画像入力部３４で被写体からの入射光１０ｃを画像信号に変換し、さらに画像信号をディジタル信号３４ａにして符号化部３６に出力する。 符号化部３６では、供給される画像のディジタル信号３４ａにＭＰＥＧ４の圧縮符号化を施した画像データ３６ａをＩＰネットワーク１００に出力する。画像データ３６ａが、ＩＰネットワーク１００を介してサーバ装置３２に供給される。
【００６４】
サーバ装置３２は、復号処理部３２０、表情特徴抽出部３２２、データ変換レンダリング部３２４、キャラクタ格納部３２６、および符号化部３２８を含んでいる。サーバ装置３２は、本実施例においてＡＳＰ（Ａｃｃｅｓｓ Ｓｉｇｎａｌｉｎｇ Ｐｒｏｔｏｃｏｌ）サーバを用いている。ＡＳＰサーバは、ゲートウェイに対してＩＰネットワーク側の機器がサポートするプロトコルに従って動作させる装置である。復号処理部３２０は、供給される画像データ３６ａを復号する機能を有している。すなわち、送信端末装置１０ａの符号化部３６で行ったＭＰＥＧ４の圧縮符号化に対応した伸長処理および復号を行う。復号処理部３２０は、画像データ３２０ａを供給する送信元である送信端末装置１０ａを電話番号、アドレスデータまたはユーザＩＤ等から特定して、復号した画像データ３２０ａを表情特徴抽出部３２２に送出する。表情特徴抽出部３２２は、供給される画像データ３２０ａから表情の特徴点の座標データを抽出し、抽出した座標データ３２２ａをデータ変換レンダリング部３２４に出力する。
【００６５】
キャラクタ管理部３２６は、図示しないがベンダから供給されるキャラクタのモデルデータの保存と、各キャラクタに対して個々のユーザの使用登録と、ユーザが使用したキャラクタの使用時間および使用料金等を管理するデータベースである。キャラクタ管理部３２６は、上述したように画像データ３６ａを受信した際に得られる電話番号、アドレスデータまたはユーザＩＤ等から特定したユーザがあらかじめ（いわゆるユーザデータベース内で）選択したキャラクタのモデルデータ３２６ａをデータ変換レンダリング部３２４に送出する。キャラクタのモデルデータ３２６ａは、通信前に選択しておくことがより好ましいが、通信中に設定したり新たに設定し直してもよい。
【００６６】
キャラクタ管理部３２６は、復号処理部３２０からの復号した画像データ３２０ａの供給に同期して選択したキャラクタのモデルデータ３２６ａをデータ変換レンダリング部３２４に出力する。通信終了後、キャラクタ管理部３２６は、使用時間情報を対応するユーザＩＤのテンプレートに更新する。
【００６７】
データ変換レンダリング部３２４は、モデルデータ作成手段とレンダリング手段とに対応するデータ作成機能およびレンダリング機能と２つの機能を有している。データ作成機能は、キャラクタのモデルデータ３２６ａと抽出した座標データ３２２ａとに基づいて送信者の表情を考慮したキャラクタのモデルデータを生成する。レンダリング機能は、データ作成機能により生成された２次元または３次元のキャラクタのモデルデータに対してレンダリングアルゴリズムに応じてレンダリング処理を施し、個々のメモリに記憶し、レンダリングしたキャラクタ画像３２４ａを時系列関係が保たれるようにそれぞれ順に符号化部３２８に出力する。
【００６８】
符号化部３２８は、供給されるキャラクタ画像３２４ａに圧縮符号化処理を施したキャラクタ画像３２８ａを受信端末装置１０ｂに送出する。本実施例のサーバ装置３２はＩＰネットワーク１００に接続していることから、キャラクタ画像３２８ａはＩＰネットワーク１００を介して受信端末装置１０ｂに供給される。
【００６９】
受信端末装置１０ｂは、復号処理部３８および表示部４０を含んでいる。復号処理部３８は、サーバ装置３２から供給される圧縮符号化されたキャラクタ画像３２８ａを伸長処理し、復号したキャラクタ画像３８ａを表示部４０に出力する。表示部４０は、たとえば液晶ディスプレイを用いる。表示部４０は、供給される画像を所定の時間間隔で表示させると、送信者の表情に対応したキャラクタ画像が動画表示される。
【００７０】
このように送信者の表情に対応したキャラクタ画像の通信に用いる構成要素をサーバ装置３２内に集中して含ませ、送信端末装置１０ａと受信端末装置１０ｂの構成要素を最小限にすることにより、端末装置１０ａ， １０ｂを小型化、かつ安価な製造を実現することができ、各装置の処理も軽減させることができる。また、サーバ装置３２にてキャラクタ画像処理が行われるように構成することにより、システムのバージョンアップやメンテナンスを行う場合、サーバ装置３２の処理内容を変更すればよく、個々の端末装置に対する変更を行わずに済ませることができ、変更時のユーザの負担をなくすことができる。
【００７１】
サーバ装置３２による管理により、キャラクタ使用の監視を容易に行うことができ、キャラクタ使用にともなうセキュリティも向上させることができる。たとえば、金融機関のＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）端末装置は現在、音声だけで顧客の対応処理を行っているが、コミュニケーション力を高めるために接客時に行員の顔画像をそのまま表示させた場合、防犯の面での危険が懸念される。画像伝送システム３０を適用し、ＡＴＭ端末装置を受信端末装置として用いるようにすれば、行員に対する防犯効果を高めながら、顧客に対して良好なコミュニケーションをもたらすことができる。
【００７２】
また、画像伝送システム３０は、図１０に示すように、送信端末装置１０ａに表情特徴抽出部３２２を配設させてもよい。送信端末装置１０ａにおいて、画像入力部３４に入力され、電気信号に変換された画像３４ａが表情特徴抽出部３２２に供給される。表情特徴抽出部３２２では、供給される画像３４ａの中から、表情における特徴点を示す座標データ３２２ａが抽出される。座標データ３２２ａは、生の画像３４ａに比べてデータ量が少ない。符号化部３６は、供給される座標データ３２２ａを圧縮符号化してＩＰネットワーク１００を介してサーバ装置３２に送出する。表情特徴抽出部３２２を送信端末装置１０ａに配設することにより、生の画像３４ａを供給する場合に比べてキャラクタの新たなモデルデータの生成に用いる座標データ３２２ａを送出することで送信の所要時間が少なくて済むことから、ＩＰネットワーク１００のような回線資源が節約される。また、画像３４ａを送信していないので、回線を傍受されても送信者のプライバシの侵害を防ぐことができる。
【００７３】
なお、このような回線資源の節約は、上述した構成に限定されるものでなく、受信端末装置10bにデータ変換レンダリング部324を配設するようにしても実現することができる。この場合、サーバ装置32は、所望なキャラクタのモデルデータを符号化して受信端末装置10bに送ればよい。これにより、サーバ装置32と受信端末装置10bとの間で伝送される情報量が大幅に抑えられ、画像通信を効率的に行うことができる。
【００７４】
画像伝送システム30は、図11に示すように、装置端末装置10aの画像入力部34を画像差分出力部42で置き換える構成にしてもよい。これは、画像伝送システム30において受信端末装置10bに所望のキャラクタのモデルデータ326aを表示すればよく、顔画像そのものでなく、表情の変化を示すデータがサーバ装置32に供給できればよいからである。画像差分出力部42は、最初の画像以外、差分画像42aを符号化部36に供給する。
【００７５】
たとえば、送信端末装置１０ａにおいて画像差分出力部４２は、図１２（ａ）の口を開いた顔画像を画像入力して出力し、以後、一つ前に入力した顔画像と図１２（ｂ）に示す現在入力した口を閉じた顔画像との差分をとって、この差がゼロ以外の領域を差分画像４２ａとして符号化部３６に出力する。符号化部３６は、供給される差分データ４２ａに圧縮符号化を施してサーバ装置３２に伝送する。これにより、送信端末装置１０ａとサーバ装置３２との間の伝送量を大幅に抑制できるようになる。
【００７６】
また、サーバ装置３２には、表情特徴差分抽出部３３０が配設されている。サーバ装置３２は、供給される圧縮符号化された差分データ４２ａに復号処理を施して表情特徴差分抽出部３３０に復号した差分データ３２０ａを供給する。表情特徴差分抽出部３３０は、領域を示す座標データを基に表情を示す特徴点を特定しながら、対応する特徴点に供給された差分量を最初に供給された顔画像に関して対応する座標データに加算する。
【００７７】
より具体的に示すと、表情特徴差分抽出部３３０は、図１２（ｃ）に示すように、図１２（ａ）に対応して基準となる画像における記号（×）の特徴点を抽出する。図１２（ｃ）の点線で示した位置が得られる。次に差分量を加算することにより、図１２（ｂ）における実線で示す画像が得られる。表情特徴差分抽出部３３０は、実線の画像における特徴点を求めて、得られた特徴点での座標データ３３０ａをデータ変換レンダリング部３２４に出力する。
【００７８】
データ変換レンダリング部３２４は、所望のキャラクタのモデルデータ３２６ａにおける表情を表す特徴点の座標データ３３０ａを基に作成し、レンダリングアルゴリズムに従ってレンダリング処理を施して符号化部３２８に出力する。符号化部３２８では、単に画像を圧縮符号化するのでなく、画像間の差分形式にして伝送する方法を用いてもよい。これらのような伝送手法は、たとえばＭＰＥＧ４等の開発されたソフトウェア的手法により実現することができる。このように圧縮符号化されたキャラクタ画像３２８ａが受信端末装置１０ｂに出力される。受信端末装置１０ｂは、これまでと同様に供給されるキャラクタ画像３２８ａを復号処理部３８で伸長、かつ復号を行い、表示部４０に表示させている。
【００７９】
このように構成することにより、サーバ装置３２の入出力、すなわち送信端末装置１０ａ−サーバ装置３２間とサーバ装置３２−受信端末装置１０ｂ間のデータが差分の形式に応じてそれぞれ、入出力されることから、伝送サイズを元の大きさに比べて大幅に小さくすることができる。したがって、回線の使用時間も少なくて済むことから、回線資源がこれまで以上に節約できる。また、サーバ装置３２は、扱うデータを小さくできることから、装置３２の負荷を抑え、処理速度の向上も図ることができる。ただし、差分の影響を受けてレンダリングした画像が滑らかに表示できない虞がある。これを回避する場合、サーバ装置３２と受信端末装置１０ｂの間ではレンダリングして得られたキャラクタ画像を差分化せずにそのまま符号化して出力することが望ましい。
【００８０】
また、画像伝送システム３０におけるサーバ装置３２には、図１３に示すように、送信認証部４４を配設するようにしてもよい。送信認証部４４は、供給される顔画像のような身体的な特徴または送信者（ユーザ）が所有するＩＤカードやパスワード等を用いて送信者を認証し、この認証に応じてキャラクタ管理部３２６を制御する機能を有している。送信認証部４４には、この機能を発揮させるため通信に先立って送信者を認識させる指定形式による認証テンプレートデータの登録等が行われる。認証テンプレートデータは、サーバ装置３２にて作成される。また、送信者の利用するキャラクタ画像に関する情報の登録を送信認証部４４で行ってもよいが、この情報の登録は、一般的にキャラクタ管理部３２６のデータベースで行う。
【００８１】
本実施例では、図１４に示すように、送信認証部４４に送信者のユーザ情報も含めたデータベースが用意されている。このデータベースは、たとえば図１４の認証テンプレートのデータを保存し、認証テンプレートには、項目として送信者ＩＤ、認証テンプレートファイル、ファイルサイズ、登録年月日および登録キャラクタが設けられている。送信認証部４４は、復号処理部３２０から供給される画像データ３２０ａを用いて、上述したデータベースの項目ごとにデータを付き合せて送信者が一致するか否かを認証判定を行う。認証判定の結果に応じて送信認証部４４はキャラクタ管理部３２６に制御信号４４ａを供給する。送信認証部４４は、認証が一致した場合、制御信号４４ａをキャラクタのモデルデータ３２６ａの送信許可信号として送出する。また、認証が不一致の場合、送信認証部４４は、送信禁止信号としてキャラクタ管理部３２６に供給する。
【００８２】
このように認証することにより、送信端末装置に依存したＩＤ等と異なり、より具体的に送信者そのものを認証することから、たとえば盗難や紛失にあった端末装置の第三者による不正利用を防止することができ、先に述べたＩＤ確認部２６の場合よりも高いセキュリティをシステムに持たせることができる。
【００８３】
なお、図１に示した構成の場合、キャラクタ管理センタ１２の手前に送信認証部４４を配設し、不正と判断されたらキャラクタのモデルデータ１２ａの送出を禁止するようにキャラクタ管理センタ１２を制御するとよい。
【００８４】
また、他の実施例として画像伝送システム３０におけるサーバ装置３２は、符号化部３２８から圧縮符号化したキャラクタ画像３２８ａを受信端末装置１０ｂに送出するとともに、ＩＰネットワーク１００を介して送信端末装置１０ａにも供給するように帰還出力させている（図１５を参照）。送信端末装置１０ａには、復号処理部４６および表示サイズ調整部４８が含まれている。
【００８５】
復号処理部４６は、ＩＰネットワーク１００を介して圧縮符号化したキャラクタ画像３２８ａを受信し、受信したキャラクタ画像３２８ａを伸長し、かつ復号処理をキャラクタ画像３２８ａに施す。復号処理されたキャラクタ画像４６ａが表示サイズ調整部４８に供給される。表示サイズ調整部４８は、供給されるキャラクタ画像４６ａの表示サイズを、たとえばサムネイルサイズのように画面の一部分に表示調整する機能を有している。表示サイズ調整部４８は、図示しないが表示部に調整した表示サイズのキャラクタ画像を出力させる。表示部にキャラクタ画像を表示させることにより、相手の受信端末装置１０ｂに送信者、すなわち自分の顔がどのように変換されているかをリアルタイムで知ることができる。双方向通信を行う場合、表示サイズ調整部４８は、表示部に相手側の表示画像とこの送信者のキャラクタ画像とを同時に表示することになるが、送信者のキャラクタ画像を画面隅に小さく表示させるように各画像の大きさを調整するとよい。
【００８６】
画像伝送システム３０において、サーバ装置３２に顔画像を送出する送信端末装置を複数接続する構成（多対一の接続）にしてもよい（図１６を参照）。複数の送信端末装置１０＿１， １０＿２， ・・・， １０＿ｎは、図示しないがこれまでの構成と同様に画像入力部および符号化部をそれぞれ有している。送信端末装置１０＿１， １０＿２， ・・・， １０＿ｎは、入射光Ｃ１， Ｃ２， ・・・， Ｃｎを画像信号に変換し、圧縮符号化した画像データ１００＿１， １００＿２， ・・・， １００＿ｎをＩＰネットワーク１００を介してサーバ装置３２に供給される。
【００８７】
復号処理部３２０では、供給される画像データ１００＿１， １００＿２， ・・・， １００＿ｎのそれぞれに伸長処理を施し、復号処理も施す。これらの処理後、復号処理部３２０は、表情特徴抽出部３２２に復号した画像データ３２０ａを出力する。供給される各画像データ３２０ａから表情における特徴点の座標データをそれぞれ抽出し、データ変換レンダリング部３２４に送出する。データ変換レンダリング部３２４では、抽出した座標データ３２２ａに対応させて、選択した各キャラクタのモデルデータ３２６ａの表情を変化させ、得られたキャラクタのモデルデータのサイズを考慮してマルチ表示になるように画像を縮小させるレンダリングが行われる。マルチ表示になるようにレンダリングしたキャラクタ画像３２４ａを符号化部３２８で圧縮符号化して受信端末装置１０ｂに送出する。受信端末装置１０ｂでは復号処理部３８を介した複数のキャラクタ画像３８ａが表示部４０に表示される。
【００８８】
４つの送信端末装置から受信端末装置１０ｂにキャラクタ画像による通信が行われるとき、図１７に示すように、図示しない表示部の画面４０には同時に４つのキャラクタ画像４０ａ〜４０ｄが表示される。キャラクタ画像は、図１７のように２次元に限定されることなく、３次元コンピュータグラフィック表示で行うようにしてもよい。送信者が４人以上のとき、受信端末装置１０ｂには、表示部４０の画面切替を順次行うようにしてしたり、供給される複数のキャラクタ画像のうち、選択した画像を大きく表示させる等の選択表示機能を持たせるとよい。
【００８９】
このようにして同時に複数の送信者から一人の受信者に送信してテレビ会議システムのような通信を行うことができる。
【００９０】
画像伝送システム３０には、複数の送信者から一人の受信者への多対１の通信と逆に１対多の通信を行う場合がある（図１８を参照）。たとえば、リアルタイムに接続して一人の先生が通信教育によって複数の生徒を指導するような場合である。この通信関係を実現させるために、画像伝送システム３０は、サーバ装置３２の直後にメディアサーバグループ５０を配設し、ＩＰネットワーク１００を介して複数の受信端末装置２００＿１， ２００＿２， ・・・， ２００＿ｎと接続されている。メディアサーバグループ５０は、複数台のメディアサーバ装置５０ａ〜５０ｎをサーバ装置３２に対して並列的に配設することが好ましい。
【００９１】
メディアサーバグループ５０には、複数のストレージ５００が含まれている。ストレージ５００は、たとえばＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）や大容量の半導体メモリで構成されている。メディアサーバ装置５０ａ〜５０ｎは、受信端末装置２００＿１， ２００＿２， ・・・， ２００＿ｎから送信要求信号が供給されると、この送信要求信号に応じた音声および画像における同期のとれたデータが要求のあった受信端末装置に出力する。メディアサーバグループ５０は、複数台用いることにより多くの受信端末装置２００＿１， ２００＿２， ・・・， ２００＿ｎとの通信を行うことができる。受信端末装置２００＿１， ２００＿２， ・・・， ２００＿ｎのそれぞれは、サーバ装置３２と通信して所望のキャラクタ画像を選択すると、個々に異なるキャラクタ画像を表示部（図示せず）に表示させることができる。
【００９２】
これまで、送信側で入力した画像のうち、顔の画像から顔の表情における特徴点を抽出し、顔の画像と異なるキャラクタのモデルデータを選んで、受信側にキャラクタ画像によって動画表示させる例を示してきたが、画像を変更する表示は、個人を認識する顔画像に限定されるものでなく、背景の画像がプライバシを侵害する場合もある。周囲の様子を知らせたくない場合、音声のみの会話を行うしかなかった。
【００９３】
このような状況を改善するため、送信端末装置１０ａには、前述した構成要素に加えて、基本的に前処理部１１０、人物抽出部１１２、記憶部１１４、および背景合成部１１６が含まれている（図１９を参照）。前処理部１１０は、画像入力部３４から供給される画像データ３４ａに対してフィルタ処理を施す。前処理部１１０は、図示しない主制御部による制御に応じた出力先を切り換えて出力する。前処理部１１０は、画像の背景を変更する場合、フィルタ処理された画像データ１１８を人物抽出部１１２に出力させ、画像データ１１８をそのまま送出する場合、符号化部３６および記憶部１１４に供給する。
【００９４】
人物抽出部１１２は、供給される画像データ１１８ａに輪郭抽出処理を施し、人物の領域を抜き出す機能を有している。人物抽出部１１２は、抜き出した人物領域の画像データ１２０を背景合成部１１６に出力する。記憶部１１４は、供給される画像データ１１８ｂを保存する機能を有する。記憶部１１４は、送信端末装置１０ａの小型化に対処する場合半導体メモリ等が好ましい。この他、磁気記録媒体や光記録媒体等に記録させるようにしてもよい。記憶部１１４は、主制御部の制御にともない、記憶する画像データの中から、ユーザが所望する画像データ１２２を読み出して背景合成部１１６に供給する。記憶部１１４は、供給される画像データ１１８ｂを背景画像として記憶する場合、背景画像を特徴付けるキーワードを付けて登録しておくことが望ましい。
【００９５】
背景合成部１１６には、それぞれ供給される人物領域の画像データ１２０と記憶部１１４に格納されている背景画像データ１２２とを合成する機能がある（背景合成処理）。背景画像データ１２２は、風景に限定するものでなく、たとえば、壁紙のようなパターンデータでもよい。背景合成部１１６は、供給される画像データ１２０， １２２を合成し、送信端末装置１０ａの画像データ１２４として符号化部３６に供給する。符号化部３６は、供給される画像データ１１８または画像データ１２４に対して圧縮符号化を施し、画像データ３６ａとして出力する。
【００９６】
このように送信者の要望に応じて背景合成した画像データを送出することにより、送信者の現在位置を受信者に特定されることなく、画像通信を行うことができる。また、背景を見せたくない場合でも同様に画像通信できる。
【００９７】
この構成を基本に送信端末装置１０ａは、図２０に示すように、背景作成部１２６を追加してもよい。背景作成部１２６は、実際に撮影して得られた実画像データ、アニメーションの背景画像やＣＧに限定することなく、任意の背景画像を作成する機能を有している。背景作成部１２６は、簡単な背景作成をする場合、図示しない送信端末装置１０ａに配設されているポインティングデバイスがユーザにより操作され、たとえばパターンを組み合わせて背景画像を選択して作成するようにしてもよい。作成の際に背景作成部１２６は、主制御部の制御を受けて画像作成を行っている。背景作成部１２６は、作成した背景画像データ１２８を記憶部１１４および背景合成部１１６に供給する。記憶部１１４に記憶させる場合、背景画像データ１２８は前述したように背景登録処理を経て保存される。背景合成部１１６は、背景画像に関して既に記憶部１１４に保存されている背景画像データ１２２または背景作成部１２６で作成した背景画像データ１２８のいずれかを選択して用いている。この構成要素の追加により、任意の背景画像を作成することができ、送信画像のバリエーションを増やすことができる。
【００９８】
さらに、図２０の構成に加えて送信端末装置１０ａは、表情認識部１３０を含むようにしてもよい（図２１を参照）。表情認識部１３０は、前処理部１１０からの画像データ１１８ｂを入力し、画像データ１１８ｂが表す画像の中から、特に顔の表情に含まれる表情を数値化する機能を有している。表情に対する数値化は、たとえば、笑い、笑み、怒り、泣き等に対応させるように認識処理によって行われる。また、表情認識部１３０は、認識結果に応じた数値を制御信号１３２として記憶部１１４および背景作成部１２６に供給する。画像通信にリアルタイム性が要求される場合、背景作成できないので記憶部１１４に格納されている背景画像データ１２２を用いるとよい。記憶部１１４には、保存時に保存する背景画像に対してあらかじめ表情を表す数値を付して記憶しておくと表情認識部１３０による制御に対して対応し易い。
【００９９】
背景合成部１１６には、送信者の表情を示す背景画像データが記憶部１１４または背景作成部１２６から供給される。表情認識部１３０も図示しない主制御部の制御に応じて動作制御されている。
【０１００】
顔の表情に応じて背景画像が変化することにより、複雑な操作を逐次に行うようユーザに強いることなく、負担を軽減してコミュニケーション力をより一層高めることができる。
【０１０１】
このように送信端末装置１０ａについて説明したが、画像伝送システム３０では、前処理部１１０、人物抽出部１１２、背景合成部１１６、背景作成部１２６および表情認識部１３０をサーバ装置３２に配設するようにしてもよい。このように集約して配設することにより送信端末装置１０ａは小型化を容易にし、かつシステム変更にも対応しやすくすることができる。
【０１０２】
また、図示しないが、背景合成部を受信端末装置10bに配設するようにしてもよい。送信端末装置10aは、合成前の人物画像120および背景画像122/128を圧縮符号化した画像データ36aを受信端末装置10bに供給する。受信端末装置10bは、供給された画像データ36aを伸長し、かつ復号した画像データを背景合成部に供給し、合成して表示する。供給される背景画像に動きがない場合、受信端末装置10bは、この背景画像を受信端末装置10bが有する記憶部に保存する。受信端末装置10bは、このとき送信端末装置10aに対して背景画像の送信停止信号を送る。これを受けて送信端末装置10aは、人物画像120だけを受信端末装置10bに送信する。受信端末装置10bは、内蔵する記憶部から一旦保存した背景画像を背景合成部に読み出す。背景合成部では、供給される人物画像と一旦保存した背景画像とを合成して表示させる。
【０１０３】
このように背景合成処理を送信端末装置１０ａでなく、サーバ装置３２や受信端末装置１０ｂに分けて配設することにより、背景画像に動きの少ない画像を伝送する場合、通信において背景画像の保存後、人物画像だけを送信しても合成画像表示させることができるので、回線資源を節約することができる。
【０１０４】
なお、画像伝送システム３０として説明したが、最初の実施例のようにサーバ装置３２を介さない電話機や情報端末装置間の通信においても同様の背景画像を変更して画像伝送できることは言うまでもない。これにより、個人のプライバシ等を守って通信することができる。
〈画像配信における課金システム〉
次に所望のキャラクタ画像を送信者の顔画像が示す表情に応じた画像に変化させ、受信側に変化させたキャラクタ画像を表示しながら音声および画像による通信を行う場合の課金システムについて説明する（図２２を参照）。課金システム６０には、ベンダ６２、キャラクタ提供部６４、データベース部６６、課金徴収部６８および情報端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎが含まれている。
【０１０５】
ベンダ６２とは、キャラクタの原画を提供する製造元であり、図示していないがキャラクタを作成するシステムの提供者も指して、両者とも一般的に生成したキャラクタ（のモデルデータ）の著作権者である。本実施例におけるベンダ６２は、キャラクタ作成システムであるキャラクタ作成装置も示している。端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎの所有者、すなわちユーザは、データベース部６６を検索して所望なモデルデータがないと判断した場合、ＩＰネットワーク１００を介してベンダ６２に画像作成依頼信号７２を端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎのそれぞれから送出させる。また、モデルデータ作成依頼を受け付けず、一方的に作成しているキャラクタのモデルデータを提供するようにしてもよい。
【０１０６】
画像作成依頼信号７２には、依頼者の要求する情報がパラメータとして含まれている。情報には、キャラクタのモデルデータ作成料の支払い先を示す口座番号等も含まれている。ベンダ６２は、供給される依頼信号７２に合ったキャラクタのモデルデータを作成する。ベンダ６２は、たとえば、作成したキャラクタのモデルデータ７４とモデルデータ７４が新規であることを示す情報を付加してキャラクタ提供部６４にアップロードし、データベース部６６にはモデルデータ７４が新規だけでなく、たとえば口座番号や画像作成依頼者のユーザＩＤを含めた情報を送出する。また、このような複数の情報をベンダ６２に送出することから、データベースに登録済みの場合ユーザは、所有する端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎの一つを介してキャラクタのモデルデータに要望する条件をデータベース部６６に提供する。データベース部６６は、上述の条件に依頼のあったユーザの情報を加えた画像作成依頼信号（図示せず）をベンダ６２に供給するようにしてもよい。
【０１０７】
なお、依頼者は、ベンダ６２が作成したキャラクタのモデルデータをアップロードする前にキャラクタのモデルデータの確認を行い、要求を満たしているか確認する。
【０１０８】
キャラクタ提供部６４は、ベンダ６２から供給されるキャラクタのモデルデータ７４に対して登録処理を行い、保存する。また、キャラクタ提供部６４は、端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎのいずれかから読出し要求信号７６がＩＰネットワーク１００を介して供給されると、ユーザが所望するキャラクタのモデルデータ７８をＩＰネットワーク１００を介して要求のあった端末装置に送出する（ダウンロード）。この送出タイミングを基にダウンロードしたキャラクタを所定の期間中では自由に使うように課金を行うようにしてもよい。
【０１０９】
データベース部６６は、図２３に示すような項目を保存して管理するとともに、ユーザの要求に応じたキャラクタのモデルデータの照会検索を行う機能を有している。データベース構造は、ユーザごとに各項目の情報を区分して持つように形成されている。各項目には、送信者ＩＤ、口座番号、キャラクタＩＤ、登録年月日、利用時間および利用料金等がある。データベース部６６は、端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎのいずれかから照会検索要求信号８０が供給された際に、所望のキャラクタのモデルデータがキャラクタ提供部６４に保存されているか否かを検索する。データベース部６６は、検索結果８２を照会検索要求のあった端末装置に送出する。データベース部６６の検索結果８２が所望のキャラクタのモデルデータの保存を示すとき、データベース部６６は、ユーザの端末装置に検索結果８２に含まれる所望のキャラクタＩＤを供給する。また、データベース部６６は、検索結果８２に所望のキャラクタのモデルデータが含まれていないと判明した際に、新たなキャラクタのモデルデータの生成または別なキャラクタのモデルデータを検索するか否か等のメッセージを表示させるようにメッセージを送出する。
【０１１０】
データベース部６６は、各端末装置に対する利用時間および利用料金等に関する情報も管理しているから、要求に応じて各ユーザに情報を提供することができる。データベース部６６は、この情報を各端末装置における課金請求情報８４として課金徴収部６８に供給する。データベース部６６は、課金徴収部６８から供給される徴収の情報８６を受けてベンダ６２の作成者、図示しないが回線管理者およびこのシステム６０の運用者にそれぞれの徴収した料金、徴収情報８８， ９０， ９２を提供する。
【０１１１】
なお、キャラクタ提供部６４およびデータベース部６６は、画像コミュニケーション機能付き情報端末装置の実施例におけるキャラクタ管理センタ１２や画像伝送システムの実施例におけるキャラクタ管理部３２６に対応している。また、キャラクタ提供部６４とデータベース部６６は、データベースにおけるユーザや各項目ごとのデータをやりとりして適切な処理を行わせるようにしてもよい。また、前述したキャラクタ格納部１８にキャラクタ提供部６４の機能を一部持たせるように考えることもできる。
【０１１２】
課金徴収部６８は、たとえば、銀行、郵便局等の金融機関のコンピュータシステムに対応する。このコンピュータシステムは、ホストコンピュータが各ユーザの預金口座を管理し、供給される課金請求情報８４に応じて料金の引き落としを行う。課金徴収部６８は、たとえば端末装置に電子マネー管理機能がある場合、ＩＰネットワーク１００、回線９４を介して料金の精算を行うようにしてもよい。
【０１１３】
端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎは、音声および画像の通信において、前述したキャラクタ画像を送信者の表情に応動させて送信し、相手の端末装置として受信した際にキャラクタ画像を動画表示させながら音声を出力させる機能を有している。端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎは、システム６０における設定や通信者同士の取り決めに応じて送信者または受信者がシステム６０やキャラクタのモデルデータの使用料を支払うようにしている。
【０１１４】
また、上述したキャラクタ画像の表示にともなう画像処理が負担にならないように画像処理の構成をサーバ装置３２に配設させる。すなわち、サーバ装置３２には、図示しないが端末装置７０＿１， ７０＿２， ７０＿３， ・・・， ７０＿ｎの前述した画像処理に対応する、たとえば図９の表情特徴抽出部３２２およびデータ変換レンダリング部３２４が含まれている。また、キャラクタ管理部３２６は、より統合的な機能を有する前述したキャラクタ提供部６４を用いるとよい。このように構成することにより、システム６０における図２４のサーバ装置３２は、データセンタ的な役割を持たせることができる。データベース部６６は図２３に示すようにユーザごとに各項目の情報を管理するとよい。また、課金の対象は送信者に限定されるものでなく、受信者を対象にしてもよい。この場合、データベース部６６は、図２５に示すように受信者ＩＤ、口座番号、キャラクタＩＤ、利用時間および利用料金等の各項目にデータを格納するとよい。
【０１１５】
課金システム６０は、さらに広告データベース部９６および広告端末装置９８を含むようにしてもよい。広告データベース部９６は、複数の広告依頼する会社（広告主）から掲載する広告データ、この広告掲載を了承したユーザ情報および広告掲載料金を管理する機能を有している。広告データベース部９６は、図２６に示す項目（広告主ＩＤ、広告データファイル名、ファイルサイズ、掲載開始、掲載終了および掲載料金等を保存している。
【０１１６】
広告データベース部９６は、広告主の端末装置９８から供給される広告データ１０２を登録し、広告データ１０２をサーバ装置３２に供給する。データベース部６６は、ユーザに対して掲載をするか否かの情報８２を提供する。サーバ装置３２には広告データベース部９６から広告データ１０４が供給されている。サーバ装置３２は、ユーザからの応答信号８０に応じて供給される広告データ１０４およびキャラクタ画像を合成し、この合成画像をＩＰネットワーク１００を介してユーザの受信側の端末装置に供給する。
【０１１７】
広告端末装置９８は、各広告主に対応して設けられた情報入出力装置である。本実施例で広告端末装置９８は、広告データベース部９６に広告データを出力し、広告データベース部９６からの使用状況等の情報を入力する。
【０１１８】
サーバ装置３２は、データベース部６６にて広告データ１０４が供給される広告掲載を了承したユーザに対するユーザ情報の項目の一部として広告掲載データを管理し、広告掲載データを考慮して利用料金の請求を作成し、課金徴収部６８に課金請求情報８４を送る。また、サーバ装置３２は、掲載を了承したユーザ情報とともに掲載時間・掲載料金等を含む情報１０４を広告データベース部９６を介して広告端末装置９８に供給する。広告端末装置９８は、広告主が管理するホストコンピュータ（図示せず）に接続されている。ホストコンピュータは、供給されるユーザごとの情報１０４を集計し、集計した広告掲載料に対する支払い情報１０６を課金徴収部６８に送る。なお、集計は広告データベース部９６で行ってもよい。データベース部６６は、供給される徴収情報８６を基に前述したそれぞれの業者に徴収情報８８， ９０， ９２を供給する。
【０１１９】
このように構成することにより、システムの利用頻度に応じた課金を課すことができ、ユーザ、キャラクタ、課金、および広告掲載等の監視を容易にし、かつセキュリティも高くすることができる。
【０１２０】
課金は、利用頻度に限定されるものでなく、徴収請求情報の作成プログラムを所定の期間中、定額料金とする設定に変更してもよい。この変更に対応して課金徴収部６８では、各ユーザの口座からの引き落としや月額ごとの定額料金振込みにて徴収する。所定の期間は、キャラクタ画像がダウンロードされた時点を開始時刻として設定し、データベース部６６の対応するユーザＩＤの項目に記録し、これから、たとえば通常通信が完了する期間ないし最大数時間程度に設定するとよい。これにより、システムのユーザを増やし、一層利用しやすくする効果を奏することもできる。
【０１２１】
また、課金の支払いは、キャラクタのモデルデータを使用した送信者側または受信者側で行う。受信側の支払いは、ユーザ登録時だけまたは利用ごとだけで行うようにしてもよい。広告掲載をシステムに導入することにより、システム運営を安定なものにすることができ、ユーザの使用経費負担を軽減させることもできるようになる。
〈画像配信サービスの提供方法〉
次にサービス提供の手順は、サーバ装置３２の有無と関係なく、サービス提供の管理を行うデータベース部６６の判断および合成画像処理を中心に説明する。送受信にともなう符号化および復号処理については説明を省略する。課金システム６０を参照しながら最も簡単な手順を図２７に示す。たとえば、送信側を端末装置７０＿３と受信側を端末装置７０＿１として音声および画像の伝送を行う。送信側は、データベース部６６にアクセスする（ステップＳ１０）。このとき、送信側のユーザはシステム６０に登録済みであるとする。ユーザがすでに登録しているキャラクタのモデルデータについて図２３のキャラクタＩＤの項目を検索して使用可能なキャラクタを使用する候補として探し出す。
【０１２２】
探し出したキャラクタＩＤの中に所望のキャラクタが含まれているか否かを判断する（ステップＳ１２）。所望のキャラクタが存在する場合（ＹＥＳ）、そのキャラクタＩＤを選択する（ステップＳ１４）。また、所望のキャラクタが存在しなかった場合（ＮＯ）、データベース部６６が保存するキャラクタの中から所望のキャラクタを選択する（ステップＳ１６）。
【０１２３】
この場合、選択したキャラクタＩＤは、データベース部６６にて現在選択を行っているユーザがこのキャラクタＩＤに対して登録されていないことから、このユーザ用に新規登録を行う（ステップＳ１８）。データベース部６６には、新規登録にともなってデータベース部６６には登録年月日および登録料の請求が作成される。登録料の請求は、徴収請求情報８４として課金徴収部６８に供給される。課金徴収部６８では、ユーザ名義の口座から徴収請求情報８４に対応して預金を引き落とす（ステップＳ２０）。課金徴収部６８は、徴収情報８６をデータベース部６６に送って、徴収完了を報告する。データベース部６６は、徴収情報８６に基づいてキャラクタを作成したベンダ６２に徴収情報８８を通知する。このような手順で新規登録・登録料の徴収が行われる。
【０１２４】
なお、図示していないが、ベンダ６２から供給されるキャラクタのモデルデータに所望のキャラクタのモデルデータがなかった場合、ベンダ６２に対して新たなキャラクタのモデルデータの作成を要求する。ベンダ６２への要求時にユーザは、端末装置７０＿３を介してユーザ登録情報および要望するキャラクタ条件をベンダ６２に供給する。ベンダ６２は、要望に応じて作成したキャラクタのモデルデータをキャラクタ提供部６４に格納する。要求を出してキャラクタのモデルデータを作成してもらったユーザは、新規に作成されたモデルデータを確認し、要求を満たしていると判断した際に、キャラクタ作成の代金をベンダに支払う。この支払いはデータベース部６６を介して行われる。このように作成依頼により作られたキャラクタのモデルデータは、キャラクタ提供部６４に保存されるが、ユーザの希望に応じてユーザのみの使用、一般ユーザの使用を選択できるように登録するとよい。これにより、作成依頼者は自分専用のキャラクタのモデルデータを保有することができる。また、ベンダ６２は、選択したキャラクタのモデルデータに対してダウンロードしてから利用可能な有効期間を設定して課金し、運用するようにしてもよい。
【０１２５】
ステップＳ１４またはステップＳ２０の後に、キャラクタ提供部６４からキャラクタＩＤを基に所望のキャラクタのモデルデータを読み出し、この読み出した時刻を図示しないが使用開始としてデータベースで管理する（ステップＳ２２）。キャラクタのモデルデータは、ユーザごとにキャラクタのモデルデータを保有する場合、キャラクタ格納部１８から読み出し、システム管理してキャラクタのモデルデータを保有する場合、キャラクタ提供部６４（キャラクタ管理部３２６）から読み出している。
【０１２６】
なお、読み出したキャラクタのモデルデータを端末装置に格納して使用する場合、端末装置は、使用開始時刻を記憶し、使用終了時の時刻とこの使用開始時刻との差から利用時間を算出し、データベース部６６に送る。
【０１２７】
以上の設定の後に、音声およびキャラクタ画像による通信が行われる。送信側の端末装置７０＿３では、送信者の顔画像を入力する（ステップＳ２４）。顔画像における表情の特徴点を各座標データとして抽出する（ステップＳ２６）。次に、キャラクタのモデルデータと抽出した座標データとを基に表情のあるキャラクタのモデルデータの合成データを生成する（ステップＳ２８）。この合成データを２次元または３次元のレンダリングアルゴリズムに従って可視化するレンダリング処理を行ってメモリに格納する。（ステップＳ３０）。端末装置またはサーバ装置３２は、レンダリング処理して生成されたキャラクタ画像を複数のメモリに格納し、時系列の順序に応じて出力させている。受信側の端末装置７０＿１は、供給されるキャラクタ画像を表示部に表示させて、音声に同期したキャラクタ画像を動画表示する（ステップＳ３２）。
【０１２８】
次に、このキャラクタ画像表示を行う通信を終了するか否かの判断を行う（ステップＳ３４）。通信を継続する場合（ＮＯ）、処理をステップＳ２４に戻す。また、通信を終了させる場合（ＹＥＳ）、ユーザのキャラクタのモデルデータ使用の終了時刻を記憶する（ステップＳ３６）。サーバ装置３２では、使用開始時刻と終了時刻から利用時間を求め、課金される利用料金を算出する。データベース部６６は、ユーザを特定し、利用時間および利用料金を特定したユーザのデータとして更新する（ステップＳ３８）。この更新したデータに基づいてデータベース部６６は、徴収請求情報８４を課金徴収部６８に送り、課金徴収部６８での徴収結果を徴収情報８６として受けている。データベース部６６は、回線使用料を除いた徴収情報８６によりベンダ６２の業者およびシステム運用の業者にそれぞれ徴収した収益情報８８，９０を送る。この後、課金システム６０を適用した画像伝送システム３０を終了する。
【０１２９】
このように動作させることにより、キャラクタのモデルデータを登録させ、システムの利用時間に応じてユーザの登録したキャラクタのモデルデータごとに課金することから、人気度を反映させた料金の徴収を行うことができる。本実施例では、送信者側が課金の対象であったが、受信者側が所望のキャラクタのモデルデータを選ぶようにし、選んだキャラクタのモデルデータを利用するようにしてもよい。この場合、受信者をキャラクタのモデルデータのユーザと見做して課金してもよい。このように通信するユーザの一方に課金することにより、サービスの負担を軽減することができ、サービスの利用を促す効果も得られる。
【０１３０】
受信者が課金を支払う場合の具体的な手順を図２８に示す。ここで、前述した同じ手順処理（ステップ）に対しては同じ参照符号を付す。この場合、データベースの照会（ステップＳ１０）と所望のキャラクタの存在確認（ステップＳ１２）の間で受信側の確認処理をいくつか行う。まず、ステップＳ１０の後で、通信においてキャラクタ画像による通信を行ってもよいか否かの確認を行う（ステップＳ４０）。キャラクタ画像通信が拒否された場合（ＮＯ）、接続子Ａを介して図２９に移行して通信処理を終了する。また、キャラクタ画像通信が了承された場合（ＹＥＳ）、受信者がキャラクタ画像通信を行う課金システム６０にユーザとして登録されているかの確認処理に進む（ステップＳ４２へ）。
【０１３１】
受信者がユーザ登録されていない場合（ＮＯ）、ユーザ登録処理に進む（ステップＳ４４）。ユーザ登録処理は、ユーザ本人の登録を行う。登録はデータベース部６６と所有する端末装置７０＿３との情報をＩＰネットワーク１００を介してやりとりして行われ、データベース部６６に登録情報が保存される。登録情報は、所定の期間有効にするように設定してもよい。この有効期間は、たとえば定額料金制に応じて設定することが好ましい。システム６０では、登録料をシステム運用費等の経費としてデータベース部６６から徴収請求情報８４が課金徴収部６８に出力される。
【０１３２】
課金徴収部６８では、徴収請求情報８４に応じて口座から登録料分が引き落とされる。課金徴収部６８は、引き落としの完了の徴収情報８６をデータベース部６６に出力してキャラクタのモデルデータの選択処理に進む。
【０１３３】
ステップＳ４２にて受信者がユーザ登録されている場合（ＹＥＳ）、ステップＳ１２に進む。ステップＳ１２では、前述したようにキャラクタのモデルデータが所望のモデルデータか否かの判断を行う。ただし、この場合、データベース部６６は、メッセージを受信側の端末装置７０＿１に送る。端末装置７０＿１の表示部の画面１０８には、たとえば、図３０（ａ）， （ｂ）に示すようなメッセージが表示される。ユーザはこのメッセージに対する応答を端末装置７０＿１の操作によりデータベース部６６に行う。これ以降の処理は前述した手順と同じで、図２９に示す通りである。ここで、前述した手順と異なる点は、キャラクタのモデルデータの登録料や利用時間に基づくキャラクタのモデルデータの使用料を受信者から徴収する点である。なお、受信者への課金は、登録時のみまたは登録を無料にして利用ごとに課すようにしてもよい。
【０１３４】
このよう手順で動作させることにより、受信側でキャラクタのモデルデータを選ぶことができ、通信のエンタテイメント性を高めることができる。また、システム６０を適用した画像伝送システム３０において、使用するキャラクタのモデルデータが正規のものか否かを判断して、不正な使用を防止する手順を加えるようにしてもよい。
【０１３５】
具体的には、図３１に示すように、実際にキャラクタのモデルデータの使用を開始処理（ステップＳ２２）の前にいくつかの手順が配される。すなわち、キャラクタのモデルデータの選択（ステップＳ１４）や登録料の徴収（ステップＳ２０）の終了後に供給されるキャラクタのモデルデータに同定用のＩＤが付いているか否かを判断する（ステップＳ４８）。ＩＤが付いていないと判断された場合（ＮＯ）、キャラクタのモデルデータのＩＤを示すデータを判断処理部である図５や図６のＩＤ認識部２６や図１３の送信認証部４４に転送する（ステップＳ５０）。ＩＤは、この場合送信側としての端末装置７０＿３が特定でき、かつキャラクタの登録が確認できるデータである。ＩＤの提供元は、この確認済みに対応するデータとしてキャラクタ画像通信に固有なデータを転送するとよい。
【０１３６】
ステップＳ４８でキャラクタのモデルデータにＩＤがすでに付されている場合（ＹＥＳ）やＩＤを示すデータ転送を受けて供給されたＩＤが正しいか否かの判断を行う（ステップＳ５２）。上述に例示した判断処理部には、あらかじめ画像通信に固有なＩＤが記憶されている。キャラクタのモデルデータに対して供給されたＩＤが、この固有なＩＤと比較され、比較結果が一致するとき（ＹＥＳ）、キャラクタのモデルデータを扱う正規の登録ユーザと判断してステップＳ２２以降の処理を継続する。また、比較結果が不一致のとき（ＮＯ）、接続子Ａを介して図２９の終了に移行し、処理を終了する。
【０１３７】
また、キャラクタおよびシステムの使用料として課金システム６０が定額料金制を採用している場合、ＩＤ認証時にこの定額料金の支払い者かの確認も行うとよい。定額料金を支払っているユーザは、自由に安心して利用でき、利用における予算化も立て易くなる。一方、サーバ装置３２の運用業者やベンダ６２の業者は、この制度により収益を安定化させることができ、データベース部６６の料金の関係項目を簡素化することができ、システム６０の運用を容易にすることができる。なお、サーバ装置３２を用いない場合、キャラクタ管理部１２がキャラクタの管理および各ユーザのデータ管理を行って、キャラクタのモデルデータの新規登録時に登録料や利用時間に応じた課金を行うことで、サーバ装置３２での管理および料金徴収等の処理を同様に行うことができる。
【０１３８】
次に課金システム６０には、スポンサを導入してもよい。スポンサとしては、たとえば広告主等がある。広告の掲載において課金システム６０には、図２４に示したように、広告データベース９６および広告端末装置９８が加えられている。これらを加えた場合、画像通信を行う前に、送信側のユーザは、端末装置７０＿３を用いて画像通信時に広告を掲載するか否かの判断を行う（ステップＳ５４：図３２を参照）。広告の掲載を了承する場合（ＹＥＳ）、データベース部６６に了承の応答信号をサーバ装置３２に送る。また、広告の掲載を拒否する場合（ＮＯ）、データベースの照会（ステップＳ１０）まで手順をスキップする。
【０１３９】
広告掲載の了承を受けて、サーバ装置３２は、広告データベース部９６に広告データを送出する許可信号１０４を送り、広告データを選択的に読み出す（ステップＳ５６）。許可信号１０４には、広告データベース部９６にアクセスして読み出すアドレスデータが含まれている。アドレスデータには、図２６の広告主ＩＤや広告データファイルがサーバ装置３２から指定される。指定の仕方は、ランダムに指定するようにしてもよいし、順序に応じて指定するようにしてもよい。これらにより指定された広告データ１０４が、サーバ装置３２に供給される。逆に、広告掲載の了承を広告データベース部９６が受けて、広告データベース部９６が指定しデータベース部６６に出力するようにしてもよい。また、サーバ装置３２は、たとえば、広告掲載がユーザにより了承されている際に広告了承フラグを立てておく。
【０１４０】
次にこれまでと同様にデータベースの照会を行う（ステップＳ１０）。そして、所望のキャラクタ画像が含まれているか否か判断する。判断には、たとえばキャラクタＩＤを用いる。ステップＳ１４〜Ｓ２０で所望のキャラクタのモデルデータの選択と、新規登録および登録料の徴収が行われる。
【０１４１】
次に広告掲載料金の徴収が行われる（ステップＳ５８）。ただし、広告了承フラグが立っている場合に限定する。広告拒否の場合、このフラグがないので何も処理することなく次のステップに移行する。本実施例ではサーバ装置３２は、掲載時間に関係なく広告掲載料金を１回の通話に対して課金するようにして徴収する。データベース部６６および広告データベース部９６では、図２６のように広告主ＩＤおよび掲載する広告データファイルに対して掲載開始・掲載終了・掲載料金等が管理される。データベース部６６を用いた処理については後段で説明する。広告データベース部９６は、管理している掲載料金を集計して、各広告主の広告端末装置９８に集計したデータを供給する。広告端末装置９８は、図示しない会社のホストコンピュータに集計データを送る。広告主は、ホストコンピュータや広告端末装置９８を介して広告掲載料金の支払い情報１０６を課金徴収部６８に出力する。
【０１４２】
なお、広告掲載料金は、広告データファイルのサイズに応じて徴収してもよいし、広告データベース部９６への登録時に徴収するようにしてもよい。また、この広告掲載料金を時間に応じて徴収し、かつ時間に応じて表示する広告を変更するようにしてもよい。この場合、広告データの選択および広告掲載料金の徴収処理を通信終了の判断前に行うようにするとよい。広告掲載の方法は、背景に埋め込むだけでなく、キャラクタのモデルデータに埋め込んだり、音声に埋め込むようにしてもよい。
【０１４３】
キャラクタのモデルデータの使用開始をデータベース部６６に記す（ステップＳ２２）。接続子Ｄを介して送信側で顔画像の入力処理を行う（図３３のステップＳ２４）。サーバ装置３２は入力した顔画像に対する表情の特徴点を抽出する（ステップＳ２６）。特徴点は座標データとして得られる。供給されるキャラクタのモデルデータの特徴点を座標データに対応させて表情を有するキャラクタのモデルデータを生成し、このキャラクタのモデルデータを読み出す際にフラグがあれば、キャラクタのモデルデータの表示領域と異なる領域に広告データ１０４を合成する（ステップＳ６０）。合成したデータをレンダリングする（ステップＳ３０）。レンダリング処理を行って、出力する合成画像が表示部の画面１０８に動画として表示させる。合成画像の一例を図３４に示す。通信を終了させるか否かの判断を行う。通信を継続する場合（ＮＯ）、画像入力から処理を繰り返す。ここで、端末装置７０＿３， ７０＿１が終了ボタンが押された際に終了と判断して電源を断せずに、以下に説明する処理を行う。キャラクタのモデルデータの使用終了の時刻を記し（ステップＳ３６）、時刻を管理するデータベース部６６に使用終了時刻を格納する。サーバ装置３２を用いていない場合、キャラクタ提供部１２に通信開始・通信終了時刻が報告される。
【０１４４】
次に通信を利用したユーザに対する課金を精算する（ステップＳ６２）。通信開始時刻から通信終了時刻までがユーザに対するキャラクタのモデルデータの使用期間で、キャラクタのモデルデータの利用料金が課される。ところで、本実施例では広告掲載料金分の割合を設定してユーザのキャラクタのモデルデータ利用料金に還元し、課金負担を軽減させるとする。データベース部６６は、広告掲載を了承したユーザに対してこの分を差し引く精算処理を行う。
【０１４５】
精算処理により得られたデータを基にデータベース部６６のデータを更新する（ステップＳ３８）。データベース部６６では更新したデータに応じた課金請求情報８４が課金徴収部６８に送られる。課金徴収部６８では、課金請求情報に対応するユーザの口座から料金が引き落とされ、徴収情報８６がデータベース部６６に出力される。データベース部６６は、徴収情報８６から各業者に配分した収益情報を供給する。一つの通話に対して以上の手順を行った後、課金システム６０の処理を終了する。
【０１４６】
本実施例では、広告掲載を了承したユーザに対して料金負担の軽減措置を行うようにしたが、広告掲載による増収分をユーザ全体的に還元するように料金を値下げさせてもよい。
【０１４７】
このような手順で動作させることにより、ユーザの料金負担を軽減させることができる。
〈画像蓄積伝送システム〉
本発明の画像蓄積伝送システムを適用したメッセージ提供システム１４０について説明する。メッセージ提供システム１４０は、図３５に示すように、ＩＰネットワーク１００に接続する送信端末装置１４２、ストレージ装置１４４、受信端末装置１４６， １５０および画像処理装置１４８を含んでいる。システム１４０で用いる構成要素のうち、すでに述べた要素については説明を省略し、接続関係を説明する。
【０１４８】
送信端末装置１４２は、音声と画像とを同期させて取り込んでいる。送信端末装置１４２には、画像入力部１４２ａおよび表情特徴出部１４２ｂが含まれている。送信端末装置１４２は、画像入力部で顔画像１０ｃを取り込んで画像データ１５２にして表情特徴抽出部１４２ｂに送る。表情特徴抽出部１４２は、供給される画像データから顔の特徴点の座標データ１５４を抽出し、ＩＰネットワーク１００を介してストレージ装置１４４に供給する。ストレージ装置１４４には、音声および特徴点の座標データ１５４が保存される。
【０１４９】
ストレージ装置１４４は、たとえばレイドタイプで磁気や光／光磁気記録媒体を用いた記録装置である。ストレージ装置１４４は、ＩＰネットワーク１００に接続されている。ストレージ装置１４４には、ＩＰネットワーク１００、信号線１５６を介して送信端末装置１４２から音声および特徴点の座標データ１５４の情報が供給され、特に、音声を顔の表情の変化である特徴点の座標データと時系列に同期が保たれるように格納される。また、ストレージ装置１４４には、受信端末装置１４６， １５０からそれぞれ格納している情報の読出し要求信号がＩＰネットワーク１００、信号線１５６を介して供給される。この場合、ストレージ装置１４４は格納している情報を読み出して要求信号を出力した受信端末装置に向けて信号線１５６、ＩＰネットワーク１００を介して送出する。このとき、送出する音声は、特徴点の座標データと時系列の関係を崩さないように受信端末装置１４６， １５０に供給される。
【０１５０】
受信端末装置１４６， １５０は、異なる仕様である。受信端末装置１４４には、キャラクタ格納部１４６ａ、データ変換部１４６ｂおよびレンダリング部１４６ｃが含まれている。受信端末装置１４６は、信号線１５８を介してＩＰネットワーク１００に接続している。キャラクタ格納部１４６ａは、受信端末装置１４６のユーザがあらかじめ図示しないキャラクタ管理部からダウンロードし、格納しておいた所望のキャラクタのモデルデータの候補である。ユーザは、候補のキャラクタのモデルデータの中から所望のキャラクタのモデルデータを選択する。キャラクタ格納部１４６ａは、選択したキャラクタのモデルデータ１６０をデータ変換部１４６ｂに供給する。
【０１５１】
データ変換部１４６ｂは、信号線１５６、ＩＰネットワーク１００、信号線１５８を介して供給される音声および特徴点の座標データ１５４のうち、座標データ１５４を基にキャラクタのモデルデータ１６０の特徴点を変更するデータ変換処理を行っている。データ変換部１４６ｂは、処理の施されたキャラクタのモデルデータ１６２をレンダリング部１４６ｃに供給する。レンダリング部１４６ｃは、供給されるキャラクタのモデルデータ１６２を２次元／３次元にレンダリング処理した画像データ１６４を図示しない表示部に力する。画像データ１６４が、同時に出力される音声に同期していることは言うまでもない。
【０１５２】
また、もう一つの受信端末装置150は、復号処理部150aを含み、受信端末装置146のキャラクタ格納部146a、データ変換部146bおよびレンダリング部146cを含んでいないこれまで用いられてきた構成とほとんど同じである。これは、受信端末装置150の前段に画像処理装置148が配設されていることに由来している。復号処理部150aは、MPEG4のデコード機能を有するソフトウェアを内蔵し、このソフトウェアを実行することにより画像データを伸長し復号処理を行う。復号処理部150aは言うまでもなくハードウェアで構成してもよい。ストレージ装置144に情報の読出し要求信号を出力すると、受信端末装置150は、画像処理装置148を介してストレージ装置144に供給する。これに応動してストレージ装置144は、画像処理装置148を経て受信端末装置150に格納している情報を読み出して出力する。受信端末装置150には、後述するように画像処理装置148にて符号化された画像データ168が供給されることから、受信端末装置150は、画像データ168に復号処理を施し、音声および音声に同期した画像データ166を図示しない表示部に出力する。
【０１５３】
画像処理装置１４８は、信号線１７０を介してＩＰネットワーク１００と接続している。画像処理装置１４８は、受信端末装置１４６と同じ役割を果たすキャラクタ格納部１４８ａ、データ変換部１４８ｂ、レンダリング部１４８ｃを含み、さらに受信端末装置１４６になかった符号化部１４８ｄを有している。符号化部１４８ｄは、所望のキャラクタのモデルデータにされた画像データ１７２にＭＰＥＧ４のエンコードを施し、音声および音声に同期した画像データ１６８を受信端末装置１５０に出力する。
【０１５４】
メッセージ提供システム１４０は、図３６に示すように構成してもよい。システム１４０の変形例として送信端末装置１４２には、図３５の構成要素に加えて画像処理装置１４８の構成要素が含まれている。追加される構成要素は、キャラクタ格納部１４２ｃ、データ変換部１４２ｄ、レンダリング部１４２ｅおよび符号化部１４２ｆである。この追加構成により、送信端末装置１４２は、音声および送信者が所望するキャラクタのモデルデータにてレンダリングした画像データ（動画）を符号化してストレージ装置１４４に供給する。受信端末装置１５０は、情報要求時にストレージ装置１４４から読み出された符号化された音声および画像データの情報を信号線１５６、ＩＰネットワーク１００および信号線１７０を介して受信する。受信端末装置１５０は、受信した情報に復号処理を施し、音声同期した画像データ１６６を出力する。
【０１５５】
このように構成することにより、音声だけでメッセージを伝える通信に比べて供給される顔の表情からメッセージに含むニュアンス、たとえばメッセージの内容に関する明るさ、深刻さ、あいまいな情報の雰囲気等を受信者に伝えることができ、コミュニケーション力を向上させることができる。送信者からの情報を蓄積しておくことにより、送信者と受信者の関係が一対多の場合、受信者は所望する機会にメッセージ内容を取り出して確認できることから、アクセスする時間の自由度を高めることができる。また、表示される画像は送信者と一致しない画像に変更して供給することができるので、たとえば人気の高いキャラクタを利用してメッセージを伝えることで、受信者の注意や興味を喚起する効果がある。
【０１５６】
なお、前述した実施例では、画像処理等の各種処理をハードウェアで実現させる構成を説明してきたが、これらの処理は、ハードウェアに限定されるものでなく、ソフトウェアによって実現できることは言うまでもない。すなわち、ソフトウェアとして作成したプログラムを装置に格納し、供給される顔画像から表情における特徴点を抽出し、モデルデータと組み合わせて、表情の考慮されたモデルデータにし、このモデルデータにレンダリング処理を施すことにより、所望のキャラクタ画像を情報端末装置に表示させ、音声データも同時に同期再生させて、プライバシを保護しながら、良好なコミュニケーションを図ることができる。
【０１５７】
以上のように構成することにより、画像コミュニケーション機能付き情報端末装置において、音声だけで通信していた場合よりも通信におけるコミュニケーション力を向上させるとともに、送信者のプライバシの保護も行うことができる。この場合、送信者は自分の様子や送信場所を気にしないで通信することができ、利用機会の増加に寄与させることもできる。画像の差分処理、圧縮符号化−復号処理の採用や受信側の情報端末装置でのキャラクタのモデルデータの格納により、回線を伝送する情報量を抑えて回線資源を節約し有効に利用することができる。また、キャラクタのモデルデータにＩＤ認識を含めて供給して認証処理することにより、不正なキャラクタのモデルデータの使用を防止することができる。
【０１５８】
キャラクタのモデルデータの選択を受信端末装置で行う場合、受信側のユーザにエンタテイメント性を持たせることができ、画像通信における送受信の電話機間の通信を表情の特徴点のデータで済ますことから、回線資源を節約することができる。
【０１５９】
画像伝送システムにおいてもサーバ装置に画像処理機能を集約させ、情報端末装置の構成変更を最小限に抑えて画像入力および表示を可能にすることにより、上述と同様の効果を奏することができ、コミュニケーション力やプライバシ保護に寄与する通信を行うことができ、小型で、かつ安価な情報端末装置を提供することができる。また、システムのバージョンアップやメンテナンスもサーバ装置で行うことにより、管理が容易にでき、ユーザに迷惑をかけることなく、サービスの向上を図ることができる。リアルな通信において送信者と受信者の関係が一対多や多対一にも対応することができ、前者の場合、一度の伝送で情報を送ることから効率のよい伝送と数多くのユーザが一つの情報を共有することができ、後者の複数の表示をサムネイル表示で画面にテレビ会議的に同時表示させることもできる。
【０１６０】
また、画像配信における課金システムおよび画像配信サービスの提供方法では、ユーザの新規登録、ユーザが所望するキャラクタのモデルデータの新規登録、新規キャラクタのモデルデータの作成料、実際に使用したキャラクタのモデルデータの使用料をユーザごとに管理し、請求、徴収を行うことにより、従来に比べて非常に安く、かつ利用し易いサービス形態による画像配信が提供でき、ユーザの料金負担を軽減できることから、利用するユーザの増加に大きく寄与することができる。さらに、人気の高いキャラクタのモデルデータを作成したベンダは利用を収益に反映して得ることができる。利用料金の定額制を採用することにより、利用における計画性（予算等）を立て易くでき、ユーザの増加およびシステムにおける収益の安定化が期待できる。この課金システムは監視の面においても容易にユーザの管理ができる。
【０１６１】
課金システムに、たとえば、広告主のようなスポンサを導入することにより、収益の増収が図られ、利用料金の値下げや広告掲載を了承したユーザに対するサービスも提供することができる。
【０１６２】
画像蓄積伝送システムによれば、画像伝送システムと同様に音声だけでメッセージを伝える通信に比べて供給される顔の表情からメッセージに含むニュアンス、たとえばメッセージの内容に関する明るさ、深刻さ、あいまいな情報の雰囲気等を受信者に伝えることができ、コミュニケーション力を向上させることができる。
【０１６３】
本システムの特徴である送信者からの情報を蓄積しておくことにより、送信者と受信者の関係が一対多の場合、受信者は所望する機会にメッセージ内容を取り出して確認でき、アクセスする時間の自由度を高めることができる。また、表示される画像は送信者と一致しない画像に変更して供給することができるので、たとえば人気の高いキャラクタを利用してメッセージを伝えることで、受信者の注意や興味を喚起する効果がある。
【０１６４】
【発明の効果】
このように本発明の画像コミュニケーション機能付き情報端末装置によれば、送信側の情報端末装置機の画像入力手段で顔画像を入力し、表情抽出手段この画像に応じて顔の特徴点のデータを抽出し、モデル格納手段からモデルデータを読み出して顔の特徴点のデータおよびモデルデータを受信側の情報端末装置に送り、受信側の情報端末装置にて受信し、モデルデータ作成手段で供給される抽出した特徴点のデータに基づいてモデルデータの対応する特徴点のデータを変更し、表情に合ったモデルデータを生成し、レンダリング手段でこの生成したモデルデータにレンダリングを施して、受信側の情報端末装置に送信側から供給される送信者の表情を反映させたモデル画像にして、このモデル画像を動画表示させることにより、音声だけで通信していた場合よりも通信におけるコミュニケーション力を向上させるとともに、送信者のプライバシの保護も行うことができる。
【０１６５】
また、本発明の画像コミュニケーション機能付き情報端末装置によれば、送信側の情報端末装置の画像入力手段で顔画像を入力し、表情抽出手段でこの画像に応じて顔の特徴点のデータを抽出し、顔の特徴点のデータを受信側の情報端末装置に送り、受信側の情報端末装置にて所望のモデルデータを選び、このモデルデータに送信側から供給される送信者の表情を反映させて、このモデル画像として動画表示させることにより、受信側のユーザにエンタテイメント性を持たせることができ、画像通信における送受信の情報端末装置間の通信を表情の特徴点のデータで済ますことから、回線資源を節約することができる。
【０１６６】
本発明の画像伝送システムは、情報処理装置を送信情報端末装置と受信情報端末装置との間に配し、表情抽出手段、モデル管理手段、モデルデータ作成手段およびレンダリング手段のいくつかを情報処理装置に配することにより、送信および受信情報端末装置の構成変更を抑制し、サーバ装置に画像処理機能を集約させ、情報端末装置の構成変更を最小限に抑えて画像入力および表示を可能にすることにより、上述した画像通信機能付き電話機と同様の効果を奏することができ、コミュニケーション力やプライバシ保護に寄与する通信を行うことができ、小型で、かつ安価な情報端末装置を提供することができる。
【０１６７】
本発明の画像配信における課金システムによれば、情報端末装置の送信側にてユーザの供給する顔の画像から表情の特徴点を抽出し、モデルデータ提供ブロックからユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じた変更を所望するモデルデータに施し、このモデルデータにレンダリング処理を施して得られたモデル画像を受信側に送出し、生成したモデル画像を受信側の情報端末装置にて受信し、この画像を表示させ、モデルデータ作成機能ブロックで作成させたモデルデータの作成料金、情報端末装置を所有する送信側または受信側のユーザが所望するモデルデータの登録およびその画像使用に応じて課金された料金の請求を情報蓄積機能ブロックで行い、口座管理機能ブロックを介して料金を徴収して、所望の画像を使用に要する料金を従来に比べて非常に安く、かつ利用し易いサービス形態による画像配信が提供できることにより、従来に比べてユーザの料金負担を軽減でき、利用するユーザの増加に大きく寄与することができる。
【０１６８】
また、本発明の画像配信における課金システムによれば、情報端末装置の送信側にてユーザの顔の画像を取り込み、サーバ装置にてこの顔画像から表情の特徴点を抽出し、ユーザの所望するモデルデータを選んで抽出した表情の特徴点に応じた変更を所望するモデルデータに施し、このモデルデータにレンダリング処理を施して生成されたモデル画像を受信側に送出し、生成したモデル画像を受信側の情報端末装置にて受信し、この画像を表示させ、サーバ装置の情報蓄積機能ブロックにてモデルデータ作成機能ブロックで作成させたモデルデータの作成料金、情報端末装置を所有する送信側または受信側のユーザが所望するモデルデータの登録およびそのモデルデータ使用に応じて課金された料金の請求を情報蓄積機能ブロックで行い、口座管理機能ブロックを介して料金を徴収することにより、所望の画像を使用に要する料金負担を従来よりも大幅に軽減し、モデルデータの提供における一元的な料金の管理を行うことができる。
【０１６９】
本発明の画像配信サービスの提供方法によれば、所望なモデルデータの候補における各モデルデータの固有な情報を蓄積するデータベースにアクセスし、このデータベースの各ユーザが登録しているモデルデータを所望なモデルデータの候補とし、この候補中に所望するモデルデータの有無に応じて、所望なモデルデータの情報を含む場合、候補の中から、所望のモデルデータを選択し、所望なモデルデータの情報を含んでいない場合、データベースの中から新たなモデルデータを選択し、この選択した所望のモデルデータの情報をデータベースのユーザに対する追加情報として新規登録し、モデルデータ作成業者にこの新規登録料金を支払い、情報端末装置の送信側からモデルデータを取り込み、情報端末装置から供給された画像に含まれる顔における表情の特徴点のデータを抽出し、選択した所望のモデルデータを通信の相手先に表示するモデルデータに用い、このモデルデータを前記抽出した特徴点のデータに応じて変化させた表情が考慮されたモデルデータを生成し、このモデルデータにレンダリングを施してモデル画像を生成し、所望なモデルデータの使用時間を通信の終了まで計測し、レンダリングした画像を情報端末装置の受信側で表示し、通信終了後に使用時間をデータベースにおけるデータ項目の一つとし、この使用時間を前記データベースにて更新させ、所望なモデルデータの使用者から使用時間に応じた課金を徴収して、利用頻度に応じた料金徴収を行うことにより、人気を収益に反映させ、ユーザにとって利用しやすいサービスの形態を提供し、ユーザの増加に貢献することができる。
【０１７０】
最後に、本発明の画像蓄積伝送システムによれば、送信側の情報端末装置から供給される音声および入力された画像に関する情報を情報蓄積装置に格納し、受信側の情報端末装置からの読出し時に格納されている情報を読み出して情報の処理段階に応じた処理としてモデル管理手段から所望なモデルデータを選択して提供し、モデルデータ作成手段でモデルデータを表情に合ったモデルデータにしてレンダリング手段を介して作成したモデル画像を動画として対応させ、出力し、受信側のユーザが所望の機会に表情を持ったモデル画像を読み出して表示させることにより、画像伝送システムと同様に音声だけでメッセージを伝える通信に比べてコミュニケーション力を向上させることができ、アクセスする時間の自由度を高めることができる。
【図面の簡単な説明】
【図１】本発明の画像コミュニケーション機能付き情報端末装置を適用した情報端末装置の送信側および受信側の実施例における構成を示すブロック図である。
【図２】図１の表情特徴抽出部における顔表情特徴抽出を行う各位置関係を示す図である。
【図３】図１のキャラクタ格納部が保有する２次元のキャラクタのモデルデータを示す図である。
【図４】図１のキャラクタ格納部が保有する３次元のキャラクタにおけるモデルデータ（顔モデル）を示す図である。
【図５】図１の情報端末装置の他の実施例における構成を示すブロック図である。
【図６】図１の情報端末装置の他の実施例における構成を示すブロック図である。
【図７】本発明の画像コミュニケーション機能付き情報端末装置を適用した情報端末装置の送信側および受信側の実施例における構成を示すブロック図である。
【図８】情報端末装置の送信側にて受信側に表示させたキャラクタ画像と受信側から供給されるキャラクタ画像を複数表示させる概略的な構成を示すブロック図である。
【図９】本発明の画像伝送システムを適用したシステムにおける送受信の情報端末装置のそれぞれおよびサーバ装置の概略的な構成を示すブロック図である。
【図１０】図９の画像伝送システムにおける変形例の構成を示すブロック図である。
【図１１】図９の画像伝送システムにおける変形例の構成を示すブロック図である。
【図１２】図１１の表情特徴差分抽出部の動作原理を説明する図である。
【図１３】図９のサーバ装置における他の構成を示すブロック図である。
【図１４】図１３の送信認証部に供給される認証テンプレートを格納するデーベースの内容を表す図である。
【図１５】図９の画像伝送システムにおける変形例の構成を示すブロック図である。
【図１６】図９の画像伝送システムにおいてリアルタイムに多対一の接続を行う場合の構成を示すブロック図である。
【図１７】図１６の構成にて受信端末装置の表示部に表示される出力画面の例を示す図である。
【図１８】図９の画像伝送システムにおいてリアルタイムに一対多の接続を行う場合の構成を示すブロック図である。
【図１９】送信端末装置に配設される背景合成を行う構成を示すブロック図である。
【図２０】図１９の送信端末装置における背景合成処理の他の構成を示すブロック図である。
【図２１】図１９の送信端末装置における背景合成処理の他の構成を示すブロック図である。
【図２２】本発明の画像配信における課金システムの構成を示すブロック図である。
【図２３】図２２のデータベース部に格納されるデータベースの内容を表す図である。
【図２４】図２２のシステムに広告掲載を導入した場合の他の構成を示すブロック図である。
【図２５】図２２のデータベース部において受信者に課金した場合のデータベースの内容を表す図である。
【図２６】図２４の広告データベース部における広告データベースの内容を表す図である。
【図２７】本発明の画像配信サービスの提供方法における基本的な動作手順を説明するフローチャートである。
【図２８】図２７に動作手順に受信側の登録手順を加えたフローチャートである。
【図２９】図２８に続く動作手順を示すフローチャートである。
【図３０】図２８の所望な画像の選択を行う際に画面に表示されるメッセージの例を表す図である。
【図３１】図２７の動作手順にＩＤ認証処理を含めたサービス提供のフローチャートである。
【図３２】図２７の動作手順に広告掲載処理を含めたサービス提供のフローチャートである。
【図３３】図３２に続く動作手順を示すフローチャートである。
【図３４】図３３の表示にて表される合成画像の一例を示す図である。
【図３５】本発明の画像蓄積伝送システムを適用したメッセージ提供システムの構成を示す図である。
【図３６】図３５のメッセージ提供システムにおける他の実施例の構成を示すブロック図である。
【符号の説明】
１０ａ 送信端末装置
１０ｂ 受信端末装置
１２ キャラクタ管理センタ
１４，３４ 画像入力部
１６， ３２２ 表情特徴抽出部
１８ キャラクタ格納部
２０， ３６， ３２８ 符号化部
２２ データ作成部
２４ レンダリング部
２６ ＩＤ確認部
３２ サーバ装置
３８， ３２０ 復号処理部
４０ 表示部
６２ ベンダ
６４ キャラクタ提供部
６６ データベース部
６８ 課金徴収部
９６ 広告データベース
３２４ データ変換レンダリング部
３２６ キャラクタ管理部
Claims (57)
- 公衆回線網、 IP （ Internet Protocol ）ネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う画像コミュニケーション機能付き情報端末装置において、該装置は、
前記コミュニケーションにおける送信側の情報端末装置に、前記画像を入力する画像入力手段と、
前記入力した画像のうち、顔を表す画像の入力に応じて顔の表情に関してあらかじめ設定されている特徴点のデータを抽出する表情抽出手段と、
前記顔画像に対応して用いるモデルデータを格納するモデル格納手段とを含み、
前記コミュニケーションにおける受信側の情報端末装置に、前記送信側の情報端末装置から供給される信号を受信し、該受信した特徴点のデータに基づいて前記モデルデータの対応する特徴点のデータを変更し、前記表情に合ったモデルデータを生成するモデルデータ作成手段と、
該生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含み、
前記モデル格納手段は、複数のモデルデータを保持し、前記発信者の指示に応動してモデルデータの一つを送信するモデル提供手段から提供されるモデルデータを格納し、
さらに、前記モデル提供手段は、前記モデル格納手段からの要求に応じて該要求のあった情報端末装置に固有な情報を埋め込んだモデルデータを送出することを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項１に記載の装置において、前記送信側の情報端末装置は、前記抽出した特徴点のデータおよび前記モデルデータを符号化して送出する符号化手段を含み、
前記受信側の情報端末装置は、前記送信側の情報端末装置から供給される信号を受信し、前記符号化された特徴点のデータおよび前記モデルデータを復号する復号手段を含むことを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項１または２に記載の装置において、該装置は、
前記モデル提供手段から供給されるモデルデータに含まれる情報と該モデルデータが供給される情報端末装置に固有な情報とを比較して同定判定を行う同定判定手段を含むことを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項１ないし３のいずれか一項に記載の装置において、前記受信側の情報端末装置は、前記送信側から供給されるモデルデータを記憶するモデルデータ記憶手段を含み、
前記同定判定手段は、前記モデルデータ記憶手段から供給されるモデルデータに含まれる情報と該モデルデータが供給される情報端末装置に固有な情報とを比較した結果に基づいて前記モデルデータ作成手段に前記モデルデータを出力することを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項１ないし４のいずれか一項に記載の装置において、該装置は、さらに、
入力した画像の中から背景画像を登録し、格納する背景記憶手段と、
前記画像に含まれる人物像を抽出する人物抽出手段と、
前記背景記憶手段から選ばれた背景画像と前記人物像または前記モデル画像とを合成する背景合成手段とを含むことを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項１ないし５のいずれか一項に記載の装置において、該装置は、前記画像に用いる背景を使用する前に、実写画像、アニメーション画像、またはコンピュータグラフィック画像を加工して任意の背景画像を作成する背景作成手段を含むことを特徴とする画像コミュニケーション機能付き情報端末装置。
- 請求項１ないし６のいずれか一項に記載の装置において、該装置は、前記画像入力手段から供給される画像データを基に前記人物像が表す表情を認識する表情認識手段を含み、
前記背景作成手段は、前記表情認識手段での認識結果に応じた背景画像を作成することを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項６または７に記載の装置において、前記背景合成手段は、前記背景記憶手段からの前記背景画像または前記背景作成手段からの前記背景画像を用いることを特徴とする画像コミュニケーション機能付き情報端末装置。
- 請求項５に記載の装置において、該装置は、前記背景記憶手段、前記人物抽出手段および背景合成手段を送信側に含むことを特徴とする画像コミュニケーション機能付き情報端末装置。
- 請求項５ないし８のいずれか一項に記載の装置において、前記背景合成手段が、前記情報端末装置の受信側に配設されていることを特徴とする画像コミュニケーション機能付き情報端末装置。
- 請求項１ないし10のいずれか一項に記載の装置において、前記情報端末装置は、送信側にて、前記顔の表情における特徴を示すデータと前記顔画像に対応して用いるモデルデータとを符号化して前記情報端末装置の受信側に送出し、かつ該符号化したデータを復号し、該送信側の前記データに対応したモデルデータを生成する第１のモデルデータ作成手段と、
第１のモデルデータ作成手段から出力されるモデルデータにレンダリング処理を施して送信モデル画像を生成する送信レンダリング手段と、
前記受信側の情報端末装置から供給される符号化したデータを復号し、該受信側のデータに対応したモデルデータを作成する第２のモデルデータ作成手段と、
第２のモデルデータ作成手段から出力されるモデルデータにレンダリング処理を施して受信モデル画像を生成する受信レンダリング手段と、
前記送信および受信レンダリング手段からそれぞれ供給されるモデル画像の表示サイズを調整して表示させる表示調整手段を含み、
前記情報端末装置の受信側には、前記送信側に配した前記画像入力手段、前記表情特徴抽出手段、前記キャラクタ格納手段および前記符号化手段を含むことを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項１ないし11に記載の前記装置の送信側および受信側にてそれぞれ行われる機能をコンピュータに実現させるためのプログラム。
- 公衆回線網、 IP ネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う画像コミュニケーション機能付き情報端末装置において、該装置は、
前記コミュニケーションにおける送信側の情報端末装置に、前記画像を入力する画像入力手段と、
前記入力した画像のうち、顔を表す画像の入力に応じて顔の表情に関してあらかじめ設定されている特徴点のデータを抽出する表情抽出手段とを含み、
前記コミュニケーションにおける受信側の情報端末装置に、前記顔画像に対応して用いるモデルデータを格納するモデル格納手段と、
前記送信側の情報端末装置から供給される信号を受信し、該受信した特徴点のデータに基づいて前記モデル格納手段から供給されるモデルデータの対応する特徴点のデータを変更し、前記表情に合ったモデルデータを生成するモデルデータ作成手段と、
該生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含み、
前記モデル格納手段は、複数のモデルデータを保持し、前記発信者の指示に応動してモデルデータの一つを送信するモデル提供手段から提供されるモデルデータを格納し、
さらに、前記モデル提供手段は、前記モデル格納手段からの要求に応じて該要求のあった情報端末装置に固有な情報を埋め込んだモデルデータを送出することを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項13に記載の装置において、前記送信側の情報端末装置は、前記データを符号化して送出する符号化手段を含み、
前記受信側の情報端末装置は、前記符号化された特徴点のデータを復号する復号手段を含むことを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項13に記載の装置において、該装置は、
前記モデル提供手段から供給されるモデルデータに含まれる情報と該モデルデータが供給される情報端末装置に固有な情報とを比較して同定判定を行う同定判定手段を含むことを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項13 、 14 または 15に記載の装置において、該装置は、さらに、
入力した画像の中から背景画像を登録し、格納する背景記憶手段と、
前記画像に含まれる人物像を抽出する人物抽出手段と、
前記背景記憶手段から選ばれた背景画像と前記人物像または前記モデル画像とを合成する背景合成手段とを含むことを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項13 ないし 16のいずれか一項に記載の装置において、該装置は、前記画像に用いる背景を使用する前に、実写画像、アニメーション画像、またはコンピュータグラフィック画像を加工して任意の背景画像を作成する背景作成手段を含むことを特徴とする画像コミュニケーション機能付き情報端末装置。
- 請求項13 ないし 17のいずれか一項に記載の装置において、該装置は、前記画像入力手段から供給される画像データを基に前記人物像が表す表情を認識する表情認識手段を含み、
前記背景作成手段は、前記表情認識手段での認識結果に応じた背景画像を作成することを特徴とする画像コミュニケーション機能付き情報端末装置。 - 請求項17 または 18に記載の装置において、前記背景合成手段は、前記背景記憶手段からの前記背景画像または前記背景作成手段からの前記背景画像を用いることを特徴とする画像コミュニケーション機能付き情報端末装置。
- 請求項16に記載の装置において、該装置は、前記背景記憶手段、前記人物抽出手段および背景合成手段を送信側に含むことを特徴とする画像コミュニケーション機能付き情報端末装置。
- 請求項16 ないし 19のいずれか一項に記載の装置において、前記背景合成手段が、前記情報端末装置の受信側に配設されていることを特徴とする画像コミュニケーション機能付き情報端末装置。
- 請求項13 ないし 21に記載の前記装置の送信側および受信側にてそれぞれ行われる機能をコンピュータに実現させるためのプログラム。
- 公衆回線網、IPネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う情報端末装置を用いた画像伝送システムにおいて、該システムは、
前記コミュニケーションにおける送信側の前記情報端末装置と、
前記コミュニケーションにおける受信側の前記情報端末装置と、
前記送信および前記受信側の情報端末装置をクライアントとしてネットワーク接続され、供給される情報に処理を施し、該情報処理した情報を前記クライアントに供給する情報処理装置とを含み、
前記送信情報端末装置は、前記画像を入力する画像入力手段を含み、
前記受信情報端末装置は、前記情報処理装置から供給される画像を表示させる表示手段とを少なくとも含み、
さらに、該システムは、
前記画像入力手段から供給される画像のうち、顔を表す画像の入力に応じて顔の表情の特徴点を抽出する表情抽出手段と、
前記顔画像に対応するモデルデータを格納し、該格納するモデルデータのうち、使用の候補として登録されたモデルデータおよび該モデルデータの使用時間を管理するモデル管理手段と、
前記特徴点のデータに基づいて前記モデル管理手段から供給されるモデルデータの対応する特徴点のデータを変更し、前記表情に合ったモデルデータを生成するモデルデータ作成手段と、
該モデルデータ作成手段で生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含み、
前記情報処理装置は、前記表情抽出手段、前記モデル管理手段、前記モデルデータ作成手段、および前記レンダリング手段のいくつかを配設することを特徴とする画像伝送システム。 - 請求項23に記載のシステムにおいて、前記送信情報端末装置は、前記情報処理装置に送出する情報を圧縮符号化する第１の符号化手段を含み、
前記情報処理装置は、第１の符号化手段から供給される情報を復号する第１の復号手段と、
前記情報処理した情報を前記クライアントに符号化して出力する第２の符号化手段とを含み、
前記受信情報端末装置は、前記情報処理手段から供給される情報を受信して復号する第２の復号手段を含むことを特徴とする画像伝送システム。 - 請求項23 または 24に記載のシステムにおいて、前記送信情報端末装置は、さらに、前記画像入力手段の後段に前記表情抽出手段を配し、
前記情報処理装置は、前記モデル管理手段、前記モデルデータ作成手段および前記レンダリング手段を含み、該生成したモデル画像を符号化して前記受信端末装置に送出することを特徴とする画像伝送システム。 - 請求項23、24または25に記載のシステムにおいて、前記受信情報端末装置は、さらに、前記表示手段の前段に前記モデルデータ作成手段および前記レンダリング手段を配し、
前記情報処理装置は、前記モデル管理手段を含み、該モデル管理手段が格納するモデルデータのうちの所望のモデルデータを選択し、選択したモデルデータおよび前記表情抽出手段から抽出したデータを符号化して前記受信端末装置に送出することを特徴とする画像伝送システム。 - 請求項23 ないし 26のいずれか一項に記載のシステムにおいて、前記画像入力手段は、入力された第１の顔の画像と所定の時間を経て入力された第２の顔の画像との顔の表情を表す画像の差分を取り、該差分が検出された顔領域の差分画像を出力する画像差分機能を有し、
前記情報処理装置は、前記表情抽出手段に前記差分が検出された顔領域の差分画像を第１の顔の画像における対応する領域に加算し、該顔領域における特徴点を抽出する差分対応抽出機能を含み、前記モデルデータ作成手段で前記モデル管理手段からの前記モデルデータに前記抽出した顔領域における特徴点を考慮して顔の表情の変化を反映させたモデルデータを生成し、レンダリング手段で生成したモデルデータにレンダリング処理を施してモデル画像を生成することを特徴とする画像伝送システム。 - 請求項23 ないし 27のいずれか一項に記載のシステムにおいて、前記情報処理装置は、前記送信情報端末装置のユーザが使用するモデルデータに対してあらかじめ割り当てる認証データを作成し、該認証データを登録保存し、前記送信情報端末装置から供給される認証データが一致するか否かの判定に応じて前記モデル管理手段の出力を制御する認証手段を含むことを特徴とする画像伝送システム。
- 請求項23 ないし 28のいずれか一項に記載のシステムにおいて、前記情報処理装置は、前記顔の表情の変化に対応させて生成したモデル画像を符号化して前記受信情報端末装置に送出し、かつ該モデル画像を前記送信情報端末装置にも送出し、
前記送信情報端末装置は、前記情報処理装置から供給されるモデル画像を復号し、該モデル画像の表示サイズを調整して表示させる表示調整手段を含むことを特徴とする画像伝送システム。 - 請求項23 ないし 29のいずれか一項に記載のシステムにおいて、前記モデルデータ作成手段は、複数の送信情報端末装置から前記顔の表情を示す画像が入力され、供給されたモデルデータにそれぞれ対応させたモデルデータを同時に表示させるマルチ表示機能を含むことを特徴とする画像伝送システム。
- 請求項23 ないし 30のいずれか一項に記載のシステムにおいて、前記モデル管理手段は、前記送信情報端末装置の一つを介して複数のモデルデータを一つずつ所望の供給先の受信情報端末装置に対応させた設定に応じて出力させ、
前記モデルデータ作成手段は、前記送信情報端末装置のそれぞれからの前記顔の表情における特徴点のデータを各モデルデータに作用させ、
前記情報処理装置は、前記各モデルデータを蓄積し、前記所望の受信情報端末装置に対応させて送出する情報供給装置と接続されていることを特徴とする画像伝送システム。 - 請求項31に記載のシステムにおいて、前記情報処理装置は、前記情報処理装置に対して情報供給装置が並列的に複数接続されていることを特徴とする画像伝送システム。
- 請求項31 または 32に記載のシステムにおいて、前記情報処理装置は、前記送信情報端末装置から供給されるデータに基づいてあらかじめ設定しておいたモデルデータを変化させて得られるモデル画像の動画および前記送信情報端末装置からの音声を動画情報とし、該動画情報を蓄積するストレージ手段を含み、
該ストレージ手段は、前記受信情報端末装置からの要求に応動して蓄積する動画情報を送出することを特徴とする画像伝送システム。 - 請求項23ないし33のいずれか一項に記載のシステムにおいて、該システムは、さらに、
入力した画像の中から背景画像を登録し、格納する背景記憶手段と、
前記画像に含まれる人物像を抽出する人物抽出手段と、
前記背景記憶手段から選ばれた背景画像と前記人物像または前記モデル画像とを合成する背景合成手段とを含むことを特徴とする画像伝送システム。 - 請求項23 ないし 34のいずれか一項に記載のシステムにおいて、該システムは、前記画像に用いる背景を使用する前に、実写画像、アニメーション画像、またはコンピュータグラフィック画像を加工して任意の背景画像を作成する背景作成手段を含むことを特徴とする画像伝送システム。
- 請求項23 ないし 35のいずれか一項に記載のシステムにおいて、該システムは、前記画像入力手段から供給される画像データを基に前記人物像が表す表情を認識する表情認識手段を含み、
前記背景作成手段は、前記表情認識手段での認識結果に応じた背景画像を作成することを特徴とする画像伝送システム。 - 請求項35 または 36に記載のシステムにおいて、前記背景合成手段は、前記背景記憶手段からの前記背景画像または前記背景作成手段からの前記背景画像を用いることを特徴とする画像伝送システム。
- 請求項34に記載のシステムにおいて、前記送信情報端末装置は、前記背景記憶手段、前記人物抽出手段および背景合成手段を含むことを特徴とする画像伝送システム。
- 請求項34 ないし 37のいずれか一項に記載のシステムにおいて、前記背景合成手段が、前記情報処理装置または前記受信情報端末装置に配設されていることを特徴とする画像伝送システム。
- 請求項33 ないし 39のいずれか一項に記載のシステムにおいて、前記送信情報端末装置および前記受信情報端末装置が電話機であることを特徴とする画像伝送システム。
- 情報通信を行う情報端末装置を用い、公衆回線網、IPネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって前記情報端末装置に提供する画像に対して所望するモデルデータを選んで送る画像配信における課金システムにおいて、該システムは、
送信側にて前記情報端末装置のユーザの顔画像から表情の特徴点を抽出し、前記ユーザの所望するモデルデータを選んで前記抽出した表情の特徴点に応じて前記所望するモデルデータに変更を施して前記情報端末装置の受信側にて受信した画像を表示する情報端末装置を用い、
前記情報端末装置のユーザが所望するモデルデータでの作成の要求を示すモデルデータ作成指示信号を前記情報端末装置から受けて前記所望するモデルデータを作成し、該作成したモデルデータを前記情報端末装置に提供するモデルデータ作成機能ブロックと、
前記モデルデータ作成機能ブロックから提供されるモデルデータのそれぞれに情報を付して保存し、前記保存されているモデルデータの選択を行う読出し要求信号に応動して前記ユーザの所望するモデルデータを前記情報端末装置に提供するモデルデータ提供ブロックと、
前記回線を介して前記モデルデータ提供ブロックの前記モデルデータが新規または既知か否か各画像に付された情報を基に照会し、該モデルデータが新規の際に該モデルデータの情報として前記ユーザの名義で新規登録する機能ならびに前記読み出したモデルデータの使用に応じた課金に関する複数の情報の管理および該管理に基づき前記ユーザのそれぞれに対する前記課金を請求する機能を含む情報蓄積機能ブロックとを、
前記ユーザの開設した口座または前記ユーザから前記課金の請求に対応した料金を徴収して管理し、前記モデルデータ作成機能ブロックの管理業者、前記回線の管理業者、および前記情報蓄積機能ブロックの管理運営業者に徴収した料金をそれぞれの割合で送金する口座管理機能ブロックとを含むことを特徴とする画像配信における課金システム。 - 請求項41に記載のシステムにおいて、前記課金は、前記情報端末装置を保有する送信側または受信側のユーザが前記情報蓄積機能ブロックの管理された情報に応じて前記課金された料金を支払うことを特徴とする画像配信における課金システム。
- 情報通信を行う情報端末装置を用い、公衆回線網、IPネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって前記情報端末装置に提供する画像に対して所望するモデルデータを選んで送る画像配信における課金システムにおいて、該システムは、
前記情報端末装置のユーザが所望するモデルデータ作成の要求を示すモデルデータ作成指示信号を前記情報端末装置から受けて前記所望するモデルデータを作成し、該作成したモデルデータを前記情報端末装置に提供するモデルデータ作成機能ブロックと、
前記情報端末装置の送信側から供給される前記顔の画像から表情の特徴点を抽出し、該抽出した表情の特徴点に応じて前記モデルデータ格納手段から前記ユーザの所望するモデルデータを変化させて、生成したモデルデータを前記受信側の前記情報端末装置に送出するサーバ装置と、
前記ユーザの開設した口座または前記ユーザから前記所望するモデルデータの使用に対して課金請求した料金を徴収して管理し、前記モデルデータ作成機能ブロックの管理業者、前記回線の管理業者、および前記情報蓄積機能ブロックの管理運営業者に徴収した料金をそれぞれの割合で送金する口座管理機能ブロックとを含み、
前記サーバ装置は、前記モデルデータ作成機能ブロックから提供されるモデルデータのそれぞれに情報を付して保存し、前記保存されているモデルデータの選択を行う読出し要求信号に応動して前記ユーザの所望するモデルデータを前記情報端末装置に提供するモデルデータ提供ブロックと、
前記回線を介して前記モデルデータ提供ブロックの前記モデルデータが新規または既知か否か各モデルデータに付された情報を基に照会し、該モデルデータが新規の際に該モデルデータの情報として前記ユーザの名義で新規登録する機能ならびに前記読み出したモデルデータの使用に応じた課金に関する複数の情報の管理および該管理に基づき前記ユーザのそれぞれに対する前記課金を請求する機能を含む情報蓄積機能ブロックとを含むことを特徴とする画像配信における課金システム。 - 請求項43に記載のシステムにおいて、前記サーバ装置は、前記モデルデータ提供ブロックに含まれるモデルデータの中から、所望のモデルデータを読み出して使用する情報端末装置に対して定額料金を課金分として納付させ、該納付の有無に応じて該システムの利用を制御することを特徴とする画像配信における課金システム。
- 請求項43に記載のシステムにおいて、該システムは、さらに、
前記モデルデータに加えて、広告を表すデータを複数格納する広告データ蓄積機能ブロックと、
該広告データ蓄積機能ブロックに前記広告データを供給する広告供給機能ブロックとを含み、
該広告供給機能ブロックの管理者は、該広告データの掲載に対する掲載料を、前記サーバ装置の管理者および前記モデルデータ作成機能ブロックに画像を提供する作成者に対して支払うことを特徴とする画像配信における課金システム。 - 情報通信を行う情報端末装置を用い、公衆回線網、IPネットワークのような有線や無線の通信回線を介して行う音声および画像によるコミュニケーションにともなって前記情報端末装置に提供する画像を所望な画像にして送る画像配信サービスの提供方法において、該方法は、
前記所望なモデルデータの候補における各モデルデータの固有な情報を蓄積するデータベースにアクセスする第１の工程と、
該データベースの各ユーザが登録しているモデルデータを前記所望なモデルデータの候補とし、該候補中に所望するモデルデータの前記情報が含まれているか否かをチェックする第２の工程と、
前記所望なモデルデータの前記情報が含まれている場合、前記候補の中から、所望のモデルデータを選択する第３の工程と、
前記所望なモデルデータの前記情報が含まれていない場合、前記データベースの中から新たなモデルデータを選択し、該選択した所望のモデルデータの情報を前記データベースのユーザに対する追加情報として新規登録し、前記モデルデータ作成業者に該新規登録料金を支払う第４の工程と、
前記情報端末装置の送信側から画像を取り込む第５の工程と、
前記情報端末装置から供給された画像に含まれる顔における表情の特徴点のデータを抽出する第６の工程と、
前記選択した所望のモデルデータを前記コミュニケーションの相手先に表示するモデルデータに用い、該モデルデータを前記抽出した特徴点のデータに応じて変化させた表情が考慮されたモデルデータを生成し、該モデルデータにレンダリングを施してモデル画像を生成する第７の工程と、
前記所望なモデルデータの使用時間をコミュニケーションの終了まで計測する第８の工程と、
前記レンダリングした画像を前記情報端末装置の受信側で表示する第９の工程と、
前記コミュニケーションの終了後に前記使用時間を前記データベースにおけるデータ項目の一つとし、該使用時間を前記データベースにて更新させ、前記所望なモデルデータの使用者から前記使用時間に応じた課金を徴収する第10の工程とを含むことを特徴とする画像配信サービスの提供方法。 - 請求項46に記載の方法において、第４の工程は、前記データベースに所望するモデルデータがなかった際に、該所望するモデルデータの条件を基にモデルデータを作成する業者に提供して新たなモデルデータの作成を依頼し、該依頼に応じて作成されたモデルデータを前記データベースに新規登録し、前記モデルデータ作成業者に作成料金を支払うことを特徴とする画像配信サービスの提供方法。
- 請求項46 または 47に記載の方法において、第５の工程ないし第９の工程は、画像の符号化と復号処理とを含むことを特徴とする画像配信サービスの提供方法。
- 請求項46 、 47 または 48に記載の方法において、前記使用者は、前記所望のモデルデータを選択したユーザで、前記情報端末装置を所有する送信側／受信側のいずれかであることを特徴とする画像配信サービスの提供方法。
- 請求項46 または 48に記載の方法において、第７の工程が、前記レンダリングした画像を符号化して出力する場合、第９の工程は、供給される画像を復号して表示させ、
第10の工程は、前記課金を前記モデルデータ作成業者および第７の工程の処理を行う運営者に前記使用時間に応じて支払うことを特徴とする画像配信サービスの提供方法。 - 請求項46 ないし 50のいずれか一項に記載の方法において、第４の工程は、前記データベースに前記所望のモデルデータを選択した使用者が登録済みか否かを調べて、該使用者が未登録な場合、前記データベースに新規登録する工程とを含むことを特徴とする画像配信サービスの提供方法。
- 請求項46 ないし 51のいずれか一項に記載の方法において、該方法は、さらに、
前記情報端末装置で選択したモデルデータと前記コミュニケーションの相手先の情報端末装置に同じモデルデータを保有しているか否かを判断する工程と、
前記画像を比較して両装置のモデルデータが異なると判断した際に、前記モデルデータの同定に用いる同定情報を前記相手先の情報端末装置に送る工程と、
前記供給される同定情報と前記相手先の情報端末装置の同定情報とを比較し、比較結果が一致するときだけ以降の処理を進める工程とを含むことを特徴とする画像配信サービスの提供方法。 - 請求項46 ないし 52のいずれか一項に記載の方法において、該方法は、さらに、
前記所望のモデルデータとともに、広告表示させるか否かを判断する工程と、
該判断結果が前記広告表示の了承を示す際に、あらかじめ格納している広告情報をランダムに選択し、該選択された広告情報を読み出す工程と、
前記判断結果が前記広告表示の拒否を示す際に、前記広告情報の読出しを禁止する工程と、
前記読み出した広告情報を前記所望のモデルデータと合成し、該合成したデータにレンダリング処理を施してモデル画像を生成する工程と、
前記広告表示の拒否に応じて前記所望のモデルデータと前記抽出したデータから表情に合わせたモデルデータを生成し、該モデルデータにレンダリング処理を施してモデル画像を生成する工程と、
前記選択された広告情報の掲載依頼を行う広告主から掲載に対する料金を前記モデルデータ作成業者および／または前記所望のモデルデータに対する画像処理を行うシステムの運営者に徴収する工程とを含むことを特徴とする画像配信サービスの提供方法。 - 公衆回線網、IPネットワークのような有線や無線の通信回線を介して音声および画像によりコミュニケーションを行う情報端末装置を用いた画像蓄積伝送システムにおいて、該システムは、
前記コミュニケーションにおける送信側の前記情報端末装置と、
前記コミュニケーションにおける受信側の前記情報端末装置と、
前記送信および前記受信側の前記情報端末装置をクライアントとしてネットワーク接続され、該ネットワークを介して前記クライアントから供給される情報を蓄積し、該蓄積した情報を前記クライアントの要求に応じて送出する情報蓄積装置とを含み、
前記送信情報端末装置は、前記画像を入力する画像入力手段を含み、
前記受信情報端末装置は、前記情報処理手段から供給される画像を表示させる表示手段とを少なくとも含み、
さらに、該システムは、
前記画像入力手段から供給される画像のうち、顔を表す画像の入力に応じて顔の表情の特徴点を抽出する表情抽出手段と、
前記顔画像に対応するモデルデータを格納し、該格納するモデルデータのうち、使用の候補として登録されたモデルデータおよび該モデルデータの使用時間を管理するモデル管理手段と、
前記特徴点のデータに基づいて前記モデル管理手段から供給されるモデルデータの対応する特徴点のデータを変更し、前記表情に合ったモデルデータを生成するモデルデータ作成手段と、
該モデルデータ作成手段で生成したモデルデータにレンダリング処理を施してモデル画像を生成するレンダリング手段とを含むことを特徴とする画像蓄積伝送システム。 - 請求項54に記載のシステムにおいて、前記送信情報端末装置は、前記表情抽出手段を含み、
前記受信情報端末装置は、前記モデル管理手段、前記モデルデータ作成手段および前記レンダリング手段を含むことを特徴とする画像蓄積伝送システム。 - 請求項54に記載のシステムにおいて、該システムは、
前記前記モデル管理手段、前記モデルデータ作成手段および前記レンダリング手段を備えた情報処理装置を含み、
該情報処理装置は、前記レンダリング手段からの画像データに圧縮符号化を施す符号化手段を含み、
前記受信情報端末装置は、前記符号化手段に対応する復号処理手段を含むことを特徴とする画像蓄積伝送システム。 - 請求項54に記載にシステムにおいて、前記送信情報端末装置は、前記表情抽出手段、前記モデル管理手段、前記モデルデータ作成手段および前記レンダリング手段を含み、
さらに、前記送信情報端末装置は、前記レンダリング手段からの画像データに圧縮符号化を施す符号化手段を含み、
前記受信情報端末装置は、前記符号化手段から供給される情報を復号する復号手段を含むことを特徴とする画像伝送システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001204096A JP3593067B2 (ja) | 2001-07-04 | 2001-07-04 | 画像コミュニケーション機能付き情報端末装置および画像配信システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001204096A JP3593067B2 (ja) | 2001-07-04 | 2001-07-04 | 画像コミュニケーション機能付き情報端末装置および画像配信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003016475A JP2003016475A (ja) | 2003-01-17 |
| JP3593067B2 true JP3593067B2 (ja) | 2004-11-24 |
Family
ID=19040620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001204096A Expired - Fee Related JP3593067B2 (ja) | 2001-07-04 | 2001-07-04 | 画像コミュニケーション機能付き情報端末装置および画像配信システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3593067B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9247206B2 (en) | 2013-08-09 | 2016-01-26 | Ricoh Company, Ltd. | Information processing device, information processing system, and information processing method |
| US9398252B2 (en) | 2012-12-03 | 2016-07-19 | Ricoh Company, Ltd. | Information processing apparatus, information processing system and program |
| CN110674765A (zh) * | 2019-09-27 | 2020-01-10 | 上海依图网络科技有限公司 | 摄像系统以及视频处理方法 |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3950802B2 (ja) | 2003-01-31 | 2007-08-01 | 株式会社エヌ・ティ・ティ・ドコモ | 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体 |
| JP2004287558A (ja) * | 2003-03-19 | 2004-10-14 | Matsushita Electric Ind Co Ltd | テレビ電話端末、並びに、仮想キャラ生成装置および仮想キャラ動作制御装置 |
| EP1669931A1 (en) * | 2003-09-03 | 2006-06-14 | NEC Corporation | Form changing device, object action encoding device, and object action decoding device |
| JP2007279776A (ja) * | 2004-07-23 | 2007-10-25 | Matsushita Electric Ind Co Ltd | Ｃｇキャラクタエージェント装置 |
| JP5003488B2 (ja) * | 2005-05-12 | 2012-08-15 | 日本電気株式会社 | 映像コミュニケーションシステム、端末、および画像変換装置 |
| JP2007026088A (ja) * | 2005-07-15 | 2007-02-01 | Oki Electric Ind Co Ltd | モデル生成装置 |
| JP4803604B2 (ja) * | 2007-03-13 | 2011-10-26 | 独立行政法人産業技術総合研究所 | Ｗｅｂブラウザ上で動作する顔認識方法及びそのプログラム |
| JP4942197B2 (ja) * | 2007-10-31 | 2012-05-30 | 日本電信電話株式会社 | テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体 |
| JP2009284298A (ja) * | 2008-05-23 | 2009-12-03 | Hitachi Ltd | 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法 |
| JP5491517B2 (ja) * | 2008-12-01 | 2014-05-14 | ノーテル・ネットワークス・リミテッド | ３次元コンピュータ生成仮想環境のビデオ表現を提供する方法及び装置 |
| JP5423068B2 (ja) * | 2009-03-12 | 2014-02-19 | ブラザー工業株式会社 | 会議端末装置、表示制御方法、表示制御プログラム |
| JP5332818B2 (ja) * | 2009-03-31 | 2013-11-06 | ブラザー工業株式会社 | 通信制御装置、通信制御方法、通信制御プログラム |
| JP6392497B2 (ja) * | 2012-05-22 | 2018-09-19 | コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガニゼーション | ビデオを生成するためのシステムおよび方法 |
| JP2015172883A (ja) * | 2014-03-12 | 2015-10-01 | 株式会社コナミデジタルエンタテインメント | 端末装置、情報通信方法及び情報通信プログラム |
| US9600715B2 (en) * | 2015-06-26 | 2017-03-21 | Intel Corporation | Emotion detection system |
| KR20170127354A (ko) * | 2016-05-11 | 2017-11-21 | 강미연 | 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법 |
| CN116630452A (zh) | 2016-06-14 | 2023-08-22 | 松下电器（美国）知识产权公司 | 三维数据编码方法、解码方法、编码装置、解码装置 |
| JP6835843B2 (ja) | 2016-07-19 | 2021-02-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 三次元データ作成方法、三次元データ送信方法、三次元データ作成装置及び三次元データ送信装置 |
| JP6862857B2 (ja) * | 2017-01-30 | 2021-04-21 | 沖電気工業株式会社 | 情報処理システム、情報処理装置、及び情報処理方法 |
| KR101904924B1 (ko) * | 2017-03-31 | 2018-10-05 | 제주대학교 산학협력단 | 얼굴 영상 가상화 장치 |
| JP7173249B2 (ja) * | 2017-05-09 | 2022-11-16 | ソニーグループ株式会社 | クライアント装置、表示システム、クライアント装置の処理方法およびプログラム |
| CN108377356B (zh) * | 2018-01-18 | 2020-07-28 | 上海掌门科技有限公司 | 基于虚拟画像的视频通话的方法、设备和计算机可读介质 |
| US10681310B2 (en) | 2018-05-07 | 2020-06-09 | Apple Inc. | Modifying video streams with supplemental content for video conferencing |
| JP2020086921A (ja) * | 2018-11-26 | 2020-06-04 | アルパイン株式会社 | 画像処理装置 |
| JP7277145B2 (ja) * | 2019-01-10 | 2023-05-18 | 株式会社Iriam | キャラクタを使ったライブ通信システム |
| JP6945693B2 (ja) * | 2019-08-31 | 2021-10-06 | グリー株式会社 | 動画再生装置、動画再生方法、及び動画配信システム |
| JP7198892B2 (ja) * | 2020-07-06 | 2023-01-04 | グリー株式会社 | 動画再生装置、動画再生方法、及び動画配信システム |
| CN113099283B (zh) * | 2021-03-30 | 2023-02-14 | 深圳市冠标科技发展有限公司 | 监控画面和声音同步的方法及相关设备 |
| JPWO2022249461A1 (ja) * | 2021-05-28 | 2022-12-01 |
-
2001
- 2001-07-04 JP JP2001204096A patent/JP3593067B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9398252B2 (en) | 2012-12-03 | 2016-07-19 | Ricoh Company, Ltd. | Information processing apparatus, information processing system and program |
| US9247206B2 (en) | 2013-08-09 | 2016-01-26 | Ricoh Company, Ltd. | Information processing device, information processing system, and information processing method |
| CN110674765A (zh) * | 2019-09-27 | 2020-01-10 | 上海依图网络科技有限公司 | 摄像系统以及视频处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003016475A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3593067B2 (ja) | 画像コミュニケーション機能付き情報端末装置および画像配信システム | |
| CN1798324B (zh) | 信息终端装置 | |
| US20080250458A1 (en) | Media exchange for handheld wireless receivers and other media user devices | |
| JPH11250145A (ja) | コンテンツ情報流通システム | |
| MX2007007265A (es) | Metodo y sistma para compartir y tramitar globalmente contenidos en area local. | |
| CN101529848A (zh) | 视频处理和应用程序的系统、方法及设备 | |
| JP3967871B2 (ja) | 画像情報作成装置、画像通信端末、画像配信サーバ、及び画像情報提供システム。 | |
| JP2003052032A (ja) | 情報配信システム及び情報配信方法、情報供給装置及び情報供給方法 | |
| CN101641714A (zh) | 广告出资的数据访问服务 | |
| JP2003030105A (ja) | コンテンツ評価システム、コンテンツ評価装置、コンテンツ評価方法、コンテンツ評価プログラム及びコンテンツ評価プログラム格納媒体 | |
| JP4251794B2 (ja) | 情報配信システム及び情報配信方法、並びに情報供給装置及び情報供給方法 | |
| KR20030079936A (ko) | 콘텐츠·데이터의 인코딩 시스템 및 콘텐츠 등록 시스템 | |
| US20070179897A1 (en) | Conditional stream access | |
| JP2005018305A (ja) | 画像配信システムおよび画像コミュニケーション機能付情報処理装置 | |
| US20030025933A1 (en) | Image order processing system | |
| CN106056368A (zh) | 一种添加支付口令的支付处理方法 | |
| JP4300953B2 (ja) | カメラシステムおよびカメラ通信方法 | |
| JP2004363775A (ja) | 撮影システムおよびその画像配信の提供方法 | |
| KR101844493B1 (ko) | 온라인 컨텐츠 중개 시스템 | |
| US20080243636A1 (en) | Selective Product Placement Using Image Processing Techniques | |
| JP2023072567A (ja) | ライブ配信システム、ライブ配信方法、及びライブ配信プログラム | |
| JP2006333332A (ja) | 画像情報供給システム | |
| JP2004104424A (ja) | データ配信システムおよびそのデータ配信方法 | |
| JP2003125368A (ja) | ビデオメール装置 | |
| JP2003143574A (ja) | コンテンツ編集システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040826 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070903 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100903 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110903 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110903 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120903 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |