JP4466146B2 - 通信サービスシステムおよびコンテンツ選択方法 - Google Patents

Description

本発明は、通信サービスシステムおよびコンテンツ選択方法に関するものである。本発明の通信サービスシステムは、とくに、公衆回線網やIP (Internet Protocol)ネットワークなどの有線や無線の通信回線を介した画像や音声によるコミュニケーションのうち、端末利用者からの顔画像をキャラクタで表される代替画像を生成して、リアルタイムにコミュニケーションを行うコンテンツサービスシステム等に関するものである。また、本発明のコンテンツ選択方法は、たとえばコンテンツサービスシステムの端末間の通信においてコンテンツとしてのキャラクタの重複選択を防いでキャラクタを選択し、選択したキャラクタで通信する方法等に関するものである。

コミュニケーションは、従来の電話機等を用いて音声のみで行われていたが、現在、通信回線の高速化および大容量化にともなって、音声および画像の伝送が広く行われている。このようなコミュニケーション方式の一例にテレビ電話システムがある。このシステムは、一般家庭用電話機や携帯電話機等においてすでに用いられている。このような画像を含んだコミュニケーションは、伝送情報が音声に限られていた従来の電話機に比べ話者の表情等、コミュニケーションにおいて重要な役割を占める言外に含まれる情報を同時に伝えることができる。このため、コミュニケーションを感情表現が豊かなものにすることができる。

ところが、上述のテレビ電話システム等では、通信が不特定な場所や時間帯で行われる場合がある。このコミュニケーションでは、話者のプライバシーが侵され易いという問題が生じてしまう。この問題の対策として、たとえば、化粧、髪型や服装等を気にかけて通話に備える利用者の登場が予想される。このように、画像を含んだコミュニケーションが感情豊かな表現でコミュニケーション力を向上させる反面、利用者に何等かの負担を強いることもある。

また、このような不意な通話が必要になった場合、利用者は画像を非通話状態として伝送せず、従来ながらの音声だけで通話を行う方法も選択できる。しかしながら、この場合、コミュニケーションの低下が引き起こされてしまう。上述したように、通話機会の自由度向上にともなうコミュニケーションの低下という問題の対処方法として、たとえば通話者の顔画像から顔の表情を抽出して、抽出した表情を選択したキャラクタ画像に反映させた画像を連続生成してアニメーション表示させる手法が提案されている。

非特許文献１に挙げた総説は、1998年にMPEG（Moving Picture Experts Group）のワーキンググループ（WG: Working Group）11/MPEGに提案したコミッティドラフトを要約したものである。この総説には、顔の特徴を画像処理して解析し、あらかじめ定義した複数の顔パラメータ等を用いて符号化、グラフィックおよびアニメーションを低ビットレートで統合するものである。これにより、プライバシー保護に対応した処理も行うことが記載されている。

エリック ペタジャン（Eric Petajen）, "Very Low Bitrate Face Animation Coding in MPEG（Moving Picture Experts Group）-4", face2face Animation, Inc., 2000, pp. 1-33.

このような通話者の顔画像から顔表情を抽出して、選択したキャラクタによる代替画像を連続して生成し、通信先に送出して、代替画像をアニメーション表示するコミュニケーションシステムにおいて、代替画像のキャラクタが、送信者の代用者となる。このため、画像通信において使用するキャラクタを通話毎に変えると、受信者は通話の相手が送信者当人か否か混乱してしまう。このような混乱は、コミュニケーションを行う上での障害になる可能性がある。とくに、複数人同士でコミュニケーションを行う会議のような場合、話者とキャラクタの対応関係が固定しないと、誰と話しているかわからなくなり、混乱する虞がある。これを回避するためには、通話の度に話者とキャラクタの関係を注意深く対応付けるなど利用者に大きな負担を強いてしまうことになる。

本発明はこのような従来技術の欠点を解消し、話者とキャラクタとの対応を話者の属性に応じて固定化し、かつキャラクタの同時使用を制限して、円滑な通信を実現する通信サービスシステムおよびコンテンツ選択方法を提供することを目的とする。

本発明は上述の課題を解決するために、コンテンツとしてのキャラクタを選択し、この選択したキャラクタに利用者の表情を反映させた画像を生成し、この画像を含む信号の送受信により通信する複数の通信端末装置と、この通信端末装置のそれぞれが選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させ、この確定に応じたキャラクタのモデルデータを通信端末装置のそれぞれに提供し、この通信端末装置のそれぞれから供給される表情を有するキャラクタの画像を通信相手先に配信するコンテンツ管理装置とを具備し、このコンテンツ管理装置は、通信相手先に供給されるキャラクタの画像を配信する配信サーバと、重複を判断し、この判断結果に応じて重複回避の条件を満足させて、互いに異なるキャラクタを提供する重複管理を行うサーバとを含むことを特徴とする。

本発明の通信サービスシステムは、通信端末装置のそれぞれから選択したキャラクタに対する重複をコンテンツ管理装置の重複管理を行うサーバで判断し、重複回避の条件を満足させて、通信端末装置のそれぞれに互いに異なるキャラクタを確定させて、提供し、通信端末装置のそれぞれで利用者の表情を反映させた画像を生成し、コンテンツ管理装置に送信し、コンテンツ管理装置から通信端末装置のそれぞれに配信することにより、通信端末装置に表示される通信相手とキャラクタとの対応を気にしないでコミュニケーションを図ることができる。

また、本発明は上述の課題を解決するために、コンテンツとしてのキャラクタに利用者の表情を反映させた画像を生成し、この画像を含む信号の送受信により通信する複数の通信端末装置と、この通信端末装置のそれぞれが選択したキャラクタに対応するモデルデータを通信端末装置のそれぞれに提供し、この通信端末装置のそれぞれから供給される表情を有するキャラクタの画像を通信相手先に配信するコンテンツ管理装置とを備え、通信端末装置のそれぞれの利用者を特定するユーザ識別情報を含む要求信号をコンテンツ管理装置に送信する第１の工程と、このコンテンツ管理装置にて要求信号を受信し、この受信した要求信号に応じてキャラクタの候補を通信端末装置のそれぞれに送信する第２の工程と、この通信端末装置のそれぞれにてキャラクタの候補を受信し、このキャラクタの候補を提示する第３の工程と、この提示したキャラクタの候補の中から所望するキャラクタの選択が完了したか否か判断する第４の工程と、この判断で選択の完了に応じて選択した所望するキャラクタの情報を通信端末装置のそれぞれからコンテンツ管理装置に供給する第５の工程と、このコンテンツ管理装置にて通信端末装置のそれぞれが選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させる第６の工程と、この使用を確定させた各キャラクタをコンテンツ管理装置から通信端末装置のそれぞれに提供する第７の工程とを含むことを特徴とする。

本発明のコンテンツ選択方法は、通信端末装置のそれぞれからユーザ識別情報を含む要求信号をコンテンツ管理装置に送信し、この要求信号を受けてコンテンツ管理装置から要求信号に応じたキャラクタの候補を通信端末装置のそれぞれに送信し、通信端末装置のそれぞれにて提示し、通信端末装置のそれぞれから所望するキャラクタを選択し、コンテンツ管理装置に供給し、選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させ、コンテンツ管理装置から通信端末装置のそれぞれに互いに異なるキャラクタを提供して、利用者の表情を反映させた画像を生成し、コンテンツ管理装置に送信し、コンテンツ管理装置から通信端末装置のそれぞれに各利用者が選択したキャラクタの画像を配信して、利用者に負担を感じさせることなく、コミュニケーションを行わせることができ、コミュニケーション力を向上させることができる。

次に添付図面を参照して本発明による通信サービスシステムの実施例を詳細に説明する。

本実施例は、本発明の通信サービスシステムをコンテンツサービスシステム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

本実施例のコンテンツサービスシステム10は、図１に示すように、複数の画像端末装置12, 14, 16および18、ならびにコンテンツ管理装置20を含む。画像端末装置12, 14, 16および18、ならびにコンテンツ管理装置20は、IP（Internet Protocol）ネットワーク22にそれぞれ、接続され、IPネットワーク22を介して相互に音声や画像などのマルチメディアデータをやりとりして、コミュニケーションを図っている。

画像端末装置12, 14, 16および18は、それぞれ、同じ構成要素を含むことから、一つだけを説明する。画像端末装置12は、図２に示すように、情報入出力部24、入出力制御部26、表情特徴抽出部28、キャラクタ管理部30、背景画像管理部32、背景モデル格納部34、キャラクタ生成部36、画像生成部38、送信部40および受信部42を含む。

情報入出力部24は、供給される情報を装置12内に取り込む機能およびIPネットワーク22を介して供給される情報を出力する機能を有している。情報入出力部24は、前者の機能として撮像部44および操作部46を具備し、後者の機能としてモニタ48を有している。撮像部44は、被写界からの入射光を電気信号に変換する光電変換機能を有している。入射光は、図示しない光学系を介して撮像部44における複数の受光素子が配設される入射光側の撮像面に光学像として結像される。撮像部44は、CCD（Charge Coupled Device）やC-MOS（Complementary-Metal Oxide Semiconductor）等を用いるとよい。撮像部44は、さらに光電変換して得られた撮像信号をディジタル画像信号50として入出力制御部26に出力する。

操作部46は、画像端末装置12を操作し、操作により生じた指示情報を取り込む入力インタフェース機能を有している。操作部46は、数字およびひらがなが割り当てられたボタンやスクロールキーを含んでいる。操作部46は、とくに、後述する複数のモデルデータおよび複数の背景画像の中からそれぞれ、一つずつ操作者の選択を入力することによる選択機能および利用者の属性等の入力機能を有する。具体的に、この選択は、通話開始以前に操作部46に含まれる選択ボタン等のユーザインタフェースを介して選択できるように設定しておけばよい。操作部46は、たとえばモニタ48にモデルデータや背景画像を表示させ、これらの表示の中から操作者によりそれぞれ選択された情報を選択信号52として入出力制御部26に供給される。

また、情報入出力部24は、供給されるディジタル画像データを含む情報を表示する機能も有している。この機能は、モニタ48に含まれている。モニタ48には、CRT（Cathode Ray Tube）やフラットな薄型の液晶モニタおよびプラズマディスプレイ等がある。モニタ48には、入出力制御部26を介して上述したようにモデルデータや背景画像の候補や文字情報等の表示データ54が供給され、視認可能なように表示される。

入出力制御部26は、情報入出力部24、キャラクタ管理部30、背景画像管理部32および受信部42からそれぞれ供給される情報の入出力を制御する機能を有している。入出力制御部26は、撮像部40で取得したディジタル画像データ50をディジタル画像データ56として表情特徴抽出部22に供給する。また、入力制御部20は、操作部46からの選択信号52をそれぞれ、キャラクタ選択信号58および背景選択信号60に区別してキャラクタ管理部30および背景画像管理部32に送っている。キャラクタ選択信号58および背景選択信号60を供給する各データ線は、キャラクタ管理部24および背景画像管理部26からのキャラクタにおけるモデルデータや背景データの候補を入出力制御部26に供給するように接続されている。これにより、モニタ48には、供給されるデータを表示させて、上述した選択する候補から一つを選択できるようにしている。

表情特徴抽出部28は、供給されるディジタル画像から顔の各部位である目、鼻、口、眉毛等を解析し、各部位の輪郭を特徴点として抽出し、さらにこの特徴点を座標データとして検出する機能を有する。表情特徴抽出部28は、座標データおよびFAP（Face Animation Parameter）のいずれかにより表情を表すデータ62としてキャラクタ生成部36に出力する。解析には、画像処理のフィルタを用いるとよい。

キャラクタ管理部30は、コンテンツ管理装置20と通信して、使用するキャラクタの基本データであるモデルデータを管理する機能を有する。管理機能には、使用する候補としてのモデルデータを利用者に対して提示する機能、利用者の選択したモデルデータをキャラクタ生成部36に提供する機能および利用者の属性等をコンテンツ管理装置20に送出する機能を有している。キャラクタ管理部30は、後述するように、供給されるモデルデータ64を入力し、入出力制御部26に出力する。キャラクタ管理部30は、入出力制御部26からの選択指示を受けて、利用者の属性、たとえばユーザID（IDentification）等を含むユーザデータ66を送信部40に出力する。キャラクタ管理部30は、ユーザデータ66に応じてコンテンツ管理装置20から供給されたモデルデータ68をキャラクタ生成部36に出力する。

背景画像管理部32は、使用する背景モデルを管理する機能を有する。この管理機能は、背景モデル格納部34の制御、背景モデルの候補を利用者に対して提示する機能および利用者の選択した背景モデルを画像生成部38に提供する機能を有している。背景画像管理部32は、背景モデル格納部34から背景画像のモデルデータ70を複数読み出して、一時的にこれらの背景モデルを保持している。背景画像管理部32は、利用者によって選択された背景画像データ72を画像生成部38に出力する。

背景モデル格納部34は、背景画像を複数格納するストレージである。背景モデル格納部34は、背景画像管理部32の制御に応じて背景モデルまたは背景画像のモデルデータ70を背景画像管理部26に出力する。

キャラクタ生成部36は、供給されるデータ62を選択されたモデルデータ68の各部位に対応付けて、取り込んだ顔表情の動きとモデルデータの動きを同期させる機能を有している。キャラクタ生成部36は、キャラクタに利用者と同じ表情を持つキャラクタ画像データを生成し、キャラクタ画像データ74を画像生成部38に出力する。

画像合成部38は、キャラクタ画像データ74と利用者により選択された背景画像データ72を合成する機能を有している。画像合成部38は、この合成により得られた送信画像データ76を送信部40に出力する。

送信部40は、生成された送信画像データ76やキャラクタ管理部30からの利用者の属性等を含むユーザデータ66を入力し、通信相手先に送信する機能を有している。送信部40は、送信画像データ76とユーザデータ66とを送信データ78として、コンテンツ管理装置20に送出する。送信部40は符号化機能を設けて送信画像データ76を圧縮して、出力してもよい。圧縮には、MPEG-4規格を用いることが好ましい。

受信部42は、通信相手先からのディジタル画像データを含む情報を受信する機能を有している。本実施例は、通信相手と直接通信するのでなく、コンテンツ管理装置20を介して通信相手と通信する。したがって、受信部42は、コンテンツ管理装置20が通信相手となる。受信部42は、たとえば受信データ80の送信元を解析して、供給される受信データ80の出力先をキャラクタ管理部30と入出力制御部26とに分けて、出力する。入出力制御部26は、受信部42からのディジタル画像データ82を受信し、モニタ48に出力する。受信部42は、復号化機能を持たせてもよい。

なお、画像端末装置12は、画像の送受信について記載したが、コミュニケーションにおいて従来から用いられている音声も扱っていることは言うまでもない。

図１に戻って、コンテンツ管理装置20は、配信サーバ90およびコンテンツ管理サーバ92を含む。配信サーバ90は、画像端末装置一つに対して通信中にある画像端末装置の数がいくつあるかを検出し、検出した数に応じて画面を分割するとともに、通信中にある画像端末装置から供給される送信データ78のうち、送信画像データを分割した画面に割り当てて、一枚の画像を合成する画面作成機能部94を有している。配信サーバ90は、通信中の画像端末装置それぞれに対応した合成画像データを配信する機能も有している。配信サーバ90は、IPネットワーク22およびコンテンツ管理サーバ92に、それぞれ接続されている。

コンテンツ管理サーバ92は、使用制限機能部96を具備し、キャラクタ格納部98および履歴格納部100を含む。本実施例の使用制限機能部96は、キャラクタの重複選択による使用を回避するように制限し、最優先の使用権を付与する機能を有している。キャラクタ格納部98および履歴格納部100は、コンテンツ管理サーバ92の管理下にあるものとして、コンテンツ管理サーバ92の外部に配設しても構わない。

キャラクタ格納部98は、キャラクタ画像のモデルデータを複数格納するストレージである。キャラクタ格納部98は、使用制限機能部96の制御に応じてモデルデータやモデルデータID 102を読み出す。

ここで、モデルデータとは、たとえば３次元コンピュータグラフィックスのワイヤフレームモデル等に筋肉のモデルを３次元的に配置したモデルである。人間の表情は、顔の筋肉が動き、この動きに基づいて変化することで、たとえば、喜び、怒り、悲しみ等を表している。人間の顔の動き、たとえば発話時の口の動きも顔の筋肉が変化することに基づいている。この変化を反映させるように、モデルデータは、ワイヤフレーム上に筋肉のモデルを３次元的に配置し、各筋肉の収縮や弛緩をさせることにより、ワイヤフレーム自体を変形させる。また、モデルデータは、人物や猫等のような２次元画像を基にしてもよい。本発明では、このようなモデルデータをキャラクタと呼んでいる。

履歴格納部100は、利用者それぞれが使用したモデルデータに関する履歴情報104を格納するストレージである。履歴情報としては、使用の頻度等の情報を記録している。

次に本実施例におけるコンテンツサービスシステム10の動作について説明する。この動作は、たとえば画像端末装置12がコンテンツ管理装置20からキャラクタを取得して、キャラクタを選択して、送信画像データ76を生成し、送出し、通信相手先からの画像を受信して、表示する通信における手順を図３のフローチャートを用いて説明する。

画像端末装置12は、ユーザデータ66をコンテンツ管理装置20に送信する（ステップS10）。ユーザデータ66は、操作部46から入出力制御部26を経てキャラクタ管理部30に供給されるキャラクタの選択要求信号であるとともに、利用者を識別するユーザID等も含むデータである。キャラクタ管理部30は、送信部40からIPネットワーク22を介してコンテンツ管理装置20に出力する。

次にキャラクタを提示する（ステップS12）。コンテンツ管理装置20は、供給されるユーザデータ66を受けて、ユーザデータ66を配信サーバ98からコンテンツ管理サーバ92に供給する。コンテンツ管理サーバ92は、キャラクタ格納部98を制御して、格納するモデルデータおよびモデルデータのそれぞれに対応するモデルデータID等のモデル情報を読み出す。さらに、コンテンツ管理サーバ92は、配信サーバ90、IPネットワーク22受信部111を経由してキャラクタ管理部104にモデル情報を送出する。画像端末装置12は、受信部42でモデル情報を受信し、解析結果に応じて最終的にキャラクタ管理部30とモニタ48とに供給する。画像端末装置12は、モニタ48に供給されるキャラクタに関するモデル情報を提示する。このとき、背景画像管理部32は、背景モデル格納部34に格納されている複数の背景画像を提示する。

なお、このモデル情報は、サムネイル形式等のように利用者が複数のモデルデータから所望するモデルデータの選択を行い易いような形式にモデルデータを加工してもよい。

次に利用者はモニタ48に表示されたものの中から所望する画像を一つずつ選択し、選択が終了か否かを判断する（ステップS14）。少なくとも一方の選択が未終了の場合（NO）、この選択に戻って待機する。また、両方の選択が終了の場合（YES）、次の処理に進む（ステップS16へ）。

選択終了後、選択したキャラクタを選択要求信号としてキャラクタ管理部30に通知する。キャラクタ管理部30は、前述したように、送信部40からコンテンツ管理装置20にユーザデータ66を通知する。コンテンツ管理装置20には、この他、画像端末装置14, 16および18の利用者が選択したモデルデータIDやユーザID等の情報が供給される。本実施例の場合、互いに通信可能な状態にある端末装置は、画像端末装置12〜18の４台である。これら４台からそれぞれ供給されたユーザデータ66がコンテンツ管理サーバ92に送られる。

コンテンツ管理サーバ92は、使用制限機能部96にて供給された４つのユーザデータを評価する。すなわち、同じキャラクタを選択した利用者がいるか否かを判断する（ステップS16）。判断は、ユーザIDとモデルIDとを基にユーザIDが異なりながら、モデルIDが一致する条件の真偽で行う。この条件が不成立の場合（NO）、重複なしと判断して次の処理に進む（ステップS24へ）。また、条件が成立した場合（YES）、次の確認処理に進む（ステップS18へ）。

確認処理は、コンテンツ管理サーバ92にて同じモデルデータIDを選択した利用者の使用頻度を調査する（ステップS18）。この調査は、モデルデータIDおよびユーザIDを探索キーにして、履歴格納部100に格納されているモデルデータの使用履歴を探索する。履歴情報部100は、探索に該当する使用頻度を使用制限機能部96に供給する。該当するものがない場合、履歴情報部100は、使用制限機能部96に該当なしを報告する。

次に使用制限機能部96は、重複した利用者のうち、モデルデータの使用頻度が最も多い利用者に選択したモデルデータの使用権を付与する（ステップS20）。コンテンツ管理サーバ92は、使用頻度が最も多い利用者以外の重複した利用者が使用する画像端末装置に対してキャラクタの再選択を指示するメッセージを送信する。すでに供給されているキャラクタの中から所望のものを再選択し、コンテンツ管理装置20に送信する。

コンテンツ管理サーバ92は、再選択にともなってキャラクタの未選択者から供給されるユーザデータの有無により再選択が終了したか否かを判断する（ステップS22）。未選択の場合（NO）、コンテンツ管理サーバ92は、選択待ちする（ステップS22へ）。また、再選択されたと判断した場合（YES）、同じキャラクタの利用者がいるか否の判断処理に戻る（ステップS16へ）。この処理では通信中の画像端末装置12, 14, 16および18のすべてから供給されたユーザデータを基に判断する。コンテンツ管理サーバ92は、この処理からキャラクタの再選択までを繰り返して、モデルIDの重複をなくして、通話に使用する各々のモデルデータが確定させる。この重複がなくなった際に（NO）、キャラクタの提供に進む（ステップS24へ）。

次にコンテンツ管理装置20は、確定したモデルデータをキャラクタ格納部98から読み出して、各画像端末装置に提供する（ステップS24）。この提供により、画像端末装置12は、受信部42を介してキャラクタ管理部30に選択したモデルデータ64を取得する。キャラクタ管理部30は、取得したモデルデータ68をキャラクタ生成部36に出力する。

このモデルデータの取得後、画像端末装置12は、撮像部44に動作開始の指示を送り、顔の撮影を開始する。この開始にともない撮影により顔画像データを取得する（ステップS26）。得られた顔画像データ50が入出力制御部26を介して表情特徴抽出部28に供給される。

次に接続子Aを介して図４の手順に進み、表情特徴抽出部28は、顔の部位に対応する座標データまたはFAP（Face Animation Parameter）データを示すデータ62を生成する（ステップS28）。データ62は、画像処理フィルタによる特徴点の探索またはテンプレートマッチング処理等の従来既知の手法を用いて顔領域を抽出して、この顔領域に対してあらかじめ定義した顔の各部位、たとえば目、鼻、口、眉毛等の輪郭を位置座標データに基づいた特徴点として抽出する。表情特徴抽出部28は、生成したデータ62をキャラクタ生成部26に供給する。

なお、FAPは、前述したWG11/MPEGのコミッティドラフトに記載されている68個の特徴点として検出されるデータである。データ62にはFAPを用いてもよい。

次に利用者の顔表情の動きを反映させたモデルデータの画像をキャラクタ画像として生成する（ステップS30）。キャラクタ画像の生成は、キャラクタ生成部36で供給されるデータ62、たとえば顔表情の特徴点の座標データを選択したモデルデータの各部位に対応させて画像を生成する。キャラクタ生成部36は、生成したキャラクタ画像データ74を画像生成部38に出力する。

次にキャラクタ画像データ74に対する背景画像を合成する（ステップS32）。画像生成部38は、キャラクタ画像データ74と背景画像管理部32から供給される背景画像データ72とを合成する。合成は、従来から知られている画像合成手法で構わない。この画像を連続的に生成することにより動画として提供することができる。画像生成部38は、画像合成により生成した送信画像データ76を送信部40に出力する。

次に送信画像データ76をコンテンツ管理装置20に送信する（ステップS34）。コンテンツ管理装置20には、画像端末装置12だけでなく、通信中の画像端末装置14, 16および18からも生成した送信画像データが供給される。図５に示すように、画像端末装置12, 14, 16および18からの送信画像データには、それぞれを区別するため参照符号1, 2, 3および4が付されている。

次にコンテンツ管理装置20は、各キャラクタ画像を受信する（ステップS36）。受信したキャラクタ画像1, 2, 3および4は、配信サーバ90に供給される。配信サーバ90にて通信中の画像端末装置の数に合わせて一枚の画面を分割し、分割画面に供給された各キャラクタ画像1, 2, 3および4を割り付けて、合成して、一枚の画面を形成する画像データ110を生成する（ステップS38）。

なお、画像データ110は、送信画像を提供した自分の画像を含まないように通信相手だけを表示する画面を構成してもよい。

次に配信サーバ90は、図５に示すように、生成した画像データ110を通信中の画像端末装置それぞれに配信する（ステップS40）。配信サーバ90は、画像を配信することにより同時通話を可能にすることから明らかなように、MCU（Multipoint Control Unit）と同じ機能を有することがわかる。画像端末装置12は、画像データ110を受信する（ステップS42）。受信部42は、画像データ110を受信する。受信部42は、入出力制御部26を介してモニタ48に画像データ110を供給する。

モニタ48は、供給される画像データ110を表示する（ステップS44）。

次に画像通信を終了するか否かを判断する（ステップS46）。画像通信を継続する場合（NO）、接続子Bを介して図３の撮像処理に戻る（ステップS26へ）。画像通信を終了する場合（YES）、終了処理をして画像通信を終了する。

このように動作させることにより、キャラクタの使用頻度に応じてキャラクタの使用に制限をかけて、キャラクタと利用者を一意に固定化することができる。これにより、話者とキャラクタの対応関係を気にしながら、対話するといった利用者の負担を低減でき、円滑なコミュニケーションを実現することができる。

次に本発明の通信サービスシステムを適用したコンテンツサービスシステム10における他の実施例を説明する。本実施例におけるコンテンツ管理サーバ92には、図６に示すように、先の実施例で配設した履歴格納部100に代えて、類似度格納部120が配設されている。類似度格納部120は、ユーザID、モデルIDおよび利用者の特徴とキャラクタの属性の類似度を関連付けて記憶するストレージである。コンテンツ管理サーバ92は、各利用者と利用者が所望したキャラクタとの類似度を算出し、類似度の最も高い利用者に使用権を付与する類似度算出機能部122を有している。類似度算出機能部122は、たとえば利用者の各部位を示す表情特徴点とモデルデータの各表情特徴点とを基にして、部位毎に距離を計算し、この距離差が小さいほど類似度が高いと設定する。したがって、類似度算出時に利用者は、なるべく無表情またはすました顔画像を撮影することが好ましい。これにより、モデルデータと同じ状況で撮影し、パラメータとしてデータ62がコンテンツ管理装置20に供給されることになる。

また、本実施例の使用制限機能部96は、類似度格納部120および類似度算出機能部122のいずれか一方から供給される類似度を比較して、最も高い類似度を有する利用者に対してキャラクタの使用権を付与する機能を有する。

画像端末装置12は、図７に示すように、表情特徴抽出部28からのデータ62をキャラクタ生成部36に供給するだけでなく、キャラクタ管理部30にも供給するように接続している。

次に本実施例におけるコンテンツサービスシステム10の動作を説明する。先の実施例との相違は、図８に示すように、最初に顔画像データを取得し（ステップS48）、表情を抽出する（ステップS50）ことにある。これらの処理は、前述したステップS26およびS28にまったく同じである。抽出したデータ62は、キャラクタ管理部30に供給される。キャラクタ管理部30は、入出力制御部26からの選択指示およびデータ62を受けて、利用者の属性およびデータ62等を含むユーザデータ66を送信部40に送信する（ステップS10）。これ以降、キャラクタの提示（ステップS12）、キャラクタおよび背景画像の選択終了の判断（ステップS14）および同じキャラクタ選択の有無の判断（ステップS16）まで、先の実施例に同じである。

コンテンツ管理サーバ92にて同じキャラクタの選択が検出された場合（YES）、コンテンツ管理サーバ92は、モデルデータIDが重複選択した利用者から供給されている表情の特徴を示すデータを取得する（ステップS52）。コンテンツ管理サーバ92は、図示していないが、表情の特徴を示すデータとモデルデータIDに該当するモデルデータとを類似度格納部120に供給する。コンテンツ管理サーバ92は、供給されたこれらのデータを基に類似度格納部120を検索する。もし検索して該当する関係が得られるならば、格納している類似度を読み出して、類似度算出機能部122に供給する。検索して該当する関係がなければ、表情の特徴を示すデータとモデルデータIDに該当するモデルデータとを類似度算出機能部122に供給して、類似度を計算する。計算結果の類似度は、上述したデータ構造を満たすように記録しておくことが好ましい。

次に類似度の取得または算出を行う（ステップS54）。類似度算出機能部122は、重複選択した利用者それぞれの表情特徴を示すデータ62とモデルデータIDの特徴データとの類似度を算出する。

次に算出した類似度の中で最も高い類似度の利用者にこの重複したキャラクタにおけるモデルデータの使用権を最優先に提供する（ステップS56）。

この提供の後、キャラクタの再選択終了の判断処理に進む（ステップS22へ）。再選択終了の判断処理が選択終了の場合（YES）、再選択したキャラクタと同じキャラクタが選択されているか否かの判断処理に戻る（ステップS16へ）。同じキャラクタの選択がなくなるまでステップS16〜S22までを繰り返す。同じキャラクタがなくなった場合（NO）、接続子Cを介して図９のキャラクタの提供処理に移行させる。

コンテンツ管理装置20は、配信サーバ90から各画像端末装置12, 14, 16および18に異なるキャラクタのモデルデータをそれぞれ、提供する（ステップS24）。この提供処理以降、画像通信の終了判断処理（ステップS46）まで、先の実施例と同じ動作手順で画像通信を行う。

なお、本実施例は、利用者の顔の特徴点とキャラクタの特徴点に基づく類似度によりキャラクタ使用の優先順位を設定したが、本発明はこれに限定されるものではなく、この他、利用者の性別および年齢等の属性やキャラクタに設定した性別および年齢等の属性を基に類似点を比較することで、キャラクタ使用の優先順位を設定してもよい。さらに、使用するキャラクタの優先順位を決定する条件は、たとえば利用者の現在位置に応じて決定してもよい。この場合、GPS（Global Positioning System）のような利用者の現在位置を特定するユニットを各画像端末装置に設け、コンテンツ管理装置20に位置判定部を設けて、条件として位置情報を用いてキャラクタ使用の優先順位を設定しても、重複のないことによる負担軽減と円滑なコミュニケーションを提供することができる。条件は、あらかじめキャラクタに対して位置情報を設定し、この設定された位置情報と利用者の現在位置との距離を算出し、距離の最も短い利用者に使用権を付与するようにするとよい。

このように動作させることにより、話者の特徴とキャラクタの特徴の類似度に応じて使用権を付与して、キャラクタの使用に制限をかけることができ、キャラクタと利用者を一意に固定化することができる。これにより、話者とキャラクタの対応関係を気にしながら対話するといった利用者の負担を低減でき、円滑なコミュニケーションを実現することが可能になる。さらに、先の実施例に比べて、類似度を用いていることから、コミュニケーションに用いられるキャラクタは、話者特徴をより反映したものとなり、コミュニケーション上の違和感をより軽減できる。

次に本発明の通信サービスシステムを適用したコンテンツサービスシステム10における他の実施例を説明する。本実施例のコンテンツサービスシステム10は、図10に示すように、画像端末装置12, 14, 16および18、コンテンツ管理装置20、ならびにユーザ管理サーバ130を含む。画像端末装置12, 14, 16および18は、それぞれ、最初の実施例で説明した構成要素を有し、各構成要素を図２に示したように、接続している。

図10に示すユーザ管理サーバ130もIPネットワーク22に接続されている。コンテンツ管理装置20は、配信サーバおよびコンテンツ管理サーバ92を配設している点で先の実施例に同じである。ただし、コンテンツ管理サーバ92は、使用制限機能部96およびキャラクタ格納部98だけを含んでいる。使用制限機能部96は、キャラクタの重複選択による使用を回避するように制限し、最優先の使用権を付与する機能を有する。とくに、使用制限機能部96は、使用権をユーザ情報で示されるパラメータ値の大きい順に付与する機能を有している。

ユーザ管理サーバ130は、ユーザ管理機能部132およびユーザ情報格納部134を含む。ユーザ管理機能部132は、ユーザ情報格納部134を制御して、第三者が設定した価値または対価に応じたポイントを利用者毎に検索し、検索結果を読み出して、コンテンツ管理装置20に出力する機能を有する。また、ユーザ管理機能部132は、第三者が設定した価値または対価に応じたポイントを利用者毎にユーザ情報格納部134に記録し、保持する機能を有している。

ユーザ情報格納部134は、利用者毎にユーザ情報を保持するストレージである。ユーザ情報とは、ユーザID等のような利用者を判別できるコードに、たとえば航空会社のマイレージサービスや小売店が設定した消費者の購買に対して与える購買ポイント等を示している。

次に本実施例におけるコンテンツサービスシステム10の動作手順について図11を参照しながら、説明する。図11は、動作手順の一部を示すフローチャートである。画像端末装置12は、ユーザデータ66をコンテンツ管理装置20に送信し（ステップS10）、コンテンツ管理装置20からキャラクタの候補を受信し、モニタ48に提示する（ステップS12）。画像端末装置12では、選択の判断処理（ステップS16）で判断し、提示されたキャラクタの候補および背景画像の候補から一つずつ選択したモデルデータIDをコンテンツ管理装置20に供給する。コンテンツ管理装置20のコンテンツ管理サーバ92は、本実施例における他の画像端末装置14, 16および18から供給されるユーザIDおよびモデルデータIDを基に同じキャラクタを重複選択した利用者の有無を判断する（ステップS16）。キャラクタの重複選択が確認された場合（YES）、コンテンツ管理サーバ92は、配信サーバ90を介してユーザ管理サーバ130にこの重複選択した利用者に関するユーザ情報を要求する。

ユーザ管理サーバ130は、要求を受けて、ユーザ管理機能部132の制御によりユーザ情報格納部134に格納するユーザ情報を読み出す。ユーザ管理サーバ130は、読み出したユーザ情報をコンテンツ管理装置20に供給する。

コンテンツ管理装置20は、供給されたユーザ情報をコンテンツ管理サーバ92の使用制限機能部96に供給する（ステップS58）。使用制限機能部96は、任意の価値または対価を設定している第三者が提供する利用者毎のユーザ情報に含まれるポイントを基に使用権を付与する（ステップS60）。ユーザ情報には、前述したように、航空会社のマイレージサービスによるポイントやカード会社の使用にともない付与されるポイント等がある。使用制限機能部96には、これらのポイントのうち、どのポイントで使用権を決定するかをあらかじめ指定しておくことが好ましい。また、詳細に説明しないが、これらのポイントすべてを用いて総合的なポイントを算出して、使用権を決めてもよい。

コンテンツ管理サーバ92は、使用権が付与されなかった利用者にキャラクタ管理部30を介して別のモデルデータを選択するように通知する。この通知を受けた利用者は、モニタに表示されている複数のモデルデータの中から、選択したモデルデータとは異なるモデルデータを再選択する。ステップS22の再選択終了にともない該当する画像端末装置は、モデルデータIDをコンテンツ管理装置20に送出し、再び重複選択した利用者の有無を判断する（ステップS16へ）。重複選択がなくなるまで、一連の処理を繰り返して、通話に使用する各々のモデルデータを確定させる。

コンテンツ管理装置20は、コンテンツ管理サーバ92によるモデルデータの確定にともない確定したモデルデータをキャラクタ格納部98から読み出して、配信サーバ90に供給し、配信サーバ90から各画像端末装置12〜18に配信する。これにより、画像端末装置12〜18には、コンテンツ管理装置20からキャラクタのモデルデータが提供される（ステップS24）。各画像端末装置は、顔画像の取得処理を開始する（ステップS26）。これ以後の処理は、図４に示した動作手順とまったく同じことから、説明を省略する。

前述した使用権は、最も大きなポイントが所定の閾値以上の場合に特別なキャラクタ、たとえばVIP（Very Important Person）待遇の稀なキャラクタの使用を許可するようにしてもよい。また、使用権は、最も大きなポイントに対して付与するようにしたが、この実施例に限定されるものでなく、重複した中で最も大きなポイントであっても、あらかじめ設定した値より小さい場合、所望のキャラクタの使用を禁止するようにしてもよい。これによって、キャラクタに大きな価値または対価を持たせることができる。このような閾値等は、図12に示すように、キャラクタ格納部98にモデルデータID 140、コンテンツ名142、モデルデータ144、ポイント閾値146およびVIPの有無を示すフラグ148等を対応して格納しておけばよい。また、キャラクタ格納部98には、サムネイル形式の画像データも対応させておくことが好ましい。本実施例はポイントで説明したが、価値または対価を持たせることができるパラメータであればよいことは明らかである。

このように動作しても、第三者が設定したポイント（対価）に応じてキャラクタ（モデルデータ）の使用に制限をかけることができる。この制限は、使用するキャラクタに対して価値を設定することになるから、たとえば価値の高いキャラクタとして使用する利用者により一層の満足感を提供することができ、個性を発揮できるコミュニケーションの提供が可能になる。

なお、前述した実施例では、コミュニケーションの話者数を４人として説明したが、本発明はこれに限定されるものではなく、一対一の二者間でも、これ以上の話者数でも画像通信できることは言うまでもない。

以上のように構成することにより、画像端末装置12, 14, 16および18のそれぞれから選択したキャラクタに対する重複をコンテンツ管理装置20のコンテンツ管理サーバ92で判断し、重複回避の条件を満足させて、画像端末装置12, 14, 16および18のそれぞれに互いに異なるキャラクタを確定させて、提供し、画像端末装置12, 14, 16および18のそれぞれで利用者の表情を反映させた画像を生成し、コンテンツ管理装置20に送信し、コンテンツ管理装置20から画像端末装置12, 14, 16および18のそれぞれに配信して、画像端末装置12, 14, 16および18に表示される通信相手とキャラクタとの対応を気にしない通信することにより、自然で円滑なコミュニケーションを図ることができる。

コンテンツ管理サーバ92は、使用制限機能部96を配設して、キャラクタの重複選択の判断とこの判断から得られる重複したキャラクタに対して重複回避の条件を満足する画像端末装置に優先的な使用権を付与し、通信中の画像端末装置12, 14, 16および18すべてに供給するキャラクタ（モデルデータ）を異ならせて確定させ、キャラクタ格納部98が格納するモデルデータの中から該当するキャラクタを提供することができる。キャラクタ格納部98は、キャラクタの候補であるモデルIDやサムネイル形式の画像も格納し、これらの情報または画像を供給される要求信号に応じて適宜に提供する。

また、コンテンツ管理サーバ92は、重複回避の条件のパラメータとして用いる重複したキャラクタの使用回数、このキャラクタのモデルデータを識別するモデル識別情報および画像通信端末装置の利用者を特定するユーザIDをそれぞれ対応付けて格納する履歴格納部100を含むことにより、使用制限に用いる情報を使用制限機能部96に的確に提供することができ、使用制限に寄与することができる。 配信サーバ94は、画面作成機能部94を有し、画像端末装置12, 14, 16および18から供給されるキャラクタの数に応じて画面を分割し、供給される表情を有するキャラクタの画像を分割した画面にそれぞれ割り当てて、一枚の画像を生成することで、画像端末装置12, 14, 16および18のそれぞれで複雑な画面作成をせずに済むことから、装置構成を簡略化することができる。

画像端末装置12, 14, 16および18は、それぞれキャラクタ管理部30を有して、コンテンツ管理装置20から供給されるキャラクタの候補、この候補の選択結果および確定に応じて提供されるキャラクタのモデルデータを管理することにより、画像端末装置とコンテンツ管理装置20との間におけるキャラクタ関連の情報を的確に必要とされる画像端末装置内の構成要素やコンテンツ管理装置20に送ることができる。

コンテンツ管理サーバ92は、先の構成に加えて、類似度格納部120および類似度算出機能部122を含み、類似度格納部120に類似度、キャラクタのモデルデータを識別するモデルIDおよびユーザIDをそれぞれ対応付けて格納し、要求に応じて類似度を重複回避の条件のパラメータとして提供し、類似度算出機能部122ではたとえば、対応する類似度がない場合、画像端末装置のそれぞれ12, 14, 16および18から供給される顔画像の特徴と選択したキャラクタの画像が示す特徴との距離から類似度を計算し、使用制限機能部96に供給して、使用制限機能部96にて類似度格納部120および類似度算出機能部122のいずれか一方から供給される類似度を比較して、最も高い類似度を有する利用者に対してキャラクタの使用権を付与することにより、利用者本人が持つ顔の特徴を反映したものを選択することができ、違和感を軽減したコミュニケーションを行うことができる。

キャラクタ管理部30は、これまでの情報管理に加えて、画像端末装置に取り込む画像のうち、顔画像から顔の各部位を特徴付けた特徴量、データ62も管理して、コンテンツ管理装置20に供給し、類似性の良好なキャラクタの使用に貢献させることができる。

コンテンツサービスシステム10は、ユーザ管理サーバ130を含み、ユーザ管理サーバ130にはユーザ管理機能部132およびユーザ情報格納部134を具備して、ユーザ情報格納部134に画像端末装置12, 14, 16および18のユーザIDおよびこの利用者が獲得しているポイントを対応付けて格納し、ユーザ管理機能部132でユーザ情報格納部134における第三者が設定した価値に応じたポイントの検索結果を読み出して、コンテンツ管理装置20に出力し、使用制限機能部96では、供給されるキャラクタを重複選択した利用者が有するポイントを基に最も高いポイントを有する利用者に対してキャラクタの使用権を付与することより、使用するキャラクタすべてを異ならせ、利用者の負担を軽減させながら、円滑なコミュニケーションを行わせることができる。

また、コンテンツ選択方法によれば、画像端末装置12, 14, 16および18のそれぞれからユーザ識別情報を含む要求信号をコンテンツ管理装置20に送信し、この要求信号を受けてコンテンツ管理装置20から要求信号に応じたキャラクタの候補を画像端末装置12, 14, 16および18のそれぞれに送信し、通信端末装置のそれぞれにて提示し、画像端末装置12, 14, 16および18のそれぞれから所望するキャラクタを選択し、コンテンツ管理装置20に供給し、選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させ、コンテンツ管理装置20から画像端末装置のそれぞれに互いに異なるキャラクタを提供して、利用者の表情を反映させた画像を生成し、コンテンツ管理装置20に送信し、コンテンツ管理装置20から画像端末装置12, 14, 16および18のそれぞれに各利用者が選択したキャラクタの画像を配信して、利用者に選択における負担を感じさせることなく、コミュニケーションを行わせることができ、コミュニケーション力を向上させ、円滑にコミュニケーションをとることができる。

キャラクタを確定させる工程は、所望するキャラクタの情報に基づいて重複があるか否かを判断し、この判断で重複するキャラクタの情報を選択した場合、ユーザIDを基に重複するキャラクタの使用頻度を取得し、重複回避の条件として、この取得した使用頻度の中で、最も高い使用頻度を有するユーザIDを供給した画像端末装置に使用権を付与し、この使用権の付与された画像端末装置以外の画像端末装置に対してキャラクタの再選択を指示し、このキャラクタの再選択が完了したか否か判断して、この判断工程は、該再選択の完了に応じて前述した重複の有無の判断処理する工程に戻り、所望するキャラクタに重複があるか否か判断し、この所望するキャラクタが互いに異なるキャラクタを選択するまで、キャラクタの確定工程を繰り返す。この一連の処理により、利用者は、重複を考慮することなく、供給されるキャラクタの候補の中から所望のキャラクタを選択するだけで済むことから、利用者の処理負担を軽減するとともに、所望のキャラクタによるコミュニケーションを楽しむことができる。

要求信号の送信工程には、送信前に利用者の顔画像を取得し、この取得した顔画像から顔の各部位を特徴量として抽出し、この特徴量およびユーザIDを含む要求信号をコンテンツ管理装置20に送信することにより、コンテンツ管理装置において利用者の顔に類似したキャラクタの使用の判断基準になるデータを提供することができる。

キャラクタを確定させる工程は、前述した重複の有無を判断し、この判断で重複するキャラクタの情報を選択した場合、ユーザIDに対応する利用者の特徴量を取得し、重複回避の条件として、この取得した利用者の特徴量と重複したキャラクタが有する顔の各部位における特徴量とを基に部位毎の類似度を算出または取得し、重複したキャラクタに対する類似度の中で、最も高い類似度を有するユーザIDを供給した通信端末装置に使用権を付与し、この使用権の付与された画像端末装置以外の画像端末装置に対してキャラクタの再選択を指示し、このキャラクタの再選択が完了したか否か判断して、この判断工程は、該再選択の完了に応じて前述した重複の有無の判断処理する工程に戻り、所望するキャラクタに重複があるか否か判断し、この所望するキャラクタが互いに異なるキャラクタを選択するまで、キャラクタの確定工程を繰り返す。この一連の処理により、利用者は、重複を考慮することなく、供給されるキャラクタの候補の中から所望のキャラクタを選択するとともに、利用者の顔に類似したキャラクタを用いることができる。

類似度は、画像端末装置12, 14, 16および18のそれぞれから取得した顔画像の各部位における特徴量と重複したキャラクタが有する顔の各部位における特徴量とを基にして、部位毎に距離を計算し、この距離差が小さいほど類似度が高いと設定することが好ましい。

キャラクタを確定させる工程は、前述した重複の有無を判断し、この判断で重複するキャラクタの情報を選択した場合、ユーザIDを基に利用者に対価として与えられているポイントを取得し、重複回避の条件として、この取得したポイントの中で、最も大きなポイントを有するユーザIDを供給した画像端末装置に使用権を付与し、この使用権の付与された画像端末装置以外の画像端末装置に対してキャラクタの再選択を指示し、このキャラクタの再選択が完了したか否か判断して、この判断工程は、該再選択の完了に応じて前述した重複の有無の判断処理する工程に戻り、所望するキャラクタに重複があるか否か判断し、この所望するキャラクタが互いに異なるキャラクタを選択するまで、キャラクタの確定工程を繰り返す。この一連の処理により、利用者は、重複を考慮することなく、使用制限をかけて、互いに異なるキャラクタを選択して使用することができる。この選択は、選択時における利用者の負担、たとえば通信中に重複がわかって重複した利用者が再選択するといった処理を行わないので、利用者の負担を軽減することができる。

対価は、第三者により設定されていることが望ましい。この設定により、コミュニケーションと関係のない客観的なデータに基づいたコンテンツサービスを提供することができる。

使用権は、最も大きなパラメータ値が所定の閾値以上の場合に特別なキャラクタの使用を許可することが好ましい。これにより、利用者に満足感をもってコミュニケーションさせることができる。

使用権を付与する工程は、最も大きなポイントであっても、あらかじめ設定した値より小さい場合、所望のキャラクタの使用を禁止することにより、各キャラクタに有意な価値を持たせることができる。

重複回避の条件は、キャラクタの使用において使用頻度、キャラクタと利用者との類似度、利用者に対価として与えられているポイントおよびキャラクタに設定された位置情報と利用者の現在位置との距離のうち、少なくとも一つに応じて重複したキャラクタに対する使用制限を設定するとよい。

コンテンツ選択方法は、各画像端末装置12, 14, 16および18に選択したキャラクタの配信した後、画像端末装置12, 14, 16および18のそれぞれから提供されたキャラクタを用いて、表情を反映させたキャラクタの画像を生成し、図５に示したように、コンテンツ管理装置に送信し、コンテンツ管理装置20で画像端末装置12, 14, 16および18のそれぞれの数に応じて画面分割し、この画面分割した領域それぞれに供給されたキャラクタの画像を割り当てて一つの画像に合成し、この合成した一つの画像を通信中の前記端末装置12, 14, 16および18のそれぞれに配信することにより、画像端末装置12, 14, 16および18のそれぞれにおける画像処理を行うことなく、単に供給される画像を表示するだけでよいことから、複雑な画像処理を大幅に削減することができる。

本発明の通信サービスシステムを適用したコンテンツサービスシステムにおける実施例の概略的な構成を示すブロック図である。 図１のコンテンツサービスシステムにおける画像端末装置の概略的な構成を示すブロック図である。 図１のコンテンツサービスシステムにおける動作手順を説明するフローチャートである。 図３に続く動作手順を説明するフローチャートである。 図１のコンテンツサービスシステムにおける配信サーバによる画面生成および配信を説明する図である。 本発明の通信サービスシステムを適用したコンテンツサービスシステムにおける他の実施例の概略的な構成を示すブロック図である。 図６の画像端末装置における他の実施例の概略的な構成を示すブロック図である。 図７のコンテンツサービスシステムにおける動作手順を説明するフローチャートである。 図８に続く動作手順を説明するフローチャートである。 本発明の通信サービスシステムを適用したコンテンツサービスシステムにおける他の実施例の概略的な構成を示すブロック図である。 図10のコンテンツサービスシステムにおける動作手順の一部を説明するフローチャートである。 図10のキャラクタ格納部におけるデータ構造を説明する図である。

符号の説明

10 コンテンツサービスシステム
12, 14, 16, 18 画像端末装置
20 コンテンツ管理装置
22 IPネットワーク
24 情報入出力部
26 入出力制御部
28 表情特徴抽出部
30 キャラクタ管理部
32 背景画像管理部
34 背景モデル格納部
36 キャラクタ生成部
38 画像生成部
40 送信部
42 受信部
90 配信サーバ
92 コンテンツ管理サーバ
94 画面作成機能部
96 使用制限機能部
98 キャラクタ格納部
100 履歴格納部

Claims (18)

1. コンテンツとしてのキャラクタを選択し、該選択したキャラクタに利用者の表情を反映させた画像を生成し、該画像を含む信号の送受信により通信する複数の通信端末装置と、
   該通信端末装置のそれぞれが選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させ、該確定に応じた前記キャラクタのモデルデータを前記通信端末装置のそれぞれに提供し、該通信端末装置のそれぞれから供給される表情を有するキャラクタの画像を通信相手先に配信するコンテンツ管理装置とを具備し、
   該コンテンツ管理装置は、前記通信相手先に供給されるキャラクタの画像を配信する配信サーバと、
   前記重複を判断し、該判断結果に応じて前記重複回避の条件を満足させて、互いに異なるキャラクタを提供する重複管理を行うサーバとを含み、
   該重複管理サーバは、前記重複回避の条件のパラメータとして用いる前記重複したキャラクタの使用回数、該キャラクタのモデルデータを識別するモデル識別情報および前記通信端末装置の利用者を特定するユーザ情報をそれぞれ対応付けて格納する履歴格納手段を含むことを特徴とする通信サービスシステム。
2. コンテンツとしてのキャラクタを選択し、該選択したキャラクタに利用者の表情を反映させた画像を生成し、該画像を含む信号の送受信により通信する複数の通信端末装置と、
   該通信端末装置のそれぞれが選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させ、該確定に応じた前記キャラクタのモデルデータを前記通信端末装置のそれぞれに提供し、該通信端末装置のそれぞれから供給される表情を有するキャラクタの画像を通信相手先に配信するコンテンツ管理装置とを具備し、
   該コンテンツ管理装置は、前記通信相手先に供給されるキャラクタの画像を配信する配信サーバと、
   前記重複を判断し、該判断結果に応じて前記重複回避の条件を満足させて、互いに異なるキャラクタを提供する重複管理を行うサーバとを含み、
   該重複管理サーバは、前記キャラクタの重複選択の判断と該判断から得られる重複したキャラクタに対して前記重複回避の条件を満足する前記通信端末装置に優先的な使用権を付与する使用制限機能ブロックと、
   前記重複回避の条件のパラメータとして前記通信端末装置から供給される顔画像の特徴と選択したキャラクタの画像が示す特徴との距離から類似度を計算する演算機能ブロックと、
   該類似度、該キャラクタのモデルデータを識別するモデル識別情報および前記通信端末装置の利用者を特定するユーザ識別情報をそれぞれ対応付けて格納する類似度格納手段とを含み、
   前記使用制限機能ブロックは、前記類似度格納手段および前記演算機能ブロックのいずれか一方から供給される類似度を比較して、最も高い類似度を有する利用者に対してキャラクタの使用権を付与することを特徴とする通信サービスシステム。
3. 請求項１に記載のシステムにおいて、前記重複管理サーバは、前記キャラクタの重複選択の判断と該判断から得られる重複したキャラクタに対して前記重複回避の条件を満足する前記通信端末装置に優先的な使用権を付与する使用制限機能ブロックと、
   前記キャラクタを表すモデルデータを複数格納するキャラクタ格納手段とを含むことを特徴とする通信サービスシステム。
4. 請求項１、２または３に記載のシステムにおいて、前記配信サーバは、前記通信端末装置から供給されるキャラクタの数に応じて画面を分割し、供給される前記表情を有するキャラクタの画像を分割した画面にそれぞれ割り当てて、一枚の画像を生成する画面作成機能ブロックを含むことを特徴とする通信サービスシステム。
5. 請求項１ないし４のいずれか一項に記載のシステムにおいて、前記通信端末装置は、前記重複管理サーバから供給されるキャラクタの候補、該候補の選択結果および前記確定に応じて提供されるキャラクタのモデルデータをそれぞれ管理する管理手段を含むことを特徴とする通信サービスシステム。
6. 請求項２に記載のシステムにおいて、前記重複管理サーバは、前記キャラクタを表すモデルデータを複数格納するキャラクタ格納手段を含むことを特徴とする通信サービスシステム。
7. 請求項５に記載のシステムにおいて、前記管理手段は、前記通信端末装置に取り込む画像のうち、顔画像から顔の各部位を特徴付けた特徴量も管理することを特徴とする通信サービスシステム。
8. 請求項２ないし７のいずれか一項に記載のシステムにおいて、該システムは、前記通信端末装置の利用者を特定するユーザ識別情報および該利用者が獲得しているパラメータ値を対応付けて格納するユーザ情報格納手段と、
   該ユーザ情報格納手段における第三者が設定した価値に応じたパラメータ値の検索結果を読み出して、前記コンテンツ管理装置に出力するユーザ管理機能ブロックとを含み、
   前記使用制限機能ブロックは、前記キャラクタを重複選択した利用者が有するパラメータ値を取得し、最も高いパラメータ値を有する利用者に対してキャラクタの使用権を付与することを特徴とする通信サービスシステム。
9. コンテンツとしてのキャラクタに利用者の表情を反映させた画像を生成し、該画像を含む信号の送受信により通信する複数の通信端末装置と、
   該通信端末装置のそれぞれが選択したキャラクタに対応するモデルデータを前記通信端末装置のそれぞれに提供し、該通信端末装置のそれぞれから供給される表情を有するキャラクタの画像を通信相手先に配信するコンテンツ管理装置とを備え、
   前記通信端末装置のそれぞれの利用者を特定するユーザ識別情報を含む要求信号を前記コンテンツ管理装置に送信する第１の工程と、
   該コンテンツ管理装置にて前記要求信号を受信し、該受信した要求信号に応じて前記キャラクタの候補を前記通信端末装置のそれぞれに送信する第２の工程と、
   該通信端末装置のそれぞれにて前記キャラクタの候補を受信し、該キャラクタの候補を提示する第３の工程と、
   該提示したキャラクタの候補の中から所望するキャラクタの選択が完了したか否か判断する第４の工程と、
   該判断で選択の完了に応じて選択した前記所望するキャラクタの情報を前記通信端末装置のそれぞれからコンテンツ管理装置に供給する第５の工程と、
   該コンテンツ管理装置にて前記通信端末装置のそれぞれが選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させる第６の工程と、
   該使用を確定させた各キャラクタを前記コンテンツ管理装置から前記通信端末装置のそれぞれに提供する第７の工程とを含み、
   前記第６の工程は、さらに、前記所望するキャラクタの情報に基づいて重複があるか否かを判断する第８の工程と、
   該判断で重複するキャラクタの情報を選択した場合、前記ユーザ識別情報を基に前記重複するキャラクタの使用頻度を取得する第９の工程と、
   前記重複回避の条件として、該取得した使用頻度の中で、最も高い使用頻度を有する前記ユーザ識別情報を供給した前記通信端末装置に使用権を付与する第10の工程と、
   該使用権の付与された通信端末装置以外の前記通信端末装置に対して前記キャラクタの再選択を指示する第11の工程と、
   該キャラクタの再選択が完了したか否か判断する第12の工程とを含み、
   該第12の工程は、該再選択の完了に応じて前記第８の工程に戻り、前記所望するキャラクタに重複があるか否か判断し、該所望するキャラクタが互いに異なるキャラクタを選択するまで、前記第８の工程から前記第12の工程を繰り返すことを特徴とするコンテンツ選択方法。
10. 請求項９に記載の方法において、前記第１の工程は、前記利用者の顔画像を取得する第13の工程と、
    該取得した顔画像から顔の各部位を前記利用者の特徴量として抽出する第14の工程とを含み、
    該利用者の特徴量および前記ユーザ識別情報を含む要求信号を前記コンテンツ管理装置に送信することを特徴とするコンテンツ選択方法。
11. コンテンツとしてのキャラクタに利用者の表情を反映させた画像を生成し、該画像を含む信号の送受信により通信する複数の通信端末装置と、
    該通信端末装置のそれぞれが選択したキャラクタに対応するモデルデータを前記通信端末装置のそれぞれに提供し、該通信端末装置のそれぞれから供給される表情を有するキャラクタの画像を通信相手先に配信するコンテンツ管理装置とを備え、
    前記通信端末装置のそれぞれの利用者を特定するユーザ識別情報を含む要求信号を前記コンテンツ管理装置に送信する第１の工程と、
    該コンテンツ管理装置にて前記要求信号を受信し、該受信した要求信号に応じて前記キャラクタの候補を前記通信端末装置のそれぞれに送信する第２の工程と、
    該通信端末装置のそれぞれにて前記キャラクタの候補を受信し、該キャラクタの候補を提示する第３の工程と、
    該提示したキャラクタの候補の中から所望するキャラクタの選択が完了したか否か判断する第４の工程と、
    該判断で選択の完了に応じて選択した前記所望するキャラクタの情報を前記通信端末装置のそれぞれからコンテンツ管理装置に供給する第５の工程と、
    該コンテンツ管理装置にて前記通信端末装置のそれぞれが選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させる第６の工程と、
    該使用を確定させた各キャラクタを前記コンテンツ管理装置から前記通信端末装置のそれぞれに提供する第７の工程とを含み、
    前記第６の工程は、さらに、前記所望するキャラクタの情報に基づいて重複があるか否かを判断する第８の工程と、
    該判断で重複するキャラクタの情報を選択した場合、前記ユーザ識別情報に対応する前記利用者の特徴量を取得する第９の工程と、
    前記重複回避の条件として、該取得した特徴量と前記重複したキャラクタが有する顔の各部位における特徴量とを基に部位毎の類似度を算出または取得する第10の工程と、
    前記重複したキャラクタに対する類似度の中で、最も高い類似度を有する前記ユーザ識別情報を供給した前記通信端末装置に使用権を付与する第11の工程と、
    該使用権の付与された通信端末装置以外の前記通信端末装置に対して前記キャラクタの再選択を指示する第12の工程と、
    該キャラクタの再選択が完了したか否か判断する第13の工程とを含み、
    該第13の工程は、該再選択の完了に応じて前記第８の工程に戻り、前記所望するキャラクタに重複があるか否か判断し、該所望するキャラクタが互いに異なるキャラクタを選択するまで、前記第８ないし前記第13の工程を順に繰り返すことを特徴とするコンテンツ選択方法。
12. 請求項11に記載の方法において、前記類似度は、前記通信端末装置から取得した顔画像の各部位における特徴量と前記重複したキャラクタが有する顔の各部位における特徴量とを基にして、部位毎に距離を計算し、この距離差が小さいほど類似度が高いと設定することを特徴とするコンテンツ選択方法。
13. コンテンツとしてのキャラクタに利用者の表情を反映させた画像を生成し、該画像を含む信号の送受信により通信する複数の通信端末装置と、
    該通信端末装置のそれぞれが選択したキャラクタに対応するモデルデータを前記通信端末装置のそれぞれに提供し、該通信端末装置のそれぞれから供給される表情を有するキャラクタの画像を通信相手先に配信するコンテンツ管理装置とを備え、
    前記通信端末装置のそれぞれの利用者を特定するユーザ識別情報を含む要求信号を前記コンテンツ管理装置に送信する第１の工程と、
    該コンテンツ管理装置にて前記要求信号を受信し、該受信した要求信号に応じて前記キャラクタの候補を前記通信端末装置のそれぞれに送信する第２の工程と、
    該通信端末装置のそれぞれにて前記キャラクタの候補を受信し、該キャラクタの候補を提示する第３の工程と、
    該提示したキャラクタの候補の中から所望するキャラクタの選択が完了したか否か判断する第４の工程と、
    該判断で選択の完了に応じて選択した前記所望するキャラクタの情報を前記通信端末装置のそれぞれからコンテンツ管理装置に供給する第５の工程と、
    該コンテンツ管理装置にて前記通信端末装置のそれぞれが選択したキャラクタの重複を判断して、あらかじめ設定した重複回避の条件に基づいてキャラクタの使用を確定させる第６の工程と、
    該使用を確定させた各キャラクタを前記コンテンツ管理装置から前記通信端末装置のそれぞれに提供する第７の工程とを含み、
    前記第６の工程は、さらに、前記所望するキャラクタの情報に基づいて重複があるか否かを判断する第８の工程と、
    該判断で重複するキャラクタの情報を選択した場合、前記ユーザ識別情報を基に前記利用者に対価として与えられているパラメータ値を取得する第９の工程と、
    前記重複回避の条件として、該取得したパラメータ値の中で、最も大きなパラメータ値を有する前記ユーザ識別情報を供給した前記通信端末装置に使用権を付与する第10の工程と、
    該使用権の付与された通信端末装置以外の前記通信端末装置に対して前記キャラクタの再選択を指示する第11の工程と、
    該キャラクタの再選択が完了したか否か判断する第12の工程とを含み、
    該第12の工程は、該再選択の完了に応じて前記第８の工程に戻り、前記所望するキャラクタに重複があるか否か判断し、該所望するキャラクタが互いに異なるキャラクタを選択するまで、前記第８ないし前記第12の工程を順に繰り返すことを特徴とするコンテンツ選択方法。
14. 請求項13に記載の方法において、前記対価は、第三者により設定されていることを特徴とするコンテンツ選択方法。
15. 請求項13または14に記載の方法において、前記使用権は、前記最も大きなパラメータ値が所定の閾値以上の場合に特別なキャラクタの使用を許可することを特徴とするコンテンツ選択方法。
16. 請求項13、14または15に記載の方法において、前記第10の工程は、前記最も大きなパラメータ値であっても、あらかじめ設定した値より小さい場合、前記所望のキャラクタの使用を禁止することを特徴とするコンテンツ選択方法。
17. 請求項９ないし16のいずれか一項に記載の方法において、前記重複回避の条件は、前記キャラクタの使用において前記使用頻度、前記キャラクタと前記利用者との類似度、前記利用者に対価として与えられているパラメータ値、および前記キャラクタに対して位置情報を設定し、設定された位置情報と前記利用者の現在位置との距離を算出し、得られた距離の最も短い利用者に与える条件の中から、少なくとも一つに応じて前記重複したキャラクタに対する使用制限を設定することを特徴とするコンテンツ選択方法。
18. 請求項９ないし17のいずれか一項に記載の方法において、該方法は、第７の工程の後、前記通信端末装置のそれぞれから提供されたキャラクタを用いて、前記表情を反映させたキャラクタの画像を生成し、前記コンテンツ管理装置に送信する送信工程と、
    該コンテンツ管理装置で前記通信端末装置のそれぞれの数に応じて画面分割し、該画面分割した領域それぞれに供給された前記キャラクタの画像を割り当てて一つの画像に合成する合成工程と、
    該合成した一つの画像を通信中の前記端末装置のそれぞれに配信する配信工程とを含むことを特徴とするコンテンツ選択方法。

Images