JP5291554B2

JP5291554B2 - 通信システム、マッチングデータベースサーバ

Info

Publication number: JP5291554B2
Application number: JP2009158006A
Authority: JP
Inventors: 悠古城
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2009-07-02
Filing date: 2009-07-02
Publication date: 2013-09-18
Anticipated expiration: 2029-07-02
Also published as: JP2011013970A

Description

本発明は、送信側移動端末装置から発したテキストデータに基づいて受信側移動端末装置で当該テキストデータに対応する、例えば、発信者を模した顔の画像や音声等の知覚表象を合成する表象合成コミュニケーションモードでの通信が可能な通信システム、および、このような通信システムに係る、表象合成用アプリケーションプログラムデータベースサーバ、マッチングデータベースサーバ、移動端末装置に関する。

送信側移動端末装置からの宛先情報とテキストデータを含むメッセージ情報に基づいて音声メッセージを合成するメッセージ変換サーバを設け、合成された音声メッセージを、宛先情報に対応した通信装置に送信する通信システムが提供されている（例えば、特許文献１参照）。
特許文献１の提案では、受信側の移動端末装置にテキストデータに基づいて音声メッセージを合成する機能が搭載されていない場合であっても、送信側が音声メッセージでの受信を所望する場合に、これを実現することができるとされている。

また、メールの差出人本人の音声と特徴を交えてメールを読み上げ、確実に差出人を認識しつつメールの内容を確認できるようにしようとする提案がある（例えば、特許文献２参照）。
特許文献２に提案されている技術では、移動端末装置は、キーワードと個人音声との対応データ、一般音声データ、電子メールデータ、および、個人情報をそれぞれ記憶する各記憶部を備える。そして、電子メールデータを入力して、記憶されている個人情報から差出人を特定し、音声読み上げエンジンによって、この差出人に対応する個人音声データと一般音声データとから音声を合成してスピーカから出力する。

更にまた、移動端末装置内には音声合成手段を持たずに、受信側移動端末装置において電子メールを読み上げることを可能にする技術も既に提案されている（例えば、特許文献３参照）。
特許文献３に提案されている技術では、サーバシステムに着信したメールのコピーを音声合成エンジンで音声ファイルに変換し、この音声ファイルを受信側移動端末装置にダウンロードする。そして、受信側移動端末装置においてダウンロードした音声ファイルを自動的に読み上げる。

また、テキストデータに基づいて音声を発生させるのみならず、音声に対応する適切なタイミングで顔などの動画像を発生させようとする提案がある（例えば、特許文献４参照）。
特許文献４に提案されている技術では、テキストデータに基づいて音声を合成する音声合成手段と、音声発生のタイミングに歩調を合わせた動画像を発生させる動画像発生手段とを持つサーバを移動パケット通信網上に設け、移動端末装置同士で、このサーバを経由して通信を行う。

更に、搭載容量の限られた移動端末装置等において、大規模の音声データベースを利用する場合と同様の高品質な音声合成を可能にしようとする提案もある（例えば、特許文献５参照）。
特許文献５に提案されている技術では、移動端末装置側に小規模のローカル音声データベースを用意し、ここに保有された限りのデータでテキストデータから音声を合成する一方、適宜にネットワーク介して遠隔地の大規模・大容量音声データベースから豊富な音声素片データをダウンロードし、これを利用して音声を合成する。

更にまた、ネットワークサーバを介して、複雑な画像処理を含む動画像を用いた通信を移動端末装置間で行えるようにしようとする提案もある（例えば、特許文献６参照）。
特許文献６に提案されている技術では、移動端末装置に搭載されたカメラで撮影した顔写真の画像データをネットワークサーバに登録しておき、所望の登録画像に基づいて好みに応じてカスタマイズ処理可能な中間画像を生成し、この中間画像をユーザの移動端末装置に送信してカスタマイズされた顔画像の表示に供する。

特開２００７−１７９３０５号公報（要約、請求項１、段落００１４、段落００２２、他）特開２００７−２９９３５２号公報（要約、段落０００５、他）特開２００７−２３３４３５号公報（要約、請求項１、段落０００９、段落００１７、他）特開２００６−４８３７９号公報（要約、請求項１、段落０００３、段落０００４、他）特開２００３−２３３３８６号公報（要約、請求項１、段落０００４、段落０００５、他）特開２００３−２４２４８０号公報（要約、請求項２、他）

上掲の従来技術では、何れも、送信側主導でテキストデータから音声や顔の動画像等の知覚表象を合成するように指示し、これらの知覚表象を受信側で再生させる（特許文献１〜６）。受信側でこのような知覚表象の合成処理を実行することは移動端末装置としては、合成に必要なデータベースを保持することが出来ないか、あるいは、合成処理の負担が大きいといった理由により、中継サーバにおいてこの合成処理を担うようにシステムを構築することも既に提案されている（特許文献１における「メッセージ変換サーバ」、特許文献３における「サーバシステム」、特許文献４における「サーバ」、特許文献５における「サーバ」等）。

但し、近年、特に処理負荷の観点では、携帯電話のような小型の端末における情報処理能力が著しく向上し、音声合成を問題なく行えるようになるなど解決されつつある。
一方、知覚表象の合成処理に供する音声素片データや撮影画像データ等をネットワーク上のサーバに用意しておき、移動端末装置では、適宜これらのデータを利用して知覚表象の合成処理を実行している（特許文献５における大規模・大容量音声データベースの音声素片データ、特許文献６におけるネットワークサーバに登録された顔写真の画像データ等）。

この場合、送信側移動端末装置から発したテキストデータに基づいて受信側移動端末装置で当該テキストデータに対応する、例えば、発信者を模した顔の画像や音声等の知覚表象を合成する表象合成コミュニケーションモードにおいて、発信者本人を表す知覚表象を合成する場合には、着信者側の端末で、発信側が指定する可能性のある全てのプログラムを予め保持するといったことは現実的ではない。このため、着信者側の端末で合成された知覚表象を再生するために、中継サーバにおいて汎用的なファイル形式（.WAV/.3gp/.flv etc）に変換し、該変換を施したデータを渡す必要があった。従って、発信者・着信者間で本人を模した表象合成コミュニケーションモードでの通信を行おうとした場合、表象合成コミュニケーションモードでの通信の継続中はテキストデータに基づいて知覚表象を合成する処理を持続させ、処理結果のデータを受信側に供給し続けるといった方法を採る場合にはネットワークサーバの負担が極めて重くなる。

またユーザにおいても、特に映像ファイルなどの比較的大容量のファイルをダウンロードする場合における遅延時間が、端末で映像を合成するケースに比べて長くなってしまい、発信者が指定する知覚表象合成プログラムを利用したコミュニケーションは課題があった。
さらに当該知覚表象の態様を、発信者側だけでなく、受信者側の要望ないし事情に応じたものにしようとする視点が無いため、例えば受信側の意思と関係なく音声・画像・映像ファイルを送信され、受信側のパケット料金が高額になる恐れがあるといった課題があった。

本願発明は、上述のような状況に鑑みてなされたものであり、受信側移動端末装置で再生される知覚表象の態様を受信者側の要望ないし事情に適合したものにすると共に、テキストデータに基づく本人を模した表象合成コミュニケーションに介在するネットワークサーバを合成処理サーバとしてではなく、移動端末装置での合成処理のためのアシストサーバとして位置づけ、ネットワークサーバの負担を大きく軽減する、通信システム、表象合成用アプリケーションプログラムデータベースサーバ、マッチングデータベースサーバ、移動端末装置を提供することを目的とする。

上記目的を達成するために、本願では、次に列記するような技術を提案する。
（１）受信側移動端末装置における知覚表象の合成処理に適用する表象合成用アプリケーションプログラムの候補を複数保有する合成用プログラムデータベース部と、前記合成用プログラムデータベース部に保有された複数の表象合成用アプリケーションプログラムのうち前記受信側移動端末装置からの選択に応じたものを前記受信側移動端末装置に供給する合成用プログラムデータ供給部と、を有し、送信側移動端末装置から送信されたテキストデータに基づいて、少なくとも静止画像、動画像、および、筆跡のうちの一つを含む知覚表象を合成する表象合成用アプリケーションプログラムデータベースサーバと、
前記受信側移動端末装置で当該テキストデータに基づいて知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを選択的に取得するに際しての適切な選択を規定するマッチングデータを保有するマッチングデータベース部と、前記マッチングデータベース部に保有されたマッチングデータを前記受信側移動端末装置に提供するマッチングデータ供給部と、を有するマッチングデータベースサーバと、を備え、
前記表象合成用アプリケーションプログラムデータベースサーバと前記マッチングデータベースサーバとを、前記受信側移動端末装置からアクセス可能に、ネットワーク上に設けて、前記受信側移動端末装置で前記知覚表象を合成し再生する表象合成コミュニケーションモードでの通信を行うことを特徴とする通信システム。

上記（１）の通信システムは、送信側移動端末装置から送信されたテキストデータに基づいて受信側移動端末装置で知覚表象を合成し再生する表象合成コミュニケーションモードでの通信が可能に構築され、前記受信側移動端末装置からアクセス可能に、ネットワーク上に、表象合成用アプリケーションプログラムデータベースサーバとマッチングデータベースサーバとが設けられている。
この表象合成用アプリケーションプログラムデータベースサーバは、合成用プログラムデータベース部と、合成用プログラムデータ供給部とを有し、送信側移動端末装置から送信されたテキストデータに基づいて、少なくとも静止画像、動画像、および、筆跡のうちの一つを含む知覚表象を合成する。この合成用プログラムデータベース部は、前記受信側移動端末装置における知覚表象の合成処理に適用する表象合成用アプリケーションプログラムの候補を複数保有する。また、合成用プログラムデータ供給部は、前記合成用プログラムデータベース部に保有された複数の表象合成用アプリケーションプログラムのうち前記受信側移動端末装置からの選択に応じたものを前記受信側移動端末装置に供給する。
このマッチングデータベースサーバは、マッチングデータベース部と、マッチングデータ供給部とを有する。このマッチングデータベース部は、前記受信側移動端末装置で当該テキストデータに基づいて知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを選択的に取得するに際しての適切な選択を規定するマッチングデータを保有する。また、マッチングデータ供給部は、前記マッチングデータベース部に保有されたマッチングデータを前記受信側移動端末装置に提供する。

前記受信側移動端末装置は、ネットワークを介し、表象合成用アプリケーションプログラムデータベースサーバからその合成用プログラムデータ供給部を通して表象合成用アプリケーションプログラムを取得できる。また、前記受信側移動端末装置は、ネットワークを介し、マッチングデータベースサーバからそのマッチングデータ供給部を通して上述のマッチングデータを取得できる。受信側移動端末装置では、該マッチングデータに依拠して、当該送信側移動端末装置から送信されたテキストデータに基づいて知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを適切に選択することができる。更に、前記受信側移動端末装置では、該取得した表象合成用アプリケーションプログラムを自装置で稼動させることによって、送信側移動端末装置から送信されたテキストデータに基づいて、受信者が指定した知覚表象を合成する。さらに、表象合成用アプリケーションプログラムデータベースサーバからこのような表象合成用アプリケーションプログラムを取得した受信側移動端末装置では、該取得した表象合成用アプリケーションプログラムによって少なくとも静止画像、動画像、および、筆跡のうちの一つを含む知覚表象を合成することができる。

（２）前記静止画像および前記動画像は、前記送信側移動端末装置のユーザの顔を撮影したデータに基づいてその顔を模して再構築された静止画像および動画像、又は前記受信側移動端末装置で選択されたカスタマイズされた静止画像または動画像であることを特徴とする（１）の通信システム。

上記（２）の通信システムは、（１）の通信システムにおいて特に、前記静止画像および前記動画像を、前記送信側移動端末装置のユーザの顔を撮影したデータに基づいてその顔を模して再構築された静止画像および動画像、又は前記受信側移動端末装置で選択されたカスタマイズされた静止画像または動画像としている。

（３）前記知覚現象として、音声をさらに含み、
前記音声は、前記送信側移動端末装置のユーザの声若しくは前記ユーザの声を模した声音、又は前記受信側移動端末装置で選択されたカスタマイズされた音声であることを特徴とする（１）又は（２）の通信システム。
上記（３）の通信システムは、（１）又は（２）の通信システムにおいて特に、前記音声が、前記送信側移動端末装置のユーザの声若しくは前記ユーザの声を模した声音、又は前記受信側移動端末装置で選択されたカスタマイズされた音声である。

（４）前記通信が、前記送信側移動端末装置及び前記受信側移動端末装置間のチャットであることを特徴とする（１）から（３）のいずれかの通信システム。
上記（４）の通信システムは、（１）から（３）のいずれかに記載の通信システムにおいて特に、前記受信側移動端末装置で行われる前記知覚表象を合成し再生する表象合成コミュニケーションモードでの通信がチャットである。

（５）前記表象合成用アプリケーションプログラムデータベースサーバの前記合成用プログラムデータベース部は、同一の前記受信側移動端末装置に対応する選択可能な複数の表象合成用アプリケーションプログラムを保有することを特徴とする（１）から（４）のいずれかに記載の通信システム。
上記（５）の通信システムは、（１）から（４）のいずれかの通信システムにおいて特に、その合成用プログラムデータベース部は、同一の前記受信側移動端末装置に対応する選択可能な複数の表象合成用アプリケーションプログラムを保有する。従って、同一の前記受信側移動端末装置において、受信者の所望に応じた態様での表象合成を行うことができる。また、同一の前記受信側移動端末装置において、例えば、顔の動画像と音声といったような複数の知覚表象を同時に合成して顔の動きと音声とを伴った表象合成コミュニケーションモードでの通信を行うことができる。

（６）受信側移動端末装置で知覚表象を合成し再生する表象合成コミュニケーションモードでの通信が可能な通信システムにおいて、前記受信側移動端末装置からアクセス可能にネットワーク上に設けられ、
前記受信側移動端末装置で送信側移動端末装置から送信されたテキストデータに基づいて少なくとも静止画像、動画像、および、筆跡を含む知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを選択的に取得するに際しての適切な選択を規定するマッチングデータを保有するマッチングデータベース部と、
前記マッチングデータベース部に保有されたマッチングデータを前記受信側移動端末装置に提供するマッチングデータ供給部と、
を備える
ことを特徴とするマッチングデータベースサーバ。

上記（６）のマッチングデータベースサーバは、前記受信側移動端末装置からアクセス可能に、前記ネットワーク上に設けてある。
このマッチングデータベースサーバは、前記受信側移動端末装置で送信側移動端末装置から送信されたテキストデータに基づいて少なくとも静止画像、動画像、および、筆跡を含む知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを選択的に取得するに際しての適切な選択を規定するマッチングデータを保有するマッチングデータベース部と、前記マッチングデータベース部に保有されたマッチングデータを前記受信側移動端末装置に提供するマッチングデータ供給部と、を有する。

前記受信側移動端末装置は、ネットワークを介し、マッチングデータベースサーバからそのマッチングデータ供給部を通して上述のマッチングデータを取得できる。受信側移動端末装置では、該マッチングデータに依拠して、当該送信側移動端末装置から送信されたテキストデータに基づいて知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを適切に選択することができる。

（７）前記マッチングデータベース部は、複数の受信側移動端末装置に各別に対応する複数のマッチングデータを保有することを特徴とする（６）のマッチングデータベースサーバ。
上記（７）のマッチングデータベースサーバは、（６）のマッチングデータベースサーバにおいて特に、そのマッチングデータベース部は、複数の受信側移動端末装置に各別に対応する複数のマッチングデータを保有する。受信側移動端末装置は、自装置に対応するマッチングデータを取得でき、該マッチングデータに依拠して、当該送信側移動端末装置から送信されたテキストデータに基づいて知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを適切に選択することができる。従って、上述のようなマッチングデータベースサーバを備えた通信システムでは、単一のマッチングデータベースサーバによって、複数の移動端末装置における表象合成コミュニケーションモードでの通信を賄うことができる。

（８）前記静止画像および前記動画像は、前記送信側移動端末装置のユーザの顔を撮影したデータに基づいてその顔を模して再構築された静止画像および動画像、又は前記受信側移動端末装置で選択されたカスタマイズされた静止画像または動画像であることを特徴とする（６）又は（７）に記載のマッチングデータベースサーバ。

受信側移動端末装置で再生される知覚表象の態様を受信者側の要望ないし事情に適合したものにすると共に、テキストデータに基づく知覚表象の合成処理に介在するネットワークサーバの負担が過剰になることを抑止した通信システム、表象合成用アプリケーションプログラムデータベースサーバ、マッチングデータベースサーバ、移動端末装置を具現することができる。

本発明の通信システムの一つの実施の形態を表す概念図である。図１の通信システムの動作を表すシーケンスチャートである。図１の通信システムにおいて受信側移動端末装置として用いる移動端末装置の構成例を表す機能ブロック図である。図３の移動端末装置において稼動する表象合成コミュニケーション用アプリケーションプログラムの構造を表す概念図である。図１の表象合成用アプリケーションプログラムデータベースサーバにおける表象合成用アプリケーションプログラムの保有形態を例示する概念図である。図１のマッチングデータベースサーバにおけるマッチングデータの保有形態を例示する概念図である。

以下に図面を参照しつつ本発明の実施の形態につき詳述することにより本発明を明らかにする。
（通信システムの構成例）
図１は、本発明の通信システムの一つの実施の形態を表す概念図である。この通信システム１００は、第１の移動端末装置１０１から送信されたテキストデータに基づいて例えば、送信者の顔の動画像や音声などの知覚表象を第２の移動端末装置１０２で合成し、再生（表示・発音）する表象合成コミュニケーションモードでの通信が可能に構築されている。

第１および第２の移動端末装置１０１，１０２は、ユーザの操作に応じて、一方が送信側移動端末装置として機能し他方が受信側移動端末装置として機能する点ではこの種の通常の移動端末装置と変わりがなく、また、図３を参照して後述するように、双方とも同様の構成を有する。
第１の移動端末装置１０１と第２の移動端末装置１０２とは通常の如く呼制御装置１１０を介してメール等によるテキストデータのコミュニケーションが可能である。

尚、図１では第１の移動端末装置１０１と呼制御装置１１０との間の無線区間および有線区間を含む情報の伝送路１１１を成すインフラストラクチャが介在するが、本発明ではそのインフラストラクチャの具体的態様を問うものではなく、従って、象徴的表記で略記されている。同様に、第２の移動端末装置１０２と呼制御装置１１０との間の伝送路１１２も象徴的表記で略記されている。

一方、第１および第２の移動端末装置１０１，１０２からアクセス可能に、ネットワーク上に、表象合成用アプリケーションプログラムデータベースサーバ１２０およびマッチングデータベースサーバ１３０が設けられている。
表象合成用アプリケーションプログラムデータベースサーバ１２０は、合成用プログラムデータベース部１２１と、合成用プログラムデータ供給部１２２とを有する。

合成用プログラムデータベース部１２１は、第１および第２の移動端末装置１０１，１０２における知覚表象の合成処理に適用する表象合成用アプリケーションプログラムの候補を複数保有する。
また、合成用プログラムデータ供給部１２２は、合成用プログラムデータベース部１２１に保有された複数の表象合成用アプリケーションプログラムのうち受信側移動端末装置（例えば、ある時間区間では第２の移動端末装置１０２）からの選択に応じたものを受信側移動端末装置（上述の時間区間では第２の移動端末装置１０２）に供給する。この供給は該当するデータのダウンロードの形で行われる。

一方、マッチングデータベースサーバ１３０は、マッチングデータベース部１３１と、マッチングデータ供給部１３２とを有する。
マッチングデータベース部１３１は、受信側移動端末装置（上述の時間区間では第２の移動端末装置１０２）で当該テキストデータに基づいて知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを選択的に取得するに際しての適切な選択を規定するマッチングデータを保有する。

また、マッチングデータベース部１３１に保有された上述のマッチングデータを、受信側移動端末装置（上述の時間区間では第２の移動端末装置１０２）に提供する。
上述のような構成において、表象合成用アプリケーションプログラムデータベースサーバ１２０の合成用プログラムデータベース部１２１に保有されている表象合成用アプリケーションプログラムは、受信側移動端末装置（上述の時間区間では第２の移動端末装置１０２）内で稼動することによって、送信側の移動端末装置（上述の時間区間では第１の移動端末装置１０１）から供給されたテキストデータに基づいて、音声、静止画像、動画像、および、筆跡のうちの少なくとも一つを含む知覚表象を合成するように機能する。

因みに、音声は、送信側のユーザの声やその声を模した声音のみならず、受信側のユーザが所望に応じて選択するカスタマイズされた音声である。同様に、静止画像や動画像は、送信側のユーザの顔を撮影したデータに基づいてその顔を模して再構築された静止画像や動画像のみならず受信側のユーザが所望に応じて選択するカスタマイズされた静止画像や動画像である。

上述におけるカスタマイズは、表象合成用アプリケーションプログラムがそのカスタマイズに適合するものとして構成され、該構成された表象合成用アプリケーションプログラムが表象合成処理を実行するべく稼動することによって達成される。
尚、これら受信側で再生される知覚表象に関しては、筆跡についても同様である。また、三次元のＣＧ画像（３Ｄ−ＣＧ）等も上述の知覚表象として適用され得る。更に、これら音声、静止画像、動画像、および、３Ｄ−ＣＧのような知覚表象が適宜に組み合わされて再生されるように構成してもよい。

（通信システムの動作）
次に、図面を参照して、図１の通信システムの動作について説明する。
図２は、図１の通信システムの動作を表すシーケンスチャートである。
チャット実行要求（SIP_Invite）が第１の移動端末装置１０１から発せられると、このSIP_Inviteが呼制御装置１１０を経て第２の移動端末装置１０２に送信される（Ｓ２０１；Ｓ２０２）。このSIP_Inviteは、自装置で利用可能なコミュニケーション手段（例えば、ユーザの顔をシンボリックに表す動画像と声音とをそれぞれ合成するアプリケーションソフトウェアを特定する情報）に関する情報を含むような態様を採り得る。

ステップＳ２０２のチャット実行要求SIP_Inviteを受けて、第２の移動端末装置１０２は、SIP_Inviteに対する200OKなるチャット実行受諾応答を、呼制御装置を経て第１の移動端末装置１０１に返す（Ｓ２０３；Ｓ２０４）。
このチャット実行受諾応答200OKは、相手方が利用可能なコミュニケーション手段（例えば、ユーザの顔をシンボリックに表す動画像と声音とをそれぞれ合成するアプリケーションソフトウェアを特定する情報）のうち自装置側が利用可能なコミュニケーション手段に関する情報を含むような態様を採り得る。
Ｓ２０４でのチャット実行受諾応答200OKを受けた第１の移動端末装置１０１は、200OKに対するACKを、呼制御装置を経て第２の移動端末装置１０２に返す（Ｓ２０５；Ｓ２０６）。
Ｓ２０６においてACKが返されることにより3way hand shakeが結ばれ、メディアプレーンが確立する。

次いで、第２の移動端末装置１０２は、Ｓ２０２で受けたチャット実行要求に基づいて、第１の移動端末装置１０１が利用可能であり且つ自装置側で所望する形態でのチャットを実現するために、本セッションにおいて適用するアプリケーションソフトウェアを表す情報（例えば、送信元である第１の移動端末装置１０１のユーザの顔をシンボリックに表す動画像と声音とをそれぞれ合成するアプリケーションソフトウェアを特定する情報）をマッチングデータベースサーバに要求する（Ｓ２０７）。

Ｓ２０７の要求を受けたマッチングデータベースサーバは、この要求に適合するアプリケーションソフトウェアを検索し（Ｓ２０８のマッチング処理）、該当するアプリケーションソフトウェアを表す情報を第２の移動端末装置１０２に返す（Ｓ２０９）。
但し、既述の例のようにSIP_Inviteが第１の移動端末装置１０１で利用可能なコミュニケーション手段に関する情報を含む態様を採り、且つ、200OKが第２の移動端末装置１０２で利用可能なコミュニケーション手段に関する情報を含む態様を採ることによって、本セッションにおいて適用するアプリケーションソフトウェアを特定する情報を交換済である場合には、これらのステップＳ２０７〜ステップＳ２０９の処理は省略される。

一方、第１の移動端末装置１０１も、同様に、自装置（第１の移動端末装置１０１）が利用可能であり且つ第２の移動端末装置１０２側が所望する形態でのチャットを実現するために、適用するアプリケーションソフトウェアを表す情報（例えば、相手先…第２の移動端末装置１０２のユーザ…の顔をシンボリックに表す動画像と声音とをそれぞれ合成するアプリケーションソフトウェアを特定する情報）をマッチングデータベースサーバに要求する（Ｓ２１０）。

Ｓ２１０の要求を受けたマッチングデータベースサーバは、この要求に適合するアプリケーションソフトウェアを検索し（Ｓ２１１）、該当するアプリケーションソフトウェアを表す情報を第１の移動端末装置１０１に返す（Ｓ２１２）。
一方、既に、上述のＳ２０９のマッチング応答を受けた第２の移動端末装置１０２は、マッチング応答で取得した情報に基づいて、この情報によって表されるアプリケーションソフトウェア（例えば、送信元である第１の移動端末装置１０１のユーザの顔をシンボリックに表す動画像と声音とをそれぞれ合成するアプリケーションソフトウェア）を表象合成用アプリケーションプログラムデータベースサーバ１２０に要求する（Ｓ２１３）。

Ｓ２１３の要求を受けた表象合成用アプリケーションプログラムデータベースサーバ１２０は、要求されたアプリケーションソフトウェアを第２の移動端末装置１０２に供給する（Ｓ２１４）。
また、第１の移動端末装置１０１も、同様に、Ｓ２１２のマッチング応答を受けると、マッチング応答で取得した情報に基づいて、この情報によって表されるアプリケーションソフトウェア（例えば、相手先…第２の移動端末装置１０２のユーザ…の顔をシンボリックに表す動画像と声音とをそれぞれ合成するアプリケーションソフトウェア）を表象合成用アプリケーションプログラムデータベースサーバ１２０に要求する（Ｓ２１５）。

Ｓ２１５の要求を受けた表象合成用アプリケーションプログラムデータベースサーバ１２０は、要求されたアプリケーションソフトウェアを第１の移動端末装置１０１に供給する（Ｓ２１６）。
第２の移動端末装置１０２は、Ｓ２１６までのステップで、文字データに基づいて、送信元である第１の移動端末装置１０１のユーザの顔をシンボリックに表す動画像と声音とをそれぞれ合成する準備ができ、この準備が整った旨の準備完了応答を第１の移動端末装置１０１に送る（Ｓ２１７；Ｓ２１８）。

Ｓ２１８の準備完了応答を受けた第１の移動端末装置１０１は、チャット開始要求を第２の移動端末装置１０２に送る（Ｓ２１９；Ｓ２２０）。
尚、ステップＳ２０１〜ステップＳ２０４で第１の移動端末装置１０１および第２の移動端末装置１０２間でＩＰアドレスの交換が行われており、上述の準備が完了した側から相手方にチャット開始要求を送信することができる。
Ｓ２２０でのチャット開始要求を第２の移動端末装置１０２が受けると、第１の移動端末装置１０１および第２の移動端末装置１０２間でのセッションが確立する（Ｓ２２１）。ここに「セッション」とは、アプリケーション上でのセッション認識であり、コアネットワーク（ＳＩＰレイヤ）としてのセッションはステップＳ２０４までで確立している。

第２の移動端末装置１０２では、Ｓ２１４までのステップで取得した動画像と声音とを文字データに基づいて合成する表象合成用アプリケーションソフトウェアによって、自装置（第２の移動端末装置１０２）の表示部に（例えば、第１の移動端末装置１０１のユーザの顔をシンボリックに表す動画像の）表示を行い、発音部から声音を発生させる（Ｓ２２２）。
Ｓ２２２での表示と声音を視聴した第２の移動端末装置１０２のユーザの操作による返信が第２の移動端末装置１０２から第１の移動端末装置１０１に返される（Ｓ２２３；Ｓ２２４）。

第１の移動端末装置１０１では、第２の移動端末装置１０２におけると同様に、Ｓ２１６までのステップで取得した動画像と声音とを文字データに基づいて合成するアプリケーションソフトウェアによって、自機の表示部に（例えば、第２の移動端末装置１０２のユーザの顔をシンボリックに表す動画像の）表示を行い、発音部から声音を発生させる（Ｓ２２５）。

以上、図２を参照して説明したところから容易に理解されるとおり、受信側移動端末装置として機能する移動端末装置（１０２、１０１）は、ネットワークを介し、表象合成用アプリケーションプログラムデータベースサーバ１２０からその合成用プログラムデータ供給部１２２を通して表象合成用アプリケーションプログラムを取得できる。この取得はマッチングデータベースサーバ１３０からのマッチングデータに依拠して行う。

更に、受信側移動端末装置として機能する移動端末装置（１０２、１０１）では、該取得マッチングデータに依拠して取得した表象合成用アプリケーションプログラムを自装置で稼動させることによって、送信側移動端末装置として機能する移動端末装置（１０１、１０２）から送信されたテキストデータに基づいて知覚表象を合成する。上述の如くして表象合成コミュニケーションモードでの通信が行われる。

従って、表象合成用アプリケーションプログラムデータベースサーバ１２０やマッチングデータベースサーバ１３０等のネットワークサーバでは、表象合成コミュニケーションモードでの通信の継続期間に亘って知覚表象の合成処理を持続するといった必要がなく、その負担が過剰になることが抑止される。
また、受信側移動端末装置で再生される知覚表象の態様を、通信の当事者の所望に応じたカスタマイズを施すことによって本人性を模した、或いは受信者側の要望ないし事情に適合したものにすることができる。

（移動端末装置の構成例）
図３は、図１の通信システムにおいて受信側移動端末装置として用いる移動端末装置の構成例を表す機能ブロック図である。
図３の移動端末装置は、既述のように同様の構成を有する第１および第２の移動端末装置１０１，１０２を代表的に表し、送信側および受信側の何れの移動端末装置としても適合し、ここでは両者を総じて参照符号３１０を割り当てている。
この移動端末装置３１０は、操作部３１１、送受信部３１２、メモリ３１３、画像合成処理部３１４、画像表示部３１５、音声合成処理部３１６、および、音声出力部３１７を備え、これら各部は制御部３１８によって統括的に管理されるように構成されている。また、制御部３１８とその管理対象である各部はバス３１９によって結ばれている。

操作部３１１は複数の入力キーを含んで構成され、ユーザによる通信その他の機能を利用するための種々の入力操作を受付ける。
送受信部３１２は、操作部３１１および制御部３１８との協働によって通信の相手方である移動端末装置との信号の授受や、ネットワーク上の種々のサイトへのアクセスおよび当該サイトからのデータのダウンロード等の機能を賄う。この移動端末装置３１０における、表象合成用アプリケーションプログラムデータベースサーバ１２０からの表象合成用アプリケーションプログラムの取得も、この送受信部３１２を通して行われる。同様に、マッチングデータベースサーバ１３０からのマッチングデータの取得も、この送受信部３１２を通して行われる。

また、図１の呼制御装置１１０を介してのテキストデータによるコミュニケーション（所謂携帯メール）も、この送受信部３１２を通して行われる。
メモリ３１３は、移動端末装置３１０がその仕様の通り機能するためのプログラムを保持し、また、所要のワークメモリとしての領域を提供している。
画像合成処理部３１４は、取得した表象合成用アプリケーションプログラムを稼動させて、テキストデータに基づいて、既述の、静止画像、動画像、および、筆跡のような視覚に訴える知覚表象を形成する。ここで形成された知覚表象は画像表示部３１５に表示される。

一方、音声合成処理部３１６は、取得した表象合成用アプリケーションプログラムを稼動させて、テキストデータに基づいて、既述のような顔画像や音声である知覚表象を形成する。ここで形成された知覚表象は音声出力部３１７から発音される。
以上の構成において、操作部３１１、送受信部３１２、および、制御部３１８によって、表象合成用アプリケーションプログラム取得部３２１が構成されている。この表象合成用アプリケーションプログラム取得部３２１が、表象合成用アプリケーションプログラムデータベースサーバ１２０から自装置における知覚表象の合成に適用する表象合成用アプリケーションプログラムを選択的に取得する。この取得には、操作部３１１からの操作を受け付ける動作によって受信側のユーザの意思が反映される。

また、画像合成処理部３１４、音声合成処理部３１６、および、制御部３１８によって知覚表象合成部３２２が構成されている。この知覚表象合成部３２２が、表象合成用アプリケーションプログラム取得手段３１２で取得した表象合成用アプリケーションプログラムによって受信したテキストデータに基づいて所定の知覚表象を合成する。
尚、図示の移動端末装置３１０では、操作部３１１、送受信部３１２、および、制御部３１８の協働によって、マッチングデータベースサーバ１３０からのマッチングデータの取得も行われる。

図４は、図１、図２、および、図３における移動端末装置（１０１、１０２、３１０）が既述の表象合成コミュニケーションモードでの通信を実行するために機能する表象合成コミュニケーション用アプリケーションプログラム（複数のプログラムの総称）４１０の内容を表す概念図である。
合成プログラムダウンロードアプリケーション４１１は、その稼動によって、図３の表象合成用アプリケーションプログラム取得部３２１が選択された表象合成用アプリケーションプログラムをダウンロードによって取得するべく機能する。

顔画像合成プログラム４１２は、図３の表象合成用アプリケーションプログラム取得部３２１によって送信側の移動端末装置のユーザの顔の画像ないし顔を模した画像、或いは、受信側端末装置のユーザの所望する顔画像を、受信されたテキストデータに基づいて合成する。この合成処理は、既述の知覚表象合成部３２２のうちの該当する機能部がその処理の実行環境である顔画像合成実行環境４１３となって実行される。

同様に、音声合成プログラム４１４は、図３の表象合成用アプリケーションプログラム取得部３２１によって送信側の移動端末装置のユーザの声音ないし声音を模した音声、或いは、受信側端末装置のユーザの所望する音声を、受信されたテキストデータに基づいて合成する。この合成処理は、既述の知覚表象合成部３２２のうちの該当する機能部がその処理の実行環境である音声合成実行環境４１５となって実行される。

そして、この表象合成コミュニケーションモードでの通信では、顔画像（その変化）と音声とが双方における相応の同期を維持しつつ、且つ、テキストデータの伝送と適度のタイミング関係を保ちながら、逐次表象合成処理を実行するために、複数合成プログラムマネージメントプログラム４１４が備えられている。この複数合成プログラムマネージメントプログラム４１６が既述の制御部３１８をその実行環境として所定の管理機能を発現し、知覚表象の適切な合成と再生（表示と発音）が統括的に管理される。

（表象合成用アプリケーションプログラムの保有形態）
図５は、図１の表象合成用アプリケーションプログラムデータベースサーバにおける表象合成用アプリケーションプログラムの保有形態を例示する概念図である。
一人のユーザのＩＤ毎に、そのユーザが送信元のユーザに対応する知覚表象として用い得る複数の知覚表象を合成するプログラムが保有される。図５の例では、一人のユーザのＩＤ０００１に対して、ユーザ０００１用顔画像合成プログラム、ユーザ０００１用音声合成プログラム、および、ユーザ０００１用筆跡合成プログラム、等々が保有される。
他のユーザについても同様に、知覚表象を合成するプログラムが保有される。これらは、受信側移動端末装置（従って、そのユーザ）から、表象合成コミュニケーションモードでの通信を行うに際して選択可能である。

従って、表象合成用アプリケーションプログラムデータベースサーバ１２０は、その合成用プログラムデータベース部１２１において、同一の受信側移動端末装置（例えば、ユーザ０００１のもの）に対応する選択可能な複数の表象合成用アプリケーションプログラムを保有する。このため、同一の受信側移動端末装置において、受信者の所望に応じた態様での表象合成を行うことができる。また、同一の受信側移動端末装置において、例えば、顔の動画像と音声といったような複数の知覚表象を同時に合成して顔の動きと音声とを伴った表象合成コミュニケーションモードでの通信を行うことができる。

（マッチングデータの保有形態）
図６は、図１のマッチングデータベースサーバにおけるマッチングデータの保有形態を例示する概念図である。
マッチングデータベースサーバ１３０のマッチングデータベース部１３１には、複数の受信側移動端末装置に各別に対応する複数のマッチングデータが保有される。図６の例では、一人のユーザのＩＤ０００１に対して、該当するプログラムのリストに顔画像合成プログラムの使用の有無（有）、音声合成プログラムの使用の有無（有）、３Ｄ−ＣＧ合成プログラムの使用の有無（無）、筆跡合成プログラムの使用の有無（無）…、等々が保持される。

また、更に、ユーザ０００１に対する相手方毎に知覚表象の種別に応じた公開可否の条件を既定するデータが保有される。これは、例えば、相手方の電話番号の別に応じて区分されている。受信側のユーザ（受信側移動端末装置）は、上述のようなマッチングデータによって規定される条件に応じて知覚表象合成用のプログラムを選択的に適用する。
視点を転じて見れば、上述のようなマッチングデータベースサーバを備えた通信システムでは、単一のマッチングデータベースサーバによって、複数の移動端末装置における表象合成コミュニケーションモードでの通信を賄うことができる。

送信側移動端末装置から送信されたテキストデータに基づいて受信側移動端末装置で知覚表象を合成し再生する表象合成コミュニケーションモードでの通信が可能な通信システムの構築に利用することができる。

１００………………通信システム
１０１………………第１の移動端末装置
１０２………………第２の移動端末装置
１１０………………呼制御装置
１１１………………伝送路
１１２………………伝送路
１２０………………表象合成用アプリケーションプログラムデータベースサーバ
１２１………………合成用プログラムデータベース部
１２２………………合成用プログラムデータ供給部
１３０………………マッチングデータベースサーバ
１３１………………マッチングデータベース部
１３２………………マッチングデータ供給部
３１０………………移動端末装置
３１１………………操作部
３１２………………送受信部
３１３………………メモリ
３１４………………画像合成処理部
３１５………………画像表示部
３１６………………音声合成処理部
３１７………………音声出力部
３１８………………制御部
３１９………………バス
３２１………………表象合成用アプリケーションプログラム取得部
３２２………………知覚表象合成部
４１０………………表象合成コミュニケーション用アプリケーションプログラム
４１１………………合成プログラムダウンロードアプリケーション
４１２………………顔画像合成プログラム
４１３………………顔画像合成実行環境
４１４………………音声合成プログラム
４１５………………音声合成実行環境
４１６………………複数合成プログラムマネージメントプログラム

Claims

受信側移動端末装置における知覚表象の合成処理に適用する表象合成用アプリケーションプログラムの候補を複数保有する合成用プログラムデータベース部と、前記合成用プログラムデータベース部に保有された複数の表象合成用アプリケーションプログラムのうち前記受信側移動端末装置からの選択に応じたものを前記受信側移動端末装置に供給する合成用プログラムデータ供給部と、を有し、送信側移動端末装置から送信されたテキストデータに基づいて、少なくとも静止画像、動画像、および、筆跡のうちの一つを含む知覚表象を合成する表象合成用アプリケーションプログラムデータベースサーバと、
前記受信側移動端末装置で当該テキストデータに基づいて知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを選択的に取得するに際しての適切な選択を規定するマッチングデータを保有するマッチングデータベース部と、前記マッチングデータベース部に保有されたマッチングデータを前記受信側移動端末装置に提供するマッチングデータ供給部と、を有するマッチングデータベースサーバと、を備え、
前記表象合成用アプリケーションプログラムデータベースサーバと前記マッチングデータベースサーバとを、前記受信側移動端末装置からアクセス可能に、ネットワーク上に設けて、前記受信側移動端末装置で前記知覚表象を合成し再生する表象合成コミュニケーションモードでの通信を行うことを特徴とする通信システム。
前記静止画像および前記動画像は、前記送信側移動端末装置のユーザの顔を撮影したデータに基づいてその顔を模して再構築された静止画像および動画像、又は前記受信側移動端末装置で選択されたカスタマイズされた静止画像または動画像であることを特徴とする請求項１に記載の通信システム。
前記知覚現象として、音声をさらに含み、
前記音声は、前記送信側移動端末装置のユーザの声若しくは前記ユーザの声を模した声音、又は前記受信側移動端末装置で選択されたカスタマイズされた音声であることを特徴とする請求項１又は請求項２に記載の通信システム。
前記通信が、前記送信側移動端末装置及び前記受信側移動端末装置間のチャットであることを特徴とする請求項１から請求項３のいずれか１項に記載の通信システム。
前記表象合成用アプリケーションプログラムデータベースサーバの前記合成用プログラムデータベース部は、同一の前記受信側移動端末装置に対応する選択可能な複数の表象合成用アプリケーションプログラムを保有することを特徴とする請求項１から請求項４のいずれか１項に記載の通信システム。
受信側移動端末装置で知覚表象を合成し再生する表象合成コミュニケーションモードでの通信が可能な通信システムにおいて、前記受信側移動端末装置からアクセス可能にネットワーク上に設けられ、
前記受信側移動端末装置で送信側移動端末装置から送信されたテキストデータに基づいて少なくとも静止画像、動画像、および、筆跡を含む知覚表象を合成する処理に適用する表象合成用アプリケーションプログラムを選択的に取得するに際しての適切な選択を規定するマッチングデータを保有するマッチングデータベース部と、
前記マッチングデータベース部に保有されたマッチングデータを前記受信側移動端末装置に提供するマッチングデータ供給部と、
を備える
ことを特徴とするマッチングデータベースサーバ。
前記マッチングデータベース部は、複数の受信側移動端末装置に各別に対応する複数のマッチングデータを保有することを特徴とする請求項６に記載のマッチングデータベースサーバ。
前記静止画像および前記動画像は、前記送信側移動端末装置のユーザの顔を撮影したデータに基づいてその顔を模して再構築された静止画像および動画像、又は前記受信側移動端末装置で選択されたカスタマイズされた静止画像または動画像であることを特徴とする請求項６又は請求項７に記載のマッチングデータベースサーバ。