WO2003063483A1 - Dispositif de communication - Google Patents

Description

明 細 書

通信装置 技術の分野

本発明は、 通信端末を持つ複数の相手とネッ 卜ワーク経由で画像 を用いたコミュニケーションをはかるための通信装置に関するもの であり、 特に通信開始時の通信確立方法や、 通信時の通信発信者の 感情情報を正確に相手に伝えるための感情表現機能および画像を修 飾する機能付きの通信装置に関するものである。 背景技術

イン夕一ネッ ト技術の発達に伴い、 チヤッ トゃインターネッ ト電 話， 携帯電話等の様々なコミュニケーションツールが普及するよう になってきている。

ここで、 インターネッ ト上でのコミュニケーショ ンを開始するた めには、 会話対象者のコミュニケ一ショ ンツールがィンターネッ ト に接続されて起動していることが必要である。 従来は、 会話対象者 のコミュニケーションツールが起動しているかどうかの状況を伝達 するものとしては、 I C Q ( http：〃 web . icq. com/)などに記載され たものがあった。 さらに、 コミュニケー ョ ンツールには、 文字に よって意思を伝達し合う物， 音声によって会話する物， 画像を伴つ て会話する物等、' 様々な種類があり、 会話対象者の起動しているコ ミュニケーシヨンツールを識別してその使用状況を伝達してくれる ものもあった。

従って、 これらの技術を用いることで、 こちらが会話対象者の電 子メールアドレス等を指示すれば、 その会話対象者がィン夕ーネッ 卜に接続しているかどうかという ことや、 文字、 音声、 画像等どん なメディアをとおして会話ができるかという ことを把握することが でき、 対応するメディァを通じて会話を開始することができる。

しかしながら、 このようなインターネッ ト上でのコミュニケ一シ ヨ ンでは、 こちらがコミュニケーションをとりたい会話対象者はィ ンターネッ トに接続していないケースが多く、 複数の会話を行いた いメンバーを集めて、 即時に会話や会議を任意の時間に行うことは 非常に困難であった。 通常は、 会話を行いたいメンバ一に予め会話 開始時間を指定しておき、 メンバー全員がその時間にイン夕一ネッ ト接続を終えてから、 会話あるいは会議を開始しなければならない という問題点があった。 また、 インタ一ネッ ト上における画像を用 いたコミュニケーションでは通信経路のデ一夕転送レートが低いた めに、 送信できる画面サイズは小さく抑えられ、 さらに高い比率で 画像データが圧縮される結果、 会話対象者に伝えたいことが正確に 伝わらないという問題点があった。

その他に、 例えば、 近年、 携帯電話のメール機能を用いたコミュ 二ケ一シヨ ンにおいては、 画像データを添付したメールを送受信す ることによりコミュニケーションを取ることが行われている。 この 時、 送信側の携帯電話と受信側の携帯電話の性能に差があるために 、 受信側の携帯電話で画像を正常に表示することができない場合が あった。 そのために、 ある画像データを送信側の携帯電話から受信 側の携帯電話に送信する場合、 あらかじめインターネッ ト上のサ一 バに各携帯電話の性能に対応した画像データを格納しておき、 受信 側の携帯電話からメールでサーバに受信側の携帯電話の機種情報を 送信することにより、 サーバでその機種に対応する画像データを選 択して受信側の携帯電話に送信していた。

しかしながら、 このような従来の通信装置に'おいては、 サーバに 登録された画像データを選択して送信するに際し、 受信側の携帯電 話で正常に表示できるように、 あらかじめ登録された画像データと 同じ画像で画像特性の異なる画像データを用意する必要があった。 そのために、 サーバに登録する画像データを増やした場合や、 対応 する受信側の携帯電話の機種を増やした場合に、 それに伴ってサー バに格納しておく画像データが増加し、 必要となる記憶領域が増大 化するという問題点があった。 また、 送信側の携帯電話が内蔵する カメラ機能により撮影した画像データ等のあらかじめ登録していな い画像データを送信したり、 これら登録していない画像データと登 録された画像データを合成して送信する場合、 これら登録していな い画像データは受信側の携帯電話に対応していない画像データであ る場合があるので、 受信側の携帯電話で送信された画像を正常に表 示できない場合があるという問題点があった。 発明の開示

本発明は、 上記従来の問題点を解決するもので、 イン夕一ネッ ト 上でコミュニケ一シヨンを行う場合に、 会話対象者がインターネッ トに接続されていなくても、 会話対象者に対してネッ トワーク上の サーバへの接続を要請できる通信装置を提供することを目的とする また、 インタ一ネッ ト上でのコミュニケーショ ンにおいて、 自己 の感情を加えてに相手に伝えることができる感情表現機能付きの通 信装置を提供することを目的とする。

さらに、 携帯電話等の通信端末によって画像付きデータを送受信 する場合に、 受信側の通信端末の性能に対応して任意の画像を正常 に表示することのできる通信装置を提供することを目的とする。 上記目的を達成するために、 本発明の請求項 1記載の通信装置は 、 インタ一ネッ トを用いた会話手段であって、 会話者の画像を撮影 する手段と会話参加者全員の画像を表示する手段を備えて会話者の 映像を表示しながらインタ一ネッ トを用いた会話を行う複数の第 1 の通信端末と、 第 1の通信端末に対応して設けられる第 2の通信端 末と、 イン夕一ネッ トを行うためのサーバと、 前記サーバと前記第 1の通信端末とを接続する第 1の通信回線と、 前記サーバと前記第 2の通信端末とを接続する第 2の通信回線とを有し、 第 1 の通信端 末によりインターネッ トを用いた会話を行う際に、 1または 2以上 の会話対象者が所持する第 2の通信端末に前記会話手段への参加要 請を送信することを特徴とする。

請求項 2記載の通信装置は、 請求項 1記載の通信装置において、 前記参加要請に対してある会話対象者が参加不可能な場合、 前記第 2の通信端末により参加不可能な会話対象者が存在するとの情報お よび参加不可能な会話対象者からの任意の情報を前記サーバに送信 し、 前記サーバによりその他の会話対象者の前記第 1の通信端末に 前記参加不可能な会話対象者が存在するとの情報および前記参加不 可能な会話対象者からの任意の情報を送信することを特徴とする。 請求項 3記載の通信装置は、 請求項 1 または請求項 2のいずれか に記載の通信装置において、 前記第 2の通信端末が電子メール機能 付きの携帯型電話であることを特徴とする。 請求項 4記載の通信装置は、 請求項 1 または請求項 2のいずれか に記載の通信装置において、 前記第 2の通信端末がポケッ トベルで あることを特徴とする。

請求項 5記載の通信装置は、 請求項 1 または請求項 2のいずれか に記載の通信装置において、 前記第 1の通信端末と第 2の通信端末 を電子メール機能付き携帯端末で共用することを特徴とする。

請求項 6記載の通信装置は、 請求項 5記載の通信装置において、 前記第 1の通信回線および第 2の通信回線が共用されて 1つの通信 回線によりサーバに接続することを特徴とする。

請求項 7記載の通信装置は、 請求項 1 または請求項 2 または請求 項 3または請求項 4または請求項 5または請求項 6いずれかに記載 の通信装置において、 前記会話対象者を識別する情報として本名あ るいはニックネームを用いることを特徴とする。

請求項 8記載の通信装置は、 請求項 1 または請求項 2 または請求 項 3または請求項 4または請求項 5または請求項 6のいずれかに記 載の通信装置において、 前記会話対象者を識別する情報として電子 メールのアドレスを用いることを特徴とする。

請求項 9記載の通信装置は、 インタ一ネッ トを用いた通信手段で あって、 通信者の画像を撮影する手段と通信参加者全員の画像を表 示する手段と画像情報付加用スィツチと感情を表現する画像情報を 選択する手段を備えインターネッ 卜を用いた通信を行う複数の通信 端末と、 インターネッ トを行うためのサーバと、 前記サーバと前記 通信端末とを接続する通信回線と、 前記感情を表現する画像情報を 記録する手段とを有し、 前記画像情報付加用スィ ツチの指示により 、 前記感情を表現する画像情報を選択する手段により選択された感 情を表現する画像情報を、 前記画像を撮影する手段により撮影され た画像と合成して、 前記画像を表示する手段で表示することを特徴 とする。

請求項 1 0記載の通信装置は、 請求項 9記載の通信装置において 、 前記感情を表現する画像情報を選択する手段により選択された感 情を表現する画像情報と前記画像を撮影する手段により撮影された 画像との合成を、 画像情報を選択した通信端末側で行い、 前記サ一 パを経由して通信対象者の通信端末へ送信して通信対象者の通信端 末上の画像を表示する手段に表示することを特徴とする。

請求項 1 1記載の通信装置は、 請求項 9記載の通信装置において 、 前記感情を表現する画像情報を選択する手段により選択された感 情を表現する画像情報と前記画像を撮影する手段により撮影された 画像との合成をサーバで行い、 通信対象者の通信端末へ送信して通 信対象者の通信端末上の画像を表示する手段に表示することを特徴 とする。

請求項 1 2記載の通信装置は、 請求項 9記載の通信装置において 、 前記感情を表現する画像情報を選択する手段により選択された感 情を表現する画像情報と前記画像を撮影する手段により撮影された 画像をそれぞれ通信対象者の通信端末側に送信し、 合成を通信対象 者の通信端末側で行って画像を表示する手段に表示することを特徴 とする。

請求項 1 3記載の通信装置は、 請求項 9記載の通信装置において 、 前記感情を表現する画像情報を選択する手段により選択された感 情を表現する画像情報は、 前記画像を撮影する手段により撮影され た画像の変化に対応してその合成する位置や形状を変化させること を特徴とする。 、 請求項 1 4記載の通信装置は、 請求項 1 3記載の通信装置におい て、 前記画像を撮影する手段により撮影された画像の変化として人 物の顔の位置の変化に対応することを特徴とする。

請求項 1 5記載の通信装置は、 請求項 9記載の通信装置において 、 前記情報付加用スィツチを用いた指示を通信発信者が機械的に直 接行うことを特徴とする。

請求項 1 6記載の通信装置は、 請求項 9記載の通信装置において 、 前記情報付加用スィッチは、 音声キーワードを登録した記憶装置 を有し、 通信中の音声と前記音声キーワードの一致不一致により画 像情報付加の指示を決定することを特徴とする。

請求項 1 7記載の通信装置は、 請求項 9記載の通信装置において 、 前記情報付加用スィッチは、 任意の表情画像を登録した記憶装置 を有し、 通信中の画像と前記表情画像の.一致不一致により画像情報 付加の指示を決定することを特徴とする。

請求項 1 8記載の通信装置は、 請求項 9記載の通信装置において 、 前記サーバに記憶された感情を表現する画像情報を任意に取得し て合成することを特徴とする。

請求項 1 9記載の通信装置は、 請求項 9記載の通信装置において 、 サーバに接続された任意の装置にて作成された前記感情を表現す る画像情報を取得して合成することを特徴とする。

請求項 2 0記載の通信装置は、 請求項 9記載の通信装置において 、 前記感情を表現する画像情報が図形であることを特徴とする。 請求項 2 1記載の通信装置は、 請求項 9記載の通信装置において 、 前記感情を表現する画像情報が自然画像であることを特徴とする 02 13038

- 8 -

請求項 2 2記載の通信装置は、 請求項 9記載の通信装置において 、 前記感情を表現する画像情報が文字または記号であることを特徴 とする。

請求項 2 3記載の通信装置は、 請求項 1 または請求項 2または請 求項 9記載の通信装置において、 前記通信が音声による会話で行わ れる場合に、 前記サーバにおいて、 会話中の音声の大きさにより発 言者を特定し、 前記画像を表示する手段にてその発言者の画像を拡 大して表示することを特徴とする。

請求項 2 4記載の通信装置は、 請求項 1 または請求項 2または請 求項 9記載の通信装置において、 前記通信が音声による会話で行わ れる場合に、 前記サーバにおいて、 会話中の各発言者の音声波形を 整流し、 整流した直流成分を一定の時間単位で積分して積分値が所 定の閾値を超えた会話参加者の画像を任意に拡大し、 前記積分値が 前記閾値を超える会話参加者がいない場合には各会話参加者からの 画像を均等の大きさで、 前記画像を表示する手段にて表示すること を特徵とする。

請求項 2 5記載の通信装置は、 請求項 1 または請求項 2または請 求項 9記載の通信装置において、 前記通信が音声による会話で行わ れる場合に、 前記サーバにおいて、 会話中の各発言者の音声波形を 整流し、 整流した直流成分を一定の時間単位で積分し、 さらに複数 の時間単位に渡る積分値の平均値を求めて積分値が所定の閾値を超 えた会話参加者の画像を任意に拡大し、 前記積分値が前記閾値を超 える会話参加者がいない場合には各会話参加者からの画像を均等の 大きさで、 前記画像を表示する手段にて表示することを特徴とする 02 13038

- 9 -

請求項 2 6記載の通信装置は、 請求項 1または請求項 2記載の通 信装置において、 前記第 2の通信端末に振動装置を設け、 通信への 参加要請を通信対象者が有する前記第 2の通信端末の振動装置を動 作させることにより行うことを特徴とする。

請求項 2 7記載の通信装置は、 請求項 9記載の通信装置において 、 前記通信端末に振動装置を設け、 通信への参加要請を通信対象者 が有する前記通信端末の振動装置を動作させることにより行うこと を特徴とする。

請求項 2 8記載の通信装置は、 請求項 9記載の通信装置において 、 前記通信端末に、 振動によって感情を伝達する振動装置と通信対 象者の前記振動装置を振動させるスィッチとを設け、 前記スィッチ による指示によって前記振動装置を振動させることにより通信対象 者に感情を伝達することを特徴とする。

請求項 2 9記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 複数の画像を合成して送信可能な通信装置であって、 前記サーバは 、 送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、 前記送信画像に合成される複数の付加情報を記 憶する付加情報記憶手段と、 前記送信側通信端末の指示によって送 信画像に合成される付加情報を任意に選択する付加情報選択手段と 、 通信対象となる受信側通信端末に端末情報を送付することを要求 する端末情報要求手段と、 前記受信側通信端末から送付された前記 端末情報を受信する端末情報取得手段と、 前記端末情報に対応して 前記送信画像および付加情報それぞれの画像特性を変換した後に両 者を合成する付加情報合成手段と、 合成した合成画像を前記受信側 通信端末に送信する合成画像送信手段とを有し、 前記通信対象とな る受信側通信端末にて最適に表示されるように送信画像および付加 情報それぞれの画像特性を変換してから合成した画像を送受信する ことを特徴とする。

請求項 3 0記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 複数の画像を合成して送信可能な通信装置であって、 前記サーバは

、 送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、 前記送信画像に合成される複数の付加情報およ び前記それぞれの付加情報に対して画像特性を異ならせた付加情報 を記憶する付加情報記憶手段と、 前記送信側通信端末の指示によつ て送信画像に合成される付加情報を任意に選択する付加情報選択手 段と、 受信側通信端末に端末情報を送付することを要求する端末情 報要求手段と、 前記受信側通信端末から送付された前記端末情報を 受信する端末情報取得手段と、 前記送信側通信端末の指示によつて 選択された任意の付加情報のうち前記端末情報に対応して前記受信 側通信端末に最も適した付加情報を選択する付加情報選択手段と、 前記端末情報に対応して前記送信画像の画像特性を変換した後に前 記選択した付加情報を合成する付加情報合成手段と、 合成した合成 画像を前記受信側通信.端末に送信する合成画像送信手段とを有し、 前記通信対象となる受信側通信端末にて最適に表示されるように送 信画像の画像特性を変換し、 付加情報を選択してから両者を合成し た画像を送受信することを特徴とする。

請求項 3 1記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サ一バを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 複数の画像を合成して送信可能な通信装置であって、 前記サーバは 、 送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、 前記送信画像に合成される複数の付加情報を記 憶する付加情報記憶手段と、 前記送信側通信端末の指示によって送 信画像に合成される付加情報を任意に選択する付加情報選択手段と 、 通信対象となる受信側通信端末に端末情報を送付することを要求 する端末情報要求手段と、 前記受信側通信端末から送付された前記 端末情報を受信する端末情報取得手段と、 前記送信画像の特徴を検 出する画像特徴検出手段と、 前記端末情報に対応して前記送信画像 および付加情報それぞれの画像特性を変換した後に前記送信画像の 特徴に応じて決定した前記付加情報の前記送信画像への合成位置に 前記付加情報を合成する付加情報合成手段と、 合成した合成画像を 前記受信側通信.端末に送信する合成画像送信手段とを有し、 前記通 信対象となる受信側通信端末にて最適に表示されるように送信画像 および付加情報それぞれの画像特性を変換してから合成して画像を 送受信することを特徴とする。

請求項 3 2記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 複数の画像を合成して送信可能な通信装置であって、 前記サーバは 、 送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、 前記送信画像に合成される複数の付加情報およ び前記それぞれの付加情報に対して画像特性を異ならせた付加情報 を記憶する付加情報記憶手段と、 前記送信側通信端末の指示によつ て送信画像に合成される付加情報を任意に選択する付加情報選択手 段と、 通信対象となる受信側通信端末に端末情報を送付することを 要求する端末情報要求手段と、 前記受信側通信端末から送付された 前記端末情報を受信する端末情報取得手段と、 前記送信側通信端末 の指示によって選択された任意の付加情報のうち前記端末情報に対 応する最も受信側通信端末に適した付加情報を選択する付加情報選 択手段と、 前記送信画像の特徴を検出する画像特徴検出手段と、 前 記端末情報に対応して前記送信画像の画像特性を変換した後に前記 送信画像の特徴に応じて決定した前記付加情報の前記送信画像への 合成位置に前記選択した付加情報を合成する付加情報合成手段と、 合成した合成画像を前記受信側通信端末に送信する合成画像送信手 段とを有し、 前記通信対象となる受信側通信端末にて最適に表示さ れるように送信画像の画像特性を変換し、 付加情報を選択してから 両者を合成した画像を送受信することを特徴とする。

請求項 3 3記載の通信装置は、 請求項 3 1 または請求項 3 2記載 の通信装置において、 前記画像特徴検出手段は、 送信画像中の人物 の大きさやその位置あるいはその動きを検出することを特徴とする 請求項 3 4記載の通信装置は、 請求項 3 1 または請求項 3 2記載 の通信装置において、 前記画像特徴検出手段は、 送信画像中の人物 の顔またはその他の構成要素の大きさおよびその位置を検出するこ とを特徴とする。 請求項 3 5記載の通信装置は、 請求項 3 3または請求項 3 4記載 の通信装置において、 前記画像特徴検出手段は、 送信画像中の人物 の肌の色も検出することにより画像特性を変換する際に人物の肌の 色を損なわないようにすることを特徴とする。

請求項 3 6記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 画像に特殊効果を加えて送 することが可能な通信装置であって、 前記サーバは、 送信側通信端末から送信された任意の送信画像を受 信して記憶する画像記憶手段と、 前記送信画像に特殊効果を加える プログラムを記憶する特殊効果記憶手段と、 前記送信側通信端末の 指示によって送信画像に加える特殊効果を任意に選択する特殊効果 選択手段と、 通信対象となる受信側通信端末に端末情報を送付する ことを要求する端末情報要求手段と、 前記受信側通信端末から送付 された前記端末情報を受信する端末情報取得手段と、 前記端末情報 に対応して前記送信画像の画像特性を変換した後に前記選択した特 殊効果を加える特殊効果合成手段と、 特殊効果を加えた合成画像を 前記受信側通信端末に送信する合成画像送信手段とを有し、 前記通 信対象となる受信側通信端末にて最適に表示されるように送信画像 の画像特性を変換してから特殊効果を加えた画像を送受信すること を特徴とする。

請求項 3 7記載の通信装置は、 請求項 3 6記載の通信装置におい て、 前記サーバは前記送信画像の特徴を検出する画像特徴検出手段 を備え、 前記検出した特徴に特殊効果を加えることを特徴とする。 請求項 3 8記載の通信装置は、 請求項 3 7記載の通信装置におい て、 前記画像特徴検出手段は、 送信画像中の人物の大きさやその位 置あるいはその動きを検.出することを特徴とする。

請求項 3 9記載の通信装置は、 請求項 3 7記載の通信装置におい て、 前記画像特徴検出手段は、 送信画像中の人物の顔またはその他 の構成要素の大きさおよびその位置を検出することを特徴とする。 請求項 4 0記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 複数の画像を合成して送信可能な通信装置であって、 前記サーバは 、 送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、 前記送信画像に合成される複数の付加情報を記 憶する付加情報記憶手段と、 前記送信側通信端末の指示によって送 信画像に合成される付加情報を任意に選択する付加情報選択手段と 、 前記送信画像と前記付加情報を合成して確認のために前記送信側 通信端末に合成した画像を送信する合成画像確認手段と、 前記送信 側通信端末の確認を受けて前記送信画像を通信対象となる受信側通 信端末に送信する送信画像送信手段と、 前記送信側通信端末の確認 を受けて前記付加情報を受信側通信端末に送信する付加情報送信手 段とを備え、 前記通信端末は、 前記合成画像確認手段から受信した 合成画像を表示する画像確認手段と、 送信画像を任意に選択して前 記サーバに送信する送信画像送信手段と、 前記送信画像に合成する 付加情報を前記画像確認手段で確認しながら指定する付加情報指定 手段と、 前記送信画像および前記付加情報の受信側通信端末への送 信を指示する送信指示手段と、 前記サーバから前記送信画像を受信 する画像受信手段と、 前記サーバから前記付加情報を受信する付加 情報受信手段と、 前記通信対象となる受信側通信端末自身の端末情 報を取得する端末情報取得手段と、 前記端末情報に対応して前記送 信画像および付加情報それぞれのの画像性を変換した後に両者を合 成する付加情報合成手段と、 前記付加情報合成手段で合成した合成 画像を表示する表示手段とを備え、 前記通信対象となる受信側通信 端末にて最適に表示されるように、 前記受信側通信端末にて送信画 像および付加情報それぞれの画像特性を変換してから合成した画像 を送受信することを特徴とする。

請求項 4 1記載の通信装置は、 請求項 4 0記載の通信装置におい て、 前記通信端末に、 ネッ トワークに接続され、 ネッ トワーク上か ら前記付加情報合成手段において前記端末情報に対応して前記送信 画像および付加情報それぞれのの画像性を変換した後に両者を合成 するプログラムを取得するプログラムダウンロード手段を有するこ とを特徴とする。

請求項 4 2記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 複数の画像を合成して送信可能な通信装置であって、 前記サーバは 、 送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、 前記送信画像に合成される複数の付加情報を記 憶する付加情報記憶手段と、 前記送信側通信端末の指示によって送 信画像に合成される付加情報を任意に選択する付加情報選択手段と 、 前記送信画像と前記付加情報を合成して確認のために前記送信側 通信端末に合成した画像を送信する合成画像確認手段と、 前記送信 側通信端末の確認を受けて前記送信画像を通信対象となる受信側通 信端末に送信する送信画像送信手段と、 前記送信側通信端末の確認 を受けて前記付加情報を受信側通信端末に送信する付加情報送信手 段とを備え、 前記通信端末は、 前記合成画像確認手段から受信した 合成画像を表示する画像確認手段と、 送信画像を任意に選択して前 記サーバに送信する送信画像送信手段と、 前記送信画像に合成する 付加情報を前記画像確認手段で確認しながら指定する付加情報指定 手段と、 前記送信画像および前記付加情報の受信側通信端末への送 信を指示する送信指示手段と、 前記サーバから前記送信画像を受信 する画像受信手段と、 前記サーバから前記付加情報を受信する付加 情報受信手段と、 前記通信対象となる受信側通信端末自身の端末情 報を取得する端末情報取得手段と、 前記送信画像の特徴を検出する 画像特徴検出手段と、 前記端末情報に対応して前記送信画像および 付加情報それぞれの画像特性を変換した後に前記送信画像の特徴に 応じて決定した前記付加情報の前記送信画像への合成位置に前記付 加情報を合成する付加情報合成手段と、 付加情報合成手段で合成し た合成画像を表示する表示手段とを備え、 前記通信対象となる受信 側通信端末にて最適に表示されるように、 前記受信側通信端末にて 送信画像および付加情報それぞれの画像特性を変換してから合成し た画像を送受信することを特徴とする。

請求項 4 3記載の通信装置は、 請求項 4 2記載の通信装置におい て、 前記画像特徴検出手段は、 送信画像中の人物の大きさやその位 置あるいはその動きを検出することを特徴とする。

請求項 4 4記載の通信装置は、 請求項 4 2記載の通信装置におい て、 前記画像特徴検出手段は、 送信画像中の人物の顔またはその他 の構成要素の大きさおよびその位置を検出することを特徴とする。 T JP02/13038

一 17 - 請求項 4 5記載の通信装置は、 請求項 4 3または請求項 4 4記載 の通信装置において、 前記画像特徴検出手段は、 送信画像中の人物 の肌の色をも検出することにより画像特性を変換する際に人物の肌 の色を損なわないようにすることを特徴とする。

請求項 4 6記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 画像に特殊効果を加えて送信することが可能な通信装置であって、 前記サーバは、 送信側通信端末から送信された任意の送信画像を受 信して記憶する画像記憶手段と、 前記送信画像に特殊効果を加える プログラムを記憶する特殊効果記憶手段と、 前記送信側通信端末の 指示によって送信画像に加える特殊効果を任意に選択する特殊効果 選択手段と、 前記送信画像に特殊効果を加えて確認のために前記送 信側通信端末に合成した画像を送信する合成画像確認手段と、 前記 送信側通信端末の確認を受けて前記送信画像を通信対象となる受信 側通信端末に送信する送信画像送信手段と、 前記前記送信画像に特 殊効果を加えるプログラムを受信側通信端末に送信する付加情報送 信手段とを備え、 前記通信端末は、 前記合成画像確認手段から受信 した合成画像を表示する画像確認手段と、 送信画像を任意に選択し て前記サーバに送信する送信画像送信手段と、 前記送信画像に加え る特殊効果を前記画像確認手段で確認しながら指定する特殊効果指 定手段と、 前記送信画像および前記送信画像に特殊効果を加えるプ 口グラムの前記受信側通信端末への送信を指示する送信指示手段と 、 前記サーバから前記送信画像を受信する画像受信手段と、 前記サ —バから前記送信画像に特殊効果を加えるプログラムを受信する付 加情報受信手段と、 前記通信対象となる受信側通信端末自身の端末 情報を取得する端末情報取得手段と、 前記端末情報に対応して前記 送信画像の画像特性を変換した後に前記選択した特殊効果を加える 特殊効果合成手段と、 特殊効果合成手段で特殊効果を加えた合成画 像を表示する表示手段とを備え、 前記通信対象となる受信側通信端 末にて最適に表示されるように送信画像の画像特性を変換してから 特殊効果を加えた画像を送受信することを特徴とする。

請求項 4 7記載の通信装置は、 請求項 4 2または請求項 4 3また は請求項 4 4または請求項 4 5記載の通信装置において、 前記通信 端末に、 ネッ トワークに接続され、 ネッ トワーク上から前記端末情 報に対応して前記送信画像および付加情報それぞれの画像特性を変 換した後に前記送信画像の特徴に応じて決定した前記付加情報の前 記送信画像への合成位置に前記付加情報を合成するプログラムを取 得するプログラムダウンロード手段を有することを特徴とする。 請求項 4 8記載の通信装置は、 請求項 4 6記載の通信装置におい て、 前記通信端末に、 ネッ トワークに接続され、 ネッ トワーク上か ら前記特殊効果合成手段において前記端末情報に対応して前記送信 画像の画像特性を変換した後に前記選択した特殊効果を加えるプロ グラムを取得するプログラムダウンロード手段を有することを特徴 とする。

請求項 4 9記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 複数の画像を合成して送信可能な通信装置であって、 前記サーバは 、 送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、 前記送信画像に合成される複数の付加情報を記 憶する付加情報記憶手段と、 前記送信側通信端末の指示によって送 信画像に合成される付加情報を任意に選択する付加情報選択手段と 、 前記送信画像と前記付加情報を合成して確認のために前記送信側 通信端末に合成した画像を送信する合成画像確認手段と、 前記送信 画像， 前記付加情報および前記送信画像と前記付加情報を受信側端 末装置の性能に応じて変換した後に合成するプログラムを送信する 付加情報合成プログラム送信手段とを備え、 前記通信端末は、 前記 合成画像確認手段から受信した合成画像を表示する画像確認手段と 、 送信画像を任意に選択して前記サーバに送信する送信画像送信手 段と、 前記送信画像に合成する付加情報を前記画像確認手段で確認 しながら指定する付加情報指定手段と、 前記送信画像および前記送 信画像と前記付加情報を受信側端末装置の性能に応じて変換した後 に合成するプログラムの前記受信側通信端末への送信を指示する送 信指示手段と、 前記通信対象となる受信側通信端末自身の端末情報 を取得する端末情報取得手段と、 前記送信画像と前記付加情報を受 信側端末装置の性能に応じて変換した後に合成するプログラムを受 信して前記送信画像と前記付加情報の画像特性を前記端末情報に応 じて変換した後に合成する付加情報合成プログラム実行手段と、 前 記付加情報合成プログラム実行手段で合成した合成画像を表示する 表示手段とを備え、 前記通信対象となる受信側通信端末にて最適に 表示されるように、 前記受信側通信端末にて送信画像および付加情 報それぞれの画像特性を変換してから合成した画像を送受信するこ とを特徴とする。

請求項 5 0記載の通信装置は、 ネッ トワークに接続されたサーバ 02 13038

一 20— と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よつて構成され、 任意の通信端末からそれ以外の任意の通信端末に 複数の画像を合成して送信可能な通信装置であって、 前記サーバは 、 送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、 前記送信画像に合成される複数の付加情報を記 憶する付加情報記憶手段と、 前記送信側通信端末の指示によって送 信画像に合成される付加情報を任意に選択する付加情報選択手段と 、 前記送信画像と前記付加情報を合成して確認のために前記送信側 通信端末に合成した画像を送信する合成画像確認手段と、 前記送信 画像， 前記付加情報および前記送信画像と前記付加情報を受信側端 末装置の性能に応じて変換した後に合成するプログラムを受信側通 信端末送信する付加情報合成プログラム送信手段とを備え、 前記通 信端末は、 前記合成画像確認手段から受信した合成画像を表示する 画像確認手段と、 送信画像を任意に選択して前記サーバに送信する 送信画像送信手段と、 前記送信画像に合成する付加情報を前記画像 確認手段で確認しながら指定する付加情報指定手段と、 前記送信画 像および前記送信画像と前記付加情報を受信側端末装置の性能に応 じて変換した後に合成するプログラムの前記受信側通信端末への送 信を指示する送信指示手段と、 前記通信対象となる受信側通信端末 自身の端末情報を取得する端末情報取得手段と、 前記送信画像の特 徴を検出する画像特徴検出手段と、 前記送信画像と前記付加情報を 受信側端末装置の性能に応じて変換した後に合成するプログラムを 受信して前記送信画像と前記付加情報の画像特性を前記送信画像の 特徴に応じて決定した前記付加情報の前記送信画像への合成位置に 前記端末情報に応じて前記付加情報を合成する付加情報合成プログ 02 13038

- 21 - ラム実行手段と、 前記付加情報合成プログラム実行手段で合成した 合成画像を表示する表示手段とを備え、 前記通信対象となる受信側 通信端末にて最適に表示されるように、 前記受信側通信端末にて送 信画像および付加情報それぞれの画像特性を変換してから合成した 画像を送受信することを特徴とする。

請求項 5 1記載の通信装置は、 請求項 5 0記載の通信装置におい て、 前記画像特徴検出手段は、 送信画像中の人物の大きさやその位 置あるいはその動きを検出することを特徴とする。

請求項 5 2記載の通信装置は、 請求項 5 0記載の通信装置におい て、 前記画像特徴検出手段は、 送信画像中の人物の顔またはその他 の構成要素の大きさおよびその位置を検出することを特徵とする。 請求項 5 3記載の通信装置は、 請求項 5 1 または請求項 5 2記載 の通信装置において、 前記画像特徴検出手段は、 送信画像中の人物 の肌の色をも検出することにより画像特性を変換する際に人物の肌 の色を損なわないようにすることを特徴とする。

請求項 5 4記載の通信装置は、 ネッ トワークに接続されたサーバ と、 前記サーバを介してそれぞれが通信可能な複数の通信端末とに よって構成され、 任意の通信端末からそれ以外の任意の通信端末に 画像に特殊効果を加えて送信することが可能な通信装置であって、 前記サーバは、 送信側通信端末から送信された任意の送信画像を受 信して記憶する画像記憶手段と、 前記送信画像に特殊効果を加える プログラムを記憶する特殊効果記憶手段と、 前記送信側通信端末の 指示によって送信画像に加える特殊効果を任意に選択する特殊効果 選択手段と、 前記送信画像に特殊効果を加えて確認のために前記送 信側通信端末に合成した画像を送信する合成画像確認手段と、 前記 送信画像および前記送信画像を受信側端末装置の性能に応じて変換 した後合成するプログラムを送信する付加情報合成プログラム送信 手段とを備え、 前記通信端末は、 前記合成画像確認手段から受信し た合成画像を表示する画像確認手段と、 送信画像を任意に選択して 前記サーバに送信する送信画像送信手段と、 前記送信画像に加える 特殊効果を前記画像確認手段で確認しながら指定する付加情報指定 手段と、 前記送信画像および前記送信画像を受信側端末装置の性能 に応じて変換した後に前記指定した特殊効果を加えるプログラムの 前記受信側通信端末への送信を指示する送信指示手段と、 前記通信 対象となる受信側通信端末自身の端末情報を取得する端末情報取得 手段と、 前記送信画像を受信側端末装置の性能に応じて変換した後 に前記指定した特殊効果を加えるプログラムを受信して前記送信画 像を前記端末情報に対応して変換した後に前記選択した特殊効果を 加える付加情報合成プログラム実行手段と、 前記付加情報合成プロ グラム実行手段で特殊効果を加えた合成画像を表示する表示手段と を備え、 前記通信対象となる受信側通信端末にて最適に表示される ように送信画像の画像特性を変換してから特殊効果を加えた画像を 送受信することを特徴とする。 図面の簡単な説明

図 1は本発明の実施例 1 における通信装置の構成図である。

図 2は会話者をチヤッ トル一ム召集する処理を示したフロ一チヤ 一卜である。

図 3は各ユーザ一のパソコンのモニタ画面の例を示す概念図であ る。 図 4は本発明の実施例 1 における音声情報による画像合成処理を 示す構成図である。

図 5は本発明の実施例 1 における発言者のみを出力したモニタ画 面を示す図である。

図 6は発明の実施例 1 における発言者を拡大して出力したモニタ 画面を示す図である。

図 7は本発明の実施例 2における通信装置の構成図である。

図 8は本発明の実施例 2 における画像処理を行う装置の構成図で ある。

図 9は本発明の実施例 2 における画像処理例を示す概念図である 図 1 0は本発明の実施例 3 における通信装置の構成図である。 図 1 1は本発明の実施例 4における通信装置の構成図である。 図 1 2は本発明の実施例 4における通信装置の処理を示すフロー 図である。

図 1 3は付加情報の例であるフレーム画像を示す図である。

図 1 4は付加情報の例である動画を示す図である。

図 1 5は受信者に送信するメールの内容を例示する図である。 図 1 6 ( a ) は送信端末における送信画像を示す図である。

図 1 6 ( b ) は受信端末に対応した送信画像を示す図である。 図 1 7 ( a ) は変換前の付加情報を示す図である。

図 1 7 ( b ) は受信端末に対応して変換した付加情報を示す図で ある。

図 1 8は受信端末に送信する合成画像を示す図である。

図 1 9は本発明の実施例 5における通信装置の構成図である。 3038 一 24 - 図 2 0 ( a ) は本発明の実施例 5における付加情報を示す図であ る。

図 2 0 ( b ) は本発明の実施例 5における合成画像を示す図であ る。

図 2 1 は本発明の実施例 6における通信装置の構成図である。 図 2 2 ( a ) は本発明の実施例 6における特殊効果前の画像を示 す図である。

図 2 2 ( b ) は本発明の実施例 6における特殊効果後の画像を示 す図である。

図 2 3は本発明の実施例 7における受信端末で合成を行う通信装 置の構成図である。

図 2 4は本発明の実施例 7 における受信端末でプログラムにより 合成を行う通信装置の構成図である。 発明の実施例の説明

以下、 本発明の実施例について図面を参照し説明する。

(実施例 1 )

以下に、 本発明の実施例 1 における通信装置について、 図 1 , 図 2 , 図 3， 図 4 , 図 5， 図 6を用いて説明する。

図 1は本発明の実施例 1における通信装置の構成図であり、 図 2 は会話者をチヤッ トルーム召集する処理を示したフローチャートで ある。

図 1 において、 1 はチヤッ トル一ム 2 と識別情報として電子メ一 ルア ドレスを管理する e— m a i 1 データベース 3を有するサーバ 、 4は複数のユーザがそれぞれに所有する通信端末としてのバソコ 13038

一 25— ン 6 とサーバ 1 をつなぐネッ トワークで、 パソコン 6は画像入力装 置としてカメラを持つ。 9は複数のユーザがそれぞれに所有する携 帯電話 5 とサ一パ 1 をつなぐネッ トワークである。 図 1の例では、 ユーザ a， ユーザ b , ユーザ c， ユーザ dの各ユーザが、 携帯電話 5およびパソコン 6を所有してそれぞれネッ トワーク 9およびネッ トワーク 4を経由してサーバ 1 に接続されている。 ここでは携帯電 話 5を用いて説明しているが、 ポケッ トベルでもその他の通信端末 でも良く、 パソコン 6 と一体になつた通信端末を用いる事もできる 図 2 において、 発信者がユーザ aとして、 処理が開始 （S 1 ) さ れると、 まず、 ユーザ aがパソコン 6からネッ トワーク 4を経由し てサーバ 1のチャッ トルーム 2に接続する ( S 2 ) 。 次に、 ュ一ザ aは画像付きの会話を行う会話対象者としてのュ一ザ b， ユーザ c , ユーザ dを呼び出すようサーバに要請する （ S 3 ) 。 ここでは、 ユーザの識別情報として電子メールァドレスを指示する場合にて説 明しているが、 各ユーザがサーバ 1 に登録している本名ゃニックネ ームを指示しても良い。 また、 会話対象者としては 1人でも複数人 でもかまわない。 次に、 サーバ 1 は電子メールアドレスを指示され ると、 参加の可否を確認するために、 その電子メールアドレスに対 して、 ユーザ aがチャッ トルーム 2への参加要請を出しているとい う旨の電子メールをネッ トワーク 9 を経由して発信する （ S 4 ) 。 これにより、 ユーザ b , ユーザ c， ユーザ dは携帯電話 5の電子メ —ルにチヤッ トルームへの参加要請が入ったことを認識できる。 参 加要請を知ったユーザ b , ユーザ c , ユーザ dは各自のパソコン 6 からネッ 卜ワーク 4を経由してチヤッ トルーム 2に接続し （ S 5 ) P T/JP02/13038

一 26—

、 画像付きの会話を開始することができる （ S 6 ) 。 ユーザ b， ュ —ザ c , ユーザ dがパソコン 6 を使用できない状況にある場合は、 携帯電話 5よりネッ トワーク 9を経由してサーバに対し参加できな い旨やその他の情報を電子メールで返事する （ S 7 ) 。 この電子メ —ルの内容をサーバがュ一ザ aに対して通知し （ S 8 ) 、 ユーザ a はその状況を認識したうえで、 接続してきたユーザとのみ画像付き の会話を開始することができる。 あるいは接続できるユーザがいな い場合は、 ユーザ aはチヤッ トルーム 2 との接続を切ることもでき るし、 別のユーザを呼び出すようサーバに要請することもできる （ S 3 ) 。

このことにより、 インタ一ネッ ト上で会話を行う場合に、 会話対 象者がインターネッ トに接続されていなくても、 会話対象者に対し てネッ 卜ワーク上のサーバへの接続を要請できる通信装置を提供す ことができる。

図 3は各ユーザ一のパソコンのモニタ画面の例を示す概念図であ り、 図 4は本発明の実施例 1 における音声情報による画像合成処理 を示す構成図であり、 図 5は本発明の実施例 1 における発言者のみ を出力したモニタ画面を示す図であり、 図 6は発明の実施例 1 にお ける発言者を拡大して出力したモニタ画面を示す図である。

+ 図 3において、 モニタ画面 1 0 には各ユーザのパソコン 6に取付 けられているカメラの画像が表示される。 現在参加者が 4人である のでモニタ画面を 4分割して表示されるが、 参加者が多い場合が 9 分割や 1 6分割して表示することも可能である。 分割数が多くなる と個々のユーザ表示サイズが小さぐなるため表情が分かりにく くな つてくる。 その場合には、 例えば、 図 3 においてユーザ bが現在発 言者だとすると、 サーバ 1が各ユーザの音声の有無や音量からユー ザ bが発言者であると判断し、 ユーザ bの表示画面を自動的に拡大 することができる。

図 4は参加人数が n人とした場合の構成を示しており、 図 3の例 では n = 4である。 図 4において、 破線で囲んだ部分 2 5は音声処 理ブロックである。 音声入力端子 2 0へ入力された各ユーザの音声 が、 検波器 2 1で整流された後、 口一パスフィルタ 2 2で一定時間 積分される。 この積分値は、 閾値入力端子 2 7から与えられた閾値 と比較器 2 3で比較され、 閾値よりも大きければ比較器 2 3の出力 は" 1 " 、 閾値より も小さければ比較器 2 3の出力は" 0 " となる 。 ローパスフィルタ 2 2 と比較器 2 3の出力の論理積を論理回路 2 4でとり、 最大値ユーザ検出器 2 6に入力する。 他のユーザ b， ュ —ザ c , ユーザ dの音声も同様に音声処理ブロック 2 5で処理され 、 最大値ユーザ検出器 2 6において、 音声ブロック 2 5の出力値に より各ユーザの順序をつける。 最大値ユーザ検出器 2 6の順序出力 をユーザ番号を用いて、 あるいは全員が無音状態の場合は" 0 " を 画像合成器 2 9へ出力する。 一方、 各ユーザの画像は画像入力端子 2 8から画像合成器 2 9へ入力される。 ここで最大値ュ一ザ検出器

2 6の出力が" 0 " の場合は、 各ユーザの画像を均等に 1画面中に 合成し、 図 3に示すような合成画像を画像出力端子 3 0より出力す る。 例えば、 最大値ユーザ検出器 2 6の順序出力が大きい順にユー ザ b —ユーザ c 一ユーザ d —ュ一ザ aとされる場合は、 図 5に示す ようにモニタ画面 1 0全体にユーザ bの画像を拡大し画像出力端子

3 0より出力することもできるし、 図 6 に示すように各ユーザの画 像サイズを変えて合成し画像出力端子 3 0よりモニタ画面 1 0に出 力することも可能である。 最大値ユーザ検出器 2 6 の出力が他の順 序を示す場合も同様に拡大して画像出力端子 3 0より出力する。

ローパスフィル夕 2 2の出力は検波器 2 1の出力を一定時間積分 した結果をそのまま出力してもよいし、 連続する m回の積分結果の 平均値としてもよい。 これら積分時間や平均回数 mは実際の会話の 状況と画面拡大の頻度との関係を見ながら調整することができる。

ここでは、 インタ一ネッ ト上のコミュニケーショ ンツールとして チヤッ トを例に説明したが、 その他のインタ一ネッ 卜電話などのィ ン夕ーネッ 卜上のコミュニケ一ションツールに用いることができる 。

このことにより、 発言者の画像をより鮮明にすることができ、 ィ ン夕ーネッ ト上でのコミュニケーションにおいて、 発言者の感情を 正確に相手に伝えることができる。

(実施例 2 ) ·

以下に、 本発明の実施例 2における通信装置について、 図 2， 図 3 , 図 7 , 図 8， 図 9を用いて説明する。

図 7は本発明の実施例 2における通信装置の構成図であり、 図 8 は本発明の実施例 2における画像処理を行う装置の構成図であり、 図 9は本発明の実施例 2における画像処理例を示す概念図である。

図 7において、 1はチヤッ トルーム 2 と識別情報として電子メー ルアドレスを管理する e — m a i 1 データベース 3 と感情を表現す るための情報を格納した情報ライブラリ 7を有するサーバ、 4は複 数のユーザがそれぞれに所有する通信端末としてのパソコン 6 とサ ーバ 1 をつなぐネッ トワークで、 パソコン 6は画像入力装置として カメラを持つ。 9は複数のユーザがそれぞれに所有する携帯電話 5 とサーバ をつなぐネッ トワークである。

図 8において、 パソコン 6のキーポ一ドの 4つのキ一を喜怒哀楽 の感情表現用のスィッチとして割当て、 それらをスィッチ 4 0 , ス イッチ 4 1， スィッチ 4 2 , スィッチ 4 3 とする。 これらのスイツ チ 4 0 , スィッチ 4 1 , スィッチ 4 2 , スィッチ 4 3のオンにもと づき感情を表現するための情報を表情情報回路 4 4で選択する。 表 情情報回路 4 4で選択された情報とカメラ 4 5の画像を画像合成回 路 4 6で合成し、 画像出力端子 4 8よりネッ トワーク 4へ送信する よう構成されている。

ここでは、 この表情情報を合成処理する表情情報合成部 4 9が画 像送信側のパソコン 6上にある場合について説明したが、 サーバ 1 上にあっても良いし、 画像受信側のパソコン 6上にあっても良い。 感情表現するための情報は、 表現情報回路 4 4で管理されている が、 パソコン 6ゃネッ トワーク 4につながるその他の装置で各ュ一 ザ自身で作成することもでき、 あるいは、 ネッ トワーク 4を経由し て必要な情報を情報ライブラリ 7からダウンロードして表現情報回 路 4 4に登録することで内容を更新することもできる。

本実施例 2において会話対象者を召集する手順は、 実施例 1 にお いて説明した図 2に示した手順と同様であるので説明を省略する。 図 3において画面を 4分割して表示しているが、 分割数が増える ことで各ユーザの表示サイズが小さくなるため表情が分かりにく く なってくることは実施例 1 と同様である。

このように表情が分かりにくい状態での会話中にユーザ bが非常 に不愉快な思いをして、 それを表情で他のユーザに伝えたいとする と、 パソコン 6のキーボードに割当てられている感情表現用スイツ チのうちの怒りに対応するスィッチ 4 1 をユーザ b 自身で押す。 こ のことにより、 ユーザ bのパソコン 6上で、 図 9に示すようにュ一 ザ bのカメラ画像 1 1 とスィッチ 4 1 に対応する表情情報回路 4 4 から出力された表情情報 1 2が合成され、 合成された画像が送信さ れ各ユーザのパソコン 6のモニタ画面 1 0上に表示される。 ここで は、 怒りの感情を表現する場合について説明したが、 その他、 喜怒 哀楽等の感情を表現することも可能である。

なお、 カメラ画像 1 1 に対する表情情報 1 2の合成位置は決まつ ており、 例えば、 感情の情報 1 2の場合は鬼の角と牙であるので力 メラ画像 1 1の中での顔の位置やサイズを認識した上で所定の位置 に合成される。 したがって、 カメラ画像 1 1の変化、 つまり顔の動 きに応じて表情情報 1 2の合成位置も変化する。

本実施例 2では表情情報 1 2 として図形を例にとったが、 有名人 の写真等の様々な画像や、 率直に文字を情報として合成することも 可能である。 また、 感情表現用スィッチとしてパソコン 6のキーポ

—ドではなく、 ユーザの声や顔の表情を割当てておき、 会話中に音 声認識や画像認識を用いてそれらの一致を見て感情表現用スィッチ のオンオフを判断させることも可能である。

ここでは、 インターネッ ト上のコミュニケ一シヨ ンツールとして チヤッ トを例に説明したが、 その他のインターネッ ト電話などのィ ンターネッ 卜上のコミュニケーショ ンツールに用いることができる 以上の構成により、 インターネッ ト上でのコミュニケ一ショ ンに おいて、 自己の感情を加えてに相手に伝えることができる感情表現 機能付きの通信装置を提供することができる。 (実施例 3 )

以下に、 本発明の実施例 3 における通信装置について、 図 1 0 を 用いて説明する。

図 1 0は本実施例 3における通信装置の構成図である。

図 1 0 において、 1はチャッ トルーム 2 と識別情報として電子メ —ルアドレスを管理する e — m a i 1 デ一タベース 3 と感情を表現 するための情報を格納した情報ライブラリ 7を有するサーバ、 4は 複数のユーザがそれぞれに所有する通信端末 8 とサーバ 1 をつなぐ ネッ トワークで、 通信端末 8はコミュニケ一シヨ ンツールとしての 通信端末の機能と会話対象者を召集するための通信端末の機能を共 用する構成になっている。 また、 通信端末 8にはスィッチがオンさ れることにより通信端末 8に振動を生じるバイブレーション装置 1 3が付いている。

複数のユーザで画像付きの会話が開始されてから、 例えばユーザ aが何らかのイライラした感情、 あるいは他のユーザの注目を得た い等の感情を表現したい場合、 バイブレーショ ン装置 1 3に対応す るスィツチをオンする。 そのスィツチ情報がサーバ 1 とネッ トワ一 ク 4を経由して他のユーザの通信端末 8へ送られ、 通信端末 8のパ イブレーション装置 1 3 を駆動し、 その振動が他のユーザに伝えら れる。 これによりユーザ aの何らかのイライラした感情、 あるいは 他のュ一ザの注目を得たい等の感情を他のユーザに確実に伝えるこ とができるようになる。

以上の構成により、 インタ一ネッ ト上での会話において、 自己の 感情を加えてに相手に伝えることができる感情表現機能付きの通信 装置を提供することができる。 13038

- 32— また、 バイブレーショ ン装置 1 3を、 サーバへの接続の要請に使 用することもできる。

ここでは、 インターネッ ト上のコミュニケーションツールとして チヤッ 卜を例に説明したが、 その他のインターネッ 卜電話などのィ ンタ一ネッ 卜上のコミュニケーションツールに用いることができる このことにより、 インタ一ネッ 卜上でコミュニケーションを行う 場合に、 対象者がインターネッ トに接続されていなくても、 対象者 に対してネッ トワーク上のサーバへの接続を要請できる通信装置を 提供することができる。

(実施例 4 )

以下に、 本発明の実施例 4における通信装置について、 図 1 1， 図 1 2 , 図 1 3 , 図 1 4， 図 1 5， 図 1 6 , 図 1 7， 図 1 8 を用い て説明する。

図 1 1 は本発明の実施例 4における通信装置の構成図， 図 1 2は 本発明の実施例 4における通信装置の処理を示すフロー図， 図 1 3 は付加情報の例であるフレーム画像を示す図， 図 1 4は付加情報の 例である動画を示す図， 図 1 5は受信者に送信するメールの内容を 例示する図， 図 1 6 ( a ) は送信端末における送信画像を示す図， 図 1 6 ( b ) は受信端末に対応した送信画像を示す図， 図 1 7 ( a ) は変換前の付加情報を示す図， 図 1 7 ( b ) は受信端末に対応し て変換した付加情報を示す図， 図 1 8は受信端末に送信する合成画 像を示す図である。

図 1 1 において、 1 1 0 1 はサーバ、 1 1 0 2は画像記憶手段、 1 1 0 3は付加情報記憶手段、 1 1 0 4は付加情報合成手段、 1 1 0 5は付加情報選択手段、 1 1 0 6は合成画像送信手段、 1 1 0 7 は端末情報取得手段、 1 1 0 8は電子メール送信手段、 1 1 0 9は 送信端末、 1 1 1 0は受信端末である。

まず、 その動作を図 1 1， 図 1 2 , 図 1 3 , 図 1 4 , 図 1 5 に基 づいて説明する。

サーバ 1 1 0 1は送信者が送信端末 1 1 0 9 を通じて画像に付加 情報を付加した合成画像を受信者に対して送信する。

送信端末 1 1 0 9、 受信端末 1 1 1 0 としては携帯電話が最も一 般的に用いられており、 近年カメラ付き携帯電話の急速な普及によ り、 撮影した画像を友人が持っている携帯電話に送ることが一般化 している。 本発明の通信装置では、 撮影した画像をそのまま送るの ではなく、 撮影した画像に新たに付加情報、 例えばアニメーショ ン を付加して送ることで、 より趣向性を高めた画像、 コンテンツを発 信しょうとするものである。

ここでは、 付加する情報として画像を用いて説明するが、 テキス ト、 音楽等を付加することも可能である。

図 1 3は一般的にフレーム画像とよばれる静止画であり、 動画に 付加した場合には、 フレーム画像は動かずに元画像だけが動く こと になる。 図 1 4は付加する画像も動くものであり、 都合上 3枚だけ 表示しているが複数枚、 または動画の状態に応じた枚数記憶されて いる。

送信画像としては動画、 静止画があるが、 ここでは動画を送信す る場合について説明する。

まず、 送信者はあらかじめ受信者の受信端末 1 1 1 0に送信する 画像を送信端末 1 1 0 9から、 サーバ 1 1 0 1の画像記憶手段 1 1 0 2に記憶する （ S 1 ) 。 一般的にこの作業を画像のアップロード という。 送信する画像は前述したカメラ付き携帯電話で撮影した画 像が一般的に用いられるが、 他の手段で入手した画像を用いても良 い。

次に、 送信者は付加情報選択手段 1 1 0 5により、 送信画像に付 加する付加情報が記憶された付加情報記憶手段 1 1 0 3から、 送信 画像に付加する付加情報を選択する （ S 2 ) 。 送信者は付加情報選 択手段 1 1 0 5から送られてくる図 1 3、 図 1 4に示したような付 加情報を端末で見て確認し、 付加情報を選択する。

次に、 付加情報合成手段 1 1 0 4にて、 画像記憶手段 1 1 0 2に 記憶してある画像と、 送信者が選択した付加情報記憶手段 1 1 0 3 に記憶してある付加情報を合成する。 合成した画像データは送信端 末に送られ、 送信者は合成画像を確認して選択することができる （ S 3 ) 。 合成画像は後述するように、 受信端末が表示できるフォー マツ 卜に合わせて再度合成し、 受信端末 1 1 1 0 に送信される。 合成画像が送信された場合、 送信者が持つ送信端末 1 1 0 9 と、 受信者が持つ受信端末 1 1 1 0が同じ機種で、 加入している通信会 社も同じであれば、 送信端末 1 1 0 9で確認した通りの合成画像を 受信者は受信端末 1 1 1 0で観ることができるが、 ほとんどの場合 、 送信端末 1 1 0 9 と受信端末 1 1 1 0は異なっており、 利用して いる通信会社も違うため、 受信端末 1 1 1 0で合成画像が正常に表 示できない、 またはまったく表示できない場合も起こりうる。 例え ば、 送信端末 1 1 0 9が動画の国際規格である M P E G 4をサポー 卜しており、 合成画像を M P E G 4で作成し、 受信端末 1 1 1 0 に 送信した場合、 受信端末 1 1 1 0が MP E G 4をサポートしてなけ れぱ受信した合成画像を見ることはできない。

そこで実施例 4の通信装置では、 受信端末 1 1 1 0の情報を取得 し、 この情報を基に画像記憶手段 1 1 0 2にある画ィ象と付加情報記 憶手段 1 1 0 3にある付加情報とをそれぞれ受信端末 1 1 1 0で表 示できるフォーマツ 卜に変換した後、 付加情報合成手段 1 1 0 4に て合成し、 受信端末 1 1 1 0に送信する。

そのため受信端末 1 1 1 0で表示できるフォーマッ トを、 端末情 報取得手段 1 1 0 7にて取得する.。 これは送信者が受信者の持つ受 信端末の機種、 情報を知らないのが一般的であり、 受信端末の情報 を自動的に取得することが必要であるためである。

そこで、 送信者が受信者に対して付加情報を合成した画像を送付 する場合、 サーバ 1 1 0 1ではそのまま画像を送付するのでなく、 まず電子メール送信手段 1 1 0 8にて受信者に対してメールを送信 する （ S 4 ) 。 ここで、 メールの内容は図 1 5に示すように、 サ一 バ 1 1 0 1 にアクセスを促す内容であり、 ここでは、 UR Lをクリ ックすることを促している。

次に、 受信者は電子メールに記載された U R Lをクリ ックするこ とでサーバ 1 1 0 1 にアクセスする （ S 5 ) 。 受信端末 1 1 1 0は サ一バ 1 1 0 1にアクセスする際に、 表示画面サイズ、 表示色、 C P U処理能力等のハードウェア処理能力や、 ブラウザタイプ、 処理 可能な画像フォーマツ ト等の端末情報を送信してくる。 端末情報取 得手段 1 1 0 7ではその情報を受け取って （ S 6 ) 、 画像を付加す るために必要な情報を付加情報合成手段 1 1 0 4に送付する。

次に、 付加情報合成手段 1 1 0 4では受信端末 1 1 1 0の表示性 能、 表示可能な画像フォーマッ トに合わせて画像記憶手段 1 1 0 2 に記憶している画像および付加情報記憶手段 1 1 0 3にある付加情 報のフォ一マッ トを変換する （ S 7 ) 。 その後、 画像および付加情 報を合成する （S 8 ) 。 最後に、 サ一パ 1 1 0 1から合成した画像 が受信端末 1 1 1 0に送信される （ S 9 ) 。 このようにすることで 受信者は受信端末 1 1 1 0上で合成画像を見ることができる。

以下、 図 1 1 , 図 1 6 , 図 1 7， 図 1 8 を用いて画像の変換， 合 成について具体的に説明する。

画像記憶手段 1 1 0 2に図 1 6 ( a ) に示すような連続する M P E G 4の画像データが記憶されており、 送信者が付加情報記憶手段 1 1 0 3に記憶されている図 1 7 ( a ) に示すようなス トーリ一性 のあるアニメー ョン情報を付加情報として選択し、 これを合成す る場合を考える。

まず、 端末情報取得手段 1 1 0 7にて受信端末 1 1 1 0が、 M P E G 4ではなく、 動画のフォーマツ トとしてアニメーショ ン G I F をサポートしており、 表示能力の関係で、 3枚の画像しか表示でき ないことが判明した場合、 付加情報合成手段 1 1 0 4では画像記憶 手段 1 1 0 2 にある M P E G 4の画像から図 1 6 ( b ) に示すよう に 3枚の画像を選択する。 この場合、 一番最初の画像、 中間の画像 、 最後の画像という選択をしてもよいし、 変化の一番大きい画像を 3枚選択してもよい。 同様に付加情報記憶手段 1 1 0 3に記憶して ある付加情報であるアニメーションから図 1 7 ( b ) に示すように 3枚画像を選択する。

さらに、 付加情報合成手段 1 1 0 4では、 選択した画像およびァ ニメーショ ンを端末情報取得手段 1 1 0 7からの情報に基づいて、 受信端末 1 1 1 0の表示サイズ、 表示容量、 表示色等に合わせて変 T JP02/13038

一 37 - 換を行い、 図 1 8に示すようにそれぞれを合成する。

合成画像は合成画像送信手段 1 1 0 6から受信端末 1 1 1 0に送 られ、 受信者は受信端末 1 1 1 0に最適化された合成画像を見るこ とができる。

これら一連の処理はサーバ 1 1 0 1で自動的に行われる処理であ り、 送信者は受信者に対して情報を付加した画像を送信するという 作業を行うだけで、 サーバ 1 1 0 1側で受信端末 1 1 1 0の特性に 合わせて画像を送信することになる。

このように、 携帯電話等の通信端末によって画像付きデータを送 受信する場合に、 受信側の通信端末の性能に合わせて、 画像や付加 情報を最適に変換するため、 受信側の通信端末の性能に対応して任 意の画像を正常に表示することができる。

また、 受信端末 1 1 1 0の表示性能、 表示可能な画像フォーマツ トに合わせて画像記憶手段 1 1 0 2に記憶している画像および付加 情報記憶手段 1 1 0 3にある付加情報の画像特性を変換してそれぞ れを合成する際に、 付加情報の画像サイズの変更、 および減色処理 を行うが、 1つの付加情報に対して複数の画像サイズや色等の画像 特性を持つ付加情報を複数用意して、 その中から最適な付加情報を 選択するようにしてもよい。

これは受信端末 1 1 1 0に合わせて、 付加情報記憶手段 1 1 0 3 にある画像を選択する際、 付加情報を拡大、 縮小あるいは減色処理 等を行わなければならないが、 受信端末は一般的には携帯電話であ り、 表示画像が小さいため、 縮小した場合、 付加情報が何であるか わからなくなる場合があるためである。 例えば、 付加情報が文字の 場合、 縮小処理により文字がつぶれて読めなくなる場合がある。 ま 一 38 - た減色処理においても、 自動的に最適化した場合には最終的にどの 色を使用することになるのかわからないため、 付加情報の見え方が 変になる場合があった。

そこで、 あらかじめ、 小さくてもつぶれのない付加情報を複数用 意しておき、 同様に色数が少なくても変にならない付加情報を 1つ のコンテンツにっき複数用意しておき、 受信端末 1 1 1 0の性能に 合わせて、 最適な組み合わせを付加情報記憶手段 1 1 0 3に記憶し てある付加情報から選択し、 付加情報合成手段 1 1 0 4で合成する 。 文字の場合には、 複数のフォントサイズを用意し、 受信端末の表 示サイズ等により、 フォントサイズを選択するようにすればよい。 こうすることで受信画像に最適な画像を送信することができる。 また、 上記説明ではサーバ上で送信する画像および付加情報それ ぞれに対して画像特性の変換した後に、 両者を合成して受信端末に 送信していたが、 サーバから受信端末に送信する画像および付加情 報を送信し、 受信端末において両者の画像特性の変換および合成を 行うことも可能である。

(実施例 5 )

以下に、 本発明の実施例 5における通信装置について、 図 1 9， 図 2 0を用いて説明する。

'図 1 9は本発明の実施例 5における通信装置の構成図， 図 2 0 ( a ) は本発明の実施例 5における付加情報を示す図， 図 2 0 ( b ) は本発明の実施例 5における合成画像を示す図である。

図 1 9において、 基本的には実施例 4と同じであるが、 人物認識 手段 1 1 1 1がある点が異なる。 実施例 5の通信装置では、 実施例 4と同様に、 受信端末 1 1 1 0の情報を取得し、 画像記憶手段 1 1 0 2にある画像と付加情報記憶手段 1 1 0 3 にある付加情報とを受 信端末 1 1 1 0で表示できるフォーマッ トに変換した後、 付加情報 合成手段 1 1 0 4にて合成し、 受信端末 1 1 1 0に送信する。

人物認識手段 1 1 1 1では画像記憶手段 1 1 0 2 にある画像中の 人物の部分を認識し、 顔の位置、 目の位置、 口の位置などの位置を 認識する。 人物認識は肌色の検出や、 目、 口のパターンマッチング 手法等により行う。

付加情報合成手段 1 1 0 4では受信端末 1 1 1 0の表示性能、 表 示可能な画像フォーマツ 卜に合わせて画像記憶手段 1 1 0 2に記憶 している画像および付加情報記憶手段 1 1 0 3にある付加情報の画 像特性を変換してそれぞれを合成する。 その際に画像記憶手段 1 1 0 2にある画像中の人物の大きさ、 位置、 動き等に合わせて合成方 法を変える。

例えば送信者が図 2 0 ( a ) のような目のアニメーショ ンを付加 情報として選択し、 付加情報を画像記憶手段 1 1 0 2に記憶してあ る画像に合成する場合、 人物認識手段 1 1 1 1 により画像中の人物 の目を認識し、 目の位置および目の大きさを検出し、 それに合わせ て目のアニメーションの大きさを変更して目の位置に合成し、 図 2 0 ( b ) のような画像を得ることができる。 この場合、 付加するァ 二メーシヨンの大きさを受信端末の表示サイズに合わせて、 変える ようにしてもよい。 例えば表示サイズが小さい場合には通常の大き さの 1 . 5倍にして付加するようにする。 これにより、 表示サイズ が小さいために付加した情報がわかりにく くなることを防止できる また、 人物の動きにより、 合成方法を変えるようにしてもよい。 038

- 40 - 例えば、 実施例 4において、 端末情報取得手段 1 1 0 7にて受信端 末が、 M P E G 4ではなく、 動画のフォーマッ トとしてアニメ一シ ヨン G I Fをサポートしており、 表示能力の関係で、 M P E G 4の 画像から 3枚の画像を選択する場合、 一番最初の画像、 中間の画像 、 最後の画像という選択をしてもよいし、 変化の一番大きい画像を 3枚選択してもよいと説明した。

実施例 5では人物の動きが大きく異なる 3枚の画像を選択して合 成を行うようにすることが可能である。 こうすることで、 画像の特 徴をよく表した画像を選択でき、 その画像に付加情報を付加できる ので、 最適な合成画像を受信端末 1 1 1 0 に送信することができる また、 受信端末 1 1 1 0の表示能力の関係でアニメーション G I Fにする場合、 元画像がフルカラーであったとすると、 減色処理を 行う必要があるが、 使用できる色に制限があるため、 顔の肌色が割 り当てられず、 顔色が不適切になる可能性がある。 そこで人物認識 手段 1 1 1 1により人物が存在すると認識された場合、 無条件で肌 色を、 減色後も残るように減色処理を行う。 このようにすることで 、 人物の肌色を損なうことなく画像を送信することができる。

このように、 携帯電話等の通信端末によって人物画像付きデ一タ を送受信する場合に、 受信側の通信端末の性能に合わせて、 画像や 付加情報を最適に変換するため、 受信側の通信端末の性能に対応し て任意の画像を正常に表示することができる。

また、 上記説明ではサーバ上で送信する画像および付加情報それ ぞれに対して画像特性の変換した後に、 両者を合成して受信端末に 送信していたが、 サーバから受信端末に送信する画像および付加情 報を送信し、 受信端末において両者の画像特性の変換および合成を 行うことも可能である。

(実施例 6 )

以下に、 本発明の実施例 6における通信装置について、 図 2 1， 図 2 2を用いて説明する。

図 2 1 は本発明の実施例 6 における通信装置の構成図， 図 2 2 ( a ) は本発明の実施例 6 における特殊効果前の画像を示す図， 図 2 2 ( b ) は本発明の実施例 6における特殊効果後の画像を示す図で あり、 顔の任意のパーツを歪ませる特殊効果を加えている。

図 2 1 において、 基本的には実施例 5 と同じであるが、 付加情報 記憶手段 1 1 0 3、 付加情報合成手段 1 1 0 4、 付加情報選択手段 1 1 0 5の代わりにそれぞれ、 特殊効果記憶手段 2 1 0 3、 特殊効 果合成手段 2 1 0 4、 特殊効果選択手段 2 1 0 5を有する点が異な る。

実施例 6では画像記憶手段 1 1 0 2に記憶してある画像に特殊効 果を加える。 特殊効果とは、 例えば顔全体を大きく したり、 図 2 2 に示すように顔の一部分を変形したり、 目を大きく したりすること をいう。

特殊効果を加えるため、 実施例 6では、 人物認識手段 1 1 1 1 に より画像記憶手段 1 1 0 2にある画像の中の人物を認識し、 顔の位 置、 目の位置、 口の位置などの位置を認識する。 人物認識は肌色の 検出や、 目、 口のパターンマッチング手法等によ .り行う。

特殊効果合成手段 2 1 0 4では受信端末 1 1 1 0の表示性能、 表 示可能な画像フォーマツ トに合わせて特殊効果を加えた画像の画像 特性を変換する。 例えば、 受信端末 1 1 1 0の表示サイズが小さい 場合、 画像の変形量が小さいと特殊効果がよくわからない場合があ るので、 受信端末 1 1 1 0の表示サイズが小さい場合には、 画像の 変形量をより大きく して受信端末 1 1 1 0で特殊効果がわかりやく なるように画像特性を変換してから特殊効果を加える。

別の例としては、 受信端末に合わせて減色処理を行う際に、 実施 例 5で述べたように、 人物認識手段 1 1 1 1 により人物が存在する と認識された場合、 無条件で肌色を減色しないようにしてもよい。 このようにすることで、 肌色を受信端末 1 1 1 0で表示することが できるため、 受信端末で肌色がなくなるという現象を防止すること ができる。

このように、 携帯電話等の通信端末によって特殊効果を加えた画 像付きデータを送受信する場合に、 受信側の通信端末の性能に合わ せて、 画像を最適に変換するため、 受信側の通信端末の性能に対応 して任意の画像を正常に表示することができる。

また、 上記説明ではサーバ上で送信する画像および付加情報それ ぞれに対して画像特性の変換した後に、 両者を合成して受 端末に 送信していたが、 サーバから受信端末に送信する画像および付加情 報を送信し、 受信端末において両者の画像特性の変換および合成を 行う ことも可能である。

(実施例 7 )

以下に、 本 ¾明の実施例 7 における通信装置について、 図 2 3， 図 2 4を用いて説明する。

図 2 3は本発明の実施例 7における受信端末で合成を行う通信装 置の構成図， 図 2 4は本発明の実施例 7における受信端末でプログ ラムにより合成を行う通信装置の構成図である。 前述の実施例では、 サーバで送信する画像と付加情報を受信端末 に対応する画像特性に変換し、 それらを合成してから受信端末に合 成画像を送信する構成としていたが、 受信端末において、 受信した 画像と付加情報を適当な画像特性に変換して合成することも可能で ある。

図 2 3において、 サ一パ 2 3 0 1は、 送信端末 1 1 0 9から送信 される画像を記憶する画像記憶手段 1 1 0 2 と、 送信される画像と 合成される付加情報を選択する付加情報選択手段 1 1 0 5 と、 選択 された付加情報を記憶する付加情報記憶手段 1 1 0 3 と画像と、 付 加情報を合成して送信端末に合成画像を送信する付加情報合成手段 ,1 1 0 4と、 送信する画像を受信端末 2 3 0 9に送信する画像送信 手段 2 3 0 5 と、 付加情報を受信端末 2 3 0 9に送信する付加情報 送信手段 2 3 0 7 により構成さる。 受信端末 2 3 0 9は、 サーバ 2 3 0 1 の画像送信手段 2 3 0 5から送信された画像を受信する画像 受信手段 2 3 1 0 と、 サ一バ 2 3 0 1の付加情報送信手段 2 3 0 7 から送信された付加情報を受信する付加情報受信手段 2 3 1 2 と、 端末情報取得手段 2 3 1 3で取得した受信端末 2 3 0 9 自身の端末 情報に対応して送信された画像と付加情報の画像特性を変換した後 にそれらを合成する付加情報合成手段 2 3 1 1 と、 付加情報合成手 段 2 3 1 1で合成した合成画像を表示する表示手段 2 3 1 4と、 画 像と付加情報を変換するプログラムをネッ トヮ一ク 2 3 1 6から入 手するプログラムダウンロード手段 2 3 1 5より構成される。

以下その動作を説明する。

まず、 実施例 4と同様に送信端末 1 1 0 9より画像と選択された 付加情報を合成した合成画像を送信する場合、 本実施例 7ではサー JP02/13038

一 44 - バ 2 3 0 1で変換および合成を行わず、 送信する画像と付加情報を それぞれ画像送信手段 2 3 0 5および付加情報送信手段 2 3 0 7か ら別々に受信端末 2 3 0 9に送信する。

ここで、 送信端末 1 1 0 9における、 サーバ 2 3 0 1で合成され た画像を確認する手段， 付加情報を選択する手段， 送信画像を選択 する手段および送信画像と付加情報を受信端末に送信する指示を行 う手段の図示は省略する。

次に、 受信端末 2 3 0 9では、 画像受信手段 2 3 1 0および付加 情報受信手段 2 3 1 2 によりそれぞれ受信した画像と付加情報を、 端末情報取得手段 2 3 1 3にて取得した受信端末 2 3 0 9 自身の端 末情報を用いて、 付加情報合成手段 2 3 1 1 により受信端末で正常 に表示できる画像特性に変換された後に合成する。

最後に、 合成された合成画像を表示手段 2 3 1 4にて受信端末 2 3 0 9上に表示する。

この時、 付加情報合成手段 2 3 1 1で画像および付加情報を変換 するプログラムはプログラムダウンロード手段 2 3 1 5にて接続さ れたネッ トワーク 2 3 1 6より入手することが可能であり、 常に、 最新または最適な変換を行うことができる。

また、 サーバ 2 3 0 1 より受信端末 2 3 0 9に、 画像と付加情報 と共に画像と付加情報の画像特性を端末情報に対応して変換した後 に合成するプログラムを送信することにより、 受信端末 2 3 0 9 に て画像と付加情報の画像特性変換した後に合成するようにすること も可能である。

図 2 4において、 サーバ 2 4 0 1 は、 画像記憶手段 1 1 0 2， 合 成画像確認手段 2 4 0 5 , 付加情報記憶手段 1 1 0 3， 付加情報選 択手段 1 1 0 5 と、 受信端末 2 4 0 3に送信する画像， 付加情報お よび送信する画像と付加情報を最適に変換した後に合成するプログ ラムを送信する付加情報合成プログラム転送手段 2 4 0 2により構 成される。 受信端末 2 4 0 3は、 端末情報取得手段 2 3 1 3， 表示 手段 2 3 1 4 と、 付加情報合成プロ ラム転送手段 2 4 0 2から送 られたデータにより、 端末情報に対応して受信した画像と付加情報 の画像特性を変換した後に合成する付加情報合成プログラム実行手 段 2 4 0 4により構成される。

ここで、 付加情報合成プログラムには、 受信端末 2 4 0 3より端 末情報を取得するプログラムも内蔵されている。

この構成により、 付加情報合成手段 2 3 1 1で画像と付加情報の 画像特性を変換した後に合成する代わりに、 付加情報合成プロダラ ム実行手段 2 4 0 4にて、 端末情報と、 受信した画像， 付加情報お よび受信した画像と付加情報の画像特性を端末情報に対応して変換 した後に合成するプログラムにより、 端末情報に対応して画像と付 加情報の画像特性を変換した後に合成して、 受信端末で正常に合成 画像を表示することができる。

ここで、 付加情報合成プログラムは J A V A (登録商標） などの 、 プラッ トフオームに依存しないプログラム言語を用いることによ り、 より広範囲な機種に対応することができる。

以上により、 携帯電話等の通信端末によって特殊効果を加えた画 像付きデータを送受信する場合に、 受信側の通信端末にて自身の性 能に'合わせて、 画像を最適に変換するため、 より容易に受信側の通 信端末の性能に対応して任意の画像を正常に表示することができる 。 さらに、 各受信側の通信端末にて処理できるため、 たとえ複数の 受信側の通信端末に送信する場合でも、 サーバにて各受信側の通信 端末毎に変換， 合成処理を行う必要がなく、 1度の処理で各受信側 の通信端末の性能に対応して任意の画像を正常に表示することがで きる。

以上のように、 本発明の通信装置によると、 インタ一ネッ ト上で コミュニケ一ショ ンを行うに際し、 会話対象者が携帯する通信端末 に会話への参加の要請を発信できるため、 会話対象者がィンターネ ッ トに接続されていなくても、 会話対象者に対してネッ トワーク上 のサーバへの接続を要請することができる。

また、 互いの画像情報を表示しながらインタ一ネッ トを用いたコ ミュニケーシヨンを行う際に、 ライブラリに登録された感情を表現 する画像を送信する画像に合成できるようにすることにより、 イン ターネッ 卜上でのコミュニケーションにおいて、 自己の感情を加え てに相手に伝えることができる。

また、 携帯電話等の通信端末によって画像を送受信する場合、 受 信側の通信端末の性能に対応して画像の画像特性を変換するため、 受信側の通信端末の性能に対応して任意の画像を正常に表示するこ とができる。

さらに、 携帯電話等の通信端末によって複数の画像を合成したり 画像に加工を加えて送受信する場合に、 それぞれの画像毎に受信側 の通信端末の性能に対応して画像の画像特性を変換してから合成や 加工等の処理を行うため、 受信側の通信端末の性能に対応して任意 の画像を正常に表示することができる。

Claims

請求の範囲

1 . インタ一ネッ 卜を用いた会話手段であって、

会話者の画像を撮影する手段と会話参加者全員の画像を表示する 手段を備えて会話者の映像を表示しながらインターネッ トを用いた 会話を行う複数の第 1 の通信端末と、

第 1 の通信端末に対応して設けられる第 2の通信端末と、 インターネッ トを行うためのサーバと、

前記サーバと前記第 1の通信端末とを接続する第 1の通信回線と 前記サーバと前記第 2の通信端末とを接続する第 2の通信回線と を有し、 第 1の通信端末によりインタ一ネッ トを用いた会話を行う 際に、 1 または 2以上の会話対象者が所持する第 2の通信端末に前 記会話手段への参加要請を送信することを特徴とする通信装置。

2 . 前記参加要請に対してある会話対象者が参加不可能な場合 、 前記第 2の通信端末により参加不可能な会話対象者が存在すると の情報および参加不可能な会話対象者からの任意の情報を前記サー パに送信し、 前記サーバによりその他の会話対象者の前記第 1の通 信端末に前記参加不可能な会話対象者が存在するとの情報および前 記参加不可能な会話対象者からの任意の情報を送信することを特徴 とする請求項 1記載の通信装置。

3 . 前記第 2の通信端末が電子メール機能付きの携帯型電話で あることを特徴とする請求項 1 または請求項 2のいずれかに記載の 通信装置。

4 . 前記第 2の通信端末がポケッ トベルであることを特徴とす る請求項 1 または請求項 2のいずれかに記載の通信装置。

5 . 前記第 1の通信端末と第 2の通信端末を電子メール機能付 き携帯端末で共用することを特徴とする請求項 1 または請求項 2の いずれかに記載の通信装置。

6 . 前記第 1 の通信回線および第 2の通信回線が共用されて 1 つの通信回線によりサーバに接続することを特徴とする請求項 5記 載の通信装置。

7 . 前記会話対象者を識別する情報として本名あるいはニック ネームを用いることを特徴とする請求項 1または請求項 2または請 求項 3または請求項 4または請求項 5または請求項 6いずれかに記 載の通信装置。

8 . 前記会話対象者を識別する情報として電子メールのァ ドレ スを用いることを特徴とする請求項 1 または請求項 2または請求項 3または請求項 4または請求項 5または請求項 6のいずれかに記載 の通信装置。

9 . インタ一ネッ トを用いた通信手段であって、

通信者の画像を撮影する手段と通信参加者全員の画像を表示する 手段と画像情報付加用スィツチと感情を表現する画像情報を選択す る手段を備えインターネッ 卜を用いた通信を行う複数の通信端末と インターネッ トを行うためのサーバと、

前記サーバと前記通信端末とを接続する通信回線と、

前記感情を表現する画像情報を記録する手段と

を有し、 前記画像情報付加用スィッチの指示により、 前記感情を表 現する画像情報を選択する手段により選択された感情を表現する画 '像情報を、 前記画像を撮影する手段により撮影された画像と合成し て、 前記画像を表示する手段で表示することを特徴とする通信装置

1 0 . 前記感情を表現する画像情報を選択する手段により選択 された感情を表現する画像情報と前記画像を撮影する手段により撮 影された画像との合成を画像情報を選択した通信端末側で行い、 前 記サーバを経由して通信対象者の通信端末へ送信して通信対象者の 通信端末上の画像を表示する手段に表示することを特徴とする請求 項 9記載の通信装置。

1 1 . 前記感情を表現する画像情報を選択する手段により選択 された感情を表現する画像情報と前記画像を撮影する手段により撮 影された画像との合成をサーバで行い、 通信対象者の通信端末へ送 信して通信対象者の通信端末上の画像を表示する手段に表示するこ とを特徴とする請求項 9記載の通信装置。

1 2 . 前記感情を表現する画像情報を選択する手段により選択 された感情を表現する画像情報と前記画像を撮影する手段により撮 影された画像をそれぞれ通信対象者の通信端末側に送信し、 合成を 通信対象者の通信端末側で行って画像を表示する手段に表示するこ とを特徴とする請求項 9記載の通信装置。

1 3 . 前記感情を表現する画像情報を選択する手段により選択 された感情を表現する画像情報は、 前記画像を撮影する手段により 撮影された画像の変化に対応してその合成する位置や形状を変化さ せることを特徴とする請求項 9記載の通信装置。

1 4 . 前記画像を撮影する手段により撮影された画像の変化と して人物の顔の位置の変化に対応することを特徴とする請求項 1 3 記載の通信装置。

1 5 . 前記情報付加用スィッチを用いた指示を通信発信者が機 械的に直接行うことを特徴とする請求項 9記載の通信装置。

1 6 . 前記情報付加用スィッチは、 音声キーワードを登録した 記憶装置を有し、 通信中の音声と前記音声キーワードの一致不一致 により画像情報付加の指示を決定することを特徴とする請求項 9記 載の通信装置。 '

1 7 . 前記情報付加用スィッチは、 任意の表情画像を登録した 記憶装置を有し、 通信中の画像と前記表情画像の一致不一致により 画像情報付加の指示を決定することを特徴とする請求項 9記載の通 信装置。

1 8 . 前記サーバに記憶された感情を表現する画像情報を任意 に取得して合成することを特徴とする請求項 9記載の通信装置。

1 9 . サーバに接続された任意の装置にて作成された前記感情 を表現する画像情報を取得して合成することを特徴とする請求項 9 記載の通信装置。

2 0 . 前記感情を表現する画像情報が図形であることを特徴と する請求項 9記載の通信装置。

2 1 . 前記感情を表現する画像情報が自然画像であることを特 徵とする請求項 9記載の通信装置。

2 2 . 前記感情を表現する画像情報が文字または記号であるこ とを特徴とする請求項 9記載の通信装置。

2 3 . 前記通信が音声による会話で行われる場合に、 前記サ一 バにおいて、 会話中の音声の大きさにより発言者を特定し、 前記画 像を表示する手段にてその発言者の画像を拡大して表示することを 特徴とする請求項 1 または請求項 2または請求項 9記載の通信装置

2 4 . 前記通信が音声による会話で行われる場合に、 前記サー バにおいて、 会話中の各発言者の音声波形を整流し、 整流した直流 成分を一定の時間単位で積分して積分値が所定の閾値を超えた会話 参加者の画像を任意に拡大し、 前記積分値が前記閾値を超える会話 参加者がいない場合には各会話参加者からの画像を均等の大きさで 、 前記画像を表示する手段にて表示することを特徴とする請求項 1 または請求項 2または請求項 9記載の通信装置。

2 5 . 前記通信が音声による会話で行われる場合に、 前記サー バにおいて、 会話中の各発言者の音声波形を整流し、 整流した直流 成分を一定の時間単位で積分し、 さらに複数の時間単位に渡る積分 値の平均値を求めて積分値が所定の閾値を超えた会話参加者の画像 を任意に拡大し、 前記積分値が前記閾値を超える会話参加者がいな い場合には各会話参加者からの画像を均等の大きさで、 前記画像を 表示する手段にて表示することを特徴とする請求項 1または請求項 2または請求項 9記載の通信装置。

2 6 . 前記第 2の通信端末に振動装置を設け、 通信への参加要 請を通信対象者が有する前記第 2の通信端末の振動装置を動作させ ることにより行うことを特徴とする請求項 1 または請求項 2記載の 通信装置。

2 7 . 前記通信端末に振動装置を設け、 通信への参加要請を通 信対象者が有する前記通信端末の振動装置を動作させることにより 行う ことを特徴とする請求項 9記載の通信装置。

2 8 . 前記通信端末に、 振動によって感情を伝達する振動装置 と通信対象者の前記振動装置を振動させるスィッチとを設け、 前記 スィッチによる指示によって前記振動装置を振動させることにより 通信対象者に感情を伝達することを特徴とする請求項 9記載の通信

2 9 . ネッ トワークに接続されたサーバと、 前記サ一バを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に複数の画像を合成して 送信可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に合成される複数の付加情報を記憶する付加情報記 憶手段と、

前記送信側通信端末の指示によって送信画像に合成される付加情 報を任意に選択する付加情報選択手段と、

通信対象となる受信側通信端末に端末情報を送付することを要求 する端末情報要求手段と、

前記受信側通信端末から送付された前記端末情報を受信する端末 情報取得手段と、

前記端末情報に対応して前記送信画像および付加情報それぞれの 画像特性を変換した後に両者を合成する付加情報合成手段と、

合成した合成画像を前記受信側通信端末に送信する合成画像送信 手段と

を有し、

前記通信対象となる受信側通信端末にて最適に表示されるように送 信画像および付加情報それぞれの画像特性を変換してから合成した 画像を送受信することを特徴とする通信装置。

3 0 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に複数の画像を合成して 送信可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に合成される複数の付加情報および前記それぞれの 付加情報に対して画像特性を異ならせた付加情報を記憶する付加情 報記憶手段と、

前記送信側通信端末の指示によって送信画像に合成される付加情 報を任意に選択する付加情報選択手段と、

受信側通信端末に端末情報を 付することを要求する端末情報要 求手段と、

前記受信側通信端末から送付された前記端末情報を受信する端末 情報取得手段と、

前記送信側通信端末の指示によって選択された任意の付加情報の うち前記端末情報に対応して前記受信側通信端末に最も適した付加 情報を選択する付加情報選択手段と、

前記端末情報に対応して前記送信画像の画像特性を変換した後に 前記選択した付加情報を合成する付加情報合成手段と、

合成した合成画像を前記受信側通信端末に送信する合成画像送信 手段と

を有し、 前記通信対象となる受信側通信端末にて最適に表示されるように送 信画像の画像特性を変換し、 付加情報を選択してから両者を合成し た画像を送受信することを特徴とする通信装置。

3 1 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に複数の画像を合成して 送信可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に合成される複数の付加情報を記憶する付加情報記 憶手段と、

前記送信側通信端末の指示によって送信画像に合成される付加情 報を任意に選択する付加情報選択手段と、

通信対象となる受信側通信端末に端末情報を送付することを要求 する端末情報要求手段と、

前記受信側通信端末から送付された前記端末情報を受信する端末 情報取得手段と、

前記送信画像の特徴を検出する画像特徴検出手段と、

前記端末情報に対応して前記送信画像および付加情報それぞれの 画像特性を変換した後に前記送信画像の特徴に応じて決定した前記 付加情報の前記送信画像への合成位置に前記付加情報を合成する付 加情報合成手段と、

合成した合成画像を前記受信側通信端末に送信する合成画像送信 手段と を有し、

前記通信対象となる受信側通信端末にて最適に表示されるように送 信画像および付加情報それぞれの画像特性を変換してから合成して 画像を送受信することを特徴とする通信装置。

3 2 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に複数の画像を合成して 送信可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に合成される複数の付加情.報および前記それぞれの 付加情報に対して画像特性を異ならせた付加情報を記憶する付加情 報記憶手段と、

前記送信側通信端末の指示によって送信画像に合成される付加情 報を任意に選択する付加情報選択手段と、

通信対象となる受信側通信端末に端末情報を送付することを要求 する端末情報要求手段と、

前記受信側通信端末から送付された前記端末情報を受信する端末 情報取得手段と、

前記送信側通信端末の指示によって選択された任意の付加情報の うち前記端末情報に対応する最も受信側通信端末に適した付加情報 を選択する付加情報選択手段と、

前記送信画像の特徴を検出する画像特徴検出手段と、

前記端末情報に対応して前記送信画像の画像特性を変換した後に 前記送信画像の特徴に応じて決定した前記付加情報の前記送信画像 への合成位置に前記選択した付加情報を合成する付加情報合成手段 と、

合成した合成画像を前記受信側通信端末に送信する合成画像送信 手段と

を有し、

前記通信対象となる受信側通信端末にて最適に表示されるように送 信画像の画像特性を変換し、 付加情報を選択してから両者を合成し た画像を送受信することを特徴とする通信装置。

3 3 . 前記画像特徴検出手段は、 送信画像中の人物の大きさや その位置あるいはその動きを検出することを特徵とする請求項 3 1 または請求項 3 2記載の通信装置。

3 4 . 前記画像特徴検出手段は、 送信画像中の人物の顔または その他の構成要素の大きさおよびその位置を検出することを特徴と する請求項 3 1または請求項 3 2記載の通信装置。

3 5 . 前記画像特徴検出手段は、 送信画像中の人物の肌の色も 検出することにより画像特性を変換する際に人物の肌の色を損なわ ないようにすることを特徴とする請求項 3 3または請求項 3 4記載 の通信装置。

3 6 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に画像に特殊効果を加え て送信することが可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に特殊効果を加えるプログラムを記憶する特殊効果 記憶手段と、

前記送信側通信端末の指示によって送信画像に加える特殊効果を 任意に選択する特殊効果選択手段と、

通信対象となる受信側通信端末に端末情報を送付することを要求 する端末情報要求手段と、

前記受信側通信端末から送付された前記端末情報を受信する端末 情報取得手段と、

前記端末情報に対応して前記送信画像の画像特性を変換した後に 前記選択した特殊効果を加える特殊効果合成手段と、

特殊効果を加えた合成画像を前記受信側通信端末に送信する合成 画像送信手段と

を有し、

前記通信対象となる受信側通信端末にて最適に表示されるように送 信画像の画像特性を変換してから特殊効果を加えた画像を送受信す ることを特徴とする通信装置。

3 7 . 前記サーバは前記送信画像の特徴を検出する画像特徴検 出手段を備え、

前記検出した特徴に特殊効果を加えることを特徴とする請求項 3 6記載の通信装置。

3 8 . 前記画像特徴検出手段は、 送信画像中の人物の大きさや その位置あるいはその動きを検出することを特徴とする請求項 3 7 記載の通信装置。

3 9 . 前記画像特徴検出手段は、 送信画像中の人物の顔または その他の構成要素の大きさおよびその位置を検出することを特徴と する請求項 3 7記載の通信装置。

4 0 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に複数の画像を合成して 送信可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に合成される複数の付加情報を記憶する付加情報記 憶手段と、

前記送信側通信端末の指示によって送信画像に合成される付加情 報を任意に選択する付加情報選択手段と、

前記送信画像と前記付加情報を合成して確認のために前記送信側 通信端末に合成した画像を送信する合成画像確認手段と、

前記送信側通信端末の確認を受けて前記送信画像を通信対象とな る受信側通信端末に送信する送信画像送信手段と、

前記送信側通信端末の確認を受けて前記付加情報を受信側通信端 末に送信する付加情報送信手段と

を備え、

刖 通信 末は、

前記合成画像確認手段から受信した合成画像を表示する画像確認 手段と、

送信画像を任意に選択して前記サーバに送信する送信画像送信手 段と、 前記送信画像に合成する付加情報を前記画像確認手段で確認しな がら指定する付加情報指定手段と、

前記送信画像および前記付加情報の受信側通信端末への送信を指 示する送信指示手段と、

前記サーバから前記送信画像を受信する画像受信手段と、 前記サーバから前記付加情報を受信する付加情報受信手段と、 前記通信対象となる受信側通信端末自身の端末情報を取得する端 末情報取得手段と、

前記端末情報に対応して前記送信画像および付加情報それぞれの の画像性を変換した後に両者を合成する付加情報合成手段と、

前記付加情報合成手段で合成した合成画像を表示する表示手段と を備え、

前記通信対象となる受信側通信端末にて最適に表示されるように、 前記受信側通信端末にて送信画像および付加情報それぞれの画像特 性を変換してから合成した画像を送受信することを特徴とする通信

4 1 . 前記通信端末に、 ネッ トワークに接続され、 ネッ トヮー ク上から前記付加情報合成手段において前記端末情報に対応して前 記送信画像および付加情報それぞれのの画像性を 換した後に両者 を合成するプログラムを取得するプログラムダウンロード手段を有 することを特徴とする請求項 4 0記載の通信装置。'

4 2 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に複数の画像を合成して 送信可能な通信装置であって、 前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に合成される複数の付加情報を記憶する付加情報記 憶手段と、

前記送信側通信端末の指示によって送信画像に合成される付加情 報を任意に選択する付加情報選択手段と、

前記送信画像と前記付加情報を合成して確認のために前記送信側 通信端末に合成した画像を送信する合成画像確認手段と、

前記送信側通信端末の確認を受けて前記送信画像を通信対象とな る受信側通信端末に送信する送信画像送信手段と、

前記送信側通信端末の確認を受けて前記付加情報を受信側通信端 末に送信する付加情報送信手段と

を備え、

前記通信端末は、

前記合成画像確認手段から受信した合成画像を表示する画像確認 手段と、

送信画像を任意に選択して前記サーバに送信する送信画像送信手 段と、

前記送信画像に合成する付加情報を前記画像確認手段で確認しな がら指定する付加情報指定手段と、

前記送信画像および前記付加情報の受信側通信端末への送信を指 示する送信指示手段と、

前記サーバから前記送言画像を受信する画像受信手段と、 前記サーバから前記付加情報を受信する付加情報受信手段と、 前記通信対象となる受信側通信端末自身の端末情報を取得する端 末情報取得手段と、

前記送信画像の特徴を検出する画像特徴検出手段と、

前記端末情報に対応して前記送信画像および付加情報それぞれの 画像特性を変換した後に前記送信画像の特徴に応じて決定した前記 付加情報の前記送信画像への合成位置に前記付加情報を合成する付 加情報合成手段と、

付加情報合成手段で合成した合成画像を表示する表示手段と を備え、

前記通信対象となる受信側通信端末にて最適に表示されるように、 前記受信側通信端末にて送信画像および付加情報それぞれの画像特 性を変換してから合成した画像を送受信することを特徴とする通信

4 3 . 前記画像特徴検出手段は、 送信画像中の人物の大きさや その位置あるいはその動きを検出することを特徴とする請求項 4 2 記載の通信装置。

4 4 . 前記画像特徴検出手段は、 送信画像中の人物の顔または その他の構成要素の大きさおよびその位置を検出することを特徴と する請求項 4 2記載の通信装置。

4 5 . 前記画像特徵検出手段は、 送信画像中の人物の肌の色を も検出することにより画像特性を変換する際に人物の肌の色を損な わないようにすることを特徴とする請求項 4 3 または請求項 4 4記 載の通信装置。

4 6 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に画像に特殊効果を加え て送信することが可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に特殊効果を加えるプログラムを記憶する特殊効果 記憶手段と、

前記送信側通信端末の指示によって送信画像に加える特殊効果を 任意に選択する特殊効果選択手段と、

前記送信画像に特殊効果を加えて確認のために前記送信側通信端 末に合成した画像を送信する合成画像確認手段と、

前記送信側通信端末の確認を受けて前記送信画像を通信対象とな る受信側通信端末に送信する送信画像送信手段と、

前記前記送信画像に特殊効果を加えるプログラムを受信側通信端 末に送信する付加情報送信手段と

を備え、

1U記通信端末は、

前記合成画像確認手段から受信した合成画像を表示する画像確認 手段と、

送信画像を任意に選択して前記サーバに送信する送信画像送信手 段と、

前記送信画像に加える特殊効果を前記画像確認手段で確認しなが ら指定する特殊効果指定手段と、

前記送信画像および前記送信画像に特殊効果を加えるプログラム の前記受信側通信端末への送信を指示する送信指示手段と、 前記サーバから前記送信画像を受信する画像受信手段と、 前記サーバ'から前記送信画像に特殊効果を加えるプログラムを受 信する付加情報受信手段と、

前記通信対象となる受信側通信端末自身の端末情報を取得する端 末情報取得手段と、

前記端末情報に対応して前記送信画像の画像特性を変換した後に 前記選択した特殊効果を加える特殊効果合成手段と、

特殊効果合成手段で特殊効果を加えた合成画像を表示する表示手 段と

を備え、

前記通信対象となる受信側通信端末にて最適に表示されるように送 信画像の画像特性を変換してから特殊効果を加えた画像を送受信す ることを特徴とする通信装置。

4 7 . 前記通信端末に、 ネッ トワークに接続され、 ネッ トヮー ク上から前記端末情報に対応して前記送信画像および付加情報それ ぞれの画像特性を変換した後に前記送信画像の特徴に応じて決定し た前記付加情報の前記送信画像への合成位置に前記付加情報を合成 するプログラムを取得するプログラムダウンロード手段を有するこ とを特徴とする請求項 4 2または請求項 4 3または請求項 4 4また は請求項 4 5記載の通信装置。

4 8 . 前記通信端末に、 ネッ トワークに接続され、 ネッ トヮー ク上から前記特殊効果合成手段において前記端末情報に対応して前 記送信画像の画像特性を変換した後に前記選択した特殊効果を加え るプログラムを取得するプログラムダウンロード手段を有すること を特徴とする請求項 4 6記載の通信装置。

4 9 . ネッ トワークに接続されたサ一バと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に複数の画像を合成して 送信可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に合成される複数の付加情報を記憶する付加情報記 憶手段と、

前記送信側通信端末の指示によって送信画像に合成される付加情 報を任意に選択する付加情報選択手段と、 .

前記送信画像と前記付加情報を合成して確認のために前記送信側 通信端末に合成した画像を送信する合成画像確認手段と、

前記送信画像， 前記付加情報および前記送信画像と前記付加情報 を受信側端末装置の性能に応じて変換した後に合成するプログラム を送信する付加情報合成プログラム送信手段と

を備え、

刖記通佰端末は、

前記合成画像確認手段から受信した合成画像を表示する画像確認 手段と、

送信画像を任意に選択して前記サーバに送信する送信画像送信手 段と、

前記送信画像に合成する付加情報を前記画像確認手段で確認しな がら指定する付加情報指定手段と、

前記送信画像および前記送信画像と前記付加情報を受信側端末装 置の性能に応じて変換した後に合成するプログラムの前記受信側通 信端末への送信を指示する送信指示手段と、

前記通信対象となる受信側通信端末自身の端末情報を取得する端 末情報取得手段と、

前記送信画像と前記付加情報を受信側端末装置の性能に応じて変 換した後に合成するプログラムを受信して前記送信画像と前記付加 情報の画像特性を前記端末情報に応じて変換した後に合成する付加 情報合成プログラム実行手段と、

前記付加情報合成プログラム実行手段で合成した合成画像を表示 する表示手段と

を備え、

前記通信対象となる受信側通信端末にて最適に表示されるように、 前記受信側通信端末にて送信画像および付加情報それぞれの画像特 性を変換してから合成した画像を送受信することを特徴とする通信 装置。

5 0 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に複数の画像を合成して 送信可能な通信装置であって、

前記サーバは、

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に合成される複数の付加情報を記憶する付加情報記 憶手段と、 '

前記送信側通信端末の指示によって送信画像に合成される付加情 報を任意に選択する付加情報選択手段と、

前記送信画像と前記付加情報を合成して確認のために前記送信側 通信端末に合成した画像を送信する合成画像確認手段と、

前記送信画像， 前記付加情報および前記送信画像と前記付加情報 を受信側端末装置の性能に応じて変換した後に合成するプログラム を受信側通信端末送信する付加情報合成プログラム送信手段と を備え、

刖記通 1目端末は、

前記合成画像確認手段から受信した合成画像を表示する画像確認 手段と、

送信画像を任意に選択して前記サーバに送信する送信画像送信手 段と、

前記送信画像に合成する付加情報を前記画像確認手段で確認しな がら指定する付加情報指定手段と、

前記送信画像および前記送信画像と前記付加情報を受信側端末装 置の性能に応じて変換した後に合成するプログラムの前記受信側通 信端末への送信を指示する送信指示手段と、

前記通信対象となる受信側通信端末自身の端末情報を取得する端 末情報取得手段と、

前記送信画像の特徴を検出する画像特徴検出手段と、

前記送信画像と前記付加情報を受信側端末装置の性能に応じて変 換した後に合成するプログラムを受信して前記送信画像と前記付加 情報の画像特性を前記送信画像の特徴に応じて決定した前記付加情 報の前記送信画像への合成位置に前記端末情報に応じて前記付加情 報を合成する付加情報合成プログラム実行手段と、 前記付加情報合成プログラム実行手段で合成した合成画像を表示 する表示手段と

を備え、

前記通信対象となる受信側通信端末にて最適に表示されるように、 前記受信側通信端末にて送信画像および付加情報それぞれの画像特 性を変換してから合成した画像を送受信することを特徴とする通信 装置。

5 1 . 前記画像特徴検出手段は、 送信画像中の人物の大きさや その位置あるいはその動きを検出することを特徴とする請求項 5 0 記載の通信装置。

5 2 . 前記画像特徴検出手段は、 送信画像中の人物の顔または その他の構成要素の大きさおよびその位置を検出することを特徴と する請求項 5 0記載の通信装置。

5 3 . 前記画像特徴検出手段は、 送信画像中の人物の肌の色を も検出することにより画像特性を変換する際に人物の肌の色を損な わないようにすることを特徴とする請求項^ ^ または請求項 5 2記 載の通信装置。

5 4 . ネッ トワークに接続されたサーバと、 前記サーバを介し てそれぞれが通信可能な複数の通信端末とによって構成され、 任意 の通信端末からそれ以外の任意の通信端末に画像に特殊効果を加え て送信することが可能な通信装置であって、

前記サーバは、 '

送信側通信端末から送信された任意の送信画像を受信して記憶す る画像記憶手段と、

前記送信画像に特殊効果を加えるプログラムを記憶する特殊効果 記憶手段と、

前記送信側通信端末の指示によって送信画像に加える特殊効果を 任意に選択する特殊効果選択手段と、

前記送信画像に特殊効果を加えて確認のために前記送信側通信端 末に合成した画像を送信する合成画像確認手段と、

前記送信画像および前記送信画像を受信側端末装置の性能に応じ て変換した後合成するプログラムを送信する付加情報合成プロダラ ム送信手段と

を備え、

刖記通信 末は、

前記合成画像確認手段から受信した合成画像を表示する画像確認 手段と、

送信画像を任意に選択して前記サーバに送信する送信画像送信手 段と、

前記送信画像に加える特殊効果を前記画像確認手段で確認しなが ら指定する付加情報指定手段と、

前記送信画像および前記送信画像を受信側端末装置の性能に応じ て変換した後に前記指定した特殊効果を加えるプログラムの前記受 信側通信端末への送信を指示する送信指示手段と、

前記通信対象となる受信側通信端末自身の端末情報を取得する端 末情報取得手段と、

前記送信画像を受信側端末装置の性能に応じて変換した後に前記 指定した特殊効果を加えるプログラムを受信して前記送信画像を前 記端末情報に対応して変換した後に前記選 した特殊効果を加える 付加情報合成プログラム実行手段と、 前記付加情報合成プログラム実行手段で特殊効果を加えた合成画 像を表示する表示手段と

を備え、

前記通信対象となる受信側通信端末にて最適に表示されるように送 信画像の画像特性を変換してから特殊効果を加えた画像を送受信す ることを特徴とする通信装置。