JP3730505B2 - コミュニケーション画像生成装置、コミュニケーション画像生成方法及び記録媒体 - Google Patents
コミュニケーション画像生成装置、コミュニケーション画像生成方法及び記録媒体 Download PDFInfo
- Publication number
- JP3730505B2 JP3730505B2 JP2000333972A JP2000333972A JP3730505B2 JP 3730505 B2 JP3730505 B2 JP 3730505B2 JP 2000333972 A JP2000333972 A JP 2000333972A JP 2000333972 A JP2000333972 A JP 2000333972A JP 3730505 B2 JP3730505 B2 JP 3730505B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- detection information
- sensor
- haptic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マルチモーダルデータを利用したコミュニケーション画像生成装置およびコミュニケーション装置およびコミュニケーション画像生成方法およびコミュニケーション情報処理方法に関する。
【０００２】
【従来の技術】
遠隔地の相手とコミュニケーションをとるための装置として、従来より主に音声を用いるもの（例えば、電話）、文字情報を用いるもの（例えば、メールシステム、チャットシステム）、画像を用いるもの（例えば、ＴＶ（テレビ）電話）などがある。また、実験段階ではあるが、触覚を伝え合う装置（例えば、HotJiveやIntouch）も開発されている。
【０００３】
このような従来のコミュニケーションシステムにおいて、相手に自己の状況や雰囲気を伝達する手段として最も普及しているのは、絵文字であろう。
【０００４】
この絵文字とは文字符号コードで規定されているキャラクタの組み合わせで構成される例えば、
^_^ や (^^; などの如きの表現形式であり、「笑い」や「冷や汗」といった送り手の情況を文字情報として伝達するものである。
【０００５】
これは、ＴＶ電話など対面で互いの顔表情を見合って話し合う状況下にある場合よりも、より直接的に感情表現、伝達ができるというメリットがある。しかしながら、表現力として十分と言えるほどのものではない。
【０００６】
触覚を伝えあう装置を用いたコミュニケーションシステムにしても、より直接的な触れ合いの実現には有効であるが、その触覚情報から相手の状況を推測することは困難である。
【０００７】
以上は、装置を介した人対人のコミュニケーションシステムについての話であるが、人対機械のコミュニケーションシステムにおいても、ＧＵＩ（Graphical User Interface：画面上に表示されたアイコンやウインドウなどのグラフィカルな要素を、マウスなどのポインティング・デバイスを用いてコンピュータを操作する方式のインターフェース）やエージェントシステムに代表されるよう、テキスト、音声、画像などマルチモーダルな情報呈示を組み合わせることで、より分かり易い情報伝達を目指してきた。
【０００８】
しかし、呈示されるマルチモーダルデータは相互に関連づけが行われているにとどまり、モードをまたがった変換や合成、さらには、ユーザの情況に応じたメディアの呈示が行われているとは言えない。
【０００９】
あるメディアを別のメディアに変換して呈示する技術には、音声から動画を自動生成する、Microsoft社の開発した“MediaPlayer7”などがある。ＣＤ（コンパクトディスク）やＷｅｂ（ウェブ）上に存在する音楽ソースを再生すると、その信号成分を解析することで、波形的なデータやグラフィックスシンボルの拡大縮小や変形表示を実時間で行うことができる。
【００１０】
しかし、波形データやグラフィックスシンボルなどマッピングの対象は変えることができてもマッピングされるべきメタ信号（音信号から変換されて得られるもの）は固定されており、同じＣＤをかければ、生成される動画データは同じものになり、周囲の状況にとって変化するものではない。
【００１１】
しかし、本来、人間のおかれる身体的状況や心理的状況は刻一刻と変化するものであり、親密なコミュニケーションを図るためには、それらの状況を適時考慮した呈示技術というものが必要となってくる。
【００１２】
このように従来のコミュニケーション技術では、使用者や相手の情況を的確に伝えることができていないため、一方的な情報の伝達や垂れ流しが行われることになり、一般ユーザにとって情報機器が扱いにくいものになったり、不毛な誹謗、中傷メールがやりとりされるといった問題を生んだりする原因の一つとなっている。
【００１３】
【発明が解決しようとする課題】
上述したように、従来のコミュニケーション装置では、入出力が一対一に対応しているだけであり、相手の雰囲気や状況を伝達するレベルに達していない。
【００１４】
より親密なコミュニケーションをはかるためには、より多くのモーダリティを用いかつそれらを直接伝達するのではなく、変換して伝送、提示することが必要である。
【００１５】
そこで、この発明の目的とするところは、簡単な操作で、コミュニケーションに効果的に反映させることができるようにした利用することができるようにしたコミュニケーション画像生成装置およびコミュニケーション装置およびコミュニケーション画像生成方法およびコミュニケーション情報処理方法を提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明のコミュニケーション装置は、以下のような構成を特徴とする。［１］本発明は、第１には、少なくとも曲げ、傾き、回転のうちの１つのセンサを備えた触覚デバイスと、与えられた顔画像を、目、鼻等の基準軸を以て領域分割する分割手段と、前記触覚デバイスに対するユーザの操作量に対応した曲げ、傾き、回転などの変化に応じて前記分割手段によって領域分割された顔画像をマッピング処理し、合成する合成手段とを具備することを特徴とする。
【００１７】
すなわち、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、顔写真を、目、鼻等の基準軸を以て領域分割し、前記触覚デバイスに対するユーザの操作量対応に曲げ、傾き、回転などの処理を、曲げ、傾き、回転などのセンサ検出量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにする。
【００１８】
愚弟的には本発明は例えば、平常顔の顔写真データを用意し、目、鼻等の基準軸を以て例えば短冊型に領域分割し、各分割領域に対して、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、表情を変更させた顔画像を合成して提示する。
【００１９】
この処理により、様々な、顔の表情や仕草を平常顔より得ることができるようになり、従って、この技術により、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現して提示できるようになり、触覚デバイスの操作対応に変化させて表情に富んだ顔画像を表示してコミュニケーションに利用することができるようになる。
【００２０】
しかも、顔写真を用いる方式の場合、表情豊かに表示されるのは対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【００２１】
［２］また、本発明は、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、コンテンツを、前記触覚デバイスに対するユーザの操作量対応に調整処理するようにする。
【００２２】
この処理により、ユーザの触覚デバイスの操作対応にコンテンツの調整、例えば、コンテンツが音楽データならばその音楽のテンポやピッチ、音程などの変化に反映させたり、コンテンツがゲームソフトであるならばそのゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
【００２３】
［３］本発明のコミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンの各データのうち少なくとも一つを使用者に提示する提示装置と、前記状況センサ出力およびマルチモーダルデータを送受信するためのデータ送受信装置、とから構成される複数のコミュニケーション端末と、
マルチモーダルデータを記憶した記憶装置と、前記状況センサ出力およびマルチモーダルデータを前記コミュニケーション端末との間で送受信するデータ送受信装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置とから構成される演算装置とを備えることを特徴とする。
【００２４】
このような構成のコミュニケーション装置においては、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち、少なくとも一つ以上を状況センサが計測しており、コミュニケーション端末は前記演算装置にこの計測した結果を送信している。そして、前記演算装置においては各々の前記コミュニケーション端末より送信された前記状況センサの出力に基づいて前記マルチモーダルデータを変換し、変換したマルチモーダルデータを各々の前記コミュニケーション端末に伝送し、コミュニケーション端末の提示装置に提示させることにより使用者同士のコミュニケーションを図る。
【００２５】
この結果、状況センサに対するユーザの操作量対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【００２６】
［４］本発明のコミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つを使用者に提示する提示装置と、前記マルチモーダルデータを記憶する記憶装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置と、前記状況センサ出力を送受信するためのデータ送受信装置とから構成される複数のコミュニケーション端末とから構成される。
【００２７】
このような構成の本システムは、コミュニケーション端末の状況センサは、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち、少なくとも一つ以上を計測しており、コミュニケーション端末は他のコミュニケーション端末にこの計測した結果を送信している。そして、各コミュニケーション端末においては各々他の前記コミュニケーション端末より送信された前記状況センサの出力に基づいて前記記憶装置に格納されたマルチモーダルデータを前記マルチモーダルデータ変更装置にて変更し、前記提示装置に提示する。
【００２８】
この結果、状況センサに対するユーザの操作量対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【００２９】
［５］本発明のコミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つを使用者に提示する提示装置と、前記マルチモーダルデータを記憶する記憶装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置と、前記マルチモーダルデータ変更装置によって変更されたマルチモーダルデータを送受信するデータ送受信装置とから構成される。
【００３０】
この結果、状況センサの検出したユーザの状況対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【００３１】
［６］本発明のコミュニケーション装置は、複数のコミュニケーション端末（以下、端末とよぶ）で構成され、各端末は、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、画像、音、振動パタン、温度変化パタンのデータのうち少なくとも一つ以上（以下、マルチモーダルデータと呼ぶ）を記憶するための記憶装置と、前記状況センサ出力のうち少なくとも一つ以上の出力または同出力の組み合わせまたは、同出力と前記記憶装置に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置と、前記マルチモーダルデータ変更装置において変更されたマルチモーダルデータを送受信するためのデータ送受信装置と、前記データ送受信装置で受信したマルチモーダルデータを使用者に提示するデータ提示装置と、で構成されることを特徴とする。
【００３２】
この結果、状況センサの検出したユーザの状況対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、コミュニケーションに効果的に利用することができるようになる。
【００３３】
【発明の実施の形態】
以下、本発明の実施例について、図面を参照しながら説明する。
【００３４】
（本発明の原理的構成）
はじめに、本発明の原理的構成を説明する。本発明は、コミュニケーションのための自己の状況を相手方に伝達するための一手法として、自己の生体情報を自己の静止画としての顔写真に反映させるようにするもので、生体情報対応に顔画像を折り畳み変形加工させて、表情をつくるようにするものである。
【００３５】
本発明においては、平常顔の画像を用意し、これを縦にｎ分割し、これら分割した各区画毎に幅を縮める方向に変形したり、分割線を上方向にシフトしたり、下方向にシフトしたりすることで、笑い顔や悲しみ顔といった様々な顔の表情を作成する。
【００３６】
具体的には、本発明においては、例えば、図１に示すように、顔を縦４分割して顔画像を変形の基本となる４領域１，２，３，４に分ける。顔画像を分割する上で基準となる画像特徴としては顔画像上の“右目”、“左目”、“鼻”、および“口”の各中心位置、および“顔”の輪郭情報などである。
【００３７】
顔を縦に短冊型分割するのは分割した各領域について、一辺を平行移動操作して変形することで得られる顔の表情が、自然体に近いものとなり、違和感が少ないためである。
【００３８】
顔画像を変形させる際に基本となる画像領域を右目、左目、そして口の中心を通る縦軸を基準に、これらの縦軸と画像境界との交点、および画像端点、あるいは顔輪郭を包摂する四辺形領域との交点、および四辺形領域端点の４頂点で構成される４つの短冊状画像領域に分割する（図１参照）。
【００３９】
分割領域を構成する４頂点の位置情報と、領域内画像情報を保持しておき、分割領域の四辺形が長方形でない場合、４頂点の位相情報に基づき、画像情報のリサンプリングを行い、長方形領域に正規化して保持しておく。
【００４０】
本発明では、分割領域の変形を、触覚デバイスのセンサデータを元に、前記顔画像の分割設定した４領域１，２，３，４について、その各構成領域における頂点情報を変化させ、変形具合を決定する。ここでは、変形具合の決定に、例えば、図２に示すように、３関節を有する波板状（屏風状、蛇腹状）の弾力性ある触覚デバイス５上に曲げセンサ５ａ、ジャイロセンサ５ｂ、加速度センサ５ｃなど、各種センサを設置し、これらセンサの検出情報を用いることにする。この触覚デバイス５は人の手のひらに収まる程度の大きさとし、人の手の動きを検出させる。
【００４１】
図２に示す触覚デバイス５はあくまでも一例であるが、ここでは各関節に曲げセンサ５ａを設置してあるほか、本体に加速度を計測する加速度センサ５ｃ、および傾きを計測するジャイロセンサ５ｂを設置して“曲げ情報”、“加速度情報”、“傾き情報”の３種の情報を取得するようにしてある。
【００４２】
そして、この触覚デバイス５を関節部分で山谷山と折り曲げた際の各関節に設置された曲げセンサ出力、つまり関節の曲がり具合を、分割領域の幅に対応させることにする。対応の仕方としては、第１関節の曲がり具合から、第１画像領域１の幅を決定し、第２関節の曲がり具合から、第２、および第３の分割画像領域２，３の幅を決定し、第３関節の曲がり具合から、第４の分割画像領域４の幅を決定することにする。つまり、触覚デバイス５を強く押し曲げると、合成用分割領域（領域１，２，３，４）の幅が狭くなり、触覚デバイス５を引き伸ばすと、合成用分割領域が広くなるようにする。
また、触覚デバイス５の傾き具合を測る加速度センサ５ｃ出力を、前記顔画像の右目、左目を通る２本の分割線上に存在する分割画像領域頂点の上下方向画像配置を決定するものとする。つまり、触覚デバイス５を奥に傾けると、２本の分割線を画面上、上方向にシフトさせ（つまり、２本の分割線上に存在する全ての分割画像頂点を画面上、上方向にシフトさせ）、手前に傾けた場合、下方向にシフトさせるようにマッピング処理する。
同様に、取得される触覚デバイス５の回転姿勢を測るジャイロセンサ５ｂ出力を、前記顔画像の右目、左目を通る2本の分割線上に存在する分割画像領域頂点の左右方向画像配置を決定するものとする。つまり、触覚デバイス５を右に回転させると、２本の分割線を、右方向にシフトさせ、逆に触覚デバイスを左に回転させると、分割線が左方向にシフトするよう設定する。
【００４３】
変形後の顔画像合成は、前記分割した領域１，２，３，４を合成用の分割領域として、対応する分割領域内に存在する画像情報をセンサ情報対応にマッピングし、顔画像を再合成する。
【００４４】
前記３関節型の触覚デバイス５を用いた場合、平常の表情の顔画像（図３（ａ））が、触覚デバイス５を押し曲げることで、合成される顔画像が細長く表示され、逆に、引き伸ばすことで顔が横伸びした形で表示されることになる。触覚デバイスを奥に傾けると、２本の分割線が上方向にシフトし、その結果、図３（ｂ）の画像の如く、笑った印象を与える顔画像を合成することができる。逆に手前に傾けると、下方向にシフトし、その結果、図３（ｃ）の如く、悲しんだ印象を与える顔画像を合成させることができる。
【００４５】
両目を通る２本の分割線を上下方向にシフトさせることで、このように異なる印象を与える顔変形画像を合成できる。
【００４６】
さらに、触覚デバイス５を右方向に回転させると、分割線が右方向にシフトする結果、分割画像領域の相対横幅比率が変化し、右に向いた印象を与える顔画像を合成することができる。逆に左に回転させると、左に向いた印象を与える顔画像を合成することができる。
【００４７】
上記の各種状況センサ出力と、マルチモーダルデータ変更のための分割領域変形場所との関連づけは、これに固定したものではなく、任意の組み合わせが可能である。この場合、触覚デバイスの変形具合と、生成される顔画像の変形具合の関係は上記と異なったものになる。
【００４８】
このように、本発明の原理は、平常顔の顔写真を、目、鼻等の基準軸を以て短冊型に領域分割し、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにしたことにより、様々な、顔の表情や仕草を平常顔より得ることができるようにした。これにより、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現でき、顔文字で表現出来ない変化に富んだ表情を表示してコミュニケーションに利用することができる。しかも、対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【００４９】
つぎに、このような本発明の応用の例を説明する。
【００５０】
（第１の実施例）
図４は、上述の原理を適用した本発明のコミュニケーションシステムの一実施例に関わる構成図であり、触覚デバイスを備えたユーザ用のコミュニケーション端末（以下、端末とよぶ）１００ａ〜１００ｎと、これとは別に設置される演算装置１５０とからなる。
【００５１】
演算装置１５０は、本発明の原理を適用した画像合成処理機能を有するものであり、データ送受信装置１０６および記憶装置１０４およびマルチモーダルデータ変更装置１０５からなる。
【００５２】
本発明のコミュニケーションシステムにおいては、複数ユーザがそれぞれ端末を持ち、他のユーザと演算装置１５０を介してコミュニケーションする。図４では単純に、ある端末１００ａと別のある端末１００ｎとの間でコミュニケーションするものと仮定するが、交信端末がさらに増えても原理的には変わらない。
【００５３】
端末１００ａ〜１００ｎには、顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサ１０１と、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つ以上（以下、マルチモーダルデータと呼ぶ）を提示するデータ提示装置１０２と、状況センサの出力を送信し、かつマルチモーダルデータを受信するデータ送受信装置１０３とから構成される。
【００５４】
状況センサ１０１としては、例えば、ＣＣＤやＣＭＯＳなどの撮像デバイスを用いたカメラ（撮像手段）のように、顔画像を取得するものがある。更には状況センサ１０１には、端末１００ａ〜１００ｎに対するユーザの触り具合や握り具合を計測することが可能な前述の触覚デバイス５がある。ここでは、状況センサ１０１として、端末１００ａ〜１００ｎに、それぞれ撮像手段と、触覚デバイス５が設けられている構成であるものとする。
【００５５】
この触覚デバイス５には、上述したように、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されており、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測できるものである。
【００５６】
その他、本実施例では用いないが、状況センサ１０１には、体の各部の動きを取得する手段なども考えられ、この体の各部位の動きを取得する手段としては、ユーザの筋肉に発生する電位を取得する方法や各部の動きを加速度センサで取得する方法、関節やひじの曲げなどを曲げセンサで取得する方法、体の各部につけられた小型ＣＣＤやＣＭＯＳカメラから求めたオプティカルフローを求め、それぞれの相対位置変化から動作を取得するなどの様々な手段が考えられ、必要に応じて適宜採用して利用すると良い。
【００５７】
一方、端末１００ａ〜１００ｎにそれぞれ設けられる前記データ提示装置１０２としては、画像を提示するディスプレイ、音を提示するスピーカ、振動パターンを提示する振動子アレイ、温度変化パターンを提示するペルチエ素子アレイなどがある。
【００５８】
また、端末１００ａ〜１００ｎにそれぞれ設けられるデータ送受信装置１０３はデータの送信および受信を行う装置である。このデータ送受信装置１０３でのデータ伝送は無線であっても有線であってもよい。無線通信ならば無線ＬＡＮ（Local Area Network）や近距離無線通信方式であるBluetooth（TM）、また、有線通信ならモデムなどのインタフェースを利用できる。
【００５９】
各端末１００ａ〜１００ｎは、無線、有線により、演算装置１５０と接続されている。この演算装置１５０は、記憶装置１０４と、マルチモーダルデータ変更装置１０５と、データ送受信装置１０６とから構成されるが、これらのうち、記憶装置１０４はマルチモーダルデータを記憶するためのものであって、ハードディスクのようなリードライト可能で大容量の記憶手段が用いられる。
【００６０】
また、演算装置１５０の持つマルチモーダルデータ変更装置１０５は、各端末１００ａ〜１００ｎから送信されたセンサ情報のうち、少なくとも一つ以上の出力または同出力の組み合わせ方または同出力と前記記憶装置１０４に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置１０４内のマルチモーダルデータを実時間で変更させる処理を行うものであり、データ送受信装置１０６は、各端末からのセンサ情報を受信し、変更されたマルチモーダルデータを伝送するためのものである。
【００６１】
次に、このような構成のハードウェアを用いたコミュニケーションサービスの一実施例として、使用者の握り具合に応じて、顔画像の変形を伝達し合うようにしたアプリケーション例を説明する。
【００６２】
図５は、第１の実施例における処理の流れを表したフローチャートである。図５の処理の流れをもとに説明を行う。
【００６３】
まず、ある端末１００ｍのユーザは自己の持つ端末１００ｍの前記状況センサ１０１を用い、自己の状況情報の取得を行う（図５のステップＳ-２０１）。前記状況センサ１０１には、端末１００ｍに対するユーザの触り具合や握り具合を計測することが可能な触覚デバイス５があるので、この触覚デバイス５を利用することにする。
【００６４】
前述したように、この触覚デバイス５には、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されており、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測でき、状況情報として取得できる。
【００６５】
取得されたユーザの状況情報は、端末１００ｍの前記データ送受信装置１０３にて演算装置１５０へと送信される（図５のステップＳ−２０２）。そして、ユーザの状況情報は演算装置１５０におけるデータ送受信装置１０３を介して取り込まれてマルチモーダル変更装置１０５へと送られる。
【００６６】
一方、演算装置１５０においては、その記憶装置１０４にユーザの顔画像あるいはユーザ以外の顔画像が記憶されているものとする。この顔画像は、演算装置１５０の持つデータ受信装置１０６において、あらかじめユーザ以外から伝送されてきたものであってもよい。
【００６７】
次に、演算装置１５０においては自己の持つマルチモーダルデータ変更装置１０５により、ユーザの状況情報対応にマルチモーダルデータに対する所定の変更処理を行う（図５のステップＳ−２０４）。
【００６８】
ここでは、マルチモーダルデータとして顔画像を扱うものとしてこれに対する変更処理を説明を行う。
【００６９】
＜マルチモーダルデータ変更装置の構成と処理例＞
図６はマルチモーダルデータ変更装置１０５の構成例を示したものである。本マルチモーダルデータ変更装置１０５は、受信されたユーザの状況情報対応に顔画像の変更処理を行うものであり、与えられた画像からその特徴を抽出する画像特徴抽出手段９０１、前記画像特徴抽出手段９０１で抽出した画像特徴に基づき、分割画像領域を設定するための分割領域設定手段９０２、この分割領域設定手段９０２で設定した分割領域に含まれる画像情報を保持しておくための分割画像保持手段９０３、分割領域を変形するための分割領域変形手段９０４、前記分割領域変形手段９０４で変形した分割領域に、前記分割画像保持手段９０３に保存しておいた該当する分割領域の画像を再合成するための画像再合成手段９０５とから構成される。
【００７０】
このような構成のマルチモーダルデータ変更装置１０５の作用を説明する。
【００７１】
図７は、本マルチモーダル変更装置１０５における、処理の流れを表したものであり、これをもとにユーザの状況情報対応に顔画像の変更処理を行う例を説明する。
【００７２】
ここでは、平常顔をもとに、様々な表情変化をさせた顔画像の生成について説明する。
顔画像を変更させるために、顔画像を変形の基本となる複数の領域に分割することを考える。この場合、まずはじめに、顔画像を分割する上で基準となる画像特徴を抽出する（図７のステップＳ−１００１）。顔画像上の特徴として、右目、左目、鼻、および口の中心位置、および顔の輪郭情報などを抽出する。
【００７３】
次にマルチモーダルデータ変更装置１０５は画像領域の設定を行う（図７のステップＳ-１００２）。顔画像を変形させる際に基本となる画像領域の設定を行うのが、このステップＳ-１００２での顔画像分割領域設定処理である。
【００７４】
顔画像を右目、左目、そして口の中心を通る縦軸を基準に、ここで設定した縦軸と画像境界との交点、および画像端点、あるいは前記画像特徴の抽出（図７のステップＳ−１００１）で抽出した顔輪郭を包摂する四辺形領域との交点、および四辺形領域端点の４頂点で構成される４つの短冊状画像領域に分割するものとする（図１参照）。
【００７５】
次に、マルチモーダルデータ変更装置１０５は分割顔画像情報の取得を行う（図７のステップＳ−１００３）。この処理は、分割した各領域に含まれる画像情報を保持しておくための処理である。例えば、分割領域を構成する４頂点の位置情報と、領域内画像情報を記憶装置１０４に保持しておく。分割領域の四辺形が長方形でない場合、４頂点の位相情報に基づき、画像情報のリサンプリングを行い、長方形領域に正規化して保持しておく。
【００７６】
顔特徴の抽出（図７のステップＳ−１００１）から分割顔画像情報の取得（図７のステップＳ−１００３）までの処理は、変更する対象の顔画像が変更されない限り、あらかじめ一度行っておけばよい。
【００７７】
次に、マルチモーダルデータ変更装置１０５は分割領域の変形処理を行う（図７のステップＳ-１００４）。この分割領域の変形処理では、演算装置１５０で受信した相手端末１００ａあるいは１００ｎからのセンサデータ（ユーザの状況情報）を元に、前記顔画像分割領域の設定（図７のステップＳ-１００２）で領域設定した各分割領域を構成する頂点情報を変化させ、変形具合を決定する処理を行う。
【００７８】
ここでは、変形具合の決定に、例えば、図２で説明した３関節を有する触覚デバイス５を用いるとし、触覚デバイス５上に設置した各種センサ情報を用いることにする。上述したように、図２の例の場合、触覚デバイス５にはその各関節に、曲げセンサ５ａが設置してあるほか、本体に加速度を計測する加速度センサ５ｂ、および傾きを計測するジャイロセンサ５ｃが設置してある。
【００７９】
この触覚デバイス５を関節部分で山谷山と折り曲げた際の各関節に設置された曲げセンサ５ａ出力、つまり関節の曲がり具合を、分割領域の幅に反映させる。その反映のさせ方としては、第１関節の曲がり具合から、第１画像領域１の幅を決定させ、第２関節の曲がり具合から、第２、および第３の分割画像領域２，３の幅を決定させ、第３関節の曲がり具合から、第４の分割画像領域４の幅を決定させるようにする。これにより、ユーザが端末１００を手で握って、当該端末１００の触覚デバイス５を強く押し曲げると、合成用分割領域の幅が狭くなり、触覚デバイス５の握りを緩めて引き伸ばすと、合成用分割領域が広くなるように処理させることができる。
【００８０】
また、触覚デバイス５の傾き具合を測る加速度センサ５ｂ出力を、前記顔画像分割領域の設定（図７のステップＳ-１００２）で設定した右目、左目を通る２本の分割線上に存在する分割画像領域頂点の上下方向画像配置の決定に反映させようにする。つまり、触覚デバイス５を奥に傾けると、２本の分割線を画面上、上方向にシフトさせ（つまり、２本の分割線上に存在する全ての分割画像頂点を画面上、上方向にシフトさせ）、手前に傾けた場合、下方向にシフトさせるようにマッピング処理させる。
【００８１】
同様に、取得される触覚デバイス５の回転姿勢を測るジャイロセンサ５ｃ出力については、前記顔画像分割領域の設定（図７のステップＳ-１００２）で設定した右目、左目を通る２本の分割線上に存在する分割画像領域頂点の左右方向画像配置の決定に反映させるようにするものとする。つまり、触覚デバイス５を右に回転させると、２本の分割線を、右方向にシフトさせるように反映させ、逆に触覚デバイスを左に回転させると、分割線が左方向にシフトするように反映させる。
【００８２】
この結果、各種センサ５ａ，〜５ｃ出力と画像合成領域（領域１，２，３，４）の設定に関連したマッピングは図２のＭの如きに反映されることになる。
【００８３】
次に、マルチモーダルデータ変更装置１０５は変形後の顔画像合成処理に移る。この処理では、前記分割領域の変形（図７のステップＳ-１００４）で設定した合成用の分割領域に、前記顔画像分割領域の設定（図７のステップＳ-１００３）で設定した対応する分割領域内に存在する画像情報をマッピングする。そして、これにより、再合成顔画像を得る（図７のステップＳ-１００５）。その結果、変形後の顔画像が得られる。
【００８４】
前記３関節型の触覚デバイス５を使用した場合、触覚デバイス５を押し曲げることで、合成される顔画像が細長く表示され、逆に、引き伸ばすことで顔が横伸びした形で表示されることになる。また、触覚デバイス５を奥に傾けると、目の位置を通る２本の分割線がそれぞれ触覚デバイス５の傾き対応に上方向にシフトさせたかたちでマッピングする結果、当該上方向シフトにより、笑った印象を与える顔画像を合成することができる。逆に手前に傾けると、目の位置を通る２本の分割線が触覚デバイス５の傾き対応に下方向にシフトさせたかたちでマッピングする結果、当該下方向シフトにより、悲しんだ印象を与える顔画像を合成させることができる。
【００８５】
更に、触覚デバイス５を右方向に回転させると、その回転量対応に分割線を右方向にシフトさせるように画像をマッピング処理する。その結果、分割画像領域１，２，３，４の相対横幅比率が変化し、右に向いた印象を与える顔画像が合成されることになる。逆に左に回転させると、その回転量対応に分割線を左方向にシフトさせるように画像をマッピング処理し、その結果として左に向いた印象を与える顔画像が合成されることになる。
【００８６】
尚、上記の各種状況センサ出力と、マルチモーダルデータ変更のための分割領域変形場所との関連づけは、これに固定したものではなく、任意の組み合わせが可能である。この場合、触覚デバイス５の変形具合と、生成される顔画像の変形具合の関係は上記と異なったものになる。
【００８７】
以上により、マルチモーダルデータ変更装置１０５において前記記憶装置１０４から取り出した顔画像データが端末側からの各種状況センサ出対応に変更され、新たな顔画像データが合成されたことになる。
【００８８】
マルチモーダルデータ変更装置１０５によるこのような顔画像データ合成の処理が終わるとマルチモーダルデータの送信処理に移る（図５のステップＳ-２０５）。マルチモーダルデータの送信は、前記演算装置１５０におけるマルチモーダル変更装置１０５において、変形後の顔画像合成（図７のステップＳ-１００５）で合成した顔画像をデータ送受信装置１０６に送り、データ送受信装置１０６はこれを端末１００ａあるいは１００ｎへマルチモーダルデータとしてデータ伝送する。
【００８９】
端末１００ａあるいは１００ｎでは、この伝送されてきたマルチモーダルデータの受信処理を行う（図５のステップＳ-２０６）。
【００９０】
端末１００ａあるいは１００ｎにおける当該受信処理は、前記マルチモーダルデータの送信（図５のステップＳ-２０５）で使用者あるいは使用者以外から伝送された顔画像データをコミュニケーション端末１００ａまたは１００ｎのデータ送受信装置１０３で受信するためのもので、受信したマルチモーダルデータは、変形された顔画像データとしてデータ提示装置１０２に表示される（図５のステップＳ−２０７）。
【００９１】
上記第１の実施例では、マルチモーダルデータとして顔画像データを用いたが、マルチモーダルデータに音データを用いる構成とすることもできる。この場合、前記マルチモーダルデータ変更装置１０５において、触覚デバイス５に設置された曲げセンサ５ａの出力を例えば、音強度、加速度センサ５ｂの出力を例えば、ピッチ（音高さ）、ジャイロセンサ５ｃの出力を例えばテンポ（リズム）に割り当てて変更する。もちろん、これはあくまでも一例であってこれらの組み合わせはこれに固定されるものではなく、任意の組み合わせが可能である。
【００９２】
これらの対応づけにより、再生中の音楽データに対し、ユーザは触覚デバイス５を操作することで、音楽データを実時間で変更して楽しむことが可能となる。
【００９３】
また、上記の第１の実施例では、端末同士のコミュニケーションを想定したが、同様のアプリケーションとしては、対戦型のゲームへの応用が考えられる。例えば、演算装置１５０上で各端末１００ａ〜１００ｎから送られた状況センサデータ（状況情報）を得点に置き換え、その得点を元に勝敗をマルチモーダルデータでフィードバックするシステム等が考えられる。
【００９４】
さらに、上記の第１の実施例では、それぞれの端末１００ａ〜１００ｎからの状況センサ出力を演算装置１５０で統合し、全員に同じマルチモーダルデータをフィードバックするシステム等も考えられる。例えば、不特定多数のコミュニティ参加者の全体的意志がどうなっているかを把握したい場合に使用する。
【００９５】
図８は、各端末１００ａ〜１００ｎからの状況センサ出力を統合し、コミュニティ全体の意思を反映した画面を演算装置１５０で生成し、ここで生成した画面データを各端末１００ａ〜１００ｎへ画像データとして伝送し、表示させるようにする。このことで、コミュニティ全体の動向を共有するシステムの概要を示すようにした例である。この結果、不特定多数のコミュニティ参加者の全体的意志がどうなっているかを各自の端末で知ることができるシステムとなる。
【００９６】
以上の第１の実施例は、マルチモーダルデータ変更装置１０５を端末１００ａ〜１００ｎ以外のものに設けた構成としたものであった。次に、マルチモーダルデータ変更装置１０５を端末１００ａ〜１００ｎ自身に持たせる構成とする例を説明する。
【００９７】
（第２の実施例）
第２の実施例はマルチモーダルデータ変更装置１０５を端末側に設けるようにした例であって、以下、詳細を説明する。
【００９８】
図９は、本発明のコミュニケーションシステムの第２実施例に関わる構成図であり、３００ａ，〜３００ｎは本発明によるコミュニケーション端末（以下、端末と呼ぶ）であって、基本的構成は第１の実施例の端末１００ａ〜１００ｎと同様であって、複数のユーザがそれぞれ自己の端末３００ａ，〜３００ｎを持って、他のユーザの端末３００ａ，〜３００ｎと演算装置３５０を介してコミュニケーションする点でも第1の実施例と同じである。
【００９９】
第２の実施例における端末３００ａ，〜３００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ３０１と、前記状況センサ３０１のセンサ出力データを伝送し、かつ使用者および使用者以外から伝送されたセンサ出力データを受信するデータ送受信装置３０２と、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも１つ以上（以下、マルチモーダルデータと呼ぶ）を記憶する記憶装置３０３と、前記データ送受信装置３０２で受信した少なくとも一つ以上の状況センサ出力、または同出力の組み合わせ方または同出力と前記記憶装置３０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置３０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置３０４と、変更されたマルチモーダルデータを使用者に提示するデータ提示装置３０５とから構成される。
【０１００】
第1の実施例と同様、各端末３００ａ，〜３００ｎは、無線通信あるいは有線通信により、外部の演算装置３５０と接続されている。この演算装置３５０は、センサデータ変更装置３０６およびデータ送受信装置３０７とを備える。
【０１０１】
センサデータ変更装置３０６は、各端末３００ａ〜３００ｎから送信されたセンサ情報（状況情報）のうち、少なくとも一つ以上の出力による顔画像の変更処理または同出力の組み合わせによる顔画像変更処理を行うものである。
【０１０２】
データ送受信装置３０７は各端末３００ａ〜３００ｎからのセンサデータの受信、センサデータ変更装置３０６にて変更されたデータを端末３００ａ〜３００ｎに送信するものである。
【０１０３】
図１０は、第２の実施例における処理の流れを示したものである。図１０をもとに第２の実施例のコミュニケーションシステムの作用を説明する。
【０１０４】
ユーザの状況取得（図１０のステップＳ-４０１）は第１の実施例におけるＳ-２０１と同様な処理であるため、説明は省略する。
【０１０５】
ユーザの状況取得が終わると、得られた状況データを送信する（図１０のステップＳ-４０２）。ステップＳ-４０１で取得したセンサ出力データ（前記ユーザの状況情報）をデータ送受信装置３０２により、ユーザあるいはユーザ以外に伝送する処理である。
【０１０６】
ユーザの触り具合や握り具合を計測することが可能な第１の実施例に記載の触覚デバイス５を用いた場合、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力を時系列で伝送することになる。
【０１０７】
次に、状況データの受信処理を行う（図１０のステップＳ−４０３）。これは、前記状況データの送信（図１０のステップＳ−４０２）で各端末３００ａ〜３００ｎから送られてきた状況データを演算装置３５０のデータ送受信装置３０６において受信する処理である。
【０１０８】
状況データを受信したならば、次にこの受信した状況データの変更をする（図１０のステップＳ−４０４）。状況データの変更処理は、前記状況データの受信（図１０のステップＳ−４０３）で受信したユーザあるいはユーザ以外から伝送された状況センサデータを変更するための処理である。
【０１０９】
この場合の変更とは、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力が変換されたもの、またはそれらの統合が行われたものである。
【０１１０】
ここで変更した状況データは、演算装置２０のデータ送受信装置３０６より送信され（図１０のステップＳ−４０５）、各端末３００ａ〜３００ｎそれぞれのデータ送受信装置３０２で受信されることになる（図１０のステップＳ−４０６）。
【０１１１】
次にマルチモーダルデータの変更処理を行う（図１０のステップＳ−４０７）。この処理は、端末３００ａ〜３００ｎ上のマルチモーダルデータ変更装置３０４において、前記変換状況データの受信処理（図１０のステップＳ−４０６）において受信した状況データに基づき、前記記憶装置３０３に格納されたマルチモーダルデータを変更するための処理である。
【０１１２】
マルチモーダルデータ変更装置３０４におけるこの変更処理とは、顔画像データを用いた場合、第１の実施例で説明した方法と同様な状況データ（状況情報）対応のマッピング法により、顔画像データを変更して合成する処理である。
【０１１３】
顔画像データの変更が済むと次にマルチモーダルデータの呈示を行う（図１０のステップＳ-４０８）。これにより、前記マルチモーダルデータの変更処理（Ｓ−４０７）で得られた変形した合成顔画像が、データ呈示装置３０５に表示される。
【０１１４】
第１の実施例に記載した対戦型ゲームに本実施形態を適用した場合、あるユーザから送られた状況データの組み合わせパターンから、他のユーザのセンサデータ強度を抑制するといった使い方が考えられる。これは、必殺技のような特定のアクションパターン（複数センサ出力時系列の組み合わせ）を入力したユーザが、一定時間、他のユーザに優先して自分の行動をシステムに反映させることができるといったような効果の付与に利用できる。この結果、その一定時間の間、他のユーザが自分の行動結果が十分に反映されず、ハンディキャップを負った状況を生成するといったことができ、ゲーム性を一層高める効果が期待できる。また、第１の実施例同様に参加者全員の意思表示などへのアプリケーション応用も考えられる。
【０１１５】
さらに、状況センサデータとして心拍や皮膚温度の計測データが同時に演算装置に送られてきた場合、そのユーザの興奮状態（のめりこみ度）を判定し、触覚デバイス５上の状況センサ出力のデータ変化を強調するといった使い方もできる。例えば、心拍や皮膚温度がある閾値を超えると、のめりこみ度が高いと判断し、状況センサの出力強度を高め、端末側に強調された状況データを送信するわけである。使用者は、強調された状況データに基づき変更されたマルチモーダルデータがフィードバックされることになり、ユーザの状況により感度が変化するシステムが構成でき、よりシステムへののめりこみ度を向上させることが期待できる。
【０１１６】
この場合に第１の実施例との違いは、変更されたマルチメディアデータよりデータ量の少ない状況センサ出力を送受信することで、同様な画像効果を、より効率的に実現するためのシステムを構築することができるという点である。
【０１１７】
上記第２の実施例では、マルチモーダルデータとして顔画像データを用いた場合であるが、マルチモーダルデータを音データにした場合、前記マルチモーダルデータ変更装置３０４におけるセンサ出力と音楽データとの関連づけは、第１の実施例の場合と同様に行うことで、音を実時間で変化させて楽しむことができる。
【０１１８】
次に別の例を第３の実施例として説明する。
【０１１９】
（第３の実施例）
図１１は、本発明のコミュニケーション装置の第３実施例に関わる構成図であり、端末同士で直接コミュニケーションを図ることができるようにしたシステムである。
【０１２０】
５００ａ〜５００ｎが本発明による端末であり、当該端末５００ａ〜５００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ５０１と、前記状況センサ５０１の出力を伝送し、かつ使用者以外のセンサデータを受信するデータ送受信装置５０２、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも１つ以上（以下、マルチモーダルデータと呼ぶ）を記憶する記憶装置５０３と、前記データ送受信装置５０２で受信した少なくとも一つ以上の状況センサ出力、または同出力の組み合わせ方または同出力と前記記憶装置５０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置５０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置５０４と、マルチモーダルデータを使用者に提示するデータ提示装置５０５とで構成される。
【０１２１】
図１２は、第３の実施例のシステムにおける処理の流れを示したものである。図１２に示す処理ステップのうち、ユーザの状況取得（図１２のステップＳ−６０１）からマルチモーダルデータの呈示（Ｓ−６０５）までは、第２の実施例における、状況取得（図１２のステップＳ−４０１）から状況データの送信（図１２のステップＳ−４０２）、および変換状況データの受信（図１２のステップＳ−４０６）からマルチモーダルデータの呈示（図１２のステップＳ−４０８）までの処理と基本的には同じであるが、状況データの送信先が演算装置でなく、端末５００ａ〜５００ｎ相互間であり、送信された状況データを直接、端末５００ａ〜５００ｎ相互間で受信する点だけが異なる。
【０１２２】
すなわち、各端末５００ａ，〜５００ｎは、無線通信あるいは有線通信により、互いに接続されている。これら各端末５００ａ，〜５００ｎは、マルチモーダルデータ変更装置５０４およびデータ送受信装置５０２および記憶装置５０３および状況センサ５０１およびデータ呈示装置５０５とを備える。
【０１２３】
すなわち、まず、ある端末５００のユーザは自己の持つ端末１００の前記状況センサ５０１を用い、自己の状況情報の取得を行う（図１２のステップＳ−６０１；ユーザの状況取得処理）。
【０１２４】
ユーザの状況取得が終わると、得られた状況データを送信する（図１２のステップＳ-６０２）。ステップＳ-６０１で取得したセンサ出力データ（前記ユーザの状況情報）をデータ送受信装置５０２により、ユーザあるいはユーザ以外に伝送するわけである。
【０１２５】
ユーザの触り具合や握り具合を計測することが可能な第１の実施例に記載の触覚デバイス５を用いた場合、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力を時系列で伝送することになる。
【０１２６】
次に、相手方端末は状況データの受信処理を行う（図１２のステップＳ−６０３）。これは、前記状況データの送信（図１２のステップＳ−６０２）で各端末５００ａ〜５００ｎから送られてきた状況データを自己のデータ送受信装置５０２において受信する処理である。
【０１２７】
状況データを受信した端末は、次にこの受信した状況データを用いて当該状況データ対応に顔画像の変更処理をする（図１２のステップＳ−６０４）。状況データ対応の顔画像変更処理は、状況データ、すなわち、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力対応に、行うマルチモーダルデータの変更処理である。この処理は、前記受信した変換状況データを用いて端末５００ａ〜５００ｎ上のマルチモーダルデータ変更装置５０４が前記記憶装置３０３に格納されたマルチモーダルデータに対して行う処理であって、この変更処理とは、顔画像データを用いた場合、第１の実施例で説明した方法と同様な状況データ（状況情報）対応のマッピング法により、顔画像データを変更して合成する処理である。
【０１２８】
顔画像データの変更が済むと次にマルチモーダルデータの呈示を行う（図１２のステップＳ-６０５）。これにより、前記マルチモーダルデータの変更処理で得られた変形した合成顔画像が、ユーザの端末５００におけるデータ呈示装置５０５に表示される。
【０１２９】
第１の実施例に記載した対戦型ゲームに本実施形態を適用した場合、あるユーザから送られた状況データの組み合わせパターンから、他のユーザのセンサデータ強度を抑制するといった使い方が考えられる。これは、必殺技のような特定のアクションパターン（複数センサ出力時系列の組み合わせ）を入力したユーザが、一定時間、他のユーザに優先して自分の行動をシステムに反映させることができるといったような効果の付与に利用できる。この結果、その一定時間の間、他のユーザが自分の行動結果が十分に反映されず、ハンディキャップを負った状況を生成するといったことができ、ゲーム性を一層高める効果が期待できる。また、第１の実施例同様に参加者全員の意思表示などへのアプリケーション応用も考えられる。
【０１３０】
さらに、状況センサデータとして心拍や皮膚温度の計測データが同時に演算装置に送られてきた場合、そのユーザの興奮状態（のめりこみ度）を判定し、触覚デバイス５上の状況センサ出力のデータ変化を強調するといった使い方もできる。例えば、心拍や皮膚温度がある閾値を超えると、のめりこみ度が高いと判断し、状況センサの出力強度を高め、端末側に強調された状況データを送信するわけである。使用者は、強調された状況データに基づき変更されたマルチモーダルデータがフィードバックされることになり、ユーザの状況により感度が変化するシステムが構成でき、よりシステムへののめりこみ度を向上させることが期待できる。
【０１３１】
この場合に第１の実施例との違いは、変更されたマルチメディアデータよりデータ量の少ない状況センサ出力を送受信することで、同様な画像効果を、より効率的に実現するためのシステムを構築することができるという点である。
【０１３２】
上記第３の実施例においても、マルチモーダルデータとして顔画像データを用いる方式の他、マルチモーダルデータを音データにした場合、前記マルチモーダルデータ変更装置５０４におけるセンサ出力と音楽データとの関連づけを、第１の実施例の場合と同様に行うことで、音を実時間で変化させて楽しむことができる。
【０１３３】
このように、この第３の実施例において第２の実施例との違いは、演算装置３５０を用いることなく端末５００ａ〜５００ｎにおいて状況データの送受信を行い、端末内で直接、この状況データ対応に画像の変更処理を行うようにしている点である。
【０１３４】
この場合、演算装置３５０のような状況データ変換処理のための装置を外部に用意する必要がないため、複数台の端末５００ａ〜５００ｎのうち、少なくとも２台があればよく、簡易にシステムを構築することができる。
【０１３５】
また、データ量の少ない状況センサ出力を送受信することで、ネットワーク負荷の低いシステムが構築できるメリットもある。
【０１３６】
（第４の実施例）
図１３は、本発明のコミュニケーション装置の第４実施例に関わる構成図であり、端末同士で直接コミュニケーションを図るシステムである。端末７００ａ〜７００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位またはユーザの周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ７０１と、画像、音、振動パターン、温度変化パターンのデータのうち、少なくとも１つ以上（以下、これらをマルチモーダルデータと呼ぶ）を記憶する記憶装置７０３と、少なくとも一つ以上の前記状況センサ７０１の出力、または同出力の組み合わせ方または同出力と前記記憶装置７０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置７０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置７０４と、前記マルチモーダルデータ変更装置７０４で変更したマルチモーダルデータを送受信するためのデータ送受信装置７０２と、前記データ送受信手段７０２で受信したマルチモーダルデータを使用者に提示するデータ提示装置７０５と、で構成される。
【０１３７】
図１４は、第４の実施例における本システムの処理の流れを示したものである。各処理は、第３の実施例におけるものと同一処理であるため、説明は省略する。
【０１３８】
第４の実施例における本システムの第３の実施例との違いは、端末から別の端末へ送信するデータが、第３の実施例のように状況データではなく、状況データを用いて変更処理した処理済みのマルチモーダルデータとした点である点である。
【０１３９】
第４の実施例における端末７００ａ〜７００ｎにはそれぞれ状況センサ７０１を備えている。状況センサ７０１としては触覚デバイス５を用いており、前述したようにこの触覚デバイス５には、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されていて、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測でき、状況データ（状況情報）として取得できる。この状況データを用いて顔画像の変更処理を行う。
【０１４０】
端末７００ａ〜７００ｎにおいては、それぞれ記憶装置７０３にユーザの顔画像あるいはユーザ以外の顔画像が記憶されているものとする。この顔画像は、端末７００ａ〜７００ｎの持つデータ送受信装置７０２において、あらかじめユーザ以外から伝送されて受信されたものであってもよい。
【０１４１】
マルチモーダルデータ変更装置７０４では、記憶装置７０３に記憶されたこの顔画像に対して、少なくとも一つ以上の前記状況センサ７０１の出力、または同出力の組み合わせ方または同出力と前記記憶装置７０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上のマルチモーダルデータを実時間で変更させる（図１４のステップＳ−８０２）。
【０１４２】
そして、このようにして得たマルチモーダルデータをデータ送受信装置７０２は相手端末へと送信する（図１４のステップＳ−８０３）。
【０１４３】
そして、相手端末では自己の持つデータ送受信装置７０２によりこの送信されてきたマルチモーダルデータを受信する（図１４のステップＳ−８０４）。そして、この受信したマルチモーダルデータを自己のデータ提示装置７０５に提示する（図１４のステップＳ−８０５）。
【０１４４】
すなわち、第４の実施例の特徴は、前述したような触覚デバイス５を用いて構成された状況センサ７０１を備えたユーザの端末７００ａ〜７００ｎ側でユーザの状況取得（図１４のステップＳ−８０１）した後、その取得した状況データを用いてマルチモーダルデータの変更処理（図１４のステップＳ−８０２）を実時間で行って得たマルチモーダルデータを端末相互間での送信データとしているという点である。
【０１４５】
この構成によれば、第３の実施例と同様に、演算装置を別途用意する必要がないため、端末が少なくとも２つ以上あればよく、簡易にシステムを構築することができる。
【０１４６】
また、第３の実施例の場合、相手端末上に提示されるマルチモーダルデータは、相手端末側の前記マルチモーダルデータ変更装置５０４に実装された状況データの処理手順に依存するが、本第４の実施例では、ユーザ側の端末上で意図したマルチモーダルデータ変更データを生成し、相手側に伝送することが可能であり、ユーザの意図を反映させた効果を付加したマルチモーダルデータを相手端末上に呈示させることができるというメリットがある。
【０１４７】
以上、種々の実施例を説明したが要するに本発明は、平常顔の顔写真を、目、鼻等の基準軸を以て短冊型に領域分割し、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにしたものである。この処理により、様々な、顔の表情や仕草を平常顔より得ることができるようになり、従って、この技術により、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現して提示できるようになり、触覚デバイスの操作対応に変化させて表情に富んだ顔画像を表示してコミュニケーションに利用することができるようになると共に、触覚デバイスの操作対応に音楽のテンポやピッチ、音程などの変化に反映させたり、ゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
【０１４８】
しかも、顔写真を用いる方式の場合、表情豊かに表示されるのは対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【０１４９】
なお、本発明は上述した実施形態に限定されるものではなく、種々変形して実施可能である。また、本発明において、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１５０】
また、本発明における実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＭＯなど）、半導体メモリなどの記録媒体に格納して頒布することもでき、また、ネットワークを介しての伝送により、頒布することもできる。
【０１５１】
【発明の効果】
以上説明した様に本発明によれば、より親密なコミュニケーションを図ることが可能となる。
【図面の簡単な説明】
【図１】本発明原理を説明するための図であって、本発明の原理におけるマルチモーダルデータ変更処理で用いる顔画像データを４つの画像領域に分割した様子を表した図である。
【図２】本発明原理を説明するための図であって、本発明において用いる３関節型触覚デバイスに装着された曲げセンサ、加速度センサ、およびジャイロセンサと、各センサの出力値に対応して変化する分割画像領域箇所を示した図である。
【図３】本発明原理を説明するための図であって、変化させた分割画像領域に顔画像のマッピングにより異なる印象を与える顔表情が合成される様子を説明するものであって、両目を通る２本の分割線を上下方向にシフトさせた際に生成される、異なる印象を与える顔変形画像例を示す図である。
【図４】本発明を説明するための図であって、本発明のコミュニケーション装置の第１の実施例の構成を示すブロック図である。
【図５】本発明を説明するための図であって、本発明のコミュニケーション装置の第１実施例における処理の流れ図である。
【図６】本発明を説明するための図であって、本発明システムにおけるマルチモーダルデータ変更装置での処理手段の構成図である。
【図７】本発明を説明するための図であって、本発明システムにおけるマルチモーダルデータ変更装置での処理の流れを示す図である。
【図８】本発明を説明するための図であって、本発明のコミュニケーション装置の第１実施形態を用い、コミュニティの全体動向共有システムを構築した際の概要を示した図である。
【図９】本発明を説明するための図であって、本発明のコミュニケーション装置の第２の実施例の構成を示すブロック図である。
【図１０】本発明を説明するための図であって、本発明のコミュニケーション装置の第２の実施例における処理の流れを示す図である。
【図１１】本発明を説明するための図であって、本発明のコミュニケーション装置の第３の実施例の構成を示すブロック図である。
【図１２】本発明を説明するための図であって、本発明のコミュニケーション装置の第３の実施例における処理の流れを示す図である。
【図１３】本発明を説明するための図であって、本発明のコミュニケーション装置の第４の実施例の構成を示すブロック図である。
【図１４】本発明を説明するための図であって、本発明のコミュニケーション装置の第４の実施例における処理の流れを示す図である。
【符号の説明】
５…触覚デバイス
５ａ…曲げセンサ
５ｂ…加速度センサ
５ｃ…ジャイロセンサ
１００ａ〜１００ｎ，３００ａ，〜３００ｎ，５００ａ〜５００ｎ，７００ａ〜７００ｎ…コミュニケーション端末
１０１，３０１，５０１，７０１…状況センサ
１０４，３０３，５０３，７０３…記憶装置
１０５…マルチモーダルデータ変更装置
１５０，３５０…演算装置
３０２，５０２，７０２…データ送受信装置
３０４，５０５，７０４…マルチモーダルデータ変更装置
３０５，７０５…データ提示装置
９０１…画像特徴抽出手段
９０２…分割領域設定手段
９０３…分割画像保持手段
９０４…分割領域変形手段
９０５…画像再合成手段。
【発明の属する技術分野】
本発明は、マルチモーダルデータを利用したコミュニケーション画像生成装置およびコミュニケーション装置およびコミュニケーション画像生成方法およびコミュニケーション情報処理方法に関する。
【０００２】
【従来の技術】
遠隔地の相手とコミュニケーションをとるための装置として、従来より主に音声を用いるもの（例えば、電話）、文字情報を用いるもの（例えば、メールシステム、チャットシステム）、画像を用いるもの（例えば、ＴＶ（テレビ）電話）などがある。また、実験段階ではあるが、触覚を伝え合う装置（例えば、HotJiveやIntouch）も開発されている。
【０００３】
このような従来のコミュニケーションシステムにおいて、相手に自己の状況や雰囲気を伝達する手段として最も普及しているのは、絵文字であろう。
【０００４】
この絵文字とは文字符号コードで規定されているキャラクタの組み合わせで構成される例えば、
^_^ や (^^; などの如きの表現形式であり、「笑い」や「冷や汗」といった送り手の情況を文字情報として伝達するものである。
【０００５】
これは、ＴＶ電話など対面で互いの顔表情を見合って話し合う状況下にある場合よりも、より直接的に感情表現、伝達ができるというメリットがある。しかしながら、表現力として十分と言えるほどのものではない。
【０００６】
触覚を伝えあう装置を用いたコミュニケーションシステムにしても、より直接的な触れ合いの実現には有効であるが、その触覚情報から相手の状況を推測することは困難である。
【０００７】
以上は、装置を介した人対人のコミュニケーションシステムについての話であるが、人対機械のコミュニケーションシステムにおいても、ＧＵＩ（Graphical User Interface：画面上に表示されたアイコンやウインドウなどのグラフィカルな要素を、マウスなどのポインティング・デバイスを用いてコンピュータを操作する方式のインターフェース）やエージェントシステムに代表されるよう、テキスト、音声、画像などマルチモーダルな情報呈示を組み合わせることで、より分かり易い情報伝達を目指してきた。
【０００８】
しかし、呈示されるマルチモーダルデータは相互に関連づけが行われているにとどまり、モードをまたがった変換や合成、さらには、ユーザの情況に応じたメディアの呈示が行われているとは言えない。
【０００９】
あるメディアを別のメディアに変換して呈示する技術には、音声から動画を自動生成する、Microsoft社の開発した“MediaPlayer7”などがある。ＣＤ（コンパクトディスク）やＷｅｂ（ウェブ）上に存在する音楽ソースを再生すると、その信号成分を解析することで、波形的なデータやグラフィックスシンボルの拡大縮小や変形表示を実時間で行うことができる。
【００１０】
しかし、波形データやグラフィックスシンボルなどマッピングの対象は変えることができてもマッピングされるべきメタ信号（音信号から変換されて得られるもの）は固定されており、同じＣＤをかければ、生成される動画データは同じものになり、周囲の状況にとって変化するものではない。
【００１１】
しかし、本来、人間のおかれる身体的状況や心理的状況は刻一刻と変化するものであり、親密なコミュニケーションを図るためには、それらの状況を適時考慮した呈示技術というものが必要となってくる。
【００１２】
このように従来のコミュニケーション技術では、使用者や相手の情況を的確に伝えることができていないため、一方的な情報の伝達や垂れ流しが行われることになり、一般ユーザにとって情報機器が扱いにくいものになったり、不毛な誹謗、中傷メールがやりとりされるといった問題を生んだりする原因の一つとなっている。
【００１３】
【発明が解決しようとする課題】
上述したように、従来のコミュニケーション装置では、入出力が一対一に対応しているだけであり、相手の雰囲気や状況を伝達するレベルに達していない。
【００１４】
より親密なコミュニケーションをはかるためには、より多くのモーダリティを用いかつそれらを直接伝達するのではなく、変換して伝送、提示することが必要である。
【００１５】
そこで、この発明の目的とするところは、簡単な操作で、コミュニケーションに効果的に反映させることができるようにした利用することができるようにしたコミュニケーション画像生成装置およびコミュニケーション装置およびコミュニケーション画像生成方法およびコミュニケーション情報処理方法を提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明のコミュニケーション装置は、以下のような構成を特徴とする。［１］本発明は、第１には、少なくとも曲げ、傾き、回転のうちの１つのセンサを備えた触覚デバイスと、与えられた顔画像を、目、鼻等の基準軸を以て領域分割する分割手段と、前記触覚デバイスに対するユーザの操作量に対応した曲げ、傾き、回転などの変化に応じて前記分割手段によって領域分割された顔画像をマッピング処理し、合成する合成手段とを具備することを特徴とする。
【００１７】
すなわち、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、顔写真を、目、鼻等の基準軸を以て領域分割し、前記触覚デバイスに対するユーザの操作量対応に曲げ、傾き、回転などの処理を、曲げ、傾き、回転などのセンサ検出量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにする。
【００１８】
愚弟的には本発明は例えば、平常顔の顔写真データを用意し、目、鼻等の基準軸を以て例えば短冊型に領域分割し、各分割領域に対して、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、表情を変更させた顔画像を合成して提示する。
【００１９】
この処理により、様々な、顔の表情や仕草を平常顔より得ることができるようになり、従って、この技術により、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現して提示できるようになり、触覚デバイスの操作対応に変化させて表情に富んだ顔画像を表示してコミュニケーションに利用することができるようになる。
【００２０】
しかも、顔写真を用いる方式の場合、表情豊かに表示されるのは対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【００２１】
［２］また、本発明は、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、コンテンツを、前記触覚デバイスに対するユーザの操作量対応に調整処理するようにする。
【００２２】
この処理により、ユーザの触覚デバイスの操作対応にコンテンツの調整、例えば、コンテンツが音楽データならばその音楽のテンポやピッチ、音程などの変化に反映させたり、コンテンツがゲームソフトであるならばそのゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
【００２３】
［３］本発明のコミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンの各データのうち少なくとも一つを使用者に提示する提示装置と、前記状況センサ出力およびマルチモーダルデータを送受信するためのデータ送受信装置、とから構成される複数のコミュニケーション端末と、
マルチモーダルデータを記憶した記憶装置と、前記状況センサ出力およびマルチモーダルデータを前記コミュニケーション端末との間で送受信するデータ送受信装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置とから構成される演算装置とを備えることを特徴とする。
【００２４】
このような構成のコミュニケーション装置においては、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち、少なくとも一つ以上を状況センサが計測しており、コミュニケーション端末は前記演算装置にこの計測した結果を送信している。そして、前記演算装置においては各々の前記コミュニケーション端末より送信された前記状況センサの出力に基づいて前記マルチモーダルデータを変換し、変換したマルチモーダルデータを各々の前記コミュニケーション端末に伝送し、コミュニケーション端末の提示装置に提示させることにより使用者同士のコミュニケーションを図る。
【００２５】
この結果、状況センサに対するユーザの操作量対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【００２６】
［４］本発明のコミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つを使用者に提示する提示装置と、前記マルチモーダルデータを記憶する記憶装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置と、前記状況センサ出力を送受信するためのデータ送受信装置とから構成される複数のコミュニケーション端末とから構成される。
【００２７】
このような構成の本システムは、コミュニケーション端末の状況センサは、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち、少なくとも一つ以上を計測しており、コミュニケーション端末は他のコミュニケーション端末にこの計測した結果を送信している。そして、各コミュニケーション端末においては各々他の前記コミュニケーション端末より送信された前記状況センサの出力に基づいて前記記憶装置に格納されたマルチモーダルデータを前記マルチモーダルデータ変更装置にて変更し、前記提示装置に提示する。
【００２８】
この結果、状況センサに対するユーザの操作量対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【００２９】
［５］本発明のコミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つを使用者に提示する提示装置と、前記マルチモーダルデータを記憶する記憶装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置と、前記マルチモーダルデータ変更装置によって変更されたマルチモーダルデータを送受信するデータ送受信装置とから構成される。
【００３０】
この結果、状況センサの検出したユーザの状況対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【００３１】
［６］本発明のコミュニケーション装置は、複数のコミュニケーション端末（以下、端末とよぶ）で構成され、各端末は、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、画像、音、振動パタン、温度変化パタンのデータのうち少なくとも一つ以上（以下、マルチモーダルデータと呼ぶ）を記憶するための記憶装置と、前記状況センサ出力のうち少なくとも一つ以上の出力または同出力の組み合わせまたは、同出力と前記記憶装置に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置と、前記マルチモーダルデータ変更装置において変更されたマルチモーダルデータを送受信するためのデータ送受信装置と、前記データ送受信装置で受信したマルチモーダルデータを使用者に提示するデータ提示装置と、で構成されることを特徴とする。
【００３２】
この結果、状況センサの検出したユーザの状況対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、コミュニケーションに効果的に利用することができるようになる。
【００３３】
【発明の実施の形態】
以下、本発明の実施例について、図面を参照しながら説明する。
【００３４】
（本発明の原理的構成）
はじめに、本発明の原理的構成を説明する。本発明は、コミュニケーションのための自己の状況を相手方に伝達するための一手法として、自己の生体情報を自己の静止画としての顔写真に反映させるようにするもので、生体情報対応に顔画像を折り畳み変形加工させて、表情をつくるようにするものである。
【００３５】
本発明においては、平常顔の画像を用意し、これを縦にｎ分割し、これら分割した各区画毎に幅を縮める方向に変形したり、分割線を上方向にシフトしたり、下方向にシフトしたりすることで、笑い顔や悲しみ顔といった様々な顔の表情を作成する。
【００３６】
具体的には、本発明においては、例えば、図１に示すように、顔を縦４分割して顔画像を変形の基本となる４領域１，２，３，４に分ける。顔画像を分割する上で基準となる画像特徴としては顔画像上の“右目”、“左目”、“鼻”、および“口”の各中心位置、および“顔”の輪郭情報などである。
【００３７】
顔を縦に短冊型分割するのは分割した各領域について、一辺を平行移動操作して変形することで得られる顔の表情が、自然体に近いものとなり、違和感が少ないためである。
【００３８】
顔画像を変形させる際に基本となる画像領域を右目、左目、そして口の中心を通る縦軸を基準に、これらの縦軸と画像境界との交点、および画像端点、あるいは顔輪郭を包摂する四辺形領域との交点、および四辺形領域端点の４頂点で構成される４つの短冊状画像領域に分割する（図１参照）。
【００３９】
分割領域を構成する４頂点の位置情報と、領域内画像情報を保持しておき、分割領域の四辺形が長方形でない場合、４頂点の位相情報に基づき、画像情報のリサンプリングを行い、長方形領域に正規化して保持しておく。
【００４０】
本発明では、分割領域の変形を、触覚デバイスのセンサデータを元に、前記顔画像の分割設定した４領域１，２，３，４について、その各構成領域における頂点情報を変化させ、変形具合を決定する。ここでは、変形具合の決定に、例えば、図２に示すように、３関節を有する波板状（屏風状、蛇腹状）の弾力性ある触覚デバイス５上に曲げセンサ５ａ、ジャイロセンサ５ｂ、加速度センサ５ｃなど、各種センサを設置し、これらセンサの検出情報を用いることにする。この触覚デバイス５は人の手のひらに収まる程度の大きさとし、人の手の動きを検出させる。
【００４１】
図２に示す触覚デバイス５はあくまでも一例であるが、ここでは各関節に曲げセンサ５ａを設置してあるほか、本体に加速度を計測する加速度センサ５ｃ、および傾きを計測するジャイロセンサ５ｂを設置して“曲げ情報”、“加速度情報”、“傾き情報”の３種の情報を取得するようにしてある。
【００４２】
そして、この触覚デバイス５を関節部分で山谷山と折り曲げた際の各関節に設置された曲げセンサ出力、つまり関節の曲がり具合を、分割領域の幅に対応させることにする。対応の仕方としては、第１関節の曲がり具合から、第１画像領域１の幅を決定し、第２関節の曲がり具合から、第２、および第３の分割画像領域２，３の幅を決定し、第３関節の曲がり具合から、第４の分割画像領域４の幅を決定することにする。つまり、触覚デバイス５を強く押し曲げると、合成用分割領域（領域１，２，３，４）の幅が狭くなり、触覚デバイス５を引き伸ばすと、合成用分割領域が広くなるようにする。
また、触覚デバイス５の傾き具合を測る加速度センサ５ｃ出力を、前記顔画像の右目、左目を通る２本の分割線上に存在する分割画像領域頂点の上下方向画像配置を決定するものとする。つまり、触覚デバイス５を奥に傾けると、２本の分割線を画面上、上方向にシフトさせ（つまり、２本の分割線上に存在する全ての分割画像頂点を画面上、上方向にシフトさせ）、手前に傾けた場合、下方向にシフトさせるようにマッピング処理する。
同様に、取得される触覚デバイス５の回転姿勢を測るジャイロセンサ５ｂ出力を、前記顔画像の右目、左目を通る2本の分割線上に存在する分割画像領域頂点の左右方向画像配置を決定するものとする。つまり、触覚デバイス５を右に回転させると、２本の分割線を、右方向にシフトさせ、逆に触覚デバイスを左に回転させると、分割線が左方向にシフトするよう設定する。
【００４３】
変形後の顔画像合成は、前記分割した領域１，２，３，４を合成用の分割領域として、対応する分割領域内に存在する画像情報をセンサ情報対応にマッピングし、顔画像を再合成する。
【００４４】
前記３関節型の触覚デバイス５を用いた場合、平常の表情の顔画像（図３（ａ））が、触覚デバイス５を押し曲げることで、合成される顔画像が細長く表示され、逆に、引き伸ばすことで顔が横伸びした形で表示されることになる。触覚デバイスを奥に傾けると、２本の分割線が上方向にシフトし、その結果、図３（ｂ）の画像の如く、笑った印象を与える顔画像を合成することができる。逆に手前に傾けると、下方向にシフトし、その結果、図３（ｃ）の如く、悲しんだ印象を与える顔画像を合成させることができる。
【００４５】
両目を通る２本の分割線を上下方向にシフトさせることで、このように異なる印象を与える顔変形画像を合成できる。
【００４６】
さらに、触覚デバイス５を右方向に回転させると、分割線が右方向にシフトする結果、分割画像領域の相対横幅比率が変化し、右に向いた印象を与える顔画像を合成することができる。逆に左に回転させると、左に向いた印象を与える顔画像を合成することができる。
【００４７】
上記の各種状況センサ出力と、マルチモーダルデータ変更のための分割領域変形場所との関連づけは、これに固定したものではなく、任意の組み合わせが可能である。この場合、触覚デバイスの変形具合と、生成される顔画像の変形具合の関係は上記と異なったものになる。
【００４８】
このように、本発明の原理は、平常顔の顔写真を、目、鼻等の基準軸を以て短冊型に領域分割し、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにしたことにより、様々な、顔の表情や仕草を平常顔より得ることができるようにした。これにより、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現でき、顔文字で表現出来ない変化に富んだ表情を表示してコミュニケーションに利用することができる。しかも、対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【００４９】
つぎに、このような本発明の応用の例を説明する。
【００５０】
（第１の実施例）
図４は、上述の原理を適用した本発明のコミュニケーションシステムの一実施例に関わる構成図であり、触覚デバイスを備えたユーザ用のコミュニケーション端末（以下、端末とよぶ）１００ａ〜１００ｎと、これとは別に設置される演算装置１５０とからなる。
【００５１】
演算装置１５０は、本発明の原理を適用した画像合成処理機能を有するものであり、データ送受信装置１０６および記憶装置１０４およびマルチモーダルデータ変更装置１０５からなる。
【００５２】
本発明のコミュニケーションシステムにおいては、複数ユーザがそれぞれ端末を持ち、他のユーザと演算装置１５０を介してコミュニケーションする。図４では単純に、ある端末１００ａと別のある端末１００ｎとの間でコミュニケーションするものと仮定するが、交信端末がさらに増えても原理的には変わらない。
【００５３】
端末１００ａ〜１００ｎには、顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサ１０１と、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つ以上（以下、マルチモーダルデータと呼ぶ）を提示するデータ提示装置１０２と、状況センサの出力を送信し、かつマルチモーダルデータを受信するデータ送受信装置１０３とから構成される。
【００５４】
状況センサ１０１としては、例えば、ＣＣＤやＣＭＯＳなどの撮像デバイスを用いたカメラ（撮像手段）のように、顔画像を取得するものがある。更には状況センサ１０１には、端末１００ａ〜１００ｎに対するユーザの触り具合や握り具合を計測することが可能な前述の触覚デバイス５がある。ここでは、状況センサ１０１として、端末１００ａ〜１００ｎに、それぞれ撮像手段と、触覚デバイス５が設けられている構成であるものとする。
【００５５】
この触覚デバイス５には、上述したように、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されており、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測できるものである。
【００５６】
その他、本実施例では用いないが、状況センサ１０１には、体の各部の動きを取得する手段なども考えられ、この体の各部位の動きを取得する手段としては、ユーザの筋肉に発生する電位を取得する方法や各部の動きを加速度センサで取得する方法、関節やひじの曲げなどを曲げセンサで取得する方法、体の各部につけられた小型ＣＣＤやＣＭＯＳカメラから求めたオプティカルフローを求め、それぞれの相対位置変化から動作を取得するなどの様々な手段が考えられ、必要に応じて適宜採用して利用すると良い。
【００５７】
一方、端末１００ａ〜１００ｎにそれぞれ設けられる前記データ提示装置１０２としては、画像を提示するディスプレイ、音を提示するスピーカ、振動パターンを提示する振動子アレイ、温度変化パターンを提示するペルチエ素子アレイなどがある。
【００５８】
また、端末１００ａ〜１００ｎにそれぞれ設けられるデータ送受信装置１０３はデータの送信および受信を行う装置である。このデータ送受信装置１０３でのデータ伝送は無線であっても有線であってもよい。無線通信ならば無線ＬＡＮ（Local Area Network）や近距離無線通信方式であるBluetooth（TM）、また、有線通信ならモデムなどのインタフェースを利用できる。
【００５９】
各端末１００ａ〜１００ｎは、無線、有線により、演算装置１５０と接続されている。この演算装置１５０は、記憶装置１０４と、マルチモーダルデータ変更装置１０５と、データ送受信装置１０６とから構成されるが、これらのうち、記憶装置１０４はマルチモーダルデータを記憶するためのものであって、ハードディスクのようなリードライト可能で大容量の記憶手段が用いられる。
【００６０】
また、演算装置１５０の持つマルチモーダルデータ変更装置１０５は、各端末１００ａ〜１００ｎから送信されたセンサ情報のうち、少なくとも一つ以上の出力または同出力の組み合わせ方または同出力と前記記憶装置１０４に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置１０４内のマルチモーダルデータを実時間で変更させる処理を行うものであり、データ送受信装置１０６は、各端末からのセンサ情報を受信し、変更されたマルチモーダルデータを伝送するためのものである。
【００６１】
次に、このような構成のハードウェアを用いたコミュニケーションサービスの一実施例として、使用者の握り具合に応じて、顔画像の変形を伝達し合うようにしたアプリケーション例を説明する。
【００６２】
図５は、第１の実施例における処理の流れを表したフローチャートである。図５の処理の流れをもとに説明を行う。
【００６３】
まず、ある端末１００ｍのユーザは自己の持つ端末１００ｍの前記状況センサ１０１を用い、自己の状況情報の取得を行う（図５のステップＳ-２０１）。前記状況センサ１０１には、端末１００ｍに対するユーザの触り具合や握り具合を計測することが可能な触覚デバイス５があるので、この触覚デバイス５を利用することにする。
【００６４】
前述したように、この触覚デバイス５には、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されており、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測でき、状況情報として取得できる。
【００６５】
取得されたユーザの状況情報は、端末１００ｍの前記データ送受信装置１０３にて演算装置１５０へと送信される（図５のステップＳ−２０２）。そして、ユーザの状況情報は演算装置１５０におけるデータ送受信装置１０３を介して取り込まれてマルチモーダル変更装置１０５へと送られる。
【００６６】
一方、演算装置１５０においては、その記憶装置１０４にユーザの顔画像あるいはユーザ以外の顔画像が記憶されているものとする。この顔画像は、演算装置１５０の持つデータ受信装置１０６において、あらかじめユーザ以外から伝送されてきたものであってもよい。
【００６７】
次に、演算装置１５０においては自己の持つマルチモーダルデータ変更装置１０５により、ユーザの状況情報対応にマルチモーダルデータに対する所定の変更処理を行う（図５のステップＳ−２０４）。
【００６８】
ここでは、マルチモーダルデータとして顔画像を扱うものとしてこれに対する変更処理を説明を行う。
【００６９】
＜マルチモーダルデータ変更装置の構成と処理例＞
図６はマルチモーダルデータ変更装置１０５の構成例を示したものである。本マルチモーダルデータ変更装置１０５は、受信されたユーザの状況情報対応に顔画像の変更処理を行うものであり、与えられた画像からその特徴を抽出する画像特徴抽出手段９０１、前記画像特徴抽出手段９０１で抽出した画像特徴に基づき、分割画像領域を設定するための分割領域設定手段９０２、この分割領域設定手段９０２で設定した分割領域に含まれる画像情報を保持しておくための分割画像保持手段９０３、分割領域を変形するための分割領域変形手段９０４、前記分割領域変形手段９０４で変形した分割領域に、前記分割画像保持手段９０３に保存しておいた該当する分割領域の画像を再合成するための画像再合成手段９０５とから構成される。
【００７０】
このような構成のマルチモーダルデータ変更装置１０５の作用を説明する。
【００７１】
図７は、本マルチモーダル変更装置１０５における、処理の流れを表したものであり、これをもとにユーザの状況情報対応に顔画像の変更処理を行う例を説明する。
【００７２】
ここでは、平常顔をもとに、様々な表情変化をさせた顔画像の生成について説明する。
顔画像を変更させるために、顔画像を変形の基本となる複数の領域に分割することを考える。この場合、まずはじめに、顔画像を分割する上で基準となる画像特徴を抽出する（図７のステップＳ−１００１）。顔画像上の特徴として、右目、左目、鼻、および口の中心位置、および顔の輪郭情報などを抽出する。
【００７３】
次にマルチモーダルデータ変更装置１０５は画像領域の設定を行う（図７のステップＳ-１００２）。顔画像を変形させる際に基本となる画像領域の設定を行うのが、このステップＳ-１００２での顔画像分割領域設定処理である。
【００７４】
顔画像を右目、左目、そして口の中心を通る縦軸を基準に、ここで設定した縦軸と画像境界との交点、および画像端点、あるいは前記画像特徴の抽出（図７のステップＳ−１００１）で抽出した顔輪郭を包摂する四辺形領域との交点、および四辺形領域端点の４頂点で構成される４つの短冊状画像領域に分割するものとする（図１参照）。
【００７５】
次に、マルチモーダルデータ変更装置１０５は分割顔画像情報の取得を行う（図７のステップＳ−１００３）。この処理は、分割した各領域に含まれる画像情報を保持しておくための処理である。例えば、分割領域を構成する４頂点の位置情報と、領域内画像情報を記憶装置１０４に保持しておく。分割領域の四辺形が長方形でない場合、４頂点の位相情報に基づき、画像情報のリサンプリングを行い、長方形領域に正規化して保持しておく。
【００７６】
顔特徴の抽出（図７のステップＳ−１００１）から分割顔画像情報の取得（図７のステップＳ−１００３）までの処理は、変更する対象の顔画像が変更されない限り、あらかじめ一度行っておけばよい。
【００７７】
次に、マルチモーダルデータ変更装置１０５は分割領域の変形処理を行う（図７のステップＳ-１００４）。この分割領域の変形処理では、演算装置１５０で受信した相手端末１００ａあるいは１００ｎからのセンサデータ（ユーザの状況情報）を元に、前記顔画像分割領域の設定（図７のステップＳ-１００２）で領域設定した各分割領域を構成する頂点情報を変化させ、変形具合を決定する処理を行う。
【００７８】
ここでは、変形具合の決定に、例えば、図２で説明した３関節を有する触覚デバイス５を用いるとし、触覚デバイス５上に設置した各種センサ情報を用いることにする。上述したように、図２の例の場合、触覚デバイス５にはその各関節に、曲げセンサ５ａが設置してあるほか、本体に加速度を計測する加速度センサ５ｂ、および傾きを計測するジャイロセンサ５ｃが設置してある。
【００７９】
この触覚デバイス５を関節部分で山谷山と折り曲げた際の各関節に設置された曲げセンサ５ａ出力、つまり関節の曲がり具合を、分割領域の幅に反映させる。その反映のさせ方としては、第１関節の曲がり具合から、第１画像領域１の幅を決定させ、第２関節の曲がり具合から、第２、および第３の分割画像領域２，３の幅を決定させ、第３関節の曲がり具合から、第４の分割画像領域４の幅を決定させるようにする。これにより、ユーザが端末１００を手で握って、当該端末１００の触覚デバイス５を強く押し曲げると、合成用分割領域の幅が狭くなり、触覚デバイス５の握りを緩めて引き伸ばすと、合成用分割領域が広くなるように処理させることができる。
【００８０】
また、触覚デバイス５の傾き具合を測る加速度センサ５ｂ出力を、前記顔画像分割領域の設定（図７のステップＳ-１００２）で設定した右目、左目を通る２本の分割線上に存在する分割画像領域頂点の上下方向画像配置の決定に反映させようにする。つまり、触覚デバイス５を奥に傾けると、２本の分割線を画面上、上方向にシフトさせ（つまり、２本の分割線上に存在する全ての分割画像頂点を画面上、上方向にシフトさせ）、手前に傾けた場合、下方向にシフトさせるようにマッピング処理させる。
【００８１】
同様に、取得される触覚デバイス５の回転姿勢を測るジャイロセンサ５ｃ出力については、前記顔画像分割領域の設定（図７のステップＳ-１００２）で設定した右目、左目を通る２本の分割線上に存在する分割画像領域頂点の左右方向画像配置の決定に反映させるようにするものとする。つまり、触覚デバイス５を右に回転させると、２本の分割線を、右方向にシフトさせるように反映させ、逆に触覚デバイスを左に回転させると、分割線が左方向にシフトするように反映させる。
【００８２】
この結果、各種センサ５ａ，〜５ｃ出力と画像合成領域（領域１，２，３，４）の設定に関連したマッピングは図２のＭの如きに反映されることになる。
【００８３】
次に、マルチモーダルデータ変更装置１０５は変形後の顔画像合成処理に移る。この処理では、前記分割領域の変形（図７のステップＳ-１００４）で設定した合成用の分割領域に、前記顔画像分割領域の設定（図７のステップＳ-１００３）で設定した対応する分割領域内に存在する画像情報をマッピングする。そして、これにより、再合成顔画像を得る（図７のステップＳ-１００５）。その結果、変形後の顔画像が得られる。
【００８４】
前記３関節型の触覚デバイス５を使用した場合、触覚デバイス５を押し曲げることで、合成される顔画像が細長く表示され、逆に、引き伸ばすことで顔が横伸びした形で表示されることになる。また、触覚デバイス５を奥に傾けると、目の位置を通る２本の分割線がそれぞれ触覚デバイス５の傾き対応に上方向にシフトさせたかたちでマッピングする結果、当該上方向シフトにより、笑った印象を与える顔画像を合成することができる。逆に手前に傾けると、目の位置を通る２本の分割線が触覚デバイス５の傾き対応に下方向にシフトさせたかたちでマッピングする結果、当該下方向シフトにより、悲しんだ印象を与える顔画像を合成させることができる。
【００８５】
更に、触覚デバイス５を右方向に回転させると、その回転量対応に分割線を右方向にシフトさせるように画像をマッピング処理する。その結果、分割画像領域１，２，３，４の相対横幅比率が変化し、右に向いた印象を与える顔画像が合成されることになる。逆に左に回転させると、その回転量対応に分割線を左方向にシフトさせるように画像をマッピング処理し、その結果として左に向いた印象を与える顔画像が合成されることになる。
【００８６】
尚、上記の各種状況センサ出力と、マルチモーダルデータ変更のための分割領域変形場所との関連づけは、これに固定したものではなく、任意の組み合わせが可能である。この場合、触覚デバイス５の変形具合と、生成される顔画像の変形具合の関係は上記と異なったものになる。
【００８７】
以上により、マルチモーダルデータ変更装置１０５において前記記憶装置１０４から取り出した顔画像データが端末側からの各種状況センサ出対応に変更され、新たな顔画像データが合成されたことになる。
【００８８】
マルチモーダルデータ変更装置１０５によるこのような顔画像データ合成の処理が終わるとマルチモーダルデータの送信処理に移る（図５のステップＳ-２０５）。マルチモーダルデータの送信は、前記演算装置１５０におけるマルチモーダル変更装置１０５において、変形後の顔画像合成（図７のステップＳ-１００５）で合成した顔画像をデータ送受信装置１０６に送り、データ送受信装置１０６はこれを端末１００ａあるいは１００ｎへマルチモーダルデータとしてデータ伝送する。
【００８９】
端末１００ａあるいは１００ｎでは、この伝送されてきたマルチモーダルデータの受信処理を行う（図５のステップＳ-２０６）。
【００９０】
端末１００ａあるいは１００ｎにおける当該受信処理は、前記マルチモーダルデータの送信（図５のステップＳ-２０５）で使用者あるいは使用者以外から伝送された顔画像データをコミュニケーション端末１００ａまたは１００ｎのデータ送受信装置１０３で受信するためのもので、受信したマルチモーダルデータは、変形された顔画像データとしてデータ提示装置１０２に表示される（図５のステップＳ−２０７）。
【００９１】
上記第１の実施例では、マルチモーダルデータとして顔画像データを用いたが、マルチモーダルデータに音データを用いる構成とすることもできる。この場合、前記マルチモーダルデータ変更装置１０５において、触覚デバイス５に設置された曲げセンサ５ａの出力を例えば、音強度、加速度センサ５ｂの出力を例えば、ピッチ（音高さ）、ジャイロセンサ５ｃの出力を例えばテンポ（リズム）に割り当てて変更する。もちろん、これはあくまでも一例であってこれらの組み合わせはこれに固定されるものではなく、任意の組み合わせが可能である。
【００９２】
これらの対応づけにより、再生中の音楽データに対し、ユーザは触覚デバイス５を操作することで、音楽データを実時間で変更して楽しむことが可能となる。
【００９３】
また、上記の第１の実施例では、端末同士のコミュニケーションを想定したが、同様のアプリケーションとしては、対戦型のゲームへの応用が考えられる。例えば、演算装置１５０上で各端末１００ａ〜１００ｎから送られた状況センサデータ（状況情報）を得点に置き換え、その得点を元に勝敗をマルチモーダルデータでフィードバックするシステム等が考えられる。
【００９４】
さらに、上記の第１の実施例では、それぞれの端末１００ａ〜１００ｎからの状況センサ出力を演算装置１５０で統合し、全員に同じマルチモーダルデータをフィードバックするシステム等も考えられる。例えば、不特定多数のコミュニティ参加者の全体的意志がどうなっているかを把握したい場合に使用する。
【００９５】
図８は、各端末１００ａ〜１００ｎからの状況センサ出力を統合し、コミュニティ全体の意思を反映した画面を演算装置１５０で生成し、ここで生成した画面データを各端末１００ａ〜１００ｎへ画像データとして伝送し、表示させるようにする。このことで、コミュニティ全体の動向を共有するシステムの概要を示すようにした例である。この結果、不特定多数のコミュニティ参加者の全体的意志がどうなっているかを各自の端末で知ることができるシステムとなる。
【００９６】
以上の第１の実施例は、マルチモーダルデータ変更装置１０５を端末１００ａ〜１００ｎ以外のものに設けた構成としたものであった。次に、マルチモーダルデータ変更装置１０５を端末１００ａ〜１００ｎ自身に持たせる構成とする例を説明する。
【００９７】
（第２の実施例）
第２の実施例はマルチモーダルデータ変更装置１０５を端末側に設けるようにした例であって、以下、詳細を説明する。
【００９８】
図９は、本発明のコミュニケーションシステムの第２実施例に関わる構成図であり、３００ａ，〜３００ｎは本発明によるコミュニケーション端末（以下、端末と呼ぶ）であって、基本的構成は第１の実施例の端末１００ａ〜１００ｎと同様であって、複数のユーザがそれぞれ自己の端末３００ａ，〜３００ｎを持って、他のユーザの端末３００ａ，〜３００ｎと演算装置３５０を介してコミュニケーションする点でも第1の実施例と同じである。
【００９９】
第２の実施例における端末３００ａ，〜３００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ３０１と、前記状況センサ３０１のセンサ出力データを伝送し、かつ使用者および使用者以外から伝送されたセンサ出力データを受信するデータ送受信装置３０２と、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも１つ以上（以下、マルチモーダルデータと呼ぶ）を記憶する記憶装置３０３と、前記データ送受信装置３０２で受信した少なくとも一つ以上の状況センサ出力、または同出力の組み合わせ方または同出力と前記記憶装置３０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置３０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置３０４と、変更されたマルチモーダルデータを使用者に提示するデータ提示装置３０５とから構成される。
【０１００】
第1の実施例と同様、各端末３００ａ，〜３００ｎは、無線通信あるいは有線通信により、外部の演算装置３５０と接続されている。この演算装置３５０は、センサデータ変更装置３０６およびデータ送受信装置３０７とを備える。
【０１０１】
センサデータ変更装置３０６は、各端末３００ａ〜３００ｎから送信されたセンサ情報（状況情報）のうち、少なくとも一つ以上の出力による顔画像の変更処理または同出力の組み合わせによる顔画像変更処理を行うものである。
【０１０２】
データ送受信装置３０７は各端末３００ａ〜３００ｎからのセンサデータの受信、センサデータ変更装置３０６にて変更されたデータを端末３００ａ〜３００ｎに送信するものである。
【０１０３】
図１０は、第２の実施例における処理の流れを示したものである。図１０をもとに第２の実施例のコミュニケーションシステムの作用を説明する。
【０１０４】
ユーザの状況取得（図１０のステップＳ-４０１）は第１の実施例におけるＳ-２０１と同様な処理であるため、説明は省略する。
【０１０５】
ユーザの状況取得が終わると、得られた状況データを送信する（図１０のステップＳ-４０２）。ステップＳ-４０１で取得したセンサ出力データ（前記ユーザの状況情報）をデータ送受信装置３０２により、ユーザあるいはユーザ以外に伝送する処理である。
【０１０６】
ユーザの触り具合や握り具合を計測することが可能な第１の実施例に記載の触覚デバイス５を用いた場合、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力を時系列で伝送することになる。
【０１０７】
次に、状況データの受信処理を行う（図１０のステップＳ−４０３）。これは、前記状況データの送信（図１０のステップＳ−４０２）で各端末３００ａ〜３００ｎから送られてきた状況データを演算装置３５０のデータ送受信装置３０６において受信する処理である。
【０１０８】
状況データを受信したならば、次にこの受信した状況データの変更をする（図１０のステップＳ−４０４）。状況データの変更処理は、前記状況データの受信（図１０のステップＳ−４０３）で受信したユーザあるいはユーザ以外から伝送された状況センサデータを変更するための処理である。
【０１０９】
この場合の変更とは、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力が変換されたもの、またはそれらの統合が行われたものである。
【０１１０】
ここで変更した状況データは、演算装置２０のデータ送受信装置３０６より送信され（図１０のステップＳ−４０５）、各端末３００ａ〜３００ｎそれぞれのデータ送受信装置３０２で受信されることになる（図１０のステップＳ−４０６）。
【０１１１】
次にマルチモーダルデータの変更処理を行う（図１０のステップＳ−４０７）。この処理は、端末３００ａ〜３００ｎ上のマルチモーダルデータ変更装置３０４において、前記変換状況データの受信処理（図１０のステップＳ−４０６）において受信した状況データに基づき、前記記憶装置３０３に格納されたマルチモーダルデータを変更するための処理である。
【０１１２】
マルチモーダルデータ変更装置３０４におけるこの変更処理とは、顔画像データを用いた場合、第１の実施例で説明した方法と同様な状況データ（状況情報）対応のマッピング法により、顔画像データを変更して合成する処理である。
【０１１３】
顔画像データの変更が済むと次にマルチモーダルデータの呈示を行う（図１０のステップＳ-４０８）。これにより、前記マルチモーダルデータの変更処理（Ｓ−４０７）で得られた変形した合成顔画像が、データ呈示装置３０５に表示される。
【０１１４】
第１の実施例に記載した対戦型ゲームに本実施形態を適用した場合、あるユーザから送られた状況データの組み合わせパターンから、他のユーザのセンサデータ強度を抑制するといった使い方が考えられる。これは、必殺技のような特定のアクションパターン（複数センサ出力時系列の組み合わせ）を入力したユーザが、一定時間、他のユーザに優先して自分の行動をシステムに反映させることができるといったような効果の付与に利用できる。この結果、その一定時間の間、他のユーザが自分の行動結果が十分に反映されず、ハンディキャップを負った状況を生成するといったことができ、ゲーム性を一層高める効果が期待できる。また、第１の実施例同様に参加者全員の意思表示などへのアプリケーション応用も考えられる。
【０１１５】
さらに、状況センサデータとして心拍や皮膚温度の計測データが同時に演算装置に送られてきた場合、そのユーザの興奮状態（のめりこみ度）を判定し、触覚デバイス５上の状況センサ出力のデータ変化を強調するといった使い方もできる。例えば、心拍や皮膚温度がある閾値を超えると、のめりこみ度が高いと判断し、状況センサの出力強度を高め、端末側に強調された状況データを送信するわけである。使用者は、強調された状況データに基づき変更されたマルチモーダルデータがフィードバックされることになり、ユーザの状況により感度が変化するシステムが構成でき、よりシステムへののめりこみ度を向上させることが期待できる。
【０１１６】
この場合に第１の実施例との違いは、変更されたマルチメディアデータよりデータ量の少ない状況センサ出力を送受信することで、同様な画像効果を、より効率的に実現するためのシステムを構築することができるという点である。
【０１１７】
上記第２の実施例では、マルチモーダルデータとして顔画像データを用いた場合であるが、マルチモーダルデータを音データにした場合、前記マルチモーダルデータ変更装置３０４におけるセンサ出力と音楽データとの関連づけは、第１の実施例の場合と同様に行うことで、音を実時間で変化させて楽しむことができる。
【０１１８】
次に別の例を第３の実施例として説明する。
【０１１９】
（第３の実施例）
図１１は、本発明のコミュニケーション装置の第３実施例に関わる構成図であり、端末同士で直接コミュニケーションを図ることができるようにしたシステムである。
【０１２０】
５００ａ〜５００ｎが本発明による端末であり、当該端末５００ａ〜５００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ５０１と、前記状況センサ５０１の出力を伝送し、かつ使用者以外のセンサデータを受信するデータ送受信装置５０２、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも１つ以上（以下、マルチモーダルデータと呼ぶ）を記憶する記憶装置５０３と、前記データ送受信装置５０２で受信した少なくとも一つ以上の状況センサ出力、または同出力の組み合わせ方または同出力と前記記憶装置５０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置５０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置５０４と、マルチモーダルデータを使用者に提示するデータ提示装置５０５とで構成される。
【０１２１】
図１２は、第３の実施例のシステムにおける処理の流れを示したものである。図１２に示す処理ステップのうち、ユーザの状況取得（図１２のステップＳ−６０１）からマルチモーダルデータの呈示（Ｓ−６０５）までは、第２の実施例における、状況取得（図１２のステップＳ−４０１）から状況データの送信（図１２のステップＳ−４０２）、および変換状況データの受信（図１２のステップＳ−４０６）からマルチモーダルデータの呈示（図１２のステップＳ−４０８）までの処理と基本的には同じであるが、状況データの送信先が演算装置でなく、端末５００ａ〜５００ｎ相互間であり、送信された状況データを直接、端末５００ａ〜５００ｎ相互間で受信する点だけが異なる。
【０１２２】
すなわち、各端末５００ａ，〜５００ｎは、無線通信あるいは有線通信により、互いに接続されている。これら各端末５００ａ，〜５００ｎは、マルチモーダルデータ変更装置５０４およびデータ送受信装置５０２および記憶装置５０３および状況センサ５０１およびデータ呈示装置５０５とを備える。
【０１２３】
すなわち、まず、ある端末５００のユーザは自己の持つ端末１００の前記状況センサ５０１を用い、自己の状況情報の取得を行う（図１２のステップＳ−６０１；ユーザの状況取得処理）。
【０１２４】
ユーザの状況取得が終わると、得られた状況データを送信する（図１２のステップＳ-６０２）。ステップＳ-６０１で取得したセンサ出力データ（前記ユーザの状況情報）をデータ送受信装置５０２により、ユーザあるいはユーザ以外に伝送するわけである。
【０１２５】
ユーザの触り具合や握り具合を計測することが可能な第１の実施例に記載の触覚デバイス５を用いた場合、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力を時系列で伝送することになる。
【０１２６】
次に、相手方端末は状況データの受信処理を行う（図１２のステップＳ−６０３）。これは、前記状況データの送信（図１２のステップＳ−６０２）で各端末５００ａ〜５００ｎから送られてきた状況データを自己のデータ送受信装置５０２において受信する処理である。
【０１２７】
状況データを受信した端末は、次にこの受信した状況データを用いて当該状況データ対応に顔画像の変更処理をする（図１２のステップＳ−６０４）。状況データ対応の顔画像変更処理は、状況データ、すなわち、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力対応に、行うマルチモーダルデータの変更処理である。この処理は、前記受信した変換状況データを用いて端末５００ａ〜５００ｎ上のマルチモーダルデータ変更装置５０４が前記記憶装置３０３に格納されたマルチモーダルデータに対して行う処理であって、この変更処理とは、顔画像データを用いた場合、第１の実施例で説明した方法と同様な状況データ（状況情報）対応のマッピング法により、顔画像データを変更して合成する処理である。
【０１２８】
顔画像データの変更が済むと次にマルチモーダルデータの呈示を行う（図１２のステップＳ-６０５）。これにより、前記マルチモーダルデータの変更処理で得られた変形した合成顔画像が、ユーザの端末５００におけるデータ呈示装置５０５に表示される。
【０１２９】
第１の実施例に記載した対戦型ゲームに本実施形態を適用した場合、あるユーザから送られた状況データの組み合わせパターンから、他のユーザのセンサデータ強度を抑制するといった使い方が考えられる。これは、必殺技のような特定のアクションパターン（複数センサ出力時系列の組み合わせ）を入力したユーザが、一定時間、他のユーザに優先して自分の行動をシステムに反映させることができるといったような効果の付与に利用できる。この結果、その一定時間の間、他のユーザが自分の行動結果が十分に反映されず、ハンディキャップを負った状況を生成するといったことができ、ゲーム性を一層高める効果が期待できる。また、第１の実施例同様に参加者全員の意思表示などへのアプリケーション応用も考えられる。
【０１３０】
さらに、状況センサデータとして心拍や皮膚温度の計測データが同時に演算装置に送られてきた場合、そのユーザの興奮状態（のめりこみ度）を判定し、触覚デバイス５上の状況センサ出力のデータ変化を強調するといった使い方もできる。例えば、心拍や皮膚温度がある閾値を超えると、のめりこみ度が高いと判断し、状況センサの出力強度を高め、端末側に強調された状況データを送信するわけである。使用者は、強調された状況データに基づき変更されたマルチモーダルデータがフィードバックされることになり、ユーザの状況により感度が変化するシステムが構成でき、よりシステムへののめりこみ度を向上させることが期待できる。
【０１３１】
この場合に第１の実施例との違いは、変更されたマルチメディアデータよりデータ量の少ない状況センサ出力を送受信することで、同様な画像効果を、より効率的に実現するためのシステムを構築することができるという点である。
【０１３２】
上記第３の実施例においても、マルチモーダルデータとして顔画像データを用いる方式の他、マルチモーダルデータを音データにした場合、前記マルチモーダルデータ変更装置５０４におけるセンサ出力と音楽データとの関連づけを、第１の実施例の場合と同様に行うことで、音を実時間で変化させて楽しむことができる。
【０１３３】
このように、この第３の実施例において第２の実施例との違いは、演算装置３５０を用いることなく端末５００ａ〜５００ｎにおいて状況データの送受信を行い、端末内で直接、この状況データ対応に画像の変更処理を行うようにしている点である。
【０１３４】
この場合、演算装置３５０のような状況データ変換処理のための装置を外部に用意する必要がないため、複数台の端末５００ａ〜５００ｎのうち、少なくとも２台があればよく、簡易にシステムを構築することができる。
【０１３５】
また、データ量の少ない状況センサ出力を送受信することで、ネットワーク負荷の低いシステムが構築できるメリットもある。
【０１３６】
（第４の実施例）
図１３は、本発明のコミュニケーション装置の第４実施例に関わる構成図であり、端末同士で直接コミュニケーションを図るシステムである。端末７００ａ〜７００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位またはユーザの周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ７０１と、画像、音、振動パターン、温度変化パターンのデータのうち、少なくとも１つ以上（以下、これらをマルチモーダルデータと呼ぶ）を記憶する記憶装置７０３と、少なくとも一つ以上の前記状況センサ７０１の出力、または同出力の組み合わせ方または同出力と前記記憶装置７０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置７０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置７０４と、前記マルチモーダルデータ変更装置７０４で変更したマルチモーダルデータを送受信するためのデータ送受信装置７０２と、前記データ送受信手段７０２で受信したマルチモーダルデータを使用者に提示するデータ提示装置７０５と、で構成される。
【０１３７】
図１４は、第４の実施例における本システムの処理の流れを示したものである。各処理は、第３の実施例におけるものと同一処理であるため、説明は省略する。
【０１３８】
第４の実施例における本システムの第３の実施例との違いは、端末から別の端末へ送信するデータが、第３の実施例のように状況データではなく、状況データを用いて変更処理した処理済みのマルチモーダルデータとした点である点である。
【０１３９】
第４の実施例における端末７００ａ〜７００ｎにはそれぞれ状況センサ７０１を備えている。状況センサ７０１としては触覚デバイス５を用いており、前述したようにこの触覚デバイス５には、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されていて、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測でき、状況データ（状況情報）として取得できる。この状況データを用いて顔画像の変更処理を行う。
【０１４０】
端末７００ａ〜７００ｎにおいては、それぞれ記憶装置７０３にユーザの顔画像あるいはユーザ以外の顔画像が記憶されているものとする。この顔画像は、端末７００ａ〜７００ｎの持つデータ送受信装置７０２において、あらかじめユーザ以外から伝送されて受信されたものであってもよい。
【０１４１】
マルチモーダルデータ変更装置７０４では、記憶装置７０３に記憶されたこの顔画像に対して、少なくとも一つ以上の前記状況センサ７０１の出力、または同出力の組み合わせ方または同出力と前記記憶装置７０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上のマルチモーダルデータを実時間で変更させる（図１４のステップＳ−８０２）。
【０１４２】
そして、このようにして得たマルチモーダルデータをデータ送受信装置７０２は相手端末へと送信する（図１４のステップＳ−８０３）。
【０１４３】
そして、相手端末では自己の持つデータ送受信装置７０２によりこの送信されてきたマルチモーダルデータを受信する（図１４のステップＳ−８０４）。そして、この受信したマルチモーダルデータを自己のデータ提示装置７０５に提示する（図１４のステップＳ−８０５）。
【０１４４】
すなわち、第４の実施例の特徴は、前述したような触覚デバイス５を用いて構成された状況センサ７０１を備えたユーザの端末７００ａ〜７００ｎ側でユーザの状況取得（図１４のステップＳ−８０１）した後、その取得した状況データを用いてマルチモーダルデータの変更処理（図１４のステップＳ−８０２）を実時間で行って得たマルチモーダルデータを端末相互間での送信データとしているという点である。
【０１４５】
この構成によれば、第３の実施例と同様に、演算装置を別途用意する必要がないため、端末が少なくとも２つ以上あればよく、簡易にシステムを構築することができる。
【０１４６】
また、第３の実施例の場合、相手端末上に提示されるマルチモーダルデータは、相手端末側の前記マルチモーダルデータ変更装置５０４に実装された状況データの処理手順に依存するが、本第４の実施例では、ユーザ側の端末上で意図したマルチモーダルデータ変更データを生成し、相手側に伝送することが可能であり、ユーザの意図を反映させた効果を付加したマルチモーダルデータを相手端末上に呈示させることができるというメリットがある。
【０１４７】
以上、種々の実施例を説明したが要するに本発明は、平常顔の顔写真を、目、鼻等の基準軸を以て短冊型に領域分割し、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにしたものである。この処理により、様々な、顔の表情や仕草を平常顔より得ることができるようになり、従って、この技術により、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現して提示できるようになり、触覚デバイスの操作対応に変化させて表情に富んだ顔画像を表示してコミュニケーションに利用することができるようになると共に、触覚デバイスの操作対応に音楽のテンポやピッチ、音程などの変化に反映させたり、ゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
【０１４８】
しかも、顔写真を用いる方式の場合、表情豊かに表示されるのは対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【０１４９】
なお、本発明は上述した実施形態に限定されるものではなく、種々変形して実施可能である。また、本発明において、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１５０】
また、本発明における実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＭＯなど）、半導体メモリなどの記録媒体に格納して頒布することもでき、また、ネットワークを介しての伝送により、頒布することもできる。
【０１５１】
【発明の効果】
以上説明した様に本発明によれば、より親密なコミュニケーションを図ることが可能となる。
【図面の簡単な説明】
【図１】本発明原理を説明するための図であって、本発明の原理におけるマルチモーダルデータ変更処理で用いる顔画像データを４つの画像領域に分割した様子を表した図である。
【図２】本発明原理を説明するための図であって、本発明において用いる３関節型触覚デバイスに装着された曲げセンサ、加速度センサ、およびジャイロセンサと、各センサの出力値に対応して変化する分割画像領域箇所を示した図である。
【図３】本発明原理を説明するための図であって、変化させた分割画像領域に顔画像のマッピングにより異なる印象を与える顔表情が合成される様子を説明するものであって、両目を通る２本の分割線を上下方向にシフトさせた際に生成される、異なる印象を与える顔変形画像例を示す図である。
【図４】本発明を説明するための図であって、本発明のコミュニケーション装置の第１の実施例の構成を示すブロック図である。
【図５】本発明を説明するための図であって、本発明のコミュニケーション装置の第１実施例における処理の流れ図である。
【図６】本発明を説明するための図であって、本発明システムにおけるマルチモーダルデータ変更装置での処理手段の構成図である。
【図７】本発明を説明するための図であって、本発明システムにおけるマルチモーダルデータ変更装置での処理の流れを示す図である。
【図８】本発明を説明するための図であって、本発明のコミュニケーション装置の第１実施形態を用い、コミュニティの全体動向共有システムを構築した際の概要を示した図である。
【図９】本発明を説明するための図であって、本発明のコミュニケーション装置の第２の実施例の構成を示すブロック図である。
【図１０】本発明を説明するための図であって、本発明のコミュニケーション装置の第２の実施例における処理の流れを示す図である。
【図１１】本発明を説明するための図であって、本発明のコミュニケーション装置の第３の実施例の構成を示すブロック図である。
【図１２】本発明を説明するための図であって、本発明のコミュニケーション装置の第３の実施例における処理の流れを示す図である。
【図１３】本発明を説明するための図であって、本発明のコミュニケーション装置の第４の実施例の構成を示すブロック図である。
【図１４】本発明を説明するための図であって、本発明のコミュニケーション装置の第４の実施例における処理の流れを示す図である。
【符号の説明】
５…触覚デバイス
５ａ…曲げセンサ
５ｂ…加速度センサ
５ｃ…ジャイロセンサ
１００ａ〜１００ｎ，３００ａ，〜３００ｎ，５００ａ〜５００ｎ，７００ａ〜７００ｎ…コミュニケーション端末
１０１，３０１，５０１，７０１…状況センサ
１０４，３０３，５０３，７０３…記憶装置
１０５…マルチモーダルデータ変更装置
１５０，３５０…演算装置
３０２，５０２，７０２…データ送受信装置
３０４，５０５，７０４…マルチモーダルデータ変更装置
３０５，７０５…データ提示装置
９０１…画像特徴抽出手段
９０２…分割領域設定手段
９０３…分割画像保持手段
９０４…分割領域変形手段
９０５…画像再合成手段。
Claims (8)
- 与えられた顔画像を、右目の中心位置を縦に通る第１の基準軸、左目の中心位置を縦に通る第２の基準軸、及び鼻の中心位置を縦に通る第３の基準軸で短冊型に４つの画像領域に分割する分割手段と、
前記第１乃至第３の基準軸に対応する第１乃至第３の関節部分を有し、前記第１及び第２の関節部分を山折りにし前記第３の関節部分で谷折りして折り曲げた際の各関節部分での曲がり具合を示す第１の検知情報を出力する第１のセンサと、傾け操作の操作量を示す第２の検知情報を出力する第２のセンサとを含む触覚デバイスと、
前記触覚デバイスに対するユーザの操作により、（ａ）当該触覚デバイスから前記第１の検知情報が出力された場合には、当該第１の検知情報を基に各画像領域の幅を各関節部分での曲がり具合が強いほど狭くなるように変化させ、（ｂ）当該触覚デバイスから前記第２の検知情報が出力された場合には、当該第２の検知情報を基に、前記触覚デバイスが手前に傾けられたとき、前記第１及び第２の基準軸上の画像配置を下方向にシフトさせ、前記触覚デバイスが奥に傾けられたとき、前記第１及び第２の基準軸上の画像配置を上方向にシフトさせることにより、前記与えられた顔画像の顔の表情を変化させた合成画像を生成する生成手段と、
を具備することを特徴とするコミュニケーション画像生成装置。 - 前記触覚デバイスは、左右方向への回転操作の操作量を示す第３の検知情報を出力する第３のセンサをさらに含み、
前記生成手段は、（ｃ）前記触覚デバイスから前記第３の検知情報が出力された場合、当該第３の検知情報を基に、前記触覚デバイスが左へ回転されたとき前記第１及び第２の基準軸上の画像配置を左方向にシフトさせて前記顔画像が左向きの表情となるように各画像領域の相対横幅比率を変化させ、前記触覚デバイスが右へ回転されたとき前記第１及び第２の基準軸上の画像配置を右方向にシフトさせて前記顔画像が右向きの表情となるように各画像領域の相対横幅比率を変化させることを特徴とする請求項１記載のコミュニケーション画像生成装置。 - 与えられた顔画像を、右目の中心位置を縦に通る第１の基準軸、左目の中心位置を縦に通る第２の基準軸、及び鼻の中心位置を縦に通る第３の基準軸で短冊型に４つの画像領域に分割し、
前記第１乃至第３の基準軸に対応する第１乃至第３の関節部分を有し、前記第１及び第２の関節部分を山折りにし前記第３の関節部分で谷折りして折り曲げた際の各関節部分での曲がり具合を示す第１の検知情報を出力する第１のセンサと、傾け操作の操作量を示す第２の検知情報を出力する第２のセンサとを含む触覚デバイスに対するユーザの操作により、（ａ）当該触覚デバイスから前記第１の検知情報が出力された場合には、当該第１の検知情報を基に各画像領域の幅を各関節部分での曲がり具合が強いほど狭くなるように変化させ、（ｂ）当該触覚デバイスから前記第２の検知情報が出力された場合には、当該第２の検知情報を基に、前記触覚デバイスが手前に傾けられたとき、前記第１及び第２の基準軸上の画像配置を下方向にシフトさせ、前記触覚デバイスが奥に傾けられたとき、前記第１及び第２の基準軸上の画像配置を上方向にシフトさせることにより、前記与えられた顔画像の顔の表情を変化させた合成画像を生成することを特徴とするコミュニケーション画像生成方法。 - 前記触覚デバイスは、左右方向への回転操作の操作量を示す第３の検知情報を出力する第３のセンサをさらに含み、
（ｃ）前記触覚デバイスから前記第３の検知情報が出力された場合、当該第３の検知情報を基に、前記触覚デバイスが左へ回転されたとき前記第１及び第２の基準軸上の画像配置を左方向にシフトさせて前記顔画像が左向きの表情となるように各画像領域の相対横幅 比率を変化させ、前記触覚デバイスが右へ回転されたとき前記第１及び第２の基準軸上の画像配置を右方向にシフトさせて前記顔画像が右向きの表情となるように各画像領域の相対横幅比率を変化させることを特徴とする請求項３記載のコミュニケーション画像生成方法。 - 与えられた顔画像の右目の中心位置を縦に通る第１の基準軸、左目の中心位置を縦に通る第２の基準軸、及び鼻の中心位置を縦に通る第３の基準軸のそれぞれに対応する第１乃至第３の関節部分を有し、前記第１及び第２の関節部分を山折りにし前記第３の関節部分で谷折りして折り曲げた際の各関節部分での曲がり具合を示す第１の検知情報を出力する第１のセンサと、傾け操作の操作量を示す第２の検知情報を出力する第２のセンサとを含む触覚デバイスを備えたコンピュータに、
前記顔画像を、前記第１乃至第３の基準軸で短冊型に４つの画像領域に分割する分割機能と、
前記触覚デバイスに対するユーザの操作により、（ａ）当該触覚デバイスから前記第１の検知情報が出力された場合には、当該第１の検知情報を基に各画像領域の幅を各関節部分での曲がり具合が強いほど狭くなるように変化させ、（ｂ）当該触覚デバイスから前記第２の検知情報が出力された場合には、当該第２の検知情報を基に、前記触覚デバイスが手前に傾けられたとき、前記第１及び第２の基準軸上の画像配置を下方向にシフトさせ、前記触覚デバイスが奥に傾けられたとき、前記第１及び第２の基準軸上の画像配置を上方向にシフトさせることにより、前記与えられた顔画像の顔の表情を変化させた合成画像を生成する生成機能と、
を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記生成手段で生成された合成画像を送信する送信手段をさらに具備したことを特徴とする請求項１記載のコミュニケーション画像生成装置。
- ネットワーク上の各端末から、少なくとも前記顔画像及び当該端末が有する前記触覚デバイスから出力された検知情報を受信する受信手段と、
前記受信手段で受信された顔画像を含む複数の顔画像を記憶する記憶手段と、
をさらに具備し、
前記分割手段は、前記記憶手段に記憶された複数の顔画像のうちの１つを４つの画像領域に分割し、
前記生成手段は、前記受信手段で受信された１つまたは複数の端末の前記触覚デバイスから出力された検知情報を用いて、前記合成画像を生成することを特徴とする請求項１記載のコミュニケーション画像生成装置。 - 前記受信手段は、少なくとも前記分割手段及び前記生成手段を備えた前記ネットワーク上の端末から、当該生成手段で生成された前記合成画像をさらに受信し、
前記受信手段で受信された前記合成画像を提示する提示手段をさらに具備したことを特徴とする請求項７記載のコミュニケーション画像生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000333972A JP3730505B2 (ja) | 2000-10-31 | 2000-10-31 | コミュニケーション画像生成装置、コミュニケーション画像生成方法及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000333972A JP3730505B2 (ja) | 2000-10-31 | 2000-10-31 | コミュニケーション画像生成装置、コミュニケーション画像生成方法及び記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005062878A Division JP4064972B2 (ja) | 2005-03-07 | 2005-03-07 | コミュニケーション情報処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002140697A JP2002140697A (ja) | 2002-05-17 |
| JP3730505B2 true JP3730505B2 (ja) | 2006-01-05 |
Family
ID=18809968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000333972A Expired - Fee Related JP3730505B2 (ja) | 2000-10-31 | 2000-10-31 | コミュニケーション画像生成装置、コミュニケーション画像生成方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3730505B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007279776A (ja) * | 2004-07-23 | 2007-10-25 | Matsushita Electric Ind Co Ltd | Ｃｇキャラクタエージェント装置 |
| JP4604173B2 (ja) * | 2005-03-16 | 2010-12-22 | 学校法人東海大学 | 遠隔会議・教育システム |
| JP2008123086A (ja) * | 2006-11-09 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
| JP2016066327A (ja) * | 2014-09-26 | 2016-04-28 | 株式会社Ｊｖｃケンウッド | 画像処理装置、画像処理方法及び画像処理プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09138767A (ja) * | 1995-11-14 | 1997-05-27 | Fujitsu Ten Ltd | 感情表現の通信装置 |
| FR2781299B1 (fr) * | 1998-07-15 | 2000-09-15 | Eastman Kodak Co | Procede et dispositif de transformation d'images numeriques |
-
2000
- 2000-10-31 JP JP2000333972A patent/JP3730505B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002140697A (ja) | 2002-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| GB2556347B (en) | Virtual Reality | |
| JP2024019736A (ja) | 広範囲同時遠隔ディジタル提示世界 | |
| JP6481057B1 (ja) | 仮想空間におけるキャラクタの制御方法 | |
| US10166477B2 (en) | Image processing device, image processing method, and image processing program | |
| JP7193015B2 (ja) | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム | |
| JP5230120B2 (ja) | 情報処理システム、情報処理プログラム | |
| JP2007072194A (ja) | 人型映像制御装置 | |
| JP3730505B2 (ja) | コミュニケーション画像生成装置、コミュニケーション画像生成方法及び記録媒体 | |
| JP6509302B1 (ja) | ゲームプログラム及びゲームシステム | |
| JP4064972B2 (ja) | コミュニケーション情報処理方法及び装置 | |
| JP2739444B2 (ja) | ３次元モデルによる動き生成装置 | |
| JP5113781B2 (ja) | テレビ電話装置 | |
| JP2015060061A (ja) | カラオケ装置、画像出力方法、およびプログラム | |
| JP7161200B2 (ja) | カラオケ演出システム | |
| JP2004046311A (ja) | ３次元仮想空間におけるジェスチャ入力方法およびその装置 | |
| JP2012055637A (ja) | ゲーム装置、ゲーム処理方法、ならびに、プログラム | |
| JP4408910B2 (ja) | キャラクター表示装置、キャラクター表示方法、ならびに、プログラム | |
| JP5030668B2 (ja) | 背景映像演出機能を備えるカラオケシステム | |
| JP3527653B2 (ja) | 仮想空間内の移動方法およびその装置 | |
| JP7333529B1 (ja) | 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 | |
| JP7413472B1 (ja) | 情報処理システムおよびプログラム | |
| JP7371820B1 (ja) | アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム | |
| JP2016080908A (ja) | 信号加工装置 | |
| JP2023533701A (ja) | セクシャルニーズインタラクティブプラットフォームシステム | |
| JP2019133677A (ja) | 仮想空間におけるキャラクタの制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050701 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051006 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081014 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |