以下、本発明の実施例について、図面を参照しながら説明する。
(本発明の原理的構成)はじめに、本発明の原理的構成を説明する。本発明は、コミュニケーションのための自己の状況を相手方に伝達するための一手法として、自己の生体情報を自己の静止画としての顔写真に反映させるようにするもので、生体情報対応に顔画像を折り畳み変形加工させて、表情をつくるようにするものである。
本発明においては、平常顔の画像を用意し、これを縦にn分割し、これら分割した各区画毎に幅を縮める方向に変形したり、分割線を上方向にシフトしたり、下方向にシフトしたりすることで、笑い顔や悲しみ顔といった様々な顔の表情を作成する。
具体的には、本発明においては、例えば、図1に示すように、顔を縦4分割して顔画像を変形の基本となる4領域1,2,3,4に分ける。顔画像を分割する上で基準となる画像特徴としては顔画像上の“右目”、“左目”、“鼻”、および“口”の各中心位置、および“顔”の輪郭情報などである。
顔を縦に短冊型分割するのは分割した各領域について、一辺を平行移動操作して変形することで得られる顔の表情が、自然体に近いものとなり、違和感が少ないためである。
顔画像を変形させる際に基本となる画像領域を右目、左目、そして口の中心を通る縦軸を基準に、これらの縦軸と画像境界との交点、および画像端点、あるいは顔輪郭を包摂する四辺形領域との交点、および四辺形領域端点の4頂点で構成される4つの短冊状画像領域に分割する(図1参照)。
分割領域を構成する4頂点の位置情報と、領域内画像情報を保持しておき、分割領域の四辺形が長方形でない場合、4頂点の位相情報に基づき、画像情報のリサンプリングを行い、長方形領域に正規化して保持しておく。
本発明では、分割領域の変形を、触覚デバイスのセンサデータを元に、前記顔画像の分割設定した4領域1,2,3,4について、その各構成領域における頂点情報を変化させ、変形具合を決定する。ここでは、変形具合の決定に、例えば、図2に示すように、3関節を有する波板状(屏風状、蛇腹状)の弾力性ある触覚デバイス5上に曲げセンサ5a、ジャイロセンサ5b、加速度センサ5cなど、各種センサを設置し、これらセンサの検出情報を用いることにする。この触覚デバイス5は人の手のひらに収まる程度の大きさとし、人の手の動きを検出させる。
図2に示す触覚デバイス5はあくまでも一例であるが、ここでは各関節に曲げセンサ5aを設置してあるほか、本体に加速度を計測する加速度センサ5c、および傾きを計測するジャイロセンサ5bを設置して“曲げ情報”、“加速度情報”、“傾き情報”の3種の情報を取得するようにしてある。
そして、この触覚デバイス5を関節部分で山谷山と折り曲げた際の各関節に設置された曲げセンサ出力、つまり関節の曲がり具合を、分割領域の幅に対応させることにする。対応の仕方としては、第1関節の曲がり具合から、第1画像領域1の幅を決定し、第2関節の曲がり具合から、第2、および第3の分割画像領域2,3の幅を決定し、第3関節の曲がり具合から、第4の分割画像領域4の幅を決定することにする。つまり、触覚デバイス5を強く押し曲げると、合成用分割領域(領域1,2,3,4)の幅が狭くなり、触覚デバイス5を引き伸ばすと、合成用分割領域が広くなるようにする。また、触覚デバイス5の傾き具合を測る加速度センサ5c出力を、前記顔画像の右目、左目を通る2本の分割線上に存在する分割画像領域頂点の上下方向画像配置を決定するものとする。つまり、触覚デバイス5を奥に傾けると、2本の分割線を画面上、上方向にシフトさせ(つまり、2本の分割線上に存在する全ての分割画像頂点を画面上、上方向にシフトさせ)、手前に傾けた場合、下方向にシフトさせるようにマッピング処理する。同様に、取得される触覚デバイス5の回転姿勢を測るジャイロセンサ5b出力を、前記顔画像の右目、左目を通る2本の分割線上に存在する分割画像領域頂点の左右方向画像配置を決定するものとする。つまり、触覚デバイス5を右に回転させると、2本の分割線を、右方向にシフトさせ、逆に触覚デバイスを左に回転させると、分割線が左方向にシフトするよう設定する。
変形後の顔画像合成は、前記分割した領域1,2,3,4を合成用の分割領域として、対応する分割領域内に存在する画像情報をセンサ情報対応にマッピングし、顔画像を再合成する。
前記3関節型の触覚デバイス5を用いた場合、平常の表情の顔画像(図3(a))が、触覚デバイス5を押し曲げることで、合成される顔画像が細長く表示され、逆に、引き伸ばすことで顔が横伸びした形で表示されることになる。触覚デバイスを奥に傾けると、2本の分割線が上方向にシフトし、その結果、図3(b)の画像の如く、笑った印象を与える顔画像を合成することができる。逆に手前に傾けると、下方向にシフトし、その結果、図3(c)の如く、悲しんだ印象を与える顔画像を合成させることができる。
両目を通る2本の分割線を上下方向にシフトさせることで、このように異なる印象を与える顔変形画像を合成できる。
さらに、触覚デバイス5を右方向に回転させると、分割線が右方向にシフトする結果、分割画像領域の相対横幅比率が変化し、右に向いた印象を与える顔画像を合成することができる。逆に左に回転させると、左に向いた印象を与える顔画像を合成することができる。
上記の各種状況センサ出力と、マルチモーダルデータ変更のための分割領域変形場所との関連づけは、これに固定したものではなく、任意の組み合わせが可能である。この場合、触覚デバイスの変形具合と、生成される顔画像の変形具合の関係は上記と異なったものになる。
このように、本発明の原理は、平常顔の顔写真を、目、鼻等の基準軸を以て短冊型に領域分割し、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにしたことにより、様々な、顔の表情や仕草を平常顔より得ることができるようにした。これにより、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現でき、顔文字で表現出来ない変化に富んだ表情を表示してコミュニケーションに利用することができる。しかも、対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
つぎに、このような本発明の応用の例を説明する。
(第1の実施例)図4は、上述の原理を適用した本発明のコミュニケーションシステムの一実施例に関わる構成図であり、触覚デバイスを備えたユーザ用のコミュニケーション端末(以下、端末とよぶ)100a〜100nと、これとは別に設置される演算装置150とからなる。
演算装置150は、本発明の原理を適用した画像合成処理機能を有するものであり、データ送受信装置106および記憶装置104およびマルチモーダルデータ変更装置105からなる。
本発明のコミュニケーションシステムにおいては、複数ユーザがそれぞれ端末を持ち、他のユーザと演算装置150を介してコミュニケーションする。図4では単純に、ある端末100aと別のある端末100nとの間でコミュニケーションするものと仮定するが、交信端末がさらに増えても原理的には変わらない。
端末100a〜100nには、顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサ101と、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つ以上(以下、マルチモーダルデータと呼ぶ)を提示するデータ提示装置102と、状況センサの出力を送信し、かつマルチモーダルデータを受信するデータ送受信装置103とから構成される。
状況センサ101としては、例えば、CCDやCMOSなどの撮像デバイスを用いたカメラ(撮像手段)のように、顔画像を取得するものがある。更には状況センサ101には、端末100a〜100nに対するユーザの触り具合や握り具合を計測することが可能な前述の触覚デバイス5がある。ここでは、状況センサ101として、端末100a〜100nに、それぞれ撮像手段と、触覚デバイス5が設けられている構成であるものとする。
この触覚デバイス5には、上述したように、曲げセンサ5a、加速度センサ5b、ジャイロセンサ5cが搭載されており、ユーザが触覚デバイス5を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測できるものである。
その他、本実施例では用いないが、状況センサ101には、体の各部の動きを取得する手段なども考えられ、この体の各部位の動きを取得する手段としては、ユーザの筋肉に発生する電位を取得する方法や各部の動きを加速度センサで取得する方法、関節やひじの曲げなどを曲げセンサで取得する方法、体の各部につけられた小型CCDやCMOSカメラから求めたオプティカルフローを求め、それぞれの相対位置変化から動作を取得するなどの様々な手段が考えられ、必要に応じて適宜採用して利用すると良い。
一方、端末100a〜100nにそれぞれ設けられる前記データ提示装置102としては、画像を提示するディスプレイ、音を提示するスピーカ、振動パターンを提示する振動子アレイ、温度変化パターンを提示するペルチエ素子アレイなどがある。
また、端末100a〜100nにそれぞれ設けられるデータ送受信装置103はデータの送信および受信を行う装置である。このデータ送受信装置103でのデータ伝送は無線であっても有線であってもよい。無線通信ならば無線LAN(Local Area Network)や近距離無線通信方式であるBluetooth(TM)、また、有線通信ならモデムなどのインタフェースを利用できる。
各端末100a〜100nは、無線、有線により、演算装置150と接続されている。この演算装置150は、記憶装置104と、マルチモーダルデータ変更装置105と、データ送受信装置106とから構成されるが、これらのうち、記憶装置104はマルチモーダルデータを記憶するためのものであって、ハードディスクのようなリードライト可能で大容量の記憶手段が用いられる。
また、演算装置150の持つマルチモーダルデータ変更装置105は、各端末100a〜100nから送信されたセンサ情報のうち、少なくとも一つ以上の出力または同出力の組み合わせ方または同出力と前記記憶装置104に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置104内のマルチモーダルデータを実時間で変更させる処理を行うものであり、データ送受信装置106は、各端末からのセンサ情報を受信し、変更されたマルチモーダルデータを伝送するためのものである。
次に、このような構成のハードウェアを用いたコミュニケーションサービスの一実施例として、使用者の握り具合に応じて、顔画像の変形を伝達し合うようにしたアプリケーション例を説明する。
図5は、第1の実施例における処理の流れを表したフローチャートである。図5の処理の流れをもとに説明を行う。
まず、ある端末100mのユーザは自己の持つ端末100mの前記状況センサ101を用い、自己の状況情報の取得を行う(図5のステップS-201)。前記状況センサ101には、端末100mに対するユーザの触り具合や握り具合を計測することが可能な触覚デバイス5があるので、この触覚デバイス5を利用することにする。
前述したように、この触覚デバイス5には、曲げセンサ5a、加速度センサ5b、ジャイロセンサ5cが搭載されており、ユーザが触覚デバイス5を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測でき、状況情報として取得できる。
取得されたユーザの状況情報は、端末100mの前記データ送受信装置103にて演算装置150へと送信される(図5のステップS−202)。そして、ユーザの状況情報は演算装置150におけるデータ送受信装置103を介して取り込まれてマルチモーダル変更装置105へと送られる。
一方、演算装置150においては、その記憶装置104にユーザの顔画像あるいはユーザ以外の顔画像が記憶されているものとする。この顔画像は、演算装置150の持つデータ受信装置106において、あらかじめユーザ以外から伝送されてきたものであってもよい。
次に、演算装置150においては自己の持つマルチモーダルデータ変更装置105により、ユーザの状況情報対応にマルチモーダルデータに対する所定の変更処理を行う(図5のステップS−204)。
ここでは、マルチモーダルデータとして顔画像を扱うものとしてこれに対する変更処理を説明を行う。
<マルチモーダルデータ変更装置の構成と処理例>図6はマルチモーダルデータ変更装置105の構成例を示したものである。本マルチモーダルデータ変更装置105は、受信されたユーザの状況情報対応に顔画像の変更処理を行うものであり、与えられた画像からその特徴を抽出する画像特徴抽出手段901、前記画像特徴抽出手段901で抽出した画像特徴に基づき、分割画像領域を設定するための分割領域設定手段902、この分割領域設定手段902で設定した分割領域に含まれる画像情報を保持しておくための分割画像保持手段903、分割領域を変形するための分割領域変形手段904、前記分割領域変形手段904で変形した分割領域に、前記分割画像保持手段903に保存しておいた該当する分割領域の画像を再合成するための画像再合成手段905とから構成される。
このような構成のマルチモーダルデータ変更装置105の作用を説明する。
図7は、本マルチモーダル変更装置105における、処理の流れを表したものであり、これをもとにユーザの状況情報対応に顔画像の変更処理を行う例を説明する。
ここでは、平常顔をもとに、様々な表情変化をさせた顔画像の生成について説明する。顔画像を変更させるために、顔画像を変形の基本となる複数の領域に分割することを考える。この場合、まずはじめに、顔画像を分割する上で基準となる画像特徴を抽出する(図7のステップS−1001)。顔画像上の特徴として、右目、左目、鼻、および口の中心位置、および顔の輪郭情報などを抽出する。
次にマルチモーダルデータ変更装置105は画像領域の設定を行う(図7のステップS-1002)。顔画像を変形させる際に基本となる画像領域の設定を行うのが、このステップS-1002での顔画像分割領域設定処理である。
顔画像を右目、左目、そして口の中心を通る縦軸を基準に、ここで設定した縦軸と画像境界との交点、および画像端点、あるいは前記画像特徴の抽出(図7のステップS−1001)で抽出した顔輪郭を包摂する四辺形領域との交点、および四辺形領域端点の4頂点で構成される4つの短冊状画像領域に分割するものとする(図1参照)。
次に、マルチモーダルデータ変更装置105は分割顔画像情報の取得を行う(図7のステップS−1003)。この処理は、分割した各領域に含まれる画像情報を保持しておくための処理である。例えば、分割領域を構成する4頂点の位置情報と、領域内画像情報を記憶装置104に保持しておく。分割領域の四辺形が長方形でない場合、4頂点の位相情報に基づき、画像情報のリサンプリングを行い、長方形領域に正規化して保持しておく。
顔特徴の抽出(図7のステップS−1001)から分割顔画像情報の取得(図7のステップS−1003)までの処理は、変更する対象の顔画像が変更されない限り、あらかじめ一度行っておけばよい。
次に、マルチモーダルデータ変更装置105は分割領域の変形処理を行う(図7のステップS-1004)。この分割領域の変形処理では、演算装置150で受信した相手端末100aあるいは100nからのセンサデータ(ユーザの状況情報)を元に、前記顔画像分割領域の設定(図7のステップS-1002)で領域設定した各分割領域を構成する頂点情報を変化させ、変形具合を決定する処理を行う。
ここでは、変形具合の決定に、例えば、図2で説明した3関節を有する触覚デバイス5を用いるとし、触覚デバイス5上に設置した各種センサ情報を用いることにする。上述したように、図2の例の場合、触覚デバイス5にはその各関節に、曲げセンサ5aが設置してあるほか、本体に加速度を計測する加速度センサ5b、および傾きを計測するジャイロセンサ5cが設置してある。
この触覚デバイス5を関節部分で山谷山と折り曲げた際の各関節に設置された曲げセンサ5a出力、つまり関節の曲がり具合を、分割領域の幅に反映させる。その反映のさせ方としては、第1関節の曲がり具合から、第1画像領域1の幅を決定させ、第2関節の曲がり具合から、第2、および第3の分割画像領域2,3の幅を決定させ、第3関節の曲がり具合から、第4の分割画像領域4の幅を決定させるようにする。これにより、ユーザが端末100を手で握って、当該端末100の触覚デバイス5を強く押し曲げると、合成用分割領域の幅が狭くなり、触覚デバイス5の握りを緩めて引き伸ばすと、合成用分割領域が広くなるように処理させることができる。
また、触覚デバイス5の傾き具合を測る加速度センサ5b出力を、前記顔画像分割領域の設定(図7のステップS-1002)で設定した右目、左目を通る2本の分割線上に存在する分割画像領域頂点の上下方向画像配置の決定に反映させようにする。つまり、触覚デバイス5を奥に傾けると、2本の分割線を画面上、上方向にシフトさせ(つまり、2本の分割線上に存在する全ての分割画像頂点を画面上、上方向にシフトさせ)、手前に傾けた場合、下方向にシフトさせるようにマッピング処理させる。
同様に、取得される触覚デバイス5の回転姿勢を測るジャイロセンサ5c出力については、前記顔画像分割領域の設定(図7のステップS-1002)で設定した右目、左目を通る2本の分割線上に存在する分割画像領域頂点の左右方向画像配置の決定に反映させるようにするものとする。つまり、触覚デバイス5を右に回転させると、2本の分割線を、右方向にシフトさせるように反映させ、逆に触覚デバイスを左に回転させると、分割線が左方向にシフトするように反映させる。
この結果、各種センサ5a,〜5c出力と画像合成領域(領域1,2,3,4)の設定に関連したマッピングは図2のMの如きに反映されることになる。
次に、マルチモーダルデータ変更装置105は変形後の顔画像合成処理に移る。この処理では、前記分割領域の変形(図7のステップS-1004)で設定した合成用の分割領域に、前記顔画像分割領域の設定(図7のステップS-1003)で設定した対応する分割領域内に存在する画像情報をマッピングする。そして、これにより、再合成顔画像を得る(図7のステップS-1005)。その結果、変形後の顔画像が得られる。
前記3関節型の触覚デバイス5を使用した場合、触覚デバイス5を押し曲げることで、合成される顔画像が細長く表示され、逆に、引き伸ばすことで顔が横伸びした形で表示されることになる。また、触覚デバイス5を奥に傾けると、目の位置を通る2本の分割線がそれぞれ触覚デバイス5の傾き対応に上方向にシフトさせたかたちでマッピングする結果、当該上方向シフトにより、笑った印象を与える顔画像を合成することができる。逆に手前に傾けると、目の位置を通る2本の分割線が触覚デバイス5の傾き対応に下方向にシフトさせたかたちでマッピングする結果、当該下方向シフトにより、悲しんだ印象を与える顔画像を合成させることができる。
更に、触覚デバイス5を右方向に回転させると、その回転量対応に分割線を右方向にシフトさせるように画像をマッピング処理する。その結果、分割画像領域1,2,3,4の相対横幅比率が変化し、右に向いた印象を与える顔画像が合成されることになる。逆に左に回転させると、その回転量対応に分割線を左方向にシフトさせるように画像をマッピング処理し、その結果として左に向いた印象を与える顔画像が合成されることになる。
尚、上記の各種状況センサ出力と、マルチモーダルデータ変更のための分割領域変形場所との関連づけは、これに固定したものではなく、任意の組み合わせが可能である。この場合、触覚デバイス5の変形具合と、生成される顔画像の変形具合の関係は上記と異なったものになる。
以上により、マルチモーダルデータ変更装置105において前記記憶装置104から取り出した顔画像データが端末側からの各種状況センサ出対応に変更され、新たな顔画像データが合成されたことになる。
マルチモーダルデータ変更装置105によるこのような顔画像データ合成の処理が終わるとマルチモーダルデータの送信処理に移る(図5のステップS-205)。マルチモーダルデータの送信は、前記演算装置150におけるマルチモーダル変更装置105において、変形後の顔画像合成(図7のステップS-1005)で合成した顔画像をデータ送受信装置106に送り、データ送受信装置106はこれを端末100aあるいは100nへマルチモーダルデータとしてデータ伝送する。
端末100aあるいは100nでは、この伝送されてきたマルチモーダルデータの受信処理を行う(図5のステップS-206)。
端末100aあるいは100nにおける当該受信処理は、前記マルチモーダルデータの送信(図5のステップS-205)で使用者あるいは使用者以外から伝送された顔画像データをコミュニケーション端末100aまたは100nのデータ送受信装置103で受信するためのもので、受信したマルチモーダルデータは、変形された顔画像データとしてデータ提示装置102に表示される(図5のステップS−207)。
上記第1の実施例では、マルチモーダルデータとして顔画像データを用いたが、マルチモーダルデータに音データを用いる構成とすることもできる。この場合、前記マルチモーダルデータ変更装置105において、触覚デバイス5に設置された曲げセンサ5aの出力を例えば、音強度、加速度センサ5bの出力を例えば、ピッチ(音高さ)、ジャイロセンサ5cの出力を例えばテンポ(リズム)に割り当てて変更する。もちろん、これはあくまでも一例であってこれらの組み合わせはこれに固定されるものではなく、任意の組み合わせが可能である。
これらの対応づけにより、再生中の音楽データに対し、ユーザは触覚デバイス5を操作することで、音楽データを実時間で変更して楽しむことが可能となる。
また、上記の第1の実施例では、端末同士のコミュニケーションを想定したが、同様のアプリケーションとしては、対戦型のゲームへの応用が考えられる。例えば、演算装置150上で各端末100a〜100nから送られた状況センサデータ(状況情報)を得点に置き換え、その得点を元に勝敗をマルチモーダルデータでフィードバックするシステム等が考えられる。
さらに、上記の第1の実施例では、それぞれの端末100a〜100nからの状況センサ出力を演算装置150で統合し、全員に同じマルチモーダルデータをフィードバックするシステム等も考えられる。例えば、不特定多数のコミュニティ参加者の全体的意志がどうなっているかを把握したい場合に使用する。
図8は、各端末100a〜100nからの状況センサ出力を統合し、コミュニティ全体の意思を反映した画面を演算装置150で生成し、ここで生成した画面データを各端末100a〜100nへ画像データとして伝送し、表示させるようにする。このことで、コミュニティ全体の動向を共有するシステムの概要を示すようにした例である。この結果、不特定多数のコミュニティ参加者の全体的意志がどうなっているかを各自の端末で知ることができるシステムとなる。
以上の第1の実施例は、マルチモーダルデータ変更装置105を端末100a〜100n以外のものに設けた構成としたものであった。次に、マルチモーダルデータ変更装置105を端末100a〜100n自身に持たせる構成とする例を説明する。
(第2の実施例)第2の実施例はマルチモーダルデータ変更装置105を端末側に設けるようにした例であって、以下、詳細を説明する。
図9は、本発明のコミュニケーションシステムの第2実施例に関わる構成図であり、300a,〜300nは本発明によるコミュニケーション端末(以下、端末と呼ぶ)であって、基本的構成は第1の実施例の端末100a〜100nと同様であって、複数のユーザがそれぞれ自己の端末300a,〜300nを持って、他のユーザの端末300a,〜300nと演算装置350を介してコミュニケーションする点でも第1の実施例と同じである。
第2の実施例における端末300a,〜300nは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも1つ以上を計測する状況センサ301と、前記状況センサ301のセンサ出力データを伝送し、かつ使用者および使用者以外から伝送されたセンサ出力データを受信するデータ送受信装置302と、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも1つ以上(以下、マルチモーダルデータと呼ぶ)を記憶する記憶装置303と、前記データ送受信装置302で受信した少なくとも一つ以上の状況センサ出力、または同出力の組み合わせ方または同出力と前記記憶装置303に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置303内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置304と、変更されたマルチモーダルデータを使用者に提示するデータ提示装置305とから構成される。
第1の実施例と同様、各端末300a,〜300nは、無線通信あるいは有線通信により、外部の演算装置350と接続されている。この演算装置350は、センサデータ変更装置306およびデータ送受信装置307を備える。
センサデータ変更装置306は、各端末300a〜300nから送信されたセンサ情報(状況情報)のうち、少なくとも一つ以上の出力による顔画像の変更処理または同出力の組み合わせによる顔画像変更処理を行うものである。
データ送受信装置307は各端末300a〜300nからのセンサデータの受信、センサデータ変更装置306にて変更されたデータを端末300a〜300nに送信するものである。
図10は、第2の実施例における処理の流れを示したものである。図10をもとに第2の実施例のコミュニケーションシステムの作用を説明する。
ユーザの状況取得(図10のステップS-401)は第1の実施例におけるS-201と同様な処理であるため、説明は省略する。
ユーザの状況取得が終わると、得られた状況データを送信する(図10のステップS-402)。ステップS-401で取得したセンサ出力データ(前記ユーザの状況情報)をデータ送受信装置302により、ユーザあるいはユーザ以外に伝送する処理である。
ユーザの触り具合や握り具合を計測することが可能な第1の実施例に記載の触覚デバイス5を用いた場合、曲げセンサ5a、加速度センサ5b、およびジャイロセンサ5c出力を時系列で伝送することになる。
次に、状況データの受信処理を行う(図10のステップS−403)。これは、前記状況データの送信(図10のステップS−402)で各端末300a〜300nから送られてきた状況データを演算装置350のデータ送受信装置306において受信する処理である。
状況データを受信したならば、次にこの受信した状況データの変更をする(図10のステップS−404)。状況データの変更処理は、前記状況データの受信(図10のステップS−403)で受信したユーザあるいはユーザ以外から伝送された状況センサデータを変更するための処理である。
この場合の変更とは、曲げセンサ5a、加速度センサ5b、およびジャイロセンサ5c出力が変換されたもの、またはそれらの統合が行われたものである。
ここで変更した状況データは、演算装置20のデータ送受信装置306より送信され(図10のステップS−405)、各端末300a〜300nそれぞれのデータ送受信装置302で受信されることになる(図10のステップS−406)。
次にマルチモーダルデータの変更処理を行う(図10のステップS−407)。この処理は、端末300a〜300n上のマルチモーダルデータ変更装置304において、前記変換状況データの受信処理(図10のステップS−406)において受信した状況データに基づき、前記記憶装置303に格納されたマルチモーダルデータを変更するための処理である。
マルチモーダルデータ変更装置304におけるこの変更処理とは、顔画像データを用いた場合、第1の実施例で説明した方法と同様な状況データ(状況情報)対応のマッピング法により、顔画像データを変更して合成する処理である。
顔画像データの変更が済むと次にマルチモーダルデータの呈示を行う(図10のステップS-408)。これにより、前記マルチモーダルデータの変更処理(S−407)で得られた変形した合成顔画像が、データ呈示装置305に表示される。
第1の実施例に記載した対戦型ゲームに本実施形態を適用した場合、あるユーザから送られた状況データの組み合わせパターンから、他のユーザのセンサデータ強度を抑制するといった使い方が考えられる。これは、必殺技のような特定のアクションパターン(複数センサ出力時系列の組み合わせ)を入力したユーザが、一定時間、他のユーザに優先して自分の行動をシステムに反映させることができるといったような効果の付与に利用できる。この結果、その一定時間の間、他のユーザが自分の行動結果が十分に反映されず、ハンディキャップを負った状況を生成するといったことができ、ゲーム性を一層高める効果が期待できる。また、第1の実施例同様に参加者全員の意思表示などへのアプリケーション応用も考えられる。
さらに、状況センサデータとして心拍や皮膚温度の計測データが同時に演算装置に送られてきた場合、そのユーザの興奮状態(のめりこみ度)を判定し、触覚デバイス5上の状況センサ出力のデータ変化を強調するといった使い方もできる。例えば、心拍や皮膚温度がある閾値を超えると、のめりこみ度が高いと判断し、状況センサの出力強度を高め、端末側に強調された状況データを送信するわけである。使用者は、強調された状況データに基づき変更されたマルチモーダルデータがフィードバックされることになり、ユーザの状況により感度が変化するシステムが構成でき、よりシステムへののめりこみ度を向上させることが期待できる。
この場合に第1の実施例との違いは、変更されたマルチメディアデータよりデータ量の少ない状況センサ出力を送受信することで、同様な画像効果を、より効率的に実現するためのシステムを構築することができるという点である。
上記第2の実施例では、マルチモーダルデータとして顔画像データを用いた場合であるが、マルチモーダルデータを音データにした場合、前記マルチモーダルデータ変更装置304におけるセンサ出力と音楽データとの関連づけは、第1の実施例の場合と同様に行うことで、音を実時間で変化させて楽しむことができる。
次に別の例を第3の実施例として説明する。
(第3の実施例)図11は、本発明のコミュニケーション装置の第3実施例に関わる構成図であり、端末同士で直接コミュニケーションを図ることができるようにしたシステムである。
500a〜500nが本発明による端末であり、当該端末500a〜500nは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも1つ以上を計測する状況センサ501と、前記状況センサ501の出力を伝送し、かつ使用者以外のセンサデータを受信するデータ送受信装置502、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも1つ以上(以下、マルチモーダルデータと呼ぶ)を記憶する記憶装置503と、前記データ送受信装置502で受信した少なくとも一つ以上の状況センサ出力、または同出力の組み合わせ方または同出力と前記記憶装置503に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置503内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置504と、マルチモーダルデータを使用者に提示するデータ提示装置505とで構成される。
図12は、第3の実施例のシステムにおける処理の流れを示したものである。図12に示す処理ステップのうち、ユーザの状況取得(図12のステップS−601)からマルチモーダルデータの呈示(S−605)までは、第2の実施例における、状況取得(図12のステップS−401)から状況データの送信(図12のステップS−402)、および変換状況データの受信(図12のステップS−406)からマルチモーダルデータの呈示(図12のステップS−408)までの処理と基本的には同じであるが、状況データの送信先が演算装置でなく、端末500a〜500n相互間であり、送信された状況データを直接、端末500a〜500n相互間で受信する点だけが異なる。
すなわち、各端末500a,〜500nは、無線通信あるいは有線通信により、互いに接続されている。これら各端末500a,〜500nは、マルチモーダルデータ変更装置504およびデータ送受信装置502および記憶装置503および状況センサ501およびデータ呈示装置505とを備える。
すなわち、まず、ある端末500のユーザは自己の持つ端末100の前記状況センサ501を用い、自己の状況情報の取得を行う(図12のステップS−601;ユーザの状況取得処理)。
ユーザの状況取得が終わると、得られた状況データを送信する(図12のステップS-602)。ステップS-601で取得したセンサ出力データ(前記ユーザの状況情報)をデータ送受信装置502により、ユーザあるいはユーザ以外に伝送するわけである。
ユーザの触り具合や握り具合を計測することが可能な第1の実施例に記載の触覚デバイス5を用いた場合、曲げセンサ5a、加速度センサ5b、およびジャイロセンサ5c出力を時系列で伝送することになる。
次に、相手方端末は状況データの受信処理を行う(図12のステップS−603)。これは、前記状況データの送信(図12のステップS−602)で各端末500a〜500nから送られてきた状況データを自己のデータ送受信装置502において受信する処理である。
状況データを受信した端末は、次にこの受信した状況データを用いて当該状況データ対応に顔画像の変更処理をする(図12のステップS−604)。状況データ対応の顔画像変更処理は、状況データ、すなわち、曲げセンサ5a、加速度センサ5b、およびジャイロセンサ5c出力対応に、行うマルチモーダルデータの変更処理である。この処理は、前記受信した変換状況データを用いて端末500a〜500n上のマルチモーダルデータ変更装置504が前記記憶装置303に格納されたマルチモーダルデータに対して行う処理であって、この変更処理とは、顔画像データを用いた場合、第1の実施例で説明した方法と同様な状況データ(状況情報)対応のマッピング法により、顔画像データを変更して合成する処理である。
顔画像データの変更が済むと次にマルチモーダルデータの呈示を行う(図12のステップS-605)。これにより、前記マルチモーダルデータの変更処理で得られた変形した合成顔画像が、ユーザの端末500におけるデータ呈示装置505に表示される。
第1の実施例に記載した対戦型ゲームに本実施形態を適用した場合、あるユーザから送られた状況データの組み合わせパターンから、他のユーザのセンサデータ強度を抑制するといった使い方が考えられる。これは、必殺技のような特定のアクションパターン(複数センサ出力時系列の組み合わせ)を入力したユーザが、一定時間、他のユーザに優先して自分の行動をシステムに反映させることができるといったような効果の付与に利用できる。この結果、その一定時間の間、他のユーザが自分の行動結果が十分に反映されず、ハンディキャップを負った状況を生成するといったことができ、ゲーム性を一層高める効果が期待できる。また、第1の実施例同様に参加者全員の意思表示などへのアプリケーション応用も考えられる。
さらに、状況センサデータとして心拍や皮膚温度の計測データが同時に演算装置に送られてきた場合、そのユーザの興奮状態(のめりこみ度)を判定し、触覚デバイス5上の状況センサ出力のデータ変化を強調するといった使い方もできる。例えば、心拍や皮膚温度がある閾値を超えると、のめりこみ度が高いと判断し、状況センサの出力強度を高め、端末側に強調された状況データを送信するわけである。使用者は、強調された状況データに基づき変更されたマルチモーダルデータがフィードバックされることになり、ユーザの状況により感度が変化するシステムが構成でき、よりシステムへののめりこみ度を向上させることが期待できる。
この場合に第1の実施例との違いは、変更されたマルチメディアデータよりデータ量の少ない状況センサ出力を送受信することで、同様な画像効果を、より効率的に実現するためのシステムを構築することができるという点である。
上記第3の実施例においても、マルチモーダルデータとして顔画像データを用いる方式の他、マルチモーダルデータを音データにした場合、前記マルチモーダルデータ変更装置504におけるセンサ出力と音楽データとの関連づけを、第1の実施例の場合と同様に行うことで、音を実時間で変化させて楽しむことができる。
このように、この第3の実施例において第2の実施例との違いは、演算装置350を用いることなく端末500a〜500nにおいて状況データの送受信を行い、端末内で直接、この状況データ対応に画像の変更処理を行うようにしている点である。
この場合、演算装置350のような状況データ変換処理のための装置を外部に用意する必要がないため、複数台の端末500a〜500nのうち、少なくとも2台があればよく、簡易にシステムを構築することができる。
また、データ量の少ない状況センサ出力を送受信することで、ネットワーク負荷の低いシステムが構築できるメリットもある。
(第4の実施例)図13は、本発明のコミュニケーション装置の第4実施例に関わる構成図であり、端末同士で直接コミュニケーションを図るシステムである。端末700a〜700nは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位またはユーザの周囲環境の温度、湿度、明るさのうち少なくとも1つ以上を計測する状況センサ701と、画像、音、振動パターン、温度変化パターンのデータのうち、少なくとも1つ以上(以下、これらをマルチモーダルデータと呼ぶ)を記憶する記憶装置703と、少なくとも一つ以上の前記状況センサ701の出力、または同出力の組み合わせ方または同出力と前記記憶装置703に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置703内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置704と、前記マルチモーダルデータ変更装置704で変更したマルチモーダルデータを送受信するためのデータ送受信装置702と、前記データ送受信手段702で受信したマルチモーダルデータを使用者に提示するデータ提示装置705と、で構成される。
図14は、第4の実施例における本システムの処理の流れを示したものである。各処理は、第3の実施例におけるものと同一処理であるため、説明は省略する。
第4の実施例における本システムの第3の実施例との違いは、端末から別の端末へ送信するデータが、第3の実施例のように状況データではなく、状況データを用いて変更処理した処理済みのマルチモーダルデータとした点である。
第4の実施例における端末700a〜700nにはそれぞれ状況センサ701を備えている。状況センサ701としては触覚デバイス5を用いており、前述したようにこの触覚デバイス5には、曲げセンサ5a、加速度センサ5b、ジャイロセンサ5cが搭載されていて、ユーザが触覚デバイス5を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測でき、状況データ(状況情報)として取得できる。この状況データを用いて顔画像の変更処理を行う。
端末700a〜700nにおいては、それぞれ記憶装置703にユーザの顔画像あるいはユーザ以外の顔画像が記憶されているものとする。この顔画像は、端末700a〜700nの持つデータ送受信装置702において、あらかじめユーザ以外から伝送されて受信されたものであってもよい。
マルチモーダルデータ変更装置704では、記憶装置703に記憶されたこの顔画像に対して、少なくとも一つ以上の前記状況センサ701の出力、または同出力の組み合わせ方または同出力と前記記憶装置703に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上のマルチモーダルデータを実時間で変更させる(図14のステップS−802)。
そして、このようにして得たマルチモーダルデータをデータ送受信装置702は相手端末へと送信する(図14のステップS−803)。
そして、相手端末では自己の持つデータ送受信装置702によりこの送信されてきたマルチモーダルデータを受信する(図14のステップS−804)。そして、この受信したマルチモーダルデータを自己のデータ提示装置705に提示する(図14のステップS−805)。
すなわち、第4の実施例の特徴は、前述したような触覚デバイス5を用いて構成された状況センサ701を備えたユーザの端末700a〜700n側でユーザの状況取得(図14のステップS−801)した後、その取得した状況データを用いてマルチモーダルデータの変更処理(図14のステップS−802)を実時間で行って得たマルチモーダルデータを端末相互間での送信データとしているという点である。
この構成によれば、第3の実施例と同様に、演算装置を別途用意する必要がないため、端末が少なくとも2つ以上あればよく、簡易にシステムを構築することができる。
また、第3の実施例の場合、相手端末上に提示されるマルチモーダルデータは、相手端末側の前記マルチモーダルデータ変更装置504に実装された状況データの処理手順に依存するが、本第4の実施例では、ユーザ側の端末上で意図したマルチモーダルデータ変更データを生成し、相手側に伝送することが可能であり、ユーザの意図を反映させた効果を付加したマルチモーダルデータを相手端末上に呈示させることができるというメリットがある。
以上、種々の実施例を説明したが要するに本発明は、平常顔の顔写真を、目、鼻等の基準軸を以て短冊型に領域分割し、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにしたものである。この処理により、様々な、顔の表情や仕草を平常顔より得ることができるようになり、従って、この技術により、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現して提示できるようになり、触覚デバイスの操作対応に変化させて表情に富んだ顔画像を表示してコミュニケーションに利用することができるようになると共に、触覚デバイスの操作対応に音楽のテンポやピッチ、音程などの変化に反映させたり、ゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
しかも、顔写真を用いる方式の場合、表情豊かに表示されるのは対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
[1]コミュニケーション画像生成装置は、第1には、少なくとも曲げ、傾き、回転のうちの1つのセンサを備えた触覚デバイスと、与えられた顔画像を、目、鼻等の基準軸を以て領域分割する分割手段と、前記触覚デバイスに対するユーザの操作量に対応した曲げ、傾き、回転などの変化に応じて前記分割手段によって領域分割された顔画像をマッピング処理し、合成する合成手段とを具備することを特徴とする。
すなわち、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、顔写真を、目、鼻等の基準軸を以て領域分割し、前記触覚デバイスに対するユーザの操作量対応に曲げ、傾き、回転などの処理を、曲げ、傾き、回転などのセンサ検出量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにする。
具体的には、平常顔の顔写真データを用意し、目、鼻等の基準軸を以て例えば短冊型に領域分割し、各分割領域に対して、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、表情を変更させた顔画像を合成して提示する。
この処理により、様々な、顔の表情や仕草を平常顔より得ることができるようになり、従って、この技術により、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現して提示できるようになり、触覚デバイスの操作対応に変化させて表情に富んだ顔画像を表示してコミュニケーションに利用することができるようになる。
しかも、顔写真を用いる方式の場合、表情豊かに表示されるのは対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
[2]また、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、コンテンツを、前記触覚デバイスに対するユーザの操作量対応に調整処理するようにする。
この処理により、ユーザの触覚デバイスの操作対応にコンテンツの調整、例えば、コンテンツが音楽データならばその音楽のテンポやピッチ、音程などの変化に反映させたり、コンテンツがゲームソフトであるならばそのゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
[3]コミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンの各データのうち少なくとも一つを使用者に提示する提示装置と、前記状況センサ出力およびマルチモーダルデータを送受信するためのデータ送受信装置、とから構成される複数のコミュニケーション端末と、マルチモーダルデータを記憶した記憶装置と、前記状況センサ出力およびマルチモーダルデータを前記コミュニケーション端末との間で送受信するデータ送受信装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置とから構成される演算装置とを備えることを特徴とする。
このような構成のコミュニケーション装置においては、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち、少なくとも一つ以上を状況センサが計測しており、コミュニケーション端末は前記演算装置にこの計測した結果を送信している。そして、前記演算装置においては各々の前記コミュニケーション端末より送信された前記状況センサの出力に基づいて前記マルチモーダルデータを変換し、変換したマルチモーダルデータを各々の前記コミュニケーション端末に伝送し、コミュニケーション端末の提示装置に提示させることにより使用者同士のコミュニケーションを図る。
この結果、状況センサに対するユーザの操作量対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
[4]コミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つを使用者に提示する提示装置と、前記マルチモーダルデータを記憶する記憶装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置と、前記状況センサ出力を送受信するためのデータ送受信装置とから構成される複数のコミュニケーション端末とから構成される。
このような構成のシステムは、コミュニケーション端末の状況センサは、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち、少なくとも一つ以上を計測しており、コミュニケーション端末は他のコミュニケーション端末にこの計測した結果を送信している。そして、各コミュニケーション端末においては各々他の前記コミュニケーション端末より送信された前記状況センサの出力に基づいて前記記憶装置に格納されたマルチモーダルデータを前記マルチモーダルデータ変更装置にて変更し、前記提示装置に提示する。
この結果、状況センサに対するユーザの操作量対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
[5]コミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つを使用者に提示する提示装置と、前記マルチモーダルデータを記憶する記憶装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置と、前記マルチモーダルデータ変更装置によって変更されたマルチモーダルデータを送受信するデータ送受信装置とから構成される。
この結果、状況センサの検出したユーザの状況対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
[6]コミュニケーション装置は、複数のコミュニケーション端末(以下、端末とよぶ)で構成され、各端末は、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、画像、音、振動パタン、温度変化パタンのデータのうち少なくとも一つ以上(以下、マルチモーダルデータと呼ぶ)を記憶するための記憶装置と、前記状況センサ出力のうち少なくとも一つ以上の出力または同出力の組み合わせまたは、同出力と前記記憶装置に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置と、前記マルチモーダルデータ変更装置において変更されたマルチモーダルデータを送受信するためのデータ送受信装置と、前記データ送受信装置で受信したマルチモーダルデータを使用者に提示するデータ提示装置と、で構成されることを特徴とする。
この結果、状況センサの検出したユーザの状況対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、コミュニケーションに効果的に利用することができるようになる。
なお、本発明は上述した実施形態に限定されるものではなく、種々変形して実施可能である。また、本発明において、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
また、本発明における実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD、MOなど)、半導体メモリなどの記録媒体に格納して頒布することもでき、また、ネットワークを介しての伝送により、頒布することもできる。