JP3557062B2 - 低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法 - Google Patents
低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法 Download PDFInfo
- Publication number
- JP3557062B2 JP3557062B2 JP252297A JP252297A JP3557062B2 JP 3557062 B2 JP3557062 B2 JP 3557062B2 JP 252297 A JP252297 A JP 252297A JP 252297 A JP252297 A JP 252297A JP 3557062 B2 JP3557062 B2 JP 3557062B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- face data
- user
- face
- sender
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Mobile Radio Communication Systems (AREA)
- Digital Computer Display Output (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、低ビットレートで情報のやり取りを行う電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスにおいて、マルチメディア情報を提供する低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法に関するものである。
【０００２】
【従来の技術】
従来では文字を送信するだけであり、その時の送り手側の感情表現まで送信することは考慮されておらず、困難であった。また、静止画像や動画を送信するには回線が細いため、映像の品質として満足の行くものを送ることができなかった。
【０００３】
【発明が解決しようとする課題】
例えば、３６０ ×２４０ 画素の大きさを持つ画像を転送する場合を考える。１画素にｎ ｂｉｔ を割り当てるとすると、データ量は８６４００ ×ｎ ｂｉｔ となる。ページャを例にとると、通信レートは２４００ ｂｐｓとなる。これで上記の画像の転送時間を計算すると、
非圧縮の場合 ８６４００×ｎ ／２４００＝３６×ｎ 秒
となる。２値表示（ｎ＝１）としても、３６秒もかかってしまう。また、ＪＰＥＧのように圧縮できるものを用いる場合でも、
１ ／２０の圧縮率 ８６４００×ｎ ／２０／２４００＝１．８ ×ｎ 秒
となる。２５６ 色表示（ｎ＝８）とすると、１４．４秒かかるため、リアルタイムを要求されるサービスには用いることができない。
【０００４】
モデムを例にとると、現在の通信レートの最大量は３８４００ ｂｐｓ となる。これで非圧縮の場合における上記の画像の転送時間を計算すると、
８６４００ ×ｎ ／３８４００ ＝２．２５×ｎ 秒
となる。画面表示はほとんどがカラーであることを考えると、１６色表示（ｎ＝４）としても、９秒もかかってしまう。
【０００５】
本発明は、送り手側の感情が受け手側に伝わらないという点を解決し、面と向かって話しているような感覚をもたらす低ビットレート画像通信を、リアルタイムに提供することを目的としている。
【０００６】
【課題を解決するための手段】
文字と記号の組み合わせにより作成されたピースマークであれば、７個を最大個数とすれば、データ量は７ ×８ ＝５６ ｂｉｔとなり、ページャで転送するには０．０３秒もあれば十分である。また、似顔絵といった線画を用いる場合には、顔を１５０ 点で表現したと仮定すると、すべて座標値を持つため、初期のデータ量は１５０ ×２ ×８ ＝２４００ ｂｉｔとなる。これに面の塗りつぶしの情報などを付加したと仮定して、毎回線画のデータを送ったとしても、モデムであれば、１秒間に約１０回程度の顔の情報を送信することが可能となる。また、目や口の移動などといった顔の部分のみの変更箇所のデータを転送するのであれば、送信しなければならない座標値数は１５０ 点よりもはるかに少なくなるため、リアルタイムを保証することが可能となる。
【０００７】
また、感情表現を顔の部品の移動量で記述することにより、データの圧縮をはかることも可能となる。例えば、受け手側で送り手側の画像データベースを持っている場合には、送り手側からは感情のパターンを送信する。受け手側では指示されたパターンから、顔部品を移動させて該当する表情を作成する。すなわち、送り手側から来るデータは指示データのみであり、このデータ量としては数バイト程度を見ておけばよい。逆に、送り手側で画像データベースを持っている場合には、作成登録部で自分の感性にあった感情に対する表情を作成することができる。各々の感情に対する顔部品の移動量のデータを受け手側に送ることにより、送り手側が希望する画像を受け手側端末に表示することが可能となる。
【０００８】
本発明は、低ビットレート画像通信において、文字列に加えて、ピースマークや似顔絵といった線画も一緒になったサービスを提供するようにし、かつ音声や映像から感情を取り出して似顔絵を感情に合わせて変形させる、という機能も提供する。従来の技術とは送り手側の感情表現を受け側に伝えることが可能となるという点が異なる。
【０００９】
【発明の実施の形態】
図１は、低ビットレート画像通信を実現するシステム構成図を示す。
【００１０】
図中の符号１は送り手側端末、２は受け手側端末、３は回線を表している。また、１１はデータ入力部、１２は画像データ作成登録部、１３は画像データベース、１４はデータ送信部を示し、２１はデータ受信部、２２は画像駆動部、２３はデータ表示部を示す。
【００１１】
例えば電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスに対応して、送り手側端末１に、さまざまなデータを入力するデータ入力部１１、相手端末に表示したい画像データを作成して登録する画像データ作成登録部１２、作成した画像データを格納しておく画像データベース１３、データを受け手側端末に送信するデータ送信部１４がもうけられる。また受け手側端末２には、送られてきたデータを格納するデータ受信部２１、画像データを動かすための画像駆動部２２、動かした画像データを出力するためのデータ表示部２３がもうけられる。
【００１２】
図１の場合には画像データベース１３が送り手側端末１にもうけられている。
図２は、低ビットレート画像通信を実現する他のシステム構成図を示す。
【００１３】
図中の符号１，２，３，１１，１４，２１，２２，２３は図１に対応しており、２４は画像データ作成登録部、２５は画像データベースを示す。
例えば電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスに対応して、送り手側端末１に、さまざまなデータを入力するデータ入力部１１、データを受け手側端末に送信するデータ送信部１４がもうけられる。また受け手側端末２には、送られてきたデータを格納するデータ受信部２１、画像データを動かすための画像駆動部２２、動かした画像データを出力するデータ表示部２３、自分の端末に表示したい画像データを作成して登録する画像データ作成登録部２４、画像データを格納しておく画像データベース２５がもうけられる。
【００１４】
図２の場合には画像データベース２５が受け手側端末２にもうけられている。
図３は、低ビットレート画像通信を実現する他のシステム構成図を示す。
【００１５】
図中の符号は図１および図２に対応している。
例えば電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスに対応して、送り手側端末１に、さまざまなデータを入力するデータ入力部１１、相手端末に表示したい画像データを作成して登録する画像データ作成登録部１２、作成した画像データを格納しておく画像データベース１３、データを受け手側端末に送信するデータ送信部１４がもうけられる。また受け手側端末２には、送られてきたデータを格納するデータ受信部２１、画像データを動かすための画像駆動部２２、動かした画像データを出力するデータ表示部２３、自分の端末に表示したい画像データを作成して登録する画像データ作成登録部２４、画像データを格納しておく画像データベース２５がもうけられる。
【００１６】
図３の場合には例えば基準の顔データを送り手側から送り、受け手側でその基準の顔データに多少の変化を加えて表示するようにする。
図４は、低ビットレート画像通信を実現する本発明のシステム構成図を示す。
【００１７】
図中の符号１，２，３，１１，１４，２１，２２，２３は図１や図２に対応しており、４はセンタ、４１は利用者管理テーブル、４２は画像データ作成登録部、４３は画像データベースを示す。
【００１８】
例えば電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスに対応して、センタ４に、サービスを利用する利用者のリストや現在の接続の状態を管理する利用者管理テーブル４１、受け手側端末に表示したい画像データを作成して登録する画像データ作成登録部４２、作成した画像データを格納しておく画像データベース４３がもうけられる。また送り手側端末１には、さまざまなデータを入力するデータ入力部１１、データを受け手側端末に送信するデータ送信部１４がもうけられる。更に受け手側端末２には、送られてきたデータを格納するデータ受信部２１、画像データを動かすための画像駆動部２２、動かした画像データを出力するためのデータ表示部２３がもうけられる。
【００１９】
図４の場合には、画像データベース４３がセンタ４にもうけられている。
図５は、低ビットレート画像通信を表現する他のシステム構成図を示す。
図中の符号１，２，３，１１，１２，１３，１４，２１，２２，２３，２４，２５は図１および図２に対応しており、１５は音声入力部、１６は音声特徴抽出部、２６は音声出力部を表している。
【００２０】
図５の全体構成は図３に対応している。ただ図５においては、送り手側端末１に、音声入力部１５と、入力された音声から当該音声を発した人の感情を抽出する音声特徴抽出部１６をもち、受け手側端末２に音声出力部２６をもつ。
【００２１】
図５の場合には、送り手側端末１において、音声を発した人の感情を当該音声から抽出して、受け手側端末２に送り、受け手側端末２において当該感情に対応した画像や音声を発するようにしている。
【００２２】
図６は、低ビットレート画像通信を実現する他のシステム構成図を示す。
図中の符号１，２，３，１１，１２，１３，１４，２１，２２，２３，２４，２５は図１および図２に対応しており、１７は映像入力部、１８は映像特徴抽出部を示す。
【００２３】
図６の全体構成は図３に対応している。ただ図６においては、送り手側端末１に、映像入力部１７と、映像特徴抽出部１８をもつ。図６の場合には、図５の場合に変えて、送り手の顔などを映像入力部１７で映し取り、当該送り手の感情を映像特徴抽出部１８で抽出する。受け手側端末２においては、当該感情を表す情報を受信して当該情報に対応した形で画像データを表示する。
【００２４】
図７は、低ビットレート画像通信を実現する他のシステム構成図を示す。図中の符号は図５および図６に対応しており、図７のシステム構成は図５と図６とを結合した構成に相当している。
【００２５】
図８は、処理シーケンスの一例を示す。図８の場合には、図４に示すセンタ４内に顔データが登録されている場合に対応している。図中の「利用者Ａ」は送り手側端末１における利用者であり、「センタ」は図４に示すセンタ４であり、「テーブル」は図４に示す利用者管理テーブル４１であり、「利用者Ｂ」は受け手側端末２における利用者である。
【００２６】
（８−１）：利用者Ａは利用者Ｂへの接続要求を行う。
（８−２）：センタは利用者管理テーブルに対して利用者Ａ，Ｂについての顔データの有無の問い合わせを行う（後述する第１表参照）。
【００２７】
（８−３）：センタは、利用者Ａからの接続要求を利用者Ｂに対して行う。
（８−４）：センタは、利用者Ｂから接続ＯＫを受け取る。
（８−５）：テーブル上に利用者Ａや利用者Ｂの顔データが登録されている場合には、画像データベース（４３）に登録されている顔データを受け取る。登録されていない場合には、任意の（デフォルトの）顔データを受け取る。
【００２８】
（８−６）：センタは、利用者Ａ側に対して利用者Ｂの顔データを送信し、利用者Ｂ側に対して利用者Ａの顔データを送信する。
（８−７）：利用者Ａから文字列データが送られてくると、センタは必要に応じて当該文字列データに対応した形の他の（他人のではなく）顔データを選択する。
【００２９】
（８−８）：センタは、文字列データと顔データとを利用者Ｂに対して送信する。
（８−９）：利用者Ｂから文字列データが送られてくると、センタは必要に応じて当該文字列データに対応した形の他の（他人のではなく）顔データを選択する。
【００３０】
（８−１０）： センタは、文字列データと顔データとを利用者Ａに対して送信する。
（８−１１）： 以下同様の交信が行われ、利用者Ａが切断要求を発したとき、センタは、利用者Ａからの切断要求を利用者Ｂに対して発する。
【００３１】
（８−１２）： 利用者Ｂから切断ＯＫがくると、センタは、利用者Ａと利用者Ｂとに対して切断を行う。
図９は処理シーケンスの他の例を示す。図９の場合には、各利用者端末内に顔データが登録されている場合に対応している。
【００３２】
（９−１）：利用者Ａは利用者Ｂへの接続要求を行う。利用者Ｂからは接続ＯＫをとる。
（９−２）：利用者Ａは、利用者管理テーブルに対して、利用者Ｂの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には登録されている顔データを用い、ＮＯの場合にはデフォルトの顔データを用いる。即ち、自端末の画面に表示する。
【００３３】
（９−３）：同様に、利用者Ｂは、利用者管理テーブルに対して、利用者Ａの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には登録されている顔データを用い、ＮＯの場合にはデフォルトの顔データを用いる。即ち、自端末の画面に表示する。
【００３４】
（９−４）：利用者Ａは、必要に応じて利用者Ａの顔データを交替させつつ、文字列データと顔データとを利用者Ｂに送る。
（９−５）：利用者Ｂは、必要に応じて利用者Ｂの顔データを交替させつつ、文字列データと顔データとを利用者Ａに送る。
【００３５】
（９−６）：同様の交信を行った上で、利用者Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、利用者Ａが回線を切断する。
図１０は処理シーケンスの他の例を示す。図１０の場合にはセンタの画像データベースに表情パターン（顔データと、当該顔に表情を与えるもの）を登録している場合に対応している。
【００３６】
（１０−１）： 利用者Ａは利用者Ｂへの接続要求を行う。
（１０−２）： センタは利用者管理テーブルに対して利用者Ａ，Ｂについての顔データの有無の問い合わせを行う。
【００３７】
（１０−３）： センタは、利用者Ａからの接続要求を利用者Ｂに対して行う。
（１０−４）： センタは、利用者Ｂからの接続ＯＫを受け取る。
（１０−５）： テーブル上に利用者Ａや利用者Ｂの顔データが登録されている場合には、画像データベースに登録されている顔データを受け取る。登録されていない場合には、任意の（デフォルトの）顔データを受け取る。
【００３８】
（１０−６）： センタは、利用者Ａ側に対して利用者Ｂの顔データを送信する。またセンタは、利用者Ｂ側に対して利用者Ａの顔データを送信する。
（１０−７）： 利用者Ａから文字列データと表情パターンとが送られてくると、センタは、利用者Ａについての指定された表情をもつ顔データを選択する。
【００３９】
（１０−８）： センタは、文字列データと顔データとを利用者Ｂに対して送信する。
（１０−９）： 利用者Ｂから文字列データと表情パターンとが送られてくると、センタは、利用者Ｂについての指定された表情をもつ顔データを選択する。
【００４０】
（１０−１０）：センタは、文字列データと顔データとを利用者Ｂに対して送信する。
（１０−１１）：以下同様の交信が行われ、利用者Ａが切断要求を発したときセンタは、利用者Ａからの切断要求を利用者Ｂに対して発する。
【００４１】
（１０−１２）：利用者Ｂからの切断ＯＫがくると、センタは、利用者Ａと利用者Ｂとに対して切断を行う。
図１１は処理シーケンスの他の例を示す。図１１の場合には、各利用者端末内に表情パターンが登録されている場合に対応している。
【００４２】
（１１−１）： 利用者Ａは利用者Ｂへの接続要求を行う。利用者Ｂからは接続ＯＫをとる。
（１１−２）： 利用者Ａは、利用者管理テーブルに対して、利用者Ｂの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には登録されている顔データを用い、ＮＯの場合にはデフォルトの顔データを用いる。即ち、自端末の画面に表示する。
【００４３】
（１１−３）： 同様に、利用者Ｂは、利用者管理テーブルに対して、利用者Ａの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には登録されている顔データを用い、ＮＯの場合にはデフォルトの顔データを用いる。即ち、自端末の画面に表示する。
【００４４】
（１１−４）： 利用者Ａは、必要に応じて利用者Ａについての指定された表情パターンをもつ顔データを選択し、文字列データと顔データとを利用者Ｂに送る。
（１１−５）： 利用者Ｂは、必要に応じて利用者Ｂについての指定された表情パターンをもつ顔データを選択し、文字列データと顔データとを利用者Ａに送る。
【００４５】
（１１−６）： 同様の交信を行った上で、利用者Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、利用者Ａが回線を切断する。
図１２は処理シーケンスの他の例を示す。図１２の場合にはセンタの画像データベースに表情パターン（顔を表現するに必要な目や鼻などの顔部品）を登録している場合に対応している。
【００４６】
（１２−１）： 利用者Ａは利用者Ｂへの接続要求を行う。
（１２−２）： センタは利用者管理テーブルに対して利用者Ａ，Ｂについての顔データの有無の問い合わせを行う。
【００４７】
（１２−３）： センタは、利用者Ａからの接続要求を利用者Ｂに対して行う。
（１２−４）： センタは、利用者Ｂからの接続ＯＫを受け取る。
（１２−５）： テーブル上に利用者Ａや利用者Ｂの顔データが登録されている場合には、登録されている顔データと、顔部品の所定位置からの移動量とを受け取る。登録されていない場合には、デフォルトの顔データと顔部品の移動量とを受け取る。
【００４８】
（１２−６）： センタは、利用者Ａ側に対して利用者Ｂの顔データを送信する。またセンタは、利用者Ｂ側に対して利用者Ａの顔データを送信する。
（１２−７）： 利用者Ａから文字列データと表情パターンとが送られてくると、センタは、利用者Ａについての指定された表情をもつための顔部品の移動量を選択する。
【００４９】
（１２−８）： センタは、文字列データと顔部品の移動量とを利用者Ｂに対して送信する。利用者Ｂにおいては顔部品の移動量に対応して構築した利用者Ａの顔を表示する。
【００５０】
（１２−９）： 利用者Ｂから文字列データと表情パターンとが送られてくると、センタは、利用者Ｂについての指定された表情をもつための顔部品の移動量を選択する。
【００５１】
（１２−１０）：センタは、文字列データと顔部品の移動量とを利用者Ａに対して送信する。利用者Ａにおいては顔部品の移動量に対応して構築した利用者Ｂの顔を表示する。
【００５２】
（１２−１１）：同様の交信を行った上で、利用者Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、センタは、利用者Ａと利用者Ｂとに対して切断を行う。
図１３は処理シーケンスの他の例を示す。図１３の場合には、各利用者端末内に表情パターン（顔部品）を登録している場合に対応している。
【００５３】
（１３−１）： 利用者Ａは利用者Ｂへの接続要求を行う。利用者Ｂからは接続ＯＫをとる。
（１３−２）： 利用者Ａは、利用者管理テーブルに対して、利用者Ｂの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には、登録されている顔データと顔部品の所定位置からの移動量を受け取る。ＮＯの場合には、デフォルトの顔データと顔部品の移動量とを受け取る。
【００５４】
（１３−３）： 同様に、利用者Ｂは、利用者管理テーブルに対して、利用者Ａの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には、登録されている顔データと顔部品の所定位置からの移動量を受け取る。ＮＯの場合には、デフォルトの顔データと顔部品の移動量とを受け取る。
【００５５】
（１３−４）： 利用者Ａは、必要に応じて利用者Ａについての指定された表情をもつための顔部品の移動量を決定する。
（１３−５）： 利用者Ａは、文字列データと顔部品の移動量とを利用者Ｂに対して送信する。利用者Ｂにおいては顔部品の移動量に対応して構築した利用者Ａの顔を表示する。
【００５６】
（１３−６）： 利用者Ｂは、必要に応じて利用者Ｂについての指定された表情をもつための顔部品の移動量を決定する。
（１３−７）： 利用者Ｂは、文字列データと顔部品の移動量とを利用者Ａに対して送信する。利用者Ａにおいては顔部品の移動量に対応して構築した利用者Ｂの顔を表示する。
【００５７】
（１３−８）： 同様の交信を行った上で、利用者Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、利用者Ａが回線を切断する。
以下、実施の形態について述べてゆく。
〔実施例１〕
サービスを提供するセンタには、サービスを利用する利用者情報などを利用者管理テーブルに登録し、また画像データベースにはあらかじめ利用者が希望する顔のデータ（ピースマークや似顔絵など）を登録しておく。第１表に利用者管理テーブルを示し、
【００５８】
【表１】
【００５９】
第２表に画像データベースに格納されている顔のデータを示す。
【００６０】
【表２】
【００６１】
第１表においては、利用者ＩＤに対応して、利用者情報（氏名、住所、電話番号）と、データベースに対する接続の状態を管理する接続先有無と、顔データ格納位置とが記述されている。また第２表においては、利用者ＩＤに対応して、顔データと顔データをどの順に表示するかを指示する表示順とが記述されている。
【００６２】
利用するときに、送り手側からの利用者ＩＤにより顔データを特定し、受け手側の端末に送信する。また、顔データを複数登録しておく場合には、図１４に示すように、受け手側端末に顔データをどのような順番で表示するかを記述することにより、サービスに幅を持たせることが可能となる。
〔実施例２〕
自端末内に自分の顔データを登録しておく。すなわち、第２表に示す画像データベースを自端末に保有するということである。利用するときに、顔データを送る。この場合、実施例１の場合とは異なり、サービスはセンタを介さない。
〔実施例３〕
サービスを利用する利用者情報などを利用者管理テーブルに登録し、サービスを提供するセンタにある画像データベースにはあらかじめ感情にあった文字と記号で作成したピースマークを登録しておく。第３表に示す画像データベースにデータを格納する。
【００６３】
【表３】
【００６４】
第３表においては、喜びとか悲しみとかの感情表現に対応して、表示すべきピースマークを記述している。
利用するときに、送り手側は送信する文字列とともに表情パターンを示す情報も送信する。センタ側は送信文より、表情パターンの情報を取り出し、受け手側の端末に文字列とともに指定された表情をもつピースマークを送信する。この場合各々の感情表現に対して複数のピースマークが登録されるため、受け手側の端末には、ランダムにピースマークを変えて表示することで、サービスに幅を持たせることが可能となる。
〔実施例４〕
自端末内に感情にあった文字と記号で作成したピークマークを登録しておく。すなわち、第３表に示す画像データベースを自端末に保有するということである。利用するときに、送り手は自分の感情を表現するピースマークを送信する。この場合、実施例３の場合とは異なり、サービスはセンタを介さない。同じ感情に登録されているピースマークを、ある間隔において送信することにより、受け手側の端末には、ランダムにピースマークを変えて表示することで、サービスに幅を持たせることが可能となる。
〔実施例５〕
サービスを提供するセンタには、サービスを利用する利用者情報などを利用者管理テーブルに登録し、利用者の似顔絵を基にして、あらかじめ感情にあった似顔絵のバリエーションを登録しておく。第４表に示す画像データベースにデータを格納する。
【００６５】
【表４】
【００６６】
第４表においては、利用者ＩＤに対応して、基準の顔データと、基準へ顔データを変化させた感情１に該当する顔データならびに当該感情１の場合の表示順と、感情２に該当する顔データならびに感情２の場合の表示順と・・・・・が記述されている。
【００６７】
複数登録されている場合は、実施例１に示したのと同じ方法で、受け手側端末に表示させる。利用するときに、送り手側は表情パターンの情報を送信する。センタ側は送られてきた表情パターンの情報から、受け手側の端末に指定された表情をもつ似顔絵を送信する。
〔実施例６〕
似顔絵を基にして、自端末内に感情にあった似顔絵のバリエーションを登録しておく。すなわち、第４表に示す画像データベースを自端末に保有するということである。利用するときに、送り手は自分の感情を表現する顔の表情データを送信する。この場合、実施例５の場合とは異なり、サービスはセンタを介さない。
〔実施例７〕
サービスを提供するセンタにはサービスを利用する利用者情報などを利用者管理テーブルに登録し、あらかじめサービスを利用する利用者の似顔絵を登録しておく。第５表に示す画像データベースにデータを格納する。
【００６８】
【表５】
【００６９】
第５表においては、利用者ＩＤに対応して基準の顔データが記述されている。
これを画像データベースにより管理し、送り手側と受け手側の番号より、各々の端末に表示する似顔絵を決定する。登録されていない場合は、デフォルトで表示する絵をあらかじめ決めておくことにより、対応する。その処理の流れを図１５に示す。
【００７０】
（１） ステップＳ１…利用者Ａから利用者Ｂへのアクセス要求を行う。
（２） ステップＳ２…利用者ＡのＩＤが、画像データベースにあるか否かを調べる。
【００７１】
（３） ステップＳ３…ＹＥＳの場合、利用者Ａの似顔絵を選択する。
（４） ステップＳ４…ＮＯの場合、任意の顔の似顔絵を選択する。
（５） ステップＳ５…利用者ＢのＩＤが、画像データベースにあるか否かを調べる。
【００７２】
（６） ステップＳ６…ＹＥＳの場合、利用者Ｂの似顔絵を選択する。
（７） ステップＳ７…ＮＯの場合、任意の顔の似顔絵を選択する。
人間の表情を分類し、顔部品の移動量など定量的なものを決めておく。これらの対応付けは、第６表に示すような感情表現テーブルで管理される。
【００７３】
【表６】
【００７４】
第６表においては、夫々の感情に対応して、「右目上部」「右目下部」「左目上部」「左目下部」・・・・などの当該感情を表現する上で好ましい移動量が記述されている。
【００７５】
登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。送り手側には表情のパターンを通知しておく。利用するときに、送り手側は送信する文字列とともに表情パターンも送信する。センタ側は表情パターンを取り出し、受け手側の端末に文字列とともに指定された表情をもつ似顔絵を送信する。
〔実施例８〕
センタを介さないシステムの場合には、自分の似顔絵は自端末内に登録する。第５表に示す画像データベースにより、各々の表情を自端末において作成する。送り手側には表情のパターンの一覧を見えるようにしておく。利用するときに、送り手側は送信する際に表情パターンを指定し、受け手側の端末に登録された表情を持つ似顔絵を送信する。
〔実施例９〕
〔実施例７〕において、送り手側には感情表現のパターンを通知しておく。サービスを利用するときに、送り手側は感情表現パターンを送信する。センタ側は送られてきた感情表現パターンより、受け手側の端末に指定された感情表現を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
〔実施例１０〕
サービスを提供するセンタにはサービスを利用する利用者情報などを利用者管理テーブルに登録し、あらかじめサービスを利用する利用者の似顔絵を登録しておく。人間の表情を分類し、顔部品の移動量など定量的なものを決めておく。登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。基準となる音声もあらかじめ利用者に入力してもらい、そのデータを基に、音声の特徴の初期値を取り出しておく。入力された音声の特徴から、感情を取り出し、受け手側の端末に指定された表情をもつ似顔絵を送信する。
〔実施例１１〕
〔実施例１０〕において、入力された音声の特徴から、当該音声を発している人の感情を抽出し、受け手側の端末に指定された感情表現を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
〔実施例１２〕
〔実施例８〕において、登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。基準となる音声をあらかじめ自端末に入力し、そのデータを基に、音声の特徴の初期値を取り出しておく。入力された音声の特徴から、感情を取り出し、受け手側の端末に指定された表情をもつ似顔絵を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
〔実施例１３〕
サービスを提供するセンタにはサービスを利用する利用者情報などを利用者管理テーブルに登録し、あらかじめサービスを利用する利用者の似顔絵を登録しておく。人間の表情を分類し、顔部品の移動量など定量的なものを決めておく。登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。基準となる映像をあらかじめ利用者に入力してもらい、そのデータを基に、利用者の映像の特徴の初期値を取り出しておく。入力された映像の顔の表情や動作から、感情を取り出し、受け手側の端末に指定された表情をもつ似顔絵を送信する。
〔実施例１４〕
〔実施例１３〕において、入力された映像の顔の表情や動作から、感情を抽出し、受け手側の端末に指定された感情表現を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
〔実施例１５〕
〔実施例８〕において、登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。基準となる映像をあらかじめ自端末に入力し、そのデータを基に、利用者の映像の特徴の初期値を取り出しておく。入力された映像の顔の表情や動作から、感情を取り出し、受け手側の端末に指定された表情をもつ似顔絵を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、低ビットレート画像通信において文字列に加えて感情表現を送る、あるいは送られてくる音声情報から感情を取り出して、それをリアルタイムに受け手の端末に表示することにより、送り手側の意図をより明確に受け手側に伝えることが可能であるという効果がある。
【図面の簡単な説明】
【図１】低ビットレート画像通信を実現するシステム構成図である。
【図２】低ビットレート画像通信を実現する他のシステム構成図である。
【図３】低ビットレート画像通信を実現する他のシステム構成図である。
【図４】低ビットレート画像通信を実現する本発明のシステム構成図である。
【図５】低ビットレート画像通信を実現する他のシステム構成図である。
【図６】低ビットレート画像通信を実現する他のシステム構成図である。
【図７】低ビットレート画像通信を実現する他のシステム構成図である。
【図８】処理シーケンスの一例を示す。
【図９】処理シーケンスの他の例を示す。
【図１０】処理シーケンスの他の例を示す。
【図１１】処理シーケンスの他の例を示す。
【図１２】処理シーケンスの他の例を示す。
【図１３】処理シーケンスの他の例を示す。
【図１４】表示候補が複数ある顔データの表示順の一例を示す。
【図１５】似顔絵選択アルゴリズムの例を示す。
【発明の属する技術分野】
本発明は、低ビットレートで情報のやり取りを行う電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスにおいて、マルチメディア情報を提供する低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法に関するものである。
【０００２】
【従来の技術】
従来では文字を送信するだけであり、その時の送り手側の感情表現まで送信することは考慮されておらず、困難であった。また、静止画像や動画を送信するには回線が細いため、映像の品質として満足の行くものを送ることができなかった。
【０００３】
【発明が解決しようとする課題】
例えば、３６０ ×２４０ 画素の大きさを持つ画像を転送する場合を考える。１画素にｎ ｂｉｔ を割り当てるとすると、データ量は８６４００ ×ｎ ｂｉｔ となる。ページャを例にとると、通信レートは２４００ ｂｐｓとなる。これで上記の画像の転送時間を計算すると、
非圧縮の場合 ８６４００×ｎ ／２４００＝３６×ｎ 秒
となる。２値表示（ｎ＝１）としても、３６秒もかかってしまう。また、ＪＰＥＧのように圧縮できるものを用いる場合でも、
１ ／２０の圧縮率 ８６４００×ｎ ／２０／２４００＝１．８ ×ｎ 秒
となる。２５６ 色表示（ｎ＝８）とすると、１４．４秒かかるため、リアルタイムを要求されるサービスには用いることができない。
【０００４】
モデムを例にとると、現在の通信レートの最大量は３８４００ ｂｐｓ となる。これで非圧縮の場合における上記の画像の転送時間を計算すると、
８６４００ ×ｎ ／３８４００ ＝２．２５×ｎ 秒
となる。画面表示はほとんどがカラーであることを考えると、１６色表示（ｎ＝４）としても、９秒もかかってしまう。
【０００５】
本発明は、送り手側の感情が受け手側に伝わらないという点を解決し、面と向かって話しているような感覚をもたらす低ビットレート画像通信を、リアルタイムに提供することを目的としている。
【０００６】
【課題を解決するための手段】
文字と記号の組み合わせにより作成されたピースマークであれば、７個を最大個数とすれば、データ量は７ ×８ ＝５６ ｂｉｔとなり、ページャで転送するには０．０３秒もあれば十分である。また、似顔絵といった線画を用いる場合には、顔を１５０ 点で表現したと仮定すると、すべて座標値を持つため、初期のデータ量は１５０ ×２ ×８ ＝２４００ ｂｉｔとなる。これに面の塗りつぶしの情報などを付加したと仮定して、毎回線画のデータを送ったとしても、モデムであれば、１秒間に約１０回程度の顔の情報を送信することが可能となる。また、目や口の移動などといった顔の部分のみの変更箇所のデータを転送するのであれば、送信しなければならない座標値数は１５０ 点よりもはるかに少なくなるため、リアルタイムを保証することが可能となる。
【０００７】
また、感情表現を顔の部品の移動量で記述することにより、データの圧縮をはかることも可能となる。例えば、受け手側で送り手側の画像データベースを持っている場合には、送り手側からは感情のパターンを送信する。受け手側では指示されたパターンから、顔部品を移動させて該当する表情を作成する。すなわち、送り手側から来るデータは指示データのみであり、このデータ量としては数バイト程度を見ておけばよい。逆に、送り手側で画像データベースを持っている場合には、作成登録部で自分の感性にあった感情に対する表情を作成することができる。各々の感情に対する顔部品の移動量のデータを受け手側に送ることにより、送り手側が希望する画像を受け手側端末に表示することが可能となる。
【０００８】
本発明は、低ビットレート画像通信において、文字列に加えて、ピースマークや似顔絵といった線画も一緒になったサービスを提供するようにし、かつ音声や映像から感情を取り出して似顔絵を感情に合わせて変形させる、という機能も提供する。従来の技術とは送り手側の感情表現を受け側に伝えることが可能となるという点が異なる。
【０００９】
【発明の実施の形態】
図１は、低ビットレート画像通信を実現するシステム構成図を示す。
【００１０】
図中の符号１は送り手側端末、２は受け手側端末、３は回線を表している。また、１１はデータ入力部、１２は画像データ作成登録部、１３は画像データベース、１４はデータ送信部を示し、２１はデータ受信部、２２は画像駆動部、２３はデータ表示部を示す。
【００１１】
例えば電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスに対応して、送り手側端末１に、さまざまなデータを入力するデータ入力部１１、相手端末に表示したい画像データを作成して登録する画像データ作成登録部１２、作成した画像データを格納しておく画像データベース１３、データを受け手側端末に送信するデータ送信部１４がもうけられる。また受け手側端末２には、送られてきたデータを格納するデータ受信部２１、画像データを動かすための画像駆動部２２、動かした画像データを出力するためのデータ表示部２３がもうけられる。
【００１２】
図１の場合には画像データベース１３が送り手側端末１にもうけられている。
図２は、低ビットレート画像通信を実現する他のシステム構成図を示す。
【００１３】
図中の符号１，２，３，１１，１４，２１，２２，２３は図１に対応しており、２４は画像データ作成登録部、２５は画像データベースを示す。
例えば電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスに対応して、送り手側端末１に、さまざまなデータを入力するデータ入力部１１、データを受け手側端末に送信するデータ送信部１４がもうけられる。また受け手側端末２には、送られてきたデータを格納するデータ受信部２１、画像データを動かすための画像駆動部２２、動かした画像データを出力するデータ表示部２３、自分の端末に表示したい画像データを作成して登録する画像データ作成登録部２４、画像データを格納しておく画像データベース２５がもうけられる。
【００１４】
図２の場合には画像データベース２５が受け手側端末２にもうけられている。
図３は、低ビットレート画像通信を実現する他のシステム構成図を示す。
【００１５】
図中の符号は図１および図２に対応している。
例えば電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスに対応して、送り手側端末１に、さまざまなデータを入力するデータ入力部１１、相手端末に表示したい画像データを作成して登録する画像データ作成登録部１２、作成した画像データを格納しておく画像データベース１３、データを受け手側端末に送信するデータ送信部１４がもうけられる。また受け手側端末２には、送られてきたデータを格納するデータ受信部２１、画像データを動かすための画像駆動部２２、動かした画像データを出力するデータ表示部２３、自分の端末に表示したい画像データを作成して登録する画像データ作成登録部２４、画像データを格納しておく画像データベース２５がもうけられる。
【００１６】
図３の場合には例えば基準の顔データを送り手側から送り、受け手側でその基準の顔データに多少の変化を加えて表示するようにする。
図４は、低ビットレート画像通信を実現する本発明のシステム構成図を示す。
【００１７】
図中の符号１，２，３，１１，１４，２１，２２，２３は図１や図２に対応しており、４はセンタ、４１は利用者管理テーブル、４２は画像データ作成登録部、４３は画像データベースを示す。
【００１８】
例えば電子手帳やページャを含む携帯端末サービスやインターネットを用いたサービスに対応して、センタ４に、サービスを利用する利用者のリストや現在の接続の状態を管理する利用者管理テーブル４１、受け手側端末に表示したい画像データを作成して登録する画像データ作成登録部４２、作成した画像データを格納しておく画像データベース４３がもうけられる。また送り手側端末１には、さまざまなデータを入力するデータ入力部１１、データを受け手側端末に送信するデータ送信部１４がもうけられる。更に受け手側端末２には、送られてきたデータを格納するデータ受信部２１、画像データを動かすための画像駆動部２２、動かした画像データを出力するためのデータ表示部２３がもうけられる。
【００１９】
図４の場合には、画像データベース４３がセンタ４にもうけられている。
図５は、低ビットレート画像通信を表現する他のシステム構成図を示す。
図中の符号１，２，３，１１，１２，１３，１４，２１，２２，２３，２４，２５は図１および図２に対応しており、１５は音声入力部、１６は音声特徴抽出部、２６は音声出力部を表している。
【００２０】
図５の全体構成は図３に対応している。ただ図５においては、送り手側端末１に、音声入力部１５と、入力された音声から当該音声を発した人の感情を抽出する音声特徴抽出部１６をもち、受け手側端末２に音声出力部２６をもつ。
【００２１】
図５の場合には、送り手側端末１において、音声を発した人の感情を当該音声から抽出して、受け手側端末２に送り、受け手側端末２において当該感情に対応した画像や音声を発するようにしている。
【００２２】
図６は、低ビットレート画像通信を実現する他のシステム構成図を示す。
図中の符号１，２，３，１１，１２，１３，１４，２１，２２，２３，２４，２５は図１および図２に対応しており、１７は映像入力部、１８は映像特徴抽出部を示す。
【００２３】
図６の全体構成は図３に対応している。ただ図６においては、送り手側端末１に、映像入力部１７と、映像特徴抽出部１８をもつ。図６の場合には、図５の場合に変えて、送り手の顔などを映像入力部１７で映し取り、当該送り手の感情を映像特徴抽出部１８で抽出する。受け手側端末２においては、当該感情を表す情報を受信して当該情報に対応した形で画像データを表示する。
【００２４】
図７は、低ビットレート画像通信を実現する他のシステム構成図を示す。図中の符号は図５および図６に対応しており、図７のシステム構成は図５と図６とを結合した構成に相当している。
【００２５】
図８は、処理シーケンスの一例を示す。図８の場合には、図４に示すセンタ４内に顔データが登録されている場合に対応している。図中の「利用者Ａ」は送り手側端末１における利用者であり、「センタ」は図４に示すセンタ４であり、「テーブル」は図４に示す利用者管理テーブル４１であり、「利用者Ｂ」は受け手側端末２における利用者である。
【００２６】
（８−１）：利用者Ａは利用者Ｂへの接続要求を行う。
（８−２）：センタは利用者管理テーブルに対して利用者Ａ，Ｂについての顔データの有無の問い合わせを行う（後述する第１表参照）。
【００２７】
（８−３）：センタは、利用者Ａからの接続要求を利用者Ｂに対して行う。
（８−４）：センタは、利用者Ｂから接続ＯＫを受け取る。
（８−５）：テーブル上に利用者Ａや利用者Ｂの顔データが登録されている場合には、画像データベース（４３）に登録されている顔データを受け取る。登録されていない場合には、任意の（デフォルトの）顔データを受け取る。
【００２８】
（８−６）：センタは、利用者Ａ側に対して利用者Ｂの顔データを送信し、利用者Ｂ側に対して利用者Ａの顔データを送信する。
（８−７）：利用者Ａから文字列データが送られてくると、センタは必要に応じて当該文字列データに対応した形の他の（他人のではなく）顔データを選択する。
【００２９】
（８−８）：センタは、文字列データと顔データとを利用者Ｂに対して送信する。
（８−９）：利用者Ｂから文字列データが送られてくると、センタは必要に応じて当該文字列データに対応した形の他の（他人のではなく）顔データを選択する。
【００３０】
（８−１０）： センタは、文字列データと顔データとを利用者Ａに対して送信する。
（８−１１）： 以下同様の交信が行われ、利用者Ａが切断要求を発したとき、センタは、利用者Ａからの切断要求を利用者Ｂに対して発する。
【００３１】
（８−１２）： 利用者Ｂから切断ＯＫがくると、センタは、利用者Ａと利用者Ｂとに対して切断を行う。
図９は処理シーケンスの他の例を示す。図９の場合には、各利用者端末内に顔データが登録されている場合に対応している。
【００３２】
（９−１）：利用者Ａは利用者Ｂへの接続要求を行う。利用者Ｂからは接続ＯＫをとる。
（９−２）：利用者Ａは、利用者管理テーブルに対して、利用者Ｂの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には登録されている顔データを用い、ＮＯの場合にはデフォルトの顔データを用いる。即ち、自端末の画面に表示する。
【００３３】
（９−３）：同様に、利用者Ｂは、利用者管理テーブルに対して、利用者Ａの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には登録されている顔データを用い、ＮＯの場合にはデフォルトの顔データを用いる。即ち、自端末の画面に表示する。
【００３４】
（９−４）：利用者Ａは、必要に応じて利用者Ａの顔データを交替させつつ、文字列データと顔データとを利用者Ｂに送る。
（９−５）：利用者Ｂは、必要に応じて利用者Ｂの顔データを交替させつつ、文字列データと顔データとを利用者Ａに送る。
【００３５】
（９−６）：同様の交信を行った上で、利用者Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、利用者Ａが回線を切断する。
図１０は処理シーケンスの他の例を示す。図１０の場合にはセンタの画像データベースに表情パターン（顔データと、当該顔に表情を与えるもの）を登録している場合に対応している。
【００３６】
（１０−１）： 利用者Ａは利用者Ｂへの接続要求を行う。
（１０−２）： センタは利用者管理テーブルに対して利用者Ａ，Ｂについての顔データの有無の問い合わせを行う。
【００３７】
（１０−３）： センタは、利用者Ａからの接続要求を利用者Ｂに対して行う。
（１０−４）： センタは、利用者Ｂからの接続ＯＫを受け取る。
（１０−５）： テーブル上に利用者Ａや利用者Ｂの顔データが登録されている場合には、画像データベースに登録されている顔データを受け取る。登録されていない場合には、任意の（デフォルトの）顔データを受け取る。
【００３８】
（１０−６）： センタは、利用者Ａ側に対して利用者Ｂの顔データを送信する。またセンタは、利用者Ｂ側に対して利用者Ａの顔データを送信する。
（１０−７）： 利用者Ａから文字列データと表情パターンとが送られてくると、センタは、利用者Ａについての指定された表情をもつ顔データを選択する。
【００３９】
（１０−８）： センタは、文字列データと顔データとを利用者Ｂに対して送信する。
（１０−９）： 利用者Ｂから文字列データと表情パターンとが送られてくると、センタは、利用者Ｂについての指定された表情をもつ顔データを選択する。
【００４０】
（１０−１０）：センタは、文字列データと顔データとを利用者Ｂに対して送信する。
（１０−１１）：以下同様の交信が行われ、利用者Ａが切断要求を発したときセンタは、利用者Ａからの切断要求を利用者Ｂに対して発する。
【００４１】
（１０−１２）：利用者Ｂからの切断ＯＫがくると、センタは、利用者Ａと利用者Ｂとに対して切断を行う。
図１１は処理シーケンスの他の例を示す。図１１の場合には、各利用者端末内に表情パターンが登録されている場合に対応している。
【００４２】
（１１−１）： 利用者Ａは利用者Ｂへの接続要求を行う。利用者Ｂからは接続ＯＫをとる。
（１１−２）： 利用者Ａは、利用者管理テーブルに対して、利用者Ｂの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には登録されている顔データを用い、ＮＯの場合にはデフォルトの顔データを用いる。即ち、自端末の画面に表示する。
【００４３】
（１１−３）： 同様に、利用者Ｂは、利用者管理テーブルに対して、利用者Ａの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には登録されている顔データを用い、ＮＯの場合にはデフォルトの顔データを用いる。即ち、自端末の画面に表示する。
【００４４】
（１１−４）： 利用者Ａは、必要に応じて利用者Ａについての指定された表情パターンをもつ顔データを選択し、文字列データと顔データとを利用者Ｂに送る。
（１１−５）： 利用者Ｂは、必要に応じて利用者Ｂについての指定された表情パターンをもつ顔データを選択し、文字列データと顔データとを利用者Ａに送る。
【００４５】
（１１−６）： 同様の交信を行った上で、利用者Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、利用者Ａが回線を切断する。
図１２は処理シーケンスの他の例を示す。図１２の場合にはセンタの画像データベースに表情パターン（顔を表現するに必要な目や鼻などの顔部品）を登録している場合に対応している。
【００４６】
（１２−１）： 利用者Ａは利用者Ｂへの接続要求を行う。
（１２−２）： センタは利用者管理テーブルに対して利用者Ａ，Ｂについての顔データの有無の問い合わせを行う。
【００４７】
（１２−３）： センタは、利用者Ａからの接続要求を利用者Ｂに対して行う。
（１２−４）： センタは、利用者Ｂからの接続ＯＫを受け取る。
（１２−５）： テーブル上に利用者Ａや利用者Ｂの顔データが登録されている場合には、登録されている顔データと、顔部品の所定位置からの移動量とを受け取る。登録されていない場合には、デフォルトの顔データと顔部品の移動量とを受け取る。
【００４８】
（１２−６）： センタは、利用者Ａ側に対して利用者Ｂの顔データを送信する。またセンタは、利用者Ｂ側に対して利用者Ａの顔データを送信する。
（１２−７）： 利用者Ａから文字列データと表情パターンとが送られてくると、センタは、利用者Ａについての指定された表情をもつための顔部品の移動量を選択する。
【００４９】
（１２−８）： センタは、文字列データと顔部品の移動量とを利用者Ｂに対して送信する。利用者Ｂにおいては顔部品の移動量に対応して構築した利用者Ａの顔を表示する。
【００５０】
（１２−９）： 利用者Ｂから文字列データと表情パターンとが送られてくると、センタは、利用者Ｂについての指定された表情をもつための顔部品の移動量を選択する。
【００５１】
（１２−１０）：センタは、文字列データと顔部品の移動量とを利用者Ａに対して送信する。利用者Ａにおいては顔部品の移動量に対応して構築した利用者Ｂの顔を表示する。
【００５２】
（１２−１１）：同様の交信を行った上で、利用者Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、センタは、利用者Ａと利用者Ｂとに対して切断を行う。
図１３は処理シーケンスの他の例を示す。図１３の場合には、各利用者端末内に表情パターン（顔部品）を登録している場合に対応している。
【００５３】
（１３−１）： 利用者Ａは利用者Ｂへの接続要求を行う。利用者Ｂからは接続ＯＫをとる。
（１３−２）： 利用者Ａは、利用者管理テーブルに対して、利用者Ｂの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には、登録されている顔データと顔部品の所定位置からの移動量を受け取る。ＮＯの場合には、デフォルトの顔データと顔部品の移動量とを受け取る。
【００５４】
（１３−３）： 同様に、利用者Ｂは、利用者管理テーブルに対して、利用者Ａの顔データが登録されているか否かを問い合わせる。ＹＥＳの場合には、登録されている顔データと顔部品の所定位置からの移動量を受け取る。ＮＯの場合には、デフォルトの顔データと顔部品の移動量とを受け取る。
【００５５】
（１３−４）： 利用者Ａは、必要に応じて利用者Ａについての指定された表情をもつための顔部品の移動量を決定する。
（１３−５）： 利用者Ａは、文字列データと顔部品の移動量とを利用者Ｂに対して送信する。利用者Ｂにおいては顔部品の移動量に対応して構築した利用者Ａの顔を表示する。
【００５６】
（１３−６）： 利用者Ｂは、必要に応じて利用者Ｂについての指定された表情をもつための顔部品の移動量を決定する。
（１３−７）： 利用者Ｂは、文字列データと顔部品の移動量とを利用者Ａに対して送信する。利用者Ａにおいては顔部品の移動量に対応して構築した利用者Ｂの顔を表示する。
【００５７】
（１３−８）： 同様の交信を行った上で、利用者Ａが切断要求を発し利用者Ｂが切断ＯＫを出すと、利用者Ａが回線を切断する。
以下、実施の形態について述べてゆく。
〔実施例１〕
サービスを提供するセンタには、サービスを利用する利用者情報などを利用者管理テーブルに登録し、また画像データベースにはあらかじめ利用者が希望する顔のデータ（ピースマークや似顔絵など）を登録しておく。第１表に利用者管理テーブルを示し、
【００５８】
【表１】
第２表に画像データベースに格納されている顔のデータを示す。
【００６０】
【表２】
第１表においては、利用者ＩＤに対応して、利用者情報（氏名、住所、電話番号）と、データベースに対する接続の状態を管理する接続先有無と、顔データ格納位置とが記述されている。また第２表においては、利用者ＩＤに対応して、顔データと顔データをどの順に表示するかを指示する表示順とが記述されている。
【００６２】
利用するときに、送り手側からの利用者ＩＤにより顔データを特定し、受け手側の端末に送信する。また、顔データを複数登録しておく場合には、図１４に示すように、受け手側端末に顔データをどのような順番で表示するかを記述することにより、サービスに幅を持たせることが可能となる。
〔実施例２〕
自端末内に自分の顔データを登録しておく。すなわち、第２表に示す画像データベースを自端末に保有するということである。利用するときに、顔データを送る。この場合、実施例１の場合とは異なり、サービスはセンタを介さない。
〔実施例３〕
サービスを利用する利用者情報などを利用者管理テーブルに登録し、サービスを提供するセンタにある画像データベースにはあらかじめ感情にあった文字と記号で作成したピースマークを登録しておく。第３表に示す画像データベースにデータを格納する。
【００６３】
【表３】
第３表においては、喜びとか悲しみとかの感情表現に対応して、表示すべきピースマークを記述している。
利用するときに、送り手側は送信する文字列とともに表情パターンを示す情報も送信する。センタ側は送信文より、表情パターンの情報を取り出し、受け手側の端末に文字列とともに指定された表情をもつピースマークを送信する。この場合各々の感情表現に対して複数のピースマークが登録されるため、受け手側の端末には、ランダムにピースマークを変えて表示することで、サービスに幅を持たせることが可能となる。
〔実施例４〕
自端末内に感情にあった文字と記号で作成したピークマークを登録しておく。すなわち、第３表に示す画像データベースを自端末に保有するということである。利用するときに、送り手は自分の感情を表現するピースマークを送信する。この場合、実施例３の場合とは異なり、サービスはセンタを介さない。同じ感情に登録されているピースマークを、ある間隔において送信することにより、受け手側の端末には、ランダムにピースマークを変えて表示することで、サービスに幅を持たせることが可能となる。
〔実施例５〕
サービスを提供するセンタには、サービスを利用する利用者情報などを利用者管理テーブルに登録し、利用者の似顔絵を基にして、あらかじめ感情にあった似顔絵のバリエーションを登録しておく。第４表に示す画像データベースにデータを格納する。
【００６５】
【表４】
第４表においては、利用者ＩＤに対応して、基準の顔データと、基準へ顔データを変化させた感情１に該当する顔データならびに当該感情１の場合の表示順と、感情２に該当する顔データならびに感情２の場合の表示順と・・・・・が記述されている。
【００６７】
複数登録されている場合は、実施例１に示したのと同じ方法で、受け手側端末に表示させる。利用するときに、送り手側は表情パターンの情報を送信する。センタ側は送られてきた表情パターンの情報から、受け手側の端末に指定された表情をもつ似顔絵を送信する。
〔実施例６〕
似顔絵を基にして、自端末内に感情にあった似顔絵のバリエーションを登録しておく。すなわち、第４表に示す画像データベースを自端末に保有するということである。利用するときに、送り手は自分の感情を表現する顔の表情データを送信する。この場合、実施例５の場合とは異なり、サービスはセンタを介さない。
〔実施例７〕
サービスを提供するセンタにはサービスを利用する利用者情報などを利用者管理テーブルに登録し、あらかじめサービスを利用する利用者の似顔絵を登録しておく。第５表に示す画像データベースにデータを格納する。
【００６８】
【表５】
第５表においては、利用者ＩＤに対応して基準の顔データが記述されている。
これを画像データベースにより管理し、送り手側と受け手側の番号より、各々の端末に表示する似顔絵を決定する。登録されていない場合は、デフォルトで表示する絵をあらかじめ決めておくことにより、対応する。その処理の流れを図１５に示す。
【００７０】
（１） ステップＳ１…利用者Ａから利用者Ｂへのアクセス要求を行う。
（２） ステップＳ２…利用者ＡのＩＤが、画像データベースにあるか否かを調べる。
【００７１】
（３） ステップＳ３…ＹＥＳの場合、利用者Ａの似顔絵を選択する。
（４） ステップＳ４…ＮＯの場合、任意の顔の似顔絵を選択する。
（５） ステップＳ５…利用者ＢのＩＤが、画像データベースにあるか否かを調べる。
【００７２】
（６） ステップＳ６…ＹＥＳの場合、利用者Ｂの似顔絵を選択する。
（７） ステップＳ７…ＮＯの場合、任意の顔の似顔絵を選択する。
人間の表情を分類し、顔部品の移動量など定量的なものを決めておく。これらの対応付けは、第６表に示すような感情表現テーブルで管理される。
【００７３】
【表６】
第６表においては、夫々の感情に対応して、「右目上部」「右目下部」「左目上部」「左目下部」・・・・などの当該感情を表現する上で好ましい移動量が記述されている。
【００７５】
登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。送り手側には表情のパターンを通知しておく。利用するときに、送り手側は送信する文字列とともに表情パターンも送信する。センタ側は表情パターンを取り出し、受け手側の端末に文字列とともに指定された表情をもつ似顔絵を送信する。
〔実施例８〕
センタを介さないシステムの場合には、自分の似顔絵は自端末内に登録する。第５表に示す画像データベースにより、各々の表情を自端末において作成する。送り手側には表情のパターンの一覧を見えるようにしておく。利用するときに、送り手側は送信する際に表情パターンを指定し、受け手側の端末に登録された表情を持つ似顔絵を送信する。
〔実施例９〕
〔実施例７〕において、送り手側には感情表現のパターンを通知しておく。サービスを利用するときに、送り手側は感情表現パターンを送信する。センタ側は送られてきた感情表現パターンより、受け手側の端末に指定された感情表現を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
〔実施例１０〕
サービスを提供するセンタにはサービスを利用する利用者情報などを利用者管理テーブルに登録し、あらかじめサービスを利用する利用者の似顔絵を登録しておく。人間の表情を分類し、顔部品の移動量など定量的なものを決めておく。登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。基準となる音声もあらかじめ利用者に入力してもらい、そのデータを基に、音声の特徴の初期値を取り出しておく。入力された音声の特徴から、感情を取り出し、受け手側の端末に指定された表情をもつ似顔絵を送信する。
〔実施例１１〕
〔実施例１０〕において、入力された音声の特徴から、当該音声を発している人の感情を抽出し、受け手側の端末に指定された感情表現を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
〔実施例１２〕
〔実施例８〕において、登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。基準となる音声をあらかじめ自端末に入力し、そのデータを基に、音声の特徴の初期値を取り出しておく。入力された音声の特徴から、感情を取り出し、受け手側の端末に指定された表情をもつ似顔絵を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
〔実施例１３〕
サービスを提供するセンタにはサービスを利用する利用者情報などを利用者管理テーブルに登録し、あらかじめサービスを利用する利用者の似顔絵を登録しておく。人間の表情を分類し、顔部品の移動量など定量的なものを決めておく。登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。基準となる映像をあらかじめ利用者に入力してもらい、そのデータを基に、利用者の映像の特徴の初期値を取り出しておく。入力された映像の顔の表情や動作から、感情を取り出し、受け手側の端末に指定された表情をもつ似顔絵を送信する。
〔実施例１４〕
〔実施例１３〕において、入力された映像の顔の表情や動作から、感情を抽出し、受け手側の端末に指定された感情表現を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
〔実施例１５〕
〔実施例８〕において、登録された絵を元にして前に決めた顔部品を移動し、各々の表情を作成しておく。基準となる映像をあらかじめ自端末に入力し、そのデータを基に、利用者の映像の特徴の初期値を取り出しておく。入力された映像の顔の表情や動作から、感情を取り出し、受け手側の端末に指定された表情をもつ似顔絵を送信する。受け手側の端末で指定された感情表現に合うように、あらかじめ送信された送り手側の似顔絵から顔部品を移動させて表現を実現する。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、低ビットレート画像通信において文字列に加えて感情表現を送る、あるいは送られてくる音声情報から感情を取り出して、それをリアルタイムに受け手の端末に表示することにより、送り手側の意図をより明確に受け手側に伝えることが可能であるという効果がある。
【図面の簡単な説明】
【図１】低ビットレート画像通信を実現するシステム構成図である。
【図２】低ビットレート画像通信を実現する他のシステム構成図である。
【図３】低ビットレート画像通信を実現する他のシステム構成図である。
【図４】低ビットレート画像通信を実現する本発明のシステム構成図である。
【図５】低ビットレート画像通信を実現する他のシステム構成図である。
【図６】低ビットレート画像通信を実現する他のシステム構成図である。
【図７】低ビットレート画像通信を実現する他のシステム構成図である。
【図８】処理シーケンスの一例を示す。
【図９】処理シーケンスの他の例を示す。
【図１０】処理シーケンスの他の例を示す。
【図１１】処理シーケンスの他の例を示す。
【図１２】処理シーケンスの他の例を示す。
【図１３】処理シーケンスの他の例を示す。
【図１４】表示候補が複数ある顔データの表示順の一例を示す。
【図１５】似顔絵選択アルゴリズムの例を示す。
Claims (9)
- 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現するシステムであって、
前記受け手側端末に表示する顔データを作成／登録する画像データ作成登録部と、
前記顔データを格納しておく画像データベースと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有するセンタ装置と、
前記顔データに対応する文字列データを入力するデータ入力部と、
前記文字列データを前記センタ装置に送信するデータ送信部と
を有する、前記利用者中の送り手に対応する送り手側端末と、
前記センタ装置から送られてきた顔データを格納するデータ受信部と、
前記顔データを出力するためのデータ表示部と、
前記顔データを前記データ表示部に表示する画像駆動部と
を有する前記受け手側端末と、
を備え、
前記センタ装置は、前記送り手側端末から受信した前記文字列データに対応した顔データを前記画像データベースに登録されている前記送り手の顔データから選択し、該顔データを前記受け手側端末に送信するように構成されている
ことを特徴とする低ビットレート画像通信システム。 - 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現するシステムであって、
前記受け手側端末に表示する顔データを作成／登録する画像データ作成登録部と、
前記顔データを格納しておく画像データベースと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有するセンタ装置と、
表情パターンを示すデータを入力するデータ入力部と、
前記表情パターンを示すデータを前記センタ装置に送信するデータ送信部と
を有する、前記利用者中の送り手に対応する送り手側端末と、
前記センタ装置から送られてきた顔データを格納するデータ受信部と、
前記顔データを出力するためのデータ表示部と、
前記顔データを前記データ表示部に表示する画像駆動部と
を有する前記受け手側端末と、
を備え、
前記センタ装置は、前記送り手側端末から受信した前記表情パターンを示すデータによって指定された表情を持つ顔データを前記画像データベースに登録されている前記送り手の顔データから選択し、該顔データを前記受け手側端末に送信するように構成されている
ことを特徴とする低ビットレート画像通信システム。 - 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現するシステムであって、
前記受け手側端末に表示する基準の顔データを作成／登録する画像データ作成登録部と、
前記顔データを格納しておく画像データベースと、
表情と顔部品の移動量との対応付けを管理する感情表現テーブルと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有するセンタ装置と、
表情パターンを示すデータを入力するデータ入力部と、
前記表情パターンを示すデータを前記センタ装置に送信するデータ送信部と
を有する、前記利用者中の送り手に対応する送り手側端末と、
前記センタ装置から送られてきた顔データと顔部品の移動量とを格納するデータ受信部と、
前記顔データから前記顔部品の移動量に対応した顔データを構築する画像駆動部と、
前記構築された顔データを出力するためのデータ表示部と
を有する前記受け手側端末と、
を備え、
前記センタ装置は、前記画像データベースに登録されている前記送り手の顔データを前記受け手側端末に送信するとともに、前記送り手側端末から受信した前記表情パターンを示すデータによって指定された表情を持つための顔部品の移動量を前記感情表現テーブルから選択し、該顔部品の移動量を前記受け手側端末に送信するように構成されている
ことを特徴とする低ビットレート画像通信システム。 - 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現するセンタ装置であって、
前記受け手側端末に表示する顔データを作成／登録する画像データ作成登録部と、
前記顔データを格納しておく画像データベースと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有し、
前記サービスを利用する利用者中の送り手に対応する送り手側端末から受信した文字列データに対応した顔データを前記画像データベースに登録されている前記送り手の顔データから選択し、該顔データを前記受け手側端末に送信するように構成されている
ことを特徴とする低ビットレート画像通信センタ装置。 - 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現するセンタ装置であって、
前記受け手側端末に表示する顔データを作成／登録する画像データ作成登録部と、
前記顔データを格納しておく画像データベースと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有し、
前記サービスを利用する利用者中の送り手に対応する送り手側端末から受信した表情パターンを示すデータによって指定された表情を持つ顔データを前記画像データベースに登録されている前記送り手の顔データから選択し、該顔データを前記受け手側端末に送信するように構成されている
ことを特徴とする低ビットレート画像通信センタ装置。 - 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現するセンタ装置であって、
前記受け手側端末に表示する基準の顔データを作成／登録する画像データ作成登録部と、
前記顔データを格納しておく画像データベースと、
表情と顔部品の移動量との対応付けを管理する感情表現テーブルと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有し、
画像データベースに登録されている、前記サービスを利用する利用者中の送り手の顔データを前記受け手側端末に送信するとともに、前記送り手に対応する送り手側端末から受信した表情パターンを示すデータによって指定された表情を持つための顔部品の移動量を前記感情表現テーブルから選択し、該顔部品の移動量を前記受け手側端末に送信するように構成されている
ことを特徴とする低ビットレート画像通信センタ装置。 - 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現する、
当該受け手側端末に表示する顔データを格納しておく画像データベースと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有するセンタ装置における画像通信方法であって、
前記顔データを作成し、該顔データを前記画像データベースに登録する段階と、
前記サービスを利用する利用者中の送り手に対応する送り手側端末から前記顔データに対応する文字列データを受信する段階と、
前記送り手側端末から受信した前記文字列データに対応した顔データを前記画像データベースに登録されている前記送り手の顔データから選択する段階と、
該顔データを前記受け手側端末に送信する段階と
を有することを特徴とする低ビットレート画像通信方法。 - 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現する、
当該受け手側端末に表示する顔データを格納しておく画像データベースと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有するセンタ装置における画像通信方法であって、
前記顔データを作成し、該顔データを前記画像データベースに登録する段階と、
前記サービスを利用する利用者中の送り手に対応する送り手側端末から表情パターンを示すデータを受信する段階と、
前記送り手側端末から受信した前記表情パターンを示すデータによって指定された表情を持つ顔データを前記画像データベースに登録されている前記送り手の顔データから選択する段階と、
該顔データを前記受け手側端末に送信する段階と
を有することを特徴とする低ビットレート画像通信方法。 - 電子手帳やページャを含む携帯端末あるいはインターネットを用いて、サービスを利用する利用者中の受け手に対応する受け手側端末に顔データを表示可能な画像通信サービスを実現する、
当該受け手側端末に表示する基準の顔データを格納しておく画像データベースと、
表情と顔部品の移動量との対応付けを管理する感情表現テーブルと、
前記サービスを利用する利用者の、利用者ＩＤ、現在の接続先、および顔データの前記画像データベースにおける格納位置を管理する利用者管理テーブルと
を有するセンタ装置における画像通信方法であって、
前記顔データを作成し、該顔データを前記画像データベースに登録する段階と、
前記画像データベースに登録されている、前記サービスを利用する利用者中の送り手の顔データを前記受け手側端末に送信する段階と、
前記送り手に対応する送り手側端末から表情パターンを示すデータを受信する段階と、
前記送り手側端末から受信した前記表情パターンを示すデータによって指定された表情を持つための顔部品の移動量を前記感情表現テーブルから選択する段階と、
該顔部品の移動量を前記受け手側端末に送信する段階と
を有することを特徴とする低ビットレート画像通信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP252297A JP3557062B2 (ja) | 1997-01-10 | 1997-01-10 | 低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP252297A JP3557062B2 (ja) | 1997-01-10 | 1997-01-10 | 低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10200882A JPH10200882A (ja) | 1998-07-31 |
| JP3557062B2 true JP3557062B2 (ja) | 2004-08-25 |
Family
ID=11531720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP252297A Expired - Fee Related JP3557062B2 (ja) | 1997-01-10 | 1997-01-10 | 低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3557062B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3771989B2 (ja) * | 1997-03-24 | 2006-05-10 | オリンパス株式会社 | 画像音声通信システムおよびテレビ電話送受信方法 |
| JPH1115600A (ja) * | 1997-04-28 | 1999-01-22 | Matsushita Electric Ind Co Ltd | 一方の端末に作用する物理量も送信し受信画像を加工することのできる通信端末及びそれに供する送信端末並びに受信端末 |
| JP3703988B2 (ja) * | 1999-03-04 | 2005-10-05 | 日本電信電話株式会社 | 非同期分散型コミュニケーション支援装置および非同期分散型コミュニケーション支援プログラムを記録した記録媒体 |
| JP2000270305A (ja) * | 1999-03-12 | 2000-09-29 | Kansai Tlo Kk | 多地点会議システム |
| US6943794B2 (en) | 2000-06-13 | 2005-09-13 | Minolta Co., Ltd. | Communication system and communication method using animation and server as well as terminal device used therefor |
| US7159008B1 (en) * | 2000-06-30 | 2007-01-02 | Immersion Corporation | Chat interface with haptic feedback functionality |
| JP2002032306A (ja) * | 2000-07-19 | 2002-01-31 | Atr Media Integration & Communications Res Lab | メール伝送システム |
| KR20020028586A (ko) * | 2000-10-11 | 2002-04-17 | 조성만 | 화상으로 제공되는 영정 시스템 |
| JP2002247531A (ja) * | 2001-02-14 | 2002-08-30 | Sharp Corp | 画像処理システム |
| JP2003008740A (ja) * | 2001-06-21 | 2003-01-10 | Sharp Corp | 通信中継装置、通信システム、データ送信方法、およびデータ送信プログラム |
| KR20020097428A (ko) * | 2001-06-21 | 2002-12-31 | 나은주 | 감성정보서비스를 위한 감성키보드와감성정보서비스시스템 및 감성정보서비스방법 |
| US8315652B2 (en) | 2007-05-18 | 2012-11-20 | Immersion Corporation | Haptically enabled messaging |
| US9245428B2 (en) | 2012-08-02 | 2016-01-26 | Immersion Corporation | Systems and methods for haptic remote control gaming |
-
1997
- 1997-01-10 JP JP252297A patent/JP3557062B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10200882A (ja) | 1998-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3557062B2 (ja) | 低ビットレート画像通信システムおよび低ビットレート画像通信センタ装置および低ビットレート画像通信方法 | |
| KR100617183B1 (ko) | 피호출측 또는 호출측의 이전 지식/경험 및 적은 통신자원을 사용하는 네트워크에서의 미디어 정보 다중화시스템 및 그 방법 | |
| US7844229B2 (en) | Mobile virtual and augmented reality system | |
| TW200302667A (en) | Communication device | |
| US20090300122A1 (en) | Augmented reality collaborative messaging system | |
| JP5380731B2 (ja) | ネットワークシステム、通信端末、通信方法、通信プログラム、およびサーバ装置 | |
| US20090157223A1 (en) | Robot chatting system and method | |
| CN101669352A (zh) | 用于语音-文本和文本-面部动画转换的通信网络和设备 | |
| KR101200559B1 (ko) | 모바일 인스턴트 메신저에서 플래시콘을 제공하는 시스템,장치 및 방법 | |
| CN106339947A (zh) | 基于聊天群进行业务操作、获取群成员信息的方法及装置 | |
| KR100883352B1 (ko) | 원격대화에서 감정 및 의사의 표현 방법과 이를 위한 리얼이모티콘 시스템 | |
| WO2007085161A1 (fr) | Procédé de visualisation d'informations d'image virtuelle et système associé | |
| JP3462145B2 (ja) | 画像サーバー | |
| WO2002021287A1 (fr) | Terminal d'emission, dispositif serveur de donnees et terminal de reception utilises dans un systeme d'emission et de reception de message electronique | |
| JP2004193809A (ja) | 通信装置 | |
| KR19990083929A (ko) | 사용자가 선택한 이미지를 이용한 채팅 서비스 제공방법 | |
| KR20080068211A (ko) | 스토리 테마 형식의 휴대폰 대기화면 설정장치 | |
| KR100755416B1 (ko) | 발신자 이미지 생성 시스템 및 그 방법 | |
| KR20040025029A (ko) | 유무선통신단말기의 문자데이터 입력을 통한 영상데이터전송방법 | |
| KR100734636B1 (ko) | 그림을 포함하는 메시지의 작성 및 이의 전송이 가능한 휴대용 전화기 | |
| KR20040105999A (ko) | 네트워크 기반 소리 아바타 생성 방법 및 시스템 | |
| KR20000054437A (ko) | 화상 채팅 처리 방법 | |
| JP2002044620A (ja) | 利用者通信システム、利用者通信方法及び利用者検索装置 | |
| KR100535640B1 (ko) | 통신망을 이용한 화상처리시스템 | |
| KR20040051921A (ko) | 아바타 서비스를 제공하기 위한 이동통신 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040514 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |