JPH10271470A - 画像音声通信システムおよびテレビ電話送受信方法 - Google Patents

Abstract

(57)【要約】 【課題】 簡単で安価な装置を用い、使用者に手間をか
けることなく、話者の顔の動きや表情をリアルタイムに
伝送する画像音声通信システムおよびテレビ電話送受信
方法を提供する。 【解決手段】 話者はＨＭＤ１を装着し、通信開始前に
必ずしも自身の顔画像ではない任意のキャラクター画像
を自らのコントローラパッド３を操作して映像生成ボッ
クス２で設定する。通信の際には、予め互いのキャラク
ター画像の送受を行った後、実際の対話段階ではＨＭＤ
１で話者の表情を検出して変化量を所定のコードに変換
し、該コードのみをリアルタイムに送受して相手のＨＭ
Ｄ１のモニタに表示されたキャラクター画像を動かす。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像音声通信シス
テムおよびテレビ電話送受信方法、詳しくは、話者の音
声を通信相手側に伝送する際に、該話者の顔等の画像ま
たはこれに代わる画像を通信相手側に伝え、相手の顔等
を確認しながら会話を行う、画像音声通信システムおよ
びテレビ電話送受信方法に関する。

【０００２】

【従来の技術】従来、話者の音声を通信相手側に伝送す
る際に、該話者の顔等の画像を同時に通信相手側に伝
え、相手の顔等を確認しながら会話を行う、いわゆるテ
レビ電話システムは種々の方式が知られるところにあ
る。これらのテレビ電話システムの多くは既存の電話回
線を利用するものであり、話者の音声データ信号ととも
に顔画像等の画像データ信号を疑似的双方向に略同時に
通信相手側に伝送するものである。しかしながら、顔画
像データを動画像としてそのままの状態で伝送しようと
すると、その情報量の多さ故、既存の電話回線を使用す
る伝送形態をとる限り困難が伴った。

【０００３】このような事情により、電話回線等、伝送
容量の小さい伝送路にもなじむことを目的とし、従来、
単位時間あたりの伝送情報量がより少なくてすむよう
に、静止画像を細切れに伝送するテレビ電話方式が採用
されている。

【０００４】しかしながら、このようなテレビ電話シス
テムでは、動画像をリアルタイムに正確に伝送すること
が困難であり、このため、自然な顔画像を相手側に伝送
することができず、結果として顔の表情がぎこちないも
のとなっていた。

【０００５】このような問題点を解消する技術手段とし
て、近年、コンピュータ・グラフィック（ＣＧ）技術を
用いた通信会議システムが、たとえば特開平７−３８８
７３号公報において提案されている。以下、該通信会議
システムで用いられる技術手段について簡単に説明す
る。

【０００６】この技術手段においては、まず予め会議に
参加する者の顔像の凹凸等の形状情報や色彩情報をレー
ザースキャナ等を用いて計測して取り込むとともに、デ
ジタルカメラ等を用いて顔画像の情報を取り込む。そし
て、上記形状情報にもとづいて３Ｄのポリゴンデータに
変換し、各参加者のワイヤーフレームモデルを作成す
る。

【０００７】また、会議を行う際には、これら各参加者
の顔にマーカーを貼り、さらに頭、腕および身体にその
動きを検出するセンサを取り付ける。そして、各参加者
の近傍、たとえば各参加者が装着するヘッドギア等にそ
れぞれ設置されたカメラで上記顔に貼ったマーカーの動
きを検出することで顔の動きを検出し、また、頭、腕お
よび身体に取り付けたセンサによりこれら各部の動きを
検出する。

【０００８】次に、上述した各部位の動きデータに基づ
いて上述したように予め作成されているワイヤーフレー
ムモデルをリアルタイムに変形させる。そして、このワ
イヤーフレームモデルに予め取り込んでおいた色彩を張
り付けて対応する参加者のグラフィック像を完成させ
る。その後、この完成された参加者のグラフィック像を
該参加者の動きに合わせてリアルタイムでスクリーンに
表示させる。これにより、会議の参加者はこのスクリー
ン表示をモニタすることで他の参加者の顔の表情等を認
識しつつ話し合い等を行うことができるようになってい
る。

【０００９】このような方式だと、多大なデータ量を必
要とする画像データは予め取り込まれており、リアルタ
イムに変化するデータ量は少なくてすむため、既存の電
話回線等、伝送容量の小さい伝送路を使用するテレビ電
話システムにおいても話者の動画像をリアルタイムに伝
送することが可能となる。

【００１０】

【発明が解決しようとする課題】上記特開平７−３８８
７３号公報において提案された通信会議システムは、予
め話者の画像データの取り込みや、会話を始める前に話
者の顔にマーカーを貼り付けたり、頭、腕、身体にセン
サを取り付けるといった繁雑な手間がかかるといった問
題点がある。また、会議システム等の業務用ではなく一
般家庭での使用を考慮すると、このような繁雑性は極め
て不適当な感がある。

【００１１】すなわち、この通信会議システムにおける
テレビ電話システムは、話者たる使用者の顔画像の諸デ
ータを予めレーザースキャナ等で計測して取り込む必要
があるが、このような大がかりな計測を一般家庭におい
ては行うのはコスト等を考慮すると非常に困難である。
また、会話を始める前に顔にマーカーを貼る必要がある
が、一般家庭での使用状況を考えるに、電話での会話の
度に、特に電話がかかってきた場合等において、その度
に顔にマーカーを貼りつけるのは現実的ではない。

【００１２】さらに、会話時にはスクリーン前に居なく
てはならないという、通常の音声だけの電話に対して著
しい制約が科せられるという点については、それ以前の
テレビ電話システムにも共通した問題点である。

【００１３】本発明はかかる問題点に鑑みてなされたも
のであり、簡単で安価な装置を用い、使用者に手間をか
けることなく、話者の顔の動きや表情をリアルタイムに
伝送する画像音声通信システムおよびテレビ電話送受信
方法を提供することを目的とする。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに本発明の第１の画像音声通信システムは、画像およ
び音声の通信に適合する画像表示手段および音声出力手
段が当該通信に係る少なくとも受信側に備えられた画像
音声通信システムであって、前記画像表示手段による表
示に適用するキャラクター画像を任意に設定可能なキャ
ラクター画像設定手段と、通信相手から当該キャラクタ
ー画像に対して変形を与えるための指令信号を受信する
変形指令受信手段と、前記指令信号に応じて上記キャラ
クター画像に変形を施すためのキャラクター変形手段
と、前記キャラクター変形手段によって変形が施された
キャラクター画像を前記表示手段に供給して表示せしめ
るための手段と、を具備したことを特徴とする。

【００１５】上記の目的を達成するために本発明の第２
の画像音声通信システムは、上記第１の画像音声通信シ
ステムにおいて、前記キャラクター画像設定手段は、当
該通信における送信側において任意に自らの側を表わす
キャラクター画像を設定し、該設定したキャラクター画
像を受信側に伝送して前記画像表示手段による表示に適
用するキャラクター画像として提供するように上記送信
側に設けられたものであることを特徴とする。

【００１６】上記の目的を達成するために本発明の第３
の画像音声通信システムは、上記第２の画像音声通信シ
ステムにおいて、キャラクター画像と指令信号のコード
とこれに対応する当該キャラクター画像の変形の程度と
の対応関係を表わす第１の情報を会話の開始に先行して
伝送し、会話中は、実質的に上記指令信号のコードのみ
からなる第２の情報をリアルタイムで伝送することを特
徴とする。

【００１７】上記の目的を達成するために本発明の第４
の画像音声通信システムは、上記第３の画像音声通信シ
ステムにおいて、前記第１の情報におけるキャラクター
画像と指令信号のコードとこれに対応する当該キャラク
ター画像の変形の程度との対応関係を通信社が任意に決
定するキャラクター画像変形量決定手段と、前記指令信
号の送信実行の条件を通信者各々が任意に決定する送信
条件決定手段と、を具備したことを特徴とする。

【００１８】上記の目的を達成するために本発明の第５
の画像音声通信システムは、上記第１の画像音声通信シ
ステムにおいて、前記キャラクター画像設定手段は、通
信者各々が任意に通信相手とキャラクター画像との対応
付けを行うようになされ、通信実行に際して、通信相手
から伝送される信号によって通信相手を認識し、前記キ
ャラクター画像設定手段によって設定された該通信相手
とキャラクター画像との対応付けの情報に基づいて当該
通信相手に対応つけたキャラクター画像を前記画像表示
手段による表示に適用する表示キャラクター選択手段を
更に備えたことを特徴とする。

【００１９】上記の目的を達成するために本発明の第６
の画像音声通信システムは、上記第１の画像音声通信シ
ステムにおいて、前記画像表示手段、音声出力手段、お
よび音声入力手段は頭部装着型ディスプレイ装置として
構成されてなるものであることを特徴とする。

【００２０】上記の目的を達成するために本発明の第７
の画像音声通信システムは、上記第１の画像音声通信シ
ステムにおいて、前記頭部装着型ディスプレイ装置に配
置され、これら頭部装着型ディスプレイ装置を用いる当
該画像音声通信システムにおける通信者の視線を検出す
るための視線検出器、頭部の動きを検出するためのヘッ
ドモーションセンサ、発生された音声を検出するための
音声検出手段と、前記視線検出器、ヘッドモーションセ
ンサ、音声検出手段の検出出力に応じて前記指令信号を
送信する送信手段と、を具備したこと特徴とする。

【００２１】上記の目的を達成するために本発明の第８
の画像音声通信システムは、上記第８の画像音声通信シ
ステムにおいて、当該通信者が自己に対応するものとし
てのキャラクターを動かすための制御、および相手側の
者に対応するものとしてのキャラクターを実空間上に固
定しているように映出する映出位置の制御の双方の制御
は前記ヘッドモーションセンサの出力信号に依拠して行
われるように構成されたことを特徴とする。

【００２２】上記の目的を達成するために本発明の第９
の画像音声通信システムは、上記第１の画像音声通信シ
ステムにおいて、前記所定のキャラクター画像は複数種
の図形を組み合わせたものであり、キャラクターデータ
は各図形を指定するコードと各図形の位置関係を表わす
座標データとを含んで構成され、前記キャラクター変形
手段が変形したキャラクターデータを所定の変換フォー
マットに基づいて前記表示手段で表示すべき画像信号に
変換する第１の変換手段を有することを特徴とする。

【００２３】上記の目的を達成するために本発明の第１
のテレビ電話送受信方法は、画像と音声とを通信するテ
レビ電話装置において、通信開始に先立って、当該通信
者が各自己に対応するキャラクターを任意に作成するキ
ャラクター画像作成のステップと、前記キャラクター画
像のうち変形させる部分を上記通信者各々が任意に決定
する変形部分決定のステップと、前記変形部分の変形量
を上記通信者各々が任意に決定する変形量決定ステップ
と、前記変形を実行させる条件を通信者各々が任意に決
定する変形実効条件決定ステップと、を有し、通信開始
直後に、前記変形部分と前記変形量とを対応づけて送信
するキャラクター画像送信ステップと、通信開始後上記
キャラクター画像送信ステップに続く期間内に前記条件
の発生を検出したときに前記変形を促す指令を送信する
変形指令送信ステップと、音声を送信するステップと、
受信側において、前記変形指令を受信して前記キャラク
ター画像のうち変形指定部分を変形指定量だけ変形さ
せ、その変形画像を表示するステップと、の上記各ステ
ップを逐次実行することを特徴とする。

【００２４】上記の目的を達成するために本発明の第２
のテレビ電話送受信方法は、画像と音声とを通信するテ
レビ電話装置において、通信開始に先立って、当該通信
相手とキャラクター画像との対応付けを各通信者が任意
に決定するキャラクター画像決定のステップと、通信開
始直後に、通信相手を確認し、当該通信相手に対応づけ
た上記キャラクター画像を用意するキャラクター画像用
意ステップと、上記キャラクター画像用意ステップに続
く期間内で当該通信相手から上記キャラクターを変形さ
せる指令を受信する変形指令受信ステップと、上記変形
指令受信ステップで受信された上記キャラクターを変形
させる指令に基づいて当該キャラクター画像を変形さ
せ、その変形を施した画像を表示するステップと、の上
記各ステップを逐次実行することを特徴とする。

【００２５】上記の目的を達成するために本発明の第１
０の画像音声通信システムは、通話者の現実の姿に依存
しないキャラクターを該通話者の相手方に表示するため
の表示手段と、上記表示手段によって表示されるキャラ
クターを当該通話者の通話状況に応じて動かすためのキ
ャラクター制御手段と、を具備したことを特徴とする。

【００２６】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００２７】まず、本発明の一実施形態である画像音声
通信システムの概要について説明する。

【００２８】この画像音声通信システムは、電話回線等
の回線網を介して通信相手の顔画像をモニタしながら音
声会話を行う、いわゆるテレビ電話システムに属するも
のであるが、通信相手の顔画像は通信相手本人の顔画像
に限らず所定のキャラクターデータにより形成された画
像を用いて対話を行うことを特徴としている。すなわ
ち、対話時において一方の話者がモニタする他方相手側
の顔画像は、所定の（任意に設定も可能とする）キャラ
クターデータにより形成されたキャラクター画像であ
り、対話に際して相手側の顔に表情変化が生じると、こ
の表情変化に関連する顔主要部の動きに実質的にリアル
タイムに対応するように該キャラクター画像を変化させ
て伝達することを特徴とするものである。

【００２９】そして本画像音声通信システムにおいて
は、上記所定のキャラクター画像は、送り手側の話者に
よって予め設定されるようになされており、画像伝送の
際には、送り手側話者のキャラクター画像データを一
旦、相手側（受け手側）に伝送し、その後、対話時にお
いて送り手側話者の変化に応じて当該キャラクター画像
の主要部の動きに関するデータのみを送信するようにな
っている。これにより、画像伝送に要するデータ伝送量
は極小ですみ、伝送容量の小さい回路網を使用したテレ
ビ電話システムであっても、相手の顔の表情を実質的に
リアルタイムに相手側に伝えることができるようになっ
ている。

【００３０】また、本画像音声通信システムにおいては
上記キャラクター画像は、使用者が任意に設定するよう
になっているが、予め記憶された画像を使用者が選択し
て用いるようにすることも可能であり、何れにせよこれ
により遊び心に満ちた対話を実現することができる。

【００３１】また、本画像音声通信システムにおいて
は、通信の送受信に使用される端末装置として、使用者
が個別に頭部に装着して画像をモニタするＨｅａｄ ｍ
ｏｕｎｔｅｄ ｄｉｓｐｌａｙ（以下、ＨＭＤと略記す
る）を用いていることも特徴とする（図５参照）。

【００３２】以下、図１を参照して本第１の実施形態で
ある画像音声通信システムにおける主要構成部を概略的
に説明する。

【００３３】図１は、本第１の実施形態である画像音声
通信システムにおいて用いられる画像音声通信装置の主
要構成を示したブロック図であり、図中、上段側が送信
部の主要構成を、下段側が受信部の主要構成を示してい
る。

【００３４】なお、本第１の実施形態の画像音声通信シ
ステムは、一方の話者と相手側他方の話者とが同様の機
能を有する装置を使用して通信を行うものであり、互い
に話者側の立場と聞き手側の立場とが入れ替わりつつ対
話をおこなうようになっている。しかしながら、ここで
は便宜上、一方の話者を送り手側話者、他方を受け手側
話者とし、それぞれに係る画像音声通信装置を送り手側
装置、受け手側装置として説明する。

【００３５】まず、一方の送り手側装置における送信部
の構成について説明する。

【００３６】この第１の実施形態の画像音声通信装置に
おける送信部は、送り手側話者のキャラクター画像を生
成するキャラクター画像生成手段１００と、このキャラ
クター画像生成手段１００によって生成された各種キャ
ラクター画像に係るデータを記憶する第１のキャラクタ
ーデータ記憶手段１０４と、送り手側話者の目、口等の
動きを検出し、後述する基準値用の信号を送出すると共
に対話時においては送り手側話者の目、口、頭の動きお
よび音声を検出し、次段に送出する表情検出手段１０５
と、この表情検出手段１０５からの検出結果（目、口、
頭の動き）を所定の指令信号コード（目の動きコード、
口の動きコード、頭の動きコード）に変換して出力する
表情コード変換手段１０８と、上記第１のキャラクター
データ記憶手段１０４からのデータまたは表情検出手段
１０５からのデータあるいは上記表情コード変換手段１
０８からのデータを所定のタイミングで選択して次段に
送出する第１の選択手段１０７と、この第１の選択手段
１０７によって選択された上記第１のキャラクターデー
タ記憶手段１０４からのデータまたは表情検出手段１０
５からのデータあるいは表情コード変換手段１０８から
のデータを相手側装置（受け手側装置）に対して送信す
るデータ送信手段１０６と、で主要部が構成されてい
る。

【００３７】なお、上記第１の選択手段１０７は、端子
１０７ａが選択される上記第１のキャラクターデータ記
憶手段１０４出力端がデータ送信手段１０６に接続さ
れ、端子１０７ｂが選択されると上記表情検出手段１０
５の出力端あるいは上記表情コード変換手段１０８の出
力端が同データ送信手段１０６に接続されるようになっ
ている。なお、この第１の選択手段１０７は、本第１の
実施形態の画像音声通信装置においては、ソフト的に接
続先を選択するようにしている。

【００３８】上記キャラクター画像生成手段１００は、
所定のキャラクター画像のデータを入力するキャラクタ
ーデータ入力手段１０１と、このキャラクターデータ入
力手段１０１によって入力された所定のキャラクターデ
ータを、所定のドットデータに変換する第１の変換手段
１０２と、この第１の変換手段１０２によってドットデ
ータに変換されたキャラクターデータを表示する表示手
段１０３と、を備えている。

【００３９】なお、この表示手段１０３は、使用者が装
着するＨＭＤ等に設けられた表示部である。また、この
ＨＭＤに関しては後に詳述する。

【００４０】上記キャラクターデータ入力手段１０１
は、後述する操作部等で構成されており、使用者（送り
手側話者）は、該キャラクターデータ入力手段１０１を
用いて、所定のキャラクター画像のデータを入力するよ
うになっている。この際、使用者は、初期状態のキャラ
クター画像のデータ（基本キャラクター画像データ）と
ともに同使用者の目、口等の動きに合わせて変化する表
情が変化（変形）したキャラクター画像に係るデータも
設定するようになっている。なお、この表情変化に対応
したキャラクター画像は、予め設定された指令信号コー
ドに対応するパターンの種類ほど設定する。

【００４１】なお、本実施形態においては、上記キャラ
クターデータ入力手段１０１は、所定のキャラクターデ
ータを操作部等で操作して入力する装置を想定し、使用
者がキャラクター画像を任意に設定するようにしたが、
これに限らず、たとえば、電子カメラ、スキャナ等で採
取した任意の画像データ（使用者本人の顔等の実写を含
む）であっても良い。

【００４２】さらに、使用者（送り手側話者）は、キャ
ラクターデータ入力手段１０１および表情検出手段１０
５を用いて、該表情検出手段１０５で検出した送り手側
話者の目、口の動きに基づいて表情変化の基準値を設定
するようになっている。なお、基準値とは、当該話者の
表情の変化の程度に応じて当該指令信号コードを出力す
るか否かを判定する際のしきい値を意味する。

【００４３】上記表情検出手段１０５は、使用者が装着
するＨＭＤ等に設けられており、上記表情変化の基準値
を生成する際に用いる検出手段であるとともに、対話を
行う際に送り手側話者の各表情変化（目、口、頭の動
き）および音声信号を互いに同期した所定のタイミング
で検出して送出する検出手段としての役目も果たすよう
になっている。

【００４４】上記表情変化の基準値を生成する際には、
送り手側話者によるキャラクターデータ入力手段１０１
の操作により、該表情検出手段１０５からの表情変化の
要素のうち目、口の動きに関する検出値が表情コード変
換手段１０８に入力され、この検出値に基づいて表情変
化の基準値が生成されるようになっている。なお、この
基準値も、予め設定された指令信号コードに対応する種
類ほど生成するようになっている。

【００４５】一方、対話時においては、上記所定のタイ
ミングで変化する送り手側話者の表情変化は、表情変化
の要素のうち、目、口の動きに関しては、次段の表情コ
ード変換手段１０８において逐次（実質的にリアルタイ
ムに）所定の指令信号コードに変換され、データ送信手
段１０６を介して受け手側装置に伝送されるようになっ
ている。

【００４６】また、頭の動きのデータは、同表情コード
変換手段１０８において、上記指令信号コードには対応
しない別の所定のコードに変換され、データ送信手段１
０６を介して受け手側装置に伝送されるようになってい
る。

【００４７】さらに、音声信号は、該表情コード変換手
段１０８をバイパスして、データ送信手段１０６を介し
て受け手側装置に伝送されるようになっている。

【００４８】なお、上記目、口の動きデータに係る所定
の指令信号コードの伝送と、頭の動きデータに係るコー
ドの伝送、音声信号の伝送は、互いに同期して伝送され
るようになっている。

【００４９】なお、以上の作業は、第１の変換手段１０
２においてドットデータに変換され逐次、上記表示手段
１０３に表示されるようになっており、使用者は上記作
業をモニタしながら行い得るようになっている。

【００５０】一方、上記画像音声通信装置の受信部は、
相手側装置のデータ送信手段１０６より送られてきた所
定のデータを受信するデータ受信手段１１１と、このデ
ータ受信手段１１１で受信したデータの種別により次段
の回路を選択する第２の選択手段１１２と、この第２の
選択手段１１２で選択された際に相手側のキャラクター
画像に係る所定のデータを一時的に記憶する第２のキャ
ラクターデータ記憶手段１１３と、この第２のキャラク
ターデータ記憶手段１１３に記憶された相手側のキャラ
クター画像に係る所定データと相手側の表情検出手段１
０５で検出されさらに上記表情コード変換手段１０８で
コード化された表情変化のデータとに基づいて相手側の
キャラクター画像を加工するキャラクターデータ加工手
段１１４と、このキャラクターデータ加工手段１１４で
加工された相手側キャラクター画像を所定データに変換
する第２の変換手段１１５と、対話時に相手側の表情検
出手段１０５で検出された頭の動きのデータに基づいて
画像変形の度合いを演算して出力する画像変形手段１１
７と、対話時に相手側の表情検出手段１０５で検出され
た音声信号を再生する音声再生手段１１８と、相手側の
キャラクター画像を表示する表示手段１１６と、で主要
部が構成されている。

【００５１】なお、上記第２の選択手段１１２において
は、詳しくは後述するが通信の初期段階においては、端
子１１２ａが選択されるようになっており、このときデ
ータ受信手段１１１の出力端は上記第２のキャラクター
データ記憶手段１１３に接続されるようになっている。
一方、通信の対話段階においては、端子１１２ｂが選択
されるようになっており、このとき、同データ受信手段
１１１の出力端は上記第２のキャラクターデータ記憶手
段１１３を迂回してキャラクターデータ加工手段１１
４、上記音声再生手段１１８に接続されるようになって
いる。

【００５２】上記第２の変換手段１１５は、通信の対話
段階において、相手側送り手側話者の目、口の動きに伴
うキャラクター画像の変形度合いを、送り手側装置から
送られてきた指令信号コードを予め設定されている指令
信号コードに照らし合わせて決定し、所定の画像処理を
施した後、画像変形手段１１７に送出するようになって
いる。

【００５３】また、上記画像変形手段１１７は、通信の
対話段階において、相手側送り手側話者の頭の動きに伴
うキャラクター画像の変形度合いを所定の演算手法で演
算し、上記第２の変換手段１１５からのデータに所定の
画像処理を施した後、相手側のキャラクター画像を実質
的にリアルタイムに生成し、表示手段１１６に表示させ
るようになっている。

【００５４】なお、送り手側装置から送られてくる、上
記頭の動きのデータに係るコードの伝送は、上述したよ
うに上記目、口の動きのデータに係る指令信号コードの
伝送と同期しているので、受け手側装置の表示手段１１
６においても同期して表示するようになっている。

【００５５】さらに、上記音声再生手段１１８は、通信
の対話段階において、相手側送り手側話者の音声信号を
上記目、口の動きのデータに係る指令信号コード、頭の
動きのデータに係るコードと同期させて再生するように
なっている。

【００５６】次に、このような構成をなす本実施形態の
画像音声通信システムの作用を簡単に説明する。

【００５７】送り手側話者は、まず、準備段階として、
自身の画像音声通信装置（以下、送り手側装置と略記す
る）において、自身の初期状態のキャラクター画像（基
本キャラクター画像）をキャラクター画像生成手段１０
０内のキャラクターデータ入力手段１０１によって生成
する。なお、送り手側話者は、生成するキャラクター画
像を表示手段１０３をモニタしながら行うようになって
いる。すなわち、キャラクターデータ入力手段１０１に
よって入力されたキャラクターデータは、第１の変換手
段１０２によって所定のドットデータに変換され表示手
段１０３に表示されるようになっている。

【００５８】この後、送り手側話者は、キャラクターデ
ータ入力手段１０１を用いて、予め記憶されている指令
信号コードに対応させて、上記初期状態のキャラクター
画像に対して目、口等が変形した、すなわち、表情を変
化させたキャラクター画像を所定種類ほど作成するとと
もに、この変形の度合い（以下、変形キャラクター画像
データという）をそれぞれ対応させて生成する。この所
定種類は、予め記憶された指令信号コードの数に対応し
た種類である。

【００５９】次に、表情検出手段１０５で送り手側話者
の目、口の動きの所定データを検出し、これらのデータ
に基づき、表情コード変換手段１０８において表情変化
の基準値を生成する。この際、この表情変化の基準値
は、先ほどキャラクターデータ入力手段１０１を用いて
所定種類ほど生成した、初期状態のキャラクター画像に
対して目、口等が変化したキャラクター画像に対応した
種類ほど生成されるようになっている。

【００６０】なお、この生成工程の際、各キャラクター
画像は、上記第１の変換手段１０２において各キャラク
ターデータからドットデータに変換されて表示手段１０
３に表示される。これにより、送り手側話者は表示手段
１０３をモニタしながら上記作業を行いえるようになっ
ている。

【００６１】次に、このようにして上記キャラクター画
像生成手段１００で生成された各種キャラクターデー
タ、すなわち、送り手側話者の初期のキャラクター画像
のデータ、表情変化に対応したキャラクター画像のデー
タ、該表情変化に対応する基準値のデータが、送り手側
装置の第１のキャラクターデータ記憶手段１０４に記憶
される。

【００６２】以上により、準備段階が完了する。なお、
送り手側話者と対話を行う受け手側話者の受け手側装置
においても、同様の準備を行うものとする。

【００６３】準備が完了し、相手側装置と通信が開始さ
れると、所定のプロトコルにより初期段階の交渉が行わ
れ、引き続き、まず、第１のキャラクターデータ記憶手
段１０４より、上述した送り手側話者の各種キャラクタ
ーデータが出力される。すなわち、送り手側装置におい
ては、上記第１の選択手段１０７において端子１０７ａ
が選択され、上記第１のキャラクターデータ記憶手段１
０４から上述した各種キャラクターデータがデータ送信
手段１０６を介して受け手側装置に向けて送出される。

【００６４】受け手側装置は、送り手側装置から送られ
てきた送り手側話者のキャラクターデータをデータ受信
手段１１１で受信し、第２の選択手段１１２において端
子１１２ａを選択し、上記各種キャラクターデータを第
２のキャラクターデータ記憶手段１１３に記憶する。

【００６５】なお、この交渉段階では、送り手側装置か
ら受け手側装置へ各種キャラクターデータが伝送される
と同時に、受け手側装置の各種キャラクターデータも送
り手側装置に対して伝送される。したがって、送り手側
装置においても、受け手側話者の各種キャラクターデー
タを自身の第２のキャラクターデータ記憶手段１１３に
記憶する。

【００６６】上記各種キャラクターデータが互いに相手
側装置に伝送されると、次に、対話段階に移行する。ま
ず、上記第１の選択手段１０７，第２の選択手段１１２
において、スイッチがそれぞれ端子１０７ｂ，端子１１
２ｂに切換わる。

【００６７】送り手側装置の表情検出手段１０５で送り
手側話者の表情変化のうち、目、口の動きの変化を所定
のタイミングで検出し、続いて表情コード変換手段１０
８で該目、口の動きの変化を逐次所定の指令信号コード
に変換して、データ送信手段１０６を介して受け手側装
置に送出する。

【００６８】この目、口の動きのデータに係る指令信号
コードの伝送に同期して、同じく上記表情検出手段１０
５で頭の動きに係るデータを検出して上記表情コード変
換手段１０８で所定のコードに変換した後、データ送信
手段１０６を介して受け手側装置に送出する。さらに、
同目、口の動きのデータに係る指令信号コードの伝送に
同期して、同じく上記表情検出手段１０５で検出した音
声信号をデータ送信手段１０６を介して受け手側装置に
送出する。

【００６９】受け手側装置は、データ受信手段１１１
で、送り手側話者の目、口の動きのデータに係る指令信
号コードを受信すると、キャラクターデータ加工手段１
１４において、該指令信号コードに応じて第２のキャラ
クターデータ記憶手段１１３に記憶されている送り手側
話者の各種キャラクターデータを加工する。

【００７０】この後、上記キャラクターデータ加工手段
１１４で加工処理が施された送り手側話者のキャラクタ
ーデータが予め記憶されているフォーマットに基づいて
第２の変換手段１１５で変換される。

【００７１】また、受け手側装置は、データ受信手段１
１１で、上記目、口の動きのデータに係る指令信号コー
ドの受信に同期して頭の動きのデータに係るコードを受
信する。また、該頭の動きコードに基づいて画像変形手
段１１７で画像の変形の度合いを演算し、上記第２の変
換手段１１５で変換されたキャラクター画像のデータに
所定の画像処理を施して表示手段１１６に表示する。こ
のとき、相手側送り手側話者のキャラクター画像を実質
的にリアルタイムに表示する。

【００７２】さらに、受け手側装置は、データ受信手段
１１１で、上記指令信号コードの受信に同期して相手側
送り手側話者の音声信号を受信し、該音声信号を音声再
生手段１１８で再生する。

【００７３】以上の通信を要約すると、以下の通りとな
る。すなわち、 Ａ：通信前段階 (1)：話者は、それぞれ自身の基本となるキャラクター
画像を生成する。 (2)：話者は、上記基本キャラクター画像に対して、所
定の指令信号コードに対応する表情変化（目、口の動
き）を付けた新たなキャラクター画像に関するデータ
（該基本キャラクター画像に対してどれだけ変形するか
のデータ、以下、変形キャラクター画像データとする）
を生成する。 (3)：話者は、自身の目、口の動きを検出し、所定の指
令信号コードに対応する表情変化の基準値（しきい値）
を設定する。

【００７４】Ｂ：通信初期段階 (1)：送り手側装置より、送り手側話者の基本キャラク
ター画像データが受け手側装置に伝送され、該受け手側
装置の記憶部に記憶する。 (2)：送り手側装置より、所定の指令信号コードに対応
する表情変化を付けた変形キャラクター画像データが受
け手側装置に伝送され、該受け手側装置の記憶部に記憶
する。

【００７５】Ｃ：通信対話段階（送り手側装置） (1)：送り手側話者の目、口の動きを所定のタイミング
で検出する。 (2)：送り手側話者の目、口の動きの検出結果と上記し
きい値に基づいて所定の指令信号コードを逐次、受け手
側装置に伝送する。 (3)：送り手側話者の頭の動きを所定のタイミングで検
出し、この検出結果を逐次、受け手側装置に伝送する。
なお、この頭の動きのコードの伝送は、上記(2)におけ
る所定の指令信号コードの伝送に同期している。 (4)：送り手側話者の音声信号を所定のタイミングで採
取し、この音声信号を逐次、受け手側装置に伝送する。
なお、この音声信号の伝送は、上記(2)における所定の
指令信号コードの伝送に同期している。

【００７６】Ｄ：通信対話段階（受け手側装置） (1)：送り手側装置から逐次（実質的にリアルタイム
に）送られてくる送り手側話者の目、口の動きに関する
所定の指令信号コードを受けとる。 (2)：送り手側装置から逐次（実質的にリアルタイム
に）送られてくる送り手側話者の頭の動きに関するコー
ドを受けとる（上記(1)に同期）。 (3)：送り手側装置から逐次（実質的にリアルタイム
に）送られてくる送り手側話者の音声信号を受けとる
（上記(1)に同期）。 (4)：上記(1)で受け取った指令信号コードに対応する
目、口の動きのキャラクター画像データあるいは変形キ
ャラクター画像データを記憶部より検索し読み出す。 (5)：上記(4)で読み出したキャラクター画像データある
いは変形キャラクター画像データと、上記(2)で受け取
った頭の動きに関するコードに基づいて、送り手側話者
のキャラクター画像を実質的にリアルタイムに表示部に
表示する。 (6)：上記(3)で受け取った音声信号に基づいて、送り手
側話者の音声をリアルタイムに再生する。

【００７７】以上、本第１の実施形態の画像音声通信シ
ステムの概要を説明したが、以下、該実施形態の画像音
声通信システムの具体的な構成、作用を図２ないし図３
２を参照して説明する。

【００７８】図２は、本発明の第１の実施形態である画
像音声通信システムの主要構成を示した説明図である。

【００７９】図に示すように、本実施形態の画像音声通
信システムは、当該通信システムを介して対話を行う使
用者の頭部に装着され後述する映像生成ボックス２から
の所定データに基づいて該使用者に映像、音声を供給す
るとともに、同使用者の目の動き、頭の動き、口の動
き、音声等を映像生成ボックス２に送出するＨｅａｄｍ
ｏｕｎｔｅｄ ｄｉｓｐｌａｙ（以下、ＨＭＤ）１と、
このＨＭＤ１に接続され同ＨＭＤ１に対して電力を供給
するとともに所定の映像信号、音声信号等を供給する一
方、該ＨＭＤ１より視線信号（目の動きに対応）、ヘッ
ドモーション信号（頭の動きに対応）、音声信号（口の
動きに対応）等を受信し、後述する所定の処理を施す映
像生成ボックス２と、この映像生成ボックス２に接続さ
れ、該映像生成ボックス２に内設されたキャラクターデ
ータ記録部３６に対してキャラクターデータ生成用のコ
ントロール信号９を送出するコントローラパッド３と、
上記映像生成ボックス２と通常の電話回線を介して接続
され、キャラクタデータ、頭の動きコード、目の動きコ
ード、口の動きコード、音声信号（図中、符号８で示
す）等の信号の送受信を行う外部装置４とで、主要部が
構成されている。

【００８０】まず、上記ＨＭＤ１について図２、図３、
図４を参照して説明する。

【００８１】図３は、上記ＨＭＤ１を使用者が装着した
際の様子を一側方よりみた側面図である。

【００８２】また、図４は、上記ＨＭＤ１，映像生成ボ
ックス２，コントローラパッド３の接続対応と、これら
各部の電気回路的な構成を詳しく示したブロック構成図
である。

【００８３】上記ＨＭＤ１は、図２、図３に示すように
使用者の両眼部前方より頭頂部にかけて延設された支持
筐体に接眼光学系１３，１６、ヘッドモーションセンサ
１１、マイク１９、スピーカ２０、通話スイッチ２４等
が配設されて構成されており、当該通信システムを介し
て対話を行う各使用者の頭部に図示の如く装着されるよ
うになっている。すなわち、使用者に装着された際に、
使用者の眼部前方には接眼光学系等からなる映像部が、
頭頂部にヘッドモーションセンサ１１が、左右の耳部に
は左右のスピーカ２０Ａ，２０Ｂ（図２参照）が、口部
前方には上記支持筐体より延設されたマイク１９がそれ
ぞれ配置されるようになっており、耳部の後部において
支持部２５で頭部に支持するようになっている。また、
支持筐体の一側方には、通信開始時におけるオフフック
スイッチの役目を果たす通話スイッチ２４が配設されて
いる。

【００８４】また、上記支持部２５からは映像生成ボッ
クス２と接続する接続コードが延設されており、該映像
生成ボックス２より左右の映像信号、音声信号、液晶シ
ャッタ駆動信号、電力（図２中、符号７で示す）等の供
給を受けることで所定の動作を行うようになっている。

【００８５】ここで、図３に加え図４を参照してＨＭＤ
１における接眼光学系周辺の構成をさらに詳しく説明す
る。

【００８６】上述したように使用者両眼部の前方には、
左右の接眼光学系１６，１３が配置され、これら左接眼
光学系１６，右接眼光学系１３の上方にはそれぞれ左Ｌ
ＣＤ１７、右ＬＣＤ１４が配設されている。また、これ
ら左ＬＣＤ１７、右ＬＣＤ１４のさらに上方にはバック
ライト２１が配設され、さらに上記左右の接眼光学系の
前方には液晶シャッタ２３が配設されている。

【００８７】上記左ＬＣＤ１７、右ＬＣＤ１４はＨＭＤ
１内部に配設されたＬＣＤ駆動回路１８によって駆動さ
れるようになっており、該ＬＣＤ駆動回路１８は映像生
成ボックス２の制御により動作されるようになってい
る。また、図示はしないが上記液晶シャッタ２３、バッ
クライト２１も映像生成ボックス２に接続され、各々駆
動制御されるようになっている。

【００８８】すなわち、映像生成ボックス２からの左右
の映像信号、液晶シャッタ駆動信号に基づいて上記左Ｌ
ＣＤ１７、右ＬＣＤ１４、液晶シャッタ２３、バックラ
イト２１が動作し、使用者に所定の映像が供給されるよ
うになっている。

【００８９】また、上記左右のスピーカ２０Ａ，Ｂは、
映像生成ボックス２からの音声信号に基づいて所定の音
声を再生するようになっている。

【００９０】一方、上記左接眼光学系１６，右接眼光学
系１３の近傍には使用者の視線を検出する左視線検出器
１５，右視線検出器１２およびこれらの視線検出用の光
源２２が配設されている。上記左視線検出器１５，右視
線検出器１２で検出した左右の視線情報は映像生成ボッ
クス２の目の動きコード変換器５１に対して送出される
ようになっている。

【００９１】そして、この左右の視線検出器１５，１２
からの視線情報は、所定の初期設定情報として用いられ
るほか、会話時においては使用者の視線の動き（目の動
き）の情報として用いられる。なお、詳しくは後述す
る。

【００９２】また、上記ヘッドモーションセンサ１１
は、使用者の頭部の動きを３次元的に検出するセンサで
あり、頭の動きに対応する３次元情報を映像生成ボック
ス２の頭の動きコード変換器５２に対して送出するよう
になっている。

【００９３】このヘッドモーションセンサ１１からのデ
ータも、会話時において使用者の頭の動きの情報として
用いられる。

【００９４】さらに、上記マイク１９は会話時において
通常の音声記録装置として使用者の音声を採取する機能
を果たすとともに、所定の条件のもと使用者の口の動き
を検出する検出装置としての役目も果たすようになって
いる。すなわち、所定の初期設定を行う際、該マイク１
９からの音声信号は映像生成ボックス２の口の動きコー
ド変換器５０に対して送出されるようになっている。一
方、会話時においては該マイク１９で採取した音声信号
は映像生成ボックス２の音声信号送信器４８に対して送
出され通信相手に対して伝送される一方、会話中の使用
者の口の動きが検出され映像生成ボックス２の口の動き
コード変換器５０に対して該情報が送出されるようにな
っている。なお、詳しくは後述する。

【００９５】次に、上記映像生成ボックス２の構成につ
いて図４を参照してさらに詳しく説明する。

【００９６】上記映像生成ボックス２は、電話回線を介
して通信相手側の装置となる外部装置４（図２参照）と
の間で、キャラクタデータ、頭の動きコード、目の動き
コード、口の動きコード、音声信号（図２において符号
８で示す）等の信号の送受信を行うようになっている
が、図４に示すようにその際の送受信器を各種備えてい
る。

【００９７】すなわち、一方の話者が用いる画像音声通
信装置（図２中、ＨＭＤ１，映像生成ボックス２，コン
トローラパッド３）と、相手側話者が用いる画像音声通
信装置である外部装置４との間において、所定のキャラ
クターデータの送受信はキャラクターデータ送信器３
１、キャラクターデータ受信器３２で行うようになって
いる。以下、目の動きコード、口の動きコード、頭の動
きコードの送受信はそれぞれ、目の動きコード受信器３
３、目の動きコード送信器４５、口の動きコード受信器
３４、口の動きコード送信器４７、頭の動きコード受信
器３５、頭の動きコード送信器４６で行うようになって
いる。

【００９８】また、通信相手との会話中の音声信号の送
受信は、音声信号送信器４８、音声信号受信器４９で行
うようになっている。

【００９９】ところで、本第１の実施形態の画像音声通
信システムは、上述したように所定のキャラクター画像
を用いて一方の話者と相手側の話者とが対話を行うよう
になっているが、以下、該映像生成ボックス２内におい
て、キャラクターデータの生成、加工、記憶を行う各装
置について、信号の流れに沿ってその構成を説明する。

【０１００】本実施形態の画像音声通信装置において
は、対話に用いる送信者のキャラクター画像に係るキャ
ラクターデータは、フォーマット記憶部４４に予め記憶
されている指令信号コードに対応してキャラクターデー
タ生成装置４３で生成されるようになっている。このキ
ャラクターデータ生成装置４３には、図２に示すように
接続コードを介して上記コントローラパッド３が接続さ
れている。そして、該コントローラパッド３に配設され
たキャラクターデータ生成用コントローラ６１、ダイヤ
ルボタン６２の操作によりコントロール信号９（図２参
照）がキャラクターデータ生成装置４３に対して送出さ
れ、使用者による任意のキャラクターデータ作成を可能
としている。なお、詳しくは後述する。

【０１０１】また、上記キャラクターデータ生成装置４
３で生成される所定のキャラクター画像のデータは、キ
ャラクター画像生成装置３９等を介してＨＭＤ１に伝送
され、該ＨＭＤ１のモニタ画面上に当該キャラクター画
像の作成画面が映し出されるようになっている。

【０１０２】ところで、いま、一方の話者を送り手側話
者とし、該送り手側話者が使用する装置を送り手側装置
とすると、送り手側話者のキャラクター画像および該キ
ャラクター画像に係る各種キャラクターデータは送り手
側装置の映像生成ボックス２内のキャラクターデータ生
成装置４３において生成されるようになっている。すな
わち、送り手側話者に対して相手受け手側話者のキャラ
クターデータは相手受け手側装置のキャラクターデータ
生成装置４３において生成するようになっている。

【０１０３】図４に戻って、上記キャラクターデータ生
成装置４３は、送り手側話者のキャラクター画像および
該キャラクター画像の変形に伴ういくつかのキャラクタ
ーデータを生成するようになっている。すなわち、ま
ず、使用者（送り手側話者）は、通信を行う前の準備段
階において、該キャラクターデータ生成装置４３に接続
された上記コントローラパッド３におけるキャラクター
データ生成用コントローラ６１、ダイヤルボタン６２を
操作して、所定のキャラクター画像を任意に生成し、さ
らに、該キャラクター画像に対して所定の変形を施した
キャラクター画像を生成するようになっている。

【０１０４】この際、まず、使用者（送り手側話者）自
身の初期状態のキャラクター画像である基本キャラクタ
ー画像を後述する手法により生成するとともに、同使用
者の目、口等の動きに応じて表情が変化（変形）するキ
ャラクター画像に係るデータを設定するようになってい
る。このとき、該表情変化に対応したキャラクター画像
は、フォーマット記憶部４４に予め設定記憶された指令
信号コードに対応するパターンの種類ほど設定するよう
になっている。そして、この表情変化に対応したキャラ
クター画像は、実際は、上記基本キャラクター画像に対
する変形量として設定されるようになっている。

【０１０５】なお、上記フォーマット記憶部４４に記憶
されている指令信号コードについては後に詳述する。

【０１０６】また、本実施形態においては、上記キャラ
クター画像の生成および該キャラクター画像を変形させ
たキャラクター画像のデータ入力は、上述したようにコ
ントローラパッド３をもちいて行ったが、これに限ら
ず、たとえば、電子カメラ、スキャナ等で採取した任意
の画像データ（使用者本人の顔等の実写を含む）であっ
ても良い。

【０１０７】また、通信前の準備段階においては、上記
目の動きコード変換器５１あるいは口の動きコード変換
器５０おいて、使用者（送り手側話者）がＨＭＤ１で検
出した送り手側話者の目、口の動きに基づく表情変化の
基準値を設定するようになっている。

【０１０８】なお、基準値とは、当該話者の表情の変化
の程度に応じて当該指令信号コードを出力するか否かを
判定する際のしきい値を意味する。

【０１０９】すなわち、上述したようにＨＭＤ１には、
上記左右の視線検出器１５，１２およびマイク１９（図
３参照）が設けられている。そして、上記左右の視線検
出器１５，１２で送り手側話者の目の動きを、マイク１
９で同口の動きを検出し、これらの検出結果が図４中、
口の動きコード変換器５０または目の動きコード変換器
５１に送出されるようになっている。なお、詳しくは後
述する。

【０１１０】なお、上記ＨＭＤ１は、上記表情変化の基
準値を設定する際に用いる検出手段であるとともに、対
話を行う際に送り手側話者の各表情変化（目、口、頭の
動き）および音声信号を互いに同期した所定のタイミン
グで検出して送出する検出手段としての役目も果たすよ
うになっている。

【０１１１】上記キャラクターデータ生成装置４３の出
力端は、一方で、上述したようにキャラクター画像生成
装置３９に接続され、さらに該キャラクター画像生成装
置３９を介してＨＭＤ１の表示部（右接眼光学系１３，
１６等の光学系）に接続されている。これにより、使用
者は、ＨＭＤ１を装着することで上記キャラクター画像
の生成作業をモニタしながら行うことができるようにな
っている。

【０１１２】また、上記キャラクターデータ生成装置４
３の出力端は、他方で、キャラクターデータ記憶装置３
６に接続されている。このキャラクターデータ記憶装置
３６は、該キャラクターデータ生成装置４３で生成した
送り手側話者の基本キャラクター画像のデータを記憶す
ると共に、上記フォーマット記憶部４４に記憶された指
令信号コードに対応する、上記基本キャラクター画像に
所定の変形を施したキャラクター画像のデータ（実際
は、該基本キャラクター画像に対する変形量のデータ）
を記憶するようになっている。

【０１１３】また、キャラクターデータ記憶装置３６に
は上記キャラクターデータ送信器３１が接続されてお
り、通信の初期段階において、上記キャラクターデータ
記憶装置３６に記憶された送り手側話者の基本キャラク
ター画像、変形キャラクター画像に係るキャラクターデ
ータがキャラクターデータ送信器３１より相手受け手側
装置のキャラクターデータ受信器３２に向けて送信され
るようになっている。

【０１１４】一方、相手受け手側装置で生成された受け
手側話者の基本キャラクター画像、変形キャラクター画
像に係るキャラクターデータを受信するキャラクターデ
ータ受信器３２の出力端には、該相手受け手側装置で生
成された上記各種キャラクターデータを記憶するキャラ
クターデータ記憶装置３７が接続されており、通信初期
段階において相手受け手側話者の各種キャラクターデー
タを一旦記憶するようになっている。

【０１１５】以上が、本実施形態の画像音声通信システ
ムにおいて、通信前の準備段階あるいは通信の初期段階
で主に用いられる構成要素について説明した。次に、通
信が開始された後の対話段階に主に使用される構成要素
について説明する。

【０１１６】本実施形態の画像音声通信システムは、通
信が開始され実際に対話が始まると、上記ＨＭＤ１によ
り送り手側話者の表情の変化を所定のタイミングで検出
し、この表情の変化を所定のコードに変換して送出する
ようになっている。以下、この表情の変化に応じて送出
される所定のコード変換器等について説明する。

【０１１７】上記ＨＭＤ１における上記右視線検出器１
２，左視線検出器１５の出力端は、目の動きコード変換
器５１に接続され、該目の動きコード変換器５１の出力
端はさらに目の動きコード送信器４５に接続されてい
る。また、該ＨＭＤ１におけるヘッドモーションセンサ
１１の出力端は、頭の動きコード変換器５２に接続さ
れ、該頭の動きコード変換器５２の出力端はさらに頭の
動きコード送信器４６に接続されている。さらに、マイ
ク１９の出力端は、口の動きコード変換器５０および音
声信号送信器４８に接続され、上記口の動きコード変換
器５０の出力端はさらに口の動きコード送信器４７に接
続されている。

【０１１８】通信の対話時において、上記目の動きコー
ド変換器５１は、上記ＨＭＤ１の左右の視線検出器１
５，１２で検出した視線データと上記基準値とに基づい
て、所定の条件を満たした場合に送り手側話者の目の動
きコードに変換し、目の動きコード送信器４５より相手
受け手側話者に向けて送出するようになっている。

【０１１９】なお、頭の動きに関する基準値は予め工場
出荷時に頭の動きコード変換器５２に記憶されている。

【０１２０】また、頭の動きコード変換器５２は、ＨＭ
Ｄ１のヘッドモーションセンサ１１で検出した頭の動き
データを受けて該データを送り手側話者の頭の動きコー
ドに変換し、頭の動きコード送信器４６より相手受け手
側話者に送出するようになっている。

【０１２１】さらに、口の動きコード変換器５０は、上
記ＨＭＤ１のマイク１９で採取した音声信号に基づい
て、所定の条件を満たした場合に送り手側話者の口の動
きコードに変換し、口の動きコード送信器４７より相手
側に送出するようになっている。一方、マイク１９の音
声信号は音声信号送信器４８より相手受け手側話者に音
声信号として伝送される。また、受け手側話者において
は、音声信号は音声信号受信器４９で受信し、ＨＭＤ１
のスピーカ２０で該音声を再生するようになっている。

【０１２２】次に、通信の対話段階において、相手側の
装置から伝送される各種キャラクターデータの受信器等
について説明する。

【０１２３】通信の対話段階において、目の動きコード
送信器４５，頭の動きコード送信器４６，口の動きコー
ド送信器４７，音声信号送信器４８から送信される送り
手側話者の各種データは、それぞれ、目の動きコード受
信器３３，口の動きコード受信器３４，頭の動きコード
受信器３５，音声信号受信器４９で受信するようになっ
ている。

【０１２４】上記目の動きコード受信器３３，口の動き
コード受信器３４は何れも相手受け手側装置から送出さ
れる目の動きコード，口の動きコードを受信する受信器
であり、これら目の動きコード受信器３３、口の動きコ
ード受信器３４と上記キャラクターデータ記憶装置３７
の出力端は何れもキャラクターデータ加工装置３８に接
続されている。

【０１２５】上記キャラクターデータ加工装置３８は、
受信した受け手側話者の目の動きコード、口の動きコー
ドに基づいてキャラクターデータ記憶装置３７に記憶さ
れたキャラクターデータのうち“目の動き”および“口
の動き”を加工し、該加工結果をキャラクター画像生成
装置３９に対して出力するようになっている。

【０１２６】上記キャラクター画像生成装置３９では、
上記キャラクターデータ加工装置３８で加工された相手
側のキャラクターデータに基づいて最終的な相手側のキ
ャラクター画像を生成し、画像変形部４１に対して出力
するようになっている。なお、詳細は後述する。

【０１２７】また、上記頭の動きコード受信器３５は、
相手受け手側装置から送出される頭の動きコードを受信
する受信器であり、この頭の動きコード受信器３５の出
力端は画像変形量演算部４０を経て画像変形部４１に接
続されている。上記画像変形量演算部４０においては上
記相手受け手側装置からの頭の動きコードに基づいて画
像をどれだけ変形させるかを演算するようになってお
り、この演算結果に基づいて次段の画像変形部４１にお
いて、上記キャラクター画像生成装置３９で生成された
相手側のキャラクター画像を変形させるようになってい
る。すなわち、頭の動きコード受信器３５で受信した相
手受け手側話者の頭の動きに応じてキャラクター画像生
成装置３９で最終的に生成した相手側のキャラクター画
像を変形させるようになっている。なお、上記画像変形
量演算部４０および画像変形部４１の作用については、
後に詳述する。

【０１２８】上記画像変形部４１の出力は座標変換部４
２に接続されており、該画像変形部４１で変形処理が施
された相手側のキャラクター画像は座標変換部４２で座
標変換処理が施され、モニタする側のＨＭＤ１に送出さ
れるようになっている。このとき、上記座標変換部４２
における座標変換は、送り手側話者がモニタする画面に
おいては、送り手側話者の頭の動きに応じてモニタ画面
上に映し出されている相手のキャラクター画像の変換ベ
クトルが決定されるようになっている。なお、この座標
変換部４２の作用については後に詳述する。

【０１２９】一方、音声信号受信器４９は、相手受け手
側装置からの音声信号を受信する受信器であり、受信さ
れた受け手側話者の音声信号は、ＨＭＤ１のスピーカ２
０に送出され、再生されるようになっている。

【０１３０】なお、本実施形態においては、上記マイク
１９は、ＨＭＤ１を装着した際に使用者の口部前方に位
置するように配設しているが、これに限らず、たとえ
ば、図６に示すようにＨＭＤ１の光学系の近傍に配設
（図中、符号１９Ａ）しても良い。これにより、ＨＭＤ
１をより簡素に構成することができる。

【０１３１】以上、本第１の実施形態である画像音声通
信システムにおいて、各話者が使用する画像音声通信装
置の構成について説明した。

【０１３２】次に、本画像音声通信システムの作用につ
いて説明する。まず、具体的な作用の説明に先だって、
本画像音声通信システムを実際に使用する際の使用状況
を図５に示す。

【０１３３】前述したように、互いにそれぞれＨＭＤを
装着した状態で対話を行う場合、前述したように一方の
話者のモニタ画面には他方の話者のキャラクター画像が
表示されている。すなわち、いま、一方の話者を使用者
甲、他方の話者を使用者乙とし、使用者甲のキャラクタ
ー画像を図中、作成画像ＩＩ、使用者乙のキャラクター
画像を図中、作成画像Ｉとすると、それぞれ装着したＨ
ＭＤ１のモニタ画面（図中、座標面Ｉ、座標面ＩＩで示
す）には、図示の如く、相手側話者のキャラクター画像
が表示されている。

【０１３４】本第１の実施形態の画像音声通信システム
においては、通信を行う前段階として、各話者がその使
用する画像音声通信装置に自身のキャラクター画像の設
定等、所定の設定を行うようになっている。以下、この
通信前段階の作用について説明する。

【０１３５】まず、通信前段階の作業として、(1) そ
れぞれ自身の基本となるキャラクター画像を生成する。
(2) 上記基本キャラクター画像に対して、所定の指令
信号コードに対応する表情変化（目、口の動き）を付け
た新たなキャラクター画像に関するデータ（該基本キャ
ラクター画像に対してどれだけ変形するかのデータ、以
下、変形キャラクター画像データとする）を生成する。
(3) 自身の目、口の動きを検出し、所定の指令信号コ
ードに対応する表情変化の基準値（しきい値）を設定す
る等を行うようになっている。

【０１３６】これらの作業について図７ないし図１５を
参照して説明する。本第１の実施形態の画像音声通信シ
ステムでは、上述したように送り手側話者で生成するキ
ャラクターデータは上記映像生成ボックス２内のキャラ
クターデータ生成装置４３においてフォーマット記憶部
４４に記憶された専用の作成ソフトを用いて作成するよ
うになっている。

【０１３７】まず、使用者はＨＭＤ１を装着し、所定の
操作でキャラクターデータ作成モードに設定する。な
お、この操作は上記コントローラパッド３のキャラクタ
ーデータ生成用コントローラ６１、ダイヤルボタン６２
等を用いて行われる。このキャラクターデータ作成モー
ドに設定されるとキャラクターデータ生成装置４３にお
いて作成ソフトが起動する。このとき、ＨＭＤ１のモニ
タ画面上には図７に示すようなキャラクターデータ作成
ソフトの画面が掲示される。以下、図８，図９，図１０
に示すフローチャートを参照して説明する。

【０１３８】まず、キャラクターデータ作成ソフトが起
動すると、キャラクター画像の基本図の作成を行う（ス
テップＳ１）。このとき、使用者（送り手側話者）はコ
ントローラパッド３のキャラクターデータ生成用コント
ローラ６１、ダイヤルボタン６２等を操作し、ＨＭＤ１
のモニタ画面上に展開される図７に示すような作図画面
をモニタしながら、自身のキャラクター画像を作成す
る。

【０１３９】いま、使用者（送り手側話者）が自身のキ
ャラクター画像を、たとえば図１１に示すような猫の顔
に設定したとする。このとき、該キャラクター画像の基
本図のキャラクターデータとしては、「顔の輪郭」を示
す大きな円１（半径、中心座標および色彩が設定され
る）と、「目」を示す円３（上記同様半径、中心座標お
よび色彩が設定される）と、「瞳」を示す円２（同、半
径、中心座標および色彩が設定される）と、「口」を示
す線（長さ、中心座標および色彩が設定される）等が設
定される。

【０１４０】上記キャラクター画像が完成すると次に該
キャラクター画像のキャラクターデータをキャラクター
データ記憶装置３６に記憶する（ステップＳ２）。この
後、基本図として記憶された該キャラクター画像を所定
の条件に従い加工する（ステップＳ３）。以下、この加
工ルーチンについて図９に示すフローチャートおよび図
１１〜図１４を参照して説明する。

【０１４１】図１１に示す猫の顔図を基本図とすると、
まず、この基本図を加工して視線を左に動かした図を作
成する（ステップＳ１１）。具体的には、使用者はコン
トローラパッド３を用いて図１２に示すように、「瞳」
を示す上記円２の中心座標データを変更し、図に示すよ
うに基本図（図１１）に対して視線が左に動いた表情を
作成する。次に、上記ステップＳ１１において加工した
図において、基本図に対して加工した量（すなわち、瞳
の中心座標の移動量）をコード“ＥＬ”と共に記憶する
（ステップＳ１２）。

【０１４２】次に、上記基本図を加工して視線を右に動
かした図を作成する（ステップＳ１３）。この場合も上
記ステップＳ１１と同様に、使用者はコントローラパッ
ド３を用いて「瞳」を示す上記円２の中心座標データを
変更し、基本図（図１１）に対して視線が右に動いた表
情を作成する。次に、上記ステップＳ１２と同様に、上
記ステップＳ１３において加工した加工量をコード“Ｅ
Ｒ”として記憶する（ステップＳ１４）。

【０１４３】次に、上記基本図を加工して目を閉じた場
合の図を作成する（ステップＳ１５）。具体的には、使
用者はコントローラパッド３を用いて図１３に示すよう
に、「瞳」を示す上記円２と、「目」を示す円３のうち
片方の円のデータを変更して、図示の如く基本図（図１
１）に対して目を閉じた表情を作成する。次に、上記ス
テップＳ１５において加工した図において、基本図に対
して加工した量をコード“ＥＣ”と共に記憶する（ステ
ップＳ１６）。

【０１４４】次に、上記基本図を加工して口を動かした
場合、すなわち、何等かの音声を発したと考えられる場
合の図を作成する（ステップＳ１７）。具体的には、使
用者はコントローラパッド３を用いて図１４に示すよう
に、「口」を示す上記線のデータを変更して、図示の如
く基本図（図１１）に対して口を動かした表情を作成す
る。次に、上記ステップＳ１７において加工した図にお
いて、基本図に対して加工した量をコード“Ｍ”と共に
記憶し（ステップＳ１８）、メインルーチンに戻る。

【０１４５】図８に戻って、次に、上記基本図に対して
加工された「目の動き」、「口の動き」に対する対応関
係を定める操作を行う（ステップＳ４）。

【０１４６】以下、この対応関係の設定操作について図
１０に示すフローチャートを参照して説明する。

【０１４７】使用者（送り手側話者）は上記キャラクタ
ー画像の基本図の作成、基本図の加工に引き続いてＨＭ
Ｄ１を装着する。そして、上記ステップＳ１１〜Ｓ１８
（図９参照）において「目の動き」、「口の動き」に対
応して加工した各キャラクター画像に、実際に使用者の
「目の動き」、「口の動き」を対応するべく各種検出を
行う。

【０１４８】まず、使用者の目の動きを検出する。すな
わち、まず、使用者が視線を左に動かした場合の視線の
動きを検出する（ステップＳ２１）。ここで、この視線
検出機構に関して図１５および図１６〜図１９を参照し
て説明する。

【０１４９】図１５は、上記視線検出機構とその周辺部
を示した説明図である。なお、上記図３，図４に示した
構成要素と同様の構成要素には同一の符号を付与して示
している。

【０１５０】上記左右の接眼光学系１３，１６はハーフ
ミラー面２６を有するプリズムを形成しており、使用者
がＨＭＤ１を装着した際に使用者の眼球２８の前面に配
置されるようになっている。また、上記接眼光学系１
３，１６の底面は符号２７で示すように凹面ミラーとな
っている。さらに、上記接眼光学系１３，１６のさらに
前方には、上記眼球２８に向けて赤外線を照射する赤外
線光源２２と、眼球２８で反射した該赤外線光を検出す
る左右の視線検出器１２，１５とが配設されている。

【０１５１】上記左右の視線検出器１２，１５の何れも
ＣＣＤ２９、検出回路３０を備え、上記赤外線光源２２
から照射された赤外線光で照らされた眼球面、すなわ
ち、黒目（瞳孔位置）を検出するようになっている。こ
のとき、上記眼球面の像は凹面ミラー２７で拡大されて
ＣＣＤ２９に入射するようになっており、この後、該Ｃ
ＣＤ２９に入射した眼球２８の像は次段の検出回路３０
に入力される。そして、この検出回路３０において使用
者の視線方向とまばたきが検出されるようになってい
る。

【０１５２】なお、上記ＣＣＤ２９，検出回路３０によ
る検出精度は高いものである必要はなく、水平方向の分
解能は５°位が確保できるようなものでよい。

【０１５３】さて、上記検出した使用者の視線方向の動
き、まばたき（目を閉じたことを意味する）と、上記ス
テップＳ１１〜ステップＳ１６で加工・記憶した各キャ
ラクター画像との対応は、本実施形態の画像音声通信シ
ステムでは以下に示すように行う。

【０１５４】まず、上記検出回路３０で検知されるＣＣ
Ｄ２９の暗電流を基準として、このときの電圧０ｍＶを
基準電位値とする。そして、たとえば、使用者の瞳の位
置がほぼ中心に位置しているときには上記基準電位に対
して＋２０ｍＶの電圧信号が出力されるように設定する
（図１６参照）。そして、この＋２０ｍＶの電圧信号を
境に、瞳が左に移動したとき、すなわち視線が左に移動
したときには基準電位に対して＋３０ｍＶの電圧信号
が、右に移動したときは同＋１０ｍＶの電圧信号がそれ
ぞれ出力されるように設定する（図１７，図１８参
照）。また、まばたきをして目を閉じたときには、上記
基準電位０ｍＶが出力されるように設定する（図１９参
照）。

【０１５５】図１０に戻って、上記ステップＳ２１で、
使用者が視線を左に動かした場合の視線の動きを検出す
ると、このとき、上述したように上記検出回路３０から
は基準電位に対して＋３０ｍＶの電圧信号が出力される
（図１８参照、ステップＳ２２）。そして、図示はしな
いがこのときの電圧信号値＋３０ｍＶが上記図１２のよ
うに視線を左に動かした図に対応するコード“ＥＬ”の
基準値として映像生成ボックス２内の目の動きコード変
換器５１に記憶される（ステップＳ２３）。

【０１５６】次に、使用者は視線を右に動かし、上記視
線検出器１２，１５でこの視線の動きを検出すると（ス
テップＳ２４）、このとき、上述したように上記検出回
路３０からは基準電位に対して＋１０ｍＶの電圧信号が
出力される（図１７参照、ステップＳ２５）。そして、
上記同様にこのときの電圧信号値＋１０ｍＶが視線を右
に動かした図に対応するコード“ＥＲ”の基準値として
映像生成ボックス２内の目の動きコード変換器５１に記
憶される（ステップＳ２６）。

【０１５７】次に、使用者は目を閉じ、上記視線検出器
１２，１５でこの目が閉じられたことを検出すると（ス
テップＳ２７）、このとき、上述したように上記検出回
路３０からは基準電位に対して＋０ｍＶの電圧信号が出
力される（図１９参照、ステップＳ２８）。そして、上
記同様にこのときの電圧信号値＋０ｍＶが上記図１３に
示す如く目を閉じたした図に対応するコード“ＥＣ”の
基準値として映像生成ボックス２内の目の動きコード変
換器５１に記憶される（ステップＳ２９）。

【０１５８】次に、使用者の口の動きを検出する。すな
わち、使用者が音声を発したか否かの検出を行う（ステ
ップＳ３０）。ここで、この音声検出機構に関して図２
０を参照して説明する。

【０１５９】図２０は、上記音声検出機構とその周辺部
を示した説明図である。なお、上記図３，図４に示した
構成要素と同様の構成要素には同一の符号を付与して示
している。また、図中、符号３０１，３０２は、それぞ
れ送り手側装置，受け手側装置を示しており、その構成
要素は同等である。

【０１６０】送り手側話者の装置３０１において、通信
前の所定の初期設定を行う準備段階の際、該マイク１９
からの音声信号は上記口の動きコード変換器５０に対し
て送出されるようになっており、一方、通信対話段階に
おいては該マイク１９で採取した音声信号は音声信号送
信器４８に対して送出され受け手側の装置３０２に対し
て伝送される一方、会話中の使用者の口の動きが検出さ
れ映像生成ボックス２の口の動きコード変換器５０に対
して該情報が送出されるようになっている。

【０１６１】上記口の動きコード変換器５０は、図に示
すように、基準音量レベル記憶部５０Ａと、口の動きコ
ード生成部５０Ｂと、上記基準音量レベル記憶部５０Ａ
のオン・オフを制御するスイッチ５０Ｃとで構成されて
いる。上記基準音量レベル記憶部５０Ａは、スイッチ５
０Ｃのオン時のみ動作するようになっており、該スイッ
チ５０Ｃは、通信前の準備段階であって、基準音量レベ
ルを設定するときのみにオンするようになっている。

【０１６２】図１０に戻って、基準音量レベルを設定す
る際には、上記スイッチ５０Ｃがオンしており、使用者
（送り手側話者）が音声を発すると（ステップＳ３
０）、該音声の音量がコード“Ｍ”の基準値として該基
準音量レベル記憶部５０Ａ（音声検出器）に記憶され
（ステップＳ３１）、メインルーチンにリターンする。

【０１６３】図８に戻って、上記ステップＳ４における
基準値の設定が終了すると、送り手側話者は、基本キャ
ラクター画像等を再度確認し（ステップＳ５）、必要な
らば上記ステップＳ１〜ステップＳ４までの何れかある
いは全てを再度繰り返して所望のキャラクター画像、変
形量が得られるまで調整する。

【０１６４】以上で、本第１の実施形態の画像音声通信
システムにおける、通信前段階の作用、すなわち、送り
手側話者のキャラクター画像等のキャラクターデータの
生成過程について述べた。

【０１６５】次に、通信が開始された以降の作用につい
て説明する。

【０１６６】本第１の実施形態の画像音声通信システム
においては、通信が開始されると、まず、所定のプロト
コルにより初期交渉が行われ、引き続き、初期段階とし
て以下に示すデータ転送が行われる。

【０１６７】すなわち、まず、送り手側装置より、送り
手側話者の基本キャラクター画像データが受け手側装置
に転送され、該受け手側装置の記憶部に記憶する。ま
た、送り手側装置より、所定の指令信号コードに対応す
る表情変化を付けた変形キャラクター画像データが受け
手側装置に転送され、該受け手側装置の記憶部に記憶す
る。さらに上記初期段階のデータ転送が終了すると、実
際の対話段階に移行し、以下の作業がなされる。

【０１６８】まず、送り手側装置においては、送り手側
話者の目、口の動きを所定のタイミングで検出する。次
に、送り手側話者の目、口の動きの検出結果と上記しき
い値に基づいて所定の指令信号コードを逐次、受け手側
装置に伝送する。また、送り手側話者の頭の動きを所定
のタイミングで検出し、この検出結果を逐次、受け手側
装置に伝送する。なお、この頭の動きのコードの伝送
は、上記所定の指令信号コードの伝送に同期している。
さらに、送り手側話者の音声信号を所定のタイミングで
採取し、この音声信号を逐次、受け手側装置に伝送す
る。なお、この音声信号の伝送は、上記(2)における所
定の指令信号コードの伝送に同期している。

【０１６９】一方、受け手側装置においては、送り手側
装置から逐次（実質的にリアルタイムに）送られてくる
送り手側話者の目、口の動きに関する所定の指令信号コ
ードを受けとる。また、送り手側装置から逐次（実質的
にリアルタイムに）送られてくる送り手側話者の頭の動
きに関するコードを受けとる。さらに、送り手側装置か
ら逐次（実質的にリアルタイムに）送られてくる送り手
側話者の音声信号を受けとる。そして、受け取った指令
信号コードに対応する目、口の動きのキャラクター画像
データあるいは変形キャラクター画像データを記憶部よ
り検索し読み出す。さらに、読み出したキャラクター画
像データあるいは変形キャラクター画像データと、受け
取った頭の動きに関するコードに基づいて、送り手側話
者のキャラクター画像を実質的にリアルタイムに表示部
に表示する。さらに、受け取った音声信号に基づいて、
送り手側話者の音声をリアルタイムに再生する。

【０１７０】以下、この通信段階における本第１の実施
形態の画像音声通信システムの作用について図２１ない
し図３２を参照して説明する。なお、これらの図におい
ては、図５に示すように一方の使用者を甲、他方を乙と
し、それぞれ使用者甲，乙が装着する装置を甲側の装
置、乙側の装置とする。

【０１７１】図２１ないし図２３は、本実施形態の画像
音声通信システムにおいて通信が開始された後の作用を
示したフローチャートである。図２１は、通信が開始さ
れた後の甲側の装置における通信初期段階の作用を、図
２２は、甲側の装置における対話（送信）段階の作用
を、図２３は、乙側の装置における対話（受信）段階の
作用をそれぞれ示している。

【０１７２】図２１に示すように、話者甲が他の任意の
話者乙に対して通信を開始しようとする際には、まず、
話者甲はＨＭＤ１を装着し、通話スイッチ２４を操作し
てオフフックし、通常の電話回線を使用した通話と同様
にダイヤルを開始する（ステップＳ４１）。なお、この
ダイヤル操作は、本実施形態においては、上記コントロ
ーラパッド３に配設されたダイヤルボタン６２によって
行うようになっている。

【０１７３】この後、回線が接続され、相手側話者乙と
の通話が可能となると、すなわち乙側の装置の受信準備
ができると（ステップＳ４２）、まず、相手側話者を識
別するための、たとえばＩＤＮｏ．等を選択し、相手側
話者を識別する（ステップＳ４３）。この操作は、コン
トローラパッド３により行われる。

【０１７４】この後、甲側装置において上記説明した過
程により生成された各種キャラクターデータ、基本キャ
ラクター画像のデータ、キャラクター画像加工量（変形
量）に係るデータがキャラクターデータ送信器３１（図
４参照）より話者乙に対して送信される。すなわち、ま
ず、甲側装置より、話者乙の基本キャラクター画像デー
タが乙側装置に対して送信される（ステップＳ４４）。
次に、甲側装置より、所定の指令信号コードに対応する
表情変化を付けたキャラクター画像データの加工量デー
タが乙側装置に送信される（ステップＳ４５）。

【０１７５】次に、乙側装置より送信される、話者乙の
基本キャラクター画像データをキャラクターデータ受信
器３２で受信し（ステップＳ４６）、該データをキャラ
クターデータ記憶装置３７に記憶する（ステップＳ４
７）。次に、、乙側装置より送信される、話者乙の所定
の指令信号コードに対応する表情変化を付けたキャラク
ター画像データの加工量データを同様にキャラクターデ
ータ受信器３２で受信し（ステップＳ４８）、該データ
をキャラクターデータ記憶装置３７に記憶する（ステッ
プＳ４９）。

【０１７６】次に、話者甲の頭の位置をリセットする
（ステップＳ５０）。これは、話者甲が装着したＨＭＤ
１におけるヘッドモーションセンサ１１の位置をリセッ
トする。なお、このリセット動作は、上記ステップＳ４
９までの動作が完了した段階で自動的に行われても良い
し、使用者が図示しないスイッチ等により行っても良
い。

【０１７７】このように初期段階の各種キャラクターデ
ータの転送が終了すると、実際の対話段階に移行する。
図２２に示すように、まず、甲側装置で、話者甲自身の
音声を検出する（ステップＳ５１）。この音声検出は、
マイク１９で採取した話者甲の音声を音声信号送信器４
８で検出し、音声を検出すると同音声信号送信器４８よ
り音声信号を送信する（ステップＳ５２）。

【０１７８】上記マイク１９で採取した話者甲の音声
は、同時に上記口の動きコード生成部５０Ｂ（図２０参
照）に入力され、予め基準音量レベル記憶部５０Ａで設
定された基準音量レベルに達したか否かを判定し（ステ
ップＳ５３）、基準値以上であれば、口の動きコード変
換器５０内の該規格化音量レベル変換部５０Ｂで口の動
きを上記指令信号コードに対応したコード“Ｍ”に変換
し（ステップＳ５４）、口の動きコード送信器４７より
乙側装置に送信して（ステップＳ５５）、ステップＳ５
６に移行する。

【０１７９】上記ステップＳ５１において、話者甲の音
声が検出されないとき、また、上記ステップＳ５３にお
いて、検出された音声が上記基準値に満たない場合は、
ともにステップＳ５６に移行する。

【０１８０】上記ステップＳ５６においては、話者甲の
目の動きを検出する。これは、上記右視線検出器１２，
左視線検出器１５により話者甲の視線を検出し、該視線
の動きが予め上記ステップＳ２３，Ｓ２６，Ｓ２９（図
１０参照）で設定した基準値を満たすときには、上記目
の動きコード変換器５１（図４参照）で、所定のコード
（“ＥＬ”，“ＥＲ”，“ＥＣ”）に変換し（ステップ
Ｓ５７）、上記目の動きコード送信器４５より乙側装置
に送信して（ステップＳ５８）、ステップＳ５９に移行
する。

【０１８１】上記ステップＳ５６において、話者甲の目
の動きが検出されないとき、すなわち視線の動きが上記
基準値を満たさないときには、ステップＳ５９に移行す
る。

【０１８２】上記ステップＳ５９においては、話者甲の
頭の動きを検出する。これは、ＨＭＤ１のヘッドモーシ
ョンセンサ１１で話者甲の頭の動きを検出し、この頭の
動きを検出すると、頭の動きコード変換器５２において
所定のコードに変換し（ステップＳ６０）、頭の動きコ
ード送信器４６より乙側装置に送信する（ステップＳ６
１）。

【０１８３】ここで、上記頭の動きの検出およびこの動
きの検出がなされた際の処理について図２４，図２５を
参照して説明する。

【０１８４】図２４は、本実施形態の画像音声通信シス
テムにおいて、使用者がＨＭＤ１を装着した様子を正面
からみた図であり、図２５は、同様に使用者がＨＭＤ１
を装着した様子を一側面からみた図である。

【０１８５】使用者がＨＭＤ１を装着した状態で、該使
用者の頭の動きとしては、図２４に示すようなロール方
向、ヨー方向、図２５に示すようなピッチ方向の動きが
考えられる。本実施形態の画像音声通信システムにおい
ては、このような使用者の頭の動きを上記ヘッドモーシ
ョンセンサ１１で検出するようになっている。上述した
ように、対話が開始されると初期段階でヘッドモーショ
ンセンサ１１の位置がリセットされるようになっている
（ステップＳ５０、図２１参照）。そして、このリセッ
トされた基準位置よりヘッドモーションセンサ１１がど
れだけ変位したかを計測することで、使用者の頭の動き
を捉えることができる。

【０１８６】本実施形態においては、対話時において、
上記ヘッドモーションセンサ１１の変位を常時検出し、
この検出結果に基づいて頭の動きコード変換器５２で所
定のコードを生成し、上記目、口の動きのコード（指令
信号コードに対応したコード）の伝送に同期して受け手
側話者に対して送出するようになっている。

【０１８７】上記頭の動きに係る所定のコードは、本実
施形態においては、上記ロール方向、ヨー方向、ピッチ
方向の動きに対応した３種類のコードが用意されてい
る。そして、ヘッドモーションセンサ１１の検出結果を
受けて上記頭の動きコード変換器５２において、使用者
の頭がこれらロール方向、ヨー方向、ピッチ方向の何れ
かあるいは複合された動きをしたと判断すると、これら
の動きに対応した上記３種類のコードのうち何れかある
いは複合的に変換し、頭の動きコード送信器４６に送出
するようになっている。

【０１８８】以上、図２１，図２２を参照して、一方の
話者である甲側の送信作用について説明したが、次に、
対話段階において甲側からの送信信号を受信する乙側の
受信作用について図２３を参照して説明する。

【０１８９】図２３は、乙側の装置における対話受信段
階の作用を示したフローチャートである。

【０１９０】対話が開始されると、乙側装置は甲側装置
からの音声信号の受信の有無を判定する（ステップＳ７
１）。これは、甲側装置３０１（図２０参照）の音声信
号送信器４８から何等かの音声信号が送信されると乙側
装置３０２の音声信号受信器４９で受信するようになっ
ており、該ステップＳ７１で音声信号を受信すると、ス
ピーカ２０で甲側話者の音声を再生する（ステップＳ７
２）。

【０１９１】この後、甲側装置の口の動きコード送信器
４７から送出された所定の口の動きコードを乙側装置の
口の動きコード受信器３４（図４，図２０参照）で受信
したか否かを判定し（ステップＳ７３）、該コードが受
信されたならば、キャラクターデータ加工装置３８（図
４参照）において、上述したように該コードに応じてキ
ャラクター画像のデータを加工し（ステップＳ７４）、
ステップＳ７５に移行する。

【０１９２】また、上記ステップＳ７１において、甲側
装置より何等音声を受信しない場合、ステップＳ７３に
おいて、口の動きコードを受信しない場合（話者甲に係
る何等かの音声は受信するが、音量レベルが所定の基準
値より低く甲側装置において口の動きコードが生成され
ない場合）は、ともにステップＳ７５に移行する。

【０１９３】ステップＳ７５においては、乙側装置にお
ける動きコード受信器３３が、甲側装置における目の動
きコード送信器４５から送出される所定の目の動きコー
ドを受信したか否かを判定する。ここで、該コードを受
信すると、キャラクターデータ加工装置３８（図４参
照）において、上述したように該コードに応じてキャラ
クター画像のデータを加工し（ステップＳ７６）、ステ
ップＳ７７に移行する。また、上記ステップＳ７５にお
いて、甲側装置からの目の動きコードを受信しない場合
は、ステップＳ７７に移行する。

【０１９４】ステップＳ７７においては、乙側装置は、
上述したようにキャラクター画像生成装置３９において
甲側話者のキャラクター画像を生成する。このとき、話
者乙のＨＭＤ１におけるモニタ画面には、たとえば、図
１１〜図１４に示すような話者甲のキャラクター画像
が、当該話者甲の目、口の動きに応じて表情を変化させ
て表示されている。また、このキャラクター画像は、上
述したように、話者甲の目、口の動きに応じて実質的に
リアルタイムに変化する。

【０１９５】この後、ステップＳ７８において、乙側装
置における頭の動きコード受信器３５が、甲側装置にお
ける頭の動きコード送信器４６から送信される所定の頭
の動きコードを受信したか否かを判定する。この頭の動
きコードは、上述したように、ロール方向、ヨー方向、
ピッチ方向の動きに対応した３種類のコードである。

【０１９６】このステップＳ７８で少なくとも上記何れ
かのコードを受信すると、乙側装置は、画像変形量演算
部４０において受信したコードに基づいて画像をどれだ
け変形させるかを演算する。そして、この演算結果に基
づいて次段の画像変形部４１において、上記ステップＳ
７７においてキャラクター画像生成装置３９で生成され
た話者甲のキャラクター画像を変形させ（ステップＳ７
９）、この後ステップＳ８０に移行する。なお、上記ス
テップＳ７８において、何れのコードも受信しない場合
は、ステップＳ８０に移行する。

【０１９７】すなわち、乙側装置の頭の動きコード受信
器３５で受信した話者甲の頭の動きに応じてキャラクタ
ー画像生成装置３９で最終的に生成した相手側（甲）の
キャラクター画像を変形させる。

【０１９８】ここで、この画像変形の具体例について説
明する。図２６ないし図２８は、本第１の実施形態の画
像音声通信システムにおける乙側装置が、甲側装置より
頭の動きコードを受信した際に行う画像変形の例を示し
た図であり、図２６は、話者甲のロール方向の頭の動き
に対応したコードを受信した際の画像変形の一例、図２
７は、話者甲のピッチ方向の頭の動きに対応したコード
を受信した際の画像変形の一例、図２８は、話者甲のヨ
ー方向の頭の動きに対応したコードを受信した際の画像
変形の一例をそれぞれ示している。なお、話者甲のキャ
ラクター画像は、上記図１４に示したキャラクター画像
を例にとって示している。

【０１９９】乙側装置が話者甲のロール方向の頭の動き
に対応したコードを受信すると、話者乙のＨＭＤ１のモ
ニタ画面上には、図２６に示すように、キャラクター画
像の所定の一点（図に示す例においては、顔の最下点）
を中心に座標を回転（ロールの＋方向、−方向に応じた
回転）させたキャラクター画像が表示される。なお、本
図においては、ロール＋方向のコードを受信した例を示
している。

【０２００】乙側装置が話者甲のピッチ方向の頭の動き
に対応したコードを受信すると、話者乙のＨＭＤ１のモ
ニタ画面上には、図２７に示すように、キャラクター画
像に図示の如く周知の台形歪処理（縦方向歪）を施した
キャラクター画像が表示される。なお、本図において
は、ピッチ＋方向のコードを受信した例を示している。

【０２０１】乙側装置が話者甲のヨー方向の頭の動きに
対応したコードを受信すると、話者乙のＨＭＤ１のモニ
タ画面上には、図２８に示すように上記同様キャラクタ
ー画像に図示の如く台形歪処理（横方向歪）を施したキ
ャラクター画像が表示される。なお、本図においては、
ヨー＋方向のコードを受信した例を示している。

【０２０２】また、乙側装置が上記３種類の頭の動きの
コードを所定時間内に複数受信すると、乙側装置は上記
図２６ないし図２８に示した画像変形を複合してＨＭＤ
１のモニタ画面上に表示するようになっている。

【０２０３】図２３に戻って、次に、乙側装置は、話者
乙自身の頭の動きを上記ヘッドモーションセンサ１１で
検出する（ステップＳ８０）。そして、話者乙の頭の動
きが検出されると、この検出結果に応じて上記座標変換
部４２で話者乙自身のモニタ画面に映し出された話者甲
のキャラクター画像の座標変換を行う（ステップＳ８
１）。

【０２０４】ここで、この座標変換について説明する。

【０２０５】上記座標変換部４２においては、話者乙が
モニタする画面において、話者乙の頭の動きに応じてモ
ニタ画面上に映し出されている話者甲のキャラクター画
像の変換ベクトルが決定される。本実施形態において
は、上記ステップＳ５０における甲側の頭の位置（ヘッ
ドモーションセンサ１１の位置）のリセット動作と同様
に話者乙の頭の位置もリセットされる。

【０２０６】このときの状態を標準位置とすると、話者
乙の頭の位置がこの標準位置にあるときは、たとえば図
２９に示すように話者甲のキャラクター画像はモニタ画
面のほぼ中央に位置する。

【０２０７】いま、話者乙が自身の頭を上記標準位置よ
りヨー（＋）方向（図２４に示すように、話者乙の左方
向への回転を（＋）方向とする）に移動したとすると、
モニタ画面上に表示される話者甲のキャラクター画像は
図３０に示すように向かって右方向に移動して表示され
る。

【０２０８】また、同様に、話者乙が頭を上記標準位置
よりピッチ（＋）方向（図２５に示すように、話者乙の
下方向への回転を（＋）方向とする）に移動したとする
と、モニタ画面上に表示される話者甲のキャラクター画
像は図３１に示すように上方向に移動して表示される。

【０２０９】さらに、話者乙が頭を上記標準位置よりロ
ール（＋）方向（図２４に示すように、話者乙の左方向
への回転を（＋）方向とする）に移動したとすると、モ
ニタ画面上に表示される話者甲のキャラクター画像は図
３２に示すように向かって時計回りに回転して表示され
る。

【０２１０】以上のように、話者乙のＨＭＤ１のモニタ
画面には、甲側装置から送出される上記各データに基づ
いて加工、変形、変換が施された話者甲のキャラクター
画像が表示される（ステップＳ８２）。

【０２１１】このような、本第１の実施形態の画像音声
通信システムによると、以下に示す如く効果を奏する。

【０２１２】(1) 自分の顔とは無関係なキャラクター画
像で対話を楽しむことができるテレビ電話システムを提
供できる。すなわち、上記キャラクター画像は、任意に
作成したり、所定のものより選択して使用できる。

【０２１３】(2) 簡単な構成の装置で難しい手間もかか
らず、使用者の顔の動きや表情の変化を実質的にリアル
タイムに相手側に伝達することができるテレビ電話シス
テムを提供できる。すなわち、使用者の顔の動きや表情
の変化を示す情報は、簡素なデータでよく、高速に送受
信することができる。

【０２１４】(3) 使用者は特別な意識を持つことなく対
話を行うことができるテレビ電話システムを提供でき
る。すなわち、ＨＭＤを装着するだけで良い。

【０２１５】(4) 使用者は所定姿勢を強制されることな
く対話を行うことができるテレビ電話システムを提供で
きる。すなわち、特別なディスプレイやカメラに対峙す
ることなく対話できる。

【０２１６】(5) 通信開始前に面倒な準備をすることな
く、家庭においても容易に使用することができるテレビ
電話システムを提供できる。すなわち、表情検出のため
のマーカーを顔に張り付けることなく対話を開始でき
る。

【０２１７】次に、本発明の第２の実施形態の画像音声
通信システムについて説明する。本第２の実施形態の基
本的な構成、作用は上記第１の実施形態と同様であり、
ここでは差異のみの言及にとどめ同一部分の説明は省略
する。

【０２１８】上記第１の実施形態の画像音声通信システ
ムにおいては、対話段階において一方の話者甲がモニタ
する他方の話者乙の像は、当該話者乙が乙側装置で設定
した話者乙のキャラクタ画像であるが、この第２の実施
形態の画像音声通信システムにおいて話者甲がモニタす
る話者乙の像は、予め甲側装置で任意に設定あるいは記
憶された所定のキャラクタ画像を使用することを特徴と
する。

【０２１９】すなわち、話者甲が自身のＨＭＤ１のモニ
タ上で見る話者乙のキャラクター画像は、話者甲が予め
設定あるいは記憶されたキャラクター画像である。この
とき、当該乙のキャラクター画像は、乙固有のキャラク
ター画像として予め話者甲が甲側装置において設定した
ものを使用してもよいし、あるいは不特定のキャラクタ
ー画像を甲側が任意に選択して使用しても良い。

【０２２０】また、対話中、話者甲が見る話者乙のキャ
ラクター画像は、任意に切換えて使用されても良い。

【０２２１】さらに、通信開始の際、予め設定されたＩ
Ｄ番号等で互いが認識できるようにすれば、該ＩＤ番号
に対応した相手側のキャラクター画像を受け手側で選択
することもできる。

【０２２２】このような、第２の実施形態の画像音声通
信システムによると、第１の実施形態に係る上記(2) な
いし(5)項で示す効果に加え、以下に示す如く効果を奏
する。

【０２２３】対話相手のキャラクタ像を受け手側におい
て任意に設定あるいは切換えることができ、楽しい対話
を実現することができる。

【０２２４】

【発明の効果】以上説明したように本発明によれば、簡
単で安価な装置を用い、使用者に手間をかけることな
く、話者の顔の動きや表情をリアルタイムに伝送する画
像音声通信システムおよびテレビ電話送受信方法を提供
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態である画像音声通信シ
ステムにおいて用いられる画像音声通信装置の主要構成
を示したブロック図である。

【図２】本発明の第１の実施形態である画像音声通信シ
ステムの主要構成を示したシステム図である。

【図３】上記第１の実施形態の画像音声通信システムに
おいて、ＨＭＤを使用者が装着した際の様子を一側方よ
りみた側面図である。

【図４】上記第１の実施形態の画像音声通信システムに
おいて、ＨＭＤ，映像生成ボックス，コントローラパッ
ドの接続対応と、これら各部の電気回路的な構成を詳し
く示したブロック構成図である。

【図５】上記第１の実施形態の画像音声通信システムを
実際に使用する使用者の状況を示した俯瞰図である。

【図６】上記第１の実施形態の画像音声通信システムに
おいて、ＨＭＤに設けられるマイクの変形例を示した要
部外観斜視図である。

【図７】上記第１の実施形態の画像音声通信システムに
おいて、所定キャラクター画像生成ソフトを用いた際の
ＨＭＤモニタ画面の一例を示した説明図である。

【図８】上記第１の実施形態の画像音声通信システムに
おいて、送り手側話者の基本キャラクター画像のデータ
および該キャラクター画像に関連する各種データを生成
する作業を示すフローチャートである。

【図９】上記第１の実施形態の画像音声通信システムに
おいて、送り手側話者の基本キャラクター画像に所定の
加工を施すとともに、該加工に係る所定コードを生成す
る作業を示すフローチャートである。

【図１０】上記第１の実施形態の画像音声通信システム
において、送り手側話者の基本キャラクター画像に施さ
れた所定加工に係る所定コードの送信基準となる基準値
の設定作業を示すフローチャートである。

【図１１】上記第１の実施形態の画像音声通信システム
において、送り手側話者の基本キャラクター画像の一例
を示した図である。

【図１２】上記第１の実施形態の画像音声通信システム
において、送り手側話者の基本キャラクター画像を加工
して生成された、視線を左に動かしたキャラクター画像
の一例を示した図である。

【図１３】上記第１の実施形態の画像音声通信システム
において、送り手側話者の基本キャラクター画像を加工
して生成された、目を閉じたキャラクター画像の一例を
示した図である。

【図１４】上記第１の実施形態の画像音声通信システム
において、送り手側話者の基本キャラクター画像を加工
して生成された、口を開けたキャラクター画像の一例を
示した図である。

【図１５】上記第１の実施形態の画像音声通信システム
における、視線検出機構とその周辺部を示した説明図で
ある。

【図１６】上記第１の実施形態の画像音声通信システム
において、上記図１５に示す視線検出機構で検出する視
線に応じて生じる電位と、該電位に対応して設定される
視線位置（基準位置）を説明した図である。

【図１７】上記第１の実施形態の画像音声通信システム
において、上記図１５に示す視線検出機構で検出する視
線に応じて生じる電位と、該電位に対応して設定される
視線位置（右に移動）を説明した図である。

【図１８】上記第１の実施形態の画像音声通信システム
において、上記図１５に示す視線検出機構で検出する視
線に応じて生じる電位と、該電位に対応して設定される
視線位置（左に移動）を説明した図である。

【図１９】上記第１の実施形態の画像音声通信システム
において、上記図１５に示す視線検出機構で検出する視
線に応じて生じる電位と、該電位に対応して設定される
視線位置（目を閉じる）を説明した図である。

【図２０】上記第１の実施形態の画像音声通信システム
における音声検出機構とその周辺部を示した説明図であ
る。

【図２１】上記第１の実施形態の画像音声通信システム
において、通信開始後における、一方の話者甲の通信初
期段階の作用を示したフローチャートである。

【図２２】上記第１の実施形態の画像音声通信システム
において、通信開始後の対話段階における、一方の話者
甲の送信作用を示したフローチャートである。

【図２３】上記第１の実施形態の画像音声通信システム
において、通信開始後の対話段階における、他方の話者
乙の作用を示したフローチャートである。

【図２４】上記第１の実施形態の画像音声通信システム
において、使用者がＨＭＤを装着した様子を正面からみ
た図である。

【図２５】上記第１の実施形態の画像音声通信システム
において、使用者がＨＭＤを装着した様子を一側方から
みた図である。

【図２６】上記第１の実施形態の画像音声通信システム
における乙側装置が、甲側装置より頭の動きコードを受
信した際に行う画像変形の例を示し、話者甲のロール方
向の頭の動きに対応したコードを受信した際の画像変形
の一例を示した図である。

【図２７】上記第１の実施形態の画像音声通信システム
における乙側装置が、甲側装置より頭の動きコードを受
信した際に行う画像変形の例を示し、話者甲のピッチ方
向の頭の動きに対応したコードを受信した際の画像変形
の一例を示した図である。

【図２８】上記第１の実施形態の画像音声通信システム
における乙側装置が、甲側装置より頭の動きコードを受
信した際に行う画像変形の例を示し、話者甲のヨー方向
の頭の動きに対応したコードを受信した際の画像変形の
一例を示した図である。

【図２９】上記第１の実施形態の画像音声通信システム
における座標変換に係る説明図であって、話者乙の頭の
位置が標準位置にあるときの、話者乙のモニタ画面上に
表示される話者甲のキャラクター画像の表示例を示した
図である。

【図３０】上記第１の実施形態の画像音声通信システム
における座標変換に係る説明図であって、話者乙が自身
の頭を標準位置よりヨー方向に移動したときの、話者乙
のモニタ画面上に表示される話者甲のキャラクター画像
の表示例を示した図である。

【図３１】上記第１の実施形態の画像音声通信システム
における座標変換に係る説明図であって、話者乙が自身
の頭を標準位置よりピッチ方向に移動したときの、話者
乙のモニタ画面上に表示される話者甲のキャラクター画
像の表示例を示した図である。

【図３２】上記第１の実施形態の画像音声通信システム
における座標変換に係る説明図であって、話者乙が自身
の頭を標準位置よりロール方向に移動したときの、話者
乙のモニタ画面上に表示される話者甲のキャラクター画
像の表示例を示した図である。

【符号の説明】

１…ＨＭＤ ２…映像生成ボックス ３…コントローラパッド ４…外部装置 ５…電話回線 １１…ヘッドモーションセンサ １２、１５…視線検出器 １３、１６…接眼光学系 １４、１７…ＬＣＤ １９…マイク ２０…スピーカ ３１…キャラクターデータ送信器 ３２…キャラクターデータ受信器 ３３…目の動きコード受信器 ３４…口の動きコード受信器 ３５…頭の動きコード受信器 ３６…キャラクターデータ記憶装置（送信側） ３７…キャラクターデータ記憶装置（受信側） ３８…キャラクターデータ加工装置 ３９…キャラクター画像生成装置 ４０…画像変形量演算部 ４１…画像変形部 ４２…座標変換部 ４３…キャラクターデータ生成装置 ４４…フォーマット記憶部 ４５…目の動きコード送信器 ４６…頭の動きコード送信器 ４７…口の動きコード送信器 ４８…音声信号送信器 ４９…音声信号受信器 ５０…口の動きコード変換器 ５１…目の動きコード変換器 ５２…頭の動きコード変換器 １００…キャラクター画像生成手段 １０１…キャラクターデータ入力手段 １０２…第１の変換手段 １０３…表示手段 １０４…第１のキャラクターデータ記憶手段 １０５…表情検出手段 １０６…データ送信手段 １０７…第１の選択手段 １０８…表情コード変換手段 １１１…データ受信手段 １１２…第２の選択手段 １１３…第２のキャラクターデータ記憶手段 １１４…キャラクターデータ加工手段 １１５…第２の変換手段 １１６…表示手段 １１７…画像変形手段 １１８…音声再生手段

Claims (12)

【特許請求の範囲】
1. 【請求項１】画像および音声の通信に適合する画像表示
   手段および音声出力手段が当該通信に係る少なくとも受
   信側に備えられた画像音声通信システムであって、 前記画像表示手段による表示に適用するキャラクター画
   像を任意に設定可能なキャラクター画像設定手段と、 通信相手から当該キャラクター画像に対して変形を与え
   るための指令信号を受信する変形指令受信手段と、 前記指令信号に応じて上記キャラクター画像に変形を施
   すためのキャラクター変形手段と、 前記キャラクター変形手段によって変形が施されたキャ
   ラクター画像を前記表示手段に供給して表示せしめるた
   めの手段と、 を具備したことを特徴とする画像音声通信システム。
2. 【請求項２】前記キャラクター画像設定手段は、当該通
   信における送信側において任意に自らの側を表わすキャ
   ラクター画像を設定し、該設定したキャラクター画像を
   受信側に伝送して前記画像表示手段による表示に適用す
   るキャラクター画像として提供するように上記送信側に
   設けられたものであることを特徴とする請求項１記載の
   画像音声通信システム。
3. 【請求項３】キャラクター画像と指令信号のコードとこ
   れに対応する当該キャラクター画像の変形の程度との対
   応関係を表わす第１の情報を会話の開始に先行して伝送
   し、会話中は、実質的に上記指令信号のコードのみから
   なる第２の情報をリアルタイムで伝送することを特徴と
   する請求項２記載の画像音声通信システム。
4. 【請求項４】前記第１の情報におけるキャラクター画像
   と指令信号のコードとこれに対応する当該キャラクター
   画像の変形の程度との対応関係を通信者が任意に決定す
   るキャラクター画像変形量決定手段と、 前記指令信号の送信実行の条件を通信者各々が任意に決
   定する送信条件決定手段と、 を具備したことを特徴とする請求項３記載の画像音声通
   信システム。
5. 【請求項５】前記キャラクター画像設定手段は、通信者
   各々が任意に通信相手とキャラクター画像との対応付け
   を行うようになされ、 通信実行に際して、通信相手から伝送される信号によっ
   て通信相手を認識し、前記キャラクター画像設定手段に
   よって設定された該通信相手とキャラクター画像との対
   応付けの情報に基づいて当該通信相手に対応つけたキャ
   ラクター画像を前記画像表示手段による表示に適用する
   表示キャラクター選択手段を更に備えたことを特徴とす
   る請求項１記載の画像音声通信システム。
6. 【請求項６】前記画像表示手段、音声出力手段、および
   音声入力手段は頭部装着型ディスプレイ装置として構成
   されてなるものであることを特徴とする請求項１記載の
   画像音声通信システム。
7. 【請求項７】前記頭部装着型ディスプレイ装置に配置さ
   れ、これら頭部装着型ディスプレイ装置を用いる当該画
   像音声通信システムにおける通信者の視線を検出するた
   めの視線検出器、頭部の動きを検出するためのヘッドモ
   ーションセンサ、発生された音声を検出するための音声
   検出手段と、 前記視線検出器、ヘッドモーションセンサ、音声検出手
   段の検出出力に応じて前記指令信号を送信する送信手段
   と、 を具備したこと特徴とする請求項１記載の画像音声通信
   システム。
8. 【請求項８】当該通信者が自己に対応するものとしての
   キャラクターを動かすための制御、および相手側の者に
   対応するものとしてのキャラクターを実空間上に固定し
   ているように映出する映出位置の制御の双方の制御は前
   記ヘッドモーションセンサの出力信号に依拠して行われ
   るように構成されたことを特徴とする請求項７記載の画
   像音声通信システム。
9. 【請求項９】前記所定のキャラクター画像は複数種の図
   形を組み合わせたものであり、キャラクターデータは各
   図形を指定するコードと各図形の位置関係を表わす座標
   データとを含んで構成され、 前記キャラクター変形手段が変形したキャラクターデー
   タを所定の変換フォーマットに基づいて前記表示手段で
   表示すべき画像信号に変換する第１の変換手段を有する
   ことを特徴とする請求項１記載の画像音声通信システ
   ム。
10. 【請求項１０】画像と音声とを通信するテレビ電話装置
    における送受信方法であって、 通信開始に先立って、当該通信者が各自己に対応するキ
    ャラクターを任意に作成するキャラクター画像作成のス
    テップと、 前記キャラクター画像のうち変形させる部分を上記通信
    者各々が任意に決定する変形部分決定のステップと、 前記変形部分の変形量を上記通信者各々が任意に決定す
    る変形量決定ステップと、 前記変形を実行させる条件を通信者各々が任意に決定す
    る変形実効条件決定ステップと、 を有し、 通信開始直後に、前記変形部分と前記変形量とを対応づ
    けて送信するキャラクター画像送信ステップと、 通信開始後上記キャラクター画像送信ステップに続く期
    間内に前記条件の発生を検出したときに前記変形を促す
    指令を送信する変形指令送信ステップと、 音声を送信するステップと、 受信側において、前記変形指令を受信して前記キャラク
    ター画像のうち変形指定部分を変形指定量だけ変形さ
    せ、その変形画像を表示するステップと、 の上記各ステップを逐次実行することを特徴とするテレ
    ビ電話送受信方法。
11. 【請求項１１】画像と音声とを通信するテレビ電話装置
    における送受信方法であって、 通信開始に先立って、当該通信相手とキャラクター画像
    との対応付けを各通信者が任意に決定するキャラクター
    画像決定のステップと、 通信開始直後に、通信相手を確認し、当該通信相手に対
    応づけた上記キャラクター画像を用意するキャラクター
    画像用意ステップと、 上記キャラクター画像用意ステップに続く期間内で当該
    通信相手から上記キャラクターを変形させる指令を受信
    する変形指令受信ステップと、 上記変形指令受信ステップで受信された上記キャラクタ
    ーを変形させる指令に基づいて当該キャラクター画像を
    変形させ、その変形を施した画像を表示するステップ
    と、 の上記各ステップを逐次実行することを特徴とするテレ
    ビ電話送受信方法。
12. 【請求項１２】通話者の現実の姿に依存しないキャラク
    ターを該通話者の相手方に表示するための表示手段と、 上記表示手段によって表示されるキャラクターを当該通
    話者の通話状況に応じて動かすためのキャラクター制御
    手段と、 を具備したことを特徴とする画像音声通信システム。