JPH02196585A

JPH02196585A - 音声信号通信装置

Info

Publication number: JPH02196585A
Application number: JP1016777A
Authority: JP
Inventors: Yoshimichi Kanda; 好道神田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1989-01-26
Filing date: 1989-01-26
Publication date: 1990-08-03

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野］本発明は、例えば電話回線などを利用する通信装置に関
し、特に、受信側で画像情報の表示も行なう音声信号通
信装置に関する。

［従来の技術］画像と音声の両方の情報を伝送する通信装置として、最
近では、公衆電話回線を利用して通信を行なうテレビ電
話装置が実用化されている。

［発明が解決しようとする課題］現在のテレビ電話装置における難点としては、伝送すべ
き画像の情報量が膨大であり、画像情報の伝送に非常に
長い時間を要する２画像の伝送中は音声の通話ができな
い等々がある。このため、現在実用化２されているもの
は、静止画を伝送することはできるが、動画像を伝送す
ることができない。

公衆電話回線を利用する場合、伝送可能な信号の周波数
帯域が狭いので、高速で画像信号を伝送するのは不可能
であり、伝送する画像の情報量を減らさない限り、動画
像を伝送するのは無理である。

そこで、電子情報通信学会技術研究報告（ＩＥ８７−２
）においては、「分析合成符号化におけるモデル構成と
表情合成」のタイトルで９次のような技術が提案されて
いる。即ち、受信側に表示すべき画像の基本モデルの情
報を配置し、送信側から受信側には１画像の表情や動き
の情報を伝送し、受信側では、基本モデルと伝送される
表情や動きの情報に基づいて、合成画像を生成する。従
って、受信側で実質上の動ｉｉ！ｉ像が出力できる。送
信側から受信側に伝送する情報は表情や動きの成分だけ
であるため、情報量は画像をそのまま送る場合に比べる
と非常に小さくなり、短時間で画像の情報を伝送するこ
とができ、動画像を受信側で再現できる。

しかしながら、この種の分析合成符号化を用いる場合で
も、伝送すべき画像の情報量はかなり大きいので、画像
を伝送する期間は音声の通話がとぎれてしまう、しかも
１画像と音声の情報を同一のアナログ通信回線で伝送す
るので、送信側と受信側に、それぞれ変復調器（モデム
）が必要であり５画像情報と音声情報の合成や分離を行
なうための装置も必要であり、装！構成が複雑化するの
は避けられない。

本発明は、テレビ電話装置などの画像を受信側で表示で
きる通信装置において、伝送する情報の量を減らすこと
を第１の目的とし、画像の表示のために音声通話がとぎ
れるという不都合を解消することを第２の目的とする。

［課題を解決するための手段］上記目的を達成するため、本発明においては。

送信側からの音声情報を含む信号が印加される通信線手
段；前記通信線手段に印加される音声情報を音声として
出力する、音声出力手段；前記通信線手段に印加される
音声情報から、その音声の示す内容を認識する、音声認
識手段７表示すべき画像の少なくとも１つのモデルを示
す情報を保持するモデル情報保持手段；前記モデルの変
形に関する複数の情報を保持する変形情報保持手段；前
記音声認識手段が認識した音声の内容に応じて、前記変
形情報保持手段に保持された変形情報を選択し、選択し
た変形情報と、前記モデルの情報とに基づいて、画像情
報を合成する、画像合成手段；及び前記画像合成手段が
合成した画像を表示する画像表示手段；を設ける。

［作用］本発明によれば、受信側で表示される画像は、受信側に
保持された基本モデルの画像情報と、それのモデルを変
形する情報とから画像情報合成によって生成される。こ
の画像合成の際に利用される変形の情報は、受信された
音声情報の内容に応じて自動的に選択される。従って、
表示される画像は、音声情報の更新に伴なって、例えば
顔の表情が変化することになり、実質上の動画像表示が
達成される。しかも、画像表示のための特別なデジタル
情報を送信側から受信側に伝送する必要がないので、送
信側の装置は一般の電話機をそのまま利用でき、受信側
においても、モデムを備える必要がない、更に、特別な
デジタル信号の伝送を行なわないので、画像表示のため
に音声通話を中断する必要がなく、連続的な通話と動画
像表示とを同時に行なうことができる。

後述する本発明の好ましい実施例においては、表示する
画像を現実の画像に近づけるため、更に次のようにして
いる。

即ち、受信側に設ける変形情報を、例えば笑顔やまじめ
な顔のような各々の表情に対応付けて複数組設けるとと
もに、送信側のスイッチ操作に応じて、変形情報の組を
選択する。このようにすれば、送信者のその時の顔の表
情により近い画像を受信側で再生し表示することができ
る。

また、実施例では、受信側に複数種のモデルの情報を設
け、送信側のスイッチ操作に応じて、画像合成に使用す
るモデルの種類を切換える。このようにすれば、例えば
、男性の顔のモデルと女性の顔のモデルとを備えて、送
信者が男性の時には男性の顔のモデルを選択し、送信者
が女性の時には女性の顔のモデルを選択することにより
、現実に近い、即ち実際の通話内容に対し違和感の少な
い顔の画像を表示できる。

本発明のその他の目的及び特徴は、以下の、図面を参照
した実施例説明により明らかになろう。

［実施例］第１図に、本発明を実施する通信システムの一方の通信
装置を示す、第１図を参照すると、この通信装置は、公
衆電話回線２に接続されており、電話機１．受信機１０
０及び送信機２００を備えている。

まず概略を説明すると、このシステムでは、般の電話機
との間で通常の通話を行なうことができるが、それに加
えて、人の顔の動画像を受信側で表示することができる
。送信側が通常の電話９機だけを備える場合でも、第１
図の装置が受信側となる場合には受信側で動画像を表示
できる。また、送信側に送信機２００を備える場合には
、表示する顔の人物の切換えや表情の切換えを送信側で
行なうことができる。通信の基本的な動作は一般の電話
機と同一になっているので、送信と受信とは同時に行な
うことができ、双方向の通話と動画像表示ができる。な
お、一般の静止画テレビ電話とは異なり、動画像を表示
することによって、通話が中断することはない。

動画像を表示するための概略の動作を説明する。

電話回線２には、送信側から出力されろアナログの音声
信号と、必要に応じてトーン信号が現われる。この装置
においては、受信される音声信号に基づいて、画像を合
成し、それを表示する０表示する画像の基本データ、即
ちこの例では人物の顔の基本的な表情の三次元形状を示
すモデルの情報が、データベースとして、４つの記憶装
置１１５１゜１５２．１５３及び１５４にそれぞれ蓄積
されており、このモデルの情報と、受信した音声の内容
とに基づいて、表示すべき画像の合成が行なわれる。

モデルの情報は、ワイヤフレーム画像で示すと、第２ａ
図及び２ｂ図に示すような、３角形を基本構成要素とし
た情報の集りで構成されており、無表情の顔がモデル化
されている。人間が話しをする時には、第２ａ図と第２
ｂ図との違いからも分かるように、その時の発音の内容
に応じて、目。

ロ、鼻などの顔の各部の位置や形状が変化する。

第２ａ図及び第２ｂ図は、それぞれｒあ」及び［い」を
発声した時の顔を示している。

従って、通話時の音声の内容に応じて、モデルを変形し
た画像を合成すれば、実際の話者の顔に似た顔のその時
の表情が表示できる。このため、その顔画像を表示する
ために、直接、その顔の形状などを示す情報を電話回線
を通して伝送する必要はない、つまり、画像の直接の情
報を伝送しないので１画像表示のために通話を中断する
必要がないし、動画像をリアルタイムで表示できる。

次に、顔の変形について少し具体的に説明する。

例えば、ｒイ」、１口」と発声する場合、口の形状は第
３図の左の形状から右の形状に変化する。

そこで１発声に応じた口の変形具合いを数値化するため
に、第３図に示すような特徴点Ａ、Ｂ、Ｃ。

Ｄ、Ｅ及びＦを設定し、各特徴点間のＸ方向（横方向）
の距離ｘｓｌ及びｘｓ２とＹ方向（縦方向）の距離ｙｓ
ｌ、ｙｓ２及びｙｓ３を、それぞれ口に関する変形のパ
ラメータとして求める。このようなパラメータを、各々
の発声状態に対応付けることにより、モデルによって示
される基本的な形状から発声によって変形した形状を再
現することができる。

この種の画像合成手法は１分析合成符号化と呼ばれ、具
体的な技術については様々な方法が提案されている。こ
の変形の方法自体は本発明の特徴ではないので、それに
関する詳細な説明は省略する。

第３図に示すような変形を示すパラメータのデータが、
記憶装置！１３１及び１３２にデータベースとしてそれ
ぞれ蓄積されている。このデータベースは、単音節の各
々に対応付けられた動き（即ち変形）量を示すパラメー
タが各々備わっており、具体的には、清音と呼ばれる５
０音（あ、か、さ。

た、な、・・・）と、濁音（ダ、ジ、ズ、ゼ、ゾ・・・
）。

促音（ツ）、拗音（やゆよ）など全体で１００種類程度
の単音節の組合せを発声するときの表情の動きのパラメ
ータや、発声の最初と最後のために前記単音節を発声す
るときと無表情の組合せの表情の動きのパラメータを備
えている。

また、この実施例では、一方の記憶装！！１３１には笑
顔の、他方の記憶装置１３２にはまじめ顔の、それぞれ
の表情に適合したパラメータが蓄積されている。

第１図を参照すると、受信機１００には、音声Ｌｌｌ四
回路２０が備わっている。この音声認識回路１２０は、
認識手法としては一般的なパターンマツチングを用いて
おり、入力される音声信号を処理して、単音節単位の認
識を行なう。例えば、「がぞう」という内容の音声信号
を処理する場合には、「が」、「ぞ」及び「う」の３つ
の単音節を順次に認識する。

音声認識回路１２の後段に設けられた遅延回路１２１は
、１つの単音節分の情報の遅延出力を行なう０例えば、
音声認識回路１２０が「あ」及び「い」を順次に認識し
た場合には、音声認識回路１２０がｒい」を出力する時
に、−音節だけ遅延された「あ」が遅延回路１２１から
出力される。

従って、音声認識回路１２０が「あ」、「い」を認識し
た場合には、動きパラメータ選択回路１３４には、ｒあ
」と「い」の２つの単音節の情報が同時に印加される。

動きパラメータ選択回路１３４は、表情切換回路１３３
を介して、２つの記憶装！１！１３１及び１３２のいず
れか一方をアクセスし、例えば、「あ」と「い」の組合
せに対応付けられた動きパラメータの、画像全体のデー
タ読取り、それらを画像合成＠路１６０に出力する。

画像合成回路１６０は、モデル切換回路１５５を介して
、４つの記憶装置１５１〜１５４のいずれか１つをアク
セスし、それによって得られる１組のモデルの形状デー
タと、動きパラメータ選択回路１３４から印加される動
きパラメータとに基づいて、画像を合成する。実際には
、第２ａ図及び第２ｂ図に示すような変形されたワイヤ
フレーム画像を生成した後で、画像各部に濃淡情報を付
加し、自然な顔の表情に近い画像（図示せず）を生成す
る。

画像合成回路１６０によって生成される画像の情報は、
ビデオＲＡＭ１７０のメモリ上に書込まれる。ビデオＲ
ＡＭは、メモリに書込まれた二次元画像情報を、ラスク
走査信号形式のテレビ画像に変換し、その信号をブラウ
ン管表示装置１８０に出力する。

この実施例では、音声認識回路１２０が単音節を認識す
る度に、トリガ信号が出力され、このトリガ信号が画像
合成回路１６０に印加される１画像合成回路１６０は、
トリガ信号を受ける毎に。

画像合成を繰り返し実行する。従って、音声信号の単音
節の切換わり毎に、表情の異なる画像が、それぞれ画像
合成回路１６０で生成され、その画像が表示装置１８０
で表示される。つまり、この実施例では、単音節毎に変
化する動画像を、リアルタイムで表示することができる
。

ところで、この実施例では１表示する顔の表情として、
笑顔とまじめ顔の２種類を選択することができる。つま
り、動きパラメータを保持する２組の記憶装置１３１，
１３２が備わっており、両者のいずれか一方を選択する
ことによって、表示する顔の表情として、笑顔又はまじ
め顔を選択することができる。

また、この実施例では１表示する顔のモデルとして、４
種類のいずれか１つを選択することができる。即ち、モ
デルの情報を蓄積するデータベースには、互いに異なる
種類のモデルが設定された４つの記憶装置１５１〜１５
４が設けられており５これらのいずれを選択するかに応
じて、表示する顔の基本モデルを切換えることができる
。この実施例では、記憶装置１５１，１５２，１５３及
び１５４に、それぞれ一般的な男性の顔のモデル。

一般的な女性の顔のモデル、アイドルの顔のモデル、及
び女優の顔のモデルが三次元形状などを含む情報の形で
設けられている。

これらの表情やモデルの切換えは、送信側のスイッチ操
作によって行なうことができる。送信機２００には、操
作部２１０が設けられており、この操作部２１０には、
４種類のモデルのいずれかを選択するための４つの釦（
１，２，３，４）と、２種類の表情のいずれかを選択す
るための２つの釦（Ａ、Ｂ）が備わっている。

操作部２１０のいずれかの釦を操作すると、その釦に対
応付けられた信号がエンコーダ２２０に出力される。エ
ンコーダ２２０は、操作された釦に応じて、各々の釦に
対応付けられたコードデータを生成し、それをトーン発
生器２３０に出力する。トーン発生器２３０の発生する
トーンは、この例では、互いに周波数の異なる２種類の
正弦波信号の合成であり、その組合せが、エンコーダ２
２０の出力するコードデータの内容に応じて決定される
。このトーンは、釦が操作された時に、−定時間だけ、
電話回線２を介して、相手側の通信装置に送られる。

受信機１００には、相手側の送信機（２００）が出力し
たトーンを検出するために、トーン検出回路１４１が設
けられている。このトーン検出回路１４１は、トーンを
構成する２種類の正弦波信号の周波数の組合せを識別し
、それに対応するコードデータを出力する。デコーダ１
４２は、トーン検出回路１４１が出力したコードデータ
から、相手側の指示内容を識別する。

つまり、操作部２１０のモデル選択釦の１，２゜３及び
４を押下すれば、それぞれ、モデル切換回路１５５が、
記憶装置１１５１，１５２，１５３及び１５４を選択的
に画像合成回路１６０に接続するし、操作部２１０の表
情選択釦のＡ及びＢを押下すれば、それぞれ１表情切換
回路１３３が、記憶装置１３１及び１３２を選択的に動
きパラメータ選択回路１３４に接続する。

従って、相手側の通信装置が第１図に示す送信機２００
を備える場合には、相手側の話者が、モデル選択釦を押
下することにより、こちら側の通信装置に表示される画
像のモデルが切換わり、また相手側の話者が表情選択釦
を押下することにより、こちら側の通信装置に表示され
る画像の表情が切換わる。

なおこの実施例では、一般の電話機の送話器と受話器と
の関係と同様に、トーン発生器２３０が出力した信号は
、電話回線２には出力されるが。

自己のトーン検出器１４１には影響を与えない構成にな
っている。

なお、この種のモデルの切換えや表情の切換えは、それ
が表示される受信局（自局）のスイッチ操作で行なうよ
うに装置の構成を変更してもよい。

その場合には、操作部２１０を直接モデル切換回路１５
５及び表示切換回路１３３に接続すればよく、エンコー
ダ２２０．トーン発生回路２３０゜トーン検出回路１４
１及びデコーダ１４２は省略しうる。

なお、第１図において、１１０は増幅回路、１１１はス
ピーカである。音声信号は、増幅回路１１Ｏで増幅され
、スピーカ１１１から音響として出力される。勿論、電
話機１の受話器で音声を聴くこともできる。

以上の実施例においては、電話回線を利用して信号を伝
送するので、トーン信号と音声信号とを電話回線上に重
畳して出力するように構成したが。

例えば２組の通信線が同時に利用できる場合には。

モデルや表情を切換えるための情報を含む信号と音声の
信号とを別々の通信線を介して伝送するように構成して
もよい、また、単一のモデルだけを利用し、表情も単一
のものだけでよい場合には、送信機２００は不要である
し、受信機１００のトーン検出器１４１．デコーダ１４
２．モデル切換回路１５５及び表情切換回路１３３は省
略してもよい。

また、実施例では電話回線を利用する有線通信の場合を
説明したが、本発明は、Ｗｌ波を利用した無線通信など
でも実施しうる。

［効果］以上のとおり、本発明によれば、動画像が表示できるだ
けでなく、一般の電話機の場合と同じく、通信線上には
音声信号を通すだけでもよいため、伝送する情報量は、
従来のテレビ電話とは比較にならない程少なく、画像表
示のために、音声通話がとぎれる必配もない。また、モ
デルの切換えや表情の切換えが不要な場合には、相手側
の通信装置として、一般の電話機をそのまま利用するこ
とができるので、本発明の産業上の利用価値は極めて高
い。

【図面の簡単な説明】

第１図は、本発明を実施する通信システムの一方の通信
装置を示すブロック図である。第２ａ図及び第２ｂ図は、表示する画像の基本になるワ
イヤフレームの二次元画像を示す正面図である。第３図は、変形の１例を示す口の形状の正面図である。１：Ｗ１話機２：公衆電話回線（通信線手段）１００：受信機（受信装置）１１０：増幅回路１１１：スピーカ（音声出力手段）１２０：音声認識回路（音声認識手段）１２１：遅延回
路１３１．１３２：記憶装置（変形情報保持手段）１３３
：表情切換回路（グループ選択手段）１３４：動きパラ
メータ選択回路１４１：トーン検出回路１５１〜１５４：記憶装置（モデル情報保持手段）１５
５；モデル切換回路（グループ選択手段）１６０：画像
合成回路（画像合成手段）１７０：ビデオＲＡＭ１８０ニブラウン管表示装置（画像表示手段）２００：
送信機（送信装置）２１０：１作部（スイッチ手段）２２０：エンコーダ２３０　：トーン発生回路声２ａ図声２ｂ図東図

Claims

【特許請求の範囲】

（１）送信側からの音声情報を含む信号が印加される通
信線手段；前記通信線手段に印加される音声情報を音声として出力する、音声出力手段；前記通信線手段に印加される音声情報から、その音声の
示す内容を認識する、音声認識手段；表示すべき画像の
少なくとも１つのモデルを示す情報を保持するモデル情報保持手段；前記モデル
の変形に関する複数の情報を保持する変形情報保持手段；前記音声認識手段が認識した音声の内容に応じて、前記変形情報保持手段に保持された変形情報を
選択し、選択した変形情報と、前記モデルの情報とに基
づいて、画像情報を合成する、画像合成手段；及び前記画像合成手段が合成した画像を表示する画像表示手段；を備える音声信号通信装置。
（２）前記変形情報保持手段に保持される情報は、人間
が音声を発声するときの顔の各特徴点の移動量を符号化
した情報である、前記請求項１記載の音声信号通信装置
。
（３）切換えを指示する少なくとも１つのスイッチ手段
、及び音声を電気信号に変換する音声入力手段を備える
送信装置；前記送信装置のスイッチ手段の信号と音声入力手段からの音声信号を伝送する通信線手段；及び前記通信線手段に印加される音声情報を音声として出力する、音声出力手段；前記通信線手段に印
加される音声情報から、その音声の示す内容を認識する
、音声認識手段；表示すべき画像の少なくとも１つのモ
デルを示す情報を保持するモデル情報保持手段；前記モ
デルの変形に関する複数組の情報を保持する変形情報保
持手段；前記通信線手段に印加されるスイッチ手段の信
号に応じて前記変形情報保持手段が保持する複数組の変
形情報群のうち１組を選択する、グループ選択手段；該
グループ選択手段によって選択された変形情報群の中か
ら、前記音声認識手段が認識した音声の内容に応じて変
形情報を選択し、選択した変形情報と、前記モデルの情
報とに基づいて、画像情報を合成する、画像合成手段；
及び前記画像合成手段が合成した画像を表示する画像表
示手段；を備える受信装置；を備える、音声信号通信装置。
（４）切換えを指示する少なくとも１つのスイッチ手段
、及び音声を電気信号に変換する音声入力手段を備える
送信装置；前記送信装置のスイッチ手段の信号と音声入力手段からの音声信号を伝送する通信線手段；及び前記通信線手段に印加される音声情報を音声として出力する、音声出力手段；前記通信線手段に印
加される音声情報から、その音声の示す内容を認識する
、音声認識手段；表示すべき画像の複数の基本モデルを
示す情報をそれぞれ保持するモデル情報保持手段；前記
モデルの変形に関する複数の情報を保持する変形情報保
持手段；前記通信線手段に印加されるスイッチ手段の信
号に応じて前記モデル情報保持手段が保持する情報から
１つの基本モデルを選択する、グループ選択手段；前記
音声認識手段が認識した音声の内容に応じて変形情報を
選択し、選択した変形情報と、前記選択されたモデルの
情報とに基づいて、画像情報を合成する、画像合成手段
；及び前記画像合成手段が合成した画像を表示する画像
表示手段；を備える受信装置；を備える、音声信号通信装置。