JPH0769876B2 - 音声メッセージの通信方法 - Google Patents

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は、LAN（ローカル・エリア・ネツトワーク）で
代表される各種の通信網において利用できる通信方法に
関する。

従来の通信端末装置および通信システムでは、通信の際
に送信者あるいは受信者が相手の状況を知ることができ
ず、そのため臨場感が少なく、とくに計算機を介在した
メツセージの通信においては問題があつた。例えば音声
メールにおいては、送信されたメツセージを音声として
受信者が再現するとき、送信者の顔がデイスプレイ装置
上に表示され、しかもその音声の再現に応じて口を動か
すような表示がなされるのが望ましい一つの形態と考え
られる。また計算機を使つた教育システムにおいても、
教師の顔が生徒の使用する端末上に表示されるのが好ま
しい一つの形態と考えられる。

〔発明の目的〕

本発明の目的は、LANで代表される各種の通信網におい
て、端末装置に顔の画像を表示してこれを動的に制御す
ることによつて、より臨場感のある通信を実現すること
にある。

〔発明の概要〕

この目的を達成するため、本発明では、音声を認識して
少くとも母音部を判別し、その母音部が例えば「ア」で
あれば大きく口をあけた口元の画像を表示し、「イ」で
あれば横に開いた口元の画像を表示するといつた制御を
行うことにより、より臨場感のある通信を実現するもの
である。

〔発明の実施例〕

以下、本発明の一実施例を図によつて説明する。

第１図は、本発明の端末装置に付属されているデイスプ
レイ装置の画面構成の一例を示すものであり、画面１の
中の例えば右下部に画像領域２をとり、そこに顔写真が
表示される。この領域２の中に小領域３を設け、この小
領域３の中の画像が動的に切換えられて表示される。当
然この小領域３は領域２と一致してもよく、この場合に
は顔写真全体が切換えられて表示される。領域２の画像
は、あらかじめ端末装置内のフアイルに格納された写真
である場合もあり、この場合には、送信者から送られて
くる氏名コードなどのID（アイデンテイフイケーシヨ
ン）コードによつてその人の写真が選択されて表示され
る。また、領域２の画像は、送信者・受信者の端末装置
間に通信路が形成された最初の段階で、送信者の顔写真
が送られて表示されてもよい。この場合の顔写真は、送
信側端末装置の簡易型TVカメラによつて通信路形成の時
点で撮像された画像であつてもよいし、あるいは、あら
かじめ送信者が所持している第２図に示すような、たと
えばプラスチツク製のIDカード４を用いて、その上に形
成された写真５をカードスキヤナによつて読みとり、送
信してもよい。この場合、そのカードに同時に形成され
たIDコードも読みとり、キーボードから入力された送信
者の記憶する記憶コードとの照合を経た上でこの顔写真
を送信することも可能である。この場合のIDコードは、
光学的コード６としても形成できるし、磁気的コードと
して磁性剤塗布領域７に形成することもできる。

一方、第１図の小領域３に表示される画像は、一番簡単
には、端末装置のフアイル内にあらかじめ格納されてい
る少くとも五枚の写真であつてもよい。すなわち、
「ア」「イ」「ウ」「エ」「オ」を夫々発声したときの
写真を切替えて表示すればよい。この切換えは、音声信
号の出現につれてそれを刻々解析し、フオルマント周波
数の大略値によつて実行できる。あるいは、もう少し複
雑な認識処理によつて、母音部が「ア」〜「オ」のいず
れかであるかを認識させ、それによつて切替えることも
可能である。これらの場合、ア段の音すなわち「サ」や
「ナ」と発声されても，これを「ア」ら相当する顔写真
で代用することになるが、もつと確実な認識方式によつ
てすべての発声を認識させ、それぞれの顔写真を切替え
て表示してもよいことは勿論である。実用的には母音だ
けでも十分な臨場感が得られるが、さらに子音部も識別
して摩擦音、破裂音などを識別し、各子音部がこれらの
いずれのグループに属するかによて代表的な口唇形状を
持つ画像を組合せて表示するとなおよい。

また、小領域３に表示される画像は、あらかじめフアイ
ルされた画像ではなく画像処理によつて作り出された画
像であつてもよい。たとえば領域２に表示された元の画
像から、口唇部を画像処理によつて抽出し、その抽出さ
れた口唇形状をもとに、縦方向に伸ばして中央部を明け
るといつた処理で「ア」の発声に相当した口唇形状を作
り出すことは容易である。同様に他の母音「イ」〜
「オ」や子音「p,m」に相当する口唇形状が作り出すこ
とは容易である。またこのようにして作られた口唇部の
画像を元の画像にはめ込んで、合成し、その周囲の継ぎ
目が目立たないぼかし処理を加えることも、画像処理で
広範に用いられているフイルタリング処理により、容易
に実現できる。このような処理は、端末装置内のマイク
ロコンピユータ及びそれに付属され得るイメージプロセ
ツサの性能によつては、実時間で実行できることも将来
あり得るが、一般には、通信路が形成され、顔写真が最
初に表示される直前、最中、あるいは直後に、あらかじ
め作つておくことがより現実的である。また作つておく
画像としては、各種形状の口唇部を夫々はめ込んだ顔全
体の何枚かの画像であつてもよいし、あるいは、元の画
像に対して継ぎ目が出来るだけ目立たないように処理さ
れた口唇部だけの何枚かの画像であつてもよい。あるい
はまた、前述のIDカード中の写真に併せて記録された口
唇部のいくつかの写真が同時に送信され、これらが利用
されてもよい。口唇部だけの画像の場合には、第１図の
小領域３のみが次々と音声に応じて表示更新され、また
顔写真全体のときは、小領域３の大きさを領域２に一致
させ、領域２全体を表示更新させればよい。いずれかの
場合においても、デイスプレイ装置の画面１の中で、領
域２を除く領域は、通信によつて伝達されるメツセージ
の表示に充当することが出来る。このメツセージは、文
字列が送信されたときにはそのまま文字として表示して
もよいし音声メールのときにはその音声を認識して得ら
れる文字列であってもよい。また、このメツセージに
は、図形・画像を含むことも可能であることは勿論であ
る。メツセージの量の多い場合には、領域２はマルチウ
インドウ表示方式をとり、必要なときに、必要に応じて
顔写真を表示するようにしてもよい。とくに教育システ
ムにおいては、教師の指示が伝達されるときのみ、この
領域２が開いて顔写真が表示され、生徒が問題が解いて
いるときは、この領域を閉じて、画面１全体をメツセー
ジ領域として、問題の提示を行うことができる。

第３図は、以上のような性能を実現するために考案され
た本発明の通信端末装置の構成図である。デイスプレイ
装置10は上述した画面を表示するための装置であり、表
示制御回路11の制御によつて画像バツフアメモリ12内に
格納された画像を表示する。この場合、画像バツフアメ
モリ12内には、既述のメツセージとともに、既述の顔写
真や口唇部画像が格納されており、これらが切換えられ
て高速に表示される。

フアイル13は、たとえば通信可能な相手の顔写真を収納
した画像フアイルであつてもよい。この場合には、既述
のように、送られてきた送信者のIDコードに応じてこの
画像フアイルから所望の顔写真を読み出し、バス14を介
して画像バツフアメモリ12に転送できる。このIDコード
の照合や対応する顔写真画像の選択と転送などの制御
は、マイクロコンピユータ15によつて実行できる。この
場合、まずフアイル13から読出した顔写真を画像メモリ
17にバス14を経由して転送し、マイクロコンピユータ15
が、必要に応じて付属されたイメージプロセツサ16と共
同してこの画像メモリ17内の顔写真に対して画像処理を
施し、既述のような複数個の顔の画像または口唇部の画
像を作り出すこともできる。これらの作り出された画像
は、画像メモリ17から画像バツフアメモリ12にバス14を
介して転送される。

また、フアイル13は、電子メールの用途に利用するとき
にはメツセージフアイルとして働き、送信されてきたメ
ツセージを、受信者が見るまでその内容を保存するため
に用いることができる。また、これから送信しようとす
るメツセージ編集する際に、編集途中あるいは編集終了
のメツセージを一時格納しておくためのフアイルとして
も利用できる。この送信すべきメツセージを編集する作
業は、デイスプレイ装置10とキーボード18とその入力制
御回路19とマイクロコンピユータ15と画像メモリ17の組
合せによつて実行できる。もしメツセージ内に図形や画
像を含ませたいときには、TVカメラ20が利用でき、入力
制御回路21によつてデイジタル化された映像信号をフア
イル13、画像メモリ17に導いて、キーボード18から入力
された文字テキストとともにレイアウトされたメツセー
ジを作ることは容易である。

また、このTVカメラは、既述のように、顔写真の送信の
ための撮像器として用いることができる。

このメツセージを送信するに先立ち、第２図に既に示し
たようなIDカードをカードスキヤナ22とその入力制御回
路23によつて読取り、そこに書かれているIDコードおよ
びキーボード18から必要に応じて入力される記憶コード
をマイクロコンピユータ15で照合することができる。照
合結果が正しく、正当な利用者と確認された場合には、
送信先にその人の顔写真がない場合においてはIDカード
からカードスキヤナ22によつて読まれた顔写真もしくは
あらかじめフアイル13に格納された顔写真を送信用バツ
フアメモリ24を介し、信号合成回路25、送信回路26を通
して送信先に送信する。もし送信先のフアイルに顔写真
が格納されてあれば、IDコードのみを送るだけでもよ
い。

受信側の端末装置では、送信回路27、信号弁別回路28を
径由して受信用バツフアメモリ29にこれらのデーダを受
けとり、マイクロコンピユータ15によつてこれらを解釈
して、もしIDコードだけなら自分のフアイル13中からID
コードに対応する送信者の顔写真を探し、また顔写真が
送られてきたときにはその顔写真を画像バツフアメモリ
12に入れて表示する。この場合、必要に応じて画像メモ
リ17に入れ、イメージプロセツサ16とマイクロコンピユ
ータ15の組合せで、既知のような画像処理を実行して複
数枚の画像を生成したのち、画像バツフアメモリ12に入
れてもよい。また、送られてきた顔写真は、今後の通信
の便のために、画像フアイル13にその人のIDコード（氏
名コードなど）とともに別途格納しておくこともでき
る。

マイクロホン30は、音声メツセージを入力するためのも
のであつて、音声入力回路31によつてたとえばデイジタ
ル化された信号が、マイクロコンピユータ15によつてた
とえばフアイル13に取込まれる。既述の編集過程ではこ
の音声メツセージを文字・画像などからなる他のメツセ
ージと混合されて一つのメツセージとし、送信用バツフ
アメモリ24を通じ、信号合成回路25をバイパス（スル
ー）した形で送信回路26径由で送り出されてもよい。あ
るいはまた、送信が継続中に、音声入力回路31の出力を
直接音声コード化回路32に導き、ここで帯域圧縮などの
加工をして信号合成回路25で他の送信メツセージと混合
合成し、送り出してもよい。このときには、受信側端末
では、受信回路27のあとの信号弁別回路28が働き、音声
コードは音声認識回路33へ、他のメツセージは受信用バ
ツフア29に入る。音声認識回路33で認識された音声は、
そのまま音声出力回路34に導いてスピーカ35から受信音
声を流すこともできる。音声認識回路33には各種の機能
を持たせることができる。たとえば、圧縮された音声を
復元して出力する機能、復元した音声を周波数分析して
フオルマント周波数の大略値を出力する機能、母音部と
子音部を識別し、母音部に対しては「ア」〜「オ」の音
声コードを出力し、子音声に対しては破裂音や摩擦音な
どの各グループごとにたとえば破裂音コード、摩擦音コ
ードとして出力する機能、あるいはさらに、母音部・子
音部を完全に認識して文字コードとして出力する機能、
などである。このとき、音声認識回路33の出力を、文字
コードとしてフアイル13に蓄えたり、圧縮された音声を
そのまま出力してフアイル13に蓄えたり出来るので、本
端末装置を音声メール用端末としても利用できる。

音声認識装置33の出力は、表示制御回路11に直接導くこ
ともでき、従つて、認識結果である母音部の音声コー
ド、あるいは母音部と子音部の音声コード、あるいはま
た母音子音を含めて認識された文字コードとして、受信
とともに刻々と表示制御回路11に対して入力することが
できる。これによつて表示制御回路11が、対応する顔写
真画像または口唇部画像を画像バツフアメモリ12から選
択して表示する。画像バツフアは、複数面のバツフアか
ら構成されていてよく、この場合には、デイスプレイ装
置の走査位置座標に応じてバツフアを切り換える制御に
より、高速な動画表示が得られる。

一方、音声メツセージが他のメツセージと一体となつて
送信されたときには、この音声メツセージをマイクロコ
ンピユータ15が抜き出して、その制御によつて表示制御
回路に切換え信号を出すこともできる。また、この機能
によつて、文字コードに応じて画像を制御し、同じく文
字コードによつて音声出力回路34を制御すれば送られた
文章メツセージの読み上げも可能である。この機能は送
信すべきメツセージを作る際の編集作業においても、そ
の間違い個所をさがすための読み合せ機能として利用価
値がある。さらにまた、マイククロホン30から音声入力
回路31を径由して音声認識回路33へさらに表示制御回路
11へと通ずる経路によつて、自分発声で自分の顔画像を
動的に切換え表示でき、従つて音声を含むメツセージの
編集も容易に実行できる。

第４図は、以上のように構成された本発明の通信端末装
置に用いられる制御ソフトウエアのうちで、とくに本発
明に密接に関連した受信用ソフトウエアの一例のフロー
チャートを示したものである。受信された信号から、既
述のようなIDコードで、送信者を判定するとともに、顔
写真が送信されるかどうかを表わす様式判定を行い、送
信される場合には画像メモリに一時格納し、されない場
合には、端末装置中の画像フアイルから当該者の写真画
像データを探す。もし該当者の写真がフアイル中に保管
されていず、どうしても必要なときにはその送信要求を
出すこともできるが、必要なければそのままメツセージ
のみを出力する処理へと進むことができる。顔写真デー
タは、もし複数個の部分画像が整つていなければこれを
画像処理によつて作成し、整つていなければこれを画像
処理によつて作成し、整つていなければそのまま、画像
バツフアメモリに転送してそのうちの一つを表示する。
受信メツセージをたとえば文字ごとに一つずつデイスプ
レイ装置に出力する処理を実行するとともに、音声コー
ドに対しては音声認識装置を介して音声出力回路を起動
する。さらにその音声認識結果あるいは音声コードに対
応してたとえば画像バツフアメモリのアドレスを切換え
制御し、対応する教写真もしくはその部分画像を切換え
表示する。これらの処理をメツセージが終るまで繰返す
ことにより、臨場感のある通信機能が達成できる。

以上では顔写真を動的に切換える例について述べた。こ
の顔写真は、濃淡、カラー、二値のいずれかの画像であ
つてもよいし、また、線画による表現であつてもよい。
すなわち顔の輪郭、目鼻口などの輪郭から構成された線
画は、情報量も少なく、また表示も容易であるので、目
的によつては有効に利用できる。このとき、言葉の調子
を認識して目をつり上げたり、柔和な顔つきをするなど
の制御も可能である。

以上の端末装置の諸機能は、本発明の骨子をそこなわな
い範囲で、種々取捨選択可能であり、目的、用途に応
じ、多様な構成をとることがきる。また、顔の写真を用
いるため、通信犯罪の抑止効果も期待できる。さらにハ
ンデイキヤツプのある人の音声発声訓練用、聞き取り訓
練用など、福祉用途にも利用可能である。

〔発明の効果〕

以上述べたように、本発明によれば、より臨場感のあ
る、あるいはまた、より親しみのある通信が実行でき、
とくにLANと組合せた通信システムとして効果が大きい
ものである。

【図面の簡単な説明】

第１図は、本発明の端末装置に付属されたデイスプレイ
装置の表示画面の構成例を示す図、第２図は、本発明の
端末装置で利用できるIDカードの模式図、第３図は本発
明の端末装置の全体構成を示す図、第４図は本発明の端
末装置に用いる制御ソフトウエアの一例を示す流れ図。 １……画面、２……画像領域、４……IDカード、10……
デイスプレイ装置、11……表示制御回路、12……画像バ
ツフアメモリ、13……フアイル、14……バス、15……マ
イクロコンピユータ、22……カードスキヤナ、24……送
信用バツフアメモリ、26……通信回路、27……受信回
路、29……受信用バツフアメモリ、31……音声入力回
路、32……音声コード化回路、33……音声認識回路、34
……音声出力回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 柏岡 誠治 東京都国分寺市東恋ヶ窪１丁目280番地 株式会社日立製作所中央研究所内 (56)参考文献 特開 昭57−126000（ＪＰ，Ａ)

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数の通信端末装置から通信網を介して音
   声メッセージの送受信を行う音声メッセージの通信方法
   であって、 上記通信端末装置は、上記音声メッセージの送信者の顔
   画像を表示するディスプレイと、他の通信端末装置に音
   声信号を送信する音声信号送信手段と、他の通信端末装
   置より音声信号を受信する音声信号受信手段と、上記音
   声信号受信手段より受信した音声信号から少なくとも母
   音を抽出して音声を認識する音声認識手段とを備え、 上記通信端末装置において、 他の通信端末装置から送信された送信信号中より、もし
   くは、あらかじめ上記通信網の利用者の顔画像を格納し
   た画像ファイルより送信者の顔画像を抽出し、 上記送信者の顔画像について、上記発話の口唇形状に応
   じた口唇部の部分画像または複数の顔画像を合成し、 上記ディスプレイ上に上記送信者の顔画像を表示し、そ
   のとき、上記表示された顔画像は、上記音声認識手段に
   より認識された音声に応じて上記発話の口唇形状に応じ
   た口唇部の部分画像を顔画像に合成して表示される、ま
   たは、上記音声認識手段により認識された音声に応じて
   上記発話の口唇形状に応じた顔画像を選択して表示され
   ることを特徴とする音声メッセージの通信方法。
2. 【請求項２】特許請求の範囲第１項記載の音声メッセー
   ジの通信方法において、 上記画像ファイルは上記通信網の利用者の顔画像を利用
   者の識別コードに対応付けて格納しており、 上記通信端末装置において、 上記他の通信端末装置から送信された送信信号中に含ま
   れる送信者の識別コードにより送信者を識別し、 上記送信信号中に送信者の顔画像が含まれているかにつ
   いて判定し、 上記送信信号中に送信者の顔画像が含まれていない場合
   に、上記画像ファイルより上記送信者の識別コードを参
   照して上記送信者の顔画像を抽出することを特徴とする
   音声メッセージの通信方法。
3. 【請求項３】特許請求の範囲第２項記載の音声メッセー
   ジの通信方法において、 上記送信信号中に送信者の顔画像が含まれている場合に
   は、上記送信者の顔画像を上記送信者の識別コードに対
   応付けて上記画像ファイル中に格納することを特徴とす
   る音声メッセージの通信方法。
4. 【請求項４】複数の通信端末装置から通信網を介して音
   声メッセージの送受信を行う音声メッセージの通信方法
   であって、 上記通信端末装置は、上記音声メッセージの送信者の顔
   画像を表示するディスプレイと、他の通信端末装置に音
   声信号を送信する音声信号送信手段と、他の通信端末装
   置より音声信号を受信する音声信号受信手段と、上記音
   声信号受信手段より受信した音声信号から少なくとも母
   音を抽出して音声を認識する音声認識手段とを備え、 上記通信端末装置において、 他の通信端末装置から送信された送信信号中より、もし
   くは、あらかじめ上記通信網の利用者の顔画像を格納し
   た画像ファイルより送信者の顔画像を抽出し、 上記送信者の顔画像について、他の通信端末装置から送
   信された送信信号中に、もしくは、あらかじめ上記通信
   網の利用者の顔画像を格納した画像ファイルに発話の口
   唇形状に応じた口唇部の部分画像あるいは複数の顔画像
   が存在する場合には、上記送信信号中もしくは上記画像
   ファイルより発話の口唇形状に応じた口唇部の部分画像
   または複数の顔画像を抽出し、 上記ディスプレイ上に上記送信者の顔画像を表示し、そ
   のとき、上記表示された顔画像は、上記音声認識手段に
   より認識された音声に応じて上記発話の口唇形状に応じ
   た口唇部の部分画像を顔画像に合成して表示される、ま
   たは、上記音声認識手段により認識された音声に応じて
   上記発話の口唇形状に応じた顔画像を選択して表示され
   ることを特徴とする音声メッセージの通信方法。
5. 【請求項５】特許請求の範囲第４項記載の音声メッセー
   ジの通信方法において、 上記画像ファイルは上記通信網の利用者の顔画像を利用
   者の識別コードに対応付けて格納しており、 上記通信端末装置において、 上記他の通信端末装置から送信された送信信号中に含ま
   れる送信者の識別コードにより送信者を識別し、 上記送信信号中に送信者の顔画像が含まれているかにつ
   いて判定し、 上記送信信号中に送信者の顔画像が含まれていない場合
   に、上記画像ファイルより上記送信者の識別コードを参
   照して上記送信者の顔画像を抽出することを特徴とする
   音声メッセージの通信方法。
6. 【請求項６】特許請求の範囲第５項記載の音声メッセー
   ジの通信方法において、 上記送信信号中に送信者の顔画像が含まれている場合に
   は、上記送信者の顔画像を上記送信者の識別コードに対
   応付けて上記画像ファイル中に格納することを特徴とす
   る音声メッセージの通信方法。