JPH01190188A - 画像伝送方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［目　次］ 概要 産業上の利用分野 従来の技術（第１４図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作　用（第１図） 実施例 第１実施例の説明（第２〜７図） 第２実施例の説明（第８図） 第３実施例の説明（第９〜１３図） 発明の効果 ［概　要］ 人物の原動画像をその音声とともに伝送する画像伝送方
式に関し、 顔動画の情報をより圧縮できるようにしたものにおいて
、生成される日動画像に不自然な感じが残らないように
することと、加えて日動画像生成に必要な記憶容量をも
少なくできるようにすることを目的とし、 伝送されてきた音声情報より生成される口形符号系列に
対して、前後口形の影響による口形の例外変化を考慮し
た修正を加えるように構成し、更には音声情報中の音素
符号について音素符号数よりも少ない数の口形符号に変
換するように構成する。

［産業上の利用分野］ 本発明は、画像伝送方式に関し、特に人物の原動画像を
その音声とともに伝送する画像伝送方式テレビ（ＴＶ）
電話、ＴＶ会議等においては、最終的に公衆電話回線を
利用した伝送方式を採用することが目標とされており、
このため、得られた画像情報を可能な限り圧縮すること
が要望されている。

［従来の技術］ ＴＶ電話等において伝送される画像は、通常、人物の原
動画像であるが、かかる動画像情報は、第１４図に示す
ように、音声情報とは独立して伝送されるのが従来から
の方式である。

即ち、入力画像は、送信側においてＴＶカメラ６１によ
りアナログ画像信号として発生され、この画像信号は画
像符号化装置６２でディジタル信号に変換されて符号化
され圧縮されて受信側に送られる。受信側では、画像復
号化装置６３により受信画像を元の信号に復号化してデ
イスプレィ６４に出力画像として表示する。

また、入力音声は送信側でマイクロ５で音声情報として
得た後、音声符号化装置６６で音声特有の符号化を行な
って圧縮した後、受信側で音声復号化装置６７で復号化
されてスピーカー６８から出力音声として得られる。

［発明が解決しようとする課題］ このような従来から一般的に行なわれてきた動画像の伝
送方式は、動画像の情報量が大きいため、低ビツトレー
トの通信回線を利用することができず、コストが高くな
ってしまうとともに、公衆電話回線を利用したＴＶ電話
等の適用には程遠いという問題点があった。

そこで、送信側からは例えば顔の静止画情報を送り、受
信側で、送信側から送られてくる音声情報からこの音声
情報に適合するように、口の部分だけを変形させて、画
像を再生することも考えられる。

しかし、これでは単純に各音素に対する口形を連結表示
し、直前直後の口形の影響により生ずる例外的な口形（
音声の分野でいう、調音結合に当る）を考慮していない
ため、生成される日動画像に不自然な感じが残ってしま
うという問題点がある。

また、全音素に対する口形データをメモリに記憶させて
いるため、音素符号が多いことと相まつて、大きな記憶
容量のメモリを必要とするという問題点がある。

本発明は、このような問題点に鑑みなされたもので、顔
動画の情報をより圧縮できるようにしたものにおいて、
生成される日動画像に不自然な感じが残らないようにし
た、画像伝送方式を提供することを目的としている。

また、本発明は、上記の目的に加えて、日動画像生成に
必要な記憶容量をも少なくできるようにした、画像伝送
方式を提供することを目的としている。

［課題を解決するための手段］ 第１図は本発明の原理ブロック図を示す。

第１図において、２３は音素−口形符号変換手段、２４
は記憶手段、２５は口形符号修正手段、２６はコードブ
ック、２７は口形モデル変形手段２８は合成手段、２９
は音声情報遅延手段で、いずれも受信側に設けられる。

ここで、音素−口形符号変換手段２３は、送信側からの
音声情報中の音素符号について音素符号数よりも少ない
数の口形符号に変換するものである。

また、記憶手段２４は、音素−口形符号変換手段２３か
らの符号系列について例外変化が発生する例外符号系列
パターンとそのときの変化規則とを記憶するもので、口
形符号修正手段２５は、口形符号系列と例外符号系列パ
ターンとを照合比較して、口形符号系列を修正しつるも
のである。

さらに、コードブック２６は１口形符号に対応する口形
モデルのパラメータ値を記憶し、口形符号修正手段２５
からの口形符号系列を受けて、口形符号系列に対応する
パラメータ値を選択的に出力するもので、口形モデル変
形手段２７は、コードブック２６からのパラメータ値に
基づいて口形モデルを変形するものである。

合成手段２８は、口形モデル変形手段２７で変形された
口形モデルと、送信側からあらかじめ送られた静止顔画
像の口部分以外の画像とを合成するものである。

音声情報遅延手段２９は、送信側からの音声情報を口形
符号修正手段２５において生じる遅延時間と同じだけ遅
延させるものである。

［作　用］ 上述の構成により、受信側では、音素−口形符号変換手
段２３によって、送信側からの音声情報中の音素符号に
ついて音素符号数よりも少ない数の口形符号に変換され
、その後この音素−口形符号変換手段２３からの符号系
列と、この符号系列について例外変化が発生する例外符
号系列パターンとが照合比較されて、口形符号系列が必
要に応じて修正される。

そして、コードブック２６では、口形符号修正手段２５
からの口形符号系列を受けて、口形符号に対応する口形
モデルのパラメータ値が選択的に出力され、更には口形
モデル変形手段２７で、コードブック２６からのパラメ
ータ値に基づいて口形モデルが変形される。

そして、合成手段２８で、音声情報に合わせて変形せし
められた口形モデル画像が、送信側からあらかじめ送ら
れた静止顔画像の口部分以外の画像と合成されて、原動
画像が再生される。

［実施例］ 以下、図面を参照して本発明の詳細な説明する。

（ａ）第１実施例の説明 第２図は本発明の第１実施例を示すブロック図で、この
第１実施例では、送信部１０と受信部２０とが設けられ
、送信部１０は、顔画像入力を画像処理する画像処理部
１１と、音声入力を符号化する音声符号化部１２とを含
んでいる。

また、受信部２０は、背景画メモリ１９．音声復号化部
２１．音声認識部２２．音素−ロ形符号変換部２３．メ
モリ（記憶手段）２４９ロ形符号修正部２５．コードブ
ック２６２ロ形モデル変形部２７２合成部２８．遅延発
生部（音声情報遅延手段）２９を有している。

ここで、背景画メモリ１９は初期化時に送信側より送ら
れた１フレ一ム分の顔画像の静止画データを記憶し格納
するものである。

音声復号化部２１は送信部１０で符号化された音声符号
を復号化するもので、音声認識部２２は音声復号化部２
１から出力された音声信号を音声認識するものである。

音素−口形符号変換部２３は、音声認識部２２からの音
声情報中の音素符号（音声の基本構成単位である母音又
は子音等から成るもの）について音素符号数よりも少な
い数の口形符号に変換するものである。

すなわち、各種の言語において、複数の音素に対応する
口形が同じものである場合が多数存在する９例えば、日
本語におけるバ行の子音［ｐｌ、バ行の子音［ｂ］、パ
の子音［ｍｌは、それぞれｒＰＪで代表でき、夕、テ、
トの子音［ｔ］、ダ。

デ、ドの子音［ｄ］、ナ、ヌ、ネ、ノの子音［ｎ］は、
それぞれｒｔＪで代表でき、カ行の子音［ｋ］、ガ行の
子音［ｇ］、ハ、へ、ホの子音［ｈ］は、それぞれ「ｋ
」で代表できるというごとしである。

上記例の１つをとって説明すれば、パ、バ、マというと
きの口の形は、すべてパと同じであるのである。

従って、このように同じ口形を示す音素を１つのグルー
プにまとめ、これに対して１つの口形符号を割り当てる
のである。

これにより、この音素−口形符号変換部２３で、入力の
音素系列をより低次の口形符号系列に変換することがで
きる。

かかる音素符号−口形符号変換の概念を第３図に示す。

なお、この第３図において、ｍ＞ｎである。

また、メモリ２４は、音素−口形符号変換部２３からの
符号系列について例外変化が発生する例外符号系列パタ
ーンとそのときの変化規則とを記憶するもので、口形符
号修正部２５は、口形符号系列と例外符号系列パターン
とを照合比較して、口形符号系列を修正しうるちのであ
る。

すなわち、上記変化規則とは、直前がＡで直後がＣのＢ
はＤに変化するというもの（この規則をシンボルで示す
と、ＣＢＡ→Ｄとなる）や、直前がＥのＦはＧに変化す
るというもの（この規則をシンボルで示すと、ＥＦ−＋
Ｇとなる）などをいうのである。

具体的に例をあげると、次のようなものが考えられる。

［例１］ ［ｐ　］　＋　［ｙ　］　＋　［ａコ（ビヤ）→ｒ　ｐ
　Ｊ＋ｒ　ｉ　Ｊ＋ｒ　ａ　Ｊ［ｐコ＋［ｙｌ＋［ｕｌ
（ピュ）→ｒ　ｐ　Ｊ＋ｒｕ　Ｊ＋ｒｕ　Ｊ［ｐｌ＋［
ｙ］＋［ｏｌ（ピョ）→ｒｐＪ＋ｒｉＪ＋ｒｏＪ［例２
］ ［ｔｌ＋［ｏ１＋［Ｑ］＋［ｐｌ＋［ｕｌ（トップ）→
ｒｔＪ＋ｒｏＪ＋ｒｐＪ＋ｒｐＪ＋ｒｕＪ［ｔｌ＋［ｏ
］＋［Ｑコ＋［ｋｌ＋［ｕｌ（ドック）→ｒｔＪ＋ｒｏ
Ｊ＋ｒｋＪ＋ｒｋＪ＋ｒｕＪ［例３］ ［ｉ１＋［Ｑコ＋［ｔｌ＋［ｉ：］（イッチ）→ｒｉＪ
＋ｒｉＪ＋ｒｉＪ＋ｒｉＪ ［ｉ］＋［Ｑ］＋［ｔｌ＋［ｕｌ（イック）→ｒ　ｉ　
」＋ｒｕ　」＋ｒ　ｕ　Ｊ＋ｒ　ｕ　Ｊ例１における半
母音［ｙ］は基本的には［ｉ］を発音した口形符号ｒｉ
」に変換される（ビヤやピョの場合）が、後ろに母音［
ｕｌがきた時には、「ｕ」の口形符号となる。例２にお
ける［Ｑ］。

例３における［ｔｌなども前後の音によって異なる口形
符号となる。

従って、口形符号修正部２５では、音素−口形符号変換
部２３からの口形符号系列に対して、現時点人力符号よ
りいくつか前の入力系列を用いて、あらかじめメモリ２
４内で設定された例外処理パターンとの照合を行ない、
一致が検出された場合には、その例外処理規則に従って
、口形符号系列に修正を加えるのである。かかる例外処
理修正の例を、上記のＣＢＡＤＤおよびＥＦ−）Ｇにつ
いて示すと、それぞれ第４，５図のようになる。

さらに、コードブック２６は、口形符号１．ｎ。

・・９ｍに対応する口形モデルのパラメータ値Ｐｌｊを
記憶し、口形符号修正手段２５からの口形符号系列を受
けて、口形符号系列に対応するパラメータ値を選択的に
出力するものである。そして、このコードブック２６に
は、第６図に示すように、特定の話者における口形符号
１．ｎ・・・２ｍに対する口の形状をパラメータ■　（
例えば口の横幅）。

■（例えば唇の厚さ）、・・・ｔｎ（例えば口の縦幅）
として数値化したテーブルが予めその個人情報として記
憶されている。ここで、例えば、口形符号”ｌ、ｎ、Ｈ
に対する口画像の一例を模式的に示すと、第７図（ａ＞
、（ｂ）、（ｃ）のようになる。

このように、このコードブック２６には、上述した低次
の口形符号に対してだけパラメータ値を記述すれば良い
ため、全音素符号に対するコードブックよりも占有する
記憶領域が小さくて済む。

さらに、口形モデル変形部２７は、コードブック２６か
らのパラメータ値に基づいて口形モデルを変形するもの
である。なお、口形モデル変形部２７は、その個人情報
として予めその特定話者の１画面（１フレーム）分の口
画像データを送信側からもらい、これを口の幾何学的形
状の骨組となるパッチ・モデルにマツピングしたものを
口形モデル画像として記憶しておく。このように、最初
に送信部１０から目部分の画像を１画面分送っておく場
合でも、コードブック２６は予め作っておく必要がある
。

合成部２８は、口形モデル変形部２７で変形された口形
モデルと、送信側からあらかじめ送られた静止顔画像の
口部分以外の画像とを合成するものである。

また、遅延発生部２９は、音声復号化部２１からの音声
情報を口形符号修正部２５において生じる遅延時間と同
じだけ遅延させるものである。すなわち、口形符号修正
部２５では、口形符号の修正に際し、口形符号１つ分に
相当する遅延が生じるので、音声にもこれと同じ遅延を
生じさせることにより、画像と音声との同期をとるので
ある。

次に、この第１実施例の動作を説明するゆ音声入力は音
声符号化部１２で符号化されて受信部２０に伝送される
が、この音声符号は音声復号化部２１で復号化されて遅
延発生部２９を介して音声として出力される。

また、一方において、この音声出力は音声認識部２２に
送られ、その音素符号が逐次抽出されて音素−口形符号
変換部２３へ送られる。

そして、この音素符号系列は、音素−口形符号変換部２
３で、より低次の口形符号系列に変換される。ついで、
この音素−口形符号変換部２３からの口形符号系列は口
形符号修正部２５に入力され、メモリ２４にあらかじめ
記憶された例外発生パターンとマツチングがとられ、一
致があった場合は、メモリ２４に記憶された修正ルール
に従って、修正された口形符号をコードブック２６へ出
力し、一致がない場合は、入力符号をそのままフードブ
ック２６へ出力する。

コードブック２６では、入力された口形符号に基づいて
第６図に示すコードブックの中から対応する口形に関す
る１組のパラメータ１．ｎ、・・・。

ｎを選択する。そして、これらの選択された１組のパラ
メータにより、予め記憶した口形モデル画像を変形した
口画像を口形モデル変形部２７で発生する。この結果、
発生された口画像と音声認識部２２で抽出された口形符
号との対応関係は第７図（ａ）、（ｂ）、（ｃ）に示す
ようになる。

その後は、このようにして変形して発生された口画像が
、合成部２８で、背景画メモリ１９に記憶された静止顔
画像の０以外の画像と合成されて、顔全体の動画像とし
て出力される。

一方、口形符号修正部２５で生じた遅延情報が遅延発生
部２９に送られているので、この遅延発生部２９で、音
声情報が遅延されて出力される。

これにより音声出力と画像情報との同期がとられる。

これにより、顔動画の情報をより圧縮できるので、情報
量を大きく削減することができ、その結果、低ビツトレ
ートの回線を利用した低置な画像伝送方式を実現できる
ほか、前後口形による口形の例外変化を考慮することに
より、単純に各音素に対応する口形を規則合成した場合
に比べて、より自然な口の動画像を生成することができ
る。

また、コードブック２６を音素符号より符号数の少ない
口形符号に対して記述すれば良いため、コードブック用
の記憶領域を節約できる効果も得られる。

なお、上記の口形モデル変形部２７での口形モデル画像
の変形に用いられる手法は、信学技報工Ｅ８７−２．第
８７巻、第１９号、１９８７に記述されている。

（ｂ）第２実施例の説明 第８図は本発明の第２実施例を示すブロック図であるが
、前述した第２図の第１実施例と異なる点は、送信部１
０に音声認識部１３を設け、送信側で音素符号とその他
の情報（イントネーション、ピッチ等）とに分離して受
信部２０に送り、受信部２０では、音素符号をそのまま
口形符号修正部２５で用いるとともに音素符号とイント
ネーション等の情報とを音声合成部３６で合成して音声
出力を発生していることである。その他の構成および動
作は第２図の場合と同様である。従って、この第２実施
例においても、前述の第１実施例と同様の効果ないし利
点が得られる。

（ｃ）第３実施例の説明 ところで、以上の各実施例では、予め記憶されたコード
ブック２６は予め決められた話者固有のものであるため
、不特定多数の人物の口画像を伝送しようとすると、コ
ードブックに記憶された全口形符号を、話者が変わる度
にその話者に適合させるための書き換え処理を行なうか
、または、登録されている話者のコードブック情報をす
べて記録しておくための膨大なメモリ領域をコードブッ
クに用意しておかなければならない。

そこで、以下に示す第３実施例では、コードブックを不
特定の話者に合わせて用いることができるようにした。

即ち、第９図に示すように、標準的な人間の全音素を発
音した字の口形に対する口形モデルの各パラメータ値を
測定して標準コードブックを作成し、このコードブック
内の各パラメータ値を予め決めた基本音素符号（例えば
無音符号）に対応する口形符号のパラメータ値で正規化
（割算）してパラメータ後とに正規化したコードブック
を作る（第１０図参照）。

そして、第１１図に示すように、基本音素符号に相当す
る口形符号に対応する個人の口画像から１組のパラメー
タを測定し、パラメータ毎に第１０図のように求めた正
規化されたコードブックの全口形符号に対する各パラメ
ータに乗算することにより個人用のコードブックが作成
できることとなる。即ち、例えば、得られた１組の個人
自画像パラメータがｂ□、〜ｂ１ｎとすれば、第１０図
において口形符号■でパラメータ■の正規化コードａ２
□／ａ工、には上記のパラメータｂ０□が掛けられて（
ａ２□／　ａ　１□）ｂｉｔというコードに変換され、
同様にしてパラメータＩに関してはパラメータｂ１□が
全口形符号に関して乗算されることとなる。

第１２図はかかる個人用のコードブックを作成するため
の初期化装置３０を設けた第３実施例を示すブロック図
であるが、この初期化装置３０でコードブック２６を個
人用に初期化することにより不特定多数の話者の原動画
像を再生するものである。

そして、この初期化装置３０の具体的な構成が第１３図
に示されており、最初に送信部１０の画像処理部１１か
ら顔画像中の基本音素符号（この場合、無音符号）に対
応する口形符号の口画像が送られてきた時、この初期化
装置３０では、特徴点抽出部３１でその口画像の特徴点
を抽出する。

そして、この特徴点間距離等からパラメータ計算部３２
で１組のパラメータを計算する。この１組のパラメータ
を第１０図に示すように正規化コードブックメモリ３３
に予め用意しておいた正規化コードブックの各パラメー
タ毎の乗算を乗算器３４で行なって個人用コードブック
メモリ３５を作成してコードブック２３に格納する。

以後、その個人の口面像伝送の際に参照されることとな
る。

このように、用意したコードブックを話者毎に更新でき
るように初期化装置３０を設けたので、不特定多数の話
者に対しても容易に対応することが可能と成る。

なお、この初期化装置３０は、第８図に示すような実施
例にも同様に適用される。

［発明の効果］ 以上のように、本発明の画像伝送方式によれば、顔動画
の情報をより圧縮できるので、情報量を大きく削減する
ことができ、その結果、低ビツトレートの回線を利用し
た低置な画像伝送方式を実現できるほか、前後口形によ
る口形の例外変化を考慮することにより、単純に各音素
に対応する口形を規則合成した場合に比べて、より自然
な口の動画像を生成できる利点がある。

また、コードブックを音素符号より符号数の少ない口形
符号に対して記述すれば良いため、コードブック用の記
憶領域を節約できる効果も得られる。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、 第２図は本発明の第１実施例を示すブロック図、第３図
は音素−口形符号変換部での作用を説明する図、 第４，５図はいずれも口形符号修正部での例外処理例を
示す図、 第６図はコードブックの構成図、 第７図（ａ）、（ｂ）　、（ｃ）は口形符号に対する口
画像を示す図、 第８図は本発明の第２実施例を示すブロック図、第９図
は本発明の第３実施例における正規化コードブックの作
成手順を示す図、 第１０図は正規化コードブックの構成図、第１１図は本
発明の第３実施例における個人用コードブックの作成手
順を示す図、 第１２図は本発明の第３実施例を示すブロック図、 第１３図は初期化装置のブロック図、 第１４図は従来の一般的な画像伝送方式を示す系統図で
ある。 図において、 １０は送信部、 １１は画像処理部、 １２は音声符号化部、 １３は音声認識部。 １９は背景画メモリ、 ２ｏは受信部、 ２１は音声復号化部、 ２２は音声認識部、 ２３は音素−口形符号変換部、 ２４はメモリ（記憶手段）、 ２５は口形符号修正部、 ２６はコードブック、 ２７は口形モデル変形部、 ２８は合成部、 ２９は遅延肩生部（音声情報遅延手段）、３０は初期化
装置、 ３１は特徴点抽出部、 ３２はパラメータ計算部、 ３３は正規化コードブックメモリ、 ３４は乗算部、 ３５は個人用コードブックメモリ、 音素−口形符号を揉皆鮫ｊイ乍用ｌえ明する口笛３図 （入力符号）　濯合され】糸孕１）　　（武力前号）例
外飢理４！正例Ｙ示１０ 第４図 （入力符号）　　（殆１れｌダＤ　（入力符号２令’ｌ
外矩王甲イ１腎正奪ＩＩ乞示す圀コードブ・ソワの才真
底国 第６図 口形右前■　　　　　ロ形質号■　　　　口形符号■（
ａ）　　　　　　　（ｂ）　　　　　　　（Ｃ）ロ形７
牙号；ぴ寸オろロ山イ家′ｌホす刀第７図 正犬見化コード゛ブッワイ丁八’／１手Ｐル薯かす口笛
９図 正夫楚化コートブックー月１への 第１０図 イ固人用コーＦ“ブ’＝ン’ｌイ丁へ′今１１１財ホす
レコ第１１図 １緬 ヤ暫 ＠−？。 口

Claims (2)

【特許請求の範囲】
1. （１）人物の顔動画像を音声情報と共に送信側（１０）
   から受信側（２０）に伝送する画像伝送方式において、 該受信側（２０）に、 該送信側（１０）からの音声情報中の音素符号系列から
   得られる口形符号系列について例外変化が発生する例外
   符号系列パターンとそのときの変化規則とを記憶する記
   憶手段（２４）と、 該口形符号系列と該例外符号系列パターンとを照合比較
   して該口形符号系列を修正しうる口形符号修正手段（２
   ５）と、 口形符号に対応する口形モデルのパラメータ値を記憶し
   該口形符号修正手段（２５）からの口形符号系列を受け
   て該口形符号系列に対応するパラメータ値を選択的に出
   力するコードブック（２６）と、該コードブック（２６
   ）からのパラメータ値に基づいて該口形モデルを変形す
   る口形モデル変形手段（２７）と、 該口形モデル変形手段（２７）で変形された該口形モデ
   ルと該送信側（１０）からあらかじめ送られた静止顔画
   像の口部分以外の画像とを合成する合成手段（２８）と
   が設けられると共に、 送信側（１０）からの音声情報を該口形符号修正手段（
   ２５）において生じる遅延時間と同じだけ遅延させる音
   声情報遅延手段（２９）が設けられたことを特徴とする
   、画像伝送方式。
2. （２）人物の顔動画像を音声情報と共に送信側（１０）
   から受信側（２０）に伝送する画像伝送方式において、 該受信側（２０）に、 該送信側（１０）からの音声情報中の音素符号について
   音素符号数よりも少ない数の口形符号に変換する音素−
   口形符号変換手段（２３）と、 該音素−口形符号変換手段（２３）からの符号系列につ
   いて例外変化が発生する例外符号系列パターンとそのと
   きの変化規則とを記憶する記憶手段（２４）と、 該口形符号系列と該例外符号系列パターンとを照合比較
   して該口形符号系列を修正しうる口形符号修正手段（２
   ５）と、 口形符号に対応する口形モデルのパラメータ値を記憶し
   該口形符号修正手段（２５）からの口形符号系列を受け
   て該口形符号系列に対応するパラメータ値を選択的に出
   力するコードブック（２６）と、該コードブック（２６
   ）からのパラメータ値に基づいて該口形モデルを変形す
   る口形モデル変形手段（２７）と、 該口形モデル変形手段（２７）で変形された該口形モデ
   ルと該送信側（１０）からあらかじめ送られた静止顔画
   像の口部分以外の画像とを合成する合成手段（２８）と
   が設けられると共に、 送信側（１０）からの音声情報を該口形符号修正手段（
   ２５）において生じる遅延時間と同じだけ遅延させる音
   声情報遅延手段（２９）が設けられたことを特徴とする
   、画像伝送方式。