JPH07109996B2 - 知的音声画像情報伝送方式 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は音声，画像情報を高能率に伝送する知的音声
画像情報伝送方式の改良に関するものである。

〔従来の技術〕

第６図は例えば電子情報通信学会技術報告IE87-1に示さ
れた従来の知的伝送系における画像の知的符号化器の構
成を示すブロック図であり、図において、11は入力画像
信号111の内容を認知，理解し、認知情報112として出力
する分析器、12は前述の認知情報112と音声などの異種
情報113とから入力画像の概念や意味を推論して、推論
情報115を出力する推論器、13は認知情報112と推論情報
115とから画像を合成して出力信号114とする合成器であ
る。

次に動作について説明する。

分析器11は入力画像信号111から画像の構造情報を抽出
し、認識した結果をパラメータ情報として伝送する際、
例えば入力画像が人間の顔画像に限定されている場合
は、人間の顔が構造的にどのように変化したかを抽出
し、これを意味情報として伝送する。この際、画像の内
容そのものをパラメータ化して伝送することから、認知
情報112のビットレートは超低レートとなり得る。

また、伝送路において前述の認知情報112の一部が歪ん
で劣化した場合、この情報112は画像の内容そのものに
ついての情報であることから、合成器13で所定の合成画
像が再生できない可能性が大きい。このため、音声等の
異種情報113とこの認知情報112とから再生すべき画像の
内容，構造等を推論し、推論結果として推論情報115を
出力する推論器12が必要となる。

次に、前述の推論情報115を参照して認知情報112の一部
あるいは全部を改正して合成画像信号114を出力する合
成器13では閾値処理，コンピュータグラフィックス処理
の他にも多くの画像処理が行われる。

〔発明が解決しようとする課題〕

従来の知的音声画像情報伝送方式は上述のように、知的
符号化器を伝送路の入力，出力側に配置しただけのもの
であるため、これを実際に通信網内に構築する具体性に
欠けているのみならず、出力の合成画像が受信側でどの
ようなものになっているかについて送信側が感知する手
段もなく、実際に、発信者の全く意図しない画像が受信
側に出力された場合、コミュニケーション上、重大な障
害を発生する危険性も多分にあり、送信側に対して確実
に出力画像の内容を確認できるようにすることが課題と
してあった。

この発明は上記のような問題点に鑑みてなされたもの
で、発信側が受信側の画像出力，音声出力を常に監視で
きるとともに、実際にネットワーク網に組み入て超低レ
ートでの伝送ができる知的音声画像情報伝送方式を実現
することを目的とする。

〔課題を解決するための手段〕

この発明に係る知的音声画像情報伝送方式は、ネットワ
ーク全体の監視を行い、ネットワーク上の各端末に対し
て情報を伝送するセンタと、伝送情報を各端末別に分類
し伝送するパケット交換機（PBX）と、固有のデータベ
ースを持つ端末とを設け、センタからパケット化した音
声，画像のパラメータ情報を伝送し、これをPBXによっ
て各端末ごとに分類して伝送し、各端末では自分宛のパ
ラメータ情報を受け取り、これらの内容を固有のデータ
ベースから検索して出力する一方、各端末からは出力し
た音声，画像情報をデータベース中のインデックス番号
の組み合わせで記号化し、これらを端末側からのユーザ
ーの指示信号に多重化してPBXに送出する。PBXではこの
インデックス記号列とPBXから各端末に対して送出され
た信号列とを比較し、両者が一致していれば、所定の音
声，画像情報が出力されたことの確認を得たことになる
一方、両者が一致していなった場合には、伝送路上の雑
音等によって情報が正しく伝送されなかった可能性が大
きいので、再度、同端末に対してインデックス記号列を
伝送し、確認が取れるまで上記の動作を反復するように
したものである。

〔作用〕

この発明においては、知的音声画像情報伝送方式を上述
のように構成したので、一部の端末間での伝送が障害を
発生していてもこれがネットワーク全体に大きな影響を
与えることがない。またセンタ側では各端末に対して一
番最近に情報を伝送した時間を記憶しているので、一定
時間以上、指示信号が戻ってこない時にはその端末間の
伝送路上、または端末装置に障害が発生していることを
検知して、以後その端末に対しては伝送しないので、障
害検知だけでなく、ネットワーク全体のデータ伝送の効
率化を図ることができる。

〔実施例〕

以下、この発明の一実施例を図について説明する。

第１図は本発明の一実施例における知的音声画像情報伝
達方式を示すネットワーク図であり、図において、１は
各端末に対して送出する情報を選び、同時にネットワー
ク全体の監視を行うセンタ、２は該センタ１からの情報
信号列を各端末ごとに分類して伝送する知的パッケト交
換機（PBX）、3,4,5,6は端末装置、7,8,9,10はそれぞれ
該端末装置3,4,5,6に付随した固有のデータベースであ
る。

次に動作について説明する。

まず、センタ１からセンタ出力信号101をPBX2に対して
送出するが、このセンタ出力信号101は第２図のように
端末を識別するための宛先（アドレス）の後にその端末
が出力すべき音声，画像情報をパラメータ化したデータ
列を付加したものである。また、これらのデータ信号は
いずれもパケット化してある。

次に、PBX2ではセンタ１から受け取った上記センタ出力
信号101を各端末ごとに宛先に従って分類し、所定の端
末にPBX出力信号103,105,107,109を出力する。第２図は
このPBX2出力信号のうち、端末1-3に対するPBX出力信号
103の内容を示しており、以下、これについて説明す
る。

まず、この信号中にある音声選択情報とは、知識データ
ベース７中に記憶された数種類の音声パターンからどれ
を用いるかを示すものであり、同様に画像フレーム選択
情報とは、データベース７中に記憶された画像パターン
からどれを用いるかを示すものである。また、音声イン
デックス情報とは、前述の音声選択情報によって選出さ
れた音声パターンのうちのどの音声を出力するかに関す
る情報であり、端末からはこのインデックス情報に相当
する音声が出力されることになる。最後の３次元構造特
徴点座標情報であるが、これは例えば、対象画像が人間
の肩から上の顔画像である場合、顔全体を多角形の集合
からなる３次元の構造モデルに分割し、各多角形の交点
をx,y,z座標値で表わしたものであり、これらの値を動
かすことで表情の変化等を合成することができる。従っ
て、顔画像に変化がない時には、この３次元構造特徴点
座標情報には先頭ビットに‘0'を付加するだけで、実際
のデータは空で良い。なお、図ではPBX各出力信号のう
ち、103の信号だけを示したが、他のPBX出力信号105,10
7,109のデータ構造は103と全く同様であり、これを構成
する情報の内容のみが端末ごとに異なることになる。

次にPBX出力信号103を受信した端末1-3ではこの信号か
ら各情報パラメータを抽出し、そのインデックス番号を
固有のデータベース1-7から検出し、その音声，画像情
報を端末から出力することになる。

なお、このデータベース1-7は第２図の103の信号の情報
に相当する音声パターンと画像パターンとを第４図，第
５図の構成でベクトル情報として登録している。例え
ば、第４図の“ｍ×n"個からなる音声情報でｍ個のパタ
ーンはいわゆる「異なる人物の声」に相当し、この場合
ｍ人分の声を男女含めて登録していることになる。ま
た、音声インデックス（音節）に対応する音声情報は個
々の音節、例えば「あ」，「い」等の一音節ごとの音声
情報である。

第５図はデータベースの画像パターンのメモリ構造図で
あり、画像の色や彩度を決定する濃淡情報，画像の３次
元構造モデルとをＫ個ずつ持つことを示している。但
し、上記音声情報は人間の声である必要はなく、鳥の鳴
き声もしくは動物の声等でも代替できる。

以下、続いて、端末側からセンタ１へのデータの流れを
説明する。

まず、音声，画像を出力した端末1-3は、該端末1-3から
の音声やボタン押下における所定のデータ信号列が含ま
れるユーザーの指示信号の先頭に、１ビットの信号
（‘0'か‘1'）を付加して端末出力信号104としてPBX2
に送出する。ここで、この端末出力信号104を第３図に
示す。なお、他の端末の端末出力信号106,108,110も上
記端末出力信号104と全く同様の構成を取り、その情報
の内容のみが端末ごとに異なるものである。

PBX2では該端末出力信号104とPBX出力信号103とを比較
し、両者が等しければビット‘0'を、等しくなければビ
ット‘1'をユーザー指示信号の前に付加する。これが上
述したセンタ入力信号102の１ビット情報、‘0'または
‘1'の意味である。次いで、PBX2では各端末から送出さ
れてくる端末出力信号を到着した順に並べ、一定時間間
隔をおいてセンタ１側へセンタ入力信号102として伝送
する。センタ入力信号102を受信したセンタ１はこの１
ビット情報から同端末に所定の音声，画像出力が得られ
たか否かを検知するとともに、所定時間経過後も正常動
作が確認できない場合には、同端末に対してはデータ伝
送が実行されないようにすることができる。またセンタ
１では自動認識技術を用い、各端末からのユーザー指示
信号の内容を理解して、次の指示情報を伝送することに
なるが、これはすべてセンタ１の持つデータベース20に
登録されているパターンとのパターン・マッチングを取
り、最少歪みを与える情報を伝送するものであるが、人
間が監視して直接指示情報を与えても良い。

なお、上記実施例では各端末ごとに固有のデータベース
を有する構成にしたものを示したが、端末側のデータベ
ースの配置はこれに限るものではなく、例えば、第７図
のように各端末共通のデータベース21として設けてもよ
い。

また、PBX2の出力信号103の構成で音声情報のみを伝送
して、画像モデルはこの音声情報から端末側データベー
スを用いて合成するようにしてもよい。この場合、音声
情報に多くの画像パターンを対応させて端末側データベ
ースの中に記憶させておく必要があるが、上記実施例と
同様の効果を奏する。

〔発明の効果〕

以上のように、この発明に係る知的音声画像情報伝送方
式によれば、知的符号化技術をセンタと端末間に応用
し、ネットワークの中にセンタ,PBX,端末，データベー
スを構成し、伝送路上のデータをパケット化し、上記PB
Xで高速のパケット交換を行うようにしたので、セン
タ，端末間で高速な送受信ができるとともに、各端末の
出力状態を常に監視することができ、障害対策も万全を
期しながら、端末に様々な音声，画像を超低レートで提
供することができる。

【図面の簡単な説明】

第１図はこの発明の一実施例による知的伝送方式を示す
ネットワーク構成図、第２図はセンタからPBX、さらに
端末に至る送信信号のデータ情報の構成図、第３図は逆
に端末からPBX、センタへ至る受信信号のデータ情報の
構成図、第４図は端末固有のデータベースの音声パター
ン情報のメモリ構造図、第５図は同じくデータベースの
画像パターンのメモリ構造図、第６図は従来の知的符号
化の伝送系を表わすブロック図、第７図はこの発明の他
の実施例を示す知的伝送方式のネットワーク構成図であ
る。 図中、１はセンタ、２は知的PBX、３〜６は各端末、101
はセンタ出力信号、102はセンタ入力信号、103,105,10
7,109は知的PBX出力信号、104,106,108,110は端末出力
信号、７〜10は各端末固有のデータベース、21は端末共
有のデータベース、20はセンタが有するデータベースで
ある。 なお図中同一符号は同一又は相当部分を示す。

Claims (1)

【特許請求の範囲】
1. 【請求項１】ディジタル化された音声信号から音韻情報
   を、画像信号から対象物体の構造情報，濃淡情報を抽出
   し、これらをデータベースに登録し、該データベースを
   送信側と受信側がそれぞれ備えることにより、送受信間
   で音声，画像情報の伝送を行う際、送信側が上記データ
   ベース中に登録された音声，画像情報の代表インデック
   ス番号を送信することで、受信側に所定の音声，画像出
   力が得られる知的音声画像情報伝送方式において、 複数の利用者端末に対して前記音声，画像情報のインデ
   ックス番号をパラメータ情報としてパケット多重化伝送
   するセンタと、 前記多重化されたパラメータ情報を各利用者端末別に設
   定された伝送路上に送出するパケット交換機と、 該パケット交換機から送出されたパラメータ情報と、固
   有のデータベース中に登録された音声，画像情報とのマ
   ッチングを取り、最少歪みを与える音声，画像情報を復
   号化出力として出力する利用者端末とを通信網内に備え
   たことを特徴とする知的音声画像情報伝送方式。