JP2669354B2 - 代表動画像の生成および更新と動画像の符号化復号方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は蓄積された代表動画像を
用いた動画像の符号化復号方式および代表動画像の生成
・更新に関するものである。

【０００２】

【従来の技術】画像を波形信号として捉えそれを忠実に
符号化復号することを目的とするＩＴＵ−ＴのＨ．２６
１規格のような符号化方式とは異なる原理に基づく符号
化方式として、特願平５−３３３９９１号記載の「動画
像の再現装置および符号化・復号システム」では、予め
蓄積された動画像を繋合わせることによって、動画像を
再現する方式が説明されている。この方式の概略を説明
する。符号化器は、画像や音声信号、各種のセンサー信
号などの被写体情報から、画像中で最も重要な物体がど
のような動きをしているかという動きパラメータを取り
出して、それを復号器へ伝送する。復号器には、あらか
じめその通信で必要な典型的なシーン、例えばテレビ電
話ならば人がうなずいたり手を振ったりするシーンなど
を蓄えておき、送られて来る動き信号にしたがって適切
なシーン、笑っているなら笑うシーンを、右を向いたな
らば右を向くシーンを取り出して来て、それらをなめら
かに繋ぎ合わせて動画像を再現する。複数の物体から原
画像が構成されている場合には、それらを分離してから
個々に符号化する。

【０００３】

【発明が解決しようとする課題】このような典型的な動
画像シーンを蓄えておき、それをつなぎ合わせて動画像
を再生する方式では、どのような動画像を蓄積しておく
かによって、その符号化性能が決定される。特願平５−
３３３９９１号に記された方法では、あらかじめ使われ
そうな典型的なパターンを蓄積しているが、この状態で
は、必要な動画像が全て網羅されているとは限らず、ま
た不要なシーンが入っているなど、蓄積された代表動画
像は最適化されている状態とはいえない。これでは、十
分に満足できる動画像を再生できない可能性があるばか
りでなく、動画像蓄積装置の使用効率からいっても無駄
が多い。この方式で良好な性能を得るためには最適代表
動画像群の構築手段の確立が必要である。

【０００４】また、特願平５−３３３９９１号記載で
は、動きパラメータを抽出してそれを符号化している。
復号器ではその動きパラメータから動画像の再現を行わ
なければならないため、復号器での処理内容が非常に多
いという問題点がある。また、一般にこうした画像符号
化での必要最低限な情報は動きパラメータではなく、実
際にどの代表動画像シーケンスを選択すれば良いかとい
う情報であり、特願平５−３３３９９１号記載の復号器
は種々の形式の動きパラメータで動作でき、既存の種々
の動き補償技術を用いた符号化器との互換性を確保でき
る代わりに、伝送情報圧縮という観点からみると無駄な
情報を送っているという問題点がある。

【０００５】さらに、特願平５−３３３９９１号記載の
発明では、蓄積されていない動画像が必要になった場合
には、復号器が動画像の蓄積数が足りないという判定を
行ない、新しい動画像シーンの送信要求を出している。
これによって予想外の画像が符号化器に入力された場合
でも対処できるようにして、発明の用途を広げている。
しかし、送信要求に基づいて画像が実際に伝送されて来
るまでの間、比較的近似した代表動画像で代用しなくて
はならない。また、符号化器には、後になって送られて
来るかもしれない画像送信要求に対処するため、原画像
を一時的に蓄積しておく必要があり、任意映像の即時再
生および符号化器実装の容易性の二点で問題がある。

【０００６】本発明の目的は、第１に、符号化効率の高
い代表動画像を作り出す手段を提供し、第２に、従来の
蓄積された代表動画像を用いた画像符号化方式より簡単
な構造で復号器を構成できなおかつ伝送符号量を減らす
ことができる符号化方式を提供し、第３に、蓄積されて
いない動画像シーンに対しても効率的かつ即時的に動画
像を再現できる画像符号化方式を提供することにある。

【０００７】

【課題を解決するための手段】第１の発明の代表動画像
の生成または更新方式は、代表動画像記憶する手段と、
原画像から原画像中の主要物体の動き情報を抽出する手
段と、前記抽出された動き情報と前記代表動画像の動き
情報との動きの相関を計測する手段と、前記抽出された
動き情報を用いて原画像に含まれる動画像シーンを切り
出す手段と、蓄積されたそれぞれの代表動画像の発生頻
度を記憶する手段と、前記相関および発生頻度をもと
に、前記切り出した動画像シーンで前記代表動画像を更
新するかどうかの判定を行う手段を備える。

【０００８】第２の発明の動画像の符号化復号方式は、
同一の代表動画像を記憶する手段を符号化器と復号器が
備え、符号化器は、原画像から動き情報を抽出する手段
と、前記抽出された動き情報と前記代表動画像の動き情
報の相関を計測する手段と、前記相関に基づき最も近似
している代表動画像の選択信号を出力する手段をも備
え、復号器は、前記代表動画像の選択信号に基づき代表
動画像を読出しそれを表示する手段もを備える。

【０００９】また、第３の発明の動画像の符号化復号方
式は、第２の発明において、符号化器は、第１の発明で
ある代表動画像の生成更新手段をも備え、復号器は代表
動画像更新情報を受け、記憶している代表動画像を更新
する。

【００１０】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００１１】図１は第１の発明の代表動画像の生成およ
び更新方式の一実施例を示すブロック図である。

【００１２】本実施例の代表動画像の生成および更新方
式は、図１に示すように、入力として与えられる原画像
１０１を用いて、典型的なシーンとして蓄積すべき代表
動画像を記憶している代表動画像記憶回路１５の記録内
容を逐次更新するものであり、代表動画像記憶回路１５
の他に、原画像から動き情報を抽出する動き情報抽出回
路１０と、抽出された動き情報を用いて画像をシーン毎
に切り分ける画像シーン抽出回路１１と、代表動画像の
個々のシーンの発生頻度を保持している動き頻度記憶回
路１２と、抽出された動きと代表動画像記録回路１５に
記憶済みの動きとの相関を計算する動きの相関計測回路
１３、および相関と発生頻度をもとに代表動画像として
蓄積すべき動画像を決定する代表動画像選択回路１４か
らなる。

【００１３】本実施例の動作を説明する。入力として与
えられる原画像は、特定の物体が種々の動作を行なって
いるものであり、用途に応じて適切に選択される。たと
えば、ある人のテレビ電話用の蓄積動画像を作成する場
合には、その人が実際に電話をしている動画像が用いら
れる。原画像１０１は動き情報抽出回路１０に入力さ
れ、画像中の物体の動き情報１０２が抽出される。物体
の動き情報１０２としては、例えばその物体が画像中で
どのくらい動いたかという動きベクトルなどを用いるこ
とができる。得られた物体の動き情報１０２は画像シー
ン抽出回路１１、動き頻度記憶回路１２および動きの相
関計測回路１３で用いられる。画像シーン抽出回路１１
では、物体の動き情報１０２の連続性に着目して画像を
シーン毎にきり分ける。即ち同じ動きが継続している間
は同一シーンと見做す。物体の動き情報１０２として動
きベクトルを用いた場合には、その方向が同一である間
を一シーンとする。こうして得られた抽出画像シーン１
０６は代表動画像選択回路１４に送られる。以下の代表
動画像更新処理はこのシーンを単位として行われる。動
きの相関計測回路１３では、物体の動き情報１０２と、
代表動画像記憶回路１５中の種々の代表動画像の動き情
報１０３の間で動きの相関を計算する。これは例えば、
それぞれの動きを空間内の３次元ベクトルとしてとらえ
正規化し、ベクトルの内積を計算することによって求め
られる。２つのベクトルの内積が小さい場合には、両者
の相関は小さいということになる。それぞれの代表動画
像との相関は、代表動画像の動きと物体の動きの相関情
報１０４として出力される。代表動画像選択回路１４
は、代表動画像の動きと物体の動きの相関情報１０４の
全てが一定の登録閾値以下の場合には、それを全く新し
いシーンとみなし、代表動画像更新情報１０７として、
更新命令および抽出画像シーン１０６を送る。そうでな
い場合には、最も大きな相関値であった既存の代表動画
像と同一であると見做す。動き頻度記憶回路１２は、蓄
積されている各代表動画像の発生頻度１０５を保持して
いる。代表動画像選択回路１４は、シーン判定結果にも
とづき動き頻度更新情報１０８を出力する。動き頻度記
憶回路１２は、既存シーンならばその発生頻度をインク
リメントし、新しいシーンならば物体の動き情報１０２
を発生頻度１として記録する。前記のように、代表動画
像更新情報１０７は新しいシーンと判定された時のみ送
られる。しかし、代表動画像記憶回路１５が蓄積可能容
量制限に達している場合にはすぐには送らず、その動き
の発生頻度が登録済み代表動画像の発生頻度以上に達し
た時のみに送り、この時は最小発生頻度の代表動画像を
代表動画像記憶回路１５から取り除く。この一連の処理
を繰り返すことにより、発生頻度が高くなおかつお互い
の動作にあまり関連がない動画像のみが代表動画像記憶
回路１５に残される。ここでは、簡単のため、テレビ電
話の映像のような単一の物体のみが原画像に含まれた場
合について述べたが、複数の被写体が含まれる画像の場
合には、領域分割の技術を用いて、原画像を主要な物体
毎に分割して、個々の物体について別々に処理する。代
表動画像は、物体の種別毎に生成される。

【００１４】本方式は、代表動画像の生成及び蓄積の２
つの場合に利用可能である。

【００１５】生成時には代表動画像記憶回路１５には何
も登録されていない状態からはじめ、代表動画像を生成
していく。

【００１６】更新時には、代表動画像の書き換えは、発
生頻度が上回った時ではなく、若干のヒステリスシス効
果を設け、登録済み代表動画像の中で最小発生頻度のも
のより、発生頻度が幾分か大きくなってはじめて更新さ
せる方が、無駄な代表動画像更新情報１０７が生じず、
効果的な代表動画像更新が行える。

【００１７】また、同一の画像シーンと見做された場合
でもシーンの長さ、すなわちフレーム数は異なる。代表
動画像を使った画像符号化復号方式では、シーンの中か
ら必要な部分のみを切り出してそれを利用するため、個
々のシーンが長い方が使いやすい。この特性を活かすた
めに、例え同じシーンでも登録画像より長い場合には代
表動画像の更新を行う方法もある。

【００１８】図２は、第２の発明の動画像の符号化復号
方式の一実施例を示すブロック図である。

【００１９】この符号化器は、入力として与えられる原
画像１０１から、符号化信号である代表動画像選択パラ
メータ２０１を取り出すもので、種々の動きの代表動画
像シーケンスを格納している代表動画像記憶回路１５、
原画像１０１から物体の動き情報１０２を抽出する動き
情報抽出回路１０、抽出された物体の動き情報１０２と
代表動画像記憶回路１５中の代表動画像の動き情報１０
３との相関を計算する動きの相関計測回路１３、およ
び、どの代表動画像のどの部分を再生すると良いかを決
定する近似代表動画像情報出力回路２１からなる。一
方、復号器は符号化器と同じ代表動画像シーケンスを記
録している代表動画像記憶回路２３と代表動画像選択パ
ラメータ２０１にもとづいて画像を選択して出力する動
画像選択回路２２からなる。復号器の出力は復号動画像
２０５である。

【００２０】本実施例の動作を説明する。原画像１０１
は第１の発明の実施例と同様に動き情報抽出回路１０に
入力され、画像中の物体の動き情報１０２が抽出され
る。得られた物体の動き情報１０２は第１の発明の実施
例と同様にして、動きの相関計測回路１３で、代表動画
像の動き情報１０３との相関の算出に用いられる。近似
代表動画像情報出力回路２１は、動きの相関計測回路１
３から送られて来る代表動画像の動きと物体の動きの相
関情報１０４を調べ、最も相関が大きい、すなわち最も
良く似た動きを持つ代表動画像２０３を捜し出し、その
代表動画像２０３のどの部分が適しているかを決定、代
表動画像２０３のインデックス信号および使用するフレ
ーム番号の情報を代表動画像選択パラメータ２０１とし
て出力する。

【００２１】復号器は動画像選択回路２２が、送られて
来る代表動画像選択パラメータ２０１に従って、代表動
画像記憶装置の制御信号２０２を発行し、代表動画像記
憶回路２３の中から対応する代表動画像２０４を受け取
る。代表動画像記憶装置の制御信号２０２は、シーケン
スの番号と開始フレーム番号、終了フレーム番号からな
る。取り出された代表動画像２０４は、過去の復号画像
とつなぎ合わせられて復号動画像２０５が作り出され
る。

【００２２】図３は、第３の発明の動画像の符号化復号
方式の一実施例を示すブロック図である。

【００２３】この方式は、第２の発明の符号化器に第１
の発明の代表動画像の生成および更新方式を組み込んだ
もので、通信中に新たな動画像シーケンスが必要となっ
た場合に、そのシーンを別チャネルで伝送し代表動画像
を逐次更新していく。

【００２４】符号化器は、入力として与えられる原画像
１０１から、符号化信号である代表動画像選択パラメー
タ２０１を取り出すもので、種々の動きの代表動画像シ
ーケンスを格納している代表動画像記憶回路１５、原画
像１０１から物体の動き情報１０２を抽出する動き情報
抽出回路１０、抽出された物体の動き情報１０２と代表
動画像記憶回路１５中の代表動画像の動き情報１０３と
の相関を計算する動きの相関計測回路１３、どの代表動
画像のどの部分を再生すると良いかを決定する近似代表
動画像情報出力回路３１、および代表動画像更新のため
の画像シーン抽出回路１１、動き頻度記憶回路１２、代
表動画像選択回路１４からなる。一方、復号器は符号化
器と同じ代表動画像シーケンスを記録している代表動画
像記憶回路３２と代表動画像選択パラメータ２０１にも
とづいて画像を選択して出力する動画像選択回路２２か
らなる。復号器の出力は復号動画像２０５である。

【００２５】本実施例の動作を説明する。原画像１０１
は第１の発明の実施例と同様に動き情報抽出回路１０に
入力され、画像中の物体の動き情報１０２が抽出され
る。得られた物体の動き情報１０２は第１の発明の実施
例と同様にして、動きの相関計測回路１３で、代表動画
像の動き情報１０３との相関の算出に用いられる。近似
代表動画像情報出力回路３１は、第２の発明の実施例の
近似代表動画像情報出力回路２１と同様にして、動きの
相関計測回路１３から送られて来る代表動画像の動きと
物体の動きの相関情報１０４を調べ、最も相関が大き
い、すなわち最も良く似た動きを持つ代表動画像２０３
を捜し出し、その代表動画像２０３のどの部分が適して
いるかを決定、代表動画像のインデックス信号および使
用するフレーム番号の情報を代表動画像選択パラメータ
２０１として出力する。ただし、代表動画像の動きと物
体の動きの相関情報１０４が、画像更新閾値以下の場合
には、別チャネルで動画像を送るため代表動画像選択パ
ラメータ２０１は送られない。これらの第２の発明の実
施例の符号化処理と平行して、第３の発明の実施例では
第１の発明の実施例で示した代表動画像の更新処理を行
なう。原画像１０１は、物体の動き情報１０２を用い
て、複数のフレームからなるシーンに分割される。得ら
れた抽出画像シーン１０６は代表動画像選択回路１４に
送られる。動きの相関計測回路１３では、物体の動き情
報１０２と、代表動画像記憶回路１５中の種々の代表動
画像の動き情報１０３の間で動きの相関を計算する。そ
れぞれの代表動画像との相関は、代表動画像の動きと物
体の動きの相関情報１０４として出力される。代表動画
像選択回路１４は、代表動画像の動きと物体の動きの相
関情報１０４の全てが前述の画像更新閾値以下である場
合には、それを全く新しいシーンとみなし、代表動画像
更新情報１０７として、更新命令および抽出画像シーン
１０６を送る。代表画像更新情報１０７は同時に復号器
にも伝送される。動き頻度記憶回路１２は、蓄積されて
いる各代表動画像の発生頻度を保持している。代表動画
像選択回路１４は、シーン判定結果にもとづき動き頻度
更新情報１０８を出力する。動き頻度記憶回路１２は、
既存シーンならばその発生頻度をインクリメントし、新
しいシーンならば物体の動き情報１０２を発生頻度１と
して記録する。原画像１０１が複数の主要物体からなる
場合には、それらを予め分割して処理する。

【００２６】復号器は動画像選択回路２２が、送られて
来る代表動画像選択パラメータ２０１に従って、代表動
画像記憶装置の制御信号２０２を発行し、代表動画像記
憶回路３２の中から対応する代表動画像２０４を受け取
る。代表動画像記憶装置の制御信号２０２は、シーケン
スの番号と開始フレーム番号、終了フレーム番号からな
る。取り出された代表動画像２０４は、過去の復号画像
とつなぎ合わせられて復号動画像２０５が作り出され
る。代表動画像更新情報１０７が送られて来た場合に
は、それを代表動画像記憶回路３２の中に登録する。同
時に、更新に用いた動画像を代表動画像２０４として動
画像選択回路２２に送リ復号動画像２０５を得る。

【００２７】

【発明の効果】以上説明したように、第１の発明の代表
動画像の生成および更新方式を用いれば、実際の動画像
シーンの発生確率に基づいて、頻繁に使用されるシーン
から順に効率的に代表動画像を生成更新できる。

【００２８】また、第２の発明の動画像の符号化復号方
式を用いれば、復号器の規模が小さく、また少ない符号
から動画像を再現できる動画像の符号化復号方式を実現
できる。

【００２９】さらに第３の発明の動画像の符号化復号方
式を用いれば、復号器の持っていない代表動画像が必要
な場合でも、直ちに必要な動画像を別チャネルで伝送す
ることによって、代用画像を用いることなく復号画像が
得られる。また、符号化器が一時的に動画像を蓄積する
必要がなく、簡単な構成の符号化器を提供することがで
きる。

【図面の簡単な説明】

【図１】第１の発明の代表動画像の生成および更新方式
の一実施例を示すブロック図である。

【図２】第２の発明の動画像の符号化復号方式の一実施
例を示すブロック図である。

【図３】第３の発明の動画像の符号化復号方式の一実施
例を示すブロック図である。

【符号の説明】 １０ 動き情報抽出回路 １１ 画像シーン抽出回路 １２ 動き頻度記憶回路 １３ 動きの相関計測回路 １４ 代表動画像選択回路 １５，２３，３２ 代表動画像記憶回路 ２１，３１ 近似代表動画像情報出力回路 ２２ 動画像選択回路 １０１ 原画像 １０２ 物体の動き情報 １０３ 代表動画像の動き情報 １０４ 代表動画像の動きと物体の動きの相関情報 １０５ 代表動画像の発生頻度 １０６ 抽出画像シーン １０７ 代表動画像更新情報 １０８ 動き頻度更新情報 ２０１ 代表動画像選択パラメータ ２０２ 代表動画像記憶装置の制御信号 ２０３，２０４ 代表動画像 ２０５ 復号動画像

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 代表動画像を記憶する手段と、原画像か
   ら主要物体の動きを抽出する手段と、前記手段により抽
   出された動きの連続性により原画像を複数の画像からな
   る切断動画像に切断する手段と、原画像の動き情報と代
   表動画像の動き情報から前記切断動画像と代表動画像と
   の相関を求める手段と、前記動き情報の発生頻度を記憶
   する手段と、前記相関および前記発生頻度を元に代表動
   画像の選択を行う手段を備え、代表動画像を学習により
   逐次生成または更新することを特徴とする代表動画像の
   生成および更新方式。
2. 【請求項２】 符号器および復号器が同じ代表動画像を
   蓄積する手段を持ち、前記符号化器は画像や音声などの
   被写体情報を入力とし、前記入力中の主要物体の動きを
   抽出する手段と、抽出された前記動き情報が代表動画像
   中のどの動き情報と一番近似しているかを選択しその情
   報を出力する手段を備え、前記復号器は、符号化器の出
   力を入力として、前記入力にしたがって代表動画像から
   最も似通ったシーンを選択的に出力する手段を備え、蓄
   積された代表動画像を用いた動画像の符号化復号するこ
   とを特徴とする動画像の符号化復号方式。
3. 【請求項３】 符号化器は請求項１記載の代表動画像の
   生成および更新方式を持ち、代表動画像の更新情報をも
   付加情報として符号化し、復号器は前記更新情報に基づ
   き代表動画像を更新することを備えることを特徴とする
   請求項２記載の動画像の符号化復号方式。