JPH0256187A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、テレビ電話またはテレビ会議ビステムで用い
られる、カラーの動画像符号化装置に関する。

従来の技術 動画像符号化技術の発達に伴い、テレビ電話またはテレ
ビ会議システム用カラー動画像符号化装置が開発されて
いる。例えば、山水英雄１羽鳥好律「テレビ電話／テレ
ビ会議の研究動向−カラー動画像低レート符号化技術−
」（電子情報通信学会誌Ｖｏ１．７０　、Ｎｏ、　９、
ｐｐ９３９−９４４．１９８７年９月）に記載されてい
る、動画像の符号化装置が知られている。

以下、第１９図を用いて、従来の動画像符号化装置につ
いて説明する。第１９図において、１は入力画信号を一
時記憶する第１の画像メモリ部、２は１フレーム周期前
の画信号を記憶する第２の画像メモリ部、３は画像メモ
リ部１と画像メモリ部２の内容から動ベクトルを検出す
る動き検出部、４は動き検出部３が検出した動ベクトル
をもとに参照ブロックを出力する動き補償部、５は画像
メモリ部１の入力画信号ブロックと参照ブロックの差分
演算を行なう差分器、６は差分器５の出力を直交変換す
る直交変換部、７は直交変換部６の出力を量子化する量
子化部、８は量子化部７の出力を可変長符号化する可変
長符号化部、９は可変長符号化部８の出力と動ベクトル
を結合するフレーム構成部、１０は送信する符号を一時
蓄積する伝送メモリ部、１１は量子化部７の出力を逆直
交変換する逆直交変換部、１２は逆直交変換部１１の出
力と参照ブロックとを加算する加算器である。

以上のような構成において、以下その動作を説明する。

入力画信号は、画像メモリ部１に一時記憶された後、Ｍ
×Ｎ（Ｍ、Ｎは正整数）画素のプ０ツク単位で、第２０
図に示す順序で読み出される。なお、以下の説明におい
ては、ブロックサイズは８Ｘ８ＩＮｉ素としている。動
き検出部３は画像メモリ部１から読み出した入力画信号
ブロックの画素値と、画像メモリ部２に著積している１
フレーム周期前の画像フレーム（以下、参照フレームと
略記する）の画素値を比較し、入力画信号ブロックとの
差分が最も小さい参照フレーム中の画信号ブロックを検
出し、検出した参照フレーム画信号ブロックを始点、入
力画信号ブロックを終点とする動ベクトルを出力する。

動き補償部４は、動き検出部３で検出した動ベクトルを
用い、画像メモリ部２の参照フレームのうち、フレーム
間差分が最も小さい画信号ブロックを、参照ブロックと
して出力する。差分器５は、入力画信号ブロックと参照
ブロックの差分演算処理を画素単位で行い、差分ブロッ
クを出力する。直交変換部６は、差分ブロックの画素値
に対して第（１１式で示される離散コサイン変換処理を
行い、変換係数行列を出力する。

、。。３右着計１１　ｃｏｓ÷躇ム謙ヱ・曲・（１）１
量子化部７は、符号化する通報の種類を削減するためＧ
て、変換係数行列の各要素について量子化を行う。骨子
化するためのしきい値は、複数ブロックを１グループと
して各グループ毎に、前グループの符号化処理終了後の
伝送メモリ部１０の符号蓄積量により、制御される。可
変長符号化部８は、量子化された変換係数行列を可変長
符号化する。

一般にテレビ電話やテレビ会議で使用されている動画像
符号化装置は、動画像の実時間相互通信を行うだめ、伝
送メモリ部１０の最大符号蓄積量は、回線の容量と単位
時間あたシに伝送するフレーム数で決定される。そこで
、伝送メモリ部１ｏの符号蓄積量が予め定めたしきい値
を超えた場合には、符号蓄積量がしきい値よシも少なく
なるまで、可変長符号化部８は符号化処理を中止する。

フレーム単位で行う符号化処理の中止を、「駒落とし」
という。フレーム構成部９は、ブロック単位で結合した
可変長符号と動ベクトルを伝送フォーマットで定められ
たフレームに構成し、伝送メモリ部１０に出力する。伝
送メモリ部１０に蓄積された情報は、回線を経由、して
、復号器に伝送される。

逆直交変換部１１は、量子化した変換係数行列に第（２
）式で示される。逆離散コサイン変換処理を行なう。加
算器１２は、逆直交変換部１１の出力と参照ブロックと
を画素単位で加算し、次フレームの符号化処理に使用す
る参照フレームデータとして、画像メモリ部２に書き込
む。なお、参照フレームデータは、復号化装置で再生す
る画像と一致する。

ｘ　ｃｏｓπ（２ｘ＋１）ａ　　ｃｏｓπ（２ｙ＋１）
ｖ　　、、、、、、、、、、（２１発明が解決しようと
する課題 しかし、従来の動画像符号化装置は、伝送メモリ部の符
号蓄積量が所定量を超えた場合、符号化処理を一時中止
することにより発生符号量を抑制しているだめ、フレー
ム内のブロック歪や、滑らかさを欠いた動きなどが発生
する。しかも、視覚的に重要な動領域などでは符号量が
急激に増加するので、その周辺部でこのような処理が発
生しやすく、著しい画質劣化が発生するという課題があ
った。

本発明は、以上のような課題に鑑み、視覚的に重要な領
域では、細かく量子化しながらも、符号化処理を一時中
止する処理を極力性なわないようにすることにより、画
質劣化を減少させるものである。

課題を解決するだめの手段 上記目的を達成するだめの、本発明の技術的解決手段は
、１フレーム分の入力画信号を一時記憶する第１の画像
メモリ部と、現フレームの動きベクトルの分布によって
次フレームの画信号ブロックを読み出す順序（以下、画
信号ブロックを読み出す順序をブロック走査順序と記す
）を決定する走査順序指定部と、走査順序指定部が指定
したブロック走査順序にしたがって第１の画像メモリ部
に一時記憶した画信号を読み出すためのアドレスを指定
するアドレス指定部と、符号化する順序により異なる量
子化特性を持つ適応型量子化部と、符号化する順序によ
り異なる見かけ上の容量を持つ適応型伝送メモリ部を設
けることにより、上記目的を達成するものである。

作　　　　用 本発明は上記構成により、視覚的に重要な領域を検出し
、その領域から符号化処理を行なう。さらに、画像を符
号化処理の順序にそって分けた複数の領域毎に、見かけ
上の伝送メモリ容量と量子化特性を変えることにより、
画像の重要な領域での画質劣化を低減するものである。

実施例 第１図は、本発明による動画像符号化装置の一実施例を
示すブロック結線図である。

第１図において、１は入力画信号を一時記憶する第１の
画像メモリ部、２は１フレーム周期前の画信号を記憶す
る第２の画像メモリ部、３は画像メモリ部１と画像メモ
リ部２の内容から動ベクトルを検出する動き検出部、４
は動き検出部３が検出した動ベクトルをもとに参照ブロ
ックを出力する動き補償部、５は画像メモリ１０入力画
信号ブロックと参照ブロックの差分演算を行なう差分器
、６は差分器５の出力を直交変換する直交変換部、１３
は直交変換部６の出力を適応的に量子化する適応型量子
化部、８は適応型量子化部１３の出力を可変長符号化す
る可変長符号化部、１１は適応型量子化部１３の出力を
逆直交変換する逆直交変換部、１２は逆直交変換部１１
の出力と参照ブロックを加算する加算器、１４は送信す
る符号を適応的に一時蓄積する適応型伝送メモリ部、１
５は動ベクトルの分布から次フレームに最適なブロック
走査順序を決定する走査順序指定部、１６は画像メモリ
部１に一時記憶じた画信号をブロック走査順序にしたが
って順次読み出すためのアドレスを指定するアドレス指
定部、１７は可変長符号化部８の出力と動ベクトルと現
フレームのブロック走査順序を結合するフレーム構成部
である。

以上のような構成において、以下その動作を説明するが
、画像メモリ部１２画像メモリ部２．動き検出部３．動
き補償部４．差分器５．直交変換部６、可変長符号化部
８．逆直交変換部１１．加算器１２の動作は、従来例と
同様であるので説明を省略する。

アドレス指定部１６は、画像メモリ部１に一時記憶され
た入力画信号を、Ｍ×Ｎ（Ｍ、Ｎは正整数）画素のブロ
ック単位で読み出すためのアドレスを出力するが、その
ブロック走査順序は、例えば第２図、第３図、第４図、
第５図、第６図、第７図、第８図および第９図に示すよ
うな複数の順序のなかから後述する走査順序指定部１５
の指定にしたがって選択する。なお、各図における■が
その走査順序である。第２図に示す順序は、従来例と同
一で、水平方向に隣合う複数のブロックを１つのグルー
プ（Ｐｌ下、ブロックの集まシをグループと記す）とす
る時、全体としては画像の上部に位置するグループから
、グループ内では予め定めた一方向から、読み出す順序
である。第３図に示す順序は、水平方向に隣合う複数の
ブロックを１つのグループとし、全体としては画像の下
部に位置するグループから、グループ内では予め定めた
一方向から、読み出す順序である。第４図に示す順序は
、水平方向に隣合う複数のブロックを１つのグループと
し、全体としては画像の中心に近いグループから、グル
ープ内では予め定めた一方向から、読み出す順序である
。第５図に示す順序は、垂直方向に隣合う複数のブロッ
クを１つのグループとし、全体としては画像の右側に位
置するグループから、グループ内では予め定めた一方向
から、読み出す順序である。第６図に示す順序は、垂直
方向に隣合う複数のブロックを１つのグループとし、全
体としては画像の左側に位置するグループから、グルー
プ内では予め定めた一方向から、読み出す順序である。

第７図に示す順序は、垂直方向に隣合う複数のブロック
を１つのグループとし、全体としては画像の中心に近い
グループから、グループ内では予め定めた一方向から、
読み出す順序である。第８図に示す順序は、中心のブロ
ックから周辺のブロックへ２次元の螺旋模様に沿った順
序で読み出し、その順序に沿ってグループを構成するも
のである。第９図に示す順序は、周辺のブロックから中
心のブロック２次元の螺旋模様に沿った順序で読み出し
、その順序に沿ってグループを構成するものである。

画像メモリ部２も、走査順序指定部１５が指定するブロ
ック走査順序をもとに、画像メモリ部１の出力画信号ブ
ロックに対応した画信号ブロックを出力する。

適応型量子化部１３が変換係数行列の各要素を量子化す
るためのしきい値は、前グループの符号化処理終了後の
適応型伝送メモリ部１４の符号蓄積量により、各グルー
プ毎に決定されるが、適応型伝送メモリ部１４の符号蓄
積量が同一でも、グループの符号化順序により異なる。

すなわち、グループの符号化順序に沿って画像を複数の
領域に分割し、それぞれの領域で異なる量子化特性によ
り量子化する。この時、画像全体での符号発生量を極度
に増大させず、しかも重要な領域を細かく量子化するた
めに、例えば第１０図に示すような量子化特性を持つ。

第１０図は。

第１領域、第２領域、第３領域の３つの領域に画像を分
割した時の量子化特性の一例であり、第１０図において
、１８は第１領域に対する量子化特性であり、Ｉ９は第
２領域に対する量子化特性であり、２０は第３領域に対
する量子化特性である。

第１領域は符号化順序の早いグループの集まりで、精細
に符号化するために比較的小さな量子化ステップを上限
としている。第３領域は符号化順序の遅いグループの集
まシで、符号発生量を低減するために比較的大きな量子
化ステップを下限としている。第２領域は、第１領域と
第３領域との再生画像を滑らかにつなぐために、両者の
中間の特性を持っている。

適応型伝送メモリ部１４も、第１領域を符号化する時に
は見かけ上大きなメモリ容量を持ち、第３領域を符号化
する時には見かけ上部さなメモリ容量を持ち、第２領域
を符号化する時には、第１領域と第３領域の中間のメモ
リ容量を持つ。これは、可変長符号化部８は、適応型伝
送メモリ部１４の符号蓄積量が予め定めたしきい値を超
えた場合には、符号蓄積量がしきい値よりも少なくなる
まで、符号化処理を中止するが、第１領域では小さな量
子化ステップで量子化したため符号量が増えており、固
定的なしきい値で、符号化処理の中止を判定すると、中
心部で符号化処理を中止しやすくなるので、第１領域を
符号化する時には、見かけ上大きなメモリ容量を持つこ
とにより、符号化処理を中止させないようにしているの
である。

また、第３領域を符号化する時には、見かけ上小さなメ
モリ容量を持つことにより、適応型量子化部１３の動作
と相まって適応型伝送メモリ部１４内の符号蓄積量を削
減する。なお、第３領域で適応型伝送メモリ部１４内の
符号蓄積量が効果的に減少すれば、次フレームを符号化
する時に、第１領域をさらに小さな量子化ステン・プで
量子化できるようになり、再生画像の画質向上につなが
る。

この時、領域分割の方法は適応型量子化部１３の場合と
同一でなくてもよいが、見かけ上のメモリ容量は、走査
順序の早いグループから遅いグループに向けて、徐々に
減少するように定める。

走査順序指定部１５は、まず、撮像系のノイズや輝度変
化等により誤検出された動ベクトルを除去するために、
動き検出部３がブロック毎に検出した動ベクトルを適当
なしきい値で２値化し、有意な動ベクトルを「１」、無
意な動ベクトルを「０」とする。次に、有意な動ベクト
ルの分布を調べるために、２値化した動ベクトルの配列
に最も近い配列を、パターンマツチング法により第１１
図、第１２図、第１３図、第１４図、第１５図、第１６
図、第１７図、第１８図に示す配列の中から選ぶ。第１
１図、第１２図、第１３図、第１４図、第１５図、第１
６図、第１７図、第１８図は、１フレームの画像が１０
×１０ブロツクで構成される場合の比較パターンの一実
施例を示したものである。次フレームのブロック走査順
序は、ここで選ばれた比較パターンにより決定するが、
第１１図の比較パターンが選ばれた場合には第２図に示
すブロック走査順序とし、以下同様に、第１２図の比較
パターンでは第３図のブロック走査順序、第１３図の比
較パターンでは第４図のブロック走査順序、第１４図の
比較パターンでは第５図のブロック走査順序、第１５図
の比較パターンでは第６図のブロック走査順序、第１６
図の比較パターンでは第７図のブロック走査順序、第１
７図の比較パターンでは第８図のブロック走査順序、第
１８図の比較パターンでは第９図のブロック走査順序と
する。

フレーム構成部１７は、可変長符号と動ベクトルをブロ
ック単位で結合し、さらにブロック走査順序をフレーム
単位で結合して、伝送フォーマットで定められた伝送フ
レームを構成し、適応型伝送メモリ部１４に出力する。

ところで、アドレス指定部１６は、コード化したブロッ
ク走査順序と１フレーム内での読み出しワード数とをア
ドレス情報とし、読み出しアドレスを出力情報とするＲ
ＯＭを用意することにより容易に実現でき、適応型量子
化部１３も、コード化した領域番号と適応型伝送メモリ
部１４の符号蓄積量とをアドレス情報とし、量子化ステ
ップを出力情報とするＲＯＭを用意することにより容易
に実現できる。また、適応型伝送メモリ部１４は、コー
ド化した領域番号により符号化処理を中止するためのし
きい値を選択するセレクタ回路を具備することで、容易
に実現できる。

以上本実施例によれば、動ベクトルの分布により画像の
重要な部分を検出して、画像の重要な部分から符号化処
理を行ない、さらに重要な部分では量子化ステップを小
さくするとともに伝送メモリ容量を大きくする一方、あ
まり重要でない部分では量子化ステップを大きくすると
ともに伝送メモリ容量を小さくしたことにより、視覚的
に重要な部分での画質劣化を低減するものである。

なお、本実施例では動き補償フレーム間差分値を直交変
換しその出力係数を符号化する方式について説明したが
、本発明はフレーム間差分値を他の符号化方式によって
符号化する場合にも適用できる。

発明の効果 以上のように本発明は、視覚的に重要な部分を検出し、
その分布に応じて最適な順序で符号化処理を行なうとと
もに、画像を符号化処理の順序にそって分けた複数の領
域毎に見かけ上の伝送メモリ容量と量子化特性を変える
ことによシ、画質劣化を減少させることができ、その効
果は大きい。

【図面の簡単な説明】

第１図は本発明の一実施例における動画像符号化装置の
ブロック結線図、第２図〜第９図は同装置における画信
号をブロック単位に読み出す順序を示す概念図、第１０
図は同装置要部の量子化特性図、第１１図〜第１８図は
同装置における比較パターンを示す概念図、第１９図は
従来の動画像符号化装置のブロック結線図、第２０図は
同装置における変換係数の走査順序を示す図である。 １・・・第１の画像メモリ部、２・・・第２の画像メモ
リ部、３・・・動き検出部、４・・・動き補償部、５・
・・差分器、６・・・直交変換部、８・・・可変長符号
化部、１１・・・逆直交変換部、１２・・・加算器、１
３・・・適応型量子化部、１４・・・適応型伝送メモリ
部、１５・・・走査順序指定部、１６・・・アドレス指
定部、１７・・・フレーム構成部。 代理人の氏名　弁理士　粟　野　重　孝　ほか１名図 嘔５￥：、φ 〈や喝珀栄 第 図 第 図 第 図 第 図 第 図 弗 図 符号１項ｉ 第 図 第 Ｉ 図 第 図 第 図 第 図 第 図 第 図 第 図 第 図 ５Ａａ￥：ｐ 〈≧肩＝緊

Claims (1)

【特許請求の範囲】
1. １フレーム分の入力画信号を一時記憶する第１の画像メ
   モリ部と、前フレームの動ベクトルの分布に応じて前記
   第１の画像メモリ部に一時記憶した画信号を読み出す順
   序を決定する走査順序指定部と、Ｍ、Ｎを正整数として
   前記第１の画像メモリ部に一時記憶した画信号を前記走
   査順序指定部の指示にしたがってＭ×Ｎ画素のブロック
   単位で順次読み出すためのアドレスを出力するアドレス
   指定部と、前記アドレス指定部で指示されたアドレスに
   したがって前記第１の画像メモリ部から読み出した画信
   号ブロックを伝送すべき情報に変換する変換部と、該当
   画信号ブロックの符号化順序に応じて適応的に容量を変
   化させながら伝送情報を蓄積する適応型伝送メモリ部と
   、前記適応型伝送メモリ部の蓄積容量と該当画信号ブロ
   ックの符号化順序に応じて前記変換部からの出力を適応
   的に量子化する適応型量子化部を持つことを特徴とする
   動画像符号化装置。