JPH01114279A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、高能率の静止画のファイリングや動画像伝送
を実現する画像符号化装置に関するものである。

〔従来の技術〕

従来の画像符号化装置に用いられる符号化方式のなかで
、符号化効率や画質面で極めで優れた方式のひとつに直
交変換を用いたブロック符号北方式がある。

この方式は、ブロック内の信号を２次元の周波数成分に
変換した場合に、次数の低いもの（例えば平均値に相当
する直流項）の近くに電力が集中することを利用したも
のであり、直交変換の手法としてはＤＣＴ　（ダイレク
ト・コサイン・トランスフオームＤｊ、５ｃｒｅｔｅ　
Ｃｏ５ｊ、ｎｅ　Ｔｒａｎｓｆｏｒｍ）等がある（例え
ば、滝沢他による「静止画像の高能率符号化方式の一検
討」昭和６２年電子通信学会総合全国大会Ｎｎ１１３８
）。

このような、直交変換を用いた画像符号化装置において
、静止画像のファイリング装置や、動画像伝送装置にお
いて、それぞれ次のような問題点があった。

例えば静止画像ファイリング装置では、拡大。

縮小や回転等の編集操作は、画像信号が記憶されたフレ
ームメモリのメモリアドレスの変換によって行うのが一
般的であった。

この場合、画素ごとのアドレス制御が必要となるため、
演算速度が遅くなり、制御回路の回路規模も増加すると
いう欠点があった。

一方、低ビツトレートの動画像伝送装置では、伝送フレ
ーム数を確保するために、上記直交変換係数のうち低い
次数のみを伝送する場合がある。

この場合、比較的高次の係数に有意なものがあっても伝
送されないため、受信側で復号して表示すると、ブロッ
ク間の境界にいわゆるブロック歪を生じ、画質が著しく
劣化することがあった。

また、これらの画質劣化を防ぐために、送信側で有意な
高次の係数までを伝送すると、符号化ピッ１〜数が増加
し、伝送フレーム数が減少するという矛盾があった。

本発明の目的は、編集操作の場合の拡大、縮小や回転等
の変換を、きわめて高速に、しかも特別な制御回路を用
いずに行うことができ、さらに動画像通信においては、
伝送フレーム数を減少させることなく、前記のブロック
歪を軽減、ないしは除去可能な画像符号化装置を提供す
ることにある。

〔問題点を解決するための手段〕

本発明では、上記直交変換マトリクスに加えて、拡大・
縮小・回転等の編集や、線形フィルタリングを実現する
マトリクスと上記直交変換マトリクスとの積を、新たな
変換マトリクスとして係数メモリ内に設け、これらを、
編集の内容や伝速フレーム数に合わせて適宜切り替える
ことにより、上記目的を達成している。

〔実施例〕

以下、本発明の第１の実施例について第１図を用いて説
明する。

第１図は、拡大縮小９回転等の編集機能を有する静止画
像ファイル装置の構成を示す構成図である。

はじめに、記録時における画像信号の変換の過程につい
て述べる。

同図において、テレビカメラ］によって取り込まれた画
像信号は、空間的にサンプリングされたのちＹ／Ｃ分離
回路２により輝度（Ｙ）と色差信号（Ｃ１，Ｃ２）に分
離され、それぞれフレームメモリ３に書き込まれる。こ
の信号は、８Ｘ８画素のブロックに分割されて、直交変
換回路４によす、周波数成分に相当する係数に変換され
る。このとき係数用メモリ５から、変換に使用する係数
マトリクス（例えばＤＣＴ）の値が読み込まれる。

変換後の係数はフレームメモリ６を経由して、エントロ
ピー符号化回路７に転送され、冗長度の抑圧された信号
に符号化されて１画像ファイル８に記録される。

ここで直交変換回路４により行われる変換の内容につい
て説明する。

いま分割された画像信号を８Ｘ８のマトリクスＤ　（８
，８）であられすと、次式が成立する。

Ｃ＝Ｔ−Ｄ−Ｔ” ここでＴ、（Ｔ−工）は直交変換マトリクスであり、Ｄ
ＣＴの場合は次のようになる。

Ｔｊ−ｊ＝１−／２［Ｋｊ　−ＣＯ８（コ　（、ｊ　＋
　１／２）π／８）　〕（１＋　ｊ＝Ｏｒ　７） ただし　ｉ＝ｏ　　のとき　Ｋｊ＝］／Ｈ１≠０　のと
き　Ｋ　ｉ　＝　１ この変換の結果、ブロック内の周波数成分に相当する係
数マトリクスＣ（１＋　ｊ）が生成される。

ここで、Ｃ（０，Ｏ）は、ブロックの平均値に相当する
直流係数であり、ｌｙ　、］が大きくなるほど、空間周
波数の高い係数となる。

一般の画像では、比較的低次の係数に有為な係数が集中
するため、この統計的性質を利用した可変長符号の割当
を行うことにより、冗長度を抑圧することができる。

一方、再生復号化時には、画像ファイル８より読み出さ
れた可変長符号は、エントロピー復号回路９により直交
変換係数に復号され、フレームメモリ１０に転送される
。この係数は、ブロック毎に逆直交変換回路１１により
、元の画像信号に逆変換される。このとき、逆変換に使
用される係数マトリクスは、係数メモリ］２から読み出
される。

この再生された画像信号はフレームメモリ１３を経由し
たのち、エンコーダ１４により輝度信号と色差信号が合
成され、モニタテレビ１５に表示される。

以上の回路は、キーボード１７から投入されるコマンド
の内容に応じて、制御回路］−６によって制御される。

ここで逆直交変換回路１１により行われる変換の内容に
ついて説明する。

編集機能を使用しない一般の場合には、ブロック内の画
像について、次の逆変換が施される。

Ｄ＝Ｔ−工・Ｃ−Ｔ ここで、ＯＣＴマトリクスＴ、Ｔ−１の値は、係数用メ
モリ１２から読み込まれる。

一方、編集機能としてブロック内の画像を操作する場合
について、以下に説明する。この場合には、次の変換が
施される。

Ｄ＝（Ｌ−Ｔ−１）・Ｃ・（Ｔ−Ｒ） ここで、Ｌ、Ｒは８×８のマトリクスであり、これとＴ
、Ｔ”との積も同じ型のマトリクスとなる。

この２つの変換マトリクス（Ｌ−Ｔ−１）（Ｔ−Ｒ）の
値についても、制御回路１６からの信号に応じて、係数
用メモリ１２から読み出され、編集と逆変換の操作が逆
直交変換回路により同時に行われる。

Ｌ、Ｈの内容は、編集の種類により次のように表すこと
ができる。

（１）左右反転の場合 Ｌ＝ＥＯ，Ｒ＝Ｅ９０ ただし　ＥＯ＝単位行列 である。

（２）上下反転の場合 Ｌ＝Ｅ９０、Ｒ＝Ｅ　０ （３）９０’右回転の場合 Ｃ−＋ｔＣ（転置）かつ Ｌ＝ＥＯ，Ｒ＝Ｅ９０ （４）９０°左回転の場合 Ｃ→ｔＣ（転置）かつ Ｌ＝Ｅ９０、　Ｒ＝ＥＯ （５）１８０°回転の場合 Ｌ＝Ｅ９０．Ｒ＝Ｅ９０ （６）拡大（横方向）の場合 Ｌ＝ＥＯ１Ｒ＝ＭＨ 左半分を２倍のとき （７）拡大（縦方向）の場合 Ｌ＝ＭＶ、Ｒ＝ＥＯ 上半分を２倍のとき （７）縮小の場合 隣接する４ブロツクの係数マトリクスＣＩ　Ｊ−。

Ｃ１２，Ｃ２１，Ｃ２２からなる拡大マトリクスについ
て、１／２に縮小するとき ただし、偶数（奇数）の行２列の計算はしない。

（８）ローパスフィルタリング（ＬＰＦ）の場合Ｌ＝Ｋ
ｌ７、　Ｒ＝ＫＲ ただし くＩ２） ここで、ａ、ｂの値を変えることにより任意のローパス
特性を持たせることができる。

（ただし、０≦ａ、ｂ≦０．５） 以」二いくつかの画像編集とフィルタリングの例につい
て述べたが、さらに高度の処理や、これらの複雑な組合
せについても、同様の効果が得られることは明らかであ
る。

このように、マトリクスで表される任意の線形変換につ
いて、それらのマトリクスと逆直交変換マトリクスの積
をメモリ回路から読み出し、これを係数マトリクスの左
右から乗じることにより、画像の変換と逆直交変換を同
時に行うことが可能となり、演算時間を半分以下に短縮
することができる。

以上の処理に要する回路としては、上記のマトリクスを
記録しておくメモリ回路と、変換の種類に応じて切り替
える若干の制御回路のみであり、極めて簡単に実現する
ことができる。また、マイクロプロセッサを用いて、上
記のメモリ回路の内容をアダプティブに書き換える方式
も容易に実現できる。

つぎに本発明の第２の実施例を第２図、および第３図を
もちいて説明する。

第２図は、低ピッ１−レートの動き補償フレーム間符号
化装置の構成を示す構成図である。

テレビカメラ１の出力は、第１の実施例と同様に、Ｙ／
Ｃ分離回路２により、輝度と色差信号に分離され、それ
ぞれフレームメモリ３に書き込まれる。この画像信号は
、８×８画素のブロックに分割され、減算器１８により
伝送済みのフレームの信号との差分として直交変換回路
４に入力される。このとき、差分が小さな値となるよう
フレーム間の動きベクトルが計測される（動き補償フレ
ーム間予測）。

この直交変換では、第１の実施例で述べたようにローパ
ス特性をもつマトリクスと変換マトリクスの積が、係数
用メモリ５から読み出される。このローパス特性は、伝
送フレーム数に応じてアダブチイブに制御される。変換
後の係数は、量子化回路１９を経由して、エントロピー
符号化回路７により冗長度が抑圧されて、回線インタフ
ェイス２３を経て伝送路２４に送出される。

また、量子化回路１９の出力は、逆量子化回路２０と逆
直交変換回路１１により、フレーム間の差信号に復号さ
れ、加算器２２により動き量が補償された伝送済みのフ
レーム信号と加算され、新たなフレーム信号としてフレ
ームメモリ６に書き込まれる。このフレームメモリ６の
出力は、動き補償回路２１を経て、次に伝送されるフレ
ーム信号と比較される基準画像となる。

また、伝送路２４の信号は、回線インタフェイス２３、
およびエントロピー復号化回路９により、直交変換係数
に復号され、逆量子化回路２０および、逆直交変換回路
１１により、フレーム間の差信号に変換される。このフ
レーム間の差信号は送信側と同様に、加算器２２により
動き量が補償された受信済みのフレーム信号と加算され
、新たなフレーム信号としてフレームメモリ１０．１−
３に書き込まれ、エンコーダ回路１４を経由して、モニ
タテレビ１−５上に表示される。このとき動き補償回路
２１をはじめとする各回路系は、フレームメモリ１０の
内容が送信側のフレームメモリ６の内容と一致するよう
制御される。

なお、逆直交変換の場合は、送受ともにコンパチビリテ
ィを考慮して通常の逆変換マＩ〜リクスを用いている（
ただし、第１の実施例に示した、各種の編集操作やフィ
ルタリング処理を行うことも可能である）。

次に、第３図を用いて、本発明の目的であるブロック歪
を除去する過程について説明する。

一般に、直交変換された全ての係数が伝送されるときに
は、ブロック歪は、はとんど問題とならない。しかしな
がら、伝送フレーム数確保のため、比較的高次の有為な
係数が伝送されない場合がある。例えば、同図（ａ）に
示す画像信号を直交変換すると、その変換係数は（ｂ）
のようになる。

ここで◎は、伝送する有為な係数である。×は伝送しな
い無為な係数、△は有為な係数ではあるが（Ｊ６） 伝送できない係数である。このとき受信側では伝送され
ない係数を０とおいて復号されるため、Δで示す係数の
影響により、ブロック間に段差が生じ、画質上の妨害と
なって現れる。

本発明では、これらの画質劣化を防ぐため、伝送フレー
ム数を確保する場合には、ローパス特性を有するマトリ
クスと直交変換マトリクスの積を係数用メモリ５から読
み出し、直交変換を行っている。このローパスフィルタ
により、画像の比較的高い周波数成分は除去されるため
、第３図（ｃ）に示すように、伝送されない係数値は小
さな値となる。

この結果、上記のブロック歪による画質劣化を、極めて
効果的に除去ないしは軽減することが可能となる。また
これらのフィルタ特性を、伝送する画像に応じてアダプ
ティブにコントロールすることにより、伝送フレーム数
を制御することもできる。

以上のフィルタリング操作は、直交変換と同時に行われ
るため、極めて高速であり、係数用メモすの空間を増や
すだけで容易に実現することができる。

また、ローパスフィルタをかけた場合、係数のあるもの
はほとんど無視できる程度の小さな値となる。この無効
となる係数は、上記のフィルタの特性によって定まるた
め、その特性を符号化して受信側に伝送することにより
、無効な係数の伝送を省略することもでき、伝送効率の
向上を図ることもできる。

なお、本実施例では、これらの演算に、積和演算器を用
いるものとしたが、処理時間に比較的余裕があるばあい
には、シグナルプロセッサを利用することもできる。

〔発明の効果〕

以上の説明で明らかなように、本発明によれば、直交変
換をもちいたブロック符号化装置において、画像編集や
フィルタリング操作をおこなうマトリクスと、逆直交変
換マトリクスの積をあらたな逆変換マトリクスとして用
いることにより、極めて高速かつ簡単に、上記の操作を
実現することが可能になる。

さらに、動画像の通信においても、上記のフィルタリン
グ操作を用いて伝送しない直交変換係数の値を小さく抑
えることにより、画質上有害なブロック歪の除去と、伝
送効率の向上を実現することができる。

【図面の簡単な説明】

第１図は、静止画像のファイリング装置の構成を示す構
成図、第２図は、動画像伝送装置の構成を示す構成図、
第３図は、動画像符号化装置の直交変換係数とフィルタ
リング操作の関係を示す概念図である。 １・・・テレビカメラ、２・・・Ｙ／Ｃ分離回路、３・
・・フレームメモリ、４・・・直交変換回路、５・・・
係数用メモリ、６・・・フレームメモリ、７・・・エン
トロピー符号化回路、８・・・画像ファイル、９・・・
エントロピー復号化回路、１０・・・フレームメモリ、
１１・・・逆直交変換回路、１−２・・・係数用メモリ
、１３・・・フレームメモリ、１４・・・エンコーダ回
路、］−５・・・モニタテレビ、１６・・・制御回路、
１７・・・キーボード、（■９） １８・・・減算器、１９・・・量子化回路、２０・・・
逆量子化回路、２１・・・動き補償回路、２２・・・加
算器、２３・・・回線インタフェイス、２４・・・伝送
路。

Claims (1)

1. 【特許請求の範囲】 １、画像信号をブロックに分割し、前記ブロックに属す
   る画像信号、もしくは前記画像信号と伝送済みの画像信
   号との差信号に、第１の直交変換マトリクスを乗じて係
   数に変換し、前記係数を可変長符号等を用いて、冗長度
   の抑圧を行う画像符号化装置であつて、前記第１の直交
   変換マトリクスの他に、前記第１の直交換マトリクスと
   任意のマトリクスとの積を第２の変換マトリクス群とし
   て有し、これらを、適宜切り替えて伝送もしくは記録・
   再生することを特徴とする画像符号化装置。 ２、特許請求の範囲第１項記載の画像符号化装置におい
   て、画像信号に拡大・縮小・回転等の編集操作を行うマ
   トリクス、もしくはローパス・ハイパス等のフィルタリ
   ング操作を実現するマトリクス、もしくはこれらを組み
   合わせたマトリクスの積と、前記第１の直交変換マトリ
   クスとの積を、前記第２の変換マトリクス群として有す
   る画像符号化装置。 ３、特許請求の範囲第１項記載の画像符号化装置におい
   て、前記第２の変換マトリクス群を用いて線形変換した
   係数のうち、伝送しない係数の絶対値が伝送する係数の
   絶対値に比べ小さな値となるよう、前記画像信号もしく
   は前記誤差信号に、適宜特性の異なるフィルタリング操
   作を施した後に伝送もしくは記録・再生することを特徴
   とする画像符号化装置。