JPH0541800A - 画像復号化処理装置および復号化方法 - Google Patents

Abstract

(57)【要約】 【目的】本発明は簡易な構成でマルチ画面化処理を高速
に行えるようにする。 【構成】画像データを所定サイズのブロックに分割し各
ブロックの画像データに対し直交変換(DCT) し周波数成
分別の変換係数にしこれを符号化し圧縮したデータDTの
再生装置として、復元DCT 係数値を逆DCT変換しそのブ
ロックでの各画素位置の画像データを復元する第１復元
手段６、通常モード時は復元画像データを、縮小モード
時は復元DCT 係数値を通す切替手段５、切替手段より得
るデータを保持する画像メモリ(MEM)3、通常モード時は
復元画像データをその画像データの置かれるべき位置対
応にMEM3に書込むべく制御し縮小モード時は直流成分の
復元DCT 係数値のみ書込むべく制御しデータを間引き書
込むべきデータは間引いた分、画素位置を詰めるべく制
御する制御手段4,20、MEM3の読出データを画像信号化し
て出力する手段より構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はマルチ画面作成処理を高
速で実施できるようにした画像復号化処理装置および画
像復号化処理方法に関する。

【０００２】

【従来の技術】近年、技術の革新により、スチルカメラ
においても、銀塩フィルムに代わって磁気媒体やメモリ
等の記憶媒体に画像を記憶する電子スチルカメラが登場
して実用に供されるようになった。すなわち、被写体像
をフィルムに露光させる代わりにＣＣＤ（固体撮像素
子）により捉え、映像信号として得ると共に、これを画
像データ化し、この画像データを記憶媒体に記憶して保
存し、鑑賞する際には読み出して再生すると云うもので
ある。

【０００３】ところで、画像信号をメモリカード、磁気
ディスクあるいは磁気テープ等の記憶媒体にディジタル
データとして記憶する場合、そのデータ量は膨大なもの
となるため、多くのフレーム画像を限られた記憶容量の
範囲で記録しようとする場合には、得られた画像信号の
データに対し、何等かの高能率な圧縮を行うことが必要
となる。

【０００４】更に、ディジタル電子スチルカメラ等にお
いては、撮影した画像を銀塩フィルムの代わりに、メモ
リカード、磁気ディスクあるいは磁気テープ等の記憶媒
体にディジタルデータとして保存するので、１枚のメモ
リカード、磁気ディスクあるいは１巻の磁気テープ等の
記憶媒体に記録できる画像の枚数が規定され、この規定
枚数分の画像の記録が保証されなければならず、しか
も、カメラと云う性格上、データの記録再生処理に要す
る時間が短く、且つ、一定である必要がある。

【０００５】同様に、ディジタルＶＴＲ（ビデオテープ
レコーダ）、ディジタル動画ファイル等において動画像
を記録する場合もフレーム当たりの画像のデータ量に影
響されることなく、所定量のフレームを記録できなけれ
ばならない。すなわち、静止画像であっても、動画像で
あっても、必要なコマ数分を確実に記録できる必要があ
ると共に、データの記録再生処理に要する時間が短く、
且つ、一定である必要がある。

【０００６】かかる高能率な画像データの圧縮方式とし
て、直交変換符号化と可変長符号化を組み合わせた符号
化方法が広く知られている。そして、その代表的なもの
として、静止画符号化国際標準化において検討されてい
る方式がある。

【０００７】この方式について次に概略を説明する。ま
ず、画像データを所定の大きさのブロックに分割し、分
割されたブロック毎に直交変換として２次元のＤＣＴ
（離散コサイン変換）を行う。次に各周波数成分に応じ
た線形量子化を行い、この量子化された値に対して可変
長符号化としてハフマン符号化を行う。このとき、直流
成分に関しては近傍ブロックの直流成分との差分値をハ
フマン符号化する。交流成分はジグザクスキャンと呼ば
れる低い周波数成分から高い周波数成分へのスキャンを
行い。無効（値が０）の成分の連続する個数と、それに
続く有効な成分の値とから２次元のハフマン符号化を行
う。

【０００８】以上の動作を図５を参照して具体的に説明
すると、まず(a) に示すように、１フレームの画像デー
タ（国際標準化案で例示されている１フレームの画像は
720×576 画素）を所定の大きさのブロック（例えば、
８×８の画素よりなるブロックＡ，Ｂ，Ｃ…）に分割
し、(b) に示すように、この分割されたブロック毎に直
交変換として２次元のＤＣＴ（離散コサイン変換）を行
い、８×８マトリックス上に順次格納する。画像データ
は２次元平面で眺めてみると、濃淡情報の分布に基づく
周波数情報である空間周波数を有している。

【０００９】従って、上記ＤＣＴを行うことにより、画
像データは直流成分（ＤＣ）と交流成分（ＡＣ）に変換
され、８×８のマトリックス上には原点位置（座標0,0
位置）に直流成分ＤＣの値を示すデータが、そして、
(0,7) 位置には横軸方向の交流成分ＡＣの最大周波数値
を示すデータが、そして、(7,0) 位置には縦軸方向の交
流成分ＡＣの最大周波数値を示すデータが、更に、(7,
7) 位置には斜め方向の交流成分ＡＣの最大周波数値を
示すデータが、それぞれ格納され、中間位置ではそれぞ
れの座標位置により関係付けられる方向における周波数
データが、原点側より順次高い周波数のものが出現する
かたちで格納されることになる。

【００１０】次にこのマトリックスにおける各座標位置
の格納データを、各周波数成分毎の量子化幅により割る
ことにより、各周波数成分に応じた線形量子化を行い
(c) 、この量子化された値に対して可変長符号化として
ハフマン符号化を行う。

【００１１】このとき、直流成分ＤＣに関しては近傍ブ
ロックの直流成分との差分値をグループ番号（付加ビッ
ト数）と付加ビットで表現し、そのグループ番号をハフ
マン符号化し、得られた符号語と付加ビットを合わせて
符号化データとする(d1 ，d2，e1，e2) 。

【００１２】交流成分ＡＣに関しても有効な（すなわ
ち、値が０でない）係数は、グループ番号と付加ビット
で表現する。そのため、交流成分ＡＣは図６に示すよう
な順序でのスキャンであるジグザグスキャンと呼ばれる
低い周波数成分から高い周波数成分へのスキャンを行
い、無効（値が０）の成分が連続する個数（零のラン
数）とそれに続く有効な成分の値のグループ番号とから
２次元のハフマン符号化を行い、得られた符号語と付加
ビットを合わせて符号化データとする。

【００１３】ハフマン符号化はフレーム画像当たりの上
記直流成分ＤＣおよび交流成分ＡＣの各々のデータ分布
における発生頻度の最も高いものを中心として、この中
心に近いもの程、データビットを少なくし、周辺になる
ほどビット数を多くするようなビットの割り当てをした
かたちでデータを符号化して符号語を得ると云ったこと
で行う。

【００１４】以上が、この方式の基本部分である。この
基本部分だけでは可変長符号化であるハフマン符号化を
用いているために符号量が画像毎に一定では無くなって
しまう。そこで、符号量の制御の方法として次のような
方式が特願平2-137222号において提案されている。

【００１５】すなわち、直交変換と可変長符号化を組み
合わせた圧縮方式において、発生符号量の制御を行うた
めに、メモリに記憶した画像信号を、ブロックに分割
し、この分割されたブロック毎に直交変換を行ってか
ら、この変換出力を暫定的な量子化幅αで量子化した
後、この量子化出力を可変長符号化すると共に、各ブロ
ック毎の発生符号量と画像全体の総発生符号量を算出
し、次に前記暫定的な量子化幅α、前記総発生符号量お
よび規定の収めるべき符号量である目的符号量（目標符
号量）とから、総発生符号量が該目的符号量に近付ける
に最適と考えられる新しい量子化幅α´を予測する（以
下、これを第１パスと呼ぶ）。

【００１６】そして、この予測した新しい量子化幅α´
を用いて量子化すべく、再び画像メモリの画像信号をブ
ロック分割、直交変換を行い、直交変換により得られた
係数であるＤＣＴ係数に対して上記α´を用いての量子
化を行い、この量子化された周波数成分別の値に対して
低周波成分から順次可変長符号化を行うと共に、第１パ
スでの各ブロック毎の発生符号量と、目的符号量とか
ら、各ブロック毎の割り当て符号量を計算し、各ブロッ
ク毎の割当符号量を定めておき、可変長符号化における
各ブロック毎の発生符号量が各ブロックの割当符号量を
超える場合には、そのブロックでの可変長符号化は打ち
切り、次のブロックの処理に移ると云ったことを繰り返
す（以下、これを第２パスと呼ぶ）。これにより、画像
全体の総発生符号量が目的の設定符号量を超えないよう
に符号量の制御を行おうと云うものである。ここで可変
長符号化における各ブロック毎の発生符号量がその各ブ
ロックでの割り当て符号量を超える場合に、そのブロッ
クでの可変長符号化を打ち切るようにしているが、これ
は結果的に打ち切られるのが周波数の高い成分となるも
ので、人間の視覚は低周波数成分に対しては敏感である
が、高い周波数に対しては鈍感となる性質を利用して視
覚的に感じる画質の低下を抑えつつ、符号量を抑えるこ
とができるためである。

【００１７】このような手法を採用した画像符号化／復
号化処理装置の例を次に示す。図３に変換方式としてＤ
ＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆ
ｏｒｍ）を用いた場合の従来の符号化／復号化処理装置
の構成例を示す。図において、１は入力用のＡ／Ｄ変換
器であって、入力されるアナログの画像信号をディジタ
ルデータに変換して出力する回路である。また、２は出
力用のＤ／Ａ変換器であり、再生された画像データをア
ナログの画像信号に変換して再生出力として出力する回
路である。３はフレ−ムメモリであり、４はこのフレ−
ムメモリ３の書き込み読出しを制御するメモリ制御回
路、５はスイッチ、６は直交変換／逆直交変換処理（Ｄ
ＣＴ／ＩＤＣＴ）回路である。

【００１８】スイッチ５は通常の再生と、マルチ画面の
切り替えを行う経路切替えスイッチであり、ａ，ｂ２つ
の切替え接点を有していて、符号化する場合や通常の画
面を再生する場合、スイッチ５はａ側に設定され、マル
チ画面を作る場合のように、画像サイズを縮小する場合
にはｂ側に設定される。この切替え操作は操作部１２の
操作により連動して行われる。

【００１９】フレ−ムメモリ３はＡ／Ｄ変換器１からの
画像データを受けて一時記憶すると共に、この記憶した
データを所定のブロック単位で読出して後段側に出力
し、また、スイッチ５を介して与えられるＤＣＴ／ＩＤ
ＣＴ回路６の逆変換出力または水平・垂直フィルタ８の
出力を受けてこれを一時記憶するためのメモリである。
メモリ制御回路４はこのフレ−ムメモリ３の書き込み読
出しを制御するものである。直交変換／逆直交変換処理
（ＤＣＴ／ＩＤＣＴ）回路６は符号化処理時には前記フ
レ−ムメモリ３よりブロック化されて読み出される入力
画像データを直交変換して周波数成分別の要素に分解し
て量子化回路１１に出力し、また、再生処理時において
は周波数成分別の要素に分解して入力された１ブロック
分ずつのデータを受けて元の１ブロック分の画像データ
に逆変換処理する回路である。

【００２０】量子化回路１１は符号化処理時にはこのＤ
ＣＴ／ＩＤＣＴ回路６の出力する直交変換出力データを
所定の量子化幅で量子化して符号化回路７に出力すると
共に、再生処理時においては符号化回路７からの符号値
を逆量子化してもとの１ブロック分の直交変換データに
変換する回路である。符号化回路７は符号化処理時には
量子化回路１１の出力する量子化されたデータ（量子化
係数値）を、ハフマン符号語等の符号語に変換して圧縮
符号化し、入出力端子に出力すると共に、再生処理時に
おいては入出力端子より入力される符号語化されたデー
タを復号化して、もとの量子化係数値に復元して量子化
回路１１に与える回路である。

【００２１】また、操作部１２は符号化処理と通常の再
生処理の切替えと、マルチ画像再生の切替え操作をする
ための操作手段であり、フレ−ムメモリ９は再生処理時
にＤＣＴ／ＩＤＣＴ回路６から与えられる逆直交変換し
たもとの１ブロック分単位の画像データをそのブロック
対応位置に読み込んで保持し、水平・垂直フィルタ８に
与えるためのメモリである。１０はこのフレ−ムメモリ
９の書き込み／読出しを制御するメモリ制御回路であ
る。

【００２２】なお、マルチ画面作成モードのときは、メ
モリ制御回路４はマルチ画面を作るために、フレームメ
モリ３への書き込みパルスを、画面縮小比率に従って、
飛び飛びに出力すると共に、また、メモリのアドレスは
書き込みパルスが出力されるときだけ変え、これにより
画素の間引きを行うように制御する。

【００２３】水平・垂直フィルタ８はフレ−ムメモリ９
より読み出されたデータについて、帯域制限処理を行
い、スイッチ５のｂ側に出力する回路である。

【００２４】このような構成において、符号化処理時に
は操作部１２は符号化処理・通常再生処理のモード側に
設定する。これにより、スイッチ５はａ側に保たれる。
この状態で、入力端子より入力されるアナログの画像信
号はＡ／Ｄ変換器１でディジタル化される。通常、後段
のデータ圧縮／伸張回路やメディアへの記録／再生回路
の動作速度と、Ａ／Ｄ変換器１から出力されるデータの
速度は一致しない。そこで、フレームメモリ３を用意
し、このフレームメモリ３に一旦記憶させ、その後に読
み出すことにより、速度変換を行う。

【００２５】このようにＡ／Ｄ変換器１の出力をフレー
ムメモリ３に一度記録し、その後に読み出すことで速度
を合わせるが、以後の画像処理のために、図４に示すよ
うに１画像（１フレーム分の画像）分を隣接するいくつ
かの画素単位で分割して複数個のブロックにブロック化
する。図４は１フレームの画像を縦８画素、横８画素で
ブロック化した場合の例を示している（８×８画素）。

【００２６】通常、撮像素子からの映像信号の場合、フ
レーム画面を行方向に走査して読み出し、Ａ／Ｄ変換器
１に与えることから、Ａ／Ｄ変換器１からは図４の符号
a を付して示す矢印方向のような順番で各画素ＰＣのデ
ータが出力される。これに対し、画像データの符号化処
理にあたってはブロック化してブロック単位で行ってゆ
くので、このブロック化したデータとして渡すためには
図４の符号b を付したジグザグ矢印のような順番で、後
段のＤＣＴ／ＩＤＣＴ（直交変換／逆直交変換）回路６
へ供給する必要がある。そこで、フレームメモリ３の書
き込み／読み出しの制御を行うメモリ制御回路４はフレ
ームメモリ３へのデータ書き込み制御時には図４の矢印
aのような方向に沿ってまた、読み出し制御の場合には
矢印 bのような順番になるよう、出力するアドレス信号
を並べ替える。

【００２７】このようにして、ブロック化された画像デ
ータは、ＤＣＴ／ＩＤＣＴ（直交変換／逆直交変換）回
路６に与えられる。ＤＣＴ／ＩＤＣＴ回路６はこのブロ
ック化されて与えられるデータを直交変換して量子化回
路に与え、また、量子化回路から与えられる量子化係数
を逆直交変換するものである。

【００２８】ブロック化されてＤＣＴ／ＩＤＣＴ回路６
に入力された画像データはこのＤＣＴ／ＩＤＣＴ回路６
により直交変換され、予め設定されている量子化マトリ
ックスに従って量子化回路１１で量子化される。

【００２９】その後、次の符号化回路７によって符号化
され、符号語をつくる。このようにして得られた符号語
を記録媒体に記録したり、あるいは伝送したりする。

【００３０】もとの画像を再生する場合には、スイッチ
５はａ側に切り替えられる。そして、符号語を符号化回
路７で解読（復号）して元の量子化係数値に戻し、この
量子化係数値に戻されたデータを量子化回路１１で量子
化の際に使用した元の量子化幅で直交変換係数に復元
し、これをＤＣＴ／ＩＤＣＴ回路６により逆直交変換を
行い、元の周波数成分別のデータ値に戻す。この戻され
たデータはメモリ制御回路４の制御のもとに、元のブロ
ックの周波数成分対応位置（元の周波数成分別座標位置
の対応マトリックス位置）に来るようにしてフレームメ
モリ３に記憶され、これをメモリ制御回路４の制御のも
とに読み出して、Ｄ／Ａ変換器２に与えることでＤ／Ａ
変換してアナログ化し、画像信号として出力する。

【００３１】再生時にはＤＣＴ／ＩＤＣＴ回路６からは
図４のｂの順番でデータが出力され、また、Ｄ／Ａ変換
器２へは図４のａのような順番で出力する必要があるの
で、メモリ制御回路４がアドレス信号を並べ替える。
尚、上記のような処理においては、スイッチ５はａ側に
設定される。

【００３２】ところで、電子スチルカメラ等ではデータ
を記憶媒体に記憶してあるので、画像の観賞は再生した
映像信号をテレビモニタ等で表示することで行うことが
でき、また、ビデオプリンタ等に出力して印刷すること
によりハードコピーとして得ることができる。

【００３３】そして、どこにどのような画像が撮影され
ているか、どこに必要なあるいはほしい画像があるか等
を手っとり早く知ることができるように画像検索機能と
して再生装置側にはマルチ画面表示機能が用意されてい
るものがある。

【００３４】すなわち、上述したような処理によって符
号化された画像の検索を行う場合、一度、すべてのコマ
をそれぞれ縮小して１枚の画面上に順に並べて一覧表示
したマルチ画面を作り、このマルチ画面より、所望の画
像を選ぶのが一般的でまた便利である。

【００３５】このマルチ画面を作るには、各フレーム毎
に画素の間引きを行って各画像を縮小する。また、間引
きのとき、折返し歪みを防ぐため、帯域制限を行う必要
があり、画像の水平、垂直方向それぞれに対して、低域
フィルタを通す。その後、画素の間引きを行って構成画
素数を減らすことにより各画像を縮小し、マルチ画面を
作る。

【００３６】図３の構成において、マルチ画面を表示す
る場合にはスイッチ５をｂ側に切り替える。これによ
り、ＤＣＴ／ＩＤＣＴ回路６の逆変換出力はフレームメ
モリ９、水平・垂直フィルタ８を経て、フレームメモリ
３に送られることになる。すなわち、ＤＣＴ／ＩＤＣＴ
回路６により、逆ＤＣＴ処理されたデータはフレームメ
モリ９にも送られるので、メモリ制御回路１０により書
き込み制御することで、一旦、フレームメモリ９に記録
する。このときには、図４において、符号ｂで示すジグ
ザグ矢印のような経路を辿る順番で書き込まれる。これ
を図４に符号ａで示す矢印経路を辿るような、順番で読
み出し、水平・垂直フィルタ８を通して、帯域制限処理
を行う。このようにして帯域制限された画像データをフ
レームメモリ３に書き込む。ところで、マルチ画面を作
るために、スイッチ５はｂ側に切り替えられるが、この
ときメモリ制御回路４はフレームメモリ３への書き込み
パルスを、縮小する比率に従い、飛び飛びに出力する。
また、メモリのアドレスは書き込みパルスが出力される
タイミングに合わせて切り替えるように制御する。これ
により画素の間引きが行われる。

【００３７】以上のような処理を各画面毎に繰り返して
マルチ画面を作る。そして、メモリ制御回路４は読み出
し用としてフレームメモリ３を例えばテレビの走査速度
とその走査方向に合わせ、１画素単位ずつ読み出すべく
アドレス制御することにより、順次読み出し、Ｄ／Ａ変
換器２に送ってアナログ変換し、画像信号に戻して出力
することにより再生出力を得、これを表示に使用した
り、ビデオプリンタに与えることでマルチ画面を見るこ
とができる。

【００３８】

【発明が解決しようとする課題】このように画像信号を
ディジタル化し、フレームメモリに格納し、これを所定
のマトリックスサイズでブロック化し、これを直交変換
してブロック毎に周波数成分別のデータとし、さらにこ
れを量子化してからハフマン符号化等により可変長符号
化し、圧縮符号化し、再生はこの圧縮符号化されたデー
タを復号化し、さらに逆量子化して元の値に戻し、さら
に逆直交変換して元のブロックの画像データに戻し、こ
れをアナログ変換して画像信号に戻すと云う処理を行
う。

【００３９】電子スチルカメラの撮影画像を検索するよ
うな場合、記録媒体に記録された画像を１画面に分割表
示して一覧可能にするマルチ画面を作成して表示するよ
うにするが、従来、マルチ画面を作る際は、各フレーム
画像について通常の再生処理を行い、それからそのフレ
ーム画像の画素の間引きを行うことにより画面縮小処理
を行う。この間引きはフレームメモリ３への書き込みパ
ルスを、画像縮小比率に従って、間引いて出力し、ま
た、同時にメモリのアドレスは書き込みパルスに同期さ
せて一番地ずつ進めることで行う。

【００４０】そのため、一画像分を縮小するのに要する
処理時間は通常の再生と同じだけかかり、従って、マル
チ画面を表示するまでの処理時間が長くなる。特に逆離
散コサイン変換等の逆直交変換のための処理が複雑であ
るので、検索のためのマルチ画面を作成するのに時間が
かかってしまい、実用性に欠ける。

【００４１】また、画素の間引きの際には、折返し歪み
を防止する必要があり、水平・垂直フィルタで帯域制限
処理をしなければならない。このとき、水平・垂直フィ
ルタにデータを渡すためにフレームメモリを用意し、こ
れに一旦保持してから上記フィルタに通すことから、マ
ルチ画面を保持させるためのフレームメモリ（第１のフ
レームメモリ）の他に別のフレームメモリ（第２のフレ
ームメモリ）を用意しなければならない。そのため、シ
ステムのコストアップにつながる。

【００４２】このような処理をするための他のシステム
として、画像の符号化から記録までの処理をコンピュー
タを使用してソフトウェアで行うこともできる。しか
し、この場合でも逆ＤＣＴのための処理時間が無視でき
ないことも同様であり、更に上記の第２のフレームメモ
リのような再生した画像を一時記憶する領域を必要と
し、ソフトウェアを実行するための主記憶装置（メモ
リ）の領域を圧迫する。

【００４３】そこでこの発明の目的とするところは、複
数の画面を１画面に並べて一覧表示するマルチ画面化等
を行うにあたり、その前処理としての画像サイズの縮小
化に際し、処理を簡略化させて高速に画像を縮小させる
ことができ、マルチ画面を表示するまでの処理時間の短
縮を図ると共に、縮小化の処理のための水平・垂直フィ
ルタ処理を不用として第２のフレームメモリを不用と
し、コストダウンを図ることができるようにした画像復
号化処理装置および復号化方法を提供することにある。

【００４４】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、第１には
画像データを所定サイズのブロックに分割し、この各ブ
ロック分けされた画像データに対して直交変換を行い、
周波数成分別の変換係数にしたデータを再生する画像デ
ータの復号化処理装置において、直交変換係数値を逆直
交変換してそのブロックでの各画素位置の画像データを
復元する第３の復元手段と、通常再生モードと縮小モー
ドの切り替えを行う操作手段と、通常再生モード時には
前記第１の復元手段の復元画像データを通し、縮小モー
ド時には直交変換係数値を通す切り替え手段と、この切
り替え手段を介して与えられるデータを保持して再生画
像データを得るフレームメモリと、通常再生モード時に
は送られてくる前記復元画像データその画像データの置
かれるべき位置対応にフレームメモリ上に書き込むべく
制御すると共に、縮小モード時には送られてくる前記復
元直交変換係数値をそれが直流成分となるタイミングの
場合にのみ、フレームメモリ上に書き込むべく制御して
データの間引きを行い、書き込むべきデータは前記間引
いたデータ分、画素位置を詰めるべくフレームメモリ上
に書き込むよう制御する制御手段と、フレームメモリか
らの読出し画像データを画像信号化して出力する出力手
段とより構成する。

【００４５】また、第２には画像データを所定サイズの
ブロックに分割し、この各ブロック分けされた画像デー
タに対して直交変換を行い、周波数成分別の変換係数に
されたデータを再生する画像データの復号化処理方法と
して、直交変換係数値のうちの、直流成分のみ抽出して
他を間引き、抽出したデータは間引いたデータ分画素位
置を詰めることにより、画像を縮小処理するようにする
ことを特徴とする。

【００４６】

【作用】上記の構成において、第１の構成の場合、第１
の復元手段は、この復元された直交変換係数値を逆直交
変換してそのブロックでの各画素位置の画像データを復
元する。一方、本装置は操作手段により通常再生モード
と縮小モードの切り替えを行うことができ、切り替え手
段は通常再生モード時には前記第１の復元手段の復元画
像データを通し、縮小モード時には復元直交変換係数値
を通す。この切り替え手段を介して与えられるデータは
フレームメモリに送られ保持されて再生画像データを得
ることになるが、制御手段は通常再生モード時には送ら
れてくる前記復元画像データその画像データの置かれる
べき位置対応にフレームメモリ上に書き込むべく制御す
ると共に、縮小モード時には送られてくる前記復元直交
変換係数値をそれが直流成分となるタイミングの場合に
のみ、フレームメモリ上に書き込むべく制御してデータ
の間引きを行い、書き込むべきデータは前記間引いたデ
ータ分、画素位置を詰めるべくフレームメモリ上に書き
込むよう制御する。

【００４７】この結果、通常モ−ド時には符号化処理時
と逆の変換が順次行われて、再現された画像データがフ
レームメモリに書き込まれるが、縮小モ−ド時には直交
変換係数値に戻す処理までを行い、この直交変換係数値
のうち、直流成分のものを抽出して他を間引くことで画
素を間引き、画面の縮小を行うことになる。そして、出
力手段はフレームメモリからの読出し画像データを画像
信号化して出力する。

【００４８】また、第２の発明の場合は、圧縮されたデ
ータを元の直交変換係数値に復元し、次にこの復元され
た直交変換係数値を、直流成分のみ抽出して他を間引
き、抽出したデータは間引いたデータ分画素位置を詰め
ることより、画像を縮小処理する。

【００４９】このように、本発明は画像信号をディジタ
ル化し、フレームメモリに格納し、これを所定のマトリ
ックスサイズでブロック化し、これを直交変換してブロ
ック毎に周波数成分別のデータとし、さらにこれを圧縮
符号化し、再生はこの圧縮符号化されたデータを復号化
し、さらに逆直交変換して元のブロックの画像データに
戻し、これをアナログ変換して画像信号に戻すと云う処
理を行う符号化／復号化において、フレ−ム画像を縮小
してマルチ画面を作成するにあたり、符号語を復号して
さらにこれを元の値（すなわち、直交変換された係数
値）に戻し、この戻された各ブロックの直交変換係数値
を逆直交変換せずにそのまま利用する。そして、その利
用するデータは直交変換係数値のうち、直流成分だけの
ものとし、この直流成分の値をそのブロックでの代表値
として使用し、フレーム画像の各ブロックについて、そ
れぞれこの直流成分のみを画素として使用し、他の成分
は捨てることで直流成分のみを集めたフレーム画像を再
現すると云うものである。

【００５０】これにより、各ブロック毎に直流成分以外
は間引かれた形となり、しかも、逆符号化して得られた
データを利用して分別することから、演算処理は大幅に
省略され、高速度で画像縮小処理でき、複数の画面を１
画面に並べて一覧表示するマルチ画面化等を行うにあた
り、その前処理としての画像サイズの縮小化に際し、処
理を簡略化させて高速に画像縮小処理ができるようにな
って、マルチ画面を表示するまでの処理時間の短縮を図
ることができるようになる。また、直流成分の直交変換
係数値をそのまま利用するので、これは帯域規制を与え
たものと等価であり、従って、フィルタリング処理をす
る必要がないので、フィルタ回路やこのフィルタ回路に
順次、データを与えるためのバッファ用のフィールドメ
モリそしてそのメモリの制御のための制御回路も不要と
なる。従って、回路構成も簡単となり、システム構成を
簡易化できる。

【００５１】

【実施例】以下、本発明の一実施例について、図面を参
照して説明する。

【００５２】図１は本発明の一実施例を示す全体構成図
である。図１において、１は画像信号入力用のＡ／Ｄ変
換器であって、入力されるアナログの画像信号をディジ
タルデータに変換して出力する回路である。また、２は
画像信号出力用のＤ／Ａ変換器であり、再生された画像
データをアナログの画像信号に変換して再生出力として
出力する回路である。３はフレ−ムメモリであり、４は
このフレ−ムメモリ３の書き込み読出しを制御するメモ
リ制御回路、５はスイッチ、６は直交変換／逆直交変換
処理（ＤＣＴ／ＩＤＣＴ）回路、７は符号化回路、１１
は量子化回路、１２は操作部、２０は制御回路である。

【００５３】スイッチ５は通常の再生と、マルチ画面の
切り替えを行う経路切替えスイッチであり、ａ，ｂ２つ
の切替え接点を有していて、符号化する場合や通常の画
面を再生する場合、スイッチ５はａ側に設定され、マル
チ画面を作る場合のように、画像サイズを縮小する場合
にはｂ側に設定される。この切替え操作は操作部１２の
操作により連動して行われる。

【００５４】フレ−ムメモリ３はＡ／Ｄ変換器１からの
画像データを受けて一時記憶すると共に、この記憶した
データを所定のブロック単位で読出して後段側に出力
し、また、スイッチ５を介して与えられるＤＣＴ／ＩＤ
ＣＴ回路６の逆変換出力または量子化回路１１の出力を
受けてこれを一時記憶するためのメモリである。メモリ
制御回路４はこのフレ−ムメモリ３の書き込み読出しを
制御するものである。直交変換／逆直交変換処理（ＤＣ
Ｔ／ＩＤＣＴ）回路６は符号化処理時には前記フレ−ム
メモリ３よりブロック化されて読み出される入力画像デ
ータを直交変換して周波数成分別の要素に分解して量子
化回路１１に出力し、また、再生処理時においては周波
数成分別の要素に分解して入力された１ブロック分ずつ
のデータを受けて元の１ブロック分の画像データに逆変
換処理する回路である。

【００５５】量子化回路１１は符号化処理時にはこのＤ
ＣＴ／ＩＤＣＴ回路６の出力する直交変換出力データを
所定の量子化幅で量子化して符号化回路７に出力すると
共に、再生処理時においては符号化回路７からの符号値
を逆変換してもとの直交変換係数値に戻する回路であ
る。符号化回路７は符号化処理時には量子化回路１１の
出力する量子化されたデータ（量子化係数値）を、ハフ
マン符号語等の符号語に変換して圧縮符号化し、入出力
端子に出力すると共に、再生処理時においては入出力端
子より入力される符号語化されたデータを復号化して、
もとの量子化係数値に復元して量子化回路１１に与える
回路である。

【００５６】また、操作部１２は符号化処理と通常の再
生処理の切替えと、マルチ画像再生表示のモード切替え
操作をするための操作手段である。

【００５７】本装置は、画像サイズを縮小化させるため
の画素の間引きを行うにあたり、符号語を解読して元の
量子化されたデータを復元し、これを逆直交変換処理し
ないで直流成分のもののみ集め、画像を再生する。変換
方式に２次元ＤＣＴを用いた場合、画素数が水平および
垂直ともにＮのブロック（Ｎ×Ｎ）における各画素の標
本値をＤＣＴ変換した場合の座標位置（ｕ，ｖ）の変換
係数Ｆ（ｕ，ｖ）は一般に下記数１の式(1) で与えら
れ、その逆変換は下記数１の式(2) のように与えられる
（テレビジョン学会誌Vol.43,No.10(1989)pp.1145 〜11
55参照）。但し、Ｎは画素数、Ｃは係数、ωは角周波
数、ｕ，ｖ，ｉ，ｊは座標を示す。

【００５８】

【数１】 この数１の式(1) において、ｕ，ｖが零の時、つまり座
標位置（０，０）の変換係数Ｆ（０，０）はその画像ブ
ロック内の平均輝度値を表わす直流成分に対応する。こ
のＦ（０，０）を抽出して１つの画素とし、図２のよう
に並べることにより、この画像は縦横（行方向、列方
向）共にブロックサイズ分の１の画面に縮小される。例
えば、図２のようにブロックサイズが縦８画素、横８画
素の場合は、この画像は縦横共に８分の１に縮小され
る。また、他の画像も同様な処理を行うことで６４画面
のマルチ画面ができる。このＦ（０，０）はブロック内
の各要素を合計し、適当な係数を乗じたものなので、２
次元の空間フィルタを通したものと等価な効果がある。
そのため、画素の間引きを行う前処理として従来は水平
・垂直フィルタを必要としたが、上記方法に従って画像
を縮小化する場合にはこれらのフィルタは不要である。
また、逆ＤＣＴ処理を実行せずに画像を縮小できるの
で、短時間でマルチ画面を作ることができる。他の直交
変換、例えば、離散フーリエ変換の場合でもＦ（０，
０）はブロックの直流成分を示す。この離散フーリエ変
換のように、ブロック内の直流成分を示す係数が得られ
る変換方式を用いて画像を符号化しているものであれ
ば、この手段を使用して画像サイズを縮小することがで
きる。

【００５９】このように、本発明の原理は画像信号をデ
ィジタル化し、フレームメモリに格納し、これを所定の
マトリックスサイズでブロック化し、これを直交変換し
てブロック毎に周波数成分別のデータとし、さらにこれ
を圧縮符号化し、再生はこの圧縮符号化されたデータを
復号化し、さらに逆直交変換して元のブロックの画像デ
ータに戻し、これをアナログ変換して画像信号に戻すと
云う処理を行う符号化／復号化において、フレ−ム画像
を縮小してマルチ画面を作成するにあたり、符号語を復
号してさらにこれを元の値（すなわち、直交変換された
係数値）に戻し、この戻された各ブロックの直交変換係
数値を逆直交変換せずにそのまま利用する。そして、そ
の利用するデータは直交変換係数値のうち、直流成分の
ものとし、この直流成分の値をそのブロックでの代表値
として使用し、フレーム画像の各ブロックについて、そ
れぞれこの直流成分のみを画素として使用し、他の成分
は捨てることで直流成分のみを集めたフレーム画像を再
現すると云うものである。

【００６０】これにより、各ブロック毎に直流成分以外
は間引かれた形となり、しかも、逆量子化して得られた
データを利用して分別することから、演算処理は大幅に
省略され、高速度で画像縮小処理できる。

【００６１】そのため、マルチ画面作成モードのときは
メモリ制御回路４は量子化回路１１が逆符号化処理して
出力するデータのうち、各ブロックの直流成分のデータ
が出力されるタイミングでフレームメモリ３に書き込み
パルスを与えると共に、このタイミングでアドレスを進
めるべく制御するように構成してある。マルチ画面作成
モードのときは１ブロックが８×８のサイズの場合、結
果的に１／64に縮小されるので、図２に示すようにフレ
ーム画像（画面）で斜め１つ下に隣接するブロックで
は、マルチ画面では斜め１つ下の隣接画素に位置するよ
うにアドレス制御されて縮小フレーム画像が生成される
ようにしてある。また、１番目のフレーム画像がフレー
ムメモリ３の原点位置を起点に、縦横各構成ブロック数
分の個数の画素だけ確保してその領域を１番目のフレー
ム画像の縮小画面格納領域となるようにアドレス制御し
て書き込み、２番目のフレーム画像ではその隣の領域に
書き込まれるようにアドレス制御して書き込み、と云っ
たように制御する構成とする。フレームメモリ３の読出
しはフレームメモリ３の記憶内容が１画面分となるよう
に、テレビ走査に合わせてテレビ走査と同様の走査方向
で読み出されるようにアドレス制御する。その他符号化
処理時、通常の再生処理時の書き込み／読出し制御は従
来のものと変わらない。また、制御回路２０はこれらの
制御の中枢を担うものである。

【００６２】以下、本装置の作用を説明する。符号化処
理時には操作部１２は符号化処理・通常再生処理のモー
ド側に設定する。これにより、スイッチ５はａ側に保た
れる。この状態で、入力端子より入力されるアナログの
画像信号はＡ／Ｄ変換器１でディジタル化される。通
常、後段のデータ圧縮／伸張回路やメディアへの記録／
再生回路の動作速度と、Ａ／Ｄ変換器１から出力される
データの速度は一致しない。従って、フレームメモリ３
に一旦記憶させ、その後に読み出すことにより、速度変
換を行う。

【００６３】次に以後の画像処理のために、図２に示す
ように１画像（１フレーム分の画像）分を、隣接するい
くつかの画素単位で分割して複数個のブロックにブロッ
ク化する。図２は１フレームの画像を縦８画素、横８画
素でブロック化した場合の例を示している（８×８画
素）。

【００６４】通常、撮像素子からの映像信号の場合、フ
レーム画面を行方向に走査して読み出し、Ａ／Ｄ変換器
１に与えることから、Ａ／Ｄ変換器１からは図４で説明
したように符号a を付して示す矢印方向のような順番で
各画素ＰＣのデータが出力され、一方、画像データの符
号化処理にあたってはブロック化してブロック単位で行
ってゆくので、このブロック化したデータとして渡すた
めには図４の符号b を付したジグザグ矢印のような順番
で、後段のＤＣＴ／ＩＤＣＴ（直交変換／逆直交変換）
回路６へ供給する必要がある。そこで、フレームメモリ
３の書き込み／読み出しの制御を行うメモリ制御回路４
はフレームメモリ３へのデータ書き込み制御時には図４
の矢印 aのような方向に沿ってまた、読み出し制御の場
合には矢印 bのような順番になるよう、出力するアドレ
ス信号を並べ替える。

【００６５】このようにして、ブロック化された画像デ
ータは、ＤＣＴ／ＩＤＣＴ（直交変換／逆直交変換）回
路６に与えられる。

【００６６】ブロック化されてＤＣＴ／ＩＤＣＴ回路６
に入力された画像データはこのＤＣＴ／ＩＤＣＴ回路６
により直交変換され、予め設定されている量子化マトリ
ックスに従って量子化回路１１で量子化される。

【００６７】その後、次の符号化回路７によって符号化
され、符号語をつくる。このようにして得られた符号語
を記録媒体に記録したり、あるいは伝送したりする。

【００６８】もとの画像を再生する場合には、スイッチ
５はａ側に切り替えられる。そして、符号語を符号化回
路７で解読（復号）して元の量子化係数値に戻し、この
量子化係数値に戻されたデータを量子化回路１１で量子
化の際に使用した元の量子化幅で直交変換係数に復元
し、これをＤＣＴ／ＩＤＣＴ回路６により逆直交変換を
行い、元の周波数成分別のデータ値に戻す。この戻され
たデータはメモリ制御回路４の制御のもとに、元のブロ
ックの周波数成分対応位置（元の周波数成分別座標位置
の対応マトリックス位置）に来るようにしてフレームメ
モリ３に記憶され、これをメモリ制御回路４の制御のも
とに読み出して、Ｄ／Ａ変換器２に与えることでＤ／Ａ
変換してアナログ化し、画像信号として出力する。尚、
再生時にはＤＣＴ／ＩＤＣＴ回路６からは図４のｂの順
番でデータが出力され、また、Ｄ／Ａ変換器２へは図４
のａのような順番で出力する必要があるので、メモリ制
御回路４がアドレス信号を並べ替える。

【００６９】以上は符号化処理と通常の再生処理の場合
の動作であり、基本的に従来技術で説明したものと変わ
りはない。

【００７０】次にマルチ画面表示等のために画面を縮小
処理する場合を説明する。この場合、操作部１２をマル
チ画面再生表示モードに切り替える。これによりスイッ
チ５はｂ側に切り替わる。そして、これにより量子化回
路１１からの逆量子化による復元データの出力がスイッ
チ５を介してフレームメモリ３に与えられる構成とな
る。

【００７１】そして、符号語化されている画像のデータ
を入出力端子より入力する。するとこの符号語は符号化
回路７に送られ、ここで解読（復号）されて元の量子化
係数値に戻される。この量子化係数値に戻されたデータ
は量子化回路１１に送られ、ここで量子化の際に使用し
た元の量子化幅で直交変換係数に復元される。

【００７２】一方、スイッチ５はｂ側に切り替えられて
おり、従って、この量子化回路１１の出力は直接、フレ
ームメモリ３に与えられることになる。このように、画
像サイズを縮小するときには、量子化された情報は量子
化回路１１で復元した後、このデータは直接フレームメ
モリ３に入力される。

【００７３】そして、フレームメモリ３の書き込みのと
きには、各ブロックのデータのうち、数１で示したＦ
（０，０）、すなわち、直流成分のデータが出力された
タイミングでメモリ制御回路４は書き込み制御すべく、
フレームメモリ３へ書き込みパルスを与え、また、この
タイミングでメモリのアドレスを変える。そして、この
ようなタイミングで上述の原理のように、フレームメモ
リ３のアドレスを管理することで各ブロックの直流成分
のみを画素データとして集めたかたちの縮小画像がフレ
ームメモリ３上に形成されることになる。

【００７４】すなわち、例えば、図２のように縦８画
素、横８画素で１個のブロックを構成した場合、各ブロ
ック毎にそれぞれ直流成分（すなわち、それぞれＦ
（０，０）の位置のＤＣＴ係数）のもののみを集めるこ
とで、画像サイズは縦横ともに８分の１に縮小されるの
で、1/64の縮小画面が得られることになる。画面は1/64
に縮小されるので、フレームメモリ３は64の領域に等分
割し、それぞれの領域を別の縮小画像の格納領域として
使用する。

【００７５】一つの画面の縮小が終わったならば、次の
画面の縮小に移り、これをフレームメモリ３の空き領域
の一つに書き込む。このようにして、順番に別の画像を
縮小して空き領域に書き込んでゆくことでマルチ画面を
作る。フレームメモリ３上にマルチ画面が作成されたな
らば、メモリ制御回路４はフレームメモリ３の内容をテ
レビスキャン等に合わせて読出すべく制御し、読み出さ
れたデータはＤ／Ａ変換器２に与えてこれをアナログの
画像信号に戻し、出力する。これにより、マルチ画面形
式の画像信号が得られる。

【００７６】以上、動作の詳細を説明をしたが、この実
施例の場合、画像サイズを縮小するときには量子化回路
の復元出力（直交変換係数値）のうちの直流成分のもの
のみを抽出して、これにより画像を再生することで縮小
画像を得る方式であるから、復元された直交変換係数の
逆変換処理が全く不要である。そのため、処理時間のか
かるＤＣＴ／ＩＤＣＴ回路６を通して処理する必要がな
いので、画像縮小処理時間が非常に短くなる。また、コ
ンピュータを使用して処理をソフトウェアで行うように
する場合でも、従来のような第２のフレームメモリに相
当する領域を用意する必要がなく、ソフトウェアを実行
させるために必要なメモリの節約が図れ、しかも、逆Ｄ
ＣＴを実行しなくとも良いので、処理時間の短縮化が図
れる。

【００７７】このように、本発明は画像信号をディジタ
ル化し、フレームメモリに格納し、これを所定のマトリ
ックスサイズでブロック化し、これを直交変換してブロ
ック毎に周波数成分別のデータとし、さらにこれを圧縮
符号化し、再生はこの圧縮符号化されたデータを復号化
し、さらに逆直交変換して元のブロックの画像データに
戻し、これをアナログ変換して画像信号に戻すと云う処
理を行う符号化／復号化において、フレ−ム画像を縮小
してマルチ画面を作成するにあたり、符号語を復号して
さらにこれを元の値（すなわち、直交変換された係数
値）に戻し、この戻された各ブロックの直交変換係数値
を逆直交変換せずにそのまま利用する。そして、その利
用するデータは直交変換係数値のうち、直流成分のもの
とし、この直流成分の値をそのブロックでの代表値とし
て使用し、フレーム画像の各ブロックについて、それぞ
れこの直流成分のみを画素として使用し、他の成分は捨
てることで直流成分のみを集めたフレーム画像を再現す
ると云うものである。

【００７８】これにより、各ブロック毎に直流成分以外
は間引かれた形となり、しかも、逆量子化して得られた
データを利用して分別することから、演算処理は大幅に
省略され、高速度で画像縮小処理でき、また、直流成分
の直交変換係数値をそのまま利用するので、これは帯域
規制を与えたものと等価であり、従って、フィルタリン
グ処理をする必要がないので、フィルタ回路やこのフィ
ルタ回路に順次、データを与えるためのバッファ用のフ
ィールドメモリそしてそのメモリの制御のための制御回
路も不要となる。従って、回路構成も簡単となり、シス
テム構成を簡易化できる。

【００７９】なお、本発明は上記し、且つ、図面に示す
実施例に限定することなくその要旨を変更しない範囲内
で適宜変形して実施し得ることはもちろんである。

【００８０】

【発明の効果】以上詳述したように、本発明によれば、
画像を縮小する場合の演算を大幅に省略できるので、マ
ルチ画面を出力するまでの時間が短縮でき、また、画素
の間引きによる折返し歪みを低減できるので、従来のよ
うに第２のフレームメモリとメモリ制御回路、水平・垂
直フィルタの省略が可能になり、構成を簡略化できる
他、コンピュータを用いてソフトウェアで各処理を実行
するシステムとした場合では、処理時間を短縮できるこ
とはもとより、ソフトウェアを実行するための主記憶装
置の領域を圧迫せずに高速検索を可能にする等の特徴が
得られる。

【図面の簡単な説明】

【図１】 本発明の一実施例の全体構成を示すブロック
図。

【図２】 本発明の原理を説明するための図。

【図３】 従来例の構成例を示すブロック図。

【図４】 画像の圧縮符号化と復号の原理を説明するた
めの図。

【図５】 画像の圧縮符号化の詳しい原理を説明するた
めの図。

【図６】 ジグザグスキャンを説明するための図。

【符号の説明】

１…画像信号入力用のＡ／Ｄ変換器、２…画像信号出力
用のＤ／Ａ変換器、３…フレ−ムメモリ、４…メモリ制
御回路、５…スイッチ、６…直交変換／逆直交変換処理
（ＤＣＴ／ＩＤＣＴ）回路、７…符号化回路、１１…量
子化回路、１２…操作部、２０…制御回路。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像データを所定サイズのブロックに分
   割し、この各ブロック分けされた画像データに対して直
   交変換を行い、周波数成分別の変換係数にしたデータを
   再生する画像データの復号化処理装置において、 直交変換係数値を逆直交変換してそのブロックでの各画
   素位置の画像データを復元する第３の復元手段と、 通常再生モードと縮小モードの切り替えを行う操作手段
   と、 通常再生モード時には前記第１の復元手段の復元画像デ
   ータを通し、縮小モード時には直交変換係数値を通す切
   り替え手段と、 この切り替え手段を介して与えられるデータを保持して
   再生画像データを得るフレームメモリと、 通常再生モード時には送られてくる前記復元画像データ
   その画像データの置かれるべき位置対応にフレームメモ
   リ上に書き込むべく制御すると共に、縮小モード時には
   送られてくる前記復元直交変換係数値をそれが直流成分
   となるタイミングの場合にのみ、フレームメモリ上に書
   き込むべく制御してデータの間引きを行い、書き込むべ
   きデータは前記間引いたデータ分、画素位置を詰めるべ
   くフレームメモリ上に書き込むよう制御する制御手段
   と、 フレームメモリからの読出し画像データを画像信号化し
   て出力する出力手段とより構成することを特徴とする画
   像復号化処理装置。
2. 【請求項２】 画像データを所定サイズのブロックに分
   割し、この各ブロック分けされた画像データに対して直
   交変換を行い、周波数成分別の変換係数にされたデータ
   を再生する画像データの復号化処理方法として、 直交変換係数値のうちの、直流成分のみ抽出して他を間
   引き、抽出したデータは間引いたデータ分画素位置を詰
   めることにより、画像を縮小処理することを特徴とする
   画像復号化処理方法。