JP2908796B2 - 画像信号の直交変換符号化装置 - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は画像信号の直交変換符号化装置に関し、特に
固体撮像装置を用いて撮像された画像信号の直交変換お
よび符号化を行う直交変換符号化装置に関する。

背景技術 例えばCCD等の固体撮像装置により撮像された画像信
号を内部メモリ、あるいはメモリカード、磁気ディスク
等の外部記憶装置に記憶する場合には、記憶装置の容量
を考慮し、画像信号のデータを小さな容量に圧縮するこ
とが必要である。このような、画像データの圧縮の方法
として直交変換符号化が知られている。この方法は次の
ようなものである。まず、画像信号の表す画像を所定の
数のブロックに分割し、分割されたブロックごとの各画
素のデータを直交変換する。

画像信号においては、低周波成分が電力的に大きな成
分を占めている。一方、高周波成分は電力的には大きく
ないが、情報的には意味が大きい。また、視覚的にもこ
れらに対する特性は異なる。そこで画像信号をこのよう
な低周波成分および高周波成分に変換して、それぞれの
成分に適した量子化を行い、符号化する。受信または再
生側で符号化された信号を逆変換して元の信号を得る。
このようにすれば、効率的な符号化を行うことができ
る。

直交変換符号化においては、適当な数の画素を１つの
ブロックとして画面を複数のブロックに分割し、これら
のブロックごとに標本値からなる数値列を直交変換す
る。すなわち、原画像信号のもっている特徴に適合し
た、相互に独立な変換軸で線形変換する。この結果変換
された各項はもとの標本値に比べより独立（より無相
関）になる。これにより冗長な情報は抑圧される。この
方式はいわば周波数軸上の操作である。

この結果、画像信号の統計的性質から特定の成分に電
力が集中する。そこで視覚特性も考慮しつつ、電力の大
きな低周波成分に多くのビットを割当て、低電力の高周
波成分は少ないビット数で粗く量子化する。これにより
ブロックあたりのビット数を低減させることができる。

このように直交変換および符号化することによって、
画像信号を構成する画素のデータを記憶する場合に比較
して記憶装置の容量を小さくすることができる。

ところが、従来、記憶装置に記憶された圧縮符号化さ
れたデータを元の画像信号に再生した場合、画像信号に
は各処理において付加された雑音信号が含まれている。
この雑音信号は、一般に高周波まで伸びたスペクトラム
を持っている。これに対して、必要な画像のスペクトラ
ムは低周波域に集中しているため、雑音信号は通常平滑
化のフィルタリングによって除去される。再生部におけ
るこの処理は、圧縮符号化されたデータを復号化して直
交逆変換を行った後に、直交逆変換されたデータをデジ
タルフィルタに通すことによって行われる。このように
従来の装置では再生時に各種の不要成分を除去するため
の多数のデジタルフィルタを必要としていたため、ハー
ドウェアの規模が大きくなり、装置全体を軽量、小型化
できないという欠点があった。しかも、再生の処理速度
が遅くなるという問題があった。

目 的 本発明はこのような従来技術の欠点を解消し、直交変
換および符号化圧縮したデータを再生する際の処理速度
が速く、しかも再生装置の構造を簡略化することができ
る画像信号の直交変換符号化装置を提供することを目的
とする。

発明の開示 本発明によれば、複数色の色フィルタを前面に有し、
これら色フィルタに対応させたカラー画像データを各画
素から得るようにしたカラー撮像手段により撮像された
カラー画像信号を受けて、カラー画像信号の画像データ
を直交変換および符号化して記録媒体に記録する画像信
号の直交変換符号化装置は、画像信号の画像データを直
交変換する直交変換手段と、直交変換手段により直交変
換された画像データを符号化する符号化手段とを有し、
符号化手段は、直交変換後の画像データに所定のデータ
を積算する積算手段を含み、直交変換後の画像データの
うち特定のデータを所望のデータに変換することを特徴
とするものである。

また本発明によれば、上記の装置の符号化手段は、符
号化されたデータを再生する際の不要な信号を除去する
ための係数データを直交変換後のデータに積算し、積算
後のデータに所定のビット数を割り当てるものである。

実施例の説明 次に添付図面を参照して本発明による画像信号の直交
変換符号化装置の実施例を詳細に説明する。

第１図には本発明による画像信号の直交変換符号化装
置をカラー画像撮影・再生一体型のデジタル電子スチル
カメラに適用した一実施例が示されている。なお、本発
明の説明に直接関係のないカメラの他の部分、例えばシ
ャッタ、絞り、フィルム等の機構は図示を省略してい
る。

本装置はマスターレンズ12を有し、マスターレンズ12
の後方にはマスターレンズ12により捕えられた被写体の
光学像を光信号から映像信号に変換する撮像デバイス14
が配置され、撮像デバイス14の表面には色フィルタ16が
設けられている。撮像デバイス14は、図示しない同期信
号発生回路から送られる同期信号に応動して被写体の光
学像を光信号から映像信号に変換する。

撮像デバイス14により得られた画像信号は、信号線10
2を通してAD変換回路18に送られる。AD変換回路18は撮
像デバイス14から送られる画像信号をデジタル信号に変
換する。なお、撮像デバイス14とAD変換回路18との間
に、ガンマ補正や、ホワイトバランス処理の手段を挿入
してもよい。AD変換回路18においてデジタル信号に変換
されたカラー画像信号は、信号線104を通してマトリク
ス回路20に送られる。例えば、撮像デバイス14の色フィ
ルタ16の各色成分が第３図のように配置されている場合
には、画像信号を構成する画素が各走査線にGR、または
GBの順で配列されているから、このような画素信号がAD
変換回路18からマトリクス回路20に出力される。

マトリクス回路20は、AD変換回路18から入力されるRG
Bの成分の画素により構成される画像信号を輝度信号
（Ｙ信号）および色差信号（Ｉ信号、Ｑ信号）に変換
し、信号線106を通して直交変換回路24に出力する。

直交変換回路24は、信号線106から入力されたＹ、
Ｉ、Ｑの各信号を図示しないブロック化回路においてそ
れぞれ所定の数のブロックに分割した後、ブロックごと
に直交変換を行ない、信号線108を通して符号化回路26
に送出する。ブロック化は、例えば入力された各信号を
第4A図に示すような画像60を第4B図に示すような複数の
領域62a、62b、62c…、すなわちブロックに分割する。
第4B図に示される１のブロック62は、例えば16×16＝25
6個の画素により構成されるものが好ましいが、画像信
号を構成する画素数に応じて所定の数の画素から構成さ
れるブロックとすればよい。

ブロック化された画像信号は、各ブロックごとに直交
変換を行う。各ブロックの画素信号は、直交変換前には
例えば第5A図に示すように、それぞれの画素のレベルの
値を有している。同図の例においては、最も上の最も左
の画素はデジタルデータにおいて120のレベルであり、
その右の画素は127のレベル、３番目の画素は108のレベ
ルを有し、また上から２番目の最も左の画素は107のレ
ベル、その右の画素は120のレベルである。

これを直交変換すると、例えば第5B図に示すようなデ
ータが得られる。直交変換としては、アダマール変換、
コサイン変換、フーリエ変換等が知られている。直交変
換を行われた第5B図のようなデータは、横軸方向に元の
画面の水平方向の周波数成分、縦軸方向に元の画面の垂
直方向の周波数成分が対応している。また、データの配
列において、左上方ほど低周波数成分のデータが配置さ
れ、右方または下方へいくにつれて高周波数成分のデー
タ、すなわち隣接する画素との差分値の大きいデータが
配置されている。

一般の画像は先にも述べたように、低周波成分は電力
的に大きな成分を占め、高周波成分は小さな成分しかあ
らわれないため、第5B図に示すような直交変換後のデー
タは、左上方部に大きに値が現れ、右方および下方にい
くにつれて小さい値となる。

直交変換回路24において直交変換された信号は、信号
線108を通して符号化回路26に送られる。符号化回路26
は、積算器72および量子化回路70を有し、例えば図示し
ないルックアップテーブルから送られる符号化のための
データにより符号化される。符号化は、第5B図に示され
るような行列データを、各データに所定のビット数を割
り当てて行う。例えば第5C図に示すようなビット数を割
り当て、第5B図のデータ200には８ビットを、データ15
0、130、150には６ビットを、データ100、90、40、70、
80には４ビットを、データ50、50、10、５、10、60、20
には２ビットを、それぞれ割り当て、これらのデータを
符号化する。これらのデータよりも右方および下方に配
置されたデータにはビット数を割り当てない。すなわ
ち、直交変換後のデータにおいて所定の範囲よりも右ま
たは下に配置されたデータは無視し、記憶しない。この
ように低周波数成分のみを記憶し、高周波数成分を無視
する理由は、一般の画像において、大部分が低周波数成
分であるため、高周波数成分を無視しても画像をおおむ
ね再現できるからである。

また、符号化回路26は入力された直交変換後のデータ
に対する量子化特性にデジタルフィルタの機能を有し、
直交変換後のデータのうち特定の周波数成分を除去し、
除去した後の各データに対して上述したように所定のビ
ット数を割り当てる。これは、後述するようにメモリ32
に記憶された圧縮符号化されたデータを再生する際に不
要となる、例えばフィルタ配列およびAD変換により生じ
る偽効果および雑音等、先に述べたような各処理におい
て付加される余分な周波数成分を除去するものである。
また雑音の除去の他に、画像のコントラストの改善、あ
るいは画像の有用な部分を鮮鋭化させる、いわゆる強調
のためのデジタルフィルタとしての機能を含ませること
も可能である。

第２図にはこのような機能を有する符号化回路26がよ
り詳細に示されている。入力端子74から入力された直交
変換後の信号は信号線170を通して積算器72に送られ
る。一方、入力端子76には直交変換後の信号から特定の
周波数成分信号を除去するためのデータ、つまり積算器
72において直交変換後の各信号に掛け合せることによっ
て特定の周波数成分信号を例えば「０」として除去する
ための係数データが入力され、信号線176を通して積算
器72に送られる。積算器72は、信号線170を通して入力
された直交変換後の信号と、信号線176を通して入力さ
れた係数データとを積算し、不要なデータを除去した後
のデータを信号線172を通して量子化回路70に送出す
る。量子化回路70は、前述したように入力されたデータ
に対して所定のビット数を割り当てる。

符号化回路26において符号化されたデータは、信号線
110を通してメモリ32に記憶される。

一方、メモリ32に記憶された圧縮符号化されたデータ
を再生する場合、メモリ32に記憶された画像データは信
号線112を通して復号化回路44に入力される。復号化回
路44は入力された符号化されたデータを復号化し、第5B
図に示すようなデータを得る。復号化回路44により復号
化されたデータは信号線114を通して直交逆変換回路46
に送られる。

直交逆変換回路46は復号化されたデータにつき直交逆
変換を行い、第5A図に示すような各ブロックのデータを
得る。直交逆変換回路46により得られた各ブロックのデ
ータは図示しないブロック合成回路においてデータが合
成され、Ｙ、Ｉ、Ｑの各信号として信号線116を通して
マトリクス回路48に送られる。

マトリクス回路48は、信号線116から入力されたＹ、
Ｉ、Ｑの各信号を元のＲ、Ｇ、Ｂの三原色の信号に変換
し、信号線118を通してDA変換回路52に送られる。DA変
換回路52は、入力されたＲ、Ｇ、Ｂの各デジタル信号を
アナログ信号に変換し、各信号の信号線120を通してそ
れぞれの出力54に出力される。出力54は、例えばCRTに
接続されており、メモリ32に記憶されたカラー画像がCR
T54の画面に再生される。

なお、以上の撮像デバイス14および各回路は図示しな
い制御部に接続されており、この制御部が制御線を介し
て制御信号を出力し、各部の動作を接御する。

本装置の動作を説明する。

マスターレンズ12により捕えられた被写体の光学像は
撮像デバイス14により光信号からＲ、Ｇ、Ｂの各映像信
号に変換され、信号線102を通してAD変換回路18に送ら
れる。映像信号はAD変換回路18においてデジタル信号に
変換され、信号線104を通してマトリクス回路20に送ら
れる。マトリクス回路20に入力されたＲ、Ｇ、Ｂの画像
データはＹ、Ｉ、Ｑの各信号に変換され、信号線106を
通して直交変換回路24に送られる。直交変換回路24に入
力された、Ｙ、Ｉ、Ｑの各信号は図示しないブロック化
回路において前記のようにブロック化され、前記のよう
にブロックごとに直交変換され、直交変換されたデータ
が信号線108を通して符号化回路26に送られる。

符号化回路26に送られた直交変換されたデータは、符
号化回路26で例えば再生時に不要となる周波成分信号を
除去した後、それぞれのブロックごとに符号化され、信
号線110を通してメモリ32に書き込まれる。このように
して撮像デバイス14において撮影されたスチル画像がメ
モリ32に記憶される。

次に再生の動作を説明する。

メモリ32に記憶されたデータは信号線112を通して復
号化回路44に入力される。復号化回路44に入力されたデ
ータ復号化回路44において復号化され、それぞれ信号線
114を通して直交逆変換回路46に送られる。直交逆変換
回路46に入力されたデータは直交逆変換され、ブロック
ごとのデータが得られる。直交逆変換されたブロックご
とのデータは図示しないブロック合成回路において合成
され、信号線116を通してマトリクス回路48に送られ、
元のＲ、Ｇ、Ｂの画像データに変換される。Ｒ、Ｇ、Ｂ
の画像データは信号線118を通してDA変換回路52に送ら
れ、DA変換回路52においてアナログ信号に変換され、信
号線120を通して出力54に送られ、CRT等の出力画面に元
のスチル画像が再生表示される。

上記のように第１図の電子スチルカメラによれば、撮
像デバイス14で撮像された画像は直交変換回路24におい
て分割された各ブロックごとに直交変換され、符号化回
路26において低周波数成分のデータのみに大きな記憶容
量を当て高周波数成分のデータには小さな記憶容量を当
てるかまたは記憶しない。したがって、小さな記憶容量
で画像を記憶することができるから、メモリ32に多数の
画像を記憶することができる。

しかも、符号化回路26が、入力された直交変換後のデ
ータに対する量子化特性にデジタルフィルタの機能を有
していることから、再生時に不要となる雑音等の高周波
成分の信号の除去や、強調等のための周波成分の操作を
記録部で、しかも多くの余分な回路を必要とせずに行う
ことが可能となる。したがって、例えば第６図に示した
従来の電子スチルカメラのように直交変換回路46の後に
各信号に対するデジタルフィルタ56を配置する必要がな
くなるため、再生部のハードウェアの規模を小さくする
ことができ、装置全体を軽量、小型化することができ
る。さらに、再生部に多くのデジタルフィルタを配置す
る必要がなくなることから、再生部の処理速度を向上さ
せることができる。これは、例えば入力された信号のブ
ロック化における１のブロック62の画素数が16×16以上
というようにブロックサイズが大きい場合において、特
に有利に適用できる。

なお、本実施例では信号処理をＹ、Ｉ、Ｑの各信号に
変換して行ったが、Ｙ、Ｉ、Ｑの各信号に変換せず、
Ｒ、Ｇ、Ｂの各信号で処理させることも可能である。

また、本実施例の装置のAD変換回路18の後にメモリを
配置し、AD変換回路18から読み出された画像データの信
号を一旦メモリに記憶させ、メモリ制御部からの制御信
号によってメモリに記憶された画像データをブロック化
させる、つまり画像データのブロック化をメモリにおい
て行うことも可能である。

本実施例では本発明による画像信号の直交変換符号化
装置をカラー画像撮影・再生一体型のデジタル電子スチ
ルカメラに適用したが、一体型ではなくカラー画像撮影
用のカメラに適用することもでき、例えばカメラに出力
端子を有し圧縮符号化したデータを半導体メモリなどが
カード状の基板上に実装されたいわゆるメモリカード等
に記憶させることも可能である。

上記の実施例においては、画像信号の直交変換符号化
装置を電子スチルカメラに適用した装置を説明したが、
本発明は電子スチルカメラに限られず、画像データを直
交変換符号化する必要のある各種装置に適用できるもの
である。

効 果 本発明によれば、符号化回路が、入力された直交変換
後のデータに対する量子化特性にデジタルフィルタの機
能を有しているため、再生時に除去する所望の周波成分
を符号化回路において除去することができる。したがっ
て、再生側にデジタルフィルタを配置する必要がなくな
るため、再生側のハードウェアの規模を小さくすること
ができ、装置全体を軽量、小型化することができる。し
かも、再生時の処理速度を向上させることができる。

【図面の簡単な説明】

第１図は本発明による画像信号の直交変換符号化装置を
デジタル電子スチルカメラに適用した一実施例を示すブ
ロック図、 第２図は第１図の装置の符号化回路を示す回路図、 第３図はフィルタの配置の一例を示す図、 第4A図はブロック化される前の画像の一例を示す図、 第4B図は画像をブロック化する例を示す図、 第5A図は１のブロックの画素データの例を示す図、 第5B図は第5A図の画素データを直交変換したデータの例
を示す図、 第5C図は第5B図のデータの符号化において割り当てるビ
ット数の例を示す図、 第６図は直交変換符号化を適用した従来のデジタル電子
スチルカメラの一例を示すブロック図である。 主要部分の符号の説明 14……撮像デバイス 18……AD変換回路 20,48……マトリクス回路 24……直交変換回路 26……符号化回路 32……メモリ 44……復号化回路 46……直交逆変換回路 52……DA変換回路 70……量子化回路 72……積算回路

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】複数色の色フィルタを前面に有し、これら
   色フィルタに対応させたカラー画像データを各画素から
   得るようにしたカラー撮像手段により撮像されたカラー
   画像信号を受けて、該カラー画像信号の画像データを直
   交変換および符号化して記録媒体に記録する直交変換符
   号化装置において、該装置は、 前記画像信号の画像データをその周波成分数、直交変換
   する直交変換手段と、 該直交変換手段により直交変換された前記画像データを
   符号化する符号化手段とを有し、 該符号化手段は、前記直交変換後の画像データの特定の
   周波成分データに所定のデータを積算し、特定の周波成
   分データを所望の値に変換するフィルタ機能を有する積
   算手段を含むことを特徴とする直交変換符号化装置。
2. 【請求項２】請求項１に記載の直交変換符号化装置にお
   いて、前記符号化手段は、符号化されたデータを再生す
   る際の不要な周波成分信号を除去するための係数データ
   を前記直交変換後のデータに積算し、積算後のデータに
   所定のビット数を割り当てることを特徴とするカラー画
   像信号の直交変換符号化装置。
3. 【請求項３】請求項２に記載の直交変換符号化装置にお
   いて、前記積算手段は、前記直交変換後のデータのうち
   輝度データに、再生時に不要な高域周波成分を抑圧する
   係数データを積算することを特徴とする直交変換符号化
   装置。
4. 【請求項４】請求項１に記載の直交変換符号化装置にお
   いて、前記符号化手段は、直交変換後のデータに、特定
   の周波成分信号を強調するための係数データを積算し、
   積算後のデータに所定のビット数を割り当てることを特
   徴とするカラー画像信号の直交変換符号化装置。