JP4892869B2 - 画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラム - Google Patents

Description

本発明は、画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラムに関する。

電子カメラにおいて、撮像素子から出力されるアナログ画像信号に所定の処理を施してからＡ／Ｄ変換した直後のデジタルの画像データは、「ＲＡＷデータ」と呼ばれている。ここで本明細書では、「画像データ」とは、各画素に対し画素値を有するデータであり、「画素値」とは、撮像素子からの画像信号をＡ／Ｄ変換することで各画素に対して得られるデジタルナンバーであって、その画素の明るさにほぼ比例して大きくなる値とする。

ＲＡＷデータは、色補間などの処理を殆ど経ていないため、撮像素子の生の出力信号に忠実であり、階調数が多く、元々の画像情報を豊富に含む。具体的には、ＲＡＷデータが例えば１２ビット階調であるのに対し、記録時には１色当たり８ビットに階調変換された画像データを用いることが多い。なお、階調変換に関する従来技術としては、特許文献１等が知られている。このような特徴から、ＲＡＷデータは、高度な画像処理に適した画像データであり、高品位な画像を得る上で重要である。

ＲＡＷデータの圧縮処理では、処理時間を短縮するため、着目画素の画素値の予測値を算出する際に、例えば前値（着目画素に対し、読み出し順番が直前の画素の画素値）との差分を用いている。また、非特許文献１には、複数の予測式を用いて画素値の予測値を算出する手法が記載されている。図６は、非特許文献１の画像圧縮方法の説明図であり、着目画素の位置と、予測値の算出に用いる画素との位置関係を示す。

非特許文献１の手法では、図６において、画素Ｘ４の画素値を予測する際、その周辺のＸ１、Ｘ２、Ｘ３の３つの画素の画素値に基づいて、７つの予測式を用いて予測値をそれぞれ算出している。そして、着目画素であるＸ４の実際の画素値をＸと定義し、ｉ番目の予測式により規定されるＸ４の画素値に対する予測値をＸ’と定義し、両者の差分誤差の２乗和をＥ（ｉ）と定義する。ここで、差分誤差の２乗和Ｅ（ｉ）は、以下の（１）式で与えられる。

そして、複数の予測式の内、差分誤差の２乗和Ｅ（ｉ）を最小にする予測式が、Ｘ４も
含めた場合の差分誤差の二乗和Ｅ’（ｉ）を最小にすると仮定し、各画素値に対して適宜予測式を切り替え、可逆圧縮を行っている。なお、Ｘ４も含めた場合の差分誤差の二乗和
Ｅ’（ｉ）は、以下の（２）式で与えられる。

特開２００１−２８５７０６号公報 鈴木馨、渡辺徹、加藤茂夫、宮道寿一著、「ＪＰＥＧ−Ｓｐａｔｉａｌモード予測式の適応切替えによる自然画像のロスレス符号化」、画像電子学会誌、第２７巻、第３号（１９９８）、ｐ．２４１−２４７

非特許文献１の圧縮方法は、予測値の算出において、着目画素の周辺の３画素しか予測値の算出に用いないので、ノイズの影響を受け易い。例えばＸ１、Ｘ２、Ｘ３のいずれかの画素が欠陥画素であれば、予測値が大きく異なってしまう。また、（１）式で与えられる差分誤差の２乗和Ｅ（ｉ）を最小にする予測式が、Ｘ４も含めた差分誤差の２乗和Ｅ’
（ｉ）も最小にするという仮定は、完全ではなく、成立しないことが多い。これは、実際の画像データ内に存在する様々なノイズの影響によると考えられる。圧縮率を高めるためには、着目画素も含めた差分誤差の２乗和Ｅ’（ｉ）を最小にする予測式を用いることが望ましく、非特許文献１の圧縮方法は、効率的とは言えない。さらに、非特許文献１の圧縮方法は、各画素が赤、緑、青の全ての色成分の画素値を有することを前提としているので、ＲＡＷデータに対しては、色補間を施してからでないと適用できない。

本発明の目的は、従来よりも効率的な画像圧縮技術を提供することである。
本発明の別の目的は、上記目的に適う画像圧縮技術において、ＲＡＷデータ等の色補間前の画像データに対しても適用可能なものを提供することである。
本発明の別の目的は、上記目的に適う画像圧縮技術により圧縮された画像データを伸張する技術を提供することである。

本発明の画像圧縮装置は、分割部と、予測式決定部と、予測差分算出部と、符号化部とを有することを特徴とする。分割部は、複数の色成分の画素の画素値が含まれる画像データを取得して、画像データを複数の画像領域に分割する。予測式決定部は、画素値に対する予測値の算出方法を規定する予測式を複数用意し、各々の画像領域に対し、予測値の算出に用いる予測式を色成分毎に選択する。予測差分算出部は、画像領域毎の各画素に対し、その画素の画素値と、選択された予測式により決定される予測値との差分を予測差分として算出する。符号化部は、予測差分に基づいて符号化処理を行うことで圧縮データを生成する。そして、予測式決定部は、画像領域毎に同じ色成分の全ての画素で、予測差分の二乗を総和した値または予測差分の絶対値を総和した値が最小となる予測式を選択する。

本発明の画像圧縮装置では、画像データは、第１色成分、第２色成分、第３色成分の３種類の色成分の画素の画素値を有し、予測式決定部は、各色成分に対し複数の予測式を予め用意しており、少なくとも１つの色成分に対して用意されている複数の予測式が、他のいずれかの色成分に対して用意されている複数の予測式とは異なり、第２色成分の画素に対して用意されている複数の予測式の少なくとも１つは、予測値の算出対象の画素である着目画素に対して近傍に位置する第１色成分の画素の画素値を、予測値に反映させることが好ましい。

本発明の画像圧縮装置では、第２色成分の画素に対して用意されている予測式の少なくとも１つは、第２色成分の画素近傍に位置する複数の第１色成分の画素から、着目画素に対応する第１の第１色成分の画素値を決定し、着目する第２色成分の画素周りで、第１の第１色成分の画素値と最も値が近い第１色成分を第２の第１色成分として検出し、第２の第１色成分に対応する第２の色成分の画素を予測値に反映させることが好ましい。或いは、この構成では、画像データにおいて第１色成分の画素数が最も多く、第２色成分の各画素に複数の第１色成分の画素が隣接する配列であり、第２色成分の画素に対して用意されている予測式の少なくとも１つは、着目画素及びその近傍の複数の第２色成分の画素に対してそれぞれ、隣接する複数の第１色成分の画素の画素値の平均に相応する値を中間相当値として算出し、着目画素の近傍の複数の第２色成分の画素から、着目画素に対する中間相当値に最も近い中間相当値となる第２色成分の画素を選択し、選択した画素の画素値を、予測値に反映させることが好ましい。

本発明の画像圧縮装置では、画像データが、輝度情報を最も多く含む第１色成分の画素の画素値と、第２色成分の画素の画素値と、第３色成分の画素の画素値とを有する構成としてもよい。例えば、画像データがベイヤー配列型である構成としてもよい。また、本発明の画像圧縮装置では、各々の画像領域に対してどの予測式を色成分毎に選択したかの情報を、生成した圧縮データに付随させることが好ましい。

本発明の画像伸張装置は、上記の画像圧縮装置により生成され、選択した予測式の情報が付随している圧縮データを伸張するものであり、復号化部と、加算演算部とを備えたことを特徴とする。復号化部は、符号化後の予測差分を圧縮データから抽出してデコードし、符号化前の予測差分を復元する。加算演算部は、圧縮データに付随する情報から、各画像領域に対する色成分毎の予測式を取得し、取得した予測式に基づいて各画素の予測値を算出し、予測値と予測差分との加算で与えられる画素値からなる画像データを生成する。

本発明の電子カメラは、撮影レンズにより形成される被写体の光像を撮像して、複数の色成分の色情報を有する画像データを生成する撮像部と、撮像部が生成した画像データを取得して圧縮データを生成する本発明の画像圧縮装置とを備えたことを特徴とする。

本発明では、画素値に対する予測値の算出方法を規定する予測式を複数用意し、各々の画像領域に対し、予測値の算出に用いる予測式を色成分毎に選択後、選択された予測式により決定される予測値に基づいて画像圧縮を行う。従って、予測式の選択に際して、例えば画像領域内における同色成分の全画素で、画素値と予測値との差分の二乗を総和した値が最小となる予測式を選択する等により、従来よりも効率的に圧縮できる。また、このようにして生成される圧縮データに対し、各々の画像領域に対してどの予測式を色成分毎に選択したかの情報を付随させることで、データの復元（伸張）が可能になる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
＜本実施形態の構成＞
本実施形態では一例として、図１に示す構成態様に基づいて本発明の電子カメラ、画像圧縮装置及び画像伸張装置について説明する。具体的にはまず、本発明の画像圧縮装置を有する電子カメラにより撮影が行われ、画像データが生成される。電子カメラは、その内部の画像圧縮装置により画像データを圧縮後、画像ファイルとして記録媒体に記録する。この記録媒体は、電子カメラから取り出されて、本発明の画像伸張装置を有する画像再生装置に装填される。画像再生装置は、記録媒体中の画像ファイルを読み出し、その内部の画像伸張装置によって画像ファイル内の画像データを伸張し、伸張後の画像データに所定の処理を施して、モニタに表示する。以下、各部の構成をさらに詳しく説明する。

図１に示すように、電子カメラ８は、撮影レンズ１２と、撮像部２０と、ＭＰＵ（Micro Processor Unit）２４と、操作部２６と、メモリ２８と、画像処理部３２と、システムバス３６と、画像圧縮装置４０と、記録処理部４４とを有する。画像圧縮装置４０は、差分演算部４８と、可変長符号化部５２とで構成されており、電子カメラ８のスロット（図示せず）には、交換可能な記録媒体６０が装填されている。また、撮像部２０は、撮像素子、タイミングジェネレータ、アナログ信号処理部、Ａ／Ｄ変換部等を有する。ＭＰＵ２４は、電子カメラ８全体のシステム制御を行う。

画像再生装置７０は、媒体ドライブ部７２と、ＣＰＵ７４と、操作部７６と、モニタ制御部７８と、メモリ８０と、画像伸張装置８２と、システムバス８４とを有する。画像伸張装置８２は、可変長復号化部９０と、加算演算部９２とで構成されている。また、画像再生装置７０には、液晶表示装置等のモニタ９８が接続されている。媒体ドライブ部７２は、ＣＰＵ７４の指令に従って、装填された記録媒体６０中のファイルを読み込んで、それをメモリ８０に記憶させる。ＣＰＵ７４は、画像再生装置７０全体のシステム制御を行う。また、ＣＰＵ７４は、メモリ８０に取り込まれた画像データが圧縮されている場合には、それを画像伸張装置８２により伸張させ、伸張後の画像データに所定の処理を施して映像信号を生成する。

＜画像圧縮で用いる予測式の説明＞
本実施形態では、色補間前のベイヤー配列の画像データを圧縮する例を述べる。本実施形態の画像圧縮は複数のプロセスからなるが、その内の１つのプロセスとして、各画像ブロック内の全画素に対して予測値を算出する。図２は、緑色成分の画素に対する予測値の算出に用いる画素の配置を示し、１画素を正方形で表した画素配列を示す。図２において、右下がりの斜線で示した画素は青色成分の画素を示し、点で塗り潰して示した画素は赤色成分の画素を示し、何もパターンを付していない画素は緑色成分の画素を示す。

本実施形態では、緑色成分の画素に対する予測値の算出には、同色の４画素の画素値のみを用いる。ここで、予測値の算出対象である（緑色成分の）着目画素の画素値をＧと表記し、Ｇに対する予測値をＧ’と表記する。また、着目画素の２つ上に位置する緑色成分の画素値をＧ１、着目画素の右斜め上に隣接する緑色成分の画素値をＧ４、着目画素の左斜め上に隣接する緑色成分の画素値をＧ３、着目画素の２つ左に位置する緑色成分の画素値をＧ２とする。

そして、ｇ１〜ｇ７の７通りのパターンからなる以下の（３）式により、緑色成分の画素に対する予測値を算出する。
パターンｇ１： Ｇ’＝Ｇ１
パターンｇ２： Ｇ’＝Ｇ２
パターンｇ３： Ｇ’＝Ｇ３
パターンｇ４： Ｇ’＝Ｇ４
パターンｇ５： Ｇ’＝（Ｇ３＋Ｇ４）／２
パターンｇ６： Ｇ’＝ median｛Ｇ１、Ｇ２、Ｇ３、Ｇ４｝
パターンｇ７： Ｇ’＝（Ｇ１＋Ｇ２）／２ ・・・（３）
（３）式におけるmedian｛｝は、｛｝内の複数の画素値を大きい順または小さい順に並べた場合に、順番が真ん中になる画素値として定義する。なお、｛｝内に偶数個の画素値が含まれる場合、median｛｝は、順番が真ん中になる２つ画素値を平均した値とする。例えば、Ｇ１＞Ｇ２＞Ｇ３＞Ｇ４の場合、median｛Ｇ１、Ｇ２、Ｇ３、Ｇ４｝＝（Ｇ２＋Ｇ３）／２となる。

図３は、赤色成分の画素に対する予測値の算出に用いる画素の配置を図２と同様に表した画素配列図である。ここで、予測値の算出対象である（赤色成分の）着目画素の画素値をＲと表記し、Ｒに対する予測値をＲ’と表記する。そして、予測値Ｒ’の算出には、同色の８画素の画素値Ｒ１〜Ｒ８に加え、緑色成分の２４画素の画素値Ｇ１〜Ｇ２３、Ｇを用いる。画素値Ｒ１〜Ｒ８をそれぞれ有する赤色成分の８個の画素は、着目画素に対し、図３のＲ１〜Ｒ８で示される位置にある。また、画素Ｇ１〜Ｇ２３をそれぞれ有する緑色成分の２３個の画素は、着目画素に対し、図３のＧ１〜Ｇ２３で示される位置にある。また、Ｇは、着目画素に対し左に隣接する緑色成分の画素の画素値である。

本実施形態では、ｒ１〜ｒ１２の１２通りのパターンからなる以下の（４）式により、赤色成分の画素に対する予測値を算出する。
パターンｒ１： Ｒ’＝Ｒ６
パターンｒ２： Ｒ’＝Ｒ８
パターンｒ３： Ｒ’＝Ｒ５
パターンｒ４： Ｒ’＝Ｒ８＋｛（Ｒ６−Ｒ５）／２｝
パターンｒ５： Ｒ’＝Ｒ６＋｛（Ｒ８−Ｒ５）／２｝
パターンｒ６： Ｒ’＝（Ｒ６＋Ｒ８）／２
パターンｒ７： Ｒ’＝ median｛Ｒ５、Ｒ６、Ｒ８｝
パターンｒ８： Ｒ’＝（Ｒ６／Ｇ１３）×Ｇ
パターンｒ９： Ｒ’＝（Ｒ８／Ｇ１６）×Ｇ１７
パターンｒ１０：Ｒ’＝（Ｇ１７／Ｇｕｐ）×Ｒｕｐ
パターンｒ１１：Ｒ’＝（Ｇ／Ｇｌｅｆｔ）×Ｒｌｅｆｔ
パターンｒ１２：Ｒ’＝［Ｇｗｗ（Ｒ）／Ｇｚ］×Ｒｚ
・・・（４）
（４）式のパターンｒ１０において、Ｇｕｐ、Ｒｕｐは、それぞれ以下のようにして算出する。まず、画素値Ｒ１〜Ｒ８に対応する画素の真上の８つの緑色成分の画素に着目する。これらの画素値Ｇ１、Ｇ２、Ｇ３、Ｇ８、Ｇ９、Ｇ１０、Ｇ１５、Ｇ１６の内、値がＧ１７に最も近いものをＧｕｐとする。そして、Ｇｕｐに対応する画素の直下の（赤色成分の）画素の画素値をＲｕｐとする。Ｒｕｐは、画素値Ｒ１〜Ｒ８のいずれかになる。

また、パターンｒ１１において、Ｇｌｅｆｔ、Ｒｌｅｆｔは、それぞれ以下のようにして算出する。まず、画素値Ｒ１〜Ｒ８に対応する画素の左に隣接する８つの緑色成分の画素に着目する。これらの画素値Ｇ４、Ｇ５、Ｇ６、Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１８、Ｇ１９の内、値がＧに最も近いものをＧｌｅｆｔとする。そして、Ｇｌｅｆｔに対応する画素の右に隣接する（赤色成分の）画素の画素値をＲｌｅｆｔとする。Ｒｌｅｆｔは、画素値Ｒ１〜Ｒ８のいずれかになる。

また、パターンｒ１２において、Ｇｗｗ（Ｒ）、Ｇｚ、Ｒｚは、それぞれ以下のようにして算出する。まず、着目画素に対し縦横に隣接する４つの緑色成分の画素から、画素値が最大または最小のものを除いた２画素を選択し、これら２画素の画素値を平均し、この値をＧｗｗ（Ｒ）とする。即ち、Ｇｗｗ（Ｒ）は、次式で与えられる。
Ｇｗｗ（Ｒ）＝ median｛Ｇ、Ｇ１７、Ｇ２０、Ｇ２３｝ ・・・（５）
画素値Ｒ１〜Ｒ８に対応する８つの画素に対しても、上述と同様に縦横に隣接する４つの緑色成分の画素からmedian｛｝を算出し、算出した値をそれぞれＧｗｗ（Ｒ１）〜Ｇｗｗ（Ｒ８）とする。そして、Ｇｗｗ（Ｒ１）〜Ｇｗｗ（Ｒ８）の内、Ｇｗｗ（Ｒ）に値が最も近いものをＧｚとする。Ｇｚに対応する（赤色成分の）画素の画素値をＲｚとする。Ｒｚは、画素値Ｒ１〜Ｒ８のいずれかになる。

ここで、ベイヤー配列では、青色成分の画素は、画素数が赤色成分の画素と同じであり、緑色成分の画素に対する位置関係が赤色成分の画素と対称である。従って、青色成分の画素に対する予測値の算出は、上記パターンｒ１〜ｒ１２に示した赤色成分の画素に対する手法と同様にして求める。以上の予測式に基づいて画像圧縮を行うが、画像圧縮の具体的手順は以下のフローチャート内で説明する。

＜本実施形態の動作説明＞
図４は、本実施形態の電子カメラ８の動作を示す流れ図である。以下、図に示すステップ番号に従って、電子カメラ８の動作を説明するが、ここでは本発明の特徴である画像圧縮方法に重点を置き、従来と同様の撮像動作は簡単に説明する。
［ステップＳ１］電子カメラ８の電源釦がオンされると、電源オン処理が行われ、その後、操作部２６に対するユーザの操作に応じて撮影が行われる。撮影時において撮像部２０は、撮影レンズ１２により形成される被写体の光像を撮像素子により光電変換し、これにより生成された電荷を画像信号として読み出し、所定の処理を施した後、Ａ／Ｄ変換してＲＡＷデータを出力する。

［ステップＳ２］ＭＰＵ２４は、撮像部２０から出力されたＲＡＷデータを、システムバス３６を介して一旦メモリ２８に格納後、画像圧縮装置４０に入力する。
［ステップＳ３］画像圧縮装置４０の差分演算部４８は、入力されたＲＡＷデータを、複数の画像ブロック、または、複数のライン領域に分割する。ここでは一例として、画素数が縦１０×横１０の画像ブロックに分割するものとする。この場合、各画像ブロックは、緑色成分の画素を５０個有し、赤または青色成分の画素を２５個有することになる。

［ステップＳ４］このステップＳ４では、差分演算部４８は、画像圧縮における予測値の算出に用いる予測式を、各画像ブロックに対し、赤、緑、青の色成分毎に選択する。具体的には、１つの画像ブロックにおいて、その中の全ての緑色成分の画素に対し、（３）式に基づいて予測値Ｇ’を算出する。この例では、５０個の緑色成分の画素に対してそれぞれ、パターンｇ１〜ｇ７の７通りの予測値Ｇ’が算出される。

次に、着目画素の画素値Ｇと、その画素に対しパターンｇ１で求めた予測値Ｇ’との差（いわゆる、予測差分）を二乗した値を、画像ブロック内の全ての緑色成分の画素に対するもので総和する。この総和した値を、差分誤差の２乗和Ｅｇ（ｉ）とする。なお、ここではパターンｇ１に対するものなので、ｉ＝ｇ１である。この例では１画像ブロック内の緑色成分の画素数が５０個なので、差分誤差の２乗和Ｅｇ（ｉ）は、以下の（６）式のようになる。

同様にして、パターンｇ２〜ｇ７で求めた予測値Ｇ’に対しても、それぞれ、差分誤差の２乗和Ｅｇ（ｉ）を求める。そして、７通りのパターンで求めた差分誤差の２乗和Ｅｇ（ｇ１）〜Ｅｇ（ｇ７）の内、値が最小となるものを選択し、それに対応する予測式（パターンｇ１〜ｇ７のいずれか）を、その画像ブロックに対する緑色成分の圧縮用予測式とする。

次に、１つの画像ブロックにおいて、その中の全ての赤色成分の画素に対し、（４）式に基づいて予測値Ｒ’を算出する。この例では、２５個の赤色成分の画素に対してそれぞれ、パターンｒ１〜ｒ１２の１２通りの予測値Ｒ’が算出される。次に、画素値Ｒと、その画素に対しパターンｒ１で求めた予測値Ｒ’との差を二乗した値を、画像ブロック内の全ての赤色成分の画素に対するもので総和する。この総和した値を、差分誤差の２乗和Ｅｒ（ｉ）とする。この例では１画像ブロック内の赤色成分の画素数が２５個なので、差分誤差の２乗和Ｅｒ（ｉ）は、以下の（７）式のようになる。

同様に、パターンｒ２〜ｒ１２で求めた予測値Ｒ’に対してもそれぞれ、差分誤差の２乗和Ｅｒ（ｉ）を求める。そして、差分誤差の２乗和Ｅｒ（ｒ１）〜Ｅｒ（ｒ１２）の内、値が最小となるものを選択し、それに対応する予測式（パターンｒ１〜ｒ１２のいずれか）を、その画像ブロックに対する赤色成分の圧縮用予測式とする。同様の手順で、青色成分の画素に対しても、１２通りの予測式により、予測値Ｂ’を算出して差分誤差の２乗和Ｅｂ（ｉ）をそれぞれ求め、Ｅｂ（ｉ）を最小とする予測式を、その画像ブロックに対する青色成分の圧縮用予測式とする。差分演算部４８は、このように１つの画像ブロックに対して各色成分の圧縮用予測式を選択する処理を、全画像ブロックに対し行う。

［ステップＳ５］差分演算部４８は、画像ブロック毎に、その画像ブロック内の全画素に対して予測差分を求める。具体的には、差分演算部４８は、ステップＳ４で各画像ブロックに対し各色成分毎に選択した圧縮用予測式を用い、処理対象の画素の画素値と、その処理対象の画素に対し圧縮用予測式で与えられる予測値との差分を、予測差分として算出する。このようにして、差分演算部４８は、全ての画像ブロックに対し、その画像ブロック内の全画素の予測差分を求める。

［ステップＳ６］可変長符号化部５２は、ステップＳ５で求めた予測差分を、予め定められた可変長符号割り当てに従って可逆符号化し、可変長の圧縮コードを生成する。その後、符号割り当てを全ての画素に対して行うことで、ＲＡＷデータの圧縮データが生成される。可変長符号化部５２は、ＲＡＷデータの圧縮データと、ステップＳ４で各画像ブロックに対し各色成分毎に選択した圧縮用予測式のデータとを一旦メモリ２８に入力する。ＭＰＵ２４は、メモリ２８に記憶されたＲＡＷデータの圧縮データと、各画像ブロックに対する色成分毎の圧縮用予測式のデータとを記録処理部４４に入力する。

［ステップＳ７］記録処理部４４は、入力されたＲＡＷデータの圧縮データに基づいて、画像ファイルを生成する。記録処理部４４は、この画像ファイルの例えばヘッダ部分に、付帯情報として、各画像ブロックに対する各色成分毎の圧縮用予測式のデータを含める。記録処理部４４は、生成した画像ファイルを、記録媒体６０に記録する。以上が電子カメラ８の動作の説明である。

次に、上述の手順で画像ファイルが記録された記録媒体６０を電子カメラ８から取り外し、それを画像再生装置７０に装填する。図５は、上述の画像圧縮方法により圧縮されたＲＡＷデータの画像ファイルの再生時における、画像再生装置７０の動作を示す流れ図である。以下、図に示すステップ番号に従って、画像再生装置７０の動作を説明する。
［ステップＳ１１］操作部７６に対するユーザの操作等により、上記のＲＡＷデータの画像ファイルを再生する指示があった場合、ＣＰＵ７４は、媒体ドライブ部７２を介して、その画像ファイルを一旦メモリ８０に記憶させる。そして、ＣＰＵ７４は、メモリ８０に取り込んだ画像ファイルを、システムバス８４を介して画像伸張装置８２に入力する。

［ステップＳ１２］画像伸張装置８２は、画像ファイルにおける圧縮されたＲＡＷデータの伸張を開始する。具体的には、可変長復号化部９０は、可変長符号割り当てに従ってＲＡＷデータの圧縮データをデコードし、予測差分の値を復元する。
［ステップＳ１３］加算演算部９２は、画像ファイルのヘッダ部分に記録されている各画像ブロックに対する色成分毎の圧縮用予測式を取得する。加算演算部９２は、取得した圧縮用予測式と、先行して伸張済みの近傍画素の画素値とに基づいて、処理対象画素の予測値を算出する。次に、加算演算部９２は、算出した予測値と、可変長復号化部９０により復元された予測差分とを加算して、元の画素値を復元する。加算演算部９２は、以上のようにして各画像ブロック毎に全画素の画素値を復元し、これによりＲＡＷデータを復元後、ＲＡＷデータを一旦メモリ８０に入力して記憶させる。

［ステップＳ１４］ＣＰＵ７４は、復元されたＲＡＷデータをメモリ８０から取り込み、これに色補間等の所定の処理を施して、映像信号（この例では静止画像の画像信号）を生成する。ＣＰＵ７４は、この映像信号をモニタ制御部７８に入力する。モニタ制御部７８は、この映像信号に所定の処理を施してからモニタ９８に入力し、ＲＡＷデータが表す画像をモニタ９８上に表示させる。以上が画像再生装置７０の動作説明である。

＜本実施形態の効果＞
本実施形態では、各色成分に対し７パターンまたは１２パターンの予測式を用意し、画像ブロック毎に、全画素に対し全パターンの予測式により予測値を算出する。そして、（６）式、（７）式に示したように、各画像ブロック内の同色の全画素で、画素値と予測値との差分（予測差分）の二乗を総和し、これを差分誤差の２乗和とする。このように差分誤差の２乗和を予測式のパターン別に実際に算出し、それが最小となる予測式を各画像ブロックに対して色成分毎に選択する。従って、周辺画素のみの差分誤差の２乗和が最小となれば、着目画素も含めた差分誤差の２乗和が最小になるという非特許文献１のような不完全な仮定がなく、その画像ブロック内での差分誤差の２乗和を最小にするものが確実に選択されるので、圧縮効率は高くなる。

赤色成分または青色成分の１２パターンの予測式では、着目画素の周囲の同色の８画素の画素値に加え、近傍の２４個の緑色成分の画素の画素値も参照する。従って、周囲の同色成分の画素の画素値のみから予測値を算出する圧縮方法や、着目画素の周辺の３画素しか予測値の算出に用いない非特許文献１の圧縮方法と比較して、ノイズの影響を受けにくい。

特に、パターンｒ１０〜ｒ１２の予測式では、周囲の緑色成分の画素値に基づいて得られる係数に、着目画素の近傍の８つの同色成分の画素から選択した１画素の画素値を乗じることで、予測値を規定する。これら８つの同色成分の画素から１つを選択するに際して、パターンｒ１０、ｒ１１では、これら８画素の上（または左）に隣接する緑色成分の画素値を参照し、それが着目画素の上（または左）に隣接する緑色成分の画素値と最も近いものを選択する。従って、近傍の同色成分の画素から、着目画素に画素値が最も近いものが選択されやすく、予測差分が小さくなる確率を高くできる。

また、パターンｒ１２では、これら８つの同色成分の画素から１つを選択するに際して、着目画素及びそれら８画素に対してそれぞれ、縦横に隣接する４つの緑色成分の画素の画素値のmedian｛｝を算出し、median｛｝が着目画素に最も近い画素を選択する。このmedian｛｝は、４つの緑色成分の画素の画素値から、値が最大または最小のものを除いた中間値を規定するので、１画素に大きなノイズが含まれていても、それは予測値の算出に反映されない。従って、極めてノイズの影響を受けにくくなる。

以上のように、各色成分に対し用意されている複数の予測式は、予測差分を小さくする確率が高いものや、ノイズの影響を受けにくい予測式を含む。従って、複雑な画像を圧縮する場合にも、各画像ブロックに対して、近傍画素の画素値との相関が最も有効に働く予測式を選択して用いることができる。このため、１画像全体に同一の予測式を用いる場合よりも、効率的に圧縮できる。また、本実施形態の手法によれば、撮影直後のＲＡＷデータに対しても、色補間等の処理を施すことなく可逆的に圧縮することできる。

＜本実施形態の補足事項＞
上述したステップＳ３〜Ｓ６の処理をプログラムコード化して、画像圧縮プログラムを作成してもよい。この画像圧縮プログラムをコンピュータ上で起動することによって、コンピュータを本発明の画像圧縮装置として機能させることができる。その場合、電子カメラでは画像圧縮を行わずにＲＡＷデータを画像ファイルとして記録媒体６０に記録し、記録媒体６０をコンピュータに接続後、コンピュータにおいてそのＲＡＷデータを読み取り、本発明の画像圧縮を施してもよい。同様に、上述したステップＳ１２、Ｓ１３の処理をプログラムコード化して、画像伸張プログラムを作成してもよい。この画像伸張プログラムをコンピュータ上で起動することによって、コンピュータを本発明の画像伸張装置として機能させることができる。

原色ベイヤー配列のＲＡＷデータに本発明の画像圧縮を適用する例を述べたが、本発明の画像圧縮方法は、シアン、イエロー、マゼンダの補色系配列や、ＧストライプＲＢ線順次等の他の画素配列にも適用可能である。ＧストライプＲＢ線順次とは、緑色成分の画素のみからなる画素行が１行置きに配置され、該緑色成分の画素行の間の画素行が、赤色成分の画素と青色成分の画素とを交互に配置してなるものである。また、本発明の画像圧縮方法は、一切の画像処理が施されていないＲＡＷデータに限らず、他の画像データ（例えばホワイトバランス調整等の画像処理後の画像データ）にも適用可能である。

本実施形態では、ＲＡＷデータをそのまま画像圧縮する例を述べた。本発明は、かかる実施形態に限定されるものではない。ＲＡＷデータに対し、例えば特許文献１の図４に記載の階調変換特性βに基づいた階調圧縮を施してから、本実施形態の画像圧縮を施してもよい。その場合、画像再生装置７０は、階調圧縮されたＲＡＷデータを画像伸張装置により復元後に、階調圧縮前の階調が必要であれば、再度その階調に振り分けてもよい。

本発明者のシミュレーション結果によれば、圧縮効率を高める（圧縮後のデータ量を少なくする）という点で、１画像ブロックの画素数は、縦５〜２０個、横５〜２０個であることが望ましい。さらに望ましくは、上述した実施形態のように縦１０×横１０であるとよい。
本実施形態では、画像圧縮における予測値の算出に際して、青色成分の画素と、赤色成分の画素とで同様の予測式を用いる例を述べたが、全ての色成分の画素に対してそれぞれ異なる予測式を用いてもよい。

また、本実施形態では、緑色成分の画素に対して、７通りのパターンで求めた差分誤差の２乗和Ｅｇ（ｇ１）〜Ｅｇ（ｇ７）の内、値が最小となるものを選択したが、差分誤差の２乗和ではなく、差分誤差の絶対値の総和が最小となるものを選択してもよい。差分誤差の絶対値の総和をＦｇ（ｉ）とすると、以下の（８）式のようになる。

緑以外の色成分の画素に対しても、差分誤差の２乗和の代わりに差分誤差の絶対値の総和を用いてもよい。このように差分誤差の絶対値の総和が最小となるものを選択する処理は、差分誤差の２乗和による処理と比べて、処理に要する時間を短縮させることができる。

入力されたＲＡＷデータを複数の画像ブロックに分割する差分演算部４８の機能は、本発明で言う「分割部」の一例である。各画像ブロックに対し、予測値の算出に用いる１つの予測式を色成分毎に選択する差分演算部４８の機能は、本発明で言う「予測式決定部」の一例である。選択した予測式により予測値を算出し、その予測値と実際の画素値との差分を予測差分として算出する差分演算部４８の機能は、本発明で言う「予測差分算出部」の一例である。予測差分を符号化することで圧縮データを生成する可変長符号化部５２の機能は、本発明で言う「符号化部」の一例である。パターンｒ１２において着目画素やその近辺の同じ色成分の画素に対しそれぞれ算出するＧｗｗ（Ｒ）、Ｇｗｗ（Ｒ１）〜Ｇｗｗ（Ｒ８）は、本発明で言う「中間相当値」の一例である。緑色成分の画素は、赤色成分または青色成分の画素よりも輝度情報を多く含み、本発明で言う「輝度情報を最も多く含む第１色成分の画素」の一例である。

以上詳述したように本発明は、画像圧縮及び画像伸張において大いに利用可能である。

本実施形態の電子カメラ及び画像再生装置の概略構成を示すブロック図である。 緑色成分の画素に対する予測値の算出に用いる画素の配置を示し、１画素を正方形で表した画素配列を示す。 赤色成分の画素に対する予測値の算出に用いる画素の配置を示し、１画素を正方形で表した画素配列を示す。 本実施形態の電子カメラの動作を示す流れ図である。 本実施形態の画像再生装置の動作を示す流れ図である。 非特許文献１の画像圧縮方法の説明図であり、着目画素の位置と、予測値の算出に用いる画素との位置関係を示す。

符号の説明

８ 電子カメラ，１２ 撮影レンズ，２０ 撮像部，２４ ＭＰＵ，２８ メモリ，
４０ 画像圧縮装置，４４ 記録処理部，４８ 差分演算部，５２ 可変長符号化部，
６０ 記録媒体，
７０ 画像再生装置，７２ 媒体ドライブ部，７４ ＣＰＵ，７８ モニタ制御部，
８０ メモリ，８２ 画像伸張装置，９０ 可変長復号化部，９２ 加算演算部，

Claims (11)

1. 複数の色成分の画素の画素値が含まれる画像データを取得して、前記画像データを複数の画像領域に分割する分割部と、
   画素値に対する予測値の算出方法を規定する予測式を複数用意し、各々の前記画像領域に対し、前記予測値の算出に用いる前記予測式を色成分毎に選択する予測式決定部と、
   前記画像領域毎の各画素に対し、その画素の画素値と、選択された前記予測式により決定される前記予測値との差分を予測差分として算出する予測差分算出部と、
   前記予測差分に基づいて符号化処理を行うことで圧縮データを生成する符号化部とを備え、
   前記予測式決定部は、前記画像領域毎に同じ色成分の全ての画素で、前記予測差分の二乗を総和した値または前記予測差分の絶対値を総和した値が最小となる前記予測式を選択することを特徴とする画像圧縮装置。
2. 請求項１に記載の画像圧縮装置において、
   前記画像データは、第１色成分、第２色成分、第３色成分の３種類の色成分の画素の画素値を有し、
   前記予測式決定部は、各色成分に対し複数の前記予測式を予め用意しており、
   少なくとも１つの色成分に対して用意されている複数の前記予測式は、他のいずれかの色成分に対して用意されている複数の前記予測式とは異なり、
   第２色成分の画素に対して用意されている複数の前記予測式の少なくとも１つは、前記予測値の算出対象の画素である着目画素に対して近傍に位置する第１色成分の画素の画素値を、前記予測値に反映させることを特徴とする画像圧縮装置。
3. 請求項２に記載の画像圧縮装置において、
   第２色成分の画素に対して用意されている前記予測式の少なくとも１つは、第２色成分の画素近傍に位置する複数の第１色成分の画素から、前記着目画素に対応する第１の第１色成分の画素値を決定し、着目する第２色成分の画素周りで、前記第１の第１色成分の画素値と最も値が近い第１色成分を第２の第１色成分として検出し、前記第２の第１色成分に対応する第２の色成分の画素を予測値に反映させる
   ことを特徴とする画像圧縮装置。
4. 請求項２に記載の画像圧縮装置において、
   前記画像データは、第１色成分の画素数が最も多く、第２色成分の各画素に複数の第１色成分の画素が隣接する配列であり、
   第２色成分の画素に対して用意されている前記予測式の少なくとも１つは、前記着目画素及びその近傍の複数の第２色成分の画素に対してそれぞれ、隣接する複数の第１色成分の画素の画素値の平均に相応する値を中間相当値として算出し、前記着目画素の近傍の複数の第２色成分の画素から、前記着目画素に対する前記中間相当値に最も近い中間相当値となる第２色成分の画素を選択し、選択した画素の画素値を、前記予測値に反映させる
   ことを特徴とする画像圧縮装置。
5. 請求項１〜請求項４のいずれかに記載の画像圧縮装置において、
   前記画像データは、輝度情報を最も多く含む第１色成分の画素の画素値と、第２色成分
   の画素の画素値と、第３色成分の画素の画素値とを有することを特徴とする画像圧縮装置。
6. 請求項５に記載の画像圧縮装置において、
   前記画像データは、ベイヤー配列型であることを特徴とする画像圧縮装置。
7. 請求項１〜請求項６のいずれかに記載の画像圧縮装置において、
   各々の前記画像領域に対してどの前記予測式を色成分毎に選択したかの情報を、生成した前記圧縮データに付随させることを特徴とする画像圧縮装置。
8. 請求項１〜請求項７のいずれかに記載の画像圧縮装置としてコンピュータを機能させるための画像圧縮プログラム。
9. 撮影レンズにより形成される被写体の光像を撮像して、複数の色成分の色情報を有する画像データを生成する撮像部と、
   前記撮像部が生成した前記画像データを取得して圧縮データを生成する請求項１〜請求項７のいずれかに記載の画像圧縮装置と
   を備えたことを特徴とする電子カメラ。
10. 請求項７に記載の画像圧縮装置により生成された圧縮データを伸張する画像伸張装置であって、
    符号化後の予測差分を前記圧縮データから抽出してデコードし、符号化前の前記予測差分を復元する復号化部と、
    前記圧縮データに付随する情報から、各画像領域に対する色成分毎の予測式を取得し、取得した前記予測式に基づいて各画素の予測値を算出し、前記予測値と前記予測差分との加算で与えられる画素値からなる画像データを生成する加算演算部と
    を備えたことを特徴とする画像伸張装置。
11. 請求項１０に記載の画像伸張装置としてコンピュータを機能させるための画像伸張プログラム。

Images