JP4359773B2 - 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム - Google Patents

Description

この発明は、例えば、デジタルスチルカメラやデジタルビデオカメラ、カメラ付き携帯電話端末などの種々の機器において、静止画データや動画データを処理する場合に用いられる画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラムに関する。

主に動画を撮像するデジタルビデオカメラや主に静止画を撮像するデジタルスチルカメラが広く用いられている。これらの中には、動画と静止画の両方の撮像が可能なものも提供されている。また、デジタルカメラ機能を備えたいわゆるカメラ付き携帯電話端末やカメラ付き携帯電子手帳なども広く利用されるようになってきている。

これらデジタルカメラやカメラ付き携帯電話端末などの撮像機能を備えた機器においては、撮像して得た動画データや静止画データはデータ量が多く、記録容量が有限である記録メディア（記憶媒体）にそのまま記録したのでは、すぐに記録メディアの記録容量がいっぱいになってしまう。

このため、撮像して画像データを記憶媒体に記録する場合には種々の方式でデータ圧縮処理してデータ量を減らすようにしてから、記憶媒体に記録するようにしている。例えば、記録対象の画像データが動画データである場合には、ＭＰＥＧ（Moving Picture Experts Group）方式などのデータ圧縮方式が用いられ、記録対象の画像データが静止画データである場合には、ＪＰＥＧ（Joint Photographic Experts Group）方式などのデータ圧縮方式が用いられている。

ここで、従来の画像圧縮装置の一例について説明する。図９は、静止画データを例えばＪＰＥＧ方式でデータ圧縮する従来の画像圧縮処理装置の一例を示すものである。この図９に示す従来の画像圧縮処理装置において、これに供給される圧縮処理対象の画像データは、ＤＣＴ（Discrete Cosine Transform）部１０１に供給され、ここで離散コサイン変換が施されて、画像データが時間軸成分から周波数軸成分へ変換される。周波数軸成分に変換された画像データは、量子化部１０２に供給される。

量子化部１０２では、固定長用量子化テーブル作成部１０７から得られる量子化テーブルの情報に基づいて、ＤＣＴ部１０１からの画像データの圧縮率を調整し、調整後の画像データを可変長符号化部１０３に供給する。可変長符号化部１０３では、ハフマン符号などの可変長符号により量子化部１０２からの画像データを可変長符号化し、圧縮画像データとして出力すると共に、これをバイト数計算部１０４へ与える。

バイト数計算部１０４では、可変長符号化部１０３からの符号化された画像データに基づいて、圧縮画像データの１画面分のバイト数を算出し、算出結果を量子化スケール計算部１０５に供給する。量子化スケール計算部１０５では、バイト数計算部１０５からのそのバイト数が、予め決められた所定のバイト数とどの程度差があるかを算出し、圧縮率の調整量つまり量子化スケールを算出する。量子化スケール計算部１０５においての計算結果は、固定長用量子化テーブル作成部１０６に供給される。

固定長用量子化テーブル作成部１０６では、量子化スケール計算部１０５からの計算結果である新たに算出された量子化スケールと、量子化テーブル部１０７より与えられた量子化テーブル１０７とに基づいて、新しい量子化テーブルを生成し、これを量子化部１０２に与える。以上のループ処理を数回繰り返すことにより、段階的に所定のデータサイズにまで画像を圧縮するようにしている。

しかしながら、適切な圧縮率を得るためには、上述したように、複数回の圧縮処理を行うようにしているので（圧縮処理の再試行を繰り返すようにしているので）、圧縮処理にかかる時間が長くなる。このため、図９を用いて説明したような画像圧縮処理装置を用いた撮像装置の場合には、撮像して記録する画像データの圧縮処理に時間がかかるために、撮像間隔を短く設定できないという問題がある。また、圧縮処理を数回繰り返す際には、元画像の全データを保持しておく大容量のメモリが必要となる。

一方、ただ１度の圧縮処理によって所定のデータサイズに抑えるためには、圧縮率を高めに設定する必要があり、必要以上に圧縮率を高めるとデータサイズは所定のサイズ内に収まるが、その反面、いわゆるブロックノイズやモスキートノイズの要因となり、再生画像の質を低下させてしまうことにもなりかねない。

このような諸問題点の解決手法として、後に記す特許文献１には、記録対象の画像のサムネイル画像に基づいて、記録対象の画像の高周波成分を抽出し、これに基づいて１画面分の画像データ量を予測し、この予測結果に基づいて、適切な圧縮率を設定し、１回のデータ圧縮処理によって、迅速かつ適切にデータ圧縮できるようにする技術が開示されている。
特開２００３−１９９０１９号公報

上述した特許文献１に記載の技術は、図９を用いて前述した従来の画像圧縮処理よりも迅速に画像データの圧縮処理が可能であり、予め求める圧縮率も必要以上に高くなることもないので、画像の劣化も防止することができる。

しかし、特許文献１に記載の技術の場合、圧縮処理対象の画像の特徴を把握するために、高周波成分積分手段において、元画像に対して格段にサイズの小さいサムネイル画像（準備画像）を用いて、水平方向および垂直方向の高周波成分を抽出しているため、画像の情報が欠落している分、符号量予測に誤差を含んでいる場合があると考えられる。

また、特許文献１に記載の技術のように、水平方向の高周波成分だけで画面全体の符号量を予測しようとすると、例えば、図１０に示すような横縞パターンの入力画像Ｇを処理する場合、入力画像Ｇにおいては垂直方向の高周波成分が大きいにも関わらず、これを抽出することが困難となり、水平方向の帯域だけに着目して符号量を予測してしまうために、圧縮処理後の符号量を実際より低めに予測してしまう場合があると考えられる。

これを回避するために垂直方向の高周波成分も抽出しようとすると、圧縮処理対象の画像の１ライン分、または数ライン分のデータを格納するためのメモリ（ラインメモリ）を用いて高周波成分抽出回路を構成する必要があり、回路規模が増大し、コストアップにもつながる可能性がある。

また、特許文献１に記載の技術の場合、まず、目的とする被写体を捉えているかを確認するための画像モニタリングモードにおいて、高周波成分積分処理や符号量予測処理を行うのに対し、撮影画像自体はデータ記録モードに遷移した後に取り込まれる。このため、画像モニタリングモードにおいて、高周波成分積分処理や符号量予測処理の対象になった画像と、記録するために取り込まれた画像とが一致せず、特に、フラッシュを使用した撮影時などには、この点が符号量予測精度の劣化を招いている場合があると考えられる。

このため、従来から、画像を圧縮する機能を用いる画像圧縮処理装置は、以下の（１）〜（７）に示すような問題点を抱えている。すなわち、（１）圧縮対象の画像の符号量予測を複数回フィードバック処理することによる圧縮処理時間増大、（２）圧縮対象の画像の符号量予測を複数回フィードバック処理するための元画像全データを格納するメモリ規模増大、（３）圧縮対象の画像をただ１度の圧縮処理で圧縮する際の、符号量予測精度不足による画質劣化などの問題がある。

また、（４）サムネイル（準備画像）など、元画像より格段にサイズの小さい画像から高周波成分を抽出することから起こる符号量予測誤差の発生、（５）水平方向または垂直方向の高周波成分のどちらか一方のみで符号量を予測する場合、水平方向と垂直方向の周波数帯域がアンバランスな画像に対する予測誤差の発生、（６）垂直方向の高周波成分を抽出するために、１ラインまたは数ライン分の画像を格納するメモリの規模増大、（７）記録される圧縮対象の画像と、符号量予測に用いる画像との不一致による符号量予測誤差の発生、などの問題点があげられる。

以上のことにかんがみ、この発明は、上記問題点を一掃し、高精度に、しかもより迅速に画像の圧縮処理（圧縮符号化）処理を行うことができるようにし、また、圧縮処理前の画像データの記憶媒体への記録を迅速に行い、しかも圧縮処理前の画像データを記録する記憶媒体を効率よく利用できるようにし、画像の圧縮処理のレスポンスを向上させることができる画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラムを提供することを目的とする。

第１の発明の画像圧縮処理装置は、
画像信号の水平方向の高周波成分および垂直方向の高周波成分の特性を検出する第１の検出手段と、
前記画像信号の水平方向の低周波成分および垂直方向の低周波成分の特性を検出する第２の検出手段と、
前記第１の検出手段の検出結果および前記第２の検出手段の検出結果に基づいて、前記画像信号を所定の符号化方式で圧縮符号化する際の圧縮率を算出する算出手段と、
この算出手段により算出された圧縮率によって、前記画像信号を圧縮符号化する符号化手段と、
前記第１の検出手段の検出結果および前記第２の検出手段の検出結果に基づいて、前記画像信号の情報量の調整を行うか否かを決定し、前記画像信号の低周波成分が高周波成分より多い場合に、情報量の調整を行うことを決定する決定手段と、
この決定手段によって情報量の調整を行うことが決定された場合に、前記符号化手段による圧縮符号化前の画像信号の差分圧縮処理を行う情報量調整手段と、
を備えるものである。

第２の発明の画像圧縮処理装置は、
画像信号の水平方向の高周波成分および垂直方向の高周波成分の特性を検出する第１の検出手段と、
前記画像信号の水平方向の低周波成分および垂直方向の低周波成分の特性を検出する第２の検出手段と、
前記第１の検出手段の検出結果および前記第２の検出手段の検出結果に基づいて、前記画像信号の情報量の調整を行うか否かを決定し、前記画像信号の低周波成分が高周波成分より多い場合に、情報量の調整を行うことを決定する決定手段と、
この決定手段によって情報量の調整を行うことが決定された場合に、前記画像信号の差分圧縮処理を行う情報量調整手段と、
を備えるものである。

この発明によれば、圧縮対象の画像の符号量予測処理と画像圧縮処理とを複数回行うことを回避することができ、画像圧縮処理の時間短縮を実現することができる。また、圧縮対象の画像の符号量予測処理と画像圧縮処理とをそれぞれ１回の処理で完了することができ、圧縮対象の１画面の元画像全データを格納するメモリを不要にすることができる。したがって、回路規模の大規模化や高コスト化を招くことなく画像圧縮処理装置を構成することができる。

また、この発明をカメラ（撮像装置）に適用した場合などにおいては、圧縮対象の画像に含まれる空間周波数の分布状況を判別し、カメラ信号処理後の画像データ（ＹＵＶデータ）と圧縮処理後のデータの容量を決めるようにし、メモリ書き込みデータを削減することによって、メモリ容量の削減と、消費電力の削減を実現できる。したがって、撮像装置において、撮影動作間隔の短縮を実現し、短い時間間隔で画像の撮影を繰り返し行うようにすることができる。

また、この発明をカメラ（撮像装置）に適用した場合などにおいては、圧縮対象の画像に低周波成分が多いときは、カメラ信号処理後の画像データ（ＹＵＶデータ）は、差分圧縮をしてメモリ装置に書き込み、そうでない場合は、差分圧縮をせずに、メモリ装置に書き込むように制御することにより、メモリ容量の最適化を図ることができる。

以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について詳細に説明する。なお、以下においては、この発明による装置、方法、プログラムを主に静止画像（スチル画像）を撮像するデジタルカメラ（撮像装置）に適用した場合を例にして説明する。

［デジタルカメラの構成］
図１は、この実施の形態のデジタルカメラの構成を説明するためのブロック図である。図１に示すように、この実施の形態のデジタルカメラは、大きく分けると、撮像素子１０と、前処理回路２０と、カメラＤＳＰ（Digital Signal Processor）３０と、外部接続機器であるメモリ装置５０と、モニタ装置５１と、記録メディア５２と、制御部としての機能を構成するＣＰＵ（Central Processing Unit）６１、ＲＡＭ（Random Access Memory）６２、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）６３と、ユーザからの指示入力を受け付ける操作部６０を備えたものである。

図１において、撮像素子１０は、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの画像情報を取り込むためのものである。

前処理回路２０は、ＣＤＳ（Correlated Double Sampling）／ＡＧＣ（Automatic Gain Control）／ＡＤＣ（Analog/Digital Converter）回路２１と、タイミングジェネレータ２２と、Ｖドライバー２３とを備えたものである。撮像素子１０により撮像されて電気信号に変換された画像情報は、前処理回路２０のＣＤＳ／ＡＧＣ／ＡＤＣ回路２１に供給される。

ＣＤＳ／ＡＧＣ／ＡＤＣ回路２１では、これに供給された画像情報に対して、ＣＤＳ処理を行って、Ｓ／Ｎ比を良好に保つようにするとともに、ＡＧＣ処理を行って、利得を制御し、そして、Ａ／Ｄ変換を行って、デジタル信号とされた画像データを形成する。以上がＣＤＳ／ＡＧＣ／ＡＤＣ回路２１で行われる。タイミングジェネレータ２２、Ｖドライバー２３は、ＣＤＳ／ＡＧＣ／ＡＤＣ回路２１からの情報に基づいて、撮像素子１０の駆動タイミングを制御する。そして、前処理回路２０からの画像データは、カメラＤＳＰ３０に供給される。

カメラＤＳＰ３０は、図１に示すように、カメラ信号処理回路３１、高周波積分回路３２、低周波積分回路３３、記録用画像生成回路３４、解像度変換回路３５、画像コーデック３６、差分信号処理回路３７、メモリ制御回路３８、表示制御回路３９、メディア制御回路４０、ＢＩＵ（Bus Interface Unit）４１を備えたものである。

また、カメラＤＳＰ３０には、図１に示したように、メモリ装置５０、ＬＣＤ（Liquid Crystal Display）／モニタ５１、記録メディア５２が接続されている。メモリ装置５０は、比較的に記憶容量の大きな半導体メモリであり、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access memory）などである。また、記録メディア５２は、例えば、半導体メモリを用いたいわゆるメモリカードである。なお、記録メディア５２として、記録可能なＤＶＤや記録可能なＣＤ等の光記録媒体や磁気ディスクなどの種々のものを用いるようにすることももちろん可能である。

そして、メモリ制御回路３８は、メモリ装置５０への画像データの書き込みおよびメモリ装置５０からの画像データの読み出しを制御するものであり、表示制御回路３９は、ＬＣＤ(Liquid Crystal Display)／モニタ５１への画像の表示を制御するものである。また、メディア制御回路４０は、記録メディア５２への画像データの書き込みおよび記録メディア５２からの画像データの読み出しを制御するものである。

また、ＢＩＵ４１は、ＣＰＵ６１とカメラＤＳＰ３０のインターフェースをとるブロックである。そして、ＣＰＵ６１は、ユーザインターフェースである操作部６０からの信号を元に、ＥＥＰＲＯＭ６３からプログラムをロードし、ワークメモリであるＲＡＭ６２を使用してプログラムを実行し、カメラＤＳＰ３０と通信しながら、ユーザからの要求にそった動作を保証するようにしている。

そして、この実施の形態のデジタルカメラにおける撮影動作は次のように行われる。操作部６０を通じて受け付けたユーザからの撮影動作指示に応じて、ＣＰＵ６１が撮像素子１０、前処理回路２０を制御し、目的とする被写体の画像を画像データとして取り込み、この取り込んだ画像データをカメラＤＳＰ３０のカメラ信号処理回路３１と、高周波積分回路３２と、低周波積分回路３３とに供給する。

カメラ信号処理回路３１では、これに供給された画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）などのカメラ信号処理を施して、処理後の画像データを記録用画像生成回路３４に供給する。記録用画像生成回路３４は、これに供給されたカメラ信号処理済みの画像データから記録用の画像データであるＹＵＶデータを形成し、これを差分信号処理回路３７に供給する。なお、この明細書において、画像データであるＹＵＶデータは、Ｙ信号（輝度信号）と、Ｃｂ信号（青の色差信号）と、Ｃｒ（赤の色差信号）とからなる画像データを意味するものとして用いている。

差分信号処理回路３７は、詳しくは後述もするが、記録しようとしている画像データ（ＹＵＶデータ）について差分圧縮を行うことにより、メモリ装置５０への画像データ量を抑制し、より多くの画像データを記録できるようにしている。そして、差分信号処理回路３７において処理された画像データは、メモリ制御回路３８を通じてメモリ装置５０のメモリに記録される。

この後、ＣＰＵ６１の制御に応じて、メモリ制御回路３８は、メモリ装置５０から新たに記録した画像データを読み出し、これをシステムバスを通じて解像度変換回路３５に供給する。解像度変換回路３５は、これに供給された画像データにより表示される画像のサイズをＬＣＤ／モニタ５１の表示画面に応じて変更する処理を行い、サイズ変更後の画像データを表示制御回路３９に供給する。

表示制御回路３９は、解像度変換回路３５からの画像データに基づいて、ＬＣＤ／モニタ５１に供給する画像信号（映像信号）を形成し、これをＬＣＤ／モニタ５１に供給する。これにより、撮像素子１０を通じて取り込んだ画像データに応じた画像がＬＣＤ／モニタ５１の表示画面に表示され、ユーザが観視することができるようにされる。

そして、操作部６０に設けられている例えばシャッターボタンが押下操作された場合には、メモリ装置５０から読み出された画像データは、画像コーデック３６にも供給され、ここでＪＰＥＧ方式、あるいは、ＭＰＥＧ方式などの所定の圧縮方式が用いられてストリームデータに圧縮される。すなわち、画像コーデック３６は、ＤＣＴなどによる周波数軸変換処理、量子化処理、可変長符号化処理を行って画像データを圧縮処理する。

画像コーデック３６により、画像圧縮された画像データは、差分信号処理回路３７、メモリ制御回路３８を通じて、メモリ装置５０に記録されたり、あるいは、画像コーデック３６により、画像圧縮された画像データは、メディア制御回路４０を通じて記録メディア５２に記録されたりする。

また、操作部６０を通じて記録メディア５２に記録された画像データの再生が指示された場合には、ＣＰＵ６１は、メディア制御回路４０を制御して、目的とする画像データを記録メディア５２から読み出し、これを画像コーデック３６に供給する。画像コーデック３６は、圧縮符号化された画像データが供給されたときには、これを復号化処理して、符号化前の元の画像データを復元し、これを解像度変換回路３５、表示制御回路３９を通じて、ＬＣＤ／モニタ５１に供給し、記録メディア５２に記録された画像データに応じた画像を再生することができるようにされる。

このように、このデジタルカメラは、目的とする被写体の画像を画像データとしてメモリ装置５０に取り込み、この取り込んだ画像データに応じた画像をＬＣＤ／モニタ５１の表示画面に表示して観視できるようにするとともに、操作部６０のシャッターボタンが押下操作された場合には、メモリ装置５０に取り込まれた画像データをＪＰＥＧやＭＰＥＧなどの圧縮方式を用いてデータ圧縮し、これをメモリ装置５０や記録メディア５２に記録することができる。また、記録メディア５２に記録されたデータ圧縮された画像データを読み出して復号化し、復号化した画像データに応じた画像をＬＣＤ／モニタ５１の表示画面に表示することができるものである。

そして、さらに、この実施の形態のデジタルカメラの場合には、高周波積分回路３２と低周波積分回路３３とを用いることによって、画像コーデック３６における画像データ圧縮処理（符号化処理）を１回の処理で適正に終了させることができるとともに、差分信号処理回路３７における差分信号処理により、メモリ装置５０に記録する圧縮符号化前の画像データ（ＹＵＶデータ）についてのデータ圧縮をより効率的に行って、画像データを迅速にメモリ装置５０に記録することができるとともに、メモリ装置５０自体を効率よく利用することができる。

［高周波成分積分回路３２の構成と動作］
次に、図１に示した高周波成分積分回路３２について詳細に説明する。図１に示したように、この実施の形態のデジタルカメラにおいて、カメラＤＳＰ３０内に設けられた高周波成分積分回路３２は、ＪＰＥＧ方式やＭＰＥＧ方式といった所定の圧縮方式でのデータ圧縮後の符号量を的確に予測するとともに、差分信号処理回路３７における差分信号処理を効率的に行うようにするため、記録対象画像の水平方向および垂直方向の特性を検出する部分である。

図２は、この実施の形態のデジタルカメラで用いられている高周波成分積分回路３２を説明するためのブロック図である。図２に示すように、高周波成分積分回路３２は、輝度信号生成部３２１と、処理対象画像の水平方向と垂直方向との２系統の処理部を備えている。

水平方向の処理系は、水平方向の高周波成分抽出部３２２と、絶対値化部３２３と、積分部３２４と、面積算出部３２５とを備え、垂直方向の処理系は、垂直方向の高周波成分抽出部３２６と、絶対値化部３２７と、積分部３２８と、面積算出部３２９とを備えたものである。

垂直方向の高周波成分抽出部３２６は、図２に示したように、水平帯域制限部３２６ａ、水平補完・間引き部３２６ｂ、ラインメモリ３２６ｃ、垂直演算部３２６ｄを備え、詳しくは後述するように、ラインメモリの記憶容量が大きくなくとも十分な処理ができるようにライン毎のデータ量をある程度絞り込むようにしている。

そして、前処理回路２０からの画像データ（撮像画像信号）は、輝度信号生成部３２１に供給される。輝度信号生成部３２１は、これに供給された画像データから輝度信号を生成する。なお、輝度信号生成部３２１において、これに供給された画像データから、画像の周波数帯域を広くカバーする画素データのみ（例えば原色系イメジャ（画像）の場合、グリーン（緑）の画素データなど）を抽出し、これを擬似的な輝度信号とするようにしてもよい。この輝度信号生成部３２１において生成された輝度信号は、水平方向の高周波成分抽出部３２２と、垂直方向の高周波成分抽出部３２６とに供給される。

なお、擬似的な輝度信号としてグリーンの画素データ（グリーンの色信号）を用いるようにした場合には、既にデータ量が絞られているので、データの欠落を生じされることなく、精度よく高周波成分積分回路３２においての処理を行うようにすることができる。

画像データは、通常、水平に走査する順序で入力されるため、水平方向の高周波成分抽出部３２２は比較的簡易な形のハイパスフィルタで構成できる。これに対し垂直方向の高周波成分抽出部３２６は、ちょうど１ライン分だけ時間差のある２点間または複数点間の画像信号によってハイパスフィルタを構成する必要がある。このため、この実施の形態においては、画像データ（撮影画像信号）の１ライン分に相当する容量のラインメモリ３２６ｃを１ライン分または数ライン分設けている。

但し、記憶容量の大きなラインメモリを設けることは、回路規模増大や消費電力増大につながる。そこで、この実施の形態の垂直方向の高周波成分抽出部３２６は、１ライン分の画像データを、高周波成分抽出部３２６に対して必要最小限の画素数に間引いてから、ラインメモリ３２６ｃに格納するため、上述もしたように、水平帯域制限部３２６ａ、水平補完・間引き部３２６ｂを備えている。

つまり、垂直方向の高周波成分抽出部３２６においては、輝度信号生成部３２１からの輝度信号（画像信号）を、まず水平帯域制限部３２６ａで所定の低周波成分のみに制限し、水平間引き処理によるいわゆる折り返しを防止する。すなわち、輝度信号のデータ量を所定量分に制限する。

次に、水平補間・間引き部３２６ｂにおいて、水平方向の複数タップの画素を用いて補間フィルタ処理を行い、ラインメモリ３２６ｃの容量以内の画素数となるよう輝度信号の間引き処理を行う。こうして画素間引きされた輝度信号が、ラインメモリ３２６ｃに書き込まれる。このように、この実施の形態において、垂直方向の高周波成分抽出部３２６は、最小限のハードウェアで１ライン分だけ時間差のある２点間または複数点間の輝度信号を得て差分を取ることにより高周波成分を抽出するハイパスフィルタを構成している。

図２に示した高周波成分積分回路３２の水平方向の高周波成分抽出部３２２および垂直方向の高周波成分抽出部３２６で得られた輝度信号の高周波成分は、それぞれ対応する絶対値化部３２３あるいは絶対値化部３２７に供給される。

絶対値部３２３は前段の水平方向の高周波成分抽出部３２２からの水平方向の輝度信号の高周波成分が、後段の積分部３２４において相殺し合うことがないように、当該水平方向の輝度信号の高周波成分を絶対値化する。同様に、絶対値部３２７は前段の垂直方向の高周波成分抽出部３２６からの垂直方向の輝度信号の高周波成分が、後段の積分部３２８において相殺し合うことがないように、当該垂直方向の輝度信号の高周波成分を絶対値化する。

そして、絶対値化部３２３で絶対値化された水平方向の輝度信号の高周波成分は、積分部３２４と面積算出部３２５に供給され、絶対値化部３２７で絶対値化された垂直方向の輝度信号の高周波成分は、積分部３２８と面積算出部３２９に供給される。

積分部３２４は、これに供給された水平方向の輝度信号の絶対値化された高周波成分について、例えば１画面分を処理単位領域として積分処理（積算処理）し、水平方向の高周波成分積分データを得て、これを符号量予測部としてのＣＰＵ６１に供給する。同様に、積分部３２８は、これに供給された垂直方向の輝度信号の絶対値化された高周波成分について、１画面分を処理単位領域として積分処理（積算処理）し、垂直方向の高周波成分積分データを得て、これを符号量予測部としてのＣＰＵ６１に供給する。

なお、ここでは、積分処理の処理単位領域を１画面単位としたが、これに限るものではない。積分処理の処理単位領域を任意に指定される領域とすることもできる。ここで任意に指定される領域は、例えば、マクロブロック（１６画素×１６画素の領域）やサブブロック（８画素×８画素の領域）あるいは、複数マクロブロックの領域や複数サブブロックの領域などの種々の大きさの領域とすることが可能である。

また、面積算出部３２５は、積分部３２４において積分処理を行った回数をカウントし、積分処理の対象となった水平方向の輝度信号の高周波成分を含む領域の面積を求め、これを符号量予測部としてのＣＰＵ６１に供給する。同様に、面積算出部３２９は、積分部３２８において積分処理を行った回数をカウントし、積分処理の対象となった垂直方向の輝度信号の高周波成分を含む領域の面積を求め、これを符号量予測部としてのＣＰＵ６１に供給する。

このように、水平方向の輝度信号の高周波成分の積分データ（水平方向の高周波成分積分データ）と、水平方向の積分の対象となった高周波成分を含む領域の面積を示すデータと、垂直方向の輝度信号の高周波成分の積分データ（垂直方向の高周波成分積分データ）と、垂直方向の積分の対象となった高周波成分を含む領域の面積を示すデータとが高周波成分積分回路３２から符号量予測部としてのＣＰＵ６１に供給される。

この実施の形態のデジタルカメラのＣＰＵ６１は、上述もしたように符号量予測部としての機能をも有するものであり、また、図２に示した高周波成分積分回路３２の各部に対する制御データの設定をも行うものである。

具体的に、ＣＰＵ６１は、輝度信号生成部３２１のフィルタの種類や係数の制御、輝度信号の高輝度抑圧処理などの制御、水平方向と垂直方向の高周波成分抽出部３２２，３２６のフィルタの種類や係数の制御、垂直方向の高周波成分抽出部３２６の帯域制限部３２６ａのフィルタの種類や係数の制御、水平補間・間引き部３２６ｂの補間フィルタや間引き率の制御、絶対値化部３２３、３２７のパラメータ制御、積分部３２４、３２８の領域指定の制御、などを行う。

［低周波成分積分回路３３の構成と動作］
次に、図１に示した低周波成分積分回路３３について説明する。この実施の形態のデジタルカメラに搭載された低周波成分積分回路３３は、画像データから生成する輝度信号の低周波成分を扱う点を除けば、図２を用いて前述した高周波成分積分回路３２と同様の構成を有するものである。

図３は、この実施の形態のデジタルカメラで用いられている低周波成分積分回路３３を説明するためのブロック図である。この図３に示す低周波成分積分回路３３と、図２に示した高周波成分積分回路３２とを比較すると分かるように、図３に示す低周波成分積分回路３３は、図２に示した高周波成分積分回路３２が備える水平方向の高周波成分抽出部３２２、垂直方向の高周波成分抽出部３２６に変えて、水平方向の低周波成分抽出部３３２、垂直方向の低周波成分抽出部３３６を備える点を除けば、図２に示した高周波成分積分回路３２と同様に構成されたものである。

垂直方向の低周波成分抽出部３３６は、図２に示した高周波成分積分回路３２の垂直方向の低周波成分抽出部３２６と同様に、水平帯域制限部３３６ａ、水平補完・間引き部３３６ｂ、ラインメモリ３３６ｃ、垂直演算部３３６を備えたものである。低周波成分積分回路３３の水平方向の低周波成分抽出部３３２、垂直方向の低周波成分抽出部３３６は、目的とする処理対象の信号が所定の帯域の低周波成分である。

また、低周波成分積分回路３３の輝度信号生成部３３１、絶対値化部３３３、３３７、積分部３３４、３３８、面積算出部３３５、３３９は、図２に示した高周波成分積分回路３２の対応する部分、すなわち、輝度信号生成部３２１、絶対値化部３２３、３２７、積分部３２４、３２８、面積算出部３２５８、３２９と同様に構成され、同様に動作する部分である。

そして、前処理回路２０からの画像データ（撮像画像信号）は、図３に示す低周波成分積分回路３３の輝度信号生成部３３１に供給される。輝度信号生成部３３１は、これに供給された画像データから輝度信号を生成する。なお、輝度信号生成部３３１においても、これに供給された画像データから、画像の周波数帯域を広くカバーする画素データのみ（例えば原色系イメジャ（画像）の場合、グリーン（緑）の画素データなど）を抽出し、これを擬似的な輝度信号とするようにしてもよい。この輝度信号生成部３３１において生成された輝度信号は、水平方向の低周波成分抽出部３３２と、垂直方向の高周波成分抽出部３３６とに供給される。

上述もしたが、画像データは、通常、水平に走査する順序で入力されるため、水平方向の低周波成分抽出部３２２は比較的簡易な形の高周波トラップフィルタないしローパスフィルタで構成できる。これに対し垂直方向の低周波成分抽出部３３６は、１ライン分の画像データを、低周波成分抽出部３３６に対して必要最小限の画素数に間引いてから、ラインメモリ３３６ｃに格納するため、上述もしたように、水平帯域制限部３３６ａ、水平補完・間引き部３３６ｂを備えている。

このように、この実施の形態において、垂直方向の低周波成分抽出部３３６は、最小限のハードウェアで１ライン分だけ時間差のある２点または複数点の輝度信号を得て差分を取るハイパスフィルタを構成し、その差分信号レベルが所定のしきい値以下の時は低周波成分と判断して差分信号を積分することにより、低周波成分を抽出する。

そして、図３に示した低周波成分積分回路３３の水平方向の低周波成分抽出部３３２および垂直方向の低周波成分抽出部３３６で得られた輝度信号の低周波成分は、それぞれ対応する絶対値化部３３３あるいは絶対値化部３３７に供給され、ここで絶対値化される。そして、絶対値化部３３３で絶対値化された水平方向の輝度信号の低周波成分は、積分部３３４と面積算出部３３５に供給され、絶対値化部３３７で絶対値化された垂直方向の輝度信号の低周波成分は、積分部３３８と面積算出部３３９に供給される。

積分部３３４は、これに供給された水平方向の輝度信号の絶対値化された低周波成分について、例えば１画面分を処理単位領域として積分処理し、水平方向の低周波成分積分データを得て、これを符号量予測部としてのＣＰＵ６１に供給する。同様に、積分部３３８は、これに供給された垂直方向の輝度信号の絶対値化された低周波成分について、１画面分を処理単位領域として積分処理し、垂直方向の高周波成分積分データを得て、これを符号量予測部としてのＣＰＵ６１に供給する。

なお、積分処理の処理単位領域は、１画面単位に限るものではなく、図２を用いて上述した高周波成分積分回路３２の場合と同様に、例えば、マクロブロック（１６画素×１６画素の領域）やサブブロック（８画素×８画素の領域）あるいは、複数マクロブロックの領域や複数サブブロックの領域など、任意に指定される領域とすることができる。

また、面積算出部３３５は、積分部３３４において積分処理を行った回数をカウントし、積分処理の対象となった水平方向の輝度信号の低周波成分を含む領域の面積を求め、これを符号量予測部としてのＣＰＵ６１に供給する。同様に、面積算出部３３９は、積分部３３８において積分処理を行った回数をカウントし、積分処理の対象となった垂直方向の輝度信号の低周波成分を含む領域の面積を求め、これを符号量予測部としてのＣＰＵ６１に供給する。

このように、水平方向の輝度信号の低周波成分の積分データ（水平方向の低周波成分積分データ）と、水平方向の積分の対象となった高周波成分を含む領域の面積を示すデータと、垂直方向の輝度信号の低周波成分の積分データ（垂直方向の低周波成分積分データ）と、垂直方向の積分の対象となった低周波成分を含む領域の面積を示すデータとが低周波成分積分回路３３から符号量予測部としてのＣＰＵ６１に供給される。

また、上述もしたように、この実施の形態のデジタルカメラのＣＰＵ６１は、符号量予測部としての機能をも有するものであり、また、図３に示した低周波成分積分回路３３の各部に対する制御データの設定も行うものである。

具体的に、ＣＰＵ６１は、輝度信号生成部３３１のフィルタの種類や係数の制御、輝度信号の高輝度抑圧処理などの制御、水平方向と垂直方向の高周波成分抽出部３３２、３３６のフィルタの種類や係数の制御、垂直方向の高周波成分抽出部３３６の帯域制限部のフィルタの種類や係数の制御、水平補間・間引き部３３６ｂの補間フィルタや間引き率の制御、絶対値化部３３３、３３７のパラメータ制御、積分部３３４、３３８の領域指定の制御、などを行う。

［符号化予測部と画像圧縮部の構成と動作］
次に、上述したように、高周波成分積分回路３２からの水平方向の高周波積分データと垂直方向の高周波積分データと、低周波成分積分回路３３からの水平方向の低周波積分データと垂直方向の低周波積分データとの供給を受けて、これに基づき、符号量予測を行う符号量予測部としてのＣＰＵ６１と、画像圧縮処理を行う画像圧縮部としての画像コーデック３６とについて説明する。この実施の形態において、ＣＰＵ６１は、自己が実行するプログラムによって、符号量予測部としての機能を実現している。

図４は、符号量予測部としてのＣＰＵ６１の機能と、画像圧縮部としての画像コーデック３６の機能とを説明するためのブロック図である。図４に示すように、符号量予測部としてのＣＰＵ６１は、バイト数算出部６１１と、量子化スケール算出部６１２と、量子化テーブル生成部６１３との機能を有している。また、画像圧縮部としての画像コーデック３６は、周波数軸変換部（ＤＣＴ部）３６１と、量子化部３６２と、可変長符号化部３６３としての機能を有している。

そして、図２、図３を用いて説明したように、高周波積分回路３２からの水平方向および垂直方向の高周波積分データと、低周波積分回路３３からの水平方向および垂直方向の低周波積分データとは、符号量予測部としてのＣＰＵ６１が実現するバイト数算出部６１１に供給される。

バイト数算出部６１１は、高周波積分データ、低周波積分データに基づいて、記録対象の画像が、高周波成分が多く、低周波成分が少ないいわゆる変化の激しい画像の場合には、画像の圧縮データのバイト数を多くし、高周波成分が少なく、低周波成分が多いいわゆる変化の少ない画像の場合には、画像の圧縮データのバイト数を少なくするというように、圧縮データのバイト数を算出する。つまり、バイト数算出部６１１は、記録しようとしている圧縮対象の画像の圧縮後のバイト数を、その圧縮対象の画像のその画像内における変化の度合いに応じて、適切に把握しようとするものである。

バイト数算出部６１１において算出されたデータ圧縮後の画像データのバイト数は、量子化スケール算出部６１２に供給される。量子化スケール算出部６１２は、バイト数算出部６１１において算出されたデータ圧縮後の画像データのバイト数に基づいて、記録しようとしている撮影画像をただ１度の処理で所定バイト数まで圧縮するための量子化スケールを算出し、これを量子化テーブル生成部６１３に供給する。

量子化テーブル生成部６１３は、量子化スケール算出部６１２からの量子化スケールに基づいて、量子化テーブルを生成し、これを画像圧縮部としての画像コーデック３６の量子化部３６２に供給する。

このように、符号量予測部としてのＣＰＵ６１は、圧縮対象の画像を形成する画像データに基づいて、当該画像の水平方向の高周波成分と低周波成分、垂直方向の高周波成分と低周波成分とに基づいて、当該圧縮対象の画像の複雑さに応じた圧縮処理後のバイト数を正確に算出する。

そして、バイト数算出部６１１において算出された圧縮対象の画像の圧縮処理後のバイト数に基づいて、量子化スケール算出部６１２において、１回の圧縮処理で当該圧縮対象の画像を圧縮するための量子化スケールを算出し、この算出された量子化スケールに基づいて、量子化テーブル生成部６１３において、実際の量子化処理において用いられる量子化テーブルを生成し、これを画像圧縮部（画像コーデック）３６の量子化部３６２に供給して、最適な圧縮率で圧縮対象の画像データを圧縮符号化する。

一方、メモリ装置５０から読み出された画像データは、データバスを通じて画像圧縮部（画像コーデック）３６の周波数軸変換部３６１に供給され、ここで離散コサイン変換（ＤＣＴ）を施されて、時間軸成分から周波数軸成分へ変換されて量子化部３６２へ供給される。量子化部３６２では、量子化テーブル生成部６１３から得られる量子化テーブルに基づいて、画像データの圧縮率を調整する。可変長符号化部３６３では、ハフマン符号などの可変長符号により画像データを可変長符号化し、最終的な圧縮画像データとして出力する。

このように、この実施の形態のデジタルカメラの場合、図９を用いて説明した従来の画像圧縮処理装置との大きな相違点は、圧縮された画像データをフィードバックして複数回の符号量予測を繰り返す必要がなく、ただ１度の圧縮処理で圧縮画像データを得ることができ、迅速な画像データ圧縮処理を行うことができる点にある。

実際の動作モードとしては、図１の操作部６０の記録開始ボタン（またはシャッターボタン）がユーザによって操作され、記録開始タイミングが認識（検出）されると、そのタイミングがＣＰＵ６１に供給される。記録開始操作（またはシャッター押下操作）の瞬間に撮像素子で撮像された画像データがカメラ信号処理や記録用画像作成処理を施されると共に、同一の画像を用いて高周波成分積分処理が行なわれるように、ＣＰＵ６１が各部のタイミング制御を行うことで、画像処理の経路と、高周波成分積分や符号量予測の経路の両者に対して元画像を一致させることができ、高精度な符号量予測が可能となる。

なお、この実施の形態のデジタルカメラにおいては、高周波積分回路３２と低周波積分回路３３とからの出力情報に基づいて、バイト算出部６１１において、データ圧縮後の画像データのバイト数（圧縮処理後の符号量）を見積もるようにした。このように、高周波積分部からの出力と低周波積分部からの出力とを比較することによって、高精度にデータ圧縮後の符号量を見積もることができる。

［デジタルカメラの特徴的部分の説明］
次に、図１に示したこの実施の形態のデジタルカメラにおいては、高周波積分回路３２および低周波積分回路３３は本発明において特徴となる点なので、この点に注目した上で図１に示したデジタルカメラの特徴的部分について説明する。

図１に示したこの実施の形態のデジタルカメラのメモリ装置５０には、カメラ信号処理３１、記録用画像生成３４を経由したＹＵＶ方式の画像データ及び、このＹＵＶ方式の画像データを画像コーデック３６でデータ圧縮（圧縮符号化）したストリームデータが、例えばメモリ装置５０の記憶媒体に保存される。このＹＵＶデータとストリームデータとの間には、図５に示すようなデータ量についての関係がある。

ここで、図５Ａ、図５Ｂに示したストリームデータは、例えば図９に示した従来の画像圧縮装置によりデータ圧縮を行うようにした場合であり、図５Ｃ、図５Ｄに示したストリームデータは、この実施の形態のデジタルカメラにおいて、データ圧縮を行うようにした場合を示している。また、ＹＵＶデータは、全ての空間周波数に対して、成分の大きさが等しい場合をしめしている。

図５Ａに、画像の空間周波数の成分の大きさが等しい画像の、ＹＵＶデータ（データ圧縮前のデータ）とストリームデータ（データ圧縮後のデータ）とのデータ量の関係を示す。図５Ａにおいて、横軸は、空間周波数、縦軸は成分の大きさを示す。ＹＵＶ方式のデータは、空間周波数成分の大きさが等しいので、図５Ａにおいて点線で示したように平坦な波形となる。

一方、ストリームデータの場合は、図５Ａにおいて実線で示したように、高周波成分の大きさが少なくなっている。これは、画面内の近接するピクセルとの画像情報の変化が緩やかなのが自然画の中に多く、また、人間の目の感性が緩やかな画像情報変化に敏感で、急峻な画像情報変化に鈍感である事を利用して、例えばＪＰＥＧ方式などの圧縮符号化方式を用いることによって、高周波成分を低周波成分に比べて大きく圧縮するようにしているためである。したがって、画像コーデックの量子化処理においては、ＤＣＴ変換した後の高周波成分の方を強く圧縮させることができるようにされる。

図５Ａにおいて実線で示したストリームデータのようにデータ圧縮する場合、図９に示した従来の画像圧縮装置を利用する場合を考えると、実際には、図９に示した画像圧縮装置の場合の固定長用の量子化テーブル１０７の値を、高域の方を大きくする必要がある。図６に量子化テーブルの値の例を示す。左上が直流成分で、右下に行くに従って、水平、垂直ともに空間周波数が高くなる。

図６において、「９９」の値になっているのが、高周波成分を圧縮させる効果になり、この図６のテーブルの値と、例えば図９に示した画像圧縮装置のＤＣＴ１０１から出てくる値を図９の量子化部１０２おいて掛け合わせることによって、求められるストリームデータの値が小さくなる。これにより、高周波成分のデータは「０（零）」が多く含まれることになり、図９の可変長符号化（例えば、ランレングズ符号化）ブロック１０３にて、圧縮される。

また、図５ＢにＹＵＶ方式の画像データとストリームデータの図１のメモリ装置５０上のメモリマップを示す。これは、図５Ａの成分の大きさを空間周波数で積分したデータ量がマッピングされたものである。ＹＵＶのデータより、ストリームデータの方が小さいことがわかる。

図１を用いて上述した実施の形態のデジタルカメラにおいては、高周波積分回路３２、低周波積分回路３３からの出力情報に基づいて、ＣＰＵ６１が行うデータ圧縮後の画像データの符号化量の見積もりの動作は、図５Ａにおいて、ストリームデータの空間周波数成分の大きさが小さくなる空間周波数Fth_1の値を決めるのが目的である。これは、メモリ装置５０上に記録されるストリームデータの容量のサイズが決まっているために行われる作業になる。

図５Ｃが、図５Ａに示したＹＵＶデータを、図１に示したこの実施の形態のデジタルカメラの差分信号処理回路３７で処理して圧縮したＹＵＶデータと、図５Ａに示したＹＵＶデータをＪＰＥＧやＭＰＥＧなどの所定の圧縮方式でデータ圧縮されて形成されたストリームデータとの主にデータ量についての関係を説明するためのグラフであり、図５Ｄが図５Ｃに示したＹＵＶ方式のデータとストリームデータとを記録したメモリのメモリマップの状態を示す図である。

ストリームデータは、図５Ａに示したストリームデータと同じである。一方、ＹＵＶデータの方は、空間周波数Ｆｔｈ＿２までは増加し、その後、一定値になっている。これについて説明する。

画像に低域空間周波数成分を多く含むということは、差分圧縮、例えば、ＤＰＣＭ（Differential Pulse Code Modulation）を使って圧縮できることを意味する。例えば、０、１、２、３、４と単調増加する値に関しては、スタートの値（この場合“０”）と単調増加（“１”）の値だけで、情報を伝達することができる。低域の空間周波数を多く含む場合は、このようにデータの差分圧縮をして保存した方が優位である。

この差分圧縮は、図１において、差分信号処理回路３７において行われ、ＹＵＶデータをメモリ装置５０に書き込むときに、高周波成分よりも低周波成分の多い画像に対しては差分圧縮を行うようにし、差分圧縮してメモリ装置５０に記録したＹＵＶデータを利用する場合には、読み出したＹＵＶデータの差分伸張を行うようにしている。

図５Ｃにおいて、空間周波数Ｆｔｈ＿２で成分の大きさが一定になっているが、これは、Ｆｔｈ＿２以上の空間周波数においては差分圧縮を行うとデータ量が逆に増えてしまうので、差分圧縮をせずにデータを作成した方が優位であるからである。

例えば、成分の大きさが、０、８、０、８、０とトグルするようなデータに対しては差分圧縮すると、スタート値（この場合“０”）と増加（＋８）、減少（−８）となってしまう。これは、もともとのデータ列０、８、０、８、０が、０、＋８、−８、＋８、−８と変換されることになり、符号のビット分、差分圧縮するとデータ量が増えてしまうことになる。

そこで、この実施の形態のデジタルカメラにおいては、撮影画像に含まれるデータの低域周波数成分が高域周波数成分より多い場合のみ、差分圧縮を行う。画面全体で、差分圧縮をするか、しないかを決めても良いのだが、画面の一部分毎で、低域周波数成分と高域周波数成分の大きさを比較し、どちらの方式でメモリに記録するかを決めても良い。

差分圧縮の有無が撮影画像にて混在する場合は、両者を区別するための識別子が必要になるが、これは、図１の差分信号処理回路３７内に設けられたＣＰＵ６１からの設定レジスタに格納しておきこれを用いるようにしたり、あるいは、所定単位毎のＹＵＶデータに対して付加して、ＹＵＶデータと共にメモリ装置５０などに記録するようにしたりしてもよい。

要は、メモリ装置５０に記録されたＹＵＶデータを読み出して利用する場合に、その読み出したＹＵＶデータが差分圧縮されたものか否かを正確に判別することができ、差分圧縮されているＹＵＶデータについてのみ、差分伸張処理を行うことができるようにしておけばよい。

そして、ＹＵＶデータについて差分信号処理を行わずにメモリ装置５０に記録した場合の図５Ｂに示すメモリマップと、高周波成分より低周波成分の多いＹＵＶデータについて差分信号処理を行うようにして、メモリ装置５０に記録した場合の図５Ｄに示すメモリマップとを比較すると分かるように、差分信号処理を用いるようにした場合の方が、ＹＵＶデータ自身を圧縮し、より少ない記憶容量で、例えば、１画面分全部のＹＵＶデータを記憶保持することができるようにされる。

また、低周波成分の多いＹＵＶデータの場合には、差分信号処理により効率よくそのデータ量を少なくすることが可能であるが、低周波成分が多いＹＵＶデータを例えばＪＰＥＧなど符号化圧縮方式により符号化圧縮した場合には、圧縮率は幾分低下し、ストリームデータの量は多くなる。

これとは逆に、高周波成分の多いＹＵＶデータの場合には、差分信号処理は効率よくデータ量を減らすことはできないので、差分信号処理は行わない。しかし、高周波成分の多いＹＵＶデータを例えばＪＰＥＧなど符号化圧縮方式により符号化圧縮した場合には、圧縮率は向上し、図５Ａ、図５Ｂに示したように、ストリームデータの量を少なくすることができる。

したがって、この実施の形態のデジタルカメラのように、圧縮符号化前の画像データであるＹＵＶデータと、圧縮符号化された画像データであるストリームデータとをメモリ装置５０などの同じ記憶媒体に記録する場合においては、図５Ｄにおいて点線で示したように、ＹＵＶデータとストリームデータとのデータ量は画像の周波数の特性に応じて変化することになり、ＹＵＶデータとストリームデータとの両方を記録する記憶媒体を適応的に効率よく利用することができるようになる。

なお、差分信号処理を行う単位は、１画面単位でもよいが、より効果をあげるためには、より小さな単位領域を設定し、その単位領域毎に差分信号処理を行うようにすることが望ましい。例えば、１画面を８分割、１６分割などのように、所定の数に分割し、その分割した単位領域ごとに、水平方向と垂直方向の高周波成分、低周波成分を検出し、これに応じて差分信号処理を行うか否かを決定するようにすればよい。もちろん、マクロブロックやサブブロック単位に行うようにしてもよい。

また、差分信号処理は、最初の１つだけ原データ（差分処理していない元のままのデータ）を転送し、後は差分データを転送するというようにしてもよいが、誤差の影響を排除するため、原データと差分データとを交互に転送するようにしたり、差分データを２回転送したら１回原データを転送したりするというように、原データと差分データとをある程度の割合で転送するようにすることが望ましい。

このように、この実施の形態のデジタルカメラにおいては、高周波積分回路３２で求められる圧縮対象画像の水平方向と垂直方向の高周波成分の特性（高周波成分の状態）と、低周波積分回路３３で求められる圧縮対象画像の水平方向と垂直方向の低周波成分の特性（低周波成分の状態）とに基づいて、ＪＰＥＧやＭＰＥＧなどの所定の圧縮符号化方式でデータ圧縮する場合の圧縮率を正確に予測し、１回の圧縮符号化処理により適正に圧縮符号化することができるようにしている。

さらに、高周波積分回路３２、低周波積分回路３３の出力に基づいて、差分信号処理回路３７を制御して、メモリ装置５０に記録するＹＵＶデータ自身を差分圧縮させ、メモリ装置５０を効率的に使用することができるようにしている。

［メモリ装置５０へのデータの書き込み／読み出し］
次に、図１に示したこの実施の形態のデジタルカメラにおいて行われるメモリ装置５０へのデータ書き込み処理、メモリ装置５０からのデータの読み出し処理について、図７、図８に示すフローチャートを参照しながら説明する。ここで、図７は、メモリ装置５０へのデータの書き込み処理を説明するためのフローチャートであり、図８は、メモリ装置５０からのデータの読み出し処理を説明するためのフローチャートである。

図７のフローチャートを参照しながら、メモリ装置５０へのデータの書き込み処理について説明する。例えば、ユーザからの指示入力により、データのメモリ装置５０への書き込みが指示されると、ＣＰＵ６１は図７のフローチャートに示した処理を開始する。

まず、ＣＰＵ６１は、画像の一部分毎に、図１の高周波積分回路３２及び、低周波積分回路３３のレジスタをＢＩＵ(Bus Interface Unit)経由で読み出す（ステップＳ１０１）。そして、供給を受けた画像信号について、当該画像の高周波成分が低周波成分よりも高いか否かを判断する（ステップＳ１０２）。ステップＳ１０２の判断処理において、高周波成分の方が低周波成分よりも多い場合には、ＣＰＵ６１は、差分信号部レジスタに“０”をセットし（ステップＳ１０３）、差分圧縮せずにメモリ装置５０の該当領域にＹＵＶデータ（画像データ）を書き込む（ステップＳ１０４）。

ステップＳ１０２の判断処理において、高周波成分のデータ量より低周波数成分が多ければ、ＣＰＵ６１は、差分信号部レジスタに“１”をセットし（ステップＳ１０５）、差分圧縮してメモリ装置５０の該当領域にＹＵＶデータ（画像データ）を書き込む（ステップＳ１０６）。

ステップＳ１０４のデータの書き込み処理、または、ステップＳ１０６のデータの書き込み処理が終了したときには、有効画像について全て終了したか否かを判断し（ステップＳ１０７）、終了していないと判断したときには、ステップＳ１０１からの処理を繰り返し、終了したと判断したときには、この図７に示す処理を終了する。

次に、図８のフローチャートを参照しながら、メモリ装置５０からのデータの読み出し処理について説明する。この図８に示す処理は、図１に示したＣＰＵ６１で行うようにすることもできるし、差分信号処理回路３７の内部で行うようにすることもできる。ここでは、差分信号処理回路３７の内部で行うようにする場合を例にして説明する。

ＣＰＵ６１からの制御により、データの読み出し制御信号を受け付けると、差分信号処理回路３７は、図８に示した処理を開始する。まず、差分信号処理回路７は、自己が有するレジスタであって、メモリ装置５０から読み出そうとしているＹＵＶデータについてのデータの書き込み時の差分圧縮の有無を示すフラグの値を読み出し（ステップＳ２０１）、“０”差分圧縮無しのデータか否かを判断する（ステップＳ２０２）。

ステップＳ２０２の判断処理において、レジスタから読み出した値が“０”であると判断したときには、読み出そうとしているＹＵＶデータは、差分圧縮されていない領域のデータので、差分伸張処理は行わずにメモリ装置５０からデータを読み出す（ステップＳ２０３）。また、ステップＳ２０２の判断処理において、レジスタから読み出した値が“０”ではないと判断したときには、読み出そうとしているＹＵＶデータは、差分圧縮されている領域のデータであるので、差分伸張処理を行うようにしてメモリ装置５０からデータを読み出す（ステップＳ２０４）。

ステップＳ２０３、または、ステップＳ２０４の処理の後、差分信号処理回路３７のレジスタアドレスを歩進し（ステップＳ２０５）、有効画像について終了したか否かを判断する（ステップＳ２０６）。このステップＳ２０６の判断処理において、まだ、有効画像の全部について読み出しが終了していないと判断したときには、ステップＳ２０１からの処理を繰り返し、終了したと判断したときには、この図８に示す処理を終了する。

このように、メモリ装置５０に記録する圧縮符号化前の画像データであるＹＵＶデータについても、ＹＵＶデータが形成する画像の周波数特性に応じて、効率よくデータ量を調整することができるとともに、データ量を調整してメモリ装置５０に記録した場合であっても、読み出し時に適正に復元して、これを利用することができる。

なお、上述した実施の形態においては、メモリ制御回路３８が記録制御手段としての機能を実現し、高周波積分回路３２が第１の検出手段としての機能を実現し、低周波積分回路３３が第２の検出手段としての機能を実現している。また、ＣＰＵ６１の符号量予測部としての機能が、圧縮率を算出する算出手段としての機能を実現し、画像コーデック３６が符号化手段としての機能を実現している。

また、画像信号の情報量を調整する情報量調整手段としての機能は、差分信号処理回路３７が実現し、情報量の調整を行うか否かを決定する決定手段としての機能は、高周波積分回路３２からの検出出力と、低周波積分回路３３からの検出出力を受け付けるＣＰＵ６１が実現するようにしている。

また、図１に示した高周波積分回路３２、低周波積分回路３３、画像コーデック３６、差分信号処理回路３７、符号量予測部６１などの各部の機能を、例えば、ＣＰＵ６１、あるいは、ＣＰＵ６１とカメラＤＳＰにおいて実行されるプログラム（ソフトウェア）によって実現することも可能である。

なお、上述した実施の形態においては、静止画データを処理する場合を例にして説明したが、これに限るものではない。動画データについても、上述した静止画データを処理する場合とほぼ同様にして適用することが可能である。すなわち、動画記録機能に関してもこの発明を応用することが可能である。記録用動画像の信号処理と並列に、その動画像の高周波成分積分データを用いた符号量予測を行えば、動画像圧縮後の符号量またはビットレートを効率的に制御できる。

また、上述した実施の形態においては、主に静止画像を撮像するデジタルカメラにこの発明を適用した場合を例にして説明したが、これに限るものではない。動画像を撮像するいわゆるデジタルビデオカメラや、カメラ機能付き携帯電話端末、カメラ機能付きＰＤＡ、カメラ機能付き情報処理装置、さらには、ＤＶＤ記録再生機、ＣＤ記録再生機、ハードディスクを記録媒体として用いる記録再生機、ＶＴＲ（Video Tape Recorder）、パーソナルコンピュータなどの静止画像データ、動画像データを処理する種々の機器において、それら静止画像データや動画像データを圧縮処理する全ての場合にこの発明を適用可能である。

この発明の一実施の形態が適用されたデジタルカメラを説明するためのブロック図である。 図１に示したデジタルカメラの高周波積分回路を説明するためのブロック図である。 図１に示したデジタルカメラの低周波積分回路を説明するためのブロック図である。 図１に示したＣＰＵによって実現される符号量予測部と、画像コーデック内に設けられる画像圧縮部を説明するためのブロック図である。 記録装置の記憶媒体に記録される画像データデータであるＹＵＶデータと圧縮符号化されて形成されたストリームデータとの関係を説明するための図である。 量子化テーブルの一例を示す図である。 メモリ装置（記憶媒体）５０へのデータの書き込み処理を説明するためのフローチャートである。 メモリ装置（記憶媒体）５０からのデータの読み出し処理を説明するためのフローチャートである。 従来の画像圧縮処理装置の一例を説明するためのブロック図である。 水平方向に高周波成分が少なく垂直方向に高周波成分の多い画像の例を説明するための図である。

符号の説明

１０…撮像素子、２０…前処理化路、２１…ＣＤＳ／ＡＧＣ／ＡＤＣ回路、２２…タイミングジェネレータ、２３…Ｖドライバー、３０…カメラＤＳＰ、３１…カメラ信号処理回路、３２…高周波積分回路、３３…低周波積分回路、３４…記録用画像生成回路、３５…解像度変換回路、３６…画像コーデック、３７…差分信号処理回路、３８…メモリ制御回路、３９…表示制御回路、４０…メディア制御回路、４１…ＢＩＵ、５０…メモリ装置、５１…ＬＣＤ／モニタ、５２…記録メディア、６０…操作部、６１…ＣＰＵ、６２…ＲＡＭ、６３…ＥＥＰＲＯＭ、３２２…水平方向の高周波成分抽出部、３２３…絶対値化部、３２４…積分部、３２５…面積算出部、３２６…垂直方向の高周波成分抽出部、３２７…絶対値化部、３２８…積分部、３２９…面積算出部、３２６ａ…水平帯域制限部、３２６ｂ…水平補完・間引き部、３２６ｃ…ラインメモリ、３２６ｄ…垂直演算部、３３２…水平方向の高周波成分抽出部、３３３…絶対値化部、３３４…積分部、３３５…面積算出部、３３６…垂直方向の高周波成分抽出部、３３７…絶対値化部、３３８…積分部、３３９…面積算出部、３３６ａ…水平帯域制限部、３３６ｂ…水平補完・間引き部、３３６ｃ…ラインメモリ、３３６ｄ…垂直演算部、６１１…バイト数算出部、６１２…量子化スケール算出部、６１３…量子化テーブル生成部、３６１…周波数軸変換部（ＤＣＴ部）、３６２…量子化部、３６３…可変長符号化部

Claims (12)

1. 画像信号の水平方向の高周波成分および垂直方向の高周波成分の特性を検出する第１の検出手段と、
   前記画像信号の水平方向の低周波成分および垂直方向の低周波成分の特性を検出する第２の検出手段と、
   前記第１の検出手段の検出結果および前記第２の検出手段の検出結果に基づいて、前記画像信号を所定の符号化方式で圧縮符号化する際の圧縮率を算出する算出手段と、
   この算出手段により算出された圧縮率によって、前記画像信号を圧縮符号化する符号化手段と、
   前記第１の検出手段の検出結果および前記第２の検出手段の検出結果に基づいて、前記画像信号の情報量の調整を行うか否かを決定し、前記画像信号の低周波成分が高周波成分より多い場合に、情報量の調整を行うことを決定する決定手段と、
   この決定手段によって情報量の調整を行うことが決定された場合に、前記符号化手段による圧縮符号化前の画像信号の差分圧縮処理を行う情報量調整手段と、
   を備える画像圧縮処理装置。
2. 請求項１の画像圧縮処理装置において、
   前記決定手段は、前記画像信号により形成される画像の所定の処理単位領域ごとに、情報量の調整を行うか否かを決定する画像圧縮処理装置。
3. 画像信号の水平方向の高周波成分および垂直方向の高周波成分の特性を検出する第１の検出手段と、
   前記画像信号の水平方向の低周波成分および垂直方向の低周波成分の特性を検出する第２の検出手段と、
   前記第１の検出手段の検出結果および前記第２の検出手段の検出結果に基づいて、前記画像信号の情報量の調整を行うか否かを決定し、前記画像信号の低周波成分が高周波成分より多い場合に、情報量の調整を行うことを決定する決定手段と、
   この決定手段によって情報量の調整を行うことが決定された場合に、前記画像信号の差分圧縮処理を行う情報量調整手段と、
   を備える画像圧縮処理装置。
4. 請求項３の画像圧縮処理装置において、
   前記決定手段は、前記画像信号により形成される画像の所定の処理単位領域ごとに、情報量の調整を行うか否かを決定する画像圧縮処理装置。
5. 画像処理装置が実行する画像圧縮処理方法であって、
   画像信号の水平方向の高周波成分および垂直方向の高周波成分の特性を検出する第１の検出工程と、
   前記画像信号の水平方向の低周波成分および垂直方向の低周波成分の特性を検出する第２の検出工程と、
   前記第１の検出工程での検出結果および前記第２の検出工程での検出結果に基づいて、前記画像信号を所定の符号化方式で圧縮符号化する際の圧縮率を算出する算出工程と、
   この算出工程で算出した圧縮率によって、前記画像信号を圧縮符号化する符号化工程と、
   前記第１の検出工程での検出結果および前記第２の検出工程での検出結果に基づいて、前記画像信号の情報量の調整を行うか否かを決定し、前記画像信号の低周波成分が高周波成分より多い場合に、情報量の調整を行うことを決定する決定工程と、
   この決定工程で情報量の調整を行うことを決定した場合に、前記符号化工程での圧縮符号化の前に前記画像信号の差分圧縮処理を行う情報量調整工程と、
   を備える画像圧縮処理方法。
6. 請求項５の画像圧縮処理方法において、
   前記決定工程では、前記画像信号により形成される画像の所定の処理単位領域ごとに、情報量の調整を行うか否かを決定する画像圧縮処理方法。
7. 画像処理装置が実行する画像圧縮処理方法であって、
   画像信号の水平方向の高周波成分および垂直方向の高周波成分の特性を検出する第１の検出工程と、
   前記画像信号の水平方向の低周波成分および垂直方向の低周波成分の特性を検出する第２の検出工程と、
   前記第１の検出工程での検出結果および前記第２の検出工程での検出結果に基づいて、前記画像信号の情報量の調整を行うか否かを決定し、前記画像信号の低周波成分が高周波成分より多い場合に、情報量の調整を行うことを決定する決定工程と、
   この決定工程で情報量の調整を行うことを決定した場合に、前記画像信号の差分圧縮処理を行う情報量調整工程と、
   を備える画像圧縮処理方法。
8. 請求項７の画像圧縮処理方法において、
   前記決定工程では、前記画像信号により形成される画像の所定の処理単位領域ごとに、情報量の調整を行うか否かを決定する画像圧縮処理方法。
9. 画像信号を処理するコンピュータに、
   画像信号の水平方向の高周波成分および垂直方向の高周波成分の特性を検出する第１の検出ステップと、
   前記画像信号の水平方向の低周波成分および垂直方向の低周波成分の特性を検出する第２の検出ステップと、
   前記第１の検出ステップでの検出結果および前記第２の検出ステップでの検出結果に基づいて、前記画像信号を所定の符号化方式で圧縮符号化する際の圧縮率を算出する算出ステップと、
   この算出ステップで算出した圧縮率によって、前記画像信号を圧縮符号化する符号化ステップと、
   前記第１の検出ステップでの検出結果および前記第２の検出ステップでの検出結果に基づいて、前記画像信号の情報量の調整を行うか否かを決定し、前記画像信号の低周波成分が高周波成分より多い場合に、情報量の調整を行うことを決定する決定ステップと、
   この決定ステップで情報量の調整を行うことを決定した場合に、前記符号化ステップでの圧縮符号化の前に前記画像信号の差分圧縮処理を行う情報量調整ステップと、
   を実行させる画像圧縮処理プログラム。
10. 請求項９の画像圧縮処理プログラムにおいて、
    前記決定ステップでは、前記画像信号により形成される画像の所定の処理単位領域ごとに、情報量の調整を行うか否かを決定する画像圧縮処理プログラム。
11. 画像信号を処理するコンピュータに、
    画像信号の水平方向の高周波成分および垂直方向の高周波成分の特性を検出する第１の検出ステップと、
    前記画像信号の水平方向の低周波成分および垂直方向の低周波成分の特性を検出する第２の検出ステップと、
    前記第１の検出ステップでの検出結果および前記第２の検出ステップでの検出結果に基づいて、前記画像信号の情報量の調整を行うか否かを決定し、前記画像信号の低周波成分が高周波成分より多い場合に、情報量の調整を行うことを決定する決定ステップと、
    この決定ステップで情報量の調整を行うことを決定した場合に、前記画像信号の差分圧縮処理を行う情報量調整ステップと、
    を実行させる画像圧縮処理プログラム。
12. 請求項１１の画像圧縮処理プログラムにおいて、
    前記決定ステップでは、前記画像信号により形成される画像の所定の処理単位領域ごとに、情報量の調整を行うか否かを決定する画像圧縮処理プログラム。

Images