WO2006134723A1 - 画像データ処理装置、画像データ処理方法およびプログラム - Google Patents

Abstract

視覚的に劣化が少ない画像データの圧縮を実現する。非線形圧縮とＤＰＣＭ圧縮とが直列になされる。非線形変換を用いた圧縮器４１には、各色成分の画像データ（１画素がＬビット）がそれぞれ入力され、原画像データから抽出された画像情報に基づいて設定された適切な圧縮変換テーブルＴＢ１に従って画像データがＭビット（Ｍ＜Ｌ）へ圧縮される。圧縮器４１では、後段のガンマ補正で用いられるガンマカーブ特性に似た特性の圧縮変換を行う。非線形圧縮器４１によって、Ｍビットに圧縮変換された画像データがＤＰＣＭ圧縮器４２に入力される。ＤＰＣＭ圧縮器４２において量子化テーブルＴＢ２を使用して最終的にＮビット（例えばＮ＝１０）に圧縮される。圧縮された画像データがパッキング部４３を介して画像メモリ７に格納される。

Description

明 細 書 画像データ処理装置、 画像データ処理方法およびプログラム 技術分野

この発明は、 画像処理装置に関し、 特にデジタルスチルカメラ 、 カメラ · レコーダ （ビデオカメラとレコーダが一体構成とされ た装置） などの撮像装置において撮像された画像データを処理す るのに適用される画像データ処理装置、 画像データ処理方法およ び処理方法をコンピュータに実行させるプログラムに関する。 背景技術

デジタルスチルカメラ、 カメラ · レコーダなどの撮像装置では 、 シャッターの押下に応答して、 静止画の取り込みが行われる。 撮像された原画像データは撮像信号処理やェンコ一ド処理などの 内部信号処理が施されて、 例えば着脱可能な記録媒体に記録され る。 その際、 撮像された原画像データは、 内部信号処理がなされ る前に一旦、 画像メモリに保持される。 この画像メモリは D RA M (Dynamic Random Access Memory) や S D R AM (Synchronou s DRAM) 等で構成される。 近年の高画素数化に伴って、 画像メモ リとしてより大規模な容量が必要とされ、 ハードウェアコスト上 昇や、 や消費電力の増大が問題となっている。

そのため、 特許文献 1 (特開 2 0 0 2— 1 1 1 9 8 9号公報） に記載されているように、 従来の撮像装置では、 撮像された原画 像データを圧縮し、 圧縮後のデータを画像メモリ （原画像データ バッファメモリ） に格納し、 この画像メモリから.読み出されたデ 一夕を再び伸張してからその後の処理を行うようにしていた。 一 般的な原画像データの圧縮処理としては、 原画像信号に対する D P CM処理、 ハフマン符号化、 算術符号化、 これら適宜用いた J P E Gロスレス符号化、 Ziv-Lempel法に代表されるユニバーサル 符号化等が知られている。

例えば、 D P CM処理は、 近接する画素と対象画素との相関性 が高ければ高いほど、 高い圧縮率が得られる。 したがって、 相関 性が高い上位ビッ ト例えば 1画素 1 2ビッ トの画像デ一夕の内の 上位の 6〜 8ビッ トに対しては D P CM処理は有効であるが、 相 関性が低い下位ビッ トに対しては D P CM処理を施しても高い圧 縮率を得ることはできない。 また、 D P CMでは、 画像のエッジ のように、 相関性が低い画像を圧縮すると、 歪みが増える問題が ある。 さらに、 D P CMでは、 エラーの伝播が生じる問題がある 画像メモリから読み出した圧縮データを伸張して原画像データ を得て、 原画像データに対してガンマ補正、 ホワイ トバランス補 正、 リニアマトリクス等の信号処理を行い、 輝度信号と二つの色 差信号を生成するようになされる。 ガンマ補正は、 ブラウン管の 発光特性の非線形性をカメラ側で逆補正するための処理である。 ガンマ補正では、 輝度が高い画像データが圧縮される割合が高い ので、 ガンマ補正の特性に合わせて輝度が高い画像データが圧縮 される割合が高い非線形変換を用いた圧縮方式が提案されている かかる非線形変換を用いた圧縮処理は、 構成自体が非常に簡易 とできるが、 圧縮率をあげればあげるほど、 下位ビッ トの情報が 欠落し、 ソラリゼーション（so rization)等視覚的に見苦しい画 質劣化を発生するので、 高い圧縮率を得ることができない。 ソラ リゼ一ションは、 極端に露光過剰になってしまい写真乳剤の現像 可能な濃度が低下することを意味する。 視覚上では、 量子化ビッ 卜数が少なくなつた粗い階調の画像となり、 平坦な画像部分で画 質の劣化が目立つ問題がある。

このように、 従来の圧縮処理は、 圧縮処理の種類によって、 生 じる圧縮歪みが異なるのが普通である。 また、 何れの圧縮処理に おいても、 圧縮率を高くするほど、 画質の劣化が大きくなる傾向 がある。

したがって、 この発明の目的は、 符号化効率を向上させ、 画質 を向上させることが可能な画像データ処理装置、 画像データ処理 方法およびプログラムを提供することにある。 発明の開示

上述した課題を解決するために、 この発明は、 撮像素子によつ て撮像された原画像データを圧縮する画像データ処理装置におい て、

カラーフィルタの同色成分の信号を取り出す手段と、 同色成分に分離されたそれぞれの画像データに対して、 各画素 を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1の圧縮処理を行 う第 1の圧縮手段と、

第 1の圧縮手段と直列に接続され、 第 1の圧縮処理と発生する 歪みの特性が異なる第 2の圧縮処理を行い、 各画素を Mビッ トか ら N ( < M ) ビッ トへ圧縮する第 2の圧縮手段と、

第 2の圧縮手段からの圧縮後のデータを保持する画像メモリと 第 2の圧縮処理の逆の処理である第 2の伸張処理によって、 画 像メモリに保持されたデータの各画素を Nビッ トから Mビッ トへ 伸張する第 2の伸張手段と、

第 2の伸張手段と直列に接続され、 第 1の圧縮処理め逆の処理 である第 1の伸張処理によって第 2の伸張手段の出力データの各 画素を Mビッ トから Lビットへ伸張する第 1の伸張手段と、 第 1の伸張手段からの画像データに対してガンマ補正を含む信 号処理を行う信号処理手段と

を備える画像データ処理装置である。

この発明は、 撮像素子によって撮像された原画像データを圧縮 する画像データ処理方法において、

カラ一フィル夕の同色成分の信号を取り出すステップと、 同色成分に分離されたそれぞれの画像データに対して、 各画素 を Lビッ トから M ( < L ) ピッ トへ圧縮する第 1の圧縮処理を行 う第 1の圧縮ステップと、

第 1の圧縮ステップ後に、 第 1の圧縮処理と発生する歪みの特 性が異なる第 2の圧縮処理を行い、 各画素を Mビッ トから N ( < M ) ビッ トへ圧縮する第 2の圧縮ステップと、

第 2の圧縮ステップからの圧縮後のデータを画像メモリに保持 するステップと、

第 2の圧縮処理の逆の処理である第 2の伸張処理によって、 画 像メモリに保持されたデ一夕の各画素を Nビッ トから Mビッ トへ 伸張する第 2の伸張ステップと、

第 2の伸張ステップ後に、 第 1の圧縮処理の逆の処理である第 1の伸張処理によって第 2の伸張ステップで伸張されたデータの 各画素を Mビッ トから Lピッ トへ伸張する第 1の伸張ステツプと 第 1の伸張ステツプで伸張された画像データに対してガンマ補 正を含む信号処理を行う信号処理ステツプと

からなる画像データ処理方法である。

この発明は、 撮像素子のカラ一フィル夕の同色成分の信号を取 り出すステツプと、

同色成分に分離されたそれぞれの画像データに対して、 各画素 を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1 の圧縮処理を行 う第 1の圧縮ステツプと、

第 1の圧縮ステップ後に、 第 1の圧縮処理と発生する歪みの特 性が異なる第 2の圧縮処理を行い、 各画素を Mビッ トから N ( < M ) ビッ トへ圧縮する第 2の圧縮ステップと、

第 2の圧縮ステップからの圧縮後のデータを画像メモリに保持 するステップと、

第 2の圧縮処理の逆の処理である第 2の伸張処理によって、 画 像メモリに保持されたデータの各画素を Nビッ 卜から Mビッ 卜へ 伸張する第 2の伸張ステップと、

第 2の伸張ステップ後に、 第 1の圧縮処理の逆の処理である第 1の伸張処理によって第 2の伸張ステツプで伸張されたデータの 各画素を Mビッ トから Lビッ トへ伸張する第 1の伸張ステツプと 第 1の伸張ステップで伸張された画像データに対してガンマ補 正を含む信号処理を行う信号処理ステツプと

からなる画像データ処理方法をコンピュータに実行させるプロ グラムである。

この発明によれば、 複数の特性が異なる圧縮方法を組み合わせ ることにより、 異なつた特性をもつたノィズに圧縮歪みが分散さ れ、 視覚的に劣化が抑制されるので、 高い圧縮率を実現すること ができる。 図面の簡単な説明

第 1図は、 この発明の一実施形態による撮像装置の構成を示す ブロック図である。

第 2図は、 この発明の一実施形態における画像処理部の一例を 示すブロック図である。

第 3図は、 画像処理部における圧縮 伸張器の構成の一例を示 すブロック図である。

第 4図は、 画像メモリのデータバス幅へのパッキングの説明に 用いる略線図である。

第 5図は、 非線形変換を用いた圧縮器の構成例を示すプロック 図である。

第 6図は、 非線形変換を用いた伸張器の構成例を示すブロック 図である。

第 7図は、 非線形変換を角いた圧縮器の変換カーブの説明に用 いる略線図である。

第 8図は、 非線形変換を用いた圧縮器の変換カーブを折れ線力 ーブで実現した例を示す略線図である。

第 9図は、 この発明の一実施形態における D P C M圧縮/伸張 器の構成の一例を示すブロック図である。

第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cは、 この発明の一実 施形態における D P C M圧縮器の量子化テーブルを選択するため の画像のレベル分布のヒストグラムの例を示す略線図である。 第 1 1図は、 この発明の一実施形態における D P CM圧縮器の 量子化テーブルの一例を示す略線図である。

第 1 2図は、 この発明の一実施形態における D P CM圧縮器の 量子化テーブルを折れ線カーブで実現した例を示す略線図である 第 1 3図は、 画像処理部における圧縮 Z伸張器の構成の他の例 を示すブロック図である。

第 1 4図は、 AD R C圧縮器の一例を示すブロック図である。 第 1 5図は、 AD R C伸張器の一例を示すブロック図である。 発明を実施するための最良の形態

以下、 この発明の一実施形態について図面を参照して説明する

。 第 1図は、 この発明の一実施形態における撮像装置 1の一構成 例を示す。 この撮像装置 1は、 レンズ部 2と、 撮像素子 3と、 夕 イミング生成部 4と、 フロントエンド 5と、 画像処理部 6と、 画 像メモリ 7と、 画像モニタ 8と外部記憶媒体 9とカメラ制御マイ クロコンピュ一夕 1 0とを備えて構成される。

レンズ部 2は、 被写体からの光を集光するものであり、 レンズ

1 1、 絞り 1 2およびシャッター 1 3を含む。 絞り 1 2は、 光量 を制御する。 シャッター 1 3は、 光の通過を遮断することにより 露光を制御する。 絞り 1 2がシャッター 1 3の機能を兼ね備えて もよい。 これら絞り 1 2およびシャッター 1 3がカメラ制御マイ クロコンピュー夕 1 0によって制御される。

撮像素子 3は、 C C D (Charged Coupled Device), CMO Sセ ンサー (Co即 lemetary Metal Oxide Semiconductor sensor)等の 画像センサーであり、 被写体の光情報を電気信号に変換する。 セ ンサ一表面には、 3原色フィルタ、 補色フィル夕等の複数の色フ ィル夕が配置される。 タイミング生成部 4は、 撮像素子 3を駆動 する。 また、 タイミング生成部 4は、 高速 ·低速電子シャッター 等の露光制御も行う。 このタイミング生成部 4は、 カメラ制御マ イク口コンピュータ 1 0によって制御される。

フロントエンド 5は、 撮像素子 3から出力されるアナログ信号 をデジタル信号に変換する。 このフロントェンド 5の内部では、 撮像素子 3におけるノイズ成分を除去して撮像信号を取り出す相 関二重サンプリング、 撮像信号のレベルを制御するゲインコント ロール、 アナログ信号をデジタル信号に変換する AZD変換の各 処理がなされる。 フロントエンド 5は、 カメラ制御マイクロコン ピュー夕 1 0によって制御される。

画像処理部 6は、 デジタル信号に変換された撮像素子 3からの 撮像データに基づいて各種デジタル信号処理を行い、 輝度信号お よび色信号を生成する。 また、 画像処理部 6は、 画像データを J P E G (Joint Pohtograpihic Experts Group)などの所定のファ ィル形式に符号化する機能を有する。

画像メモリ 7は、 画像処理部 6における信号処理の際に一時的 に画像データを格納するための記憶素子であり、 例えば D RAM (Dynamic Random Access Memory) , S D RAM (Synchoronous DR AM)等が使用される。 画像メモリ 7にフロントエンド 5からの原 画像データが格納される場合、 メモリ容量の節減のために、 画像 処理部 6によって圧縮された圧縮データが画像メモリ 7に記憶さ れる。

画像モニタ 8は、 撮像素子 3によって撮像された画像 （スルー 画像） をユーザが確認し、 また、 撮像装置の操作に必要なメニュ 一を表示し、 さらに、 再生画像データを表示するためのモニタで ある。 例えば L C Dパネル （L i qu i d Crys t a l Di sp l ay Pane l ) 等 が使用される。 外部記憶媒体 9は画像データを格納するための記 録媒体であり、 書き換え可能な不揮発性メモリとしてフラッシュ メモリが用いられることが多い。

カメラ制御マイクロコンピュー夕 1 0は、 撮像装置 1全体の制 御を行う。 すなわち、 絞り 1 2による露光制御、 シャツ夕一 1 3 の開閉制御、 タイミング生成部 4における電子シャツ夕一制御、 フロントエンド 5におけるゲインコントロール、 画像処理部 6に おける各種モ一ド制御やパラメータ制御がマイクロコンピュー夕 1 0によってなされる。

第 2図は、 この発明の一実施形態における画像処理部 6の一構 成例を示す。 画像処理部 6は、 信号処理部 2 1 と検波部 2 2 と、 圧縮部 2 3と伸張部 2 4と、 メモリコントローラ 2 5と、 メモリ イン夕一フェース 2 6 と、 モニターイン夕一フェース 2 7 と、 マ ィクロコンピュ一タインターフェース 2 8 とを備える。 また、 こ れら各部はデータパス 2 9および制御バス 3 0によって相互に接 続されている。 第 2図において、 画像デ一夕の流れが実線で示さ れ、 制御データの流れが破線で示されている。

信号処理部 2 1は、 フロントエンド 5においてデジタル化され た原画像情報 （RAWデータ） に対して撮像素子 3に関連する補正 例えば欠陥補正を行う。 補正後の原画像データが圧縮部 2 3で圧 縮され、 メモリコントローラ 2 5およびメモリインタ一フェース 2 6を介して画像メモリ 7に書き込まれる。 画像メモリ 7から読 み出された圧縮データが伸張部 2 4で伸張され、 伸張部 2 4から 原画像データが得られる。 画像メモリ 7から読み出され、 伸張処理に得られた原画像デー 夕が信号処理部 2 1に供給される。 信号処理部 2 1は、 デジタル クランプ、 ホワイ トバランス、 ガンマ補正、 補間演算、 フィルタ 演算、 マトリクス演算、 輝度生成演算、 色生成演算等のデジタル 信号処理を行い、 輝度および色差信号からなる画像信号を生成す る。 また、 信号処理部 2 1は J P E Gなどの所定のファイル形式 に符号化した画像データを生成する。

なお、 この発明は、 原画像データに対して信号処理を行い、 得 られた輝度信号および色差信号からなる画像信号を圧縮して画像 メモリに書き込む構成に対しても適用することが可能である。 さ らに、 外部記憶媒体 9に対しても、 画像メモリ 7と同様に、 圧縮 した画像データを記憶するようにしても良い。

検波部 2 2は、 各種カメラ制御の基準となるカメラ撮像画像の 検波処理を行う。 この検波部 2 2が検出する検波信号は、 例えば オートフォーカスに関する検波信号、 自動露出制御に関する検波 信号等である。 検波部 2 2は、 オートフォーカスに関する検波信 号として、 撮像画像上の所定の位置に設定されたォ一トフオーカ ス検波ェリァ内における輝度のエツジ成分を検出し、 そのエッジ 成分を検出し、 そのエッジ成分を積算して得られるコントラスト 値を出力する。 また、 検波部 2 2は自動露出制御に関する検波信 号として、 撮像画面上の所定の位置に設定された輝度の検波エリ ァの輝度を検出し、 その輝度レベルを出力する。

圧縮部 2 3は、 例えば静止画の取り込みの際にフロントエンド 5からのキヤプチャ画像を色別に圧縮する。 この圧縮された画像 データはメモリインターフェース 2 6において、 画像メモリ 7の バス幅に応じてパッキングを行う。 パッキングされたデータはメ モリインタ一フェース 2 6を介して画像メモリ 1に一旦保持され る。 一方、 画像メモリ 7から圧縮データをメモリーインタ一フエ —ス 2 6に読み出し、 パッキング処理をほどく。 その後、 伸張部 2 4は、 信号処理部 2 1における信号処理のためにデパッキング された画像データを伸張する。

メモリコントローラ 2 5は、 画像処理部 6内の各部間または各 部と画像メモリ 7 との間での画像データの受け渡しゃデ一夕の流 れるデ一夕バス 2 9を制御する。 メモリインターフェース 2 6は 、 画像処理部 6における信号処理の際に用いられる画像メモリ 7 との間で画像データや圧縮されたデータの受け渡しを行う。 モニ 夕一インターフェース 2 7は、 画像データを画像モニタ 8に表示 するために各種表示フォーマッ トに変換する。 例えば、 N T S C モニターに表示するための N T S Cエンコーダ等が知られている 。 マイクロコンピュータインターフェース 2 8は、 画像処理部 6 を制御するカメラ制御マイクロコンピュータ 1 0と画像処理部 6 との間の制御デー夕や画像デー夕の受け渡しを行う。

第 3図は、 画像処理部 6における圧縮部 2 3、 伸張部 2 4、 メ モリコントローラ 2 5、 メモリインタ一フェース 2 6の部分を機 能構成として表したものである。 この画像処理装置は、 異なる第 1およぴ第 2の圧縮処理を行うもので、 第 1の圧縮処理として非 線形圧縮を行い、 第 2の圧縮処理として D P C M圧縮を行う。 第 1および第 2の圧縮処理は、 圧縮により生じる画像歪みが互いに 異なるものである。 圧縮方式が異なる場合、 画像歪みが異なるこ とが多いので、 直列に組み合わされる 2種類の圧縮方式としては 、 種々のものが可能である。 例えば非線形圧縮と A D R C ( Adap t i ve Dynami c Ran g e Cod i ng) 等の他の圧縮回路との組み合わせ であってもよいし、 さらに、 3種類以上の圧縮方式を組み合わせ てもよい。

第 3図を参照して、 静止画像を Lビッ ト例えば L = 1 4から N ( N < L ) ビッ ト例えば N = 1 0に圧縮する処理を説明する。 な お、 圧縮動作と伸張動作が同時になされないので、 第 3図の構成 は、 圧縮および伸張で共用するものである。

タイミング発生器 4 0に対して画像デ一夕の水平同期信号およ び垂直同期信号、 画像データのィネーブル信号等が入力される。 タイミング発生器 4 0では、 圧縮器 4 1および 4 2、 伸張器 4 6 および 4 7、 パッキング部 4 3、 デパッキング部 4 5、 画像メモ リ 7等に配るタイミング信号およびコントロール信号を生成する 非線形変換を用いた圧縮器 4 1は、 3原色信号の各色成分の画 像データ （ 1画素が Lビッ ト） がそれぞれ入力される。 例えばフ ロントエンド 5からの原画像データから輝度情報が画像情報 P I 1として抽出され、 マイクロコンピュータ 1 0にこの情報 P I 1 が出力される。 マイクロコンピュータ 1 0では、 この情報から入 力画像の特性を識別し、 その情報に適切な圧縮変換テーブル T B 1を設定する。 設定された圧縮変換テーブル T B 1を非線形変換 を用いた圧縮器 4 1にフィードバックする。 なお、 画像情報 P I 1は、 検波部 2 2において求められた自動露出制御のための情報 を用いるようにしても良い。

非線形変換を用いた圧縮器 4 1では、 この圧縮変換テーブル T B 1に従って画像デ一夕を Mビッ ト （M < L ) 例えば M = 1 2へ 圧縮する。 この圧縮器 4 1では、 後段の信号処理部 2 1 (第 1図 参照） のガンマ補正で用いられるガンマカーブ特性に似た特性の 圧縮変換を行うことにより、 後段の信号処理と同様な重みづけを 画像データに対して行う。

非線形圧縮器 4 1によって、 非線形変換により Mビッ トに圧縮 変換された画像データが D P C M圧縮器 4 2に入力される。 D P C M圧縮器 4 2において量子化テーブル T B 2を使用して最終的 に Nビット （例えば N = 1 0 ) に圧縮される。 量子化テーブル T B 2を設定するための情報 P I 2が生成される。 圧縮された画像 デ一夕がパッキング部 4 3に入力され、 画像メモリのバス幅に詰 め込みされた上で、 画像メモリ 7に格納される。 第 4図は、 バス 幅が 1 6ビッ トの場合にパッキングされた画像デ一夕の一例を示 す。 この一実施形態では、 非線形変換を用いた圧縮器 4 1の圧縮 比が 1 4であり、 D P C M圧縮器 4 2の圧縮比が 1 Z 4であり 、 総合して 1 Z 1 6の圧縮比が実現されている。

次に、 第 3図を参照して Nビッ トから Lビッ トへの伸張時の処 理を説明する。 伸張処理は、 上述した圧縮処理と逆の順序でなさ れる処理である。 伸張処理も圧縮処理と同様に、 3原色成分の各 色信号ごとになされる。 画像メモリ 7に格納されていた画像デー 夕が読み出され、 デパッキング部 4 5に入力される。 バス幅に多 重化されていた圧縮デ一夕がデパッキング部 4 5によって Nビッ トの画像データに戻され、 第 2の伸張手段としての D P C M伸張 器 4 6に入力される。

D P C M伸張器 4 6は、 逆変換テーブル T B 1 2によって Nビ ッ トから Mビッ トへ伸張を行う。 伸張後の画像デ一タは、 第 1の 伸張手段としての非線形変換を用いた伸張器 4 7に入力される。 伸張器 4 7は、 圧縮器 4 1で選択された圧縮変換テーブル T B 1 と対の逆圧縮テーブル T B 1 1に従って画像データを元のビッ ト 数である Lビッ トに伸張する。 非線形変換を用いた伸張器 4 7か らの Lビッ トの各色成分の原画像データが信号処理部 2 1 (第 2 図参照） に供給され、 デジタルクランプ、 ホワイ トバランス、 ガ ンマ補正、 補間演算、 フィル夕演算、 マトリクス演算、 輝度生成 演算、 色生成演算等のデジタル信号処理によって輝度および色差 信号からなる画像信号が生成される。

第 5図は、 非線形変換を用いた圧縮のための構成を示す。 ある 色に対応する画像データが圧縮器 4 1および輝度抽出部 5 3に供 給される。 輝度抽出部 5 3は、 フロントエンド 5からの原画像デ —夕から輝度に対応する画像情報 P I 1を抽出する。 抽出された 画像情報 P I 1が圧縮変換規則設定部 5 1に供給される。

圧縮変換規則設定部 5 1は、 抽出された輝度情報 P I 1に基づ いて圧縮変換規則を圧縮変換テーブル 5 2に設定する。 すなわち 、 圧縮変換規則によって圧縮変換テーブルの特性が設定される。 設定された圧縮変換テーブル T B 1が圧縮器 4 1に対して供給さ れる。 圧縮器 4 1が圧縮変換テーブル T B 1にしたがって非線形 変換を用いた圧縮処理を行う。 圧縮後の Mビッ トのデータが次段 の D P C M圧縮器 4 2に供給される。 使用された圧縮変換テープ ルの特性を識別する情報が圧縮データと関連付けて伝送され、 伸 張時に伸張変換テーブルを指示するために使用される。 この情報 をマイクロコンピュータ 1 0に保持しても良い。

第 6図は、 非線形変換を用いた伸張のための構成を示す。 画像 メモリ 7から読み出され、 D P C M伸張器 4 6によって Mビッ ト に伸張後のデータが変換規則設定部 5 4および非線形変換を用い た伸張器 4 6に供給される。 変換規則設定部 5 4は、 圧縮時で使 用されたの圧縮変換テーブルと対をなす伸張変換テーブル T B 1 1を伸張変換テーブル 5 5から出力させる。 伸張器 4 6が伸張変 換テーブル T B 1 1にしたがってデータを Nビッ トに伸張する。 第 7図は、 圧縮変換テーブル TB 1に対応するカーブの一例を 示す。 圧縮変換テーブル TB 1は、 圧縮前のデータと圧縮後のデ 一夕の変換対の集合からなる。 圧縮器 4 1は、 圧縮変換テーブル TB 1における変換対を参照してデータを圧縮する。 圧縮変換テ —ブル TB Iは、 固定領域と可変領域とからなる。 固定領域にお いては、 各変換対が固定である。 可変領域においては、 圧縮変換 規則設定部 5 1によって適宜変換対が変更可能とされている。 第 7図の例では、 可変領域に 3種類の変換カーブ 6 1， 6 2お よび 6 3が示されている。 輝度抽出部 5 3により抽出された輝度 情報 P I Iによって、 これらのカーブが選択される。 例えば輝度 情報がフレーム単位で抽出される場合では、 フレーム単位で変換 カーブが切り換えられる。 抽出された輝度が低輝度であれば、 変 換カーブ 6 1が採用され、 中輝度であれば、 変換カーブ 6 2が採 用され、 高輝度であれば、 変換カーブ 6 3が採用される。 なお、 これらの変換カーブ 6 1、 6 2、 6 3は、 後段の信号処理部 2 1 で用いられるガンマ補正カーブと同様のものであることが好まし い。

例えば圧縮変換テーブル TB 1は、 第 8図に示すように、 折れ 線カーブで近似されたものが使用される。 例えばしきい値 TH 0 , TH 1 , TH 2 , TH 3とオフセッ ト O F T 0， O F T 1 , O F T 2， O F T 3 とによって折れ線カーブが規定される。 すなわ ち、 （TH 0， 〇 F T 0 ) によって直線 6 4 aが規定され、 （T H I , 0 F T 1 ) によって直線 6 4 bが規定され、 （TH 2 , O F T 2 ) によって直線 6 4 cが規定され、 （TH 3 , O F T 3 ) によって直線 6 4 dが規定され、 圧縮前のデータの最大値 2の 1 4乗の値と、 圧縮後のデータの最大値 2の 1 2乗の値とによって 直線 6 4 eが規定される。 直線 64 aから直線 6 4 eになるほど 傾きが小とされている。 例えば直線 64 a、 6 4 bおよび 6 4 c が固定とされ、 直線 6 4 dおよび 6 4 eが可変とされる。

圧縮前のデータが各しきい値と比較され、 5つの線 64 a〜 6 4 eの何れの範囲に含まれるかが決定される。 各直線は、 1次関 数として表されるので、 各直線上の圧縮後のデータの値は、 1次 補間によって求めることができる。 さらに、 しきい値またはオフ セットを変更することによって、 圧縮変換テーブルの特性を抽出 された輝度情報 P I 1に適応して変更することができる。 例えば オフセット O F T 3をオフセッ ト O F T 4に変更することによつ て、 直線 6 4 dおよび 6 4 eをそれぞれ直線 6 5 dおよび 6 5 e に変更することができる。

なお、 変換カーブを固定領域と可変領域に分ける必要はなく、 全体のカーブを可変できるようにしても良い。 また、 1次補間に 限らず、 非線形補間によって代表点としてのオフセッ ト以外の値 を求めるようにしても良い。

第 9図は、 圧縮動作と伸張動作の回路を共用するように構成さ れた D P C M圧縮器 4 2および 4 6を示す。 非線形変換を用いた 圧縮器 4 1によって、 Lビッ ト例えば 1 4ビッ トから Mビッ ト例 えば 1 2ビッ トに圧縮された入力画像デ一夕が減算器 7 0に供給 される。 減算器 7 0において、 予測器 7 1 において遅延要素 Dで 規定される過去の画素例えば同じラインの隣接した画素から予測 された予測値との予測誤差を求められる。 aは、 予測値を生成す るための重み付けの係数である。 予測誤差が差分ヒスト検出器 7 2、 量子化器 7 3および量子化 /逆量子化器 7 4に入力される。 量子化/逆量子化器 7 4は、 量 子化を行う処理と、 その逆に量子化値を代表値に変換する逆量子 化を行う処理とを同時に行う構成を有している。 量子化 Z逆量子 化器 7 4の量子化特性は、 量子化器 7 3の量子化特性および逆量 子化器 7 5の逆量子化特性と同一とされる。 量子化/逆量子化器 7 4の出力データがセレクタ 7 6を介して加算器 7 7に供給され る。

セレクタ 7 6は、 圧縮 伸張切り換え信号 S。によって、 圧縮 時には、 入力端子 aを選択し、 伸張時に、 入力端子 bを選択する ように制御される。 圧縮時には、 量子化/逆量子化器 7 4の出力 と予測器 7 1の出力とが加算器 7 7で加算されたデータが減算器 7 0に供給され、 予測誤差が計算される。 量子化器をフィードバ ックループに入れて、 伸張器と同様な構成の回路を設けることで 、 量子化器で発生する量子化雑音の伸張器での累積を回避してい る。

差分ヒスト検出器 7 2は、 捕捉された 1枚の静止画像に関して 予測誤差の発生頻度を示すヒストグラムを作成し、 画像情報 P I 2としてこの値を出力する。 差分ヒスト検出器 7 2で得られるヒ ストグラムは、 画像信号によって分布に著しい偏りが見られる。 検出されたヒストグラムに基づいて、 量子化器 7 3および量子化 ノ逆量子化器 7 4で用いる量子化テーブル T B 2を適応的に変化 させ、 効率的な圧縮がなされる。 圧縮時には、 量子化器 7 3から Nビッ ト例えば 1 0ビッ 卜に圧縮された圧縮データが得られる。 圧縮デ一夕は、 画像メモリ 7に書き込まれる。

画像メモリ 7から読み出されたデータが逆量子化器 7 5に供給 される。 逆量子化器 7 5は、 量子化.器 7 3で使用された量子化テ 一ブル T B 2と対をなす逆変換テ一ブル T B 1 2によって、 Nビ ッ トを Mビッ トに伸張する。 どの逆変換テーブルを選択するかを 指示する情報は、 画像メモリ 7に格納される。 但し、 マイクロコ ンピュー夕 1 0からの情報によって逆変換テーブルを設定しても 良い。

逆量子化器 7 5からの Mビッ 卜に伸張された予測誤差がセレク 夕 7 6を介して加算器 7 7に供給される。 加算器 7 7には、 予測 器 7 1で生成された予測値がフィードバックされ、 復元値が加算 器 7 7から得られる。 この復元値が非線形変換を用いた伸張器 4 7に対して供給される。

第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cは、 減算器 7 0の出 力に得られる、 予測誤差の発生頻度を示すヒストグラムの模式的 な例を示す。 横軸が予測誤差を示し、 縦軸が頻度を示す。 予測誤 差は、 横軸に沿って値が次第に大きくなるが、 予測誤差の最小値 から最大値の範囲を所定数に分割し、 分割範囲のそれぞれの発生 頻度を検出しても良い。 一例として、 1枚の画像に関して予測誤 差の発生頻度が調べられ、 ヒストグラムが作成される。 ヒストグ ラムに基づいて量子化器 7 3および量子化/逆量子化器 7 4の非 線形圧縮に使用される量子化テーブル T B 2が設定される。

第 1 1図は、 量子化テーブル T B 2の一例を示す。 横軸が予測 誤差を示し、 縦軸が代表値を示す。 参照符号 8 1が標準的な量子 化テ一ブルを示し、 量子化テーブル 8 1に対して量子化テーブル 8 2および量子化 8 3が設定されている。 これらの量子化テープ ルは、 差分が大きな部分より小さな部分の方が人間の目の感度が 敏感であることに基づいて、 予測誤差が大きい部分の圧縮率が小 さい部分に比較して高くされている。

第 1 0図 Aに示すように、 予測誤差の分布が小さな値に集中し ている画像、 すなわち、 平坦な画像に対しては、 量子化テーブル 8 2が設定される。 量子化テーブル 8 2は、 0からしきい値 Aで 示す比較的小さなレベルの範囲の予測誤差に対しては、 それぞれ 異なる代表値を出力し、 しきい値 Aを越えるレベルの予測誤差に 対しては、 共通に最大の代表値を出力するものである。 つまり、 予測誤差の小さなレベルに対してビッ トの配分を多くするもので ある。 ここでは、 1フレーム等の 1枚の画像で発生するビッ ト数 が所定の値以下とされているので、 使用できるビッ ト数をどのよ うに予測誤差に対して振り分けるかが圧縮の歪みを少なくするた めに必要である。

第 1 0図 Bに示すように、 予測誤差の分布がある程度の大きさ までのレベル範囲に比較的均等に含まれている通常の画像に対し ては、 量子化テーブル 8 1が設定される。 量子化テーブル 8 1は 、 0からしきい値 B O A ) で示す範囲の予測誤差に対しては、 それぞれ異なる代表値を出力し、 しきい値 Bを越えるレベルの予 測誤差に対しては、 共通に最大の代表値を出力するものである。 つまり、 予測誤差の小さなレベルおよび中間のレベルに対してビ ッ トの配分を多くするものである。

第 1 0図 Cに示すように、 予測誤差の分布が大きなレベル範囲 にまで分布している画像、 すなわち、 絵柄が細かいために隣接画 素間の相関が小さい画像に対しては、 量子化テーブル 8 3が設定 される。 量子化テーブル 8 3は、 0からしきい値 C O B ) で示 すレベルの範囲の予測誤差に対しては、 それぞれ異なる代表値を 出力し、 Cを越えるレベルの予測誤差に対しては、 共通に最大の 代表値を出力するものである。 つまり、 予測誤差の小さなレベル から大きいレベルまでの全体に対してビッ トを配分するものであ る。

上述したように、 捕捉した 1枚の静止画像の予測誤差のレベル 分布に応じて量子化テーブルを設定することによって、 圧縮によ る歪みが小さい量子化を行うことができる。

量子化テーブルは、 実際には、 第 1 2図に示すように、 折れ線 特性で近似することができる。 第 1 2図において、 縦軸が予測誤 差を示し、 横軸が代表値を示す。 予測誤差に対しては、 しきい値 t h 0〜 t h 6が規定され、 代表値に対しては、 オフセッ ト o f t 0〜 o f t 5が規定されている。 これらのしきい値とオフセッ トで規定される各直線は、 予測誤差に乗算される変換の係数が （ 1， \ / 2 , 1 / , 1 / 8 , 1 / 1 6 , 1 / 3 2 , 1 / 6 4 ) となるような傾きをそれぞれ有している。

しきい値およびオフセッ ト値の対のデータがメモリに記憶され ている。 しきい値と予測誤差とが比較され、 予測誤差がどの直線 の範囲に含まれるかが決定され、 予測誤差に対応する代表値が求 められる。 その場合、 1次補間の演算によって代表値が求められ る。 しきい値およびオフセッ ト値の少なくとも一方を変更するこ とによって量子化テーブルの特性を変更することができる。

このように、 この発明の一実施形態によれば、 低い階調の部分 に対して人間の目の感度が敏感であるという視覚特性を利用した 非線形変換による圧縮と、 差分が大きな部分より小さな部分の方 が人間の目の感度が敏感であるという差感度と画像信号の相関を 利用した D P C M圧縮という、 ふたつの異なる圧縮手段を兼ね備 えることにより、 量子化誤差を分散させ、 ノイズを感知し難くす ることができる。 更に、 非線形圧縮/伸張変換テーブルをヒス卜 グラムに適したビッ ト配分に適応的に変化させ、 また、 予測誤差 のヒストグラム分布により、 最適な量子化テーブルを適応的に変 化させ、 予測誤差の分布に適した代表値配分を行うことができる その結果、 信号処理を経た後での視覚的なノイズ感を変えずに 圧縮率を上げることができる。 圧縮率を高くすることにより、 画 像メモリに格納する静止画枚数を増やすことができる。 また、 画 像メモリにアクセスする周波数帯域を下げ、 低消費電力化を実現 することにより、 デジタルスチルカメラ、 カメラ · レコーダーの バッテリーをより長く持続させることが可能となる。

第 1 3図は、 この発明の他の実施形態を示す。 他の実施形態は 、 2つの異なる特性をもつ圧縮変換として、 非線形圧縮と A D R C ( Adap t i ve Dynami c Ran e Cod i ng) 圧縮を組み合わせた例で ある。 第 1 3図を参照して、 静止画像を Lビッ ト例えば L = 1 4 から N ( N < L ) ビッ ト例えば N = 1 0に圧縮する処理を説明す る。 なお、 圧縮動作と伸張動作が同時になされないので、 第 1 3 図の回路を圧縮および伸張で共用することができる。

夕イミング発生器 9 0に対して画像データの水平同期信号およ び垂直同期信号、 画像データのィネーブル信号等が入力される。 タイミング発生器 9 0では、 圧縮器 9 1および 9 2、 伸張器 9 6 および 9 7、 パッキング部 9 3、 デパッキング部 9 5、 画像メモ リ 7等に配る夕イミング信号およびコントロール信号を生成する 非線形変換を用いた圧縮器 9 1は、 第 3図に示す一実施形態に おける圧縮器 4 1 と同様のものである。 すなわち、 3原色信号の 各色成分の画像データ （ 1画素が Lビッ ト） がそれぞれ入力され 、 画像情報 P I 3例えばフロントエンド 5からの原画像データか ら輝度情報が抽出され、 マイク口コンピュータ 1 0が画像情報 P I 3から入力画像の特性を識別する。 マイクロコンピュータ 1 0 が画像情報 P I 3に基づいて設定した圧縮変換テーブル T B 3が 非線形変換を用いた圧縮器 9 1に供給される。

非線形変換を用いた圧縮器 9 1では、 この圧縮変換テーブル T B 3に従って画像データを Mビッ ト （Mく L ) 例えば M = 1 2へ 圧縮する。 この圧縮器 9 1における非線形変換のための変換力一 ブは、 後段の信号処理部 2 1 (第 1図参照） のガンマ補正で用い られるガンマ補正カーブと同様の特性である。

非線形圧縮器 9 1によって、 非線形変換により Lビッ トから M ビッ トへ圧縮変換された画像データが A D R C圧縮器 9 2に入力 される。 A D R C圧縮器 9 2は、 画像情報 P I 4に基づいて設定 された量子化テーブル T B 4を使用して最終的に Nビッ ト （例え ば N = 1 0 ) に圧縮された画像データを出力する。 圧縮された画 像データがパッキング部 9 3に入力され、 画像メモリのパス幅に 詰め込みされた上で、 画像メモリ 7に格納される。

次に、 第 1 3図を参照して Nビッ トから Lビッ トへの伸張時の 処理を説明する。 伸張処理は、 上述した圧縮処理と逆の順序でな される処理である。 伸張処理も圧縮処理と同様に、 3原色成分の 各色信号ごとになされる。 画像メモリ 7に格納されていた画像デ 一夕が読み出され、 デパッキング部 9 5に入力される。 バス幅に 多重化されていた圧縮データがデパッキング部 9 5によって Nビ ッ トの画像データに戻され、 A D R C伸張器 9 6に入力される。

A D R C伸張器 9 6が量子化テーブル T B 4と対の逆変換テー ブル T B 1 4を使用して Nビッ トから Mビッ トへの伸張を行う。 伸張後の画像データは、 非線形変換を用いた伸張器 9 7に入力さ れる。 伸張器 9 7は、 圧縮器 9 1で選択された圧縮変換テ一ブル T B 3と対の逆圧縮テーブル T B 1 3に従って画像デ一夕を元の ビッ ト数である Lビッ トに伸張する。 非線形変換を用いた伸張器 9 7からの Lビッ トの各色成分の原画像データが信号処理部 2 1 (第 2図参照） に供給され、 デジタルクランプ、 ホワイ トバラン ス、 ガンマ補正、 補間演算、 フィル夕演算、 マトリクス演算、 輝 度生成演算、 色生成演算等のデジタル信号処理によって輝度およ び色差信号からなる画像信号が生成される。

非線形変換を用いた圧縮器 9 1は、 上述した第 5図の構成を使 用でき、 非線形変換を用いた伸張器 9 7は、 上述した第 6図の構 成を使用できる。

A D Cは、 空間的または時間的に近接した複数の画素が相関 を有していることに着目し、 レベル方向に圧縮を行うものである 。 第 1 4図は、 A D R C圧縮器 9 1の一例を示す。 各画素が Mビ ッ 卜の画像データ （一つの色成分のデータ） がブロック化回路 1 0 1に供給され、 複数の画素からなる 2次元領域であるブロック に分割される。 ダイナミックレンジ （D R ) 検出回路 1 0 2が各 ブロックの画素の最大値 M A Xと最小値 M I Nを検出し、 M A X —M I Nによってダイナミックレンジ D Rを検出する。

減算器 1 0 3において、 各画素の値から最小値 M I Nが減算さ れる。 減算器 1 0 3に供給されるデータを検出回路 1 0 2が検出 に要する時間遅延させるようにしても良い。 減算器 1 0 3によつ てブロック内のデータが正規化される。 減算器 1 0 3の出力デー 夕が量子化器 1 0 4に供給される。 量子化器 1 0 4では、 量子化テ一ブル T B 4とダイナミックレ ンジ D Rとを使用して量子化を行い、 Nビッ トのコ一ド D Tを出 力する。 線形量子化を行うと仮定した場合では、 ダイナミックレ ンジ D Rを 1ノ 2 ^Nした量子化ステツプ Δを生成し、 量子化ステ ップ△で最小値除去後のデータを除算することで量子化を行う。 ここでは、 量子化器 1 0 4が例えば一実施形態における D P C M 圧縮器 4 2の量子化テーブルと同様の量子化テーブル T B 4によ つて非線形量子化を行い、 その量子化特性が画像の特徴例えば一 実施形態におけるレベル分布のヒストグラムに応じて変更される 。

例えば量子化ステツプ Δを一定とせずに、 最小値除去後のデー 夕のレベルを分割した複数の範囲で量子化ステツプ Δを相違させ る。 すなわち、 最小値除去後のデータのレベルが小さい範囲では 、 量子化ステップが小さくされ、 そのレベルが大きい範囲では、 量子化ステップが大きくされる。 このような量子化ステップの制 御が一定ではなく、 レベル分布のヒストグラムに応じて変化され る。

ダイナミックレンジ D R、 最小値 M I N、 コ ド D Tおよび量 子化テーブル T B 4を示す情報 （図示しない） がパッキング部 9 3によってパッキングされ、 画像メモリ 7に対して書き込まれる 。 量子化テーブル T B 4を示す情報は、 マイクロコンピュータ 1 0において保持されるようにしても良い。

画像メモリ 7から読み出されたデータがデパッキング部 9 5で デパッキングされ、 逆量子化器 1 1 2に対してダイナミックレン ジ D Rおよびコード D Tが供給される。 逆量子化器 1 1 2には、 量子化テーブル T B 4と対をなす逆変換テーブル T B 1 4も供給 される。 量子化テーブル T B 4を使用して量子化したことを示す 情報から逆変換テーブル T B 1 4が特定される。

逆量子化器 1 1 2が逆変換テーブル T B 1 4にしたがってコ一 ド D Tを代表値へ変換する。 線形量子化を仮定した場合には、 ダ イナミックレンジ D Rから量子化ステップ Δが求められ、 コード D Tの値に量子化ステツプ Δを乗じることで代表値が得られる。 逆変換テーブル T B 1 4によって規定される量子化ステツプ Δを 使用して代表値が計算される。

A D R C処理は、 ブロック単位で独立して量子化を行うので、 ブロック内の相関が高い場合、 すなわち、 ダイナミックレンジ D Rが小さい場合には高い圧縮率が得られるが、 ブロック内の相関 が低い場合、 すなわち、 ダイナミックレンジ D Rが大きい場合に は、 ブロック間の量子化の相違がブロック歪みとして生じるおそ れがある。 一方、 非線形変換を用いた圧縮処理は、 構成を簡略と できる反面、 圧縮率を高くするほど下位ビッ トの情報が欠落し、 ソラリゼーション等の視覚的に見苦しい画質劣化が生じる。

上述したこの発明の他の実施形態においては、 このような異な る圧縮特性を有する圧縮処理を直列に施すことにより、 さらに高 い圧縮率を得ることができ、 また、 圧縮歪みが複数の違った特性 のノイズに分散されることになり、 視覚的に劣化が抑制されたよ うにすることができる。

この発明は、 上述したこの発明の実施形態に限定されるもので は無く、 この発明の要旨を逸脱しない範囲内で様々な変形や応用 が可能である。 例えばこの発明は、 直列に接続した各圧縮器が圧 縮するビッ ト数を固定としている。 例えば初段で Lビッ トから M ビッ トに圧縮し、 2段目で Mビッ トから Nビッ トに圧縮している 。 しかしながら、 圧縮される （L — N ) ビッ トの各圧縮器に対す る割り振りを処理の対象の画像の特徴に適応して変化させるよう にしても良い。

また、 色信号の各色成分別に圧縮器 Z伸張器を設けているが、 回路削減のために、 全ての色成分を多重化して時分割処理をする ことも可能である。 撮像素子が 4色以上のカラ一フィルタを有す る場合に対しても適用できる。 また、 この発明は、 色成分全てに 対して、 同じビッ ト配分を行っているが、 配列の偏りに応じてビ ッ トの配分、 すなわち圧縮率を変えることにより、 更に高い圧縮 率を期待できる。 更に、 後段で行う信号処理の色成分ごとの重み やカラ一フィル夕の配列条件に応じて、 色別に異なるビッ ト数に 配分するようにしても良い。

また、 この発明はモニタリング時の静止画キヤプチャ時だけで なく、 動画記録中に静止画をキヤプチヤする際にも適用できる。

さらに、 この発明の一実施形態および他の実施形態における処 理手段は、 これら一連の手段をステツプとして有する方法として 捉えなくてもよく、 また、 これら一連の手段をコンピュータに実 行させるためのプログラム乃至そのプログラムを記憶する記録媒 体と捉えても良い。

Claims

請 求 の 範 囲

1 . 撮像素子によって撮像された原画像データを圧縮する画像デ

—夕処理装置において、

カラーフィルタの同色成分の信号を取り出す手段と、 上記同色成分に分離されたそれぞれの画像データに対して、 各 画素を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1の圧縮処理 を行う第 1の圧縮手段と、

上記第 1の圧縮手段と直列に接続され、 上記第 1の圧縮処理と 発生する歪みの特性が異なる第 2の圧縮処理を行い、 各画素を M ビッ トから N (< M ) ビッ トへ圧縮する第 2の圧縮手段と、 上記第 2の圧縮手段からの圧縮後のデータを保持する画像メモ Uと、

上記第 2の圧縮処理の逆の処理である第 2の伸張処理によって 、 上記画像メモリに保持されたデータの各画素を Nビッ トから M ピッ トへ伸張する第 2の伸張手段と、

上記第 2の伸張手段と直列に接続され、 上記第 1の圧縮処理の 逆の処理である第 1の伸張処理によって上記第 2の伸張手段の出 力データの各画素を Mビッ 卜から Lビッ トへ伸張する第 1の伸張 手段と、

上記第 1の伸張手段からの画像データに対してガンマ補正を含 む信号処理を行う信号処理手段と

を備える画像データ処理装置。

2 . 請求の範囲第 1項において、

上記第 1および第 2の圧縮手段のそれぞれの圧縮処理を行う際 に、 画像と圧縮方法に適した圧縮変換規則を決定するために必要 な画像情報を抽出する第 1および第 2の画像情報抽出手段と、 抽出された上記画像情報に応じて上記第 1および第 2の圧縮手 段における上記圧縮変換規則を設定する圧縮変換規則設定手段と 上記第 1および第 2の伸張手段においてそれぞれ伸張変換規則 を設定する伸張規則設定手段とを有する画像データ処理装置。

3 . 請求の範囲第 2項において、

上記圧縮変換規則が上記第 1および第 2の圧縮手段のそれぞれ の変換特性であり、

上記伸張変換規則が上記第 1および第 2の伸張手段のそれぞれ の逆変換特性である画像データ処理装置。

4 . 請求の範囲第 2項において、

上記圧縮変換規則が上記第 1および第 2の圧縮手段のそれぞれ に割り振られる圧縮配分であり、

上記伸張変換規則が上記第 1および第 2の伸張手段のそれぞれ に割り振られる伸張配分である画像データ処理装置。

5 . 撮像素子によって撮像された原画像データを圧縮する画像デ 一夕処理方法において、

カラーフィルタの同色成分の信号を取り出すステップと、 上記同色成分に分離されたそれぞれの画像データに対して、 各 画素を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1の圧縮処理 を行う第 1の圧縮ステツプと、

上記第 1の圧縮ステツプ後に、 上記第 1の圧縮処理と発生する 歪みの特性が異なる第 2の圧縮処理を行い、 各画素を Mピッ 卜か ら N ( < M ) ビッ トへ圧縮する第 2の圧縮ステップと、

上記第 2の圧縮ステツプからの圧縮後のデ一夕を画像メモリに 保持するステツプと、 上記第 2の圧縮処理の逆の処理である第 2の伸張処理によって 、 上記画像メモリに保持されたデータの各画素を Nビッ トから M ビッ トへ伸張する第 2の伸張ステツプと、

上記第 2の伸張ステップ後に、 上記第 1の圧縮処理の逆の処理 である第 1の伸張処理によって上記第 2の伸張ステツプで伸張さ れたデ一夕の各画素を Mビッ トから Lビッ トへ伸張する第 1の伸 張ステップと、

上記第 1の伸張ステツプで伸張された画像データに対してガン マ補正を含む信号処理を行う信号処理ステツプと

からなる画像データ処理方法。

6 . 撮像素子のカラーフィル夕の同色成分の信号を取り出すステ ップと、

上記同色成分に分離されたそれぞれの画像データに対して、 各 画素を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1の圧縮処理 を行う第 1の圧縮ステツプと、

上記第 1の圧縮ステツプ.後に、 上記第 1の圧縮処理と発生する 歪みの特性が異なる第 2の圧縮処理を行い、 各画素を Mビッ トか ら N ( < M ) ビッ トへ圧縮する第 2の圧縮ステップと、

上記第 2の圧縮ステツプからの圧縮後のデータを画像メモリに 保持するステップと、

上記第 2の圧縮処理の逆の処理である第 2の伸張処理によって 、 上記画像メモリに保持されたデータの各画素を Nビッ トから M ビッ トへ伸張する第 2の伸張ステップと、

上記第 2の伸張ステップ後に、 上記第 1の圧縮処理の逆の処理 である第 1の伸張処理によって上記第 2の伸張ステツプで伸張さ れたデータの各画素を Mビッ トから Lビッ トへ伸張する第 1の伸 張ステップと、

上記第 1の伸張ステツプで伸張された画像データに対してガン マ補正を含む信号処理を行う信号処理ステツプと

からなる ia像データ処理方法をコンピュー夕に実行させるプロ グラム。