JP4385841B2

JP4385841B2 - 画像処理装置

Info

Publication number: JP4385841B2
Application number: JP2004126382A
Authority: JP
Inventors: 未希子濱; 猛原野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-04-22
Filing date: 2004-04-22
Publication date: 2009-12-16
Anticipated expiration: 2024-04-22
Also published as: US20070196023A1; EP1744541A4; KR20070012668A; CN100592758C; TWI288360B; TW200606752A; US8538174B2; EP1744541A1; CN1943221A; JP2005311743A; KR101120206B1; WO2005104526A1

Description

本発明は、画像処理装置に関し、特にデジタルスチルカメラなどの画像撮像装置において撮像された画像を処理する画像処理装置、ならびにそのような画像処理装置を含む画像撮像装置、およびこれらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

デジタルスチルカメラなどの画像撮像装置では、シャッターの押下に応答して、静止画の取込み（キャプチャ）が行われる。撮像された原画像データは撮像信号処理やエンコード処理などの内部信号処理が施されて、例えば着脱可能な記録媒体に記録される。その際、撮像された原画像データは、内部信号処理が施される前に一旦、画像メモリに保持される。この画像メモリはＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）等で構成されるが、近年の高画素化に伴って、より大規模な容量を必要とするようになっており、ハードウェアコストや消費電力の大きさが問題となっている。

そのため、従来の画像撮像装置では、撮像された原画像データを圧縮した上で画像メモリに格納しておいて、この画像メモリから読み出されたデータを再び伸張してからその後の処理を行うようにしていた。例えば、近傍２画素の差分値に対して２値算術符号化やハフマン符号化などのエントロピー符号化処理を施すことによって、原画像データを圧縮する画像処理回路が提案されている（例えば、特許文献１参照。）。
特開２００２−１１１９８９号公報（図３）

上述の従来技術では、近傍の画素間における相関を利用して原画像データを圧縮することにより、画像メモリに格納すべきデータを削減している。画素間の相関を求めるためにはハードウェアもしくはソフトウェアによる処理を行うことになるが、前者による場合にはエントロピー符号化処理用回路を別途用意する必要があり、後者による場合には高画素化に伴って処理時間が長くなるという問題を生じる。

そこで、本発明は、より簡易な圧縮伸張手法によって画像メモリの所要容量を削減することを目的とする。

上記課題を解決するために本発明の請求項１記載の画像処理装置は、撮像素子によって撮像された原画像データの変換規則を保持する変換規則保持手段と、上記原画像データに関する輝度情報を抽出する輝度抽出手段と、上記輝度情報に基づいて上記変換規則を設定して上記変換規則保持手段に保持させる変換規則設定手段と、上記変換規則保持手段に保持された上記変換規則に従って上記原画像データを変換する画像変換手段とを具備する。これにより、原画像データに関する輝度情報に基づいて原画像データを適応的に変換させるという作用をもたらす。

また、本発明の請求項２記載の画像処理装置は、撮像素子によって撮像された原画像データの圧縮変換規則を保持する圧縮変換規則保持手段と、上記原画像データに関する輝度情報を抽出する輝度抽出手段と、上記輝度情報に応じて上記圧縮変換規則保持手段における上記圧縮変換規則を設定する圧縮変換規則設定手段と、上記圧縮変換規則保持手段に保持された上記圧縮変換規則に従って上記原画像データを圧縮画像データに圧縮する画像圧縮手段と、上記圧縮画像データを上記圧縮変換規則の種別と併せて保持する画像メモリと、上記圧縮画像データの伸張変換規則を保持する伸張変換規則保持手段と、上記画像メモリに保持された上記種別を抽出してその種別に基づいて上記伸張変換規則保持手段における上記伸張変換規則を設定する伸張変換規則設定手段と、上記伸張変換規則保持手段に保持された上記伸張変換規則に従って上記圧縮画像データを伸張画像データに伸張する画像伸張手段と、上記伸張画像データに対して所定の信号処理を行う信号処理手段とを具備する。これにより、原画像データに関する輝度情報に基づいて原画像データを適応的に変換させて画像メモリに保持した後、画像メモリに保持されていた画像データを伸張した上で信号処理を施すという作用をもたらす。

また、本発明の請求項３記載の画像処理装置は、請求項２記載の画像処理装置において、上記圧縮変換規則保持手段が、上記圧縮変換規則を固定して保持する固定領域と、上記圧縮変換規則設定手段によって上記輝度情報に応じて設定される可変領域とを備えるものである。これにより、可変領域においては原画像データに関する輝度情報に基づいて原画像データを適応的に変換させ、その一方で固定領域においては圧縮変換規則の設定し直しを不要にするという作用をもたらす。

また、本発明の請求項４記載の画像処理装置は、請求項３記載の画像処理装置において、上記圧縮変換規則保持手段の上記可変領域に対するポインタを保持するポインタ保持手段と、上記輝度情報に応じて上記圧縮変換規則の種別を判定して上記ポインタを設定する判定手段とをさらに具備する。これにより、原画像データに関する輝度情報に基づいて判定された圧縮変換規則の種別に対応したポインタを使用して可変領域をアクセス可能にするという作用をもたらす。

また、本発明の請求項５記載の画像処理装置は、請求項２記載の画像処理装置において、上記伸張変換規則保持手段が、上記伸張変換規則を固定して保持する固定領域と、上記伸張変換規則設定手段によって上記圧縮変換規則の種別に基づいて設定される可変領域とを備えるものである。これにより、可変領域においては圧縮時に適応的に変換された画像データを伸張させ、その一方で固定領域においては伸張変換規則の設定し直しを不要にするという作用をもたらす。

また、本発明の請求項６記載の画像処理装置は、請求項５記載の画像処理装置において、上記伸張変換規則保持手段の上記可変領域に対するポインタを保持するポインタ保持手段をさらに具備し、上記画像メモリに保持された上記種別に基づいて上記ポインタを設定するものである。これにより、画像メモリに保持された圧縮変換規則の種別に対応したポインタを使用して可変領域をアクセス可能にするという作用をもたらす。

また、本発明の請求項７記載の画像処理装置は、請求項２記載の画像処理装置において、上記圧縮変換規則設定手段が、上記撮像素子におけるブランキング期間内に上記圧縮変換規則を設定するものである。これにより、撮像素子によって有効画像が撮像されていない期間を利用して圧縮変換規則の設定が行われるという作用をもたらす。

また、本発明の請求項８記載の画像処理装置は、請求項２記載の画像処理装置において、上記圧縮変換規則設定手段が、画像フレームを単位として上記圧縮変換規則を設定するものである。これにより、画像フレーム毎にその画像フレームに適した圧縮変換規則によって圧縮変換を実現するという作用をもたらす。

また、本発明の請求項９記載の画像処理装置は、請求項２記載の画像処理装置において、上記圧縮変換規則設定手段が、所定の画像ブロックを単位として上記圧縮変換規則を設定するものである。これにより、画像ブロック毎にその画像ブロックに適した圧縮変換規則によって圧縮変換を実現するという作用をもたらす。

また、本発明の請求項１０記載の画像処理装置は、請求項２記載の画像処理装置において、上記画像圧縮手段が、上記圧縮変換規則保持手段に保持された上記圧縮変換規則に対して所定の補間を施して上記原画像データを圧縮するものである。これにより、圧縮変換規則保持手段に保持される圧縮変換規則の容量を削減するという作用をもたらす。

また、本発明の請求項１１記載の画像処理装置は、請求項２記載の画像処理装置において、上記画像伸張手段が、上記伸張変換規則保持手段に保持された上記伸張変換規則に対して所定の補間を施して上記圧縮画像データを伸張するものである。これにより、伸張変換規則保持手段に保持される伸張変換規則の容量を削減するという作用をもたらす。

また、本発明の請求項１２記載の画像撮像装置は、画像を撮像する撮像手段と、上記撮像された画像を原画像データに変換するフロントエンドと、上記原画像データの圧縮変換規則を保持する圧縮変換規則保持手段と、上記原画像データに関する輝度情報を抽出する輝度抽出手段と、上記輝度情報に応じて上記圧縮変換規則保持手段における上記圧縮変換規則を設定する圧縮変換規則設定手段と、上記圧縮変換規則保持手段に保持された上記圧縮変換規則に従って上記原画像データを圧縮画像データに圧縮する画像圧縮手段と、上記画像圧縮データを上記圧縮変換規則の種別と併せて保持する画像メモリと、上記画像圧縮データの伸張変換規則を保持する伸張変換規則保持手段と、上記画像メモリに保持された上記種別を抽出してその種別に基づいて上記伸張変換規則保持手段における上記伸張変換規則を設定する伸張変換規則設定手段と、上記伸張変換規則保持手段に保持された上記伸張変換規則に従って上記圧縮画像データを伸張画像データに伸張する画像伸張手段と、上記伸張画像データに対して所定の信号処理を行う信号処理手段と、上記信号処理の施された画像データを記録媒体に保持させる画像記録手段とを具備する。これにより、原画像データに関する輝度情報に基づいて原画像データを適応的に変換させて画像メモリに保持した後、画像メモリに保持されていた画像データを伸張した上で信号処理を施して記録媒体に保持させるという作用をもたらす。

また、本発明の請求項１３記載の画像処理方法は、撮像素子によって撮像された原画像データの圧縮変換規則を保持する圧縮変換規則保持手段と、上記原画像データを圧縮した圧縮画像データを保持する画像メモリと、上記圧縮画像データの伸張変換規則を保持する伸張変換規則保持手段とを備える画像処理装置において、上記原画像データに関する輝度情報を抽出する手順と、上記輝度情報に応じて上記圧縮変換規則保持手段における上記圧縮変換規則を設定する手順と、上記圧縮変換規則保持手段に保持された上記圧縮変換規則に従って上記原画像データを上記圧縮画像データに圧縮する手順と、上記圧縮画像データを上記圧縮変換規則の種別と併せて上記画像メモリに保存する手順と、上記画像メモリからデータを読み出す手順と、上記読み出されたデータが所定の識別子であれば上記種別を抽出してその種別に基づいて上記伸張変換規則保持手段における上記伸張変換規則を設定する手順と、上記読み出されたデータが上記圧縮画像データであれば上記伸張変換規則保持手段に保持された上記伸張変換規則に従ってその圧縮画像データを伸張画像データに伸張する手順と、上記伸張画像データに対して所定の信号処理を行う手順とを具備する。これにより、原画像データに関する輝度情報に基づいて原画像データを適応的に変換させて画像メモリに保持した後、画像メモリに保持されていた画像データを伸張した上で信号処理を施すという作用をもたらす。

また、本発明の請求項１４記載のプログラムは、撮像素子によって撮像された原画像データの圧縮変換規則を保持する圧縮変換規則保持手段と、上記原画像データを圧縮した圧縮画像データを保持する画像メモリと、上記圧縮画像データの伸張変換規則を保持する伸張変換規則保持手段とを備える画像処理装置において、上記原画像データに関する輝度情報を抽出する手順と、上記輝度情報に応じて上記圧縮変換規則保持手段における上記圧縮変換規則を設定する手順と、上記圧縮変換規則保持手段に保持された上記圧縮変換規則に従って上記原画像データを上記圧縮画像データに圧縮する手順と、上記圧縮画像データを上記圧縮変換規則の種別と併せて上記画像メモリに保存する手順と、上記画像メモリからデータを読み出す手順と、上記読み出されたデータが所定の識別子であれば上記種別を抽出してその種別に基づいて上記伸張変換規則保持手段における上記伸張変換規則を設定する手順と、上記読み出されたデータが上記圧縮画像データであれば上記伸張変換規則保持手段に保持された上記伸張変換規則に従ってその圧縮画像データを伸張画像データに伸張する手順と、上記伸張画像データに対して所定の信号処理を行う手順とをコンピュータに実行させるものである。これにより、原画像データに関する輝度情報に基づいて原画像データを適応的に変換させて画像メモリに保持した後、画像メモリに保持されていた画像データを伸張した上で信号処理を施すという作用をもたらす。

本発明によれば、簡易な圧縮伸張手法によって画像の性質に適応させつつ画像メモリの所要容量を削減するという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像撮像装置３００の一構成例を示す図である。この画像撮像装置３００は、レンズ部３１０と、撮像素子３２０と、タイミング生成器３３０と、フロントエンド３４０と、画像処理器２００と、画像メモリ３６０と、画像モニター３７０と、外部記録媒体３８０と、カメラ制御マイコン３９０とを備えて構成される。

レンズ部３１０は、被写体からの光を集光するものであり、レンズ３１１、絞り部３１２およびシャッター３１３を含む。絞り部３１２は、光が通過する面積を変化させることにより光量を制御する。シャッター３１３は、光の通過を遮断することにより露光を制御する。絞り部３１２がシャッター３１３の機能を兼ね備えるように構成してもよい。これら絞り部３１２およびシャッター３１３は、カメラ制御マイコン３９０により制御される。

撮像素子３２０は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳセンサー（Complementary Metal Oxide Semiconductor sensor）等の画像センサーであり、被写体の光情報を電気信号に変換する。センサー表面には色を識別するために、複数の色フィルタが配置されて構成される。タイミング生成器３３０は、撮像素子３２０を水平および垂直に駆動する。また、タイミング生成器３３０は、高速・低速電子シャッター等の露光制御も行う。このタイミング生成器３３０は、カメラ制御マイコン３９０により制御される。

フロントエンド３４０は、撮像素子３２０から出力されるアナログ信号をデジタル信号に変換する。このフロントエンド３４０の内部では、撮像素子３２０におけるノイズ成分を除去して電気信号を取り出す相関二乗サンプリング、電気信号の高低部分をあるレベルまで補正するゲインコントロール、アナログ信号をデジタル信号に変換するＡ／Ｄコンバートの各処理が行われる。このフロントエンド３４０は、カメラ制御マイコン３９０により制御される。

画像処理器２００は、デジタル信号に変換された撮像素子３２０からの画像データに基づいて各種デジタル信号処理を行い、輝度信号および色信号などを生成する。また、画像処理器２００は、画像データをＪＰＥＧ（Joint Photographic Experts Group）などの所定のファイル形式にエンコードする機能を有する。

画像メモリ３６０は、画像処理器２００における信号処理の際に一時的に画像データを格納するための記憶素子であり、例えばＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）等が利用される。

画像モニター３７０は、撮像素子３２０によって撮像された画像（スルー画像）をユーザが確認するためのモニターであり、例えばＬＣＤパネル（Liquid Crystal Display panel）等が利用される。外部記録媒体３８０は、画像データを格納するための記録媒体であり、書換え可能な不揮発性メモリとしてフラッシュメモリが用いられることが多い。

カメラ制御マイコン３９０は、画像撮像装置３００全体の制御を行うマイクロコンピュータであり、絞り部３１２による露光制御、シャッター３１３の開閉制御、タイミング生成器３３０における電子シャッター制御、フロントエンド３４０におけるゲインコントロール、画像処理器２００における各種モード制御やパラメータ制御等を行う。

図２は、本発明の実施の形態における画像処理器２００の一構成例を示す図である。この画像処理器２００は、信号処理器２１０と、画像検波器２２０と、画像圧縮器２３０と、画像伸張器２４０と、メモリコントローラ２５０と、メモリインターフェース２６０と、モニターインターフェース２７０と、制御インターフェース２９０とを備える。また、これら各部はデータバス２８１および制御バス２８２によって相互に接続されている。

信号処理器２１０は、フロントエンド３４０においてデジタル化された原画像情報（ＲＡＷデータ）に基づいて、デジタルクランプ、ホワイトバランス、ガンマ補正、補間演算、フィルタ演算、マトリクス演算、輝度生成演算、色生成演算等のデジタル信号処理を行い、ＲＧＢ値を作り出した後で輝度および色差信号からなる画像信号を生成する。また、信号処理器２１０は、ＪＰＥＧなどの所定のファイル形式にエンコードした画像データを生成する。

画像検波器２２０は、各種カメラ制御の基準となるカメラ撮影画像の検波処理を行う。この画像検波器２２０が検出する検波信号としては、例えばオートフォーカス（ＡＦ：Auto Focus）に関する検波信号や自動露出制御（ＡＥ：Auto Exposure）に関する検波信号等がある。画像検波器２２０は、オートフォーカスに関する検波信号として、撮像画像上の所定の位置に設定されたオートフォーカス検波エリア内における輝度のエッジ成分を検出し、そのエッジ成分を積算して得られるコントラスト値を出力する。また、画像検波器２２０は、自動露出制御に関する検波信号として、撮像画面上の所定の位置に設定された輝度の検波エリアの輝度を検出し、その輝度レベルを出力する。

画像圧縮器２３０は、静止画の取込み（キャプチャ）の際にフロントエンド３４０からのキャプチャ画像を圧縮する。この圧縮された画像データはメモリコントローラ２５０やメモリインターフェース２６０を介して画像メモリ３６０に一旦保持される。一方、画像伸張器２４０は、信号処理器２１０における信号処理のために画像メモリ３６０から読み出された画像データを伸張する。

メモリコントローラ２５０は、画像処理器２００内の各部間または各部と画像メモリ３６０との間での画像データの受け渡しやデータの流れるデータバス２８１を制御する。メモリインターフェース２６０は、画像処理器２００における信号処理の際に用いられる画像メモリ３６０との間で画像データや圧縮されたデータの受け渡しを行う。モニターインターフェース２７０は、画像データを画像モニター３７０に表示するために各種表示フォーマットに変換する。例えば、ＮＴＳＣモニターに表示するためのＮＴＳＣエンコーダ等が知られている。制御インターフェース２９０は、画像処理器２００を制御するカメラ制御マイコン３９０と画像処理器２００との間の制御データや画像データの受け渡しを行う。

図３は、本発明の実施の形態における画像処理装置の機能構成の一例を示す図である。この画像処理装置は、輝度抽出部１１０と、圧縮変換規則設定部１２０と、圧縮変換テーブル１３０と、画像圧縮部１４０と、画像メモリ１５０と、伸張変換規則設定部１６０と、伸張変換テーブル１７０と、画像伸張部１８０と、信号処理部１９０という各機能を備えている。この画像処理装置は、例えば図２の画像処理器２００として実現される。但し、画像メモリ１５０は、例えば図１の画像メモリ３６０として実現される。

輝度抽出部１１０は、フロントエンド３４０からの原画像データに関して輝度情報を抽出する。この輝度抽出部１１０は、例えば図２の画像検波器２２０のように自動露出制御のために使用される機能を流用することができる。

圧縮変換規則設定部１２０は、輝度抽出部１１０によって抽出された輝度情報に基づいて圧縮変換規則を圧縮変換テーブル１３０に設定する。この圧縮変換規則は、後述のように圧縮変換前後のデータ対によって表される。圧縮変換テーブル１３０は、この圧縮変換規則を保持して、画像圧縮部１４０による圧縮変換のために供される。画像圧縮部１４０は、この圧縮変換テーブル１３０に保持された圧縮変換規則に従って原画像データを圧縮変換した上で画像メモリ１５０に格納する。このとき、後述のように圧縮変換に用いられた圧縮変換規則の種別が画像メモリ１５０に格納される。なお、圧縮変換テーブル１３０および画像圧縮部１４０は例えば画像圧縮器２３０により実現されるが、圧縮変換規則設定部１２０は例えば画像圧縮器２３０またはカメラ制御マイコン３９０により実現することができる。

伸張変換規則設定部１６０は、画像メモリ１５０に格納された圧縮変換規則の種別を抽出して、その種別に基づいて伸張変換規則を伸張変換テーブル１７０に設定する。この伸張変換規則は、後述のように伸張変換前後のデータ対によって表される。伸張変換テーブル１７０は、この伸張変換規則を保持して、画像伸張部１８０による伸張変換のために供される。画像伸張部１８０は、この伸張変換テーブル１７０に保持された伸張変換規則に従って、画像メモリ１５０に格納された画像データを伸張する。なお、伸張変換テーブル１７０および画像伸張部１８０は例えば画像伸張器２４０により実現されるが、伸張変換規則設定部１６０は例えば画像伸張器２４０またはカメラ制御マイコン３９０により実現することができる。

信号処理部１９０は、画像伸張部１８０によって伸張された画像データに対して各種のデジタル信号処理を施して画像信号を生成する。この生成された画像信号は、例えばＪＰＥＧなどの所定のファイル形式により外部記録媒体３８０に記録される。なお、この信号処理部１９０は例えば信号処理器２１０により実現することができる。

図４は、本発明の実施の形態における圧縮変換テーブル１３０の一構成例を示す図である。この圧縮変換テーブル１３０は、変換前データ１３１および変換後データ１３２の変換対の集合を圧縮変換規則として保持する。画像圧縮部１４０は、この圧縮変換テーブル１３０における変換対を参照して変換前データ１３１から変換後データ１３２への圧縮変換を行う。なお、この図４では、１４ビットの変換前データ１３１を８ビットの変換後データ１３２に変換する例が示されているが、これに限られず所望のビット幅による圧縮変換を行うことができる。

この圧縮変換テーブル１３０は、固定領域と可変領域とに分類することができる。固定領域においては、各変換対は固定されており、画像撮像の過程において書き換えられないように構成されている。一方、可変領域においては、各変換対は固定されておらず、圧縮変換規則設定部１２０によって適宜設定し直され得るように構成されている。

なお、変換後データ１３２においては、割り当てられない符号（図４の例では「１１１１１１１１」）を確保しておくことにより、後述のようにその符号を識別子として利用することができる。

なお、図４においては圧縮変換テーブル１３０の構成例を示したが、伸張変換テーブル１７０についても対応関係が反対になるだけで、同様の構成を採用することができる。すなわち、画像圧縮部１４０では圧縮変換テーブル１３０におけるビット幅の広い変換前データ１３１からビット幅の狭い変換後データ１３２への圧縮変換を行うことを想定しているが、画像伸張部１８０では伸張変換テーブル１７０におけるビット幅の狭いデータ（圧縮変換テーブル１３０における変換後データ１３２）からビット幅の広いデータ（圧縮変換テーブル１３０における変換前データ１３１）への変換を行うことにより伸張変換が実現される。

図５は、本発明の実施の形態における圧縮変換テーブル１３０により示される圧縮変換規則の概要を示す図である。この圧縮変換規則の横軸は変換前データ１３１を示し、縦軸は変換後データ１３２を示している。

この圧縮変換規則においては、図４で説明したとおり、固定領域および可変領域が示されている。固定領域においては変換対が一意に規定されるが、可変領域においては複数の変換カーブが規定される。例えば、３種類の変換カーブＡ（４０１）、Ｂ（４０２）、Ｃ（４０３）が圧縮変換規則の種別として規定されている場合、輝度抽出部１１０により抽出された輝度が低輝度であれば変換カーブＡ（４０１）が採用され、中程度の輝度であれば変換カーブＢ（４０２）が採用され、高輝度であれば変換カーブＣ（４０３）が採用される。すなわち、抽出された輝度に対して適応的に圧縮変換規則の種別が選択されて、その選択された圧縮変換規則が圧縮変換テーブル１３０に設定される。

なお、これら変換カーブは、輝度情報に応じて適応的に変化されるものの、基本的には後段の信号処理器２１０で用いられるγカーブ（ガンマ曲線）に似ていることが好ましい。

図６は、本発明の実施の形態における圧縮変換テーブル１３０により示される圧縮変換規則の具体例を示す図である。ここでは、説明を簡略化するため、４ビットの変換前データ１３１を３ビットの変換後データ１３２に変換する例を示している。すなわち、この例は、１６階調の画像データが８階調の画像データに圧縮変換される。

図６（ａ）は、比較的低輝度の場合の圧縮変換規則を示している。この圧縮変換規則では、変換前の１６階調のうち低い部分に対して重点的に変換後の符号ビットが割り当てられている。これは、特に輝度が低い場合には、階調の低い部分について人間の眼の感度が敏感であるという性質を利用したものである。

これに対して、図６（ｂ）は、比較的高輝度の場合の圧縮変換規則を示している。この圧縮変換規則では、変換前の１６階調のうち低い部分に対して比較的多くの変換後の符号ビットが割り当てられているが、図６（ａ）の場合と比べると変換前の１６階調のうち高い部分に対しても変換後の符号ビットが割り当てられている。これは、輝度が高い場合には、輝度が低い場合に比べて人間の眼の感度が鈍感になってくるという性質を利用したものである。

これら符号ビットの割当て方法の相違が、図５のような変換カーブの種別（４０１乃至４０３）の違いに反映される。すなわち、図６（ａ）のように変換前の低い階調に対して重点的に変換後の符号ビットを割り当てた場合には、図５の変換カーブＡ（４０１）のように角度の大きい立ち上がったカーブを描く。一方、図６（ｂ）のように変換前の高い階調に対しても変換後の符号ビットを割り当てた場合には、図５の変換カーブＣ（４０３）のように角度の小さい立ち下がったカーブを描く。

図７は、本発明の実施の形態における圧縮変換規則設定部１２０による変換カーブの選択基準の一例を示す図である。この選択基準の横軸は輝度抽出部１１０によって抽出された輝度情報を示し、縦軸は選択すべき変換カーブの種別を示している。

選択基準としてグラフ４１１を採用した場合、この例では輝度情報として「９０」および「１８０」が変換カーブ選択のための閾値となる。これにより、輝度抽出部１１０によって抽出された輝度情報が「９０」より低い場合には変換カーブＡ（４０１）を選択し、輝度情報が「９０」以上で「１８０」より低い場合には変換カーブＢ（４０２）を選択し、輝度情報が「１８０」以上である場合には変換カーブＣ（４０３）を選択する、といった判断を行うことができる。

また、選択基準としてグラフ４１２を採用した場合、この例では輝度情報として「５０」および「１９０」が変換カーブ選択のための閾値となる。これにより、輝度抽出部１１０によって抽出された輝度情報が「５０」より低い場合には変換カーブＡ（４０１）を選択し、輝度情報が「５０」以上で「１９０」より低い場合には変換カーブＢ（４０２）を選択し、輝度情報が「１９０」以上である場合には変換カーブＣ（４０３）を選択する、といった判断を行うことができる。

なお、図５や図７などでは変換カーブとしてＡ乃至Ｃの３種類を一例として示しているが、これに限られず所望の数の変換カーブを設けることができる。この場合、変換カーブの数に応じて輝度情報の閾値を設けることになる。

図８は、本発明の実施の形態における圧縮変換規則の設定のための構成例を示す図である。この構成例は、圧縮変換テーブル３９１と、テーブルポインタ３９４と、閾値レジスタ３９５と、比較器３９６とを備えている。

圧縮変換テーブル３９１は、固定領域および全ての可変領域Ａ乃至Ｃの圧縮変換規則を保持する。可変領域Ａでは変換カーブＡが使用され、可変領域Ｂでは変換カーブＢが使用され、可変領域Ｃでは変換カーブＣが使用されるものとする。これら固定領域および全ての可変領域Ａ乃至Ｃのそれぞれの先頭位置はテーブルポインタ３９４により指し示される。そして、可変領域Ａ乃至Ｃについては、テーブルポインタ３９４の中から一つが選択されて、圧縮変換テーブル３９１における先頭位置が特定される。

閾値レジスタ３９５には、変換カーブ選択のための閾値が予め設定される。例えば、図７のグラフ４１１を選択基準として想定した場合には、輝度情報として「９０」および「１８０」を閾値レジスタ３９５に保持させる。比較器３９６は、輝度抽出部１１０において抽出された輝度情報と閾値レジスタ３９５に保持された閾値とを比較して、何れの変換カーブを選択すべきか、すなわち何れの可変領域の圧縮変換規則を使用すべきかを判断する。この判断結果は、圧縮変換規則の種別（変換種別）として出力される。

このような圧縮変換規則の設定のための構成は、例えば、図１のカメラ制御マイコン３９０により実現することができる。この場合、図２の画像検波器２２０により抽出された輝度情報は制御バス２８２を介して制御インターフェース２９０に伝えられ、この制御インターフェース２９０から比較器３９６の一方の入力に供給される。そして、圧縮変換テーブル３９１から出力された変換対は再び制御インターフェース２９０に伝えられ、制御バス２８２を介して画像圧縮器２３０内の圧縮変換テーブル１３０に設定される。これにより、画像圧縮器２３０における圧縮変換が可能となる。なお、固定領域については、画像圧縮器２３０の内部のＲＯＭに格納しておくか、または撮像前に画像圧縮器２３０に転送しておけばよく、輝度情報に応じて変換対を供給する必要はない。

また、この圧縮変換規則の設定のための構成は、例えば、図２の画像処理器２００の内部に設けることも可能である。すなわち、カメラ制御マイコン３９０から変換対を供給する代わりに、全ての変換対を画像圧縮器２３０に保持しておいて、画像検波器２２０によって抽出された輝度情報に基づいて圧縮変換テーブル３９１の使用すべき領域を切り替えることが考えられる。

図９は、本発明の実施の形態における伸張変換規則の設定のための構成例を示す図である。この構成例は、伸張変換テーブル３９８およびテーブルポインタ３９７を備えている。

伸張変換テーブル３９８は、図８の圧縮変換テーブル３９１と同様に、固定領域および全ての可変領域Ａ乃至Ｃの圧縮変換規則を保持する。これら固定領域および全ての可変領域Ａ乃至Ｃのそれぞれの先頭位置はテーブルポインタ３９７により指し示される。そして、可変領域Ａ乃至Ｃについては、テーブルポインタ３９７の中から一つが選択されて、伸張変換テーブル３９８における先頭位置が特定される。このテーブルポインタ３９７の選択は、画像メモリ３６０から抽出された圧縮変換規則の種別（変換種別）に基づいて行われる。

このような伸張変換規則の設定のための構成は、例えば、図１のカメラ制御マイコン３９０により実現することができる。この場合、画像メモリ３６０から抽出された変換種別は、メモリインターフェース２６０を介してメモリコントローラ２５０に転送され、制御バス２８２から制御インターフェース２９０を介してテーブルポインタ３９７に供給される。そして、伸張変換テーブル３９８から出力された変換対は再び制御インターフェース２９０に伝えられ、制御バス２８２を介して画像伸張器２４０内の伸張変換テーブル１７０に設定される。これにより、画像伸張器２４０における伸張変換が可能となる。

また、この伸張変換規則の設定のための構成は、例えば、図２の画像処理器２００の内部に設けることも可能である。すなわち、カメラ制御マイコン３９０から変換対を供給する代わりに、全ての変換対を画像伸張器２４０に保持しておいて、画像メモリ３６０から抽出された変換種別に基づいて伸張変換テーブル３９８の使用すべき領域を切り替えることが考えられる。

図１０は、本発明の実施の形態における画像メモリ３６０内の格納データ形式の一例を示す図である。この画像メモリ３６０に格納される画像データは、画像圧縮部１４０により圧縮変換された画像データであり、それぞれ例えば８ビット幅を有する。図１０（ａ）のように、各画像データは「００００００００」から「１１１１１１１０」の何れかの値をとる。但し、「１１１１１１１１」は識別子として確保されており、画像データとしては使用されない。換言すれば、格納データの中に識別子「１１１１１１１１」が検出された場合には、その直後に変換種別が格納されていることを意味する。

すなわち、図１０（ｂ）のように、「１１１１１１１１」以外の値が格納されている場合には圧縮された画像データとして認識され、「１１１１１１１１」の値が格納されている場合にはその直後の値（この例では２ビット分）が変換種別として認識される。例えば、この変換種別が「０１」であれば変換カーブＡ、「１０」であれば変換カーブＢ、「１１」であれば変換カーブＣが圧縮変換規則として選択されたことを意味する。

そして、この変換種別が格納されている場合には、それ以降の画像データはその変換種別に基づいて圧縮変換されていることがわかる。従って、そのような画像データを画像伸張部１８０により伸張変換する場合には、その変換種別に基づいて行う必要があることを意味する。

図１１は、本発明の実施の形態における撮像素子３２０の画像フレーム３２１の一例を示す図である。画像フレーム３２１において、有効画像領域３２２は画像フレーム３２１中で有効となる画像領域であり、撮影時の記録画像領域である。この有効画像領域３２２の外側の領域に相当する期間はブランキング期間と呼ばれ、信号処理器２１０における信号処理に費やされる。このブランキング期間は、水平方向のＨブランキング期間３２５および３２６と、垂直方向のＶブランキング期間３２７および３２８とに大別される。

輝度情報は画像検波器２２０によってリアルタイムに検波されており、その輝度情報に基づいて上述のブランキング期間中に圧縮変換テーブル１３０や伸張変換テーブル１７０に対する圧縮変換規則や伸張変換規則の設定が行われる。静止画撮影時にはスルー画像において検波された輝度情報に基づいて、キャプチャ画像のための圧縮変換規則や伸張変換規則の設定が行われる。

この圧縮変換規則や伸張変換規則の設定は、画像フレーム３２１毎に行ってもよく、また、画像フレーム３２１中の一部の画像ブロック３２３毎に行ってもよい。例えば、５００万画素の画像データでは、横３６００画素で縦１９７０ラインといった画像サイズが用いられるが、画像ブロック３２３として２０ライン毎に輝度情報を判断して圧縮変換規則の設定を行うようにしてもよい。屋外での撮影においては一画面中の上から数ラインについては大空などの高輝度領域であることがあるため、このように画像ブロック３２３毎に変換カーブを変化させることが有効な場合が多い。

図１２は、本発明の実施の形態における画像圧縮部１４０の補間処理の一例を示す図である。圧縮変換テーブル１３０は、図５の例のような変換カーブを描くが、必ずしもその全ての点を圧縮変換テーブル１３０内に保持しなくてもよい。例えば、図１２のように離散的な代表点４２１乃至４２４のみを変換対として圧縮変換テーブル１３０に保持しておいて、それ以外については補間処理により求めるようにしてもよい。

この補間処理の例として、変換前データｘが与えられた場合、これに対応する変換後データｙを求めるために、代表点４２１および４２２から線形補間点４２９を算出することが考えられる。ここで、代表点４２１の変換前データをｘ１、変換後データをｙ１とし、代表点４２２の変換前データをｘ２、変換後データをｙ２とすると、線形補間点４２９の変換後データｙは、以下の何れかの式により求められる。
ｙ＝（ｙ２−ｙ１）／（ｘ２−ｘ１）×（ｘ−ｘ２）＋ｙ２
ｙ＝（ｙ２−ｙ１）／（ｘ２−ｘ１）×（ｘ−ｘ１）＋ｙ１

なお、ここでは補間処理の一例として線形補間の例を示したが、これに限られず他の非線形補間によって変換後データを求めるようにしてもよい。また、図１２の例では画像圧縮部１４０における圧縮変換の際の補間処理について示したが、これは画像伸張部１８０における伸張変換の際の補間処理にも同様の手法により適用することができる。

次に本発明の実施の形態における画像撮像装置３００の動作について図面を参照して説明する。

図１３は、本発明の実施の形態における画像撮像装置３００の全体の処理手順の一例を示す図である。画像撮像装置３００の画像モニター３７０には、撮像された画像（スルー画像）が定常的に表示されている（ステップＳ９０１）。そして、（図示しない）シャッターがユーザによって押下されると（ステップＳ９０２）、その際の静止画（キャプチャ画像）が圧縮された上で（ステップＳ９１０）、画像メモリ３６０に格納される。

その後、画像メモリ３６０に格納されたキャプチャ画像データが読み出され、伸張された後に（ステップＳ９２０）、各種の信号処理が施される（ステップＳ９０３）。そして、所定のフォーマット形式にエンコードされた後で、外部記録媒体３８０に記録される（ステップＳ９０４）。

図１４は、本発明の実施の形態におけるキャプチャ画像圧縮処理の処理手順の一例を示す図である。輝度抽出部１１０によって原画像データの輝度情報が抽出されると（ステップＳ９１１）、圧縮変換規則設定部１２０は圧縮変換規則を圧縮変換テーブル１３０に設定する（ステップＳ９１２）。

そして、画像圧縮部１４０は圧縮変換テーブル１３０に設定された圧縮変換規則を参照して、原画像データの圧縮変換を行う（ステップＳ９１３）。このように圧縮された画像データは、使用された圧縮変換規則の種別とともに画像メモリ３６０に保持される（ステップＳ９１４）。

全ての有効な画像データについて処理が終了した場合には、この処理手順を終了する（ステップＳ９１５）。一方、他に有効な画像データが残っている場合には、輝度情報抽出の単位となる画像ブロック内の画像データについて処理が終了したか否かが判断され（ステップＳ９１６）、画像ブロック内の処理が終了していれば輝度情報抽出（ステップＳ９１１）以降の処理を繰り返し、画像ブロック内の処理が終了していなければ残りの画像データについて画像圧縮（ステップＳ９１３）以降の処理を繰り返す。

図１５は、本発明の実施の形態におけるキャプチャ画像伸張処理の処理手順の一例を示す図である。画像メモリ３６０からデータが読み出され（ステップＳ９２１）、その読み出されたデータが識別子（図１０の例では「１１１１１１１１」）であれば（ステップＳ９２２）、それに続く圧縮変換種別が伸張変換規則設定部１６０により抽出され、伸張変換規則が伸張変換テーブル１７０に設定される（ステップＳ９２３）。

一方、読み出されたデータが識別子以外であれば（ステップＳ９２２）、画像伸張部１８０は伸張変換テーブル１７０に設定された伸張変換規則を参照して、圧縮画像データを伸張する（ステップＳ９２４）。そして、全ての有効な画像データについて処理が終了した場合には、この処理手順を終了する（ステップＳ９２５）。

このように、本発明の実施の形態によれば、輝度抽出部１１０によって抽出された輝度情報に基づいて圧縮変換規則設定部１２０によって圧縮変換テーブル１３０に圧縮変換規則を設定しておいて、その圧縮変換規則に従って画像圧縮部１４０が原画像データを圧縮変換した上でその圧縮変換規則の種別とともに画像メモリ１５０に保持することによって、画像メモリ１５０の所要容量を削減することができる。画像メモリ１５０に保持された圧縮変換規則の種別は伸張変換規則設定部１６０によって抽出され、この種別に従って伸張変換規則が伸張変換テーブル１７０に設定される。画像伸張部１８０はこの伸張変換テーブル１７０に設定された伸張変換規則に従って画像メモリ１５０内の圧縮された画像データを伸張する。

これにより、画像品質については、撮像素子３２０で撮像された原画像データを画像圧縮部１４０によって圧縮する際に、スルー画像の情報を用いて圧縮変換規則を適応的に変更させることによって、その原画像データに適した圧縮処理を行うことができ、圧縮による画質劣化を最小限におさえることが可能となる。また、処理速度については、適応的な圧縮を行うために用いるスルー画像の輝度情報を次のフレームの有効画像領域が始まる前に反映することによってリアルタイム性が向上する。さらに、圧縮変換テーブル１３０や伸張変換テーブル１７０を固定領域と可変領域に分けることによって、固定領域については圧縮変換規則または伸張変換規則の設定し直しを不要とし、圧縮および伸長処理の高速化をもたらす。また、これらリアルタイム性の向上や、圧縮および伸長処理の高速化により、例えば連写間隔を短くすることが可能となる。

さらに、メモリ容量やハードウェア規模については、撮像素子３２０で撮像された原画像データを圧縮して画像メモリ１５０に蓄積することにより、チップ面積における画像メモリ１５０が占める割合を減らすことが可能になる。これにより、１枚の静止画撮影時に必要な画像メモリの容量が少なくなるため、例えばデジタルスチルカメラの基本的機能の一つである連写に対して連写枚数を増やすことができる。また、圧縮変換テーブル１３０や伸張変換テーブル１７０において、変換カーブの代表点のみを設定することにより、圧縮および伸長処理のために用いるハードウェア規模を最小限におさえることができる。また、消費電力については、撮像素子３２０で撮像された原画像データを圧縮して画像メモリ１５０に蓄積することで、メモリアクセス量を減らし、メモリアクセスによる消費電力を減らすことができる。そして、メモリアクセスによる消費電力が小さくなることにより、デジタルスチルカメラのバッテリーをより長く持続させることが可能となる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の活用例として、例えばデジタルスチルカメラなどの画像撮像装置における画像メモリ容量を削減するために本発明を適用することができる。

本発明の実施の形態における画像撮像装置３００の一構成例を示す図である。本発明の実施の形態における画像処理器２００の一構成例を示す図である。本発明の実施の形態における画像処理装置の機能構成の一例を示す図である。本発明の実施の形態における圧縮変換テーブル１３０の一構成例を示す図である。本発明の実施の形態における圧縮変換テーブル１３０により示される圧縮変換規則の概要を示す図である。本発明の実施の形態における圧縮変換テーブル１３０により示される圧縮変換規則の具体例を示す図である。本発明の実施の形態における圧縮変換規則設定部１２０による変換カーブの選択基準の一例を示す図である。本発明の実施の形態における圧縮変換規則の設定のための構成例を示す図である。本発明の実施の形態における伸張変換規則の設定のための構成例を示す図である。本発明の実施の形態における画像メモリ３６０内の格納データ形式の一例を示す図である。本発明の実施の形態における撮像素子３２０の画像フレーム３２１の一例を示す図である。本発明の実施の形態における画像圧縮部１４０の補間処理の一例を示す図である。本発明の実施の形態における画像撮像装置３００の全体の処理手順の一例を示す図である。本発明の実施の形態におけるキャプチャ画像圧縮処理の処理手順の一例を示す図である。本発明の実施の形態におけるキャプチャ画像伸張処理の処理手順の一例を示す図である。

符号の説明

１１０輝度抽出部
１２０圧縮変換規則設定部
１３０圧縮変換テーブル
１４０画像圧縮部
１５０画像メモリ
１６０伸張変換規則設定部
１７０伸張変換テーブル
１８０画像伸張部
１９０信号処理部
２００画像処理器
２１０信号処理器
２２０画像検波器
２３０画像圧縮器
２４０画像伸張器
２５０メモリコントローラ
２６０メモリインターフェース
２７０モニターインターフェース
２８１データバス
２８２制御バス
２９０制御インターフェース
３００画像撮像装置
３１０レンズ部
３１１レンズ
３１２絞り部
３１３シャッター
３２０撮像素子
３３０タイミング生成器
３４０フロントエンド
３６０画像メモリ
３７０画像モニター
３８０外部記録媒体
３９０カメラ制御マイコン
３９１圧縮変換テーブル
３９４テーブルポインタ
３９５閾値レジスタ
３９６比較器
３９７テーブルポインタ
３９８伸張変換テーブル

Claims

撮像素子によって撮像された原画像データの圧縮変換規則を保持する圧縮変換規則保持手段と、
前記原画像データに関する輝度情報を抽出する輝度抽出手段と、
前記輝度情報に応じて複数の種別の圧縮変換規則の中から１つを選択して前記圧縮変換規則保持手段に保持させるよう設定する圧縮変換規則設定手段と、
前記圧縮変換規則保持手段に保持された前記圧縮変換規則に従って前記原画像データを圧縮画像データに圧縮する画像圧縮手段と、
前記圧縮画像データを前記圧縮変換規則の種別と併せて保持する画像メモリと、
前記圧縮画像データの伸張変換規則を保持する伸張変換規則保持手段と、
前記画像メモリに保持された前記種別を抽出してその種別に基づいて前記伸張変換規則保持手段における前記伸張変換規則を設定する伸張変換規則設定手段と、
前記伸張変換規則保持手段に保持された前記伸張変換規則に従って前記圧縮画像データを伸張画像データに伸張する画像伸張手段と、
前記伸張画像データに対して所定の信号処理を行う信号処理手段と
を具備し、
前記圧縮変換規則保持手段は、前記圧縮変換規則を固定して保持する固定領域と、前記圧縮変換規則設定手段によって前記輝度情報に応じて設定される可変領域とを備える
画像処理装置。
前記圧縮変換規則保持手段の前記可変領域に対するポインタを保持するポインタ保持手段と、
前記輝度情報に応じて前記圧縮変換規則の種別を判定して前記ポインタを設定する判定手段と
をさらに具備する請求項１記載の画像処理装置。
前記伸張変換規則保持手段は、前記伸張変換規則を固定して保持する固定領域と、前記伸張変換規則設定手段によって前記圧縮変換規則の種別に基づいて設定される可変領域とを備える
請求項１記載の画像処理装置。
前記伸張変換規則保持手段の前記可変領域に対するポインタを保持するポインタ保持手段をさらに具備し、
前記画像メモリに保持された前記種別に基づいて前記ポインタを設定する請求項３記載の画像処理装置。
前記圧縮変換規則設定手段は、前記撮像素子におけるブランキング期間内に前記圧縮変換規則を設定する
請求項１記載の画像処理装置。
前記圧縮変換規則設定手段は、画像フレームを単位として前記圧縮変換規則を設定する
請求項１記載の画像処理装置。
前記圧縮変換規則設定手段は、所定の画像ブロックを単位として前記圧縮変換規則を設定する
請求項１記載の画像処理装置。
前記画像圧縮手段は、前記圧縮変換規則保持手段に保持された前記圧縮変換規則に対して所定の補間を施して前記原画像データを圧縮する
請求項１記載の画像処理装置。
前記画像伸張手段は、前記伸張変換規則保持手段に保持された前記伸張変換規則に対して所定の補間を施して前記圧縮画像データを伸張する
請求項１記載の画像処理装置。
画像を撮像する撮像手段と、
前記撮像された画像を原画像データに変換するフロントエンドと、
前記原画像データの圧縮変換規則を保持する圧縮変換規則保持手段と、
前記原画像データに関する輝度情報を抽出する輝度抽出手段と、
前記輝度情報に応じて複数の種別の圧縮変換規則の中から１つを選択して前記圧縮変換規則保持手段に保持させるよう設定する圧縮変換規則設定手段と、
前記圧縮変換規則保持手段に保持された前記圧縮変換規則に従って前記原画像データを圧縮画像データに圧縮する画像圧縮手段と、
前記画像圧縮データを前記圧縮変換規則の種別と併せて保持する画像メモリと、
前記画像圧縮データの伸張変換規則を保持する伸張変換規則保持手段と、
前記画像メモリに保持された前記種別を抽出してその種別に基づいて前記伸張変換規則保持手段における前記伸張変換規則を設定する伸張変換規則設定手段と、
前記伸張変換規則保持手段に保持された前記伸張変換規則に従って前記圧縮画像データを伸張画像データに伸張する画像伸張手段と、
前記伸張画像データに対して所定の信号処理を行う信号処理手段と、
前記信号処理の施された画像データを記録媒体に保持させる画像記録手段と
を具備し、
前記圧縮変換規則保持手段は、前記圧縮変換規則を固定して保持する固定領域と、前記圧縮変換規則設定手段によって前記輝度情報に応じて設定される可変領域とを備える
画像撮像装置。
撮像素子によって撮像された原画像データの圧縮変換規則を固定して保持する固定領域と可変に保持する可変領域とを備える圧縮変換規則保持手段と、前記原画像データを圧縮した圧縮画像データを保持する画像メモリと、前記圧縮画像データの伸張変換規則を保持する伸張変換規則保持手段とを備える画像処理装置において、
前記原画像データに関する輝度情報を抽出する手順と、
前記輝度情報に応じて複数の種別の圧縮変換規則の中から１つを選択して前記圧縮変換規則保持手段の前記可変領域に保持させるよう設定する手順と、
前記圧縮変換規則保持手段に保持された前記圧縮変換規則に従って前記原画像データを前記圧縮画像データに圧縮する手順と、
前記圧縮画像データを前記圧縮変換規則の種別と併せて前記画像メモリに保存する手順と、
前記画像メモリからデータを読み出す手順と、
前記読み出されたデータが所定の識別子であれば前記種別を抽出してその種別に基づいて前記伸張変換規則保持手段における前記伸張変換規則を設定する手順と、
前記読み出されたデータが前記圧縮画像データであれば前記伸張変換規則保持手段に保持された前記伸張変換規則に従ってその圧縮画像データを伸張画像データに伸張する手順と、
前記伸張画像データに対して所定の信号処理を行う手順と
を具備する画像処理方法。
撮像素子によって撮像された原画像データの圧縮変換規則を固定して保持する固定領域と可変に保持する可変領域とを備える圧縮変換規則保持手段と、前記原画像データを圧縮した圧縮画像データを保持する画像メモリと、前記圧縮画像データの伸張変換規則を保持する伸張変換規則保持手段とを備える画像処理装置において、
前記原画像データに関する輝度情報を抽出する手順と、
前記輝度情報に応じて複数の種別の圧縮変換規則の中から１つを選択して前記圧縮変換規則保持手段の前記可変領域に保持させるよう設定する手順と、
前記圧縮変換規則保持手段に保持された前記圧縮変換規則に従って前記原画像データを前記圧縮画像データに圧縮する手順と、
前記圧縮画像データを前記圧縮変換規則の種別と併せて前記画像メモリに保存する手順と、
前記画像メモリからデータを読み出す手順と、
前記読み出されたデータが所定の識別子であれば前記種別を抽出してその種別に基づいて前記伸張変換規則保持手段における前記伸張変換規則を設定する手順と、
前記読み出されたデータが前記圧縮画像データであれば前記伸張変換規則保持手段に保持された前記伸張変換規則に従ってその圧縮画像データを伸張画像データに伸張する手順と、
前記伸張画像データに対して所定の信号処理を行う手順と
をコンピュータに実行させるプログラム。