JP4401882B2 - 画像処理装置及び画像処理方法及びプログラム及び記憶媒体 - Google Patents

Description

本発明は、静止画像や動画像の画像処理技術に関するものである。

従来、電子カメラ等の画像処理装置においては、撮像素子によって撮影され出力された画像信号は、Ａ／Ｄ変換器によりデジタルデータに変換され、多くの場合は必要な画像処理が施された後にＪＰＥＧ符号化等の非可逆圧縮変換が施され、記録媒体への記録が行なわれる。

非可逆圧縮処理された画像データは、電子カメラ内部において記録媒体から読み出され、復号化処理が施されて表示装置等に表示される。また、復号化した画像データから、輝度の度数分布を示すヒストグラム情報を取得して、復号画像データと共に液晶モニター等の表示装置に表示させることで、ユーザーは撮影した画像データの露出が適正であったか否か、あるいは撮影条件が適切であったか否かの判断材料にすることができる。

このような撮影時の露出の適否を簡単に確認できるようにすることを目的として、輝度レベル毎の度数を表す棒グラフや折れ線グラフを液晶モニター等に表示する技術は、すでによく知られている（例えば、特許文献１を参照）。
特開２００３−１２５２４０号公報

しかしながら、ＪＰＥＧ符号化処理等の非可逆圧縮処理等を行った場合、本来の画像データが持つ特徴、例えば正確な輝度情報等が失われてしまうため、復号化された画像データから取得されるヒストグラム情報が、非可逆圧縮処理前の画像データが持つヒストグラム情報と大きく異なってしまう場合がある。特に高い圧縮率で非可逆圧縮処理を行った場合には、非可逆圧縮処理の量子化処理の過程において、量子化ステップ毎に輝度値が縮退してしまうことが原因で、ヒストグラム情報が離散化してしまうという問題があった。

このため、電子カメラ等の内部で復号化処理した画像データから取得したヒストグラム情報を画像データと共に表示した場合、実際の人間の感覚とは異なるヒストグラム情報が表示されてしまうと共に、撮影時の露光条件とは異なるヒストグラム情報が表示されてしまうことがあった。

図７は、かかる問題を説明したものであり、（ａ）は非可逆圧縮処理前のヒストグラム、（ｂ）は高い圧縮率で非可逆圧縮処理を実施した後のヒストグラムを図示したものである。この図からわかるように、高い圧縮率で非可逆圧縮処理を実施した後のヒストグラムは、撮影時の露光条件を示したヒストグラムの分布曲線とはかなり異なってしまっている。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、非可逆圧縮された後復号化された画像データを表示する場合に、撮影時の露光条件に近く、より人間の感覚的に捉えやすいヒストグラムを表示できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、画像データに非可逆圧縮処理を施したデータストリームから、画像データを復号化する復号化手段と、該復号化手段により復号化された画像データのヒストグラム情報を取得するヒストグラム取得手段と、該ヒストグラム取得手段により取得されたヒストグラム情報に補正を行うヒストグラム補正手段と、前記復号化手段により復号化された後の所定の画像データを表示する表示手段とを具備し、前記ヒストグラム補正手段は、前記非可逆圧縮処理を施されたデータストリームに含まれる量子化テーブルに応じて補正の要否を判断し、補正が必要と判断した場合はフィルタ処理を行うことにより表示用のヒストグラム情報に対して前記非可逆圧縮前の画像データのヒストグラム情報に近づける補正を行い、前記表示手段は、前記所定の画像データと、前記ヒストグラム補正手段により補正された表示用のヒストグラム情報の両方を表示することを特徴とする。

また、この発明に係わる画像処理装置において、前記復号化手段により復号化された画像データを所定の解像度に変倍する変倍手段を更に具備することを特徴とする。

また、この発明に係わる画像処理装置において、前記ヒストグラム取得手段は、前記復号化された画像データの輝度の度数分布及び所定色の度数分布のいずれかあるいは双方を取得することを特徴とする。

また、この発明に係わる画像処理装置において、前記ヒストグラム補正手段は、前記非可逆圧縮処理を施されたデータストリームに含まれる量子化テーブルに応じて、異なる特性のフィルタ処理を行うことを特徴とする。

また、本発明に係わる画像処理方法は、画像データに非可逆圧縮処理を施したデータストリームから、画像データを復号化する復号化工程と、該復号化工程において復号化された画像データのヒストグラム情報を取得するヒストグラム取得工程と、該ヒストグラム取得工程において取得されたヒストグラム情報に補正を行うヒストグラム補正工程と、前記復号化工程において復号化された後の所定の画像データを表示する表示工程とを具備し、前記ヒストグラム補正工程では、前記非可逆圧縮処理を施されたデータストリームに含まれる量子化テーブルに応じて補正の要否を判断し、補正が必要と判断した場合はフィルタ処理を行うことにより表示用のヒストグラム情報に対して前記非可逆圧縮前の画像データのヒストグラム情報に近づける補正を行い、前記表示工程では、前記所定の画像データと、前記ヒストグラム補正工程において補正された表示用のヒストグラム情報の両方を表示することを特徴とする。

また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。

本発明によれば、非可逆圧縮された後復号化された画像データを表示する場合に、撮影時の露光条件に近く、より人間の感覚で捉えやすいヒストグラム情報を表示することが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態の構成を示す図である。

図１において、１０はズーム機構や絞り機構等を有するレンズユニット、１２は光学像を電気信号に変換する撮像素子（例えばＣＣＤ）、１４は撮像素子１２のアナログ出力信号をデジタル信号に変換するＡ／Ｄ変換器である。１６は、撮像素子１２、Ａ／Ｄ変換器１４、Ｄ／Ａ変換器３０にクロック信号や制御信号を供給するタイミング発生回路であり、システム制御回路５０により制御される。

１８はメモリ制御回路であり、Ａ／Ｄ変換器１４、画像処理回路２０、メモリ２２、記録媒体２４、圧縮・伸長回路２６、Ｄ／Ａ変換器３０、ヒストグラム取得回路２８との間でデータ転送制御を行う。

Ａ／Ｄ変換器１４から出力されるデータは、画像処理回路２０およびメモリ制御回路１８を介して、或いは画像処理回路２０を介することなくメモリ制御回路１８のみを介して、メモリ２２もしくは記録媒体２４に書き込まれる。

２０は、画像処理回路であり、Ａ／Ｄ変換器１４から出力されるデータ或いは、メモリ制御回路１８から出力されるデータに対して、例えば、画像補間処理や色変換処理、変倍処理等の画像処理を施す。

２２は、撮影した静止画像や動画像の画像処理や圧縮伸長時の作業領域として使用したり、また表示画像用として一時的に使用したりするメモリであり、画像処理装置１００に内蔵されている。所定枚数の静止画像や所定時間の動画像を格納するのに十分な記録容量を備えている。また、メモリ２２は、システム制御回路５０の作業領域としても使用されうる。

２４は、圧縮された画像データを記録するメモリカードやハードディスク等の記録媒体である。記録媒体２４は、半導体メモリや磁気ディスク等から構成され、画像処理装置１００に内蔵されているものもあれば、着脱可能なものもある。

２６は、例えば、ＪＰＥＧ形式の非可逆圧縮等により画像データを圧縮、或いは圧縮されたデータを伸長する圧縮・伸長回路であり、記録媒体２４に格納された画像データを読み込んで、圧縮処理或いは伸長処理を行い、処理済みのデータをメモリ２２に書き込む。

２８はヒストグラム取得回路であり、メモリ２２に書き込まれた画像データを読み込んで、画像データの輝度、或いは所定色の度数分布を取得する。ヒストグラム取得回路２８の詳細は図２において後述する。

３０はＤ／Ａ変換器である。３２は例えば、ＴＦＴ−ＬＣＤ等で構成される画像表示部である。メモリ２２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器３０を介して画像表示部３２に供給され、これにより画像が表示される。

画像表示部３２を用いて、撮像にかかる画像を逐次表示することにより、電子ファインダー機能を実現することができる。また画像表示部３２には、撮影に必要な情報、例えば合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等を行うことができる。

さらに、画像表示部３２には、撮影された画像を表示したり、画像データの撮影情報ならびに輝度のヒストグラム情報を画像データと同時表示する、情報表示付き再生機能を実現することもできる。

３４は光学ファインダーであり、この光学ファインダー３４を利用することにより、画像表示部３２を利用した電子ファインダー機能を使用することなく、撮影を行うことができる。また、光学ファインダー３４内には、画像表示部３２を介して表示する各種撮影用の情報表示および警告表示等を行うための素子が設置されている。

３６はフラッシュであり、ＡＦ補助光の投光機能やフラッシュ調光機能も有する。

３８はレンズユニット１０の制御部であり、システム制御回路５０の指示に従いレンズユニット１０の焦点制御、ズーム制御、絞り値、シャッタースピードの制御等を行う。

４０は撮影モードダイヤルスイッチであり、これにより操作者は、電源オフ、自動撮影モード、マニュアル撮影モード、パノラマ撮影モード、再生モード、動画モード、等の各機能モードを切り替えることができる。

４２はシャッタースイッチであり、シャッターボタン４４の操作途中（半押し）でスイッチ信号ＳＷ１をＯＮ状態にし、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作の開始を指示する。

またシャッタースイッチ４２は、シャッターボタン４４の操作完了（全押し、即ちユーザ指示）でスイッチ信号ＳＷ２をＯＮ状態にし、撮像素子１２から出力される信号をＡ／Ｄ変換器１４によりデジタル信号に変換し、これをメモリ制御回路１８を介してメモリ２２に格納する露光処理、メモリ制御回路１８を介して画像処理回路２０において行う現像処理、メモリ制御回路１８を介して圧縮・伸長回路２６において行う圧縮処理、メモリ制御回路１８を介してメモリ２２から、記録媒体２４へ圧縮された画像データを書き込む記録処理の、一連の処理の開始を指示する。

４６は表示切替スイッチである。撮影時においては、表示切り替えスイッチ４６が押されると、画像表示部３２を利用した電子ファインダー機能の、ＯＮ／ＯＦＦ制御をシステム制御回路５０に指示する。また再生時においては、表示切替スイッチ４６が押されると、情報表示付き再生機能のＯＮ／ＯＦＦ制御をシステム制御回路５０に指示する。

５０は、画像処理装置１００を制御するシステム制御回路である。５２はシステム制御回路５０が動作する際に参照する定数、変数、プログラム等を記憶するメモリである。

６０は電源制御部であり、例えば電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池装着の有無、電池の種類及び電池残量を検出し、その検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間だけ各部に供給する。６２はコネクタ、６４は、例えばアルカリ電池やリチウム電池等の一次電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等で構成される電源部である。

図２は、本実施形態における、ヒストグラム取得回路２８の構成を示す図である。

２０２はＹＵＶ→ＲＧＢ変換回路であり、ＪＥＰＧデータから圧縮伸張回路２６により復号化されたＹＵＶデータがメモリ制御回路１８を介して入力され、このＹＵＶデータを、システム制御回路５０から指示される変換式に従ってＲＧＢデータへ変換する。

２０４はセレクタであり、システム制御回路５０の指示に従い取得したい度数分布の色成分を選択する。

２０６は積分回路であり、セレクタ２０４の出力値に応じて、ヒストグラム用ＲＡＭの読み出しアドレスを決定し、データの読み出しを行う。積分回路２０６は読み出された値をインクリメントした後、再びヒストグラム用ＲＡＭの同一アドレスへの書き込みを行う。

ヒストグラム用ＲＡＭ２０８は、入力データの度数分布を保持するものであり、システム制御回路５０からの指示によりデータの読み出しやクリアを行うことができる。

ヒストグラム用ＲＡＭ２０８のアドレス空間は、取得したいヒストグラムの分解能によって決定され、２５６階調でのヒストグラムを取得したい場合には、２５６ワード分のアドレス空間が必要となる。

また、ヒストグラム用ＲＡＭ２０８の１ワードあたりの容量は、入力される画像データのサイズに対して、十分なサイズが確保されているものとする。

図３は、画像処理装置１００における画像処理・記録処理の詳細なフローチャートである。

まず、Ａ／Ｄ変換器１４でデジタル化された撮影データは、一旦メモリ制御回路１８を介してメモリ２２に書き込まれる。その後、システム制御回路５０は、メモリ制御回路１８を介して、メモリ２２から撮影データを画像処理回路２０に読み込み（ステップＳ００１）、記録モードに応じた色変換・補間処理等の画像処理を行い（ステップＳ００２）、メモリ制御回路１８を介して、メモリ２２に書き込む（ステップＳ００３）。

記録モードには、情報を出来る限り撮像時の状態に保持するために、撮像素子からの出力信号をＡ／Ｄ変換した撮像データを可逆圧縮処理したＲＡＷ画像と、そのＲＡＷ画像を撮像時の条件で現像したＪＰＥＧ本画像と、そのＪＰＥＧ本画像をそれぞれ所定の解像度にリサイズした表示用画像及びサムネール画像とを併せて記録するＲＡＷ画像記録モードと、撮像時の画像撮像データを現像処理した画像データにＪＰＥＧ等の非可逆圧縮処理をしたＪＰＥＧ本画像と、そのＪＰＥＧ本画像をそれぞれ所定の解像度にリサイズした表示用画像及びサムネール画像を併せて記録するＪＰＥＧ画像記録モードとがある。

ＪＰＥＧ画像記録モードにはさらに、それぞれ変倍した画像のサイズ（Large/Middle1/Middle2/Small）が異なるモードや、画質が異なる（超高画質、高画質、通常等）モードがある。ユーザは撮像時に不図示のスイッチによっていずれか１つのモードを選択可能である。ここでは、撮像素子からの出力信号をＡ／Ｄ変換したデータを撮像データとし、撮像データを現像して輝度信号、色信号に色分離されたデータを画像データとしている。

サムネール画像は記録媒体に格納されている複数の画像を一覧表示する場合などに使われる低解像度の小さいサイズの画像データである。

表示用画像は、サムネール画像よりもサイズが大きく、解像度も高く、拡大表示等のために表示装置のサイズよりも少し大きめに用意した画像データである。

システム制御回路５０は、メモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して、メモリ２２から画像処理回路２０に読み込み、前述の記録モードに応じて、或いは表示用、サムネール用等の目的に応じてリサイズ（変倍）処理等の画像処理を行う（ステップＳ００４）。

システム制御回路５０は、メモリ制御回路１８を介して、所望の画像処理がなされた画像データを圧縮・伸長回路２６に送り、圧縮・伸長回路２６では離散コサイン変換（ＤＣＴ変換）及び量子化処理を行い（ステップＳ００５）、ハフマン符号化処理を行って（ステップＳ００６）、圧縮された画像データをメモリ２２に書き込む（ステップＳ００７）。

システム制御回路５０は、記録モードに応じた記録用本画像データ、表示用画像データ、サムネール用画像データ等、全ての画像処理及び圧縮処理が終了したと判断したならば（ステップＳ００８）、記録モード、絞り値、シャッター速度、ＩＳＯ感度、記録サイズ、センサーサイズ、記録日時等の撮影データに関するファイル情報を作成し（ステップＳ００９）、記録媒体２４への書き込み処理を行う（ステップＳ０１０）。

記録媒体への書き込みが終わったならば、記録処理ルーチンを終了する（ステップＳ０１１）。

図４は、画像処理装置１００における再生処理の詳細なフローチャートである。

システム制御回路５０は、メモリ制御回路１８を介して、記録媒体２４からメモリ２２へ図３の記録処理で書き込まれた撮像データの記録ファイルを読み込み（ステップＳ１０１）、読み込まれたファイルから、記録モード、絞り値、シャッター速度、ＩＳＯ感度、記録サイズ、センサーサイズ、記録日時等の撮影データに関するファイル情報解析を行う（ステップＳ１０２）。ファイル情報解析の結果、再生可能な画像データである場合には、圧縮・伸長回路２６において、ハフマン復号化処理（ステップＳ１０３）、ＤＣＴ逆変換処理（ステップＳ１０４）を行い、メモリ制御回路１８を介して、メモリ２２に伸長された画像データを書き込む（ステップＳ１０５）。

システム制御回路５０は、表示切替スイッチ４６によって指示される情報表示付き再生機能がＯＮの場合には、メモリ２２に書き込まれた画像データから、輝度或いは所望の色成分の度数分布を、ヒストグラム取得回路２８を介して取得する（ステップＳ１０７）。

システム制御回路５０は、ステップＳ１０７で取得したヒストグラム情報に対して、所望の補正処理を施し（ステップＳ１０８）、グラフ化して、ステップＳ１０２において取得したファイル情報と共に、情報表示用の表示画像データを作成して、メモリ２２に表示画像データの書き込みを行う（ステップＳ１０９）。ヒストグラムに対する補正処理（ステップＳ１０８）の詳細は図５、図６を用いて後述する。

システム制御回路５０は、ステップＳ１０５で書き込みを行った画像データを、画像処理回路２０において所定の画像表示部３０が必要とする解像度に変倍（リサイズ）する処理を行った後、メモリ制御回路１８、Ｄ／Ａ変換器３０を介して画像表示部３２に表示する（ステップＳ１１０）。

このように、ユーザによってサムネール画像や表示用画像の拡大処理を行った場合や複数の変倍サイズを有するファイル（例えば、表示用画像、サムネール画像等）から所望のサイズを選択する場合であっても、ステップＳ１０７で取得したヒストグラム情報あるいは、ステップＳ１０７で取得したヒストグラム情報をもとに補正したヒストグラム情報を表示するようになるため、どのようなサイズのファイルを表示する場合でも撮影時の露光条件を正確に反映したヒストグラム情報が表示される。

また、ステップＳ１０９において情報表示用の表示画像データをメモリ２２に書き込みを行っている場合には、画像処理回路２０において所定の画像表示部３０が必要とする解像度に変倍処理を行った後、図９に図示されるようにファイル情報とヒストグラムの情報表示用の画像データを、メモリ制御回路１８において、変倍処理された画像データにスーパーインポーズして画像表示部３２に表示する（ステップＳ１１０）。

なお、ヒストグラムの表示は変倍処理された画像上に透過表示することによって、背景となる画像データの邪魔にならないように表示する。変倍処理された画像の周囲に情報表示用の領域とヒストグラムを表示する領域を設けても良い。

システム制御回路５０は、再生処理終了の入力があるまで（ステップＳ１１１）、ステップＳ１１０において表示した画像を、画像表示部３２に表示しつづける。

所定時間経過後もしくは、シャッタースイッチ、モードダイヤル等の操作により再生処理終了の入力が行われると、再生処理を終了する。

図５、図６は、図４におけるヒストグラム補正処理（ステップＳ１０８）の詳細なフローチャートである。

図５は、本発明の第１の実施形態におけるヒストグラム補正処理を説明するフローチャートである。

システム制御回路５０は、ステップＳ１０２で取得したファイル情報を使用して、圧縮率の分析を行う（ステップＳ２０１）。

圧縮率の分析は、以下に示す単位ピクセルあたりのビット数で評価し、所定の値（例えば、０．５[Bit/Pixel]）を下回る圧縮率の場合には、ステップＳ１０７で取得した元となるヒストグラムの補正が必要と判断する（ステップＳ２０２）。

圧縮率[Bit/Pixel]＝ファイルサイズ[Bit] ／（記録水平画素数×記録垂直ライン数）
補正が必要と判断されたヒストグラム情報は、その圧縮率に応じたフィルタ係数（例えば［１４６４１］）が選択され（ステップＳ２０３）、ヒストグラム情報に対して以下に示すフィルタ処理が施される（ステップＳ２０４）。

選択されたフィルタが[14641]の場合：
Ha[i]＝（1×Hb[i-2]＋4×Hb[i-1]＋6×Hb[i]＋4×Hb[i+1]＋1×Hb[i+2] ）／１６
Hb[i]：補正前のヒストグラム
Ha[i]：補正後のヒストグラム
ただし、i ＝０〜２５５
図７は、本実施形態の適用例を示すものであり、（ｂ）は圧縮率＝０．３５[Bit/Pixel]なる画像から取得したヒストグラムをグラフ化したものであり、（ｃ）はステップＳ２０４においてフィルタ処理（フィルタ係数：[1 4 6 4 1]）実施後のヒストグラムをグラフ化したものである。適切なフィルタ処理を実施することによりオリジナルのヒストグラムに近い、ヒストグラムが得られている。

このようにステップＳ１１０で変倍された画像データからヒストグラム情報を取得するのではなく、ステップＳ１０７で取得した元となるヒストグラムを用いて圧縮率に応じて補正したヒストグラムを生成している。

（第２の実施形態）
この第２の実施形態は、第１の実施形態とヒストグラム補正処理の内容が異なる。その他の処理は第１の実施形態と同様のため説明を省略する。

図６は、第２の実施形態におけるヒストグラム補正処理を説明するフローチャートである。

まず、システム制御回路５０は、ステップＳ１０７で取得したヒストグラム情報の離散化状況の分析を行う（ステップＳ３０１）。

ヒストグラムの離散化状況の分析は、取得したヒストグラムから以下に示す隣接度数の変化の割合を算出して評価を行う。
隣接度数変化の割合［%］＝（Hb[i-1] ／ Hb[i]）×１００
Hb[i]：補正前のヒストグラム度数
ただし、i ＝１〜２５５
図８は隣接度数変化の割合を図示したものであり、（ａ）は、図７（ａ）のヒストグラムから算出した隣接度数変化の割合、（ｂ）は、図７（ｂ）のヒストグラムから算出した隣接度数変化の割合である。通常、度数分布が緩やかに変化する場合には、図８（ａ）に示すように１００％付近で推移する。一方、図８（ｂ）に示すように、高い圧縮率で非可逆圧縮処理された画像から取得したヒストグラムの隣接度数変化は、非常に大きく振動する。

離散化状況の評価は、隣接度数変化の割合が所定の値（例えば２００％）を超える度数が、所定数（例えば２５６階調の１０％として２５）を超えて存在する場合には、ステップＳ１０７で取得したヒストグラムの補正が必要と判断する（ステップＳ３０２）。

補正が必要と判断されたヒストグラム情報は、その圧縮率に応じたフィルタ係数（例えば［１４６４１］）が選択され（ステップＳ３０３）、ヒストグラム情報に対して以下に示すフィルタ処理が施される（ステップＳ３０４）。

選択されたフィルタが[1 4 6 4 1]の場合：
Hr[i]＝（1×Hb[i-2]＋4×Hb[i-1]＋6×Hb[i]＋4×Hb[i+1]＋1×Hb[i+2] ）／１６
ただし、i ＝０〜２５５
図７は、本実施形態の適用例を示すものであり、（ｃ）はステップＳ３０４においてフィルタ処理（フィルタ係数：[1 4 6 4 1]）実施後のヒストグラムをグラフ化したものである。適切なフィルタ処理を実施することによりオリジナルのヒストグラムに近い、ヒストグラムが得られている。

以上説明した本発明の第１及び第２の実施形態においては、フィルタ係数を［１４６４１］としたが、圧縮率或いはヒストグラムの離散化状況によっては他のフィルタ係数であっても同様の効果を得ることはもちろん可能である。

また、非可逆圧縮処理されたデータストリームに含まれる量子化テーブルから、想定される圧縮率を推定し、その結果に応じてヒストグラムの補正が必要と判断することももちろん可能である。

以上説明したように、上記の実施形態によれば、非可逆圧縮処理により失われた画像データのヒストグラム情報を、取得したヒストグラム情報に対して適切な補正処理を行うことで、より人間の感覚に近いヒストグラム情報と、撮影時の露光条件に近いヒストグラム情報としてユーザーに視覚的に提供することが可能になる。

また、非可逆圧縮処理されたデータストリームに含まれる情報に応じて、取得したヒストグラム情報に必要な補正処理又は補正処理が必要か否かの判断を行い、ヒストグラム情報に対して適切なフィルタ処理を行うことで、より人間の感覚に近いヒストグラム情報と、撮影時の露光条件に近いヒストグラム情報をユーザーに視覚的に提供することが可能になる。

また、非可逆圧縮処理された画像データの圧縮率に応じて、取得したヒストグラム情報に必要な補正処理又は補正処理が必要か否かの判断を行い、ヒストグラム情報に対して適切なフィルタ処理を行うことで、より人間の感覚に近いヒストグラム情報と、撮影時の露光条件に近いヒストグラム情報をユーザーに視覚的に提供することが可能になる。

また、取得されたヒストグラム情報の離散化状況に応じて、取得したヒストグラム情報に必要な補正処理又は補正処理が必要か否かの判断を行い、ヒストグラム情報に対して適切なフィルタ処理を行うことで、より人間の感覚に近いヒストグラム情報と、撮影時の露光条件に近いヒストグラム情報をユーザーに視覚的に提供することが可能になる。

また、非可逆圧縮処理されたデータストリームに含まれる量子化テーブルに応じて、取得したヒストグラム情報に必要な補正処理又は補正処理が必要か否かの判断を行い、補正処理が必要と判断された場合には、ヒストグラム情報に対して適切なフィルタ処理を行うことで、より人間の感覚に近いヒストグラム情報と、撮影時の露光条件に近いヒストグラム情報をユーザーに視覚的に提供することが可能になる。

（他の実施形態）
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

なお本発明を上述の記憶媒体に適応する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の画像処理装置の第１の実施形態の構成を示す図である。 第１の実施形態におけるヒストグラム取得回路のブロック構成図である。 第１の実施形態における画像処理・記録処理ルーチンのフローチャートである。 第１の実施形態における再生処理のフローチャートである。 第１の実施形態におけるヒストグラム補正処理のフローチャートである。 第２の実施形態におけるヒストグラム補正処理のフローチャートである。 ヒストグラムの説明図である。 ヒストグラム隣接度数変化の割合の説明図である。 ヒストグラムの表示例を説明する図である。

符号の説明

１０ レンズユニット
１２ 撮像素子
１４ Ａ／Ｄ変換器
１６ タイミング発生回路
１８ メモリ制御回路
２０ 画像処理回路
２２ メモリ
２４ 記録媒体
２６ 圧縮・伸長回路
２８ ヒストグラム取得回路
３０ Ｄ／Ａ変換器
３２ 画像表示部
３４ 光学ファインダ
３６ フラッシュ
３８ レンズ制御
４０ モードダイヤル
４２ シャッタースイッチ
４４ シャッターボタン
５２ メモリ
６０ 電源制御
６２ コネクタ
６４ 電源部
１００ 画像処理装置
２０２ ＹＵＶ→ＲＧＢ変換回路
２０４ セレクタ
２０６ 積分回路
２０８ ヒストグラム用ＲＡＭ

Claims (7)

1. 画像データに非可逆圧縮処理を施したデータストリームから、画像データを復号化する復号化手段と、
   該復号化手段により復号化された画像データのヒストグラム情報を取得するヒストグラム取得手段と、
   該ヒストグラム取得手段により取得されたヒストグラム情報に補正を行うヒストグラム補正手段と、
   前記復号化手段により復号化された後の所定の画像データを表示する表示手段とを具備し、
   前記ヒストグラム補正手段は、前記非可逆圧縮処理を施されたデータストリームに含まれる量子化テーブルに応じて補正の要否を判断し、補正が必要と判断した場合はフィルタ処理を行うことにより表示用のヒストグラム情報に対して前記非可逆圧縮前の画像データのヒストグラム情報に近づける補正を行い、前記表示手段は、前記所定の画像データと、前記ヒストグラム補正手段により補正された表示用のヒストグラム情報の両方を表示することを特徴とする画像処理装置。
2. 前記復号化手段により復号化された画像データを所定の解像度に変倍する変倍手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記ヒストグラム取得手段は、前記復号化された画像データの輝度の度数分布及び所定色の度数分布のいずれかあるいは双方を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記ヒストグラム補正手段は、前記非可逆圧縮処理を施されたデータストリームに含まれる量子化テーブルに応じて、異なる特性のフィルタ処理を行うことを特徴とする請求項１に記載の画像処理装置。
5. 画像データに非可逆圧縮処理を施したデータストリームから、画像データを復号化する復号化工程と、
   該復号化工程において復号化された画像データのヒストグラム情報を取得するヒストグラム取得工程と、
   該ヒストグラム取得工程において取得されたヒストグラム情報に補正を行うヒストグラム補正工程と、
   前記復号化工程において復号化された後の所定の画像データを表示する表示工程とを具備し、
   前記ヒストグラム補正工程では、前記非可逆圧縮処理を施されたデータストリームに含まれる量子化テーブルに応じて補正の要否を判断し、補正が必要と判断した場合はフィルタ処理を行うことにより表示用のヒストグラム情報に対して前記非可逆圧縮前の画像データのヒストグラム情報に近づける補正を行い、前記表示工程では、前記所定の画像データと、前記ヒストグラム補正工程において補正された表示用のヒストグラム情報の両方を表示することを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法をコンピュータに実行させるためのプログラム。
7. 請求項６に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images