JP4325552B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、サンプリングされた画像データを用いて、画像データに対する画像処理を実行する技術に関する。

画像データの画像処理条件が記述された画像処理制御情報を、画像データに関連付ける技術が知られている（例えば、特許文献１）。画像処理制御情報は、画像生成装置、例えばディジタルスチルカメラと、出力装置、例えば印刷装置、の組み合わせに応じて、出力装置から出力される出力画像の画質を向上させるように設定されている。したがって、画像処理装置において、画像データに関連付けられた画像処理制御情報（画像処理条件）に従い、画像データに対する画像処理（画質調整）が実行されることによって、出力装置の画像出力特性が考慮された出力画像を得ることができる。この画像データに対する画像処理では、画像データの統計値を基に、その補正量が算出される。

しかしながら、従来の上記技術では、画像データの統計値を求める処理は、制御回路に対する負担が大きかった。また、制御回路に対する負担を減らすために画像データを低解像度でサンプリングして統計値を求めると、サンプリングされた画像データの解像度が低いために、統計値の精度を保つことができず、適切な補正量を導くことが難しかった。

特開２００３−５２００２号公報

本発明は、上記の点に鑑みてなされたものであり、画像データを低解像度でサンプリングを行った場合にも、統計値の精度を保ち、画像処理のための適切な補正量を導くことを課題とする。

本発明の一つの観点では、第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置に出力する画像データの夫々に画像処理を行う画像処理装置は、前記画像データを取得する画像データ取得手段と、前記画像データについて、前記第２の出力装置の解像度以下の低解像度でサンプリングを行うサンプリング手段と、サンプリングされた画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、前記第１の出力装置に前記画像データを出力する際の第１の補正量、及び、前記第２の出力装置に前記画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定する補正量決定手段と、前記第１の出力装置に出力する前記画像データに対し、前記第１の補正量に基づいて画像処理を行い、前記第２の出力装置に出力する前記画像データに対し、前記第２の補正量に基づいて画像処理を行う画像処理手段と、を備える。

上記の画像処理装置は、例えば携帯機器、表示装置、カラープリンタなどに搭載され、外部から取得した画像データに対して、当該画像データの統計値に基づいて、画像処理を施す。画像処理装置は、第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置に出力する画像データに画像処理を行う。第１の出力装置は、例えば印刷装置であり、第２の出力装置は、例えば表示装置である。画像処理装置は、前記画像データを前記第２の出力装置の解像度以下の低解像度でサンプリングを行い、サンプリングされた画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに画素数の直線補間を行なうことによりヒストグラムを生成する。そして、画像処理装置は、第１の出力装置に画像データを出力する際の第１の補正量、及び、第２の出力装置に画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定し、第１の出力装置に出力する画像データに対し、第１の補正量に基づいて画像処理を行い、第２の出力装置に出力する画像データに対し、第２の補正量に基づいて画像処理を行う。これにより、サンプリングされた画像データについての統計値の精度を保ち、解像度の異なる出力装置に出力する画像データの夫々について適切な補正量を導きだすことができる。
本発明の好適な実施例では、第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置に出力する画像データの夫々に画像処理を行う画像処理装置は、前記第１及び第２の出力装置に共通に出力される画像データを前記画像データとして含んでなり、前記第１の出力装置に出力するために前記画像データが画像処理された第１の画像データと前記第２の出力装置に出力するために前記画像データが画像処理された第２の画像データとを取得する画像データ取得手段と、前記第２の画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、前記第１の出力装置に前記第１の画像データを出力する際の第１の補正量、及び、前記第２の出力装置に前記第２の画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定する補正量決定手段と、前記第１の画像データに対し、前記第１の補正量に基づいて画像処理を行い、前記第２の画像データに対し、前記第２の補正量に基づいて画像処理を行う画像処理手段と、を備える。ここでいう第２の出力装置に出力する画像データとは、例えばサムネイル画像である。

本発明の同様の観点では、第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置の出力する画像データの夫々に画像処理を行う画像処理方法は、前記画像データを取得する画像データ取得工程と、前記画像データについて、前記第２の出力装置の解像度以下の低解像度でサンプリングを行うサンプリング工程と、サンプリングされた画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出工程と、前記第１の出力装置に前記画像データを出力する際の第１の補正量、及び、前記第２の出力装置に前記画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定する補正量決定工程と、前記第１の出力装置に出力する前記画像データに対し、前記第１の補正量に基づいて画像処理を行い、前記第２の出力装置に出力する前記画像データに対し、前記第２の補正量に基づいて画像処理を行う画像処理工程と、を備える。

さらに本発明の同様の観点では、制御回路を備える画像処理装置によって実行され、第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置に出力する画像データの夫々に画像処理を行う画像処理プログラムは、前記画像データを取得する画像データ取得手段と、前記画像データについて、前記第２の出力装置の解像度以下の低解像度でサンプリングを行うサンプリング手段と、サンプリングされた画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、前記第１の出力装置に前記画像データを出力する際の第１の補正量、及び、前記第２の出力装置に前記画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定する補正量決定手段と、前記第１の出力装置に出力する前記画像データに対し、前記第１の補正量に基づいて画像処理を行い、前記第２の出力装置に出力する前記画像データに対し、前記第２の補正量に基づいて画像処理を行う画像処理手段、として前記画像処理装置を機能させる。

上記の画像処理方法及び画像処理プログラムによっても、低解像度で画像データのサンプリングを行った場合において、統計値の精度を保ち、適切な補正量を導きだすことができる。

上記の画像処理装置の一態様は、前記補正量決定手段は、サンプリングされた画像データに基づいて全画素に占める所定の色における画素の割合を算出し、前記所定の特定の色における画素の割合に基づいて前記第１及び第２の補正量を修正する補正量修正手段、をさらに備える。ここで、所定の特定の色とは、具体的には、人間の肌色や空の空色などの記憶色や高彩度色などの特徴色を指す。サンプリングされた画像データにおける特定色の画素の割合に応じた補正量を算出することにより、画像データの特定色の適切な補正を行うことができる。

上記の画像処理装置の他の一態様は、前記サンプリング手段は、前記画像データによって形成される画像の中心の領域及びその外周の領域について、それぞれ低解像度でサンプリングを行う分割領域サンプリング手段をさらに備える。これにより、逆光画像の判定処理を、制御回路に負担をかけず、迅速に行うことができる。

上記の画像処理装置の他の一態様は、前記補正量決定手段は、前記ヒストグラムと、前
記中心の領域及び前記外周の領域のサンプリングされた画像データに基づいて算出された
統計値と、を用いて、前記画像データが逆光画像であるか否かを判定する逆光画像判定手
段をさらに備える。これにより、サンプリングされた画像データを基に、元の画像データ
が逆光画像となっているか否かの判定を行うことが可能となる。
また、前記サンプリング手段は、前記中心の領域及び前記外周の領域の夫々におけるサンプリングされた画素数が等しくなるようにサンプリングの解像度を決定する。これにより、統計値を求める処理を共通化することができる。

以下、本発明に係る画像処理装置、表示装置、画像処理方法および表示方法について図
面を用いて説明する。

[画像処理システムの概略構成]
図１および図２を参照して本実施形態に係る画像処理装置（表示装置）、本実施形態に係る画像処理装置（表示装置）を含む画像処理システムについて説明する。図１は本実施形態に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。

画像処理システムは、画像データを生成する入力装置としてのディジタルカメラ１０、画像データＧＤに関連付けられた画像処理制御情報ＧＩを用いて画像データＧＤに対する画像処理を実行すると共に、画像処理を施した画像データを用いて画像を出力する表示画像出力装置（表示装置）および画像処理装置としての携帯機器２０、表示装置３０、カラープリンタ５０を備えている。ここで、カラープリンタ５０は、画像を印刷して出力する印刷画像表示出力装置としての機能の他に、表示装置および画像処理装置としての機能を有する。

ディジタルカメラ１０は、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管といった光電変換素子）に結像させることにより画像を取得するカメラであり、光情報を電気情報に変換するためのＣＣＤ等を備える光電変換回路、光電変換回路を制御して画像を取得するための画像取得回路、取得したディジタル画像を加工処理するための画像処理回路等を備えている。

ディジタルカメラ１０は、取得した画像をディジタルデータとして記憶装置としてのメモリカードＭＣに保存する。ディジタルカメラ１０における画像データの保存形式としては、非可逆圧縮保存方式としてＪＰＥＧデータ方式、可逆圧縮保存方式としてＴＩＦＦデータ形式が一般的であるが、この他にもＲＡＷデータ形式、ＧＩＦデータ形式、ＢＭＰデータ形式等の保存形式が用いられうる。

ディジタルカメラ１０は、画像データＧＤの生成時に、撮影時に設定された撮影条件を記述する撮影情報ＳＩ、予めディジタルカメラ１０のメモリ（例えば、ＲＯＭ）内に格納されている画像処理条件を規定する画像処理制御情報ＧＩを、画像データＧＤのヘッダに書き込むことができる。ディジタルカメラ１０は、生成した画像データＧＤをメモリカードＭＣ等に格納する。

本実施形態において用いられる画像データＧＤの模式的な構成、画像処理制御情報ＧＩ、撮影情報ＳＩとして記録されるパラメータの一例について図３〜図５を参照して説明する。図３は本実施形態において用いられる画像データＧＤの構成を模式的に示す説明図である。図４は画像処理制御情報ＧＩとして記録されるパラメータの一例を示す説明図である。
図５は撮影情報ＳＩとして記録されるパラメータの一例を示す説明図である。なお、図３〜図５に示す各データ、情報の構造は、説明のために、例えば、メモリ上に格納されているデータ、情報を概念的に示している。

画像データＧＤは、例えば、そのヘッダ部に、画像データＧＤに対する画像処理時の画像処理条件を規定する画像処理制御情報ＧＩ、撮影時の撮影条件を示す撮影情報ＳＩを記述する。即ち、画像処理制御情報ＧＩ、撮影情報ＳＩは、画像データＧＤ毎に対応付けられている。画像処理制御情報ＧＩは、ディジタルカメラ１０等の任意の画像データ生成装置にて生成された画像データを、所定の画像出力装置から出力した際に所望の出力画像が得られるように予め実験的に求められた情報である。

撮影情報ＳＩとして記述されるパラメータは、例えば、撮影時におけるシャッター速度、露出モード、ＩＳＯ、絞り値、撮影シーン、ストロボ発光の有無である。

画像処理制御情報ＧＩとして記述されるパラメータは、例えば、ノイズ除去の有無（ノイズ除去レベル）、シャープネス、明度、Ｒ，Ｇ，Ｂカラーバランス、コントラスト、記憶色、撮影モード（撮影条件に対応する画像処理時の処理モード）である。画像処理制御情報ＧＩは、例えば、画像データＧＤを生成するディジタルカメラ１０における画像データの生成特性と、カラープリンタ５０の１つの機能である印刷画像表示出力装置における画像出力特性とを考慮して決定される。したがって、画像処理制御情報ＧＩを用いて画像処理が施された画像データを、印刷画像表示出力装置とは異なる画像出力特性を有する画像出力装置によって出力すると、印刷画像表示出力装置によって出力された場合と同様の出力画像を得ることができないことがある。そこで、本実施形態においては、画像出力装置の画像出力特性に応じて、画像処理制御情報ＧＩを修正するための修正情報を用いて、出力画像の画質の相違を解消または低減する。修正情報は、画像処理制御情報ＧＩを画像出力装置の画像出力特性に適合させるための差分情報、画像処理制御情報ＧＩを置換するための置換情報、画像処理制御情報ＧＩに基づいて画像出力装置の画像出力特性に適合した新たな画像処理制御情報を生成するための生成用情報のいずれであっても良い。かかる修正情報は、画像処理制御情報ＧＩに記述されていても良く、個々の画像出力装置の記憶装置に格納されていても良い。

携帯機器２０は、比較的小型の表示ディスプレイ２１を有する携帯用端末であり、例えば、携帯電話、携帯用個人情報管理装置等が該当する。携帯機器２０は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルカメラ１０、ネットワーク上のサーバ（図示しない）から画像データを取得する。表示ディスプレイ２１は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。

表示装置３０は、画像を表示するための表示ディスプレイ３１を有する、例えば、電子式の写真フレームとして機能する表示装置であり、スタンドアローンにて画像データに対して画像処理を実行し、出力画像を表示する。表示装置３０は、例えば、記憶媒体、赤外線通信および電波式通信といった無線通信を介して、あるいは、ケーブルを介してディジタルカメラ１０、ネットワーク上のサーバ（図示しない）から画像データを取得する。表示ディスプレイ３１は、例えば、液晶表示ディスプレイ、有機ＥＬ表示ディスプレイであり、各表示ディスプレイパネル毎に独自の画像出力特性を有する。

カラープリンタ５０は、多機能型のカラープリンタであり、カラー画像の出力が可能な印刷画像表示出力装置としての機能の他、さらに、画像処理装置としての機能も有する。このため、パーソナルコンピュータ等と接続する必要はなく、ユーザは、ディジタルカメラ１０の画像データＧＤを、直接、カラープリンタ５０で画像処理を行い、印刷することが可能となる。さらに、カラープリンタ５０は、画像を表示するための表示ディスプレイ３５を有する。表示ディスプレイ３５は、表示ディスプレイ３１と同様のものであり、例えば、ユーザが、印刷したい画像を、実際に印刷する前に確認する（一般的に「プレビュー」などと言われる）ために用いられる。カラープリンタ５０が画像処理装置として機能する場合には、画像処理制御情報ＧＩを用いて、印刷出力装置としての画像出力特性および表示ディスプレイ３５の画像出力特性のそれぞれに応じた画像処理が実行される。ここで、カラープリンタ５０に印刷出力される場合には、プリンタの解像力が高いため比較的大きな画素数の画像が出力される。しかし、携帯電話２０や表示ディスプレイ３１、カラープリンタ５０に内蔵されている表示ディスプレイ３５の解像力は、あまり高くないため低解像度の画像を生成し、表示する。この低解像度の画像の作成方法は、二アレストネイバー（最近傍処理）法、リニア補間（線形補間）法、キュービック法などがあり、いずれの方法でも低解像度の画像を生成することができる。本発明では、低解像度の画像から画像処理に用いる統計値情報を取得し処理を高速化するものである。統計値情報を取得するためのヒストグラムの生成方法、統計値の演算方法については、後述する。

図２は第１の実施例に係る携帯電話２０、表示装置３０、カラープリンタ５０の概略構成を示す説明図である。図２（ａ）は、携帯電話２０、表示パネル３０の概略構成を示し、図２（ｂ）は、カラープリンタ５０の概略構成を示す。具体的には、携帯電話２０、表示パネル３０は、制御回路６０ａ、入力操作部６１ａ、通信制御部６２ａ、ディスプレイ駆動制御部６３ａ、メモリカードスロット６４ａを備えている。カラープリンタ５０は、制御回路６０ｂ、入力操作部６１ｂ、通信制御部６２ｂ、ディスプレイ駆動制御部６３ｂ、メモリカードスロット６４ｂ、プリンタ駆動制御部６５を備えている。

制御回路６０ａ、６０ｂは、画像処理等の各種演算処理を実行する中央演算装置（ＣＰＵ）６０１ａ、６０１ｂ、入力された画像データ、演算結果等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）６０２ａ、６０２ｂ、ＣＰＵ６０１ａ、６０１ｂによって実行されるプログラム、画像処理制御情報ＧＩを修正するための修正テーブル等を格納するハードディスク（ＨＤＤ）６０３ａ、６０３ｂまたはリードオンリメモリ（ＲＯＭ））を、それぞれ備えている。

入力操作部６１ａ、６１ｂは、外部からの入力を受け付けるインターフェース部であり、例えば、キー操作部、スクロール操作部として実現される。また、表示ディスプレイ３１、３５が、それぞれ、タッチパネル式の入力操作部６１ａ、６１ｂとして、それぞれ用いられても良い。

通信制御部６２ａ、６２ｂは、ディジタルカメラ１０、ネットワーク上のサーバ等との間で画像データをやりとりするための通信を制御する。通信制御部６２ａ、６２ｂは、例えば、入力操作部６１ａ、６１ｂ、制御回路６０ａ、６０ｂを介して要求された所望の通信を実行する。

ディスプレイ駆動制御部６３ａは表示ディスプレイ２１または表示ディスプレイ３１における出力画像を制御し、ディスプレイ駆動制御部６３ｂは、表示ディスプレイ３５における出力画像の描画を制御する。例えば、表示ディスプレイ３１、３５が液晶表示ディスプレイの場合には、ディスプレイ駆動制御部６３ａ、６３ｂは、制御回路６０ａ、６０ｂから送出された出力画像データに基づいて、液晶の配向を駆動制御することによって出力画像データに対応するドットパターンを形成する。

プリンタ駆動制御部６５は、画像を印刷媒体上に出力する。例えば、カラープリンタ５０が、インクジェット方式のプリンタであるならば、シアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成する。また、カラープリンタ５０が、電子写真方式のプリンタであるならば、カラートナーを印刷媒体上に転写・定着させて画像を形成する。
色インクには、上記４色に加えて、ライトシアン（薄いシアン、ＬＣ）、ライトマゼンダ（薄いマゼンダ、ＬＭ）、ブルー、レッドを用いても良い。

［制御回路の機能的構成］
図６を参照して、携帯機器２０および表示装置３０、カラープリンタ５０が備える制御回路６０ａ、６０ｂによって実現されるモジュールの概略について説明する。図６は本実施形態に係る携帯機器２０および表示装置３０、カラープリンタ５０が備える制御回路６０ａ、６０ｂによって実現される機能モジュールのブロック図である。なお、図６に示す各モジュールは、ＣＰＵ単独で、あるいは制御回路６０ａ、６０ｂとして実現され、また、ハードウェア、ソフトウェアのいずれによっても実現され得る。また、以下に説明する機能モジュールは、上記の機器および装置を、パーソナルコンピュータと接続することにより、パーソナルコンピュータによっても同様に実現され得る。

画像処理の対象となる画像データＧＤは、画像データ取得モジュールＭ１によって取得される。よって、画像データ取得モジュールＭ１は、画像データ取得手段として機能する。

画像データＧＤに関連付けられている画像処理制御情報ＧＩ/撮影情報ＳＩは、画像処理制御情報ＧＩ/撮影情報ＳＩ取得モジュールＭ２によって取得され、取得された画像処理制御情報ＧＩ/撮影情報ＳＩは、画像処理制御情報ＧＩ/撮影情報ＳＩ修正モジュールＭ３によって画像出力装置に応じて修正される。

画像処理制御情報ＧＩは、一般的に、特定の画像データ生成装置、例えば、ディジタルカメラ１０と特定の画像出力装置との関係において、最適な出力画像（画質）が得られるように設定されているので、特定の画像出力装置と異なる他の画像出力装置において、画像処理制御情報ＧＩを用いた画像処理が実行される場合には、他の画像出力装置の画像出力特性に合わせて画像処理制御情報ＧＩを修正することが望まれる。

そこで、修正情報取得モジュールＭ４によって取得された修正情報を用いた画像処理制御情報ＧＩ/撮影情報ＳＩ修正処理が、画像処理制御情報ＧＩ/撮影情報ＳＩ修正モジュールＭ３によって実行される。修正情報は、画像処理制御情報ＧＩに記述されていても良く、制御回路６０ａ、６０ｂのＨＤＤ６０３ａ、６０３ｂに予め記録されていても良い。

一方、画像データＧＤに対する基準値を用いた画像処理を実行するために、画像データ解析モジュールＭ６にて、画像データＧＤをサンプリングすることにより得られたヒストグラムを基に、画像データＧＤの画質に関する各パラメータ（画質パラメータ）についての解析値（統計値、特性値）が求められる。よって、画像データ解析モジュールＭ６は、サンプリング手段および統計値算出手段として機能する。

補正量決定モジュールＭ７では解析結果を用いて画像データＧＤに対する画像処理時における補正量が決定される。よって、補正量決定モジュールＭ７は、補正量決定手段として機能する。

決定された補正量は、補正量変更モジュールＭ８において、修正情報を用いて修正された画像処理制御情報ＧＩ/撮影情報ＳＩを反映して変更される。

画像処理モジュールＭ５では、変更された補正量を用いた画像データＧＤに対する画像処理が実行される。画像処理が施された画像データＧＤは、画像データ出力モジュールＭ９によって出力画像データとしてディスプレイ駆動制御部６３ａ、６３ｂに送出される。あるいは、制御回路６０ａ、６０ｂに画像出力モジュールＭ１０が備えられている場合には、画像処理が施された画像データＧＤは、画像出力モジュールＭ１０を介して表示ディスプレイ２１、３１、３５、あるいは印刷媒体上に出力画像が出力される。よって、補正量処理モジュールＭ５は、画像処理手段として機能する。

なお、画像処理モジュールＭ５における画像処理においては、変更された補正量を用いることなく、例えば、修正された画像処理制御情報ＧＩとして記述されているパラメータの値をそのまま用いた画像処理が実行されてもよい。

[画像データのサンプリング方法]
補正量決定モジュールＭ７で行なわれる画像補正量決定処理は、画像データＧＤの画質に関するパラメータの値を基準値に近づける。あるいは、基準値と同一の値とする、いわゆる自動画質調整に用いるための補正量を求める処理である。

そのため、画像データ解析モジュールＭ６では、画像データＧＤにサンプリングを行い、サンプリングした画像データから、画像データＧＤの画質に関する各パラメータ（画質パラメータ）について解析値（統計値、特性値）を取得する。補正量決定モジュールＭ７は、各画質パラメータについて、予め用意されている基準値を取得し、基準値と解析値とを用いて各画質パラメータについて補正値を決定する。より具体的には、各画質パラメータ毎に用意された演算式を用いて、各画質パラメータの解析値と基準値との差を解消または低減させるための補正値が決定される。すなわち、本実施形態では、各画像データＧＤの特性を解析することによって、各画像データＧＤの画質に応じて補正値が決定される。

上述したように、画像補正量決定処理では、解析値の１つである統計値を基に処理が行われる。統計値は、画像データＧＤからサンプリングされた画像データを基に算出される。しかしながら、ディジタルカメラの自動露出判定などに使用されているように、画像を幾つかの領域に分割し、分割された領域によって、露出判定の重み付けを変えると、各エリアの母集団は極端に少なくなってしまう。このように、画像データのサンプリングが、低解像度下で行われると、画像データを基に算出される統計値の信頼度は、低下してしまう。この統計値の信頼度の低下によって、統計値を基に決定される補正値の誤差は大きくなってしまい、適切な画像補正を行うことができなくなる。

（ヒストグラムの生成方法）
統計値は、画像データＧＤのヒストグラムの統計情報を基にして算出される。このため、ＣＰＵ６０１ａ、６０１ｂは、統計値を算出するために、まず、画像データＧＤのヒストグラムを生成する。統計値の信頼度の低下を防ぐには、このヒストグラムの特性の信頼度を低下させないことが必要となる。以下、本実施形態に係るヒストグラムの生成方法について述べる。

図７は、画像データＧＤを、高解像度および低解像度でサンプリングした画像データのヒストグラムを示している。図７（ａ）は、高解像度でサンプリングを行った場合の画像データのヒストグラムを示し、図７（ｂ）は、低解像度でサンプリングを行った場合の画像データのヒストグラムを示す。それぞれのヒストグラムの横軸は、０から２５５までの階調値を示し、縦軸は、横軸の階調値を有する画素数を示している。

図７（ａ）の高解像度でサンプリングを行った場合の画像データのヒストグラムと比較して、図７（ｂ）の低解像度でサンプリングを行った場合の画像データのヒストグラムは、ムラ（歯抜け）が多くなることが分かる。また、図７（ｂ）のヒストグラムが示すように、低解像度の画像データでは、少数の画素の階調値の変動による統計値に与える影響が大きいことが分かる。このようなヒストグラムの統計情報より算出される統計値では、適切な画像補正を行うための補正値を決定することができない。

そこで、このような低解像度の画像データの場合には、まず階調値の粗量子化を行う。具体的には、画素の階調値を６４で量子化を行う。図８（ａ）は、階調値を６４で量子化を行った場合のヒストグラムである。階調値を６４で量子化を行うとは、０から２５５までの２５６の全階調値の画素数を算出するのではなく、４つずつの階調値の画素数を、その中の１つの階調値の画素数として算出することである。図８(ｂ）は、階調値を６４で量子化を行った場合のヒストグラムの拡大図である。図８（ｂ）が示すように、階調値を６４で量子化を行った場合のヒストグラムでは、階調値０の画素数、階調値４の画素数、階調値８の画素数・・のように、４つごとの階調値についての画素数を算出している。つまり、２５６の階調値の画素数を、下位２ビットを有さない階調値の画素数として算出しているので、６４の階調値のみの画素数を算出することとなる。例えば、図８（ｂ）が示すように、階調値３の画素数として、階調値０〜３までの画素数をカウントし、階調値７の画素数として、階調値４〜７までの画素数をカウントしている。

このように粗量子化して、ヒストグラムの構築を行った後、ヒストグラムの量子化量を２５６に戻す。具体的には、階調値を６４で量子化を行う際に量子化後の階調値として選ばなかった階調値の画素数、即ち下位２ビットを有する階調値は、６４で量子化された後の階調値として選ばれた画素数、即ち下位２ビットを有さない階調値の画素数を基に、隣り合った階調値の画素数が直線的に変化するとして比例計算で求めることにより補間される。例えば、図８（ｂ）で言えば、階調値４〜６の画素数の値は、階調値３で算出された量子化後の画素数と、階調値７で算出された量子化後の画素数を結ぶ直線Ｌ上にくる点ｍ４、ｍ５、ｍ６の画素数の値とされる。このように、画素数の直線補間を行って、量子化量を２５６に戻したときのヒストグラムを図８（ｃ）に示す。図８（ｃ）の量子化後に画素数が直線補間されたヒストグラムと、図７（ｂ）の低解像度でサンプリングされた画像データのヒストグラムを比較すると、図８（ｃ）のヒストグラムの方が、図８（ａ）の高解像度でサンプリングされた画像データのヒストグラムに定性的に近いことが分かる。よって、低解像度でサンプリングされた画像データの場合、一度、階調値を６４で粗量子化を行い、そのときに算出されなかった階調値の画素数を、量子化されたヒストグラムを基に直線補間を行って階調値を２５６に戻したヒストグラムの方が、２５６の全階調値の画素数を求めて生成されたヒストグラムよりも、歯抜けのない信頼度の高いヒストグラムとなる。

このように、画像データを低解像度でサンプリングした場合であっても、画像データの粗量子化を行なった後、直線補間を行って階調値を戻したヒストグラムを生成することで、信頼度の高いヒストグラムを求めることができる。

なお、量子化を行うことにより、少ない階調数に画像データを変換するので、量子化の際、ディザ法などの面積階調を行うことも有効である。ディザ法では、階調値０〜２、階調値４〜６といった下位２ビットを有する階調値の画素を、ディザマトリクスにより、適当な割合で量子化後に選んだ階調値の画素として振り分けることができる。よって、階調値０〜２、階調値４〜６といった階調値の下位２ビットの効力を残すことができるので、より安定したヒストグラムを得ることができる。この安定したヒストグラムを、低解像度の画像から取得することにより処理の高速化が可能である。また、低解像度の画像は、表示ディスプレイ３５で表示される画像、もしくは、さらに小さな画像としてもよい。このことにより、さらに処理の高速化が可能である。また、表示ディスプレイ３５に表示する画像だけでなく、カラープリンタ５０にて出力する印刷画像の処理にも適用することができる。表示装置３０などでは、低解像度の画像を生成する過程において、上記ヒストグラム生成方法をバックグラウンド処理として動作するような場合にも適用可能である。また、ディジタルカメラ１０には、もともと大きな元画像ではなく、サムネイルと呼ばれる縮小画像が自動的に生成される。これは、ファイル表示を早く行うために用いられるものである。このサムネイル画像に対して、上記ヒストグラム生成方法により元画像の統計値情報を高速に取得することも可能である。

（特定色のサンプリングとそのエンハンス方法）
通常、人間の肌色や空の空色などの記憶色および高彩度色などの特徴色（以下、記憶色や特徴色をまとめて「特定色」と称す。）は、実際に撮影されたときの色よりも、予め見栄えの良い色で置き換える方が望ましい。そのため、後に述べる記憶色補正処理や彩度補正処理では、特定色のみの統計値を基に、特定色の補正量が求められる。しかしながら、低解像度のサンプリングされた画像データでは、特定色の割合の信頼度が低く、そのために適切な特定色の補正量を求めることが難しい。

本実施形態に係る特定色のエンハンス手法では、低解像度のサンプリングされた画像データを基に特定色のみの統計値を求める場合に、先に述べた画像データのヒストグラムの生成方法に従い、量子化量６４で画像データの量子化を行い、直線補間によって量子化量を２５６に戻してヒストグラムを生成する。このようにして生成されたヒストグラムを基に算出された特定色の統計値を求め、特定色の統計値を基に特定色の補正量を求める。

しかし、先にも述べたように、低解像度でサンプリングされた画像データでは、特定色の割合の信頼度が低い。よって、補正量決定モジュールＭ７は、全画素に占める特定色を有する画素の割合に応じて、画像データに適用する特定色の補正量の修正を行なう。このときの、元の特定色の補正量に対する修正された補正量の割合を、「適用量」と称することとする。以上より、補正量決定モジュールＭ７は、補正量修正手段としても機能する。

図９（ａ）は、通常の特定色のエンハンス手法による全画素に占める特定色の割合と特定色の適用量の関係を示したものであり、図９（ｂ）は、本実施形態の特定色のエンハンス手法による全画素に占める特定色の割合と特定色の適用量の関係を示したものである。図９では、横軸が特定色の割合を示し、縦軸が特定色の適用量を示している。

図９(ａ)の通常の特定色のエンハンス手法では、全画素に占める特定色の割合が少なくても、特定色の補正量が、画像データに対し常に１００％かけられる。しかし、低解像度のサンプリングを行った場合、全画素に占める特定色の画素の割合の信頼度は低い。そのため、もし、サンプリングの結果、特定色の画素が存在していたとしても、その割合が低い場合には、その特定色の画素は、見栄えの良い色で置き換える必要がないこともありうる。例えば、特定色として人間の肌色を例にとると、低解像度のサンプリングにより肌色の割合が少ないという結果が出た場合には、人間が写っている可能性が低い、と考えられる。しかし、通常の特定色のエンハンス手法では、このような場合でも、特定色の補正量が１００％かけられることによって、肌色が強調されてしまうことになる。

図９（ｂ）の本実施形態のエンハンス手法では、全画素に占める特定色の割合について閾値Ｘを設ける。特定色の割合が閾値Ｘよりも大きければ、特定色の補正量を１００％かけ、特定色の割合が閾値Ｘよりも小さければ、特定色の補正量は、その割合に応じて比例するものとする。よって、サンプリングされた画像データが低解像度となるために、そこから算出される特定色の割合の信頼度が低い場合であっても、閾値Ｘを設けることにより、画像にかける補正量を調節することができる。

（逆光補正に対応した画像データのサンプリング）
画像データを低解像度でサンプリングしても、上述したヒストグラム生成の方法を用いて算出された統計値は、高解像度でサンプリングして算出した統計値と比較しても誤差を少なくすることができる。

本実施形態では、画像データのサンプリング手法を、画像補正の一例として逆光補正を行う場合における、画像データが逆光画像であるか否かの判定を行う場合に用いる。ここで逆光画像とは、被写体の撮影を行う際に、測光に失敗し、被写体の周辺の光の量に引っ張られることによる露出不足のために、被写体が暗く写ってしまった画像をいう。

図１０は、逆光補正を行う場合の画像の分割エリアを示している。被写体Ｏｂは、図１０に示すように、中央にくることが多い。このため、画像を、被写体Ｏｂが位置する中央分割エリアＳａと、その周辺の外周分割エリアＳｂとに分割する。ここでは、外周分割エリアＳｂは、中央分割エリアＳａと重なる部分は含まない。さらに、画像の中央分割エリアＳａをさらに９つの中央分割エリア小領域Ｓａａに分割し、その周辺の外周分割エリアＳｂをさらに４つの外周分割エリア小領域Ｓｂｂに分割する。本実施形態では、中央分割エリア小領域Ｓａａの縦Ｓａａ_l、横Ｓａａ_ｂの長さは、それぞれ元の画像の縦Ｇｌ、横Ｇｂの長さの１／５となり、外周分割エリア小領域Ｓｂｂの縦Ｓｂｂ_l、横Ｓｂｂ_ｂの長さは、それぞれ元の画像の縦Ｇｌ、横Ｇｂの長さの１／２となる。なお、外周分割エリア小領域Ｓｂｂは、中央分割エリアＳａと重なる部分は含まないのでＬ字型の領域となる。 逆光補正を行なう方法としては、暗く写ってしまっている被写体Ｏｂを囲む中央分割エリアＳａの９つの中央分割エリア小領域Ｓａａには、高い輝度値を割り当て、その周辺の外周分割エリアＳｂの４つの外周分割小領域Ｓｂｂには、低い輝度値を割り当てる方法がとられる。このようにすることで、被写体Ｏｂを囲む中央分割エリアＳａを明るくすることができるので、被写体Ｏｂも明るくすることができる。このため、画像データに対する逆光補正として、補正量決定モジュールＭ７は、中央分割エリアＳａおよび外周分割エリアＳｂにそれぞれ異なった輝度値を割り当てるための補正量を決める。

なお、図１１は、解像度の主な規格に対する中央分割エリア小領域Ｓａａの長さと外周分割エリア小領域Ｓｂｂの長さを示している。例えば、画像の解像度がＶＧＡ規格の場合、解像度は、６４０ｄｏｔ×４８０ｄｏｔとなるので、中央分割エリア小領域Ｓａａの大きさは、その１／５となる１２８ｄｏｔ×９６ｄｏｔとなり、外周分割エリア小領域Ｓｂｂの大きさは、その１／２となる３２０ｄｏｔ×２４０ｄｏｔとなる。

逆光補正では、まず、調べる対象となる画像が、逆光画像となっているか否かについて、判定する必要がある。そこで、以下では、上述した画像データの低解像度でのサンプリング手法を用いた逆光画像の判定方法について述べていく。

図１２は、逆光画像に特徴的なヒストグラムを示している。逆光画像は、経験的に、このような特徴的なヒストグラムを有する。よって、調べる対象となる画像データのヒストグラムを生成し、その生成したヒストグラムと、逆光画像に特徴的なヒストグラムを比較することにより、画像が逆光画像か否かを判断することができる。具体的には、逆光画像に特徴的なヒストグラム、および、調べる対象となる画像データより生成されたヒストグラムの階調値を５つのエリア（Ａｒｅａ１〜Ａｒｅａ５）に分けて、それぞれのエリアに存在する画素の個数で判断する。

この判定方法では、被写体とその背景の区別をせずに、画像全体のヒストグラムを基に判定するので、被写体が十分な明るさを有し、その背景が暗い場合であっても逆光画像と誤判定してしまう可能性がある。そこで、先に挙げた分割エリアごとについて、輝度の値を比較することにより、先の判定方法で逆光画像と判定された画像についての解除条件を設ける。

画像データ解析モジュールＭ６は、図１０で示した画像の中央分割エリアＳａの９つの中央分割エリア小領域Ｓａａと、外周分割エリアＳｂの４つの外周分割エリア小領域Ｓｂｂのそれぞれについての低解像度サンプリングを行い、先に述べたヒストグラム生成方法に従って、ヒストグラムを生成し、それぞれの小領域ごとの統計値を算出する。よって、画像データ解析モジュールＭ６は、分割領域サンプリング手段としても機能する。

補正量決定モジュールＭ７は、画像この統計値を基に輝度平均値を求め、さらに、求められた輝度平均値の中で最大となる最大輝度平均値と最小となる最小輝度平均値の差を求める。この最大輝度平均値と最小輝度平均値の差が、所定の値以上で、かつ、最大輝度平均値を有する小領域が、中央分割エリアＳａの中に含まれているのであれば、たとえ、画像が、先の判定方法で逆光画像と判定されていたとしても、逆光画像とはみなさないこととする。逆光画像を判定する場合において、先の逆光画像の判定方法に、さらにこの解除条件を用いることで、より正確な逆光画像か否かの判定が可能となる。よって、補正量決定モジュールＭ７は、逆光画像判定手段としても機能する。

画像の中央分割エリアＳａおよび外周分割エリアＳｂのそれぞれの小領域に対しても、先に述べた低解像度のサンプリング手法を用いることができる。

図１３は、画像の主な解像度の規格について、中央分割エリア小領域Ｓａａおよび外周分割エリア小領域Ｓｂｂの解像度と、サンプリングされた解像度の画素数を示している。図１３において、中央分割エリア画素数とは、１つの中央分割エリア小領域Ｓａａの画素数を示し、外周分割エリア画素数とは、１つの外周分割エリア小領域Ｓｂｂの画素数を示す。例えば、画像の解像度の規格が、ＶＧＡ規格となる場合、全体画素数は、６４０ｄｏｔ×４８０ｄｏｔ＝３０７２００ｄｏｔとなる。中央分割エリア小領域Ｓａａの画素数は、１２８ｄｏｔ×９６ｄｏｔ＝１２２８８ｄｏｔとなり、外周分割エリア小領域Ｓｂｂの画素数は、３２０ｄｏｔ×２４０ｄｏｔ＝４９１５２ｄｏｔとなる。ここで、中央分割エリア小領域Ｓａａおよび外周分割エリア小領域Ｓｂｂを、元の画像の解像度の１／２５６の解像度でサンプリングを行った場合、それぞれのサンプリング後の画素数は、中央分割エリア小領域Ｓａａが４８ｄｏｔとなり、外周分割エリア小領域Ｓｂｂが１９２ｄｏｔとなる。本実施形態では、サンプリングの解像度を決めるときには、３２、６４、１２８、２５６といった４の倍数となる所定の値で元の画像の解像度を割ることにより決めている。なぜならば、解像度の主な規格は、ＱＶＧＡ、ＱＱＶＧＡの順で、それぞれの解像度は、ＶＧＡの１／４、ＶＧＡの１／１６と１／４の大きさになるからである。即ち、４の倍数となる所定の値で元の画像の解像度を割ることによりサンプリングの解像度を決めることで、複数の主な規格の解像度に、中央分割エリア小領域Ｓａａおよび外周分割エリア小領域Ｓｂｂのサンプリングされた解像度の画素数が、同じ値となるものを得ることができるからである。

例えば、解像度の規格が、ＱＶＧＡ規格となる場合、中央分割エリア小領域Ｓａａの画素数は、６４ｄｏｔ×４８ｄｏｔ＝３０７２ｄｏｔとなり、外周分割エリア小領域Ｓｂｂの画素数は、１６０ｄｏｔ×１２０ｄｏｔ＝１２２８８ｄｏｔとなる。ここで、中央分割エリア小領域Ｓａａおよび外周分割エリア小領域Ｓｂｂを、１／６４の解像度でサンプリングを行った場合、それぞれのサンプリング後の画素数は、中央分割エリア小領域Ｓａａが４８ｄｏｔとなり、外周分割エリア小領域Ｓｂｂが１９２ｄｏｔとなる。よって、ＶＧＡ規格となる画像データを１／２５６の解像度でサンプリングを行った場合と、ＱＶＧＡ規格となる画像データを１／６４の解像度でサンプリングを行った場合では、中央分割エリア小領域Ｓａａおよび外周分割エリア小領域Ｓｂｂのサンプリングされた解像度の画素数が同じ値となるので、この２つの場合における統計値を求める処理は、共通化することが可能となる。このように、サンプリングの解像度を決めるときに、４の倍数となる所定の値で元の画像の解像度を割ることにより、幾つかの中央分割エリア小領域Ｓａａおよび外周分割エリア小領域Ｓｂｂの統計値を求める処理を共通化することができる。

以上をまとめると、逆光補正では、まず調べる対象となる画像が逆光画像であるか否かの判定を行う必要がある。そのため、理想的な逆光画像のヒストグラムと、画像データ全体のヒストグラムを比較する必要がある。この場合、低解像度のサンプリングを行って、画像データのヒストグラムを求めることにより、処理を迅速に行うことができる。次に、画像の中央分割エリアと外周分割エリアのそれぞれにおいて、小領域ごとの輝度平均値より解除条件を求める必要があるので、それぞれの小領域ごとの統計値を求める必要がある。この小領域ごとの統計値を求める場合においても、小領域ごとに低解像度のサンプリングを行って、統計値を算出することにより、処理を迅速に行うことができる。また、このときの低解像度サンプリングを行うときの解像度は、画像データの元の解像度を４の倍数で割ったものとすることにより、統計値を求める処理を共通化することができる。

［制御回路における画像処理］
次に、図１４〜図１８を参照して本実施形態に係る携帯電話２０、表示パネル３０、カラープリンタ５０において実行される画像処理について説明する。図１４は本実施形態に係る携帯電話２０、表示装置３０、カラープリンタ５０において実行される画像処理の全体処理ルーチンを示すフローチャートである。図１５は本実施形態に係る携帯電話２０、表示装置３０、カラープリンタ５０において実行される作業色空間変換処理の処理ルーチンを示すフローチャートである。図１６は本実施形態に係る携帯電話２０、表示装置３０、カラープリンタ５０において実行される補正量決定処理の処理ルーチンを示すフローチャートである。図１７は本実施形態に係る携帯電話２０、表示装置３０、カラープリンタ５０において実行される画質調整処理の処理ルーチンを示すフローチャートである。図１８は本実施形態に係る携帯電話２０、表示パネル３０、カラープリンタ５０において実行されるデバイス色空間変換処理の処理ルーチンを示すフローチャートである。

本実施形態において実行される画像処理は、例えば、携帯電話２０、表示パネル３０、カラープリンタ５０において、キー、タッチパネル等を介して所望の画像データＧＤが選択されたときに開始される。あるいは、携帯電話２０、表示パネル３０、カラープリンタ５０において、画像データＧＤが受信されたときに実行されてもよい。

制御回路６０（ＣＰＵ６０１ａ、６０１ｂ）は、画像処理を開始すると、選択された画像データＧＤを取得してＲＡＭ６０２ａ、６０２ｂに一時的に格納する（ステップＳ１００）。画像データＧＤの選択は、例えば、携帯電話２０、表示パネル３０、カラープリンタ５０と有線または無線にて接続されているディジタルスチルカメラ１０上において行われていても良く、あるいは、携帯電話２０、表示パネル３０、カラープリンタ５０上において、メモリカードＭＣに格納されている画像データＧＤの中から選択されても良い。さらには、ネットワークを介してサーバ上に格納されている複数の画像データＧＤから選択されても良い。

ＣＰＵ６０１ａ、６０１ｂは、選択された画像データＧＤに関連付けられた画像処理制御情報ＧＩ/撮影情報ＳＩを検索する（ステップＳ１１０）。ＣＰＵ６０１ａ、６０１ｂは、画像データＧＤのヘッダ部を検索し、あるいは、画像データＧＤに関連付けられている別ファイル形式の画像処理制御情報ＧＩ/撮影情報ＳＩをメモリカードＭＣ上、ネットワーク上において検索する。ＣＰＵ６０１ａ、６０１ｂは、画像処理制御情報ＧＩ/撮影情報ＳＩを発見（検索）できた場合には（ステップＳ１１５：Ｙｅｓ）、画像処理制御情報ＧＩ/撮影情報ＳＩを取得する（ステップＳ１２０）。一方、ＣＰＵ６０１ａ、６０１ｂは、画像処理制御情報ＧＩ/撮影情報ＳＩを発見（検索）できなかった場合には（ステップＳ１１５：Ｎｏ）、画像処理制御情報ＧＩ/撮影情報ＳＩを用いた画質調整処理を行うことなく、ステップＳ１７０へと移行する。

ステップＳ１２０に戻り説明すると、次にＣＰＵ６０１ａ、６０１ｂは、デバイス修正処理を実行する（ステップＳ１３０）。既述の通り、画像処理制御情報ＧＩは、一般的に、特定の画質データ生成装置と特定の画像出力装置、たとえば、カラープリンタ５０の機能の１つである印刷画像表示装置、の組み合わせに最適化されている。一般的に、表示出力画像と印刷出力画像とでは、色域の差異、視覚上、透過画像と反射画像という大きな差異があるため、適切なホワイトバランス、コントラスト、彩度の値が異なる。したがって、携帯機器２０の表示ディスプレイ２１、表示装置３０の表示ディスプレイ３１、カラープリンタ５０の表示ディスプレイ３５の出力画像の画質は、カラープリンタ５０によって出力された印刷画像の画質とは異なってしまう。

そこで、本実施形態では、たとえば、表示ディスプレイ２１、３１、３５における表示出力画像の画質を、カラープリンタ５０における印刷出力画像の画質と同一にするため、または近似させるための、デバイス毎に用意されている修正情報を用いて画像処理制御情報ＧＩを修正する。修正情報は、携帯機器２０、表示装置３０、カラープリンタ５０において印刷出力画像と同様の画質を得るための画質パラメータの値である表示用パラメータ値と画像処理制御情報ＧＩに記述されている画質パラメータの値との差分情報であっても良く、あるいは、画像処理制御情報ＧＩに記述されている画質パラメータの値に代えて用いられる新規な表示用パラメータ値であっても良い。

例えば、液晶パネルは、各パネル毎に画像出力特性が大きく異なる傾向にあるので、修正情報は、液晶パネル単位にて用意されることが望ましい。修正情報は、画像処理制御情報ＧＩの１つの情報として画像処理制御情報ＧＩに記述されていてもよく、携帯機器２０、表示装置３０、カラープリンタ５０毎に、固有の修正情報としてＨＤＤ/ＲＯＭ６０３ａ、６０３ｂに格納されていてもよい。さらには、携帯機器２０、表示装置３０、カラープリンタ５０において、画像処理制御情報ＧＩに基づいて動的に生成されても良い。

修正情報に含まれる情報（パラメータの値の差分、置換用パラメータの値）は、例えば、白色点の指定情報、コントラストの修正情報、彩度の修正情報、色相の修正情報、ノイズ除去処理実行の有無、シャープネス処理実行の有無に関する情報である。
（１）異なる画像出力装置間では、色温度が異なるので、白色点を指定することによって色温度を調整する。例えば、表示の色温度が高い場合（９３００Ｋ等）には、白色点の指定情報としてＲ＝（２３７、２５５）、Ｇ＝（２５５、２５１）、Ｂ＝（２５５、２２２）、とすると、表示ディスプレイ２１、３１、３５上においてカラーバランスをある程度一致させて表示することが可能である。
（２）異なる画像出力装置間では、再現（表現）可能な色域が異なるため、コントラストに差が生じ、見え方に大きな差が生じる。そこで、トーンカーブを調整することによってコントラストをある程度一致させることができる。
（３）異なる画像出力装置間では、表現彩度が異なるため、例えば、カラープリンタ５０によって出力された印刷画像と、表示ディスプレイ２１、３１、３５上に出力された出力画像との見え方を一致させるためには、彩度を調整する必要がある。
（４）カラープリンタ５０によって出力された印刷画像と、表示ディスプレイ２１、３１、３５上に出力された出力画像との色相が異なる場合には、色空間変換マトリクスの調整、記憶色補正の利用、ＨＳＢ等による色域を特定した補正を修正情報によって実現すればよい。

ＣＰＵ６０１ａ、６０１ｂは、取得した画像データＧＤの色空間を作業色空間へ変更する作業色空間変換処理を実行する（ステップＳ１４０）。この作業色空間変換処理について図１５を参照して説明する。この作業色空間変換処理は、画像データＧＤの色空間を、画像データに対する画質調整処理を実行する際に用いられる色空間、すなわち作業色空間へと変更するための処理である。作業色空間として、色域の広い色空間を用いることによって、画質調整処理後の画質データを構成する画素データを有効に活用することができる。

そこで、本実施形態では、画像データＧＤの色空間を、ＲＧＢ色空間として一般的に用いられるｓＲＧＢ色空間からｓＲＧＢ色空間よりも広い色域を有するｗＲＧＢ色空間へと変換する。

ディジタルスチルカメラ１０から取得された画像データＧＤは、通常、ＹＣｂＣｒ色空間のデータであるから、先ず、画像処理において標準的に用いられているｓＲＧＢ色空間の画像データへと変換される。ＹＣｂＣｒ−ＲＧＢ色変換に当たっては、当業者に良く知られているマトリクスＳが用いられる。一方、取得された画像データＧＤがｓＲＧＢデータの場合には、マトリクスＳを用いた色変換は不要となる。ここでは、画像データＧＤは既に、ｓＲＧＢ色空間の画像データであるものとして説明する。

ＣＰＵ６０１ａ、６０１ｂは、画像データＧＤに対して第１のガンマ変換処理を実行する（ステップＳ１４００）。色変換処理は、通常、ＸＹＺ、Ｌａｂ等の機器独立空間を介して実行され、マトリクスを用いたｓＲＧＢ−ＸＹＺ色変換処理、ＸＹＺ−ｗＲＧＢ色変換処理が実行される。かかる色変換処理の処理精度を上げるために、画像データＧＤの入出力特性（ガンマ特性）を線形化する必要がある。ここで用いられるガンマの値は、ディジタルスチルカメラ１０において画像データ生成に際して実行される逆ガンマ変換処理時に一般的に用いられているガンマの値である。

ＣＰＵ６０１は、線形化された画像データＧＤに対して、マトリクスを用いたｓＲＧＢ−ＸＹＺ色変換処理、ＸＹＺ−ｗＲＧＢ色変換処理を実行して、画像データＧＤの色空間を作業色空間であるｗＲＧＢへと変換し（ステップＳ１４１０）、本処理ルーチンを終了し、図１４の処理ルーチンにリターンする。

図１４に戻り説明を続けると、ＣＰＵ６０１ａ、６０１ｂは、補正量決定処理を実行する（ステップＳ１５０）。かかる補正量決定処理について図１６を参照して説明する。本実施形態における補正量決定処理は、先にも述べたように、画像データＧＤの画質に関するパラメータの値を基準値に近づける。あるいは、基準値と同一の値とする、いわゆる自動画質調整に用いるための補正量を求める処理である。

ＣＰＵ６０１ａ、６０１ｂは、画像データＧＤ，または、画像データＧＤの間引きデータ（たとえば、サムネイル画像データ）を、先に述べた低解像度のサンプリング方法によりサンプリングする（ステップＳ１５００）。ＣＰＵ６０１ａ、６０１ｂは、サンプリングした各画素データから、画像データＧＤの画質に関する各パラメータ（画質パラメータ）について解析値（統計値、特性値）を取得する（ステップＳ１５１０）。

ＣＰＵ６０１ａ、６０１ｂは、各画質パラメータについて、予め用意されている基準値を取得し、基準値と解析値とを用いて各画質パラメータについて補正値を決定する（ステップＳ１５２０）。

ＣＰＵ６０１ａ、６０１ｂは、各画質パラメータについて決定した補正値を、画像処理制御情報ＧＩ/撮影情報ＳＩを用いて変更して（ステップＳ１５３０）、本処理ルーチンを終了し、図１４の処理ルーチンにリターンする。すなわち、画像データ生成装置と画像出力装置との組み合わせから生じる画質の特性、画像データ生成時における撮影条件を用いることで、画像データＧＤの解析だけからでは得られない情報（条件）を、画像データＧＤの画質に応じて決定された補正値に反映させることができる。本実施形態では、画像処理制御情報ＧＩは、修正情報によって、表示ディスプレイ２１、３１、３５において、カラープリンタ５０の印刷画像と同様の画質の画像が出力されるように修正されているので、画像出力装置の画像出力特性の差に起因する画質（見え方）の相違を解消または低減することができる。

具体的には、補正値が各画質パラメータの解析値を増減させるために用いられる値である場合には、画像処理制御情報ＧＩ/撮影情報ＳＩを用いて、増減の程度を変更する。補正値が各画質パラメータの新たな値として用いられる値である場合には、画像処理制御情報ＧＩ/撮影情報ＳＩを用いて新たな値に変更する。さらに、画像処理制御情報ＧＩとして、撮影者によってマニュアル操作によって意図的に設定されたマニュアル設定のパラメータが存在する場合には、設定されたパラメータの値をそのまま、補正値に付加しても良い。

ＣＰＵ６０１ａ、６０１ｂは、変更された補正値を用いて画像データＧＤに対する画質調整処理を実行する（ステップＳ１６０）。かかる画質調整処理について図１７を参照して説明する。ＣＰＵ６０１ａ、６０１ｂは、画像データＧＤに対してノイズ除去処理を実行する（ステップＳ１６００）。ノイズ除去処理は、修正情報によって実行、非実行が規定される処理であってもよく、修正情報によってノイズ低減レベルが修正される処理であっても良い。ノイズ除去処理は、比較的、負荷の高い演算処理である。一方、表示画面サイズが小さな表示ディスプレイにおいては、一般的にノイズ除去処理の効果が確認し難い。そこで、表示画面サイズが小さな表示ディスプレイを備える傾向にある携帯機器２０においては、演算負荷の軽減とノイズ除去処理の効果が弱いことに鑑みノイズ除去処理はスキップされてもよい。

ＣＰＵ６０１ａ、６０１ｂは、修正された補正値を用いてトーンカーブを修正し、トーンカーブを用いた画像データＧＤに対する画質調整処理を実行する（ステップＳ１６１０）。トーンカーブを用いた画質調整処理は、明度、カラーバランス、コントラストの画質パラメータを調整するために実行される。トーンカーブの修正は、例えば、各画質パラメータ毎に設定されている修正ポイントにおいて、トーンカーブの通過点を変更することによって実行される。

ＣＰＵ６０１ａ、６０１ｂは、予め設定されている記憶色に該当する色を、記憶色として定義されている色で置き換える（ステップＳ１６２０）。記憶色としては、例えば、肌の色、空の色、緑の色、赤色について、予め見栄えの良い色が定義されている。

ＣＰＵ６０１ａ、６０１ｂは、彩度補正処理を実行する（ステップＳ１６３０）。補正値を用いた彩度の補正は、例えば、補正前の値を（Ｒｂ，Ｇｂ，Ｂｂ）、補正後の値を（Ｒａ，Ｇａ，Ｂａ）、補正値を（Ｒ、Ｇ、Ｂ）、とすると、以下の式を用いて実行される。

ただし、このときの記憶色および彩度の補正値は、先にも述べた特定色のエンハンス手法により、全画素に占める記憶色および特徴色の割合を基にして調整される。

ＣＰＵ６０１ａ、６０１ｂは、シャープネス処理を実行して（ステップＳ１６４０）、画質調整処理を終了し、図１４の処理ルーチンにリターンする。シャープネス処理は、修正情報によって実行、非実行が規定される処理であってもよく、修正情報によってシャープネスレベルが修正される処理であっても良い。表示画面サイズが小さな表示ディスプレイにおいては、一般的にシャープネス効果が確認し難い。そこで、表示画面サイズが小さな表示ディスプレイを備える傾向にある携帯機器２０においては、シャープネス処理の効果が弱いことに鑑み、演算負荷を軽減する観点からもシャープネス処理はスキップされてもよい。

ＣＰＵ６０１ａ、６０１ｂは、画質調整処理を施した画像データＧＤの色空間をデバイスへ変更する作業色空間変換処理を実行する（ステップＳ１７０）。このデバイス色空間変換処理について図１８を参照して説明する。このデバイス色空間変換処理は、画像データＧＤの色空間を、画質調整処理を実行する際に用いた作業色空間から、各画像出力装置の色空間へと変更するための処理である。ここで、通常、画像を表示出力する表示ディスプレイは、ｓＲＧＢ色空間を満たすように色設計されている。一方、一部の表示ディスプレイは独自の色空間に基づいて色設計されている。

ＣＰＵ６０１ａ、６０１ｂは、線形化された画像データＧＤに対して、マトリクスを用いたｗＲＧＢ−ＸＹＺ色変換処理、ＸＹＺ−ｓＲＧＢ色変換処理またはＸＹＺ−デバイス色空間色変換処理、あるいは、ルックアップテーブルを用いたｗＲＧＢ−ｓＲＧＢ色変換処理またはｗＲＧＢ−デバイス色空間色変換処理を実行して、画像データＧＤの色空間をデバイス色空間へと変換する（ステップＳ１８００）。

ＣＰＵ６０１ａ、６０１ｂは、画像データＧＤに対して第１の逆ガンマ変換処理を実行して（ステップＳ１８１０）、本処理ルーチンを終了し、図１４の処理ルーチンにリターンする。すなわち、画像データＧＤのガンマ特性を表示ディスプレイ２１、３１、３５のガンマ特性に適合する特性へと変更する。具体的には、表示ディスプレイ２１、３１、３５のガンマの値を用いて、逆ガンマ変換処理が実行される。

ＣＰＵ６０１ａ、６０１ｂは、ディスプレイ駆動制御部６３ａ、６３ｂを介して、出力画像を表示出力して本処理ルーチンを終了する。

以上説明したように、本実施形態に係る携帯機器２０、表示装置３０、カラープリンタ５０によれば、ディジタルスチルカメラ１０とカラープリンタ５０の印刷画像表示装置との組み合わせにおいて定義された画像処理制御情報ＧＩを用いて、カラープリンタ５０によって出力された印刷画像と同様の画質を有する画像を表示ディスプレイ２１、３１、３５に表示出力することができる。すなわち、表示ディスプレイ２１、３１、３５は、カラープリンタ５０の印刷画像とは異なる画像出力特性を有するが、かかる画像出力特性の相違に起因する出力画像の見え方（画質）の相違は、修正情報を用いて画像処理制御情報ＧＩを修正することによって解消または低減される。したがって、特定の画像出力装置に合わせて定義された画像処理制御情報ＧＩを用いて、任意の画像出力装置における出力画像の画質を特定の画像出力装置における出力画像の画質に近似または一致させることができる。

また、本実施形態では、画像出力装置毎に画像処理制御情報ＧＩを備えなくても、修正情報を用いることによって、複数の画像出力装置において、特定の画像出力装置における出力画像の画質と同等または近似する画質を有する出力画像を出力させることができる。

本実施形態に係る画像処理装置を含む画像処理システムの概略構成を示す。 本実施形態に係る画像処理装置の概略構成を示す。 本実施形態において用いられる画像データＧＤの構成を模式的に示す。 画像処理制御情報ＧＩとして記録されるパラメータの一例を示す。 撮影情報ＳＩとして記録されるパラメータの一例を示す。 本実施形態に係る携帯機器および表示装置が備える制御回路６０によって実現される機能モジュールのブロック図。 サンプリングされた画像データのヒストグラムである。 サンプリングされた画像データのヒストグラムである。 特定色の割合と適用量の関係を示す図である。 画像における中央分割エリアおよび外周分割エリアの位置を示す。 中央分割エリア小領域および外周分割エリア小領域の大きさを示す。 理想的な逆光画像のヒストグラムである。 中央分割エリア小領域および外周分割エリア小領域におけるサンプリングされた画素数を示す。 画像処理全体の全体処理ルーチンを示すフローチャートである。 作業色空間変換処理の処理ルーチンを示すフローチャートである。 補正量決定処理の処理ルーチンを示すフローチャートである。 画質調整処理の処理ルーチンを示すフローチャートである。 デバイス色空間変換処理の処理ルーチンを示すフローチャートである。

符号の説明

１０ ディジタルスチルカメラ、 ２０ 携帯機器、 ２１ 表示ディスプレイ、 ３０、３５ 表示装置、 ３１ 表示ディスプレイ、 ４０ パーソナルコンピュータ、 ５０ カラープリンタ、 ６０、６０ａ 制御回路、 ６０１ａ、６０１ｂ 中央演算装置（ＣＰＵ）、 ６０２ａ、６０２ｂ ランダムアクセスメモリ（ＲＡＭ）、 ６０３ａ、６０３ｂ ハードディスク（ＨＤＤ）/ＲＯＭ、 ６１ａ、６１ｂ 入力操作部、 ６２ａ、６２ｂ 通信制御部、 ６３ａ、６３ｂ ディスプレイ駆動制御部、 ６４ａ、６４ｂ メモリカードスロット、 ６５ プリンタ駆動制御部、 ＭＣ メモリカード

Claims (8)

1. 第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置に出力する画像データに画像処理を行う画像処理装置であって、
   前記画像データを取得する画像データ取得手段と、
   前記画像データについて、前記第２の出力装置の解像度以下の低解像度でサンプリングを行うサンプリング手段と、
   サンプリングされた画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、
   前記第１の出力装置に前記画像データを出力する際の第１の補正量、及び、前記第２の出力装置に前記画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定する補正量決定手段と、
   前記第１の出力装置に出力する前記画像データに対し、前記第１の補正量に基づいて画像処理を行い、前記第２の出力装置に出力する前記画像データに対し、前記第２の補正量に基づいて画像処理を行う画像処理手段と、を備えることを特徴とする画像処理装置。
2. 第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置に出力する画像データに画像処理を行う画像処理装置であって、
   前記第１及び第２の出力装置に共通に出力される画像データを前記画像データとして含んでなり、前記第１の出力装置に出力するために前記画像データが画像処理された第１の画像データと、前記第２の出力装置に出力するために前記画像データが画像処理された第２の画像データとを取得する画像データ取得手段と、
   前記第２の画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、
   前記第１の出力装置に前記第１の画像データを出力する際の第１の補正量、及び、前記第２の出力装置に前記第２の画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定する補正量決定手段と、
   前記第１の画像データに対し、前記第１の補正量に基づいて画像処理を行い、前記第２の画像データに対し、前記第２の補正量に基づいて画像処理を行う画像処理手段と、を備えることを特徴とする画像処理装置。
3. 前記補正量決定手段は、サンプリングされた画像データに基づいて全画素に占める所定の色における画素の割合を算出し、
   前記所定の特定の色における画素の割合に基づいて前記第１及び第２の補正量を修正する補正量修正手段、をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記サンプリング手段は、前記画像データによって形成される画像の中心の領域及びその外周の領域について、それぞれ前記低解像度でサンプリングを行う分割領域サンプリング手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記補正量決定手段は、前記ヒストグラムと、前記中心の領域及び前記外周の領域のサンプリングされた画像データに基づいて算出された統計値と、を用いて、前記画像データが逆光画像であるか否かを判定する逆光画像判定手段をさらに備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記サンプリング手段は、前記中心の領域及び前記外周の領域の夫々におけるサンプリングされた画素数が等しくなるようにサンプリングの解像度を決定することを特徴とする請求項４又は５に記載の画像処理装置。
7. 第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置の出力する画像データの夫々に画像処理を行う画像処理方法であって、
   前記画像データを取得する画像データ取得工程と、
   前記画像データについて、前記第２の出力装置の解像度以下の低解像度でサンプリングを行うサンプリング工程と、
   サンプリングされた画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出工程と、
   前記第１の出力装置に前記画像データを出力する際の第１の補正量、及び、前記第２の出力装置に前記画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定する補正量決定工程と、
   前記第１の出力装置に出力する前記画像データに対し、前記第１の補正量に基づいて画像処理を行い、前期第２の出力装置に出力する前記画像データに対し、前記第２の補正量に基づいて画像処理を行う画像処理工程と、を備えることを特徴とする画像処理方法。
8. 制御回路を備える画像処理装置によって実行され、第１の出力装置及び前記第１の出力装置よりも低い解像度で第２の出力装置に出力する画像データの夫々に画像処理を行う画像処理プログラムであって、
   前記画像データを取得する画像データ取得手段と、
   前記画像データについて、前記第２の出力装置の解像度以下の低解像度でサンプリングを行うサンプリング手段と、
   サンプリングされた画像データについて複数の階調の画素数をその中の１つの階調の画素数として算出する粗量子化を行うとともに直線補間を行って得られた画像データの階調値におけるヒストグラムの統計情報に基づいて統計値を算出する統計値算出手段と、
   前記第１の出力装置に前記画像データを出力する際の第１の補正量、及び、前記第２の出力装置に前記画像データを出力する際の第２の補正量、の夫々を、前記統計値に基づいて決定する補正量決定手段と、
   前記第１の出力装置に出力する前記画像データに対し、前記第１の補正量に基づいて画像処理を行い、前期第２の出力装置に出力する前記画像データに対し、前記第２の補正量に基づいて画像処理を行う画像処理手段、として前記画像処理装置を機能させることを特徴とする画像処理プログラム。

Images