JP6166768B2 - 画像処理装置及び画像処理方法とプログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理方法とプログラムに関する。

近年、撮像素子で撮影した静止画をデジタルデータとして記録するデジタルカメラが広く普及している。また画像を記録するメモリカードの大容量化に伴って、撮影した画像を大量に記憶することが一般化している。このように簡単に大量の画像を撮影して保存できるようになったため、安易に撮影して露出量が適正でない状態で撮影して保存される画像も増えている。例えば、露出不足の状態で撮影された画像では、明るい場所を撮影したにも拘わらず、画像全体が暗くなって保存されてしまう。このように露出不足の状態で撮影された画像をコンピュータの画面に表示させる場合、或いは、印刷して閲覧する場合などには、撮影した画像に対し撮影時の露出の過不足を補うため適当な補正処理が行われることが望ましい。このような補正処理を大量の画像に対して１つずつ手作業で行うと非常に手間がかかってしまうため、撮影した画像の露出の過不足状態を自動的に判定して補正処理を行えることが望ましい。しかしながら、例えば、全体的に暗い夜景画像と露出不足の画像を自動的に判定することが難しい。このような問題を解決するために、夜景画像と露出不足画像とを自動的に判定し、適切な補正処理を実行する方法が提案がされている。

特開２００７−２２８２２１号公報 特登録０４０５７１４７号公報

特許文献１には、撮影シーンを判別し、このシーン判別により設定した補正処理条件を夜景指標に応じて補正し直す方法が記載されている。この特許文献１における夜景指標は、撮影時の撮影条件、画像の肌色画素情報、及び画像全体の平均輝度を用いて算出される。この特許文献１に記載の方法は、撮影された画像の撮影シーンを判別することによって自動的に補正条件を設定するものである。更に、夜景の撮影の場合を考慮した補正を加えることで、より適切な補正画像を得ている。しかしながら、撮影された画像の撮影シーンを判別する場合に、撮影時の撮影条件が設定されていない場合や、設定条件が置き換えられている場合には、シーン判別を行うには不十分となる。

また特許文献２には、主要な被写体以外に暗い箇所がある場合であっても、誤判定することなく逆光シーンであるか否かを判定できる逆光シーン判定方法が記載されている。この特許文献２の方法では、画像が明度が暗い露出不足の風景であるか、夜景の画像であるかを判定していない。例えば、夜景の中で背景が暗く、一部が明るく照明で照らされた部分がある場合、その照明で照らされた部分は逆光ではないと判断される。また、暗い部分が明度も低く、彩度の分散も低い場合には、逆光画像と判定されてしまい、夜景の暗い部分が逆光であると判定される。こうして夜景の暗い部分が逆光と判定されてしまった場合に、夜景の暗い部分が明るくなって補正されてしまう。

図１０は、横軸を明度の平均値と縦軸を彩度の分散値とした２次元の特徴量空間に画像を配置したイメージ図である。

図１０において、△が適正露出風景シーン、■が露出不足風景シーンの画像を示し、●が夜景シーンの画像を明度平均値と彩度分散値の特徴量空間上にプロットしたイメージを示す。適正露出風景シーンの画像（△）は、明度平均値が高く、彩度分散値も高くなっている。また露出不足風景シーンの画像（■）は、明度平均値が低く、彩度分散値も低くなっている。更に夜景シーンの画像（●）は、明度平均値が低くなっている。

特許文献２において、逆光か否かを判定する場合、例えば、縦軸の閾値１１０２以下と横軸の閾値１１０１以下を逆光シーンであると判定している。特許文献２では、画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得手段と、前記画像データ内の複数の画素の色差を取得する第２の取得手段と、少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であるかを判定する技術の開示がなかった。

本発明は、上記従来技術の問題点を解決するためになされたものである。

本発明の特徴は、画像データの複数の画素の明度に関する特徴量と、複数の画素の色差のばらつきに関する特徴量とを用いて、その画像データが夜景であるか、または、その画像データが露出不足であるかを判定することにある。

上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得手段と、
前記画像データ内の複数の画素の色差を取得する第２の取得手段と、
少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であることを判定する判定手段と、を有することを特徴とする。

本発明によれば、画像データが夜景であるか、または、その画像データが露出不足であるかを判別できるという効果がある。

実施形態に係る画像処理システムの機能構成を示すブロック図。 実施形態に係る画像処理システムの構成を説明するブロック図。 実施形態に係るコンピュータの動作を示すフローチャート。 実施形態に係る特徴量算出部の動作手順を示すフローチャート。 輝度（Ｙ）と色差（Ｃｂ）のヒストグラムの一例を示すグラフ図。 本実施形態に係るシーン判定部の動作手順を示すフローチャート。 実施形態に係るシーン判定方法を説明する図。 実施形態に係る補正処理部の動作手順を示すフローチャート。 本実施形態で画像補正に用いる補正γ曲線を示す図。 ２次元の特徴量空間に画像を配置したイメージ図である。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

本実施形態では、デジタル画像データを解析してシーンを判定する画像処理装置を有する画像処理システムの例で説明する。

図２は、本発明の実施形態に係る画像処理システムの構成を説明するブロック図である。

この画像処理システムは、コンピュータ２００と、それに接続されたプリンタ２１０及び画像取得装置２１１（例えば、デジタルカメラやスキャナ等）を有している。コンピュータ２００において、システムバス２０１には、ＣＰＵ２０２，ＲＯＭ２０３，ＲＡＭ２０４、ハードディスク等の二次記憶装置２０５が接続されている。またユーザインターフェースとして、表示部２０６、キーボード２０７、ポインティングデバイス２０８がＣＰＵ２０２等に接続されている。更に、画像印刷用のプリンタ２１０がＩ／Ｏインターフェース２０９を介して接続されている。更に、画像データの入力用の画像取得装置２１１がＩ／Ｏインターフェース２０９を介して接続されている。ＣＰＵ２０２は、アプリケーション（以下の説明する処理を実行する機能を有する）の実行が指示されると二次記憶装置２０５にインストールされている対応するプログラムを読み出してＲＡＭ２０４にロードする。その後、そのプログラムを起動することにより、その指示された処理を実行することができる。

［実施形態］
以下、本発明の実施形態に係る画像処理システムの概要について図を参照しながら説明する。

図１は、本発明の実施形態に係る画像処理システムの機能構成を示すブロック図である。

この画像処理システムは、画像取得装置２１１、色空間変換部１０１、特徴量算出部１０２、シーン判定部１０３、補正処理部１０４、プリンタ２１０を具備している。

画像取得装置２１１は、撮影した画像をデジタル画像データとしてメモリカード等の記録メディアに記憶しているデジタルカメラ等の撮像装置である。また或いは、原稿を読み取ってデジタル画像データとしてファイルを取得するスキャナであっても良い。また或いはこれらデジタルカメラ或いはスキャナ等から画像ファイルを取得する装置であっても良い。色空間変換部１０１は、画像取得装置２１１から入力されるデジタル画像データを特徴量算出部１０２で必要な色空間に変換し、その色空間変換した画像データを特徴量算出部１０２へ送信する。また色空間変換部１０１は、画像取得装置２１１から入力したデジタル画像データを補正処理部１０４で必要な色空間に変換し、その色空間変換した画像データを補正処理部１０４へ送信する。特徴量算出部１０２は、色空間変換部１０１で色空間変換された画像データから明度成分の特徴量と色のばらつき成分の特徴量を算出する。シーン判定部１０３は、特徴量算出部１０２で算出した特徴量を組み合わせた値と、予め設定してある各シーンを示す複数の特徴量を組み合わせた代表値との距離を算出する。そして、その算出した代表値との距離の中で、最も距離の短い代表値を示すシーンを取得画像のシーンと判定する。補正処理部１０４は、シーン判定部１０３で判定したシーンに応じて階調補正処理を行う。プリンタ２１０は、補正処理部１０４で補正した画像を印刷媒体に印刷する。

図３は、本発明の実施形態に係る画像処理システムのコンピュータ２００の動作手順を示すフローチャートである。この処理を実行するプログラムは、実行時に二次記憶装置２０５からＲＡＭ２０４にロードされ、ＣＰＵ２０２の制御の下に実行される。

まずＳ１で、画像取得装置２１１からデジタル画像データを含むファイルを取得する。そして、取得したファイルから、画像データ及び画像サイズ等の付属情報を取得し、色空間変換部１０１に送信する。例えば、取得したファイルが、ＪＰＥＧ形式等の画像データを圧縮処理したファイルの場合は、画像データの伸張処理を行う。ＪＰＥＧは、撮影した画像データについての静止画像データの圧縮方式である。次にＳ２に進み、色空間変換部１０１により、その取得した画像データを特徴量算出部１０２で必要な色空間に変換し、特徴量算出部１０２へ送信する。次にＳ３に進み、色空間変換部１０１において、その取得した画像データを補正処理部１０４で必要な色空間に変換し、補正処理部１０４へ送信する。この色空間変換処理は、公知である色変換処理を用いて処理を行う。例えば、色空間変換部１０１に入力された画像データの色空間がＲＧＢで、特徴量算出部１０２で必要な色空間がＹＣｂＣｒである場合、ＩＴＵ−Ｒ ＢＴ．６０１で規定されている以下の変換式を用いて、色空間変換処理を行う。

Ｙ ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｃｒ＝ ０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
次Ｓ４に進み、特徴量算出部１０２で、色空間変換した画像データを解析し、明度成分及び色のばらつき成分の特徴量を算出し、その特徴量をシーン判定部１０３へ送信する。例えば、ＹＣｂＣｒ色空間の画像データから、明度成分として輝度（Ｙ）の平均値を算出する。また、色のばらつき成分として色差（Ｃｂ）の分散値を算出し、これらを特徴量としている。

以下の変換式を用いて、輝度（Ｙ）の平均値を算出する。

輝度（Ｙ）の平均値＝Σ（輝度値（Ｙ）×度数）／全画素数
以下の変換式を用いて、色差（Ｃｂ）の平均値を求めてから、色差の分散値を算出する。

色差（Ｃｂ）の平均値＝Σ（色差値（Ｃｂ）×度数）／全画素数
色差（Ｃｂ）の分散値＝Σ（（色差値（Ｃｂ）−色差の平均値）の２乗）／全画素数
以上の式で、Σは０〜２５５の総和を示している。

次にＳ５に進み、シーン判定部１０３は、特徴量算出部１０２で算出した特徴量を組み合わせた値と、予め設定してある各シーンを示す複数の特徴量を組み合わせた代表値との距離を算出する。そして、その算出した代表値との距離の中で、最も距離の短い代表値を示すシーンを、その入力した画像データのシーンと判定する。例えば、特徴量は、明度成分の特徴量として輝度（Ｙ）の平均値、色のばらつき成分の特徴量として色差（Ｃｂ）の分散値とする。また予め設定してある各シーンを示す複数の特徴量も同様に、明度成分の特徴量として輝度（Ｙ）の平均値、色のばらつき成分の特徴量として色差（Ｃｂ）の分散値とする。そして、予め設定してある各シーンを、夜景シーン及び露出不足シーンの２つのシーンとする。夜景シーンには３つの代表値を保持し、輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値の特徴量の組み合わせを３つ設定しておく。一方、露出不足シーンには、４つの代表値を保持し、輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値の特徴量の組み合わせを４つ設定しておく。こうして入力した画像データから算出した特徴量の組み合わせ値と、これら７つの代表値との差分を計算し、７つの特徴量の中で最も差分の小さい代表値を算出する。そして、その最も差分の小さい代表値の予め設定したシーン設定を、その入力した画像のシーンと判定する。

次にＳ６に進み、補正処理部１０４で、シーン判定部１０３で判定したシーンに応じて補正処理を行う。例えば、判定されたシーンが夜景と露出不足画像であるかによって、階調補正処理を異ならせて補正処理を行う。例えば、判定されたシーンが夜景である場合、補正後の輝度の平均値が基の輝度の平均値を越えないように、暗い部分をより暗く、明るい部分はより明るくなるように補正する。また判定されたシーンが露出不足の場合は、補正後の輝度の平均値が基の輝度の平均値を越えるように、全体的に明るくするような補正処理を行う。次にＳ７に進み、補正処理部１０５で補正した画像データをプリンタ２１０に出力して印刷させる。例えば、ＣＭＹＫのインク色に補正後の画像データを変換し、用紙に印刷するように制御する。

図４は、本発明の実施形態に係る特徴量算出部１０２の動作手順を示すフローチャートである。

図５（Ａ）は、実施形態に係る輝度（Ｙ）のヒストグラムを示すグラフ図、図５（Ｂ）は、実施形態に係る色差（Ｃｂ）のヒストグラムを示すグラフ図である。

例えば、色空間変換部１０１に入力される画像データが色空間ＹＣｂＣｒの画像データとする。そして明度成分の特徴量を輝度（Ｙ）の平均値とし、色のばらつき成分の特徴量を色差（Ｃｂ）の分散値として特徴量を算出するものとする。

図４のフローチャートにおいて、まずＳ４１で、ＹＣｂＣｒの画像データのヒストグラムを算出する。次にＳ４２に進み、算出したヒストグラムから明度成分となるＹの平均値を算出する。このとき輝度（Ｙ）の平均値は、以下の式となる。

輝度（Ｙ）の平均値＝Σ（輝度値（Ｙ）×度数）／全画素数
ここで、Σは０〜２５５の総和を示している。

いま輝度（Ｙ）のヒストグラムが図５（Ａ）に示すようなヒスグラムである場合、輝度（Ｙ）の平均値は「３」となる。

輝度（Ｙ）の平均値＝（（１×３）＋（２×１０）＋（３×６）＋（４×６）＋（５×５））／（３＋１０＋６＋６＋５）＝９０／３０＝３
次Ｓ４３に進み、算出したヒストグラムから色差Ｃｂの平均値を算出する。

色差（Ｃｂ）の平均値は以下の式となる。

色差（Ｃｂ）の平均値＝Σ（色差値（Ｃｂ）×度数）／全画素数
ここで、Σは０〜２５５の総和を示している。

いま色差（Ｃｂ）のヒストグラムが図５（Ｂ）に示すようなヒスグラムである場合、色差（Ｃｂ）の平均値は「３」となる。

次にＳ４４に進み、算出したヒストグラムから色のばらつき成分となる色差Ｃｂの分散値を算出する。

色差（Ｃｂ）の分散値は以下の式となる。

色差（Ｃｂ）の分散値＝Σ（（色差値（Ｃｂ）−色差の平均値）の２乗）／全画素数
ここで、Σは０〜２５５の総和を示している。

色差（Ｃｂ）のヒストグラムが図５（Ｂ）に示すようなヒスグラムである場合、Ｃｂの分散値は「１．６」となる。

色差（Ｃｂ）の平均値＝（（１×３）＋（２×１０）＋（３×６）＋（４×６）＋（５×５））／（３＋１０＋６＋６＋５）＝９０／３０＝３
色差（Ｃｂ）の分散値＝（（１−３）の２乗×３）＋（（２−３）の２乗×１０）＋（（３−３）の２乗×６）＋（（４−３）の２乗×６）＋（（５−３）の２乗×５）／（３＋１０＋６＋６＋５）＝４８／３０＝１．６
次にＳ４５に進み、Ｓ４２及びＳ４４で算出した明度成分の特徴量と色のばらつき成分の特徴量を０〜１００の値に正規化する。例えば、正規化は、想定される明度成分である輝度（Ｙ）の平均値の範囲が０〜２５５の値である場合、０〜２５５を０〜１００の値に変換する。

輝度（Ｙ）の平均値の正規化後の値＝（輝度（Ｙ）の平均値／２５５）×１００
また、例えば、色差（Ｃｂ）の分散値を正規化する場合は、０〜１６３８４を０〜１００の値に変換し、１６３８４より大きい値は１００にする。

色差（Ｃｂ）の分散値の正規化後の値＝｛色差（Ｃｂ）の分散値／１６３８４｝×１００
特徴量算出部１０２は、明度成分の特徴量と色のばらつき成分の特徴量を正規化した値をシーン判定部１０３に出力する。

本実施形態では、明度成分を示す特徴量として、輝度（Ｙ）の平均値として例を示しているが、明度成分を示す特徴量であればこれに限らない。例えば、明度成分を示す特徴量として、輝度（Ｙ）の最大値、最小値、中央値としてもよい。また、明度成分を示す特徴量として、上記特徴量を算出する際に、ある領域内で算出してもよい。例えば、輝度（Ｙ）が０〜２５５の濃度値の範囲である場合に、濃度値０及び２５５を除いて、輝度（Ｙ）の平均値を算出してもよい。また輝度（Ｙ）の最大値から全体の画素数の０〜５％に当たる濃度範囲の輝度（Ｙ）の平均値を算出してもよい。

また本実施形態では、明度成分を示す特徴量として、ＹＣｂＣｒ色空間上の輝度（Ｙ）を例に示しているが、明度成分を示す特徴量であれば、これに限らない。例えば、明度成分を示す特徴量として、色空間をＪＩＳ Ｚ８７２９に規定されているＬａｂ表色系やＪＩＳ Ｚ８５１８に規定されているＬｕｖ表色系のＬ（輝度）としてもよい。また明度成分を示す特徴量として、ＨＳＶ色空間でのＶ（明度）等の各種色空間上で、明度成分を示す特徴量であればよい。

更に本実施形態では、色のばらつき成分を示す特徴量のばらつき成分として、色差（Ｃｂ）の分散値としているが、色のばらつき成分を示す特徴量であれば、これに限らない。例えば、色のばらつき成分を示す特徴量として、色差（Ｃｂ）の標準偏差値、色差（Ｃｂ）の最大値−最小値、平均値からの差分合計値等、色のばらつきを示す特徴量であればよい。また本実施形態では、色のばらつき成分を示す特徴量として、ＹＣｂＣｒ色空間上の色差（Ｃｂ）を例に示しているが、色のばらつき成分を示す特徴量であれば、これに限らない。例えば、ＹＣｂＣｒ色空間での色差（Ｃｒ）、ＨＳＶ色空間のＨ（色相）等の各種色空間上で、色のばらつき成分を示す特徴量であればよい。更に、本実施形態では、色のばらつき成分を示す特徴量のばらつき成分として、色差（Ｃｂ）の分散値として例を示しているが、ある閾値領域内の色のばらつき成分を示す特徴量としてもよい。例えば、輝度（Ｙ）の最大値付近や最小値付近の画素の色差（ＣｂやＣｒ）分散値等、ある閾値領域内の色のばらつき成分を示す特徴量としてもよい。

また本実施形態では、明度成分と色のばらつき成分の特徴量の組み合わせとして、輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値の２つで例を示しているが、明度成分と色のばらつき成分を少なくとも含んでいれば、２つ以上の特徴量の組み合わせでも構わない。例えば、明度成分と色のばらつき成分の特徴量の組み合わせとして、輝度（Ｙ）の平均値、色差（Ｃｂ）の分散値、色差（Ｃｒ）の分散値の３つとしてもよい。また、ＲＧＢ色空間のＲ、Ｇ、Ｂの平均値や最大値、最小値、ＨＳＶ色空間の彩度（Ｓ）の平均値や最大値、最小値等と、明度成分と色のばらつき成分を含んだ特徴量の組み合わせでもよい。

シーン判定部１０３は、特徴量算出部１０２で算出した特徴量の組み合わせた値と、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値との距離を算出する。そして、その算出した代表値との距離の中で、最も距離の短い代表値を示すシーンを取得画像のシーンと判定する。

このシーン判定部１０３のシーン判定処理を図６及び図７を参照して説明する。

図６は、本実施形態に係るシーン判定部１０３の動作手順を示すフローチャートである。

図７は、本発明の実施形態に係るシーン判定方法を説明する図である。

図７は、横軸を明度成分である正規化後の輝度（Ｙ）の平均値とし、縦軸を色のばらつき成分である正規化後の色差（Ｃｂ）の分散値とした２次元の特徴量空間を示している。座標４００は、２次元の特徴量空間において、特徴量算出部１０２で算出した取得画像の明度成分である正規化後の輝度（Ｙ）の平均値と、色のばらつき成分である正規化後の色差（Ｃｂ）の分散値の座標位置を示す。座標４０１〜４０３は、２次元の特徴量空間において、予め設定した夜景シーンを示す特徴量とする。座標４０４〜４０６は、２次元の特徴量空間において、予め設定した露出不足シーンを示す特徴量とする。各座標４００〜４０６の値は、以下の通りとする。

座標（Ｘａ，Ｙｂ）＝（輝度（Ｙ）平均値、色差（Ｃｂ）分散値）
座標４００（Ｘ0，Ｙ0）＝（６０，５０）
座標４０１（Ｘ1，Ｙ1）＝（１０，４０）
座標４０２（Ｘ2，Ｙ2）＝（３０，６０）
座標４０３（Ｘ3，Ｙ3）＝（４０，８０）
座標４０４（Ｘ4，Ｙ4）＝（２０，１０）
座標４０５（Ｘ5，Ｙ5）＝（４０，２０）
座標４０６（Ｘ6，Ｙ6）＝（８０，４０）
図６及び図７において、Ｓ５１で、特徴量算出部１０２で算出した特徴量の組み合わせた値と、予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値を特徴量空間座標に配置する。例えば、特徴量算出部１０２で算出した特徴量の組み合わせた値として座標４００を配置し、予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値として座標４０１〜４０６を配置する。次にＳ５２に進み、配置した特徴量算出部１０２で算出した特徴量の組み合わせた値と、配置した予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値との距離を算出する。例えば、配置した特徴量算出部１０２で算出した特徴量の組み合わせた値を座標（Ｘａ，Ｙａ）とする。配置した予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値の一つを座標（Ｘｂ，Ｙｂ）とする。距離は以下の式で表される。

距離＝（（Ｘａ−Ｘｂ）の２乗＋（Ｙａ−Ｙｂ）の２乗）
次にＳ５３に進み、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値数分の処理を行ったかどうかを判定する。予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値毎に距離を算出する。例えば、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値数は、座標４０１〜４０６の６個なので、６個分の距離を算出したか否かを判定する。特徴量算出部１０２で算出した値である座標４００と座標４０１〜４０６の距離算出結果を以下に示す。

座標４００（Ｘ0，Ｙ0）と座標４０１（Ｘ1，Ｙ1）の距離＝（（Ｘ0−Ｘ1）の２乗＋（Ｙ0−Ｙ1）の２乗）＝（（６０−１０）の２乗＋（５０−４０）の２乗）＝２６００
座標４００（Ｘ0，Ｙ0）と座標４０２（Ｘ２、Ｙ２）の距離＝（（Ｘ0−Ｘ2）の２乗＋（Ｙ0−Ｙ2）の２乗）＝（（６０−３０）の２乗＋（５０−６０）の２乗）＝１０００
座標４００（Ｘ0，Ｙ0）と座標４０３（Ｘ3，Ｙ3）の距離＝（（Ｘ0−Ｘ3）の２乗＋（Ｙ0−Ｙ3）の２乗）＝（（６０−４０）の２乗＋（５０−８０）の２乗）＝１３００
座標４００（Ｘ0，Ｙ0）と座標４０４（Ｘ4，Ｙ4）の距離＝（（Ｘ0−Ｘ4）の２乗＋（Ｙ0−Ｙ4）の２乗）＝（（６０−２０）の２乗＋（５０−１０）の２乗）＝３２００
座標４００（Ｘ0，Ｙ0）と座標４０５（Ｘ5，Ｙ5）の距離＝（（Ｘ0−Ｘ5）の２乗＋（Ｙ0−Ｙ5）の２乗）＝（（６０−４０）の２乗＋（５０−２０）の２乗）＝１３００
座標４００（Ｘ0，Ｙ0）と座標４０６（Ｘ6，Ｙ6）の距離＝（（Ｘ0−Ｘ6）の２乗＋（Ｙ0−Ｙ6）の２乗）＝（（６０−８０）の２乗＋（５０−４０）の２乗）＝５００
次にＳ５４に進み、ステップＳ５２で算出した代表値との距離の中で、最も距離の短い代表値を算出する。例えば、予め設定したシーンを示す特徴量の座標４００（Ｘ0，Ｙ0）と座標４０６（Ｘ6，Ｙ6）の距離（Ｌ6）が最も短いので、座標４０６を代表値として算出する。次にＳ５５に進み、算出した最も距離の短い代表値の予め設定したシーンを取得画像のシーンと判定する。例えば、最も距離の短い代表値を座標４０６の予め設定したシーンは露出不足シーンであるため、取得した画像データのシーンは露出不足シーンであると判定する。

本実施形態では、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値を任意に設定してあるが、これに限らない。例えば、代表値は、任意にシーンを指定した画像を設定し、設定した画像の特徴量を設定しても構わない。露出不足シーン、夜景シーン画像を任意で各５画像選択し、計１０画像の明度成分、色のばらつき成分の特徴量を算出し、算出した値を代表値として設定してもよい。例えば、代表値は、任意にシーンを指定した画像の特徴量から、シーンが分類できる特徴量を学習によって算出して設定しても構わない。

学習方法は、ある程度の数のサンプルデータ集合を対象に解析を行い、そのデータから有用な規則、ルール、判断基準などを抽出し、得られた特徴量を代表値として設定してもよい。学習方法は、公知技術である遺伝的アルゴリズム（Genetic Algorithm：ＧＡ）やニューラルネットワーク（Neural Network）のいずれの方法を用いてもよい。または、教師あり学習を実行するための機械学習メタアルゴリズムの一種であるブースティングのいずれの方法を用いてもよい。又は、教師なし学習を実行するための機械学習メタアルゴリズムの一種である主成分分析やクラスター分析、ベクトル量子化（Vector Quantization：ＶＱ）のいずれの方法を用いてもよい。

補正処理部１０４は、シーン判定部１０３で判定したシーンに応じて補正処理を制御する。

図８は、本発明の実施形態に係る補正処理部１０４の動作手順を示すフローチャートである。

まずＳ９１で、色空間変換部１０１で色空間変換された画像データを入力する。例えば、画像取得装置２１１で取得した画像データＹＣｂＣｒをＲＧＢの色空間に変換した画像データを取得する。次にＳ９２に進み、特徴量算出部１０２で算出した画像データの特徴量算出結果と、シーン判定部１０３で判定した画像データのシーン判定結果を取得する。例えば、特徴量算出部１０２で算出した画像データの特徴量として、明度成分として輝度（Ｙ）の平均値とする。またシーン判定部１０３で判定したシーン判定結果として、判定された結果が露出不足又は夜景シーンであるとする。次にＳ９３に進み、シーン判定結果がどのシーンに判定されたか判定する。例えば、シーン判定結果が露出不足シーンか夜景シーンであるか否かを判定する。次にＳ９４に進み、シーン判定結果に応じて取得した画像データに対して補正処理を行う。ここでシーンが夜景と判定されていた場合は、夜景専用の階調補正処理を行う。また、シーンが露出不足と判定されていた場合は、露出不足専用の階調補正処理を行う。

図９（Ａ）〜（Ｃ）のそれぞれは、本実施形態で画像補正に用いる補正γ曲線を示す図である。

図９（Ａ）及び（Ｂ）、（Ｃ）の直線１０００は、入力画像データの濃度に対して出力画像の濃度が同じ値である状態を示す。図９（Ａ）の補正γ曲線１００１は、入力画像データの濃度に対し出力画像の濃度が、暗い濃度はより暗く、明るい濃度はより明るくする階調補正を行う状態を示す。

図９（Ｂ）の補正γ曲線１００２は、入力画像データの濃度に対し出力画像の濃度が、暗い濃度はより明るく、明るい濃度はより暗くする階調補正を行う場合を示している。図９（Ｃ）の補正γ曲線１００３は、入力画像データの濃度に対し出力画像の濃度が、全体的に少し明るくなる階調補正を行う状態を示す。図９において、取得した画像データの画像濃度をＲＧＢの０〜２５５の値であるとする。

補正処理の変換式を以下に示す。

Ｒ‘＝２５５×（Ｒ／２５５）の（１／γ）乗
Ｇ‘＝２５５×（Ｇ／２５５）の（１／γ）乗
Ｂ‘＝２５５×（Ｂ／２５５）の（１／γ）乗
γの値が１より大きいとき、入力画像に対し出力画像が明るくなる設定となる。γの値が１より小さいとき、入力画像に対し出力画像が暗くなる設定となる。シーン判定結果が夜景と判定されていた場合には、夜景専用の補正処理として、暗い濃度はより暗く、明るい濃度はより明るくする補正を行う。例えば、図９（Ａ）のγ曲線１００１で補正処理を行う。

一方、シーン判定結果が露出不足と判定した場合には、露出不足専用の補正処理として、暗い濃度はより明るく、明るい濃度はより暗くする補正を行う。例えば、図９（Ｂ）のγ曲線１００２で補正処理を行う。補正γ曲線のγの値は、取得した画像データの特徴量によって決定する。例えば、明度成分として輝度（Ｙ）の平均値によって決定する。

本実施形態では、夜景シーンは図９（Ａ）、露出不足シーンは図９（Ｂ）の補正γ曲線を選択しているが、本実施形態とは異なる補正γ曲線を選択しても構わない。例えば、シーン判定結果が露出不足であると判定した場合は、全体的に明るくなる補正処理を行う。例えば、図９（Ｃ）のγ曲線１００３で補正処理を行うようにしても良い。

尚、本実施形態では、補正γ曲線のγの値は、明度成分として輝度（Ｙ）の平均値によって決定しているが、算出した画像データの特徴量をいずれかを用いていれば、これに限らない。例えば、取得した画像データの特徴量として色のばらつき成分である色差（Ｃｂ）の分散値によって、γの値を決定する。また本実施形態では、図９に示すような階調補正処理を行っているが、少なくとも判定されたシーン結果を用いて補正処理を行う方法であれば、公知技術であるいかなる補正処理を用いても構わない。例えば、シーン判定結果が夜景の場合は、輝度の高い濃度値の彩度を上げる補正を行っても構わない。

また本実施形態では、印刷するための画像データに対し、シーン判定した結果を用いて補正処理を行う例を示しているが、シーンを判定してシーン結果を利用する装置及び方法であれば、これに限らない。例えば、デジタルカメラで撮影する際に、シーン判定して、露出量や撮影モード等の撮影の際の各種制御を行うために利用してもよい。例えば、画像レイアウトして表示する際に、シーン判定して、シーン別に画像データを振り分けレイアウトする処理に利用してもよい。

以上説明したように本実施形態によれば、明度成分と色のばらつき成分の特徴量を組み合わせた値を利用してシーンを分類することによって、夜景と露出不足シーンを判定することができる。

本実施形態の主要部をまとめると、次のようなものとなる。即ち、画像取得装置で、画像データを含むファイルを取得する。そして、取得したファイルから、画像データ及び画像サイズ等の付属情報を取得する。そして、取得した画像データを必要な色空間に変換を行う。そして、色空間変換した画像データを解析し、シーン判定に使用する明度成分と色のばらつき成分の特徴量を算出し代表値として設定する。そして、算出した代表値と予め設定してあるシーンの代表値との距離によって、画像データのシーンを判定する。
そして、シーン判定結果に応じて、補正処理の制御を行う。そして、プリンタで、補正画像を、印刷媒体に印刷する。以上が、本発明の実施形態の説明である。

［その他実施形態］
また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システム或いは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

１０１…色空間変換部、１０２…特徴量算出部、１０３…シーン判定部、１０４…補正処理部、２１１…画像取得装置

Claims (30)

1. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得手段と、
   前記画像データ内の複数の画素の色差を取得する第２の取得手段と、
   少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であることを判定する判定手段と、
   を有することを特徴とする画像処理装置。
2. 前記判定手段は、前記複数の画素の明度に関する特徴量と前記複数の画素の色差のばらつきに関する特徴量と、予め設定されている露出不足を示す明度に関する特徴量と色差のばらつきに関する特徴量との関係に基づき、前記画像データが露出不足であるかを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、少なくとも明度に関する特徴量と色差のばらつきに関する特徴量からなる特徴量空間において、前記第１の取得手段によって取得した明度に関する特徴量と前記色差のばらつきに関する特徴量を示す座標と、予め設定されている夜景と露出不足のそれぞれの明度に関する特徴量と色差のばらつきに関する特徴量を示す座標との距離を算出し、前記算出した距離のうち、前記第１の取得手段によって取得した前記明度に関する特徴量と色差のばらつきに関する特徴量の座標から最も距離が近い座標に設定されているシーンを前記画像データのシーンとして判定することを特徴とする請求項１に記載の画像処理装置。
4. 前記明度に関する特徴量は輝度であることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. さらに、前記複数の画素の明度に関する特徴量を用いて、前記画像データの明るさに関する特徴量を算出する算出手段を有し、
   前記判定手段は、少なくとも、前記算出手段によって算出された前記画像データの明るさに関する特徴量と前記色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であるかを判定することを特徴とする請求項１に記載の画像処理装置。
6. 前記第１の取得手段によって取得される前記明度に関する特徴量は、ＹＣｂＣｒ色空間におけるＹ成分、Ｌａｂ表色系のＬ成分、Ｌｕｖ表色系のＬ成分及びＨＳＶ色空間におけるＶ成分のいずれかであることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第２の取得手段によって取得される前記色差は、ＹＣｂＣｒ色空間におけるＣｂ成分、及びＹＣｂＣｒ色空間におけるＣｒ成分の少なくとも１つであることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記判定手段において、前記複数の画素の明度に関する特徴量は輝度であり、前記画像データの明るさに関する特徴量は、前記複数の画素の輝度の平均値、輝度の最大値、輝度の最小値及び輝度の中央値の少なくとも１つであることを特徴とする請求項５に記載の画像処理装置。
9. さらに、前記判定手段による判定結果に基づき、前記画像データに対して補正処理を行う補正手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記補正手段は、前記判定手段によって前記画像データが露出不足であると判定された場合、前記画像データを明るくする補正特性を用いて、前記画像データに対して補正処理を行うことを特徴とする請求項９に記載の画像処理装置。
11. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得手段と、
    前記画像データ内の複数の画素の色差を取得する第２の取得手段と、
    少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差の最大値と最小値との差を用いて、前記画像データが露出不足であるかを判定する第１の判定手段と、
    少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差の最大値と最小値との差を用いて、前記画像データが夜景であるかを判定する第２の判定手段と、
    を有することを特徴とする画像処理装置。
12. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得工程と、
    前記画像データ内の複数の画素の色差を取得する第２の取得工程と、
    少なくとも、前記第１の取得工程によって取得した複数の画素の明度に関する特徴量と、前記第２の取得工程によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であることを判定する判定工程と、
    を有することを特徴とする画像処理方法。
13. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得工程と、
    前記画像データ内の複数の画素の色差を取得する第２の取得工程と、
    少なくとも、前記第１の取得工程によって取得した複数の画素の明度に関する特徴量と、前記第２の取得工程によって取得した複数の画素の色差の最大値と最小値との差を用いて、前記画像データが露出不足であるかを判定する第１の判定工程と、
    少なくとも、前記第１の取得工程で取得した複数の画素の明度に関する特徴量と、前記第２の取得工程で取得した複数の画素の色差の最大値と最小値との差を用いて、前記画像データが夜景であるかを判定する第２の判定工程と、
    を有することを特徴とする画像処理方法。
14. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得手段と、
    前記画像データ内の複数の画素の色差を取得する第２の取得手段と、
    少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差の最大値と最小値とを用いて、前記画像データが露出不足であることを判定する判定手段と、
    を有することを特徴とする画像処理装置。
15. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得手段と、
    前記画像データ内の複数の画素の色差を取得する第２の取得手段と、
    少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差に基づき決定された、前記複数の画素のうちの第１の画素の色差と第２の画素の色差との差とを用いて、前記画像データが露出不足であることを判定する判定手段と、
    を有することを特徴とする画像処理装置。
16. 前記明度に関する特徴量は、輝度であることを特徴とする請求項１４又は１５に記載の画像処理装置。
17. さらに、前記複数の画素の明度に関する特徴量を用いて、前記画像データの明るさに関する特徴量を算出する算出手段を有し、
    前記判定手段は、少なくとも、前記算出手段によって算出された前記画像データの明るさに関する特徴量と前記複数の画素の色差の最大値と最小値とを用いて、前記画像データが露出不足であるかを判定することを特徴とする請求項１４に記載の画像処理装置。
18. 前記第１の取得手段によって取得される前記明度に関する特徴量は、ＹＣｂＣｒ色空間におけるＹ成分、Ｌａｂ表色系のＬ成分、Ｌｕｖ表色系のＬ成分及びＨＳＶ色空間におけるＶ成分のいずれかであることを特徴とする請求項１４又は１５に記載の画像処理装置。
19. 前記第２の取得手段によって取得される前記色差は、ＹＣｂＣｒ色空間におけるＣｂ成分、及びＹＣｂＣｒ色空間におけるＣｒ成分の少なくとも１つであることを特徴とする請求項１４又は１５に記載の画像処理装置。
20. 前記第２の取得手段によって取得される前記色差は、ＹＣｂＣｒ色空間におけるＣｂ成分であることを特徴とする請求項１４又は１５に記載の画像処理装置。
21. 前記第２の取得手段によって取得される前記色差は、ＹＣｂＣｒ色空間におけるＣｒ成分であることを特徴とする請求項１４又は１５に記載の画像処理装置。
22. 前記判定手段において、前記複数の画素の明度に関する特徴量は輝度であり、前記画像データの明るさに関する特徴量は、前記複数の画素の輝度の平均値、輝度の最大値、輝度の最小値及び輝度の中央値の少なくとも１つであることを特徴とする請求項１７に記載の画像処理装置。
23. さらに、前記判定手段による判定結果に基づき、前記画像データに対して補正処理を行う補正手段を有することを特徴とする請求項１４又は１５に記載の画像処理装置。
24. 前記補正手段は、前記判定手段によって前記画像データが露出不足であると判定された場合、前記画像データを明るくする補正特性を用いて、前記画像データに対して補正処理を行うことを特徴とする請求項２３に記載の画像処理装置。
25. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得工程と、
    前記画像データ内の複数の画素の色差を取得する第２の取得工程と、
    少なくとも、前記第１の取得工程で取得した複数の画素の明度に関する特徴量と、前記第２の取得工程で取得した複数の画素の色差の最大値と最小値とを用いて、前記画像データが露出不足であることを判定する判定工程と、
    を有することを特徴とする画像処理方法。
26. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得工程と、
    前記画像データ内の複数の画素の色差を取得する第２の取得工程と、
    少なくとも、前記第１の取得工程で取得した複数の画素の明度に関する特徴量と、前記第２の取得工程で取得した複数の画素の色差に基づき決定された、前記複数の画素のうちの第１の画素の色差と第２の画素の色差との差とを用いて、前記画像データが露出不足であることを判定する判定工程と、
    を有することを特徴とする画像処理方法。
27. 前記第２の取得工程によって取得される前記色差は、ＹＣｂＣｒ色空間におけるＣｂ成分であることを特徴とする請求項２５又は２６に記載の画像処理方法。
28. 前記第２の取得工程によって取得される前記色差は、ＹＣｂＣｒ色空間におけるＣｒ成分であることを特徴とする請求項２５又は２６に記載の画像処理方法。
29. 画像データ内の複数の画素の明度に関する特徴量を取得する第１の取得手段と、
    前記画像データ内の複数の画素の色差を取得する第２の取得手段と、
    少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であるかを判定する第１の判定手段と、
    少なくとも、前記第１の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第２の取得手段によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが夜景であることを判定する第２の判定手段と、
    を有することを特徴とする画像処理装置。
30. 請求項１２，１３、２５乃至２８のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images