JP6343373B2 - 画像処理方法及び画像処理装置とプログラム - Google Patents
画像処理方法及び画像処理装置とプログラム Download PDFInfo
- Publication number
- JP6343373B2 JP6343373B2 JP2017122469A JP2017122469A JP6343373B2 JP 6343373 B2 JP6343373 B2 JP 6343373B2 JP 2017122469 A JP2017122469 A JP 2017122469A JP 2017122469 A JP2017122469 A JP 2017122469A JP 6343373 B2 JP6343373 B2 JP 6343373B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- image data
- brightness
- color difference
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理方法及び画像処理装置とプログラムに関する。
近年、撮像素子で撮影した静止画をデジタルデータとして記録するデジタルカメラが広く普及している。また画像を記録するメモリカードの大容量化に伴って、撮影した画像を大量に記憶することが一般化している。このように簡単に大量の画像を撮影して保存できるようになったため、安易に撮影して露出量が適正でない状態で撮影して保存される画像も増えている。例えば、露出不足の状態で撮影された画像では、明るい場所を撮影したにも拘わらず、画像全体が暗くなって保存されてしまう。このように露出不足の状態で撮影された画像をコンピュータの画面に表示させる場合、或いは、印刷して閲覧する場合などには、撮影した画像に対し撮影時の露出の過不足を補うため適当な補正処理が行われることが望ましい。このような補正処理を大量の画像に対して1つずつ手作業で行うと非常に手間がかかってしまうため、撮影した画像の露出の過不足状態を自動的に判定して補正処理を行えることが望ましい。しかしながら、例えば、全体的に暗い夜景画像と露出不足の画像を自動的に判定することが難しい。このような問題を解決するために、夜景画像と露出不足画像とを自動的に判定し、適切な補正処理を実行する方法が提案がされている。
特許文献1には、撮影シーンを判別し、このシーン判別により設定した補正処理条件を夜景指標に応じて補正し直す方法が記載されている。この特許文献1における夜景指標は、撮影時の撮影条件、画像の肌色画素情報、及び画像全体の平均輝度を用いて算出される。この特許文献1に記載の方法は、撮影された画像の撮影シーンを判別することによって自動的に補正条件を設定するものである。更に、夜景の撮影の場合を考慮した補正を加えることで、より適切な補正画像を得ている。しかしながら、撮影された画像の撮影シーンを判別する場合に、撮影時の撮影条件が設定されていない場合や、設定条件が置き換えられている場合には、シーン判別を行うには不十分となる。
また特許文献2には、主要な被写体以外に暗い箇所がある場合であっても、誤判定することなく逆光シーンであるか否かを判定できる逆光シーン判定方法が記載されている。この特許文献2の方法では、画像が明度が暗い露出不足の風景であるか、夜景の画像であるかを判定していない。例えば、夜景の中で背景が暗く、一部が明るく照明で照らされた部分がある場合、その照明で照らされた部分は逆光ではないと判断される。また、暗い部分が明度も低く、彩度の分散も低い場合には、逆光画像と判定されてしまい、夜景の暗い部分が逆光であると判定される。こうして夜景の暗い部分が逆光と判定されてしまった場合に、夜景の暗い部分が明るくなって補正されてしまう。
図10は、横軸を明度の平均値と縦軸を彩度の分散値とした2次元の特徴量空間に画像を配置したイメージ図である。
図10において、△が適正露出風景シーン、■が露出不足風景シーンの画像を示し、●が夜景シーンの画像を明度平均値と彩度分散値の特徴量空間上にプロットしたイメージを示す。適正露出風景シーンの画像(△)は、明度平均値が高く、彩度分散値も高くなっている。また露出不足風景シーンの画像(■)は、明度平均値が低く、彩度分散値も低くなっている。更に夜景シーンの画像(●)は、明度平均値が低くなっている。
特許文献2において、逆光か否かを判定する場合、例えば、縦軸の閾値1102以下と横軸の閾値1101以下を逆光シーンであると判定している。特許文献2では、画像データに含まれる複数の画素のそれぞれについて明度値を取得する第1の取得手段と、前記画像データに含まれる複数の画素のそれぞれについて色差値を取得する第2の取得手段と、少なくとも、前記第1の取得手段によって取得した複数の画素の明度値に関する特徴量と、前記第2の取得手段によって取得した複数の画素の色差値の分散に関する特徴量とを用いて、前記画像データが露出不足であるか、及び前記画像データが夜景であるかを判定する技術の開示がなかった。
本発明は、上記従来技術の問題点を解決するためになされたものである。
本発明の特徴は、画像データの明度と色差から、その画像データが露出不足の画像データであるかを判定することにある。
上記目的を達成するために本発明の一態様に係る画像処理方法は以下のような構成を備える。即ち、
画像データ内の複数の画素の明度を取得する第1の取得工程と、
前記画像データ内の複数の画素のそれぞれの画素に対して色差を取得する第2の取得工程と、
少なくとも、前記第1の取得工程によって取得した複数の画素の明度に関する特徴量と、前記第2の取得工程によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であることを判定する判定工程と、を有することを特徴とする。
画像データ内の複数の画素の明度を取得する第1の取得工程と、
前記画像データ内の複数の画素のそれぞれの画素に対して色差を取得する第2の取得工程と、
少なくとも、前記第1の取得工程によって取得した複数の画素の明度に関する特徴量と、前記第2の取得工程によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であることを判定する判定工程と、を有することを特徴とする。
本発明によれば、画像データが露出不足の画像であるか否かを判別できるという効果がある。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
本実施形態では、デジタル画像データを解析してシーンを判定する画像処理装置を有する画像処理システムの例で説明する。
図2は、本発明の実施形態に係る画像処理システムの構成を説明するブロック図である。
この画像処理システムは、コンピュータ200と、それに接続されたプリンタ210及び画像取得装置211(例えば、デジタルカメラやスキャナ等)を有している。コンピュータ200において、システムバス201には、CPU202,ROM203,RAM204、ハードディスク等の二次記憶装置205が接続されている。またユーザインターフェースとして、表示部206、キーボード207、ポインティングデバイス208がCPU202等に接続されている。更に、画像印刷用のプリンタ210がI/Oインターフェース209を介して接続されている。更に、画像データの入力用の画像取得装置211がI/Oインターフェース209を介して接続されている。CPU202は、アプリケーション(以下の説明する処理を実行する機能を有する)の実行が指示されると二次記憶装置205にインストールされている対応するプログラムを読み出してRAM204にロードする。その後、そのプログラムを起動することにより、その指示された処理を実行することができる。
[実施形態]
以下、本発明の実施形態に係る画像処理システムの概要について図を参照しながら説明する。
以下、本発明の実施形態に係る画像処理システムの概要について図を参照しながら説明する。
図1は、本発明の実施形態に係る画像処理システムの機能構成を示すブロック図である。
この画像処理システムは、画像取得装置211、色空間変換部101、特徴量算出部102、シーン判定部103、補正処理部104、プリンタ210を具備している。
画像取得装置211は、撮影した画像をデジタル画像データとしてメモリカード等の記録メディアに記憶しているデジタルカメラ等の撮像装置である。また或いは、原稿を読み取ってデジタル画像データとしてファイルを取得するスキャナであっても良い。また或いはこれらデジタルカメラ或いはスキャナ等から画像ファイルを取得する装置であっても良い。色空間変換部101は、画像取得装置211から入力されるデジタル画像データを特徴量算出部102で必要な色空間に変換し、その色空間変換した画像データを特徴量算出部102へ送信する。また色空間変換部101は、画像取得装置211から入力したデジタル画像データを補正処理部104で必要な色空間に変換し、その色空間変換した画像データを補正処理部104へ送信する。特徴量算出部102は、色空間変換部101で色空間変換された画像データから明度成分の特徴量と色のばらつき成分の特徴量を算出する。シーン判定部103は、特徴量算出部102で算出した特徴量を組み合わせた値と、予め設定してある各シーンを示す複数の特徴量を組み合わせた代表値との距離を算出する。そして、その算出した代表値との距離の中で、最も距離の短い代表値を示すシーンを取得画像のシーンと判定する。補正処理部104は、シーン判定部103で判定したシーンに応じて階調補正処理を行う。プリンタ210は、補正処理部104で補正した画像を印刷媒体に印刷する。
図3は、本発明の実施形態に係る画像処理システムのコンピュータ200の動作手順を示すフローチャートである。この処理を実行するプログラムは、実行時に二次記憶装置205からRAM204にロードされ、CPU202の制御の下に実行される。
まずS1で、画像取得装置211からデジタル画像データを含むファイルを取得する。そして、取得したファイルから、画像データ及び画像サイズ等の付属情報を取得し、色空間変換部101に送信する。例えば、取得したファイルが、JPEG形式等の画像データを圧縮処理したファイルの場合は、画像データの伸張処理を行う。JPEGは、撮影した画像データについての静止画像データの圧縮方式である。次にS2に進み、色空間変換部101により、その取得した画像データを特徴量算出部102で必要な色空間に変換し、特徴量算出部102へ送信する。次にS3に進み、色空間変換部101において、その取得した画像データを補正処理部104で必要な色空間に変換し、補正処理部104へ送信する。この色空間変換処理は、公知である色変換処理を用いて処理を行う。例えば、色空間変換部101に入力された画像データの色空間がRGBで、特徴量算出部102で必要な色空間がYCbCrである場合、ITU−R BT.601で規定されている以下の変換式を用いて、色空間変換処理を行う。
Y = 0.299×R+0.587×G+0.144×B
Cb=−0.169×R−0.331×G+0.500×B
Cr= 0.500×R−0.419×G−0.081×B
次S4に進み、特徴量算出部102で、色空間変換した画像データを解析し、明度成分及び色のばらつき成分の特徴量を算出し、その特徴量をシーン判定部103へ送信する。例えば、YCbCr色空間の画像データから、明度成分として輝度(Y)の平均値を算出する。また、色のばらつき成分として色差(Cb)の分散値を算出し、これらを特徴量としている。
Cb=−0.169×R−0.331×G+0.500×B
Cr= 0.500×R−0.419×G−0.081×B
次S4に進み、特徴量算出部102で、色空間変換した画像データを解析し、明度成分及び色のばらつき成分の特徴量を算出し、その特徴量をシーン判定部103へ送信する。例えば、YCbCr色空間の画像データから、明度成分として輝度(Y)の平均値を算出する。また、色のばらつき成分として色差(Cb)の分散値を算出し、これらを特徴量としている。
以下の変換式を用いて、輝度(Y)の平均値を算出する。
輝度(Y)の平均値=Σ(輝度値(Y)×度数)/全画素数
以下の変換式を用いて、色差(Cb)の平均値を求めてから、色差の分散値を算出する。
以下の変換式を用いて、色差(Cb)の平均値を求めてから、色差の分散値を算出する。
色差(Cb)の平均値=Σ(色差値(Cb)×度数)/全画素数
色差(Cb)の分散値=Σ((色差値(Cb)−色差の平均値)の2乗)/全画素数
以上の式で、Σは0〜255の総和を示している。
色差(Cb)の分散値=Σ((色差値(Cb)−色差の平均値)の2乗)/全画素数
以上の式で、Σは0〜255の総和を示している。
次にS5に進み、シーン判定部103は、特徴量算出部102で算出した特徴量を組み合わせた値と、予め設定してある各シーンを示す複数の特徴量を組み合わせた代表値との距離を算出する。そして、その算出した代表値との距離の中で、最も距離の短い代表値を示すシーンを、その入力した画像データのシーンと判定する。例えば、特徴量は、明度成分の特徴量として輝度(Y)の平均値、色のばらつき成分の特徴量として色差(Cb)の分散値とする。また予め設定してある各シーンを示す複数の特徴量も同様に、明度成分の特徴量として輝度(Y)の平均値、色のばらつき成分の特徴量として色差(Cb)の分散値とする。そして、予め設定してある各シーンを、夜景シーン及び露出不足シーンの2つのシーンとする。夜景シーンには3つの代表値を保持し、輝度(Y)の平均値、色差(Cb)の分散値の特徴量の組み合わせを3つ設定しておく。一方、露出不足シーンには、4つの代表値を保持し、輝度(Y)の平均値、色差(Cb)の分散値の特徴量の組み合わせを4つ設定しておく。こうして入力した画像データから算出した特徴量の組み合わせ値と、これら7つの代表値との差分を計算し、7つの特徴量の中で最も差分の小さい代表値を算出する。そして、その最も差分の小さい代表値の予め設定したシーン設定を、その入力した画像のシーンと判定する。
次にS6に進み、補正処理部104で、シーン判定部103で判定したシーンに応じて補正処理を行う。例えば、判定されたシーンが夜景と露出不足画像であるかによって、階調補正処理を異ならせて補正処理を行う。例えば、判定されたシーンが夜景である場合、補正後の輝度の平均値が基の輝度の平均値を越えないように、暗い部分をより暗く、明るい部分はより明るくなるように補正する。また判定されたシーンが露出不足の場合は、補正後の輝度の平均値が基の輝度の平均値を越えるように、全体的に明るくするような補正処理を行う。次にS7に進み、補正処理部105で補正した画像データをプリンタ210に出力して印刷させる。例えば、CMYKのインク色に補正後の画像データを変換し、用紙に印刷するように制御する。
図4は、本発明の実施形態に係る特徴量算出部102の動作手順を示すフローチャートである。
図5(A)は、実施形態に係る輝度(Y)のヒストグラムを示すグラフ図、図5(B)は、実施形態に係る色差(Cb)のヒストグラムを示すグラフ図である。
例えば、色空間変換部101に入力される画像データが色空間YCbCrの画像データとする。そして明度成分の特徴量を輝度(Y)の平均値とし、色のばらつき成分の特徴量を色差(Cb)の分散値として特徴量を算出するものとする。
図4のフローチャートにおいて、まずS41で、YCbCrの画像データのヒストグラムを算出する。次にS42に進み、算出したヒストグラムから明度成分となるYの平均値を算出する。このとき輝度(Y)の平均値は、以下の式となる。
輝度(Y)の平均値=Σ(輝度値(Y)×度数)/全画素数
ここで、Σは0〜255の総和を示している。
ここで、Σは0〜255の総和を示している。
いま輝度(Y)のヒストグラムが図5(A)に示すようなヒスグラムである場合、輝度(Y)の平均値は「3」となる。
輝度(Y)の平均値=((1×3)+(2×10)+(3×6)+(4×6)+(5×5))/(3+10+6+6+5)=90/30=3
次S43に進み、算出したヒストグラムから色差Cbの平均値を算出する。
次S43に進み、算出したヒストグラムから色差Cbの平均値を算出する。
色差(Cb)の平均値は以下の式となる。
色差(Cb)の平均値=Σ(色差値(Cb)×度数)/全画素数
ここで、Σは0〜255の総和を示している。
ここで、Σは0〜255の総和を示している。
いま色差(Cb)のヒストグラムが図5(B)に示すようなヒスグラムである場合、色差(Cb)の平均値は「3」となる。
次にS44に進み、算出したヒストグラムから色のばらつき成分となる色差Cbの分散値を算出する。
色差(Cb)の分散値は以下の式となる。
色差(Cb)の分散値=Σ((色差値(Cb)−色差の平均値)の2乗)/全画素数
ここで、Σは0〜255の総和を示している。
ここで、Σは0〜255の総和を示している。
色差(Cb)のヒストグラムが図5(B)に示すようなヒスグラムである場合、Cbの分散値は「1.6」となる。
色差(Cb)の平均値=((1×3)+(2×10)+(3×6)+(4×6)+(5×5))/(3+10+6+6+5)=90/30=3
色差(Cb)の分散値=((1−3)の2乗×3)+((2−3)の2乗×10)+((3−3)の2乗×6)+((4−3)の2乗×6)+((5−3)の2乗×5)/(3+10+6+6+5)=48/30=1.6
次にS45に進み、S42及びS44で算出した明度成分の特徴量と色のばらつき成分の特徴量を0〜100の値に正規化する。例えば、正規化は、想定される明度成分である輝度(Y)の平均値の範囲が0〜255の値である場合、0〜255を0〜100の値に変換する。
色差(Cb)の分散値=((1−3)の2乗×3)+((2−3)の2乗×10)+((3−3)の2乗×6)+((4−3)の2乗×6)+((5−3)の2乗×5)/(3+10+6+6+5)=48/30=1.6
次にS45に進み、S42及びS44で算出した明度成分の特徴量と色のばらつき成分の特徴量を0〜100の値に正規化する。例えば、正規化は、想定される明度成分である輝度(Y)の平均値の範囲が0〜255の値である場合、0〜255を0〜100の値に変換する。
輝度(Y)の平均値の正規化後の値=(輝度(Y)の平均値/255)×100
また、例えば、色差(Cb)の分散値を正規化する場合は、0〜16384を0〜100の値に変換し、16384より大きい値は100にする。
また、例えば、色差(Cb)の分散値を正規化する場合は、0〜16384を0〜100の値に変換し、16384より大きい値は100にする。
色差(Cb)の分散値の正規化後の値={色差(Cb)の分散値/16384}×100
特徴量算出部102は、明度成分の特徴量と色のばらつき成分の特徴量を正規化した値をシーン判定部103に出力する。
特徴量算出部102は、明度成分の特徴量と色のばらつき成分の特徴量を正規化した値をシーン判定部103に出力する。
本実施形態では、明度成分を示す特徴量として、輝度(Y)の平均値として例を示しているが、明度成分を示す特徴量であればこれに限らない。例えば、明度成分を示す特徴量として、輝度(Y)の最大値、最小値、中央値としてもよい。また、明度成分を示す特徴量として、上記特徴量を算出する際に、ある領域内で算出してもよい。例えば、輝度(Y)が0〜255の濃度値の範囲である場合に、濃度値0及び255を除いて、輝度(Y)の平均値を算出してもよい。また輝度(Y)の最大値から全体の画素数の0〜5%に当たる濃度範囲の輝度(Y)の平均値を算出してもよい。
また本実施形態では、明度成分を示す特徴量として、YCbCr色空間上の輝度(Y)を例に示しているが、明度成分を示す特徴量であれば、これに限らない。例えば、明度成分を示す特徴量として、色空間をJIS Z8729に規定されているLab表色系やJIS Z8518に規定されているLuv表色系のL(輝度)としてもよい。また明度成分を示す特徴量として、HSV色空間でのV(明度)等の各種色空間上で、明度成分を示す特徴量であればよい。
更に本実施形態では、色のばらつき成分を示す特徴量のばらつき成分として、色差(Cb)の分散値としているが、色のばらつき成分を示す特徴量であれば、これに限らない。例えば、色のばらつき成分を示す特徴量として、色差(Cb)の標準偏差値、色差(Cb)の最大値−最小値、平均値からの差分合計値等、色のばらつきを示す特徴量であればよい。また本実施形態では、色のばらつき成分を示す特徴量として、YCbCr色空間上の色差(Cb)を例に示しているが、色のばらつき成分を示す特徴量であれば、これに限らない。例えば、YCbCr色空間での色差(Cr)、HSV色空間のH(色相)等の各種色空間上で、色のばらつき成分を示す特徴量であればよい。更に、本実施形態では、色のばらつき成分を示す特徴量のばらつき成分として、色差(Cb)の分散値として例を示しているが、ある閾値領域内の色のばらつき成分を示す特徴量としてもよい。例えば、輝度(Y)の最大値付近や最小値付近の画素の色差(CbやCr)分散値等、ある閾値領域内の色のばらつき成分を示す特徴量としてもよい。
また本実施形態では、明度成分と色のばらつき成分の特徴量の組み合わせとして、輝度(Y)の平均値、色差(Cb)の分散値の2つで例を示しているが、明度成分と色のばらつき成分を少なくとも含んでいれば、2つ以上の特徴量の組み合わせでも構わない。例えば、明度成分と色のばらつき成分の特徴量の組み合わせとして、輝度(Y)の平均値、色差(Cb)の分散値、色差(Cr)の分散値の3つとしてもよい。また、RGB色空間のR、G、Bの平均値や最大値、最小値、HSV色空間の彩度(S)の平均値や最大値、最小値等と、明度成分と色のばらつき成分を含んだ特徴量の組み合わせでもよい。
シーン判定部103は、特徴量算出部102で算出した特徴量の組み合わせた値と、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値との距離を算出する。そして、その算出した代表値との距離の中で、最も距離の短い代表値を示すシーンを取得画像のシーンと判定する。
このシーン判定部103のシーン判定処理を図6及び図7を参照して説明する。
図6は、本実施形態に係るシーン判定部103の動作手順を示すフローチャートである。
図7は、本発明の実施形態に係るシーン判定方法を説明する図である。
図7は、横軸を明度成分である正規化後の輝度(Y)の平均値とし、縦軸を色のばらつき成分である正規化後の色差(Cb)の分散値とした2次元の特徴量空間を示している。座標400は、2次元の特徴量空間において、特徴量算出部102で算出した取得画像の明度成分である正規化後の輝度(Y)の平均値と、色のばらつき成分である正規化後の色差(Cb)の分散値の座標位置を示す。座標401〜403は、2次元の特徴量空間において、予め設定した夜景シーンを示す特徴量とする。座標404〜406は、2次元の特徴量空間において、予め設定した露出不足シーンを示す特徴量とする。各座標400〜406の値は、以下の通りとする。
座標(Xa,Yb)=(輝度(Y)平均値、色差(Cb)分散値)
座標400(X0,Y0)=(60,50)
座標401(X1,Y1)=(10,40)
座標402(X2,Y2)=(30,60)
座標403(X3,Y3)=(40,80)
座標404(X4,Y4)=(20,10)
座標405(X5,Y5)=(40,20)
座標406(X6,Y6)=(80,40)
図6及び図7において、S51で、特徴量算出部102で算出した特徴量の組み合わせた値と、予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値を特徴量空間座標に配置する。例えば、特徴量算出部102で算出した特徴量の組み合わせた値として座標400を配置し、予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値として座標401〜406を配置する。次にS52に進み、配置した特徴量算出部102で算出した特徴量の組み合わせた値と、配置した予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値との距離を算出する。例えば、配置した特徴量算出部102で算出した特徴量の組み合わせた値を座標(Xa,Ya)とする。配置した予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値の一つを座標(Xb,Yb)とする。距離は以下の式で表される。
座標400(X0,Y0)=(60,50)
座標401(X1,Y1)=(10,40)
座標402(X2,Y2)=(30,60)
座標403(X3,Y3)=(40,80)
座標404(X4,Y4)=(20,10)
座標405(X5,Y5)=(40,20)
座標406(X6,Y6)=(80,40)
図6及び図7において、S51で、特徴量算出部102で算出した特徴量の組み合わせた値と、予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値を特徴量空間座標に配置する。例えば、特徴量算出部102で算出した特徴量の組み合わせた値として座標400を配置し、予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値として座標401〜406を配置する。次にS52に進み、配置した特徴量算出部102で算出した特徴量の組み合わせた値と、配置した予め設定してある各シーンを示す複数の前記特徴量の組み合わせた代表値との距離を算出する。例えば、配置した特徴量算出部102で算出した特徴量の組み合わせた値を座標(Xa,Ya)とする。配置した予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値の一つを座標(Xb,Yb)とする。距離は以下の式で表される。
距離=((Xa−Xb)の2乗+(Ya−Yb)の2乗)
次にS53に進み、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値数分の処理を行ったかどうかを判定する。予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値毎に距離を算出する。例えば、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値数は、座標401〜406の6個なので、6個分の距離を算出したか否かを判定する。特徴量算出部102で算出した値である座標400と座標401〜406の距離算出結果を以下に示す。
次にS53に進み、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値数分の処理を行ったかどうかを判定する。予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値毎に距離を算出する。例えば、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値数は、座標401〜406の6個なので、6個分の距離を算出したか否かを判定する。特徴量算出部102で算出した値である座標400と座標401〜406の距離算出結果を以下に示す。
座標400(X0,Y0)と座標401(X1,Y1)の距離=((X0−X1)の2乗+(Y0−Y1)の2乗)=((60−10)の2乗+(50−40)の2乗)=2600
座標400(X0,Y0)と座標402(X2、Y2)の距離=((X0−X2)の2乗+(Y0−Y2)の2乗)=((60−30)の2乗+(50−60)の2乗)=1000
座標400(X0,Y0)と座標403(X3,Y3)の距離=((X0−X3)の2乗+(Y0−Y3)の2乗)=((60−40)の2乗+(50−80)の2乗)=1300
座標400(X0,Y0)と座標404(X4,Y4)の距離=((X0−X4)の2乗+(Y0−Y4)の2乗)=((60−20)の2乗+(50−10)の2乗)=3200
座標400(X0,Y0)と座標405(X5,Y5)の距離=((X0−X5)の2乗+(Y0−Y5)の2乗)=((60−40)の2乗+(50−20)の2乗)=1300
座標400(X0,Y0)と座標406(X6,Y6)の距離=((X0−X6)の2乗+(Y0−Y6)の2乗)=((60−80)の2乗+(50−40)の2乗)=500
次にS54に進み、ステップS52で算出した代表値との距離の中で、最も距離の短い代表値を算出する。例えば、予め設定したシーンを示す特徴量の座標400(X0,Y0)と座標406(X6,Y6)の距離(L6)が最も短いので、座標406を代表値として算出する。次にS55に進み、算出した最も距離の短い代表値の予め設定したシーンを取得画像のシーンと判定する。例えば、最も距離の短い代表値を座標406の予め設定したシーンは露出不足シーンであるため、取得した画像データのシーンは露出不足シーンであると判定する。
座標400(X0,Y0)と座標402(X2、Y2)の距離=((X0−X2)の2乗+(Y0−Y2)の2乗)=((60−30)の2乗+(50−60)の2乗)=1000
座標400(X0,Y0)と座標403(X3,Y3)の距離=((X0−X3)の2乗+(Y0−Y3)の2乗)=((60−40)の2乗+(50−80)の2乗)=1300
座標400(X0,Y0)と座標404(X4,Y4)の距離=((X0−X4)の2乗+(Y0−Y4)の2乗)=((60−20)の2乗+(50−10)の2乗)=3200
座標400(X0,Y0)と座標405(X5,Y5)の距離=((X0−X5)の2乗+(Y0−Y5)の2乗)=((60−40)の2乗+(50−20)の2乗)=1300
座標400(X0,Y0)と座標406(X6,Y6)の距離=((X0−X6)の2乗+(Y0−Y6)の2乗)=((60−80)の2乗+(50−40)の2乗)=500
次にS54に進み、ステップS52で算出した代表値との距離の中で、最も距離の短い代表値を算出する。例えば、予め設定したシーンを示す特徴量の座標400(X0,Y0)と座標406(X6,Y6)の距離(L6)が最も短いので、座標406を代表値として算出する。次にS55に進み、算出した最も距離の短い代表値の予め設定したシーンを取得画像のシーンと判定する。例えば、最も距離の短い代表値を座標406の予め設定したシーンは露出不足シーンであるため、取得した画像データのシーンは露出不足シーンであると判定する。
本実施形態では、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値を任意に設定してあるが、これに限らない。例えば、代表値は、任意にシーンを指定した画像を設定し、設定した画像の特徴量を設定しても構わない。露出不足シーン、夜景シーン画像を任意で各5画像選択し、計10画像の明度成分、色のばらつき成分の特徴量を算出し、算出した値を代表値として設定してもよい。例えば、代表値は、任意にシーンを指定した画像の特徴量から、シーンが分類できる特徴量を学習によって算出して設定しても構わない。
学習方法は、ある程度の数のサンプルデータ集合を対象に解析を行い、そのデータから有用な規則、ルール、判断基準などを抽出し、得られた特徴量を代表値として設定してもよい。学習方法は、公知技術である遺伝的アルゴリズム(Genetic Algorithm:GA)やニューラルネットワーク(Neural Network)のいずれの方法を用いてもよい。または、教師あり学習を実行するための機械学習メタアルゴリズムの一種であるブースティングのいずれの方法を用いてもよい。又は、教師なし学習を実行するための機械学習メタアルゴリズムの一種である主成分分析やクラスター分析、ベクトル量子化(Vector Quantization:VQ)のいずれの方法を用いてもよい。
補正処理部104は、シーン判定部103で判定したシーンに応じて補正処理を制御する。
図8は、本発明の実施形態に係る補正処理部104の動作手順を示すフローチャートである。
まずS91で、色空間変換部101で色空間変換された画像データを入力する。例えば、画像取得装置211で取得した画像データYCbCrをRGBの色空間に変換した画像データを取得する。次にS92に進み、特徴量算出部102で算出した画像データの特徴量算出結果と、シーン判定部103で判定した画像データのシーン判定結果を取得する。例えば、特徴量算出部102で算出した画像データの特徴量として、明度成分として輝度(Y)の平均値とする。またシーン判定部103で判定したシーン判定結果として、判定された結果が露出不足又は夜景シーンであるとする。次にS93に進み、シーン判定結果がどのシーンに判定されたか判定する。例えば、シーン判定結果が露出不足シーンか夜景シーンであるか否かを判定する。次にS94に進み、シーン判定結果に応じて取得した画像データに対して補正処理を行う。ここでシーンが夜景と判定されていた場合は、夜景専用の階調補正処理を行う。また、シーンが露出不足と判定されていた場合は、露出不足専用の階調補正処理を行う。
図9(A)〜(C)のそれぞれは、本実施形態で画像補正に用いる補正γ曲線を示す図である。
図9(A)及び(B)、(C)の直線1000は、入力画像データの濃度に対して出力画像の濃度が同じ値である状態を示す。図9(A)の補正γ曲線1001は、入力画像データの濃度に対し出力画像の濃度が、暗い濃度はより暗く、明るい濃度はより明るくする階調補正を行う状態を示す。
図9(B)の補正γ曲線1002は、入力画像データの濃度に対し出力画像の濃度が、暗い濃度はより明るく、明るい濃度はより暗くする階調補正を行う場合を示している。図9(C)の補正γ曲線1003は、入力画像データの濃度に対し出力画像の濃度が、全体的に少し明るくなる階調補正を行う状態を示す。図9において、取得した画像データの画像濃度をRGBの0〜255の値であるとする。
補正処理の変換式を以下に示す。
R‘=255×(R/255)の(1/γ)乗
G‘=255×(G/255)の(1/γ)乗
B‘=255×(B/255)の(1/γ)乗
γの値が1より大きいとき、入力画像に対し出力画像が明るくなる設定となる。γの値が1より小さいとき、入力画像に対し出力画像が暗くなる設定となる。シーン判定結果が夜景と判定されていた場合には、夜景専用の補正処理として、暗い濃度はより暗く、明るい濃度はより明るくする補正を行う。例えば、図9(A)のγ曲線1001で補正処理を行う。
G‘=255×(G/255)の(1/γ)乗
B‘=255×(B/255)の(1/γ)乗
γの値が1より大きいとき、入力画像に対し出力画像が明るくなる設定となる。γの値が1より小さいとき、入力画像に対し出力画像が暗くなる設定となる。シーン判定結果が夜景と判定されていた場合には、夜景専用の補正処理として、暗い濃度はより暗く、明るい濃度はより明るくする補正を行う。例えば、図9(A)のγ曲線1001で補正処理を行う。
一方、シーン判定結果が露出不足と判定した場合には、露出不足専用の補正処理として、暗い濃度はより明るく、明るい濃度はより暗くする補正を行う。例えば、図9(B)のγ曲線1002で補正処理を行う。補正γ曲線のγの値は、取得した画像データの特徴量によって決定する。例えば、明度成分として輝度(Y)の平均値によって決定する。
本実施形態では、夜景シーンは図9(A)、露出不足シーンは図9(B)の補正γ曲線を選択しているが、本実施形態とは異なる補正γ曲線を選択しても構わない。例えば、シーン判定結果が露出不足であると判定した場合は、全体的に明るくなる補正処理を行う。例えば、図9(C)のγ曲線1003で補正処理を行うようにしても良い。
尚、本実施形態では、補正γ曲線のγの値は、明度成分として輝度(Y)の平均値によって決定しているが、算出した画像データの特徴量をいずれかを用いていれば、これに限らない。例えば、取得した画像データの特徴量として色のばらつき成分である色差(Cb)の分散値によって、γの値を決定する。また本実施形態では、図9に示すような階調補正処理を行っているが、少なくとも判定されたシーン結果を用いて補正処理を行う方法であれば、公知技術であるいかなる補正処理を用いても構わない。例えば、シーン判定結果が夜景の場合は、輝度の高い濃度値の彩度を上げる補正を行っても構わない。
また本実施形態では、印刷するための画像データに対し、シーン判定した結果を用いて補正処理を行う例を示しているが、シーンを判定してシーン結果を利用する装置及び方法であれば、これに限らない。例えば、デジタルカメラで撮影する際に、シーン判定して、露出量や撮影モード等の撮影の際の各種制御を行うために利用してもよい。例えば、画像レイアウトして表示する際に、シーン判定して、シーン別に画像データを振り分けレイアウトする処理に利用してもよい。
以上説明したように本実施形態によれば、明度成分と色のばらつき成分の特徴量を組み合わせた値を利用してシーンを分類することによって、夜景と露出不足シーンを判定することができる。
本実施形態の主要部をまとめると、次のようなものとなる。即ち、画像取得装置で、画像データを含むファイルを取得する。そして、取得したファイルから、画像データ及び画像サイズ等の付属情報を取得する。そして、取得した画像データを必要な色空間に変換を行う。そして、色空間変換した画像データを解析し、シーン判定に使用する明度成分と色のばらつき成分の特徴量を算出し代表値として設定する。そして、算出した代表値と予め設定してあるシーンの代表値との距離によって、画像データのシーンを判定する。
そして、シーン判定結果に応じて、補正処理の制御を行う。そして、プリンタで、補正画像を、印刷媒体に印刷する。以上が、本発明の実施形態の説明である。
そして、シーン判定結果に応じて、補正処理の制御を行う。そして、プリンタで、補正画像を、印刷媒体に印刷する。以上が、本発明の実施形態の説明である。
[その他実施形態]
また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システム或いは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システム或いは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
101…色空間変換部、102…特徴量算出部、103…シーン判定部、104…補正処理部、211…画像取得装置
Claims (8)
- 画像データ内の複数の画素の明度を取得する第1の取得工程と、
前記画像データ内の複数の画素のそれぞれの画素に対して色差を取得する第2の取得工程と、
少なくとも、前記第1の取得工程によって取得した複数の画素の明度に関する特徴量と、前記第2の取得工程によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であることを判定する判定工程と、
を有することを特徴とする画像処理方法。 - 前記判定工程は、前記複数の画素の明度に関する特徴量と前記複数の画素の色差のばらつきに関する特徴量と、予め設定されている露出不足を示す明度に関する特徴量と色差のばらつきに関する特徴量との関係に基づき、前記画像データが露出不足であるかを判定することを特徴とする請求項1に記載の画像処理方法。
- 前記判定工程は、少なくとも明度に関する特徴量と色差のばらつきに関する特徴量からなる特徴量空間において、前記明度に関する特徴量と前記色差のばらつきに関する特徴量を示す座標と、予め設定されている夜景と露出不足のそれぞれの明度に関する特徴量と色差のばらつきに関する特徴量を示す座標との距離を算出し、前記算出した距離のうち、前記明度に関する特徴量と色差のばらつきに関する特徴量の座標から最も距離が近い座標に設定されているシーンを前記画像データのシーンとして判定することを特徴とする請求項1に記載の画像処理方法。
- 前記明度に関する特徴量は輝度であることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理方法。
- さらに、前記複数の画素の明度に関する特徴量を用いて、前記画像データの明るさに関する特徴量を算出する算出工程を有し、
前記判定工程は、少なくとも、前記算出工程によって算出された前記画像データの明るさに関する特徴量と前記色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であるかを判定することを特徴とする請求項1に記載の画像処理方法。 - 前記第1の取得工程によって取得した複数の画素の明度は、YCbCr色空間におけるY成分、Lab表色系のL成分、Luv表色系のL成分及びHSV色空間におけるV成分のいずれかであることを特徴とする請求項1乃至5のいずれか一項に記載の画像処理方法。
- 画像データ内の複数の画素の明度を取得する第1の取得手段と、
前記画像データ内の複数の画素のそれぞれの画素に対して色差を取得する第2の取得手段と、
少なくとも、前記第1の取得手段によって取得した複数の画素の明度に関する特徴量と、前記第2の取得手段によって取得した複数の画素の色差のばらつきに関する特徴量とを用いて、前記画像データが露出不足であることを判定する判定手段と、
を有することを特徴とする画像処理装置。 - 請求項1乃至6のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122469A JP6343373B2 (ja) | 2017-06-22 | 2017-06-22 | 画像処理方法及び画像処理装置とプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122469A JP6343373B2 (ja) | 2017-06-22 | 2017-06-22 | 画像処理方法及び画像処理装置とプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015241407A Division JP6166768B2 (ja) | 2015-12-10 | 2015-12-10 | 画像処理装置及び画像処理方法とプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017200220A JP2017200220A (ja) | 2017-11-02 |
JP6343373B2 true JP6343373B2 (ja) | 2018-06-13 |
Family
ID=60238329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017122469A Active JP6343373B2 (ja) | 2017-06-22 | 2017-06-22 | 画像処理方法及び画像処理装置とプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6343373B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4057147B2 (ja) * | 1998-06-16 | 2008-03-05 | コニカミノルタビジネステクノロジーズ株式会社 | 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置 |
JP4123724B2 (ja) * | 2001-01-30 | 2008-07-23 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置および画像処理方法 |
JP2007228221A (ja) * | 2006-02-23 | 2007-09-06 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム |
JP4862720B2 (ja) * | 2007-03-27 | 2012-01-25 | セイコーエプソン株式会社 | 情報処理方法、情報処理装置、プログラム、及び記憶媒体 |
-
2017
- 2017-06-22 JP JP2017122469A patent/JP6343373B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017200220A (ja) | 2017-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5743384B2 (ja) | 画像処理装置及び画像処理方法とコンピュータプログラム | |
JP5424712B2 (ja) | 画像処理装置及びその制御方法とプログラム | |
JP5451213B2 (ja) | 画像処理装置及び画像処理方法並びにコンピュータプログラム | |
JP5032911B2 (ja) | 画像処理装置及び画像処理方法 | |
EP1292108B1 (en) | Image processing apparatus for print process of photographed image | |
JP4529888B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US8391646B2 (en) | Image processing device and method that performs image quality adjustment and resize processing on image data | |
JP2005190435A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
US10848644B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP4324044B2 (ja) | 画像処理装置およびその方法 | |
US7369163B2 (en) | Image processing apparatus, image processing method, and program using condition information for image processing | |
JP6166768B2 (ja) | 画像処理装置及び画像処理方法とプログラム | |
JP2005192162A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
JPH11120325A (ja) | 画像評価方法、画像評価プログラムを記録した媒体および画像評価装置 | |
JP6343373B2 (ja) | 画像処理方法及び画像処理装置とプログラム | |
JP5856640B2 (ja) | 画像処理装置及び画像処理方法とプログラム | |
JP2005192158A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
JP5826237B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2000105820A (ja) | モノト―ン変換装置、モノト―ン変換方法およびモノト―ン変換プログラムを記録した媒体 | |
JP2008147714A (ja) | 画像処理装置およびその方法 | |
JP4332474B2 (ja) | 画像処理装置およびその方法 | |
JP5062156B2 (ja) | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 | |
JP2003051002A (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP2003125199A (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP2003051001A (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180518 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6343373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |