JP5440173B2 - 画像補正方法及び画像補正装置並びにプログラム - Google Patents

Description

［関連出願の記載］
本発明は、日本国特許出願：特願２００７−２７８９９２号（２００７年１０月２６日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像品質を向上させるために色や階調を補正する画像補正方法及び画像補正装置並びにプログラムに関する。

近年、デジタルカメラ機能を備えた携帯電話機が普及しており、撮影した画像を携帯電話機の画面で鑑賞したり、パーソナルコンピュータなどのコンピュータ機器に転送して表示したり、写真プリントを作成するなど、様々な形態で利用されている。ここで、デジタルカメラで撮影された画像は撮影時の露出調整の不備等により鑑賞画像として適していない場合があり、そのような場合には、携帯電話機やコンピュータ機器、プリンタなどの機器に設けられた画像補正装置を用いて、色補正や階調補正などの画像補正が行われる。

この色補正や階調補正などの画像補正における補正量は、画像に応じて最適な値に設定する必要があり、この最適値は、画像内容に依存するし、見る人の好みにも依存する。従って、理想的な画像補正を行うためにはユーザが１枚１枚手動で補正量を調整する必要があるが、手動で大量の画像補正を行うには莫大な工数を必要とする。そこで、機器側で自動的に画像補正を制御する方法が提案されており、例えば、下記非特許文献１には、ヒストグラム解析を利用した自動画像補正方法が提案されている。

しかしながら、上記画像補正方法では、ポートレート（人物写真）、風景、花、夜景のような対象物を認識してこれらを自動的に分類することができないため、シーンによっては過度の補正が行われる場合があった。例えば、ポートレートにもかかわらず、彩度を強調しすぎて肌色が赤くなりすぎるといった場合があった。そこで、近年、シーンを認識することにより、画像補正量を動的に変更する方法が提案されている。例えば、下記特許文献１、２には、画像中から顔領域を認識し、その部分の色分布を解析することによってポートレートに適切な補正量を算出し、算出した補正量に従って画像を補正する方法が開示されている。

ここで、シーンの認識処理は、通常、入力画像中からエッジや色などの特徴量を算出し、それらの特徴量に基づいてパタン認識処理を行うことで実行されるが、パタン認識処理においては誤認識の確率は０ではない。しかしながら、特許文献１、２に記載の画像補正方法は、シーン認識が誤る場合を考慮していないため、シーン認識処理が間違った場合には、補正量が不適切になって画質の破綻を招くという問題があった。

また、撮影された画像中の対象物は一つとは限らず、複数の対象物が混在する場合が多い。例えば、人物と芝生、人物と花、人物と夜景などの場合である。このように複数の対象が混在する場合には、一つの対象物に適した補正を行うと、他の対象物の画像に悪影響を及ぼす可能性がある。

そこで、下記特許文献３では、複数の対象物が混在する場合の問題を解決するため、撮影された複数の対象物のそれぞれに応じた補正画像を複数枚作成し、この複数枚の補正画像を対象物の位置に応じて合成する方法を開示している。しかしながら、補正画像を複数枚作成するためには大量のワークメモリを必要とするため、処理コストが増大するという問題があった。さらに、対象物の誤認識に対する考慮もないため、誤認識の場合には、同様に画質の破綻を招くという問題があった。

特開平１１−２８３０２５号公報 特開２０００−１８２０４３号公報 特開平１１−２０５５８３号公報 A.Inoue and J.Tajima, "Adaptive Quality Improvement Method for Color Images," Proc. of SPIE, Vol.2179, pp.429-439, 1994.

なお、上記特許文献及び非特許文献の全開示内容はその引用をもって本書に繰込み記載する。以下の分析は、本発明によって与えられたものである。
このように、上述した画像補正方法では以下に示す問題がある。

第１の問題点は、複数の対象物が混在する画像を適切に補正することができないという点である。その理由は、ある一つの対象物に適した補正を実行すると、他方の対象物の画質が劣化してしまう場合があるからである。

第２の問題点は、複数の対象物の位置を認識してそれぞれの対象物に応じた補正画像を作成しこれらを対象物の位置に応じて合成するという方法を採用すると、処理コストが増大するという点である。その理由は、それぞれの対象物に応じた補正画像を保存するためのワークメモリが必要になるからである。

第３の問題点は、シーン認識処理において誤認識を起こした場合に、画質の破綻を招く点である。その理由は、誤認識が起こる場合を想定していないからである。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、複数の対象物を含む画像を、処理コストを増大させることなく適切に補正することができる画像補正方法及び画像補正装置並びにプログラムを提供することにある。

本発明の第１の視点に係る画像補正方法は、入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出工程と、前記複数のシーン帰属率と未知のシーンに属する確率を規定する未知シーン帰属率とを用いて、シーン別の補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ算出工程と、前記合成補正パラメータを用いて、前記入力画像に画像補正処理を施す画像補正工程と、を含むことを特徴とする。
本発明の第２の視点に係る画像補正装置は、入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出手段と、未知のシーンに属する確率を規定する未知シーン帰属率を指定する未知シーン帰属率指定手段と、シーン別の補正パラメータを保存するシーン別補正パラメータ保存手段と、前記複数のシーン帰属率と前記未知シーン帰属率とを用いて、前記補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ合成手段と、前記合成補正パラメータを用いて、前記入力画像に画像補正処理を施す画像補正手段と、を備えることを特徴とする。
本発明の第３の視点に係るプログラムは、入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出手段とするとともに、前記複数のシーン帰属率と未知のシーンに属する確率を規定する未知シーン帰属率とを用いて、シーン別の補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ合成手段として、コンピュータを機能させることを特徴とする。
第１の展開形態の画像補正方法は、前記補正パラメータ算出工程において、前記合成補正パラメータを、さらにシーン別の誤分類に対する重み値を用いて算出することが好ましい。
第２の展開形態の画像補正方法は、前記補正パラメータが、彩度強調量であることが好ましい。
第３の展開形態の画像補正方法は、前記重み値が、誤認識による画質に対する影響が大きいものほど大きい値をとることが好ましい。
第４の展開形態の画像補正装置は、シーン別の誤分類に対する重み値を保存するシーン別誤分類重み保存手段をさらに備え、前記補正パラメータ合成手段が、前記合成補正パラメータを、さらに前記重み値を用いて算出することが好ましい。
第５の展開形態のプログラムは、前記補正パラメータ合成手段において、前記合成補正パラメータを、さらにシーン別の誤分類に対する重み値を用いて算出するようコンピュータを機能させることが好ましい。
本発明の第４の視点に係る画像補正方法は、
入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出工程と、
前記複数のシーン帰属率と未知のシーンに属する確率を規定する未知シーン帰属率とを用いて、シーン別の補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ算出工程と、
前記合成補正パラメータを用いて、前記入力画像に画像補正処理を施す画像補正工程と、を含み、
前記補正パラメータ算出工程において、前記合成補正パラメータを、さらに、誤分類による画質への影響の度合いをシーン別に示す誤分類重みを用いて算出する。
本発明の第５の視点に係る画像補正装置は、
入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出手段と、
未知のシーンに属する確率を規定する未知シーン帰属率を指定する未知シーン帰属率指定手段と、
シーン別の補正パラメータを保存するシーン別補正パラメータ保存手段と、
前記複数のシーン帰属率と前記未知シーン帰属率とを用いて、前記補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ合成手段と、
前記合成補正パラメータを用いて、前記入力画像に画像補正処理を施す画像補正手段と、
誤分類による画質への影響の度合いをシーン別に示す誤分重みを保存するシーン別誤分類重み保存手段と、を備え、
前記補正パラメータ合成手段は、前記合成補正パラメータを、さらに、前記誤分類重み値を用いて算出する。
本発明の第６の視点に係るプログラムは、
入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出手段とするとともに、
前記複数のシーン帰属率と未知のシーンに属する確率を規定する未知シーン帰属率とを用いて、シーン別の補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ合成手段として、コンピュータを機能させ、
前記補正パラメータ合成手段において、前記合成補正パラメータを、さらに、誤分類による画質への影響の度合いをシーン別に示す誤分類重みを用いて算出するように前記コンピュータを機能させる。

本発明の画像補正方法及び画像補正装置並びにプログラムによれば、下記記載の効果を奏する。

本発明の第１の効果は、複数のシーン帰属率算出手段を設けて、複数のシーンカテゴリに対するシーン帰属率に基づいて補正パラメータを制御することにより、複数の対象物が混在する画像を適切に補正することができるということである。

また、本発明の第２の効果は、補正画像自体を合成するのではなく、補正パラメータをシーン帰属率に応じて合成することにより、ワークメモリの消費を抑え、処理コストを低減することができるということである。

また、本発明の第３の効果は、複数のシーン帰属率算出手段を設けて、複数のシーンカテゴリに対するシーン帰属率を求めることにより、特定のシーンに対する分類誤りの影響を分散させることができるということである。

また、本発明の第４の効果は、複数のシーン帰属率算出手段に加えて未知シーン帰属率指定手段を設けて、どのカテゴリにも属さない確率を考慮して補正パラメータを制御することにより、未知のカテゴリの対象物が混在する画像に対しても、破綻のない適切な画像補正を行うことができるということである。

本発明の第１の実施の形態に係る画像補正装置の構成を示すブロック図である。 シーン別補正パラメータの例を示す図である。 本発明の第２の実施の形態に係る画像補正装置の構成を示すブロック図である。

符号の説明

１ シーン帰属率算出手段
２ 未知シーン帰属率指定手段
３ シーン別補正パラメータ保存手段
４、７ 補正パラメータ合成手段
５ 画像補正手段
６ シーン別補正パラメータ
８ シーン別誤分類重み保存手段

背景技術で示した画像補正方法では、複数の対象物が混在する画像を適切に補正することができず、複数の対象物の各々に応じた補正画像を生成して合成する方法を採用すると、処理コストが増大し、また、シーン認識処理において誤認識を起こした場合に画質の破綻を招くという問題があった。

そこで、本発明では、画像補正装置に、複数の対象物が混在する画像を適切に補正するために、様々なシーンカテゴリに対応した複数のシーン帰属率算出手段を設ける。また、処理コストを低減するために、補正画像を合成するのではなく補正パラメータを合成する補正パラメータ合成手段を設ける。更に、シーンの誤認識を防止するために、上記複数のシーン帰属率算出手段に加えて未知シーン帰属率指定手段を設ける。以下、図面を参照して詳細に説明する。

なお、本実施形態の画像補正装置は、携帯電話機やデジタルカメラ、コンピュータ機器、プリンタなどの画像補正を行う任意の機器に組み込まれて動作するものであるが、以下では本発明の特徴部分である画像補正装置のみについて説明する。

［実施形態１］
まず、本発明の第１の実施形態に係る画像補正方法及び画像補正装置並びにプログラムについて、図１及び図２を参照して説明する。図１は、本実施形態の画像補正装置の構成を示すブロック図であり、図２は、シーン別補正パラメータの例を示すテーブルである。

図１を参照すると、本実施形態の画像補正装置は、入力画像を解析して各カテゴリのシーンに属する確率を規定する値（シーン帰属率と呼ぶ。）を算出するシーン帰属率算出手段１と、未知のシーンに属する確率を規定する値（未知シーン帰属率と呼ぶ。）を指定する未知シーン帰属率指定手段２と、シーンカテゴリ別の補正パラメータを保存するシーン別補正パラメータ保存手段３と、シーン別補正パラメータを合成する補正パラメータ合成手段４と、合成した補正パラメータに基づいて画像補正を実行する画像補正手段５を備える。また、シーン帰属率算出手段１は、ｎ個のシーン帰属率算出手段１ａを含む。以下、各々の手段について詳述する。

シーン帰属率算出手段１は、複数のシーンカテゴリに対するシーン帰属率ｐｃ（c＝１,２,…ｎ）を算出する。このシーン帰属率算出手段１の例として、例えば、線形判別式を用いたシーン分類方法がある。入力画像をｎ個のカテゴリに分類するための線形判別式は、式（１）の通りである。

ｘｉはｍ次元の特徴量であり、ｙは任意のシーンカテゴリｃに属するときに１、そうでないときに−１と定義する。まず、複数の教師画像を用意して手動でｙ値を与え、式（１）を最小二乗法によって解くことにより、最適な係数ａｉを求める。次に、入力画像に対して特徴量ｘｉを算出し、係数ａｉと特徴量ｘｉを式（１）に当てはめることにより、入力画像に対するｙ値を得ることができる。このｙ値が１に近ければ入力画像はシーンカテゴリｃに属し、−１に近ければ、シーンカテゴリｃに属さないと判定することができる。
このシーン帰属率は、例えばｙ値が１のときに１．０、ｙ値が−１のときに０．０となるように正規化することもできる。判別式がｙｃ（−１≦ｙｃ≦１）である場合の、シーン帰属率ｐｃの算出法の一例を式（２）に示す。

そして、係数ａｉを複数のシーンカテゴリｃ（c＝１,２,…ｎ）について算出しておくことにより、複数のシーンカテゴリに対するシーン帰属率を計算することができる。このようにして、シーン帰属率算出手段１は、ｎ個のシーンカテゴリに対するシーン帰属率ｐｃ（c＝１,２,…ｎ）を算出する。

未知シーン帰属率指定手段２は、入力画像が想定するどのシーンカテゴリにも属さない確率（未知シーン帰属率）を指定する手段である。この未知シーン帰属率は、シーン帰属率算出手段１の誤認識を補償するために用いるものであり、ユーザが手動で指定することもできるし、あらかじめ固定値を指定しておくことも可能である。

シーン別補正パラメータ保存手段３は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリ、ＨＤＤ（Hard Disk Drive）などからなり、シーンカテゴリ別の、最適な補正パラメータを保存する。

図２にシーン別補正パラメータ保存手段３に保存するデータの一例を示す。図２は、シーン別補正パラメータ６として、未知シーンを含む、０から４までの５つのシーンカテゴリにおける彩度強調量ｋを保存している例である。この彩度強調量ｋは、式（３）によって補正される色の彩度を強調するパラメータである。

行列Ｍは、ＹＣｂＣｒ座標系への変換行列であり、式（４）で表される。

補正パラメータ合成手段４は、入力画像の複数のシーン帰属率ｐｃと未知シーン帰属率とを用いて、シーン別補正パラメータ６を合成して、入力画像に適した補正パラメータを算出する。ここで、未知シーンを含めたシーン帰属率ベクトルを式（５）で表す。ｐ０は未知シーン帰属率指定手段２によって指定された未知シーン帰属率であり、ｐ１〜ｐｎは、シーン帰属率算出手段１によって算出されたｎ個のシーンカテゴリに対するシーン帰属率である。

シーンカテゴリｃに対する補正パラメータをｋｃとすると、新たな合成後の補正パラメータｋ’は、式（６）によって算出される。これを合成補正パラメータと呼ぶ。

画像補正手段５は、補正パラメータ合成手段４によって算出された合成補正パラメータｋ’を用いて、画像補正処理を行う。画像補正手段５の一例として、式（３）を実行する画像処理手段がある。

このように、入力画像の複数のシーン帰属率ｐｃと未知シーン帰属率とを用いて、シーン別補正パラメータの加重平均である合成補正パラメータを求め、この合成補正パラメータに基づいて画像補正処理を実行することにより、複数の対象物が混在する画像であっても適切に補正することができ、中間処理画像を保存する必要がないため余分なワークメモリの消費を抑えて処理コストを低減することができ、シーン認識処理の誤認識を防止することができる。

なお、シーン帰属率算出手段１及び補正パラメータ合成手段４はハードウェアとして構成してもよい。また、コンピュータを、シーン帰属率算出手段１及び補正パラメータ合成手段４として機能させるプログラムとして構成し、該プログラムをＣＰＵ（Central Processing Unit）及びメモリで構成される制御手段上で動作させる構成としてもよい。

以下、具体例を挙げて説明する。

今、シーンカテゴリＡ、Ｂ、Ｃの３つに対するシーン分類を行うものと仮定する。シーンカテゴリＡへの分類が正しい場合には、Ａに対するシーン帰属率のみが高く、シーンカテゴリＢ、Ｃに対するシーン帰属率は相対的に低くなるのが一般的である。このような場合には、シーンカテゴリＡへの分類は正しいと考えられるので、補正パラメータもシーンカテゴリＡのものを用いればよい。

ところが、シーンカテゴリＡへの帰属率が高く、かつシーンカテゴリＢへの帰属率も高いという場合には、入力画像がシーンカテゴリＡである信頼性は低くなる。このような結果になる場合として、画像中にシーンカテゴリＡとＢの両方の対象物が混在している場合が考えられる。このような場合の補正量は、シーンカテゴリＡだけでなく、シーンカテゴリＢの補正パラメータを考慮するほうが望ましい。このような場合において、本実施形態の画像補正装置では他のシーンカテゴリのシーン帰属率を利用しているため、単一のシーン帰属率への過信を防止することができる。

また、シーンカテゴリＡ、Ｂ、Ｃのいずれもが中程度、あるいはすべてが低い値というケースがある。これはシーンカテゴリＡ、Ｂ、Ｃのどれにも属さない入力画像の場合にしばしば起こる。このような画像の場合には、未知シーンの補正パラメータ、あるいは、シーンカテゴリＡ、Ｂ、Ｃの補正パラメータの中庸に抑えるのが望ましい。このような場合において、本実施形態の画像補正装置では未知シーン帰属率を利用しているため、破綻のない適切な画像補正を行うことができる。

［実施形態２］
次に、本発明の第２の実施形態に係る画像補正方法及び画像補正装置並びにプログラムについて、図３を参照して説明する。図３は、本実施形態の画像補正装置の構成を示すブロック図である。

前記した第１の実施形態では、複数のシーン帰属率を同等に扱う場合を示したが、入力画像によっては、シーン帰属率を重み付けした方が誤認識に対する悪影響を抑制することができる。そこで、本実施形態では、図３に示すように、画像補正装置を、入力画像を解析して複数のシーン帰属率を算出する、シーン帰属率算出手段１と、入力画像が未知シーンである確率値（未知シーン帰属率）を指定する未知シーン帰属率指定手段２と、シーン別の補正パラメータを保存するシーン別補正パラメータ保存手段３と、シーン別の誤分類に対する重み値（シーン別誤分類重みと呼ぶ。）を保存するシーン別誤分類重み保存手段７と、シーン別補正パラメータを合成する補正パラメータ合成手段８と、合成した補正パラメータに基づいて画像補正を実行する画像補正手段５を備える。

そして、補正パラメータ合成手段８は、入力画像の各シーンカテゴリのシーン帰属率ｐｃと、未知シーン帰属率と、シーン別補正パラメータと、シーン別誤分類重みとに基づいて、入力画像に適した補正パラメータを算出する。

具体的に説明すると、未知シーンを含めたシーン帰属率ベクトルを式（５）で表し、シーン別誤分類重みを式（７）で表す。式（７）において、ｗ０は未知シーンにおける誤分類重みである。ｗ１〜ｗｎは、ｎ個のシーン別の誤分類重みである。

シーンｃに対する補正パラメータをｋｃ、誤分類係数をｒｃとすると、合成補正パラメータは、式（８）を用いて算出される。

誤分類係数ｒｃは、シーンカテゴリ別の、誤認識に対する悪影響を反映する係数である。誤分類係数ｒｃの算出方法の一例を式（９）に示す。

具体的に説明すると、例えば、風景を夜景と間違えると出力画質が極端に悪くなるが、夜景を風景と間違えたときにはあまり影響がない、といった設定であったとする。この場合には夜景シーンに対する分類誤りのほうが画質への影響が大きいので、夜景分類の誤認識の影響をなるべく低減する必要がある。このような場合には夜景シーンに対する誤分類重みｗｃを大きくしておくことにより、シーン帰属率が低い場合にはｒｃが小さくなって、合成パラメータ算出への影響を低減させることができる。

このように、画像補正装置にシーン別誤分類重みを保存し、シーン帰属率ｐｃと未知シーン帰属率とシーン別誤分類重みとを用いて、シーン別補正パラメータを合成することにより、シーンカテゴリの誤分類による悪影響を、誤分類重み値を用いて低減することができる。

なお、本発明は上記記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更可能である。

本発明は、入力した画像を補正して出力する任意の機器、例えば、カメラ機能付き携帯電話機、デジタルカメラ、コンピュータ機器、プリンタなどに利用可能である。

本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施例ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (5)

1. 入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出工程と、
   前記複数のシーン帰属率と未知のシーンに属する確率を規定する未知シーン帰属率とを用いて、シーン別の補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ算出工程と、
   前記合成補正パラメータを用いて、前記入力画像に画像補正処理を施す画像補正工程と、を含み、
   前記補正パラメータ算出工程において、前記合成補正パラメータを、さらに、誤分類による画質への影響の度合いをシーン別に示す誤分類重みを用いて算出する、画像補正方法。
2. 前記補正パラメータは、彩度強調量である、請求項１に記載の画像補正方法。
3. 前記誤分類重みは、誤認識による画質に対する影響が大きいものほど大きい値をとる、請求項１または２に記載の画像補正方法。
4. 入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出手段と、
   未知のシーンに属する確率を規定する未知シーン帰属率を指定する未知シーン帰属率指定手段と、
   シーン別の補正パラメータを保存するシーン別補正パラメータ保存手段と、
   前記複数のシーン帰属率と前記未知シーン帰属率とを用いて、前記補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ合成手段と、
   前記合成補正パラメータを用いて、前記入力画像に画像補正処理を施す画像補正手段と、
   誤分類による画質への影響の度合いをシーン別に示す誤分重みを保存するシーン別誤分類重み保存手段と、を備え、
   前記補正パラメータ合成手段は、前記合成補正パラメータを、さらに、前記誤分類重み値を用いて算出する、画像補正装置。
5. 入力画像の特徴量から、各カテゴリのシーンに属する確率を規定する複数のシーン帰属率を求めるシーン帰属率算出手段とするとともに、
   前記複数のシーン帰属率と未知のシーンに属する確率を規定する未知シーン帰属率とを用いて、シーン別の補正パラメータの加重平均である合成補正パラメータを算出する補正パラメータ合成手段として、コンピュータを機能させ、
   前記補正パラメータ合成手段において、前記合成補正パラメータを、さらに、誤分類による画質への影響の度合いをシーン別に示す誤分類重みを用いて算出するように前記コンピュータを機能させる、プログラム。

Images