JP7106318B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像内の色差を評価する画像処理技術に関する。

近年、デジタルスチルカメラやデジタルビデオカメラといったデジタル撮像装置を利用した対象物の計測が広く行われている。その一例としては製品の測色があり、例えば、デジタル撮像装置により対象物の色度を計測して塗装ムラなどの表面欠陥を検査する技術がある（特許文献１）。

特開平１１－１０８７５９号公報

上述のような測色技術において、対象物品を高解像度で測色したい場合、撮像素子の一画素当たりの受光面積が小さくなるため、測色値へのノイズの影響が大きくなる。また、撮影環境が暗い場合など、高いＩＳＯ感度で撮影せざるを得ない状況においても、測色値がノイズの影響を強く受ける。これらの場合に得られる測色結果は被写体自体の特性とノイズとが混在したものとなるが、ユーザにはその判別が困難である。

本発明に係る装置は、対象物の撮影画像を取得する取得手段と、輝度成分と色度成分を表す少なくとも一つの色信号値を、基準値として設定する基準値設定手段と、前記撮影画像に含まれる画素の色信号値を、輝度成分と色度成分を表す色信号値に変換する色変換手段と、前記変換された色信号値と前記基準値との色差を表す色差情報を生成する生成手段と、を備え、前記生成手段は、前記色差が所定の閾値以下の場合、当該色差を規定値に置き換えることを特徴とする。

本発明に係る装置は、対象物の撮影画像を取得する取得手段と、輝度成分と色度成分を表す少なくとも一つの色信号値を、基準値として設定する基準値設定手段と、前記撮影画像に含まれる画素の色信号値を、輝度成分と色度成分を表す色信号値に変換する色変換手段と、前記変換された色信号値と前記基準値との色差を表す色差情報を生成する生成手段と、を備え、前記生成手段は、前記色差が前記撮影画像のノイズを基に設定された閾値以下の場合、当該色差を規定値に置き換える、ことを特徴とする。

システム構成の一例を示す図 画像処理装置のハードウェア構成の一例を示す図 画像処理装置のソフトウェア構成を示す機能ブロック図 実施形態１に係る、色差情報を生成する処理の流れを示すフローチャート 色差マップ生成用ＵＩ画面の一例を示す図 基準値が指定される様子を示す図 色差マップ生成処理の詳細を示すフローチャート （ａ）は従来手法による１次元の色差マップの一例を示す図、（ｂ）は本実施形態により得られる１次元の色差マップの一例を示す図 （ａ）は市松模様の暗部における色差を示した２次元の色差マップの一例を示す図、（ｂ）は色差置換後の対応する図 実施形態２に係る、閾値設定処理の詳細を示すフローチャート （ａ）及び（ｂ）はノイズ量データとしてのテーブルの一例を示す図 閾値算出処理の詳細を示すフローチャート 実施形態３に係る、閾値設定処理の詳細を示すフローチャート （ａ）はノイズ分布量データとしてのヒストグラムの一例を示す図、（ｂ）はノイズ区間の一例を示す図 ２つの基準値が指定される様子を示す図 実施形態４に係る、色差マップ生成処理の詳細を示すフローチャート （ａ） 及び（ｂ）は色差置換前の１次元の色差マップを示す図、（ｃ）は色差置換後の１次元の色マップを示す図 実施形態５に係る、ラインプロファイル生成用のＵＩ画面の一例を示す図 実施形態５に係る、色差情報生成処理の流れを示すフローチャート

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

実施形態１

図１は、本発明を適用可能なシステム構成の一例を示す図である。画像処理装置１００は、例えば一般的なＰＣ（パーソナル・コンピュータ）であり、デジタル撮像装置１１０から被写体としてのチャート１２０の撮影画像のデータをその撮影時のＩＳＯ感度などの撮影パラメータと共に取得して、撮影画像内の色差を表す情報を生成する。

図２は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インタフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆ１０４は、デジタル撮像装置１１０、マウスやキーボードなどの入力装置１０６、メモリカードなどの外部メモリ１０７をメインバス１０９に接続する。本実施形態では、ユーザが指定した一つの基準値に対する色差を、チャート１２０の撮影画像における画素毎に算出し、規定の閾値以下の色差を一定値に置き換えることで、ノイズの影響を排除した色差マップを生成する。図３は、そのような色差マップの生成を可能にする画像処理装置１００のソフトウェア構成を示す機能ブロック図であり、画像入力部２０１、基準値設定部２０２、閾値設定部２０３、色差マップ生成部２０４、表示制御部２０６を備える。色差マップ生成部２０４は、さらに色変換部２０５、色差算出部２０６、色差置換部２０７で構成される。これら各部は、ＣＰＵ１０１がＨＤＤ１０３に格納された所定のプログラムをＲＡＭ１０２に展開しこれを実行することで実現される。なお、以下に示す各実施形態では、測色対象の被写体として、モノクロの市松模様のチャート１２０を用いて説明を行なっている。しかし、市松模様のチャートは本実施形態を分かりやすく説明するための便宜的なものであり、実際の測色対象の被写体としては、立体的な形状を持つ物品（例えば自動車などの工業製品）が想定される。

図４は、本実施形態に係る、色差情報生成処理の流れを示すフローチャートである。この色差情報生成処理は、例えば図５に示すＵＩ画面を介したユーザ操作に基づき実行される。以下、図４のフロー に沿って説明する。なお、以下の説明における記号「Ｓ」はステップを表す。

Ｓ４０１では、被写体としてのチャート１２０の撮像画像のデータが取得される。ユーザが、図５に示すＵＩ画面５００内の「画像入力」ボタン５０１を押下すると、撮影画像データの格納場所のアドレス等を入力するサブウィンドウ（不図示）が表示され、ユーザは当該サブウィンドウで対象の撮影画像を指定して「ＯＫ」ボタン５０５を押下する。すると、処理対象の撮影画像のデータが読み込まれ、ＵＩ画面５００内の画像表示エリア５０４に表示される。いま、画像表示エリア５０４には、市松模様のチャート１２０を撮影した画像が表示されている。なお、撮影画像データは、デジタル撮像装置１１０や外部メモリ１０７から読み込まれる。この際、入力された撮像画像データをＨＤＤ１０３などの記憶装置に一旦記憶しておき、それを読み出して取得してもよい。

次に、Ｓ４０２では、Ｓ４０１で取得した撮影画像において色差を算出する際の基準となる色信号値、具体的には、輝度成分と色度成分とで特定される色信号値（以下、「基準値」と表記）が設定される。ユーザが、図５に示すＵＩ画面５００内の「基準値指定」ボタン５０２を押下した上で、画像表示エリア５０４内でポインタを移動させるなどして任意の位置を指定して「ＯＫ」ボタン５０５を押下すると、当該指定した位置の色信号値が基準値として設定される。一般に、デジタル撮像装置１１０で撮影された画像はＲＧＢ表色系のＲＧＢ値で表現されているため、これを例えばＣＩＥＬＡＢ表色系のＬａｂ値へ変換することで、輝度成分と色度成分とからなる基準値が設定されることになる。本実施形態では、ユーザが指定した位置の座標点におけるＲＧＢ値がＬａｂ値へ変換されて基準値が設定される。こうして設定された基準値の情報は、その座標点の情報と対応付けてＲＡＭ１０２等に保持される。図６は、基準値が指定される様子を示す図である。この例では、ユーザが指定した位置が×印で示されており、撮影画像上の当該×印の座標点（ｘ0，ｙ0）におけるＬａｂ値（Ｌ₀，ａ₀，ｂ₀）のデータがＲＡＭ１０２に保存される。

そして、Ｓ４０３では、Ｓ４０２で設定された基準値を基に色差マップの生成がなされる。ユーザが、図５に示すＵＩ画面５００内の「色差算出」ボタン５０３を押下すると、色差マップの生成が開始される。図７は、色差マップ生成処理の詳細を示すフローチャートである。以下、図７のフローに沿って詳しく説明する。

Ｓ７０１では、ノイズ成分を除去するための閾値ｔｈが設定される。本実施形態では、予め用意した所定値（例えば色差ΔＥ＝１．０）をＨＤＤ１０３から読み出して、閾値ｔｈとして設定する。この際、Ｓ４０２で設定された基準値に応じて異なる閾値ｔｈが設定されるよう複数の値を用意しておいてもよい。例えば、基準値が黒のときは閾値を大きくし、基準値が白のときは閾値を小さくするといった具合である。

Ｓ７０２では、Ｓ４０１で取得した撮影画像に対し色変換処理が実行される。本実施形態では、デジタル撮像装置１１０に依存したＲＧＢ色空間から均等色空間であるＬａｂ色空間へ変換行列によって変換する。取得した撮影画像における、左上から水平方向にｘ画素目、垂直方向にｙ画素目の各８ｂｉｔのＲＧＢ値を、それぞれＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）として、具体的な色変換処理について説明する。まず、各ＲＧＢ値を０以上１以下の値に正規化した後、入力画像の撮影に使用したデジタル撮像装置１０５のγ特性をかけ、輝度リニアな色データＲ´、Ｇ´、Ｂ´を求める。Ｒ´、Ｇ´、Ｂ´はそれぞれ以下の式（１）～式（３）で表される。
Ｒ´（ｘ，ｙ）＝｛Ｒ（ｘ，ｙ）／２５５｝＾γ ・・・式（１）
Ｇ´（ｘ，ｙ）＝｛Ｇ（ｘ，ｙ）／２５５｝＾γ ・・・式（２）
Ｂ´（ｘ，ｙ）＝｛Ｂ（ｘ，ｙ）／２５５｝＾γ ・・・式（３）

次に、Ｒ´Ｇ´Ｂ´で示される色データをＣＩＥＸＹＺ表色系の三刺激値Ｘ、Ｙ、Ｚへと変換する。ＣＩＥＸＹＺ表色系の示すＸＹＺ値は、撮像デバイスや撮影条件に非依存の色信号値であり、例えば、分光放射輝度計で測定された分光放射輝度の値と等色関数を畳み込み演算して求めることができる。Ｒ´Ｇ´Ｂ´／ＸＹＺ変換行列は、例えば３行３列の行列である。この３行３列の行列と、Ｒ´Ｇ´Ｂ´値に対応した３行１列の行列との行列積は、ＸＹＺ値に対応した３行１列の行列を示す。よって、行列積を計算することによって、Ｒ´Ｇ´Ｂ´値をＸＹＺ値に変換できる。具体的には以下の式（４）～式（６）によりＸ、Ｙ、Ｚへ変換する。

Ｘ（ｘ，ｙ）＝ ｍ１１×Ｒ´（ｘ，ｙ）＋ ｍ１２×Ｇ´（ｘ，ｙ）＋ ｍ１３×Ｂ´（ｘ，ｙ） ・・・式（４）
Ｙ（ｘ，ｙ）＝ ｍ２１×Ｒ´（ｘ，ｙ）＋ ｍ２２×Ｇ´（ｘ，ｙ）＋ ｍ２３×Ｂ´（ｘ，ｙ） ・・・式（５）
Ｚ（ｘ，ｙ）＝ ｍ３１×Ｒ´（ｘ，ｙ）＋ ｍ３２×Ｇ´（ｘ，ｙ）＋ ｍ３３×Ｂ´（ｘ，ｙ） ・・・式（６）
上記式（４）～式（６）において、ｍ１１～ｍ３３は、Ｒ´Ｇ´Ｂ´／ＸＹＺ変換行列Ｍの要素であり、例えば、ＩＴＵ－Ｔ ＢＴ．７０９において規定される色変換行列Ｍは、以下の式（７）で表される。

色変換行列Ｍを、上記式（７）の値に代えて、チャートの撮影結果からデジタル撮像装置１１０及び撮影条件毎に求めてもよい。さらに、以下の式（８）～式（１０）を用いて、ＸＹＺ値からＬａｂ値へと変換する。
Ｌ（ｘ，ｙ）＝１１６（Ｙ（ｘ，ｙ）／Ｙｗ）＾（１／３）－１６ ・・・式（８）
ａ（ｘ，ｙ）＝５００（（Ｘ（ｘ，ｙ）／Ｘｗ）＾（１／３）－（Ｙ（ｘ，ｙ）／Ｙｗ）＾（１／３）） ・・・式（９）
ｂ（ｘ，ｙ）＝２００（（Ｙ（ｘ，ｙ）／Ｙｗ）＾（１／３）－（Ｚ（ｘ，ｙ）／Ｚｗ）＾（１／３）） ・・・式（１０）

なお、上記式（８）～式（１０）において、Ｘｗ、Ｙｗ、Ｚｗは、例えばＣＩＥ（国際照明員会）の定義では基準白色面の三刺激値であり、それぞれ以下の式（１１）～式（１３）で表される。
Ｘｗ＝９５．０３９／１００．０ ・・・式（１１）
Ｙｗ＝１．０ ・・・式（１２）
Ｚｗ＝１０８．８８０／１００．０ ・・・式（１３）

ここではＲＧＢ色空間からＬａｂ色空間への色変換を説明したが、Ｌａｂ色空間以外の視覚均等色空間（例えば、ＹＵＶなど）に色変換してもよい。また、変換行列に代えて、例えば三次元ＬＵＴを用いて色変換を行ってもよい。

Ｓ７０３では、Ｓ４０１で取得した撮影画像の各画素における色差の算出がなされる。Ｓ４０２で設定された基準値としてのＬａｂ値を（Ｌ₀，ａ₀，ｂ₀）、撮影画像内の任意の画素位置（ｘ，ｙ）におけるＬａｂ値を（Ｌ_(x,y)，ａ_(x,y)，ｂ_(x,y)）とすると、各画素位置における色差ΔＥは、以下の式（１４）にて表される。

Ｓ７０４では、Ｓ７０３で算出した画素毎の色差ΔＥ（ｘ，ｙ）の値を、Ｓ７０１で設定した閾値ｔｈを用いて置換する処理（色差置換処理）が実行される。具体的には、ΔＥ（ｘ，ｙ）の値が閾値ｔｈ以下である場合に、ΔＥ（ｘ，ｙ）の値を規定値ｃｏｎｓｔに置き換える。ΔＥ（ｘ，ｙ）の値が閾値ｔｈよりも大きい場合は、当該画素の色差はそのままとなる。この場合において、規定値ｃｏｎｓｔは、前述の閾値ｔｈ以下の任意の値であり、例えば閾値ｔｈの半分や０といった値である。また、規定値ｃｏｎｓｔは予め用意したものをＨＤＤ１０３から読み出して用いることを想定しているがこれに限定されない。例えば、図５に示すＵＩ画面５００内に「規定値指定」ボタン（不図示）を別途設け、当該ボタンの押下に応じて、規定値を入力可能なサブウィンドウを表示させるなどして、ユーザが任意の規定値ｃｏｎｓｔを指定できるようにしてもよい。撮影画像内の全画素に対して色差置換処理を終えると、当該置換後の色差値を可視化した色差マップが生成される。図８（ａ）は、図６で示すｘ0ライン上における色差置換処理を行なわない場合の色差を示した、従来の１次元の色差マップである。いま、市松模様の暗部において基準値が指定されているため、市松模様の暗部（黒マス）に相当する区間の色差は小さく、明部（白マス）に相当する区間の色差は大きくなっている。そして、ギザギザの部分は、ノイズの影響で色差値が一定になっていないことを示している。図９（ａ）は、このときの暗部（１つの黒マス）における色差を示した２次元の色差マップで、基準値からの色差が小さいほど黒に近く、大きいほど白に近く表現されている。つまり、黒の中でグレーに近い部分がノイズを表していることになる。これに対し、図８（ｂ）は、図６で示すｘ0ライン上における色差置換処理を行った場合の色差を示した、本実施形態で生成される１次元の色差マップである。市松模様の暗部（黒マス）内の色差のうち閾値以下の部分が規定値ｃｏｎｓｔ＝０に置き換えられた結果、暗部に相当する区間ではギザギザがなくなり色差が一定になっている。図９（ｂ）は、図９（ａ）に対応する色置換後の色差を示した２次元の色差マップであり、基準値からの色差のばらつきがないため、グレーの部分がない均一な黒になっている。こうして、撮影画像の各画素について色差置換処理を行った結果がモニタ１０８に表示される。例えば、被写体が市松模様のチャート１２０である場合、暗部（黒マス）部分については図９（ｂ）に示すようなノイズのない画像となって表示されることになる。

以上が、本実施形態に係る、色差情報生成処理の内容である。なお、本実施形態では撮影画像を用いて基準値を設定したがこれに限定されない。撮影画像に代えて、基準となる被写体を撮影した画像を用いてもよいし、さらには特定の色信号値をユーザが直接指定できるようにユーザインタフェースを構成してもよい。また、本実施形態では、色変換後の色空間としてＬａｂ色空間を、色差としてΔＥを、それぞれ用いたがこれに限定されない。例えば、色変換後の色空間として色の物理値の差に着目する場合はＸＹＺ色空間を用いてもよい。また、ΔＥよりも視覚と整合性の高いΔＥ００を用いてもよい。

以上のとおり本実施形態によれば、ノイズが除去された色差マップをユーザに提供できる。

実施形態２

実施形態１では、色差置換処理で適用する閾値を予め用意した固定値としていた。次に、撮影画像のノイズ特性に基づき、より適切な閾値を動的に設定する態様を、実施形態２として説明する。なお、色差マップ生成の基本的な流れは実施形態１の図４のフローと同じであるので、以下では相違点である閾値の設定処理を中心に説明することとする。

図１０は、図４のフローにおけるＳ４０１に対応する、本実施形態の閾値設定処理の詳細を示すフローチャートである。以下、図４のフローを参照しつつ、図１０のフローに沿って詳しく説明ずる。

Ｓ１００１では、Ｓ４０２で設定された基準値の情報、より詳細には、撮影画像においてユーザが指定した画素位置の色変換前のＲＧＢ値が取得される。以下、本ステップで取得したＲＧＢ値を、それぞれＲ₀、Ｂ₀、Ｇ₀で表すこととする。

Ｓ１００２では、Ｓ４０１で取得された撮影画像のノイズ特性を示すデータ、具体的には、撮影時のノイズ量に関するデータが取得される。図１１（ａ）は、ノイズ量データの一例としての、ＩＳＯ感度とノイズの標準偏差とを対応付けたテーブルである。図１１（ａ）に示すテーブルでは、ＩＳＯ感度値に応じたノイズの標準偏差の値が、ＲＧＢのプレーン毎に格納されている。以下では、ＲＧＢそれぞれの標準偏差をＳ_R、Ｓ_G、Ｓ_Bと表記する。なお、本実施形態では、ノイズ量としてノイズの標準偏差を用いるがこれに限定されるものではなく、ノイズ量を特定可能な他の指標であってもよい。このようなノイズ量データを予め用意して例えばＨＤＤ１０３に格納しておき、それを読み込んで取得する。

Ｓ１００３では、Ｓ１００１で取得した基準値（ＲＧＢ値）とＳ１００２で取得したノイズ量とに基づいて、閾値を算出する処理（閾値算出処理）が実行される。図１２は、閾値算出処理の詳細を示すフローチャートである。以下、図１２のフローに沿って説明する。

Ｓ１２０１では、Ｓ１００２で取得したノイズ量データを参照して、ＲＧＢのプレーン毎にノイズ区間が設定される。各プレーンにおけるノイズ区間は、以下の式（１５）～式（１７）でそれぞれ表される。
Ｒのノイズ区間：［Ｌ_R＝Ｒ₀－ｋ×Ｓ_R，Ｕ_R＝Ｒ₀－ｋ×Ｓ_R］ ・・・式（１５）
Ｇのノイズ区間：［Ｌ_G＝Ｇ₀－ｋ×Ｓ_G，Ｕ_G＝Ｇ₀－ｋ×Ｓ_G］ ・・・式（１６）
Ｂのノイズ区間：［Ｌ_B＝Ｂ₀－ｋ×Ｓ_B，Ｕ_B＝Ｂ₀－ｋ×Ｓ_B］ ・・・式（１７）

上記式（１５）～式（１７）において、ｋはノイズ区間の大きさを設定する定数を示す。また、Ｌ_R、Ｌ_G、Ｌ_BはそれぞれＲＧＢのノイズ区間の下限値を表し、Ｕ_R、Ｕ_G、Ｕ_BはそれぞれＲＧＢのノイズ区間の上限値を表す。例えば定数ｋ＝２と設定した場合、ノイズの９５パーセントを色差マップから除外することができる。

Ｓ１２０２では、Ｓ１２０１で設定したＲＧＢ各プレーンのノイズ区間に対し、前述の図７のフローのＳ７０２で説明した色変換処理を施すことによって、Ｌａｂ色空間におけるノイズ区間が求められる。いま、ＲＧＢのノイズ区間の下限値（Ｌ_R, Ｌ_G, Ｌ_B）に対して色変換した結果を（Ｌ_L，ａ_L，ｂ_L）とし、ＲＧＢのノイズ区間の上限値（Ｕ_R，Ｕ_G，Ｕ_B）に対して色変換した結果を（Ｌ_U，ａ_U，ｂ_U）とする。このとき、Ｌａｂ色空間におけるノイズ区間は、以下の式（１８）～式（２０）でそれぞれ表される。
Ｌのノイズ区間：［Ｌ_L，Ｌ_U］ ・・・式（１８）
ａのノイズ区間：［ａ_L，ａ_U］ ・・・式（１９）
ｂのノイズ区間：［ｂ_L，ｂ_U］ ・・・式（２０）

Ｓ１２０３では、Ｓ１２０２で求めたＬａｂ色空間におけるノイズ区間に基づき、閾値が算出される。例えば、Ｌａｂ色空間における下限値（Ｌ_L，ａ_L，ｂ_L）と基準値との色差ΔＥ_Lと、Ｌａｂ色空間における上限値（Ｌ_U，ａ_U，ｂ_U）と基準値との色差ΔＥ_Uのうち、大きい方の値を、閾値ｔｈとする。これを式で表すと、以下の式（２１）となる。

なお、ここではΔＥ_LとΔＥ_Uとの最大値をとって閾値ｔｈとしているが、これに限定されない。例えば、ΔＥ_LとΔＥ_Uとの平均値やこれらの線形和としてもよいし、最小値をとってもよい。以下に、デジタル撮像装置１１０のγ特性としてγ＝２．２、上述の式（１５）～式（１７）における定数ｋ＝２であって、基準値として（Ｒ，Ｇ、Ｂ）＝（１２８，１２８，１２８）が設定されたという条件下で得られる閾値の具体例を、場合を分けて説明する。

（ＩＳＯ感度が１００の場合）
この場合、図１１（ａ）のテーブルより、ノイズの標準偏差（Ｓ_R，Ｓ_G，Ｓ_B）＝（１．０，１．３，１．２）である。そして、ＲＧＢのノイズ区間は、前述の式（１５）～式（１７）より以下のようになる。
Ｒのノイズ区間：［１２６，１３０］
Ｇのノイズ区間：［１２５．４，１３０．６］
Ｂのノイズ区間：［１２５．６，１３０．４］

これを色変換処理して得られるＬａｂのノイズ区間は、上述の式（１８）～式（２０）より以下のようになる。
Ｌのノイズ区間：［４３．５，４５．２］
ａのノイズ区間：［－４．７，－５．３］
ｂのノイズ区間：［－８．６，－８．７］
そして、上述の式（２１）より、閾値ｔｈ＝０．９２が得られる。

（ＩＳＯ感度が２５６００の場合）
この場合、図１１（ａ）のテーブルより、ノイズの標準偏差（Ｓ_R，Ｓ_G，Ｓ_B）＝（１４．２，１５．２，１３．２）である。そして、ＲＧＢのノイズ区間は、前述の式（１５）～式（１７）より以下のようになる。
Ｒのノイズ区間：［９９．６，１５６．４］
Ｇのノイズ区間：［９７．６，１５８．４］
Ｂのノイズ区間：［１０１．６，１５４．４］

これを色変換処理して得られるＬａｂのノイズ区間は、上述の式（１８）～式（２０）より以下のようになる。
Ｌのノイズ区間：［３３．７，５４．３］
Ｇのノイズ区間：［－２．５，－７．４］
Ｂのノイズ区間：［－１２．５，－５．４］

そして、上述の式（２１）より、閾値ｔｈ＝１１．６が得られる。このようにして決定された閾値ｔｈが、色差置換処理で使用する閾値ｔｈとして設定されることになる。

以上が、本実施形態に係る、閾値設定処理の内容である。なお、本実施形態では、デバイス依存のＲＧＢ色空間におけるノイズ量データを保持しておき、それをＬａｂ色空間へと変換することで閾値を求めていたがこれに限定されない。例えば、Ｌａｂ色空間でのノイズ量データを直接保持しておき、そのノイズ量データからＬａｂ色空間におけるノイズ区間を導出してもよい。この場合、色変換処理は不要となる。

＜変形例＞
上述の例では、ＩＳＯ感度とノイズの標準偏差と対応付けたデータを、撮影画像のノイズ量を表すデータとして取得していた。しかしながら、ノイズ量には撮影条件だけでなく被写体の階調も影響する。そこで、図１１（ｂ）に示すような被写体の階調も考慮したテーブル（ノイズ量をＩＳＯ感度と階調値との双方に対応付けたテーブル）を用意し、Ｓ１００２ではこれを参照してノイズ量を取得してもよい。なお、ＩＳＯ感度と階調値との一部の組合せに対応するノイズの標準偏差のみテーブルに記載しておき保存しており、基準値として設定されたＲＧＢ値に応じて例えば線形補間することでノイズ量を決定してもよい。これにより、カメラノイズの輝度依存性を考慮した閾値ｔｈとなるので、より好適な色差マップを得ることができる。

以上のとおり本実施形態によれば、撮影時のノイズ量に応じた閾値が設定されるので、ノイズに起因する色差を除外した、より好適な色差マップを得ることが可能となる。

実施形態３

実施形態２では、撮影時のノイズ量に関するデータに基づき色差置換処理で適用する閾値を動的に決定する態様を説明した。次に、ノイズの分布が正規分布ではなくより複雑な形状をしている場合にも対応できるよう、撮影画像のノイズ分布状況を示すデータを参照して閾値を決定する態様について、実施形態３として説明する。なお、実施形態１及び２と共通する内容については説明を省略することとし、以下では、相違点である閾値の設定処理を中心に説明することとする。

図１３は、実施形態２の図１０のフローに対応する、本実施形態の閾値設定処理の詳細を示すフローチャートである。以下、本実施形態にも共通する図４のフローを参照しつつ、図１３のフローに沿って詳しく説明ずる。

Ｓ１３０１では、Ｓ４０２で設定された基準値の情報（撮影画像においてユーザが指定した画素位置の色変換前のＲＧＢ値）が取得される。続くＳ１３０２では、Ｓ１３０１で取得した基準値に基づいて、ノイズ分布データが取得される。図１４（ａ）は、ノイズ分布量データの一例としての、Ｒプレーンにおけるノイズのヒストグラムであり、階調値毎のノイズの頻度が示されている。図１４ （ａ）のヒストグラムの場合、基準値に対して左右非対称にノイズが分布していることになる。なお、ノイズの分布状況が分かればよいので、ヒストグラムに代えて、例えばノイズの分布を近似した数式をノイズ分布データとして用いてもよい。このようなノイズ分布データを予め用意して例えばＨＤＤ１０３に格納しておき、それを読み込んで取得する。

Ｓ１３０３では、Ｓ１３０１で取得した基準値とＳ１３０２で取得したノイズ分布データとに基づいて、閾値算出処理が実行される。その流れは実施形態２における閾値算出処理と同じであるので、前述の図１２のフローに沿って説明する。

Ｓ１２０１では、Ｓ１３０２で取得したノイズ分布データを参照して、ＲＧＢのプレーン毎にノイズ区間が設定される。ＲＧＢそれぞれのノイズ区間［Ｌ_R，Ｕ_R］、［Ｌ_G，Ｕ_G］、［Ｌ_B，Ｕ_B］は、ノイズ区間内の頻度の総和が一定値となるように決定される。具体的には、それぞれ以下の式（２２）にて求められる。

上記式（２２）において、ｃは区間の頻度を設定するための変数を表す。また、ｈｉｓｔＲ(ｔ)、ｈｉｓｔＧ(ｔ)、ｈｉｓｔＢ(ｔ)は、階調ｔにおけるＲＧＢそれぞれのノイズ分布を表し、以下の式（２３）の関係を満たす。

図１４（ｂ）は、図１４（ａ）に示すノイズ分布の状態で、上記式（２２）におけるｃの値が０．０２５の場合のＲプレーンのノイズ区間［Ｌ_R，Ｕ_R］を示している。図１４（ｂ）において、Ｌ_Rは区間［０，Ｌ_R］におけるノイズ頻度が全体の２．５％になるように、Ｕ_Rは区間［ＵＲ，２５５］におけるノイズ頻度が全体の２．５％になるように設定されており、ノイズ全体の９５％が存在する区間となっている。

以降のＳ１２０２及びＳ１２０３は、実施形態２で説明したとおりであるので説明を省く。なお、本実施形態では、デバイス依存のＲＧＢ色空間におけるノイズ分布データを保持しておき、それをＬａｂ色空間へと変換することで閾値を求めていたがこれに限定されない。例えば、Ｌａｂ色空間でのノイズ分布データを直接保持しておき、そのノイズ分布データからＬａｂ色空間におけるノイズ区間を導出してもよい。この場合、色変換処理は不要となる。

以上のとおり本実施形態によれば、ノイズの分布形状が複雑な場合でも、色差置換処理における適切な閾値ｔｈを動的に決定することができ、より好適な色差マップを得ることが可能となる。

実施形態４

これまでの実施形態では、設定する基準値は１つであったが、各実施形態で設定可能な基準値の数は１つに限定されない。次に、実施形態１をベースとして複数の基準値を設定する態様について、実施形態４として説明する。なお、実施形態１と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

色差情報としての色差マップを生成する際の基本的な流れは実施形態１の図４のフローと同じであるので、以下、図４のフローに沿って説明する。

Ｓ４０１では、色差マップ生成処理の対象となる撮像画像のデータが取得される。続く、Ｓ４０２において、Ｓ４０１で取得した撮影画像における色差を算出する際の基準値が複数設定される。基準値の設定の仕方は実施形態１と基本的には同じである。例えば前述の図５のＵＩ画面５００でユーザが「基準値指定」ボタン５０２を押下した後に、設定しようとする基準値の数を指定するサブウィンドウをポップアップ表示させるなどして、複数の基準値が指定できるようにすればよい。ここでは２つの基準値を設定する場合を例に、以下説明を行うこととする。ユーザは、例えば図１５に示すように、×印で表した２つの点を画像表示エリア５０４内でそれぞれ指定する。これにより、撮影画像上の当該２つの×印で示す、座標（ｘ0，ｙ0）の指定点１と座標（ｘ0，ｙ1）の指定点２に対応する２つのＬａｂ値（（Ｌ₀，ａ₀，ｂ₀）と（Ｌ₁，ａ₁，ｂ₁））のデータがＲＡＭ１０２に保存される。

そして、Ｓ４０３では、指定された２つの基準値に基づき、色差マップが生成される。図１６は、本実施形態に係る、複数の基準値が設定された場合の色差マップ生成処理の詳細を示すフローチャートである。このフローは、実施形態１の図７のフローに対応する。以下、図１６のフローに沿って説明する。

Ｓ１６０１では、Ｓ７０１と同様、ノイズ成分を除去するための閾値ｔｈ（例えば色差ΔＥ＝１．０）が設定される。続くステップ１６０２では、Ｓ７０２と同様、Ｓ４０１で取得した撮影画像に対し色変換処理が実行され、実施形態１と同様、ＲＧＢ色空間からＬａｂ色空間へ変換される。

そして、Ｓ１６０３では、Ｓ４０２で設定された全基準値の中から、注目する基準値が１つ決定される。続くＳ１６０４では、Ｓ７０３と同様、前述の式（１４）を用いて、Ｓ４０１で取得した撮影画像の各画素における色差ΔＥ（ｘ，ｙ）の算出がなされる。

Ｓ１６０５では、Ｓ１６０４で算出した画素毎の、注目する基準値からの色差ΔＥ（ｘ，ｙ）の値を、Ｓ１６０１で設定した閾値ｔｈを用いて規定値ｃｏｎｓｔに置き換える色差置換処理が実行される。この際、規定値ｃｏｎｓｔの値は基準値毎に変えてもよいし、同一でもよい。本実施形態では、指定点１に対応する第１の基準値については規定値ｃｏｎｓｔ＝０とし、指定点２に対応する第２の基準値については第１の基準値と第２の基準値との差分値を規定値ｃｏｎｓｔとする。

Ｓ１６０６では、全ての基準値に対して色差置換処理が完了したかどうかが判定される。未処理の基準値があれば、Ｓ１６０３に戻って処理が続行される。一方、すべての基準値について色差置換処理が完了していれば、本処理を終了する。ここで、具体例を用いて説明する。図１７（ａ）は、図１５におけるｘ０ラインを横軸にとり、注目する基準値を第１の基準値とした場合の色差ΔＥ（ｘ，ｙ）を縦軸にとった１次元の色差マップである。また、図１７（ｂ）は、図１５におけるｘ０ラインを横軸にとり、注目する基準値を第２の基準値とした場合の色差ΔＥ（ｘ，ｙ）を縦軸にとった１次元の色差マップである。そして、図１７（ｃ）は、第１の基準値からの色差に対して、色差の置換えを行った後の１次元の色差マップである。図１７（ａ）における閾値ｔｈ以下の画素（黒マスの画素）については規定値ｃｏｎｓｔ（＝０）に置き換えられ、図１７（ｂ）における閾値以下の画素（白マスの画素）については第１の基準値と第２の基準値との差分値で置き換えられている。これにより、ノイズが除去されて、市松模様の明部と暗部が共に平坦化された色差マップが得られる。実施形態１と比較すると、明部におけるノイズも除去できるため、より好適な色差マップとなる。

以上のとおり本実施形態によれば、カメラノイズが含まれた撮影結果に対して、複数の基準値に対してノイズ成分を除いた色差マップをユーザに提供できる。

実施形態５

実施形態１～４では、撮影画像を構成する全画素を対象として色差算出と色差置換の各処理を行って、２次元の色差マップを生成・表示することを前提としていた。次に、撮影画像内の特定のラインを対象として色差算出と色差置換の各処理を行って、色差情報として１次元のラインプロファイルを生成・表示する態様を、実施形態５として説明する。なお、他の実施形態と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

図１８は、本実施形態でユーザが使用するＵＩ画面の一例である。図１９は、実施形態１の図４のフローに対応する、本実施形態に係るラインプロファイル生成処理の流れを示すフローチャートである。以下、図１９のフローに沿って説明する。

Ｓ１９０１では、Ｓ４０１と同様、ラインプロファイル生成処理の対象となる撮像画像のデータが取得される。ユーザが、図１８に示すＵＩ画面１８００内の「画像入力」ボタン１８０１を押下すると、撮影画像データの格納場所を示すアドレス等を入力するサブウィンドウ（不図示）が表示され、ユーザは当該サブウィンドウで対象の撮影画像を指定して「ＯＫ」ボタン１８０６を押下する。すると、処理対象の撮影画像のデータが読み込まれ、ＵＩ画面１８００内の画像表示エリア１８０５に表示される。

次に、Ｓ１９０２では、Ｓ４０２と同様、Ｓ１９０１で取得した撮影画像において色差を算出する際の基準値が設定される。ユーザが、ＵＩ画面１８００内の「基準値指定」ボタン１８０２を押下した上で、画像表示エリア１８０５内でポインタを移動させるなどして任意の位置を指定して「ＯＫ」ボタン１８０６を押下すると、当該指定した位置の色値が基準値として設定される。

そして、Ｓ１９０３では、Ｓ１９０１で取得した撮影画像内の特定のラインが、色差算出を行うラインとしてユーザ操作に基づき設定される。ユーザが、ＵＩ画面１８００内の「色差算出ライン設定」ボタン１８０３を押下した上で、画像表示エリア１８０５内でマウス等で２つの点を指定し「ＯＫ」ボタン１８０６を押下すると、当該指定した２点を結ぶラインが色差算出の対象ラインとして設定される。画像表示エリア１８０５内の両方向矢印１８１０は、こうして設定された色差算出ラインを示している。なお、指定するラインは撮影画像に対して水平方向である必要はなく、垂直方向でも斜め方向でもよい。

Ｓ１９０４では、Ｓ１９０３で設定された色差算出ラインを対象として、Ｓ１９０２で設定された基準値を基に色差算出処理が実行される。ユーザが、図１８に示すＵＩ画面１８００内の「色差算出」ボタン１８０４を押下すると、設定された色差算出ラインを対象としたラインプロファイルの生成が開始される。ここでの色差算出処理の内容は、基本的には実施形態１の図７のフローと同じである。ただし、その処理対象は、色差算出ラインに限定して実行される。こうして、撮影画像内の特定ライン上の色差を示す、前述の図８（ｂ）に示すような１次元の色差マップ（＝ラインプロファイル）が得られる。そして、当該ラインプロファイルが測色結果としてモニタ１０８に表示される。

以上が、本実施形態に係るラインプロファイル生成処理の内容である。このように、本発明の対象は撮影画像の全体でもその一部であってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０１ 基準値設定部
２０４ 色差マップ生成部
２０５ 色変換部
２０６ 色差算出部
２０７ 色差置換部

Claims (12)

1. 対象物の撮影画像を取得する取得手段と、
   輝度成分と色度成分を表す少なくとも一つの色信号値を、基準値として設定する基準値設定手段と、
   前記撮影画像に含まれる画素の色信号値を、輝度成分と色度成分を表す色信号値に変換する色変換手段と、
   前記変換された色信号値と前記基準値との色差を表す色差情報を生成する生成手段と、を備え、
   前記生成手段は、前記色差が前記撮影画像のノイズを基に設定された閾値以下の場合、当該色差を規定値に置き換える、
   ことを特徴とする装置。
2. 前記閾値を、前記基準値と前記撮影画像のノイズ特性とに基づいて設定する閾値設定手段をさらに備えたことを特徴とする請求項１に記載の装置。
3. 前記閾値設定手段は、
   前記ノイズ特性としてノイズ量を表すデータを取得する手段と、
   取得した前記データを基に所定のノイズ区間を設定する手段と、
   前記所定のノイズ区間における下限値及び上限値と前記基準値との色差を表す値に基づき閾値を決定する手段と
   を有することを特徴とする請求項２に記載の装置。
4. 前記ノイズ量を表すデータは、ＩＳＯ感度とノイズの標準偏差とを対応付けたデータであることを特徴とする請求項３に記載の装置。
5. 前記ノイズ量を表すデータは、ＩＳＯ感度及び被写体の階調値と、ノイズの標準偏差とを対応付けたデータであることを特徴とする請求項３に記載の装置。
6. 前記閾値設定手段は、
   前記ノイズ特性としてノイズ分布を表すデータを取得する手段と、
   取得した前記データを基に所定のノイズ区間を設定する手段と、
   前記所定のノイズ区間における下限値及び上限値と前記基準値との色差を表す値に基づき閾値を決定する手段と
   を有することを特徴とする請求項２に記載の装置。
7. 前記ノイズ分布を表すデータは、ノイズの分布状況を示すヒストグラム或いは近似式であることを特徴とする請求項６に記載の装置。
8. 前記ノイズ分布を表すデータが、ノイズの分布状況を示すヒストグラムである場合、前記所定のノイズ区間は、前記ヒストグラムの上部及び下部から一定割合を差し引くことで設定されることを特徴とする請求項７に記載の装置。
9. 前記閾値設定手段は、前記所定のノイズ区間における下限値及び上限値と前記基準値との色差を表す値の最大値、最小値、もしくはその線形和を閾値として設定することを特徴とする請求項３又は６に記載の装置。
10. 前記生成手段は、前記撮影画像のうちユーザが指定した一部を対象に前記色差情報を生成することを特徴とする請求項１乃至９のいずれか１項に記載の装置。
11. 対象物の撮影画像を取得するステップと、
    輝度成分と色度成分を表す少なくとも一つの色信号値を、基準値として設定するステップと、
    前記撮影画像に含まれる画素の色信号値を、輝度成分と色度成分を表す色信号値に変換するステップと、
    前記変換された色信号値と前記基準値との色差を表す色差情報を生成するステップと、を含み、
    前記色差情報を生成するステップでは、前記色差が前記撮影画像のノイズを基に設定された閾値以下の場合、当該色差を一定値に置き換えることを特徴とする方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の装置の各手段として機能させるためのプログラム。

Images