JP7467247B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像したオブジェクトの色を評価するための画像処理技術に関する。

照明条件の異なる撮像環境下で撮像された画像間で色の比較を行うために、照明の影響を排除して画像の比較を行いたい場合がある。このような照明の影響を排除する技術の１つが特許文献１に開示されている。特許文献１には、基準となる照明条件の撮像環境下で撮像して得られた基準画像のホワイトバランスを用いて、処理対象画像のホワイトバランスを変更し、基準画像と処理対象画像のホワイトバランスを一致させる技術が開示されている。この方法では、基準画像および処理対象画像のＲＧＢ値および基準画像の各画素のチャンネル毎のホワイトバランスゲインから、照明成分変換のための各画素のチャンネル毎のゲインを算出する。そして、各画素のチャンネル毎のゲインを処理対象画像に適用することにより、基準画像と処理対象画像のホワイトバランスを一致させている。

特開２０１１－３５８９４号公報

しかしながら、特許文献１では、画像間のホワイトバランスを一致させることはできるが、グレイ近傍を含めて他の色のチャンネルゲインのバランスを一致させることはできない。そのため、照明条件の異なる撮像環境下で撮像して得られた画像間で、例えばホワイト以外の色同士を比較する場合、どちらの色も画像間でチャンネルゲインのバランスが一致しておらず、色の正確な比較が困難であるという課題がある。

そこで本発明は、照明条件の異なる撮像環境下で検査対象のオブジェクトを撮像して得られた画像間において、任意の色の適切な比較を行うことを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、異なる撮像環境下で対象のオブジェクトを撮像して得られた第１の撮像画像および第２の撮像画像を取得する画像取得手段と、前記オブジェクトに対応する画像領域内に設定された、比較の基準となる基準領域と当該比較の対象となる比較対象領域とを特定する領域情報を、前記第１の撮像画像および前記第２の撮像画像のそれぞれについて取得する領域情報取得手段と、前記第２の撮像画像内に設定された基準領域の色値を、前記第１の撮像画像内に設定された基準領域の色値と一致するように色変換するための色変換パラメータを生成する生成手段と、前記色変換パラメータに基づいて、前記第２の撮像画像内に設定された基準領域と比較対象領域との色の差を導出する導出手段と、を備えることを特徴とする。

本発明によれば、照明条件の異なる撮像環境下で検査対象のオブジェクトを撮像して得られた画像間における任意の色の適切な比較を行うことが可能になる。

画像処理装置のハードウェア構成を示すブロック図 画像処理装置の論理構成を示すブロック図 画像処理装置が実行する処理を示すフローチャート ユーザインタフェースの一例を表す図 領域情報の一例を表す図 ＵＩの状態遷移を示す図 色変換生成部の論理構成を示す図 色変換生成処理を示すフローチャート 領域群分割処理を示すフローチャート 同一度導出処理を示すフローチャート 同一度データの一例を示す図 領域分割処理を示すフローチャート 色差導出処理を示すフローチャート 色差導出処理を示すフローチャート

以下、各実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
＜画像処理装置のハードウェア構成＞
図１は、本実施形態における画像処理装置１の構成例である。図１において、ＣＰＵ１０１は、メインメモリ１０２をワークメモリとして、ハードディスクドライブ（ＨＤＤ）１０３などの記憶装置や各種記録メディアに格納されたオペレーティングシステム（ＯＳ）や各種プログラムを実行する。そしてＣＰＵ１０１は、プログラムを実行することにより、システムバス１０６を介して各構成を制御する。なお、ＣＰＵ１０１が実行するプログラムには、後述する処理フローを実行するプログラムが含まれる。汎用インタフェース（Ｉ／Ｆ）１０４は、例えばＵＳＢなどシリアルバスインタフェースで、シリアルバス２２を介して、マウスやキーボードなどの指示入力部１０７や画像形成部１０８などが接続される。ＣＰＵ１０１は、ＨＤＤ１０３にマウントされた各種記録メディアをデータの格納場所として読み書きに利用する。ＣＰＵ１０１は、プログラムが提供するユーザインタフェース（ＵＩ）をモニタ１０５に表示し、指示入力部１０７を介してユーザ指示を含むユーザ入力を受信する表示制御を行う。

上記構成において、ＣＰＵ１０１からの指令に基づき画像処理アプリケーションが、実行する処理について説明する。

＜画像処理装置の論理構成＞
図２は、本実施形態における画像処理装置１の論理構成を示すブロック図である。画像処理装置１は、画像取得部２１、領域情報取得部２２、色変換生成部２３、色差導出部２４を有する。

画像取得部２１は、ユーザによって入力された照明条件の異なる撮像環境下で検査対象のオブジェクトを撮像して得られた２つの撮像画像を取得する。

領域情報取得部２２は、各撮像画像内のオブジェクトに対応する画像領域内にユーザが設定した２種類の領域を特定する領域情報を取得する。ここで、２種類の領域とは、１つは領域同士を比較する際の基準となる領域（以下、「基準領域」と呼ぶ。）であり、もう１つは比較の対象となる領域（以下、「比較対象領域」と呼ぶ。）である。

色変換部２３は、上記領域情報および２つの撮像画像に基づき、一方の撮像画像内に設定された基準領域の色値を他方の撮像画像内に設定された基準領域の色値と一致するように色変換するための色変換パラメータを生成する。

色差導出部２４は、２つの撮像画像それぞれについて、上記基準領域と上記比較対象領域との色差を導出する。

＜画像処理装置が実行する処理＞
図３は、画像処理装置１にて実行される処理のフローチャートである。以下、図３を用いて本画像処理装置１における動作の詳細を説明する。なお、下記動作は、指示入力部１０７を操作してユーザが所定の指示を入力することで開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、画像取得部２１は、検査対象のオブジェクトを撮像して得られた２つの撮像画像を取得する。

Ｓ３０２において、領域情報取得部２２は、後述のＵＩを用いて領域対情報を１又は複数取得する。

Ｓ３０３において、色変換生成部２３は、後述の方法により色変換パラメータを生成する。

Ｓ３０４において、色差導出部２４は、後述の方法により色差導出を行う。

＜Ｓ３０２におけるＵＩ＞
図４は、Ｓ３０２において表示されるＵＩ画面を表す模式図である。以下図４を用いて説明する。

画像表示ウィンドウ４０１は、入力された撮像画像の１つである画像１を表示するウィンドウである。ユーザは、画像表示ウィンドウ４０１上で、基準領域４０２および比較対象領域４０３を指定することができる。画像表示ウィンドウ４０４は、入力された撮像画像の１つである画像２を表示するウィンドウであり、画像表示ウィンドウ４０１と比較可能に表示される。ユーザは、画像表示ウィンドウ４０４上で、基準領域４０５および比較対象領域４０６を指定することができる。なお、画像１における基準領域４０２と画像２における基準領域４０５とは、被写体の同じ部位を写す画像領域を含むように選択されることが望ましい。同様に画像１における比較対象領域４０３と画像２における比較対象領域４０６も、被写体の同じ部位を写す画像領域を含むように選択されることが望ましい。なお、基準領域４０２、４０５、比較対象領域４０３、４０６それぞれの領域情報は、例えば、画像内における領域の位置を特定する座標とすることができる。

色差表示グラフ４０７は、基準領域４０２、比較対象領域４０３、基準領域４０５、比較対象領域４０６の色情報を色空間座標としてプロットしてグラフ表示したものである。

領域情報リスト４０８は、画像表示ウィンドウ４０１内に指定された基準領域４０２と画像表示ウィンドウ４０４内に指定された基準領域４０５の領域情報の領域対情報をリスト表示する。ここで図５に、領域情報リストに含まれる領域対情報の例を示す。各領域対情報は、画像１および画像２における基準領域４０２、４０５、それら基準領域のＲＧＢ領域平均値ＲＧＢ^aveに関する情報を保持する。図５では、領域情報の一例として、基準領域４０２、４０５の各々について、その領域を規定する矩形の左上隅および右下隅の画像内の座標値を用いている。各ＲＧＢ領域平均値は、後述する処理（Ｓ９０２）において導出した際に記録される。

画像１読み込みボタン４０９は、画像１を読み込むためのボタンである。画像２読み込みボタン４１０は、画像２を読み込むためのボタンである。領域情報追加ボタン４１１は、画像１および画像２における新たな基準領域の対に関する領域対情報を追加するためのボタンである。領域情報読込ボタン４１２は、予め用意された画像１および画像２における基準領域の対に関する領域情報が記録されたファイルなどを読み込むためのボタンである。実行ボタン４１３は、色差情報算出を実施するための実行ボタンである。終了ボタン４１４は、図３に示す一連の処理を終了するためのボタンである。

図６は、ユーザインタフェースの状態遷移を表す状態遷移図である。以下図６を用いて説明する。

ステート６０１では、画像処理装置１が指示入力部１０７を介してユーザ操作によるアプリケーション起動指示を検出すると図４に示すようなＵＩを表示し、ステート６０２へ移行する。

ステート６０２では、領域情報取得部２２が指示入力部１０７を介してユーザ操作による画像１読み込みボタン４０９の押下を検出すると、ステート６０３へ移行する。そして領域情報取得部２２は、ユーザ操作で指定された撮像画像を読み込み、読み込んだ撮像画像を画像表示ウィンドウ４０１に表示してステート６０２へ移行する。

ステート６０２において領域情報取得部２２がユーザ操作による画像２読み込みボタン４１０の押下を検出すると、ステート６０４へ移行する。そして領域情報取得部２２は、ユーザ操作で指定された撮像画像を読み込み、読み込んだ撮像画像を画像表示ウィンドウ４０４に表示してステート６０２へ移行する。

ステート６０２において領域情報取得部２２がユーザ操作による領域情報リスト追加ボタン４１１の押下を検出すると、ステート６０５へ移行する。そして領域情報取得部２２は、ウィンドウ４０１において指定された基準領域４０２およびウィンドウ４０４において指定された基準領域４０５の領域対情報を領域情報リストに追加してステート６０２へ移行する。

ステート６０２において領域情報取得部２２がユーザ操作による領域情報リスト読込ボタン４１２の押下を検出すると、ステート６０７へ移行する。そして領域情報取得部２２は、ユーザ操作で指定されたファイルに保持されている領域対情報を読み込み、読み込んだ領域対情報をリストに表示してステート６０２へ移行する。

ステート６０２において領域情報取得部２２がユーザ操作による領域情報リスト４０８からの１つの領域対情報の選択を検出すると、ステート６０６へ移行する。そしてステート６０６では、色差導出部２４が、色差導出を既に実行していればステート６０９へ移行し、色差導出をまだ実行していなければステート６０２へ移行する。

ステート６０２において領域情報取得部２２がユーザ操作による実行ボタン４１３の押下を検出すると、ステート６０８へ移行する。そしてステート６０８では、色差導出部２４が、ユーザ入力に従って色差導出を行い、ステート６０９へ移行する。

ステート６０９では、色差導出部２４が色差導出結果を色差表示グラフ４０７としてモニタ１０５に表示してステート６０２へ移行する。

ステート６０２において画像処理装置１がユーザ操作による終了ボタン４１４の押下を検出すると、ステート６１０へ移行してアプリケーション終了に伴う処理を行う。

＜Ｓ３０３における色変換パラメータ生成処理＞
図７は、Ｓ３０３にて実行される色変換生成部２３の詳細を示すブロック図である。色変換生成部２３は、領域群分割部７１、色変換パラメータ生成部７２を有する。領域群分割部７１は、色変換パラメータを生成するにあたり領域情報データを適切な領域群に分類する。色変換パラメータ生成部７２は分類された基準領域の画素値に基づき色変換パラメータを生成する。

図８は、Ｓ３０３にて実行される色変換パラメータ生成処理の動作を説明するフローチャートである。以下、図８を用いて画像処理装置１における動作の詳細を説明する。

Ｓ８０１において、領域群分割部７１は、後述の処理により導出される画像１に設定された基準領域同士の同一度と、画像２に設定された基準領域同士の同一度とに基づき、領域情報を領域群に分割する。

＜Ｓ８０１における領域群分割処理の動作＞
図９は、Ｓ８０１にて実行される領域群分割処理の動作を説明するフローチャートである。以下、図９を用いて領域群分割処理における動作の詳細を説明する。

Ｓ９０１において、領域群分割部７１は、画像１および画像２、および画像１および画像２に設定された基準領域の領域対情報を１又は複数取得する。

Ｓ９０２において、領域群分割部７１は、式２により各領域対情報で指定される撮像画像毎の基準領域および比較対象領域のＲＧＢ領域平均値ＲＧＢ^aveを算出する。このＲＧＢ領域平均値とは、領域内の全画素のＲＧＢ値のチャンネル毎の和をそれぞれ画素数で割った値であり、ＲＧＢ^ave＝（Ｒ^ave，Ｇ^ave，Ｂ^ave）である。

Ｓ９０３において、色変換パラメータ生成部７２は、後述の処理にて領域情報リストにある異なる領域対情報で特定される画像１に設定された基準領域間の同一度を算出する。

Ｓ９０４において、色変換パラメータ生成部７２は、後述の処理にて領域情報リストにある異なる領域対情報で特定される画像２に設定された基準領域間の同一度を算出する。

Ｓ９０５において、色変換パラメータ生成部７２は、領域情報リストに含まれる領域対情報を、後述の処理にて同一度に基づき領域群に分割を行う。ここでは、同一の領域群に含まれる領域対情報で特定される画像毎の基準領域間の同一度が所定の閾値以下となるように、かつ、各領域群に含まれる領域対情報の数が所定の数以下となるように各領域群を形成する。

Ｓ９０６において、領域群分割部７１は、全ての領域情報に対してＳ９０２～Ｓ９０５の処理を行ったかを判定し、全ての領域対情報に対して行っていなければＳ９０２へ進み、全ての領域対情報に対して行っていれば領域群分割処理を終了する。

＜Ｓ９０３、９０４における同一度導出処理の動作＞
図１０は、Ｓ９０３、９０４にて実行される同一度導出処理の動作を説明するフローチャートである。以下図１０を用いて同一度導出処理の詳細を説明する。

Ｓ１００１において、領域群分割部７１は、初期化動作として、領域情報リスト内の領域対情報で特定される基準領域を識別するための変数をｉ、ｊ（ｉ＜ｊ）とし、ｉを初期化（ｉ＝０）する。また、領域情報リストに含まれる領域対情報の総数をＮとする。

Ｓ１００２において、領域群分割部７１は、画像の領域情報リストのｉ番目の領域対情報で特定される基準領域（以降、「ｉ番目の基準領域」と呼ぶ。）のＲＧＢ領域平均値を取得する。

Ｓ１００３において、領域群分割部７１は、ｊ＝ｉ＋１と設定し、ｉ番目の基準領域との同一度を算出する領域情報リスト上の他の領域対情報で特定される基準領域を、ｊ番目の基準領域とし、そのＲＧＢ領域平均値ＲＧＢ^aveを取得する。

Ｓ１００４において、領域群分割部７１は、式３から同一度を算出する。ここでは同一度の一例としてＲＧＢ色空間における距離を用いる。なお、ｉ番目の基準領域のＲＧＢ領域平均値をＲＧＢ^ave _i＝(Ｒ^ave _i，Ｇ^ave _i，Ｂ^ave _i)、ｊ番目の基準領域のＲＧＢ領域平均値をＲＧＢ^ave _j＝（Ｒ^ave _j，Ｇ^ave _j，Ｂ^ave _j）、同一度をＳ（ｉ，ｊ）で表す。

Ｓ１００５において、領域群分割部７１は、同一度Ｓ（ｉ，ｊ）と閾値Ｔｓを比較し、閾値Ｔｓ以下であればＳ１００６へ、閾値Ｔｓより大きければＳ１００７へ進む。なお、閾値Ｔｓの最小値は０となるが、これに限定されない。

Ｓ１００６において、領域群分割部７１は、同一度Ｓ（ｉ，ｊ）＝０としてＳ１００８へ進む。

Ｓ１００７において、領域群分割部７１は、同一度Ｓ（ｉ，ｊ）＝１としてＳ１００８へ進む。ここで図１１に、同一度Ｓ（ｉ，ｊ）を模式的に示す。

Ｓ１００８において、領域群分割部７１は、ｉ＜Ｎであるか否かを判定し、満たしていればｉに１を加算してＳ１００２へ戻り、満たしていなければ同一度導出処理を終了する。

＜Ｓ９０５における領域分割処理の動作＞
図１２は、Ｓ９０５にて実行される処理のフローチャートである。以下図１２を用いて領域分割処理における動作の詳細を説明する。

Ｓ１２０１において、領域群分割部７１は、初期化動作として、領域情報リスト内の領域対情報で特定される基準領域を識別するための変数ｉおよび領域群を識別するための変数ｊ、領域群の総数を表す変数Ｎｇを初期化して、ｉ＝０、ｊ＝０、Ｎｇ＝１とする。

Ｓ１２０２において、領域群分割部７１は、領域群ｊに割り当てられた領域対情報の数が閾値Ｔｇ未満かを判定し、超えていなければＳ１２０３へ、そうでなければＳ１２０６へ進む。本実施形態では、閾値Ｔｇは３とする。

Ｓ１２０３において、領域群分割部７１は、ｉ番目の領域対情報で特定される画像１の基準領域とｊ番目の領域群に含まれる領域対情報で特定される画像１の基準領域との同一度Ｓが０であるか１であるかを判定する。さらにｉ番目の領域対情報で特定される画像２の基準領域とｊ番目の領域群に含まれる領域対情報で特定される画像２の基準領域との同一度Ｓが０であるか１であるかを判定する。その結果、どちらもＳ＝０であればＳ１２０４へ進み、それ以外であればＳ１２０６へ進む。

Ｓ１２０４において、領域群分割部７１は、ｊ番目の領域群にｉ番目の領域対情報を割り当てる。

Ｓ１２０５において、領域群分割部７１は、領域情報リストに含まれる全ての領域対情報に対して領域分割処理を行った（ｉ＝Ｎ－１）か否かを判定し、行っていなければＳ１２０２へ、そうでなければｊを初期化（ｊ＝０）してＳ１２０８へ進む。

Ｓ１２０６において、領域群分割部７１は、ｊ＝ＮｇであればＮｇに１を加えてＳ１２０７へ、そうでなければｊに１を加えてＳ１２０２へ進む。

Ｓ１２０７において、領域群分割部７１は、Ｎｇ番目の領域群を新設してｉ番目の領域対情報を割り当てる。

Ｓ１２０８において、領域群分割部７１は、全ての領域群に規定の閾値Ｔｇの領域対情報が割り当てられたかを判定し、割り当てられていなければＳ１２０９へ、そうでなければ終了に伴う処理を行う。

Ｓ１２０９において、領域群分割部７１は、含まれる基準領域対情報の数が閾値Ｔｇ未満である領域群に対してダミー領域情報を割り当てる。なお、ダミー領域情報の一例として、図１１の同一度判定結果を基に同一度Ｓ＝１となる領域情報を２つ選定し、画像１のＲＧＢ領域平均値ＲＧＢ^ave１および画像２のＲＧＢ領域平均値ＲＧＢ^ave２とする。なお、ここでダミー領域情報を追加した例を説明したように、領域対情報が少なくとも１つ以上であれば本実施形態において色変換パラメータを生成することが可能である。

ここで図８に戻る。

Ｓ８０２において、色変換パラメータ生成部７２は、各領域群に含まれる画像１の基準領域の色値と画像２の基準領域の色値との間の色変換パラメータを生成する。ここでは、色変換パラメータの一例として変換行列を生成する場合について説明する。なお、各領域群の３つの領域情報に含まれる画像１の基準領域のＲＧＢ領域平均値をそれぞれＲＧＢ^ave１＿１、ＲＧＢ^ave１＿２、ＲＧＢ^ave１＿３とする。また各領域群の３つの領域情報に含まれる画像２の基準領域のＲＧＢ領域平均値をそれぞれＲＧＢ^ave２＿１、ＲＧＢ^ave２＿２、ＲＧＢ^ave２＿３とする。また各領域群の画像１の基準領域のＲＧＢ領域平均値と画像２の基準領域のＲＧＢ領域平均値との間の変換行列をＭ（ｍ１１～ｍ３３）とする。このとき、各画像のＲＧＢ領域平均値と変換行列Ｍは式１のようになる。Ｍ（ｍ１１～ｍ３３）は連立方程式の解として得られる。

ここで変換行列Ｍは、画像１と画像２が同じ撮像画像である場合、単位行列となる。

なお、色変換パラメータは、各領域群の3つの領域対情報に含まれる画像２の基準領域のＲＧＢ領域平均値が画像１の基準領域のＲＧＢ領域平均値に写像されればよい。そのため色変換パラメータは、近似ではなく全単射の写像を実現できるものであれば、チャンネル毎のゲインやγ値等の補正係数としてもよい。

Ｓ８０３において、全ての領域群に対して色変換パラメータを生成したかを判定し、変換していなければＳ８０２へ、そうでなければ終了に伴う処理を行う。

＜Ｓ３０４における色差導出処理の動作＞
図１３は、Ｓ３０４にて実行される色差導出処理のフローチャートである。以下、図１３を用いて色差導出処理における動作の詳細を説明する。

Ｓ１３０１において、色差導出部２４は、画像１および画像２、それら画像１および画像２に設定された基準領域と比較対象領域の領域情報、Ｓ３０３で生成した画像１および画像２に設定された基準領域のＲＧＢ領域平均値および色変換パラメータを取得する。画像１および画像２に設定された比較対象領域の領域情報は、画像表示ウィンドウ４０１、４０４上でユーザが比較対象領域を指定するユーザ入力から取得される。画像１および画像２に設定された比較対象領域のＲＧＢ領域平均値は、画像１および画像２と比較対象領域対の領域情報とに基づき、基準領域のＲＧＢ領域平均値と同様に式（２）により算出する。

Ｓ１３０２において、色差導出部２４は、画像２の基準領域のＲＧＢ領域平均値および比較対象領域のＲＧＢ領域平均値を、その基準領域を含む領域対情報に対応した色変換パラメータを用いて色変換して、それぞれ色変換後のＲＧＢ領域平均値を導出する。

Ｓ１３０３において、色差導出部２４は、画像１の基準領域および比較対象領域のＲＧＢ領域平均値と、画像２の色変換後の基準領域および比較対象領域のＲＧＢ’領域平均値とに対し、それぞれ式４にて変換行列Ｏを用いてＸＹＺ算出を行う。

Ｓ１３０４において、色差導出部２４は、式５により画素のＸＹＺ値より、明度軸と色度平面からなる３次元色空間上のＬ^*ａ^*ｂ^*値を算出する

Ｓ１３０５において、色差導出部２４は、式６により画像１および画像２についてそれぞれ色差ΔＥ^*を算出する。ここで色差ΔＥ^*１を、画像１の基準領域のＬ^*ａ^*ｂ^*値Ｌ^*ａ^*ｂ^*１と比較対象領域のＬ^*ａ^*ｂ^*値Ｌ^*ａ^*ｂ^*２との色差とする。また色差ΔＥ^*２を、画像２の色変換後の基準領域のＬ^*ａ^*ｂ^*値Ｌ^*ａ^*ｂ^*３と比較対象領域のＬ^*ａ^*ｂ^*値Ｌ^*ａ^*ｂ^*４の色差とする。なお、これらＬ^*ａ^*ｂ^*値は図４に示す色差表示グラフ４０７にプロットされる。

本実施形態では色差の一例としてとしてＣＩＥ１９７６の色差を用いるが、他の色差評価指標でもいいことは言うまでもない。例えば色差評価値として、ΔＥ^*１とΔＥ^*２の差分を用いてもいいことは言うまでもない。

Ｓ１３０６において、色差導出部２４は、領域情報リスト内の全領域対情報に対して色差導出処理を行った（ｉ＝Ｎ－１）か否かを判定し、全領域対情報に対して色差導出処理を行っていればＳ１３０２へ戻り、そうでなければ色差導出処理を終了する。

以上のように、本実施形態では、照明条件の異なる撮像環境下で撮像して得られた２つの画像とそれら撮像画像の各々の基準領域の色情報から、一方の画像の基準領域の色値を他方の画像の基準領域の色値に色変換する色変換パラメータを作成する。さらにその色変換パラメータを用いて一方の画像の基準領域および比較対象領域の色値を色変換することで、一方の画像における基準領域と比較対象領域との色差と、他方の画像にける基準領域と比較対象領域との色差とを適切に比較することが可能になる。

［第２実施形態］
第１実施形態では、領域情報から色変換を行い、色差を評価する方法を説明した。これら領域情報は明るさが異なる場合でも画像間のＲＧＢ値を同じくする方法をとっていたが、照明条件が大きく異なる場合にはＲＧＢがかけ離れた組み合わせになることがある。その際、元の色値と色変換後の色値に大きな違いがあると変換誤差も大きくなる。そこで、本実施形態では明度が色変換前後で大きく異なる場合には、色差を算出する評価値として明度を除外して色度のみを用いる方法について説明する。なお、本実施形態では第１実施形態と異なる部分のみ説明する。

＜Ｓ３０４における色差導出処理の動作＞
図１４はＳ３０４にて実行される処理のフローチャートである。以下図１４を用いて色差導出処理における動作の詳細を説明する。

Ｓ１４０１において、色差導出部２４は、画像１および画像２、それら画像１および画像２に設定された基準領域と比較対象領域の領域情報、Ｓ３０３で生成した画像１および画像２に設定された基準領域のＲＧＢ領域平均値および色変換パラメータを取得する。画像１および画像２に設定された比較対象領域の領域情報は、画像表示ウィンドウ４０１、４０４上でユーザが比較対象領域を指定するユーザ入力から取得される。画像１および画像２に設定された比較対象領域のＲＧＢ領域平均値は、画像１および画像２と比較対象領域対の領域情報とに基づき、基準領域のＲＧＢ領域平均値と同様に式（２）により算出する。

Ｓ１４０２において、色差導出部２４は、画像２の基準領域のＲＧＢ領域平均値および比較対象領域のＲＧＢ領域平均値を、その基準領域を含む領域対情報に対応した色変換パラメータを用いて色変換して、それぞれ色変換後のＲＧＢ領域平均値を導出する。

Ｓ１４０３において、色差導出部２４は、画像１、２の基準領域および比較対象領域のＲＧＢ領域平均値と、画像２の色変換後の基準領域 および比較対象領域のＲＧＢ’領域平均値とに対し、式４にてＸＹＺ算出を行う。

Ｓ１４０４において、色差導出部２４は、式５により画素のＸＹＺ値より、明度軸と色度平面からなる３次元色空間上のＬ^*ａ^*ｂ^*値を算出する。

Ｓ１４０５において、色差導出部２４は、式７により画像２の色変換前後のＲＧＢ領域平均値から算出した明度値Ｌ^*の差が閾値Ｔｂより大きいかを判定し、閾値Ｔｂ以下であればＳ１４０６へ、そうでなければＳ１４０７へ進む。ここで、画像１の基準領域のＬ^*ａ^*ｂ^*値をＬ^*ａ^*ｂ^*１、比較対象領域のＬ^*ａ^*ｂ^*値をＬ^*ａ^*ｂ^*２とする。また、画像２の色変換後の基準領域のＬ^*ａ^*ｂ^*値をＬ^*ａ^*ｂ^*３、色変換後の比較対象領域のＬ^*ａ^*ｂ^*値をＬ^*ａ^*ｂ^*４とする。また、画像２の色変換前の基準領域のＬ^*ａ^*ｂ^*値をＬ^*ａ^*ｂ^*５、色変換前の比較対象領域のＬ^*ａ^*ｂ^*値をＬ^*ａ^*ｂ^*６、とする。
｜Ｌ^*３－Ｌ^*５｜＞Ｔｂ・・・式（７）

Ｓ１４０６において、色差導出部２４は、式６により、色差ΔＥ^*を算出する。

Ｓ１４０７において、色差導出部２４は、式８により、色度平面上の色差Δａ^*ｂ^*を算出する。

Ｓ１４０８において、色差導出部２４は、領域情報リスト内の全領域対情報に対して色差導出処理を行った（ｉ＝Ｎ－１）か否かを判定し、全領域対情報に対して色差導出処理を行っていればＳ１４０２へ戻り、そうでなければ色差導出処理を終了する。

以上のように、本実施形態では、第１実施形態と同様に、照明条件の異なる撮像環境下で撮像して得られた２つの撮像画像とそれら撮像画像の各々の基準領域の色情報から色変換パラメータを作成する。さらにその色変換パラメータを用いて一方の画像の基準領域および比較対象領域の色値を色変換する。ここで撮像環境の異なる画像間で明度が大きく異なることで色変換前後の明度値Ｌ^*が大きく異なる場合には、明度の影響を除外した色度平面上での色差を算出する。これらにより、一方の画像における基準領域と比較対象領域との色差と、他方の画像における基準領域と比較対象領域との色差と色差を適切に比較することが可能になる。

［その他の実施形態］
上述した実施形態では、選択領域の矩形の平均を求める際の色情報として、Ｌ^*ａ^*ｂ^*を用いたが、ＸＹＺあるいはＲＧＢで平均を求めてＬ^*ａ^*ｂ^*に変換しても良い。

また、第１および第２実施形態では、複数の領域情報を用いた例について説明したが、少なくとも１つ以上の領域情報があれば実施できることは言うまでもない。

第１実施形態では、図４に示す色差表示グラフ４０７として、算出したＬ^*ａ^*ｂ^*値に基づいて色空間内にプロットした色情報を表示する例について説明した。もちろん、グラフだけでなく色差の数値情報や画像間の色差の差分の数値情報を合わせて表記することや、それら数値情報だけを表示してもよいことは言うまでもない。

上述した実施形態では、色差導出に当たり色差評価領域に対して色変換を行ったが、画像全体に色変換を実施して画像を合わせて出力するように構成してもよい。また、複数の色変換が生成される場合は複数の画像を生成し、表示部において指定する色差評価領域が分類された領域群に対応した変換画像に切り替えて表示してもいい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述した各処理部のうち、色変換パラメータ生成部２３、色差導出部２４等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

２１ 画像取得部
２２ 領域情報取得部
２３ 色変換パラメータ生成部
２４ 色差導出部

Claims (18)

1. 異なる撮像環境下で対象のオブジェクトを撮像して得られた第１の撮像画像および第２の撮像画像を取得する画像取得手段と、
   前記オブジェクトに対応する画像領域内に設定された、比較の基準となる基準領域と当該比較の対象となる比較対象領域とを特定する領域情報を、前記第１の撮像画像および前記第２の撮像画像のそれぞれについて取得する領域情報取得手段と、
   前記第２の撮像画像内に設定された基準領域の色値を、前記第１の撮像画像内に設定された基準領域の色値と一致するように色変換するための色変換パラメータを生成する生成手段と、
   前記色変換パラメータに基づいて、前記第２の撮像画像内に設定された基準領域と比較対象領域との色の差を導出する導出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記導出手段は、前記第２の撮像画像内に設定された基準領域の色値および比較対象領域の色値を、前記色変換パラメータを用いて色変換し、当該色変換後の基準領域の色値および比較対象領域の色値に基づき、前記色の差を導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記導出手段は、前記第１の撮像画像内に設定された基準領域と比較対象領域との色の差を導出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記第１の撮像画像内に設定された基準領域には、対をなす前記第２の撮像画像内に設定された基準領域が設定され、
   前記第１の撮像画像内に設定された比較対象領域には、対をなす前記第２の撮像画像内に設定された比較対象領域が設定され、
   前記第１の撮像画像および前記第２の撮像画像内に設定された対をなす基準領域と対をなす比較対象領域とは、それぞれ前記オブジェクトの同一の部位が写る画像領域を含む、ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記領域情報取得手段は、前記第１の撮像画像および前記第２の撮像画像内に設定された対をなす基準領域を特定する領域情報を含む領域対情報を複数取得する
   ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、前記第１の撮像画像および前記第２の撮像画像内に設定された複数の領域対情報を、所定の数の領域対情報からなる領域群に分割する分割手段を含み、
   前記分割手段は、前記領域群それぞれに含まれる前記所定の数の領域対情報において特定される前記第１の撮像画像および前記第２の撮像画像内に設定された基準領域について、前記第２の撮像画像に設定された基準領域の色値から前記第１の撮像画像に設定された基準領域の色値への前記色変換パラメータを用いた写像が全単射となるように、前記複数の領域対情報を分割する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記分割手段は、前記複数の領域対情報の間において、前記第１の撮像画像に設定された基準領域の同一度、および前記第２の撮像画像に設定された基準領域の同一度をそれぞれ導出する同一度導出手段
   を含み、
   前記分割手段は、同じ前記領域群に含まれる前記所定の数の領域対情報の間において、前記第１の撮像画像に設定された基準領域の同一度および前記第２の撮像画像に設定された基準領域の同一度が、それぞれ所定の閾値以下となるように前記複数の対をなす基準領域を分割する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記同一度は、前記第１の撮像画像および前記第２の撮像画像に設定された複数の基準領域のうち、前記同一度を測る２つの基準領域の色の３次元色空間上の距離に基づく値である
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記色の差は、３次元色空間上の距離である
   ことを特徴とする請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
10. 前記３次元色空間は、明度軸と色度平面からなる３次元色空間であり、
    前記色の差は、前記色度平面上の距離である、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記色の差を表示装置に表示する表示制御手段
    をさらに備えたことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御手段は、前記第１の撮像画像内に設定された基準領域と比較対象領域との色の差と、前記第２の撮像画像内に設定された基準領域と比較対象領域との色の差との差分を前記表示装置に表示する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示制御手段は、前記第１の撮像画像の基準領域および比較対象領域、ならびに前記第２の撮像画像の基準領域および比較対象領域の色値を前記表示装置に比較可能に表示する
    ことを特徴とする請求項１１又は請求項１２に記載の画像処理装置。
14. 前記表示制御手段は、前記第１の撮像画像の基準領域および比較対象領域、ならびに前記第２の撮像画像の基準領域および比較対象領域の色値をグラフ表示する
    ことを特徴とする請求項１１乃至請求項１３のいずれか１項に記載の画像処理装置。
15. 前記表示制御手段は、ユーザから前記領域情報の入力を受け付けるためのユーザインタフェースを前記表示装置に表示させる、
    ことを特徴とする請求項１１乃至請求項１４のいずれか１項に記載の画像処理装置。
16. 前記第１の撮像画像における基準領域および比較対象領域、ならびに前記第２の撮像画像における基準領域および比較対象領域のそれぞれの色値は、領域内の色値の平均値である
    ことを特徴とする請求項１乃至請求項１５のいずれか１項に記載の画像処理装置。
17. コンピュータを請求項１乃至請求項１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
18. 異なる撮像環境下で対象のオブジェクトを撮像して得られた第１の撮像画像および第２の撮像画像を取得する画像取得ステップと、
    前記オブジェクトに対応する画像領域内に設定された、比較の基準となる基準領域と当該比較の対象となる比較対象領域とを特定する領域情報を、前記第１の撮像画像および前記第２の撮像画像のそれぞれについて取得する領域情報取得ステップと、
    前記第２の撮像画像内に設定された基準領域の色値を、前記第１の撮像画像内に設定された基準領域の色値と一致するように色変換するための色変換パラメータを生成する生成ステップと、
    前記色変換パラメータに基づいて、前記第２の撮像画像内に設定された基準領域と比較対象領域との色の差を導出する導出ステップと、
    を含むことを特徴とする画像処理方法。

Images