JP4568692B2 - 画像補正システム、画像補正方法およびこの方法のプログラム - Google Patents

Description

本発明は、画像の色彩を変化させるための画像補正システム、画像補正方法およびこの方法のプログラムに関する。

近年のデジタルカメラの普及を背景に、パソコンで画像を扱うフォトレタッチの需要が急速に高まっている。こうしたソフトウェアは、一般の人が手軽に使うことができるようにすることが必要であり、これを実現するために、特に、手軽に画像の色彩を変化させるための技術が求められている。

これらの問題を鑑み、色彩を変化させたい画像に対して、色彩の基となる画像を利用して、色彩変化を行う技術が発明されている。これらの従来技術としては、カラートランスファーと呼ばれる方法が知られている。ここで特に問題となるのは、色彩を変化させたい画像と色彩の基となる画像のどの成分を利用して色彩を変化させるか、であり、画像に写っている対象によって、色彩を適当に変化させることが難しい。

これらの問題について、従来から、解決を試みた例が知られている。すなわち、例えば下記非特許文献１に記載のように、新しいカラースペースを介することで、前記問題の解決を試みた例が知られている。この非特許文献１に記載の方法によれば、画像のＲＧＢ値をｌαβカラースペースに変換することで、色彩を変化させたい画像を、色彩の基となる画像に近い色彩に変化させることを実現している。
Ｒｅｉｎｈａｒｄ，Ｅ．，Ａｓｈｉｋｈｍｉｎ，Ｍ．，Ｇｏｏｃｈ，Ｂ．，Ｓｈｉｒｌｅｙ，ｐ． "Ｃｏｌｏｒ Ｔｒａｎｓｆｅｒ Ｂｅｔｗｅｅｎ Ｉｍａｇｅｓ" ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．２１，ｎｏ．５，ｐｐ．３４−４１，２００１．

しかしながら、上記従来の技術では、ｌαβカラースペースが必ずしもｌαβの各成分の相関が排除できているわけではないので、その各成分の変換が、他の成分の変換に影響を及ぼしてしまうため、所望する色彩に変換することが難しい。

本発明は上記の点に鑑みてなされたもので、画像の色彩を変化させるための画像補正システム、特に、画像に写っている対象に対してロバストなシステム、画像補正方法およびこの方法のプログラムを提供することを目的とする。

（１）上記課題を解決するために、請求項１に記載の画像補正システムは、画像の色彩を変化させるための画像補正システムにおいて、処理対象となる処理対象画像、及び補正処理の参照とする参照画像を入力する画像入力手段と、前記画像入力手段にて入力された処理対象画像、及び参照画像のＲＧＢ値を、設定されたカラースペースに各々変換し、前記カラースペースの成分値を、あらかじめ決定された指定範囲毎のカテゴリーに分類し、前記分類された各指定範囲のカテゴリーに含まれる画素を処理対象領域及びそれに対する参照領域と決定する色空間分割手段と、前記色空間分割手段にて決定された処理対象領域及び参照領域における、各領域内の画素のＲＧＢ値の分布に対して主成分分析を行って主成分となる３軸を決定し、該決定された軸方向に対してＲＧＢ値分布を囲む最小のバウンディングボックスを算出し、処理対象領域及び参照領域のバウンディングボックス間のアフィン変換係数を算出し、該算出したアフィン変換係数により処理対象領域内の画素のＲＧＢ値を変換する色空間変換手段と、前記色空間変換手段における処理結果に基づき、前記画像入力手段にて入力された処理対象画像に対して、所定のフォーマットで処理結果画像を出力する画像出力手段とを備えたことを特徴としている。

また請求項２に記載の画像補正方法は、画像の色彩を変化させるための画像補正方法において、色空間分割手段が、画像入力手段にて入力された、処理対象となる処理対象画像のＲＧＢ値を入力するステップと、画像入力手段にて入力された、補正処理の参照となる参照画像のＲＧＢ値を入力するステップと、前記各ＲＧＢ値を設定されたカラースペースに変換するステップと、前記カラースペースの成分値を、あらかじめ決定された指定範囲毎のカテゴリーに分類するステップと、前記分類された各指定範囲のカテゴリーに含まれる画素を処理対象領域、及びそれに対する参照領域と決定するステップと、色空間変換手段が、全ての処理対象領域について、処理対象領域内の画素のＲＧＢ値を入力するステップと、前記参照領域内の画素のＲＧＢ値を入力するステップと、前記処理対象領域及び参照領域の各領域に対して、主成分分析により、主成分となる３軸を決定するステップと、決定された軸方向に対して、ＲＧＢ値分布を囲む最小のバウンディングボックスを算出するステップと、前記処理対象領域及び参照領域のバウンディングボックス間のアフィン変換係数を算出するステップと、算出したアフィン変換係数により、処理対象領域内の画素のＲＧＢ値を変換する色空間変換ステップと、画像出力手段が、前記色空間変換ステップにおける処理結果に基づき、前記画像入力手段にて入力された処理対象画像に対して、所定のフォーマットで処理結果画像を出力する画像出力ステップとを備えたことを特徴としている。

上記構成において、色空間分割手段、色空間分割ステップによって、色変換処理のための処理単位（領域）が定められるので、色空間変換手段、色空間変換ステップにおいて、似た領域同士（処理対象領域とそれに対応する参照領域と）で個別に色変換することができる。
また、変換されたカラースペースの成分値をあらかじめ決定された指定範囲毎のカテゴリーに分類しているので、同一指定範囲のカテゴリーに含まれる画素同士で個別にＲＧＢ値を変換することができる。

（２）また上記課題を解決するために請求項３に記載のプログラムは、請求項２に記載の画像補正方法をコンピュータに実行させるためのプログラムである。

（１）請求項１〜３に記載の発明によれば、画像の色彩を、所望する色彩に変化させることができ、画像に写っている対象に対してロバストなシステム、方法、プログラムを提供することができる。
（２）また、変換されたカラースペースの成分値をあらかじめ決定された指定範囲毎のカテゴリーに分類しているので、同一指定範囲のカテゴリーに含まれる画素同士で個別にＲＧＢ値を変換することができる。

以下、本発明の実施形態について図面を参照しながら詳細に説明するが、本発明は下記の実施形態例に限定されるものではない。

図１は本発明の一実施例による画像補正システムの機能ブロック図を示している。図１において、本システムは、画像入力部１（画像入力手段）、色空間分割部２（色空間分割手段）、色空間変換部３（色空間変換手段）、画像出力部４（画像出力手段）から構成されている。

画像入力部１では、処理対象となる画像（処理対象画像）、及び補正処理の参照とする画像（参照画像）を入力することが行われる。この入力される画像は、例えばＣＣＤを撮像素子として用いたカメラなどを利用するとしてよい。

色空間分割部２では、画像入力部１にて入力された処理対象画像、及び参照画像から、色空間変換のペアとなる処理対象領域、及びそれに対応する参照領域を抽出することが行われる。

色空間変換部３では、色空間分割部２にて抽出された処理対象領域、及び参照領域を利用して、参照画像を基に処理対象画像の色彩を変換することが行われる。 画像出力部４では、色空間変換部３における処理結果に基づき、画像入力部１にて入力された処理対象画像に対して、所定のフォーマットで処理結果画像を出力することが行われる。このフォーマットは、一般的に画像で利用されるものであれば、特に制限されるものではなく、また、カメラなどを利用して画像の入力が連続的に行われる場合には、映像データとして出力させることもできる。

図２、及び図３は、一実施例による画像補正システムの色空間分割部２、色空間変換部３の各部の動作を示すフローチャートである。以下、この流れにしたがって詳細に説明する。

色空間分割部２は図２に示す手順で以下の処理を行う。
［ステップＳ１］ 処理対象画像のＲＧＢ値を入力する。
[ステップＳ２] 参照画像のＲＧＢ値を入力する。
[ステップＳ３] ＲＧＢ値を設定されたカラースペースに変換する。
[ステップＳ４] カラースペースの成分に対して、成分値を指定範囲毎のカテゴリーに分類する。
[ステップＳ５] 各カテゴリーに含まれる画素を処理対象領域、及びそれに対する参照領域と決定する。

このとき、[ステップＳ３]で利用されるカラースペースには、ＲＧＢ、Ｌα＊β＊、Ｌｕ＊ｖ＊、ＨＬＳ、ＨＳＶなどを利用するとしてもよい。また、[ステップＳ４]で利用される指定範囲は、あらかじめ決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。

このとき、[ステップＳ４]の処理については、各画素に対する特徴量を利用し、この特徴量の指定された範囲毎に、カテゴリー分類するとしてもよい。これらの特徴量には、例えば、以下の数式（１）〜（３）で示されるようなものを利用するとしてよい。但し、ｘ，ｙは画素位置である。

ＣＣＣＩ(ｘ，ｙ)＝｛（ｒ（ｘ，ｙ−１）／ｒ(ｘ，ｙ)＋ｒ（ｘ，ｙ＋１）／ｒ(ｘ，ｙ)＋ｒ（ｘ−１，ｙ）／ｒ(ｘ，ｙ)＋ｒ（ｘ＋１，ｙ）／ｒ(ｘ，ｙ)）／４，
（ｇ（ｘ，ｙ−１）／ｇ(ｘ，ｙ)＋ｇ（ｘ，ｙ＋１）／ｇ(ｘ，ｙ)＋ｇ（ｘ−１，ｙ）／ｇ(ｘ，ｙ)＋ｇ（ｘ＋１，ｙ）／ｇ(ｘ，ｙ)）／４，
（ｂ（ｘ，ｙ−１）／ｂ(ｘ，ｙ)＋ｂ（ｘ，ｙ＋１）／ｂ(ｘ，ｙ)＋ｂ（ｘ−１，ｙ）／ｂ(ｘ，ｙ)＋ｂ（ｘ＋１，ｙ）／ｂ(ｘ，ｙ)）／４｝…（１）

ｃｈｒｏｍａｔｉｃｉｔｙ(ｘ，ｙ)＝ｍａｘ（ｒ(ｘ，ｙ)，ｇ(ｘ，ｙ)，ｂ(ｘ，ｙ)）／（ｒ(ｘ，ｙ)＋ｇ(ｘ，ｙ)＋ｂ(ｘ，ｙ)）…（２）

ｒａｔｉｏ(ｘ，ｙ)＝（ｒ(ｘ，ｙ)＋ｂ(ｘ，ｙ)−２＊ｇ(ｘ，ｙ)）／（ｇ(ｘ，ｙ)＋ｂ(ｘ，ｙ)−２＊ｒ(ｘ，ｙ)）…（３）
次に色空間変換部３は図３に示す手順で以下の処理を行う。
[ステップＳ１] 処理対象領域内の画素のＲＧＢ値を入力する。
[ステップＳ２] 参照領域内の画素のＲＧＢ値を入力する。
[ステップＳ３] 各領域に対して、主成分分析により、主成分となる３軸を決定する。
[ステップＳ４] 決定された軸方向に対して、ＲＧＢ値分布を囲む最小のバウンディングボックスを算出する。
[ステップＳ５] 各領域のバウンディングボックス間のアフィン変換係数を算出する。
[ステップＳ６] 算出したアフィン変換係数により、処理対象領域内の画素のＲＧＢ値を変換する。
[ステップＳ７] 全ての処理対象領域について、[ステップＳ１]〜[ステップＳ６]を繰り返す。

ここで[ステップＳ３]における主成分分析処理は、通常の統計処理で利用される処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。また[ステップＳ５]におけるアフィン変換は３次元の回転＋移動であらわすことができる。

以下では、これまで説明してきた画像補正システムにおいて、画像の色彩を変化させる際の具体的な手順を説明する。まず色空間分割部２において、入力された処理対象画像、及び参照画像から、色空間変換のペアとなる処理対象領域、及びそれに対応する参照領域を抽出する際の具体的な処理手順を述べる。

ここでは、説明のため、入力された処理対象画像、及び参照画像に対し、カラースペースを変換した結果、例えば、ＨＳＶの色相（Ｈ）を利用したとして、処理対象画像に対して図４（ａ）、参照画像に対して図４（ｂ）に示すような変換になったとする（図２のステップＳ３）。

ここで、このＨに対して図２のステップＳ４の分類処理を行う。この際、指定範囲を例えば３６度毎とすると、この３６度毎に１つのカテゴリーで、Ｈは３６０度に分布するので、図４（ｃ），（ｄ）に示すように１０のカテゴリーに分類されることになる。これに対して、各カテゴリーに含まれる画素が処理対象領域（図４（ｃ））、及びそれに対する参照領域（図４（ｄ））と決定される。

続いて、色空間変換部３において、前記決定された処理対象領域、及び参照領域を利用して、参照画像を基に処理対象画像の色彩を変換する際の具体的な処理手順を述べる。ここでは説明のため、例えば、あるカテゴリーにおける処理対象領域内の画素のＲＧＢ値が図５（ａ）に、参照領域内の画素のＲＧＢ値が図５（ｂ）に示すような分布をしていたとする。

これらの各々の分布に対して、図３のステップＳ３の主成分分析を行うと、図５（ｃ），（ｄ）の太実線矢印に示すような主成分となる３軸が決定される。この３軸方向に対して、図３のステップＳ４で述べたＲＧＢ値分布を囲む最小のバウンディングボックスを算出すると、図５（ｅ），（ｆ）に示すようになる。

これに対して、図５（ｅ）の処理対象領域から図５（ｆ）の参照領域へマッピングするためのアフィン変換係数を算出することが行われ（図３のステップＳ５）、この係数により、処理対象領域内の画素のＲＧＢ値が変換される（図３のステップＳ６）。

これらの処理を、全てのカテゴリーの処理対象領域について行い（図３のステップＳ７）、画像出力部４において、処理結果画像が出力されることになる。

上記のように本実施例においては、図４（ｃ），（ｄ）に示すように、変換されたカラースペースの成分値を指定範囲毎のカテゴリーに分類しているので、同一カテゴリー内の画素同士で個別にＲＧＢ値を変換することができる。

前記画像入力部１、色空間分割部２、色空間変換部３、画像出力部４の各処理は、例えば図示省略のコンピュータによって実行される。

また前記カラースペースの成分値を指定範囲毎のカテゴリーに分類した結果、すなわち図４（ｃ），（ｄ）に示す、決定された処理対象領域、参照領域や、処理対象領域及び参照領域に対して主成分分析を行った結果、すなわち図５（ｃ），（ｄ）に示す、決定された主成分となる３軸等を、例えば図示省略のメモリに格納して利用するように構成する。

また本発明の画像補正方法は、前記図１〜図５で述べた各処理を実行するものである。

また前記画像補正方法をコンピュータに実行させるためのプログラムを構築するものである。

また前記プログラムを記録した記録媒体を、システム、又は装置に供給し、そのシステム又は装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することも可能である。この場合記録媒体から読み出されたプログラム自体が上記実施形態の機能を実現することになり、このプログラムを記録した記録媒体としては、例えば、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ及びＨＤＤ等がある。

以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施例に限定されるものではなく、幅広く応用することができる。

本発明の実施形態例に係るシステムの機能ブロック図。 本発明の実施形態例における色空間分割部の動作の流れを示すフローチャート。 本発明の実施形態例における色空間変換部の動作の流れを示すフローチャート。 本発明の実施形態例における色空間分割部の具体的処理を表し、（ａ）は処理対象画像に対してカラースペースを変換した結果の説明図、（ｂ）は参照画像に対してカラースペースを変換した結果の説明図、（ｃ）はカテゴリー分類により処理対象領域と決定された様子を示す説明図、（ｄ）はカテゴリー分類により参照領域と決定された様子を示す説明図。 本発明の実施形態例における色空間変換部の具体的処理を表し、（ａ）は処理対象領域内の画素のＲＧＢ値の分布を示す説明図、（ｂ）は参照領域内の画素のＲＧＢ値の分布を示す説明図、（ｃ）、（ｄ）は（ａ），（ｂ）の分布に対して主成分分析を行って主成分となる３軸を決定した様子を示す説明図、（ｅ），（ｆ）は（ｃ），（ｄ）の３軸に対してＲＧＢ値分布を囲む最小のバウンディングボックスを算出した様子を示す説明図。

符号の説明

１…画像入力部、２…色空間分割部、３…色空間変換部、４…画像出力部。

Claims (3)

1. 画像の色彩を変化させるための画像補正システムにおいて、
   処理対象となる処理対象画像、及び補正処理の参照とする参照画像を入力する画像入力手段と、
   前記画像入力手段にて入力された処理対象画像、及び参照画像のＲＧＢ値を、設定されたカラースペースに各々変換し、前記カラースペースの成分値を、あらかじめ決定された指定範囲毎のカテゴリーに分類し、前記分類された各指定範囲のカテゴリーに含まれる画素を処理対象領域及びそれに対する参照領域と決定する色空間分割手段と、
   前記色空間分割手段にて決定された処理対象領域及び参照領域における、各領域内の画素のＲＧＢ値の分布に対して主成分分析を行って主成分となる３軸を決定し、該決定された軸方向に対してＲＧＢ値分布を囲む最小のバウンディングボックスを算出し、処理対象領域及び参照領域のバウンディングボックス間のアフィン変換係数を算出し、該算出したアフィン変換係数により処理対象領域内の画素のＲＧＢ値を変換する色空間変換手段と、
   前記色空間変換手段における処理結果に基づき、前記画像入力手段にて入力された処理対象画像に対して、所定のフォーマットで処理結果画像を出力する画像出力手段とを備えたことを特徴とする画像補正システム。
2. 画像の色彩を変化させるための画像補正方法において、
   色空間分割手段が、画像入力手段にて入力された、処理対象となる処理対象画像のＲＧＢ値を入力するステップと、画像入力手段にて入力された、補正処理の参照となる参照画像のＲＧＢ値を入力するステップと、前記各ＲＧＢ値を設定されたカラースペースに変換するステップと、前記カラースペースの成分値を、あらかじめ決定された指定範囲毎のカテゴリーに分類するステップと、前記分類された各指定範囲のカテゴリーに含まれる画素を処理対象領域、及びそれに対する参照領域と決定するステップと、
   色空間変換手段が、全ての処理対象領域について、処理対象領域内の画素のＲＧＢ値を入力するステップと、前記参照領域内の画素のＲＧＢ値を入力するステップと、前記処理対象領域及び参照領域の各領域に対して、主成分分析により、主成分となる３軸を決定するステップと、決定された軸方向に対して、ＲＧＢ値分布を囲む最小のバウンディングボックスを算出するステップと、前記処理対象領域及び参照領域のバウンディングボックス間のアフィン変換係数を算出するステップと、算出したアフィン変換係数により、処理対象領域内の画素のＲＧＢ値を変換する色空間変換ステップと、
   画像出力手段が、前記色空間変換ステップにおける処理結果に基づき、前記画像入力手段にて入力された処理対象画像に対して、所定のフォーマットで処理結果画像を出力する画像出力ステップとを備えたことを特徴とする画像補正方法。
3. 請求項２に記載の画像補正方法をコンピュータに実行させるためのプログラム。