JP5367455B2 - 複数のカラーカメラ間の色調整装置および方法 - Google Patents

Description

本発明は、複数のカラーカメラ（以下、特段な場合を除いて、単にカメラと言う。）間の色調整装置および方法に関し、特に、複数のカメラによって同一の被写体を撮影した複数の撮影画像の１つを基準画像とし、他を調整対象画像として、当該調整対象画像の色合いを基準画像の色合いと同じになるように調整する、色調整装置および方法に関する。

複数のカメラによって同一の被写体を撮影する際、各カメラが同機種のものであっても、当該各カメラから得られる撮影画像の色合いが互いに異なることがある。この現象は、複数のカメラを備えるシステム、特に各カメラの撮影画像を並べて表示させるマルチビジョン表示システムや、各カメラの撮影画像から被写体の奥行き情報を取得する立体視システム等において、不都合である。この不都合を解消するべく、従来、例えば非特許文献１に開示された技術がある。

この従来技術によれば、各カメラの撮影画像の色合い（色再現）の違いは、当該各カメラ間でそれぞれの撮影画像の色合いを表す色空間の座標系がずれていることに起因する、と仮定される。この仮定の下、１台のカメラによる撮影画像が基準（理想）とされる。そして、この基準とされた撮影画像の色合いと一致するように、他のカメラによる撮影画像の色合いが調整される。詳しくは、調整対象である撮影画像のＲＧＢの各成分が変換多項式によって補正される。なお、変換多項式は、複数の色サンプルを有するカラーパレットが被写体とされたときの各カメラによる撮影画像に基づいて、求められる。具体的には、調整対象である撮影画像に含まれるそれぞれの色サンプル部分を表すＲＧＢの各成分が、変換多項式によって補正される。そして、この補正後の各成分値が、基準画像に含まれるそれぞれの色サンプル部分を表すＲＧＢの各成分値と等しくなるように、当該変換多項式の係数が求められ、例えば最小２乗法によって求められる。

稲村真太郎，田口亮，「異なったカメラ間の色調整について」，信学技報（スマートインフォメディアシステム研究会），社団法人電子情報通信学会，２００７年３月１日，ｖｏｌ．１０６，Ｎｏ．５７５，ｐ．１９−２２

しかし、上述の従来技術では、色調整を実現するのに、つまり変換多項式を求めるのに、カラーパレットという特別な手段を必要とする。しかも、最小２乗法という面倒な演算をも必要とするため、その分、手間が掛かり、また余分なコストが掛かる。

そこで、本発明は、従来よりも極めて簡単かつ安価に複数のカメラ間の色調整を行うことができる色調整装置および方法を提供することを、目的とする。

この目的を達成するために、本発明のうちの第１発明は、複数のカラーカメラによって同一の被写体を撮影した複数の撮影画像の１つを基準画像とし、他を調整対象画像として、当該調整対象画像の色合いを基準画像の色合いと同じになるように調整する色調整装置において、基準画像および調整対象画像それぞれの色合いが、第１色空間に従う形式で表されることを、前提とする。この前提の下、調整対象画像の色合いを構成する第１色空間の座標成分である第１成分を第２色空間の座標成分である第２成分に変換する色空間変換手段を、具備する。そして、この色空間変換手段によって変換されたそれぞれの第２成分ごとのヒストグラムが、基準画像に基づく基準ヒストグラム、詳しくは基準画像の色合いを構成する第１成分を第２成分に変換したときの当該第２成分のヒストグラム、と一致するように、ヒストグラム変換を施すヒストグラム変換手段をも、具備する。さらに、このヒストグラム変換手段によってヒストグラム変換を施された後の第２成分を第１成分に変換し直すことで、調整対象画像の色合いが調整された調整後画像を生成する色空間再変換手段を、具備するものである。

即ち、本第１発明では、調整対象画像の色合いを構成する第１色空間の座標成分である第１成分が、色空間変換手段によって、第２色空間の座標成分である第２成分に変換される。つまり、調整対象画像に対して、いわゆる色空間変換が施される。そして、この色空間変換後の第２色空間において、調整対象画像についてのそれぞれの第２成分ごとのヒストグラム、詳しくは当該第２成分の大きさ（レベル）に対する画素の頻度（度数）を表す分布が、基準画像に基づく基準ヒストグラムと一致するように、厳密には互いの正規化された累積ヒストグラムが一致するように、ヒストグラム変換手段によってヒストグラム変換（いわゆるヒストグラムマッチング処理）が施される。そして、このヒストグラム変換後の第２成分が、色空間再変換手段によって、第１成分に変換し直される。つまり、色空間が逆変換される。そして、この逆変換によって、調整対象画像の色合いが基準画像の色合いと同じになるように調整された調整後画像が生成される。

要するに、本第１発明によれば、調整対象画像に対して、色空間変換が施され、この色空間変換後のそれぞれの成分ごとに、基準画像の同成分を基準とするヒストグラムマッチング処理が施される。そして、このヒストグラムマッチング処理後の各成分が元の色空間に戻され、これによって、基準画像と同じ色合いの調整後画像が生成される。

なお、このように調整対象画像の色空間を変換してからヒストグラムマッチング処理を施さなくても、元の色空間において当該調整対象画像にヒストグラムマッチング処理を施すことによって色調整を実現することができるのではないかと、想像される。しかしながら、後述するように、元の色空間のままヒストグラムマッチング処理を施した場合には、良好な色調整を実現することができず、一旦、色空間を変換してからヒストグラムマッチング処理を施すことによってはじめて、良好な色調整を実現できることが、このたび、実験によって確認された。

ここで言う第１成分と第２成分との相互変換、つまり第１色空間と第２色空間との相互変換は、回転変換によって行われるものとしてもよい。このような回転変換は、例えば回転行列式を用いることによって、実現することができる。

また、このたびの実験では、上述の回転変換に係る角度によって、つまり相互変換に係るパラメータによって、調整後画像の色合いが変化することが、判明した。言い換えれば、当該パラメータの最適値が存在することが、判明した。併せて、調整後画像の色合いと基準画像の色合いとがどの程度近似しているのかを、当該調整後画像の色合いを構成する第１成分間の相互相関値から評価し得ることが、判明した。詳しくは、この相互相関値が小さいほど、調整後画像の色合いと基準画像の色合いとが近似しているものと、みなすことができる。

これらを鑑みて、本第１発明では、調整後画像の色合いを構成する第１成分間の相互相関値を求める相互相関値演算手段と、この相互相関値演算手段によって求められた相互相関値に基づいて第１成分と第２成分との相互変換に用いるパラメータを求めるパラメータ演算手段と、をさらに具備してもよい。

なお、本第１発明における第１色空間は、例えばＲＧＢ色空間である。この場合、第１成分は、ＲＧＢそれぞれの成分を指す。

また、第２色空間は、極端にはＹＵＶ（ＹＣｂＣｒ）色空間であってもよい。この場合、第２成分は、ＹＵＶそれぞれの成分を指す。

次に、本発明のうちの第２発明は、第１発明に対応する方法発明であり、複数のカラーカメラによって同一の被写体を撮影した複数の撮影画像の１つを基準画像とし、他を調整対象画像として、当該調整対象画像の色合いを基準画像の色合いと同じになるように調整する色調整方法において、基準画像および調整対象画像それぞれの色合いが、第１色空間に従う形式で表されることを、前提とする。この前提の下、調整対象画像の色合いを構成する第１色空間の座標成分である第１成分を第２色空間の座標成分である第２成分に変換する色空間変換過程と、この色空間変換過程において変換された第２成分ごとのヒストグラムが基準画像に基づく基準ヒストグラムと一致するようにヒストグラム変換を施すヒストグラム変換過程と、当該ヒストグラム変換を施された後の第２成分を第１成分に変換し直すことで調整対象画像の色合いが調整された調整後画像を生成する色空間再変換過程と、を具備するものである。

上述したように、本発明によれば、調整対象画像に対して、色空間変換が施され、この色空間変換後のそれぞれの成分ごとに、基準画像の同成分を基準とするヒストグラムマッチング処理が施される。そして、このヒストグラムマッチング処理後の各成分が元の色空間に戻され、これによって、基準画像と同じ色合いの調整後画像が生成される。つまり、色調整を実現するのに、カラーパレットという特別な手段を必要とし、しかも、最小２乗法という面倒な演算を必要とする上述した従来技術とは異なり、当該カラーパレットという特別な手段や最小２乗法という面倒な演算を一切必要としない。従って、従来よりも極めて簡単かつ安価に複数のカメラ間の色調整を実現することができる。

本発明の一実施形態で利用されるヒストグラムマッチング処理の概要を説明するための図解図である。 白黒画像に対して実際にヒストグラムマッチング処理を施した一例を示す図である。 図２に示す各白黒画像の累積ヒストグラムを示すグラフである。 カラー画像に対してＲＧＢそれぞれの成分ごとにヒストグラムマッチング処理を施した一例を示す図である。 図４に示す各カラー画像のＲＧＢそれぞれの成分ごとの累積ヒストグラムを示すグラフである。 同実施形態に係る色調整装置の全体構成を示すブロック図である。 図６におけるヒストグラム検出部の詳細を示すブロック図である。 図６における色調整部の詳細を示すブロック図である。 同実施形態による効果を示す図解図である。 図９における基準画像と調整後画像との２チャンネル信号についての回転角度に対するＮＭＳＥの関係を示すグラフである。 図９における調整後画像のみの２チャンネル信号についての回転角度に対する相互相関値の関係を示すグラフである。 図９とは異なる被写体を示す図である。 図１２の各被写体についての図１１と同様の回転角度に対する相互相関値の関係を示すグラフである。 図９における調整後画像についての回転角度に対する相互相関値の絶対値差分和の関係を示すグラフである。 図１２の各被写体についての図１４と同様の回転角度に対する相互相関値の絶対値差分和の関係を示すグラフである。 図９および図１２の各被写体についての評価結果を数値的に示すグラフである。 図９の被写体についての評価結果を視覚的に示す図である。 図１２の１つの被写体についての評価結果を視覚的に示す図である。 図１８とは別の被写体についての評価結果を視覚的に示す図である。 図１９とはさらに別の被写体についての評価結果を視覚的に示す図である。 本実施形態において照明が異なる条件下での被写体を示す図である。 図２１の被写体についての評価結果を数値的に示すグラフである。 図２１の被写体についての評価結果を視覚的に示す図である。 本実施形態において絞り値が異なる条件下での被写体を示す図である。 図２４の被写体についての評価結果を数値的に示すグラフである。 図２４の１つの被写体についての評価結果を視覚的に示す図である。 図２６とは別の被写体についての評価結果を視覚的に示す図である。 本実施形態の別の例による評価結果を示す図である。

本発明の一実施形態について、図１〜図２８を参照して説明する。

本実施形態においては、上述したヒストグラムマッチング処理によって、複数のカメラ間の色調整が実現される。このヒストグラムマッチング処理について、簡単に説明すると、今、２台の白黒カメラＡ’およびＢ’が存在する、と仮定する。そして、これらの白黒カメラＡ’およびＢ’によって同一の被写体が撮影されたときに、一方の白黒カメラＡ’から、例えば図１（ａ）のような輝度分布、詳しくは横軸の輝度ｋ（＝０〜Ｋ−１）に対して縦軸に正規化された累積度数（つまりそれぞれの輝度ｋにおける累積画素数を全画素数で除した数値）Ｈａ（ｋ）を記した累積ヒストグラム、を示す撮影画像が得られ、他方の白黒カメラＢ’から、図１（ｂ）のような累積ヒストグラムＨｂ（ｋ）を示す撮影画像が得られる、とする。この場合、一方の白黒カメラＡ’（Ｂ’でもよい）の累積ヒストグラムＨａ（ｋ）が基準とされ、この基準とされた累積ヒストグラムＨａ（ｋ）と一致するように、他方の白黒カメラＢ’（Ａ’でもよい）の累積ヒストグラムＨｂ（ｋ）が変換（加工）される。この結果、図１（ｃ）のような変換後の累積ヒストグラムＨｂ’（ｋ）が得られる。これが、ヒストグラムマッチング処理（厳密には累積ヒストグラムマッチング処理）である。なお、このヒストグラムマッチング処理については、公知であるので、ここでの詳細な説明を省略する。

図２に、この白黒カメラＡ’およびＢ’についてのヒストグラムマッチング処理の実験結果を示す。即ち、図２（ａ）に示す白黒画像が、白黒カメラＡ’から得られる基準画像であり、図２（ｂ）に示す白黒画像が、当該白黒カメラＡ’と同機種の白黒カメラＢ’から得られる調整対象画像である。この調整対象画像に対してヒストグラムマッチング処理が施されることによって、図２（ｃ）に示す白黒画像が、調整後画像として得られる。この図２（ｃ）の調整後画像と、図２（ａ）の基準画像と、を比較して分かるように、これら両者の画質（輝度およびコントラスト）は、互いに同程度である。つまり、ヒストグラムマッチング処理が施されることによって、基準画像と同程度の画質の調整後画像が得られることが、分かる。

また、図３に、図２の各白黒画像の累積ヒストグラムＨａ（ｋ），Ｈｂ（ｋ）およびＨｂ’（ｋ）を示す。なお、この図３において、横軸の輝度ｋは、０〜２５５（＝Ｋ−１）の２５６段階（８ビット）で記され、縦軸の累積頻度Ｈａ（ｋ），Ｈｂ（ｋ）およびＨｂ’（ｋ）は、上述したように正規化されている。この図３から分かるように、基準画像の累積ヒストグラムＨａ（ｋ）と調整対象画像の累積ヒストグラムＨｂ（ｋ）とは互いに不一致であるものの、調整後画像（変換後）の累積ヒストグラムＨｂ’（ｋ）は当該基準画像の累積ヒストグラムＨａ（ｋ）と略一致している。つまり、ヒストグラムマッチング処理が適切に行われていることが、分かる。

このヒストグラムマッチング処理がカラーカメラに適用されると、つまりＲＧＢそれぞれの成分ごとに当該ヒストグラムマッチング処理が適用されると、次のようになる。

即ち、今、２台のカラーカメラＡおよびＢが存在し、一方のカメラＡから、図４（ａ）に示すような撮影画像が得られ、他方のカメラＢから、当該図４（ａ）に示す撮影画像とは色合いの異なる図４（ｂ）に示すような撮影画像が得られる、とする。そして、一方のカメラＡの撮影画像が基準画像とされ、他方のカメラＢの撮影画像が調整対象画像とされ、これら両画像間で、ＲＧＢそれぞれの成分ごとに、ヒストグラムマッチング処理が施される、つまり、調整対象画像のＲＧＢそれぞれの累積ヒストグラムｈｂｒ（ｋ）,ｈｂｇ（ｋ）およびｈｂｂ（ｋ）が、基準画像のＲＧＢそれぞれの累積ヒストグラムｈａｒ（ｋ）,ｈａｇ（ｋ）およびｈａｂ（ｋ）と一致するように、当該ヒストグラムマッチング処理が施される、とする。この場合、ヒストグラムマッチング処理自体は、図５に示すように、ＲＧＢそれぞれの成分ごとに適切に行われる。

例えば、図５（ａ）に示すＲ成分に注目すると、基準画像の累積ヒストグラムｈａｒ（ｋ）と調整対象画像の累積ヒストグラムｈｂｒ（ｋ）とは互いに不一致であるものの、調整後画像の累積ヒストグラムｈｂｒ’（ｋ）は当該基準画像の累積ヒストグラムｈａｒ（ｋ）と略一致している。図５（ｂ）に示すＧ成分についても同様に、基準画像の累積ヒストグラムｈａｇ（ｋ）と調整対象画像の累積ヒストグラムｈｂｇ（ｋ）とは互いに不一致であるが、調整後画像の累積ヒストグラムｈｂｇ’（ｋ）は基準画像の累積ヒストグラムｈａｇ（ｋ）と略一致している。そして、図５（ｃ）に示すＢ成分も同様に、基準画像の累積ヒストグラムｈａｂ（ｋ）と調整対象画像の累積ヒストグラムｈｂｂ（ｋ）とは互いに不一致であるが、調整後画像の累積ヒストグラムｈｂｂ’（ｋ）は基準画像の累積ヒストグラムｈａｂ（ｋ）と略一致している。つまり、ヒストグラムマッチング処理自体は、ＲＧＢそれぞれの成分ごとに適切に行われることが、分かる。

ところが、このようにＲＧＢそれぞれの成分ごとにヒストグラムマッチング処理が適切に行われても、このヒストグラムマッチング処理によって得られる調整後画像は、図４（ｃ）に示すように、図４（ａ）の基準画像とは全く色合いの異なるものとなる。どちらかと言えば、図４（ｃ）の調整後画像の色合いは、図４（ｂ）の言わば調整前の色合いと、さほど変わらない。つまり、ＲＧＢそれぞれの成分ごとにヒストグラムマッチング処理が適切に施されても、良好な色調整が実現されないことが、分かる。

そこで、本実施形態では、ヒストグラムマッチング処理に先立って、基準画像および調整対象画像それぞれの色空間をＲＧＢとは別の３次元の色空間に変換し、この変換後の色空間において、それぞれの成分ごとにヒストグラムマッチング処理を施す。そして、このヒストグラムマッチング処理後の各成分を元のＲＧＢ成分に戻す、つまり色空間を元のＲＧＢ空間に変換し直すことによって、調整後画像を得る。この手法によれば、基準画像と略同じ色合いの調整後画像が得られること、要するに良好な色調整が実現されることが、実験によって確認された。以下、具体的に説明する。

図６を参照して、本実施形態に係る色調整装置１０は、２台のカメラＡおよびＢ間の色調整を行うものであり、一方のカメラＡからの撮影画像を基準画像Ｓａとし、他方のカメラＡからの撮影画像を調整対象画像Ｓｂとして取り扱う。

基準画像Ｓａは、その出力元であるカメラＡから本実施形態の色調整装置１０をスルーして直接的に図示しないモニタ装置に入力されると共に、当該色調整装置１０を構成するヒストグラム検出部１２に入力される。ヒストグラム検出部１２は、手動の設定部１４から与えられる後述のパラメータθおよびφに基づいて、基準画像Ｓａに色空間変換を施し、さらに、この色空間変換後のそれぞれの成分について、累積ヒストグラムＨａ（ｋ）を求める。この累積ヒストグラムＨａ（ｋ）は、色調整部１６に与えられる。

色調整部１６には、カメラＢからの調整対象画像Ｓｂが入力されており、併せて、設置部１４から上述のパラメータθおよびφが与えられる。色調整部１６は、これらのパラメータθおよびφに基づいて、調整対象画像Ｓｂに対し、ヒストグラム検出部１２によるのと同様の色空間変換を施す。さらに、色調整部１６は、色空間変換後のそれぞれの成分ごとに、ヒストグラム検出部１２から与えられる累積ヒストグラムＨａ（ｋ）を基準として、ヒストグラムマッチング処理を施す。そして、このヒストグラムマッチング処理後の各成分を元のＲＧＢ成分に戻し、つまり色空間をＲＧＢ空間に変換し直す。これによって、調整後画像Ｓｂ’が得られ、この調整後画像Ｓｂ’は、基準画像Ｓａと共に、図示しないモニタ装置に入力される。

図７に、ヒストグラム検出部１２の詳細な構成を示す。この図７に示すように、ヒストグラム検出部１２は、色空間変換部２０を有しており、当該色空間変換部２０に、基準画像ＳａのＲＧＢそれぞれの成分ｓａｒ（ｉ，ｊ），ｓａｇ（ｉ，ｊ）およびｓａｂ（ｉ，ｊ）が１画素分ずつ順次入力されると共に、上述の設定部１４からパラメータθおよびφが与えられる。なお、（ｉ，ｊ）は、任意の画素の座標値を表す。また、それぞれの成分ｓａｒ（ｉ，ｊ），ｓａｇ（ｉ，ｊ）およびｓａｂ（ｉ，ｊ）は、例えば８ビットの情報量を持つ。色空間変換部２０は、それぞれの成分ｓａｒ（ｉ，ｊ），ｓａｇ（ｉ，ｊ）およびｓａｂ（ｉ，ｊ）に対し、パラメータθおよびφに基づく色空間変換を施し、詳しくは当該パラメータθおよびφが適用された次の数１で表される回転変換行列Ｔに従う３次元の回転変換を施す。

この色空間変換部２０による回転変換後の３次元の各成分ｓａｘ（ｉ，ｊ），ｓａｙ（ｉ，ｊ）およびｓａｚ（ｉ，ｊ）は、それぞれ個別のヒストグラム算出部２２，２４および２６に入力される。それぞれのヒストグラム算出部２２，２４および２６は、入力された成分ｓａｘ（ｉ，ｊ），ｓａｙ（ｉ，ｊ）およびｓａｚ（ｉ，ｊ）の累積ヒストグラムｈａｘ（ｋ），ｈａｙ（ｋ）およびｈａｚ（ｋ）を算出する。この算出結果ｈａｘ（ｋ），ｈａｙ（ｋ）およびｈａｚ（ｋ）が、基準ヒストグラムＨａ（ｋ）として、色調整部１６に与えられる。

色調整部１６は、図８に示すように、図７に示したのと同様の色空間変換部３０を有している。そして、この色空間変換部３０には、調整対象画像ＳｂのＲＧＢそれぞれの成分ｓｂｒ（ｉ，ｊ），ｓｂｇ（ｉ，ｊ）およびｓｂｂ（ｉ，ｊ）が１画素分ずつ順次入力されると共に、設定部１４からパラメータθおよびφが与えられる。なお、この色空間変換部３０に入力されるそれぞれの成分ｓｂｒ（ｉ，ｊ），ｓｂｇ（ｉ，ｊ）およびｓｂｂ（ｉ，ｊ）もまた、８ビットの情報量を有している。色空間変換部３０は、これらの成分ｓｂｒ（ｉ，ｊ），ｓｂｇ（ｉ，ｊ）およびｓｂｂ（ｉ，ｊ）に対し、図７に示した色空間変換部２０と同様の要領で、回転変換を施す。

この色空間変換部３０による回転変換後の３次元の各成分ｓｂｘ（ｉ，ｊ），ｓｂｙ（ｉ，ｊ）およびｓｂｚ（ｉ，ｊ）は、それぞれ個別のヒストグラム変換部３２，３４および３６に入力される。それぞれのヒストグラム変換部３２，３４および３６は、入力された成分ｓｂｘ（ｉ，ｊ），ｓｂｙ（ｉ，ｊ）およびｓｂｚ（ｉ，ｊ）の累積ヒストグラムｈｂｘ（ｋ），ｈｂｙ（ｋ）およびｈｂｚ（ｋ）を算出すると共に、これらの累積ヒストグラムｈｂｘ（ｋ），ｈｂｙ（ｋ）およびｈｂｚ（ｋ）が、対応する基準ヒストグラムｈａｘ（ｋ），ｈａｙ（ｋ）およびｈａｚ（ｋ）と一致するように、ヒストグラムマッチング処理を施す。

各ヒストグラム変換部３２，３４および３６によるヒストグラムマッチング処理後の各成分ｓｂｘ’（ｉ，ｊ），ｓｂｙ’（ｉ，ｊ）およびｓｂｚ’（ｉ，ｊ）は、色空間逆変換部３８に入力される。色空間逆変換部３８は、入力された各成分ｓｂｘ’（ｉ，ｊ），ｓｂｙ’（ｉ，ｊ）およびｓｂｚ’（ｉ，ｊ）に対して、色空間変換部３０によるのとは逆の変換を施すことによって、つまり数１に示した回転変換行列Ｔの逆行列Ｔ^−１を乗ずることによって、当該各成分ｓｂｘ’（ｉ，ｊ），ｓｂｙ’（ｉ，ｊ）およびｓｂｚ’（ｉ，ｊ）を元のＲＧＢ成分ｓｂｒ’（ｉ，ｊ），ｓｂｇ’（ｉ，ｊ）およびｓｂｂ’（ｉ，ｊ）に戻す。これによって、これらの成分ｓｂｒ’（ｉ，ｊ），ｓｂｇ’（ｉ，ｊ）およびｓｂｂ’（ｉ，ｊ）から成る調整後画像Ｓｂ’が生成される。

このように構成された本実施形態の色調整装置１０において、例えば、基準画像Ｓａとして、図９（ａ）に示す画像が得られ、調整対象画像Ｓｂとして、図９（ｂ）に示す画像が得られる、とする。この場合、上述したパラメータとしての回転角度θおよびφが、それぞれθ＝４２度およびφ＝５４度であるときに、調整後画像Ｓｂ’として、図９（ｃ）に示すような画像が得られる。この図９（ｃ）の調整後画像Ｓｂ’と、図９（ａ）の基準画像Ｓａとを、比較して分かるように、これら両者の色合いは、略同じである。つまり、本実施形態によれば、基準画像Ｓａと略同じ色合いの調整後画像Ｓｂ’が得られることが、分かる。

なお、基準画像Ｓａの色合いに対して、調整後画像Ｓｂ’の色合いが、どの程度近似しているのかを評価する１つの指標として、ＮＭＳＥ（Normalized Mean Square Error：正規化２乗誤差平均）が知られている。このＮＭＳＥは、その値が小さいほど、近似度合が高いことを、意味する。例えば、図９（ａ）の基準画像Ｓａに対する図９（ｃ）の調整後画像Ｓｂ’のＮＭＳＥを求めると、“０．０１８６２”である。一方、図９（ａ）の基準画像Ｓａに対する図９（ｂ）の調整対象画像ＳｂのＮＭＳＥを求めると、“０．０４８４３”であり、図９（ｃ）の調整後画像Ｓｂ’のＮＭＳＥよりも遙かに大きい。このことから、ＮＭＳＥという定量的（数値的）な指標値に基づく評価においても、本実施形態によれば、基準画像Ｓａと略同じ色合いの調整後画像Ｓｂ’が得られること、つまり良好な色調整が実現されることが、分かる。なお、図９の各画像Ｓａ，ＳｂおよびＳｂ’には、縦４行かつ横６列に並べられた合計２４個の正方形状のカラーサンプルを有するカラーパレットが含まれているが、このカラーパレットのみのＮＭＳＥを求めると、図９（ａ）の基準画像Ｓａに対する図９（ｃ）の調整後画像Ｓｂ’の当該ＮＭＳＥは“０．００８２７”であり、図９（ａ）の基準画像Ｓａに対する図９（ｂ）の調整対象画像ＳｂのＮＭＳＥは“０．０６５９５”であり、両者の差は歴然である。

ところで、図９（ｃ）の調整後画像Ｓｂ’を得るための上述した回転角度θおよびφそれぞれのθ＝４２度およびφ＝５４度という値は、これらの回転角度θおよびφの言わば最適値である。この最適値を求めるために、本実施形態では、次のような実験を行った。

即ち、まず、図９（ａ）の基準画像Ｓａと、図９（ｂ）の調整対象画像Ｓｂとの、それぞれについて、ＲＧ成分のみを抽出した２チャンネル信号と、ＧＢ成分のみを抽出した２チャンネル信号と、ＢＲ成分のみを抽出した２チャンネル信号と、の合計３つの２チャンネル信号を作成する。そして、これら３つの２チャンネル信号のそれぞれについて、次の数２で表される回転変換行列Ｔ’に従う２次元の回転変換を施す。

さらに、この２次元の回転変換が施された後のそれぞれの成分ごとに、ヒストグラムマッチング処理を行い、このヒストグラムマッチング処理後のそれぞれの成分に、数２の逆行列Ｔ’^−１を乗ずることで、当該それぞれの成分を元のＲＧ成分，ＧＢ成分およびＢＲ成分に戻す。つまり、色空間を元のＲＧＢ空間に変換し直す。そして、この変換し直された（言わば調整後の）ＲＧ成分，ＧＢ成分およびＢＲ成分それぞれの２チャンネル信号ごとに、基準画像Ｓａの同２チャンネル信号との間で、ＮＭＳＥを求める。このＮＭＳＥを複数の回転角度θについて求めた結果を、図１０に示す。

この図１０に示すように、ＲＧ成分，ＧＢ成分およびＢＲ成分いずれの２チャンネル信号についても、回転角度θによってＮＭＳＥが変化すること、つまり当該ＮＭＳＥが回転角度θに依存することが、分かる。そして、いずれの２チャンネル信号についても、回転角度θがθ＝約４５度（またはこれに９０度を足した１３５度）のときに、ＮＭＳＥが最小となる。このθ＝４５度という回転角度θが、当該２チャンネル信号についての最適値であると、推察される。

続いて、基準画像Ｓａの各２チャンネル信号に依らずとも、調整後の各２チャンネル信号のみによって、回転角度θの最適値を導き出すことができるかを、考察する。即ち、当該調整後のそれぞれの２チャンネル信号について、次の数３から、相互相関値εｐｑを求める。

なお、この数３において、ｐおよびｑに、それぞれの２チャンネル信号を構成する各成分が代入される。例えば、ＲＧ成分については、当該ＲＧそれぞれの成分がｐおよびｑに代入される。そして、ＧＢ成分については、当該ＧＢそれぞれの成分がｐおよびｑに代入され、ＢＲ成分については、当該ＢＲそれぞれの成分がｐおよびｑに代入される。

この相互相関値εｐｑを複数の回転角度θについて求めた結果を、図１１に示す。この図１１から分かるように、図１０に示したＮＭＳＥと略同様の特性が得られる。つまり、いずれの２チャンネル信号についても、回転角度θがθ＝約４５度（またはこれに９０度を足した約１３５度）のときに相互相関値εｐｑが最小となる。詳しくは、ＲＧ成分についての相互相関値εｒｇは、θ＝４４度のときに最小となり、この最小値は、基準画像Ｓａの同成分についての相互相関値εｒｇに近い。また、ＧＢ成分についての相互相関値εｇｂは、θ＝４７度のときに最小となり、この最小値は、基準画像Ｓａの同成分についての相互相関値εｇｂに近い。さらに、ＢＲ成分についての相互相関値εｂｒは、θ＝４４度のときに最小となり、この最小値もまた、基準画像Ｓａの同成分についての相互相関値εｂｒに近い。このことから、調整後の各２チャンネル信号のみによっても、回転角度θの最適値を導き出せることが、判明した。

この論理が、他の被写体が撮影された場合にも、同様に成り立つのかを、検証する。即ち、図１２（ａ）に示す被写体ロと、図１２（ｂ）に示す被写体ハと、図１２（ｃ）に示す被写体ニと、のそれぞれについて、上述と同じ要領でＲＧ成分，ＧＢ成分およびＢＲ成分という３つの２チャンネル信号それぞれについて、２次元の回転変換→ヒストグラムマッチング処理→逆変換という処理を施し、この逆変換後のそれぞれの２チャンネル信号について、相互相関値εｐｑを求めた。その結果を、図１３に示す。

具体的には、図１３（ａ）が、図１２（ａ）の被写体ロについての相互相関値εｐｑであり、図１３（ｂ）が、図１２（ｂ）の被写体ハについての相互相関値εｐｑである。そして、図１３（ｃ）が、図１２（ｃ）の被写体ニについての相互相関値εｐｑである。これらの結果から分かるように、図９に示した被写体（これを被写体イとする。）とは全く別の被写体ロ，ハおよびニが撮影された場合にも、回転角度θがθ＝約４５度のときに、相互相関値εｐｑが最小になる。つまり、被写体に関係なく、調整後の各２チャンネル信号のみによって回転角度θの最適値を導き出せることが、確認された。

これを応用して、上述の数１による３次元の回転変換に係る２つの回転角度θおよびφそれぞれの最適値を導き出せるのかを、検証する。具体的には、調整後画像Ｓｂ’から、そのＲＧ成分，ＧＢ成分およびＢＲ成分の３つの２チャンネル信号を抽出する。そして、これら３つの２チャンネル信号それぞれの相互相関値εｐｑを、上述の数３から求める。さらに、当該相互相関値εｐｑの絶対値差分和εｒｇｂを、次の数４に基づいて求める。なお、この数４において、εｒｇ，εｇｂ，εｂｒは、それぞれ基準画像ＳａのＲＧ成分，ＧＢ成分およびＢＲ成分の相互相関値である。

この相互相関値εｐｑの絶対値差分和εｒｇｂを、図９（ｃ）に示した被写体イの調整後画像Ｓｂ’について求めた。その結果を、図１４に示す。この図１４から分かるように、当該絶対値差分和εｒｇｂは、各回転角度θおよびφによって変わる。言い換えれば、当該絶対値差分和εｒｇｂが最小になる各回転角度θおよびφが存在し、つまり当該各回転角度θおよびφの最適値が存在する。そして、それぞれの最適値は、θ＝４２度およびφ＝５４という図９（ｃ）を参照して説明した値となる。

図１２に示した他の被写体ロ，ハおよびニについても、図１５に示すように、被写体イの場合と同様の結果が得られた。具体的には、図１５（ａ）が、被写体ロについての結果であり、図１５（ｂ）が、被写体ハについての結果であり、図１５（ｃ）が、被写体ニについての結果である。そして、いずれの被写体ロ，ハおよびニについても、各回転角度θおよびφの最適値は、それぞれθ＝４２度およびφ＝５４となる。

ここで、被写体イを用いて色調整を行ったときの設定条件を、条件イ’とし、被写体ロを用いて色調整を行ったときの設定条件を、条件ロ’とする。そして、被写体ハを用いて色調整を行ったときの設定条件を、条件ハ’とし、被写体ニを用いて色調整を行ったときの設定条件を、条件ニ’とする。さらに、被写体イに含まれるカラーパレットのみの部分に基づいて色調整を行ったときの設定条件を、条件イ”とする。そして、これら各条件イ’，ロ’，ハ’，ニ’およびイ”によって、各被写体イ，ロ，ハおよびニの撮影画像に色調整を行い、それぞれの色調整画像と基準画像とのＮＭＳＥを求めた。また、参考用として、被写体イに含まれるカラーパレットのみの部分の撮影画像にも、各条件イ’，ロ’，ハ’，ニ’およびイ”によって色調整を行い、その調整後と基準画像とのＮＭＳＥを求めた。その結果を、図１６に示す。

この図１６から分かるように、いずれの被写体イ，ロ，ハ，ニ，およびカラーパレットについても、いずれの条件イ’，ロ’，ハ’，ニ’およびイ”によって色調整が行われたのかに拘わらず、調整対象画像ＳｂよりもＮＭＳＥの小さい調整後画像Ｓｂ’が得られること、つまり良好な色調整が実現されることが、定量的に証明された。特に、カラーパレットについての調整結果に注目すると、調整前に比べてＮＭＳＥが大きく低減されており、極めて良好な色調整が実現されることが、分かる。また、このカラーパレットを含む被写体イについても、他の被写体ロ，ハおよびニに比べて良好な色調整が実現されることが、分かる。

図１７〜図２０に、それぞれの被写体イ，ロ，ハ，ニ，およびカラーパレットについて、各条件イ’，ロ’，ハ’，ニ’およびイ”によって色調整が行われた結果（画像）を、示す。これらの画像から分かるように、いずれの被写体イ，ロ，ハ，ニ，およびカラーパレットについても、いずれの条件イ’，ロ’，ハ’，ニ’およびイ”によって色調整が行われたのかに拘わらず、良好な色調整が実現されることが、視覚的にも証明された。

次に、照明を変えて、詳しくは図２１に示すように蛍光灯による照明下における被写体ホについて、色調整を行ってみた。なお、上述の各被写体イ，ロ，ハおよびニについては、照明として白熱灯が採用されている。即ち、この図２１に示す被写体ホを用いて色調整を行うと共に、当該被写体について、上述の各条件イ’，ロ’，ハ’，ニ’およびイ”を適用して色調整を行ってみた。その結果を、図２２に示す。

この図２２から分かるように、被写体ホを用いて色調整を行った条件ホ’と遜色のないほど、他の各条件イ’，ロ’，ハ’およびニ’が適用されることによっても、良好な色調整が実現されること、つまり調整対象画像ＳｂよりもＮＭＳＥの小さい調整後画像Ｓｂ’が得られることが、確認された。とりわけ、カラーパレットを含む被写体イを用いて色調整を行った条件イ’によれば、他の条件ロ’，ハ’およびニ’に比べて（極端ではないが）ＮＭＳＥが小さく、良好な色調整が実現されることが、分かる。

図２３に、被写体ホについて、条件ホ’によって色調整を行った結果と、条件イ’によって色調整を行った結果と、を表す調整後画像を、示す。この図２３からも、良好な色調整が実現されることが、理解できる。

さらに、カメラＡおよびＢの絞り値を変えて、詳しくは図２４（ａ）に示すように絞り値がＦのときと、図２４（ｂ）に示すように絞り値がＦ’（＞Ｆ）のときとの、被写体ヘについて、色調整を行ってみた。即ち、絞り値がＦのときの被写体ヘを用いて色調整を行うと共に、上述の各条件イ’，ロ’，ハ’，ニ’およびイ”によっても色調整を行ってみた。また、絞り値がＦ’のときの被写体ヘを用いて色調整を行うと共に、他の各条件イ’，ロ’，ハ’，ニ’およびイ”によっても色調整を行ってみた。その結果を、図２５に示す。

この図２５から分かるように、絞り値がＦのときの被写体ホを用いて色調整を行った条件へ’と、絞り値がＦ’のときの被写体ホを用いて色調整を行った条件へ”と、のいずれとも遜色のないほど、他の各条件イ’，ロ’，ハ’およびニ’によっても、良好な色調整が実現されることが、確認された。また、当然ではあるが、カラーパレットについての色調整結果の方が、より良好な結果が得られることも、確認された。

図２６に、絞り値がＦのときの被写体ヘについて、条件ヘ’によって色調整を行った結果と、条件イ’によって色調整を行った結果と、を表す調整後画像を、示す。また、図２７に、絞り値がＦ’のときの被写体ヘについて、条件ヘ”によって色調整を行った結果と、条件イ’によって色調整を行った結果と、を表す調整後画像を、示す。これら図２６および図２７からも、良好な色調整が実現されることが、分かる。

以上のように、本実施形態によれば、ＲＧＢ色空間によって表される調整対象画像に対して、回転変換により色空間変換が施され、この色空間変換後のそれぞれの成分ごとに、基準画像の同成分を基準とするヒストグラムマッチング処理が施される。そして、このヒストグラムマッチング処理後の各成分が元のＲＧＢ色空間に戻され、これによって、基準画像と同じ色合いの調整後画像が生成される。つまり、色調整を実現するのに、カラーパレットという特別な手段を必要とし、しかも、最小２乗法という面倒な演算を必要とする上述した従来技術とは異なり、当該カラーパレットという特別な手段や最小２乗法という面倒な演算を一切必要としない。従って、従来よりも極めて簡単かつ安価に複数のカメラ間の色調整を実現することができる。

なお、色空間変換は、極端には、ＹＵＶ色空間への変換であってもよい。つまり、調整対象画像について、ＲＧＢ色空間からＹＵＶ色空間への色空間変換が施され、この色空間変換後のＹＵＶ色空間において、当該ＹＵＶそれぞれの成分ごとに基準画像を基準とするヒストグラムマッチング処理が施され、このヒストグラムマッチング処理後に再度ＲＧＢ色空間に変換し直すことによっても、良好な色調整が実現されることが、確認された。その一例を、図２８に示す。なお、ＲＧＢ色空間からＹＵＶ色空間への変換も、一種の回転変換である。

また、本実施形態では、２台のカメラＡおよびＢを備える場合について、説明したが、３台以上のカメラを備える場合にも、本発明を適用できることは、言うまでもない。これらのカメラは、互いに同一機種のものであってもよいし、異なる機種のものであってもよい。

さらに、本実施形態に係る色調整装置１０は、パーソナルコンピュータによっても構成することができる。勿論、専用のハードウェアおよびソフトウェア（ファームウェア）によって当該色調整装置１０を構成してもよい。

そして、上述したように、調整後画像についての相互相関値の絶対値差分和εｒｇｂから、各回転角度θおよびφの最適値が導き出されることを利用して、当該各回転角度θおよびφの最適値を自動的に設定するようにしてもよい。つまり、当該絶対値差分和εｒｇｂが最小になる各回転角度θおよびφが、図６に示したヒストグラム検出部１２および色調整部１６それぞれに供給されるようにしてもよい。

Ａ，Ｂ カメラ
１０ 色調整装置
１２ ヒストグラム検出部
１４ 設定部
１６ 色調整部
３０ 色空間変換部
３２，３４，３６ ヒストグラム変換部
３８ 色空間逆変換部

Claims (6)

1. 複数のカラーカメラによって同一の被写体を撮影した複数の撮影画像の１つを基準画像とし他を調整対象画像として該調整対象画像の色合いを該基準画像の色合いと同じになるように調整する色調整装置において、
   上記基準画像および上記調整対象画像それぞれの色合いは第１色空間に従う形式で表され、
   上記調整対象画像の色合いを構成する上記第１色空間の座標成分である第１成分を第２色空間の座標成分である第２成分に変換する色空間変換手段と、
   上記色空間変換手段によって変換された上記第２成分ごとのヒストグラムが上記基準画像に基づく基準ヒストグラムと一致するようにヒストグラム変換を施すヒストグラム変換手段と、
   上記ヒストグラム変換を施された後の上記第２成分を上記第１成分に変換し直すことで上記調整対象画像の色合いが調整された調整後画像を生成する色空間再変換手段と、
   を具備することを特徴とする、色調整装置。
2. 上記第１成分と上記第２成分との相互変換は回転変換によって行われる、
   請求項１に記載の色調整装置。
3. 上記調整後画像の色合いを構成する上記第１成分間の相互相関値を求める相互相関値演算手段と、
   上記相互相関値演算手段によって求められた上記相互相関値に基づいて上記第１成分と上記第２成分との相互変換に係るパラメータを求めるパラメータ演算手段と、
   をさらに具備する、請求項１または２に記載の色調整装置。
4. 上記第１色空間はＲＧＢ色空間である、
   請求項１ないし３のいずれかに記載の色調整装置。
5. 上記第２色空間はＹＵＶ色空間である、
   請求項１ないし４のいずれかに記載の色調整装置。
6. 複数のカラーカメラによって同一の被写体を撮影した複数の撮影画像の１つを基準画像とし他を調整対象画像として該調整対象画像の色合いを該基準画像の色合いと同じになるように調整する色調整方法において、
   上記基準画像および上記調整対象画像それぞれの色合いは第１色空間に従う形式で表され、
   上記調整対象画像の色合いを構成する上記第１色空間の座標成分である第１成分を第２色空間の座標成分である第２成分に変換する色空間変換過程と、
   上記色空間変換過程において変換された上記第２成分ごとのヒストグラムが上記基準画像に基づく基準ヒストグラムと一致するようにヒストグラム変換を施すヒストグラム変換過程と、
   上記ヒストグラム変換を施された後の上記第２成分を上記第１成分に変換し直すことで上記調整対象画像の色合いが調整された調整後画像を生成する色空間再変換過程と、
   を具備することを特徴とする、色調整方法。

Images