JP6792872B2 - 最適カラーマッチング処理方法と画像処理装置 - Google Patents
最適カラーマッチング処理方法と画像処理装置 Download PDFInfo
- Publication number
- JP6792872B2 JP6792872B2 JP2017049352A JP2017049352A JP6792872B2 JP 6792872 B2 JP6792872 B2 JP 6792872B2 JP 2017049352 A JP2017049352 A JP 2017049352A JP 2017049352 A JP2017049352 A JP 2017049352A JP 6792872 B2 JP6792872 B2 JP 6792872B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- dimensional
- model
- color matching
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 31
- 230000009466 transformation Effects 0.000 claims description 130
- 238000000034 method Methods 0.000 claims description 82
- 238000012937 correction Methods 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 24
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 8
- 238000000844 transformation Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims 6
- 238000007619 statistical method Methods 0.000 claims 2
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004088 simulation Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
本発明は、複数のカメラ間での色合わせ補正等に適用可能な最適カラーマッチング処理方法と画像処理装置に関する。
カラーチャートを含むシーンを撮影した異なる機種の様々なカメラ間のカラーマッチングや、理想カラーチャート画像間のカラーキャリブレーションを含む画像・映像の色補正処理全般に関する色補正モデルとしては、高次の多項式モデルや明示的なモデルは未知としてニューラルネットワークが従来用いられている。また、モデルのパラメータ推定の方法としては、従来いずれも最小二乗法を用いている。このような方法は、下記非特許文献に記載されている。
G.D.Finlayson,S.D.Hordley and l.TastI,Gamut constrained illuminant estimation, Ninth IEEE International Conference on Computer Vision （ICCV'03）,Volume 2, 2003, pp.792-799.
V.Cheung,S.Westland,D.Connah and C.Ripamonti,A comparative study of the characterisation of colour cameras by means of neural networks and polynomial transforms,Coloration Technology,120-1,2004,pp.19-25.
A.Ilie and G.Welch,Ensuring color consistency across multiple cameras,Tenth IEEE International Conference on Computer Vision （ICCV'05）,volume 2,2005,pp.1268-1275.
従来のカラーマッチングのための色補正モデルとしては、多項式モデルやニューラルネットワーク等、様々な色補正モデルが用いられてきたが、カメラの撮像や映像圧縮によるノイズ（誤差）の影響を考慮した推定方法は用いられていない。また、色補正モデルのパラメータの推定精度が低いと、十分な色補正結果が得られない。
また、色補正モデルのパラメータ自由度の高いモデルの当てはまりがよくなるのは当然であるが、そのモデルの妥当性が示されているとは言い難い。具体的には、高い自由度を有するモデル（すなわち、パラメータの数が多いモデル）の場合には、参照板（カラーチャート）には良好に適用可能となるが、それ以外の現実の画像に適用しようとすると不適切な色補正結果が生じることも少なくない。また、自由度の高い複雑な色補正モデルを実現するためには、計算コスト（典型的には処理時間）が掛かることが知られており、現実的ではない。
上述のように、従来、カメラの撮像や映像圧縮に起因するノイズを考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、これを用いてカラーマッチング処理を遂行する最適カラーマッチング処理方法は知られていない。従って、本発明は、カメラの撮像や映像圧縮に起因するノイズを考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、当該色補正モデルを用いてカラーマッチング処理を遂行する最適カラーマッチング処理方法と画像処理装置を提案することを目的とする。
上述の問題点に鑑み、本発明では、カラーチャートを撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定する。そして、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する。
ここで、誤差の共分散行列を考慮した統計的に最適な方法は、後述するいわゆる超精度くりこみ法である。また、複数の異なる自由度の幾何学変換モデルは、例えば、全次項（フル）の３次元２次多項式変換や２次項のみの３次元２次多項式変換やアフィン変換等である。また、幾何学的モデル選択は、例えば、幾何学的ＡＩＣや幾何学的ＭＤＬである。さらに、モデルの複雑さと当てはまりのよさをバランスする最適な選択・決定された３次元幾何学変換モデルは、本発明においては典型的には、幾何学的ＭＤＬにより選択された２次項のみの３次元２次多項式変換となる。
本発明により、カメラの撮像や映像圧縮に起因するノイズ（誤差）を考慮しつつ、適切なパラメータ自由度を有する色補正モデルを選択・決定して、当該色補正モデルを用いてカラーマッチング処理を遂行する最適カラーマッチング処理方法を実現できる。従って、色補正の精度が向上するとともに、処理時間と補正当てはまりの良好さとを高次元でバランスした現実的で最適な処理方法と画像処理装置を実現できる。
（発明の概要１）
本発明では、カラーチャートを撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定することを提案する。また、本発明では、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。
本発明では、カラーチャートを撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定することを提案する。また、本発明では、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。
そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する。本発明による技術思想は、カラーチャートを含むシーンを撮影した異なる機種の様々なカメラ間のカラーマッチング、理想カラーチャート画像間のカラーキャリブレーションに適する。また、本発明は、ノンリニア編集ソフトウェア各種による実現も可能である。
従って、本発明においては、誤差の共分散行列を考慮した統計的に最適な推定方法を用いることによって、誤差やノイズが除去された最高精度の色補正モデルのパラメータを推定することが可能となり、色補正の精度が向上する。また、幾何学的モデル選択により、モデルの複雑さと当てはまりのよさをバランスする最適かつ現実的なモデルを決定することができる。これにより、カラーチャート以外の未知の画像に対しても適切な色補正処理が行われる。さらに、３次元幾何学変換による色補正処理の計算を３次元ルックアップテーブル（３ＤＬＵＴ）補間により行うことで、色補正処理の計算に掛かるコストを固定化できるものとなる。
本発明の特徴の一つは、３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを、誤差の共分散行列を考慮して推定するところにある。また、本発明の特徴の他の一つは、複数の異なる自由度の３次元幾何学変換モデルを推定して、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するところにある。また、本発明の特徴の他の一つは、モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、色補正処理に掛かる計算コストを固定化するところにある。
また、カラーチャートを撮影した画像からＲＧＢデータ、およびそれらの共分散行列を抽出するデータ抽出部と、３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮した統計的に最適な方法により推定するパラメータ推定部と、複数の異なる自由度の幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定するモデル選択部と、モデル選択された３次元幾何学変換による色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成部と、モデル選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理部とを備える画像処理装置とすることに本発明の特徴がある。
上記本発明の実現方法としては、例えば、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である.カメラ映像を動画像圧縮したもの、あるいはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である.ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、カラーマッチング／カラーキャリブレーション処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態への展開が考えられる。
（発明の概要２）
図６は、カラーマッチング処理を説明するブロック図である。カラーマッチング処理の手順は、次の１）〜５）のようになる。
１）参照板（カラーチャート）を撮影したカラーチャートsource画像とカラーチャートtarget画像をデータ抽出部へ入力し、それぞれのＲＧＢデータ、およびそれらの共分散行列を抽出する。
２）ＲＧＢデータ、およびそれらの共分散行列をパラメータ推定部へ入力して、統計的に最適な推定方法である超精度くりこみ法により、カラーチャートtarget画像を基準として、カラーチャートsource画像をカラーマッチングするための３次元ＲＧＢ色空間における３次元幾何学変換モデルのパラメータを推定する。
３）複数の異なる自由度の３次元幾何学変換モデルのパラメータ推定の結果から、ＲＧＢデータ、およびそれらの共分散行列による当てはめ残差を計算し、最も自由度の高い一般モデルから二乗ノイズレベルを推定し、パラメータ推定したすべてのモデルにおける幾何学的モデル選択規準を、モデル選択部で計算する。そして、当該モデル選択部は、幾何学的モデル選択規準が最小になるモデルのパラメータを出力する。
４）選択された幾何学変換モデルのパラメータベクトルｈを用いて、３ＤＬＵＴ生成部が、３ＤＬＵＴデータを生成する。
５）基準となるカラーチャートtarget画像にカラーマッチングしたいsource画像／映像入力に対して、３ＤＬＵＴデータを用いた３ＤＬＵＴ補間により色補正処理を行い、色補正処理部が、source画像／映像の色補正を出力する。
また、カラーマッチング処理の上記図６の手順のうち、１）乃至４）までは、現実の補正処理よりも前に予め遂行しておくことが好ましい「最適パラメータ学習」である。また、上記手順５）は、最適パラメータ学習の結果である最適パラメータベクトルｈから生成した３ＤＬＵＴデータを用いた３ＤＬＵＴ補間処理による色補正処理である。
ここで、ＲＧＢデータおよびそれらの共分散行列の抽出について、以下に説明する。
３次元ＲＧＢ色空間における３次元幾何学変換モデルの定義、および超精度くりこみ法による最適なパラメータを推定するパラメータ推定部、幾何学的モデル選択によるモデル選択部の詳細については、後述する。
（Ａｂｓｔｒａｃｔ）
以下の説明においては、参照板（カラーチャート）を撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法である超精度くりこみ法により推定する。複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的ＡＩＣ／幾何学的ＭＤＬによりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。
以下の説明においては、参照板（カラーチャート）を撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法である超精度くりこみ法により推定する。複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的ＡＩＣ／幾何学的ＭＤＬによりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定する。
そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を示す。カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像の間の３次元幾何学変換モデルを決定するカラーキャリブレーションも行う。さらに、超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認する。
（１ はじめに）
次世代テレビ放送としての４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ−Ｒ勧告BT.2020規格（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014））として規定されている。
次世代テレビ放送としての４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像は、解像度だけではなく、広色域、高フレームレート、高ビット深度がＩＴＵ−Ｒ勧告BT.2020規格（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange （2014））として規定されている。
映像の明るさを拡張するハイダイナミックレンジ（ＨＤＲ）も、拡張された信号レベルを圧縮するための非線形の伝達関数が国際標準として規定された（Recommendation ITU-R BT.2100, Image parameter values for high dynamic range television for use in production and international programme exchange （2016））。
色域変換やＨＤＲ変換を含む色補正処理、あるいはカラーグレーディング（Color grading）と呼ばれている処理は映像制作の基本である。参照板（カラーチャート（参考文献［１９］参照））を用いたカメラの色調整は、カラーキャリブレーションとして、異なる機種のカメラ間の色合わせは、カラーマッチングとして知られている。
また、松永ら（参考文献［１８］参照）は、再撮モニタや複数台のカメラ間の色合わせのために、参照板（カラーチャート）を自動認識して、観測誤差を考慮した色補正パラメータを最適に推定するとともに、ガマット誤差が含まれている映像に対しても、レベル制約付き最適推定とモデル選択を組み合わせることによって、妥当な色補正結果を得るための方法を示した。
また、松永（参考文献［１５］参照）は、次世代テレビ放送４Ｋ／８Ｋ（スーパーハイビジョン）におけるBT.2020色空間から、現行地上デジタル放送におけるBT.709（G.D.Finlayson, S.D.Hordley and I.Tastl, Gamut constrained illuminant estimation, Ninth IEEE International Conference on Computer Vision（ICCV’03）, Volume 2, 2003, pp.792-799.）色空間へ色域の変換を行うために、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に最大色差平均の最小化による色域マッピング値を計算した。
そして、ＲＧＢ色空間における３次元ルックアップテーブル（３ＤＬＵＴ）補間（参考文献［１３］参照）による計算精度を実験的に評価した。
コンピュータビジョンにおけるカメラのキャリブレーション（参考文献［１６］，［２０］参照）は、カメラの内部／外部パラメータを推定する基本的な処理であり、幾何学的な当てはめ問題のひとつである。
金谷は、画像から得られた誤差を含む観測データに対して、幾何学的な当てはめを行う統計的に最適な理論を構築し、推定精度の理論限界を達成する種々の方法を開発し、コンピュータビジョンに現れる様々なパラメータ推定問題に用いてきた（参考文献［６］，［９］，［１０］，［１２］参照）。
一方、カラーキャリブレーションでは、様々なモデルが用いられているものの（参考文献［３］，［２］，［５］，［１］参照）、撮像における誤差の影響まで考慮した最適な推定方法は用いられていない（松永ら（参考文献［１８］参照）によるものだけのようである．）。
自由度の高いモデルの当てはまりがよくなるのは当然であるが、そのモデルの妥当性が示されているとは言い難い。参照板（カラーチャート）にはよく当てはまるが、それ以外の画像では不適切な色補正結果が生じることも少なくない（機械学習における「過学習」に相当する）。
本説明では、高次の多項式変換まで含めた３次元ＲＧＢ色空間における幾何学変換モデルを誤差の共分散行列を考慮して最適に推定し、幾何学的モデル選択により現実的な変換モデルを決定する。そして、３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間（参考文献［１３］参照）により計算して、実際のデジタルカメラ間のカラーマッチングを行う。
本説明の構成は、２章で３次元ＲＧＢ色空間における幾何学変換として、３次元の射影変換、アフィン変換、多項式変換を定義する。３章で、それらの幾何学変換を推定する方法を説明する。
最も簡易な方法は最小二乗法であるが、データに含まれている誤差の性質を考慮していないため、精度が低い。そこで、誤差の性質を明示的に記述し、誤差の共分散行列を考慮した最適な推定方法として超精度くりこみ法（参考文献［９］，［１０］，［１１］，［１２］参照）の手順を示す。
また、４章で、複数の異なる自由度の幾何学変換の推定結果から、幾何学的ＡＩＣ／幾何学的ＭＤＬ（参考文献［６］，［７］参照）によるモデルの複雑さと当てはまりのよさをバランスする最適なモデルの決定方法を説明する。
また、５章で、実際の異なる機種の様々なデジタルカメラで撮影したカラーチャート画像間の複数の異なる自由度の３次元幾何学変換を推定し、それらの幾何学的モデル選択した幾何学変換モデルによる色補正処理を３ＤＬＵＴ補間により計算したカメラ間のカラーマッチングの結果を示す。カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像の間の３次元幾何学変換モデルを決定するカラーキャリブレーションも行う。
さらに、超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認する。そして、６章で纏めるものとする。
（２ ３次元幾何学変換）
（２．１ ３次元射影変換）
３次元ＲＧＢ色空間における「３次元射影変換」を考える。空間点（ｒ，ｇ，ｂ）、（ｒ’，ｇ’，ｂ’）をスケール定数ｆ０によって各成分のオーダーを揃えた４次元同次ベクトルｘ、ｘ’で表し、３次元射影変換行列を４×４行列Ｈで表す。
（２．１ ３次元射影変換）
３次元ＲＧＢ色空間における「３次元射影変換」を考える。空間点（ｒ，ｇ，ｂ）、（ｒ’，ｇ’，ｂ’）をスケール定数ｆ０によって各成分のオーダーを揃えた４次元同次ベクトルｘ、ｘ’で表し、３次元射影変換行列を４×４行列Ｈで表す。
ただし、Ｚ［・］は４次元ベクトルの第４成分を１にする正規化作用素である。式（２）を各成分毎に書くと
ただし、ベクトルａ，ｂの内積を（ａ，ｂ）と書く。
平面内の場合と同様に、射影変換によって直線性や平面性は保たれる。すなわち、同一直線上の点は同一直線上の点に写像され、同一平面上の点は同一平面上の点に写像される。しかし、長さや角度や比は保たれないので、たとえば立方体は一般の六面体に写像される（参考文献［１２］，［１０］参照）。
（２．２ ３次元アフィン変換）
３次元アフィン変換行列は、式（１）においてｈ４１＝ｈ４２＝ｈ４３＝０とした次の４×４行列Ｈで表される。
３次元アフィン変換行列は、式（１）においてｈ４１＝ｈ４２＝ｈ４３＝０とした次の４×４行列Ｈで表される。
アフィン変換を施しても直線性や平面性は保たれる。すなわち、同一直線上の点は同一直線上の点に写像され、同一平面上の点は同一平面上の点に写像される。各部分の長さの比も保たれる。その結果、平行な直線は平行な直線に、平行な平面は平行な平面に写像される。しかし、スケールや角度は変化するので、たとえば立方体は平行六面体になる（参考文献［１２］，［１０］参照）。
（２．３ ３次元多項式変換）
３次元２次多項式変換行列は、次の行列Ｈで表される。
３次元２次多項式変換行列は、次の行列Ｈで表される。
各成分毎に書くと、
３次元２次多項式変換モデルの自由度（＝パラメータ数−１）は３０である（ベクトルｈのノルムが１になるように正規化するから。）。表１に３次までの多項式による変換モデルの項を示す。３次元１次多項式変換はアフィン変換である。
（３ 最適推定）
（３．１ 最小二乗法）
（３．１ 最小二乗法）
（３．２ 誤差と共分散行列）
近似によって次のように計算できる（参考文献［６］，［９］，［１０］，［１２］参照）。
diag（０，０，０，１，１，１）とすればよい（カラーキャリブレーションは、一方が誤差を含まない理想的なカラーチャート（参考文献［１９］参照）画像の場合に相当する。異なるカメラによる２画像間のカラーマッチングは、２画像ともに誤差を含む）。これらはいずれも誤差の分布が一様等方であることを仮定しているが、センサによっては誤差の分布が不均一な非等方性であることは珍しくない（ＲＧＢデータの場合、各値には相関があり、カメラの分光感度特性から、Ｒ，Ｇに対してＢの感度は相対的に低い）（参考文献［６］，［１４］，［１７］，［８］参照）。
（３．３）超精度くりこみ法
超精度くりこみ法（参考文献［９］，［１０］，［１１］，［１２］参照）の手順は次のようになる。
超精度くりこみ法（参考文献［９］，［１０］，［１１］，［１２］参照）の手順は次のようになる。
に対して
となるベクトルである（アフィン変換、射影変換、双線形変換は、ｅ（ｋ）＝０になる。２次以上の多項式変換は、
の２次以上の項に対応する成分を１、それ以外を０とすればよい）。
をｈ１，・・・，ｈｐとするとき、次のように計算される。
式（３８）のＮは正値とは限らないから、式（３９）を通常のプログラムツールを使って解くには、
の形に書き直して、絶対値最大の一般固有値１／λに対する単位一般固有ベクトルを計算する。
（４ 幾何学的モデル選択）
からノイズレベルσの次の不偏推定量が得られる（参考文献［６］，［７］参照）。
（Ｇ−ＭＤＬ）は次のように計算される（参考文献［６］，［７］参照）。
（複雑さ）をバランスする最適なモデルである（参考文献［６］，［７］参照）。
（５ シミュレーション実験）
（５．１ カラーマッチング）
異なる２４機種のデジタルカメラにより撮影されたカラーチャート画像（http://vision．middlebury．edu/color/）から、すべての２機種の組み合わせを３次元幾何学変換により色補正処理する。それぞれのカラーチャート画像から２４色のＲＧＢデータと共分散行列を抽出し、超精度くりこみ法により幾何学変換を推定する。推定する幾何学変換モデルとしては、アフィン変換、射影変換、双線形変換、２次多項式変換（２次項のみ）、２次多項式変換（フル）の５つとする。
（５．１ カラーマッチング）
異なる２４機種のデジタルカメラにより撮影されたカラーチャート画像（http://vision．middlebury．edu/color/）から、すべての２機種の組み合わせを３次元幾何学変換により色補正処理する。それぞれのカラーチャート画像から２４色のＲＧＢデータと共分散行列を抽出し、超精度くりこみ法により幾何学変換を推定する。推定する幾何学変換モデルとしては、アフィン変換、射影変換、双線形変換、２次多項式変換（２次項のみ）、２次多項式変換（フル）の５つとする。
推定されたモデルから当てはめ残差を計算して、幾何学的ＡＩＣ（Ｇ−ＡＩＣ）、幾何学的ＭＤＬ（Ｇ−ＭＤＬ）によるモデル選択を行う。選択された幾何学変換モデルによる色補正処理を行ったカラーチャートsource画像とカラーチャートtarget画像間のＲＭＳ（平方平均二乗）誤差の平均と標準偏差により評価する。
変換の計算の際には、それぞれの画像におけるＲＧＢデータの重心座標を原点として、原点からデータヘの平均距離が
となるように正規化を行う（参考文献［４］参照）。各変換の定式化では、データをＯ（１）に揃えるための定数ｆ０による正規化を用いているが、データの重心移動と重心からの平均距離による正規化を行うことにより、さらに計算が安定化する。正規化を行うため、幾何学的ＭＤＬ（４５）におけるＬは１とする。
図１はカラーマッチングの結果の一例である。同図（ｂ）のカラーチャートtarget画像（SonyDSC-F828）を基準として、（ａ）のカラーチャートsource画像（PanasonicDMCLX3）との間の幾何学変換を推定して、幾何学的ＡＩＣ／幾何学的ＭＤＬによりモデル選択を行った。
その結果、図２に示すように、Ｇ−ＡＩＣは最も自由度の高い一般モデルである２次多項式変換（フル）を選択し、Ｇ−ＭＤＬは最も自由度の低いアフィン変換モデルを選択した。図１（ｃ）はＧ−ＭＤＬに選ばれたアフィン変換により、カラーチャートsource画像（ａ）を色補正処理した結果である。カラーチャートtarget画像（ｂ）との間のＲＭＳ誤差は5.11であった。図１（ｄ）〜図１（ｈ）に推定したすべてのモデルのＲＧＢ３次元色空間のプロットを示す。
すなわち、図１に示すカラーマッチング例において、（ａ）はカラーチャートsource画像（PanasonicDMCLX3）であり、（ｂ）はカラーチャートtarget画像（SonyDSC-F828）であり、（ｃ）はカラーチャートtarget画像を基準として、カラーチャートsource画像を幾何学的ＭＤＬによるモデル選択結果である３次元アフィン変換により色補正した結果（カラーチャートtarget画像とのＲＭＳ誤差5.11）を示し、（ｄ）は推定したアフィン変換のＲＧＢ３次元色空間プロットを示し、（ｅ）は推定した射影変換のＲＧＢ３次元色空間プロットを示し、（ｆ）は推定した双線形変換のＲＧＢ３次元色空間プロットを示し、（ｇ）は推定した２次多項式変換（２次項のみ）のＲＧＢ３次元色空間プロットを示し、（ｈ）は推定した２次多項式変換（フル）のＲＧＢ３次元色空間プロットを示すものである。
また、図１中の表は各変換モデルにおける当てはめ残差と幾何学的ＡＩＣ（Ｇ−ＡＩＣ）、幾何学的ＭＤＬ（Ｇ−ＭＤＬ）の結果を示しており、ここで、各変換モデルにおける表内の括弧内の数値はモデルの自由度であり、また表内の下線は選ばれたモデルを示すものである。
図１中の表は、各変換モデルにおける当てはめ残差とＧ−ＡＩＣ、Ｇ−ＭＤＬの結果である。また、図２は、デジタルカメラ２４機種のすべての組み合わせにおける幾何学的ＡＩＣ／幾何学的ＭＤＬによる、３次元ＲＧＢ色空間の幾何学モデル選択の結果を示す図である。Ｇ−ＡＩＣにより最も多く選ばれたモデルは２次多項式変換（フル）であり、Ｇ−ＭＤＬにより最も多く選ばれたモデルは２次項のみの２次多項式変換であった。
常にＧ−ＡＩＣはより複雑なモデルを選び、Ｇ−ＭＤＬはより単純なモデルを選ぶ。このような傾向は他の応用でも見られる（参考文献［６］，［７］，［１６］，［１８］，［１７］，［８］参照）。これは、それぞれの選択規準を計算する式（４４）、式（４５）より、幾何学的ＭＤＬのモデルの自由度に対するペナルティが幾何学的ＡＩＣより大きいことから説明される。
一般モデルである２次多項式変換（フル）の当てはめ残差は当然最も小さいが、図１における３次元ＲＧＢ色空間のプロットの結果を見ると、変換された空間は大きく歪んでいることがわかる。本書面では、より自由度の低い単純なモデルを選ぶ幾何学的ＭＤＬによるカラーマッチングの結果がどの程度なのかを評価する（勿論幾何学的ＡＩＣによるカラーマツチングの結果はさらに当てはめ残差が小さい。）。
図３は、２４機種のデジタルカメラからすべての２機種の組み合わせのカラーマッチングの結果を説明する図である。横軸は基準となるとなるカラーチャートtarget画像を撮影したカメラの機種名であり、残りの２３機種のカメラとの間の幾何学変換を推定して幾何学的ＭＤＬによりモデル選択を行い、３次元ルックアップテーブル（３ＤＬＵＴ）補間により色補正処理を行ったsource画像と、２４機種のデジタルカメラによるカラーチャートtarget画像（これが基準）と、の間のＲＭＳ（平方平均二乗）誤差の平均と標準偏差の結果である。３ＤＬＵＴサイズは、17×17×17とした。図３に示すように、いずれのカメラにおいても十分なカラーマッチングの結果が得られている。
（５．２ カラーキャリブレーション）
カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像（参考文献［１９］参照）の間の最適な３次元幾何学変換モデルを決定する。カラーマッチング同様、異なる自由度の幾何学変換モデルを超精度くりこみ法により推定し、幾何学的モデル選択により最適な幾何学変換モデルを決定する。そして、選択された幾何学変換モデルによりシーン画像を色補正する。
カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像（参考文献［１９］参照）の間の最適な３次元幾何学変換モデルを決定する。カラーマッチング同様、異なる自由度の幾何学変換モデルを超精度くりこみ法により推定し、幾何学的モデル選択により最適な幾何学変換モデルを決定する。そして、選択された幾何学変換モデルによりシーン画像を色補正する。
図４はカラーキャリブレーションの例を説明する図である。幾何学的ＭＤＬにより射影変換モデルが選択された。図４（ａ）はカラーチャートを含むシーン画像（http://files.is.tue.mpg.de/pgehler/projects/color/index.html）を示す図であり、図４（ｂ）は選択された３次元射影変換によりシーン画像図４（ａ）を色補正した色補正画像（すなわち、幾何学的ＭＤＬにより選択されたシーン画像と理想カラーチャート画像の間の３次元射影変換で補正したもの）であり、図４（ｃ）は理想カラーチャート画像（参考文献［１９］参照）である。
（５．３ 数値シミュレーション）
超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認する。２４機種のデジタルカメラのカラーマッチングにおいて、幾何学的ＭＤＬによるモデル選択の結果が最も多かった２次項のみの２次多項式変換モデルにおいて数値シミュレーションを行う。図１（ａ），（ｂ）のカラーチャート画像間で超精度くりこみ法により推定した２次項のみの２次多項式変換を真の値とする。そして、図１（ａ）のカラーチャートsource画像の２４色のデータを真のデータとして、真の変換により変換した結果をtarget画像における真のデータとする。
超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認する。２４機種のデジタルカメラのカラーマッチングにおいて、幾何学的ＭＤＬによるモデル選択の結果が最も多かった２次項のみの２次多項式変換モデルにおいて数値シミュレーションを行う。図１（ａ），（ｂ）のカラーチャート画像間で超精度くりこみ法により推定した２次項のみの２次多項式変換を真の値とする。そして、図１（ａ）のカラーチャートsource画像の２４色のデータを真のデータとして、真の変換により変換した結果をtarget画像における真のデータとする。
source画像、target画像の真のデータにそれぞれ独立に期待値０、標準偏差σの正規乱数誤差を加えて、最小二乗法と超精度くりこみ法により変換行列を計算する。計算の際には、カラーマッチング同様、データの重心が原点になるように移動して、原点からデータヘの平均距離が
になるように正規化を行う（参考文献［４］参照）。ただし、source画像の真のデータに対する重心座標と正規化のためのスケールをtarget画像の真のデータに対しても用いた。データの共分散行列はデフォルト単位行列Ｉ６×６とした。
ただし、ｈ（ａ）はａ回目の試行の解である。ＲＭＳ誤差Ｄの理論限界を表すＫＣＲ下界は次のようになる（参考文献［６］，［９］，［１０］，［１２］参照）。
２次項のみの２次多項式変換の計算結果の偏差を図５（ａ）に、ＲＭＳ誤差を図５（ｂ）に示す。すなわち、図５（ａ）は３次元２次多項式変換行列（２次項のみ）の計算の偏差Ｂを示す図であり、図５（ｂ）はＲＭＳ（平方平均二乗）誤差Ｄを示す図であり、いずれも横軸はデータ点に加えた誤差の標準偏差σである。ただし、各σに対して100,000回試行した。ともに、最小二乗法（LeastSquares）と超精度くりこみ法（HyperRenorm）とＫＣＲ下界（ＫＣＲＬＢ）の結果をそれぞれ示している。また、図５（ｃ）は計算値ｈの真の値
に垂直な成分Δ⊥ｈを示す図である。
に垂直な成分Δ⊥ｈを示す図である。
最小二乗法は、偏差、ＲＭＳ誤差ともに超精度くりこみ法に比べて大きい。そして、図５に示すように、超精度くりこみ法は精度の理論限界であるＫＣＲ下界にほぼ一致している。
６ まとめ
参照板（カラーチャート）を撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法である超精度くりこみ法により推定した。複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的ＡＩＣ／幾何学的ＭＤＬによりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定した。そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を示した。
参照板（カラーチャート）を撮影した画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法である超精度くりこみ法により推定した。複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的ＡＩＣ／幾何学的ＭＤＬによりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定した。そして、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算して、異なる機種の様々なデジタルカメラ間のカラーマッチングの結果を示した。
カラーチャートを含むシーンを撮影した画像と理想カラーチャート画像の間の３次元幾何学変換モデルを決定するカラーキャリブレーションも行った。さらに、超精度くりこみ法が推定精度の理論限界を達成することを数値シミュレーションにより確認した。
（参考文献一覧）
［１］A. Chakrabarti, D. Scharstein and T. Zickler, An empirical camera model for Internet color vision, British Machine Vision Conference （BMVC2009）, London, UK, September 2009.
［２］V. Cheung, S. Westland, D. Connah and C. Ripamonti, A comparative study of the characterisation of colour cameras by means of neural networks and polynomial transforms, Coloration Technology, 1201, 2004, pp. 19-25.
［３］G.D.Finlayson, S.D.Hordley and I.Tastl, Gamut constrained illuminant estimation, Ninth IEEE International Conference on Computer Vision（ICCV’03）, Volume 2, 2003, pp.792-799.
［４］R. I. Hartley. In defense of the eight-point algorithm, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19-6 （June 1997）, pp. 580-593.
［５］A. Ilie and G. Welch, Ensuring color consistency across multiple cameras, Tenth IEEE International Conference on Computer Vision （ICCV'05）, Volume2,2005,pp．1268-1275
［６］K.Kanatani, Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science, Amsterdam, The Netherlands, April 1996, reprinted Dover Publications, New York, U.S.A., July 2005.
［７］K. Kanatani, Uncertainty modeling and model selection for geometric inference, IEEE Transactions on Pattern Analysis and Machine Intelligence, 26-10 （2004）, pp. 1307-1319.
［８］K. Kanatani and C. Matsunaga, Computing internally constrained motion of 3-D sensor data for motion interpretation, Pattern Recognition, 46-6 （2013-6）, pp. 1700-1709.
［９］K. Kanatani, Y. Sugaya and Y. Kanazawa, Ellipse Fitting for Computer Vision: Implementation and Applications, Synthesis Lectures on Computer Vision （Eds.Gerard Medioni and Sven Dickinson）, Morgan & Claypool Publishers, San Rafael, CA, U.S., April, 2016.
［１０］K. Kanatani, Y. Sugaya, and Y. Kanazawa, Guide to 3D Vision Computation: Geometric Analysis and Implementation, Springer International, Cham, Switzerland, December, 2016.
［１１］K. Kanatani, A. Al-Sharadqah, N. Chernov and Y. Sugaya, Hyper-renormalization: Non-minimization approach for geometric estimation, IPSJ Transactions on Computer Vision Applications, Vol. 6 （2014）, pp.143-159.
［１２］金谷 健一,菅谷 保之,金津 靖，「3次元コンピュータビジョン計算ハンドブック」，森北出版, 2016年10月．
［１３］H.R.Kang, Computational Color Technology, SPIE Publications, May 2006
［１４］松永 力，２次元／３次元幾何学変換の統一的な最適計算，第18回画像センシングシンポジウム（SSII2012）講演論文集，横浜（パシフィコ横浜），2012年６月．
［１５］松永 力, 広色域映像のための最適色域マッピング, 第22回画像センシングシンポジウム（SSII2016）講演論文集, 横浜（パシフィコ横浜）, 2016年6月．
［１６］松水 力, 金谷健一, 平面パタンを用いる移勤カメラの校正：最適計算, 信頼性評価, および幾何学的ＡＩＣによる安定化, 電子情報通信学会論文誌A, Vol.J83-A, No.6（2000-6）, pp.694-701，
［１７］松永 力，金谷 健一，内部拘束を持つ３次元運動の最適計算法と幾何学的モデル選択への応用，ビジョン技術の実利用ワークショップ（ViEW2012）,横浜（パシフィコ横浜，2012年12月．
［１８］松永力, 趙延軍, 和田雅徳, カラーチャートを用いた複数の再撮モニタとカメラの最適色補正, 第16回画像センシングシンポジウム（SSII2010）講演論文集, 横浜（パシフイコ横浜）, 2010年6月．
［１９］C.S.McCamy, H.Marcus and J.G.Davidson, A color-rendition chart, Journal of Applied Photographic Engineering, 2-3（Summer 1976）, pp.95-99. http:／／www.xrite.com／
［２０］Z.Zhang, A flexible new technique for camera calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22-11 （2000）, pp.1330-1334.
［１］A. Chakrabarti, D. Scharstein and T. Zickler, An empirical camera model for Internet color vision, British Machine Vision Conference （BMVC2009）, London, UK, September 2009.
［２］V. Cheung, S. Westland, D. Connah and C. Ripamonti, A comparative study of the characterisation of colour cameras by means of neural networks and polynomial transforms, Coloration Technology, 1201, 2004, pp. 19-25.
［３］G.D.Finlayson, S.D.Hordley and I.Tastl, Gamut constrained illuminant estimation, Ninth IEEE International Conference on Computer Vision（ICCV’03）, Volume 2, 2003, pp.792-799.
［４］R. I. Hartley. In defense of the eight-point algorithm, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19-6 （June 1997）, pp. 580-593.
［５］A. Ilie and G. Welch, Ensuring color consistency across multiple cameras, Tenth IEEE International Conference on Computer Vision （ICCV'05）, Volume2,2005,pp．1268-1275
［６］K.Kanatani, Statistical Optimization for Geometric Computation: Theory and Practice, Elsevier Science, Amsterdam, The Netherlands, April 1996, reprinted Dover Publications, New York, U.S.A., July 2005.
［７］K. Kanatani, Uncertainty modeling and model selection for geometric inference, IEEE Transactions on Pattern Analysis and Machine Intelligence, 26-10 （2004）, pp. 1307-1319.
［８］K. Kanatani and C. Matsunaga, Computing internally constrained motion of 3-D sensor data for motion interpretation, Pattern Recognition, 46-6 （2013-6）, pp. 1700-1709.
［９］K. Kanatani, Y. Sugaya and Y. Kanazawa, Ellipse Fitting for Computer Vision: Implementation and Applications, Synthesis Lectures on Computer Vision （Eds.Gerard Medioni and Sven Dickinson）, Morgan & Claypool Publishers, San Rafael, CA, U.S., April, 2016.
［１０］K. Kanatani, Y. Sugaya, and Y. Kanazawa, Guide to 3D Vision Computation: Geometric Analysis and Implementation, Springer International, Cham, Switzerland, December, 2016.
［１１］K. Kanatani, A. Al-Sharadqah, N. Chernov and Y. Sugaya, Hyper-renormalization: Non-minimization approach for geometric estimation, IPSJ Transactions on Computer Vision Applications, Vol. 6 （2014）, pp.143-159.
［１２］金谷 健一,菅谷 保之,金津 靖，「3次元コンピュータビジョン計算ハンドブック」，森北出版, 2016年10月．
［１３］H.R.Kang, Computational Color Technology, SPIE Publications, May 2006
［１４］松永 力，２次元／３次元幾何学変換の統一的な最適計算，第18回画像センシングシンポジウム（SSII2012）講演論文集，横浜（パシフィコ横浜），2012年６月．
［１５］松永 力, 広色域映像のための最適色域マッピング, 第22回画像センシングシンポジウム（SSII2016）講演論文集, 横浜（パシフィコ横浜）, 2016年6月．
［１６］松水 力, 金谷健一, 平面パタンを用いる移勤カメラの校正：最適計算, 信頼性評価, および幾何学的ＡＩＣによる安定化, 電子情報通信学会論文誌A, Vol.J83-A, No.6（2000-6）, pp.694-701，
［１７］松永 力，金谷 健一，内部拘束を持つ３次元運動の最適計算法と幾何学的モデル選択への応用，ビジョン技術の実利用ワークショップ（ViEW2012）,横浜（パシフィコ横浜，2012年12月．
［１８］松永力, 趙延軍, 和田雅徳, カラーチャートを用いた複数の再撮モニタとカメラの最適色補正, 第16回画像センシングシンポジウム（SSII2010）講演論文集, 横浜（パシフイコ横浜）, 2010年6月．
［１９］C.S.McCamy, H.Marcus and J.G.Davidson, A color-rendition chart, Journal of Applied Photographic Engineering, 2-3（Summer 1976）, pp.95-99. http:／／www.xrite.com／
［２０］Z.Zhang, A flexible new technique for camera calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22-11 （2000）, pp.1330-1334.
本発明は、画像・映像の色補正処理全般（例えば、色域変換、ＨＤＲ変換を行うカラーグレーディング処理も含む）に適用可能であり、４Ｋ／８Ｋ（スーパーハイビジョン）超高精細映像にも好適である。
Claims (16)
- ３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の共分散行列を考慮して統計的に最適推定する工程と、
複数の異なる自由度の３次元幾何学変換モデルの中から、前記３次元幾何学変換モデルの複雑さと当てはまりのよさをバランスする最適な３次元幾何学変換モデルを選択する工程と、
前記選択された３次元幾何学変換モデルによる色補正処理を計算する工程と、を有し、
前記誤差の共分散行列を考慮した統計的に最適推定する工程は、誤差を含むＲＧＢデータに対して、３つの制約式（拘束式）を用いた超精度くりこみ法を適用した推定である
ことを特徴とする、複数のカメラ間での色合わせ補正をするための、カラーマッチング処理方法。 - 請求項１に記載のカラーマッチング処理方法において、
前記３つの制約式（拘束式）はｒ、ｇ、ｂそれぞれの色データを含むものに対応する
ことを特徴とするカラーマッチング処理方法。 - 請求項１または請求項２に記載のカラーマッチング処理方法において、
前記複数の異なる自由度の３次元幾何学変換モデルは、全次項（フル）の３次元２次多項式変換（Poly2full）と、２次項のみの３次元２次多項式変換（Poly2）と、３次元アフィン変換（Affine）と、３次元射影変換（Homo）と、３次元双線形変換（Bilinear）のうち少なくとも二つを含む
ことを特徴とするカラーマッチング処理方法。 - 請求項１乃至請求項３のいずれか一項に記載のカラーマッチング処理方法において、
前記３次元幾何学変換モデルを選択する工程は、幾何学的ＡＩＣ（Ｇ−ＡＩＣ）または幾何学的ＭＤＬ（Ｇ−ＭＤＬ）による選択である
ことを特徴とするカラーマッチング処理方法。 - 請求項３に記載のカラーマッチング処理方法において、
前記３次元アフィン変換（Affine）は、並進（平行移動）、または３次元回転、またはスケール変化（拡大縮小）、またはせん断変形、またはそれらの組み合わせからなる
ことを特徴とするカラーマッチング処理方法。 - 請求項１乃至請求項５のいずれか一項に記載のカラーマッチング処理方法において、
選択された前記３次元幾何学変換モデルによる色補正処理を計算する工程は、３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する
ことを特徴とするカラーマッチング処理方法。 - 請求項２に記載のカラーマッチング処理方法において、
前記超精度くりこみ法を利用した推定は、カラーチャートを撮影した画像から抽出したＲＧＢデータと前記共分散行列とを用いる
ことを特徴とするカラーマッチング処理方法。 - カラーチャートを撮影した画像からＲＧＢデータと共分散行列を抽出するデータ抽出部と、
３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の前記共分散行列を考慮した統計的な方法により最適推定するパラメータ推定部と、
複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適な３次元幾何学変換モデルを選択する３次元幾何学変換モデル選択部と、
前記選択された３次元幾何学変換モデルによる色補正処理の３次元ルックアップテーブ
ル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成部と、
前記選択された３次元幾何学変換モデルによる色補正処理を生成された前記３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理部と、を備え、
前記３次元幾何学変換による色補正モデルは、３つの制約式（拘束式）を満たす
ことを特徴とする画像処理装置。 - カラーチャートを撮影した画像からＲＧＢデータと共分散行列を抽出するデータ抽出工程と、
３次元ＲＧＢ色空間における３次元幾何学変換による色補正モデルのパラメータを誤差の前記共分散行列を考慮した統計的な方法により最適推定するパラメータ推定工程と、
複数の異なる自由度の３次元幾何学変換モデルの推定結果から、モデルの複雑さと当てはまりのよさをバランスする最適な３次元幾何学変換モデルを選択する３次元幾何学変換モデル選択工程と、
前記選択された３次元幾何学変換モデルによる色補正処理の３次元ルックアップテーブル（３ＤＬＵＴ）を生成する３次元ルックアップテーブル（３ＤＬＵＴ）生成工程と、
前記選択された３次元幾何学変換モデルによる色補正処理を生成された前記３次元ルックアップテーブル（３ＤＬＵＴ）補間により計算する色補正処理工程と、を有し、
前記３次元幾何学変換による色補正モデルは、３つの制約式（拘束式）を満たす
ことを特徴とするカラーマッチング処理方法。 - 請求項８に記載の画像処理装置は、
ベースバンドビデオ信号を処理するハードウェア装置により実現された画像処理装置であるか、
ＭＸＦファイルを処理するソフトウェアを有し、前記ソフトウェアを実行するコンピュータをベースとした画像処理装置であるか、
前記ＭＸＦファイルをベースバンドビデオ信号に変換するか、または逆変換する装置を用いて構成された画像処理装置であるか、のいずれか一つである
ことを特徴とする画像処理装置。 - 請求項１乃至請求項７及び請求項９のいずれか一項に記載のカラーマッチング処理方法は、
カメラ映像を動画像圧縮したもの、またはＭＸＦファイルをＩＰ（インターネット・プロトコル）伝送して、クラウド上で前記カラーマッチング処理方法による処理を遂行される
ことを特徴とするカラーマッチング処理方法。 - 請求項１乃至請求項７及び請求項９のいずれか一項に記載のカラーマッチング処理方法において、
ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、前記カラーマッチング処理方法によるカラーマッチング処理またはカラーキャリブレーション処理を行った結果を再び圧縮してストリーム配信する
ことを特徴とするカラーマッチング処理方法。 - 請求項１乃至請求項７のいずれか一項または請求項１１または請求項１２に記載のカラーマッチング処理方法において、
前記３つの制約式（拘束式）はベクトルを用いて記載すると、
但し、上記［数１］においてξ （1） （z）、ξ （2） （z）、ξ （3） （z）は、z=（r,g,b,r’,g’,b’） T を変換する“写像”の意味であり、ｈは求めるべきパラメータベクトル（すなわちカラーマッチング処理を行うための色補正パラメータ）を示すものとする、
ことを特徴とするカラーマッチング処理方法。 - 請求項１乃至請求項７のいずれか一項または請求項１１または請求項１２に記載のカラーマッチング処理方法において、
前記３次元幾何学変換モデル選択を用いて、色補正処理の省力化と自動化を実現するととともに、過学習あるいはオーバーフィッティングを回避して、汎化能力を向上させるものである
ことを特徴とするカラーマッチング処理方法。 - 請求項１乃至請求項７、請求項９、請求項１１乃至請求項１４のいずれか一項に記載のカラーマッチング処理方法において、
選択された前記３次元幾何学変換モデルは、
並進（平行移動）、または、３次元回転、または、スケール変化（拡大縮小）、または、せん断変形、または、それらの組み合わせからなる３次元アフィン変換（Affine）、
または、３次元射影変換（Homo）、
または、３次元双線形変換（Bilinear）、
または、２次項のみの３次元２次多項式変換（Poly2）、
または、全次項（フル）の３次元２次多項式変換のいずれかである
ことを特徴とするカラーマッチング処理方法。 - 請求項８または請求項１０に記載の画像処理装置において、
選択された前記３次元幾何学変換モデルは、
並進（平行移動）、または、３次元回転、または、スケール変化（拡大縮小）、または、せん断変形、または、それらの組み合わせからなる３次元アフィン変換（Affine）、
または、３次元射影変換（Homo）、
または、３次元双線形変換（Bilinear）、
または、２次項のみの３次元２次多項式変換（Poly2）、
または、全次項（フル）の３次元２次多項式変換のいずれかである
ことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017049352A JP6792872B2 (ja) | 2017-03-15 | 2017-03-15 | 最適カラーマッチング処理方法と画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017049352A JP6792872B2 (ja) | 2017-03-15 | 2017-03-15 | 最適カラーマッチング処理方法と画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018152804A JP2018152804A (ja) | 2018-09-27 |
| JP6792872B2 true JP6792872B2 (ja) | 2020-12-02 |
Family
ID=63681935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017049352A Active JP6792872B2 (ja) | 2017-03-15 | 2017-03-15 | 最適カラーマッチング処理方法と画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6792872B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113710226B (zh) | 2019-04-24 | 2024-02-27 | 陶氏东丽株式会社 | 化妆料 |
| KR102325429B1 (ko) * | 2019-11-26 | 2021-11-12 | 한국전자기술연구원 | 영상수집 시스템에서 통계정보를 처리하는 장치 및 그 방법 |
| WO2021199367A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理端末、方法、プログラム、およびモデル |
| US20230421715A1 (en) * | 2020-11-13 | 2023-12-28 | Sony Group Corporation | Information processing system, information processing apparatus, information processing method, information processing program, imaging apparatus, method of controlling imaging apparatus, and control program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005024654A (ja) * | 2003-06-30 | 2005-01-27 | Toppan Printing Co Ltd | 色変換システム及び色変換方法 |
| US7586642B2 (en) * | 2003-07-25 | 2009-09-08 | Hoya Corporation | Color-space transformation-matrix calculating system and calculating method |
| JP2005159880A (ja) * | 2003-11-27 | 2005-06-16 | Canon Inc | 画像処理方法、画像入力制御方法並びにそれらの装置 |
| JP2011259047A (ja) * | 2010-06-07 | 2011-12-22 | For-A Co Ltd | 色補正装置と色補正方法とビデオカメラシステム |
| JP2012238932A (ja) * | 2011-05-09 | 2012-12-06 | For-A Co Ltd | ３ｄ自動色補正装置とその色補正方法と色補正プログラム |
| JP2013246779A (ja) * | 2012-05-29 | 2013-12-09 | For-A Co Ltd | ２次元または３次元幾何学変換の統一的な最適計算方法とそのプログラム |
| JP2014192541A (ja) * | 2013-03-26 | 2014-10-06 | Seiko Epson Corp | 色変換装置、色変換方法、及び電子機器 |
| JP6129119B2 (ja) * | 2014-06-04 | 2017-05-17 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理システム、撮像装置、および画像処理方法 |
| JP6531522B2 (ja) * | 2015-07-01 | 2019-06-19 | 富士通株式会社 | 色補正プログラム、色補正方法及び色補正装置 |
-
2017
- 2017-03-15 JP JP2017049352A patent/JP6792872B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018152804A (ja) | 2018-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6792872B2 (ja) | 最適カラーマッチング処理方法と画像処理装置 | |
| RU2677562C2 (ru) | Система и способ моделирования и калибровки устройства формирования изображения | |
| US20140327736A1 (en) | External depth map transformation method for conversion of two-dimensional images to stereoscopic images | |
| US20040218803A1 (en) | Method and system for producing formatted information related to the defects of at least one appliance of a chain, in particular related to blurring | |
| JP6640559B2 (ja) | 一連の画像における輝度変動を補償する方法と装置 | |
| CN111523398A (zh) | 一种融合2d人脸检测和3d人脸识别的方法及装置 | |
| JP4831514B2 (ja) | 設定パラメータ最適化装置およびそのプログラム | |
| JP2020523703A (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| JP2011259047A (ja) | 色補正装置と色補正方法とビデオカメラシステム | |
| US7359575B2 (en) | Dynamic warp map generation system and method | |
| US8577202B2 (en) | Method for processing a video data set | |
| CN109461122B (zh) | 一种基于多视点图像的压缩感知图像重建方法 | |
| WO2018052100A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| CN107635136A (zh) | 基于视觉感知和双目竞争的无参考立体图像质量评价方法 | |
| KR20080101998A (ko) | 임의 시점 영상 합성 시 영상 보정 방법 및 장치 | |
| Song et al. | High-resolution depth map generator for 3D video applications using time-of-flight cameras | |
| US12067691B2 (en) | Disparity estimation from a wide angle image | |
| JP7023490B2 (ja) | 高精度色補正処理方法及び高精度色補正処理装置 | |
| Pathak et al. | Virtual reality with motion parallax by dense optical flow-based depth generation from two spherical images | |
| CN113469886A (zh) | 一种基于三维重构的图像拼接方法 | |
| JP6214427B2 (ja) | 空間共有装置、空間共有システム、空間共有方法、およびプログラム | |
| JP2013246779A (ja) | ２次元または３次元幾何学変換の統一的な最適計算方法とそのプログラム | |
| Tamboli et al. | Objective quality evaluation of an angularly-continuous light-field format | |
| Martin et al. | NeRF View Synthesis: Subjective Quality Assessment and Objective Metrics Evaluation | |
| CN108933939A (zh) | 用于确定显示设备的特性的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200811 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201030 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6792872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |