JP2024006474A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 オブジェクトと、表示装置に表示した該オブジェクトの画像と、を含む画像を撮影した際に、該オブジェクトと、表示装置に表示した該オブジェクトの画像と、の色再現を一致させるための技術を提供すること。【解決手段】 表示装置に表示された色票の画像の色値を変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換する。色票の規定色空間における色値と、該変換した規定色空間における色値と、の差分に基づいて変換情報を変更する。【選択図】 図２

Description

本発明は、色処理技術に関するものである。

近年、大型ＬＥＤディスプレイに表示した背景画像と、前景に配置したオブジェクトと、を同時に撮影し、あたかもその背景画像の中にオブジェクトがいるかのように撮影する手法が出てきている。これはバーチャルプロダクションと呼ばれるもので、ロケでの撮影コストやＣＧ合成時の編集コストの低減のために用いられる手法である。バーチャルプロダクションでは、大型ＬＥＤディスプレイに表示した背景画像と、前景に配置したオブジェクトと、を同時に撮影するために、これらを同時に撮影したときに両方の色再現が合うように大型ＬＥＤディスプレイに色を表示する必要がある。

特許文献１に記載の技術では、ある環境で観察した印刷物の色票パッチとディスプレイ装置の表示画像を用いて等色関係を定義することで、人間の視覚特性を考慮して、ある環境で観察した印刷物と同一環境にある表示装置に表示した印刷物の色再現を一致させることができる。

特開２０１４－１２１０２１号公報

しかしながら、ディスプレイ装置の分光特性、人間の視覚特性、カメラのカラーフィルタの分光特性のピーク位置の違いから、見た目の色再現を一致させてもディスプレイ装置とオブジェクトを同時に撮影した際に撮影画像の色再現を一致させることはできない。特に、大型ＬＥＤディスプレイは分光特性がピーキーであり、人間が色を知覚する等色関数とカメラのカラーフィルタの分光特性のピークがずれていると、人間が見て色が合っていても、カメラで撮影すると色再現が一致しないという問題が発生する。

本発明では、オブジェクトと、表示装置に表示した該オブジェクトの画像と、を含む画像を撮影した際に、該オブジェクトと、表示装置に表示した該オブジェクトの画像と、の色再現を一致させるための技術を提供する。

本発明の一様態は、表示装置に表示された色票の画像の色値を変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換する変換手段と、前記色票の規定色空間における色値と、前記変換手段が変換した規定色空間における色値と、の差分に基づいて前記変換情報を変更する変更手段とを備えることを特徴とする。

本発明によれば、オブジェクトと、表示装置に表示した該オブジェクトの画像と、を含む画像を撮影した際に、該オブジェクトと、表示装置に表示した該オブジェクトの画像と、の色再現を一致させるための技術を提供することができる。

第１の実施形態の概要を説明する図。 システムの構成例を示すブロック図。 色票３の一例を示す図。 システムの動作を示すフローチャート。 ステップＳ３における処理の詳細を示すフローチャート。 条件１を説明する図。 条件２を説明する図。 ３ＤＬＵＴが規定する四面体集合の一例を示す図。 システムの構成例を示すブロック図。 システムの動作を示すフローチャート。 ステップＳ１４における処理の詳細を示すフローチャート。 コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、例えば、大型ＬＥＤディスプレイを背景にして人物や物体などのオブジェクト（前景）を撮影するケースにおいて背景と前景の色再現を一致させるべく、図１に示す如く、大型ＬＥＤディスプレイに表示させる画像に適用する変換規則を、色票を用いて生成する。これにより、色票と、該色票の画像（ＣＧ（コンピュータグラフィクス）画像であっても良い）を変換規則に基づいて変換した変換規則適用後画像を大型ＬＥＤディスプレイに表示した表示画像と、の見た目の色再現は一致していなくても、色票を撮像装置により撮影した前景画像と、上記の表示画像を撮像装置により撮影した画像と、の色再現を略一致させることができる。

先ず、本実施形態に係るシステムの構成例について、図２のブロック図を用いて説明する。本実施形態に係るシステムは、撮像装置１、表示装置２、照明装置４、画像処理装置５、を有する。そして、撮像装置１と画像処理装置５との間、表示装置２と画像処理装置５との間は、有線および／または無線のネットワークを介してデータ通信が可能なように構成されている。

先ず、照明装置４について説明する。照明装置４はスタジオ照明などの照明装置であり、本実施形態では、色票３を含む空間に光を照射する装置である。なお、図１では照明装置４の数を１としているが、これに限らず、複数であっても良い。

次に、撮像装置１について説明する。撮像装置１は、色票３を含む空間の動画像や静止画像を撮影する撮像装置である。撮像装置１は、動画像を構成する各フレームの画像や、定期的もしくは不定期的に撮影した静止画像を、撮影画像として出力する。なお、図１では撮像装置１の数を１としているが、これに限らず、複数であっても良い。

次に、表示装置２について説明する。表示装置２は大型ＬＥＤディスプレイなどの表示装置であり、本実施形態では、画像処理装置５から出力された情報を画像や文字などでもって表示する表示装置である。

次に、画像処理装置５について説明する。画像処理装置５は、表示装置２に表示する画像の画素値を変換するための変換情報、表示装置２の色設定、の何れかを変更することで、撮像装置１により撮影された画像と表示装置２に表示された画像を撮像装置１により撮影した画像との色再現を略一致させる。

次に、色票３について説明する。色票３は、Ｘ－ｒｉｔｅ社のカラーチェッカーなど、色設計に使用するチャートである。本実施形態では、色票３には図３に示す如く、２４色のパッチ（白、黒、それぞれ異なる階調の灰色、肌色、青空、草緑などのパッチ）が配置されている（多くの色相を含むようにパッチが配置されている）。

次に、本実施形態に係るシステムの動作について、図４のフローチャートに従って説明する。ステップＳ１では、撮像装置１は、色票３を撮影し、該色票３の撮影画像を第１画像として出力する。色票３の撮影の際には、照明装置４を「実際に撮影する環境」に合わせて設定する。「実際に撮影する環境」とは、例えば、撮影スタジオなどで撮影された画像を、本実施形態によって生成する変換情報や変換規則を用いて画素値変換を行うような場合、該撮影スタジオの照明環境のことを指す。そして、撮像装置１は、このようにして設定された照明装置４による照明環境下における色票３を撮影する。撮像装置１が色票３の動画像を撮影した場合には、該動画像における各フレームの画像を第１画像として出力する。一方、撮像装置１が色票３の静止画像を定期的若しくは不定期的に撮影した場合には、該静止画像を第１画像として出力する。

入力部５１は、撮像装置１から出力された第１画像を取得する。なお、入力部５１が撮像装置１から出力された第１画像を取得する方法には様々な方法があり、特定の方法に限らない、例えば、入力部５１は、撮像装置１から出力された第１画像を、ネットワークを介して該撮像装置１から直接取得するようにしても良い。また、入力部５１は、撮像装置１から出力された第１画像を保持しているネットワーク上のサーバ装置などの装置から該第１画像を該ネットワークを介して取得するようにしても良い。

ステップＳ２では、撮像装置１は、表示装置２に表示されている色票３の画像を撮影し、該画像の撮影画像を第２画像として出力する。該撮影の際には、照明装置４を実際に撮影する環境に合わせて設定したうえで撮像装置１は該撮影を行う。「色票３の画像」は、第１画像とは異なる照明環境で撮像装置１により撮影された色票３の撮影画像であっても良いし、撮像装置１とは異なる他の撮像装置により撮影された色票３の撮影画像であっても良い。また、「色票３の画像」は、色票３のＣＧ画像であっても良い。撮像装置１が表示装置２の画面の動画像を撮影した場合には、該動画像における各フレームの画像を第２画像として出力する。一方、撮像装置１が表示装置２の画面の静止画像を定期的若しくは不定期的に撮影した場合には、該静止画像を第２画像として出力する。

入力部５１は、撮像装置１から出力された第２画像を取得する。なお、入力部５１が撮像装置１から出力された第２画像を取得する方法には第１画像と同様、様々な方法があり、特定の方法に限らない。例えば、入力部５１は、撮像装置１から出力された第２画像を、ネットワークを介して該撮像装置１から直接取得するようにしても良い。また、入力部５１は、撮像装置１から出力された第２画像を保持しているネットワーク上のサーバ装置などの装置から該第２画像を該ネットワークを介して取得するようにしても良い。

ステップＳ３では、修正部５２は、変換規則もしくは表示装置２の色設定を変更する。ステップＳ３における処理の詳細について、図５のフローチャートに従って説明する。ステップＳ３１では、修正部５２は、第１画像に含まれている色票３におけるそれぞれパッチの色値として該パッチのＲＧＢ値を取得する。なお、第１画像においてパッチに対応する画像領域におけるそれぞれの画素値は一定ではない可能性があるため（ムラや画素値のバラつきを考慮して）、該画像領域内におけるＲＧＢ値の平均を該パッチのＲＧＢ値としても良い。以下では、第１画像におけるパッチのＲＧＢ値をＲ１Ｇ１Ｂ１と称する。

同様に修正部５２は、第２画像に含まれている色票３におけるそれぞれパッチの色値として該パッチのＲＧＢ値を取得する。なお、第２画像においてパッチに対応する画像領域におけるそれぞれの画素値は一定ではない可能性があるため（ムラや画素値のバラつきを考慮して）、該画像領域内におけるＲＧＢ値の平均を該パッチのＲＧＢ値としても良い。以下では、第２画像におけるパッチのＲＧＢ値をＲ２Ｇ２Ｂ２と称する。

ステップＳ３２では、修正部５２は、以下の式（１）に従って、第２画像におけるそれぞれのパッチのＲＧＢ値（Ｒ２Ｇ２Ｂ２）をＲｔＧｔＢｔに変換する。

Ｒ２ｉ、Ｇ２ｉ、Ｂ２ｉはそれぞれ、第２画像におけるｉ（ｉ＝１～２４）番目のパッチのＲ値、Ｇ値、Ｂ値である。Ｍは変換情報であり、本実施形態では３ｘ１９のマトリクスであるとする。Ｒｔｉ、Ｇｔｉ、Ｂｔｉはそれぞれ、第２画像におけるｉ（ｉ＝１～２４）番目のパッチのＲＧＢ値（Ｒ２Ｇ２Ｂ２）を変換情報を用いて変換したＲ値、Ｇ値、Ｂ値である。

ステップＳ３３では、修正部５２は変換情報を用いて、ＲＧＢ値と、該ＲＧＢ値に対応するＬａｂ値と、を対応付けて登録した３次元色変換テーブルである３ＤＬＵＴを生成する。例えば修正部５２は、ＲＧＢ値（Ｒ、Ｇ、Ｂ）＝（０，０，０）、（０，０，１２８）、（０，０，２５６）…（０，０，１０２３）、（０，１２８，０）、（０，１２８，１２８）…（０，１２８，１０２３）、（０，２５６，０）、（０，２５６，１２８）…（１０２３，１０２３，１０２３）のそれぞれに対応するＬａｂ値（Ｌ値がＬ^＊、ａ値がａ^＊、ｂ値がｂ^＊）を、以下の式（２）～（８）を用いて求める。

そして修正部５２は、それぞれのＲＧＢ値について、該ＲＧＢ値と、該ＲＧＢ値に対応するＬａｂ値と、を対応付けて登録したテーブルを、３ＤＬＵＴとして生成する。

ステップＳ３４では、修正部５２は、第１画像におけるそれぞれのパッチのＲＧＢ値（Ｒ１Ｇ１Ｂ１）を、上記の式（２）～（８）を用いて、規定色空間における色値の一例であるＬａｂ値（Ｌ１ａ１ｂ１）に変換する。また修正部５２は、ステップＳ３２で求めた第２画像におけるそれぞれのパッチのＲＧＢ値（ＲｔＧｔＢｔ）を、上記の式（２）～（８）を用いて、規定色空間における色値の一例であるＬａｂ値（Ｌｔａｔｂｔ）に変換する。そして修正部５２は、第１画像におけるそれぞれのパッチのＬａｂ値（Ｌ１ａ１ｂ１）、第２画像におけるそれぞれのパッチのＬａｂ値（Ｌｔａｔｂｔ）、ステップＳ３３で生成した３ＤＬＵＴ、を用いて、変換情報および表示装置２の色設定の何れを変更するのかを判定する。

例えば、修正部５２は、以下に示す３つの条件（（条件１）、（条件２）、（条件３））のうち１以上が満たされていると判定した場合には、表示装置２の色設定を変更すると判定し、処理はステップＳ３６にすすむ。一方、修正部５２は、以下に示す３つの条件の何れも満たされていないと判定した場合には、変換情報を変更すると判定し、処理はステップＳ３５にすすむ。

（条件１） … 図６に示す如く、第２画像における白のパッチのＬ値（Ｌｔ：明度）が、第１画像における白のパッチのＬ値（Ｌ１：明度）よりも小さい

（条件２） … 図７に示す如く、第１画像におけるそれぞれのパッチのＬａｂ値のうち１つでも、３ＤＬＵＴが規定する四面体集合の外側にある

（条件３） … ３ＤＬＵＴが規定する四面体集合において高彩度部での階調つぶれが多い
（条件２）が満たされているか否かを判定するための方法には、例えば、次のような方法を適用することができる。３ＤＬＵＴが規定する四面体集合における着目四面体について、該着目四面体を構成する４つの頂点のそれぞれをＡ、Ｂ、Ｃ、Ｄとし、第１画像におけるそれぞれのパッチのＬａｂ値（ｌ１ａ１ｂ１）をＰとする。この場合、ベクトルＡＢ、ベクトルＡＣ、ベクトルＡＤ、ベクトルＡＰを作成し、係数ｋ、ｌ、ｍを用いて以下の式（９）を満たす係数ｋ、ｌ、ｍを求める。

そして、係数ｋ、ｌ、ｍが以下の式（１０）をすべて満たすときに、Ｐは四面体ＡＢＣＤの内部に存在する、と判定することができる。

逆に言えば、Ｐが３ＤＬＵＴが規定する四面体集合におけるどの四面体の内側にも存在しなければ、Ｐは３ＤＬＵＴの外側に存在するといえる。

（条件３）が満たされているか否かを判定するための方法には、例えば、次のような方法を適用することができる。３ＤＬＵＴの格子点の数を９ｘ９ｘ９としたときに、すべての格子点がつぶれや反転することなく構成できれば、３ＤＬＵＴが規定する四面体集合は図８（ａ）に示すようになる。ここで、該四面体集合における高彩度部で一部の四面体がつぶれてしまった場合、該四面体集合は図８（ｂ）に示す如く、見た目の格子点数がたとえば７ｘ７ｘ７のようになってしまう。そこで、３ＤＬＵＴが表す四面体集合における外殻の四面体のうち体積が所定値以下（つぶれ、もしくは反転している）の四面体の割合が所定割合以上であった場合には、高彩度部での階調つぶれが多いと判定する。なお、ここでは、所定値は０であるとする。なお、四面体の体積Ｖは、四面体を構成する４つの頂点のそれぞれをＡ、Ｂ、Ｃ、Ｄとし、ｘをベクトルの外積、・をベクトルの内積としたときに以下の式（１１）を用いて求めることができる。

ステップＳ３５では、修正部５２は、ステップＳ３４で求めた「第１画像におけるそれぞれのパッチのＬａｂ値（Ｌ１ａ１ｂ１）」、ステップＳ３４で求めた「第２画像におけるそれぞれのパッチのＬａｂ値（Ｌｔａｔｂｔ）」、を用いて平均色差ΔＥを求める。例えば、修正部５２は、パッチごとに、第１画像における該パッチのＬａｂ値（Ｌ１ａ１ｂ１）と第２画像における該パッチのＬａｂ値（Ｌｔａｔｂｔ）との差分を求め、該差分の平均値を平均色差ΔＥとして求める。その場合、修正部５２は、以下の式（１２）を用いて平均色差ΔＥを求める。

ここで、Ｅｉは、ｉ番目のパッチについて求めた差分である。Ｌｔｉ、ａｔｉ、ｂｔｉはそれぞれ、第２画像におけるｉ番目のパッチのＬ値（Ｌｔ）、ａ値（ａｔ）、ｂ値（ｂｔ）である。Ｌ１ｉ、ａ１ｉ、ｂ１ｉはそれぞれ、第１画像におけるｉ番目のパッチのＬ値（Ｌ１）、ａ値（ａ１）、ｂ値（ｂ１）である。

そして修正部５２は、平均色差ΔＥが所定値よりも小さくなるように変換情報を変更（最適化）する。例えば修正部５２は、減衰最小二乗法を用いて平均色差ΔＥが所定値よりも小さくなるように変換情報を変更（最適化）する。

一方、ステップＳ３６では、修正部５２は、表示装置２の色設定を変更する。修正部５２は、上記の３つの条件（（条件１）、（条件２）、（条件３））のうち満たされている条件に応じた色設定の変更を行う。

（条件１）が満たされている場合、修正部５２は、第２画像における白のパッチのＬ値（Ｌｔ：明度）と、第１画像における白のパッチのＬ値（Ｌ１：明度）と、の差分の絶対値だけ表示装置２の輝度を上げるよう、該表示装置２の色設定を変更する。

（条件２）が満たされている場合、修正部５２は、第１画像におけるパッチのうち、３ＤＬＵＴが規定する四面体集合から最も離れている、該四面体集合の外側のＬａｂ値のパッチを着目パッチとする。なお、「最も離れている」ではなく、「２番目に離れている」や「３番目に離れている」等、比較的遠くに離れている、としても良い。そして修正部５２は、第１画像における着目パッチのＬ１ａ１ｂ１と、第２画像における着目パッチのＬｔａｔｂｔと、の差分の絶対値だけ表示装置２の彩度を上げるよう、該表示装置２の色設定を変更する。

（条件３）が満たされている場合、修正部５２は、体積が所定値（ここでは０とする）以下（つぶれ、もしくは反転している）になる四面体の割合と同じ割合だけ表示装置２の彩度を下げるよう、該表示装置２の色設定を変更する。

ステップＳ３７では、修正部５２は、ＲＧＢ値（Ｒ、Ｇ、Ｂ）＝（０，０，０）、（０，０，１２８）、（０，０，２５６）…（０，０，１０２３）、（０，１２８，０）、（０，１２８，１２８）…（０，１２８，１０２３）、（０，２５６，０）、（０，２５６，１２８）…（１０２３，１０２３，１０２３）のそれぞれを変換情報を用いて変換したＲＧＢ値を求める。そして修正部５２は、ＲＧＢ値（Ｒ、Ｇ、Ｂ）＝（０，０，０）、（０，０，１２８）、（０，０，２５６）…（０，０，１０２３）、（０，１２８，０）、（０，１２８，１２８）…（０，１２８，１０２３）、（０，２５６，０）、（０，２５６，１２８）…（１０２３，１０２３，１０２３）のそれぞれと、該ＲＧＢ値を変換情報を用いて変換したＲＧＢ値と、を対応付けて登録したテーブル（３ＤＬＵＴ）を変換規則として生成する。そして修正部５２は、該生成した変換規則である３ＤＬＵＴをストレージ５５に格納する。ストレージ５５にすでに変換規則が保存されている場合には、保存されている変換規則を、今回生成した変換規則に変更（更新）する。

ストレージ５５は、揮発性メモリや不揮発性メモリなどを含むメモリ装置であり、ＯＳ（オペレーティングシステム）や各種のデータを保存することができるメモリ装置である。また、ストレージ５５は、変換規則や撮像装置１から取得した画像を格納するためのエリア、ワークエリアなどのエリアを適宜提供することができる。

なお、変換規則は３ＤＬＵＴに限らず、例えば変換情報であっても良い。その場合、３ＤＬＵＴを用いた処理を行う際に、現在の変換情報を用いて上記のステップＳ３７の処理を行って３ＤＬＵＴを生成する。

図４に戻って、次に、ステップＳ４では、画像処理部５３は、例えば、第１画像のＲＧＢ値を変換規則を用いて変換し、該変換の後の第１画像を表示装置２に表示させる。なお、画像処理部５３は、変換前の第１画像と変換後の第１画像とを並べて表示装置２に表示させても良く、第１画像の表示方法については特定の表示方法に限らない。

ステップＳ５では、判定部５４は、図４のフローチャートに従った処理を終了する条件（終了条件）が満たされたか否かを判断する。終了条件は特定の条件に限らない。終了指示には、例えば、「平均色差ΔＥが閾値（＜所定値）よりも小さくなった」、「表示装置２に表示された画像を確認したユーザが不図示の操作部を操作して処理の終了指示を入力したことを検知した」、「ステップＳ１～Ｓ４の処理の繰返し回数が閾値を超えた」などがある。

このような判断の結果、終了条件が満たされた場合には、図４のフローチャートに従った処理は終了する。一方、終了条件が満たされていない場合には、処理はステップＳ１にすすむ。

＜変形例１＞
第１の実施形態では装置間（撮像装置１と画像処理装置５との間、表示装置２と画像処理装置５との間）のデータのやり取りは、有線および／または無線のネットワークを介して行われるものとして説明した。しかし、装置間のデータのやり取りの方法については特定の方法に限らず、例えば、ＵＢＳメモリなどのメモリ装置を介して装置間のデータのやり取りを行っても良い。

＜変形例２＞
第１の実施形態では、式（２）、（３）を用いてＲＧＢ値をｓＲＧＢとしてＸＹＺに変換したが、式（２）、（３）の代わりに以下の式（１３）、（１４）を用いてＲＧＢ値をＡｄｏｂｅＲＧＢ値としてＸＹＺ値に変換してもよい。

＜変形例３＞
平均色差は上記の式（１２）を用いて求めたΔＥに限らず、例えば、以下の式（１５）を用いて求めたΔＥ９４であっても良い。

このように、本実施形態や変形例によれば、背景に配置した大型ＬＥＤディスプレイなどの表示装置に表示されたオブジェクトの画像と、前景に配置したオブジェクトと、を同時に撮像装置で撮影した際に、背景と前景との色再現を一致させることができる。またその際に、全体的な輝度もしくは彩度を変えるときには表示装置の設定を、部分的な色を修正する場合には変換規則を修正することで、より高精度な色再現の一致を実現できる。

［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。先ず、本実施形態に係るシステムの構成例について、図９のブロック図を用いて説明する。図９に示した構成は、図２に示した構成において、画像処理装置５に測定器６を接続すると共に、画像処理装置５が変換部５７を有する構成となっている。

本実施形態に係るシステムの動作について、図１０のフローチャートに従って説明する。なお、図１０において、図４に示した処理ステップと同様の処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。ここでは、例えば、バーチャルプロダクション向けＣＭＳシステムに適用した場合のシステムの動作について説明する。

ステップＳ１１では、測定器６は、色票３における各パッチの分光放射輝度を測定する。測定の際には、例えば、照明装置４を実際に撮影する環境に合わせて設定し、測定器６は、このようにして設定された照明装置４による照明環境下における色票３の各パッチの分光放射輝度を測定する。変換部５７は、測定器６が測定した色票３における各パッチの分光放射輝度を取得する。

ステップＳ１２では、測定器６は、表示装置２に表示された色票３の画像の分光放射輝度を測定する。測定の際には、ステップＳ１１と同様に照明装置４を実際に撮影する環境に合わせて設定したうえで表示装置２に色票３の画像を表示させ、測定器６は、表示装置２に表示された色票３の画像の分光放射輝度を測定する。

ステップＳ１３では、変換部５７は、ステップＳ１１で取得した分光放射輝度、ステップＳ１２で取得した分光放射輝度、のそれぞれを、色値に変換する。本実施形態では色値としてＲＧＢ値を用いる。分光放射輝度をＲＧＢ値に変換するためには、変換部５７は、分光放射輝度と、撮像装置１のカラーフィルタの分光特性（ストレージ５５に予め保存済み）と、を用いて、該分光放射輝度に対応するＲＧＢ値を求める。分光放射輝度をＳ（λ）、撮像装置１のカラーフィルタの分光特性をＲ（λ）、Ｇ（λ）、Ｂ（λ）とすると、変換部５７は、該分光放射輝度に対応するＲＧＢ値（Ｒ、Ｇ、Ｂ）を、以下の式（１６）を用いて求める。

これにより、色票３を測定することで得られる該色票３における各パッチのＲＧＢ値、表示装置２に表示された色票３の画像を測定することで得られる画像中の色票３における各パッチのＲＧＢ値、を取得することができる。

ステップＳ１４では、修正部５２は、変換規則もしくは表示装置２の色設定を変更する。ステップＳ１４における処理の詳細について、図１１のフローチャートに従って説明する。図１１において、図５に示した処理ステップと同様の処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ１３１では、修正部５２は、ステップＳ１３で求めた「表示装置２に表示された画像中の色票３における各パッチのＲＧＢ値」であるＲ２Ｇ２Ｂ２を、上記の式（１）に従ってＲｔＧｔＢｔに変換する。

このように、本実施形態によれば、撮像装置が変わるたびに撮影することなく、測定器による分光放射輝度の測定結果と、撮像装置のカラーフィルタの分光特性と、を用いることで、変換規則を生成することができる。

［第３の実施形態］
図２や図９に示した画像処理装置５の機能部（ストレージ５５を除く）はソフトウェア（コンピュータプログラム）で実装しても良いし、ハードウェアで実装しても良い。前者の場合、該コンピュータプログラムを実行可能なコンピュータ装置は、画像処理装置５に適用可能である。画像処理装置５に適用可能なコンピュータ装置のハードウェア構成例について、図１２のブロック図を用いて説明する。

ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１２０１は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置５が行うものとして説明した各種の処理を実行もしくは制御する。

ＲＡＭ１２０２は、ＲＯＭ１２０３や外部記憶装置１２０６からロードされたコンピュータプログラムやデータを格納するためのエリア、Ｉ／Ｆ１２０７を介して外部から受信したデータを格納するためのエリア、を有する。さらにＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１２０２は、各種のエリアを適宜提供することができる。

ＲＯＭ１２０３には、コンピュータ装置の設定データ、コンピュータ装置の起動に係るコンピュータプログラムやデータ、コンピュータ装置の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

操作部１２０４は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１２０１に対して入力することができる。

表示部１２０５は、液晶画面やタッチパネル画面を有し、ＣＰＵ１２０１による処理結果を画像や文字などでもって表示することができる。なお、表示部１２０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

外部記憶装置１２０６は、ハードディスクドライブなどの大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ、画像処理装置５が行うものとして説明した各種の処理をＣＰＵ１２０１に実行若しくは制御させるためのコンピュータプログラムやデータ、などが保存されている。外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。図２や図９のストレージ５５は、ＲＡＭ１２０２、外部記憶装置１２０６などでもって実装することができる。

Ｉ／Ｆ１２０７は、撮像装置１、表示装置２、測定器６等を画像処理装置５に接続するためのインターフェースを含む。コンピュータ装置はＩ／Ｆ１２０７を介して撮像装置１、表示装置２、測定器６等との間のデータ通信を行うことができる。

ＣＰＵ１２０１、ＲＡＭ１２０２、ＲＯＭ１２０３、操作部１２０４、表示部１２０５、外部記憶装置１２０６、Ｉ／Ｆ１２０７はいずれもシステムバス１２０８に接続されている。なお、図１２に示したハードウェア構成は、画像処理装置５に適用可能なコンピュータ装置のハードウェア構成の一例であり、適宜変更／変形が可能である。

また、上記の各実施形態や各変形例で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の取得方法／送信先／送信元／格納場所、色空間などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の発明は、以下の画像処理装置、画像処理方法、コンピュータプログラムを含む。

（項目１）
表示装置に表示された色票の画像の色値を変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換する変換手段と、
前記色票の規定色空間における色値と、前記変換手段が変換した規定色空間における色値と、の差分に基づいて前記変換情報を変更する変更手段と
を備えることを特徴とする画像処理装置。

（項目２）
前記変換手段は、前記表示装置に表示された色票の画像を撮影した画像の色値を前記変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換することを特徴とする項目１に記載の画像処理装置。

（項目３）
前記変更手段は、前記色票を撮影した第１画像における該色票の規定色空間における色値と、前記表示装置に表示された色票の画像を撮影した第２画像における該色票の規定色空間における色値と、の差分に基づいて前記変換情報を変更することを特徴とする項目１または２に記載の画像処理装置。

（項目４）
前記第２画像は、前記第１画像とは異なる照明環境で色票を撮影した画像、前記第１画像を撮影した装置とは異なる装置により色票を撮影した画像、前記表示装置に表示された色票のＣＧ（コンピュータグラフィクス）画像を撮影した画像、のいずれかであることを特徴とする項目３に記載の画像処理装置。

（項目５）
前記変換手段は、前記表示装置に表示された色票の画像の分光放射輝度に基づいて該画像の色値を取得し、該色値を前記変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換することを特徴とする項目１に記載の画像処理装置。

（項目６）
前記変更手段は、前記色票の分光放射輝度に基づいて得られた該色票の規定色空間における色値と、前記変換手段が変換した規定色空間における色値と、の差分に基づいて前記変換情報を変更することを特徴とする項目１または５に記載の画像処理装置。

（項目７）
前記変更手段は、前記色票におけるそれぞれのパッチについて、該パッチの規定色空間における色値と、前記表示装置に表示された色票の画像における該パッチの規定色空間における色値と、の差分を求め、該差分の平均値が所定値よりも小さくなるように前記変換情報を変更することを特徴とする項目１ないし６の何れか１項目に記載の画像処理装置。

（項目８）
さらに、
前記色票の規定色空間における色値と、前記表示装置に表示された色票の画像の規定色空間における色値と、規定色空間における色値に変換する３次元色変換テーブルと、に基づき、前記変換情報および前記表示装置の色設定の何れを変更するのかを判定する判定手段を備えることを特徴とする項目１ないし７の何れか１項目に記載の画像処理装置。

（項目９）
前記判定手段は、
条件１ 前記表示装置に表示された色票の画像における白のパッチの明度が、前記色票における白のパッチの明度よりも低い
条件２ 前記３次元色変換テーブルが表す四面体の集合の外側に、前記色票におけるパッチのうち１つでも規定色空間における色値が存在する
条件３ 前記３次元色変換テーブルが表す四面体の集合における外殻の四面体のうち体積が所定値以下の四面体の割合が所定割合以上
のうち１以上が満たされた場合には、前記表示装置の色設定を変更すると判定し、条件１、条件２、条件３の何れも満たされていない場合には、前記変換情報を変更すると判定する
ことを特徴とする項目８に記載の画像処理装置。

（項目１０）
前記変更手段は、前記変換情報を変更すると判定された場合に、前記変換情報を変更することを特徴とする項目９に記載の画像処理装置。

（項目１１）
前記変更手段は、条件１が満たされている場合、前記表示装置に表示された色票の画像における白のパッチの明度と、前記色票における白のパッチの明度と、の差分に基づいて前記表示装置の輝度を上げるよう、前記表示装置の色設定を変更することを特徴とする項目９に記載の画像処理装置。

（項目１２）
前記変更手段は、条件２が満たされている場合、前記色票におけるパッチのうち、前記集合から離れている、該集合の外側のパッチを着目パッチとし、該着目パッチの規定色空間における色値と、前記表示装置に表示された色票の画像における該着目パッチの規定色空間における色値と、の差分に基づいて前記表示装置の彩度を上げるよう、前記表示装置の色設定を変更することを特徴とする項目９に記載の画像処理装置。

（項目１３）
前記変更手段は、条件３が満たされている場合、前記割合と同じ割合だけ前記表示装置の彩度を下げるよう、前記表示装置の色設定を変更することを特徴とする項目９に記載の画像処理装置。

（項目１４）
画像処理装置が行う画像処理方法であって、
前記画像処理装置の変換手段が、表示装置に表示された色票の画像の色値を変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換する変換工程と、
前記画像処理装置の変更手段が、前記色票の規定色空間における色値と、前記変換工程で変換した規定色空間における色値と、の差分に基づいて前記変換情報を変更する変更工程と
を備えることを特徴とする画像処理方法。

（項目１５）
コンピュータを、項目１ないし１３の何れか１項目に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：撮像装置 ２：表示装置 ３：色票 ４：照明装置 ５：画像処理装置 ５１：入力部 ５２：修正部 ５３：画像処理部 ５４：判定部 ５５：ストレージ

Claims (15)

1. 表示装置に表示された色票の画像の色値を変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換する変換手段と、
   前記色票の規定色空間における色値と、前記変換手段が変換した規定色空間における色値と、の差分に基づいて前記変換情報を変更する変更手段と
   を備えることを特徴とする画像処理装置。
2. 前記変換手段は、前記表示装置に表示された色票の画像を撮影した画像の色値を前記変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換することを特徴とする請求項１に記載の画像処理装置。
3. 前記変更手段は、前記色票を撮影した第１画像における該色票の規定色空間における色値と、前記表示装置に表示された色票の画像を撮影した第２画像における該色票の規定色空間における色値と、の差分に基づいて前記変換情報を変更することを特徴とする請求項１に記載の画像処理装置。
4. 前記第２画像は、前記第１画像とは異なる照明環境で色票を撮影した画像、前記第１画像を撮影した装置とは異なる装置により色票を撮影した画像、前記表示装置に表示された色票のＣＧ（コンピュータグラフィクス）画像を撮影した画像、のいずれかであることを特徴とする請求項３に記載の画像処理装置。
5. 前記変換手段は、前記表示装置に表示された色票の画像の分光放射輝度に基づいて該画像の色値を取得し、該色値を前記変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換することを特徴とする請求項１に記載の画像処理装置。
6. 前記変更手段は、前記色票の分光放射輝度に基づいて得られた該色票の規定色空間における色値と、前記変換手段が変換した規定色空間における色値と、の差分に基づいて前記変換情報を変更することを特徴とする請求項１に記載の画像処理装置。
7. 前記変更手段は、前記色票におけるそれぞれのパッチについて、該パッチの規定色空間における色値と、前記表示装置に表示された色票の画像における該パッチの規定色空間における色値と、の差分を求め、該差分の平均値が所定値よりも小さくなるように前記変換情報を変更することを特徴とする請求項１に記載の画像処理装置。
8. さらに、
   前記色票の規定色空間における色値と、前記表示装置に表示された色票の画像の規定色空間における色値と、規定色空間における色値に変換する３次元色変換テーブルと、に基づき、前記変換情報および前記表示装置の色設定の何れを変更するのかを判定する判定手段を備えることを特徴とする請求項１に記載の画像処理装置。
9. 前記判定手段は、
   条件１ 前記表示装置に表示された色票の画像における白のパッチの明度が、前記色票における白のパッチの明度よりも低い
   条件２ 前記３次元色変換テーブルが表す四面体の集合の外側に、前記色票におけるパッチのうち１つでも規定色空間における色値が存在する
   条件３ 前記３次元色変換テーブルが表す四面体の集合における外殻の四面体のうち体積が所定値以下の四面体の割合が所定割合以上
   のうち１以上が満たされた場合には、前記表示装置の色設定を変更すると判定し、条件１、条件２、条件３の何れも満たされていない場合には、前記変換情報を変更すると判定する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記変更手段は、前記変換情報を変更すると判定された場合に、前記変換情報を変更することを特徴とする請求項９に記載の画像処理装置。
11. 前記変更手段は、条件１が満たされている場合、前記表示装置に表示された色票の画像における白のパッチの明度と、前記色票における白のパッチの明度と、の差分に基づいて前記表示装置の輝度を上げるよう、前記表示装置の色設定を変更することを特徴とする請求項９に記載の画像処理装置。
12. 前記変更手段は、条件２が満たされている場合、前記色票におけるパッチのうち、前記集合から離れている、該集合の外側のパッチを着目パッチとし、該着目パッチの規定色空間における色値と、前記表示装置に表示された色票の画像における該着目パッチの規定色空間における色値と、の差分に基づいて前記表示装置の彩度を上げるよう、前記表示装置の色設定を変更することを特徴とする請求項９に記載の画像処理装置。
13. 前記変更手段は、条件３が満たされている場合、前記割合と同じ割合だけ前記表示装置の彩度を下げるよう、前記表示装置の色設定を変更することを特徴とする請求項９に記載の画像処理装置。
14. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の変換手段が、表示装置に表示された色票の画像の色値を変換情報に基づいて変換し、該変換した色値を規定色空間における色値に変換する変換工程と、
    前記画像処理装置の変更手段が、前記色票の規定色空間における色値と、前記変換工程で変換した規定色空間における色値と、の差分に基づいて前記変換情報を変更する変更工程と
    を備えることを特徴とする画像処理方法。
15. コンピュータを、請求項１ないし１３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images