JP5858735B2

JP5858735B2 - 色補正装置及び色補正方法

Info

Publication number: JP5858735B2
Application number: JP2011244669A
Authority: JP
Inventors: 万里子須賀
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2011-11-08
Filing date: 2011-11-08
Publication date: 2016-02-10
Anticipated expiration: 2031-11-08
Also published as: JP2013101219A

Description

この発明は、ディスプレイに投影される画像の色補正を行う色補正装置及び色補正方法に関するものである。

以下の特許文献１に開示されている色補正装置では、下記に示す第１〜第４のステップを実行することで、画像の色補正を行っている。
［第１ステップ］
画像表示装置のスクリーン上にテストパターンを投影する
［第２ステップ］
撮影手段が所定の撮影位置から、第１ステップで投影されたテストパターンを撮影して、そのテストパターンの撮影データを得る
［第３ステップ］
予め算出されている変換関数に基づいて、そのテストパターンの撮影データを、撮影手段による撮影位置と異なる観察位置からテストパターンを撮影した場合に得られる特性データに変換する
［第４ステップ］
その特性データに基づいて、画像表示装置の表示特性を補正するための画像補正データを算出する

特開２００５−９９１５０号公報（例えば、段落番号［００２１］）

従来の色補正装置は以上のように構成されているので、ディスプレイに対するカメラの角度に応じて、ディスプレイに投影される画像の色補正を行うことができる。しかし、ディスプレイが屋内に設置されている場合でも、外光が差し込む位置にディスプレイが設置されている場合や、ディスプレイが屋外に設置されている場合、外光の影響でコントラストの低下や色度の変化を生じてしまうため、色補正精度が劣化してしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、光がディスプレイに差し込む環境下でも、精度が高い色補正を行うことができる色補正装置及び色補正方法を得ることを目的とする。

この発明に係る色補正装置は、特定色が表されている評価画像をディスプレイに表示し、そのディスプレイの表示画像である評価画像を撮影しているカメラの撮影映像から評価画像の特徴量を抽出する特徴量抽出手段と、そのディスプレイに対するカメラの角度に応じて、特徴量抽出手段により抽出された特徴量に対する角度補正を行う角度補正手段と、カメラより出力されるホワイトバランス係数又はクロックの時刻情報から、そのディスプレイに差し込んでいる光が昼光であるのか、夕陽であるのかを判別し、そのディスプレイに差し込んでいる光が昼光であれば、角度補正手段による補正後の特徴量に対する逆コントラスト補正を行い、そのディスプレイに差し込んでいる光が夕陽であれば、角度補正手段による補正後の特徴量に対する逆色補正を行う環境補正手段と、環境補正手段による補正後の特徴量と特定色に基づいて、そのディスプレイに表示される画像の色補正を行う色補正手段とを備え、角度補正手段が、そのディスプレイに対するカメラの角度に対応しており、かつ、そのディスプレイに表示される画像の階調に対応している補正係数を特徴量抽出手段により抽出された特徴量に乗算することで、その特徴量に対する角度補正を行うようにしたものである。

この発明によれば、特定色が表されている評価画像をディスプレイに表示し、そのディスプレイの表示画像である評価画像を撮影しているカメラの撮影映像から評価画像の特徴量を抽出する特徴量抽出手段と、そのディスプレイに対するカメラの角度に応じて、特徴量抽出手段により抽出された特徴量に対する角度補正を行う角度補正手段と、カメラより出力されるホワイトバランス係数又はクロックの時刻情報から、そのディスプレイに差し込んでいる光が昼光であるのか、夕陽であるのかを判別し、そのディスプレイに差し込んでいる光が昼光であれば、角度補正手段による補正後の特徴量に対する逆コントラスト補正を行い、そのディスプレイに差し込んでいる光が夕陽であれば、角度補正手段による補正後の特徴量に対する逆色補正を行う環境補正手段と、環境補正手段による補正後の特徴量と特定色に基づいて、そのディスプレイに表示される画像の色補正を行う色補正手段とを備え、角度補正手段が、そのディスプレイに対するカメラの角度に対応しており、かつ、そのディスプレイに表示される画像の階調に対応している補正係数を特徴量抽出手段により抽出された特徴量に乗算することで、その特徴量に対する角度補正を行うように構成したので、光がディスプレイに差し込む環境下でも、精度が高い色補正を行うことができる効果がある。また、ディスプレイに表示される画像の階調が異なる場合でも、精度が高い色補正を行うことができる効果がある。

この発明の実施の形態１による色補正装置を示す構成図である。この発明の実施の形態１による色補正装置の処理内容（色補正方法）を示すフローチャートである。２次元ルックアップテーブルの一例を示す説明図である。この発明の実施の形態２による色補正装置を示す構成図である。この発明の実施の形態４による色補正装置が適用される色補正システムを示す構成図である。この発明の実施の形態５による色補正装置が適用される色補正システムを示す構成図である。

実施の形態１．
図１はこの発明の実施の形態１による色補正装置を示す構成図である。
図１において、特徴量抽出部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特定色が表されている評価画像Ｐｖをディスプレイ６に表示し、ディスプレイ６の表示画像である評価画像Ｐｖを撮影しているカメラ７の撮影映像から評価画像Ｐｖの特徴量Ｄを抽出する処理を実施する。なお、特徴量抽出部１は特徴量抽出手段を構成している。

角度補正部２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、角度補正部２は、例えば、ディスプレイ６に対するカメラ７の角度と補正係数の対応関係を示す２次元ルックアップテーブル２ａを搭載しており、ディスプレイ６に対するカメラ７の角度θを示す角度情報を入力すると、２次元ルックアップテーブル２ａから当該角度情報が示す角度θに対応する補正係数Ｈを取得し、その補正係数Ｈを特徴量抽出部１により抽出された特徴量Ｄに乗算することで、その特徴量Ｄに対する角度補正を行う。なお、角度補正部２は角度補正手段を構成している。

環境補正部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、ディスプレイ６に対して光が差し込んでいる環境下であれば、角度補正部２による補正後の特徴量Ｄ_Ｈに対する輝度補正又は色度補正を行う。
即ち、環境補正部３はディスプレイ６に対して光が差し込んでいる環境下であれば、例えば、カメラ７から出力されるホワイトバランス係数を参照して、ディスプレイに差し込んでいる光が昼光であるのか、夕陽であるのかを判別し、ディスプレイ６に差し込んでいる光が昼光である場合、角度補正部２による補正後の特徴量Ｄ_Ｈに対する逆コントラスト補正を行う。ディスプレイ６に差し込んでいる光が夕陽である場合、角度補正部２による補正後の特徴量Ｄ_Ｈに対する逆色補正を行う。
なお、環境補正部３は環境補正手段を構成している。

色補正パラメータ算出部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、環境補正部３による補正後の特徴量Ｄ_ＨＨと特定色に基づいて、色補正用のパラメータＫ１〜Ｋ４を算出する処理を実施する。
色補正部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、色補正パラメータ算出部４により算出された色補正用のパラメータＫ１〜Ｋ４にしたがってディスプレイ６に表示（投影）される画像の色補正を行う。
なお、色補正パラメータ算出部４及び色補正部５から色補正手段が構成されている。
カメラ７は特徴量抽出部１によってディスプレイ６に表示されている評価画像Ｐｖを撮影し、その撮影映像を特徴量抽出部１に出力する。

図１の例では、色補正装置の構成要素である特徴量抽出部１、角度補正部２、環境補正部３、色補正パラメータ算出部４及び色補正部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、色補正装置がコンピュータで構成されていてもよい。
色補正装置がコンピュータで構成されている場合、特徴量抽出部１、角度補正部２、環境補正部３、色補正パラメータ算出部４及び色補正部５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による色補正装置の処理内容（色補正方法）を示すフローチャートである。

次に動作について説明する。
特徴量抽出部１は、特定色が表されている評価画像Ｐｖを示す評価画像データを入力すると、その評価画像データが示す評価画像Ｐｖをディスプレイ６に表示する（図２のステップＳＴ１）。
色補正装置には、予め、目標とする色再現特性（例えば、ＮＴＳＣ：ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅ）が設定されており、特徴量抽出部１が、目標とする色再現特性における特定色を表す評価画像Ｐｖをディスプレイ６に表示する。

なお、色再現特性における特定色は、色空間のどの色でもよく、例えば、赤色（２２５，０，０）、緑色（０，２５５，０）などがある。
また、評価画像Ｐｖを示す評価画像データは、ディスプレイ６の色空間の離散的なデータであり、ディスプレイ６に表示される画像の信号がＲＧＢ信号である場合、例えば、Ｒ信号であれば、黒〜Ｒ〜白に向かう階調のうち、適当な間隔をあけた離散的なデータとなる。Ｇ信号及びＢ信号についても、Ｒ信号と同様に離散的なデータとなる。
したがって、離散的なデータ毎に評価画像Ｐｖが生成されて、その評価画像Ｐｖがディスプレイ６に表示される。

カメラ７は、特徴量抽出部１が評価画像Ｐｖをディスプレイ６に表示すると、そのディスプレイ６を含む領域を撮影し、その撮影映像を特徴量抽出部１に出力する（ステップＳＴ２）。
特徴量抽出部１は、カメラ７から撮影映像を受けると、例えば、その撮影映像からディスプレイ６の中心エリアの映像（例えば、ディスプレイ６の表示エリアの中心に位置している所定サイズの矩形領域の映像）を切り出し、その中心エリアの平均ＲＧＢ値を評価画像Ｐｖの特徴量Ｄとして抽出する（ステップＳＴ３）。

ここで、カメラ７がディスプレイ６と正対する位置に設置されている場合と比べて、カメラ７がディスプレイ６と正対する位置からずれた位置に設置されている場合（カメラ７とディスプレイ６に角度が生じている場合）、撮影映像の輝度や色度が小さい値になる。

角度補正部２は、カメラ７とディスプレイ６に角度が生じている場合でも、カメラ７がディスプレイ６と正対する位置に設置されている場合と同様の特徴量Ｄを得るために、その特徴量Ｄに対する角度補正を行う（ステップＳＴ４）。
具体的には、以下のようにして、特徴量Ｄに対する角度補正を行う。

角度補正部２は、ディスプレイ６に対するカメラ７の角度と補正係数の対応関係を示す２次元ルックアップテーブル２ａを搭載している。
２次元ルックアップテーブル２ａは、角度に対応する補正係数を記録しているものであるが、その記録内容は、以下のようにして求められる。
まず、カメラ７がディスプレイ６と正対する位置に設置されている場合の左右方向の角度を０度、上下方向の角度を０度に設定し、例えば、測色器など用いて、カメラ７を左右方向及び上下方向に角度θを振った状態で、カメラ７の撮影映像の輝度ｌ_θ及び色度ｃ_θを測定する。
左右方向及び上下方向の何れにおいても、例えば、１０度刻みで、−１７０〜１７０度に角度θを振った状態で輝度ｌ_θ及び色度ｃ_θを測定する。

次に、左右方向の角度が０度の状態で測定された撮影映像の輝度ｌ_０と、左右方向に角度θを振った状態で測定された撮影映像の輝度ｌ_θの比を輝度の補正係数Ｈｌとして算出する。
Ｈｌ＝ｌ_０／ｌ_θ
また、左右方向の角度が０度の状態で測定された撮影映像の色度ｃ_０と、左右方向に角度θを振った状態で測定された撮影映像の色度ｃ_θの比を色度の補正係数Ｈｃとして算出する。
Ｈｃ＝ｃ_０／ｃ_θ
そして、左右方向の角度がθである場合の補正係数Ｈとして、例えば、輝度の補正係数Ｈｌと色度の補正係数Ｈｃの平均値を算出する。
Ｈ＝（Ｈｌ＋Ｈｃ）／２

ここでは、左右方向の角度がθである場合の補正係数Ｈとして、輝度の補正係数Ｈｌと色度の補正係数Ｈｃの平均値を算出する例を示しているが、これは一例に過ぎず、例えば、輝度の補正係数Ｈｌと色度の補正係数Ｈｃの重み付け和を補正係数Ｈとして算出するようにしてもよい。

同様に、上下方向の角度が０度の状態で測定された撮影映像の輝度ｌ_０と、上下方向に角度θを振った状態で測定された撮影映像の輝度ｌ_θの比を輝度の補正係数Ｈｌとして算出する。
Ｈｌ＝ｌ_０／ｌ_θ
また、上下方向の角度が０度の状態で測定された撮影映像の色度ｃ_０と、上下方向に角度θを振った状態で測定された撮影映像の色度ｃ_θの比を色度の補正係数Ｈｃとして算出する。
Ｈｃ＝ｃ_０／ｃ_θ
そして、上下方向の角度がθである場合の補正係数Ｈとして、例えば、輝度の補正係数Ｈｌと色度の補正係数Ｈｃの平均値を算出する。
Ｈ＝（Ｈｌ＋Ｈｃ）／２

ここでは、上下方向の角度がθである場合の補正係数Ｈとして、輝度の補正係数Ｈｌと色度の補正係数Ｈｃの平均値を算出する例を示しているが、これは一例に過ぎず、例えば、輝度の補正係数Ｈｌと色度の補正係数Ｈｃの重み付け和を補正係数Ｈとして算出するようにしてもよい。

上記のようにして、左右方向及び上下方向に係る補正係数Ｈを算出すると、左右方向及び上下方向に係る補正係数Ｈを２次元ルックアップテーブル２ａに記録する。
図３は２次元ルックアップテーブル２ａの一例を示す説明図である。図３の２次元ルックアップテーブルａに記録されている補正係数Ｈはあくまでも一例である。

角度補正部２は、ディスプレイ６に対するカメラ７の角度θを示す角度情報を入力すると、２次元ルックアップテーブル２ａから当該角度情報が示す角度θに対応する補正係数Ｈを取得する。
ディスプレイ６の設置方向は既知であるため、図示せぬカメラ制御装置（カメラ７の向き等を制御するアクチュエータなどの装置）からカメラ７の設置方向を示す情報を入手することで、ディスプレイ６に対するカメラ７の角度θを認識することができる。したがって、ディスプレイ６に対するカメラ７の角度θを示す角度情報としては、カメラ７の設置方向を示す情報などが該当する。
ここでは、角度θを示す角度情報は、左右方向の角度θ１と、上下方向の角度θ２の情報を保持しているものとする。

例えば、角度情報が示す角度θが、θ１＝３０度，θ２＝５０度であれば、２次元ルックアップテーブル２ａから、左右方向の角度が３０度で、上下方向の角度が５０度に対応する輝度の補正係数Ｈを取得する。
しかし、上記のように、１０度刻みで角度θを振った状態で輝度ｌ_θ及び色度ｃ_θの測定を行っているような場合、角度情報が示す角度θに対応する補正係数Ｈが２次元ルックアップテーブル２ａに記録されていないことがある。
例えば、θ１＝３５度，θ２＝５０度であるような場合、角度情報が示す角度θに対応する補正係数Ｈが２次元ルックアップテーブル２ａに記録されていない。

この例の場合、角度補正部２は、左右方向の角度が３０度で、上下方向の角度が５０度に対応する補正係数Ｈ（以下、「左右方向３０度に係る補正係数Ｈ_３０」と称する）を取得するとともに、左右方向の角度が４０度で、上下方向の角度が５０度に対応する補正係数Ｈ（以下、「左右方向４０度に係る補正係数Ｈ_４０」と称する）を取得する。
そして、角度補正部２は、左右方向３０度に係る輝度の補正係数Ｈ_３０と、左右方向４０度に係る補正係数Ｈ_４０との間で線形補間を行うことで、左右方向３５度に係る補正係数Ｈ_３５を算出する。

ここでは、上下方向の角度は、２次元ルックアップテーブル２ａに記録されている角度であるが、左右方向の角度が２次元ルックアップテーブル２ａに記録されていない角度である例を示したが、左右方向の角度は、２次元ルックアップテーブル２ａに記録されている角度であるが、上下方向の角度が２次元ルックアップテーブル２ａに記録されていない角度であっても、同様に線形補間を行うことで補正係数Ｈを算出することができる。
また、左右方向の角度及び上下方向の角度の双方が、２次元ルックアップテーブル２ａに記録されていない角度であっても、同様に線形補間を行うことで補正係数Ｈを算出することができる。

なお、補正係数Ｈの補間方法は、線形補間に限るものではなく、例えば、スプライン補間やバイキュービック補間などでもよい。
また、２次元ルックアップテーブル２ａに記録されている角度の刻みが１０度である例を示したが、角度の刻みが１０度に限るものではなく、例えば、５度や２０度などでもよい。

角度補正部２は、上記のようにして補正係数Ｈを算出すると、その補正係数Ｈを特徴量抽出部１により抽出された特徴量Ｄに乗算することで、その特徴量Ｄに対する角度補正を行い、角度補正後の特徴量Ｄ_Ｈを環境補正部３に出力する。
ここでは、特徴量抽出部１により抽出された特徴量Ｄ（例えば、ディスプレイ６の中心エリアの平均ＲＧＢ値）に対する補正係数Ｈが２次元ルックアップテーブル２ａに記録されており、２次元ルックアップテーブル２ａから角度θに対応する補正係数Ｈを取得して、その補正係数Ｈを特徴量Ｄに乗算するものを示したが、その平均ＲＧＢ値に対する補正係数Ｈではなく、その平均ＲＧＢ値におけるＲ値に対する補正係数Ｈと、Ｇ値に対する補正係数Ｈと、Ｂ値に対する補正係数Ｈとが別々に２次元ルックアップテーブル２ａに記録されている場合、２次元ルックアップテーブル２ａから角度θに対応するＲ値に対する補正係数Ｈと、Ｇ値に対する補正係数Ｈと、Ｂ値に対する補正係数Ｈとを取得して、Ｒ値に対する補正係数Ｈと、Ｇ値に対する補正係数Ｈと、Ｂ値に対する補正係数ＨとをＲＧＢ値におけるＲ値、Ｇ値、Ｂ値にそれぞれ乗算するようにしてもよい。

環境補正部３は、ディスプレイ６に対して光が差し込んでいる環境下であるか否かを判断する（ステップＳＴ５）。
ディスプレイ６に対して光が差し込んでいる環境下であるか否かの判断は、ユーザが判断して、その判断結果を環境補正部３に与えるようにしてもよいが、例えば、環境補正部３がカメラ７から出力されるホワイトバランス係数Ｒ／Ｇ，Ｂ／Ｇに基づいて判断するようにしてもよい。
あるいは、ディスプレイ６の設置場所が、例えば、屋内の窓際であり、或る時間帯では外光が差し込むことが事前に分かっていれば、クロックの時刻情報を参照して、光が差し込んでいるか否かを判断するようにしてもよい。

環境補正部３は、ディスプレイ６に対して光が差し込んでいる環境下である場合、例えば、カメラ７から出力されるホワイトバランス係数Ｒ／Ｇ，Ｂ／Ｇを参照して、ディスプレイに差し込んでいる光が昼光であるのか、夕陽であるのかを判別する（ステップＳＴ６）。
即ち、環境補正部３は、Ｂ／ＧがＲ／Ｇより大きければ、ディスプレイ６に差し込んでいる光が昼光であると判別し、Ｂ／ＧがＲ／Ｇより小さければ、ディスプレイ６に差し込んでいる光が夕陽であると判別する。
ここでは、カメラ７から出力されるホワイトバランス係数Ｒ／Ｇ，Ｂ／Ｇを参照して、ディスプレイ６に差し込んでいる光が昼光であるのか、夕陽であるのかを判別する例を示したが、例えば、クロックの時刻情報が１２時から１５時であれば昼光、１５時から１８時であれば夕陽であると判別するようにしてもよい。

ディスプレイ６に対して光が差し込んでいる環境下では、カメラ７によるディスプレイ６の撮影映像のコントラストが低下し、色度変化も起きているので、光が差し込んでいない環境下で撮影された場合と同じ輝度及び色度を再現するために、環境補正部３が角度補正部２による角度補正後の特徴量Ｄ_Ｈに対する輝度補正又は色度補正を行い、補正後の特徴量Ｄ_ＨＨを色補正パラメータ算出部４に出力する。
具体的には、環境補正部３は、ディスプレイ６に対して光が差し込んでいる環境下であり、ディスプレイ６に差し込んでいる光が昼光である場合、色度の影響よりも輝度への影響が大きいため、角度補正部２による角度補正後の特徴量Ｄ_Ｈに対する逆コントラスト補正を行う（ステップＳＴ７）。
ディスプレイ６に差し込んでいる光が夕陽である場合は、色度が大きく変化しているため、角度補正部２による角度補正後の特徴量Ｄ_Ｈに対する逆色補正を行う（ステップＳＴ８）。

なお、角度補正部２による角度補正後の特徴量Ｄ_ＨはＲＧＢ値であるため、環境補正部３が、角度補正後の特徴量Ｄ_Ｈに対する逆コントラスト補正又は逆色補正を行う際には、例えば、特徴量Ｄ_ＨであるＲＧＢ値をＹＣｂＣｒに変換する。Ｙは輝度信号、Ｃｂ，Ｃｒは色度信号である。
環境補正部３が逆コントラスト補正を行う場合、黒浮きする分（ディスプレイ６に光が差し込んでいない状態で撮影された黒色と、ディスプレイ６に光が差し込んでいる状態で撮影された黒色との差分）をオフセット値として、輝度信号Ｙからオフセット値を減算することで逆コントラスト補正を行う。ここでは、逆コントラスト補正後の輝度信号ＹをＹ２とする。

あるいは、色補正部５に入力される画像の輝度の階調毎に、オフセット値をルックアップテーブルに記録し、輝度信号Ｙから輝度の階調に対応するオフセット値を減算することで逆コントラスト補正を行うようにしてもよい。
あるいは、オフセット値の代わりに、所定のコントラスト補正係数を保持し、そのコントラスト補正係数を輝度信号Ｙに乗算することで逆コントラスト補正を行うようにしてもよい。
あるいは、色補正部５に入力される画像の輝度の階調毎に、コントラスト補正係数をルックアップテーブルに記録し、輝度の階調に対応するコントラスト補正係数を輝度信号Ｙに乗算することで逆コントラスト補正を行うようにしてもよい。
また、オフセット値の減算とコントラスト補正係数の乗算を組み合わせてもよい。
また、オフセット値又はコントラスト補正係数は、画像の中から基準となる黒領域の平均ＲＧＢ値を求め、その平均ＲＧＢ値を輝度信号Ｙに変換した値としてもよい。また、ユーザによる設定パラメータとしてもよい。

なお、環境補正部３が逆色補正を行う場合、その逆色補正が、例えば、光源によるホワイトバランス（ＷＢ）の逆補正であってもよい。
即ち、下記の式（１）に示すように、ＹＣｂＣｒに変換している特徴量Ｄ_Ｈの色度信号Ｃｂ，ＣｒからＷＢの補正値Ｃｂ＿ｗｂ，Ｃｒ＿ｗｂを減算することで、逆色補正を行う。Ｃｂ２，Ｃｒ２は補正後の色度信号である。

環境補正部３は、補正後の特徴量Ｄ_ＨＨとして、Ｙ２，Ｃｂ２，Ｃｒ２を色補正パラメータ算出部４に出力する。
なお、ＷＢの補正値Ｃｂ＿ｗｂ，Ｃｒ＿ｗｂは、カメラ画像の白色領域の平均ＲＧＢ値をＹＣｂＣｒに変換して求めてもよい。または、ユーザによる設定パラメータとしてもよい。
また、ＷＢ補正値は、色補正部５に入力される画像の輝度の階調毎にルックアップテーブルに記録し、輝度の階調に対応するＷＢ補正値を用いて、ＷＢの逆補正を行うようにしてもよい。
この実施の形態１では、ディスプレイ６に差し込む光が太陽光である例を示したが、ディスプレイ６に差し込む光が蛍光灯などの人工光源であってもよい。

色補正パラメータ算出部４は、環境補正部３から補正後の特徴量Ｄ_ＨＨを受けると、補正後の特徴量Ｄ_ＨＨ（環境補正部３で補正が行われない場合には、角度補正部２から出力された補正後の特徴量Ｄ_Ｈ）と特定色（特徴量抽出部１によってディスプレイ６に表示されている評価画像Ｐｖが表している色）に基づいて、色補正用のパラメータＫ１〜Ｋ４を算出する（ステップＳＴ９）。
例えば、ディスプレイ６が複数台設置されている場合、特徴量抽出部１、角度補正部２及び環境補正部３の各処理がディスプレイ６毎に行われ、複数のディスプレイ６に係る補正後の特徴量Ｄ_ＨＨ（Ｙ２，Ｃｂ２，Ｃｒ２）が色補正パラメータ算出部４に入力される。
色補正パラメータ算出部４は、複数のディスプレイ６に係る補正後の特徴量Ｄ_ＨＨと特定色に基づいて、複数のディスプレイ６の色再現特性を合わせるための色補正用のパラメータＫ１〜Ｋ４を算出する。

具体的には、以下のようにして、色補正用のパラメータＫ１〜Ｋ４を算出する。
上述したように、色補正装置には、予め、目標とする色再現特性（例えば、ＮＴＳＣ：ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅ）が設定されているので、色補正パラメータ算出部４が、目標とする色再現特性における特定色の色度Ｃｂ，Ｃｒを目標として、ＣｂＣｒ平面において、その特定色に係る補正後の特徴量Ｄ_ＨＨである補正後の色度信号Ｃｂ２，Ｃｒ２と、目標の色度Ｃｂ，Ｃｒとの色相差及び彩度の割合を求める。
色補正パラメータ算出部４は、色相差及び彩度の割合を求めると、その色相差から２×２の回転行列を求める。この回転行列は、ＣｂＣｒ平面において、その色相差を０にするために必要な回転を示す行列である。
そして、色補正パラメータ算出部４は、先に求めた彩度の割合を彩度係数Ｋｃとして、２×２の回転行列に乗算することで、色補正用のパラメータＫ１〜Ｋ４を算出する。

色補正部５は、色補正パラメータ算出部４が色補正用のパラメータＫ１〜Ｋ４を算出すると、下記の式（２）に示すように、色補正用のパラメータＫ１〜Ｋ４を用いて、ディスプレイ６に表示される画像の色補正を行う（ステップＳＴ１０）。

式（２）において、Ｃｂ，Ｃｒは補正前の色度であり、Ｃｂ２，Ｃｒ２は補正後の色度である。

なお、色補正部５の色補正方法は、例えば、複数の特定色を中心に色補正可能な方式である特定色補正方式を適用するものである。
即ち、特徴量抽出部１が、特定色が異なる評価画像Ｐｖを順番にディスプレイ６に表示することで、複数の特定色に係る補正後の特徴量Ｄ_ＨＨと色補正用のパラメータＫ１〜Ｋ４を算出して、色補正部５が複数の特定色を中心に色補正を行うものである。
複数の特定色の間の色については、例えば、特定色１と特定色２で求め２二つの行列演算係数の補間により求める。
補間方法としては、例えば、線形補間、スプライン補間、キュービック補間などが考えられる。

ここでは、２×２の行列演算による色補正方法を示したが、色補正方法は、これに限るものではなく、特徴量抽出部１と関連付けされていれば、いかなる方法でもよい。
また、ここでは目標の色空間をＮＴＳＣで説明したが、これに限るものではなく、例えば、Ａｄｏｂｅ（登録商標）の色空間でもよい。また、複数のディスプレイ６の色再現特域の共通領域や最小領域など、実機の色再現特性を目標としてもよい。
特徴量抽出部１が表示する評価画像Ｐｖは、例えば、黒〜Ｒ〜白に向かう階調で説明したが、これに限るものではなく、色補正方法との対応が取れていれば、どのような色でもよい。

以上で明らかなように、この実施の形態１によれば、特定色が表されている評価画像Ｐｖをディスプレイ６に表示し、そのディスプレイ６の表示画像である評価画像Ｐｖを撮影しているカメラ７の撮影映像から評価画像Ｐｖの特徴量Ｄを抽出する特徴量抽出部１と、そのディスプレイ６に対するカメラ７の角度θに応じて、特徴量抽出部１により抽出された特徴量Ｄに対する角度補正を行う角度補正部２と、そのディスプレイ６に対して光が差し込んでいる環境下であれば、角度補正部２による補正後の特徴量Ｄ_Ｈに対する輝度補正又は色度補正を行う環境補正部３と、環境補正部３による補正後の特徴量Ｄ_ＨＨと特定色に基づいて、色補正用のパラメータＫ１〜Ｋ４を算出する色補正パラメータ算出部４とを設け、色補正部５が色補正パラメータ算出部４により算出された色補正用のパラメータＫ１〜Ｋ４にしたがってディスプレイ６に表示される画像の色補正を行うように構成したので、外光がディスプレイ６に差し込む環境下でも、精度が高い色補正を行うことができる効果を奏する。
即ち、ディスプレイ６に対するカメラ７の角度θに応じた補正だけでなく、ディスプレイ６に対して光が差し込んでいる環境下でのコントラストの低下や色度の変化を補正するため、ディスプレイ６に対して光が差し込んでいる環境下でも、精度が高い色補正を行うことができる効果を奏する。

実施の形態２．
上記実施の形態１では、角度補正部２が特徴量抽出部１により抽出された特徴量Ｄに対する角度補正を行ってから、環境補正部３が角度補正部２による補正後の特徴量Ｄ_Ｈに対する輝度補正又は色度補正を行うものを示したが、図４に示すように、環境補正部３が特徴量抽出部１により抽出された特徴量Ｄに対する輝度補正又は色度補正を行ってから、角度補正部２が環境補正部３による補正後の特徴量Ｄ_Ｈに対する角度補正を行うようにしてもよく、上記実施の形態１と同様の効果を奏する。

実施の形態３．
上記実施の形態１，２では、角度補正部２が、色補正部５により色補正が行われる画像（ディスプレイ６に表示される画像）の階調に依存していない補正係数Ｈを特徴量Ｄに乗算することで、その特徴量Ｄに対する角度補正を行うものを示したが、角度補正部２が、色補正部５により色補正が行われる画像の階調に対応する補正係数Ｈを特徴量Ｄに乗算することで、その特徴量Ｄに対する角度補正を行うようにしてもよい。

具体的には、以下のようにして、特徴量Ｄに対する角度補正を行う。
まず、角度補正部２は、予め、色補正部５により色補正が行われる画像の階調に対応する係数（以下、「階調係数」と称する）を記録している階調係数テーブルを保持している。
角度補正部２は、ディスプレイ６に対するカメラ７の角度θを示す角度情報を入力すると、上記実施の形態１と同様に、２次元ルックアップテーブル２ａから当該角度情報が示す角度θに対応する補正係数Ｈを取得する。
このとき、角度θに対応する補正係数Ｈが２次元ルックアップテーブル２ａに記録されていない場合には、上記実施の形態１と同様に、線形補間を行うことで、角度θに対応する補正係数Ｈを算出する。

次に、角度補正部２は、特徴量抽出部１により抽出された特徴量Ｄ（上記実施の形態２に適用する場合、環境補正部３による補正後の特徴量Ｄ_Ｈ）をＹＣｂＣｒに変換する。
角度補正部２は、その特徴量ＤをＹＣｂＣｒに変換すると、階調係数テーブルから当該ＹＣｂＣｒにおける輝度Ｙに対応する階調係数を取得する。輝度Ｙに対応する階調係数が階調係数テーブルに記録されていない場合には、線形補間など行うことで、輝度Ｙに対応する階調係数を算出する。

角度補正部２は、輝度Ｙに対応する階調係数を取得すると、その階調係数を角度θに対応する補正係数Ｈに乗算し、階調係数乗算後の補正係数Ｈを特徴量Ｄに乗算することで、その特徴量Ｄに対する角度補正を行う。
これにより、角度補正部２から角度補正後の特徴量Ｄ_Ｈが環境補正部３に出力されるが、角度補正部２において、特徴量ＤをＹＣｂＣｒに変換しているので、環境補正部３が角度補正後の特徴量Ｄ_ＨをＹＣｂＣｒに変換する必要はない。

以上で明らかなように、この実施の形態２によれば、角度補正部２が、色補正部５により色補正が行われる画像の階調に対応する補正係数Ｈを特徴量Ｄに乗算することで、その特徴量Ｄに対する角度補正を行うように構成しているので、ディスプレイ６に表示される画像の階調が異なる場合でも、精度が高い色補正を行うことができる効果を奏する。

実施の形態４．
図５はこの発明の実施の形態４による色補正装置が適用される色補正システムを示す構成図である。
メディアプロセッサ１１は特定色が表されている評価画像Ｐｖをディスプレイ６に表示するとともに、その評価画像Ｐｖをカメラ基板１２に出力する処理などを実施する。
また、メディアプロセッサ１１はカメラ基板１２から色補正用のパラメータＫ１〜Ｋ４を受けると、上記実施の形態１〜３における色補正部５と同様に、色補正用のパラメータＫ１〜Ｋ４にしたがって表示画像（例えば、広告などの画像）の色補正を行い、色補正後の表示画像をディスプレイ６に表示する処理を実施する。

カメラ基板１２はカメラ７の他に、コントローラ１３及びＣＰＵ１４を実装しており、上記実施の形態１〜３における特徴量抽出部１、角度補正部２、環境補正部３及び色補正パラメータ算出部４と同様の処理を実施するとともに、所定の補正処理を実施する。
例えば、カメラ７が魚眼レンズを用いる場合、魚眼レンズの歪み補正を行う。また、暗い環境で撮影される場合には、ワイドダイナミックレンジ補正などを行う。

コントローラ１３はメディアプロセッサ１１から評価画像Ｐｖを受けると、その評価画像ＰｖをＣＰＵ１４に出力するとともに、カメラ７の撮影映像をＣＰＵ１４に出力する。また、カメラ７の撮影映像に対する歪み補正やワイドダイナミックレンジ補正などを実施する場合、補正後の撮影映像をＣＰＵ１４に出力する。
ＣＰＵ１４は上記実施の形態１〜３の色補正装置における特徴量抽出部１、角度補正部２、環境補正部３及び色補正パラメータ算出部４と同様の処理を実施する処理部である。
ただし、メディアプロセッサ１１が評価画像Ｐｖをディスプレイ６に表示しているので、ＣＰＵ１４は特徴量抽出部１のように、その評価画像Ｐｖをディスプレイ６に表示する処理は行わない。

コントローラ１３は、ＣＰＵ１４が色補正用のパラメータＫ１〜Ｋ４を算出すると、色補正用のパラメータＫ１〜Ｋ４をメディアプロセッサ１１に出力する。
メディアプロセッサ１１は、コントローラ１３から色補正用のパラメータＫ１〜Ｋ４を受けると、上述したように、色補正用のパラメータＫ１〜Ｋ４にしたがって表示画像（例えば、広告などの画像）の色補正を行い、色補正後の表示画像をディスプレイ６に表示する。

この実施の形態４では、ＣＰＵ１４が、角度補正部２、環境補正部３及び色補正パラメータ算出部４の処理を実施するものを示したが、制御ＰＣをコントローラ１３に接続して、制御ＰＣが角度補正部２、環境補正部３及び色補正パラメータ算出部４の処理を実施するようにしてもよい。

実施の形態５．
図５はこの発明の実施の形態５による色補正装置が適用される色補正システムを示す構成図である。
上記実施の形態４では、メディアプロセッサ１１が、コントローラ１３から出力された色補正用のパラメータＫ１〜Ｋ４にしたがって表示画像の色補正を行うものを示したが、メディアプロセッサ１１が、コントローラ１３から出力された色補正用のパラメータＫ１〜Ｋ４をディスプレイ６に出力し、ディスプレイ６が、色補正用のパラメータＫ１〜Ｋ４にしたがって表示画像の色補正を行うようにしてもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１特徴量抽出部（特徴量抽出手段）、２角度補正部（角度補正手段）、２ａ２次元ルックアップテーブル、３環境補正部(環境補正手段)、４色補正パラメータ算出部（色補正手段）、５色補正部（色補正手段）、６ディスプレイ、７カメラ、１１メディアプロセッサ、１２カメラ基板、１３コントローラ、１４ＣＰＵ。

Claims

特定色が表されている評価画像をディスプレイに表示し、上記ディスプレイの表示画像である評価画像を撮影しているカメラの撮影映像から上記評価画像の特徴量を抽出する特徴量抽出手段と、上記ディスプレイに対する上記カメラの角度に応じて、上記特徴量抽出手段により抽出された特徴量に対する角度補正を行う角度補正手段と、上記カメラより出力されるホワイトバランス係数又はクロックの時刻情報から、上記ディスプレイに差し込んでいる光が昼光であるのか、夕陽であるのかを判別し、上記ディスプレイに差し込んでいる光が昼光であれば、上記角度補正手段による補正後の特徴量に対する逆コントラスト補正を行い、上記ディスプレイに差し込んでいる光が夕陽であれば、上記角度補正手段による補正後の特徴量に対する逆色補正を行う環境補正手段と、上記環境補正手段による補正後の特徴量と上記特定色に基づいて、上記ディスプレイに表示される画像の色補正を行う色補正手段とを備え、
上記角度補正手段は、上記ディスプレイに対する上記カメラの角度に対応しており、かつ、上記ディスプレイに表示される画像の階調に対応している補正係数を上記特徴量抽出手段により抽出された特徴量に乗算することで、上記特徴量に対する角度補正を行うことを特徴とする色補正装置。
特定色が表されている評価画像をディスプレイに表示し、上記ディスプレイの表示画像である評価画像を撮影しているカメラの撮影映像から上記評価画像の特徴量を抽出する特徴量抽出手段と、上記カメラより出力されるホワイトバランス係数又はクロックの時刻情報から、上記ディスプレイに差し込んでいる光が昼光であるのか、夕陽であるのかを判別し、上記ディスプレイに差し込んでいる光が昼光であれば、上記特徴量抽出手段により抽出された特徴量に対する逆コントラスト補正を行い、上記ディスプレイに差し込んでいる光が夕陽であれば、上記特徴量抽出手段により抽出された特徴量に対する逆色補正を行う環境補正手段と、上記ディスプレイに対する上記カメラの角度に応じて、上記環境補正手段による補正後の特徴量に対する角度補正を行う角度補正手段と、上記角度補正手段による補正後の特徴量と上記特定色に基づいて、上記ディスプレイに表示される画像の色補正を行う色補正手段とを備え、
上記角度補正手段は、上記ディスプレイに対する上記カメラの角度に対応しており、かつ、上記ディスプレイに表示される画像の階調に対応している補正係数を上記環境補正手段による補正後の特徴量に乗算することで、上記特徴量に対する角度補正を行うことを特徴とする色補正装置。
特徴量抽出手段が、特定色が表されている評価画像をディスプレイに表示し、上記ディスプレイの表示画像である評価画像を撮影しているカメラの撮影映像から上記評価画像の特徴量を抽出する特徴量抽出処理ステップと、角度補正手段が、上記ディスプレイに対する上記カメラの角度に応じて、上記特徴量抽出処理ステップで抽出された特徴量に対する角度補正を行う角度補正処理ステップと、環境補正手段が、上記カメラより出力されるホワイトバランス係数又はクロックの時刻情報から、上記ディスプレイに差し込んでいる光が昼光であるのか、夕陽であるのかを判別し、上記ディスプレイに差し込んでいる光が昼光であれば、上記角度補正処理ステップでの補正後の特徴量に対する逆コントラスト補正を行い、上記ディスプレイに差し込んでいる光が夕陽であれば、上記角度補正処理ステップでの補正後の特徴量に対する逆色補正を行う環境補正処理ステップと、色補正手段が、上記環境補正処理ステップでの補正後の特徴量と上記特定色に基づいて、上記ディスプレイに表示される画像の色補正を行う色補正処理ステップとを備え、
上記角度補正処理ステップでは、上記ディスプレイに対する上記カメラの角度に対応しており、かつ、上記ディスプレイに表示される画像の階調に対応している補正係数を上記特徴量抽出処理ステップで抽出された特徴量に乗算することで、上記特徴量に対する角度補正を行うことを特徴とする色補正方法。
特徴量抽出手段が、特定色が表されている評価画像をディスプレイに表示し、上記ディスプレイの表示画像である評価画像を撮影しているカメラの撮影映像から上記評価画像の特徴量を抽出する特徴量抽出処理ステップと、角度補正手段が、上記カメラより出力されるホワイトバランス係数又はクロックの時刻情報から、上記ディスプレイに差し込んでいる光が昼光であるのか、夕陽であるのかを判別し、上記ディスプレイに差し込んでいる光が昼光であれば、上記特徴量抽出処理ステップで抽出された特徴量に対する逆コントラスト補正を行い、上記ディスプレイに差し込んでいる光が夕陽であれば、上記特徴量抽出処理ステップで抽出された特徴量に対する逆色補正を行う環境補正処理ステップと、角度補正手段が、上記ディスプレイに対する上記カメラの角度に応じて、上記環境補正処理ステップでの補正後の特徴量に対する角度補正を行う角度補正処理ステップと、色補正手段が、上記角度補正処理ステップでの補正後の特徴量と上記特定色に基づいて、上記ディスプレイに表示される画像の色補正を行う色補正処理ステップとを備え、
上記角度補正処理ステップでは、上記ディスプレイに対する上記カメラの角度に対応しており、かつ、上記ディスプレイに表示される画像の階調に対応している補正係数を上記環境補正処理ステップでの補正後の特徴量に乗算することで、上記特徴量に対する角度補正を行うことを特徴とする色補正方法。