WO2005057941A1

WO2005057941A1 - プロジェクタの色補正方法

Info

Publication number: WO2005057941A1
Application number: PCT/JP2004/017287
Authority: WO
Inventors: Masato Tsukada
Original assignee: Nec Corporation
Priority date: 2003-12-10
Filing date: 2004-11-19
Publication date: 2005-06-23
Also published as: US20070110304A1; TWI279735B; EP1696679A4; TW200530947A; US7822269B2; KR100873231B1; KR20060099538A; CN1890987A; EP1696679A1; CN100596206C; JPWO2005057941A1; JP4120841B2; EP1696679B1

Abstract

　投影面の色や模様、周辺環境光により投影面が均一でない場合、プロジェクタで投影される再現画像が所望の色の見えとなるようにする。対応付け部（２１）、対応関係記憶メモリ２２、色情報獲得部（２３）、色変換計算部（２３）、色変換記憶メモリ（２５）及び色補正部（２６）を備える色補正装置を用いる。対応付け部（２１）は、画像（５）を投影面（２）に投影し撮影した撮影画像（７）を取得し、画像（５）の画素と撮影画像（７）の画素との間の対応付けを行う。対応関係記憶メモリ（２２）は、対応付けを記録する。色情報獲得部（２３）は、撮影画像の画素毎の色情報としての第２色情報を獲得する。色変換計算部（２３）は、第１色情報と第２色情報と対応付けとに基づいて、画像の画素毎に色変換を計算する。色変換記憶メモリ（２５）は、色変換を記録する。色補正部（２６）は、入力画像の画素毎に色変換を用いて色補正する。

Description

明細書

プロジェクタの色補正方法

技術分野

[0001] 本発明はプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジェクタに関し、特に色再現の精度を向上させたプロジヱクタの色補正装置、プロジヱクタの色補正方法、およびそれらを適用したプロジェクタに関する。

背景技術

[0002] 画像をスクリーンのような投影面に投影する際にはプロジェクタが使用される。このようなプロジェクタを使用する際において、投影面上の画像の色を、画像データに記録された色と正確に一致するように補正するプロジェクタの色補正方法が知られて!/ヽる。

[0003] 例えば、特開 2001— 320725号公報には、プロジェクタの色補正を行う環境適応型の画像処理方法の技術が開示されている。この技術は、視環境に適応して画像の色を補正するものである。そしてこの技術は、視環境を把握する工程と、把握された視環境を所定の色空間における座標値に変換する工程と、所定の基準環境における所定の色の所定の色空間における座標値と、変換された座標値と、変換された座標値の補色対となる座標値とに基づいて表示用の入出力データを補正する補正ェ程と、補正された入出力データに基づいて画像を表示する工程とを含む。

[0004] この色補正方法では、プロジェクタの環境情報を反映した座標値と補色対となる座標値に基づき、画像表示手段が用いる表示用の入出力特性データを補正することにより、表示時の環境に適応した色再現を実現しょうとするものである。具体的な色再現方法は、白色画像の投影面力も得られる色情報 (RGBや XYZなど）を色センサで入手し、その得られた白色画像の色情報を、あらかじめ設定されている基準の白色でのもとの CIELABの色空間にマッピングする。このとき、その白色が L軸上に乗っていない場合、その白色の ab平面上での L軸力も束縛ベクトルを計算し、 L軸からその逆ベクトルの位置に相当する色、すなわち補色を得て、これを補正色として出力する。実際には、この処理を白色以外の複数階調の無彩色に対して行い、これをガンマ補正 LUTに格納する形式で実現する。

[0005] このような従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である投影面の色が均一であることを前提としている。そのため、投影面の色が均一でない場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面の色情報を獲得するが、投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な色に対応した一種類の色補正処理しか施されな!/ヽためである。

[0006] カロえて、従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である投影面が模様がないことを前提としている。そのため、投影面に模様が存在する場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面の色情報を獲得するが、投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な色に対応した一種類の色補正処理しか施されな、ためである。

[0007] 更に、従来のプロジェクタの色補正方法は、プロジェクタの色再現に影響を与える要因である環境光が投影面に均一に当たって、ることを前提として、る。そのため、環境光が投影面に均一に当たっていない場合には、より正確な色補正は実現できない。その理由は、従来の色補正法では、投影面における環境光の色情報を獲得する力投影画像の画素レベルに対応する詳細な色情報の獲得を行っておらず、投影面の平均的な環境光に対応した一種類の色補正処理し力施されないためである。

[0008] プロジェクタの色再現の精度を向上することができる技術が望まれる。プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できる技術が望まれる。プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現できる技術が求められる。プロジェクタの投影面に環境光が均一に当たって、な、状況であっても、安定な色再現を実現できる技術が求められる。

[0009] 関連する技術として、特開 2000— 316170号公報には、色ムラ補正方法の技術が開示されている。この技術は、表示装置の画像生成部で生成されたカラー画像が表示される光学表示面における表示色の色ムラ補正方法である。基準色画像データを画像生成部に入力して基準色画像を表示させる光学表示面を複数の三角形領域に区画する。それぞれの三角形領域の 3つの頂点に位置する基準画素での色座標を測定する。それと共に、基準画素での輝度補正量を決定する。それぞれの三角形領域の 3つの基準画素での輝度補正量に基づいて、それぞれの三角形領域内の各画素での輝度補正量を所定の関数に従って求める。画像生成部に入力されるそれぞれの三角形領域内の各画素に対応する色画像データに、輝度補正量に応じた補正を行う。

[0010] この技術は、表示画面の色ムラの補正の適正量を適切に決定し、表示画面の細部まで適切な補正を行うことを目的として!/、る。

[0011] 特開平 11-313346号公報には、投影映像検査装置の技術が開示されている。この技術は、スクリーン上に配置の光学センサによる光学量とスクリーン上の投影映像の撮像データにおける光学センサに位置対応する部分の光学量との比較に基づいて投影映像の絶対的な光学量を測定し、その測定結果を出力するように構成されている。

[0012] 特開 2002— 41016号公報には、環境適応型の画像表示システムの技術が開示されている。この技術の画像表示システムは、画像の被表示領域における視環境を示す環境情報に基づき、前記画像を補正して表示する画像表示システムである。記憶する手段と、

補正する補正手段とを含む。記憶する手段は、前記環境情報に基づき前記画像の明るさを補正するための明るさ補正用情報と、前記環境情報に基づき前記画像の色を補正するための色補正用情報とを記憶する。補正する補正手段は、前記環境情報、前記明るさ補正用情報および前記色補正用情報に基づき前記画像を表示するための画像情報をと補正する。

[0013] 特開 2002— 125125号公報には、環境適応型の画像表示システムの技術が開示されている。この技術の画像表示システムは、画像の被表示領域における視環境を示す環境情報に基づき、前記画像を補正して表示する画像表示システムである。前記環境情報に基づき、環境光の影響がある場合、少なくとも低階調域の出力を上げるように、前記画像を表示する手段が用いる表示用の入出力特性データを補正する補正手段を含む。 [0014] 特開 2003— 50572号公報〖こは、画像表示システムの技術が開示されている。この技術の画像表示システムは、使用環境に応じて階調補正を行って画像を表示する画像表示システムである。画像表示手段と、環境把握手段と、階調補正手段とを含む。画像表示手段は、キャリブレーション画像を表示する。環境把握手段は、当該画像表示手段の使用環境を把握して当該使用環境を示す使用環境情報を出力する。階調補正手段は、前記使用環境情報に基づき、前記階調補正を行う。画像表示手段は、同一色の異なる 2階調のキャリブレーション画像を表示するとともに、前記階調補正の行われた画像を表示する。前記環境把握手段は、各階調のキャリブレーション画像が表示された状態での 2種類の使用環境情報を出力する。前記階調補正手段は、理想環境下における前記 2階調のキャリブレーション画像を表示した場合に把握される環境を示す 2種類の理想環境情報の差異と、前記 2種類の使用環境情報の差異とに基づき、前記階調補正を行う。

発明の開示

[0015] 本発明の目的は、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。

[0016] 本発明の他の目的は、プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。

[0017] 本発明の更に他の目的は、プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現できるプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。

[0018] 本発明の別の目的は、プロジェクタ自身に色むらがある場合、この色むらの影響を軽減することが可能なプロジェクタの色補正装置、プロジェクタの色補正方法、およびそれらを適用したプロジェクタを提供することにある。

[0019] 以下に、発明を実施するための最良の形態で使用される番号'符号を用いて、課題を解決するための手段を説明する。これらの番号'符号は、特許請求の範囲の記載と発明を実施するための最良の形態との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号'符号を、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。

[0020] 上記課題を解決するために、本発明のプロジェクタの色補正方法は、予め設定された画像 (5)の第 1色情報 (XW1, YW1, ZW1)と、画像 (5)を投影面（2)に投影した画像（7)の第 2色情報（XW2, YW2, ZW2/X2, Y2, Z2)とに基づいて、画像（ 5)の画素又はブロック毎に色変換を生成する色変換生成ステップと、入力画像 (DI) の画素あるいはブロック毎に色変換を用いて色補正する色補正ステップとを備える。

[0021] 上記のプロジェクタの色補正方法にお!、て、色変換生成ステップは、ユーザインタ一フェース (48)を介して入力を受ける入力ステップと、入力に基づいて、色変換を生成する変換ステップとを備える。

[0022] 上記のプロジェクタの色補正方法にお!、て、色変換生成ステップは、投影面上の画像（7)の画素又はブロック毎の色情報としての第 2色情報 (XW2, YW2, ZW2)を獲得する色情報獲得ステップと、第 1色情報 (XW1, YW1, ZW1)と第 2色情報 (X W2, YW2, ZW2)とに基づいて、画像（5)の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える。

[0023] 上記のプロジェクタの色補正方法にぉ、て、色変換生成ステップは、画像 (5)を投影面（2)に投影して撮影した撮影画像 (7)を取得し、画像 (5)の画素又はブロックと撮影画像 (7)の画素又はブロックとの間の対応付けを行う対応付けステップと、撮影画像（7)の画素又はブロック毎の色情報としての第 2色情報 (XW2, YW2, ZW2)を獲得する色情報獲得ステップと、第 1色情報 (XW1, YW1, ZW1)と第 2色情報 (X W2, YW2, ZW2)と対応付けとに基づいて、画像（5)の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える。

[0024] 上記のプロジェクタの色補正方法にお!、て、色変換生成ステップは、パターン画像

(5)を投影面（2)に投影して撮影したパターン撮影画像 (7)を取得し、パターン画像 (5)の画素又はブロックとパターン撮影画像 (7)の画素又はブロックとの対応付けを行う対応付けステップと、カラー画像 (5c)を投影面 (2)に投影して撮影したカラー撮影画像 (7c)を取得し、カラー撮影画像 (7c)の画素又はブロック毎の色情報としての第 2色情報 (X2, Y2, Z2)を獲得する色情報獲得ステップと、第 1色情報 (XW1, Y Wl, ZW1)と第 2色情報 (X2, Y2, Ζ2)と対応付けとに基づいて、カラー画像（5)の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える。

[0025] 上記のプロジェクタの色補正方法にぉ、て、画像 (5)又はパターン画像 (5)を複数の画像で提示し、複数の画像と連動した撮影画像としての連動撮影画像を得て、連動撮影画像をスキャンすることで、画像 (5)又はパターン画像 (5)の画素又はブロックと撮影画像 (7)又はパターン撮影画像 (7)の画素又はブロックとの対応付けを行う

[0026] 上記のプロジェクタの色補正方法にお!、て、色変換生成ステップは、パターン画像

(5)を投影面（2)に投影して撮影したパターン撮影画像 (7)を取得し、パターン画像 (5)の特徴点とパターン撮影画像 (7)の特徴点との対応付けを行う特徴点対応付けステップと、カラー画像 (5c)を投影面 (2)に投影して撮影したカラー撮影画像 (7c) を取得し、カラー撮影画像 (7c)の特徴点の色情報としての第 2色情報 (X2, Y2, Z2 )を獲得する特徴点色情報獲得ステップと、予め設定された第 1色情報 (XW1, YW 1, ZW1)と第 2色情報 (X2, Y2, Z2)と対応付けとから、カラー画像 (5c)の特徴点の色変換を計算する特徴点色変換計算ステップと、入力画像の画素あるいはブロック毎の色変換を、特徴点の色変換を代表点の色変換から算出する色変換算出ステツプとを備える。

[0027] 上記のプロジェクタの色補正方法にぉ、て、色変換は、数式あるいはルックアップテーブルある、はその組み合わせで構成される。

[0028] 上記課題を解決するために本発明のプロジェクタの色補正装置は、色変換生成部

(27Z38)と、色補正部（26Z36)とを備える。色変換生成部（27/38)は、予め設定された第 1色情報 (XW1, YW1, ZW1)と、投影面 (2)に投影された撮影画像 (7) の第 2色情報（XW2, YW2, ZW2/X2, Y2, Z2)とに基づいて、画像（2)の画素又はブロック毎に色変換を生成する。色補正部（26Z36)は、入力画像の画素あるいはブロック毎に色変換を用、て色補正する。

[0029] 上記のプロジェクタの色補正装置にぉ、て、色変換生成部（27)は、ユーザインタ一フェース（38)を介した入力に基づ、て、色変換を生成する変換部を備える。

[0030] 上記のプロジェクタの色補正装置にぉ、て、色変換生成部（27)は、対応付け部（2 1)と、対応関係記憶メモリ (22)と、色情報獲得部 (23)と、色変換計算部 (23)と、色変換記憶メモリ (25)とを備える。対応付け部 (21)は、画像 (5)を投影面 (2)に投影して撮影した撮影画像 (7)を取得し、画像 (5)の画素又はブロックと撮影画像 (7)の画素又はブロックとの間の対応付けを行う。対応関係記憶メモリ（22)は、対応付けを記録する。色情報獲得部（23)は、撮影画像 (7)の画素又はブロック毎の色情報としての第 2色情報 (XW2, YW2, ZW2)を獲得する。色変換計算部（23)は、第 1色情報（XW1, YW1, ZW1)と第 2色情報（XW2, YW2, ZW2)と対応付けとに基づいて、画像（5)の画素あるいはブロック毎に色変換を計算する。色変換記憶メモリ（25) は、色変換を記録する。

[0031] 上記のプロジェクタの色補正装置において、色変換生成部（27)は、対応付け部（2 1)と、対応関係記憶メモリ (22)と、色情報獲得部 (23)と、色変換計算部 (23)と、色変換記憶メモリ（25)とを備える。対応付け部 (21)は、パターン画像 (5)を投影面 (2) に投影して撮影したパターン撮影画像 (7)を取得し、パターン画像 (5)の画素又はブロックとパターン撮影画像（7)の画素又はブロックとの対応付けを行う。対応関係記憶メモリ（22)は、対応付けを記録する。色情報獲得部（23)は、カラー画像 (5c)を投影面 (2)に投影して撮影したカラー撮影画像 (7c)を取得し、カラー撮影画像 (7c)の画素又はブロック毎の色情報としての第 2色情報 (X2, Y2, Z2)を獲得する。色変換計算部（23)は、第 1色情報 (XW1, YW1, ZW1)と第 2色情報 (X2, Y2, Z2)と対応付けとに基づいて、カラー画像（5c)の画素又はブロック毎に色変換を計算する。色変換記憶メモリは、色変換を記録する。

[0032] 上記のプロジェクタの色補正装置において、対応付け部（21)は、画像（5)又はパターン画像 (5)を複数の画像で提示し、複数の画像と連動した撮影画像としての連動撮影画像を得て、連動撮影画像をスキャンすることで、画像（5)又はパターン画像 (5)の画素又はブロックと撮影画像 (7)又はパターン撮影画像 (7)の画素又はブロックとの対応付けを行う。

[0033] 上記のプロジェクタの色補正装置にぉ、て、色変換生成部（38)は、特徴点対応付け部 (31)と、対応関係記憶メモリ (32)と、特徴点色情報獲得部 (33)と、特徴点色変換計算部 (33)と、色変換記憶メモリ (35)と、色変換算出部 (37)とを備える。特徴点対応付け部 (31)は、パターン画像 (5)を投影面 (2)に投影して撮影したパターン撮影画像 (7)を取得し、パターン画像 (5)の特徴点とパターン撮影画像 (7)の特徴点との対応付けを行う。対応関係記憶メモリ（32)は、対応付けを記録する。特徴点色情報獲得部 (33)は、カラー画像 (5c)を投影面 (2)に投影して撮影したカラー撮影画像 (7c)を取得し、カラー撮影画像 (7c)の特徴点の色情報としての第 2色情報（ X2, Y2, Z2)を獲得する。特徴点色変換計算部（23)は、予め設定された第 1色情報 (XW1, YW1, ZW1)と第 2色情報 (X2, Y2, Z2)と対応付けとから、カラー画像（ 5c)の特徴点の色変換を計算する。色変換記憶メモリ（35)は、特徴点の色変換を代表点の色変換として記録する。色変換算出部（37)は、入力画像の画素あるいはプロック毎の色変換を代表点の色変換から算出する。

[0034] 上記のプロジェクタの色補正装置にお!、て、色変換は、数式あるいはルックアップテーブルある、はその組み合わせで構成される。

[0035] 上記課題を解決するために本発明のプロジェクタは、画像データ (DI)の入力に基づ、て、色補正された画像データを出力する上記各項の、ずれか一項に記載のプロジェクタの色補正装置（12Z13)と、色補正された画像データを投影面 (2)に投影するプロジェクタ本体（10)とを備える。

[0036] 本発明により、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現することが可能となる。また、本発明により、プロジェクタの投影面に模様などがある状況であっても、安定な色再現を実現することが可能となる。カロえて、本発明により、プロジェクタの投影面に環境光が均一に当たってヽな、状況であっても、安定な色再現を実現することが可能となる。更に、本発明により、プロジェクタ自身に色むらがある場合、この色むらの影響を軽減することが可能となる。

図面の簡単な説明

[0037] [図 1]図 1は、プロジェクタにおける色再現の一例を示す概念図である。

[図 2]図 2は、本発明のプロジェクタの色補正装置の第 1の実施の形態の構成を示す図である。

[図 3]図 3は、パターン画像及びパターン撮影画像の座標位置を対応付けする方法を示す図である。 [図 4A]図 4Aは、パターン画像の例を示す図である。

[図 4B]図 4Bは、パターン画像の例を示す図である。

[図 4C]図 4Cは、パターン画像の例を示す図である。

[図 5]図 5は、パターン画像及びパターン撮影画像の例を示す図である。

[図 6]図 6は、パターン画像及びパターン撮影画像の特徴点の対応の例を示す図である。

[図 7]図 7は、特徴点以外の画素あるいはブロックの対応関係を求める方法を説明する図である。

[図 8]図 8は、本発明の第 1の実施形態のプロジェクタの色補正装置における動作を示すフローチャートである。

[図 9]図 9は、本発明の第 1の実施形態のプロジェクタの色補正装置における動作の変形例を示すフローチャートである。

[図 10]図 10は、本発明の第 2の実施形態のプロジェクタの色補正装置の構成を示す図である。

[図 11]図 11は、本発明の第 2の実施形態のプロジェクタの色補正装置における動作を示すフローチャートである。

[図 12]図 12は、グラフィカルユーザインターフェースの例を説明したものである。

[図 13]図 13は、色調整グラフィカルユーザインターフェースの例を説明した図である

発明を実施するための最良の形態

[0038] 以下、本発明のプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジクタの実施の形態に関して、添付図面を参照して説明する。

[0039] まず、プロジェクタの色再現について簡単に説明する。

[0040] 図 1は、プロジェクタにおける色再現の一例を示す概念図である。プロジェクタ 10から投影される色光 1は、投影面 2上の投影画像 6となる。そして、投影面 2で反射し、反射光 4となって人間の目に入射し、投影画像 6の色が認識される。ここで、「投影面」とは、スクリーンあるいは壁のようなプロジェクタ 10が画像を投影する面をいう。

[0041] ここで、視環境にぉヽて周辺光 3が存在する場合、投影画像 6の画像色は、プロジェクタ 10からの色光 1、投影面 2自体の色および周辺光 3の 3つの色情報が全て含まれた反射光 4によって決定される。この反射光 4の分光分布特性 Cr( λ )は次式（1) で表すことができる。

[0042] [数 1]

C_r (λ) = (C_p は） +E (λ) ) xR (λ) (1)

Cr(X):反射光 4の分光分布特性

Cp ( λ )：プロジェクタ 10からの色光 1の分光分布特性

Ε(λ)：観察環境における周辺光 3の分光分布特性

R ( λ )：投影面 2の表面反射率

λ：光の波長

投影面 2に当たる周辺光 3の分光分布特性 Ε ( λ )および投影面 2の表面反射率 R ( λ ) 1S プロジェクタ 10から投影される投影画像 6の領域内においていずれも均一である場合、色補正は一種類の色補正方法で対応できる。

[0043] 一方、プロジェクタ 10から投影される投影面 2上での投影画像 6の領域において、その投影面 2の表面反射率 R ( λ )や周辺光 3の分光分布特性 Ε ( λ )が均一でな!ヽ場合、投影画像 6の画像上での座標 (px, py)からの反射光 4の分光分布特性 Cr(p X, py, λ)は以下のように表すことができる。

[0044] [数 2]

Cr(px,py, λ )=(C_P( λ )+E(px,py, λ )) X R(px,py, λ ) (2)

R(px, py, λ):投影画像 6上の画像上での座標 (px, py)における投影面 2の表面反射率

E(px, py, l):J¾^(px, py)における周辺光 3の分光分布特性上式（2)に示されるように、プロジェクタ 10からの色光 lCp ( λ )が均一であったとしても、投影画像 6の画像上での座標 (px, py)における環境条件 (投影面 2の色および周辺光³)により R(px, py, λ)および E(px, py, λ )が均一でないため、 Cr(px, py, λ )が均一でなくなる。従って、プロジェクタ 10の色再現を実現する場合、この問題を考慮する必要がある。

[0045] そこで、本願発明では、プロジェクタ 10から投影される投影面 2上での投影画像 6 の領域にぉ、て、その投影面 2の表面反射率や周辺光 3の分光分布特性が均一でな、場合にも、投影画像 6を構成する画素単位又はあるブロック毎の色補正を行うことで、入力画像の色を忠実かつ安定的に再現することを可能にする。

[0046] (第 1の実施の形態）

以下、本発明の、本発明のプロジェクタの色補正装置、プロジェクタの色補正方法およびプロジェクタの第 1の実施の形態に関して、添付図面を参照して説明する。

[0047] まず、本発明の第 1の実施形態のプロジェクタの色補正装置の構成について説明する。

[0048] 図 2は、本発明の第 1の実施形態のプロジェクタの色補正装置の構成を示す図である。プロジェクタの色補正装置 12は、プロジェクタコントローラ 20と、色変換生成部 27 と色補正部 26とを備える。色変換生成部 27は、対応点計算部 21と、対応マップメモリ 22と、色変換構築部 23と、色情報メモリ 24と、色変換メモリ 25とを備える。

[0049] なお、プロジェクタ 10と色補正装置 12とは、一方が他方を含んでいても良い。その場合、装置を小型化できる。

[0050] プロジェクタコントローラ 20は、プロジェクタ 10の動作をコントロールする。カロえて、プロジェクタ 10の投影面 2の詳細な色情報を獲得するために、以下の動作を行う。

[0051] 対応点計算部 21から取得したパターン画像 5を投影面 2へ投影する。そして、カラ一イメージセンサ 11が投影面 2上のパターン画像 5を撮影した結果としてのパターン撮影画像 7を取得する。その後、パターン撮影画像 7を対応点計算部 21へ出力する οここで、パターン画像 5は、パターン撮影画像 7がプロジェクタ 10の投影領域全体を覆うことができるように作成されて!ヽるものとする。

[0052] パターン画像 5とパターン撮影画像 7との画素の対応関係 (後述)が得られたら、プロジェクタコントローラ 20は、色変換構築部 23から取得したカラー画像 5cを投影面 2 へ投影する。そして、カラーイメージセンサ 11が投影面 2上のカラー画像 5cを撮影した結果としてのカラー撮影画像 7cを取得する。その後、カラー撮影画像 7cを色変換構築部 23へ出力する。カラー画像 5cは、プロジェクタ 10の投影面 2上の色空間を得るために用いる。例えば、 W (白色）、 Wと BK (黒）、 Wと R (赤）と G (緑)と B (青）、及び、 Wと Rと Gと Bと Kの!、ずれかの色の組で構成されたカラー画像 5cである。

[0053] 対応点計算部 21は、パターン画像 5を発生させて、プロジェクタコントローラ 20へ出力する。ノターン画像 5を予め記憶部（図示されず）に格納し、それを用いても良い。また、対応点計算部 21は、プロジェクタコントローラ 20からパターン撮影画像 7を取得する。そして、パターン画像 5を構成する画素のパターン撮影画像 7上での対応する画素を計算し、その対応関係を求める。

[0054] 対応マップメモリ 22は、対応点計算部 21において得られたパターン画像 5とパターン撮影画像 7との画素の対応関係を示す対応関係データを格納する。その対応関係対応関係データは、投影される画像とその投影面上での画像との間の画素の対応関係を示している。

[0055] 色変換構築部 23は、カラー画像 5cを生成させて、プロジェクタコントローラ 20へ出力する。カラー画像 5cを予め記憶部（図示されず）に格納し、それを用いても良い。また、色変換構築部 23は、プロジェクタコントローラ 20からカラー撮影画像 7cを取得する。そして、対応マップメモリ 22に記録された対応関係データに基づき、投影画像を構成する各画素に対応するカラー撮影画像 7cの色情報を取り出し、色情報メモリ 2 4に記録する。そして、各画素について、後述する式（15)に示されたプロジェクタ 10 の投影面 2上における色空間を算出し、色変換の変換先の色空間を構築する。ここで、カラー画像が Wあるいは Wと BKとの場合には、 Wの投影面上の色情報力もプロジェクタの R、 G、 Bの投影面上の色情報を推定する。この推定方法としては、様様な色の投影面に W、 R、 G、 Bを投影し、 R、 G、 Bの色情報と Wの色情報との関係を回帰分析して得た回帰式を利用することで、 Wの色情報から R、 G、 Bの色情報が推定できる。そして、あらかじめ決められている変換元の色空間と、計算された変換先の色空間とから色の見えを一致させる色変換を、後述の色補正方法に従って構築し、これを色変換メモリ 25に記録する。

[0056] なお、色情報メモリ 24は、色補正装置 12において必ずしも必要なメモリではない。

すなわち、各画素に対応するカラー撮影画像の色情報を色情報メモリ 24に記憶せずに、色の見えを一致させる色変換として作成しても良い。

[0057] 色補正部 26は、入力された画像データ DIの各画素に対して色変換メモリ 25に記録された色変換による色補正を施す。補正後の画像は、プロジェクタコントロール 20 に送られ、プロジェクタで投影される。

[0058] (I)次に、投影される画像とその投影面上での画像との間の画素の対応関係を示す対応関係データを算出する方法について説明する。

[0059] 図 3は、カラーイメージセンサ 11を用いてパターン画像 5の座標位置と、パターン撮影画像 7の座標位置の対応付けを自動的に行う方法にっ、て説明する図である。まず、プロジェクタ 10によって投影面 2上に投影されたパターン画像 5の投影画像 6をカラーイメージセンサ 11によって撮影する。次に、投影面 2に投影されたパターン画像 5のパターン撮影画像 7を得る。そして、パターン画像 5と得られたパターン撮影画像 7とに基づいて、対応点計算部 21はパターン画像 5の座標位置とパターン撮影画像 7の座標位置との対応付けを行う。図では、パターン画像 5の座標位置 SOと、投影画像 6の座標位置 SAと、パターン撮影画像 7の座標位置 SBとが対応付けられる。

[0060] ここで、パターン画像 5について説明する。

[0061] 図 4A—図 4Cは、パターン画像 5の例を示す図である。パターン画像 5は、例えば、図 4Aに示す画像領域をカバーしたテクスチャー (格子)画像や、図 4Bに示す画像領域をカバーしたグラデーションや、図 4Cに示す画像領域をカバーした均一画像などが利用できる。なお、パターン画像 5は、パターン画像 5上の座標位置とパターン撮影画像 7上の座標位置との対応関係が得られればよぐ図 4A—図 4Cに限られるものではない。つまり、パターン画像 5は、様々なパターンを含むことが可能である。

[0062] パターン画像 5の座標位置とパターン撮影画像 7の座標位置との対応付けの求めやすさの点から、図 4Bに示したグラデーション画像のように、パターン画像の隣あう画素で、画素値に関してある関係を持たせた画像を使用すると、対応関係を計算しやすくより好ましい。また、図 4Aに示した格子画像では、パターン画像 5中の特徴点に対応するパターン撮影画像 7中の特徴点を検出しやすくより好ましい。すなわち、グラデーション画像や格子画像をパターン画像 5として利用することにより、画素ゃブロックの対応付け計算を精密に行うことができるため、対応付けの精度を向上させることができる。

[0063] 対応関係データの算出を行うには、まず、ノターン画像 5に特徴点を設定し、その特徴点に対応するパターン撮影画像 7の点を特定することで、両者の間の対応関係を求めることができる。具体的には以下のようにする。

[0064] 図 5は、パターン画像及びパターン撮影画像の例を示す図である。右側は、格子状のパターンを有するパターン画像 5である。 2本の線分の交点を特徴点と設定する。左側は、パターン撮影画像 7である。パターン画像 5の特徴点と対応する点を、左側に示すパターン撮影画像 7から全て検出する。

[0065] 図 6は、パターン画像及びパターン撮影画像の特徴点の対応の例を示す図である。右側は、図 5のパターン画像 5であり、その特徴点を黒丸印で示している。左側は、ノターン撮影画像 7であり、パターン画像 5の特徴点と対応する点を黒丸印で示している。矢印は、ノターン画像 5とパターン撮影画像 7との間で対応する特徴点との対応付けを図示している。

[0066] 特徴点の対応関係を得る方法としては、例えば、図 5のパターン画像 5の場合、パターン撮影画像 7から線成分を検出する。パターン撮影画像 7はカラーの濃淡画像であるため、線成分抽出用のオペレータを用いて線成分の抽出を行った後、 2値ィ匕処理を行う。ここで、線成分の検出および 2値ィ匕処理については、様々な方法が提案されており、本発明ではいずれの手法も利用可能である。例えば、参考文献「画像情報処理」（阿居院、中嶋著、基礎情報工学シリーズ、森北出版株式会社)の第 8章に記載の線分検出の方法や、第 9章に記載の 2値ィヒ処理の方法などが利用できるがこれに限られるものではな、。

[0067] 図 5に示されたパターン撮影画像 7のような投影された格子パターンのデータが得られたならば、 2つの線分が交差する交点を求め、パターン撮影画像 7上における特徴点の座標位置を決定する。パターン画像 5に均一画像やグラデーション画像が用いられた場合には、周りの 4頂点が特徴点になる。

[0068] なお、パターン画像 5を動画像などの複数枚の画像として提示 (投影）したり、あるいは、パターン画像 5中の特徴点あるいは特徴点の画素を順に提示し、それと同期してパターン撮影画像 7を動画像などの複数枚の画像として取得し、それをスキャンして特徴点に対応する点あるいは画素を探索することで、対応付けの処理を簡単化できる。

[0069] なお、パターン画像 5の座標位置と、パターン撮影画像 7の座標位置の対応付けを手動で行うことも可能である。ノターン画像 5を投影し、プロジェクタに搭載されているマウスによるポインタ指定機能を利用して、投影されたパターン画像 5上で特徴点を、例えば左上力右方向など指定された順番で指定してやれば、パターン画像 5における特徴点の座標位置の、投影面 2での座標位置を把握することができる。

[0070] ノターン画像 5の特徴点とパターン撮影画像 7の特徴点との対応関係を求めた後、それ以外の点の対応関係を求める。具体的には以下のようにする。

[0071] 図 7は、特徴点以外の画素あるいはブロックの対応関係を求める方法を説明する図である。まず、パターン画像 5とパターン撮影画像 7との間における特徴点の対応関係を決定する。パターン画像 5とパターン撮影画像 7との間において、特徴点の対応関係が得られた後、パターン画像 5を構成する画素あるいはブロックと、パターン撮影画像 7上の画素ある、はブロックとの対応を、パターン画像 5とパターン撮影画像 7との間における特徴点の対応関係から決定する。今、パターン画像 5中の任意の画素 Aに対応するパターン撮影画像 7中の画素 A'を計算することを考える。ここで、バターン画像 5中の Aの座標位置を (Xa, Ya)とし、これを囲む 3個の特徴点の座標位置を（PX1, PY1)、 (ΡΧ2, ΡΥ2)、（ΡΧ3, ΡΥ3)とする。これら 3点の特徴点の、パターン撮影画像における対応点を（ΡΧΙ ' , ΡΥΙ ' )ゝ (ΡΧ2' , ΡΥ2，）、 (ΡΧ3 ' , ΡΥ3， )とし、 Αに対応するパターン撮影画像上での Α，の座標を (PXa，， PYa，）とする。 A と A'の関係は以下の式で表される。

[0072] [数 3]

ここで、 Mは 2x2行列、 Nは 2x1行列である。行列 Mと行列 Nは、（PX1, PY1)、（Ρ Χ2, ΡΥ2)、 (ΡΧ3, ΡΥ3)と（ΡΧΙ ' , ΡΥΙ ' )ゝ (ΡΧ2' , ΡΥ2，）、 (ΡΧ3' , ΡΥ3，）の対応関係から、連立 1一次方程式により容易に計算できる。以上により、パターン画像 5中の任意の画素 Aに対応するパターン撮影画像 7中の画素 A'が計算できる。ここで、画素 Aの代わりにブロック Aとし、それに対応するブロック A'に拡張することも容易である。

[0073] 以上のプロセスにより、対応関係データを求めることができる。対応関係データは、対応マップメモリ 22に格納される。

[0074] なお、パターン画像 5におけるグラデーション画像などを右上力左方向、そして下方向へと、一画素ずつ提示 (投影)し、それと同期してパターン撮影画像 7を取得すれば、特徴点を介せずに画素あるいはブロックの対応付けの処理を簡単ィ匕できる。すなわち、提示されたパターン画像 5と同期して撮影されたパターン撮影画像 7を逐次スキャンすれば、両者の画素あるいはブロックの対応関係が得られる。

[0075] (Π)次に、色補正方法を行う方法について説明する。

[0076] 色補正を行うには、（i)まず、投影面 2の色と周辺光 3による影響を詳細に把握するために、パターン画像 5を構成する画素あるいはブロックについて、対応するパターン撮影画像 7上の画素あるいはブロックの色情報を獲得する。（ii)次に、この色情報力も色変換を構築する。（iii)そして、構築された色変換に基づいて、色補正を実施する。ここでは、パターン画像 5を構成する任意の一画素に対する色補正方法について説明する。

[0077] (i)本色補正方法における色情報を獲得する方法につ!、て説明する。

[0078] 色変換の変換先の白色情報を得るために、プロジェクタ 10にて白色画像 (信号） 5 wを投影し、投影面 2上における対応画素の反射光 4を観測する。具体的には、色特性が既知であるカラーイメージセンサ 11で撮影した白色撮影画像 7wにおける対応画素の色信号を得る。ここで色信号とは、例えば、 RGBなどである。そして、力ラーイメージセンサ 11の色特性と、カラーイメージセンサ 11が出力するヽゎゆるデバイス依存の色信号とに基づいて、その色信号をデバイスインディペンデントな色信号、すなわち、三刺激値 XYZなどに変換することができる。

[0079] なお、カラーイメージセンサ 11に一般に組み込まれて、るホワイトバランスの自動調整機能や 0補正機能などは、この場合使用せず、ある設定状態に固定されているものとする。したがって、上記のカラーイメージセンサの色特性は固定されている設定状態における色特性である。

[0080] より具体的には、以下のようにして変換先の白色情報を獲得する。

[0081] ガンマ補正が 1. 0に固定されているカラーイメージセンサ 11のデバイス依存の色信号 RGBを、デバイスインディペンデントカラーの XYZに変換するためには、例えば

、以下に示すような線形変換などが利用できる。

[0082] [数 4]

ここで、 Μは 3 X 3の RGB→XYZ変換行列であり、 ( α , β , γ )はブラックオフセット等の補正項である。カラーイメージセンサ 11の色特性となる Μや（ α , β , γ )を取得する方法としては、複数色のカラー画像 5cを撮影して得た色信号 RGBのセットと、分光光度計などを用いて得た撮影時のカラー画像の三刺激値 XYZのセットを入力とし、均等色空間 CIELABなどでの色差 Eabが最小となるような Mを、最小自乗法などで計算することができる。

[0083] なお、カラーイメージセンサ 11のデバイス依存の色信号 RGBからデバイスインディペンデントカラーの XYZへの変換は、一次色のみを考慮した線形変換である式 (4) に限らず、 RG, GB, RGBといった多次色についても考慮した 3 X n (nは 4以上）の R GB→XYZ変換行列を採用する手法や、代表として選ばれた RGBとその XYZをルツクアップテーブル（以下「LUT」と記す）に記述しておき、それ以外の色の XYZは、 L UTを利用した補間計算で求める手法などが利用できる。 LUTは、プロジェクタコントローラ 20に格納されている。またカラーイメージセンサ 11は、デバイスインディペンデントカラ一である三刺激値 XYZを直接出力するものであってもよい。

[0084] 上記の手法で得られた白色信号に対応する三刺激値 XYZを (XW2, YW2, ZW2 )と記述することとし、これを色変換の変換先の白色情報とする。このようにして変換先の白色情報（三刺激値 (XW2, YW2, ZW2) )を獲得する。

[0085] 次に、以下のようにして変換元の白色情報を獲得する。 [0086] 色変換の変換元でありデバイス依存カラーである白色情報および入力画像の任意の色と、それらの色に対応するデバイスインディペンデントカラーとの対応関係を、表示しようとする画像に設定されている色情報など力も獲得する。

[0087] 例えば、入力画像の RGBが、 International Electrotechnical Commission ( IEC)が規定する sRGB (IEC61966— 2— 1)の標準色空間として提供されている場合、その白色 (情報）は D65に設定されており、 RGBと XYZの対応関係も規定されて、る。 3;た、 International Color し onsortium (http:z Zwww. color, org^; a 定める ICCプロファイルが与えられて、る場合、その画像の詳細な色情報がプロファィルカ得られる。

[0088] 入力画像の RGBを三刺激値 XYZに変換する際、例えば、入力画像の RGBが sR GBの場合には、 IEC61966— 2— 1に記載の変換方法が利用できる。また、プロジェクタ 10において表示する画像の色情報が得られない場合を考慮し、あら力じめ画像の基準的な色情報を想定しておき、これを利用することも可能である。このようにして得られた色変換の変換元の白色情報である三刺激値 XYZを (XW1, YW1, ZW1) と記述することにする。このようにして変換元の白色情報（三刺激値 (XW1, YW1, Z W1) )を獲得する。

[0089] 上記の色情報を獲得する方法は、他の任意の色にも用いることができる。

[0090] (ii)次に、上記のように求めた色情報から色変換を構築する方法につ!、て説明する。

[0091] プロジェクタにおける色変換の変換元の色空間における白色情報の三刺激値 (X Wl, YW1, ZW1)と、変換先の色空間の白色情報である三刺激値 (XW2, YW2, ZW2)に基づいて、実際の色変換を構築する。この色変換は、変換元の色空間における任意の色を、色の見えを保持しながら変換先の色空間の色に変換するものである。ここでは、特許第 3072729号のカラーマッチング方法を基本的に用いた場合について説明する。

[0092] 変換元の色空間の白色の三刺激値 (XW1, YW1, ZW1)力ゝら色度 xyを計算する。

その色度力変換元の色空間における照明の仮想分光分布特性 II ( λ )を求める。同様に、変換先の色空間の白色の三刺激値 (XW2, YW2, ZW2)から色度を計算する。その色度から変換先の色空間における照明の仮想分光分布特性 12 ( λ )を求める。ここで、白色の三刺激値カゝら照明の仮想分光分布特性を得るのは、投影面が完全白色であるという仮定を導入することにより可能である。そのような方法として、例えば、本発明者による特開平 10— 229499号公報に記載の方法などを利用することができる。これらの白色の色度が、 CIE昼光が想定する相関色温度の範囲により決定される色度の範囲に存在しないのであれば、その旨をユーザに報告する。

[0093] ここで、三刺激値と仮想分光分布特性とから変換元の色空間の任意の色 Αの仮想表面反射率 R1 ( λ )を計算する方法につ!、て説明する。

[0094] 色 Αの RGBに対して、白色と同様の上記の手法 (i)で三刺激値 XYZとしての（XI, Yl, Z1)を計算する。色 Aの三刺激値 (XI, Yl, Z1)と、照明の仮想分光分布特性 I Κλ)とを用いて変換元の色空間における色 Αの仮想表面反射率 R1 ( λ ) を計算する。色 Αの三刺激値 (XI, Yl, Z1)と仮想表面反射率 Rl( )の関係は以下のように表される。

[0095] [数 5] 1

ただし、 χ(λ),γ(λ),ζ(λ) (文字の上のバーは省略）は、等色関数で既知である。 klは積分定数であり、以下の式で表される。

[0096] [数 6]

仮想表面反射率 R1 ( λ )を計算するために、仮想表面反射率 R1 ( λ )は、基底べクトルの加重和で近似できると、う仮定を導入し、以下に示す有限次元線形モデルで表されるものとする。 [0097] [数 7]

(7) ここで、 ri( λ ) (i=0— 3)は、多くの物体の表面反射率を集め、それを主成分分析して得られる基底ベクトルで、それぞれ平均、第一主成分ベクトル一第三主成分べクトルを表しており、すべて既知である。 ai (1=1-3)は、各基底ベクトルの重み係数で、物体の色を表現する未知特性パラメータとなる。

[0098] 式 (7)を式 (5)に代入すると、未知特性パラメータ aiに関する観測方程式が得られ、これを計算することができる。

[0099] [数 8]

V M{x,r₂) M ,r₃ 'X_x-M{x,r₀†

。₂ = M(y,n) M(y,r₂) M(y,r₃)

、 M(z,r₂) M(z，r₃) Z,— M(z，r₀)

[0100] [数 9]

M(x, η ) = kjl₁ ( ） . η ( ） . χ{λ)άλ

M {y, ） = A: ( ） · η (λ) · y{X)dk ( 9 )

Μ{ζ, n) = kj I, (λ) · η (λ) . ζ{λ)άλ ただし、 i=0— 3である。

[0101] 式 (8)で得られた ai(i=l— 3)を式（7)に代入することで、変換元の色空間における色 Aの仮想表面反射率 R1 ( λ )が得られる。

[0102] すなわち、変換元の色空間における任意の色について仮想表面反射率 R1 ( λ )を計算することが可能となる。

[0103] 変換元の色空間における完全白色が与えられた場合、その三刺激値は、変換元の色空間における照明の三刺激値 (XW1, YW1, ZW1)と一致する。変換元の色空間における照明の仮想分光分布特性 II ( λ )は、既に求められている。従って、仮想分光分布特性 Π(λ)と完全白色の三刺激値 (XW1, YW1, ZW1)とに基づいて、上述した計算の方法を用いることにより、変換元の色空間における完全白色の仮想表面反射率 RW1 ( λ )を計算することができる。

[0104] 次に、変換元における完全白色の三刺激値 (XW1, YW1, ZW1)を、変換先の色空間にお、て全く同じ三刺激値で再現することを考える。変換元の色空間における完全白色の三刺激値 (XW1, YW1, ZW1)と、変換先の色空間における照明の仮想分光分布特性 Ι2( λ )とに基づいて、上述した計算の方法を用いることにより、変換先の色空間における完全白色の仮想表面反射率 _RW2 ( % )を計算することができる

[0105] V、ま、完全白色に関して、 RW1 ( λ )と RW2 ( λ )の 2つの仮想表面反射率が得られており、 2つの色空間において完全白色の色の見えが一致して見える仮想表面反射率 RW3 ( λ )を以下の式で計算する。

[0106] [数 10]

^RW3 (^ ) = cxR_wl U ) + ( 1 - c ) xR_W2 (X) ( i o) ここで、 cは、観察者の色覚が不完全に順応した状態に対応する不完全色順応係数であり 0— 1. 0の実数である。

[0107] 次に、白色以外の色について説明する。まず、変換元の色空間における任意の色の仮想表面反射率 Rfl ( )を、白色の場合と同様に上述の方法により、その任意の色の三刺激値 (XI, Yl, Z1)と仮想分光分布特性 II ( λ )とに基づいて計算する。そして、その色の変換先の色空間における対応色の仮想表面反射率 Rf2( )は、以下の式で計算する。

[0108] [数 11]

R _{{ 2} (λ) =R _{{ 1} (λ ) x c c は）（1 1 ) ここで、 cc( λ )は、可視光領域における各波長の比係数である表面反射率順応係数であり、式（12)により RW1 ( λ )と RW3 ( λ )から計算する。

[0109] [数 12] c c U) = _W3 (λ) ZR_W1 ( ） (！ 2) 変換元の色空間における任意の入力色の変換先の色空間における対応色の三刺激値 (X2, Y2, Z2)は、以下の式で計算する。

[0110] [数 13]

X₁ = AJ J₂ (A) R_fl (λ) x (λ) άλ

Ζ₂ = k₂jl₂(A)R_f2 (λ)ζ(Λ)άλ ( 1 3 )

[0111] [数 14]

ここで、 k2は積分定数である。

[0112] 変換先の色空間における対応色の三刺激値 (X2, Y2, Z2)が求まることにより、変換先の色空間が構築されたことになる。

[0113] 変換先の色空間における色の三刺激値 (X2, Y2, Z2)は、たとえば式（15)に示すような線形変換などを利用して、プロジェクタのデバイス依存色である R2G2B2に変換する。

[0114] [数 15]

ここで、変換行列 Oはプロジェクタ 10の色特性であって、デバイスインディペンデントカラ一の三刺激値 XYZから、プロジェクタ 10のデバイス依存カラーである RGBへの変換行列である。 (1, m, n)はブラックオフセットを考慮するための補正項である。式（ 15)で得られる R2G2B2は、ガンマが 1. 0に設定されている状態での RGB値であり、プロジェクタがガンマ特性を有するのであれば、この R2G2B2にガンマ補正を施す。このようなプロセスにより、色変換を構築することができる。 [0115] 色補正部 26での補正は、入力画像の画像データ (XI, YI、 ΖΙ)を、式（15)の（Χ2, Υ2、 Ζ2)に入力し、式（15)の（R2, G2、 B2)を得ることである。

[0116] プロジェクタの基本原色が 4色光以上の場合につ、ても同様の手法でデバイスインディペンデントカラーとデバイス依存カラーの対応関係を式（15)のような線形式およびガンマ補正の形式で表現できる。以上の色変換処理を、パターン画像 5を構成する全ての画素あるいはブロックにつ、て施すことにより、投影面 2の色が均一でな!ヽ場合や、周辺光 3が均一でな、場合でも影響の受けな、プロジェクタの色再現が実現できる。

[0117] さらに、式（15)で表されるプロジェクタ 10の標準的な色特性が提供されていたとしても、プロジェクタのより高精度な色再現を実現するためには、投影面 2の色や周辺光 3による影響を考慮してプロジェクタ 10の色特性を更新することが望ましい。すなわち、プロジェクタ 10は、 W (白）の画像、あるいは、 R (赤）、 G (緑）、 B (青）、 Wの画像、あるいは、 R、 G、 B、 W、 Bk (黒)からなる画像を投影面 2へ投影する。カラーィメージセンサ 11は、投影面 2からの反射光 4を撮影し、上記式 (4)を用いて Wあるいは RGBWあるいは RGBWBkの各三刺激値 XYZを生成する。ここで、 Wのみ場合に、この Wの三刺激値 XYZから、 RGBに対応する三刺激値 XYZを推定することもできる。この推定方法としては、様様な色の投影面に W、 R、 G、 Bを投影し、 R、 G、 Bの色情報と Wの色情報との関係を回帰分析して得た回帰式を利用することで、 Wの色情報から R、 G、 Bの色情報が推定できる。

[0118] 式（15)の XYZ→RGB変換式は、 RGBWの各三刺激値 XYZから計算された各色の色度を用いて求めることができる (詳しくは、田島譲二著「カラー画像複製論カラ一マネジメントの基礎」（丸善、 1996)の第 3章「ディスプレイの色再現」を参照)。この場合、 (1, m, n)は（0, 0, 0)になる。 Bk (黒）をカ卩えた RGBWBkの各三刺激値 XYZ を用いることで、式（14)のブラックシフト (1, n, m)の項により、精度を高めることができる。

[0119] 式（15)を、上記の色補正方法と同様に、パターン画像 5を構成する全ての画素あるいはブロックにつ、て全て更新することで、さらに精度の高、プロジェクタの色再現が実現できる効果が得られる。 [0120] 変換元の色空間における任意の色を、色の見えを保持しながら変換先の色空間の色に補正する方法は、特許第 3072729号のカラーマッチング方法をプロジェクタに適用する場合について説明した力 von Kriesモデル， CIELAB, CIECAM97s, 納谷 97モデルなどの色順応モデルやカラーァピアランスモデルも用いることができる。すなわち、プロジェクタの色補正方法は、ひとつに固定する必要はなく複数のモデルを搭載しておき、ユーザの好みに応じて選択できるようにしておくこともできる。また、これらのモデルの中には、変換パラメータを調整したり、暗い、ほの暗い、通常照明など状態など観察環境の情報を指定することでさらに精度の高いカラーマッチングが実現できるものもある。たとえば、特許第 3072729号のカラーマッチング方法では不完全色順応係数 cである。そのようなモデルのために、パラメータの調整を行うユーザインターフェースを提供することで、より高精度なプロジェクタのカラーマッチングが実現できる。

[0121] ここで、プロジェクタの色補正は、カラーイメージセンサが無くても、手動で作成が可能である。例えば、投影面がチェック柄の場合、均一の色の画像を 1種類以上投影し、投影面のチェック柄のブロックを、プロジェクタに搭載されているマウスによるポインタ指定機能を利用して指定する。そして、プロジェクタコントローラ 20が、内部に格納された色補正プログラムに基づいて、指定されたブロックの色を対話的に変化させるグラフィカルユーザインターフェースを表示する。図 12は、グラフィカルユーザインタ一フェースの例を説明したものである。この図において、指定されたブロック 43に隣接するように標準白色板 42を設置する。そして、白色をプロジェクタ 10で投影し、チエック柄のブロック 43上の再現色と一致するように、標準白色板 42の色合わせブロック 44の色を、色調整 GUI48を用いて調整する。色調整 GUI48は、色相'彩度調整部 45、明度調整部 46を備える。丸い円は、赤、黄、緑、シアン、青、マジェンタなどの色相および彩度を調整する色相，彩度調整部 45である。円の中心は無彩色を表し、中心力も離れるにしたがって彩度が高くなる。すなわち、円の半径方向 T2に沿って彩度が変化する。また、色相は円周方向 T1に沿って滑らかに変化する。長方形は、明るさを調整する明度調整部 45である。上下方向 T3に沿って明度が変化する。操作点 55及び 56をポインティングデバイスで動力ゝして操作する。この 2つの調整インタ一フェースで色を調整することができる。なお、この色調整 GUI48は、色合わせブロック 44の色をユーザが意図するように変化させられれば良ぐ図 13の色調整 GUIのみに限られるものではない。同様に赤、緑、青を投影し、色合わせ実施する。この作業により、指定されたブロックの色合わせされた標準白色板上の白、赤、緑、青の RG Bデータが得られる。

[0122] 標準白色板に投影した時のプロジェクタの再現色は、式（15)の式で表される。この式をあら力じめ計算し、プロジェクタなどのメモリに保持しておくことが可能である。すなわち、標準白色板へ投影している色の RGBデータが得られれば、その三刺激値 X YZが得られることになる。標準白色板上に再現されている色は、投影面のチェック柄のブロックにおける再現色が一致していることから、標準白色板上に再現されている色力も計算される色情報を、投影面のチェック柄のブロックにおける再現色の色情報とすることができる。したがって、カラーイメージセンサを利用した上記の色補正方法における、投影面の色情報の取得部分を手動によるこの方法と置き換えることで色補正を構築することができる。

[0123] 上記色補正、すなわち、変換元のデバイス依存の入力色力ゝら三刺激値 XYZへ変換し、特許第 3072729号のカラーマッチング方法の場合、式 (4)から式（15)までを統合した計算式と係数、それに相当する近似式と係数、あるいは、変換先のデバイス依存の対応色をある代表色に対してルックアップテーブルに保存しておき、それ以外の色については、このルックアップテーブルに保存されている計算式と係数、近似式と係数、あるいは対応色を用いた補間計算を行うことによって対応色を計算してもよい。なお、プロジェクタの原色力色以上である場合でも、内挿法を拡張することでルックアップテーブルによる色補正を容易に実現できる。

[0124] また、上記色補正あるいは色変換 (ルックアップテーブル)を定期的あるいはあるタイミングで更新することにより、時間によるプロジェクタの色再現や周辺光の変動を抑え、より精度の高い色再現が実現できる。色変換を更新するタイミングの一例としては、動画像の場合には、カット点の検出と同時に色補正を更新することで、色補正を更新することによるちらつきなどの影響を抑えることができる。色補正の更新は、投影画面の一部に白色部分を投影しておくことで可能となる。カット点を利用した高画質ィ匕技術として、「シーンチェンジを考慮した適応的動画像自動高画質化」（2001年電子情報通信学会システムソサイエティ大会， D— 11 88, pp. 173)の方法が利用できる。あるいは、ユーザの指定によって色補正の更新が実行できるようにしておけば良い。

[0125] 次に、本発明の第 1の実施形態のプロジェクタの色補正装置における動作 (プロジェクタの色補正方法の実施の形態）について説明する。図 8は、本発明の第 1の実施形態のプロジェクタの色補正装置における動作 (プロジェクタの色補正方法の実施の形態）を示すフローチャートである。

[0126] まず、プロジェクタコントローラ 20は、プロジェクタ 10を用いて、対応点計算部 21から入力されたパターン画像 5を投影する。そして、投影面 2上でのパターン撮影画像 7を、カラーイメージセンサ 11を介して獲得する (ステップ S 1)。

[0127] 次に、対応点計算部 21は、上記 (I)の方法を用い、プロジェクタコントローラ 20の獲得したパターン撮影画像 7とパターン画像 5との間で、画素あるいは領域の対応関係を求める (ステップ S2)。そして、求めた対応関係を対応関係データとして対応マップメモリ 22に格納する。

[0128] 続いて、色変換構築部 23は、プロジェクタコントローラ 20へ Wあるいは W、 Bkあるいは R、 G、 B、 Wあるいは R、 G、 B、 W、 Bkのカラー画像 5cを出力し、プロジェクタ 10に投影させる。そして、カラーイメージセンサ 11で受光された投影面 2上でのカラー撮影画像 7cを、プロジェクタコントローラ 20から獲得する。色変換構築部 23は、対応マップメモリ 22に記録された対応関係データに基づき、上記 (Π)— (i)の方法を用い、投影領域の画素に対応するカラー撮影画像 7cの色情報を獲得する (ステップ S3)。カラー撮影画像 7cの色情報を色情報メモリ 24に記録する。

[0129] 色変換構築部 23は、投影領域の画素あるいはある領域毎にステップ S3で得た色情報に基づいて、上記 (Π)— (ii)の方法を用い、目的プロジェクタ色空間を構築する (ステップ S4)。

[0130] 色変換構築部 23は、投影領域の画素あるいはある領域毎に元プロジェクタ色空間と目的プロジェクタ色空間とに基づいて、上記 (Π)— (ii)の方法を用い、色の見えを一致させる色変換を構築する (ステップ S5)。色変換を色変換メモリ 25に記録する。 [0131] 色補正部 26は、入力画像に対して、ステップ S5の色変換による色補正を実施し色補正画像を出力する (ステップ S6)。

[0132] 本発明では、画像の画素又はブロックごとにレベルに色補正を行うことができる。それにより、プロジェクタの投影面の色が均一でない状況であっても、安定な色再現を実現できる。カロえて、プロジェクタの投影面に模様がある状況であっても、安定な色再現を実現することが可能となる。更に、プロジェクタの投影面に環境光が均一に当たっていない状況であっても、安定な色再現を実現することが可能となる。そして、プロジェクタの色再現の精度を向上することができる。

[0133] なお、第 1の実施の形態である色補正装置 12において、ステップ S1で投影するパターン画像 5の代わりにステップ S3で投影するカラー画像 5cを投影することも可能である。この場合の動作を示したのが図 9である。

[0134] 図 9は、本発明の第 1の実施形態のプロジェクタの色補正装置における動作 (プロジェクタの色補正方法の実施の形態）の変形例を示すフローチャートである。

[0135] まず、プロジェクタコントローラ 20は、プロジェクタ 10を用いて、対応点計算部 21から入力されたカラー画像 5cを投影する。カラー画像 5cは、 Wあるいは Wと BK、あるいは R、 G、 B、 W、あるいは R、 G、 B、 W、 Bkのカラー画像である。そして、投景面 2 上でのパターン撮影画像 7を、カラーイメージセンサ 11で獲得する (ステップ SI 1)。

[0136] 対応点計算部 21は、プロジェクタコントローラ 20の獲得したカラー撮影画像 7cと力ラー画像 5cとの間で、上記 (I)の方法を用い、画素あるいは領域の対応関係を求める (ステップ S12)。そして、求めた対応関係を対応関係データとして対応マップメモリ 22に格納する。

[0137] 続いて、色変換構築部 23は、対応マップメモリ 22に記録された対応関係データに基づき、上記 (Π)— (i)の方法を用い、投影領域の画素に対応するカラー撮影画像 7 cの色情報を獲得する (ステップ S13)。カラー撮影画像 7cの色情報を色情報メモリ 2 4に記録する。

[0138] ステップ S14からステップ S16は、ステップ S4からステップ S6と同じである。

[0139] (第 2の実施の形態）

次に、本発明の第 2の実施形態のプロジェクタの色補正装置について添付図面を参照して説明する。

[0140] まず、本発明の第 2の実施形態のプロジェクタの色補正装置の構成について添付図面を参照して説明する。図 10は、本発明の第 2の実施形態のプロジェクタの色補正装置の構成を示す図である。プロジェクタの色補正装置 13は、色変換生成部 38と色補正部 36とを備える。色変換生成部 38は、プロジェクタコントローラ 30と、対応点計算部 31と、対応マップメモリ 32と、色変換計算部 33と、色情報メモリ 34と、色変換メモリ 35と、色変換算出部 37とを備える。

[0141] なお、プロジェクタ 10と色補正装置 13とは、一方が他方を含んでいても良い。その場合、装置を小型化できる。

[0142] プロジェクタコントローラ 30は、プロジェクタの動作をコントロールする。カロえて、プロジェクタ 10の投影面 2の詳細な色情報を獲得するために、以下の動作を行う。

[0143] 対応点計算部 31から取得したパターン画像 5を投影面 2へ投影する。そしし、カラ一イメージセンサ 11が投影面 2上のパターン画像 5を撮影を撮影した結果としてのパターン撮影画像 7を取得する。その後、パターン撮影画像 7を対応点計算部 31へ出力する。

[0144] パターン画像 5とパターン撮影画像 7との画素の対応関係（後述）が得られたら、プロジェクタコントローラ 30は、色変換構築部 33から取得したカラー画像 5cを投影面 2 へ投影する。そして、カラーイメージセンサ 11が投影面 2上のカラー画像 5cを撮影した結果としてのカラー撮影画像 7cを取得する。その後、カラー撮影画像 7cを色変換構築部 33へ出力する。カラー画像 5cは、プロジェクタ 10の投影面 2上の色空間を得るために用いる。例えば、 W (白色）、 Wと BK (黒）、 Wと R (赤）と G (緑)と B (青）、及び、 Wと Rと Gと Bと Kの!、ずれかの色の組で構成されたカラー画像 5cである。

[0145] 対応点計算部 31は、パターン画像 5を発生させて、プロジェクタコントローラ 30へ出力する。ノターン画像 5を予め記憶部（図示されず）に格納し、それを用いても良い。また、対応点計算部 31は、プロジェクタコントローラ 30からパターン撮影画像 7を取得する。そして、パターン画像 5の特徴点の画素に対応するパターン撮影画像 7上の画素を計算し、その対応関係を求める。

[0146] 対応マップメモリ 32は、対応点計算部 31において得られたパターン画像 5とパターン撮影画像 7との画素の対応関係を示す対応関係データを格納する。その対応関係対応関係データは、投影される画像の特徴点の画素と、その投影面上での画像の特徴点の画素との間の対応関係を示している。

[0147] 色変換構築部 33は、カラー画像 5cを生成させて、プロジェクタコントローラ 30へ出力する。カラー画像 5cを予め記憶部（図示されず）に格納し、それを用いても良い。また、色変換構築部 33は、プロジェクタコントローラ 30からカラー撮影画像 7cを取得する。

[0148] そして、対応マップメモリ 32に記録された対応関係データに基づき、投影画像を構成する各特徴点位置に対応する、カラー撮影画像 7cの色情報を取り出し、色情報メモリ 34に記録する。そして、各特徴点について、式（15)に示されたプロジェクタ 10の投影面 2上における色空間を算出し、色補正の変換先の色空間を構築する。そして、あらかじめ決められている変換元の色空間と、計算された変換先の色空間とから色の見えを一致させる色変換を、上記の色補正方法に従って構築し、色変換メモリ 35 に記録する。

[0149] なお、色情報メモリ 34は、色補正装置 13において必ずしも必要なメモリではない。

すなわち、各特徴点に対応するカラー撮影画像の色情報を色情報メモリ 34に記憶せずに、色の見えを一致させる色変換を作成しても良い。

[0150] 色補正部 36では、入力された画像の各画素に対して色補正を実施するに当たり、各画素につ、て、色変換算出部 37に色変換メモリ 35に記録された特徴点における色変換から画素に対応する色変換を補間計算により算出させて、色変換を得て色補正を実施する。そして、色補正後の画像は、プロジェクタコントロール 30に送られ、プロジェクタ 10で投影される。

[0151] 色補正装置 13では、特徴点について色変換を構築しており、それ以外の画素については、特徴点に構築された色変換を元に補間計算などによって色変換を構築する。したがって、投影面 2の色や、周辺光 3が投影領域において滑らかに変化するような場合に有効である。

[0152] 次に、本発明の第 2の実施の形態のプロジェクタの色補正装置における動作 (プロジェクタの色補正方法の実施の形態）について説明する。図 11は、本発明の第 2の実施の形態のプロジェクタの色補正装置における動作 (プロジェクタの色補正方法の実施の形態）を示すフローチャートである。

[0153] まず、プロジェクタコントローラ 30は、プロジェクタ 10を用いて、対応点計算部 31から入力されたパターン画像 5を投影する。そして、投影面 2上でのパターン撮影画像 7を、カラーイメージセンサ 11を介して獲得する (ステップ S 21)。

[0154] 次に、対応点計算部 31は、上記 (I)の方法を用い、プロジェクタコントローラ 30の獲得したパターン撮影画像 7とパターン画像 5との間で、特徴点の対応関係を求める（ステップ S22)。そして、求めた対応関係を対応関係データとして対応マップメモリ〖こ格納する。

[0155] 続いて、色変換構築部 33は、プロジェクタコントローラ 30へ Wあるいは W、 Bkあるいは R、 G、 B、 Wあるいは R、 G、 B、 W、 Bkのカラー画像 5cを出力し、プロジェクタ 10に投影させる。そして、カラーイメージセンサ 11で受光された投影面 2上でのカラー撮影画像 7cを、プロジェクタコントローラ 30から獲得する。色変換構築部 33は、対応マップメモリ 32に記録された対応関係データに基づき、上記 (Il)-(i)の方法を用い、投影領域の画素に対応するカラー撮影画像 7cの色情報を獲得する (ステップ S23) 。カラー撮影画像 7cの色情報を色情報メモリ 34に記録する。

[0156] 色変換構築部 23は、投影領域の特徴点にステップ S 23で得た色情報に基づ、て、上記 (Π)— (ii)の方法を用い、投影面 2のプロジェクタ色空間を目的プロジェクタ色空間として構築する (ステップ S 24)。

[0157] 色変換構築部 23は、投影領域の特徴点に元プロジェクタ色空間と目的プロジェクタ色空間とに基づいて、上記 (Π)— (ii)の方法を用い、色の見えを一致させる色変換を構築する (ステップ S25)。

[0158] 色変換算出部 37は、入力画像の各画素に対応する色変換を補間計算により算出する（ステップ S 26)。

[0159] 色補正部 36は、入力画像の各画素に対して、 S 16の色変換により色補正を実施し

、色補正画像を出力する (ステップ S27)。

[0160] 本実施形態の場合にも、第 1の実施の形態と同様の効果を得ることができる。

Claims

請求の範囲

[1] 予め設定された第 1色情報と、投影面上に投影された画像の第 2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成ステップと、

入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正ステップとを備えたプロジェクタの色補正方法。

[2] 前記色変換生成ステップは、

ユーザインターフェースを介して入力を受ける入力ステップと、

前記入力に基づ、て、前記色変換を生成する変換ステップとを備えた請求項 1記載のプロジェクタの色補正方法。

[3] 前記色変換生成ステップは、

前記投影面上の前記画像の画素又はブロック毎の色情報としての前記第 2色情報を獲得する色情報獲得ステップと、

前記第 1色情報と前記第 2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項 1記載のプロジヱクタの色補正方法。

[4] 前記色変換生成ステップは、

前記画像を前記投影面に投影して撮影した撮影画像を取得し、前記画像の画素又はブロックと前記撮影画像の画素又はブロックとの間の対応付けを行う対応付けステツプと、

前記撮影画像の画素又はブロック毎の色情報としての前記第 2色情報を獲得する色情報獲得ステップと、

前記第 1色情報と前記第 2色情報と前記対応付けとに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項 1記載のプロジェクタの色補正方法。

[5] 前記色変換生成ステップは、

ノターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の画素又はブロックと前記パターン撮影画像の画素又はブロックとの対応付けを行う対応付けステップと、

カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラ一撮影画像の画素又はブロック毎の色情報としての前記第 2色情報を獲得する色情報獲得ステップと、

前記第 1色情報と前記第 2色情報と前記対応付けとに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える請求項 1 記載のプロジェクタの色補正方法。

[6] 前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項 4記載のプロジェクタの色補正方法。

[7] 請求項 1に記載のプロジェクタの色補正方法にぉ、て、

前記色変換生成ステップは、

ノターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記ノターン画像の特徴点と前記パターン撮影画像の特徴点との対応付けを行う特徴点対応付けステップと、

カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラ一撮影画像の特徴点の色情報としての前記第 2色情報を獲得する特徴点色情報獲得ステップと、

予め設定された第 1色情報と前記第 2色情報と前記対応付けとから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算ステップと、

入力画像の画素あるいはブロック毎の色変換を、前記特徴点の色変換を代表点の色変換から算出する色変換算出ステップと

を備えるプロジェクタの色補正方法。

[8] 前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項 1記載のプロジェクタの色補正方法。

[9] 予め設定された第 1色情報と、投影面に上に投影された画像の第 2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成部と、

入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正部と、を備えるプロジェクタの色補正装置。

[10] 前記色変換生成部は、ユーザインターフェースを介した入力に基づ!/、て、前記色変換を生成する変換部を備える請求項 9記載のプロジェクタの色補正装置。

[11] 前記色変換生成部は、

前記画像を前記投影面に投影して撮影した撮影画像を取得し、前記画像の画素又はブロックと前記撮影画像の画素又はブロックとの間の対応付けを行う対応付け部と、

前記対応付けを記録する対応関係記憶メモリと、

前記撮影画像の画素又はブロック毎の色情報としての前記第 2色情報を獲得する色情報獲得部と、

前記第 1色情報と前記第 2色情報と前記対応付けとに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算部と、

前記色変換を記録する色変換記憶メモリとを備える、請求項 9記載のプロジェクタの色補正装置。

[12] 前記色変換生成部は、

ノターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記パターン画像の画素又はブロックと前記パターン撮影画像の画素又はブロックとの対応付けを行う対応付け部と、

前記対応付けを記録する対応関係記憶メモリと、

カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラ一撮影画像の画素又はブロック毎の色情報としての前記第 2色情報を獲得する色情報獲得部と、

前記第 1色情報と前記第 2色情報と前記対応付けとに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算部と、

[13] 対応付け部は、前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項 11記載のプロジェクタの色補正装置。

[14] 前記色変換生成部は、

ノターン画像を前記投影面に投影して撮影したパターン撮影画像を取得し、前記ノターン画像の特徴点と前記パターン撮影画像の特徴点との対応付けを行う特徴点対応付け部と、

前記対応付けを記録する対応関係記憶メモリと、

カラー画像を前記投影面に投影して撮影したカラー撮影画像を取得し、前記カラ一撮影画像の特徴点の色情報としての前記第 2色情報を獲得する特徴点色情報獲得部と、

予め設定された第 1色情報と前記第 2色情報と前記対応付けとから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算部と、

前記特徴点の色変換を代表点の色変換として記録する色変換記憶メモリと入力画像の画素あるいはブロック毎の色変換を前記代表点の色変換から算出する色変換算出部とを備える、請求項 9記載のプロジェクタの色補正装置。

[15] 前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項 9記載のプロジェクタの色補正装置。

[16] 画像データの入力に基づ!/、て、色補正された前記画像データを出力する請求項 9 記載のプロジェクタの色補正装置と、

前記色補正された前記画像データを投影面に投影するプロジェクタ本体と、を備えるプロジェクタ。

[17] 予め設定された第 1色情報と、投影面上に投影された画像の第 2色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に色変換を生成する色変換生成ステップと、入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正ステップとを備えるプロジェクタの色補正方法をコンピュータに実行させるためのプロダラム。

[18] 前記色変換生成ステップは、

前記入力に基づいて、前記色変換を生成する変換ステップとを備える請求項 17記載のプログラム。

[19] 前記色変換生成ステップは、

前記第 1色情報と前記第 2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項 18記載のプログラム。

[20] 前記色変換生成ステップは、

前記第 1色情報と前記第 2色情報とに基づいて、前記画像の画素あるいはブロック毎に色変換を計算する色変換計算ステップとを備える請求項 19記載のプログラム。

[21] 前記色変換生成ステップは、

前記第 1色情報と前記第 2色情報とに基づいて、前記カラー画像の画素又はブロック毎に色変換を計算する色変換計算ステップとを備える請求項 20記載のプログラム

[22] 前記画像又は前記パターン画像を複数の画像で提示し、前記複数の画像と連動した撮影画像としての連動撮影画像を得て、前記連動撮影画像をスキャンすることで、前記画像又はパターン画像の画素又はブロックと前記撮影画像又はパターン撮影画像の画素又はブロックとの対応付けを行う請求項 20記載のプログラム。

[23] 前記色変換生成ステップは、

予め設定された第 1色情報と前記第 2色情報とから、前記カラー画像の特徴点の色変換を計算する特徴点色変換計算ステップと、

入力画像の画素あるいはブロック毎の色変換を、前記特徴点の色変換を代表点の色変換から算出する色変換算出ステップとを備える請求項 22記載のプログラム。

[24] 前記色変換は、数式あるいはルックアップテーブルあるいはその組み合わせで構成される請求項 17記載のプログラム。