JP3783446B2 - SPECTRAL CHARACTERISTIC CHARACTERISTIC ESTIMATION METHOD, SPECTRUM CHARACTERISTIC ESTIMATION DEVICE, AND INFORMATION RECORDING MEDIUM CONTAINING SPECTRAL CHARACTERISTIC ESTIMATION PROGRAM - Google Patents
SPECTRAL CHARACTERISTIC CHARACTERISTIC ESTIMATION METHOD, SPECTRUM CHARACTERISTIC ESTIMATION DEVICE, AND INFORMATION RECORDING MEDIUM CONTAINING SPECTRAL CHARACTERISTIC ESTIMATION PROGRAM Download PDFInfo
- Publication number
- JP3783446B2 JP3783446B2 JP03127299A JP3127299A JP3783446B2 JP 3783446 B2 JP3783446 B2 JP 3783446B2 JP 03127299 A JP03127299 A JP 03127299A JP 3127299 A JP3127299 A JP 3127299A JP 3783446 B2 JP3783446 B2 JP 3783446B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination light
- spectral
- standard plate
- imaging
- spectral characteristics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、空間内の特定の位置に配した同一平面上の複数の色票をデジタルスチルカメラやデジタルビデオカメラなどのカメラで撮影することによって得られた画像から、その位置を照射する照明光の分光特性を算出する照明光分光推定装置に関する。推定された照明光の分光特性は、例えば、同一の照明下で撮影したシーンや被写体の画像データの色や明るさを補正するカラー画像処理や、環境照明の分析を行う環境調査など好適に利用可能である。
【０００２】
【従来の技術】
従来、照明光の特性を求めることに関わる技術は、およそ以下のような状況であった。
（ａ）簡易的に照明の特性を得ることができる測定機器やセンサーが提供されている。製品によってはそれらと撮像系や表示系の画像処理機器とが一体化したものや、あるいは撮像系にその機能を持たせたものもある。しかし、これらはいずれも、一つの分光透過率を持つ標準透過面を透過した光か／又は一つの分光反射率を持つ標準反射面から反射した光の少なくともいずれかを測定することによって、その照明光の特性を低次元の推定値で得るものであり、一般には、一次元から三次元で表される輝度、照度、色温度あるいは色彩値などを得る。
【０００３】
（ｂ）照明光の分光特性を推定しようとする場合に利用される機器として、一般に「分光放射計」と称される測定機器があった。従来は、このような分光測定専用の測定機器を用いる必要があった。
【０００４】
（ｃ）また、現実のシーンを撮影した画像の色を、光源の影響を考慮して自動補正する装置もあった。しかし、このような「色の補正」の為には、シーンがどのような種類の光源で照らされていたかが重要な情報である。しかし、撮影されてある画像だけからではそのような情報が得られない為に、一般には、画像補正を行う者が必要なその情報（そのシーンがどのような種類の光源で照らされていたかを示す情報）を自動補正装置に指示する必要があった。
【０００５】
しかしながら、前記（ａ）（ｂ）の測定機器や（ｃ）の色補正装置には、それぞれ以下の問題点を有していた。
【０００６】
（ａ）この簡易的なセンサーや測定機器によって得られた低次元の推定値からでは、多次元の値である分光特性を精度良く推定することは困難であった。特に、分光特性に輝線を持つ照明光（代表例は人工光源）などのように、分光特性が波長により急峻な変化を持つ照明光では、推定結果の誤差が大きく、またこの推定結果を照明光の分光特性として適用した処理を行った場合では、その処理結果の誤差も大きくなり困るといった傾向があった。
【０００７】
また、（ｂ）の高精度な分光放射計の場合では、一般的に、測定機器として高価、重い、大きい、測定に要する時間が長くかかる、測定データを処理する装置との間にインターフェイスを必要とする、といった諸問題があった。また、これらと撮像系との一体化を考慮した場合は、その価格が高くなること、重量が重くなること、サイズが大きくなること、そして需要が乏しいこと（市場規模が小さいこと）、などの観点から普通合理的ではない。そのため、照明光の分光特性の測定データを容易に取得して、適当なアプリケーション技術に応用することは至極困難であった。
【０００８】
また、（ｃ）の色補正装置は、光源の影響を考慮した色補正のための情報を人間が入力することなく行うために、画像から照明光源の種類を自動的に精度良く判別する手段は存在していなかった。
【０００９】
【発明が解決しようとする課題】
本発明は前記従来の技術がもつ問題点に鑑みなされたものであって、専用の前記測定機器を必要とせず、撮像系を利用することによって、低コストで簡便・迅速にしかも精度のよい推定を可能とする照明光の分光特性推定方法及びそれに好適な推定装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
前記課題を解決するために本発明が提供する請求項１の発明にあっては、
分光反射率が異なる複数の色票を同一の面上に配した標準板を、分光特性を求めたい照明光が照射する空間内の所望する位置に設置し、該標準板の複数の色票を撮像系により撮像した画像データを用いて、該標準板を照射する照明光の分光特性を最適化法を用いて推定する方法であり、
（ア）前記標準板上の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値ｒ ｉｊ を列成分とする目的変数ベクトルｒを作成する目的変数ベクトル作成ステップ；
（イ）前記目的変数ベクトル作成ステップの前後いずれかの順序で行うか、あるいは該目的変数ベクトル作成ステップと並行して行い、前記照明光の分光特性を複数の色票から得られる撮像応答値ｒ ｉｊ の数ｎより小さい次数ｄで表現するための基底関数ｂ ｋ （λ）を各列の成分とするｄ列の基底関数行列Ｂと、前記標準板上の異なる複数の色票の分光反射率ｓ ｊ （λ）および前記撮像系の分光感度特性ｃ ｉ （λ）の各波長の成分における積を成分とする行列との積として説明変数行列Ｔを作成する説明変数行列作成ステップ；
（ウ）前記目的変数ベクトルｒを、前記説明変数行列Ｔと、照明光分光分布を基底関数の線形結合で表すための重み係数ベクトルｗとの積で表し、最適化法を施すことにより最適な重み係数ベクトルｗを算出し、前記標準板を照射する照明光の分光特性を表現する最適解を照明光の基底関数行列Ｂと、重み係数ベクトルｗとの積として求める分析ステップ；
以上の（ア）〜（ウ）のステップを全て具備することを特徴とする照明光の分光特性推定方法である。
尚、最適化法としては例えば重回帰分析が挙げられる。重回帰分析の場合、これを解くことにより偏回帰係数を求めることで最適解を得ることが出来る。
【００１１】
尚、標準板の分光反射率が異なる複数の色票を配した前記の面は、好ましくは平面である。但し、本発明の目的にある分光特性の推定に関わる精度上、特に問題に成らない程度であれば、必ずしも平面でなくても良い（一部に又は全部に曲面部が存在しても良い）。
また、その面の一部に又は全部に曲面部が存在したとしても、本発明に関わる推定方法のステップの途中か／又は最後で、または推定装置の撮像手段、解析手段、設定手段、あるいはその他に別途付加する手段で、前記の面が平面ではない為に生じる誤差を補正する為のステップ（又は機能）を備えることにより、本発明を好適に適応可能となる。しかしその場合でも、本発明に関わる照明光の分光特性推定方法あるいは分光特性推定装置を適用して実際に具現化したソフトウェアやハードウェアの開発コスト、開発に要する期間、あるいはソフトウェアやハードウェアの製品としての価格などを考慮すると、前記の標準板の分光反射率が異なる複数の色票を配した前記の面は、やはり平面であることの方が経済性の良さや市場競争力の強さをよりいっそう得やすい、等の理由からより好ましい。
【００１２】
また、請求項１に記載の発明にあっては、特に、前記（ウ）の分析ステップの後に、前記最適解を、所望する表現形式の分光特性に変換して、前記標準板を照射する照明光の分光特性を表す値を算出する変換ステップを行うとしてもよい。
【００１３】
また、請求項１に記載の発明にあっては、特に、前記（ウ）の分析ステップの前後いずれかの順序で行うか、あるいは該分析ステップと並行して行い、照明光の種類を判別し、判別された種類の照明光がもつ分光特性を特定の次元で表現するための基底関数を選択する基底関数選択ステップを具備するとしてもよい。
【００１４】
また、請求項２の発明にあっては、空間内の所望する位置を照射する照明光の分光特性を推定する装置であって、
（エ）分光反射率が異なる複数の色票を同一の面上に配した標準板を前記所望の位置に設置した場合に、撮像特性データが既知である撮像系によって撮像された該複数の色票の画像データを入力する入力手段；
（オ）撮像された前記複数の色票の画像データと、前記撮像系の撮像特性データから、請求項１に記載の照明光の分光特性推定方法によって、前記照明光の分光特性の推定値を算出する解析手段；
以上の（エ）及び（オ）を全て具備することを特徴とする照明光の分光特性推定装置である。
尚、本発明によると、カメラ（特にはデジタル式）を照明光の分光特性推定装置の一部としても良いし、又はカメラ（特にはデジタル式）自体に必要な手段を備えさせて該カメラ（特にはデジタル式）自体を照明光の分光特性推定装置とすることも好ましい。
【００１７】
また、請求項３に示す発明は、分光特性を求めたい照明光が照射する空間内の所望する位置に設置されてあり、分光反射率が異なり且つ同一の平面上にある複数の色票が、撮像系により撮像されて得られた画像データが入力された場合に、該照明光の分光特性を推定可能なプログラムを記録した情報記録媒体であって、
（カ）前記の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値ｒ ｉｊ を列成分とする目的変数ベクトルｒを作成する処理；
（キ）前記目的変数ベクトルを作成する処理の前後いずれかの順序で処理するか、あるいは該目的変数ベクトルを作成する処理と並行して処理し、前記照明光の分光特性を複数の色票から得られる撮像応答値ｒ ｉｊ の数ｎより小さい次数ｄで表現するための基底関数ｂ ｋ （λ）を各列の成分とするｄ列の基底関数行列Ｂと、前記標準板上の異なる複数の色票の分光反射率ｓ ｊ （λ）および前記撮像系の分光感度特性ｃ ｉ （λ）の各波長の成分における積を成分とする行列との積として説明変数行列Ｔを作成する処理；
（ク）前記目的変数ベクトルｒを、前記説明変数行列Ｔと、照明光分光分布を基底関数の線形結合で表すための重み係数ベクトルｗとの積で表し、最適化法を施すことにより最適な重み係数ベクトルｗを算出し、前記標準板を照射する照明光の分光特性を表現する最適解を照明光の基底関数行列Ｂと、重み係数ベクトルｗとの積として求める処理；
以上の（カ）〜（ク）の処理を全て行うことを特徴とする照明光の分光特性推定プログラムを記録した情報記録媒体である。
尚、最適化法としては例えば重回帰分析が挙げられる。重回帰分析の場合、これを解くことにより偏回帰係数を求めることで最適解を得ることが出来る。
また、本発明に係わる照明光の分光特性推定プログラムを記録した情報記録媒体としては、例えば磁気、光、光磁気、あるいはその他の技術を利用した媒体であってコンピュータ又は処理装置が記録されてあるプログラムを読み取り可能なものであればよく、具体例はフロッピィディスク類，コンパクトディスク類，光ディスク類，光磁気ディスク，あるいはＤＶＤ類，等のディスク状のもの、磁気テープ類に代表されるテープ状のもの、スマートメディアのようなカード状あるいはアダプタによってカード状の形態をとれるもの、メモリーチップ、ＩＣチップ、あるいはＬＳＩチップのように装置に組み込ませることが出来るもの、等に適用可能である。
【００１８】
そして、請求項３に示す発明にあっては、特に、前記（ク）の処理の後に、前記最適解を、所望する表現形式の分光特性に変換して、前記色票を照射する照明光の分光特性を表す値を算出する処理を行うとしてもよい。
【００１９】
そして、請求項３に示す発明にあっては、特に、前記（ク）の処理の前後いずれかの順序で行うか、あるいは該処理と並行して行い、照明光の種類を判別し、判別された種類の照明光がもつ分光特性を特定の次元で表現するための基底関数を選択する処理を行うとしてもよい。
【００２０】
＜ 作用 ＞
本発明によると、色票を設けた標準板を照明光が照射する場所に用意した場合に、標準板を置いた場所で得られたデータにもとづき、そこを照射する当該照明光の分光特性を推定する。ここで、標準板が置かれた場所で得られたデータに基づく推定結果は、通常は、その照明光が照らす空間一帯を代表しているとして扱って支障はない。しかし、もし標準板を置く場所の違いによって、その照明光の推定される分光特性に無視できない違いが見られる場合があるとすれば、その際は、それぞれ必要な場所に標準板を置いたうえで、それぞれの場所における照明光の分光特性を推定する必要が生じる。
本発明によれば、まず（それぞれ独立した請求項である）請求項１に示す推定方法、請求項２に示す推定装置、あるいは請求項３に示すプログラムを記録した情報記録媒体によって、
空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から撮像手段を用いて標準板を撮影することによって得られる画像データを、解析手段において、照明光の分光特性を複数の色票から得られる撮像応答値ｒ ｉｊ の数ｎより小さい次数ｄで表現するための基底関数ｂ ｋ （λ）を各列の成分とするｄ列の基底関数行列Ｂと、前記標準板上の異なる複数の色票の分光反射率ｓ ｊ （λ）および前記撮像系の分光感度特性ｃ ｉ （λ）の各波長の成分における積を成分とする行列との積として説明変数行列Ｔとに基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性データを得ることができる。
尚、本発明は分光特性の推定の為に最適化法を用いて最適解を得るわけであるが、具体的な最適化法の手法は適宜に利用して良い。最適化法の具体例としては重回帰分析が最も好適であるが、これ以外でも適当な手法があれば、いわゆる多変量解析あるいはその他の手法を適宜採用して利用することができる。
【００２１】
【発明の実施の形態】
＜１．構成＞
以下、本発明に関わる装置構成について例示し、図面を参照しつつより詳細に説明する。
【００２２】
図１は本発明の一実施形態に係わる照明光分光特性推定装置の構成を示す説明図である。
同図において、１は標準板であり、空間内の測定対象位置に撮像手段の方向へ前記色票の面を向けて設置する。その表面上には、分光反射率がそれぞれ異なる（例えば）合計２４個の色票を配列している。
尚、それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内ではその拡散性及び反射率が実質一様であるように作成してある。
【００２３】
また、２はデジタルスチルカメラ（以下、デジタルカメラと呼ぶ）である。ここでは、ＲＧＢの３チャンネルの光センサーが検出した電位信号を処理して、各画素のＲＧＢ階調値をカラー画像データとして画像ファイル記録する撮像手段と、撮像手段の露光条件であるシャッタースピードと絞り値を制御して各露光条件を画像データと共に画像ファイルに記録する設定手段とを兼ね備えたデジタルカメラである。
【００２４】
また、３は撮像手段で得られた標準板の画像ファイルを入力〜解析して、照明光の分光特性データとして、（例えば）波長域３８０〜７８０ｎｍの範囲にわたり５ｎｍ間隔で合計８１個ぶんの分光分布のデータを出力する解析手段であり、計算機（コンピュータ）が用いられる。
【００２５】
＜２．動作＞
２−１．全体動作
以下、本発明に関わる推定方法や推定装置の一例について、図面を参照しつつ、全体の処理のステップあるいは全体の動作について説明する。
【００２６】
図２は、本実施形態に係わる照明光分光特性推定装置を用いた全体の動作フローを示すブロック図である。
【００２７】
（ブロック図のｓ１）
ユーザが、標準板１を測定対象位置に設置し、デジタルカメラ２をデジタルカメラ２の撮像範囲内で標準板１が適切な大きさに撮像されるような測定位置に設置し、標準板１の法線方向とデジタルカメラ２の撮像系の光軸とが一致するように標準板１とデジタルカメラ２の方向を調整する。
【００２８】
（ブロック図のｓ２）
ユーザが、標準板１の表面から反射する光がデジタルカメラ２の適性露光範囲に収まるようにデジタルカメラ２の露光条件であるシャッタースピードと絞り値を設定する。
【００２９】
（ブロック図のｓ３）
ユーザが、デジタルカメラ２のシャッターを切り、デジタルカメラ２が、撮像を行い、画像データと露光条件を画像ファイルに記録する。
【００３０】
（ブロック図のｓ４）
ユーザが、デジタルカメラ２に記録された画像ファイルを計算機３へ入力する。
【００３１】
（ブロック図のｓ５）
ユーザが、計算機３のモニターへ画像ファイル中の画像データを表示させ、観察して、画像内の標準板１が占めている位置を指定する。
【００３２】
（ブロック図のｓ６）
計算機３は、照明光の分光分布を特定の次元で表現するための基底関数と、デジタルカメラ２の撮像特性データ（階調特性、分光感度特性、適正応答範囲）と、標準板１の各色票面の分光反射率データとに基づいて、画像ファイル内に記録された標準板の画像データと、画像ファイル内に記録された標準板撮像時のデジタルカメラ２の露光条件とに対応して解析処理を施し、標準板１を照射した照明光の分光分布データを出力する。
【００３３】
（ブロック図のｓ７）
計算機３が、解析処理で出力される分光分布データを計算機３のモニターに表示する。
【００３４】
尚、上記ｓ１〜ｓ７は、部分的に又は全体的に、ユーザー（人間）の作業によるのではなく、自動で処理することも可能である。省力化や迅速化の為には一般にその方が好ましい。
【００３５】
２−２．解析処理
以下、本発明に関わる推定方法あるいは推定装置の一例について、推定の為の解析の処理について、図３のフローチャートに基づいて説明する。
【００３６】
（フローチャートのｓ８）
デジタルカメラで標準板を含むシーンを撮影した画像データが記載されたファイルを、通信線で接続されたデジタルカメラから入力し、計算機３へ記録する。
【００３７】
（フローチャートのｓ９）
標準板の画像データをモニターへ表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置より特定される各色票内の中心付近の一定領域の画素について（例えば）3 チャンネル（Ｒ，Ｇ，Ｂ）それぞれの平均値を計算し、（例えば）２４個の色票に対応した階調値；
ｇRj ,ｇGj ,ｇBj （ｊ：色票番号）
から成る（例えば）全７２個の階調値データを得る。
尚、チャンネルは前記（Ｒ，Ｇ，Ｂ）の３チャンネルが最も一般的である。
【００３８】
（フローチャートのｓ１０）
全色票に対応した（例えば）３×２４個の階調値データから、あらかじめ記録してあるデジタルカメラ２の適正応答範囲内にないデータｎ0 個を除き、全部でｎ個〔＝（７２−ｎ0 ）個〕の階調値データを得る。
【００３９】
（フローチャートのｓ１１）
デジタルカメラ２への入射光のエネルギー量とデジタルカメラ２が出力する階調値との非線形な関係を関数Ｆ（ｘ）としてあらかじめ記録した階調特性データによって、ｎ個の階調値データを、エネルギー量に線形で０〜１に標準化された線形階調値データ；
【００４０】
【数１】
（ここで ｉ：チャンネル（Ｒ，Ｇ，Ｂ）， ｊ：色票番号 ）
へ変換する。
【００４２】
（フローチャートのｓ１２）
標準板を撮影した際にデジタルカメラで設定した露光条件であるシャッタースピード（ｔ）と絞り値（ｆ）とを、画像データが記録されたファイルから読み込み、ｎ個の線形階調値データをこれらの露光条件によりシャッタースピード１あたりかつ絞り値１あたりの階調値に標準化し、応答値データ
【００４３】
【数２】
とし、これらをｎ次元の１列の応答値ベクトル
【００４５】
【数３】
で表す。
（フローチャートのｓ１３）
あらかじめ記録してある、デジタルカメラ２の入射光の分光エネルギー（例えば）波長域３８０〜７８０ｎｍの範囲で５ｎｍ間隔に対する応答値の関係を記述した３チャンネルそれぞれの分光感度特性データ；
ｃｉ（λ）
と、標準板上の全色票の分光反射率をやはり３８０〜７８０ｎｍの範囲で５ｎｍ間隔で記述した２４個の分光反射率データ；
ｓｊ（λ）
と、照明光の分光分布をｄ次元で表現するためのｄ個の基底関数；
ｂｋ（λ）
とから、ｎ行×８１列の説明変数行列；
Ｔ
を次のように作成する。
【００４７】
【数４】
【数５】
λ： 波長（λ１，λ２，λ３，‥‥，λ８１）
Ｂ： 各列が基底関数ｂｋ（λ）を示す基底関数行列（８１行×ｄ列）
【００５０】
（フローチャートのｓ１４）
照明の分光分布をｄ個の基底関数；
ｂk （λ）
の線形結合で表すためのｄ個の重み係数から成る重みベクトルを
ｗ
とすると、応答値ベクトル；
ｒ
は、
ｒ ＝ Ｔｗ
と表わすことができることから、説明変数；
Ｔ
に対して、応答値ベクトル；
ｒ
を目的変数とした線形重回帰分析を施し、得られた偏回帰係数を重みベクトル
【００５１】
【数６】
とする。
但し、照明の分光分布を基底関数の線形結合で表すための次数ｄは、適正応答範囲内の応答値の数ｎより小さくなければならない。
【００５３】
（フローチャートのs １５）
ｄ個の基底関数を収めた基底関数行列；
Ｂ
とｄ次元の重みベクトル
【００５４】
【数７】
とにより、
【００５６】
【数８】
を計算し、未知であった照明光の分光分布データを、３８０〜７８０ｎｍの範囲の５ｎｍ間隔で合計８１個の分光分布の推定値を収めたベクトル
【００５８】
【数９】
として得る。
【００６０】
＜３．変形例＞
以上本発明に関わる推定方法及び推定装置について例を挙げてその実施形態を説明したが、それ以外にも例えば次のような変形例も考えられる。
【００６１】
（ａ）解析手段が出力する照明光の分光特性データとしては、分光分布データである必要はなく、分光特性に対応するその他の値もしくは分光分布データから計算される値でも好ましい。
（ｂ）解析手段が出力する照明光の分光特性を利用して、ＣＩＥ１９３１表色系のＸ，Ｙ，Ｚなどの色彩値で照明光の特性を出力することも好ましい。
（ｃ）解析手段において、標準板を撮影した際の露光条件を使用しなくても、照明光の相対的な分光特性を解析し、出力することも好ましい。
【００６２】
（ｄ）色票によっては撮像応答値が撮像系の適正な応答範囲にない場合があるが、同一の撮像手段によって異なる露光条件で撮像した異なる撮像応答値を解析手段で適切に利用することも好ましい。
（ｅ）標準板上の色票の数、照明の分光分布を基底関数で表すための次数、扱う全ての分光データの波長範囲、扱う全ての分光データの波長間隔などは固定ではなく、適正な推定精度を得られる範囲内であれば、必要に応じて選択することも好ましい。
（ｆ）標準板上の色票の分光反射率の組み合わせは、用途や目的に応じて推定精度を高めるために最適化することも好ましい。
【００６３】
（ｇ）固定した露光条件により撮像する場合には、解析手段において露光条件による標準化の補正を、敢えて施さないことも好ましい。
【００６４】
（ｈ）解析手段において、露光条件による標準化の補正は、撮像応答値ではなく説明変数の方に施すことも好ましい。
（ｉ）標準板の画像データには撮像系のノイズ成分が含まれている。その為、解析手段の中に、色票部をサンプリングした後の各種分析値から又は画像データから、ノイズ成分を除去（若しくは低減）する処理を組み込んでおくことも好ましい。
【００６５】
（ｊ）解析手段において、入力する露光条件は、画像データを含むファイルから入力するのではなく、デジタルカメラから露光条件を直接入力するとか、あるいはユーザが入力する、という事も好ましい。
（ｋ）解析手段において、使用する標準板の指定位置の情報をユーザが入力する事を必要とせず、画像データを自動的に分析し標準板の指定位置を検出する処理を行なうよう機能を解析手段の中へ組み込むことも好ましい。
（ｌ）解析手段は、必ずしも電子計算機（コンピュータ）を用意しなくても、独立した専用の装置を設けたり、あるいはマイコンをデジタルカメラの中に撮像系と一体で組み込んでおくことも好ましい。
【００６６】
（ｍ）撮像系は、必ずしもデジタルスチルカメラではなくてもよく、例えばデジタルビデオカメラか又はフィルム撮影用カメラと、イメージスキャナとを組み合わせて利用するなど、画像データを取得できる技術であるならばデジタルスチルカメラ以外の機器を利用することも好ましい。
【００６７】
（ｎ）推定した照明光の分光特性を、ユーザに直接表示せず、その他の用途に利用することも好ましい。
（ｏ）推定した照明光の分光特性を、カラーマネージメントシステムなどのカラー画像処理に利用することも好ましい。
（ｐ）推定した照明光の分光特性を、撮像された物体表面の分光反射率などの反射特性を推定するのに用いることも好ましい。
【００６８】
（ｑ）設定手段として挙げた前記の例は、撮像手段と一体となったデジタルカメラであるが、必ずしも設定手段が撮像手段と一体に組み立てられている必要はなく、撮像手段以外の部分、例えば電子計算機に装備されていることも好ましい。
【００６９】
（ｒ）前記の例では、回帰分析としては線形な重回帰分析を挙げているが、例えば、照明光の分光特性が基底ベクトルと非線形な関係にある場合や、解析手段において画像のデータに線形化をほどこさない場合などには、適宜、非線形な回帰分析を行うことが好ましい場合もある。
（ｓ）本実施例において行う回帰分析では、標準板上の各色票に対する撮像系の各チャンネルの応答値の重みを一様に扱っているが、例えば、撮像系の特定の応答値が照明光の分光特性と相関が低いような場合には、標準板上の色票や撮像系のチャンネルによって異なる重みを置いた回帰分析を行うことも好ましい。
【００７０】
（ｔ）照明光の分光特性を特定の次元で表現するための基底関数については、解析手段が、異なる複数の光源の種類毎にそれぞれ異なる基底関数を保持しておき、推定誤差などを利用して光源の種類を適切に選択する機能も備えておくことによって、その選択結果に対応した、より適切な基底関数を用いて照明光の分光特性を推定できるようにすることも好ましい。
【００７１】
（ｕ）上記変形例（ｔ）に示した「光源の種類を適切に選択する機能」を備えておく場合、解析手段が出力する照明光の分光特性データとしては、「光源の種類を適切に選択する機能」が同定する光源の種類であってもよい。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から撮像手段を用いて標準板を撮影することによって得られる画像を、照明光の分光特性を複数の色票から得られる撮像応答値ｒ ｉｊ の数ｎより小さい次数ｄで表現するための基底関数ｂ ｋ （λ）を各列の成分とするｄ列の基底関数行列Ｂと、前記標準板上の異なる複数の色票の分光反射率ｓ ｊ （λ）および前記撮像系の分光感度特性ｃ ｉ （λ）の各波長の成分における積を成分とする行列との積として説明変数行列Ｔとに基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性を推定するものであり、これによって前記のような専用の測定機器を敢えて用いることも無く推定する方法および装置を提供することが出来た。
【図面の簡単な説明】
【図１】 本発明に関わる照明の光分光特性推定装置の一例について、その概略構成を模式的に示す説明図。
【図２】 本発明に関わる照明の光分光特性推定装置の一例について、その全体の動作を説明するフローチャート。
【図３】 本発明に関わる照明の光分光特性推定装置の一例について、解析手段が行う処理を説明するフローチャート。
【符号の説明】
１・・・標準板
２・・・撮像手段（デジタルカメラ）
３・・・解析手段（電子計算機）[0001]
BACKGROUND OF THE INVENTION
The present invention provides illumination light for irradiating a position obtained from an image obtained by photographing a plurality of color charts on a same plane arranged at a specific position in space with a camera such as a digital still camera or a digital video camera. The present invention relates to an illumination light spectral estimation apparatus that calculates the spectral characteristics of the illumination light. The estimated spectral characteristics of the illumination light are suitably used, for example, color image processing for correcting the color and brightness of image data of scenes and subjects photographed under the same illumination, and environmental surveys for analyzing environmental illumination. Is possible.
[0002]
[Prior art]
Conventionally, the technique related to obtaining the characteristics of illumination light has been in the following situation.
(A) Measuring instruments and sensors that can easily obtain illumination characteristics are provided. Some products are integrated with image processing devices such as an imaging system and a display system, or some are provided with the function of the imaging system. However, all of these illuminations are measured by measuring at least one of light transmitted through a standard transmission surface having one spectral transmittance and / or light reflected from a standard reflection surface having one spectral reflectance. The light characteristic is obtained with a low-dimensional estimated value, and generally, luminance, illuminance, color temperature, color value, etc. expressed in one to three dimensions are obtained.
[0003]
(B) As a device used for estimating the spectral characteristics of illumination light, there is a measuring device generally called a “spectral radiometer”. Conventionally, it has been necessary to use such a measuring instrument dedicated to spectroscopic measurement.
[0004]
(C) There is also an apparatus that automatically corrects the color of an image obtained by photographing a real scene in consideration of the influence of a light source. However, for such “color correction”, what kind of light source the scene is illuminated with is important information. However, since such information cannot be obtained only from the captured image, generally, the person who performs image correction needs that information (what kind of light source the scene was illuminated with). It is necessary to instruct the automatic correction device.
[0005]
However, the measuring devices (a) and (b) and the color correction device (c) have the following problems.
[0006]
(A) From the low-dimensional estimated value obtained by this simple sensor or measuring instrument, it is difficult to accurately estimate the spectral characteristics that are multi-dimensional values. In particular, illumination light with a spectral characteristic that changes sharply with wavelength, such as illumination light with a bright line in the spectral characteristic (typical example is an artificial light source) has a large error in the estimation result. In the case where the processing applied as the spectral characteristic is performed, there is a tendency that the error of the processing result becomes large and is difficult.
[0007]
In addition, in the case of the high-accuracy spectroradiometer (b), in general, the measurement equipment is expensive, heavy, large, takes a long time for measurement, and requires an interface with a device for processing measurement data. There were various problems such as. In addition, considering the integration of these with the imaging system, the price increases, the weight increases, the size increases, and the demand is low (the market size is small). Usually not reasonable from a point of view. For this reason, it is extremely difficult to easily acquire measurement data of the spectral characteristics of illumination light and apply it to an appropriate application technology.
[0008]
In addition, the color correction apparatus (c) is configured to automatically and accurately determine the type of illumination light source from an image in order to perform information for color correction considering the influence of the light source without human input. It did not exist.
[0009]
[Problems to be solved by the invention]
The present invention has been made in view of the problems of the prior art, and does not require a dedicated measuring device, and by using an imaging system, it is possible to easily and quickly perform accurate estimation at low cost. An object of the present invention is to provide a method for estimating the spectral characteristics of illumination light and an estimation device suitable for the method.
[0010]
[Means for Solving the Problems]
In the invention of
A standard plate with a plurality of color charts with different spectral reflectances arranged on the same surface is installed at a desired position in the space irradiated with the illumination light whose spectral characteristics are to be obtained. It is a method for estimating the spectral characteristics of illumination light illuminating the standard plate using an optimization method using image data captured by an imaging system,
(A) An objective variable vector creation step of extracting an imaging response value corresponding to each color chart on the standard plate from the image data and creating an objective variable vector r having all the extracted imaging response values r ij as column components. ;
(A) An imaging response value r obtained from a plurality of color charts by performing the spectral characteristics of the illumination light in any order before or after the objective variable vector creation step or in parallel with the objective variable vector creation step. a basis function matrix B of d columns having a basis function b k (λ) for representing a degree d smaller than the number n of ij as a component of each column, and spectral reflectances of different color charts on the standard plate an explanatory variable matrix creating step of creating an explanatory variable matrix T as a product of s j (λ) and the spectral sensitivity characteristic c i (λ) of the imaging system as a component of the product of each wavelength component ;
(C) the objective variable vector r, the a explanatory variable matrix T, expressed by the product of the weighting coefficient vector w for representing the illumination light spectral distribution as a linear combination of basis functions, optimal by performing optimization method An analysis step of calculating a weighting coefficient vector w and obtaining an optimal solution representing the spectral characteristics of the illumination light that irradiates the standard plate as a product of the basis function matrix B of the illumination light and the weighting coefficient vector w ;
This is a method for estimating the spectral characteristics of illumination light, comprising all the steps (a) to (c) above.
An example of the optimization method is multiple regression analysis. In the case of multiple regression analysis, an optimal solution can be obtained by finding a partial regression coefficient by solving this.
[0011]
The surface on which a plurality of color charts having different spectral reflectances of the standard plate are arranged is preferably a flat surface. However, as long as it does not cause any problem in terms of accuracy related to the estimation of spectral characteristics, which is the object of the present invention, it is not necessarily a flat surface (a curved surface portion may exist in part or in whole). .
Further, even if a curved surface portion exists on a part or all of the surface, it is in the middle or at the end of the step of the estimation method according to the present invention, or the imaging means, analysis means, setting means, or others of the estimation device The present invention can be suitably applied by providing a step (or function) for correcting an error that occurs because the surface is not a flat surface. However, even in that case, the development cost of software or hardware actually implemented by applying the spectral characteristic estimation method or spectral characteristic estimation apparatus of illumination light according to the present invention, the time required for development, or the software or hardware product In consideration of the price, etc., the above-mentioned surface on which a plurality of color charts having different spectral reflectances of the above-mentioned standard plate is arranged is also more economical and more competitive in the market. It is more preferable for reasons such as being easier to obtain.
[0012]
The irradiation In the invention described in
[0013]
Further, in the invention described in
[0014]
The invention of
( D ) When a standard plate on which a plurality of color charts having different spectral reflectances are arranged on the same surface is installed at the desired position, the plurality of colors captured by an imaging system whose imaging characteristic data is known Input means for inputting the image data of the vote;
( E ) An estimated value of the spectral characteristic of the illumination light is obtained from the captured image data of the plurality of color charts and the imaging characteristic data of the imaging system by the spectral characteristic estimation method of the illumination light according to
An apparatus for estimating spectral characteristics of illumination light, comprising all of the above ( e ) and ( e ).
According to the present invention, the camera (particularly digital type) may be a part of the apparatus for estimating the spectral characteristics of illumination light, or the camera (particularly digital type) itself is provided with means necessary for the camera (particularly digital type). In particular, it is also preferable that the digital type) itself be an illumination light spectral characteristic estimation device.
[0017]
Further, the invention is desired Yes installed in position, a plurality of color chips on the spectral reflectance varies且one same on one plane in space which irradiates illumination light to be obtained the spectral characteristics shown in
( F ) Processing for extracting imaging response values corresponding to the respective color charts from the image data and creating an objective variable vector r having all extracted imaging response values r ij as column components ;
(G) Processing in any order before and after the processing for creating the objective variable vector , or processing in parallel with the processing for creating the objective variable vector, and the spectral characteristics of the illumination light from a plurality of color charts The basis function matrix B of d columns having the basis function b k (λ) for representing the order d smaller than the number n of the obtained imaging response values r ij as the component of each column, and a plurality of different pluralities on the standard plate A process of creating an explanatory variable matrix T as a product of a spectral reflectance s j (λ) of the color chart and a matrix having a product of each wavelength component of the spectral sensitivity characteristic c i (λ) of the imaging system;
(H) the object variable vector r, the a explanatory variable matrix T, expressed by the product of the weighting coefficient vector w for representing the illumination light spectral distribution as a linear combination of basis functions, optimal by performing optimization method A process of calculating a weighting coefficient vector w and obtaining an optimal solution representing the spectral characteristics of the illumination light that irradiates the standard plate as a product of the basis function matrix B of the illumination light and the weighting coefficient vector w ;
An information recording medium recording an illumination light spectral characteristic estimation program characterized by performing all of the above processes (f) to (c).
An example of the optimization method is multiple regression analysis. In the case of multiple regression analysis, an optimal solution can be obtained by finding a partial regression coefficient by solving this.
The information recording medium on which the illumination light spectral characteristic estimation program according to the present invention is recorded is a medium using, for example, magnetism, light, magnetomagnetism, or other techniques, and records a computer or a processing device. Any program can be used as long as the program can be read. Specific examples include disk-shaped disks such as floppy disks, compact disks, optical disks, magneto-optical disks, and DVDs, and tape-shaped tapes represented by magnetic tapes. The present invention can be applied to a device such as a smart card, a smart media card or an adapter, and a memory chip, an IC chip, or an LSI chip that can be incorporated into a device.
[0018]
Then, in the invention shown in
[0019]
Then, in the invention shown in
[0020]
<Action>
According to the present invention, when a standard plate provided with a color chart is prepared in a place where the illumination light is irradiated, the spectral characteristics of the illumination light that irradiates the standard plate based on the data obtained in the place where the standard plate is placed. presume. Here, the estimation result based on the data obtained at the place where the standard plate is placed is normally handled as being representative of the entire space illuminated by the illumination light. However, if there are cases in which the estimated spectral characteristics of the illumination light can be ignored due to differences in the location where the standard plate is placed, place the standard plate in the required location. Thus, it is necessary to estimate the spectral characteristics of the illumination light at each location.
According to the present invention, first, the estimation method shown in claim 1 (each of which is an independent claim), the estimation device shown in
A standard plate is installed at a position to be measured in the space, and image data obtained by photographing the standard plate using the image pickup means from the position to be measured in the space is analyzed by the analyzing means in the spectrum of illumination light. A d-column basis function matrix B having a component of each column as a basis function b k (λ) for expressing the characteristic in an order d smaller than the number n of imaging response values r ij obtained from a plurality of color charts ; An explanatory variable matrix as a product of a spectral reflectance s j (λ) of a plurality of different color charts on the standard plate and a matrix having the product of each wavelength component of the spectral sensitivity characteristic c i (λ) of the imaging system as a component By analyzing based on T , spectral characteristic data of illumination light at a position to be measured in the space can be obtained.
In the present invention, an optimal solution is obtained using an optimization method for estimation of spectral characteristics, but a specific optimization method may be used as appropriate. As a specific example of the optimization method, multiple regression analysis is most suitable. However, if there are other appropriate methods, so-called multivariate analysis or other methods can be appropriately employed and used.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
<1. Configuration>
Hereinafter, an apparatus configuration related to the present invention will be exemplified and described in more detail with reference to the drawings.
[0022]
FIG. 1 is an explanatory diagram showing a configuration of an illumination light spectral characteristic estimation apparatus according to an embodiment of the present invention.
In the figure,
Note that the reflection characteristics of the surface of each color chart are high in diffusibility, and the diffusivity and reflectivity are substantially uniform within the same color chart.
[0023]
[0024]
[0025]
<2. Operation>
2-1. Overall operation Hereinafter, an example of an estimation method and an estimation apparatus according to the present invention will be described with reference to the drawings.
[0026]
FIG. 2 is a block diagram showing an overall operation flow using the illumination light spectral characteristic estimation apparatus according to this embodiment.
[0027]
(S1 in the block diagram)
The user installs the
[0028]
(S2 in the block diagram)
The user sets the shutter speed and the aperture value, which are the exposure conditions of the
[0029]
(S3 in the block diagram)
The user releases the shutter of the
[0030]
(S4 in the block diagram)
A user inputs an image file recorded in the
[0031]
(S5 in the block diagram)
The user displays the image data in the image file on the monitor of the
[0032]
(S6 in the block diagram)
The
[0033]
(S7 in the block diagram)
The
[0034]
Note that the above s1 to s7 can be processed automatically, not partially or entirely, by the user's (human) work. This is generally preferred for labor saving and speeding up.
[0035]
2-2. Analysis Process Hereinafter, an analysis process for estimation of an example of the estimation method or the estimation apparatus according to the present invention will be described with reference to the flowchart of FIG.
[0036]
(S8 in the flowchart)
A file describing image data obtained by photographing a scene including a standard board with a digital camera is input from a digital camera connected via a communication line and recorded in the
[0037]
(S9 in the flowchart)
Display the image data of the standard plate on the monitor, let the user specify the position of the standard plate in the captured image, and (for example) 3 for pixels in a certain area near the center in each color chart specified from this specified position An average value of each channel (R, G, B) is calculated, and (for example) gradation values corresponding to 24 color charts;
g Rj , g Gj , g Bj (j: color chart number)
A total of 72 gradation value data consisting of (for example) is obtained.
The three channels (R, G, B) are the most common.
[0038]
(S10 in the flowchart)
Excluding n 0 data that are not within the appropriate response range of the
[0039]
(S11 in the flowchart)
With the gradation characteristic data recorded in advance as a function F (x), a non-linear relationship between the energy amount of incident light to the
[0040]
[Expression 1]
(Where i: channel (R, G, B), j: color chart number)
Convert to
[0042]
(S12 in the flowchart)
The shutter speed (t) and the aperture value (f), which are exposure conditions set by the digital camera when the standard plate is photographed, are read from the file in which the image data is recorded, and the n linear gradation value data are read. Response value data is standardized to a gradation value per shutter speed and
[Expression 2]
And these are n-dimensional single-column response value vectors.
[Equation 3]
Represented by
(S13 in the flowchart)
Spectral sensitivity characteristic data of each of the three channels describing the relationship of response values with respect to 5 nm intervals in the spectral energy (for example) wavelength range of 380 to 780 nm of the incident light of the
c i (λ)
24 spectral reflectance data describing spectral reflectances of all color charts on the standard plate in the range of 380 to 780 nm at intervals of 5 nm;
s j (λ)
And d basis functions for expressing the spectral distribution of illumination light in d dimensions;
b k (λ)
And an explanatory variable matrix of n rows × 81 columns;
T
Is created as follows.
[0047]
[Expression 4]
[Equation 5]
λ: Wavelength (λ 1 , λ 2 , λ 3 ,..., λ 81 )
B: Basis function matrix (81 rows × d columns) in which each column represents a basis function b k (λ)
[0050]
(S14 in the flowchart)
D basis functions for the spectral distribution of illumination;
b k (λ)
A weight vector consisting of d weighting coefficients to be represented by a linear combination of w
Then the response value vector;
r
Is
r = Tw
Because it can be expressed as:
T
Response value vector;
r
A linear multiple regression analysis is performed with the objective variable as the objective variable, and the obtained partial regression coefficient is used as a weight vector.
[Formula 6]
And
However, the order d for expressing the spectral distribution of illumination by a linear combination of basis functions must be smaller than the number n of response values within the appropriate response range.
[0053]
(S15 in the flowchart)
a basis function matrix containing d basis functions;
B
And d-dimensional weight vector
[Expression 7]
And by
[0056]
[Equation 8]
A vector in which the spectral distribution data of the illumination light that has been unknown is stored with estimated values of a total of 81 spectral distributions at 5 nm intervals in the range of 380 to 780 nm.
[Equation 9]
Get as.
[0060]
<3. Modification>
Although the embodiment has been described with reference to the estimation method and the estimation apparatus according to the present invention, other modifications such as the following are also conceivable.
[0061]
(A) The spectral characteristic data of the illumination light output by the analyzing means need not be spectral distribution data, and other values corresponding to the spectral characteristics or values calculated from the spectral distribution data are also preferable.
(B) It is also preferable to output the characteristics of the illumination light using color values such as X, Y, and Z of the CIE 1931 color system using the spectral characteristics of the illumination light output by the analysis means.
(C) It is also preferable that the analysis means analyzes and outputs the relative spectral characteristics of the illumination light without using the exposure conditions when photographing the standard plate.
[0062]
(D) Depending on the color chart, the imaging response value may not be within the appropriate response range of the imaging system. However, it is also possible to appropriately use different imaging response values captured by the same imaging unit under different exposure conditions in the analysis unit. preferable.
(E) The number of color charts on the standard plate, the order for expressing the spectral distribution of illumination with a basis function, the wavelength range of all the spectral data to be handled, the wavelength interval of all the spectral data to be handled, etc. are not fixed, but appropriate It is also preferable to select as necessary as long as the estimation accuracy is within a range.
(F) It is also preferable to optimize the combination of the spectral reflectances of the color charts on the standard plate in order to increase the estimation accuracy according to the application and purpose.
[0063]
(G) When imaging is performed under a fixed exposure condition, it is also preferable that the standardization correction based on the exposure condition is not intentionally performed in the analysis unit.
[0064]
(H) In the analysis means, it is also preferable that the standardization correction based on the exposure condition is applied to the explanatory variable instead of the imaging response value.
(I) The image data of the standard plate includes noise components of the imaging system. Therefore, it is also preferable to incorporate processing for removing (or reducing) noise components from various analysis values after sampling the color chart portion or from image data in the analysis means.
[0065]
(J) In the analysis means, it is preferable that the exposure condition to be input is not input from a file containing image data, but is directly input from the digital camera or input by the user.
(K) Analyzing the function so that the analysis means automatically analyzes the image data and detects the designated position of the standard plate without requiring the user to input information on the designated position of the standard plate to be used. It is also preferred to incorporate it into the means.
(L) The analyzing means is not necessarily provided with an electronic computer (computer), but it is also preferable to provide an independent dedicated device or to incorporate a microcomputer into the digital camera integrally with the imaging system.
[0066]
(M) The imaging system does not necessarily have to be a digital still camera. For example, if it is a technology that can acquire image data, such as using a digital video camera or a film shooting camera in combination with an image scanner, it is digital. It is also preferable to use a device other than the still camera.
[0067]
(N) It is also preferable to use the estimated spectral characteristic of the illumination light for other purposes without directly displaying it to the user.
(O) It is also preferable to use the estimated spectral characteristic of illumination light for color image processing such as a color management system.
(P) It is also preferable to use the estimated spectral characteristic of the illumination light to estimate the reflection characteristic such as the spectral reflectance of the imaged object surface.
[0068]
(Q) The above example given as the setting means is a digital camera integrated with the imaging means, but the setting means does not necessarily have to be assembled integrally with the imaging means. It is also preferable that the electronic computer is equipped.
[0069]
(R) In the above example, linear multiple regression analysis is given as the regression analysis. For example, when the spectral characteristic of the illumination light has a nonlinear relationship with the basis vector, or when the image data is linear in the analysis means In some cases, for example, when non-regressive analysis is not performed, it is preferable to perform nonlinear regression analysis.
(S) In the regression analysis performed in this embodiment, the weight of the response value of each channel of the imaging system for each color chart on the standard plate is uniformly treated. For example, the specific response value of the imaging system is the illumination light. In the case where the correlation with the spectral characteristic is low, it is also preferable to perform regression analysis with different weights depending on the color chart on the standard plate and the channel of the imaging system.
[0070]
(T) For the basis functions for expressing the spectral characteristics of the illumination light in a specific dimension, the analysis means holds different basis functions for different types of light sources, and uses an estimation error or the like. It is also preferable to provide a function for appropriately selecting the type of light source so that the spectral characteristic of illumination light can be estimated using a more appropriate basis function corresponding to the selection result.
[0071]
(U) When the “function for appropriately selecting the type of the light source” shown in the modification (t) is provided, the spectral characteristic data of the illumination light output by the analyzing unit is “appropriately selecting the type of the light source” The type of light source to be identified may be the “function to be selected”.
[0072]
【The invention's effect】
As described above, according to the present invention, the standard plate is installed at the position to be measured in the space, and is obtained by photographing the standard plate from the position as the measurement point in the space using the imaging means. D columns having a basis function b k (λ) as a component of each column for expressing the spectral characteristics of the illumination light with an order d smaller than the number n of imaging response values r ij obtained from a plurality of color charts A matrix whose component is the product of the basis function matrix B, the spectral reflectances s j (λ) of different color charts on the standard plate, and the spectral sensitivity characteristics c i (λ) of the imaging system. The spectral characteristic of the illumination light at the position to be measured in space is estimated by analyzing the product based on the explanatory variable matrix T as a product of Method and apparatus for estimating without using I was able to provide it.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram schematically showing a schematic configuration of an example of a light spectral characteristic estimation apparatus for illumination according to the present invention.
FIG. 2 is a flowchart for explaining the overall operation of an example of an optical spectral characteristic estimation apparatus for illumination according to the present invention.
FIG. 3 is a flowchart for explaining processing performed by an analysis unit in an example of an illumination light spectral characteristic estimation apparatus according to the present invention.
[Explanation of symbols]
1 ...
3. Analysis means (electronic computer)
Claims (3)
（ア）前記標準板上の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値ｒ ｉｊ を列成分とする目的変数ベクトルｒを作成する目的変数ベクトル作成ステップ；
（イ）前記目的変数ベクトル作成ステップの前後いずれかの順序で行うか、あるいは該目的変数ベクトル作成ステップと並行して行い、前記照明光の分光特性を複数の色票から得られる撮像応答値ｒ ｉｊ の数ｎより小さい次数ｄで表現するための基底関数ｂ ｋ （λ）を各列の成分とするｄ列の基底関数行列Ｂと、前記標準板上の異なる複数の色票の分光反射率ｓ ｊ （λ）および前記撮像系の分光感度特性ｃ ｉ （λ）の各波長の成分における積を成分とする行列との積として説明変数行列Ｔを作成する説明変数行列作成ステップ；
（ウ）前記目的変数ベクトルｒを、前記説明変数行列Ｔと、照明光分光分布を基底関数の線形結合で表すための重み係数ベクトルｗとの積で表し、最適化法を施すことにより最適な重み係数ベクトルｗを算出し、前記標準板を照射する照明光の分光特性を表現する最適解を照明光の基底関数行列Ｂと、重み係数ベクトルｗとの積として求める分析ステップ；
以上の（ア）〜（ウ）のステップを全て具備することを特徴とする照明光の分光特性推定方法。A standard plate with a plurality of color charts with different spectral reflectances arranged on the same surface is installed at a desired position in the space irradiated with the illumination light whose spectral characteristics are to be obtained. It is a method for estimating the spectral characteristics of illumination light that illuminates the standard plate using an optimization method, using image data captured by an imaging system,
(A) An objective variable vector creation step of extracting an imaging response value corresponding to each color chart on the standard plate from the image data and creating an objective variable vector r having all the extracted imaging response values r ij as column components. ;
(A) An imaging response value r obtained from a plurality of color charts by performing the spectral characteristics of the illumination light in any order before or after the objective variable vector creation step or in parallel with the objective variable vector creation step. a basis function matrix B of d columns having a basis function b k (λ) for representing a degree d smaller than the number n of ij as a component of each column, and spectral reflectances of different color charts on the standard plate an explanatory variable matrix creating step of creating an explanatory variable matrix T as a product of s j (λ) and the spectral sensitivity characteristic c i (λ) of the imaging system as a component of the product of each wavelength component ;
(C) the objective variable vector r, the a explanatory variable matrix T, expressed by the product of the weighting coefficient vector w for representing the illumination light spectral distribution as a linear combination of basis functions, optimal by performing optimization method An analysis step of calculating a weighting coefficient vector w and obtaining an optimal solution representing the spectral characteristics of the illumination light that irradiates the standard plate as a product of the basis function matrix B of the illumination light and the weighting coefficient vector w ;
A method for estimating the spectral characteristics of illumination light, comprising all the steps (a) to (c) above.
（エ）分光反射率が異なる複数の色票を同一の面上に配した標準板を前記所望の位置に設置した場合に、撮像特性データが既知である撮像系によって撮像された該複数の色票の画像データを入力する入力手段；
（オ）撮像された前記複数の色票の画像データと、前記撮像系の撮像特性データから、請求項１に記載の照明光の分光特性推定方法によって、前記照明光の分光特性の推定値を算出する解析手段；
以上の（エ）及び（オ）を全て具備することを特徴とする照明光の分光特性推定装置。An apparatus for estimating spectral characteristics of illumination light that irradiates a desired position in space,
(D) When a standard plate on which a plurality of color charts having different spectral reflectances are arranged on the same surface is installed at the desired position, the plurality of colors captured by an imaging system whose imaging characteristic data is known Input means for inputting the image data of the vote;
(E) An estimated value of the spectral characteristic of the illumination light is obtained from the captured image data of the plurality of color charts and the imaging characteristic data of the imaging system by the spectral characteristic estimation method of the illumination light according to claim 1. Analysis means to calculate;
An apparatus for estimating the spectral characteristics of illumination light, comprising all of the above (e) and (e).
（カ）前記の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値ｒ ｉｊ を列成分とする目的変数ベクトルｒを作成する処理；
（キ）前記目的変数ベクトルを作成する処理の前後いずれかの順序で処理するか、あるいは該目的変数ベクトルを作成する処理と並行して処理し、前記照明光の分光特性を複数の色票から得られる撮像応答値ｒ ｉｊ の数ｎより小さい次数ｄで表現するための基底関数ｂ ｋ （λ）を各列の成分とするｄ列の基底関数行列Ｂと、前記標準板上の異なる複数の色票の分光反射率ｓ ｊ （λ）および前記撮像系の分光感度特性ｃ ｉ （λ）の各波長の成分における積を成分とする行列との積として説明変数行列Ｔを作成する処理；
（ク）前記目的変数ベクトルｒを、前記説明変数行列Ｔと、照明光分光分布を基底関数の線形結合で表すための重み係数ベクトルｗとの積で表し、最適化法を施すことにより最適な重み係数ベクトルｗを算出し、前記標準板を照射する照明光の分光特性を表現する最適解を照明光の基底関数行列Ｂと、重み係数ベクトルｗとの積として求める処理；
以上の（カ）〜（ク）の処理を全て行うことを特徴とする照明光の分光特性推定プログラムを記録した情報記録媒体。Yes installed in a desired position in space of the illumination light to be obtained spectral characteristics irradiation, a plurality of color chips on the spectral reflectance differs且one same on one of the plane, obtained by the image pickup system An information recording medium that records a program capable of estimating the spectral characteristics of the illumination light when image data is input,
( F ) Processing for extracting imaging response values corresponding to the respective color charts from the image data and creating an objective variable vector r having all extracted imaging response values r ij as column components ;
(G) Processing in any order before and after the processing for creating the objective variable vector , or processing in parallel with the processing for creating the objective variable vector, and the spectral characteristics of the illumination light from a plurality of color charts The basis function matrix B of d columns having the basis function b k (λ) for representing the order d smaller than the number n of the obtained imaging response values r ij as the component of each column, and a plurality of different pluralities on the standard plate A process of creating an explanatory variable matrix T as a product of a spectral reflectance s j (λ) of the color chart and a matrix having a product of each wavelength component of the spectral sensitivity characteristic c i (λ) of the imaging system;
(H) the object variable vector r, the a explanatory variable matrix T, expressed by the product of the weighting coefficient vector w for representing the illumination light spectral distribution as a linear combination of basis functions, optimal by performing optimization method A process of calculating a weighting coefficient vector w and obtaining an optimal solution representing the spectral characteristics of the illumination light that irradiates the standard plate as a product of the basis function matrix B of the illumination light and the weighting coefficient vector w ;
An information recording medium on which is recorded an illumination light spectral characteristic estimation program characterized by performing all of the above processes (f) to (ku).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03127299A JP3783446B2 (en) | 1998-09-01 | 1999-02-09 | SPECTRAL CHARACTERISTIC CHARACTERISTIC ESTIMATION METHOD, SPECTRUM CHARACTERISTIC ESTIMATION DEVICE, AND INFORMATION RECORDING MEDIUM CONTAINING SPECTRAL CHARACTERISTIC ESTIMATION PROGRAM |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-247007 | 1998-09-01 | ||
| JP24700798 | 1998-09-01 | ||
| JP03127299A JP3783446B2 (en) | 1998-09-01 | 1999-02-09 | SPECTRAL CHARACTERISTIC CHARACTERISTIC ESTIMATION METHOD, SPECTRUM CHARACTERISTIC ESTIMATION DEVICE, AND INFORMATION RECORDING MEDIUM CONTAINING SPECTRAL CHARACTERISTIC ESTIMATION PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000146698A JP2000146698A (en) | 2000-05-26 |
| JP3783446B2 true JP3783446B2 (en) | 2006-06-07 |
Family
ID=26369730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03127299A Expired - Fee Related JP3783446B2 (en) | 1998-09-01 | 1999-02-09 | SPECTRAL CHARACTERISTIC CHARACTERISTIC ESTIMATION METHOD, SPECTRUM CHARACTERISTIC ESTIMATION DEVICE, AND INFORMATION RECORDING MEDIUM CONTAINING SPECTRAL CHARACTERISTIC ESTIMATION PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3783446B2 (en) |
-
1999
- 1999-02-09 JP JP03127299A patent/JP3783446B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000146698A (en) | 2000-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3767541B2 (en) | Light source estimation apparatus, light source estimation method, imaging apparatus, and image processing method | |
| KR100810813B1 (en) | Makeup counseling apparatus | |
| JP5496509B2 (en) | System, method, and apparatus for image processing for color classification and skin color detection | |
| JP4478358B2 (en) | Digital image processing method and apparatus for brightness adjustment of digital image | |
| CN108520488B (en) | Method for reconstructing spectrum and copying spectrum and electronic equipment | |
| JP5075648B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| US8160331B2 (en) | Image processing apparatus and computer program product | |
| US7554586B1 (en) | System and method for scene image acquisition and spectral estimation using a wide-band multi-channel image capture | |
| JP4715288B2 (en) | Spectral reflectance candidate calculation method, color conversion method, spectral reflectance candidate calculation device, color conversion device, spectral reflectance candidate calculation program, color conversion program | |
| WO2018223267A1 (en) | Method and system for hyperspectral light field imaging | |
| JP2004336657A (en) | Spectral image photographing system and adjusting method of spectral image photographing system | |
| US20050231740A1 (en) | Image input system, conversion matrix calculating method, and computer software product | |
| JP4798354B2 (en) | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program | |
| JP4415446B2 (en) | Colorimetric image conversion method, colorimetric image conversion apparatus, and computer-readable information recording medium recording a colorimetric image conversion program | |
| JP2001311666A (en) | Colorimetric conversion coefficient calculating method and colorimetric image converting method, colorimetric conversion coefficient computing device and colorimetric image converting device, and computer-readable information recording medium with colorimetric conversion coefficient computing program or colorimetric image pickup program recorded thereon | |
| JP4692190B2 (en) | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program | |
| JP4378810B2 (en) | Colorimetric conversion coefficient calculation method, colorimetric imaging method, colorimetric conversion coefficient calculation device, colorimetric imaging device, and computer-readable information recording medium recording a colorimetric conversion program | |
| JP4529210B2 (en) | Colorimetric conversion coefficient calculation method and colorimetric image conversion method, colorimetric conversion coefficient calculation apparatus and colorimetric image conversion apparatus, and computer-readable information recording a colorimetric conversion coefficient calculation program or colorimetric imaging program recoding media | |
| JP2009014373A (en) | Spectral reflectivity estimation method, spectral reflectivity estimation apparatus and spectral reflectivity estimation program | |
| JP3783446B2 (en) | SPECTRAL CHARACTERISTIC CHARACTERISTIC ESTIMATION METHOD, SPECTRUM CHARACTERISTIC ESTIMATION DEVICE, AND INFORMATION RECORDING MEDIUM CONTAINING SPECTRAL CHARACTERISTIC ESTIMATION PROGRAM | |
| JP3577977B2 (en) | Illumination light spectral characteristic estimation device | |
| CN116509326A (en) | Tongue image multispectral image generation method, device, equipment and storage medium | |
| JP3780750B2 (en) | Colorimetric color expression method, colorimetric color expression device, and computer-readable information recording medium recording a colorimetric color expression program | |
| Kibria et al. | Smartphone-based point-of-care urinalysis assessment | |
| JP4349568B2 (en) | Object recognition apparatus, object recognition method, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060306 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |