JP7491084B2 - 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置 - Google Patents

校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置 Download PDF

Info

Publication number
JP7491084B2
JP7491084B2 JP2020108967A JP2020108967A JP7491084B2 JP 7491084 B2 JP7491084 B2 JP 7491084B2 JP 2020108967 A JP2020108967 A JP 2020108967A JP 2020108967 A JP2020108967 A JP 2020108967A JP 7491084 B2 JP7491084 B2 JP 7491084B2
Authority
JP
Japan
Prior art keywords
spectroscopic
spectral
measurement
matrix
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020108967A
Other languages
English (en)
Other versions
JP2022006624A (ja
Inventor
政史 金井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020108967A priority Critical patent/JP7491084B2/ja
Priority to US17/355,340 priority patent/US11985299B2/en
Publication of JP2022006624A publication Critical patent/JP2022006624A/ja
Application granted granted Critical
Publication of JP7491084B2 publication Critical patent/JP7491084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0297Constructional arrangements for removing other types of optical noise or for performing calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/26Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2866Markers; Calibrating of scan
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/065Integrating spheres

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)

Description

本発明は、校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置に関する。
従来、カメラで測定された測定値を所定の色座標値に変換する変換行列を算出して、カメラの構成を行う校正装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の装置では、光源であるLEDを切り替えて複数種の色光を順次出力し、各色に対して得られる二次元センサーからのRGB値と、分光装置からのXYZ値とを測定し、RGB値とXYZ値に変換する変換行列を算出する。
特開2015-178995号公報
しかしながら、特許文献1の校正装置及び校正方法では、変換行列を算出する時に用いた光源を使用する場合に、カメラで測定された測定値を精度よく三刺激値に変換することができるが、光源を変更すると三刺激値への変換精度が低下する、との課題がある。
上記特許文献1では、測定値を三刺激値に変換する変換行列を算出しているが、測定値をその他の測色系のパラメーターに変換したり、測定値を適正な測定値に補正したりする変換行列を算出する場合でも同様の課題があり、光源が変更されると、測定値の変換誤差が増大して、変換精度が低下する。
第一態様の校正装置は、所定の分光波長の均一光を出力し、かつ前記分光波長を変更可能な分光光源から、前記均一光の前記分光波長を切り替えて出力し、出力された各前記均一光を校正対象の分光測定器で分光測定した時の測定値を取得する測定値取得部と、前記分光測定器で前記均一光を測定した時の各々の前記分光波長に対する目標値を取得する目標取得部と、前記測定値及び前記目標値に基づいて、前記測定値を変換する変換行列を算出する行列算出部と、を備える。
第二態様に係る校正方法は、分光測定器で測定された測定値を変換する変換行列を算出する校正方法であって、所定の分光波長の均一光を出力し、かつ前記分光波長を変更可能な分光光源から、前記均一光の前記分光波長を切り替えて出力し、出力された各前記均一光を校正対象の分光測定器で分光測定した時の測定値を取得する測定値取得ステップと、前記分光測定器で前記均一光を測定した時の各々の前記分光波長に対する目標値を取得する目標取得ステップと、前記測定値及び前記目標値に基づいて、前記測定値を変換する変換行列を算出する行列算出ステップと、を実施する。
第三態様の校正プログラムは、コンピューターにより読み取り実行可能な校正プログラムであって、前記コンピューターに、第二態様の校正方法を実施させる。
本開示の第四態様の分光カメラは、第一態様の校正装置により算出された前記変換行列が記録される記録部と、前記変換行列を用いて前記分光画像の所定位置の色を補正する色補正部と、を備える。
本開示の第五態様の情報処理装置は、第一態様の校正装置により算出された前記変換行列が記録される記録部と、前記分光カメラが撮像した前記分光画像を表すデータを受け取る通信部と、前記変換行列を用いて前記分光画像の所定位置の色を補正する色補正部と、
を備える。
本開示の一実施形態の校正システムのブロック図。 本実施形態の分光フィルターの一例を示す図。 本実施形態の校正装置の校正方法を示すフローチャート。
以下、本開示に係る一実施形態について説明する。
図1は、本実施形態の校正システム1の概略構成を示すブロック図である。
図1に示すように、校正システム1は、光源部10と、校正対象である分光カメラ30と、校正装置40とを備えている。
[光源部10の構成]
光源部10は、分光光源11と、積分球12と、を備える。
分光光源11は、所定の分光波長の光を出力する光源であり、当該分光波長を複数の波長に切り替えることができる。
例えば、分光光源11は、図1に示すように、光源部111、分光器112、制御回路113を備えて構成されている。
光源部111は、分光カメラ30で撮像可能な分光画像の波長域に対して、略均一な光強度を有する光を出力する光源であり、例えば、ハロゲンランプ等の白色光源により構成されている。
分光器112は、光源部111から出力された光から、所定の分光波長の光を透過させる。分光器112は、例えば、モノクロメーター等を用いることができ、高い分解能で出射する光の波長を切り替える。例えば、本実施形態では、分光器112は、380nmから730nmまでの5nm間隔の71波長の光を順次切り替えて出力する。
制御回路113は、光源部111及び分光器112を制御する回路であり、光源部111から出力する光の発光強度を調整したり、分光器112から透過させる光の分光波長を変更したりする。
積分球12は、内面に、球状の反射面を有する光学部材であり、図示略の入射窓、及び出射窓を有する。入射窓には、分光光源11が接続されており、分光光源11から出力された光が入射される。出射窓には、分光カメラ30が接続されている。
積分球12は、分光光源11から入射された所定の分光波長の光を反射面で反射させることで混合して、面内で光量が均一な均一光を生成する。この均一光の一部が出射窓から分光カメラ30に出射される。
[分光カメラ30の構成]
分光カメラ30は、校正システム1で校正対象となる分光測定器であり、積分球12から出力された画像光を受光して、複数の波長に対する分光画像を撮像する。
分光カメラ30は、図1に示すように、入射光学系31、分光フィルター32、撮像部33、第一通信部34、第一メモリー35、及び第一プロセッサー36を備える。
入射光学系31は、画像光が入射される複数のレンズを備えて構成され、入射した画像光を分光フィルター32及び撮像部33に導く。
図2は、分光フィルター32の一例を示す概略断面図である。
分光フィルター32は、入射した画像光から所定波長の光を透過させる波長可変型のファブリーペロー素子である。この分光フィルター32は、図2に示すように、第一基板21と、第二基板22と、第一基板21に設けられる第一反射膜23と、第二基板22に設けられる第二反射膜24と、ギャップ変更部25とを備える。
この分光器112では、第一反射膜23と第二反射膜24とがギャップを介して対向している。第二基板22は、第二反射膜24が設けられる可動部22Aと、可動部22Aを保持して、第一基板21に対して進退させる保持部22Bとを備える。ギャップ変更部25は、例えば静電アクチュエーター等により構成されており、可動部22Aを第一基板21側に変位させることで、第一反射膜23と第二反射膜24との間のギャップの寸法を変更する。これにより、分光器112を透過する光の波長が、ギャップの寸法に応じて変化する。
撮像部33は、複数の撮像画素を有し、分光フィルター32を透過した光を受光して、分光画像を撮像する。
第一通信部34は、校正装置40等の外部機器と通信する通信装置であり、ネットワークアダプターを包含する。第一通信部34の通信方式は特に限定されず、有線接続されていてもよく、無線通信接続であってもよい。
第一メモリー35は、分光カメラ30を制御する各種情報を記憶する記録部であり、ハードディスク、半導体メモリー等の一般的な記憶装置により構成されている。この第一メモリー35は、校正装置40により生成された変換行列、分光フィルター32を駆動させる駆動テーブル等を記録する。また、第一メモリー35には、分光カメラ30を制御する各種プログラムが記録されている。なお、変換行列の詳細な説明は後述する。
第一プロセッサー36は、第一メモリー35に記憶されたプログラムを読み込み実行することで、撮像制御部361、色補正部362として機能する。
撮像制御部361は、駆動テーブルに基づいて分光フィルター32を制御し、分光フィルター32を透過する光の波長を切り替える。また、撮像部33の露光制御を行って、分光画像を撮像させる。
色補正部362は、変換行列を用いて、分光画像の所定位置の色を補正する。
[校正装置40の構成]
校正装置40は、図1に示すように、第二通信部41、第二メモリー42、第二プロセッサー43等を含んで構成されている。
第二通信部41は、上記と同様な通信装置であり、分光光源11、及び分光カメラ30に接続されており、これらの分光光源11、及び分光カメラ30と通信する。
第二メモリー42は、校正装置40を制御する各種プログラムを記憶する。
第二プロセッサー43は、第二メモリー42に記録されたプログラムを読み込み実行することで、光出力指令部431、測定値取得部432、目標取得部433、露光補正部434、正規化処理部435、及び行列算出部436として機能する。
光出力指令部431は、分光光源11に、予め設定された所定の分光波長の光の出力を指令する。例えば、光出力指令部431は、380nmから730nmまでの5nm間隔の71波長の光を順次出力するように分光光源11に指令を出力する。
測定値取得部432は、分光カメラ30に対して、分光画像の撮像を指令する分光測定指令を送信し、分光カメラ30から分光画像を受信する。
分光カメラ30は、分光測定指令を受信すると、分光フィルター32の透過波長を順次切り替えて、各波長に対する撮像画像である分光画像を撮像する。この際、光源部10から出力される1波長の均一光に対して複数の波長に対応する分光画像を取得する。つまり、分光光源11から出射される光の波長が切り替えられる毎に、複数の波長の分光画像が撮像される。例えば、本実施形態では、上述のように、分光光源11に71波長の光を順次出力するように指令が出され、各波長の光について16波長の分光画像を取得する場合、71×16個の分光画像が得られる。
本実施形態では、1つの均一光に対して、複数の波長の分光画像を撮像するので、各分光画像の各画素の階調値から、各画素の分光スペクトルを求めることができる。ここで、分光画像の各画素の階調値、及び当該階調値により求められる分光スペクトルは、本開示の測定値に相当する。
目標取得部433は、分光カメラ30で均一光を撮像した時の各波長の分光画像における各画素の目標値を取得する。この目標値は、所定波長の均一光を、分光カメラ30で撮像した時の各波長の分光画像の各画素の階調値の理想値、つまり、分光スペクトルの理想値である。
目標値は、例えば、第二メモリー42に予め記憶しておいてもよく、分光カメラ30の第一メモリー35に記憶されており、分光カメラ30から取得されてもよい。
露光補正部434は、分光画像の各画素の階調値を、分光カメラ30の撮像部33で画像光を撮像した際の露光時間で除算して補正する。
なお、本実施形態では、分光カメラ30は、撮像部33で画像光を撮像した際の露光時間を計測し、分光画像に関連付けて校正装置40に出力する。露光補正部434は、測定値取得部432により分光画像とともに受信した露光時間に基づいて、分光画像の各画素の階調値を補正する。
正規化処理部435は、補正点に対する測定値、及び分光基準値を、分光光源11から出力される画像光の輝度値を用いて正規化する。
行列算出部436は、正規化された測定値、及び分光基準値を用いて、測定値を変換する変換行列を算出する。なお、本実施形態では、測定値及び目標値は、いずれも所定波長の均一光を撮像した時の各画素の階調値及び分光スペクトルを示すものであり、行列算出部436は、測定値を、理想とする分光特性に応じた値に補正する変換行列を算出する。
[校正方法]
本実施形態の校正システム1は、校正対象である分光カメラ30の色補正を行う。
図3は、本実施形態の校正方法を示すフローチャートである。
分光カメラ30の校正処理、つまり、変換行列の生成処理では、まず、分光光源11及び分光カメラ30を積分球12に接続し、校正装置40に校正処理の開始を指令する。
これにより、校正装置40は、まず、分光光源11から出力する光の波長を示す波長変数wを初期化してw=1とする(ステップS1)。なお、波長変数wに対応する波長λは予め設定されており、例えば、分光光源11から380nmから730nmの可視光域において5nm間隔の波長の分光画像を撮像する場合、w=1に対応する波長λを380nm、w=2に対応する波長λを385nmとして、波長変数wが1増加する毎に波長λが5nmずつ増加させる。この場合、波長変数wの最大値wは、w=71であり、λ=730である。
そして、光出力指令部431は、分光光源11に対して波長変数wに対応する光を出射させる旨の出力指令を送信する(ステップS2)。ステップS2により分光光源11は、波長変数wに対応した波長λの光を出力し、積分球12から分光カメラ30に波長λの均一光が入力される。
また、校正装置40の目標取得部433は、第二メモリー42から波長λに対する目標値を取得する(ステップS3)。つまり、波長λの光を分光カメラ30で撮像した場合の各波長の分光画像の各画素での理想とする測定値を読み込む。なお、ここでは、ステップS2の後、ステップS3を実施する例を示しているが、当該ステップS3の実施タイミングは、ステップS1からステップS6の間の任意のタイミングで実施することができる。
さらに、校正装置40の測定値取得部432は、分光カメラ30に対して分光測定指令を出力する(ステップS4)。
これにより、分光カメラ30は、積分球12から出射される均一光を撮像し、分光画像を得る。具体的には、撮像制御部361は、分光フィルター32を透過させる光の波長を、複数の波長に切り替え、各波長に対する分光画像をそれぞれ取得する。
ここで、波長変数wの画像光に対する波長λの分光画像をD(x,y,w,λ)とする。なお、(x,y)は、分光画像の画素位置を示す。また、aは、分光画像の波長に対応する画像波長変数であり、最大値はamaxである。例えば、400nm~700nmを20nm間隔で16バンドの分光画像を撮像する場合、amax=16、λ=400nm、λ16=700nmであり、D(x,y,1,λ)からD(x,y,71,λ16)の71×16個の分光画像が得られる。
この際、分光カメラ30は、各波長の分光画像を撮像した際の、撮像部33への均一光の露光時間t(w,λ)をそれぞれ計測し、撮像された分光画像と関連付けて校正装置40に送信する。
校正装置40の測定値取得部432は、分光カメラ30から分光画像D(x,y,w,λ)を受信すると(ステップS5:測定値取得ステップ)、第二メモリー42に記憶する。分光画像D(x,y,w,λ)の各画素の階調値は、本開示における測定値である。
次に、光出力指令部431は、波長変数wが、最大値wであるか否かを判定する(ステップS6)、ステップS6でNoである場合、波長変数wに1を加算して、ステップS2に戻る。つまり、分光光源11から出力する光の波長を変更して、ステップS3からステップS5の処理を繰り返す。
ステップS6でYesと判定されると、ステップS7からステップS10による行列算出ステップを実施する。具体的には、露光補正部434は、下記式(1)に示すように、分光画像D(x,y,w,λ)を、露光時間t(w,λ)で除算して露光補正し、補正分光画像D(x,y,w,λ)を得る(ステップS7)。これにより、各均一光を各波長で撮像する際の露光時間の違いによる光量の変動が補正される。
Figure 0007491084000001
ここで、以降の説明にあたり、以下のように、測定値sと、目標値xと、を定義する。つまり、測定値sは、波長変数wの均一光に対して撮像される波長λから波長λamaxの分光画像の各画素における階調値であり、目標値xは、その理想値である。本実施形態では、1つの分光波長の均一光に対して、分光カメラ30で複数の波長の分光画像を撮像するので、各画素での波長λと測定値sとの関係を示した分光スペクトルが得られる。
Figure 0007491084000002
次に、正規化処理部435は、測定値s及び目標値xを、光源部10から波長変数wに対応する均一光を出力した際の、均一光の輝度値Lで除算して正規化する(ステップS8)。具体的には、正規化処理部435は、下記式(2)(3)に示すように、正規化処理を実施する。
Figure 0007491084000003
つまり、正規化処理部435は、波長変数wの均一光に関する、複数の波長(λ~λamax)の分光画像における各画素の測定値sを、当該均一光の輝度値Lで除算することで正規化測定値Aを求め、取得した目標値xを、当該均一光の輝度値Lで除算することで正規化目標値Bを求める。
よって、正規化測定値A及び正規化目標値Bは、amax×wの行列となり、例えば、上述したように、w=71、amax=16である場合では、16×71の行列となる。また、これらの正規化測定値A及び正規化目標値Bは、補正点の数だけ算出される。
以上の後、行列算出部436は、以下の式(4)に基づいて、測定値を補正する(変換する)変換行列M(x,y)を算出する(ステップS9)。
Figure 0007491084000004
式(4)において、βは、オーバーフィッティング防止のための正則化係数であり、Iは、amax×amaxの単位行列である。また、上付きの「´」は転置行列を示しており、上付きの「-1」は逆行列を示している。
この後、行列算出部436は、算出された変換行列M(x,y)を分光カメラ30に送信する(ステップS10)。これにより、分光カメラ30は、受信した変換行列M(x,y)を第一メモリー35に記憶する。
[画像補正処理]
次に、上記のような変換行列M(x,y)が設定された分光カメラ30での分光画像の画像補正について説明する。
本実施形態の分光カメラ30は、上述のように、変換行列M(x,y)を取得した後、第一メモリー35に格納する。そして、分光カメラ30は、撮像対象物の分光画像を撮像するときに、変換行列M(x,y)を用いて分光画像を補正する。
具体的には、分光カメラ30の撮像制御部361は、ユーザーにより対象物の所定波長の分光画像の撮像が指示されると、分光フィルター32を透過させる光の波長を、指示された波長に切り替えて、分光画像の撮像を実施する。なお、指示された波長が複数である場合は、これらの波長に対する分光画像を順次撮像する。
また、撮像制御部361は、各波長の分光画像の各画素の階調値を、その波長の分光画像を撮像した際の露光時間で除算して、階調値を補正する。
この後、分光カメラ30の色補正部362は、下記式(5)に示すように、分光画像の各画素の階調値S(x,y)を、変換行列M(x,y)で補正、すなわち、適正な階調値に変換する。
Figure 0007491084000005
[本実施形態の作用効果]
本実施形態の校正装置40は、測定値取得部432、目標取得部433、及び行列算出部436として機能する第二プロセッサー43を有する。測定値取得部432は、光源部10からの均一光を校正対象となる分光カメラ30で分光測定した時の測定値を含む分光画像を取得する。目標取得部433は、分光カメラ30で均一光を測定した時の各々の分光波長に対する理想とする測定値である目標値xを取得する。行列算出部436は、測定値s及び目標値xに基づいて、測定値sを所定のパラメーターに変換するための変換行列M(x,y)を算出する。
このため、本実施形態では、分光カメラ30で、所定の分光波長の均一光を測定した際の分光画像の各画素の分光スペクトルが、当該均一光に対する理想とする分光スペクトルとなるような変換行列が算出されることになり、分光カメラ30の分光特性を理想値に設定することができる。これにより、分光画像の撮像時に用いる光源によらず、適正な分光画像を撮像可能となる。
本実施形態では、分光測定器として、複数の波長に対する分光画像を撮像する分光カメラ30を用い、測定値取得部432は、分光画像における各画素の階調値を測定値として取得する。
これにより、分光画像の画素毎に、測定値を目標値に変換する変換行列を算出することができる。すなわち、分光画像の各画素で光電変換特性のバラつきがある場合でも、理想とする分光特性となるように画素毎に変換行列を算出することができ、分光カメラ30で精度の高い分光画像を撮像することが可能となる。
本実施形態では、第二プロセッサー43は、分光画像の階調値を分光カメラ30で均一光を測定した際の露光時間t(w,λ)で除算する露光補正部434として機能する。このため、露光時間の差による階調値のノイズ成分を除去することができる。
[変形例]
なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、及び各実施形態を適宜組み合わせる等によって得られる構成は本発明に含まれるものである。
(変形例1)
上記実施形態では、分光画像の各画素に対する変換行列M(x,y)を算出したが、分光画像における所定の補正点(x,y)に対する変換行列M(x,y)のみを算出してもよい。
この場合、分光カメラ30において、分光画像の補正処理を実施する場合、各画素に対する変換行列M(x,y)を、補正点(x,y)に対する変換行列M(x,y)に基づいて、内挿補間により求めればよい。
(変形例2)
上記実施形態では、所定波長の均一光に対する分光画像の各画素での階調値を測定値として、これらの測定値を、式(2)のような行列式として分光スペクトルとして扱うことで、式(4)に基づく変換行列M(x,y)を算出した。つまり、上記実施形態では、測定値の分光スペクトルが、理想とする分光スペクトルとなるように、言い換えると、分光カメラ30の分光特性が、理想とする分光特性となるように測定値を補正する変換行列を算出した。
これに対して、行列算出部436は、所定波長の均一光に対する分光画像の各画素での分光スペクトルを測定値とし、当該分光スペクトルを、他の色座標系の色度に変換する変換行列を算出してもよい。この場合、目標値として、当該色座標系における目標の色度を用いればよい。例えば、目標値として、三刺激値を用いてもよく、RGB値を用いてもよく、その他、分光スペクトルとは異なるいかなるパラメーターに変換してもよい。
(変形例3)
上記実施形態では、式(4)により、最小二乗法に基づいて変換行列を算出したが、これに限定されない。行列算出部436は、例えば、主成分回帰法や、部分的最小二乗回帰法を用いて変換行列を算出してもよい。
(変形例4)
光源部10として、分光光源11から積分球12に画像光を入射させて均一光を生成する例を示したが、これに限定されない。例えば、光源からの光を拡散反射させる拡散反射板に照射し、拡散反射板で反射された光を分光カメラ30で測定してもよい。
(変形例5)
上記実施形態では、分光フィルター32として、図2に示すようなファブリーペロー素子を例示したが、これに限定されない。分光フィルター32としては、その他、AOTFやLCTF等の各種分光素子を用いることができる。
(変形例6)
上記実施形態では、分光光源11が、光源部111からの光を分光器112により分光させることで、光源部10から、所定波長の均一光を出力する構成としたが、これに限定されない。例えば、分光光源11が、それぞれ出射光の波長が異なる複数種の光源部を備える構成とし、点灯させる光源部を切り替えることで、所定波長の光を出力する構成としてもよい。
(変形例7)
校正装置40が露光補正部434を備える構成としたが、分光カメラ30の撮像制御部361が、撮像された分光画像の階調値を露光補正して校正装置40に出力するように構成されていてもよい。この場合、校正装置40の露光補正部434は不要にできる。
また、分光カメラ30の撮像部33が、受光する光の光量に応じて露光時間を変更しない場合では、露光補正を実施しなくてもよい。
(変形例8)
上記実施形態では、分光測定器として、分光カメラ30を例示したが、所定の測定点に対する分光測定処理を実施する分光測定器であってもよい。
(変形例9)
上記実施形態では、分光カメラ30と、校正装置40と、が別々の装置として構成される。このような構成に代えて、分光カメラ30と、校正装置40とが、1つの情報処理装置に含まれていてもよい。このような情報処理装置の例として、スマートフォン、またはタブレットコンピューターが挙げられる。当該情報処理装置は、分光カメラ30、校正装置40と、表示装置(不図示)と、を備える。この場合、例えば、校正装置40内の第二プロセッサー43は、第二メモリー42に記憶された所定のコンピューター読み取り可能なプログラムを実行することにより、分光カメラ30の出力に基づいて対象物の判別処理を実施し、当該処理結果を表示装置に表示するように構成される。
(変形例10)
上記実施形態では、分光カメラ30内の第一プロセッサー36が色補正部362の機能を有している。このような構成に代えて、他の実施形態では、色補正部362が、分光カメラ30以外の情報処理装置(不図示)の内部に存在してもよい。この場合、当該情報処理装置は、メモリー、プロセッサー、および通信装置を有し、当該情報処理装置のプロセッサーは、例えば、以下を実行するように、構成またはプログラムされていればよい。まず、当該プロセッサーは、通信装置を介して、校正装置40から変換行列M(x,y)を表すデータを受け取り、メモリーに格納する。また、プロセッサーは、分光カメラ30から分光画像の各画素の階調値S(x,y)を表すデータを受け取り、メモリーに格納する。そして、プロセッサーは、記憶された変換行列M(x、y)と階調値S(x、y)とに基づいて階調値X(x、y)を導出する。さらに、プロセッサーは、導出された階調値X(x、y)を表すデータを、メモリーに格納し、および/または、分光カメラ30や他の情報処理装置によって使用されるように通信装置を介して出力する。
[本開示のまとめ]
本開示の第一態様の校正装置は、所定の分光波長の均一光を出力し、かつ前記分光波長を変更可能な分光光源から、前記均一光の前記分光波長を切り替えて出力し、出力された各前記均一光を校正対象の分光測定器で分光測定した時の測定値を取得する測定値取得部と、前記分光測定器で前記均一光を測定した時の各々の前記分光波長に対する目標値を取得する目標取得部と、前記測定値及び前記目標値に基づいて、前記測定値を変換する変換行列を算出する行列算出部と、を備える。
これにより、校正装置は、分光測定器で所定の分光波長の均一光を測定した際の測定値が、当該均一光に対する理想とする目標値となるような変換行列を算出すことができる。よって、分光測定時に用いる光源によらず、高精度な分光測定を実施することができる。
第一態様の校正装置において、前記分光測定器は、複数の波長に対する分光画像を撮像する分光カメラであり、前記測定値取得部は、前記分光画像における所定の画素の階調値を前記測定値として取得する。
これにより、分光画像の画素毎に、測定値を目標値に変換する変換行列を算出することができる。すなわち、分光画像の各画素で光電変換特性のバラつきがある場合でも、理想とする分光特性となるように画素毎に変換行列を算出することができ、分光カメラで精度の高い分光画像を撮像することが可能となる。
第一態様の校正装置は、前記分光画像の前記階調値を前記分光カメラで前記均一光を測定した際の露光時間で除算して露光補正する露光補正部を備える。
これにより、露光時間の差による分光画像の階調値のノイズ成分を除去することができる。
本開示の第二態様に係る校正方法は、分光測定器で測定された測定値を変換する変換行列を算出する校正方法であって、所定の分光波長の均一光を出力し、かつ前記分光波長を変更可能な分光光源から、前記均一光の前記分光波長を切り替えて出力し、出力された各前記均一光を校正対象の分光測定器で分光測定した時の測定値を取得する測定値取得ステップと、前記分光測定器で前記均一光を測定した時の各々の前記分光波長に対する目標値を取得する目標取得ステップと、前記測定値及び前記目標値に基づいて、前記測定値を変換する変換行列を算出する行列算出ステップと、を実施する。
これにより、上記第一態様と同様、分光測定時に用いる光源によらず、分光測定器で高精度な分光測定を実施可能な変換行列を算出することができる。
本開示の第三態様の校正プログラムは、コンピューターにより読み取り実行可能な校正プログラムであって、前記コンピューターに、第二態様の校正方法を実施させる。
これにより、コンピューターにより、第二態様に記載の校正方法を実施させることができ、上記第一態様と同様、分光測定時に用いる光源によらず、分光測定器で高精度な分光測定を実施可能な変換行列を算出することができる。
本開示の第四態様の分光カメラは、第一態様の校正装置により算出された前記変換行列が記録される記録部と、前記変換行列を用いて前記分光画像の所定位置の色を補正する色補正部と、を備える。
これにより、分光カメラは、分光画像の撮像時の外光(光源)によらず、高精度な分光画像の撮像が可能となる。
本開示の第五態様の情報処理装置は、第一態様の校正装置により算出された前記変換行列が記録される記録部と、前記分光カメラが撮像した前記分光画像を表すデータを受け取る通信部と、前記変換行列を用いて前記分光画像の所定位置の色を補正する色補正部と、
を備える。
これにより、情報処理装置は、分光カメラで分光画像の撮像を行う時の外光(光源)によらず、分光カメラで撮像された分光画像の色補正を高精度に実施することができる。
1…校正システム、10…光源部、11…分光光源、12…積分球、30…分光カメラ、31…入射光学系、32…分光フィルター、33…撮像部、34…第一通信部、35…第一メモリー、36…第一プロセッサー、40…校正装置、41…第二通信部、42…第二メモリー、43…第二プロセッサー、111…光源部、112…第一分光フィルター、113…制御回路、361…撮像制御部、362…色補正部、431…光出力指令部、432…測定値取得部、433…目標取得部、434…露光補正部、435…正規化処理部、436…行列算出部。

Claims (7)

  1. 所定の分光波長の均一光を出力し、かつ前記分光波長を変更可能な分光光源から、前記均一光の前記分光波長を切り替えて出力し、出力された各前記均一光を校正対象の分光測定器で分光測定した時の測定値を取得する測定値取得部と、
    前記分光測定器で前記均一光を測定した時の各々の前記分光波長に対する目標値を取得する目標取得部と、
    前記測定値及び前記目標値に基づいて、前記測定値を変換する変換行列を算出する行列算出部と、を備え
    前記測定値取得部は、前記均一光の前記分光波長をw 個の波長に順次切り替えて、w 個のそれぞれの前記均一光に対して、前記分光測定器でw より少ないa max 個の測定波長で前記分光測定を実施して前記測定値を取得し、
    前記目標取得部は、w 個のそれぞれの前記均一光に対する、a max 個の前記測定波長に対する前記目標値を取得し、
    前記測定値及び前記目標値は、それぞれ、a max ×w の行列であり、前記測定値の行列をA、前記目標値の行列をBとし、転置行列を「´」の添え字で示し、逆行列を「-1」の添え字で示し、オーバーフィッティング防止のための正規化係数をβとし、a max ×a max の単位行列をIとした場合に、
    前記行列算出部は、下記式により変換行列M(x,y)を算出する
    Figure 0007491084000006
    ことを特徴とする校正装置。
  2. 請求項1に記載の校正装置において、
    前記分光測定器は、複数の波長に対する分光画像を撮像する分光カメラであり、
    前記測定値取得部は、前記分光画像における所定の画素の階調値を前記測定値として取得する
    ことを特徴とする校正装置。
  3. 請求項2に記載の校正装置において、
    前記分光画像の前記階調値を、前記分光カメラで前記均一光を測定した際の露光時間で除算して露光補正する露光補正部を備える
    ことを特徴とする校正装置。
  4. 分光測定器で測定された測定値を変換する変換行列を算出する校正方法であって、
    所定の分光波長の均一光を出力し、かつ前記分光波長を変更可能な分光光源から、前記均一光の前記分光波長を切り替えて出力し、出力された各前記均一光を校正対象の分光測定器で分光測定した時の測定値を取得する測定値取得ステップと、
    前記分光測定器で前記均一光を測定した時の各々の前記分光波長に対する目標値を取得する目標取得ステップと、
    前記測定値及び前記目標値に基づいて、前記測定値を変換する変換行列を算出する行列算出ステップと、を実施し、
    前記測定値取得ステップにおいて、前記均一光の前記分光波長をw 個の波長に順次切り替えて、w 個のそれぞれの前記均一光に対して、前記分光測定器でw より少ないa max 個の測定波長で前記分光測定を実施して前記測定値を取得し、
    前記目標取得ステップにおいて、w 個のそれぞれの前記均一光に対する、a max 個の前記測定波長に対する前記目標値を取得し、
    前記測定値及び前記目標値は、それぞれ、a max ×w の行列であり、前記測定値の行列をA、前記目標値の行列をBとし、転置行列を「´」の添え字で示し、逆行列を「-1」の添え字で示し、オーバーフィッティング防止のための正規化係数をβとし、a max ×a max の単位行列をIとした場合に、
    前記行列算出ステップにおいて、下記式により変換行列M(x,y)を算出する
    Figure 0007491084000007
    ことを特徴とする校正方法。
  5. コンピューターにより読み取り実行可能な校正プログラムであって、
    前記コンピューターに、請求項4に記載の校正方法を実施させる
    ことを特徴とする校正プログラム。
  6. 請求項2または請求項3に記載の校正装置により算出された前記変換行列が記録される記録部と、
    前記変換行列を用いて前記分光画像の所定位置の色を補正する色補正部と、
    を備えることを特徴とする分光カメラ。
  7. 請求項2または請求項3に記載の校正装置により算出された前記変換行列が記録される記録部と、
    前記分光カメラが撮像した前記分光画像を表すデータを受け取る通信部と、
    前記変換行列を用いて前記分光画像の所定位置の色を補正する色補正部と、
    を備えることを特徴とする情報処理装置。
JP2020108967A 2020-06-24 2020-06-24 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置 Active JP7491084B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020108967A JP7491084B2 (ja) 2020-06-24 2020-06-24 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
US17/355,340 US11985299B2 (en) 2020-06-24 2021-06-23 Calibration device, calibration method, calibration program, spectroscopic camera, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020108967A JP7491084B2 (ja) 2020-06-24 2020-06-24 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2022006624A JP2022006624A (ja) 2022-01-13
JP7491084B2 true JP7491084B2 (ja) 2024-05-28

Family

ID=79030761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020108967A Active JP7491084B2 (ja) 2020-06-24 2020-06-24 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置

Country Status (2)

Country Link
US (1) US11985299B2 (ja)
JP (1) JP7491084B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022062821A (ja) * 2020-10-09 2022-04-21 セイコーエプソン株式会社 画像解析装置、画像解析方法、及び画像解析プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010078418A (ja) 2008-09-25 2010-04-08 Seiko Epson Corp 分光測定装置、校正装置、分光測定方法、および校正方法
JP2010190729A (ja) 2009-02-18 2010-09-02 Seiko Epson Corp 分光感度特性測定装置、および分光感度特性測定方法
JP2015228641A (ja) 2014-05-07 2015-12-17 株式会社リコー 撮像装置、露光調整方法およびプログラム
JP2017083314A (ja) 2015-10-28 2017-05-18 セイコーエプソン株式会社 測定装置、電子機器、及び測定方法
JP2017147585A (ja) 2016-02-17 2017-08-24 セイコーエプソン株式会社 データ転送システム、データ転送装置、受信装置、及びデータ転送方法
US20180202863A1 (en) 2017-01-16 2018-07-19 Oto Photonics Inc. Spectrum measurement system, spectrum measurement device, optical measurement method and optical calibration method
JP2019113494A (ja) 2017-12-26 2019-07-11 セイコーエプソン株式会社 分光測定装置、電子機器及び分光測定方法
JP2020176873A (ja) 2019-04-16 2020-10-29 セイコーエプソン株式会社 校正装置、校正方法、分光カメラ、及び表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015178995A (ja) 2014-03-19 2015-10-08 株式会社オプトコム 色調校正装置、撮像装置及び色調検査装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010078418A (ja) 2008-09-25 2010-04-08 Seiko Epson Corp 分光測定装置、校正装置、分光測定方法、および校正方法
JP2010190729A (ja) 2009-02-18 2010-09-02 Seiko Epson Corp 分光感度特性測定装置、および分光感度特性測定方法
JP2015228641A (ja) 2014-05-07 2015-12-17 株式会社リコー 撮像装置、露光調整方法およびプログラム
JP2017083314A (ja) 2015-10-28 2017-05-18 セイコーエプソン株式会社 測定装置、電子機器、及び測定方法
JP2017147585A (ja) 2016-02-17 2017-08-24 セイコーエプソン株式会社 データ転送システム、データ転送装置、受信装置、及びデータ転送方法
US20180202863A1 (en) 2017-01-16 2018-07-19 Oto Photonics Inc. Spectrum measurement system, spectrum measurement device, optical measurement method and optical calibration method
JP2019113494A (ja) 2017-12-26 2019-07-11 セイコーエプソン株式会社 分光測定装置、電子機器及び分光測定方法
JP2020176873A (ja) 2019-04-16 2020-10-29 セイコーエプソン株式会社 校正装置、校正方法、分光カメラ、及び表示装置

Also Published As

Publication number Publication date
US11985299B2 (en) 2024-05-14
US20210409679A1 (en) 2021-12-30
JP2022006624A (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
US10168215B2 (en) Color measurement apparatus and color information processing apparatus
JP5541644B2 (ja) 分光計の較正パラメータを決定する方法
JP6045130B2 (ja) 歯色調マッピングのための方法
JP7207124B2 (ja) 校正装置、校正方法、分光カメラ、及び表示装置
JP2012020130A (ja) 歯色調マッピング
US10616458B2 (en) Imaging apparatus and image processing method
US10928250B2 (en) Projector, color correction system, and control method for projector
JP7428090B2 (ja) 校正装置、校正方法、校正プログラム、及び分光カメラ
JP7491084B2 (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
JP2020036198A5 (ja)
JP7472718B2 (ja) 校正装置、校正方法、及び校正プログラム
JP7172294B2 (ja) プロジェクター、色補正システム、及びプロジェクターの制御方法
EP3993382B1 (en) Colour calibration of an imaging device
CN114252947A (zh) 光学滤波器、分光模块以及分光测定方法
WO2020003673A1 (ja) イメージセンサの分光感度測定方法、分光感度測定装置の検査方法及び分光感度測定装置
WO2019167806A1 (en) Method for setting colorimetric conversion parameters in a measuring device
CN111194399A (zh) 用于测量光之装置、系统及方法
US20230137388A1 (en) Image processing method, and spectral camera system
JP7047354B2 (ja) 撮像装置および撮像装置の制御プログラム
WO2020100623A1 (ja) 撮像装置
JP2022177441A (ja) 分光計測器、及びコンピュータープログラム
JP2023094872A (ja) コンピュータープログラム、分光測定装置、及び分光測定方法
CN116888455A (zh) 信息处理装置、成像系统、信息处理方法及程序
LV15705B (lv) Paņēmiens un ierīce fotokameras relatīvās spektrālās jutības noteikšanai pie izvēlētiem viļņu garumiem
JP2011097196A (ja) 色処理装置および色処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7491084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150