WO2022070783A1 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

画像処理装置、画像処理方法、プログラムおよび記録媒体においては、外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シート、および、測定用シートの上に設けられた規則的なパターンを含む撮像対象物の撮像画像の画像信号を取得し、撮像対象物におけるパターンの画像信号およびパターンの分光特性値に基づいて、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を、撮像画像における測定用シートの画像信号に対して実施する。

Description

画像処理装置、画像処理方法、プログラムおよび記録媒体

　本発明は、測定用シートの発色濃度に基づいて、測定用シートに加えられた外部エネルギー量の面分布を推定する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

　外部エネルギーが加えられたことにより、外部エネルギー量に応じた所定の濃度に発色した測定用シートを、カメラ等の撮像装置により撮像し、その撮像画像の画素毎の画像信号（濃度値）から、測定用シートに加えられた外部エネルギー量の面分布を推定することが行われている。

　本発明の参考となる先行技術文献として、例えば特許文献１および２等がある。

　特許文献１には、一定濃度領域を有するシート状のマーカを発色シートに重ねた状態で発色シートの測定領域を撮影し、撮影した画像に含まれる一定濃度領域の濃度の差から測定領域における光量の変動を取得し、この光量変動に基づいて測定領域内の色の濃度を補正し、補正した測定領域における色の濃度を、発色シートに印加したエネルギー値に変換するエネルギー測定システムが記載されている。

　特許文献２には、キードット、情報ドット、格子ドットを所定の規則に則って配列することにより生成されたドットパターンが印刷された媒体面上に赤外光または紫外光を照射して、その反射光を光学読取手段で読み取ってドットパターンを認識して、これに対応したデータを出力するドットパターン読取システムが記載されている。

特開２０１５－２１５２９１号公報 国際公開第２００６／０４０８３２号

　ところで、外部照明による照明光の環境下で測定用シートを撮像する場合、測定用シートの発色濃度を正確に撮像するためには、パラソル等を使用して外部照明による直接光を間接光に変換し、更に多方向から間接光を重ねることにより、撮像に適した照明光の強度およびその面分布を実現する必要がある。しかし、このような外部照明のための照明設備を設置して調整することは煩雑であり、天井の照明具およびデスクライトの照明具等だけを使用して測定用シートを撮像する方が圧倒的に簡便である。

　ところが、天井の照明具およびデスクライトの照明具等だけを使用して測定用シートを撮像する場合、言い換えると、複数の互いに異なる色の照明光が混在するミックス光源を使用して測定シートを撮像する場合、照明光の強度の面分布が不均一となり、かつ、複数の互いに異なる照明具による照明光が重なり合うことにより、照明光の分光分布（スペクトル）が測定シートの撮像画像上の場所によって異なるという現象が発生することが知られている。

　このような照明光の強度の面分布が不均一となり、照明光の分光分布が測定用シートの撮像画像の場所によって異なるという環境下で測定用シートを撮像すると、同一濃度に発色した測定用シート内の領域に対応する測定用シートの撮像画像内の領域において、本来無いはずの画像信号の分布が生じる。この本来無いはずの画像信号の分布は、前述の照明光の強度の面分布が不均一であり、照明光の分光分布が測定用シートの撮像画像の場所によって異なることが原因である。

　このように、ミックス光源を使用して測定用シートを撮像する場合、本来無いはずの画像信号の分布が原因となり、測定用シートの画素毎の撮像画像から、測定用シートに加えられた外部エネルギー量の面分布を正確に推定することができないという問題がある。

　本発明の目的は、任意の照明光の下で撮像された測定用シートの撮像画像の画像信号から、測定用シートに加えられた外部エネルギー量の面分布を正確に推定することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

　上記目的を達成するために、本発明は、外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シート、および、測定用シートの上に設けられた規則的なパターンを含む撮像対象物の撮像画像の画像信号を取得し、
　撮像対象物におけるパターンの画像信号およびパターンの分光特性値に基づいて、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を、撮像画像における測定用シートの画像信号に対して実施する、画像処理方法を提供する。

　ここで、センサーによって撮像された撮像対象物の第１分光感度に対応した第１撮像画像の画像信号および第２分光感度に対応した第２撮像画像の画像信号を取得し、
　第１撮像画像における測定用シートの第１分光感度に対応した第１画像信号と第２撮像画像における測定用シートの第２分光感度に対応した第２画像信号との第１比を画素毎に算出し、
　第１撮像画像におけるパターンの第１分光感度に対応した第３画像信号と第２撮像画像におけるパターンの第２分光感度に対応した第４画像信号との第２比を画素毎に算出し、
　パターンの第１分光感度に対応した第１分光特性値とパターンの第２分光感度に対応した第２分光特性値との第３比を算出し、
　第２比および第３比に基づいて、処理を第１比に対して実施することにより、第１撮像画像における測定用シートの第１分光感度に対応した第３分光特性値と第２撮像画像における測定用シートの第２分光感度に対応した第４分光特性値との第４比を画素毎に算出することが好ましい。

　また、第１分光感度および第２分光感度の少なくとも一方に対応する波長帯域は、３０ｎｍ以下の半値全幅を有することが好ましい。

　また、第４比と、測定用シートに加えられた外部エネルギー量と、の関係に基づいて、第４比から、測定用シートに加えられた外部エネルギー量の面分布を推定することが好ましい。

　また、パターンは、測定用シートの上に形成されていることが好ましい。

　また、パターンは、抑え板の上に形成され、抑え板のパターンが形成された領域は、少なくとも第１分光感度及び第２分光感度において、反射光成分が主となり、抑え板のパターンが形成されていない領域は、少なくとも第１分光感度及び第２分光感度において、透過光成分が主となる光学特性を有し、抑え板が測定用シートの上に重ねて配置されていることが好ましい。

　また、抑え板は、照明光が直接照射される面に光の散乱性を有し、測定用シートと接する面にパターンが形成されていることが好ましい。

　また、測定用シートを、支持板の均一な反射率を有する面の上に配置し、測定用シートの上に抑え板を重ねて配置した状態で測定用シートおよびパターンを含む撮像対象物を撮像することが好ましい。

　また、位置固定機構を用いて、支持板、測定用シートおよび抑え板の位置を固定した状態で測定用シートおよびパターンを含む撮像対象物を撮像することが好ましい。

　また、パターンの色は、測定用シートの発色部の色とは異なる色相を有することが好ましい。

　また、撮像画像から互いに色相が異なる複数の色相領域を抽出し、
　パターンの配置情報に基づいて、複数の色相領域の中からパターンの領域を特定し、
　２次元補間技術を用いて、パターンが存在しない領域を補間することにより補間後のパターンの画像信号を生成し、補間後のパターンの画像信号に基づいて、処理を撮像対象物における測定用シートの画像信号に対して実施することが好ましい。

　また、撮像画像から互いに色相が異なる複数の色相領域を抽出し、
　パターンの配置情報に基づいて、複数の色相領域の中から測定用シートの領域を特定し、
　２次元補間技術を用いて、パターンが存在する領域を補間することにより補間後の測定用シートの画像信号を生成し、処理を補間後の測定用シートの画像信号に対して実施することが好ましい。

　また、本発明は、プロセッサを備え、プロセッサが、
　外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シート、および、測定用シートの上に設けられた規則的なパターンを含む撮像対象物の撮像画像の画像信号を取得し、
　撮像対象物におけるパターンの画像信号およびパターンの分光特性値に基づいて、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を、撮像画像における測定用シートの画像信号に対して実施する、画像処理装置を提供する。

　また、本発明は、上記の画像処理方法の各々の工程をコンピュータに実行させるためのプログラムを提供する。

　また、本発明は、上記の画像処理方法の各々の工程をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

　本発明によれば、撮像画像における測定用シートの画像信号から、照明光の強度の面分布および照明光の分光分布による影響を打ち消すことができる。従って、ユーザは、照明光の強度の面分布および照明光の分光分布を考慮することなく、任意の照明光の下で測定対象物を撮像し、その撮像画像における測定用シートの画像信号（発色濃度）から、測定用シートに加えられた外部エネルギー量の面分布を正確に推定することができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 プロセッサの内部構成を表す一実施形態のブロック図である。 画像処理装置の動作を表すフローチャートである。 撮像対象物の構成を表す一例の平面概念図である。 測定用シートの構成を表す一例の平面概念図である。 抑え板の構成を表す一例の平面概念図である。 抑え板の構成を表す一例の側面外面図である。 抑え板と測定用シートとの位置関係を表す一例の側面概念図である。 撮像対象物を撮像する場合の構成を表す一例の側面概念図である。

　以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

　図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、測定用シートの発色濃度に基づいて、測定用シートに加えられた外部エネルギー量の面分布を推定する。本実施形態の画像処理装置１０は、カメラ機能を有するスマートフォンであって、図１に示すように、撮像部１２と、表示部１４と、操作部１６と、記憶部１８と、プロセッサ２０と、を備えている。表示部１４、操作部１６、撮像部１２、記憶部１８およびプロセッサ２０は、内部バス３４を介して双方向に接続されており、互いにデータの送受信が可能である。

　撮像部１２は、センサーを有し、プロセッサ２０の制御により、任意の照明光の下で、センサーを用いて撮像対象物を撮像することにより、その撮像画像の画像信号を出力する。本実施形態の撮像部１２は、スマートフォンのカメラ機能に相当し、センサーを用いて測定用シートおよびパターンを含む撮像対象物を撮像することにより、その撮像画像の画像信号を出力する。より詳しくは、撮像部１２は、第１分光感度および第２分光感度に対応する第１撮像画像の画像信号および第２撮像画像の画像信号を出力する。

　本実施形態の撮像部１２は、第１分光感度を有する第１センサーおよび第２分光感度を有する第２センサーを含む２つのセンサーを用いて撮像対象物を同時に撮像することにより、第１撮像画像の画像信号および第２撮像画像の画像信号を出力する。この場合、１回の撮像により、第１分光感度に対応する第１撮像画像の画像信号および第２分光感度に対応する第２撮像画像の画像信号を同時に出力することができる。

　なお、撮像部１２は、センサーおよび第１分光感度に対応する波長帯域の光を透過させる第１光学フィルタを用いて撮像対象物を撮像することにより、第１分光感度に対応する第１撮像画像の画像信号を出力し、続いて、センサーおよび第２分光感度に対応する波長帯域の光を透過させる第２光学フィルタを用いて撮像対象物を撮像することにより、第２分光感度に対応する第２撮像画像の画像信号を出力してもよい。つまり、２回の撮像により、第１分光感度に対応する第１撮像画像の画像信号および第２分光感度に対応する第２撮像画像の画像信号を順次出力してもよい。

　第１分光感度および第２分光感度の少なくとも一方に対応する波長帯域は、３０ｎｍ以下の半値全幅を有する。なお、第１分光感度および第２分光感度の両方の波長帯域が、３０ｎｍ以下の半値全幅を有することが望ましい。また、第１分光感度および第２分光感度に対応する波長帯域は、より狭帯域であるのが望ましく、例えば２０ｎｍ以下がより望ましく、１０ｎｍ以下が最も望ましい。

　ここで、照明光の分光分布が変わると、測定用シートの色材の分光特性値に対応する濃度（色味）が異なって見える。この現象は、一般的には演色性の問題である。これに対し、撮像対象物の撮像時の分光感度に対応する波長帯域が、３０ｎｍ以下の半値全幅を有する狭帯域であれば、後述するように、撮像画像における測定用シートの分光特性値の第４比に基づいて、測定用シートに加えられた外部エネルギー量の面分布を推定することにより、演色性の影響をほぼ無くすことができる。

　測定用シートは、紙、シートおよびフィルム等のようなシート状のものであって、外部エネルギーが加えられたことにより、外部エネルギー量に応じた所定の形状および所定の濃度（色味）に発色した発色部が、その少なくとも一方の表面に形成されている。本実施形態の測定用シートは、図４に示すように、ドーナツ状の発色部がその中央部に形成されている。測定用シートは、特に限定されないが、例えば感圧シート、感熱シート、および紫外線（あるいは近赤外線、中赤外線）シート等を例示することができる。

　感圧シート、感熱シートおよび紫外線シート等は、それぞれ、圧力、温度および紫外線（あるいは近赤外線、中赤外線）等の外部エネルギーが加えられたことにより、加えられた外部エネルギー量に応じた所定の形状および所定の濃度に発色する。測定用シートは、その表面に形成された発色部の形状および濃度に基づいて、その測定用シートに加えられた外部エネルギー量の面分布を計測することができる。

　なお、感圧シートに加えられた圧力には、瞬間圧力および持続圧力の２種類がある。瞬間圧力は、測定用シートに瞬間的に加えられた外部エネルギーの大きさである。一方、持続圧力は、測定用シートに持続的に加えられた外部エネルギーの大きさの時間積分である。外部エネルギー量とは、瞬間圧力による外部エネルギーの大きさおよび持続圧力による外部エネルギーの大きさの時間積分の両方を含む。感熱シートおよび紫外線シート等についても同様である。感熱シートの場合、熱源に接触させたときの発色濃度は熱源の温度と接触時間とによって変わる（温度の時間積分エネルギー量）。紫外線シートの場合、紫外線を受けたときの発色濃度は受けた紫外線の光量と受光時間とに対応する（光量の時間積分エネルギー量）。

　パターンは、測定用シートの上に設けられた規則的な繰り返しパターンであって、詳細は後述するが、測定用シートの画像信号から、撮像対象物の撮像時の照明光の分光分布の影響を打ち消すために使用される。本実施形態のパターンは、図４に示すように、所定の色の複数の円形のドットが、測定用シートの上下方向および左右方向に対して規則的に配列されたドットパターンであって、予め測定用シートの上に形成されている。

　パターンの色は、測定用シートの発色部の色と同じであってもよいが、本実施形態の場合、測定用シートの発色部の色とは異なる色相を有する。色の組み合わせは、特に限定されないが、例えば測定用シートの発色部の色が赤色の場合、パターンの色をグレーとする。また、測定用シートの発色部の色が緑色の場合、パターンの色を黄色とし、測定用シートの発色部の色が青色の場合、パターンの色を赤色としてもよい。

　ドットパターンを構成するドットの形状、大きさ、配置間隔および個数等は、特に限定されない。例えば、三角形および四角形等の複数の多角形のドット、星型のドットまたは楕円のドット等からなるドットパターンでもよい。あるいは、パターンは、ドットパターンに限定されず、左右方向に延びる複数の直線と、これと直交する上下方向に延びる複数の直線と、によって構成される格子パターン等でもよい。

　表示部１４は、プロセッサ２０の制御により、各種の画像および情報等を表示する。表示部１４は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Organic Electroluminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ又は電子ペーパー等のディスプレイ等によって構成される。本実施形態の表示部１４には、画像処理装置１０のユーザによるタッチ操作を受け付けるタッチパネルが設けられている。

　操作部１６は、プロセッサ２０の制御により、ユーザの操作を受け付ける。操作部１６は、画像処理装置１０の筐体の外表面に設けられた複数のボタン、および、表示部１４に設けられているタッチパネルのグラフィカルユーザインタフェイス等を含む。ユーザは、撮像対象物を撮像したり、各種の設定項目を設定したりする場合に、操作部１６を通じて、対応する操作を行う。

　記憶部１８は、プロセッサ２０の制御により、撮像部１２によって撮像された撮像対象物の撮像画像、すなわち、その画像信号等を記憶する。本実施形態の記憶部１８は、撮像部１２によって撮像された撮像対象物の撮像画像を記憶するメモリ装置等である。また、記憶部１８には、プロセッサ２０によって実行されるプログラム及び各種のデータ等が格納されている。

　プロセッサ２０は、画像処理装置１０の各部を制御し、撮像対象物の撮像、画像の記憶、画像の表示等を含む各種の処理を実行する。プロセッサ２０は、図２に示すように、画像信号取得部２２と、比率算出部２４と、画像信号処理部２８と、面分布推定部３０と、表示処理部３２と、を備えている。記憶部１８に記憶されたプログラムがプロセッサ２０によって実行されることによって、プロセッサ２０は、各々の処理部として機能する。画像信号取得部２２、比率算出部２４、画像信号処理部２８、面分布推定部３０および表示処理部３２は、内部バス３４を介して双方向に接続されており、互いにデータの送受信が可能である。

　画像信号取得部２２は、操作部１６を通じたユーザの操作（撮像の指示）に応じて、撮像部１２の動作を制御し、センサーによって撮像された撮像対象物の撮像画像の画像信号を取得する。本実施形態の画像信号取得部２２は、センサーによって撮像された撮像対象物の第１分光感度に対応した第１撮像画像の画像信号および第２分光感度に対応した第２撮像画像の画像信号を取得する。

　比率算出部２４は、撮像対象物の撮像画像の互いに異なる分光感度に対応した画像信号の比率を算出する。また、比率算出部２４は、パターンの互いに異なる分光感度に対応した分光特性値、すなわち、分光反射率または分光透過率の比率を算出する。
　本実施形態の比率算出部２４は、第１撮像画像における測定用シートの第１分光感度に対応した第１画像信号と第２撮像画像における測定用シートの第２分光感度に対応した第２画像信号との第１比を画素毎に算出する。また、比率算出部２４は、第１撮像画像におけるパターンの第１分光感度に対応した第３画像信号と第２撮像画像におけるパターンの第２分光感度に対応した第４画像信号との第２比を画素毎に算出する。さらに、比率算出部２４は、パターンの第１分光感度に対応した第１分光特性値とパターンの第２分光感度に対応した第２分光特性値との第３比を算出する。

　画像信号処理部２８は、撮像対象物におけるパターンの画像信号およびパターンの分光特性値に基づいて、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を、撮像画像における測定用シートの画像信号に対して実施する。より詳しくは、画像信号処理部２８は、パターンの画像信号の第２比およびパターンの分光特性値の第３比に基づいて、前述の撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を、測定用シートの画像信号の第１比に対して実施する。これにより、第１撮像画像における測定用シートの第１分光感度に対応した第３分光特性値と、第２撮像画像における測定用シートの第２分光感度に対応した第４分光特性値と、の第４比が画素毎に算出される。

　面分布推定部３０は、測定用シートの分光特性値の第４比と、測定用シートに加えられた外部エネルギー量と、の関係に基づいて、画像信号処理部２８によって算出された第４比から、測定用シートに加えられた外部エネルギー量の面分布を推定する。

　測定用シートの分光特性値の第４比と、測定用シートに加えられた外部エネルギー量と、の関係は、第４比に基づいて外部エネルギー量が一意に定まる写像関係にあり、この写像関係は既知である。この写像関係に基づいて、第４比と外部エネルギー量との関係が予め求められている。第４比と外部エネルギー量との関係は、例えばＬＵＴ（Look Up Table：ルックアップテーブル）によって表すことができる。

　表示処理部３２は、各種の画像および情報等を表示部１４に表示させる。表示処理部３２は、本実施形態の場合、ユーザの操作（撮像の指示）に応じて、撮像対象物が撮像される場合等に、この撮像対象物の画像を表示部１４に表示させる。

　次に、図３に示すフローチャートを参照しながら画像処理装置１０の動作を説明する。

　ユーザは、任意の照明光の下で、撮像対象物を撮像する。例えば、ユーザは、スマートフォンである画像処理装置１０を手に持ち、表示部１４に表示された撮像対象物の画像を見ながら、操作部１６を通じたユーザの操作によって撮像対象物の撮像を指示する。
　これに応じて、撮像部１２により、第１分光感度を有する第１センサーおよび第２分光感度を有する第２センサーを用いて撮像対象物が同時に撮像され、第１分光感度に対応した第１撮像画像の画像信号および第２分光感度に対応した第２撮像画像の画像信号が出力される。
　そして、画像信号取得部２２により、撮像部１２から出力された第１撮像画像の画像信号および第２撮像画像の画像信号が取得される（ステップS1）。

　続いて、比率算出部２４により、第１撮像画像における測定用シートの第１分光感度に対応した第１画像信号と、第２撮像画像における測定用シートの第２分光感度に対応した第２画像信号と、の第１比が画素毎に算出される（ステップS2）。
　また、第１撮像画像におけるパターンの第１分光感度に対応した第３画像信号と、第２撮像画像におけるパターンの第２分光感度に対応した第４画像信号と、の第２比が画素毎に算出される（ステップS3）。
　さらに、パターンの第１分光感度に対応した第１分光特性値と、パターンの第２分光感度に対応した第２分光特性値と、の第３比が算出される（ステップS4）。

　続いて、画像信号処理部２８により、パターンの画像信号の第２比およびパターンの分光特性値の第３比に基づいて、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理が、測定用シートの画像信号の第１比に対して実施される。これにより、第１撮像画像における測定用シートの第１分光感度に対応した第３分光特性値と、第２撮像画像における測定用シートの第２分光感度に対応した第４分光特性値と、の第４比が画素毎に算出される（ステップS5）。

　そして、面分布推定部３０により、予め求められている、測定用シートの分光特性値の第４比と、測定用シートに加えられた外部エネルギー量と、の関係に基づいて、第４比から、測定用シートに加えられた外部エネルギー量の面分布が推定される（ステップS6）。

　次に、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理について、より詳しく説明する。

　撮像対象物の撮像画像における測定用シートの画像信号Ｇ（ｘ、ｙ）は、下記式（１）により表される。
　Ｇ（ｘ、ｙ）∝Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ）＊Ｒ（ｘ、ｙ、λ）＊Ｃ（λ）　…　式（１）
　ここで、Ｓ（ｘ、ｙ）は、照明光の強度の面分布、ＳＰ（ｘ、ｙ、λ）は、照明光の分光分布、Ｒ（ｘ、ｙ、λ）は、測定用シートの分光特性値の面分布、Ｃ（λ）は、センサーの分光感度である。（ｘ、ｙ）は、測定用シートにおける２次元座標を表す。λは、センサーの分光感度に対応した波長帯域の中心波長である。

　式（１）に示すように、撮像対象物の撮像画像における測定用シートの画像信号Ｇ（ｘ、ｙ）には、本来無いはずの画像信号の分布、すなわち、照明光の強度の面分布Ｓ（ｘ、ｙ）および照明光の分光分布ＳＰ（ｘ、ｙ、λ）の影響が含まれている。このため、測定用シートの画像信号Ｇ（ｘ、ｙ）から、測定用シートに加えられた外部エネルギー量を正確に求めることができない。

　ここで、第１分光感度に対応した波長λ１および第２分光感度に対応した波長λ２に注目すると、第１センサーによって撮像された撮像対象物の第１撮像画像における測定用シートの波長λ１に対応した第１画像信号Ｇ１（ｘ、ｙ）は、下記式（２）により表される。また、第２センサーによって撮像された撮像対象物の第２撮像画像における測定用シートの波長λ２に対応した第２画像信号Ｇ２（ｘ、ｙ）は、下記式（３）により表される。
　Ｇ１（ｘ、ｙ）＝Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ１）＊Ｒ（ｘ、ｙ、λ１）＊Ｃ（λ１）　…　式（２）
　Ｇ２（ｘ、ｙ）＝Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ２）＊Ｒ（ｘ、ｙ、λ２）＊Ｃ（λ２）　…　式（３）

　式（２）に示す測定用シートの第１画像信号Ｇ１（ｘ、ｙ）と、式（３）に示す測定用シートの第２画像信号Ｇ２（ｘ、ｙ）と、の比Ｇ１（ｘ、ｙ）／Ｇ２（ｘ、ｙ）（第１比）は、下記式（４）により表される。
　Ｇ１（ｘ、ｙ）／Ｇ２（ｘ、ｙ）
＝｛Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ１）＊Ｒ（ｘ、ｙ、λ１）＊Ｃ（λ１）｝／｛Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ２）＊Ｒ（ｘ、ｙ、λ２）＊Ｃ（λ２）｝
＝Ｓ（ｘ、ｙ）／Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ１）／ＳＰ（ｘ、ｙ、λ２）＊Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）＊Ｃ（λ１）／Ｃ（λ２）
＝ＳＰ（ｘ、ｙ、λ１）／ＳＰ（ｘ、ｙ、λ２）＊Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）＊Ｃ（λ１）／Ｃ（λ２）　…　式（４）
　このように、式（４）においては、照明光の強度の面分布Ｓ（ｘ、ｙ）の影響が打ち消されている。つまり、比Ｇ１（ｘ、ｙ）／Ｇ２（ｘ、ｙ）は、照明光の強度の面分布Ｓ（ｘ、ｙ）に依存しない信号であることが分かる。

　続いて、第１撮像画像におけるパターンの波長λ１に対応した第３画像信号ＧＰ１（ｘ、ｙ）は、下記式（５）により表される。また、第２撮像画像におけるパターンの波長λ２に対応した第４画像信号ＧＰ２（ｘ、ｙ）は、下記式（６）により表される。
　ＧＰ１（ｘ、ｙ）＝Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ１）＊Ｐ（λ１）＊Ｃ（λ１）　…　式（５）
　ＧＰ２（ｘ、ｙ）＝Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ２）＊Ｐ（λ２）＊Ｃ（λ２）　…　式（６）
　ここで、Ｐ（λ１）は、パターンの波長λ１に対応した第１分光特性値、Ｐ（λ２）は、パターンの波長λ２に対応した第２分光特性値であり、これらのパターンの第１分光特性値および第２分光特性値は既知である。

　ここで、本実施形態のように、パターンの色が、測定用シートの発色部の色とは異なる色相を有する場合、公知の技術により、撮像対象物の撮像画像から互いに色相が異なる複数の色相領域を抽出し、更に既知であるパターンの配置情報に基づいて、撮像画像から抽出された複数の色相領域の中から、パターンの領域およびパターンの領域以外の測定用シートの領域を特定することが可能である。
　なお、パターンの配置情報には、パターンの配置に関する情報が含まれる。本実施形態の場合、パターンの配置情報には、パターンを構成するドットの形状、サイズ、配置間隔および個数等の情報が含まれる。

　撮像対象物の撮像画像の面内には、パターンが存在する領域と存在しない領域とがある。そのため、撮像画像におけるパターンの領域が特定された後、撮像画像におけるパターンの画像信号に基づいて、公知の２次元補間技術を用いて、パターンが存在しない領域を補間することにより補間後のパターンの画像信号を生成する。
　このようにして得られた補間後のパターンの画像信号に基づいて、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を撮像対象物における測定用シートの画像信号に対して実施することができる。

　続いて、式（５）に示すパターンの第３画像信号ＧＰ１（ｘ、ｙ）と、式（６）に示すパターンの第４画像信号ＧＰ２（ｘ、ｙ）と、の比ＧＰ１（ｘ、ｙ）／ＧＰ２（ｘ、ｙ）（第２比）は、下記式（７）により表される。
　ＧＰ１（ｘ、ｙ）／ＧＰ２（ｘ、ｙ）
＝｛Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ１）＊Ｐ（λ１）＊Ｃ（λ１）｝／｛Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ２）＊Ｐ（λ２）＊Ｃ（λ２）｝
＝Ｓ（ｘ、ｙ）／Ｓ（ｘ、ｙ）＊ＳＰ（ｘ、ｙ、λ１）／ＳＰ（ｘ、ｙ、λ２）＊Ｐ（λ１）／Ｐ（λ２）＊Ｃ（λ１）／Ｃ（λ２）
＝ＳＰ（ｘ、ｙ、λ１）／ＳＰ（ｘ、ｙ、λ２）＊Ｐ（λ１）／Ｐ（λ２）＊Ｃ（λ１）／Ｃ（λ２）　…　式（７）
　同様に、比ＧＰ１（ｘ、ｙ）／ＧＰ２（ｘ、ｙ）においては、照明光の強度の面分布Ｓ（ｘ、ｙ）の影響が打ち消されている。

　式（７）の右辺の比Ｐ（λ１）／Ｐ（λ２）（第３比）を左辺へ移動させると、下記式（８）で表される。
　ＧＰ１（ｘ、ｙ）／ＧＰ２（ｘ、ｙ）＊Ｐ（λ２）／Ｐ（λ１）＝ＳＰ（ｘ、ｙ、λ１）／ＳＰ（ｘ、ｙ、λ２）＊Ｃ（λ１）／Ｃ（λ２）　…　式（８）

　ここで、式（４）の右辺は、下記の通り、２つの項Ａ、Ｂに分解することができる。
　ＳＰ（ｘ、ｙ、λ１）／ＳＰ（ｘ、ｙ、λ２）＊Ｃ（λ１）／Ｃ（λ２）　…　項Ａ
　Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）　…　項Ｂ
　波長λ１、λ２のように、半値全幅が、３０ｎｍ以下の狭帯域の波長帯域に対応する分光感度を持つ第１センサーおよび第２センサーによって撮像対象物を撮像することにより、測定用シートの上に略均等に配置され、その特性値分布が略等しいパターンの画像信号から項Ａの面分布を求めることができる。従って、式（４）の右辺から、求めた項Ａを消去することにより項Ｂのみの信号を得ることができる。

　続いて、式（４）に示す比Ｇ１（ｘ、ｙ）／Ｇ２（ｘ、ｙ）に式（８）を代入すると、下記式（９）により表される。
　Ｇ１（ｘ、ｙ）／Ｇ２（ｘ、ｙ）＝ＧＰ１（ｘ、ｙ）／ＧＰ２（ｘ、ｙ）＊Ｐ（λ２）／Ｐ（λ１）＊Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）　…　式（９）
　このように、式（９）においては、照明光の分光分布ＳＰ（ｘ、ｙ、λ）およびセンサーの分光感度Ｃ（λ）の影響が打ち消されている。つまり、比Ｇ１（ｘ、ｙ）／Ｇ２（ｘ、ｙ）は、照明光の分光分布ＳＰ（ｘ、ｙ、λ）に依存しない信号であることが分かる。

　従って、式（９）から、比Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）（第４比）は、下記式（１０）により表される。
　Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）＝Ｇ１（ｘ、ｙ）／Ｇ２（ｘ、ｙ）＊ＧＰ２（ｘ、ｙ）／ＧＰ１（ｘ、ｙ）＊Ｐ（λ１）／Ｐ（λ２）　…　式（１０）
　このように、パターンの画像信号ＧＰ（ｘ、ｙ）の比（第２比）、および、パターンの特性値Ｐの比（第３比）に基づいて、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を、測定用シートの画像信号Ｇ（ｘ、ｙ）の比（第１比）に対して実施することにより、測定用シートの分光特性値の比Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）（第４比）を算出することができる。

　同様に、撮像対象物の撮像画像から互いに色相が異なる複数の色相領域を抽出し、パターンの配置情報に基づいて、撮像画像から抽出された複数の色相領域の中から測定用シートの領域、言い換えると、測定用シート上のパターンが配置されていない領域を特定する。
　パターンが存在する領域には、測定シートの発色部に対応する領域が存在しない。そのため、撮像画像における測定用シートの領域が特定された後、撮像画像におけるパターンが存在する領域の近傍の測定用シートの画像信号に基づいて、公知の２次元補間技術を用いて、パターンが存在する領域を補間することにより補間後の測定用シートの画像信号を生成する。
　続いて、撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理、つまり、測定用シートの分光特性値の比Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）（第４比）を算出する処理を、補間後の測定用シートの画像信号に対して実施する。

　そして、測定用シートの分光特性値の比Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）と、測定用シートに加えられた外部エネルギー量と、の関係を事前に求めておくことにより、この関係に基づいて、測定用シートの分光特性値の比Ｒ（ｘ、ｙ、λ１）／Ｒ（ｘ、ｙ、λ２）から、測定用シートに加えられた外部エネルギー量の面分布を推定することができる。

　このように、画像処理装置１０においては、撮像画像における測定用シートの画像信号から、照明光の強度の面分布および照明光の分光分布による影響を打ち消すことができる。従って、ユーザは、照明光の強度の面分布および照明光の分光分布を考慮することなく、任意の照明光の下で測定対象物を撮像し、その撮像画像における測定用シートの画像信号（発色濃度）から、測定用シートに加えられた外部エネルギー量の面分布を正確に推定することができる。

　なお、パターンが測定用シートの上に形成されている場合を例に挙げて説明したが、これに限定されず、パターンが、測定用シートを上から抑えるための抑え板の上に形成され、この抑え板が測定用シートの上に重ねて配置されていてもよい。

　図５は、測定用シートの構成を表す一例の平面概念図である。図５に示す測定用シート４０には、外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色したドーナツ状の発色部４２がその中央部に形成されている。

　続いて、図６Ａおよび図６Ｂは、抑え板の構成を表す一例の平面概念図および側面概念図である。抑え板４４は、透明または略透明な板である。従って、抑え板４４のパターン４６が形成された領域は、少なくとも第１分光感度及び第２の分光感度において、反射光成分が主となり、抑え板４４のパターン４６が形成されていない領域は、少なくとも第１分光感度及び第２分光感度において、透過光成分が主となる光学特性を有する。抑え板４４は、照明光が直接照射される面に光の散乱性を有する。本実施形態の抑え板４４は、図６Ｂに示すように、照明光が直接照射される面が凹凸状に形成されている。これにより、抑え板４４に照射される照明光の表面反射を防止し、散乱された照明光が抑え板４４を透過する。また、抑え板４４は、図７に示すように、測定用シート４０と接する面にパターン４６が形成されている。本実施形態の場合、図６Ａに示すように、ドットパターン４６が形成されている。

　図８は、撮像対象物を撮像する場合の構成を表す一例の側面概念図である。図８に示す支持板４８は、均一な反射率を有する平坦または略平坦な板である。撮像対象物を撮像する場合、測定用シート４０を、支持板４８の均一な反射率を有する面の上に配置し、測定用シート４０の上に、パターン４６が形成された抑え板４４を重ねて配置した状態で測定用シート４０およびパターン４６を含む撮像対象物を撮像する。

　なお、位置固定機構を用いて、支持板４８、測定用シート４０および抑え板４４の位置を固定した状態で測定用シート４０およびパターン４６を含む撮像対象物を撮像することが望ましい。位置固定機構は、特に限定されないが、支持板４８および抑え板４４の１つの辺において、支持板４８と抑え板４４とを接続するヒンジ、および、この１つの辺に対向する位置にある辺において、支持板４８、測定用シート４０および抑え板４４の位置を固定するフック等を使用することができる。
　位置固定機構により、支持板４８、測定用シート４０および抑え板４４の位置を固定した状態で撮像対象物を撮像することにより、測定用シート４０とパターン４６との間で位置ずれが生じることなく、撮像対象物を撮像することができる。

　なお、本発明の画像処理装置は、スマートフォンに限定されず、デジタルカメラ、デジタルビデオカメラまたはスキャナ等であってもよく、これらの装置において動作するアプリケーションプログラムとして実現することができる。

　プロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

　１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。

　例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

　さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

　また、本発明の方法は、例えば、その各々のステップをコンピュータ（プロセッサ）に実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

　以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

　１０　画像処理装置
　１２　撮像部
　１４　表示部
　１６　操作部
　１８　記憶部
　２０　プロセッサ
　２２　画像信号取得部
　２４　比率算出部
　２８　画像信号処理部
　３０　面分布推定部
　３２　表示処理部
　３４　内部バス
　４０　測定用シート
　４２　発色部
　４４　抑え板
　４６　パターン
　４８　支持板

Claims (15)

1. 　外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シート、および、前記測定用シートの上に設けられた規則的なパターンを含む撮像対象物の撮像画像の画像信号を取得し、
   　前記撮像対象物における前記パターンの画像信号および前記パターンの分光特性値に基づいて、前記撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を、前記撮像画像における前記測定用シートの画像信号に対して実施する、画像処理方法。
2. 　センサーによって撮像された前記撮像対象物の第１分光感度に対応した第１撮像画像の画像信号および第２分光感度に対応した第２撮像画像の画像信号を取得し、
   　前記第１撮像画像における前記測定用シートの前記第１分光感度に対応した第１画像信号と前記第２撮像画像における前記測定用シートの前記第２分光感度に対応した第２画像信号との第１比を画素毎に算出し、
   　前記第１撮像画像における前記パターンの前記第１分光感度に対応した第３画像信号と前記第２撮像画像における前記パターンの前記第２分光感度に対応した第４画像信号との第２比を画素毎に算出し、
   　前記パターンの前記第１分光感度に対応した第１分光特性値と前記パターンの前記第２分光感度に対応した第２分光特性値との第３比を算出し、
   　前記第２比および前記第３比に基づいて、前記処理を前記第１比に対して実施することにより、前記第１撮像画像における前記測定用シートの前記第１分光感度に対応した第３分光特性値と前記第２撮像画像における前記測定用シートの前記第２分光感度に対応した第４分光特性値との第４比を画素毎に算出する、請求項１に記載の画像処理方法。
3. 　前記第１分光感度および前記第２分光感度の少なくとも一方に対応する波長帯域は、３０ｎｍ以下の半値全幅を有する、請求項２に記載の画像処理方法。
4. 　前記第４比と、前記測定用シートに加えられた前記外部エネルギー量と、の関係に基づいて、前記第４比から、前記測定用シートに加えられた前記外部エネルギー量の面分布を推定する、請求項２または３に記載の画像処理方法。
5. 　前記パターンは、前記測定用シートの上に形成されている、請求項１ないし４のいずれか一項に記載の画像処理方法。
6. 　前記パターンは、抑え板の上に形成され、前記抑え板の前記パターンが形成された領域は、少なくとも前記第１分光感度及び前記第２分光感度において、反射光成分が主となり、前記抑え板の前記パターンが形成されていない領域は、少なくとも前記第１分光感度及び前記第２分光感度において、透過光成分が主となる光学特性を有し、前記抑え板が前記測定用シートの上に重ねて配置されている、請求項２ないし４のいずれか一項に記載の画像処理方法。
7. 　前記抑え板は、前記照明光が直接照射される面に光の散乱性を有し、前記測定用シートと接する面に前記パターンが形成されている、請求項６に記載の画像処理方法。
8. 　前記測定用シートを、支持板の均一な反射率を有する面の上に配置し、前記測定用シートの上に前記抑え板を重ねて配置した状態で前記測定用シートおよび前記パターンを含む前記撮像対象物を撮像する、請求項６または７に記載の画像処理方法。
9. 　位置固定機構を用いて、前記支持板、前記測定用シートおよび前記抑え板の位置を固定した状態で前記測定用シートおよび前記パターンを含む前記撮像対象物を撮像する、請求項８に記載の画像処理方法。
10. 　前記パターンの色は、前記測定用シートの発色部の色とは異なる色相を有する、請求項１ないし９のいずれか一項に記載の画像処理方法。
11. 　前記撮像画像から互いに前記色相が異なる複数の色相領域を抽出し、
    　前記パターンの配置情報に基づいて、前記複数の色相領域の中から前記パターンの領域を特定し、
    　２次元補間技術を用いて、前記パターンが存在しない領域を補間することにより補間後の前記パターンの画像信号を生成し、前記補間後のパターンの画像信号に基づいて、前記処理を前記撮像対象物における前記測定用シートの画像信号に対して実施する、請求項１０に記載の画像処理方法。
12. 　前記撮像画像から互いに前記色相が異なる複数の色相領域を抽出し、
    　前記パターンの配置情報に基づいて、前記複数の色相領域の中から前記測定用シートの領域を特定し、
    　２次元補間技術を用いて、前記パターンが存在する領域を補間することにより補間後の前記測定用シートの画像信号を生成し、前記処理を前記補間後の測定用シートの画像信号に対して実施する、請求項１０または１１に記載の画像処理方法。
13. 　プロセッサを備え、前記プロセッサが、
    　外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シート、および、前記測定用シートの上に設けられた規則的なパターンを含む撮像対象物の撮像画像の画像信号を取得し、
    　前記撮像対象物における前記パターンの画像信号および前記パターンの分光特性値に基づいて、前記撮像対象物の撮像時の照明光の分光分布の影響を打ち消す処理を、前記撮像画像における前記測定用シートの画像信号に対して実施する、画像処理装置。
14. 　請求項１ないし１２のいずれか一項に記載の画像処理方法の各々の工程をコンピュータに実行させるためのプログラム。
15. 　請求項１ないし１２のいずれか一項に記載の画像処理方法の各々の工程をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images