JP7306408B2 - 温度推定装置、温度推定方法及び温度推定プログラム - Google Patents

Description

本開示は、温度推定装置、温度推定方法及び温度推定プログラムに関する。詳しくは、レンズレス（Lensless）方式の赤外光カメラにおける、筐体の温度推定処理に関する。

従来のレンズカメラと比較して薄型な設計とすることが可能な、レンズを備えないレンズレスカメラの利用が広がっている。レンズレスカメラは、可視光による撮影だけでなく、赤外光等の可視光以外による撮影を行う、いわゆる赤外光カメラとしても実現可能である。

赤外光カメラは被写体から放射される赤外光を捉えて撮像することから、赤外光カメラを用いる撮影に先立ち、撮像素子（センサ）に対して温度キャリブレーションを行う。例えば、多項式近似の手法を用いて温度キャリブレーションを行う技術が提案されている（例えば、非特許文献１）。なお、レンズレスカメラに関する技術としては、入射光がマスクを通してどのようにセンサ上に投影されるかの情報を予めマトリクスとして定義しておき、マトリクスとセンサ上に投影された画像から実際の光景を再現する技術が開示されている（例えば、非特許文献２）。また、レンズレスカメラ技術を遠赤外線波長に適用する技術が開示されている（例えば、非特許文献３）。

Riou, Olivier, Stephane Berrebi, and Pierre Bremond, "Nonuniformity correction and thermal drift compensation of thermal infrared camera." Thermosense XXVI. Vol. 5405. International Society for Optics and Photonics, 2004. Boominathan, Vivek, et al. "Lensless Imaging: A computational renaissance." IEEE Signal Processing Magazine 33.5 (2016): 23-35. Erickson, Evan L., et al. "Miniature lensless computational infrared imager." Electronic Imaging 2016.12 (2016): 1-4.

上記の従来技術に開示されるように、レンズレスカメラは、いわゆる赤外光カメラとしても実現可能である。

しかしながら、上述のように、赤外光カメラは、適切な温度キャリブレーションが実施されなければ、撮像結果にノイズがのる等の好ましくない現象が発生する。さらに、レンズレスカメラには、筐体からの放射光の影響がレンズカメラと比べて大きいという特性がある。このため、事前（例えば工場出荷時）の温度キャリブレーションのみならず、撮影時において、筐体からの放射光の影響を除去するためのキャリブレーションが望まれる。筐体からの放射光は筐体温度に基づいて測定できるため、筐体温度が分かれば、放射光の影響を取り除くためのキャリブレーションを行うことができる。しかし、筐体温度を測定するためには、レンズレスカメラ内に専用の測定デバイスを設けることになる。この結果、レンズレスカメラのコストが増大したり、構成が複雑になったりするおそれがある。

そこで、本開示では、レンズレスカメラの構成を簡略化しつつ、筐体温度を精度よく推定することができる温度推定装置、温度推定方法及び温度推定プログラムを提案する。

上記の課題を解決するために、本開示に係る一形態の温度推定装置は、赤外光センサ及び筐体を含む撮影部によって撮影された撮影画像を取得する取得部と、前記撮影部に対する事前の温度キャリブレーションによって算出された補正パラメータ、及び、仮に設定した前記筐体の温度を用いて前記撮影画像を補正し、当該撮影画像の補正画像を生成する生成部と、前記補正画像に含まれる画素の輝度値の非均一性に基づいて、前記筐体の温度を推定する推定部と、を備える。

本開示の実施形態に係る温度推定装置への入射光を説明するための模式図（１）である。 本開示の実施形態に係る温度推定装置への入射光を説明するための模式図（２）である。 本開示の実施形態に係る温度推定装置への入射光を説明するための模式図（３）である。 本開示の実施形態に係る温度推定装置への入射光を説明するための模式図（４）である。 推定温度の誤差が発生しない場合の補正画像の例を示す図である。 推定温度の誤差が発生した場合の補正画像の例を示す図である。 補正画像に発生するシェーディング（shading）を説明するための図である。 筐体からの放射光の推定誤差とシェーディングとの関係を示すグラフである。 標準偏差と筐体の推定温度の誤差との関係性を示すグラフである。 実施形態に係るキャリブレーションシステムの構成例を示す図である。 実施形態に係る温度推定装置の構成例を示す図である。 本開示の実施形態に係る温度推定処理の流れを示すフローチャートである。 本開示の実施形態に係る生成処理の流れを示すフローチャートである。 本開示の実施形態に係るピーク判定処理の流れを示すフローチャートである。 ピーク判定処理における標準偏差と筐体の推定温度の誤差との関係性を示すグラフである。 温度推定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態及び変形例において、同一の部位には同一の符号を付することにより重複する説明を省略する。

以下に示す項目順序に従って本開示を説明する。
１．実施形態
１－１．実施形態に係る温度推定装置が解決しようとする課題
１－２．実施形態に係る温度推定処理の概要
１－３．実施形態に係る事前のキャリブレーションを行うためのキャリブレーションシステムの構成
１－４．実施形態に係る温度推定装置の構成
１－５．実施形態に係る情報処理の手順
１－６．実施形態に係る変形例
２．その他の実施形態
３．ハードウェア構成

（１．実施形態）
［１－１．実施形態に係る温度推定装置が解決しようとする課題］
一般に、レンズレスカメラは、透過領域と不透過領域を二次元のパターン状に配置したマスクをイメージセンサの前に配置し、センサの観測値から放射光を再構成することで撮影画像を得る。例えば、レンズレスカメラでは、放射光がマスクを通してどのようにセンサ上に投影されるかといった情報を予めマトリクスとして定義しておき、そのマトリクスとセンサ上に投影された画像から実際の光景を再現する。レンズレスカメラにおける画像の再構成については既知の技術であるため（例えば上述の非特許文献２を参照）、詳細な説明は省略する。

ここで、実施形態に係る温度推定装置１００は、赤外光用のレンズレスカメラであるものとする。この場合、撮像素子（センサ）としては、例えば、遠赤外線カメラ用２次元センサアレイ（ＦＰＡ（Focal Plane Array)等と称される）が採用される。遠赤外線カメラ用２次元センサアレイは、液体窒素程度の低温に冷却して使用する冷却型と、冷却を行わない非冷却型（または熱型）に大別される。冷却型は性能が高く、自身の温度が変化しない分、環境温度に応じた補正を行う必要がないものの、装置が大型で非常に高価であるというデメリットがある。

このため、一般向けユーザ向けとしては、非冷却型のセンサアレイが盛んに用いられる。非冷却型のセンサアレイには、例えば、マイクロボロメータ（Micro bolometer）や、サーモパイル、焦電型等の形式が含まれる。このうち、高画質用途では、高解像度化が比較的容易で感度の良いマイクロボロメータ形式が盛んに用いられる。実施形態でも、温度推定装置１００の撮影部１１０には、このようなマイクロボロメータ形式のセンサアレイが設置されるものとする。

しかし、マイクロボロメータは自身の温度変化によって出力値が変わってしまうため、絶対温度測定を行うためには、使用中に頻繁に温度キャリブレーション（以下、単に「キャリブレーション」と表記する）を行う必要がある。

また、レンズレス方式の赤外光カメラにキャリブレーションを実施する場合、マスクを付けた状態でキャリブレーションを行うため、レンズタイプの遠赤外線カメラとは異なる課題が発生する。すなわち、マスクが付いているために、外光だけでなく、マスクされた部分からの赤外光放射光と、筐体からの赤外光放射光もセンサに入射する。このため、センサへの入射光は、それら全ての放射光の重み付き和となる。このことから、センサにおける外光成分を抽出するには、入射光から筐体放射光等を除去する必要がある。

センサアレイに筐体からの放射光が入射するという点では、レンズを備えた赤外光カメラも同様である。しかし、レンズカメラの場合、センサアレイの一画素に対象からの放射光が集光されることから、画素間の入射光の差は大きくなるものの、筐体からの放射光は、センサアレイ全体にほぼ均一に照射される。また、筐体からの放射光に多少のばらつきがあったとしても、対象からの入射光コントラストが高いため、筐体からの放射光はオフセット成分として扱っても大きな問題とはならない。

これに対し、レンズレス形式の場合、対象からの光がセンサアレイ全体に照射されることから、レンズ形式と比較して、筐体放射光の影響が相対的に大きくなる。この点について、図１乃至図３を用いて説明する。図１は、本開示の実施形態に係る温度推定装置１００への入射光を説明するための模式図（１）である。なお、実施形態では、赤外光を想定することから、以下で説明する入射光や外光、放射光のような光とは、熱（温度）と読み替えてもよい。

図１に、実施形態に係る温度推定装置１００と、温度推定装置１００に内蔵される構成部分であり、レンズレスで被写体の撮影を行う撮影部１１０を示す。温度推定装置１００は、いわゆるレンズレスカメラであり、撮影部１１０によって被写体を撮影し、撮影した被写体を画像として記憶する装置である。具体的には、温度推定装置１００は、遠赤外線等の赤外光を受信して撮影を行う、レンズレス形式の赤外光カメラである。なお、実施形態では、温度推定装置１００に撮影部１１０が内蔵される構成を示すが、温度推定装置１００と撮影部１１０とは別装置として構成されてもよい。

図１に示すように、撮影部１１０は、筐体１１１と、センサアレイ１１２と、マスク１１５とを含む。なお、図１乃至図３では、説明を容易にするため、センサアレイ１１２を１次元（縦方向のみ）で表現しているが、実際には、センサアレイ１１２は、２次元（縦方向と横方向）に各センサが配置された形状を有する。

マスク１１５は、センサアレイ１１２の前方に設置される物体であり、開口部１１５ａと閉口部１１５ｂとの２種類のパターンを含む。開口部１１５ａは、光を透過する。一方、閉口部１１５ｂは、光を透過しない。

図１では、点１０から照射される光（赤外光）が、撮影部１１０のセンサアレイ１１２に入射する状況を示している。図１に示すように、点１０からの光は、マスク１１５の開口部１１５ａを透過し、センサアレイ１１２に含まれるセンサの一例であるセンサ１１２ａ等に入射する。一方、マスク１１５の閉口部１１５ｂの影となるセンサ１１２ｂ等には、点１０からの光が直接には入射しない。このように、レンズレス形式では、閉口部１１５ｂに遮られていない各センサには、ほぼ均等な量の光が入射される。

続いて、図２について説明する。図２は、本開示の実施形態に係る温度推定装置１００への入射光を説明するための模式図（２）である。図２には、点１０とは異なる点１１から撮影部１１０に対して光が照射される例を示す。

図２の例でも、図１と同様、点１１から照射された光のうち、開口部１１５ａを透過した光は、センサ１１２ａ等に入射する。一方、マスク１１５の閉口部１１５ｂの影となるセンサ１１２ｂ等には、点１１からの光が直接には入射しない。

撮影部１１０が何らかの光景（シーン）を撮影することは、図１に示す点１０や、図２に示す点１１等の複数の撮影対象の点を同時に観測する事を意味する。この点について、図３を用いて説明する。図３は、本開示の実施形態に係る温度推定装置１００への入射光を説明するための模式図（３）である。図３には、図１に示した点１０と、図２に示した点１１とから照射される光が、撮影部１１０に入射する様子を示している。

図３に示すように、センサアレイ１１２の各センサ（センサ１１２ａやセンサ１１２ｂ等）で観測される入射光の値は、点１０や点１１から照射される入射光の和となる。図３の例では、図１や図２で示した例と比べて各センサに対する入射光の量が異なるため、各センサに入力される値がわずかに変化する。これは、センサアレイ１１２の前にマスク１１５が設置されることで、撮影対象の位置によって各センサへの入射光が変わるためである。レンズレスカメラである温度推定装置１００は、その違いを手がかりとして、撮影対象となった光景を画像として復元できる。

図１乃至図３で示したように、レンズレス形式では、対象（点１０や点１１等）からの光がセンサアレイ１１２の各センサ全体に照射されることで、各センサにおける観測値の相違がレンズ形式のカメラに比べて小さくなる。このことは、レンズレス形式では、輝度値のコントラストの低い画像が観測されることを意味する。言い換えれば、レンズレス形式では、外光以外の影響、例えば筐体１１１からの放射光の影響がレンズカメラと比べると大きくなる。

このため、レンズレス形式のカメラでは、撮影時において、筐体１１１からの放射光の影響を除去するためのキャリブレーションが望まれる。筐体１１１からの放射光は筐体温度に基づいて測定できるため、筐体温度が分かれば、放射光の影響を取り除くためのキャリブレーションを行うことができる。しかし、筐体温度を測定するためには、レンズレスカメラ内に専用の測定デバイスを設けることになる。すなわち、レンズレス形式の赤外光カメラには、正確なキャリブレーションを実行しようとすると、レンズレスカメラのコストが増大したり、構成が複雑になったりするという問題がある。言い換えれば、レンズレス形式の赤外光カメラには、構成を簡略化しつつ、かつ、筐体温度を精度よく推定するという課題が存在する。

［１－２．実施形態に係る温度推定処理の概要］
実施形態に係る温度推定装置１００は、以下に説明する処理により、上記課題を解決する。温度推定装置１００が実行する温度推定処理について、図４を用いて、レンズレス形式のセンサに対する入射光モデル（模式図）を示しつつ説明する。

図４は、本開示の実施形態に係る温度推定装置への入射光を説明するための模式図（４）である。なお、図４においても、図１乃至図３と同様、説明を容易にするため、センサアレイ１１２を１次元で表現するが、実際には、センサアレイ１１２は、２次元に各センサが配置された形状を有する。図４では、センサアレイ１１２のうち、センサの配置位置が座標（ｘ、ｙ）であるセンサ１１３に光が入射する場合を例に挙げて説明する。

図１乃至図３で説明したように、センサアレイ１１２上のセンサ１１３への入射光の観測の真値Ｉ_Ｏ（ｘ、ｙ）は、センサ１１３に入射する外光成分ｔｂ（ｘ、ｙ）と、筐体放射光ｔｗ（ｘ、ｙ）の重み付き和となる。なお、上述のように、筐体放射光とは、筐体温度と読み替えてもよい。

外光成分ｔｂ（ｘ、ｙ）とは、マスク１１５を透過してセンサ１１３に到達する光の成分を示す。図４に示す角度２１、角度２２及び角度２３は、マスク１１５の開口部１１５ａを透過してセンサ１１３に到達する光の入射角を示す。また、図４に示す角度２４は、マスク１１５を透過してセンサ１１３に到達する光の入射角の最大範囲を示す。また、図４に示す角度２５及び角度２６は、マスク１１５の閉口部１１５ｂで遮られる光の角度を示す。

また、筐体放射光ｔｗ（ｘ、ｙ）とは、筐体１１１から放射される光のうち、センサ１１３に到達する光の成分を示す。図４に示す角度３１及び角度３２は、筐体１１１からセンサ１１３に到達する筐体放射光の入射角を示す。

上記のように、各値を定義すると、センサ１１３への入射光の真値Ｉ_Ｏ（ｘ、ｙ）は、例えば、下記式（１）で示される。

式（１）において、Ｃ_ｎ（ｘ、ｙ）（ｎは任意の整数）は、センサアレイ１１２とマスク１１５の幾何学的情報から算出される定数であり、既知である。また、式（１）において、ａ（ｘ、ｙ）及びｂ（ｘ、ｙ）は、センサ１１３におけるキャリブレーション補正係数ベクトルを示す。詳細は後述するが、キャリブレーション補正係数ベクトルとは、撮影に先立って行われるキャリブレーションにより得られる、センサごとの補正パラメータである。キャリブレーション補正係数ベクトルは、事前のキャリブレーションにより算出されていることから、撮影時には既知の値である。なお、以下の説明では、キャリブレーション補正係数ベクトルを、単に「補正パラメータ」と表記する場合がある。

温度推定装置１００は、精度のよい画像を得るためには、筐体放射光ｔｗ以外の成分である外光成分ｔｂ（ｘ、ｙ）（言い換えれば、撮影しようとする光景における照射光）を精度よく算出すればよい。上記式（１）は、下記式（２）のように変形できる。

上記式（２）において、補正パラメータａ（ｘ、ｙ）及びｂ（ｘ、ｙ）は、上述のように事前に算出されているため、既知である。また、真値Ｉ_Ｏ（ｘ、ｙ）についても観測可能な値であり、既知である。すなわち、筐体放射光ｔｗ（ｘ、ｙ）が正しく算出されていると仮定すると、温度推定装置１００は、外光成分ｔｂ（ｘ、ｙ）を算出することができる。

上述のように、筐体放射光ｔｗ（ｘ、ｙ）は、筐体１１１の温度に依存する。すなわち、温度推定装置１００は、筐体放射光ｔｗ（ｘ、ｙ）を正確に算出するためには、筐体１１１の温度を推定する必要がある。ここで、筐体放射光の真値を「ｔｗ´（ｘ、ｙ）」と置くと、推定筐体放射光ｔｗ´（ｘ，ｙ）は、「ｔｗ´（ｘ、ｙ）＝ｔｗ（ｘ、ｙ）＋Δｔｗ」と表せられる。ここで、Δｔｗは、筐体放射光の推定誤差を示す。

上記のように筐体放射光の推定誤差を仮定すると、入射光の誤差付き観測値「Ｉ_Ｏ´（ｘ、ｙ）」は、下記式（３）のように表すことができる。

上記式（３）の右辺の第２項にΔｔｗ（ｘ、ｙ）が含まれることからわかるように、上記式（３）の右辺の第２項は、誤差付き観測値Ｉ_Ｏ´におけるノイズ成分となる。すなわち、入射光観測の真値Ｉ_Ｏ（ｘ、ｙ）に対して第２項がノイズ成分となることにより、温度推定装置１００は、式（２）を用いて、正確な外光成分ｔｂ（ｘ、ｙ）を算出することができない。

ここで、上記式（３）の右辺の第２項の係数のうち、Ｃ_１（ｘ、ｙ）は、下記式（４）のように定義される。

上記式（４）におけるξ_ｗ（ｘ、ｙ）は、センサ１１３に対する、筐体１１１からの放射光の角度を示す。ξ_ｗ（ｘ、ｙ）は複数存在するため、複数の角度の各々をξ_ｗｎ（ｘ、ｙ）（ｎは任意の整数）と表現する場合、例えば図４における角度３１は、ξ_ｗ１（ｘ、ｙ）と表現できる。同様に、図４における角度３２は、ξ_ｗ２（ｘ、ｙ）と表現できる。すなわち、上記式（４）のξ_ｗ（ｘ、ｙ）とは、ξ_ｗ１（ｘ、ｙ）＋ξ_ｗ２（ｘ、ｙ）を示す。なお、図４では、センサアレイ１１２を１次元で表現しているが、実際にはセンサアレイ１１２は２次元であることから、ξ_ｗ（ｘ、ｙ）は立体角を示す。

また、上記式（４）におけるξ_ｍ（ｘ、ｙ）は、閉口部１１５ｂによって外からの入射光が遮られる範囲の角度を示す。ξ_ｍ（ｘ、ｙ）は、マスク１１５の形状に応じて異なる複数の値をとりうる。例えば、複数のξ_ｍ（ｘ、ｙ）の各々をξ_ｍｎ（ｘ、ｙ）（ｎは任意の整数）と表現すると、図４における角度２５がξ_ｍ１（ｘ、ｙ）に対応する。同様に、図４における角度２６がξ_ｍ２（ｘ、ｙ）に対応する。ξ_ｍ（ｘ、ｙ）は、ξ_ｗ（ｘ、ｙ）と同様、立体角を示す。

さらに、センサ１１３に対する外からの入射光の角度をξ_ｂ（ｘ、ｙ）と定義すると、上記式（４）は、下記式（５）のように表すことができる。

上記式（５）におけるξ_ｂ（ｘ、ｙ）は、センサ１１３に対する、外からの入射光の角度を示す。ξ_ｂ（ｘ、ｙ）は、マスク１１５の形状に応じて異なる複数の値をとりうる。例えば、複数のξ_ｂ（ｘ、ｙ）の各々をξ_ｂｎ（ｘ、ｙ）（ｎは任意の整数）と表現すると、図４における角度２１が、ξ_ｂ１（ｘ、ｙ）に対応する。同様に、図４における角度２２がξ_ｂ２（ｘ、ｙ）に対応し、角度２３がξ_ｂ３（ｘ、ｙ）に対応する。なお、ξ_ｂ（ｘ、ｙ）は、ξ_ｗ（ｘ、ｙ）やξ_ｍ（ｘ、ｙ）と同様、立体角を示す。

ここで、筐体１１１の占める立体角ξ_ｗ（ｘ、ｙ）と、開口部１１５ａ及び閉口部１１５ｂを合わせたマスク１１５の示す立体角（図４に示す角度２４）とが略同一であり、かつ、開口部１１５ａと閉口部１１５ｂとの面積が略同一である条件下では、ξ_ｗ（ｘ、ｙ）≧ξ_ｍ（ｘ、ｙ）＋ξ_ｂ（ｘ、ｙ）が成立する。すなわち、ξ_ｗ（ｘ、ｙ）≧２ξ_ｍ（ｘ、ｙ）が成立することから、上記式（４）におけるＣ_１（ｘ、ｙ）に及ぼす影響は、ξ_ｍ（ｘ、ｙ）よりξ_ｗ（ｘ、ｙ）の方が大きいことがわかる。

ここで、ξ_ｗ（ｘ、ｙ）は、下記式（６）のように表すことができる。

上記式（６）におけるＬは、図４に示すように、マスク１１５の一辺の長さを示す。また、上記式（６）におけるｌは、図４に示すように、マスク１１５とセンサアレイ１１２間の長さを示す。上記式（６）の右辺の第２項のうち、第１括弧の項を一般化すると、下記式（７）のように表すことができる。

上記式（７）から明らかなように、上記式（７）は、ｘ＝０のときにｙが最大値をとる関数である。

このことから、上記式（６）は、上記式（７）においてｘ＝０及びｙ＝０のときに最小値をとる。また、上記式（４）も、上記式（７）においてｘ＝０及びｙ＝０のときに最小値をとる。

このことから、上記式（３）の第１項の真値Ｉ_Ｏ（ｘ、ｙ）が画像内で一定の場合、入射光の誤差付き観測値Ｉ_Ｏ´（ｘ、ｙ）は、式（３）の第２項のΔｔｗの値に応じて、画像内で変動する。すなわち、観測値Ｉ_Ｏ´（ｘ、ｙ）は、ｘ＝０及びｙ＝０を極値としたシェーディング画像（画像内に輝度値のむらが発生した画像）を形成する。

以上のことをふまえると、筐体１１１からの放射光を正しく推定した場合、言い換えればΔｔｗ＝０の場合は、画像にシェーディングが発生しない。すなわち、筐体１１１の推定温度の誤差を最小にするためには、シェーディングが最小になるような筐体温度を推定すればよい。

ここで、図５に、温度推定装置１００が黒体炉を観測（撮影）した入力画像に対して、Δｔｗ＝０で補正した場合の補正画像を示す。図５は、推定温度の誤差が発生しない場合の補正画像４１の例を示す図である。なお、黒体炉とは、平面内の温度を高精度に設定でき、かつ、その面内分布の温度差が極めて小さくなるよう構成された治具であり、例えば赤外光カメラ等のキャリブレーションに用いられる。

図５に示す補正画像４１は、温度推定装置１００が黒体炉を撮影した撮影画像に対して、Δｔｗ＝０で補正した場合の補正後の画像である。具体的には、補正画像４１は、上記式（３）にΔｔｗ＝０を代入し、撮影画像を構成する各々の画素について観測値Ｉ_Ｏ´（ｘ、ｙ）を算出し、算出結果を画像として表示したものである。

続いて、図６に、温度推定装置１００が黒体炉を観測した入力画像に対して、Δｔｗ＝０でない数値で補正した場合の補正画像を示す。図６は、推定温度の誤差が発生した場合の補正画像４２の例を示す図である。

図６に示す補正画像４２は、温度推定装置１００が黒体炉を撮影した撮影画像に対して、Δｔｗ＝３で補正した場合の補正後の画像の例である。図６に示すように、補正画像４２は、画像の中心から端に向かうにつれて輝度値にむらがある画像となる。補正画像４２は、センサアレイ１１２の中心（すなわち、座標（０，０））と比較して、センサアレイ１１２の端に所在するセンサの方が、筐体１１１の影響を受けやすいことを示している。図６に示すように、補正画像４２には、図５に示す補正画像４１（Δｔｗ＝０の場合）と比較して、明確にシェーディングが発生する。

シェーディングの発生について、さらに図７及び図８を用いて説明する。図７は、補正画像に発生したシェーディングを説明するための図である。

図７に示したライン４５は、図５に示した補正画像４１において、ｙ＝０でｘを可変させた場合の座標を示す。また、図７に示したライン４６は、図６に示した補正画像４２において、ｙ＝０でｘを可変させた場合の座標を示す。補正画像４１及び補正画像４２において発生したシェーディングの様子は、ライン４５及びライン４６上の画素における筐体推定温度を参照することにより観測できる。

図８は、筐体１１１の推定温度と、補正画像に発生するシェーディングとの関係を示すグラフである。具体的には、図８には、図７で示したライン４５及びライン４６等、補正画像上の一線上において、誤差付き観測値Ｉ_Ｏ´（ｘ、ｙ）をプロットしたグラフを示す。なお、図８では、温度推定装置１００が、５０℃に設定された黒体炉を観測した場合を基準としている。

図８のグラフ５０は、誤差がΔｔｗ＝０（図７の補正画像４１の状態に対応する）、Δｔｗ＝－１、Δｔｗ＝－２、Δｔｗ＝－３、Δｔｗ＝１、Δｔｗ＝２、Δｔｗ＝３（Δｔｗ＝３は、図７の補正画像４２の状態に対応する）の場合に、各々の場合の筐体推定温度がどのように推移するかという関係性を示している。

グラフ５０から明らかなように、Δｔｗの絶対値が大きくなるにつれ、凸または凹形状のシェーディングが強く発生することがわかる。一方、グラフ５０は、Δｔｗの絶対値が小さいほど、シェーディングが発生しにくいことを示している。このことは、言い換えれば、温度推定装置１００が補正画像を観測した場合に、シェーディングが最小になるような筐体放射光の値が真値であることを示している。

以下に、補正画像におけるシェーディングが最小かどうかを判定する手法について説明する。判定手法の一例として、温度推定装置１００は、画像内の輝度値の標準偏差を最小にする手法を採用する。

ここで、筐体１１１の正確な温度をｔ_ｗｔと仮定すると、筐体温度ｔ_ｗｔは、例えば、下記式（８）を用いて定義される。

上記式（８）におけるσ_ｔｗは、筐体温度をｔｗとしたときのセンサ全体の入射光の標準偏差を示す。この入射光の標準偏差σ_ｔｗが最小のときに、補正画像におけるシェーディングが最小となる。この点について、以下に説明する。

まず、上記式（３）の真値Ｉ_Ｏの画像内の標準偏差は、黒体炉を観測した場合には、ほぼ０と等しくなる。よって、シェーディングの発生量は、上記式（３）の第２項に依存する。

ここで、平均を示す一般式は、下記式（９）で示される。

同様に、標準偏差σを示す一般式は、下記式（１０）で示される。

上記式（９）及び式（１）に基づいて、画像内における全画素のノイズ分の標準偏差は、下記式（１１）で示される。

続いて、上記式（１１）を変形すると、下記式（１２）が得られる。

さらに、上記式（１２）を変形すると、標準偏差σは、下記式（１３）により表すことができる。

そして、下記式（１３）を変形すると、Δｔｗは、下記式（１４）により表すことができる。

上記式（１４）から明らかなように、標準偏差σが最小のときに、誤差Δｔｗが最小となる。

なお、上記で示した手法は一例であり、温度推定装置１００は、シェーディングが最小かどうかを判定できる手法であれば、いずれの手法を採用してもよい。例えば、温度推定装置１００は、ローパスフィルタを画像に掛けることにより、シェーディング成分のみを抽出する手法を採用してもよい。一例として、温度推定装置１００は、ローパスフィルタによって、シェーディングを発生させやすい高周波成分を除去し、除去したシェーディング成分を比較すること等により、シェーディングが最小かどうかを判定してもよい。

次に、図９を用いて、標準偏差と誤差Δｔｗとの関係性を示す。図９は、標準偏差と筐体の推定温度の誤差との関係性を示すグラフである。

図９のグラフ６０が示すように、標準偏差が最小の値をとる場合に、誤差Δｔｗも最小となる。また、グラフ６０が示すように、標準偏差の絶対値が大きくなるにつれ、誤差Δｔｗの絶対値も大きくなる。なお、図９のグラフ６０内に示した数値は一例であり、標準偏差や誤差Δｔｗについては、撮影環境等に応じて図９とは異なる値をとると想定される。

以上、説明してきたように、温度推定装置１００は、シェーディングが最小となる温度を推定することにより、筐体１１１の正しい筐体温度を推定することができる。具体的には、温度推定装置１００は、補正画像における輝度値の非均一性を表現するための指標値（以下、「シェーディング評価値」と称する）を求め、当該指標値が最小をとる場合の温度を筐体温度と推定する。

上記手法によれば、温度推定装置１００は、筐体温度を測定するための専用の測定デバイス等を設けることなく、筐体１１１の温度を推定できる。これにより、温度推定装置１００は、レンズレスカメラとしての構成を簡略化しつつ、筐体温度を精度よく推定することができる。また、温度推定装置１００は、キャリブレーションに伴う専用のデバイス等を用意せずとも、撮影の度ごとに上記の温度推定処理を行うことで、常に正確に推定された筐体温度を用いて撮影を行うことができる。これにより、温度推定装置１００は、筐体からの影響を受けにくい画像を安定して得ることができる。

なお、上記では、温度推定装置１００が、温度が一定である黒体炉を観測した状態において筐体温度の真値を推定することができることを説明した。しかし、上記手法は、黒体炉のような特殊な観測対象のみならず、一般的な光景（被写体）が撮影される場合にも適用可能である。すなわち、図３に示したように、温度推定装置１００のようなレンズレスカメラでは、複数の対象からの光が一つのセンサに入射されるため、対象からの光が一つのセンサに集光するレンズカメラと比較すると、画素間の観測値の差は小さい。このことから、レンズレスカメラでは、一般的な光景を撮影した場合であっても、シェーディングの影響は画素間のばらつきに比べて大きくなる。このため、上記標準偏差を用いたシェーディング判定手法は、一般的な光景を撮影した場合にも適用可能である。

以下、上記の温度推定処理を実行する温度推定装置１００について、事前のキャリブレーションも含め、詳細な構成について図１０及び図１１を用いて説明する。

［１－３．実施形態に係る事前のキャリブレーションを行うためのキャリブレーションシステムの構成］
図１０を用いて、実施形態に係るキャリブレーションシステム１について説明する。図１０は、実施形態に係るキャリブレーションシステム１の構成例を示す図である。キャリブレーションシステム１によるキャリブレーションは、例えば、レンズレスカメラである温度推定装置１００の製造過程において実施される。キャリブレーションシステム１によるキャリブレーションにより、個々の温度推定装置１００に固有の補正パラメータが導出される。

図１０に示すように、キャリブレーションシステム１は、黒体炉７０と、温度推定装置１００と、黒体炉制御装置２００と、システム制御装置３００と、キャリブレーション装置４００と、筐体温度測定装置５００とを含む。また、温度推定装置１００は、撮影部１１０と、補正パラメータ記憶部１２１と、制御部１３０とを含む。

黒体炉７０は、平面内の温度を高精度に設定でき、かつ、その面内分布の温度差が極めて小さくなるよう構成された治具である。黒体炉制御装置２００は、黒体炉７０の温度を制御する装置である。

システム制御装置３００は、キャリブレーションシステム１の動作を制御する装置である。例えば、システム制御装置３００は、ネットワークや有線ケーブル等を介して、各装置との間で制御情報の入出力を行い、キャリブレーションシステム１の動作を制御する。

キャリブレーション装置４００は、取得した情報に基づいて、補正パラメータであるキャリブレーション補正ベクトルを算出する装置である。筐体温度測定装置５００は、所定のタイミングで撮影部１１０の筐体の温度を測定する装置である。

以下に、キャリブレーションシステム１の動作について説明する。まず、システム制御装置３００は、予め設定された任意の設定温度を黒体炉制御装置２００に送る（ステップＳ１１）。

黒体炉制御装置２００は、システム制御装置３００から取得した設定温度に従い、黒体炉７０の温度を制御する（ステップＳ１２）。黒体炉７０の温度が設定温度に達すると、黒体炉制御装置２００は、黒体炉７０の温度が設定温度に達した旨をシステム制御装置３００に送る（ステップＳ１３）。また、黒体炉制御装置２００は、同様の情報をキャリブレーション装置４００にも送る（ステップＳ１４）。

システム制御装置３００は、黒体炉７０の温度が黒体炉制御装置２００から送信されると、黒体炉７０を撮影するよう制御する情報であるキャプチャ信号を温度推定装置１００に送る（ステップＳ１５）。

キャプチャ信号を受信した温度推定装置１００の撮影部１１０は、キャプチャ信号の制御に従って黒体炉７０を撮影し、撮影により得られた撮影画像を制御部１３０に送る（ステップＳ１６）。

このとき、筐体温度測定装置５００は、黒体炉７０が撮影された時点の筐体の温度を測定し、測定した温度をシステム制御装置３００に送る（ステップＳ１７）。システム制御装置３００は、筐体温度測定装置５００から受信した筐体の温度をキャリブレーション装置４００に送る（ステップＳ１８）。

また、温度推定装置１００の制御部１３０は、黒体炉７０を撮影した撮影画像をキャリブレーション装置４００に送る（ステップＳ１９）。すなわち、キャリブレーション装置４００は、撮影画像と、当該撮影画像が撮影された時点の筐体の温度とを対応付けて取得する。

この後、システム制御装置３００は、ステップＳ１１で送られた設定温度とは異なる第２の温度を黒体炉制御装置２００に送る。そして、キャリブレーションシステム１は、ステップＳ１２乃至ステップＳ１９の処理を繰り返す。これにより、キャリブレーション装置４００は、黒体炉７０が第２の温度となった状態での撮影画像を取得する。

キャリブレーション装置４００は、２枚の異なる温度の撮影画像と、異なる２値の筐体温度とに基づいてキャリブレーションを行い、キャリブレーション補正係数ベクトルを算出する。

キャリブレーション補正係数ベクトルとは、センサアレイ１１２を構成する各センサにおけるゲインとオフセットとを補正するものである。すなわち、センサアレイ１１２は、センサ（画素）ごとに異なるゲインとオフセットとを有し、それがセンサごとのノイズ（ＦＰＮ（(Fix Patterned Noise)等と称される）となる。このノイズを除去するための補正パラメータが、キャリブレーション補正係数ベクトルとなる。

以下、補正パラメータの算出について簡単に説明する。センサアレイ１１２における観測値をＤＬ（Digital thermosignal)と置き、温度Ｔ_ｉ ^０の対象（１≦ｉ≦ｎ）をインデックスｊ（１≦ｊ≦Ｎ）番目のセンサで観測したときの値をＤＬ_ｉｊで表すとする。すると、このとき、ＤＬの平均は、下記式（１５）で示される。

上記式（１５）に基づき、温度Ｔ_ｉ ^０での各センサの平均値との差分は、下記式（１６）で表される。

さらに、上記式（１６）を多項式近似すると、下記式（１７）のように表すことができる。

例えば、上記式（１７）の多項式近似式の第１次の項までを求めるとすると、補正パラメータは、下記式（１８）に示されるように、センサ毎のゲインとオフセットからなるキャリブレーション補正係数ベクトルとして算出される。

上記式（１８）におけるａ_ｊ及びｂ_ｊが、キャリブレーション装置４００が算出しようとする補正パラメータである。ここで、上記式（１８）のうち、未知数はａ_ｊ及びｂ_ｊの２つであることから、キャリブレーション装置４００は、均一な温度平面からなる対象（例えば黒体炉７０）を、異なる２種類の温度で撮像された画像を得ることで、補正パラメータを算出することができる。

キャリブレーション装置４００は、上記のようにして算出された補正パラメータを温度推定装置１００に送る（ステップＳ２０）。

温度推定装置１００の制御部１３０は、取得した補正パラメータを補正パラメータ記憶部１２１に格納する（ステップＳ２１）。上述のように、温度推定装置１００は、実際の撮影時において、当該補正パラメータを利用して本開示に係る温度推定処理を実行することで、筐体１１１の温度を精度よく推定することができる。

なお、上記では、２種類の温度に対応する２枚の画像から補正パラメータを算出する手法を説明したが、キャリブレーションシステム１は、３種類の温度に対応する３枚の画像から補正パラメータを算出する手法を採用してもよい。

［１－４．実施形態に係る温度推定装置の構成］
次に、図１１を用いて、実施形態に係る温度推定装置１００の構成例について説明する。図１１は、実施形態に係る温度推定装置１００の構成例を示す図である。

図１１に示すように、温度推定装置１００は、撮影部１１０と、記憶部１２０と、制御部１３０とを有する。なお、図１１での図示は省略するが、温度推定装置１００は、外部装置と通信するための通信部や、温度推定装置１００を利用するユーザ等から各種操作を受け付ける入力部（例えば、タッチパネルやキーボード等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

撮影部１１０は、赤外光センサの一例であるセンサアレイ１１２によって赤外光を感知することにより、被写体８０の撮影を行う。

撮影部１１０は、図１等で示したように、筐体１１１における光の入射面側に、光を透過する開口部１１５ａと光を透過しない閉口部１１５ｂとをそれぞれ含むマスク１１５を備える。すなわち、撮影部１１０は、いわゆるレンズレス形式で被写体８０を撮影し、撮影により得られた画像情報を制御部１３０等に送る。

なお、実施形態では、撮影部１１０は、赤外光センサとしてマイクロボロメータを用いる。しかし、赤外光センサは、マイクロボロメータ以外の形式であってもよい。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、補正パラメータ記憶部１２１と、初期温度記憶部１２２とを有する。

補正パラメータ記憶部１２１は、図１０で説明したように、キャリブレーション装置４００によって算出された補正パラメータを記憶する。初期温度記憶部１２２は、後述するピーク判定処理における初期温度を記憶する。なお、図１１での図示は省略するが、記憶部１２０は、撮影部１１０によって撮影された画像を記憶したり、ユーザによる各種設定情報等を記憶したりしてもよい。

制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、温度推定装置１００内部に記憶されたプログラム（例えば、本開示に係る温度推定プログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図１１に示すように、制御部１３０は、取得部１３１と、生成部１３２と、算出部１３３と、ピーク判定部１３４と、推定部１３５と、補正部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。また、制御部１３０は、情報処理に用いる情報を一時的に格納する温度レジスタ１４１及び評価値ペアレジスタ１４２を有する。なお、制御部１３０の内部構成は、図１１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

取得部１３１は、各種情報を取得する。例えば、取得部１３１は、キャリブレーション装置４００によって算出された補正パラメータを取得する。取得部１３１は、取得した補正パラメータを補正パラメータ記憶部１２１に格納する。

また、取得部１３１は、後述する生成処理やピーク判定処理を行うための初期温度設定を取得する。例えば、取得部１３１は、ユーザの入力に従い、初期温度設定を取得する。なお、初期温度とは、生成処理やピーク判定処理に用いる初期温度であり、任意の値であってよい。取得部１３１は、取得した初期温度を初期温度記憶部１２２に格納する。

また、取得部１３１は、赤外光センサ（図１等に示したセンサアレイ１１２）及び筐体１１１を含む撮影部１１０によって撮影された撮影画像を取得する。取得部１３１は、取得した撮影画像を生成部１３２に送る。

生成部１３２は、撮影部１１０に対する事前のキャリブレーションによって算出された補正パラメータ、及び、仮に設定した筐体１１１の温度を用いて、撮影画像を補正し、補正後の画像である補正画像を生成する。

例えば、生成部１３２は、まず初期設定の温度を筐体１１１の温度と仮に設定し、初期設定の温度を用いて、補正画像を生成する。

具体的には、生成部１３２は、取得部１３１によって取得された撮影画像の各画素に対して、補正パラメータ記憶部１２１に格納されている補正パラメータと、初期温度記憶部１２２に格納されている初期温度とを用いて補正を行い、補正画像を生成する。なお、以下の説明では、初期温度を用いて補正された補正画像を、区別のため「第１の補正画像」と表記する場合がある。また、このとき、生成部１３２は、初期温度記憶部１２２に格納されている初期温度を温度レジスタ１４１に格納しておく。

続いて、生成部１３２は、温度レジスタ１４１に格納された初期温度を所定値（例えば１℃など）だけ増加させる。そして、生成部１３２は、増加した温度と、補正パラメータとを用いて撮影画像に対して補正を行い、補正画像を生成する。以下の説明では、第１画像の次に生成された補正画像を、区別のため「第２の補正画像」と表記する場合がある。

さらに、生成部１３２は、温度レジスタ１４１に格納された直前の温度を所定値だけ増加させ、増加した温度と、補正パラメータとを用いて撮影画像に対して補正を行い、補正画像を生成する。以下の説明では、第２画像の次に生成された補正画像を、区別のため「第３の補正画像」と表記する場合がある。そして、生成部１３２は、生成した複数の補正画像を算出部１３３に送る。

上記のように、生成部１３２は、異なる複数の仮の温度を設定し、設定した各々の温度に対応する複数の補正画像を生成する。

その後、生成部１３２は、後述する推定部１３５の制御に従い、温度レジスタ１４１に格納されている温度を所定値だけ増加し、増加した温度と、補正パラメータとを用いて撮影画像に対して補正を行い、補正画像を生成する処理を必要に応じて繰り返す。具体的には、生成部１３２は、ピーク判定部１３４によってシェーディング評価値のピークが判定されるまで、補正画像の生成を繰り返す。

算出部１３３は、生成部１３２が生成した各々の補正画像における評価値を算出する。例えば、算出部１３３は、補正画像における輝度値の非均一性を示す評価値を算出する。具体的には、算出部１３３は、補正画像におけるシェーディングの量を評価する値であるシェーディング評価値を算出する。

上述のように、算出部１３３は、補正画像における標準偏差に基づいてシェーディング評価値を算出する。例えば、算出部１３３は、上記式（１３）を用いて、複数の補正画像の各々の標準偏差を算出し、算出した値をシェーディング評価値として用いてもよい。

そして、算出部１３３は、生成部１３２によって生成された３枚の補正画像に対応する各々のシェーディング評価値を算出し、算出した３つのシェーディング評価値を評価値ペアレジスタ１４２に格納する。なお、算出部１３３は、送った３つのシェーディング評価値からピークが判定されなかった場合、推定部１３５の制御に従い、新たな補正画像に対応するシェーディング評価値を算出する処理を繰り返す。

ピーク判定部１３４は、算出部１３３によって算出されたシェーディング評価値のピークを判定する。ここで、ピークとは、シェーディング評価値が最下端となる値をいう。ピーク判定部１３４は、評価値ペアレジスタ１４２に格納された３つの評価値ペアを参照し、どの温度に対応したシェーディング評価値が最下端となるかを判定する。そして、ピーク判定部１３４は、判定した結果を推定部１３５に送る。

推定部１３５は、補正画像に含まれる画素の輝度値の非均一性に基づいて、撮影部１１０の筐体１１１の温度を推定する。例えば、推定部１３５は、輝度値の非均一性を評価する値に基づいて、筐体温度を推定する。一例として、推定部１３５は、算出部１３３が算出した、補正画像におけるシェーディング評価値に基づいて、筐体温度を推定する。

具体的には、推定部１３５は、シェーディング評価値を求める際に用いた温度（シェーディング評価値とペアとなる温度）のうち、最小のシェーディング評価値に対応する温度を、筐体１１１の温度と推定する。

例えば、推定部１３５は、補正画像に含まれる画素の輝度値の標準偏差に基づいて、筐体温度を推定する。上記のように、シェーディング評価値は標準偏差に基づいて算出されることから、推定部１３５は、補正画像に含まれる画素の輝度値の標準偏差から、筐体１１１の温度を推定することができる。

具体的には、推定部１３５は、複数（実施形態では３枚）の補正画像の各々に対応する標準偏差を比較した結果に基づいて、筐体温度を推定する。

より具体的には、推定部１３５は、複数の補正画像の各々に対応する標準偏差のうち最下端（ピーク）となる標準偏差が存在する場合、最下端の標準偏差に対応する温度を筐体温度として推定する。なお、推定部１３５は、複数の補正画像の各々の標準偏差においてピークとなる標準偏差が存在しないと判定した場合、さらに異なる温度を設定して新たに補正画像を生成するよう、生成部１３２を制御する。また、推定部１３５は、新たに生成された補正画像に対応する標準偏差を算出するよう、算出部１３３を制御する。この場合、ピーク判定部１３４は、新たに算出された標準偏差を含めて、新たにピーク判定処理を行い、ピークが存在するか否かを判定する。

補正部１３６は、推定部１３５によって推定された筐体温度を用いて、撮影画像を補正する。すなわち、補正部１３６は、初期設定よりも正確に推定された筐体温度を用いて撮影画像を補正することができるため、筐体温度の誤差を除去した、適切な画像を得ることができる。

［１－５．実施形態に係る情報処理の手順］
次に、図１２乃至図１４を用いて、実施形態に係る情報処理の手順について説明する。まず、図１２を用いて、本開示の実施形態に係る温度推定処理の全体の流れを説明する。図１２は、本開示の実施形態に係る温度推定処理の流れを示すフローチャートである。

図１２に示すように、温度推定装置１００は、撮影部１１０によって撮影された撮影画像を取得する（ステップＳ１０１）。続けて、温度推定装置１００は、温度初期値を温度レジスタ１４１に格納する（ステップＳ１０２）。

そして、温度推定装置１００は、補正パラメータ記憶部１２１に格納されている補正パラメータを読み込む（ステップＳ１０３）。読み込んだ補正パラメータ及び温度レジスタ１４１に格納した初期温度に基づいて、温度推定装置１００は、第１の補正画像を生成する（ステップＳ１０４）。なお、補正画像の生成処理についての詳細は後述する。

温度推定装置１００は、生成した第１の補正画像に関する情報（各画素の光量（輝度値）等）を出力し、出力した情報を保持する（ステップＳ１０５）。

続いて、温度推定装置１００は、温度レジスタ１４１の温度を加算（インクリメント）し、第２の補正画像を生成する（ステップＳ１０６）。温度推定装置１００は、第１の補正画像と同様、第２の補正画像に関する情報を出力し、出力した情報を保持する（ステップＳ１０７）。

さらに、温度推定装置１００は、温度レジスタ１４１の温度を加算する（ステップＳ１０８）。そして、温度推定装置１００は、加算した温度を用いて、第３の補正画像を生成する（ステップＳ１０９）。温度推定装置１００は、生成した３枚の補正画像に関する情報に基づいて、ピーク判定処理を実行する（ステップＳ１１０）。なお、ピーク判定処理についての詳細は後述する。

温度推定装置１００は、ピーク判定処理の結果が「真」であるか否かを判定する（ステップＳ１１１）。ピーク判定処理の結果が「真」でない場合（ステップＳ１１１；Ｎｏ）、温度推定装置１００は、ステップＳ１０８の処理に戻り、新たに加算した温度に基づいて補正画像を生成する処理を繰り返す。

一方、ピーク判定処理の結果が「真」である場合（ステップＳ１１１；Ｙｅｓ）、温度推定装置１００は、ピーク判定の結果に基づいて、筐体温度を推定する（ステップＳ１１２）。

次に、図１３を用いて、本開示の実施形態に係る生成処理の詳細な流れを説明する。図１３は、本開示の実施形態に係る生成処理の流れを示すフローチャートである。図１３の処理は、図１２に示したステップＳ１０４において実行される。なお、図１３の処理は、図１２に示したステップＳ１０６やステップＳ１０９においても、同様に実行される。

図１３に示すように、温度推定装置１００は、撮影画像と同じ大きさの画像領域を確保する（ステップＳ２０１）。そして、温度推定装置１００は、補正画像の画素の一つとなる、座標の初期値を設定する（ステップＳ２０２）。例えば、温度推定装置１００は、座標（０，０）を初期値と設定する。

温度推定装置１００は、処理対象となる座標について、補正パラメータに基づいて座標の外光成分を算出する（ステップＳ２０３）。これにより、温度推定装置１００は、座標におけるゲインやオフセットのぶれを補正することができる。

ここで、温度推定装置１００は、画像領域における全ての座標に対する処理が完了したか否かを判定する（ステップＳ２０４）。全ての座標に対する処理が完了していない場合（ステップＳ２０４；Ｎｏ）、温度推定装置１００は、ｘ座標もしくはｙ座標を加算もしくは減算し、次の処理対象となる座標に移動する（ステップＳ２０５）。そして、温度推定装置１００は、ステップＳ２０３の処理を繰り返す。

一方、ステップＳ２０４において、画像領域における全ての座標に対する処理が完了したと判定した場合（ステップＳ２０４；Ｙｅｓ）、温度推定装置１００は、補正画像の生成処理が完了したとして、図１２のステップＳ１０５へ進む。

次に、図１４を用いて、本開示の実施形態に係るピーク判定処理の詳細な流れを説明する。図１４は、本開示の実施形態に係るピーク判定処理の流れを示すフローチャートである。図１３の処理は、図１２に示したステップＳ１１０において実行される。

まず、温度推定装置１００は、図１２のステップＳ１０５において出力された第１の補正画像の情報に基づいて算出されたシェーディング評価値、及び、当該シェーディング評価値に対応する温度を評価値ペアレジスタ１４２に格納する（ステップＳ３０１）。

同様に、温度推定装置１００は、図１２のステップＳ１０７において出力された第２の補正画像の情報に基づいて算出されたシェーディング評価値、及び、当該シェーディング評価値に対応する温度を評価値ペアレジスタ１４２に格納する（ステップＳ３０２）。

同様に、温度推定装置１００は、図１２のステップＳ１０９において出力された第３の補正画像の情報に基づいて算出されたシェーディング評価値、及び、当該シェーディング評価値に対応する温度を評価値ペアレジスタ１４２に格納する（ステップＳ３０３）。

そして、温度推定装置１００は、評価値ペアレジスタ１４２内の３つのシェーディング評価値にピークが存在するか否かを判定する（ステップＳ３０４）。

なお、３つのシェーディング評価値にピークが存在するとは、第１の値が第２の値より大きく、かつ、第３の値が第２の値よりも大きい関係が成立する場合、すなわち、連続する３つの数値において、第２の値が最小値である関係をいう。これは、シェーディング評価値が下に凸型の２次関数により表現可能であるからである。この点について、図１５を用いて具体的に説明する。

図１５は、ピーク判定処理における標準偏差と筐体の推定温度の誤差との関係性を示すグラフである。具体的には、図１５に示すグラフ９０は、温度推定装置１００が推定した筐体１１１の推定温度と、その推定温度における標準偏差との関係性を示す。

例えば、温度推定装置１００は、初期温度として３５℃を設定したものとする。このとき、温度推定装置１００は、筐体１１１の温度が３５℃であるものと仮定して、補正画像における標準偏差（言い換えれば、シェーディング評価値）を算出する。

また、図１４で説明するように、温度推定装置１００は、初期温度から１℃ずつインクリメントした３６℃及び３７℃についても、各々の温度に対応した標準偏差を算出する。そして、温度推定装置１００は、各々の標準偏差の値をグラフ９０にプロットする。

この３つの数値を比較した場合、図１５に示すように、３７℃における標準偏差が最小値となるため、「第１の値が第２の値より大きく、かつ、第３の値が第２の値よりも大きい」という関係が成立しない。このため、温度推定装置１００は、さらに温度をインクリメントし、３８℃における標準偏差を算出する。

そして、温度推定装置１００は、３６℃、３７℃及び３８℃の各々の標準偏差の値をグラフ９０にプロットし、３つの数値を比較する。この場合、図１５に示すように、３７℃における標準偏差が最小値となり、さらに、「第１の値が第２の値より大きく、かつ、第３の値が第２の値よりも大きい」という関係が成立する。このとき、温度推定装置１００は、３７℃がシェーディングを最小とする温度であることから、筐体１１１の温度が３７℃であると推定する。なお、図１５では、説明のため、３９℃以降の標準偏差についてもグラフ９０にプロットされているが、温度推定装置１００は、シェーディングを最小とする温度が推定できた場合には、それ以降の標準偏差を算出しなくてもよい。

図１４に戻って説明を続ける。シェーディング評価値にピークが存在する場合（ステップＳ３０４；Ｙｅｓ）、温度推定装置１００は、ピーク判定結果として「真」を出力する（ステップＳ３０５）。この後、温度推定装置１００は、図１２のステップＳ１１２の処理を実行する。

一方、シェーディング評価値にピークが存在しない場合（ステップＳ３０４；Ｎｏ）、温度推定装置１００は、ピーク判定結果として「偽」を出力する（ステップＳ３０６）。そして、温度推定装置１００は、評価値ペアレジスタ１４２に格納されている値を一つずらす（ステップＳ３０７）。具体的には、温度推定装置１００は、最も古い値（例えば、第１の補正画像から得られた評価値ペア）を廃棄し、第２の評価値ペアを第１の値に変更して評価値ペアレジスタ１４２に格納する。また、温度推定装置１００は、第３の評価値ペアを第２の値に変更して評価値ペアレジスタ１４２に格納する。その後、温度推定装置１００は、新たに出力される評価値ペア（図１２のステップＳ１０９で出力される値）を第３の値として評価値ペアレジスタ１４２に格納し、格納された３つの値からピークを判定する処理を繰り返す。

［１－６．実施形態に係る変形例］
上記実施形態では、温度推定装置１００が、レンズレス形式の赤外光カメラである例を示した。しかし、温度推定装置１００は、必ずしもレンズレス形式の赤外光カメラであることを要しない。すなわち、上記の温度推定処理は、可視光以外を捉えるカメラであれば、赤外光以外を捉えるカメラにも適用可能である。また、上記の温度推定処理は、レンズレス形式に限らず、レンズカメラにも適用可能である。

また、上記実施形態では、温度推定装置１００が撮影部１１０と一体である例を示した。しかし、温度推定装置１００と撮影部１１０とは別の装置であってもよい。例えば、温度推定装置１００は、ネットワーク等を介して、レンズレスカメラである撮影部１１０から撮影画像を取得する情報処理端末やクラウドサーバ等であってもよい。

（２．その他の実施形態）
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

（３．ハードウェア構成）
上述してきた実施形態に係る温度推定装置１００等の情報機器は、例えば図１６に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る温度推定装置１００を例に挙げて説明する。図１６は、温度推定装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る温度推定プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る温度推定装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた温度推定プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る温度推定プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
赤外光センサ及び筐体を含む撮影部によって撮影された撮影画像を取得する取得部と、
前記撮影部に対する事前の温度キャリブレーションによって算出された補正パラメータ、及び、仮に設定した前記筐体の温度を用いて前記撮影画像を補正し、当該撮影画像の補正画像を生成する生成部と、
前記補正画像に含まれる画素の輝度値の非均一性に基づいて、前記筐体の温度を推定する推定部と
を備えた温度推定装置。
（２）
前記推定部は、
前記輝度値の非均一性を評価する値に基づいて、前記筐体の温度を推定する
前記（１）に記載の温度推定装置。
（３）
前記推定部は、
前記補正画像に含まれる画素の輝度値の標準偏差に基づいて、前記筐体の温度を推定する
前記（１）又は（２）に記載の温度推定装置。
（４）
前記生成部は、
異なる複数の仮の温度を設定し、設定した各々の温度に対応する複数の補正画像を生成し、
前記推定部は、
前記複数の補正画像の各々に対応する標準偏差を比較した結果に基づいて、前記筐体の温度を推定する
前記（３）に記載の温度推定装置。
（５）
前記推定部は、
前記複数の補正画像の各々に対応する標準偏差のうち最下端となる標準偏差が存在する場合、当該最下端の標準偏差に対応する温度を前記筐体の温度として推定し、
前記生成部は、
前記推定部によって、前記複数の補正画像の各々の標準偏差において最下端となる標準偏差が存在しないと判定された場合、さらに異なる温度を設定して新たに補正画像を生成する
前記（４）に記載の温度推定装置。
（６）
前記赤外光センサによって赤外光を感知することにより撮影を行う前記撮影部
をさらに備える前記（１）から（５）のいずれかに記載の温度推定装置。
（７）
前記撮影部は、
前記筐体における光の入射面側に、光を透過する開口部と、光を透過しない閉口部とをそれぞれ含むマスクを備える
前記（６）に記載の温度推定装置。
（８）
前記撮影部は、
前記赤外光センサとしてマイクロボロメータ（Micro bolometer）を用いる
前記（６）又は（７）に記載の温度推定装置。
（９）
コンピュータが、
赤外光センサ及び筐体を含む撮影部によって撮影された撮影画像を取得し、
前記撮影部に対する事前の温度キャリブレーションによって算出された補正パラメータ、及び、仮に設定した前記筐体の温度を用いて前記撮影画像を補正し、当該撮影画像の補正画像を生成し、
前記補正画像に含まれる画素の輝度値の非均一性に基づいて、前記筐体の温度を推定する
温度推定方法。
（１０）
コンピュータを、
赤外光センサ及び筐体を含む撮影部によって撮影された撮影画像を取得する取得部と、
前記撮影部に対する事前の温度キャリブレーションによって算出された補正パラメータ、及び、仮に設定した前記筐体の温度を用いて前記撮影画像を補正し、当該撮影画像の補正画像を生成する生成部と、
前記補正画像に含まれる画素の輝度値の非均一性に基づいて、前記筐体の温度を推定する推定部と
として機能させるための温度推定プログラム。

１ キャリブレーションシステム
１００ 温度推定装置
１１０ 撮影部
１２０ 記憶部
１２１ 補正パラメータ記憶部
１２２ 初期温度記憶部
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 算出部
１３４ ピーク判定部
１３５ 推定部
１３６ 補正部
１４１ 温度レジスタ
１４２ 評価値ペアレジスタ

Claims (10)

1. 赤外光センサ及び筐体を含む撮影部によって撮影された撮影画像を取得する取得部と、
   前記撮影部に対する事前の温度キャリブレーションによって算出された補正パラメータ、及び、仮に設定した前記筐体の温度を用いて前記撮影画像を補正し、当該撮影画像の補正画像を生成する生成部と、
   前記補正画像に含まれる画素の輝度値の非均一性に基づいて、前記筐体の温度を推定する推定部と
   を備えた温度推定装置。
2. 前記推定部は、
   前記輝度値の非均一性を評価する値に基づいて、前記筐体の温度を推定する
   請求項１に記載の温度推定装置。
3. 前記推定部は、
   前記補正画像に含まれる画素の輝度値の標準偏差に基づいて、前記筐体の温度を推定する
   請求項２に記載の温度推定装置。
4. 前記生成部は、
   異なる複数の仮の温度を設定し、設定した各々の温度に対応する複数の補正画像を生成し、
   前記推定部は、
   前記複数の補正画像の各々に対応する標準偏差を比較した結果に基づいて、前記筐体の温度を推定する
   請求項３に記載の温度推定装置。
5. 前記推定部は、
   前記複数の補正画像の各々に対応する標準偏差のうち最下端となる標準偏差が存在する場合、当該最下端の標準偏差に対応する温度を前記筐体の温度として推定し、
   前記生成部は、
   前記推定部によって、前記複数の補正画像の各々の標準偏差において最下端となる標準偏差が存在しないと判定された場合、さらに異なる温度を設定して新たに補正画像を生成する
   請求項４に記載の温度推定装置。
6. 前記赤外光センサによって赤外光を感知することにより撮影を行う前記撮影部
   をさらに備える請求項１に記載の温度推定装置。
7. 前記撮影部は、
   前記筐体における光の入射面側に、光を透過する開口部と、光を透過しない閉口部とをそれぞれ含むマスクを備える
   請求項６に記載の温度推定装置。
8. 前記撮影部は、
   前記赤外光センサとしてマイクロボロメータ（Micro bolometer）を用いる
   請求項６に記載の温度推定装置。
9. コンピュータが、
   赤外光センサ及び筐体を含む撮影部によって撮影された撮影画像を取得し、
   前記撮影部に対する事前の温度キャリブレーションによって算出された補正パラメータ、及び、仮に設定した前記筐体の温度を用いて前記撮影画像を補正し、当該撮影画像の補正画像を生成し、
   前記補正画像に含まれる画素の輝度値の非均一性に基づいて、前記筐体の温度を推定する
   温度推定方法。
10. コンピュータを、
    赤外光センサ及び筐体を含む撮影部によって撮影された撮影画像を取得する取得部と、
    前記撮影部に対する事前の温度キャリブレーションによって算出された補正パラメータ、及び、仮に設定した前記筐体の温度を用いて前記撮影画像を補正し、当該撮影画像の補正画像を生成する生成部と、
    前記補正画像に含まれる画素の輝度値の非均一性に基づいて、前記筐体の温度を推定する推定部と
    として機能させるための温度推定プログラム。

Images