JP6930545B2 - 画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステム - Google Patents

Description

本開示は、画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステムに関する。

近年、暗視等の目的で、遠赤外カメラにより撮像される遠赤外画像が利用されている。遠赤外画像は、物体からの黒体放射によって発せられる遠赤外線を撮像素子により捕捉することによって生成される。このような遠赤外画像を利用することによって、例えば、夜間又は悪天候時のような劣悪な条件下であっても被写体を検出することが可能となる。このような遠赤外カメラでは、可視光カメラ等の他のカメラと同様に、所望の画像を得るためにキャリブレーションを行う必要がある。

カメラのキャリブレーションは、複数のマーカが配設されたキャリブレーション用のチャートを利用することによって実現され得る。具体的には、カメラによってチャートを映した画像を撮像し、当該画像を用いて当該カメラのキャリブレーションが実行される。例えば、特許文献１では、互いに異なる放射率を有する物体が格子状に交互に配設されたチャートを利用することによって、遠赤外カメラのキャリブレーションを実現する技術が開示されている。当該文献に係るチャートでは、例えば、上記物体の各々が上記マーカに相当し得る。

米国特許出願公開第２０１２／００６９１９３号明細書

ところで、遠赤外カメラに関する分野において、遠赤外カメラのキャリブレーションの精度を向上させることが望ましいと考えられる。具体的には、遠赤外カメラのキャリブレーションは、チャートを映した遠赤外画像における各マーカの位置に基づいて実行される。ここで、チャートを映した遠赤外画像において一部のマーカが映っていない場合には、遠赤外画像上のマーカと実空間におけるマーカとの対応関係を取得することが困難となり得る。それにより、遠赤外画像における各マーカの位置を特定することが困難となり得る。ゆえに、全てのマーカが遠赤外画像に映るように撮像を行う必要が生じるので、端部にマーカが映る遠赤外画像を取得することが困難となり得る。それにより、キャリブレーションに用いられる情報が十分に確保されない場合があるので、キャリブレーションの精度が低下し得る。

そこで、本開示では、遠赤外カメラのキャリブレーションの精度を向上させることが可能な、新規かつ改良された画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステムを提案する。

本開示によれば、遠赤外画像を取得する遠赤外取得部と、前記遠赤外画像から第１温度を有する複数の第１マーカを抽出する第１抽出部と、前記複数の第１マーカの各々の間の幾何学的関係に基づいて、第２温度を有する複数の第２マーカの各々の前記遠赤外画像における位置を特定する遠赤外特定部と、を備える、画像処理装置が提供される。

また、本開示によれば、第１温度を有する複数の第１マーカと、第２温度を有する複数の第２マーカと、第３温度を有し、前記複数の第１マーカ及び前記複数の第２マーカが配設されるベースと、を備え、前記複数の第１マーカに対する前記複数の第２マーカの各々の実空間における相対的な位置は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて決定可能である、キャリブレーション用チャートが提供される。

また、本開示によれば、第１温度を有する複数の第１マーカと、第２温度を有する複数の第２マーカと、第３温度を有し、前記複数の第１マーカ及び前記複数の第２マーカが配設されるベースと、を備えるキャリブレーション用チャートと、前記キャリブレーション用チャートを映した遠赤外画像を用いて、前記遠赤外画像を撮像する遠赤外カメラのキャリブレーションを実行する画像処理装置と、を含み、前記複数の第１マーカに対する前記複数の第２マーカの各々の実空間における相対的な位置は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて決定可能であり、前記画像処理装置は、前記遠赤外画像を取得する遠赤外取得部と、前記遠赤外画像から前記複数の第１マーカを抽出する第１抽出部と、前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記複数の第２マーカの各々の前記遠赤外画像における位置を特定する遠赤外特定部と、前記複数の第２マーカの各々の前記遠赤外画像における位置に基づいて、前記遠赤外カメラのキャリブレーションを実行する遠赤外キャリブレーション部と、を備える、キャリブレーションシステムが提供される。

以上説明したように本開示によれば、遠赤外カメラのキャリブレーションの精度を向上させることが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。

波長に依存する赤外線画像の多様な用途について説明するための説明図である。 本開示の実施形態に係るキャリブレーションシステムの概略構成の一例を示す模式図である。 同実施形態に係るチャートの一例を示す正面図である。 同実施形態に係るチャートの一例を示す断面模式図である。 同実施形態に係るチャートの他の例を示す正面図である。 同実施形態に係るチャートの他の例を示す正面図である。 同実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 同実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 遠赤外取得部により取得される遠赤外画像の一例を示す説明図である。 第１マーカの抽出処理において得られる２値化画像の一例を示す説明図である。 第２マーカ候補の抽出処理において得られる２値化画像の一例を示す説明図である。 生成される候補情報の一例を示す説明図である。 第２マーカ候補と複数の第２マーカの各々との対応関係の推定処理について説明するための説明図である。 第２マーカ候補と複数の第２マーカの各々との対応関係の推定処理について説明するための説明図である。 中心特定処理について説明するための説明図である。 同実施形態に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 同実施形態に係る画像処理装置が行う位置特定処理の流れの一例を示すフローチャートである。 第１の応用例に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 第１の応用例に係る画像処理装置の機能構成の一例を示すブロック図である。 第１の応用例に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 第１の応用例に係る画像処理装置が行う可視光画像についての位置特定処理の流れの一例を示すフローチャートである。 第２の応用例に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 第２の応用例に係る画像処理装置の機能構成の一例を示すブロック図である。 第２の応用例に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 第２の応用例に係る画像処理装置が行う近赤外画像についての位置特定処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．導入
２．キャリブレーションシステム
３．画像処理装置
３−１．ハードウェア構成
３−２．機能構成
３−３．動作
４．応用例
４−１．第１の応用例
４−２．第２の応用例
５．まとめ

＜１．導入＞
図１は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外（ＮＩＲ）領域であり、ＮＩＲ領域に属する赤外線を近赤外線という。ＮＩＲ領域の波長の上限は、定義に依存して異なるものの、２．５μｍから４．０μｍの間にあるとされることが多い。ＮＩＲ領域のうち相対的に波長の長い部分は、短波長赤外（ＳＷＩＲ）領域と呼ばれることもある。近赤外線は、例えば、暗視（ｎｉｇｈｔ ｖｉｓｉｏｎ）、透視、光通信、及び測距のために利用され得る。近赤外画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。ＮＩＲ領域に長波長側で隣接する波長領域は遠赤外（ＦＩＲ）領域であり、ＦＩＲ領域に属する赤外線を遠赤外線という。ＦＩＲ領域のうち相対的に波長の短い部分は、中波長赤外（ＭＷＩＲ）領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。遠赤外線は、暗視、サーモグラフィ、及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより遠赤外画像を生成することができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。

物体から放射される遠赤外線のエネルギと当該物体の温度とは相関関係を有するので、当該遠赤外線を受光することによって生成された遠赤外画像から、当該遠赤外画像に映る複数の物体の温度差を検出することができる。それにより、遠赤外画像から特定の物体が映る領域を、他の領域と区別して抽出することができる。ゆえに、他の部分と異なる温度を有する複数のマーカが配設されたチャートを映した遠赤外画像において各マーカが映る領域を、他の領域と区別して抽出することができる。よって、このようなチャートを利用することによって、遠赤外カメラのキャリブレーションを実現することができる。

チャートを映した遠赤外画像において一部のマーカが映っていない場合には、上述したように、遠赤外画像上のマーカと実空間におけるマーカとの対応関係を取得することが困難となり得る。それにより、遠赤外画像における各マーカの位置を特定することが困難となり得る。ゆえに、全てのマーカが遠赤外画像に映るように撮像を行う必要が生じるので、端部にマーカが映る遠赤外画像を取得することが困難となり得る。それにより、キャリブレーションに用いられる情報が十分に確保されない場合がある。

ここで、チャートに配設される各マーカの形状を互いに異ならせることにより、チャートを映した遠赤外画像において一部のマーカが映っていない場合であっても、当該遠赤外画像上の各マーカの形状を識別することによって上記対応関係の取得を図ることが考えられる。しかしながら、遠赤外画像の解像度は可視光画像と比較して低いことに起因して、各マーカの形状を識別することが困難となり得る。

このように、遠赤外カメラのキャリブレーションに用いられる情報が十分に確保されない場合があるので、キャリブレーションの精度が低下し得る。そこで、本明細書では、遠赤外カメラのキャリブレーションの精度を向上させることができる仕組みを提案する。

＜２．キャリブレーションシステム＞
まず、図２〜図６を参照して、本開示の実施形態に係るキャリブレーションシステム１０の概要について説明する。

図２は、本実施形態に係るキャリブレーションシステム１０の概略構成の一例を示す模式図である。キャリブレーションシステム１０は、例えば、図２に示したように、画像処理装置１と、チャート９と、を含む。キャリブレーションシステム１０では、チャート９を映した遠赤外画像が遠赤外カメラ１０２により撮像され、画像処理装置１は当該遠赤外画像を用いて遠赤外カメラ１０２のキャリブレーションを実行する。なお、以下では、遠赤外カメラ１０２が画像処理装置１に含まれる例について説明するが、遠赤外カメラ１０２は画像処理装置１に含まれなくてもよい。その場合、画像処理装置１は遠赤外カメラ１０２と別体の装置によって実現される。

以下、図３〜図６を参照して、チャート９について説明する。図３は、本実施形態に係るチャート９の一例を示す正面図である。図４は、本実施形態に係るチャート９の一例を示す断面模式図である。具体的には、図４は、図３に示した第１マーカ９１０及び第２マーカ９２０を通るＡ−Ａ断面における断面模式図である。図５及び図６は、本実施形態に係るチャート９の他の例を示す正面図である。

チャート９は、本開示に係るキャリブレーション用チャートに相当する。図３に示したように、チャート９は、複数の第１マーカ９１０と、複数の第２マーカ９２０と、ベース９３０と、を備える。なお、以下では、第１マーカ９１０及び第２マーカ９２０を、特に区別しない場合には、単にマーカとも称する。また、複数の第１マーカ９１０のうちの特定の第１マーカ９１０を他と区別する場合には、符号の末尾にアルファベットを付与して称する。また、複数の第２マーカ９２０のうちの特定の第２マーカ９２０を他と区別する場合には、符号の末尾にアルファベットを付与して称する。

第１マーカ９１０は、第１の温度を有する。第１マーカ９１０は、図３に示したように、ベース９３０に配設される。図３では、第１マーカ９１０は、略円形状のハッチングが付された部分によって示されている。なお、第１マーカ９１０の形状は特に限定されず、略円形状、略楕円状、略多角形状等の形状であってもよい。

第２マーカ９２０は、第２の温度を有する。第２マーカ９２０は、図３に示したように、ベース９３０に配設される。図３では、第２マーカ９２０は、略円形状のハッチングが付されていない部分によって示されている。なお、第２マーカ９２０の形状は特に限定されず、略円形状、略楕円状、略多角形状等の形状であってもよい。

ベース９３０において、第１マーカ９１０及び第２マーカ９２０は互いに間隔を空けて配設される。第１マーカ９１０及び第２マーカ９２０は、例えば、格子状に配設される。具体的には、第１マーカ９１０及び第２マーカ９２０は、図３に示したように、互いに直交する方向にそれぞれ６個及び１０個配設され、合計で６０個設けられてもよい。第２マーカ９２０は、第１マーカ９１０を囲むように第１マーカ９１０より外側に配設されてもよい。また、第１マーカ９１０は、矩形状に配設されてもよい。例えば、第１マーカ９１０は、互いに直交する方向にそれぞれ２個配設され合計で４個設けられ、第２マーカ９２０は、合計で５６個設けられてもよい。

ベース９３０は第３温度を有する。第１マーカ９１０及び第２マーカ９２０は、上述したように、ベース９３０に配設される。例えば、ベース９３０は、略矩形状であってもよい。なお、ベース９３０の形状は特に限定されず、略円形状、略楕円状、略多角形状等の形状であってもよい。ベース９３０は、例えば、平板形状を有する。

第１マーカ９１０、第２マーカ９２０、及びベース９３０は、上述したように、互いに異なる温度を有する。それにより、遠赤外カメラ１０２による撮像によって得られるチャート９を映した遠赤外画像において、第１マーカ９１０及び第２マーカ９２０が映るそれぞれの領域を他の領域と区別して抽出することができる。第１マーカ９１０、第２マーカ９２０、及びベース９３０の間の温度差は、第１マーカ９１０、第２マーカ９２０、及びベース９３０の各温度を調整可能な温調機構Ｈ９によって実現される。

温調機構Ｈ９は、例えば、図４に示したように、バッテリ９５０と、第１抵抗体９４１と、第２抵抗体９４２と、を含む。具体的には、第１抵抗体９４１及び第２抵抗体９４２は、バッテリ９５０に対して互いに並列に接続される。また、第１抵抗体９４１及び第２抵抗体９４２は、それぞれ第１マーカ９１０及び第２マーカ９２０と近接して設けられる。第１抵抗体９４１及び第２抵抗体９４２は、バッテリ９５０から電力が供給されることにより、抵抗加熱を利用して発熱する。それにより、第１抵抗体９４１及び第２抵抗体９４２の近傍にそれぞれ位置する第１マーカ９１０及び第２マーカ９２０が加熱される。

第１抵抗体９４１の抵抗は、第２抵抗体９４２と比較して低い。ここで、第１抵抗体９４１及び第２抵抗体９４２に印加される電圧は略一致するので、バッテリ９５０と接続される抵抗体の抵抗が低いほど、当該抵抗体による発熱量は大きい。ゆえに、第１抵抗体９４１による発熱量は、第２抵抗体９４２と比較して大きい。よって、第１マーカ９１０の温度である第１温度は、第２マーカ９２０の温度である第２温度と比較して高くなる。また、ベース９３０の近傍には抵抗体が設けられないので、ベース９３０の温度である第３温度は、第１温度及び第２温度と比較して低くなる。

なお、温調機構Ｈ９は、第１マーカ９１０、第２マーカ９２０、及びベース９３０の各温度を調整可能であればよく、上述した例に限定されない。また、温調機構Ｈ９は、第１マーカ９１０、第２マーカ９２０、及びベース９３０の各温度の検出値が目標温度としての第１温度、第２温度及び第３温度に近づくように当該各温度を調整可能であってもよい。

本実施形態に係るチャート９では、複数の第１マーカ９１０に対する複数の第２マーカ９２０の各々の実空間における相対的な位置は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて決定可能である。上記幾何学的関係は、換言すると、複数の第１マーカ９１０の各々の間の相対的な位置関係である。例えば、チャート９では、ある第１マーカ９１０に対する他の第１マーカ９１０の各々についての相対的な位置に基づいて、複数の第１マーカ９１０に対する複数の第２マーカ９２０の各々の実空間における相対的な位置が決定可能である。

具体的には、ベース９３０において、複数の第１マーカ９１０は３個以上配設される。それにより、ある第１マーカ９１０に対する他の第１マーカ９１０の各々についての相対的な位置を示すベクトルが互いに１次独立となり得る。ゆえに、各マーカが含まれる平面上の位置を、互いに１次独立の上記のベクトルのペアによって表現することができる。よって、複数の第１マーカ９１０に対する複数の第２マーカ９２０の各々の実空間における相対的な位置を、互いに１次独立の上記のベクトルのペアによって表現することができる。それにより、複数の第１マーカ９１０に対する複数の第２マーカ９２０の各々の実空間における相対的な位置を、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて精度良く決定することができる。

なお、チャート９における第１マーカ９１０及び第２マーカ９２０の個数及び配置は、図３に示した例に限定されない。

図５では、図３に示した例と異なる他の例に係るチャート９ａが示されている。チャート９ａでは、図５に示したように、第１マーカ９１０及び第２マーカ９２０は、格子状に配設されている。具体的には、第１マーカ９１０及び第２マーカ９２０は、互いに直交する方向にそれぞれ７個及び１１個配設され、合計で７７個設けられている。第２マーカ９２０は、第１マーカ９１０を囲むように第１マーカ９１０より外側に配設されている。また、第１マーカ９１０は、図５に示したように、十字状に配設されてもよい。例えば、第１マーカ９１０は、互いに直交する方向にそれぞれ３個配設され合計で５個設けられ、第２マーカ９２０は、合計で７２個設けられてもよい。

また図６では、図３及び図５に示した例と異なる他の例に係るチャート９ｂが示されている。チャート９ｂでは、図６に示したように、第１マーカ９１０及び第２マーカ９２０は、格子状に配設されている。具体的には、第１マーカ９１０及び第２マーカ９２０は、互いに直交する方向にそれぞれ７個及び１１個配設され、合計で７７個設けられている。第２マーカ９２０は、第１マーカ９１０を囲むように第１マーカ９１０より外側に配設されている。また、第１マーカ９１０は、図６に示したように、Ｌ字状に配設されてもよい。例えば、第１マーカ９１０は、互いに直交する方向にそれぞれ２個配設され合計で３個設けられ、第２マーカ９２０は、合計で７４個設けられてもよい。

なお、第１マーカ９１０、第２マーカ９２０、及びベース９３０は、可視光域において互いに異なる分光反射特性を有してもよい。それにより、後述するように、可視光カメラによる撮像によって得られるチャート９を映した可視光画像において第１マーカ９１０及び第２マーカ９２０が映るそれぞれの領域を、他の領域と区別して抽出することができる。ゆえに、可視光カメラを利用することによって、遠赤外カメラ１０２と可視光カメラとの間でのキャリブレーションを同一のチャート９を用いて行うことができる。このような遠赤外カメラ１０２と可視光カメラとの間でのキャリブレーションについては、後述する第１の応用例において詳細に説明する。

また、第１マーカ９１０、第２マーカ９２０、及びベース９３０は、近赤外域において互いに異なる分光反射特性を有してもよい。それにより、後述するように、近赤外カメラによる撮像によって得られるチャート９を映した近赤外画像において第１マーカ９１０及び第２マーカ９２０が映るそれぞれの領域を、他の領域と区別して抽出することができる。ゆえに、近赤外カメラを利用することによって、遠赤外カメラ１０２と近赤外カメラとの間でのキャリブレーションを同一のチャート９を用いて行うことができる。このような遠赤外カメラ１０２と近赤外カメラとの間でのキャリブレーションについては、後述する第２の応用例において詳細に説明する。

画像処理装置１は、上述したように、チャート９を映した遠赤外画像を用いて遠赤外カメラ１０２のキャリブレーションを実行する。具体的には、画像処理装置１は、チャート９上の各マーカの当該遠赤外画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行する。換言すると、画像処理装置１は、チャート９上の各マーカの当該遠赤外画像における位置に基づいて、遠赤外カメラ１０２のカメラパラメータを決定する。カメラパラメータは、具体的には、内部パラメータＡ及び外部パラメータ［Ｒ｜Ｔ］を含む。

ここで、カメラのキャリブレーションの概要について説明する。まず、画像上の二次元座標（ｘ，ｙ）と実空間上の三次元座標（Ｘ，Ｙ，Ｚ）との関係性は、以下の式（１）によって表される。

式（１）において、Ａは内部パラメータであり、焦点距離、画像中心、及びレンズ歪の程度を示す。内部パラメータＡは、例えば、以下の式（２）によって表される。

式（２）において、ｆｘ及びｆｙはピクセル単位で表される焦点距離であり、ｃｘ及びｃｙは画像中心であり、ｓはレンズ歪の程度に相当するスキュー比である。

また、式（１）において、［Ｒ｜Ｔ］は外部パラメータであり、カメラの姿勢及び位置を示す。外部パラメータ［Ｒ｜Ｔ］は、例えば、以下の式（３）によって表される。

式（３）に示すように、Ｒは３×３行列であり、カメラの姿勢を表す回転成分である。また、Ｔは３×１行列であり、カメラの位置を表す並進成分である。

キャリブレーションシステム１０では、具体的には、チャート９の姿勢及び位置を変更させつつ、遠赤外カメラ１０２によって複数回撮像を行い、得られた遠赤外画像の各々における各マーカの位置に基づいて、内部パラメータＡ又は外部パラメータ［Ｒ｜Ｔ］を決定する。より具体的には、複数回の撮像によって得られた複数の遠赤外画像の各々について、遠赤外画像における各マーカの位置を式（１）中の二次元座標（ｘ，ｙ）に代入することによって、複数の方程式が得られる。画像処理装置１は、得られた複数の方程式を最適化問題として解くことによって、内部パラメータＡ又は外部パラメータ［Ｒ｜Ｔ］を決定することができる。

このように、遠赤外カメラ１０２のキャリブレーションでは、遠赤外画像における各マーカの位置を特定する必要がある。ここで、本実施形態に係る画像処理装置１によれば、チャート９を映した遠赤外画像において一部のマーカが映っていない場合であっても、遠赤外画像における各マーカの位置を特定することができるので、遠赤外カメラ１０２のキャリブレーションの精度を向上させることができる。このような画像処理装置１の詳細については、後述する。

＜３．画像処理装置＞
続いて、図７〜図１７を参照して、本実施形態に係る画像処理装置１について説明する。

[３−１．ハードウェア構成]
まず、図７〜図１５を参照して、本実施形態に係る画像処理装置１のハードウェア構成について説明する。

図７は、本実施形態に係る画像処理装置１のハードウェア構成の一例を示すブロック図である。画像処理装置１は、例えば、図７に示したように、遠赤外カメラ１０２と、入力インタフェース１０４と、メモリ１０６と、ディスプレイ１０８と、通信インタフェース１１０と、ストレージ１１２と、プロセッサ１１４と、バス１１６と、を備える。

（遠赤外カメラ）
遠赤外カメラ１０２は、遠赤外線を利用した撮像を行い、遠赤外画像を得る撮像モジュールである。遠赤外カメラ１０２は、具体的には、ＦＩＲ領域に属する波長を有する遠赤外線を感知する撮像素子の配列を有する。遠赤外カメラ１０２は、例えば、一定の時間間隔で遠赤外画像を撮像する。また、遠赤外カメラ１０２により得られる一連の遠赤外画像は、映像を構成してもよい。

（入力インタフェース）
入力インタフェース１０４は、ユーザが画像処理装置１を操作し又は画像処理装置１へ情報を入力するために使用される。例えば、入力インタフェース１０４は、タッチセンサ、キーボード、キーパッド、ボタン、又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０４は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０４は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。

（メモリ）
メモリ１０６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含み得る記憶媒体である。メモリ１０６は、プロセッサ１１４に連結され、プロセッサ１１４により実行される処理のためのプログラム及びデータを記憶する。

（ディスプレイ）
ディスプレイ１０８は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ１０８は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などであってもよい。

（通信インタフェース）
通信インタフェース１１０は、画像処理装置１と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１０は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。

（ストレージ）
ストレージ１１２は、画像データを蓄積し又は画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１２は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１の外部のデータソース（例えば、データサーバ、ネットワークストレージ、又は外付けメモリなど）から取得されてもよい。

（プロセッサ）
プロセッサ１１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの処理モジュールである。プロセッサ１１４は、メモリ１０６又は他の記憶媒体に記憶されるプログラムを実行することにより、遠赤外カメラ１０２のキャリブレーションの精度を向上させることを可能とするための機能を動作させる。

（バス）
バス１１６は、遠赤外カメラ１０２、入力インタフェース１０４、メモリ１０６、ディスプレイ１０８、通信インタフェース１１０、ストレージ１１２、及びプロセッサ１１４を相互に接続する。

[３−２．機能構成]
続いて、図８を参照して、本実施形態に係る画像処理装置１の機能構成について説明する。

図８は、図７に示した画像処理装置１の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。画像処理装置１は、例えば、図８に示したように、遠赤外取得部１２０と、遠赤外抽出部１３０と、遠赤外特定部１４０と、遠赤外キャリブレーション部１５０と、遠赤外記憶部１６０と、を備える。

（遠赤外記憶部）
遠赤外記憶部１６０は、画像処理装置１が行う各処理において参照されるデータを記憶する。例えば、遠赤外記憶部１６０は、第１抽出部１３１及び第２抽出部１３３の各々が行う二値化処理において用いられる閾値を示す情報を記憶する。また、遠赤外記憶部１６０は、各機能部が行う各処理によって得られる処理結果を記憶してもよい。各機能部は、遠赤外記憶部１６０から各処理についての処理結果を取得し得る。また、遠赤外記憶部１６０は、遠赤外カメラ１０２によって撮像された遠赤外画像を記憶してもよい。各機能部は、遠赤外記憶部１６０から遠赤外カメラ１０２によって撮像された遠赤外画像を取得し得る。

（遠赤外取得部）
遠赤外取得部１２０は、遠赤外画像を取得する。具体的には、遠赤外取得部１２０は、遠赤外カメラ１０２により撮像されチャート９を映した遠赤外画像を取得する。また、遠赤外取得部１２０は、取得した遠赤外画像を遠赤外抽出部１３０及び遠赤外特定部１４０へ出力する。例えば、遠赤外取得部１２０は、遠赤外カメラ１０２から直接的に遠赤外画像を取得してもよい。また、遠赤外取得部１２０は、遠赤外カメラ１０２そのものであってもよい。また、遠赤外取得部１２０は、遠赤外記憶部１６０に記憶されている遠赤外画像を取得してもよい。遠赤外取得部１２０により取得される遠赤外画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。

図９は、遠赤外取得部１２０により取得される遠赤外画像の一例を示す説明図である。図９に示したように、当該遠赤外画像には、チャート９が映っている。当該遠赤外画像では、全ての第１マーカ９１０が映っている一方で、一部の第２マーカ９２０は映っていない。また、当該遠赤外画像には、チャート９の背景として、人８０１及び物体８０２が映っている。ここで、図９〜図１５に示した画像において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。

（遠赤外抽出部）
遠赤外抽出部１３０は、遠赤外取得部１２０により取得された遠赤外画像から特定の物体が映る領域を、他の領域と区別して抽出する。また、遠赤外抽出部１３０は、抽出結果を遠赤外特定部１４０へ出力する。遠赤外抽出部１３０は、例えば、図８に示したように、第１抽出部１３１と、第２抽出部１３３と、を含む。

第１抽出部１３１は、遠赤外画像から第１温度を有する複数の第１マーカ９１０を抽出する。具体的には、第１抽出部１３１は、遠赤外取得部１２０により取得された遠赤外画像から複数の第１マーカ９１０を抽出し、抽出結果を遠赤外特定部１４０へ出力する。第１抽出部１３１は、例えば、遠赤外画像に対して２値化処理を施すことによって、複数の第１マーカ９１０を抽出する。具体的には、第１抽出部１３１は、遠赤外画像において第１閾値より低い画素値を有する画素に対して比較的低い値の第１画素値を割り当て、遠赤外画像において第１閾値以上の画素値を有する画素に対して比較的高い値の第２画素値を割り当てる。ここで、第１閾値は、第１マーカ９１０が有する第１温度より低く、かつ、第２マーカ９２０が有する第２温度より高い温度に対応する画素値に設定される。それにより、各第１マーカ９１０が映る領域に第２画素値が割り当てられることによって、複数の第１マーカ９１０の抽出が実現され得る。

図１０は、第１マーカ９１０の抽出処理において得られる２値化画像の一例を示す説明図である。第１抽出部１３１は、例えば、図９に示した遠赤外画像に対して２値化処理を施す。図９に示したように、当該遠赤外画像において、第１マーカ９１０が映る領域を除く領域は、第２温度以下の温度に対応する画素値を有する。ゆえに、第１マーカ９１０が映る領域を除く領域の各画素は第１閾値より低い画素値を有するので、第１抽出部１３１は、当該領域の各画素に対して比較的低い値の第１画素値を割り当てる。一方、第１マーカ９１０が映る領域の各画素は第１閾値以上の画素値を有するので、第１抽出部１３１は、当該領域の各画素に対して比較的高い値の第２画素値を割り当てる。それにより、複数の第１マーカ９１０の抽出が実現され、図１０に示した２値化画像が抽出結果として出力される。

第２抽出部１３３は、遠赤外画像から複数の第２マーカ９２０の各々の候補である第２マーカ候補を抽出する。具体的には、第２抽出部１３３は、遠赤外取得部１２０により取得された遠赤外画像から第２マーカ候補を抽出し、抽出結果を遠赤外特定部１４０へ出力する。第２抽出部１３３は、例えば、遠赤外画像に対して２値化処理を施すことによって、第２マーカ候補を抽出する。具体的には、第２抽出部１３３は、遠赤外画像において第２閾値より低い画素値を有する画素に対して比較的低い値の第１画素値を割り当て、遠赤外画像において第２閾値以上の画素値を有する画素に対して比較的高い値の第２画素値を割り当てる。ここで、第２閾値は、第２マーカ９２０が有する第２温度より低く、かつ、ベース９３０が有する第３温度より高い温度に対応する画素値に設定される。それにより、遠赤外画像において少なくとも第２マーカ９２０が映る領域に第２画素値が割り当てられることによって、第２マーカ候補の抽出が実現され得る。

図１１は、第２マーカ候補８２０の抽出処理において得られる２値化画像の一例を示す説明図である。第２抽出部１３３は、例えば、図９に示した遠赤外画像に対して２値化処理を施す。図９に示したように、当該遠赤外画像において、第１マーカ９１０、第２マーカ９２０、及び物体８０２の高温部８０２ｐが映る領域を除く領域は、第３温度以下の温度に対応する画素値を有する。ゆえに、第１マーカ９１０、第２マーカ９２０、及び物体８０２の高温部８０２ｐが映る領域を除く領域の各画素は第２閾値より低い画素値を有するので、第２抽出部１３３は、当該領域の各画素に対して比較的低い値の第１画素値を割り当てる。一方、第１マーカ９１０、第２マーカ９２０、及び物体８０２の高温部８０２ｐが映る領域の各画素は第２閾値以上の画素値を有するので、第２抽出部１３３は、当該領域の各画素に対して比較的高い値の第２画素値を割り当てる。それにより、第２マーカ候補８２０の抽出が実現され、図１１に示した２値化画像が抽出結果として出力される。

（遠赤外特定部）
遠赤外特定部１４０は、各マーカの遠赤外画像における位置を特定する。また、遠赤外特定部１４０は、特定した各マーカの遠赤外画像における位置を示す情報を遠赤外キャリブレーション部１５０へ出力する。本実施形態では、遠赤外特定部１４０は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の遠赤外画像における位置を特定する。遠赤外特定部１４０は、例えば、図８に示したように、第１生成部１４１と、第１推定部１４３と、第１中心特定部１４５と、を含む。なお、第１生成部１４１、第１推定部１４３、及び第１中心特定部１４５は、本開示に係る生成部、推定部、及び中心特定部にそれぞれ相当する。

第１生成部１４１は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、遠赤外画像において第２マーカ９２０の位置の候補を示す情報である候補情報を生成する。また、第１生成部１４１は、生成した候補情報を第１推定部１４３へ出力する。

図１２は、生成された候補情報の一例を示す説明図である。第１生成部１４１は、例えば、図１０に示した２値化画像を用いて、候補情報を生成する。第１生成部１４１は、実空間において第２マーカ９２０を通る直線と対応する遠赤外画像における直線を、候補情報として生成してもよい。具体的には、第１生成部１４１は、互いに隣接する第１マーカ９１０を通る遠赤外画像における直線を、候補情報として生成する。ここで、チャート９では、上述したように、第１マーカ９１０及び第２マーカ９２０が格子状に配設されている。ゆえに、実空間では、互いに隣接する第１マーカ９１０を通る直線上に第２マーカ９２０が位置する。よって、遠赤外画像において、第１生成部１４１によって生成される直線上に第２マーカ９２０が位置し得る。

具体的には、第１生成部１４１は、互いに隣接する第１マーカ９１０ａ，９１０ｂを通る遠赤外画像における直線８１１ａを、候補情報として生成する。また、第１生成部１４１は、互いに隣接する第１マーカ９１０ｃ，９１０ｄを通る遠赤外画像における直線８１１ｂを、候補情報として生成する。また、第１生成部１４１は、互いに隣接する第１マーカ９１０ａ，９１０ｃを通る遠赤外画像における直線８１２ａを、候補情報として生成する。また、第１生成部１４１は、互いに隣接する第１マーカ９１０ｂ，９１０ｄを通る遠赤外画像における直線８１２ｂを、候補情報として生成する。直線８１１ａと直線８１１ｂとは、実空間において互いに平行であり、直線８１１ｃと直線８１１ｄとは、実空間において互いに平行である。また、直線８１１ａ及び直線８１１ｂと直線８１２ｃ及び直線８１２ｄとは、実空間において互いに直交する。

なお、第１生成部１４１によって生成される候補情報は、図１２に示した例に限定されない。例えば、第１生成部１４１は、互いに対角線方向に並設される第１マーカ９１０ａ，９１０ｄを通る遠赤外画像における直線を、候補情報として生成してもよい。また、候補情報は、直線でなくともよく、幅を有する領域であってもよい。

第１推定部１４３は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、第２抽出部１３３により抽出された第２マーカ候補８２０と複数の第２マーカ９２０の各々との対応関係を推定する。換言すると、第１推定部１４３は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、第２マーカ候補８２０がいずれの第２マーカ９２０であるかを推定する。また、第１推定部１４３は、推定した上記対応関係を示す情報を第１中心特定部１４５へ出力する。

このように、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、上記対応関係を推定することによって、上記対応関係を精度良く推定することができる。それにより、複数の第２マーカ９２０の各々の遠赤外画像における位置を精度良く特定することができる。

第１推定部１４３は、具体的には、第１生成部１４１により生成された候補情報に基づいて、上記対応関係を推定する。より具体的には、第１推定部１４３は、第２マーカ候補８２０の各々が第２マーカ９２０のいずれかに該当するか否かを、候補情報に基づいて判定する。そして、第１推定部１４３は、第２マーカ９２０のいずれかに該当すると判定した第２マーカ候補８２０と複数の第２マーカ９２０の各々との対応関係を、候補情報に基づいて推定する。

図１３及び図１４は、第２マーカ候補８２０と複数の第２マーカ９２０の各々との対応関係の推定処理について説明するための説明図である。第１推定部１４３は、例えば、図１１に示した２値化画像を用いて、上記対応関係を推定する。

第１推定部１４３は、例えば、図１３に示したように、図１１に示した２値化画像において第１生成部１４１によって生成された直線８１１ａ，８１１ｂ，８１２ａ，８１２ｂの各直線上に位置する第２マーカ候補８２０は第２マーカ９２０のいずれかに該当すると判定する。ここで、第１推定部１４３は、第１抽出部１３１により抽出された第１マーカ９１０と対応する第２マーカ候補８２０は第２マーカ９２０のいずれにも該当しないと判定してもよい。第１推定部１４３は、例えば、第２マーカ候補８２０及び第１マーカ９１０のそれぞれの遠赤外画像における位置及び寸法を示す情報に基づいて、各第２マーカ候補８２０が第１マーカ９１０のいずれかと対応するか否かを判定し得る。

そして、第１推定部１４３は、例えば、第１生成部１４１によって生成された各直線上に位置する第２マーカ候補８２０と複数の第２マーカ９２０の各々との対応関係を、当該第２マーカ候補８２０が位置する直線及び当該直線上における複数の第１マーカ９１０との位置関係に基づいて、推定する。例えば、第１推定部１４３は、直線８１２ｂ上において第１マーカ９１０ｂに対して隣接する第２マーカ候補８２０ａが実空間において第１マーカ９１０ｂに対して第１マーカ９１０ｄと逆側に隣接する第２マーカ９２０であると推定する。また、第１推定部１４３は、直線８１２ｂ上において第２マーカ候補８２０ａに対して隣接する第２マーカ候補８２０ｂが実空間において第２マーカ候補８２０ａと対応する第２マーカ９２０に対して第１マーカ９１０ｂと逆側に隣接する第２マーカ９２０であると推定する。

また、第１推定部１４３は、例えば、第２マーカ９２０のいずれかに該当すると判定された互いに隣接する第２マーカ候補８２０を通る直線を、追加的な候補情報として生成する。チャート９では、上述したように、第１マーカ９１０及び第２マーカ９２０が格子状に配設されている。ゆえに、実空間では、互いに隣接する第２マーカ９２０を通る直線上に他の第２マーカ９２０が位置する。よって、遠赤外画像において、第１推定部１４３によって追加的に生成される直線上に第２マーカ９２０が位置し得る。例えば、第１推定部１４３は、図１４に示したように、直線８１２ａ上の第２マーカ候補８２０及び当該第２マーカ候補８２０と隣接する直線８１２ｂ上の第２マーカ候補８２０を通る直線８１１ｃ〜８１１ｉを追加的に生成する。また、第１推定部１４３は、直線８１１ａ上の第２マーカ候補８２０及び当該第２マーカ候補８２０と隣接する直線８１１ｂ上の第２マーカ候補８２０を通る直線８１２ｃ〜８１２ｆを追加的に生成する。

また、第１推定部１４３は、例えば、追加的に生成した各直線上に位置する第２マーカ候補８２０は第２マーカ９２０のいずれかに該当すると判定する。そして、第１推定部１４３は、追加的に生成した各直線上に位置する第２マーカ候補８２０と複数の第２マーカ９２０の各々との対応関係を、例えば、当該第２マーカ候補８２０が位置する直線及び当該直線上における他の第２マーカ候補８２０との位置関係に基づいて、推定する。例えば、図１４に示したように、第２マーカ候補８２０ｄが、第１マーカ９１０ｂと隣接する第２マーカ候補８２０ａ及び第１マーカ９１０ａと隣接する第２マーカ候補８２０ｃを通る直線８１１ｆ上に位置し、第２マーカ候補８２０ａに対して第２マーカ候補８２０ｃと逆側に隣接する場合について考える。この場合、第１推定部１４３は、第２マーカ候補８２０ｄが実空間において第２マーカ候補８２０ａと対応する第２マーカ９２０に対して第２マーカ候補８２０ｃと対応する第２マーカ９２０と逆側に隣接する第２マーカ９２０であると推定する。

このように、第１推定部１４３は、第２マーカ９２０のいずれかに該当すると判定した第２マーカ候補８２０がいずれの第２マーカ９２０であるかを推定する。なお、第１推定部１４３は、第１生成部１４１又は第１推定部１４３によって生成された各直線上に位置しない第２マーカ候補８２０は第２マーカ９２０のいずれにも該当しないと判定してもよい。例えば、図１４に示したように、図９に示した物体８０２の高温部８０２ｐに対応する第２マーカ候補８２０ｐは、直線８１１ａ〜８１１ｉ及び直線８１２ａ〜８１２ｆのいずれの直線上にも位置しない。このような場合に、第１推定部１４３は、第２マーカ候補８２０ｐは第２マーカ９２０のいずれにも該当しないと判定してもよい。また、第１推定部１４３は、抽出された第２マーカ候補８２０の各々の間の幾何学的関係に基づいて、第２マーカ候補８２０ｐが第２マーカ９２０のいずれにも該当しないと判定してもよい。具体的には、第１推定部１４３は、第２マーカ候補８２０ｐの他の第２マーカ候補８２０に対する位置関係が、遠赤外画像における各第２マーカ９２０の他の第２マーカ９２０に対する位置関係として想定され得る関係と対応しない場合に、第２マーカ候補８２０ｐが第２マーカ９２０のいずれにも該当しないと判定してもよい。また、第１推定部１４３は、第２マーカ候補８２０ｐの寸法又は形状に基づいて、第２マーカ候補８２０ｐが第２マーカ９２０のいずれにも該当しないと判定してもよい。

第１中心特定部１４５は、第２マーカ候補８２０の中心位置を、第１推定部１４３により推定された対応関係によって対応付けられる第２マーカ９２０の遠赤外画像における位置として特定する。また、第１中心特定部１４５は、第１抽出部１３１によって抽出された第１マーカ９１０の中心位置を、第１マーカ９１０の遠赤外画像における位置として特定する。第１中心特定部１４５は、特定した各マーカの遠赤外画像における位置を示す情報を遠赤外キャリブレーション部１５０へ出力する。

このように、第２マーカ候補８２０の中心位置を、第１推定部１４３により推定された対応関係によって対応付けられる第２マーカ９２０の遠赤外画像における位置として特定することによって、複数の第２マーカ９２０の各々の遠赤外画像における位置をより精度良く特定することができる。また、第１抽出部１３１によって抽出された第１マーカ９１０の中心位置を、第１マーカ９１０の遠赤外画像における位置として特定することによって、複数の第１マーカ９１０の各々の遠赤外画像における位置をより精度良く特定することができる。

図１５は、中心特定処理について説明するための説明図である。第１中心特定部１４５は、例えば、図９に示した遠赤外画像を用いて、各マーカの中心位置を特定する。具体的には、第１中心特定部１４５は、第２マーカ９２０のいずれかに該当すると判定された第２マーカ候補８２０に相当する第２マーカ９２０が遠赤外画像において映る領域の中心９２１の位置を、当該第２マーカ９２０の遠赤外画像における位置として特定する。第１中心特定部１４５は、当該領域について楕円フィッティング等の画像処理を施すことによって、当該領域の中心９２１の位置を特定し得る。また、第１中心特定部１４５は、抽出された第１マーカ９１０が遠赤外画像において映る領域の中心９１１の位置を、当該第１マーカ９１０の遠赤外画像における位置として特定する。第１中心特定部１４５は、当該領域について楕円フィッティング等の画像処理を施すことによって、当該領域の中心９１１の位置を特定し得る。

なお、第１中心特定部１４５は、図１０及び図１１に示した２値化画像を用いて、各マーカの中心位置を特定してもよい。具体的には、第１中心特定部１４５は、第２抽出部１３３により出力される２値化画像において第２マーカ候補８２０が映る領域の中心の位置を、第１推定部１４３により推定された対応関係によって対応付けられる第２マーカ９２０の遠赤外画像における位置として特定してもよい。また、第１中心特定部１４５は、第１抽出部１３１により出力される２値化画像において第１マーカ９１０が映る領域の中心の位置を、当該第１マーカ９１０の遠赤外画像における位置として特定してもよい。

（遠赤外キャリブレーション部）
遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像における位置に基づいて、遠赤外画像を撮像する遠赤外カメラ１０２のキャリブレーションを実行する。具体的には、遠赤外キャリブレーション部１５０は、複数の第２マーカ９２０の各々の遠赤外画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行する。より具体的には、遠赤外キャリブレーション部１５０は、複数の第１マーカ９１０の各々及び複数の第２マーカ９２０の各々の双方の遠赤外画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行してもよい。

具体的には、遠赤外キャリブレーション部１５０は、上述したように、遠赤外画像における各マーカの位置を式（１）中の二次元座標（ｘ，ｙ）に代入し、得られた複数の方程式を最適化問題として解くことによって、遠赤外カメラ１０２のカメラパラメータを決定する。具体的には、遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像における位置に基づいて、遠赤外カメラ１０２の内部パラメータＡを決定する。

遠赤外キャリブレーション部１５０は、決定した遠赤外カメラ１０２のカメラパラメータを示す情報を外部の装置へ出力する。遠赤外カメラ１０２のカメラパラメータを示す情報が入力される外部の装置は、当該情報に基づいて、各種画像処理を行う。例えば、当該外部の装置は、当該情報に基づいて、得られる遠赤外画像におけるカメラ歪を低減する処理を行うことができる。なお、遠赤外キャリブレーション部１５０は、決定した遠赤外カメラ１０２のカメラパラメータを示す情報を遠赤外記憶部１６０へ記憶させてもよい。

以上説明したように、本実施形態に係る画像処理装置１によれば、遠赤外特定部１４０は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の遠赤外画像における位置を特定する。それにより、チャート９を映した遠赤外画像において第２マーカ９２０の一部が映っていない場合であっても、遠赤外画像における各マーカの位置を特定することができる。ゆえに、端部にマーカが映る遠赤外画像についても、当該遠赤外画像における各マーカの位置を特定することができる。よって、遠赤外カメラ１０２のキャリブレーションに用いられる情報を十分に確保することができる。従って、遠赤外カメラ１０２のキャリブレーションの精度を向上させることができる。

また、本実施形態に係る画像処理装置１は、上述したように、遠赤外特定部１４０によって特定された複数の第２マーカ９２０の各々の遠赤外画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行する。それにより、遠赤外カメラ１０２のキャリブレーションとして精度良いキャリブレーションを実行することが実現される。

また、本実施形態に係るチャート９によれば、複数の第１マーカ９１０に対する複数の第２マーカ９２０の各々の実空間における相対的な位置は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて決定可能である。それにより、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の遠赤外画像における位置を特定することが可能となる。ゆえに、チャート９を映した遠赤外画像において第２マーカ９２０の一部が映っていない場合であっても、遠赤外画像における各マーカの位置を特定することができるので、遠赤外カメラ１０２のキャリブレーションの精度を向上させることができる。

[３−３．動作]
続いて、図１６及び図１７を参照して、本実施形態に係る画像処理装置１が行う処理の流れについて説明する。

図１６は、本実施形態に係る画像処理装置１が行う処理の流れの一例を示すフローチャートである。

図１６に示したように、まず、遠赤外取得部１２０は、チャート９を映した遠赤外画像を取得し（ステップＳ５０１）、取得した遠赤外画像を遠赤外抽出部１３０及び遠赤外特定部１４０へ出力する。そして、第１抽出部１３１は、取得された遠赤外画像から複数の第１マーカ９１０を抽出し（ステップＳ５０３）、抽出結果を遠赤外特定部１４０へ出力する。そして、第２抽出部１３３は、取得された遠赤外画像から第２マーカ候補８２０を抽出し（ステップＳ５０５）、抽出結果を遠赤外特定部１４０へ出力する。

次に、遠赤外特定部１４０は、各マーカの遠赤外画像における位置を特定し（ステップＳ５５０）、特定した各マーカの遠赤外画像における位置を示す情報を遠赤外キャリブレーション部１５０へ出力する。そして、遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像における位置に基づいて、遠赤外画像を撮像する遠赤外カメラ１０２のキャリブレーションを実行し（ステップＳ５０７）、決定した遠赤外カメラ１０２のカメラパラメータを示す情報を外部の装置へ出力する。そして、図１６に示した処理は終了する。

図１７は、本実施形態に係る画像処理装置１が行う位置特定処理の流れの一例を示すフローチャートである。当該位置特定処理は、図１６に示したフローチャートにおけるステップＳ５５０の処理に相当する。

図１７に示したように、ステップＳ５５０において、まず、第１生成部１４１は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、遠赤外画像において第２マーカ９２０の位置の候補を示す情報である候補情報を生成し（ステップＳ５５１）、生成した候補情報を第１推定部１４３へ出力する。そして、第１推定部１４３は、生成された候補情報に基づいて、第２抽出部１３３により抽出された第２マーカ候補８２０と複数の第２マーカ９２０の各々との対応関係を推定し（ステップＳ５５３）、推定した当該対応関係を示す情報を第１中心特定部１４５へ出力する。そして、第１中心特定部１４５は、第１マーカ９１０及び第２マーカ候補８２０の中心位置を、各マーカの遠赤外画像における位置として特定し（ステップＳ５５５）、特定した各マーカの遠赤外画像における位置を示す情報を遠赤外キャリブレーション部１５０へ出力する。そして、図１７に示した処理は終了する。

＜４．応用例＞
続いて、図１８〜図２５を参照して、各種応用例について説明する。

［４−１．第１の応用例］
まず、図１８〜図２１を参照して、第１の応用例に係る画像処理装置２について説明する。第１の応用例では、図２〜図１７を参照して説明した実施形態と比較して、主に画像処理装置２の構成が異なる。ゆえに、以下では、第１の応用例に係る画像処理装置２について、主に説明する。

図１８は、第１の応用例に係る画像処理装置２のハードウェア構成の一例を示すブロック図である。図１８に示したように、第１の応用例に係る画像処理装置２は、上述した画像処理装置１と異なり、可視光カメラ２０２をさらに備える。

可視光カメラ２０２は、可視光線を利用した撮像を行い、可視光画像を得る撮像モジュールである。可視光カメラ２０２は、具体的には、互いに異なる波長の可視光線を感知する撮像素子の配列を有する。例えば、可視光カメラ２０２は、赤色域、緑色域及び青色域にそれぞれ感度域を持つ撮像素子の配列を有してもよい。可視光カメラ２０２は例えば、一定の時間間隔で可視光画像を撮像する。また、可視光カメラ２０２により得られる一連の可視光画像は、映像を構成してもよい。

チャート９では、上述したように、第１マーカ９１０、第２マーカ９２０、及びベース９３０は、可視光域において互いに異なる分光反射特性を有し得る。例えば、第１マーカ９１０は第１色を有し、第２マーカ９２０は第２色を有しベース９３０は第３色を有する。なお、第１色、第２色、第３色は、互いに分光分布が異なればよい。例えば、第１色、第２色、第３色は、色相、彩度、又は明度の少なくとも１つについて互いに異なればよい。それにより、可視光カメラ２０２による撮像によって得られるチャート９を映した可視光画像において第１マーカ９１０及び第２マーカ９２０が映るそれぞれの領域を、他の領域と区別して抽出することができる。

なお、第１マーカ９１０、第２マーカ９２０、及びベース９３０は、互いに異なる形状を有してもよい。その場合には、テンプレートマッチング等の画像処理を利用することにより、チャート９を映した可視光画像において第１マーカ９１０及び第２マーカ９２０が映るそれぞれの領域を、他の領域と区別して抽出することができる。

図１９は、図１８に示した画像処理装置２の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。図１９に示したように、第１の応用例に係る画像処理装置２は、上述した画像処理装置１と異なり可視光取得部２２０と、可視光抽出部２３０と、可視光特定部２４０と、可視光キャリブレーション部２５０と、可視光記憶部２６０と、をさらに備える。

可視光記憶部２６０は、画像処理装置２が行う各処理において参照されるデータを記憶する。具体的には、可視光記憶部２６０は、可視光取得部２２０、可視光抽出部２３０、可視光特定部２４０、及び可視光キャリブレーション部２５０の各機能部が行う各処理において用いられる情報を記憶する。また、可視光記憶部２６０は、当該各機能部が行う各処理によって得られる処理結果を記憶してもよい。各機能部は、可視光記憶部２６０から各処理についての処理結果を取得し得る。また、可視光記憶部２６０は、可視光カメラ２０２によって撮像された可視光画像を記憶してもよい。各機能部は、可視光記憶部２６０から可視光カメラ２０２によって撮像された可視光画像を取得し得る。

可視光取得部２２０は、可視光画像を取得する。具体的には、可視光取得部２２０は、可視光カメラ２０２により撮像されチャート９を映した可視光画像を取得する。また、可視光取得部２２０は、取得した可視光画像を可視光抽出部２３０及び可視光特定部２４０へ出力する。例えば、可視光取得部２２０は、可視光カメラ２０２から直接的に可視光画像を取得してもよい。また、可視光取得部２２０は、可視光カメラ２０２そのものであってもよい。また、可視光取得部２２０は、可視光記憶部２６０に記憶されている可視光画像を取得してもよい。可視光取得部２２０により取得される可視光画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。

可視光抽出部２３０は、可視光取得部２２０により取得された可視光画像から特定の物体が映る領域を、他の領域と区別して抽出する。また、可視光抽出部２３０は、抽出結果を可視光特定部２４０へ出力する。可視光抽出部２３０は、例えば、図１９に示したように、第３抽出部２３１と、第４抽出部２３３と、を含む。

第３抽出部２３１は、可視光画像から複数の第１マーカ９１０を抽出する。具体的には、第３抽出部２３１は、可視光取得部２２０により取得された可視光画像から複数の第１マーカ９１０を抽出し、抽出結果を可視光特定部２４０へ出力する。第３抽出部２３１は、例えば、可視光画像に対して２値化処理を施すことによって、複数の第１マーカ９１０を抽出する。具体的には、第３抽出部２３１は、第１マーカ９１０、第２マーカ９２０、及びベース９３０の分光反射特性の関係性に基づいて、可視光画像において第１色と対応する画素値を有する画素に対して比較的高い値の第２画素値を割り当て、他の画素に対して比較的低い値の第１画素値を割り当てる。それにより、各第１マーカ９１０が映る領域に第２画素値が割り当てられることによって、複数の第１マーカ９１０の抽出が実現され得る。

第４抽出部２３３は、可視光画像から複数の第２マーカ９２０の各々の候補である第２マーカ候補を抽出する。具体的には、第４抽出部２３３は、可視光取得部２２０により取得された可視光画像から第２マーカ候補を抽出し、抽出結果を可視光特定部２４０へ出力する。第４抽出部２３３は、例えば、可視光画像に対して２値化処理を施すことによって、第２マーカ候補を抽出する。具体的には、第４抽出部２３３は、第１マーカ９１０、第２マーカ９２０、及びベース９３０の分光反射特性の関係性に基づいて、可視光画像において第１色又は第２色と対応する画素値を有する画素に対して比較的高い値の第２画素値を割り当て、他の画素に対して比較的低い値の第１画素値を割り当てる。それにより、可視光画像において少なくとも第２マーカ９２０が映る領域に第２画素値が割り当てられることによって、第２マーカ候補の抽出が実現され得る。

可視光特定部２４０は、各マーカの可視光画像における位置を特定する。また、可視光特定部２４０は、特定した各マーカの可視光画像における位置を示す情報を可視光キャリブレーション部２５０及び遠赤外キャリブレーション部１５０へ出力する。第１の応用例では、可視光特定部２４０は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の可視光画像における位置を特定する。可視光特定部２４０は、例えば、図１９に示したように、第２生成部２４１と、第２推定部２４３と、第２中心特定部２４５と、を含む。

第２生成部２４１は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、可視光画像において第２マーカ９２０の位置の候補を示す情報である候補情報を生成する。また、第２生成部２４１は、生成した候補情報を第２推定部２４３へ出力する。第２生成部２４１は、例えば、実空間において第２マーカ９２０を通る直線と対応する可視光画像における直線を、候補情報として生成してもよい。

第２推定部２４３は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、第４抽出部２３３により抽出された第２マーカ候補と複数の第２マーカ９２０の各々との対応関係を推定する。換言すると、第２推定部２４３は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、第２マーカ候補がいずれの第２マーカ９２０であるかを推定する。また、第２推定部２４３は、推定した上記対応関係を示す情報を第２中心特定部２４５へ出力する。第２推定部２４３は、具体的には、第２生成部２４１により生成された候補情報に基づいて、上記対応関係を推定する。

このように、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、上記対応関係を推定することによって、上記対応関係を精度良く推定することができる。それにより、複数の第２マーカ９２０の各々の可視光画像における位置を精度良く特定することができる。

第２中心特定部２４５は、第４抽出部２３３により抽出された第２マーカ候補の中心位置を、第２推定部２４３により推定された対応関係によって対応付けられる第２マーカ９２０の可視光画像における位置として特定する。また、第２中心特定部２４５は、第３抽出部２３１によって抽出された第１マーカ９１０の中心位置を、第１マーカ９１０の可視光画像における位置として特定する。第２中心特定部２４５は、特定した各マーカの可視光画像における位置を示す情報を可視光キャリブレーション部２５０及び遠赤外キャリブレーション部１５０へ出力する。第２中心特定部２４５は、例えば、楕円フィッティング等の画像処理を利用することによって、第１マーカ９１０及び第２マーカ候補の中心位置を特定し得る。

このように、第２マーカ候補の中心位置を、第２推定部２４３により推定された対応関係によって対応付けられる第２マーカ９２０の可視光画像における位置として特定することによって、複数の第２マーカ９２０の各々の可視光画像における位置をより精度良く特定することができる。また、第３抽出部２３１によって抽出された第１マーカ９１０の中心位置を、第１マーカ９１０の可視光画像における位置として特定することによって、複数の第１マーカ９１０の各々の可視光画像における位置をより精度良く特定することができる。

第１の応用例では、遠赤外特定部１４０は、各マーカの遠赤外画像における位置を示す情報を可視光キャリブレーション部２５０に対しても出力する。具体的には、第１中心特定部１４５は、各マーカの遠赤外画像における位置を示す情報を遠赤外キャリブレーション部１５０及び可視光キャリブレーション部２５０へ出力する。

可視光キャリブレーション部２５０は、各マーカの遠赤外画像における位置及び各マーカの可視光画像における位置に基づいて、可視光画像を撮像する可視光カメラ２０２のキャリブレーションを実行する。具体的には、可視光キャリブレーション部２５０は、複数の第２マーカ９２０の各々の遠赤外画像における位置及び複数の第２マーカ９２０の各々の可視光画像における位置に基づいて、可視光カメラ２０２のキャリブレーションを実行する。より具体的には、可視光キャリブレーション部２５０は、複数の第１マーカ９１０の各々及び複数の第２マーカ９２０の各々の双方の遠赤外画像及び可視光画像における位置に基づいて、可視光カメラ２０２のキャリブレーションを実行してもよい。

可視光キャリブレーション部２５０は、上述したように、遠赤外画像及び可視光画像の各々における各マーカの位置を式（１）中の二次元座標（ｘ，ｙ）に代入し、得られた複数の方程式を最適化問題として解くことによって、可視光カメラ２０２のカメラパラメータを決定する。具体的には、可視光キャリブレーション部２５０は、各マーカの遠赤外画像及び可視光画像の各々における位置に基づいて、可視光カメラ２０２の内部パラメータＡ及び外部パラメータ［Ｒ｜Ｔ］を決定する。当該外部パラメータ［Ｒ｜Ｔ］は、具体的には、可視光カメラ２０２の遠赤外カメラ１０２に対する相対的な姿勢及び位置を示すパラメータである。

また、遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像における位置及び各マーカの可視光画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行する。具体的には、遠赤外キャリブレーション部１５０は、複数の第２マーカ９２０の各々の遠赤外画像における位置及び複数の第２マーカ９２０の各々の可視光画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行する。より具体的には、遠赤外キャリブレーション部１５０は、複数の第１マーカ９１０の各々及び複数の第２マーカ９２０の各々の双方の遠赤外画像及び可視光画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行してもよい。

遠赤外キャリブレーション部１５０は、上述したように、遠赤外画像及び可視光画像の各々における各マーカの位置を式（１）中の二次元座標（ｘ，ｙ）に代入し、得られた複数の方程式を最適化問題として解くことによって、遠赤外カメラ１０２のカメラパラメータを決定する。具体的には、遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像及び可視光画像の各々における位置に基づいて、遠赤外カメラ１０２の内部パラメータＡ及び外部パラメータ［Ｒ｜Ｔ］を決定する。当該外部パラメータ［Ｒ｜Ｔ］は、具体的には、遠赤外カメラ１０２の可視光カメラ２０２に対する相対的な姿勢及び位置を示すパラメータである。

このように、第１の応用例に係る画像処理装置２は、遠赤外カメラ１０２と可視光カメラ２０２との間でのキャリブレーションを実行する。また、第１マーカ９１０、第２マーカ９２０、及びベース９３０が可視光域において互いに異なる分光反射特性を有することによって、遠赤外カメラ１０２と可視光カメラ２０２との間でのキャリブレーションを同一のチャート９を用いて行うことができる。それにより、遠赤外カメラ１０２と可視光カメラ２０２との間でのキャリブレーションをより容易に行うことができる。

可視光キャリブレーション部２５０及び遠赤外キャリブレーション部１５０は、決定した可視光カメラ２０２及び遠赤外カメラ１０２のカメラパラメータを示す情報を外部の装置へそれぞれ出力する。可視光カメラ２０２及び遠赤外カメラ１０２のカメラパラメータを示す情報が入力される外部の装置は、当該情報に基づいて、各種画像処理を行う。例えば、当該外部の装置は、当該情報に基づいて、得られる可視光画像及び遠赤外画像の各々におけるカメラ歪を低減する処理を行うことができる。また、当該外部の装置は、当該情報に基づいて、得られる可視光画像及び遠赤外画像を平行化する処理であるレクティフィケーション処理を行うことができる。また、当該外部の装置は、当該情報に基づいて、得られる可視光画像及び遠赤外画像に映る同一の対象物の縮尺を略一致させる処理を行うことができる。なお、可視光キャリブレーション部２５０及び遠赤外キャリブレーション部１５０は、決定した可視光カメラ２０２及び遠赤外カメラ１０２のカメラパラメータを示す情報を可視光記憶部２６０及び遠赤外記憶部１６０へそれぞれ記憶させてもよい。

以上説明したように、第１の応用例に係る画像処理装置２によれば、可視光特定部２４０は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の可視光画像における位置を特定する。それにより、チャート９を映した可視光画像において第２マーカ９２０の一部が映っていない場合であっても、可視光画像における各マーカの位置を特定することができる。ゆえに、端部にマーカが映る可視光画像についても、当該可視光画像における各マーカの位置を特定することができる。よって、遠赤外カメラ１０２と可視光カメラ２０２との間でのキャリブレーションに用いられる情報を十分に確保することができる。従って、遠赤外カメラ１０２と可視光カメラ２０２との間でのキャリブレーションの精度を向上させることができる。

また、第１の応用例に係る画像処理装置２は、上述したように、遠赤外特定部１４０によって特定された複数の第２マーカ９２０の各々の遠赤外画像における位置及び可視光特定部２４０によって特定された複数の第２マーカ９２０の各々の可視光画像における位置に基づいて、遠赤外カメラ１０２及び可視光カメラ２０２のキャリブレーションを実行する。それにより、遠赤外カメラ１０２と可視光カメラ２０２との間でのキャリブレーションとして精度良いキャリブレーションを実行することが実現される。

続いて、図２０及び図２１を参照して、第１の応用例に係る画像処理装置２が行う処理の流れについて説明する。

図２０は、第１の応用例に係る画像処理装置２が行う処理の流れの一例を示すフローチャートである。第１の応用例に係る処理の流れでは、図１６及び図１７を参照して説明した画像処理装置１が行う処理の流れと比較して、遠赤外特定部１４０が行う位置特定処理（ステップＳ５５０）以降の処理が異なる。なお、第１の応用例では、ステップＳ５５０の処理において、遠赤外特定部１４０は、特定した各マーカの遠赤外画像における位置を示す情報を遠赤外キャリブレーション部１５０及び可視光キャリブレーション部２５０へ出力する。

図２０に示したように、第１の応用例では、遠赤外特定部１４０が行う位置特定処理（ステップＳ５５０）の後、可視光取得部２２０は、チャート９を映した可視光画像を取得し（ステップＳ６０１）、取得した可視光画像を可視光抽出部２３０及び可視光特定部２４０へ出力する。そして、第３抽出部２３１は、取得された可視光画像から複数の第１マーカ９１０を抽出し（ステップＳ６０３）、抽出結果を可視光特定部２４０へ出力する。そして、第４抽出部２３３は、取得された可視光画像から第２マーカ候補を抽出し（ステップＳ６０５）、抽出結果を可視光特定部２４０へ出力する。

次に、可視光特定部２４０は、各マーカの可視光画像における位置を特定し（ステップＳ６５０）、特定した各マーカの可視光画像における位置を示す情報を可視光キャリブレーション部２５０及び遠赤外キャリブレーション部１５０へ出力する。そして、遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像における位置及び各マーカの可視光画像における位置に基づいて、遠赤外画像を撮像する遠赤外カメラ１０２のキャリブレーションを実行し（ステップＳ６０７）、決定した遠赤外カメラ１０２のカメラパラメータを示す情報を外部の装置へ出力する。そして、可視光キャリブレーション部２５０は、各マーカの遠赤外画像における位置及び各マーカの可視光画像における位置に基づいて、可視光画像を撮像する可視光カメラ２０２のキャリブレーションを実行し（ステップＳ６０９）、決定した可視光カメラ２０２のカメラパラメータを示す情報を外部の装置へ出力する。そして、図２０に示した処理は終了する。

図２１は、第１の応用例に係る画像処理装置２が行う位置特定処理の流れの一例を示すフローチャートである。当該位置特定処理は、図２０に示したフローチャートにおけるステップＳ６５０の処理に相当する。

図２１に示したように、ステップＳ６５０において、まず、第２生成部２４１は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、可視光画像において第２マーカ９２０の位置の候補を示す情報である候補情報を生成し（ステップＳ６５１）、生成した候補情報を第２推定部２４３へ出力する。そして、第２推定部２４３は、生成された候補情報に基づいて、第４抽出部２３３により抽出された第２マーカ候補と複数の第２マーカ９２０の各々との対応関係を推定し（ステップＳ６５３）、推定した当該対応関係を示す情報を第２中心特定部２４５へ出力する。そして、第２中心特定部２４５は、第１マーカ９１０及び第２マーカ候補の中心位置を、各マーカの可視光画像における位置として特定し（ステップＳ６５５）、特定した各マーカの可視光画像における位置を示す情報を可視光キャリブレーション部２５０及び遠赤外キャリブレーション部１５０へ出力する。そして、図２１に示した処理は終了する。

［４−２．第２の応用例］
続いて、図２２〜図２５を参照して、第２の応用例に係る画像処理装置３について説明する。第２の応用例では、図２〜図１７を参照して説明した実施形態と比較して、主に画像処理装置３の構成が異なる。ゆえに、以下では、第２の応用例に係る画像処理装置３について、主に説明する。

図２２は、第２の応用例に係る画像処理装置３のハードウェア構成の一例を示すブロック図である。図２２に示したように、第２の応用例に係る画像処理装置３は、上述した画像処理装置１と異なり、近赤外カメラ３０２をさらに備える。

近赤外カメラ３０２は、近赤外線を利用した撮像を行い、近赤外画像を得る撮像モジュールである。近赤外カメラ３０２は、具体的には、ＮＩＲ領域に属する波長を有する近赤外線を感知する撮像素子の配列を有する。また、近赤外カメラ３０２は、ＮＩＲ領域に属する波長を有する近赤外線を装置の近傍に照射する発光素子をも有する。例えば、近赤外カメラ３０２は、ユーザ入力などのトリガに応じて又は周期的に発光素子から近赤外線を照射し、被写体又はその背景において反射した近赤外線を捕捉することにより、近赤外画像を得る。近赤外カメラ３０２は、例えば、一定の時間間隔で近赤外画像を撮像する。また、近赤外カメラ３０２により得られる一連の近赤外画像は、映像を構成してもよい。

チャート９では、上述したように、第１マーカ９１０、第２マーカ９２０、及びベース９３０は、近赤外域において互いに異なる分光反射特性を有し得る。例えば、第１マーカ９１０は第１特性を有し、第２マーカ９２０は第２特性を有しベース９３０は第３特性を有する。それにより、近赤外カメラ３０２による撮像によって得られるチャート９を映した近赤外画像において第１マーカ９１０及び第２マーカ９２０が映るそれぞれの領域を、他の領域と区別して抽出することができる。

図２３は、図２２に示した画像処理装置３の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。図２３に示したように、第２の応用例に係る画像処理装置３は、上述した画像処理装置１と異なり近赤外取得部３２０と、近赤外抽出部３３０と、近赤外特定部３４０と、近赤外キャリブレーション部３５０と、近赤外記憶部３６０と、をさらに備える。

近赤外記憶部３６０は、画像処理装置３が行う各処理において参照されるデータを記憶する。具体的には、近赤外記憶部３６０は、近赤外取得部３２０、近赤外抽出部３３０、近赤外特定部３４０、及び近赤外キャリブレーション部３５０の各機能部が行う各処理において用いられる情報を記憶する。また、近赤外記憶部３６０は、当該各機能部が行う各処理によって得られる処理結果を記憶してもよい。各機能部は、近赤外記憶部３６０から各処理についての処理結果を取得し得る。また、近赤外記憶部３６０は、近赤外カメラ３０２によって撮像された近赤外画像を記憶してもよい。各機能部は、近赤外記憶部３６０から近赤外カメラ３０２によって撮像された近赤外画像を取得し得る。

近赤外取得部３２０は、近赤外画像を取得する。具体的には、近赤外取得部３２０は、近赤外カメラ３０２により撮像されチャート９を映した近赤外画像を取得する。また、近赤外取得部３２０は、取得した近赤外画像を近赤外抽出部３３０及び近赤外特定部３４０へ出力する。例えば、近赤外取得部３２０は、近赤外カメラ３０２から直接的に近赤外画像を取得してもよい。また、近赤外取得部３２０は、近赤外カメラ３０２そのものであってもよい。また、近赤外取得部３２０は、近赤外記憶部３６０に記憶されている近赤外画像を取得してもよい。近赤外取得部３２０により取得される近赤外画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。

近赤外抽出部３３０は、近赤外取得部３２０により取得された近赤外画像から特定の物体が映る領域を、他の領域と区別して抽出する。また、近赤外抽出部３３０は、抽出結果を近赤外特定部３４０へ出力する。近赤外抽出部３３０は、例えば、図２３に示したように、第５抽出部３３１と、第６抽出部３３３と、を含む。

第５抽出部３３１は、近赤外画像から複数の第１マーカ９１０を抽出する。具体的には、第５抽出部３３１は、近赤外取得部３２０により取得された近赤外画像から複数の第１マーカ９１０を抽出し、抽出結果を近赤外特定部３４０へ出力する。第５抽出部３３１は、例えば、近赤外画像に対して２値化処理を施すことによって、複数の第１マーカ９１０を抽出する。具体的には、第５抽出部３３１は、第１マーカ９１０、第２マーカ９２０、及びベース９３０の分光反射特性の関係性に基づいて、近赤外画像において第１特性と対応する画素値を有する画素に対して比較的高い値の第２画素値を割り当て、他の画素に対して比較的低い値の第１画素値を割り当てる。それにより、各第１マーカ９１０が映る領域に第２画素値が割り当てられることによって、複数の第１マーカ９１０の抽出が実現され得る。

第６抽出部３３３は、近赤外画像から複数の第２マーカ９２０の各々の候補である第２マーカ候補を抽出する。具体的には、第６抽出部３３３は、近赤外取得部３２０により取得された近赤外画像から第２マーカ候補を抽出し、抽出結果を近赤外特定部３４０へ出力する。第６抽出部３３３は、例えば、近赤外画像に対して２値化処理を施すことによって、第２マーカ候補を抽出する。具体的には、第６抽出部３３３は、第１マーカ９１０、第２マーカ９２０、及びベース９３０の分光反射特性の関係性に基づいて、近赤外画像において第１特性又は第２特性と対応する画素値を有する画素に対して比較的高い値の第２画素値を割り当て、他の画素に対して比較的低い値の第１画素値を割り当てる。それにより、近赤外画像において少なくとも第２マーカ９２０が映る領域に第２画素値が割り当てられることによって、第２マーカ候補の抽出が実現され得る。

近赤外特定部３４０は、各マーカの近赤外画像における位置を特定する。また、近赤外特定部３４０は、特定した各マーカの近赤外画像における位置を示す情報を近赤外キャリブレーション部３５０及び遠赤外キャリブレーション部１５０へ出力する。第２の応用例では、近赤外特定部３４０は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の近赤外画像における位置を特定する。近赤外特定部３４０は、例えば、図２３に示したように、第３生成部３４１と、第３推定部３４３と、第３中心特定部３４５と、を含む。

第３生成部３４１は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、近赤外画像において第２マーカ９２０の位置の候補を示す情報である候補情報を生成する。また、第３生成部３４１は、生成した候補情報を第３推定部３４３へ出力する。第３生成部３４１は、例えば、実空間において第２マーカ９２０を通る直線と対応する近赤外画像における直線を、候補情報として生成してもよい。

第３推定部３４３は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、第６抽出部３３３により抽出された第２マーカ候補と複数の第２マーカ９２０の各々との対応関係を推定する。換言すると、第３推定部３４３は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、第２マーカ候補がいずれの第２マーカ９２０であるかを推定する。また、第３推定部３４３は、推定した当該対応関係を示す情報を第３中心特定部３４５へ出力する。第３推定部３４３は、具体的には、第３生成部３４１により生成された候補情報に基づいて、当該対応関係を推定する。

このように、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、上記対応関係を推定することによって、上記対応関係を精度良く推定することができる。それにより、複数の第２マーカ９２０の各々の近赤外画像における位置を精度良く特定することができる。

第３中心特定部３４５は、第６抽出部３３３により抽出された第２マーカ候補の中心位置を、第３推定部３４３により推定された対応関係によって対応付けられる第２マーカ９２０の近赤外画像における位置として特定する。また、第３中心特定部３４５は、第５抽出部３３１によって抽出された第１マーカ９１０の中心位置を、第１マーカ９１０の近赤外画像における位置として特定する。第３中心特定部３４５は、特定した各マーカの近赤外画像における位置を示す情報を近赤外キャリブレーション部３５０及び遠赤外キャリブレーション部１５０へ出力する。第３中心特定部３４５は、例えば、楕円フィッティング等の画像処理を利用することによって、第１マーカ９１０及び第２マーカ候補の中心位置を特定し得る。

このように、第２マーカ候補の中心位置を、第３推定部３４３により推定された対応関係によって対応付けられる第２マーカ９２０の近赤外画像における位置として特定することによって、複数の第２マーカ９２０の各々の近赤外画像における位置をより精度良く特定することができる。また、第５抽出部３３１によって抽出された第１マーカ９１０の中心位置を、第１マーカ９１０の近赤外画像における位置として特定することによって、複数の第１マーカ９１０の各々の近赤外画像における位置をより精度良く特定することができる。

第２の応用例では、遠赤外特定部１４０は、各マーカの遠赤外画像における位置を示す情報を近赤外キャリブレーション部３５０に対しても出力する。具体的には、第１中心特定部１４５は、各マーカの遠赤外画像における位置を示す情報を遠赤外キャリブレーション部１５０及び近赤外キャリブレーション部３５０へ出力する。

近赤外キャリブレーション部３５０は、各マーカの遠赤外画像における位置及び各マーカの近赤外画像における位置に基づいて、近赤外画像を撮像する近赤外カメラ３０２のキャリブレーションを実行する。具体的には、近赤外キャリブレーション部３５０は、複数の第２マーカ９２０の各々の遠赤外画像における位置及び複数の第２マーカ９２０の各々の近赤外画像における位置に基づいて、近赤外カメラ３０２のキャリブレーションを実行する。より具体的には、近赤外キャリブレーション部３５０は、複数の第１マーカ９１０の各々及び複数の第２マーカ９２０の各々の双方の遠赤外画像及び近赤外画像における位置に基づいて、近赤外カメラ３０２のキャリブレーションを実行してもよい。

近赤外キャリブレーション部３５０は、上述したように、遠赤外画像及び近赤外画像の各々における各マーカの位置を式（１）中の二次元座標（ｘ，ｙ）に代入し、得られた複数の方程式を最適化問題として解くことによって、近赤外カメラ３０２のカメラパラメータを決定する。具体的には、近赤外キャリブレーション部３５０は、各マーカの遠赤外画像及び近赤外画像の各々における位置に基づいて、近赤外カメラ３０２の内部パラメータＡ及び外部パラメータ［Ｒ｜Ｔ］を決定する。当該外部パラメータ［Ｒ｜Ｔ］は、具体的には、近赤外カメラ３０２の遠赤外カメラ１０２に対する相対的な姿勢及び位置を示すパラメータである。

また、遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像における位置及び各マーカの近赤外画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行する。具体的には、遠赤外キャリブレーション部１５０は、複数の第２マーカ９２０の各々の遠赤外画像における位置及び複数の第２マーカ９２０の各々の近赤外画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行する。より具体的には、遠赤外キャリブレーション部１５０は、複数の第１マーカ９１０の各々及び複数の第２マーカ９２０の各々の双方の遠赤外画像及び近赤外画像における位置に基づいて、遠赤外カメラ１０２のキャリブレーションを実行してもよい。

遠赤外キャリブレーション部１５０は、上述したように、遠赤外画像及び近赤外画像の各々における各マーカの位置を式（１）中の二次元座標（ｘ，ｙ）に代入し、得られた複数の方程式を最適化問題として解くことによって、遠赤外カメラ１０２のカメラパラメータを決定する。具体的には、遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像及び近赤外画像の各々における位置に基づいて、遠赤外カメラ１０２の内部パラメータＡ及び外部パラメータ［Ｒ｜Ｔ］を決定する。当該外部パラメータ［Ｒ｜Ｔ］は、具体的には、遠赤外カメラ１０２の近赤外カメラ３０２に対する相対的な姿勢及び位置を示すパラメータである。

このように、第２の応用例に係る画像処理装置３は、遠赤外カメラ１０２と近赤外カメラ３０２との間でのキャリブレーションを実行する。また、第１マーカ９１０、第２マーカ９２０、及びベース９３０が近赤外域において互いに異なる分光反射特性を有することによって、遠赤外カメラ１０２と近赤外カメラ３０２との間でのキャリブレーションを同一のチャート９を用いて行うことができる。それにより、遠赤外カメラ１０２と近赤外カメラ３０２との間でのキャリブレーションをより容易に行うことができる。

近赤外キャリブレーション部３５０及び遠赤外キャリブレーション部１５０は、決定した近赤外カメラ３０２及び遠赤外カメラ１０２のカメラパラメータを示す情報を外部の装置へそれぞれ出力する。近赤外カメラ３０２及び遠赤外カメラ１０２のカメラパラメータを示す情報が入力される外部の装置は、当該情報に基づいて、各種画像処理を行う。例えば、当該外部の装置は、当該情報に基づいて、得られる近赤外画像及び遠赤外画像の各々におけるカメラ歪を低減する処理を行うことができる。また、当該外部の装置は、当該情報に基づいて、得られる近赤外画像及び遠赤外画像を平行化する処理であるレクティフィケーション処理を行うことができる。また、当該外部の装置は、当該情報に基づいて、得られる近赤外画像及び遠赤外画像に映る同一の対象物の縮尺を略一致させる処理を行うことができる。なお、近赤外キャリブレーション部３５０及び遠赤外キャリブレーション部１５０は、決定した近赤外カメラ３０２及び遠赤外カメラ１０２のカメラパラメータを示す情報を近赤外記憶部３６０及び遠赤外記憶部１６０へそれぞれ記憶させてもよい。

以上説明したように、第２の応用例に係る画像処理装置３によれば、近赤外特定部３４０は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の近赤外画像における位置を特定する。それにより、チャート９を映した近赤外画像において第２マーカ９２０の一部が映っていない場合であっても、近赤外画像における各マーカの位置を特定することができる。ゆえに、端部にマーカが映る近赤外画像についても、当該近赤外画像における各マーカの位置を特定することができる。よって、遠赤外カメラ１０２と近赤外カメラ３０２との間でのキャリブレーションに用いられる情報を十分に確保することができる。従って、遠赤外カメラ１０２と近赤外カメラ３０２との間でのキャリブレーションの精度を向上させることができる。

また、第２の応用例に係る画像処理装置３は、上述したように、遠赤外特定部１４０によって特定された複数の第２マーカ９２０の各々の遠赤外画像における位置及び近赤外特定部３４０によって特定された複数の第２マーカ９２０の各々の近赤外画像における位置に基づいて、遠赤外カメラ１０２及び近赤外カメラ３０２のキャリブレーションを実行する。それにより、遠赤外カメラ１０２と近赤外カメラ３０２との間でのキャリブレーションとして精度良いキャリブレーションを実行することが実現される。

続いて、図２４及び図２５を参照して、第２の応用例に係る画像処理装置３が行う処理の流れについて説明する。

図２４は、第２の応用例に係る画像処理装置３が行う処理の流れの一例を示すフローチャートである。第２の応用例に係る処理の流れでは、図１６及び図１７を参照して説明した画像処理装置１が行う処理の流れと比較して、遠赤外特定部１４０が行う位置特定処理（ステップＳ５５０）以降の処理が異なる。なお、第２の応用例では、ステップＳ５５０の処理において、遠赤外特定部１４０は、特定した各マーカの遠赤外画像における位置を示す情報を遠赤外キャリブレーション部１５０及び近赤外キャリブレーション部３５０へ出力する。

図２４に示したように、第２の応用例では、遠赤外特定部１４０が行う位置特定処理（ステップＳ５５０）の後、近赤外取得部３２０は、チャート９を映した近赤外画像を取得し（ステップＳ７０１）、取得した近赤外画像を近赤外抽出部３３０及び近赤外特定部３４０へ出力する。そして、第５抽出部３３１は、取得された近赤外画像から複数の第１マーカ９１０を抽出し（ステップＳ７０３）、抽出結果を近赤外特定部３４０へ出力する。そして、第６抽出部３３３は、取得された近赤外画像から第２マーカ候補を抽出し（ステップＳ７０５）、抽出結果を近赤外特定部３４０へ出力する。

次に、近赤外特定部３４０は、各マーカの近赤外画像における位置を特定し（ステップＳ７５０）、特定した各マーカの近赤外画像における位置を示す情報を近赤外キャリブレーション部３５０及び遠赤外キャリブレーション部１５０へ出力する。そして、遠赤外キャリブレーション部１５０は、各マーカの遠赤外画像における位置及び各マーカの近赤外画像における位置に基づいて、遠赤外画像を撮像する遠赤外カメラ１０２のキャリブレーションを実行し（ステップＳ７０７）、決定した遠赤外カメラ１０２のカメラパラメータを示す情報を外部の装置へ出力する。そして、近赤外キャリブレーション部３５０は、各マーカの遠赤外画像における位置及び各マーカの近赤外画像における位置に基づいて、近赤外画像を撮像する近赤外カメラ３０２のキャリブレーションを実行し（ステップＳ７０９）、決定した近赤外カメラ３０２のカメラパラメータを示す情報を外部の装置へ出力する。そして、図２４に示した処理は終了する。

図２５は、第２の応用例に係る画像処理装置３が行う位置特定処理の流れの一例を示すフローチャートである。当該位置特定処理は、図２４に示したフローチャートにおけるステップＳ７５０の処理に相当する。

図２５に示したように、ステップＳ７５０において、まず、第３生成部３４１は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、近赤外画像において第２マーカ９２０の位置の候補を示す情報である候補情報を生成し（ステップＳ７５１）、生成した候補情報を第３推定部３４３へ出力する。そして、第３推定部３４３は、生成された候補情報に基づいて、第６抽出部３３３により抽出された第２マーカ候補と複数の第２マーカ９２０の各々との対応関係を推定し（ステップＳ７５３）、推定した当該対応関係を示す情報を第３中心特定部３４５へ出力する。そして、第３中心特定部３４５は、第１マーカ９１０及び第２マーカ候補の中心位置を、各マーカの近赤外画像における位置として特定し（ステップＳ７５５）、特定した各マーカの近赤外画像における位置を示す情報を近赤外キャリブレーション部３５０及び遠赤外キャリブレーション部１５０へ出力する。そして、図２５に示した処理は終了する。

＜５．まとめ＞
以上説明したように、本開示の実施形態によれば、遠赤外特定部１４０は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の遠赤外画像における位置を特定する。それにより、チャート９を映した遠赤外画像において第２マーカ９２０の一部が映っていない場合であっても、遠赤外画像における各マーカの位置を特定することができる。ゆえに、端部にマーカが映る遠赤外画像についても、当該遠赤外画像における各マーカの位置を特定することができる。よって、遠赤外カメラ１０２のキャリブレーションに用いられる情報を十分に確保することができる。従って、遠赤外カメラ１０２のキャリブレーションの精度を向上させることができる。

また、本実施形態に係るチャート９によれば、複数の第１マーカ９１０に対する複数の第２マーカ９２０の各々の実空間における相対的な位置は、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて決定可能である。それにより、複数の第１マーカ９１０の各々の間の幾何学的関係に基づいて、複数の第２マーカ９２０の各々の遠赤外画像における位置を特定することが可能となる。ゆえに、チャート９を映した遠赤外画像において第２マーカ９２０の一部が映っていない場合であっても、遠赤外画像における各マーカの位置を特定することができるので、遠赤外カメラ１０２のキャリブレーションの精度を向上させることができる。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。各プログラムを実行するプロセッサは、単数であっても複数であってもよい。

具体的には、上述のような本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置２，３の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置２，３は、コンピュータに相当し得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置２，３の各機能は複数のコンピュータにより分割されてもよく、その場合、当該複数のコンピュータが有する各機能は、上記のコンピュータプログラムにより実現され得る。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。例えば、図１６に示したフローチャートについて、ステップＳ５０５の処理はステップＳ５０３の処理より前に実行されてもよく、ステップＳ５０３の処理と並列的に実行されてもよい。また、図２０に示したフローチャートについて、ステップＳ６０５（Ｓ６０９）の処理はステップＳ６０３（Ｓ６０７）の処理より前に実行されてもよく、ステップＳ６０３（Ｓ６０７）の処理と並列的に実行されてもよい。また、図２４に示したフローチャートについて、ステップＳ７０５（Ｓ７０９）の処理はステップＳ７０３（Ｓ７０７）の処理より前に実行されてもよく、ステップＳ７０３（Ｓ７０７）の処理と並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲は係る例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
遠赤外画像を取得する遠赤外取得部と、
前記遠赤外画像から第１温度を有する複数の第１マーカを抽出する第１抽出部と、
前記複数の第１マーカの各々の間の幾何学的関係に基づいて、第２温度を有する複数の第２マーカの各々の前記遠赤外画像における位置を特定する遠赤外特定部と、
を備える、
画像処理装置。
（２）
前記遠赤外画像から前記複数の第２マーカの各々の候補である第２マーカ候補を抽出する第２抽出部を備え、
前記遠赤外特定部は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記第２抽出部により抽出された前記第２マーカ候補と前記複数の第２マーカの各々との対応関係を推定する推定部を含む、
前記（１）に記載の画像処理装置。
（３）
前記遠赤外特定部は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記遠赤外画像において前記第２マーカの位置の候補を示す情報である候補情報を生成する生成部を含み、
前記推定部は、前記候補情報に基づいて、前記対応関係を推定する、
前記（２）に記載の画像処理装置。
（４）
前記遠赤外特定部は、前記第２マーカ候補の中心位置を、前記推定部により推定された前記対応関係によって対応付けられる前記第２マーカの前記遠赤外画像における位置として特定する中心特定部を含む、前記（２）又は（３）に記載の画像処理装置。
（５）
前記複数の第２マーカの各々の前記遠赤外画像における位置に基づいて、前記遠赤外画像を撮像する遠赤外カメラのキャリブレーションを実行する遠赤外キャリブレーション部を備える、前記（１）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記遠赤外カメラを備える、前記（５）に記載の画像処理装置。
（７）
可視光画像を取得する可視光取得部と、
前記可視光画像から前記複数の第１マーカを抽出する第３抽出部と、
前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記複数の第２マーカの各々の前記可視光画像における位置を特定する可視光特定部と、
を備える、前記（５）又は（６）に記載の画像処理装置。
（８）
前記複数の第２マーカの各々の前記遠赤外画像における位置及び前記複数の第２マーカの各々の前記可視光画像における位置に基づいて、前記可視光画像を撮像する可視光カメラのキャリブレーションを実行する可視光キャリブレーション部を備え、
前記遠赤外キャリブレーション部は、前記複数の第２マーカの各々の前記遠赤外画像における位置及び前記複数の第２マーカの各々の前記可視光画像における位置に基づいて、前記遠赤外カメラのキャリブレーションを実行する、
前記（７）に記載の画像処理装置。
（９）
前記可視光カメラを備える、前記（８）に記載の画像処理装置。
（１０）
近赤外画像を取得する近赤外取得部と、
前記近赤外画像から前記複数の第１マーカを抽出する第５抽出部と、
前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記複数の第２マーカの各々の前記近赤外画像における位置を特定する近赤外特定部と、
を備える、前記（５）又は（６）に記載の画像処理装置。
（１１）
前記複数の第２マーカの各々の前記遠赤外画像における位置及び前記複数の第２マーカの各々の前記近赤外画像における位置に基づいて、前記近赤外画像を撮像する近赤外カメラのキャリブレーションを実行する近赤外キャリブレーション部を備え、
前記遠赤外キャリブレーション部は、前記複数の第２マーカの各々の前記遠赤外画像における位置及び前記複数の第２マーカの各々の前記近赤外画像における位置に基づいて、前記遠赤外カメラのキャリブレーションを実行する、
前記（１０）に記載の画像処理装置。
（１２）
前記近赤外カメラを備える、前記（１１）に記載の画像処理装置。
（１３）
第１温度を有する複数の第１マーカと、
第２温度を有する複数の第２マーカと、
第３温度を有し、前記複数の第１マーカ及び前記複数の第２マーカが配設されるベースと、
を備え、
前記複数の第１マーカに対する前記複数の第２マーカの各々の実空間における相対的な位置は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて決定可能である、
キャリブレーション用チャート。
（１４）
前記ベースにおいて、前記複数の第１マーカは３個以上配設される、前記（１３）に記載のキャリブレーション用チャート。
（１５）
前記複数の第１マーカ、前記複数の第２マーカ、及び前記ベースは、可視光域において互いに異なる分光反射特性を有する、前記（１３）又は（１４）に記載のキャリブレーション用チャート。
（１６）
前記複数の第１マーカ、前記複数の第２マーカ、及び前記ベースは、近赤外域において互いに異なる分光反射特性を有する、前記（１３）〜（１５）のいずれか一項に記載のキャリブレーション用チャート。
（１７）
第１温度を有する複数の第１マーカと、第２温度を有する複数の第２マーカと、第３温度を有し、前記複数の第１マーカ及び前記複数の第２マーカが配設されるベースと、を備えるキャリブレーション用チャートと、
前記キャリブレーション用チャートを映した遠赤外画像を用いて、前記遠赤外画像を撮像する遠赤外カメラのキャリブレーションを実行する画像処理装置と、
を含み、
前記複数の第１マーカに対する前記複数の第２マーカの各々の実空間における相対的な位置は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて決定可能であり、
前記画像処理装置は、
前記遠赤外画像を取得する遠赤外取得部と、
前記遠赤外画像から前記複数の第１マーカを抽出する第１抽出部と、
前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記複数の第２マーカの各々の前記遠赤外画像における位置を特定する遠赤外特定部と、
前記複数の第２マーカの各々の前記遠赤外画像における位置に基づいて、前記遠赤外カメラのキャリブレーションを実行する遠赤外キャリブレーション部と、
を備える、
キャリブレーションシステム。

１，２，３ 画像処理装置
９ チャート
１０ キャリブレーションシステム
１０２ 遠赤外カメラ
１０４ 入力インタフェース
１０６ メモリ
１０８ ディスプレイ
１１０ 通信インタフェース
１１２ ストレージ
１１４ プロセッサ
１１６ バス
１２０ 遠赤外取得部
１３０ 遠赤外抽出部
１３１ 第１抽出部
１３３ 第２抽出部
１４０ 遠赤外特定部
１４１ 第１生成部
１４３ 第１推定部
１４５ 第１中心特定部
１５０ 遠赤外キャリブレーション部
１６０ 遠赤外記憶部
２０２ 可視光カメラ
２２０ 可視光取得部
２３０ 可視光抽出部
２３１ 第３抽出部
２３３ 第４抽出部
２４０ 可視光特定部
２４１ 第２生成部
２４３ 第２推定部
２４５ 第２中心特定部
２５０ 可視光キャリブレーション部
２６０ 可視光記憶部
３０２ 近赤外カメラ
３２０ 近赤外取得部
３３０ 近赤外抽出部
３３１ 第５抽出部
３３３ 第６抽出部
３４０ 近赤外特定部
３４１ 第３生成部
３４３ 第３推定部
３４５ 第３中心特定部
３５０ 近赤外キャリブレーション部
３６０ 近赤外記憶部
８２０ 第２マーカ候補
９１０ 第１マーカ
９２０ 第２マーカ
９３０ ベース
９４１ 第１抵抗体
９４２ 第２抵抗体
９５０ バッテリ

Claims (15)

1. 遠赤外画像を取得する遠赤外取得部と、
   前記遠赤外画像から第１温度を有する複数の第１マーカを抽出する第１抽出部と、
   前記複数の第１マーカの各々の間の幾何学的関係に基づいて、第２温度を有する複数の第２マーカの各々の前記遠赤外画像における位置を特定する遠赤外特定部と、
   前記複数の第２マーカの各々の前記遠赤外画像における位置に基づいて、前記遠赤外画像を撮像する遠赤外カメラのキャリブレーションを実行する遠赤外キャリブレーション部と、
   可視光画像を取得する可視光取得部と、
   前記可視光画像から前記複数の第１マーカを抽出する第３抽出部と、
   前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記複数の第２マーカの各々の前記可視光画像における位置を特定する可視光特定部と、
   を備える、
   画像処理装置。
2. 前記遠赤外画像から前記複数の第２マーカの各々の候補である第２マーカ候補を抽出する第２抽出部を備え、
   前記遠赤外特定部は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記第２抽出部により抽出された前記第２マーカ候補と前記複数の第２マーカの各々との対応関係を推定する推定部を含む、
   請求項１に記載の画像処理装置。
3. 前記遠赤外特定部は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記遠赤外画像において前記第２マーカの位置の候補を示す情報である候補情報を生成する生成部を含み、
   前記推定部は、前記候補情報に基づいて、前記対応関係を推定する、
   請求項２に記載の画像処理装置。
4. 前記遠赤外特定部は、前記第２マーカ候補の中心位置を、前記推定部により推定された前記対応関係によって対応付けられる前記第２マーカの前記遠赤外画像における位置として特定する中心特定部を含む、請求項２に記載の画像処理装置。
5. 前記遠赤外カメラを備える、請求項１に記載の画像処理装置。
6. 前記複数の第２マーカの各々の前記遠赤外画像における位置及び前記複数の第２マーカの各々の前記可視光画像における位置に基づいて、前記可視光画像を撮像する可視光カメラのキャリブレーションを実行する可視光キャリブレーション部を備え、
   前記遠赤外キャリブレーション部は、前記複数の第２マーカの各々の前記遠赤外画像における位置及び前記複数の第２マーカの各々の前記可視光画像における位置に基づいて、前記遠赤外カメラのキャリブレーションを実行する、
   請求項１に記載の画像処理装置。
7. 前記可視光カメラを備える、請求項６に記載の画像処理装置。
8. 遠赤外画像を取得する遠赤外取得部と、
   前記遠赤外画像から第１温度を有する複数の第１マーカを抽出する第１抽出部と、
   前記複数の第１マーカの各々の間の幾何学的関係に基づいて、第２温度を有する複数の第２マーカの各々の前記遠赤外画像における位置を特定する遠赤外特定部と、
   近赤外画像を取得する近赤外取得部と、
   前記近赤外画像から前記複数の第１マーカを抽出する第２抽出部と、
   前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記複数の第２マーカの各々の前記近赤外画像における位置を特定する近赤外特定部と、
   前記複数の第２マーカの各々の前記遠赤外画像における位置に基づいて、前記遠赤外画像を撮像する遠赤外カメラのキャリブレーションを実行する遠赤外キャリブレーション部と、
   を備える、
   画像処理装置。
9. 前記複数の第２マーカの各々の前記遠赤外画像における位置及び前記複数の第２マーカの各々の前記近赤外画像における位置に基づいて、前記近赤外画像を撮像する近赤外カメラのキャリブレーションを実行する近赤外キャリブレーション部を備え、
   前記遠赤外キャリブレーション部は、前記複数の第２マーカの各々の前記遠赤外画像における位置及び前記複数の第２マーカの各々の前記近赤外画像における位置に基づいて、前記遠赤外カメラのキャリブレーションを実行する、
   請求項８に記載の画像処理装置。
10. 前記近赤外カメラを備える、請求項９に記載の画像処理装置。
11. 第１温度、および可視光域における第１の分光反射特性を有する複数の第１マーカと、
    第２温度、および前記可視光域における第２の分光反射特性を有する複数の第２マーカと、
    第３温度を有し、前記複数の第１マーカ及び前記複数の第２マーカが配設されるベースと、
    を備え、
    前記複数の第１マーカに対する前記複数の第２マーカの各々の実空間における相対的な位置は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて決定可能であり、
    赤外画像および可視光画像において同一の前記第１マーカと前記第２マーカとを特定するために、前記第１温度と前記第２温度とは異なり、および前記第１の分光反射特性と前記第２の分光反射特性とは異なり、前記第１温度は前記第１の分光反射特性に、前記第２温度は前記第２の分光反射特性に、それぞれ対応する、
    キャリブレーション用チャート。
12. 前記ベースにおいて、前記複数の第１マーカは３個以上配設される、請求項１１に記載のキャリブレーション用チャート。
13. 前記ベースは、前記可視光域において前記第１の分光反射特性および前記第２の分光反射特性と異なる第３分光反射特性を有する、請求項１１に記載のキャリブレーション用チャート。
14. 前記複数の第１マーカ、前記複数の第２マーカ、及び前記ベースは、近赤外域において互いに異なる分光反射特性を有する、請求項１１に記載のキャリブレーション用チャート。
15. 第１温度を有する複数の第１マーカと、第２温度を有する複数の第２マーカと、第３温度を有し、前記複数の第１マーカ及び前記複数の第２マーカが配設されるベースと、を備えるキャリブレーション用チャートと、
    前記キャリブレーション用チャートを映した遠赤外画像を用いて、前記遠赤外画像を撮像する遠赤外カメラのキャリブレーションを実行する画像処理装置と、
    を含み、
    前記複数の第１マーカに対する前記複数の第２マーカの各々の実空間における相対的な位置は、前記複数の第１マーカの各々の間の幾何学的関係に基づいて決定可能であり、
    前記画像処理装置は、
    前記遠赤外画像を取得する遠赤外取得部と、
    前記遠赤外画像から前記複数の第１マーカを抽出する第１抽出部と、
    前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記複数の第２マーカの各々の前記遠赤外画像における位置を特定する遠赤外特定部と、
    前記複数の第２マーカの各々の前記遠赤外画像における位置に基づいて、前記遠赤外カメラのキャリブレーションを実行する遠赤外キャリブレーション部と、
    可視光画像を取得する可視光取得部と、
    前記可視光画像から前記複数の第１マーカを抽出する第２抽出部と、
    前記複数の第１マーカの各々の間の幾何学的関係に基づいて、前記複数の第２マーカの各々の前記可視光画像における位置を特定する可視光特定部と、
    を備える、
    キャリブレーションシステム。

Images