JPWO2018012050A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】遠赤外画像について対象領域を精度良く抽出することを可能とする。【解決手段】対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整する調整部と、前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出する抽出部と、を備える、画像処理装置を提供する。【選択図】図６

Description

本開示は、画像処理装置及び画像処理方法に関する。

近年、暗視等の目的で、遠赤外画像が利用されている。遠赤外画像は、物体からの黒体放射によって発せられる遠赤外線を撮像素子により捕捉することによって生成される。遠赤外画像の撮像では、照射された遠赤外線を熱に変換し、温度変化を電気信号として出力する熱型の撮像素子が利用され得る。このような撮像素子を用いて撮像される遠赤外画像において、被写体の温度が一定である場合であっても、被写体以外からの赤外線エネルギの入射による撮像素子自体の温度の変動に起因して、画素値が変動し得る。そこで、このような撮像素子の温度の変動に起因する画素値の変動を抑制するための技術が提案されている。

例えば、特許文献１では、熱型の撮像素子を含むセンサの温度変動に対して当該センサの出力信号を補償するために、当該センサへ赤外線放射が入射することを阻止可能なシャッタを含む撮像システムにおいて、当該シャッタを周期的に動作させて、当該シャッタが閉鎖されているときにおける当該センサを走査することにより得られる当該センサの温度と、現在の当該センサの温度との差に基づいて、当該センサに関連するパラメータを更新する技術が提案されている。

特表２００３−５３２１１１号公報

しかしながら、遠赤外画像に関する分野において、被写体以外からの赤外線エネルギの入射による撮像素子の温度の変動に起因する画素値の変動は、少なからず生じ得る。具体的には、特許文献１に開示されている技術では、シャッタが一時的に閉鎖された後においてセンサの温度が変動し得る。それにより、当該センサの温度の変動に起因して、得られる遠赤外画像の画素値の変動が生じ得る。

ところで、可視光画像に関する分野において、得られた可視光画像において移動物体等の対象物が映る対象領域を抽出する技術が利用されている。具体的には、対象物を含まない背景が映る画像である背景画像及び当該対象物が映る画像である対象画像の比較結果に基づいて、対象領域を抽出する背景差分法と称される技術が知られている。ここで、背景差分法を遠赤外画像に適用することによって、可視光画像について対象領域の抽出が困難である場合であっても、対象領域を抽出し得ることが考えられる。

上述したように、遠赤外画像において、被写体以外からの赤外線エネルギの入射による撮像素子の温度の変動に起因して画素値の変動が生じ得る。ゆえに、背景差分法を遠赤外画像に適用した場合に、背景画像及び対象画像について、背景が映る領域における画素値の差が生じ得る。ここで、背景差分法では、例えば、背景画像及び対象画像の画素値を比較することによって、対象領域の抽出が行われる。よって、遠赤外画像について対象領域を精度良く抽出することが困難となり得る。

そこで、本開示では、遠赤外画像について対象領域を精度良く抽出することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提案する。

本開示によれば、対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整する調整部と、前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出する抽出部と、を備える、画像処理装置が提供される。

また、本開示によれば、画像処理装置によって、対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整することと、前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出することと、を含む、画像処理方法が提供される。

また、本開示によれば、対象物が映る遠赤外画像である対象画像及び前記対象画像において前記対象物が映る対象領域を抽出するための参照画像のうち少なくとも一方を、前記参照画像及び前記対象画像の撮像に用いられる撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する、時間変化に関連する情報に基づいて、調整する調整部と、前記調整の後に、前記参照画像及び前記対象画像の比較結果に基づいて、前記対象領域を抽出する抽出部と、を備える、画像処理装置が提供される。

以上説明したように本開示によれば、遠赤外画像について対象領域を精度良く抽出することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。

波長に依存する赤外線画像の多様な用途について説明するための説明図である。 シャッタ補正後の画素値の時間変化の一例を示す説明図である。 各フレームの遠赤外画像についての背景差分法による抽出結果の一例について説明するための説明図である。 本開示の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 赤外線カメラの構成の一例を示す模式図である。 同実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 関数Ｆの一例を示す説明図である。 関数Ｆの一例を示す説明図である。 関数Ｆの一例を示す説明図である。 関数Ｆの一例を示す説明図である。 関数Ｆの一例を示す説明図である。 同実施形態に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 フレーム間差分法の概要について説明するための説明図である。 変形例に係る画像処理装置の機能構成の一例を示すブロック図である。 変形例に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．導入
２．画像処理装置
２−１．ハードウェア構成
２−２．機能構成
２−３．動作
３．変形例
３−１．フレーム間差分法の概要
３−２．機能構成
３−３．動作
４．まとめ

＜１．導入＞
図１は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外（ＮＩＲ）領域であり、ＮＩＲ領域に属する赤外線を近赤外線という。ＮＩＲ領域の波長の上限は、定義に依存して異なるものの、２．５μｍから４．０μｍの間にあるとされることが多い。ＮＩＲ領域のうち相対的に波長の長い部分は、短波長赤外（ＳＷＩＲ）領域と呼ばれることもある。近赤外線は、例えば、暗視（ｎｉｇｈｔ ｖｉｓｉｏｎ）、透視、光通信及び測距のために利用され得る。近赤外画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。ＮＩＲ領域に長波長側で隣接する波長領域は遠赤外（ＦＩＲ）領域であり、ＦＩＲ領域に属する赤外線を遠赤外線という。ＦＩＲ領域のうち相対的に波長の短い部分は、中波長赤外（ＭＷＩＲ）領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより遠赤外画像を生成することができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。

遠赤外画像の撮像では、具体的には、照射された遠赤外線を熱に変換し、温度変化を電気信号として出力する熱型の撮像素子が利用され得る。このような撮像素子を用いて撮像される遠赤外画像において、被写体の温度が一定である場合であっても、被写体以外からの赤外線エネルギの入射による撮像素子自体の温度の変動に起因して、画素値が変動し得る。

そこで、上述したように、このような画素値の変動を抑制するために、熱型の撮像素子へ遠赤外線が入射することを阻止可能なシャッタを利用する方法が提案されている。シャッタを利用する方法では、例えば、シャッタが一時的に閉鎖されたときに遠赤外画像である閉画像が撮像され、シャッタが一時的に閉鎖された後に開放された状態で撮像された遠赤外画像である開画像が、当該閉画像に基づいて補正される。具体的には、閉画像の画素値により開画像の画素値を補正することによって、当該開画像が補正される。以下、当該補正をシャッタ補正とも称する。シャッタ補正では、より具体的には、開画像の画素値から、閉画像の画素値を減算することによって、当該開画像が補正される。

図２は、シャッタ補正後の画素値の時間変化の一例を示す説明図である。具体的には、図２では、定温の被写体を継続的に撮像することによって得られる遠赤外画像における１つの画素である代表画素についてのシャッタ補正後の画素値の時間変化の一例が示されている。図２に示したシャッタフレームＦｓ１〜Ｆｓ６は、シャッタが一時的に閉鎖された状態で撮像された閉画像に相当するフレームである。図２に示したように、シャッタフレームＦｓ１〜Ｆｓ６の各々の直後のフレームにおける画素値は、互いに略一致する。

しかしながら、互いに隣接するシャッタフレーム間に相当する時間において、画素値は変動し得る。具体的には、シャッタが閉鎖されることによって、撮像素子が収容される収容空間内に熱が溜まり得る。その場合、シャッタが一時的に閉鎖された後において、撮像素子の温度が上昇する。それにより、シャッタ補正後の画素値は、図２に示したように、シャッタが閉鎖された後において、上昇する。そして、収容空間内の温度と収容空間外の温度とが平衡に達した後、撮像素子の温度は低下する。それにより、シャッタ補正後の画素値は、シャッタが一時的に閉鎖された後において、図２に示したように、上昇した後に低下する。このように、被写体以外からの赤外線エネルギの入射による撮像素子の温度の変動に起因する画素値の変動は、少なからず生じ得る。

なお、熱型の撮像素子の温度の変動に起因する遠赤外画像の画素値の変動を抑制するための他の方法として、各画素に対応する撮像素子の各々の感度の個体差に着目した画像処理を行う方法が提案されている。しかしながら、このような方法では、各処理において用いられるデータの量が比較的多くなり得るので、シャッタ補正を利用した方法と比較して、メモリの消費量が増大する場合がある。

ここで、上述したシャッタ補正を利用した方法によって得られる遠赤外画像に対して背景差分法を適用することによって、当該遠赤外画像において対象物が映る対象領域を抽出する場合について考える。図３は、各フレームの遠赤外画像についての背景差分法による抽出結果の一例について説明するための説明図である。図２に示したシャッタフレームＦｓ１とシャッタフレームＦｓ２の間におけるフレームＦ１、フレームＦ２、及びフレームＦ３のそれぞれと、図３に示した遠赤外画像Ｉｍ１、遠赤外画像Ｉｍ２、及び遠赤外画像Ｉｍ３のそれぞれとが対応するものとする。また、遠赤外画像Ｉｍ１は対象物を含まない背景が映る遠赤外画像である背景画像に相当し、遠赤外画像Ｉｍ２及び遠赤外画像Ｉｍ３は対象物が映る遠赤外画像である対象画像に相当する。

背景差分法では、具体的には、まず、背景画像及び対象画像の画素値の差分をとることによって、差分画像が生成される。次に、当該差分画像に対して２値化処理が施されることによって、対象領域が抽出される。そして、抽出結果として、２値化画像が出力される。図３に示したように、背景画像である遠赤外画像Ｉｍ１には、例えば、背景としての壁及び天井等の内装部ｂ１が映っている。また、対象画像である遠赤外画像Ｉｍ２及び遠赤外画像Ｉｍ３には、背景としての内装部ｂ１と、対象物としての人の腕ｆ１とが映っている。ここで、図３に示した遠赤外画像において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。

図２に示したように、フレームＦ３及びフレームＦ１のそれぞれに対応するシャッタ補正後の画素値は、略一致する。ゆえに、遠赤外画像Ｉｍ３及び遠赤外画像Ｉｍ１のそれぞれにおいて内装部ｂ１が映る領域における画素値は、略一致する。よって、背景画像としての遠赤外画像Ｉｍ１及び対象画像としての遠赤外画像Ｉｍ３について、背景である内装部ｂ１が映る領域における画素値は略一致する。一方、図２に示したように、フレームＦ２に対応するシャッタ補正後の画素値は、フレームＦ１と比較して、高い。ゆえに、遠赤外画像Ｉｍ２において内装部ｂ１が映る領域における画素値は、遠赤外画像Ｉｍ１と比較して、高い。よって、背景画像としての遠赤外画像Ｉｍ１及び対象画像としての遠赤外画像Ｉｍ２について、背景である内装部ｂ１が映る領域における画素値の差が生じる。

図３では、遠赤外画像Ｉｍ３及び遠赤外画像Ｉｍ１について生成される差分画像に２値化処理を施すことによって、生成された２値化画像Ｉｍ３０が示されている。また、図３では、遠赤外画像Ｉｍ２及び遠赤外画像Ｉｍ１について生成される差分画像に２値化処理を施すことによって、生成された２値化画像Ｉｍ２０が示されている。２値化処理では、例えば、差分画像において閾値より低い画素値を有する画素に対して比較的低い値の第１画素値を割り当て、差分画像において当該閾値以上の画素値を有する画素に対して比較的高い値の第２画素値へ割り当てる。それにより、対象物が映る対象領域に第２画素値が割り当てられることによって、対象領域の抽出が実現され得る。

図３に示したように、２値化画像Ｉｍ３０では、遠赤外画像Ｉｍ３において腕ｆ１が映る腕領域と略一致する領域に第１画素値が割り当てられ、遠赤外画像Ｉｍ３において内装部ｂ１が映る内装部領域と略一致する領域に第１画素値と異なる第２画素値が割り当てられている。ゆえに、対象領域としての腕領域が適切に抽出されている。一方、２値化画像Ｉｍ２０では、遠赤外画像Ｉｍ３において腕ｆ１が映る腕領域と略一致する領域内の一部に第２画素値が割り当てられ、遠赤外画像Ｉｍ３において内装部ｂ１が映る内装部領域と略一致する領域の一部に第１画素値が割り当てられている。ゆえに、対象領域としての腕領域の抽出が適切に行われていない。

このように、遠赤外画像において、被写体以外からの赤外線エネルギの入射による撮像素子の温度の変動に起因して生じ得る画素値の変動によって、対象領域を精度良く抽出することが困難となり得る。そこで、本明細書では、遠赤外画像について対象領域を精度良く抽出することができる仕組みを提案する。

＜２．画像処理装置＞
続いて、図４〜図１２を参照して、本開示の実施形態に係る画像処理装置１について説明する。

[２−１．ハードウェア構成]
まず、図４及び図５を参照して、本実施形態に係る画像処理装置１のハードウェア構成について説明する。

図４は、本実施形態に係る画像処理装置１のハードウェア構成の一例を示すブロック図である。図４に示したように、画像処理装置１は、赤外線カメラ１０２と、入力インタフェース１０４と、メモリ１０６と、ディスプレイ１０８と、通信インタフェース１１０と、ストレージ１１２と、プロセッサ１１４と、バス１１６と、を備える。

（赤外線カメラ）
赤外線カメラ１０２は、赤外線を利用した撮像を行い、非カラー画像である赤外線画像を得る撮像モジュールである。赤外線カメラ１０２は、本開示に係る撮像部に相当する。赤外線カメラ１０２は、具体的には、ＦＩＲ領域に属する波長を有する遠赤外線を感知する撮像素子の配列を有しており、遠赤外画像を撮像する。赤外線カメラ１０２は、例えば、一定の時間間隔で遠赤外画像を撮像する。また、赤外線カメラ１０２により得られる一連の遠赤外画像は、映像を構成してもよい。

本実施形態に係る赤外線カメラ１０２には、照射された遠赤外線を熱に変換し、温度変化を電気信号として出力する熱型の撮像素子が設けられる。具体的には、赤外線カメラ１０２における撮像素子として、ボロメータが利用される。ボロメータの抵抗値は、遠赤外線の照射により熱せられることによって変化する。ボロメータに電流を流すことによって、温度変化に応じた電圧値が検出され得る。

図５は、赤外線カメラ１０２の構成の一例を示す模式図である。図５に示したように、赤外線カメラ１０２は、筐体１０２ａと、第１レンズ１０２ｂ及び第２レンズ１０２ｃと、透光部１０２ｄと、カバー部１０２ｅと、ボロメータ１０２ｆと、シャッタ１０２ｇと、を含む。シャッタ１０２ｇは、ボロメータ１０２ｆが収容される収容空間Ｌ１０２を一時的に閉鎖可能であり、図５では、シャッタ１０２ｇが開放された状態及びシャッタ１０２ｇが閉鎖された状態がそれぞれ示されている。このように、収容空間Ｌ１０２は、一時的に閉され得るように設けられる。

筐体１０２ａは、被写体側には開口部が設けられ、赤外線カメラ１０２へ照射された遠赤外線は、当該開口部から筐体１０２ａ内へ入射する。筐体１０２ａ内の被写体側には、第１レンズ１０２ｂ及び第２レンズ１０２ｃが外側から順に並設される。第１レンズ１０２ｂ及び第２レンズ１０２ｃは、照射される遠赤外線をボロメータ１０２ｆへ集光するために設けられる。なお、このようなレンズの数及び配置は、特に限定されない筐体１０２ａ内の被写体と逆側には、ボロメータ１０２ｆ及びボロメータ１０２ｆを覆うカバー部１０２ｅが、設けられる。また、カバー部１０２ｅにおける被写体側には、照射された遠赤外線を透過させる透光部１０２ｄが設けられる。シャッタ１０２ｇが開放された状態において、赤外線カメラ１０２へ照射された遠赤外線は、第１レンズ１０２ｂ、第２レンズ１０２ｃ、及び透光部１０２ｄを順に通過した後に、ボロメータ１０２ｆ上に集光される。それにより、ボロメータ１０２ｆによって、遠赤外線が感知される。

シャッタ１０２ｇは、筐体１０２ａ内においてシャッタ１０２ｇよりボロメータ１０２ｆ側の空間に相当する収容空間Ｌ１０２を一時的に閉鎖可能である。シャッタ１０２ｇは、例えば、第２レンズ１０２ｃと透光部１０２ｄとの間に開閉可能に設けられる。シャッタ１０２ｇが閉鎖された状態において、赤外線カメラ１０２へ照射された遠赤外線は、第１レンズ１０２ｂ及び第２レンズ１０２ｃを順に通過した後に、シャッタ１０２ｇによって遮蔽される。シャッタ１０２ｇは、例えば、一定のフレーム間隔で周期的に閉鎖される。また、シャッタ１０２ｇが閉鎖される時期は、内部センサ１０２ｓによって検出される収容空間Ｌ１０２内の温度に基づいて、決定されてもよい。以下では、収容空間Ｌ１０２がシャッタ１０２ｇにより一時的に閉鎖された状態で撮像された遠赤外画像を閉画像とも呼び、収容空間Ｌ１０２がシャッタ１０２ｇにより一時的に閉鎖された後に開放された状態で撮像された遠赤外画像を開画像とも呼ぶ。なお、開画像は、背景画像と、対象画像と、を含む。

また、収容空間Ｌ１０２内には、内部センサ１０２ｓが設けられる。内部センサ１０２ｓは、収容空間Ｌ１０２内の温度を検出する。また、収容空間Ｌ１０２外には、外部センサ１０２ｈが設けられる。外部センサ１０２ｈは、収容空間Ｌ１０２外の温度を検出する。外部センサ１０２ｈは、例えば、筐体１０２ａの外部に設けられてもよく、筐体１０２ａ内におけるシャッタ１０２ｇより被写体側に設けられてもよい。以下、図４に戻り、画像処理装置１のハードウェア構成の説明を続ける。

（入力インタフェース）
入力インタフェース１０４は、ユーザが画像処理装置１を操作し又は画像処理装置１へ情報を入力するために使用される。例えば、入力インタフェース１０４は、タッチセンサ、キーボード、キーパッド、ボタン、又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０４は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０４は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。

（メモリ）
メモリ１０６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含み得る記憶媒体である。メモリ１０６は、プロセッサ１１４に連結され、プロセッサ１１４により実行される処理のためのプログラム及びデータを記憶する。

（ディスプレイ）
ディスプレイ１０８は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ１０８は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などであってもよい。

（通信インタフェース）
通信インタフェース１１０は、画像処理装置１と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１０は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。

（ストレージ）
ストレージ１１２は、赤外線画像データを蓄積し又は画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１２は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１の外部のデータソース（例えば、データサーバ、ネットワークストレージ、又は外付けメモリなど）から取得されてもよい。

（プロセッサ）
プロセッサ１１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの処理モジュールである。プロセッサ１１４は、メモリ１０６又は他の記憶媒体に記憶されるプログラムを実行することにより、遠赤外画像について対象領域を精度良く抽出することを可能とするための機能を動作させる。

（バス）
バス１１６は、赤外線カメラ１０２、入力インタフェース１０４、メモリ１０６、ディスプレイ１０８、通信インタフェース１１０、ストレージ１１２、及びプロセッサ１１４を相互に接続する。

[２−２．機能構成]
続いて、図６〜図１１を参照して、本実施形態に係る画像処理装置１の機能構成について説明する。

図６は、図４に示した画像処理装置１の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。図６に示したように、画像処理装置１は、シャッタ補正部１４０と、背景画像更新部１５０と、記憶部１６０と、背景差分処理部１７０と、を備える。

（シャッタ補正部）
シャッタ補正部１４０は、赤外線カメラ１０２によって撮像された開画像を、閉画像に基づいて補正するシャッタ補正を実行し、シャッタ補正後の開画像を背景画像更新部１５０へ出力する。シャッタ補正部１４０は、本開示に係る補正部に相当する。シャッタ補正部１４０は、具体的には、閉画像の画素値により開画像の画素値を補正することによって、当該開画像を補正する。シャッタ補正部１４０は、例えば、開画像の画素値から、閉画像の画素値を減算することによって、当該開画像を補正する。具体的には、シャッタ補正部１４０は、開画像の各画素について、閉画像の対応する画素の画素値を減算することによって、当該開画像を補正する。このようなシャッタ補正を実行することによって、上述したように、被写体以外からの赤外線エネルギの入射によるボロメータ１０２ｆの温度の変動に起因する画素値の変動を部分的に抑制することができる。シャッタ補正において用いられる閉画像は、記憶部１６０に記憶される。

また、シャッタ補正部１４０は、赤外線カメラ１０２によって撮像された遠赤外画像が閉画像である場合には、記憶部１６０に記憶されている閉画像を当該遠赤外画像へ更新する。なお、画像処理装置１は、赤外線カメラ１０２によって遠赤外画像が撮像されたときに、当該遠赤外画像に対応するフレームがシャッタフレームであるか否かを示す情報を生成し得る。それにより、画像処理装置１における各機能部は、撮像された遠赤外画像が閉画像であるか開画像であるかを判定し得る。具体的には、画像処理装置１は、シャッタフレームであるか否かを示す情報としてシャッタフラグ信号を生成してもよい。例えば、シャッタフレームであることを示すシャッタフラグ信号を「１」とし、シャッタフレームではないことを示すシャッタフラグ信号を「０」としてもよい。

（背景画像更新部）
背景画像更新部１５０は、赤外線カメラ１０２によって撮像された開画像である遠赤外画像が背景画像である場合に、記憶部１６０に記憶されている背景画像をシャッタ補正部１４０から入力されたシャッタ補正後の当該遠赤外画像へ更新する。なお、画像処理装置１は、赤外線カメラ１０２によって開画像である遠赤外画像が撮像されたときに、当該遠赤外画像に対応するフレームが背景画像に対応するフレームであるか否かを示す情報を生成し得る。それにより、画像処理装置１における各機能部は、シャッタ補正部１４０から入力された遠赤外画像が背景画像であるか対象画像であるかを判定し得る。

背景画像は、例えば、赤外線カメラ１０２によって事前に予め撮像され、記憶部１６０に記憶され得る。具体的には、背景画像は、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された直後に撮像される。換言すると、背景画像は、いずれかのシャッタフレームの直後のフレームに対応する。

なお、背景画像更新部１５０は、所定のフレームに渡って対象領域が存在しないと判定した場合に、シャッタ補正部１４０から入力された遠赤外画像が背景画像であると判定してもよい。所定のフレームに渡って対象領域が存在しないか否かの判定は、後述するフレーム間差分法を利用することによって、実現され得る。例えば、背景差分処理部１７０によって抽出された対象領域に関する情報が、背景差分処理部１７０から背景画像更新部１５０へ出力されるように構成されてもよく、その場合、背景画像更新部１５０は、当該情報に基づいて、シャッタ補正部１４０から入力された遠赤外画像が背景画像であるか否かを判定してもよい。

また、背景画像更新部１５０は、赤外線カメラ１０２が起動した時刻から所定の期間が経過した後にシャッタ１０２ｇが初めて閉鎖される時刻以前において、所定のフレームに渡って対象領域が存在しないと判定される場合であっても、シャッタ補正部１４０から入力された遠赤外画像が背景画像であると判定しなくてもよい。ここで、赤外線カメラ１０２が起動した時刻から所定の期間が経過した後にシャッタ１０２ｇが初めて閉鎖される時刻以前において、筐体１０２ａ内の温度の急激な上昇が生じ得る。このような筐体１０２ａ内の温度の急激な上昇は、得られる遠赤外画像の画素値に対する外乱となり得る。ゆえに、上記のように背景画像であるか否かの判定を上記の所定の条件下において禁止することによって、背景画像へ外乱の影響が与えられることを抑制することができる。なお、背景画像更新部１５０は、筐体１０２ａ内の温度が安定したと判定するまでの間、背景画像であるか否かの判定を禁止することが、より好ましい。

また、背景画像更新部１５０は、赤外線カメラ１０２によって撮像された開画像である遠赤外画像が対象画像である場合には、シャッタ補正部１４０から入力されたシャッタ補正後の当該遠赤外画像を背景差分処理部１７０へ出力する。

（記憶部）
記憶部１６０は、画像処理装置１が行う各処理において参照されるデータを記憶する。例えば、記憶部１６０は、シャッタ補正部１４０が行うシャッタ補正処理において用いられる、直近に撮像された閉画像を記憶する。また、記憶部１６０は、背景差分処理部１７０が行う背景差分法を用いた対象領域の抽出処理において用いられる、直近に撮像された背景画像及び関数Ｆに関する情報を記憶する。

（背景差分処理部）
背景差分処理部１７０は、背景差分法を用いて、対象画像における対象物が映る対象領域を抽出する。背景差分処理部１７０は、図６に示したように、カウンタ算出部１７１と、画素値変換部１７３と、減算部１７５と、２値化部１７７と、を含む。

カウンタ算出部１７１は、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後において経過した時間と対応するカウンタ値ｔを算出し、カウンタ値ｔの算出結果を画素値変換部１７３へ出力する。カウンタ値ｔは、画素値変換部１７３が行う処理において利用される。カウンタ算出部１７１は、例えば、赤外線カメラ１０２によって遠赤外画像が撮像されたときに生成されたシャッタフラグ信号が「１」である場合に、当該遠赤外画像に対応するフレームがシャッタフレームであると判定し、カウンタ値ｔを０に設定する。換言すると、カウンタ算出部１７１は、赤外線カメラ１０２によって撮像された遠赤外画像が閉画像である場合に、カウンタ値ｔを０に設定する。また、カウンタ算出部１７１は、例えば、赤外線カメラ１０２によって遠赤外画像が撮像されたときに生成されたシャッタフラグ信号が「０」である場合に、当該遠赤外画像に対応するフレームがシャッタフレームではないと判定し、カウンタ値ｔに１を加算する。換言すると、カウンタ算出部１７１は、赤外線カメラ１０２によって撮像された遠赤外画像が開画像である場合に、カウンタ値ｔに１を加算する。

画素値変換部１７３は、対象物を含まない背景が映る遠赤外画像である背景画像及び当該対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整する本開示に係る調整部に相当する。具体的には、画素値変換部１７３は、記憶部１６０に記憶されている背景画像を、当該時間変化モデルに基づいて、調整し、調整後の背景画像を減算部１７５へ出力する。画素値変換部１７３は、例えば、赤外線カメラ１０２によって撮像された遠赤外画像が対象画像である場合に、当該調整を実行する。

観測画素値の時間変化モデルでは、具体的には、ボロメータ１０２ｆによって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射によるボロメータ１０２ｆの温度の変動に起因する時間変化が規定されている。ここで、当該時間変化は、撮像される遠赤外画像の画素値の、時間の経過に伴う、変動の特性を意味する。より具体的には、上記時間変化モデルとして、定温の被写体を継続的に撮像することによって得られる遠赤外画像におけるシャッタ補正後の画素値の時間変化が規定されている関数Ｆが適用され得る。以下では、定温の被写体を継続的に撮像することによって得られる遠赤外画像におけるシャッタ補正後の画素値を、単に、シャッタ補正後の画素値とも称する。

本実施形態では、画素値変換部１７３は、記憶部１６０に記憶されている背景画像を、観測画素値の時間変化モデルとしての関数Ｆに基づいて、調整する。具体的には、画素値変換部１７３は、記憶部１６０に記憶されている背景画像の各画素について、画素値を関数Ｆに基づいて変換することによって、当該背景画像を調整する。以下、関数Ｆについてより詳細に説明する。

画素値変換部１７３は、具体的には、収容空間Ｌ１０２が一時的に閉鎖された後における時間を関数Ｆに適用して、背景画像を調整する。換言すると、関数Ｆでは、収容空間Ｌ１０２が一時的に閉鎖された後における、シャッタ補正後の画素値の、被写体以外からの赤外線エネルギの入射によるボロメータ１０２ｆの温度の変動に起因する時間変化が規定されている。シャッタ補正を利用する場合、上述したように、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖されることに起因してボロメータ１０２ｆの温度の変動が生じる。ゆえに、関数Ｆを上記のように設定することによって、シャッタ補正を利用する場合における画素値の変動の特性を適切に表現することができる。

関数Ｆは、例えば、カウンタ値ｔの関数であり、以下の式（１）によって表される。なお、カウンタ値ｔは、上述したように、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後において経過した時間と対応する。関数Ｆでは、各カウンタ値ｔに対応する時刻におけるシャッタ補正後の画素値のモデル値が規定されている。

式（１）におけるＡ１、Ａ２、及びＴ０は、例えば、画像処理装置１における各種設計仕様に応じて設定される定数である。Ａ１及びＴ０は正の値をとり、Ａ２は負の値をとる。なお、各定数等の関数Ｆに関する情報は、記憶部１６０に記憶され得る。図７は、式（１）によって表される関数Ｆを示す説明図である。図７に示したように、関数Ｆにおいて、シャッタ補正後の画素値のモデル値は、時間の経過に伴って上昇した後に低下するように設定されてもよい。式（１）におけるＣ０は、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された直後に撮像された背景画像におけるシャッタ補正後の画素値の実値である。式（１）によって表される関数Ｆは、具体的には、仮に対象物を含まない背景を継続的に撮像した場合に得られる遠赤外画像におけるシャッタ補正後の画素値についての、収容空間Ｌ１０２が一時的に閉鎖された後における時間変化を規定する。なお、関数Ｆにおける各定数は、固定値であってもよく、後述するように、収容空間Ｌ１０２内の温度、収容空間Ｌ１０２外の温度、及び、Ｃ０に基づいて設定されてもよい。

画素値変換部１７３は、具体的には、記憶部１６０に記憶されている背景画像の画素値を、カウンタ算出部１７１によって算出されたカウンタ値ｔを関数Ｆに代入することにより得られる値へ変換することによって、当該背景画像を調整する。より具体的には、画素値変換部１７３は、このような関数Ｆに基づく画素値の変換を、背景画像の各画素について、実行する。

ここで、背景画像は、上述したように、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された直後に撮像され得る。ゆえに、赤外線カメラ１０２によって撮像された遠赤外画像が対象画像である場合において、カウンタ値ｔは、背景画像が撮像された時刻から対象画像が撮像された時刻までの時間と対応し得る。よって、画素値変換部１７３は、関数Ｆに基づいて調整を行うことによって、背景画像及び対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射によるボロメータ１０２ｆの温度の変動に起因する画素値の変動を補完するように、背景画像を調整することができる。それにより、背景画像において背景が映る領域における画素値と、対象画像において背景が映る領域における画素値を略一致させることができる。ゆえに、背景画像及び対象画像の比較結果の精度を向上させることができる。

関数Ｆでは、収容空間Ｌ１０２内の温度及び収容空間Ｌ１０２外の温度に基づいて、シャッタ補正後の画素値の時間変化が規定されてもよい。それにより、シャッタ補正を利用する場合における画素値の時間変化をより適切に規定することができる。

具体的には、関数Ｆでは、収容空間Ｌ１０２内の温度が収容空間Ｌ１０２外の温度より高い場合において、シャッタ補正後の画素値のモデル値が、時間の経過に伴って上昇した後に低下するように、シャッタ補正後の画素値の時間変化が規定されてもよい。収容空間Ｌ１０２内の温度が収容空間Ｌ１０２外の温度より高い場合、関数Ｆは、例えば、図７に示した式（１）によって表される関数に設定されてもよい。

赤外線カメラ１０２が駆動されている状態において、基本的に、収容空間Ｌ１０２内の温度は収容空間Ｌ１０２外の温度より高い。このような場合には、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖されることによって、ボロメータ１０２ｆが収容される収容空間Ｌ１０２内に熱が溜まり得る。それにより、ボロメータ１０２ｆの温度は、シャッタが一時的に閉鎖された後において、上昇する。そして、ボロメータ１０２ｆの温度は、収容空間Ｌ１０２内の温度と収容空間Ｌ１０２外の温度とが平衡に達した後に、低下する。ゆえに、シャッタ補正後の画素値は、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後において、時間の経過に伴って上昇した後に低下する。よって、収容空間Ｌ１０２内の温度が収容空間Ｌ１０２外の温度より高い場合において、関数Ｆを上記のように設定することによって、シャッタ補正後の画素値の時間変化をより適切に規定することができる。

また、関数Ｆでは、収容空間Ｌ１０２内の温度が比較的高い場合において、シャッタ補正後の画素値のモデル値の時間変化率が、収容空間Ｌ１０２内の温度が比較的低い場合と比較して、小さくなるように、シャッタ補正後の画素値の時間変化が規定されてもよい。収容空間Ｌ１０２内の温度が比較的高い場合、関数Ｆは、例えば、以下の式（２）によって表される関数Ｆに設定されてもよい。

式（２）におけるＢ１及びＢ２は、定数である。Ｂ１は正の値をとり、Ｂ２は負の値をとる。Ｂ１及びＢ２の絶対値は、それぞれ式（１）におけるＡ１及びＡ２の絶対値と比較して、小さな値に設定される。ここで、式（１）によって表される関数Ｆは、収容空間Ｌ１０２内の温度が比較的低い場合において設定される関数に相当する。図８は、式（２）によって表される関数Ｆを示す説明図である。図８では、二点鎖線によって、式（１）によって表される関数Ｆが示されている。

収容空間Ｌ１０２内の温度が比較的高い場合には、ボロメータ１０２ｆ自体の温度も比較的高いので、収容空間Ｌ１０２内に溜まった熱のボロメータ１０２ｆへの流入量は低下し得る。それにより、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後におけるボロメータ１０２ｆの温度の上昇速度は、比較的低くなり得る。ゆえに、シャッタが一時的に閉鎖された後におけるシャッタ補正後の画素値の上昇速度は、比較的低くなり得る。よって、収容空間Ｌ１０２内の温度が比較的高い場合において、関数Ｆを上記のように設定することによって、シャッタ補正後の画素値の時間変化をより適切に規定することができる。

また、関数Ｆでは、収容空間Ｌ１０２外の温度が比較的高い場合において、シャッタ補正後の画素値のモデル値が低下し始める時刻が、収容空間Ｌ１０２外の温度が比較的低い場合と比較して、早くなるように、シャッタ補正後の画素値の時間変化が規定されてもよい。収容空間Ｌ１０２外の温度が比較的高い場合、関数Ｆは、例えば、以下の式（３）によって表される関数Ｆに設定されてもよい。

式（３）におけるＴ１は、定数である。Ｔ１は正の値をとる。Ｔ１の絶対値は、式（１）におけるＴ０の絶対値と比較して、小さな値に設定される。ここで、式（１）によって表される関数Ｆは、収容空間Ｌ１０２外の温度が比較的低い場合において設定される関数に相当する。図９は、式（３）によって表される関数Ｆを示す説明図である。図９では、二点鎖線によって、式（１）によって表される関数Ｆが示されている。

収容空間Ｌ１０２外の温度が比較的高い場合には、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後において収容空間Ｌ１０２内の温度と収容空間Ｌ１０２外の温度とが平衡に達する時刻が比較的早くなり得る。ゆえに、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後においてシャッタ補正後の画素値が低下し始める時刻は、比較的早くなり得る。よって、収容空間Ｌ１０２外の温度が比較的高い場合において、関数Ｆを上記のように設定することによって、シャッタ補正後の画素値の時間変化をより適切に規定することができる。

また、関数Ｆでは、収容空間Ｌ１０２内の温度が収容空間Ｌ１０２外の温度より低い場合において、シャッタ補正後の画素値のモデル値が、時間の経過に伴って低下した後に上昇するように、シャッタ補正後の画素値の時間変化が規定されてもよい。収容空間Ｌ１０２内の温度が収容空間Ｌ１０２外の温度より低い場合、関数Ｆは、例えば、以下の式（４）によって表される関数Ｆに設定されてもよい。

式（４）におけるＣ１、Ｃ２、及びＴ２は、定数である。Ｃ１は負の値をとり、Ｃ２及びＴ２は正の値をとる。Ｔ２の絶対値は、式（１）におけるＴ０の絶対値と異なってもよい。例えば、Ｔ２の絶対値は、Ｔ０の絶対値と比較して、小さな値に設定されてもよい。図１０は、式（４）によって表される関数Ｆを示す説明図である。図１０では、二点鎖線によって、式（１）によって表される関数Ｆが示されている。

収容空間Ｌ１０２内の温度が収容空間Ｌ１０２外の温度より低い場合には、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖されることによって、収容空間Ｌ１０２外から収容空間Ｌ１０２内への熱の流入が遮断され得る。それにより、ボロメータ１０２ｆの温度は、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後において、低下する。そして、ボロメータ１０２ｆの温度は、収容空間Ｌ１０２内の温度と収容空間Ｌ１０２外の温度とが平衡に達した後に、上昇する。ゆえに、シャッタ補正後の画素値は、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後において、時間の経過に伴って低下した後に上昇する。よって、収容空間Ｌ１０２内の温度が収容空間Ｌ１０２外の温度より低い場合において、関数Ｆを上記のように設定することによって、シャッタ補正後の画素値の時間変化をより適切に規定することができる。

上記では、関数Ｆが一次関数の合成によって表される例について説明したが、関数Ｆは係る例に限定されない。例えば、関数Ｆは、指数関数の合成によって表されてもよい。具体的には、関数Ｆは、例えば、以下の式（５）によって表される関数Ｆに設定されてもよい。

式（５）におけるｋ、ａ１、及びａ２は、定数である。ｋ、ａ１、及びａ２は、例えば、正の値をとってもよい。なお、式（５）における各定数は、固定値であってもよく、収容空間Ｌ１０２内の温度、収容空間Ｌ１０２外の温度、及びＣ０に基づいて設定されてもよい。図１１は、式（５）によって表される関数Ｆを示す説明図である。

収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された後において、ボロメータ１０２ｆの温度は、上述したように、上昇した後に、収容空間Ｌ１０２内の温度と収容空間Ｌ１０２外の温度とが平衡に達することによって、低下する。このような熱平衡が生じる時刻より前において、ボロメータ１０２ｆの温度の上昇速度は時間の経過に伴って減少し、当該熱平衡が生じる時刻より後において、ボロメータ１０２ｆの温度の低下速度は時間の経過に伴って増大する。よって、熱平衡が生じる時刻より前において、シャッタ補正後の画素値の上昇速度は時間の経過に伴って減少し、当該熱平衡が生じる時刻より後において、シャッタ補正後の画素値の低下速度は時間の経過に伴って増大する。ゆえに、指数関数の合成によって表される関数Ｆを利用することによって、一次関数の合成によって表される関数Ｆを利用する場合と比較して、シャッタ補正後の画素値の時間変化をさらに適切に規定することができる。

上記では、画素値変換部１７３が観測画素値の時間変化モデルとして関数Ｆを利用することによって背景画像を調整する例について説明したが、画素値変換部１７３による背景画像の調整処理は係る例に限定されない。例えば、画素値変換部１７３は、観測画素値の時間変化モデルとして、シャッタ補正後の画素値の時間変化が規定されているデータテーブルを利用することによって、背景画像を調整してもよい。当該データテーブルにおいて規定されているシャッタ補正後の画素値の時間変化は、上述した関数Ｆにおいて規定されているシャッタ補正後の画素値の時間変化と略一致してもよい。具体的には、当該データテーブルでは、各カウンタ値ｔについて、カウンタ値ｔ及び当該カウンタ値ｔと対応するシャッタ補正後の画素値のモデル値のペアが紐付けられている。このようなデータテーブルは、記憶部１６０に記憶され得る。また、データテーブルは、収容空間Ｌ１０２内の温度、収容空間Ｌ１０２外の温度、及びＣ０のそれぞれの各値について複数記憶されてもよい。

減算部１７５は、画素値変換部１７３による調整の後に、背景画像及び対象画像の画素値の差分をとることによって、差分画像を生成する。また、減算部１７５は、生成された差分画像を２値化部１７７へ出力する。具体的には、減算部１７５は、対象画像及び調整後の背景画像について、対応する各画素間で画素値の減算を行うことによって、差分画像を生成する。なお、当該差分画像は、背景画像及び対象画像の比較結果に相当する。

本実実施形態では、画素値変換部１７３によって、背景画像が、観測画素値の時間変化モデルとしての関数Ｆに基づいて、調整される．それにより、背景画像において背景が映る領域における画素値と、対象画像において背景が映る領域における画素値を略一致させることができる。ゆえに、背景画像及び対象画像の比較結果の精度を向上させることができる。具体的には、差分画像において、背景が映る領域における画素値を比較的小さくすることができる。

２値化部１７７は、減算部１７５から入力された差分画像に対して２値化処理を施すことによって、対象領域を抽出する。また、２値化部１７７は、抽出結果として、２値化画像を出力する。例えば、２値化部１７７は、２値化画像を記憶部１６０に記憶させてもよく、画像処理装置１の外部の装置へ送信してもよい。２値化部１７７は、具体的には、差分画像において閾値より低い画素値を有する画素に対して比較的低い値の第１画素値を割り当て、差分画像において当該閾値以上の画素値を有する画素に対して比較的高い値の第２画素値へ割り当てる。それにより、対象物が映る対象領域に第２画素値が割り当てられることによって、対象領域の抽出が実現され得る。

本実実施形態では、背景画像が、観測画素値の時間変化モデルとしての関数Ｆに基づいて、調整されることによって、上述したように、差分画像において背景が映る領域における画素値を、比較的小さくすることができる。ゆえに、差分画像において背景が映る領域における画素に対して比較的低い値の第１画素値が適切に割り当てられ、差分画像において対象物が映る領域における画素に対して比較的高い値の第２画素値が割り当てられる。それにより、対象領域を適切に抽出することができる。従って、本実施形態では、対象領域を精度良く抽出することができる。

このように、減算部１７５及び２値化部１７７は、本開示に係る調整部による観測画素値の時間変化モデルを用いた調整の後に、背景画像及び対象画像の比較結果に基づいて、対象画像において対象物が映る対象領域を抽出する本開示に係る抽出部に相当する。当該抽出部は、当該調整の後に、背景画像及び対象画像の画素値を比較することによって、対象領域を抽出してもよい。具体的には、減算部１７５及び２値化部１７７は、上述したように、画素値変換部１７３による調整の後に、背景画像及び対象画像の画素値の差分をとることによって、対象領域を抽出してもよい。

上記では、画素値変換部１７３による調整の後に、背景画像及び対象画像の画素値を比較することによって、対象領域を抽出する例について説明したが、画素値変換部１７３による調整の後における対象領域の抽出処理は係る例に限定されない。例えば、画像処理装置１は、画素値変換部１７３による調整の後に、背景画像における画素値の確率密度関数を生成し、当該確率密度関数に基づいて背景画像と対象画像とを比較することによって、対象領域を抽出してもよい。

具体的には、画像処理装置１は、画素値変換部１７３による調整の後に、背景画像の各画素について、調整後の画素値を中央値とするガウス分布に従った確率密度関数を生成する。そして、画像処理装置１は、背景画像及び対象画像について、対応する画素間で当該確率密度関数に基づいて、比較する。例えば、画像処理装置１は、対象画像のある画素の画素値と背景画像の当該画素と対応する画素の画素値とが一致する確率が所定の確率より高い場合に、対象画像の上記画素は背景が映る背景領域を構成すると判定し得る。このように、対象画像の各画素について、当該各画素が背景領域を構成するか否かを判定し、判定結果に基づいて２値化処理を実行することによって、対象領域を抽出することができる。

このように、本開示に係る抽出部は、本開示に係る調整部による調整の後に、背景画像における画素値の確率密度関数を生成し、当該確率密度関数に基づいて背景画像と対象画像とを比較することによって、対象領域を抽出してもよい。

[２−３．動作]
続いて、図１２を参照して、本実施形態に係る画像処理装置１が行う処理の流れについて説明する。図１２は、本実施形態に係る画像処理装置１が行う処理の流れの一例を示すフローチャートである。図１２に示した処理は、例えば、各フレームについて、実行され得る。

図１２に示したように、まず、シャッタ補正部１４０は、赤外線カメラ１０２によって撮像された遠赤外画像Ｉｋを読み込む（ステップＳ５０１）。なお、シャッタ補正部１４０は、赤外線カメラ１０２から出力される遠赤外画像Ｉｋを直接的に読み込んでもよく、赤外線カメラ１０２から記憶部１６０へ記憶された後に当該記憶部１６０から遠赤外画像Ｉｋを読み込んでもよい。そして、シャッタ補正部１４０は、遠赤外画像Ｉｋが閉画像であるか否かを判定する（ステップＳ５０３）。遠赤外画像Ｉｋが閉画像であると判定された場合（ステップＳ５０３／ＹＥＳ）、シャッタ補正部１４０は、記憶部１６０に記憶されている閉画像Ｉｃを遠赤外画像Ｉｋへ更新する（ステップＳ５０５）。そして、カウンタ算出部１７１は、カウンタ値ｔを０に設定し（ステップＳ５０７）、図１２に示した処理は終了する。

一方、ステップＳ５０３の判定処理において、遠赤外画像Ｉｋが閉画像であると判定されなかった場合（ステップＳ５０３／ＮＯ）、シャッタ補正部１４０は、開画像である遠赤外画像Ｉｋについて、閉画像Ｉｃに基づいて、シャッタ補正を実行し（ステップＳ５０９）、シャッタ補正後の遠赤外画像Ｉｋを背景画像更新部１５０へ出力する。そして、背景画像更新部１５０は、遠赤外画像Ｉｋが背景画像であるか否かを判定する（ステップＳ５１１）。遠赤外画像Ｉｋが背景画像であると判定された場合（ステップＳ５１１／ＹＥＳ）、背景画像更新部１５０は、記憶部１６０に記憶されている背景画像Ｉｒを遠赤外画像Ｉｋへ更新する（ステップＳ５１３）。そして、カウンタ算出部１７１は、カウンタ値ｔに１を加算し（ステップＳ５１５）、図１２に示した処理は終了する。

一方、ステップＳ５１１の判定処理において、遠赤外画像Ｉｋが背景画像であると判定されなかった場合（ステップＳ５１１／ＮＯ）、背景画像更新部１５０は、対象画像である遠赤外画像Ｉｋを背景差分処理部１７０へ出力する。そして、カウンタ算出部１７１は、カウンタ値ｔに１を加算する（ステップＳ５１７）。次に、画素値変換部１７３は、背景画像Ｉｒの各画素について、画素値を、関数Ｆに基づいて、変換する（ステップＳ５１９）。それにより、背景画像Ｉｒが調整され、画素値変換部１７３は、調整後の背景画像Ｉｒを減算部１７５へ出力する。そして、減算部１７５は、遠赤外画像Ｉｋ及び調整後の背景画像Ｉｒについて、対応する各画素間で画素値の減算を行う（ステップＳ５２１）。それにより、比較結果としての差分画像が生成され、減算部１７５は、生成された差分画像を２値化部１７７へ出力する。次に、２値化部１７７は、差分画像に対して２値化処理を実行する（ステップＳ５２３）。それにより、対象領域が抽出される。そして、２値化部１７７は、抽出結果として、２値化画像を出力し（ステップＳ５２５）、図１２に示した処理は終了する。

＜３．変形例＞
続いて、図１３〜図１５を参照して、変形例に係る画像処理装置２について説明する。変形例に係る画像処理装置２は、本実施形態に係る画像処理装置１と異なり、フレーム間差分法を用いて、対象画像における対象物が映る対象領域を抽出する。

[３−１．フレーム間差分法の概要]
まず、変形例に係る画像処理装置２の詳細についての説明に先立って、図１３を参照して、フレーム間差分法の概要について説明する。図１３は、フレーム間差分法の概要について説明するための説明図である。図１３では、フレーム間差分法における各処理の前後における遠赤外画像が示されている。

図１３に示した遠赤外画像Ｉｍ５１、遠赤外画像Ｉｍ５２、及び遠赤外画像Ｉｍ５３は、連続するフレームのそれぞれに対応する遠赤外画像である。各遠赤外画像には、背景としての林道ｂ５と、対象物としての車両ｆ５とが映っている。車両ｆ５は進行方向に沿って走行している。ゆえに、遠赤外画像Ｉｍ５２に映る車両ｆ５は、遠赤外画像Ｉｍ５１と比較して、前方（図面における右方）に位置している。また、遠赤外画像Ｉｍ５３に映る車両ｆ５は、遠赤外画像Ｉｍ５２と比較して、さらに前方に位置している。ここで、図１３に示した遠赤外画像において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。なお、図１３に示した例において、遠赤外画像Ｉｍ５２がフレーム間差分法において抽出される対象領域に対応する対象画像に相当する。一方、遠赤外画像Ｉｍ５１及び遠赤外画像Ｉｍ５３は、対象領域を抽出するための第１参照画像及び第２参照画像にそれぞれ相当する。

フレーム間差分法では、具体的には、まず、対象画像及び当該対象画像に対して１つ前のフレームに対応する第１参照画像の差分をとることによって、第１差分画像が生成される。また、対象画像及び当該対象画像に対して１つ後のフレームに対応する第２参照画像の差分をとることによって、第２差分画像が生成される。図１３では、遠赤外画像Ｉｍ５１及び遠赤外画像Ｉｍ５２に基づいて生成された第１差分画像Ｉｍ７１と、遠赤外画像Ｉｍ５２及び遠赤外画像Ｉｍ５３に基づいて生成された第２差分画像Ｉｍ７２と、が示されている。

続いて、第１差分画像と第２差分画像を合成することによって、合成画像が生成される。具体的には、第１差分画像及び第２差分画像の論理積をとることによって合成画像が生成される。次に、当該合成画像に対して２値化処理が施されることによって、対象領域が抽出される。そして、抽出結果として、２値化画像が出力される。図１３では、第１差分画像Ｉｍ７１及び第２差分画像Ｉｍ７２について生成される差分画像に２値化処理を施すことによって生成された２値化画像Ｉｍ９１が示されている。

フレーム間差分法による対象領域の抽出では、背景差分法による対象領域の抽出と同様に、対象領域を精度良く抽出することが困難となり得る。具体的には、定温の被写体を継続的に撮像することによって得られる遠赤外画像における画素値は、連続するフレームについて異なり得る。ゆえに、遠赤外画像Ｉｍ５１、遠赤外画像Ｉｍ５２、及び遠赤外画像Ｉｍ５３の各々について、林道ｂ５が映る領域における画素値の差が生じる。よって、差分画像Ｉｍ７１及び差分画像Ｉｍ７２の各々において林道ｂ５が映る領域における画素値は、比較的小さな値にならない場合がある。それにより、合成処理の後の２値化処理において、対象領域の抽出が困難となり得る。

フレーム間差分法による対象領域の抽出では、連続するフレームのそれぞれに対応する遠赤外画像を利用するので、対象領域の抽出の精度は、背景差分法による対象領域の抽出と比較して、被写体以外からの赤外線エネルギの入射による撮像素子の温度の変動の影響を受けにくい。しかしながら、フレーム間差分法による対象領域の抽出においても、上述したように、対象領域を精度良く抽出することが困難となり得る。以下では、撮像される遠赤外画像に対して上述したフレーム間差分法を適用した場合において、遠赤外画像について対象領域を精度良く抽出することを可能とする変形例に係る画像処理装置２について説明する。

[３−２．機能構成]
続いて、図１４を参照して、変形例に係る画像処理装置２の機能構成について説明する。変形例に係る画像処理装置２のハードウェア構成は、図４を参照して説明した画像処理装置１のハードウェア構成と同様であってもよい。図１４は、そのような画像処理装置２の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。図１４に示したように、画像処理装置２は、記憶部２６０と、フレーム間差分処理部２７０と、を備える。

（記憶部）
記憶部２６０は、画像処理装置２が行う各処理において参照されるデータを記憶する。例えば、記憶部２６０は、フレーム間差分処理部２７０が行うフレーム間差分法を用いた対象領域の抽出処理において用いられる、赤外線カメラ１０２によって撮像された遠赤外画像を記憶する。

（フレーム間差分処理部）
フレーム間差分処理部２７０は、フレーム間差分法を用いて、対象画像における対象物が映る対象領域を抽出する。フレーム間差分処理部２７０は、図１４に示したように、第１統計量算出部２７１ａ、第２統計量算出部２７１ｂ、及び第３統計量算出部２７１ｃと、係数算出部２７３と、第１正規化部２７５ａ、第２正規化部２７５ｂ、及び第３正規化部２７５ｃと、第１減算部２７７ａ及び第２減算部２７７ｂと、合成部２７８と、２値化部２７９と、を含む。

第１統計量算出部２７１ａ、第２統計量算出部２７１ｂ、及び第３統計量算出部２７１ｃは、連続するフレームに対応する遠赤外画像の各々について、平均輝度値を算出し、算出結果を係数算出部２７３へ出力する。なお、平均輝度値は、遠赤外画像における全画素についての画素値の平均値に相当する。

具体的には、第１統計量算出部２７１ａは、直近に撮像された遠赤外画像Ｉｋに対して２つ前のフレームに対応する遠赤外画像Ｉｋ−２の平均輝度値を算出する。また、第２統計量算出部２７１ｂは、直近に撮像された遠赤外画像Ｉｋに対して１つ前のフレームに対応する遠赤外画像Ｉｋ−１の平均輝度値を算出する。また、第３統計量算出部２７１ｃは、直近に撮像された遠赤外画像Ｉｋの平均輝度値を算出する。

なお、遠赤外画像Ｉｋ−１がフレーム間差分法において抽出される対象領域に対応する対象画像に相当する。一方、遠赤外画像Ｉｋ−２及び遠赤外画像Ｉｋは、対象領域を抽出するための第１参照画像及び第２参照画像にそれぞれ相当する。

係数算出部２７３は、遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋの各々の平均輝度値を互いに一致させるための正規化係数を、各遠赤外画像について、それぞれ算出し、算出結果を第１正規化部２７５ａ、第２正規化部２７５ｂ、及び第３正規化部２７５ｃへ出力する。

具体的には、係数算出部２７３は、遠赤外画像Ｉｋ−２に対応する第１正規化係数を第１正規化部２７５ａへ出力する。また、係数算出部２７３は、遠赤外画像Ｉｋ−１に対応する第２正規化係数を第２正規化部２７５ｂへ出力する。また、係数算出部２７３は、遠赤外画像Ｉｋに対応する第３正規化係数を第３正規化部２７５ｃへ出力する。各正規化係数は、当該各正規化係数を対応する遠赤外画像の各画素に乗じることによって得られる各遠赤外画像の平均輝度値が互いに一致するような値に算出される。

第１正規化部２７５ａ、第２正規化部２７５ｂ、及び第３正規化部２７５ｃは、各遠赤外画像について、当該各遠赤外画像に対応する正規化係数を乗じる正規化処理を実行することによって、各遠赤外画像を調整し、調整後の各遠赤外画像を、第１減算部２７７ａ及び第２減算部２７７ｂへ出力する。

具体的には、第１正規化部２７５ａは、遠赤外画像Ｉｋ−２に第１正規化係数を乗じる正規化処理を実行することによって、遠赤外画像Ｉｋ−２を調整し、調整後の遠赤外画像Ｉｋ−２を第１減算部２７７ａへ出力する。また、第２正規化部２７５ｂは、遠赤外画像Ｉｋ−１に第２正規化係数を乗じる正規化処理を実行することによって、遠赤外画像Ｉｋ−１を調整し、調整後の遠赤外画像Ｉｋ−１を第１減算部２７７ａ及び第２減算部２７７ｂへ出力する。また、第３正規化部２７５ｃは、遠赤外画像Ｉｋに第３正規化係数を乗じる正規化処理を実行することによって、遠赤外画像Ｉｋを調整し、調整後の遠赤外画像Ｉｋを第２減算部２７７ｂへ出力する。

このように、係数算出部２７３、第１正規化部２７５ａ、第２正規化部２７５ｂ、及び第３正規化部２７５ｃは、対象画像及び参照画像を、複数のフレームに対応する各遠赤外画像の輝度値に関する情報に基づいて、調整する。具体的には、対象画像である遠赤外画像Ｉｋ−１並びに参照画像である遠赤外画像Ｉｋ−２及び遠赤外画像Ｉｋは、各遠赤外画像の平均輝度値に基づいて、互いに平均輝度値が略一致するように、調整される。このように、変形例では、複数のフレームに対応する各遠赤外画像の輝度値に関する情報に基づいた調整を行うことによって、参照画像及び対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射によるボロメータ１０２ｆの温度の変動に起因する画素値の変動を補完するように、参照画像及び対象画像を調整することができる。それにより、各遠赤外画像において背景が映る領域における画素値を略一致させることができる。ゆえに、参照画像及び対象画像の比較結果の精度を向上させることができる。

上記では、画像処理装置２が、各遠赤外画像を、連続する３つのフレームに対応する各遠赤外画像の全画素についての平均輝度値に基づいて、全画素についての平均輝度値が互いに略一致するように、調整する例について説明したが、画像処理装置２による調整処理は係る例に限定されない。例えば、画像処理装置２は、遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋと異なる他の複数のフレームに対応する遠赤外画像についての平均輝度値に基づいて、シャッタ補正後の画素値の温度変化をモデル化し、モデル化された画素値の温度変化に基づいて遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋの画素値を調整してもよい。

また、画像処理装置２は、既に抽出された対象領域の位置の履歴情報に基づいて、遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋにおいて背景が映る背景領域の位置を予測し、予測された背景領域における平均輝度値が互いに略一致するように、各遠赤外画像を調整してもよい。なお、既に抽出された対象領域は、例えば、対象画像である遠赤外画像Ｉｋ−１より前のフレームに対応する遠赤外画像についてフレーム間差分法を利用することによって抽出された対象領域である。

第１減算部２７７ａ及び第２減算部２７７ｂの各々は、係数算出部２７３及び各正規化部２７５ａ〜２７５ｃによる調整の後に、隣接するフレームに対応する遠赤外画像の画素値の差分をとることによって、差分画像を生成する。また、第１減算部２７７ａ及び第２減算部２７７ｂは、生成された差分画像を合成部２７８へ出力する。具体的には、第１減算部２７７ａ及び第２減算部２７７ｂの各々は、隣接するフレームに対応する調整後の遠赤外画像について、対応する各画素間で画素値の減算を行うことによって、差分画像を生成する。

具体的には、第１減算部２７７ａは、調整後の遠赤外画像Ｉｋ−２及び調整後の遠赤外画像Ｉｋ−１について、対応する各画素間で画素値の減算を行うことによって、第１差分画像を生成し、合成部２７８へ出力する。また、第２減算部２７７ｂは、調整後の遠赤外画像Ｉｋ−１及び調整後の遠赤外画像Ｉｋについて、対応する各画素間で画素値の減算を行うことによって、第２差分画像を生成し、合成部２７８へ出力する。なお、第１差分画像及び第２差分画像は、参照画像及び対象画像の比較結果に相当する。

変形例では、遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋが、複数のフレームに対応する各遠赤外画像の輝度値に関する情報に基づいて、調整される。それにより、各遠赤外画像において背景が映る領域における画素値を略一致させることができる。ゆえに、参照画像及び対象画像の比較結果の精度を向上させることができる。具体的には、第１差分画像及び第２差分画像において、背景が映る領域における画素値を比較的小さくすることができる。

合成部２７８は、生成された第１差分画像と第２差分画像を合成する合成処理を実行することによって、合成画像を生成し、２値化部２７９へ出力する。具体的には、合成部２７８は、第１差分画像及び第２差分画像の論理積をとることによって、合成画像を生成する。

変形例では、各遠赤外画像が、複数のフレームに対応する各遠赤外画像の輝度値に関する情報に基づいて、調整されることによって、上述したように、第１差分画像及び第２差分画像において、背景が映る領域における画素値を比較的小さくすることができる。ゆえに、合成画像において、背景が映る領域における画素値は、比較的小さな値をとる。

２値化部２７９は、合成部２７８から入力された合成画像に対して２値化処理を施すことによって、対象領域を抽出する。また、２値化部２７９は、抽出結果として、２値化画像を出力する。例えば、２値化部２７９は、２値化画像を記憶部２６０に記憶させてもよく、画像処理装置２の外部の装置へ送信してもよい。２値化部２７９は、具体的には、合成画像において閾値より低い画素値を有する画素に対して比較的低い値の第１画素値を割り当て、合成画像において当該閾値以上の画素値を有する画素に対して比較的高い値の第２画素値へ割り当てる。それにより、対象物が映る対象領域に第２画素値が割り当てられることによって、対象領域の抽出が実現され得る。

変形例では、各遠赤外画像が、複数のフレームに対応する各遠赤外画像の輝度値に関する情報に基づいて、調整されることによって、上述したように、合成画像において、背景が映る領域における画素値を、比較的小さくすることができる。ゆえに、合成画像において背景が映る領域における画素に対して比較的低い値の第１画素値が適切に割り当てられ、合成画像において対象物が映る領域における画素に対して比較的高い値の第２画素値が割り当てられる。それにより、対象領域を適切に抽出することができる。従って、変形例では、対象領域を精度良く抽出することができる。

このように、第１減算部２７７ａ、第２減算部２７７ｂ、合成部２７８、及び２値化部２７９は、係数算出部２７３及び各正規化部２７５ａ〜２７５ｃによる調整の後に、参照画像及び対象画像の比較結果に基づいて、対象画像において対象物が映る対象領域を抽出する。具体的には、第１減算部２７７ａ、第２減算部２７７ｂ、合成部２７８、及び２値化部２７９は、当該調整の後に、参照画像及び対象画像の画素値を比較することによって、対象領域を抽出する。より具体的には、第１減算部２７７ａ、第２減算部２７７ｂ、合成部２７８、及び２値化部２７９は、上述したように、当該調整の後に、隣接するフレームに対応する遠赤外画像のペアに相当する参照画像及び対象画像の画素値の差分をとることによって、対象領域を抽出する。

上記では、係数算出部２７３及び各正規化部２７５ａ〜２７５ｃによる調整の後に、参照画像及び対象画像の画素値を比較することによって、対象領域を抽出する例について説明したが、調整の後における対象領域の抽出処理は係る例に限定されない。例えば、画像処理装置２は、係数算出部２７３及び各正規化部２７５ａ〜２７５ｃによる調整の後に、参照画像における画素値の確率密度関数を生成し、当該確率密度関数に基づいて参照画像と対象画像とを比較することによって、対象領域を抽出してもよい。

具体的には、画像処理装置２は、係数算出部２７３及び各正規化部２７５ａ〜２７５ｃによる調整の後に、参照画像の各画素について、調整後の画素値を中央値とするガウス分布に従った確率密度関数を生成する。そして、画像処理装置２は、参照画像及び対象画像について、対応する画素間で当該確率密度関数に基づいて、比較する。例えば、画像処理装置２は、対象画像のある画素の画素値と参照画像の当該画素と対応する画素の画素値とが一致する確率が所定の確率より高い場合に、対象画像の上記画素は背景が映る背景領域を構成すると判定し得る。このように、対象画像の各画素について、当該各画素が背景領域を構成するか否かを判定し、判定結果に基づいて２値化処理を実行することによって、隣接するフレームに渡って背景が映る領域とその他の領域との境界が形成された画像が得られる。上述した減算処理に替えてこのような処理を実行した後、合成処理及び２値化処理を実行することによって、対象領域を抽出することができる。

[３−３．動作]
続いて、図１５を参照して、変形例に係る画像処理装置２が行う処理の流れについて説明する。図１５は、変形例に係る画像処理装置２が行う処理の流れの一例を示すフローチャートである。図１５に示した処理は、例えば、各フレームについて、実行され得る。

図１５に示したように、まず、第３統計量算出部２７１ｃは、赤外線カメラ１０２によって直近に撮像された遠赤外画像Ｉｋを読み込む（ステップＳ６０１）。なお、第３統計量算出部２７１ｃは、赤外線カメラ１０２から出力される遠赤外画像Ｉｋを直接的に読み込んでもよく、赤外線カメラ１０２から記憶部２６０へ記憶された後に当該記憶部２６０から遠赤外画像Ｉｋを読み込んでもよい。次に、第２統計量算出部２７１ｂ及び第１統計量算出部２７１ａは、記憶部２６０から遠赤外画像Ｉｋ−１及び遠赤外画像Ｉｋ−２をそれぞれ読み込む（ステップＳ６０３）。次に、第１統計量算出部２７１ａ、第２統計量算出部２７１ｂ、及び第３統計量算出部２７１ｃは、遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋの各々の平均輝度値をそれぞれ算出し（ステップＳ６０５）、算出結果を係数算出部２７３へ出力する。

そして、係数算出部２７３は、遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋの各々の平均輝度値を互いに一致させるための正規化係数を、各遠赤外画像について、それぞれ算出し（ステップＳ６０７）、算出結果を第１正規化部２７５ａ、第２正規化部２７５ｂ、及び第３正規化部２７５ｃへ出力する。次に、第１正規化部２７５ａ、第２正規化部２７５ｂ、及び第３正規化部２７５ｃは、遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋの各々について、各遠赤外画像に対応する正規化係数を乗じる正規化処理を実行する（ステップＳ６０９）。それにより、各遠赤外画像が調整され、第１正規化部２７５ａ、第２正規化部２７５ｂ、及び第３正規化部２７５ｃは、調整後の各遠赤外画像を、第１減算部２７７ａ及び第２減算部２７７ｂへ出力する。

そして、第１減算部２７７ａは、調整後の遠赤外画像Ｉｋ−２及び調整後の遠赤外画像Ｉｋ−１について、対応する各画素間で画素値の減算を行う（ステップＳ６１１）。それにより、第１差分画像が生成され、第１減算部２７７ａは、第１差分画像を合成部２７８へ出力する。次に、第２減算部２７７ｂは、調整後の遠赤外画像Ｉｋ−１及び調整後の遠赤外画像Ｉｋについて、対応する各画素間で画素値の減算を行う（ステップＳ６１３）。それにより、第２差分画像が生成され、第２減算部２７７ｂは、第２差分画像を合成部２７８へ出力する。次に、合成部２７８は、生成された第１差分画像と第２差分画像を合成する合成処理を実行する（ステップＳ６１５）。それにより、合成画像が生成され、合成部２７８は、合成画像を２値化部２７９へ出力する。

そして、２値化部２７９は、合成画像に対して２値化処理を実行する（ステップＳ６１７）。それにより、対象領域が抽出される。そして、２値化部２７９は、抽出結果として、２値化画像を出力する（ステップＳ６１９）。ここで、記憶部２６０には、フレーム間差分処理部２７０が行う処理において用いられる、直近に撮像された遠赤外画像に対して１つ前のフレームに対応する対象画像及び直近に撮像された遠赤外画像に対して２つ前のフレームに対応する第１参照画像の設定情報が登録されていてもよい。その場合には、フレーム間差分処理部２７０は、対象画像及び第１参照画像として、それぞれ遠赤外画像Ｉｋ及び遠赤外画像Ｉｋ−１を設定することによって、当該設定情報を更新し（ステップＳ６２１）、図１５に示した処理は終了する。

なお、変形例に係る画像処理装置２は、撮像された各遠赤外画像に対してシャッタ補正を実行してもよく、実行しなくてもよい。シャッタ補正を実行する場合、画像処理装置２は、シャッタ１０２ｇが閉鎖された状態で撮像された閉画像を対象画像又は第１参照画像として設定しないように、対象画像及び第１参照画像の設定情報の更新を行う。

なお、上述のような本実施形態に係る画像処理装置１又は変形例に係る画像処理装置２の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。本実施形態に係る画像処理装置１又は変形例に係る画像処理装置２は、コンピュータに相当し得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、本実施形態に係る画像処理装置１又は変形例に係る画像処理装置２の各機能は複数のコンピュータにより分割されてもよく、その場合、当該複数のコンピュータが有する各機能は、上記のコンピュータプログラムにより実現され得る。

＜４．まとめ＞
以上説明したように、本開示の実施形態によれば、画素値変換部１７３は、対象物を含まない背景が映る遠赤外画像である背景画像及び当該対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルとしての関数Ｆに基づいて、調整する。それにより、画素値変換部１７３は、背景画像及び対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射によるボロメータ１０２ｆの温度の変動に起因する画素値の変動を補完するように、背景画像及び対象画像のいずれか一方を調整することができる。それにより、背景画像において背景が映る領域における画素値と、対象画像において背景が映る領域における画素値を略一致させることができる。ゆえに、背景画像及び対象画像の比較結果の精度を向上させることができる。また、本開示の実施形態によれば、減算部１７５及び２値化部１７７は、画素値変換部１７３による調整の後に、背景画像及び対象画像の比較結果に基づいて、対象画像において対象物が映る対象領域を抽出する。よって、対象領域を精度良く抽出することができる。

上記で説明した画像処理装置１及び画像処理装置２において、調整部は、対象画像及び対象領域を抽出するための参照画像のうち少なくとも一方を、参照画像及び対象画像の撮像に用いられる撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による当該撮像素子の温度の変動に起因する、時間変化に関連する情報（以下、関連情報とも称する。）に基づいて、対象領域を抽出する。それにより、参照画像及び対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射による当該撮像素子の温度の変動に起因する画素値の変動を補完するように、参照画像及び対象画像のうち少なくとも一方を調整することができる。それにより、参照画像において背景が映る領域における画素値と、対象画像において背景が映る領域における画素値を略一致させることができる。ゆえに、参照画像及び対象画像の比較結果の精度を向上させることができる。また、抽出部は、調整部による調整の後に、参照画像及び対象画像の比較結果に基づいて、対象画像において対象物が映る対象領域を抽出する。よって、対象領域を精度良く抽出することができる。

なお、画像処理装置１では、背景画像が、上記の参照画像に相当する。また、画素値変換部１７３が、調整部に相当する。また、観測画素値の時間変化モデルが、上記関連情報に相当する。また、減算部１７５及び２値化部１７７が、抽出部に相当する。一方、画像処理装置２では、直近に撮像された遠赤外画像Ｉｋに対して２つ前のフレームに対応する遠赤外画像Ｉｋ−２及び直近に撮像された遠赤外画像Ｉｋが、参照画像に相当する。また、係数算出部２７３、第１正規化部２７５ａ、第２正規化部２７５ｂ、及び第３正規化部２７５ｃが、調整部に相当する。また、複数のフレームに対応する各遠赤外画像の輝度値に関する情報が、上記関連情報に相当する。また、第１減算部２７７ａ、第２減算部２７７ｂ、合成部２７８、及び２値化部２７９が、抽出部に相当する。

なお、上述では、収容空間Ｌ１０２がシャッタ１０２ｇによって一時的に閉鎖された直後において、背景画像が撮像され得る例について主に説明したが、背景画像が撮像される時刻は、係る例に限定されない。なお、背景画像がシャッタフレームより後のフレームに対応する場合、関数Ｆは、当該背景画像が撮像された時刻に応じて設定され得る。具体的には、当該背景画像が撮像された時刻に対応するカウンタ値ｔを関数Ｆに代入して得られる値である画素値のモデル値が、当該背景画像におけるシャッタ補正後の画素値の実値と一致するように、関数Ｆは設定され得る。

なお、上述では、画像処理装置１が背景画像を調整する例について説明したが、画像処理装置１は、対象画像を調整してもよい。また、画像処理装置２が遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋを調整する例について説明したが、画像処理装置２は遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋのうち、少なくとも２つを調整すればよい。

なお、画像処理装置２における遠赤外画像Ｉｋ−２、遠赤外画像Ｉｋ−１、及び遠赤外画像Ｉｋの調整処理について、画像処理装置１を参照して説明した観測画素値の時間変化モデルに基づく調整処理を適用することによっても、遠赤外画像について対象領域を精度良く抽出することを可能とし得る。

なお、上述した画像処理装置１又は画像処理装置２は、様々な電子機器に利用することができる。具体的には、監視カメラや車載カメラの一部として利用されてもよい。あるいは、スマートホームに用いられる各種電子機器に利用されてもよい。本実施形態に係る電子機器によっても、上述した画像処理装置１又は画像処理装置２と同様の効果を得ることが可能である。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。各プログラムを実行するプロセッサは、単数であっても複数であってもよい。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲は係る例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整する調整部と、
前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出する抽出部と、
を備える、画像処理装置。
（２）
前記背景画像及び前記対象画像の撮像に用いられる撮像素子が収容される収容空間は、一時的に閉鎖され得るように設けられ、
前記調整部は、前記収容空間が一時的に閉鎖された後における時間を前記時間変化モデルに適用して、前記背景画像及び前記対象画像のいずれか一方を調整する、
前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、前記収容空間が一時的に閉鎖された状態で撮像された遠赤外画像である閉画像の画素値により、前記収容空間が一時的に閉鎖された後に開放された状態で撮像された遠赤外画像である開画像の画素値を、補正することによって、前記開画像を補正する補正部を備える、前記（２）に記載の画像処理装置。
（４）
前記時間変化モデルでは、前記撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する時間変化が規定されている、前記（２）又は（３）に記載の画像処理装置。
（５）
前記時間変化モデルでは、前記収容空間内の温度及び前記収容空間外の温度に基づいて、前記時間変化が規定されている、前記（４）に記載の画像処理装置。
（６）
前記時間変化モデルでは、前記収容空間内の温度が前記収容空間外の温度より高い場合において、前記撮像素子によって撮像される遠赤外画像の画素値のモデル値が、時間の経過に伴って上昇した後に低下するように、前記時間変化が規定されている、前記（５）に記載の画像処理装置。
（７）
前記時間変化モデルでは、前記収容空間内の温度が比較的高い場合において、前記モデル値の時間変化率が、前記収容空間内の温度が比較的低い場合と比較して、小さくなるように、前記時間変化が規定されている、前記（６）に記載の画像処理装置。
（８）
前記時間変化モデルでは、前記収容空間外の温度が比較的高い場合において、前記モデル値が低下し始める時刻が、前記収容空間外の温度が比較的低い場合と比較して、早くなるように、前記時間変化が規定されている、前記（６）又は（７）に記載の画像処理装置。
（９）
前記時間変化モデルでは、前記収容空間内の温度が前記収容空間外の温度より低い場合において、前記モデル値が、時間の経過に伴って低下した後に上昇するように、前記時間変化が規定されている、前記（６）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
前記調整部は、前記背景画像及び前記対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する画素値の変動を補完するように、前記背景画像及び前記対象画像のいずれか一方を調整する、前記（４）〜（９）のいずれか一項に記載の画像処理装置。
（１１）
遠赤外画像を撮像可能であり、前記撮像素子を有する撮像部を備える、前記（２）〜（１０）のいずれか一項に記載の画像処理装置。
（１２）
前記撮像部は、前記撮像素子が収容される空間を一時的に閉鎖可能なシャッタを備える、前記（１１）に記載の、画像処理装置。
（１３）
前記撮像素子は、ボロメータを含む、前記（２）〜（１２）のいずれか一項に記載の画像処理装置。
（１４）
前記抽出部は、前記調整の後に、前記背景画像及び前記対象画像の画素値を比較することによって、前記対象領域を抽出する、前記（１）〜（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記抽出部は、前記調整の後に、前記背景画像における画素値の確率密度関数を生成し、前記確率密度関数に基づいて前記背景画像と前記対象画像とを比較することによって、前記対象領域を抽出する、前記（１）〜（１３）のいずれか一項に記載の画像処理装置。
（１６）
画像処理装置によって、対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整することと、
前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出することと、
を含む、画像処理方法。
（１７）
対象物が映る遠赤外画像である対象画像及び前記対象画像において前記対象物が映る対象領域を抽出するための参照画像のうち少なくとも一方を、前記参照画像及び前記対象画像の撮像に用いられる撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する、時間変化に関連する情報に基づいて、調整する調整部と、
前記調整の後に、前記参照画像及び前記対象画像の比較結果に基づいて、前記対象領域を抽出する抽出部と、
を備える、画像処理装置。

１，２ 画像処理装置
１０２ 赤外線カメラ
１０２ａ 筐体
１０２ｂ 第１レンズ
１０２ｃ 第２レンズ
１０２ｄ 透光部
１０２ｅ カバー部
１０２ｆ ボロメータ
１０２ｇ シャッタ
１０２ｈ 外部センサ
１０２ｓ 内部センサ
１０４ 入力インタフェース
１０６ メモリ
１０８ ディスプレイ
１１０ 通信インタフェース
１１２ ストレージ
１１４ プロセッサ
１１６ バス
１４０ シャッタ補正部
１５０ 背景画像更新部
１６０ 記憶部
１７０ 背景差分処理部
１７１ カウンタ算出部
１７３ 画素値変換部
１７５ 減算部
１７７ ２値化部
２６０ 記憶部
２７０ フレーム間差分処理部
２７１ａ 第１統計量算出部
２７１ｂ 第２統計量算出部
２７１ｃ 第３統計量算出部
２７３ 係数算出部
２７５ａ 第１正規化部
２７５ｂ 第２正規化部
２７５ｃ 第３正規化部
２７７ａ 第１減算部
２７７ｂ 第２減算部
２７８ 合成部
２７９ ２値化部

Claims (17)

1. 対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整する調整部と、
   前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出する抽出部と、
   を備える、画像処理装置。
2. 前記背景画像及び前記対象画像の撮像に用いられる撮像素子が収容される収容空間は、一時的に閉鎖され得るように設けられ、
   前記調整部は、前記収容空間が一時的に閉鎖された後における時間を前記時間変化モデルに適用して、前記背景画像及び前記対象画像のいずれか一方を調整する、
   請求項１に記載の画像処理装置。
3. 前記画像処理装置は、前記収容空間が一時的に閉鎖された状態で撮像された遠赤外画像である閉画像の画素値により、前記収容空間が一時的に閉鎖された後に開放された状態で撮像された遠赤外画像である開画像の画素値を、補正することによって、前記開画像を補正する補正部を備える、請求項２に記載の画像処理装置。
4. 前記時間変化モデルでは、前記撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する時間変化が規定されている、請求項２に記載の画像処理装置。
5. 前記時間変化モデルでは、前記収容空間内の温度及び前記収容空間外の温度に基づいて、前記時間変化が規定されている、請求項４に記載の画像処理装置。
6. 前記時間変化モデルでは、前記収容空間内の温度が前記収容空間外の温度より高い場合において、前記撮像素子によって撮像される遠赤外画像の画素値のモデル値が、時間の経過に伴って上昇した後に低下するように、前記時間変化が規定されている、請求項５に記載の画像処理装置。
7. 前記時間変化モデルでは、前記収容空間内の温度が比較的高い場合において、前記モデル値の時間変化率が、前記収容空間内の温度が比較的低い場合と比較して、小さくなるように、前記時間変化が規定されている、請求項６に記載の画像処理装置。
8. 前記時間変化モデルでは、前記収容空間外の温度が比較的高い場合において、前記モデル値が低下し始める時刻が、前記収容空間外の温度が比較的低い場合と比較して、早くなるように、前記時間変化が規定されている、請求項６に記載の画像処理装置。
9. 前記時間変化モデルでは、前記収容空間内の温度が前記収容空間外の温度より低い場合において、前記モデル値が、時間の経過に伴って低下した後に上昇するように、前記時間変化が規定されている、請求項６に記載の画像処理装置。
10. 前記調整部は、前記背景画像及び前記対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する画素値の変動を補完するように、前記背景画像及び前記対象画像のいずれか一方を調整する、請求項４に記載の画像処理装置。
11. 遠赤外画像を撮像可能であり、前記撮像素子を有する撮像部を備える、請求項２に記載の画像処理装置。
12. 前記撮像部は、前記撮像素子が収容される空間を一時的に閉鎖可能なシャッタを備える、請求項１１に記載の、画像処理装置。
13. 前記撮像素子は、ボロメータを含む、請求項２に記載の画像処理装置。
14. 前記抽出部は、前記調整の後に、前記背景画像及び前記対象画像の画素値を比較することによって、前記対象領域を抽出する、請求項１に記載の画像処理装置。
15. 前記抽出部は、前記調整の後に、前記背景画像における画素値の確率密度関数を生成し、前記確率密度関数に基づいて前記背景画像と前記対象画像とを比較することによって、前記対象領域を抽出する、請求項１に記載の画像処理装置。
16. 画像処理装置によって、対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整することと、
    前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出することと、
    を含む、画像処理方法。
17. 対象物が映る遠赤外画像である対象画像及び前記対象画像において前記対象物が映る対象領域を抽出するための参照画像のうち少なくとも一方を、前記参照画像及び前記対象画像の撮像に用いられる撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する、時間変化に関連する情報に基づいて、調整する調整部と、
    前記調整の後に、前記参照画像及び前記対象画像の比較結果に基づいて、前記対象領域を抽出する抽出部と、
    を備える、画像処理装置。

Images