WO2021260871A1

WO2021260871A1 - 赤外線画像処理装置および赤外線画像処理方法

Info

Publication number: WO2021260871A1
Application number: PCT/JP2020/024953
Authority: WO
Inventors: 俊樹藤野; 康平栗原; 孝一山下; 大祐鈴木
Original assignee: 三菱電機株式会社
Priority date: 2020-06-25
Filing date: 2020-06-25
Publication date: 2021-12-30
Also published as: JP7282268B2; JPWO2021260871A1; DE112020007355T5; CN115836530A; US20230177653A1

Abstract

複数枚の画像から筋状ノイズを補正するための補正係数を算出して、筋状ノイズを低減できる赤外線画像処理装置を提供する。　赤外線画像処理装置は、赤外線を受光して赤外線と対応する信号を出力する熱画像センサと、信号に基づいて、複数枚の熱画像を生成する熱画像生成部と、複数枚の熱画像それぞれの画像の各画素ごとに周辺の画素の画素値を用いて平滑化処理をおこない、複数枚の平滑化画像を算出し、各画像の平滑化済みの各画素値である平滑化画素値を算出する平滑化処理部と、熱画像および平滑化画像から第一の補正係数と第二の補正係数とを含む補正係数群を算出する補正係数算出部と、補正係数群を用いて熱画像を補正する熱画像補正部とを備えることを特徴とするものである。

Description

赤外線画像処理装置および赤外線画像処理方法

　本開示は、熱画像のノイズ低減処理を行う赤外線画像処理装置および赤外線画像処理方法に関する。

　赤外線を受光して熱画像を生成する赤外線画像処理装置は、赤外線を受光するための複数の赤外線検出素子を備えている。例えば、赤外線検出素子は、生成される画像と対応するようにマトリックス状に配置される。マトリックス状に配置された赤外線検出素子は、素子の並ぶ行または列ごとに別々の駆動線が接続され、各駆動線から電力が供給される。これらの駆動線の特性にばらつきがあると、赤外線検出素子への入力値と赤外線検出素子からの出力値との関係が行または列ごとに変化してしまう。この変化により赤外線画像処理装置が生成した熱画像に行方向または列方向に延びる筋状ノイズが生じることがある。

　このような筋状ノイズを低減するために、特許文献１の撮像装置では、以下の方法によりノイズを低減することが提案されている。特許文献１の撮像装置は、一定間隔毎に遮光状態の画像を撮像し、遮光時と露光時の出力信号を測定する。次に特許文献１の撮像装置は、測定値と理想値とからノイズのオフセット成分と光量依存成分とに対応した補正信号を生成することでノイズを低減する。

特開２００９－１０５９６６号公報

　上記の特許文献１の撮像装置のように、一定間隔毎に遮光状態の画像を撮像し、遮光画像を用いて校正を行う場合、ノイズ特性は環境温度の変化などにより時々刻々と変化する。このため、撮像装置において、遮光時（シャッター時）からの時間経過により撮像装置における筋状ノイズの抑制効果は低下する。その結果、撮像装置では筋状ノイズが徐々に発生することになる。一般的に撮像装置においては、シャッター時には画像が暗転するためシャッター頻度は上げないことが望ましい。しかし、シャッター頻度を上げなければ、撮像装置においては、頻繁に遮光画像を用いて校正を行うことができない。この場合、撮像装置においては、トータル時間でのノイズの補正精度が低下する。

　本開示は、上記のような課題を解決するためになされたものであり、複数枚の画像から筋状ノイズを補正するための補正係数を算出することができ、算出された補正係数により精度よく筋状ノイズを低減することが可能な赤外線画像処理装置を提供することを目的とする。

　本開示に係る赤外線画像処理装置は、赤外線を受光して赤外線と対応する信号を出力する熱画像センサと、この信号に基づいて複数枚の熱画像を生成する熱画像生成部と、複数枚の熱画像それぞれの画像の各画素ごとに周辺の画素の画素値を用いて平滑化処理を行い、複数枚の平滑化画像を算出して平滑化済みの各画素値である平滑化画素値を算出する平滑化処理部と、熱画像および平滑化画像から第一の補正係数と第二の補正係数とを含む補正係数群を算出する補正係数算出部と、補正係数群を用いて熱画像を補正する熱画像補正部とを備えることを特徴とするものである。

　本開示に係る赤外線画像処理装置は、複数枚の画像に含まれる画素の画素値の違いに基づいて補正係数を算出する。算出された補正係数により精度よく筋状ノイズを低減することができる。

実施の形態１に係る赤外線画像処理装置の構成を示すブロック図である。実施の形態１に係る熱画像センサの入力値と出力値との関係を示すグラフである。実施の形態１に係る赤外線画像処理装置の平滑化処理を説明するための概念図である。実施の形態１に係る赤外線画像処理装置における熱画像とその対象画素値列を説明するための概念図である。実施の形態１に係る赤外線画像処理装置における平滑化熱画像とその対象画素値列を説明するための概念図である。実施の形態１に係る赤外線画像処理装置における補正係数を算出する方法を説明するための概念図である。実施の形態１に係る赤外線画像処理装置１の平滑化画像を出力する処理を示すまでのフローチャートである。実施の形態１に係る赤外線画像処理装置１の補正係数を出力する処理を示すまでのフローチャートである。実施の形態１に係る赤外線画像処理装置１の補正後の熱画像を出力するまでのフローチャートである。実施の形態２に係る赤外線画像処理装置の構成を示すブロック図である。実施の形態２に係る赤外線画像処理装置の熱画像センサおよびセンサ移動部の概略図、および熱画像の概略図である。実施の形態２に係る呼吸情報推定装置のハードウェア構成の一例を示す図である。実施の形態２に係る呼吸情報推定装置のハードウェア構成の他の例を示す図である。

　以下、実施の形態について、図を用いて説明する。図中の同一の符号は、同一または相当する部分を表す。

実施の形態１
　実施の形態１に係る赤外線画像処理装置１の構成について説明する。図１は、実施の形態１に係る赤外線画像処理装置の構成を示すブロック図である。赤外線画像処理装置１は、熱画像センサ２および熱画像処理装置３を備える。熱画像処理装置３は、熱画像生成部３１、平滑化処理部３２、補正係数算出部３３、および熱画像補正部３４を備える。熱画像センサ２は、電圧信号ＶＩを熱画像生成部３１へ送る。熱画像生成部３１は、熱画像ＴＩを平滑化処理部３２、補正係数算出部３３および熱画像補正部３４へ送る。平滑化処理部３２は、平滑化画像ＦＩを補正係数算出部３３へ送る。補正係数算出部３３は、補正係数ｃおよび補正係数ｄを、メモリ等を介して熱画像補正部３４へ送る。熱画像補正部３４は、補正後の熱画像ＴOを熱画像処理装置３および赤外線画像処理装置１の出力として出力先へ送る。

　熱画像センサ２は、室内に設置された電気製品に設けられ、電気製品の稼働時に一定の間隔で室内を撮像する。次に熱画像センサ２は、室内に存在する物体から放射される赤外線（約８μｍから１２μｍの電磁波）を受光して赤外線の強度に対応した電圧信号ＶＩを出力する。熱画像センサ２は、物体から放射される赤外線を検出し赤外線の強度に対応した電圧信号ＶＩを出力する複数の赤外線検出素子により構成される。赤外線検出素子とは、例えば焦電素子である。複数の赤外線検出素子は、マトリックス状に配置されており、行方向に並ぶ素子には一本の駆動線が接続され、電力が供給される。熱画像センサ２は、赤外線検出素子が出力する電圧信号ＶＩを熱画像処理装置３へ送信する。

　熱画像センサ２は、赤外線に対応した電圧信号ＶＩを赤外線検出素子の配置と対応づけられた順序に従って、熱画像処理装置３へ送信する。ところで、電気製品が稼働していることで、電気製品自体またはその周辺の物体が温められる。熱画像ＴＩは、熱画像センサ２の電圧信号ＶＩに基づいて熱画像処理装置３により生成されており、露光状態で室内における温度の異なる複数の領域を撮像した画像となる。熱画像ＴＩは、ある特定の画素位置の第１のフレームから第２のフレームまでの画素値の異なる複数の画素を含む。例えば第１のフレームと第２のフレームとは隣接するフレームである。フレーム番号とは、例えば、１０枚の画像があった場合、フレーム番号１の画像からフレーム番号１０の画像と表現するための番号である。なお、画素値とは電圧信号ＶＩの電圧値をデジタル値に変換した値である。具体的には画素値は、以下の方法で求められる。熱画像処理装置３は、電圧信号ＶＩの電圧値を図１に図示しないメモリ等へ記憶する。次に熱画像処理装置３は、電圧値と順序の情報とを読み出して、電圧値を予め対応づけられた画素値に変換する。そして、熱画像処理装置３は、順序の情報を用いて画素値を並べる。熱画像処理装置３は、並べた画素値から一枚の熱画像を生成し、図示しないメモリ等へ記憶する。

　図２は、実施の形態１に係る熱画像センサの入力値と出力値との関係を示すグラフである。ここで説明した赤外線検出素子は、例えば製造誤差や使用環境等の影響を受ける。このため、赤外線検出素子は、個々に、赤外線検出素子への入力値（赤外線強度）と赤外線検出素子からの出力値（熱画像の画素値）との関係が異なる。図２に示すように、各赤外線検出素子の入力値と出力値との関係は、一次関数ｙ＝ａｘ＋ｂ（ｙ：出力値、ｘ：入力値、ａおよびｂ：係数）で近似して表すことができる。それぞれの赤外線検出素子ごとに一次関数の係数ａおよび係数ｂは異なる。例えば、赤外線検出素子Ｅは、係数ａ１および係数ｂ１を用いた一次関数で表すことができる。また、赤外線検出素子Ｆは、係数ａ２および係数ｂ２を用いた一次関数で表すことができる。また、赤外線検出素子Ｇは、係数ａ３および係数ｂ３を用いた一次関数で表すことができる。赤外線検出素子Ｅに対して入力値Ｘ１の入力があった場合の出力値はＹ１（＝ａ１・Ｘ１＋ｂ１）である。赤外線検出素子Ｇに対して入力値Ｘ１の入力があった場合の出力値はＹ３（＝ａ３・Ｘ１＋ｂ３）である。入力値Ｘ１に対する出力値の関係としては赤外線検出素子Ｇの出力値Ｙ３が赤外線検出素子Ｅの出力値Ｙ１よりも大きい。

　上述のとおり、行方向に並んだ赤外線検出素子は、同一の駆動線に接続され電力の供給を受ける。そのため、行方向に並んだ赤外線検出素子の感度を示す係数ａは、駆動線の特性によって影響を受ける。行方向に並んだ赤外線検出素子は、ほかの赤外線検出素子に比べ傾きが大きければ、ほかの赤外線検出素子に比べ高感度となる。また、切片成分である係数ｂも係数ａと同様に赤外線検出素子ごとに変化する。上記より、行方向に並んだ赤外線検出素子の出力値がそれぞれ変動する。特に駆動線の特性が上下の行で異なることは、赤外線検出素子の上下の出力値に影響を与える。この場合、熱画像には熱画像の一端から他端まで行方向に延びる筋状のノイズ（以下、筋状ノイズという）が生じる。また、熱画像センサは、駆動線の特性の経時的な変化により行方向に並んだ赤外線検出素子の感度を示す係数ａまたは切片成分である係数ｂが変化する。このため、筋状ノイズの強度も経時的に変化する。

　熱画像処理装置３は、熱画像センサ２から電圧信号ＶＩを受信する。つまり、熱画像処理装置３において入力部に一番近い熱画像生成部３１は、熱画像センサ２から電圧信号ＶＩを受信する。熱画像生成部３１は、熱画像センサ２の電圧信号ＶＩを画素値に変換する。次に熱画像生成部３１は、変換した画素値から、筋状ノイズが発生する方向に画素値の異なる複数の画素を含む熱画像ＴＩを生成する。そして熱画像生成部３１は、生成した熱画像ＴＩを、平滑化処理部３２、補正係数算出部３３および熱画像補正部３４へ送る。

　平滑化処理部３２は、熱画像ＴＩについて対象画素値ごとに、隣接画素値を用いて平滑化処理を行う。平滑化処理部３２は、平滑化処理を行った平滑化画像ＦＩを生成し、補正係数算出部３３へ送る。上記の対象画素とは、平滑化処理、補正係数算出処理または補正処理を行う際の基準となる画素位置の画素である。対象画素は、熱画像生成部３１が生成した熱画像ＴＩにおける筋状ノイズが発生する方向に並ぶ画素の集合である画素列に含まれる。上記の隣接画素とは、筋状ノイズが発生する方向と交差する方向に隣接する画素列に含まれる。隣接画素は、対象画素に隣接する。平滑化画素値は、対象画素値と隣接画素値との平均値である。

　具体的な平滑化処理部３２の処理について説明する。図３は、実施の形態１に係る赤外線画像処理装置１の平滑化処理を説明するための概念図である。図３（ａ）は、Ｌ行Ｎ列の熱画像を示す。図３（ｂ）は、Ｌ行Ｎ列の平滑化熱画像を示す。Ｌ行のうち、対象画素値のある行をＬ１行目とする。例えば図３（ａ）の対象画素値を平滑化する場合、平滑化処理部３２は、対象画素値ＰＸ１と、対応する隣接画素値ＰＸ２および隣接画素値ＰＸ３との平均値を求める。この平均値は、Ｌ１行目の画素列の一番左の対象画素値および一番左の隣接画素値で求められる。次の平均値は、Ｌ１行目の画素列の左から二番目以降の対象画素値および隣接画素値を同様に処理していくことで求められる。平均値は、例えば図３（ａ）の枠Ｈの範囲で求められる。

　上記平滑化処理を行うことで、図３（ｂ）のようにＬ１行目において筋状ノイズが低減された平滑化画素値で構成される平滑化熱画像が得られる。Ｌ１行目における赤外線の分布と隣接するＬ１－１行目およびＬ１＋１行目における赤外線分布とは相関がある。この相関により、平滑化処理部３２において、Ｌ行目に含まれる個々の対象画素値と、平滑化熱画像に含まれる平滑化画素値との対応関係は維持される。これにより、平滑化処理部３２は、筋状ノイズが低減された平滑化画素値を算出する。平滑化画素値をｚとして、以降で説明するように各行の補正式ｚ＝ｃｍ＋ｄの補正係数を算出する。

　補正係数算出部３３は、補正係数ｃおよび補正係数ｄを算出する。補正係数ｃおよび補正係数ｄは、補正式ｚ＝ｃｍ＋ｄに含まれる補正係数である。補正係数ｃを第一の補正係数、補正係数ｄを第二の補正係数、第一の補正係数と第二の補正係数とを補正係数群のように言いかえてもよい。なお、画素値ｚは補正後の画素値であり、画素値ｍは熱画像の画素値である。補正係数算出部３３は、算出した補正係数ｃおよび補正係数ｄを、図示しないメモリ等へ記憶する。熱画像補正部３４は、メモリから読みだした補正係数ｃおよび補正係数ｄを用いて熱画像生成部３１が生成した画像ＴＩを補正する。

　具体的な補正係数算出部３３の処理について説明する。図４は、実施の形態１に係る赤外線画像処理装置における熱画像とその対象画素値列とを説明するための概念図である。図５は、実施の形態１に係る赤外線画像処理装置における平滑化熱画像とその対象画素値列を説明するための概念図である。例えばＬ行Ｎ列目の対象画素値と平滑化画素値とから座標値を設定する場合について説明する。補正係数算出部３３は、熱画像の第１のフレームのＬ行Ｎ列目の画素から、第２のフレームのＬ行Ｎ列目の画素までの対象画素値列を読み出す。図４（ａ）のような熱画像におけるＬ＝１、Ｎ＝１である１行１列目の対象画素から、図４（ｂ）のような熱画像の対象画素値列（Ｒ１、Ｒ２、Ｒ３、…、Ｒｎ）を設定する。また、補正係数算出部３３は、平滑化熱画像の第１のフレームのＬ行Ｎ列目の画素から、第２のフレームのＬ行Ｎ列目の画素までの平滑化画素値を読み出す。そして、補正係数算出部３３は、図５（ａ）のような平滑化熱画像におけるＬ＝１、Ｎ＝１である１行１列目の対象画素から、図５（ｂ）のような座標値（Ｒ１ｈ、Ｒ２ｈ、Ｒ３ｈ、…、Ｒｎｈ）を設定する。そして、補正係数算出部３３は、対象画素値と、対応する平滑化画素値を用いて、対象画素値をｍ座標、平滑化画素値をｚ座標とする座標値（例えば（Ｒ１，Ｒ１ｈ））を設定する。

　図６は、実施の形態１に係る赤外線画像処理装置における補正係数の算出する方法を説明するための概念図である。補正係数算出部３３は、設定した座標群をｍ－ｚ座標空間にプロットし、直線近似し、直線の式である補正式ｚ＝ｃｍ＋ｄを求める。補正係数算出部３３は、補正係数ｃおよび補正係数ｄを算出する。補正係数ｃおよび補正係数ｄは、各画素位置ごとに異なる。ここで、複数の座標値は、異なる位置にプロットされる。上述のとおり、複数枚の熱画像は、筋状ノイズが発生する方向（行方向）に画素値の異なる複数の画素を含んでいるため、プロットの位置がずれる。この位置の違い、すなわち画素値の違いに基づいて補正係数算出部３３は、補正係数ｃおよび補正係数ｄを算出する。補正係数算出部３３は、設定した座標値と直線の式ｚ＝ｃｍ＋ｄとの距離が最小になるように補正係数ｃおよび補正係数ｄを算出する。補正係数算出部３３は、補正係数ｃおよび補正係数ｄの算出に、例えば最小二乗法を用いる。補正係数算出部３３は、補正係数ｃおよびｄを図示しないメモリ等へ記憶する。

　熱画像補正部３４は、熱画像生成部３１が生成した熱画像ＴＩにおける、画素値ｚを取得する。ここで、画素値ｚとは、第１のフレームの対象画素から、第２のフレームの対象画素までの画素列についての画素値である。次に、熱画像補正部３４は、第１のフレームの対象画素から、第２のフレームの対象画素までの画素列について、記憶された補正係数ｃおよび補正係数ｄを用いた補正式に代入して、画素値ｚを求める。熱画像補正部３４は、画素値ｚを画像ＴＩについて出力した熱画像ＴＯを、出力先へ出力する。

　次に、実施の形態１に係る赤外線画像処理装置１の処理の手順について図７、図８及び図９を用いて説明する。図７は、実施の形態１に係る赤外線画像処理装置１の平滑化画像ＦＩを出力する処理を示すまでのフローチャートである。赤外線画像処理装置１における熱画像センサ２、および熱画像処理装置３の平滑化処理部３２の動作を、図７のフローチャートに従って説明する。赤外線画像処理装置１は、熱画像ＴＩを生成し、熱画像ＴＩについて対象画素値ごとに、隣接画素値を用いて平滑化処理を行い、平滑化画像ＦＩを出力する。

　まず、ステップＳ００１で、熱画像生成部３１が、熱画像センサ２の電圧信号ＶＩから熱画像ＴＩを生成する。

　次に、ステップＳ００２で、平滑化処理部３２が、熱画像生成部３１が生成した複数枚の熱画像におけるＬ行目、Ｌ－１行目、およびＬ＋１行目の画素列の各画素値を取得する。ここでＬは自然数である。本フローチャートの処理が始まった際に赤外線画像処理装置１は初期値としてＬ＝１に設定する。

　なお、Ｌ＝１の場合、すなわち、熱画像の最上段の画素列の画素値を読み出す場合、熱画像におけるＬ－１行目は存在しない。そのため、例えば代わりにＬ行目またはＬ＋１行目と同様の画素列が熱画像におけるＬ－１行目に存在するものとして扱う。つまり、別途読み出しているＬ行目またはＬ＋１行目の画素列を熱画像におけるＬ－１行目の画素列として扱う。熱画像の最下段についても同様に、Ｌ＋１行目の画素列が存在しないため、別途読み出しているＬ行目またはＬ－１行目の画素列を熱画像におけるＬ＋１行目の画素列として扱う。また、ここでは、Ｌ行目に含まれる画素値が対象画素値であり、Ｌ－１行目、およびＬ＋１行目に含まれる画素値が隣接画素値である。

　次に、ステップＳ００３で、平滑化処理部３２が、Ｌ行目の各対象画素値を、各対象画素と隣接するＬ－１行目、およびＬ＋１行目の画素である隣接画素値で平滑化する。そして、平滑化処理部３２が、Ｌ行目の各画素の平滑化画素値を取得する。

　次に、ステップＳ００４で、平滑化処理部３２が、ＬをＬ＋１に置き換える。次に、ステップＳ００５で、平滑化処理部３２が、前のステップでＬ＋１に置き換えたＬ行目に画素列が存在するかを判定する。画素列が存在する場合（ステップＳ００５でＹＥＳの場合）は、ステップＳ００２からステップＳ００４の処理を繰り返す。画素列が存在しない場合（ステップＳ００５でＮＯの場合）は、次のステップに進む。

　図８は、実施の形態１に係る赤外線画像処理装置１の補正係数ｃおよび補正係数ｄを出力する処理を示すまでのフローチャートである。赤外線画像処理装置１における熱画像処理装置３の補正係数算出部３３の動作を、図８のフローチャートに従って説明する。補正係数ｃおよび補正係数ｄは、補正式ｚ＝ｃｍ＋ｄに含まれる補正係数である。画素値ｚは補正後の画素値であり、画素値ｍは熱画像の画素値である。補正係数算出部３３は、補正係数ｃおよび補正係数ｄを算出する。

　ステップＳ００６は、ステップＳ００５に続くステップである。ステップＳ００６で、補正係数算出部３３が、Ｌ行Ｎ列の画素値と、Ｌ行Ｎ列の平滑化画素値とを取得し、対応する対象画素列と平滑化画素列とで複数の座標値を設定する。Ｌ行Ｎ列の画素値とは、第１のフレームのＬ行Ｎ列目の画素から、第２のフレームのＬ行Ｎ列目の画素までの画素列についての各画素値である。Ｌ行Ｎ列の平滑化画素値とは、第１のフレームのＬ行Ｎ列目の画素から、第２のフレームのＬ行Ｎ列目の画素までの画素列についての各平滑化画素値である。ＬおよびＮは自然数である。赤外線画像処理装置１の処理を開始する際の初期値として、赤外線画像処理装置１はＬ、およびＮをＬ＝１、Ｎ＝１に設定する。

　次に、ステップＳ００７で、補正係数算出部３３が、設定した座標群をｍ－ｚ座標空間にプロットし、直線近似して直線の式ｚ＝ｃｍ＋ｄを求める。ここで、複数の座標値は、異なる位置にプロットされる。上述のとおり、複数枚の熱画像は、筋状ノイズが発生する方向（行方向）に画素値の異なる複数の画素を含んでいるため、プロットの位置がずれる。この位置の違い、すなわち画素値の違いに基づいて補正係数算出部３３は、補正係数ｃおよびｄを算出する。補正係数算出部３３は、設定した座標値と直線の式ｚ＝ｃｍ＋ｄとの距離が最小になるように最小二乗法を用いる。

　次に、ステップＳ００８で、補正係数算出部３３が、ＬをＬ＋１に置き換える処理を行う。次に、ステップＳ００９で、補正係数算出部３３が、前のステップでＬ＋１に置き換えたＬ行目に画素列が存在するか判定する。Ｌ行目に画素列が存在する場合（ステップＳ００９でＹＥＳの場合）は、ステップＳ００６からステップＳ００９の処理を繰り返す。Ｌ行目に画素列が存在しない場合（ステップＳ００９でＮＯの場合）は、Ｎ列目の画素の画素列を補正し終えた場合であり、次のステップＳ０１０に移る。

　次に、ステップＳ０１０で、補正係数算出部３３が、ＮをＮ＋１に置き換える処理を行う。次に、ステップＳ０１１で、補正係数算出部３３が、前のステップでＮ＋１に置き換えたＮ列目に画素列が存在するか判定する。Ｎ列目に画素列が存在する場合（ステップＳ０１１でＹＥＳの場合）は、ステップＳ００６からステップＳ０１１の処理を繰り返す。

　Ｎ列目に画素列が存在しない場合（ステップＳ０１１でＮＯの場合）は、熱画像のすべての行で補正係数ｃおよびｄの算出を終えた場合であり、次のステップに進む。

　図９は、実施の形態１に係る赤外線画像処理装置１の補正後の熱画像ＴＯを出力するまでのフローチャートである。赤外線画像処理装置１における熱画像補正部３４が補正後の熱画像ＴＯを出力するまでの動作を、図９のフローチャートに従って説明する。

　ステップＳ０１２は、ステップＳ０１１に続くステップである。ステップＳ０１２で、熱画像補正部３４が、Ｐ行Ｑ列目の画素の画素値を取得する。Ｐ行Ｑ列目の画素の画素値とは、熱画像における第１のフレームのＰ行Ｑ列目の画素から、第２のフレームのＰ行Ｑ列目の画素までの画素列についての各画素値である。ＰおよびＱは自然数である。赤外線画像処理装置１の処理が始まった際に初期値としてＰおよびＱをＰ＝１、Ｑ＝１に設定する。

　次に、ステップＳ０１３で、熱画像補正部３４が、対応する補正式を用いて、Ｐ行Ｑ列の画素の画素値を補正する。Ｐ行Ｑ列の画素の画素値とは、第１のフレームのＰ行Ｑ列目の画素から、第２のフレームのＰ行Ｑ列目の画素列についての各画素値である。次に、ステップＳ０１４は、熱画像補正部３４が、ＰをＰ＋１に置き換える処理を行う。次に、ステップＳ０１５で、補正係数算出部３３が、前のステップでＰ＋１に置き換えたＰ行目に画素列が存在するか判定する。Ｐ行目に画素列が存在する場合（ステップＳ０１５でＹＥＳの場合）は、ステップＳ０１２からステップＳ０１４の処理を繰り返す。Ｐ行目に画素列が存在しない場合（ステップＳ０１５でＮＯの場合）は、Ｑ列目の画素の画素列を補正し終えた場合であり、次のステップに進む。

　次に、ステップＳ０１６は、熱画像補正部３４が、ＱをＱ＋１に置き換える処理を行う。次に、ステップＳ０１７は、前のステップでＱ＋１に置き換えたＱ列目に画素列が存在するか判定する。Ｑ列目に画素列が存在する場合（ステップＳ０１７でＹＥＳの場合）は、ステップＳ０１２からステップＳ０１６の処理を繰り返す。Ｑ列目に画素列が存在しない場合（ステップＳ０１７でＮＯの場合）は、Ｑ列目の画素の画素列を補正し終えた場合であり、次のステップに進む。

　次に、ステップＳ０１８は、熱画像補正部３４が、補正後の画素値を用いて画像を再構築し、補正後の画像を生成する。具体的には、熱画像補正部３４は、各画素列の補正後の画素値と画素位置の情報から、画素位置の情報に沿って画素列を並べ替え、複数枚の熱画像を生成する。

　最後に、ステップＳ０１９は、熱画像補正部３４が、補正後の熱画像ＴＯを出力先へ出力する。

　本開示の実施の形態１に係る赤外線画像処理装置１は、以上のように構成されており、次のような効果を奏する。赤外線画像処理装置１は、補正係数ｃおよび補正係数ｄを求めて、それらを用いて熱画像ＴＩを補正している。これに対して、一つの補正係数を求め、熱画像を補正する場合、赤外線画像処理装置１は十分に筋状ノイズを低減できない。例えば、対象画素値と平滑化画素値との差分値を求め（ｚ＝ｍ＋ｄにおける係数ｄを求めることとなる）、差分値だけで熱画像を補正する場合、どのような入力値であっても差分値を加算する補正しかできない。しかし、図２に示したように、赤外線検出素子ごとに係数ａは異なる。ａ＝１のとき入力値と出力値が等しいとして、ａ＝１より大きい係数である高感度の赤外線検出素子の出力値は、入力値が変化すると、入力値の変化量より大きく変化する。このような素子の出力値を差分値だけで補正しても、補正量は不足する。また、ａ＝１より小さい係数である低感度の赤外線検出素子の出力値に対しては補正量が大きくなりすぎる。赤外線画像処理装置１は、複数の補正係数（補正係数ｃおよび補正係数ｄ）を算出することで、入力値が変化しても筋状ノイズを精度よく低減することが可能である。

　また、赤外線画像処理装置１は、熱画像から得られる平滑化画素値を用いているので、温度状況が一定ではない運用時の熱画像を用いて補正係数を算出することができる。よって、赤外線画像処理装置１の処理をしている間に補正係数を更新することが可能となる。

　また、赤外線画像処理装置１は、熱画像の対象画素値と、平滑化熱画像の平滑化画素値を用いて座標値を設定し、座標値を直線近似することで補正係数を算出している。よって、座標値の設定および一回の直線近似の処理を行うだけで補正係数を算出でき、効率的に補正係数の更新を行うことができる。

　補正係数を算出する行に熱源体のエッジ部分が位置する場合、エッジ部分は平滑化されてしまい、平滑化熱画像の平滑化画素値の精度が低下する。このような平滑化画素値を用いて対象画素値を補正した場合に熱画像処理装置３は適切な熱画像が得られない。しかし、当該赤外線画像処理装置１では、複数の座標値を直線で近似することにより、エッジ部分の平滑化画素値の画素全体における割合を少なくする。このため、赤外線画像処理装置１は、エッジ部分による補正精度の低下を抑制することができる。

　なお、上記説明では、熱画像の対象画素値と、平滑化熱画像の平滑化画素値は、熱画像センサ２に入力された順番で熱画像を生成し補正する等の処理をデータが入力された順番で処理するとした。その順番とは、１列１行目の一端の画素から他端への画素へと処理し、次に１列２行目の一端の画素から他端への画素へと処理する順番である。なお、一端の画素から他端への画素への方向とは、熱画像の行方向のことである。しかし、例えば熱画像処理装置３は熱画像の対象画素値をソートして降順または昇順に並べたものを直線近似してもよい。その場合は、例えば複数枚の熱画像の画素値をフレーム方向にそれぞれ降順または昇順でソートするソーティング部を備える。また、熱画像処理装置３は平滑化熱画像の平滑化画素値をソートして降順または昇順に並べたものを直線近似して補正する処理としてもよい。その場合は、例えば複数枚の平滑化熱画像の画素値をフレーム方向にそれぞれ降順または昇順でソートするソーティング部を備える。熱画像処理装置３はソートする方向を、一端の画素から他端への画素への方向としてもよい。また、熱画像処理装置３はソートする方向を、フレームの方向、つまり１列１行目の画素、そして次のフレームの１列１行目の画素、さらにその次のフレームの１列１行目の画素、といった方向としてもよい。

　また、上記のように熱画像処理装置３において、ソートする方向を、一端の画素から他端への画素への方向とした場合に、ソートした画素を並べた画素列の端部に位置する画素値を除去してもよい。具体的には、熱画像処理装置３において、ソートした画素列の最も大きい値から順番に第一の閾値を上回るか否かを判定する。次に、熱画像処理装置３は、閾値を上回る画素値を画素列から削除する。そして熱画像処理装置３は、ソートした画素列の最も小さな値から順番に第二の閾値を下回るか否かを判定する。そして熱画像処理装置３は、第二の閾値を下回る画素値を画素列から削除する。なお、第一の閾値は第二の閾値より大きい。熱画像処理装置３において、指定した第一の閾値を下回る画素値および指定した第二の閾値を上回る画素値を用いる。熱画像処理装置３において、指定した第一の閾値を下回る画素値または指定した第二の閾値を上回る画素値を用いてもよい。閾値を用いずに、除去する画素値の数を予め定めておき、対応する数の画素値を、画素列の最も大きい値から及び画素列の最も小さな値から除去するようにしてもよい。

　なお、ソートした画素を並べた画素列の端部に位置する画素値を除去することは、画素列の中における大きな値および小さな値を用いないことを意味する。例えば、室内に電球、ガスコンロまたは人などが存在すると、熱画像内にそれらの輪郭がエッジとなって現れる。熱画像を平滑化処理する際に、このエッジ部分が平滑化されることで、平滑化画素値の精度が低下する。また、外気によって冷やされた窓などについても同様である。熱画像内のエッジ部分を除去することにより、平滑化画素値の精度の低下を抑制することができる。なお、ソートした画素を並べた画素列の端部に位置する画素値を除去することは、例えば画像中の最大画素値と最小画素値を検出する方法であれば、これに限らない。

　上記の赤外線画像処理装置１では、筋状ノイズが発生する方向を熱画像の行方向としていたが、列方向や斜め方向であってもよい。駆動線が行方向に配置された赤外線検出素子に接続されていることが、行方向に筋状ノイズが発生する原因と述べたが、駆動線が列方向や斜め方向に接続された場合、列方向や斜め方向に筋状ノイズが発生する。

　上記の赤外線画像処理装置１では、駆動線の特性の違いにより筋状ノイズが発生するとしたが、筋状ノイズの発生原因はこれに限らない。行方向などに並ぶ赤外線検出素子が同一の出力線（電圧信号を送信する線）で接続されている場合、この出力線の特性のばらつきにより筋状ノイズが発生しうる。また、この出力線に接続されたＡ/Ｄ変換器やアンプなどの特性がばらつく場合も同様である。さらに、画像を生成する処理では、筋状ノイズを低減する処理以外にもノイズ低減処理が行われる場合がある。この処理が一行ごとに行われる場合は、一行ごとにノイズ低減処理の程度が異なり、筋状ノイズが発生しうる。上記の赤外線画像処理装置は、これらの筋状ノイズについても同様に低減することができる。

実施の形態２
　次に、本開示の実施の形態２について説明する。図１０は、実施の形態２に係る赤外線画像処理装置の構成を示すブロック図である。図１１は、実施の形態２に係る赤外線画像処理装置の熱画像センサおよびセンサ移動部の概略図、および熱画像の概略図である。実施の形態１で説明した構成および動作と同様の部分については説明を省略し、実施の形態１と異なる部分について、以下に説明する。

　実施の形態１の赤外線画像処理装置では、赤外線検出素子がマトリックス状に配置された熱画像センサ２を用いていた。実施の形態２の赤外線画像処理装置５０１では、複数の赤外線検出素子が縦方向に一列に並んだ熱画像センサ５０２を用いる。赤外線画像処理装置は、熱画像センサ５０２を横方向に移動させ、赤外線検出素子の出力である電圧信号ＶＩを合成することで一枚の熱画像を生成する。この動作を繰り返すことで赤外線画像処理装置５０１は、複数枚の画像を生成する。

　実施の形態２の赤外線画像処理装置５０１は、上述のとおり、熱画像センサ５０２の構成が実施の形態１の熱画像センサ２と異なるほか、図１０に示すように、実施の形態１の赤外線画像処理装置１の構成にセンサ移動部５０４が追加されている。熱画像センサ５０２は、複数の赤外線検出素子が縦方向に一列に並んだものである。センサ移動部５０４は、熱画像センサ５０２の位置を変化させるように、横方向に熱画像センサ５０２を移動させる。すなわち、センサ移動部５０４は、熱画像センサ５０２が並んだ方向と交差する方向に熱画像センサ５０２を移動させる。例えば、センサ移動部５０４は、モータである。モータの回転軸が熱画像センサ５０２と接続されることで、モータの回転動作が熱画像センサ５０２へ伝達される。図１０では熱画像センサ５０２とセンサ移動部５０４との接続は、双方を結ぶ点線で示している。また、センサ移動部５０４は、ロータリエンコーダを備える。センサ移動部５０４は、モータの回転量である熱画像センサ５０２の移動量を示す信号を、熱画像処理装置５０３（より具体的には、熱画像生成部５３１）へ送信する。

　実施の形態２の赤外線画像処理装置５０１における熱画像生成部５３１は、熱画像センサ５０２から、熱画像センサ５０２の回転移動に伴って受光した赤外線に対応する電圧信号ＶＩと、センサ移動部５０４からの移動量を示す信号を受信する。熱画像生成部５３１は、電圧信号ＶＩを並べ替え、一枚の熱画像を生成する。

　図１１（ａ）のように、熱画像センサ５０２は、回転軸と同心円状に円弧を描くように回転し、受光した赤外線に対応する電圧信号ＶＩを送信する。なお、図１１（ａ）では、熱画像センサ５０２とセンサ移動部５０４を点線で接続しているが、実際は構造物によって接続される。図１１（ｂ）のように、熱画像センサ５０２は、回転移動におけるある位置での電圧信号ＶＩから生成される熱画像Ｉ１と、複数の位置での熱画像Ｉ１を合成することで一枚の熱画像Ｉ２を得る。

　上記説明の赤外線画像処理装置１では、複数の赤外線検出素子が縦方向に一列に並んだ熱画像センサ５０２としていた。しかし、赤外線画像処理装置５０１は、図１１（ｃ）のように、センサ移動部５０４の回転動作に伴って、円弧状で数列（図１１（ｃ）では３列）のマトリックス状に赤外線検出素子を配置してもよい。この赤外線画像処理装置１では、熱画像センサ５０２ｂの回転移動に伴って受光した赤外線に対応する電圧信号ＶＩと、センサ移動部５０４からの移動量を示す信号を受信することで一枚の熱画像を生成する。

　本開示の実施の形態２に係る赤外線画像処理装置５０１は、以上のように構成されており、次のような効果を奏する。実施の形態２の赤外線画像処理装置５０１は、少ない赤外線検出素子でも熱画像の撮像が可能となる。赤外線検出素子を少なくすることで、実施の形態１における赤外線画像処理装置５０１の構成に対して小さな規模の装置で実現することができる。

　また、実施の形態２の赤外線画像処理装置５０１で熱画像を撮像した場合であっても、筋状ノイズは生じうる。縦方向に並べた赤外線検出素子ごとに、入出力の関係を示す式ｙ＝ａｘ＋ｂにおける係数ａ（感度）または切片成分である係数ｂが異なると、画像を合成した際に横方向の筋状ノイズとなりうる。しかし、実施の形態２の赤外線画像処理装置５０１は実施の形態１などと同様、補正係数を算出することができるので、筋状ノイズを低減する処理を行うことができる。そのほか、実施の形態１と同様の効果を奏する。

　実施の形態２では、センサ移動部５０４により熱画像センサ５０２の位置を移動させる例を示したが、モータの回転軸上に熱画像センサ５０２を固定して、熱画像センサ５０２の方向を変化させてもよい。

　上記の赤外線画像処理装置１および赤外線画像処理装置５０１では、直線の式や補正式として一次関数を用いて係数、補正係数を算出していたが、三次関数などの多項式関数を用いてもよい。高次の多項式関数を用いることで、精度よく画素値を近似することができる。また、高次の多項式を用いる場合、補正係数は、２つ以上となる。

　上記の赤外線画像処理装置１および赤外線画像処理装置５０１では、赤外線検出素子として焦電素子を用いていた。しかし、赤外線画像処理装置５０１は、ゼーベック効果を生じさせる熱電対を接続したサーモパイル型、温度情報による抵抗値の変化を利用したボロメータ型などの赤外線検出素子を用いてもよい。これらのほか、赤外線画像処理装置５０１は、赤外線を検出できるものであればその種類を問わない。

　上記の赤外線画像処理装置１では、熱画像処理装置３に含まれる熱画像生成部３１が熱画像センサの電圧信号ＶＩを受信して熱画像を生成することとしていた。または赤外線画像処理装置５０１では、熱画像処理装置５０３に含まれる熱画像生成部５３１が熱画像センサの電圧信号ＶＩを受信して熱画像を生成することとしていた。しかし、熱画像生成部３１は熱画像センサ２に設けられていてもよく、熱画像生成部５３１は熱画像センサ５０２に設けられていてもよい。

　上記の赤外線画像処理装置１および赤外線画像処理装置５０１では、平滑化処理として対象画素値と隣接画素値の平均値を求める処理を行っていた。しかし、赤外線画像処理装置１または赤外線画像処理装置５０１は、平均値を求めるための対象画素値、隣接画素値の個々に重みづけをして、平均値を求めてもよい。また、赤外線画像処理装置１または赤外線画像処理装置５０１は、対象画素値を用いずに、隣接画素値だけで平均値を求めてもよい。また、赤外線画像処理装置１および赤外線画像処理装置５０１は、対象画素値および２つの隣接画素値を含む３つの画素値を用いて平滑化処理を行っていた。しかし、赤外線画像処理装置１または赤外線画像処理装置５０１は、隣接画素値にさらに隣接する２つの画素値を用いて５つの画素値で平滑化処理を行ってもよい。赤外線画像処理装置１または赤外線画像処理装置５０１は、隣接する画素値を用いて５つ以上の画素値で平滑化処理を行ってもよい。

　上記の赤外線画像処理装置１および赤外線画像処理装置５０１は、室内の電気製品に設置されるものとした。しかし、赤外線画像処理装置１または赤外線画像処理装置５０１は、電気製品に設置することで、熱画像を電気製品の制御に利用できる。また、赤外線画像処理装置１または赤外線画像処理装置５０１は、電気製品の設置された室内の温度状況を確認するために熱画像を用いることができる。さらに、赤外線画像処理装置１または赤外線画像処理装置５０１は、上記の赤外線画像処理装置は、電気製品に設置するだけでなく、室内外に設置される防犯または監視用のカメラとして用いてもよい。

　図１２は、熱画像処理装置５０３（熱画像処理装置３）のハードウェア構成の一例を示す図である。図１３は、熱画像処理装置３のハードウェア構成の他の例を示す図である。

　熱画像処理装置５０３は、例えば、少なくとも１つのプロセッサ１０１ａおよびメモリ１０１ｂで構成される。プロセッサ１０１ａは、例えば、メモリ１０１ｂに格納されるプログラムを実行するＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ（ＣＰＵ）である。この場合、熱画像処理装置５０３の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとしてメモリ１０１ｂに格納する。これにより、熱画像処理装置５０３の機能を実現するためのプログラムは、コンピュータによって実行される。

　メモリ１０１ｂは、コンピュータで読み取り可能な記録媒体であり、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）およびＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの揮発性メモリ、不揮発性メモリ、または揮発性メモリと不揮発性メモリとの組み合わせである。

　熱画像処理装置５０３は、単一回路または複合回路などの専用のハードウェアとしての処理回路１０１ｃで構成されてもよい。この場合、熱画像処理装置５０３の機能は、処理回路１０１ｃで実現される。

　以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

　１　赤外線画像処理装置、２　熱画像センサ、３　熱画像処理装置、３１　熱画像生成部、３２　平滑化処理部、３３　補正係数算出部、３４　熱画像補正部、５０４　センサ移動部。

Claims

　赤外線を受光して前記赤外線と対応する信号を出力する熱画像センサと、
　前記信号に基づいて複数枚の熱画像を生成する熱画像生成部と、
　前記複数枚の熱画像それぞれの画像の各画素ごとに周辺の画素の画素値を用いて平滑化処理を行い、複数枚の平滑化画像を算出して各画像の平滑化済みの各画素値である平滑化画素値を算出する平滑化処理部と、
　前記熱画像および前記平滑化画像から第一の補正係数と第二の補正係数とを含む補正係数群を算出する補正係数算出部と、
　前記補正係数群を用いて前記熱画像を補正する熱画像補正部と
を備えることを特徴とする赤外線画像処理装置。
　前記補正係数算出部は、前記複数枚の熱画像の特定の画素位置の、第１のフレームから第２のフレームまでの画素値と、対応する前記複数枚の平滑化熱画像の特定の画素位置の、第１のフレームから第２のフレームまでの画素値とで表される複数の座標値を多項式関数で近似し、前記補正係数群を算出する
ことを特徴とする請求項１に記載の赤外線画像処理装置。
　前記複数枚の熱画像の画素値と、前記複数枚の平滑化熱画像の画素値とをフレーム方向にそれぞれ降順または昇順でソートするソーティング部をさらに備え、
　前記補正係数算出部は、前記フレーム方向に並ぶ画素の画素値とその順番で表される座標値、および前記平滑化熱画像の画素値とその順番で表される座標値をそれぞれ多項式関数で近似し、それぞれの多項式関数の係数を用いて前記補正係数群を算出する
ことを特徴とする請求項１に記載の赤外線画像処理装置。
　前記補正係数算出部は、指定した第一の閾値を下回る画素値または第一の閾値指定した第二の閾値を上回る画素値を用いて前記補正係数群を算出し、
　前記第一の閾値は、前記第二の閾値より大きい
ことを特徴とする請求項３に記載の赤外線画像処理装置。
　前記熱画像は、前記熱画像センサが露光状態で撮像した画像である
ことを特徴とする請求項１に記載の赤外線画像処理装置。
　前記熱画像センサの位置または方向を変化させるように前記熱画像センサを移動するセンサ移動部をさらに備え、
　前記熱画像生成部は、前記熱画像センサが移動しながら受光した前記赤外線に対応する前記信号から一枚または複数枚の熱画像を生成する
ことを特徴とする請求項１に記載の赤外線画像処理装置。
　赤外線を受光して前記赤外線と対応する信号を出力し、
　前記信号に基づいて、複数枚の熱画像を生成し、
　前記複数枚の熱画像それぞれの画像の各画素ごとに周辺の画素の画素値を用いて平滑化処理をおこない、複数枚の平滑化画像を算出し、各画像の平滑化済みの各画素値である平滑化画素値を算出し、
　前記熱画像および前記平滑化画像から補正係数群を算出し、前記補正係数群は第一の補正係数と第二の補正係数とを有し、
　前記補正係数群を用いて前記熱画像を補正する
ことを特徴とする赤外線画像処理方法。