JP6689650B2 - 赤外線撮影装置 - Google Patents

Description

本発明は、赤外線撮影装置に関する。
より詳細には、移動する被写体を赤外線撮像素子を用いて撮影した赤外線画像において、被写体の移動によって生じる、滲みに似た軌跡（Ｍｏｔｉｏｎ Ｂｌｕｒ：モーションブラー）を補正する機能を有する、赤外線撮影装置に関する。

製鉄所では、レールにぶら下げられた取鍋に、溶融した鉄を充填して運ぶ。
周知のように、鉄の融点は１５３５℃と、極めて高い。このため、取鍋は断熱効果を有するコンクリートを内側に配し、外側を鋼鉄で構成している。しかし、溶融した鉄の熱によってコンクリートの内鍋は徐々に溶かされ、削れていく。すると、溶融した鉄は鋼鉄の外鍋に接触してしまう。こうなると、溶融した鉄と同じ材質の外鍋は短時間で溶かされてしまい、最悪の場合、取鍋から溶融した鉄が漏れ出てしまう。

コンクリートの内鍋の削れ具合は、取鍋の表面温度から推測することができる。
内鍋が溶融した鉄によって徐々に溶かされていくと、内鍋の肉厚は薄くなっていく。すると、溶融した鉄の熱が外鍋に伝達し易くなる。したがって、取鍋の表面温度を監視することにより、取鍋の異常状態の早期発見に寄与することが可能である。
この取鍋の表面温度の監視には、本出願人が開発し、製造販売している、赤外線撮影装置が極めて有用である。

赤外線撮影装置は、発熱する被写体の温度を遠距離から非接触にて計測することが可能である。つまり、赤外線撮影装置は、極めて高温で危険な取鍋であっても、その熱画像を遠方から撮影することで、取鍋の表面温度を監視することができる。このため、この赤外線撮影装置は例えば製鉄所の取鍋等の温度異常をチェックするための監視システム等に使用されている。

本発明に関係すると思われる先行技術文献として、特許文献１が挙げられる。この特許文献１には、発熱体の移動方向を確実に検出し、自動的に撮影のための信号を生成する熱画像撮影システム及び熱画像撮影装置に関する技術が開示されている。

特開２００９−１９８２５４号公報

しかしながら、従来の技術では、赤外線撮影装置に用いる赤外線センサーの特性上、移動する被写体である発熱体を撮影すると、撮影画像が、可視光線のカメラの手振れ以上に、発熱体の移動方向に大幅に滲んでしまう。熱画像が滲むだけならまだよいのであるが、熱画像のモーションブラーが発熱体の移動速度に依存するため、発熱体の正確な表面温度の測定に支障を来していた。

本発明はかかる点に鑑みてなされたものであり、移動する発熱体の、移動速度に依存する熱画像のモーションブラーを解消し、発熱体の表面温度を正確に測定することができる機能を有する、赤外線撮影装置を提供することを目的とする。

上記課題を解決するために、本発明の赤外線撮影装置は、赤外線撮像素子を装備し、熱画像データストリームを出力する赤外線カメラと、赤外線撮像素子に結像される被写体のイメージが、赤外線カメラのフレームレートに相当する時間に、赤外線撮像素子上を移動する距離を演算する、センサー内移動距離演算処理部とを具備する。
更に、赤外線カメラに装備される赤外線撮像素子の、時間経過に対するセンサー出力電圧の特性を示すセンサー応答特性情報と、センサー内移動距離演算処理部が演算するセンサー内移動距離と、フレームレートを用いて、熱画像データストリームの、被写体の移動に伴うモーションブラーを除去する画像補正演算処理部とを具備する。
画像補正演算処理部は、被写体の赤外線強度分布を、最小二乗法を用いた回帰分析を適用することで、被写体の移動に伴うモーションブラーを除去する。

本発明の赤外線撮影装置によれば、移動する発熱体の、移動速度に依存する熱画像のモーションブラーを演算処理で打ち消し、発熱体の表面温度を正確に測定することが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態の例である、温度異常監視システムの概略図である。 情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置のソフトウェア機能を示すブロック図である。 センサー応答特性情報を示すグラフである。 円形の被写体が移動している最中に赤外線カメラにて撮影を行った際に、赤外線カメラから出力される熱画像のイメージを示す概略図と、画像補正演算処理部にて補正演算を施した、補正済熱画像のイメージを示す概略図である。

図１は、本発明の実施形態の例である、温度異常監視システム１０１の概略図である。
温度異常監視システム１０１は、赤外線カメラ１０２と、可視光カメラ１０３と、情報処理装置１０４よりなる。
製鉄業を営む製鉄所では、レール１０５にぶら下げられた取鍋１０６に、溶融した鉄を充填して運ぶ。
取鍋１０６の運搬経路上には、やや離れた位置に、取鍋１０６を撮影するための可視光カメラ１０３と、赤外線カメラ１０２が並べて据え付けられている。
可視光カメラ１０３と赤外線カメラ１０２は、画角がほぼ同じ範囲と位置に設定されている。これら可視光カメラ１０３と赤外線カメラ１０２の画角の範囲内に、取鍋１０６が通過する。

可視光カメラ１０３は、図示しない可視光撮像素子を内蔵し、被写体である取鍋１０６が画角の範囲内に侵入したことを検出するために設置されている。
赤外線撮影装置ともいえる赤外線カメラ１０２は、図示しない赤外線撮像素子を内蔵し、常時連続的に画角の範囲内を撮影し続ける。
情報処理装置１０４は、可視光カメラ１０３の撮影画像から取鍋１０６を検出したことによるトリガーを受けて、赤外線カメラ１０２から受信するフレームから、被写体である取鍋１０６の熱画像を取得する。赤外線カメラ１０２から取得した熱画像には、取鍋１０６の移動に伴うモーションブラーが生じている。情報処理装置１０４はこの熱画像に演算処理を施して、モーションブラーを除去した正確な熱画像に変換する。

上述したように、鉄の融点は極めて高いため、溶融した鉄の熱によって取鍋１０６のコンクリートの内鍋が徐々に溶かされて削れ、溶融した鉄が鋼鉄の外鍋に接触して、時には溶融した鉄が外鍋の外に漏れてしまう場合が起こり得る。

このようなコンクリートの内鍋の削れ具合は、取鍋１０６の表面温度から推測することができる。
つまり、内鍋が溶融した鉄によって徐々に溶かされていくと、内鍋の肉厚は薄くなっていく。すると、溶融した鉄の熱が外鍋に伝達し易くなる。したがって、取鍋１０６の表面温度を監視すれば、取鍋１０６の異常状態を早期に発見することができる。

図２は、情報処理装置１０４のハードウェア構成を示すブロック図である。
情報処理装置１０４は、周知のパソコン等よりなり、バス２０７に接続されたＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、液晶ディスプレイ等の表示部２０４、キーボードやマウス等の操作部２０５、及びハードディスク装置等の不揮発性ストレージ２０６を備える。バス２０７にはこの他に、赤外線カメラ１０２と可視光カメラ１０３がＮＩＣ（Network Interface Card）２０８を通じて接続されている。

図３は、情報処理装置１０４のソフトウェア機能を示すブロック図である。
情報処理装置１０４には、情報処理装置１０４を温度異常監視システム１０１として動作させるためのプログラムが不揮発性ストレージ２０６に格納されている。また、このプログラムには、赤外線カメラ１０２から得られる、モーションブラーを伴う熱画像を演算処理で補正するための、熱画像補正処理機能（プログラム）が含まれている。すなわち、本実施形態例の情報処理装置１０４は、熱画像補正装置としての機能を含む。

赤外線カメラ１０２から出力される熱画像データストリームは、フレームバッファ３０１を介して画像補正演算処理部３０２に入力される。
画像補正演算処理部３０２は、センサーフレームレート３０３、センサー内移動距離３０４、センサー応答特性情報３０５というデータ群を受けて、赤外線カメラ１０２で撮像した熱画像の補正演算処理を行う。

センサーフレームレート３０３は、赤外線カメラ１０２が出力する熱画像データストリームに含まれる垂直同期信号から得ることができる。センサーフレームレート３０３は例えば１６ｍｓｅｃ〜３３ｍｓｅｃ等である。
センサー応答特性情報３０５は、赤外線カメラ１０２に内蔵される図示しない赤外線撮像素子の出力信号特性を示すテーブルデータである。センサー応答特性情報３０５の詳細は図４にて後述する。

センサー内移動距離３０４とは、赤外線撮像素子上に結像する熱画像イメージが、フレームレートの時間内に赤外線撮像素子上で移動する移動距離である。センサー内移動距離３０４は、センサー内移動距離演算処理部３０６によって算出される。
センサー内移動距離演算処理部３０６がセンサー内移動距離３０４を算出する方法は幾つか存在する。

１番目の方法は、可視光カメラ１０３から得られる撮影画像データストリームから算出する方法である。前述のように、赤外線カメラ１０２と可視光カメラ１０３の画角は、同一の被写体を撮影するために等しく設定されている。このことから、赤外線カメラ１０２の画角における被写体の、センサーフレームレート３０３における移動距離は、可視光カメラ１０３の画角における被写体の、センサーフレームレート３０３における移動距離と等しい。以上の条件を基に、画角とセンサーフレームレート３０３と赤外線撮像素子のサイズに乗算及び除算を行うことにより、センサー内移動距離３０４を導出することができる。

２番目の方法は、予め被写体の移動速度（被写体移動速度情報３０７）と被写体と赤外線カメラ１０２との距離（被写体距離情報３０８）を得て、赤外線撮像素子上の熱画像イメージのセンサーフレームレート３０３におけるセンサー内移動距離３０４を演算する方法である。

なお、１番目の方法、２番目の方法の何れの場合も、被写体が産業設備における物体であれば、常に一定の方向に移動するか、あるいは一定の速度で移動することが期待できる。したがって、被写体移動速度情報３０７は、被写体の移動速度をリアルタイムで検出するタコメータ等の所定のセンサーを用いて、予め導出した規定値に対し補正演算が施され、これにより、センサー内移動距離演算処理部３０６における演算処理を簡略化することができる。

可視光カメラ１０３から出力される撮影画像データストリームは、フレームバッファ３０９を介して、撮影トリガー生成部３１０と、必要である場合にはセンサー内移動距離演算処理部３０６に入力される。
撮影トリガー生成部３１０は、フレームバッファ３０９に格納されている撮影画像データに、被写体が存在しているか否かを検出して、被写体が可視光カメラ１０３の画角に入ったと判断したら撮影トリガーを生成する。撮影トリガー生成部３１０が出力する撮影トリガーは、赤外線カメラ１０２のフレームバッファ３０１と画像補正演算処理部３０２に入力される。すなわち、この撮影トリガーは、フレームバッファ３０１が熱画像データストリームを取得するタイミング、及び画像補正演算処理部３０２が画像補正演算処理を実行するタイミングに供される。

ここで、可視光カメラ１０３は、被写体である取鍋１０６が赤外線カメラ１０２の画角の範囲内に到達したことを検出する機能（撮影トリガー）を有する。そして、可視光カメラ１０３は、取鍋１０６の移動速度、及び赤外線撮像素子上における取鍋１０６のイメージの、フレームレートにおける移動距離をセンサー内移動距離演算処理部３０６が算出するために用いられる。なお、撮影トリガーはフォトインタラプタ等で代用が可能である。またセンサー内移動距離演算処理部３０６は、可視光カメラ１０３がなくても、それに代わる他の情報があれば、演算が可能である。したがって、本発明において、可視光カメラ１０３は必ずしも必須ではない。
また、撮影対象がベルトコンベア上を移動する被写体であって、赤外線カメラ１０２が連続的にベルトコンベアを撮影し続けるような場合、画像補正演算処理部３０２を連続的に動作させることとなる。このような場合、撮影トリガーは必ずしも必須ではない。

図４は、センサー応答特性情報３０５を示すグラフである。横軸は時間で、縦軸は赤外線撮像素子の出力レベルである。
赤外線撮像素子は、可視光線及び近赤外線を撮影するＣＣＤやＣＭＯＳ等の撮像素子とは異なり、撮像素子自身が赤外線を受光することで熱を帯びる。この熱が冷めるまで、赤外線撮像素子は出力信号を出力し続ける。したがって、図４に示すグラフのように、センサー出力レベルは時間の経過と共に徐々に減少する。
図４中、点線間の時間幅は、被写体が赤外線撮像素子を構成する赤外線センサー１画素分を移動するのに要する時間Ｔ４０１である。赤外線撮像素子から得られるセンサー出力は、曲線Ｌ４０２と１画素分移動時間Ｔ４０１で囲まれる区間の面積の総和にて求められる。

曲線Ｌ４０２と、測定対象物が赤外線撮像素子面上の1画素を移動するのに要する時間Ｔ４０１で囲まれる領域の面積をｇ_ｉとすると、センサー出力ｌ_ｋは以下の式（１）が成り立つ。

ｌ_ｋ＝ΣＥ_ｋ−ｉ×ｇ_ｉ （１）
但し、Ｅ_ｋ：求めたい被写体の赤外線強度分布

ここで、定積分のデジタル表現である総和演算子Σの上限値は（フレームレート）／（１画素移動時間）の比で決められる。例えば、フレームレートが１６．７ｍｓｅｃ（６０Ｈｚ）、１画素移動時間が２ｍｓｅｃの条件であれば、１６．７／２＝８．３５となり、Σの上限は８．３５を越えない最大の整数８となる。より正確に８．３５を反映させるには、Σの上限を９とし、ｉ＝８までは曲線Ｌ４０２の積分を２ｍｓｅｃごとに行い、ｉ＝９では０．７ｍｓｅｃ×１区間とすれば良い。

式（１）より、最小二乗法を用いた回帰分析を適用することで、被写体の赤外線強度分布Ｅ_ｋを求めることができる。以下の式（２）のδを最小にするためのＥ_ｋを算出する。

δ＝Σ（ｌ_ｍ−ｌ_ｋ）^２＝Σ（ｌ_ｍ−ΣＥ_ｋ−ｉ×ｇ_ｉ）^２ （２）

ここで、ｌ_ｍは赤外線カメラにより測定された赤外線強度であり、既知の値である。被写体の移動速度が決まればｇ_ｉも既知であり、Ｅ_ｋが推定すべき変数となる。

図５Ａは、円形の被写体５０１が移動している最中に赤外線カメラ１０２にて撮影を行った際に、赤外線カメラ１０２から出力される熱画像のイメージを示す概略図である。
区間Ａ５０２は、現時点から図４で示される時間Ｔ４０１の間に赤外線撮像素子上にて被写体５０１のイメージが移動した距離である。もし、これが可視光のカメラであれば、撮像素子には被写体５０１が区間Ａ５０２の分だけ移動した（ブレた）画像が得られることとなる。

区間Ａ５０３は、現時点より時間Ｔ４０１だけ以前の時点から更に時間Ｔ４０１の間に赤外線撮像素子上にて被写体５０１のイメージが移動した距離である。もし、これが可視光のカメラであれば、撮像素子には区間Ａ５０３に係るイメージが撮像素子には映らない。しかし、図４で説明したように、赤外線撮像素子は被写体から発せられる赤外線の照射がなくなっても、熱が冷める迄は信号が出力される。このため、区間Ａ５０３には区間Ａ５０２よりも薄いイメージの熱画像の残像が生じる。

区間Ａ５０４は、現時点より時間Ｔ４０１の２倍だけ以前の時点から更に時間Ｔ４０１の間に赤外線撮像素子上にて被写体５０１のイメージが移動した距離である。区間Ａ５０４も、区間Ａ５０３と同様に、赤外線撮像素子の特性上、被写体から発せられる赤外線の照射がなくなっても、赤外線撮像素子の熱が冷める迄は信号が出力される。このため、区間Ａ５０４には区間Ａ５０３よりも薄いイメージの熱画像の残像が生じる。

図５Ｂは、画像補正演算処理部３０２にて補正演算を施した、補正済熱画像のイメージを示す概略図である。
このように、可視光のカメラの手ブレ補正とは異なり、赤外線撮像素子の熱が冷める迄信号が出力される現象を考慮して、演算にて残像を打ち消す処理が必要である。この演算処理が、式（２）に示した最小二乗法を用いた回帰分析である。
なお、画像補正演算処理部３０２が実行する式（２）の解析は、被写体の移動方向によって生じる、赤外線撮像素子上における被写体のイメージの移動方向を考慮して実行される。

本発明の実施形態においては、温度異常監視システム１０１と、これに組み込まれる熱画像補正装置を開示した。
赤外線撮像素子を用いて定速移動する被写体を撮影すると、熱画像にモーションブラーが生じる。このモーションブラーを、赤外線撮像素子自体のセンサー応答特性情報３０５を加味して回帰分析を行うことで、モーションブラーのない、正確な熱画像データを得ることができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の揮発性あるいは不揮発性のストレージ、または、ＩＣカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１…温度異常監視システム、１０２…赤外線カメラ、１０３…可視光カメラ、１０４…情報処理装置、１０５…レール、１０６…取鍋、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…表示部、２０５…操作部、２０６…不揮発性ストレージ、２０７…バス、２０８…ＮＩＣ、３０１，３０９…フレームバッファ、３０２…画像補正演算処理部、３０３…センサーフレームレート、３０４…センサー内移動距離、３０５…センサー応答特性情報、３０６…センサー内移動距離演算処理部、３０７…被写体移動速度情報、３０８…被写体距離情報、３１０…撮影トリガー生成部、５０１…被写体

Claims (2)

1. 赤外線撮像素子を装備し、熱画像データストリームを出力する赤外線カメラと、
   前記赤外線撮像素子に結像される被写体のイメージが、前記赤外線カメラのフレームレートに相当する時間に、前記赤外線撮像素子上を移動する距離を演算する、センサー内移動距離演算処理部と、
   前記赤外線カメラに装備される赤外線撮像素子の、時間経過に対するセンサー出力電圧の特性を示すセンサー応答特性情報と、前記センサー内移動距離演算処理部が演算するセンサー内移動距離と、前記フレームレートを用いて、前記熱画像データストリームの、前記被写体の移動に伴うモーションブラーを除去する画像補正演算処理部と
   を具備し、
   前記画像補正演算処理部は、前記被写体の赤外線強度分布を、最小二乗法を用いた回帰分析を適用することで、前記被写体の移動に伴うモーションブラーを除去する、赤外線撮影装置。
2. 更に、
   前記画像補正演算処理部に前記熱画像データストリームに対する演算処理の実行タイミングを指示する撮影トリガーを生成する撮影トリガー生成部と
   を具備し、
   前記撮影トリガー生成部は、前記赤外線カメラと同じ画角に設定されている可視光カメラの前記画角の範囲内に前記被写体が到達したことを検出する、
   請求項１に記載の赤外線撮影装置。

Images