JPWO2020183565A1 - 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 - Google Patents

画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
JPWO2020183565A1
JPWO2020183565A1 JP2021504639A JP2021504639A JPWO2020183565A1 JP WO2020183565 A1 JPWO2020183565 A1 JP WO2020183565A1 JP 2021504639 A JP2021504639 A JP 2021504639A JP 2021504639 A JP2021504639 A JP 2021504639A JP WO2020183565 A1 JPWO2020183565 A1 JP WO2020183565A1
Authority
JP
Japan
Prior art keywords
image
thermal
thermal image
skeleton
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021504639A
Other languages
English (en)
Other versions
JP7076627B2 (ja
Inventor
康平 栗原
山下　孝一
大祐 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020183565A1 publication Critical patent/JPWO2020183565A1/ja
Application granted granted Critical
Publication of JP7076627B2 publication Critical patent/JP7076627B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

背景画像生成部（２１）が、熱画像センサー（１）が同じ視野での撮像で取得した複数の第１熱画像（Ｄｉｎ１）又は第１熱画像から生成された複数のソート画像（Ｄｃ）の各々について特徴量を算出し、第１熱画像又はソート画像から平均画像を生成し、平均画像を鮮明化し、さらに骨格成分を抽出することで得られる骨格画像を記憶装置（３）に記憶させる。画像補正部（２２）が、熱画像センサーが、第１熱画像と同じ視野での撮像で取得した第２熱画像（Ｄｉｎ２）に対して、記憶装置（３）に記憶された骨格画像を用いて補正を行うことで、補正熱画像を生成する。鮮明で且つＳＮ比の高い熱画像を生成することができる。

Description

本発明は、画像処理装置及び熱画像生成システムに関する。本発明はまた、プログラム及び記録媒体に関する。
一般的な熱型赤外線固体撮像素子（以下、熱画像センサーと言う）は、被写体が放射する赤外線を映像化するものであり、被写体が放射する赤外線はレンズにより集光されて撮像素子上に結像し、撮像素子で赤外線を吸収することにより生じる温度上昇の差が画像の濃淡となる。
熱情報を取得可能な熱画像センサーは可視カメラでは取得できない情報を取得することが可能である。しかし、安価な小型熱画像センサーの場合には画像の解像度、コントラスト、輪郭の鮮明度、ＳＮ比が小さい。一方で、大型の熱画像センサーは高価格である。低価格の熱画像センサーを用いて、且つ画像処理により画質を向上させることが望まれる。
熱画像（赤外光による撮影で得られた画像）に対し鮮明化処理を行う方法が提案されている（例えば、特許文献１参照）。
特開２０１８-１２９６７２公報（第４頁）
特許文献１の手法は、安価な小型の熱画像センサーの場合、ＳＮ比の不足から、鮮明化処理を行った場合にノイズ増幅が生じ視認性が低下する課題がある。
この発明は、上記の様な課題を解決するためになされたものであり、本発明の目的は、鮮明で且つＳＮ比が高い熱画像を生成することを可能にすることにある。
本発明の一つの態様の画像処理装置は、
背景画像生成部と画像補正部とを有し、
前記背景画像生成部は、
熱画像センサーが同じ視野での撮像で取得した複数フレームの第１熱画像又は前記第１熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
前記第１熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
前記第１熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第１熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
前記平均画像を鮮明化した後、骨格成分を抽出することで得られた骨格画像を記憶装置に記憶させ、
前記画像補正部は、
前記熱画像センサーが、前記第１熱画像と同じ視野での撮像で取得した第２熱画像に対して、前記記憶装置に記憶された前記骨格画像を用いて補正を行うことで、補正熱画像を生成する。
本発明の他の態様の画像処理装置は、
背景画像生成部と画像補正部とを有し、
前記背景画像生成部は、
熱画像センサーが同じ視野での撮像で取得した複数フレームの第１熱画像又は前記第１熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
前記第１熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
前記第１熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第１熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
前記平均画像を鮮明化することで得られた鮮明化画像を記憶装置に記憶させ、
前記画像補正部は、
前記熱画像センサーが、前記第１熱画像と同じ視野での撮像で取得した第２熱画像に対して、前記記憶装置に記憶された前記鮮明化画像から骨格成分を抽出することで得られた骨格画像を用いて補正を行うことで、補正熱画像を生成する。
本発明によれば、鮮明で且つＳＮ比の高い熱画像を生成することができる。
本発明の実施の形態１の画像処理装置を備える熱画像生成システムの概略構成を示す図である。 本発明の実施の形態１の画像処理装置の機能ブロック図である。 （ａ）及び（ｂ）は、図２の鮮明化部の異なる構成例を示す図である。 本発明の実施の形態２の画像処理装置の機能ブロック図である。 （ａ）〜（ｄ）は、図４の画像処理装置で用いられる重みテーブルの異なる例を示す図である。 本発明の実施の形態３の画像処理装置の機能ブロック図である。 本発明の実施の形態４の画像処理装置の機能ブロック図である。 図７の画像処理装置の着色部における、画像の分割及び着色の処理を示す図である。 図７の画像処理装置の着色部における分割された画像に対する色の割り当てを示す図である。 本発明の実施の形態５の画像処理装置の機能ブロック図である。 実施の形態１〜５の画像処理装置における処理を実行するコンピュータの構成例を示すブロック図である。
実施の形態１.
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の実施の形態１の画像処理装置を備える熱画像生成システムの概略構成を示す。
図１に示す赤外線生成システムは、熱画像センサー１と、画像処理装置２と、記憶装置３と、表示端末４とを備える。
熱画像センサー１は、被写体から放射された赤外線を検出して、被写体の温度分布を示す熱画像を生成する。ここで言う赤外線は、例えば波長８μｍ〜１２μｍの電磁波である。熱画像センサー１は、一次元又は二次元状に配置された複数の赤外線検出素子を有する。各赤外線検出素子から出力される信号は、熱画像の画素の値（画素値）を表すものである。
赤外線検出素子としては、例えば焦電素子を用いることができる。代わりに、ゼーベック効果を生じさせる熱電対を接続したサーモパイル型の赤外線検出素子、温度上昇による抵抗値の変化を利用したボロメータ型の赤外線検出素子等を用いることもできる。
なお、赤外線検出素子についてはこれらに限定されるべきものでなく、赤外線を検出できるものであればその種類は問わない。
図２は、実施の形態１の画像処理装置２の機能ブロック図である。
図示の画像処理装置２は、背景画像生成部２１と、画像補正部２２とを有する。
背景画像生成部２１は、熱画像センサー１から出力される複数フレームの熱画像に基づいて背景画像を生成する。
背景画像の生成に用いられる複数フレームの熱画像は、熱画像センサー１が同じ視野での撮像を繰り返すことで取得したものである。
背景画像生成部２１は、上記の複数フレームの熱画像の同じ位置の画素について画素値の大きさの順位を特定し、各々同じ順位の画素の集合により構成される複数フレームのソート画像を生成する。
背景画像生成部２１はさらに、画素値の大きさの順に並べたときに中央に位置する画素、即ち、中間の順位の画素の集合により構成されるソート画像を中間画像と特定する。
このようにして特定される中間画像は、中間順位の画素の集合により構成されるものであるので、複数フレームのソート画像Ｄｃを明るさの順に並べたときに中央に位置するものとなる。
背景画像生成部２１はさらに、複数フレームのソート画像の各々について特徴量を算出し、中間画像との特徴量の差が、予め定められた閾値（差分閾値）ＦＤｔよりも小さい、複数のソート画像をフレーム方向に平均化して平均画像を生成する。
背景画像生成部２１は、平均画像を鮮明化した後、骨格成分を抽出することで骨格画像Ｄｇを生成し、生成した骨格画像Ｄｇを背景画像として記憶装置３に記憶させる。
背景画像の生成に用いられた複数フレームの熱画像の各々を第１熱画像と言い、符号Ｄｉｎ１で表す。
画像補正部２２は、熱画像センサー１から出力される、第１熱画像Ｄｉｎ１と同じ視野での撮像で得られた第２熱画像Ｄｉｎ２に対して、記憶装置３に記憶された骨格画像Ｄｇを重畳することで補正熱画像Ｄｏｕｔを生成する。補正熱画像Ｄｏｕｔは、第２熱画像Ｄｉｎ２に対して鮮明化されＳＮ比が改善されたものである。
背景画像生成部２１は、温度ソート部２１１と、特徴量算出部２１２と、解析部２１３と、平均画像生成部２１４と、鮮明化部２１５と、骨格成分抽出部２１６とを有する。
温度ソート部２１１は、複数フレーム、例えばＮフレーム（Ｎは２以上の整数）の第１熱画像Ｄｉｎ１の同じ位置の画素を互いに比較して画素値の大きさの順に並べて順位を特定する。順に並べる際は画素値の大きい順（降順）で並べても良く、小さい順（昇順）に並べても良い。
温度ソート部２１１はさらに、各々同じ順位の画素の集合により構成される複数フレームのソート画像Ｄｃを生成する。
即ち、順位がｎ（ｎは１〜Ｎのいずれか）である画素の集合によりｎ番目のソート画像Ｄｃが構成される。
温度ソート部２１１はさらに、画素値の大きさの順に並べたときに中央に位置する画素、即ち中間の順位の画素の集合により構成されるソート画像Ｄｃを中間画像Ｄｄと特定する。
温度ソート部２１１は、生成した複数のソート画像Ｄｃを、それぞれの順位を示す情報Ｓｄｃとともに出力する。
温度ソート部２１１はさらに、中間画像Ｄｄを特定する情報ＩＤｄを出力する。
特徴量算出部２１２は、複数フレームのソート画像Ｄｃの各々につき、明るさの指標となる特徴量Ｑｆを算出する。特徴量Ｑｆとしては、各フレームのソート画像の画素値の平均値、画素値の中間値、画素値の最大値又は画素値の最小値が算出される。
解析部２１３は、特徴量算出部２１２からそれぞれのソート画像の特徴量Ｑｆを受け、温度ソート部２１１から中間画像Ｄｄを特定する情報ＩＤｄを受け、高温境界フレームＦｕ及び低温境界フレームＦｌを特定する。
解析部２１３は、中間画像Ｄｄよりも特徴量が大きくかつ中間画像Ｄｄとの特徴量の差分（絶対値）が差分閾値ＦＤｔよりも小さいソート画像のうちの、特徴量が最も大きい画像を高温境界フレームＦｕと特定する。
中間画像Ｄｄよりも特徴量が大きくかつ特徴量の差分（絶対値）が差分閾値ＦＤｔ以上であるソート画像が存在しない場合には、ソート画像のうちの特徴量が最も大きい画像が高温境界フレームＦｕと特定される。
解析部２１３はさらに、中間画像Ｄｄよりも特徴量が小さくかつ中間画像Ｄｄとの特徴量の差分（絶対値）が差分閾値ＦＤｔよりも小さいソート画像のうちの、特徴量が最も小さい画像を低温境界フレームＦｌと特定する。
中間画像Ｄｄよりも特徴量が小さくかつ特徴量の差分（絶対値）が差分閾値ＦＤｔ以上であるソート画像が存在しない場合には、ソート画像のうちの特徴量が最も小さい画像が低温境界フレームＦｌと特定される。
解析部２１３は、高温境界フレームＦｕを特定する情報ＩＦｕ及び低温境界フレームＦｌを特定する情報ＩＦｌを出力する。
差分閾値ＦＤｔは、記憶装置３に記憶されていても良く、図示しないパラメータメモリに記憶されていても良い。
平均画像生成部２１４は、温度ソート部２１１から、ソート画像Ｄｃとともにそれぞれのソート画像の順位を示す情報Ｓｄｃを受け、解析部２１３から、高温境界フレームＦｕを特定する情報ＩＦｕ及び低温境界フレームＦｌを特定する情報ＩＦｌを受け、平均画像Ｄｅを生成する。
平均画像生成部２１４は、複数フレームのソート画像Ｄｃのうち、高温境界フレームＦｕから低温境界フレームＦｌまでのフレーム（高温境界フレームＦｕ及び低温境界フレームＦｌを含む）の画像の画素値をフレーム方向で平均して平均画像Ｄｅを生成する。「フレーム方向で平均する」とは、複数のフレームの画像のうち、同じ位置の画素の画素値を平均することを意味する。
平均画像Ｄｅの生成に当たり、高温境界フレームＦｕの特徴量よりも大きい特徴量のフレームと、低温境界フレームＦｌの特徴量よりも小さい特徴量のフレームとを除外することで、平均画像が、非定常的に現れる被写体、特に熱源（高温の物体）又は低温の物体による影響を受けないようにすることができる。ここで言う非定常的に現れる被写体には人が含まれる。
鮮明化部２１５は、平均画像Ｄｅを鮮明化して鮮明化画像Ｄｆを生成する。
鮮明化部２１５における鮮明化の手法としては、ヒストグラム均等化、レティネックス方式などが挙げられる。
ヒストグラム均等化により鮮明化を行う鮮明化部２１５の構成例を図３（ａ）に示す。図３（ａ）に示される鮮明化部２１５は、ヒストグラム均等化部２１５１により構成されている。
ヒストグラム均等化部２１５１は、平均画像Ｄｅに対しヒストグラム均等化を行う。ヒストグラム均等化は、画像全体の画素値の分布を算出し、画素値の分布が所望の形状の分布になるよう、画素値の変換を行う処理である。
ヒストグラム均等化は、コントラストを制限した適応ヒストグラム均等化（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）であっても良い。
レティネックス方式により鮮明化を行う鮮明化部２１５の構成例を図３（ｂ）に示す。
図３（ｂ）に示される鮮明化部２１５は、フィルター分離部２１５２と、調整部２１５３、２１５４と、合成部２１５５とを有する。
フィルター分離部２１５２は、入力された平均画像Ｄｅを低周波成分Ｄｅｌと高周波成分Ｄｅｈへ分離する。
調整部２１５３は、低周波成分Ｄｅｌに第１のゲインを乗算して画素値の大きさを調整する。
調整部２１５４は、高周波成分Ｄｅｈに、第２のゲインを乗算して画素値の大きさを調整する。上記第２のゲインは上記第１のゲインよりも大きい。
合成部２１５５は、調整部２１５３、２１５４の出力を合成する。合成の結果得られる画像は、高周波成分が強められたものとなる。
骨格成分抽出部２１６は、鮮明化部２１５から出力された鮮明化画像Ｄｆから骨格成分を抽出し、抽出した骨格成分から成る骨格画像Ｄｇを生成する。
骨格成分とは、画像の大局的構造を表す成分であり、画像中のエッジ成分及び平坦成分（緩やかに変化する成分）を含む。骨格成分の抽出には、例えば全変分ノルム最小化法を用いることができる。
背景画像生成部２１は、骨格画像Ｄｇを背景画像として、記憶装置３に送信し、記憶させる。
画像補正部２２は、熱画像センサー１から出力される第２熱画像Ｄｉｎ２に対して、記憶装置３に記憶された骨格画像Ｄｇを用いて補正を行い、補正熱画像Ｄｏｕｔを生成して出力する。
上記のように、第２熱画像Ｄｉｎ２は、第１熱画像Ｄｉｎ１と同じ視野での撮像で得られたものである。第２熱画像Ｄｉｎ２は、第１熱画像Ｄｉｎ１と異なる撮像時刻における撮像で得られたものであっても良く、第１熱画像Ｄｉｎ１のうちの１フレームの画像を第２熱画像として用いても良い。
図２の例では、画像補正部２２は、重畳部２２１を有する。
重畳部２２１は、第２熱画像Ｄｉｎ２に対して、骨格画像Ｄｇを重畳することで、補正熱画像Ｄｏｕｔを生成する。重畳は例えば加重加算により行われる。
骨格画像Ｄｇの成分がより鮮明となるよう、骨格画像Ｄｇの加算時に、骨格画像Ｄｇに対してゲインを乗算しても良い。
このような加重加算は下記の式（１）で表される。
ＰＤｏｕｔ＝ＰＤｉｎ２＋ＰＤｇ×ｇ 式（１）
式（１）で、
ＰＤｉｎ２は、第２熱画像Ｄｉｎ２の画素値、
ＰＤｇは、骨格画像Ｄｇの画素値、
ｇは、骨格画像Ｄｇに対するゲイン、
ＰＤｏｕｔは、補正熱画像Ｄｏｕｔの画素値である。
以上が、実施の形態１に係る画像処理装置の動作の説明である。
実施の形態１の画像処理装置では、複数フレームの第１熱画像からノイズが少なくコントラストが高い骨格画像を生成して背景画像として記憶させておき、記憶された骨格画像を第２熱画像と合成するので、ＳＮ比が高く、時間解像度の高い熱画像を生成することができる。
また、平均画像をそのまま背景画像として用いるのではなく、平均画像の骨格成分のみを抽出して背景画像として記憶させ、第２熱画像に加算することで、第２熱画像の温度情報を保存しつつ、背景構造の情報を付加することができる。
また、背景画像の生成に当たり、中間画像Ｄｄとの特徴量の差が差分閾値ＦＤｔ以上であるフレームの熱画像を除外することで、背景画像に、非定常的に現れる被写体、特に熱源（高温の物体）又は低温の物体による影響を与えないようにすることができる。
実施の形態２．
図４は、本発明の実施の形態２の画像処理装置２ａの機能ブロック図である。
図４に示される画像処理装置２ａは、図２の画像処理装置２と概して同じであるが、背景画像生成部２１及び画像補正部２２の代わりに、背景画像生成部２１ｂ及び画像補正部２２ｂを備える。
背景画像生成部２１ｂは、背景画像生成部２１と概して同じであるが、閾値生成部２１７を備える。
画像補正部２２ｂは、画像補正部２２と概して同じであるが、重み決定部２２２を備える。
閾値生成部２１７は、重み決定用閾値Ｔｈを生成して閾値Ｔｈを記憶装置３へ送信して記憶させる。閾値生成部２１７は、例えば、平均画像生成部２１４から出力される平均画像Ｄｅの画素値の平均値又は中間値を求め、算出した平均値又は中間値に基づいて閾値Ｔｈを定める。平均画像Ｄｅの画素値の平均値又は中間値とは、平均画像Ｄｅの全体、又は主要部分に位置する画素の画素値の平均値又は中間値を意味する。
閾値Ｔｈを上記の平均値又は中間値に対してどのような関係を有するものとするかは、経験或いは実験（シミュレーション）に基づいて定められる。
閾値Ｔｈを上記の平均値又は中間値よりも高い値に定めても良い。この場合、上記の平均値又は中間値に差分閾値ＦＤｔを加算した値を閾値Ｔｈと定めても良い。そのようにする場合には、差分閾値ＦＤｔが閾値生成部２１７にも通知される。
閾値生成部２１７は、生成した閾値Ｔｈを記憶装置３へ送信して記憶させる。
重み決定部２２２は、記憶装置３に記憶されている閾値Ｔｈに基づいて重みテーブルを作成し、作成した重みテーブルを参照し、第２熱画像Ｄｉｎ２の画素値に基づいて、合成重みｗを生成する。
重み決定部２２２が閾値Ｔｈに基づいて作成する重みテーブルの例を図５（ａ）及び（ｂ）に示す。
図５（ａ）及び（ｂ）に示される例では、第２熱画像Ｄｉｎ２の画素値ＰＤｉｎ２が０から閾値Ｔｈまでの範囲では、合成重みｗが１に保たれ、画素値ＰＤｉｎ２が閾値Ｔｈよりも大きい範囲では、画素値ＰＤｉｎ２の増加に伴い合成重みｗが次第に小さくなる。
図５（ａ）又は（ｂ）に示される重みテーブルを用いることにより、第２熱画像Ｄｉｎ２の画素値が閾値Ｔｈよりも高い場合に限り、骨格画像Ｄｇの加重加算の割合を小さくすることができる。
上記の例では、重み決定部２２２が閾値Ｔｈを用いて重みテーブルを作成するが、閾値Ｔｈを用いることなく、重みテーブルの作成を行なっても良い。閾値Ｔｈを用いることなく作成される重みテーブルの例を図５（ｃ）及び（ｄ）に示す。
図５（ｃ）及び（ｄ）に示される例では、第２熱画像Ｄｉｎ２の画素値ＰＤｉｎ２が０のとき、合成重みｗが１であり、画素値ＰＤｉｎ２が増加するに従い、合成重みｗが次第に小さくなる。このような重みテーブルであっても、画素値ＰＤｉｎ２が大きい範囲では、骨格画像Ｄｇの加算割合を減らすことができる。
以上要するに、重みテーブルは、第２熱画像Ｄｉｎ２の画素値が大きくなるほど、合成重みｗが小さくなるものであれば良い。
図５（ｃ）又は（ｄ）に示される重みテーブルを作成する場合、背景画像生成部２１ａは、閾値生成部２１７を備える必要がなく（従って、図２の背景画像生成部２１と同じであって良く）、重み決定部２２２は、記憶装置３から閾値Ｔｈを読み出す必要がない。
実施の形態３．
図６は、本発明の実施の形態３の画像処理装置２ｃの機能ブロック図である。
図６に示される画像処理装置２ｃは、図２の画像処理装置２と概して同じであるが、背景画像生成部２１及び画像補正部２２の代わりに、背景画像生成部２１ｃ及び画像補正部２２ｃを備える。
背景画像生成部２１ｃは、図２の背景画像生成部２１と概して同じであるが、図２の骨格成分抽出部２１６を備えず、鮮明化部２１５から出力される鮮明化画像Ｄｆを、背景画像として記憶装置３に記憶させる。
画像補正部２２ｃは、記憶装置３に記憶されている鮮明化画像Ｄｆを読み出して、骨格成分を抽出することで骨格画像Ｄｇを生成し、第２熱画像Ｄｉｎ２を骨格画像Ｄｇを用いて補正する。
即ち、図６に示される画像処理装置２ｃでは、骨格成分の抽出が背景画像生成部ではなく、画像補正部で行われる。
具体的には、画像補正部２２ｃは、骨格成分抽出部２２３と、重畳部２２１とを有する。
骨格成分抽出部２２３は、記憶装置３に記憶されている鮮明化画像Ｄｆを読み出して、骨格成分を抽出することで骨格画像Ｄｇを生成する。
重畳部２２１は、骨格画像Ｄｇを第２熱画像Ｄｉｎ２に重畳することで、第２熱画像Ｄｉｎ２を補正し、補正熱画像Ｄｏｕｔを生成する。
図６に示される構成の場合、鮮明化画像Ｄｆを記憶装置３から読み出して表示させることで、鮮明化画像Ｄｆに熱源が含まれているか否かの判定を容易に行うことができる。
実施の形態４．
図７は、本発明の実施の形態３の画像処理装置２ｄの機能ブロック図である。
図７に示される画像処理装置２ｄは、図４の画像処理装置２ｂと概して同じであるが、背景画像生成部２１ｂ及び画像補正部２２ｂの代わりに、背景画像生成部２１ｄ及び画像補正部２２ｄを備える。
背景画像生成部２１ｄは、背景画像生成部２１ｂと概して同じであるが、閾値生成部２１７の代わりに、閾値生成部２１７ｄを備える。
閾値生成部２１７ｄは、平均画像生成部２１４から出力される平均画像Ｄｅの画素値の平均値又は中間値を求め、算出した平均値又は中間値に基づいて、重み決定用閾値Ｔｈのほか、画像分割用の高温閾値Ｔｕ及び低温閾値Ｔｌを生成し、生成した閾値Ｔｈ、Ｔｕ及びＴｌを記憶装置３へ送信して記憶させる。
高温閾値Ｔｕ及び低温閾値Ｔｌは画像の分割に用いられる。
高温閾値Ｔｕは、平均画像Ｄｅの画素値の平均値又は中間値に差分閾値ＦＤｔを加算することで求められる。
低温閾値Ｔｌは、平均画像Ｄｅの画素値の平均値又は中間値から差分閾値ＦＤｔを減算することで求められる。
上記のようにして高温閾値Ｔｕを生成する場合、重み決定用閾値Ｔｈは、高温閾値Ｔｕと同じであっても良い。
画像補正部２２ｄは、記憶装置３から読み出した高温閾値Ｔｕ及び低温閾値Ｔｌを用いて第２熱画像Ｄｉｎ２を高温領域、中間温領域、及び低温領域に分割し、それぞれの領域に対して着色を行い合成することでカラー画像Ｄｈを生成し、カラー画像Ｄｈと、記憶装置３から取り出した骨格画像Ｄｇとを合成することで補正熱画像Ｄｏｕｔを生成して出力する。
この場合の補正熱画像Ｄｏｕｔは各部の温度に応じて着色されたカラー画像である。
画像補正部２２ｄは、重み決定部２２２と、着色部２２４と、重畳部２２１ｄとを有する。
重み決定部２２２は、図４の構成に関して説明したように重みテーブルの作成及び重みの決定を行う。
図５（ａ）又は（ｂ）に示される重みテーブルを作成する場合には、閾値Ｔｈを用いる必要がある。上記のように、閾値Ｔｈは、高温閾値Ｔｕと同じであっても良い。その場合には、記憶装置３に記憶されている高温閾値Ｔｕを読み出して、閾値Ｔｈとして重みテーブルの作成に利用することができる。
図５（ａ）又は（ｂ）に示される重みテーブルを作成する場合、第２熱画像Ｄｉｎ２の画素値が閾値Ｔｈよりも高い場合に限り、骨格画像Ｄｇの加重加算の割合を小さくすることができる。閾値Ｔｈを高温閾値Ｔｕと同じとした場合、第２熱画像Ｄｉｎ２の画素値ＰＤｉｎ２が高温領域に属するものである場合に限り、骨格画像Ｄｇの加算の割合を小さくすることができる。
図４の構成に関して述べたように、重みテーブルは、図５（ｃ）又は（ｄ）に示されるものであっても良い。
要するに、重みテーブルは、第２熱画像Ｄｉｎ２の画素値が大きくなるほど、合成重みｗが小さくなるものであれば良い。
着色部２２４は、図８及び図９に示すように、高温閾値Ｔｕ及び低温閾値Ｔｌを用いて第２熱画像Ｄｉｎ２を高温領域、中間温領域、及び低温領域に分割し、それぞれの領域に対して着色を行い、着色された画像を合成することでカラー画像Ｄｈを生成する。カラー画像Ｄｈは例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号で表される。
即ち、第２熱画像Ｄｉｎ２の各画素は、その画素値が高温閾値Ｔｕよりも大きければ高温領域に属するものと判定され、その画素値が高温閾値Ｔｕ以下であり、低温閾値Ｔｌ以上であれば、中間温領域に属するものと判定され、その画素値が低温閾値Ｔｌよりも小さければ、低温領域に属するものと判定される。
図８に示す例では、街路灯の発光部１０１、自動車１０３、人１０５を構成する画素は、高温領域に属するものと判定され、道路の路面標識１０７を構成する画素は、中間温領域に属するものと判定され、街路灯の支柱１０９を構成する画素は、低温領域に属するものと判定されている。
着色部２２４は、高温領域、中間温領域、及び低温領域に互いに異なる範囲、即ち第１、第２及び第３の範囲の色を割り当て、各領域において、当該領域に割り当てられた範囲の色のうち、各画素に対して画素値に応じた色を割り当てる。
その際、高温領域、中間温領域、及び低温領域相互間の境界部分においては、色の変化が連続するように高温領域、中間温領域、及び低温領域に対する上記の色の割り当て及び画素値に応じた色の割り当てを行うのが望ましい。
例えば、図９に示すように、高温領域には赤を中心とする色相範囲（例えばマゼンタの中心（色相方向の中心）からイエローの中心まで）、中間温領域には、緑を中心とする色相範囲（イエローの中心からシアンの中心まで）、低温領域には青を中心とする色相範囲（シアンの中心からマゼンタの中心まで）を割り当て、各領域では、各画素値に対して割り当てられた色相範囲内の色を割り当てる。
重畳部２２１ｄは、カラー画像Ｄｈと、記憶装置３から読み出した骨格画像Ｄｇとを、合成重みｗを用いて加重加算する。
カラー画像ＤｈはＲ、Ｇ、Ｂの信号、即ち３チャネルの信号で表されるのに対して、骨格画像Ｄｇはグレー１チャネルの信号で表される。
骨格画像Ｄｇはカラー画像Ｄｈの輝度成分Ｄｈｙに加算される。
処理の一例では、カラー画像Ｄｈを輝度成分Ｄｈｙと、色成分例えば色差成分Ｄｈｃｂ、Ｄｈｃｒとに変換し、輝度成分Ｄｈｙに骨格画像Ｄｇを加算し、加算後の輝度成分Ｄｊｙと、上記の色成分例えば色差成分Ｄｈｃｂ、Ｄｈｃｒとから、Ｒ、Ｇ、Ｂへの逆変換を行うことで補正熱画像のＲ、Ｇ、Ｂ成分の値を得る。
上記の骨格画像Ｄｇの加算は下記の式で表される。
ＰＤｊｙ＝ＰＤｈｙ＋ＰＤｇ＊ｇ＊ｗ 式（２）
式（２）で、
ＰＤｈｙは、カラー画像Ｄｈの輝度成分Ｄｈｙの値、
ＰＤｇは、骨格画像Ｄｇの画素値、
ｇは、骨格画像Ｄｇに対するゲイン、
ｗは、合成重み、
ＰＤｊｙは、加算の結果得られる輝度成分Ｄｊｙの値である。
処理の他の例では、カラー画像ＤｈがＲ、Ｇ、Ｂの３チャネルの信号で構成されている場合、骨格画像Ｄｇをそれぞれのチャネルへ加算する。
この場合の加算を下記の式（３ａ）〜（３ｃ）で表される。
ＰＲｏｕｔ＝ＰＲｉｎ＋ＰＤｇ＊ｇ＊ｗ 式（３ａ）
ＰＧｏｕｔ＝ＰＧｉｎ＋ＰＤｇ＊ｇ＊ｗ 式（３ｂ）
ＰＢｏｕｔ＝ＰＢｉｎ＋ＰＤｇ＊ｇ＊ｗ 式（３ｂ）
式（３ａ）〜（３ｃ）で、
ＰＲｉｎは、カラー画像ＤｈのＲチャネルの信号Ｒｉｎの値（赤成分の値）、
ＰＧｉｎは、カラー画像ＤｈのＧチャネルの信号Ｇｉｎの値（緑成分の値）、
ＰＢｉｎは、カラー画像ＤｈのＢチャネルの信号Ｂｉｎの値（青成分の値）、
ＰＤｇは、骨格画像Ｄｇの画素値、
ｇは、骨格画像Ｄｇに対するゲイン、
ｗは、合成重み、
ＰＲｏｕｔは、加算の結果得られるＲチャネルの信号Ｒｏｕｔの値（赤成分の値）、
ＰＧｏｕｔは、加算の結果得られるＧチャネルの信号Ｇｏｕｔの値（緑成分の値）、
ＰＢｏｕｔは、加算の結果得られるＢチャネルの信号Ｂｏｕｔの値（青成分の値）である。
以上が、実施の形態４に係る画像処理装置の動作の説明である。
実施の形態４でも実施の形態１と同様の効果が得られる。
実施の形態４ではまた、第２熱画像を着色することで生成したカラー画像の輝度成分と骨格画像Ｄｇとを合成することとしているので、熱源を示す情報と骨格画像とを視覚的に分離することができ、熱源の視認性を向上させることができる。即ち、着色を行わずに第２熱画像Ｄｉｎ２と骨格画像Ｄｇとを合成した場合、第２熱画像Ｄｉｎ２に含まれる熱源を示す情報が、骨格画像Ｄｇに埋もれる可能性があるが、第２熱画像を着色することでそのような事態が発生するのを避けることができる。
また、図５（ａ）又は（ｂ）に示される重みテーブルを用いることで、画像の補正に当たり、第２熱画像Ｄｉｎ２の画素値が閾値Ｔｈ以下であるときには、合成重みを大きくして、骨格画像Ｄｇによる第２熱画像Ｄｉｎ２の補正を十分に行うとともに、第２熱画像Ｄｉｎ２の画素値が閾値Ｔｈよりも高いときに、合成重みを小さくすることにより、骨格画像Ｄｇが第２熱画像Ｄｉｎ２の熱源が存在する領域に大きな割合で加算されるのを抑制し、視認性を向上させる効果がある。
また、第２熱画像Ｄｉｎ２の全体的な明るさ（例えば画素値の平均値）に関係なく、画素値に対する色の割り当てを固定するのではなく、第２熱画像Ｄｉｎ２を高温領域、中間温領域、低温領域に分割した上で、それぞれの領域に対して異なる色を割り当てて着色を行うことで、画像の中で相対的に高温の箇所は常に高温色（高温に割り当てられた色）を、熱画像の中で相対的に低温の箇所は常に低温色（低温に割り当てられた色）で表現することができる。例えば、熱画像に温度オフセットが含まれる場合には、画素値に対する色の割り当てが固定されていると、低温領域に中間温を表す色が付けられる可能性があるが、そのようなことを防ぐ効果がある。
即ち、熱画像を色表示する場合、例えば高温の被写体は赤く、低温の被写体は青く、中間温度の被写体は緑で表示することが一般的な着色処理の一手法であるが、熱画像に温度オフセットが含まれる場合、例えば、低温から中間温までが緑で表示されてしまう可能性がある。
熱画像を、高温領域、中間温領域、低温領域に分割した上で、それぞれの領域に対して着色を行うことで、そのような事態の発生を防ぐことができる。
実施の形態４では、実施の形態１と同様に、鮮明化及び骨格成分の抽出を背景画像生成部２１ｄで行い、骨格画像を記憶装置３に記憶させ、画像補正部２２ｄでは、記憶装置３に記憶されている骨格画像を読み出して、第２熱画像の補正に利用している。
実施の形態４でも、実施の形態３で説明したのと同様に、背景画像生成部２１ｄで、鮮明化で得られた鮮明化画像Ｄｆを記憶装置３に記憶させ、画像補正部２２ｄでは、記憶装置３に記憶されている鮮明化画像Ｄｆを読み出して、骨格成分を抽出することで骨格画像を生成し、生成した骨格画像を、第２熱画像の補正に用いることとしても良い。
また、実施の形態４において、重み決定部２２２を省略して、一定の値の合成重みを用いた加重加算を行うこととしても良い。
実施の形態５．
図１０は、実施の形態５の画像処理装置２ｅの機能ブロック図である。
図１０に示される画像処理装置２ｅは、図２の画像処理装置２と概して同じであるが、背景画像生成部２１の代わりに、背景画像生成部２１ｅを備える。
背景画像生成部２１ｅは、背景画像生成部２１と概して同じであるが、温度ソート部２１１、特徴量算出部２１２、解析部２１３、及び平均画像生成部２１４の代わりに、温度ソート部２１１ｅ、特徴量算出部２１２ｅ、解析部２１３ｅ、及び平均画像生成部２１４ｅを備える。
特徴量算出部２１２ｅは、複数フレームの第１熱画像Ｄｉｎ１の各々、即ち各フレームの第１熱画像につき、明るさの指標となる特徴量Ｑｅを算出する。
特徴量Ｑｅとしては、各フレームの画素値の平均値、画素値の中間値、画素値の最大値又は画素値の最小値が算出される。
温度ソート部２１１ｅは、特徴量算出部２１２ｅで算出された特徴量Ｑｅを受け、複数フレームの第１熱画像Ｄｉｎ１を特徴量Ｑｅの大きさの順位を特定する。順に並べる際は特徴量の大きい順（降順）で並べても良く、小さい順（昇順）に並べても良い。
温度ソート部２１１ｅはさらに、特徴量Ｑｅの大きさの順に並べたときに中央に位置する、即ち、中間の順位を持つ第１熱画像Ｄｉｎ１を中間画像Ｄｄと特定する。
温度ソート部２１１ｅは、複数フレームの第１熱画像Ｄｉｎ１のそれぞれの順位を示す情報Ｓｄｉｎを出力する。
温度ソート部２１１ｅはまた、中間画像Ｄｄを特定する情報ＩＤｄを出力する。
解析部２１３ｅは、特徴量算出部２１２ｅからそれぞれの第１熱画像の特徴量Ｑｅを受け、温度ソート部２１１ｅから中間画像Ｄｄを特定する情報ＩＤｄを受け、高温境界フレームＦｕ及び低温境界フレームＦｌを特定する。
解析部２１３ｅは、中間画像Ｄｄよりも特徴量が大きくかつ中間画像Ｄｄとの特徴量の差分（絶対値）が差分閾値ＦＤｔよりも小さい第１熱画像のうちの、特徴量が最も大きい画像を高温境界フレームＦｕと特定する。
中間画像Ｄｄよりも特徴量が大きくかつ特徴量の差分（絶対値）が差分閾値ＦＤｔ以上である第１熱画像が存在しない場合には、第１熱画像のうちの特徴量が最も大きい画像が高温境界フレームＦｕと特定される。
解析部２１３ｅはさらに、中間画像Ｄｄよりも特徴量が小さくかつ中間画像Ｄｄとの特徴量の差分（絶対値）が差分閾値ＦＤｔよりも小さい第１熱画像のうちの、特徴量が最も小さい画像を低温境界フレームＦｌと特定する。
中間画像Ｄｄよりも特徴量が小さくかつ特徴量の差分（絶対値）が差分閾値ＦＤｔ以上である第１熱画像が存在しない場合には、第１熱画像のうちの特徴量が最も小さい画像が低温境界フレームＦｌと特定される。
解析部２１３ｅは、高温境界フレームＦｕを特定する情報ＩＦｕ及び低温境界フレームＦｌを特定する情報ＩＦｌを出力する。
実施の形態１で述べたように、差分閾値ＦＤｔは、記憶装置３に記憶されていても良く、図示しないパラメータメモリに記憶されていても良い。
平均画像生成部２１４ｅは、入力された第１熱画像Ｄｉｎ１を受け、温度ソート部２１１ｅからそれぞれのフレームの第１熱画像の順位を示す情報Ｓｄｉｎを受け、解析部２１３ｅから、高温境界フレームＦｕを特定する情報ＩＦｕ及び低温境界フレームＦｌを特定する情報ＩＦｌを受け、平均画像Ｄｅを生成する。
平均画像生成部２１４ｅは、複数フレームの第１熱画像Ｄｉｎ１のうち、高温境界フレームＦｕから低温境界フレームＦｌまでのフレーム（高温境界フレームＦｕ及び低温境界フレームＦｌを含む）の画像の画素値をフレーム方向で平均して平均画像Ｄｅを生成する。
平均画像Ｄｅの生成に当たり、高温境界フレームＦｕの特徴量よりも大きい特徴量のフレームと、低温境界フレームＦｌの特徴量よりも小さい特徴量のフレームとを除外することで、平均画像が、非定常的に現れる被写体、特に熱源（高温の物体）又は低温の物体による影響を受けないようにすることができる。ここで言う非定常的に現れる被写体には人が含まれる。
鮮明化部２１５及び骨格成分抽出部２１６における処理は、実施の形態１で説明したのと同じである。
以上のように、背景画像生成部２１ｅは、複数フレームの第１熱画像Ｄｉｎ１の各々について特徴量Ｑｅを算出し、複数フレームの熱画像を、特徴量Ｑｅの大きさの順に並べたときに中央に位置する熱画像との特徴量の差が、予め定められた閾値（差分閾値）ＦＤｔよりも小さい、複数の熱画像をフレーム方向に平均化して平均画像Ｄｅを生成し、平均画像を鮮明化した後、骨格成分を抽出することで骨格画像Ｄｇを生成し、生成した骨格画像Ｄｇを背景画像として記憶装置３に記憶させる。
画像補正部２２は実施の形態１の画像補正部２２と同様のものであり、同様に動作する。
実施の形態５では、フレーム毎の特徴量により温度ソートを行うので処理が比較的簡単である。
以上説明した各実施の形態の画像処理装置には、上記した変形のほか、さらに種々の変形を加えることが可能である。
また、各実施の形態の特徴を他の実施の形態の特徴と組み合わせることも可能である。
例えば、実施の形態２を実施の形態１に対する変形として説明したが、実施の形態３に対しても同様の変形を加えることができる。
また、実施の形態５を実施の形態１に対する変形例として説明したが、実施の形態２〜４に対しても同様の変形を加えることが可能である。
実施の形態１〜５で説明した画像処理装置２、２ｂ、２ｃ、２ｄ又は２ｅは、その一部又は全部を処理回路で構成し得る。
例えば、画像処理装置の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。
処理回路は専用のハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアで実現するようにしても良い。
図１１は、単一のプロセッサを含むコンピュータ２００で上記の実施の形態の各々の画像処理装置２、２ｂ、２ｃ、２ｄ又は２ｅのすべての機能を実現する場合の構成の一例を、熱画像センサー１、記憶装置３及び表示端末４とともに示す。
図示の例ではコンピュータ３００は、プロセッサ３１０及びメモリ３２０を有する。
メモリ３２０又は記憶装置３には、画像処理装置の各部の機能を実現するためのプログラムが記憶されている。
プロセッサ３１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。
メモリ３２０は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。
プロセッサ３１０は、メモリ３２０又は記憶装置３に記憶されているプログラムを実行することにより、画像処理装置の機能を実現する。プログラムが記憶装置３に記憶されている場合には、一旦メモリ３２０にロードした上で実行することとしても良い。
画像処理装置の機能には、上記のように表示端末４に対する表示の制御、記憶装置３に対する情報の書き込み、記憶装置３からの情報の読み出しが含まれる。
上記の処理回路は、熱画像センサー１に付随するものであっても良い。即ち、画像処理装置２、２ｂ、２ｃ、２ｄ又は２ｅは、熱画像センサーに付随する処理回路に実装することもできる。代わりに、画像処理装置２、２ｂ、２ｃ、２ｄ又は２ｅを、熱画像センサー１と通信網を介して接続可能なクラウドサーバ上に実装することもできる。
また、記憶装置３はクラウド上サーバ上の記憶領域であっても良い。
画像処理装置及び記憶装置の少なくとも一方は、通信携帯端末、例えばスマートフォン、リモコン内に実装されたものであっても良い。
画像処理装置を備える熱画像生成システムは、家電製品に適用されるものであっても良く、その場合には、画像処理装置及び記憶装置の少なくとも一方が、ＨＥＭＳ（Ｈｏｍｅ Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）コントローラ内に実装されたものであっても良い。
表示端末も、通信端末、例えばスマートフォン、或いはＨＥＭＳ（Ｈｏｍｅ Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）コントローラに実装されたものであっても良い。
以上本発明の画像処理装置及び画像処理装置を備えた熱画像生成システムを説明した。上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。上記の画像処理装置、又は画像処理方法における処理をコンピュータに実行させるプログラム及び該プログラムを記録した、コンピュータで読取可能な記録媒体もまた本発明の一部を成す。
本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。
１ 熱画像センサー、 ２，２ｂ，２ｃ，２ｄ，２ｅ 画像処理装置、 ３ 記憶装置、 ４ 表示端末、 ２１，２１ｂ，２１ｃ，２１ｄ，２１ｅ 背景画像生成部、 ２２，２２ｂ，２２ｃ，２２ｄ 画像補正部、 ２１１，２１１ｅ 温度ソート部、 ２１２，２１２ｅ 特徴算出部、 ２１３，２１３ｅ 解析部、 ２１４，２１４ｅ 平均画像生成部、 ２１５ 鮮明化部、 ２１６ 骨格成分抽出部、 ２１７，２１７ｄ 閾値生成部、 ２２１，２２１ｄ 重畳部、 ２２２ 重み決定部、 ２２３ 骨格成分抽出部、 ２２４ 着色部。

Claims (16)

  1. 背景画像生成部と画像補正部とを有し、
    前記背景画像生成部は、
    熱画像センサーが同じ視野での撮像で取得した複数フレームの第１熱画像又は前記第１熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
    前記第１熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
    前記第１熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第１熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
    前記平均画像を鮮明化した後、骨格成分を抽出することで得られた骨格画像を記憶装置に記憶させ、
    前記画像補正部は、
    前記熱画像センサーが、前記第１熱画像と同じ視野での撮像で取得した第２熱画像に対して、前記記憶装置に記憶された前記骨格画像を用いて補正を行うことで、補正熱画像を生成する
    画像処理装置。
  2. 背景画像生成部と画像補正部とを有し、
    前記背景画像生成部は、
    熱画像センサーが同じ視野での撮像で取得した複数フレームの第１熱画像又は前記第１熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
    前記第１熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
    前記第１熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第１熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
    前記平均画像を鮮明化することで得られた鮮明化画像を記憶装置に記憶させ、
    前記画像補正部は、
    前記熱画像センサーが、前記第１熱画像と同じ視野での撮像で取得した第２熱画像に対して、前記記憶装置に記憶された前記鮮明化画像から骨格成分を抽出することで得られた骨格画像を用いて補正を行うことで、補正熱画像を生成する
    画像処理装置。
  3. 前記背景画像生成部は、
    前記複数フレームの前記第１熱画像の同じ位置の画素について画素値の大きさの順位を特定し、
    各々同じ順位の画素の集合により構成される複数フレームの画像を前記ソート画像として生成し、
    前記ソート画像のうち、中間の順位の画素の集合により構成されるソート画像を前記中間画像と特定し、
    前記複数フレームの前記ソート画像の各々について前記特徴量を算出する
    ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 前記背景画像生成部は、
    前記複数フレームの前記第１熱画像の各々について前記特徴量を算出し、
    前記複数フレームの前記第１熱画像を、前記特徴量の大きさの順に並べたときに中央に位置する第１熱画像を前記中間画像と特定する
    ことを特徴とする請求項１又は２に記載の画像処理装置。
  5. 前記画像補正部は、
    前記第２熱画像と前記骨格画像とを加重加算することで前記補正熱画像を生成する
    ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 前記画像補正部は、
    前記第２熱画像に対して前記骨格画像を用いて補正を行う際に、
    前記第２熱画像の画素値が重み決定用閾値以上の値の場合に、前記第２熱画像の画素値が大きいほど、前記骨格画像に対する重み付けを小さくして前記加重加算を行う
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 前記画像補正部は、前記第２熱画像に対して着色を行うことでカラー画像を生成し、前記カラー画像に対し、前記骨格画像を用いて補正を行うことで前記補正熱画像を生成する
    ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  8. 前記画像補正部は、
    前記カラー画像を輝度成分画像と色成分画像とに変換し、
    前記輝度成分画像と前記骨格画像とを加重加算することで補正輝度成分画像を生成し、
    前記補正輝度成分画像と前記色成分画像とからカラー画像への変換を行うことで前記補正熱画像を生成する
    ことを特徴とする請求項７に記載の画像処理装置。
  9. 前記画像補正部は、
    前記第２熱画像を、画像分割用の高温閾値及び低温閾値を用いて高温領域、中間温領域、及び低温領域に分割し、それぞれの領域に対して着色を行い合成することで前記カラー画像を生成する
    ことを特徴とする請求項７又は８に記載の画像処理装置。
  10. 前記画像補正部は、
    前記高温領域、前記中間温領域、及び前記低温領域に互いに異なる範囲の色を割り当て、
    各領域において、当該領域に割り当てられた範囲の色のうち、各画素に対して画素値に応じた色を割り当て、
    前記高温領域、前記中間温領域、及び前記低温領域相互間の境界部分においては、色の変化が連続するように前記高温領域、前記中間温領域、及び前記低温領域に対する前記割り当て及び前記画素値に応じた割り当てを行う
    ことを特徴とする請求項９に記載の画像処理装置。
  11. 前記背景画像生成部は、
    前記平均画像の画素値の平均値又は中間値に前記差分閾値を加算することで得られる値を前記高温閾値として用い、
    前記平均画像の画素値の平均値又は中間値から前記差分閾値を減算することで得られる値を前記低温閾値として用いる
    ことを特徴とする請求項９又は１０に記載の画像処理装置。
  12. 前記熱画像センサーに付随する処理回路に実装される
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
  13. 前記熱画像センサーと通信網を介して接続可能なクラウドサーバ上に実装される
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
  14. 請求項１から１３のいずれか１項の画像処理装置と、前記熱画像センサーと前記記憶装置とを備えた熱画像生成システム。
  15. 請求項１から１３のいずれか１項に記載の画像処理装置における処理をコンピュータに実行させるためのプログラム。
  16. 請求項１５に記載のプログラムを記録した、コンピュータで読取可能な記録媒体。
JP2021504639A 2019-03-11 2019-03-11 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 Active JP7076627B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/009680 WO2020183565A1 (ja) 2019-03-11 2019-03-11 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020183565A1 true JPWO2020183565A1 (ja) 2021-10-28
JP7076627B2 JP7076627B2 (ja) 2022-05-27

Family

ID=72426176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021504639A Active JP7076627B2 (ja) 2019-03-11 2019-03-11 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体

Country Status (4)

Country Link
US (1) US11861847B2 (ja)
JP (1) JP7076627B2 (ja)
SE (1) SE2151025A2 (ja)
WO (1) WO2020183565A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089723A1 (ja) * 2021-11-18 2023-05-25 三菱電機株式会社 検温システム、検温装置、検温方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04192896A (ja) * 1990-11-27 1992-07-13 Mitsubishi Electric Corp 赤外線撮像装置
JP2012000311A (ja) * 2010-06-18 2012-01-05 Hoya Corp 動画像強調処理システムおよび方法
JP2013229706A (ja) * 2012-04-25 2013-11-07 Sony Corp 画像取得装置、画像取得方法、および画像取得プログラム
JP2018129672A (ja) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 動体監視装置および動体監視システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320077A (ja) 2002-12-03 2004-11-11 Make Softwear:Kk 写真プリント提供装置および方法ならびにプリント用紙ユニット
JP4192896B2 (ja) 2005-01-27 2008-12-10 トヨタ自動車株式会社 ハイブリッド車両
JP5446847B2 (ja) 2009-12-25 2014-03-19 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
US10129490B2 (en) * 2015-04-05 2018-11-13 Hema Imaging Llc Systems and approaches for thermal image corrections
WO2017120384A1 (en) * 2016-01-08 2017-07-13 Flir Systems, Inc. Thermal-image based object detection and heat map generation systems and methods
CN111445487B (zh) * 2020-03-26 2023-06-02 深圳数联天下智能科技有限公司 图像分割方法、装置、计算机设备和存储介质
CN112379231B (zh) * 2020-11-12 2022-06-03 国网浙江省电力有限公司信息通信分公司 一种基于多光谱图像的设备检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04192896A (ja) * 1990-11-27 1992-07-13 Mitsubishi Electric Corp 赤外線撮像装置
JP2012000311A (ja) * 2010-06-18 2012-01-05 Hoya Corp 動画像強調処理システムおよび方法
JP2013229706A (ja) * 2012-04-25 2013-11-07 Sony Corp 画像取得装置、画像取得方法、および画像取得プログラム
JP2018129672A (ja) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 動体監視装置および動体監視システム

Also Published As

Publication number Publication date
SE2151025A1 (en) 2021-08-27
US20220148192A1 (en) 2022-05-12
SE2151025A2 (en) 2023-04-18
SE544734C2 (en) 2022-10-25
US11861847B2 (en) 2024-01-02
WO2020183565A1 (ja) 2020-09-17
JP7076627B2 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
US9996913B2 (en) Contrast based image fusion
JP4208909B2 (ja) 画像処理装置と撮影装置
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US20180097992A1 (en) Global Tone Mapping
EP2624204B1 (en) Image processing apparatus and method of controlling the same
CN109804619B (zh) 图像处理装置、图像处理方法和摄影装置
US20070183657A1 (en) Color-image reproduction apparatus
CN101690169B (zh) 非线性色调映射设备和方法
US8319853B2 (en) Image processing apparatus, image processing method, and computer program
US10121271B2 (en) Image processing apparatus and image processing method
JP5648849B2 (ja) 画像処理装置、画像処理方法
JP7076627B2 (ja) 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体
KR101349968B1 (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
JP2005025448A (ja) 信号処理装置、信号処理プログラム、および電子カメラ
CN106575434A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
KR102644899B1 (ko) 공간적으로 다중화된 노출
JP4359662B2 (ja) カラー画像の露出補正方法
JP6276564B2 (ja) 画像処理装置及び画像処理方法
JP5050141B2 (ja) カラー画像の露出評価方法
JP7203441B2 (ja) 画像生成装置及び撮像装置
JP2019040382A (ja) 画像処理装置
JP5483949B2 (ja) 画像処理装置、画像処理方法及びプログラム
Dehesa et al. Chromatic Improvement of Backgrounds Images Captured with Environmental Pollution Using Retinex Model.
Rossi et al. A comparative analysis of dynamic range compression techniques in IR images for maritime applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220517

R150 Certificate of patent or registration of utility model

Ref document number: 7076627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150