JP7076627B2 - 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 - Google Patents
画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP7076627B2 JP7076627B2 JP2021504639A JP2021504639A JP7076627B2 JP 7076627 B2 JP7076627 B2 JP 7076627B2 JP 2021504639 A JP2021504639 A JP 2021504639A JP 2021504639 A JP2021504639 A JP 2021504639A JP 7076627 B2 JP7076627 B2 JP 7076627B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- thermal
- thermal image
- processing apparatus
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 89
- 238000003702 image correction Methods 0.000 claims description 36
- 238000004040 coloring Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 14
- 101100063435 Caenorhabditis elegans din-1 gene Proteins 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 201000005569 Gout Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、画像処理装置及び熱画像生成システムに関する。本発明はまた、プログラム及び記録媒体に関する。
一般的な熱型赤外線固体撮像素子(以下、熱画像センサーと言う)は、被写体が放射する赤外線を映像化するものであり、被写体が放射する赤外線はレンズにより集光されて撮像素子上に結像し、撮像素子で赤外線を吸収することにより生じる温度上昇の差が画像の濃淡となる。
熱情報を取得可能な熱画像センサーは可視カメラでは取得できない情報を取得することが可能である。しかし、安価な小型熱画像センサーの場合には画像の解像度、コントラスト、輪郭の鮮明度、SN比が小さい。一方で、大型の熱画像センサーは高価格である。低価格の熱画像センサーを用いて、且つ画像処理により画質を向上させることが望まれる。
熱画像(赤外光による撮影で得られた画像)に対し鮮明化処理を行う方法が提案されている(例えば、特許文献1参照)。
特許文献1の手法は、安価な小型の熱画像センサーの場合、SN比の不足から、鮮明化処理を行った場合にノイズ増幅が生じ視認性が低下する課題がある。
この発明は、上記の様な課題を解決するためになされたものであり、本発明の目的は、鮮明で且つSN比が高い熱画像を生成することを可能にすることにある。
本発明の一つの態様の画像処理装置は、
背景画像生成部と画像補正部とを有し、
前記背景画像生成部は、
熱画像センサーが同じ視野での撮像で取得した複数フレームの第1熱画像又は前記第1熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
前記第1熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
前記第1熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第1熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
前記平均画像を鮮明化した後、骨格成分を抽出することで得られた骨格画像を記憶装置に記憶させ、
前記画像補正部は、
前記熱画像センサーが、前記第1熱画像と同じ視野での撮像で取得した第2熱画像に対して、前記記憶装置に記憶された前記骨格画像を用いて補正を行うことで、補正熱画像を生成する。
背景画像生成部と画像補正部とを有し、
前記背景画像生成部は、
熱画像センサーが同じ視野での撮像で取得した複数フレームの第1熱画像又は前記第1熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
前記第1熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
前記第1熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第1熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
前記平均画像を鮮明化した後、骨格成分を抽出することで得られた骨格画像を記憶装置に記憶させ、
前記画像補正部は、
前記熱画像センサーが、前記第1熱画像と同じ視野での撮像で取得した第2熱画像に対して、前記記憶装置に記憶された前記骨格画像を用いて補正を行うことで、補正熱画像を生成する。
本発明の他の態様の画像処理装置は、
背景画像生成部と画像補正部とを有し、
前記背景画像生成部は、
熱画像センサーが同じ視野での撮像で取得した複数フレームの第1熱画像又は前記第1熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
前記第1熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
前記第1熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第1熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
前記平均画像を鮮明化することで得られた鮮明化画像を記憶装置に記憶させ、
前記画像補正部は、
前記熱画像センサーが、前記第1熱画像と同じ視野での撮像で取得した第2熱画像に対して、前記記憶装置に記憶された前記鮮明化画像から骨格成分を抽出することで得られた骨格画像を用いて補正を行うことで、補正熱画像を生成する。
背景画像生成部と画像補正部とを有し、
前記背景画像生成部は、
熱画像センサーが同じ視野での撮像で取得した複数フレームの第1熱画像又は前記第1熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
前記第1熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
前記第1熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第1熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
前記平均画像を鮮明化することで得られた鮮明化画像を記憶装置に記憶させ、
前記画像補正部は、
前記熱画像センサーが、前記第1熱画像と同じ視野での撮像で取得した第2熱画像に対して、前記記憶装置に記憶された前記鮮明化画像から骨格成分を抽出することで得られた骨格画像を用いて補正を行うことで、補正熱画像を生成する。
本発明によれば、鮮明で且つSN比の高い熱画像を生成することができる。
実施の形態1.
以下、本発明の実施の形態について図面を参照して説明する。
図1は、本発明の実施の形態1の画像処理装置を備える熱画像生成システムの概略構成を示す。
以下、本発明の実施の形態について図面を参照して説明する。
図1は、本発明の実施の形態1の画像処理装置を備える熱画像生成システムの概略構成を示す。
図1に示す赤外線生成システムは、熱画像センサー1と、画像処理装置2と、記憶装置3と、表示端末4とを備える。
熱画像センサー1は、被写体から放射された赤外線を検出して、被写体の温度分布を示す熱画像を生成する。ここで言う赤外線は、例えば波長8μm~12μmの電磁波である。熱画像センサー1は、一次元又は二次元状に配置された複数の赤外線検出素子を有する。各赤外線検出素子から出力される信号は、熱画像の画素の値(画素値)を表すものである。
赤外線検出素子としては、例えば焦電素子を用いることができる。代わりに、ゼーベック効果を生じさせる熱電対を接続したサーモパイル型の赤外線検出素子、温度上昇による抵抗値の変化を利用したボロメータ型の赤外線検出素子等を用いることもできる。
なお、赤外線検出素子についてはこれらに限定されるべきものでなく、赤外線を検出できるものであればその種類は問わない。
図2は、実施の形態1の画像処理装置2の機能ブロック図である。
図示の画像処理装置2は、背景画像生成部21と、画像補正部22とを有する。
図示の画像処理装置2は、背景画像生成部21と、画像補正部22とを有する。
背景画像生成部21は、熱画像センサー1から出力される複数フレームの熱画像に基づいて背景画像を生成する。
背景画像の生成に用いられる複数フレームの熱画像は、熱画像センサー1が同じ視野での撮像を繰り返すことで取得したものである。
背景画像の生成に用いられる複数フレームの熱画像は、熱画像センサー1が同じ視野での撮像を繰り返すことで取得したものである。
背景画像生成部21は、上記の複数フレームの熱画像の同じ位置の画素について画素値の大きさの順位を特定し、各々同じ順位の画素の集合により構成される複数フレームのソート画像を生成する。
背景画像生成部21はさらに、画素値の大きさの順に並べたときに中央に位置する画素、即ち、中間の順位の画素の集合により構成されるソート画像を中間画像と特定する。
このようにして特定される中間画像は、中間順位の画素の集合により構成されるものであるので、複数フレームのソート画像Dcを明るさの順に並べたときに中央に位置するものとなる。
背景画像生成部21はさらに、画素値の大きさの順に並べたときに中央に位置する画素、即ち、中間の順位の画素の集合により構成されるソート画像を中間画像と特定する。
このようにして特定される中間画像は、中間順位の画素の集合により構成されるものであるので、複数フレームのソート画像Dcを明るさの順に並べたときに中央に位置するものとなる。
背景画像生成部21はさらに、複数フレームのソート画像の各々について特徴量を算出し、中間画像との特徴量の差が、予め定められた閾値(差分閾値)FDtよりも小さい、複数のソート画像をフレーム方向に平均化して平均画像を生成する。
背景画像生成部21は、平均画像を鮮明化した後、骨格成分を抽出することで骨格画像Dgを生成し、生成した骨格画像Dgを背景画像として記憶装置3に記憶させる。
背景画像生成部21は、平均画像を鮮明化した後、骨格成分を抽出することで骨格画像Dgを生成し、生成した骨格画像Dgを背景画像として記憶装置3に記憶させる。
背景画像の生成に用いられた複数フレームの熱画像の各々を第1熱画像と言い、符号Din1で表す。
画像補正部22は、熱画像センサー1から出力される、第1熱画像Din1と同じ視野での撮像で得られた第2熱画像Din2に対して、記憶装置3に記憶された骨格画像Dgを重畳することで補正熱画像Doutを生成する。補正熱画像Doutは、第2熱画像Din2に対して鮮明化されSN比が改善されたものである。
背景画像生成部21は、温度ソート部211と、特徴量算出部212と、解析部213と、平均画像生成部214と、鮮明化部215と、骨格成分抽出部216とを有する。
温度ソート部211は、複数フレーム、例えばNフレーム(Nは2以上の整数)の第1熱画像Din1の同じ位置の画素を互いに比較して画素値の大きさの順に並べて順位を特定する。順に並べる際は画素値の大きい順(降順)で並べても良く、小さい順(昇順)に並べても良い。
温度ソート部211はさらに、各々同じ順位の画素の集合により構成される複数フレームのソート画像Dcを生成する。
即ち、順位がn(nは1~Nのいずれか)である画素の集合によりn番目のソート画像Dcが構成される。
温度ソート部211はさらに、各々同じ順位の画素の集合により構成される複数フレームのソート画像Dcを生成する。
即ち、順位がn(nは1~Nのいずれか)である画素の集合によりn番目のソート画像Dcが構成される。
温度ソート部211はさらに、画素値の大きさの順に並べたときに中央に位置する画素、即ち中間の順位の画素の集合により構成されるソート画像Dcを中間画像Ddと特定する。
温度ソート部211は、生成した複数のソート画像Dcを、それぞれの順位を示す情報Sdcとともに出力する。
温度ソート部211はさらに、中間画像Ddを特定する情報IDdを出力する。
温度ソート部211はさらに、中間画像Ddを特定する情報IDdを出力する。
特徴量算出部212は、複数フレームのソート画像Dcの各々につき、明るさの指標となる特徴量Qfを算出する。特徴量Qfとしては、各フレームのソート画像の画素値の平均値、画素値の中間値、画素値の最大値又は画素値の最小値が算出される。
解析部213は、特徴量算出部212からそれぞれのソート画像の特徴量Qfを受け、温度ソート部211から中間画像Ddを特定する情報IDdを受け、高温境界フレームFu及び低温境界フレームFlを特定する。
解析部213は、中間画像Ddよりも特徴量が大きくかつ中間画像Ddとの特徴量の差分(絶対値)が差分閾値FDtよりも小さいソート画像のうちの、特徴量が最も大きい画像を高温境界フレームFuと特定する。
中間画像Ddよりも特徴量が大きくかつ特徴量の差分(絶対値)が差分閾値FDt以上であるソート画像が存在しない場合には、ソート画像のうちの特徴量が最も大きい画像が高温境界フレームFuと特定される。
中間画像Ddよりも特徴量が大きくかつ特徴量の差分(絶対値)が差分閾値FDt以上であるソート画像が存在しない場合には、ソート画像のうちの特徴量が最も大きい画像が高温境界フレームFuと特定される。
解析部213はさらに、中間画像Ddよりも特徴量が小さくかつ中間画像Ddとの特徴量の差分(絶対値)が差分閾値FDtよりも小さいソート画像のうちの、特徴量が最も小さい画像を低温境界フレームFlと特定する。
中間画像Ddよりも特徴量が小さくかつ特徴量の差分(絶対値)が差分閾値FDt以上であるソート画像が存在しない場合には、ソート画像のうちの特徴量が最も小さい画像が低温境界フレームFlと特定される。
中間画像Ddよりも特徴量が小さくかつ特徴量の差分(絶対値)が差分閾値FDt以上であるソート画像が存在しない場合には、ソート画像のうちの特徴量が最も小さい画像が低温境界フレームFlと特定される。
解析部213は、高温境界フレームFuを特定する情報IFu及び低温境界フレームFlを特定する情報IFlを出力する。
差分閾値FDtは、記憶装置3に記憶されていても良く、図示しないパラメータメモリに記憶されていても良い。
平均画像生成部214は、温度ソート部211から、ソート画像Dcとともにそれぞれのソート画像の順位を示す情報Sdcを受け、解析部213から、高温境界フレームFuを特定する情報IFu及び低温境界フレームFlを特定する情報IFlを受け、平均画像Deを生成する。
平均画像生成部214は、複数フレームのソート画像Dcのうち、高温境界フレームFuから低温境界フレームFlまでのフレーム(高温境界フレームFu及び低温境界フレームFlを含む)の画像の画素値をフレーム方向で平均して平均画像Deを生成する。「フレーム方向で平均する」とは、複数のフレームの画像のうち、同じ位置の画素の画素値を平均することを意味する。
平均画像Deの生成に当たり、高温境界フレームFuの特徴量よりも大きい特徴量のフレームと、低温境界フレームFlの特徴量よりも小さい特徴量のフレームとを除外することで、平均画像が、非定常的に現れる被写体、特に熱源(高温の物体)又は低温の物体による影響を受けないようにすることができる。ここで言う非定常的に現れる被写体には人が含まれる。
鮮明化部215は、平均画像Deを鮮明化して鮮明化画像Dfを生成する。
鮮明化部215における鮮明化の手法としては、ヒストグラム均等化、レティネックス方式などが挙げられる。
鮮明化部215における鮮明化の手法としては、ヒストグラム均等化、レティネックス方式などが挙げられる。
ヒストグラム均等化により鮮明化を行う鮮明化部215の構成例を図3(a)に示す。図3(a)に示される鮮明化部215は、ヒストグラム均等化部2151により構成されている。
ヒストグラム均等化部2151は、平均画像Deに対しヒストグラム均等化を行う。ヒストグラム均等化は、画像全体の画素値の分布を算出し、画素値の分布が所望の形状の分布になるよう、画素値の変換を行う処理である。
ヒストグラム均等化は、コントラストを制限した適応ヒストグラム均等化(Contrast Limited Adaptive Histogram Equalization)であっても良い。
ヒストグラム均等化部2151は、平均画像Deに対しヒストグラム均等化を行う。ヒストグラム均等化は、画像全体の画素値の分布を算出し、画素値の分布が所望の形状の分布になるよう、画素値の変換を行う処理である。
ヒストグラム均等化は、コントラストを制限した適応ヒストグラム均等化(Contrast Limited Adaptive Histogram Equalization)であっても良い。
レティネックス方式により鮮明化を行う鮮明化部215の構成例を図3(b)に示す。
図3(b)に示される鮮明化部215は、フィルター分離部2152と、調整部2153、2154と、合成部2155とを有する。
図3(b)に示される鮮明化部215は、フィルター分離部2152と、調整部2153、2154と、合成部2155とを有する。
フィルター分離部2152は、入力された平均画像Deを低周波成分Delと高周波成分Dehへ分離する。
調整部2153は、低周波成分Delに第1のゲインを乗算して画素値の大きさを調整する。
調整部2154は、高周波成分Dehに、第2のゲインを乗算して画素値の大きさを調整する。上記第2のゲインは上記第1のゲインよりも大きい。
合成部2155は、調整部2153、2154の出力を合成する。合成の結果得られる画像は、高周波成分が強められたものとなる。
調整部2153は、低周波成分Delに第1のゲインを乗算して画素値の大きさを調整する。
調整部2154は、高周波成分Dehに、第2のゲインを乗算して画素値の大きさを調整する。上記第2のゲインは上記第1のゲインよりも大きい。
合成部2155は、調整部2153、2154の出力を合成する。合成の結果得られる画像は、高周波成分が強められたものとなる。
骨格成分抽出部216は、鮮明化部215から出力された鮮明化画像Dfから骨格成分を抽出し、抽出した骨格成分から成る骨格画像Dgを生成する。
骨格成分とは、画像の大局的構造を表す成分であり、画像中のエッジ成分及び平坦成分(緩やかに変化する成分)を含む。骨格成分の抽出には、例えば全変分ノルム最小化法を用いることができる。
骨格成分とは、画像の大局的構造を表す成分であり、画像中のエッジ成分及び平坦成分(緩やかに変化する成分)を含む。骨格成分の抽出には、例えば全変分ノルム最小化法を用いることができる。
背景画像生成部21は、骨格画像Dgを背景画像として、記憶装置3に送信し、記憶させる。
画像補正部22は、熱画像センサー1から出力される第2熱画像Din2に対して、記憶装置3に記憶された骨格画像Dgを用いて補正を行い、補正熱画像Doutを生成して出力する。
上記のように、第2熱画像Din2は、第1熱画像Din1と同じ視野での撮像で得られたものである。第2熱画像Din2は、第1熱画像Din1と異なる撮像時刻における撮像で得られたものであっても良く、第1熱画像Din1のうちの1フレームの画像を第2熱画像として用いても良い。
上記のように、第2熱画像Din2は、第1熱画像Din1と同じ視野での撮像で得られたものである。第2熱画像Din2は、第1熱画像Din1と異なる撮像時刻における撮像で得られたものであっても良く、第1熱画像Din1のうちの1フレームの画像を第2熱画像として用いても良い。
図2の例では、画像補正部22は、重畳部221を有する。
重畳部221は、第2熱画像Din2に対して、骨格画像Dgを重畳することで、補正熱画像Doutを生成する。重畳は例えば加重加算により行われる。
骨格画像Dgの成分がより鮮明となるよう、骨格画像Dgの加算時に、骨格画像Dgに対してゲインを乗算しても良い。
重畳部221は、第2熱画像Din2に対して、骨格画像Dgを重畳することで、補正熱画像Doutを生成する。重畳は例えば加重加算により行われる。
骨格画像Dgの成分がより鮮明となるよう、骨格画像Dgの加算時に、骨格画像Dgに対してゲインを乗算しても良い。
このような加重加算は下記の式(1)で表される。
PDout=PDin2+PDg×g 式(1)
式(1)で、
PDin2は、第2熱画像Din2の画素値、
PDgは、骨格画像Dgの画素値、
gは、骨格画像Dgに対するゲイン、
PDoutは、補正熱画像Doutの画素値である。
PDout=PDin2+PDg×g 式(1)
式(1)で、
PDin2は、第2熱画像Din2の画素値、
PDgは、骨格画像Dgの画素値、
gは、骨格画像Dgに対するゲイン、
PDoutは、補正熱画像Doutの画素値である。
以上が、実施の形態1に係る画像処理装置の動作の説明である。
実施の形態1の画像処理装置では、複数フレームの第1熱画像からノイズが少なくコントラストが高い骨格画像を生成して背景画像として記憶させておき、記憶された骨格画像を第2熱画像と合成するので、SN比が高く、時間解像度の高い熱画像を生成することができる。
実施の形態1の画像処理装置では、複数フレームの第1熱画像からノイズが少なくコントラストが高い骨格画像を生成して背景画像として記憶させておき、記憶された骨格画像を第2熱画像と合成するので、SN比が高く、時間解像度の高い熱画像を生成することができる。
また、平均画像をそのまま背景画像として用いるのではなく、平均画像の骨格成分のみを抽出して背景画像として記憶させ、第2熱画像に加算することで、第2熱画像の温度情報を保存しつつ、背景構造の情報を付加することができる。
また、背景画像の生成に当たり、中間画像Ddとの特徴量の差が差分閾値FDt以上であるフレームの熱画像を除外することで、背景画像に、非定常的に現れる被写体、特に熱源(高温の物体)又は低温の物体による影響を与えないようにすることができる。
実施の形態2.
図4は、本発明の実施の形態2の画像処理装置2aの機能ブロック図である。
図4に示される画像処理装置2aは、図2の画像処理装置2と概して同じであるが、背景画像生成部21及び画像補正部22の代わりに、背景画像生成部21b及び画像補正部22bを備える。
背景画像生成部21bは、背景画像生成部21と概して同じであるが、閾値生成部217を備える。
画像補正部22bは、画像補正部22と概して同じであるが、重み決定部222を備える。
図4は、本発明の実施の形態2の画像処理装置2aの機能ブロック図である。
図4に示される画像処理装置2aは、図2の画像処理装置2と概して同じであるが、背景画像生成部21及び画像補正部22の代わりに、背景画像生成部21b及び画像補正部22bを備える。
背景画像生成部21bは、背景画像生成部21と概して同じであるが、閾値生成部217を備える。
画像補正部22bは、画像補正部22と概して同じであるが、重み決定部222を備える。
閾値生成部217は、重み決定用閾値Thを生成して閾値Thを記憶装置3へ送信して記憶させる。閾値生成部217は、例えば、平均画像生成部214から出力される平均画像Deの画素値の平均値又は中間値を求め、算出した平均値又は中間値に基づいて閾値Thを定める。平均画像Deの画素値の平均値又は中間値とは、平均画像Deの全体、又は主要部分に位置する画素の画素値の平均値又は中間値を意味する。
閾値Thを上記の平均値又は中間値に対してどのような関係を有するものとするかは、経験或いは実験(シミュレーション)に基づいて定められる。
閾値Thを上記の平均値又は中間値に対してどのような関係を有するものとするかは、経験或いは実験(シミュレーション)に基づいて定められる。
閾値Thを上記の平均値又は中間値よりも高い値に定めても良い。この場合、上記の平均値又は中間値に差分閾値FDtを加算した値を閾値Thと定めても良い。そのようにする場合には、差分閾値FDtが閾値生成部217にも通知される。
閾値生成部217は、生成した閾値Thを記憶装置3へ送信して記憶させる。
閾値生成部217は、生成した閾値Thを記憶装置3へ送信して記憶させる。
重み決定部222は、記憶装置3に記憶されている閾値Thに基づいて重みテーブルを作成し、作成した重みテーブルを参照し、第2熱画像Din2の画素値に基づいて、合成重みwを生成する。
重み決定部222が閾値Thに基づいて作成する重みテーブルの例を図5(a)及び(b)に示す。
重み決定部222が閾値Thに基づいて作成する重みテーブルの例を図5(a)及び(b)に示す。
図5(a)及び(b)に示される例では、第2熱画像Din2の画素値PDin2が0から閾値Thまでの範囲では、合成重みwが1に保たれ、画素値PDin2が閾値Thよりも大きい範囲では、画素値PDin2の増加に伴い合成重みwが次第に小さくなる。
図5(a)又は(b)に示される重みテーブルを用いることにより、第2熱画像Din2の画素値が閾値Thよりも高い場合に限り、骨格画像Dgの加重加算の割合を小さくすることができる。
上記の例では、重み決定部222が閾値Thを用いて重みテーブルを作成するが、閾値Thを用いることなく、重みテーブルの作成を行なっても良い。閾値Thを用いることなく作成される重みテーブルの例を図5(c)及び(d)に示す。
図5(c)及び(d)に示される例では、第2熱画像Din2の画素値PDin2が0のとき、合成重みwが1であり、画素値PDin2が増加するに従い、合成重みwが次第に小さくなる。このような重みテーブルであっても、画素値PDin2が大きい範囲では、骨格画像Dgの加算割合を減らすことができる。
図5(c)及び(d)に示される例では、第2熱画像Din2の画素値PDin2が0のとき、合成重みwが1であり、画素値PDin2が増加するに従い、合成重みwが次第に小さくなる。このような重みテーブルであっても、画素値PDin2が大きい範囲では、骨格画像Dgの加算割合を減らすことができる。
以上要するに、重みテーブルは、第2熱画像Din2の画素値が大きくなるほど、合成重みwが小さくなるものであれば良い。
図5(c)又は(d)に示される重みテーブルを作成する場合、背景画像生成部21aは、閾値生成部217を備える必要がなく(従って、図2の背景画像生成部21と同じであって良く)、重み決定部222は、記憶装置3から閾値Thを読み出す必要がない。
実施の形態3.
図6は、本発明の実施の形態3の画像処理装置2cの機能ブロック図である。
図6に示される画像処理装置2cは、図2の画像処理装置2と概して同じであるが、背景画像生成部21及び画像補正部22の代わりに、背景画像生成部21c及び画像補正部22cを備える。
背景画像生成部21cは、図2の背景画像生成部21と概して同じであるが、図2の骨格成分抽出部216を備えず、鮮明化部215から出力される鮮明化画像Dfを、背景画像として記憶装置3に記憶させる。
図6は、本発明の実施の形態3の画像処理装置2cの機能ブロック図である。
図6に示される画像処理装置2cは、図2の画像処理装置2と概して同じであるが、背景画像生成部21及び画像補正部22の代わりに、背景画像生成部21c及び画像補正部22cを備える。
背景画像生成部21cは、図2の背景画像生成部21と概して同じであるが、図2の骨格成分抽出部216を備えず、鮮明化部215から出力される鮮明化画像Dfを、背景画像として記憶装置3に記憶させる。
画像補正部22cは、記憶装置3に記憶されている鮮明化画像Dfを読み出して、骨格成分を抽出することで骨格画像Dgを生成し、第2熱画像Din2を骨格画像Dgを用いて補正する。
即ち、図6に示される画像処理装置2cでは、骨格成分の抽出が背景画像生成部ではなく、画像補正部で行われる。
即ち、図6に示される画像処理装置2cでは、骨格成分の抽出が背景画像生成部ではなく、画像補正部で行われる。
具体的には、画像補正部22cは、骨格成分抽出部223と、重畳部221とを有する。
骨格成分抽出部223は、記憶装置3に記憶されている鮮明化画像Dfを読み出して、骨格成分を抽出することで骨格画像Dgを生成する。
重畳部221は、骨格画像Dgを第2熱画像Din2に重畳することで、第2熱画像Din2を補正し、補正熱画像Doutを生成する。
骨格成分抽出部223は、記憶装置3に記憶されている鮮明化画像Dfを読み出して、骨格成分を抽出することで骨格画像Dgを生成する。
重畳部221は、骨格画像Dgを第2熱画像Din2に重畳することで、第2熱画像Din2を補正し、補正熱画像Doutを生成する。
図6に示される構成の場合、鮮明化画像Dfを記憶装置3から読み出して表示させることで、鮮明化画像Dfに熱源が含まれているか否かの判定を容易に行うことができる。
実施の形態4.
図7は、本発明の実施の形態3の画像処理装置2dの機能ブロック図である。
図7に示される画像処理装置2dは、図4の画像処理装置2bと概して同じであるが、背景画像生成部21b及び画像補正部22bの代わりに、背景画像生成部21d及び画像補正部22dを備える。
背景画像生成部21dは、背景画像生成部21bと概して同じであるが、閾値生成部217の代わりに、閾値生成部217dを備える。
図7は、本発明の実施の形態3の画像処理装置2dの機能ブロック図である。
図7に示される画像処理装置2dは、図4の画像処理装置2bと概して同じであるが、背景画像生成部21b及び画像補正部22bの代わりに、背景画像生成部21d及び画像補正部22dを備える。
背景画像生成部21dは、背景画像生成部21bと概して同じであるが、閾値生成部217の代わりに、閾値生成部217dを備える。
閾値生成部217dは、平均画像生成部214から出力される平均画像Deの画素値の平均値又は中間値を求め、算出した平均値又は中間値に基づいて、重み決定用閾値Thのほか、画像分割用の高温閾値Tu及び低温閾値Tlを生成し、生成した閾値Th、Tu及びTlを記憶装置3へ送信して記憶させる。
高温閾値Tu及び低温閾値Tlは画像の分割に用いられる。
高温閾値Tuは、平均画像Deの画素値の平均値又は中間値に差分閾値FDtを加算することで求められる。
低温閾値Tlは、平均画像Deの画素値の平均値又は中間値から差分閾値FDtを減算することで求められる。
高温閾値Tuは、平均画像Deの画素値の平均値又は中間値に差分閾値FDtを加算することで求められる。
低温閾値Tlは、平均画像Deの画素値の平均値又は中間値から差分閾値FDtを減算することで求められる。
上記のようにして高温閾値Tuを生成する場合、重み決定用閾値Thは、高温閾値Tuと同じであっても良い。
画像補正部22dは、記憶装置3から読み出した高温閾値Tu及び低温閾値Tlを用いて第2熱画像Din2を高温領域、中間温領域、及び低温領域に分割し、それぞれの領域に対して着色を行い合成することでカラー画像Dhを生成し、カラー画像Dhと、記憶装置3から取り出した骨格画像Dgとを合成することで補正熱画像Doutを生成して出力する。
この場合の補正熱画像Doutは各部の温度に応じて着色されたカラー画像である。
画像補正部22dは、重み決定部222と、着色部224と、重畳部221dとを有する。
この場合の補正熱画像Doutは各部の温度に応じて着色されたカラー画像である。
画像補正部22dは、重み決定部222と、着色部224と、重畳部221dとを有する。
重み決定部222は、図4の構成に関して説明したように重みテーブルの作成及び重みの決定を行う。
図5(a)又は(b)に示される重みテーブルを作成する場合には、閾値Thを用いる必要がある。上記のように、閾値Thは、高温閾値Tuと同じであっても良い。その場合には、記憶装置3に記憶されている高温閾値Tuを読み出して、閾値Thとして重みテーブルの作成に利用することができる。
図5(a)又は(b)に示される重みテーブルを作成する場合には、閾値Thを用いる必要がある。上記のように、閾値Thは、高温閾値Tuと同じであっても良い。その場合には、記憶装置3に記憶されている高温閾値Tuを読み出して、閾値Thとして重みテーブルの作成に利用することができる。
図5(a)又は(b)に示される重みテーブルを作成する場合、第2熱画像Din2の画素値が閾値Thよりも高い場合に限り、骨格画像Dgの加重加算の割合を小さくすることができる。閾値Thを高温閾値Tuと同じとした場合、第2熱画像Din2の画素値PDin2が高温領域に属するものである場合に限り、骨格画像Dgの加算の割合を小さくすることができる。
図4の構成に関して述べたように、重みテーブルは、図5(c)又は(d)に示されるものであっても良い。
要するに、重みテーブルは、第2熱画像Din2の画素値が大きくなるほど、合成重みwが小さくなるものであれば良い。
要するに、重みテーブルは、第2熱画像Din2の画素値が大きくなるほど、合成重みwが小さくなるものであれば良い。
着色部224は、図8及び図9に示すように、高温閾値Tu及び低温閾値Tlを用いて第2熱画像Din2を高温領域、中間温領域、及び低温領域に分割し、それぞれの領域に対して着色を行い、着色された画像を合成することでカラー画像Dhを生成する。カラー画像Dhは例えば、赤(R)、緑(G)、青(B)の信号で表される。
即ち、第2熱画像Din2の各画素は、その画素値が高温閾値Tuよりも大きければ高温領域に属するものと判定され、その画素値が高温閾値Tu以下であり、低温閾値Tl以上であれば、中間温領域に属するものと判定され、その画素値が低温閾値Tlよりも小さければ、低温領域に属するものと判定される。
図8に示す例では、街路灯の発光部101、自動車103、人105を構成する画素は、高温領域に属するものと判定され、道路の路面標識107を構成する画素は、中間温領域に属するものと判定され、街路灯の支柱109を構成する画素は、低温領域に属するものと判定されている。
図8に示す例では、街路灯の発光部101、自動車103、人105を構成する画素は、高温領域に属するものと判定され、道路の路面標識107を構成する画素は、中間温領域に属するものと判定され、街路灯の支柱109を構成する画素は、低温領域に属するものと判定されている。
着色部224は、高温領域、中間温領域、及び低温領域に互いに異なる範囲、即ち第1、第2及び第3の範囲の色を割り当て、各領域において、当該領域に割り当てられた範囲の色のうち、各画素に対して画素値に応じた色を割り当てる。
その際、高温領域、中間温領域、及び低温領域相互間の境界部分においては、色の変化が連続するように高温領域、中間温領域、及び低温領域に対する上記の色の割り当て及び画素値に応じた色の割り当てを行うのが望ましい。
その際、高温領域、中間温領域、及び低温領域相互間の境界部分においては、色の変化が連続するように高温領域、中間温領域、及び低温領域に対する上記の色の割り当て及び画素値に応じた色の割り当てを行うのが望ましい。
例えば、図9に示すように、高温領域には赤を中心とする色相範囲(例えばマゼンタの中心(色相方向の中心)からイエローの中心まで)、中間温領域には、緑を中心とする色相範囲(イエローの中心からシアンの中心まで)、低温領域には青を中心とする色相範囲(シアンの中心からマゼンタの中心まで)を割り当て、各領域では、各画素値に対して割り当てられた色相範囲内の色を割り当てる。
重畳部221dは、カラー画像Dhと、記憶装置3から読み出した骨格画像Dgとを、合成重みwを用いて加重加算する。
カラー画像DhはR、G、Bの信号、即ち3チャネルの信号で表されるのに対して、骨格画像Dgはグレー1チャネルの信号で表される。
骨格画像Dgはカラー画像Dhの輝度成分Dhyに加算される。
カラー画像DhはR、G、Bの信号、即ち3チャネルの信号で表されるのに対して、骨格画像Dgはグレー1チャネルの信号で表される。
骨格画像Dgはカラー画像Dhの輝度成分Dhyに加算される。
処理の一例では、カラー画像Dhを輝度成分Dhyと、色成分例えば色差成分Dhcb、Dhcrとに変換し、輝度成分Dhyに骨格画像Dgを加算し、加算後の輝度成分Djyと、上記の色成分例えば色差成分Dhcb、Dhcrとから、R、G、Bへの逆変換を行うことで補正熱画像のR、G、B成分の値を得る。
上記の骨格画像Dgの加算は下記の式で表される。
PDjy=PDhy+PDg*g*w 式(2)
式(2)で、
PDhyは、カラー画像Dhの輝度成分Dhyの値、
PDgは、骨格画像Dgの画素値、
gは、骨格画像Dgに対するゲイン、
wは、合成重み、
PDjyは、加算の結果得られる輝度成分Djyの値である。
PDjy=PDhy+PDg*g*w 式(2)
式(2)で、
PDhyは、カラー画像Dhの輝度成分Dhyの値、
PDgは、骨格画像Dgの画素値、
gは、骨格画像Dgに対するゲイン、
wは、合成重み、
PDjyは、加算の結果得られる輝度成分Djyの値である。
処理の他の例では、カラー画像DhがR、G、Bの3チャネルの信号で構成されている場合、骨格画像Dgをそれぞれのチャネルへ加算する。
この場合の加算を下記の式(3a)~(3c)で表される。
PRout=PRin+PDg*g*w 式(3a)
PGout=PGin+PDg*g*w 式(3b)
PBout=PBin+PDg*g*w 式(3b)
この場合の加算を下記の式(3a)~(3c)で表される。
PRout=PRin+PDg*g*w 式(3a)
PGout=PGin+PDg*g*w 式(3b)
PBout=PBin+PDg*g*w 式(3b)
式(3a)~(3c)で、
PRinは、カラー画像DhのRチャネルの信号Rinの値(赤成分の値)、
PGinは、カラー画像DhのGチャネルの信号Ginの値(緑成分の値)、
PBinは、カラー画像DhのBチャネルの信号Binの値(青成分の値)、
PDgは、骨格画像Dgの画素値、
gは、骨格画像Dgに対するゲイン、
wは、合成重み、
PRoutは、加算の結果得られるRチャネルの信号Routの値(赤成分の値)、
PGoutは、加算の結果得られるGチャネルの信号Goutの値(緑成分の値)、
PBoutは、加算の結果得られるBチャネルの信号Boutの値(青成分の値)である。
PRinは、カラー画像DhのRチャネルの信号Rinの値(赤成分の値)、
PGinは、カラー画像DhのGチャネルの信号Ginの値(緑成分の値)、
PBinは、カラー画像DhのBチャネルの信号Binの値(青成分の値)、
PDgは、骨格画像Dgの画素値、
gは、骨格画像Dgに対するゲイン、
wは、合成重み、
PRoutは、加算の結果得られるRチャネルの信号Routの値(赤成分の値)、
PGoutは、加算の結果得られるGチャネルの信号Goutの値(緑成分の値)、
PBoutは、加算の結果得られるBチャネルの信号Boutの値(青成分の値)である。
以上が、実施の形態4に係る画像処理装置の動作の説明である。
実施の形態4でも実施の形態1と同様の効果が得られる。
実施の形態4でも実施の形態1と同様の効果が得られる。
実施の形態4ではまた、第2熱画像を着色することで生成したカラー画像の輝度成分と骨格画像Dgとを合成することとしているので、熱源を示す情報と骨格画像とを視覚的に分離することができ、熱源の視認性を向上させることができる。即ち、着色を行わずに第2熱画像Din2と骨格画像Dgとを合成した場合、第2熱画像Din2に含まれる熱源を示す情報が、骨格画像Dgに埋もれる可能性があるが、第2熱画像を着色することでそのような事態が発生するのを避けることができる。
また、図5(a)又は(b)に示される重みテーブルを用いることで、画像の補正に当たり、第2熱画像Din2の画素値が閾値Th以下であるときには、合成重みを大きくして、骨格画像Dgによる第2熱画像Din2の補正を十分に行うとともに、第2熱画像Din2の画素値が閾値Thよりも高いときに、合成重みを小さくすることにより、骨格画像Dgが第2熱画像Din2の熱源が存在する領域に大きな割合で加算されるのを抑制し、視認性を向上させる効果がある。
また、第2熱画像Din2の全体的な明るさ(例えば画素値の平均値)に関係なく、画素値に対する色の割り当てを固定するのではなく、第2熱画像Din2を高温領域、中間温領域、低温領域に分割した上で、それぞれの領域に対して異なる色を割り当てて着色を行うことで、画像の中で相対的に高温の箇所は常に高温色(高温に割り当てられた色)を、熱画像の中で相対的に低温の箇所は常に低温色(低温に割り当てられた色)で表現することができる。例えば、熱画像に温度オフセットが含まれる場合には、画素値に対する色の割り当てが固定されていると、低温領域に中間温を表す色が付けられる可能性があるが、そのようなことを防ぐ効果がある。
即ち、熱画像を色表示する場合、例えば高温の被写体は赤く、低温の被写体は青く、中間温度の被写体は緑で表示することが一般的な着色処理の一手法であるが、熱画像に温度オフセットが含まれる場合、例えば、低温から中間温までが緑で表示されてしまう可能性がある。
熱画像を、高温領域、中間温領域、低温領域に分割した上で、それぞれの領域に対して着色を行うことで、そのような事態の発生を防ぐことができる。
熱画像を、高温領域、中間温領域、低温領域に分割した上で、それぞれの領域に対して着色を行うことで、そのような事態の発生を防ぐことができる。
実施の形態4では、実施の形態1と同様に、鮮明化及び骨格成分の抽出を背景画像生成部21dで行い、骨格画像を記憶装置3に記憶させ、画像補正部22dでは、記憶装置3に記憶されている骨格画像を読み出して、第2熱画像の補正に利用している。
実施の形態4でも、実施の形態3で説明したのと同様に、背景画像生成部21dで、鮮明化で得られた鮮明化画像Dfを記憶装置3に記憶させ、画像補正部22dでは、記憶装置3に記憶されている鮮明化画像Dfを読み出して、骨格成分を抽出することで骨格画像を生成し、生成した骨格画像を、第2熱画像の補正に用いることとしても良い。
また、実施の形態4において、重み決定部222を省略して、一定の値の合成重みを用いた加重加算を行うこととしても良い。
実施の形態5.
図10は、実施の形態5の画像処理装置2eの機能ブロック図である。
図10に示される画像処理装置2eは、図2の画像処理装置2と概して同じであるが、背景画像生成部21の代わりに、背景画像生成部21eを備える。
図10は、実施の形態5の画像処理装置2eの機能ブロック図である。
図10に示される画像処理装置2eは、図2の画像処理装置2と概して同じであるが、背景画像生成部21の代わりに、背景画像生成部21eを備える。
背景画像生成部21eは、背景画像生成部21と概して同じであるが、温度ソート部211、特徴量算出部212、解析部213、及び平均画像生成部214の代わりに、温度ソート部211e、特徴量算出部212e、解析部213e、及び平均画像生成部214eを備える。
特徴量算出部212eは、複数フレームの第1熱画像Din1の各々、即ち各フレームの第1熱画像につき、明るさの指標となる特徴量Qeを算出する。
特徴量Qeとしては、各フレームの画素値の平均値、画素値の中間値、画素値の最大値又は画素値の最小値が算出される。
特徴量Qeとしては、各フレームの画素値の平均値、画素値の中間値、画素値の最大値又は画素値の最小値が算出される。
温度ソート部211eは、特徴量算出部212eで算出された特徴量Qeを受け、複数フレームの第1熱画像Din1を特徴量Qeの大きさの順位を特定する。順に並べる際は特徴量の大きい順(降順)で並べても良く、小さい順(昇順)に並べても良い。
温度ソート部211eはさらに、特徴量Qeの大きさの順に並べたときに中央に位置する、即ち、中間の順位を持つ第1熱画像Din1を中間画像Ddと特定する。
温度ソート部211eは、複数フレームの第1熱画像Din1のそれぞれの順位を示す情報Sdinを出力する。
温度ソート部211eはまた、中間画像Ddを特定する情報IDdを出力する。
温度ソート部211eはまた、中間画像Ddを特定する情報IDdを出力する。
解析部213eは、特徴量算出部212eからそれぞれの第1熱画像の特徴量Qeを受け、温度ソート部211eから中間画像Ddを特定する情報IDdを受け、高温境界フレームFu及び低温境界フレームFlを特定する。
解析部213eは、中間画像Ddよりも特徴量が大きくかつ中間画像Ddとの特徴量の差分(絶対値)が差分閾値FDtよりも小さい第1熱画像のうちの、特徴量が最も大きい画像を高温境界フレームFuと特定する。
中間画像Ddよりも特徴量が大きくかつ特徴量の差分(絶対値)が差分閾値FDt以上である第1熱画像が存在しない場合には、第1熱画像のうちの特徴量が最も大きい画像が高温境界フレームFuと特定される。
中間画像Ddよりも特徴量が大きくかつ特徴量の差分(絶対値)が差分閾値FDt以上である第1熱画像が存在しない場合には、第1熱画像のうちの特徴量が最も大きい画像が高温境界フレームFuと特定される。
解析部213eはさらに、中間画像Ddよりも特徴量が小さくかつ中間画像Ddとの特徴量の差分(絶対値)が差分閾値FDtよりも小さい第1熱画像のうちの、特徴量が最も小さい画像を低温境界フレームFlと特定する。
中間画像Ddよりも特徴量が小さくかつ特徴量の差分(絶対値)が差分閾値FDt以上である第1熱画像が存在しない場合には、第1熱画像のうちの特徴量が最も小さい画像が低温境界フレームFlと特定される。
中間画像Ddよりも特徴量が小さくかつ特徴量の差分(絶対値)が差分閾値FDt以上である第1熱画像が存在しない場合には、第1熱画像のうちの特徴量が最も小さい画像が低温境界フレームFlと特定される。
解析部213eは、高温境界フレームFuを特定する情報IFu及び低温境界フレームFlを特定する情報IFlを出力する。
実施の形態1で述べたように、差分閾値FDtは、記憶装置3に記憶されていても良く、図示しないパラメータメモリに記憶されていても良い。
平均画像生成部214eは、入力された第1熱画像Din1を受け、温度ソート部211eからそれぞれのフレームの第1熱画像の順位を示す情報Sdinを受け、解析部213eから、高温境界フレームFuを特定する情報IFu及び低温境界フレームFlを特定する情報IFlを受け、平均画像Deを生成する。
平均画像生成部214eは、複数フレームの第1熱画像Din1のうち、高温境界フレームFuから低温境界フレームFlまでのフレーム(高温境界フレームFu及び低温境界フレームFlを含む)の画像の画素値をフレーム方向で平均して平均画像Deを生成する。
平均画像Deの生成に当たり、高温境界フレームFuの特徴量よりも大きい特徴量のフレームと、低温境界フレームFlの特徴量よりも小さい特徴量のフレームとを除外することで、平均画像が、非定常的に現れる被写体、特に熱源(高温の物体)又は低温の物体による影響を受けないようにすることができる。ここで言う非定常的に現れる被写体には人が含まれる。
鮮明化部215及び骨格成分抽出部216における処理は、実施の形態1で説明したのと同じである。
以上のように、背景画像生成部21eは、複数フレームの第1熱画像Din1の各々について特徴量Qeを算出し、複数フレームの熱画像を、特徴量Qeの大きさの順に並べたときに中央に位置する熱画像との特徴量の差が、予め定められた閾値(差分閾値)FDtよりも小さい、複数の熱画像をフレーム方向に平均化して平均画像Deを生成し、平均画像を鮮明化した後、骨格成分を抽出することで骨格画像Dgを生成し、生成した骨格画像Dgを背景画像として記憶装置3に記憶させる。
画像補正部22は実施の形態1の画像補正部22と同様のものであり、同様に動作する。
実施の形態5では、フレーム毎の特徴量により温度ソートを行うので処理が比較的簡単である。
以上説明した各実施の形態の画像処理装置には、上記した変形のほか、さらに種々の変形を加えることが可能である。
また、各実施の形態の特徴を他の実施の形態の特徴と組み合わせることも可能である。
例えば、実施の形態2を実施の形態1に対する変形として説明したが、実施の形態3に対しても同様の変形を加えることができる。
また、実施の形態5を実施の形態1に対する変形例として説明したが、実施の形態2~4に対しても同様の変形を加えることが可能である。
また、各実施の形態の特徴を他の実施の形態の特徴と組み合わせることも可能である。
例えば、実施の形態2を実施の形態1に対する変形として説明したが、実施の形態3に対しても同様の変形を加えることができる。
また、実施の形態5を実施の形態1に対する変形例として説明したが、実施の形態2~4に対しても同様の変形を加えることが可能である。
実施の形態1~5で説明した画像処理装置2、2b、2c、2d又は2eは、その一部又は全部を処理回路で構成し得る。
例えば、画像処理装置の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。
処理回路は専用のハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアで実現するようにしても良い。
例えば、画像処理装置の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。
処理回路は専用のハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
画像処理装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアで実現するようにしても良い。
図11は、単一のプロセッサを含むコンピュータ200で上記の実施の形態の各々の画像処理装置2、2b、2c、2d又は2eのすべての機能を実現する場合の構成の一例を、熱画像センサー1、記憶装置3及び表示端末4とともに示す。
図示の例ではコンピュータ300は、プロセッサ310及びメモリ320を有する。
メモリ320又は記憶装置3には、画像処理装置の各部の機能を実現するためのプログラムが記憶されている。
メモリ320又は記憶装置3には、画像処理装置の各部の機能を実現するためのプログラムが記憶されている。
プロセッサ310は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)等を用いたものである。
メモリ320は、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)若しくはEEPROM(Electrically Erasable Programmable Read Only Memory)等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。
プロセッサ310は、メモリ320又は記憶装置3に記憶されているプログラムを実行することにより、画像処理装置の機能を実現する。プログラムが記憶装置3に記憶されている場合には、一旦メモリ320にロードした上で実行することとしても良い。
画像処理装置の機能には、上記のように表示端末4に対する表示の制御、記憶装置3に対する情報の書き込み、記憶装置3からの情報の読み出しが含まれる。
画像処理装置の機能には、上記のように表示端末4に対する表示の制御、記憶装置3に対する情報の書き込み、記憶装置3からの情報の読み出しが含まれる。
上記の処理回路は、熱画像センサー1に付随するものであっても良い。即ち、画像処理装置2、2b、2c、2d又は2eは、熱画像センサーに付随する処理回路に実装することもできる。代わりに、画像処理装置2、2b、2c、2d又は2eを、熱画像センサー1と通信網を介して接続可能なクラウドサーバ上に実装することもできる。
また、記憶装置3はクラウド上サーバ上の記憶領域であっても良い。
また、記憶装置3はクラウド上サーバ上の記憶領域であっても良い。
画像処理装置及び記憶装置の少なくとも一方は、通信携帯端末、例えばスマートフォン、リモコン内に実装されたものであっても良い。
画像処理装置を備える熱画像生成システムは、家電製品に適用されるものであっても良く、その場合には、画像処理装置及び記憶装置の少なくとも一方が、HEMS(Home Energy Management System)コントローラ内に実装されたものであっても良い。
画像処理装置を備える熱画像生成システムは、家電製品に適用されるものであっても良く、その場合には、画像処理装置及び記憶装置の少なくとも一方が、HEMS(Home Energy Management System)コントローラ内に実装されたものであっても良い。
表示端末も、通信端末、例えばスマートフォン、或いはHEMS(Home Energy Management System)コントローラに実装されたものであっても良い。
以上本発明の画像処理装置及び画像処理装置を備えた熱画像生成システムを説明した。上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。上記の画像処理装置、又は画像処理方法における処理をコンピュータに実行させるプログラム及び該プログラムを記録した、コンピュータで読取可能な記録媒体もまた本発明の一部を成す。
本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。
1 熱画像センサー、 2,2b,2c,2d,2e 画像処理装置、 3 記憶装置、 4 表示端末、 21,21b,21c,21d,21e 背景画像生成部、 22,22b,22c,22d 画像補正部、 211,211e 温度ソート部、 212,212e 特徴算出部、 213,213e 解析部、 214,214e 平均画像生成部、 215 鮮明化部、 216 骨格成分抽出部、 217,217d 閾値生成部、 221,221d 重畳部、 222 重み決定部、 223 骨格成分抽出部、 224 着色部。
Claims (16)
- 背景画像生成部と画像補正部とを有し、
前記背景画像生成部は、
熱画像センサーが同じ視野での撮像で取得した複数フレームの第1熱画像又は前記第1熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
前記第1熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
前記第1熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第1熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
前記平均画像を鮮明化した後、骨格成分を抽出することで得られた骨格画像を記憶装置に記憶させ、
前記画像補正部は、
前記熱画像センサーが、前記第1熱画像と同じ視野での撮像で取得した第2熱画像に対して、前記記憶装置に記憶された前記骨格画像を用いて補正を行うことで、補正熱画像を生成する
画像処理装置。 - 背景画像生成部と画像補正部とを有し、
前記背景画像生成部は、
熱画像センサーが同じ視野での撮像で取得した複数フレームの第1熱画像又は前記第1熱画像から生成した複数フレームのソート画像を明るさの順に並べたときに中央に位置する中間画像を特定し、
前記第1熱画像又は前記ソート画像の各々につき明るさの指標となる特徴量を算出し、
前記第1熱画像又は前記ソート画像のうち、前記中間画像との前記特徴量の差が、予め定められた差分閾値よりも小さい、複数フレームの第1熱画像又はソート画像をフレーム方向に平均化して平均画像を生成し、
前記平均画像を鮮明化することで得られた鮮明化画像を記憶装置に記憶させ、
前記画像補正部は、
前記熱画像センサーが、前記第1熱画像と同じ視野での撮像で取得した第2熱画像に対して、前記記憶装置に記憶された前記鮮明化画像から骨格成分を抽出することで得られた骨格画像を用いて補正を行うことで、補正熱画像を生成する
画像処理装置。 - 前記背景画像生成部は、
前記複数フレームの前記第1熱画像の同じ位置の画素について画素値の大きさの順位を特定し、
各々同じ順位の画素の集合により構成される複数フレームの画像を前記ソート画像として生成し、
前記ソート画像のうち、中間の順位の画素の集合により構成されるソート画像を前記中間画像と特定し、
前記複数フレームの前記ソート画像の各々について前記特徴量を算出する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記背景画像生成部は、
前記複数フレームの前記第1熱画像の各々について前記特徴量を算出し、
前記複数フレームの前記第1熱画像を、前記特徴量の大きさの順に並べたときに中央に位置する第1熱画像を前記中間画像と特定する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記画像補正部は、
前記第2熱画像と前記骨格画像とを加重加算することで前記補正熱画像を生成する
ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記画像補正部は、
前記第2熱画像に対して前記骨格画像を用いて補正を行う際に、
前記第2熱画像の画素値が重み決定用閾値以上の値の場合に、前記第2熱画像の画素値が大きいほど、前記骨格画像に対する重み付けを小さくして前記加重加算を行う
ことを特徴とする請求項5に記載の画像処理装置。 - 前記画像補正部は、前記第2熱画像に対して着色を行うことでカラー画像を生成し、前記カラー画像に対し、前記骨格画像を用いて補正を行うことで前記補正熱画像を生成する
ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記画像補正部は、
前記カラー画像を輝度成分画像と色成分画像とに変換し、
前記輝度成分画像と前記骨格画像とを加重加算することで補正輝度成分画像を生成し、
前記補正輝度成分画像と前記色成分画像とからカラー画像への変換を行うことで前記補正熱画像を生成する
ことを特徴とする請求項7に記載の画像処理装置。 - 前記画像補正部は、
前記第2熱画像を、画像分割用の高温閾値及び低温閾値を用いて高温領域、中間温領域、及び低温領域に分割し、それぞれの領域に対して着色を行い合成することで前記カラー画像を生成する
ことを特徴とする請求項7又は8に記載の画像処理装置。 - 前記画像補正部は、
前記高温領域、前記中間温領域、及び前記低温領域に互いに異なる範囲の色を割り当て、
各領域において、当該領域に割り当てられた範囲の色のうち、各画素に対して画素値に応じた色を割り当て、
前記高温領域、前記中間温領域、及び前記低温領域相互間の境界部分においては、色の変化が連続するように前記高温領域、前記中間温領域、及び前記低温領域に対する前記割り当て及び前記画素値に応じた割り当てを行う
ことを特徴とする請求項9に記載の画像処理装置。 - 前記背景画像生成部は、
前記平均画像の画素値の平均値又は中間値に前記差分閾値を加算することで得られる値を前記高温閾値として用い、
前記平均画像の画素値の平均値又は中間値から前記差分閾値を減算することで得られる値を前記低温閾値として用いる
ことを特徴とする請求項9又は10に記載の画像処理装置。 - 前記熱画像センサーに付随する処理回路に実装される
ことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。 - 前記熱画像センサーと通信網を介して接続可能なクラウドサーバ上に実装される
ことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。 - 請求項1から13のいずれか1項の画像処理装置と、前記熱画像センサーと前記記憶装置とを備えた熱画像生成システム。
- 請求項1から13のいずれか1項に記載の画像処理装置における処理をコンピュータに実行させるためのプログラム。
- 請求項15に記載のプログラムを記録した、コンピュータで読取可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/009680 WO2020183565A1 (ja) | 2019-03-11 | 2019-03-11 | 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020183565A1 JPWO2020183565A1 (ja) | 2021-10-28 |
JP7076627B2 true JP7076627B2 (ja) | 2022-05-27 |
Family
ID=72426176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021504639A Active JP7076627B2 (ja) | 2019-03-11 | 2019-03-11 | 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11861847B2 (ja) |
JP (1) | JP7076627B2 (ja) |
SE (1) | SE2151025A2 (ja) |
WO (1) | WO2020183565A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023089723A1 (ja) * | 2021-11-18 | 2023-05-25 | 三菱電機株式会社 | 検温システム、検温装置、検温方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4192896B2 (ja) | 2005-01-27 | 2008-12-10 | トヨタ自動車株式会社 | ハイブリッド車両 |
JP2013229706A (ja) | 2012-04-25 | 2013-11-07 | Sony Corp | 画像取得装置、画像取得方法、および画像取得プログラム |
JP2018129672A (ja) | 2017-02-08 | 2018-08-16 | パナソニックIpマネジメント株式会社 | 動体監視装置および動体監視システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04192896A (ja) * | 1990-11-27 | 1992-07-13 | Mitsubishi Electric Corp | 赤外線撮像装置 |
JP2004320077A (ja) | 2002-12-03 | 2004-11-11 | Make Softwear:Kk | 写真プリント提供装置および方法ならびにプリント用紙ユニット |
JP5446847B2 (ja) | 2009-12-25 | 2014-03-19 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
JP5653082B2 (ja) * | 2010-06-18 | 2015-01-14 | Hoya株式会社 | 電子内視鏡用の動画像強調処理システムおよび同システムの作動方法 |
US10116884B2 (en) * | 2015-04-05 | 2018-10-30 | Hema Imaging Llc | Systems and approaches for thermal imaging |
WO2017120384A1 (en) * | 2016-01-08 | 2017-07-13 | Flir Systems, Inc. | Thermal-image based object detection and heat map generation systems and methods |
CN111445487B (zh) * | 2020-03-26 | 2023-06-02 | 深圳数联天下智能科技有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
CN112379231B (zh) * | 2020-11-12 | 2022-06-03 | 国网浙江省电力有限公司信息通信分公司 | 一种基于多光谱图像的设备检测方法及装置 |
-
2019
- 2019-03-11 US US17/435,396 patent/US11861847B2/en active Active
- 2019-03-11 JP JP2021504639A patent/JP7076627B2/ja active Active
- 2019-03-11 SE SE2151025A patent/SE2151025A2/en unknown
- 2019-03-11 WO PCT/JP2019/009680 patent/WO2020183565A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4192896B2 (ja) | 2005-01-27 | 2008-12-10 | トヨタ自動車株式会社 | ハイブリッド車両 |
JP2013229706A (ja) | 2012-04-25 | 2013-11-07 | Sony Corp | 画像取得装置、画像取得方法、および画像取得プログラム |
JP2018129672A (ja) | 2017-02-08 | 2018-08-16 | パナソニックIpマネジメント株式会社 | 動体監視装置および動体監視システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020183565A1 (ja) | 2021-10-28 |
SE2151025A1 (en) | 2021-08-27 |
SE2151025A2 (en) | 2023-04-18 |
US11861847B2 (en) | 2024-01-02 |
US20220148192A1 (en) | 2022-05-12 |
WO2020183565A1 (ja) | 2020-09-17 |
SE544734C2 (en) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4208909B2 (ja) | 画像処理装置と撮影装置 | |
US9852499B2 (en) | Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification | |
EP2624204B1 (en) | Image processing apparatus and method of controlling the same | |
US20180097992A1 (en) | Global Tone Mapping | |
CN109804619B (zh) | 图像处理装置、图像处理方法和摄影装置 | |
US20160093034A1 (en) | Contrast Based Image Fusion | |
US20100085361A1 (en) | Apparatus and method for enhancing images in consideration of region characteristics | |
WO2006064913A1 (ja) | 画像処理方法 | |
JPWO2006134923A1 (ja) | 画像処理装置、コンピュータプログラム製品および画像処理方法 | |
US20130329991A1 (en) | Image processing apparatus and image processing method | |
JP5648849B2 (ja) | 画像処理装置、画像処理方法 | |
JP7076627B2 (ja) | 画像処理装置及び熱画像生成システム、並びにプログラム及び記録媒体 | |
US20150365643A1 (en) | Method of color processing using a color and white filter array | |
KR101349968B1 (ko) | 자동 영상보정을 위한 영상 처리 장치 및 방법 | |
CN114841904A (zh) | 图像融合方法、电子设备及存储装置 | |
JP2005025448A (ja) | 信号処理装置、信号処理プログラム、および電子カメラ | |
KR102644899B1 (ko) | 공간적으로 다중화된 노출 | |
JP4359662B2 (ja) | カラー画像の露出補正方法 | |
KR101462440B1 (ko) | 색 보정 장치 및 색 보정 방법 | |
US11153467B2 (en) | Image processing | |
JP6276564B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5050141B2 (ja) | カラー画像の露出評価方法 | |
Kang et al. | Bayer patterned high dynamic range image reconstruction using adaptive weighting function | |
JP7203441B2 (ja) | 画像生成装置及び撮像装置 | |
JP6497822B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7076627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |