JP6911859B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6911859B2 JP6911859B2 JP2018527390A JP2018527390A JP6911859B2 JP 6911859 B2 JP6911859 B2 JP 6911859B2 JP 2018527390 A JP2018527390 A JP 2018527390A JP 2018527390 A JP2018527390 A JP 2018527390A JP 6911859 B2 JP6911859 B2 JP 6911859B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- far
- infrared
- target
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 149
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000004308 accommodation Effects 0.000 claims description 108
- 230000008859 change Effects 0.000 claims description 63
- 238000000605 extraction Methods 0.000 claims description 38
- 239000000284 extract Substances 0.000 claims description 22
- 230000007423 decrease Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 description 86
- 238000012937 correction Methods 0.000 description 82
- 238000000034 method Methods 0.000 description 78
- 238000010606 normalization Methods 0.000 description 55
- 238000004364 calculation method Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 46
- 238000006243 chemical reaction Methods 0.000 description 31
- 239000002131 composite material Substances 0.000 description 17
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000011410 subtraction method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000012447 hatching Effects 0.000 description 4
- 230000004297 night vision Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000005457 Black-body radiation Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012886 linear function Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Radiation Pyrometers (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Image Analysis (AREA)
Description
1.導入
2.画像処理装置
2−1.ハードウェア構成
2−2.機能構成
2−3.動作
3.変形例
3−1.フレーム間差分法の概要
3−2.機能構成
3−3.動作
4.まとめ
図1は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図1の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。0.7μm以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外(NIR)領域であり、NIR領域に属する赤外線を近赤外線という。NIR領域の波長の上限は、定義に依存して異なるものの、2.5μmから4.0μmの間にあるとされることが多い。NIR領域のうち相対的に波長の長い部分は、短波長赤外(SWIR)領域と呼ばれることもある。近赤外線は、例えば、暗視(night vision)、透視、光通信及び測距のために利用され得る。近赤外画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。NIR領域に長波長側で隣接する波長領域は遠赤外(FIR)領域であり、FIR領域に属する赤外線を遠赤外線という。FIR領域のうち相対的に波長の短い部分は、中波長赤外(MWIR)領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより遠赤外画像を生成することができる。なお、図1に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。
続いて、図4〜図12を参照して、本開示の実施形態に係る画像処理装置1について説明する。
まず、図4及び図5を参照して、本実施形態に係る画像処理装置1のハードウェア構成について説明する。
赤外線カメラ102は、赤外線を利用した撮像を行い、非カラー画像である赤外線画像を得る撮像モジュールである。赤外線カメラ102は、本開示に係る撮像部に相当する。赤外線カメラ102は、具体的には、FIR領域に属する波長を有する遠赤外線を感知する撮像素子の配列を有しており、遠赤外画像を撮像する。赤外線カメラ102は、例えば、一定の時間間隔で遠赤外画像を撮像する。また、赤外線カメラ102により得られる一連の遠赤外画像は、映像を構成してもよい。
入力インタフェース104は、ユーザが画像処理装置1を操作し又は画像処理装置1へ情報を入力するために使用される。例えば、入力インタフェース104は、タッチセンサ、キーボード、キーパッド、ボタン、又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース104は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース104は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
メモリ106は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み得る記憶媒体である。メモリ106は、プロセッサ114に連結され、プロセッサ114により実行される処理のためのプログラム及びデータを記憶する。
ディスプレイ108は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ108は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)、又はCRT(Cathode Ray Tube)などであってもよい。
通信インタフェース110は、画像処理装置1と他の装置との間の通信を仲介するモジュールである。通信インタフェース110は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。
ストレージ112は、赤外線画像データを蓄積し又は画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ112は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置1の外部のデータソース(例えば、データサーバ、ネットワークストレージ、又は外付けメモリなど)から取得されてもよい。
プロセッサ114は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などの処理モジュールである。プロセッサ114は、メモリ106又は他の記憶媒体に記憶されるプログラムを実行することにより、遠赤外画像について対象領域を精度良く抽出することを可能とするための機能を動作させる。
バス116は、赤外線カメラ102、入力インタフェース104、メモリ106、ディスプレイ108、通信インタフェース110、ストレージ112、及びプロセッサ114を相互に接続する。
続いて、図6〜図11を参照して、本実施形態に係る画像処理装置1の機能構成について説明する。
シャッタ補正部140は、赤外線カメラ102によって撮像された開画像を、閉画像に基づいて補正するシャッタ補正を実行し、シャッタ補正後の開画像を背景画像更新部150へ出力する。シャッタ補正部140は、本開示に係る補正部に相当する。シャッタ補正部140は、具体的には、閉画像の画素値により開画像の画素値を補正することによって、当該開画像を補正する。シャッタ補正部140は、例えば、開画像の画素値から、閉画像の画素値を減算することによって、当該開画像を補正する。具体的には、シャッタ補正部140は、開画像の各画素について、閉画像の対応する画素の画素値を減算することによって、当該開画像を補正する。このようなシャッタ補正を実行することによって、上述したように、被写体以外からの赤外線エネルギの入射によるボロメータ102fの温度の変動に起因する画素値の変動を部分的に抑制することができる。シャッタ補正において用いられる閉画像は、記憶部160に記憶される。
背景画像更新部150は、赤外線カメラ102によって撮像された開画像である遠赤外画像が背景画像である場合に、記憶部160に記憶されている背景画像をシャッタ補正部140から入力されたシャッタ補正後の当該遠赤外画像へ更新する。なお、画像処理装置1は、赤外線カメラ102によって開画像である遠赤外画像が撮像されたときに、当該遠赤外画像に対応するフレームが背景画像に対応するフレームであるか否かを示す情報を生成し得る。それにより、画像処理装置1における各機能部は、シャッタ補正部140から入力された遠赤外画像が背景画像であるか対象画像であるかを判定し得る。
記憶部160は、画像処理装置1が行う各処理において参照されるデータを記憶する。例えば、記憶部160は、シャッタ補正部140が行うシャッタ補正処理において用いられる、直近に撮像された閉画像を記憶する。また、記憶部160は、背景差分処理部170が行う背景差分法を用いた対象領域の抽出処理において用いられる、直近に撮像された背景画像及び関数Fに関する情報を記憶する。
背景差分処理部170は、背景差分法を用いて、対象画像における対象物が映る対象領域を抽出する。背景差分処理部170は、図6に示したように、カウンタ算出部171と、画素値変換部173と、減算部175と、2値化部177と、を含む。
続いて、図12を参照して、本実施形態に係る画像処理装置1が行う処理の流れについて説明する。図12は、本実施形態に係る画像処理装置1が行う処理の流れの一例を示すフローチャートである。図12に示した処理は、例えば、各フレームについて、実行され得る。
続いて、図13〜図15を参照して、変形例に係る画像処理装置2について説明する。変形例に係る画像処理装置2は、本実施形態に係る画像処理装置1と異なり、フレーム間差分法を用いて、対象画像における対象物が映る対象領域を抽出する。
まず、変形例に係る画像処理装置2の詳細についての説明に先立って、図13を参照して、フレーム間差分法の概要について説明する。図13は、フレーム間差分法の概要について説明するための説明図である。図13では、フレーム間差分法における各処理の前後における遠赤外画像が示されている。
続いて、図14を参照して、変形例に係る画像処理装置2の機能構成について説明する。変形例に係る画像処理装置2のハードウェア構成は、図4を参照して説明した画像処理装置1のハードウェア構成と同様であってもよい。図14は、そのような画像処理装置2の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。図14に示したように、画像処理装置2は、記憶部260と、フレーム間差分処理部270と、を備える。
記憶部260は、画像処理装置2が行う各処理において参照されるデータを記憶する。例えば、記憶部260は、フレーム間差分処理部270が行うフレーム間差分法を用いた対象領域の抽出処理において用いられる、赤外線カメラ102によって撮像された遠赤外画像を記憶する。
フレーム間差分処理部270は、フレーム間差分法を用いて、対象画像における対象物が映る対象領域を抽出する。フレーム間差分処理部270は、図14に示したように、第1統計量算出部271a、第2統計量算出部271b、及び第3統計量算出部271cと、係数算出部273と、第1正規化部275a、第2正規化部275b、及び第3正規化部275cと、第1減算部277a及び第2減算部277bと、合成部278と、2値化部279と、を含む。
続いて、図15を参照して、変形例に係る画像処理装置2が行う処理の流れについて説明する。図15は、変形例に係る画像処理装置2が行う処理の流れの一例を示すフローチャートである。図15に示した処理は、例えば、各フレームについて、実行され得る。
以上説明したように、本開示の実施形態によれば、画素値変換部173は、対象物を含まない背景が映る遠赤外画像である背景画像及び当該対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルとしての関数Fに基づいて、調整する。それにより、画素値変換部173は、背景画像及び対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射によるボロメータ102fの温度の変動に起因する画素値の変動を補完するように、背景画像及び対象画像のいずれか一方を調整することができる。それにより、背景画像において背景が映る領域における画素値と、対象画像において背景が映る領域における画素値を略一致させることができる。ゆえに、背景画像及び対象画像の比較結果の精度を向上させることができる。また、本開示の実施形態によれば、減算部175及び2値化部177は、画素値変換部173による調整の後に、背景画像及び対象画像の比較結果に基づいて、対象画像において対象物が映る対象領域を抽出する。よって、対象領域を精度良く抽出することができる。
(1)
対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整する調整部と、
前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出する抽出部と、
を備える、画像処理装置。
(2)
前記背景画像及び前記対象画像の撮像に用いられる撮像素子が収容される収容空間は、一時的に閉鎖され得るように設けられ、
前記調整部は、前記収容空間が一時的に閉鎖された後における時間を前記時間変化モデルに適用して、前記背景画像及び前記対象画像のいずれか一方を調整する、
前記(1)に記載の画像処理装置。
(3)
前記画像処理装置は、前記収容空間が一時的に閉鎖された状態で撮像された遠赤外画像である閉画像の画素値により、前記収容空間が一時的に閉鎖された後に開放された状態で撮像された遠赤外画像である開画像の画素値を、補正することによって、前記開画像を補正する補正部を備える、前記(2)に記載の画像処理装置。
(4)
前記時間変化モデルでは、前記撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する時間変化が規定されている、前記(2)又は(3)に記載の画像処理装置。
(5)
前記時間変化モデルでは、前記収容空間内の温度及び前記収容空間外の温度に基づいて、前記時間変化が規定されている、前記(4)に記載の画像処理装置。
(6)
前記時間変化モデルでは、前記収容空間内の温度が前記収容空間外の温度より高い場合において、前記撮像素子によって撮像される遠赤外画像の画素値のモデル値が、時間の経過に伴って上昇した後に低下するように、前記時間変化が規定されている、前記(5)に記載の画像処理装置。
(7)
前記時間変化モデルでは、前記収容空間内の温度が比較的高い場合において、前記モデル値の時間変化率が、前記収容空間内の温度が比較的低い場合と比較して、小さくなるように、前記時間変化が規定されている、前記(6)に記載の画像処理装置。
(8)
前記時間変化モデルでは、前記収容空間外の温度が比較的高い場合において、前記モデル値が低下し始める時刻が、前記収容空間外の温度が比較的低い場合と比較して、早くなるように、前記時間変化が規定されている、前記(6)又は(7)に記載の画像処理装置。
(9)
前記時間変化モデルでは、前記収容空間内の温度が前記収容空間外の温度より低い場合において、前記モデル値が、時間の経過に伴って低下した後に上昇するように、前記時間変化が規定されている、前記(6)〜(8)のいずれか一項に記載の画像処理装置。
(10)
前記調整部は、前記背景画像及び前記対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する画素値の変動を補完するように、前記背景画像及び前記対象画像のいずれか一方を調整する、前記(4)〜(9)のいずれか一項に記載の画像処理装置。
(11)
遠赤外画像を撮像可能であり、前記撮像素子を有する撮像部を備える、前記(2)〜(10)のいずれか一項に記載の画像処理装置。
(12)
前記撮像部は、前記撮像素子が収容される空間を一時的に閉鎖可能なシャッタを備える、前記(11)に記載の、画像処理装置。
(13)
前記撮像素子は、ボロメータを含む、前記(2)〜(12)のいずれか一項に記載の画像処理装置。
(14)
前記抽出部は、前記調整の後に、前記背景画像及び前記対象画像の画素値を比較することによって、前記対象領域を抽出する、前記(1)〜(13)のいずれか一項に記載の画像処理装置。
(15)
前記抽出部は、前記調整の後に、前記背景画像における画素値の確率密度関数を生成し、前記確率密度関数に基づいて前記背景画像と前記対象画像とを比較することによって、前記対象領域を抽出する、前記(1)〜(13)のいずれか一項に記載の画像処理装置。
(16)
画像処理装置によって、対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整することと、
前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出することと、
を含む、画像処理方法。
(17)
対象物が映る遠赤外画像である対象画像及び前記対象画像において前記対象物が映る対象領域を抽出するための参照画像のうち少なくとも一方を、前記参照画像及び前記対象画像の撮像に用いられる撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する、時間変化に関連する情報に基づいて、調整する調整部と、
前記調整の後に、前記参照画像及び前記対象画像の比較結果に基づいて、前記対象領域を抽出する抽出部と、
を備える、画像処理装置。
102 赤外線カメラ
102a 筐体
102b 第1レンズ
102c 第2レンズ
102d 透光部
102e カバー部
102f ボロメータ
102g シャッタ
102h 外部センサ
102s 内部センサ
104 入力インタフェース
106 メモリ
108 ディスプレイ
110 通信インタフェース
112 ストレージ
114 プロセッサ
116 バス
140 シャッタ補正部
150 背景画像更新部
160 記憶部
170 背景差分処理部
171 カウンタ算出部
173 画素値変換部
175 減算部
177 2値化部
260 記憶部
270 フレーム間差分処理部
271a 第1統計量算出部
271b 第2統計量算出部
271c 第3統計量算出部
273 係数算出部
275a 第1正規化部
275b 第2正規化部
275c 第3正規化部
277a 第1減算部
277b 第2減算部
278 合成部
279 2値化部
Claims (12)
- 対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整する調整部と、
前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出する抽出部と、
を備え、
前記背景画像及び前記対象画像の撮像に用いられる撮像素子が収容される収容空間は、一時的に閉鎖され得るように設けられ、
前記調整部は、前記収容空間が一時的に閉鎖された後における時間を前記時間変化モデルに適用して、前記背景画像及び前記対象画像のいずれか一方を調整し、
前記時間変化モデルでは、前記撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する時間変化が規定され、前記収容空間内の温度及び前記収容空間外の温度に基づいて、前記時間変化が規定されている、
画像処理装置。 - 前記時間変化モデルでは、前記収容空間内の温度が前記収容空間外の温度より高い場合において、前記撮像素子によって撮像される遠赤外画像の画素値のモデル値が、時間の経過に伴って上昇した後に低下するように、前記時間変化が規定されている、請求項1に記載の画像処理装置。
- 前記時間変化モデルでは、前記収容空間内の温度が比較的高い場合において、前記モデル値の時間変化率が、前記収容空間内の温度が比較的低い場合と比較して、小さくなるように、前記時間変化が規定されている、請求項2に記載の画像処理装置。
- 前記時間変化モデルでは、前記収容空間外の温度が比較的高い場合において、前記モデル値が低下し始める時刻が、前記収容空間外の温度が比較的低い場合と比較して、早くなるように、前記時間変化が規定されている、請求項2に記載の画像処理装置。
- 前記時間変化モデルでは、前記収容空間内の温度が前記収容空間外の温度より低い場合において、前記モデル値が、時間の経過に伴って低下した後に上昇するように、前記時間変化が規定されている、請求項2に記載の画像処理装置。
- 前記調整部は、前記背景画像及び前記対象画像が撮像されたそれぞれの時刻の間における被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する画素値の変動を補完するように、前記背景画像及び前記対象画像のいずれか一方を調整する、請求項1に記載の画像処理装置。
- 遠赤外画像を撮像可能であり、前記撮像素子を有する撮像部を備える、請求項1に記載の画像処理装置。
- 前記撮像部は、前記撮像素子が収容される空間を一時的に閉鎖可能なシャッタを備える、請求項7に記載の、画像処理装置。
- 前記撮像素子は、ボロメータを含む、請求項1に記載の画像処理装置。
- 前記抽出部は、前記調整の後に、前記背景画像及び前記対象画像の画素値を比較することによって、前記対象領域を抽出する、請求項1に記載の画像処理装置。
- 前記抽出部は、前記調整の後に、前記背景画像における画素値の確率密度関数を生成し、前記確率密度関数に基づいて前記背景画像と前記対象画像とを比較することによって、前記対象領域を抽出する、請求項1に記載の画像処理装置。
- 画像処理装置によって、対象物を含まない背景が映る遠赤外画像である背景画像及び前記対象物が映る遠赤外画像である対象画像のいずれか一方を、観測画素値の時間変化モデルに基づいて、調整することと、
前記調整の後に、前記背景画像及び前記対象画像の比較結果に基づいて、前記対象画像において前記対象物が映る対象領域を抽出することと、
を含み、
前記背景画像及び前記対象画像の撮像に用いられる撮像素子が収容される収容空間は、一時的に閉鎖され得るように設けられ、
前記収容空間が一時的に閉鎖された後における時間を前記時間変化モデルに適用して、前記背景画像及び前記対象画像のいずれか一方を調整し、
前記時間変化モデルでは、前記撮像素子によって撮像される遠赤外画像の画素値の、被写体以外からの赤外線エネルギの入射による前記撮像素子の温度の変動に起因する時間変化が規定され、前記収容空間内の温度及び前記収容空間外の温度に基づいて、前記時間変化が規定されている、
画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016139427 | 2016-07-14 | ||
JP2016139427 | 2016-07-14 | ||
PCT/JP2017/013487 WO2018012050A1 (ja) | 2016-07-14 | 2017-03-30 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018012050A1 JPWO2018012050A1 (ja) | 2019-05-16 |
JP6911859B2 true JP6911859B2 (ja) | 2021-07-28 |
Family
ID=60952936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018527390A Active JP6911859B2 (ja) | 2016-07-14 | 2017-03-30 | 画像処理装置及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10868978B2 (ja) |
EP (1) | EP3486869B1 (ja) |
JP (1) | JP6911859B2 (ja) |
WO (1) | WO2018012050A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10868978B2 (en) * | 2016-07-14 | 2020-12-15 | Sony Corporation | Image processing device and image processing method |
TWI689892B (zh) * | 2018-05-18 | 2020-04-01 | 瑞昱半導體股份有限公司 | 基於前景影像的背景虛化方法與電子裝置 |
JP2020038912A (ja) * | 2018-09-05 | 2020-03-12 | 株式会社ディスコ | ウェーハ認識方法 |
EP3985367A4 (en) * | 2019-06-12 | 2022-07-06 | Mitsubishi Electric Corporation | INFRARED IMAGING DEVICE |
EP4116684A4 (en) * | 2020-06-10 | 2023-09-27 | Panasonic Intellectual Property Management Co., Ltd. | THERMOGRAPHIC CAMERA CONTROL METHOD AND THERMOGRAPHIC CAMERA CONTROL DEVICE |
CN111988539B (zh) * | 2020-07-27 | 2023-06-02 | 上海集成电路研发中心有限公司 | 一种红外探测器合并结构及其合并方法 |
JP7190478B2 (ja) * | 2020-09-04 | 2022-12-15 | インフィニテグラ株式会社 | 赤外線撮像方法および装置 |
US11941886B2 (en) * | 2021-07-27 | 2024-03-26 | Pixart Imaging Inc. | Object detection method and camera apparatus |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268440A (ja) * | 2000-03-23 | 2001-09-28 | Toshiba Corp | 赤外線撮像装置 |
JP4792069B2 (ja) | 2008-09-03 | 2011-10-12 | 株式会社日立製作所 | 画像認識装置 |
JP2010262422A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Ceramic Co Ltd | 赤外線異常検知装置 |
US9930324B2 (en) * | 2014-08-05 | 2018-03-27 | Seek Thermal, Inc. | Time based offset correction for imaging systems |
US10868978B2 (en) * | 2016-07-14 | 2020-12-15 | Sony Corporation | Image processing device and image processing method |
US10880498B2 (en) * | 2017-03-08 | 2020-12-29 | Sony Corporation | Image processing apparatus and image processing method to improve quality of a low-quality image |
-
2017
- 2017-03-30 US US16/314,987 patent/US10868978B2/en active Active
- 2017-03-30 EP EP17827184.7A patent/EP3486869B1/en active Active
- 2017-03-30 WO PCT/JP2017/013487 patent/WO2018012050A1/ja unknown
- 2017-03-30 JP JP2018527390A patent/JP6911859B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3486869A1 (en) | 2019-05-22 |
EP3486869B1 (en) | 2020-06-03 |
JPWO2018012050A1 (ja) | 2019-05-16 |
EP3486869A4 (en) | 2019-05-29 |
US10868978B2 (en) | 2020-12-15 |
WO2018012050A1 (ja) | 2018-01-18 |
US20190313035A1 (en) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6911859B2 (ja) | 画像処理装置及び画像処理方法 | |
US10462388B2 (en) | Method of shutterless non-uniformity correction for infrared imagers | |
KR102555362B1 (ko) | 자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라 | |
CN108353128B (zh) | 摄像系统以及对象检测装置及其工作方法 | |
CN204967995U (zh) | 用于机柜的监测系统 | |
US20120169866A1 (en) | Thermal imager with non-uniformity correction | |
US20200099825A1 (en) | Error smoothing through global source non-uniformity correction | |
US20150358557A1 (en) | Thermal recognition systems and methods | |
US10803595B2 (en) | Thermal-image based object detection and heat map generation systems and methods | |
US20110169960A1 (en) | Video enhancement system | |
KR102219364B1 (ko) | 영상감지장치 기반의 버스정류장 조명제어 시스템 | |
US20200296301A1 (en) | Image processing arrangement | |
JP6361500B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101410215B1 (ko) | 차량용 객체 검출 장치 및 이의 방법 | |
KR20230017800A (ko) | 상승된 온도 선별검사 시스템 및 방법 | |
JP7272626B2 (ja) | 照合システム、照合方法およびカメラ装置 | |
JP2011122802A (ja) | 空調制御装置、空調制御方法及び輻射温度計測装置 | |
CN113432723A (zh) | 用于弱化杂散辐射的图像处理方法、系统及计算机系统 | |
JP6673223B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN110553739B (zh) | 一种红外热成像的无挡片非均匀性校正方法 | |
CN204996085U (zh) | 确定高尔夫球场上距离的设备、系统及旗杆 | |
US11252344B2 (en) | Method and system for generating multiple synchronized thermal video streams for automotive safety and driving systems | |
JP4889225B2 (ja) | 電子カメラ | |
CN105827992A (zh) | 一种红外自动打快门系统及方法 | |
KR101918761B1 (ko) | 적외선 열상 검출기의 불량 화소 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210621 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6911859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |