JP6602731B2 - 熱画像内の局所コントラストを強調する方法及び装置 - Google Patents

熱画像内の局所コントラストを強調する方法及び装置 Download PDF

Info

Publication number
JP6602731B2
JP6602731B2 JP2016162447A JP2016162447A JP6602731B2 JP 6602731 B2 JP6602731 B2 JP 6602731B2 JP 2016162447 A JP2016162447 A JP 2016162447A JP 2016162447 A JP2016162447 A JP 2016162447A JP 6602731 B2 JP6602731 B2 JP 6602731B2
Authority
JP
Japan
Prior art keywords
thermal
thermal image
range
class
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016162447A
Other languages
English (en)
Other versions
JP2017096915A (ja
Inventor
トマス ウィンツェル,
エマヌエル ヨハンソン,
マッツ バイランデール,
イェスパー ベンツソン,
Original Assignee
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー filed Critical アクシス アーベー
Publication of JP2017096915A publication Critical patent/JP2017096915A/ja
Application granted granted Critical
Publication of JP6602731B2 publication Critical patent/JP6602731B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、熱画像内の局所コントラストの強調に関する。
絶対0度を超える温度を有する全ての物体は、熱エネルギーを放出し、放出の強度は該物体の温度に依存することが知られている。原則として、物体の温度が高くなるほど、該物体からの熱放出の強度は強くなる。
熱画像システムは、あるシーンの熱画像または熱映像を生成する目的で、検出された熱エネルギーを電気エネルギーに変換することによって該シーン内の熱の差異を可視化するために、マイクロボロメータといった熱センサ利用する。したがって、熱画像システムは、例えば人間といった温かい物体が、より冷たい背景に対して際立っているといった、熱画像を提供し得る。さらに、熱画像システムは、あるシーンの中の物体が、該シーンに照明があってもなくても検出され得るので、可視光を利用した画像システムに比べて使用するのに有利である。さらに熱画像システムは、シーンに影や逆光が存在するといった、複雑な光条件に付随する問題を緩和し得る。したがって、熱画像システムは、昼間及び夜間の監視の用途に頻繁に使用されている。
しかし、あるシーンにおける、例えば人間といった関心対象物の検出及び/または識別は、実現するのに問題が多い可能性がある。あるシーンの中の物体(複数)の温度の広がり具合が大きいことによって、コントラストが低減し得、例えば関心対象物がその背景と同様の温度を有している場合のように、あるシーン内の関心対象物と、同様の熱放出を有する他の物体との区別が困難になる。
熱画像システム内で、熱画像の表示に先立って熱データのダイナミックレンジを低減することは、関心対象物の検出性をさらに低減させ得る。したがって、熱画像システムの検出性を改善する必要が存在する。
あるクラスの物体の熱画像内の局所コントラストを強調することが、本発明の目的である。あるクラスの物体の熱特性を利用した方法及び装置によって、簡素で効率的で信頼性の高い、熱画像内の該クラスの物体の局所コントラストの強調が提供される。
本発明の第1の態様によると、熱特性を有するあるクラスの物体用に、熱画像内の局所コントラストを強調する方法であって、絶対較正された熱画像システムによって捕捉された熱画像データを提供することと、既定の再分布関数を用いて第1の強度分布を有する熱画像データを第2の強度分布に再分布することとを含み、該既定の再分布関数が熱特性に基づき、それによって該クラスの物体の局所コントラストが強調され、再分布された熱画像データが熱画像として出力される、方法を提供することによって、この目的及び他の目的が達成される。
熱画像データの強度分布は、該熱画像データの再分布によって、熱特性を有するクラスの物体の局所コントラストが強調されるように変更され得る。それによって、熱画像データは、該クラスの物体の熱特性に関する強度を強調する強度分布が提供されるように、再分布され得る。言い換えれば、所与のクラスの物体の熱特性を用いることによって、熱画像内の該クラスの物体の検出性の増大が獲得される。
該クラスの物体の熱特性に基づく既定の再分布関数を用いることによって、熱画像内の局所コントラストを強調する効率的な方法が提供される。リアルタイムで使用され得る方法が、さらに提供される。方法は、例えば、ビデオシーケンスの一部を形成し得る、連続した熱画像のシーケンスに使用され得る。
絶対較正された熱画像システムの使用によって、あるシーン内のある物体の所与の温度を、熱画像データ内の所与の強度に関連付けることが可能になる。言い換えれば、ある物体の所与の温度が、熱画像データのダイナミックレンジの中の所与の値または所与の区間に変換される。これによって、熱画像データの簡潔な再分布が達成され得る。
用語「熱画像システム」は、熱画像を捕捉するように適合されたシステムとして理解されるべきである。例えば、熱画像システムは、熱画像を捕捉する装置を備え得る。熱画像システムは、熱画像を表示するように用意されたディスプレイをさらに備え得る。熱画像を捕捉するための装置は、サーマルカメラまたは赤外線カメラと呼ばれ得る。
用語「コントラスト」は、色の差異、例えばグレースケールといった色の色調の差異、または熱画像の色表現の部分間の差異として理解されるべきである。用語「局所コントラスト」は、ある画像の所与のエリア内の異なる特性間の強度の差異として、さらに理解され得る。該エリアは、熱画像全体、または熱画像の一部分であり得る。
用語「熱特性」は、あるクラスの物体に関する、所与の熱放射の放出といった、特徴的な性質または品質のこととして解釈されるべきである。言い換えれば、熱特性は、熱画像中の人間、動物または他のタイプの物体といった、あるクラスの物体を区別する助けとなる特質または特徴として理解され得る。
用語「再分布関数」は、本明細書においては、熱画像データの強度分布を変更するために、該熱画像データに適用され得る関数として理解されるべきである。これによって、熱画像データは、所望の分布を得るために再分布されてよい。言い換えれば、再分布関数は、画像が所望の分布を得るように強度値を変えることによって、該画像のダイナミックレンジ及び/またはコントラストを変更する技法として解釈されるべきである。
用語「較正された」は、検出された熱放射強度と、あるクラスの物体の温度とを結び付けること、としてさらに理解されるべきである。熱画像システムは、全温度範囲の少なくとも一部において絶対較正されていてよく、該一部は該クラスの物体の熱特性を含んでいてよい。代替方法では、熱画像システムの全温度範囲が絶対較正されていてよい。
再分布関数は、熱画像の、該クラスの物体に関する部分内で局所コントラストが強調されるように用意されてよい。該クラスの物体用の局所コントラストは、さらに、該クラスの物体の特性の識別の改善が達成され得るように強調されてよい。
第1の強度分布は、第1のダイナミックレンジを有し得、再分布は、第1のダイナミックレンジよりも小さい第2のダイナミックレンジを第2の強度分布が有するように、熱画像データを変えることをさらに含む。熱画像データの変更は、例えば、熱画像データの歪み調整、ゲイン調整、オフセット調整、及び/またはシフト調整を含み得る。
用語「ダイナミックレンジ」は、本明細書では、可能最大値と可能最小値の間の比率として理解されるべきである。これらの値は、熱画像のピクセルマトリクスで表され得る。これらの値は、グレースケールといった、可変量のレベルを表し得る。
熱画像データの変更は、該熱画像データが再分布された後に実施され得る。熱特性を有する該クラスの物体に関する情報の損失は、これによって、ダイナミックレンジが縮小するにつれて軽減され得る。該クラスの物体の熱特性に関する再分布された熱画像データの少なくとも一部は、これによって、該熱画像内に効率的に提示され得る。
熱特性は、熱範囲または熱価であり得る。言い換えれば、関心対象物に関する温度または温度範囲は、これによって、再分布関数のベースとして用いられ得る。こうして、熱放出に基づいてあるクラスの物体の熱画像内の局所コントラストを強調し得る、簡潔で効率的な方法が提供される。
再分布関数は、熱範囲または熱価に対して中央配置されても既定のオフセットがなされてもよい。熱画像データの再分布は、これによって、該クラスの物体に関する熱範囲または熱価において効率的に実施され得る。該熱範囲または該熱価における、またはその周辺の局所コントラストは、これによって、該クラスの物体に関して強調され得る。
代替方法では、熱画像データの再分布は、熱範囲または熱価への既定のオフセットを考慮に入れてよい。該クラスの物体の知覚された温度に影響し得る、天候の変化といった環境変化は、これによって考慮に入れられ得る。こうして、シーンにおける環境が変化したとしても、該熱範囲における、またはその周辺の、強調された局所コントラストが得られてよい。
再分布関数は、絶対較正された熱画像システムによって熱画像データが捕捉される前に、既定であってよい。したがって、熱画像の捕捉に先立って既知であった、あるクラスの物体の熱特性に関する知識が、該クラスの物体の熱画像内の局所コントラストを強調するために用いられ得る。熱画像内の該クラスの物体の検出性の改善を提供する簡潔で信頼性の高い方法が、これによって提供される。
再分布関数は、熱範囲または熱価に対して中央配置されても既定のオフセットがなされてもよく、中央配置とオフセットは第1の強度分布に基づく。例えば、第1の熱画像の、第1の強度分布内である背景または物体からの熱放出は、これによって、補償され得る。
熱画像データは、ヒストグラムとして表され得る。
絶対較正は、温度対強度の較正であり得る。
再分布関数は、ヒストグラム平坦化関数であり得る。ヒストグラム平坦化関数は、例えば、変換関数を形成するための熱特性に関する熱画像データ及び情報を含む、累積、即ち合計ヒストグラムを用いて、熱画像データ、即ちピクセル強度値を、均等に再分し得る。当業者は、ヒストグラム平坦化関数は、種々の形態であり得ることを理解している。
方法は、連続した熱画像を捕捉する前に、絶対較正された熱画像システムによって第1の熱画像に対して実施され得る。これによって、方法は、ビデオストリーム内のようなリアルタイムのイメージングを可能にする。
本発明の第2の態様による、装置が提供される。本装置は、絶対較正された熱画像システムによって捕捉された熱画像データを保存し、熱特性に基づく既定の再分布関数を保存するように用意されたメモリと、該既定の再分布関数を用いて、該クラスの物体の局所コントラストが強調されるように、第1の強度分布を有する熱画像データを第2の強度分布に再分布するよう用意されたプロセッサとを備える。
プロセッサは、再分布された熱画像データを熱画像として出力するように、さらに用意され得る。
本装置は、熱センサをさらに含み得る。
本装置の機能及び利点は、本方法に関連して上述されている。上述した特徴は、適用できる場合には、この第2の態様にも適用される。無用な繰り返しを避けるため上述を参照する。
本発明は、特許請求の範囲に記載されたすべての可能な特徴の組み合わせに関連することに留意されたい。
本発明のこれらの態様及び他の態様を、本発明の実施形態を示す添付の図面を参照しながら、さらに詳細にここで説明する。図面に示すように、レイヤーと領域のサイズは図示目的のために誇張され、本発明の実施形態の一般構造を示すために提供されている。類似の参照番号は、全体を通して類似の要素を指す。
あるシーンの熱画像を表す。 図1の熱画像を形成する熱画像データを、ヒストグラムの形態で示す。 該熱画像データを、再分布後の、第2のヒストグラムの形態で示す。 再分布された熱画像データに関するシーンの、別の熱画像を示す。 熱特性を有するあるクラスの物体の熱画像内の局所コントラストを強調する方法を示す。 熱画像内の局所コントラストを強調する装置を示す。
これより、本発明の現時点で好ましい実施形態を示す添付図面を参照して、本発明を以下により詳細に説明する。しかしながら本発明は多くの異なる形態で実施されることができ、本明細書で説明される実施形態に限定されるものと解釈されるべきではなく、これらの実施形態はむしろ、本開示が包括的で完全となるように提供されており、当業者に本発明の範囲を十分に伝えるためのものである。
以下に記載する物体は、熱特性を有するあるクラスの物体の熱画像内の局所コントラストを強調する方法200(図5参照)を示すためのものである。より具体的には、方法200は、図1〜4に関連して示されるように、例えば熱画像100内の人間の、検出及び識別の改善を可能にする。
熱画像システムで捕捉されたあるシーンの熱画像100を、図1に示す。熱画像100は、デジタル画像である。熱画像100は、ガレージ110及び車112で例示されるように、複数の物体108が検出され得る、あるシーンを示している。クラスの物体114は、この例では、人間である。この目的に向けて、物体114はさらに熱画像100内に現れるが、物体114は熱画像100から明確に識別可能でない可能性がある。しかし物体114は、該熱画像の閲覧者にとっては人間に類似しており、説明上、物体114は破線の輪郭を有する人間として示されている。
該クラスの物体は、他の実施形態では、動物、乗物、建物など、または、人間の顔や乗物の一部といった特定の独特の物体であってよい。この目的に向けて、この例における熱特性は、人間の体温に関する熱放出強度であるとして理解されるべきである。該熱特性は、人間の体温であり得る。人間の体温は、例えば36.5°C〜37.5°Cの範囲であり得る。しかし、人間の皮膚の温度はより低く、放出される熱放射強度は、衣服によってさらに低減される。したがって、人間からの熱放射は、例えば天候状態及び/または衣服に応じて30°C〜35°Cの範囲であり得る。
方法200は、絶対較正された熱画像システムによって捕捉された熱画像データ102を提供202する動作を含む。図2は、熱画像100が形成される元である熱画像データ102を示す。該熱画像データは、第1の強度分布103を有する。該熱画像データ102はヒストグラム104として示されており、ヒストグラム104は、熱画像システムの検出範囲内の特定の検出強度を有する熱画像データ102内に、カウントとも呼ばれるデータポイントの数を表示している。
データポイントの数は、例えば、所与の強度の検出強度を有する熱画像100内のピクセルの数と同じであり得る。他の実施形態では、複数のピクセルがビニングされてよい。
本明細書では、ダイナミックレンジは、熱画像システムによって検出された、最大可能強度値と最小可能強度値との間の比として理解されるものである。熱画像システムのダイナミックレンジは、熱画像システムによって検出され得る強度の範囲によって、設定され得る。ダイナミック比は、複数のレベル106にさらに分割され得る。熱画像100内では、レベル106は、グレースケールの種々の値に対応し得る。
熱画像100及び/またはヒストグラム104は、フルダイナミックレンジを含んでいてもよく、ダイナミックレンジの一部を含んでいてもよい。複数の強度値がレベル106の範囲内に収まり得るように、レベル106はさらにビニングされ得る。この目的に向けて、例えば1といった最小レベルは黒色に対応し得、例えば16384といった最大レベルは白に対応し得、中間のレベル(複数)は種々の色調のグレーに対応し得る。ダイナミックレンジは以下では14ビットであり、16384個のレベル106に対応する。しかし、他の実施形態では、ダイナミックレンジは異なり得る。例えば、ダイナミックレンジは、それぞれ4096個及び256個のレベルに対応する、12ビットまたは8ビットを含んでいてよい。
再び図2を参照すると、熱画像データ102の第1の強度分布103は、強度の低い部分においては、シーン内の複数のソースからの熱放出に対応する幅広いピーク105を含む。ダイナミックレンジ内の強度の高い部分において、第1の強度分布103の狭いピーク107がさらに見られ得る。それによって、狭いピーク107は、シーン内の、大部分のソースよりも高い温度を有するソースからの熱放出に対応する。
以下で、熱画像100内に存在し得る人間の検出及び識別の改善を達成するために、方法200が熱画像データ102に適用される。方法200は、熱画像100内の関心対象物が特定の熱特性を有し得、該熱特性が、該熱画像の内容を再分布するベースとして使用され得、それによってクラスの物体の局所コントラストが強調され得る、という洞察に基づく。この洞察に基づいて、方法200は、第1の強度分布103を有する熱画像データ102の、熱特性に基づいた、図3に示す第2の強度分布118への再分布204の動作を含む。より具体的には、熱画像データ102の再分布204は、該熱特性に基づく既定の再分布関数を用いて達成される。したがって、該熱特性に関する情報は、該既定の再分布関数を形成するために用いられ得る。再分布関数は、以下でさらに記載されるように、例えばヒストグラム平坦化関数であり得る。
熱特性は、所与のクラスの物体に関する熱放射の既知の放出として理解され得る。人間に関しては、熱特性は、人間の体温に関する熱範囲または熱価であり得る。該熱範囲及び該熱価は、例えば、それぞれ30〜35°C、または35°Cであり得る。
方法200は、あるシーン内の物体108の所与の温度が、熱画像データ102内の所与の熱放出強度に関連付けられ得ることをもたらした、絶対較正された熱画像システムをさらに活用する。検出された熱放射と温度との間の単純な対応が、絶対較正された熱画像システムを用いることによって提供され得る。それによって、人間の熱特性といった既知の温度は、熱画像データ102のダイナミックレンジ内の、所与の値または値の区間、即ちレベルまたはレベルの範囲、に変換できる。
人間の熱範囲に対応するレベルが、人間の特性である30〜35°Cの温度範囲に対応するΔ物体によって図2に示されている。この温度範囲の結果として、使用されている熱画像システムの特定のセットのパラメータに関して、レベル14336が中央に来るように、Δ物体の範囲が配置される。レベル14336は、14ビットのダイナミックレンジの上限付近で発生する。
図3は、熱画像データ102を第2のヒストグラム116の形態で示す。熱画像データ102は、第2の強度分布118を有している。熱画像データ102は、今や、熱画像データ102に既定の再分布関数を適用することによって再分布され、それによって所与の強度レベルにおけるカウントの分布が変更されている。これによって、第2のヒストグラム116の熱画像データ102はシフトされ、30〜35°Cの温度範囲に対応する、第2の強度分布118のΔ’物体のレベルの範囲は、今はレベル8192で中央配置されている。したがって、該熱画像データは、熱画像データ102を再分布することによって、該熱特性を有するクラスの物体の局所コントラストが強調されるように、変更され得る。言い換えれば、該クラスの物体に関する該熱画像データの部分107は、熱画像システムのダイナミックレンジの中央に移動される。これによって、関心物体の検出の改善が、達成され得る。
既定の再分布関数は、熱範囲が、より多数のレベルであるΔ’物体(即ちΔ’物体>Δ物体)にわたって分布するように、熱画像データをさらに引き伸ばし得る。該クラスの物体に関する、強度、即ち温度の局所的変化に対応する特徴部120が、これによって解像され得る。こうして、熱画像の、該クラスの物体に関する部分内で、局所コントラストが強調される。
例えば人間からの熱放出といった熱特性に基づいて熱画像データを再分布することによって、例えば30〜35°Cといった関係する温度範囲は、再分布された熱画像内に存在する。その一方、例えばシーン内の空や野原の温度といった、関心がなくてよい他の温度範囲は、除去され得る。したがって、あるシーンにおいて人間及びその挙動を検出及び識別する可能性を増大する、人間の熱特性内及びその付近における、細部の強調が得られてよい。
方法200は、再分布された熱画像データ102を熱画像300として出力206することをさらに含む。熱画像300は、図4に示されている。熱画像300は、図1と同じシーンを示している。車庫110及び車112で例示されるように、複数の物体108が、引き続き検出されてよい。方法200の結果として、物体114は今は熱画像300内に人間として現れ、人間122の輪郭を有する実線で示される。人間122の個別の特性が、さらに識別され得る。熱画像100と熱画像300を比較することによって、方法200によってもたらされた熱画像データ102の再分布が、人間、即ち所望のクラスの物体114の局所コントラストを強調したことが、こうして示される。強調された局所コントラストによって、物体の分類を改善し得る、物体の検出及び/または識別の改善が可能になる。局所コントラストを改善することにより、人物によって運搬される道具、武器及び他の物体は、さらに容易に識別され得る。
上記の例では、図1の熱画像100を提供した後に、方法200が熱画像データ102に適用された。しかし、方法200が、熱画像100を提供する前に熱画像データ102に適用され得ることは、留意されるべきである。したがって、再分布された熱画像データ102は、以前の熱画像をあらかじめ提供することなしにクラスの物体の局所コントラストが強調された、熱画像300として出力され得る。
方法200は、熱画像に関してさらに開示された。他の実施形態では、本方法は、熱映像にも適用され得る。したがって、方法200がリアルタイムで実施されるように、再分布204は自動化され得る。
上記のように、既定の再分布関数は、ある熱範囲またはある熱価において、中央配置され得る。
該熱価は、人間の体温THに対応し得る。THは、例えば30または35°Cであり得る。熱範囲は、例えば、TH−1.8ΔT≦TH≦TH+0.5ΔTであり得る(ΔT=2°C)。
代替方法では、既定の再分布関数は、熱範囲または熱価に対して中央配置されても既定のオフセットがなされてもよい。天候状態の変化といった環境の変化は、熱放出が検出される強度に影響し得る。したがって、あるクラスの物体の認識された温度のシフトが考慮に入れられてよい。これによって、該シーンの環境が変化したとしても、該熱範囲またはその周辺において強調された局所コントラストが得られてよい。温度のシフトは、例えば±2°Cであり得る。
再分布関数は、さらに、第1の強度分布に基づく中央配置またはオフセットで、熱範囲または熱価に対して中央配置されても既定のオフセットがなされてもよい。これによって、例えば第1の熱画像の第1の強度分布内の背景または物体からの熱放出が考慮に入れられてよく、それによってこのクラスの物体のコントラストは最適化される。
ある実施形態によると、熱画像システムによって検出された最大熱放出値及び最小熱放出値が、ダイナミックレンジを設定するために用いられ得る。したがって、熱画像データはダイナミックレンジ全体にわたって分布し得る。熱画像データは、さらに、この熱特性に関する熱範囲または熱価がダイナミックレンジの中央になるように、中央配置され得る。14ビットのダイナミックレンジの場合、該中央配置は、ダイナミックレンジのレベル8192においてであり得る。
再分布関数は、熱画像データの種々の部分、即ち種々のレベルの範囲が、種々の範囲にシフト及び/または再分布されるような、複数ピーク関数であり得る。したがって、再分布関数は、ダイナミックレンジ内の種々の範囲または値に、種々の態様で影響し得る。例として、あるシーンが、18〜24°Cの温度に対応する支配的である熱放出と、30〜38°Cの温度を有する物体からの熱放出と、18°C未満である背景の熱放出とを含むと仮定する。絶対較正された熱画像システムのダイナミックレンジは、14ビットであると仮定されている。
該シーンで人間を検出及び識別する目的で、上記の方法200が用いられ得る。次に、関数は、人間の顔からの既知の熱放出に基づき得る。言い換えれば、この熱特性は34°Cの温度、即ち上記の30〜38°Cの温度範囲内であり得る。さらに該関数は、18〜24°Cの温度範囲が、ダイナミックレンジの1〜8192のレベルにわたって分布するようにして用意され得る。さらに、範囲30〜38°Cは10240〜14336のレベルにわたって、また範囲24〜30°Cは8192〜10240のレベルにわたって、分布され得る。さらに、18°C未満の熱放出は、捨象されてよく、即ち、方法200によって提供される熱画像には表現されない。該関数は、これによって、区間24〜30°Cの重みが減少し、一方で範囲30〜38°Cの重みが増大する、熱画像データの分布を提供する。これによって、30〜38°Cの範囲内にある物体の、強調された局所コントラストは改善され、それによって人間の体温に基づいた人間の検出及び/または識別が改善される。熱画像内の該クラスの物体の検出性の改善を提供する簡潔で信頼性の高い方法が、これによって提供される。
再分布関数は、ヒストグラム平坦化関数であり得る。当業者は、ヒストグラム平坦化関数は、種々の形態であり得ることを理解している。ヒストグラム平坦化関数は、例えば、第1の分布を有する熱画像データを、第2の分布を有する熱データへとマッピングする、非線形及び非単調の変換関数を含み得る。したがって、ヒストグラム平坦化関数は、例えば熱画像のピクセルの強度値に対応する強度といった熱画像データの強度分布を、熱画像として出力されるべき熱画像データの表現が、ピクセル強度のより均一な分布を含むように、即ち、あるクラスのオブジェクトのヒストグラム内で、より広い強度値の分布を有するように、再分布し得る。より広い強度分布は、例えば、該クラスの物体の熱特性によって与えられる温度区分の局所コントラストを改善する、ほぼフラットなヒストグラムを形成し得る。言い換えれば、ヒストグラム平坦化関数は、熱特性に基づいて、あるクラスの物体の細部強調機能(detail enhancer)として見られてよい。
上記の記載では、第1の強度分布及び第2の強度分布が、同じダイナミックレンジを有するとして開示された。代替方法では、第1の強度分布は第1のダイナミックレンジを有し得、第2の強度分布は、第1のダイナミックレンジよりも小さい第2のダイナミックレンジを有し得る。したがって、方法200の再分布204は、第2の強度分布が達成されるように熱画像データを変更することをさらに含み得る。熱画像システムは、例えば、検出されデジタル化された熱放出の14ビット(16384個のレベル)の量子化で、熱画像を捕捉し得る。したがって、16384個のレベルのダイナミックレンジを有する、グレースケール画像が提供され得る。ダイナミックレンジは、例えば、8ビットの画像または映像フォーマットで与えられている255個のグレーのレベルに減らされ得る。
熱画像データの変更は、該熱画像データが再分布された後に実施され得る。熱特性を有する該クラスの物体に関する情報の損失は、これによって、軽減され得る。
以下で、熱特性を有するあるクラスの物体の熱画像内の局所コントラストを強調する装置400が開示される。装置400は、絶対較正された熱画像システムによって捕捉された熱画像データを保存するように用意された、メモリ402を備える。メモリ402は、熱特性に基づく既定の再分布関数を保存するように、さらに用意される。装置400は、第1の強度分布を有する熱画像を、該クラスの物体の局所コントラストが強調されるように、既定の再分布関数を用いて第2の強度分布に再分布するように用意された、プロセッサ404をさらに備える。さらに、プロセッサ404は、再分布された熱画像データを熱画像として出力するように用意され得る。
熱放出は、1〜10000μmの波長を有する電磁波の放射である。したがって、ある物体からの熱放射は、電磁スペクトルの一部である赤外線(IR)であってよい。熱放出は、さらに、約0.7〜1.5μmの範囲の近赤外線、約3〜5μmの中波長赤外線MWIR、8〜14μmの長波長赤外線LWIRであってよい。
本装置は、熱放出を、熱画像データが提供される元となり得る電気信号に変換するように用意された、熱センサ406をさらに備え得る。熱センサは、通常、MWIRの範囲で動作する冷却型熱センサであるか、または、通常LWIRの範囲で動作する非冷却型熱センサであり得る。
熱センサ404は、サーマルカメラの一部を形成し得る。さらに、サーマルカメラはネットワークサーマルカメラであり得る。
装置400は、ARTPEC−4といったエンコーダ408をさらに含み得る。装置は、それによって、例えば熱画像データを含むデータストリームの圧縮を提供し得る。装置400は、H.264、MPEG−4、及びMotion JPEGでビデオストリームを提供する、圧縮をさらに提供し得る。
装置400の機能及び利点は、方法200に関連して上述されているものと同じである。したがって、上記の諸特徴は、該当可能な場合、装置400にもまた該当する。
当業者は、本発明がいかなる意味においても、上述した好ましい実施形態に限定されないことを理解するであろう。むしろ、添付の特許請求項の範囲内で多くの修正例及び変形例が可能である。例えば、ダイナミック比の複数のレベルは、疑似カラースケールまたはカラースケールの種々の値と対応し得る。それぞれの色またはニュアンスは種々の温度を表現し得、通常は、白及び赤はより高温であり、緑、青及び紫はより低温である。
さらに、開示された実施形態の変形例は、図面、開示内容、及び添付の特許請求項の精査に基づいて、本願の発明を実施する際に当業者によって理解され実行されることが可能である。「含む」という語は他の要素またはステップを除外するものではなく、「1つの(a)」または「1つの(an)」などの不定冠詞は複数を除外しない。ある特定の手段が互いに異なる従属請求項において記されるという事実は、これらの手段の組み合わせが使用され得ないとういことを示すものではない。

Claims (11)

  1. 熱特性を有するあるクラスの物体の熱画像内の局所コントラストを強調する方法であって、
    絶対較正された熱画像システムによって捕捉された第1の熱画像(100)を表す熱画像データ(102)を提供(202)することであって、前記絶対較正された熱画像システムは、ダイナミックレンジを有し、前記クラスの物体の前記熱特性は、前記ダイナミックレンジ内の熱範囲に対応する第1のレベルまたは第1のレベルの範囲に変換される、提供すること、
    第1の強度分布(103)を有する前記熱画像データ(102)を、前記クラスの物体の前記熱特性に基づく既定の再分布関数を用いて第2の強度分布(118)に再分布(204)することであって、前記既定の再分布関数は前記クラスの物体(114)に関する前記熱画像の部分内の前記局所コントラストが強調されるように用意され、
    前記既定の再分布関数は、
    a)前記クラスの物体に関する前記熱画像データの一部が、前記熱画像システムの前記ダイナミックレンジの中央に移動されるものであり、かつ
    b)前記クラスの物体に関する前記熱範囲が、前記クラスの物体(114)に関する前記熱画像の部分内の前記局所コントラストが強調されるように、前記第1のレベルまたは前記第1のレベルの範囲より大きい数のレベルを持つ第2のレベルの範囲にわたって分布されるものである、再分布すること、
    及び、再分布された前記熱画像データ(102)を熱画像(300)として出力(206)すること、
    を含む、方法。
  2. 前記第1の強度分布(103)は、第1のダイナミックレンジを有し、前記再分布は、前記第2の強度分布(118)が前記第1のダイナミックレンジよりも小さい第2のダイナミックレンジを有するように前記熱画像データ(102)を変更することをさらに含む、請求項1に記載の方法。
  3. 前記熱画像データ(102)の前記変更は、前記熱画像データ(102)が再分布された後に実施される、請求項2に記載の方法。
  4. 前記熱特性は、熱範囲または熱価である、請求項1から3のいずれか一項に記載の方法。
  5. 前記既定の再分布関数は、前記熱範囲または前記熱価に対して中央配置される、または既定のオフセットがなされる、請求項4に記載の方法。
  6. 既定の再分布関数は、前記熱画像データ(102)の捕捉の前に、前記絶対較正された熱画像システムによってあらかじめ規定される、請求項1から5のいずれか一項に記載の方法。
  7. 前記既定の再分布関数は、前記熱範囲または前記熱価に対して中央配置される、またはオフセットされ、前記中央配置または前記オフセットは前記第1の強度分布(103)に基づく、請求項4に記載の方法。
  8. 前記絶対較正は、温度対強度較正である、請求項1から7のいずれか一項に記載の方法。
  9. 前記方法は、後続の熱画像を捕捉する前に、前記絶対較正された熱画像システムによって前記第1の熱画像(100)に対して実施される、請求項1から8のいずれか一項に記載の方法。
  10. 熱特性を有するクラスの物体の熱画像内の局所コントラストを強調する装置(400)であって、前記装置(400)は、
    絶対較正された熱画像システムであって、前記絶対較正された熱画像システムは、ダイナミックレンジを有し、前記クラスの物体の前記熱特性は、前記ダイナミックレンジ内の熱範囲に対応する第1のレベルまたは第1のレベルの範囲に変換される、絶対較正された熱画像システムによって捕捉された熱画像データ(102)を保存し、且つ
    前記クラスの物体の前記熱特性に基づく既定の再分布関数を保存する
    ように用意されたメモリ(402)と、
    第1の強度分布(103)を有する前記熱画像データ(102)を、前記既定の再分布関数を用いて第2の強度分布(118)に再分布(204)するよう用意されたプロセッサ(404)であって、前記再分布関数は、前記クラスの物体(114)に関する熱画像の部分内の前記局所コントラストが強調されるように用意され、前記既定の再分布関数は、
    a)前記クラスの物体に関する前記熱画像データの一部が、前記熱画像システムの前記ダイナミックレンジの中央に移動されるものであり、かつ
    b)前記クラスの物体に関する前記熱範囲が、前記クラスの物体(114)に関する前記熱画像の部分内の前記局所コントラストが強調されるように、前記第1のレベルまたは前記第1のレベルの範囲より大きい数のレベルを持つ第2のレベルの範囲にわたって分布されるものである、プロセッサ(404)と、
    を備える、装置(400)。
  11. 前記プロセッサ(404)は、再分布された前記熱画像データ(102)を前記熱画像(300)として出力(206)するようにさらに用意された、請求項10に記載の装置。
JP2016162447A 2015-09-08 2016-08-23 熱画像内の局所コントラストを強調する方法及び装置 Active JP6602731B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15184252.3 2015-09-08
EP15184252.3A EP3142355B1 (en) 2015-09-08 2015-09-08 Method and apparatus for enhancing local contrast in a thermal image

Publications (2)

Publication Number Publication Date
JP2017096915A JP2017096915A (ja) 2017-06-01
JP6602731B2 true JP6602731B2 (ja) 2019-11-06

Family

ID=54151079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016162447A Active JP6602731B2 (ja) 2015-09-08 2016-08-23 熱画像内の局所コントラストを強調する方法及び装置

Country Status (6)

Country Link
US (1) US10109042B2 (ja)
EP (1) EP3142355B1 (ja)
JP (1) JP6602731B2 (ja)
KR (1) KR101849740B1 (ja)
CN (1) CN106504197B (ja)
TW (1) TWI603291B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007974B2 (en) * 2016-06-10 2018-06-26 Sensors Unlimited, Inc. Enhancing images
KR102650341B1 (ko) * 2016-11-25 2024-03-22 엘지전자 주식회사 반도체 발광 소자를 이용한 디스플레이 장치 및 이의 제조방법
EP3620765B1 (en) * 2018-09-10 2020-11-04 Axis AB Method and system for filtering thermal image data
EP3671625B1 (en) 2018-12-18 2020-11-25 Axis AB Method, device, and system for enhancing changes in an image captured by a thermal camera
EP3716239A1 (fr) * 2019-03-26 2020-09-30 Alcom Technologies Dispositif de détection d'intrusion par vision infrarouge et procédé de sécurisation
KR20220152869A (ko) 2021-05-10 2022-11-17 한화테크윈 주식회사 열영상 카메라 및 그의 열영상 처리 방법
US11972613B1 (en) * 2022-10-28 2024-04-30 Zoox, Inc. Apparatus and methods for atmospheric condition detection

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2223643B (en) * 1988-10-05 1993-04-07 Marconi Gec Ltd Data processing apparatus
JP2552728B2 (ja) * 1989-05-31 1996-11-13 富士通株式会社 赤外線監視システム
US5249241A (en) * 1991-07-09 1993-09-28 The United States Of America As Represented By The Secretary Of The Air Force Real-time automated scene display for infrared cameras
JPH06160507A (ja) * 1992-09-24 1994-06-07 Matsushita Electric Ind Co Ltd 人存在状況判定装置
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
JP4686803B2 (ja) * 1999-11-26 2011-05-25 富士通株式会社 赤外線画像表示装置
US20040183918A1 (en) * 2003-03-20 2004-09-23 Eastman Kodak Company Producing enhanced photographic products from images captured at known picture sites
KR101030839B1 (ko) * 2003-09-11 2011-04-22 파나소닉 주식회사 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램,집적 회로, 표시 장치, 촬영 장치 및 휴대 정보 단말
US20070058862A1 (en) * 2005-09-09 2007-03-15 Meier Michael R Histogram equalization method for a vision-based occupant sensing system
US7738698B2 (en) * 2006-01-26 2010-06-15 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the contrast of an image
US8384780B1 (en) 2007-11-28 2013-02-26 Flir Systems, Inc. Infrared camera systems and methods for maritime applications
US8285059B2 (en) * 2008-05-20 2012-10-09 Xerox Corporation Method for automatic enhancement of images containing snow
JP5218767B2 (ja) * 2009-01-13 2013-06-26 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9948872B2 (en) * 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9674458B2 (en) * 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US10244190B2 (en) * 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
JP2013024671A (ja) 2011-07-20 2013-02-04 Renesas Electronics Corp 半導体集積回路のテスト方法とシステムとプログラム
JP2013024761A (ja) * 2011-07-22 2013-02-04 Hitachi Kokusai Electric Inc 撮像方法および撮像装置
KR101831486B1 (ko) * 2011-10-07 2018-02-22 플리어 시스템즈, 인크. 스마트 감시 카메라 시스템 및 방법
CN102413283B (zh) * 2011-10-25 2013-08-14 广州飒特红外股份有限公司 红外热图数字信号处理系统及方法
EP2936799B1 (en) * 2012-12-21 2018-10-17 Flir Systems, Inc. Time spaced infrared image enhancement
US9704226B2 (en) * 2013-03-14 2017-07-11 Drs Network & Imaging Systems, Llc System and method for fast digital signal dynamic range reduction using adaptive histogram compaction and stabilization
CN103226731A (zh) * 2013-03-20 2013-07-31 太原理工大学 一种热分布图像在线预测方法
TW201503678A (zh) * 2013-07-05 2015-01-16 Shao-Yang Wang 顯示裝置醫療級校正系統及其方法
KR101339026B1 (ko) * 2013-10-14 2013-12-09 (주)유디피 열화상 카메라 가시성 개선 방법 및 장치
CN110274355B (zh) * 2014-03-03 2022-01-11 松下电器(美国)知识产权公司 传感方法、传感系统及包含它们的空调设备

Also Published As

Publication number Publication date
US10109042B2 (en) 2018-10-23
JP2017096915A (ja) 2017-06-01
TWI603291B (zh) 2017-10-21
US20170069069A1 (en) 2017-03-09
CN106504197B (zh) 2018-06-19
KR20170030049A (ko) 2017-03-16
KR101849740B1 (ko) 2018-05-31
EP3142355B1 (en) 2017-10-25
TW201737204A (zh) 2017-10-16
EP3142355A1 (en) 2017-03-15
CN106504197A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
JP6602731B2 (ja) 熱画像内の局所コントラストを強調する方法及び装置
US10462407B2 (en) Display method and display device
US10694120B2 (en) Methods for producing a temperature map of a scene
JP6341396B1 (ja) 動体監視装置、サーバ装置、および動体監視システム
US8824828B1 (en) Thermal V-curve for fusion image declutter
US9544562B2 (en) Converting an image from a dual-band sensor to a visible color image
CN110796628B (zh) 图像融合方法、装置、拍摄装置及存储介质
WO2014200586A2 (en) System and method for converting an image to an intensity based colormap
KR20190046860A (ko) 영상 신호 처리 장치, 영상 신호 처리 방법 및 영상 신호 처리 시스템
JP2008526075A (ja) 自動ホワイトバランス制御
TWI512682B (zh) 影像處理系統及色彩飽和度補償方法
Sazzad et al. Establishment of an efficient color model from existing models for better gamma encoding in image processing
US9311551B2 (en) System and method for situational awareness and target cueing
RU2018122765A (ru) Обработка множественных источников изображения hdr
Qian et al. Fast color contrast enhancement method for color night vision
Qian et al. Effective contrast enhancement method for color night vision
CN106575434A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
US20140327796A1 (en) Method for estimating camera response function
FI110045B (fi) Menetelmä ja laite harmaasävykuvan muuntamiseksi valeharmaakuvaksi
US20230114200A1 (en) Video replay attack detection
JP6543786B2 (ja) 画像処理装置および画像処理方法
Nawaz et al. Fusion of color and infrared images using gradient transfer and total variation minimization
JP7274909B2 (ja) 遠赤外線カメラ
Sazzad et al. Use of gamma encoder on HSL color model improves human visualization in the field of image processing
Vera et al. Color image formation for multiscale gigapixel imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171023

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171023

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180820

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191009

R150 Certificate of patent or registration of utility model

Ref document number: 6602731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250