JP4147456B2 - Infrared image signal processor - Google Patents
Infrared image signal processor Download PDFInfo
- Publication number
- JP4147456B2 JP4147456B2 JP2002094521A JP2002094521A JP4147456B2 JP 4147456 B2 JP4147456 B2 JP 4147456B2 JP 2002094521 A JP2002094521 A JP 2002094521A JP 2002094521 A JP2002094521 A JP 2002094521A JP 4147456 B2 JP4147456 B2 JP 4147456B2
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- threshold value
- signal level
- signal
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 80
- 230000015654 memory Effects 0.000 claims description 65
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000007423 decrease Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 12
- 238000003331 infrared imaging Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000004069 differentiation Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 229910000661 Mercury cadmium telluride Inorganic materials 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- VLJQDHDVZJXNQL-UHFFFAOYSA-N 4-methyl-n-(oxomethylidene)benzenesulfonamide Chemical compound CC1=CC=C(S(=O)(=O)N=C=O)C=C1 VLJQDHDVZJXNQL-UHFFFAOYSA-N 0.000 description 1
- -1 InSn Inorganic materials 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 229910021340 platinum monosilicide Inorganic materials 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Radiation Pyrometers (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、赤外線検知器を用いた赤外線撮像装置による赤外線画像信号を処理して、赤外線画像の背景内の観測物体等を識別可能とするように表示できる赤外線画像信号処理装置に関する。
【0002】
【従来の技術】
赤外線撮像装置は、その視野内の温度に対応した放射レベルの赤外線を検出して、赤外線画像を表示可能とするものである。従って、可視光線を検出して画像表示を行う通常のテレビカメラとは異なり、夜間等に於ける撮像視野内の画像も表示可能である。従って、監視カメラ,暗視カメラ,サーモグラフィ,リモートセンシング,前方監視装置等の広い分野で利用されており、例えば、移動体に搭載して走行中又は飛行中の前方監視等にも利用されている。
【0003】
又赤外線撮像装置に用いる赤外線検知器は、例えば、3〜5μm帯用として、PtSi,InSn,HgCdTeが主として使用され、8〜12μm帯用として、HgCdTeが主として使用されている。なお、HgCdTeは、組成比によって広い波長範囲に於ける感度を有するものである。このように、赤外線検知器の波長感度に対応して光学系も構成されるもので、何れかの帯域用、又は両方の帯域用として光学系と検知器とを切替える構成等も知られている。
【0004】
又赤外線検知器は、極低温から極高温までの幅広い温度範囲にわたる赤外線検知が可能である。従って、赤外線検知器により赤外線を検知して電気信号に変換したアナログの赤外線画像信号をディジタル信号に変換して処理し、温度分解能を高くする為に、通常は12ビット以上のディジタル信号に変換するものである。これに対して、表示装置に表示した場合の人間の目による分解能は256階調程度である。そこで、12ビットの赤外線画像信号を8ビットに変換して表示する構成が採用されている。このようなnビット(例えば、12ビット)のディジタル赤外線画像信号をmビット(例えば、8ビット)のディジタル赤外線画像信号へ変換することを階調変換と称するものである。
【0005】
このような階調変換の機能を含む従来の赤外線画像信号処理装置は、例えば、図18に示すように、赤外線透過レンズや光学走査機構等を含む光学系101を介して赤外線検知器102に観測領域から放射される赤外線を入射し、その出力信号を増幅器103により増幅し、A/D変換器104により前述の12ビット構成のディジタル赤外線画像信号に変換してフレームメモリ105に入力し、又ヒストグラム作成部107により信号レベル対画素数のヒストグラムを作成し、ヒストグラム変換部108により、ヒストグラムによる画素数が、予め設定した一定値の閾値より少ないものをカットして、信号レベル数の割当てを変更し、この変更に従ってフレームメモリ104の読出制御を行うことにより、前述の12ビット構成のディジタル赤外線画像信号を8ビット構成のディジタル赤外線画像信号に変換し、D/A変換器106によりアナログ赤外線画像信号に変換して、図示を省略したモニタに入力し、赤外線画像を表示する。
【0006】
この場合のヒストグラムと階調変換について図19を参照して説明する。同図の(A)は原画像のヒストグラム、即ち、nビット構成の場合の2n −1の信号レベル(n=12の場合は、4095レベル)を横軸に、それぞれの信号レベル対応のPixel(画素数)を縦軸としたヒストグラムを示す。このようなヒストグラムをヒストグラム作成部107に於いて作成すると、ヒストグラム変換部108は、予め設定した一定値の閾値と比較し、画素数が閾値以下の信号レベルをカットして並べ直すもので、その結果、(B)に示すものとなる。なお、Nは前述のカットにより残存した信号レベル数を示す。
【0007】
この並べ直した信号レベルを、表示レベル(例えば、256階調の8ビット)へ均等に割当てる。即ち、(C)に示すように、並べ直したN個の信号レベルを横軸に、割当てる階調レベル(例えば、8ビットによる256階調)を縦軸とする。そして、この変換関係を基に12ビット構成の赤外線画像信号を8ビット構成に変換する為の変換データを作成する。この変換データは(D)に示すものとなる。即ち、原画像の信号レベル(例えば4095レベル)を横軸に、変換後の信号レベル(例えば255レベル)を縦軸に、原画像と、処理後の濃度値(信号レベル)との関係を示すものとなる。従って、変換後のヒストグラムは、(E)に示すとものとなる。即ち、(B)に示すヒストグラムと類似したヒストグラムとなり、原画像を忠実に処理した画像として表示することができる。
【0008】
前述のように階調変換を行って赤外線画像を表示する場合に、背景内に高温又は低温の物体が移動した時、その撮像画面内であれば、ヒストグラムは変化しないから、その物体を背景と区別できるように表示することができる。しかし、高温又は低温の物体が撮像画面内を高速で通り過ぎる場合又は赤外線撮像装置側が高速で移動する場合、1画面内の赤外線のレベル及び分布が変化するから、ヒストグラムも変化する。このヒストグラムの変化により、階調変換の変換データが変化するから、高温又は低温の物体と背景との表示関係が変化して、その観測すべき物体の視認性が劣化する。
【0009】
そこで、このような問題を解決する為に、前述のヒストグラムを予め定めた一定値の閾値と画素数とを比較し、閾値以下の画素数の信号レベルをカットして、複数の温度領域毎のヒストグラムを作成し、分割温度領域の信号レベル数に応じて、階調変換後の信号レベル数を割当てる手段により、高温又は低温の物体が高速で横切った場合でも、その物体を背景とは区別できるように表示し、又フレーム毎に赤外線レベルの分布が変化する場合に、ヒストグラムを複数フレームについて平均化することにより、ヒストグラムのフレーム毎の変化に基づく表示画面の変動を抑制し、又フレーム間のヒストグラムの差分に基づいて階調変換を行う手段が提案されている(例えば、特開2001−154646号公報参照)。
【0010】
【発明が解決しようとする課題】
赤外線撮像装置の視野内に、例えば、空と地上とを含み、飛翔物体又は地上走行物体を観測物体とする場合、地上は常温付近であり、空はそれより低温である。従って、低温部分と高温部分とに分けることができる。例えば、赤外線撮像装置の視野内に空を含まない場合、図20の201に示すような地上のみを撮像した赤外線画像信号についてのヒストグラムが得られる。これを基に階調変換すると、202に示すものとなる。これに対して、赤外線撮像装置の視野内に空と地上とを含む場合は、図20の211に示すようなヒストグラムが得られる。即ち、空は低温領域であり、地上はそれより高温の領域を形成している。そして、所定の閾値を設定して、閾値以下の画素数の信号レベルをカットし、残った信号レベルを並べ直して階調変換すると、212に示すヒストグラムが得られる。
【0011】
赤外線撮像装置による観測物体としての飛行機等のの飛翔物体は、通常高温を含むから、低温領域の空の部分に於いて明瞭に表示することができる。これに対して、地上に於ける走行車両等の観測物体は、地上の温度に比較して極端な温度差がない場合もあるから、これを明瞭に表示して、視認性を高くことが望ましいものである。又地上に於ける観測物体の位置は、地形や建造物等を目標にして確認することができるが、飛翔物体の場合、その位置は、例えば、雲等を目標にして確認することができる。従って、空の部分を総て同一信号レベルとすると、同一輝度の表示内容となり、高温の飛翔物体を撮像した場合に、それを表示できるが、その位置の確認は困難となる。その為に、空の部分にも所定の信号レベル数を割当てて雲等も表示可能とする必要がある。
【0012】
又空の部分の信号レベルは、四季に応じて又は天候に応じて変化するものであり、その場合も、前述の従来例に於いては、ヒストグラムと、一定の閾値とを比較し、閾値以下の画素数の信号レベルをカットして、階調変換を行うものであるから、空と地上との部分に対する信号レベルの割当数が変化し、観測物体の表示状態が変化して視認性が低下する問題がある。
【0013】
本発明は、原画像のヒストグラムの性質に応じて閾値を変化させ、低温領域に比較してそれより高温の領域に対する信号レベル数の割当てを多くして、観測物体の視認性を向上することを目的とする。
【0014】
【課題を解決するための手段】
本発明の赤外線画像信号処理装置は、図1を参照して説明すると、赤外線検知器2による赤外線画像信号を処理して赤外線画像を表示する赤外線画像信号処理装置であって、赤外線検知器2による赤外線画像信号をディジタル信号に変換して処理する画像信号処理部5を有し、この画像信号処理部5は、赤外線画像信号をディジタル信号に変換して入力するフレームメモリ部10と、赤外線画像信号の信号レベルに対する画素数を示すヒストグラムを作成するヒストグラム作成部11と、このヒストグラム作成部11により作成したヒストグラムの変曲点を求め、この変曲点により温度領域を分け、且つ変曲点に於ける画素数を閾値とし、この閾値以下の画素数の信号レベルをカットして、残りの信号レベルを並べ直し、各温度領域対応に信号レベルを割当てて階調変換用データを作成し、この階調変換用データに従って、フレームメモリ部から読出した赤外線画像信号の階調を変換するヒストグラム演算部12とを含む構成を有するものである。
【0015】
又画像信号処理部5は、ヒストグラム作成部により作成したヒストグラムに含まれる高調波成分をローパスフィルタにより除去して微分して変曲点を求める微分処理部と、変曲点に於ける画素数を閾値として、ヒストグラムを構成する信号レベル対応の画素数と比較する閾値比較部と、この閾値比較部により閾値以下の画素数の信号レベルをカットして並べ直す順序付け処理部と、変曲点により空部分等の低温部分と地上部分等の高温部分との温度領域に分けて、低温部分に対する信号レベルの割当処理を行う低温部分ヒストグラム演算部と、高温部分に対する信号レベルの割当処理を行う高温部分ヒストグラム演算部と、低温部分ヒストグラム演算部と高温部分ヒストグラム演算部とによる階調変換データを合成して、フレームメモリ部から読出した赤外線画像信号の階調を変換する信号レベル変換部とを有するものである。又ヒストグラム作成部11により作成したヒストグラムの変曲点を求め、この変曲点により温度領域を分け、ヒストグラムの変曲点を境界として分けた高温部分に対する閾値より、低温部分に対する閾値を大きい値に設定し、この閾値以下の画素数の信号レベルをカットして、残りの信号レベルを並べ直し、各温度領域対応に信号レベルを割当てて階調変換用データを作成し、この階調変換用データに従ってフレームメモリ部から読出した赤外線画像信号の階調を変換するヒストグラム演算部12を含む構成とすることができる。
【0016】
又画像信号処理部5は、ヒストグラム作成部11により作成したヒストグラムの画素数と閾値とを比較する閾値比較部と、ヒストグラムの信号レベルに対応して信号レベルが少なくともヒストグラムの変曲点以下の信号レベルについて、信号レベルが小さくなる程、大きい値に設定した閾値を格納し、ヒストグラムの信号レベルに対応して閾値比較部に入力する閾値テーブルと、閾値比較部によりヒストグラムの画素数が閾値以下の信号レベルをカットして並べ直す順序付け処理部と、この順序付け処理部により並べ直した信号レベルに対して階調変換の信号レベルを割当てる階調変換データを生成するヒストグラム演算部と、このヒストグラム演算部による階調変換データに基づいてフレームメモリ部からの赤外線画像信号の階調を変換する信号レベル変換部とを有することとができる。又画像信号処理部5は、ヒストグラム作成部11により作成したヒストグラムの変曲点を求めて、この変曲点を境界とした低温部分と高温部分とに分け、変曲点に於ける画素数を高温部分に対する閾値とし、低温部分に於ける閾値を、信号レベルが小さい程、大きい値に変化する値として設定した閾値テーブルを設け、この閾値テーブルからヒストグラムの信号レベルに対応した閾値を読出して閾値比較部に入力する構成を有することができる。
【0017】
【発明の実施の形態】
図1は本発明の実施の形態の説明図であり、1は赤外線透過レンズや光学走査系を含む光学系、2は赤外線検知器、3は増幅器、4はAD変換器(A/D)、5は画像信号処理部、6はDA変換器(D/A)、7はモニタ、10はフレームメモリ部、11はヒストグラム作成部、12はヒストグラム演算部、13,14はセレクタ(SEL)、15,16,17はフレームメモリ(RAM)、18は加算器、19はヒストグラム作成用メモリ(RAM)、20はバッファ回路、21はヒストグラム変換用メモリ(DP−RAM)、22はヒストグラム格納用兼DSP作業用メモリ(RAM)、23はDSPプログラム格納用メモリ(ROM)、24はプロセッサ(DSP;ディジタル・シグナル・プロセッサ)を示す。又各メモリに対するAはアドレス、Dはデータを示す。
【0018】
観測領域(赤外線撮像視野内)から放射される赤外線を光学系1を介して赤外線検知器2に入射し、赤外線レベル(観測領域内の温度)に対応したレベルの信号を出力し、増幅器3により増幅し、AD変換器4により例えば12ビット構成のディジタル赤外線画像信号に変換する。このディジタル赤外線画像信号を画像信号処理部5に入力して階調変換を行い、例えば8ビット構成のディジタル赤外線画像信号に変換してAD変換器6に入力し、アナログ赤外線画像信号に変換してモニタ7に入力し、例えば256階調で赤外線画像を表示する。
【0019】
画像信号処理部5は、フレームメモリ部10と、ヒストグラム作成部11と、ヒストグラム演算部12とを有し、フレームメモリ部10は、複数のフレームメモリ15,16,17と、それらを切替えるセレクタ13,14とを含み、フレームメモリ15,16,17は、それぞれ赤外線画像信号の1フレーム分を書込むことができる容量のメモリであり、セレクタ13,14により、赤外線画像信号を書込むフレームメモリと、読出すフレームメモリとをフレーム毎に順次切替える場合を示し、3面構成の場合を示す。即ち、ヒストグラム作成に1フレーム、階調変換に1フレーム、階調変換後のヒストグラム算出に1フレームの合計3フレーム分の時間が必要となるから、フレームメモリを3面構成としている。なお、制御構成によっては2面構成とすることも可能である。
【0020】
又ヒストグラム作成部11は、加算器18とヒストグラム作成用メモリ19とバッファ回路20とを含む構成を有し、AD変換器4により変換した12ビット構成の赤外線画像信号をアドレスAとしてヒストグラム作成用メモリ19をアクセスし、読出したデータDに対して加算器18により1を加算して書込むものである。従って、信号レベルをアドレスとした画素数を示す内容となり、フレーム毎のヒストグラムを作成することができる。
【0021】
又ヒストグラム演算部12は、ヒストグラム変換用メモリ21と、ヒストグラム格納用兼DSP作業用メモリ22と、DSPプログラム格納用メモリ23と、プロセッサ(ディジタル・シグナル・プロセッサDSP)24とを含む構成を有し、ヒストグラム変換用メモリ21は、デュアルポートメモリの構成の場合を示し、一方のポートにプロセッサ24から変換用データ(8ビット構成)を書込み、フレームメモリ部10からの例えば12ビット構成の赤外線画像信号の信号レベルをアドレスとして、デュアルポートメモリの他方のポートから変換用データを読出すことにより、階調変換を行うことができる。又ヒストグラム格納用兼DSP作業用メモリ22は、ヒストグラム作成部11のヒストグラム作成用メモリ19の内容を転送して格納するもので、プロセッサ24は、このヒストグラムを基に階調変換の為のデータを作成し、ヒストグラム変換用メモリ21に書込むものである。
【0022】
本発明は、プロセッサ24に於けるヒストグラムの処理に於いて、一定の閾値を設定するものではなく、ヒストグラムの性質に従って設定するものである。例えば、図2に示すように、横軸を2n −1(n=12ビットの場合、4095)の信号レベルとし、縦軸を画素数とした原画像のヒストグラムを(A1)とすると、従来は、一定の閾値以下の画素数の信号レベルをカットして並べ直し、信号レベルを割当てることにより階調変換を行うもので、横軸を2m −1(m=8ビットの場合、255)の信号レベルとし、縦軸を画素数とした(A2)に示すヒストグラムとなる。この場合、地上部分に対してはNaの信号レベル数を割当てることになる。
【0023】
これに対して、本発明の一実施の形態に於いては、図2の(B1)に示すように、原画像のヒストグラムの曲線に於ける変曲点Aを求め、この変曲点Aを低温部分の空部分と高温部分の地上部分との境界とする。又この変曲点Aの画素数を閾値に設定する。そして、この閾値以下の画素の信号レベルをカットし、階調変換に於いて信号レベルBを設定して、空部分に割当てる信号レベル数と、地上部分に割当てる信号レベル数とを定める。それにより、空部分にも信号レベル数を割当てると共に、地上部分に割当てる信号レベル数Nbを、Nb>Naの関係として、地上の観測物体の視認性を維持できるように、階調変換を行うことができる。又赤外線撮像装置側の高速移動或いは高温物体の高速移動によるフレーム毎の赤外線信号レベルの分布の変化に従って原画像のヒストグラムが変化しても、階調変換によるヒストグラムの変化が抑制されるから、観測物体の視認性を改善できる。
【0024】
図3は本発明の一実施の形態の要部説明図であり、31はフレームメモリ部、32は信号レベル変換部、33は原画像ヒストグラム作成部、34は閾値比較部、35は順序付け処理部、36はローパスフィルタ、37は微分処理部、38はセレクタ(SEL)、39は空部分のヒストグラム演算部、40は地上部分のヒストグラム演算部、41はヒストグラム合成部を示し、図1の画像信号処理部5の機能を示す。
【0025】
フレームメモリ部31は、図1のフレームメモリ部10の機能に相当し、原画像ヒストグラム作成部33は、図1のヒストグラム作成部11の機能に相当し、他の構成は図1のヒストグラム演算部12の機能に相当する。原画像ヒストグラム作成部33により作成したヒストグラムは、図2の(A1),(B1)に示すような滑らかな曲線からなるものではなく、細かな凹凸、即ち、高調波成分を含むものであるから、ローパスフィルタ36により、この高調波成分を除去し、微分処理部37により微分する。それによって、滑らかなヒストグラム曲線となり、微分処理部37による微分処理によって、図2の(B1)に示す変曲点Aを求めることができる。この変曲点Aは、低温部分の空部分と、高温部分の地上部分との境界を示すものとなる。又変曲点Aに於ける画素数は零でない場合が一般的であり、従って、この変曲点Aに於ける画素数を閾値として設定する。
【0026】
又原画像のヒストグラムを閾値比較部34に於いて前述の閾値と比較し、閾値以下の画素数の信号レベルをカットし、残った信号レベルを順序付け処理部35に於いて再配置する。又微分処理部37の微分出力信号、即ち、変曲点を空部分と地上部分との境界として、セレクタ38を制御する。空部分のヒストグラム演算部39と地上部分のヒストグラム演算部40とに於いてそれぞれヒストグラムを作成し、ヒストグラム合成部41に於いて合成し、例えば、図2の(B2)に示すヒストグラムを形成して、信号レベル変換部32に於いて階調変換を行う。前述の閾値比較部34に加える閾値は、前述のように、変曲点Aに於ける画素数を基に設定するもので、四季に応じて、又天候に応じて変曲点Aの信号レベルが変化しても、空部分と地上部分との温度領域に対応した処理が可能となる。
【0027】
図4,図5及び図6は本発明の一実施の形態のフローチャートであり、図1及び図3を参照して説明する。ヒストグラム作成部11のヒストグラム作成用メモリ19をフレーム毎にリセットし(a1)、AD変換器4により変換したデータ(12ビット構成の赤外線画像信号の信号レベル)をメモリアドレスAとして、加算器18により1を加算する(a2)。即ち、信号レベル対応の画素数をカウントアップすることになる。そして、全画素のデータ(1フレーム分)終了か否かを判定し(a3)、終了していない場合はステップ(a1)に移行し、1フレーム分について終了した場合は、信号レベルに対する画素数を示す1フレーム分についてのヒストグラムが作成されるから、このヒストグラム作成用メモリ19の内容を、ヒストグラム演算部12のヒストグラム格納用兼DSP作業用メモリ22に転送する(a4)。
【0028】
この原画像ヒストグラムに対してローパスフィルタ36(図3参照)により、前述のようにヒストグラム曲線に含まれる高調波成分を除去し(a5)、微分処理部37により微分して、分布の谷の信号レベルS1を算出する。即ち、変曲点Aの信号レベルを求める(a6)。この変曲点Aの信号レベルが、空部分と地上部分との境界の信号レベルを示すものとなる。この場合の変曲点Aの画素数を閾値とする。
【0029】
そして、信号レベル0〜S1、即ち、空部分に於ける閾値以下の画素数の信号レベルをカットし(a7)、残った信号レベルを並べ直して、その総数N1を求める(a8)。この時の割当レベルをi1’とする。そして、0〜1まで、1/N1のステップで増加する関数B1〔i1〕を定義する。即ち、B1〔i1〕=i1×1/N1とする(a9)。次に、割当レベルを、表示レベル=S2(B〔i1’〕−1/N)により変換する(a10)。この変換した値をヒストグラム変換用メモリ21に保存する(a11)。以上の処理は、空部分の画像データのヒストグラム変換処理を示す。
【0030】
又信号レベルS1〜4095に対して、即ち、地上部分に対して、閾値以下の画素数の信号レベルをカットする(a12)。残った信号レベルを並べ直して、その総数N2を求める。この時の割当レベルをi2’とする(a13)。そして、0〜1まで、1/N2のステップで増加する関数B2〔i2〕を定義し(a14)、割当レベルを、表示レベル=(256−S2)×(B〔i1’〕−1/N)+S2として、8ビットに変換する(a15)。この変換した値を、ヒストグラム変換用メモリ21に保存する(a16)。以上の処理は、地上部分の画像データのヒストグラム変換処理を示す。
【0031】
そして、フレームメモリから順次データ(12ビット)を読出して、ヒストグラム変換用メモリ21のアドレスAとし、このアドレスAによりヒストグラム変換用メモリ21から階調変換したデータD(8ビット)を読出す(a17)。即ち、ヒストグラム変換用メモリ21に、階調変換データを書込み、フレームメモリから読出した12ビット構成の赤外線画像信号の信号レベルをアドレスとして、階調変換データの8ビット構成の赤外線画像信号を読出すことになる。そして、階調変換した8ビット構成の赤外線画像信号をDA変換器6によりアナログの256階調の赤外線画像信号に変換してモニタ7に入力する(a18)。
【0032】
図7は本発明の一実施の形態の処理説明図であり、(A)は原画像のヒストグラムを示し、変曲点のレベルS1により空部分と地上部分とに分け、閾値以下の画素数の信号レベルをカットし、空部分の信号レベル数N1と、地上部分の信号レベル数N2とについて、空部分の順序付けを行うと、(B)に示すものとなり、地上部分の順序付けを行うと、(F)に示すものとなる。
【0033】
そして、(C),(G)に示すように濃度値変換を行う。即ち、空部分に対しては、(C)に示すように、信号レベル数N1の信号レベルに対して、0〜S2の信号レベルを割当て、地上部分に対しては、(G)に示すように、信号レベル数N2の信号レベルに対して、S2〜2m −1の信号レベルを割当てる。従って、原画像と変換する濃度値(信号レベル)との関係は、(D)に示すように、0〜S1の信号レベルを0〜S2のレベルとし、S1〜2n −1の信号レベルをS2〜2m −1のレベルに変換することになる。従って、階調変換後のヒストグラムは、(E)に示すものとなり、空部分にも0〜S2の信号レベルを割当てることにより、雲の様子等を表示可能とし、且つ地上部分にはS2〜2m −1の信号レベルを割当てることにより、地上部分の観測物体の視認性を維持して表示することができる。
【0034】
図8は本発明の他の実施の形態の要部説明図であり、51はフレームメモリ部、52は信号レベル変換部、53は原画像ヒストグラム作成部、54は閾値比較部、55は順序付け処理部、56はローパスフィルタ、57は微分処理部、58はセレクタ(SEL)、59は空部分のヒストグラム演算部、60は地上部分のヒストグラム演算部、61はヒストグラム合成部、62はセレクタ(SEL)を示し、図1の画像信号処理部5の機能を示す。
【0035】
又図3に示す実施の形態の構成に対して、閾値TA,TBを切替えて、閾値比較部54に入力するセレクタ62を設けた構成に相当するもので、図3に於ける各部の名称と同一名称の部分は同一の機能を有するものであり、重複した説明は省略する。
【0036】
図9は閾値切替えによる処理説明図であり、(C1),(C2)は、図2に於ける(A1),(A2)と同一の原画像のヒストグラムと、変換後のヒストグラムとを示し、(D1),(D2)は図8に示す構成による原画像のヒストグラムと、変換後のヒストグラムとを示す。
【0037】
この実施の形態に於いては、原画像ヒストグラム作成部53により作成したヒストグラムに含まれる高調波成分をローパスフィルタ56により除去し、微分処理部57により変曲点Aを求め、この変曲点A以下の信号レベルを空部分とし、セレクタ62を制御して閾値TAを選択し、この閾値TAを閾値比較部54に入力する。又変曲点A以上の信号レベルを地上部分とし、セレクタ62を制御して閾値TB(<TA)を選択し、この閾値TBを閾値比較部54に入力する。
【0038】
従って、図9の(D1)に示す原画像のヒストグラムに於いて、閾値TAを超えた部分に対してはそれぞれ信号レベルを割当て、又斜線を施して示す閾値TAを超えない部分は、それぞれの0信号レベル近傍及び変曲点Aの信号レベル近傍にまとめるように信号レベルを割当てる。それにより、地上部分に対して、従来は図9の(C2)に示すように信号レベル数Naを割当てるものであるが、この実施の形態に於いては、図9の(D2)に示すように、信号レベル数Nb(>Na)を割当てることができる。それにより、地上部分の観測物体を識別できるように表示し、且つ空部分に於ける雲の形状等も表示することができる。
【0039】
図10及び図11は本発明の他の実施の形態のフローチャートであり、ステップ(b1)〜(b6)は、図4に示すフローチャートのステップ(a1)〜(a6)と同一であるから重複した説明は省略する。この実施の形態の図11に示すステップ(b7)に於いて、信号レベル0〜S1(原画像のヒストグラムの変曲点Aの信号レベルS1)に対して、閾値TAの画素数以下の信号レベルをカットして、空部分の原画像のヒストグラムに対する処理を行う。
【0040】
又信号レベルS1〜4095(12ビット構成の信号レベル)に対して、閾値TB以下の信号レベルをカットし、地上部分の原画像のヒストグラムに対する処理を行う(b8)。そして、残った信号レベルを並べ直し、割当レベルをi’とし、その総数Nを求める(b9)。そして、0〜1まで1/Nのステップで増加する関数B〔i〕を、B〔i〕=i×1/Nと定義する(b10)。次に、割当レベルを、表示レベル=256(B〔i〕−1/N)として、8ビットに変換する(b11)。この変換した値をヒストグラム変換用メモリ21(図1参照)に保存し(b12)、そして、フレームメモリから順次データ(12ビット)を読出して、ヒストグラム変換用メモリ21のアドレスAとし、このヒストグラム変換用メモリ21から階調変換したデータD(8ビット)を読出す(b13)。そして、DA変換器6によりアナログの赤外線画像信号に変換してモニタ7に入力する(b14)。
【0041】
図12は本発明の他の実施の形態の処理説明図であり、(A)は原画像のヒストグラムを示し、このヒストグラムの変曲点を境界として空部分と地上部分とに分け、空部分について、閾値TAの以下の画素数の信号レベルをカットし、地上部分について、閾値TB(<TA)以下の画素数の信号レベルをカットする。そして、残った信号レベルに対して順序付けを行うことにより、空部分は(B)に、地上部分は(F)にそれぞれ示すものとなる。
【0042】
そして、(C),(G)に示すように濃度値変換(階調変換)を行う。即ち、空部分に対しては、(C)に示すように、信号レベル数N1の信号レベルに対して、0〜S2のレベルを割当て、地上部分に対しては、(G)に示すように、信号レベル数N2の信号レベルに対して、S2〜2m −1のレベルを割当てる。従って、原画像と変換する濃度値(信号レベル)との関係は、(D)に示すように、0〜S1の信号レベルを、0〜S2の信号レベルとし、S1〜2n −1の信号レベルを、S2〜2m −1の信号レベルに変換することになる。従って、階調変換後のヒストグラムは、(E)に示すものとなり、空部分にも0〜S2の信号レベルを割当てることにより、雲の様子等を表示可能とし、且つ地上部分にはS2〜2m −1の信号レベルを割当てることにより、地上部分の観測物体の視認性を維持して表示することができる。
【0043】
図13は本発明の更に他の実施の形態の要部説明図であり、71はフレームメモリ部、72は信号レベル変換部、73は原画像ヒストグラム作成部、74は閾値比較部、75は順序付け処理部、76はヒストグラム演算部、77は閾値テーブルを示し、図1の画像信号処理部5の機能を示す。
【0044】
閾値テーブル77は、原画像ヒストグラム作成部73に於いて作成したヒストグラムの信号レベルをアドレスとし、その信号レベルが小さい程、大きい値の閾値を読出す構成とする。この場合の信号レベルと閾値との関係を、前述の地上部分についてはほぼ一定とし、空部分については一次関数や二次関数等に従って、信号レベルが小さい程、大きい値となるように構成して、閾値テーブル77に格納することができる。又ヒストグラムの変曲点の画素数を地上部分に対する閾値とし、空部分に対する閾値を前述のように変化する値とし、変曲点の画素数が変動した場合に、閾値テーブル77に格納した閾値に対して、その差分について加減算し、閾値比較部74に入力する閾値とすることもできる。又同様に、変曲点の信号レベルが変動し、信号レベルに対応して読出す閾値が変動する場合は、閾値テーブル74から閾値を読出す為のアドレス(信号レベル)に対して、変曲点の変動分を加減算してアドレスを生成する構成とすることも可能である。
【0045】
この閾値テーブル77から読出した信号レベル対応の閾値と、原画像ヒストグラム作成部73からの信号レベル対応の画素数とを比較し、閾値以下の画素数の信号レベルをカットし、順序付け処理部75により残った信号レベルを並べ直し、ヒストグラム演算部76により、空部分と地上部分とに割当てる信号レベルを求め、信号レベル変換部72に於いて、階調変換する。例えば、12ビット構成の赤外線画像信号を8ビット構成に変換する。
【0046】
図14は閾値設定説明図であり、(E1),(E2)は、図2に於ける(A1),(A2)及び図9に於ける(C1),(C2)と同様に、従来の原画像のヒストグラムと、変換後のヒストグラムとを示し、(F1),(F2)は、この実施の形態の原画像のヒストグラムと閾値テーブル77による閾値との関係及び変換後のヒストグラムとを示す。この(F1)に示すように、地上部分に対する閾値を例えば従来と同様の値とし、空部分に対しては、信号レベルが小さい程、大きい値となる閾値とする。
【0047】
従って、(F1)に於ける空部分の斜線を施した部分の画素数の信号レベルはカットされ、変換後のヒストグラムは、(F2)に示すように、空部分に割当てる信号レベル数より地上部分に割当てる信号レベル数Nbが多くなる。それにより、表示した地上部分に於ける観測物体の視認性を向上し、且つ空部分に於ける雲等の形状も表示可能とすることができる。
【0048】
図15及び図16は本発明のその他の実施の形態のフローチャートを示し、ステップ(c1)〜(c4)は、図4に示すフローチャートのステップ(a1)〜(a4)及び図10に示すフローチャートのステップ(b1)〜(b4)と同一であるから重複した説明は省略する。この実施の形態の図15に於けるステップ(c5)に於いて、閾値テーブル77からの閾値による画素数以下の信号レベルをカットする。そして、残った信号レベルを並べ直して、その総数Nを求める。その場合の割当レベルをi’とする(c6)。
【0049】
そして、0〜1まで1/Nのステップで増加する関数B〔i〕を、B〔i〕=i×1/N、と定義する(c7)。次に、割当レベルを、表示レベル=256(B〔i〕−1/N)として、8ビットに変換する(c8)。この変換した値をヒストグラム変換用メモリ21(図1参照)に保存し(c9)、フレームメモリから順次データ(12ビット)を読出して、ヒストグラム変換用メモリ21のアドレスAとし、このアドレスAによりヒストグラム変換用メモリ21から階調変換したデータD(8ビット)を読出して(c10)、12ビットから8ビットに階調変換し、DA変換器6によりアナログの赤外線画像信号に変換してモニタ7に入力する(c11)。
【0050】
図17は本発明の更に他の実施の形態の処理説明図であり、(A)は原画像のヒストグラムを示し、このヒストグラムの変曲点Aを境に空部分と地上部分とに分け、空部分については、閾値を信号レベルが小さい程、直線状に大きくなる値とし、地上部分については、一定の閾値とした場合を示す。従って、閾値を超えた画素数の空部分の信号レベル数はN1、地上部分の信号レベル数はN2となる。この場合、前述の各実施の形態と同様に、変曲点Aを求めて、その変曲点Aに於ける画素数を地上部分に対する閾値とし、空部分については、直線状又は曲線状に信号レベルに対応して変化する閾値とすることができる。
【0051】
このような閾値と比較して、閾値以下の信号レベルをカットして並べ直すと、空部分については(B)、地上部分については(F)にそれぞれ示すものとなる。そして、空部分に対しては(C)に示す濃度値(信号レベル)変換の特性とし、地上部分に対しては(G)に示す濃度値変換の特性とする。従って、原画像と変換後の濃度値の関係は(D)に示すものとなる。そして、変換後のヒストグラムは(E)に示すものとなる。この場合の閾値は、空部分に対して二次曲線等の曲線状に、信号レベルが小さくなる程、大きくなる値とし、地上部分に対しては、変曲点Aの画素数を基にした一定の値、又は信号レベルが大きい程、小さくなる値に設定することも可能である。又地上部分に対して小さい値で、空部分に対して大きい値となる連続した曲線状に、信号レベルに対する閾値を閾値テーブル77に設定することも可能である。
【0052】
【発明の効果】
以上説明したように、本発明は、赤外線撮像装置の撮像領域(視野内)に空部分等の低温部分と、これより温度が高い地上部分等の高温部分とを含む場合に、赤外線画像信号の信号レベルと画素数とによるヒストグラムを作成し、そのヒストグラムの変曲点を、低温部分と高温部分との境界とし、且つこの変曲点に於ける画素数を閾値として、この閾値以下の画素数の信号レベルをカットして並べ直して、低温部分と高温部分とに対する信号レベルの割当てを行って階調変換を行うものであり、低温部分と高温部分との境界に於ける画素数を閾値とし、又は低温部分に対する閾値を高温部分に対する閾値より大きい値とし、又は低温部分に対する閾値を、信号レベルが小さい程、大きい値とすることにより、春夏秋冬等の四季に応じ、或いは、天候による赤外線レベルの変化に対しても、地上部分等の高温部分に対して十分な信号レベル数を割当てることができるから、表示した赤外線画像の中の観測物体を明確に表示可能とすることができる。又低温部分に対しても、或る程度の観測目標が得られる赤外線画像の表示を可能とすることができる利点がある。従って、空と地上とを視野内に含む赤外線画像に於いて、特に地上部分に含まれる観測物体の視認性を向上して表示することができる。又空部分のように、観測物体を表示した時の雲等の観測目標も表示可能とすることができるから、各種の用途に適用することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の説明図である。
【図2】閾値設定処理の説明図である。
【図3】本発明の一実施の形態の要部説明図である。
【図4】本発明の一実施の形態のフローチャートである。
【図5】本発明の一実施の形態のフローチャートである。
【図6】本発明の一実施の形態のフローチャートである。
【図7】本発明の一実施の形態の処理説明図である。
【図8】本発明の他の実施の形態の要部説明図である。
【図9】閾値切替えを行う処理説明図である。
【図10】本発明の他の実施の形態のフローチャートである。
【図11】本発明の他の実施の形態のフローチャートである。
【図12】本発明の他の実施の形態の処理説明図である。
【図13】本発明の更に他の実施の形態の要部説明図である。
【図14】閾値設定説明図である。
【図15】本発明の更に他の実施の形態のフローチャートである。
【図16】本発明の更に他の実施の形態のフローチャートである。
【図17】本発明の更に他の実施の形態の処理説明図である。
【図18】従来例の説明図である。
【図19】従来例の処理説明図である。
【図20】ヒストグラムの説明図である。
【符号の説明】
1 光学系
2 赤外線検知器
3 増幅器
4 AD変換器(A/D)
5 画像信号処理部
6 DA変換器(D/A)
7 モニタ
10 フレームメモリ部
11 ヒストグラム作成部
12 ヒストグラム演算部
13,14 セレクタ(SEL)
15,16,17 フレームメモリ(RAM)
18 加算器
19 ヒストグラム作成用メモリ(RAM)
20 バッファ回路
21 ヒストグラム変換用メモリ(DP−RAM)
22 ヒストグラム格納用兼DSP作業用メモリ(RAM)
23 DSPプログラム格納用メモリ(ROM)
24 プロセッサ(DSP)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an infrared image signal processing apparatus capable of processing an infrared image signal by an infrared imaging device using an infrared detector and displaying it so that an observation object or the like in the background of the infrared image can be identified.
[0002]
[Prior art]
The infrared imaging device is capable of displaying an infrared image by detecting infrared rays having a radiation level corresponding to the temperature in the field of view. Therefore, unlike a normal television camera that detects visible light and displays an image, it is also possible to display an image in an imaging field at night or the like. Therefore, it is used in a wide range of fields such as surveillance cameras, night vision cameras, thermography, remote sensing, and forward monitoring devices. For example, it is also used for forward monitoring while mounted on a moving body or traveling. .
[0003]
For example, PtSi, InSn, and HgCdTe are mainly used for an infrared detector used in an infrared imaging device, and HgCdTe is mainly used for an 8 to 12 μm band. HgCdTe has sensitivity in a wide wavelength range depending on the composition ratio. As described above, the optical system is also configured corresponding to the wavelength sensitivity of the infrared detector, and a configuration in which the optical system and the detector are switched for any one band or both bands is also known. .
[0004]
The infrared detector can detect infrared rays over a wide temperature range from extremely low temperature to very high temperature. Therefore, the analog infrared image signal, which is detected by the infrared detector and converted into an electrical signal, is converted into a digital signal and processed, and usually converted into a digital signal of 12 bits or more in order to increase the temperature resolution. Is. On the other hand, the resolution by human eyes when displayed on the display device is about 256 gradations. Therefore, a configuration is adopted in which a 12-bit infrared image signal is converted into 8-bit and displayed. Such conversion of an n-bit (for example, 12 bits) digital infrared image signal to an m-bit (for example, 8 bits) digital infrared image signal is referred to as gradation conversion.
[0005]
For example, as shown in FIG. 18, a conventional infrared image signal processing apparatus including such a gradation conversion function is observed by an
[0006]
The histogram and gradation conversion in this case will be described with reference to FIG. (A) in the figure is the histogram of the original image, that is, 2 in the case of the n-bit configuration. n A histogram is shown with the signal level of −1 (4095 level when n = 12) on the horizontal axis and the Pixel (number of pixels) corresponding to each signal level on the vertical axis. When such a histogram is created in the
[0007]
This rearranged signal level is evenly assigned to the display level (for example, 256 bits of 8 bits). That is, as shown in (C), the rearranged N signal levels are on the horizontal axis, and the assigned gradation level (for example, 256 gradations by 8 bits) is the vertical axis. Based on this conversion relationship, conversion data for converting an infrared image signal having a 12-bit configuration into an 8-bit configuration is created. This converted data is shown in (D). That is, the horizontal axis indicates the signal level (for example, 4095 level) of the original image, and the vertical axis indicates the signal level after conversion (for example, 255 level), indicating the relationship between the original image and the density value (signal level) after processing. It will be a thing. Therefore, the converted histogram is as shown in (E). That is, it becomes a histogram similar to the histogram shown in (B), and can be displayed as an image obtained by faithfully processing the original image.
[0008]
When an infrared image is displayed with gradation conversion as described above, if a hot or cold object moves in the background, the histogram will not change if it is within the imaging screen. It can be displayed so that it can be distinguished. However, when a high-temperature or low-temperature object passes through the imaging screen at a high speed or when the infrared imaging device side moves at a high speed, the level and distribution of infrared rays in one screen change, so the histogram also changes. Since the conversion data of the gradation conversion changes due to the change in the histogram, the display relationship between the high-temperature or low-temperature object and the background changes, and the visibility of the object to be observed deteriorates.
[0009]
Therefore, in order to solve such a problem, the above-mentioned histogram is compared with a predetermined threshold value and the number of pixels, the signal level of the number of pixels equal to or less than the threshold value is cut, and a plurality of temperature regions By creating a histogram and assigning the number of signal levels after gradation conversion according to the number of signal levels in the divided temperature region, even if a hot or cold object crosses at high speed, the object can be distinguished from the background If the distribution of the infrared level changes from frame to frame, the histogram is averaged over a plurality of frames, thereby suppressing fluctuations in the display screen based on changes in the histogram from frame to frame and between frames. Means for performing gradation conversion based on histogram differences has been proposed (see, for example, Japanese Patent Application Laid-Open No. 2001-154646).
[0010]
[Problems to be solved by the invention]
In the field of view of the infrared imaging device, for example, when the sky and the ground are included and a flying object or a ground traveling object is used as an observation object, the ground is near room temperature and the sky is cooler than that. Therefore, it can be divided into a low temperature part and a high temperature part. For example, when the sky of the infrared imaging device does not include the sky, a histogram for an infrared image signal obtained by imaging only the ground as shown by 201 in FIG. 20 is obtained. When tone conversion is performed based on this, 202 is obtained. On the other hand, when the sky and the ground are included in the visual field of the infrared imaging device, a histogram as indicated by 211 in FIG. 20 is obtained. That is, the sky is a low temperature region, and the ground forms a higher temperature region. Then, when a predetermined threshold is set, the signal level of the number of pixels equal to or less than the threshold is cut, the remaining signal levels are rearranged, and gradation conversion is performed, a
[0011]
Since a flying object such as an airplane as an observation object by an infrared imaging device usually includes a high temperature, it can be clearly displayed in an empty portion in a low temperature region. On the other hand, an observation object such as a traveling vehicle on the ground may not have an extreme temperature difference compared to the temperature on the ground, so it is desirable to display this clearly and to increase visibility. Is. In addition, the position of the observation object on the ground can be confirmed with the topography or building as a target, but in the case of a flying object, the position can be confirmed with a cloud or the like as a target. Therefore, if all the sky parts have the same signal level, the display content has the same luminance, and when a high-temperature flying object is imaged, it can be displayed, but it is difficult to confirm the position. For this purpose, it is necessary to assign a predetermined number of signal levels to the sky and display a cloud or the like.
[0012]
In addition, the signal level of the sky part changes according to the four seasons or according to the weather. In this case as well, in the above-described conventional example, the histogram is compared with a certain threshold value, and is below the threshold value. The signal level of the number of pixels is cut and gradation conversion is performed, so the number of signal levels assigned to the sky and the ground changes, the display state of the observation object changes, and visibility decreases There is a problem to do.
[0013]
The present invention improves the visibility of an observation object by changing the threshold value according to the nature of the histogram of the original image and increasing the number of signal levels assigned to the higher temperature region than the low temperature region. Objective.
[0014]
[Means for Solving the Problems]
Referring to FIG. 1, the infrared image signal processing apparatus of the present invention is an infrared image signal processing apparatus that processes an infrared image signal by an
[0015]
The image signal processing unit 5 also includes a differentiation processing unit that obtains an inflection point by removing a harmonic component included in the histogram created by the histogram creation unit using a low-pass filter, and calculates the number of pixels at the inflection point. As a threshold value, a threshold value comparison unit that compares the number of pixels corresponding to the signal level constituting the histogram, an ordering processing unit that cuts and rearranges the signal level of the number of pixels equal to or less than the threshold value by the threshold value comparison unit, and an empty inflection point. A low-temperature part histogram calculation unit that performs signal level assignment processing for a low-temperature part and a high-temperature partial histogram that performs signal level assignment processing for a high-temperature part, divided into temperature regions of a low-temperature part such as a part and a high-temperature part such as the ground part The tone conversion data from the calculation unit, the low-temperature partial histogram calculation unit, and the high-temperature partial histogram calculation unit are combined to create a frame memory unit. Those having a signal level converter for converting a gradation of the read-out infrared image signal. Further, the inflection point of the histogram created by the
[0016]
Further, the image signal processing unit 5 includes a threshold value comparison unit that compares the number of pixels of the histogram created by the
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is an explanatory diagram of an embodiment of the present invention. 1 is an optical system including an infrared transmission lens and an optical scanning system, 2 is an infrared detector, 3 is an amplifier, 4 is an AD converter (A / D), 5 is an image signal processing unit, 6 is a DA converter (D / A), 7 is a monitor, 10 is a frame memory unit, 11 is a histogram creation unit, 12 is a histogram calculation unit, 13 and 14 are selectors (SEL), 15 , 16 and 17 are frame memories (RAM), 18 is an adder, 19 is a histogram creation memory (RAM), 20 is a buffer circuit, 21 is a histogram conversion memory (DP-RAM), and 22 is a histogram storage / DSP. A working memory (RAM), 23 is a DSP program storage memory (ROM), and 24 is a processor (DSP; digital signal processor). A for each memory indicates an address, and D indicates data.
[0018]
Infrared radiation radiated from the observation region (in the infrared imaging field of view) is incident on the
[0019]
The image signal processing unit 5 includes a
[0020]
The
[0021]
The
[0022]
The present invention does not set a fixed threshold value in the processing of the histogram in the
[0023]
On the other hand, in one embodiment of the present invention, as shown in FIG. 2 (B1), an inflection point A in the curve of the histogram of the original image is obtained, and this inflection point A is obtained. The boundary between the empty part of the cold part and the ground part of the hot part. The number of pixels at the inflection point A is set as a threshold value. Then, the signal level of pixels below this threshold is cut, and the signal level B is set in the gradation conversion to determine the number of signal levels assigned to the sky portion and the number of signal levels assigned to the ground portion. Accordingly, the number of signal levels is assigned to the sky portion, and the gradation level conversion is performed so that the visibility of the observation object on the ground can be maintained by setting the number of signal levels Nb assigned to the ground portion as Nb> Na. Can do. In addition, even if the histogram of the original image changes according to the change in the distribution of the infrared signal level for each frame due to the high-speed movement of the infrared imaging device or the high-speed movement of the high-temperature object, the change in the histogram due to the gradation conversion is suppressed. The visibility of the object can be improved.
[0024]
FIG. 3 is an explanatory view of the main part of an embodiment of the present invention, 31 is a frame memory unit, 32 is a signal level conversion unit, 33 is an original image histogram creation unit, 34 is a threshold comparison unit, and 35 is an ordering processing unit. , 36 is a low-pass filter, 37 is a differentiation processing unit, 38 is a selector (SEL), 39 is a histogram calculation unit for the sky portion, 40 is a histogram calculation unit for the ground portion, and 41 is a histogram synthesis unit. The function of the processing unit 5 is shown.
[0025]
The
[0026]
Further, the histogram of the original image is compared with the above-mentioned threshold value in the threshold
[0027]
4, 5 and 6 are flow charts of an embodiment of the present invention, which will be described with reference to FIGS. The
[0028]
The harmonic component contained in the histogram curve is removed from the original image histogram by the low-pass filter 36 (see FIG. 3) as described above (a5), differentiated by the
[0029]
Then, the
[0030]
Further, the signal level of the number of pixels equal to or less than the threshold is cut with respect to the signal levels S1 to 4095, that is, the ground portion (a12). The remaining signal levels are rearranged to determine the total number N2. The allocation level at this time is set to i2 ′ (a13). Then, a function B2 [i2] that increases in steps of 1 / N2 from 0 to 1 is defined (a14), and the allocation level is set to display level = (256-S2) × (B [i1 ′] − 1 / N ) + S2 and converted to 8 bits (a15). The converted value is stored in the histogram conversion memory 21 (a16). The above processing shows the histogram conversion processing of the image data of the ground part.
[0031]
Then, the data (12 bits) is sequentially read from the frame memory to be used as the address A of the
[0032]
FIG. 7 is an explanatory diagram of processing according to an embodiment of the present invention. FIG. 7A shows a histogram of an original image, which is divided into an empty portion and a ground portion according to an inflection point level S1, and has a pixel number equal to or less than a threshold value. When the signal level is cut and the empty part is ordered with respect to the signal level number N1 of the empty part and the signal level number N2 of the ground part, the result is as shown in (B). F).
[0033]
Then, density value conversion is performed as shown in (C) and (G). That is, as shown in (C) for the empty portion, the signal level of 0 to S2 is assigned to the signal level of the signal level number N1, and as shown in (G) for the ground portion. In addition, S2-2 for the signal level of the signal level number N2. m Assign a signal level of -1. Therefore, as shown in (D), the relationship between the original image and the density value (signal level) to be converted is such that the signal level of 0 to S1 is 0 to S2, and S1 to S2 n -1 signal level S2-2 m The level is converted to -1. Therefore, the histogram after gradation conversion is as shown in (E), and by assigning a signal level of 0 to S2 to the sky part, it is possible to display the state of clouds and the like, and to the ground part, S2-2. m By assigning a signal level of −1, the visibility of the observation object on the ground part can be maintained and displayed.
[0034]
FIG. 8 is an explanatory diagram of the main part of another embodiment of the present invention, in which 51 is a frame memory unit, 52 is a signal level conversion unit, 53 is an original image histogram creation unit, 54 is a threshold value comparison unit, and 55 is an ordering process. , 56 is a low-pass filter, 57 is a differentiation processing unit, 58 is a selector (SEL), 59 is a histogram calculation unit for the sky portion, 60 is a histogram calculation unit for the ground portion, 61 is a histogram synthesis unit, and 62 is a selector (SEL). And shows the function of the image signal processing unit 5 of FIG.
[0035]
3 corresponds to a configuration in which a
[0036]
FIG. 9 is an explanatory view of processing by threshold switching. (C1) and (C2) show the same original image histogram as (A1) and (A2) in FIG. (D1) and (D2) show the histogram of the original image having the configuration shown in FIG. 8 and the histogram after conversion.
[0037]
In this embodiment, harmonic components included in the histogram created by the original image
[0038]
Accordingly, in the histogram of the original image shown in (D1) of FIG. 9, signal levels are respectively assigned to portions that exceed the threshold TA, and portions that do not exceed the threshold TA indicated by hatching are respectively The signal levels are assigned so as to be combined in the vicinity of the 0 signal level and in the vicinity of the signal level at the inflection point A. As a result, a signal level number Na is conventionally assigned to the ground portion as shown in FIG. 9 (C2). In this embodiment, as shown in FIG. 9 (D2). Can be assigned a signal level number Nb (> Na). Thereby, it is possible to display the observation object on the ground part so that it can be identified, and it is also possible to display the shape of the cloud in the sky part.
[0039]
10 and 11 are flowcharts of another embodiment of the present invention, and steps (b1) to (b6) are the same as steps (a1) to (a6) of the flowchart shown in FIG. Description is omitted. In the step (b7) shown in FIG. 11 of this embodiment, the signal level equal to or lower than the number of pixels of the threshold TA with respect to the
[0040]
Further, the signal level below the threshold value TB is cut with respect to the signal levels S1 to 4095 (signal level of 12-bit configuration), and the process for the histogram of the original image of the ground portion is performed (b8). Then, the remaining signal levels are rearranged, the allocation level is set to i ′, and the total number N is obtained (b9). A function B [i] that increases from 0 to 1 in steps of 1 / N is defined as B [i] = i × 1 / N (b10). Next, the allocation level is converted to 8 bits with the display level = 256 (B [i] −1 / N) (b11). The converted value is stored in the histogram conversion memory 21 (see FIG. 1) (b12), and the data (12 bits) are sequentially read out from the frame memory and used as the address A of the
[0041]
FIG. 12 is an explanatory diagram of processing according to another embodiment of the present invention. FIG. 12A shows a histogram of an original image, which is divided into an empty portion and a ground portion with an inflection point of this histogram as a boundary. The signal level of the number of pixels below the threshold TA is cut, and the signal level of the number of pixels below the threshold TB (<TA) is cut for the ground portion. Then, by ordering the remaining signal levels, the sky part is shown in (B) and the ground part is shown in (F).
[0042]
Then, density value conversion (gradation conversion) is performed as shown in (C) and (G). That is, as shown in (C) for the empty part, 0 to S2 levels are assigned to the signal level of the signal level number N1, and as shown in (G) for the ground part. , S2 to 2 for the signal level number N2 m Assign a level of -1. Therefore, as shown in (D), the relationship between the original image and the density value (signal level) to be converted is such that the signal level of 0 to S1 is the signal level of 0 to S2, and S1 to S2 n −1 signal level, S2-2 m The signal level is converted to -1. Therefore, the histogram after gradation conversion is as shown in (E), and by assigning a signal level of 0 to S2 to the sky part, it is possible to display the state of clouds and the like, and to the ground part, S2-2. m By assigning a signal level of −1, the visibility of the observation object on the ground part can be maintained and displayed.
[0043]
FIG. 13 is an explanatory view of the main part of still another embodiment of the present invention, in which 71 is a frame memory unit, 72 is a signal level conversion unit, 73 is an original image histogram creation unit, 74 is a threshold comparison unit, and 75 is an ordering unit. The processing unit, 76 is a histogram calculation unit, 77 is a threshold value table, and shows the function of the image signal processing unit 5 of FIG.
[0044]
The threshold value table 77 has a configuration in which the signal level of the histogram created in the original image
[0045]
The threshold corresponding to the signal level read from the threshold table 77 is compared with the number of pixels corresponding to the signal level from the original image
[0046]
FIG. 14 is an explanatory diagram of threshold setting, and (E1) and (E2) are the same as those of (A1) and (A2) in FIG. 2 and (C1) and (C2) in FIG. The histogram of the original image and the histogram after conversion are shown, and (F1) and (F2) show the relationship between the histogram of the original image and the threshold value by the threshold value table 77 of this embodiment, and the histogram after conversion. As shown in (F1), the threshold value for the ground portion is set, for example, to a value similar to the conventional value, and the empty portion is set to a threshold value that increases as the signal level decreases.
[0047]
Accordingly, the signal level of the number of pixels of the hatched portion of the empty portion in (F1) is cut, and the converted histogram shows the ground portion from the number of signal levels assigned to the empty portion as shown in (F2). The number Nb of signal levels to be assigned to increases. Thereby, the visibility of the observed object in the displayed ground portion can be improved, and the shape of a cloud or the like in the sky portion can be displayed.
[0048]
15 and 16 show flowcharts of other embodiments of the present invention, and steps (c1) to (c4) are steps (a1) to (a4) of the flowchart shown in FIG. 4 and the flowchart shown in FIG. Since it is the same as steps (b1) to (b4), a duplicate description is omitted. In step (c5) in FIG. 15 of this embodiment, the signal level equal to or less than the number of pixels according to the threshold value from the threshold value table 77 is cut. Then, the remaining signal levels are rearranged to determine the total number N. In this case, the allocation level is i ′ (c6).
[0049]
A function B [i] that increases from 0 to 1 in 1 / N steps is defined as B [i] = i × 1 / N (c7). Next, the allocation level is converted to 8 bits with the display level = 256 (B [i] −1 / N) (c8). The converted value is stored in the histogram conversion memory 21 (see FIG. 1) (c9), data (12 bits) is sequentially read out from the frame memory, and used as the address A of the
[0050]
FIG. 17 is an explanatory diagram of processing according to still another embodiment of the present invention. FIG. 17A shows a histogram of an original image. The histogram is divided into an empty portion and a ground portion with an inflection point A as a boundary. For the portion, the threshold value is set to a value that increases linearly as the signal level is small, and for the ground portion, a constant threshold value is shown. Therefore, the number of signal levels in the sky portion of the number of pixels exceeding the threshold is N1, and the number of signal levels in the ground portion is N2. In this case, as in the above-described embodiments, the inflection point A is obtained, the number of pixels at the inflection point A is set as a threshold value for the ground portion, and the empty portion is signaled linearly or curvedly. It can be a threshold value that changes according to the level.
[0051]
When compared with such a threshold value, signal levels below the threshold value are cut and rearranged, the sky portion is shown in (B), and the ground portion is shown in (F). Then, the density value (signal level) conversion characteristic shown in (C) is used for the sky part, and the density value conversion characteristic shown in (G) is used for the ground part. Therefore, the relationship between the original image and the converted density value is as shown in (D). The converted histogram is as shown in (E). The threshold value in this case is a curve such as a quadratic curve with respect to the sky part, and becomes a value that increases as the signal level decreases. It is also possible to set a constant value or a value that decreases as the signal level increases. It is also possible to set the threshold value for the signal level in the threshold value table 77 in a continuous curve having a small value for the ground portion and a large value for the sky portion.
[0052]
【The invention's effect】
As described above, the present invention includes an infrared image signal in the case where the imaging region (in the field of view) of the infrared imaging device includes a low temperature part such as a sky part and a high temperature part such as a ground part having a higher temperature. Create a histogram based on the signal level and the number of pixels, use the inflection point of the histogram as the boundary between the low temperature part and the high temperature part, and use the number of pixels at this inflection point as a threshold value. The signal level is cut and rearranged, and the signal level is assigned to the low temperature portion and the high temperature portion to perform gradation conversion. The threshold value is the number of pixels at the boundary between the low temperature portion and the high temperature portion. Or by setting the threshold value for the low temperature portion to a value larger than the threshold value for the high temperature portion, or setting the threshold value for the low temperature portion to a larger value as the signal level is smaller, A sufficient number of signal levels can be assigned to high-temperature parts such as the ground even when the infrared level changes due to the weather, so that the observed object in the displayed infrared image can be clearly displayed. it can. In addition, there is an advantage that it is possible to display an infrared image from which a certain observation target can be obtained even in a low temperature part. Therefore, in the infrared image including the sky and the ground in the field of view, the visibility of the observation object included in the ground portion can be improved and displayed. Moreover, since the observation target such as a cloud when the observation object is displayed can be displayed like the sky part, it can be applied to various uses.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of an embodiment of the present invention.
FIG. 2 is an explanatory diagram of a threshold setting process.
FIG. 3 is an explanatory diagram of relevant parts of an embodiment of the present invention.
FIG. 4 is a flowchart of an embodiment of the present invention.
FIG. 5 is a flowchart of an embodiment of the present invention.
FIG. 6 is a flowchart of an embodiment of the present invention.
FIG. 7 is a process explanatory diagram of an embodiment of the present invention.
FIG. 8 is an explanatory diagram of a main part of another embodiment of the present invention.
FIG. 9 is an explanatory diagram of processing for performing threshold switching.
FIG. 10 is a flowchart of another embodiment of the present invention.
FIG. 11 is a flowchart of another embodiment of the present invention.
FIG. 12 is an explanatory diagram of processing according to another embodiment of the present invention.
FIG. 13 is an explanatory diagram of relevant parts of still another embodiment of the present invention.
FIG. 14 is an explanatory diagram of threshold setting.
FIG. 15 is a flowchart of still another embodiment of the present invention.
FIG. 16 is a flowchart of still another embodiment of the present invention.
FIG. 17 is a process explanatory diagram of still another embodiment of the present invention.
FIG. 18 is an explanatory diagram of a conventional example.
FIG. 19 is a process explanatory diagram of a conventional example.
FIG. 20 is an explanatory diagram of a histogram.
[Explanation of symbols]
1 Optical system
2 Infrared detector
3 Amplifier
4 AD converter (A / D)
5 Image signal processor
6 DA converter (D / A)
7 Monitor
10 frame memory
11 Histogram creation part
12 Histogram calculator
13, 14 Selector (SEL)
15, 16, 17 Frame memory (RAM)
18 Adder
19 Histogram creation memory (RAM)
20 Buffer circuit
21 Memory for histogram conversion (DP-RAM)
22 Histogram storage and DSP work memory (RAM)
23 DSP program storage memory (ROM)
24 processor (DSP)
Claims (3)
前記赤外線検知器による赤外線画像信号をディジタル信号に変換して処理する画像信号処理部を有し、
該画像信号処理部は、前記赤外線画像信号をディジタル信号に変換して入力するフレームメモリ部と、
前記赤外線画像信号の信号レベルに対する画素数を示すヒストグラムを作成するヒストグラム作成部と、
該ヒストグラム作成部により作成したヒストグラムの変曲点を求め、該変曲点を境界として温度領域を分け、前記ヒストグラムの変曲点を境界として分けた高温部分に対する閾値より低温部分に対する閾値を大きい値に設定し、該閾値以下の画素数の信号レベルをカットして、残りの信号レベルを並べ直し、前記温度領域対応に信号レベルを割当てて階調変換用データを作成し、該階調変換用データに従って前記フレームメモリ部から読出した赤外線画像信号の階調を変換するヒストグラム演算部とを含む構成を有する
ことを特徴とする赤外線画像信号処理装置。In an infrared image signal processing apparatus for processing an infrared image signal by an infrared detector to display an infrared image,
An image signal processing unit for converting an infrared image signal from the infrared detector into a digital signal and processing the digital signal;
The image signal processing unit converts the infrared image signal into a digital signal and inputs the frame memory unit;
A histogram creating unit that creates a histogram indicating the number of pixels with respect to the signal level of the infrared image signal;
A histogram inflection point created by the histogram creation unit is obtained, a temperature region is divided with the inflection point as a boundary, and a threshold value for a low temperature portion is larger than a threshold value for a high temperature portion divided with the inflection point of the histogram as a boundary And cut the signal level of the number of pixels equal to or less than the threshold, rearrange the remaining signal levels, assign the signal level corresponding to the temperature region, and create gradation conversion data . An infrared image signal processing apparatus comprising: a histogram calculation unit that converts a gradation of an infrared image signal read from the frame memory unit according to data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002094521A JP4147456B2 (en) | 2002-03-29 | 2002-03-29 | Infrared image signal processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002094521A JP4147456B2 (en) | 2002-03-29 | 2002-03-29 | Infrared image signal processor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003296728A JP2003296728A (en) | 2003-10-17 |
JP4147456B2 true JP4147456B2 (en) | 2008-09-10 |
Family
ID=29386988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002094521A Expired - Fee Related JP4147456B2 (en) | 2002-03-29 | 2002-03-29 | Infrared image signal processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4147456B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7800624B2 (en) | 2002-07-30 | 2010-09-21 | Sony Corporation | Memory device signal processing apparatus image signal processing apparatus and methods of the same |
CN100393125C (en) * | 2005-02-05 | 2008-06-04 | 威盛电子股份有限公司 | Method for processing image frame |
JP4157592B2 (en) | 2005-10-12 | 2008-10-01 | 松下電器産業株式会社 | Visual processing device, display device, visual processing method, program, and integrated circuit |
JP4571923B2 (en) * | 2006-03-23 | 2010-10-27 | 富士通株式会社 | Histogram projection processing frequency threshold setting apparatus, method, and recording medium recording the program. |
CN101427559B (en) * | 2006-04-19 | 2011-11-30 | 松下电器产业株式会社 | Visual processing device, visual processing method, display device, and integrated circuit |
WO2007125732A1 (en) | 2006-04-28 | 2007-11-08 | Panasonic Corporation | Visual processing apparatus, visual processing method, program, recording medium, display, and integrated circuit |
JP4744470B2 (en) * | 2007-03-30 | 2011-08-10 | 富士通テン株式会社 | Histogram creation apparatus and method |
JP5211864B2 (en) * | 2008-06-04 | 2013-06-12 | 株式会社ニコン | Image processing device |
CN101515987B (en) * | 2008-12-30 | 2012-04-25 | 中国资源卫星应用中心 | Method for radiometric correction of remote sensing image taken by rotary scan multiple parallel-scan infrared camera |
JP5742722B2 (en) * | 2009-11-05 | 2015-07-01 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
WO2011074413A1 (en) * | 2009-12-14 | 2011-06-23 | 日本電気株式会社 | Image generation apparatus, image generation method and image generation program |
JP5640423B2 (en) * | 2010-03-26 | 2014-12-17 | 日本電気株式会社 | Infrared imaging device and infrared image display method |
CN102540273B (en) * | 2012-03-07 | 2014-02-19 | 北京空间机电研究所 | Double-band detector and oversampling detecting method using double-band detector |
CN103728024A (en) * | 2012-10-10 | 2014-04-16 | 四川金信石信息技术有限公司 | Infrared temperature monitoring system for miniature cabinet |
EP3496032A4 (en) * | 2016-08-04 | 2020-03-25 | Sony Corporation | Image processing apparatus and image processing method |
-
2002
- 2002-03-29 JP JP2002094521A patent/JP4147456B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003296728A (en) | 2003-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4147456B2 (en) | Infrared image signal processor | |
US20180246868A1 (en) | Image processing apparatus, control method image processing system, and program for display of annotations | |
JP6116272B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2010016743A (en) | Distance measuring apparatus, distance measuring method, distance measuring program, or imaging device | |
US5388138A (en) | X-ray diagnostic apparatus | |
Frost et al. | A digital video acquisition system for extraction of subvisual information in diagnostic medical imaging | |
CN102300049A (en) | Image signal processing system | |
JP2012165213A (en) | Image processing apparatus | |
US8749666B2 (en) | Image capturing apparatus, data generating apparatus, and non-transistory storage medium generating data of moving image file including raw data | |
WO2013100026A1 (en) | Image processing device, image processing system, image processing method, and image processing program | |
JP6817779B2 (en) | Image processing equipment, its control method, programs and recording media | |
JP2013200640A (en) | Image processing device, image processing system, image processing method and program | |
JP2013153429A (en) | Image processing apparatus, image display system, image processing method and image processing program | |
JP2005236588A (en) | Image data conversion device and camera device | |
US4827492A (en) | Digital imaging system with grey scale setting, especially for the display of blood vessels | |
US20130162805A1 (en) | Image processing apparatus, image processing system, image processing method, and program for processing a virtual slide image | |
JP2009211313A (en) | Image processing apparatus, image processing method, and image processing program | |
JP4686803B2 (en) | Infrared image display device | |
JP5280940B2 (en) | Specific color detection circuit | |
EP1411472A2 (en) | Gradation conversion of an image | |
US9197822B1 (en) | Array augmented parallax image enhancement system and method | |
WO2020084894A1 (en) | Multi-camera system, control value calculation method and control device | |
WO2016067507A1 (en) | Image processing apparatus, monitoring camera system, image processing method and program | |
JP2021082069A (en) | Image processing system, imaging apparatus, image processing method, and program | |
JP6386843B2 (en) | Image processing apparatus, image processing method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080611 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |