JP5640423B2 - 赤外線撮像装置及び赤外線画像の表示方法 - Google Patents

赤外線撮像装置及び赤外線画像の表示方法 Download PDF

Info

Publication number
JP5640423B2
JP5640423B2 JP2010071672A JP2010071672A JP5640423B2 JP 5640423 B2 JP5640423 B2 JP 5640423B2 JP 2010071672 A JP2010071672 A JP 2010071672A JP 2010071672 A JP2010071672 A JP 2010071672A JP 5640423 B2 JP5640423 B2 JP 5640423B2
Authority
JP
Japan
Prior art keywords
specific target
aircraft
infrared
temperature information
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010071672A
Other languages
English (en)
Other versions
JP2011203159A (ja
Inventor
隆志 吉田
隆志 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010071672A priority Critical patent/JP5640423B2/ja
Publication of JP2011203159A publication Critical patent/JP2011203159A/ja
Application granted granted Critical
Publication of JP5640423B2 publication Critical patent/JP5640423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、赤外線撮像装置及び赤外線画像の表示方法に関し、特に、ヘリコプタや小型飛行機などの航空機に搭載される赤外線撮像装置及び航空機の運航を支援する赤外線画像の表示方法に関する。
赤外線撮像装置は、物体から放射される赤外線を検知するものであり、夜間や視界が悪い悪天候時においても画像を取得できるという特徴がある。そこで、赤外線撮像装置を医療用や消防防災用、警備用のヘリコプタや小型飛行機などの航空機に搭載し、赤外線撮像装置で撮像した赤外線画像を表示して運航の支援に利用している。
このような赤外線撮像装置は、航空機の進行方向を撮像して被写体から放射される赤外線を検知する検知部と、検知部から出力される信号を処理する処理部と、赤外線画像を表示する表示部などで構成される。また、検知部は、集光光学系及び検知器などからなり、マウントにより航空機に固定される。
上記赤外線撮像装置では、目標物から放射された赤外線は集光光学系によって検知器に集光され、集光された赤外線は検知器で電気信号に変換されて処理部に送られ、処理部では電気信号を温度情報に変換して二次元の温度情報を生成し、表示部で二次元の温度情報に基づく赤外線画像を表示する。そして、操縦士は赤外線画像から運航上の指標となる対象や障害物となる対象などを識別し、それらを利用して航空機を制御する。
このようなヘリコプタに搭載される赤外線撮像装置として、例えば、下記特許文献1には、空中を移動可能な機体と、機体の位置を特定する機体位置特定手段と、機体に搭載され、地表面上の目標物を撮影する撮影手段と、機体に対して、撮影手段の向いている方向を検出する方向検出手段と、地表面の三次元的な位置を表すデータを記録しておく地表面記録手段と、機体位置特定手段、撮影手段、方向検出手段および地表面記録手段からの出力に応答し、機体の位置から撮影手段の向いている方向に延ばした直線と地表面との交点を算出し、目標物の位置として特定する演算処理手段とを含む位置特定装置が開示されている。
特開平8−285590号公報
ここで、赤外線画像は物体の温度に応じて階調を変化させた画像(例えば、白黒表示の場合は高温部を白、低温部を黒、疑似カラーの場合は高温部を赤、低温部を青などで表示した画像)であるため、目視では見えない、若しくは見にくい対象であっても検知することができる。そこで、航空機の離着陸時や飛行時、特に夜間や視界が悪い時の離着陸時や飛行時に赤外線画像を利用することにより、航空機を安全に操縦することができる。
例えば、離着陸地点(例えば、滑走路やヘリポート)近傍の建物や他の航空機、人物などは、空や地表、遠方の物体などの背景と温度差があり、赤外線画像で識別することができるため、航空機の操縦士はこれらを指標にして航空機を離着陸させることができる。
また、航空機の進行方向の比較的大きい建物も、空や地表、遠方の物体などの背景と温度差があり、赤外線画像で識別することができるため、航空機の操縦士はこれらを指標にして航空機を安全に飛行させることができる。
一方、赤外線画像では、温度の高い対象は白黒表示では白く、疑似カラーでは赤く表示されるが、離着陸地点近傍の建物や他の航空機、人物、航空機の進行方向の比較的大きい建物の温度が十分に高くないと、これらは目立つように表示されない。そのため、航空機の操縦士は、離着陸時や飛行時に障害となる対象(これらを総称して特定対象と呼ぶ。)を容易に識別することができず、航空機を安全に操縦することができないという問題があった。
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、航空機の離着陸時や飛行時に障害となる特定対象を操縦士が容易に認識できるように赤外線画像を表示することができる赤外線撮像装置及び赤外線画像の表示方法を提供することにある。
上記目的を達成するため、本発明は、航空機に搭載される赤外線撮像装置であって、前記航空機に固定され、被写体から放射される赤外線を検知する検知部と、前記検知部から順次出力される信号に基づいて前記被写体の二次元の温度情報を生成する処理部と、前記二次元の温度情報に基づく赤外線画像を表示する表示部とを少なくとも備え、前記処理部は、前記二次元の温度情報に基づいて前記被写体から予め設定した前記航空機の離着陸地点近傍の建物又は他の航空機又は人物、もしくは飛行時の進行方向の建物である特定対象を抽出し、前記特定対象の全部又は一部の温度情報を予め定めた高い値に設定して、前記特定対象を識別可能にするものである。
また、本発明は、航空機に搭載される赤外線撮像装置を用いた赤外線画像の表示方法であって、前記航空機に固定される検知部を用いて、被写体から放射される赤外線を検知する第1ステップと、前記検知部から順次出力される信号に基づいて前記被写体の二次元の温度情報を生成する第2ステップと、
前記二次元の温度情報に基づいて前記被写体から予め設定した前記航空機の離着陸地点近傍の建物又は他の航空機又は人物、もしくは飛行時の進行方向の建物である特定対象を抽出する第3ステップと、前記特定対象の全部又は一部の温度情報を予め定めた高い値に設定して、前記特定対象を識別可能にする第4ステップと、前記二次元の温度情報に基づく赤外線画像を表示する第5ステップと、を有するものである。
本発明の赤外線撮像装置及び赤外線画像の表示方法によれば、航空機の離着陸時や飛行時に障害となる特定対象を操縦士が容易に認識できるように赤外線画像を表示することができる。
その理由は、赤外線撮像装置は、検知部から出力される信号に基づいて生成した被写体の二次元の温度情報から、予め定められたルールに従って、離着陸地点近傍の建物や他の航空機、人物、航空機の進行方向の比較的高い建物などの離着陸時や飛行時に障害となる特定対象を抽出し、特定対象の温度情報を予め定めた高い値に設定して、特定対象を識別可能に表示するからである。
また、赤外線撮像装置は、二次元の温度情報から特定対象を抽出した場合には、特定対象を抽出したことを操縦士に知らせる警告を行うからである。
本発明の一実施例に係るヘリコプタの構成を模式的に示す斜視図である。 本発明の一実施例に係る赤外線撮像装置の構成を示すブロック図である。 本発明の一実施例に係る検知器の構成を示す回路図である。 本発明の一実施例に係る処理部の構成を示すブロック図である。 本発明の一実施例に係る処理部に含まれる演算部の構成を示すブロック図である。 本発明の一実施例に係る赤外線撮像装置を用いた赤外線画像の表示手順を示すフローチャート図である。 本発明の一実施例に係る赤外線撮像装置で撮像した赤外線画像(離着陸地点近傍の画像)の一例を示す図である。 図7の赤外線画像の特定対象(建物、照明灯)を識別できるように処理した画像の一例を示す図である。 本発明の一実施例に係る赤外線撮像装置で撮像した赤外線画像(航空機の進行方向の画像)の他の例を示す図である。 図9の赤外線画像の特定対象(高い建物)を識別できるように処理した画像の一例を示す図である。
背景技術で示したように、ヘリコプタや小型飛行機などの航空機に赤外線撮像装置を搭載し、進行方向を撮像して取得した赤外線画像を運航の支援に利用している。しかしながら、赤外線画像は、高温の対象が目立つように表示されるため、様々な温度の様々な物体が存在する状況では、離着陸地点近傍の建物や他の航空機、人物、航空機の進行方向の比較的高い建物などの航空機の離着陸時や飛行時に障害となる特定対象が識別しにくいという問題があった。
ここで、離着陸時に地表の近くにいる航空機から見ると、離着陸地点近傍の建物は空や地表面が背景になるが、空の温度は非常に低く、また、滑走路などの地表面の温度はほぼ均一であることから、その境界を特定することができる。
また、離着陸時に地表の近くにいる航空機から見ると、離着陸地点近傍の他の航空機や人物は空や地表面、建物などが背景になるが、空の温度は非常に低く、滑走路などの地表面の温度はほぼ均一であり、また、材料が異なると放射率や暖まり方/冷え方が変化し、温度差が生じることから、その境界を特定することができる。
また、低空を飛行している航空機から見ると、進行方向の比較的高い建物は空や遠方の物体が背景になるが、空の温度は非常に低く、また、遠方の物体から放射される赤外線は距離に応じて吸収されて温度が低く表示されることから、その境界を特定することができる。
更に、一般的に建物は比較的長い直線や曲線で構成されており、また、飛行機やヘリコプタなどの航空機、人物は特徴的な形状であることから、公知のパターン認識技術により特定可能である。
そこで、本発明の一実施の形態では、検知部から出力される信号に基づいて生成した被写体の二次元の温度情報から、離着陸地点近傍の建物や他の航空機、人物、航空機の進行方向の比較的高い建物などの航空機の離着陸時や飛行時に障害となる特定対象を抽出し、特定対象の輪郭や内部の画素の温度情報を予め定めた高い値に設定して、特定対象を強調して赤外線画像を表示する。また、特定対象を抽出した場合には、特定対象を抽出したことを操縦士に知らせる警告を行い、特定対象が見過ごされないようにする。
これにより、操縦士は様々な対象が表示される赤外線画像から、航空機の離着陸時や飛行時に障害となる特定対象を簡単に識別することができ、安全に航空機を操縦することができる。
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る赤外線撮像装置及び赤外線画像の表示方法について、図1乃至図10を参照して説明する。図1は、本発明の一実施例に係るヘリコプタの構成を模式的に示す斜視図であり、図2は、赤外線撮像装置の構成を模式的に示すブロック図である。また、図3は、検知器の構成を示す回路図であり、図4は、処理部の構成を示すブロック図、図5は、処理部の中の演算部の構成を示すブロック図である。また、図6は、本実施例の赤外線撮像装置を用いて赤外線画像を表示する手順を示すフローチャート図であり、図7乃至図10は、本実施例の赤外線撮像装置を用いて撮像した赤外線画像(図7及び図9は処理前の画像、図8及び図10は処理後の画像)の一例を示す図である。
図1に示すように、本実施例の赤外線撮像装置20は、夜間や視界が悪い環境でも使用される医療用や消防防災用、警備用などのヘリコプタや小型飛行機などの航空機(本実施例ではヘリコプタ10とする。)に設置されるものである。
この赤外線撮像装置20は、図2に示すように、マウント24によりヘリコプタ10の所定の位置(例えば、ヘリコプタ10の底部)に固定され、ヘリコプタ10の進行方向を撮像して被写体から放射される赤外線を検知する検知部21と、検知部21から出力される信号を処理して被写体の二次元の温度情報を生成すると共に、離着陸地点近傍の建物や他の航空機、人物、進行方向の比較的高い建物などの航空機の離着陸時や飛行時に障害となる対象(特定対象)を識別しやすくする処理を行う処理部25と、二次元の温度情報に基づく赤外線画像を表示する表示部26と、必要に応じて、特定対象の選択などの操作を行う操作部27などで構成される。また、上記検知部21は、レンズやミラーなどの集光光学系22と、入射した赤外線を電気信号に変換する検知器23などで構成される。
なお、ヘリコプタ10の進行方向とは、ヘリコプタ10の正面のみならず、正面の上方、下方、側方を含む。また、図2では、検知部21と処理部25を別々に構成しているが、検知部21と処理部25を一体的に構成してもよい。また、本実施例では、検知部21でヘリコプタ10の進行方向を撮像する構成とするが、撮像方向は進行方向に限定されず、例えば、ヘリコプタ10の下方などを撮像する構成としてもよい。
以下、検知器23と処理部25の詳細について説明する。
[検知器]
図3に示すように、検知器23は、複数の画素が二次元のマトリクス状に配列された赤外線検出素子と、赤外線検出素子からの信号を処理する信号処理部などで構成され、信号処理部は、基板内に作り込まれる内部回路と、基板外に設けられる外部回路などで構成される。
赤外線検出素子の各々の画素は、例えば、ボロメータ23aなどの温度抵抗素子とMOSトランジスタ23bなどの選択素子とで構成され、MOSトランジスタ23bのソースはGNDに接続され、MOSトランジスタ23bのドレインはボロメータ23aを介して垂直信号線23dに接続され、MOSトランジスタ23bのゲートは水平信号線23cに接続されている。また、垂直信号線23dと出力端子OUTの間には、PチャネルMOSトランジスタとNチャネルMOSトランジスタなどからなるトランスファゲート23gが接続されている。
そして、水平信号線23cは垂直シフトレジスタ23e及びアンド回路23hによって順次選択され、垂直信号線23dは水平シフトレジスタ23f及びアンド回路23iによって順次選択され、選択された水平信号線23c及び垂直信号線23dが交差する画素のボロメータ23aの赤外線映像信号が出力端子OUTから出力される。
なお、本実施例では、複数の画素が二次元に配列された赤外線検出素子を用いて二次元の温度情報を生成する構成としているが、赤外線検出素子の画素構成は任意であり、例えば、画素が一次元に配列された赤外線検出素子や1つの画素からなる赤外線検出素子を用い、ポリゴンミラー等の光学系で走査して二次元の温度情報を生成する構成としてもよい。また、赤外線検出素子は温度抵抗素子に限らず、入射赤外線を電気信号に変換可能な素子であればよい。
[処理部]
図4に示すように、検知器23から出力される赤外線映像信号を処理する処理部25は、増幅器25aと、A/D変換器25bと、フレームメモリ25cと、演算部25dと、D/A変換器25eなどで構成される。
増幅器25aは、検知器23からの赤外線映像信号を増幅し、A/D変換器25bに渡す。A/D変換器25bは、赤外線映像信号をディジタル信号に変換して、フレームメモリ25cに記憶する。演算部25dは、フレームメモリ25cから順次データを読み出し、予め記憶したテーブルを参照して各画素のディジタル信号を温度情報に変換して二次元の温度情報を生成し、特定対象を識別しやすくする処理を行ってD/A変換器25eに出力する。D/A変換器25eは、ディジタル信号をアナログの表示映像信号に変換し、表示部26に出力する。
すなわち、本実施例の赤外線撮像装置の特徴部分である演算部25dは、図5に示すように、特定対象抽出部と、特定対象強調処理部としても機能する。
特定対象抽出部は、予め定めたルール(具体的内容は後述する。)に従って、二次元の温度情報から、航空機の離着陸時に障害となる特定対象(例えば、離着陸地点近傍の建物、比較的大きい機材、他の飛行機やヘリコプタ、人物など)、航空機の飛行時に障害となる特定対象(例えば、進行方向の比較的高い建物、灯台、鉄塔、電線、他の飛行機やヘリコプタなど)を抽出する。
特定対象強調処理部は、特定対象抽出部で抽出した特定対象の輪郭や内部の全部又は一部を強調(すなわち、画素の温度情報を予め定めた高い値に設定)して、特定対象を識別しやすくする。
なお、処理部25や演算部25dは図4及び図5の構成に限定されず、検知器23から出力される信号に基づいて二次元の温度情報を生成する共に、特定対象を識別しやすくする処理が実行できる構成であればよい。
次に、本実施例の赤外線撮像装置を用いて赤外線画像を表示する手順について、図6のフローチャート図及び図7乃至図10の赤外線画像例を参照して具体的に説明する。なお、以下の説明において、特定対象(1つでも複数でもよい。)は、予め操作部27によって設定されており、飛行機やヘリコプタなどの航空機、人物などの特定対象の代表的な形状は予め登録されているものとする。
ヘリコプタ10の操縦士等がヘリコプタ10の離陸時、飛行時、着陸時に赤外線撮像装置を起動、若しくは、ヘリコプタ10の起動に連動して赤外線撮像装置が自動的に起動すると、ステップS101で、検知部21はヘリコプタ10の進行方向を撮像して被写体から放射される赤外線を検知して、赤外線映像信号を処理部25に送信する。
次に、ステップS102で、処理部25は、検知部21から受信した赤外線映像信号を増幅、A/D変換してフレームメモリに格納した後、検知器23の各画素のデータを温度情報に変換して二次元の温度情報を生成する。そして、処理部25(特定対象抽出部)は、二次元の温度情報から予め定めた特定対象を抽出する。
例えば、図7に示すように、離着陸時に地表の近くのヘリコプタ10から前方を撮像した場合、離着陸地点近傍に建てられた建物や照明灯は空や地表(滑走路など)が背景となるが、空は物体から放射される赤外線がほとんどないために十分に温度が低く、また、滑走路はほぼ均一な温度であることから、これらと温度差がある所定の長さの直線や曲線を抽出し、それらから構成される形状をパターン認識して建物や照明灯として特定する。
また、離着陸地点近傍の他の航空機は空や地表(滑走路など)、建物などが背景となるが、上述したように、空は物体から放射される赤外線がほとんどないために十分に温度が低く、滑走路はほぼ均一な温度であり、また、航空機と建物は材料が異なるために放射率や大気による暖まり方/冷え方の違いによって温度差が生じ、更に、航空機は特徴的な形状であることから、これらと温度差がある特定の形状(予め記憶した航空機の代表的な形状)の物体をパターン認識して他の航空機として特定する。
また、離着陸地点近傍にいる人物は地表(滑走路など)や建物、他の航空機などが背景となるが、人物は滑走路や建物、他の航空機などと温度差があり、更に、人物は特徴的な形状であることから、これらと温度差がある特定の形状(予め記憶した人物の代表的な形状)の物体をパターン認識して人物として特定する。
また、図9に示すように、ヘリコプタ10が低空を飛行している時に進行方向を撮像した場合、比較的大きい建物は空や遠方の物体が背景となるが、上述したように、空は物体から放射される赤外線がほとんどないために十分に温度が低く、遠方の物体はその物体を構成する直線や曲線が短く、遠方の物体から放射される赤外線は距離に応じて吸収されて温度が低く認識されることから、これらと温度差がある所定の長さの直線や曲線を抽出し、それらから構成される形状をパターン認識して建物として特定する。
そして、ステップS102で特定対象を抽出しなかった場合(ステップS103のNoの場合)は、ステップS106に遷移して、処理部25は、特定対象に対する処理を行っていない二次元の温度情報をモニタなどの表示部26に出力し、表示部26は、その二次元の温度情報に基づいて赤外線画像を表示し、撮像終了が指示されていなければ(ステップS107のNo)、ステップS101に戻って同様の処理を繰り返す。
一方、ステップS102で特定対象を抽出した場合(ステップS103のYesの場合)は、ステップS104で、処理部25(特定対象強調処理部)は、抽出した特定対象の輪郭又は内部の全部又は一部の画素の温度情報を、予め定めた高い値(例えば、最高の階調の温度)に設定して、特定対象を識別しやすくする処理を行う。
次に、必要に応じて、ステップS105で、特定対象を抽出したことを操縦士に知らせる警告を行う。この警告の方法は任意であり、例えば、ステップS106で赤外線画像を表示するモニタなどの表示部26に警告メッセージを表示してもよいし、ヘリコプタ10に備えるスピーカなどから警告メッセージを出力してもよいし、ヘリコプタ10に備える警告ランプ等を点灯/点滅させてもよい。
その後、ステップS106で、処理部25は、特定対象に対する処理を行った二次元の温度情報をモニタなどの表示部26に出力し、表示部26は、その二次元の温度情報に基づいて赤外線画像を表示し、撮像終了が指示されていなければ(ステップS107のNo)、ステップS101に戻って同様の処理を繰り返す。
例えば、図7の画像において、特定対象として建物と照明灯を抽出した場合は、図8(a)に示すように、特定対象の輪郭を強調して表示(例えば、白黒表示において白、疑似カラーにおいて赤で表示)する。これにより、離着陸時に障害となる特定対象を容易に識別することが可能となり、ヘリコプタ10を安全に離着陸させることができる。
また、図8(b)に示すように、特定対象の全部又は一部を白黒表示において白、疑似カラーにおいて赤で塗りつぶしてもよく、小さいサイズの特定対象(例えば、照明灯)を塗りつぶすことにより、離着陸時に障害となる特定対象を見落とすことがなくなり、ヘリコプタ10を安全に離着陸させることができる。
また、図9の画像において、特定対象として比較的高い建物を抽出した場合は、図10(a)に示すように、特定対象の輪郭を強調して表示(例えば、白黒表示において白、疑似カラーにおいて赤で表示)する。また、図8(b)と同様に、特定対象の内部を白黒表示において白、疑似カラーにおいて赤で塗りつぶす。これにより、飛行時に障害となる特定対象を容易に識別することが可能となり、ヘリコプタ10を安全に飛行させることができる。
また、比較的高い建物が多数存在する場合に、それらの全てを強調表示すると、特定対象の識別性が悪化することも考えられる。そのような場合は、図10(b)に示すように、ヘリコプタ10が飛行する方向(画像の中央近傍)の特定対象のみを強調表示してもよいし、特定対象を幾何学的に処理してその大きさやヘリコプタ10からの距離を特定し、予め定めた数の建物を高い順や近い順に強調表示してもよい。これにより、障害となりやすい建物を避けてヘリコプタ10を安全に飛行させることができる。
なお、図8及び図10は、本実施例の赤外線画像の一例であり、特定対象が画面上で識別しやすくなる表示形態であればよい。
例えば、図8及び図10では、特定対象の全体を強調表示したが、ヘリコプタ10の離着陸時や飛行時に障害となるのは主に特定対象の上部であることから、特定対象の上部のみを強調表示してもよい。
また、特定対象は必ずしも同じ温度(階調)で表示する必要はなく、例えば、特定対象の種類やサイズ、ヘリコプタ10からの距離などに応じて温度(階調)を変化させて(例えば、サイズの大きい特定対象や距離が近い特定対象ほど高い温度にして)表示してもよい。このような処理を行うことにより、より障害となりやすい特定対象を容易に識別することが可能となる。
また、上記フローでは、特定対象を抽出した場合、警告を行った後に特定画像を強調した画像を表示したが、この警告は特定画像を強調した画像を表示する際に行ってもよいし、特定対象の強調表示を断続的に行う(例えば、特定対象の全部又は一部を一定の時間間隔で白黒表示において白、疑似カラーにおいて赤で表示する)ことによって、特定対象を抽出したことを操縦士に警告するようにしてもよい。
なお、夜間に離着陸したり飛行する場合、上記特定対象を目視で判別することは難しいが、赤外線撮像装置は太陽光の反射を利用するのではなく、特定対象自体が放射する赤外線を利用するため、夜間においても確実に特定対象を識別することができる。また、霧や雲が発生して視界が悪い場合も上記特定対象を目視で判別することは難しいが、赤外光は可視光に比べて霧や雲を透過しやすいため、視界不良時においても確実に特定対象を識別することができる。
このように、本実施例の赤外線撮像装置20によれば、検知部21から出力される信号に基づいて生成した二次元の温度情報から予め設定した特定対象を抽出し、被写体の特定対象の画素の温度情報を予め定めた高い値に設定して、特定対象を強調した赤外線画像を表示するため、特定対象を容易に識別することができる。また、特定対象を抽出した場合は、特定対象を抽出したことを知らせる警告を行うため、特定対象の見落としを未然に防止することができる。そして、これらにより、ヘリコプタ10を安全に運航することができる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御方法は適宜変更可能である。
例えば、上記実施例では、特定対象として、離着陸地点近傍の建物、他の航空機、人物、進行方向の比較的高い建物を例示したが、離着陸時や飛行時に注意すべき任意の対象を特定対象とすることができる。
また、赤外線撮像装置で検出する赤外線の波長も特に限定されず、3〜5μm帯を検出しても良いし、8〜12μm帯を検出しても良いし、これらを組み合わせても良い。また、赤外線画像と可視画像を組み合わせた画像を処理/表示してもよい。
本発明は、医療用や消防防災用、警備用のヘリコプタや小型飛行機などの航空機に搭載される赤外線撮像装置及び当該赤外線撮像装置における赤外線画像の表示方法に利用可能である。
10 ヘリコプタ
20 赤外線撮像装置
21 検知部
22 集光光学系
23 検知器
23a ボロメータ
23b MOSトランジスタ
23c 水平信号線
23d 垂直信号線
23e 垂直シフトレジスタ
23f 水平シフトレジスタ
23g トランスファゲート
23h、23i アンド回路
24 マウント
25 処理部
25a 増幅器
25b A/D変換器
25c フレームメモリ
25d 演算部
25e D/A変換器
26 表示部
27 操作部

Claims (16)

  1. 航空機に搭載される赤外線撮像装置であって、
    前記航空機に固定され、被写体から放射される赤外線を検知する検知部と、前記検知部から順次出力される信号に基づいて前記被写体の二次元の温度情報を生成する処理部と、
    前記二次元の温度情報に基づく赤外線画像を表示する表示部とを少なくとも備え、
    前記処理部は、前記二次元の温度情報に基づいて前記被写体から予め設定した前記航空機の離着陸地点近傍の建物又は他の航空機又は人物、もしくは飛行時の進行方向の建物である特定対象を抽出し、前記特定対象の全部又は一部の温度情報を予め定めた高い値に設定して、前記特定対象を識別可能にすると共に
    前記処理部は、前記特定対象に対して該特定対象の大きさを特定する幾何学的な処理を行い、大きい前記特定対象から順に所定数の前記特定対象の温度情報を予め定めた高い値に設定する、ことを特徴とする赤外線撮像装置。
  2. 前記処理部は、前記特定対象が、前記航空機の離着陸時に障害となる離着陸地点近傍の建物、若しくは、前記航空機の飛行時に障害となる進行方向の建物の場合には、前記二次元の温度情報から略一定の温度で連続する所定の長さの線を特定し、複数の前記線で構成される形状に基づいて、前記建物を抽出する、ことを特徴とする請求項1に記載の赤外線撮像装置。
  3. 前記処理部は、前記特定対象が、前記航空機の離着陸時に障害となる離着陸地点近傍の他の航空機若しくは人物の場合は、前記二次元の温度情報から予め記憶した形状に相似する形状を特定し、前記形状に基づいて、前記他の航空機又は人物を抽出する、ことを特徴とする請求項1に記載の赤外線撮像装置。
  4. 前記処理部は、前記二次元の温度情報から前記特定対象を抽出した場合は、前記特定対象を抽出したことを前記航空機の操縦士に知らせる警告を行う、ことを特徴とする請求項1乃至3のいずれか一に記載の赤外線撮像装置。
  5. 前記処理部は、前記特定対象の全部又は一部を塗りつぶして、離着陸時に障害となる特定対象の見落しを防止する、ことを特徴とする請求項1乃至4のいずれか一に記載の赤外線撮像装置。
  6. 前記処理部は、大きい前記特定対象ほど温度情報を高い値に設定する、ことを特徴とする請求項に記載の赤外線撮像装置。
  7. 前記処理部は、前記特定対象対して該特定対象の距離を特定する幾何学的な処理を行い、近い前記特定対象から順に所定数の前記特定対象の温度情報を予め定めた高い値に設定する、ことを特徴とする請求項1乃至5のいずれか一に記載の赤外線撮像装置。
  8. 前記処理部は、近い前記特定対象ほど温度情報を高い値に設定する、ことを特徴とする請求項に記載の赤外線撮像装置。
  9. 航空機に搭載される赤外線撮像装置を用いた赤外線画像の表示方法であって、
    前記航空機に固定される検知部を用いて、被写体から放射される赤外線を検知する第1ステップと、
    前記検知部から順次出力される信号に基づいて前記被写体の二次元の温度情報を生成する第2ステップと、
    前記二次元の温度情報に基づいて前記被写体から予め設定した前記航空機の離着陸地点近傍の建物又は他の航空機又は人物、もしくは飛行時の進行方向の建物である特定対象を抽出する第3ステップと、
    前記特定対象の全部又は一部の温度情報を予め定めた高い値に設定して、前記特定対象を識別可能にする第4ステップと、
    前記二次元の温度情報に基づく赤外線画像を表示する第5ステップと、を有して、
    前記処理部は、前記特定対象対して該特定対象の大きさを特定する幾何学的な処理を行い、大きい前記特定対象から順に所定数の前記特定対象の温度情報を予め定めた高い値に設定する、ことを特徴とする赤外線画像の表示方法。
  10. 前記第3ステップでは、前記特定対象が、前記航空機の離着陸時に障害となる離着陸地点近傍の建物、若しくは、前記航空機の飛行時に障害となる進行方向の建物の場合には、
    前記二次元の温度情報から略一定の温度で連続する所定の長さの線を特定し、複数の前記線で構成される形状に基づいて、前記建物を抽出する、ことを特徴とする請求項に記載の赤外線画像の表示方法。
  11. 前記第3ステップでは、前記特定対象が、前記航空機の離着陸時に障害となる離着陸地点近傍の他の航空機若しくは人物の場合には、前記二次元の温度情報から予め記憶した形状に相似する形状を特定し、前記形状に基づいて、前記他の航空機又は人物を抽出する、
    ことを特徴とする請求項に記載の赤外線画像の表示方法。
  12. 前記第3ステップにおいて、前記赤外線画像から前記特定対象を抽出した場合は、前記特定対象を抽出したことを前記航空機の操縦士に知らせる警告を行う、ことを特徴とする請求項9乃至11のいずれか一に記載の赤外線画像の表示方法。
  13. 前記第3ステップにおいて、前記特定対象の全部又は一部を塗りつぶして、離着陸時に障害となる特定対象の見落を防止する、ことを特徴とする請求項9乃至12のいずれか一に記載の赤外線画像の表示方法。
  14. 前記処理部は、大きい前記特定対象ほど温度情報を高い値に設定する、ことを特徴とする請求項9に記載の赤外線画像の表示方法。
  15. 前記処理部は、前記特定対象対して該特定対象の距離を特定する幾何学的な処理を行い、近い前記特定対象から順に所定数の前記特定対象の温度情報を予め定めた高い値に設定する、ことを特徴とする請求項9乃至13のいずれか一に記載の赤外線画像の表示方法。
  16. 前記処理部は、近い前記特定対象ほど温度情報を高い値に設定する、ことを特徴とする請求項15に記載の赤外線画像の表示方法。
JP2010071672A 2010-03-26 2010-03-26 赤外線撮像装置及び赤外線画像の表示方法 Active JP5640423B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010071672A JP5640423B2 (ja) 2010-03-26 2010-03-26 赤外線撮像装置及び赤外線画像の表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010071672A JP5640423B2 (ja) 2010-03-26 2010-03-26 赤外線撮像装置及び赤外線画像の表示方法

Publications (2)

Publication Number Publication Date
JP2011203159A JP2011203159A (ja) 2011-10-13
JP5640423B2 true JP5640423B2 (ja) 2014-12-17

Family

ID=44879953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010071672A Active JP5640423B2 (ja) 2010-03-26 2010-03-26 赤外線撮像装置及び赤外線画像の表示方法

Country Status (1)

Country Link
JP (1) JP5640423B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499971B (zh) * 2013-09-30 2015-02-11 北京控制工程研究所 一种用于月球探测器着陆避障的时序控制方法
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
US20160252351A1 (en) * 2015-02-27 2016-09-01 Ge Aviation Systems Llc System and methods for providing situational awareness information for a relative navigation system
US10220964B1 (en) 2016-06-21 2019-03-05 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration validation before flight
US9972212B1 (en) 2016-06-21 2018-05-15 Amazon Technologies, Inc. Unmanned aerial vehicle camera calibration as part of departure or arrival at a materials handling facility
US10032275B1 (en) 2016-06-21 2018-07-24 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration during flight
US9823089B1 (en) 2016-06-21 2017-11-21 Amazon Technologies, Inc. Unmanned aerial vehicle sensor calibration as part of departure from a materials handling facility
US9969486B1 (en) * 2016-06-21 2018-05-15 Amazon Technologies, Inc. Unmanned aerial vehicle heat sensor calibration

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424590A (ja) * 1990-05-18 1992-01-28 Tokimec Inc 移動体識別装置
JPH09130680A (ja) * 1995-10-31 1997-05-16 Mitsubishi Electric Corp 赤外線撮像装置
JPH09207896A (ja) * 1996-02-09 1997-08-12 Nec Corp 駐機誘導システム
JPH11243538A (ja) * 1998-02-25 1999-09-07 Nissan Motor Co Ltd 車両用視認装置
JP3732757B2 (ja) * 2001-06-08 2006-01-11 株式会社東芝 画像認識方法および画像認識装置
JP4147456B2 (ja) * 2002-03-29 2008-09-10 富士通株式会社 赤外線画像信号処理装置
JP2004030453A (ja) * 2002-06-27 2004-01-29 Starlabo Corp ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP2004219277A (ja) * 2003-01-15 2004-08-05 Sanyo Electric Co Ltd 人体検知方法およびシステム、プログラム、記録媒体
JP3934119B2 (ja) * 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
JP4401890B2 (ja) * 2004-07-29 2010-01-20 本田技研工業株式会社 車両の認知支援装置
JP2006142913A (ja) * 2004-11-17 2006-06-08 Ishikawajima Harima Heavy Ind Co Ltd 小型飛行装置
JP4391458B2 (ja) * 2005-09-29 2009-12-24 三菱電機株式会社 測位装置、測位方法および測位プログラム
US7876258B2 (en) * 2006-03-13 2011-01-25 The Boeing Company Aircraft collision sense and avoidance system and method
JP4777196B2 (ja) * 2006-09-11 2011-09-21 川崎重工業株式会社 運転支援装置

Also Published As

Publication number Publication date
JP2011203159A (ja) 2011-10-13

Similar Documents

Publication Publication Date Title
JP5640423B2 (ja) 赤外線撮像装置及び赤外線画像の表示方法
US11059602B1 (en) Safety system with projectable warning indicia
Yuan et al. Fire detection using infrared images for UAV-based forest fire surveillance
EP3235735B1 (en) Method and system for generating a collision alerting during aircraft taxiing
CN107871405B (zh) 利用视觉信息进行空中碰撞威胁的检测与评估
US20180005012A1 (en) Polarization-Based Detection and Mapping Method and System
US20140092206A1 (en) Aircraft provided with a system for observing part of the aircraft's environment
US20120176497A1 (en) Assisting vehicle navigation in situations of possible obscured view
US9177204B1 (en) Spectrally enhanced vision system for low visibility operations
CN107015638A (zh) 用于向头戴式显示器用户报警的方法和装置
EP2667355A2 (en) Object detection system and method using a camera and a multiple zone temperature sensor
GB2471952A (en) Visual detection of clear air turbulence
US10372986B2 (en) Method and device for detecting an overhead cable from an aerial vessel
CN108024070A (zh) 在合成图像上覆盖传感器图像的方法及相关显示系统
US9726486B1 (en) System and method for merging enhanced vision data with a synthetic vision data
US20220301303A1 (en) Multispectral imaging for navigation systems and methods
EP4056950A1 (en) Thermal imaging for navigation systems and methods
KR101387594B1 (ko) 투명 디스플레이를 이용한 안전 시스템
US20200115065A1 (en) Aircraft hovering work support system and aircraft including same
US20220214222A1 (en) Radiometric thermal imaging improvements for navigation systems and methods
JP5012918B2 (ja) 赤外線撮像装置及び赤外線画像の表示方法
US8547456B1 (en) System and method for monitoring inactive pixels in a scene imaging system
CN114998771B (zh) 飞行器视景增强的显示方法、系统、飞行器及存储介质
US9584791B1 (en) Image misalignment correcting system, device, and method
CN203841004U (zh) 一种机场红外探鸟驱鸟器

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20111110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141013

R150 Certificate of patent or registration of utility model

Ref document number: 5640423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150