JP7367930B2 - 移動体用画像表示システム - Google Patents

Description

本発明は、航空機等の各種の移動体に用いられる画像表示システムに関し、さらに詳しくは、該移動体の外部の状況を確認するために用いられる画像表示システムに関する。

ヘリコプタや飛行機などの航空機では、操縦士が操縦を行うために、ヘッドアップディスプレイ（Head Up Display：ＨＵＤ）、ヘッド（又はヘルメット）マウントディスプレイ（Head Mount Display, Helmet Mount Display：ＨＭＤ）、ヘッドダウンディスプレイ（Head Down Display：ＨＤＤ）などの画像表示装置が利用されている。

こうした画像表示装置では、通常、可視光カメラ、赤外線カメラ、暗視カメラなどのカメラや、撮像センサ等の各種のセンサによって得られた外界の画像に、飛行諸元等の飛行情報を示すシンボルが重畳されて表示されるようになっている。例えば赤外線カメラ等により得られる外界の画像を画像表示装置に表示することによって、夜間であったり悪気象条件下であったりして操縦士の肉眼での視界が不良である場合でも、操縦士による操縦を支援することができる。また、災害時や事故発生時などの際に、異常地点、遭難者、遺留物などを探索する際にも威力を発揮する。

航空機に搭載されているカメラやセンサにより得られる外界の画像は、通常、当該航空機から或る程度の距離だけ離れて存在する対象物を撮影又はセンシングしたものである。そのため、航空機からその対象物までの距離が長いほど、該対象物の画像のコントラストが低くなる。特に、光は長波長であるほど大気によるエネルギの減衰の程度が大きいため、赤外線カメラによる撮影画像では、対象物との距離が離れるほどコントラストの低下が顕著である。

こうしたことから、飛行中の航空機において得られる地上を中心とする赤外線画像では一般に、手前側（赤外線画像では下方）では画像が白っぽく、遠方側（赤外線画像では相対的に上方）では画像が暗くてコントラストが低くなる。こうした現象は、特に大気が濃い、低高度或いは低標高で飛行する際において顕著である。

特開２０１２－２２４２１０号公報

従来の画像表示装置も、画面の輝度やコントラストを調整する機能を有しているのが一般的である。しかしながら、手前側に位置するエネルギの高い対象物に合わせてコントラストを調整すると、遠方側の対象物の画像が暗すぎて視認性が悪くなる。逆に、遠方側に位置する対象物の画像が十分に視認できるようにコントラストを調整すると、手前側に位置する対象物の画像が殆ど白くなってしまい、やはり視認性が悪くなる。

特許文献１に記載の画像表示装置では、撮影画像内で空港や特定の建物などの着目領域を検出し、その着目領域に対応する部分画像のコントラストを高めることで着目領域の視認性を向上させている。しかしながら、こうした調整方法では、予め決めた特定の領域の視認性しか向上させることができない。例えば空港などの特定の目的地を探すような場合であれば問題ないが、例えば地上を広く監視しながら異常地点を探索するような用途には適さない。

また、同様の課題は、搭乗している操縦士が操縦する航空機に限らず、遠隔操縦される無人飛行機などの飛行体、例えば海底を探索するための潜水艇や潜水艦など、様々な移動体においても同様である。

本発明はこうした課題を解決するために成されたものであり、その目的とするところは、移動体に搭載されたカメラやセンサにより得られる画像の視認性を向上させることができる移動体用画像表示システムを提供することである。

上記課題を解決するために成された本発明の一態様は、航空機である移動体から観測可能である外界の画像を表示するための移動体用画像表示システムであって、
前記移動体から外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部と、
内蔵された又は外部から取得された、地形の起伏を表す地形データを含む地図データを用い、前記外界画像上の小領域毎に、その小領域に対応する地図上の地点と前記移動体において前記画像情報を取得する観測点との間の距離を計算する距離算出部と、
前記外界画像上の小領域毎に算出された距離に応じて、該外界画像上の各小領域に対応する部分画像の輝度又はコントラストを調整する画質調整部と、
前記画質調整部により前記小領域毎に輝度又はコントラストが調整された外界画像を表示する表示部と、
を備えるものである。

ここでいう移動体とは、有人の航空機や無人の航空機である。

本発明の一態様である移動体用画像表示システムにおいて、画像作成部は、移動体に取り付けられた、又は、移動体に搭乗する操縦士や搭乗者に装着された若しくはそれらの者が保持する各種のカメラ又はセンサを含み、そうしたカメラ又はセンサで得られた画像情報に基づいて外界画像を作成するものとすることができる。

例えば外界画像が赤外線画像である場合、或る対象物が観測点から離れた位置にあるほど、その対象物から観測点にまで到達する赤外線のエネルギは低くなり、そのためにその対象物に対応する部分画像の輝度やコントラストは低くなる。それに対し、本発明の一態様である移動体用画像表示システムによれば、外界画像上で観測点から近い距離にある対象物に比べて相対的に遠くにある対象物に対応する部分画像の輝度又はコントラストが高くなるように調整される。これにより、遠方に位置するか手前に位置するのかに拘わらず、画像全体の視認性を向上させることができる。

本発明の一実施形態である航空機用画像表示システムの概略ブロック構成図。 本実施形態である航空機用画像表示システムにおける画素輝度補正処理の説明図。 本実施形態である航空機用画像表示システムにおける画素輝度補正処理の説明図。 模式的な外界画像の一例を示す図。 図４に示した外界画像に概略地形データを重畳した状態を示す図。 図４に示した外界画像に対し画素輝度補正処理を実施したあとの画像を示す図。

本発明に係る移動体用画像表示システムの一実施形態である航空機用画像表示システムについて、添付図面を参照して説明する。この実施形態の航空機用画像表示システムは、主として、ヘリコプタに搭乗している操縦士が該ヘリコプタを操縦する際に操縦を支援したり、或いは、地上にいる人や特定の物体などを探索する際にその探索を支援したりするものである。即ち、ここでは「移動体」はヘリコプタである。

図１は、本実施形態の航空機用画像表示システムの概略ブロック構成図である。
図１に示すように、この画像表示システムは、赤外線カメラ１、地形データベース２、航法センサ３、画像作成部４、輝度補正部５、表示部６、撮影範囲抽出部７、距離算出部８などの機能ブロックを備える。

表示部６は、操縦士が頭部に装着するヘルメットと一体化されたＨＭＤであり、例えば透過型液晶表示素子などの表示素子、操縦士の眼前に配置されるバイザ、表示素子からバイザまでの間に配置された照射光学系と、を含む。表示部６に入力された画像は透過型液晶表示素子に表示され、該表示素子から発した画像光は照射光学系を経て、バイザで反射され、平行な光として操縦士の眼に到達する。バイザは操縦士が顔を向けている方向の外界から到来する外光を透過させる。そのため、操縦士の眼前には、概ね平行光であるその外光による背景画像とバイザでの反射光による表示画像とが重畳されて表示される。
但し、表示部６はＨＭＤに限らず、ＨＵＤやＨＤＤでもよい。

赤外線カメラ１は、例えばヘリコプタの機体底部に設けられたセンサポッド内に配置されており、近赤外、中赤外、又は遠赤外のいずれか、又はそれら複数の異なる波長帯を検出可能なセンサを含み、ヘリコプタの機外（外界）の赤外線画像を取得する。センサポッドは、アジマス（ＡＺ）方向及びエレベーション（ＥＬ）方向の姿勢を調整する機能を有している。なお、赤外線カメラに代えて、高感度な可視光カメラ、暗視カメラ、或いは、外界画像を取得することが可能な、様々なセンサ（例えば測距センサ）を用いることができる。

本実施形態の画像表示システムでは、センサポッドつまり赤外線カメラ１は、操縦士が見ていると推測される方向に指向するように動作する頭部方向追従モード、指定された特定の方向を指向するように動作する特定方向固定モード、及び、所定の範囲に亘りその指向する方向が繰り返し変化するように動作するスキャンモード、のいずれかのモードで使用される。

地形データベース２は、少なくともそのときに飛行している地域周囲の所定範囲の地形情報を含むものであり、外部のデジタル地図データベースにアクセスして必要なデータのみを受信する送受信部、又は、そうしたデジタル地図データベースに収録されているデータの一部が格納された記憶装置を含む。前者の場合には、データベース自体はそのヘリコプタの外部の例えばホストコンピュータに設けられ、送受信部と該ホストコンピュータとの間で相互に通信を行うことで送受信部は必要な情報を収集する。一方、後者の場合には、ヘリコプタの内部に設けられた記憶装置に予め必要な情報が全て格納されており、飛行中に外部との通信は不要である。

航法センサ３は、航空機に一般的に搭載されているＧＮＳＳ／ＩＮＳ装置などであり、飛行中のヘリコプタの現在位置である緯度・経度、高度、進行方向（方位）、左右方向の傾き角度などの情報を収集して出力する。

次に、本実施形態の画像表示システムにおいて、飛行中に赤外線カメラ１で取得した外界画像を表示部６に表示する際の処理動作について説明する。
図２及び図３は、本実施形態の画像表示システムにおける画素輝度補正処理の説明図である。図２（ａ）及び図３は、本画像表示システムを搭載したヘリコプタ１０と観測対象との関係を示す模式図であり、図２（ｂ）は図２（ａ）において得られる画像の概略図である。また、図４は模式的な外界画像の一例を示す図である。

赤外線カメラ１は外界の所定範囲の画像データを取得し、画像作成部４は得られた画像データに基づいて、図４に示したような画像を作成する。図２（ａ）、図３に示すように、赤外線カメラ１は、通常、地上Ｌから所定高さＨにある観測点Ｐから地上Ｌの斜め前方を見下ろすように撮影を行う。したがって、センサポッドの動作モードが特定方向固定モードである場合、赤外線カメラ１により撮影される外界の範囲は、該カメラ１の画角、カメラ１が指向している方向（垂直軸を中心とする回転方向＝左右方向、左右方向に延伸する水平軸を中心とする回転方向＝上下方向）、水平軸に対する傾き角度（前後方向に延伸する水平軸を中心とする回転方向）などのパラメータに依存する。

カメラ画角を除く上記パラメータは、航法センサ３からの飛行諸元に関する情報に基づいて計算可能である。一方、カメラ画角は飛行諸元等とは無関係なパラメータであり、予め固定値が与えられるか、或いは、操縦士が調整可能である場合にはカメラによる撮影を制御する制御部（図示せず）により与えられる。

撮影範囲抽出部７は、航法センサ３から与えられる情報とカメラ画角情報とに基づいて、その時点での撮影範囲に対応する地形データを地形データベース２から抽出し、地形の起伏や主要な建築物による凹凸の状況を示す概略的な地形図を作成する。ここで地形データとして必要であるのは、撮影範囲内の各位置における高さである。この高さとは、建築物がない場合又はその高さが殆ど無視できる程度である場合には標高であり、建築物の高さが無視できない場合にはその建築物の高さである。したがって、上記地形図は、撮影範囲内の各位置における概略的な地形の起伏が分かるような簡略化した画像であればよい。

図５は、図４に示した外界画像に概略地形データを重ねた画像である。ここでは、地形データは、所定間隔の格子点の位置における標高を示すグリッドデータ（図５中では黒の実線で示す）と、地上（又は建築物）と空との境界を示す境界データ（図５中では白の点線で示す）と、を含む。撮影範囲抽出部７は、航法センサ３による情報とカメラ画角とから赤外線画像に対するグリッドデータの位置を決めることができるが、図５に示したような境界データと赤外線画像上の山の稜線などとの位置合わせを行うことで、グリッドデータの位置をより正確に決めるようにしてもよい。

次に、距離算出部８は、上記地形データのグリッドデータと航法センサ３により得られるヘリコプタ１０の高さの情報とを利用して、赤外線画像上の画素毎に、その画素に対応する地点と赤外線カメラ１による観測点Ｐとの間の直線的な距離を計算する。

図２（ａ）は、観測点Ｐから見たときに手前側に対象物Ａがあり、遠方に対象物Ｂが存在する例を示している。説明を簡単にするために、ここでは対象物Ａと対象物Ｂとは同じ標高（地上Ｌ）に位置しているものとしている。観測点Ｐを地上Ｌに投影した点Ｐ’（観測点Ｐを通る鉛直線と地上Ｌとの交点）と対象物Ａ、Ｂとの間の距離（地上Ｌ上での距離）はそれぞれ地形データから算出可能であり、その距離と観測点Ｐの高さＨとから、直線的な距離を計算することができる。

図３は、観測点Ｐから見たときに手前側に位置する対象物Ａと、遠方に位置する対象物Ｃとが異なる標高にある場合の例を示している。このように対象物が存在する位置に標高の差がある場合でも、その標高（ここではｈ）が判明していれば、地上Ｌでの点Ｐ’と対象物Ｃとの間の距離、観測点Ｐの高さＨ、及び対象物Ｃの標高ｈから、観測点Ｐと対象物Ｃとの間の直線的な距離を計算することができる。

赤外線カメラ１では観測対象物から放射される赤外線を検出しており、その赤外線のエネルギが高いほど白っぽい像が形成される。赤外線は大気（特に大気中の微細な水滴）で吸収され易いため、観測点Ｐまでの距離が長いほど赤外線エネルギの減衰が大きい。そのため、たとえ対象物Ａと対象物Ｂとで放射される赤外線エネルギの強度が同じであったとしても、観測点Ｐに到達する対象物Ｂによる赤外線エネルギは対象物Ａによる赤外線エネルギよりも小さくなる。その結果、図２（ｂ）に示すように、赤外線画像上では、対象物Ｂは対象物Ａに比べて輝度が低くなり、コントラストが低下する。

このようなコントラストの低下の影響を軽減するために、輝度補正部５は元の赤外線画像の画素毎に、距離算出部８で算出された直線的な距離に応じて輝度値（信号値）を補正する。具体的には、次の(1)式により、各画素の輝度値を距離に応じて補正することができる。
Ｂ_d＝Ｂ₀×（１＋Ｋ_d×Ｄ） …(1)
ここで、Ｂ_dは補正後の画素の輝度値、Ｂ₀は補正前の画素の輝度値、Ｋ_dは補正ゲイン、Ｄは観測点Ｐから対象物までの直線的な距離、である。補正ゲインは、赤外線カメラ１のセンサの感度特性に依存するパラメータであり、例えば１０，０００ｍ先にある対象物の輝度がごく近くにある対象物の輝度の１／１０になるセンサを使用している場合であれば、Ｋ_d＝０．０００９である。

例えば観測点Ｐと対象物Ａとの間の距離が１０ｍ、観測点Ｐと対象物Ｂとの間の距離が１０，０００ｍである場合、補正後の画素の輝度値Ｂ_dは次のようになる。
対象物Ａ：Ｂ₀＝１００、Ｋ_d＝０．０００９、Ｄ＝１０ｍ → Ｂ_d＝１００．９
対象物Ｂ：Ｂ₀＝１０、Ｋ_d＝０．０００９、Ｄ＝１０，０００ｍ → Ｂ_d＝１００

このように画素毎に輝度値が補正された画像データが輝度補正部５から表示部６に入力され、表示部６はその画像データに基づく画像を表示する。図６は、図５に示した概略地形データに基づいて、図４に示した外界画像に対し画素輝度補正処理を実施したあとの画像を示す模式図である。観測点Ｐから見て近傍にある対象物と遠方にある対象物とで放射される赤外線エネルギが同程度である場合に、赤外線画像上での輝度の差が大きく縮小し、コントラストに実質的な差異がなくなる。その結果、操縦士による対象物Ａ、Ｂ（又はＣ）の視認性を向上させることができる。

なお、上記実施形態の説明では、画素単位で輝度値を補正していたが、必ずしも画素単位である必要はなく、例えば、画像上で隣接する複数の画素をまとめた画素群を単位として平均的な又は代表的な距離を算出し、その距離に応じてその画素群に含まれる各画素の輝度値を同じように補正してもよい。即ち、本発明における「小領域」は１個の画素でもよいし、隣接する複数の画素をまとめた画素群でもよい。

また、上述の説明では、赤外線カメラ１を含むセンサポッドの動作モードは特定方向固定モードであり、ヘリコプタ１０の機体の傾き等に応じて赤外線カメラ１による撮影範囲が変わっていたが、センサポッドの動作モードが頭部方向追従モードである場合、赤外線カメラ１による撮影範囲は操縦士の頭部の動きにも依存する。この場合には、次のような
処理が実施される。

即ち、操縦士が頭部に装着するヘルメットには、周囲を撮影する複数のカメラと、６軸ジャイロセンサと、が取り付けられている。その複数のカメラはそれぞれ操縦士の周囲の風景又は機体（操縦室）内の所定のマーカー等を撮影し、図示しない信号処理部は撮影された画像に基づいて、操縦士の頭部の位置及び傾き角度を計算する。頭部の位置とは例えば、機体内３次元基準座標ＸＹＺ上の位置情報である。また、頭部の傾き角度とは例えば、機体内３次元基準座標ＸＹＺ各軸と頭部の中心軸線との成す角度である。一方、６軸ジャイロセンサは、操縦士の頭部の移動に伴う該頭部の角速度を検出する。こうした、頭部の位置、傾き角度、及び角速度の情報に基づいて、操縦士がそのときに見ている視野範囲を特定することができる。頭部方向追従モードでは、その視野範囲に追従するように赤外線カメラの向きが調整されるため、撮影範囲抽出部７も機体自体の傾き等のほか、上記視野範囲の情報も加えて撮影範囲を特定して地形図を作成すればよい。

また、上述したような距離に応じた輝度値の補正を行うと画像全体の視認性は向上するものの、例えば従来の赤外線画像を見慣れた人にとっては画像内の一部の輝度が変わると却って煩わしく感じる場合もあり得る。したがって、本発明に係る移動体用画像表示システムでは、距離に応じた輝度の補正処理の実施の有無をユーザが選択できるようにしてもよい。

また、赤外線画像と例えば可視光画像等の他の画像とを切り替えて表示することが可能なシステムでは、大気による吸収の影響が大きい赤外線画像についてのみ距離に応じた輝度の補正処理を実施し、大気による吸収の影響が殆どない又は小さい画像については該補正を行わないようにしてもよい。

また上記実施形態は、本発明に係る移動体用画像表示システムを、操縦士が操縦する航空機（具体的にはヘリコプタ）に適用したものであるが、他の形態の移動体に適用することもできる。
例えば、無人航空機のように遠隔で飛行するように操作（操縦）される航空機にも本発明を適用することができる。また飛行するものではなく、例えば海底の資源探索など行う潜水艇や潜水艦等に対しても、海底の地形を示す地形データベースが用意されていれば、本発明を適用することができる。

また、上記実施形態や変形例は本発明の一例にすぎず、本発明の趣旨の範囲で適宜、変更や修正、追加を行っても本願特許請求の範囲に包含されることは当然である。

［種々の態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。

（第１項）本発明に係る移動体用画像表示システムの一態様は、移動体から観測可能である外界の画像を表示するための移動体用画像表示システムであって、
前記移動体から外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部と、
内蔵された又は外部から取得された地図データを用い、前記外界画像上の小領域毎に、その小領域に対応する地図上の地点と前記移動体において前記画像情報を取得する観測点との間の距離を計算する距離算出部と、
前記外界画像上の小領域毎に算出された距離に応じて、該外界画像上の各小領域に対応する部分画像の輝度又はコントラストを調整する画質調整部と、
前記画質調整部により前記小領域毎に輝度又はコントラストが調整された外界画像を表示する表示部と、
を備えるものである。

第１項に記載の移動体用画像表示システムによれば、外界画像上で観測点から近い距離にある対象物に比べて相対的に遠くにある対象物に対応する部分画像の輝度又はコントラストが高くなるように調整される。これによって、遠方に位置するか手前に位置するのかに拘わらず、同程度の強度の光を放射する（又は反射する）対象物については輝度をできるだけ揃えることができ、画像全体の視認性を向上させることができる。

（第２項）第１項に記載の移動体用画像表示システムにおいて、前記移動体は航空機であり、前記地図データは地形の起伏を表す地形データを含むものとすることができる。

第２項に記載の移動体用画像表示システムによれば、航空機の操縦者や搭乗者、或いは航空機を遠隔で操作する担当者等は、飛行中である航空機から遠い位置にある対象物を画面上で容易に確認することができる。

（第３項）第２項に記載の移動体用画像表示システムにおいて、前記画像作成部は赤外線画像を作成するものとすることができる。

一般に波長の長い光は波長が相対的に短い光に比べて大気によるエネルギの減衰が大きい。第３項に記載の移動体用画像表示システムによれば、視認性が劣りがちである赤外線画像の視認性を向上させることができる。

（第４項）第２項又は第３項に記載の移動体用画像表示システムにおいて、前記航空機の現在位置を含む飛行諸元に関する情報を収集する航空情報収集部をさらに備え、前記距離算出部は、前記画像作成部において得られる画像の画角、及び前記飛行諸元に関する情報に基づいて、撮影範囲に対応する地形データを抽出する撮影範囲抽出部を含む、ものとすることができる。

第４項に記載の移動体用画像表示システムによれば、飛行中の航空機に搭載されたカメラ等で撮影される範囲に的確に対応した輝度やコントラストの補正を行い、視認性の改善された画像を得ることができる。

１…赤外線カメラ
２…地形データベース
３…航法センサ
４…画像作成部
５…輝度補正部
６…表示部
７…撮影範囲抽出部
８…距離算出部
１０…ヘリコプタ

Claims (3)

1. 航空機である移動体から観測可能である外界の画像を表示するための移動体用画像表示システムであって、
   前記移動体から外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部と、
   内蔵された又は外部から取得された、地形の起伏を表す地形データを含む地図データを用い、前記外界画像上の小領域毎に、その小領域に対応する地図上の地点と前記移動体において前記画像情報を取得する観測点との間の距離を計算する距離算出部と、
   前記外界画像上の小領域毎に算出された距離に応じて、該外界画像上の各小領域に対応する部分画像の輝度又はコントラストを調整する画質調整部と、
   前記画質調整部により前記小領域毎に輝度又はコントラストが調整された外界画像を表示する表示部と、
   を備える移動体用画像表示システム。
2. 前記画像作成部は赤外線画像を作成する、請求項１に記載の移動体用画像表示システム。
3. 前記航空機の現在位置を含む飛行諸元に関する情報を収集する航空情報収集部をさらに備え、前記距離算出部は、前記画像作成部において得られる画像の画角、及び前記飛行諸元に関する情報に基づいて、撮影範囲に対応する地形データを抽出する撮影範囲抽出部を含む、請求項２に記載の移動体用画像表示システム。

Images