JP7406360B2 - 画像表示システム - Google Patents

Description

本発明は、画像表示システムに係り、他機に搭載されたカメラで撮影された画像を自機の画像表示装置に表示する画像表示システムに関する。

無人ヘリコプタ等の無人航空機（Unmanned Aerial Vehicle：ＵＡＶ）に搭載されたカメラで撮影された画像を地上局に送信し、地上局に配置された画像表示装置の画面上に表示する画像表示システムが種々開発されている。
例えば、特許文献１に記載の画像表示システムでは、例えば図１０に示すように、画像表示装置の画面１００上に、カメラが撮影した画像１０１を表示するようになっている。

また、この画像表示システムでは、画像１０１のほか、無人航空機の機体位置や機首方向が矢印状のシンボル１０２で表示するとともに、無人航空機の機体の高度や方位、カメラのパン角度やチルト角度からカメラの視点１０３を算出して表示し、その他、カメラの視界範囲１０４や無人航空機の軌跡１０５等を表示するようになっている。
そして、この場合、画像表示装置の画面は、例えば、画面の縦方向が南北方向、横方向が東西方向になるように設定される。

特開２００６－２８１８３０号公報

ここで、例えば、飛行中の航空機（以下、自機という。）に搭載された画像表示装置で、別の航空機（例えば無人航空機。以下、他機という。）に搭載したカメラによって遠隔地点の観測対象を画像観測する際に上記の画像表示システムを用いる場合について考える。
なお、ここでは、自機と他機はいずれも軍用機であり、画像表示装置は自機に搭載されており、自機の搭乗員が、他機に搭載されたカメラで撮影された動画の画像１０１（図１０参照）を画像表示装置の画面１００上に表示させて見ているものとする。

この場合、画像表示装置の画面１００上に、例えば図１０に示したような敵の軍用トラックが撮影された画像１０１が表示された場合、この軍用トラックが自機の方を向いているのであれば、攻撃される可能性があるため、自機は攻撃を避ける行動をとる必要がある。
また、画像１０１に表示された軍用トラックが自機の方を向いていないのであれば、自機は攻撃を避ける行動をとる必要はないと判断できる。

しかし、上記の場合、画像表示装置は、他機のカメラで撮影された動画の画像１０１のデータが送信されてくるたびに無人航空機の機体の高度や方位、カメラのパン角度やチルト角度からカメラの視点１０３やカメラの視界範囲１０４を算出して画面１００上に表示するため、カメラが撮影してからこれらの情報を画面１００上に表示するまでに時間がかかる可能性がある。

また、自機の搭乗員は、画像表示装置の画面１００上の例えば図１０に示したような表示を見て、カメラが北東の方向を撮影しており、軍用トラックが画像１０１中で右下方向に進んでいるため、軍用トラックは南の方向に進行していると判断する。
そして、例えば他機１０２に対して自機は南側を飛行している場合には、搭乗員は敵の軍用トラックは自機の方を向いていると判断することになるが、このように判断までに時間がかかると、その間に敵の軍用トラックから攻撃を受けてしまう可能性があり、自機が非常に危険な状況に陥り、最悪の場合、撃墜されてしまう等の問題が生じ得る。

本発明は、上記の点を鑑みてなされたものであり、自機の搭載された画像表示装置で、他機に搭載されたカメラによって観測対象（上記の場合は敵の軍用トラック）を画像観測する際に、自機の搭乗員に、観測対象が自機や他機の方を向いているか否かを瞬時に判断させることが可能な画像表示システムを提供することを目的とする。

前記の問題を解決するために、本発明の一実施の形態は、画像表示システムにおいて、
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
前記制御部は、前記画面上に、前記他機を表すシンボルを、当該他機のシンボルの中心を回転中心として機首が上を向く姿勢から前記自機に対する前記他機の相対的な方位角に基づいて回転させた方向を向く姿勢で表示するとともに、前記カメラの視野を表すシンボルを、前記他機のシンボルの中心を回転中心として前記他機のシンボルの真上の位置から前記他機に対する前記カメラのパン角度と前記自機に対する前記他機の相対的な方位角とに基づいて回転させた位置に表示することを特徴とする。

本発明の一実施の形態は、画像表示システムにおいて、
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
前記制御部は、所定の操作に応じて前記他機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる他機ヘディング基準の表示に切り替えることを特徴とする。

本発明の一実施の形態は、画像表示システムにおいて、
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
前記制御部は、
所定の操作に応じて前記カメラが撮影した画像をそのまま表示させるカメラヘディング基準の表示に切り替え、
前記カメラヘディング基準による表示の仕方が選択された場合は、前記画面上に、前記カメラの視野を表すシンボルを前記他機のシンボルの真上の位置に表示するとともに、前記他機のシンボルを、当該他機のシンボルの中心を回転中心として機首が上を向く姿勢から前記他機に対する前記カメラのパン角度に基づいて回転させた方向を向く姿勢で表示することを特徴とする。

本発明によれば、自機の搭載された画像表示装置で、他機に搭載されたカメラによって観測対象を画像観測する際に、自機の搭乗員に、観測対象が自機や他機の方を向いているか否かを瞬時に判断させることが可能となる。

本実施形態に係る画像表示システムの構成を説明するための図である。 画像表示装置の画面に表示される表示の例を表す図である。 カメラをパンさせた場合に画像表示装置の画面に表示される表示の例を表す図である。 図２の画像Ｐを他機ヘディング基準による表示の仕方で表示させた場合に画像表示装置の画面に表示される表示の例を表す図である。 （Ａ）画像表示装置の画面に表示される表示の、図２とは別の例を表す図であり、（Ｂ）（Ａ）の画像Ｐを他機ヘディング基準による表示の仕方で表示させた場合に画像表示装置の画面に表示される表示の例を表す図である。 図２の画像Ｐを自機ヘディング基準による表示の仕方で表示させた場合に画像表示装置の画面に表示される表示の例を表す図である。 図５（Ａ）の画像Ｐを自機ヘディング基準による表示の仕方で表示させた場合に画像表示装置の画面に表示される表示の例を表す図である。 図６の状態から自機を右旋回させた場合に画像表示装置の画面に表示される表示の例を表す図である。 図５（Ａ）に示した状況を従来の画像表示システムを用いて表示した場合に画像表示装置の画面に表示される表示の例を表す図である。 従来の画像表示システムにおいて画像表示装置の画面に表示される表示の例を表す図である。

以下、本発明に係る画像表示システムの実施の形態について、図面を参照して説明する。
なお、以下でも、自機と他機がいずれも軍用機であり、飛行中の自機に搭載された画像表示装置を用い、他機に搭載したカメラによって遠隔地点の観測対象を画像観測する場合であり、観測対象が敵の軍用車両であることを前提として説明するが、本発明に係る画像表示システムはそれに限定されず、民間の日常業務に用いたり災害時等に用いることも可能である。
また、以下では、カメラが撮影した画像が動画である場合について説明するが、静止画を撮影してもよい。

図１は、本実施形態に係る画像表示システムの構成を説明するための図である。なお、図１では、他機Ｂが自機Ａに近い位置に記載されているが、実際には他機Ｂは自機Ａから離れた位置を飛行している。
本実施形態に係る画像表示システム１は、自機Ａに搭載された画像表示装置２と、他機Ｂに搭載されたカメラ３とを備えて構成されている。

自機Ａは、搭乗員が搭乗する有人の航空機（以下、有人機という。）である。
他機Ｂは、有人機であってもよく、無人航空機（Unmanned Aerial Vehicle：ＵＡＶ。以下、無人機という。）であってもよい。

カメラ３は、他機Ｂに搭載されており、少なくともパン機能を有している。チルト機能を有していてもよい。
そして、カメラ３は、自機Ａの搭乗員等や図示しない地上局等の操作者が遠隔操作するように構成することが可能であり、他機Ｂが有人機である場合には他機Ｂの搭乗員がカメラ３を操作するように構成することも可能である。

本実施形態では、カメラ３は上記のように動画を撮影するようになっており、画像を撮影するごとに画像を自機Ａの画像表示装置２に送信するようになっている。
なお、カメラ３が撮影した画像を例えば地上局等を経由して自機Ａの画像表示装置２に送信するように構成することも可能である。

また、カメラを自機Ａの搭乗員が遠隔操作する場合は、他機Ｂに対するカメラ３のパン角度θの情報を自機Ａが有しているが、カメラを他機Ｂの搭乗員が操作したり地上局等の操作者が遠隔操作する場合は、自機Ａは、他機Ｂに対するカメラ３のパン角度θの情報を有していない。
そのため、後者の場合は、カメラ３や地上局等から他機Ｂに対するカメラ３のパン角度θの情報も送信させるように構成される。なお、他機Ｂに対するカメラ３のパン角度θは、他機Ｂの機首を基準として右回りにカメラ３の向く方向を測った水平角をいう。

また、無人機である他機Ｂを自機Ａの搭乗員の遠隔操作で飛行する場合は、自機Ａは他機Ｂの方位角φｂの情報を有しているが、無人機である他機Ｂを地上局等の操作者が遠隔操作する場合や他機Ｂが有人機である場合は、自機Ａは、地上局等や他機Ｂから他機Ｂの方位角φｂの情報を入手するように構成される。
なお、方位角とは、航空機を地図上に表した場合の北（真北）の方向から右回り（時計回り）に機首の方向を測った水平角をいう。

画像表示装置２は、汎用のコンピュータで構成されていてもよく、専用装置として構成されていてもよい。
画像表示装置２は、自機Ａの機首が向いている方向が基準になるようにカメラ３が撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備えている。
以下、画像表示装置２の制御部における処理について説明する。

画像表示装置２の制御部は、自機Ａから自機Ａの方位角φａの情報を入手する。そして、上記のように他機Ｂの方位角φｂの情報を入手すると、
ψ＝φｂ－φａ …（１）
を計算して自機Ａに対する他機Ｂの相対的な方位角ψを算出するようになっている。なお、自機Ａに対する他機Ｂの相対的な方位角ψの算出を、常時行うように構成することも可能であるが、後述する自機ヘディング基準による表示の仕方が選択された場合にのみ行うように構成することも可能である。

本実施形態では、画像表示装置２は、液晶ディスプレイ等で構成された画面を有しており、例えば図２に示すように、画面２１の右側に、カメラ３が撮影した画像Ｐを表示するスペースが設けられている。
また、本実施形態では、画面２１の左側上部には、画像表示装置２での画像Ｐの表示の仕方を切り替えるためのアイコン２２Ａ～２２Ｃが表示されるようになっており、自機Ａの搭乗員はアイコン２２Ａ～２２Ｃのいずれかにタッチすることでアイコンを選択することで画像表示装置２での画像Ｐの表示の仕方を選択することができるようになっている。

なお、図２では、アイコン２２Ａが選択された場合が示されており、本実施形態では、アイコンが選択されると、選択されたアイコンの横に三角形の印が表示されるようになっており、印が表示されたアイコンが選択されていることを表すようになっている。
また、選択されたアイコンの横に印を表示する代わりに、あるいはそれとともに、例えば選択されたアイコンを表示する色を変えたりアイコンを点滅させたりして当該アイコンが選択されていることを表すように表示することも可能である。

また、本実施形態では、画像表示装置２の画面２１の左側下部に、他機Ｂを表すシンボル２３やカメラ３の視野を表すシンボル２４を表示するようになっている。
これらのシンボル２３、２４の表示の仕方については、以下で説明する画像Ｐの表示の仕方についての説明の中で説明する。なお、後述するようにシンボル２３、２４は回転させて表示されるが、その際、それらの画面２１上での大きさは変わらない。

次に、本実施形態に係る画像表示システム１における画像表示装置２での画像Ｐの表示の仕方について説明する。
本実施形態では、画像表示装置２の制御部は、自機Ａの搭乗員の選択に従って、画像表示装置２での画像Ｐの表示の仕方を、カメラヘディング基準による表示の仕方と、他機ヘディング基準による表示の仕方と、自機ヘディング基準による表示の仕方との少なくとも３つの表示の仕方の間で切り替えて表示させることができるように構成されている。
以下、具体的に説明する。

［カメラヘディング基準による表示の仕方］
本実施形態では、自機Ａの搭乗員は、画像表示装置２の画面２１上に表示されている「カメラＨＤＧ」のアイコン２２Ａをタッチして選択することで、カメラヘディング基準による表示の仕方を選択することができるようになっている。
なお、「ＨＤＧ」はヘディングの略記である（以下同様）。

画像表示装置２の制御部は、自機Ａの搭乗員によりアイコン２２Ａが選択されると、その選択に従って画像Ｐの表示の仕方をカメラヘディング基準による表示の仕方に切り替える。
カメラヘディング基準による表示の仕方では、制御部は、図２に示すように、カメラ３が撮影した画像Ｐをそのまま（すなわち回転させずに）画面２１上に表示させるようになっている。

また、本実施形態では、制御部は、カメラヘディング基準による表示の仕方が選択された場合は、図２に示すように、画面２１上に、カメラ３の視野を表すシンボル２４を他機Ｂのシンボル２３の真上の位置に上向きに表示するようになっている。
また、制御部は、それとともに、他機Ｂのシンボル２３を、シンボル２３の中心を回転中心として機首が上を向く姿勢から前述した他機Ｂに対するカメラ３のパン角度θだけ左回り（反時計回り）に回転させた方向を向く姿勢で表示するようになっている。

このように、カメラ３の視野を表すシンボル２４を他機Ｂのシンボル２３の真上の位置に上向きに表示することで、シンボル２４を見た自機Ａの搭乗員がカメラヘディング基準による表示の仕方が選択されていることを直感的に認識することが可能となる。
また、他機Ｂのシンボル２３を機首が上を向く姿勢からカメラ３のパン角度θだけ回転させた方向を向く姿勢で表示することで、他機Ｂに対するカメラ３のパン角度θがどの程度かを示すとともに、選択されている画像の表示の仕方が、他機ヘディング基準による表示の仕方ではないこと（カメラヘディング基準による表示の仕方であること）を自機Ａの搭乗員に直感的に認識させることが可能となる。
すなわち、画像表示装置２の画面２１を見ている自機Ａの搭乗員は、シンボル２３、２４の表示のされ方を見れば、即座にカメラヘディング基準による表示の仕方が選択されていることを認識することが可能となる。

因みに、図示を省略するが、上記の状態で、他機Ｂが直進を続け、カメラ３をその状態からパンさせなければ、他機Ｂに対するカメラ３のパン角度θは変わらないため、シンボル２３、２４の表示は図２に示した状態のまま変わらず、画像Ｐが他機Ｂの進行方向とは逆方向（この場合は図中右上の方向）に移動していく状態になる。
また、上記の状態でカメラ３をパンさせずに他機Ｂが旋回した場合も、シンボル２３、２４の表示は図２に示した状態のまま変わらず、画像Ｐが他機Ｂの旋回方向とは逆方向にパンしていく状態になる。

一方、例えば他機Ｂが直進している状態で、カメラ３を遠隔操作して他機Ｂの機首方向にパンさせると、画像表示装置２の画面２１上に表示される画像Ｐがパンしていくとともに、他機Ｂのシンボル２３が時計回りに回転していく。その間、カメラ３の視野を表すシンボル２４は、他機Ｂのシンボル２３の真上の位置で上向きに表示された状態が維持される。
そして、例えばカメラ３が他機Ｂの機首方向を向く状態になると、例えば図３に示すように、画面２１上には、他機Ｂの正面方向を撮影した画像Ｐが表示されるとともに、他機Ｂのシンボル２３は機首が上を向く姿勢になる。
なお、以上の表示の仕方は、自機Ａが旋回等をしても何ら影響を受けない。

［他機ヘディング基準による表示の仕方］
また、本実施形態では、自機Ａの搭乗員は、画像表示装置２の画面２１上に表示されている「他機ＨＤＧ」のアイコン２２Ｂをタッチして選択することで、他機ヘディング基準による表示の仕方を選択することができるようになっている。
画像表示装置２の制御部は、自機Ａの搭乗員によりアイコン２２Ｂが選択されると、その選択に従って画像Ｐの表示の仕方を他機ヘディング基準による表示の仕方に切り替える。

他機ヘディング基準による表示の仕方では、制御部は、他機Ｂの機首が向いている方向が基準になるようにカメラ３が撮影した画像Ｐを回転させて表示させるようになっている。
すなわち、本実施形態では、自機Ａの搭乗員がアイコン２２Ｂを選択して他機ヘディング基準による表示の仕方を選択すると、制御部は、画面２１上で、カメラ３が撮影した画像Ｐを他機Ｂに対するカメラ３のパン角度θに基づいて回転させて表示させるようになっている。

具体的に説明すると、例えば図２に示した状態で、自機Ａの搭乗員がアイコン２２Ｂにタッチして選択すると、画像表示装置２の制御部は、図４に示すように、アイコンの横の三角形の印をアイコン２２Ｂの横に移動させる。
また、カメラ３が撮影した画像Ｐを、画面２１上で、画像Ｐの中心を回転中心として他機Ｂに対するカメラ３のパン角度θだけ回転させて表示させる。その際、図４に示すように、例えば画像Ｐが欠けた状態（この場合は画像Ｐの角隅部が欠けた状態）になる場合があるが、それを補正する画像処理等は行わず、そのまま表示する。

このように構成すると、画像Ｐをカメラ３のパン角度θだけ回転させるだけであるため、回転させた画像Ｐが画面２１上に瞬時に表示される。
そして、自機Ａの搭乗員がその画像Ｐ（図４参照）を見れば、画像Ｐ中に撮影されている車両αも車両βも他機Ｂの方を向いていないと瞬時に判断することができる。そのため、他機Ｂが攻撃を避ける行動をとる必要があるかないかを即座に判断することができる。そして、この場合は、他機Ｂが車両αや車両βから攻撃を受ける可能性が低いため他機Ｂが攻撃を避ける行動をとる必要はないと即座に判断できる。

一方、カメラヘディング基準による表示の仕方で画面２１上に例えば図５（Ａ）に示すような画像Ｐを表示された場合、画像Ｐに撮影されている車両αや車両βが他機Ｂの方を向いているか否かが分かりにくいが、上記と同様にして、画像表示装置２での画像Ｐの表示の仕方を他機ヘディング基準による表示の仕方に切り替えると、図５（Ｂ）に示すように、車両βは他機Ｂの方を向いていないが、車両αが他機Ｂの方を向いていることが瞬時に判断できる。

このように、本実施形態に係る画像表示システム１では、画像表示装置２での画像Ｐの表示の仕方を他機ヘディング基準による表示の仕方に切り替えることで、自機Ａの搭乗員に、観測対象（この場合は車両α、β）が他機Ｂの方を向いているか否かを瞬時に判断させることが可能となる。図５（Ｂ）に示した場合には、自機Ａの搭乗員に、観測対象、特に車両αが他機Ｂの方を向いていると瞬時に判断させることが可能となる。
そして、自機Ａの搭乗員に、他機Ｂが攻撃を避ける行動をとる必要があるか、あるいは他機Ｂが攻撃を避ける行動をとる必要はないが車両αの監視を続けるべきか否か等を即座に判断させることが可能となる。

一方、本実施形態では、画像表示装置２の制御部は、他機ヘディング基準による表示の仕方が選択された場合は、図４や図５（Ｂ）に示すように、画面２１上に、他機Ｂのシンボル２３を機首が上を向く姿勢で表示するようになっている。
また、制御部は、それとともに、カメラ３の視野を表すシンボル２４を、他機Ｂのシンボル２３の中心を回転中心として他機Ｂのシンボル２３の真上の位置から他機Ｂに対するカメラ３のパン角度θだけ右回り（時計回り）に回転させた位置に表示するようになっている。

このように、他機Ｂのシンボル２３を機首が上を向く姿勢で表示することで、シンボル２３を見た自機Ａの搭乗員が他機ヘディング基準による表示の仕方が選択されていることを直感的に認識することが可能となる。
また、カメラ３の視野を表すシンボル２４を他機Ｂのシンボル２３の真上の位置からカメラ３のパン角度θだけ回転させた位置に表示することで、他機Ｂに対するカメラ３のパン角度θがどの程度かを示すとともに、選択されている画像の表示の仕方が、カメラヘディング基準による表示の仕方ではないこと（他機ヘディング基準による表示の仕方であること）を自機Ａの搭乗員に直感的に認識させることが可能となる。
すなわち、画像表示装置２の画面２１を見ている自機Ａの搭乗員は、シンボル２３、２４の表示のされ方を見れば、即座に他機ヘディング基準による表示の仕方が選択されていることを認識することが可能となる。

なお、図示を省略するが、図４に示した状態で、他機Ｂが直進を続け、カメラ３をパンさせなければ、他機Ｂに対するカメラ３のパン角度θは変わらないため、シンボル２３、２４の表示は図４に示した状態のまま変わらず、画像Ｐが他機Ｂの進行方向とは逆方向（この場合は図中下向き）に移動していく状態になる。
また、上記の状態でカメラ３をパンさせずに他機Ｂが旋回した場合も、シンボル２３、２４の表示は図２に示した状態のまま変わらず、画像Ｐが他機Ｂの旋回方向とは逆方向にパンしていく状態になる。

一方、例えば他機Ｂが直進している状態で、カメラ３を遠隔操作して他機Ｂの機首方向にパンさせると、画像表示装置２の画面２１上に表示される画像Ｐがパンしていくとともに、カメラ３の視野を表すシンボル２４が反時計回りに回転していく。その間、他機Ｂのシンボル２３は上向きに表示された状態が維持される。
そして、例えばカメラ３が他機Ｂの機首方向を向く状態になると、画面２１上の表示が図３に示した画面表示と同じ表示になる。
なお、以上の表示の仕方は、自機Ａが旋回等をしても何ら影響を受けない。

［自機ヘディング基準による表示の仕方］
また、本実施形態では、自機Ａの搭乗員は、画像表示装置２の画面２１上に表示されている「自機ＨＤＧ」のアイコン２２Ｃをタッチして選択することで、自機ヘディング基準による表示の仕方を選択することができるようになっている。
画像表示装置２の制御部は、自機Ａの搭乗員によりアイコン２２Ｃが選択されると、その選択に従って画像Ｐの表示の仕方を自機ヘディング基準による表示の仕方に切り替える。

自機ヘディング基準による表示の仕方では、制御部は、自機Ａの機首が向いている方向が基準になるようにカメラ３が撮影した画像Ｐを回転させて表示させるようになっている。
すなわち、本実施形態では、自機Ａの搭乗員がアイコン２２Ｃを選択して自機ヘディング基準による表示の仕方を選択すると、制御部は、画面２１上で、カメラ３が撮影した画像Ｐを他機Ｂに対するカメラ３のパン角度θと自機Ａに対する他機Ｂの相対的な方位角ψ（上記（１）式参照）とに基づいて回転させて表示させるようになっている。

具体的に説明すると、例えば図２に示した状態で、自機Ａの搭乗員がアイコン２２Ｃにタッチして選択すると、画像表示装置２の制御部は、図６に示すように、アイコンの横の三角形の印をアイコン２２Ｃの横に移動させる。
また、カメラ３が撮影した画像Ｐを、画面２１上で、画像Ｐの中心を回転中心として、他機Ｂに対するカメラ３のパン角度θと自機Ａに対する他機Ｂの相対的な方位角ψとの和の角度θ＋ψだけ回転させて表示させる。その際、図６に示すように、例えば画像Ｐが欠けた状態（この場合は画像Ｐの左右が欠けた状態）になる場合があるが、それを補正する画像処理等は行わず、そのまま表示する。

このように構成すると、画像Ｐをθ＋φだけ回転させるだけであるため、回転させた画像Ｐが画面２１上に瞬時に表示される。
そして、自機Ａの搭乗員がその画像Ｐ（図６参照）を見れば、画像Ｐ中に撮影されている車両αも車両βも自機Ａの方を向いていないと瞬時に判断することができる。そのため、自機Ａが攻撃を避ける行動をとる必要があるかないかを即座に判断することができる。そして、この場合は、自機Ａが車両αや車両βから攻撃を受ける可能性が低いため自機Ａが攻撃を避ける行動をとる必要はないと即座に判断できる。

一方、カメラヘディング基準による表示の仕方で画面２１上に例えば図５（Ａ）に示したような画像Ｐを表示された場合、画像Ｐに撮影されている車両αや車両βが自機Ａの方を向いているか否かが分かりにくいが、上記と同様にして、画像表示装置２での画像Ｐの表示の仕方を自機ヘディング基準による表示の仕方に切り替えると、図７に示すように、車両βは自機Ａの方を向いていないが、車両αが自機Ａの方を向いている可能性があることが瞬時に判断できる。

このように、本実施形態に係る画像表示システム１では、画像表示装置２での画像Ｐの表示の仕方を自機ヘディング基準による表示の仕方に切り替えることで、自機Ａの搭乗員に、観測対象（この場合は車両α、β）が自機Ａの方を向いているか否かを瞬時に判断させることが可能となる。
他機Ｂが自機Ａの前方を飛行している場合、自機Ａは図７の画像Ｐにおける下側を飛行していることになるため、自機Ａの搭乗員に車両αが自機Ａの方を向いている可能性があると瞬時に判断させることが可能となる。また、他機Ｂが自機Ａの後方を飛行している場合、自機Ａは図７の画像Ｐにおける上側を飛行していることになるため、自機Ａの搭乗員に車両βが自機Ａの方を向いている可能性があると瞬時に判断させることが可能となる。

また、他機Ｂが自機Ａの左側又は右側を飛行している場合、自機Ａは図７の画像Ｐにおける右側又は左側を飛行していることになるため、自機Ａの搭乗員に車両αが自機Ａの方を向いている可能性があると瞬時に判断させることが可能となる。
自機ヘディング基準による表示の仕方では、このように回転して表示された画像Ｐを見て、観測対象（この場合は車両α、β）が自機Ａの方を向いているか否かを瞬時に判断させることが可能となるため、自機Ａの搭乗員に、自機Ａが攻撃を避ける行動をとる必要があるか、あるいは自機Ａが攻撃を避ける行動をとる必要はないが車両αや車両βの監視を続けるべきか否か等を即座に判断させることが可能となる。

一方、本実施形態では、画像表示装置２の制御部は、自機ヘディング基準による表示の仕方が選択された場合は、図６や図７に示すように、画面２１上に、他機Ｂのシンボル２３を、当該シンボル２３の中心を回転中心として機首が上を向く姿勢から自機Ａに対する他機Ｂの相対的な方位角ψ（上記（１）式参照）だけ右回り（時計回り）回転させた方向を向く姿勢で表示するようになっている。
また、制御部は、それとともに、カメラ３の視野を表すシンボル２４を、他機Ｂのシンボル２３の中心を回転中心として他機Ｂのシンボル２３の真上の位置から他機Ｂに対するカメラ３のパン角度θと自機Ａに対する他機Ｂの相対的な方位角ψとの和の角度θ＋ψだけ右回り（時計回り）に回転させた位置に表示するようになっている。

シンボル２３、２４をこのように表示することで、シンボル２３、２４を見た自機Ａの搭乗員が、カメラヘディング基準や他機ヘディング基準による表示の仕方ではなく、自機ヘディング基準による表示の仕方が選択されていることを直感的に認識することが可能となる。

なお、例えば図６に示した状態で、自機Ａが車両αを追跡することを決定した場合、自機Ａの搭乗員（特に操縦者）は、図６に示した画像Ｐから自機Ａを右旋回させればよいことを即座に認識することができる。
そして、例えば、他機Ｂが直進を続け、カメラ３をその状態からパンさせない状態で自機Ａを右旋回させると、他機Ｂの方位角φｂや他機Ｂに対するカメラ３のパン角度θは変わらず、自機Ａの方位角φａだけが変化していく。

そのため、画像Ｐが、図６に示した状態から自機Ａの旋回方向とは逆方向（この場合は図中反時計回り）に移動していく状態になる。
また、この場合、自機Ａが右旋回するため自機Ａの方位角φａが大きくなっていき、ψ（＝φｂ－φａ）やθ＋ψは逆に自機Ａの方位角φａの分だけ小さくなっていく。そのため、シンボル２３、２４の表示は反時計回りに回転していく状態になる。

そのため、画像表示装置２の画面２１上に表示される画像Ｐやシンボル２３、２４の表示は図８に示すような状態になる。
そして、このような表示、特に画像Ｐは、自機Ａが車両αを追跡する状態と直感的に一致する状態になる。

ここで、本発明と比較する例として、上記と同じ状況を、前述した特許文献１に記載された画像表示システムを用いて表示する場合について考える。
この場合、図１０に示した場合と同様に、画像表示装置の画面１００は、前述したように画面１００の縦方向が南北方向、横方向が東西方向になるように設定されるものとする。

そして、特許文献１に記載された画像表示装置の画面１００上には図１０に示したように他機ｂしか表示されないが（図１０では符号１０２参照）、上記の場合は自機ａの表示も必要になる。
そのため、画像表示装置の画面１００では例えば図９に示すような表示がなされることになると考えられる。

なお、図９において、符号１０４はカメラの視界範囲を表す。また、他機ｂに搭載されたカメラで撮影した画像１０１は、図５（Ａ）等に示した画像Ｐと同じ画像である。
また、図９では、カメラの視点１０３や無人航空機（他機ｂ）の軌跡１０５（図１０参照）の図示が省略されている。さらに、図９では、自機ａと他機ｂの相対的な大きさや、自機ａや他機ｂの大きさと距離との関係は、必ずしも現実を反映していない。

この場合、画像表示装置の画面１００上で図９に示すような表示を行うためには、本発明と同様に自機ａの方位角や他機ｂの方位角、他機ｂに対するカメラのパン角度の情報が必要となるが、そのほかに、自機ａや他機ｂの位置情報や他機ｂの高度、カメラのチルト角度等の情報も必要になる。
そして、それらの情報に基づいて画面１００上に自機ａや他機ｂを所定の位置と向きで表示し、他機ｂの高度や方位角、カメラのパン角度やチルト角度からカメラの視界範囲１０４等を算出して表示する。そのため、カメラ等から送信された画像１０１を画像表示装置が受信してから画面１００上に図９に示したような表示を行うまでに時間がかかる可能性がある。

また、自機ａの搭乗員は、図９の表示を見てカメラが南南西の方向を撮影していることを認識し、画像１０１中で車両αが右下方向に進んでいることを認識した上で、頭の中で画像１０１を上下が反転するように回転させて、車両αが実際には上方（北向き）に進んでいることを認識して、ようやく車両αが他機ｂや自機ａの方を向いていることを認識する。
そのため、車両αが他機ｂや自機ａの方を向いていることを認識するまでに時間がかかり、車両αが敵の軍用車両等である場合には、自機ａの搭乗員が、車両αが他機ｂや自機ａの方を向いていることを認識するまでの間に車両αから攻撃を受けてしまう可能性が生じる。そのため、この場合、他機ｂが撃墜されてしまったり、自機ａが非常に危険な状況に陥ってしまう可能性がある。

それに対して、本実施形態に係る画像表示システム１では、上記のように、画像表示装置２の画面２１上に自機Ａや他機Ｂの位置は表示せず、また、カメラ３が撮影した画像Ｐを、画像表示装置２の画面２１上で、他機Ｂに対するカメラ３のパン角度θや自機Ａに対する他機Ｂの相対的な方位角ψに基づいて回転させて表示させるだけである。
そのため、カメラ３等から送信された画像Ｐを画像表示装置２が受信するとほぼ同時に、画面２１上に図２～図８に示したような表示を行うことができる。

そして、自機Ａの搭乗員が画像表示装置２の画像Ｐを見れば、画像Ｐ中に撮影されている観測対象（例えば車両αや車両β）が自機Ａや他機Ｂの方を向いているか否かを瞬時に判断することができる。
そのため、自機Ａや他機Ｂが攻撃を避ける行動をとる必要があるかないかを即座に判断することが可能となり、自機Ａの搭乗員に必要な行動を迅速に行わせることが可能となる。

以上のように、本実施形態に係る画像表示システム１によれば、自機Ａの搭載された画像表示装置２の制御部は、自機Ａの機首が向いている方向が基準になるようにカメラ３が撮影した画像Ｐを回転させて表示させる自機ヘディング基準によって画面２１上に表示する。

そのため、自機Ａの搭乗員に、観測対象が自機Ａや他機Ｂの方を向いているか否かを瞬時に判断させることが可能となる。
そして、観測対象が自機Ａや他機Ｂの方を向いているか否かを瞬時に判断させることが可能となるため、自機Ａの搭乗員に、観測対象が自機Ａや他機Ｂの方を向いている場合に必要な行動を迅速に行わせることが可能となり、あるいは観測対象が自機Ａや他機Ｂの方を向いていない場合に適切な行動を迅速に行わせることが可能となる。

なお、本発明が上記の実施形態等に限定されず、本発明の趣旨を逸脱しない限り、適宜変更可能であることは言うまでもない。
例えば、図１等では、自機Ａや他機Ｂが飛行機である場合を示したが、自機Ａや他機Ｂがヘリコプタ等の他の形態の有人航空機であってもよく、また、他機Ｂがドローン等であってもよい。

１ 画像表示システム
２ 画像表示装置
３ カメラ
２３ 他機を表すシンボル
２４ カメラの視野を表すシンボル
Ａ 自機
Ｂ 他機
Ｐ 画像
θ 他機に対するカメラのパン角度
ψ 自機に対する他機の相対的な方位角

Claims (8)

1. 自機に搭載された画像表示装置と、
   他機に搭載されたカメラと、
   を備え、
   前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
   前記制御部は、前記画面上に、前記他機を表すシンボルを、当該他機のシンボルの中心を回転中心として機首が上を向く姿勢から前記自機に対する前記他機の相対的な方位角に基づいて回転させた方向を向く姿勢で表示するとともに、前記カメラの視野を表すシンボルを、前記他機のシンボルの中心を回転中心として前記他機のシンボルの真上の位置から前記他機に対する前記カメラのパン角度と前記自機に対する前記他機の相対的な方位角とに基づいて回転させた位置に表示することを特徴とする画像表示システム。
2. 自機に搭載された画像表示装置と、
   他機に搭載されたカメラと、
   を備え、
   前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
   前記制御部は、所定の操作に応じて前記他機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる他機ヘディング基準の表示に切り替えることを特徴とする画像表示システム。
3. 前記制御部は、前記他機ヘディング基準によって表示する場合は、前記画面上に、前記他機のシンボルを機首が上を向く姿勢で表示するとともに、前記カメラの視野を表すシンボルを、前記他機のシンボルの中心を回転中心として前記他機のシンボルの真上の位置から前記他機に対する前記カメラのパン角度に基づいて回転させた位置に表示することを特徴とする請求項２に記載の画像表示システム。
4. 前記制御部は、所定の操作に応じて前記カメラが撮影した画像をそのまま表示させるカメラヘディング基準の表示に切り替えることを特徴とする請求項１から請求項３のいずれか一項に記載の画像表示システム。
5. 自機に搭載された画像表示装置と、
   他機に搭載されたカメラと、
   を備え、
   前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
   前記制御部は、
   所定の操作に応じて前記カメラが撮影した画像をそのまま表示させるカメラヘディング基準の表示に切り替え、
   前記カメラヘディング基準による表示の仕方が選択された場合は、前記画面上に、前記カメラの視野を表すシンボルを前記他機のシンボルの真上の位置に表示するとともに、前記他機のシンボルを、当該他機のシンボルの中心を回転中心として機首が上を向く姿勢から前記他機に対する前記カメラのパン角度に基づいて回転させた方向を向く姿勢で表示することを特徴とする画像表示システム。
6. 前記制御部は、前記自機ヘディング基準によって表示する場合は、前記カメラが撮影した画像を、前記他機に対する前記カメラのパン角度と前記自機に対する前記他機の相対的な方位角とに基づいて回転させて表示させることを特徴とする請求項１から請求項５のいずれか一項に記載の画像表示システム。
7. 前記カメラが撮影する画像は動画であることを特徴とする請求項１から請求項６のいずれか一項に記載の画像表示システム。
8. 前記他機は、無人航空機であることを特徴とする請求項１から請求項７のいずれか一項に記載の画像表示システム。

Images