JP6266675B2 - 捜索支援装置、捜索支援方法及び捜索支援プログラム - Google Patents

Description

本発明は、カメラを操作する操作員が高所からのカメラ映像を見ながら行う所定の探知目標の捜索を支援する技術に関し、特に、操作員の操作負荷を軽減するのに有用な技術である。

航空機などに設置された光学カメラを使用し、その操作員が高所からのカメラ映像（画像）を見ながら地上（または海上）の所定の探知目標の捜索を行う場合がある（例えば、特許文献１参照）。

このような捜索活動では、操作員が広画角のカメラ映像を見ながら広範囲での捜索を行い、疑わしい対象を発見したらその方向にカメラの視軸を向けて狭画角に切り替えて（ズームアップ）、それが探知目標か否かを確認する。そして、この対象が探知目標でなかった場合には再び広画角に戻して捜索を継続し、探知目標であった場合には当該探知目標の画像中の位置からその実際の位置（座標）を標定する。
このように、操作員は広画角での捜索と狭画角での識別とを探知目標を発見するまで繰り返し行う必要があり、その操作負荷が極めて大きかった。

特許第４１７０４８８号公報

本発明は、上記課題を鑑みてなされたもので、操作員が撮影画像を見ながら行う探知目標の捜索において、従来に比べて操作員の操作負荷を軽減することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、高所に設置された撮影手段を用いて操作員が行う所定の探知目標の捜索を支援する捜索支援装置であって、
前記撮影手段が撮影した画像を表示する表示手段と、
前記表示手段に表示された表示画像上での前記操作員の視線軌跡を検出する視線軌跡検出手段と、
前記視線軌跡検出手段により検出された前記視線軌跡に基づいて、前記表示画像のうち前記操作員が注視した注視領域を抽出する注視領域抽出手段と、
前記注視領域抽出手段により抽出された前記注視領域内における前記撮影手段からの距離を計測する測距手段と、
前記測距手段により計測された前記撮影手段からの距離に基づいて、前記注視領域内に前記探知目標が存在するか否かを判定する目標有無判定手段と、
を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の捜索支援装置において、
前記撮影手段は、当該撮影手段からの距離情報を取得可能なステレオカメラであり、前記測距手段を兼ねていることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の捜索支援装置において、
前記注視領域抽出手段は、前記視線軌跡の平均位置を中心とし、前記視線軌跡の存在確率が所定値となる円形領域を、前記注視領域として前記表示画像から抽出することを特徴とする。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の捜索支援装置において、
前記目標有無判定手段は、
前記注視領域内における前記撮影手段からの距離の平均値と、前記注視領域内において前記撮影手段から最も近い距離とが、所定値以上の差を有していた場合に、前記注視領域内に前記探知目標が存在すると判定し、
前記注視領域内において前記撮影手段から最も近い距離の位置を、前記探知目標の位置と標定することを特徴とする。

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の捜索支援装置において、
前記撮影手段が航空機に搭載されていることを特徴とする。

請求項６及び請求項７に記載の発明は、請求項１に記載の捜索支援装置と同様の特徴を具備する捜索支援方法及び捜索支援プログラムである。

本発明によれば、表示手段に表示された表示画像上での操作員の視線軌跡に基づいて、当該表示画像のなかから操作員が注視した注視領域が抽出され、この注視領域内における撮影手段からの距離に基づいて、当該注視領域内に探知目標が存在するか否かが判定される。
つまり、操作員が表示画像を注視していた場合に、その注視領域内に探知目標らしき対象が存在すると判定されたうえで、その対象が探知目標であるか否かが撮影手段からの距離に基づいて判定される。これにより、操作員が表示画像内で探知目標を探す（目で追う）だけで、探知目標の存在が自動的に確認される。
したがって、操作員が広画角での捜索と狭画角での識別を繰り返し行う必要があった従来に比べ、操作員の操作負荷を軽減することができる。

本実施形態における航空機の概略構成を示すブロック図である。 捜索支援処理でのデータの流れを示すデータフロー図である。 捜索支援処理を説明するための図である。

以下、本発明に係る捜索支援装置を航空機１に適用した場合の実施形態について、図面を参照して説明する。

［構成］
まず、本実施形態における航空機１の構成について、図１を参照して説明する。
図１は、航空機１の概略構成を示すブロック図である。
航空機１は、所定の探知目標の捜索を行うためのものであり、より詳しくは、本発明に係る捜索支援装置を具備することにより、搭載されたステレオカメラ１４を用いてその操作員（搭乗員）が行う探知目標の捜索を支援可能に構成されたものである。
具体的には、図１に示すように、航空機１は、飛行機構１１と、操作部１２と、記憶部１３と、ステレオカメラ１４と、ディスプレイ１５と、カメラ操作部１６と、視線検出用カメラ１７と、制御部１８とを備えて構成されている。

このうち、飛行機構１１は、航空機１を飛行させるための機構であり、推進力を発生させる内燃機関（例えばジェットエンジン）や舵面駆動用のアクチュエータ等から構成されている。
操作部１２は、パイロットに操作される操縦桿や各種操作キー等を備えており、これら操縦桿や各種操作キー等の操作状態に対応する信号を制御部１８に出力する。

記憶部１３は、航空機１の各種機能を実現するためのプログラムやデータを記憶するとともに、作業領域としても機能するメモリである。本実施形態においては、記憶部１３は、捜索支援プログラム１３０を記憶している。
捜索支援プログラム１３０は、後述の捜索支援処理を制御部１８に実行させるためのプログラムである。

ステレオカメラ１４は、航空機１の機外を撮影するためのものであり、図示しないジンバルに載置されて向きを変えられるように航空機１の機体に設けられている。このステレオカメラ１４は、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報（つまり、当該ステレオカメラ１４からの距離情報）も取得できるものであり、取得した情報を制御部１８に出力する。

ディスプレイ１５は、制御部１８から入力される表示信号に基づいて、ステレオカメラ１４が撮影した画像を表示する。
カメラ操作部１６は、ステレオカメラ１４を操作するためのものであり、ステレオカメラ１４の向きやズームアップ・ズームバックなどの操作が可能となっている。このカメラ操作部１６は、本実施形態においては、パイロットとは異なる専用の操作員によって操作される。操作員は、ディスプレイ１５によってステレオカメラ１４の撮影画像を見ながら、カメラ操作部１６を操作する。

視線検出用カメラ１７は、ディスプレイ１５を見る操作員の視線（目の動き）を検出するためのものであり、操作員の顔に対向するように設けられている。この視線検出用カメラ１７は、操作員の目の動きを撮影し、その画像情報を制御部１８に出力する。
なお、視線検出用カメラ１７は、ディスプレイ１５と一体的に構成されていてもよい。

制御部１８は、航空機１の各部を中央制御する。具体的に、制御部１８は、飛行機構１１を駆動制御して航空機１の飛行を制御したり、記憶部１３に記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。
また、制御部１８は、後述するように、捜索支援処理における各種の機能部として、視線軌跡検出器１８１と、注視領域判定器１８２と、目標探知標定器１８３とを備えている（図２参照）。

［動作］
続いて、捜索支援処理を実行する際の航空機１の動作について説明する。
図２は、捜索支援処理でのデータの流れを示すデータフロー図である。また、図３は、捜索支援処理を説明するための図であって、（ａ）がディスプレイ１５上での後述の視線軌跡ＬＳを示す図であり、（ｂ）がディスプレイ１５上での後述の注視領域ＷＡを示す図であり、（ｃ）が注視領域ＷＡにおける探知目標Ｔを示すイメージ図である。

捜索支援処理は、操作員がステレオカメラ１４の撮影画像を見ながら行う探知目標Ｔの捜索を支援する処理である。この捜索支援処理は、例えば操作員の操作等により当該捜索支援処理の実行指示が入力されたときに、制御部１８が記憶部１３から捜索支援プログラム１３０を読み出して展開することで実行される。
なお、ここでは、飛行中の航空機１からステレオカメラ１４により機体下方の地上（または海上）が撮影されて、その撮影画像がディスプレイ１５に表示されており、このステレオカメラ１４の広画角での撮影により、探知目標Ｔ（と思われるもの）がディスプレイ１５の表示画像中に含まれているものとする（図３（ａ）参照）。

図２に示すように、捜索支援処理が実行されると、まず制御部１８は、ディスプレイ１５を見る操作員の目の動きを視線検出用カメラ１７により撮影し、その画像情報に基づいて、視線軌跡検出器１８１により操作員の視線軌跡ＬＳを検出する。
具体的に、視線軌跡検出器１８１は、例えば基準点を角膜反射、動点を瞳孔とし、或いは基準点を目頭、動点を虹彩にしてこれらの位置関係を用いることで、操作員の視線を検出する。そして、視線軌跡検出器１８１は、所定の時間間隔（例えば数秒間）に亘る当該視線の移動を記憶することにより、ディスプレイ１５に表示された表示画像上での操作員の視線軌跡ＬＳを検出する。
これにより、操作員が探知目標Ｔ（と思われれるもの）の真贋を判断しようとして、ディスプレイ１５の表示画像上で当該探知目標Ｔの周辺を行き来している視線軌跡ＬＳが得られる（図３（ａ））。

次に、制御部１８は、検出された視線軌跡ＬＳに基づいて、ディスプレイ１５の表示画像のうち操作員が注視した注視領域ＷＡを、注視領域判定器１８２により抽出する。
具体的に、注視領域判定器１８２は、視線軌跡ＬＳの平均位置を中心とし、当該視線軌跡ＬＳの存在確率が所定値となる円形領域を、注視領域ＷＡと判定する（図３（ｂ））。例えば、視線軌跡ＬＳの存在確率が５０％となる領域を求める場合には、ＣＥＰ（平均誤差半径）値を半径とする円形領域が注視領域ＷＡとなる。
これにより、操作員が注視している探知目標Ｔ（と思われるもの）を含む領域が、注視領域ＷＡとしてディスプレイ１５の表示画像から抽出される。

次に、制御部１８は、抽出された注視領域ＷＡ内におけるステレオカメラ１４からの距離に基づいて、目標探知標定器１８３により、当該注視領域ＷＡ内に探知目標Ｔが存在するか否かを判定し、存在する場合にはその位置を標定する。
具体的に、目標探知標定器１８３は、注視領域ＷＡ内（全体）におけるステレオカメラ１４からの距離の平均値と、注視領域ＷＡ内においてステレオカメラ１４から最も近い距離とが、所定値以上の差を有していた場合に、当該注視領域ＷＡ内に探知目標Ｔが存在すると判定する。このとき、ステレオカメラ１４からの距離の値は、当該ステレオカメラ１４から得られる距離情報に基づいて、他の機器に依ることなく直接的に取得することができる。
それから、目標探知標定器１８３は、注視領域ＷＡ内に探知目標Ｔが存在すると判定した場合に、注視領域ＷＡ内においてステレオカメラ１４から最も近い距離の位置、すなわち注視領域ＷＡ内で最も高い位置を、探知目標Ｔの位置と標定する（図３（ｃ））。

そして、制御部１８は、視線軌跡ＬＳの検出、注視領域ＷＡの抽出、探知目標Ｔの有無判定・標定を、探知目標Ｔの位置が標定されるまで連続的に繰り返す。

［効果］
以上のように、本実施形態によれば、ディスプレイ１５に表示された表示画像上での操作員の視線軌跡ＬＳに基づいて、当該表示画像のなかから操作員が注視した注視領域ＷＡが抽出され、この注視領域ＷＡ内におけるステレオカメラ１４からの距離に基づいて、当該注視領域ＷＡ内に探知目標Ｔが存在するか否かが判定される。
つまり、操作員が表示画像を注視していた場合に、その注視領域ＷＡ内に探知目標Ｔらしき対象が存在すると判定されたうえで、その対象が探知目標Ｔであるか否かがステレオカメラ１４からの距離に基づいて判定される。これにより、操作員はディスプレイ１５の表示画像内で探知目標Ｔを探す（目で追う）だけで、探知目標Ｔの存在が自動的に確認される。
したがって、操作員が広画角での捜索と狭画角での識別を繰り返し行う必要があった従来に比べ、操作員の操作負荷を軽減することができる。

また、画像を撮影する撮影手段として、当該撮影手段からの距離情報を取得可能なステレオカメラ１４を用いているので、距離を計測するためだけの測距手段を別途設ける必要がない。

［変形例］
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、上記実施形態では、注視領域ＷＡ内における撮影手段（ステレオカメラ１４）からの距離の平均値と、注視領域ＷＡ内において撮影手段から最も近い距離との差に基づいて、注視領域ＷＡ内に探知目標Ｔが存在するか否かを判定することとしたが、探知目標Ｔ自体の範囲を考慮し、注視領域ＷＡ内における距離の平均値から当該範囲のものを除くようにしてもよい。
具体的には、「注視領域ＷＡ内における撮影手段からの距離の平均値」に代えて、「注視領域ＷＡ内のうち、撮影手段から最も近い距離の位置から所定半径内の範囲を除いた部分における撮影手段からの距離の平均値」を用いるようにしてもよい。

また、撮影手段（ステレオカメラ１４）からの距離に基づいて注視領域ＷＡ内に探知目標Ｔが存在するか否かを判定することとしたが、「撮影手段からの距離」とはすなわちほぼ高度であるため、高度に基づいて探知目標Ｔの存在を判定することとしてもよい。
具体的に、この場合には、例えば捜索範囲内の高度情報のデータベースを予め記憶部１３に記憶しておくか通信手段などにより参照可能に構成しておき、撮影手段からの距離を高度に換算して、高度情報のデータベースを参照するようにすればよい。そして、距離から換算した探知目標Ｔ（と思われるもの）の高度値がデータベース内のものと合致した場合に、その位置を探知目標Ｔの位置と判定すればよい。

また、撮影手段としてステレオカメラ１４を用いることにより、距離情報を含む画像情報を取得することとしたが、距離情報を含まない画像情報を取得する撮影手段（単眼のカメラ）を用い、距離情報は例えば光学センサーやレーダーなどの別の測距手段から取得することとしてもよい。この場合、注視領域ＷＡが抽出された後に、測距手段から注視領域ＷＡ内へレーザー照射や電波照射を行って、当該注視領域ＷＡ内における航空機１からの距離を計測すればよい。

また、操作員が航空機１に搭乗して探知目標Ｔの捜索を行うこととしたが、撮影手段（ステレオカメラ１４）が航空機１に搭載されて高所からの画像を撮影可能であれば、操作員は、撮影手段以外の他の機器（ディスプレイ１５、カメラ操作部１６及び視線検出用カメラ１７）とともに他の場所（例えば地上設備）にいることとしてもよい。つまり、機上の撮影手段から送信されてくる画像情報を用いて、操作員が地上設備などで捜索を行うこととしてもよい。
さらに、撮影手段は高所に設置されて地上または海上の画像を撮影可能であれば、航空機１に搭載されたものでなくともよく、例えば高い建造物の上部に設置されたものなどであってもよい。

１ 航空機
１３ 記憶部
１３０ 捜索支援プログラム
１４ ステレオカメラ
１５ ディスプレイ
１６ カメラ操作部
１７ 視線検出用カメラ
１８ 制御部
ＬＳ 視線軌跡
ＷＡ 注視領域
Ｔ 探知目標

Claims (7)

1. 高所に設置された撮影手段を用いて操作員が行う所定の探知目標の捜索を支援する捜索支援装置であって、
   前記撮影手段が撮影した画像を表示する表示手段と、
   前記表示手段に表示された表示画像上での前記操作員の視線軌跡を検出する視線軌跡検出手段と、
   前記視線軌跡検出手段により検出された前記視線軌跡に基づいて、前記表示画像のうち前記操作員が注視した注視領域を抽出する注視領域抽出手段と、
   前記注視領域抽出手段により抽出された前記注視領域内における前記撮影手段からの距離を計測する測距手段と、
   前記測距手段により計測された前記撮影手段からの距離に基づいて、前記注視領域内に前記探知目標が存在するか否かを判定する目標有無判定手段と、
   を備えることを特徴とする捜索支援装置。
2. 前記撮影手段は、当該撮影手段からの距離情報を取得可能なステレオカメラであり、前記測距手段を兼ねていることを特徴とする請求項１に記載の捜索支援装置。
3. 前記注視領域抽出手段は、前記視線軌跡の平均位置を中心とし、前記視線軌跡の存在確率が所定値となる円形領域を、前記注視領域として前記表示画像から抽出することを特徴とする請求項１または２に記載の捜索支援装置。
4. 前記目標有無判定手段は、
   前記注視領域内における前記撮影手段からの距離の平均値と、前記注視領域内において前記撮影手段から最も近い距離とが、所定値以上の差を有していた場合に、前記注視領域内に前記探知目標が存在すると判定し、
   前記注視領域内において前記撮影手段から最も近い距離の位置を、前記探知目標の位置と標定することを特徴とする請求項１〜３のいずれか一項に記載の捜索支援装置。
5. 前記撮影手段が航空機に搭載されていることを特徴とする請求項１〜４のいずれか一項に記載の捜索支援装置。
6. 高所に設置された撮影手段を用いて操作員が行う所定の探知目標の捜索を支援する捜索支援方法であって、
   前記撮影手段が撮影した画像を表示する表示手段を備える捜索支援装置が、
   前記表示手段に表示された表示画像上での前記操作員の視線軌跡を検出する視線軌跡検出工程と、
   前記視線軌跡検出工程で検出された前記視線軌跡に基づいて、前記表示画像のうち前記操作員が注視した注視領域を抽出する注視領域抽出工程と、
   前記注視領域抽出工程で抽出された前記注視領域内における前記撮影手段からの距離を計測する測距工程と、
   前記測距工程で計測された前記撮影手段からの距離に基づいて、前記注視領域内に前記探知目標が存在するか否かを判定する目標有無判定工程と、
   を実行することを特徴とする捜索支援方法。
7. 高所に設置された撮影手段を用いて操作員が行う所定の探知目標の捜索を支援する捜索支援プログラムであって、
   前記撮影手段が撮影した画像を表示する表示手段を備える捜索支援装置を、
   前記表示手段に表示された表示画像上での前記操作員の視線軌跡を検出する視線軌跡検出手段、
   前記視線軌跡検出手段により検出された前記視線軌跡に基づいて、前記表示画像のうち前記操作員が注視した注視領域を抽出する注視領域抽出手段、
   前記注視領域抽出手段で抽出された前記注視領域内における前記撮影手段からの距離を計測する測距手段、
   前記測距手段により計測された前記撮影手段からの距離に基づいて、前記注視領域内に前記探知目標が存在するか否かを判定する目標有無判定手段、
   として機能させることを特徴とする捜索支援プログラム。

Images