JP5857419B2 - 目標標定装置及び目標標定方法 - Google Patents

Description

本発明は、目標標定装置及び目標標定方法に関する。

目標標定装置は、例えば小型の無人飛行機等の飛翔体に搭載されて、地上の目標を撮影し、その撮影データから目標の位置を取得するために用いられる。飛翔体は、飛行条件により姿勢が揺動するので、目標位置を高精度に規定するためには、ジンバル等により目標標定装置の揺動を抑える必要がある。しかし、ジンバル等は重量物であるため、小型の無人機等に搭載できない場合が多い。

このような観点から、特開平１０−１２２７９４号公報においては、撮影画像から目標が写っている領域の画像を切出す技術が開示されている。そして、飛翔体の揺動に応じて切り出す領域を変えることにより、目標が写っている画像を得ている。

また、特開２００１−０８８７９７号公報においては、天候良好時に撮影された多数の空域画像を予め用意して、検出された航空機の現在位置、飛行方向，飛行姿勢に最も近い空域画像を選別表示することにより、操縦が天候不良時でも天候良好時と同様な有視界飛行感覚で行えるようにする技術が開示されている。

特開平１０−１２２７９４号公報 特開２００１−０８８７９７号公報

しかしながら、特開平１０−１２２７９４号公報にかかる方法では、飛翔体の揺動に応じて画像を切出すため、少なくとも撮影画像は切出す画像より大きいサイズの画像であることが要求される。このことは撮影範囲が大きくなることを意味し、撮影画像において無駄になる画像（切り出された残りの画像）が発生する問題がある。また、撮影分解能を保持しながら大きな画像を撮影するためには、高分解能の撮影機器が必要となり、撮影機器が高価になる問題がある。

また、特開２００１−０８８７９７号公報にかかる方法では、天候条件や飛行姿勢に対応する大量の画像を予め用意する必要があると共に、この大量の画像から最適な画像を選別表示する手順が必要となる。従って、かかる技術を目標標定のために応用する際にも、大量の画像を事前に準備し、状況に応じて選別しなければならない。即ち、目標標定装置は大量の画像を記憶する手段を備えると共に、これらの画像から最適な画像を選別するため手段を備え、かつ、これらの選別処理を高速で行わなければならない。依って、目標標定装置は高価になる問題がある。
そこで、本発明の主目的は、姿勢が揺動する飛翔体に搭載しても、安価な構成で、かつ、高精度に目標が規定できる目標標定装置及び目標標定方法を提供することである。

上記課題を解決するため、目標標定装置にかかる発明は、少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置とを関連付してなる画像情報が複数供給されて、当該画像情報毎に目標の標定位置を算出すると共にその平均標定位置を算出して出力する演算ユニットと、平均標定位置の算出に用いた標定位置の当該平均標定位置に対する位置分散値を算出して、位置分散値が予め設定された目標分散値より大きい場合には、予め記憶している画像選別規定値に従い演算ユニットに供給する画像情報を選別する比較・選別ユニットと、を備えることを特徴とする。

また、目標標定方法にかかる発明は、少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置とを関連付してなる画像情報が複数供給されて、当該画像情報毎に目標の標定位置を算出すると共にその平均標定位置を算出して出力する演算手順と、平均標定位置の算出に用いた標定位置の当該平均標定位置に対する位置分散値を算出して、位置分散値が予め設定された目標分散値より大きい場合には、予め記憶している画像選別規定値に従い演算手順に供給する画像情報を選別する比較・選別手順と、を含むことを特徴とする。

目標の標定位置の算出に用いる画像情報を、当該標定位置の算出結果に基づき選別するので、姿勢が揺動する飛翔体に搭載しても、安価な構成で、かつ、高精度に目標が規定できるようになる。

本実施形態にかかる目標標定装置のブロック図である。 目標標定装置を飛翔体に搭載して目標を撮影する際の撮影範囲を示す図である。 標定位置算出手順を示すフローチャートである。 座標変換過程を模式的に示した図である。

＜第１の実施形態＞
本発明の第１の実施形態を説明する。図１は、本実施形態にかかる目標標定装置２のブロック図である。図２は、目標標定装置２を小型の無人飛行機等の飛翔体７に搭載して目標を撮影する際の撮影範囲を示す図である。

目標標定装置２は、撮影ユニット１１、撮影位置取得ユニット１２、撮影姿勢角取得ユニット１３、記憶ユニット１４、比較・選別ユニット１５、演算ユニット１６を備える。

撮影ユニット１１は、ＣＣＤカメラ等からなり、位置標定を行いたい目標を自動又は手動で複数枚撮影する。そして、撮影して得られた撮影画像は、記憶ユニット１４に送られる。

撮影位置取得ユニット１２は、ＧＰＳ受信機等からなり、図示しないＧＰＳ衛星と通信して、自機の位置（以下、撮影位置と記載する）を取得する。取得された撮影位置は、記憶ユニット１４に送られる。ここで、自機とは、目標標定装置２が搭載された飛行機等の目標標定装置搭載機７を言う。

撮影姿勢角取得ユニット１３は、ジャイロ等からなり、目標撮影時における目標標定装置搭載機７の姿勢角（以下、撮影姿勢角と記載する）を記憶ユニット１４に出力する。

記憶ユニット１４は、撮影位置及び撮影姿勢角を、撮影画像と対応付けて記憶する。以下、撮影画像、撮影姿勢角、撮影位置の各データを総称して画像情報と記載する。

演算ユニット１６には、比較・選別ユニット１５から画像情報を受信して後述する手順で標定位置を算出する。なお、比較・選別ユニット１５から複数の画像情報を受信した場合には、各画像情報に基づく標定位置を算出すると共に、算出した標定位置の平均値（平均標定位置）及び撮影姿勢角の平均値（平均撮影姿勢角）を算出する。算出結果は、外部出力されると共に比較・選別ユニット１５にフィードバックされる。

比較・選別ユニット１５は、パラメータ記憶部１５ａ、分散値演算部１５ｂ、比較部１５ｃ、選別部１５ｄを備える。そして、比較・選別ユニット１５は、演算ユニット１６に画像情報を画像選別規定値に基づき選別して出力する。また、比較・選別ユニット１５は、演算ユニット１６からの標定位置、平均標定位置及び、平均撮影姿勢角を受信して、標定位置の分散値を計算すると共に、この分散値と目標分散値との比較から画像選別規定値を更新する。

パラメータ記憶部１５ａは、画像選別規定値及び目標分散値を記憶している。画像選別規定値は、比較・選別ユニット１５が演算ユニット１６に撮影情報を選別して出力する際の基準をなす値で、平均撮影姿勢角±姿勢角分散値により定義される変更・更新が可能な値である。

また、目標分散値は、演算ユニット１６が標定した目標位置に対する精度を判定する際の基準をなす値で、撮影姿勢角が変化しない状態における目標標定結果に対する誤差分散値、設計値、又は当該目標標定装置の完成後の測定により決定した値等である。

分散値演算部１５ｂは、演算ユニット１６からの平均標定位置を用いて、各撮影画像から求めた標定位置の分散値（以下、位置分散値という）を計算する。また、平均標定位置の算出に用いた撮影画像を撮影した際の撮影姿勢角の分散値（姿勢角分散値）と、その平均値（平均撮影姿勢角という）とを計算する。

比較部１５ｃは、位置分散値が目標分散値に対して大きいか否かを判断する。もし、位置分散値が目標分散値より大きい場合は、撮影姿勢角の揺動が大きいために標定位置に大きな誤差が含まれると判定する。そこで、この判断に基づき画像選別規定値を変更・更新する。

選別部１５ｄは、更新された画像選別規定値を満たす撮影姿勢角で撮影された撮影画像を選別して、演算ユニット１６に出力する。従って、更新された画像選別規定値により選別された撮影画像は、撮影姿勢角の揺動が大きい時の撮影画像は含まれない。

演算ユニット１６は、このようにして比較・選別ユニット１５で選別された撮影が贈答を用いて標定位置を演算する。

以上の処理は、位置分散値が目標分散に対して小さくなるか、あるいは充分近い値になるまで繰り返す。これにより、撮影姿勢角が画像選別規定値を越えた画像から演算された標定位置を取得することが可能になり、一標定精度が向上する。

次に、このような目標標定装置の動作を、上述した図２及び、図３を参照して説明する。なお、図３は標定位置算出手順を示すフローチャートである。このとき、目標標定装置２は小型飛行機の目標標定装置搭載機７に搭載されているとする。

以下の説明の観点から、地表に固定された地表座標系と、目標標定装置搭載機７に設定された撮影座標系とを定義する。地表座標系の座標軸をＸ_０軸，Ｙ_０軸，Ｚ_０軸とし、撮影座標系の座標軸をＸ_１軸，Ｙ_１軸，Ｚ_１軸とする。このとき、Ｚ_０軸とＺ_１軸とは同軸線上にあり、Ｘ_１軸とＸ_０軸及び、Ｙ_１軸とＹ_０軸は、それぞれ平行であるとする。そして、目標標定装置搭載機７が揺動することにより、撮影姿勢角が変化する。この撮影姿勢角の変化は、図２において、Ｘ_１軸の回りの回転角φ、Ｙ_１軸の回りの回転角θ、Ｚ_１軸の回りの回転角ψで示している。

目標標定装置搭載機７に搭載された目標標定装置２における撮影ユニット１１の光軸は、Ｚ_１軸と一致するように設定されている。無論、撮影ユニット１１の取付け状況により、撮影ユニット１１の光軸がＺ_１軸と一致せず、ずれる場合がある。このずれ量は、後述する標定位置算出方法における地表座標系に対する撮影座標系のオフセット量として座標変換において取り込むことが可能である。従って、後述する標定位置算出方法は、一般的な方法である。

さて、撮影位置取得ユニット１２により、撮影位置を得ることができる。図２においては、撮影位置は（０，０，Ｈ）として示している。即ち、撮影時の目標標定装置２の位置は、地表座標系のＸ_０−Ｙ_０座標の原点位置で、かつ、地表からの高さ（高度）Ｈの位置である。なお、高度はＧＰＳ機能から得ることができるが、気圧高度計等を用いてもよい。

次に、ある時刻で撮影した時の撮影範囲を領域Ｒ１（Ａ，Ｂ，Ｃ，Ｄ）とする。このときは撮影座標系のＺ_１軸は地表座標系のＺ_０軸と一致した状態である。そして、次の撮影において、目標標定装置搭載機７が揺動したために、撮影範囲が領域Ｒ２（Ａ'，Ｂ'，Ｃ'，Ｄ'）に変化したとする。このように仮定したとき、目標標定装置の動作は以下のようになる。

ステップＳ１，Ｓ２： 撮影ユニット１１、撮影位置取得ユニット１２、撮影姿勢角取得ユニット１３により取得された撮影画像、撮影位置、撮影姿勢角からなる画像情報は、相互に関連づけられて記憶ユニット１４で記憶される。

ステップＳ３： 比較、選別ユニット１５における選別部１５ｄは、パラメータ記憶部１５ａに記憶されている画像選別規定値に従い、記憶ユニット１４に記憶されている画像情報を選別して演算ユニット１６に出力する。

ステップＳ４： 演算ユニット１６は、画像情報を用いて目標の標定位置を算出する。このとき撮影領域における目標の位置は、撮影画角を用いて演算される。なお、撮影画角とは、撮影ユニット１１の光軸に対して撮影画像における目標がなす角度である。即ち、撮影画像のどの位置に目標が位置するかを示すパラメータである。撮影画像が複数の画素から構成される場合には、予め設定された中心画素（例えば、撮影画像の中心に位置する画素）の位置と目標を示す画素の位置から算出される。

目標標定装置搭載機７が揺動したことにより、撮影範囲が領域Ｒ１から領域Ｒ２に変化した場合、撮影座標系における座標値は式１の回転式を用いて式２，式３のように座標変換できる。

図４は、各数式における変換過程を模式的に示した図で、紙面がＹ_１−Ｚ_１平面（Ｙ_０−Ｚ_０平面）に対応し、この紙面に垂直に向かう方向がＸ_１軸（Ｘ_０軸）に対応する。そして、座標Ｙ_Ａは、揺動前の撮影領域Ｒ１における、例えばＡ点のＹ_１軸の座標値を示し、座標Ｙ'_Ａは揺動後のＹ_１軸の座標値を示している。この座標Ｙ'_Ａは、高度Ｈに対応した半径の球面上の点である。従って、式２により、座標Ｙ_Ａは座標Ｙ'_Ａに変換される。このとき座標Ｙ'_Ａは、半径Ｈの球面上の点であり地表上の点ではない。そこで、式３により座標Ｙ'_Ａを地表面上の座標Ｙ_Ａ'変換する。なお、例えばＡ点は３次元座標値であるので、式２及び式３は各座標値に対して定義できる。また、例えば撮影領域Ｒ１はＡ，Ｂ，Ｃ，Ｄの４点で形成されるので、各点に対して式２及び式３が定義される。これにより標定位置が算出される。

演算ユニット１６は記憶ユニット１４から複数の撮影画像に関する画像情報を受信すると、撮影画像毎に標定位置を演算すると共に、算出された各標定位置の平均値を平均標定位置として算出する。また、演算ユニット１６は、その際の撮影姿勢角の平均値を平均撮影姿勢角として算出する。各標定位置、平均標定位置及び平均撮影姿勢角は、比較・選別ユニット１５に出力されると共に、標定結果として装置外に出力される。

ステップＳ５，Ｓ６： 比較・選別ユニット１５の分散値演算部１５ｂは、演算ユニット１６からの標定位置、平均標定位置、平均撮影姿勢角を受信すると、これらを用いて標定位置及び撮影姿勢角の分散値σ^２を式４に従いそれぞれ算出する。

ここでＸ_ａｖｅは、平均標定位置又は平均撮影姿勢角、Ｘ_ｉは標定位置又は撮影姿勢角である。また、ｎは、測定（撮影）回数を示す正の整数である。

ステップＳ７：算出された分散値は比較部１５ｃに送られ、この比較部１５ｃで標定位置の位置分散値と、パラメータ記憶部１５ａに予め設定されている目標分散値との大小比較が行なわれる。

ステップＳ８：そして、位置分散値が、目標分散値より大きい場合は、目標標定装置搭載機７の揺動に起因する標定位置の誤差が大きいと判断し、位置分散値が目標分散値より小さい場合は標定位置の誤差は基準内であると判断する。

位置分散値が目標分散値より大きいと判断した場合は、パラメータ記憶部１５ａに記憶されている画像選別規定値を更新する。即ち、画像選別規定値は、平均撮影姿勢角±姿勢角分散値の範囲の値に更新される。なお、画像選別規定値は、先に算出した姿勢角分散値σ２ の標準偏差値σを用いて、平均撮影姿勢角に対して以下の式５、式６を満足する姿勢角の上限値と下限値とにより設定される。
上限値： Ｘａｖｅ ＋σ …（５）
下限値： Ｘａｖｅ −σ …（６）
本実施形態では、上限値及び下限値の算出において標準偏差値σを用いることを規定するものではなく、２σや３σ等の値を用いてもよい。この場合、範囲設定の幅を広げることになるが、分散値が目標値内に納まるまでの演算処理回数が少なくできるため、演算負荷の軽減が可能になる。

この画像選別規定値が更新されると、ステップＳ３に戻る。そして、ステップＳ３で、この画像選別規定値に適合する撮影姿勢角で撮影された撮影画像に関する画像情報が選別されて、演算ユニット１６に出力される。その後は、上述したステップＳ４〜Ｓ７の処理が繰り返される。

一方、ステップＳ７で、位置分散値が、目標分散値より小さい場合は、所望の精度の標定位置が得られたとして処理が終了する。

以上説明したように、所望の精度が得られるまで、標定位置の算出に用いられる撮影情報の選別を行うので、最終的に得られる標定位置は所望の精度を持つようになる。
＜第２の実施形態＞
次に、本発明の第２の実施形態を説明する。なお、第１の実施形態と同一構成に関しては、符号を用いて説明を適宜省略する。第１の実施形態においては、撮影姿勢角に基づき定義された画像選別規定値を用いた。これに対し、本実施形態では、撮影姿勢角速度に基づき定義される画像選別規定値を用いる。

このために、撮影時においては撮影位置、撮影姿勢角に加え撮影姿勢角速度を取得する。そして、画像選別規定値を画像選別規定値は、撮影姿勢角速度中心値±撮影姿勢角速度分散値により定義する。この撮影姿勢角速度中心値は、平均値ではなく０°／秒、即ち姿勢角変化がない状態とする。

目標標定装置搭載機７は、ディジタル的に揺動することはなく、アナログ的に揺動する。なお、ここでディジタル的、アナログ的な揺動とは、撮影ユニット１１のシャッタ速度に対しする揺動速度を言う。シャッタ速度に比べ、揺動速度が遅い場合には、ディジタル的な揺動と言うことができるが、シャッタ速度に近似した揺動速度の場合はディジタル的とは言えない。即ち、この場合は、アナログ的な揺動である。

目標標定装置搭載機７の高度が高い場合には、撮影領域の変化も大きくなり、恰も写真撮影における手ぶれ現象のように、画像の流れが生じやすくなる。このような画像を用いて目標位置を標定しても、高精度に目標位置が規定できない。

しかし、本実施形態においては、画像選別規定値を撮影姿勢角速度に基づき設定するので、流れた撮影画像に基づき目標位置の標定が行われなくなり、又は標定に用いる撮影画像が流れた画像である場合が少なくなり、目標標定位置の精度及び信頼性が向上する。

本発明にかかる目標標定装置は、災害等の状況を上空から監視するための小型の無人飛行機や無人ヘリコプタのようにジンバル等により撮影ユニットを安定化する異が出来ない飛翔体に搭載することが可能である。

２ 目標標定装置
７ 目標標定装置搭載機
１１ 撮影ユニット
１２ 撮影位置取得ユニット
１３ 撮影姿勢角取得ユニット
１４ 記憶ユニット
１５ 比較・選別ユニット
１５ａ パラメータ記憶部
１５ｂ 分散値演算部
１５ｃ 比較部
１５ｄ 選別部

Claims (4)

1. 目標を撮影して、その撮影情報から目標位置を標定する目標標定装置であって、
   少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置及び前記撮影画像を取得した際の撮影姿勢角とを関連付してなる画像情報が複数供給されて、当該画像情報毎に前記目標の標定位置及びその平均標定位置を算出すると共に、前記撮影姿勢角の平均値を平均撮影姿勢角として算出して出力する演算ユニットと、
   前記撮影姿勢角の前記平均撮影姿勢角に対する姿勢角分散値及び前記平均標定位置の算出に用いた前記標定位置の当該平均標定位置に対する位置分散値を算出し、該位置分散値が予め設定された目標分散値より大きい場合には、前記平均撮影姿勢角を中心値とし、前記姿勢角分散値を幅とする範囲値（前記平均撮影姿勢角±前記姿勢角分散値）で定義される前記画像選別規定値に、算出された前記姿勢角分散値を適用して、当該画像選別規定値を更新し、更新された前記画像選別規定値に従い前記演算ユニットに供給する前記画像情報を選別する比較・選別ユニットと、
   を備えることを特徴とする目標標定装置。
2. 目標を撮影して、その撮影情報から目標位置を標定する目標標定装置であって、
   少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置及び前記撮影画像が取得された際の撮影姿勢角速度とを関連付してなる画像情報が複数供給されて、当該画像情報毎に前記目標の標定位置及びその平均標定位置を算出すると共に、前記撮影姿勢角速度の平均値を平均撮影姿勢角速度として算出して出力する演算ユニットと、
   前記撮影姿勢角速度の前記平均撮影姿勢角速度に対する姿勢角速度分散値及び前記平均標定位置の算出に用いた前記標定位置の当該平均標定位置に対する位置分散値を算出し、該位置分散値が予め設定された目標分散値より大きい場合には、前記平均撮影姿勢角速度を中心値とし前記姿勢角速度分散値を幅とする範囲値（前記撮影姿勢角速度中心値±前記撮影姿勢角速度分散値）で定義される前記画像選別規定値に、算出された前記位置分散値を適用して、当該画像選別規定値を更新し、更新された前記画像選別規定値に従い前記演算ユニットに供給する前記画像情報を選別する比較・選別ユニットと、
   を備えることを特徴とする目標標定装置。
3. 目標を撮影して、その撮影情報から目標位置を標定する目標標定方法であって、
   少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置及び前記撮影画像を取得した際の撮影姿勢角とを関連付してなる画像情報が複数供給されて、当該画像情報毎に前記目標の標定位置及びその平均標定位置を算出すると共に前記撮影姿勢角の平均値を平均撮影姿勢角として算出して出力する演算手順と、
   前記撮影姿勢角の前記平均撮影姿勢角に対する姿勢角分散値及び前記平均標定位置の算出に用いた前記標定位置の当該平均標定位置に対する位置分散値を算出して、該位置分散値が予め設定された目標分散値より大きい場合には、前記平均撮影姿勢角を中心値とし、前記姿勢角分散値を幅とする範囲値（前記平均撮影姿勢角±前記姿勢角分散値）で定義される前記画像選別規定値に、算出された前記姿勢角分散値を適用して、当該画像選別規定値を更新し、更新された前記画像選別規定値に従い前記演算手順に供給する前記画像情報を選別する比較・選別手順と、
   を含むことを特徴とする目標標定方法。
4. 目標を撮影して、その撮影情報から目標位置を標定する目標標定方法であって、
   少なくとも目標を撮影して取得された撮影画像と目標撮影時の撮影位置及び前記撮影画像が取得された際の撮影姿勢角速度とを関連付してなる画像情報が複数供給されて、当該画像情報毎に前記目標の標定位置及びその平均標定位置を算出すると共に、前記撮影姿勢角速度の平均値を平均撮影姿勢角速度として算出して出力する演算手順と、
   前記撮影姿勢角速度の前記平均撮影姿勢角速度に対する姿勢角速度分散値及び前記平均標定位置の算出に用いた前記標定位置の当該平均標定位置に対する位置分散値を算出して、該位置分散値が予め設定された目標分散値より大きい場合には、前記平均撮影姿勢角速度を中心値とし前記姿勢角速度分散値を幅とする範囲値（前記撮影姿勢角速度中心値±前記撮影姿勢角速度分散値）で定義される前記画像選別規定値に、算出された前記位置分散値を適用して、当該画像選別規定値を更新し、更新された前記画像選別規定値に従い前記演算手順に供給する前記画像情報を選別する比較・選別手順と、
   を含むことを特徴とする目標標定方法。

Images