JP4999647B2 - 航空写真撮影システムおよび航空写真の画像補正方法 - Google Patents

Description

本発明は、航空写真撮影システムおよび航空写真の画像補正方法に関する。さらに詳しくは、ヘリコプターを使用して上空より地形等を撮影する航空写真撮影システムおよび航空写真の画像補正方法に関する。

従来から、地形等の撮影には、飛行機を使用した高高度からの広範囲撮影が行われている。かかる方法の場合、広い範囲を一度に撮影できるので、広い領域の航空写真を短時間で撮影することができるという利点がある。
また、飛行機が高速で飛行することから、地面等に対する飛行機の姿勢を安定した状態に保ちやすい。このため、飛行機を水平に保って飛行させれば、地面に垂直な写真や地面に対して所定の角度だけ傾いた写真を安定した状態で撮影することができるという利点もある。

その一方で、飛行機による航空写真の撮影は、高高度から一度に広範囲を撮影するので、撮影範囲の周辺部では倒れ込み現象等が生じる可能性があるし、解像度も低くなるという問題もある。
かかる倒れ込み現象や解像度の問題を解決するために、複数のカメラを有しかつ各カメラが同じタイミングで撮影するように制御された専用の装置が使用されているが、かかる装置は非常に大型の装置になる。そして、複数のカメラを設ければ、一台あたりの撮影範囲が狭くなるので若干解像度をあげることができるものの、飛行機の飛行高度が高くカメラから撮影対象までの距離が長いから解像度の向上にも限界がある。

かかる問題を有する飛行機による撮影に代えて、ヘリコプターによる航行写真の撮影も行われている。
ヘリコプターによる撮影は、飛行機に比べて低高度から撮影するので一回で撮影できる範囲は狭くなるものの、低高度から撮影すれば、撮影対象までの距離が短くなるので解像度を向上できるという利点がある。
また、ヘリコプターはホバリングすることで空中に静止できるから、所望の場所の上空で静止すれば、撮影場所を正確に特定して撮影できるという利点もある。

しかし、ヘリコプターは、飛行機より低速で飛行するため、風等の影響を受けやすく姿勢安定性が悪く、ホバリング中はとくに姿勢安定性が悪くなる。すると、撮影位置のズレが生じたり、地面に対して所定の角度（例えば、垂直）にカメラを維持できず、所定の角度から傾いた状態で画像を撮影してしまうという問題が生じている。

正確な画像を得るために、ヘリコプターによる航空写真の撮影において、ヘリコプターの姿勢が変化しても、カメラの地面に対する角度を一定に維持する技術が開発されている（例えば、特許文献１〜４）。
特許文献１，２にはジンバル機構に取り付けられたカメラの姿勢をフライホイールの保持力で垂直に保つ技術が開示されており、特許文献３、４にはジャイロセンサが検出した情報に基づいてカメラの姿勢を自動制御するように構成された技術が開示されている。

しかるに、特許文献１〜４の技術のごとくカメラの姿勢を制御する場合、ヘリコプターの微妙な揺れや撮影する瞬間の急激な姿勢変動には対応することができない。なぜなら、機体の姿勢変動を検出した瞬間にカメラを所定の角度に合わせることはできないので、姿勢変化を検出してからカメラが所定の角度になるまでにはある程度のタイムラグが生じるからである。すると、機体の急激な姿勢変動が生じれば、カメラを所定の角度となるように調整している途中でカメラが撮影を行ってしまう可能性があり、この場合、カメラは、その姿勢が所定の角度からズレた状態で撮影を行ってしまうので、本来撮影しようとした画像を撮影することができない。

特開平１１−１４２９５６号 特開平１１−１４２９５７号 特許２００２−２７７２４５号 特開２００６−２６４５６７号

本発明は上記事情に鑑み、ヘリコプターにより航空写真を撮影しても正確な画像を得ることができる航空写真撮影システムおよび航空写真の画像補正方法を提供することを目的とする。

第１発明の航空写真撮影システムは、ヘリコプターに搭載される地上の画像を撮影する撮影装置と、該撮影装置によって撮影された地上の画像を補正する画像補正手段と、を備えた航空写真撮影システムであって、前記撮影装置が、地上の画像を撮影する撮影手段と、該撮影手段を保持し、該撮影手段の姿勢を調整する姿勢調整手段と、前記ヘリコプターの機体に設けられ、該機体の姿勢を検出する姿勢センサと、該姿勢センサが検出した前記機体の姿勢情報に基づいて、前記姿勢調整手段の作動を制御する制御手段と、前記ヘリコプターの機体に設けられたＧＰＳ受信機と、前記撮影手段が画像を撮影した撮影タイミングに関する情報、前記姿勢調整手段の作動に関する情報、前記姿勢センサが検出した前記機体の姿勢情報、および、前記ＧＰＳ受信機が受信した信号を演算して得られる情報、が記録される記録手段と、を備えており、前記画像補正手段が、前記撮影装置の記録手段に記録されている情報に基づいて、前記撮影タイミングにおける画像が水平方向に対して所定の角度だけ傾いた画像となるように補正する機能を有するものであり、前記撮影タイミングと、他の情報が測定・取得されたタイミングとがズレている場合において、前記記録手段に記録されている情報に基づいて、該撮影タイミングにおける前記撮影タイミング以外の情報について推定し、該推定された情報に基づいて、前記撮影タイミングにおける画像が水平方向に対して所定の角度だけ傾いた画像となるように補正する機能を有していることを特徴とする。
第２発明の航空写真の画像補正方法は、ヘリコプターに搭載される地上の画像を撮影する撮影装置によって撮影された地上の画像を補正する画像補正方法であって、前記撮影装置が、地上の画像を撮影する撮影手段と、該撮影手段を保持し、該撮影手段の姿勢を調整する姿勢調整手段と、前記ヘリコプターの機体に設けられ、該機体の姿勢を検出する姿勢センサと、該姿勢センサが検出した前記機体の姿勢情報に基づいて、前記姿勢調整手段の作動を制御する制御手段と、前記ヘリコプターの機体に設けられたＧＰＳ受信機と、前記撮影手段が画像を撮影した撮影タイミングに関する情報、前記姿勢調整手段の作動に関する情報、前記姿勢センサが検出した前記機体の姿勢情報、および、前記ＧＰＳ受信機が受信した信号を演算して得られる情報、が記録される記録手段と、を備えており、該撮影装置の記録手段に記録されている情報に基づいて、前記撮影された画像を水平方向に対して所定の角度だけ傾いた画像となるように補正し、前記撮影タイミングと、他の情報が測定・取得されたタイミングとがズレている場合において、前記記録手段に記録されている情報に基づいて、該撮影タイミングにおける前記撮影タイミング以外の情報について推定し、該推定された情報に基づいて、前記撮影タイミングにおける画像が水平方向に対して所定の角度だけ傾いた画像となるように補正することを特徴とする。
ことを特徴とする。

第１発明によれば、制御手段により姿勢調整手段を作動させ、撮影手段の姿勢を調整すれば、画像を撮影するときにおける撮影手段の姿勢が所定の角度から大きくズレることを防ぐことができる。しかも、撮影手段が画像を撮影したときにおける機体の姿勢情報が記録手段に記録されているから、カメラの姿勢が所定の角度からズレた状態で画像を撮影しても、そのズレを把握することができ、また、ズレを補正することもできる。よって、撮影した画像をより正確な航空写真に変換することができ、より正確な地上情報を得ることができる。さらに、カメラの姿勢が所定の角度からズレた状態で画像を撮影しても、記録手段に記録されている情報に基づいて撮影した画像を画像補正手段が補正するので、撮影した画像をより正確な航空写真に変換することができ、より正確な地上情報を得ることができる。そして、撮影タイミングと、他の情報が測定・取得されるタイミングとがズレていても、撮影タイミングの前後に取得された撮影タイミング以外の情報に基づいて撮影タイミングにおける撮影タイミング以外の情報を推定すれば、この推定された情報に基づいて、撮影した画像をより正確な航空写真に変換することができる。
第２発明によれば、カメラの姿勢が所定の角度からズレた状態で画像を撮影しても、記録手段に記録されている情報に基づいて撮影した画像を補正するので、撮影した画像をより正確な航空写真に変換することができ、より正確な地上情報を得ることができる。そして、撮影タイミングと、他の情報が測定・取得されるタイミングとがズレていても、撮影タイミングの前後に取得された撮影タイミング以外の情報に基づいて撮影タイミングにおける撮影タイミング以外の情報を推定すれば、この推定された情報に基づいて、撮影した画像をより正確な航空写真に変換することができる。

つぎに、本発明の実施形態を図面に基づき説明する。
図１は本実施形態の航空写真撮影装置１０を搭載したヘリコプターＨの概略説明図である。図１に示すように、本実施形態の航空写真撮影装置１０はヘリコプターＨに搭載されるものであり、上空から地上の画像を撮影するために使用されるものである。

図１に示すように、本実施形態の航空写真撮影装置１０は、ヘリコプターＨの機体底面に設けられるカメラ１１を備えている。このカメラ１１は、例えば、一眼レフデジタルカメラ等の市販の撮影機器を使用することができ、特に限定されない。

図１に示すように、前記カメラ１１は、姿勢調整手段１２によってその撮影方向を自在に調整できるように機体に取り付けられている。この姿勢調整手段１２は、直交する２軸とこの２軸を回転させるモータ等の駆動機器を備えたジンバル機構を備えており、前記２軸をモータ等によって回転させればカメラ１１の姿勢を遠隔かつ自動で調整できるように構成されたものである。
なお、姿勢調整手段１２はジンバル機構を有するものに限られず、カメラ１１の撮影方向を自在に調整できる機構を有するものであれば特に制限されないが、モータ等の機器を備えカメラ１１の姿勢を遠隔かつ自動で調整できるものが好ましい。

図１に示すように、本実施形態の航空写真撮影装置１０は、ヘリコプターＨの機体に設けられた姿勢センサ１３、および２つのＧＰＳ受信機（以下、ＧＰＳ１、ＧＰＳ２で示す）を備えている。

姿勢センサ１３は、ヘリコプターＨの機体の姿勢を検出するセンサであり、ヘリコプターＨが備えているものである。この姿勢センサ１３は正確な水平基準を有しており、この水平基準に対してヘリコプターＨの機体が各方向にどの程度傾いたかを検出している。つまり、姿勢センサ１３は、水平基準に対する機体のピッチやロール、ヨーを検出するものであり、振動ジャイロ、加速度センサ、演算装置等を構成要素とする公知の機器である。

ＧＰＳ１、ＧＰＳ２は、ＧＰＳ衛星から発信される電波を受信するＧＰＳ受信機であり、ヘリコプターＨの機体の位置を特定するために設けられている。
なお、本実施形態の航空写真撮影装置１０では、キネマティック測位によりヘリコプターＨの機体の位置を推定している。キネマティック測位とは、基準局（図中のＧＰＳ０）を固定し、利用者局（ＧＰＳ１、ＧＰＳ２）が移動しながら順次搬送波位相積算値データを取得する方法である。このＧＰＳ０には、例えば、国土地理院が設置している電子基準点や、各自で設置した位置のよくわかっている基準点を採用することができる。

図１に示すように、ＧＰＳ１、ＧＰＳ２は、ヘリコプターＨの機体の軸方向に沿って互いに離間した位置に設けられており、ＧＰＳ１は機体前部に、ＧＰＳ２はテールに設けられている。すると、ＧＰＳ１、ＧＰＳ２が受信し演算した情報に基づいて、ヘリコプターＨの機体の向きを把握することができるから、画像を撮影した方向を正確に特定することができる。

なお、ＧＰＳ２自体をテールに設ける必要はなく、ＧＰＳ２は機体前部に設け、ＧＰＳ２に接続されたアンテナのみをテールに設けても良いのはいうまでもない。
さらになお、ＧＰＳ１、ＧＰＳ２は、ヘリコプターＨの機体の軸方向に沿って互いに離間した位置に設けられていればよく、両者およびアンテナを設ける位置は上記のごとき位置に限定されない。そして、ＧＰＳアンテナやＧＰＳ１、ＧＰＳ２を設置している位置とカメラ１１の搭載位置とがズレている場合には、ＧＰＳ１、ＧＰＳ２が受信した信号を演算して得られる情報から推定される撮影位置が、実際の撮影位置からズレてしまう可能性がある。しかし、ＧＰＳアンテナ等の位置とカメラ１１の位置を予め正確に測っておけば、解析ソフトウェアにて計算することにより、ＧＰＳアンテナ等とカメラ１１の位置関係を補正することができるから、正確な撮影位置を求めることができる。
さらになお、ＧＰＳ受信機は１つだけ設けてもよい。この場合でも、ホバリング等を行っている場合のように機体が完全に静止していない状態、例えば、ヘリコプターＨが前進している状態であれば、ＧＰＳのデータに基づいて機体の進行方向を把握することができるので、ＧＰＳのデータに基づいて機体の向きを判断することができる。

図１および図２に示すように、前述したカメラ１１、姿勢調整手段１２、姿勢センサ１３、およびＧＰＳ１、ＧＰＳ２は、制御ユニット１５に電気的に接続されている。
この制御ユニット１５には、制御手段１６と記録手段１７とが設けられている。

制御手段１６は、前記姿勢調整手段１２を制御して、カメラ１１の姿勢を調整するものである。この制御手段１６には姿勢センサ１３からヘリコプターＨの機体の姿勢に関する姿勢情報（機体のピッチ、ロール、ヨー等）が送られており、この姿勢情報に基づいてカメラ１１が所定の角度となるように姿勢調整手段１２を制御している。

記録手段１７は、前記各機器から送られた情報を記録しておくものである。
具体的には、カメラ１１からは、画像を撮影した撮影タイミングに関する情報、つまり、シャッタタイミングが送られて記録されている。
姿勢調整手段１２からは、その作動に関する情報、つまり、基準位置に対するジンバル機構の軸の回転量や軸を回転させるモータの回転量等が送られて記録されている。
姿勢センサ１３からは、検出した機体の姿勢情報が送られて記録されている。
ＧＰＳ１、ＧＰＳ２からは、ＧＰＳ衛星から発信される電波に含まれる情報（ＧＰＳ衛星の正確な位置、正確な時刻等）を演算して得られる情報が送られ、記録されている。なお、ＧＰＳ１、ＧＰＳ２の正確な位置は、地上へ帰還した後、解析ソフトウェアを使用し後処理で測位計算を行うことによって算出することができる。

なお、シャッタタイミングを除く各機器からの情報は、予め定められた時間ごと（例えば、0.5s毎等）に記録手段１７に送られる。ただし、全ての機器が、全て同じ時間間隔や同じタイミングで情報を送る必要はない。
さらになお、記録手段は、必ずしも一つの機器で構成されている必要はなく、複数の記録媒体を備え、各記録媒体に各機器からの情報がそれぞれ記録されるようになっていてもよい。この場合、各機器が情報を取得した時間の相対的な時間差が把握できるようにしておくことが好ましく、例えば、全ての記録媒体に時間に関する同じ情報（例えば、ＧＰＳ１が発信する正確な時刻等）を記録しておけば上記時間差を把握することができる。

以上のごとき構成であるので、本実施形態の航空写真撮影装置１０によれば、以下のごとき作用効果を奏する。

（１）ズレ防止
撮影地点上空にヘリコプターＨを移動させ、移動しながらまたはホバリングしながらカメラ１１によって画像を撮影することができる。そして、移動中またはホバリング中にヘリコプターＨの機体の姿勢が変化しても、姿勢センサ１３によって姿勢の変化を検出することができる。すると、制御手段１６は、姿勢センサ１３から送られる姿勢情報により機体の姿勢の変化を検出し、カメラ１１が、例えば地面や水平に対して所定の角度となるように姿勢調整手段１２を作動させる。
したがって、ヘリコプターＨの機体の姿勢が変化しても、姿勢調整手段１２によってカメラ１１の姿勢が調整されるので、画像を撮影するときにおけるカメラ１１の姿勢が所定の角度から大きくズレることを防ぐことができる。

（２）ズレ補正
つぎに、制御手段１６が機体の姿勢の変化を検出しても、瞬時にカメラ１１を所定の角度に合わせることはできず、タイムラグが発生する。なぜなら、制御手段１６が姿勢調整手段１２を作動させる量を演算する時間が必要であるし、また、制御手段１６から制御信号を受けた姿勢調整手段１２のモータ等の作動時間が必要だからである。
かかるタイムラグの期間にカメラ１１のシャッタが押された場合には、カメラ１１が撮影した画像は所定の角度からズレた画像となるが、このズレを記録手段１７に記録されている各種情報に基づいて補正することができる。
つまり、カメラ１１のシャッタタイミングとともに、上述したような各種情報が記録手段１７に記録されているので、画像を撮影したときにおけるカメラ１１の姿勢が所定の角度からズレているのか、また、ズレているとすればどの程度であるかを各種情報から把握することができる。すると、ズレが生じている場合には、各種情報から得られるズレ量に基づいて、撮影した画像を補正することができる。
よって、カメラ１１の光軸が所定の角度からズレた姿勢で画像を撮影しても、地上へ帰還した後、上記記録手段１７に記録されている各種情報を利用すれば、コンピュータ等の画像処理手段によって、撮影された画像を基にして正確な航空写真を作成することができるし、撮影された画像に基づいて測量を行う場合には、より正確な地上情報を得ることができる。

上記の画像処理手段と航空写真撮影装置１０とが、特許請求の範囲にいう航空写真撮影システムを構成する。
ここで、画像処理手段は、上記記録手段１７に記録されている各種情報を利用して、水平に対して所定の角度からずれた状態で撮影された画像を、水平に対して所定の角度だけ傾いた画像に補正している。
例えば、地面に対して垂直な画像を撮影する場合において、カメラ１１の光軸が地面に対して垂直ではない状態で画像を撮影すれば、カメラ１１の光軸と地面に対して垂直な方向とのズレ量を、画像処理手段が算出する。具体的には、画像を撮影したタイミング（シャッタタイミング）における各種情報（姿勢調整手段１２の作動に関する情報、姿勢センサ１３が検出した機体の姿勢情報、および、ＧＰＳ１、ＧＰＳ２が受信した信号を演算して得られる情報）に基づいて、カメラ１１の光軸と地面に対して垂直な方向とのなす角度を把握する。そして、画像処理手段は、把握されたズレ量（角度）に基づいて、撮影された画像を水平に対して所定の角度だけ傾いた画像となるように処理するので、地面に対して垂直な画像を得ることができる。なお、撮影された画像を水平に対して所定の角度だけ傾いた画像となるようにする処理は、画像処理手段が備えている市販の画像処理ソフトなどにより行う。

また、カメラ１１のシャッタタイミングと各種情報が得られたタイミングは必ずしも一致していないが、シャッタタイミング前後のタイミングで測定・取得され記録手段１７に記録されている情報に基づいて、シャッタタイミングにおける各種情報を推定することができる。この推定は、例えば、機体の姿勢情報であれば、シャッタタイミングの前後に測定された機体の姿勢情報間における機体の姿勢情報を補間等すれば、シャッタタイミングにおける機体の姿勢情報を推定することができる。
なお、シャッタタイミングにおける機体の姿勢情報を推定する方法は、シャッタタイミングにおける機体の姿勢情報を近似により求める方法等を採用できるが、どのような方法を用いてもよく、特に限定されない。

なお、カメラ１１の姿勢のズレが大きすぎる場合には、補正を行っても正確な航空写真等を得ることができない。具体的にいえば、地面に垂直な画像を撮影する場合であれば、カメラ１１の光軸と地面に対して垂直な方向とのなす角度が、３°以下、悪くても５°以下でなければ画像を補正しても正確な航空写真等を得ることができない。
よって、制御手段１６が姿勢調整手段１２を作動してカメラ１１の姿勢を調整する場合には、カメラ１１の姿勢を所定の角度に正確に合わせるよりも、常にカメラ１１が所定の角度から３°以内となるように姿勢制御することが好ましい。

また、本実施形態の航空写真撮影装置１０では、市販の撮影機器を使用するのであるが、撮影機器のファインダを、作業者が視認し得るように構成されていることが好ましい。この場合、撮影機器のファインダを通して、作業者が撮影する画像を確認しシャッタを切ることができるので、作業者が望む撮影画像を得ることができる。
例えば、撮影機器のファインダの近傍にファインダを撮影するＣＣＤカメラ２１等を設置し、撮影機器のシャッタにレリーズスイッチ２２を接続しておけば、ＣＣＤカメラ２１等が撮影した画像をモニタで確認しながら撮影することができるので、好適である。

さらに、本実施形態の航空写真撮影装置１０では、撮影装置だけでなく、姿勢調整手段１２、ＧＰＳ受信機（ＧＰＳ１、ＧＰＳ２）、制御ユニット１５に市販の機器を使用して構成することができるから、飛行機に使用される専用の撮影装置に比べて、コンパクトかつ安価であり、しかも、搭載するヘリコプターＨや撮影目的に最適な装置とすることができる。

本発明の航空写真撮影システムは、ヘリコプターを使用して上空より航空写真の撮影をしたり、地形等の測量を行ったりするシステムに適している。

本実施形態の航空写真撮影装置１０を搭載したヘリコプターＨの概略説明図である。 本実施形態の航空写真撮影装置１０の概略ブロック図である。

１０ 航空写真撮影装置
１１ カメラ
１２ 姿勢調整手段
１３ 姿勢センサ
１６ 制御手段
１７ 記録手段
ＧＰＳ１ ＧＰＳ受信機
ＧＰＳ２ ＧＰＳ受信機
Ｈ ヘリコプター

Claims (2)

1. ヘリコプターに搭載される地上の画像を撮影する撮影装置と、該撮影装置によって撮影された地上の画像を補正する画像補正手段と、を備えた航空写真撮影システムであって、
   前記撮影装置が、
   地上の画像を撮影する撮影手段と、
   該撮影手段を保持し、該撮影手段の姿勢を調整する姿勢調整手段と、
   前記ヘリコプターの機体に設けられ、該機体の姿勢を検出する姿勢センサと、
   該姿勢センサが検出した前記機体の姿勢情報に基づいて、前記姿勢調整手段の作動を制御する制御手段と、
   前記ヘリコプターの機体に設けられたＧＰＳ受信機と、
   前記撮影手段が画像を撮影した撮影タイミングに関する情報、前記姿勢調整手段の作動に関する情報、前記姿勢センサが検出した前記機体の姿勢情報、および、前記ＧＰＳ受信機が受信した信号を演算して得られる情報、が記録される記録手段と、を備えており、
   前記画像補正手段が、
   前記撮影装置の記録手段に記録されている情報に基づいて、前記撮影タイミングにおける画像が水平方向に対して所定の角度だけ傾いた画像となるように補正する機能を有するものであり、
   前記撮影タイミングと、他の情報が測定・取得されたタイミングとがズレている場合において、
   前記記録手段に記録されている情報に基づいて、該撮影タイミングにおける前記撮影タイミング以外の情報について推定し、
   該推定された情報に基づいて、前記撮影タイミングにおける画像が水平方向に対して所定の角度だけ傾いた画像となるように補正する機能を有している
   ことを特徴とする航空写真撮影システム。
2. ヘリコプターに搭載される地上の画像を撮影する撮影装置によって撮影された地上の画像を補正する画像補正方法であって、
   前記撮影装置が、
   地上の画像を撮影する撮影手段と、
   該撮影手段を保持し、該撮影手段の姿勢を調整する姿勢調整手段と、
   前記ヘリコプターの機体に設けられ、該機体の姿勢を検出する姿勢センサと、
   該姿勢センサが検出した前記機体の姿勢情報に基づいて、前記姿勢調整手段の作動を制御する制御手段と、
   前記ヘリコプターの機体に設けられたＧＰＳ受信機と、
   前記撮影手段が画像を撮影した撮影タイミングに関する情報、前記姿勢調整手段の作動に関する情報、前記姿勢センサが検出した前記機体の姿勢情報、および、前記ＧＰＳ受信機が受信した信号を演算して得られる情報、が記録される記録手段と、を備えており、
   該撮影装置の記録手段に記録されている情報に基づいて、前記撮影された画像を水平方向に対して所定の角度だけ傾いた画像となるように補正し、
   前記撮影タイミングと、他の情報が測定・取得されたタイミングとがズレている場合において、
   前記記録手段に記録されている情報に基づいて、該撮影タイミングにおける前記撮影タイミング以外の情報について推定し、
   該推定された情報に基づいて、前記撮影タイミングにおける画像が水平方向に対して所定の角度だけ傾いた画像となるように補正する
   ことを特徴とする航空写真の画像補正方法。

Images