JP6484729B2 - 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 - Google Patents

無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 Download PDF

Info

Publication number
JP6484729B2
JP6484729B2 JP2017566134A JP2017566134A JP6484729B2 JP 6484729 B2 JP6484729 B2 JP 6484729B2 JP 2017566134 A JP2017566134 A JP 2017566134A JP 2017566134 A JP2017566134 A JP 2017566134A JP 6484729 B2 JP6484729 B2 JP 6484729B2
Authority
JP
Japan
Prior art keywords
coordinate system
image
pixel point
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017566134A
Other languages
English (en)
Other versions
JP2018527554A (ja
Inventor
有生 陳
有生 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Publication of JP2018527554A publication Critical patent/JP2018527554A/ja
Application granted granted Critical
Publication of JP6484729B2 publication Critical patent/JP6484729B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Description

本発明は画像処理技術分野に関し、特に無人航空機の奥行き画像の取得方法、取得装置及び無人航空機に関する。
伝統的な結像手段は、三次元画像モデルを二次元階調画像に変換するものである。結像過程において画像の奥行き情報が失われている。しかし、画像の奥行き情報は後の応用にとって非常に重要なものであり（例えば三次元の再構築や地理的測定等）、奥行き画像を取得することは、理論研究にも工学的実践にも重要な意義がある。
従来の奥行き画像を取得する方法は、一般的に、エネルギー、例えばレーザー、電磁波、及び超音波等を能動的に出射し、このエネルギーが障害物によって反射され受信されるという能動的な取得方法である。受動的な測定は、機器ビジョンに基づく方法、例えば、両眼ビジョン等がある。
現在、無人航空機が奥行き画像を取得する方法は、一般的にエネルギービームを能動的に出射し、その後帰ってきたエネルギーを検出し、最後に奥行き画像を計算する。しかし、この方法は回りの環境からの影響（例えば、光からレーザー光への影響）を受けやすい。次に、この方法は、被測定物がエネルギーを反射しなければならないことを要求し、出射されたエネルギーの大半が吸収されると、この方法は効果を発揮しない。最後に、出射されたエネルギーが大気の中で減衰され、距離が遠すぎると、減衰がひどくなり、奥行き情報を正確に測定することができないため、この方法の測定可能な範囲は限られている。一方、両眼ビジョンに基づく方法には、二つのカメラが必要であり、且つ二つのカメラの間に一定な距離を持たなければならず、測定距離が遠いほど二つのカメラの離間する間隔が大きくしなければいけないため、このことは、小型無人航空機にとって、負荷を増加させる。また、小型無人航空機の空間が限られているため、二つのカメラの間の最大距離は制約されている。
本発明の目的は、上記関連技術における少なくとも一つの技術的課題を解決することである。
そのため、本発明の目的は、無人航空機の奥行き画像の取得方法、無人航空機の奥行き画像の取得装置及び無人航空機を提供することである。当該方法は、無人航空機の奥行き画像を正確に取得することができ、適用範囲が広く、コストが低く、実現しやすいという利点がある。
上記目的を実現するために、本発明の第１の側面の実施例は、無人航空機の奥行き画像の取得方法を提供し、前記方法は、無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、前記画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ前記重複領域の面積と前記Ｎフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高いステップと、前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得するステップと、前記無人航空機のワールド座標系における実際の飛行速度を取得するステップと、各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップと、を含む。
本発明の実施例に係る無人航空機の奥行き画像の取得方法は、無人航空機の機載カメラにより撮影された連続的な画像を読み出し、連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報を算出することにより、無人航空機のカメラ座標系における各画素点の画素移動速度を取得し、次に無人航空機の機載ＧＰＳ等の設備により無人航空機のワールド座標系における実際の飛行速度を測定し、最後に無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との関係により、無人航空機の奥行き画像を算出する。この方法は、奥行き画像を正確に取得することができ、且つ操作の流れが簡単であり、実現しやすいと同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。また、該方法の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも軽減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
また、本発明の上記実施例に係る無人航空機の奥行き画像の取得方法は、以下のような付加的な技術的特徴を更に有してもよい。
一部の例において、前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得するステップは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を計算するステップと、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離の導関数を求め、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度を取得するステップと、を更に含んでもよい。
一部の例において、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を計算するステップは、同一の画素点のＮフレーム目画像における位置情報とＮ＋１フレーム目画像における位置情報とに基づいて、前記同一の画素点の移動情報を取得し、前記移動情報に基づいて前記同一の画素点の前記カメラ座標系における移動距離を取得するステップを更に含む。
一部の例において、各前記重複領域における無人航空機の各画素のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記無人航空機の飛行高度との関連関係を構築するステップを更に含む。
前記関連関係に基づいて前記重複領域における無人航空機の各画素点の奥行き値を取得する。
各前記重複領域における無人航空機の各画素点の奥行き値に基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する。
一部の例において、前記カメラ座標系と前記ワールド座標系との方向が一致しているか否かを判断し、前記カメラ座標系と前記ワールド座標系との方向が一致していない場合、前記カメラ座標系の方向と前記ワールド座標系の方向とを一致させるように前記カメラ座標系の方向を調整するステップを更に含む。
一部の例において、前記機載カメラの視野角度は所定角度より低く、前記所定角度は６０度以下である。
一部の例において、前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する前に、前記画像シーケンスにおける画像の歪みを補正するステップを更に含む。
上記目的を実現するために、本発明の第２の側面の実施例は、無人航空機の奥行き画像の取得装置を更に提供し、前記装置は、無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、前記画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ前記重複領域の面積と前記Ｎフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い読み出しモジュールと、前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する算出モジュールと、前記無人航空機のワールド座標系における実際の飛行速度を取得する測定モジュールと、各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する画像生成モジュールと、を含む。
本発明の実施例に係る無人航空機の奥行き画像の取得装置は、読み出しモジュールにより無人航空機の機載カメラにより撮影された連続的な画像を読み出し、その後、計算モジュールにより連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報を算出し、無人航空機のカメラ座標系における各画素点の画素移動速度を取得し、次に測定モジュールにより例えば、無人航空機の機載ＧＰＳ等の設備により測定された無人航空機のワールド座標系における実際の飛行速度を取得し、最後に画像生成モジュールは、無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との間の関係により、無人航空機の奥行き画像を算出する。従って、該無人航空機の奥行き画像の取得装置は、奥行き画像を正確に取得することができると同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。また、該無人航空機の奥行き画像の取得装置の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも軽減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
また、本発明の上記実施例に係る無人航空機の奥行き画像の取得装置は、以下のような付加的な技術的特徴を更に有してもよい。
一部の例において、前記算出モジュールは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を算出し、また、前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離の導関数を求め、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度を取得する。
一部の例において、前記算出モジュールは、同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて前記同一の画素点の移動情報を取得し、前記移動情報に基づいて前記同一の画素点の前記カメラ座標系における移動距離を取得する。
一部の例において、前記画像生成モジュールは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記無人航空機の飛行高度との関連関係を構築する。
前記関連関係に基づいて前記重複領域における無人航空機の各画素点の奥行き値を取得する。
各前記重複領域における無人航空機の各画素点の奥行き値に基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する。一部の例において、前記カメラ座標系と前記ワールド座標系との方向が一致しているか否かを判断し、前記カメラ座標系と前記ワールド座標系との方向が一致していない場合、前記カメラ座標系の方向と前記ワールド座標系の方向とを一致させるように前記カメラ座標系の方向を調整する調整モジュールを更に含む。
一部の例において、前記無人航空機の機載カメラの視野角度は所定角度より低く、前記所定角度は６０度以下である。
一部の例において、前記無人航空機の機載カメラは、更に、前記画像シーケンスにおける画像の歪みを補正する。
上記の目的を実現するために、本発明の第３の側面の実施例は無人航空機を提供し、前記無人航空機は、所定シーンの画像シーケンスを採取する機載カメラと、無人航空機のワールド座標系における実際の飛行速度を測定又は算出する速度測定装置と、本発明の上記第１の側面の実施例に係る無人航空機の奥行き画像の取得方法を実行するように配置されるプロセッサと、前記機載カメラと、速度測定装置と、プロセッサとを取り付ける機体と、を含む。
一部の例において、前記無人航空機は、自己安定化クラウドプラットフォームを更に含み、前記機載カメラは前記自己安定化クラウドプラットフォームを介して前記機体に取り付けられる。
本発明の付加的な特徴と利点は、一部が以下の説明に示され、一部が下記の説明により明らかになり、又は本発明の実践により理解される。
本発明の上述及び／又は付加的な特徴と利点は、下記図面に合わせて実施例を説明することにより、明らかになり、理解されることが容易になる。
本発明の一つの実施例に係る無人航空機の奥行き画像の取得方法のフローチャートである。 本発明の一つの実施例に係る無人航空機の奥行き画像を取得する具体的なモデル概略図である。 本発明の一つの実施例に係る無人航空機の奥行き画像の取得装置の構成ブロック図である。
以下に、本発明の実施例を詳細に説明する。前記実施例の例が図面に示されるが、同一又は類似する符号は、常に同一又は類似する部品、或いは同一又は類似する機能を有する部品を表す。以下に、図面を参照しながら説明される実施例は例示的なものであり、本発明を解釈するためだけに用いられ、本発明を限定するものと理解してはいけない。
以下に、図面に合わせて本発明の実施例に係る無人航空機の奥行き画像の取得方法及び無人航空機を説明する。
図１は本発明の一つの実施例に係る無人航空機の奥行き画像の取得方法のフローチャートである。図１に示すように、該方法は、ステップＳ１と、ステップＳ２と、ステップＳ３と、ステップＳ４と、を含む。
ステップＳ１：無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ重複領域の面積とＮフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い。言い換えれば、即ち無人航空機の機載カメラにより撮影された被測定物の画像シーケンスを読み出し、その中から連続的な二つのフレームの画像を抽出し、例えば、それぞれＮフレーム目の画像及びＮ＋１フレーム目の画像であり、Ｎフレーム目の画像とＮ＋１フレーム目の画像とに重複領域を有しなければならない。後のオプティカルフロー計算の正確性を確保するために、該重複領域の面積とＮフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い。より具体的には、本発明の一つの実施例において、所定比率は、例えば６０％であり、即ち重複領域の面積がＮフレーム目の画像又はＮ＋１フレーム目の画像の面積の６０％より大きい。
更に、本発明の一つの実施例において、機載カメラにより撮影された画像の品質を確保し、無人航空機自体のブレによる後のオプティカルフロー法の計算への干渉を解消するために、例えば、図２に示すように、機載カメラを自己安定化クラウドプラットフォームを介して無人航空機に取り付ける。同時に、カメラにより撮影された画像自体の歪みからの影響を減少させるために、機載カメラの視野角度を大きくしないようにする。本発明の一つの実施例において、選択された機載カメラの視野角度は所定角度より低く、より具体的に、図２に示すように、所定角度は、例えば６０度である。勿論、所定角度の値はこれに限定されず、実際のシーンの需要に応じて選定することができ（例えば、所定角度は６０度より小さくてもよい）、ここでの説明は、単に例示のみを目的とする。
更に、一部の例において、上記説明したように、機載カメラにより撮影された画像の歪みがひどいと、画像シーケンスにおける画像の歪みを補正する必要があり、画像の歪みを使用可能な範囲内にした後、後の操作を実行する。
ステップＳ２：重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、位置変化情報に基づいて重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する。
一部の例において、例えば、特徴マッチングに基づくオプティカルフロー法により重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置情報の変化状況（即ち、位置変化情報）を取得し、位置情報の変化状況に基づいて重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得してもよい。
本発明の一つの実施例において、該ステップＳ２は、ステップＳ２１と、ステップＳ２２とを更に含んでもよい。
ステップＳ２１：重複領域における無人航空機の各画素点のカメラ座標系での移動距離を算出する。具体的には、一部の例において、例えば、特徴マッチングに基づくオプティカルフロー法により重複領域における無人航空機の各画素点のカメラ座標系での移動距離を取得してもよい。
本発明の一つの実施例において、重複領域における無人航空機の各画素点のカメラ座標系での移動距離を算出するステップは、具体的に、同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて該画素点の移動情報を取得し、該移動情報に基づいて該画素点のカメラ座標系における移動距離を取得するステップを含んでもよい。具体的な例として、例えば、重複領域における無人航空機の各画素点のカメラ座標系での移動距離の算出式は、
Figure 0006484729
 であり、ここで、(ｘ1，ｙ1）は画素点のＮフレーム目の画像における位置情報であり、(ｘ2，ｙ2）は画素点のＮ＋１フレーム目の画像における位置情報であり、（ｕx，ｕy）は画素点のカメラ座標系における移動距離である。
ステップＳ２２：重複領域における無人航空機の各画素点のカメラ座標系での移動距離の導関数を求め、重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する。
言い換えると、具体的な例で説明する。特徴マッチングに基づくオプティカルフロー法は、Ｎフレーム目の画像における各画素点のＮ＋１フレーム目の画像での位置にマッチングすることにより、Ｎフレーム目の画像における各画像点からＮ＋１フレーム目の画像までの移動距離を算出し、該移動距離により無人航空機の各画素点のカメラ座標系における画素移動速度を取得する。ここで、特徴マッチングに基づくオプティカルフロー法は、高密度アルゴリズムとスパースアルゴリズムとを含む。高密度アルゴリズムは、画像における各画素点がいずれも計算に参加し、画像における各画素点の画素移動速度を算出するものである。スパースアルゴリズムは、画像から一部の追跡しやすい画素点を選択し、選択されたこの一部の追跡しやすい画素点についてオプティカルフロー演算を行い、これらの追跡しやすい画素点の画素移動速度を取得する。本発明の一つの実施例において、使用された特徴マッチングに基づくオプティカルフロー法は、例えば、高密度オプティカルフロー法である。なお、特徴マッチングに基づくオプティカルフロー法で無人航空機の各画素点のカメラ座標系における画素移動速度を算出することは、本発明の一つの実施形態に過ぎなく、本発明を限定するものと理解してはいけない。無人航空機の各画素点のカメラ座標系における画素移動速度を算出できるその他の方法も本発明に適用し、本発明の保護範囲内にも属する。
ステップＳ３：無人航空機のワールド座標系における実際の飛行速度を取得する。
具体的な実施過程において、例えば、ＧＮＳＳ位置特定速度測定（例えば、ＧＰＳや北斗衛星等）、ピトー管、及びレーダー等の速度測定装置により無人航空機のワールド座標系における実際の飛行速度を測定又は算出し、測定又は算出された無人航空機のワールド座標系における飛行速度を取得する。
ステップＳ４：各重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、機載カメラのパラメータとに基づいて各重複領域の奥行き画像を取得し、各重複領域の奥行き画像を統合して所定シーンの奥行き画像を取得する。本発明の一つの実施例において、機載カメラのパラメータは、例えば機載カメラの焦点距離を含む。
具体的には、機載カメラは自己安定プラットフォームに取り付けることができるため、機載カメラが写真を撮影する時の角速度が常に０であると考えてもよい。機載カメラが写真を撮影する時の角速度が常に０又は０に近い場合に、ステップＳ４は、ステップＳ４１と、ステップＳ４２と、ステップＳ４３とを更に含む。
ステップ４１：重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、無人航空機の飛行高度との関連関係を構築する。具体的に、例えば、ピンホール結像原理により、重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、無人航空機の飛行高度との関連関係を構築し、この関連関係は
Figure 0006484729
 であってもよい。
ここで、ｖmは無人航空機のワールド座標系における実際の飛行速度、ｖは重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度、Ｚは無人航空機の飛行高度、ｆは機載カメラの焦点距離である。
ステップＳ４２：上記ステップＳ４１に記載の関連関係の表現式を変換してから、重複領域における無人航空機の各画素点の奥行き値を取得する。
Figure 0006484729
 ここで、Ｚiは重複領域におけるｉ番目の画素点の奥行き値、ｖiはｉ番目の画素点のカメラ座標系における画素移動速度、ｖmは無人航空機のワールド座標系における実際の飛行速度、ｆは機載カメラの焦点距離の大きさであり、既知の定数である。
ステップＳ４３：上記ステップＳ４２に取得された各重複領域における無人航空機の各画素点の奥行き値に基づいて各重複領域の奥行き画像を取得し、各重複領域の奥行き画像を統合して所定シーン（被測定物）の奥行き画像を取得する。
本発明の一つの実施例において、上記過程において、例えば、カメラ座標系とワールド座標系との方向が一致しているか否かを判断し、カメラ座標系とワールド座標系との方向が一致していない場合、カメラ座標系の方向とワールド座標系の方向とを一致させるようにカメラ座標系の方向を調整する。
以上により、本発明は、無人航空機のカメラ座標系における各画素点の画素速度と無人航空機自体の実際の飛行速度とを結合することにより、画像の奥行きデータを算出し、奥行き画像を取得する。従って、画像速度（無人航空機のカメラ座標系における各画素点の画素移動速度）と無人航空機自体の実際の飛行速度とを結合することにより奥行き画像を取得するあらゆる方法は、いずれも本発明の保護範囲内に属すべきである。
以上により、本発明の実施例に係る無人航空機の奥行き画像の取得方法は、無人航空機の機載カメラにより連続的な画像を撮影し、連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報に基づいて無人航空機のカメラ座標系における各画素点の画素移動速度を取得し、次に無人航空機の機載ＧＰＳ等の設備により無人航空機のワールド座標系における実際の飛行速度を測定し、最後に無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との関係に基づいて無人航空機の奥行き画像を算出する。該方法は奥行き画像を正確に取得することができ、且つ操作の流れが簡単であり、実現しやすいと同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。なお、該方法の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも低減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
本発明の更なる実施例は、無人航空機の奥行き画像の取得装置を更に提供する。
図３は本発明の一つの実施例に係る無人航空機の奥行き画像の取得装置の構成ブロック図である。図３に示すように、無人航空機の奥行き画像の取得装置１００は、読み出しモジュール１１０と、算出モジュール１２０と、測定モジュール１３０と、画像生成モジュール１４０と、を含む。
具体的には、読み出しモジュール１１０は、無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ重複領域の面積とＮフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い。言い換えれば、即ち、機載カメラの撮影により被測定物の画像シーケンスを取得し、その中から例えばそれぞれＮフレーム目の画像とＮ＋１フレーム目の画像とであり、Ｎフレーム目の画像とＮ＋１番目の画像とに重複領域を有しなければならない連続的な二つのフレームの画像を抽出する。また、後のオプティカルフロー計算の正確性を確保するために、当該重複領域の面積とＮフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い。所定比率は、例えば６０％であり、即ち、重複領域の面積はＮフレーム目の画像又はＮ＋１フレーム目の画像の面積の６０％より大きい。
更に、本発明の一つの実施例において、機載カメラにより撮影された画像の品質を確保し、無人航空機自体のブレによるオプティカルフロー法計算への干渉を解消するために、例えば、機載カメラを自己安定プラットフォームを介して無人航空機に取り付ける。同時に、カメラにより撮影された画像自体の歪みからの影響を減少させるために、機載カメラの視野角度を大きくしてはいけない。本発明の一つの実施例において、選択された機載カメラの視野角度は所定角度より低く、より具体的に、所定角度は、例えば６０度である。勿論、所定角度の値はこれに限定されず、実際のシーンの需要に応じて選定することができ、例えば、所定角度は６０度より小さくてもよい。ここでの説明は、単に例示のみを目的とする。
本発明の一つの実施例において、機載カメラにより撮影された画像の歪みがひどいと、読み出しモジュール１１０は、更に、画像シーケンスにおける画像の歪みを補正し、画像の歪みを使用可能な範囲内にした後に、後の操作を実行する。
算出モジュール１２０は、重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、位置変化情報に基づいて重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する。具体的には、例えば、算出モジュール１２０は、特徴マッチングに基づくオプティカルフロー法により重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置情報の変化状況（即ち、位置変化情報）を取得し、位置情報の変化情報に基づいて重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する。
より具体的には、本発明の一つの実施例において、算出モジュール１２０は、特徴マッチングに基づくオプティカルフロー法により重複領域における無人航空機の各画素点のカメラ座標系での移動距離を取得する。具体的には、同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて該画素点の移動情報を取得し、該移動情報に基づいて該画素点のカメラ座標系における移動距離を取得することと、その後、重複領域における無人航空機の各画素点のカメラ座標系での移動距離の導関数を求め、重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得することと、を含む。
具体的な例として、例えば、重複領域における無人航空機の各画素点のカメラ座標系での移動距離の算出式は、
Figure 0006484729
 であり、ここで、(ｘ1，ｙ1）は画素点のＮフレーム目の画像における位置情報であり、(ｘ2，ｙ2）は画素点のＮ＋１フレーム目の画像における位置情報であり、（ｕx，ｕy）は画素点のカメラ座標系における移動距離である。
ここで、特徴マッチングに基づくオプティカルフロー法は、Ｎフレーム目の画像における各画素点のＮ＋１フレーム目の画像での位置にマッチングすることにより、Ｎフレーム目の画像における各画像点からＮ＋１フレーム目の画像までの移動距離を算出し、該移動距離に基づいて無人航空機の各画素点のカメラ座標系における画素移動速度を取得する。ここで、特徴マッチングに基づくオプティカルフロー法は、高密度アルゴリズムとスパースアルゴリズムとを含む。高密度アルゴリズムは、画像における各画素点がいずれも計算に参加し、画像における各画素点の画素移動速度を算出するものである。スパースオプティカルフロー法は、画像の中から一部の追跡しやすい画素点を選択し、選択されたこの一部の追跡しやすい画素点についてオプティカルフロー演算を行い、これらの追跡しやすい画素点の画素移動速度を取得するものである。本発明の一つの実施例において、使用された特徴マッチングに基づくオプティカルフロー法は、高密度オプティカルフロー法であってもよい。なお、特徴マッチングに基づくオプティカルフロー法で無人航空機の各画素点のカメラ座標系における画素移動速度を算出することは、本発明の一つの実施形態に過ぎなく、本発明を限定するものと理解してはいけない。無人航空機の各画素点のカメラ座標系における画素移動速度を算出できるその他の方法も本発明に適用し、本発明の保護範囲にも属する。
測定モジュール１３０は、無人航空機のワールド座標系における実際の飛行速度を取得する。具体的な実施過程において、例えば、ＧＰＳ、北斗衛星、ピトー管、及びレーダー等の方式により無人航空機のワールド座標系における実際の飛行速度を取得する。
画像生成モジュール１４０は、各重複領域における無人航空機の各画素点のカメラ座標系での画像移動速度と、無人航空機のワールド座標系における実際の飛行速度と、機載カメラのパラメータとに基づいて各重複領域の奥行き画像を取得し、各重複領域の奥行き画像を統合して所定シーンの奥行き画像を取得する。本発明の一つの実施例において、機載カメラのパラメータは、例えば機載カメラの焦点距離を含む。
具体的には、機載カメラは自己安定プラットフォームに取り付けられるため、機載カメラが写真を撮影する時の角速度は常に０であると考えてもよい。本発明の一つの実施例において、画像生成モジュール１４０は、重複領域における各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、無人航空機の飛行高度との関連関係を構築する。具体的に、画像生成モジュール１４０は、例えば、ピンホール結像原理により、重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、無人航空機の飛行高度との関連関係を構築し、この関連関係は
Figure 0006484729
 であってもよい。
ここで、ｖmは無人航空機のワールド座標系における実際の飛行速度、ｖは重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度、Ｚは無人航空機の飛行高度、ｆは機載カメラの焦点距離である。
その後、上記関連関係に基づいて重複領域における無人航空機の各画素点の奥行き値を取得する。
Figure 0006484729
 ここで、Ｚiは重複領域におけるｉ番目の画素点の奥行き値、ｖiはｉ番目の画素点のカメラ座標系における画素移動速度、ｖmは無人航空機のワールド座標系における実際の飛行速度、ｆは機載カメラの焦点距離の大きさであり、既知の定数である。
最後に、各重複領域における無人航空機の各画素点の奥行き値に基づいて各重複領域の奥行き画像を取得し、各重複領域における奥行き画像を統合して所定シーン（被測定物）の奥行き画像を取得する。
本発明の一つの実施例において、無人航空機の奥行き画像の取得装置１００は、例えば調整モジュール（図示せず）を更に含む。調整モジュールは、カメラ座標系とワールド座標系との方向が一致しているか否かを判断し、カメラ座標系とワールド座標系との方向が一致していない場合、カメラ座標系の方向とワールド座標系の方向とを一致させるようにカメラ座標系の方向を調整する。
以上により、本発明は、無人航空機のカメラ座標系における各画素点の画素速度と無人航空機自体の実際の飛行速度とを結合することにより、画像の奥行きデータを算出し、奥行き画像を取得する。従って、画像速度（無人航空機のカメラ座標系における各画素点の画素移動速度）と無人航空機自体の実際の飛行速度とを結合することにより、奥行き画像を取得するあらゆる方法は、いずれも本発明の保護範囲内に属すべきである。
本発明の実施例に係る無人航空機の奥行き画像の取得装置は、読み出しモジューにより無人航空機の機載カメラにより撮影された連続的な画像を読み出し、連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報を算出することにより、無人航空機のカメラ座標系における各画素点の画素移動速度を取得する。次に例えば無人航空機の機載ＧＰＳ等の設備により無人航空機のワールド座標系における実際の飛行速度を測定する。最後に無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との関係により、無人航空機の奥行き画像を算出する。従って、該無人航空機の奥行き画像の取得装置は奥行き画像を正確に取得することができると同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。また、該無人航空機の奥行き画像の取得装置の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも軽減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
本発明の更なる実施例は、無人航空機をさらに提供する。当該無人航空機は、機載カメラと、速度測定装置と、プロセッサと、機体と、を含む。前記機載カメラ及び速度測定装置は、それぞれ前記プロセッサに接続され、前記機体は、前記機載カメラと、速度測定装置と、プロセッサとを取り付ける。前記機載カメラは、所定シーンの画像シーケンスを採取する。前記速度測定装置は、無人航空機のワールド座標系における実際の飛行速度を測定又は算出する。具体的な実施過程において、前記速度測定装置は、ＧＮＳＳ位置特定速度測定（例えば、ＧＰＳや北斗衛星等）、ピトー管、及びレーダー等であってもよい。本発明は、如何なる速度測定装置を採用するかに限定されず、無人航空機のワールド座標系における実際の飛行速度を測定又は算出することさえできれば、いずれも本発明の保護範囲内に属する。
前記プロセッサは、上記無人航空機の奥行き画像の取得方法を実行するように配置されている。言い換えると、前記プロセッサは、発明の上記実施例に説明された無人航空機の奥行き画像の取得装置を含む。
本発明の一つの実施例において、前記無人航空機は、自己安定プラットフォームを更に含み、前記機載カメラは前記自己安定プラットフォームを介して前記機体に取り付けられている。
本発明の実施例に係る無人航空機は、機載カメラと、速度測定装置と、プロセッサとが機体に取り付けられ、機載カメラにより連続的な画像を撮影し、プロセッサにより機載カメラにより撮影された画像を読み出し、その後、連続的な二つのフレームの画像の重複領域における各画素点の位置変化情報を算出することにより、無人航空機のカメラ座標系における各画素点の画素移動速度を取得し、次に例えば無人航空機の機載ＧＰＳ等の速度測定装置により無人航空機のワールド座標系における実際の飛行速度を測定し、最後に無人航空機のカメラ座標系における各画素点の画素移動速度と、無人航空機のワールド座標系における実際の飛行速度と、飛行高度との関係により、無人航空機の奥行き画像を算出する。従って、該無人航空機は、奥行き画像を正確に取得することができると同時に、被測定物がエネルギーを反射できるか否かに対する特別な要求がなく、測定可能な距離が十分に遠く、エネルギーの減衰問題がなく、適用範囲が広い。また、該無人航空機の実現は、いずれも無人航空機における既存設備を利用するものであり、別途な設備を増やす必要がないため、無人航空機の負荷を減少させ、測定コストをも軽減させ、エネルギーの減衰又は被測定物の表面吸収等の問題による能動的な測定の失敗等の問題が避けられる。
上記本発明の実施例の番号は説明するためのものだけであり、実施例の優劣を示すものではない。
本発明の上記実施例において、各実施例に対する説明の重点がそれぞれ異なり、ある実施例に詳しく説明されない部分については、その他の実施例における関連説明を参照することができる。
本願が提供したいくつかの実施例において、開示された技術内容は、その他の形態により実現することができる。ここで、以上説明された装置の実施例はただ例示的なものであり、例えば、前記モジュールの分割について、ロジック機能の分割であってもよい。実際に実現する場合にその他の分割方式があってもよく、例えば、複数のモジュール又は組立品は結合され又はもう一つのシステムに集成されてもよいし、又は一部の特徴が無視或いは実行されなくてもいい。また、表示又は検討された相互の結合又は直接な結合又は通信的接続は、例えば、一部のインターフェースやユニット又はモジュールを介する間接的な結合又は通信接続であってもよく、電気的又はその他の形であってもよい。
分離部品として説明された前記モジュールは、物理的に分離されているものであってもよいし、又は物理的に分離されていないものであってもよい。モジュールとして表示された部品は、物理的なモジュールであってもよいし、又は物理的なモジュールではなくてもよい。即ち、一つの場所に位置してもよいし、複数のモジュールに分布されてもよい。実際の需要に応じてその中のモジュールの一部又は全部を選択して本実施例の案の目的を実現することができる。
また、本発明の各実施例における各機能モジュールは一つの処理モジュールに集成されてもよいし、各モジュールが単独に物理的に存在してもよいし、二つ又は二つ以上のモジュールが一つのモジュールに集成されてもよい。上記集成されたモジュールはハードウェアの形で実現されてもよいし、ソフトウェア機能モジュールの形で実現されてもよい。
前記集成されたモジュールがソフトウェア機能モジュールの形で実現され且つ独立する製品として販売又は使用される場合、一つのコンピューター読み出し可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の技術案の実質的な又は従来技術に貢献する部分又は該技術案の全部又は一部は、ソフトウェア製品の形で表されてもよい、該コンピューターソフトウェア製品は、一つの記憶媒体に記憶され、且つ一つのコンピューター設備（パソコン、サーバ又はネットワーク設備等）が本発明の各実施例に記載の前記方法の全部又は一部のステップを実行するようにするいくつかの命令を含む。前記記憶媒体は、ＵＳＢメモリーと、読み出し専用メモリー（ＲＯＭ、Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ランダムアクセスメモリー（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、リムーバブルハードディスクと、磁気ディスク又は光ディスクと等様々なプログラムコードを記憶できる媒体を含む。
以上の記載は、本発明の好ましい実施形態だけである。当業者にとって、本発明の原理から逸脱しない前提で、更にいくつかの改善及び修正を行うことができる。これらの改善及び修正も本発明の保護範囲と見なされるべきである。

Claims (16)

  1. 無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、前記画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ前記重複領域の面積と前記Ｎフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高いステップと、
    前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得するステップと、
    前記無人航空機のワールド座標系における実際の飛行速度を取得するステップと、
    各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて、各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップと、
    を含む、
    ことを特徴とする無人航空機の奥行き画像の取得方法。
  2. 前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得するステップは、
    前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を算出するステップと、
    前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離の導関数を求め、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度を取得するステップと、
    を更に含む、
    ことを特徴とする請求項１に記載の無人航空機の奥行き画像の取得方法。
  3. 前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を算出するステップは、
    同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて、前記同一の画素点の移動情報を取得し、前記移動情報に基づいて前記同一の画素点の前記カメラ座標系での移動距離を取得するステップを含む、
    ことを特徴とする請求項２に記載の無人航空機の奥行き画像の取得方法。
  4. 各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて、各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップは、
    前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記無人航空機の飛行高度との関連関係を構築するステップと、
    前記関連関係に基づいて前記重複領域における無人航空機の各画素点の奥行き値を取得するステップと、
    各前記重複領域における無人航空機の各画素点の奥行き値に基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得するステップと、
    を含む、
    ことを特徴とする請求項１に記載の無人航空機の奥行き画像の取得方法。
  5. 前記カメラ座標系と前記ワールド座標系との方向が一致しているか否かを判断し、
    前記カメラ座標系と前記ワールド座標系との方向が一致していない場合、前記カメラ座標系の方向と前記ワールド座標系の方向とを一致させるように前記カメラ座標系の方向を調整するステップを更に含む、
    ことを特徴とする請求項４に記載の無人航空機の奥行き画像の取得方法。
  6. 前記機載カメラの視野角度は所定角度より低く、前記所定角度は６０度以下である、
    ことを特徴とする請求項１〜５のいずれかに記載の無人航空機の奥行き画像の取得方法。
  7. 前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得する前に、前記画像シーケンスにおける画像の歪みを補正するステップを更に含む、
    ことを特徴とする請求項１に記載の無人航空機の奥行き画像の取得方法。
  8. 無人航空機の機載カメラにより採取された所定シーンの画像シーケンスを読み出し、ここで、前記画像シーケンスにおけるＮフレーム目の画像とＮ＋１フレーム目の画像とは重複領域を有し、且つ前記重複領域の面積と前記Ｎフレーム目の画像又はＮ＋１フレーム目の画像の面積との比率は所定比率より高い読み出しモジュールと、
    前記重複領域におけるＮフレーム目の画像の各画素点のＮ＋１フレーム目の画像での位置変化情報を取得し、また、前記位置変化情報に基づいて前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度を取得する算出モジュールと、
    前記無人航空機のワールド座標系における実際の飛行速度を取得する測定モジュールと、
    各前記重複領域における無人航空機の各画素点のカメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記機載カメラのパラメータとに基づいて、各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する画像生成モジュールと、
    を含む、
    ことを特徴とする無人航空機の奥行き画像の取得装置。
  9. 前記算出モジュールは、
    前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離を算出し、また、
    前記重複領域における無人航空機の各画素点の前記カメラ座標系での移動距離の導関数を求め、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度を取得する、
    ことを特徴とする請求項８に記載の無人航空機の奥行き画像の取得装置。
  10. 前記算出モジュールは、
    同一の画素点のＮフレーム目の画像における位置情報とＮ＋１フレーム目の画像における位置情報とに基づいて、前記同一の画素点の移動情報を取得し、前記移動情報に基づいて前記同一の画素点の前記カメラ座標系における移動距離を取得する、
    ことを特徴とする請求項９に記載の無人航空機の奥行き画像の取得装置。
  11. 前記画像生成モジュールは、前記重複領域における無人航空機の各画素点の前記カメラ座標系での画素移動速度と、前記無人航空機のワールド座標系における実際の飛行速度と、前記無人航空機の飛行高度との関連関係を構築し、
    前記関連関係に基づいて前記重複領域における無人航空機の各画素点の奥行き値を取得し、
    各前記重複領域における無人航空機の各画素点の奥行き値に基づいて各前記重複領域の奥行き画像を取得し、各前記重複領域の奥行き画像を統合して前記所定シーンの奥行き画像を取得する、
    ことを特徴とする請求項８に記載の無人航空機の奥行き画像の取得装置。
  12. 前記カメラ座標系と前記ワールド座標系との方向が一致しているか否かを判断し、前記カメラ座標系と前記ワールド座標系との方向が一致していない場合、前記カメラ座標系の方向と前記ワールド座標系の方向とを一致させるように前記カメラ座標系の方向を調整する調整モジュールを更に含む、
    ことを特徴とする請求項１１に記載の無人航空機の奥行き画像の取得装置。
  13. 前記機載カメラの視野角度は所定角度より低く、前記所定角度は６０度以下である、
    ことを特徴とする請求項８〜１２のいずれかに記載の無人航空機の奥行き画像の取得装置。
  14. 前記機載カメラは、更に前記画像シーケンスにおける画像の歪みを補正する、
    ことを特徴とする請求項１３に記載の無人航空機の奥行き画像の取得装置。
  15. 無人航空機であって、
    所定シーンの画像シーケンスを採取する機載カメラと、
    無人航空機のワールド座標系における実際の飛行速度を測定又は算出する速度測定装置と、
    請求項１〜７のいずれかに記載の無人航空機の奥行き画像の取得方法を実行するように配置されるプロセッサと、
    前記機載カメラと、速度測定装置と、プロセッサとを取り付ける機体と、
    を含む、
    ことを特徴とする無人航空機。
  16. 自己安定化クラウドプラットフォームを更に含み、
    前記機載カメラは前記自己安定化クラウドプラットフォームを介して前記機体に取り付けられる、
    ことを特徴とする請求項１５に記載の無人航空機。
JP2017566134A 2015-09-25 2016-09-23 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 Expired - Fee Related JP6484729B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510628505.7 2015-09-25
CN201510628505.7A CN105225241B (zh) 2015-09-25 2015-09-25 无人机深度图像的获取方法及无人机
PCT/CN2016/099925 WO2017050279A1 (zh) 2015-09-25 2016-09-23 无人机深度图像的获取方法、装置及无人机

Publications (2)

Publication Number Publication Date
JP2018527554A JP2018527554A (ja) 2018-09-20
JP6484729B2 true JP6484729B2 (ja) 2019-03-13

Family

ID=54994190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017566134A Expired - Fee Related JP6484729B2 (ja) 2015-09-25 2016-09-23 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機

Country Status (8)

Country Link
US (1) US10198004B2 (ja)
EP (1) EP3264364B1 (ja)
JP (1) JP6484729B2 (ja)
KR (1) KR101886013B1 (ja)
CN (1) CN105225241B (ja)
AU (1) AU2016327918B2 (ja)
ES (1) ES2798798T3 (ja)
WO (1) WO2017050279A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US10939055B2 (en) * 2016-03-02 2021-03-02 Sony Corporation Imaging control apparatus and image control method
CN105809687B (zh) * 2016-03-08 2019-09-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
CN106771329B (zh) * 2016-12-27 2020-06-05 歌尔科技有限公司 一种无人机减速过程中运行速度的检测方法
CN106708081B (zh) * 2017-03-17 2019-06-04 北京思比科微电子技术股份有限公司 多旋翼无人飞行器控制系统
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
CN109211185A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种飞行设备、获取位置信息的方法及装置
CN107329490B (zh) * 2017-07-21 2020-10-09 歌尔科技有限公司 无人机避障方法及无人机
CN107610212B (zh) * 2017-07-25 2020-05-12 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
CN108702444B (zh) * 2017-08-31 2021-07-06 深圳市大疆创新科技有限公司 一种图像处理方法、无人机及系统
US11217107B2 (en) 2017-10-05 2022-01-04 California Institute Of Technology Simultaneous representation of moving and static obstacles for automatically controlled vehicles
US11127202B2 (en) * 2017-12-18 2021-09-21 Parthiv Krishna Search and rescue unmanned aerial system
CN115222793A (zh) * 2017-12-22 2022-10-21 展讯通信（上海）有限公司 深度图像的生成及显示方法、装置、系统、可读介质
CN112672133A (zh) * 2017-12-22 2021-04-16 深圳市大疆创新科技有限公司 基于无人机的立体成像方法和装置、计算机可读存储介质
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN110300991A (zh) * 2018-01-23 2019-10-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
CN108335353B (zh) 2018-02-23 2020-12-22 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法、装置和系统、服务器、介质
WO2019183789A1 (zh) * 2018-03-27 2019-10-03 深圳市大疆创新科技有限公司 无人机的控制方法、装置和无人机
CN108804161B (zh) * 2018-06-21 2022-03-04 北京字节跳动网络技术有限公司 应用的初始化方法、装置、终端和存储介质
WO2020024185A1 (en) * 2018-08-01 2020-02-06 SZ DJI Technology Co., Ltd. Techniques for motion-based automatic image capture
CN109084733A (zh) * 2018-09-12 2018-12-25 朱光兴 一种智能遥感测绘系统
CN112839871A (zh) * 2018-09-25 2021-05-25 株式会社爱隆未来 飞行体
CN111192318B (zh) * 2018-11-15 2023-09-01 杭州海康威视数字技术股份有限公司 确定无人机位置和飞行方向的方法、装置及无人机
KR20210105345A (ko) * 2018-11-21 2021-08-26 광저우 엑스에어크래프트 테크놀로지 씨오 엘티디 측량 및 매핑 방법, 장치 및 기기
US11151737B1 (en) * 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
CN109978947B (zh) * 2019-03-21 2021-08-17 广州极飞科技股份有限公司 一种监控无人机的方法、装置、设备和存储介质
CN110414392B (zh) * 2019-07-15 2021-07-20 北京天时行智能科技有限公司 一种障碍物距离的确定方法及装置
CN110487184A (zh) * 2019-09-17 2019-11-22 河北唐银钢铁有限公司 无人机测量料场物料的系统及方法
CN110880184B (zh) * 2019-10-03 2023-07-21 上海淡竹体育科技有限公司 一种基于光流场进行摄像头自动巡检的方法及装置
CN111340840A (zh) * 2020-02-28 2020-06-26 浙江大华技术股份有限公司 确定目标物体相对运动速度的方法、设备和装置
CN112198891B (zh) * 2020-04-22 2021-12-07 北京理工大学 多旋翼机自主回收方法
CN111506112A (zh) * 2020-05-09 2020-08-07 中海油能源发展装备技术有限公司 基于海上油气田设备设施的无人机倾斜摄影方法
CN112364796B (zh) * 2020-11-18 2023-08-01 合肥湛达智能科技有限公司 一种基于深度学习的目标速度检测方法及系统
CN113177984B (zh) * 2021-06-30 2021-09-17 湖北亿咖通科技有限公司 基于稀疏直接法的语义要素测距方法、装置和电子设备
CN113759944A (zh) * 2021-08-19 2021-12-07 深圳市鑫疆基业科技有限责任公司 基于指定高度飞行的自动巡检方法、系统和设备
CN114782525B (zh) * 2022-06-22 2022-09-20 中国地质大学（武汉） 基于全局几何约束的无人机影像定位定向方法及设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2697917B2 (ja) 1989-09-28 1998-01-19 日本電信電話株式会社 三次元座標計測装置
JPH0696208A (ja) * 1991-04-26 1994-04-08 Nippon Telegr & Teleph Corp <Ntt> カメラ移動による奥行測定方法
JPH05141930A (ja) * 1991-11-19 1993-06-08 Nippon Telegr & Teleph Corp <Ntt> ３次元形状計測装置
JP4970296B2 (ja) 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
US20090201380A1 (en) * 2008-02-12 2009-08-13 Decisive Analytics Corporation Method and apparatus for streamlined wireless data transfer
CN202075794U (zh) * 2011-05-24 2011-12-14 段连飞 一种无人机航摄立体成像处理设备
EP2538298A1 (en) * 2011-06-22 2012-12-26 Sensefly Sàrl Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
CN102749071B (zh) * 2012-04-24 2015-08-05 北京林业大学 一种基于无人机航空摄影监测土壤侵蚀的方法
US9798928B2 (en) 2013-07-17 2017-10-24 James L Carr System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
CN103426200B (zh) * 2013-08-26 2017-05-03 天津大学 基于无人机航拍序列图像的树木三维重建方法
EP2849150A1 (en) * 2013-09-17 2015-03-18 Thomson Licensing Method for capturing the 3D motion of an object, unmanned aerial vehicle and motion capture system
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机

Also Published As

Publication number Publication date
KR101886013B1 (ko) 2018-08-06
WO2017050279A9 (zh) 2018-01-25
US20180120847A1 (en) 2018-05-03
ES2798798T3 (es) 2020-12-14
WO2017050279A1 (zh) 2017-03-30
AU2016327918A1 (en) 2017-10-12
US10198004B2 (en) 2019-02-05
CN105225241B (zh) 2017-09-15
EP3264364A4 (en) 2018-06-20
AU2016327918B2 (en) 2019-01-17
KR20170137934A (ko) 2017-12-13
EP3264364A1 (en) 2018-01-03
EP3264364B1 (en) 2020-04-22
JP2018527554A (ja) 2018-09-20
CN105225241A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
JP6484729B2 (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
CN101952855B (zh) 从三维场景实时获取视觉信息的方法和照相机
CN108474658B (zh) 地面形态检测方法及系统、无人机降落方法和无人机
CN107560603B (zh) 一种无人机倾斜摄影测量系统及测量方法
CN105913410A (zh) 一种基于机器视觉的远距离运动物体高度测量的装置与方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN107861920B (zh) 点云数据配准方法
CN111435081B (zh) 海面测量系统、海面测量方法以及存储介质
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN112461204B (zh) 卫星对动态飞行目标多视角成像联合计算航行高度的方法
JP3808833B2 (ja) 空中写真測量方法
Wang et al. The human-height measurement scheme by using image processing techniques
CN210986289U (zh) 四目鱼眼相机及双目鱼眼相机
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN113895482B (zh) 基于轨旁设备的列车测速方法及装置
Wang Towards real-time 3d reconstruction using consumer uavs
JPH08261719A (ja) 相対的移動量算出装置及び相対的移動量算出方法
JP6892134B2 (ja) 計測システム、計測方法および計測プログラム
CN111089564B (zh) 一种动平台动目标双目测距系统及方法
JP2011191186A (ja) ３次元変化検出装置
WO2023195394A1 (ja) 撮像支援装置、移動体、撮像支援方法、及びプログラム
CN109214984B (zh) 一种图像获取方法及装置、自主定位导航系统、计算设备

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180704

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R150 Certificate of patent or registration of utility model

Ref document number: 6484729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees