JP6852851B2 - 画像処理方法及び移動体を制御するシステム - Google Patents

画像処理方法及び移動体を制御するシステム Download PDF

Info

Publication number
JP6852851B2
JP6852851B2 JP2018567109A JP2018567109A JP6852851B2 JP 6852851 B2 JP6852851 B2 JP 6852851B2 JP 2018567109 A JP2018567109 A JP 2018567109A JP 2018567109 A JP2018567109 A JP 2018567109A JP 6852851 B2 JP6852851 B2 JP 6852851B2
Authority
JP
Japan
Prior art keywords
obstruction
image
images
markers
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018567109A
Other languages
English (en)
Other versions
JP2019531611A (ja
Inventor
シェン、シャオジエ
ウ、シアンリアン
チェン、リアンシェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2019531611A publication Critical patent/JP2019531611A/ja
Application granted granted Critical
Publication of JP6852851B2 publication Critical patent/JP6852851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H27/00Toy aircraft; Other flying toys
    • A63H27/12Helicopters ; Flying tops
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02Electrical arrangements
    • A63H30/04Electrical arrangements using wireless transmission
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Description

開示される実施形態は、一般的には画像処理に関し、排他的にではないがより詳細には、移動体により取得される画像内の投影位置における妨害物の検出に基づいて画像を処理することに関する。
無人機(UAV)等の移動体は、軍事用途及び民間用途で監視、偵察、及び探索の任務を実行するのに使用することができる。移動体は、障害物回避及び/又は標的追尾のために周囲環境の画像を取得する等の特定の機能を実行するように構成された1つ又は複数の撮像デバイスを含み得る。したがって、例えば、周囲環境の妨害物及び/又は標的に対応しない可能性がある画像情報を検出して処理することにより、取得画像における情報を正確に維持することが重要である。
障害物回避、ナビゲーション及び方位特定、画像の取得及び処理、及び/又は標的追尾のために、移動体により支持される1つ又は複数の撮像デバイスにより取得された画像を効率的且つ正確に処理するシステム及び方法が必要とされている。そのようなシステム及び方法は任意選択的に、移動体により取得された画像を処理する従来の方法を補完又は置換する。幾つかの実施形態では、移動体により支持された1つ又は複数の妨害物が、移動体の撮像デバイスを部分的に遮ることがある。テンプレートを使用して、取得画像の投影位置において妨害物を検出し、それに従って画像を処理することにより、本願の幾つかの実施形態は、ナビゲーション及び方位特定、画像の取得及び処理、障害物回避、及び/又は標的追尾での撮像処理の効率及び精度を大幅に改善することができる。さらに、撮像デバイスと妨害物との相対位置の制限を少なくすることにより、移動体の設計の柔軟性を高めることができる。
幾つかの実施形態によれば、移動体の画像処理をサポートする方法は、移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得することを含む。撮像デバイスは、移動体に取り付けられた妨害物により少なくとも部分的に遮られる。本方法は、テンプレートを1つ又は複数の画像に適用するステップであって、それにより、1つ又は複数の画像内の妨害物の1つ又は複数の投影位置を取得する、適用することを更に含む。本方法は、1つ又は複数の画像内の1つ又は複数の投影位置において妨害物の少なくとも一部を検出するステップも含む。
幾つかの実施形態によれば、無人機(UAV)は、推進システムと、1つ又は複数のセンサと、撮像デバイスと、推進システム、1つ又は複数のセンサ、及び撮像デバイスに結合される1つ又は複数のプロセッサとを備える。1つ又は複数のプロセッサは、上記方法の動作を実行する。幾つかの実施形態によれば、システムは、1つ又は複数のプロセッサと、メモリと、メモリに記憶され、1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムとを備え得る。上記方法の動作を実行する命令を含む1つ又は複数のプログラム。幾つかの実施形態によれば、非一時的コンピュータ可読記憶媒体は命令を記憶し、命令は、移動体により実行されると、上記方法の動作を移動体に実行させる。
幾つかの実施形態によれば、移動体を制御する方法は、移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得することを含む。撮像デバイスは、移動体に取り付けられた妨害物により少なくとも部分的に遮られる。本方法は、1つ又は複数の画像において投影される妨害物の少なくとも一部を検出するステップを更に含む。本方法は、投影された妨害物を有する1つ又は複数の画像を処理して、移動体の動作を支援することも含む。
幾つかの実施形態によれば、無人機(UAV)は、推進システムと、1つ又は複数のセンサと、撮像デバイスと、推進システム、1つ又は複数のセンサ、及び撮像デバイスに結合される1つ又は複数のプロセッサとを備える。1つ又は複数のプロセッサは、上記方法の動作を実行する。幾つかの実施形態によれば、システムは、1つ又は複数のプロセッサと、メモリと、メモリに記憶され、1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムとを備え得る。上記方法の動作を実行する命令を含む1つ又は複数のプログラム。幾つかの実施形態によれば、非一時的コンピュータ可読記憶媒体は命令を記憶し、命令は、移動体により実行されると、上記方法の動作を移動体に実行させる。
幾つかの実施形態による移動体環境を示す。 幾つかの実施形態による移動体を示す。 幾つかの実施形態による、妨害物の遮蔽面を示す画像である。 幾つかの実施形態による、プロペラ翼上のマーカを光らせる照明源を有さない移動体(図4A)及び有する移動体(図4B)を比較する一対の画像を示す。 幾つかの実施形態による、プロペラ翼上のマーカを光らせる照明源を有さない移動体(図4A)及び有する移動体(図4B)を比較する一対の画像を示す。 幾つかの実施形態による、画像処理に使用される動きトレイルテンプレートを準備する方法を示す流れ図である。 幾つかの実施形態による、画像処理に向けて動きトレイルテンプレートを準備する例示的なプロセスを示す。 幾つかの実施形態による、画像処理に使用されるテンプレートを準備する方法を示す流れ図である。 幾つかの実施形態による、画像処理に向けてテンプレートを準備する例示的なプロセスを示す。 幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。 幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。 幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。 幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。 幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。 幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。 幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。 幾つかの実施形態による、移動体を制御する方法を示す流れ図である。 幾つかの実施形態による、移動体を制御する方法を示す流れ図である。 幾つかの実施形態による、移動体を制御する方法を示す流れ図である。
これより、例が添付図面に示される実施形態を詳細に参照する。以下の詳細な説明では、記載される様々な実施形態の完全な理解を提供するために、多くの具体的な詳細が記載される。しかしながら、これらの具体的な詳細なしでも、記載される様々な実施形態が実施可能なことが当業者には理解されよう。他の場合、実施形態の態様を不必要に曖昧にしないように、周知の方法、手順、構成要素、回路、及びネットワークについては詳述しなかった。
以下の説明では、移動体の例として無人機(UAV)を使用する。UAVは、例えば、ヘリコプター、クワッドコプター、及び他の数及び/又は構成の回転翼を有する航空機等の固定翼機及び回転翼機を含む。他のタイプの移動体が、後述されるUAVに取って代わり得ることが当業者には明らかであろう。
本発明は、ナビゲーション及び方位特定、画像の取得及び処理、障害物回避、及び/又は標的追尾のためにUAVにより取得された画像の処理に関連する技法を提供する。テンプレートを使用して画像を処理し、画像における投影位置において妨害物を検出するステップができる。画像処理技法は、障害物回避及び/又は標的追尾に効率及び正確性を提供するとともに、UAV設計及び製造に柔軟性を提供することができる。その結果、撮像装置を搭載した移動体の設計及び製造のコストを低減することができる。
図1は、幾つかの実施形態による移動体環境100を示す。移動体環境100は移動体102を含む。幾つかの実施形態では、移動体102は支持機構104及び/又は搭載物106を含む。幾つかの実施形態では、移動体102は、周囲環境の画像を取得する1つ又は複数(例えば、一対)の撮像センサ120も含む。
幾つかの実施形態では、支持機構104を使用して、搭載物106を移動体102に結合する。幾つかの実施形態では、支持機構104は、移動体102及び/又は運動機構114の運動から搭載物106を分離する要素(例えば、ジンバル及び/又はダンパー要素)を含む。幾つかの実施形態では、支持機構104は、移動体102に対して搭載物106の運動を制御する要素を含む。
幾つかの実施形態では、搭載物106は、搭載物106が移動体102に相対して実質的に静止したままであるように、移動体102に結合(例えば、剛性結合)される(例えば、支持機構104を介して結合される)。例えば、支持機構104は、搭載物が移動体に相対して動かないように搭載物106に結合される。幾つかの実施形態では、搭載物106は、支持機構104を必要とせずに移動体102に直接搭載される。幾つかの実施形態では、搭載物106は、移動体102内に部分的又は完全に配置される。
幾つかの実施形態では、撮像センサ120は、移動体102の外部に搭載されるか、内部に配置されるか、又は他の方法で結合される。幾つかの実施形態では、撮像センサ120は移動体102に固定して搭載される。例えば、特定の撮像センサ120と移動体102の静止(又は固定)構成要素との相対位置は一定である。幾つかの実施形態では、撮像センサ120は、支持機構検知システム及び/又は搭載物検知システム等の移動体検知システム210の構成要素である。撮像センサ120は、移動体検知システム122の他の構成要素と共に、環境情報を取得し、静的検知データ(例えば、命令の受信に応答して取得された1枚の画像)、及び/又は動的検知データ(例えば、映像等の周期的な率で取得された一連の画像)を生成する。撮像センサ120についての更なる詳細について図2を参照して考察する。
幾つかの実施形態では、制御ユニット108は移動体102と通信して、制御命令を移動体102に提供し、及び/又は移動体102から受信した情報を表示する。制御ユニット108は通常、ポータブル(例えば、ハンドヘルド)デバイスであるが、制御ユニット108はポータブルである必要はない。幾つかの実施形態では、制御ユニット108は、専用制御デバイス(例えば、移動体102に専用の)、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、ゲーミングシステム、ウェアラブルデバイス(例えば、眼鏡、手袋、及び/又はヘルメット)、マイクロホン、ポータブル通信デバイス(例えば、携帯電話)、及び/又はそれらの組み合わせである。
幾つかの実施形態では、制御ユニット108の入力デバイスは、移動体102、支持機構104、搭載物106、及び/又はその構成要素の態様を制御するユーザ入力を受信する。そのような態様は、例えば、方位、位置、向き、速度、加速度、ナビゲーション、及び/又は追尾を含む。例えば、制御ユニット108の入力デバイスの位置(例えば、入力デバイスの構成要素の位置)は、移動体102を制御する入力に(例えば、所定の入力)に多応する位置にユーザにより手動で設定される。幾つかの実施形態では、ユーザは入力デバイスを操作して、移動体102のナビゲーションを制御する制御命令を入力する。幾つかの実施形態では、制御ユニット108の入力デバイスを使用して、所定のナビゲーション路に従うオートパイロット又はナビゲーション等の飛行モードを移動体102に入力する。
幾つかの実施形態では、制御ユニット108のディスプレイは、移動体検知システム210、メモリ204、及び/又は移動体102の別のシステムにより生成された情報を表示する。例えば、ディスプレイは、移動体102、支持機構104、及び/又は搭載物106についての情報、例えば、移動体102の位置、方位、向き、運動特性、及び/又は移動体102と別の物体(例えば、標的及び/又は妨害物)との間の距離を表示する。幾つかの実施形態では、制御ユニット108のディスプレイにより表示される情報は、撮像デバイス216(図2)により取得された画像、追尾データ(例えば、標的の表現に適用されるグラフィカル追尾インジケータ)、及び/又は移動体102に送信された制御データの指示を含む。幾つかの実施形態では、制御ユニット108のディスプレイにより表示される情報は、情報が移動体102から受信されるとき及び/又は画像取得時に略リアルタイムで表示される。幾つかの実施形態では、制御ユニット108のディスプレイはタッチスクリーンディスプレイである。
幾つかの実施形態では、移動体環境100は計算デバイス110を含む。計算デバイス110は、例えば、サーバコンピュータ、クラウドサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、又は別のポータブル電子デバイス(例えば、携帯電話)である。幾つかの実施形態では、計算デバイス110は、移動体102及び/又は制御ユニット108と通信する(例えば、無線で)基地局である。幾つかの実施形態では、計算デバイス110は、データ記憶動作、データ検索動作、及び/又はデータ処理動作を提供して、例えば、移動体102及び/又は制御ユニット108の処理電力及び/又はデータ記憶要件を低減する。例えば、計算デバイス110はデータベースに通信可能に接続され、及び/又は計算デバイス110はデータベースを含む。幾つかの実施形態では、計算デバイス110は、制御ユニット108の代替又は追加として使用されて、制御ユニット108に関して説明された任意の動作を実行する。
幾つかの実施形態では、移動体102は、例えば、無線通信112を介して制御ユニット108及び/又は計算デバイス110と通信する。幾つかの実施形態では、移動体102は、情報を制御ユニット108及び/又は計算デバイス110から受信する。例えば、移動体102により受信される情報は、例えば、移動体102を制御する制御命令を含む。幾つかの実施形態では、移動体102は、情報を制御ユニット108及び/又は計算デバイス110に送信する。例えば、移動体102により送信される情報は、例えば、移動体102により取得された画像及び/又は映像を含む。
幾つかの実施形態では、計算デバイス110、制御ユニット108、及び/又は移動体102の間の通信は、ネットワーク(例えば、インターネット116)及び/又はセルラ塔118等の無線信号伝送機(例えば、長距離無線信号伝送機)を介して伝送される。幾つかの実施形態では、衛星(図示せず)が、インターネット116の構成要素であり、及び/又はセルラ塔118への追加又は代替として使用される。
幾つかの実施形態では、計算デバイス110、制御ユニット108、及び/又は移動体102の間で通信される情報は、制御命令を含む。制御命令は、例えば、移動体102のナビゲーションパラメータ、例えば、移動体102、支持機構104、及び/又は搭載物106の位置、方位、向き、及び/又は1つ又は複数の運動特性を制御するナビゲーション命令を含む。幾つかの実施形態では、制御命令は、運動機構114の1つ又は複数の運動を支持する命令を含む。例えば、制御命令を使用して、UAVの飛行を制御する。
幾つかの実施形態では、制御命令は、支持機構104の動作(例えば、運動)を制御するための情報を含む。例えば、制御命令を使用して、支持機構104の作動機構を制御し、移動体102に対する搭載物106の角運動及び/又は線形運動を生じさせる。幾つかの実施形態では、制御命令は、最高で6つの自由度で移動体102に対する支持機構104の運動を調整する。
幾つかの実施形態では、制御命令を使用して、搭載物106の1つ又は複数の動作パラメータを調整する。例えば、制御命令は、光学パラメータ(例えば、撮像デバイス216の光学パラメータ)を調整する命令を含む。幾つかの実施形態では、制御命令は、撮像特性及び/又は画像デバイス機能を調整する命令、例えば、画像を取得する命令、映像取得を開始/停止する命令、撮像デバイス216の電源をオン又はオフにする命令、撮像モードを調整する命令(例えば、静止画像を取得する命令又は映像を取得する命令)、立体撮像システムの左構成要素と右構成要素との間の距離を調整する命令、並びに/或いは支持機構104、搭載物106、及び/又は撮像デバイス216の位置、方位、及び/又は運動(例えば、パン率、パン距離)を調整する命令を含む。
幾つかの実施形態では、制御命令が移動体102により受信されると、制御命令は、移動体102のパラメータを変更し、及び/又は移動体102のメモリ204(図2)により記憶される。
図2は、幾つかの実施形態による例示的な移動体102を示す。移動体102は通常、1つ又は複数のプロセッサ202、メモリ204、通信システム206、移動体検知システム210、及びこれらの構成要素を相互接続する1つ又は複数の通信バス208を含む。
幾つかの実施形態では、移動体102はUAVであり、飛行及び/又は飛行制御を可能にする構成要素を含む。幾つかの実施形態では、移動体102は、1つ又は複数のネットワーク又は他の通信インターフェース(例えば、それを介して飛行制御命令が受信される)との通信システム206、1つ又は複数の運動機構114、及び/又は1つ又は複数の移動体アクチュエータ212(例えば、制御命令の受信に応答して運動機構114を運動させる)を含む。移動体102は航空機として示されるが、この図は限定を意図せず、任意の適するタイプの移動体が使用可能である。
幾つかの実施形態では、移動体102は運動機構114(例えば、推進機構)を含む。本明細書では、参照の都合上、複数形の用語「運動機構(movement mechanisms)」が使用されるが、「運動機構(movement mechanisms)114」は、単一の運動機構(例えば、単一のプロペラ)又は複数の運動機構(例えば、複数の回転翼)を指す。運動機構114は、1つ又は複数の運動機構タイプ、例えば、回転翼、プロペラ、翼、エンジン、モータ、車輪、車軸、磁石、及びノズル等を含む。運動機構114は、例えば、上面、下面、正面、裏面、及び/又は側面において移動体102に結合される。幾つかの実施形態では、単一の移動体102の運動機構114は、同じタイプの複数の運動機構を含む。幾つかの実施形態では、単一の移動体102の運動機構114は、異なる運動機構タイプの複数の運動機構を含む。運動機構114は、任意の適する手段、例えば、支持要素(例えば、駆動シャフト)及び/又は他の作動要素(例えば、移動体アクチュエータ212)を使用して移動体102に結合される。例えば、移動体アクチュエータ212は、制御信号をプロセッサ202から受信し(例えば、通信バス208を介して)、制御信号は、移動体アクチュエータ212を作動させて、運動機構114の運動を生じさせる。例えば、プロセッサ202は電子速度コントローラを含み、電子速度コントローラは制御信号を移動体アクチュエータ212に提供する。
幾つかの実施形態では、運動機構114は、移動体102が、移動体102のいかなる水平運動も必要とせずに(例えば、滑走路を下って移動せずに)表面から垂直に離陸又は表面に垂直に着陸できるようにする。幾つかの実施形態では、運動機構114は、移動体102が指定された位置及び/又は向きで空中をホバリングできるようにするように動作可能である。幾つかの実施形態では、運動機構114の1つ又は複数は、他の運動機構114の1つ又は複数から独立して制御可能である。例えば、移動体102がクワッドコプターである場合、クワッドコプターの各回転翼は、クワッドコプターのその他の回転翼から独立して制御可能である。幾つかの実施形態では、複数の運動機構114が同時に運動する。
幾つかの実施形態では、運動機構114は、移動体102に揚力及び/又は推進力を提供する複数の回転翼を含む。複数の回転翼は、例えば、垂直離陸能力、垂直着陸能力、及びホバリング能力を移動体102に提供するように作動する。幾つかの実施形態では、回転翼の1つ又は複数は時計回り方向に回転し、一方、回転翼の1つ又は複数は反時計回り方向に回転する。例えば、時計回りの回転翼の数は、反時計回りの回転翼の数に等しい。幾つかの実施形態では、各回転翼の回転率は、例えば、各回転翼により生成される揚力及び/又は推進力を制御し、それにより、移動体102の空間変位、速度、及び/又は加速度を調整するように独立して変更可能である(例えば、最高で3並進度及び/又は最高で3回転自由度に関して)。
幾つかの実施形態では、メモリ204は、1つ又は複数の命令、プログラム(例えば、命令セット)、モジュール、制御システム、及び/又はデータ構造を記憶し、本明細書ではこれらはまとめて「要素」と呼ばれる。メモリ204に関して説明される1つ又は複数の要素は任意選択的に、制御ユニット108、計算デバイス110、及び/又は別のデバイスに記憶される。幾つかの実施形態では、撮像デバイス216は、メモリ204に関して説明される1つ又は複数のパラメータを記憶するメモリを含む。
幾つかの実施形態では、メモリ204は、1つ又は複数のシステム設定(例えば、製造業者、管理者、及び/又はユーザにより構成される)を含む制御システム構成を記憶する。例えば、移動体102についての情報を識別することは、システム構成のシステム設定として記憶される。幾つかの実施形態では、制御システム構成は、撮像デバイス216の構成を含む。撮像デバイス216の構成は、位置、ズームレベル、及び/又はフォーカスパラメータ(例えば、フォーカス量、オートフォーカス又は手動フォーカスのセントなく、及び/又は画像での標的オートフォーカスの調整)等のパラメータを記憶する。撮像デバイス構成により記憶される撮像特性パラメータとしては、例えば、画像解像度、画像サイズ(例えば、画像の幅及び/又は高さ)、アスペクト比、ピクセルカウント、品質、焦点距離、被写界深度、露出時間、シャッタ速度、及び/又はホワイトバランスが挙げられる。幾つかの実施形態では、撮像デバイス構成により記憶されるパラメータは、制御命令(例えば、プロセッサ202により生成され、及び/又は制御ユニット108及び/又は計算デバイス110から移動体102により受信される)に応答して更新される。幾つかの実施形態では、撮像デバイス構成により記憶されるパラメータは、移動体検知システム210及び/又は撮像デバイス216から受信される情報に応答して更新される。
幾つかの実施形態では、制御システムは撮像デバイス調整を実行する。撮像デバイス調整モジュールは、例えば、撮像デバイス216の画像センサと光学デバイスとの間の距離を調整する命令、例えば、撮像デバイスアクチュエータを制御する命令を記憶する。幾つかの実施形態では、撮像デバイス調整を実行する1つ又は複数の命令は、メモリ204に記憶される。
幾つかの実施形態では、制御システムはオートフォーカス動作を実行する。例えば、オートフォーカス動作は、例えば、周期的に、デバイスが画像分析からフォーカスレベルがフォーカスレベル閾値未満に下がっていると判断したとき、移動体102及び/又は画像被写体(例えば、標的又は遠隔物体)が閾値距離を超えて動いたとの判断に応答して、及び/又はユーザ入力に応答して、実行される。幾つかの実施形態では、ユーザ入力(例えば、制御ユニット108及び/又は計算デバイス110において受信される)は、オートフォーカスモードを開始及び/又は調整する。幾つかの実施形態では、ユーザ入力は、オートフォーカス動作に使用されるべき及び/又は優先されるべき1つ又は複数の領域(例えば、制御ユニット108及び/又は計算デバイス110により表示される画像等の撮像デバイス216により取得された画像において)を示す。幾つかの実施形態では、オートフォーカスモジュールは、画像距離特定モジュールにより特定される画像距離値に従って、画像センサに相対して光学デバイスを動かす制御命令を生成する。幾つかの実施形態では、オートフォーカス動作を実行する1つ又は複数の命令は、メモリ204に記憶される。
幾つかの実施形態では、制御システムは、画像距離特定を実行して、例えば、本明細書に記載される動作に従って物体距離及び/又は画像距離を特定する。例えば、画像距離特定モジュールは、移動体の1つ又は複数の深さセンサ及び1つ又は複数の向きセンサからのセンサデータを使用して、画像距離を特定し、特定された画像距離に従って画像センサに対して光学デバイスを動かす制御命令を生成する。幾つかの実施形態では、画像距離特定を実行する1つ又は複数の命令は、メモリ204に記憶される。
上記識別された制御システム、モジュール、及び/又はプログラム(例えば、命令セット)は、別個のソフトウェアプログラム、プロシージャ、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において組み合わせるか、又は他の方法で再構成し得、メモリ204に記憶し得る。幾つかの実施形態では、制御システムは、上記識別されたモジュール及びデータ構造のサブセットを含む。さらに、メモリ204は、上述されていない追加のモジュール及びデータ構造を記憶し得る。幾つかの実施形態では、メモリ204又はメモリ204の非一時的コンピュータ可読記憶媒体に記憶されたプログラム、モジュール、及びデータ構造は、後述する方法における各動作を実施する命令を提供する。幾つかの実施形態では、これらのモジュールの幾つか又は全ては、モジュール機能の一部又は全てを包含する専用ハードウェア回路を用いて実装し得る。上記識別された要素の1つ又は複数は、移動体102の1つ又は複数のプロセッサ202により実行し得る。幾つかの実施形態では、上記識別されたモジュールの1つ又は複数は、移動体からリモートのデバイスの1つ又は複数の記憶装置(制御ユニット108、計算デバイス110、及び/又は撮像デバイス216のメモリ等)に記憶され、及び/又は移動体102からリモートのデバイスの1つ又は複数のプロセッサ(制御ユニット108、計算デバイス110、及び/又は撮像デバイス216のプロセッサ等)により実行される。
通信システム206は、例えば、無線信号112を介した制御ユニット108及び/又は計算デバイス110との通信を可能にする。通信システム206は、例えば、無線通信用の送信機、受信機、及び/又は送受信機を含む。幾つかの実施形態では、通信は、制御ユニット108及び/又は計算デバイス110から移動体102によってのみ受信されるか、又はこの逆であるような単方向通信である。幾つかの実施形態では、通信は、データが移動体102と制御ユニット108及び/又は計算デバイス110との間で両方向に伝送されるような双方向通信である。幾つかの実施形態では、移動体102、制御ユニット108、及び/又は計算デバイス110は、インターネット116又は他の電気通信ネットワークに接続され、それにより、例えば、移動体102、制御ユニット108、及び/又は計算デバイス110により生成されたデータは、データ記憶及び/又はデータ検索のため(例えば、ウェブサイトによる表示のため)に、サーバに送信される。
幾つかの実施形態では、移動体102の検知システム210は1つ又は複数のセンサを含む。幾つかの実施形態では、移動体検知システム210の1つ又は複数のセンサは、移動体102の外部に搭載されるか、内部に配置されるか、又は他の方法で結合される。幾つかの実施形態では、移動体検知システム210の1つ又は複数のセンサは、支持機構104、搭載物106、及び/又は撮像デバイス216の構成要素であり、及び/又は支持機構104、搭載物106、及び/又は撮像デバイス216に結合される。本明細書において、検知動作が移動体検知システム210により実行されるものとして説明される場合、そのような動作が任意選択的に、移動体検知システム210の1つ又は複数のセンサへの追加及び/又は代替として、支持機構104、搭載物106、及び/又は撮像デバイス216の1つ又は複数のセンサにより実行されることが認識されよう。
幾つかの実施形態では、移動体検知システム210は、1つ又は複数の画像センサ120、例えば、画像センサ214(例えば、左立体画像センサ)及び/又は画像センサ215(例えば、右立体画像センサ)を含む。画像センサ120は、例えば、画像、画像ストリーム(例えば、映像)、静止画像、及び/又は立体画像ストリーム(例えば、立体映像)を取得する。画像センサ120は、光、例えば、可視光、赤外線光、及び/又は紫外線光を検出する。幾つかの実施形態では、移動体検知システム210は、光を1つ又は複数の画像センサ120上に集束させるか、又は他の方法で変更する1つ又は複数の光学デバイス(例えば、レンズ)を含む。幾つかの実施形態では、画像センサ120は、例えば、半導体電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)技術若しくはN型金属酸化膜半導体(NMOS、ライブMOS)技術を使用したアクティブピクセルセンサ、又は任意の他のタイプのセンサを含む。撮像センサ120は、物体(例えば、妨害物又は標的)の検出、物体の位置情報の検出、深度マップの生成(例えば、立体画像センサ214及び215を使用した)、妨害物の回避、及び/又は標的の追尾に使用することができる。
幾つかの実施形態では、移動体検知システム210は、1つ又は複数のオーディオトランスデューサ(例えば、スピーカ、マイクロホン、放物面マイクロホン、ソナーシステム)、1つ又は複数の赤外線センサ、1つ又は複数のセンサ対(例えば、左立体画像センサ214及び右立体画像センサ215、オーディオ出力トランスデューサ及びオーディオ入力トランスデューサ、及び/又は左赤外線センサ及び右赤外線センサ)、1つ又は複数の全地球測位システム(GPS)センサ、運動センサ(例えば、加速度計)、回転センサ(例えば、ジャイロスコープ)、慣性センサ、近接性センサ(例えば、赤外線センサ)、及び/又は天候センサ(例えば、圧力センサ、温度センサ、湿度センサ、及び/又は風センサ)を含む。
幾つかの実施形態では、移動体検知システム210の1つ又は複数のセンサにより生成された検知データ及び/又は移動体検知システム210の1つ又は複数のセンサからの検知データを使用して特定された情報は、制御ユニット108に送信される(例えば、通信システム112を介して)。幾つかの実施形態では、移動体検知システム210の1つ又は複数のセンサ生成されたデータ及び/又は移動体検知システム210の1つ又は複数のセンサからの検知データを使用して特定された情報は、メモリ204に記憶される。
図3は、幾つかの実施形態による、妨害物の遮蔽面を示す画像である。幾つかの実施形態では、妨害物は、妨害物の遮蔽面が撮像センサ(例えば、撮像センサ120及び/又は撮像デバイス216)を部分的又は完全に遮蔽させる位置において移動体に搭載され得る。幾つかの実施形態では、妨害物は、図3に示されるように、移動体102のプロペラ300(プロペラ翼300とも呼ばれる)の遮蔽面を含む。幾つかの実施形態では、妨害物の遮蔽面は、プロペラ翼300の下面、例えば、撮像センサ120に対向するプロペラ翼300の下面を含む。プロペラ翼300の下面は、移動体102に搭載された1つ又は複数の照明源により照明することができる(例えば、図4A及び図4B)。プロペラ300は運動機構114の構成要素である。例えば、1つ又は複数のプロペラ300は、1つ又は複数の支持要素(例えば、駆動シャフト)及び/又は1つ又は複数の作動要素(例えば、移動体アクチュエータ212)を使用して移動体102に結合することができる。プロペラ300は移動体アクチュエータ212により給電されて回転し、移動体102を上昇及び/又は推進させることができる。幾つかの実施形態では、妨害物は、移動体102の別の構成要素、例えば、移動体のアーム又は移動体の着陸装置を含む。
幾つかの実施形態では、プロペラ300は、プロペラ300の回転中、プロペラ300の1つ又は複数の翼、例えば、1つ又は複数の翼の1つ又は複数の遮蔽面のそれぞれに撮像センサ120を部分的又は完全に遮蔽させる位置において移動体102に搭載される。その結果、撮像センサ120により取得された1つ又は複数の画像は、1つ又は複数の画像内の1つ又は複数の位置のそれぞれにおいて、プロペラ翼300の遮蔽面の少なくとも一部を含み得る。妨害物、例えばプロペラ翼300が障害物又は標的として誤検出されないように、取得画像内の妨害物の遮蔽面、例えば、プロペラ翼300の遮蔽面の位置を検出するために、取得画像は、妨害物、例えばプロペラ翼300に関連する所定のテンプレートを使用して処理されて、プロペラ翼300の少なくとも一部の画像を検出及び/又は削除する。
幾つかの実施形態では、プロペラ翼300は、翼300の遮蔽面上に分布する1つ又は複数のマーカ302、304、306、及び308を含む。例えば、マーカ302〜308は、撮像センサ120に対向する翼300の下面に分布する。幾つかの実施形態では、プロペラ300は、1枚の翼、2枚の翼(図3に示されるような2つの対向する翼等)、3枚の翼、又は任意の他の数の翼を含む。幾つかの実施形態では、マーカは、プロペラ300(例えば、図3)の1つ又は複数の翼のうちの1枚のみの翼に分布する。幾つかの実施形態では、マーカは、プロペラ300の2枚以上の翼のうちの2枚以上の翼に分布する。一例では、マーカは、プロペラ300の2枚以上の翼の各翼に分布する。プロペラ300の1つ又は複数の翼の各翼は、平坦であり得る。代替的には、プロペラ300の1つ又は複数の翼の各翼は、翼基部から翼先端部まで変化する翼角度を有し得、したがって、マーカ302〜308は、撮像センサ120又は撮像デバイス216に対向する翼の上面及び下面の両方に分布することもできる。幾つかの実施形態では、マーカ302〜308の各マーカは、反射性材料(例えば、蛍光体)で作られる。幾つかの実施形態では、マーカは、図3に示されるように、1つ又は複数のストライプを含む。例えば、各マーカは、複数の円の各円上の弧ストライプであり、それにより、各弧ストライプは、プロペラ翼300が回転運動中であるとき、複数の円の各円で運動経路を形成する。例えば、マーカ302は、第1の円の一部上の弧ストライプであり、マーカ304は、第1の円とは異なる第2の円の一部上の弧ストライプである。幾つかの実施形態では、複数の円は同心円である。一例では、複数の同心円の共通中心軸は、翼300が回転するように構成された中心軸(中心点310を通る)である。幾つかの他の実施形態では、マーカは他の形状、例えば、矩形、正方形、又は他の多角形を有する。
幾つかの実施形態では、1つ又は複数のマーカ302〜308は、異なる幅を有する複数のストライプ群を含む。複数のストライプ群は、遮蔽物上のストライプを、ストライプパターンを有する障害物又は標的等のストライプ形又はストライプパターンを有する環境における他の物体から十分に区別することができるように、翼300の遮蔽面上に交互に分布し得る。例えば、マーカ(ストライプ)302及び306は、第1の幅をそれぞれ有する第1のストライプ群に属し、マーカ(ストライプ)304及び308は、第2の幅をそれぞれ有する第2のストライプ群に属する。第2の幅は第1の幅よりも小さくてよい。幾つかの例では、第1の幅は第2の幅の1〜5倍である。幾つかの好ましい実施形態では、第1の幅は第2の幅の1.5〜2.5倍である。幾つかの実施形態では、各ストライプ群は1〜5本のストライプを含む。幾つかの好ましい実施形態では、各ストライプ群は3〜5本の反射性ストライプを含む。図3に示される幾つかの実施形態では、マーカは、翼300の外縁部近くに分布し、外縁部は、中心軸又は中心310から翼300の最も離れた端部である。
図4A及び図4Bは、幾つかの実施形態による、プロペラ翼300上のマーカを光らせる照明源を有さない移動体(図4A)及び有する移動体(図4B)を比較する一対の画像を示す。幾つかの実施形態では、照明源は移動体102に搭載されて、1つ又は複数のマーカ302〜308を照明する。幾つかの実施形態では、照明源は、蛍光光源、白熱灯光源、放電光源、ネオン及びアルゴン光源、プラズマ光源、発光ダイオード(LED)光源、有機LED(OLED)光源、又は任意の他の適する光源を含む。幾つかの実施形態では、照明源は、取り外し可能物体102に搭載される1つ又は複数の白色LEDを含む。図4A及び図4Bにおいて比較されるように、照明源が翼300上のマーカを光らせる場合、マーカエリア302〜308と翼エリア402〜408とのコントラストが強調される。これは、撮像センサ120により取得される画像において翼300の位置をマークして検出するのに有益である。更なる詳細について、図5の方法500、図7の方法700、及び図9の方法900を参照して本開示において考察する。
図5は、幾つかの実施形態による、画像処理に使用される動きトレイルテンプレートを準備する方法500を示す流れ図である。動きトレイルテンプレートは、妨害物の回転中の妨害物、例えばプロペラ翼300又はプロペラ翼300の遮蔽面の運動及び位置を示す情報を含む。幾つかの実施形態では、方法500は、電子デバイス、例えば、計算デバイス110、制御ユニット108、又は移動体102(図1)により実行される。幾つかの他の実施形態では、方法500は、他の電子デバイス、例えば、移動体102を動作させる、制御ユニット108と対になったモバイルデバイス又は計算デバイスにより実行される。図5において実行される動作は、コンピュータメモリ又は対応するデバイスの他のコンピュータ可読記憶媒体に記憶された命令に対応する。図6は、幾つかの実施形態による、画像処理に向けて動きトレイルテンプレート640を準備する例示的なプロセスを示す。方法500の1つ又は複数のステップにおいて処理される画像は、図6に更に示され、幾つかの実施形態により、妨害物の一例としてプロペラ翼300を使用する。
幾つかの実施形態では、電子デバイスは、複数の画像、例えば、図6における画像602、604、及び606を取得する(502)。複数の画像は、撮像デバイス、例えば、移動体102により支持される撮像センサ120又は撮像デバイス216により取得される。複数の画像は、周期的な率で取得された映像の一連の画像フレームであることができる。幾つかの実施形態では、複数の画像の各画像は、例えば、妨害物が比較的ゆっくりと移動する場合に撮影されるか、又は短い露出時間で撮影された場合、短時間露出画像である。幾つかの実施形態では、複数の画像の各画像は、妨害物が比較的高速で移動する場合に撮影されるか、又は長い露出時間で撮影される場合、長時間露出画像である。幾つかの実施形態では、複数の画像の各画像は、1つ又は複数の各位置における妨害物の少なくとも一部を含む。例えば、図6の画像602、604、及び606の各画像は、異なる位置におけるプロペラ翼300の遮蔽面の一部を含む。
動きトレイルテンプレートを準備するプロセスに関して、電子デバイスは、複数の画像から画像602(図6)等の特定の画像を選択する(504)。選択される画像は、投影位置において妨害物の少なくとも一部を含む。例えば、画像602は、特定の位置に配置されたプロペラ翼300の一部を含む。電子デバイスは、画像612に示されるように、選択された画像、例えば、画像602において妨害物を含む1つ又は複数の物体のエッジを取得する(506)。幾つかの実施形態では、キャニーエッジ検出アルゴリズム等のエッジ検出アルゴリズムが電子デバイスにより使用されて、画像602においてエッジ情報を抽出する。アルゴリズムの1つ又は複数の閾値は、明るいマーカエリアと暗い翼エリア(図4B)とのコントラストが高いエッジを効率的に識別するように選択される。
幾つかの実施形態では、電子デバイスは、ステップ506において画像602において検出されたエッジから、妨害物上のマーカのエッジ及び/又は妨害物のエッジを選択する(508)。例えば、電子デバイスは、画像622に示されるように、画像602においてマーカエッジ及び/又は翼エッジを選択する。ステップ508は手動で実行することができる。代替又は追加として、ステップ508は、例えば、マーカエッジ及び翼エッジを識別する1つ又は複数の予め設定された参照及び/又はパターンを使用したパターン認識プロセスにより、自動的に実行することができる。幾つかの実施形態では、翼エッジ及びマーカエッジを含む1つ又は複数のエッジは、画像622に示されるように、1つ又は複数の囲まれたエリアを形成するように選択される。
幾つかの実施形態では、電子デバイスは、ステップ508において処理された画像、例えば、画像622に対応するマスク、例えば、マスク632を取得する(510)。マスク632は、特定の位置において妨害物、例えば翼300の少なくとも一部を識別する。幾つかの実施形態では、マスク632は、異なるタイプの領域を異なる色で埋めることにより形成される。例えば、画像622における翼上のマーカに対応する領域は、白色で埋められ、残りの翼エリア(例えば、囲まれたエリア内の残りのエリア)に対応する領域は黒色で埋められ、画像622における残りの領域(例えば、非特定領域)はグレーの色で埋められる。
幾つかの実施形態では、方法500は、現在処理中の画像、例えば画像602が、ステップ502において取得された複数の画像の内の最後の画像であるか否かの判断(512)に進む。換言すれば、ステップ502において取得された複数の画像の全ての画像が処理されたか否かが判断される(512)。現在処理中の画像が、取得された複数の画像のうちの最後の画像ではないとの判断に従って(512−いいえ)、電子デバイスは、複数の画像のうちの次の画像の処理に進む(514)。例えば、図6に示されるように、他の画像、例えば、画像604及び606は、各位置において妨害物(翼300)の少なくとも一部を含む。画像604及び606は、エッジ検出アルゴリズムを使用して処理されて、画像における全てのエッジを検出し(506)(画像614及び616にそれぞれ示されるように)、マーカエッジ及び/又は翼エッジを選択し(508)(画像624及び626にそれぞれ示されるように)、対応する領域を異なる色で埋めることによりマスク634及び636を取得する(510)。
現在処理中の画像が、取得された複数の画像のうちの最後の画像であるとの判断に従って(512−はい)、電子デバイスは、複数の画像からの全てのマスクを統合して、複数の動きトレイルを含む動きトレイルテンプレートを取得する(516)。各動きトレイルは、妨害物の回転運動中の妨害物上のマーカの動きを表す。例えば、電子デバイスは、マスク632、634、及び636を含め、全てのマスクを統合して、動きトレイルテンプレート640を取得する。動きトレイルテンプレート640は、図6におけるストライプ等の複数の動きトレイルを含む。幾つかの実施形態では、各動きトレイル(例えば、動きトレイル642、動きトレイル644)は、妨害物の回転中の妨害物上のマーカの動きの痕跡を示す。例えば、マーカ302(図3及び図4B)は動きトレイル642に対応し、マーカ306は動きトレイル644に対応する(図3及び図4B)。
幾つかの実施形態では、ステップ516における統合プロセス中、全てのマスクにおけるマーカ領域として示される領域のみがマーカ領域として識別される。しかし、第1のマスクにおける特定の領域が、ステップ510においてマーカ領域として示され、第2のマスク内の同じ領域が、ステップ510において翼領域として示される場合、この特定の領域は、統合ステップ512において、動きトレイルテンプレート640においてマーカ領域として示されない。
幾つかの他の実施形態では、複数のマスクにおいてマーカ領域又は非特定領域(例えば、マーカ領域でもなく、又は翼領域でもない)として示される領域は、マーカ領域として識別することができる。例えば、第1のマスクにおける特定の領域が、ステップ510においてマーカ領域として示され、第2のマスクにおける同じ領域が、ステップ510において非特定領域として示される場合、この特定の領域は、統合ステップ512において、動きトレイルテンプレート640においてマーカ領域として識別することができる。
同様に、幾つかの実施形態では、ステップ516における統合プロセス中、全てのマスクにおいて翼領域として示される領域又は全てのマスクにおいて翼領域若しくは非特定領域として示される領域は、翼領域として識別される。例えば、第1のマスクにおける特定の領域が、ステップ510において翼領域として示され、第2のマスクにおける同じ領域が、ステップ510においてマーカ領域として示される場合、この特定の領域は、統合ステップ512において、動きトレイルテンプレート640において翼領域として識別されない。
幾つかの実施形態では、マーカの形状変化又はマーカの境界変化、マーカ領域から妨害物領域(例えば、翼領域)への勾配遷移、及び/又は照明効果への変更は、エッジ検出プロセスに誤差又は不確実性をもたらし得る。したがって、動きトレイルテンプレート640を更に最適化して、誤差をなくし、妨害物の位置に関連するより正確な動きトレイル情報を提供する。幾つかの実施形態では、マーカ領域の境界及び翼領域の境界は内側に調整されて、処理のために、テンプレートにおけるマーカと妨害物との一致度及び取得画像における対応するマーカと妨害物との一致度を改善する。
幾つかの実施形態では、動きトレイルテンプレート640は、撮像センサ(例えば、撮像センサ120又は撮像デバイス216)により取得された長時間露出画像(図示せず)を使用して準備することもできる。長時間露出画像では、第1の位置から第2の位置に動いている妨害物上の1つ又は複数のマーカのトレイルを示すことができる。次に、取得された長時間露出画像を手動でマークすることができる。例えば、マーカの動きに対応するトレイルは、白色でマーカ領域として示され、翼の動きに対応するトレイルは、黒色で翼領域として示される。
図7は、幾つかの実施形態による、画像処理に使用されるテンプレートを準備する方法700を示す流れ図である。テンプレートは、妨害物の回転中の画像内の、妨害物、例えばプロペラ翼300の投影位置(例えば、可能な位置)を示す情報を含む。幾つかの実施形態では、撮像センサ(例えば、撮像センサ120又は撮像デバイス216)が妨害物(例えば、翼300)により部分的に遮られ、撮像センサと妨害物との間の相対位置が一定である(例えば、撮像センサ120の場合)か、又は特定可能な場合(例えば、撮像デバイス216の場合、撮像デバイス216の位置情報を使用して)、撮像センサにより取得された画像の1つ又は複数の投影位置(可能な位置)において翼300の少なくとも一部を表す情報を含むように、テンプレートを準備することができる。幾つかの実施形態では、テンプレートは、1つ又は複数のマーカ、例えば、ドット、ピクセル、線、又は多角形を含む。幾つかの実施形態、テンプレートは、各マーカの位置情報及び/又はピクセル値を含む。
幾つかの実施形態では、方法700は、電子デバイス、例えば、計算デバイス110、制御ユニット108、又は移動体102(図1)により実行される。幾つかの他の実施形態では、方法700は、他の電子デバイス、例えば、移動体102を動作させる、制御ユニット108と対になったモバイルデバイス又は計算デバイスにより実行される。図7において実行される動作は、コンピュータメモリ又は対応するデバイスの他のコンピュータ可読記憶媒体に記憶された命令に対応する。図8は、幾つかの実施形態による、画像処理に向けてテンプレート852を準備する例示的なプロセスを示す。画像を処理して、テンプレートを準備することに関する方法700の1つ又は複数のステップについては、図8に更に示され、幾つかの実施形態により、プロペラ翼300を妨害物の一例として使用する。
幾つかの実施形態では、電子デバイスは、複数の画像、例えば、図8における画像802及び804を選択する(702)。複数の画像は、撮像デバイス、例えば、移動体102により支持される撮像センサ120又は撮像デバイス216により取得される。複数の画像は、周期的な率で取得された映像の一連の画像フレームであることができる。幾つかの実施形態では、複数の画像の各画像は、妨害物が比較的ゆっくりと移動する場合に撮影される場合、短時間露出画像である。幾つかの実施形態では、複数の画像の各画像は、各位置においてプロペラ翼300等の妨害物の少なくとも一部を含む。
次に、電子デバイスは、処理のために、複数の画像から、画像802等の特定の画像を選択する(704)。選択される画像は、特定の位置において妨害物の少なくとも一部を含む。例えば、画像802又は対応する例示的なスケッチ812において、特定の位置に配置されたプロペラ翼300の一部を含む。電子デバイスは、現在処理中の画像における妨害物の一部の位置を表す点の集まり又は線を識別する(706)。点の集まり又は線には、妨害物の一部の対応する位置の回転角が関連付けられる。例えば、図8に示されるように、電子デバイスは、画像812に示されるように、翼300の少なくとも一部の投影位置を表す線822を識別する。幾つかの実施形態では、線822には投影位置の回転角が関連付けられる。幾つかの実施形態では、線822は翼300の長手方向対称軸である。幾つかの実施形態では、複数の各画像の線822、824、826、828、及び830等の識別された点の集まりは、画像812に示されるように均一に分布する。
幾つかの実施形態では、電子デバイスは、画像802/812等の選択された画像における第1のマーカ群を識別する(708)。マーカ831、832、及び833等の第1のマーカ群は、線822上並びに翼300上のマーカ領域(例えば、ストライプ)及び翼領域の中心に分布すると識別される。幾つかの実施形態では、第1のマーカ群は、線822上並びに翼300上のマーカ領域及び翼領域の中心に配置される取得画像802からのピクセルである。各ピクセルは、取得画像802における対応するピクセルの輝度情報及び/又は色情報を含むピクセル値を有する。
幾つかの実施形態では、方法700は、現在処理中の画像、例えば、画像802が、ステップ702において取得された複数の画像のうちの最後の画像であるか否かを判断すること(710)に進む。換言すれば、ステップ702において取得された複数の画像の全ての画像が処理されたか否かが判断される(710)。現在処理中の画像が、取得された複数の画像のうちの最後の画像ではないとの判断に従って(710−いいえ)、電子デバイスは、複数の画像のうちの次の画像の処理(712)に進む。例えば、図8に示されるように、他の画像、例えば画像804は、各位置に妨害物(翼300)の少なくとも一部を含む。画像804は、対応する例示的なスケッチ814に示されるように、画像804において線830及び第1のマーカ群(例えば、834)を識別することにより処理される。他の画像(図示せず)も、対応する画像において各線(例えば、824、826、及び828)及び第1のマーカ群を識別することにより処理される。
現在処理中の画像が、取得された複数の画像のうちの最後の画像であるとの判断に従って(710−はい)、電子デバイスは、複数の画像から識別された第1のマーカ群を統合して、予備テンプレート842(画像840に対応する)を取得する(714)。予備テンプレート842は、回転中の翼300の投影位置を示す、線822、824、826、828、及び830等の点の複数の集まりと、各線上に分布する第1のマーカ群とを含む。
幾つかの実施形態では、電子デバイスは、第2のマーカ群を予備テンプレート842に更に追加して、テンプレート852(画像850に対応する)を取得する(716)。幾つかの実施形態では、第2のマーカ群は、方法500(図5)を使用して得られた動きトレイルテンプレート640(図6)内の1つ又は複数のトレイル(例えば、トレイル858、図8)上に分布する。幾つかの実施形態では、第2のマーカ群内の複数のマーカは、動きトレイル858上且つ第1のマーカ群からのマーカの間、例えば、線822上のマーカ854と線824上のマーカ856との間に追加される。幾つかの実施形態では、動きトレイル858等の各動きトレイル上に追加される第2のマーカ群のマーカの総数は、200〜400の範囲である。テンプレート852は、第1の群のマーカ(ステップ708において識別される)及び第2の群のマーカ(ステップ716において追加される)を含む。幾つかの実施形態では、テンプレート852内の第1のマーカ群及び第2のマーカ群のうちの1つ又は複数のマーカは、各取得画像(例えば、画像802、画像804等)からの対応するピクセルである。各ピクセルは、対応する取得画像におけるピクセルの輝度情報及び/又は色情報を含むピクセル値を有する。
図9は、幾つかの実施形態による、移動体102の画像処理をサポートする方法900を示す流れ図である。幾つかの実施形態では、方法900は、電子デバイス、例えば、計算デバイス110、制御ユニット108、又は移動体102(図1)により実行される。幾つかの他の実施形態では、方法900は、他の電子デバイス、例えば、移動体102を動作させる、制御ユニット108と対になったモバイルデバイス又は計算デバイスにより実行される。図9において実行される動作は、コンピュータメモリ又は対応するデバイスの他のコンピュータ可読記憶媒体に記憶された命令に対応する。
幾つかの実施形態では、電子デバイスは、移動体102により支持される撮像デバイス(例えば、撮像センサ120又は撮像デバイス216)により取得された画像を取得する(902)。幾つかの実施形態では、撮像デバイスは、妨害物、例えば、図3のプロペラ翼300の遮蔽面により少なくとも部分的に遮られる。妨害物は、撮像デバイスに対して固定された構成、周期的な構成、又は他の予測可能な構成を有することができる。その結果、画像は、特定の位置において妨害物の少なくとも一部を含む。幾つかの実施形態では、撮像デバイスと妨害物との間の相対位置、例えば、撮像センサ120とプロペラ翼300との間の相対位置は、一定である。幾つかの実施形態では、撮像デバイスと妨害物との間の相対位置、例えば、撮像デバイス216とプロペラ翼300との間の相対位置は、特定又は予測することができる。例えば、撮像デバイスが画像を取得するとき、撮像デバイス216の位置情報を支持機構104から取得して、撮像デバイス216とプロペラ翼300との間の相対位置を特定することができる。幾つかの実施形態では、取得画像は、処理のために、撮像デバイスからリモートユニット108又は計算デバイス110に送信される。幾つかの実施形態では、方法900は、移動体102が移動し、画像を取得するにつれてリアルタイムで実行される。
幾つかの実施形態では、電子デバイスは、図8のテンプレート852において、第1のマーカ群及び第2のマーカ群を含むマーカに対応する取得画像におけるピクセルを収集する(904)。次に、電子デバイスは、テンプレート852における複数の線の各線上の第1のマーカ群に対応する1つ又は複数の収集されたピクセルのピクセル値が、所定の基準を満たすか否かを判断する(906)。
幾つかの実施形態では、電子デバイスは、図8のテンプレート852における複数の線(例えば、822、824、826、828、及び830)の各線1つに配置される第1のピクセル群に対応する取得画像内のピクセルを選択し、選択されたピクセル値をテンプレート852内の対応するピクセル値と比較する。選択されたピクセル値とテンプレート852内の特定の線上のマーカのピクセル値との差が、所定の閾値内である場合、妨害物の少なくとも一部が取得画像内の特定の線上にあると判断される。その他の場合、妨害物は取得画像内のこの線上にないと判断される。
幾つかの実施形態では、選択されたピクセル値とテンプレート852内の特定の線上の全てのマーカの少なくとも1/3のピクセル値との差が、所定の閾値内である場合、妨害物の少なくとも一部が取得画像内の特定の線上にあると判断される。
幾つかの実施形態では、ステップ906において、電子デバイスはまず、テンプレート852における複数の線上の第1のマーカ群に対応するピクセルを取得画像から選択する。次に、選択されたピクセルごとに、電子デバイスは、選択されたピクセルを中心とした、近傍正方形又は近傍円形等の近傍領域に配置される1つ又は複数の近傍ピクセルを選択し、近傍領域内の選択されたピクセルは、図6の動きトレイルテンプレート640内の1つ又は複数のトレイル上にある。例えば、電子デバイスは、1つ又は複数のトレイル上にあるとともに、21×21ピクセルの近傍正方形領域内にあるピクセルを選択する。幾つかの実施形態では、電子デバイスは、近傍ピクセルを使用して、線上のピクセルごとに1つ又は複数の統計値を計算する。例えば、電子デバイスは、マーカ領域内にあるピクセルの平均値(bright_mean)、翼領域内にあるピクセルの平均値(dark_mean)、マーカ領域内にあるピクセルの変動値(bright_var)(標準偏差、平均絶対偏差、メジアン絶対偏差、又は最大絶対偏差等)、及び/又は翼領域内にあるピクセルの変動値(dark_var)を計算する。幾つかの実施形態では、1つ又は複数の計算された統計値は、対応する所定の閾値と比較される。一例では、特定の線上の特定の選択されたピクセルについて、bright_mean値が所定の閾値である10よりも大きく、dark_mean値が所定の閾値である50よりも小さく、bright_var値が所定の閾値である70よりも小さく、且つdark_var値が所定の閾値である70よりも小さい場合、この特定の選択されたピクセルが取得画像において妨害物(例えば、翼300)上に存在すると判断される。幾つかの実施形態では、特定の線上のピクセルの少なくとも1/3が、各閾値を満たす統計値を有する場合、妨害物(例えば、翼300)が取得画像においてこの線に対応する位置にあると判断される。
テンプレート852において複数の線のうちの任意の線上の第1のマーカ群に対応する1つ又は複数の収集されたピクセルのピクセル値が、上述したような所定の基準を満たさないとの判断に従って(906−いいえ)、電子デバイスは、取得画像内の妨害物、例えば翼300の画像を含まないと判断する(908)。
テンプレート852において1つ又は複数の線上の第1のマーカ群に対応する1つ又は複数の収集されたピクセルのピクセル値が、上述したような所定の基準を満たすとの判断に従って(906−はい)、電子デバイスは、妨害物、例えば翼300の少なくとも一部が、取得画像内の1つ又は複数の線のそれぞれに対応する1つ又は複数の位置に現れることを識別する(910)。
幾つかの実施形態では、電子デバイスは、取得画像が長時間露出画像であるか、それとも短時間露出画像であるかを更に判断する(912)。幾つかの実施形態では、電子デバイスは、妨害物、例えば翼300の少なくとも一部が、テンプレート852において所定のエリアを覆っているか否かを判断する。例えば、電子デバイスは、妨害物の一部がテンプレート852において全ての線の少なくとも2/3を覆っているか否かを判断する。電子デバイスにより、ステップ906の結果から、翼300の一部が取得画像内の全ての線の2/3未満に存在すると判断される場合、電子デバイスは、取得画像が短時間露出画像であると判断する(912−短時間露出)。幾つかの実施形態では、電子デバイスは、1つ又は複数の識別された回転角における妨害物に対応するエリアをなくす(914)。例えば、ステップ906において1つ又は複数の線上にあると判断された翼300の部分はなくなり、それにより、翼300のその部分は、移動体環境内の障害物又は標的として誤検出されない。
電子デバイスにより、ステップ906の結果から、翼300の一部が取得画像内の全ての線の2/3以上に存在すると判断される場合、電子デバイスは、取得画像が長時間露出画像であると判断する(912−長時間露出)。翼300のモーションブラーが長時間露出画像において生じ得る。長時間露出画像における幾つかの識別された翼領域は、移動体環境において物体(例えば、障害物又は標的)を妨げないことがある。したがって、識別された翼領域に対応する画像情報の全てをなくす必要があるわけではない。
幾つかの実施形態では、電子デバイスは、任意の適する画像処理技法を使用して、長時間露出画像におけるブラー領域及び鮮鋭領域を識別する(916)。幾つかの実施形態では、電子デバイスは、識別された鮮鋭領域内のピクセルをなくし(918)、識別されたブラー領域内のピクセルを保持する(918)。幾つかの代替の実施形態では、電子デバイスは、妨害物上のマーカ(ストライプ)、例えば、翼300上のストライプに対応するピクセルをなくし、更に画像処理するために、取得された長時間露出画像において残りのピクセルを保持する。
幾つかの実施形態では、上述した方法への代替として又は組み合わせて、機械学習の使用を含む他の方法を使用して、画像処理を実行することができる。例えば、1つ又は複数の投影位置における妨害物を含む複数の画像はまず、手動で及び/又は自動的にマークされる。マークされた画像はアルゴリズムに供給されて、機械学習モデルをトレーニングする。トレーニングされたモデルを使用して、入力される取得画像内の妨害物を検出するステップができる。
図10A〜図10Fは、幾つかの実施形態による、移動体102の画像処理をサポートする方法1000を示す流れ図である。方法1000は、デバイスにおいて、例えば、移動体102、撮像センサ120、画像デバイス216、制御ユニット108、及び/又は計算デバイス110において実行される。幾つかの実施形態では、妨害物は、移動体のプロペラ300(例えば、プロペラ翼)、移動体のアーム、移動体の着陸装置、又は撮像センサ120及び/又は撮像デバイス216を部分的又は完全に遮る可能性がある移動体の任意の他の構成要素を含む。
デバイスは、1つ又は複数の画像を取得する(1002)。1つ又は複数の画像は、移動体102により支持される撮像デバイス(例えば、撮像センサ120又は撮像デバイス216)により取得される。撮像デバイスは、移動体102に取り付けられた妨害物(又は妨害物の遮蔽面)、例えば、プロペラ翼300により少なくとも部分的に遮られる。幾つかの実施形態では、撮像デバイス、例えば撮像センサ120は、移動体102に固定して取り付けられ(1008)、したがって、撮像センサ120と、特定の位置まで回転するプロペラ翼300との間の相対位置は、一定である。幾つかの代替の実施形態では、撮像デバイス、例えば撮像デバイス216は、支持機構104により支持され、支持機構104に取り付けられた1つ又は複数のセンサを使用して、撮像デバイス216の位置情報を特定することができる。
幾つかの実施形態では、妨害物は、移動体102の運動を提供するプロペラシステムの翼300の少なくとも一部を含む(1010)。幾つかの実施形態では、妨害物は、移動体102の撮像デバイスに対向する妨害物の遮蔽面、例えば、下面に分布する複数のマーカ(例えば、ストライプ302、304、306、及び308、図3)を含む(1012)。幾つかの実施形態では、複数のマーカの各マーカは、反射性材料で作られる(1014)。幾つかの実施形態では、移動体102は、図4Bに示されるように、翼300上の1つ又は複数の反射性マーカを照明する(1016)ように構成された照明源を含む。
図3に示されるように、幾つかの実施形態では、各マーカは、複数の同心円の各同心円上の弧ストライプである(1018)。複数の同心円は共通中心軸を有し、翼300は、共通中心軸の回りを回転する。幾つかの実施形態では、複数のマーカは、異なる幅を有する複数のストライプ群を含む(1020)。例えば、第1のストライプ群(例えば、304、308、図3)の各ストライプは第1の幅を有し、第2のストライプ群(例えば、302、306、図3)の各ストライプは、第1の幅の1.5〜2.5倍の第2の幅を有する。幾つかの実施形態では、複数のストライプ群は、図3に示されるように、翼300の外縁部の近くに交互に分布する。幾つかの実施形態では、各ストライプ群は3〜5本のストライプを含む(1022)。
デバイスは、テンプレート(例えば、方法500及び700を使用して特定されるテンプレート852)を1つ又は複数の取得画像に適用して、1つ又は複数の取得画像内の妨害物、例えばプロペラ翼300の1つ又は複数の投影位置を取得する(1004)。幾つかの実施形態では、テンプレート852は、妨害物の回転運動中の妨害物(例えば、プロペラ翼300)の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む(1024)。例えば、テンプレート852(図8)は、回転運動中の妨害物(例えば、プロペラ翼300)の1つ又は複数の投影位置をそれぞれ表す、線(例えば、線822、824、826、828、及び830、図8)等の点の1つ又は複数の集まりを含む(1026)。幾つかの実施形態では、各線には、対応する投影位置の回転各が関連付けられる。幾つかの他の実施形態では、テンプレート852は、妨害物の1つ又は複数の投影位置を表す、ドット又は多角形等の他のマーカを含む。
幾つかの実施形態では、テンプレート852(図8)内の1つ又は複数の線の各線は、プロペラ翼300等の妨害物の遮蔽面の長手方向対称軸である(1030)。幾つかの実施形態では、テンプレート852は、1つ又は複数の線上に分布する第1のマーカ群(例えば、マーカ831、832、833、画像812、図8)を含む(1032)(例えば、線822、画像812、図8)。幾つかの実施形態では、各線、例えば線822上に分布するマーカは、プロペラ翼300上のストライプの中心にある第1の組のマーカ、例えばマーカ832及び833を含む(1032)。線822上に分布するマーカは、プロペラ翼300上の2つの隣接するストライプ間の間隔、すなわち翼領域の中心にある第2の組のマーカ、例えば、マーカ831も含む(1032)。
幾つかの実施形態では、テンプレート852は、動きトレイルテンプレート640(図6)からのトレイル(例えば、トレイル858、図8)上に分布する第2のマーカ群(例えば、図8のマーカ860)を更に含む(1034)。動きトレイルテンプレート640は、プロペラ翼300の回転運動中のプロペラ翼300上のストライプの運動を示すトレイルを含む。幾つかの実施形態では、各トレイル上の第2のマーカ群内のマーカ数は、200〜400の範囲である。
デバイスは、ステップ1002において取得される1つ又は複数の画像内の1つ又は複数の投影位置における妨害物(例えば、プロペラ翼300)の遮蔽面の少なくとも一部を検出する(1006)。幾つかの実施形態では、デバイスは、プロペラ翼300の少なくとも一部が特定の画像内の1つ又は複数の線(例えば、線822、824、826、828、及び830、図8)上にあるか否かを判断する(1028)。
幾つかの実施形態では、デバイスは、テンプレート852における第1のマーカ群及び第2のマーカ群に対応する、取得された特定の画像内のピクセルを収集する(1036)。テンプレート852を使用することにより、第1のマーカ群及び第2のマーカ群に対応する取得画像内のピクセルのみが考慮されるべきである。これは、取得画像内の各ピクセルを調べる必要がないため、デバイスの計算作業負荷を低減し、画像処理の効率を改善することができる。
デバイスは、各線上の第1のマーカ群に対応する収集ピクセルのピクセル値が所定の基準を満たすか否かを判断する(1038)。例えば、デバイスは、取得画像内の収集ピクセルのピクセル値を、テンプレート852の作成のための画像から得られた対応するピクセル(例えば、参照ピクセル)のピクセル値(例えば、参照ピクセル値)と比較する(1042)。デバイスは、差を所定の閾値と比較する。
幾つかの実施形態では、特定の線上のピクセルごとに、テンプレート852における第2のマーカ群に対応する複数の近傍ピクセルを識別する。デバイスは、収集ピクセルのピクセル値の1つ又は複数の統計値を計算する(1044)。例えば、デバイスは、線上の各ピクセルの近傍ピクセルに基づいて1つ又は複数の統計値を計算する。例えば、特定の線上の特定のピクセルについて、ストライプ領域(例えば、明るい色を有する)内の全ての近傍ピクセルの平均値、翼領域(例えば、暗い色を有する)内の全ての近傍ピクセルの平均値、ストライプ領域内の全ての近傍ピクセルの変動値、及び翼領域内の全ての近傍ピクセルの変動値が計算される。デバイスは、1つ又は複数の統計値を1つ又は複数の所定の閾値(図9を参照して方法900において考察される)と比較する(1046)。
第1の線に対応する収集ピクセルのピクセル値が所定の基準を満たすとの判断に従って、デバイスは、妨害物(例えば、プロペラ翼300)が、処理中の取得画像内の第1の線に関連する第1の回転角に存在することを識別する(1040)。
幾つかの実施形態では、デバイスは、所定の基準を満たし、且つ第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを更に判断する(1048)。例えば、デバイスは、第1の線上の全てのピクセルの1/3超が所定の基準を満たすか否かを判断する。第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいとの判断に従って、デバイスは、プロペラ翼300が、第1の画像内の第1の線に関連する第1の回転角に存在することを識別する(1050)。
幾つかの実施形態では、デバイスは、取得された第1の画像の露出の種類を更に識別する(1052)。例えば、デバイスは、妨害物(例えば、プロペラ翼300)の遮蔽面が、第1の画像内で所定数を超える数の角度(線に対応する)に存在すると識別されるか否かを判断する(1056)。一例では、デバイスは、プロペラ翼300の少なくとも一部が、第1の画像内の全ての線の2/3以上に存在すると識別されるか否かを判断する。次に、デバイスは、識別された露出の種類に従って第1の画像を処理する(1054)。
プロペラ翼300の少なくとも一部が、第1の画像内の全ての線の2/3未満に存在すると識別される場合、第1の画像は短時間露出画像であると識別される。第1の画像が短時間露出画像であるとの判断に従って、デバイスは、1つ又は複数の識別された回転角(線に対応する)におけるプロペラ翼300に対応する第1の画像内のエリアをなくす(1058)。
プロペラ翼300の少なくとも一部が、第1の画像内の全ての線の2/3以上に存在すると識別される場合、第1の画像は長時間露出画像であると識別される。第1の画像が長時間露出画像であるとの判断に従って、デバイスは、識別された回転角(線に対応する)におけるプロペラ翼300上のストライプに対応する第1の画像内のエリアをなくす(1060)。
幾つかの実施形態では、第1の画像が長時間露出画像であるとの判断(1062)に従って、デバイスは、第1の画像におけるプロペラ翼300のブラー領域及び鮮鋭領域を更に識別する(1064)。次に、デバイスは、プロペラ翼300の識別された鮮鋭領域におけるピクセルをなくす(1066)。デバイスは、プロペラ翼300の識別されたブラー領域内のピクセルを保持する(1068)。
図11A〜図11Cは、幾つかの実施形態による、移動体102を制御する方法1100を示す流れ図である。方法1100は、デバイスにおいて、例えば、移動体102、撮像センサ120、撮像デバイス216、制御ユニット108、及び/又は計算デバイス110において実行される。
デバイスは1つ又は複数の画像を取得する(1102)。1つ又は複数の画像は、移動体102により支持される撮像デバイス(例えば、撮像センサ120又は撮像デバイス216)により取得される。撮像デバイスは、移動体102に取り付けられた妨害物、例えば、プロペラ翼300により少なくとも部分的に遮られる。幾つかの実施形態では、妨害物は、移動体102の運動を提供するプロペラシステムの翼300の少なくとも一部を含む(1108)。幾つかの実施形態では、翼300は、移動体102の撮像デバイスに対向する翼300の下面に分布する複数の反射性ストライプ(例えば、ストライプ302、304、306、及び308、図3)を含む(1110)。幾つかの実施形態では、移動体102は、図4Bに示されるように、翼300上の1つ又は複数の反射性ストライプを照明するように構成された照明源を含む。
デバイスは、取得された1つ又は複数の画像に投影された妨害物(例えば、プロペラ翼300)の少なくとも一部を検出する(1104)。幾つかの実施形態では、デバイスは、テンプレート(例えば、テンプレート852、図8)を1つ又は複数の画像に適用して、取得された1つ又は複数の画像内のプロペラ翼300の1つ又は複数の投影位置を取得する(1112)。幾つかの実施形態では、テンプレートは、回転運動中のプロペラ翼300の1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線(例えば、線822、824、826、828、及び830、図8)を含む(1114)。各線は対応する投影位置の回転角に関連する。幾つかの実施形態では、テンプレートは、1つ又は複数の線(例えば、線822、画像812、図8)上に分布する第1のマーカ群(例えば、画像812のマーカ831、832、及び833、図8)を含む(1116)。テンプレートは、動きトレイルテンプレート640(図6)から得られる動きトレイル(例えば、トレイル858、図8)上に分布する第2のマーカ群(例えば、マーカ860、画像852、図8)及びを更に含む(1116)。動きトレイルテンプレート640は、翼300の回転運動中の翼300上の反射性ストライプの動きトレイルに対応する複数のトレイル(例えば、トレイル642、644、図6)を含む。
デバイスは、投影された妨害物(例えば、プロペラ翼300)を有する1つ又は複数の取得画像を処理して、移動体102の動作を支援する(1106)。幾つかの実施形態では、移動体102の動作は、障害物回避、ナビゲーション及び方位特定、画像の取得及び処理、及び/又は標的追尾を含むが、これに限定されない。
幾つかの実施形態では、デバイスは、テンプレート852内の第1のマーカ群及び第2のマーカ群に対応する特定の取得画像(例えば、第1の画像)内のピクセルを収集する(1118)。次に、デバイスは、各線上の第1のマーカ群に対応する、収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断する(1120)。例えば、デバイスは、取得画像内の収集ピクセルのピクセル値を、テンプレート852を作成するための画像から得られた対応するピクセルのピクセル値と比較する。デバイスは、差を所定の閾値と比較する。別の例では、特定の線上のピクセルごとに、テンプレート852内の第2のマーカ群に対応する複数の近傍ピクセルが識別される。デバイスは、収集されたピクセルのピクセル値の1つ又は複数の統計値を計算し、1つ又は複数の統計値を1つ又は複数の所定の閾値と比較する(図9を参照して方法900において考察したように)。
第1の線に対応する収集ピクセルのピクセル値が所定の基準を満たすとの判断に従って、デバイスは、妨害物(例えば、プロペラ翼300)が第1の画像内の第1の線に関連する第1の回転角に存在することを識別する(1122)。
幾つかの実施形態では、投影された妨害物を有する1つ又は複数の画像を処理して、移動体の動作を支援すること(例えば、1106)は、1つ又は複数の画像に投影された妨害物(例えば、プロペラ翼300)の少なくとも一部をなくすこと含む(1124)。幾つかの実施形態では、デバイスは、取得された第1の画像の露出の種類を識別する(1126)。例えば、デバイスは、プロペラ翼300が第1の画像内の所定数を超える数の角度(線に対応する)に存在すると識別されるか否かを判断する。一例では、デバイスは、プロペラ翼300の少なくとも一部が、第1の画像内の全ての線の2/3以上に存在すると識別されるか否かを判断する。幾つかの実施形態では、プロペラ翼300の少なくとも一部が第1の画像内の全ての線の2/3未満に存在すると識別される場合、第1の画像は短時間露出画像であると識別される。他方、プロペラ翼300の少なくとも一部が第1の画像内の全ての線の2/3以上に存在すると識別される場合、第1の画像は長時間露出画像であると識別される。
幾つかの実施形態では、1つ又は複数の画像のうちの第1の画像が短時間露出画像であるとの判断に従って、デバイスは、1つ又は複数の検出位置におけるプロペラ翼300に対応する第1の画像内のピクセルをなくす(1128)。
第1の画像が長時間露出画像であるとの判断に従って、デバイスは、検出位置におけるプロペラ翼300上の反射性ストライプに対応する第1の画像内のエリアをなくす(1130)。
幾つかの実施形態では、長時間露出画像に関して、デバイスは、第1の画像内のプロペラ翼300の1つ又は複数のブラー領域及び1つ又は複数の鮮鋭領域を更に識別する。次に、デバイスは、プロペラ翼300の識別された鮮鋭領域内のピクセルをなくす。デバイスは、プロペラ翼300の識別されたブラー領域内のピクセルを保持する。
本発明の多くの特徴は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせで、これ(ら)を使用して、又はこれ(ら)を用いて実行することができる。したがって、本発明の特徴は処理システムを使用して実装し得る。例示的な処理システム(例えば、プロセッサ202)としては、限定ではなく、1つ又は複数の汎用マイクロプロセッサ(例えば、シングルコア又はマルチコアプロセッサ)、特定用途向け集積回路、特定用途向け命令セットプロセッサ、フィールドプログラマブルゲートアレイ、グラフィックスプロセッサ、物理プロセッサ、デジタル信号プロセッサ、コプロセッサ、ネットワークプロセッサ、オーディオプロセッサ、及び暗号プロセッサ等が挙げられる。
本発明の特徴は、本明細書に提示される任意の特徴を実行するように処理システムをプログラムするのに使用することができる命令を記憶した、記憶媒体(メディア)又はコンピュータ可読記憶媒体(メディア)等のコンピュータプログラム製品において、コンピュータプログラム製品を使用して、又はコンピュータプログラム製品を用いて実装することができる。ソフトウェア媒体(例えば、メモリ204)は、限定ではなく、フロッピーディスク、光ディスク、DVD、CD−ROM、マイクロドライブ、磁気光学ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、フラッシュメモリデバイス、磁気若しくは光学カード、ナノシステム(分子メモリICを含む)、又は命令及び/又はデータの記憶に適する任意のタイプの媒体若しくはデバイスを含む任意のタイプのディスクを含むことができる。
機械可読媒体(メディア)のいずれか1つに記憶されて、本発明の特徴は、処理システムのハードウェアを制御し、処理システムが本発明の結果を利用して他のメカニズムと対話できるようにするソフトウェア及び/又はファームウェアに組み込むことができる。そのようなソフトウェア又はファームウェアは、アプリケーションコード、デバイスドライバ、オペレーティングシステム、及び実行環境/容器を含み得るが、これに限定されない。
本明細書で言及される通信システム(例えば、通信システム206)は任意選択的に、有線及び/又は無線通信接続を介して通信する。例えば、通信システムは任意選択的に、電磁信号とも呼ばれるRF信号を送受信する。通信システムのRF回路は、電気信号と電磁信号との変換を行い、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路は任意選択的に、アンテナシステム、RF送受信器、1つ又は複数の増幅器、チューナー、1つ又は複数の発振器、デジタル信号プロセッサ、CODECチップセット、介入者識別モジュール(SIM)カード、及びメモリ等を含むがこれに限定されない、これらの特徴を実行する周知の回路を含む。通信システムは任意選択的に、ワールドワイドウェブ(WWW)とも呼ばれるインターネット、イントラネット、及び/又はセルラ電話ネットワーク、無線ローカルエリアネットワーク(LAN)、及び/又は大都市圏ネットワーク(MAN)等の無線ネットワーク等のネットワークと通信するとともに、無線通信により他のデバイスと通信する。無線通信接続は任意選択的に、移動通信用グローバルシステム(GSM(登録商標))、エンハンストデータGSM環境(EDGE)、高速下りリンクパケットアクセス(HSDPA)、高速上りリンクパケットアクセス(HSUPA)、エボリューション、データオンリー(EV−DO)、HSPA、HSPA+、デュアルセルHSPA(DC−HSPDA)、ロングタームエボリューション(LTE)、近距離通信(NFC)、広帯域符号分割多元アクセス(W−CDMA)、符号分割多元アクセス(CDMA)、時分割多元アクセス(TDMA)、Bluetooth(登録商標)、ワイヤレスフィーディリティ(Wi−Fi)(例えば、IEEE102.11a、IEEE102.11ac、IEEE102.11ax、IEEE102.11b、IEEE102.11g、及び/又はIEEE102.11n)、ボイスオーバインターネットプロトコル(VoIP)、Wi−MAX、電子メール用プロトコル(例えば、インターネットメッセージアクセスプロトコル(IMAP)及び/又はポストオフィスプロトコル(POP))、インスタントメッセージング(例えば、拡張可能メッセージング及びプレゼンスプロトコル(XMPP)、拡張を利用したインスタントメッセージング及びプレゼンスのためのSIP(SIMPLE)、インスタントメッセージング及びプレゼンスサービス(IMPS)、及び/又はショートメッセージサービス(SMS)、FASST又はDESST等の拡散スペクトル技術、又は本文書の出願日時点ではまだ開発されていない通信プログラムを含む任意の他の適する通信プロトコルを含むがこれに限定されない複数の通信規格、プロトコル、及び技術のいずれかを使用する。
本発明の様々な実施形態について上述したが、実施形態が限定ではなく例として提示されたことを理解されたい。本発明の趣旨及び範囲から逸脱せずに、形態及び詳細に様々な変更を行うことができることが当業者には明白であろう。
本発明について、指定された機能の実行及びその関係を示す機能構築ブロックを用いて上述した。これらの機能構築ブロックの境界は多くの場合、説明の便宜のために本明細書において任意に定義された。指定された機能及びその関係が適宜実行される限り、代替の境界を定義することができる。したがって、任意のそのような代替の境界も本発明の範囲及び趣旨内にある。
本明細書に記載される様々な実施形態の説明に使用される用語は、特定の実施形態を説明することのみを目的としており、限定を意図しない。記載される様々な実施形態及び添付の特許請求の範囲の説明に使用される場合、単数形「a」、「an」、及び「the」は、文脈により明らかに別のことが示される場合を除き、複数形も同様に含むことが意図される。本明細書において使用される用語「及び/又は」が、関連する列挙された項目のうちの1つ又は複数の可能なありとあらゆる組み合わせを指し、可能なありとあらゆる組み合わせを包含することも理解されよう。「含む」、「含んでいる」、「備える」、及び/又は「備えている」という用語は、本明細書で使用される場合、述べられた特徴、完全体、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ又は複数の他の特徴、完全体、ステップ、動作、要素、構成要素、及び/又はそれらの群の存在又は追加を除外しないことが更に理解されよう。
本明細書で使用される場合、「場合」という用語は、状況に応じて、述べられた先行条件が真である「とき」、真である「と」、真であるとの「判断に応答して」、真であるとの「判断に従って」、又は真であることの「検出に応答して」を意味するものと解釈し得る。同様に、「[述べられた先行条件が真である]と判断される場合」、「[述べられた先行条件が真である]場合」、又は「[述べられた先行条件が真である]とき」という語句は、状況に応じて、述べられた先行条件が真であると「判断されると」、真であるとの「判断に応答して」、真であるとの「判断に従って」、真であることが「検出されると」、又は真であることの「検出に応答して」を意味するものとして解釈し得る。
本発明の上記説明は、例示及び説明のために提供された。網羅的である、すなわち、開示される厳密な形態に本発明を限定することは意図されない。本発明の幅及び範囲は、上述された例示的な実施形態にいずれによっても限定されるべきではない。当業者は多くの変更及び変形を思い付くであろう。変更及び変形は、開示される特徴のあらゆる妥当な組み合わせを含む。実施形態は、本発明の原理及びその実際用途を最良に説明し、それにより、当業者が様々な実施形態について、及び意図される特定の用途に適する様々な変更を伴って本発明を理解できるように選ばれ説明された。本発明の範囲は、以下の特許請求の範囲及びその均等物により規定されることが意図される。
[項目1]
移動体の画像処理をサポートする方法であって、
移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用ステップと、
上記1つ又は複数の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を含む、方法。
[項目2]
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目1に記載の方法。
[項目3]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目2に記載の方法。
[項目4]
上記複数のマーカの各マーカは反射性材料で作られる、項目3に記載の方法。
[項目5]
上記移動体に搭載される照明源を使用して上記翼上の上記1つ又は複数のマーカを照明すること
を更に含む、項目4に記載の方法。
[項目6]
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目3に記載の方法。
[項目7]
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目6に記載の方法。
[項目8]
上記ストライプ群のそれぞれは3〜5本のストライプを含む、項目7に記載の方法。
[項目9]
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む、項目1に記載の方法。
[項目10]
上記パターンは、上記回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目9に記載の方法。
[項目11]
上記1つ又は複数の取得画像のうちの第1の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第1の画像内の上記1つ又は複数の線上にあるか否かを判断すること
を含む、項目10に記載の方法。
[項目12]
上記1つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目10に記載の方法。
[項目13]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第1の組のマーカ及び上記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、項目10に記載の方法。
[項目14]
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第2の群のマーカを更に含む、項目13に記載の方法。
[項目15]
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像のピクセルを収集するステップと、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別するステップと
を更に含む、項目14に記載の方法。
[項目16]
上記第1の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較するステップ
を更に含む、項目15に記載の方法。
[項目17]
上記収集ピクセルの上記ピクセル値の統計値を計算するステップと、
上記計算された統計値を所定の閾値と比較するステップと
を更に含む、項目15に記載の方法。
[項目18]
上記所定の基準を満たし、上記第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
上記第1の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別するステップと
を更に含む、項目15に記載の方法。
[項目19]
上記第1の画像の露出の種類を識別するステップと、
上記識別された露出の種類に従って上記第1の画像を処理するステップと
を更に含む、項目15に記載の方法。
[項目20]
上記第1の画像の上記露出の種類を識別することは、
上記妨害物が、上記第1の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断するステップ
を含む、項目19に記載の方法。
[項目21]
上記第1の画像を処理するステップは、
上記第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の識別された回転角における上記妨害物に対応する第1の画像におけるエリアをなくすこと
を含む、項目19に記載の方法。
[項目22]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第1の画像におけるエリアをなくすこと
を含む、項目19に記載の方法。
[項目23]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、
上記第1の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目19に記載の方法。
[項目24]
上記撮像デバイスは上記移動体に固定して搭載される、項目1に記載の方法。
[項目25]
移動体を制御するシステムであって、
上記撮像デバイスに結合される1つ又は複数のプロセッサと、
メモリと、
1つ又は複数のプログラムであって、上記メモリに記憶され、上記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムと
を備え、
上記1つ又は複数のプログラムは、
移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得する命令であって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得する命令と、
テンプレートを上記1つ又は複数の画像に適用する命令であって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用する命令と、
上記1つ又は複数の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出する命令と
を含む、システム。
[項目26]
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目25に記載のシステム。
[項目27]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目26に記載のシステム。
[項目28]
上記複数のマーカの各マーカは反射性材料で作られる、項目27に記載のシステム。
[項目29]
上記1つ又は複数のプログラムは、上記移動体に搭載される照明源を使用して上記翼上の上記1つ又は複数のマーカを照明する命令を更に含む、項目28に記載のシステム。
[項目30]
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目27に記載のシステム。
[項目31]
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目30に記載のシステム。
[項目32]
上記ストライプ群のそれぞれは3〜5本のストライプを含む、項目31に記載のシステム。
[項目33]
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む、項目25に記載のシステム。
[項目34]
上記パターンは、上記回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目33に記載のシステム。
[項目35]
上記1つ又は複数の取得画像のうちの第1の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第1の画像内の上記1つ又は複数の線上にあるか否かを判断すること
を含む、項目34に記載のシステム。
[項目36]
上記1つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目34に記載のシステム。
[項目37]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第1の組のマーカ及び上記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、項目34に記載のシステム。
[項目38]
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第2の群のマーカを更に含む、項目37に記載のシステム。
[項目39]
上記1つ又は複数のプログラムは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像のピクセルを収集する命令と、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断する命令と、
第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別する命令と
項目38に記載のシステム。
[項目40]
上記1つ又は複数のプログラムは、
上記第1の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較する命令
を更に含む、項目39に記載のシステム。
[項目41]
上記1つ又は複数のプログラムは、
上記収集ピクセルの上記ピクセル値の統計値を計算する命令と、
上記計算された統計値を所定の閾値と比較する命令と
を更に含む、項目39に記載のシステム。
[項目42]
上記1つ又は複数のプログラムは、
上記所定の基準を満たし、上記第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断する命令と、
上記第1の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別する命令と
を更に含む、項目39に記載のシステム。
[項目43]
上記1つ又は複数のプログラムは、
上記第1の画像の露出の種類を識別する命令と、
上記識別された露出の種類に従って上記第1の画像を処理する命令と
を更に含む、項目39に記載のシステム。
[項目44]
上記第1の画像の上記露出の種類を識別することは、
上記妨害物が、上記第1の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断すること
を含む、項目43に記載のシステム。
[項目45]
上記第1の画像を処理するステップは、
上記第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の識別された回転角における上記妨害物に対応する第1の画像におけるエリアをなくすこと
を含む、項目43に記載のシステム。
[項目46]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第1の画像におけるエリアをなくすこと
を含む、項目43に記載のシステム。
[項目47]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、
上記第1の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目43に記載のシステム。
[項目48]
上記撮像デバイスは上記移動体に固定して搭載される、項目25に記載のシステム。
[項目49]
無人機(UAV)であって、
推進システムと、
1つ又は複数のセンサと、
画像センサ及び光学デバイスを備える撮像デバイスと、
上記推進システム、上記1つ又は複数のセンサ、及び上記撮像デバイスに結合される1つ又は複数のプロセッサと
を備え、
上記1つ又は複数のプロセッサは、
上記UAVにより支持される上記撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記UAVに取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用ステップと、
上記1つ又は複数の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を行う、UAV。
[項目50]
上記妨害物は、上記UAVの運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目49に記載のUAV。
[項目51]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目50に記載のUAV。
[項目52]
上記複数のマーカの各マーカは反射性材料で作られる、項目51に記載のUAV。
[項目53]
上記1つ又は複数のプロセッサは、
上記UAVに搭載される照明源を使用して上記翼上の上記1つ又は複数のマーカを照明すること
を行うように更に構成される、項目52に記載のUAV。
[項目54]
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目51に記載のUAV。
[項目55]
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目54に記載のUAV。
[項目56]
上記ストライプ群のそれぞれは3〜5本のストライプを含む、項目55に記載のUAV。
[項目57]
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む、項目49に記載のUAV。
[項目58]
上記パターンは、上記回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目57に記載のUAV。
[項目59]
上記1つ又は複数の取得画像のうちの第1の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第1の画像内の上記1つ又は複数の線上にあるか否かを判断すること
を含む、項目58に記載のUAV。
[項目60]
上記1つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目58に記載のUAV。
[項目61]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第1の組のマーカ及び上記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、項目58に記載のUAV。
[項目62]
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第2の群のマーカを更に含む、項目61に記載のUAV。
[項目63]
上記1つ又は複数のプロセッサは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像のピクセルを収集するステップと、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別するステップと
を行うように更に構成される、項目62に記載のUAV。
[項目64]
上記1つ又は複数のプロセッサは、
上記第1の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較する
を行うように更に構成される、項目63に記載のUAV。
[項目65]
上記1つ又は複数のプロセッサは、
上記収集ピクセルの上記ピクセル値の統計値を計算するステップと、
上記計算された統計値を所定の閾値と比較するステップと
を行うように更に構成される、項目63に記載のUAV。
[項目66]
上記1つ又は複数のプロセッサは、
上記所定の基準を満たし、上記第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
上記第1の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別するステップと
を行うように更に構成される、項目63に記載のUAV。
[項目67]
上記1つ又は複数のプロセッサは、
上記第1の画像の露出の種類を識別するステップと、
上記識別された露出の種類に従って上記第1の画像を処理するステップと
を行うように更に構成される、項目63に記載のUAV。
[項目68]
上記第1の画像の上記露出の種類を識別することは、
上記妨害物が、上記第1の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断すること
を含む、項目67に記載のUAV。
[項目69]
上記第1の画像を処理するステップは、
上記第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の識別された回転角における上記妨害物に対応する第1の画像におけるエリアをなくすこと
を含む、項目67に記載のUAV。
[項目70]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第1の画像におけるエリアをなくすこと
を含む、項目67に記載のUAV。
[項目71]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、
上記第1の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目67に記載のUAV。
[項目72]
上記撮像デバイスは上記UAVに固定して搭載される、項目49に記載のUAV。
[項目73]
1つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体であって、上記1つ又は複数のプログラムは、移動体により実行されると、上記移動体に、
移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用ステップと、
上記1つ又は複数の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を行わせる、コンピュータ可読記憶媒体。
[項目74]
移動体を制御する方法であって、
上記移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記1つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援ステップと
を含む、方法。
[項目75]
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目74に記載の方法。
[項目76]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目75に記載の方法。
[項目77]
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用すること
を更に含む、項目74に記載の方法。
[項目78]
上記テンプレートは、回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目77に記載の方法。
[項目79]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第2の群のマーカを含む、項目78に記載の方法。
[項目80]
上記1つ又は複数の画像の第1の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像におけるピクセルを収集するステップと、
上記1つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第1の画像における上記第1の線に関連する第1の回転角において存在することを識別するステップと
を含む、項目79に記載の方法。
[項目81]
上記投影された妨害物に有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援することは、上記1つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすことを含む、項目74に記載の方法。
[項目82]
上記1つ又は複数の画像の露出の種類を識別することを更に含む、項目81に記載の方法。
[項目83]
上記1つ又は複数の画像の第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の検出位置における上記妨害物に対応する上記第1の画像におけるピクセルをなくすこと
を更に含む、項目82に記載の方法。
[項目84]
上記1つ又は複数の画像の第1の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第1の画像におけるエリアをなくすこと
を更に含む、項目82に記載の方法。
[項目85]
移動体を制御するシステムであって、
上記撮像デバイスに結合される1つ又は複数のプロセッサと、
メモリと、
上記メモリに記憶され、上記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムと
を備え、
上記1つ又は複数のプログラムは、
上記移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得する命令であって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得する命令と、
上記1つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出する命令と、
上記投影された妨害物を有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援する命令と
を含む、システム。
[項目86]
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目85に記載のシステム。
[項目87]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目86に記載のシステム。
[項目88]
上記1つ又は複数のプログラムは、
テンプレートを上記1つ又は複数の画像に適用する命令であって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用する命令
を更に含む、項目85に記載のシステム。
[項目89]
上記テンプレートは、回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目88に記載のシステム。
[項目90]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第2の群のマーカを含む、項目89に記載のシステム。
[項目91]
上記1つ又は複数の画像の第1の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像におけるピクセルを収集するステップと、
上記1つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第1の画像における上記第1の線に関連する第1の回転角において存在することを識別するステップと
を含む、項目90に記載のシステム。
[項目92]
上記投影された妨害物に有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援することは、上記1つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすことを含む、項目85に記載のシステム。
[項目93]
上記1つ又は複数のプログラムは、
上記1つ又は複数の画像の露出の種類を識別する命令
を更に含む、項目92に記載のシステム。
[項目94]
上記1つ又は複数のプログラムは、
上記1つ又は複数の画像の第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の検出位置における上記妨害物に対応する上記第1の画像におけるピクセルをなくす命令
を更に含む、項目93に記載のシステム。
[項目95]
上記1つ又は複数のプログラムは、
上記1つ又は複数の画像の第1の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第1の画像におけるエリアをなくす命令
を更に含む、項目93に記載のシステム。
[項目96]
無人機(UAV)であって、
推進システムと、
1つ又は複数のセンサと、
画像センサ及び光学デバイスを備える撮像デバイスと、
上記推進システム、上記1つ又は複数のセンサ、及び上記撮像デバイスに結合される1つ又は複数のプロセッサと
を備え、
上記1つ又は複数のプロセッサは、
上記UAVにより支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記UAVに取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記1つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記1つ又は複数の画像を処理して、上記UAVの動作を支援ステップと
を行う、UAV。
[項目97]
上記妨害物は、上記UAVの運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目96に記載のUAV。
[項目98]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目97に記載のUAV。
[項目99]
上記1つ又は複数のプロセッサは、
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用すること
を行うように更に構成される、項目96に記載のUAV。
[項目100]
上記テンプレートは、回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目99に記載のUAV。
[項目101]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第2の群のマーカを含む、項目100に記載のUAV。
[項目102]
上記1つ又は複数の画像の第1の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像におけるピクセルを収集するステップと、
上記1つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第1の画像における上記第1の線に関連する第1の回転角において存在することを識別するステップと
を含む、項目101に記載のUAV。
[項目103]
上記投影された妨害物に有する上記1つ又は複数の画像を処理して、上記UAVの動作を支援することは、
上記1つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすこと
を含む、項目96に記載のUAV。
[項目104]
上記1つ又は複数のプロセッサは、
上記1つ又は複数の画像の露出の種類を識別すること
を行うように更に構成される、項目103に記載のUAV。
[項目105]
上記1つ又は複数のプロセッサは、
上記1つ又は複数の画像の第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の検出位置における上記妨害物に対応する上記第1の画像におけるピクセルをなくすこと
を行うように更に構成される、項目104に記載のUAV。
[項目106]
上記1つ又は複数のプロセッサは、
上記1つ又は複数の画像の第1の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第1の画像におけるエリアをなくすこと
を行うように更に構成される、項目104に記載のUAV。
[項目107]
1つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体であって、上記1つ又は複数のプログラムは、移動体により実行されると、上記移動体に、
上記移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記1つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援ステップと
を行わせる、コンピュータ可読記憶媒体。

Claims (22)

  1. 画像処理方法であって、
    移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより1つ又は複数の画像を取得するステップと、
    テンプレートを前記1つ又は複数の画像に適用することで、前記1つ又は複数の画像内の前記妨害物の1つ又は複数の投影位置を取得するステップと、
    前記1つ又は複数の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップと、
    検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくすステップと
    を含み、
    前記妨害物は、前記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、方法。
  2. 前記翼は、前記撮像デバイスに対向する前記翼の下面に分布する複数のマーカを含む、請求項1に記載の方法。
  3. 前記複数のマーカの各マーカは反射性材料である、請求項2に記載の方法。
  4. 前記移動体に搭載される照明源を使用して前記翼上の前記1つ又は複数のマーカを照明すること
    を更に含む、請求項3に記載の方法。
  5. 前記複数のマーカの各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、前記翼は、前記中心軸の回りを回転する、請求項2から請求項4の何れか1項に記載の方法。
  6. 前記複数のマーカは、前記翼の外縁部の近くに交互に分布し、異なる幅を有する複数のストライプ群を含む、請求項5に記載の方法。
  7. 前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む、請求項1から請求項6の何れか1項に記載の方法。
  8. 前記パターンは、前記回転運動中の前記妨害物の前記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、請求項7に記載の方法。
  9. 前記1つ又は複数の画像のうちの第1の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップは、
    前記妨害物の少なくとも一部が前記第1の画像内の前記1つ又は複数の線上にあるか否かを判断すること
    を含む、請求項8に記載の方法。
  10. 前記1つ又は複数の線の各線は、前記妨害物の長手方向対称軸である、請求項又は請求項9に記載の方法。
  11. 前記テンプレートは、前記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第1の組のマーカ及び前記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、請求項8に記載の方法。
  12. 画像処理方法であって、
    移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより1つ又は複数の画像を取得するステップと、
    テンプレートを前記1つ又は複数の画像に適用することで、前記1つ又は複数の画像内の前記妨害物の1つ又は複数の投影位置を取得するステップと、
    前記1つ又は複数の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップと、
    検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくすステップと
    を含み、
    前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含み、
    前記パターンは、前記回転運動中の前記妨害物の前記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連し、
    前記テンプレートは、前記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第1の組のマーカ及び前記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、方法。
  13. 前記テンプレートは、前記妨害物の前記回転運動中の前記妨害物上の前記ストライプの運動経路上に分布する第2の群のマーカを更に含む、請求項11または12に記載の方法。
  14. 前記テンプレートにおける前記第1の群のマーカ及び前記第2の群のマーカに対応する前記1つ又は複数の画像のうちの第1の画像のピクセルを収集するステップと、
    各線に対応する前記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
    第1の線に対応する前記収集されたピクセルの前記ピクセル値が前記所定の基準を満たすとの判断に従って、前記妨害物が、前記第1の画像において前記第1の線に関連する第1の回転角に存在することを識別するステップと
    を更に含む、請求項13に記載の方法。
  15. 前記第1の画像における前記収集されたピクセルの前記ピクセル値を前記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較するステップと
    を更に含む、請求項14に記載の方法。
  16. 前記収集されたピクセルの前記ピクセル値の統計値を計算するステップと、
    前記計算された統計値を所定の閾値と比較するステップと
    を更に含む、請求項14に記載の方法。
  17. 前記所定の基準を満たし、前記第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
    前記第1の線上に分布するピクセルの総数が前記所定の閾値数よりも大きいとの判断に従って、前記妨害物が、前記第1の画像において前記第1の線に関連する第1の回転角に存在することを識別するステップと
    を更に含む、請求項14に記載の方法。
  18. 前記第1の画像の露出の種類を識別するステップと、
    前記識別された露出の種類に従って前記第1の画像を処理するステップと
    を更に含む、請求項14に記載の方法。
  19. 前記第1の画像の前記露出の種類を識別するステップは、
    前記妨害物が、前記第1の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断することにより、検出された前記妨害物の少なくとも一部が前記テンプレートにおいて予め定められたエリアを覆っているか否かを判断するステップ
    を含む、
    請求項18に記載の方法。
  20. 前記第1の画像を処理するステップは、
    検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っている場合、前記第1の画像における前記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
    前記妨害物の前記鮮鋭領域におけるピクセルをなくすステップと、
    前記妨害物の前記ブラー領域におけるピクセルを保持するステップと
    を含む、請求項18または19に記載の方法。
  21. 移動体を制御するシステムであって、
    撮像デバイスに結合される1つ又は複数のプロセッサと、
    メモリと、
    1つ又は複数のプログラムであって、前記メモリに記憶され、前記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムと
    を備え、
    前記1つ又は複数のプログラムは、
    移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより1つ又は複数の画像を取得する命令と、
    テンプレートを前記1つ又は複数の画像に適用することで、前記1つ又は複数の画像内の前記妨害物の1つ又は複数の投影位置を取得する命令と、
    前記1つ又は複数の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出する命令と、
    検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくす命令と
    を含み、
    前記妨害物は、前記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、システム。
  22. 移動体を制御するシステムであって、
    撮像デバイスに結合される1つ又は複数のプロセッサと、
    メモリと、
    1つ又は複数のプログラムであって、前記メモリに記憶され、前記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムと
    を備え、
    前記1つ又は複数のプログラムは、
    移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより1つ又は複数の画像を取得する命令と、
    テンプレートを前記1つ又は複数の画像に適用することで、前記1つ又は複数の画像内の前記妨害物の1つ又は複数の投影位置を取得する命令と、
    前記1つ又は複数の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出する命令と、
    検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくす命令と
    を含み、
    前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含み、
    前記パターンは、前記回転運動中の前記妨害物の前記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連し、
    前記テンプレートは、前記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第1の組のマーカ及び前記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、システム。
JP2018567109A 2016-08-30 2016-08-30 画像処理方法及び移動体を制御するシステム Active JP6852851B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/097367 WO2018039925A1 (en) 2016-08-30 2016-08-30 Method and system for detecting obstructive object at projected locations within images

Publications (2)

Publication Number Publication Date
JP2019531611A JP2019531611A (ja) 2019-10-31
JP6852851B2 true JP6852851B2 (ja) 2021-03-31

Family

ID=61299644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018567109A Active JP6852851B2 (ja) 2016-08-30 2016-08-30 画像処理方法及び移動体を制御するシステム

Country Status (5)

Country Link
US (2) US10853969B2 (ja)
EP (1) EP3371679B1 (ja)
JP (1) JP6852851B2 (ja)
CN (1) CN109074199B (ja)
WO (1) WO2018039925A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547801B2 (en) 2017-10-26 2020-01-28 International Business Machines Corporation Detecting an image obstruction
CN111402333B (zh) * 2020-03-13 2023-11-14 北京百度网讯科技有限公司 参数估计方法、装置、设备和介质
DE102020109330A1 (de) 2020-04-03 2021-10-07 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Luftfahrzeug
US20220284383A1 (en) * 2021-03-04 2022-09-08 Focal Systems, Inc. On-Shelf Image Based Barcode Reader for Inventory Management System
AU2022342243A1 (en) * 2021-09-13 2024-03-14 Blue Vigil Llc Systems and methods for tethered drones
CN116767537B (zh) * 2023-08-22 2023-10-20 山西正合天科技股份有限公司 一种共轴无人机及其使用方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3199174B2 (ja) * 1998-10-15 2001-08-13 日本電気株式会社 画像処理方法
JP3467554B2 (ja) * 2000-03-17 2003-11-17 川崎重工業株式会社 回転翼変位検出方法および装置
US7196305B2 (en) * 2005-01-18 2007-03-27 Ford Global Technologies, Llc Vehicle imaging processing system and method having obstructed image detection
JP4577153B2 (ja) * 2005-08-24 2010-11-10 株式会社デンソー 環境認識装置
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
US8174562B2 (en) * 2007-11-09 2012-05-08 Honeywell International Inc. Stereo camera having 360 degree field of view
EP2248069B1 (en) * 2008-02-12 2013-08-28 Datalogic ADC, Inc. Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives
DE102008001679A1 (de) * 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
EP2423871B1 (en) * 2010-08-25 2014-06-18 Lakeside Labs GmbH Apparatus and method for generating an overview image of a plurality of images using an accuracy information
US8611598B2 (en) * 2011-07-26 2013-12-17 Harman International (China) Holdings Co., Ltd. Vehicle obstacle detection system
FR2988618B1 (fr) * 2012-03-30 2014-05-09 Parrot Estimateur d'altitude pour drone a voilure tournante a rotors multiples
US9064317B2 (en) * 2012-05-15 2015-06-23 Palo Alto Research Center Incorporated Detection of near-field camera obstruction
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
US9336444B2 (en) * 2013-03-26 2016-05-10 Urjagreen Technologies Pvt. Ltd. System and method for occupancy detection using differential image sensing and optical markers
JP6151856B2 (ja) * 2014-05-06 2017-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 表面上での投射物のヒットを検出するための装置、輸送体、施設、および方法
ES2908557T3 (es) * 2014-06-13 2022-05-03 Twitter Inc Vehículo aéreo no tripulado con capacidad de mensajería
CN105278759B (zh) * 2014-07-18 2019-08-13 深圳市大疆创新科技有限公司 一种基于飞行器的图像投影方法、装置及飞行器
US9245333B1 (en) * 2014-12-10 2016-01-26 Semiconductor Components Industries, Llc Systems and methods for detecting obstructions within the field-of-view of an image sensor
US20160241767A1 (en) * 2015-02-13 2016-08-18 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10696414B2 (en) * 2015-04-21 2020-06-30 Gopro, Inc. Aerial capture platform
CN105259917A (zh) * 2015-11-08 2016-01-20 杨珊珊 一种无人飞行器安全快速降落装置及方法

Also Published As

Publication number Publication date
JP2019531611A (ja) 2019-10-31
EP3371679B1 (en) 2022-03-09
US20190188879A1 (en) 2019-06-20
EP3371679A4 (en) 2018-12-05
US20210074017A1 (en) 2021-03-11
US10853969B2 (en) 2020-12-01
CN109074199B (zh) 2021-12-28
WO2018039925A1 (en) 2018-03-08
EP3371679A1 (en) 2018-09-12
CN109074199A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
JP6852851B2 (ja) 画像処理方法及び移動体を制御するシステム
US11748898B2 (en) Methods and system for infrared tracking
US10930000B2 (en) Method and system for detecting and tracking objects using characteristic points
US10599149B2 (en) Salient feature based vehicle positioning
US11049261B2 (en) Method and system for creating video abstraction from image data captured by a movable object
US20210227146A1 (en) Autofocus initialization based on target detection
US20190212751A1 (en) Method and system for operating a movable object to avoid obstacles
US20220270277A1 (en) Computing a point cloud from stitched images
US11320817B2 (en) Target-based image exposure adjustment
CN112312018B (zh) 使用自适应步长的对比度检测自动聚焦
US11228710B1 (en) Configuring imaging devices based on control signals
US20230259132A1 (en) Systems and methods for determining the position of an object using an unmanned aerial vehicle
EP3631595B1 (en) Method and system for operating a movable platform using ray-casting mapping

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210225

R150 Certificate of patent or registration of utility model

Ref document number: 6852851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150