JP6852851B2 - 画像処理方法及び移動体を制御するシステム - Google Patents
画像処理方法及び移動体を制御するシステム Download PDFInfo
- Publication number
- JP6852851B2 JP6852851B2 JP2018567109A JP2018567109A JP6852851B2 JP 6852851 B2 JP6852851 B2 JP 6852851B2 JP 2018567109 A JP2018567109 A JP 2018567109A JP 2018567109 A JP2018567109 A JP 2018567109A JP 6852851 B2 JP6852851 B2 JP 6852851B2
- Authority
- JP
- Japan
- Prior art keywords
- obstruction
- image
- images
- markers
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H27/00—Toy aircraft; Other flying toys
- A63H27/12—Helicopters ; Flying tops
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
- A63H30/02—Electrical arrangements
- A63H30/04—Electrical arrangements using wireless transmission
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Description
[項目1]
移動体の画像処理をサポートする方法であって、
移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用ステップと、
上記1つ又は複数の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を含む、方法。
[項目2]
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目1に記載の方法。
[項目3]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目2に記載の方法。
[項目4]
上記複数のマーカの各マーカは反射性材料で作られる、項目3に記載の方法。
[項目5]
上記移動体に搭載される照明源を使用して上記翼上の上記1つ又は複数のマーカを照明すること
を更に含む、項目4に記載の方法。
[項目6]
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目3に記載の方法。
[項目7]
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目6に記載の方法。
[項目8]
上記ストライプ群のそれぞれは3〜5本のストライプを含む、項目7に記載の方法。
[項目9]
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む、項目1に記載の方法。
[項目10]
上記パターンは、上記回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目9に記載の方法。
[項目11]
上記1つ又は複数の取得画像のうちの第1の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第1の画像内の上記1つ又は複数の線上にあるか否かを判断すること
を含む、項目10に記載の方法。
[項目12]
上記1つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目10に記載の方法。
[項目13]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第1の組のマーカ及び上記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、項目10に記載の方法。
[項目14]
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第2の群のマーカを更に含む、項目13に記載の方法。
[項目15]
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像のピクセルを収集するステップと、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別するステップと
を更に含む、項目14に記載の方法。
[項目16]
上記第1の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較するステップ
を更に含む、項目15に記載の方法。
[項目17]
上記収集ピクセルの上記ピクセル値の統計値を計算するステップと、
上記計算された統計値を所定の閾値と比較するステップと
を更に含む、項目15に記載の方法。
[項目18]
上記所定の基準を満たし、上記第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
上記第1の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別するステップと
を更に含む、項目15に記載の方法。
[項目19]
上記第1の画像の露出の種類を識別するステップと、
上記識別された露出の種類に従って上記第1の画像を処理するステップと
を更に含む、項目15に記載の方法。
[項目20]
上記第1の画像の上記露出の種類を識別することは、
上記妨害物が、上記第1の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断するステップ
を含む、項目19に記載の方法。
[項目21]
上記第1の画像を処理するステップは、
上記第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の識別された回転角における上記妨害物に対応する第1の画像におけるエリアをなくすこと
を含む、項目19に記載の方法。
[項目22]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第1の画像におけるエリアをなくすこと
を含む、項目19に記載の方法。
[項目23]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、
上記第1の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目19に記載の方法。
[項目24]
上記撮像デバイスは上記移動体に固定して搭載される、項目1に記載の方法。
[項目25]
移動体を制御するシステムであって、
上記撮像デバイスに結合される1つ又は複数のプロセッサと、
メモリと、
1つ又は複数のプログラムであって、上記メモリに記憶され、上記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムと
を備え、
上記1つ又は複数のプログラムは、
移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得する命令であって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得する命令と、
テンプレートを上記1つ又は複数の画像に適用する命令であって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用する命令と、
上記1つ又は複数の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出する命令と
を含む、システム。
[項目26]
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目25に記載のシステム。
[項目27]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目26に記載のシステム。
[項目28]
上記複数のマーカの各マーカは反射性材料で作られる、項目27に記載のシステム。
[項目29]
上記1つ又は複数のプログラムは、上記移動体に搭載される照明源を使用して上記翼上の上記1つ又は複数のマーカを照明する命令を更に含む、項目28に記載のシステム。
[項目30]
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目27に記載のシステム。
[項目31]
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目30に記載のシステム。
[項目32]
上記ストライプ群のそれぞれは3〜5本のストライプを含む、項目31に記載のシステム。
[項目33]
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む、項目25に記載のシステム。
[項目34]
上記パターンは、上記回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目33に記載のシステム。
[項目35]
上記1つ又は複数の取得画像のうちの第1の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第1の画像内の上記1つ又は複数の線上にあるか否かを判断すること
を含む、項目34に記載のシステム。
[項目36]
上記1つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目34に記載のシステム。
[項目37]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第1の組のマーカ及び上記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、項目34に記載のシステム。
[項目38]
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第2の群のマーカを更に含む、項目37に記載のシステム。
[項目39]
上記1つ又は複数のプログラムは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像のピクセルを収集する命令と、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断する命令と、
第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別する命令と
項目38に記載のシステム。
[項目40]
上記1つ又は複数のプログラムは、
上記第1の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較する命令
を更に含む、項目39に記載のシステム。
[項目41]
上記1つ又は複数のプログラムは、
上記収集ピクセルの上記ピクセル値の統計値を計算する命令と、
上記計算された統計値を所定の閾値と比較する命令と
を更に含む、項目39に記載のシステム。
[項目42]
上記1つ又は複数のプログラムは、
上記所定の基準を満たし、上記第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断する命令と、
上記第1の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別する命令と
を更に含む、項目39に記載のシステム。
[項目43]
上記1つ又は複数のプログラムは、
上記第1の画像の露出の種類を識別する命令と、
上記識別された露出の種類に従って上記第1の画像を処理する命令と
を更に含む、項目39に記載のシステム。
[項目44]
上記第1の画像の上記露出の種類を識別することは、
上記妨害物が、上記第1の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断すること
を含む、項目43に記載のシステム。
[項目45]
上記第1の画像を処理するステップは、
上記第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の識別された回転角における上記妨害物に対応する第1の画像におけるエリアをなくすこと
を含む、項目43に記載のシステム。
[項目46]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第1の画像におけるエリアをなくすこと
を含む、項目43に記載のシステム。
[項目47]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、
上記第1の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目43に記載のシステム。
[項目48]
上記撮像デバイスは上記移動体に固定して搭載される、項目25に記載のシステム。
[項目49]
無人機(UAV)であって、
推進システムと、
1つ又は複数のセンサと、
画像センサ及び光学デバイスを備える撮像デバイスと、
上記推進システム、上記1つ又は複数のセンサ、及び上記撮像デバイスに結合される1つ又は複数のプロセッサと
を備え、
上記1つ又は複数のプロセッサは、
上記UAVにより支持される上記撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記UAVに取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用ステップと、
上記1つ又は複数の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を行う、UAV。
[項目50]
上記妨害物は、上記UAVの運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目49に記載のUAV。
[項目51]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目50に記載のUAV。
[項目52]
上記複数のマーカの各マーカは反射性材料で作られる、項目51に記載のUAV。
[項目53]
上記1つ又は複数のプロセッサは、
上記UAVに搭載される照明源を使用して上記翼上の上記1つ又は複数のマーカを照明すること
を行うように更に構成される、項目52に記載のUAV。
[項目54]
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目51に記載のUAV。
[項目55]
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目54に記載のUAV。
[項目56]
上記ストライプ群のそれぞれは3〜5本のストライプを含む、項目55に記載のUAV。
[項目57]
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む、項目49に記載のUAV。
[項目58]
上記パターンは、上記回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目57に記載のUAV。
[項目59]
上記1つ又は複数の取得画像のうちの第1の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第1の画像内の上記1つ又は複数の線上にあるか否かを判断すること
を含む、項目58に記載のUAV。
[項目60]
上記1つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目58に記載のUAV。
[項目61]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第1の組のマーカ及び上記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、項目58に記載のUAV。
[項目62]
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第2の群のマーカを更に含む、項目61に記載のUAV。
[項目63]
上記1つ又は複数のプロセッサは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像のピクセルを収集するステップと、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別するステップと
を行うように更に構成される、項目62に記載のUAV。
[項目64]
上記1つ又は複数のプロセッサは、
上記第1の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較する
を行うように更に構成される、項目63に記載のUAV。
[項目65]
上記1つ又は複数のプロセッサは、
上記収集ピクセルの上記ピクセル値の統計値を計算するステップと、
上記計算された統計値を所定の閾値と比較するステップと
を行うように更に構成される、項目63に記載のUAV。
[項目66]
上記1つ又は複数のプロセッサは、
上記所定の基準を満たし、上記第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
上記第1の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第1の画像において上記第1の線に関連する第1の回転角に存在することを識別するステップと
を行うように更に構成される、項目63に記載のUAV。
[項目67]
上記1つ又は複数のプロセッサは、
上記第1の画像の露出の種類を識別するステップと、
上記識別された露出の種類に従って上記第1の画像を処理するステップと
を行うように更に構成される、項目63に記載のUAV。
[項目68]
上記第1の画像の上記露出の種類を識別することは、
上記妨害物が、上記第1の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断すること
を含む、項目67に記載のUAV。
[項目69]
上記第1の画像を処理するステップは、
上記第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の識別された回転角における上記妨害物に対応する第1の画像におけるエリアをなくすこと
を含む、項目67に記載のUAV。
[項目70]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第1の画像におけるエリアをなくすこと
を含む、項目67に記載のUAV。
[項目71]
上記第1の画像を処理するステップは、
上記第1の画像が長時間露出画像であるとの判断に従って、
上記第1の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目67に記載のUAV。
[項目72]
上記撮像デバイスは上記UAVに固定して搭載される、項目49に記載のUAV。
[項目73]
1つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体であって、上記1つ又は複数のプログラムは、移動体により実行されると、上記移動体に、
移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用ステップと、
上記1つ又は複数の画像内の上記1つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を行わせる、コンピュータ可読記憶媒体。
[項目74]
移動体を制御する方法であって、
上記移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記1つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援ステップと
を含む、方法。
[項目75]
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目74に記載の方法。
[項目76]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目75に記載の方法。
[項目77]
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用すること
を更に含む、項目74に記載の方法。
[項目78]
上記テンプレートは、回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目77に記載の方法。
[項目79]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第2の群のマーカを含む、項目78に記載の方法。
[項目80]
上記1つ又は複数の画像の第1の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像におけるピクセルを収集するステップと、
上記1つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第1の画像における上記第1の線に関連する第1の回転角において存在することを識別するステップと
を含む、項目79に記載の方法。
[項目81]
上記投影された妨害物に有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援することは、上記1つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすことを含む、項目74に記載の方法。
[項目82]
上記1つ又は複数の画像の露出の種類を識別することを更に含む、項目81に記載の方法。
[項目83]
上記1つ又は複数の画像の第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の検出位置における上記妨害物に対応する上記第1の画像におけるピクセルをなくすこと
を更に含む、項目82に記載の方法。
[項目84]
上記1つ又は複数の画像の第1の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第1の画像におけるエリアをなくすこと
を更に含む、項目82に記載の方法。
[項目85]
移動体を制御するシステムであって、
上記撮像デバイスに結合される1つ又は複数のプロセッサと、
メモリと、
上記メモリに記憶され、上記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムと
を備え、
上記1つ又は複数のプログラムは、
上記移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得する命令であって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得する命令と、
上記1つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出する命令と、
上記投影された妨害物を有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援する命令と
を含む、システム。
[項目86]
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目85に記載のシステム。
[項目87]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目86に記載のシステム。
[項目88]
上記1つ又は複数のプログラムは、
テンプレートを上記1つ又は複数の画像に適用する命令であって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用する命令
を更に含む、項目85に記載のシステム。
[項目89]
上記テンプレートは、回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目88に記載のシステム。
[項目90]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第2の群のマーカを含む、項目89に記載のシステム。
[項目91]
上記1つ又は複数の画像の第1の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像におけるピクセルを収集するステップと、
上記1つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第1の画像における上記第1の線に関連する第1の回転角において存在することを識別するステップと
を含む、項目90に記載のシステム。
[項目92]
上記投影された妨害物に有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援することは、上記1つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすことを含む、項目85に記載のシステム。
[項目93]
上記1つ又は複数のプログラムは、
上記1つ又は複数の画像の露出の種類を識別する命令
を更に含む、項目92に記載のシステム。
[項目94]
上記1つ又は複数のプログラムは、
上記1つ又は複数の画像の第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の検出位置における上記妨害物に対応する上記第1の画像におけるピクセルをなくす命令
を更に含む、項目93に記載のシステム。
[項目95]
上記1つ又は複数のプログラムは、
上記1つ又は複数の画像の第1の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第1の画像におけるエリアをなくす命令
を更に含む、項目93に記載のシステム。
[項目96]
無人機(UAV)であって、
推進システムと、
1つ又は複数のセンサと、
画像センサ及び光学デバイスを備える撮像デバイスと、
上記推進システム、上記1つ又は複数のセンサ、及び上記撮像デバイスに結合される1つ又は複数のプロセッサと
を備え、
上記1つ又は複数のプロセッサは、
上記UAVにより支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記UAVに取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記1つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記1つ又は複数の画像を処理して、上記UAVの動作を支援ステップと
を行う、UAV。
[項目97]
上記妨害物は、上記UAVの運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目96に記載のUAV。
[項目98]
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目97に記載のUAV。
[項目99]
上記1つ又は複数のプロセッサは、
テンプレートを上記1つ又は複数の画像に適用するステップであって、それにより、上記1つ又は複数の画像内の上記妨害物の1つ又は複数の投影位置を取得する、適用すること
を行うように更に構成される、項目96に記載のUAV。
[項目100]
上記テンプレートは、回転運動中の上記妨害物の上記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目99に記載のUAV。
[項目101]
上記テンプレートは、上記1つ又は複数の線上に分布する第1の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第2の群のマーカを含む、項目100に記載のUAV。
[項目102]
上記1つ又は複数の画像の第1の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第1の群のマーカ及び上記第2の群のマーカに対応する上記第1の画像におけるピクセルを収集するステップと、
上記1つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第1の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第1の画像における上記第1の線に関連する第1の回転角において存在することを識別するステップと
を含む、項目101に記載のUAV。
[項目103]
上記投影された妨害物に有する上記1つ又は複数の画像を処理して、上記UAVの動作を支援することは、
上記1つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすこと
を含む、項目96に記載のUAV。
[項目104]
上記1つ又は複数のプロセッサは、
上記1つ又は複数の画像の露出の種類を識別すること
を行うように更に構成される、項目103に記載のUAV。
[項目105]
上記1つ又は複数のプロセッサは、
上記1つ又は複数の画像の第1の画像が短時間露出画像であるとの判断に従って、1つ又は複数の検出位置における上記妨害物に対応する上記第1の画像におけるピクセルをなくすこと
を行うように更に構成される、項目104に記載のUAV。
[項目106]
上記1つ又は複数のプロセッサは、
上記1つ又は複数の画像の第1の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第1の画像におけるエリアをなくすこと
を行うように更に構成される、項目104に記載のUAV。
[項目107]
1つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体であって、上記1つ又は複数のプログラムは、移動体により実行されると、上記移動体に、
上記移動体により支持される撮像デバイスにより取得される1つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記1つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記1つ又は複数の画像を処理して、上記移動体の動作を支援ステップと
を行わせる、コンピュータ可読記憶媒体。
Claims (22)
- 画像処理方法であって、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより1つ又は複数の画像を取得するステップと、
テンプレートを前記1つ又は複数の画像に適用することで、前記1つ又は複数の画像内の前記妨害物の1つ又は複数の投影位置を取得するステップと、
前記1つ又は複数の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップと、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくすステップと
を含み、
前記妨害物は、前記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、方法。 - 前記翼は、前記撮像デバイスに対向する前記翼の下面に分布する複数のマーカを含む、請求項1に記載の方法。
- 前記複数のマーカの各マーカは反射性材料である、請求項2に記載の方法。
- 前記移動体に搭載される照明源を使用して前記翼上の前記1つ又は複数のマーカを照明すること
を更に含む、請求項3に記載の方法。 - 前記複数のマーカの各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、前記翼は、前記中心軸の回りを回転する、請求項2から請求項4の何れか1項に記載の方法。
- 前記複数のマーカは、前記翼の外縁部の近くに交互に分布し、異なる幅を有する複数のストライプ群を含む、請求項5に記載の方法。
- 前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含む、請求項1から請求項6の何れか1項に記載の方法。
- 前記パターンは、前記回転運動中の前記妨害物の前記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、請求項7に記載の方法。
- 前記1つ又は複数の画像のうちの第1の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップは、
前記妨害物の少なくとも一部が前記第1の画像内の前記1つ又は複数の線上にあるか否かを判断すること
を含む、請求項8に記載の方法。 - 前記1つ又は複数の線の各線は、前記妨害物の長手方向対称軸である、請求項8又は請求項9に記載の方法。
- 前記テンプレートは、前記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第1の組のマーカ及び前記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、請求項8に記載の方法。
- 画像処理方法であって、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより1つ又は複数の画像を取得するステップと、
テンプレートを前記1つ又は複数の画像に適用することで、前記1つ又は複数の画像内の前記妨害物の1つ又は複数の投影位置を取得するステップと、
前記1つ又は複数の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップと、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくすステップと
を含み、
前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含み、
前記パターンは、前記回転運動中の前記妨害物の前記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連し、
前記テンプレートは、前記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第1の組のマーカ及び前記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、方法。 - 前記テンプレートは、前記妨害物の前記回転運動中の前記妨害物上の前記ストライプの運動経路上に分布する第2の群のマーカを更に含む、請求項11または12に記載の方法。
- 前記テンプレートにおける前記第1の群のマーカ及び前記第2の群のマーカに対応する前記1つ又は複数の画像のうちの第1の画像のピクセルを収集するステップと、
各線に対応する前記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第1の線に対応する前記収集されたピクセルの前記ピクセル値が前記所定の基準を満たすとの判断に従って、前記妨害物が、前記第1の画像において前記第1の線に関連する第1の回転角に存在することを識別するステップと
を更に含む、請求項13に記載の方法。 - 前記第1の画像における前記収集されたピクセルの前記ピクセル値を前記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較するステップと
を更に含む、請求項14に記載の方法。 - 前記収集されたピクセルの前記ピクセル値の統計値を計算するステップと、
前記計算された統計値を所定の閾値と比較するステップと
を更に含む、請求項14に記載の方法。 - 前記所定の基準を満たし、前記第1の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
前記第1の線上に分布するピクセルの総数が前記所定の閾値数よりも大きいとの判断に従って、前記妨害物が、前記第1の画像において前記第1の線に関連する第1の回転角に存在することを識別するステップと
を更に含む、請求項14に記載の方法。 - 前記第1の画像の露出の種類を識別するステップと、
前記識別された露出の種類に従って前記第1の画像を処理するステップと
を更に含む、請求項14に記載の方法。 - 前記第1の画像の前記露出の種類を識別するステップは、
前記妨害物が、前記第1の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断することにより、検出された前記妨害物の少なくとも一部が前記テンプレートにおいて予め定められたエリアを覆っているか否かを判断するステップ
を含む、
請求項18に記載の方法。 - 前記第1の画像を処理するステップは、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っている場合、前記第1の画像における前記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
前記妨害物の前記鮮鋭領域におけるピクセルをなくすステップと、
前記妨害物の前記ブラー領域におけるピクセルを保持するステップと
を含む、請求項18または19に記載の方法。 - 移動体を制御するシステムであって、
撮像デバイスに結合される1つ又は複数のプロセッサと、
メモリと、
1つ又は複数のプログラムであって、前記メモリに記憶され、前記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムと
を備え、
前記1つ又は複数のプログラムは、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより1つ又は複数の画像を取得する命令と、
テンプレートを前記1つ又は複数の画像に適用することで、前記1つ又は複数の画像内の前記妨害物の1つ又は複数の投影位置を取得する命令と、
前記1つ又は複数の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出する命令と、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくす命令と
を含み、
前記妨害物は、前記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、システム。 - 移動体を制御するシステムであって、
撮像デバイスに結合される1つ又は複数のプロセッサと、
メモリと、
1つ又は複数のプログラムであって、前記メモリに記憶され、前記1つ又は複数のプロセッサにより実行される1つ又は複数のプログラムと
を備え、
前記1つ又は複数のプログラムは、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより1つ又は複数の画像を取得する命令と、
テンプレートを前記1つ又は複数の画像に適用することで、前記1つ又は複数の画像内の前記妨害物の1つ又は複数の投影位置を取得する命令と、
前記1つ又は複数の画像内の前記1つ又は複数の投影位置において前記妨害物の少なくとも一部を検出する命令と、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくす命令と
を含み、
前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の1つ又は複数の投影位置を表すパターンを含み、
前記パターンは、前記回転運動中の前記妨害物の前記1つ又は複数の投影位置をそれぞれ表す1つ又は複数の線を含み、各線は対応する投影位置の回転角に関連し、
前記テンプレートは、前記1つ又は複数の線上に分布する第1の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第1の組のマーカ及び前記妨害物上の2つの隣接するストライプの間隔の中心に配置された第2の組のマーカを含む、システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/097367 WO2018039925A1 (en) | 2016-08-30 | 2016-08-30 | Method and system for detecting obstructive object at projected locations within images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019531611A JP2019531611A (ja) | 2019-10-31 |
JP6852851B2 true JP6852851B2 (ja) | 2021-03-31 |
Family
ID=61299644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018567109A Active JP6852851B2 (ja) | 2016-08-30 | 2016-08-30 | 画像処理方法及び移動体を制御するシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10853969B2 (ja) |
EP (1) | EP3371679B1 (ja) |
JP (1) | JP6852851B2 (ja) |
CN (1) | CN109074199B (ja) |
WO (1) | WO2018039925A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10547801B2 (en) | 2017-10-26 | 2020-01-28 | International Business Machines Corporation | Detecting an image obstruction |
CN111402333B (zh) * | 2020-03-13 | 2023-11-14 | 北京百度网讯科技有限公司 | 参数估计方法、装置、设备和介质 |
DE102020109330A1 (de) | 2020-04-03 | 2021-10-07 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Luftfahrzeug |
US20220284383A1 (en) * | 2021-03-04 | 2022-09-08 | Focal Systems, Inc. | On-Shelf Image Based Barcode Reader for Inventory Management System |
AU2022342243A1 (en) * | 2021-09-13 | 2024-03-14 | Blue Vigil Llc | Systems and methods for tethered drones |
CN116767537B (zh) * | 2023-08-22 | 2023-10-20 | 山西正合天科技股份有限公司 | 一种共轴无人机及其使用方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3199174B2 (ja) * | 1998-10-15 | 2001-08-13 | 日本電気株式会社 | 画像処理方法 |
JP3467554B2 (ja) * | 2000-03-17 | 2003-11-17 | 川崎重工業株式会社 | 回転翼変位検出方法および装置 |
US7196305B2 (en) * | 2005-01-18 | 2007-03-27 | Ford Global Technologies, Llc | Vehicle imaging processing system and method having obstructed image detection |
JP4577153B2 (ja) * | 2005-08-24 | 2010-11-10 | 株式会社デンソー | 環境認識装置 |
WO2007047953A2 (en) * | 2005-10-20 | 2007-04-26 | Prioria, Inc. | System and method for onboard vision processing |
US8174562B2 (en) * | 2007-11-09 | 2012-05-08 | Honeywell International Inc. | Stereo camera having 360 degree field of view |
EP2248069B1 (en) * | 2008-02-12 | 2013-08-28 | Datalogic ADC, Inc. | Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives |
DE102008001679A1 (de) * | 2008-05-09 | 2009-11-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug |
EP2423873B1 (en) * | 2010-08-25 | 2013-12-11 | Lakeside Labs GmbH | Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane |
EP2423871B1 (en) * | 2010-08-25 | 2014-06-18 | Lakeside Labs GmbH | Apparatus and method for generating an overview image of a plurality of images using an accuracy information |
US8611598B2 (en) * | 2011-07-26 | 2013-12-17 | Harman International (China) Holdings Co., Ltd. | Vehicle obstacle detection system |
FR2988618B1 (fr) * | 2012-03-30 | 2014-05-09 | Parrot | Estimateur d'altitude pour drone a voilure tournante a rotors multiples |
US9064317B2 (en) * | 2012-05-15 | 2015-06-23 | Palo Alto Research Center Incorporated | Detection of near-field camera obstruction |
US9429650B2 (en) * | 2012-08-01 | 2016-08-30 | Gm Global Technology Operations | Fusion of obstacle detection using radar and camera |
US9336444B2 (en) * | 2013-03-26 | 2016-05-10 | Urjagreen Technologies Pvt. Ltd. | System and method for occupancy detection using differential image sensing and optical markers |
JP6151856B2 (ja) * | 2014-05-06 | 2017-06-21 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 表面上での投射物のヒットを検出するための装置、輸送体、施設、および方法 |
ES2908557T3 (es) * | 2014-06-13 | 2022-05-03 | Twitter Inc | Vehículo aéreo no tripulado con capacidad de mensajería |
CN105278759B (zh) * | 2014-07-18 | 2019-08-13 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的图像投影方法、装置及飞行器 |
US9245333B1 (en) * | 2014-12-10 | 2016-01-26 | Semiconductor Components Industries, Llc | Systems and methods for detecting obstructions within the field-of-view of an image sensor |
US20160241767A1 (en) * | 2015-02-13 | 2016-08-18 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
US10696414B2 (en) * | 2015-04-21 | 2020-06-30 | Gopro, Inc. | Aerial capture platform |
CN105259917A (zh) * | 2015-11-08 | 2016-01-20 | 杨珊珊 | 一种无人飞行器安全快速降落装置及方法 |
-
2016
- 2016-08-30 EP EP16914492.0A patent/EP3371679B1/en active Active
- 2016-08-30 WO PCT/CN2016/097367 patent/WO2018039925A1/en unknown
- 2016-08-30 JP JP2018567109A patent/JP6852851B2/ja active Active
- 2016-08-30 CN CN201680085316.2A patent/CN109074199B/zh not_active Expired - Fee Related
-
2019
- 2019-02-26 US US16/285,373 patent/US10853969B2/en active Active
-
2020
- 2020-11-17 US US16/950,293 patent/US20210074017A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2019531611A (ja) | 2019-10-31 |
EP3371679B1 (en) | 2022-03-09 |
US20190188879A1 (en) | 2019-06-20 |
EP3371679A4 (en) | 2018-12-05 |
US20210074017A1 (en) | 2021-03-11 |
US10853969B2 (en) | 2020-12-01 |
CN109074199B (zh) | 2021-12-28 |
WO2018039925A1 (en) | 2018-03-08 |
EP3371679A1 (en) | 2018-09-12 |
CN109074199A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6852851B2 (ja) | 画像処理方法及び移動体を制御するシステム | |
US11748898B2 (en) | Methods and system for infrared tracking | |
US10930000B2 (en) | Method and system for detecting and tracking objects using characteristic points | |
US10599149B2 (en) | Salient feature based vehicle positioning | |
US11049261B2 (en) | Method and system for creating video abstraction from image data captured by a movable object | |
US20210227146A1 (en) | Autofocus initialization based on target detection | |
US20190212751A1 (en) | Method and system for operating a movable object to avoid obstacles | |
US20220270277A1 (en) | Computing a point cloud from stitched images | |
US11320817B2 (en) | Target-based image exposure adjustment | |
CN112312018B (zh) | 使用自适应步长的对比度检测自动聚焦 | |
US11228710B1 (en) | Configuring imaging devices based on control signals | |
US20230259132A1 (en) | Systems and methods for determining the position of an object using an unmanned aerial vehicle | |
EP3631595B1 (en) | Method and system for operating a movable platform using ray-casting mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6852851 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |