TW201730844A - 利用影像深度資訊提供避障的方法及無人飛行載具 - Google Patents

利用影像深度資訊提供避障的方法及無人飛行載具 Download PDF

Info

Publication number
TW201730844A
TW201730844A TW105112043A TW105112043A TW201730844A TW 201730844 A TW201730844 A TW 201730844A TW 105112043 A TW105112043 A TW 105112043A TW 105112043 A TW105112043 A TW 105112043A TW 201730844 A TW201730844 A TW 201730844A
Authority
TW
Taiwan
Prior art keywords
depth
image
distance
flight
unmanned aerial
Prior art date
Application number
TW105112043A
Other languages
English (en)
Other versions
TWI623913B (zh
Inventor
林政宇
徐國峰
Original Assignee
英華達股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英華達股份有限公司 filed Critical 英華達股份有限公司
Publication of TW201730844A publication Critical patent/TW201730844A/zh
Application granted granted Critical
Publication of TWI623913B publication Critical patent/TWI623913B/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

一種利用影像深度資訊提供避障的方法，包括以下步驟。拍攝一場景以取得場景之一深度影像。根據深度影像決定一飛行方向及一飛行距離。然後，根據飛行方向及飛行距離飛行。

Description

利用影像深度資訊提供避障的方法及無人飛行載具
本發明是有關於一種避障的方法及無人飛行載具，且特別是有關於一種利用影像深度資訊提供避障的方法及無人飛行載具。
無人飛行載具(Unmanned Aerial Vehicle,UAV)的操作模式大致上可分為手動操作模式及自動飛行模式。在自動飛行模式中，必須提供避障的方法使無人飛行載具可閃避障礙物以順利抵達目的地。關於避障的方法，一般都需要對環境進行掃描或提供環境的各種參數(例如地理資訊)以建立環境模型，並藉由參考環境模型來決定飛行路徑以達到避障的目的。但是，建立及維持環境模型需花費大量時間。除此之外，根據環境模型來計算飛行路徑的資料運算量龐大，故無人飛行載具必須要裝載較高效能 的處理器來計算飛行路徑，增加成本負擔。
本發明係有關於一種利用影像深度資訊提供避障的方法及無人飛行載具，可根據深度影像決定無人飛行載具的飛行方向及飛行距離以閃避障礙物。
根據本發明之一方面，提出一種利用影像深度資訊提供避障的方法。利用影像深度資訊提供避障的方法包括以下步驟。拍攝一場景以取得場景之一深度影像。根據深度影像決定一飛行方向及一飛行距離。然後，根據飛行方向及飛行距離飛行。
根據本發明之另一方面，提出一種無人飛行載具。無人飛行載具包括一影像擷取單元及一處理單元。影像擷取單元拍攝一場景以取得場景之一深度影像。處理單元耦接至影像擷取單元，根據深度影像決定一飛行方向及一飛行距離，以及根據飛行方向及飛行距離控制無人飛行載具飛行。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
S102、S104、S106、S402、S404、S406、S408、S702、S704、S706‧‧‧流程步驟
200‧‧‧無人飛行載具
202‧‧‧影像擷取單元
204‧‧‧處理單元
206‧‧‧儲存單元
300‧‧‧深度影像
302、304、306、308、310、502、504、506、b1~b9‧‧‧區塊
500‧‧‧二值化影像
第1圖繪示本發明之利用影像深度資訊提供避障的方法之流程圖。
第2圖繪示根據本發明一實施例之無人飛行載具之方塊圖。
第3圖繪示本發明一實施例之影像擷取單元所擷取之深度影像示意圖。
第4圖繪示根據深度影像決定飛行方向之方法流程圖。
第5圖繪示深度影像經二值化所產生之二值化影像示意圖。
第6圖繪示發明一實施例之二值化影像被分割成多個區塊之示意圖。
第7圖繪示根據深度影像決定飛行距離之方法流程圖。
請參照第1圖及第2圖，第1圖繪示本發明之利用影像深度資訊提供避障的方法之流程圖。第2圖繪示根據本發明一實施例之無人飛行載具(Unmanned Aerial Vehicle,UAV)200之方塊圖。無人飛行載具200包括影像擷取單元202、處理單元204及儲存單元206。處理單元204耦接至影像擷取單元202及儲存單元206。影像擷取單元202例如為三維影像感應器，其可拍攝一地點以產生該地點的深度影像。處理單元204例如為微處理器或微控制器，其可接收影像擷取單元202所輸出之深度影像，並根據深度影像執行無人飛行載具200的避障功能。儲存單元206例如為記憶體。
於步驟S102中，影像擷取單元202拍攝一場景以取得場景之一深度影像。影像擷取單元202例如架設在無人飛行載具200的前方，即時擷取無人飛行載具200前方場景的深度影 像。在一實施例中，影像擷取單元202係於無人飛行載具200進行自動飛行之後才啟動，以節省電力。
請參考第3圖，第3圖繪示本發明一實施例之影像擷取單元202所擷取之深度影像300示意圖。深度影像300為無人飛行載具200前方場景之深度影像。深度影像300包括多個像素，每個像素具有一深度值，深度值的範圍為0至255。在深度影像300中，深度值由小到大(也就是像素顏色由深到淺)之像素所組成的區塊，依序可表示為區塊302、區塊304、區塊306(或區塊308)及區塊310。其中區塊306及區塊308具有相同的深度值。為方便說明，在本實施例中係以深度影像300具有四種深度值為例。
在本發明中，深度值越大(也就是像素顏色越淺)代表無人飛行載具200離障礙物越遠；深度值越小(也就是像素顏色越深)代表無人飛行載具200離障礙物越近。然而，實際應用需視影像擷取單元202的設定為準，並不以上述情況為限。例如有些影像擷取單元的設定中，距離越近的障礙物之影像的深度值越大(也就是顏色越淺)；而距離越遠的障礙物之影像的深度值越小(也就是顏色越深)。簡單來說，只要處理單元204知道影像擷取單元202的設定資訊即可。此外，由於不同影像擷取單元的感應範圍不同，有些影像擷取單元無法辨識場景中過遠或過近的障礙物之深度資訊。這些無法辨識的物體所對應的像素之深度值會被表示為最小值0或最大值255。
於步驟S104中，處理單元204接收影像擷取單元202所擷取的深度影像300，並根據深度影像300決定無人飛行載具200的飛行方向及飛行距離。進一步來說，處理單元204係根據深度影像300中每個像素的深度值，判斷深度影像300中哪個區塊沒有障礙物或是障礙物較少，並控制無人飛行載具200依據該區塊的位置飛行。接著，處理單元204依據區塊中所有像素的深度值決定無人飛行載具200需飛行多少距離。詳細說明如下。
請參考第4圖，第4圖繪示根據深度影像300決定飛行方向之方法流程圖。於步驟S402，處理單元204對深度影像300進行影像處理，也就是採用一距離閾值來檢查深度影像300各個像素的深度值，依檢查結果在儲存單元206中記錄該些像素為一安全屬性或一危險屬性。
以二值化的方法為例，實作的方法即為根據深度影像產生一二值化影像(一般深度影像是以灰階來表示，故在深度值的表示上，會對應至一灰階值(灰度)，二值化的表示則在圖像上會以兩種色塊方式呈現，例如：白、黑)，其中，將像素的深度值設為最大深度值(深度值255，一般為白色)則表示該像素之屬性為安全，將像素的深度值設為最小深度值(深度值0，一般為黑色)則表示該像素之屬性為危險。具體來說，處理單元204在二值化判斷過程中，會將深度影像每個像素的深度值轉換成一長度(即與物之距離)，並判斷距離是否小於距離閾值，其中，當距離大於或等於距離閾值時，處理單元204依判斷結果設置相對位置的像素 深度值為255，當距離小於距離閾值時，處理單元204依判斷結果設置相對位置的像素深度值為0，最後組成相對於深度影像的二值化影像並存於儲存單元206中。
距離閾值代表的是一安全距離，當長度小於安全距離，表示障礙物離無人飛行載具200過近，則無人飛行載具200的反應時間較短，因此撞上障礙物的機率變大。在一實施例中，在產生深度影像300時，影像擷取單元202會主動將無法辨識的物體視為離無人飛行載具200很遠(像素深度值會以255表示)。本發明為了避免如此狀況造成的飛行安全問題，在二值化深度影像300的過程中，處理單元204會一併將無法辨識的物體所對應的像素之深度值(也就是像素深度值為最大值255)改設為最小深度值，從而確保無人飛行載具200的飛行安全。
距離閾值為一可調整之參數，與影像擷取單元202的感應範圍相關，且距離閾值與無人飛行載具200的飛行速度相關。舉例來說，若無人飛行載具200的飛行速度較快，則可提高距離閾值，以使無人飛行載具200有更多的時間反應，以閃避障礙物。
請參考第3及5圖，第5圖繪示深度影像300經二值化所產生之二值化影像500示意圖。二值化影像500為基於一深度影像300所產出之另一影像。在深度影像300中，區塊306、區塊308及區塊310所包含的像素其深度值所對應的長度皆大於或等於距離閾值，代表這些區塊中的像素皆屬於安全屬性。因此 處理單元204將區塊306、區塊308及區塊310中的所有像素所對應的二值化影像像素之深度值設定為最大深度值255，設定後如二值化影像500中之區塊506所示。區塊302及區塊304所包含的像素其深度值所對應的長度皆小於距離閾值，代表這些區塊中的像素皆屬於危險屬性。因此處理單元204將區塊302及區塊304中的所有像素所對應的二值化影像像素之深度值設定為最小深度值0，如二值化影像500中之區塊502及區塊504所示。在另一實施例中，處理單元204並不一定要將安全屬性像素的深度值設定為最大深度值255以及將危險屬性像素的深度值設定為最小深度值0。處理單元204只要將安全屬性像素的深度值以及危險屬性像素的深度值分別設定為兩個不同的深度值，以區別像素是屬於安全屬性或危險屬性即可。
在二值化影像500中，區塊506為具有安全屬性的像素所組成；區塊502及504為具有危險屬性的像素所組成。換句話說，區塊506代表障礙物較遠或沒有障礙物的區塊，因此無人飛行載具200往該些區塊所對應的方向前進，較不易撞到障礙物；而區塊502及504代表障礙物較近，因此該些區塊對於無人飛行載具200而言，無法繼續前進的機率變大。
於步驟S404，處理單元204將二值化影像500分割成複數個區塊。請參考第6圖，第6圖繪示發明一實施例之二值化影像500被分割成多個區塊之示意圖。在產生二值化影像500之後，處理單元204將二值化影像500分割成九個相同大小的區 塊b1~b9。值得注意的是，分割區塊的個數及大小並不以此為限。在一實施例中，程式設計者可事先得到無人飛行載具200的大小，以及影像擷取單元202的可視角度資訊。處理單元204根據無人飛行載具200的大小以及影像擷取單元202的可視角度資訊分割影像，使區塊大小所對應到的實際場景至少為無人飛行載具200可通過的大小，確保不會因為分割大小不當，而造成雖然判斷該區塊是可供飛行，但最後無人飛行載具200卻因為空間不足，無法順利穿越的狀況。
步驟S406，處理單元204根據一選取門檻，從該些區塊中選擇一目標區塊。進一步來說，處理單元204分別計算區塊b1~b9中危險屬性的像素在各區塊中所佔之比例是否超出一選取門檻，並依據結果選擇目標區塊。
舉例來說，區塊b1中危險屬性的像素所佔的比例為0%、區塊b2中危險屬性的像素所佔的比例為0%、區塊b3中危險屬性的像素所佔的比例為0%、區塊b4中危險屬性的像素所佔的比例為40%、區塊b5中危險屬性的像素所佔的比例為4%、區塊b6中危險屬性的像素所佔的比例為20%、區塊b7中危險屬性的像素所佔的比例為80%、區塊b8中危險屬性的像素所佔的比例為20%、區塊b9中危險屬性的像素所佔的比例為100%。
接著，處理單元204選取比例小於選取門檻的區塊作為目標區塊。假設選取門檻為5%，則處理單元204選取區塊b1、b2、b3及b5做為目標區塊。由於是判斷選取區塊中具危險 屬性像素所佔的比例，故選取門檻為一不安全指數，當選取區塊中具危險屬性像素所佔的比例高於該選取門檻，則代表在該區塊中可能具有較多的障礙物，對於無人飛行載具200來說較不安全。
在一實施例中，當目標區塊具有多個時，處理單元204依據一預設的順序，例如區塊b1~b9的順序來選擇其一作為目標區塊。以上述為例，若處理單元204依照預設順序選擇目標區塊，則區塊b1被選為目標區塊。預設的順序可為使用者所任意設定之順序。
在另一實施例中，當目標區塊具有多個時，處理單元204依據一優先權選擇其一作為目標區塊。在處理單元204將二值化影像500分割成多個區塊之後，根據該些區塊於二值化影像500中的位置分別給予該些區塊不同的優先權值，例如位於中央的區塊(也就是區塊b5)具有最高的優先權，再來優先權由高至低分別為位於中央區塊之上方區塊(也就是區塊b2)、下方區塊(也就是區塊b8)、左邊區塊(也就是區塊b4)及右邊區塊(也就是區塊b6)，接著是位於角落的區塊(也就是區塊b1、區塊b3、區塊b7、區塊b9)。當目標區塊具有多個時，處理單元204選擇具有較高優先權的區塊作為目標區塊。在這個實施例中，假設區塊b1、b2、b3及b5為目標區塊，則處理單元204選取區塊b5做為目標區塊。
步驟S408，處理單元204根據目標區塊的位置決定飛行方向。舉例來說，假設目標區塊為區塊b5，由於區塊b5位於二值化影像500的中央位置，則處理單元204以無人飛行載具 200的正前方作為飛行方向。假設目標區塊為區塊b1，由於b1位於二值化影像500的左上方位置，則處理單元204以無人飛行載具200的左上前方作為飛行方向。類似地，其餘區塊與飛行方向的決定方式依此類推，在此不多贅述。
在一實施例中，處理單元204根據最短飛行路徑分別給予區塊優先權，例如中央區塊具有最高優先權。當中央區塊具有最高的優先權且被選為目標區塊時，無人飛行載具200可以正前方作為飛行方向，而不需要轉向，以減少額外的電力消耗。
此外，在一實施例中，於步驟S406，若處理單元204無法根據深度影像決定無人飛行載具200的飛行方向(像是：離物體太近或是無法正確取得深度影像)，則處理單元204改變無人飛行載具200的方向以使影像擷取單元202拍攝另一場景以取得該另一場景之深度影像。舉例來說，處理單元204可控制無人飛行載具200轉向，如向左轉向、向右轉向，或控制無人飛行載具200往任一方向平移，如往左平移、往右平移、往上平移、往下平移。
在另一實施例中，除了架設在無人飛行載具200前方的影像擷取單元202之外，還可包括多個影像擷取單元，分別架設在無人飛行載具200的左方、右方及後方。當處理單元204無法根據深度影像決定無人飛行載具200的飛行方向時，處理單元204控制其他影像擷取單元之一擷取另一場景的深度影像，並根據該另一場景之深度影像決定飛行方向。
接著，請參考第6及7圖，第7圖繪示根據深度影 像決定飛行距離之方法流程圖。步驟S702，處理單元204平均目標區塊中所有像素的深度值以得到一深度平均值。舉例來說，若目標區塊為區塊b5，則處理單元204加總區塊b5中所有像素的深度值，並除去區塊b5中的像素個數，以得到深度平均值。
步驟S704，處理單元204將深度平均值轉換成一距離。詳細來說，處理單元204係透過一換算公式將深度平均值轉換成一距離。與實際長度對應的換算公式可由實驗數據取得，且換算公式可儲存在儲存單元206中。深度平均值代表目標區塊所對應的場景以及場景中的障礙物與無人飛行載具200之間的約略距離。假設處理單元204所計算之距離為2公尺，表示目標區塊所對應的場景以及場景中的障礙物與無人飛行載具200之間的距離約為2公尺。
步驟S706，處理單元204將距離減去一保留距離得到飛行距離。假設保留距離為1.85公尺，則處理單元204將距離2公尺減去保留距離1.85公尺，得到飛行距離為0.15公尺。保留距離是讓無人飛行載具200往目標區塊的方向飛行時，不會離障礙物太近而預留之一距離，可避免無人飛行載具200撞到障礙物。另外，一般而言，保留距離會大於距離閾值。
請參考第1圖，在處理單元204根據二值化影像及深度影像來決定飛行方向及飛行距離之後，接著進入步驟S106，處理單元204根據飛行方向及飛行距離控制無人飛行載具200飛行。舉例來說，若飛行方向為正前方且飛行距離為0.15公尺，則 處理單元204控制無人飛行載具200往正前方飛行0.15公尺。
在另一實施例中，第1、4及7圖之方法也可應用在無人飛行載具200的返航模式中。例如在返航途中，開啟影像擷取單元202即時擷取場景的深度影像，當偵測到障礙物時，處理單元204執行如第1、4及7圖所述之方法，當無人飛行載具200避開障礙物之後，處理單元204控制無人飛行載具200再次進入返航模式。
上述實施例中，還可以是直接採用此影像深度資訊提供避障的方法來自動飛返目的地，其中，處理單元204除了會執行如第1、4及7圖所述之方法外，同時還結合預定飛行目的地之方位動態調整飛行區塊的優先權順序，依此來決定飛行的方向及飛行的距離，使無人飛行載具200在返航的同時亦能成功避開障礙物，達成自動避障返航的效果。
本發明上述實施例所揭露之利用影像深度資訊提供避障的方法，根據深度影像決定無人飛行載具的飛行方向及飛行距離以閃避障礙物。由於本發明在飛行避障時採用的深度影像是二維影像，因此資料的計算量相較一般3D建模避障方式來的低。另外，本發明僅需要透過深度影像即可進行障礙物的判斷及閃避，不需要額外花時間建立環境模型，可減少時間的花費。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤 飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S102、S104、S106‧‧‧流程步驟

Claims (14)

  1. 一種利用影像深度資訊提供避障的方法，包括：拍攝一場景以取得該場景之一深度影像；根據該深度影像決定一飛行方向及一飛行距離；以及根據該飛行方向及該飛行距離飛行。
  2. 如申請專利範圍第1項所述之方法，其中於根據該深度影像決定該飛行方向的步驟中，包括：採用一距離閾值來檢查該深度影像各個像素的深度值，依檢查結果記錄該些像素為一安全屬性或一危險屬性，並根據該深度影像產生一二值化影像；分割該二值化影像成複數個區塊；根據一選取門檻，從該些區塊中選擇一目標區塊；以及根據該目標區塊於該二值化影像中的位置決定該飛行方向。
  3. 如申請專利範圍第2項所述之方法，其中於採用該距離閾值來檢查該深度影像各個像素的深度值的步驟中，包括：將該每個像素的深度值轉換成一長度；以及判斷該長度是否小於該距離閾值；其中當該長度小於該距離閾值時，將該深度值設為最小深度值以表示該危險屬性，當該長度大於或等於該距離閾值時，將該深度值設為最大深度值以表示該安全屬性，以產生該二值化影像。
  4. 如申請專利範圍第2項所述之方法，其中於根據該選取門 檻選擇該目標區塊的步驟中，包括：分別計算該些區塊中具該危險屬性的像素所佔的一比例；以及選擇該比例小於該選取門檻的區塊作為該目標區塊。
  5. 如申請專利範圍第2項所述之方法，其中於根據該深度影像決定該飛行距離的步驟中，包括：平均該目標區塊中所有像素的深度值以得到一深度平均值；將該深度平均值轉換成一距離；以及將該距離減去一保留距離得到該飛行距離。
  6. 如申請專利範圍第2項所述之方法，其中於將該二值化影像分割成該些區塊的步驟之後，更包括：分別給予該些區塊不同的優先權值；其中當選擇的該目標區塊具有複數個時，則依據該些優先權值選擇該些目標區塊之一。
  7. 如申請專利範圍第1項所述之方法，其中於根據該深度影像決定該飛行方向及該飛行距離的步驟中，當無法根據該深度影像決定該飛行方向時，則改變拍攝的方向。
  8. 一種無人飛行載具，包括：一影像擷取單元，用以拍攝一場景以取得該場景之一深度影像；一處理單元，耦接至該影像擷取單元，用以根據該深度影像決定一飛行方向及一飛行距離，以及根據該飛行方向及該飛行距 離控制該無人飛行載具飛行。
  9. 如申請專利範圍第8項所述之無人飛行載具，其中該無人機更包括一儲存單元，該處理單元用以採用一距離閾值來檢查該深度影像各個像素的深度值，依檢查結果在該儲存單元中記錄該些像素為一安全屬性或一危險屬性，並根據該深度影像產生一二值化影像，該處理單元分割該二值化影像成複數個區塊，根據一選取門檻，從該些區塊中選擇一目標區塊，以及根據該目標區塊於該二值化影像中的位置決定該飛行方向。
  10. 如申請專利範圍第9項所述之無人飛行載具，其中該處理單元用以將該每個像素的深度值轉換成一長度，以及判斷該長度是否小於該距離閾值；其中當該長度小於該距離閾值時，該處理單元將該深度值設為最小深度值以表示該危險屬性，當該長度大於或等於該距離閾值時，該處理單元將該深度值設為最大深度值以表示該安全屬性，以產生該二值化影像。
  11. 如申請專利範圍第9項所述之無人飛行載具，其中該處理單元用以分別計算該些區塊中該危險屬性的像素所佔的一比例，並選擇該比例小於該選取門檻的區塊作為該目標區塊。
  12. 如申請專利範圍第9項所述之無人飛行載具，其中該處理單元用以平均該目標區塊中所有像素的深度值以得到一深度平均值，將該深度平均值轉換成一距離，以及將該距離減去一保留距離得到該飛行距離。
  13. 如申請專利範圍第9項所述之無人飛行載具，其中該處理單元更用以分別給予該些區塊不同的優先權值；其中當選擇的該目標區塊具有複數個時，則該處理單元依據該些優先權值選擇該些目標區塊之一。
  14. 如申請專利範圍第8項所述之無人飛行載具，其中當無法根據該深度影像決定該飛行方向時，該處理單元改變該無人飛行載具的方向以使該影像擷取單元拍攝另一場景以取得該另一場景之深度影像。
TW105112043A 2016-02-23 2016-04-18 利用影像深度資訊提供避障的方法及無人飛行載具 TWI623913B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201610097501.5 2016-02-23
CN201610097501.5A CN105761265A (zh) 2016-02-23 2016-02-23 利用影像深度信息提供避障的方法及无人飞行载具

Publications (2)

Publication Number Publication Date
TW201730844A true TW201730844A (zh) 2017-09-01
TWI623913B TWI623913B (zh) 2018-05-11

Family

ID=56331142

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105112043A TWI623913B (zh) 2016-02-23 2016-04-18 利用影像深度資訊提供避障的方法及無人飛行載具

Country Status (3)

Country Link
US (1) US10507915B2 (zh)
CN (1) CN105761265A (zh)
TW (1) TWI623913B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI738538B (zh) * 2020-10-14 2021-09-01 中華學校財團法人中華科技大學 無人載具之三維影像重組方法及系統

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478070A (zh) * 2016-08-04 2019-03-15 深圳市大疆创新科技有限公司 障碍物识别和避让方法和系统
CN107077741A (zh) * 2016-11-11 2017-08-18 深圳市大疆创新科技有限公司 深度图生成方法和基于该方法的无人机
CN106683101B (zh) * 2016-12-30 2019-12-31 英华达（上海）科技有限公司 路面检测方法及手持式电子装置
CN108521807B (zh) * 2017-04-27 2022-04-05 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
CN107272742A (zh) * 2017-08-07 2017-10-20 深圳市华琥技术有限公司 一种无人机群协同作业的导航控制方法
CN109708636B (zh) * 2017-10-26 2021-05-14 广州极飞科技股份有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
CN109933092B (zh) * 2017-12-18 2022-07-05 北京京东乾石科技有限公司 飞行器避障方法、装置、可读存储介质和飞行器
WO2019144291A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 飞行控制方法、装置和机器可读存储介质
CN108717301B (zh) * 2018-06-13 2022-02-15 仲恺农业工程学院 一种基于gis的无人机植保系统及方法
CN109064555B (zh) * 2018-08-06 2023-06-06 百度在线网络技术（北京）有限公司 3d建模的方法、装置和存储介质
CN110770668A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
US10937325B2 (en) * 2018-12-27 2021-03-02 Intel Corporation Collision avoidance system, depth imaging system, vehicle, obstacle map generator, and methods thereof
US10884415B2 (en) * 2018-12-28 2021-01-05 Intel Corporation Unmanned aerial vehicle light flash synchronization
CN110390681B (zh) * 2019-07-17 2023-04-11 海伯森技术（深圳）有限公司 一种基于深度相机的深度图物体轮廓快速提取方法及装置
CN110658819B (zh) * 2019-09-30 2022-04-15 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质
CN115576329B (zh) * 2022-11-17 2023-04-07 西北工业大学 一种基于计算机视觉的无人驾驶agv小车的避障方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907750B2 (en) * 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
CN101504287B (zh) * 2009-01-22 2011-01-05 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
US9361706B2 (en) * 2009-11-30 2016-06-07 Brigham Young University Real-time optical flow sensor design and its application to obstacle detection
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
TW201339903A (zh) * 2012-03-26 2013-10-01 Hon Hai Prec Ind Co Ltd 無人飛行載具控制系統及方法
US9266611B2 (en) * 2013-06-20 2016-02-23 University Of Florida Research Foundation, Inc. Flight path development for remote sensing vehicles in a moving reference frame
CN103587708B (zh) * 2013-11-14 2016-05-25 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
CN105346706B (zh) * 2015-11-13 2018-09-04 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI738538B (zh) * 2020-10-14 2021-09-01 中華學校財團法人中華科技大學 無人載具之三維影像重組方法及系統

Also Published As

Publication number Publication date
CN105761265A (zh) 2016-07-13
US10507915B2 (en) 2019-12-17
TWI623913B (zh) 2018-05-11
US20170243355A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
TWI623913B (zh) 利用影像深度資訊提供避障的方法及無人飛行載具
TWI610711B (zh) 無人飛行載具及其降落方法
JP6949266B2 (ja) 対象三次元検出及びスマート運転制御方法、装置、媒体並びに機器
US10156437B2 (en) Control method of a depth camera
CN110335211B (zh) 深度图像的校正方法、终端设备以及计算机存储介质
US9424649B1 (en) Moving body position estimation device and moving body position estimation method
CN108116410A (zh) 用于控制车辆的速度的方法和设备
CN111274943B (zh) 一种检测方法、装置、电子设备及存储介质
EP3992908A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
TWI744245B (zh) 產生具有減少過度平滑之視差圖
CN111209840B (zh) 一种基于多传感器数据融合的3d目标检测方法
WO2013035612A1 (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
WO2023173950A1 (zh) 障碍物检测方法、移动机器人及机器可读存储介质
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN116993817B (zh) 目标车辆的位姿确定方法、装置、计算机设备及存储介质
KR20210126934A (ko) 광원 정보를 출력하는 방법 및 장치
CN112509054A (zh) 一种相机外参动态标定方法
CN209991983U (zh) 一种障碍物检测设备及无人机
EP3921797A1 (en) Image system for a vehicle
KR102163389B1 (ko) 입체 모델 생성 방법 및 장치
JP5422538B2 (ja) 画像処理装置、表示装置、方法およびそのプログラム
CN107547789A (zh) 影像获取装置及其摄影构图的方法
Pohl et al. Depth map improvements for stereo-based depth cameras on drones
KR20220039101A (ko) 로봇 및 그의 제어 방법
CN117408935A (zh) 障碍物检测方法、电子设备和存储介质