TWI631483B - 機器人合作系統 - Google Patents
機器人合作系統 Download PDFInfo
- Publication number
- TWI631483B TWI631483B TW105131499A TW105131499A TWI631483B TW I631483 B TWI631483 B TW I631483B TW 105131499 A TW105131499 A TW 105131499A TW 105131499 A TW105131499 A TW 105131499A TW I631483 B TWI631483 B TW I631483B
- Authority
- TW
- Taiwan
- Prior art keywords
- robot
- ground
- control signal
- image
- aerial
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000004891 communication Methods 0.000 claims description 42
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000007613 environmental effect Effects 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000003305 oil spill Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一種具有空中機器人、地面機器人、海上機器人以及運算設備的機器人合作系統。空中機器人擷取影像並傳送此影像至運算設備。運算設備根據上述影像，執行影像處理操作以取得障礙物的範圍、目的地位置以及地面機器人的位置。運算設備根據障礙物的範圍、目的地位置以及地面機器人的位置執行路徑規劃操作以產生控制訊號，並且發送此控制訊號至地面機器人。地面機器人根據控制訊號移動至目的地位置執行第一環境檢測操作。空中機器人用以執行第二環境檢測操作，並且降落於地面機器人或海上機器人上。
Description
本發明是有關於一種機器人合作系統，且特別是有關於一種應用於具有空中機器人、海上機器人與地面機器人的機器人合作系統。
在福島核災及汶川地震後，政府有關單位意識到機器人應用在災害應變上有迫切的需要。研究人員針對災害應變提出各種解決方案，但是在多個機器人的協同合作應用和化學物質遙測方面較少著墨。特別是，台灣是一個四面環海的國家，因此有許多的天然或人為災害（颱風、海難、海上漏油、海權侵犯，漁權越界挾持，漁船偷渡等），通常無法在第一時間即時派遣相關人員去救災搜救或探勘蒐證。
因此，本發明提供一種機器人合作系統，可以使用空中機器人、地面機器人與海上機器人三者來彼此合作進行災害應變。
本發明提供一種機器人合作系統，此系統包括空中機器人、運算設備與地面機器人。空中機器人包括：影像擷取單元，擷取一影像；以及第一通訊單元，傳送上述影像。運算設備包括：第二通訊單元，接收上述影像；以及第一處理單元，根據上述影像，執行影像處理操作以取得障礙物的範圍、目的地位置以及地面機器人的位置，並且根據障礙物的範圍、目的地位置以及地面機器人的位置執行路徑規劃操作以產生控制訊號，並透過第二通訊單元發送上述的控制訊號。地面機器人包括：第三通訊單元，接收上述控制訊號；運動控制單元，根據控制訊號移動地面機器人至目的地位置；以及第一環境檢測單元，當地面機器人到達目的地位置時，執行第一環境檢測操作。
在本發明的一實施例中，其中第一環境檢測單元用以檢測目的地位置的水質。
在本發明的一實施例中，其中空中機器人更包括第二環境檢測單元，第二環境檢測單元用以檢測空中機器人所處的環境的空氣品質。
在本發明的一實施例中，上述的機器人合作系統更包括：海上機器人，其中當空中機器人接收到第一降落指令時，空中機器人降落在海上機器人上。
在本發明的一實施例中，其中當空中機器人降落在海上機器人上時，海上機器人對空中機器人進行充電。
在本發明的一實施例中，其中當空中機器人接收到第二降落指令時，空中機器人降落在地面機器人上。
在本發明的一實施例中，其中當空中機器人降落在地面機器人上時，地面機器人對空中機器人進行充電。
在本發明的一實施例中，其中在根據控制訊號移動地面機器人至目的地位置的運作中，第二運動控制單元根據控制訊號移動地面機器人至往目的地位置的路徑上的多個中介點的其中之一，其中往目的地位置的路徑會避開障礙物的範圍。
在本發明的一實施例中，其中影像處理操作包括色彩模型轉換操作、去噪操作、型態學操作的其中之一。
基於上述，本發明提供一種機器人合作系統，可以使用空中機器人、地面機器人與海上機器人來彼此合作進行災害應變。透過空中機器人所拍攝的影像來對地面機器人的行動路徑做規劃，使得地面機器人可以避開障礙物抵達目的位置進行水質的檢測。此外，空中機器人可以用來偵測空氣品質，並且可以降落於地面機器人或是海上機器人。藉由陸、海、空三種機器人的協同合作，可以更方便於救難工作。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是依照本發明的一實施例所繪示的機器人合作系統的方塊圖。請參照圖1，機器人合作系統100包括：空中機器人110、地面機器人120、海上機器人130以及運算設備140。空中機器人110、地面機器人120、海上機器人130以及運算設備140彼此之間可以透過網路150進行連繫、溝通。空中機器人110例如為無人飛行載具（Unmanned Aerial Vehicle）、飛行機器人（Aerial Robot）等。地面機器人120例如為自動導向載具（Automated Guided Vehicle）。海上機器人130例如為可以受控制或自主地在水面上移動的載具。運算設備140為具有高計算能力的伺服器、主機等電子設備。例如，運算設備140可以由多台主機組合而成的伺服器系統，或者亦可僅由個人電腦來實現。
圖2是依照本發明的一實施例所繪示的空中機器人的方塊圖。請參照圖2，空中機器人110包括處理單元201、運動控制單元203、影像擷取單元205、環境檢測單元207(亦稱為，第二環境檢測單元)以及通訊單元209(亦稱為，第一通訊單元)。其中，運動控制單元203、影像擷取單元205、環境檢測單元207以及通訊單元209分別耦接至處理單元201。
處理單元201例如可以是一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路（Application Specific Integrated Circuit，ASIC）、場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。
運動控制單元203可以用以接收例如由處理單元201所發送的控制訊號，並且基於控制訊號來控制空中機器人110的飛行運動。運動控制模組203例如是由多個硬體晶片所組成並且還包括馬達(未繪示)以及控制設備(未繪示)。其中，運動控制單元203的馬達可以耦接至空中機器人110的螺旋槳（未繪示）以及控制設備。馬達自控制設備接收控制訊號後，可以控制螺旋槳的速度及力矩，藉此來決定空中機器人110的飛行運動。
影像擷取單元205例如是採用電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭、或紅外線鏡頭的攝影機、照相機。
環境檢測單元207例如是粉塵感測器（dust sensor），可以用來檢測空氣中懸浮粒子的直徑。然而，本發明不限於此，在其他範例實施例中，環境檢測單元207也可以是用來偵測環境中其他因子的感測器。
通訊單元209例如為無線網卡、藍芽模組等，使得飛行裝置110能夠透過網路150來與運算設備120進行溝通。
應了解的是，空中機器人110所具有的元件並不限於圖2中所繪示的處理單元201、運動控制單元203、影像擷取單元205、環境檢測單元207以及通訊單元209。本領域具通常知識者應可了解空中機器人110亦可包括例如全球衛星定位系統（Global Positioning System，GPS）模組（未繪示）、搖控訊號接收器（未繪示）、飛行控制器（未繪示）、配電盤（未繪示）、馬達變壓控制器（未繪示）、變壓器（未繪示）、螺旋槳（未繪示）、螺旋槳馬達（未繪示）、機身機構（未繪示）、慣性測量單元 （Inertial measurement unit，IMU）（未繪示）、陀螺儀（未繪示）以及加速計等構造及/或其他常用的無人飛機元件。
圖3是依照本發明的一實施例所繪示的地面機器人的方塊圖。請參照圖3，地面機器人120包括處理單元301、運動控制單元303、環境檢測單元305(亦稱為，第一環境檢測單元)以及通訊單元307(亦稱為，第三通訊單元)。其中，運動控制單元303、環境檢測單元305以及通訊單元307耦接至處理單元301。處理單元301與通訊單元307可以分別是與上述處理單元201與通訊單元209相類似的元件，故在此並不再贅述。
運動控制單元303可以用以接收例如由處理單元301所發送的控制訊號，並且基於控制訊號來控制地面機器人110在陸地上的運動。運動控制模組303例如是由多個硬體晶片所組成並且還包括馬達(未繪示)以及控制設備(未繪示)。其中，運動控制單元303的馬達可以耦接至地面機器人120的輪胎（未繪示）以及控制設備。馬達自控制設備接收控制訊號後，可以控制輪胎的轉動，藉此來控制地面機器人120的在陸地上的移動。
環境檢測單元307例如是光譜儀，可以用來檢測受測的水的水質。然而，本發明不限於此，在其他範例實施例中，環境檢測單元207也可以是用來偵測環境中其他因子的感測器。
應了解的是，地面機器人120所具有的元件並不限於圖3中所繪示的處理單元301、運動控制單元303、環境檢測單元305以及通訊單元307。本領域具通常知識者應可了解地面機器人120亦可包括例如全球衛星定位系統（Global Positioning System，GPS）模組（未繪示）、搖控訊號接收器（未繪示）、配電盤（未繪示）、馬達變壓控制器（未繪示）、變壓器（未繪示）、機身機構（未繪示）、慣性測量單元 （Inertial measurement unit，IMU）（未繪示）、陀螺儀（未繪示）以及加速計等構造及/或其他常用的元件。
圖4是依照本發明的一實施例所繪示的海上機器人的方塊圖。請參照圖4，海上機器人130包括處理單元401、運動控制單元403以及通訊單元405。其中，運動控制單元403以及通訊單元405耦接至處理單元401。處理單元401與通訊單元405可以分別是與上述處理單元201與通訊單元209相類似的元件，故在此並不再贅述。
運動控制單元403可以用以接收例如由處理單元401所發送的控制訊號，並且基於控制訊號來控制海上機器人130在水面上的運動。運動控制模組403例如是由多個硬體晶片所組成並且還包括馬達(未繪示)以及控制設備(未繪示)。其中，運動控制單元403的馬達可以耦接至海上機器人120的推進設備（未繪示）以及控制設備。馬達自控制設備接收控制訊號後，可以控制推進設備的轉動，藉此來控制海上機器人130的在水面上的移動。
應了解的是，海上機器人130所具有的元件並不限於圖4中所繪示的處理單元401、運動控制單元403以及通訊單元405。本領域具通常知識者應可了解海上機器人130亦可包括例如全球衛星定位系統（Global Positioning System，GPS）模組（未繪示）、搖控訊號接收器（未繪示）、配電盤（未繪示）、馬達變壓控制器（未繪示）、變壓器（未繪示）、機身機構（未繪示）、慣性測量單元 （Inertial measurement unit，IMU）（未繪示）、陀螺儀（未繪示）以及加速計等構造及/或其他常用的元件。
圖5是依照本發明的一實施例所繪示的運算設備的方塊圖。請參照圖5，運算設備501包括處理單元501(亦稱為，第一處理單元)以及通訊單元503(亦稱為，第二通訊單元)。其中，通訊單元503耦接至處理單元501。處理單元501與通訊單元503可以分別是與上述處理單元201與通訊單元209相類似的元件，故在此並不再贅述。
在本範例實施例中，運算設備140更包括一儲存單元(未繪示)，此儲存單元中儲存有多個程式碼片段，在上述程式碼片段被安裝後，會由處理單元501來執行。例如，儲存單元中包括多個模組，藉由這些模組來分別執行應用於機器人合作系統中的運算設備140的各個運作，其中各模組是由一或多個程式碼片段所組成。然而本發明不限於此，應用於機器人合作系統中的運算設備140的各個運作也可以是使用其他硬體形式的方式來實現。
在本範例實施例中，空中機器人110與地面機器人120可以一同地對環境進行不同的檢測以獲得多個檢測資訊(例如，空氣品質與水質)，並且可以將所獲得的檢測資訊傳送至運算設備140進行綜合分析。再者，在地面機器人120的移動過程中，空中機器人110還可以擷取影像並傳送此影像至運算設備140。運算設備140會根據此影像執行影像處理操作以識別出地面機器人120的位置、陸地上障礙物的範圍以及目的地位置。接著，運算設備140會根據地面機器人120的位置、陸地上障礙物的範圍以及目的地的位置決定出一路徑，此路徑用於使地面機器人120避開障礙物並且抵達目的地位置。之後，運算設備140會根據此路徑對應地產生控制訊號並傳送此控制訊號至地面機器人120。地面機器人120可以根據此控制訊號前往上述的目的地位置。當地面機器人120抵達目的地位置時，可以執行地面機器人120所負責的環境檢測操作。
為了更清楚地說明，圖6是依照本發明的一實施例所繪示的機器人合作方法的流程圖。
請參照圖6，當空中機器人110在空中飛行時，在步驟S601中，空中機器人110的影像擷取單元205可以拍攝(或擷取)一影像，並且空中機器人110的通訊單元209可以傳送此影像至運算設備140。當運算設備140藉由通訊單元503接收到空中機器人所拍攝的影像後，在步驟S603中，運算設備140的處理單元501會根據上述的影像，執行影像處理操作以取得障礙物的範圍、目的地位置以及地面機器人120的位置，並且根據障礙物的範圍、目的地位置以及地面機器人120的位置執行路徑規劃操作以產生控制訊號，並透過通訊單元503發送此控制訊號至地面機器人120。在步驟S605中，地面機器人120的通訊單元307會接收控制訊號，並且地面機器人120的運動控制單元303會根據此控制訊號移動至目的地位置。之後，當地面機器人120到達目的地位置時，地面機器人120可以藉由環境檢測單元305執行環境檢測操作(亦稱為，第一環境檢測操作)。
圖7是依照本發明的一實施例所繪示的影像處理操作與控制地面機器人移動的方法的流程圖。
請參照圖7，圖7的方法可以用於詳細說明圖6的步驟S603至步驟S607。當運算設備140接收到來自空中機器人110所截取的影像後，在步驟S701中，運算設備140的處理單元501會對所接收到的影像進行(Color Model Transfer)操作。例如，將所接收到的影像轉換成HSV模型。
之後，在步驟S703中，運算設備140的處理單元501會對色彩模型轉換後的影像進行去噪操作，以去除影像中的雜訊。接著，在步驟S705中，運算設備140的處理單元501會設定一第一門檻值，並使用此第一門檻值來過濾出在影像中的障礙物。在此須說明的是，可以事先透過分析障礙物的特徵(例如，顏色或紋路)來決定用於過濾影像中的障礙物的第一門檻值。接著，在步驟S707中，運算設備140的處理單元501會對影像進行形態學(Morphology)中的斷開運算(Open Operator)。
之後，在步驟S709中，運算設備140的處理單元501會根據步驟S705與步驟S707所找出的障礙物來使用最小矩形對影像進行框選，用以框選出障礙物在影像中的區域。之後，在步驟S711中，可以根據在步驟S709中所框選出的範圍取得障礙物的範圍的位置。特別是，通常障礙物會較於零碎，因此將多個障礙物框選為一個障礙物的範圍，可以較易於做路徑的規劃並且避免地面機器人120撞上障礙物的範圍中的障礙物。須說明的是，根據影像中的區域得到對應的位置座標可以經由習知技術來完成，故在此並不贅述。
此外，在步驟S713中，運算設備140的處理單元501會設定一第二門檻值，並使用此第二門檻值來過濾出在影像中的目的地與地面機器人120。特別是，目的地通常是受到汙染或災害的區域，可以根據汙染的特性(例如，水質的顏色)來辨別出目的地的位置。此外，地面機器人120也可以具有特定的圖樣，而此圖樣可以用於來辨識出地面機器人120在空中機器人110所截取的影像中的位置。
接著，在步驟S715中，運算設備140的處理單元501會對影像進行形態學(Morphology)中的斷開運算(Open Operator)。並且在步驟S717中，運算設備140的處理單元501會從影像中找出多個區域，此些區域包括關於目的地的區域以及關於地面機器120的區域。之後，在步驟S719中，運算設備140的處理單元501會對影像中關於目的地的區域進行計算以產生目的地的位置坐標。(例如，X座標與Y座標)。在步驟S721中，運算設備140的處理單元501會對影像中關於機器人的區域進行計算以產生地面機器人120的位置坐標。(例如，地面機器人120的X座標與Y座標)。須說明的是，根據影像中的區域得到對應的位置座標可以經由習知技術來完成，故在此並不贅述。
當執行完上述的步驟S711與S721後，運算設備140的處理單元501可以得到障礙物的範圍、目的地位置以及地面機器人120的位置。之後，在步驟S723中，運算設備140的處理單元501可以判斷由步驟S711與步驟S721所取得的資訊是否足以進行路徑的規劃。當所取得的資訊不足以進行路徑的規劃時，會返回步驟S705與步驟S713來重新進行步驟S705至步驟S711與步驟S713至步驟S721，並且重新取得障礙物的範圍、目的地位置以及地面機器人120的位置。
當所取得的資訊足以進行路徑的規劃時，運算設備140的處理單元501可以根據障礙物的範圍、目的地位置以及地面機器人120的位置執行路徑規劃操作以產生控制訊號，並透過運算設備140的通訊單元503發送此控制訊號至地面機器人120。其中，路徑規劃的方法可以藉由習知的方法來實現，故在此並不贅述。
當運算設備140的通訊單元503發送控制訊號至地面機器人120後，在步驟S725中，地面機器人120的運動控制單元303可以根據此控制訊號進行移動(即，導航)，且運算設備140可以持續地執行例如上述的步驟S701至S721並且從步驟S721取得地面機器人120的目前的位置以進行關於地面機器人120的路徑追蹤(Path Tracking)。
之後，在步驟S727中，地面機器人120的運動控制單元303會根據控制訊號移動地面機器人120至往目的地位置的路徑上的多個中介點的其中之一。最後在步驟S729中，地面機器人120可以抵達目的地位置。在此須說明的是，在上述的路徑規劃操作中，運算設備140會決定出一條從地面機器人120的目前位置前往目的地位置的路徑，且此路徑會避開上述障礙物的範圍。此外，此條路徑上會包括多個中介點，而地面機器人120可以根據控制訊號的指示前往上述多個中介點的其中之一。例如，控制訊號用以指出前往目的地位置的多個中介點，而地面機器人120可以根據控制訊號前往距離地面機器人120的目前位置最近的中介點，並且依序抵達後續各個中介點，最後抵達目的地位置。
特別是，當地面機器人120抵達目的地位置後，地面機器人120可以執行環境檢測操作(亦稱為，第一環境檢測操作)。例如，地面機器人120可以使用環境檢測單元305來檢測目的地位置的水質。之後，地面機器人120可以透過通訊單元307發送關於目的地水質的資訊至運算設備140進行後續的分析。
值得一提的是，在一範例實施例中，空中機器人110會透過環境檢測單元207來偵測空氣的品質。空中機器人110可以透過通訊單元209發送關於目前環境的空氣品質的資訊至運算設備140進行後續的分析。此外，空中機器人110還可以與運算設備140來根據亂流的大小來判斷是否通過亂流。空中機器人110還可以使用影像辨識的方式來進行降落。
詳細來說，圖8是依照本發明的一實施例所繪示的應用於空中機器人的方法的流程圖。
請參照圖8，當空中機器人110飛行於空中時，在步驟S801中，空中機器人110可以使用環境檢測單元207來檢測空中機器人110所處的環境的空氣品質。在本範例實施例中，環境檢測單元207是粉塵感測器（dust sensor），可以用來檢測空氣中懸浮粒子的直徑。
此外，當空中機器人110飛行於空中並執行上述步驟S801的同時，在步驟S803中，空中機器人110可以判斷所遭遇的亂流的大小是否大於一門檻值。當空中機器人110所遭遇的亂流的大小大於上述的門檻值時，在步驟S805中，空中機器人110可以避開亂流。反之，當空中機器人110所遭遇的亂流的大小非大於上述的門檻值時，在步驟S807中，空中機器人110可以通過亂流。
例如，空中機器人110可以透過角速度感測器來偵測空中機器人110在飛行時的三軸方向(即，X軸方向、Y軸方向與Z軸方向)的角速度，並且傳送此些角速度至運算設備140。運算設備140可以根據此些角速度來判斷空中機器人110所遭遇的亂流是否大於上述的門檻值。例如，運算設備140可以對各個方向的角速度來進行量化以產生一數值，並且判斷此數值是否大於上述的門檻值。當量化的數值大於門檻值時，運算設備140可以產生控制訊號並傳送此控制訊號至空中機器人110。空中機器人110可以根據此控制訊號避開亂流。此外，當量化的數值非大於門檻值時，運算設備140可以產生控制訊號並傳送此控制訊號至空中機器人110，空中機器人110可以根據此控制訊號通過亂流。
須注意的是，本發明並不用於限定如何根據角速度判斷亂流大小的過程。此外，在一實施例中，空中機器人110也可以是配置都普勒雷達來偵測亂流的大小，並且根據都普勒雷達所偵測到的數值來判斷空中機器人110所遭遇的亂流的大小是否大於上述的門檻值。
此外，當空中機器人110飛行在空中時，在步驟S809中，空中機器人110可以判斷是否接收到降落訊號。當空中機器人110沒有接收到降落訊號時，可以繼續執行步驟S801以進行空氣品質的監測。此外，當空中機器人110接收到降落訊號時，在步驟S811中，空中機器人110可以進行降落操作。其中，上述的降落訊號例如是由使用者透過運算設備140所發送。
在一範例實施例中，空中機器人110可以降落在地面機器人120上。例如，當空中機器人110飛行在陸地上空時，若空中機器人110的電力不足時，使用者可以例如透過運算設備140下達降落指令(亦稱為，第二降落指令)。當空中機器人110接收到例如來自運算設備140的降落指令時，空中機器人110可以降落在地面機器人120上。此外，當空中機器人120降落在地面機器人120上時，地面機器人120可以提供充電的功能來對空中機器人110進行充電。之後，空中機器人110可以再次地起飛。
此外，在一範例實施例中，空中機器人110也可以降落在海上機器人上。例如，當空中機器人110飛行在海面上時，若空中機器人110的電力不足時，使用者可以例如透過運算設備140下達降落指令(亦稱為，第一降落指令)。當空中機器人110接收到例如來自運算設備140的降落指令時，空中機器人110可以降落在海上機器人130上。此外，當空中機器人110降落在海上機器人130上時，海上機器人130可以提供充電的功能來對空中機器人110進行充電。之後，空中機器人110可以再次地起飛並飛往海面上距離陸地更遠的地方。也就是說，由於海上機器人130可以儲存較多的電力，藉由空中機器人110與海上機器人130的搭配，可以使空中機器人110前往海面上距離陸地更遠的地方。
特別是，在本範例實施利中，地面機器人120與海上機器人130可以分別包括一降落區域，此降落區域會包括一特定圖樣(例如，類似字母 “H”的圖樣)。當空中機器人110接收到降落指令時，空中機器人110可以透過影像擷取單元205來截取一影像並透過通訊單元209傳送此影像至運算設備140。運算設備140可以根據所接收的影像來進行影像辨識操作，以從所接收的影像中辨識出降落區域中的特定圖樣。當運算設備140辨識出降落區域中的特定圖樣後，可以對應地產生降落區域的座標並且根據此座標產生一控制訊號。之後，運算設備140可以傳送此控制訊號至空中機器人110，空中機器人110可以根據此控制訊號取得降落區域的座標，進而降落在目標區域中。然而本發明不限於此，空中機器人110也可以是使用GPS定位的方式來進行降落。
綜上所述，本發明提供一種機器人合作系統，可以使用空中機器人、地面機器人與海上機器人三者來彼此合作進行災害應變。透過空中機器人所拍攝的影像來對地面機器人的行動路徑做規劃，使得地面機器人可以避開障礙物抵達目的位置進行水質的檢測。此外，空中機器人可以用來偵測空氣品質，並且可以降落於地面機器人或是海上機器人。藉由陸、海、空三個機器人的協同合作，可以更方便於救難工作。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧機器人合作系統
110‧‧‧空中機器人
120‧‧‧地面機器人
130‧‧‧海上機器人
140‧‧‧運算設備
150‧‧‧網路
201‧‧‧處理單元
203‧‧‧運動控制單元
205‧‧‧影像擷取單元
207‧‧‧環境檢測單元
209‧‧‧通訊單元
301‧‧‧處理單元
303‧‧‧運動控制單元
305‧‧‧環境檢測單元
307‧‧‧通訊單元
401‧‧‧處理單元
403‧‧‧運動控制單元
405‧‧‧通訊單元
501‧‧‧處理單元
503‧‧‧通訊單元
S601‧‧‧空中機器人拍攝影像，並傳送影像至運算設備的步驟
S603‧‧‧運算設備根據上述的影像，執行影像處理操作以取得障礙物的範圍、目的地位置以及地面機器人的位置，根據障礙物的範圍、目的地位置以及地面機器人的位置執行路徑規劃操作以產生控制訊號，並且發送控制訊號至地面機器人的步驟
S605‧‧‧地面機器人接收控制訊號，根據控制訊號移動至目的地位置的步驟
S607‧‧‧當地面機器人到達目的地位置時，執行環境檢測操作的步驟
S701‧‧‧色彩模型轉換的步驟
S703‧‧‧去噪操作的步驟
S705‧‧‧設定第一門檻值的步驟
S707‧‧‧斷開運算的步驟
S709‧‧‧最小矩形對影像進行框選的步驟
S711‧‧‧取得障礙物的範圍的步驟
S713‧‧‧設定第二門檻值的步驟
S715‧‧‧斷開運算的步驟
S717‧‧‧從影像中找出多個區域的步驟
S719‧‧‧產生目的地的位置坐標的步驟
S721‧‧‧產生地面機器人的位置坐標的步驟
S723‧‧‧路徑規劃的步驟
S725‧‧‧導航與路線追蹤的步驟
S727‧‧‧移往中介點的步驟
S729‧‧‧抵達目的地位置的步驟
S801‧‧‧檢測空氣品質的步驟
S803‧‧‧判斷亂流的大小是否大於門檻值的步驟
S805‧‧‧避開亂流的步驟
S807‧‧‧通過亂流的步驟
S809‧‧‧判斷是否接收到降落訊號的步驟
S811‧‧‧降落的步驟
圖1是依照本發明的一實施例所繪示的機器人合作系統的方塊圖。 圖2是依照本發明的一實施例所繪示的空中機器人的方塊圖。 圖3是依照本發明的一實施例所繪示的地面機器人的方塊圖。 圖4是依照本發明的一實施例所繪示的海上機器人的方塊圖。 圖5是依照本發明的一實施例所繪示的運算設備的方塊圖。 圖6是依照本發明的一實施例所繪示的機器人合作方法的流程圖。 圖7是依照本發明的一實施例所繪示的影像處理操作與控制地面機器人移動的方法的流程圖。 圖8是依照本發明的一實施例所繪示的應用於空中機器人的方法的流程圖。
Claims (9)
- 一種機器人合作系統，包括： 一空中機器人，包括： 一影像擷取單元，擷取一影像；以及 一第一通訊單元，傳送該影像； 一運算設備，包括： 一第二通訊單元，接收該影像；以及 一第一處理單元，根據該影像，執行一影像處理操作以取得一障礙物的範圍、一目的地位置以及一地面機器人的一位置，並且根據該障礙物的範圍、該目的地位置以及該地面機器人的該位置執行一路徑規劃操作以產生一控制訊號，並透過該第二通訊單元發送該控制訊號；以及 該地面機器人，包括： 一第三通訊單元，接收該控制訊號； 一運動控制單元，根據該控制訊號移動該地面機器人至該目的地位置；以及 一第一環境檢測單元，當該地面機器人到達該目的地位置時，執行一第一環境檢測操作。
- 如申請專利範圍第1項所述的機器人合作系統，其中該第一環境檢測單元用以檢測該目的地位置的水質。
- 如申請專利範圍第1項所述的機器人合作系統，其中該空中機器人更包括一第二環境檢測單元，該第二環境檢測單元用以檢測該空中機器人所處的環境的一空氣品質。
- 如申請專利範圍第1項所述的機器人合作系統，更包括： 一海上機器人，其中當該空中機器人接收到一第一降落指令時，該空中機器人降落在該海上機器人上。
- 如申請專利範圍第4項所述的機器人合作系統，其中當該空中機器人降落在該海上機器人上時，該海上機器人對該空中機器人進行充電。
- 如申請專利範圍第1項所述的機器人合作系統，其中當該空中機器人接收到一第二降落指令時，該空中機器人降落在該地面機器人上。
- 如申請專利範圍第6項所述的機器人合作系統，其中當該空中機器人降落在該地面機器人上時，該地面機器人對該空中機器人進行充電。
- 如申請專利範圍第1項所述的機器人合作系統，其中在根據該控制訊號移動該地面機器人至該目的地位置的運作中， 該第二運動控制單元根據該控制訊號移動該地面機器人至往該目的地位置的一路徑上的多個中介點的其中之一， 其中往該目的地位置的該路徑會避開該障礙物的範圍。
- 如申請專利範圍第1項所述的機器人合作系統，其中該影像處理操作包括色彩模型轉換操作、去噪操作、型態學操作的其中之一。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105131499A TWI631483B (zh) | 2016-09-30 | 2016-09-30 | 機器人合作系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105131499A TWI631483B (zh) | 2016-09-30 | 2016-09-30 | 機器人合作系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201812518A TW201812518A (zh) | 2018-04-01 |
| TWI631483B true TWI631483B (zh) | 2018-08-01 |
Family
ID=62639524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105131499A TWI631483B (zh) | 2016-09-30 | 2016-09-30 | 機器人合作系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI631483B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI700593B (zh) * | 2018-10-15 | 2020-08-01 | 碁曄科技股份有限公司 | 應用飛行載具之汙染源搜尋系統及其方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109676611B (zh) * | 2019-01-25 | 2021-05-25 | 北京猎户星空科技有限公司 | 多机器人协同服务方法、装置、控制设备及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090294584A1 (en) * | 2008-06-02 | 2009-12-03 | Gilbert Lovell | Stabilized UAV recovery system |
| TWM377016U (en) * | 2009-10-09 | 2010-03-21 | Geosat Informatics & Technology Co Ltd | Remote sensing system carried on unmanned aerial vehicle |
| CN105096662A (zh) * | 2015-07-24 | 2015-11-25 | 陶文英 | 一种合作驾驶航空器系统的设计方法及系统 |
| CN105517664A (zh) * | 2014-05-30 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 无人飞行器对接系统及方法 |
-
2016
- 2016-09-30 TW TW105131499A patent/TWI631483B/zh not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090294584A1 (en) * | 2008-06-02 | 2009-12-03 | Gilbert Lovell | Stabilized UAV recovery system |
| TWM377016U (en) * | 2009-10-09 | 2010-03-21 | Geosat Informatics & Technology Co Ltd | Remote sensing system carried on unmanned aerial vehicle |
| CN105517664A (zh) * | 2014-05-30 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 无人飞行器对接系统及方法 |
| CN105096662A (zh) * | 2015-07-24 | 2015-11-25 | 陶文英 | 一种合作驾驶航空器系统的设计方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI700593B (zh) * | 2018-10-15 | 2020-08-01 | 碁曄科技股份有限公司 | 應用飛行載具之汙染源搜尋系統及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201812518A (zh) | 2018-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI827649B (zh) | 用於ｖｓｌａｍ比例估計的設備、系統和方法 | |
| Hood et al. | Bird's eye view: Cooperative exploration by UGV and UAV | |
| CN109885080B (zh) | 自主控制系统及自主控制方法 | |
| Huntsberger et al. | Stereo vision–based navigation for autonomous surface vessels | |
| JP6029446B2 (ja) | 自律飛行ロボット | |
| Mendonça et al. | A cooperative multi-robot team for the surveillance of shipwreck survivors at sea | |
| Wang et al. | Cooperative USV–UAV marine search and rescue with visual navigation and reinforcement learning-based control | |
| WO2018179404A1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| CN112740226A (zh) | 基于人体指示的可移动物体的操作系统和方法 | |
| Zsedrovits et al. | Visual detection and implementation aspects of a UAV see and avoid system | |
| Premachandra et al. | A study on hovering control of small aerial robot by sensing existing floor features | |
| TWI631483B (zh) | 機器人合作系統 | |
| Suzuki et al. | Real-time hazard map generation using small unmanned aerial vehicle | |
| Sinisterra et al. | A USV platform for surface autonomy | |
| Lippiello et al. | Closed-form solution for absolute scale velocity estimation using visual and inertial data with a sliding least-squares estimation | |
| Do Trong et al. | A novelty approach to emulate field data captured by unmanned aerial vehicles for training deep learning algorithms used for search-and-rescue activities at sea | |
| EP3989034B1 (en) | Automatic safe-landing-site selection for unmanned aerial systems | |
| JP6807093B1 (ja) | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 | |
| Chen et al. | Aerial robots on the way to underground: An experimental evaluation of VINS-mono on visual-inertial odometry camera | |
| Tippetts et al. | FPGA implementation of a feature detection and tracking algorithm for real-time applications | |
| JP6807092B1 (ja) | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 | |
| Sato et al. | A simple autonomous flight control method of quadrotor helicopter using only single Web camera | |
| Do Trong et al. | Autonomous Detection and Approach Tracking of Moving Ship on the Sea by VTOL UAV based on Deep Learning Technique through Simulated Real-time On-Air Image Acquisitions | |
| Chuttur et al. | Design and implementation of an autonomous wheeled robot using iot with human recognition capability | |
| CN113566827A (zh) | 一种基于信息融合的变电站巡检机器人室内定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |