TWI772909B - 標註方法、應用其之裝置、系統、方法及電腦程式產品 - Google Patents

標註方法、應用其之裝置、系統、方法及電腦程式產品 Download PDF

Info

Publication number
TWI772909B
TWI772909B TW109133623A TW109133623A TWI772909B TW I772909 B TWI772909 B TW I772909B TW 109133623 A TW109133623 A TW 109133623A TW 109133623 A TW109133623 A TW 109133623A TW I772909 B TWI772909 B TW I772909B
Authority
TW
Taiwan
Prior art keywords
image
area
dimensional
pick
accessible
Prior art date
Application number
TW109133623A
Other languages
English (en)
Other versions
TW202207085A (zh
Inventor
蔡承翰
洪國峰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to CN202110381575.2A priority Critical patent/CN114092632A/zh
Priority to US17/364,072 priority patent/US11562527B2/en
Publication of TW202207085A publication Critical patent/TW202207085A/zh
Application granted granted Critical
Publication of TWI772909B publication Critical patent/TWI772909B/zh

Links

Images

Abstract

自動生成圖像與標註圖像中可取放區的方法包括以下步驟。首先，在生成背景條件下，生成三維圖像，三維圖像包括至少一三維物件影像。然後，擷取三維圖像之二維圖像，二維圖像包括三維物件影像之一二維物件影像。然後，辨識二維物件影像之一物件區域。然後，取得二維物件影像的露出區域之露出面積占物件區域之物件面積的一露出比例。然後，判斷露出比例是否大於預設比例。然後，當露出比例大於預設比例，定義露出區域為可取放區。

Description

標註方法、應用其之裝置、系統、方法及電腦程 式產品
本揭露是有關於一種標註圖像中可取放區的方法、應用其之裝置、取放系統、取放方法及電腦程式產品，且本揭露特別是有關於一種自動生成圖像與標註圖像中可取放區的方法、應用其之裝置、取放系統、取放方法及電腦程式產品。
習知標註方法係以人工拍攝實體物件的二維物件影像，然後再以人工標註二維物件影像中的可取放放區後，再採用機械學習技術對此些標註資訊進行學習。然而，機械學習通常需要大量的二維物件影像，因此以人工拍攝實體物件的二維物件影像的方式相當耗時且沒有效率。因此，如何改善前述習知問題是本技術領域業者努力的目標之一。
本揭露一實施例提出一種自動生成圖像與標註圖像中可取放區的方法。自動生成圖像與標註圖像中可取放區的方法包括以下步驟：在一生成背景條件下，生成一三維圖像，三維圖像包括至少一三維物件影像；擷取三維圖像之一二維圖像，二維圖像包括三維物件影像之一二維物件影像；辨識二維物件影像之一物件區域；取得二維物件影像的一露出區域之一露出面積占物件區域之一物件面積的一露出比例；判斷露出比例是否大於一預設比例；以及，當露出比例大於預設比例，定義露出區域為一可取放區。
本揭露另一實施例提出一種自動生成圖像與標註圖像中可取放區的裝置。裝置包括一生成器、一裝置攝像器及一標註器。生成器用以在一生成背景條件下，生成一三維圖像，其中三維圖像包括至少一三維物件影像。裝置攝像器用以擷取三維圖像之一二維圖像，其中二維圖像包括三維物件影像之一二維物件影像。標註器用以：辨識二維物件影像之一物件區域；取得物件區域的一露出區域之一露出面積占物件區域之一物件面積的一露出比例；判斷露出比例是否大於一預設比例；及，當露出比例大於預設比例，定義露出區域為一可取放區。
本揭露另一實施例提出一種取放系統。取放系統包括一自動生成圖像與標註圖像中可取放區的裝置、一系統攝像器、一機械手臂及一控制器。裝置包括一生成器、一裝置攝像器及一標註器。生成器用以在一生成背景條件下，生成一三維圖像， 其中三維圖像包括至少一三維物件影像。裝置攝像器用以擷取三維圖像之一二維圖像，其中二維圖像包括三維物件影像之一二維物件影像。標註器用以：辨識二維物件影像之一物件區域；取得物件區域的一露出區域之一露出面積占物件區域之一物件面積的一露出比例；判斷露出比例是否大於一預設比例；及，當露出比例大於預設比例，定義露出區域為一第一可取放區。系統攝像器用以擷取一實體物件之一二維圖像，二維圖像包含一二維物件影像。控制器電性連接於裝置且用以：分析二維物件影像，並依據裝置所取得之第一可取放區的資訊，取得二維物件影像之一第二可取放區；及，控制機械手臂取放實體物件之對應第二可取放區的一可取放部。
本揭露另一實施例提出一種取放方法。取放方法包括以下步驟。在一生成背景條件下，生成一三維圖像，三維圖像包括至少一三維物件影像；擷取三維圖像之一二維圖像，二維圖像包括三維物件影像之一二維物件影像；辨識二維物件影像之一物件區域；取得物件區域的一露出區域之一露出面積占物件區域之一物件面積的一露出比例；判斷露出比例是否大於一預設比例；當露出比例大於預設比例，定義露出區域為一第一可取放區；擷取一實體物件之一二維圖像，二維圖像包含一二維物件影像；分析二維物件影像，並依據第一可取放區的資訊，取得二維物件影像之一第二可取放區；以及，控制一機械手臂取放實體物件之對應第二可取放區的一可取放部。
本揭露另一實施例提出一種電腦程式產品。電腦程式產品用以載入於一自動生成圖像與標註圖像中可取放區的裝置，以執行一自動生成圖像與標註圖像中可取放區的方法。方法包括：在一生成背景條件下，生成一三維圖像，三維圖像包括至少一三維物件影像；擷取三維圖像之一二維圖像，二維圖像包括三維物件影像之一二維物件影像；辨識二維物件影像之一物件區域；取得二維物件影像的一露出區域之一露出面積占物件區域之一物件面積的一露出比例；判斷露出比例是否大於一預設比例；以及，當露出比例大於預設比例，定義露出區域為一可取放區。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
10:取放系統
11:取放器
11a:取放口
12:機械手臂
13:系統攝像器
14:控制器
100:裝置
110:生成器
120:裝置攝像器
130:標註器
AER:露出面積
AOR:物件面積
A11:取放口面積
C1:第二可取放區
D:資訊
H1:預設深度
O1:實體物件
O11:可取放部
M2D,M2D,1,M2D,2,MO,2D,MO,2D,1,MO,2D,2:二維物件影像
M3D:三維物件影像
MOR,MOR,1,MOR,2,MOR1,MOR2,MOR3,MOR4:物件區域
MER,MER1,MER2:露出區域
MSR:被遮蔽部區域
MV:容器影像
MV1:底部
P2D,PO,2D:二維圖像
P3D:三維圖像
R:露出比例
S110~S160,S210~S250:步驟
第1圖繪示依照本揭露一實施例之自動生成圖像與標註圖像中第一可取放區的裝置的功能方塊圖。
第2圖繪示第1圖之裝置之生成器所生成之三維圖像的示意圖。
第3圖繪示第2圖之裝置之裝置攝像器所擷取之二維圖像的示意圖。
第4圖繪示依照本揭露另一實施例之三維圖像的深度視角示意圖。
第5圖繪示第3圖之數個二維物件影像的示意圖。
第6圖繪示依照本揭露實施例之取放系統的示意圖。
第7圖繪示第6圖之裝置的自動生成圖像與標註圖像中第一可取放區的流程圖。
第8圖繪示第6圖之取放系統的取放實體物件的取放流程圖。
第9圖繪示第6圖之取放系統所擷取之二維物件影像的示意圖。
請參照第1~6圖，第1圖繪示依照本揭露一實施例之自動生成圖像與標註圖像中可取放區的裝置100的功能方塊圖，第2圖繪示第1圖之裝置100之生成器110所生成之三維圖像P3D的示意圖，第3圖繪示第2圖之裝置100之裝置攝像器120所擷取之二維圖像P2D的示意圖，第4圖繪示依照本揭露另一實施例之三維圖像P3D的深度視角示意圖，第5圖繪示第3圖之數個二維物件影像M2D的示意圖，而第6圖繪示依照本揭露實施例之取放系統10的示意圖。
如第1圖所示，裝置100包括生成器110、裝置攝像器120及標註器130。生成器110、裝置攝像器120與標註器130中至少二者可整合成單一元件，或者，生成器110、裝置攝像器120與標註器(或標記器)130至少一者可整合至裝置100的一處理器(processor)(未繪示)或一控制器(controller)(未繪示)。生成器110、裝置攝像器120與標註器130中至少一者可採用例如是半導體製程所形成的實體電路結構(circuit)，例如是半導體晶片、半導體封裝件或其它類型的電路結構。
生成器110用以生成一三維圖像P3D，其中三維圖像P3D包括至少一三維物件影像M3D。裝置攝像器120用以擷取三維圖像P3D之二維圖像P2D，其中二維圖像P2D包括三維物件影像M3D之二維物件影像M2D。標註器130用以：(1).辨識二維物件影像M2D之物件區域MOR；(2).取得物件區域MOR的露出區域MER之露出面積AER占物件區域MOR之物件面積AOR的露出比例R；(3).判斷露出比例R是否大於預設比例；以及，(4).當露出比例R大於預設比例，定義露出區域MER為一第一可取放區。前述的物件區域MOR之物件面積AOR例如是物件區域MOR的影像之外邊界所圍繞區域的面積。相較於人工標註(或標記)，本揭露實施例係以裝置100快速地標註二維物件影像的第一可取放區，相對較省時、快速且更有效率。
如第5圖所示，以二維物件影像M2D,1及M2D,2舉例來說，二維物件影像M2D,1重疊於二維物件影像M2D,2上，因此二維物件影像M2D,2之物件區域MOR,2部分被二維物件影像M2D,1之物件區域MOR,1覆蓋。詳言之，二維物件影像M2D,2之物件區域MOR,2包含一被遮蔽部區域MSR、露出區域MER1及露出區域MER2，其中被遮蔽部區域MSR被二維物件影像M2D,1覆蓋，而露出區域MER1及露出區域MER2從二維物件影像M2D,1露出。
標註器130透過影像分析技術，辨識物件區域MOR,1的範圍、物件區域MOR,2的範圍以及物件區域MOR,2的被遮蔽部區域MSR的範圍、露出區域MER1的範圍及露出區域MER2的範圍，並 據以計算物件區域MOR,1的面積、物件區域MOR,2的面積、物件區域MOR,2的被遮蔽部區域MSR的面積、露出區域MER1的面積及露出區域MER2的面積。前述「辨識區域的範圍」例如是「取得區域之影像的數個像素點的各座標」。
在取得面積後，標註器130可計算露出區域MER之露出面積AER占物件區域MOR之物件面積AOR的露出比例R，並將露出比例R大於預設比例的露出區域MER定義為一第一可取放區。例如，第5圖的露出區域MER1占物件面積AOR的露出比例R大於該預設比例，因此標註器130將露出區域MER1定義為第一可取放區，而第5圖的露出區域MER2占物件面積AOR的露出比例R不大於該預設比例，因此標註器130不將露出區域MER1定義為第一可取放區。
本揭露實施例不限定前述預設比例的數值，其可以是介於20%~80%之間的任意實數，或者低於20%，例如是0%，或超過80%，例如是100%。當預設比例設為0%時，在實際取放流程中，只要是有露出區域的實體物件都可被取放。當預設比例設為100%時，在實際取放流程中，只有完全露出的實體物件才會被取放。預設比例可視物件種類及/或所處環境而定，本揭露實施例不加以限定。
在一實施例中，如第5圖所示，標註器130更用以：(1).判斷取放器11(繪示於第6圖)之取放口11a(繪示於第6圖)的取放口面積A11是否完全落於露出區域MER內，其中取放口面積A11可以 是預先設定的資訊；(2).當取放口面積A11完全落於露出區域MER內，定義露出區域MER為第一可取放區。舉例來說，如第5圖所示，標註器130採用影像處理技術，判斷取放口面積A11完全落於露出區域MER1內，因此將此露出區域MER1定義為第一可取放區。
在一實施例中，標註器130更用以：(1).判斷三維物件影像M3D的所在深度是否大於預設深度；(2).當三維物件影像M3D的所在深度大於預設深度，針對高於預設深度之物件區域MOR，執行辨識二維物件影像M2D之物件區域MOR之步驟、取得露出比例R之步驟、判斷露出比例R是否大於預設比例之步驟及定義露出區域MER為第一可取放區之步驟。
舉例來說，如第4圖所示，三維圖像P3D更包括一容器影像MV，全部三維物件影像M3D位於容器影像MV內。由於接近容器影像MV的底部MV1的三維物件影像M3D被上方三維物件影像M3D覆蓋的機率或覆蓋的區域大，因此可考慮忽略不計。基於此，標註器130可只分析高於預設深度H1之物件區域，例如是物件區域MOR1、MOR2、MOR3及MOR4。如此，裝置100分析三維物件影像M3D的數量可減少，可加快分析速度以及減少分析所需時間。標註器130分析前述物件區域MOR1、MOR2、MOR3及MOR4的方式類似或同於分析第5圖之物件區域MOR,1及物件區域MOR,2的方式，容此不再贅述。
此外，第4圖僅是為了示意預設深度H1，裝置100實際上仍是透過分析第3圖之二維圖像P2D取得高於預設深度H1 之物件區域。此外，標註器130對於不同二維圖像P2D可採用不同預設深度H1分析物件區域。例如，當二維圖像P2D的物件數量堆疊較高時，預設深度H1可愈高。
以第一可取放區之資訊D的應用來說，如第6圖所示，標註器130可輸出第一可取放區之資訊D給一電子檔案(file)(未繪示)，或輸出給取放系統10(繪示於第6圖)之機械手臂12或控制器14。在一實施例中，第一可取放區之資訊D包含物件區域MOR的物件名稱及第一可取放區的數個像素點的各座標值。以輸出給取放系統10來說，取放系統10在實際進行取放至少一實體物件O1的過程，可依據第一可取放區之資訊D，取得此至少一實體物件O1中對應第一可取放區的一可取放部O11，並透過該可取放部，方便/快速取放實體物件O1。
如第2圖所示，三維物件影像M3D例如是一物品的三維物件影像，此物品例如是容器、工具、文具、玩偶(如布偶等)等任何可供取放系統10取放的物件。前述容器例如是寶特瓶、玻璃瓶、利樂包、水壺、包包等各種領域的容器，工具例如是板手、鎚子等各領域所使用的處理工具，而文具例如是筆、立可帶、釘書機等各種文書處理文具。本揭露實施例不限定物品的種類，其可以是任何可供取放系統10取放的物件。此外，物件可具有硬質性、軟質性或其組合，其中軟質性表示物件具有較大可變形性或可撓性，此類物件例如是由紙、布、橡膠、塑膠(可能厚度薄)或其組合之材質所製成。硬質性表示物件具有小可變形性或小可撓 性，此類物件例如是由金屬、玻璃、塑膠(可能是厚度大)、木頭或其組合之材質所製成。
在本實施例中，裝置攝像器120例如是虛擬攝像器，詳言之，裝置攝像器120並非實體攝像器。生成器110所生成的是三維圖像P3D，其包含至少一三維物件影像M3D。裝置100可透過裝置攝像器120擷取三維物件影像M3D的二維物件影像M2D，以利後續對於二維物件影像M2D之第一可取放區的分析。
此外，裝置100可在一生成背景條件下分析第一可取放區。生成背景條件包含光源種類、光源數量、光源姿態、光源照射角度、物件種類、物件數量、物件表面紋理、物件姿態、背景環境、裝置攝像器120的攝像視角及/或裝置攝像器120與物件的距離等各種模擬(或相似於)取放系統10所處實際環境的環境參數。標註器可基於前述環境參數之任意組合，執行隨機演算法，以使一或多個三維模型，基於被隨機產生的參數，於包含一光源物件的一模擬場景中，生成物件姿態參數皆不同、且可即時產生光影變化的多個虛擬物件。
就光源參數而言，光源參數例如為一定向光源(Directional Light)、一點光源(Point Light)、一聚光源(Spot Light)與一天空光源(Sky Light)其中一種。此外，不同的光源姿態能讓虛擬物件(三維物件影像M3D)因不同打光位置，而產生不同的光影變化。就物件姿態參數而言，物件姿態參數可例如可以X、Y及Z軸數值表示的一位置資訊(Location)、一旋轉度資訊 (Rotation)、一比例資訊(Scale)的組合，前述的位置資訊可例如被表示為(x,y,z)或(x,y,z,rx,ry,rz)，其中的x、y及z分別為X、Y及Z軸的座標值，而rx、ry、rz分別為繞x、y、z軸旋轉的物理量(r是旋轉(rotation)之意)，如角度值。
隨機產生前述的物件姿態參數時，若以標註器(模擬器)為Unreal引擎為例，可應用例如Random Rotator、Random Rotator from Stream、Random Float in Range、Random Float in Range from Stream、Random Integer、Random Integer From Stream、Random Point in Bounding Box等函數的隨機演算法，以隨機產生各虛擬物件的物件姿態參數。若以標註器為Unreal引擎為例，隨機演算法可例如為標註器提供的Random Integer、Random Integer From Stream、Random Integer in Range、Random Integer In Range From Stream等函數，但不以此為限，只要能產生隨機輸出值的函數，均可視需求採用。
就環境物件參數而言，環境物件參數例如是位於裝置攝像器之視野中的一背景物件，例如物料籃或料車，其中，物料籃本身也有定義的物件姿態參數、物件種類參數及/或材質參數(material)，使得物料籃的顏色、紋理及/或大小可於標註器中被定義，而物料籃的種類及/或大小亦可作為賦予物料籃之標記資訊的一部分。
由於生成背景條件儘可能符合或接近取放系統10實際上的所處環境，因此所分析取得的第一可取放區資訊D能增加 取放系統10在實際取放物件時的取放成功率(第一可取放區的辨識正確率愈高，實際取放成功率愈高)。
第2圖之三維圖像P3D係在一特定的生成背景條件下所生成的三維圖像。在對一個三維圖像P3D分析完成後，生成器110可改變前述生成背景條件的至少一者，然後生成新的三維圖像P3D，並採用相同分析方式，取得該新的三維圖像P3D的至少一第一可取放區的資訊。生成器110改變生成背景條件的方式例如是隨機改變或依據一設定條件改變，其中設定條件例如是使用者預先輸入。在一實施例中，裝置100所分析的三維圖像P3D的數量等於或大於1。裝置100在不同生成背景條件下所分析的三維圖像P3D的數量愈多，表示樣本數愈多，對於取放系統10在實際取放物件時的取放成功率愈高。本揭露實施例不限定裝置100分析三維圖像P3D的數量，其可以是等於或大於1的任意數量。在一實施例中，裝置100可持續分析不同生成背景條件下的三維圖像P3D。
請參照第7圖，其繪示第6圖之裝置100的自動生成圖像與標註圖像中第一可取放區的流程圖。
在步驟S110中，如第1及2圖所示，生成器110生成三維圖像P3D，其中三維圖像P3D包括至少一三維物件影像M3D。
在步驟S120中，如第1及3圖所示，裝置攝像器120擷取三維圖像P3D之二維圖像P2D，其中二維圖像P2D包括三維物件影像M3D之二維物件影像M2D。
在步驟S130中，標註器130辨識二維物件影像M2D之物件區域MOR。以第5圖的二個二維物件影像M2D,1及M2D,2舉例來說，標註器130可採用影像分析技術，辨識物件區域MOR,1的範圍、物件區域MOR,2的範圍以及物件區域MOR,2的被遮蔽部區域MSR的範圍、露出區域MER1的範圍及露出區域MER2的範圍。
在步驟S140中，標註器130取得物件區域MOR的露出區域MER之露出面積AER占物件區域MOR之物件面積AOR的露出比例R。以第5圖之二維物件影像M2D,2舉例來說，標註器130可採用影像分析技術，計算出物件區域MOR,2的露出區域MER1之露出面積AER占物件區域MOR,2之物件面積AOR的露出比例R。
在步驟S150中，標註器130判斷露出比例R是否大於預設比例。若是，流程進入步驟S160；若否，生成器110改變前述生成背景條件的至少一者，然後流程回到步驟S110。在一實施例中，生成器110可隨機改變前述生成背景條件的至少一者，或依據前述設定條件改變前述生成背景條件的至少一者，然後再回到步驟S110。在一實施例中，在二維圖像P2D中所有二維物件影像M2D都分析完成後，或高於預設深度H1的所有二維物件影像M2D都分析完成後，再回到步驟S110。
在步驟S160中，標註器130定義露出區域MER為第一可取放區。以第5圖之二維物件影像M2D,2舉例來說，由於露出區域MER1占物件面積AOR的露出比例R大於該預設比例，因此標註器130將露出區域MER1定義為第一可取放區。在另一實施例中， 標註器130可採用影像處理技術，判斷取放口面積A11完全落於露出區域MER1內，因此將露出區域MER1定義為第一可取放區。
然後，生成器110可隨機改變前述生成背景條件的至少一者，或依據前述設定條件改變前述生成背景條件的至少一者，然後流程回到步驟S110。在另一實施例中，標註器130可輸出第一可取放區之物件名稱及數個像素點的各座標給機械手臂12(繪示於第6圖)、控制器14(繪示於第6圖)或一電子檔案(file)(未繪示)。
由上可知，裝置100在不同生成背景條件下持續地分析數張三維圖像P3D。所分析的三維圖像P3D的數量愈多(樣本數愈多)，對於取放系統10在實際取放物件時的取放成功率愈高。本揭露實施例不限定裝置100所分析的三維圖像P3D的數量，其可以是等於或大於1的任意正整數。
在實施例中，步驟S110~S160係由裝置100自動及/或主動完成，過程中可不需人工處理，因此可省時、快速且有效率地取得物件區域的第一可取放區資訊。
請參照第8及9圖，第8圖繪示第6圖之取放系統10的取放實體物件O1的取放流程圖，而第9圖繪示第6圖之取放系統10所擷取之二維物件影像MO,2D的示意圖。
首先，提供取放系統10。如第6圖所示，取放系統10包含裝置100、取放器11、機械手臂12、系統攝像器13及控制器 14。控制器14可配置於機械手臂12外，然亦可整合於機械手臂12或配置於裝置100內。
如第6圖所示，取放器11可配置在機械手臂12。在本實施例中，取放器11例如是吸嘴，其連通一真空源(未繪示)，其中真空源可提供真空吸力給取放器11，使取放器11可吸取實體物件O1的可取放部。當真空源未提供真空吸力給取放器11時，取放器11可釋放實體物件O1的可取放部。此外，取放器11具有一取放口11a，取放口11a的取放口面積A11小於實體物件O1的可取放部面積，如此可使用最大吸力吸取實體物件O1。在另一實施例中，取放器11例如是磁吸器，取放器11可選擇性提供磁力或切斷磁力的供應，以取放實體物件O1。在另一實施例中，取放器11也可以是夾持器，以使用夾持方式取放實體物件O1。
如第6圖所示，系統攝像器13例如是實體攝像器，其可擷取至少一實體物件O1的二維圖像PO,2D，其中二維圖像PO,2D包含各實體物件O1的二維物件影像MO,2D。控制器14用以：(1).分析二維物件影像MO,2D，並依據裝置100所提供的第一可取放區的資訊，取得各二維物件影像MO,2D的第二可取放區；(2).控制機械手臂12移動至實體物件O1中對應第二可取放區的一可取放部之上方或周邊；(3).控制取放器11取放實體物件O1的可取放部。
在步驟S210中，控制器14接收來自於裝置100的取放區的資訊D。
在步驟S220中，系統攝像器13擷取實體物件O1之二維圖像PO,2D，二維圖像PO,2D包含至少一二維物件影像MO,2D，如第9圖所示的二維物件影像MO,2D,1及MO,2D,2。
在步驟S230中，控制器14分析二維物件影像MO,2D，並依據裝置100所提供的第一可取放區的資訊D，取得各二維物件影像MO,2D的第二可取放區。以第9圖之二維物件影像MO,2D,2舉例來說，控制器14分析二維物件影像MO,2D,2，並依據裝置100所提供的第一可取放區的資訊D，取得二維物件影像MO,2D,2的第二可取放區C1。由於裝置100已提供控制器14至少一第一可取放區的資訊D，因此控制器14可不需或可省略對二維物件影像MO,2D進行複雜的影像分析，即可快速取得二維物件影像MO,2D的第二可取放區C1的資訊，如大小及/或位置等。
在步驟S240中，控制器14控制機械手臂12移動至實體物件O1中對應第二可取放區C1的可取放部O11(可取放部O11繪示於第6圖)之上方或周邊。
在步驟S250中，控制器14控制取放器11吸取實體物件O1的可取放部O11，以吸取實體物件O1。詳言之，取放器11透過可取放部O11取放實體物件O1。
在一實施例中，第8圖的步驟S240之前，更包含有一座標轉換流程；例如可以是由控制器14將影像座標轉換至機械手臂座標。詳細來說，在系統攝像器13擷取實體物件O1之二維圖像PO,2D(步驟S220)後，控制器14將二維圖像PO,2D的二維影像座標換至機 械手臂12的機械手臂座標，然後再據以控制機械手臂12取放實體物件O1。
此外，在一實施例中，第7及8圖所示的流程可以一電腦程式產品(未繪示)實現。
綜上，本揭露實施例之自動生成圖像與標註圖像中可取放區的裝置可自動生成不同背景條件的至少一圖像，並加以標註圖像中的第一可取放區。此第一可取放區的資訊可輸出成一數位形式檔案或提供給取放系統，以供取放系統使用，例如，取放系統擷取一實體物件的二維物件影像，並依據該第一可取放區的資訊，取得二維物件影像的第二可取放區，因而可透過該實體物件中對應該第二可取放區的可取放部，取放該實體物件。透過本申請之自動生成圖像與標註圖像中可取放區的方法，可使視覺(或影像)辨識成功率高於80%，例如92%以上。
綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
S110~S160:步驟

Claims (17)

  1. 一種自動生成圖像與標註圖像中可取放區的方法，包括：在一生成背景條件下，生成一三維圖像，該三維圖像包括至少一三維物件影像；擷取該三維圖像之一二維圖像，該二維圖像包括該三維物件影像之一二維物件影像；辨識該二維物件影像之一物件區域；取得該二維物件影像的一露出區域之一露出面積占該物件區域之一物件面積的一露出比例；判斷該露出比例是否大於一預設比例；以及當該露出比例大於該預設比例，定義該露出區域為一可取放區。
  2. 如請求項1所述之自動生成圖像與標註圖像中可取放區的方法，更包括：判斷一取放器之一取放口的一取放口面積是否完全落於該露出區域內；其中，於定義該露出區域為該可取放區之步驟更包括：當該取放口面積完全落於該露出區域內，定義該露出區域為該可取放區。
  3. 如請求項1所述之自動生成圖像與標註圖像中可取放區的方法，更包括： 輸出該可取放區之一物件名稱及複數個像素點的各座標值給一機械手臂。
  4. 如請求項1之自動生成圖像與標註圖像中可取放區的方法，更包括：判斷該三維物件影像的一所在深度是否大於一預設深度；當該三維物件影像的該所在深度大於該預設深度，針對高於該預設深度之該物件區域，執行辨識該二維物件影像之該物件區域之步驟、取得該露出比例之步驟、判斷該露出比例是否大於該預設比例之步驟及定義該露出區域為該可取放區之步驟。
  5. 如請求項1所述之自動生成圖像與標註圖像中可取放區的方法，其中該生成該三維圖像之步驟、擷取該三維圖像之該二維圖像之步驟、辨識該二維物件影像之該物件區域之步驟、取得該露出比例之步驟、判斷該露出比例是否大於該預設比例之步驟與定義該露出區域為該可取放區之步驟係由一裝置自動完成。
  6. 如請求項1所述之自動生成圖像與標註圖像中可取放區的方法，更包括：在定義該露出區域為該可取放區後，改變該生成背景條件，然後回到生成該三維圖像之步驟。
  7. 如請求項1所述之自動生成圖像與標註圖像中可取放區的方法，更包括： 當該露出比例不大於該預設比例，改變該生成背景條件，然後回到生成該三維圖像之步驟。
  8. 一種自動生成圖像與標註圖像中可取放區的裝置，包括：一生成器，用以在一生成背景條件下，生成一三維圖像，其中該三維圖像包括至少一三維物件影像；一裝置攝像器，用以擷取該三維圖像之一二維圖像，其中該二維圖像包括該三維物件影像之一二維物件影像；以及一標註器，用以：辨識該二維物件影像之一物件區域；取得該物件區域的一露出區域之一露出面積占該物件區域之一物件面積的一露出比例；判斷該露出比例是否大於一預設比例；及當該露出比例大於該預設比例，定義該露出區域為一可取放區。
  9. 如請求項8所述之自動生成圖像與標註圖像中可取放區的裝置，其中該標註器更用以：判斷一取放器之一取放口的一取放口面積是否完全落於該露出區域內；以及當該取放口面積完全落於該露出區域內，定義該露出區域為該可取放區。
  10. 如請求項8所述之自動生成圖像與標註圖像中可取放區的裝置，其中該標註器更用以：輸出該可取放區之一物件名稱及複數個像素點的各座標值給一機械手臂。
  11. 如請求項8所述之自動生成圖像與標註圖像中可取放區的裝置，其中該標註器更用以：判斷該三維物件影像的一所在深度是否大於一預設深度；當該三維物件影像的該所在深度大於該預設深度，針對高於該預設深度之該物件區域，執行辨識該二維物件影像之該物件區域之步驟、取得該露出比例之步驟、判斷該露出比例是否大於該預設比例之步驟及定義該露出區域為該可取放區之步驟。
  12. 如請求項8所述之自動生成圖像與標註圖像中可取放區的裝置，其中該生成器更用以：在定義該露出區域為該可取放區後，改變該生成背景條件下生成另一該三維圖像。
  13. 如請求項8所述之自動生成圖像與標註圖像中可取放區的裝置，其中該生成器更用以：當該露出比例不大於該預設比例，改變該生成背景條件下生成另一該三維圖像。
  14. 一種取放系統，包括：一自動生成圖像與標註圖像中可取放區的裝置，包括： 一生成器，用以在一生成背景條件下，生成一三維圖像，其中該三維圖像包括至少一三維物件影像；一裝置攝像器，用以擷取該三維圖像之一二維圖像，其中該二維圖像包括該三維物件影像之一二維物件影像；以及一標註器，用以：辨識該二維物件影像之一物件區域；取得該物件區域的一露出區域之一露出面積占該物件區域之一物件面積的一露出比例；判斷該露出比例是否大於一預設比例；及當該露出比例大於該預設比例，定義該露出區域為一第一可取放區；一系統攝像器，用以擷取一實體物件之一二維圖像，該二維圖像包含一二維物件影像；一機械手臂；以及一控制器，電性連接於該裝置且用以：分析該二維物件影像，並依據該裝置所取得之該第一可取放區的資訊，取得該二維物件影像之一第二可取放區；及控制該機械手臂取放該實體物件之對應該第二可取放區的一可取放部。
  15. 一種取放方法，包括：在一生成背景條件下，生成一三維圖像，該三維圖像包括至少一三維物件影像； 擷取該三維圖像之一二維圖像，該二維圖像包括該三維物件影像之一二維物件影像；辨識該二維物件影像之一物件區域；取得該二維物件影像的一露出區域之一露出面積占該物件區域之一物件面積的一露出比例；判斷該露出比例是否大於一預設比例；當該露出比例大於該預設比例，定義該露出區域為一第一可取放區；擷取一實體物件之一二維圖像，該二維圖像包含一二維物件影像；分析該二維物件影像，並依據該第一可取放區的資訊，取得該二維物件影像之一第二可取放區；以及控制該機械手臂取放該實體物件之對應該第二可取放區的一可取放部。
  16. 如請求項15所述之取放方法，在生成該三維圖像之前，更包括配置一取放系統；該取放系統包括一自動生成圖像與標註圖像中可取放區的裝置，一系統攝像器、一機械手臂及一控制器；該裝置包括一生成器、一裝置攝像器及一標註器；其中，該生成器用以在該生成背景條件下，生成該三維圖像；該裝置攝像器用以擷取該三維圖像之該二維圖像；該標註器用以辨識該二維物件影像之該物件區域；該系統攝像器用以擷取該實體物件之該二維圖像；該控制器電性連接於該裝置且用以分析該二維物件 影像，並依據該裝置所取得之該第一可取放區的資訊，取得該二維物件影像之該第二可取放區；以及，控制該機械手臂取放該實體物件之對應該第二可取放區的該可取放部。
  17. 一種電腦程式產品，用以載入於一自動生成圖像與標註圖像中可取放區的裝置，以執行一自動生成圖像與標註圖像中可取放區的方法，該方法包括：在一生成背景條件下，生成一三維圖像，該三維圖像包括至少一三維物件影像；擷取該三維圖像之一二維圖像，該二維圖像包括該三維物件影像之一二維物件影像；辨識該二維物件影像之一物件區域；取得該二維物件影像的一露出區域之一露出面積占該物件區域之一物件面積的一露出比例；判斷該露出比例是否大於一預設比例；以及當該露出比例大於該預設比例，定義該露出區域為一可取放區。
TW109133623A 2020-08-06 2020-09-28 標註方法、應用其之裝置、系統、方法及電腦程式產品 TWI772909B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110381575.2A CN114092632A (zh) 2020-08-06 2021-04-09 标注方法、应用其的装置、系统、方法及计算机程序产品
US17/364,072 US11562527B2 (en) 2020-08-06 2021-06-30 Labeling method, labeling device using the same, pick-and-place system using the same, pick-and-place method using the same and non-transitory computer readable medium using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063061843P 2020-08-06 2020-08-06
US63/061,843 2020-08-06

Publications (2)

Publication Number Publication Date
TW202207085A TW202207085A (zh) 2022-02-16
TWI772909B true TWI772909B (zh) 2022-08-01

Family

ID=81323565

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109133623A TWI772909B (zh) 2020-08-06 2020-09-28 標註方法、應用其之裝置、系統、方法及電腦程式產品

Country Status (1)

Country Link
TW (1) TWI772909B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9707682B1 (en) * 2013-03-15 2017-07-18 X Development Llc Methods and systems for recognizing machine-readable information on three-dimensional objects
CN108202328A (zh) * 2017-12-29 2018-06-26 深圳市越疆科技有限公司 机器人自适应取放物体的方法、装置、机械臂及存储介质
TW202026594A (zh) * 2019-01-09 2020-07-16 阿丹電子企業股份有限公司 體積量測裝置及體積量測方法
CN111428731A (zh) * 2019-04-04 2020-07-17 深圳市联合视觉创新科技有限公司 基于机器视觉的多类目标识别定位方法、装置和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9707682B1 (en) * 2013-03-15 2017-07-18 X Development Llc Methods and systems for recognizing machine-readable information on three-dimensional objects
CN108202328A (zh) * 2017-12-29 2018-06-26 深圳市越疆科技有限公司 机器人自适应取放物体的方法、装置、机械臂及存储介质
TW202026594A (zh) * 2019-01-09 2020-07-16 阿丹電子企業股份有限公司 體積量測裝置及體積量測方法
CN111428731A (zh) * 2019-04-04 2020-07-17 深圳市联合视觉创新科技有限公司 基于机器视觉的多类目标识别定位方法、装置和设备

Also Published As

Publication number Publication date
TW202207085A (zh) 2022-02-16

Similar Documents

Publication Publication Date Title
CN110246127A (zh) 基于深度相机的工件识别与定位方法和系统、分拣系统
CN114952809B (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN111482967B (zh) 一种基于ros平台的智能检测与抓取方法
CN114882109A (zh) 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
Shen et al. Robot-to-human feedback and automatic object grasping using an RGB-D camera–projector system
US20230173660A1 (en) Robot teaching by demonstration with visual servoing
TWI772909B (zh) 標註方法、應用其之裝置、系統、方法及電腦程式產品
CN112802107A (zh) 基于机器人的夹具组的控制方法及装置
CN112633187B (zh) 基于图像分析的机器人自动搬运方法、系统和存储介质
Lin et al. Vision based object grasping of industrial manipulator
CN113496524A (zh) 通过深度学习和矢量场估计的特征检测
US11562527B2 (en) Labeling method, labeling device using the same, pick-and-place system using the same, pick-and-place method using the same and non-transitory computer readable medium using the same
US20230150142A1 (en) Device and method for training a machine learning model for generating descriptor images for images of objects
Funakubo et al. Recognition and handling of clothes with different pattern by dual hand-eyes robotic system
Wolnitza et al. 3D object reconstruction and 6D-pose estimation from 2D shape for robotic grasping of objects
WO2023083273A1 (zh) 抓取点信息获取方法、装置、电子设备和存储介质
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
Chowdhury et al. Comparison of neural network-based pose estimation approaches for mobile manipulation
US20230150141A1 (en) Training data generation device, training data generation method using the same and robot arm system using the same
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN113731860B (zh) 一种容器内堆积物件自动分拣系统及方法
CN116354097A (zh) 对象抓取方法及装置
CN116416217B (zh) 无序堆叠包裹图像的生成方法、系统及设备
US20230169324A1 (en) Use synthetic dataset to train robotic depalletizing
WO2023140266A1 (ja) ピッキング装置及び画像生成プログラム