TWI769924B

TWI769924B - 人體跟隨系統

Info

Publication number: TWI769924B
Application number: TW110134469A
Authority: TW
Inventors: 羅世同
Original assignee: 東元電機股份有限公司
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2022-07-01
Also published as: TW202314424A

Abstract

一種人體跟隨系統用以控制一載物平台跟隨一跟隨目標，包含一三維景深影像擷取模組、一二維影像截面模組、一資料點分類模組、一目標鎖定模組、一座標計算模組與一控制模組。三維景深影像擷取模組用以擷取一三維景深影像。二維影像截面模組利用一二維截面，在三維景深影像中擷取出一二維影像。資料點分類模組用以在二維影像中分類出人體資料點。目標鎖定模組、座標計算模組與控制模組，利用人體資料點將一使用者鎖定為跟隨目標，並計算出跟隨座標，藉以控制載物平台跟隨該跟隨目標。

Description

人體跟隨系統

本發明係有關於一種系統，尤其是指一種人體跟隨系統。

雖然隨著工廠自動化與倉儲物流自動化的趨勢興起，越來越多的機械手臂、無人搬運車、機器人等裝置被廣泛地應用。例如：機械手臂用以揀貨、無人搬運車用以運送貨物等。但是大部分的物流業者仍然是利用人力進行揀貨與配送。

一般來說，物流業者會在倉儲端整理需要運送的貨物，並將貨物搬運至運輸交通工具上。當物流業者到達目的地時，便會取出貨物並將貨物送達至收件者所在的樓層，供收件者收件、簽收等。普遍來說，物流業者進行上述行為時，會利用一推車放置上述貨物。

然而，物流業者便需要單手或是雙手握持並控制推車，並不利於物流業者行動。例如：在倉儲端時，物流業者需要對照表格以及拾取需要運送的貨物；在抵達目的地時，物流業者可能需要致電給收件者、需要拿簽收收據、需要拿筆、需要跟管理員或保全進行登記、需要按電梯樓層按鈕、需要按門鈴等，都需要利用到物流業者的手。因此，先前技術存在改善的空間。

有鑒於在先前技術中，物流業者需要用手握持並控制推車，所造成及其衍生出的種種問題。本發明之一主要目的係提供一種人體跟隨系統，用以解決先前技術中的至少一個問題。

本發明為解決先前技術之問題，所採用之必要技術手段為提供一種人體跟隨系統，用以控制一載物平台跟隨一跟隨目標，包含一三維景深影像擷取模組、一二維影像截面模組、一資料點分類模組、一目標鎖定模組、一座標計算模組與一控制模組。三維景深影像擷取模組用以對一使用者及使用者所處在之一環境擷取出一三維景深影像，三維景深影像具有複數個資料點，每一資料點係一三維點雲資訊。二維影像截面模組電性連接三維景深影像擷取模組，用以利用一二維截面在三維景深影像中之一目標設定區域擷取出一二維影像，且二維影像包含由部分資料點所組成之複數個取樣資料點。

資料點分類模組電性連接三維景深影像擷取模組與二維影像截面模組，在二維影像中之該些取樣資料點至少部分符合一人體特徵條件時，判定使用者位於目標設定區域內，並將符合人體特徵條件之每一取樣資料點定義成一人體資料點，藉以定義出複數個代表使用者之人體資料點。目標鎖定模組電性連接資料點分類模組，用以接收人體資料點，並將人體資料點所代表之使用者鎖定為跟隨目標。座標計算模組電性連接目標鎖定模組，並利用人體資料點計算出一代表跟隨目標之一跟隨座標。控制模組電性連接座標計算模組，接收跟隨座標，並據以產生一控制命令，藉以控制載物平台跟隨該跟隨目標。

在上述必要技術手段的基礎下，本發明所衍生之一附屬技術手段為使人體跟隨系統中之二維影像截面模組，係包含一區域設定單元、一截面產生單元、一取樣單元與一影像擷取單元。區域設定單元用以在三維景深影像中設定出目標設定區域。截面產生單元電性連接區域設定單元，用以在目標設定區域產生二維截面。取樣單元電性連接截面產生單元，用以將資料點中位於二維截面上者，取樣成取樣資料點。影像擷取單元電性連接截面產生單元，用以利用三維景深影像與二維截面擷取出二維影像。

在上述必要技術手段的基礎下，本發明所衍生之一附屬技術手段為使人體跟隨系統中之區域設定單元，係將目標設定區域設定位於三維景深影像之一影像深度之一半。

在上述必要技術手段的基礎下，本發明所衍生之一附屬技術手段為使人體跟隨系統中之二維截面，係垂直目標設定區域，且垂直三維景深影像之一景深方向。

在上述必要技術手段的基礎下，本發明所衍生之一附屬技術手段為使人體跟隨系統中之資料點分類模組，係包含一特徵條件設定單元與一分類單元。特徵條件設定單元用以設定人體特徵條件，且人體特徵條件至少包含一人體形狀。分類單元電性連接特徵條件設定單元，用以利用人體特徵條件定義出人體資料點。

在上述必要技術手段的基礎下，本發明所衍生之一附屬技術手段為使人體跟隨系統中之座標計算模組，係包含一決定單元，決定單元決定用以計算出跟隨座標之人體資料點中之至少一者。

在上述必要技術手段的基礎下，本發明所衍生之一附屬技術手段為使人體跟隨系統中之座標計算模組，更包含一計算單元，計算單元電性連接決定單元，用以利用上述人體資料點中之至少一者計算出跟隨座標。

承上所述，本發明所提供之人體跟隨系統，利用三維景深影像擷取模組、二維影像截面模組、資料點分類模組與目標鎖定模組，將位於目標設定區域的使用者鎖定為跟隨目標，相較於先前技術，本發明可以控制載物平台跟隨使用者，不論在倉儲端或是在配送端，物流業者便不需要將手用於控制載物平台，可以騰出物流業者的雙手，供物流業者進行揀貨、致電、拿簽收收據、拿筆、登記、按電梯樓層按鈕、按門鈴等，有效提升使用上的便利性。

再者，利用二維影像截面模組將三維景深影像擷取模組擷取的三維景深影像再擷取出二維影像，可以有效降低計算的負擔，而從二維影像中再分類出人體資料點，也可以有效減少資料點的儲存量以及計算時間。也就是說，本發明先將三維景深影像轉換為二維影像，再分類出人體資料點，等於可以利用較少的維度以及較少的人體資料點，確認跟隨目標以及計算出跟隨座標，以達到跟隨使用者的功效。

下面將結合示意圖對本發明的具體實施方式進行更詳細的描述。根據下列描述和申請專利範圍，本發明的優點和特徵將更清楚。需說明的是，圖式均採用非常簡化的形式且均使用非精準的比例，僅用以方便、明晰地輔助說明本發明實施例的目的。

請參閱第一圖與第三圖，其中，第一圖係顯示本發明較佳實施例所提供之人體跟隨系統之方塊圖；第二圖係顯示本發明較佳實施例所提供之人體跟隨系統應用於載物平台之立體圖；以及，第三圖係顯示環境之示意圖。如圖所示，一種人體跟隨系統1用以控制一載物平台2跟隨一跟隨目標，並包含一三維景深影像擷取模組11、一二維影像截面模組12、一資料點分類模組13、一目標鎖定模組14、一座標計算模組15與一控制模組16。

在本實施例中，二維影像截面模組12包含一區域設定單元121、一截面產生單元122、一取樣單元123與一影像擷取單元124。資料點分類模組13包含一特徵條件設定單元131與一分類單元132。座標計算模組15包含一決定單元151與一計算單元152。

載物平台2用以承載貨物，並至少包含一驅動輪組21。驅動輪組21通常包含一伺服驅動器、一伺服馬達與複數個輪子，用以受操作地帶動載物平台2移動。

人體跟隨系統1、載物平台2與一使用者H位於一環境E中，而環境E中還包含其他物件，例如一滅火器O1、一櫃子O2與一垃圾桶O3，如第三圖所示，但不以此為限。圖式僅是示意，環境E也可為倉儲、工廠、大樓、賣場等地方；物件也可以是環境E中其他存在的物件，例如：桌子、椅子、倉儲的置物架等。

接著，請一併參閱第一圖、第三圖至第六圖，其中，第四圖係顯示本發明較佳實施例所提供之人體跟隨系統之三維景深影像擷取模組擷取三維景深影像之示意圖；第五圖係顯示本發明較佳實施例所提供之人體跟隨系統之二維影像截面模組產生二維截面之示意圖；以及，第六圖係顯示本發明較佳實施例所提供之人體跟隨系統之二維影像截面模組擷取出二維影像之示意圖。

三維景深影像擷取模組11用以對使用者H及使用者H所處在的環境E擷取出一三維景深影像IM1，如第四圖所示。因三維景深影像IM1實際為3D照片，在圖式中難以用照片的方式表現，故將第三圖中的載物平台2移除，剩餘的部分做為三維景深影像IM1示意，特此說明。

三維景深影像IM1具有複數個資料點，而每一個資料點係一三維點雲資訊，其中，三維點雲資訊至少包含一X座標、一Y座標與一Z座標，但不以此為限。三維點雲資訊也可包含一色彩值、一強度值等。

如第五圖的資料點P1是對應到第四圖的滅火器O1，第五圖的資料點P2是對應到第四圖的櫃子O2。

二維影像截面模組12電性連接三維景深影像擷取模組11，用以利用一二維截面S在三維景深影像IM1中的一目標設定區域A擷取出一二維影像IM2，且二維影像IM2包含由部分該些資料點所組成之複數個取樣資料點P3。

區域設定單元121用以在三維景深影像IM1中設定出目標設定區域A。在本實施例中，目標設定區域A位於三維景深影像IM1的中間。如第四圖所示，三維景深影像IM1在一景深方向D上具有一影像深度DP，目標設定區域A則會位於影像深度DP一半的位置。

截面產生單元122電性連接區域設定單元121，用以在目標設定區域A產生二維截面S。在本實施例中，二維截面S會垂直目標設定區域A，而且也會垂直景深方向D。

取樣單元123電性連接截面產生單元122，並且將位於二維截面S上的資料點取樣成為上述的取樣資料點P3。

影像擷取單元124電性連接取樣單元123，用以利用三維景深影像IM1與二維截面S擷取出二維影像IM2，如第六圖所示。

資料點分類模組13電性連接三維景深影像擷取模組11與二維影像截面模組12，用以將二維影像IM2中的取樣資料點P3進行分類。當至少部分的取樣資料點P3符合一人體特徵條件時，資料點分類模組13便會判定使用者H位於目標設定區域A內，並將符合人體特徵條件的每一取樣資料點P3定義成一人體資料點，藉以定義出複數個代表使用者H的人體資料點。

特徵條件設定單元131用以設定人體特徵條件，在本實施例中，人體特徵條件至少包含一人體形狀HS。舉例來說，人體形狀HS包含頭部與四肢，並且為對稱的。此外，人體特徵條件也可以包含多種顏色，舉例來說，使用者H會具有皮膚色、上衣的顏色、褲子的顏色、鞋子的顏色、眼球的黑色、眼白的白色等，相較於滅火器O1的紅色、櫃子O2的褐色與垃圾桶O3的黑色，使用者H的顏色會較為多樣，物件的顏色則會較為單一。因此，人體特徵條件也可以設定為包含多種顏色。

分類單元132電性連接特徵條件設定單元131，用以利用人體特徵條件對取樣資料點P3進行分類。在二維影像IM2中，分類單元132會將符合人體特徵條件的取樣資料點P3，也就是符合人體形狀HS，分類為人體資料點P31。此外，分類單元132還會進一步將不符合人體特徵條件的取樣資料點P3進行分類，如第六圖所示的非人體資料點P32。實務上，分類單元132也可以進一步細分非人體資料點P32，例如：垃圾桶資料點、滅火器資料點、櫃子資料點等。

可參閱第三圖，使用者H確實位於目標設定區域A，且位於垃圾桶O3的旁邊。因此，人體資料點P31所代表的便是位於目標設定區域A的使用者H，而非人體資料點P32則是代表位於使用者H旁邊的垃圾桶O3。

目標鎖定模組14電性連接資料點分類模組13，並將使用者H鎖定為一跟隨目標。

最後，請一併參閱第一圖與第七圖至第十圖，其中，第七圖係顯示本發明較佳實施例所提供之人體跟隨系統之座標計算模組計算出跟隨座標之示意圖；以及，第八圖至第十圖係顯示本發明實施例所提供之人體跟隨系統控制載物平台跟隨該跟隨目標之示意圖。

座標計算模組15電性連接目標鎖定模組14，並利用至少一人體資料點P31計算出一代表跟隨目標的跟隨座標。

座標計算模組15包含一決定單元151與一計算單元152。決定單元151會決定要利用哪些人體資料點P31，在本實施例中，決定單元151會選用位於中間部分的人體資料點P31a與人體資料點P31b。計算單元152便會利用人體資料點P31a與人體資料點P31b計算出跟隨座標，也就是利用人體資料點P31a與人體資料點P31b各自的座標計算出跟隨座標，但不以此為限。實務上，計算單元152會利用人體資料點P31a與人體資料點P31b的總平均計算出人體中心座標，並以此做為跟隨座標。

決定單元151也可以採用其他人體資料點P31，例如採用最上面、最下面、最左邊與最右邊的人體資料點P31。而計算單元152利用上述的人體資料點P31計算出跟隨座標，例如：利用最上面與最下面計算出跟隨座標中的Y座標，利用最左邊與最右邊計算出跟隨座標中的X座標。

控制模組16電性連接座標計算模組15，接收跟隨座標，並據以產生一控制命令，藉以控制載物平台2跟隨該跟隨目標，也就是跟隨著使用者H，在本實施例中，計算單元152還會推估跟隨目標與載物平台的相對距離與角度關係，藉以供控制模組16控制載物平台2跟隨使用者H。載物平台2與使用者H之間會間隔一間隔距離L1，如第八圖所示。

在使用者H被鎖定為跟隨目標後，人體跟隨系統1便會控制載物平台2跟隨使用者H。當使用者H向前移動一距離D1時，人體跟隨系統1便會控制載物平台2跟隨使用者H而移動一距離D2，其中，距離D2會等於距離D1。因此，載物平台2仍然會與使用者H相距間隔距離L1。

圖式以使用者H向前移動示意，當使用者向左移動、向右移動或是向後移動時，人體跟隨系統1都會控制載物平台2以相同的方向跟隨著使用者H移動。另外，在使用者H被鎖定為跟隨目標後，人體跟隨系統1可在短暫的遺失跟隨目標時，預測使用者H的可能動向，進而達到持續跟隨的功效，例如：使用者H太靠近載物平台2或是使用者H短暫側身等等。

綜上所述，本發明所提供之人體跟隨系統，利用三維景深影像擷取模組、二維影像截面模組、資料點分類模組與目標鎖定模組，將位於目標設定區域的使用者鎖定為跟隨目標，相較於先前技術，本發明可以控制載物平台跟隨使用者，不論在倉儲端或是在配送端，物流業者便不需要將手用於控制載物平台，可以騰出物流業者的雙手，供物流業者進行揀貨、致電、拿簽收收據、拿筆、登記、按電梯樓層按鈕、按門鈴等，有效提升使用上的便利性。此外，本發明還可以額外應用於其他有載物平台的領域，例如：賣場。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

1:人體跟隨系統 11:三維景深影像擷取模組 12:二維影像截面模組 121:區域設定單元 122:截面產生單元 123:取樣單元 124:影像擷取單元 13:資料點分類模組 131:特徵條件設定單元 132:分類單元 14:目標鎖定模組 15:座標計算模組 151:決定單元 152:計算單元 16:控制模組 2:載物平台 21:驅動輪組 A:目標設定區域 D:景深方向 DP:影像深度 D1,D2:距離 E:環境 H:使用者 HS:人體形狀 IM1:三維景深影像 IM2:二維影像 L1:間隔距離 O1:滅火器 O2:櫃子 O3:垃圾桶 P1,P2:資料點 P3:取樣資料點 P31,P31a, P31b:人體資料點 P32:非人體資料點 S:二維截面

第一圖係顯示本發明較佳實施例所提供之人體跟隨系統之方塊圖；第二圖係顯示本發明較佳實施例所提供之人體跟隨系統應用於載物平台之立體圖；第三圖係顯示環境之示意圖；第四圖係顯示本發明較佳實施例所提供之人體跟隨系統之三維景深影像擷取模組擷取三維景深影像之示意圖；第五圖係顯示本發明較佳實施例所提供之人體跟隨系統之二維影像截面模組產生二維截面之示意圖；第六圖係顯示本發明較佳實施例所提供之人體跟隨系統之二維影像截面模組擷取出二維影像之示意圖；第七圖係顯示本發明較佳實施例所提供之人體跟隨系統之座標計算模組計算出跟隨座標之示意圖；以及第八圖至第十圖係顯示本發明實施例所提供之人體跟隨系統控制載物平台跟隨該跟隨目標之示意圖。

1:人體跟隨系統

11:三維景深影像擷取模組

12:二維影像截面模組

121:區域設定單元

122:截面產生單元

123:取樣單元

124:影像擷取單元

13:資料點分類模組

131:特徵條件設定單元

132:分類單元

14:目標鎖定模組

15:座標計算模組

151:決定單元

152:計算單元

16:控制模組

2:載物平台

Claims

一種人體跟隨系統，用以控制一載物平台跟隨一跟隨目標，包含：一三維景深影像擷取模組，係用以對一使用者及該使用者所處在之一環境擷取出一三維景深影像，該三維景深影像具有複數個資料點，每一資料點係一三維點雲資訊；一二維影像截面模組，係電性連接該三維景深影像擷取模組，用以利用一二維截面在該三維景深影像中之一目標設定區域擷取出一二維影像，且該二維影像包含由部分該些資料點所組成之複數個取樣資料點；一資料點分類模組，係電性連接該三維景深影像擷取模組與該二維影像截面模組，在該二維影像中之該些取樣資料點至少部分符合一人體特徵條件時，判定該使用者位於該目標設定區域內，並將符合該人體特徵條件之每一取樣資料點定義成一人體資料點，藉以定義出複數個代表該使用者之人體資料點；一目標鎖定模組，係電性連接該資料點分類模組，用以接收該些人體資料點，並將該些人體資料點所代表之該使用者鎖定為該跟隨目標；一座標計算模組，係電性連接該目標鎖定模組，並利用該些人體資料點計算出一代表該跟隨目標之跟隨座標；以及一控制模組，係電性連接該座標計算模組，接收該跟隨座標，並據以產生一控制命令，藉以控制該載物平台跟隨該跟隨目標。
如請求項1所述之人體跟隨系統，其中，該二維影像截面模組係包含：一區域設定單元，係用以在該三維景深影像中設定出該目標設定區域；一截面產生單元，係電性連接該區域設定單元，用以在該目標設定區域產生該二維截面；一取樣單元，係電性連接該截面產生單元，用以將該些資料點中位於該二維截面上者，取樣成該些取樣資料點；以及一影像擷取單元，係電性連接該截面產生單元，用以利用該三維景深影像與該二維截面擷取出該二維影像。
如請求項2所述之人體跟隨系統，其中，該區域設定單元係將該目標設定區域設定位於該三維景深影像之一影像深度之一半。
如請求項2所述之人體跟隨系統，其中，該二維截面係垂直該目標設定區域，且垂直該三維景深影像之一景深方向。
如請求項1所述之人體跟隨系統，其中，該資料點分類模組係包含：一特徵條件設定單元，係用以設定該人體特徵條件，且該人體特徵條件係至少包含一人體形狀；以及一分類單元，係電性連接該特徵條件設定單元，用以利用該人體特徵條件定義出該些人體資料點。
如請求項1所述之人體跟隨系統，其中，該座標計算模組係包含一決定單元，該決定單元係決定用以計算出該跟隨座標之該些人體資料點中之至少一者。
如請求項6所述之人體跟隨系統，其中，該座標計算模組更包含一計算單元，該計算單元係電性連接該決定單元，用以利用上述該些人體資料點中之至少一者計算出該跟隨座標。