TWI496090B - 使用深度影像的物件定位方法與裝置 - Google Patents

使用深度影像的物件定位方法與裝置 Download PDF

Info

Publication number
TWI496090B
TWI496090B TW101132330A TW101132330A TWI496090B TW I496090 B TWI496090 B TW I496090B TW 101132330 A TW101132330 A TW 101132330A TW 101132330 A TW101132330 A TW 101132330A TW I496090 B TWI496090 B TW I496090B
Authority
TW
Taiwan
Prior art keywords
pixel
distance
depth
edge
weight
Prior art date
Application number
TW101132330A
Other languages
English (en)
Other versions
TW201411499A (zh
Inventor
Chia Chang Li
Duan Li Liao
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW101132330A priority Critical patent/TWI496090B/zh
Priority to US13/726,454 priority patent/US9117138B2/en
Publication of TW201411499A publication Critical patent/TW201411499A/zh
Application granted granted Critical
Publication of TWI496090B publication Critical patent/TWI496090B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

使用深度影像的物件定位方法與裝置
本揭露係關於一種使用深度影像(depth image)的物件定位(object positioning)方法與裝置。
以往，以視覺互動為基礎的人機互動系統技術使用單一攝影機或是利用色彩資訊方式來分析影像。在一些情況下，例如使用者與背景色彩相近、或是環境光源變化、或是人多時的複雜背景等，此類技術容易造成影像的辨識率不足。現有的一些技術已使用深度影像的資訊來輔助影像的分析，例如利用深度影像來追蹤使用者局部區域、或是擷取並追蹤使用者的端點位置、或是進行人體端點偵測等。有的技術如利用膚色與深度資訊來找出手部位置、或是手部區域及臉部區域等。
利用深度影像來追蹤使用者局部區域的技術例如第一圖所示，從一深度影像中找出目標物體(target)106的邊緣，從邊緣找出最符合預先定義的輪廓形狀，例如目標物體106的右手輪廓形狀104。其中，一深度影像具有一相對應的樣本邊緣位能轉換圖(sample edge potential transform map)100。例如，樣本邊緣位能轉換圖100包括在位能場(potential field)裡被模型化的欲追蹤的目標物體，樣本邊緣位能轉換圖100中每一格子點的值指出此格子點距離目標物體106的邊緣101有多遠。當目標物體與 攝影機距離變動時，輪廓形狀的大小也會隨之不同，此技術需要多個預先定義的輪廓形狀。
利用深度影像來擷取並追蹤使用者的端點(extremity)位置的技術是從深度影像產生出網格立體像素(Voxels)後，移除背景網格立體像素並區隔出使用者，再從區隔出的使用者中找出使用者的端點位置。也就是說，此技術藉由建立3-維網格、以及移除背景區隔人體，來找出使用者的端點位置。
利用深度影像來找出使用者身體各部位端點的技術如第二圖所示，此技術從深度影像的資訊202產生3-維表面網格集合(set of surface meshes)210後，計算此表面網格集合中各網格點路徑的測地線距離長度(geodesic distances)，再根據不同路徑長度來分類此集合中的表面網格，每一同類的網格對應身體的同一部位，例如頭、手、腳、肩膀、或其他部位等。也就是說，此技術藉由產生3-維表面網格集合、以及計算此表面網格集合中各點路徑的測地線距離，來找出使用者身體各部位的端點位置。
利用膚色與深度資訊來找出手部區域與臉部區域的技術是透過深度影像，先切割出人物區域，並透過膚色偵測切割出人物膚色區域；再透過k-means分類膚色區域；最後，透過深度資訊分辨其區域為手部區域或是臉部區域。利用膚色與深度資訊來找出手部位置的技術是採用LUV 色彩空間(color space)，且搭配與高斯模型混合(Mixture of Gaussians Model)，來找出膚色區域；並以深度資訊輔助，移除背景膚色區域。於前景膚色區域中，比較任兩個區域的大小、高度、深度等資訊，找出手部位置。
還有一種技術是從深度影像中以凸點特徵(Convex Degree Feature，CDF)來分析人物上下手臂。如第三圖所示，此技術從偵測出的頭與肩膀位置，來偵測上手臂(upper arm detection)310，以及計算深度圖(depth map)中每一畫素(pixel)的凸點特徵320。利用固定大小的內圓(inner region)與外圓(outer region)，統計深度分配的像素比例，並透過這些凸點特徵來偵測手(hand detection)330及偵測下手臂(lower arm detection)340。由上下手臂的偵測結果來決定影像中的全手臂(full arm)位置350。
上述技術之影像分析中，有的技術可能會因使用者離攝影裝置距離遠近不一，使得影像上局部區域的輪廓形狀大小都不相同而無法建立單一模型來進行比對。有的技術可能會因使用者前會有遮蔽物，而無法取得使用者完整骨架資訊。有的技術使用膚色資訊，會因為環境光源影響而造成辨識率降低。
因此，如何設計一種僅利用深度影像資訊、不需建立使用者骨架、以及使用真實距離資訊作為擷取特徵，的物件定位技術，來達到不受環境光線影響、不受遮蔽物影 響、只須建立單一模型即可定位不同遠近的物件，是一個重要的議題。
本揭露實施例提供一種使用深度影像的物件定位方法與裝置。
所揭露的一實施例是關於一種使用深度影像的物件定位方法，應用在一物件定位裝置上。此方法藉由一硬體處理器來執行：將一或多張深度影像的每一張深度影像中多個像素的每一像素的深度資訊轉換成一真實世界座標；根據此真實世界座標，計算此每一像素在多個方向的每一方向上，到一邊緣的距離；對於此每一像素到每一邊緣的距離，給予一權重值；以及根據此每一像素到每一邊緣的距離的該權重值、以及一權重限制，選取一物件的一或多個端點位置。
所揭露的另一實施例是關於一種使用深度影像的物件定位方法，應用在一物件定位裝置上。此方法藉由一硬體處理器來執行：對於一或多張深度影像的每一張深度影像中多個像素的每一像素，計算此每一像素在多個方向的每一方向上，到一邊緣的距離；將此每一像素到每一邊緣的距離的深度資訊轉換成一真實世界座標；對於該每一像素到每一邊緣的距離，給予一權重值；以及根據該每一像素到每一邊緣的距離的該權重值、以及一權重限制，選取一物 件的一或多個端點位置。
所揭露的又一實施例是關於一種使用深度影像的物件定位裝置。此裝置可包含一硬體處理器，連接至一深度影像擷取裝置。此硬體處理器還包括一真實世界座標運算模組及一計算裝置。此真實世界座標運算模組將收到的多筆深度資訊的每筆深度資訊轉換成一真實世界座標。此計算裝置被配置來計算來自此深度影像擷取裝置之多張深度影像的每一張深度影像中多個像素的每一像素在多個方向的每一方向上，到一邊緣的距離、並給予一權重值，以及根據這些距離的權重值及一權重限制，選取一物件的一或多個端點位置。
茲配合下列圖示、實施例之詳細說明及申請專利範圍，將上述及本發明之其他優點詳述於後。
本揭露實施例之物件定位技術是先將接收的深度影像資訊轉換成每一像素的真實世界座標(Real-World Coordinates)，然後在每一像素之周圍的多個方向上，計算此像素到多個邊緣的距離。一邊緣例如是此像素在一方向上所找出的深度差大於一預定閥值的位置。再對此像素到每一邊緣的距離，給予一權重值；根據這些距離的權重值、以及一權重限制，選取一物件的一或多個端點位置。
也就是說，本揭露之使用深度影像的物件定位方法，如第四圖所示，先將一或多張深度影像的每一張深度影像中多個像素的每一像素的深度資訊轉換成一真實世界座標(步驟410)後，根據此真實世界座標，計算此每一像素在多個方向的每一方向上，到一邊緣的距離(步驟420)；然後，對於此每一像素到每一邊緣的距離，給予一權重值(步驟430)，再根據此每一像素到每一邊緣的距離的該權重值、以及一權重限制，選取一物件的一或多個端點位置(步驟440)。此物件定位方法係應用在一物件定位裝置上，並且由一硬體處理器來執行步驟410至步驟440。此硬體處理器例如是，但不限定於，一具有計算能力的硬體電路、或是備有至少一中央處理單元與記憶體的一電腦系統等。
在步驟410中，每一像素的深度資訊例如代表左右影像的視差(此視差單位為像素距離)，此左右影像的視差是由雙攝影機所擷取的一第一影像與一第二影像的像素距離；並且此左右影像的視差被轉換成真實世界座標(此真實世界座標的單位為cm)。在實際應用上，取得深度影像有多種方式，例如以雙攝影機架構來取得深度影像。以雙攝影機架構為例，第五圖說明如何將一像素P的深度資訊轉換成真實世界座標，其中假設xl 與xr 是對應在左右兩張影像的x座標，T為左右兩攝影機之間的距離，f為攝影機的焦距；X、Y、Z分別為以一參考攝影機(例如右攝影機)為原點的真實世界座標。Z為像素P相對於攝影機的z軸座標。
根據第五圖，因此z軸座標換算方式如下：
根據Z座標，可換算X與Y座標如下：
從一深度影像中得到每一像素的真實世界距離後，根據步驟420，計算此每一像素在多個方向的每一方向上，到一邊緣的距離。首先，從每一像素周圍的N個方向找出深度落差大於預定閥值(threshold)的位置當作邊緣上的端點，然後計算且記錄此像素到這些端點的真實距離。第六圖是該像素在八個方向(即此例為N等於8)上，離邊緣的距離的一範例示意圖，其中P點與Q點分別代表影像中任一像素，而其箭頭線則代表該像素在八個方向上離邊緣的距離。
換句話說，像素到邊緣的距離為，計算此每一像素在此張深度影像上，沿著一方向直線搜尋，直到搜尋到至少一像素與此每一像素之深度資訊差異超過一預定閥值為止，然後根據前述之真實世界座標來計算此每一像素與至少一像素之間的距離。以第六圖為例，從每一像素之周圍的8個方向(N=8)的每一方向找出深度落差大於一預定閥 值，例如設定此預定閥值為7公分，的像素點當作一邊緣(也就是說，可從每一像素之周圍的每一方向找出深度落差大於一預定閥值的像素點來決定該邊緣)，並且計算此每一像素與此像素點之間的距離。在本揭露中，物件的3維凸點的凸出程度可用來作為設定閥值的參考。例如，若待辨識(to-be-identified)物件為手部，當預定閥值為7cm時，代表手部的像素與其周圍的背景像素深度落差超過7cm時，該手部的像素可視為凸點。
計算出每一像素在N個方向的邊緣距離後，根據待辨識的物件，例如手部，以每一方向的真實世界座標的距離為基準，定義每一方向n的權重fn 為此方向n之真實世界座標的距離的函數，使其滿足像素在一正確距離時，其權重值越高，而距離差距越大時，權重值越小的效果。也就是說，以像素到邊緣的距離在一特定真實距離時，給予權重值為最大，與此特定真實距離差距越大時，則給予權重值為越小。每一像素之權重值的給予可根據待辨識物件的凸點特徵，對每一像素之周圍的不同方向給予不同的權重值。
以待辨識物件為手部為例，如第七A圖所示，可將手部710視為一個半徑6cm的凸面球體720，因此可定義每一方向n的權重fn 如下，其中n=1,2,…,8，代表八個方向(如凸面球體720之八個箭頭)的權重函數 其中d為此方向n之像素到邊緣的距離，Norn等於6且為一正規化參數，當像素到邊緣的距離超過(6+Norn)或小於(6-Norn)時，權重值最小。權重函數fn (d)的分佈如第七B圖所示，其中橫座標代表像素到邊緣的距離d，縱座標代表權重fn (d)；此權重函數fn (d)的含意為，當像素到邊緣的距離d大於6公分時，權重fn (d)以三次方計算；當d等於6公分時，權重值最大；當d小於6公分時，權重以四次方計算，使其滿足d於0~6公分的區段時較小，並以四次方計算來增加不同距離之權重的差異。給予每一像素在周圍的每一方向的權重值後，可再加總此像素在周圍的每一方向的權重值的總和Sw。例如，但不限定於，八個方向之距離的權重值的總和為
根據步驟440，藉由加總後的權重值Sw及一權重限制，就可找出待辨識物件的位置，說明如下。首先，根據上述步驟計算出的每一像素的權重值，可將深度影像810轉換成權重影像820，如第八圖所示。根據一實施例，可將每一像素的權重值正規化(normalize)，例如將每一權重值轉為0~255的範圍，來產生一張權重影像圖，也可再透過平滑化處理(例如以一影像積分方法計算如20×20區域的平均特徵權重)，以去除小區域的雜訊，而得到平滑化後權重影像830。將每一像素的權重值正規化的計算公式的範例如下：(Sw/N)×2N ，其中此像素的周圍有N個方向。
得到平滑化後權重影像830後，設定一權重限制(例如預設為100)，並且在平滑化後權重影像830中，選取在一特定區域範圍內有一最大權重值的像素當作待辨識物件的候選端點位置。舉例來說，由左上至右下掃描一次平滑化後權重影像830，檢查有超過該權重限制的任一像素則列為一候選端點位置，並檢查已存在的候選端點是否在該特定區域範圍(例如50×50)區域內；若有此候選端點，則選取其中權重值較大者為候選端點位置。第九A圖至第九D圖是一範例示意圖，說明根據像素到邊緣的距離的權重來選取待辨識物件的候選端點位置。
如第九A圖至第九D圖的範例所示，假設在掃描過程中，A點已被列為候選端點位置(如第九A圖所示)，往下掃描時找到B點，此B點權重較大並且距離A點在該特定區域(如50×50區域)以內(如第九B圖所示)，則保留B點為候選端點位置並去除A點(如第九C圖所示)，最後，選取具有最大權重值的B點做為待辨識物件的端點位置(如第九D圖所示)。如果A、B兩點之間的距離範圍超過該特定區域(如50×50區域)，則A、B兩點皆為候選端點位置，也就是皆為待辨識物件的端點位置。也就是說，根據本揭露實施例，在一特定區域大小中，可選取具有一最大權重值的像素來決定物件的端點位置。
上述中，將深度影像中的像素從深度資訊轉換成真實 世界座標的步驟與根據真實世界座標來計算像素到邊緣的距離的步驟，此兩步驟的處理順序也可以在計算像素到邊緣的距離時，再轉換成真實世界座標的距離。也就是說，根據本揭露的另一實施例的使用深度影像的物件定位方法，如第十圖所示，可先對於一或多張深度影像的每一張深度影像中多個像素的每一像素，計算此像素在多個方向的每一方向上，到一邊緣的距離(步驟1010)，然後再將每一像素到每一邊緣的距離的深度資訊轉換成一真實世界座標(步驟1020)。之後再執行步驟430與步驟440。
在步驟1020中，以一目標像素座標(x1 ,y1 ,d1 )為例，到一邊緣像素座標(x2 ,y2 ,d2 )的一真實世界距離Rd可透過先前描述的轉換公式計算來取得此目標像素座標的真實世界座標(X1 ,Y1 ,Z1 )、以及此邊緣像素座標的真實世界座標(X2 ,Y2 ,Z2 )，再透過如歐式距離(Euclidean distance)公式來計算其真實世界距離Rd。也就是下列的計算公式。
承上述，第十一圖是根據本揭露一實施例，說明一種使用深度影像的物件定位裝置。參考第十一圖，此物件定位裝置1100包含一硬體處理器1120，並且此硬體處理器1120連接至一深度影像擷取裝置1110。硬體處理器1120 還包括一真實世界座標運算模組1122、以及一計算裝置1124。真實世界座標運算模組1122分別連接至深度影像擷取裝置1110及計算裝置1124，並且將收到的多筆深度資訊的每筆深度資訊轉換成一真實世界座標1122a。計算裝置1124被配置來計算來自深度影像擷取裝置1110之多張深度影像的每一張深度影像中多個像素的每一像素在多個方向的每一方向上，到一邊緣的距離、並給予一權重值，以及根據這些距離的權重值、及一權重限制1134，選取一物件的一或多個端點位置1124a。
物件定位裝置1100還可包括深度影像擷取裝置1110，用來擷取該多張深度影像。深度影像擷取裝置1110例如是，但不限定於，深度感測器(depth sensor)、或是具有雙攝影機架構的影像擷取裝置，其深度影像的像素資訊為與深度感測器的真實距離、或是由雙攝影機擷取之一第一影像與一第二影像的像素距離。每筆深度資訊係來自深度影像擷取裝置1110所擷取的多張深度影像、或是計算裝置1124算出的每一像素到每一邊緣的距離。
真實世界座標運算模組1122可先將深度影像擷取裝置1110所擷取之深度影像中的像素從深度資訊轉換成真實世界座標後，輸出至計算裝置1124。也可以先由計算裝置1124算出像素到邊緣的距離後，再由真實世界座標運算模組1122轉換成真實世界座標的距離。如前述所載，從每一像素之周圍的每一方向找出深度落差大於一預定 閥值的像素點當作一邊緣。計算裝置1124如何計算每一像素在每一方向上到一邊緣的距離、如何給予一權重值，以及根據這些距離的權重值及一權重限制，如何選取一物件的一或多個端點位置等，皆已描述於前述本揭露實施例中，此處不再重述。
承上述，本揭露實施例之物件定位方法與裝置僅利用深度影像資訊，所以不受環境光線的影響；也不需建立使用者骨架，所以不受遮蔽物的影響；以真實距離資訊作為擷取特徵，只須建立單一模型即可估測與追蹤不同遠近的待辨識物件。本揭露實施例可應用在例如手勢控制系統、家電控制、互動廣告看板、3C產業等領域的物件定位上。
綜上所述，本揭露實施例提供一種使用深度影像的物件定位方法與裝置。其技術將收到的深度影像的像素資訊轉換成真實世界三維座標資訊，並計算每一像素數個方向到邊緣的距離，再根據此數個方向的邊緣距離給予權重值，最後根據像素的權重值來決定待辨識物件的位置。此技術具有不受環境光線的影響、不受遮蔽物的影響、以及只須建立單一模型即可估測與追蹤不同遠近的待辨識物件等特點。
以上所述者僅為本揭露實施例，當不能依此限定本揭露實施之範圍。即舉凡本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明專利涵蓋之範圍。
100‧‧‧樣本邊緣位能轉換圖
106‧‧‧目標物體
101‧‧‧邊緣
104‧‧‧右手輪廓形狀
202‧‧‧深度影像的資訊
210‧‧‧3-維表面網格集合
310‧‧‧偵測上手臂
320‧‧‧計算深度圖中每一畫素的凸點特徵
330‧‧‧偵測手
340‧‧‧偵測下手臂
350‧‧‧決定影像中的全手臂位置
410‧‧‧將一或多張深度影像的每一張深度影像中多個像素的每一像素的深度資訊轉換成一真實世界座標
420‧‧‧根據此真實世界座標，計算此每一像素在多個方向的每一方向上，到一邊緣的距離
430‧‧‧對於此每一像素到每一邊緣的距離，給予一權重值
440‧‧‧根據此每一像素到每一邊緣的距離的該權重值、以及一權重限制，選取一物件的一或多個端點位置
xl 與xr ‧‧‧對應在左右兩張影像的x座標
f‧‧‧攝影機的焦距
T‧‧‧左右兩攝影機之間的距離
P‧‧‧像素
X、Y、Z‧‧‧以一參考攝影機為原點的真實世界座標
P、Q‧‧‧分別代表影像中任一像素
710‧‧‧手部
720‧‧‧凸面球體
d‧‧‧像素到邊緣的距離
fn (d)‧‧‧權重
810‧‧‧深度影像
820‧‧‧權重影像
830‧‧‧平滑化後權重影像
A、B‧‧‧候選端點位置
1010‧‧‧對於一或多張深度影像的每一張深度影像中多個像素的每一像素，計算此像素在多個方向的每一方向上，到一邊緣的距離
1020‧‧‧將每一像素到每一邊緣的距離的深度資訊轉換成一真實世界座標
1100‧‧‧物件定位裝置
1110‧‧‧深度影像擷取裝置
1120‧‧‧硬體處理器
1122‧‧‧真實世界座標運算模組
1122a‧‧‧真實世界座標
1124‧‧‧計算裝置
1124a‧‧‧一或多個端點位置
1134‧‧‧權重限制
第一圖是利用深度影像來追蹤使用者局部區域之技術的一範例示意圖。
第二圖是利用深度影像來找出使用者身體各部位端點之技術的一範例示意圖。
第三圖是從深度影像中以凸點特徵來分析人物上下手臂之技術的一範例示意圖。
第四圖是根據本揭露一實施例，說明一種使用深度影像的物件定位方法。
第五圖是根據本揭露一實施例，說明如何將一像素的深度資訊轉換成真實世界座標。
第六圖是根據本揭露一實施例，說明一像素在八個方向上，離邊緣的距離的一範例示意圖。
第七A圖是根據本揭露一實施例，說明以手部為辨識物件，並視為一凸面球體，以及像素在其八個方向上計算離邊緣的距離。
第七B圖是根據本揭露一實施例，說明一權重函數f n (d )的分佈。
第八圖是根據本揭露一實施例，將深度影像透過轉換及平滑化後的影像。
第九A圖至第九D圖是一範例示意圖，說明根據像素到邊緣的距離的權重來選取待辨識物件的候選端點。
第十圖是根據本揭露另一實施例，說明一種使用深度影像的物件定位方法。
第十一圖是根據本揭露一實施例，說明一種使用深度影像 的物件定位裝置。
410‧‧‧將一或多張深度影像的每一張深度影像中多個像素的每一像素的深度資訊轉換成一真實世界座標
420‧‧‧根據此真實世界座標，計算此每一像素在多個方向的每一方向上，到一邊緣的距離
430‧‧‧對於此每一像素到每一邊緣的距離，給予一權重值
440‧‧‧根據此每一像素到每一邊緣的距離的該權重值、以及一權重限制，選取一物件的一或多個端點位置

Claims (19)

  1. 一種使用深度影像的物件定位方法，應用在一物件定位裝置上，該方法藉由一硬體處理器來執行：將一或多張深度影像的每一張深度影像中多個像素的每一像素的深度資訊轉換成一真實世界座標；根據該真實世界座標，計算該每一像素在多個方向的每一方向上，到一邊緣的距離；對於該每一像素到每一邊緣的距離，給予一權重值；以及根據該每一像素到每一邊緣的距離的該權重值、以及一權重限制，選取一物件的一或多個端點位置。
  2. 如申請專利範圍第1項所述之方法，其中該每一像素的深度資訊代表左右影像的視差，該左右影像的視差是由雙攝影機所擷取的一第一影像與一第二影像的像素距離。
  3. 如申請專利範圍第1項所述之方法，其中計算該每一像素在多個方向的每一方向上，到一邊緣的距離還包括：計算該每一像素在該張深度影像上，沿著一方向直線搜尋，直到搜尋到至少一像素與該每一像素之深度資訊差異超過一預定閥值為止；以及根據該真實世界座標，計算該每一像素與該至少一像素之間的距離。
  4. 如申請專利範圍第1項所述之方法，其中該方法對於該每一像素在不同方向上，到該邊緣的距離給予不同的權重值。
  5. 如申請專利範圍第1項所述之方法，其中該權重值的給 予係以該每一像素到邊緣的距離在一特定真實距離時，給予該權重值為最大，與該特定真實距離差距越大時，則給予該權重值為越小。
  6. 如申請專利範圍第1項所述之方法，其中該選取該物件的該一或多個端點位置還包括：在一特定區域大小中，選取具有一最大權重值的像素來決定該物件的該一或多個端點位置。
  7. 如申請專利範圍第1項所述之方法，其中該選取該物件的該一或多個端點位置還包括：在一平滑化後權重影像中，檢查有超過該權重限制的任一像素，則列為該物件的一候選端點位置。
  8. 一種使用深度影像的物件定位方法，應用在一物件定位裝置上，該方法藉由一硬體處理器來執行：對於一或多張深度影像的每一張深度影像中多個像素的每一像素，計算該每一像素在多個方向的每一方向上，到一邊緣的距離；將該每一像素到每一邊緣的距離的深度資訊轉換成一真實世界座標；對於該每一像素到每一邊緣的距離，給予一權重值；以及根據該每一像素到每一邊緣的距離的該權重值、以及一權重限制，選取一物件的一或多個端點位置。
  9. 如申請專利範圍第8項所述之方法，其中該方法對於該每一像素在不同方向上，到該邊緣的距離給予不同的權重值。
  10. 如申請專利範圍第8項所述之方法，其中該權重值的給予係以該每一像素到邊緣的距離在一特定真實距離時，給予該權重值為最大，與該特定真實距離差距越大時，則給予該權重值為越小。
  11. 如申請專利範圍第8項所述之方法，其中從該每一像素之周圍的每一方向找出深度落差大於一預定閥值的像素點來決定該邊緣。
  12. 一種使用深度影像的物件定位裝置，包含：一硬體處理器，連接至一深度影像擷取裝置，且該硬體處理器還包括：一真實世界座標運算模組，將收到的多筆深度資訊的每筆深度資訊轉換成一真實世界座標；及一計算裝置，被配置來計算來自該深度影像擷取裝置之多張深度影像的每一張深度影像中多個像素的每一像素在多個方向的每一方向上，到一邊緣的距離並給予一權重值，以及根據該些距離的權重值及一權重限制，選取一物件的一或多個端點位置。
  13. 如申請專利範圍第12項所述之裝置，其中該多筆深度資訊的每筆深度資訊係來自該深度影像擷取裝置所擷取的該多張深度影像、或是該計算裝置算出的該每一像素到每一邊緣的距離。
  14. 如申請專利範圍第12項所述之裝置，其中該深度影像擷取裝置是一深度感測器、或是具有雙攝影機架構的一影像擷取裝置。
  15. 如申請專利範圍第14項所述之裝置，其中該每一張深 度影像的像素資訊為與該深度感測器的真實距離。
  16. 如申請專利範圍第14項所述之裝置，其中該每一張深度影像的像素資訊是由雙攝影機所擷取之一第一影像與一第二影像的像素距離。
  17. 如申請專利範圍第12項所述之裝置，其中該硬體處理器是一具有計算能力的硬體電路、以及備有至少一中央處理單元與記憶體的一電腦系統之前述兩者之其中一種。
  18. 如申請專利範圍第12項所述之裝置，其中該裝置還包括該深度影像擷取裝置，用來擷取該多張深度影像。
  19. 如申請專利範圍第12項所述之裝置，其中從該每一像素之周圍的每一方向找出深度落差大於一預定閥值的像素點來決定該邊緣。
TW101132330A 2012-09-05 2012-09-05 使用深度影像的物件定位方法與裝置 TWI496090B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101132330A TWI496090B (zh) 2012-09-05 2012-09-05 使用深度影像的物件定位方法與裝置
US13/726,454 US9117138B2 (en) 2012-09-05 2012-12-24 Method and apparatus for object positioning by using depth images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101132330A TWI496090B (zh) 2012-09-05 2012-09-05 使用深度影像的物件定位方法與裝置

Publications (2)

Publication Number Publication Date
TW201411499A TW201411499A (zh) 2014-03-16
TWI496090B true TWI496090B (zh) 2015-08-11

Family

ID=50187685

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101132330A TWI496090B (zh) 2012-09-05 2012-09-05 使用深度影像的物件定位方法與裝置

Country Status (2)

Country Link
US (1) US9117138B2 (zh)
TW (1) TWI496090B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934611B2 (en) * 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
TWI549101B (zh) * 2014-05-15 2016-09-11 聚晶半導體股份有限公司 防撞警示方法及其系統
TWI500904B (zh) * 2014-09-18 2015-09-21 Vivotek Inc 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法
US9881235B1 (en) * 2014-11-21 2018-01-30 Mahmoud Narimanzadeh System, apparatus, and method for determining physical dimensions in digital images
CN106325079A (zh) * 2015-06-16 2017-01-11 中兴通讯股份有限公司 家电设备的控制方法和装置
US9639943B1 (en) * 2015-12-21 2017-05-02 Intel Corporation Scanning of a handheld object for 3-dimensional reconstruction
CN105825499A (zh) * 2016-03-09 2016-08-03 京东方科技集团股份有限公司 基准平面的确定方法和确定系统
WO2018123611A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 情報処理装置および方法
CN109636849B (zh) * 2018-12-29 2023-06-23 广东嘉铭智能科技有限公司 一种工件定位方法、装置、计算机及计算机可读存储介质
CN110728717B (zh) 2019-09-27 2022-07-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110705574B (zh) * 2019-09-27 2023-06-02 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN111158489B (zh) * 2019-12-31 2023-08-08 上海佑久健康科技有限公司 一种基于摄像头的手势交互方法及手势交互系统
CN112419186B (zh) * 2020-11-20 2024-03-26 北京易华录信息技术股份有限公司 一种车牌图像的批量生成方法、装置及计算机设备
CN113450389B (zh) * 2021-09-01 2021-12-10 智道网联科技(北京)有限公司 一种目标跟踪方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213219A1 (en) * 2007-12-11 2009-08-27 Honda Research Institute Europe Gmbh Visually tracking an object in real world using 2d appearance and multicue depth estimations
TW201044322A (en) * 2009-06-09 2010-12-16 Univ Nat Taiwan A 3D pointing apparatus and an orientation method for 3D pointing apparatus
TW201142719A (en) * 2009-12-28 2011-12-01 Softkinetic Head recognition method
US20110311108A1 (en) * 2009-02-16 2011-12-22 Daimler Ag Method for detecting objects

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
DE19636028C1 (de) 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
US6185314B1 (en) * 1997-06-19 2001-02-06 Ncr Corporation System and method for matching image information to object model information
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6154558A (en) 1998-04-22 2000-11-28 Hsieh; Kuan-Hong Intention identification method
US6198485B1 (en) 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
US6658136B1 (en) 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
EP1837858B1 (en) 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7319479B1 (en) * 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
TW484303B (en) 2000-10-26 2002-04-21 Mustek Systems Inc Method and apparatus for fast capturing and processing of object image
TW501035B (en) 2001-03-20 2002-09-01 Ulead Systems Inc Interactive image searching method based on local object
US7109726B2 (en) 2001-07-25 2006-09-19 Koninklijke Philips Electronics N.V. Object sensing
US7283676B2 (en) 2001-11-20 2007-10-16 Anoto Ab Method and device for identifying objects in digital images
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US6690451B1 (en) 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
TWI233297B (en) 2003-12-29 2005-05-21 Compal Electronics Inc Method for grabbing article using real-time image as background
US7224831B2 (en) 2004-02-17 2007-05-29 Honda Motor Co. Method, apparatus and program for detecting an object
US7486815B2 (en) 2004-02-20 2009-02-03 Microsoft Corporation Method and apparatus for scene learning and three-dimensional tracking using stereo video cameras
US20050196015A1 (en) 2004-03-02 2005-09-08 Trw Automotive U.S. Llc Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system
KR100519782B1 (ko) 2004-03-04 2005-10-07 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
US7623676B2 (en) 2004-12-21 2009-11-24 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
TWI274296B (en) 2005-04-20 2007-02-21 Univ Nat Chiao Tung Image-based object tracking method
TWI270824B (en) 2005-05-02 2007-01-11 Pixart Imaging Inc Method for dynamically recognizing objects in an image based on diversities of object characteristics and system for using the same
TWI307052B (en) 2006-01-25 2009-03-01 Univ Nat Cheng Kung Method for interactive image object extraction/removal
TWI279879B (en) 2006-05-17 2007-04-21 Contrel Technology Co Ltd Method for bonding two objects by positioning with two cameras
US20080002963A1 (en) 2006-06-28 2008-01-03 Media Tek Inc. Systems and methods for capturing images of objects
JP4429298B2 (ja) 2006-08-17 2010-03-10 独立行政法人産業技術総合研究所 対象個数検出装置および対象個数検出方法
TW200819941A (en) 2006-10-26 2008-05-01 Contrel Technology Co Ltd Method for combining two objects using four video cameras
TWI326049B (en) 2006-11-10 2010-06-11 Ind Tech Res Inst Method of image object classification and identification
US7961906B2 (en) 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
US7801332B2 (en) 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
TW200842733A (en) 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
WO2009023044A2 (en) * 2007-04-24 2009-02-19 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
US7965866B2 (en) 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US8558883B2 (en) * 2007-07-27 2013-10-15 Sportvision, Inc. Providing graphics in images depicting aerodynamic flows and forces
US7970178B2 (en) * 2007-12-21 2011-06-28 Caterpillar Inc. Visibility range estimation method and system
TWI346311B (en) 2008-02-22 2011-08-01 Univ Nat Cheng Kung Three-dimensional finger motion analysis system and method
WO2009131539A1 (en) 2008-04-22 2009-10-29 Agency For Science, Technology And Research A method and system for detecting and tracking hands in an image
US8113991B2 (en) 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
TWI369899B (en) 2008-07-21 2012-08-01 Ind Tech Res Inst Method and system for tracking human extremity positions
US8385599B2 (en) 2008-10-10 2013-02-26 Sri International System and method of detecting objects
TWI455042B (zh) 2008-12-18 2014-10-01 Elan Microelectronics Corp Identification of Object Images
US8442267B2 (en) 2008-12-24 2013-05-14 Electronics And Telecommunications Research Institute Apparatus and method for detecting upper body posture and hand posture
IL196162A (en) 2008-12-24 2013-02-28 Rafael Advanced Defense Sys A system that uses 3D models to enable image comparison regardless of the source of the images
US8379987B2 (en) 2008-12-30 2013-02-19 Nokia Corporation Method, apparatus and computer program product for providing hand segmentation for gesture analysis
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US20100199231A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
AU2010215511A1 (en) * 2009-02-20 2011-09-22 3Gsm Gmbh Mobile projection system for scaling and orientation of surfaces surveyed by an optical measuring system
JP5647155B2 (ja) 2009-02-25 2014-12-24 本田技研工業株式会社 内側距離形状関係を使用する身体特徴検出及び人間姿勢推定
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
TW201044285A (en) 2009-06-01 2010-12-16 Meng-Hsien Liu Apply video image recognition function to search specific objects
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8654195B2 (en) * 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
US20110119216A1 (en) 2009-11-16 2011-05-19 Microsoft Corporation Natural input trainer for gestural instruction
TW201121314A (en) 2009-12-01 2011-06-16 Htc Corp Object image cropping method, object image cropping system and digital image device
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8611670B2 (en) 2010-02-25 2013-12-17 The Board Of Trustees Of The Leland Stanford Junior University Intelligent part identification for use with scene characterization or motion capture
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110219340A1 (en) 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
US8406472B2 (en) 2010-03-16 2013-03-26 Sony Corporation Method and system for processing image data
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
TWI431538B (zh) 2010-04-30 2014-03-21 Acer Inc 基於影像之動作手勢辨識方法及系統
US8525876B2 (en) 2010-05-12 2013-09-03 Visionbrite Technologies Inc. Real-time embedded vision-based human hand detection
US20110279368A1 (en) 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
US20110289455A1 (en) 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US20110299737A1 (en) 2010-06-04 2011-12-08 Acer Incorporated Vision-based hand movement recognition system and method thereof
TWI521410B (zh) 2010-06-14 2016-02-11 原相科技股份有限公司 物件影像擷取裝置以及擷取指示物之物件影像的方法
TW201203131A (en) 2010-07-01 2012-01-16 Nat Univ Chin Yi Technology System and method for hand image recognition
US8792722B2 (en) 2010-08-02 2014-07-29 Sony Corporation Hand gesture detection
TW201214242A (en) 2010-09-24 2012-04-01 Accupoint Technology Inc Ltd Object sensing device
TW201214244A (en) 2010-09-30 2012-04-01 Accupoint Technology Inc Lcd Object sensing device
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
TW201218047A (en) 2010-10-26 2012-05-01 Xiroku Accupoint Technology Inc Object sensing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213219A1 (en) * 2007-12-11 2009-08-27 Honda Research Institute Europe Gmbh Visually tracking an object in real world using 2d appearance and multicue depth estimations
US20110311108A1 (en) * 2009-02-16 2011-12-22 Daimler Ag Method for detecting objects
TW201044322A (en) * 2009-06-09 2010-12-16 Univ Nat Taiwan A 3D pointing apparatus and an orientation method for 3D pointing apparatus
TW201142719A (en) * 2009-12-28 2011-12-01 Softkinetic Head recognition method

Also Published As

Publication number Publication date
US9117138B2 (en) 2015-08-25
TW201411499A (zh) 2014-03-16
US20140064602A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
TWI496090B (zh) 使用深度影像的物件定位方法與裝置
US9818023B2 (en) Enhanced face detection using depth information
US9111135B2 (en) Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
Cohen et al. Inference of human postures by classification of 3D human body shape
Xia et al. Human detection using depth information by kinect
US9330307B2 (en) Learning based estimation of hand and finger pose
Chattopadhyay et al. Pose Depth Volume extraction from RGB-D streams for frontal gait recognition
US9129155B2 (en) Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) Systems and methods for initializing motion tracking of human hands
US8934675B2 (en) Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
JP5837508B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN105759967B (zh) 一种基于深度数据的手部全局姿态检测方法
KR20130044099A (ko) 영상 처리 방법 및 장치
CN109359514A (zh) 一种面向deskVR的手势跟踪识别联合策略方法
Liu et al. Ear-parotic face angle: A unique feature for 3D ear recognition
US10304002B2 (en) Depth-based feature systems for classification applications
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
Wang et al. Skin Color Weighted Disparity Competition for Hand Segmentation from Stereo Camera.
Xu et al. MultiView-based hand posture recognition method based on point cloud
Wang et al. SPFEMD: super-pixel based finger earth mover’s distance for hand gesture recognition
Le et al. Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired
KR101663033B1 (ko) 컨벡스헐을 이용한 기하학적 특징 기반의 손가락 인식 방법
Park et al. Upper-body Pose Recognition using Cylinder Pattern Model
Georgiana Sparse Features for Finger Detection
Simion Sparse Features for Finger Detection