TWI433054B - 影像深度資訊更新方法及裝置 - Google Patents

影像深度資訊更新方法及裝置 Download PDF

Info

Publication number
TWI433054B
TWI433054B TW099137333A TW99137333A TWI433054B TW I433054 B TWI433054 B TW I433054B TW 099137333 A TW099137333 A TW 099137333A TW 99137333 A TW99137333 A TW 99137333A TW I433054 B TWI433054 B TW I433054B
Authority
TW
Taiwan
Prior art keywords
image
depth
update frequency
information updating
blocks
Prior art date
Application number
TW099137333A
Other languages
English (en)
Other versions
TW201218121A (en
Inventor
Chia Chang Li
Duan Li Liao
Wen Hung Ting
Po Lung Chen
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW099137333A priority Critical patent/TWI433054B/zh
Priority to US12/981,649 priority patent/US8643643B2/en
Publication of TW201218121A publication Critical patent/TW201218121A/zh
Application granted granted Critical
Publication of TWI433054B publication Critical patent/TWI433054B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Description

影像深度資訊更新方法及裝置
本發明是有關於一種影像深度資訊更新方法及裝置，且特別是有關於一種可加速深度運算之影像深度資訊更新方法及裝置。
隨著科技發展日新月異，包括電腦動畫、數位遊戲、數位學習、行動應用與服務等之數位內容產業係蓬勃發展。現今以視覺為基礎的人機介面系統，主要利用攝影機擷取影像，再藉由影像辨識以偵測使用者的動作或手勢而進一步與數位內容互動。然而，傳統使用單一攝影機的互動系統容易因為色彩相近或背景干擾，導致辨識率不足。
後來發展出使用雙攝影機的人機介面系統，利用計算左右視差建立深度影像，不僅能有效地擷取相對攝影機而言屬於前景的物體，並且可濾除背影的干擾。然而，建立深度影像需要耗費龐大的計算量，在高解析度(例如QVGA的320×240解析度)需求下對於一般的個人電腦平台並無法提供即時運算。因而，現今的雙攝影機互動系統必須限制解析度以符合即時運算需求，但被限制的解析度會導致互動系統僅能辨識使用者的大肢段區域(如頭手等)，而無法提供更精細的互動操作。
本發明是有關於一種影像深度資訊更新方法及裝置，藉由判斷深度資訊而設定不同更新頻率於不同的影像區塊，故得以提高整體系統的深度運算效率。
根據本發明之第一方面，提出一種影像深度資訊更新方法，應用於一影像深度資訊更新裝置，影像深度資訊更新裝置包括一儲存單元以及一運算單元，儲存單元儲存對應於一先前影像的先前深度圖。影像深度資訊更新方法包括下列步驟。運算單元將由一影像擷取單元所擷取的一當前影像分割為多個影像區塊。運算單元依據對應於先前深度圖計算每一影像區塊的深度參考值，並依據此些深度參考值決定每一影像區塊的權重。運算單元依據此些權重決定每一影像區塊的更新頻率。運算單元依據此些影像區塊的更新頻率分別對此些影像區塊進行更新，並產生對應於當前影像的當前深度圖。
根據本發明之第二方面，提出一種影像深度資訊更新裝置，包括一儲存單元以及一運算單元。儲存單元用以儲存對應於一先前影像的先前深度圖。運算單元用以將由一影像擷取單元所擷取的一當前影像分割為多個影像區塊，並依據先前深度圖計算每一影像區塊的深度參考值，再依據此些深度參考值決定每一影像區塊的權重。其中，運算單元依據此些權重決定每一影像區塊的更新頻率，並依據此些影像區塊的更新頻率分別對此些影像區塊進行更新，且產生對應於當前影像的當前深度圖。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
本發明提出一種影像深度資訊更新方法及裝置，利用深度資訊適應性地設定不同更新頻率於不同的影像區塊，故得以藉由區域非同步更新影像區塊而提高整體系統的深度運算效率。
請參照第1圖，其繪示依照本發明較佳實施例之影像深度資訊更新裝置之示意圖。於第1圖中，影像深度資訊更新裝置100包括一影像擷取單元110(非必要元件)、一儲存單元120以及一運算單元130。其中，影像擷取單元110可為影像深度資訊更新裝置100的內部元件，亦可以為一外部元件，其主要用以擷取一當前影像以供運算。儲存單元120用以儲存對應於一先前影像的先前深度圖。運算單元130用以將當前影像分割為多個影像區塊，並依據先前深度圖計算每一影像區塊的深度參考值，再依據此些深度參考值決定每一影像區塊的權重。運算單元130依據此些權重決定每一影像區塊的更新頻率，並依據此些影像區塊的更新頻率分別對此些影像區塊進行更新，且產生對應於當前影像的當前深度圖。
請配合參照第2圖，其繪示依照本發明較佳實施例之影像深度資訊更新方法之流程圖。於步驟S10中，運算單元130將一當前影像分割為多個影像區塊。其中，此當前影像例如是採用雙攝影機系統做為影像擷取單元110所擷取之屬於平行視角的連續多個左右視角影像之一，然並不限於此，亦可是採用其他可建立深度影像系統做為影像擷取單元110所擷取的影像。
於步驟S20中，運算單元130依據對應於一先前影像的先前深度圖計算每一影像區塊的深度參考值。其中，每一影像區塊的深度參考值例如為每一影像區塊內的多個像素對應於先前深度圖的平均深度值，然並不限於此，運算單元130亦可取每一影像區塊內的多個像素的深度值中的最大深度值、最小深度值或最大數量深度值為深度參考值。接著，於步驟S30中，可依據此些深度參考值決定每一影像區塊的權重。其中，具較大深度參考值之影像區塊可被視為當前影像中的背景區域，而具較小深度參考值之影像區塊可被視為當前影像中的前景區域，因此可設定具較大深度參考值之影像區塊的權重小於具較小深度參考值之影像區塊的權重，此權重W可如公式(1)所示。
W=αD　(1)
此外，在步驟S10之後亦可以執行步驟S25(非必要選項)，運算單元130計算每一影像區塊的至少一額外影像特徵，此至少一額外影像特徵包括每一影像區塊的膚色資訊、動態(motion)資訊、物件資訊或邊緣資訊等，並不限制。如此一來，在步驟S30中，運算單元130除了依據各影像區塊的深度參考值，更可搭配每一影像區塊的至少一額外影像特徵以決定每一影像區塊的權重。舉例來說，若所參考的資訊包括深度參考值D、動態資訊M及膚色資訊S，則影像區塊的權重W’可以如公式(2)所示，其中α、β及γ代表資訊重要性。
W’=αD+βM+γS　(2)
於步驟S40中，運算單元130依據步驟S30中得到的每一影像區塊的權重決定每一影像區塊的更新頻率。之後，於步驟S50中，運算單元130依據此些影像區塊的更新頻率分別對此些影像區塊進行更新，並產生對應於當前影像的當前深度圖，此當前深度圖可供一下一影像的計算使用。在步驟S40中，依據權重決定更新頻率的準則實質上不做限制。舉例來說，運算單元130可將每一影像區塊的權重與一預設閥值進行比較，進而可將權重大於預設閥值的影像區塊(被認定為高重要性/前景區域)歸類於一即時影像序列，並將權重小於預設閥值的影像區塊(被認定為低重要性/背景區域)歸類於一非即時影像序列。如此一來，運算單元130即可以一第一更新頻率對屬於即時影像序列的影像區塊進行更新，並以一第二更新頻率對屬於非即時影像序列的影像區塊依序或隨機進行更新，其中第一更新頻率高於第二更新頻率。
接下來茲舉當前影像被分割為4×4個影像區塊，且僅依據深度參考值決定權重為例做說明。請參照第3圖，其繪示依照本發明較佳實施例之影像深度資訊更新方法的當前影像之一例示意圖。於第3圖中，當前影像100被分割為4×4個影像區塊IB(1,1)~IB(4,4)。之後，每一影像區塊的深度參考值M(1,1)~M(4,4)被計算得到，並據以決定影像區塊IB(1,1)~IB(4,4)的權重W(1,1)~W(4,4)。而依據權重W(1,1)~W(4,4)，影像區塊IB(1,1)~IB(4,4)被區分為即時影像序列(斜線區域)與非即時影像序列(非斜線區域)。
由於斜線區域屬前景區域重要性較高，而非斜線區域屬背景區域重要性較低，故設定斜線區域的更新頻率高於非斜線區域的更新頻率。假定斜線區域的更新頻率為60Hz，非斜線區域的更新頻率為10Hz，1/10秒內影像區塊IB(1,1)~IB(4,4)的權重W(1,1)~W(4,4)未改變，且非即時影像序列為依序更新，則1/10秒內被更新的影像區塊如表1所示。
由表1可以得知，每1/60秒影像區塊IB(1,3)、IB(2,1)~IB(2,4)、IB(3,1)~IB(3,2)、IB(4,1)~IB(4,3)均會更新，而影像區塊IB(1,1)、IB(1,2)、IB(1,4)、IB(3,3)、IB(3,4)、IB(4,4)只有一個會更新且為依序更新。亦即，即時更新序列的多個影像區塊為每次更新，非即時更新序列的多個影像區塊僅局部依序更新。
同樣地，假定斜線區域的更新頻率為60Hz，非斜線區域的更新頻率為10Hz，1/10秒內影像區塊IB(1,1)~IB(4,4)的權重W(1,1)~W(4,4)未改變，且非即時影像序列為隨機更新，則1/10秒內被更新的影像區塊如表2所示。
由表2可以得知，每1/60秒影像區塊IB(1,3)、IB(2,1)~IB(2,4)、IB(3,1)~IB(3,2)、IB(4,1)~IB(4,3)均會更新，而影像區塊IB(1,1)、IB(1,2)、IB(1,4)、IB(3,3)、IB(3,4)、IB(4,4)只有一個會更新且為隨機更新。亦即，即時更新序列的多個影像區塊為每次更新，非即時更新序列的多個影像區塊僅局部隨機更新。
由於一般的人機互動系統的影像可大致后分為使用者區域(前景區域)與非使用者區域(背景區域)，因此若採用本發明之影像深度資訊更新方法，針對連續影像在時間域上的特性，在計算影像深度資訊時可著重在計算使用者區域的深度資訊，並減少背景區域等不重要區域在時間域上的深度計算量，達到加速深度計算效果，提高整體深度計算效能。
本發明提出一種影像深度資訊更新方法及裝置，打破傳統序列建立深度影像方法，將影像分割成多個影像區塊，並利用深度資訊與其他影像特徵決定影像區塊的權重，且據以適應性地設定不同更新頻率於不同的影像區塊，讓感興趣的區域能有較高的更新頻率、減少不重要區域的深度運算量。是故，本發明之影像深度資訊更新方法及裝置得以藉由區域非同步更新影像區塊而提高整體系統的深度運算效率，提供視覺式人機互動系統高品質且即時的深度影像，讓視覺式人機互動系統能夠辨識更細微的人體動作。
綜上所述，雖然本發明已以一較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．影像深度資訊更新裝置
110．．．影像擷取單元
120．．．儲存單元
130．．．運算單元
B(1,1)~B(4,4)．．．影像區塊
300．．．當前影像
第1圖繪示依照本發明較佳實施例之影像深度資訊更新裝置之示意圖。
第2圖繪示依照本發明較佳實施例之影像深度資訊更新方法之流程圖。
第3圖繪示依照本發明較佳實施例之影像深度資訊更新方法的當前影像之一例示意圖。

Claims (18)

  1. 一種影像深度資訊更新方法，應用於一影像深度資訊更新裝置，該影像深度資訊更新裝置包括一儲存單元以及一運算單元，該儲存單元儲存對應於一先前影像的先前深度圖，該影像深度資訊更新方法包括：該運算單元將由一影像擷取單元所擷取的一當前影像分割為複數個影像區塊；該運算單元依據對應於該先前深度圖計算每一該影像區塊的深度參考值，並依據該些深度參考值決定每一該影像區塊的權重；該運算單元依據該些權重決定每一該影像區塊的更新頻率；以及該運算單元依據該些影像區塊的更新頻率分別對該些影像區塊進行更新，並產生對應於該當前影像的當前深度圖。
  2. 如申請專利範圍第1項所述之影像深度資訊更新方法，其中該當前影像屬於該影像擷取單元所擷取的平行視角的連續複數個左右視角影像之一。
  3. 如申請專利範圍第1項所述之影像深度資訊更新方法，其中該運算單元計算每一該影像區塊內的複數個像素對應於該先前深度圖的平均深度值、最大深度值、最小深度值或最大數量深度值為每一該影像區塊的深度參考值。
  4. 如申請專利範圍第1項所述之影像深度資訊更新方法，其中具較大深度參考值之影像區塊的權重小於具較小深度參考值之影像區塊的權重。
  5. 如申請專利範圍第1項所述之影像深度資訊更新方法，其中該決定更新頻率之步驟包括：該運算單元比較一預設閥值與該些權重，以將該些影像區塊區分為一即時影像序列與一非即時影像序列；以及該運算單元設定屬於該即時影像序列的影像區塊之更新頻率為一第一更新頻率，並設定屬於該非即時影像序列的影像區塊之更新頻率為一第二更新頻率，該第一更新頻率高於該第二更新頻率。
  6. 如申請專利範圍第5項所述之影像深度資訊更新方法，其中該運算單元係以該第二更新頻率依序更新屬於該非即時影像序列的該些影像區塊。
  7. 如申請專利範圍第5項所述之影像深度資訊更新方法，其中該運算單元係以該第二更新頻率隨機更新屬於該非即時影像序列的該些影像區塊。
  8. 如申請專利範圍第1項所述之影像深度資訊更新方法，其中該決定每一該影像區塊的權重之步驟更包括：該運算單元除了依據該些深度參考值，更搭配每一該影像區塊的至少一額外影像特徵以決定每一該影像區塊的權重。
  9. 如申請專利範圍第8項所述之影像深度資訊更新方法，其中該至少一額外影像特徵包括每一該影像區塊的膚色資訊、動態資訊、物件資訊或邊緣資訊。
  10. 一種影像深度資訊更新裝置，包括：一儲存單元，用以儲存對應於一先前影像的先前深度圖；以及一運算單元，用以將由一影像擷取單元所擷取的一當前影像分割為複數個影像區塊，並依據該先前深度圖計算每一該影像區塊的深度參考值，再依據該些深度參考值決定每一該影像區塊的權重；其中，該運算單元依據該些權重決定每一該影像區塊的更新頻率，並依據該些影像區塊的更新頻率分別對該些影像區塊進行更新，且產生對應於該當前影像的當前深度圖。
  11. 如申請專利範圍第10項所述之影像深度資訊更新裝置，其中該當前影像屬於該影像擷取單元所擷取的平行視角的連續複數個左右視角影像之一。
  12. 如申請專利範圍第10項所述之影像深度資訊更新裝置，其中該運算單元計算每一該影像區塊內的複數個像素對應於該先前深度圖的平均深度值、最大深度值、最小深度值或最大數量深度值為每一該影像區塊的深度參考值。
  13. 如申請專利範圍第10項所述之影像深度資訊更新裝置，其中具較大深度參考值之影像區塊的權重小於具較小深度參考值之影像區塊的權重。
  14. 如申請專利範圍第10項所述之影像深度資訊更新裝置，其中該運算單元比較一預設閥值與該些權重，以將該些影像區塊區分為一即時影像序列與一非即時影像序列，然後該運算單元設定屬於該即時影像序列的影像區塊之更新頻率為一第一更新頻率，並設定屬於該非即時影像序列的影像區塊之更新頻率為一第二更新頻率，該第一更新頻率高於該第二更新頻率。
  15. 如申請專利範圍第14項所述之影像深度資訊更新裝置，其中該運算單元係以該第二更新頻率依序更新屬於該非即時影像序列的該些影像區塊。
  16. 如申請專利範圍第14項所述之影像深度資訊更新裝置，其中該運算單元係以該第二更新頻率隨機更新屬於該非即時影像序列的該些影像區塊。
  17. 如申請專利範圍第10項所述之影像深度資訊更新裝置，其中該運算單元除了依據該些深度參考值，更搭配每一該影像區塊的至少一額外影像特徵以決定每一該影像區塊的權重。
  18. 如申請專利範圍第17項所述之影像深度資訊更新裝置，其中該至少一額外影像特徵包括每一該影像區塊的膚色資訊、動態資訊、物件資訊或邊緣資訊。
TW099137333A 2010-10-29 2010-10-29 影像深度資訊更新方法及裝置 TWI433054B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099137333A TWI433054B (zh) 2010-10-29 2010-10-29 影像深度資訊更新方法及裝置
US12/981,649 US8643643B2 (en) 2010-10-29 2010-12-30 Image depth information refreshing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099137333A TWI433054B (zh) 2010-10-29 2010-10-29 影像深度資訊更新方法及裝置

Publications (2)

Publication Number Publication Date
TW201218121A TW201218121A (en) 2012-05-01
TWI433054B true TWI433054B (zh) 2014-04-01

Family

ID=45996178

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099137333A TWI433054B (zh) 2010-10-29 2010-10-29 影像深度資訊更新方法及裝置

Country Status (2)

Country Link
US (1) US8643643B2 (zh)
TW (1) TWI433054B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI481262B (zh) * 2011-07-28 2015-04-11 Ind Tech Res Inst 影像編碼系統及影像編碼方法
TWI573433B (zh) 2014-04-30 2017-03-01 聚晶半導體股份有限公司 優化深度資訊的方法與裝置
US10649521B2 (en) 2017-04-24 2020-05-12 Intel Corporation Compensating for high head movement in head-mounted displays

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309522A (en) 1992-06-30 1994-05-03 Environmental Research Institute Of Michigan Stereoscopic determination of terrain elevation
KR100374784B1 (ko) 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7275063B2 (en) * 2002-07-16 2007-09-25 Horn Bruce L Computer system for automatic organization, indexing and viewing of information from multiple sources
US7251346B2 (en) 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
US7389432B2 (en) * 2004-11-10 2008-06-17 Microsoft Corporation Advanced power management for computer displays
TWI314832B (en) 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
TW201005673A (en) 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
TW201028964A (en) 2009-01-23 2010-08-01 Ind Tech Res Inst Depth calculating method for two dimension video and apparatus thereof

Also Published As

Publication number Publication date
US8643643B2 (en) 2014-02-04
TW201218121A (en) 2012-05-01
US20120105433A1 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
US10469829B2 (en) Information processor and information processing method
JP6548518B2 (ja) 情報処理装置および情報処理方法
US8698796B2 (en) Image processing apparatus, image processing method, and program
WO2009113144A1 (ja) 対象物追跡装置および対象物追跡方法
US20140212031A1 (en) Method and arrangement for 3-dimensional image model adaptation
WO2014106445A1 (zh) 逆光检测方法及设备
JP5530399B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP2016038886A (ja) 情報処理装置および情報処理方法
JP2016039618A (ja) 情報処理装置および情報処理方法
US20230024396A1 (en) A method for capturing and displaying a video stream
TWI433054B (zh) 影像深度資訊更新方法及裝置
CN105809664B (zh) 生成三维图像的方法和装置
CN112218107A (zh) 直播渲染方法和装置、电子设备及存储介质
US20190340773A1 (en) Method and apparatus for a synchronous motion of a human body model
JP2015170206A (ja) 検出装置および検出方法
TWI641999B (zh) Eyeball recognition method and system
CN113761965B (zh) 动作捕捉方法、装置、电子设备和存储介质
WO2017083422A1 (en) Sensor system for collecting gestural data in two-dimensional animation
Yen et al. Differentiated Handling of Physical Scenes and Virtual Objects for Mobile Augmented Reality
CN111754543A (zh) 图像处理方法、装置及系统
CN116112716B (zh) 基于单指令流多数据流的虚拟人直播方法、装置及系统
WO2018191058A1 (en) Image processing system with discriminative control
CN114155324B (zh) 虚拟角色的驱动方法、装置、电子设备及可读存储介质
WO2022062570A1 (zh) 图像处理方法和装置