TWI610059B - 三維量測方法及應用其之三維量測裝置 - Google Patents

三維量測方法及應用其之三維量測裝置 Download PDF

Info

Publication number
TWI610059B
TWI610059B TW105124767A TW105124767A TWI610059B TW I610059 B TWI610059 B TW I610059B TW 105124767 A TW105124767 A TW 105124767A TW 105124767 A TW105124767 A TW 105124767A TW I610059 B TWI610059 B TW I610059B
Authority
TW
Taiwan
Prior art keywords
scan
area
scanning
resolution
structured light
Prior art date
Application number
TW105124767A
Other languages
English (en)
Other versions
TW201809591A (zh
Inventor
張耀宗
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW105124767A priority Critical patent/TWI610059B/zh
Priority to CN201610701949.3A priority patent/CN107687818B/zh
Priority to US15/418,880 priority patent/US10630890B2/en
Application granted granted Critical
Publication of TWI610059B publication Critical patent/TWI610059B/zh
Publication of TW201809591A publication Critical patent/TW201809591A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一種三維量測方法，包括：透過一視線偵測單元，偵測使用者之一面部朝向以及一眼球注視方向；透過一運算控制單元，依據該面部朝向以及該眼球注視方向決定一視線關注區，並依據該視線關注區設定一第一組掃描參數；以及透過一掃描偵測單元，基於該第一組掃描參數對相應於該視線關注區的一第一掃描區執行一第一結構光掃描，並選擇性地基於一第二組掃描參數針對該第一掃描區以外的一第二掃描區執行一第二結構光掃描。

Description

三維量測方法及應用其之三維量測裝置
本發明是有關於一種三維量測方法及應用其之三維量測裝置。
近年來，三維量測技術的應用日漸普及，如具備雙鏡頭之三維照相裝置，其利用兩鏡頭之間的視角差來測量物體與相機之間的距離。又如飛時測距(Time of Fly)技術，其藉由發射一偵測光(如雷射光)，再量測該偵測光從發射到接收所需之時間，以測得與物體之光反射處之距離。
另有一結構光(structured light)掃描技術，其利用光投影設備將具有間隔光條的掃描線圖樣投射至物體表面，再透過光接收設備擷取被投影該掃描線圖樣的物體影像，從而分析並獲得該物體的三維形貌資訊。進一步說，由於物體的表面起伏通常會使投影於其上的光條產生形狀畸變，故可從光條的畸變情況估測出物體的三維形貌。
然而，雖然目前的三維量測技術大多可偵測出場景的三維形貌，但相對的後端設備往往需花費相當的運算資源來計算出場景中各物件每一點的三維資訊，使得運算時間增加、硬體需求提高，進而增加時間及設備成本。
因此，如何提出一種有效率的三維量測方法及應用其之三維量測裝置，乃目前業界所致力的課題之一。
本發明係關於一種三維量測方法及應用其之三維量測裝置，其藉由偵測使用者當前所注視的區域，動態調整執行結構光掃描的掃描區域範圍、掃描解析度及/或掃描頻率，以減少花費運算資源在處理不必要的掃描資料上、加快處理速度、或是在同樣處理時間內，提升針對使用者之視線關注區之掃描解析度。
根據本發明之一方面，提出一種三維量測方法，包括：透過一視線偵測單元，偵測使用者之一面部朝向以及一眼球注視方向；透過一運算控制單元，依據該面部朝向以及該眼球注視方向決定一視線關注區，並依據該視線關注區設定一第一組掃描參數；以及透過一掃描偵測單元，基於該第一組掃描參數對相應於該視線關注區的一第一掃描區執行一第一結構光掃描，並選擇性地基於一第二組掃描參數針對該第一掃描區以外的一第二掃描區執行一第二結構光掃描。
根據本發明之另一方面，提出一種三維量測裝置，其包括視線偵測單元、運算控制單元以及掃描偵測單元。視線偵 測單元用以偵測使用者之一面部朝向以及一眼球注視方向。運算控制單元用以依據該面部朝向以及該眼球注視方向決定一視線關注區，並依據該視線關注區設定一第一組掃描參數。掃描偵測單元用以基於該第一組掃描參數對相應於該視線關注區的一第一掃描區執行一第一結構光掃描，並選擇性地基於一第二組掃描參數針對該第一掃描區以外的一第二掃描區執行一第二結構光掃描。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
100‧‧‧三維量測裝置
102‧‧‧視線偵測單元
104‧‧‧運算控制單元
106‧‧‧掃描偵測單元
108‧‧‧輸出入單元
110‧‧‧顯示單元
1022‧‧‧位置偵測單元
1024‧‧‧眼球偵測單元
1042‧‧‧處理器
1044‧‧‧鏡頭控制單元
1046‧‧‧記憶單元
1062‧‧‧投射光單元
1064‧‧‧反射光單元
1066‧‧‧照相單元
202、204、206‧‧‧步驟
SS‧‧‧場景
OB1~OB5‧‧‧物體
IA、IA’‧‧‧視線關注區
302、402、502、602、702、802、902、1002‧‧‧第一掃描區
504、604‧‧‧第二掃描區
S1‧‧‧追蹤模式
S2‧‧‧省電模式
第1圖繪示依據本發明一實施例之三維量測裝置之方塊圖。
第2圖繪示依據本發明之一實施例之三維量測方法之流程圖。
第3圖繪示針對不同區域進行差異化結構光掃描的一例示意圖。
第4圖繪示針對不同區域進行差異化結構光掃描的另一例示意圖。
第5圖繪示針對不同區域進行差異化結構光掃描的另一例示意圖。
第6圖繪示針對不同區域的掃描資料進行差異化處理的一例示意圖。
第7圖繪示針對不同區域的掃描資料進行差異化處理的另一 例示意圖。
第8圖繪示針對不同區域的掃描資料進行差異化處理的另一例示意圖。
第9圖繪示針對不同區域的掃描資料進行差異化處理的另一例示意圖。
第10圖繪示依據包含多個被注視物體之視線關注區來定義第一掃描區之示意圖。
第11圖繪示依據本發明之一實施例之三維量測裝置之一例操作狀態圖。
在本文中，參照所附圖式仔細地描述本揭露的一些實施例，但不是所有實施例都有表示在圖示中。實際上，這些發明可使用多種不同的變形，且並不限於本文中的實施例。相對的，本揭露提供這些實施例以滿足應用的法定要求。圖式中相同的參考符號用來表示相同或相似的元件。
第1圖繪示依據本發明一實施例之三維量測裝置100之方塊圖。三維量測裝置100例如是三維照相裝置或是其它具備距離/深度感測能力的電子裝置，其主要包括視線偵測單元102、運算控制單元104以及掃描偵測單元106。視線偵測單元102可偵測使用者眼睛所注視的區域，並將測得的資訊提供給運算控制單元104以決定一視線關注區。運算控制單元104可依據視線關注區調整掃描偵測單元106執行結構光掃描時所涉及的掃描參數，例如掃描區域範圍、掃描解析度、掃描頻率、掃描線圖 樣類型等，使掃描偵測單元106基於調整後的掃描參數針對視線關注區進行結構光掃描。
在一實施例中，三維量測裝置100更包括輸出入單元108以及顯示單元110。輸出入單元108可提供一人機介面以供使用者操作。顯示單元110例如是一顯示螢幕，以三維照相裝置為例，顯示單元110可用來顯示相機視窗瞄準之影像、拍攝之相片、人機介面以及三維影像資訊等。
視線偵測單元102包括位置偵測單元1022以及眼球偵測單元1024。位置偵測單元1022例如是一動作感測器，可偵測使用者的所在位置/姿態，以得知使用者臉部所面對之方向(即面部朝向)。位置偵測單元1022可裝設於使用者之穿戴式裝置當中，如虛擬實境(Virtual Reality,VR)眼鏡、擴增實境(Augmented Reality,AR)眼鏡或混合實境(Mixed Reality,MR)眼鏡。當使用者穿戴時，位置偵測單元1022可測知使用者的面部朝向，藉此提高判斷使用者之視線關注區的準確度。
眼球偵測單元1024例如是一眼球偵測感測器，可藉由偵測使用者的眼球活動以判斷一眼球注視方向。在一實施例中，當使用者瞳孔被偵測到維持在同一視角一段時間以上(例如3秒以上)，即可判定使用者目前正在注視某處，而該視角所對應的方向即眼球注視方向。
在一實施例中，位置偵測單元1022與眼球偵測單元1024可整合在同一裝置上，或是由單一元件來實現兩者之功能。 舉例來說，可透過高解析相機擷取使用者影像，再透過影像辨識技術自該影像分析使用者的姿態及眼球注視方向，進而判斷使用者當前的所注視的區域，即視線關注區。
運算控制單元104例如包括處理器1042、鏡頭控制單元1044以及記憶單元1046。
處理器1042可設定掃描偵測單元106執行拍攝及結構光掃描時所涉及的參數，例如掃描區域、影像拍攝區域、掃描解析度、掃描頻率、掃描線圖像等。處理器1042亦可依據照相單元1066所擷取的二維影像及各影像點所對應的距離/深度資訊，取得物體的三維形貌資訊。
鏡頭控制單元1044可依據處理器1042所設定的一組掃描參數，控制投射光單元1062及反射光偵測單元1064執行特定形式的結構光掃描，再將獲得的掃描資料傳送給處理器1042作後續處理。鏡頭控制單元1044亦可回應處理器1042的控制，驅動照相單元1066拍攝二維照片及/或縮放鏡頭。鏡頭控制單元1044可以是硬體電路、軟體程式、或兩者之結合，其可實現於處理器1042內部，亦可實現於耦接處理器1042的外部電路。
記憶單元1046耦接處理器1042，其例如是記憶體或其他可供處理器1042存取的儲存媒體，可儲存控制程式以及影像資料。
掃描偵測單元106例如包括投射光單元1062、反射光單元1064以及照相單元1066。
投射光單元1062例如是編碼結構光(structured code light)之投影設備，可投射一連串被編碼的掃描線圖樣以進行結構光掃描。投射光單元1062所投射的光可以是可見光或非可見光，較佳地為紅外線雷射光。投射光單元1062可回應鏡頭控制單元1044之控制，調整執行結構光掃描的相關設定，例如掃描線圖樣之形式(如橫向、直向或其它方向之掃描線)、掃描線之粗細、掃描頻率及掃描區域之範圍等。
反射光偵測單元1064受控於鏡頭控制單元1044，可偵測投射光單元1062所投射的光遇到物體所反射回來的反射光。反射光偵測單元1064可以是一個與投射光搭配的特殊光相機，例如紅外線相機(若投射光為紅外線)。當投射光單元1062以一掃描頻率連續投射M張不同的掃描線圖樣至物體表面，反射光偵測單元1064將對應地擷取到M張被投影物體影像。透過分析該M張被投影物體影像，可知光投射角及光反射感測角等資訊，進而計算出反射此投射光之物體之距離。
基於結構光掃描的原理，一個被結構光掃描的物體點可能會在M張被投影物體影像中的特定幾張依序出現。若有出現該物體點的影像以位元「1」(或位元「0」)表示，未出現該物體點的影像以位元「0」(或位元「1」)表示，將可得到一筆M位元資料，此筆M位元資料係對應一特定掃描線。舉例來說，若M=7，且一物體點只在第1、4、7張被投影物體影像出現，則表示該物體點係對應位元資料為「1001001」之掃描線。由於各條 掃描線的光投射角是已知的，故配合對應的光接收資訊(如光反射感測角)，即可基於三角測量法計算出該物體點的距離。此外透過上述方式，投射光單元1062可藉由投射M張不同的被編碼掃描線圖樣至物體表面來達到2M條掃描線的掃描解析度。
照相單元1066例如是一般之照相機，可拍攝二維影像。運算控制單元104可依此二維影像獲取物體的二維形貌資訊，包括X、Y軸資訊及色彩資訊，再加上前述基於投射光與反射光所計算出的距離資訊，即可獲取物體的三維形貌資訊。
第2圖繪示依據本發明之一實施例之三維量測方法之流程圖。所述之三維量測方法係適用，但不限於，第1圖所示之三維量測裝置100。
在步驟202，視線偵測單元102偵測使用者之面部朝向以及眼球注視方向。舉例來說，視線偵測單元102可藉由偵測使用者的頭部姿態，以判斷其面部朝向，並判斷使用者的瞳孔是否朝向一特定方向持續一段時間，若是，則判斷使用者正在進行注視，且定義該特定方向即眼球注視方向。在一實施例中，視線偵測單元102可依據瞳孔位置相對於一參考點之間的位移以及維持時間，推算眼球注視方向。
在步驟204，運算控制單元104依據測得的面部朝向以及眼球注視方向決定視線關注區，並依據該視線關注區決定第一組掃描參數。舉例來說，運算控制單元104會結合面部朝向以及眼球注視方向的角度資訊，經過座標轉換以轉換至同一座標 系後，針對一場景定義出使用者所注視的區域範圍，即視線關注區。在一些實際的應用中，視線關注區大約對應1至2度的視角範圍。
在偵測出使用者的視線關注區後，運算控制單元104將針對視線關注區建立一第一掃描區，並依據視線關注區的範圍、視線關注區中被注視物體的位置、大小等資訊，設定針對第一掃描區的第一組掃描參數。第一組掃描參數例如包括第一掃描區之大小、形狀及位置、針對第一掃描區之第一掃描解析度、針對第一掃描區之第一掃描頻率以及針對第一掃描區之第一掃描線圖樣至少其一。
在步驟206，掃描偵測單元106基於第一組掃描參數對相應於視線關注區的第一掃描區執行第一結構光掃描，並選擇性地基於第二組掃描參數針對第一掃描區以外的第二掃描區執行第二結構光掃描。第二組掃描參數例如包括第二掃描區之大小、形狀及位置、針對第二掃描區之第二掃描解析度、針對第二掃描區之第二掃描頻率以及針對第二掃描區之第二掃描線圖樣至少其一。
在一實施例中，若掃描偵測單元106分別對第一掃描區以及第二掃描區執行第一結構光掃描以及第二結構光掃描，也就是第二結構光有被執行，運算控制單元104可設定第一組掃描參數與第二組掃描參數至少部分相異，以控制掃描偵測單元106針對不同的區域執行差異化的結構光掃描。
進一步說，由於第一掃描區以外的區域可能不是使用者所關注的區域，故運算控制單元104可藉由調整第一組掃描參數與第二組掃描參數，使掃描偵測單元106對第一掃描區執行較精細(例如具有較高掃描解析度、較高掃描頻率)的第一結構光掃描，並對於第一掃描區以外的區域(如第二掃描區)執行較粗糙的第二結構光掃描，藉此提升掃描效率。
或者，掃描偵測單元106可基於相同掃描參數對整個場景(包括第一掃描區及第二掃描區)進行結構光掃描，但運算控制單元104僅針對第一掃描區的掃描資料進行處理，以有效利用運算資源。也就是說，運算控制單元104亦可對獲得的掃描資料進行差異化處理，以集中運算資源在處理對應視線關注區的掃描資料上。
又一實施例中，掃描偵測單元106可僅針對第一掃描區進行第一結構光掃描，並暫停對第一掃描區以外的區域進行掃描，藉此提高掃描速度、降低後端電路所需處理的資料量。
為方便理解本發明，以下將配合第3至11圖說明本發明實施例之三維量測裝置之不同掃描態樣。但需注意的是，此些掃描態樣僅為說明之用，而非用以限制本發明，亦非表示三維量測裝置的所有可能掃描態樣。
第3圖繪示針對不同區域進行差異化結構光掃描的一例示意圖。在第3圖的例子中，場景SS包括五個物體OB1~OB5。假設使用者正注視物體OB5，運算控制單元104可基於眼球追蹤 技術，利用視線偵測單元102測得的使用者面部朝向以及眼球注視方向等資訊，定義出視線關注區IA。
在確認視線關注區IA的範圍後，運算控制單元104將建立對應視線關注區IA的第一掃描區302。如第3圖所示，假設掃描偵測單元106的預設掃描範圍可涵蓋整個場景SS，掃描偵測單元106將回應於運算控制單元104的控制，調整預設掃描範圍的尺寸，使第一掃描區302適當地涵蓋視線關注區IA，或是或在視線關注區IA內。
在此例中，運算控制單元104係控制掃描偵測單元106只針對第一掃描區302執行第一結構光掃描(圖中以間隔條紋作表示)，並暫停對第一掃描區302外的其他區域作結構光掃描，藉此提高掃描效率。
在一實施例中，運算控制單元104可進一步調整針對第一掃描區302的第一組掃描參數來增加對第一掃描區302的掃描質量。如第3圖所示，假定掃描偵測單元106具有一預設掃描解析度(如2M條掃描線)，運算控制單元104在從視線關注區IA中辨識出被注視物體(如物體OB5)後，將依據該被注視物體的位置及輪廓資訊(如大小、形狀等資訊)，增加預設掃描解析度(例如提高至2N條掃描線，其中N>M)，以作為針對第一掃描區302的第一掃描解析度。掃描解析度的增加幅度可以是一定值，也可以是和被注視物體的細節程度呈正相關。
第4圖繪示針對不同區域進行差異化結構光掃描的 另一例示意圖。在此例中，掃描偵測單元106基於預設掃描解析度(即第一解析度等於預設解析度，圖中以較粗間隔條紋作表示)對第一掃描區402作第一結構光掃描，並暫停對第一掃描區402以外的區域作掃描。且掃描偵測單元106可僅調整其預設掃描範圍的長、寬其中之一以作為第一掃描區402，藉此涵蓋視線關注區IA。
第5圖繪示針對不同區域進行差異化結構光掃描的另一例示意圖。在此例中，掃描偵測單元106基於第一掃描解析度對第一掃描區502作第一結構光掃描(以較細間隔條紋表示)，並基於第二掃描解析度對第一掃描區502以外的第二掃描區504作第二結構光掃描(以較粗間隔條紋表示)，其中第一掃描解析度係大於第二掃描解析度。在一些實施例中，運算控制單元104亦可將針對第一掃描區502的第一組掃描參數全部或部分地設定成優於針對第二掃描區504的第二組掃描參數(例如使第一掃描頻率大於第二掃描頻率)，以相對地提高針對第一掃描區502的掃描質量。
第6圖繪示針對不同區域的掃描資料進行差異化處理的一例示意圖。在此例中，掃描偵測單元106基於單一掃描解析度(如預設掃描解析度)對整個場景SS作結構光掃描，但運算控制單元104只會對相應於視線關注區IA的第一掃描區602的掃描資料作深度估測處理，以得到第一掃描區602的物體三維形貌資訊，藉此減少所需處理的資料量。
如第6圖所示，掃描偵測單元106基於第一掃描解析度對第一掃描區602作第一結構光掃描，並基於第二掃描解析度對第一掃描區502以外的第二掃描區604作第二結構光掃描，其中第一掃描解析度係等於第二掃描解析度。
對第一掃描區602執行第一結構光掃描將取得第一掃描資料(如M張被投影場景影像中，對應第一掃描區602的影像部分)，而對第二掃描區604執行第二結構光掃描將取得第二掃描資料(如M張被投影場景影像中，對應第二掃描區604的影像部分)。在此例中，運算控制單元104只會採用第一掃描資料作深度估測處理，而不採用第二掃描資料，以取得物體三維形貌資訊。舉例來說，運算控制單元104會先將擷取到的M張被投影場景影像裁切至剩下第一掃描區602的影像部分，再對其作後續的深度估測處理，以取得第一掃描區602的物體三維形貌資訊。
另一實施例中，運算控制單元104會對第一掃描資料以及第二掃描資料作深度估測處理，以取得場景SS的三維形貌資訊，不過第一掃描資料相較於第二掃描資料係優先被運算控制單元104處理。也就是說，對運算控制單元104而言，第一掃描區602的掃描資料相較於第二掃描區的掃描資料有較優先的處理順序。
第7圖繪示針對不同區域的掃描資料進行差異化處理的另一例示意圖。與第6圖實施例的主要差別在於，本實施例中第一掃描區702的大小更貼近視線關注區IA。
第8圖繪示針對不同區域的掃描資料進行差異化處理的另一例示意圖。與第7圖實施例的主要差別在於，本實施例中掃描偵測單元106係基於較高的掃描解析度(例如大於預設解析度)對場景SS作結構光掃描，而運算控制單元104只會對相應於視線關注區IA的第一掃描區802的掃描資料作深度估測處理。
第9圖繪示針對不同區域的掃描資料進行差異化處理的另一例示意圖。與第8圖實施例的主要差別在於，本實施例中第一掃描區902的範圍僅在一個方向上(如水平方向)作調整。
前述的多個實施例中雖以視線關注區IA中僅包含一個被注視物體OB5為例，但本發明並不以此為限。如第10圖所示，其繪示依據包含多個被注視物體之視線關注區IA’來定義第一掃描區1002之示意圖。
進一步說，當運算控制單元104自視線關注區IA’中辨識出多個被注視物體(如物體OB3及OB5)，將依據此些被注視物體OB3、OB5的位置及輪廓資訊(如大小、形狀)調整第一掃描區1002，使第一掃描區1002的範圍至少包括此些被注視物體OB3、OB5。
第11圖繪示依據本發明之一實施例之三維量測裝置之一例操作狀態圖。此處所述之三維量測裝置可例如是第1圖之三維量測裝置100，但並不以此為限。
在此例中，三維量測裝置100可藉由判斷使用者是 否在注視物體，以決定操作操作於追蹤模式S1或省電模式S2。
舉例來說，三維量測裝置100可透過視線偵測單元102偵測使用者之眼球注視時間，例如瞳孔停留在相對於一固定參考點的位置所持續的時間，並透過運算控制單元104判斷該眼球注視時間是否大於一時間閥值。
當眼球注視時間大於該時間閥值，表示偵測到使用者有注視物體，此時三維量測裝置100將進入追蹤模式S1。在追蹤模式S1，三維量測裝置100將針對第一、二掃描區作不同形式的差異化掃描及/或差異化資料處理，如包括增加針對第一掃描區的第一掃描解析度。
另一方面，當眼球注視時間小於該時間閥值，表示未偵測到使用者有注視物體，此時三維量測裝置100將進入省電模式S2。在省電模式S2，三維量測裝置100可不執行差異化掃描，並以較低的掃描解析度及/或掃描頻率來執行整個場景的結構光掃描，如包括降低針對第一掃描區的第一掃描解析度。
綜上所述，本發明提出之三維量測方法及應用其之三維量測裝置，可透過偵測使用者當前所注視的區域，動態調整執行結構光掃描的掃描參數，以針對不同區域作差異化掃描，或是針對不同區域的掃描資料作差異化處理，藉此節省掃描時間、加快處理速度，並提升針對使用者之視線關注區之掃描解析度。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫 離本發明之精神和範圍內，當可作各種之更動與潤飾，並自由地結合各實施例。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
202、204、206‧‧‧步驟

Claims (16)

  1. 一種三維量測方法，包括：透過一視線偵測單元，偵測使用者之一面部朝向以及一眼球注視方向；透過一運算控制單元，依據該面部朝向以及該眼球注視方向決定一視線關注區，並依據該視線關注區設定一第一組掃描參數；以及透過一掃描偵測單元，基於該第一組掃描參數對相應於該視線關注區的一第一掃描區執行一第一結構光掃描，並選擇性地基於一第二組掃描參數針對該第一掃描區以外的一第二掃描區執行一第二結構光掃描；其中，該運算控制單元採用對該第一掃描區執行該第一結構光掃描所得之一第一掃描資料作深度估測處理，以取得一物體三維形貌資訊；其中偵測該使用者之一眼球注視時間；判斷該眼球注視時間是否大於一時間閥值；當該眼球注視時間大於該時間閥值，進入一追蹤模式，以增加針對該第一掃描區的一第一掃描解析度；以及當該眼球注視時間小於該時間閥值，進入一省電模式，以降低針對該第一掃描區的該第一掃描解析度。
  2. 如申請專利範圍第1項所述之三維量測方法，其中該第一組掃描參數與該第二組掃描參數至少部分相異。
  3. 如申請專利範圍第2項所述之三維量測方法，其中該第一組掃描參數包括該第一掃描區之大小、形狀及位置、針對該第一掃描區之該第一掃描解析度、針對該第一掃描區之一第一掃描頻率以及針對該第一掃描區之一第一掃描線圖樣至少其一，該第二組掃描參數包括該第二掃描區之大小、形狀及位置、針對該第二掃描區之一第二掃描解析度、針對該第二掃描區之一第二掃描頻率以及針對該第二掃描區之一第二掃描線圖樣至少其一。
  4. 如申請專利範圍第3項所述之三維量測方法，其中當該第二結構光掃描被執行，針對該第一掃描區的該第一掃描解析度大於針對該第二掃描區的該第二掃描解析度。
  5. 如申請專利範圍第3項所述之三維量測方法，其中當該第二結構光掃描被執行，且針對該第一掃描區的該第一掃描解析度等於針對該第二掃描區的該第二掃描解析度，該三維量測方法更包括：對該第一掃描區執行該第一結構光掃描以取得該第一掃描資料；對該第二掃描區執行該第二結構光掃描以取得一第二掃描資料；以及只採用該第一掃描資料作深度估測處理，而不採用該第二掃描資料，以取得該物體三維形貌資訊。
  6. 如申請專利範圍第3項所述之三維量測方法，其中當該第二結構光掃描被執行，且針對該第一掃描區的該第一掃描解析度 等於針對該第二掃描區的該第二掃描解析度，該三維量測方法更包括：對該第一掃描區執行該第一結構光掃描以取得該第一掃描資料；對該第二掃描區執行該第二結構光掃描以取得一第二掃描資料；以及對該第一掃描資料以及該第二掃描資料作深度估測處理，以取得該物體三維形貌資訊，其中該第一掃描資料相較於該第二掃描資料係優先被該運算控制單元處理。
  7. 如申請專利範圍第1項所述之三維量測方法，其中該掃描偵測單元具有一預設掃描解析度，該三維量測方法更包括：自該視線關注區中辨識一或多個被注視物體；以及依據該一或多個被注視物體的位置及輪廓資訊，增加該預設掃描解析度，以作為針對該第一掃描區的該第一掃描解析度。
  8. 如申請專利範圍第1項所述之三維量測方法，更包括：自該視線關注區中辨識一或多個被注視物體；以及依據該一或多個被注視物體的位置及輪廓資訊，調整該第一掃描區，使該第一掃描區的範圍至少包括該一或多個被注視物體。
  9. 一種三維量測裝置，包括：一視線偵測單元，用以偵測使用者之一面部朝向以及一眼球 注視方向；一運算控制單元，用以依據該面部朝向以及該眼球注視方向決定一視線關注區，並依據該視線關注區設定一第一組掃描參數；以及一掃描偵測單元，用以基於該第一組掃描參數對相應於該視線關注區的一第一掃描區執行一第一結構光掃描，並選擇性地基於一第二組掃描參數針對該第一掃描區以外的一第二掃描區執行一第二結構光掃描；其中，該運算控制單元採用對該第一掃描區執行該第一結構光掃描所得之一第一掃描資料作深度估測處理，以取得一物體三維形貌資訊；其中該視線偵測單元偵測該使用者之一眼球注視時間，以供該運算控制單元判斷該眼球注視時間是否大於一時間閥值；其中當該眼球注視時間大於該時間閥值，該三維量測裝置進入一追蹤模式，以增加針對該第一掃描區的一第一掃描解析度；以及當該眼球注視時間小於該時間閥值，該三維量測裝置進入一省電模式，以降低針對該第一掃描區的該第一掃描解析度。
  10. 如申請專利範圍第9項所述之三維量測裝置，其中該第一組掃描參數與該第二組掃描參數至少部分相異。
  11. 如申請專利範圍第10項所述之三維量測裝置，其中該第一組掃描參數包括該第一掃描區之大小、形狀及位置、針對該第 一掃描區之該第一掃描解析度、針對該第一掃描區之一第一掃描頻率以及針對該第一掃描區之一第一掃描線圖樣至少其一，該第二組掃描參數包括該第二掃描區之大小、形狀及位置、針對該第二掃描區之一第二掃描解析度、針對該第二掃描區之一第二掃描頻率以及針對該第二掃描區之一第二掃描線圖樣至少其一。
  12. 如申請專利範圍第11項所述之三維量測裝置，其中當該第二結構光掃描被執行，針對該第一掃描區的該第一掃描解析度大於針對該第二掃描區的該第二掃描解析度。
  13. 如申請專利範圍第11項所述之三維量測裝置，其中當該第二結構光掃描被執行，且針對該第一掃描區的該第一掃描解析度等於針對該第二掃描區的該第二掃描解析度，該掃描偵測單元執行該第二結構光掃描對該第一掃描區執行該第一結構光掃描以取得該第一掃描資料，並對該第二掃描區執行該第二結構光掃描以取得一第二掃描資料；以及該運算控制單元只採用該第一掃描資料作深度估測處理，而不採用該第二掃描資料，以取得該物體三維形貌資訊。
  14. 如申請專利範圍第11項所述之三維量測裝置，其中當該第二結構光掃描被執行，且針對該第一掃描區的該第一掃描解析度等於針對該第二掃描區的該第二掃描解析度；該掃描偵測單元執行對該第一掃描區執行該第一結構光掃描以取得該第一掃描資料，並對該第二掃描區執行該第二結構光掃描以取得一第二掃描資料；以及 該運算控制單元對該第一掃描資料以及該第二掃描資料作深度估測處理，以取得該物體三維形貌資訊，其中該第一掃描資料相較於該第二掃描資料係優先被該運算控制單元處理。
  15. 如申請專利範圍第9項所述之三維量測裝置，其中該掃描偵測單元具有一預設掃描解析度，該運算控制單元自該視線關注區中辨識一或多個被注視物體，並依據該一或多個被注視物體的位置及輪廓資訊增加該預設掃描解析度，以作為針對該第一掃描區的該第一掃描解析度。
  16. 如申請專利範圍第9項所述之三維量測裝置，其中該運算控制單元自該視線關注區中辨識一或多個被注視物體，並依據該一或多個被注視物體的位置及輪廓資訊調整該第一掃描區，使該第一掃描區的範圍至少包括該一或多個被注視物體。
TW105124767A 2016-08-04 2016-08-04 三維量測方法及應用其之三維量測裝置 TWI610059B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105124767A TWI610059B (zh) 2016-08-04 2016-08-04 三維量測方法及應用其之三維量測裝置
CN201610701949.3A CN107687818B (zh) 2016-08-04 2016-08-22 三维量测方法及三维量测装置
US15/418,880 US10630890B2 (en) 2016-08-04 2017-01-30 Three-dimensional measurement method and three-dimensional measurement device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105124767A TWI610059B (zh) 2016-08-04 2016-08-04 三維量測方法及應用其之三維量測裝置

Publications (2)

Publication Number Publication Date
TWI610059B true TWI610059B (zh) 2018-01-01
TW201809591A TW201809591A (zh) 2018-03-16

Family

ID=61069738

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105124767A TWI610059B (zh) 2016-08-04 2016-08-04 三維量測方法及應用其之三維量測裝置

Country Status (3)

Country Link
US (1) US10630890B2 (zh)
CN (1) CN107687818B (zh)
TW (1) TWI610059B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
CN108874148A (zh) * 2018-07-16 2018-11-23 北京七鑫易维信息技术有限公司 一种图像处理方法及装置
US10627516B2 (en) * 2018-07-19 2020-04-21 Luminar Technologies, Inc. Adjustable pulse characteristics for ground detection in lidar systems
CN109582141B (zh) * 2018-11-23 2022-05-10 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
CN113932733B (zh) * 2021-10-13 2023-06-09 桂林理工大学 一种大型密封圈三维外形尺寸视觉测量系统
CN115164849A (zh) * 2022-06-16 2022-10-11 中兵勘察设计研究院有限公司 扫描仪扫描的方法、装置、扫描仪设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US20130321265A1 (en) * 2011-02-09 2013-12-05 Primesense Ltd. Gaze-Based Display Control
US20140172363A1 (en) * 2011-06-06 2014-06-19 3Shape A/S Dual-resolution 3d scanner
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
TW201546660A (zh) * 2009-10-07 2015-12-16 Microsoft Corp 人體追蹤系統
WO2016014371A1 (en) * 2014-07-23 2016-01-28 Microsoft Technology Licensing, Llc Alignable user interface

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150072B (zh) * 2008-07-10 2013-08-21 实景成像有限公司 宽视角显示和用户接口
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
EP2696259B1 (en) * 2012-08-09 2021-10-13 Tobii AB Fast wake-up in a gaze tracking system
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
CN105352482B (zh) * 2015-11-02 2017-12-26 北京大学 基于仿生复眼微透镜技术的3‑3‑2维目标检测方法及系统
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
TW201546660A (zh) * 2009-10-07 2015-12-16 Microsoft Corp 人體追蹤系統
US20130321265A1 (en) * 2011-02-09 2013-12-05 Primesense Ltd. Gaze-Based Display Control
US20140172363A1 (en) * 2011-06-06 2014-06-19 3Shape A/S Dual-resolution 3d scanner
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
WO2016014371A1 (en) * 2014-07-23 2016-01-28 Microsoft Technology Licensing, Llc Alignable user interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mark Alan Livingston,"Vision-based tracking with dynamic structured light for video see-through augmented reality",Department of Computer Science in University of North Carolina at Chapel Hill dissertation,1998 April *

Also Published As

Publication number Publication date
CN107687818A (zh) 2018-02-13
CN107687818B (zh) 2020-07-10
TW201809591A (zh) 2018-03-16
US10630890B2 (en) 2020-04-21
US20180041694A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
TWI610059B (zh) 三維量測方法及應用其之三維量測裝置
US9432593B2 (en) Target object information acquisition method and electronic device
WO2018126654A1 (zh) 显示系统和用于显示面板的驱动方法
US6075557A (en) Image tracking system and method and observer tracking autostereoscopic display
CN104380338B (zh) 信息处理器以及信息处理方法
US10293252B2 (en) Image processing device, system and method based on position detection
US9557811B1 (en) Determining relative motion as input
KR101643496B1 (ko) 카메라 파라미터의 컨텍스트 기반 조절
US10008001B2 (en) Method and apparatus for measuring depth information
US9542755B2 (en) Image processor and image processing method
US9460337B2 (en) Information processor and information processing method
US9317127B2 (en) Method and apparatus for motion recognition
US20120056982A1 (en) Depth camera based on structured light and stereo vision
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
US20120133754A1 (en) Gaze tracking system and method for controlling internet protocol tv at a distance
Chu et al. Hand gesture for taking self portrait
WO2018086461A1 (zh) 一种基于单目手势识别的视觉跟随方法及机器人
KR102001950B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
Ko et al. A robust gaze detection method by compensating for facial movements based on corneal specularities
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
TW202143018A (zh) 擴增實境系統與其錨定顯示方法
Hansen et al. Eye typing off the shelf
JP5004099B2 (ja) カーソル移動制御方法及びカーソル移動制御装置
Zhang et al. Design and calibration for gaze tracking system
Meers et al. Simple, robust and accurate head-pose tracking using a single camera