TW202303304A - 藉助於自適應投影機來進行混合深度檢測的方法及設備 - Google Patents

藉助於自適應投影機來進行混合深度檢測的方法及設備 Download PDF

Info

Publication number
TW202303304A
TW202303304A TW111116977A TW111116977A TW202303304A TW 202303304 A TW202303304 A TW 202303304A TW 111116977 A TW111116977 A TW 111116977A TW 111116977 A TW111116977 A TW 111116977A TW 202303304 A TW202303304 A TW 202303304A
Authority
TW
Taiwan
Prior art keywords
depth
projection
depth map
processing circuit
image processing
Prior art date
Application number
TW111116977A
Other languages
English (en)
Inventor
吳炳昇
陳本欣
王清穩
蔡政哲
陳宏山
洪毅
陳明璿
呂學璁
陳伍豐
Original Assignee
奇景光電股份有限公司
源奇科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 奇景光電股份有限公司, 源奇科技股份有限公司 filed Critical 奇景光電股份有限公司
Publication of TW202303304A publication Critical patent/TW202303304A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本發明提供藉助於自適應投影機來進行混合深度檢測的方法及相關設備。該方法包含：利用影像處理電路獲得距離資訊；利用影像處理電路依據距離資訊來決定距離範圍；利用影像處理電路進行投影類型選擇，以決定多個預定投影類型中的對應於該距離範圍之至少一選擇的投影類型；利用自適應投影機進行該至少一選擇的投影類型的投影以藉由相機擷取至少一對應的影像，並利用影像處理電路依據對應的影像來進行深度檢測以產生深度圖；以及利用影像處理電路選擇性地輸出深度圖以作為結果深度圖或進行深度資料組合以產生組合深度圖以作為結果深度圖。

Description

藉助於自適應投影機來進行混合深度檢測的方法及設備
本發明涉及電子裝置諸如行動裝置(mobile device)的檢測機制,尤其涉及一種藉助於一自適應投影機(adaptive projector)來進行混合深度檢測(hybrid depth detection)的方法,以及相關設備(apparatus)諸如一混合深度檢測裝置、該混合深度檢測裝置中的一影像處理電路、該影像處理電路中的一深度處理器、該混合深度檢測裝置中的該自適應投影機等。
依據相關技術，人臉識別技術已經應用於行動裝置，並且用於該些行動裝置的某些人臉識別方法已被提出。然而，可能會出現某些問題。例如，當該些行動裝置中的一或多個不能正確進行人臉識別時，就會引入安全(security)問題。人臉識別演算法的進一步改進可能存在瓶頸。因此，需要一種新穎的方法和相關架構以在不引入副作用或以不太可能引入副作用的情況下增強電子裝置的整體性能。
因此，本發明的一個目的是提供一種藉助於一自適應投影機來進行混合深度檢測的方法，以及提供相關設備諸如一混合深度檢測裝置、該混合深度檢測裝置中的一影像處理電路、該影像處理電路中的一深度處理器、該混合深度檢測裝置中的該自適應投影機等，以解決上述問題。
本發明的至少一實施例提供一種藉助於一自適應投影機來進行混合深度檢測的方法，其中該方法可包含：利用一混合深度檢測裝置內的一影像處理電路獲得距離資訊，其中該距離資訊指出該混合深度檢測裝置與一或多個目標物件(object)之間的一距離；利用該影像處理電路依據該距離資訊來決定一距離範圍，其中該距離範圍是選擇自針對該距離的多個預定距離範圍；利用該影像處理電路進行投影類型選擇，以決定多個預定投影類型中的對應於該距離範圍之至少一選擇的投影類型(selected projection type)，其中該至少一選擇的投影類型是選擇自該多個預定投影類型；利用該混合深度檢測裝置內的該自適應投影機進行該至少一選擇的投影類型的投影以藉由一相機(camera)擷取至少一對應的影像，並利用該影像處理電路依據該至少一對應的影像來進行多個類型的深度檢測(multiple types of depth detection)中的對應於該至少一選擇的投影類型之至少一類型的深度檢測(at least one type of depth detection)以產生至少一深度圖(depth map)；以及因應該至少一選擇的投影類型，利用該影像處理電路選擇性地輸出該至少一深度圖以作為一結果深度圖(resultant depth map)或依據該至少一深度圖進行深度資料組合以產生一組合深度圖以作為該結果深度圖。
本發明的至少一實施例提供一種依據上述方法來操作的相關設備。上述設備的例子可包含但不限於：一混合深度檢測裝置、具備該混合深度檢測裝置的一電子產品（例如一電子裝置諸如一行動裝置）、該混合深度檢測裝置中的該影像處理電路、該影像處理電路中的一深度處理器、該混合深度檢測裝置中的該自適應投影機等。
本發明的至少一實施例提供一種用來進行混合深度檢測的設備，其中該設備可包含一影像處理電路，且另包含耦接至該影像處理電路的一相機及一自適應投影機。舉例來說，該影像處理電路可用來獲得距離資訊，依據該距離資訊決定一距離範圍，並且進行投影類型選擇以決定多個預定投影類型中的對應於該距離範圍之至少一選擇的投影類型，其中該距離資訊指出該混合深度檢測裝置與一或多個目標物件之間的一距離，該距離範圍是選擇自針對該距離的多個預定距離範圍，並且該至少一選擇的投影類型是選擇自該多個預定投影類型；該自適應投影機可用來進行該至少一選擇的投影類型的投影，以容許該混合深度檢測裝置藉由該相機擷取至少一對應的影像；以及該相機可用來擷取該至少一對應的影像。尤其，該影像處理電路依據該至少一對應的影像來進行多個類型的深度檢測中的對應於該至少一選擇的投影類型之至少一類型的深度檢測以產生至少一深度圖；以及因應該至少一選擇的投影類型，該影像處理電路選擇性地輸出該至少一深度圖以作為一結果深度圖或依據該至少一深度圖進行深度資料組合以產生一組合深度圖以作為該結果深度圖。
本發明的方法和相關設備（例如該混合深度檢測裝置、該混合深度檢測裝置中的該影像處理電路、該影像處理電路中的該深度處理器、該混合深度檢測裝置中的該自適應投影機）可保證具備該混合深度檢測裝置的各種電子產品可分別在各種情況下正常操作。此外，本發明的方法和相關設備可利用該自適應投影機進行不同類型的投影以分別用該相機拍攝對應的影像，且可分別依據該些對應的影像進行不同類型的深度檢測以產生不同的中間(intermediate)深度圖，並且可進一步依據該些中間深度圖進行深度資料組合以產生一組合深度圖諸如一加權(weighted)深度圖，以精確且有效率地進行混合深度檢測。相較於相關技術，本發明的方法和相關設備可在不引入副作用或以不太可能引入副作用的情況下增強整體性能。
本發明的實施例提供一種藉助於一自適應投影機來進行混合深度檢測的方法，以及相關設備諸如一混合深度檢測裝置的至少一部分（例如一部分或全部）。該混合深度檢測裝置可依據上述方法來操作以精確且有效率地進行深度檢測，以達到具備該混合深度檢測裝置的任何電子產品的最佳性能。尤其，該混合深度檢測裝置可精確且有效率地進行該混合深度檢測以產生一或多個深度圖，諸如人臉的深度圖，以使該電子產品依據該一或多個深度圖精確且有效率地進行三維(three-dimensional, 3D)人臉識別，但本發明不限於此。該一或多個深度圖的例子可包含但不限於：人臉、室內或室外場所等的深度圖。此外，該電子產品可利用該混合深度檢測裝置產生與該電子產品的至少一用戶相對應的至少一深度圖，以供預先建立該至少一深度圖的3D人臉資料庫，且可將該一或多個深度圖中的一目標深度圖（例如某個人的人臉的目標深度圖）與該至少一深度圖中的任一深度圖進行比較，來確定這個人是否為該至少一用戶中的任一用戶。如果該目標深度圖與該任一深度圖吻合（例如，此人為該任一用戶），則該電子產品可向此人提供服務；否則（例如，此人不是該至少一用戶中的任何一個），該電子產品可避免此人使用該些服務中的任何一個。該電子產品的例子可包含但不限於：行動裝置諸如多功能行動電話、平板電腦、可穿戴裝置、一體機(all-in-one, AIO)計算機和膝上型計算機。
第1圖為依據本發明一實施例的一種混合深度檢測裝置100的示意圖，其中混合深度檢測裝置100和其內的自適應投影機110可分別作為上述混合深度檢測裝置和自適應投影機的例子。為了更好地理解，在第1圖的上半部可參考X軸、Y軸和Z軸來繪示一場(field) 10和一或多個目標物件11，但本發明不限於此。例如，場10（例如其形狀、相關尺寸及/或相關角度）和該一或多個目標物件11（例如其物件計數(object count)、形狀、相關尺寸及/或相關位置）可予以變化。
如第1圖所示，除了自適應投影機110，混合深度檢測裝置100還可包含一影像擷取(image-capturing)模組120和一影像處理電路130，其中自適應投影機110和影像擷取模組120耦接到影像處理電路130。舉例來說，影像擷取模組120可包含至少一相機（例如一或多個相機）諸如一相機121，且影像處理電路130可包含至少一處理器（例如一或多個處理器）諸如分別對應於深度相關處理和二維(two-dimensional, 2D)影像處理的一深度處理器131和一影像處理器132，但本發明不限於此。在某些實施例中，深度處理器131和影像處理器132可被整合到同一處理器中。
自適應投影機110可用來投射不可見光（例如紅外(infrared, IR)或其它波段的光）的一或多個預定型樣(pattern)。例如，自適應投影機110內的一激光(laser)模組可包含一光發射器諸如一激光發射器以及某些光學元件，其中該光發射器諸如該激光發射器可包含一垂直腔面發射激光(vertical-cavity surface-emitting laser, VCSEL)陣列，以供發射不可見光，並且該些光學元件可包含一衍射光學元件(diffractive optical element, DOE)、一微透鏡(micro-lens)陣列、一晶片級光學(wafer-level optics, WLO)元件，以供產生該一或多個預定型樣。尤其，該WLO元件可包含至少一晶片級透鏡（例如一或多個晶片級透鏡）。此外，自適應投影機110還可包含一或多個電控(electrically-controlled)光學元件，諸如至少一液晶(liquid crystal, LC)透鏡（例如一或多個LC透鏡，其任一個可位於該激光模組的內部或外部），以供改變（例如縮小或擴大）該一或多個預定型樣的一或多個投影場(projection field)、及/或在不同類型的投影（例如，針對該一或多個預定型樣的型樣投影的一第一投影類型，以及針對無型樣的非型樣投影的一第二投影類型）之間進行切換。
為了更好地理解，從自適應投影機110到場10的多個光傳輸（transmitting, Tx）路徑（例如，從自適應投影機110到場10的不可見光的多個不可見光Tx路徑）可集體地(collectively)用Tx方向（標示為“Tx”以求簡明）來表示，以及從場10到相機121的多個光接收（receiving, Rx）路徑（例如，從該一或多個目標物件11到相機121的不可見光的多個不可見光Rx路徑）可集體地用Rx方向（標示為“Rx”以求簡明）來表示。
在深度檢測諸如混合深度檢測的期間，混合深度檢測裝置100（例如其內的元件）可進行以下操作： (1) 相機121可拍攝/擷取一影像，其中該影像包含指出一或多個物件（例如該一或多個目標物件11）的影像內容，該影像通常不具有深度資訊，並且可代表二維(2D)影像； (2) 影像處理電路130（例如其第一局部(partial)電路，諸如影像處理器132）可依據該影像的影像內容決定由相機121擷取的該影像的一感興趣區域(region-of-interest, ROI)（例如人臉的區域，諸如在該影像上包圍上述那個人的人臉的區域），以供影像處理電路130（例如其第二局部電路）進一步處理； (3) 影像處理電路130（例如其第二局部電路諸如深度處理器131）可進行投影類型選擇，以決定在多個預定投影類型（例如，該第一投影類型和該第二投影類型）中的對應於一選擇的距離範圍之至少一選擇的投影類型（例如一或多個選擇的投影類型），其中依據預先獲得的距離資訊，該距離範圍可以是選擇自針對混合深度檢測裝置100和該一或多個目標物件11之間的距離的多個預定距離範圍，以及該至少一選擇的投影類型可以是選擇自該多個預定投影類型； (4) 自適應投影機110可進行該至少一選擇的投影類型的投影，尤其，進行該多個預定投影類型（例如該第一投影類型和該第二投影類型）的投影，諸如型樣投影和非型樣投影，以分別用相機121擷取對應的影像，其中非型樣投影可被設計為產生均勻/準均勻(uniform/quasi-uniform)照明或局部均勻(partial-uniform)照明（例如泛光型(flood-type)照明，盡可能均勻）； (5) 影像處理電路130（例如第二局部電路諸如深度處理器131）可進行在多個類型的深度檢測（例如與該第一投影類型相對應的第一深度檢測，諸如型樣檢測類型(pattern-detection-type)深度檢測，以及與該第二投影類型相對應的第二深度檢測，諸如飛行時間(Time-of-Flight, TOF)類型(TOF-type)深度檢測）中的對應於該至少一選擇的投影類型之至少一類型的深度檢測（例如，一或多個類型的深度檢測），尤其，分別依據該些對應的影像進行該多個類型的深度檢測（例如該第一深度檢測諸如該型樣檢測類型深度檢測，以及該第二深度檢測諸如該TOF類型深度檢測）以產生一第一深度圖和一第二深度圖，其中該第一深度圖和該第二深度圖可視為中間深度圖；以及 (6) 影像處理電路130（例如第二局部電路諸如深度處理器131）可依據該第一深度圖和該第二深度圖進行深度資料組合，以產生一組合深度圖諸如一加權深度圖； 其中，該深度資料組合可參考該距離範圍、混合深度檢測裝置100與該一或多個目標物件11之間的距離（諸如該距離資訊所指出的距離）、及/或該ROI來進行。
舉例來說，影像處理電路130（例如影像處理電路130的第二局部電路諸如深度處理器131）可依據該距離範圍決定該第一深度圖和該第二深度圖的各自的加權值，尤其，可針對該加權深度圖內的一預定區域以逐個深度/逐個像素(depth-by-depth/pixel-by-pixel)的方式調整（例如微調）該第一深度圖和該第二深度圖的各自的加權值，以供提升該一或多個物件的邊緣處的深度精確度，並精確且有效率地產生該加權深度圖，但本發明不限於此。例如，該預定區域可包含該加權深度圖的整體。在某些例子中，該預定區域可包含該加權深度圖的一部分，諸如該加權深度圖中的對應於該ROI之一第一調整區域（例如，一第一微調區域）、該加權深度圖中的對應於該ROI的一子區域之一第二調整區域（例如，一第二微調區域）。微調區域）等。
由於該一或多個深度圖諸如該目標深度圖、該至少一深度圖諸如該任一深度圖等可用和該組合深度圖諸如該加權深度圖等相同的方式來產生，故混合深度檢測裝置100能夠精確且有效率地進行該混合深度檢測。
針對第1圖所示架構的某些實施細節可進一步描述如下。例如，影像處理電路130的第一局部電路諸如影像處理器132可產生指出該ROI的ROI資訊，諸如指出該2D影像的ROI的2D ROI資訊（在第1圖中標示為“2D ROI”以便於更好地理解）。另外，影像處理電路130的第二局部電路諸如深度處理器131可從第一局部電路諸如影像處理器132獲得指出該ROI的該ROI資訊，且因此可被通知/告知該ROI，以供進行相關處理諸如調整（例如微調）如上所述的中間深度圖的加權值。此外，混合深度檢測裝置100可利用影像處理電路130（例如深度處理器131）產生一或多個控制訊號以控制自適應投影機110。例如，影像處理電路130內的一或多個驅動電路可用來在深度處理器131的控制下產生該一或多個控制訊號，以供控制（例如驅動）自適應投影機110，其中該一或多個控制訊號可載有(carry)指出該至少一選擇的投影類型（例如該第一投影類型及/或該第二投影類型）的投影類型資訊，以供將該至少一選擇的投影類型通知/告知自適應投影機110。
由於混合深度檢測裝置100（例如其內的元件，諸如自適應投影機110、影像處理電路130和深度處理器131）可依據該方法來操作，故混合深度檢測裝置100可精確且有效率地進行該混合深度檢測以產生該一或多個深度圖，諸如人臉的深度圖，使具備混合深度檢測裝置100的電子產品依據該一或多個深度圖精確且有效率地進行3D人臉識別。於是，可提升整體性能。
依據某些實施例，影像處理電路130（例如深度處理器131）可依據一預定型樣（例如該一或多個預定型樣中的任何一個）的一投影結果以及該預定型樣之間的差異來計算該第一深度圖的一組深度，其中該投影結果可指出該預定型樣由於人臉的非平面表面而發生的變化。尤其，該預定型樣可包含多個子型樣(sub-pattern)（例如多個不可見光圖塊(tile)），並且，基於相關幾何關係的知識，影像處理電路130（例如深度處理器131）可依據該預定型樣的該多個子型樣（例如該多個不可見光圖塊）中的某些子型樣（例如某些不可見光圖塊）的位移來計算該組深度，這是因為該組深度中的深度變化可對應於該些位移。
針對如上所述的該組深度的深度計算，當自適應投影機110的中心（例如，其光學元件的光軸在混合深度檢測裝置100的一參考平面上的位置）和影像擷取模組120的中心（例如相機121的光軸在該參考平面上的位置）之間的基線(baseline)遠小於混合深度檢測裝置100與該一或多個目標物件11之間的距離(例如該基線的長度對該距離的比率小於一預定比率），影像處理電路130（例如深度處理器131）可在該些深度計算中省略該基線，其中該基線的長度可被強制設定為零，但本發明不限於此。在考慮該基線的情況下，影像處理電路130（例如深度處理器131）可在該些深度計算中使用該基線的長度的實際值。
依據某些實施例，該預定型樣可藉由結構光(structured-light, SL)技術等方式實現，其中該型樣檢測類型深度檢測可稱為SL類型深度檢測，但本發明不限於此。另外，在該型樣檢測類型深度檢測諸如該SL類型深度檢測的期間，影像處理電路130（例如深度處理器131）可使用該些位移作為該些深度計算的參考，但本發明不限於此。例如，在該TOF類型深度檢測的期間，影像處理電路130（例如深度處理器131）可使用到達相機121的影像感測器上的像素的光脈衝的相位或時間差作為從場10到相機121的成像系統(imaging system)中的距離的指示器(indicator)，以進行該些深度計算。
第2圖依據本發明一實施例繪示第1圖所示的自適應投影機110的某些實施細節。自適應投影機110可藉由不同組元件的各種組合諸如在第2圖中所示的情況(a)、(b)、(c)、(d)、(e)和(f)中所展示的組合來實現： (a) 該至少一LC透鏡包含位於該激光模組外部的一LC透鏡，且該WLO元件位於DOE/微透鏡陣列和該激光發射器之間； (b) 該至少一LC透鏡包含位於該激光模組外部的一LC透鏡，且不使用WLO元件； (c) 在一類型1(Type-1)配置中，該至少一LC透鏡包含位於該激光模組外部的一第一LC透鏡和位於該激光模組內的一第二LC透鏡，DOE/微透鏡陣列位於該第一LC透鏡和該第二LC透鏡之間，且該WLO元件位於該第二LC透鏡和該激光發射器之間； (d) 該至少一LC透鏡包含位於該激光模組內、DOE/微透鏡陣列和該激光發射器之間一的LC透鏡，並且不使用WLO元件； (e) 該至少一LC透鏡包含位於該激光模組外部的一第一LC透鏡和位於該激光模組內、DOE/微透鏡陣列和該激光發射器之間的一第二LC透鏡，並且不使用WLO元件；以及 (f) 在一類型2(Type-2)配置中，該至少一LC透鏡包含位於該激光模組外部的一第一LC透鏡和位於該激光模組內的一第二LC透鏡，DOE/微透鏡陣列位於該第一LC透鏡和該WLO元件之間，且該第二LC透鏡位於該WLO元件和該激光發射器之間； 但本發明不限於此。例如，只要可達到類似的結果，某些元件可整合到相同的元件中及/或一或多個元件可增加、移除或改變。
依據某些實施例，該激光發射器可包含至少一不可見光源（例如，一或多個不可見光源），諸如該VCSEL陣列、邊緣發射(edge-emitting)激光二極體(laser diode, LD)等。除了該至少一不可見光源，該激光發射器還可包含一限束(beam limiting)裝置（例如一準直器(collimator)透鏡）。該限束裝置可接收該至少一不可見光源所發出的不可見光，並將所發出的不可見光轉換為限束的(beam-limited)不可見光。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。
依據某些實施例，該至少一LC透鏡的任一LC透鏡（例如第2圖中所示的LC透鏡中的任何一個）可藉由多個LC透鏡元件（例如分別對準至這個LC透鏡的光軸且依據這個LC透鏡的光學設計來分別定位在預定位置的LC透鏡元件，其可稱為級聯(cascaded) LC透鏡元件以求簡明）來實現，但本發明不限於此。在某些實施例中，該任一LC透鏡可藉由單一LC透鏡元件（例如，設計成具有這個LC透鏡所需的所有光學特徵的精巧型(compact) LC透鏡元件）來實現。
針對該多個預定投影類型（例如該第一投影類型和該第二投影類型）中之任一類型的投影，影像處理電路130（例如第二局部電路諸如深度處理器131）可控制自適應投影機110（例如該至少一LC透鏡中的某個LC透鏡）來改變（例如縮小或擴大）這個類型的投影之投影場。例如，當這個類型的投影代表針對該一或多個預定型樣的型樣投影的該第一投影類型時，影像處理電路130（例如，第二局部電路諸如深度處理器131）可控制自適應投影機110（例如這個LC透鏡）來改變（例如縮小或擴大）型樣投影的投影場；以及當這個類型的投影代表針對無型樣的非型樣投影的該第二投影類型時，影像處理電路130（例如第二局部電路諸如深度處理器131）可控制自適應投影機110（例如這個LC鏡頭）改變（例如縮小或擴大）非型樣投影的投影場；但本發明不限於此。在某些實施例中，影像處理電路130（例如，第二局部電路諸如深度處理器131）可控制自適應投影機110（例如，這個LC鏡頭）來改變在該多個預定投影類型中的僅一個類型的投影（例如，針對非型樣投影的該第二投影類型）的投影場，而非控制自適應投影機110（例如這個LC鏡頭）來改變該多個預定投影類型中之所有類型的投影之投影場。例如，對於一正常距離或長(或遠)距離（例如大於該正常距離的距離）的正常/長距離目標物件，該TOF類型深度檢測可達到比該型樣檢測類型深度檢測較佳的深度檢測精確度，並且，對於一短(或近)距離（例如比該正常距離短的距離）的短距離目標物件，該型樣檢測類型深度檢測除了短距離目標物件的物件邊緣外，可達到非常高的深度檢測精確度。影像處理電路130（例如第二局部電路諸如深度處理器131）可觸發非型樣投影且對正常/長距離目標物件進行該TOF類型深度檢測，以達到前述較佳的深度檢測精確度。此外，影像處理電路130（例如第二局部電路諸如深度處理器131）可觸發型樣投影且對短距離目標物件進行該型樣檢測類型深度檢測，以達到前述非常高的深度檢測精確度，並且另觸發非型樣投影且對短距離目標物件進行該TOF類型深度檢測以調整（例如微調）在短距離目標物件的物件邊緣之某些深度，以提升對短距離目標物件的物件邊緣的深度檢測精確度。因此，本發明的方法和相關設備可在不引入任何副作用或以不太可能引入副作用的方式提升整體性能。
依據某些實施例，自適應投影機110內的一或多個元件（例如DOE、微透鏡陣列和WLO元件中的一或多個）可被設計為在一較窄的投影場中進行型樣投影，並且影像處理電路130（例如深度處理器131）可控制自適應投影機110（例如LC鏡頭）在該較窄的投影場中將型樣投影轉換為非型樣投影，但本發明不限於此。例如，自適應投影機110內的一或多個元件（例如DOE、微透鏡陣列和WLO元件中的一或多個）可被設計為在一較寬的投影場中進行型樣投影，並且影像處理電路130（例如深度處理器131）可控制自適應投影機110（例如LC透鏡）在該較寬的投影場中將型樣投影轉換為非型樣投影。
第3圖依據本發明一實施例繪示一種藉助於該自適應投影機110來進行混合深度檢測的方法的一自適應場(field)控制方案。為了更好地理解，混合深度檢測裝置100（例如其內的元件，諸如自適應投影機110和影像擷取模組120）可被整合至電子產品100M諸如行動裝置等中，並可依據如第3圖所示的自適應場控制方案來操作，尤其，以某些參數（例如距離D1和D2、寬度W1和W2以及相關的角度）來操作，其中距離D1和D2可分別代表一最小工作距離和該正常距離，且該短距離可落在區間[D1, D2)的範圍內。這些參數（例如距離D1和D2、寬度W1和W2以及相關的角度）以及電子產品100M的尺寸和形狀僅用於說明目的，不應視為對本發明的限制。在某些實施例中，這些參數以及電子產品100M的尺寸和形狀可予以變化。
如第3圖上半部所示，影像處理電路130（例如第二局部電路諸如深度處理器131）可觸發型樣投影且對短距離目標物件進行該型樣檢測類型深度檢測，其中影像處理電路130（例如第二局部電路諸如深度處理器131）可控制自適應投影機110（例如該LC透鏡）在進行型樣投影的期間使用一固定的投影場。此外，影像處理電路130（例如第二局部電路諸如深度處理器131）可觸發非型樣投影且對短距離目標物件進行該TOF類型深度檢測以調整(例如微調)短距離目標物件的物件邊緣的深度，其中非型樣投影的投影場在需要時是可變的。如第3圖下半部所示，影像處理電路130（例如第二局部電路諸如深度處理器131）可觸發非型樣投影且對正常/長距離目標物件進行該TOF類型深度檢測。為了簡明起見，於本實施例中類似的內容在此不重複贅述。
第4圖依據本發明一實施例繪示該方法的一自適應投影類型控制方案中的型樣投影(pattern projection)的一投影結果。為了更好地理解，假設短距離目標物件為一平面目標，但本發明不限於此。此外，該短距離可大於距離D1，尤其，可落入區間(D1, D2)的範圍內。自適應投影機110可被設計為以固定投影場投影該預定型樣。當正在被投影以作為該投影結果時，該預定型樣的該多個子型樣（例如該多個不可見光圖塊），諸如第4圖中所示的斑點(spot)，可分佈在該固定的投影場上。影像處理電路130（例如第二局部電路諸如深度處理器131）可利用相機121來擷取一3D原始(raw)影像（標示為“3D原始”以求簡明），以供進行該型樣檢測類型深度檢測，其中，該3D原始影像可包含該投影結果的至少一部分（例如，一部分或全部）。為了簡明起見，於本實施例中類似的內容在此不重複贅述。
依據某些實施例，影像處理電路130（例如第二局部電路諸如深度處理器131）可控制自適應投影機110（例如該至少一LC透鏡中的某個LC透鏡）在該多個投影類型（例如，針對該一或多個預定型樣的型樣投影之該第一投影類型，以及針對無型樣的非型樣投影之該第二投影類型）之間切換。舉例來說，DOE、微透鏡陣列及/或WLO元件可用來產生該一或多個預定型樣。當需要從該第一投影類型切換到該第二投影類型時，在影像處理電路130（例如第二局部電路諸如深度處理器131）的控制下，自適應投影機110（例如這個LC鏡頭）可暫時停用(disable)產生該一或多個預定型樣的功能，例如，藉由改變這個LC透鏡的焦距(focal length)以避免該一或多個預定型樣經由關於該成像系統（例如，DOE、微透鏡陣列及/或WLO元件）的一光學設計中的預定成像路徑輸出，以使型樣投影變為非型樣投影。當需要從該第二投影類型切換到該第一投影類型時，在影像處理電路130（例如第二局部電路諸如深度處理器131）的控制下，自適應投影機110（例如這個LC鏡頭）可啟用(enable)產生該一或多個預定型樣的功能，例如，藉由將這個LC透鏡的焦距改變回這個光學設計中的一預定焦距值，使非型樣投影變為型樣投影。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。
第5圖依據本發明一實施例繪示該方法的該自適應投影類型控制方案中的非型樣投影(non-pattern projection) 的某些投影結果。為了更好地理解，假設短距離目標物件和正常/長距離目標物件為平面目標，但本發明不限於此。另外，第5圖左半部所示的投影結果可作為用於在該短距離的短距離目標物件之非型樣投影的投影結果的例子，而第5圖右半部的投影結果可作為用於在該正常距離或長距離的正常/長距離目標物件之非型樣投影的投影結果例子，其中陰影部分可指出角落或外部區域的照明均勻度不如中心區域。當需要對正常/長距離目標物件進行該TOF類型深度檢測時，影像處理電路130（例如第二局部電路諸如深度處理器131）可控制自適應投影機110（例如LC透鏡）改變（例如縮小）非型樣投影的投影場，使非型樣投影的投影結果在一對應的投影場內具有更窄的分佈和更高的強度，如第5圖右半部所示。當需要對短距離目標物件進行該TOF類型深度檢測時，影像處理電路130（例如第二局部電路諸如深度處理器131）可控制自適應投影機110（例如LC透鏡）改變（例如擴大）非型樣投影的投影場，使非型樣投影的投影結果在一對應的投影場上具有更寬且更均勻的分佈，如第5圖左半部所示。為了簡明起見，於本實施例中類似的內容在此不重複贅述。
第6圖依據本發明一實施例繪示該方法的一自適應型樣(pattern)控制方案。該一或多個預定型樣可依據各種設計諸如第6圖中所示的情況(a)、(b)、(c)和(d)中所展示的設計來實現（例如藉由改變參數、排列）： (a) 高密度子型樣：該預定型樣的每個子型樣可具有高密度； (b) 低密度子型樣：該預定型樣的每個子型樣可具有低密度； (c) 多密度(multi-density)子型樣：該預定型樣的每個子型樣可包含多個子集合(subset)，並且這個子型樣的該多個子集合的各自的密度可包含不同的密度（例如上列情況(a)和(b)的密度）；以及 (d) 多區(multi-zone)多密度型樣：該預定型樣可包含複數個區，其中該複數個區中的一或多個區中的某些子型樣可具有一第一密度（例如上列情況(b)的低密度），並且該複數個區中的一或多個其它區中的某些子型樣可具有一第二密度（例如上列情況(a)的高密度）； 但本發明不限於此。為了簡明起見，於本實施例中類似的內容在此不重複贅述。
依據某些實施例，影像處理電路130（例如第二局部電路諸如深度處理器131）可控制自適應投影機110（例如LC透鏡）改變該預定型樣的至少一部分（例如一部分或全部）的投影場及/或投影方向，諸如一子型樣(sub-pattern)、一子型樣的一次要子型樣(secondary sub-pattern)（例如一子集合）等的投影場及/或投影方向，以在各種設計諸如第6圖中所示的情況(a)、(b)、(c)和(d)中所展示的設計之間進行切換。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。
第7圖依據本發明一實施例繪示該方法的一自適應照明場(field-of-illumination, FOI)控制方案。該型樣投影的FOI可依據各種設計諸如第7圖中所示的情況(a)、(b)和(c)中所展示的設計來實現（例如藉由在一個或兩個方向上改變FOI）： (a) 原本的FOI； (b) 在一個方向上的FOI切換；以及 (c) 在兩個方向上的FOI切換； 但本發明不限於此。為了簡明起見，於本實施例中類似的內容在此不重複贅述。
依據某些實施例，影像處理電路130（例如第二局部電路諸如深度處理器131）可控制自適應投影機110（例如LC透鏡）改變該預定型樣的至少一部分（例如，一部分或全部）的投影場，諸如一子型樣、一子型樣的一次要子型樣（例如一子集合）等的投影場及/或投影方向，以在各種設計諸如第7圖中所示的情況(a)、(b)和(c)中所展示的設計之間進行切換。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。
依據某些實施例，影像處理電路130（例如深度處理器131）可將該2D影像發送到一系統單晶片（System-on-Chip, SoC）以利用在該SoC上運行的一後端(back-end)物件檢測算法來尋找包圍某個目標物件（例如人臉）的該ROI（例如其位置及大小諸如寬度和高度），使在該SoC上運行的該後端物件檢測算法將該ROI（例如其位置及大小諸如寬度和高度）回傳至影像處理電路130（例如深度處理器131），並且影像處理電路130（例如深度處理器131）可計算一深度平均像素亮度（average pixel luminance, APL），諸如在該2D影像上的該ROI內，深度像素的各自的亮度（例如像素值）的平均值，以作為一深度統計指標(depth statistics index)，以供決定該距離資訊諸如目標物件（例如人臉）與混合深度檢測裝置100之間的距離，從而決定該選擇的距離範圍，但本發明不限於此。舉例來說，影像處理電路130（例如深度處理器131）可計算一深度中位數，諸如在該2D影像上的該ROI內，深度像素的各自的亮度（例如像素值）的中位數，以作為該深度統計指標，以供決定該距離資訊，從而決定該選擇的距離範圍。此外，影像處理電路130（例如深度處理器131）可在深度計算的期間使用該深度APL或該深度中位數作為深度圖的一平均深度，但本發明不限於此。
依據某些實施例，影像處理電路130（例如深度處理器131）可依據下列方程式來計算該加權深度圖(例如一加權深度影像)中的多個深度中之任一深度： Depth WEIGHTED(x, y) = w 1(x, y) * Depth SLM(x, y) + w 2(x, y) * Depth TOF(x, y)； 其中Depth WEIGHTED(x, y)可代表在該加權深度圖（例如該加權深度影像）中的座標(x, y)處的該任一深度，Depth SLM(x, y)和Depth TOF(x, y)可分別代表在該第一深度圖（例如從該SL類型深度檢測獲得的一SL深度圖，諸如一SL深度影像）和該第二深度圖（例如從該TOF類型深度檢測獲得的一TOF深度圖，諸如一TOF深度影像）中的座標(x, y)處的對應的深度，且w 1(x, y)和w 2(x, y)可代表相關的加權值，但本發明不限於此。
依據某些實施例，影像處理電路130（例如深度處理器131）可在該多個預定投影類型之間輪流切換，並在該多個類型的深度檢測之間對應地切換。假設型樣投影和非型樣投影可分別稱為散斑投影(speckle projection)和霧化投影(fogging projection)，其可分別對應於它們的投影結果。例如，當該深度統計指標指出該多個預定距離範圍中的一短距離範圍時，影像處理電路130（例如深度處理器131）可控制自適應投影機110輪流進行散斑投影和採用不可見光的霧化投影（用於不可見光照明），其中對應於散斑投影和採用不可見光的霧化投影之輸出資訊可分別是該第一深度圖（例如該SL深度圖）和該2D影像。
另外，當該深度統計指標指出該多個預定距離範圍中的一中距離範圍時，影像處理電路130（例如深度處理器131）可控制自適應投影機110輪流進行散斑投影、一個循環(cycle)之採用不可見光的霧化投影（用於不可見光照明）以及另一個循環之採用不可見光的霧化投影（用於不可見光照明），其中對應於散斑投影、上述一個循環之採用不可見光的霧化投影以及上述另一個循環之採用不可見光的霧化投影之輸出資訊可分別是該第一深度圖（例如該SL深度圖）、該第二深度圖（例如該TOF深度圖）以及該2D影像，但本發明不限於此。例如，當該深度統計指標指出該中距離範圍時，影像處理電路130（例如深度處理器131）可控制自適應投影機110輪流進行散斑投影和採用不可見光的霧化投影（用於不可見光照明），其中對應於散斑投影和採用不可見光的霧化投影之輸出資訊可分別為該第一深度圖（例如該SL深度圖）和該第二深度圖（例如該TOF深度圖）。
此外，當該深度統計指標指出該多個預定距離範圍中的一長距離範圍時，影像處理電路130（例如深度處理器131）可控制自適應投影機110輪流進行一個循環之採用不可見光的霧化投影（用於不可見光照明）以及另一個循環之採用不可見光的霧化投影（用於不可見光照明），其中對應於上述一個循環之採用不可見光的霧化投影以及上述另一個循環之採用不可見光的霧化投影之輸出資訊可分別是該第二深度圖（例如該TOF深度圖）以及該2D影像。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。
依據某些實施例，除了混合深度檢測裝置100之外，該電子產品還可包含一處理電路（例如該SoC）以供控制該電子產品的操作，並且該處理電路可包含至少一應用處理器(application processor)（例如一或多個應用處理器）以供運行各種程式碼諸如操作系統(operating system, OS)、驅動程式、應用程式等。在運行於該至少一應用處理器上的一第一應用程式（簡稱App）諸如一3D人臉識別App的控制下，該處理電路可向混合深度檢測裝置100發送一或多個命令以控制混合深度檢測裝置100。
第8圖依據本發明一實施例繪示第1圖所示的混合深度檢測裝置的某些實施細節。如第8圖所示，混合深度檢測裝置100（例如其內的元件，諸如自適應投影機110、影像擷取模組120、影像處理電路130和包含一距離感測器的一額外的感測模組140）可在該電子產品的該處理電路中的該至少一應用處理器（統稱為“AP”以求簡明）的控制下操作，其中影像擷取模組120中的相機121的影像感測器也繪示於圖中以便於更好地理解，但本發明不限於此。在某些實施例中，可省略額外的感測模組140（例如該距離感測器）。另外，影像處理電路130中的該一或多個驅動電路可包含一LC透鏡驅動器，用於以一或多個LC電壓訊號（標示為“LC電壓”以求簡明）驅動該至少一LC透鏡，並且可包含一激光驅動器，用於以一或多個LD電流訊號（標示為“LD電流”以求簡明）驅動該至少一不可見光源諸如該VCSEL陣列、該些邊緣發射LD等。第8圖所示架構內的某些元件可相互通信，例如，藉由使用某些同步(synchronization, sync)訊號和一或多個預定通信協議(communications protocol)（分別標示為“同步”和“通信協議”以求簡明）。此外，深度處理器131內的一核心(core)電路可控制深度處理器131的操作。深度處理器131可從影像擷取模組120內的相機121的該影像感測器獲取原始影像的影像資料，進行相關處理諸如深度處理等，並且將相關資料諸如影像資料、深度資料等輸出到該AP。為了簡明起見，於本實施例中類似的內容在此不重複贅述。
第9圖依據本發明一實施例繪示該方法的一深度組合控制方案。影像處理電路130可包含一同步產生模組，以供產生某些同步訊號（標示為“同步”以求簡明）並藉由使用該一或多個預定通信協議（標示為“通信協議”以求簡明）來與某些其它元件通信，以及包含一選擇及多工(multiplexing)模組（標示為“選擇/多工”以求簡明），以供獲取及/或分派(dispatch)相關資訊，諸如指出該距離範圍（例如已從該多個預定距離範圍選擇出來的距離範圍）的範圍選擇資訊（標示為“範圍選擇”以求簡明）、該些原始影像等，並且影像處理電路130內的深度處理器131可包含分別用於進行該TOF類型深度檢測和該SL類型深度檢測的一TOF類型深度處理器以及一SL類型深度處理器，且包含用於進行該深度資料組合的一深度資料組合模組，其中影像處理器132可被稱為2D影像處理器，但本發明不限於此。在某些實施例中，第9圖中所示的架構可予以變化。
依據某些實施例，該同步產生模組可包含一子模組諸如一深度統計模組以供進行對於多個幀(frame)的深度統計。該同步產生模組所接收的深度資訊可替換為一先前的深度幀(depth frame)，且該同步產生模組可依據該先前的深度幀進行該深度統計以計算出該先前的深度幀的深度APL作為待產生的當前深度幀之一預測的(predicted)深度APL，以產生該範圍選擇資訊和相關的同步訊號，以供輸出至該選擇及多工模組。尤其，由影像處理電路130所正產生的當前深度幀(例如該加權深度影像)可為深度幀F(n)，而該先前的深度幀可為深度幀F(n - 1)（例如加權深度幀F(n - 1)）。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。
第10圖依據本發明一實施例繪示該方法的一工作流程。該方法可應用於相關設備(例如混合深度檢測裝置100、影像處理電路130、深度處理器131和自適應投影機110)，並且可由該設備執行。
於步驟S11中，影像處理電路130（例如第二局部電路諸如深度處理器131）可獲得該距離資訊，其中該距離資訊可指出混合深度檢測裝置100與該一或多個目標物件11之間的距離。例如，該距離資訊可從該距離感測器獲得，但本發明不限於此。在某些例子中，該距離資訊的資訊源可包含該距離感測器以及混合深度檢測裝置100的一先前深度檢測操作（例如，針對一先前幀的混合深度檢測操作）中的一個或組合。
於步驟S12中，混合深度檢測裝置100可利用影像處理電路130（例如第二局部電路諸如深度處理器131）依據距離資訊（例如該距離資訊所指出的距離）決定該距離範圍（例如該選擇的距離範圍），其中該距離範圍是選擇自針對該距離的該多個預定距離範圍。當該距離資訊所指出的距離落入該多個預定距離範圍中的某個預定距離範圍時，影像處理電路130（例如第二局部電路諸如深度處理器131）可將這個距離範圍決定為該選擇的距離範圍。當該距離資訊所指出的距離落入該多個預定距離範圍中的另一預定距離範圍時，影像處理電路130（例如第二局部電路諸如深度處理器131）可將該另一距離範圍決定為該選擇的距離範圍。
於步驟S13中，混合深度檢測裝置100可利用影像處理電路130（例如第二局部電路諸如深度處理器131）進行該投影類型選擇，以決定該多個預定投影類型（例如該第一投影類型和該第二投影類型）中的對應於該距離範圍（例如該選擇的距離範圍）之該至少一選擇的投影類型，其中該至少一選擇的投影類型是選擇自該多個預定投影類型。
於步驟S13’中，響應於該至少一選擇的投影類型，影像處理電路130（例如第二局部電路諸如深度處理器131）可觸發該工作流程的多個子流程(sub-flow)的其中之一的執行。舉例來說，如果該至少一選擇的投影類型代表針對型樣投影的該第一投影類型以供用於該型樣檢測類型深度檢測諸如該SL類型深度檢測（標示為“SL類型”以便於更好地理解），則執行包含步驟S14A的一第一子流程；否則，如果該至少一選擇的投影類型代表針對非型樣投影的該第二投影類型以供用於該TOF類型深度檢測（標示為“TOF類型”以便於更好地理解），則執行包含步驟S14B的一第二子流程；否則，在該至少一選擇的投影類型包含該第一投影類型和該第二投影類型（標示為“混合”以便於更好地理解）的情況下，執行包含步驟S15A、S15B和S16的一第三子流程。
於步驟S14A中，混合深度檢測裝置100可利用自適應投影機110進行型樣投影，尤其，投影該預定型樣，以藉由相機121擷取至少一對應的第一影像諸如一或多個第一影像，並利用影像處理電路130（例如第二局部電路諸如深度處理器131）依據該一或多個第一影像進行該第一深度檢測以產生該第一深度圖，以供被輸出作為該結果深度圖。
於步驟S14B中，混合深度檢測裝置100可利用自適應投影機110進行非型樣投影以藉由相機121擷取至少一對應的第二影像諸如一或多個第二影像，並利用影像處理電路130（例如第二局部電路諸如深度處理器131）依據該一或多個第二影像進行該第二深度檢測以產生該第二深度圖，以供被輸出作為該結果深度圖。
於步驟S15A中，混合深度檢測裝置100可利用自適應投影機110進行型樣投影，尤其，投影該預定型樣，以藉由相機121擷取至少一對應的第一影像諸如一或多個第一影像，並利用影像處理電路130（例如第二局部電路諸如深度處理器131）依據該一或多個第一影像進行該第一深度檢測以產生該第一深度圖。
於步驟S15B中，混合深度檢測裝置100可利用自適應投影機110進行非型樣投影以藉由相機121擷取至少一對應的第二影像諸如一或多個第二影像，並利用影像處理電路130（例如第二局部電路諸如深度處理器131）依據該一或多個第二影像進行該第二深度檢測以產生該第二深度圖。
於步驟S16中，在該至少一選擇的投影類型包含該多個預定投影類型諸如該第一投影類型和該第二投影類型的情況下，混合深度檢測裝置100可利用影像處理電路130（例如第二局部電路諸如深度處理器131）依據該第一深度圖和該第二深度圖進行該深度資料組合以產生該組合深度圖（例如該加權深度圖）以作為該結果深度圖。
於步驟S17中，混合深度檢測裝置100（例如影像處理電路130）可判斷是否停止該工作流程。如果是，則該工作流程結束；如果否，則進入步驟S11。
例如，響應於該一或多個命令中的一個啟動命令，混合深度檢測裝置100（例如影像處理電路130）可依據該工作流程開始操作，以將該結果深度圖（例如該第一子流程的該第一深度圖、該第二子流程的該第二深度圖、或該第三子流程的該組合深度圖）回傳到該處理電路（例如運行在該至少一應用處理器上的該3D人臉識別App等）。於步驟S17中，混合深度檢測裝置100（例如影像處理電路130）可檢查是否接收到該一或多個命令中的一停止命令。當從該處理電路接收到該停止命令時，混合深度檢測裝置100（例如影像處理電路130）可判定步驟S17的檢查結果為是。當沒有接收到來自該處理電路的停止命令時，混合深度檢測裝置100（例如影像處理電路130）可判定步驟S17的檢查結果為否。為了簡明起見，於本實施例中類似的內容在此不重複贅述。
為了更好地理解，該方法可用第10圖所示之工作流程來說明，但本發明不限於此。依據某些實施例，一或多個步驟可於第10圖所示之工作流程中增加、刪除或修改。例如，在包含步驟S15A、S15B和S16的該第三子流程中，可交換執行步驟S15A和S15B的順序。
依據某些實施例，該多個預定距離範圍可包含一第一範圍（例如該短距離範圍）諸如區間[D1, D1.5)的範圍、一第二範圍（例如該中距離範圍）諸如區間[D1.5, D2)的範圍以及一第三範圍（例如該長距離範圍）諸如區間[D2, ∞)的範圍，其中距離D1.5可代表距離D1和D2之間的一中間距離，諸如以預定加權值w D1和w D2定義的中間距離(w D1* D1 + w D2* D2)（例如w D1＞ 0且w D2＞ 0，並且w D1+ w D2= 1），但本發明不限於此。此外，當該選擇的距離範圍代表區間[D1, D1.5)的範圍時，該至少一選擇的投影類型可代表該第一投影類型，以容許包含步驟S14A的該第一子流程被執行，其中如第3圖上半部所示的投影場可作為型樣投影的投影場的例子；當該選擇的距離範圍代表區間[D1.5, D2)的範圍時，該至少一選擇的投影類型可包含該第一投影類型和該第二投影類型，以容許包含步驟S15A、S15B和S16的該第三子流程被執行，其中如第3圖上半部所示的投影場可作為型樣投影和非型樣投影之各自的投影場中的任何一個（例如每一個）的例子；以及當該選擇的距離範圍代表區間[D2, ∞)的範圍時，該至少一選擇的投影類型可代表該第二投影類型，以容許包含步驟S14B的該第二子流程被執行，其中如第3圖下半部所示的投影場可作為非型樣投影的投影場的例子。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。
依據某些實施例，該多個預定距離範圍可包含一第一範圍諸如區間[D1, D2)的範圍，並且包含一第二範圍諸如區間[D2, ∞)的範圍，但本發明不限於此。此外，當該選擇的距離範圍代表區間[D1, D2)的範圍時，該至少一選擇的投影類型可包含該第一投影類型和該第二投影類型，以容許包含步驟S15A、S15B和S16的該第三子流程被執行，其中如第3圖上半部所示的投影場可作為型樣投影和非型樣投影之各自的投影場中的任何一個（例如每一個）的例子；以及當該選擇的距離範圍代表區間[D2, ∞)的範圍時，該至少一選擇的投影類型可代表該第二投影類型，以容許包含步驟S14B的該第二子流程被執行，其中如第3圖下半部所示的投影場可作為非型樣投影的投影場的例子；其中該第一子流程可被省略。為了簡明起見，於這些實施例中類似的內容在此不重複贅述。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:場 11:目標物件 100:混合深度檢測裝置 110:自適應投影機 120:影像擷取模組 121:相機 130:影像處理電路 131:深度處理器 132:影像處理器 100M:電子產品 D1, D2:距離 W1, W2:寬度 140:額外的感測模組 S11~S13, S13’, S14A, S14B, S15A, S15B, S16, S17:步驟
第1圖為依據本發明一實施例的一種混合深度檢測裝置的示意圖。 第2圖依據本發明一實施例繪示第1圖所示的自適應投影機的某些實施細節。 第3圖依據本發明一實施例繪示一種藉助於該自適應投影機來進行混合深度檢測的方法的一自適應場(field)控制方案。 第4圖依據本發明一實施例繪示該方法的一自適應投影類型控制方案中的型樣投影(pattern projection)的一投影結果。 第5圖依據本發明一實施例繪示該方法的該自適應投影類型控制方案中的非型樣投影(non-pattern projection) 的某些投影結果。 第6圖依據本發明一實施例繪示該方法的一自適應型樣(pattern)控制方案。 第7圖依據本發明一實施例繪示該方法的一自適應照明場(field-of-illumination, FOI)控制方案。 第8圖依據本發明一實施例繪示第1圖所示的混合深度檢測裝置的某些實施細節。 第9圖依據本發明一實施例繪示該方法的一深度組合控制方案。 第10圖依據本發明一實施例繪示該方法的一工作流程。
S11~S13,S13’,S14A,S14B,S15A,S15B,S16,S17:步驟

Claims (11)

  1. 一種藉助於一自適應投影機(adaptive projector)來進行混合深度檢測(hybrid depth detection)的方法，該方法包含： 利用一混合深度檢測裝置內的一影像處理電路獲得距離資訊，其中該距離資訊指出該混合深度檢測裝置與一或多個目標物件(object)之間的一距離； 利用該影像處理電路依據該距離資訊來決定一距離範圍，其中該距離範圍是選擇自針對該距離的多個預定距離範圍； 利用該影像處理電路進行投影類型選擇，以決定多個預定投影類型中的對應於該距離範圍之至少一選擇的投影類型(selected projection type)，其中該至少一選擇的投影類型是選擇自該多個預定投影類型； 利用該混合深度檢測裝置內的該自適應投影機進行該至少一選擇的投影類型的投影以藉由一相機擷取至少一對應的影像，並利用該影像處理電路依據該至少一對應的影像來進行多個類型的深度檢測(multiple types of depth detection)中的對應於該至少一選擇的投影類型之至少一類型的深度檢測(at least one type of depth detection)以產生至少一深度圖(depth map)；以及 因應該至少一選擇的投影類型，利用該影像處理電路選擇性地輸出該至少一深度圖以作為一結果深度圖(resultant depth map)或依據該至少一深度圖進行深度資料組合以產生一組合深度圖以作為該結果深度圖。
  2. 如申請專利範圍第1項所述之方法，其中該多個預定投影類型包含針對一或多個預定型樣(pattern)的型樣投影(pattern projection)的一第一投影類型，並且包含針對無型樣的非型樣投影(non-pattern projection)的一第二投影類型。
  3. 如申請專利範圍第2項所述之方法，其中該多個類型的深度檢測包含對應於該第一投影類型的第一深度檢測，以及對應於該第二投影類型的第二深度檢測。
  4. 如申請專利範圍第3項所述之方法，其中該第一深度檢測代表型樣檢測類型(pattern-detection-type)深度檢測，該第二深度檢測代表飛行時間(Time-of-Flight, TOF)類型深度檢測。
  5. 如申請專利範圍第1項所述之方法，其中對應於該距離範圍的該至少一選擇的投影類型包含該多個預定投影類型，並且對應於該至少一選擇的投影類型的該至少一類型的深度檢測包含該多個類型的深度檢測。
  6. 如申請專利範圍第5項所述之方法，其中該多個預定投影類型包含針對型樣投影(pattern projection)的一第一投影類型以及針對非型樣投影(non-pattern projection)的一第二投影類型；以及利用該混合深度檢測裝置內的該自適應投影機進行該至少一選擇的投影類型的該投影以藉由該相機擷取該至少一對應的影像並利用該影像處理電路依據該至少一對應的影像來進行該多個類型的深度檢測中的對應於該至少一選擇的投影類型之該至少一類型的深度檢測以產生該至少一深度圖的步驟更包含： 利用該自適應投影機進行該型樣投影以藉由該相機擷取至少一對應的第一影像，並利用該影像處理電路依據該至少一對應的第一影像來進行第一深度檢測以產生一第一深度圖；以及 利用該自適應投影機進行該非型樣投影以藉由該相機擷取至少一對應的第二影像，並利用該影像處理電路依據該至少一對應的第二影像來進行第二深度檢測以產生一第二深度圖； 其中，在該至少一選擇的投影類型包含該多個預定投影類型的情況下，該影像處理電路用以依據該第一深度圖以及該第二深度圖來進行該深度資料組合，以產生該組合深度圖以作為該結果深度圖。
  7. 如申請專利範圍第1項所述之方法，其中利用該影像處理電路選擇性地輸出該至少一深度圖以作為該結果深度圖或依據該至少一深度圖進行該深度資料組合以產生該組合深度圖以作為該結果深度圖的步驟更包含： 若該至少一選擇的投影類型代表該多個預定投影類型中的一個預定投影類型，則利用該影像處理電路輸出該至少一深度圖作為該結果深度圖，其中該至少一深度圖代表對應於該多個預定投影類型中的所述一個預定投影類型的深度圖；否則，利用該影像處理電路依據該至少一深度圖進行該深度資料組合以產生該組合深度圖以作為該結果深度圖，其中該至少一深度圖包含對應於該多個預定投影類型中的一第一投影類型之一第一深度圖，並且包含對應於該多個預定投影類型中的一第二投影類型之一第二深度圖。
  8. 如申請專利範圍第1項所述之方法，其中該距離資訊的一資訊源包含該混合深度檢測裝置內的一距離感測器以及該混合深度檢測裝置的一先前深度檢測操作的其中之一或組合。
  9. 依據如申請專利範圍第1項所述之方法來操作的該自適應投影機。
  10. 依據如申請專利範圍第1項所述之方法來操作的該影像處理電路。
  11. 一種混合深度檢測(hybrid depth detection)裝置，包含： 一影像處理電路，用來獲得距離資訊，依據該距離資訊決定一距離範圍，並且進行投影類型選擇以決定多個預定投影類型中的對應於該距離範圍之至少一選擇的投影類型(selected projection type)，其中該距離資訊指出該混合深度檢測裝置與一或多個目標物件(object)之間的一距離，該距離範圍是選擇自針對該距離的多個預定距離範圍，並且該至少一選擇的投影類型是選擇自該多個預定投影類型； 一自適應投影機(adaptive projector)，耦接至該影像處理電路，用來進行該至少一選擇的投影類型的投影，以容許該混合深度檢測裝置藉由一相機擷取至少一對應的影像；以及 該相機，耦接至該影像處理電路，用來擷取該至少一對應的影像； 其中： 該影像處理電路依據該至少一對應的影像來進行多個類型的深度檢測(multiple types of depth detection)中的對應於該至少一選擇的投影類型之至少一類型的深度檢測(at least one type of depth detection)以產生至少一深度圖(depth map)；以及 因應該至少一選擇的投影類型，該影像處理電路選擇性地輸出該至少一深度圖以作為一結果深度圖(resultant depth map)或依據該至少一深度圖進行深度資料組合以產生一組合深度圖以作為該結果深度圖。
TW111116977A 2021-07-01 2022-05-05 藉助於自適應投影機來進行混合深度檢測的方法及設備 TW202303304A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/364,920 2021-07-01
US17/364,920 US11494926B1 (en) 2021-07-01 2021-07-01 Method for performing hybrid depth detection with aid of adaptive projector, and associated apparatus

Publications (1)

Publication Number Publication Date
TW202303304A true TW202303304A (zh) 2023-01-16

Family

ID=83902628

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111116977A TW202303304A (zh) 2021-07-01 2022-05-05 藉助於自適應投影機來進行混合深度檢測的方法及設備

Country Status (3)

Country Link
US (1) US11494926B1 (zh)
CN (1) CN115564815A (zh)
TW (1) TW202303304A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11156456B2 (en) * 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
US9639946B2 (en) * 2015-03-11 2017-05-02 Sony Corporation Image processing system with hybrid depth estimation and method of operation thereof
CN107454373B (zh) * 2016-05-31 2019-06-14 财团法人工业技术研究院 投影系统及其非平面自动校正方法与自动校正处理装置
US10306203B1 (en) * 2016-06-23 2019-05-28 Amazon Technologies, Inc. Adaptive depth sensing of scenes by targeted light projections
US10262428B2 (en) * 2017-04-07 2019-04-16 Massachusetts Institute Of Technology System and method for adaptive range 3D scanning
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
US10482618B2 (en) * 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US20210150744A1 (en) * 2017-12-20 2021-05-20 Olympus Corporation System and method for hybrid depth estimation
US10593055B2 (en) * 2018-03-23 2020-03-17 Capsovision Inc Method and apparatus for capturing images and associated 3D model based on a single image sensor and structured-light patterns in the visible spectrum
US10901092B1 (en) * 2018-10-02 2021-01-26 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system

Also Published As

Publication number Publication date
CN115564815A (zh) 2023-01-03
US11494926B1 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
US11445164B2 (en) Structured light projection module based on VCSEL array light source
US11307293B2 (en) Ranging sensor
US10049458B2 (en) Reducing interference between multiple infra-red depth cameras
WO2018161466A1 (zh) 深度图像获取系统和方法
US20170186167A1 (en) Stereodepth camera using vcsel projector with controlled projection lens
CN108718406B (zh) 一种可变焦3d深度相机及其成像方法
TW201540066A (zh) 包括主要高解析度成像器及次要成像器之影像感測器模組
KR102599609B1 (ko) 전자 장치의 제어 방법 및 전자 장치
US20200192206A1 (en) Structured light projector, three-dimensional camera module and terminal device
US10679370B2 (en) Energy optimized imaging system with 360 degree field-of-view
AU2012296028A1 (en) Projector and control method thereof
KR102472217B1 (ko) 광 송출장치 및 이를 이용한 ToF(Time of Flight)모듈
US11102459B2 (en) 3D machine-vision system
JP4973009B2 (ja) プロジェクタ及び画像投写方法
TW202303304A (zh) 藉助於自適應投影機來進行混合深度檢測的方法及設備
US20220067951A1 (en) Method for Acquiring Image, Electronic Device and Readable Storage Medium
TWI646504B (zh) 深度感測裝置及深度感測方法
US20210018628A1 (en) Ranging sensor
US11979661B1 (en) Method for performing light shaping with aid of adaptive projector, and associated apparatus
KR102085705B1 (ko) 3차원 카메라
US20210264625A1 (en) Structured light code overlay
TWI691736B (zh) 發光裝置及應用其之圖像採集裝置
JP2023532676A (ja) 拡散照射及び構造化光用プロジェクタ
US11557054B1 (en) Method for performing region-of-interest-based depth detection with aid of pattern-adjustable projector, and associated apparatus
KR20140050530A (ko) 영상 획득 장치 및 영상 획득 방법