TWI697655B - 深度感測裝置、用於組態其之方法及機器可讀取媒體 - Google Patents

深度感測裝置、用於組態其之方法及機器可讀取媒體 Download PDF

Info

Publication number
TWI697655B
TWI697655B TW105112307A TW105112307A TWI697655B TW I697655 B TWI697655 B TW I697655B TW 105112307 A TW105112307 A TW 105112307A TW 105112307 A TW105112307 A TW 105112307A TW I697655 B TWI697655 B TW I697655B
Authority
TW
Taiwan
Prior art keywords
depth sensing
sensor
sensing device
depth
range
Prior art date
Application number
TW105112307A
Other languages
English (en)
Other versions
TW201710641A (zh
Inventor
志帆 邢
帕撒那 克瑞許納斯瓦米
Original Assignee
美商英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商英特爾股份有限公司 filed Critical 美商英特爾股份有限公司
Publication of TW201710641A publication Critical patent/TW201710641A/zh
Application granted granted Critical
Publication of TWI697655B publication Critical patent/TWI697655B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Position Input By Displaying (AREA)

Abstract

本揭露有關於可調適的深度感測(DS)系統。DS裝置可包含DS設備模組及控制模組。控制模組可組態DS設備模組之操作模式為近程感測、中程感測、或長程感測。控制模組可從DS設備模組接收至少深度資料以判定操作模式。控制模組亦可接收關於DS裝置及/或與DS裝置耦合的主機裝置之狀態資料，基於狀態資料判定組態，並可利用狀態資料連同深度資料來組態DS設備模組。組態DS設備模組可包含，例如，賦能DS設備模組中之組件、組態組件的焦距、組態組件的影像方位、及/或選擇用於組件的DS方法。

Description

深度感測裝置、用於組態其之方法及機器可讀取媒體
本揭露關於裝置感測系統，且詳言之，關於可調適至不同感測範圍之深度感測器及控制該可調適深度感測器的系統。
基於感測技術中的新發展，使用者與電子裝置互動的方式日益更新。例如，針對特定感測應用，深度感測器變得越來越普及。深度感測器能夠感測自裝置到目標的距離，並沿著這些線感測在三維空間中做出的手勢及/或運動等等。深度感測的一種常見用途在於視頻遊戲用的專門使用者介面中。以深度為基礎的使用者介面可感測由遊戲玩家所做出之位置、運動、及/或手勢。視頻遊戲系統可接著將感測到的深度資訊轉換成用於控制視頻遊戲中之角色之輸入等等。可採用深度感測之應用的其他範例包括，但不限於，針對各種機器人應用等等之至電腦的使用者介面輸入(例如，以和滑鼠類似的方式操縱指向裝置)、臉部 識別、用於映射動作至虛擬使用者(avatar)的臉部特徵追蹤、物件定標、操縱等等。
雖可針對上述示範應用的任一者設計深度感測器，設計普遍適用於多種應用之感測器卻難上許多。當考慮「通用」深度感測器的至少一個挑戰為近程感測(例如，在一公尺內)、中程感測(例如，介於一至三公尺之間)、及長程感測(例如，超過三公尺)都包含不同的裝置組態。詳言之，一個示範深度感測器可包括至少一紅、綠、及藍(RGB)感測器(例如，可用至少兩個RGB感測器在視覺上判定深度)。針對紅外線(IR)深度感測，示範深度感測器亦可包括至少一個IR發射器及至少一個IR接收器。這些組件在深度感測器內的配置、組件的調焦、針對基於不同深度感測方法之操作的組件組態等等可能隨各種因素而變，諸如，例如，目標感測深度、發生深度感測之環境、相關於待感測的目標物件或深度感測器本身所預期的運動量、深度感測應用等等。
100:可調適的深度感測系統
102:深度感測裝置
102’:深度感測裝置
104:主機裝置
104’:主機裝置
106:控制模組
106’:控制模組
108:DS設備模組
108’:DS設備模組
110:狀態模組
110’:狀態模組
112:深度資料
114:狀態資料
114A:狀態資料
114B:狀態資料
116:DS組態
200:鍵盤單元
204:轉體或接點
208:角度
300:連接器
302:延伸件
304:延伸件
400:系統模組
402:處理模組
404:記憶體模組
406:電力模組
408:使用者介面模組
410:通訊介面模組
412:通訊模組
414:IR感測器
416:RGB感測器
418:IR發射器
420:IR感測器
422:感測器
500:範例
502:範例
600:範例
602:範例
604:IR感測器
606:第一位置
608:第二位置
700:應用層
702:OS層
704:DS控制層
706:特殊應用積體電路
708:DS裝置驅動器
710:狀態資料介面
主張專利權的標的之各種實施例的特徵與優點在參照圖示之上述詳細說明中變得明顯，圖中類似符號標示類似部件，且圖中：第1圖繪示根據本揭露之至少一個實施例的示範可調適的深度感測系統；第2圖繪示根據本揭露之至少一個實施例的整合深度 感測器的一個示範實作；第3圖繪示根據本揭露的至少一個實施例之可拆式深度感測器的一個示範實作；第4圖繪示根據本揭露的至少一個實施例之深度感測器及主機裝置的示範模組化組態；第5圖繪示根據本揭露的至少一個實施例之單感測器近程感測及雙感測器中程感測之示範組態；第6圖繪示根據本揭露的至少一個實施例之利用額外感測器或可移動感測器之雙遠程感測的示範組態；第7圖繪示根據本揭露的至少一個實施例之結合型深度感測器及主機裝置的示範控制組態；第8圖繪示根據本揭露的至少一個實施例之用於組態可調適的深度感測系統的示範操作；以及第9圖繪示根據本揭露的至少一個實施例之用於檢測可調適的深度感測系統的畫面改變之示範操作。
雖然參照說明性實施例進行以上詳細說明，其之眾多替代、修改、及變異對熟悉此技藝人士而言為顯而易見。
【發明內容及實施方式】
本揭露有關可調適深度感測(DS)系統。在至少一個實施例中，DS裝置可包含DS設備模組及控制模組。控制模組可針對近程感測、中程感測、及長程感測組態DS設備模組的操作模式。例如，控制模組可從DS設備模組接收至少深度資料以判定操作模式。在至少一個實施例中，控 制模組可進一步接收關於DS裝置及/或與DS裝置耦合之主機裝置的狀態資料；基於狀態資料判定組態；並可連同深度資料利用狀態資料來組態DS設備模組。組態DS設備模組可包含，例如，賦能DS設備模組中之組件、組態DS設備模組中之組件的焦距、組態DS模組中之組件的影像方位及/或針對DS設備模組中之組件選擇DS方法。例如，可針對近程感測賦能一個IR感測器，而針對中程感測可賦能兩個IR感測器。基於在DS設備模組中是否組態有中程或長程感測，DS設備模組亦可包括特別針對長程感測啟動的第三IR感測器，或使IR感測器的至少一者可移動。
在至少一個實施例中，示範DS裝置可包含至少DS設備模組及控制模組。DS設備模組可用以執行DS。控制模組可用以從DS設備模組接收至少深度資料並基於至少深度資料組態深度感測設備模組之操作模式。
例如，深度資料可包含由深度感測設備模組所感測的從深度感測裝置至一群連接的畫素中至少一個畫素的距離或該群連接的畫素之大小的至少一者。控制模組可進一步用以接收關於至少深度感測裝置之狀態資料；基於狀態資料判定深度感測裝置之組態；以及亦基於組態來組態深度感測設備模組之操作模式。在至少一個實施例中，控制模組可進一步用以判定深度感測裝置是否耦合至主機裝置；基於深度感測裝置耦合至主機裝置的判定，接收關於主機裝置的狀態資料；以及基於從深度感測裝置及主機裝置所 接收到的狀態資料，判定深度感測裝置或主機裝置的至少一者之組態。控制模組可進一步用以基於狀態資料或深度資料的至少一者判定是否有畫面改變；以及基於畫面已改變的判定，重新組態該深度感測設備模組之操作模式。
在至少一個實施例中，在組態操作模式中，控制模組可用以進行下列至少一者：賦能深度感測設備模組中之組件；調整深度感測設備模組中之組件的焦距；組態深度感測設備模組中之組件的影像方位；或選擇用於該深度感測設備模組中之組件的深度感測方法。深度感測設備模組可包含至少一紅、綠、與藍(RGB)感測器、紅外線(IR)發射器、設置成遠離IR發射器之第一IR感測器、及設置在IR發射器附近之第二IR感測器。
在組態操作模式中，控制模組用以賦能IR發射器及第一IR感測器以供近程深度感測。另外，在組態操作模式中，控制模組亦可用以賦能第二IR感測器以供中程深度感測。在至少一個實施例中，第二IR感測器可在深度感測設備模組中移動，以及在組態操作模式中，控制模組可用以令深度感測設備模組在當組態成針對中程深度感測時將第二IR感測器設置在第一位置，或者在離第一IR感測器更大距離之第二位置以供長程深度感測。替代地，深度感測設備模組可包含設置在較第二IR感測器離第一IR感測器更大距離之第三IR感測器，以及在組態該操作模式中，控制模組用以賦能RGB感測器、IR發射器、第一IR感測器、及第三IR感測器以供長程深度感測。與本揭 露一致下，一種用於組態深度感測裝置之方法可包含在深度感測裝置中之控制模組接收狀態資料；基於狀態資料判定至少深度感測裝置的組態；在控制模組接收來自深度感測裝置之深度資料；以及基於至少經判定的組態及深度資料組態在深度感測裝置中之深度感測設備模組的操作模式。
第1圖繪示根據本揭露之至少一個實施例的示範可調適的深度感測系統。系統100可包含，例如，至少DS裝置102及主機裝置104。DS裝置102可為經由有線或無線連結耦合到主機裝置104之分別的裝置，或可整合到主機裝置104中。主機裝置104的範例可包含，但不限於，諸如基於來自谷歌(Google)公司的Android®作業系統(OS)及/或Chrome OS®之手機或智慧型手機、來自蘋果(Apple)公司的iOS®及/或Mac® OS、來自微軟(Microsoft)公司的Windows® OS、來自Linux基金會的Tizen® OS、來在Mozilla計畫的Firefox® OS、來自黑莓(Blackberry)公司的Blackberry® OS、來自惠普(Hewlett-Packard)公司的Palm® OS、來自塞班(Symbian)基金會的Symbian® OS等等之行動通訊裝置；諸如像是來自Apple公司的iPad®、來自Google公司的Nexus®、來自Microsoft公司的Surface®、來自三星(Samsung)公司的Galaxy Tab®、來自亞馬遜(Amazon)公司的Kindle Fire®等等之平板電腦、包括由英特爾(Intel)公司製造的低功率晶片組之Ultrabook®、輕省型電腦(netbook)、筆記型電腦、膝上型 電腦、掌上型電腦等等之行動運算裝置；諸如像是來自Samsung的Galaxy Gear®的腕錶形狀因子運算裝置、像是來自Google公司的Google Glass®之眼鏡形狀因子運算裝置/使用者介面、像是來自Samsung公司的Gear VR®、來自Oculus VR公司之Oculus Rift®之虛擬實境(VR)頭戴式裝置等等之可穿戴式裝置；諸如桌上型電腦、智慧電視、像是來自Intel公司之下一個運算單元(Next Unit of Computing；NUC)平台的小形狀因子運算解決方案(例如，針對有限空間之應用、電視機上盒等等)等等的通常靜止運算裝置。雖然主機裝置104可為上列示範裝置的任意者，但一種典型的使用情景可能牽涉主機裝置104為具有多種不同操作模式之可攜式通訊或可攜式運算裝置。可能使用這些示範組態來顯示及/或在此敘述(如在第2及3圖中)主機裝置104以提供用於了解與本揭露一致的各種實施例之可輕易理解的上下文。
DS裝置102可包含，例如，控制模組106、DS設備模組108、及可選的狀態模組110。一般而言，控制模組106可接收深度資料(DD)112或狀態資料(CD)114(例如，關於DS裝置102之CD 114A及/或關於主機裝置104的CD 114B)的至少一者，並可使用CD 114來判定DS組態(DSC)116。DD 112可一般包含由DS裝置102所產生的任何資料。例如，DS設備模組108可藉由感測一個「團塊(blob)」(例如，一群連接的畫素)來啟動並產生DD 112。從DS裝置102到使用，例如，唯獨RGB感測、唯 獨IR感測、結合RGB及IR感測等等所感測到的團塊中之至少一個畫素的大概距離可指示欲選擇的操作模式(例如，近程、中程、或長程)。單獨或結合感測到的距離，團塊的大小亦可指示所需的感測模式。例如，大團塊可指示潛在目標接近DS裝置102，並因此，需要近程感測。感測較小團塊可指示潛在目標離DS裝置102較遠且應使用中程或長程感測。亦可採用其他目標測距方法。一種方法可包含持續感測近程、中程和長程以產生多個深度地圖。可接著藉由將來自不同深度地圖的資料輸入到各種判定演算法中來選擇最佳的操作模式。
CD 114A及CD 114B(統稱為「CD 114A/B」)可包含分別關於DS裝置102及/或主機裝置104之狀態的資料。在此所參照之「狀態」可包括，但不限於，DS裝置102及/或主機裝置104之當前機械組態(例如，打開、關閉、與鍵盤對接等等)、DS裝置102及/或主機裝置104之當前軟體組態(例如，現行軟體、需要DS的應用類型等等)、DS裝置102及/或主機裝置104正操作於其中的環境(例如，感測到的背景、明/暗、干擾、運動等等)。在至少一個實施例中，可藉由狀態模組110提供CD 114A。在DS裝置102中之狀態模組110的存在可取決於，例如，DS裝置102是否包括用於檢測DS裝置102之位置、方位、運動等等之至少一個感測器。狀態模組110在DS裝置102以固定方位整合於主機裝置104中的示範實作中可能不存在。可從主機裝置104經由狀態模組110提供CD 114B至DS裝置102，或在無狀態模組110時可將CD 114B直接提供至控制模組106。取決於DS裝置102與主機裝置104之間的關係，可經由有線或無線鏈結傳送CD 114B至DS裝置102。將相關於第2及3圖討論DS裝置102與主機裝置104可能如何關聯的範例。
控制模組106可基於DD 112及/或CD 114A/B判定將執行之DS模式，並可組態DS設備模組108，如116所示。DS設備模組108可包含用於基於所組態的操作模式執行DS之設備(例如，電子、機電、及/或光學硬體)、韌體、軟體等等。操作模式可包括，例如，近程感測、中程感測、及長程感測。將相關於第4至6圖說明可包括在DS設備模組108內之設備類型的範例。
第2圖繪示根據本揭露之至少一個實施例的整合深度感測器的一個示範實作。與本揭露一致地，將主機裝置104’呈現為一個平台以解釋範例DS裝置102’之操作。主機裝置104’可例如為智慧型手機、單獨或能夠與鍵盤單元200配接或對接之平板電腦、筆記型電腦、輕省型電腦等等。可以一種方式將DS裝置102’整合到主機裝置104’中，該方式允許收起DS裝置102，(例如，在縮回位置中)或以各種角度配置，如202所示。DS裝置102’可透過機械(例如彈簧加載)或機電(馬達驅動)機制自動移動，或可透過使用者操縱而人工地配置等等。例如，可藉由執行需要DS的應用程式、與硬體介面(如按鈕)、軟體介面等等互動來觸發DS裝置102’以自動地配置。在至少一個實 施例中，可如第2圖中所示般在「面向使用者」的方位中利用DS裝置102’以捕捉影像、感測使用者作出的手勢(例如，用以控制主機裝置104’、玩遊戲等等)。控制模組106可基於配置機制(例如來自伺服裝置的反饋)或至少一個感測器(例如角度感測器、陀螺儀等等)接收CD 114A，並接著判定DS設備模組108之操作模式。在不考慮DD 112或其他CD 114A/B的情況下，可判定操作模式為近程感測。其他CD 114A/B也可能指示近程感測。例如，若主機裝置104’為膝上型電腦、筆記型電腦、輕省型電腦等等，則可感測到裝置之螢幕部分與鍵盤部分之間發生的角度208並可進一步指示近程感測。可基於DD 112(例如，感測從DS裝置102’至一個團塊中至少一個畫素的距離、感測相應於遠方物件之小團塊而非一大型近團塊)及/或其他CD 114A/B(例如，判定需要中程或長程感測之一應用、基於感測到的運動判定使用者拿著的主機裝置104’、判定未與鍵盤單元200對接之主機裝置104’等等)考慮中程或長程感測。
在相同或不同的實施例中，DS裝置102’可包括轉體或接點204，其允許主機之方位改變，如在206所示。同樣地，DS裝置102’的方位可自動改變(例如，經由機電機制)或經由使用者操縱而手動改變。重新調整DS裝置102’的方位以面向相反方向(例如，自面向使用者位置180度)可被視為「面向外界」方位。控制模組106能夠基於從接點204感測到的資料來判定DS裝置102’之方位，並 且可基於此方位組態中程感測或長程感測。例如，面向外界方位可用來捕捉影像、玩基於使用者整個身體之運動的視頻遊戲、進行較大型視頻會議等等。
第3圖繪示根據本揭露的至少一個實施例之可拆式深度感測器的一個示範實作。第3圖的主機裝置104’可具有與第2圖中所示相同或實質上類似的組態。然而，在第3圖中，可從主機裝置104’移除DS裝置102”。DS裝置102”可包括插入到主機裝置104’中之連接器300以當兩個裝置配接在一起時提供有線通訊。延伸件302及304可用來機械式耦合DS裝置102”至主機裝置104’。當配接在一起時，DS裝置102”可操作為主機裝置104’的一部分。在至少一個實施例中，DS裝置102”可為「可翻轉式」，即可以面向使用者或面向外界方位配接。例如，連接器300可為通用序列匯流排(USB)類型C連接器，並可當主機裝置104’耦合至DS裝置102”時在主機裝置104’中判定可基於類型C連接器的接腳連接資訊而判定之DS裝置102”的方位。當未配接到主機裝置104’時，DS裝置102”可操作成獨立的深度感測器。例如，連接器300可收回到DS裝置102”中，如在306所示，且延伸件302及304可操作成用於將DS裝置102”定位於桌面上的腳系統之一部分。在至少一個實施例中，控制模組106可接收指示DS裝置102”是否與主機裝置104’配接之CD 114A/B，且此資訊可用來判定DS設備模組108的操作模式。例如，當DS裝置102”以面向使用者方位配接時，控制模組106可組態 近程感測，且當DS裝置102”以長程組態配接時，控制模組106可組態中程或長程感測。當不配接時(例如，當DS裝置102”與主機裝置104’分離操作時)，控制模組106可基於通常用途預設為中程或長程感測；可使用由狀態模組110中至少一個感測器所提供的DD 112及/或CD 114A來判定用以組態之適當操作模式等等。
第4圖繪示根據本揭露的至少一個實施例之深度感測器及主機裝置的示範模組化組態。DS裝置102及/或主機裝置104能夠執行諸如相關於第1至3圖中所討論的示範功能。然而，DS裝置102及/或主機裝置104之組態僅意在作為範例，其可用在與本揭露一致之實施例中，並且非意在限制這些各種實施例於實作的任何特定方式。
示範主機裝置104可包含，例如，組態成管理裝置操作的系統模組400。系統模組400可包括，例如，處理模組402、記憶體模組404、電力模組406、使用者介面模組408、及通訊介面模組410。主機裝置104亦可包括通訊模組412。雖然通訊模組412已顯示成與系統模組400分開，單純為了說明而提供第4圖中所示的示範實作。與通訊模組412關聯的一些或全部的功能亦可含括在系統模組400中。
在主機裝置104中，處理模組402可包含位在不同組件中的一或更多個處理器，或替代地，體現在單一組件(例如在單晶片系統(SoC)組態中)及任何處理器相關的支援電路(例如，橋接介面等等)中之一或更多個處理核心。示 範處理器可包括，但不限於，可從Intel公司獲得之各種以x86為基礎之微處理器，包括在Pentium、Xeon、Itanium、Celeron、Atom、Quark、Core i系列、Core M系列產品家族中的彼者、先進減少指令集運算(RISC)機器、或「ARM」處理器等等。支援電路的範例可包括組態成提供介面之晶片組(例如，可從Intel公司獲得之北橋、南橋等等)，透過此介面處理模組402可與在主機裝置104中以不同速度操作、在不同匯流排上之其他系統組件等等，互動。通常與支援電路關聯的功能之一些或全部亦可包括在與處理器(例如，諸如可從Intel公司獲得之Sandy Bridge處理器家族中)相同的實體封裝中。
處理模組402可組態成執行主機裝置104中之各種指令。指令可包括組態成令處理模組402執行與讀取資料、寫入資料、處理資料、制定資料、轉換資料、變換資料等等相關之活動的程式碼。可將資訊(例如，指令、資料等等)儲存在記憶體模組404中。記憶體模組404可包含在固定或可移除格式中之隨機存取記憶體(RAM)或唯讀記憶體(ROM)。RAM可包括組態成在主機裝置104操作期間保持資訊的依電記憶體，諸如，例如，靜態RAM(SRAM)或動態RAM(DRAM)。ROM可包括基於BIOS、UEFI等等組態以在主機裝置104啟動時提供指令之非依電性(NV)記憶體模組、諸如電子可編程ROM(EPROM)、快閃記憶體(Flash)等等之可編程記憶體。其他固定/可移除記憶體可包括，但不限於，諸如，例如，軟碟、硬碟、等等之磁性 記憶體、諸如固態快閃記憶體(例如，嵌入式多媒體卡(eMMC)、固態驅動機(SSD)、等等)之電子記憶體、可移除式記憶體卡和棒(例如，微儲存裝置(uSD)、USB、等等)、諸如基於光碟之ROM(CD-ROM)、數位視頻光碟(DVD)、藍光光碟、等等的光學記憶體。
電力模組406可包括內部電力來源(例如，電池、燃料電池、等等)及/或外部電力來源(例如，機電或太陽能產生器、電力網、外部燃料電池、等等)，以及組態成供應操作所需的電力給主機裝置104之相關的電路。使用者介面模組408可包括硬體及/或軟體以允許使用者和主機裝置104互動，諸如，例如，各種輸入機制(例如，麥克風、開關、按鈕、旋鈕、鍵盤、揚聲器、觸控敏感表面、組態成捕捉影像及/或感測鄰近度、距離、運動、手勢、方位、生物資料、等等之一或更多個感測器)以及各種輸出機制(例如，揚聲器、顯示器、發光/閃光指示器、用於震動、運動、等等之機電組件)。支援硬體的使用者介面模組408可被含括在主機裝置104內及/或可經由有線或無線通訊媒體耦合至主機裝置104。
通訊介面模組410可組態成管理通訊模組412之封包路由及其他控制功能，通訊模組412可包括組態成支援有線或無線通訊的資源。在一些例子中，主機裝置104可包括由中央化通訊介面模組410所管理的超過一個的通訊模組412(例如，包括用於有線協定及/或無線電之分別的實體介面模組)。有線通訊可包括序列及平行的有線媒體， 諸如，例如，乙太網路、USB、火線(Firewire)、Thunderbolt、數位視頻介面(DVI)、高解析度多媒體介面(HDMI)、等等。無線通訊可包括，例如，近程無線媒體(例如，諸如基於RF識別(RFID)或近場通訊(NFC)標準之射頻(RF)、紅外線(IR)、等等)、短距離無線媒體(例如，藍芽、WLAN、Wi-Fi、等等)、長程無線媒體(例如，蜂窩狀廣域無線電通訊技術、基於衛星之通訊、等等)、經由聲波之電子通訊、等等。在一個實施例中，通訊介面模組410可組態成防止在通訊模組412中現行之無線通訊互相干擾。在執行此功能中，通訊介面模組410可基於，例如，等待傳輸之訊息的相對優先權來排程通訊模組412的活動。雖然在第4圖中所揭露的實施例繪示通訊介面模組410與通訊模組412分開，亦可將通訊介面模組410與通訊模組412之功能含括在相同模組中。
在操作的一個一般範例中，DS裝置102可利用結合的隱形及肉眼可見方法來執行深度感測(DS)。DS之肉眼可見部分可採用至少一個相機(例如，RGB感測器)來捕捉區域的至少一個影像或視頻。該至少一個影像或視頻可傳遞視覺值給DS之隱形態樣。亦可使用組態成三角定位目標區域中不同點的位置之兩個RGB感測器來執行DS。DS之隱形部分可採用諸如，但不限於，IR、紫外線、超聲波、等等之技術，以將一個圖案投射於目標區域上。該圖案可為簡單的(例如，點陣列)或可經編碼(例如，不同區域可被分配到不同編號)。感測器可接著檢測圖案並基於其 感測來判定相對的深度。例如，投射圖案的扭曲(例如，點之間距離的變異)可能等同於不同深度、深度改變、等等。從DS所產生之品質(例如，解析度)、DS之最大距離、等等可能會受到DS設備模組108’中所採用之設備、所採用的感測方法、等等影響，這將相關於第5及6圖進一步討論。
在DS裝置102中，示範DS設備模組108’可包含，例如，至少IR感測器414、RGB感測器416、IR發射器418、及IR感測器420。感測器及發射器414至420可制定成一體(all-in-one)積體電路(IC)解決方案、多晶片模組、或更複雜的電子/機電裝配。例如，可使用允許單一個感測器輸出IR及RGB影像兩者的雙孔徑技術來結合IR感測器414及RGB感測器416，這可減少成本、大小、等等。在至少一個實施例中，感測器及發射器414至420可由控制模組106’個別控制。例如，控制模組106’可控制至少是否賦能IR感測器414及420和RGB感測器416(例如，感測或不感測)及透鏡焦距(例如，藉由控制與這些感測器的各者關聯之機電透鏡焦距裝配)。控制模組106’亦可控制IR感測器420之發射功率及發射種類(例如，由IR感測器420發射之圖案種類)。在至少一個實施例中，DS裝置102可包含狀態模組110’。狀態模組110’可至少包括用於感測關於至少DS裝置102之位置、方位、運動、等等之感測器422。感測器422的輸出可用來產生CD 114A。控制模組106’可從狀態模組110’接收至少CD 114A以用來判定DS設備模組108’之組態(例如，針對感測器和發射器414至420)。與本揭露一致地，控制模組106’可僅接收CD 114B或可連同CD 114A一起接收。例如，若DS裝置102永久性整合至主機裝置104中，則由，例如，使用者介面模組408所產生之CD 114B可提供DS裝置102與主機裝置104兩者的狀態資訊。控制模組106’可經由直接及/或專用介面(例如，如果將DS裝置整合到主機裝置104內)而與使用者介面模組408互動。替代地，控制模組106’及主機裝置104內的模組(例如，使用者介面模組408)可經由通訊模組412所支援的有線及/或通訊互動。舉例而言，可在DS裝置102可透過一個共同介面(例如，USB、乙太網路、等等)通訊式耦合至主機裝置104、可經由短距離無線通訊(例如，藍芽、WLAN、等等)與主機裝置104遠端互動、等等的情況中，採用通訊模組412。
在至少一個實施例中，控制模組106’可組態至少IR感測器414、RGB感測器416、IR發射器418、及IR感測器420之各種屬性。例如，控制模組106’可基於DS方法賦能IR感測器414、RGB感測器416、IR發射器418、及/或IR感測器420；可組態IR感測器414、RGB感測器416、IR發射器418、及/或IR感測器420之焦距；可組態IR感測器414、RGB感測器416、及/或IR感測器420之影像方位；及/或可組態至少IR發射器418以某一個強度發射特定IR信號(例如，結構式及/或經編碼)、等等。 影像方位可包括，例如，當將DS裝置102(例如，從面向使用者到面向外界的方位)移動、滾動、翻轉、等等時，若有需要的話，上下翻轉捕捉到的IR及RGB影像，以保持影像的正當側朝上。相關於第5及6圖揭露如何基於操作模式組態DS設備模組108’中的各個組件之範例。
第5圖繪示根據本揭露的至少一個實施例之單感測器近程感測及雙感測器中程感測之示範組態。第5圖中顯示兩個範例500及502是用以說明控制模組106’可如何基於判定的操作模式控制DS設備模組108’。一開始，可在第5圖中的任何或所有範例中賦能RGB感測器416以收集相應於深度感測資料之視覺資料。在第一個範例中，在500呈現單感測器近程感測。假定其中控制模組106’已判定DS設備模組108’應組態成近程感測的示範情節，可賦能IR感測器414及IR發射器418以操作，並將IR感測器414之焦距設定為近程(例如，少於一公尺)。IR發射器418亦可組態成以特定圖案、強度、等等發射IR光。在一個實施例中，控制模組106’可組態IR發射器418來發射結構化/經編碼的圖案以基於，例如，Intel Realsense F200(例如，「F」表示面朝前朝向使用者)技術執行近程DS。
在502顯示雙感測器中程感測組態。在範例502中，控制模組106’可利用針對中程至長程感測之不同的DS方法。一些方法可採用額外感測器來維持在較長距離之解析度，並因此，可賦能第二IR感測器420。在至少一個實 施例中，控制模組106’可組態IR發射器418來發射至少結構化圖案以基於，例如，Intel Realsense R200(例如，「R」表示朝後面朝向外界)技術執行中至長程DS。控制模組106’亦可針對中程距離(例如，1至3公尺)DS重新對焦IR感測器414及RGB感測器416之透鏡，並可重新組態IR發射器418以針對較長距離DS以較為適當的功率位準來發射圖案。例如，一些中程感測技術可能不採用經編碼的IR發射(例如，單純包含點陣列之圖案)。
第6圖繪示根據本揭露的至少一個實施例之利用額外感測器或可移動感測器之雙遠程感測的示範組態。一開始，可在第6圖中的任何或所有範例中賦能RGB感測器416以收集相應於深度感測資料之視覺資料。與本揭露一致地，雙感測器中程感測與雙感測器長程感測的主要差別在於IR感測器之間的距離、IR感測器的焦距、及潛在地IR發射強度及/或圖案。範例600及602描述用於增加從IR感測器414到第二IR感測器之距離以促進較長距離之DS的兩個可能的組態。在範例600中，DS設備模組108’可包含特別針對長程感測而設置之額外的IR感測器604，其中，例如，IR感測器604距離IR感測器414比IR感測器420更遠以支援長程感測，包含特定方位/焦距以在長程感測來自IR發射器418的IR發射等等。在一個操作範例中，控制模組106’可判定需要長程感測，可禁能IR感測器420並賦能IR感測器604。控制模組106’可接著以和先前關於IR感測器414及420所述類似的方式組 態IR感測器604之焦距及/或操作。禁能IR感測器420可允許調節DS裝置102中之耗電量。在至少一個實施例中，控制模組106’可組態IR發射器418以發射用於基於，例如，Intel Realsense R200技術執行之長程DS的至少結構化圖案。
在602揭露的替代組態中，可重新調整IR感測器420在DS裝置102中之位置。例如，一個機電設備可在用於中程感測的第一位置606與用於較長程感測的第二位置608之間移動IR感測器420。在至少一個實施例中，可基於離目標之經感測的距離(例如，離畫素團塊之經感測的距離)移動IR感測器420到第一位置606與第二位置608之間的各個位置。如上所述，基於DS控制模組106’中判定的操作模式，可重新對焦及/或重新組態IR感測器420於第一位置606、第二位置608、或兩者間的位置。示範組態602允許控制模組106’針對DS設備模組108’之任何操作模式(例如，近程、中程、及長程感測)組態立體IR感測而不含括額外的IR感測器604。
第7圖繪示根據本揭露的至少一個實施例之結合型深度感測器及主機裝置的示範控制組態。應用層700、OS層702、及DS控制層704可相應於可能存在於DS裝置102及/或主機裝置104中之不同的控制、許可、等等之層次級別。DS控制層704可相應於專門在DS裝置102中執行的低階且高許可控制資源。在至少一個實施例中，包含，例如，邏輯、記憶體、及控制資源之特殊應用積體電 路(ASIC)706可組態成至少基於DD 112及/或CD 114A/B來控制DS設備模組108的操作。
OS層702可包含至少狀態資料介面710及DS裝置驅動器708。可在DS裝置102及/或主機裝置104的作業系統層702中產生CD 114A。狀態資料介面可包含用於收集CD 114B(例如，感測器資料、運行應用資料、硬體狀態資料、等等)的硬體及/或軟體。中間軟體(例如，在應用層700中運行的應用程式)可接收由狀態資料介面710所收集的CD 114B並經由OS層702中的DS驅動器708提供CD 114B至ASIC 706。
在從狀態模組110接收到DD 112、CD 114A(例如，若存在於DS裝置102中的話)及/或CD 114B時，ASIC 706可判定DS設備模組108的DS組態(DSC)116。例如，ASIC 706可判定是否應針對近程感測、中程感測、或長程感測組態DS設備模組108。在至少一個實施例中，ASIC 706亦可判定有關於選定的操作模式DS設備模組108之其他組態。例如，可基於DD 112及/或CD 114A/B判定背景特徵、干擾、運動、等等，並且這些輸入可令ASIC 706針對雜訊過濾、影像穩定化、等等組態DS設備模組108。與本揭露一致地，亦可提供DSC 116至DS裝置驅動器708，使任何深度資料消費者714(例如，需要DS且可能已觸發DS裝置102之啟動的一個應用程式)可被告知當前組態的操作模式。
第8圖繪示根據本揭露的至少一個實施例之用於組態 可調適的深度感測系統的示範操作。一開始，可在操作800中觸發DS裝置。可觸發DS裝置之示範活動包括連接至主機裝置或自主機裝置斷連；在主機裝置上執行需要DS的應用程式；啟動需要DS之應用功能；使用者與DS裝置或主機裝置互動；等等。可接著在操作802中作出DS裝置是否耦合至主機裝置之判定。若在操作806中判定DS裝置未耦合至主機裝置，則在操作804中，可僅採用在DS裝置中產生的狀態資料來判定DS裝置之組態。否則，若在操作802中判定DS裝置耦合至主機裝置，則在操作806中可使用來自DS裝置及主機裝置兩者的狀態資料來判定DS裝置組態。
操作808為可選操作，因為一些裝置(例如，智慧型電話、無鍵盤的平板電腦、等等)可能不具有桌上(on-table)組態。然而，對於像是膝上型電腦、筆記型電腦、輕省型電腦、可與外部鍵盤單元等等對接之平板電腦的可組態型裝置，於操作808中判定DS裝置及/或主機裝置是否在桌上組態中可能為適用。可基於DS裝置或主機裝置中之運動感測、DS裝置及/或主機裝置的不同部分之相對方位程式(例如，DS裝置的方位為面向使用者或面向外界等等、膝上型電腦顯示部分對鍵盤部分的角度、等等)、運行在主機裝置上的應用程式(例如，基於手勢的控制介面、視頻會議軟體、基於手勢或姿勢之遊戲、照相軟體、等等)、等等來判定桌上組態。若在操作808中判定DS裝置及/或主機裝置不在桌上組態(例如，主機裝置在可攜式 或手持組態中)，則在操作812中DS裝置可組態於可攜模式中。一開始，可攜模式可指示DS裝置較可能執行中程感測或長程感測。另外，可攜模式亦可引動其他功能，諸如過濾、影像穩定、較高影像捕捉速度、較低解析度、等等。在操作808中DS裝置及/或主機裝置在桌上組態中之判定可接著為判定是否感測到DS裝置及/或主機裝置在運動中。例如，膝上型電腦或類似裝置可在桌上組態中但仍被使用者帶著走。若在操作810中判定DS裝置及/或主機裝置在運動中，則再次於操作812中於DS裝置中組態可攜模式。若在操作819中，並未檢測到實質運動，則在操作814中DS裝置可組態於靜止模式中。靜止模式可意味著近程(例如，面向使用者)感測的較高可能性，並可引動其他功能，諸如較低過濾、較高解析度感測、較低捕捉速度、等等。
在操作812或814之後，可接著做出DS裝置是否感測到近程團塊的判定。團塊為相應於待感測目標(例如，使用者、另一人、物件、風景、等等)由DS裝置感測的一群連接的畫素。可感測至團塊的距離、團塊大小、等等以判定欲組態之最適當的操作模式。若在操作816中判定感測到近程團塊(例如，在鄰近處感測到團塊的至少一個畫素、團塊看似佔據感測區域的大部分(表示物件很接近DS裝置)、等等)，則在操作818中於DS裝置中組態近程感測。若在操作816中判定近程內無團塊，則可在操作820作出是否感測到相應於中程感測(例如，在視為中程的距 離感測到團塊的至少一個畫素、團塊佔據感測區域的一個比例(相應於一個人離DS裝置1到3公尺遠)、等等)之團塊的進一步判定。若在操作820中判定在中程感測到團塊，則在操作822中可在DS裝置中組態中程感測操作模式。替代地，若在操作820中判定並未在中程感測到團塊，則在操作824中可組態長程感測。每當，例如，如前述般觸發DS裝置時可在操作800重複第8圖中所示的各種操作。
第9圖繪示根據本揭露的至少一個實施例之用於檢測可調適的深度感測系統的畫面改變之示範操作。一般而言，「畫面改變」為其中有關於DS裝置、主機裝置、目標等等之東西改變到應考慮重新組態DS裝置及/或主機裝置的一個程度之狀態。在操作900中，可單獨藉由DS裝置或連同主機裝置一起執行深度感測。可接著在操作902中作出是否檢測到有關於DS裝置及/或主機裝置之「顯著運動」的判定。顯著運動可為相對度量且可連繫至，例如，當DS裝置及/或主機裝置組態在可攜模式(例如，手持)中時相較於靜止模式(例如，桌上組態)所預期的運動。若在操作902中判定檢測到顯著運動，則在操作904中，可作出DS裝置及/或主機裝置是否組態在靜止模式中之進一步的判定。若在操作906中判定DS裝置及/或主機裝置組態於靜止模式中，則在操作906中判定畫面改變。操作906之後可，例如，回到第8圖中之操作800以組態DS裝置及/或主機裝置。
若在操作902中判定未檢測到顯著運動(例如，在一段時間內指示DS裝置及/或主機裝置並未移動、不再移動、等等)，則在操作908中，可作出DS裝置及/或主機裝置是否組態於可攜模式中之進一步的判定。若在操作908中，判定DS裝置及/或主機裝置組態於可攜模式中，則在操作910中可判定畫面改變，其之後可接著返回到第8圖中之操作800以重新組態DS裝置及/或主機裝置。於操作904中DS裝置及/或主機裝置不在靜止模式中之判定，或替代地在操作908中DS裝置及/或主機裝置不在可攜模式中之判定之後可接著在操作912中進一步判定是否有DS裝置之方位改變。方位改變可包含相關於主機裝置移動DS裝置(例如，從面向使用者移動、翻轉、滾動、等等併入主機裝置中之DS裝置至面向外界位置)；自主機裝置斷連DS裝置/重新連接DS裝置至主機裝置；等等。若在操作912中判定已有DS裝置之方位的改變，則在操作906中可判定畫面改變並可在第8圖的操作800中重新組態DS裝置及/或主機裝置。
若在操作912中判定無發生DS方位改變，則在操作914中可作出是否發生團塊深度改變的進一步判定。例如，可藉由從DS裝置至團塊中的至少一個畫素之距離改變、團塊大小改變、等等來判定團塊深度的改變。若在操作914中判定團塊深度已經改變，可在操作916中作出深度改變隨時間推移是否穩定之進一步的判定。例如，可預期到零星的深度改變，尤其當DS裝置及/或主機裝置在可 攜模式中時。然而，若團塊深度改變在某一段時期內保持穩定(例如，其可為應用特定)，則可能須更新DS裝置及/或主機裝置之操作模式。若在操作916中判定團塊深度隨時間之改變為穩定，則在操作906中可判定畫面改變並且在第8圖的操作800中可重新組態DS裝置及/或主機裝置。在操作914中團塊深度未改變的判定，或替代地在操作916中團塊深度改變並未隨時間推移穩定之判定之後，在操作918可維持DS裝置及/或主機裝置之現有的組態。操作918之後可選地接著返回到操作900以繼續深度感測。
雖然第8及9圖繪示根據不同實施例的操作，可了解到其他實施例並非需要第8及9圖中之所有的操作。確實，在此完全考量到在本揭露之其他實施例中，第8及9圖中所示之操作及/或在此所述之其他操作可以在任何一個圖中未明確顯示的方式結合，但仍完全與本揭露一致。故，有關於未確切顯示在一個圖中之特徵及/或操作之申請專利範圍應仍落在本揭露之範疇與內容中。
如在此申請案中及在申請專利範圍中所使用，以術語「及/或」相連之一列項目可意指所列項目之任何組合。例如，詞組「A、B、及/或C」可意指A；B；C；A及B；A及C；B及C；或A、B、及C。如在此申請案中及在申請專利範圍中所使用，以術語「之至少一者」相連之一列項目可意指所列項目之任何組合。例如，詞組「A、B、或C的至少一者」可意指A；B；C；A及B；A及 C；B及C；或A、B、及C。
如在本文任何實施例中所使用，術語「模組」可指組態成執行上述操作的任何者之軟體、韌體、及/或電路。軟體可體現為記錄在非暫態電腦可讀取儲存媒體上的套裝軟體、碼、指令、指令集、及/或資料。韌體可體現為硬編碼在記憶體裝置中(例如，非依電性)之碼、指令或指令集、及/或資料。「電路」，如在此的任何實施例中所使用，可包含，例如，單獨或結合地，固線式電路、諸如包含一或更多個個別指令處理核心的電腦處理器之可編程電路、狀態機電路、及/或儲存可由可編程電路執行之指令的韌體。模組可統一或個別地體現為形成較大系統的一部分之電路，該較大系統例如為積體電路(IC)、晶片系統(SoC)、桌上型電腦、膝上型電腦、平板電腦、伺服器、智慧型電話、等等。
在本文中所述的任何操作可實施於包括一或更多個儲存媒體(例如，非暫態儲存媒體)之系統中，媒體上個別或結合地儲存有指令，當由一或更多個處理器執行指令時系統執行方法。在此，處理器可包括，例如，伺服器CPU、行動裝置CPU、及/或其它可編程電路。並且，在此所述之操作意欲散佈在複數個實體裝置上，諸如在超過一個不同實體位置之處理結構。儲存媒體可包括任何類型的有形媒體，例如，包括硬碟、軟碟、光碟、光碟唯讀記憶體(CD-ROM)、可重寫光碟(CD-RW)、及光磁碟之任何類型的碟片、諸如唯讀記憶體(ROM)、如動態或靜態RAM的 隨機存取記憶體(RAM)、可抹除可編程唯讀記憶體(EPROM)、可電性抹除可編程唯讀記憶體(EEPROM)、快閃記憶體、固態碟(SSD)、嵌入式多媒體卡(eMMC)、安全數位輸入/輸出(SDIO)卡之半導體裝置、磁或光卡、或適合用於儲存電子指令之任何類型的媒體。其他的實施例可實施成可由可編程控制裝置執行的軟體模組。
故，本揭露有關於可調適深度感測(DS)系統。DS裝置可包含DS設備模組及控制模組。控制模組可組態DS設備模組之操作模式為近程感測、中程感測、或長程感測。控制模組可從DS設備模組接收至少深度資料以判定操作模式。控制模組亦可接收關於DS裝置及/或DS裝置耦合之主機裝置的狀態資料；基於狀態資料判定組態；並可利用狀態資料連同深度資料來組態DS設備模組。組態DS設備模組可包含，例如，賦能DS設備模組內之組件；組態組件之焦距；組態組件之方位；及/或選擇用於組件之DS方法。
下列範例關於進一步的實施例。本揭露之下列範例可包含諸如裝置、方法、用於儲存當執行時會令機器基於方法執行動作的指令之至少一個機器可讀取媒體、用於基於方法執行動作之機構、及/或可調適DS系統之標的物，如下所提供。
根據範例1，提供一種深度感測裝置。該裝置可包含用以執行深度感測之深度感測設備模組，以及用以從該深度感測設備模組接收至少深度資料並至少基於該深度資料 組態該深度感測設備模組之操作模式的控制模組。
範例2可包括範例1之元件，其中該深度資料包含由該深度感測設備模組所感測的從該深度感測裝置至一群連接的畫素中至少一個畫素的距離或該群連接的畫素之大小的至少一者。
範例3可包括範例1至2的任一者之元件，其中該控制模組進一步用以接收至少關於該深度感測裝置之狀態資料；基於該狀態資料判定該深度感測裝置之組態；及亦基於該組態來組態該深度感測設備模組之該操作模式。
範例4可包括範例3之元件，其中控制模組進一步用以判定該深度感測裝置是否耦合至主機裝置；基於該深度感測裝置耦合至該主機裝置的判定，接收關於該主機裝置的狀態資料；以及基於從該深度感測裝置及該主機裝置所接收到的該狀態資料，判定該深度感測裝置或該主機裝置的至少一者之該組態。
範例5可包括範例4之元件，其中從該裝置中的狀態資料模組接收關於該深度感測裝置或該主機裝置的至少一者之該狀態資料。
範例6可包括範例4至5的任一者之元件，其中從在該主機裝置中執行的裝置驅動器接收關於該主機裝置的該狀態資料，而該裝置驅動器從在該主機裝置中執行的中間軟體接收該狀態資料，而該中間軟體從該主機裝置中的狀態資料介面接收該狀態資料。
範例7可包括範例4至6的任一者之元件，其中該深 度感測裝置併入該主機裝置中。
範例8可包括範例7之元件，其中相較於該主機裝置可將該深度感測裝置重新設置成至少面向使用者方位及面向外界方位。
範例9可包括範例8之元件，其中該狀態資料包含該深度感測裝置之該方位的指示。
範例10可包括範例7至9的任一者之元件，其中可從該主機裝置拆除該深度感測裝置。
範例11可包括範例10之元件，其中該深度感測裝置在從該主機裝置拆除時可操作並且利用至少無線通訊而與該主機裝置通訊。
範例12可包括範例3至11任一者之元件，其中該控制模組進一步用以基於該狀態資料或深度資料的至少一者判定是否有畫面改變並基於該畫面已改變的判定重新組態該深度感測設備模組之操作模式。
範例13可包括範例3至12的任一者之元件，其中該控制模組進一步用以判定是否該深度感測裝置或該主機裝置的至少一者在桌上組態中或是否該深度感測裝置或該主機裝置的至少一者正移動中的至少一者。
範例14可包括範例1至13的任一者之元件，其中在組態該操作模式中，該控制模組用以進行下列至少一者：賦能該深度感測設備模組中之組件；調整該深度感測設備模組中之組件的焦距；組態該深度感測設備模組中之組件的影像方位；或選擇用於該深度感測設備模組中之組件的 深度感測方法。
範例15可包括範例1至14的任一者之元件，其中該深度感測設備模組包含至少紅、綠、與藍(RGB)感測器、紅外線(IR)發射器、設置成遠離該IR發射器之第一IR感測器、及設置在該IR發射器附近之第二IR感測器。
範例16可包括範例15之元件，其中在組態該操作模式中，該控制模組用以賦能該IR發射器及該第一IR感測器以供近程深度感測。
範例17可包括範例16之元件，其中在組態該操作模式中，該控制模組亦用以賦能該第二IR感測器以供中程深度感測。
範例18可包括範例17之元件，其中該第二IR感測器可在該深度感測設備模組中移動，並且在組態該操作模式中，該控制模組用以令該深度感測設備模組在當組態成針對中程深度感測時將該第二IR感測器設置在第一位置，或者在離該第一IR感測器更大距離之第二位置以供長程深度感測。
範例19可包括範例15至18的任一者之元件，其中該深度感測設備模組包含設置在較該第二IR感測器離該第一IR感測器更大距離之第三IR感測器，且在組態該操作模式中，該控制模組用以賦能該RGB感測器、該IR發射器、該第一IR感測器、及該第三IR感測器以供長程深度感測。
範例20可包括範例1至19的任一者之元件，其中該 控制模組進一步用以接收至少關於該深度感測裝置之狀態資料；判定該深度感測裝置是否耦合至主機裝置；基於該深度感測裝置耦合至該主機裝置的判定接收關於該主機裝置之狀態資料；以及基於從該深度感測裝置及該主機裝置接收的該狀態資料判定該深度感測裝置或該主機裝置的至少一者之該組態。
範例21可包括範例1至20的任一者之元件，其中在組態該操作模式中，該控制模組用以賦能該深度感測設備模組中之IR發射器及第一IR感測器以供近程深度感測，並亦賦能該深度感測設備模組中的第二IR感測器以供中程深度感測。
範例22可包括範例1至21的任一者之元件，其中該控制模組包含至少特殊應用積體電路(ASIC)。
根據範例23，提供一種用於組態深度感測裝置之方法。該方法可包含在深度感測裝置中之控制模組接收狀態資料；基於該狀態資料至少判定該深度感測裝置的組態；在該控制模組接收來自該深度感測裝置之深度資料；並基於至少該經判定的組態及該深度資料組態在該深度感測裝置中之深度感測設備模組的操作模式。
範例24可包括範例23之元件，並可進一步包含判定該深度感測裝置是否耦合至主機裝置；基於該深度感測裝置耦合至主機裝置之判定從該主機裝置接收狀態資料；並亦基於從該主機裝置接收之該狀態資料判定該組態。
範例25可包括範例23至24的任一者之元件，其中 判定該組態包含判定下列至少一者：該深度感測裝置或該主機裝置的至少一者是否在桌上組態中，或該深度感測裝置或該主機裝置的至少一者是否正移動中。
範例26可包括範例23至25的任一者之元件，並可進一步包含基於該狀態資料或深度資料的至少一者判定是否有畫面改變，並基於該畫面已改變的判定重新組態該深度感測設備模組之操作模式。
範例27可包括範例23至26的任一者之元件，其中組態該操作模式包含下列至少一者：賦能該深度感測設備模組中之組件；調整該深度感測設備模組中組件的焦距；組態該深度感測設備模組中組件的影像方位；或選擇用於該深度感測設備模組中組件的深度感測方法。
範例28可包括範例23至27的任一者之元件，其中判定該操作模式包含藉由賦能該深度感測裝置中之紅外線(IR)發射器及第一IR感測器組態近程深度感測，並藉由亦賦能該深度感測裝置中之第二IR感測器組態中程深度感測。
範例29可包括範例28之元件，其中判定該操作模式包含在該深度感測裝置中，藉由禁能該第二IR感測器並賦能第三IR感測器或移動該第二IR感測器組態長程深度感測。
根據範例30，提供一種包括至少深度感測裝置及主機裝置之系統，該系統配置成執行上述範例23至29之任一者的方法。
根據範例31，提供一種配置成執行上述範例23至29之任一者的方法之晶片組。
根據範例32，提供至少一個機器可讀取媒體，包含複數個指令，回應於在運算裝置上執行該些指令而使該運算裝置進行根據上述範例23至29之任一者的方法。
根據範例33，提供至少一個裝置以組態深度感測裝置，該至少一個裝置配置成執行上述範例23至29之任一者的方法。
根據範例34，提供一種用於組態深度感測裝置之系統。該系統可包含用於在深度感測裝置中之控制模組接收狀態資料的機構；用於基於該狀態資料判定至少該深度感測裝置的組態的機構；用於在該控制模組接收來自該深度感測裝置之深度資料的機構；以及用於基於該經判定的組態及該深度資料組態在該深度感測裝置中之深度感測設備模組的操作模式之機構。
範例35可包括範例34之元件，並可進一步包含用於判定該深度感測裝置是否耦合至主機裝置的機構；用於基於該深度感測裝置耦合至主機裝置之判定從該主機裝置接收狀態資料的機構；以及用於亦基於從該主機裝置接收之該狀態資料判定該組態的機構。
範例36可包括範例34至35的任一者之元件，其中用於判定該組態的該機構包含判定下列至少一者的機構：該深度感測裝置或該主機裝置的至少一者是否在桌上組態中，或該深度感測裝置或該主機裝置的至少一者是否正移 動中。
範例37可包括範例34至36的任一者之元件，並可進一步包含用於基於該狀態資料或深度資料的至少一者判定是否有畫面改變的機構，以及用於基於該畫面已改變的判定重新組態該深度感測設備模組之操作模式的機構。
範例38可包括範例34至37的任一者之元件，其中用於組態該操作模式的該機構包含用於下列至少一者之機構：賦能該深度感測設備模組中之組件；調整該深度感測設備模組中組件的焦距；組態該深度感測設備模組中組件的影像方位；或選擇用於該深度感測設備模組中組件的深度感測方法。
範例39可包括範例34至38的任一者之元件，其中用於判定該操作模式的該機構包含用於藉由賦能該深度感測裝置中之紅外線(IR)發射器及第一IR感測器組態近程深度感測之機構，以及用於藉由亦賦能該深度感測裝置中之第二IR感測器組態中程深度感測之機構。
範例40可包括範例39之元件，其中用於判定該操作模式的該機構包含在該深度感測裝置中，藉由禁能該第二IR感測器並賦能第三IR感測器或移動該第二IR感測器組態長程深度感測之機構。
在此已採用之術語及詞句用為說明術語而非限制，且在使用這些術語和詞句時並無意排除所示及所述之特徵(或其部分)的任何等效者，且可認知到在申請專利範圍內可有各種修改。依此，申請專利範圍意在涵蓋所有這種等 效者。
100:可調適的深度感測系統
102:深度感測裝置
104:主機裝置
106:控制模組
108:DS設備模組
110:狀態模組
112:深度資料
114A:狀態資料
114B:狀態資料
116:DS組態

Claims (23)

  1. 一種深度感測裝置，包含：深度感測設備電路，用以執行深度感測，該深度感測設備電路包含至少一紅、綠、與藍(RGB)感測器、紅外線(IR)發射器、設置成遠離該IR發射器之第一IR感測器、及設置在該IR發射器附近之第二IR感測器，其中可重新調整該第二IR感測器在該深度感測設備電路中的位置；以及控制電路，用以：從該深度感測設備電路接收至少深度資料；以及基於至少該深度資料組態該深度感測設備電路之操作模式，其中當該控制電路組態該深度感測設備電路針對中程深度感測時，該控制電路令該深度感測設備電路將該第二IR感測器設置在離該第一IR感測器第一距離的第一位置，及當該控制電路組態該深度感測設備電路針對長程深度感測時，該控制電路令該深度感測設備電路將該第二IR感測器物理上移動至離該第一IR感測器第二距離的第二位置，該第二距離大於該第一距離。
  2. 如申請專利範圍第1項之裝置，其中該深度資料包含由該深度感測設備電路所感測的從該深度感測裝置至一群連接的畫素中至少一個畫素的距離或該群連接的畫素之大小的至少一者。
  3. 如申請專利範圍第1項之裝置，其中該控制電路進一步用以： 接收關於至少該深度感測裝置之狀態資料；基於該狀態資料判定該深度感測裝置之組態；以及亦基於該組態來組態該深度感測設備電路之該操作模式。
  4. 如申請專利範圍第3項之裝置，其中該控制電路進一步用以：判定該深度感測裝置是否耦合至主機裝置；基於該深度感測裝置耦合至該主機裝置的判定，接收關於該主機裝置的狀態資料；以及基於從該深度感測裝置及該主機裝置所接收到的該狀態資料，判定該深度感測裝置或該主機裝置的至少一者之該組態。
  5. 如申請專利範圍第3項之裝置，其中該控制電路進一步用以：基於該狀態資料或深度資料的至少一者判定是否有畫面改變；以及基於該畫面已改變的判定，重新組態該深度感測設備電路之該操作模式。
  6. 如申請專利範圍第1項之裝置，其中在組態該操作模式中，該控制電路用以進行下列至少一者：賦能該深度感測設備電路中之組件；調整該深度感測設備電路中之組件的焦距；組態該深度感測設備電路中之組件的影像方位；或選擇用於該深度感測設備電路中之組件的深度感測方法。
  7. 如申請專利範圍第1項之裝置，其中在組態該操作模式中，該控制電路用以賦能該IR發射器及該第一IR感測器以供近程深度感測。
  8. 如申請專利範圍第7項之裝置，其中在組態該操作模式中，該控制電路亦用以賦能該第二IR感測器以供中程深度感測。
  9. 如申請專利範圍第1項之裝置，其中該深度感測設備電路包含設置在較該第二IR感測器離該第一IR感測器更大距離之第三IR感測器，以及在組態該操作模式中，該控制電路用以賦能該RGB感測器、該IR發射器、該第一IR感測器、及該第三IR感測器以供長程深度感測。
  10. 一種用於組態深度感測裝置之方法，包含：在深度感測裝置中之控制電路接收狀態資料，該深度感測裝置包含至少一紅、綠、與藍(RGB)感測器、紅外線(IR)發射器、設置成遠離該IR發射器之第一IR感測器、及設置在該IR發射器附近之第二IR感測器，其中可重新調整該第二IR感測器在該深度感測裝置中的位置；基於該狀態資料判定至少該深度感測裝置的組態；在該控制電路接收來自該深度感測裝置之深度資料；以及基於至少該經判定的組態及該深度資料組態該深度感測裝置的操作模式；其中： 組態該操作模式包括組態該深度感測裝置針對中程深度感測或長程深度感測；組態該操作模式針對中程深度感測包括將該第二IR感測器設置在離該第一IR感測器第一距離的第一位置；及組態該操作模式針對長程深度感測包括將該第二IR感測器物理上移動至離該第一IR感測器第二距離的第二位置，該第二距離大於該第一距離。
  11. 如申請專利範圍第10項之方法，進一步包含：判定該深度感測裝置是否耦合至主機裝置；基於該深度感測裝置耦合至該主機裝置之判定從該主機裝置接收狀態資料；以及亦基於從該主機裝置接收之該狀態資料判定該組態。
  12. 如申請專利範圍第11項之方法，其中判定該組態包含判定下列至少一者：該深度感測裝置或該主機裝置的至少一者是否在桌上組態中，或該深度感測裝置或該主機裝置的至少一者是否正移動中。
  13. 如申請專利範圍第10項之方法，進一步包含：基於該狀態資料或深度資料的至少一者判定是否有畫面改變；以及基於該畫面已改變的判定重新組態該深度感測裝置之操作模式。
  14. 如申請專利範圍第10項之方法，其中組態該操作模式包含下列至少一者：賦能該深度感測裝置中之組件； 調整該深度感測裝置中組件的焦距；組態該深度感測裝置中組件的影像方位；或選擇用於該深度感測裝置中組件的深度感測方法。
  15. 如申請專利範圍第10項之方法，其中判定該操作模式包含：藉由賦能該深度感測裝置中之紅外線(IR)發射器及第一IR感測器組態近程深度感測；以及藉由亦賦能該深度感測裝置中之第二IR感測器組態中程深度感測。
  16. 如申請專利範圍第15項之方法，其中判定該操作模式包含：在該深度感測裝置中，藉由禁能該第二IR感測器並賦能第三IR感測器或移動該第二IR感測器組態長程深度感測。
  17. 一種機器可讀取媒體，具有個別或結合式儲存於其上之用於組態深度感測裝置的指令，當由一或更多個處理器執行該些指令時，令該一或更多個處理器：自深度感測裝置中之控制電路接收狀態資料，該深度感測裝置包含至少一紅、綠、與藍(RGB)感測器、紅外線(IR)發射器、設置成遠離該IR發射器之第一IR感測器、及設置在該IR發射器附近之第二IR感測器，其中可重新調整該第二IR感測器在該深度感測裝置中的位置；基於該狀態資料判定至少該深度感測裝置的組態；接收來自該深度感測裝置之該控制電路的深度資料； 以及基於至少該經判定的組態及該深度資料組態該深度感測裝置的操作模式；其中：組態該操作模式包括組態該深度感測裝置針對中程深度感測或長程深度感測；組態該操作模式針對中程深度感測包括將該第二IR感測器設置在離該第一IR感測器第一距離的第一位置；及組態該操作模式針對長程深度感測包括將該第二IR感測器物理上移動至離該第一IR感測器第二距離的第二位置，該第二距離大於該第一距離。
  18. 如申請專利範圍第17項之媒體，進一步包含指令，當由一或更多個處理器執行該些指令時，令該一或更多個處理器：判定該深度感測裝置是否耦合至主機裝置；基於該深度感測裝置耦合至該主機裝置之判定從該主機裝置接收狀態資料；以及亦基於從該主機裝置接收之該狀態資料判定該組態。
  19. 如申請專利範圍第18項之媒體，其中用以判定該組態之該些指令包含判定下列至少一者之指令：該深度感測裝置或該主機裝置的至少一者是否在桌上組態中，或該深度感測裝置或該主機裝置的至少一者是否正移動中。
  20. 如申請專利範圍第17項之媒體，進一步包含指 令，當由一或更多個處理器執行該些指令時，令該一或更多個處理器：基於該狀態資料或深度資料的至少一者判定是否有畫面改變，以及基於該畫面已改變的判定重新組態該深度感測裝置之操作模式。
  21. 如申請專利範圍第17項之媒體，其中用以組態該操作模式之該些指令包含進行下列至少一者之指令：賦能該深度感測裝置中之組件；調整該深度感測裝置中組件的焦距；組態該深度感測裝置中組件的影像方位；或選擇用於該深度感測裝置中組件的深度感測方法。
  22. 如申請專利範圍第17項之媒體，其中用以判定該操作模式之該些指令包含指令以：藉由賦能該深度感測裝置中之紅外線(IR)發射器及第一IR感測器組態近程深度感測；以及藉由亦賦能該深度感測裝置中之第二IR感測器組態中程深度感測。
  23. 如申請專利範圍第22項之媒體，其中用以判定該操作模式之該些指令包含指令以：在該深度感測裝置中，藉由禁能該第二IR感測器並賦能第三IR感測器或移動該第二IR感測器組態長程深度感測。
TW105112307A 2015-05-27 2016-04-20 深度感測裝置、用於組態其之方法及機器可讀取媒體 TWI697655B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/722,955 US9683834B2 (en) 2015-05-27 2015-05-27 Adaptable depth sensing system
US14/722,955 2015-05-27

Publications (2)

Publication Number Publication Date
TW201710641A TW201710641A (zh) 2017-03-16
TWI697655B true TWI697655B (zh) 2020-07-01

Family

ID=57394172

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105112307A TWI697655B (zh) 2015-05-27 2016-04-20 深度感測裝置、用於組態其之方法及機器可讀取媒體

Country Status (7)

Country Link
US (1) US9683834B2 (zh)
EP (1) EP3304898B1 (zh)
JP (1) JP6930700B2 (zh)
KR (1) KR102559289B1 (zh)
CN (1) CN108541300A (zh)
TW (1) TWI697655B (zh)
WO (1) WO2016191018A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
US10169663B2 (en) * 2016-09-01 2019-01-01 The Boeing Company Scene change detection via multiple sensors
WO2018175344A1 (en) * 2017-03-21 2018-09-27 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
CN108765480B (zh) * 2017-04-10 2022-03-15 钰立微电子股份有限公司 深度处理设备
CA2980396C (en) * 2017-09-27 2019-01-29 Synaptive Medical (Barbados) Inc. Cognitive optical control system and methods
KR102486425B1 (ko) 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
JP7220343B2 (ja) * 2018-02-26 2023-02-10 パナソニックＩｐマネジメント株式会社 画像処理装置
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
KR20210049561A (ko) * 2019-10-25 2021-05-06 현대모비스 주식회사 센서 클러스터장치 및 그를 포함하는 자동차
TWI718765B (zh) 2019-11-18 2021-02-11 大陸商廣州立景創新科技有限公司 影像感測裝置
KR20210106809A (ko) * 2020-02-21 2021-08-31 엘지전자 주식회사 이동 단말기
CN116615760A (zh) * 2020-12-07 2023-08-18 华为技术有限公司 成像结构
US12101539B2 (en) * 2023-01-05 2024-09-24 Dell Products L.P. Information handling system camera shutter with secondary security by power removal

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204259A (zh) * 2007-11-15 2011-09-28 微软国际控股私有有限公司 双模深度成像
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20140250245A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Modifying Functionality Based on Distances Between Devices
US20140307058A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Robust stereo depth system
TWI495842B (zh) * 2013-03-12 2015-08-11 Intel Corp 用於判定影像中物體深度之設備及技術

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000213931A (ja) * 1999-01-21 2000-08-04 Hamamatsu Photonics Kk 測距モジュ―ル
US8681216B2 (en) * 2009-03-12 2014-03-25 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
KR101599434B1 (ko) 2009-07-06 2016-03-03 엘지이노텍 주식회사 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
WO2011038457A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
US9044172B2 (en) * 2009-10-01 2015-06-02 Intel Corporation Ergonomic detection, processing and alerting for computing devices
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US9084002B2 (en) * 2010-05-03 2015-07-14 Microsoft Technology Licensing, Llc Heterogeneous image sensor synchronization
US20120113232A1 (en) * 2010-11-10 2012-05-10 Sony Pictures Technologies Inc. Multiple camera system and method for selectable interaxial separation
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
WO2012068724A1 (zh) * 2010-11-23 2012-05-31 深圳超多维光电子有限公司 立体图像获取系统及方法
US8553934B2 (en) * 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US9473752B2 (en) * 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
CN203136025U (zh) * 2012-11-12 2013-08-14 深圳市维尚视界立体显示技术有限公司 一种3d立体拍摄智能控制的装置及其系统
KR102118610B1 (ko) * 2013-02-22 2020-06-04 삼성전자주식회사 센서들을 이용하는 근접 동작 인식 장치 및 그 장치를 이용한 방법
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US20140267617A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
KR20140123302A (ko) 2013-04-12 2014-10-22 삼성전자주식회사 영상 처리 장치 및 그 제어방법
US20160088206A1 (en) 2013-04-30 2016-03-24 Hewlett-Packard Development Company, L.P. Depth sensors
US9390511B2 (en) * 2013-08-23 2016-07-12 Futurewei Technologies, Inc. Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
US9438775B2 (en) * 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204259A (zh) * 2007-11-15 2011-09-28 微软国际控股私有有限公司 双模深度成像
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20140250245A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Modifying Functionality Based on Distances Between Devices
TWI495842B (zh) * 2013-03-12 2015-08-11 Intel Corp 用於判定影像中物體深度之設備及技術
US20140307058A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Robust stereo depth system

Also Published As

Publication number Publication date
EP3304898B1 (en) 2020-05-06
KR20180012746A (ko) 2018-02-06
US9683834B2 (en) 2017-06-20
CN108541300A (zh) 2018-09-14
US20160349042A1 (en) 2016-12-01
JP6930700B2 (ja) 2021-09-01
KR102559289B1 (ko) 2023-07-24
WO2016191018A1 (en) 2016-12-01
JP2018523089A (ja) 2018-08-16
EP3304898A4 (en) 2019-01-02
TW201710641A (zh) 2017-03-16
EP3304898A1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
TWI697655B (zh) 深度感測裝置、用於組態其之方法及機器可讀取媒體
KR102664705B1 (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US11222477B2 (en) Electronic device for providing augmented reality service and operating method thereof
US10248189B2 (en) Presentation of virtual reality object based on one or more conditions
KR102406327B1 (ko) 출력 장치를 제어하는 방법 및 장치
KR102504308B1 (ko) 디스플레이의 밝기를 제어하는 방법, 전자 장치 및 컴퓨터 판독가능 기록매체
US20200286276A1 (en) Electronic device and method for displaying and generating panoramic image
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US10585935B2 (en) Electronic device and method for producing video content by using the same
US11294452B2 (en) Electronic device and method for providing content based on the motion of the user
US20240275937A1 (en) Dual system on a chip eyewear
US20240061798A1 (en) Debug access of eyewear having multiple socs
US20230061776A1 (en) Electronic device for providing augmented reality service, and operating method therefor
US11889181B2 (en) Electronic device having plurality of lenses where the device changes a visual object corresponding to a recommended lens
CN112400082B (zh) 基于用户的位置使用发光元件提供视觉效果的电子装置及其方法
US12055723B2 (en) Ring-mounted flexible circuit remote control
US20240361603A1 (en) Ring-mounted flexible circuit remote control
EP4362504A1 (en) Method for providing user interface on basis of locational relationship between electronic devices, and electronic device therefor
KR20160009215A (ko) 헤드 마운트 디스플레이 및 이를 이용한 비디오 콘텐츠 제공 방법