TWI732796B - 在結構化光系統中之深度映射產生 - Google Patents

在結構化光系統中之深度映射產生 Download PDF

Info

Publication number
TWI732796B
TWI732796B TW105135188A TW105135188A TWI732796B TW I732796 B TWI732796 B TW I732796B TW 105135188 A TW105135188 A TW 105135188A TW 105135188 A TW105135188 A TW 105135188A TW I732796 B TWI732796 B TW I732796B
Authority
TW
Taiwan
Prior art keywords
optical
receiver
transmitter
structured light
optical receiver
Prior art date
Application number
TW105135188A
Other languages
English (en)
Other versions
TW201734956A (zh
Inventor
詹姆斯 威爾遜 納什
卡林 米特科夫 阿塔納索夫
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201734956A publication Critical patent/TW201734956A/zh
Application granted granted Critical
Publication of TWI732796B publication Critical patent/TWI732796B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Communication System (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明揭示用於在一光學傳輸器相對於一光學接收器傾斜之一結構化光系統中之深度映射產生的技術。該光學傳輸器具有結構化光圍繞其擴散之一傳輸器光軸，且該光學接收器具有該結構化光之一反射可圍繞其捕捉之一接收器光軸。該傳輸器光軸及該接收器光軸彼此相交。一處理電路補償該經反射圖案中之該傾斜之角度以產生該深度映射。

Description

在結構化光系統中之深度映射產生
本發明係關於深度映射產生且更特定言之係關於結構化光主動感測系統中之深度映射產生。
結構化光主動感測系統傳輸及接收對應於空間程式碼(碼字)之圖案以產生用於場景之深度映射。當射出之空間程式碼投影及經反射之入射空間程式碼投影更加平行時，物件離傳輸器及接收器愈遠，所接收之空間程式碼投影愈接近於其在一或多個接收器處之原始位置。相反地，物件愈接近於傳輸器及接收器，所接收之空間程式碼投影距其在一或多個接收器處之原始位置愈遠。因此，所接收之與所傳輸之碼字位置之間的差異指示場景中之物件的深度。結構化光主動感測系統使用此等相對深度以產生場景之深度映射或三維表示。
本發明描述判定物件之深度映射之實例技術，其中傳輸結構化光至物件之傳輸器相對於自物件接收結構化光之反射之接收器成角。舉例而言，傳輸器具有相對於結構化光沿其擴散之傳輸器光軸之視角，且接收器具有相對於經反射之結構化光沿其捕捉之接收器光軸之視角。在本發明所描述之實例中，歸因於傳輸器相對於接收器成角，傳輸器光軸與接收器光軸相交。如更詳細地描述，使傳輸器與接收器相對於彼此成角可允許更接近之視場且允許更容易設計。 在一個實例中，本發明描述一種影像處理之方法，該方法包含：用光學傳輸器傳輸結構化光，該光學傳輸器具有相對於傳輸器光軸之第一視角；用光學接收器接收結構化光之反射，該光學接收器具有相對於接收器光軸之第二視角，其中該光學傳輸器相對於該光學接收器成角以使得傳輸器光軸與接收器光軸相交，且其中光學傳輸器相對於光學接收器之位置恆定；及基於所接收之結構化光之反射產生一或多個影像之深度映射。 在一個實例中，本發明描述一種用於影像處理之器件，該器件包含：光學傳輸器，其經組態以傳輸結構化光，該光學傳輸器具有相對於傳輸器光軸之第一視角；光學接收器，其經組態以接收結構化光之反射，該接收器具有相對於接收器光軸之第二視角，其中光學傳輸器相對於光學接收器成角以使得傳輸器光軸與接收器光軸相交，且其中光學傳輸器相對於光學接收器之位置恆定；及處理電路，其經組態以基於所接收之結構化光之反射產生一或多個影像之深度映射。 在一個實例中，本發明描述一種電腦可讀儲存媒體，其包括儲存於其上之指令，該等指令在經執行時使用於影像處理之器件之一個或多個處理器進行以下操作：使光學傳輸器傳輸結構化光，該光學傳輸器具有相對於傳輸器光軸之第一視角；及基於所接收之結構化光之反射產生一或多個影像之深度映射，其中用光學接收器接收所接收之反射，該光學接收器具有相對於接收器光軸之第二視角，其中該光學傳輸器相對於光學接收器成角以使得傳輸器光軸與接收器光軸相交，且其中光學傳輸器相對於光學接收器之位置為恆定的。 在一個實例中，本發明描述一種用於影像處理之器件，該器件包含：用於傳輸結構化光之構件，該用於傳輸之構件具有相對於傳輸器光軸之第一視角；用於接收結構化光之反射之構件，該用於接收之構件具有相對於接收器光軸之第二視角，其中該用於傳輸之構件相對於該用於接收之構件成角以使得傳輸器光軸與接收器光軸相交，且其中該用於傳輸之構件之位置相對於該用於接收之構件恆定；及用於基於所接收之結構化光之反射產生一或多個影像之深度映射的構件。 在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
本申請案主張2016年1月4日申請之美國臨時專利申請案第62/274,600號之權利，其全部內容特此以引用的方式併入本文中。 為產生涵蓋三維空間的使用者感知之立體影像，器件在待呈現之影像中產生場景或物件之深度映射。產生深度映射之一種方法在亦稱作邊緣化主動立體聲系統之結構化光系統中。在結構化光系統中，傳輸器器件將已知圖案或程式碼投影於場景上且接收器器件接收圖案或程式碼以獲得深度映射。舉例而言，傳輸器器件將包括圖案或程式碼之結構化光傳輸至場景或物件上，且接收器器件自該場景或物件接收結構化光之反射。接收器器件將所接收之圖案或程式碼與已知圖案或程式碼之清單進行比較以確認所接收之圖案或程式碼有效。 接著，基於接收器接收圖案或程式碼之位置，接收器器件可判定場景或物件距接收器之距離的估計。基於經判定之距離，接收器器件產生深度映射。處理電路(其可為可程式化及/或固定函數處理電路)可接著使用所產生之深度映射以產生一或多個影像之圖形資料(例如，圖形處理電路(GPU)使用深度映射以產生立體影像)。 傳輸器器件包括傳輸結構化光之光學傳輸器且接收器器件包括接收結構化光之光學接收器。光學傳輸器及光學接收器分隔距離(B)。光學傳輸器傳輸結構化光，其中結構化光涵蓋投影場。舉例而言，光學傳輸器具有相對於傳輸器光軸之視角。傳輸器光軸為自光學傳輸器外向延伸之線且視角定義結構化光跨越其擴散之區域。 類似地，光學接收器具有相對於接收器光軸之視角。接收器光軸為自光學接收器外向延伸之線且視角定義光學接收器跨越其能夠捕捉結構化光之反射的區域。 由於光學傳輸器及光學接收器分隔距離B，所以結構化光在其上方擴散之區域與光學接收器可在其上方捕捉光之區域不同。此產生結構化光並未到達之區域或無法捕捉結構化光之反射之區域。傳輸器及接收器之視角亦影響投影場及捕捉場。因此，光學傳輸器及光學接收器各自具有各別視場(例如，傳輸器之投影場及接收器之捕捉場)，且視場重疊定義投影場與捕捉場重疊多少。 當每一組件之特徵與其他組件之其他特徵相互作用從而引起對組件之謹慎平衡，設計結構化光系統以產生深度映射係複雜的，係因為可需要非常謹慎來選擇組件。舉例而言，斑點雜訊容限設定孔徑大小之下限，其中接收器之孔徑大小定義經由其捕捉光之開口且傳輸器之孔徑大小定義經由其投影光之開口。接收器及傳輸器之孔徑大小可不同，但該等技術並非如此受限。 場深度(DoF)定義聚焦範圍並設定F-數上限，其為透鏡之焦距(例如，光自透鏡會聚之點)與孔徑之直徑的比率。F-數因此設定焦距下限，且焦距設定視場上限。傳輸器與接收器之間之基線距離(B)設定系統精確性上限，且該基線減少視場重疊。 視場重疊設定近視場。近視場(例如，物件可在視場重疊以內的接近程度)尤其受所有此等實例特徵影響。 在一些情況下，具有相對接近之近視場可為合乎需要的。舉例而言，若器件為行動器件，則使用者可需要產生相對接近於行動器件的物件之深度映射。然而，作為一些實例，由於如上文所描述設定視場與孔徑大小、焦距及斑點雜訊容限相關，為達成相對接近於行動器件之近視場，可需要產生深度映射所需之光學組件之極其精確的選擇。 本發明所描述之該等技術提供具有相對接近於光學傳輸器之近視場及不限制用於產生深度映射之光學組件之選擇的光學接收器之方式。在本發明所描述之該等技術的情況下，對於廣泛多種光學組件及結構化光系統而言，自特定組件解耦近視場之設定，從而允許設定用於深度映射產生之近視場。 在本發明所描述之實例中，光學傳輸器相對於光學接收器傾斜或成角。舉例而言，光學傳輸器與光學接收器之間存在傾斜角，而非將光學傳輸器及光學接收器定向於同一方向(例如，面向同一方向)。與光學傳輸器及光學接收器定向於同一方向之情況相比，光學傳輸器與光學接收器之間的傾斜角導致投影場傾斜且與更接近於器件之捕捉場相交。舉例而言，若將光學傳輸器及光學接收器定向於同一方向，則傳輸器光軸與接收器光軸將為平行的。在本發明所描述之實例中，傳輸器相對於接收器之傾斜導致傳輸器光軸與接收器光軸並不平行但相交。 在光學傳輸器相對於光學接收器成角之實例中，接收器器件可捕捉結構化光之反射。接收器器件基於所捕捉之經反射結構化光判定深度映射。然而，在此情況下，接收器器件可需要補償判定深度映射時之傾斜角。舉例而言，接收器器件可基於光學傳輸器相對於光學接收器之傾斜角及光學接收器之焦距來縮放結構化光之所接收之反射中的每一元素之位置。接收器器件可基於以下各者產生深度映射：結構化光之所接收之反射中之每一元素的經縮放位置、結構化光中對應於結構化光之所接收反射中之各別元素的每一元素、光學接收器之焦距及光學傳輸器與光學接收器之間的距離(例如基線距離)。 因此，在本發明所描述之實例中，有意地使投影儀(亦即，光學傳輸器)傾斜或成角以增加近視場。光學傳輸器之傾斜或成角產生光學傳輸器之「橫偏」，且該等技術修修改計算以適應已知橫偏。如更詳細地描述，橫偏亦導致使經反射之圖案或程式碼失真。然而，在一些情況下，接收器器件可不需要補償橫偏來確認經反射圖案或程式碼為有效圖案或程式碼。 圖1A及圖1B為說明用於產生深度映射之傳輸器場及接收器場之實例的概念圖。圖1A及圖1B說明包括經耦接至光學傳輸器16之傳輸器器件14及經耦接至光學接收器20之接收器器件18的器件10。器件10之實例包括：桌上型電腦、膝上型電腦、平板電腦、無線通信器件、電話、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊遊戲控制台或視訊串流器件。 傳輸器器件14及接收器器件18之實例包括微處理器、積體電路、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)或特殊應用積體電路(ASIC)。大體而言，傳輸器器件14及接收器器件18包括處理電路，該處理電路包括可程式化電路。光學傳輸器16之實例包括雷射，且光學接收器20之實例包括一或多個光學感測器。在一些實例中，雷射輸出呈紅外線光譜之光(亦即，深度映射)且感測器接收呈紅外線光譜之光(亦即，深度映射)。 雖然將光學傳輸器16說明為傳輸器器件14之部分且將光學接收器20說明為接收器器件18之部分，本發明所描述之該等技術並不如此受限。在一些實例中，傳輸器器件14及接收器器件18可不包括光學傳輸器16及光學接收器20中之各別一者。在一些實例中，傳輸器器件14及接收器器件18可連同形成系統單晶片(SoC)之其他處理電路一起形成於同一積體電路中。 傳輸器器件14可經組態以使光學傳輸器16傳輸包括圖案或碼字之結構化光。舉例而言，傳輸器器件14可包括儲存用於深度映射產生之圖案或碼字之局部記憶體。傳輸器器件14之處理電路擷取圖案或碼字且使光學傳輸器16傳輸圖案或碼字。作為藉由光學接收器20進行之圖案或碼字反射，圖案或碼字自物件反射且經由透鏡或孔徑接收。 在光學接收器20上之不同位置處捕捉圖案或碼字之反射。舉例而言，假定第一物件與器件10相距第一距離，且第二物件與器件10相距第二距離。在此實例中，自第一物件反射出之圖案或碼字將顯現在光學接收器20上之第一位置處且自第二物件反射出之圖案或碼字將顯現在光學接收器20上之第二位置處。在此實例中，第一位置與第二位置之間的視差(例如，第一位置及第二位置之位置差異)指示第一及第二物件彼此之相對深度，且第一位置及第二位置之位置指示第一及第二物件之絕對深度。 在一些實例中，物件距光學傳輸器16及光學接收器20愈遠，所接收之經投影圖案或碼字與其在光學接收器20處之原始位置愈接近(例如，射出之投影與入射之投影更加平行)。相反地，物件與光學傳輸器16及光學接收器20愈接近，所接收之經投影圖案或碼字距其在光學接收器20處之原始位置愈遠。因此，可將所接收之及所傳輸之碼字位置之間的差用作物件之深度的指標。在一個實例中，此深度(例如，相對深度)可提供由影像中之每一像素或成群像素(例如，兩個或多於兩個像素之區域)所示的物件之深度值。 可將圖案或碼字視為包括複數個元素，其中結構化光中之元素共同形成圖案或碼字。結構化光中之每一元素在傳輸時位於特定位置處且接著位於光學接收器20上之特定位置處。接收器器件18可包括儲存用於深度映射產生之圖案或碼字的局部記憶體。接收器器件18之處理電路將所接收之圖案或碼字之元素與儲存於局部記憶體中之彼等者進行比較以確認所接收之圖案或碼字為有效圖案或碼字並判定深度映射。 舉例而言，且結構化光中之元素如所判定位於特定位置處且接收於經反射結構化光中之元素位於特定位置處。接收器器件18內之處理電路接著判定所傳輸之結構化光及所接收之經反射結構化光中之每一元素之位置之間的視差(例如，差異)，且基於該視差判定深度映射。 光學傳輸器16沿光軸22A傳輸結構化光，其擴散以產生投影場。舉例而言，光軸22A垂直於光學傳輸器16外向延伸且結構化光沿相對於光軸22A之視角17擴散。光學接收器20類似地包括圍繞光軸24沿視角19擴散之捕捉場。作為一個實例，視角17為60o 且視角19為53o ，但考慮其他角度。 如圖1A中所說明，投影場與捕捉場相交且其中投影場及捕捉場重疊設定視場重疊。若物件在視場重疊中，則該物件接收結構化光且光學接收器20接收經反射之結構化光。若物件在視場重疊外，則由於該物件僅在捕捉場中且並不在投影場中，所以該物件並不接收結構化光；或由於該物件僅在投影場中，所以光學接收器20並不接收經反射之結構化光。 在一些情況下，物件可既不在投影場中亦不在捕捉場中。舉例而言，若物件比近視場更接近，則該物件可既不在投影場亦不在捕捉場中。如圖1A中所說明，投影場與捕捉場在與器件10相距一距離12A之點處相交。距離12A可定義近視場。在此情況下，可不捕捉比距離12A更接近且在光學傳輸器16與光學接收器20之間的物件。 然而，器件10之使用者可發現需要判定影像之深度映射，其中物件比距離12A更接近。如上文所描述，設計器件10以使得近視場比距離12A更接近可需要大量測試及特定數目之組件選項，係因為光學傳輸器16及光學接收器20之各種特徵彼此相互作用，從而限制可用以產生具有所需近視場之結構化光系統且亦對遠視場具有最小影響之可用組件的數目。 如圖1B中所說明，光學傳輸器16相對於光學接收器20傾斜或成角。舉例而言，光學傳輸器16及光學接收器20並未定向於同一方向中(例如，並非面向同一方向)。雖然將光學傳輸器16說明為相對於光學接收器20傾斜，大體而言，光學傳輸器16或光學接收器20中之一者與器件10之一面平行，且光學傳輸器16或光學接收器20中之另一者相對於器件10之該面傾斜。舉例而言，光學傳輸器及光學接收器20兩者可在器件10之背面上，其中前面包括使用者與其互動之介面。光學接收器20可與器件10之背面平行，且光學傳輸器16可相對於器件10之背面傾斜，如圖1B中所說明。然而，在一些實例中，光學傳輸器16可與器件10之背面平行，且光學接收器20可相對於器件10之背面傾斜。在此等實例中，可將光學傳輸器16視為相對於光學接收器20傾斜(成角)。 光學接收器20及光學傳輸器16兩者相對於器件10之背面成角可係有可能的。對於此類實例而言，由於光學傳輸器16及光學接收器20並不面向一些方向及/或各別光軸相交，所以光學傳輸器16可相對於光學接收器20傾斜。 類似於圖1A，光學傳輸器16沿光軸22B傳輸在視角17處擴散之結構化光。光軸22B垂直於光學傳輸器16，如同圖1A中之光軸22A。然而，不同於光軸22A與光軸24平行之圖1A，在圖1B中，光學接收器20之光軸22B與光軸24彼此相交。因此，在圖1B中，光學傳輸器16相對於光學接收器20成角以使得傳輸器光軸22B與接收器光軸24相交。由傾斜角46 (例如，由交叉形成之角)定義光學傳輸器16相對於光學接收器20之傾斜角。傾斜角46可為大約1o 至2o ，但考慮其他角度。 在圖1B中，投影場與捕捉場在與器件10相距一距離12B之點34處相交。距離12B小於距離12A，且因此，藉由使光學傳輸器16傾斜(成角)，本發明所描述之該等技術可使近視場更接近於器件10而無需依賴於特定組件且允許使用廣泛多種光學組件類型。 然而，傾斜光學傳輸器16導致產生深度映射之額外計算。舉例而言，經反射圖案或碼字將顯現於圖1B中所說明之實例中之光學接收器20上的位置不同於經反射圖案或碼字將顯現於圖1A中所說明之實例中之光學接收器20上的位置。因此，接收器器件18可基於傾斜角46及光學接收器20之焦距來縮放結構化光之所接收之反射中之每一元素的位置，如更詳細地描述。 此外，光學傳輸器16與光學接收器20之間的傾斜引起經反射圖案或碼字之失真。舉例而言，圖1B中之光學接收器20接收之經反射圖案可相對於圖1A中之光學接收器20接收之經反射圖案傾斜。 如上文所描述，光學接收器20將經反射圖案與已知圖案進行比較以確認經反射圖案為有效的。由於經反射圖案傾斜，在重建圖案或碼字中可能存在一些誤差。在一些實例中，可使傾斜最小且因此誤差最少且無需校正動作。在一些實例中，光學接收器20可補償傾斜。在一些實例中，儲存於接收器器件18之局部記憶體中之圖案或碼字基於傾斜角46傾斜，且因此，接收器器件18可能夠無誤差地重構圖案或碼字。 投影場由圖1B中之線28及32定義且捕捉場由圖1B中之線26及30定義。線28之方程式為z4 = -x4cot(ϕ1/2 - γ)，且線32之方程式為z3 = x3cot(ϕ1/2 + γ)。線26之方程式為z2 = -(x2 - B)cot(ϕ2/2)，且線30之方程式為z1 = (x1 - B)cot(ϕ2/2)。在以上方程式中，ϕ1為視角17，ϕ2為視角19，γ為傾斜角46 (亦稱作橫偏)，且B為光學傳輸器16與光學接收器20之間的距離。在該等方程式中，x1、x2、x3及x4表示沿各別線之座標值，z1、z2、z3及z4自該等座標值判定。 x1、x2、x3及x4在設定視場重疊時可見。舉例而言，在點34處，投影場及捕捉場首次相交。自點34至點38，由線26及32定義視場重疊，其可表示為x3至x2，如藉由線40所說明。自點38至點36，由線26及30定義視場重疊，其可表示為x1至x2，如藉由線42所說明。自點36及以上，由線28及30定義視場重疊，其可表示為x1至x4，如藉由線44所說明。 點34之位置為B/(tan(ϕ1/2 + γ) + tan(ϕ2/2))(tan(ϕ1/2 + γ),1)。點38之位置為B/(tan(ϕ1/2 + γ) - tan(ϕ2/2))(tan(ϕ1/2 + γ),1)。點36之位置為B/(tan(ϕ2/2) - tan(ϕ1/2 - γ))(-tan(ϕ1/2 - γ),1)。 如圖1A及圖1B中所說明，距離12B小於距離12A。因此，藉由使光學傳輸器16相對於光學接收器20傾斜，可採用橫偏以減少近視場之位置(例如，使近視場更接近於器件10)。 如上文所描述，在實例技術中，接收器器件18可需要補償橫偏以判定深度映射。舉例而言，接收器器件18之處理電路可基於傾斜角γ及光學接收器20之焦距縮放結構化光之所接收之反射中之每一元素的位置。處理電路可接著基於以下各者產生深度映射：結構化光之所接收之反射中之每一元素之經縮放位置、結構化光中對應於結構化光之所接收之反射中之各別元素的每一元素、光學接收器20之焦距及光學傳輸器16與光學接收器20之間的基線距離(B)。 作為一實例，處理電路可實施以下方程式： Z = fB/(xT - f*((fsinγ + xRcosγ)/(fcosγ - xRsinγ)))。 在該方程式中，Z為深度映射，f為光學接收器20之焦距，B為光學傳輸器16與光學接收器20之間的距離，xT為所傳輸之結構化光中之元素之位置且xR為結構化光之所接收之反射中之對應元素之位置。舉例而言，xT及xR為同一元素之位置，但xT為傳輸時之位置且xR為結構化光之所接收之反射中之位置。 接收器器件18之處理電路可實施該方程式以判定每一元素之深度值(Z)。舉例而言，可將f*((fsinγ + xRcosγ)/(fcosγ - xRsinγ))視為處理單元用以縮放結構化光之所接收之反射中之每一元素之位置(例如，xR)的方程式。基於傾斜角γ及焦距f執行縮放。此外，在該方程式中，自以下各者產生深度映射：結構化光之所接收之反射中之每一元素的經縮放位置(例如，xR)、結構化光中對應於結構化光之所接收之反射中之各別元素(例如，xR)的每一元素(例如，xT)、光學接收器20之焦距(例如，f)及光學傳輸器16與光學接收器20之間的距離(例如，基線距離B)。 本發明描述有意地使光學傳輸器16傾斜以增加近視場且修改正視差計算以適應已知橫偏。在本發明所描述之該等技術之情況下，可存在5%之適用深度映射大小增益且可自深度映射產生之執行解耦系統組件(例如，允許光學組件之諸多選擇)。舉例而言，與圖1A之光學傳輸器16並不相對於光學接收器20成角且傳輸器光軸並不與接收器光軸相交之實例相比，由光學傳輸器16及光學接收器20產生之近場FOV更接近於包括光學傳輸器16及光學接收器20之器件10。 亦如上文所描述，光學傳輸器16之傾斜引起結構化映射之所接收之反射的失真以用於圖案偵測或碼字偵測之目的。在一些實例中，以柵格偵測演算法處置投影失真，其意謂可不需要用以補償光學傳輸器16之傾斜的額外校正動作。舉例而言，如上文所描述，接收器器件18儲存之碼字可已經基於已知傾斜角傾斜，且因此當接收器器件18之處理電路執行柵格偵測以判定碼字時，處理電路無需執行用以補償光學傳輸器16之傾斜的額外校正動作。 圖2為經組態以執行本發明中所描述之一或多個實例技術之用於影像處理之器件的方塊圖。圖2更詳細說明器件10。如上文所描述，器件10之實例包括：個人電腦、桌上型電腦、膝上型電腦、電腦工作站、視訊遊戲平台或控制台、無線通信器件(諸如，行動電話、蜂巢式電話、台式電腦、衛星電話及/或行動電話手持機)、固定電話、網際網路電話、手持式器件(諸如，攜帶型視訊遊戲器件或個人數位助理(PDA))、個人音樂播放器、視訊播放器、顯示器件、攝影機、電視、電視機上盒、伺服器、中間網路器件、大型電腦或處理及/或顯示圖形資料之任何其他類型的器件。 如圖2之實例中所說明，器件10包括：包括光學傳輸器16之傳輸器器件14、包括光學接收器20之接收器器件18、中央處理電路(CPU) 45、圖形處理電路(GPU) 48及GPU 48之局部記憶體50、使用者介面52、提供對系統記憶體60之存取的記憶體控制器54及輸出使圖形資料顯示於顯示器58上之信號的顯示介面56。 傳輸器器件14及接收器器件18類似於上文關於圖1A及圖1B所描述之彼等者且不進一步描述。然而，在一些實例中，接收器器件18亦可充當用於器件10之攝影機，且在此類實例中，接收器器件18可用於深度映射產生及用於捕捉攝影影像，或器件10可包括單獨的攝影機以捕捉攝影影像。在本發明中，將接收器器件18描述為用於產生深度映射及捕捉攝影影像兩者。接收器器件18之處理電路亦可充當攝影機處理器。 此外，雖然將各種組件說明為單獨的組件，但在一些實例中，可組合該等組件以形成系統單晶片(SoC)。作為一實例，接收器器件18之處理電路可由CPU 45、GPU 48及顯示介面56中之一或多者形成。在此等實例中，可自接收器器件18分離光學接收器20。另外，提供上文關於產生深度映射之接收器器件18之處理電路所描述之實例僅為易於理解。在一些實例中，CPU 45、GPU 48或一些其他器件可經組態以執行上文所描述之用於接收器器件18之處理電路的實例。 圖2中所說明之各種組件可形成於一或多種微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、數位信號處理器(DSP)或其他等效積體或離散邏輯電路中。此外，傳輸器器件14及接收器器件18可包括用於儲存諸如圖案或碼字之資料的局部記憶體。此局部記憶體之實例包括一或多種揮發性或非揮發性記憶體或儲存器件，諸如隨機存取記憶體(RAM)、靜態RAM (SRAM)、動態RAM (DRAM)、可抹除可程式化ROM (EPROM)、電可抹除可程式化ROM (EEPROM)、快閃記憶體、磁性資料媒體或光學儲存媒體。 圖2中所說明之各種單元使用匯流排62與彼此通信。匯流排62可為各種匯流排結構中之任一者，諸如第三代匯流排(例如，超傳輸匯流排或InfiniBand匯流排)、第二代匯流排(例如，高級圖形埠匯流排、周邊組件互連(PCI)高速匯流排或高級可擴展介面(AXI)匯流排)或另一類型之匯流排或器件互連件。應注意，圖2中所展示之不同組件之間的匯流排及通信介面之特定組態僅為例示性的，且計算器件之其他組態及/或具有相同或不同組件之其他影像處理系統可用以實施本發明之技術。 CPU 45可包含控制器件10之操作的通用或專用處理器。使用者可提供輸入至計算器件10以使CPU 45執行一或多個軟體應用程式。在CPU 45上執行之軟體應用程式可包括(例如)作業系統、文書處理器應用程式、電子郵件應用程式、總分析表應用程式、媒體播放器應用程式、視訊遊戲應用程式、圖形使用者介面應用程式或另一程式。使用者可經由一或多個輸入器件(未圖示)提供輸入至計算器件10，該一或多個輸入器件諸如鍵盤、滑鼠、麥克風、觸控板或經由使用者介面52耦接至計算器件10之另一輸入器件。 作為一個實例，使用者可執行產生用於立體影像之圖形資料的應用程式。應用程式可使用由光學接收器20所捕捉之影像。在此等實例中，傳輸器器件14及接收器器件18可一同執行本發明中所描述之實例技術以產生深度映射。在CPU 45上執行之應用程式可使用深度映射及所捕捉之影像。 舉例而言，CPU 45可將指令及資料傳輸至GPU 48以呈現圖形影像。在此等實例中，在CPU 45上執行之應用程式可將指令、深度映射及其他資料傳輸至GPU 48，從而指示GPU 48產生立體影像。舉例而言，GPU 48包括複數個平行管線，該等管線為固定函數電路及可程式化電路之一組合，且GPU 48經由平行管線處理像素以產生立體影像。 記憶體控制器54促進將資料傳送進入至及離開系統記憶體60。舉例而言，記憶體控制器54可接收記憶體讀取及寫入命令，且為關於記憶體60之此類命令提供服務以便提供用於計算器件10中之組件的記憶體服務。記憶體控制器54通信地耦接至系統記憶體60。雖然在圖2之實例計算器件10中將記憶體控制器54說明為自CPU 45及系統記憶體60兩者分離之處理模組，但在其他實例中，可將記憶體控制器54之功能中的一些或全部實施於CPU 45及系統記憶體60中之一者或兩者上。 系統記憶體60可儲存藉由傳輸器器件14、接收器器件18、CPU 45及GPU 48可存取之程式模組及/或指令及/或資料。舉例而言，系統記憶體60可儲存使用者應用程式及與該等應用程式相關聯之圖形資料。系統記憶體60可額外地儲存供計算器件10之其他組件使用及/或由計算器件10之其他組件所產生的資訊。舉例而言，系統記憶體60可充當用於傳輸器器件14及接收器器件18之器件記憶體(例如，用於接收器器件18之攝影機處理器之器件記憶體)。系統記憶體60可包括一或多種揮發性或非揮發性記憶體或儲存器件，諸如，隨機存取記憶體(RAM)、靜態RAM (SRAM)、動態RAM (DRAM)、唯讀記憶體(ROM)、可抹除可程式化ROM (EPROM)、電可抹除可程式化ROM (EEPROM)、快閃記憶體、磁性資料媒體或光學儲存媒體。 在一些態樣中，系統記憶體60可包括指令，該等指令使傳輸器器件14、接收器器件18、CPU 45、GPU 48及顯示介面56執行在本發明中歸於傳輸器器件14、接收器器件18、CPU 45、GPU 48及顯示介面56之功能。因此，系統記憶體60可為其上儲存有指令的電腦可讀儲存媒體，該等指令在經執行時使一個或多個處理器(例如，傳輸器器件14及/或接收器器件18及CPU 45、GPU 48及顯示介面56之處理電路)執行各種功能。 在一些實例中，系統記憶體60為非暫時性儲存媒體。術語「非暫時性」指示儲存媒體並不以載波或傳播信號體現。然而，術語「非暫時性」不應解釋成意謂系統記憶體60為不可移動的或其內容為靜態的。作為一個實例，可自器件10移除系統記憶體60，並將其移動至另一器件。作為另一實例，可將實質上類似於系統記憶體60之記憶體插入至器件10中。在某些實例中，非暫時性儲存媒體可儲存可隨時間變化之資料(例如，在RAM中)。 接收器器件18、CPU 45及GPU 48可儲存分配於系統記憶體60內之各別緩衝器中的深度映射、影像資料、所呈現影像資料及其類似者。顯示介面56可自系統記憶體60擷取資料且組態顯示器58以顯示由所呈現影像資料所表示之影像。在一些實例中，顯示介面56可包括經組態以將自系統記憶體60擷取之數位值轉換成顯示器58可消耗之類比信號的數位/類比轉換器(DAC)。在其他實例中，顯示介面56可將數位值直接傳遞至顯示器58以供處理。 顯示器58可包括：監視器、電視、投影器件、液晶顯示器(LCD)、電漿顯示面板、發光二極體(LED)陣列、陰極射線管(CRT)顯示器、電子紙、表面傳導電子發射顯示器(SED)、雷射電視顯示器、奈米晶體顯示器或另一類型之顯示單元。顯示器58可整合於計算器件10內。舉例而言，顯示器58可為行動電話手持機或平板電腦之螢幕。可替代地，顯示器58可為經由有線或無線通信鏈路耦接至計算器件10之獨立器件。舉例而言，顯示器58可為經由電纜或無線鏈路連接至個人電腦之電腦監視器或平板顯示器。 圖3為用於執行本發明中所描述之一或多種實例技術之影像處理方法的流程圖。影像處理可用於產生物件之深度映射，該影像處理可接著用以產生為觀看者提供深度之感知的立體影像。 如所說明，傳輸器器件14經由光學傳輸器16可傳輸結構化光，光學傳輸器16具有(例如，定義)相對於傳輸器光軸22B之第一視角17 (70)。傳輸結構化光可包括經由結構化光傳輸圖案。接收器器件18經由光學接收器20可接收結構化光之反射，光學接收器20具有(例如，定義)相對於接收器光軸24之第二視角19 (72)。接收結構化光之反射可包括經由反射接收失真圖案。 接收器器件18經由接收器器件18之處理電路可基於結構化光之所接收之反射產生一或多個影像之深度映射(74)。舉例而言，接收器器件18之處理電路可針對Z執行方程式之操作，其中Z = fB/(xT - f*((fsinγ + xRcosγ)/(fcosγ - xRsinγ)))。接收器器件18之處理電路可執行方程式之操作以判定每一所接收之元素的深度值(Z)。如上文所描述，用於Z之方程式表示用以補償傾斜角之縮放。基於傾斜角γ及焦距f執行縮放。此外，在該方程式中，自以下各者產生深度映射：結構化光之所接收之反射中之每一元素之經縮放位置(例如，xR)、結構化光中對應於結構化光之所接收之反射中之各別元素(例如，xR)的每一元素(例如，xT)、光學接收器20之焦距(例如，f)，及光學傳輸器16與光學接收器20之間的距離(例如，基線距離B)。 GPU 48可基於所產生之深度映射產生一或多個影像之圖形資料(76)。舉例而言，深度映射指示物件距器件10之相對距離。GPU 48可產生第一影像及第二影像，其中該第一影像及該第二影像包括實質上類似之內容。然而，內容之間存在水平視差。作為一個實例，GPU 48可判定水平視差之量以添加至第一及第二影像中之物件以使得當觀看者一起觀看第一及第二影像兩者時觀看者在用深度映射指示之距離處感知該物件。 舉例而言，根據測試及基於顯示器58之大小，製造者可判定觀看者針對第一與第二影像之間的給定視差感知對象的距器件10之距離。基於影像之視差之間的關係及觀看者感知影像之距離，製造者或電腦模型可提取視差與深度之間的關係(例如，距器件10之距離)。GPU 48或器件10之一些其他單元可儲存此關係資訊，並基於經由實例技術所判定之深度映射判定兩個影像中之物件的視差，且GPU 48呈現影像以具有物件之經判定視差。 作為另一實例，GPU 48或器件10之一些其他單元可儲存將第一及第二影像中之物件之間的視差與深度相關聯的查找表。基於來自深度映射及查找表之經判定深度，GPU 48或一些其他單元判定第一及第二影像中之物件之間的視差(例如，第一及第二影像中之物件之位置)。GPU 48基於第一及第二影像中之物件之經判定位置呈現該影像以具有物件中之經判定視差。 先前實例提供兩種實例演算法以基於所產生之深度映射產生一或多個影像之圖形資料。然而，其他實例技術為可能的且不應將該等實例視為受限於以上實例。 在一些實例中，接收器器件18可在不補償光學傳輸器16相對於光學接收器20之傾斜角γ的情況下判定所接收之失真圖案是否對應於所傳輸之圖案。接收器器件18可判定光學接收器20接收失真圖案之位置，且基於光學接收器20接收失真圖案之位置及光學傳輸器16相對於光學接收器20之傾斜角γ產生深度映射。 在一些實例中，為產生深度映射，接收器器件18可基於光學傳輸器16相對於光學接收器20之傾斜角γ及光學接收器20之焦距(f)來縮放結構化光之所接收之反射中之每一元素之位置。接收器器件18可基於以下各者產生深度映射：結構化光之所接收之反射中之每一元素之經縮放位置、結構化光中對應於結構化光之所接收之反射中之各別元素的每一元素、光學接收器20之焦距，及光學傳輸器16及光學接收器20之間的距離(例如，基線距離B)。 圖4為更詳細地說明圖2之傳輸器器件及接收器器件之方塊圖。圖4說明光學傳輸器16之兩個位置。在虛線中，光學傳輸器16並未傾斜且其傳輸器光軸與光學接收器20之接收器光軸平行(例如，類似於圖1A)。在實線中，光學傳輸器16傾斜且其傳輸器光軸與光學接收器20之接收器光軸相交(例如，類似於圖1B)。 圖4亦說明物件78及物件80，其為光學傳輸器16傳輸之結構化光自其反射至光學接收器20之每一物件。在該等實例技術中，TX處理電路82可自記憶體86接收碼字且使光學傳輸器16傳輸具有該碼字之結構化光。此結構化光將經物件78及物件80反射至光學接收器20上。RX處理電路84可將所接收之結構化光轉換成碼字，且將經轉換之碼字與儲存於記憶體88中之碼字進行比較以確認所接收之光實際上包括經辨識之碼字且不為環境光。對於結構化光，RX處理電路84亦可判定在光學接收器20上之何處捕捉結構化光之碼字，且基於所接收之碼字之位置判定物件78及物件80之深度。 在描述該等操作以判定深度之前，下文提供對可經執行之傾斜及補償之額外解釋。在圖4中，將虛線說明為藉由光學傳輸器16之未傾斜實例輸出(虛線形式)，其接著自物件78反彈，並反射至光學接收器20之約中部。此外，將一條實線說明為藉由光學傳輸器16之傾斜形式輸出(實線形式)，其接著自物件78反彈，並反射至靠近光學接收器20之末端。 如所說明，相較於針對光學傳輸器16之未傾斜形式，針對光學傳輸器16之傾斜形式，結構化光反射於光學接收器20上之位置不同。因此，在未補償的情況下，RX處理電路84可針對光學傳輸器16之傾斜形式及光學傳輸器16之未傾斜形式判定物件78之不同深度。因此，出於判定深度映射之目的，RX處理電路84可執行橫偏補償(例如，Z = fB/(xT - f*((fsinγ + xRcosγ)/(fcosγ - xRsinγ))))，如上文所描述。 參考用於判定各別深度之實例演算法，如所說明，說明為藉由傾斜光學傳輸器16傳輸之第一實線以遠離光學接收器20之左邊緣之距離d1自物件78反射至光學接收器20上。說明為藉由傾斜光學傳輸器16傳輸之第二實線以遠離光學接收器20之左邊緣之距離d2自物件80反射至光學接收器20上。RX處理電路84可分別基於距離d1及距離d2判定物件78及物件80之深度。舉例而言，更接近於器件10之物件趨於相比距器件10更遠之物件自光學接收器20之邊緣更遠地反射。如所說明，物件80比物件78更遠。因此，相較於與物件80之反射的距離d2，與物件78之反射的距離d1距光學接收器20之邊緣更遠。 在一或多個實例技術，光學傳輸器16之位置相對於接收器器件18恆定(例如，其各別位置固定且並不相對於彼此移動)。光學傳輸器16可相對於光學接收器20固定在恆定位置中，而非使光學傳輸器16輸出物件上之呈掃描圖案之光學信號並使光學接收器20接收此掃描圖案。傳輸器光軸與接收器光軸可始終相交在同一點處，以使得在產生深度映射期間角γ並不改變。 此外，用光學傳輸器16傳輸之結構化光在藉由RX處理電路84之深度映射之整個產生期間可係相同的。TX處理電路82可輸出具有特定圖案之結構化光，且自彼圖案之反射，RX處理電路84可產生深度映射。可存在一種經傳輸及經接收之結構化光圖案，且自此一種結構化光圖案，RX處理電路84可判定深度映射。 圖5為說明近視場及遠視場之起始隨橫偏而變化之曲線圖。在圖5中，底線說明近視場重疊之距離在何處隨傾斜角γ而變化，且頂線說明遠視場重疊之距離在何處隨傾斜角γ而變化。 如圖5中之底線所說明，隨著傾斜角γ增加，近視場變得更接近於器件10，但遠視場亦愈接近。舉例而言，返回參看圖1B，隨著傾斜角γ增加，點34愈接近於器件10 (例如，距離12B減小)。然而，如藉由圖5中之頂線所指示，傾斜角γ之增加亦使遠場移動更接近於器件10。舉例而言，返回參看圖1B，隨著傾斜角γ增加，點36向下移動線26且更接近於器件10。因此，在基於近場及遠場應在何處的設計設定傾斜角γ的大小中存在平衡。 圖6A及圖6B為說明近距視場重疊之增加的曲線圖。圖6A及圖6B說明不同橫偏角γ之視場之水平重疊。頂線90用於2o 之橫偏角、接著線92用於1.5o 之角、接著線94用於1o 之角、接著線96用於0.5o 且接著線98用於0o 。圖6B為圖6A之縮放版本，其展示不同橫偏角γ之間隔。舉例而言，圖6B中之線100對應於圖6A中之線90、圖6B中之線102對應於圖6A中之線92、圖6B中之線104對應於圖6A中之線94、圖6B中之線106對應於圖6A中之線96且圖6B中之線108對應於圖6A中之線108。大體而言，增加橫偏增加近距視場重疊。在足夠大之範圍下，橫偏引起減少的視場。 圖7A及圖7B為說明近距視場重疊之增加隨橫偏及距離而變化的曲線圖。在圖7A及圖7B中，y軸為視場重疊增加。在圖7A中，x軸為橫偏角γ，且在圖7B中，x軸為距離。舉例而言，在圖7A中，針對不同距離繪製曲線圖，其中底線118係用於3.5 m，上方之下一條線(線116)用於1 m，該線116上方之線(線114)係用於0.85 m，該線114上方之之線(線112)係用於0.75 m且該線112上方之之線(線110)係用於0.5 m。在圖7A中，說明1.5o 之橫偏角以說明可最大化在距離3.5 m處之物件之短距FOV重疊增益的實例橫偏角。在圖7B中，針對不同橫偏角γ繪製圖表。頂線128係用於2o 、其下方之下一條線(線126)係用於1.5o 、下方之下一條線(線124)係用於1o 、下方之下一條線(線122)係用於0.5o 且下方之下一條線(線120)係用於0o 。 在本發明中所描述之實例技術中，與其他實例相比，近距視場(例如，近場FOV)可更接近於器件10。舉例而言，與光學傳輸器16並不相對於光學接收器20成角且傳輸器光軸並不與接收器光軸相交的情況相比，則由光學傳輸器16及光學接收器20產生的近場FOV更接近器件10。 圖8為說明圖案失真之圖。舉例而言，在圖8中，最左側說明所傳輸之圖案，但經反射及接收之圖案失真歸因於傾斜角γ (例如，所接收之圖案相對於經反射圖案略微傾斜)。大體而言，歸因於橫偏之圖案失真對於較小傾斜角而言係可忽略的。接收器器件18可適應用於圖案偵測之柵格偵測方案內的圖案失真。舉例而言，如上文所描述，RX處理電路84可需要基於儲存於記憶體88中之碼字偵測來自結構化光之圖案。若存在失真，則RX處理電路84可需要執行圖案失真補償。此圖案失真補償之一種方式為基於已知橫偏預失真儲存於記憶體88中之碼字，且因此RX處理電路84可無誤差地執行圖案偵測。換言之，由於已知橫偏角度，所以可預計算失真場，且對於高精度應用程式而言，可補償失真而不降低精確性。然而，在一些情況下，由光學傳輸器16之傾斜引起的失真可相對最小，意謂無需RX處理電路84進行額外補償。 在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合實施。若以軟體實施中，則可將該等功能作為一或多個指令或程式碼儲存於電腦可讀媒體上且由基於硬體之處理電路執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體。以此方式，電腦可讀媒體通常可對應於非暫時性的有形電腦可讀儲存媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉由實例而非限制的方式，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所需程式碼且可由電腦存取的任何其他媒體。應理解，電腦可讀儲存媒體及資料儲存媒體並不包括載波、信號或其他暫時媒體，但實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟和藍光(Blu-ray)光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射以光學方式再現資料。以上各者之組合應亦包括於電腦可讀媒體之範疇內。 可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文所使用之術語「處理器」可指前述結構或適用於實施本文中所描述之技術之任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼之專用硬體及/或軟體模組內，或併入組合式編解碼器中。此外，該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可在包括無線手持機、積體電路(IC)或IC集合(例如，晶片組)之廣泛多種器件或設備中實施。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求藉由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合適合之軟體及/或韌體來提供該等單元。 已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧器件12A‧‧‧距離12B‧‧‧距離14‧‧‧傳輸器器件16‧‧‧光學傳輸器17‧‧‧視角18‧‧‧接收器器件19‧‧‧視角20‧‧‧光學接收器22A‧‧‧光軸22B‧‧‧光軸24‧‧‧接收器光軸26‧‧‧線28‧‧‧線30‧‧‧線32‧‧‧線34‧‧‧點36‧‧‧點38‧‧‧點40‧‧‧線42‧‧‧線44‧‧‧線45‧‧‧中央處理電路(CPU)46‧‧‧傾斜角48‧‧‧圖形處理電路(GPU)50‧‧‧局部記憶體52‧‧‧使用者介面54‧‧‧記憶體控制器56‧‧‧顯示介面58‧‧‧顯示器60‧‧‧系統記憶體62‧‧‧匯流排70‧‧‧步驟72‧‧‧步驟74‧‧‧步驟76‧‧‧步驟78‧‧‧物件80‧‧‧物件82‧‧‧TX處理電路84‧‧‧RX處理電路86‧‧‧記憶體88‧‧‧記憶體90‧‧‧線92‧‧‧線94‧‧‧線96‧‧‧線100‧‧‧線102‧‧‧線104‧‧‧線106‧‧‧線108‧‧‧線110‧‧‧線112‧‧‧線114‧‧‧線116‧‧‧線118‧‧‧線120‧‧‧線122‧‧‧線124‧‧‧線126‧‧‧線128‧‧‧線
圖1A及圖1B為說明用於產生深度映射之傳輸器場及接收器場之實例的概念圖。 圖2為經組態以執行本發明中所描述之一或多種實例技術之用於影像處理之器件的方塊圖。 圖3為用於執行本發明中所描述之一或多種實例技術之影像處理方法的流程圖。 圖4為更詳細地說明圖2之傳輸器器件及接收器器件之方塊圖。 圖5為說明近視場及遠視場之起始隨橫偏而變化之曲線圖。 圖6A及圖6B為說明近距視場重疊之增加的曲線圖。 圖7A及圖7B為說明近距視場重疊之增加隨橫偏及距離而變化的曲線圖。 圖8為說明圖案失真之圖。
14‧‧‧TX器件
16‧‧‧光學傳輸器
18‧‧‧RX器件
20‧‧‧光學接收器
78‧‧‧物件
80‧‧‧物件
82‧‧‧TX處理電路
84‧‧‧RX處理電路
86‧‧‧記憶體
88‧‧‧記憶體
d1‧‧‧距離
d2‧‧‧距離

Claims (25)

  1. 一種影像處理之方法，該方法包含：用一光學傳輸器傳輸結構化光，該光學傳輸器具有相對於一傳輸器光軸之一第一視角；用一光學接收器接收該結構化光之一反射，該光學接收器具有相對於一接收器光軸之一第二視角，其中該光學傳輸器相對於該光學接收器成角以使得該傳輸器光軸與該接收器光軸相交而於其間形成一角，且其中該光學傳輸器相對於該光學接收器之一位置為恆定的；基於該光學傳輸器相對於該光學接收器之該角及該光學接收器之一焦距縮放在該光學接收器處接收之該結構化光之該所接收之反射；及基於至少該經縮放之反射產生一或多個影像之一深度映射。
  2. 如請求項1之方法，其中用該光學傳輸器傳輸之該結構化光在該深度映射之整個產生期間係相同的。
  3. 如請求項1之方法，其中產生該深度映射包含基於以下各者產生該深度映射：該經縮放之反射、該結構化光中對應於該結構化光之該所接收之反射中之一各別元素的每一元素、該光學接收器之該焦距、及該光學傳輸器與該光學接收器之間的一距離。
  4. 如請求項1之方法，其中傳輸該結構化光包含經由該結構化光傳輸一圖案，其中接收該結構化光之該反射包含經由該反射接收一失真圖案，該 方法進一步包含：在不補償該光學傳輸器相對於該光學接收器之該角的情況下判定該所接收之失真圖案是否對應於該所傳輸之圖案。
  5. 如請求項4之方法，其進一步包含：判定該光學接收器接收該失真圖案之一位置；其中產生該深度映射包含基於該光學接收器接收該失真圖案之該位置及該光學傳輸器相對於該光學接收器之該角產生該深度映射。
  6. 如請求項1之方法，其進一步包含：接收該所產生之深度映射；及基於該所產生之深度映射產生該一或多個影像之圖形資料。
  7. 如請求項1之方法，其中一器件包括該光學傳輸器及該光學接收器，其中該光學傳輸器或該光學接收器中之一者與該器件之一面平行，且該光學傳輸器或該光學接收器中之另一者相對於該器件之該面傾斜。
  8. 如請求項1之方法，其中與該光學傳輸器並不相對於該光學接收器成角且該傳輸器光軸並不與該接收器光軸相交的情況相比，則由該光學傳輸器及該光學接收器產生之一近視場(FOV)更接近於包括該光學傳輸器及該光學接收器之一器件。
  9. 一種用於影像處理之器件，該器件包含： 一光學傳輸器，其經組態以傳輸結構化光，該光學傳輸器具有相對於一傳輸器光軸之一第一視角；一光學接收器，其經組態以接收該結構化光之一反射，該接收器具有相對於一接收器光軸之一第二視角，其中該光學傳輸器相對於該光學接收器成角以使得該傳輸器光軸與該接收器光軸相交而於其間形成一角，且其中該光學傳輸器相對於該光學接收器之一位置恆定；及一處理電路，其經組態以：基於該光學傳輸器相對於該光學接收器之該角及該光學接收器之一焦距縮放在該光學接收器處接收之該結構化光之該所接收之反射；及基於至少該經縮放之反射產生一或多個影像之一深度映射。
  10. 如請求項9之器件，其中該光學傳輸器在該深度映射之整個產生期間傳輸同一結構化光。
  11. 如請求項9之器件，其中為產生該深度映射，該處理電路經組態以基於以下各者產生該深度映射：該經縮放之反射、該結構化光中對應於該結構化光之該所接收之反射中之一各別元素的每一元素、該光學接收器之該焦距、及該光學傳輸器與該光學接收器之間的一距離。
  12. 如請求項9之器件，其中該光學傳輸器經組態以經由該結構化光傳輸一圖案，其中該光學接收器經組態以經由該反射接收一失真圖案，其中該處理電路經組態以在不補償該光學傳輸器相對於該光學接收器之該角的情 況下判定該所接收之失真圖案是否對應於該所傳輸之圖案。
  13. 如請求項12之器件，其中該處理電路經組態以判定該光學接收器接收該失真圖案之一位置，且其中為產生該深度映射，該處理電路經組態以基於該光學接收器接收該失真圖案之該位置及該光學傳輸器相對於該光學接收器之該角產生該深度映射。
  14. 如請求項9之器件，其中該處理電路包含一第一處理電路，該器件進一步包含一第二處理電路，其經組態以：自該第一處理電路接收該所產生之深度映射；及基於該所產生之深度映射產生該一或多個影像之圖形資料。
  15. 如請求項14之器件，其中該第一處理電路及該第二處理電路為相同的處理電路。
  16. 如請求項9之器件，其中該器件包含以下中之一者：一無線通信器件、一膝上型電腦、一桌上型電腦、一平板電腦、一攝影機及一視訊遊戲控制台。
  17. 如請求項9之器件，其中該光學傳輸器或該光學接收器中之一者與該器件之一面平行，且該光學傳輸器或該光學接收器中之另一者相對於該器件之該面傾斜。
  18. 如請求項9之器件，其中與該光學傳輸器並不相對於該光學接收器成角且該傳輸器光軸並不與該接收器光軸相交的情況相比，由該光學傳輸器及該光學接收器產生之一近視場(FOV)更接近於包括該光學傳輸器及該光學接收器之該器件。
  19. 一種電腦可讀儲存媒體，其包括儲存於其上之指令，該等指令在經執行時使得用於影像處理之一器件之一個或多個處理器：使一光學傳輸器傳輸結構化光，該光學傳輸器具有相對於一傳輸器光軸之一第一視角，其中該光學傳輸器相對於該器件之一光學接收器成角以使得該傳輸器光軸與一接收器光軸相交而於其間形成一角，且其中該光學傳輸器相對於該光學接收器之一位置為恆定的；基於該光學傳輸器相對於該光學接收器之該角及該光學接收器之一焦距縮放在該光學接收器處接收之該結構化光之一所接收之反射；且基於該經縮放之反射產生一或多個影像之一深度映射，其中用該光學接收器接收該所接收之反射，該光學接收器具有相對於該接收器光軸之一第二視角。
  20. 如請求項19之電腦可讀儲存媒體，其中用該光學傳輸器傳輸之該結構化光在該深度映射之整個產生期間係相同的。
  21. 一種用於影像處理之器件，該器件包含：用於傳輸結構化光之構件，該用於傳輸之構件具有相對於一傳輸器光軸之一第一視角； 用於接收該結構化光之一反射之構件，該用於接收之構件具有相對於一接收器光軸之一第二視角，其中該用於傳輸之構件相對於該用於接收之構件成角以使得該傳輸器光軸與該接收器光軸相交而於其間形成一角，且其中該用於傳輸之構件之一位置相對於該用於接收之構件恆定；用於基於該用於傳輸之構件相對於該用於接收之構件之該角及該用於接收之構件之一焦距縮放在該用於接收之構件處接收之該結構化光之該所接收之反射之構件；及用於基於至少該經縮放之反射產生一或多個影像之一深度映射的構件。
  22. 如請求項21之器件，其中該用於傳輸之構件在該深度映射之整個產生期間傳輸相同的結構化光。
  23. 如請求項21之器件，其中該用於接收之構件包含用於接收之一第一構件，且其中該用於產生之構件包含用於產生之一第一構件，該器件進一步包含：用於接收該所產生之深度映射之一第二構件；及用於基於該所產生之深度映射產生該一或多個影像之圖形資料的一第二構件。
  24. 如請求項21之器件，其中該用於傳輸之構件或該用於接收之構件中之一者與該器件之一面平行，且該用於傳輸之構件或該用於接收之構件中之另一者相對於該器件之該面傾斜。
  25. 如請求項21之器件，其中與該用於傳輸之構件並不相對於該用於接收之構件成角且該傳輸器光軸並不與該接收器光軸相交的情況相比，由該用於傳輸之構件及該用於接收之構件產生之一近視場(FOV)更接近於包括該用於傳輸之構件及該用於接收之構件的該器件。
TW105135188A 2016-01-04 2016-10-28 在結構化光系統中之深度映射產生 TWI732796B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662274600P 2016-01-04 2016-01-04
US62/274,600 2016-01-04
US15/147,736 US11057608B2 (en) 2016-01-04 2016-05-05 Depth map generation in structured light system
US15/147,736 2016-05-05

Publications (2)

Publication Number Publication Date
TW201734956A TW201734956A (zh) 2017-10-01
TWI732796B true TWI732796B (zh) 2021-07-11

Family

ID=59227332

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105135188A TWI732796B (zh) 2016-01-04 2016-10-28 在結構化光系統中之深度映射產生

Country Status (9)

Country Link
US (1) US11057608B2 (zh)
EP (1) EP3400414B1 (zh)
JP (1) JP6824990B2 (zh)
KR (1) KR102575114B1 (zh)
CN (1) CN108474652B (zh)
BR (1) BR112018013552A2 (zh)
CA (1) CA3006583A1 (zh)
TW (1) TWI732796B (zh)
WO (1) WO2017119941A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
CN109470166B (zh) * 2018-11-09 2020-12-08 业成科技（成都）有限公司 结构光深度感测器及感测方法
CN109974611B (zh) * 2019-03-23 2023-07-21 柳州阜民科技有限公司 深度检测系统及其支架和电子装置
CN115616003B (zh) * 2022-10-17 2024-06-11 四川长虹电器股份有限公司 菲涅尔光学膜片检查设备及其检查方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760234A (zh) * 2011-04-14 2012-10-31 财团法人工业技术研究院 深度图像采集装置、系统及其方法
US20130314696A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Transmission of Affine-Invariant Spatial Mask for Active Depth Sensing
US20130329942A1 (en) * 2012-06-11 2013-12-12 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and a computer-readable storage medium

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6389144A (ja) * 1986-09-30 1988-04-20 株式会社東芝 擬似３次元表示装置
JPH05145496A (ja) 1991-11-15 1993-06-11 Canon Inc 双方向光伝送装置
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US20030001960A9 (en) 2000-04-24 2003-01-02 Olympus Optical Co., Ltd. Electronic camera
DE10049382A1 (de) 2000-10-05 2002-04-25 Microsystems Gmbh Optoelektronische Messanordnung zur Messung der Randparameter von Brillengläsern
DE10214817B4 (de) 2002-03-28 2004-12-23 Göpel electronic GmbH Anordnung zur Höhenmessung des Lotpastenauftrages
US20070023716A1 (en) 2005-07-26 2007-02-01 Icos Vision Systems N.V. Apparatus for three dimensional measuring on an electronic component
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
US7768656B2 (en) 2007-08-28 2010-08-03 Artec Group, Inc. System and method for three-dimensional measurement of the shape of material objects
CN101403606B (zh) 2008-10-20 2011-05-18 中国海洋大学 基于线结构光的大视场两轴测量装置
CN101697233B (zh) 2009-10-16 2012-06-06 长春理工大学 一种基于结构光的三维物体表面重建方法
JP5578844B2 (ja) 2009-12-21 2014-08-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP2523029B1 (en) 2010-01-06 2017-02-15 Fujikura Ltd. Optical coupling structure and optical transreceiver module
CN201828247U (zh) 2010-05-24 2011-05-11 天津工业大学 一种激光再制造零件三维形貌在线检测装置
JP5986364B2 (ja) 2011-10-17 2016-09-06 キヤノン株式会社 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム
US8886449B2 (en) 2012-01-13 2014-11-11 Qualcomm Incorporated Calibrated hardware sensors for estimating real-world distances
WO2013144293A1 (en) 2012-03-30 2013-10-03 Nikon Metrology Nv Improved optical scanning probe
US20140043610A1 (en) * 2012-08-07 2014-02-13 Carl Zeiss Industrielle Messtechnik Gmbh Apparatus for inspecting a measurement object with triangulation sensor
CN102999910B (zh) 2012-11-27 2015-07-22 宁波盈芯信息科技有限公司 一种图像深度计算方法
US20140152769A1 (en) 2012-12-05 2014-06-05 Paul Atwell Three-dimensional scanner and method of operation
CN105324688B (zh) 2013-06-17 2018-03-06 苹果公司 用于扫描引擎的模块化光学器件
EP3627186A1 (en) 2014-07-08 2020-03-25 Facebook Technologies, LLC Method and system for adjusting light pattern for structured light imaging
CN104165596B (zh) 2014-09-02 2017-01-25 南京中科神光科技有限公司 一种测定离焦量的方法及系统
JP6516453B2 (ja) 2014-11-26 2019-05-22 株式会社ミツトヨ 画像測定装置及び測定装置
CN104793784B (zh) 2015-03-23 2018-11-20 中国科学技术大学先进技术研究院 一种基于深度数据的模拟触摸操作系统及操作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760234A (zh) * 2011-04-14 2012-10-31 财团法人工业技术研究院 深度图像采集装置、系统及其方法
US20130314696A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Transmission of Affine-Invariant Spatial Mask for Active Depth Sensing
US20130329942A1 (en) * 2012-06-11 2013-12-12 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and a computer-readable storage medium

Also Published As

Publication number Publication date
BR112018013552A2 (pt) 2018-12-04
EP3400414B1 (en) 2023-03-29
JP6824990B2 (ja) 2021-02-03
EP3400414A1 (en) 2018-11-14
CN108474652B (zh) 2020-06-19
CN108474652A (zh) 2018-08-31
TW201734956A (zh) 2017-10-01
KR20180100121A (ko) 2018-09-07
WO2017119941A1 (en) 2017-07-13
US20170195656A1 (en) 2017-07-06
JP2019500606A (ja) 2019-01-10
US11057608B2 (en) 2021-07-06
CA3006583A1 (en) 2017-07-13
KR102575114B1 (ko) 2023-09-05

Similar Documents

Publication Publication Date Title
US11270464B2 (en) Dynamic detection and correction of light field camera array miscalibration
TWI732796B (zh) 在結構化光系統中之深度映射產生
US11553123B2 (en) Dynamic detection and correction of light field camera array miscalibration
US11064154B2 (en) Device pose detection and pose-related image capture and processing for light field based telepresence communications
US20180343388A1 (en) Image processing device, image processing method, and recording medium storing program
US10979612B2 (en) Electronic device comprising plurality of cameras using rolling shutter mode
KR102194658B1 (ko) 비대칭 수차 보정 렌즈
EP4000253A1 (en) Light field camera modules and light field camera module arrays
CN106256124A (zh) 结构化立体
CN114679761A (zh) 一种基于uwb的设备交互方法、装置及设备
CN108141560B (zh) 用于图像投影的系统及方法
CN112017133A (zh) 一种图像展示方法、装置及电子设备
TWI664558B (zh) 鍵盤裝置與應用其上的投影畫面防抖方法
KR101580056B1 (ko) 영상 왜곡 보정 장치 및 그 방법
US20180059863A1 (en) Calibration of pen location to projected whiteboard
US10922829B2 (en) Zero order light removal in active sensing systems
US11924587B2 (en) Display method, projector, and projection system
US20150331481A1 (en) Method and system for interaction between projector and camera
KR100978469B1 (ko) 좌표계 변환 방법
KR20230164035A (ko) 아티팩트들을 최소화하기 위한 카메라 포지셔닝
KR20240002559A (ko) 이미지 표시를 위한 전자 장치 및 그 동작 방법
US8462157B2 (en) Computing the irradiance from a disk light source at a receiver point