TWI713547B - 用於判定一圖像之一深度圖的方法與設備 - Google Patents

用於判定一圖像之一深度圖的方法與設備 Download PDF

Info

Publication number
TWI713547B
TWI713547B TW105122101A TW105122101A TWI713547B TW I713547 B TWI713547 B TW I713547B TW 105122101 A TW105122101 A TW 105122101A TW 105122101 A TW105122101 A TW 105122101A TW I713547 B TWI713547 B TW I713547B
Authority
TW
Taiwan
Prior art keywords
depth
light
depth map
infrared
image
Prior art date
Application number
TW105122101A
Other languages
English (en)
Other versions
TW201709724A (zh
Inventor
克莉斯汀 維爾甘
派崔克 路克 艾爾斯 凡德沃爾
Original Assignee
荷蘭商皇家飛利浦有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商皇家飛利浦有限公司 filed Critical 荷蘭商皇家飛利浦有限公司
Publication of TW201709724A publication Critical patent/TW201709724A/zh
Application granted granted Critical
Publication of TWI713547B publication Critical patent/TWI713547B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明揭示一種用於判定一場景之一圖像之一深度圖之設備，其包括用於判定該圖像之一深度圖之一主動深度感測器(103)及一被動深度感測器(105)。該設備進一步包括一光判定器(109)，其判定指示該場景之一光特性之一光指示。該光指示可具體反映該場景之可見及/或紅外線光之一光度。一深度圖處理器(107)藉由組合該第一深度圖及該第二深度圖來判定該圖像之一輸出深度圖。具體言之，該輸出深度圖之一深度值被判定為該第一深度圖及該第二深度圖之深度值之一組合，其中該組合取決於該光指示。該光判定器(109)根據指示可見光光譜之一頻率頻帶中之一光度之一可見光指示來估計該第一紅外線光指示。

Description

用於判定一圖像之一深度圖的方法與設備
本發明係關於一種用於判定一圖像之一深度圖，且特定言之，係基於複數個深度感測器判定一深度圖之方法及設備。
三維圖像呈現及處理近年來逐漸流行。此在很大程度上係歸因於三維(3D)顯示器之發展，三維顯示器藉由向一觀看者的雙眼提供正觀看場景之不同視圖而添加一第三維度至觀看體驗。此可藉由使該使用者戴眼鏡以分離所顯示的兩個視圖而達成。然而，由於可認為此對使用者不方便，在許多案例中偏好使用立體顯示器，該等立體顯示器使用顯示器處之構件(諸如雙凸透鏡或阻斷器)以分離視圖且在視圖個別可到達使用者的眼睛之不同方向上發送視圖。對於立體顯示器，需要兩個視圖，而裸眼立體顯示器通常需要更多視圖(諸如，例如九個視圖)。
經呈現三維圖像之品質取決於經接收圖像資料之品質，且具體言之，三維感知取決於經接收深度資訊之品質。
三維圖像資訊通常係由對應於該場景之不同視圖方向之複數個圖像提供。具體言之，包含某些3D資訊之視訊內容(諸如電影或電視節目)益增。可使用自稍微偏移相機位置擷取兩個同步圖像之專用3D相機擷取此資訊。
然而，在許多應用中，經提供圖像不一定直接對應於所需方向，或可需要更多圖像。例如，對於裸眼立體顯示器，需要兩個以上圖像且實際上通常使用9至26個視圖圖像。
為產生對應於不同視圖方向之圖像，可採用視點移位處理。此通常係由一視圖移位演算法而實行，該視圖移位演算法對一單個視圖方向使用一圖像連同相關聯之深度資訊。然而，為產生無顯著假影之新視圖圖像，經提供深度資訊必須足夠精確。
不幸的是，在許多應用及使用案例中，深度資訊不一定如要求般精確。
而基於習知二維圖像之三維成像可使用各種深度估計技術而進行，此等技術趨向於複雜且不精確，且通常需要大量人為輸入。然而，當增加地擷取內容時，亦擷取深度資訊。例如，當對一場景拍攝或錄像時，亦記錄深度以產生反映視覺圖像及深度兩者之一組合輸出。
此深度擷取通常係使用經配置以估計場景之深度特性之深度感測器來執行。各種深度感測器係已知的。
通常所使用的方法係使用呈立體相機之形式之一被動深度感測器。此一立體相機可僅僅記錄對應於兩個稍微不同視圖方向之兩個圖像。以此方式，三維場景可使用稍微不同位置處之兩個相機被擷取為立體圖像。具體深度值接著可藉由估計該兩個圖像中之對應圖像目標之間的像差而產生。
另一方法係使用一主動深度感測器。具體言之，主動深度感測器係已知的，其等包含將一紅外線光圖案投影在所記錄場景上之紅外線光發射器。一紅外線相機接著可擷取一紅外線圖像且偵測預期圖案之失真。基於此等失真，深度感測器可產生深度資訊。
在又另一實例中，一主動深度感測器可包括沿不同方向發射紅 外線光之一光發射器。可偵測並使用不同方向上之反射光之到達時間以推導深度資訊。
然而，雖然此等深度感測器與基於一單個二維圖像之估計相比通常可改良經產生深度資訊之品質，但是其等亦趨向於具有次佳效能。通常，經產生深度資訊並非在所有案例中皆最佳，且(例如)經產生深度圖可包括某些不精確或錯誤的深度值。當基於此深度資訊執行圖像處理或呈現時，此可再次導致偽像及一經降級三維圖像品質。
進一步言之，改良深度估計可通常必須使用專用且經具體修改的深度感測器。然而，此與標準或現成深度感測器之使用相比係不靈活的且增加成本。
因此，用於判定合適深度之一改良方法將係有利的，且特定言之，允許增加靈活性、促進實施、降低複雜性、一改良之3D體驗、改良之所得感知圖像品質、標準功能性之使用之改良穩定性及/或所產生之深度資訊之改良之深度之一方法將係有利的。
因此，本發明試圖優先地單獨或以任何組合緩解、緩和或消除一或多個以上提及的缺點。
根據本發明之一態樣，提供了一種用於判定一場景之一圖像之一深度圖之設備，該設備包括：用於判定該圖像之一第一深度圖之一主動深度感測器，該第一深度圖包括由該主動深度感測器判定之該圖像之像素之深度值；用於判定該圖像之一第二深度圖之一被動深度感測器，該第二深度圖包括由該被動深度感測器判定之該圖像之像素之深度值；一光判定器，其判定該場景之一光指示，該光指示包括指示該場景之一紅外線光光度之一第一紅外線光指示；用於藉由組合該第一深度圖及該第二深度圖來判定該圖像之一輸出深度圖之一深度圖處理器，該深度圖處理器經配置以判定該輸出深度圖之一深度值為該第 一深度圖及該第二深度圖之深度值之一組合，該組合取決於該第一紅外線光指示；且其中該光判定器經配置以判定可見光光譜之一頻率頻帶中之一光度之一可見光指示且根據該可見光指示估計該第一紅外線光指示。
該方法在許多實施例中可允許產生一經改良之深度圖，當用於圖像處理時該改良之深度圖可提供改良之品質。該改良在(例如)經修改深度圖用於圖像視圖移位時及/或在一裸眼立體顯示器上呈現三維圖像時尤為重要。
該方法在許多應用及案例中可提供待產生之更可靠及/或精確深度值。特定言之，發明者已意識到主動及被動深度感測器可展現出互補效能且由不同類型的感測器及深度感測產生之深度值之組合可提供經改良之深度值。特定言之，發明者已意識到使用指示場景之一光特性之一紅外線光指示以控制該組合可允許善用不同類型的深度感測器之互補行為及特性以提供改良之深度值及/或允許針對廣泛範圍的應用及場景環境產生深度值。
進一步言之，該方法可允許在許多實施例中促進實施且在許多實施例中尤其可允許使用標準或現成深度感測器。該方法例如可允許判定一紅外線光指示，其可足夠精確地反映(例如)環境紅外線光而非(例如)傳輸自該設備(或其他處)之紅外線光以用於進行主動深度感測之目的。例如，該方法在許多實施例中可允許產生一環境紅外線光指示且無需任何額外或專用設備。具體言之，在許多實施例中，此可在不需要專用紅外線量測功能性的情況下而達成並同時允許使用不提供任何環境光指示之一標準深度感測器。
紅外線光指示可具體為一環境紅外線光指示。此指示可指示當為了主動深度判定目的而未發射紅外線光時入射在該設備上(或感測器之至少一者上)之紅外線光之一光度。
可見光指示可指示場景之一紅外線光特性，諸如一紅外線光光度。紅外線光指示可具體為指示環境紅外線光之一特性之一環境紅外線光指示。環境紅外線光可具體對應於並非由來自主動深度感測器之一光發射器之光發射引起的紅外線光。
在許多案例中，一環境光指示可為一被動及主動深度感測器之相對效能之一特別良好指示符。例如，其可反映一可能的信雜比且因此反映主動深度感測器之可靠性。
在許多實施例中，光判定器可回應於由可見光相機偵測之一經量測光度估計一環境紅外線光光度。
在許多實施例中，光判定器可經配置以根據來自可見光相機之圖像資料且根據可見光相機之一擷取持續時間估計紅外線光指示。
可見光指示可具體指示可見光光譜之頻率頻帶中之一光度。
該等圖可為全部或部分圖。例如，第一及/或第二深度圖可包括僅圖像之像素之一子集之深度值。在某些實施例中，第一及第二深度圖之各者可包括圖像之每一像素之一深度值。(例如)多個像素之間可共用某些或所有深度值。例如，圖像之像素可劃分為(例如)4x4或8x8像素群組，且可為深度圖中之每一群組提供一深度值。該等深度圖可具有相同或不同解析度。深度圖之各者可具有相同或不同於圖像之解析度之一解析度。
包括在深度圖中之深度值可為深度之任何合適的表示，諸如具體一深度座標(z)值或表示不同視圖方向之圖像之間之移位之一像差值。
該組合之深度值可具體包含相對於一共同座標系統/一共同視圖方向同置之深度值或由該等深度值組成。經組合之深度值(或其中的至少某些)可具體相對於一共同座標系統以輸出資料值同置。具體言之，第一輸出深度值在許多實施例中可回應於來自第一深度圖之一第 一深度值與來自第二深度圖之一第二深度值之一組合而產生(或產生作為該組合)，該輸出深度值、該第一深度值及該第二深度值具有參考一共同座標系統/共同視圖方向之對應位置(或同置)。經同置之輸出深度值、第一深度值及第二深度值之位置在深度圖中可與不同位置有關，前提係該等深度圖係用於不同視圖方向。然而，深度值可具有一共同視圖方向之對應位置，且具體言之，其等可在以下意義中同置：若其等位置被變換為共同座標系統，則其等將對應於相同位置。共同座標系統可具體為輸出深度圖及/或圖像之座標系統/視圖方向。
在某些實施例中，該組合可為一選擇組合。因此，在某些實施例中，深度圖處理器可經配置以藉由回應於/取決於光指示在第一深度圖之一(經同置之)深度值與第二深度圖之一(經同置之)深度值之間作出選擇來產生輸出深度圖之深度值。
主動深度感測器可包括發射具有由主動深度感測器使用來判定第一深度圖之深度值之一特性之紅外線光之一光發射器。該特性可具體為一空間特性且主動深度感測器可經配置以基於空間特性判定第一深度圖之深度值。主動深度感測器可經配置以基於場景藉由具有一預定(通常)空間特性之一光照明之一呈現而判定第一深度圖之深度值。主動深度感測器可經配置以回應於一紅外線光信號之一感測而判定第一深度圖。主動深度感測器可具體回應於經擷取紅外線光之一性質與經發射紅外線光之一性質之比較而判定第一深度圖。例如，該性質可為一空間圖案或一時間性質。
被動感測器可經配置以在對照明場景之光之一預定空間及/或預定性質不進行任何呈現下判定第二深度圖之深度值。被動深度感測器可不包括任何光發射器。被動深度感測器可經配置以僅基於環境光判定第二深度圖之深度值。
光指示可因此在許多實施例中指示場景之一紅外線光光度。光 指示可為包括多個指示之一復合指示，且具體言之，光指示可由複數個值形成，其中每一值指示一不同光特性，諸如(例如)不同頻率頻帶中之光度。作為一具體實例，光指示可包括指示場景之可見光之一程度或光度之一可見光指示及指示場景之紅外線光之一程度或光度之一紅外線光指示。
該組合可包括回應於第一深度圖及第二深度圖之深度值之一加權組合而判定輸出深度圖之深度值，深度值之至少一者之權重取決於第一紅外線光指示。
此可在許多實施例及案例中提供一改良之深度圖。特定言之，其可提供由不同類型的深度感測器產生之深度之一更漸進加權，從而導致許多實施例中之一更精確深度值。
在某些實施例中，主動深度感測器可包括一紅外線光發射器且可經配置以回應於紅外線光之量測而產生第一深度圖之深度值，且被動深度感測器可包括至少一可見光相機且可經配置以回應於可見光之量測而產生第二深度圖之深度值。
此可允許在許多實施例中產生改良之深度值及/或可允許在更大範圍的應用及案例中(自動地)產生深度資訊。特定言之，該方法可善用基於紅外線之主動深度感測器及基於擷取可見光頻率範圍中之圖像之深度感測器之互補行為及特性。
在某些實施例中，至少一可見光相機可包括不同視圖方向處之複數個光相機。具體言之，被動深度感測器可包含一立體相機。在此等實施例中，被動深度感測器可經配置以回應於由相機以不同視圖方向擷取之圖像之間之一像差估計而判定深度值。
在某些實施例中，光指示可進一步包括可見光指示，且該組合可回應於可見光指示。
此可在許多實施例及案例中提供改良之深度值。頻率頻帶可(例 如)對應於全可見頻率範圍(或可包含此)或可(例如)僅為全可見頻率範圍之一子集。
在許多實施例中，第二深度圖之深度值之一加權針對可見光指示一增加光度而增加。
可見光指示可指示場景之一可見光特性，諸如一可見光光度。
在許多案例中，一可見光指示可為一被動及主動深度感測器之相對效能之一特別良好指示符。
根據本發明之一可選特徵，第一紅外線光指示係指示當設備未發射紅外線光時紅外線光之一光度之一環境紅外線光指示。
此可在許多實施例中提供改良之操作及/或效能。其可(例如)允許系統調適深度圖之產生以更精確地反映主動深度感測器之相對效能。例如，其可允許在執行主動深度感測時估計並考慮干擾條件。
根據本發明之一可選特徵，光判定器經配置以基於來自可見光相機之資料產生可見光指示。
此可允許許多實施例中之改良之效能及/或可降低複雜性。其在許多系統中可允許產生局部光指示，藉此允許深度值之一更有效且局部最佳化產生。
根據本發明之一可選特徵，資料包括一圖像擷取持續時間。
此可允許許多實施例中之改良之效能及/或可降低複雜性。其在許多系統中可允許產生局部光指示，藉此允許深度值之一更有效且局部最佳化產生。
圖像擷取時間可具體為相機之一快門時間，且可對應於其中相機之光記錄元件(例如，CCD)收集光之積分時間。
根據本發明之一可選特徵，資料包括由該可見光相機擷取之一圖像，且該光判定器經配置以回應於圖像資料值判定該可見光指示。
此可允許許多實施例中之改良之效能及/或可降低複雜性。其在 許多系統中可允許產生局部光指示，藉此允許深度值之一更有效且局部最佳化產生。該方法可(例如)允許可見光指示反映每一個別像素之光度，藉此允許逐個像素地最佳化該組合。該方法可進一步允許產生一改良之紅外線光指示，因為此可基於一改良之可見光指示。
在某些實施例中，光判定器經配置以回應於圖像資料值及圖像擷取持續時間而判定可見光指示。
在某些實施例中，可見光指示包括圖像之不同區域之不同值，且光判定器可經配置以回應於由可見光相機在對應於圖像之一第一區域之一區域中擷取之像素之圖像資料值而產生該第一區域之一可見光指示。類似地，可針對個別區域產生紅外線光指示，因為其可基於區分不同區域之可見光指示。
此可允許光指示反映圖像及深度圖之局部特性，且因此可允許深度值之產生之一局部最佳化。該方法可(例如)允許可見光指示反映每一個別像素之光度，藉此允許逐個像素地最佳化該組合。
根據本發明之一可選特徵，該光指示包括回應於該紅外線光光譜之一頻率頻帶中之一光量測而判定之一第二紅外線光指示。
此可在許多實施例及案例中提供改良之深度值。頻率頻帶可(例如)對應於紅外線頻率範圍(或可包含此)或可(例如)僅為紅外線頻率範圍之一子集。特定言之，一經直徑量測紅外線光光度及一經估計紅外線光光度之組合可允許第一深度圖之經判定深度值之可靠性及精確度之一改良之估計。
根據本發明之一可選特徵，該第二紅外線光指示係指示當該場景經照明來由該主動深度感測器執行深度判定時一紅外線光光度。
此可在許多實施例及案例中提供改良之深度值。特定言之，其可允許主動深度判定之可靠性之一更精確估計。
根據本發明之一可選特徵，該第一紅外線光指示係指示當該場 景未經照明來由該主動深度感測器執行深度判定時一紅外線光光度。
此可在許多實施例及案例中提供改良之深度值。特定言之，指示一環境光光度(未發射光)之一紅外線光光度與指示當出於主動深度感測而發射光時紅外線光光度之一光指示之組合可導致主動深度感測之效能之改良之估計。特定言之，其可允許估計有效信號干擾比或條件。
根據本發明之一可選特徵，該深度圖處理器經配置以相對於針對該第一紅外線光指示係指示紅外線之一增加光度之該第二深度圖之深度值降低該第一深度圖之深度值之一權重，且相對於針對該第二紅外線光指示係指示紅外線之一增加光度之該第二深度圖之深度值增加該第一深度圖之深度值之一權重。
此可在許多實施例及案例中提供改良之深度值。
根據本發明之一可選特徵，該光指示包括該圖像之不同區域之個別光指示值，且該深度圖處理器經配置以回應於個別區域之一光指示值組合每一個別區域之深度值。
此可允許深度值之產生的局部最佳化。該方法可(例如)允許可見光指示反映每一個別像素之光度，藉此允許逐個像素地最佳化該組合。
根據本發明之一可選特徵，該深度圖處理器經配置以相對於針對該可見光指示係指示可見光之一增加光度之該第一深度圖之深度值而增加該第二深度圖之深度值之一權重。
此可提供許多實施例中之一更精確及/或可靠判定。
在某些實施例中，該深度圖處理器經配置以相對於針對可見光指示係指示紅外線光之一增加光度之第二深度圖之深度值而增加第一深度圖之深度值之一權重。
此可提供許多實施例中之一更精確及/或可靠判定。
在某些實施例中，該判定器經配置以根據該被動深度感測器之一可見光相機的圖像資料來估計該紅外線光指示。該光判定器可經配置以回應於由該可將光相機擷取之該圖像之彩色通道之一第一子集之圖像資料相對於由該可見光相機擷取之該圖像之彩色通道之一第二子集之圖像資料之一比較而判定該紅外線光指示。
此可提供許多實施例中之一更精確及/或可靠判定。在許多實施例中，第一子集可包含一紅色通道。在許多此等實施例中，第二子集可包含全部非紅色通道。例如，對於RGB值，第一子集可包括R通道，且第二子集可包括G及B色彩通道。
第一及第二子集係不同子集，且可具體(但不一定)係不相交子集。
在某些實施例中，可見光相機包括一紅外線衰減濾光器，其經配置以相對於第一子集之至少一色彩通道具有第二子集之至少一色彩通道之較高紅外線衰減。
紅外線衰減濾光器可具體為一紅外線阻斷濾光器。此可提供許多實施例中之一更精確及/或可靠判定。
根據本發明之一可選特徵，該深度圖處理器經配置以回應於該可見光指示及該紅外線光指示兩者來判定該第一深度圖之深度值相對於該第二深度圖之深度值之一組合權重。
此可提供許多實施例中之一更精確及/或可靠判定。
在某些實施例中，被動深度感測器包括一立體相機，且經配置以根據對由立體相機產生之一立體圖像執行之一像差估計來判定第二深度圖，該設備進一步經配置以判定立體圖像之一空間均勻度指示，且該組合取決於空間均勻度。
此可提供許多實施例中之一更精確及/或可靠判定。
在某些實施例中，被動深度感測器包括至少一可見光自動對焦 相機，且該組合進一步回應於可見光自動對焦相機之一自動對焦。
此可提供許多實施例中之一更精確及/或可靠判定。
根據本發明之一態樣，提供一種用於判定一場景之一圖像之一深度圖之方法，該方法包括：判定該圖像之一第一深度圖，該第一深度圖包括由一主動深度感測器判定之該圖像之像素之深度值；判定該圖像之一第二深度圖，該第二深度圖包括由一被動深度感測器判定之該圖像之像素的深度值；判定指示該可見光光譜之一頻率頻帶中之一光度之一可見光指示；根據該可見光指示來估計一紅外線光指示；判定該場景之一光指示，該光指示包括指示該場景之一紅外線光光度之一紅外線光指示；藉由組合該第一深度圖及該第二深度圖來判定該圖像之一輸出深度圖，該輸出深度圖之該判定包括判定該輸出深度圖之一深度值為該第一深度圖及該第二深度圖之深度值之一組合，該組合取決於該光指示；且其中判定該光指示包括根據該可見光指示來估計該第一紅外線光指示。
將根據下文描述之實施例而明白且參考下文描述之實施例而闡明本發明之此等及其他態樣、特徵及優點。
101‧‧‧可見光相機/第一相機
103‧‧‧主動深度感測器
105‧‧‧被動深度感測器
107‧‧‧組合器/深度圖處理器
109‧‧‧光判定器/光感測器
201‧‧‧紅外線光發射器
203‧‧‧紅外線相機
205‧‧‧第一深度處理器
207‧‧‧第二可見光相機
209‧‧‧第二深度處理器
211‧‧‧光感測器
將僅藉由實例方式參考圖式描述本發明之實施例，在圖式中：圖1係根據本發明之某些實施例之用於判定一深度圖之一設備之元件之一實例之一圖解說明；及圖2係根據本發明之某些實施例之用於判定一深度圖之一設備之元件之一實例之一圖解說明。
圖1圖解說明用於判定一圖像之一深度圖之一設備之一實例。該設備具體判定在圖像中擷取之一場景之一深度圖。圖像之擷取可具體藉由一單獨習知可見光相機101沿與由該設備使用之深度感測器相同 之一般方向擷取而進行。在許多實施例中，相機及深度感測器可經提供定位一起緊靠在一單個外殼中。在許多實施例中，擷取圖像之相機實際上亦可為該設備之一深度感測器之部分之一相機，即，深度圖產生可基於由亦擷取圖像之相機擷取之資料。
圖1之設備包括不同類型之兩個深度感測器。具體言之，該設備包括一主動深度感測器103及一被動深度感測器105。
主動深度感測器103經配置以判定圖像之一第一深度圖。第一深度圖包括圖像之像素之深度值，其等係由主動深度感測器103判定。主動深度感測器103因此可判定一深度圖之深度值，其中深度圖反映給定像素處之像素中勾畫之目標之經估計深度。
類似地，被動深度感測器105經配置以判定圖像之一第二深度圖。第二深度圖包括圖像之像素之深度值，其等係由被動深度感測器105判定。被動深度感測器105因此可判定一深度圖之深度值，其中深度圖反映給定像素處之像素中勾畫之目標之經估計深度。
深度圖可為部分圖，即，深度值不一定被提供用於深度圖及/或圖像之所有像素。進一步言之，深度之解析度可不同，且進一步言之，深度圖之一或兩者之解析度可不同於圖像之解析度。實際上，在許多實施例中，深度圖之解析度可低於圖像之解析度。
一主動深度感測器可基於場景之一具體照明之一呈現執行深度感測。具體言之，其可基於場景由具有一特性(由主動深度感測器已知/呈現)之一光照明之一呈現執行深度判定。深度判定可基於偵測或估計該特性之變動。
例如，主動深度感測器103可回應於場景由具有一空間特性之一光照明之一呈現判定深度值。深度可藉由偵測自場景擷取之光之空間特性且比較此與照明光之空間特性而判定。
在許多實施例中，主動深度感測器103包括發射具有一呈現/已知 空間特性之一光之一光發射器。主動深度感測器103可進一步包括用於擷取光之一光感測器且可回應於經擷取光之空間特性相對於呈現/已知空間特性之一比較判定深度值。
具體言之，在圖1之系統中，主動深度感測器103經配置以回應於場景之一紅外線照明之特性判定深度值，且因此主動深度感測器103基於紅外線光執行深度估計。具體言之，該設備且通常主動深度感測器103自身可包括發射一紅外線光圖案(諸如(例如)一斑紋圖案或光點之一規則格子)之一紅外線光發射器。紅外線光圖案將命中不同距離處之場景之目標，且因此可(例如)導致圖案中可由主動深度感測器103之一紅外線相機偵測且用以估計至目標之深度之一失真。
主動深度感測器趨向於使用照明場景之一光源。此光源可經空間或時間調變。使用一結構化光源(空間調變)之一感測器之一實例在Z.Zhang發表在IEEE多媒體第19卷第2期第4頁至第10頁(2012年)的Microsoft Kinect Sensor and Its Effect中描述。使用飛行時間以計算深度之一經時間調變光源之一實例在S.Burak Gokturk、Hakan Yalcin、Cyrus Bamji發表在IEEE Computer Vision and Pattern Recognition Workshop(2004年)的A Time-Of-Flight Depth Sensor-System Description,Issues and Solutions中描述。
一被動深度感測器經配置以基於環境光判定深度且因此不包含或呈現照明場景之光之任何具體特性。具體言之，深度感測可僅基於光之呈現：存在足夠多的光以允許(至少某些)圖像目標在自場景擷取之圖像中區分。具體言之，可在不對照明場景之光之任何空間變動進行任何呈現之情況下執行判定。
例如，在許多實施例中，被動深度感測器105可包括兩個空間偏離相機，其等擷取場景之圖像並試圖藉由圖像中之目標偵測後續接著像差估計而判定深度值。目標偵測僅僅係基於圖像內容及該兩個圖像 之間之目標匹配，而不考慮照明場景之光之任何具體空間特性。
被動深度感測器並未趨向於使用一單獨光源，反而通常僅僅取決於環境光條件。一種眾所周知的技術係立體像差估計，其中兩個空間偏離相機中之目標之間之位置中的明顯移位用以計算深度。另一已知技術使用一單個相機，但是使用一經修改光圈。此技術成為編碼光圈且亦可用以計算深度。
某些主動深度感測器可基於飛行時間估計。此等方法通常不使用一具體空間照明圖案。實情係，此等飛行時間方法可通常基於該光源傳輸一具體光脈衝(FM或其他)(及因此一時間圖案)且該感測器經適當組態以能夠將經擷取光轉換為一深度讀數。
通常，主動深度感測器係基於呈現一空間及/或時間光圖案或特性之深度判定。主動深度感測器103可因此包括產生此一空間及/或時間光圖案之一光源且可回應於該圖案產生深度圖。實際上，在許多實施例中，該設備可包括一紅外線光發射器且可經配置以回應於紅外線光之量測產生第一深度圖之深度值。例如，該場景可由產生一紅外線圖案之一紅外線光照明。此圖案係由目標反映，且目標之相對深度導致圖案之一失真。主動深度感測器103可接著回應於圖案中之失真判定第一深度圖之深度估計。作為另一實例，可產生一紅外線信號且可估計不同方向上在主動深度感測器104處返回接收之反射之時間。接著可回應於此等飛行時間量測判定深度估計。
在系統中，主動深度感測器103及被動深度感測器105耦合至一組合器/深度圖處理器107。深度圖處理器107經配置以藉由組合第一深度圖及第二深度圖產生圖像之一輸出深度圖。
在某些實施例中，第一及第二深度圖可針對相同視圖方向/參考相同座標系統而產生。因而，可直接比較深度圖位置。因此，在許多實施例中，深度圖之間之視點差可為小(或實際上深度圖可表示相同 視點)，且深度圖中之位置可彼此直接對應。因此，在某些實施例中，第一深度圖中之一位置中之一深度像素及第二深度圖中之相同位置中之一深度像素可(被視為)直接關聯於場景中之相同位置/方向。因此，可呈現深度圖中之相同像素位置中之深度值係關於相同目標且因此其等可直接組合。
然而，在許多實施例中，經產生深度圖可為對不同座標系統/視點之參考，即，其等可包括關於不同視點之深度值。具體言之，深度圖可獲自不同空間位置且因此各自具有其等自身的相機座標系統。在此一情況中，第一深度圖及/或第二深度圖可藉由一視點移位產生自主動及被動感測器之原始深度圖，使得為相同視點提供第一深度圖及第二深度圖。因此，第一深度圖及第二深度圖可產生自感測器之深度圖，使得其等係關於相同座標系統，且因此使得第一及第二深度圖中之相同相對位置處之深度值可直接比較且係關於場景中之相同位置/目標。
此可(例如)使用對相機位置及使用一已知深度圖案之預校準之瞭解而進行。在許多實施例中，深度圖之間之視圖位置調整可由施加於一深度圖之一視點移位使得其具有與另一深度圖相同之視點而達成。作為另一實例，該兩個深度圖皆可移位至與產生圖像之相機相同之視點(實際上亦可對應於尤其被動感測器可產生深度之一視點方向)。
在某些實施例中，第一深度圖及第二深度圖可關於不同視點，例如第一深度圖及第二深度圖可為直接分別由主動深度感測器103及被動深度感測器105產生之深度圖。在此等實施例中，該組合可經配置以考量視點差。例如，當選擇深度值以組合一輸出深度值時，該組合可包含深度圖之一者相對於另一深度圖之深度值之一水平偏差以反映視點偏差。
在下文中，對深度圖中之位置之參考可關於一共用座標系統中 之對應位置。深度值之位置可具體參考第一深度圖及第二深度圖共有之一參考視點(及圖像及/或輸出深度圖)。
具體言之，對應的或集中位置可指代其中參考相同視點/座標系統之案例之第一深度圖及第二深度圖中之相同像素位置。在其中第一深度圖及第二深度圖參考不同座標系統或視點之案例中，其可關於對應於共用座標系統/視點中之相同位置之深度圖中之不同像素位置。
以下論述將簡要且清楚地聚焦於實施例，其中第一深度圖及第二深度圖可參考相同座標系統/視點，且其中深度圖中之相同位置因此係指場景中之相同位置/方向/視線。然而，將明白，此對於系統並非必需的且在其他實施例中可採用對不同座標系統之補償。
深度圖處理器107經配置以藉由組合分別在第一及第二深度圖中之對應位置處之深度值判定輸出深度圖中之一給定位置處之深度值，且因此具體判定共用座標系統中之相同位置處之深度值。因此，輸出深度圖可藉由組合分別由主動深度感測器103及被動深度感測器105產生之深度圖而產生。輸出深度圖因此可包含具有來自主動及被動深度感測之組合之深度值。
該組合在某些實施例中可為一低複雜度選擇組合，其中(例如)輸出深度圖之一給定位置之深度值被產生作為第一深度圖中之該位置處之深度值或第二深度圖中之該位置處之深度值。
在其它實施例中，輸出深度圖之一給定位置之深度值可(例如)產生作為第一深度圖中之該位置處之深度值與第二深度圖中之該位置處之深度值之一加權組合。因此，輸出深度圖之深度值可包含來自第一深度圖及第二深度圖之兩個深度值之貢獻。
在該系統中，該組合取決於一光指示，其指示場景之一光特性且具體指示場景之一光度。一光度可反映光量或光密度。光度可在一頻率範圍中。例如，一可見光光度可為入射在一感測器上的在可見光 譜之一頻率範圍(對應於人類可見之一頻率範圍)中之電磁輻射量之一量測。一可見光光度在某些實施例中可為入射在一感測器上的在可見光譜之一頻率子範圍中之電磁輻射量之一量測。例如，可見光光度可反映一給定色彩範圍中之一光量或光密度。一可見光光度可為入射在一感測器上的在紅外線光譜之一頻率範圍中之電磁輻射量之一量測。
光指示具體包括一第一紅外線光指示，其指示場景中之紅外線光之一特性。具體言之，紅外線光指示係指示場景中之紅外線光之一光度且具體指示場景之紅外線照明。
因此，光特性可具體為一紅外線光光度且因此光指示在許多實施例中可包括指示場景之紅外線光之一光度之一紅外線光指示。紅外線光指示可指示場景之紅外線照明(例如，由環境或專用光源)之一程度。紅外線光指示可提供自場景到達該設備之光量之一指示，且具體可為到達深度感測器之一或二者之紅外線光量(例如，在一給定頻率光譜中)之一量測或估計。
因此，圖1之深度判定設備包括經配置以判定場景之一光指示之一光判定器109，其中光指示包括指示場景之一紅外線光特性或性質且具體指示場景之一紅外線光光度之一第一紅外線光指示。光判定器109耦合至具有光指示之深度圖處理器107，該光指示接著用以調適第一及第二深度圖之組合。
在該系統中，光判定器109經配置以根據針對可見光光譜中之一頻率頻帶判定之一可見光指示來估計第一紅外線光指示。具體言之，光判定器109可量測(可見光光譜中之一合適頻率頻帶中之)可見光之一光度，且接著可根據此可見光估計(紅外線光光譜中之一合適頻率頻帶中之)紅外線光之一光度。此經估計光度可接著用作紅外線光指示，且實際上可直接用作光指示。因此，在某些實施例中，光指示可僅包括一單個參數，即，紅外線光指示。
因此，在該系統中，第一深度圖及第二深度圖之深度值之組合取決於第一紅外線光指示，其被判定為基於針對可見光光譜之一頻率頻帶判定之一可見光指示之一估計。
第一紅外線光指示可具體指示當未提供紅外線照明用於深度判定時之一時間期間(例如，在當未傳輸紅外線圖案且未產生紅外線信號用於飛行時間量測之一時間處)該場景之紅外線光之一性質及通常紅外線光之光度。實情係，第一光指示可提供當主動深度感測器並未作用(或反而用於深度感測之紅外線照明未作用)時該場景之紅外線光光度之一指示。第一紅外線光指示將因此亦稱為環境光指示。
環境光指示可具體反映存在於場景中已擷取之環境紅外線光量。例如，對於強日光下的海岸或海濱之一室外場景，紅外線光量通常為高且此可反映在環境光指示中。相比之下，對於(例如)一客廳之一室內場景，紅外線光指示可相對較低。在該兩種情形中，由主動感測器在執行深度感測時產生且自一前景目標(例如，人)反射回至主動深度感測器103之紅外線光可相同。然而，在此一情況中，環境光指示可反映環境紅外線光光度而非經反射紅外線光。
環境光指示例如在許多案例中可被視為反映對基於由一紅外線光主動照明之場景之一主動深度估計之干擾。例如，在某些實施例中，主動深度感測器103可傳輸一紅外線圖案，其中當由場景中之目標反射時回應於此圖案之經偵測失真判定深度估計。然而，若環境紅外線光之一光度為高(例如，歸因於大量日光)，則深度估計可較為不精確，因為可能更難以偵測明亮紅外線圖像中之具體圖案。然而，回應於可見光判定一紅外線光指示提供此環境光之一估計且此可因此用以調適該組合以反映紅外線環境光之程度。
基於可見光光譜中之量測估計(環境)紅外線光之方法已被發現在許多典型案例中產生精確估計。此外，該方法允許基於通常出於其他 目的存在之資料、量測及/或功能性進行判定。例如，其可基於一標準光感測器及/或基於由一可見光相機(諸如用於被動深度判定之一相機)提供之資料。通常，諸如一紅外線深度相機之被動紅外線深度感測器並未提供關於紅外線環境之任何資訊。實際上，典型的紅外線主動深度感測器至多提供反映當執行深度感測時(即，當由主動紅外線信號照明場景時)之紅外線光度之一光指示。此一紅外線感測器/相機不允許理想光與干擾光之間存在任何區別，即，其不允許深度判定之有效信雜比之任何估計。在許多實施例中，光判定器109包括經配置以量測來自場景之可見光之光度之一可見光感測器。
作為一低複雜度實例，光判定器109可包括一光感測器，其僅僅量測場景之總光度，即，其可僅僅量測光感測器上之入射光之一光度且此量測可用以判定光指示。光感測器可經配置以量測可見光之總光度且因此可提供(例如)當前圖像是否係針對反映明亮室外日光、黃昏、一室內黑暗房間等之一場景而擷取之一良好指示。進一步言之，可根據可見光指示判定一紅外線光指示。例如，可使用一比例因子使得一紅外線光光度被視為經確定可見光度之一預定部分。
實際上，在許多實施例中，紅外線光度可被判定為經量測可見光光度之一單調遞增函數。該函數可通常為一預定函數。例如，在一低複雜度實施例中，紅外線光指示可被給定為被估計為經量測可見光光度之一預定部分之一紅外線光光度。
在此一案例中，深度圖處理器107可經配置以基於總紅外線光光度之此指示來組合第一深度圖及第二深度圖。
例如，當光指示指示場景極明亮時，來自第二深度圖之深度值(即，由被動深度感測器105產生之深度值)可極重地加權，而來自第一深度圖(即，來自主動深度感測器103)之深度值可具有低權重。若光指示反而指示場景極暗，則來自第一深度圖之深度值(即，由主動 深度感測器103產生之深度值)可極重地加權，而來自第二深度圖(即，來自被動深度感測器105)之深度值可具有低權重。實際上，在某些實施例中，可使用選擇組合，其中深度圖處理器107在光指示指示低於一給定臨限值之一光度時選擇第一深度圖之深度值，且在光指示指示高於給定臨限值之一光度時選擇第二深度圖之深度值。
此一方法可因此反映當可見光度為高時，被動深度感測器(例如，一可見光立體相機)有可能可在溫和條件下操作。同時，紅外線光光度可極高(例如，其可指示導致可見光及紅外線範圍兩者中之明亮照明之明亮日光)。因此，雖然場景可提供高紅外線反射率，且因此提供來自主動照明之一明亮反射紅外線圖案(或其他信號)，但是高光度之環境紅外線光的存在可對圖案偵測產生極低的信雜比，且因此導致一相對不精確的主動深度判定。相比之下，對於低可見光，被動深度感測器不可能充分執行，而主動深度感測器可充分執行，因為不干擾來自環境紅外線光之經產生主動紅外線光。
該系統可因此基於場景之照明而動態地組合來自一主動深度感測器103及一被動深度感測器105的深度值。此可大幅改良經產生深度圖，且特定言之可提供一深度判定設備，其可提供用於一顯著更大範圍之擷取環境的可用深度圖。
在許多實施例中，該設備(且具體主動深度感測器103)可包括一紅外線光發射器，且可經配置以回應於紅外線光之量測而產生第一深度圖之深度值。進一步言之，被動深度感測器105可包括至少一可見光相機，且經配置以回應於可見光之量測而產生第二深度圖之深度值。具體言之，被動深度感測器105可包括具有擷取可見光以產生圖像之兩個空間偏離相機之一立體相機。
圖2圖解說明此一實施例之一實例。
在該實例中，被動深度感測器105包括一紅外線光發射器201， 其發射紅外線光且具體發射紅外線光之一圖案。被動深度感測器105進一步包括一紅外線相機203，其經配置以自場景擷取紅外線光，且具體可記錄如反射自場景之目標的發射光圖案。
紅外線相機203經耦合至一第一深度處理器205，其經配置以基於接收自紅外線相機203之圖像來產生第一深度圖之深度值。
例如，第一深度處理器205可經配置以回應於經偵測紅外線光圖案與對投影圖案之瞭解之一比較來判定圖像之不同部分的深度值。因此，圖案中之失真及偏差可用以判定深度值。作為另一實例，紅外線相機203可為一立體相機，且第一深度處理器205可經配置以根據由紅外線相機203產生之兩個圖像中之圖案之對應部分之經估計像差來判定深度值。
被動深度感測器105包括一立體相機，其經配置以自不同視圖方向擷取兩個同時圖像中之一場景。在該實例中，立體相機包括兩個空間偏離可見光相機，其中一相機101亦提供深度圖經判定之圖像。因此，由第一相機101(對應於圖1之可見光相機101)擷取之圖像不僅係產生一深度圖之輸出圖像，而且由被動深度感測器105使用以判定第二深度圖。在該實例中，立體相機進一步包括與第一相機101同時擷取圖像之一第二可見光相機207。該兩個相機可為相似空間偏差相機。
由兩個可見光相機101、207擷取之圖像被饋送至一第二深度處理器209，其經配置以藉由該兩個經接收圖像之間的像差估計來判定來自第一相機101之圖像的深度值。第二深度處理器209可具體試圖識別該兩個圖像中之對應圖像目標，且根據該兩個圖像中之圖像目標之位置的相對偏差(即，根據像差)來判定此一目標的深度。因此，被動深度感測器105之深度判定並非基於場景之照明之具體呈現或對其之瞭解。
與基於場景之主動照明執行深度判定的主動深度感測器103相比，被動深度感測器105基於場景的環境照明來判定深度。
在某些實施例中，光判定器109可包括僅僅量測場景之一般總光度之一光感測器211。
在許多實施例中，經量測光可為場景中之可見光度之光度之一量測。因此，光指示可包含基於一可見光指示且具體基於一可見光量測來判定之一紅外線光指示。在許多實施例中，光指示可進一步包括可見光指示，即，光指示可為包括一可見光指示及一紅外線光指示兩者之一復合光指示。
可針對可見光光譜之一頻率頻帶判定可見光指示。頻率頻帶可包括全部可見光光譜或可(例如)僅為可見光光譜之一子範圍。在許多實施例中，光感測器211可僅僅為與可見光譜之外的光相比增加對可見光之敏感度之一感測器，且因此可提供反映場景之可見光照明之一光量測，即，其可自動地提供一可見光指示。
深度圖處理器107可基於光指示組合第一及第二深度圖。作為一實例，若光指示指示環境紅外線光光度低於一給定位準，則深度圖處理器107可選擇第一深度圖，否則可選擇第二深度圖。在許多實施例中，可藉由回應於環境紅外線光指示是否高於或低於一臨限值選擇深度圖之一者來執行一選擇組合。
在其他實施例中，可由第一及第二深度圖之值之一加權組合產生輸出深度值，其中加權係取決於環境紅外線光指示。具體言之，輸出深度值可被計算為第一及第二深度圖之深度值之一加權和，例如：d out (x,y)=α．d 2 (x,y)+(1-α)d 1 (x,y)，其中d1(x,y)及d2(x,y)分別係位於x及y處之第一及第二深度圖之深度值，且α係被提供作為指示所偵測之可見光量之一正規化([0；1]之間 隔)值(其中較高值指示較高光度)之可見光指示。
在諸如上文描述之許多系統中，第二深度圖之深度級相對於第一深度圖之深度級之權重對於指示紅外線光之一增加光度之環境紅外線光指示而增加。例如，可呈現所反射之經發射紅外線光量係相對恆定的。環境紅外線光量可因此直接用作主動深度感測器103之一信雜比。此可反映在以上組合中。環境紅外線光光度愈高，主動深度感測器103擷取的紅外線圖像之信號干擾比或信雜比愈低，且因此第一深度圖值之權重愈低。
在某些實施例中，光判定器109可判定光指示進一步包含針對主動深度判定照明場景時該場景中之紅外線光之一第二指示且具體包含當此係由該設備照明時該場景中之紅外線光度之一第二指示。此指示在下文中將被稱為一主動紅外線光指示。因此，光指示可包括一主動紅外線光指示。
實際上，主動紅外線光指示可被視為用於主動深度判定之紅外線「信號」(或信號加干擾)之一指示，且環境紅外線光指示可被視為對主動深度判定之干擾之一指示。由主動紅外線光指示及環境紅外線光指示提供之組合資訊可因此提供主動深度感測器103之深度感測效能之一極佳指示(其指示信號干擾比)。因此，第一及第二深度圖之組合可回應於環境紅外線光指示及主動紅外線光指示兩者。
主動紅外線光指示可針對紅外線光光譜之一頻率頻帶且具體藉由當照明場景之一時間期間且通常在實際上執行主動深度判定之一時間期間直接量測紅外線光光譜中之紅外線光而判定。頻率頻帶可包括整個紅外線光光譜或可(例如)僅為紅外線光光譜之一子範圍。在許多實施例中，光感測器211可為或包含與對紅外線光譜之外的光相比對紅外線光增加敏感度之一紅外線感測器，且可因此提供反映場景之紅外線光照明之一光量測，即，其可自動地提供一紅外線光指示。
深度圖處理器107可基於環境紅外線光指示及主動紅外線光指示組合第一及第二深度圖。作為一實例，若主動紅外線光指示與環境紅外線光指示之間的比高於一給定位準，則深度圖處理器107可選擇第一深度圖，否則可選擇第二深度圖。
在其他實施例中，可由第一及第二深度圖之值之一加權組合產生輸出深度值，其中加權係取決於主動紅外線光指示及環境紅外線光指示兩者。具體言之，輸出深度值可被計算為第一及第二深度圖之深度值之一加權和，例如：d out (x,y)=β．d 1 (x,y)+(1-β)d 2 (x,y)，其中d1(x,y)及d2(x,y)分別係位於x及y處之第一及第二深度圖之深度值，且β係基於主動紅外線光指示及環境紅外線光指示兩者(例如，此等光指示之間之一差值或比)產生以作為一正規化([0；1]的間隔中)值指示紅外線光信雜比之一值。
在諸如上文描述之許多系統中，第一深度圖之深度值相對於第二深度圖之深度值之加權可對於指示相對於環境紅外線光光度之主動紅外線光光度之一增加光度之紅外線光指示而增加。同時，第一深度圖之深度級相對於第二深度圖之深度級之加權可對於指示環境紅外線光指示之一增加光度之紅外線光指示而降低。此一方法可對主動深度判定之有效信號干擾比中之變動提供一有效回應。例如，深度圖處理器107可經配置以(例如)藉由自主動紅外線光指示減去環境紅外線光指示而判定一差值紅外線光指示。由主動深度感測器103判定之第一深度圖(即，深度值)之權重可接著被判定為此差值指示之一單調遞增函數(且第二深度圖之權重被判定為此差值指示之一單調遞減函數)。
其中組合係基於一主動紅外線光指示及一環境紅外線光指示兩者之一方法可在許多實施例中提供特別有效操作。具體言之，其可在 許多應用中允許使用現有的現成設備。實際上，大部分通常可用主動深度感測器提供當執行深度感測時的紅外線光光度之一指示，即，許多現有主動深度感測器(諸如基於紅外線相機)可直接提供主動光情形之一指示。此資料可直接用作一主動紅外線光指示，或此一主動紅外線光指示可根據此資料判定。
然而，在許多案例中，該組合僅基於此資訊可能係低效的。例如，在極明亮日光中，環境光度通常極高。因此，當場景係由主動光感測器照明且執行主動深度感測時，總的紅外線光度極高且此將由指示一高光度之主動深度感測器反映。然而，該設備可能無法判定此一高紅外線光光度是否歸因於高光度反射之有利條件或是否指示歸因於高干擾光光度之不良條件。因此，藉由僅基於此主動紅外線光指示執行該組合，錯誤或至少次佳組合導致降級深度圖之風險為高。不幸的是，通常不可自一典型標準主動深度感測器獲得其他資訊。
然而，在所描述系統中，進一步產生一環境紅外線光指示，且具體在當未執行場景之照明來執行一主動深度感測之一時間期間產生環境紅外線光指示。此允許系統區分先前段落中描述之不同案例，且因此允許改良組合。進一步言之，環境紅外線光指示係基於通常由已經獲得之功能性產生之可見光量測而判定。特定言之，環境紅外線光指示可基於例如可為一可見光相機之被動深度感測器105而判定。因此，可達成一經改良之組合，導致產生一經改良之深度圖。此外，可達成此並同時允許標準功能性，且實際上現成的深度感測器(主動及被動兩者)。
在許多實施例中，該設備可經配置以產生包括一可見光指示及一或多個紅外線光指示兩者之光指示。例如，光感測器209可經配置以量測可見光光譜之一頻率頻帶中之光且根據此可見光估計紅外線光光譜之一頻率頻帶中之光，即，其可判定一可見光指示及一環境紅外 線光指示兩者。此外，主動深度感測器103可判定一主動紅外線光指示。該光指示可經產生以包括複數個值，其中一值指示可見光頻率頻帶中之光度，另一值指示當未執行深度感測紅外線資訊時該紅外線頻率頻帶中之光度，且另一值指示當執行深度感測紅外線照明時一紅外線頻率頻帶中之光度。因此，光指示可包含一可見光指示、主動紅外線光指示及環境紅外線光指示。
因此，在許多實施例中，一光指示可包括一可見光指示及一紅外線光指示兩者，其中可見光指示對可見頻率範圍內之光性質之一相依性高於紅外線光指示，且紅外線光指示對紅外線頻率範圍內之光性質之一相依性高於可見光指示。
在此等實施例中，該組合此外可取決於可見光指示及紅外線光指示兩者。例如，該兩個值皆可與臨限值比較且因此可調整組合方法。
例如(呈現指示被給定為具有用於一增加光度之一增加值之一單個值)，若可見光指示高於一第一臨限值且紅外線光指示低於一第二臨限值，則可使用第二深度圖。若可見光指示低於一第一臨限值且紅外線光指示高於第二臨限值，則可選擇第一深度圖。對於紅外線光指示及可見光指示之其他值，可藉由將第一深度圖及第二深度圖之深度值平均化來產生輸出深度圖。
作為另一實例，深度圖處理器107可使用基於可見光指示及環境紅外線光指示兩者之一加權組合。作為一具體實例，輸出深度值可被計算為：
Figure 105122101-A0202-12-0027-1
 ，將明白的是，可使用許多其他方程式及函數用於執行不同實施 例中之加權組合，且可使用許多其他方程式及函數用於取決於個別實施例之偏好及需求而判定個別權重。
該設備可產生在許多案例中更精確之一輸出深度圖。具體言之，該設備可適用於判定更廣泛範圍的操作案例之深度圖。實際上，發明者已意識到可藉由基於場景之光特性組合主動深度感測及被動深度感測達成改良之深度圖產生及對應用案例之調適。
圖2之設備提供一混合式系統，其中利用一紅外線光源進行之一主動深度感測及一被動立體相機(像差估計)經組合以藉由善用用於深度感測之不同模態之特性來提供改良之效能。該系統將在大部分案例中基本上勝過基於主動深度感測或被動深度感測之習知系統。
在上文描述之許多實施例中，光指示係至少部分基於來自一專用光感測器之量測而產生。然而，在許多實施例中，該系統可使用來自相機中之一或兩者之資料以產生光指示。具體言之，在許多實施例中，光判定器109可耦合至相機101且經配置以回應於此資料產生光指示(且具體產生環境紅外線光指示)。
如所描述，第一相機101係亦用於產生輸出圖像之一可見光相機，且實際上輸出圖像亦由被動深度感測器105針對深度像差而使用。然而，將明白的是，用以產生光指示之相機不一定亦用於產生輸出圖像或用作被動深度判定之部分。然而，在許多實施例中，針對多種目的使用相同相機之複雜度降低及協同效應可能係極為有利的。例如，可呈現光指示提供用於深度感測之圖像中擷取之光之一極精確反射，且因此提供可基於此圖像達成之深度感測效能之一極精確指示。其可進一步提供可提供環境紅外線光之一有利指示之一完全可見光譜之一擷取。
第一相機101在圖2之系統中係一可見光相機且因此使用來自該相機之資料以產生一可見光指示。此接著用以產生紅外線光指示。
在某些實施例中，可產生一全局可見光指示，且可具體產生指示可見光之光度之一單個值。
在某些實施例中，可回應於由第一相機101在擷取圖像時使用之曝光設定/值而產生可見光指示且因此產生環境紅外線光指示。
具體言之，在某些實施例中，可見光指示可回應於由第一相機101在擷取圖像時使用之圖像擷取持續時間而產生。圖像擷取持續時間可(例如)基於第一相機之圖像感測器聚光之積分時間而判定。因此，特定言之，可見光指示可基於相機之快門時間而產生，且實際上在某些實施例中可直接隨快門時間產生。
類似地，在某些實施例中，可見光指示可回應於由第一相機101在擷取圖像時使用之光圈而產生。該光圈可(例如)被提供至光判定器109作為指示透鏡打開之一光圈級數(f-stop)值。
在許多實施例中，光判定器109可經配置以依據擷取持續時間及光圈兩者判定可見光指示。例如，其可包括一查找表，該查找表之快門時間及光圈之各種組合提供可用作可見光指示之一光度值。
此等方法可特別適用於採用自動曝光功能性之相機。此等方法可試圖調整光圈、快門時間或兩者以產生具有一給定曝光之一圖像(諸如，例如該圖像之一平均曝光)。經選擇之快門及光圈可因此提供場景之總光度之一良好指示。
在某些實施例中，可見光指示可替代地或此外回應於經擷取圖像(例如，輸出圖像或用於深度感測之一圖像)之圖像資料值而判定。
具體言之，可見光指示可回應於經擷取圖像之像素值而判定。
在某些實施例中，可產生用於整個圖像之一全局可見光指示。例如，光判定器109可經配置以判定平均像素值且使用此值作為一可見光指示。
在某些實施例中，圖像資料可與曝光值(即，擷取時間及/或光 圈)組合。例如，基於快門時間及光圈級數，光判定器109可執行一表查找以判定一初始光度估計。此值接著可乘以平均像素值(例如，正規化為[0；1]之範圍)以提供場景之可見光度之一估計。
在其他實施例中，可產生可見光指示而不考慮曝光值。例如，平均像素值可直接用作可見光指示。此一指示可對不同曝光提供場景之照明之一較為不精確指示，但是可提供圖像之曝光之一更精確指示，且因此可提供可如何執行基於此圖像之一深度估計之一更精確指示。換言之，可見光指示在此方法中可考量並補償曝光設定使得此等設定對經擷取圖像之影響亦反映在可見光指示中。
可接著根據可見光指示判定環境紅外線光指示，且因此可根據由第一相機101提供之資訊判定環境紅外線光指示。此外，在實例中，根據通常由一標準相機提供之資訊、即，根據曝光資訊(光圈、快門速度)以及經擷取圖像資料來判定環境紅外線光指示。因此，該方法可允許使用一標準相機。
實際上，該方法之一特定優點係：其在許多實施例中可允許使用標準的現成主動及被動深度感測器並同時允許產生一改良之輸出深度圖。
在先前實例中，經產生光指示係一全局光指示，即，其適用於圖像之所有區域。然而，在某些實施例中，該系統可經配置以產生對於圖像之不同部分而不同之光指示。不同區域之光指示值在下文中可稱為局部光指示或局部光指示值。
在某些實施例中，可見光指示及因此環境紅外線光指示可因此包括圖像之不同區域之不同值。因此，光指示經產生以包括圖像之不同區域之個別光指示值。此等局部光指示值可接著在每一區域中使用以執行第一深度圖及第二深度圖之深度值之組合。因此，深度圖處理器107可回應於個別區域之一光指示值組合每一個別區域之深度值。
實際上，在許多實施例中，光判定器109可經配置以產生每一像素之一單獨光指示值。在某些實施例中，每一正規化像素值甚至可直接用作可見光指示值，且因此光指示可被提供作為具有與圖像及深度圖相同之解析度之一值圖。在其他實施例中，可產生具有低於圖像之一解析度之一光指示圖。此較低解析度之值可(例如)藉由平均化圖像塊內對應於所需解析度之像素值而產生。此可(例如)特別適用於其中第一及/或第二深度圖具有低於圖像之一解析度之實施例。
將明白，在某些實施例中，局部可見光指示值可基於其他或額外參數而不僅僅係圖像資料值(像素值)而產生。例如，可見光指示值可針對每一個別像素藉由使像素值乘以快門時間及光圈值(例如，接著進行一正規化)而計算。
在此等實施例中，可因此局部調適該組合。例如，每一像素之深度值可取決於根據可見光指示判定之環境紅外線光指示是否高於或低於一臨限值而選自深度圖。類似地，深度值可基於使用針對個別區域且具體針對個別像素判定之權重之一加權組合而判定。
例如，輸出深度值可產生為：d out (x,y)=α(x,y)．d 2 (x,y)+(1-α(x,y))d 1 (x,y)。
在其中該組合取決於一環境紅外線光指示及一主動紅外線光指示兩者之實施例中，此等指示兩者皆可具有空間變動(即，局部值)或(例如)其中僅一者對於不同區域來說可不同。
例如，輸出深度值可基於局部環境紅外線光指示值及一全局主動紅外線光指示值而諸如(例如)在以下方程式中計算：
Figure 105122101-A0202-12-0031-3
 或其可(例如)基於局部環境紅外線光指示值及主動紅外線光指示值而諸如(例如)在以下方程式中計算：
Figure 105122101-A0202-12-0032-4
深度值之局部調適產生可在許多案例中提供改良之效能，且具體可提供一更精確深度圖。例如，與許多案例中之習知方法相比，其可提供明亮區域以及暗區域兩者之精確深度值。例如，在極明亮(日光)室外光條件中，被動深度感測器105之可見光立體相機可用以提供除在其中深度值係獲自主動深度感測器103之輸出之一陰影區域中之圖像像素之外的所有圖像像素之深度值。
在諸如上文描述之某些實施例中，該設備可包括用以判定主動紅外線光指示之值之一專用紅外線光感測器。紅外線光感測器可(例如)為量測一般紅外線光光度之一單個感測器或可(例如)為一紅外線光相機-且可具體為亦用以(例如，根據一經偵測圖案中之失真)判定深度值之一紅外線光相機。
然而，在圖1及2之系統中，該設備經配置以回應於由一可見光相機進行之量測而產生環境紅外線光指示。具體言之，該設備經配置以回應於基於可見光光譜中之量測對紅外線光光度之一估計而產生紅外線光指示。
例如，在許多實施例中，第一相機101可包含相對於可見光範圍中之光衰減紅外線範圍中之光之一紅外線衰減濾光器。此可在許多案例中提供改良之圖像。實際上，在許多實施例中，第一相機101可包括與可見光度相比將紅外線信號級降低至不顯著值之一紅外線阻斷濾光器。
然而，光判定器109可經配置以根據可見範圍中之光度之量測來估計紅外線光度。在某些實施例中，光判定器109可(例如)依據可見可見光光度之一函數估計環境紅外線光光度。通常，可見光的量愈高，紅外線光的量愈高(例如，晴天與多雲的黃昏相比)。此估計可(例 如)與經發射紅外線光之一功率相比以產生一紅外線光指示，其提供由主動深度感測器103擷取之一紅外線光圖案之信雜比之一估計。
光判定器109可具體基於來自第一相機101之圖像資料判定紅外線光指示。在許多實施例中，如先前描述之圖像資料提供入射在個別像素上之光之一量測。因此，像素值可用以估計紅外線光。
在某些實施例中，光判定器109可經配置以回應於具有紅外線光之不同衰減之不同相機之輸出之一比較來判定紅外線光指示。例如，第一相機101可不包含任何紅外線衰減濾光器，而第二可見光相機207可包含一紅外線阻斷濾光器。
因此，第二可見光相機207可僅擷取可見光，而第一相機101亦擷取紅外線光(諸如(例如)來自發射自主動深度感測器103之一紅外線光圖案)。紅外線光指示接著可被計算為兩個相機之值之間的差。
進一步言之，光判定器109可進行至在執行此估計時僅考慮色彩通道之一子集。例如，紅外線光可注意影響R通道且因此可僅考慮此通道。進一步言之，在此情況中，其他通道(即，具體G及B通道)可相對不受紅外線光影響，且因此由被動深度感測器105進行之深度估計可僅基於此等通道。因此，呈現G及B通道很大程度上不受紅外線光影響，此等通道可用於像差匹配，而R紅色通道可由主動深度感測器103用於基於紅外線之深度估計(例如，使用紅外線圖案)。
實際上，在某些實施例中，光判定器109可經配置以藉由考慮經產生圖像之個別色彩通道來根據第一相機101之圖像資料判定紅外線光指示。具體言之，光判定器109可經配置以回應於由可見光相機擷取之圖像之色彩通道之一第一子集之圖像資料與由可見光相機擷取之圖像之色彩通道之一第二子集之圖像資料之一比較來根據圖像資料估計紅外線光指示。
色彩通道之一子集可包括對應於比其他色彩通道子集中之(若干) 色彩信號更接近紅外線範圍之頻率之一或多個色彩通道。此一方法可提供對應於不同頻率頻帶中之量測之兩個值。可能的是，紅外線範圍中之光度與最接近紅外線範圍之頻率頻帶中之光度之間之一關聯比紅外線範圍中之光度與最遠離紅外線範圍之頻率頻帶中之光度之間之關聯更緊密。此外，實際上，最接近紅外線範圍之色彩通道之敏感度趨向於亦延伸至此範圍中，例如，紅色像素之頻率回應趨向於包含紅外線範圍之至少部分。因此，比較第一頻率頻帶中之光度與第二頻率頻帶中之光度可提供紅外線光譜之光度之一更精確估計。
作為一實例，第一相機101可為一RGB相機，且光判定器109可藉由考慮紅色通道之像素值與綠色及藍色通道中之像素值的比較來產生紅外線光指示(例如，可使用平均值)。
例如，可呈現G及B像素值與紅外線光獨立，而R像素值有可能反映僅可見光源以及發射紅外線光及可見光兩者之光源兩者之組合光度(且實際上，R通道之頻率回應可包含紅外線光譜之至少部分)。一種可能方法可接著產生紅外線光指示作為R像素值與平均G及B像素值之間之差。
在某些實施例中，該方法可進一步藉由具有一紅外線衰減濾光器而增強，該紅外線衰減濾光器相對於至少一其他色彩通道針對至少一色彩具有紅外線光之不同衰減。
具體言之，紅外線衰減濾光器相對於第一子集之至少一色彩通道對第二子集之至少一色彩通道具有較高紅外線衰減。藉由對應於接近紅外線光譜之頻率頻帶之一或多個色彩通道之紅外線光之衰減低於對應於遠離紅外線光譜之頻率頻帶之一或多個色彩通道，可增加發射紅外線及可見光譜(之部分)兩者中之光之光源與僅發射可見光譜中之光之光源之間之間距及區別。
在某些實施例中，第一深度圖及第二深度圖之組合不僅考慮光 指示而且亦可考慮其他因素。
例如，在其中被動深度感測器105包括一立體相機且根據一像差估計使用一立體圖像判定第二深度之實施例中，光判定器109可進一步經配置以判定立體圖像之一空間均勻度指示。接著可回應於此空間均勻度指示執行該組合。
實際上，像差估計趨向於更好地作用於其中圖像中存在實質變動之區域而非大的平坦區域。因此，一空間均勻度指示可提供被動深度感測器105之相對效能之一良好指示，且因此可藉由(例如)取決於此空間均勻度指示相對於第一深度圖對第二深度圖進行不同加權來達成改良之效能。
例如，深度圖處理器107可經配置以針對指示空間均勻度之一降低程度之空間均勻度指示相對於第一深度圖之深度值增加第二深度圖之深度值之加權。
空間均勻度指示可(例如)被判定為一像素鄰居中之局部方差。特定言之，其可被判定為一像素鄰居中之水平變動，其可被計算為(例如)水平相鄰像素之間之照度值的絕對差之和。其亦可被判定為一像素鄰居中之最大照度與最小照度之間之差。
作為另一實例，在某些實施例中，被動深度感測器可包括具有自動對焦功能性之一可見光相機，即，該相機可為一可見光自動對焦相機。在此一情況中，自動對焦可提供在某些實施例中可用以調適組合之焦距之一指示。
例如，主動深度感測器103可通常更好地作用於相對緊密之目標而非相距太長距離之目標(例如，歸因於經反射紅外線光的減少)。自動對焦距離可提供相距目標之一般距離之一指示且因此可提供分別由主動深度感測器103及被動深度感測器105產生之深度值之相對精確度及可靠性之一指示。
深度圖處理器107可具體經配置以針對指示一增加的自動對焦距離之焦距指示相對於第一深度圖之深度值增加第二深度圖之深度值之加權。
應瞭解，用於闡明之上文描述已參考不同功能電路、單元及處理器描述本發明之實施例。然而，將明白的是，可使用不同功能電路、單元或處理器之間之功能性之任何適合分佈而不偏離本發明。例如，經圖解說明以由單獨處理器或控制器執行之功能性可由相同處理器或控制器執行。因此，僅將對具體功能單元或電路之參考看作對用於提供所述功能性之適合構件之參考而非指示一嚴格邏輯或實體結構或組織。
可在包含硬體、軟體、韌體或其等之任何組合之任何適合形式中實施本發明。可視需要至少部分作為在一或多個資料處理器及/或數位信號處理器上運行之電腦軟體實施本發明。可以任何適合方式實體、功能及邏輯實施本發明之一實施例之元件及組件。實際上可在一單個單元中、在複數個單元中或作為其他功能單元之部分實施功能性。因而，可在一單個單元中實施本發明或可在不同單元、電路及處理器之間實體及功能分佈本發明。
雖然已結合某些實施例描述本發明，但是其不旨在限於本文中闡釋之具體形式。實情係，本發明之範疇僅藉由所附申請專利範圍限制。另外，雖然看似可結合特定實施例描述一特徵，但是熟習此項技術者將意識到可根據本發明組合所述實施例之多種特徵。在申請專利範圍中，術語包括不排除其他元件或步驟之存在。
此外，雖然個別列出，但是可藉由(例如)一單個電路、單元或處理器實施複數個構件、元件、電路或方法步驟。此外，雖然可在不同請求項中包含個別特徵，但是可有利地組合此等特徵，且在不同請求項中之包含不暗示若干特徵之一組合非可行及/或有利。此外，在請 求項之一類別中之一特徵之包含不暗示對此類別之一限制而指示，視情況該特徵同樣可應用至其他請求項類別。此外，在請求項中之特徵之順序不暗示其中必須實施特徵之任何特定順序，且特定言之在一方法請求項中之個別步驟之順序不暗示必須以此順序執行該等步驟。實情係，可以任何適合順序執行該等步驟。此外，單個參考不排除複數個。因此提及「一」、「一個」、「第一」、「第二」等不排除複數個。在申請專利範圍中僅作為一闡明實例提供之參考符號決不應理解為限制申請專利範圍之範疇。
101‧‧‧可見光相機
103‧‧‧主動深度感測器
105‧‧‧被動深度感測器
107‧‧‧組合器/深度圖處理器
109‧‧‧光感測器

Claims (15)

  1. 一種用於判定一深度圖(depth map)之設備，該設備包括：一主動深度感測器，其中該主動深度感測器經配置(arranged)以判定一場景(scene)之一圖像(image)之一第一深度圖，其中該第一深度圖包括該圖像之像素的第一深度值，其中該等第一深度值係由該主動深度感測器判定；一被動深度感測器，其中該被動深度感測器經配置以判定該圖像之一第二深度圖，其中該第二深度圖包括該圖像之該等像素的第二深度值，其中該等第二深度值係由該被動深度感測器判定；一光判定器電路，其中該光判定器電路經配置以判定一第一紅外線(infrared)光指示，其中該第一紅外線光指示係指示該場景之一環境紅外線光度(ambient infrared light level)；一深度圖處理器電路，其中該深度圖處理器電路經配置以藉由組合該第一深度圖及該第二深度圖來判定該圖像之一輸出深度圖，其中該深度圖處理器電路經配置以判定該輸出深度圖之深度值為該等第一深度值及該等第二深度值之一組合，其中該組合係取決於該第一紅外線光指示，其中該光判定器電路經配置以判定一可見光指示且從該可見光指示來估計該第一紅外線光指示，其中該可見光指示係指示可見光光譜之一頻率頻帶中之一光度。
  2. 如請求項1之設備，其中該環境紅外線光度係指示當該設備未發射紅外線光時紅外線光之一光度。
  3. 如請求項1之設備，其中該光判定器電路經配置以基於來自一可見光相機之資料來產生該可見光指示。
  4. 如請求項3之設備，其中該資料包括用於擷取該場景之該圖像之一圖像擷取持續時間。
  5. 如請求項3之設備，其中該資料包括由該可見光相機擷取之該圖像，其中該光判定器電路經配置以回應於由該可見光相機擷取之該圖像之圖像資料值而判定該可見光指示。
  6. 如請求項1之設備，其中該光判定器電路係進一步經配置以判定回應於該紅外線光光譜之一頻率頻帶中之一光量測而判定之一第二紅外線光指示。
  7. 如請求項6之設備，其中該第二紅外線光指示係指示當該場景經照明時之一紅外線光度。
  8. 如請求項7之設備，其中該第一紅外線光指示係指示當該場景未經照明時之一紅外線光度。
  9. 如請求項7之設備，其中該深度圖處理器電路經配置以相對於當該第一紅外線光指示係指示紅外線之一增加光度時之該等第二深度值而降低該等第一深度值之一權重，且其中相對於當該第二紅外線光指示係指示紅外線之一增加光度時之該等第二深度值而增加該等第一深度值之一權重。
  10. 如請求項1之設備，其中該圖像包括複數個區域，其中該第一紅外線光指示包括該圖像之不同區域之個別第一紅外線光指示值，其中該深度圖處理器電路經配置以回應於每一區域之一對應第一紅外線光指示值而組合每一個別區域之第一深度值及第二深 度值。
  11. 如請求項1之設備，其中該深度圖處理器電路經配置以相對於當該第一可見光指示係指示可見光之一增加光度時之該等第一深度值而增加該等第二深度值之一權重。
  12. 如請求項1之設備，其中該被動深度感測器包括至少一可見光相機，其中該可見光相機經組態以擷取圖像資料，其中該光判定器電路經配置以回應於由該可見光相機擷取之彩色通道之一第一子集之該圖像資料相對於由該可見光相機擷取之彩色通道之一第二子集之該圖像資料之一比較而判定該第一紅外線光指示。
  13. 如請求項1之設備，其中該深度圖處理器電路經配置以回應於該可見光指示及該第一紅外線光指示兩者而判定該等第一深度值相對於該等第二深度值之一組合權重。
  14. 一種用於判定一深度圖之方法，該方法包括：判定一場景之一圖像之一第一深度圖，其中該第一深度圖包括由一主動深度感測器判定之該圖像之像素的第一深度值；判定該圖像之一第二深度圖，其中該第二深度圖包括由一被動深度感測器判定之該圖像之該等像素的第二深度值；判定一可見光指示，其中該可見光指示係指示可見光光譜之一頻率頻帶中之一光度；根據該可見光指示來估計一第一紅外線光指示；其中該第一紅外線光指示係指示該場景之一環境紅外線光度；藉由組合該第一深度圖及該第二深度圖來判定該圖像之一輸出深度圖，其中該輸出深度圖之該判定包括判定該輸出深度圖之一深度 值為該等第一深度值及該等第二深度值之一組合，及其中該組合係取決於該第一紅外線光指示。
  15. 一種包括具有電腦程式碼於其上之一非暫時性資料儲存媒體之電腦程式產品，其中該電腦程式碼經配置以當該電腦程式碼由一處理器執行時執行請求項14之方法。
TW105122101A 2015-07-13 2016-07-13 用於判定一圖像之一深度圖的方法與設備 TWI713547B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15176418.0 2015-07-13
EP15176418 2015-07-13

Publications (2)

Publication Number Publication Date
TW201709724A TW201709724A (zh) 2017-03-01
TWI713547B true TWI713547B (zh) 2020-12-21

Family

ID=53724003

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105122101A TWI713547B (zh) 2015-07-13 2016-07-13 用於判定一圖像之一深度圖的方法與設備

Country Status (10)

Country Link
US (1) US10607351B2 (zh)
EP (1) EP3323106B1 (zh)
JP (1) JP6816097B2 (zh)
KR (1) KR102660109B1 (zh)
CN (1) CN107851322B (zh)
BR (1) BR112018000564A2 (zh)
CA (1) CA2991811A1 (zh)
RU (1) RU2721177C2 (zh)
TW (1) TWI713547B (zh)
WO (1) WO2017009324A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560683B2 (en) 2016-04-08 2020-02-11 Maxx Media Group, LLC System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
US10547829B2 (en) * 2016-06-16 2020-01-28 Samsung Electronics Co., Ltd. Image detecting device and image detecting method using the same
WO2018187743A1 (en) * 2017-04-06 2018-10-11 Maxx Media Group, LLC Producing three-dimensional images using a virtual 3d model
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
JP6930011B2 (ja) * 2017-04-14 2021-09-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および画像処理方法
US10044922B1 (en) 2017-07-06 2018-08-07 Arraiy, Inc. Hardware system for inverse graphics capture
US10666929B2 (en) 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene
US20190068853A1 (en) * 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
US10535151B2 (en) 2017-08-22 2020-01-14 Microsoft Technology Licensing, Llc Depth map with structured and flood light
CN107635129B (zh) * 2017-09-29 2020-06-16 上海安威士科技股份有限公司 一种三维三目摄像装置及深度融合方法
CN107749070B (zh) * 2017-10-13 2020-06-02 京东方科技集团股份有限公司 深度信息的获取方法和获取装置、手势识别设备
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
CN110741625B (zh) * 2018-07-23 2022-06-21 深圳市大疆创新科技有限公司 运动估计方法及摄影器材
CN112513677B (zh) * 2018-09-28 2024-10-11 松下知识产权经营株式会社 纵深取得装置、纵深取得方法以及记录介质
CN109274957A (zh) * 2018-10-31 2019-01-25 维沃移动通信有限公司 一种深度图像拍摄方法及移动终端
KR102552923B1 (ko) 2018-12-03 2023-07-10 삼성전자 주식회사 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
CN109544616B (zh) * 2018-12-11 2021-02-26 维沃移动通信有限公司 一种深度信息确定方法和终端
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
WO2020219694A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
CN110031830B (zh) * 2019-04-29 2020-11-03 清华大学深圳研究生院 一种基于激光线扫描成像的测距方法
US10977813B2 (en) * 2019-08-09 2021-04-13 Zebra Technologies Corporation System and method for robust depth calculation with ToF sensors using multiple exposure times
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
CN110738251B (zh) * 2019-10-11 2023-11-28 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
US11216663B1 (en) * 2020-12-01 2022-01-04 Pointivo, Inc. Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon
CN113450391A (zh) * 2020-03-26 2021-09-28 华为技术有限公司 一种生成深度图的方法及设备
US12100194B1 (en) * 2020-07-14 2024-09-24 Apple Inc. Image enhancement
US11715220B1 (en) * 2020-07-30 2023-08-01 Apple Inc Method and device for depth sensor power savings
US11523043B2 (en) 2020-10-12 2022-12-06 Apple Inc. Camera autofocus using time-of-flight assistance
CN112345086B (zh) * 2020-11-19 2021-10-15 深圳市粤通建设工程有限公司 基于无人机的沥青混合料施工温度实时检测方法、系统
US11741671B2 (en) 2021-06-16 2023-08-29 Samsung Electronics Co., Ltd. Three-dimensional scene recreation using depth fusion
KR20240020854A (ko) * 2022-08-09 2024-02-16 삼성전자주식회사 깊이 맵을 획득하기 위한 전자 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100256A1 (en) * 2011-10-21 2013-04-25 Microsoft Corporation Generating a depth map
US20130148102A1 (en) * 2011-12-12 2013-06-13 Mesa Imaging Ag Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
US20140028804A1 (en) * 2011-04-07 2014-01-30 Panasonic Corporation 3d imaging apparatus
US20140307058A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Robust stereo depth system
WO2015098288A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 画像処理装置、および画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2571132T3 (es) * 2005-04-29 2016-05-24 Koninklijke Philips Nv Aparato de visualización estereoscópica
JP4606304B2 (ja) * 2005-11-09 2011-01-05 セコム株式会社 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置
JP5615552B2 (ja) * 2006-11-21 2014-10-29 コーニンクレッカ フィリップス エヌ ヴェ 画像の深度マップの生成
EP2005886B1 (en) * 2007-06-19 2011-09-14 Biocompatibles UK Limited Method and apparatus for measuring skin texture
US8233077B2 (en) * 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
TW201119353A (en) * 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
US8824797B2 (en) * 2011-10-03 2014-09-02 Xerox Corporation Graph-based segmentation integrating visible and NIR information
US8897542B2 (en) * 2011-12-15 2014-11-25 Sony Corporation Depth map generation based on soft classification
US8810658B2 (en) * 2012-02-02 2014-08-19 Xerox Corporation Estimating a visible vector representation for pixels in an infrared image
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
JP6415447B2 (ja) 2012-12-19 2018-10-31 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ １つ以上の物体を光学的に検出するための検出器
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US10497140B2 (en) 2013-08-15 2019-12-03 Intel Corporation Hybrid depth sensing pipeline
EP2887311B1 (en) * 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9955140B2 (en) * 2015-03-11 2018-04-24 Microsoft Technology Licensing, Llc Distinguishing foreground and background with inframed imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028804A1 (en) * 2011-04-07 2014-01-30 Panasonic Corporation 3d imaging apparatus
US20130100256A1 (en) * 2011-10-21 2013-04-25 Microsoft Corporation Generating a depth map
US20130148102A1 (en) * 2011-12-12 2013-06-13 Mesa Imaging Ag Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
US20140307058A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Robust stereo depth system
WO2015098288A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 画像処理装置、および画像処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
(2011.07.31) *
Jiejie Zhu, Liang Wang, Ruigang Yang, James E. Davis and Zhigeng Pan," Reliability Fusion of Time-of-Flight Depth and Stereo Geometry for High Quality Depth Maps", The IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 33, NO. 7, JULY 2011 *
Jiejie Zhu, Liang Wang, Ruigang Yang, James E. Davis and Zhigeng Pan," Reliability Fusion of Time-of-Flight Depth and Stereo Geometry for High Quality Depth Maps", The IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 33, NO. 7, JULY 2011。(2011.07.31)

Also Published As

Publication number Publication date
CA2991811A1 (en) 2017-01-19
JP2018530737A (ja) 2018-10-18
US10607351B2 (en) 2020-03-31
WO2017009324A1 (en) 2017-01-19
EP3323106B1 (en) 2020-10-28
JP6816097B2 (ja) 2021-01-20
KR20180030862A (ko) 2018-03-26
RU2721177C2 (ru) 2020-05-18
BR112018000564A2 (pt) 2018-09-11
US20180374227A1 (en) 2018-12-27
KR102660109B1 (ko) 2024-04-24
EP3323106A1 (en) 2018-05-23
RU2018105095A3 (zh) 2019-12-03
RU2018105095A (ru) 2019-08-13
CN107851322B (zh) 2022-04-19
CN107851322A (zh) 2018-03-27
TW201709724A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
TWI713547B (zh) 用於判定一圖像之一深度圖的方法與設備
CN106851124B (zh) 基于景深的图像处理方法、处理装置和电子装置
CN106851123B (zh) 曝光控制方法、曝光控制装置及电子装置
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
JP5108093B2 (ja) 撮像装置及び撮像方法
US8358370B2 (en) Flash light compensation system for digital camera system
KR20140066638A (ko) 3차원 영상 획득 방법 및 장치
US20210152796A1 (en) Image calibration for projected images
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
RU2014117031A (ru) Определение расстояния до объекта по изображению
US10212407B2 (en) Processing a disparity of a three dimensional image
US11947045B2 (en) Controlling method for electronic device, and electronic device
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
KR102442594B1 (ko) 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
US20100123696A1 (en) Image display apparatus and method
JP2015204532A (ja) 画像処理装置および撮像装置
JP6917796B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
TWI767484B (zh) 雙感測器攝像系統及其深度圖計算方法
Koren Measuring the impact of flare light on Dynamic Range
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
TWI405458B (zh) Digital camera sensitivity adjustment method
EP3466068B1 (en) A system and a method for capturing and generating 3d image
JP2023001950A (ja) 情報処理装置、撮像装置、画像処理方法およびプログラム
CN117560480A (zh) 一种图像深度估计方法及电子设备
CN105651245A (zh) 光学测距系统及方法