TWI567693B - 產生深度資訊的方法及其系統 - Google Patents

產生深度資訊的方法及其系統 Download PDF

Info

Publication number
TWI567693B
TWI567693B TW105115210A TW105115210A TWI567693B TW I567693 B TWI567693 B TW I567693B TW 105115210 A TW105115210 A TW 105115210A TW 105115210 A TW105115210 A TW 105115210A TW I567693 B TWI567693 B TW I567693B
Authority
TW
Taiwan
Prior art keywords
depth
pixel
image capturing
pixel point
capturing device
Prior art date
Application number
TW105115210A
Other languages
English (en)
Other versions
TW201741999A (zh
Inventor
吳柏毅
陳裕彥
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW105115210A priority Critical patent/TWI567693B/zh
Priority to CN201610396512.3A priority patent/CN107396080B/zh
Priority to US15/242,604 priority patent/US10460460B2/en
Application granted granted Critical
Publication of TWI567693B publication Critical patent/TWI567693B/zh
Publication of TW201741999A publication Critical patent/TW201741999A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Description

產生深度資訊的方法及其系統
本發明是有關於一種影像處理的方法及其系統,且特別是有關於一種產生深度資訊的方法及其系統。
隨著影像處理技術的發展,立體視覺的應用領域極為廣泛,舉凡結構光、立體影像、距離偵測、安全監控等皆常見其應用。一般而言,立體視覺可包括兩個階段,第一階段先利用深度攝影機、立體攝影機或是利用相關演算法來產生深度資訊,而第二階段再利用深度資訊來產生立體影像。由此可知,為了產生立體視覺體驗較佳的影像,準確的深度資訊極為重要。
立體視覺的原理主要是模擬人類的雙眼視差(binocular disparity),將左右兩顆鏡頭之間的距離設置為約等於人類兩眼間平均距離,透過場景中每一個點於左右影像的像素偏移量產生立體深度資訊,進而形成場景的深度圖。透過深度圖可利用公式(1)推算出所有物體與鏡頭之間的真實距離D: 公式(1) 其中d為深度圖中的深度值,F為兩顆鏡頭的焦距,B為兩顆鏡頭光軸之間的距離(即基線長度)。然而,兩顆鏡頭的可視範圍與基線長度相關聯,並且不同基線長度針對不同距離的深度資訊的估測準確度亦有所差異。基此,對於僅具有單一基線的兩顆鏡頭可進行深度估測的區域以及深度資訊的準確度會因而受限。
有鑑於此,本發明提供一種產生深度資訊的方法及其系統,其可增加深度估測的有效範圍以及準確度,以助於提升後續立體視覺應用的效能。
本發明的一實施例提供一種產生深度資訊的方法,適用於具有至少三個影像擷取裝置的系統,包括下列步驟。首先,取得關聯於特定場景並且對應於不同裝置組合的多個深度圖,其中此些裝置組合為兩兩影像擷取裝置所組成的不同組合,各個深度圖具有多個深度值並且對應於特定場景的不同估測區域,各個估測區域與其它估測區域具有共同重疊區域。接著,針對特定場景所對應的每一個像素,判斷像素點所位於的估測區域是否對應於共同重疊區域,若否,根據像素點於估測區域中的非共同重疊區域所對應的深度圖中的深度值,設定像素點的深度資訊,而若是,則根據像素點於共同重疊區域所對應的多個深度圖中的多個深度值以及像素點所對應的物距,設定像素點的深度資訊。之後,再利用所有像素點的深度資訊來產生特定場景的已整合深度圖。
本發明的另一實施例提供一種產生深度資訊的系統,此系統包括至少三個影像擷取裝置以及影像處理裝置。此些影像擷取裝置分別用以擷取特定場景的影像,其中兩兩影像擷取裝置組成多個不同裝置組合。影像處理裝置連接於各個影像擷取裝置,並且先用以根據各個影像擷取裝置所擷取的影像,取得關聯於特定場景並且對應於所有裝置組合的多個深度圖,再針對特定場景所對應的每一像素點,判斷像素點所位於的估測區域是否對應於共同重疊區域。若否,影像處理裝置則根據像素點於估測區域中的非共同重疊區域所對應的深度圖中的深度值,設定像素點的深度資訊,而若是,影像處理裝置則根據像素點於共同重疊區域所對應的多個深度圖中的多個深度值以及像素點所對應的物距,設定像素點的深度資訊。之後,影像處理裝置再利用所有像素點的深度資訊來產生特定場景的已整合深度圖。
基於上述,本發明所提出的產生深度資訊的方法及其系統,其結合對應於不同基線長度的影像擷取裝置組合來產生特定場景的深度資訊,不僅可增加深度估測的有效範圍,更可提高深度估測的準確度。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
由於立體影像擷取系統的可視範圍與兩個影像擷取裝置之間的基線長度相關聯,並且不同基線長度針對不同距離的深度估測的準確度亦有所差異。舉例而言,基線長度為5公分時,對於位於3公尺以上的拍攝物體的深度資訊將會有很大的誤差。基線長度為10公分以及15公分時,拍攝物體的深度資訊之有效範圍可分別提升至5公尺以及9公尺。本發明的概念是採用至少三個影像擷取裝置,以結合不同基線長度所產生的深度圖,透過條件判斷來設定拍攝場景所對應的各個像素的深度值,以增加深度估測的有效範圍以及準確度。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的方法與系統的範例。
圖1是根據本發明一實施例所繪示的產生深度資訊的系統的方塊圖,但此僅是為了方便說明,並不用以限制本發明。首先圖1先介紹系統中的所有構件以及配置關係,詳細功能將配合圖2一併揭露。
請參照圖1,系統100包括第一影像擷取裝置110、第二影像擷取裝置120、第三影像擷取裝置130以及影像處理裝置140。
在本實施例中,第一影像擷取裝置110、第二影像擷取裝置120以及第三影像擷取裝置130可以是採用電荷耦合元件(Charge Coupled Device,CCD)、互補性氧化金屬半導體元件(Complementary Metal-Oxide Semiconductor,CMOS)或其它元件鏡頭的數位相機、單眼相機、數位攝影機等影像擷取裝置。在本實施例中,第一影像擷取裝置110、第二影像擷取裝置120以及第三影像擷取裝置130將依序共線並且等距地設置,並且以相同的視角範圍(field of view,FOV)以及相機參數來拍攝特定場景,然而本發明不在此設限。
在本實施例中,影像處理裝置140可以為個人電腦、筆記型電腦、智慧型手機、平板電腦等具有影像處理功能的電子裝置。影像處理裝置140包括記憶體、處理器以及傳輸模組。傳輸模組用以透過有線傳輸或是無線傳輸的方式取得第一影像擷取裝置110、第二影像擷取裝置120以及第三影像擷取裝置130所擷取的影像。記憶體用以儲存所擷取的影像,而處理器用於處理記憶體中所儲存的影像,藉以產生所拍攝的特定場景的深度資訊。以下即列舉實施例說明針對系統100產生深度資訊的方法的詳細步驟。
圖2為根據本發明之一實施例所繪示的產生深度資訊的方法流程圖,而圖2的方法可以圖1的系統100的各裝置實現。
請同時參照圖1以及圖2,首先,影像處理裝置140將取得關聯於特定場景並且對應於不同裝置組合的多個深度圖(步驟S202)。在此的裝置組合為第一影像擷取裝置110、第二影像擷取裝置120以及第三影像擷取裝置130之中兩兩裝置所組成的不同組合。為了方便說明,以下將第一影像擷取裝置110與第二影像擷取裝置120定義為「第一裝置組合」,第二影像擷取裝置120與第三影像擷取裝置130定義為「第二裝置組合」,第一影像擷取裝置110與第三影像擷取裝置130定義為「第三裝置組合」。本領域具通常知識者應明瞭,任何兩個影像擷取裝置針對同一特定場景拍攝所產生的兩張影像中,僅有重疊區域具有深度值。在此,第一裝置組合所拍攝到的重疊區域將定義為「第一估測區域」,第一估測區域的各個深度值所構成的深度圖將定義為「第一深度圖」;第二裝置組合所拍攝到的重疊區域將定義為「第二估測區域」,第二估測區域的各個深度值所構成的深度圖將定義為「第二深度圖」;第三裝置組合所拍攝到的重疊區域將定義為「第三估測區域」,第三估測區域的各個深度值所構成的深度圖將定義為「第三深度圖」。根據本實施例中的裝置配置,第一估測區域、第二估測區域以及第三估測區域將具有一個共同重疊區域。
具體來說,圖3為根據本發明之一實施例所繪示利用影像擷取裝置共同拍攝特定場景的示意圖。
請參照圖3,第一影像擷取裝置110、第二影像擷取裝置120以及第三影像擷取裝置130以相隔5公分等距地配置於同一假想直線上,並且皆以105度的視角範圍拍攝其前方的影像。第一影像擷取裝置110與第二影像擷取裝置120(即,第一裝置組合)以及第二影像擷取裝置120與第三影像擷取裝置130(即,第二裝置組合)的基線長度皆為5公分,而第一影像擷取裝置110與第三影像擷取裝置130(即,第三裝置組合)的基線長度為10公分。區域R1以及區域C為對應於第一裝置組合的第一估測區域,並且將產生第一深度圖。區域R2以及區域C為對應於第二裝置組合的第二估測區域,並且將產生第二深度圖。區域C為對應於第三裝置組合的第三估測區域,並且將產生第三深度圖。必須注意的是,區域C亦稱為第一估測區域、第二估測區域以及第三估測區域的共同重疊區域,而區域R1以及區域R2亦稱為非共同重疊區域。由於第一估測區域、第二估測區域以及第三估測區域僅為特定場景的局部區域,在以下的步驟中,影像處理裝置140將根據前述三個深度圖,以整合出區域R1、R2以及區域C的深度資訊,以產生涵蓋較大範圍的估測區域的單一深度圖。
因此,請回到圖2,影像處理裝置140將先針對特定場景所對應的每一個像素點進行分析,以計算出其分別所對應的深度資訊。以下僅以其中一個像素點來進行說明深度資訊的計算方式,而其它像素點將以疊代(iterative)的方式來取得。影像處理裝置140將判斷目前正在處理的像素點所位於的估測區域是否對應於共同重疊區域(步驟S204)。若否,影像處理裝置140將判斷像素點是位於第一估測區域的非共同重疊區域、第二估測區域的非共同重疊區域或是以上兩者皆非(步驟S206)。當像素點位於第一估測區域的非共同重疊區域時,影像處理裝置140會將像素點於第一深度圖所對應的深度值設定為其深度資訊(步驟S208)。當像素點位於第二估測區域的非共同重疊區域時,影像處理裝置140會將像素點於第二深度圖所對應的深度值設定為其深度資訊(步驟S210)。另一方面,當像素點不屬於任何估測區域時,影像處理裝置140會將像素點設定為不具有深度資訊的壞像素(步驟S211)。
具體來說,圖4A、圖4B以及圖4C為根據本發明之一實施例所繪示對應於步驟S208、步驟S210、步驟S211的區域示意圖。
請先參照圖4A,當影像處理裝置140判斷像素點位於第一估測區域的非共同重疊區域(即,區域R1)時,會根據像素點於第一深度圖的畫素座標來取得對應的深度值。
請再參照圖4B,當影像處理裝置140判斷像素點位於第二估測區域的非共同重疊區域(即,區域R2)時,會根據像素點於第二深度圖的畫素座標來取得對應的深度值。
接著,請再參照圖4C,當影像處理裝置140判斷像素點位於區域R1、區域R2以及區域C以外的區域B時,代表其位於僅為單一個影像擷取裝置所擷取到的區域,因此會將此像素點視為不具有深度資訊的壞像素(bad pixel)。
請再回到圖2,當影像處理裝置140判斷像素點所位於的估測區域對應於共同重疊區域時,將更進一步地判斷像素點所對應的物距是否大於距離門檻值(步驟S212)。在此的物距可以是利用像素點於第一深度圖所對應的深度值或是於第二深度圖所對應的深度值來計算,而此步驟是因應不同基線長度針對不同物距的深度資訊存在不同的準確度。舉例來說,當採用基線長度為5公分所對應的深度圖時,對於距離3公尺以上的拍攝物體的深度估測準確度將會大幅地下降,因此若改用基線長度為15公分所對應的深度圖時,深度估測的有效範圍可提升至9公尺左右。基於此,當像素點所對應的物距大於距離門檻值時,影像處理裝置140會採用基線長度較長的組合所產生的深度圖來設定深度資訊。換句話說,影像處理裝置140會將像素點於第三深度圖所對應的深度值設定為其深度資訊(步驟S214)。
具體來說,圖4D為根據本發明之一實施例所繪示對應於步驟S214的區域示意圖。在此一併說明的是,圖4E為根據本發明之一實施例所繪示對應於稍後步驟S216~S222的區域示意圖。
請先參照圖4D,假設距離門檻值為3公尺。當影像處理裝置140判斷像素點位於共同重疊區域C中距離基線3公尺以上的遠距離區域C1時,會根據對應於較長基線長度的第三深度圖來取得像素點對應的深度值。
另一方面,請參照圖4E,當影像處理裝置140判斷像素點位於共同重疊區域C中距離基線3公尺以內的近距離區域C2時,由於此區域為場景的正中央近距離處,其通常為影像的焦點。因此,影像處理裝置140將會考量到像素點的所在位置、第一深度圖以及第二深度圖,以較為嚴謹的方式取得像素點的深度資訊。
詳細來說,根據立體影像擷取的特性,當物體在同一位置時,基線長度越短者具有較小的視差,而基線長度越長者具有較大的視差。基於此,請回到圖2,當像素點位於共同重疊區域並且所對應的物距不大於距離門檻值時(例如是圖4E的區域C2),影像處理裝置140將取得第二影像擷取裝置120的光軸於第一影像擷取裝置110的相對位置(步驟S216),並且判斷像素點是否位於第一影像擷取裝置110的相對位置(步驟S218)。一般而言,當像素點位於第一影像擷取裝置110的相對位置時,即代表其並未偏離光軸,影像處理裝置140即會將像素點於第一深度圖所對應的深度值設定為其深度資訊(步驟S220)。換句話說,當物體並未偏離光軸時,基線長度較短的第一裝置組合所拍攝到的物體大小差異不大,在此可直接以第一深度圖來取得物體的深度資訊。然而,在另一實施例中,若要進行雙向確認,影像處理裝置140將判斷像素點分別於第一深度圖的深度值與第二深度圖的深度值是否相同。若相同時,影像處理裝置140即可確認像素點的深度值,而若不相同時,影像處理裝置140會將像素點設定為不具有深度資訊的壞像素。
另一方面,當像素點不位於第一影像擷取裝置110的相對位置時,影像處理裝置140會將像素點於第一深度圖所對應的深度值與於第二深度圖所對應的深度值的加權平均值(weighted average)設定為像素點的深度資訊(步驟S222)。詳細來說,當物體偏離光軸時,第一裝置組合與第二裝置組合所拍攝到的物體大小以及遠近將有所差異,因此影像處理裝置140可以例如是將像素點於第一深度圖所對應的深度值與於第二深度圖所對應的深度值的平均值設定為像素點的深度資訊。然而,在其它實施例中,影像處理裝置140可以是根據所欲達到的效果來調整兩個深度值之間的權重,本發明不在此設限。
當影像處理裝置140以疊代的方式取得對應於特定場景的所有像素點的深度資訊時,即可產生已整合的深度圖(步驟S224)。相較於兩兩組合而成的影像擷取裝置所分別取得到的深度圖,此已整合的深度圖將涵蓋較大的範圍以及具有較高的準確度。除此之外,在另一實施例中,影像處理裝置140可利用中值濾波器(median filter)等方式來平滑已整合的深度圖,以填補其中的壞像素或是去除雜訊。
圖2所提出的方法可以圖5根據本發明之一實施例所繪示的產生深度資訊的方法流程圖來進行總結。然而,圖5的方法流程適用於至少三個影像擷取裝置,並且將不限於其配置方式以及相機參數的設定。
請參照圖5,首先,影像處理裝置140將取得關聯於特定場景並且對應於多個不同裝置組合的多個深度圖(步驟S502)。在此的裝置組合為所有影像擷取裝置中兩兩所組成的不同組合,各個深度圖對應於特定場景的不同估測區域,各個估測區域與其它估測區域具有共同重疊區域。接著,影像處理裝置140將先針對特定場景所對應的每一個像素點進行分析,以計算出其分別所對應的深度資訊。以下僅以其中一個像素點來進行說明深度資訊的計算方式,而其它像素點將以疊代的方式來取得。影像處理裝置140將判斷像素點所位於的估測區域是否對應於共同重疊區域(步驟S504)。若否,影像處理裝置140將根據像素點於估測區域中的非共同重疊區域所對應的深度圖中的深度值,設定像素點的深度資訊(步驟S506)。若是,影像處理裝置140將根據像素點於共同重疊區域所對應的多個深度圖中的多個深度值以及像素點所對應的物距,設定像素點的深度資訊(步驟S508)。當影像處理裝置140以疊代的方式取得對應於特定場景的所有像素點的深度資訊時,即可產生已整合的深度圖(步驟S510)。步驟S502~步驟S510的詳細步驟請參照圖2的相關說明,於此不再贅述。
綜上所述,本發明所提出的產生深度資訊的方法及其系統,其結合對應於不同基線長度的影像擷取裝置組合來產生特定場景的深度資訊,不僅可增加深度估測的有效範圍,更可提高深度估測的準確度,以助於提升後續例如是結構光、立體影像、距離偵測、安全監控等立體視覺應用的效能。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧系統
110‧‧‧第一影像擷取裝置
120‧‧‧第二影像擷取裝置
130‧‧‧第三影像擷取裝置
140‧‧‧影像處理裝置
S202~S224、S502~S510‧‧‧產生深度資訊的方法流程
R1、R2、C、B‧‧‧區域
圖1是根據本發明一實施例所繪示的產生深度資訊的系統的方塊圖。 圖2為根據本發明之一實施例所繪示的產生深度資訊的方法流程圖。 圖3為根據本發明之一實施例所繪示利用影像擷取裝置共同拍攝特定場景的示意圖。 圖4A、圖4B以及圖4C為根據本發明之一實施例所繪示對應於步驟S208、步驟S210、步驟S211的區域示意圖。 圖4D為根據本發明之一實施例所繪示的步驟S214的示意圖。 圖4E為根據本發明之一實施例所繪示對應於步驟S216~S222的區域示意圖。 圖5為根據本發明之另一實施例所繪示的產生深度資訊的方法流程圖。
S502~S510‧‧‧產生深度資訊的方法流程

Claims (16)

  1. 一種產生深度資訊的方法,適用於具有至少三個影像擷取裝置的系統,包括下列步驟:取得關聯於特定場景並且對應於多個不同裝置組合的多個深度圖,其中所述裝置組合為兩兩所述影像擷取裝置所組成的多個不同組合,各所述深度圖具有多個深度值並且對應於該特定場景的不同估測區域,各所述估測區域與其它所述估測區域具有共同重疊區域;針對該特定場景所對應的每一像素點:判斷該像素點所位於的該估測區域是否對應於該共同重疊區域;若否,根據該像素點於該估測區域中該共同重疊區域以外的非共同重疊區域所對應的深度圖中的深度值,設定該像素點的深度資訊;以及若是,根據該像素點於該共同重疊區域所對應的多個深度圖中的多個深度值以及該像素點所對應的物距,設定該像素點的該深度資訊;以及利用所述像素點的所述深度資訊,產生該特定場景的已整合深度圖。
  2. 如申請專利範圍第1項所述的方法,其中所述影像擷取裝置為共線並且等距地配置。
  3. 如申請專利範圍第2項所述的方法,其中所述影像擷取裝置具有相同的視角範圍並且包括第一影像擷取裝置、第二影像擷取裝置以及第三影像擷取裝置,該第二影像擷取裝置設置於該第一影像擷取裝置與該第三擷取裝置之間,該第一影像擷取裝置與該第二影像擷取裝置為所述組合中的第一裝置組合,該第二影像擷取裝置與該第三影像擷取裝置為所述組合中的第二裝置組合,該第一影像擷取裝置與該第三影像擷取裝置為所述組合中的第三裝置組合,該第一裝置組合、該第二裝置組合以及該第三裝置組合分別對應所述估測區域的第一估測區域、第二估測區域以及第三估測區域並且分別對應所述深度圖中的第一深度圖、第二深度圖以及第三深度圖。
  4. 如申請專利範圍第3項所述的方法,其中對於各所述像素點,當該像素點所位於的該估測區域不對應於該共同重疊區域時,根據該像素點於該估測區域中該共同重疊區域以外的該非共同重疊區域所對應的該深度圖中的該深度值,設定該像素點的該深度資訊的步驟包括:當該像素點位於該第一估測區域的該非共同重疊區域時,設定該像素點於該第一深度圖所對應的該深度值為該像素點的該深度資訊;以及當該像素點位於該第二估測區域的該非共同重疊區域時,設定該像素點於該第二深度圖所對應的該深度值為該像素點的該深度資訊。
  5. 如申請專利範圍第3項所述的方法,其中對於各所述像素點,當該像素點所位於的該估測區域對應於該共同重疊區域時,根據該像素點於該共同重疊區域所對應的所述深度圖中的所述深度值以及該像素點所對應的該物距,設定該像素點的該深度資訊的步驟包括:利用該像素點於該第一深度圖所對應的該深度值或是於該第二深度圖所對應的該深度值,計算該像素點所對應的該物距;判斷該像素點所對應的該物距是否大於距離門檻值;若是,設定該像素點於該第三深度圖所對應的該深度值為該像素點的該深度資訊;若否,根據該像素點於該第一深度圖所對應的該深度值以及於該第二深度圖所對應的該深度值至少之一者,設定該像素點的該深度資訊。
  6. 如申請專利範圍第5項所述的方法,其中對於各所述像素點,當該像素點所對應的該物距不大於該距離門檻值時,根據該像素點於該第一深度圖所對應的該深度值以及於該第二深度圖所對應的該深度值至少之一者,設定該像素點的該深度資訊的步驟包括:取得該第二影像擷取裝置的光軸於該第一影像擷取裝置的相對位置;判斷該像素點是否位於該第一影像擷取裝置的該相對位置; 若是,設定該像素點於該第一深度圖所對應的該深度值為該像素點的該深度資訊;以及若否,設定該像素點於該第一深度圖所對應的該深度值與於該第二深度圖所對應的該深度值的加權平均值為該像素點的該深度資訊。
  7. 如申請專利範圍第6項所述的方法,其中對於各所述像素點,當該像素點位於該第一影像擷取裝置的該相對位置時,該方法更包括:判斷該像素點分別於該第一深度圖的該深度值與該第二深度圖的該深度值是否相同;若否,設定該像素點為不具有深度資訊的壞像素。
  8. 如申請專利範圍第1項所述的方法,其中對於各所述像素點,當該像素點不位於任何所述估測區域時,該方法更包括:設定該像素點為不具有深度資訊的壞像素。
  9. 一種產生深度資訊的系統,包括:至少三個影像擷取裝置,分別用以擷取特定場景的影像,其中兩兩所述影像擷取裝置組成多個不同裝置組合;以及影像處理裝置,連接於各所述影像擷取裝置,用以:根據各所述影像擷取裝置所擷取的所述影像,取得關聯於該特定場景並且對應於所述裝置組合的多個深度圖,各所述深度圖具有多個深度值並且對應於該特定場景的不同估測區域,各所述估測區域與其它所述估測區域具有共同重疊區域; 針對該特定場景所對應的每一像素點:判斷該像素點所位於的該估測區域是否對應於該共同重疊區域;若否,根據該像素點於該估測區域中該共同重疊區域以外的非共同重疊區域所對應的深度圖中的深度值,設定該像素點的深度資訊;以及若是,根據該像素點於該共同重疊區域所對應的多個深度圖中的多個深度值以及該像素點所對應的物距,設定該像素點的該深度資訊;以及利用所述像素點的所述深度資訊,產生該特定場景的已整合深度圖。
  10. 如申請專利範圍第9項所述的系統,其中所述影像擷取裝置為共線並且等距地配置。
  11. 如申請專利範圍第10項所述的系統,其中所述影像擷取裝置具有相同的視角範圍並且包括第一影像擷取裝置、第二影像擷取裝置以及第三影像擷取裝置,該第二影像擷取裝置設置於該第一影像擷取裝置與該第三擷取裝置之間,該第一影像擷取裝置與該第二影像擷取裝置為所述組合中的第一裝置組合,該第二影像擷取裝置與該第三影像擷取裝置為所述組合中的第二裝置組合,該第一影像擷取裝置與該第三影像擷取裝置為所述組合中的第三裝置組合,該第一裝置組合、該第二裝置組合以及該第三裝置組合分別對應所述估測區域的第一估測區域、第二估測區域以 及第三估測區域並且分別對應所述深度圖中的第一深度圖、第二深度圖以及第三深度圖。
  12. 如申請專利範圍第11項所述的系統,其中對於各所述像素點:當該影像處理裝置判斷該像素點位於該第一估測區域的該非共同重疊區域時,該影像處理裝置設定該像素點於該第一深度圖所對應的該深度值為該像素點的該深度資訊;以及當該影像處理裝置判斷該像素點位於該第二估測區域的該非共同重疊區域時,該影像處理裝置設定該像素點於該第二深度圖所對應的該深度值為該像素點的該深度資訊。
  13. 如申請專利範圍第11項所述的系統,其中對於各所述像素點,當該影像處理裝置判斷該像素點所位於的該估測區域對應於該共同重疊區域時:該影像處理裝置利用該像素點於該第一深度圖所對應的該深度值或是於該第二深度圖所對應的該深度值,計算該像素點所對應的該物距,並且判斷該像素點所對應的該物距是否大於距離門檻值;若是,則該影像處理裝置設定該像素點於該第三深度圖所對應的該深度值為該像素點的該深度資訊;以及若否,則該影像處理裝置根據該像素點於該第一深度圖所對應的該深度值以及於該第二深度圖所對應的該深度值至少之一者,設定該像素點的該深度資訊。
  14. 如申請專利範圍第13項所述的系統,其中對於各所述像素點,當該像素點所對應的該物距不大於該距離門檻值時:該影像處理裝置取得該第二影像擷取裝置的光軸於該第一影像擷取裝置的相對位置,並且判斷該像素點是否位於該第一影像擷取裝置的該相對位置;若是,該影像處理裝置設定該像素點於該第一深度圖所對應的該深度值為該像素點的該深度資訊;以及若否,該影像處理裝置設定該像素點於該第一深度圖所對應的該深度值與於該第二深度圖所對應的該深度值的加權平均值為該像素點的該深度資訊。
  15. 如申請專利範圍第14項所述的系統,其中對於各所述像素點,當該像素點位於該第一影像擷取裝置的該相對位置時,該影像處理裝置更判斷該像素點分別於該第一深度圖的該深度值與該第二深度圖的該深度值是否相同;以及若否,該影像處理裝置設定該像素點為不具有深度資訊的壞像素。
  16. 如申請專利範圍第9項所述的系統,其中對於各所述像素點,當該像素點不位於任何所述估測區域時,該影像處理裝置更設定該像素點為不具有深度資訊的壞像素。
TW105115210A 2016-05-17 2016-05-17 產生深度資訊的方法及其系統 TWI567693B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105115210A TWI567693B (zh) 2016-05-17 2016-05-17 產生深度資訊的方法及其系統
CN201610396512.3A CN107396080B (zh) 2016-05-17 2016-06-06 产生深度信息的方法及系统
US15/242,604 US10460460B2 (en) 2016-05-17 2016-08-22 Method and system for generating depth information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105115210A TWI567693B (zh) 2016-05-17 2016-05-17 產生深度資訊的方法及其系統

Publications (2)

Publication Number Publication Date
TWI567693B true TWI567693B (zh) 2017-01-21
TW201741999A TW201741999A (zh) 2017-12-01

Family

ID=58408201

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105115210A TWI567693B (zh) 2016-05-17 2016-05-17 產生深度資訊的方法及其系統

Country Status (3)

Country Link
US (1) US10460460B2 (zh)
CN (1) CN107396080B (zh)
TW (1) TWI567693B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696739A (zh) * 2017-03-31 2018-10-23 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置
TWI660327B (zh) * 2017-03-31 2019-05-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
CN112740666A (zh) * 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6139713B2 (ja) 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
CN108519655A (zh) 2013-07-04 2018-09-11 核心光电有限公司 小型长焦透镜套件
US9857568B2 (en) 2013-07-04 2018-01-02 Corephotonics Ltd. Miniature telephoto lens assembly
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10706569B2 (en) 2016-06-08 2020-07-07 Amazon Technologies, Inc. Selectively paired imaging elements for stereo images
IL302577A (en) 2017-02-23 2023-07-01 Corephotonics Ltd Lens designs for a folded camera
US10306152B1 (en) * 2018-02-14 2019-05-28 Himax Technologies Limited Auto-exposure controller, auto-exposure control method and system based on structured light
CN108830785B (zh) * 2018-06-06 2021-01-15 Oppo广东移动通信有限公司 背景虚化方法及装置、电子装置、计算机设备和存储介质
CN108777784B (zh) * 2018-06-06 2019-09-06 Oppo广东移动通信有限公司 深度获取方法和装置、电子装置、计算机设备和存储介质
CN109470166B (zh) * 2018-11-09 2020-12-08 业成科技(成都)有限公司 结构光深度感测器及感测方法
CN114615402A (zh) 2019-01-03 2022-06-10 核心光电有限公司 双重相机
KR102288615B1 (ko) 2019-08-21 2021-08-11 코어포토닉스 리미티드 큰 센서 포맷을 위한 작은 총 트랙 길이
CN112540494B (zh) * 2019-09-06 2022-05-03 浙江舜宇光学有限公司 成像装置和成像方法
US11656538B2 (en) 2019-11-25 2023-05-23 Corephotonics Ltd. Folded zoom camera module with adaptive aperture
WO2021140403A1 (en) 2020-01-08 2021-07-15 Corephotonics Ltd. Multi-aperture zoom digital cameras and methods of using same
EP3966631B1 (en) 2020-05-30 2023-01-25 Corephotonics Ltd. Systems and methods for obtaining a super macro image
KR102657473B1 (ko) 2020-07-31 2024-04-12 코어포토닉스 리미티드 폴디드 매크로-텔레 카메라 렌즈 설계
CN117331203A (zh) 2020-09-18 2024-01-02 核心光电有限公司 弹出式变焦相机
WO2022118176A1 (en) 2020-12-01 2022-06-09 Corephotonics Ltd. Folded camera with continuously adaptive zoom factor
TWI756956B (zh) * 2020-12-01 2022-03-01 財團法人工業技術研究院 用於環景影像的影像處理方法及裝置
CN117581264A (zh) * 2021-01-28 2024-02-20 前瞻机械私人有限公司 用于组合多个深度图的系统和方法
CN113499094B (zh) * 2021-07-08 2023-07-25 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
KR102685591B1 (ko) 2021-09-23 2024-07-15 코어포토닉스 리미티드 큰 애퍼처 연속 줌 폴디드 텔레 카메라
WO2023079403A1 (en) 2021-11-02 2023-05-11 Corephotonics Ltd. Compact double folded tele cameras
KR20240061215A (ko) * 2022-10-31 2024-05-08 삼성전자주식회사 깊이 맵을 생성하기 위한 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
TW201250626A (en) * 2011-03-31 2012-12-16 Sony Computer Entertainment Inc Information processing system, information processing device, imaging device, and information processing method
TW201320002A (zh) * 2011-11-03 2013-05-16 Au Optronics Corp 多視角立體影像產生方法及採用此方法之多視角立體影像產生裝置
US20140098199A1 (en) * 2010-03-10 2014-04-10 Shapequest, Inc. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US20140184751A1 (en) * 2012-12-27 2014-07-03 Industrial Technology Research Institute Device for acquiring depth image, calibrating method and measuring method therefor
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
TW201506850A (zh) * 2013-08-08 2015-02-16 Huper Lab Co Ltd 三維偵測裝置及其偵測影像之方法
TW201612853A (en) * 2014-09-30 2016-04-01 Lite On Technology Corp Method for creating depth map and a multi-lens camera system using the method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI383666B (zh) * 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
KR20110000848A (ko) * 2009-06-29 2011-01-06 (주)실리콘화일 3차원 거리정보 및 영상 획득 장치
US20130027548A1 (en) 2011-07-28 2013-01-31 Apple Inc. Depth perception device and system
TWI513275B (zh) * 2012-07-17 2015-12-11 Univ Nat Chiao Tung 攝影裝置
KR101982075B1 (ko) * 2012-09-28 2019-05-24 엘지이노텍 주식회사 Tv 장치
US20140104394A1 (en) * 2012-10-15 2014-04-17 Intel Corporation System and method for combining data from multiple depth cameras
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
DE102013110615B3 (de) * 2013-09-26 2014-11-27 Sick Ag 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
US20140098199A1 (en) * 2010-03-10 2014-04-10 Shapequest, Inc. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
TW201250626A (en) * 2011-03-31 2012-12-16 Sony Computer Entertainment Inc Information processing system, information processing device, imaging device, and information processing method
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
TW201320002A (zh) * 2011-11-03 2013-05-16 Au Optronics Corp 多視角立體影像產生方法及採用此方法之多視角立體影像產生裝置
US20140184751A1 (en) * 2012-12-27 2014-07-03 Industrial Technology Research Institute Device for acquiring depth image, calibrating method and measuring method therefor
TW201506850A (zh) * 2013-08-08 2015-02-16 Huper Lab Co Ltd 三維偵測裝置及其偵測影像之方法
TW201612853A (en) * 2014-09-30 2016-04-01 Lite On Technology Corp Method for creating depth map and a multi-lens camera system using the method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696739A (zh) * 2017-03-31 2018-10-23 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置
TWI660327B (zh) * 2017-03-31 2019-05-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
US10650542B2 (en) 2017-03-31 2020-05-12 Eys3D Microelectronics, Co. Depth map generation device for merging multiple depth maps
US11120567B2 (en) 2017-03-31 2021-09-14 Eys3D Microelectronics, Co. Depth map generation device for merging multiple depth maps
US11122247B2 (en) 2017-03-31 2021-09-14 Eys3D Microelectronics, Co. Depth map generation device capable of correcting occlusion
CN108696739B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置
CN112740666A (zh) * 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法

Also Published As

Publication number Publication date
TW201741999A (zh) 2017-12-01
US20170337703A1 (en) 2017-11-23
CN107396080B (zh) 2019-04-09
US10460460B2 (en) 2019-10-29
CN107396080A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
TWI567693B (zh) 產生深度資訊的方法及其系統
US11615546B2 (en) Systems and methods for depth estimation using generative models
US20160173869A1 (en) Multi-Camera System Consisting Of Variably Calibrated Cameras
JP5887267B2 (ja) 3次元画像補間装置、3次元撮像装置および3次元画像補間方法
US10129455B2 (en) Auto-focus method and apparatus and electronic device
TWI532009B (zh) 產生淺景深影像的方法及裝置
US20150334309A1 (en) Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
TWI538512B (zh) 調整對焦位置的方法及電子裝置
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
TW201518848A (zh) 固態攝像裝置、運算裝置及運算程式
TWI529661B (zh) 快速建立景深圖的方法及影像處理裝置
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
TWI553591B (zh) 深度影像處理方法及深度影像處理系統
CN106612392A (zh) 一种基于双摄像头拍摄图像的方法和装置
TW202013956A (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
TW201537949A (zh) 立體攝影系統及其方法
JP6305232B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
EP3624050B1 (en) Method and module for refocusing at least one plenoptic video
TWI559731B (zh) 製作立體影像方法
JP2013085018A (ja) 撮像装置