TWI625051B - 深度感測裝置 - Google Patents

深度感測裝置 Download PDF

Info

Publication number
TWI625051B
TWI625051B TW106109222A TW106109222A TWI625051B TW I625051 B TWI625051 B TW I625051B TW 106109222 A TW106109222 A TW 106109222A TW 106109222 A TW106109222 A TW 106109222A TW I625051 B TWI625051 B TW I625051B
Authority
TW
Taiwan
Prior art keywords
circuit
axis
depth
current block
image
Prior art date
Application number
TW106109222A
Other languages
English (en)
Other versions
TW201836352A (zh
Inventor
蔡金融
張乃婷
劉逸穠
Original Assignee
奇景光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 奇景光電股份有限公司 filed Critical 奇景光電股份有限公司
Priority to TW106109222A priority Critical patent/TWI625051B/zh
Application granted granted Critical
Publication of TWI625051B publication Critical patent/TWI625051B/zh
Publication of TW201836352A publication Critical patent/TW201836352A/zh

Links

Landscapes

  • Measurement Of Optical Distance (AREA)

Abstract

一種深度感測裝置,包括儲存電路、攝影電路、補償電路、對應搜尋電路以及深度電路。儲存電路提供基準真值圖像。攝影電路提供經拍攝圖像。對應搜尋電路提供第一軸差距給補償電路,並從補償電路接收第二軸差距。利用第一軸差距與第二軸差距,對應搜尋電路在基準真值圖像或經拍攝圖像中搜索出目前塊所對應的一個對應塊,以獲得目前塊與對應塊之間的位置差距值。深度電路將位置差距值轉換為目前塊的深度值。

Description

深度感測裝置
本發明是有關於一種電子裝置,且特別是有關於一種深度感測裝置。
在立體攝影系統(stereo camera system)的兩個經拍攝圖像中找到對應(corresponds),或是在結構化光系統(structured light system)的一個經拍攝圖像以及另一個基準真值圖像(ground truth image)中找到對應,是深度感測器(depth sensor)的重要程序(procedure)。傳統上,在處理對應搜索(correspond search)之前,必須對這兩個圖像都進行校正(rectification),以使圖像的水平軸對準於兩個設備(立體攝影系統的兩個相機,或,結構化光系統的相機和投影儀)之間的對極線(epipolar line)。其目的是使搜索方向(search direction)與水平軸對齊,並降低其複雜性(complexity)。然而,該方案需要兩個扭曲邏輯(warping logic)和兩個記憶體來完成兩個圖像的校正。
本發明提供一種深度感測(depth sensing)裝置,其可以對基準真值圖像或經拍攝圖像進行對應搜索(correspond search)。
本發明的實施例提供一種深度感測裝置。此深度感測裝置包括儲存電路、攝影電路、補償電路、對應搜尋電路以及深度電路。儲存電路用以儲存並提供基準真值圖像(ground truth image)。攝影電路用以拍攝視野以產生經拍攝圖像。補償電路用以將多個第一軸差距(first-axis disparities)轉換為多個第二軸差距。對應搜尋電路耦接儲存電路,以接收基準真值圖像。對應搜尋電路耦接該攝影電路,以接收經拍攝圖像。對應搜尋電路提供這些第一軸差距給補償電路,並從補償電路接收這些第二軸差距。利用這些第一軸差距與這些第二軸差距,對應搜尋電路在基準真值圖像或經拍攝圖像中搜索出目前塊所對應的一個對應塊,以獲得該目前塊與該對應塊之間的位置差距值。深度電路耦接對應搜尋電路,以接收該位置差距值。深度電路用以將位置差距值轉換為目前塊的深度值。
基於上述,本發明諸實施例所述深度感測裝置,其採用補償電路將第一軸差距(例如x軸差距)轉換為對應的第二軸差距(例如y軸差距)。利用第一軸差距與第二軸差距,對應搜尋電路可以依據經拍攝圖像內的目前塊去對基準真值圖像進行對應搜索,或是依據基準真值圖像內的目前塊去對經拍攝圖像進行對應搜索。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
在本案說明書全文(包括申請專利範圍)中所使用的「耦接(或連接)」一詞可指任何直接或間接的連接手段。舉例而言,若文中描述第一裝置耦接(或連接)於第二裝置,則應該被解釋成該第一裝置可以直接連接於該第二裝置,或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。另外,凡可能之處,在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
圖1是依照一實施例所繪示的一種深度感測裝置100的電路方塊(circuit block)示意圖。深度感測裝置100可以應用於立體攝影系統(stereo camera system)。圖1所示深度感測裝置100包括攝影電路110、校正(rectification)電路120、儲存電路130、攝影電路140、校正電路150、儲存電路160、對應搜尋(correspond search)電路170以及深度電路180。攝影電路110與攝影電路1140拍攝同一個視野。攝影電路110所產生的經拍攝圖像111(例如右視角圖像)被傳送到校正電路120,而攝影電路1140所產生的經拍攝圖像141(例如左視角圖像)被傳送到校正電路150。
校正電路120配置有扭曲邏輯(warping logic)及/或其他電路。校正電路120可以對經拍攝圖像111進行圖像扭曲(image warping)校正、透鏡失真(lens distortion)校正、旋轉(rotation)校正及/或其他圖像校正操作。舉例來說,校正電路120可以對經拍攝圖像111進行習知的圖像校正操作或是其他圖像校正操作。校正電路120可以將經校正的圖像存放於儲存電路130。校正電路150亦配置有扭曲邏輯及/或其他電路。校正電路150可以對經拍攝圖像141進行圖像扭曲校正、透鏡失真校正、旋轉校正及/或其他圖像校正操作。舉例來說,校正電路150可以對經拍攝圖像141進行習知的圖像校正操作或是其他圖像校正操作。校正電路150可以將經校正的圖像存放於儲存電路160。
對應搜尋電路170耦接儲存電路130,以接收經校正圖像131。對應搜尋電路170耦接儲存電路160,以接收經校正圖像161。校正電路120與校正電路150已經完成了圖像校正操作,因此經校正圖像131的水平軸與經校正圖像161的水平軸可以對準於兩個攝影電路110與140之間的對極線(epipolar line)。因此,對應搜尋電路170的搜索方向(search direction)可以與水平軸對齊。搜索方向(search direction)可以與水平軸對齊,其可以降低運算的複雜性(complexity)。
圖2繪示了圖1所示經校正圖像161(例如左視角圖像)中的目前塊162與經校正圖像131(例如右視角圖像)中的對應塊(參考塊)132的位置示意圖。圖2所示範例已經將經校正圖像131與經校正圖像161相互重疊。在圖2所示範例中,對應搜尋電路170的搜索方向被假設為水平軸方向(X軸方向)。請參照圖1與圖2,由於校正電路120與校正電路150已經完成了圖像校正操作,因此經校正圖像131的水平軸與經校正圖像161的水平軸可以對準於兩個攝影電路110與140之間的對極線。因為經校正圖像131的水平軸與經校正圖像161的水平軸已經相互對準,因此搜索方向可以沒有Y軸分量(Y軸差距dy為0)。針對在經校正圖像161中的目前塊162,對應搜尋電路170可以藉由設定第一軸差距(例如X軸差距dx)來沿著搜索方向決定在經校正圖像131中的搜尋位置(對應塊132的位置)。舉例來說,假設在經校正圖像161中的目前塊162的位置為座標[Xc,Yc],藉由設定X軸差距dx,則在經校正圖像131中的對應塊132的位置為座標[Xp’,Yp’] = [Xc+dx,Yc]。所述Xc、Yc、dx、Xp’、Yp’為實數,由設計需求來決定。
對應搜尋電路170計算對應塊132與目前塊162之間的差異值。依照設計需求,所述差異值是絕對差和(sum absolute difference, SAD)值、正規化互相關(normalized cross correlation, NCC)值、或是用以表示對應塊132與目前塊162之間差異的其他數值。換句話說,藉由改變X軸差距dx,對應搜尋電路170可以依照目前塊162的位置座標[Xc,Yc]而沿著搜索方向獲得在經校正圖像131中的多個候選塊(例如對應塊132)。對應搜尋電路170可以分別計算這些候選塊(例如對應塊132)與目前塊162之間的差異值,然後依照這些差異值來從這些候選塊中選擇一個候選塊。舉例來說,對應搜尋電路170可以從這些候選塊中選擇具有較小差異值的一個候選塊。在此假設圖2所示對應塊132具有最小差異值。對應搜尋電路170可以將目前塊162與對應塊132之間的X軸差距dx作為目前塊162的位置差距值171。位置差距值171表示了具有較小差異值的一個候選塊與目前塊162之間的位置差距。
一旦擇定目前塊162後,依照設計需求,對應搜尋電路170可以施行任何對應搜尋演算法,以便計算出目前塊162的位置差距值171。舉例來說,在一些實施例中,對應搜尋電路170可以施行習知對應搜尋演算法或是其他對應搜尋演算法,來計算出目前塊162的位置差距值171。
深度電路180耦接對應搜尋電路170,以接收目前塊162的位置差距值171。深度電路180可以將位置差距值171轉換為目前塊162的深度值181。在完成整個經校正圖像161的掃描後,深度電路180便可以提供整個深度圖(depth map)給下一級電路(未繪示)。在一些實施例中,深度電路180可以包括深度查找表(depth lookup table)。深度電路180可以藉由使用此深度查找表而將位置差距值171轉換為深度值181。在其他實施例中,深度電路180可以施行任何深度演算法,以便將位置差距值171轉換為深度值181。舉例來說,深度電路180可以施行習知深度演算法或是其他深度演算法,來將位置差距值171轉換為深度值181。
對於圖1所示電路而言,在處理管線(processing pipeline)中必須配置大的記憶體和額外的圖像扭曲邏輯(image warping logic)。也就是說,大的記憶體和額外的圖像扭曲邏輯將會增加硬體成本。
圖3是依照本發明的一實施例所繪示的一種深度感測裝置300的電路方塊示意圖。深度感測裝置300可以應用於結構化光系統(structured light system)。圖3所示深度感測裝置300包括攝影電路140、投影儀320、儲存電路330、對應搜尋電路370、補償電路390以及深度電路380。儲存電路330可以是任何類型的非依電性記憶體(non-volatile memory)或是依電性記憶體(volatile memory)。儲存電路330可以儲存並提供基準真值圖像(ground truth image)331或是基準真值圖案(ground truth pattern)。
投影儀320耦接至儲存電路330。投影儀320可以利用不可見光(例如紅外光或是其他波段光)或是可見光而將基準真值圖像331投影至一個視野(場域)中。攝影電路140可以拍攝在所述視野(場域)中被投影儀320所投射出的基準真值圖像331,以產生經拍攝圖像141。相較於圖1所示實施例,圖3所示實施例省略了圖1所示校正電路150與儲存電路160。圖3所示攝影電路140將未經校正的經拍攝圖像141提供給對應搜尋電路370。
圖4是依照本發明的一實施例所繪示的一種深度感測方法的流程示意圖。請參照圖3與圖4,攝影電路140於步驟S410中拍攝在所述視野(場域)中被投影儀320所投射出的基準真值圖像331,以產生經拍攝圖像141。在進行對應搜尋的過程中,對應搜尋電路370可以提供多個第一軸差距(例如X軸差距)給補償電路390(步驟S420)。於步驟S430中,補償電路390可以將這些第一軸差距轉換為對應的第二軸差距(例如Y軸差距),並將這些第二軸差距回傳給對應搜尋電路370。
對應搜尋電路370耦接儲存電路330,以接收基準真值圖像331。對應搜尋電路370耦接攝影電路140,以接收經拍攝圖像141。對應搜尋電路370耦接補償電路390,以便提供第一軸差距(例如X軸差距)給補償電路390,並從補償電路390接收第二軸差距(例如Y軸差距)。於步驟S440中,利用第一軸差距與第二軸差距,對應搜尋電路370可以在基準真值圖像331(或經拍攝圖像141)中搜索出目前塊所對應的對應塊,以獲得目前塊與對應塊之間的位置差距值371。在一些實施例中,對應搜尋電路370可以依據在經拍攝圖像141中的一個目前塊而在基準真值圖像331中搜索出一個對應塊。所述對應塊是在基準真值圖像331中的多個候選塊中最相似於經拍攝圖像141的目前塊的一個候選塊。在另一些實施例中,對應搜尋電路370可以依據在基準真值圖像331中的一個目前塊而在經拍攝圖像141中搜索出一個對應塊。
於圖3所示實施例中,深度電路380耦接對應搜尋電路370,以接收位置差距值371。於步驟S450中,深度電路380可以將位置差距值371轉換為目前塊的深度值381。圖3所示深度電路380可以參照圖1所示深度電路180的相關說明來類推,故不再贅述。在完成整個經拍攝圖像141(或基準真值圖像331)的掃描後,深度電路380便可以提供整個深度圖給下一級電路(未繪示)。
圖5繪示了圖3所示經拍攝圖像141中的目前塊142與圖3所示基準真值圖像331中的對應塊(參考塊)332的位置示意圖。圖5所示範例已經將經拍攝圖像141與基準真值圖像331相互重疊。在圖5所示範例中,對應搜尋電路370的搜索方向具有水平軸(X軸)分量與垂直軸(Y軸)分量。請參照圖3與圖5,針對在經拍攝圖像141中的目前塊142,對應搜尋電路370可以藉由設定第一軸差距(例如X軸差距dx),與其於圖像141的座標軸位置(Xc,Yc),來決定在基準真值圖像331中的搜尋位置(例如對應塊332的位置)的X軸分量。基於補償電路390將X軸差距dx轉換為對應的Y軸差距dy,對應搜尋電路370可以獲得基準真值圖像331中的搜尋位置(例如對應塊332的位置)的Y軸分量。舉例來說,假設在經拍攝圖像141中的目前塊142的位置為座標[Xc,Yc],藉由設定X軸差距dx,則在基準真值圖像331中的對應塊332的位置為座標[Xp,Yp] = [Xc+dx,Yc+dy]。所述Xc、Yc、dx、dy、Xp、Yp為實數,由設計需求來決定。
對應搜尋電路370計算對應塊332與目前塊142之間的差異值。依照設計需求,所述差異值可以是絕對差和(SAD)值、正規化互相關(NCC)值、或是用以表示對應塊332與目前塊142之間差異的其他數值。換句話說,藉由改變X軸差距dx,補償電路390可以將X軸差距dx轉換為對應的Y軸差距dy,而對應搜尋電路370可以依照目前塊142的位置座標[Xc,Yc]獲得在基準真值圖像331中的多個候選塊(例如對應塊332)。對應搜尋電路370可以分別計算這些候選塊(例如對應塊332)與目前塊142之間的差異值,然後依照這些差異值來從這些候選塊中選擇一個候選塊。舉例來說,對應搜尋電路370可以從這些候選塊中選擇具有較小差異值的一個候選塊。在此假設圖5所示對應塊332(候選塊之一)具有最小差異值。在一些實施例中,對應搜尋電路370可以將目前塊142與對應塊332之間的X軸差距dx作為目前塊142的位置差距值371。位置差距值371表示了具有較小差異值的一個候選塊與目前塊142之間的位置差距。在另一些實施例中,對應搜尋電路370可以將目前塊142與對應塊332之間的X軸差距dx與Y軸差距dy作為目前塊142的位置差距值371。
一旦擇定目前塊142的座標[Xc,Yc]與多個候選塊的座標(例如對應塊332的座標[Xp,Yp])後,依照設計需求,對應搜尋電路370可以施行任何對應搜尋演算法(例如習知對應搜尋演算法或是其他對應搜尋演算法),以便計算出目前塊142的位置差距值371。
請參照圖3,在一些實施例中,補償電路390可以包括一個第二軸補償查找表(例如垂直軸補償查找表或Y軸補償查找表)。補償電路390藉由使用此第二軸補償查找表而將第一軸差距(例如X軸差距dx)轉換為第二軸差距(例如Y軸差距dy)。所述第二軸補償查找表的內容可以依照實際產品的設計需求、組裝公差及/或其他因素來決定。
在另一些實施例中,補償電路390包括多個第二軸補償查找表(例如垂直軸補償查找表或Y軸補償查找表)。對應搜尋電路370提供第一軸差距(例如X軸差距dx)給補償電路390。補償電路390依據第一軸差距而從這些第二軸補償查找表中選擇一個對應者(在此稱為經選擇查找表)。對應搜尋電路370還可以提供目前塊的位置值(例如圖5所示目前塊142的座標[Xc,Yc])給補償電路390。補償電路390可以藉由使用所述經選擇查找表而將目前塊的位置值(例如圖5所示[Xc,Yc])轉換為第二軸差距(例如圖5所示Y軸差距dy)。所述多個第二軸補償查找表的內容可以依照實際產品的設計需求、組裝公差及/或其他因素來決定。
圖3所示實施例提出了一種簡化方案。圖3所示實施例可以用低複雜度垂直方向補償(low complex vertical-directional compensation)查找表來代替高複雜度校正(high complex rectification)電路。兩個裝置(例如圖3所示投影儀320與攝影電路140)之間的旋轉-平移失配(rotation-translation mismatch)和透鏡失真(lens distortion)可以在高階曲線(high-order curve,而不是水平線)上約束(constrains)兩個圖像(基準真值圖像331與經拍攝圖像141)的對應(correspondence)。垂直方向補償查找表可以調整垂直搜索方向,以滿足高階曲線約束(high-order curve constraint)。一般來說,在合理的失配和失真(reasonable mismatch and distortion)下,此垂直方向補償查找表可以非常簡單,例如僅取決於圖像坐標[Xc,Yc]和x軸差距dx。
圖6是依照本發明的另一實施例所繪示的一種深度感測裝置600的電路方塊示意圖。深度感測裝置600可以應用於立體攝影系統。圖6所示深度感測裝置600包括攝影電路110、校正電路120、儲存電路330、攝影電路140、對應搜尋電路370、補償電路390以及深度電路380。圖6所示攝影電路110、校正電路120與攝影電路140可以參照圖1的相關說明來類推,故不再贅述。圖6所示校正電路120可以將經校正的圖像作為基準真值圖像331存放於儲存電路330。圖6所示攝影電路140、儲存電路330、對應搜尋電路370、深度電路380以及補償電路390可以參照圖3至圖5的相關說明來類推,故不再贅述。
值得注意的是,在不同的應用情境中,對應搜尋電路370、深度電路380以及/或是補償電路390的相關功能可以利用一般的編程語言(programming languages,例如C或C++)、硬體描述語言(hardware description languages,例如Verilog HDL或VHDL)或其他合適的編程語言來實現為軟體、韌體或硬體。可執行所述相關功能的編程語言可以被佈置為任何已知的計算機可存取媒體(computer-accessible medias),例如磁帶(magnetic tapes)、半導體(semiconductors)記憶體、磁盤(magnetic disks)或光盤(compact disks,例如CD-ROM或DVD-ROM),或者可通過互聯網(Internet)、有線通信(wired communication)、無線通信(wireless communication)或其它通信介質傳送所述編程語言。所述編程語言可以被存放在計算機的可存取媒體中,以便於由計算機的處理器來存取/執行所述軟體(或韌體)的編程碼(programming codes)。對於硬體實現,結合本文實施例所揭示的態樣,利用在一或多個控制器、微控制器、微處理器、特殊應用積體電路(Application-specific integrated circuit, ASIC)、數位訊號處理器(digital signal processor, DSP)、場可程式邏輯閘陣列(Field Programmable Gate Array, FPGA)及/或其他處理單元中的的各種示例性的邏輯、邏輯區塊、模組和電路可以被用於實現或執行本文所述功能。另外,本發明的裝置和方法可以通過硬體和軟體的組合來實現。
綜上所述,在一些實施例中,深度感測裝置結合了垂直方向補償(vertical-directional compensation)查找表以進行對應搜索(correspondence search,例如絕對差和(SAD)值、正規化互相關(NCC)值…等等),進而進行差距計算(disparity calculation)。深度感測裝置還附加了差距到深度(disparity-to-depth)查找表,以輸出精確的深度結果(depth result)。所述深度感測裝置可以處理兩個設備(立體系統中的兩個相機,或,結構化光系統的一個相機和一個投影儀)之間的旋轉-平移失配(rotation-translation mismatch)和透鏡失真(lens distortion)。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧深度感測裝置
110‧‧‧攝影電路
111‧‧‧經拍攝圖像
120‧‧‧校正電路
130‧‧‧儲存電路
131‧‧‧經校正圖像
132‧‧‧對應塊
140‧‧‧攝影電路
141‧‧‧經拍攝圖像
142‧‧‧目前塊
150‧‧‧校正電路
160‧‧‧儲存電路
161‧‧‧經校正圖像
162‧‧‧目前塊
170‧‧‧對應搜尋電路
171‧‧‧位置差距值
180‧‧‧深度電路
181‧‧‧深度值
300‧‧‧深度感測裝置
320‧‧‧投影儀
330‧‧‧儲存電路
331‧‧‧基準真值圖像
332‧‧‧對應塊
370‧‧‧對應搜尋電路
371‧‧‧位置差距值
380‧‧‧深度電路
381‧‧‧深度值
390‧‧‧補償電路
600‧‧‧深度感測裝置
[Xc,Yc]、[Xp,Yp]、[Xp’,Yp’]‧‧‧座標
dx‧‧‧X軸差距
dy‧‧‧Y軸差距
S410~S450‧‧‧步驟
圖1是依照一實施例所繪示的一種深度感測裝置的電路方塊(circuit block)示意圖。 圖2繪示了圖1所示經校正圖像中的目前塊與對應塊的位置示意圖。 圖3是依照本發明的一實施例所繪示的一種深度感測裝置的電路方塊示意圖。 圖4是依照本發明的一實施例所繪示的一種深度感測方法的流程示意圖。 圖5繪示了圖3所示經拍攝圖像中的目前塊與圖3所示基準真值圖像中的對應塊的位置示意圖。 圖6是依照本發明的另一實施例所繪示的一種深度感測裝置的電路方塊示意圖。

Claims (9)

  1. 一種深度感測裝置,用於結構光化系統,包括:一儲存電路,用以儲存並提供一基準真值圖像;一攝影電路,用以拍攝一視野以產生一經拍攝圖像;一補償電路,用以將多個第一軸差距轉換為多個第二軸差距;一對應搜尋電路,耦接該儲存電路以接收該基準真值圖像,耦接該攝影電路以接收該經拍攝圖像,提供該些第一軸差距給該補償電路並從該補償電路接收該些第二軸差距,其中該對應搜尋電路利用該些第一軸差距與該些第二軸差距而在該基準真值圖像或該經拍攝圖像中搜索出一目前塊所對應的一對應塊,以獲得該目前塊與該對應塊之間的一位置差距值,其中該些第一軸差距為該目前塊與多個候選塊之間水平方向的差距,該些第二軸差距為該目前塊與該些候選塊之間垂直方向的差距;以及一深度電路,耦接該對應搜尋電路以接收該位置差距值,用以將該位置差距值轉換為該目前塊的一深度值。
  2. 如申請專利範圍第1項所述的深度感測裝置,更包括:一第二攝影電路,用以拍攝該視野並產生一第二經拍攝圖像;以及一校正電路,耦接該第二攝影電路以接收該第二經拍攝圖像,用以校正該第二經拍攝圖像以產生該基準真值圖像,以及將該基準真值圖像儲存於該儲存電路。
  3. 如申請專利範圍第1項所述的深度感測裝置,其中該補償電路包括一第二軸補償查找表,該補償電路藉由使用該第二軸補償查找表將該些第一軸差距轉換為該些第二軸差距。
  4. 如申請專利範圍第1項所述的深度感測裝置,其中該補償電路包括多個第二軸補償查找表,該對應搜尋電路提供該些第一軸差距其中一個第一軸差距給該補償電路,該補償電路依據該第一軸差距而從該些第二軸補償查找表選擇一對應者作為一經選擇查找表,該對應搜尋電路還提供該目前塊的一位置值給該補償電路,該補償電路藉由使用該經選擇查找表將該目前塊的該位置值轉換為該些第二軸差距其中一個第二軸差距。
  5. 如申請專利範圍第1項所述的深度感測裝置,其中該目前塊屬於該經拍攝圖像,該對應搜尋電路依據該目前塊的位置值、該些第一軸差距與該些第二軸差距而決定多個搜尋位置值,該對應搜尋電路依據該些搜尋位置值而獲得在該基準真值圖像中的該些候選塊,以及該對應搜尋電路從該些候選塊中選擇一者作為該對應塊。
  6. 如申請專利範圍第5項所述的深度感測裝置,其中該對應搜尋電路分別計算該些候選塊與該目前塊之間的差異值,並依照該些差異值來從該些候選塊中選擇該對應塊。
  7. 如申請專利範圍第6項所述的深度感測裝置,其中該些差異值是絕對差和值或是正規化互相關值。
  8. 如申請專利範圍第1項所述的深度感測裝置,其中該位置差距值是該目前塊與該對應塊之間的該第一軸差距。
  9. 如申請專利範圍第1項所述的深度感測裝置,其中該深度電路包括一深度查找表,該深度電路藉由使用該深度查找表將該位置差距值轉換為該深度值。
TW106109222A 2017-03-21 2017-03-21 深度感測裝置 TWI625051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW106109222A TWI625051B (zh) 2017-03-21 2017-03-21 深度感測裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106109222A TWI625051B (zh) 2017-03-21 2017-03-21 深度感測裝置

Publications (2)

Publication Number Publication Date
TWI625051B true TWI625051B (zh) 2018-05-21
TW201836352A TW201836352A (zh) 2018-10-01

Family

ID=62951792

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106109222A TWI625051B (zh) 2017-03-21 2017-03-21 深度感測裝置

Country Status (1)

Country Link
TW (1) TWI625051B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11634153B2 (en) 2019-12-30 2023-04-25 Waymo Llc Identification of proxy calibration targets for a fleet of vehicles

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11006094B2 (en) 2018-08-02 2021-05-11 Himax Technologies Limited Depth sensing apparatus and operation method thereof
TWI699734B (zh) * 2018-08-09 2020-07-21 奇景光電股份有限公司 深度感測裝置及其操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222558A (ja) * 2000-02-09 2001-08-17 Daisan Chubu:Kk 図面作成用の記録媒体及びその図面作成装置携帯
WO2011121837A1 (ja) * 2010-03-29 2011-10-06 富士フイルム株式会社 立体撮像装置、画像再生装置及び編集ソフトウエア
WO2011121840A1 (ja) * 2010-03-31 2011-10-06 富士フイルム株式会社 立体撮像装置
TW201327474A (zh) * 2011-12-30 2013-07-01 Nat Univ Chung Cheng 視差估計深度產生方法
CN104504683A (zh) * 2014-12-02 2015-04-08 中国科学院西安光学精密机械研究所 一种长基线光学交会测量的像点快速匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222558A (ja) * 2000-02-09 2001-08-17 Daisan Chubu:Kk 図面作成用の記録媒体及びその図面作成装置携帯
WO2011121837A1 (ja) * 2010-03-29 2011-10-06 富士フイルム株式会社 立体撮像装置、画像再生装置及び編集ソフトウエア
WO2011121840A1 (ja) * 2010-03-31 2011-10-06 富士フイルム株式会社 立体撮像装置
TW201327474A (zh) * 2011-12-30 2013-07-01 Nat Univ Chung Cheng 視差估計深度產生方法
CN104504683A (zh) * 2014-12-02 2015-04-08 中国科学院西安光学精密机械研究所 一种长基线光学交会测量的像点快速匹配方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11634153B2 (en) 2019-12-30 2023-04-25 Waymo Llc Identification of proxy calibration targets for a fleet of vehicles
US11945467B2 (en) 2019-12-30 2024-04-02 Waymo Llc Identification of proxy calibration targets for a fleet of vehicles

Also Published As

Publication number Publication date
TW201836352A (zh) 2018-10-01

Similar Documents

Publication Publication Date Title
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
JP7448921B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
CN110335211B (zh) 深度图像的校正方法、终端设备以及计算机存储介质
TWI554103B (zh) 影像擷取裝置及其數位變焦方法
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN105453136B (zh) 使用自动聚焦反馈进行立体侧倾校正的系统、方法及设备
JP4095491B2 (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
KR100776649B1 (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
CN106875435B (zh) 获取深度图像的方法及系统
US9892488B1 (en) Multi-camera frame stitching
TWI625051B (zh) 深度感測裝置
US9807372B2 (en) Focused image generation single depth information from multiple images from multiple sensors
JP5365387B2 (ja) 位置検出装置
Strand et al. Correcting Radial Distortion by Circle Fitting.
US10582132B2 (en) Dynamic range extension to produce images
TW201220817A (en) Camera system and image-shooting method with guide for taking stereo photo and method for automatically adjusting stereo photo
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
TW201719579A (zh) 影像擷取裝置及其產生深度資訊的方法與自動校正的方法
TWI398716B (zh) Use the flash to assist in detecting focal lengths
JP5796611B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
TW201537949A (zh) 立體攝影系統及其方法
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
CN108665418B (zh) 深度感测装置
CN111292380A (zh) 图像处理方法及装置