TWI672675B - 深度處理裝置 - Google Patents

深度處理裝置 Download PDF

Info

Publication number
TWI672675B
TWI672675B TW107112334A TW107112334A TWI672675B TW I672675 B TWI672675 B TW I672675B TW 107112334 A TW107112334 A TW 107112334A TW 107112334 A TW107112334 A TW 107112334A TW I672675 B TWI672675 B TW I672675B
Authority
TW
Taiwan
Prior art keywords
target
target blocks
depth
block
image
Prior art date
Application number
TW107112334A
Other languages
English (en)
Other versions
TW201837862A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201837862A publication Critical patent/TW201837862A/zh
Application granted granted Critical
Publication of TWI672675B publication Critical patent/TWI672675B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

深度處理裝置包含兩個影像擷取裝置及處理器。兩個影像擷取裝置分別擷取參考影像及目標影像。處理器自參考影像中選取參考區塊，並根據複數個相異的取樣週期自目標影像中選取對應於參考區塊的複數個目標區塊，並根據參考區塊和複數個目標區塊中的選定目標區塊以產生深度資訊。

Description

深度處理裝置
本發明係有關於一種深度處理裝置，特別係一種能夠在不增加搜尋次數的情況下，提高深度特定區域精確度或是在可接受的精確度下，降低搜尋次數的深度處理裝置。
隨著使用者對於電子裝置的各種應用需求增加，能夠取得外部物體的深度資訊也成為了許多電子裝置所需的功能。舉例來說，在電子裝置取得了外部物體的深度資訊，亦即外部物體與電子裝置之間的距離後，就能夠進一步根據深度資訊達到物體辨識、影像合成等各種不同的應用。目前透過電子裝置取得深度資訊的常見方法包含透過雙眼視覺、偵測結構光及飛時測距法(Time of Flight，ToF)。
第1圖為先前技術之深度處理裝置100的示意圖。在第1圖中，經過校正後，深度處理裝置100可透過第一影像擷取裝置110及第二影像擷取裝置120來擷取影像。由於影像擷取裝置110及120係位於相異的位置，因此兩者所擷取到的影像也會有些許差異，而可視為左眼視覺和右眼視覺。舉例來說，當利用影像擷取裝置110及120擷取物體A及B的影像時，由於物體A及B到影像擷取裝置110及120的距離不同，因此物體A及B在影像擷取裝置110及120所擷取的影像中也會位於不同的位置。在第1圖中，物體A相較於物體B的深度更淺，也就是說， 物體A比物體B更靠近於影像擷取裝置110及120。在此情況下，在影像擷取裝置110所擷取的影像中，物體A可能會位於影像畫面中偏左的位置，而在影像擷取裝置120所擷取的影像中，物體A則可能會位於影像畫面中偏右的位置。相較之下，在影像擷取裝置110所擷取的影像中，物體B可能會位於影像畫面靠中間的位置，而在影像擷取裝置120所擷取的影像中，物體B也可能會位於影像畫面靠中間的位置。
換言之，當物體的深度越淺時，其在影像擷取裝置110及120所擷取的兩張影像畫面中會位在距離較遠的相對位置，亦即視差較大，而當物體的深度越深時，則其在影像擷取裝置110及120所擷取的兩張影像畫面中則會位於較近的相對位置，亦即視差較小。深度處理裝置100透過在影像擷取裝置110及120所擷取的影像中搜尋物體A及B所在的位置及視差，並根據影像擷取裝置110及120之間的距離，亦即基線(baseline)長短，視角(FOV)大小以及其他相關參數，就能夠以數學方法，例如三角定位法，計算出物體A及B的深度資訊。
然而一般而言，在使用三角定位法時，隨著物體實際的深度越大，其所能夠計算出來的準確度也越低。第2圖為物體實際深度與物體在兩張擷取影像中的視差大小的關係圖。在第2圖中，視差d1與視差d2會對應到的實際距離z1及z2，而視差d3及d4則會對應到實際距離z3及z4。根據第2圖可知，當視差越小時(例如d1、d2)，其所對應的物體距離越遠，深度越深(例如z1、z2)，且其所對應的物體誤差距離範圍也越大，因此越不精確。反之，當視差越大時(例如d3、d4)，其所對應的物體距離越近，深度越淺(例如z3、z4)，且其所對應的物體誤差距離範圍也越小，因此越加精確。
在先前技術中，為了能夠提升深度資訊的精確度，就需要提升解析度以比對出更精準的視差、增加影像擷取裝置110及120之間的距離或縮小影像擷取裝置110及120的視野角度。然而這些方式將大幅提升系統的運算負擔，或 限縮深度資訊的有效範圍。
本發明之一實施例提供一種深度處理裝置，深度處理裝置包含：第一影像擷取裝置、第二影像擷取裝置及處理器。
第一影像擷取裝置於擷取參考影像。第二影像擷取裝置擷取目標影像。處理器根據複數個相異的取樣週期自目標影像中選取對應於參考區塊的複數個目標區塊，以及根據參考區塊和複數個目標區塊中的選定目標區塊產生深度資訊。
本發明之另一實施例提供一種深度處理裝置。深度處理裝置包含第一影像擷取裝置、第二影像擷取裝置及處理器。
第一影像擷取裝置擷取參考影像，而第二影像擷取裝置擷取目標影像。處理器自參考影像中選取參考區塊，以及自目標影像中選取對應於參考區塊的複數個目標區塊，及根據參考區塊和複數個目標區塊中的選定目標區塊產生深度資訊。其中複數個目標區塊中的第一組目標區塊的第一取樣週期與複數個目標區塊中的第二組目標區塊的第二取樣週期相異。
本發明之另一實施例提供一種深度處理裝置。深度處理裝置包含第一影像擷取裝置、第二影像擷取裝置及處理器。
第一影像擷取裝置擷取參考影像，而第二影像擷取裝置擷取目標影像。處理器自參考影像中選取參考區塊，自目標影像選取對應於參考區塊的複數個目標區塊，以及根據參考區塊和複數個目標區塊中的選定目標區塊產生深度資訊。其中複數個目標區塊中的預設組目標區塊的取樣週期小於複數個目標區塊中其他每一組目標區塊的取樣週期。
100、200‧‧‧深度處理裝置
110、210‧‧‧第一影像擷取裝置
120、220‧‧‧第二影像擷取裝置
A、B、C‧‧‧物體
d1、d2、d3、d4‧‧‧視差
z1、z2、z3、z4‧‧‧深度
230‧‧‧處理器
240‧‧‧低通濾波器
IMGR‧‧‧參考影像
IMGT‧‧‧目標影像
RB‧‧‧參考區塊
TB1至TBq‧‧‧目標區塊
C1、CQ‧‧‧中心畫素
A1‧‧‧比對方向
300‧‧‧方法
S310至S370‧‧‧步驟
第1圖為先前技術之深度處理裝置的示意圖。
第2圖為物體實際深度與物體在兩張擷取影像中的視差大小的關係圖。
第3圖為本發明一實施例之深度處理裝置的示意圖。
第4圖為本發明一實施例之參考影像的示意圖。
第5圖為本發明一實施例之目標影像的示意圖。
第6圖為第1圖及第3圖之深度處理裝置之物體深度與誤差的關係圖。
第7圖為操作第3圖之深度處理裝置的方法流程圖。
第3圖為本發明一實施例之深度處理裝置200的示意圖。深度處理裝置200包含第一影像擷取裝置210、第二影像擷取裝置220及處理器230。
第一影像擷取裝置210可用於擷取參考影像，而第二影像擷取裝置220可用於擷取目標影像。第4圖為本發明一實施例之參考影像IMGR的示意圖，而第5圖為本發明一實施例之目標影像IMGT的示意圖。在本發明的部分實施例中，目標影像IMGT及參考影像IMGR可具有相同之單位，以利處理器230比對目標影像IMGT及參考影像IMGR中的相同物體。
舉例來說，處理器230可自參考影像IMGR中選取參考區塊RB以計算參考區塊RB之中心畫素所代表之物體C的深度。接著，對應於參考區塊RB，處理器230可以在目標影像IMGT中沿著比對方向A1選取複數個目標區塊TB1至TBq。舉例來說，處理器230可以先根據參考區塊RB在參考影像IMGR中的相對位置於目標影像IMGT的一相對位置中選取與參考區塊RB具有相同大小的第一目標區塊TB1，再沿著比對方向A1平移以選取出目標區塊TB2至TBq。
在第5圖的實施例中，在經過校正之後，第一影像擷取裝置210及第二影像擷取裝置220所擷取的影像會落於相同的平面上，而在第一影像擷取裝置210及第二影像擷取裝置220之間的連線，亦即基線，與水平線平行的情況下，比對方向A1即會平行於水平方向，且目標區塊TB1在目標影像IMGT中的相對位置會與參考區塊RB在參考影像IMGR中的相對位置相同。在第5圖中，比對方向A1雖然是由右至左，然而本發明並不以此為限，在本發明的其他實施例中，比對方向A1也可能是由左至右。此外，依據第一影像擷取裝置210及第二影像擷取裝置220的設置方向，比對方向A1也可能是垂直方向或其他方向而並不限定於水平方向。
在本發明的部分實施例中，在比對參考區塊RB與每一個目標區塊時，處理器230可根據系統的需求計算區塊內的特徵，例如色彩分布、邊界分布...等等以作為比對的依據。處理器230可將目標區塊TB1至TBq中與參考區塊RB的特徵差異最小的目標區塊判斷為與參考區塊RB相符的選定目標區塊。當處理器230取得與參考區塊RB相符的選定目標區塊，例如為目標區塊TBq時，表示物體C可能位於目標區塊TBq，此時處理器230便可根據參考區塊RB和選定目標區塊產生深度資訊。舉例來說，處理器230可將目標區塊TBq之中心畫素CQ與目標區塊TB1之中心畫素C1之間的距離，亦即兩者之間相距的畫素數量，視為第一影像擷取裝置210及第二影像擷取裝置220對物體C的視差。如此一來，處理器230就可以根據第一影像擷取裝置210及第二影像擷取裝置220對物體C的視差、以及第一影像擷取裝置210及第二影像擷取裝置220的複數個相關參數(例如基線長度，視角大小，以及各自的焦距等參數)計算物體C的深度資訊。
第6圖為深度處理裝置100及200所計算之物體深度與誤差的關係圖，其中深度的數值僅為相對而言的距離而並未限定單位，而虛線B1可表示先前技術之深度處理裝置100所計算的深度與誤差關係。在有些實施例中，由於誤 差值過大的深度資訊可能會影響到後續應用的效果，因此系統可以限定誤差小於預設值的深度資訊為有效的深度資訊，並可供後續應用使用，而誤差過大的深度資訊則可能僅供參考。在此情況下，假設系統所要求的誤差值的上限為7%，則在第6圖B1曲線中，由於深度超過30的物體其深度資訊的誤差值都大於7%，因此深度處理裝置100實際上僅能提供深度為30以內物體的有效深度資訊。
此外，在第6圖中，當物體的深度較淺，例如在深度0到20的區間內的情況下，深度處理裝置100所能夠計算出的深度會相對較為準確，在此情況下，深度處理裝置100實際上無須做進一步的處理就能夠符合系統需求的誤差值。然而當物體的深度較深，例如在深度60到100的區間內的情況下，深度處理裝置100所能夠計算出的深度會相對較不準確。在此情況下，由於誤差過大，因此即便提升解析度並增加比對次數也可能無法將深度資訊的誤差值縮小到系統所要求的7%以內。
也就是說，對於深度區間在0到20的物體以及深度區間在60到100的物體而言，是否透過提升解析度並增加比對次數(提高取樣頻率或縮短取樣週期)實際上並無助於達到誤差值小於7%的目標，因此深度處理裝置200可以在提升影像的解析度之後，透過增加比對取樣頻率來提升深度範圍在25到50的物體的深度精確度，並可減少深度區間在0到25及50到100之物體的比對次數。如此一來，就能夠在整體比對次數並未增加或低於理論值的情況下，有效提升深度區間在25到50的物體的深度精確度，使得深度處理裝置200能夠提供深度為50之物體的有效深度資訊。此處的理論值所指的是在解析度提高後，取樣週期也對應提高的情況下，進行取樣時所需的比對次數。
在第6圖中，實線B2可表示深度處理裝置200所計算的深度與誤差關係。為了提升深度處理裝置200的精確度，在此實施例中，深度處理裝置200可選用具有較高解析度的影像擷取裝置210及220以提高參考影像IMGR的解析 度，並提高參考影像IMGR的解析度至與參考影像IMGR相同的解析度。在先前技術中，當解析度提高時，深度處理裝置100的精確度雖然能夠提高，然而其所需比對的次數也會隨著提高才能維持相同工作範圍。舉例來說，當參考影像IMGR及目標影像IMGT在水平方向上的解析度相較於先前技術提高兩倍時，表示水平方向的畫素數量也增為兩倍，因此若深度處理裝置100每次選取目標區塊時，都是沿著水平方向並相隔固定數量的畫素選取，則在水平方向的解析度提高為兩倍之後，深度處理裝置100所需比對的次數也需增加為兩倍以維持相同工作範圍，如此將造成整個系統的負擔，也大大拖延了計算深度資訊所需的時間或成本。
然而，在第5圖的實施例中，處理器230在選取目標區塊時，可以依據目前對應的視差大小調整下次選取之目標區塊與目前比對之目標區塊之間的取樣週期大小。也就是說，在處理器230所選取的一系列目標區塊TB1至TBq中，兩個相鄰之目標區塊的中心畫素之間的取樣畫素步長(pixel step length)可能會與另兩個相鄰之目標區塊的中心畫素之間的取樣畫素步長相異。
舉例來說，目標區塊TB1至TBq中可包含第一組目標區塊TB_A及第二組目標區塊TB_B。第一組目標區塊TB_A可包含第一目標區塊TB1至第(n+1)目標區塊TB(n+1)，由於第一目標區塊TB1至第(n+1)目標區塊TB(n+1)所對應到的視差較小，因此可能會例如對應到較大的深度值，例如深度區間在50到100的物體，在此情況下，由於第一目標區塊TB1至第(n+1)目標區塊所對應的物體深度較深，深度處理裝置200所計算出來的誤差很大，此時即便以較為精細的方式(亦即取樣週期較小的方式)取樣以選取目標區塊TB1至TB(n+1)，仍然難以滿足系統要求的誤差值7%。因此處理器230在選取第一目標區塊TB1至第(n+1)目標區塊TB(n+1)時，是以取樣週期為x個畫素的方式來進行取樣，亦即在第一組目標區塊TB_A中，任兩個相鄰的目標區塊之間的取樣畫素步長為x個畫素，x可例如 為2。舉例來說，處理器230會沿著比對方向A1，選取第一目標區塊TB1之中心畫素C1旁之第2個畫素作為第二目標區塊TB2之中心畫素，並會沿著比對方向A1，選取第n目標區塊TBn之中心畫素旁之第2個畫素作為第(n+1)目標區塊TB(n+1)之中心畫素，其中n為大於1的數值。
換言之，雖然參考影像IMGR與目標影像IMGT在水平方向上的解析度提升了兩倍，然而由於處理器230在選取目標區塊的時候，取樣週期為2個畫素，因此在第6圖中，對於深度區間50至100的物體，深度處理裝置100及200所計算出的所計算出的深度誤差值實質上會十分相近，也因此在第6圖中，深度在50到100的區間內，虛線B1與實線B2會重合。
相較之下，第二組目標區塊TB_B可包含第(n+2)目標區塊TB(n+2)至第(m+1)目標區塊TB(m+1)，由於第(n+2)目標區塊TB(n+2)至第(m+1)目標區塊TB(m+1)所對應到的視差稍大，因此會對應到比第一組目標區塊TB_A所對應的深度值還小的深度，例如對應到深度區間在25到50的物體，其中m為大於(n+2)的數值。在此情況下，由於深度處理裝置200在計算深度超過30的物體時所計算出來的誤差可能會超出7%，因此處理器230可以在選取第(n+2)目標區塊TB(n+2)至第(m+1)目標區塊TB(m+1)時，以取樣週期為y個畫素的方式來進行取樣，亦即在第二組目標區塊TB_B中，任兩個相鄰的目標區塊之間的取樣畫素步長為y個畫素，y可例如為1。舉例來說，處理器230會沿著比對方向A1，選取第(n+2)目標區塊TB(n+2)之中心畫素旁之第1個畫素作為第(n+3)目標區塊TB(n+3)之中心畫素，並且會沿著比對方向A1，選取第m目標區塊TBm之中心畫素旁之第1個畫素作為第(m+1)目標區塊TB(m+1)之中心畫素。
換言之，由於處理器230在選取第二組目標區塊TB_B的第(n+2)目標區塊TB(n+2)至第(m+1)目標區塊TB(m+1)目標區塊時，一次僅以取樣週期為1個畫素來進行取樣，因此可以提升深度計算的精確度。在第6圖中，深度處理裝置 200所對應的實線B2上，在深度區間25至50的物體其所計算出的深度誤差值實質上會較深度處理裝置100所計算出的深度誤差值來得小，甚至會小於系統要求的7%，因此仍可滿足需求。
也就是說，深度處理裝置200可以在誤差過大的深度區間內以較為粗略的方式(亦即取樣週期較大)取樣選擇目標區塊TB1至TB(n+1)，並在誤差可能略為超過需求的深度區間內以較為精細的方式來對目標區塊TB(n+2)至TB(m+1)進行取樣。如此一來，在不增加整體比較次數或低於理論值的情況下，深度處理裝置200就能夠提供深度為50之物體的有效深度資訊。相較之下，深度處理裝置100則僅能提供深度為30以內之物體的有效深度資訊。
此外，目標區塊TB1至TBq中還可包含第三組目標區塊TB_C。第三組目標區塊TB_C可包含第(m+2)目標區塊TB(m+2)至第q目標區塊TBq，由於第(m+2)目標區塊TB(m+2)至第q目標區塊TBq所對應到的視差較大，因此會對應到比第二組目標區塊TB_B所對應的深度值還小的深度，例如對應到深度小於25的物體。在此情況下，由於深度處理裝置200在計算深度小於25的物體時所計算出來的誤差甚小於7%，因此即便以較為粗略的方式取樣以選取目標區塊TB(m+2)至TBq，仍然可以滿足系統要求的誤差值7%，因此處理器230實際上並無須以精細的方式取樣，而可以在選取第(m+2)目標區塊TB(m+2)至第q目標區塊TBq時，以取樣週期為z個畫素的方式來進行取樣，亦即在第三組目標區塊TB_C中，任兩個相鄰的目標區塊之間的取樣畫素步長為z個畫素，z可例如為4。舉例來說，處理器230可沿著比對方向A1，選取第(m+2)目標區塊TB(m+2)之中心畫素旁之第4個畫素作為第(m+3)目標區塊TB(m+3)之中心畫素。
換言之，雖然參考影像IMGR與目標影像IMGT在水平方向上的解析度被提升了兩倍，然而由於處理器230在選取第三組目標區塊TB_C的目標區塊TB(m+2)至TBq的時候是以取樣週期為4個畫素來進行取樣，因此在第6圖中，深 度處理裝置200所對應的實線B2上，在深度區間0至25的物體其所計算出的深度誤差值實質上會大於深度處理裝置100所計算出的深度誤差值。
在本發明的部分實施例中，深度處理裝置200還可根據系統的需求和解析度來選擇取樣週期的值x、y及z，而並不限定以線性或冪次的方式選擇取樣週期x、y及z的值，甚至在允許內插的情況下，取樣週期x、y及z的值亦可為非整數。然而整體而言，為了能有效增加深度處理裝置200所能提供的有效深度範圍，同時也不至於增加比對次數，深度處理裝置200可以根據目標區塊所對應的深度範圍精確度來決定取樣週期x、y及z的值。
例如深度處理裝置200可將目標區塊分為複數組目標區塊，並將對應於需要提升精確度的深度範圍的一組目標區塊設定為預設組目標區塊，例如前述實施例中的第二組目標區塊TB_B，並以較小的取樣週期來進行取樣。而對應於無須提升精確度的深度範圍的其他組目標區塊，例如前述實施例中的第一組目標區塊TB_A及第三組目標區塊TB_B則可以較大的取樣週期來進行取樣。
雖然在上述的實施例中，深度處理裝置200是將物體分布的深度分為三個區間，並以三種不同的取樣週期來選取目標區塊，然而在本發明的其他實施例中，深度處理裝置200還可將物體分布的深度區分為其他數量的區間。舉例來說，深度處理裝置200可以在深度為15至30的區間內另以取樣週期為2個畫素的方式進行取樣，亦即以四種不同的取樣週期來進行取樣。又或者可以改在深度為0至50的區間內，皆以取樣週期為為1個畫素的方式進行取樣，並在深度為50以上的區間內皆以取樣週期為2個畫素的方式進行取樣，亦即僅以兩種不同的取樣週期來進行取樣。
也就是說，深度處理裝置200可以根據系統實際上的運作狀況和應用需求，設定適當的區段數量和取樣週期，使得深度處理裝置200能夠在系統允許的比對次數內，增加所能提供之低誤差深度資訊的深度範圍。
此外，當深度處理裝置200以較為精細的方式進行取樣時，為避免在比對的過程中找到局部最小值(local minimum)而造成誤判，在第3圖的實施例中，深度處理裝置200還可包含低通濾波器240，使得區塊內的畫素表現較為平滑。低通濾波器240可以在比對目標區塊TB1至TBq與參考區塊RB之前，根據目標區塊TB1至TBq的取樣週期以不同程度的方式對目標區塊TB1至TBq及參考區塊RB進行低通濾波，以將參考區塊RB及目標區塊TB1至TBq中的高頻訊號濾除。在上述的實施例中，處理器230在選取目標區塊時是沿著水平的比對方向A1選取，在此情況下，低通濾波器240也可以僅在水平方向上進行低通濾波。
再者，在上述的實施例中，參考影像IMGR及目標影像IMGT的解析度會高於深度處理裝置100所取得的影像解析度，在此情況下，深度處理裝置200就可能需要處理更多畫素所對應的深度資訊，亦即深度處理裝置200所需要處理的深度資訊也會具有較高的解析度。然而在有些實施例中，由於深度處理裝置200的硬體可能會限定其能夠處理之深度資訊的解析度，亦即僅能計算固定數量的深度資訊。在此情況下，深度處理裝置200也可以配合解析度的提升，而對輸入計算深度的畫素進行取樣，例如只取偶數行或奇數行的畫素來計算深度資訊，如此一來，深度處理裝置200所產生之深度資訊的大小就不會改變，然而其精確度仍然能夠增加。
第7圖為本發明一實施例之操作深度處理裝置200的方法300流程圖，方法300包含步驟S310至S370，但並不限於第7圖所示的順序。
S310：第一影像擷取裝置210擷取參考影像IMGR；S320：第二影像擷取裝置220擷取目標影像IMGT；S330：自參考影像IMGR中選取參考區塊RB；S340：對應於參考區塊RB，自目標影像IMGT中選取複數個目標區塊； S350：在比對目標區塊TB1至TBq與參考區塊之前，對目標區塊TB1至TBq及參考區塊RB進行低通濾波；S360：依序比對目標區塊TB1至TBq與參考區塊RB以取得與參考區塊RB相符之選定目標區塊；及S370：根據參考區塊RB及選定目標區塊產生深度資訊。
在步驟S310及S320取得參考影像IMGR及目標影像IMGT之後，在步驟S330中，深度處理裝置200會自參考影像IMGR中選取參考區塊RB，並在步驟S340中選取對應的複數個目標區塊TB1至TBq。在深度處理裝置200取得與參考區塊RB相符的選定目標區塊後，深度處理裝置200便可根據第一目標區塊TB1之中心畫素及選定目標區塊之中心畫素相隔之畫素數量得出對應的視差大小，並在步驟S370中，根據視差大小、第一影像擷取裝置210及第二影像擷取裝置220的相關參數計算參考區塊RB之中心畫素所代表之物體的深度資訊。此外，步驟S350則會在步驟S360進行比對之前，先對即將進行比對的目標區塊進行低通濾波。
在本發明的有些實施例中，當深度處理裝置200在選取目標區塊時，可以根據物體分布的深度及所允許的誤差限制，以對應的取樣週期來選取目標區塊，使得深度處理裝置200能夠提升特定深度區間的準確度，增加深度處理裝置200所能提供的有效深度範圍，或者是在可接受的精確度下，降低比對搜尋的次數。
舉例來說，深度處理裝置200所選取的目標區塊可如第5圖所示。在第5圖中，目標區塊TB1至TBq可包含第一組目標區塊TB_A、第二組目標區塊TB_B及第三組目標區塊TB_C。在第一組目標區塊TB_A中的第一目標區塊TB1至第(n+1)目標區塊TB(n+1)中，任兩個相鄰的目標區塊的取樣畫素步長可為x個畫素，在第二組目標區塊TB_B中的第(n+2)目標區塊TB(n+2)至第(m+1)目標區塊 TB(m+1)中，任兩個相鄰的目標區塊的取樣畫素步長可為y個畫素，而在第三組目標區塊TB_C中的第(m+2)目標區塊TB(m+2)至第q目標區塊TBq中，任兩個相鄰的目標區塊的取樣畫素步長可為z個畫素。
在第5圖的實施例中，x可例如為4，y可例如為1，而z可例如為2。也就是說，由於第一組目標區塊TB_A中的目標區塊會對應到深度值較大的物體，而具有較大的誤差值，在此情況下，深度處理裝置200即使以取樣週期較小的方式取樣也無法滿足需求，因此可以利用一般的取樣週期來取樣選取第一組目標區塊TB_A中的第一目標區塊TB1至第(n+1)目標區塊TB(n+1)。
此外，第二組目標區塊TB_B中目標區塊會對應到深度值為中間的物體，而其誤差值可能落在系統需求的邊緣，因此深度處理裝置200可以利用較為取樣週期較小的方式來取樣選取第二組目標區塊TB_B中的第(n+2)目標區塊TB(n+2)至第(m+1)目標區塊TB(m+1)，以提高精確度。
再者，第三組目標區塊TB_C中的目標區塊會對應到深度值較大的物體，而具有較小的誤差值，因此深度處理裝置200可以利用取樣週期較大的方式來取樣選取第三組目標區塊TB_C中的第(m+2)目標區塊TB(m+2)至第q目標區塊TBq，而仍然能夠滿足系統需求，同時避免不必要地增加系統負擔。
透過方法300，深度處理裝置200就能夠根據系統的需求，以適當的取樣週期來選取目標區塊以配合深度不同的物體，使得深度處理裝置200在整體而言，無需增加額外的比對次數就能夠提供較大的有效深度範圍。
綜上所述，本發明之實施例所提供的深度處理裝置以及操作深度處理裝置的方法可以根據對應的深度範圍來選擇適當的取樣週期以選取目標區塊，因此可以在無需增加比對次數的情況下，提升部分深度區間的精確度，使得深度處理裝置能夠提供較大的有效深度範圍。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變 化與修飾，皆應屬本發明之涵蓋範圍。

Claims (16)

  1. 一種深度處理裝置，包含：一第一影像擷取裝置，用以擷取一參考影像；一第二影像擷取裝置，用以擷取一目標影像；及一處理器，耦接於該第一影像擷取裝置及該第二影像擷取裝置，用以自該參考影像中選取一參考區塊，根據複數個相異的取樣週期自該目標影像中選取對應於該參考區塊的複數個目標區塊，以及根據該參考區塊和該些目標區塊中的一選定目標區塊產生一深度資訊，其中該些相異的取樣週期中的每一取樣週期分別決定該些目標區塊中對應該每一取樣週期的兩相鄰的目標區塊的中心畫素之間的距離。
  2. 如請求項1所述的深度處理裝置，其中該些相異的取樣週期是根據該些目標區塊所對應的深度範圍精確度來決定。
  3. 如請求項1所述的深度處理裝置，其中在該些目標區塊中，該兩相鄰的目標區塊之間的取樣週期與另兩個相鄰的目標區塊之間的取樣週期相異。
  4. 如請求項1所述的深度處理裝置，其中該參考區塊對應一物體，該處理器沿一比對方向，依序比對該些目標區塊與該參考區塊以取得與該參考區塊相符之該選定目標區塊，根據該參考區塊以及該選定目標區塊取得該第一影像擷取裝置及該第二影像擷取裝置對該物體的一視差，以及根據該視差、該第一影像擷取裝置及該第二影像擷取裝置之複數個相關參數計算該物體的該深度資訊。
  5. 如請求項1所述的深度處理裝置，另包含一低通濾波器，用以在比對該些目標區塊與該參考區塊之前，根據該些目標區塊的取樣週期對該些目標區塊及該參考區塊進行低通濾波。
  6. 一種深度處理裝置，包含：一第一影像擷取裝置，用以擷取一參考影像；一第二影像擷取裝置，用以擷取一目標影像；及一處理器，耦接於該第一影像擷取裝置及該第二影像擷取裝置，用以自該參考影像中選取一參考區塊，自該目標影像中選取對應於該參考區塊的複數個目標區塊，以及根據該參考區塊和該些目標區塊中的一選定目標區塊產生一深度資訊；其中該些目標區塊中的一第一組目標區塊的一第一取樣週期與該些目標區塊中的一第二組目標區塊的一第二取樣週期相異，該第一取樣週期決定該第一組目標區塊中兩相鄰的目標區塊的中心畫素之間的距離，以及該第二取樣週期決定該第二組目標區塊中兩相鄰的目標區塊的中心畫素之間的距離。
  7. 如請求項6所述的深度處理裝置，其中該第一取樣週期及該第二取樣週期是根據該第一組目標區塊及該第二組目標區塊所對應的深度範圍精確度來決定。
  8. 如請求項6所述的深度處理裝置，其中：該第一組目標區塊所對應的複數個深度值小於該第二組目標區塊所對應的 複數個深度值；及該第一取樣週期大於該第二取樣週期。
  9. 如請求項8所述的深度處理裝置，其中：該些目標區塊中的一第三組目標區塊所對應的複數個深度值大於該第二組目標區塊所對應的該些深度值；及該第三組目標區塊的一第三取樣週期大於該第二取樣週期。
  10. 如請求項6所述的深度處理裝置，其中：該第一組目標區塊所對應的複數個深度值小於該第二組目標區塊所對應的複數個深度值；及該第一取樣週期小於該第二取樣週期。
  11. 如請求項6所述的深度處理裝置，其中該參考區塊對應一物體，該處理器沿一比對方向，依序比對該些目標區塊與該參考區塊以取得與該參考區塊相符之該選定目標區塊，根據該參考區塊以及該選定目標區塊取得該第一影像擷取裝置及該第二影像擷取裝置對該物體的一視差，以及根據該視差、該第一影像擷取裝置及該第二影像擷取裝置之複數個相關參數計算該物體的該深度資訊。
  12. 如請求項6所述的深度處理裝置，另包含一低通濾波器，用以在比對該些目標區塊與該參考區塊之前，根據該些目標區塊的取樣週期對該些目標區塊及該參考區塊進行低通濾波。
  13. 一種深度處理裝置，包含：一第一影像擷取裝置，用以擷取一參考影像；一第二影像擷取裝置，用以擷取一目標影像；及一處理器，耦接於該第一影像擷取裝置及該第二影像擷取裝置，用以自該參考影像中選取一參考區塊，自該目標影像選取對應於該參考區塊的複數個目標區塊，以及根據該參考區塊和該些目標區塊中的一選定目標區塊產生一深度資訊；其中該些目標區塊中的一預設組目標區塊的一取樣週期小於該些目標區塊中其他每一組目標區塊的一取樣週期，該預設組目標區塊的該取樣週期決定該預設組目標區塊中兩相鄰的目標區塊的中心畫素之間的距離，以及該其他每一組目標區塊的該取樣週期決定該其他每一組目標區塊中兩相鄰的目標區塊的中心畫素之間的距離。
  14. 如請求項13所述的深度處理裝置，其中該預設組目標區塊的該取樣週期及其他每一組目標區塊的該取樣週期是根據該預設組目標區塊及其他每一組目標區塊所對應的深度範圍精確度來決定。
  15. 如請求項13所述的深度處理裝置，其中該參考區塊對應一物體，該處理器沿一比對方向，依序比對該些目標區塊與該參考區塊以取得與該參考區塊相符之該選定目標區塊，根據該參考區塊以及該選定目標區塊取得該第一影像擷取裝置及該第二影像擷取裝置對該物體的一視差，以及根據該視差、該第一影像擷取裝置及該第二影像擷取裝置之複數個相關參數計算該物體的該深度資訊。
  16. 如請求項13所述的深度處理裝置，另包含一低通濾波器，用以在比對該些目標區塊與該參考區塊之前，根據該些目標區塊的取樣週期對該些目標區塊及該參考區塊進行低通濾波。
TW107112334A 2017-04-10 2018-04-10 深度處理裝置 TWI672675B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762483472P 2017-04-10 2017-04-10
US62/483,472 2017-04-10

Publications (2)

Publication Number Publication Date
TW201837862A TW201837862A (zh) 2018-10-16
TWI672675B true TWI672675B (zh) 2019-09-21

Family

ID=63711363

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107112334A TWI672675B (zh) 2017-04-10 2018-04-10 深度處理裝置
TW107112275A TWI657431B (zh) 2017-04-10 2018-04-10 動態顯示系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107112275A TWI657431B (zh) 2017-04-10 2018-04-10 動態顯示系統

Country Status (3)

Country Link
US (2) US11050997B2 (zh)
CN (2) CN108900829B (zh)
TW (2) TWI672675B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102503976B1 (ko) * 2018-07-02 2023-02-28 한국전자통신연구원 증강현실 영상 보정 장치 및 방법
US10789912B2 (en) * 2018-12-20 2020-09-29 Intel Corporation Methods and apparatus to control rendering of different content for different view angles of a display
CN110822649B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器的控制方法、空调器及存储介质
CN111311687B (zh) * 2020-01-21 2022-12-02 上海万物新生环保科技集团有限公司 一种手机屏幕像素点的空间位置检测方法及设备
TWI731715B (zh) * 2020-06-12 2021-06-21 宏碁股份有限公司 顯示器調整系統及顯示器調整方法
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
CN114979613A (zh) * 2021-02-25 2022-08-30 吴松阳 立体图像显示方法及用于显示立体图像的携带式设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102364524A (zh) * 2011-10-26 2012-02-29 清华大学 一种基于变光照多视角间差采样的三维重建方法和装置
CN103903262A (zh) * 2014-03-25 2014-07-02 苏州科技学院 基于图像分割的深度不连续区域立体匹配算法
TW201618042A (zh) * 2014-06-19 2016-05-16 皇家飛利浦有限公司 用於產生三維影像之方法及裝置
US20160309137A1 (en) * 2009-07-31 2016-10-20 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3d) images of a scene

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751209B (zh) * 2008-11-28 2012-10-10 联想(北京)有限公司 一种调整屏幕呈现元素的方法及计算机
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US8194101B1 (en) * 2009-04-01 2012-06-05 Microsoft Corporation Dynamic perspective video window
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101894538B (zh) * 2010-07-15 2012-09-05 优视科技有限公司 屏幕显示画面控制方法和装置
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
TW201227602A (en) * 2010-12-22 2012-07-01 Service & Quality Technology Co Ltd Method and computer-readable medium for calculating depth of image
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
CN102075776B (zh) * 2011-01-18 2014-03-26 青岛海信电器股份有限公司 一种立体显示的控制方法及装置
US20120246223A1 (en) * 2011-03-02 2012-09-27 Benjamin Zeis Newhouse System and method for distributing virtual and augmented reality scenes through a social network
JP5178876B2 (ja) * 2011-04-27 2013-04-10 株式会社東芝 立体映像表示装置及び立体映像表示方法
CN103002297A (zh) * 2011-09-16 2013-03-27 联咏科技股份有限公司 动态深度值产生方法及其装置
TWI504233B (zh) * 2011-12-22 2015-10-11 Teco Elec & Machinery Co Ltd 深度估測方法及其裝置
CN102595187B (zh) * 2012-02-27 2014-01-29 天津大学 一种影响立体图像舒适度的色度范围的测定方法
CN103379255B (zh) * 2012-04-24 2017-06-06 华晶科技股份有限公司 影像处理装置及其处理方法
CN104365102B (zh) * 2012-05-10 2018-01-02 Lg 电子株式会社 处理视频信号的方法和装置
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
CN103716641B (zh) * 2012-09-29 2018-11-09 浙江大学 预测图像生成方法和装置
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
JP6102944B2 (ja) * 2012-12-10 2017-03-29 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
WO2015186054A1 (en) * 2014-06-02 2015-12-10 Xlabs Pty Ltd Pose-invariant eye-gaze tracking using a single commodity camera
CN104656683B (zh) * 2015-01-15 2017-04-26 西安交通大学 双目视觉区域目标的深度信息提取及剖面分析系统及方法
JP6839656B2 (ja) * 2015-03-23 2021-03-10 コントローラッド システムズ、インコーポレイテッドＣｏｎｔｒｏｌｒａｄ Ｓｙｓｔｅｍｓ，Ｉｎｃ． 視標追跡システム
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
TWI557708B (zh) 2015-11-05 2016-11-11 宏碁股份有限公司 顯示裝置和顯示方法
US9996744B2 (en) * 2016-06-29 2018-06-12 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
TWM535848U (zh) * 2016-07-11 2017-01-21 Lunghwa Univ Of Science And Tech 結合小波轉換及邊緣偵測建立單張影像深度圖的裝置
US10353535B2 (en) * 2016-10-21 2019-07-16 Misapplied Sciences, Inc. Multi-view display viewing zone layout and content assignment
CN106384365B (zh) 2016-11-22 2024-03-08 经易文化科技集团有限公司 一种包含深度信息获取的扩增实境系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160309137A1 (en) * 2009-07-31 2016-10-20 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3d) images of a scene
CN102364524A (zh) * 2011-10-26 2012-02-29 清华大学 一种基于变光照多视角间差采样的三维重建方法和装置
CN103903262A (zh) * 2014-03-25 2014-07-02 苏州科技学院 基于图像分割的深度不连续区域立体匹配算法
TW201618042A (zh) * 2014-06-19 2016-05-16 皇家飛利浦有限公司 用於產生三維影像之方法及裝置

Also Published As

Publication number Publication date
CN108900829A (zh) 2018-11-27
CN108765480B (zh) 2022-03-15
TW201837893A (zh) 2018-10-16
CN108900829B (zh) 2022-02-22
US11050997B2 (en) 2021-06-29
US10567737B2 (en) 2020-02-18
US20180295353A1 (en) 2018-10-11
CN108765480A (zh) 2018-11-06
US20180295345A1 (en) 2018-10-11
TW201837862A (zh) 2018-10-16
TWI657431B (zh) 2019-04-21

Similar Documents

Publication Publication Date Title
TWI672675B (zh) 深度處理裝置
US11615546B2 (en) Systems and methods for depth estimation using generative models
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
JP5901614B2 (ja) 画像処理装置および画像処理方法
WO2015165222A1 (zh) 全景图像的获取方法和装置
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
EP2757789A1 (en) Image processing system, image processing method, and image processing program
JP5810314B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
US20170069072A1 (en) Image processing apparatus, image processing system, and image processing method
US20150131853A1 (en) Stereo matching system and method for generating disparity map using same
JP4403477B2 (ja) 画像処理装置及び画像処理方法
KR20150101952A (ko) 화상처리장치 및 그 제어 방법
TWI528783B (zh) 產生深度影像之方法及其系統及電腦程式產品
US9329272B2 (en) 3D camera and method of image processing 3D images
US9538161B2 (en) System and method for stereoscopic photography
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP6251099B2 (ja) 距離算出装置
TW201715882A (zh) 深度估測裝置及方法
CN110800020A (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
JP2016156702A (ja) 撮像装置および撮像方法
JP2016005027A (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
JP2018205205A (ja) ステレオマッチング装置とステレオマッチング方法及びステレオマッチングプログラム
CN104977795A (zh) 立体摄影系统及其方法
KR101823657B1 (ko) 이종 카메라를 위한 스테레오 영상 교정 방법