TW201724018A - 深度影像處理方法及深度影像處理系統 - Google Patents

深度影像處理方法及深度影像處理系統 Download PDF

Info

Publication number
TW201724018A
TW201724018A TW104144098A TW104144098A TW201724018A TW 201724018 A TW201724018 A TW 201724018A TW 104144098 A TW104144098 A TW 104144098A TW 104144098 A TW104144098 A TW 104144098A TW 201724018 A TW201724018 A TW 201724018A
Authority
TW
Taiwan
Prior art keywords
image
feature
depth
depth image
parallax
Prior art date
Application number
TW104144098A
Other languages
English (en)
Other versions
TWI553591B (zh
Inventor
謝昇憲
鄭凱中
黃鈺文
林子堯
劉品宏
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW104144098A priority Critical patent/TWI553591B/zh
Priority to CN201610031364.5A priority patent/CN106934828B/zh
Priority to US15/093,767 priority patent/US9905023B2/en
Application granted granted Critical
Publication of TWI553591B publication Critical patent/TWI553591B/zh
Publication of TW201724018A publication Critical patent/TW201724018A/zh
Priority to US15/869,106 priority patent/US10529081B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本發明提出一種深度影像處理方法及深度影像處理系統。深度影像處理方法包括：擷取第一影像及第二影像；進行特徵比對以獲得第一影像及第二影像之間的多個特徵對，其中每一特徵對包括第一影像中的特徵及第二影像中的對應特徵；計算此些特徵對的視差；當此些特徵對的視差皆小於視差門檻值時，藉由第一影像及第二影像計算深度影像。

Description

深度影像處理方法及深度影像處理系統
本發明是有關於一種影像處理方法及影像處理系統，且特別是有關於一種深度影像處理方法及深度影像處理系統。
近年來，隨著使用者體驗需求的提高，深度影像技術逐漸變得熱門。計算深度影像的方法包括使用結構光、時差測距（Time Of Flight；TOF）法、立體匹配（Stereo Matching）法等方法。立體匹配法是以左右影像的其中一張為基礎，並且在另一張影像中尋找偏移量。例如，以左影像一個高度的框架為基礎，並在右影像同樣高度的位置將框架從最左邊開始每次位移一個像素到最右邊以逐一比對框架中的圖像，再由比對結果中找出相似度最高者，求得左右影像框架的偏移量，再透過這些影像框架的偏移量來計算出深度影像。
由於上述方法需要將框架從影像的最左邊移動到最右邊，可能進行幾百甚至上千次的計算之後才會得到一個偏移量，效率相當差，因此便產生了先將降低影像的解析度（down scale）再計算深度方法，例如將800*600的影像解析度降低到400*300再計算深度值。雖然此方法可減少計算量，但會造成遠距離物體偏移量誤差值的增大，導致無法分辨遠距離物體在深度影像中的深度值。
另外，在數位相機中，如果拍攝的物體距離太近，會造成左右影像的視差較大，使得系統必須花費很多時間才能計算出深度影像。如此一來會造成使用者等待時間過長而降低使用者體驗。因此，如何能在減少計算深度值的計算量的前提下同時能分辨遠距離物體的深度值，以及當拍攝物體距離太近時自動進行判斷並不進行深度影像的製作以減少使用者等待時間，是本領域技術人員所應致力的目標。
本發明提出一種深度影像處理方法及深度影像處理系統，在減少深度影像計算時間的同時能保留遠距離物體的細節，並防止拍攝物體距離過近而造成使用者浪費過長時間等待製作出具有破碎物體的深度影像。
本發明的一範例實施例提出一種深度影像處理方法，包括：擷取第一影像及第二影像；進行特徵比對以獲得第一影像及第二影像之間的多個特徵對，其中每一特徵對包括第一影像中的特徵及第二影像中的對應特徵；計算此些特徵對的視差；當此些特徵對的視差皆小於視差門檻值時，藉由第一影像及第二影像計算深度影像。
在本發明的一範例實施例中，上述特徵對是選自對應於第一影像及第二影像的至少一感興趣區域。
在本發明的一範例實施例中，上述的深度影像處理方法更包括計算對應第一影像的第三影像及對應第二影像的第四影像，其中第一影像及第二影像具有第一解析度，第三影像及第四影像具有第二解析度，且第二解析度小於第一解析度。
在本發明的一範例實施例中，上述的深度影像處理方法更包括：對第三影像及第四影像進行特徵比對以獲得第一深度影像，其中第一深度影像包括近距離特徵及遠距離特徵，其中近距離特徵的視差大於比對次數下限。
在本發明的一範例實施例中，上述對第三影像及第四影像進行特徵比對以獲得第一深度影像的步驟包括：對第三影像及第四影像進行特徵比對以獲得低解析深度影像，並藉由低解析深度影像獲得具有第一解析度的第一深度影像。
在本發明的一範例實施例中，進行特徵比對以獲得第一影像及第二影像之間的多個特徵對的步驟更包括在視差門檻值內進行特徵比對以獲得第一影像及第二影像的遠距離特徵，並藉由第一影像及第二影像計算第二深度影像。
在本發明的一範例實施例中，上述的深度影像處理方法更包括：若第一深度影像的遠距離特徵的視差等於零，利用第二深度影像的遠距離特徵填補第一深度影像的遠距離特徵。
在本發明的一範例實施例中，進行特徵比對以獲得第一影像及第二影像的上述特徵對的步驟更包括：獲得第一影像的多個第一特徵及第二影像的多個第二特徵；若上述第一特徵中的第三特徵與上述第二特徵中的第四特徵的相似度大於相似度門檻值，將第三特徵與第四特徵加入上述特徵對；若上述特徵對的數量大於數量門檻值，則判斷上述特徵對的視差是否大於視差門檻值；以及若上述特徵對的其中之一的視差大於視差門檻值，不藉由第一影像及第二影像計算深度影像並發出警示訊號。
在本發明的一範例實施例中，上述的深度影像處理方法更包括藉由比較第三特徵與第四特徵的多個特徵向量來計算第三特徵與第四特徵的相似度。
在本發明的一範例實施例中，上述擷取第一影像及第二影像的步驟更包括對第一影像及第二影像進行校正，以消除第一影像及第二影像之間多個座標軸的旋轉差及部份上述座標軸的位移差。
本發明的一範例實施例提出一種深度影像處理系統，包括攝像模組及處理模組。攝像模組包括第一鏡頭及第二鏡頭，其中第一鏡頭用以擷取第一影像且第二鏡頭用以擷取第二影像。處理模組耦接攝像模組，處理模組進行特徵比對以獲得第一影像及第二影像之間的多個特徵對，並計算此些特徵對的視差，當此些特徵對的視差皆小於視差門檻值時，處理模組藉由第一影像及第二影像計算深度影像，其中每一特徵對包括第一影像中的特徵及第二影像中的對應特徵。
在本發明的一範例實施例中，上述特徵對是選自對應於第一影像及第二影像的至少一感興趣區域。
在本發明的一範例實施例中，上述的處理模組計算對應第一影像的第三影像及對應第二影像的第四影像，其中第一影像及第二影像具有第一解析度，第三影像及第四影像具有第二解析度，且第二解析度小於第一解析度。
在本發明的一範例實施例中，上述的處理模組對第三影像及第四影像進行特徵比對以獲得第一深度影像，其中第一深度影像包括近距離特徵及遠距離特徵，其中近距離特徵的視差大於比對次數下限。
在本發明的一範例實施例中，上述的處理模組對第三影像及第四影像進行特徵比對以獲得低解析深度影像，並藉由低解析深度影像獲得具有第一解析度的第一深度影像。
在本發明的一範例實施例中，上述的處理模組在視差門檻值內進行特徵比對以獲得第一影像及第二影像的遠距離特徵，並藉由第一影像及第二影像計算第二深度影像。
在本發明的一範例實施例中，若第一深度影像的遠距離特徵的視差等於零，處理模組利用第二深度影像的遠距離特徵填補第一深度影像的遠距離特徵。
在本發明的一範例實施例中，上述的處理模組獲得第一影像的多個第一特徵及第二影像的多個第二特徵。若上述第一特徵中的第三特徵與上述第二特徵中的第四特徵的相似度大於相似度門檻值，處理模組將第三特徵與第四特徵加入上述特徵對。若上述特徵對的數量大於數量門檻值，則處理模組判斷上述特徵對的視差是否大於視差門檻值。若上述特徵對的其中之一的視差大於視差門檻值，處理模組不藉由第一影像及第二影像計算深度影像並發出警示訊號。
在本發明的一範例實施例中，上述的處理模組藉由比較第三特徵與第四特徵的多個特徵向量來計算第三特徵與第四特徵的相似度。
在本發明的一範例實施例中，上述的處理模組對第一影像及第二影像進行校正，以消除第一影像及第二影像之間多個座標軸的旋轉差及部份上述座標軸的位移差。
在本發明的一範例實施例中，上述的第一鏡頭、第二鏡頭及處理模組設置於深度影像處理裝置中。
在本發明的一範例實施例中，上述的第一鏡頭及處理模組設置於深度影像處理裝置中，且第二鏡頭設置於電子裝置中，其中深度影像處理裝置可拆卸地設置於電子裝置上。
基於上述，本發明的深度影像處理方法及深度影像處理系統會先將左右影像解析度縮小以取得第一深度影像，並利用原始解析度的左右影像取得第二深度影像，再將第二深度影像的遠距離物體填補至第一深度影像中。如此一來可同時縮短深度影像計算時間又不會失去深度影像中遠距離物體的細節。此外，本發明的深度影像處理方法及深度影像處理系統還會在相似度高的特徵對的視差大於視差門檻值時發出警示訊號給使用者，以提醒使用者拍攝距離過近，進而避免使用者浪費過長時間等待製作出具有破碎物體的深度影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是根據本發明一範例實施例所繪示的深度影像處理系統的方塊圖。請參照圖1，本發明一範例實施例的深度影像處理系統100為一深度影像處理裝置101。深度影像處理裝置101例如是數位相機或其他影像擷取裝置，深度影像處理裝置101包括處理模組110及耦接於處理模組110的攝像模組120。處理模組110例如是微處理器，用以處理攝像模組120所拍攝的影像資料，攝像模組120例如是互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor, CMOS)影像感測器或感光耦合元件(Charged-Couple Device, CCD)影像感測器。攝像模組120具有第一鏡頭121及第二鏡頭122。第一鏡頭121及第二鏡頭122設置於同一個水平面上以同時擷取左影像及右影像。而處理模組110可藉由左影像及右影像來製作出立體深度影像。深度影像處理裝置101還可包括儲存模組(未繪示於圖中)，用以儲存左影像、右影像及立體深度影像。
圖2是根據本發明另一範例實施例所繪示的深度影像處理系統的方塊圖。請參照圖2，本發明另一範例實施例的深度影像處理系統200包括深度影像處理裝置201及電子裝置202。深度影像處理裝置201例如是數位相機或其他小型影像擷取裝置。電子裝置202例如是智慧型手機、平板電腦或其他具有照相功能的手持式電子裝置。深度影像處理裝置201及電子裝置202可藉由第一傳輸模組231及第二傳輸模組232可拆卸地彼此耦接。第一傳輸模組231及第二傳輸模組232例如是通用序列匯流排 (Universal Serial Bus, USB)、小型通用序列匯流排 (Mini Universal Serial Bus, Mini USB)、微型通用序列匯流排 (Micro Universal Serial Bus, Micro USB)、或其他傳輸介面。攝像模組220包括第一鏡頭221及第二鏡頭222。第一鏡頭221及第二鏡頭222例如是互補式金屬氧化物半導體（Complementary Metal-Oxide-Semiconductor；CMOS）影像感測器或感光耦合元件（Charged-Couple Device；CCD）影像感測器。第二鏡頭222可為電子裝置202的前鏡頭或後鏡頭。當使用者擷取影像資料時，處理模組210會同時從第一鏡頭221及第二鏡頭222接收到左影像及右影像並藉由左影像及右影像來製作出立體深度影像。在下文中為了方便說明，皆以處理模組110、第一鏡頭121第二鏡頭122進行說明。
圖3是根據本發明一範例實施例所繪示的深度影像處理方法的流程圖。圖4A到圖4C是根據本發明一範例實施例所繪示的深度影像處理方法的示意圖。
請參照圖3，在步驟S301中，攝像模組120分別使用第一鏡頭121及第二鏡頭122擷取具有第一解析度的第一影像410（或稱為左影像）及第二影像420（或稱為右影像）。在圖4A中，第一影像410及第二影像420具有第一解析度。為了方便說明，在本範例實施例中假設第一解析度為800*600，但本發明並不以此為限。在另一範例實施例中，第一解析度也可以是1280*720、1920*1080或其他解析度。為了方便說明，假設在對應於第一影像410及第二影像420至少一個感興趣區域（Region Of Interest；ROI）中，有一個近距離物體411及一個遠距離物體412。第二影像420中的虛線部分表示第一影像中的近距離物體411及遠距離物體412在第二影像420中的對應位置。在本範例實施例中，假設在第一影像410及第二影像420中之近距離物體411的視差為”40”，此視差”40”表示近距離物體在第一影像410及第二影像420中的對應水平位置差距為40個像素，且遠距離物體412的視差為1。
在步驟S303中，處理模組110獲得具有第二解析度且分別對應第一影像410及第二影像420的第三影像430及第四影像440。例如，在圖4B中，處理模組110計算對應第一影像410的第三影像430及對應第二影像420的第四影像440，其中第三影像430及第四影像440具有小於第一解析度的第二解析度。在本範例實施例中假設第二解析度為400*300，但本發明並不以此為限。在另一範例實施例中，第二解析度也可以是小於第一解析度的任何解析度，例如是第一解析度的1/4、1/16等等。由於第三影像430及第四影像440橫軸及縱軸的解析度都是第一影像410及第二影像440的1/2，因此在第三影像430及第四影像440中，近距離物體411的視差為40的1/2，也就是20，而遠距離物體412的視差則會變為0。
在步驟S305中，處理模組110根據第三影像430及第四影像440計算具有第二解析度的低解析度深度影像450。接著在步驟S307中，處理模組110將低解析度深度影像450轉換成具有第一解析度的第一深度影像460。具體來說，本範例實施例的深度影像處理方法會先設定一個視差門檻值以根據左右影像計算深度影像，若左右影像中的物體視差大於視差門檻值，則根據左右影像計算出的深度影像中的物體會呈現破碎型態。例如，在此假設圖4C中的視差門檻值為30。在處理模組110根據第三影像430及第四影像440計算低解析度深度影像450時，處理模組110會先從第四影像440中判斷出多個特徵並在第三影像430中對應於第四影像440每個特徵位置的右側30個像素的範圍內尋找相似度大於相似度門檻值的對應特徵，以獲得第三影像430及第四影像440之間的多個特徵對，並且根據這些特徵對的視差來判斷近距離物體411及遠距離物體412，其中近距離物體411(或稱為近距離特徵)及遠距離物體412(或稱為遠距離特徵)可包括一到多個特徵對。如此一來，處理模組110可由這些特徵對獲得視差為20的近距離物體411及視差為0的遠距離物體412，從而計算出低解析度深度影像450。接著，處理模組110再將解析度為400*300的低解析度深度影像450轉換成解析度為800*600的第一深度影像460。在第一深度影像460中，近距離物體411的視差為40且遠距離物體412的視差為0。
值得注意的是，處理模組110在計算第一深度影像460時還可以設定一個比對次數下限(例如，15)以專注取得近距離物體411的視差。具體來說，處理模組110在每次尋找特徵對時不需要在第三影像430中對應於第四影像440每個特徵位置的右側30個像素的範圍內尋找相似度大於相似度門檻值的對應特徵，而只要在第三影像430中對應於第四影像440每個特徵位置的右側15到30個像素的範圍內尋找相似度大於相似度門檻值的對應特徵，如此可大幅縮短計算時間。
在步驟S309中，處理模組110根據第一影像410及第二影像420計算出第二深度影像470。例如，在圖4A中，由於近距離物體411的視差為40，大於視差門檻值30，因此在第二深度影像470中的近距離物體411會呈現破碎狀態，而第二深度影像470中的遠距離物體412則是正常呈現，並且其視差為1。
在步驟S311中，處理模組110判斷第一深度影像460中的遠距離物體412的視差是否為0。若第一深度影像460中的遠距離物體412的視差不為0，在步驟S313中，處理模組110將第一深度影像460作為完整深度影像。若第一深度影像460中的遠距離物體412的視差為0，在步驟S315中，處理模組110利用第二深度影像470中的遠距離物體412填補第一深度影像460中的遠距離物體412並將填補後的第一深度影像460作為完整深度影像。
值得注意的是，雖然在本範例實施例中處理模組110會先計算出第一深度影像460及第二深度影像470再進行步驟S311的比較，但本發明並不以此為限。例如，在另一範例實施例中，處理模組110也可以先不進行第二深度影像470的計算，而是在判斷第一深度影像460中的遠距離物體412的視差為0之後再進行第二深度影像470的計算並利用第二深度影像470中的遠距離物體412填補第一深度影像460中的遠距離物體412，以節省本發明的深度影像處理方法的計算時間。
圖5是根據本發明另一範例實施例所繪示的深度影像處理方法的流程圖。圖6是根據本發明另一範例實施例所繪示的深度影像處理方法的示意圖。
請參照圖5，在步驟S501中，攝像模組120分別使用第一鏡頭121及第二鏡頭122擷取第一影像610(或稱為左影像)及第二影像620(或稱為右影像)並對第一影像610及第二影像620進行校正，以消除第一影像及第二影像之間X、Y、Z座標軸的旋轉差及Y、Z座標軸的位移差，使得第一影像610及第二影像620只剩下X座標軸的位移差。值得注意的是，雖然上述說明了第一影像及第二影像分別為左影像及右影像，但第一影像及第二影像也可分別為右影像及左影像。
在步驟S503中，處理模組110獲得第一影像610的多個第一特徵及第二影像620的多個第二特徵，其中第一特徵及第二特徵為影像中的角點或顏色值及灰階值與周圍像素差異較大的點。在本範例實施例中，會在第一影像610及第二影像620中定義相同的搜尋範圍630(或感興趣區域)並在各搜尋範圍630中標記第一特徵1、4、5、6及第二特徵1’、4’、5’、6’。搜尋範圍可以是使用者選擇的範圍、影像中人臉的範圍、或是取得影像時自動對焦的範圍。
在步驟S505中，若第一特徵中的第三特徵與第二特徵中的第四特徵的相似度大於相似度門檻值，處理模組110將第三特徵與第四特徵加入特徵對。例如，在圖6中，假設第一特徵中的1、4、6與第二特徵中的1’、4’、6’的相似度大於相似度門檻值，則將1-1’、4-4’、6-6’加入特徵對。
在步驟S507中，處理模組110判斷特徵對的數量是否大於數量門檻值。具體來說，在本範例實施例中，處理模組110會將數量門檻值設定為第一特徵或第二特徵總數的特定百分比，例如第一特徵總數為1000個且第二特徵總數為900個，則可以將第二特徵總數的30%，也就是270設定成數量門檻值。若特徵對的數量不大於數量門檻值，則回到步驟S501重新截取第一影像610及第二影像620。
若特徵對的數量大於數量門檻值，在步驟S509中，處理模組110進一步判斷特徵對的其中之一的視差是否大於視差門檻值。若特徵對的其中之一的視差大於視差門檻值，則處理模組110不藉由第一影像610及第二影像620計算深度影像並發出警示訊號，接著回到步驟S501重新截取第一影像610及第二影像620。例如，在圖6中，假設視差門檻值為30，由於特徵對1-1’的視差為80，大於視差門檻值30，在此條件下計算出的深度影像會產生影像破碎的情況，因此系統可自動發出警示訊號以告知使用者拍攝距離過近。
若所有特徵對的視差皆不大於視差門檻值，則在步驟S511中，處理模組110藉由第一影像610及第二影像620計算深度影像。
值得注意的是，在本範例實施例中，當特徵對的其中之一的視差大於視差門檻值就視為拍攝物體距離過近而不製作深度影像，但本發明並不以此為限。例如，在另一範例實施例中，也可在一預定比例的特徵對的視差大於視差門檻值才視為拍攝物體距離過近而不製作深度影像。
此外，由於本發明的深度影像處理方法會在搜尋範圍，也就是照相標的中尋找過近的照相標的。因此，若在更近的地方存在其他物體，即使此物體的深度影像超過視差門檻值而呈現破碎型態，由於此物體並非照相標的，系統並不會發出警示訊息以提醒使用者。
綜上所述，本發明的深度影像處理方法及深度影像處理系統會先將左右影像解析度縮小以取得第一深度影像，並利用原始解析度的左右影像取得第二深度影像，再將第二深度影像的遠距離物體填補至第一深度影像中。如此一來可同時縮短深度影像計算時間又不會失去深度影像中遠距離物體的細節。此外，本發明的深度影像處理方法及深度影像處理系統還會在相似度高的特徵對的視差大於視差門檻值時發出警示訊號給使用者，以提醒使用者拍攝距離過近，進而避免使用者浪費過長時間等待製作出具有破碎物體的深度影像。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、200‧‧‧深度影像處理系統
101、201‧‧‧深度影像處理裝置
110、210‧‧‧處理模組
120、220‧‧‧攝像模組
121、221‧‧‧第一鏡頭
122、222‧‧‧第二鏡頭
231‧‧‧第一傳輸模組
232‧‧‧第二傳輸模組
S301、S303、S305、S307、S309、S311、S313、S315‧‧‧深度影像處理方法的步驟
411‧‧‧近距離物體
412‧‧‧遠距離物體
410‧‧‧第一影像
420‧‧‧第二影像
430‧‧‧第三影像
440‧‧‧第四影像
450‧‧‧低解析度深度影像
460‧‧‧第一深度影像
470‧‧‧第二深度影像
S501、S503、S505、S507、S509、S511‧‧‧深度影像處理方法的步驟
610‧‧‧第一影像
620‧‧‧第二影像
630‧‧‧搜尋範圍
1、4、5、6‧‧‧第一特徵
1’、4’、5’、6’‧‧‧第二特徵
圖1是根據本發明一範例實施例所繪示的深度影像處理系統的方塊圖。 圖2是根據本發明另一範例實施例所繪示的深度影像處理系統的方塊圖。 圖3是根據本發明一範例實施例所繪示的深度影像處理方法的流程圖。 圖4A到圖4C是根據本發明一範例實施例所繪示的深度影像處理方法的示意圖。 圖5是根據本發明另一範例實施例所繪示的深度影像處理方法的流程圖。 圖6是根據本發明另一範例實施例所繪示的深度影像處理方法的示意圖。
S301、S303、S305、S307、S309、S311、S313、S315‧‧‧深度影像處理方法的步驟

Claims (22)

  1. 一種深度影像處理方法，包括： 擷取一第一影像及一第二影像； 進行一特徵比對以獲得該第一影像及該第二影像之間的多個特徵對，其中每一該些特徵對包括該第一影像中的一特徵及該第二影像中的一對應特徵； 計算該些特徵對的視差；以及 當該些特徵對的視差皆小於一視差門檻值時，藉由該第一影像及該第二影像計算一深度影像。
  2. 如申請專利範圍第1項所述的深度影像處理方法，其中該些特徵對是選自對應於該第一影像及該第二影像的至少一感興趣區域。
  3. 如申請專利範圍第1項所述的深度影像處理方法，更包括： 計算對應該第一影像的一第三影像及對應該第二影像的一第四影像，其中該第一影像及該第二影像具有一第一解析度，該第三影像及該第四影像具有一第二解析度，且該第二解析度小於該第一解析度。
  4. 如申請專利範圍第3項所述的深度影像處理方法，更包括： 對該第三影像及該第四影像進行該特徵比對以獲得一第一深度影像，其中該第一深度影像包括一近距離特徵及一遠距離特徵，其中該近距離特徵的視差大於一比對次數下限。
  5. 如申請專利範圍第4項所述的深度影像處理方法，其中對該第三影像及該第四影像進行該特徵比對以獲得該第一深度影像的步驟包括： 對該第三影像及該第四影像進行該特徵比對以獲得一低解析深度影像，並藉由該低解析深度影像獲得具有該第一解析度的該第一深度影像。
  6. 如申請專利範圍第4項所述的深度影像處理方法，其中進行該特徵比對以獲得該第一影像及該第二影像之間的多個特徵對的步驟更包括： 在該視差門檻值內進行該特徵比對以獲得該第一影像及該第二影像的該遠距離特徵，並藉由該第一影像及該第二影像計算一第二深度影像。
  7. 如申請專利範圍第6項所述的深度影像處理方法，更包括： 若該第一深度影像的該遠距離特徵的視差等於零，利用該第二深度影像的該遠距離特徵填補該第一深度影像的該遠距離特徵。
  8. 如申請專利範圍第1項所述的深度影像處理方法，其中進行該特徵比對以獲得該第一影像及該第二影像的該些特徵對的步驟更包括： 獲得該第一影像的多個第一特徵及該第二影像的多個第二特徵； 若該些第一特徵中的一第三特徵與該些第二特徵中的一第四特徵的相似度大於一相似度門檻值，將該第三特徵與該第四特徵加入該些特徵對； 若該些特徵對的數量大於一數量門檻值，則判斷該些特徵對的視差是否大於該視差門檻值；以及 若該些特徵對的其中之一的視差大於該視差門檻值，不藉由該第一影像及該第二影像計算該深度影像並發出一警示訊號。
  9. 如申請專利範圍第8項所述的深度影像處理方法，更包括： 藉由比較該第三特徵與該第四特徵的多個特徵向量來計算該第三特徵與該第四特徵的相似度。
  10. 如申請專利範圍第1項所述的深度影像處理方法，其中擷取該第一影像及該第二影像的步驟更包括： 對該第一影像及該第二影像進行校正，以消除該第一影像及該第二影像之間多個座標軸的旋轉差及部份該些座標軸的位移差。
  11. 一種深度影像處理系統，包括： 一攝像模組，包括一第一鏡頭及一第二鏡頭，其中該第一鏡頭用以擷取一第一影像且該第二鏡頭用以擷取一第二影像；以及 一處理模組，耦接該攝像模組，該處理模組進行一特徵比對以獲得該第一影像及該第二影像之間的多個特徵對，並計算該些特徵對的視差，當該些特徵對的視差皆小於一視差門檻值時，該處理模組藉由該第一影像及該第二影像計算一深度影像，其中每一該些特徵對包括該第一影像中的一特徵及該第二影像中的一對應特徵。
  12. 如申請專利範圍第11項所述的深度影像處理系統，其中該些特徵對是選自對應於該第一影像及該第二影像的至少一感興趣區域。
  13. 如申請專利範圍第11項所述的深度影像處理系統，其中該處理模組計算對應該第一影像的一第三影像及對應該第二影像的一第四影像，其中該第一影像及該第二影像具有一第一解析度，該第三影像及該第四影像具有一第二解析度，且該第二解析度小於該第一解析度。
  14. 如申請專利範圍第13項所述的深度影像處理系統，其中該處理模組對該第三影像及該第四影像進行該特徵比對以獲得一第一深度影像，其中該第一深度影像包括一近距離特徵及一遠距離特徵，其中該近距離特徵的視差大於一比對次數下限。
  15. 如申請專利範圍第14項所述的深度影像處理系統，其中該處理模組對該第三影像及該第四影像進行該特徵比對以獲得一低解析深度影像，並藉由該低解析深度影像獲得具有該第一解析度的該第一深度影像。
  16. 如申請專利範圍第14項所述的深度影像處理系統，其中該處理模組在該視差門檻值內進行該特徵比對以獲得該第一影像及該第二影像的該遠距離特徵，並藉由該第一影像及該第二影像計算一第二深度影像。
  17. 如申請專利範圍第16項所述的深度影像處理系統，其中若該第一深度影像的該遠距離特徵的視差等於零，該處理模組利用該第二深度影像的該遠距離特徵填補該第一深度影像的該遠距離特徵。
  18. 如申請專利範圍第11項所述的深度影像處理系統，其中： 該處理模組獲得該第一影像的多個第一特徵及該第二影像的多個第二特徵， 若該些第一特徵中的一第三特徵與該些第二特徵中的一第四特徵的相似度大於一相似度門檻值，該處理模組將該第三特徵與該第四特徵加入該些特徵對， 若該些特徵對的數量大於一數量門檻值，則該處理模組判斷該些特徵對的視差是否大於該視差門檻值， 若該些特徵對的其中之一的視差大於該視差門檻值，該處理模組不藉由該第一影像及該第二影像計算該深度影像並發出一警示訊號。
  19. 如申請專利範圍第18項所述的深度影像處理系統，其中該處理模組藉由比較該第三特徵與該第四特徵的多個特徵向量來計算該第三特徵與該第四特徵的相似度。
  20. 如申請專利範圍第11項所述的深度影像處理系統，其中該處理模組對該第一影像及該第二影像進行校正，以消除該第一影像及該第二影像之間多個座標軸的旋轉差及部份該些座標軸的位移差。
  21. 如申請專利範圍第11項所述的深度影像處理系統，其中該第一鏡頭、該第二鏡頭及該處理模組設置於一深度影像處理裝置中。
  22. 如申請專利範圍第11項所述的深度影像處理系統，其中該第一鏡頭及該處理模組設置於一深度影像處理裝置中，且該第二鏡頭設置於一電子裝置中，其中該深度影像處理裝置可拆卸地設置於該電子裝置上。
TW104144098A 2015-12-28 2015-12-28 深度影像處理方法及深度影像處理系統 TWI553591B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW104144098A TWI553591B (zh) 2015-12-28 2015-12-28 深度影像處理方法及深度影像處理系統
CN201610031364.5A CN106934828B (zh) 2015-12-28 2016-01-18 深度图像处理方法及深度图像处理系统
US15/093,767 US9905023B2 (en) 2015-12-28 2016-04-08 Depth image processing method and depth image processing system
US15/869,106 US10529081B2 (en) 2015-12-28 2018-01-12 Depth image processing method and depth image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104144098A TWI553591B (zh) 2015-12-28 2015-12-28 深度影像處理方法及深度影像處理系統

Publications (2)

Publication Number Publication Date
TWI553591B TWI553591B (zh) 2016-10-11
TW201724018A true TW201724018A (zh) 2017-07-01

Family

ID=57848278

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104144098A TWI553591B (zh) 2015-12-28 2015-12-28 深度影像處理方法及深度影像處理系統

Country Status (3)

Country Link
US (2) US9905023B2 (zh)
CN (1) CN106934828B (zh)
TW (1) TWI553591B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI833238B (zh) * 2022-06-08 2024-02-21 凌華科技股份有限公司 資料結構以及人工智能推論系統及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI624170B (zh) * 2016-10-19 2018-05-11 財團法人工業技術研究院 影像掃描系統及其方法
US10992916B2 (en) 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备
CN111626929B (zh) * 2020-04-28 2023-08-08 Oppo广东移动通信有限公司 深度图像的生成方法及装置、计算机可读介质和电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084978A (en) * 1993-12-16 2000-07-04 Eastman Kodak Company Hierarchical storage and display of digital images used in constructing three-dimensional image hard copy
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
US8279267B2 (en) * 2009-03-09 2012-10-02 Mediatek Inc. Apparatus and method for capturing images of a scene
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN101556696B (zh) * 2009-05-14 2011-09-14 浙江大学 基于阵列摄像机的深度图实时获取算法
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
CN102387374B (zh) * 2010-08-30 2015-07-29 三星电子株式会社 用于获得高精度深度图的设备和方法
US9565415B2 (en) * 2010-09-14 2017-02-07 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
TWI496452B (zh) * 2011-07-29 2015-08-11 Wistron Corp 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法
TWI450024B (zh) * 2012-06-05 2014-08-21 Wistron Corp 立體深度影像建立系統及其方法
EP2973476A4 (en) * 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
TWI498526B (zh) * 2013-06-05 2015-09-01 Nat Univ Chung Cheng Environment depth measurement method and its image acquisition device
TWI535263B (zh) * 2013-06-20 2016-05-21 國立成功大學 ３ｄ影像深度圖之產生方法
TW201514926A (zh) * 2013-10-11 2015-04-16 Novatek Microelectronics Corp 視差計算方法及其立體匹配系統
CN104574342B (zh) * 2013-10-14 2017-06-23 株式会社理光 视差深度图像的噪声识别方法和噪声识别装置
TWI536206B (zh) * 2013-11-05 2016-06-01 緯創資通股份有限公司 操作體的定位方法及裝置以及深度判定方法及裝置
IN2013CH05313A (zh) * 2013-11-18 2015-05-29 Nokia Corp
TWI545936B (zh) * 2014-02-25 2016-08-11 華晶科技股份有限公司 電子裝置及其校正方法
US10771714B2 (en) * 2014-02-25 2020-09-08 Ams Sensors Singapore Pte. Ltd. Image sensor modules including primary high-resolution imagers and secondary imagers
TWI538476B (zh) * 2014-03-24 2016-06-11 立普思股份有限公司 立體攝影系統及其方法
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
US9661298B2 (en) * 2015-08-06 2017-05-23 Intel Corporation Depth image enhancement for hardware generated depth images
CN105160663A (zh) * 2015-08-24 2015-12-16 深圳奥比中光科技有限公司 获取深度图像的方法和系统
KR101690645B1 (ko) * 2015-09-21 2016-12-29 경북대학교 산학협력단 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI833238B (zh) * 2022-06-08 2024-02-21 凌華科技股份有限公司 資料結構以及人工智能推論系統及方法

Also Published As

Publication number Publication date
CN106934828A (zh) 2017-07-07
US20170186171A1 (en) 2017-06-29
CN106934828B (zh) 2019-12-06
US10529081B2 (en) 2020-01-07
US20180137636A1 (en) 2018-05-17
TWI553591B (zh) 2016-10-11
US9905023B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
TWI553591B (zh) 深度影像處理方法及深度影像處理系統
TWI567693B (zh) 產生深度資訊的方法及其系統
JP5954668B2 (ja) 画像処理装置、撮像装置および画像処理方法
US9973672B2 (en) Photographing for dual-lens device using photographing environment determined using depth estimation
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
KR101804205B1 (ko) 영상 처리 장치 및 방법
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
CN101933335A (zh) 将二维图像数据转换为立体图像数据的方法和系统
CN105744138B (zh) 快速对焦方法和电子设备
KR20060063558A (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
WO2022142139A1 (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
US20150178595A1 (en) Image processing apparatus, imaging apparatus, image processing method and program
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
TWI571099B (zh) 深度估測裝置及方法
US9538161B2 (en) System and method for stereoscopic photography
US9674503B2 (en) Stereo matching apparatus using image property
JP2015184121A (ja) 距離算出装置
WO2015159791A1 (ja) 測距装置および測距方法
TWI508526B (zh) 產生視角平移影像之方法及其可攜式電子設備
CN114390271B (zh) 判别连续影像顺序的系统及其方法
TWI678681B (zh) 產生深度圖的方法及其影像處理裝置與系統
Song et al. An improved two-view convergent-style-based disparity estimation algorithm
CN104977795A (zh) 立体摄影系统及其方法
TW202331586A (zh) 特徵點位置偵測方法及電子裝置