TWI784482B - 多深度資訊之處理方法與處理系統 - Google Patents

多深度資訊之處理方法與處理系統 Download PDF

Info

Publication number
TWI784482B
TWI784482B TW110113704A TW110113704A TWI784482B TW I784482 B TWI784482 B TW I784482B TW 110113704 A TW110113704 A TW 110113704A TW 110113704 A TW110113704 A TW 110113704A TW I784482 B TWI784482 B TW I784482B
Authority
TW
Taiwan
Prior art keywords
image
images
depth information
mentioned
depth
Prior art date
Application number
TW110113704A
Other languages
English (en)
Other versions
TW202141974A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW202141974A publication Critical patent/TW202141974A/zh
Application granted granted Critical
Publication of TWI784482B publication Critical patent/TWI784482B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Radio Relay Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

一種多深度資訊之處理方法與處理系統。多深度資訊之處理方法包括以下步驟。獲得複數第一影像與複數第二影像。將上述第一影像與上述第二影像輸入至同一深度產生單元。以該深度產生單元運算上述第一影像及上述第二影像，以獲得對應上述第一影像與上述第二影像的複數深度資訊。

Description

多深度資訊之處理方法與處理系統
本揭露是有關於一種處理方法與處理系統，且特別是有關於一種多深度資訊之處理方法與處理系統。
隨著顯示技術的快速進步，發展出一種立體顯示技術。在立體顯示技術中，一張左眼原始影像與一張右眼原始影像可以輸入至深度引擎(depth engine)來運算出深度資訊。倘若有多種解析度需求，或有多種基線(baseline)需求時，則需要多組深度引擎來運算多組左眼原始影像與右眼原始影像，以生成多深度資訊。
本揭露係有關於一種多深度資訊之處理方法。多深度資訊之處理方法包括以下步驟。獲得複數原始影像。依據這些原始影像，獲得複數第一影像與複數第二影像。將這些第一影像與這些第二影像輸入至同一深度產生單元。以深度產生單元運算這些第一影像及這些第二影像，以獲得複數深度資訊。一種多深 度資訊之處理方法與處理系統。多深度資訊之處理方法包括以下步驟。獲得複數第一影像與複數第二影像。將上述第一影像與上述第二影像輸入至同一深度產生單元。以該深度產生單元運算上述第一影像及上述第二影像，以獲得對應上述第一影像與上述第二影像的複數深度資訊。
根據本揭露之另一實施例，提出一種多深度資訊之處理系統。處理系統包括一影像擷取模組，用以獲得複數第一影像與複數第二影像以及一深度產生單元，用以接收上述第一影像與上述第二影像輸入，並運算上述第一影像及上述第二影像，以獲得對應上述第一影像與上述第二影像的複數深度資訊。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100:處理系統
110:影像擷取單元
111:轉換單元
120:組合單元
130:深度產生單元
140:拆解單元
Bab,Bac:基線
C0:合成影像
D0:運算結果
D1,D2,D3:深度資訊
DK:無內容資料
IA,IB,IC:影像
IAL,IAL’,IAL1,IAL2:第一影像
IBR,IBR’,ICR:第二影像
S100,S110,S120,S130,S140,S150:步驟
第1圖繪示根據一實施例之多深度資訊之處理系統的方塊圖。
第2圖繪示根據一實施例之多深度資訊之處理方法的流程圖。
第3A圖示例說明根據一實施例之影像擷取單元之示意圖。
第3B圖示例說明原始影像的轉換。
第4A圖示例說明根據一實施例之第一影像及第二影像的組合。
第4B圖示例說明根據另一實施例之第一影像及第二影像的組合。
第4C圖示例說明根據另一實施例之第一影像及第二影像的組合。
第4D圖示例說明根據另一實施例之第一影像及第二影像的組合。
第4E圖示例說明根據另一實施例之第一影像及第二影像的組合。
第4F圖示例說明根據另一實施例之第一影像及第二影像的組合。
第4G圖示例說明根據另一實施例之第一影像及第二影像的組合。
第5A圖繪示輸入第4A圖之合成影像的運算結果。
第5B圖繪示輸入第4B圖之合成影像的運算結果。
第5C圖繪示輸入第4C圖之合成影像的運算結果。
第5D圖繪示輸入第4D圖之合成影像的運算結果。
第5E圖繪示輸入第4E圖之合成影像的運算結果。
第5F圖繪示輸入第4F圖之合成影像的運算結果。
第5G圖繪示輸入第4G圖之合成影像的運算結果。
請參照第1圖，其繪示根據一實施例之多深度資訊之處理系統100的方塊圖。處理系統100包括一影像擷取模組(圖中未顯示)、一深度產生單元130及一拆解單元140，在本案實施例中影像擷取模組包括數個影像擷取單元110、一轉換單元111及一組合單元120。影像擷取單元110用以擷取並處理彩色影像、灰階影像或紅外線影像。影像擷取單元110例如是彩色相機、黑白相機或紅外線相機。影像擷取單元110的數量可以是二個或二個以上。轉換單元111、組合單元120、深度產生單元130及/或拆解單元140例如是軟體程式、電路、晶片、電路板或儲存軟體程式碼之儲存裝置。
這些影像擷取單元110同步獲得影像IA、影像IB、影像IC。透過這些影像IA、影像IB、影像IC，同一個深度產生單元130可以運算出深度資訊D1與深度資訊D2。以下更搭配流程圖詳細說明本實施例之多深度資訊之處理方法。
請參照第2圖，其繪示根據一實施例之多深度資訊之處理方法的流程圖。在步驟S100中，以影像擷取單元110獲得原始影像IA、原始影像IB與原始影像IC。請參照第3A圖，其示例說明根據一實施例之影像擷取單元110之示意圖。在第3A圖之例子中，影像擷取單元110之數量為3。標記為「B」之影像擷取單元110設置於標記為「A」之影像擷取單元110與標記為「C」之影像擷取單元110之間。基線(baseline)Bab位於標記為「A」之影像擷取單元110與標記為「B」之影像擷取單元110之間。基 線Bac位於標記為「A」之影像擷取單元110與標記為「C」之影像擷取單元110之間。基線Bac大於基線Bab。標記為「A」之影像擷取單元110用以獲得原始影像IA，標記為「B」之影像擷取單元110用以獲得原始影像IB。標記為「C」之影像擷取單元110用以獲得原始影像IC。影像擷取單元110同步獲得原始影像IA、原始影像IB、原始影像IC。
接著，在步驟S110中，轉換單元111依據原始影像IA、原始影像IB、原始影像IC，獲得第一影像IAL與第二影像IBR、ICR。請參照第3B圖，其示例說明原始影像IA、IB、IC的轉換。原始影像IA、原始影像IB、原始影像IC例如是經過形變還原(dewarping)、校正(rectification)、解析度調整後獲得第一影像IAL、第二影像IBR、第二影像ICR。第一影像IAL例如是左眼影像，第二影像IBR、ICR例如是右眼影像。
接著，在步驟S120中，組合單元120組合第一影像IAL、第二影像IBR、第二影像ICR，以獲得一張合成影像C0。請參照第4A圖，其示例說明根據一實施例之第一影像IAL、第二影像IBR、第二影像ICR的組合。在第4A圖之實施例中，兩張第一影像IAL垂直排列，第二影像IBR與第二影像ICR垂直排列，而獲得合成影像C0。也就是說，第一影像IAL與第二影像IBR水平排列；第一影像IAL與第二影像ICR水平排列。此種排列方式用於採用水平掃描運算的深度產生單元130。
在此步驟中，影像IA、影像IB、影像IC的解析度可以相同且在不調整解析度的情況下轉換出第一影像IAL、第二影像IBR、第二影像ICR，而讓第一影像IAL與第二影像IBR 之解析度保持一致，且第一影像IAL與第二影像ICR之解析度保持一致。
請參照第4B圖，其示例說明根據另一實施例之第一影像IAL、第二影像IBR、第二影像ICR的組合。在第4B圖之實施例中，兩張第一影像IAL水平排列，第二影像IBR與第二影像ICR水平排列，而獲得合成影像C0。也就是說，第一影像IAL與第二影像IBR垂直排列；第一影像IAL與第二影像ICR垂直排列。此種排列方式，亦為可以實現之方式之一。
請參照第4C圖，其示例說明根據另一實施例之第一影像IAL1、第一影像IAL2、第二影像IBR、第二影像ICR的組合。在另一實施例中，兩張第一影像IAL1與第一影像IAL2可以是同一原始影像IA透過兩個不同校正參數之校正後，所產生的兩個不同第一影像IAL1與第一影像IAL2。或者，第一影像IAL1與第一影像IAL2可以是同一原始影像IA透過兩個不同處理程序(例如是不同色彩、亮度、或格式)之處理後，所產生的兩個不同第一影像IAL1與第一影像IAL2。
請參照第4D圖，其示例說明根據另一實施例之第一影像IAL’、第一影像IAL、第二影像IBR’、第二影像ICR的組合。在第4D圖之實施例中，第一影像IAL’與第一影像IAL之解析度不同(第一影像IAL’之解析度小於第一影像IAL之解析度)，第二影像IBR’與第二影像ICR之解析度不同(第二影像IBR’之解析度小於第二影像ICR之解析度)。在第4D圖中，第一影像IAL’與第一影像IAL可以是同一原始影像IA透過不同解析調整程序後，所產生的兩個不同第一影像IAL’與第一影像IAL。 或者，第一影像IAL’可以是原始影像IA透過解析調整程序後，所產生的第一影像IAL’，第一影像IAL則維持與原始影像IA相同的解析度。在第4D圖中，斜線網底表示無內容資料DK。組合單元120將第一影像IAL’、第一影像IAL、第二影像IBR’、第二影像ICR及無內容資料DK進行組合，以獲得合成影像C0。
請參照第4E圖，其示例說明根據另一實施例之第一影像IAL’、第一影像IAL、第二影像IBR’、第二影像ICR的組合。在第4E圖之實施例中，第一影像IAL’夾置於無內容資料DK之中，第二影像IBR’也夾置於無內容資料DK之中。只要組合單元120能夠提供一旗標，該旗標可以是參數或訊號，讓後續元件知道第一影像IAL’與第二影像IBR’之位置即可，第一影像IAL’與第二影像IBR’之位置並不侷限本發明之範圍。
請參照第4F圖，其示例說明根據另一實施例之第一影像IAL、第一影像IAL’、第二影像IBR、第二影像IBR’的組合。在第4F圖之實施例中，第一影像IAL與第一影像IAL’之解析度不同(第一影像IAL’之解析度小於第一影像IAL之解析度)，第二影像IBR’與第二影像IBR之解析度不同(第二影像IBR’之解析度小於第二影像IBR之解析度)，在第4F圖中，第一影像IAL’與第一影像IAL可以是同一原始影像IA透過不同解析調整程序後，所產生的兩個不同第一影像IAL’與第一影像IAL。或者，第一影像IAL’可以是原始影像IA透過解析調整程序後，所產生的第一影像IAL’，第一影像IAL則維持與原始影像IA相同的解析度。同樣的，第二影像IBR’與第二影像IBR可以是同一原始影像IB透過不同解析調整程序後，所產生的兩個不同第二影像 IBR’與第二影像IBR。或者，第二影像IBR’可以是原始影像IB透過解析調整程序後，所產生的第二影像IBR’，第二影像IBR則維持與原始影像IB相同的解析度。此步驟之第一影像IAL、第一影像IAL’、第二影像IBR、第二影像IBR’可以來自於兩個影像擷取單元110所產生兩個原始影像IA、IB’。
請參照第4G圖，其示例說明根據另一實施例之第一影像IAL、第二影像IBR、第二影像ICR的組合。在第4G圖中，第一影像IAL、第二影像IBR、第一影像IAL、第二影像ICR依序水平排列。此種排列方式用於採用水平掃描運算的深度產生單元130。
接著，在步驟S130中，將合成影像C0輸入至同一深度產生單元130。
然後，在步驟S140中，以深度產生單元130運算合成影像C0，以獲得運算結果D0。舉例來說，請參照第5A圖，其繪示輸入第4A圖之合成影像C0的運算結果D0。在第4A圖之合成影像C0中，兩張第一影像IAL垂直排列，第二影像IBR與第二影像ICR垂直排列，故在深度產生單元130輸出之運算結果D0中，深度資訊D1與深度資訊D2也會垂直排列。
請參照第5B圖，其繪示輸入第4B圖之合成影像C0的運算結果D0。在第4B圖之合成影像C0中，兩張第一影像IAL水平排列，第二影像IBR與第二影像ICR水平排列，故在深度產生單元130輸出之運算結果D0中，深度資訊D1與深度資訊D2也會水平排列。
請參照第5C圖，其繪示輸入第4C圖之合成影像C0的運算結果D0。在第4C圖之合成影像C0中，第一影像IAL1與第一影像IAL2垂直排列，第二影像IBR與第二影像ICR垂直排列，故在深度產生單元130輸出之運算結果D0中，深度資訊D1與深度資訊D2也會垂直排列。
請參照第5D圖，其繪示輸入第4D圖之合成影像C0的運算結果D0。在第4D圖之合成影像C0中，第一影像IAL’之解析度小於第一影像IAL之解析度，第二影像IBR’之解析度小於第二影像ICR之解析度，故在深度產生單元130輸出之運算結果D0中，深度資訊D1之解析度也會小於深度資訊D2之解析度。
請參照第5E圖，其繪示輸入第4E圖之合成影像C0的運算結果D0。在第4E圖之合成影像C0中，第一影像IAL’夾置於無內容資料DK之中，第二影像IBR’也夾置於無內容資料DK之中，故在深度產生單元130輸出之運算結果D0中，深度資訊D1也會夾置於無內容資料DK之中。
請參照第5F圖，其繪示輸入第4F圖之合成影像C0的運算結果D0。在第4F圖之合成影像C0中，第一影像IAL’之解析度小於第一影像IAL之解析度，第二影像IBR’之解析度小於第二影像ICR之解析度，故在深度產生單元130輸出之運算結果D0中，深度資訊D2之解析度也會小於深度資訊D1之解析度。
請參照第5G圖，其繪示輸入第4G圖之合成影像C0的運算結果D0。在第4G圖之合成影像C0中，第一影像IAL、第 二影像IBR、第一影像IAL與第二影像ICR依序水平排列，故在深度產生單元130輸出之運算結果D0中，深度資訊D1與深度資訊D2也會水平排列。
然後，在步驟S150中，拆解單元140對運算結果D0進行拆解，以獲得深度資訊D1、深度資訊D2。拆解單元140可以依據旗標(參數或訊號)得知深度資訊D1、深度資訊D2的位置與範圍，以將深度資訊D1、深度資訊D2拆解出來。或者，拆解單元140可以利用影像處理技術辨識出邊界，並依據邊界拆解出深度資訊D1、深度資訊D2。
此外，深度產生單元130也可以採用分時多工之方式進行運算，而無須組合單元120與拆解單元140。舉例來說，當第一影像IAL、第二影像IBR、第二影像ICR輸入至深度產生單元130時，可以插入旗標(參數或同步訊號)，讓深度產生單元130直接當作兩張影像來分別處理，而直接輸出兩個深度資訊D1、深度資訊D2，無須進行組合與拆解。
不論是否採用分時多工，原始影像IA、IB、IC都是同步取得。最後所獲得的深度資訊D1、深度資訊D2仍然是對應於該時間點，而各影像時間落差很小，相當適用於快速移動的物體。
要強調的是，在上述實施例中影像擷取模組包括數個影像擷取單元110、一轉換單元111及一組合單元120，但在本發明的其它實施中，影像擷取模組中的轉換單元可以與組合單元 合併，在本發明另一實施中，影像擷取模組中的數個影像擷取單元、轉換單元及組合單元也可以合併。
根據上述實施例，多深度資訊可以透過同一深度產生單元130來產生，無需額外增加成本。採用同一深度產生單元130也讓硬體設計擁有更多的彈性空間。
綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
130:深度產生單元
C0:合成影像
D0:運算結果
D1,D2:深度資訊
IAL:第一影像
IBR,ICR:第二影像

Claims (22)

  1. 一種多深度資訊之處理方法，包括：獲得複數第一影像與複數第二影像；將上述第一影像與上述第二影像組合後輸入至一深度產生單元；以及以該深度產生單元運算上述第一影像及上述第二影像，以獲得對應上述第一影像與上述第二影像的複數深度資訊。
  2. 如請求項1所述之多深度資訊之處理方法，其中更包括下列步驟：同步擷取獲得複數原始影像；以及依據上述原始影像，獲得上述第一影像與上述第二影像。
  3. 如請求項1所述之多深度資訊之處理方法，其中該複數第一影像之數量為二，上述第二影像之數量為二，上述原始影像由二或三個影像擷取單元擷取。
  4. 如請求項1所述之多深度資訊之處理方法，其中上述第一影像之解析度不同，上述第二影像之解析度不同。
  5. 如請求項1所述之多深度資訊之處理方法，更包括：組合上述第一影像及上述第二影像成為一組合後的影像； 其中該深度產生單元依據該組合後的影像，獲得對應上述第一影像與上述第二影像的複數深度資訊。
  6. 如請求項5所述之多深度資訊之處理方法，其中上述第一影像垂直排列，上述第二影像垂直排列。
  7. 如請求項5所述之多深度資訊之處理方法，其中上述第一影像水平排列，上述第二影像水平排列。
  8. 如請求項1所述之多深度資訊之處理方法，其中該深度產生單元以分時多工之方式運算各該第一影像及各該第二影像，以獲得各該深度資訊。
  9. 如請求項1所述之多深度資訊之處理方法，其中上述第一影像之數量係為三個以上，上述第二影像之數量係為三個以上。
  10. 如請求項1所述之多深度資訊之處理方法，其中上述第一影像之數量相同於上述第二影像之數量。
  11. 一種多深度資訊之處理系統，包括：一影像擷取模組，用以獲得複數第一影像與複數第二影像；以及 一深度產生單元，用以接收組合後之上述第一影像與上述第二影像，並運算上述第一影像及上述第二影像，以獲得對應上述第一影像與上述二影像的複數深度資訊。
  12. 如請求項11所述之多深度資訊之處理系統，其中上述影像擷取模組包括：複數影像擷取單元，用以同時擷取複數原始影像；以及複數轉換單元，用以依據上述原始影像，獲得上述第一影像與上述第二影像。
  13. 如請求項12所述之多深度資訊之處理系統，其中上述第一影像之數量為二，上述第二影像之數量為二，上述影像擷取單元擷取之數量係為二或三。
  14. 如請求項11所述之多深度資訊之處理系統，其中上述第一影像之解析度不同，上述第二影像之解析度不同。
  15. 如請求項11所述之多深度資訊之處理系統，更包括：一組合單元，用以組合上述第一影像及上述第二影像；其中上述深度產生單元依據該組合後的影像，獲得對應上述第一影像與上述第二影像的複數深度資訊。
  16. 如請求項15所述之多深度資訊之處理系統，其中該組合單元將上述第一影像垂直排列，並將上述第二影像垂直排列。
  17. 如請求項15所述之多深度資訊之處理系統，其中該組合單元將上述第一影像水平排列，並將上述第二影像水平排列。
  18. 如請求項11所述之多深度資訊之處理系統，其中該深度產生單元以分時多工之方式運算各該第一影像及各該第二影像，以獲得各該深度資訊。
  19. 如請求項11所述之多深度資訊之處理系統，其中上述第一影像之數量係為三個以上，上述第二影像之數量係為三個以上。
  20. 如請求項11所述之多深度資訊之處理系統，其中上述第一影像之數量相同於上述第二影像之數量。
  21. 一種多深度資訊之處理方法，包括：獲得複數第一影像與複數第二影像，上述第一影像之解析度不同；將上述第一影像與上述第二影像輸入至一深度產生單元；以及 以該深度產生單元運算上述第一影像及上述第二影像，以獲得對應上述第一影像與上述第二影像的複數深度資訊。
  22. 一種多深度資訊之處理系統，包括：一影像擷取模組，用以獲得複數第一影像與複數第二影像，上述第一影像之解析度不同；以及一深度產生單元，用以接收上述第一影像與上述第二影像，並運算上述第一影像及上述第二影像，以獲得對應上述第一影像與上述二影像的複數深度資訊。
TW110113704A 2020-04-16 2021-04-16 多深度資訊之處理方法與處理系統 TWI784482B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063011246P 2020-04-16 2020-04-16
US63/011,246 2020-04-16

Publications (2)

Publication Number Publication Date
TW202141974A TW202141974A (zh) 2021-11-01
TWI784482B true TWI784482B (zh) 2022-11-21

Family

ID=78080991

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110113724A TWI804850B (zh) 2020-04-16 2021-04-16 多深度資訊之融合方法與融合系統
TW110113704A TWI784482B (zh) 2020-04-16 2021-04-16 多深度資訊之處理方法與處理系統

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW110113724A TWI804850B (zh) 2020-04-16 2021-04-16 多深度資訊之融合方法與融合系統

Country Status (3)

Country Link
US (2) US11889044B2 (zh)
CN (2) CN113537276A (zh)
TW (2) TWI804850B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
US20170109940A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Systems and methods for producing an image visualization
US20200051265A1 (en) * 2018-08-08 2020-02-13 Samsung Electronics Co., Ltd. Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US20070298867A1 (en) * 2006-06-09 2007-12-27 American Alpha, Inc. Games rewarding systems
JP5387377B2 (ja) * 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101759252B1 (ko) * 2011-01-21 2017-07-19 삼성전자주식회사 액티브 셔터를 이용한 3차원 홀로그래피 영상 표시 장치
US8654181B2 (en) * 2011-03-28 2014-02-18 Avid Technology, Inc. Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
CN102695070B (zh) * 2012-06-12 2014-06-04 浙江大学 一种立体图像的深度一致性融合处理方法
CN102750731B (zh) * 2012-07-05 2016-03-23 北京大学 基于左右单眼感受野和双目融合的立体视觉显著计算方法
US9269140B2 (en) * 2012-12-10 2016-02-23 The Cleveland Clinic Foundation Image fusion with automated compensation for brain deformation
KR20140145470A (ko) * 2013-06-13 2014-12-23 엘지전자 주식회사 3차원 영상 처리 장치 및 방법
JP6173156B2 (ja) * 2013-10-02 2017-08-02 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
US9508173B2 (en) * 2013-10-30 2016-11-29 Morpho, Inc. Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium
US9087405B2 (en) * 2013-12-16 2015-07-21 Google Inc. Depth map generation using bokeh detection
KR102180068B1 (ko) * 2013-12-30 2020-11-17 엘지디스플레이 주식회사 해상도 스케일링 기능을 갖는 멀티뷰 이미지 생성 방법 및 장치
TWI519884B (zh) * 2014-01-23 2016-02-01 鈺創科技股份有限公司 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
CN103945204B (zh) * 2014-04-01 2016-03-23 青岛海信电器股份有限公司 一种图像信号处理方法及装置
US20150381965A1 (en) * 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
DE102014115310A1 (de) * 2014-10-21 2016-04-21 Infineon Technologies Ag Bilderzeugungsvorrichtungen und ein Laufzeit-Bilderzeugungsverfahren
JP2017184007A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
WO2018085797A1 (en) * 2016-11-04 2018-05-11 Aquifi, Inc. System and method for portable active 3d scanning
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene
EP3669542B1 (en) * 2017-08-15 2023-10-11 Dolby Laboratories Licensing Corporation Bit-depth efficient image processing
CN110895822B (zh) * 2018-09-13 2023-09-01 虹软科技股份有限公司 深度数据处理系统的操作方法
US11409986B2 (en) * 2018-11-15 2022-08-09 Intel Corporation Trainable vision scaler
CN109525786B (zh) * 2018-12-26 2021-04-30 北京旷视科技有限公司 视频处理方法、装置、终端设备及存储介质
CN113776503B (zh) * 2018-12-29 2024-04-12 深圳市道通智能航空技术股份有限公司 一种深度图处理方法、装置和无人机
CN109741388B (zh) * 2019-01-29 2020-02-28 北京字节跳动网络技术有限公司 用于生成双目深度估计模型的方法和装置
CN110135309B (zh) * 2019-05-02 2021-09-10 西安电子科技大学 基于深度共享表示的sar图像变化检测方法
US11430134B2 (en) * 2019-09-03 2022-08-30 Nvidia Corporation Hardware-based optical flow acceleration
US11423510B2 (en) * 2019-10-28 2022-08-23 Samsung Electronics Co., Ltd System and method for providing dolly zoom view synthesis
US11030478B1 (en) * 2019-11-27 2021-06-08 Compound Eye, Inc. System and method for correspondence map determination
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN114494087A (zh) * 2020-11-12 2022-05-13 安霸国际有限合伙企业 无监督的多尺度视差/光流融合

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
US20170109940A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Systems and methods for producing an image visualization
US20200051265A1 (en) * 2018-08-08 2020-02-13 Samsung Electronics Co., Ltd. Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device

Also Published As

Publication number Publication date
US20210329212A1 (en) 2021-10-21
US20210329213A1 (en) 2021-10-21
US11889044B2 (en) 2024-01-30
CN113542712A (zh) 2021-10-22
TWI804850B (zh) 2023-06-11
US11943418B2 (en) 2024-03-26
CN113537276A (zh) 2021-10-22
TW202141123A (zh) 2021-11-01
TW202141974A (zh) 2021-11-01

Similar Documents

Publication Publication Date Title
CN104978929A (zh) Led显示装置逐点校正方法、校正用系统架构和控制器
US11403742B2 (en) Image processing device, image processing method, and recording medium for generating bird's eye synthetic image
KR20190063671A (ko) 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치
CN110415223B (zh) 一种无参考的拼接图像质量评价方法及系统
KR20190044925A (ko) 실화상과 열화상을 이용한 영상 생성 방법 및 그 장치
CN110930932B (zh) 显示屏校正方法及系统
TWI784482B (zh) 多深度資訊之處理方法與處理系統
US11051376B2 (en) Lighting method and system to improve the perspective colour perception of an image observed by a user
EP3941040A1 (en) Mapping method for fulldome display
WO2009090727A1 (ja) 表示装置
JP2015076023A (ja) 画像処理装置、立体データ生成方法、及びプログラム
KR101819984B1 (ko) 실시간 영상 합성 방법
CN109218631A (zh) 影像感测装置及影像感测方法
CN101729884B (zh) 影像撷取装置与影像前处理方法
KR20090004265A (ko) 실시간 입체 콘텐츠 제공시스템 및 제공방법
TWI685242B (zh) 多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置
CN113676722A (zh) 一种视频设备图像帧测试方法及延时测量方法
JP2012150614A (ja) 自由視点画像生成装置
JP2003189262A (ja) ３次元ｙ／ｃ櫛形フィルターおよびインターレース・プログレッシブ変換器を単チップ集積する方法およびそのシステム
EP1542471A4 (en) IMAGE PROCESSING DEVICE, METHOD, INFORMATION PROCESSING DEVICE, METHOD, RECORDING MEDIUM AND PROGRAM
KR20190140237A (ko) 스테레오 영상 생성 방법 및 장치
JP7301893B2 (ja) 可視画像と熱画像のデータ処理装置及び処理方法
JP2018139387A (ja) 画像処理装置、その制御方法、画像処理装置を備える表示装置、プログラム、および記憶媒体
JP2017216634A (ja) 映像合成装置、映像合成方法、及びプログラム
TWI556622B (zh) 快速產生照相機的距離對視差關係表的系統及其相關方法