TW201730841A - 圖像資料處理系統和相關方法以及相關圖像融合方法 - Google Patents
圖像資料處理系統和相關方法以及相關圖像融合方法 Download PDFInfo
- Publication number
- TW201730841A TW201730841A TW106105221A TW106105221A TW201730841A TW 201730841 A TW201730841 A TW 201730841A TW 106105221 A TW106105221 A TW 106105221A TW 106105221 A TW106105221 A TW 106105221A TW 201730841 A TW201730841 A TW 201730841A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- images
- processing system
- data processing
- source
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000002156 mixing Methods 0.000 title abstract description 10
- 230000004927 fusion Effects 0.000 claims description 30
- 239000000872 buffer Substances 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 4
- 239000011540 sensing material Substances 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims 1
- 239000000463 material Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 11
- 238000007499 fusion processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000012536 storage buffer Substances 0.000 description 2
- 235000012431 wafers Nutrition 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 208000023060 memory loss Diseases 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一種圖像資料處理系統和用於處理圖像之相關方法以及圖像融合之方法。在圖像資料處理系統中處理全景圖像之方法包含如下步驟：自至少一個圖像輸入介面接收複數個源圖像，其中複數個源圖像至少包含複數個重疊部分；接收流覽視點和視角資訊；基於流覽視點和視角資訊，確定複數個源圖像的複數個已裁剪圖像；基於複數個源圖像的複數個已裁剪圖像，產生用於觀看或預覽的透視圖像或全景圖像。本發明之圖像資料處理系統和用於處理圖像之相關方法以及圖像融合的方法，可降低消耗的功率。
Description
本發明所揭露之實施例有關於影像處理，尤指有關於處理全景圖像(panorama images)及其圖像融合(image blending)的圖像資料處理系統以及相關方法。
隨著電腦技術之發展，全景圖像之應用越來越普及。全景圖像為具有特別的大視野(field-of-view,FOV)、誇張的尺寸比(aspect ratio)、或其組合之圖像。在全景圖像中，不犧牲解析度的情況下，複數個圖像可被組合或拼接(stitch)在一起以增加視野。全景圖像有時也被稱為“全景”，它能提供360度的場景圖。然而，拼接圖像涉及大量的技術和影像處理。
近來，電子裝置，例如行動或手持裝置，在技術上變得越來越先進和多功能。舉例來說，行動裝置可接受電子郵件消息，具有先進的通訊錄管理應用，允許媒體播放，以及具有各種其他功能。由於具有多功能之電子裝置使用方便，這
些電子裝置成為生活之必需品。
由於使用者需求和行為之改變，全景圖像之應用已成為手持裝置的必需品。社會網路伺服器可執行圖像拼接以產生360度全景圖像，並在用戶端提供有觀看者流覽或預覽的全景圖像。目前，當在用戶端的觀看者請求自伺服器流覽或預覽360度全景圖像時，整個360度全景圖像可自伺服器傳送至用戶端，然後用戶端裝置可獲得360度全景圖像之對應部分以基於本地觀看者的視點和視角來顯示。
然而，由於整個360度全景圖像將被傳送，以及360度全景圖像的解析度比4K更高，需要大量的傳送帶寬以及本機系統(local system)需要更強的計算能力以處理360度全景圖像，由此消耗更大的功率。
相應地，需要處理全景圖像的智慧圖像資料處理系統及相關方法來解決上述技術問題。
依據本發明之示範性實施例，提出一種圖像資料處理系統和用於處理圖像之相關方法以及圖像融合之方法。
依據本發明之一實施例，提出一種在一圖像資料處理系統中之一影像處理方法。該方法包含：接收複數個源圖像，其中該複數個源圖像至少包含複數個重疊部分；接收流覽視點和視角資訊；基於該流覽視點和該視角資訊，確定該複數個源圖像的複數個已裁剪圖像(cropped images)；基於該複數個源圖像的該複數個已裁剪圖像，產生用於觀看或預覽的透視圖像或全景圖像。
依據本發明之另一實施例，提出一種在圖像資料處理系統中融合第一圖像和第二圖像以產生融合圖像之方法。該方法包含：基於該第一圖像和該第二圖像對應的內容，確定該第一圖像和該第二圖像之間的縫合線(seam)；計算該縫合線和該第一圖像和該第二圖像的至少一圖元之間的距離，以產生距離圖；以及依據該距離圖，融合該第一圖像和該第二圖像，以產生已融合的圖像。
依據本發明之又一實施例，提出一種圖像資料處理系統。該圖像資料處理系統包含：至少一圖像輸入介面，被配置為接收複數個源圖像，其中該複數個源圖像至少包含複數個重疊部分；處理器，耦接於該至少一圖像輸入介面，被配置為自該至少一圖像輸入介面接收該複數個源圖像；接收流覽視點和視角資訊；基於該流覽視點和該視角資訊，確定該複數個源圖像的複數個已裁剪圖像；以及基於該複數個源圖像的該複數個已裁剪圖像，產生用於觀看或預覽的透視圖像或全景圖像。
依據本發明之又一實施例，提出一種在圖像資料處理系統和耦接於該圖像資料處理系統的雲伺服器之間執行處理圖像之方法。其中，該雲伺服器儲存複數個源圖像。該方法包含：在該雲伺服器端，自該圖像資料處理系統接收流覽視點和視角資訊；在該雲伺服器端，基於該流覽視點和該視角資訊，確定該複數個源圖像的複數個已裁剪圖像；以及在該雲伺服器端，傳輸該複數個源圖像的該複數個已裁剪圖像至該圖像資料處理系統；以使得依據自該雲伺服器接收該複數個已裁剪
圖像，該圖像資料處理系統基於該複數個源圖像的該複數個已裁剪圖像，產生用於觀看或預覽的透視圖像或全景圖像。
本發明之圖像資料處理系統和用於處理圖像之相關方法以及圖像融合的方法，可降低消耗的功率。
100‧‧‧圖像資料處理系統
110‧‧‧處理器
120‧‧‧介面
130‧‧‧圖形處理單元
140‧‧‧儲存單元
150‧‧‧顯示器
160‧‧‧圖像輸入介面
170‧‧‧感測器或檢測器
S202、S204、S206、S208、S210、S212、S302、S304、S306、S1002、S1004、S1006‧‧‧步驟
f1‧‧‧第一魚眼圖像
f2‧‧‧第二魚眼圖像
f3、f4‧‧‧源圖像
400、c1、c2‧‧‧已裁剪圖像
510、520、P1‧‧‧全景圖像
610、620‧‧‧投影平面
630‧‧‧已旋轉的圖像
700、S1‧‧‧縫合線
710‧‧‧距離圖
810‧‧‧路徑
第1圖為依據本發明實施例之圖像資料處理系統的示意圖。
第2圖為依據本發明實施例之全景圖像的處理方法的流程圖，其中該全景圖像由複數個源圖像形成。
第3圖為依據本發明另一實施例之融合兩個圖像的方法的流程圖。
第4圖為依據本發明實施例之與使用者透視視點和視角一致的源圖像、源圖像的全景圖像和裁剪區域。
第5A圖為依據本發明實施例之地理座標旋轉和感測器旋轉的結果的示意圖。
第5B圖為在地理座標旋轉中使用的投影平面的示意圖。
第5C圖為依據本發明實施例之在感測器中使用的投影平面的示意圖。
第6圖為依據本發明實施例之旋轉操作的示意圖。
第7A圖為依據本發明實施例之圖像融合處理的示意圖。
第7B圖為依據本發明實施例之在距離圖中基於距離資訊確定阿爾法(alpha)值的表格。
第8圖為依據本發明實施例之用於產生全景圖像的融合遮
罩(blend mask)的示意圖。
第9圖為依據本發明實施例之利用雲伺服器提供視訊上傳或播放的圖像資料處理系統的示意圖。
第10圖為依據本發明另一實施例之在圖像資料處理系統和雲伺服器之間處理全景圖像的方法的流程圖。
第11圖為依據本發明實施例之球面投影處理的映射表的示意圖。
第12圖為依據本發明實施例之圖像融合處理的儲存緩衝區重利用的示意圖。
以下描述僅用於說明本發明之基本原理，為不能限制本發明。申請專利範圍應以後附之申請專利範圍為准。
第1圖為依據本發明實施例之圖像資料處理系統的示意圖。圖像資料處理系統100可以為行動裝置(例如，平板電腦、行動電話，或穿戴式計算設備)、能夠處理圖像或資料的膝上型计算机、或者圖像資料處理系統100可以由複數個設備來提供。圖像資料處理系統100也可由複數個晶片或單晶片來實現，例如，片上系統或在行動設備中放置的行動處理器。舉例來說，圖像資料處理系統100包含處理器110、介面(interface)120、圖形處理單元(graphics processing unit,GPU)130、儲存單元140、顯示器150，至少一個圖像輸入介面160、以及複數個感測器或檢測器170中的至少一個。處理器110、影像處理單元130、儲存單元140、顯示器150、至少一個圖像輸入介面160、以及複數個感測器或檢測器170可透過介面
120而彼此耦接。處理器110可為中央處理單元(central processing unit,CPU)、通用處理器、數位訊號處理器、或任意等效電路，但是本發明並非限於此。舉例來說，儲存單元140可以包含揮發性記憶體(volatile memory)141、以及非揮發性記憶體142。揮發性記憶體141可為動態隨機存取記憶體、或靜態隨機存取記憶體，以及非揮發性記憶體142可為快閃記憶體、硬碟、固態硬碟等。舉例來說，在圖像資料處理系統100上使用的應用的程式碼可預先儲存於非揮發性記憶體142中。處理器110可自非揮發性記憶體142下載程式至揮發性記憶體141，並執行應用的程式碼。處理器110也可傳輸圖形資料至影像處理單元130，以及影像處理單元130可確定將呈現在顯示器150上的圖形資料。需要注意的是，揮發性記憶體141以及非揮發性記憶體142可描述為儲存單元，並且可分別作為不同的儲存單元。顯示器150可為顯示電路或被耦接以用於控制顯示裝置(圖未示)的硬體。顯示裝置可包含驅動電路、顯示面板中的一個或組合，以及顯示裝置可置於圖像資料處理系統100中或之外。
圖像輸入介面接收源圖像，例如圖像資料或視訊資料。在一個實施例中，圖像輸入介面160可具有圖像擷取裝置以用於擷取源圖像。圖像擷取裝置可包含圖像感測器，該圖像感測器可為單一感測器，或包含複數個獨立的或分開的感測單元的感測陣列。舉例來說，圖像擷取裝置可為具有魚眼鏡頭(fisheye lens)的複數個攝像頭。在其他實施例中，圖像輸入介面160可自外部圖像擷取裝置接收源圖像。
圖像輸入介面160可獲得源圖像(例如，魚眼圖像)以及在記錄期間提供源圖像至處理器110。處理器110可進一步包含編碼器(圖未示)以獲得源圖像並編碼該源圖像以在與當前視訊標準(例如標準H.264(MPEG-4 AVC)或標準H.265)相容的任何合適的媒體格式中產生已編碼的圖像，例如，已編碼的視訊位元流。舉例來說，編碼器可以為標準圖像/視訊轉碼器或具有預扭曲(pre-warping)功能的圖像/視訊轉碼器，但是本發明並非以此為限。當編碼器為具有預扭曲功能的圖像/視訊轉碼器時，編碼器可進一步在編碼期間對已編碼的視訊位元流執行重新映射(remapping)或扭曲操作，以移除原始源圖像或視訊資料中的失真。處理器110可進一步包含解碼器(圖未示)以解碼已編碼的視訊位元流，以利用由已編碼的視訊位元流使用的視訊標準(例如，標準H.264(MPEG-4 AVC)或標準H.265)相容的合適的媒體格式而獲得源圖像。
感測器或檢測器170可提供感測資料以提供對應於圖像資料處理系統100的運動的方向資訊。具體來說，感測器或檢測器170可測量/提供圖像資料系統100的方向資訊(例如，傾斜角)並提供已測量的方向資訊至處理器110。感測器或檢測器170可包含但不限於，一個或複數個陀螺儀、加速度感測器、重力感測器、方位感測器(例如，電子指南針(E-compass))、GPS等。舉例來說，感測器或檢測器170可利用加速度感測器或重力感測器來測量相對於地的傾斜角，或利用方位感測器來測量圖像資料處理系統100的方位角。當圖像或視訊被記錄時，與感測器或檢測器170相關的感測資料可被
記錄/收集。這些資料可包含關於裝置的運動資訊(該資訊來自裝置的加速度器)及/或基於裝置的陀螺儀得到裝置的旋轉資訊。在一些實施例中，儘管圖未示，圖像資料處理系統100可包含其他功能單元，例如鍵盤、滑鼠、觸控板、或通訊單元(例如，乙太網卡或晶片組)、無線網卡或晶片組、基帶晶片組以及射頻晶片組以用於蜂窩通訊。
處理器110可執行本發明提供之用於處理全景圖像之方法以及圖像融合之方法，這將在下文中進一步描述。
第2圖為依據本發明實施例之全景圖像的處理方法的流程圖，其中該全景圖像由複數個源圖像形成。舉例來說，該方法由第1圖中的圖像資料處理系統100來執行。第1圖的圖像資料處理系統100用於解釋流程圖，但本發明並非僅應用於圖像資料處理系統100。
在步驟S202中，當用戶請求預覽或流覽全景圖像時，全景圖像的複數個源圖像、感測器資料以及流覽視點和視角資訊被得到。具體來說，源圖像可透過圖像輸入介面160而被接收，以及用於流覽使用者提供的全景圖像的流覽視點和視角資訊可透過處理器110而獲得，感測資料可由感測器或檢測器170獲得；以及步驟S202可由諸如第1圖中的處理器110來執行。視角資訊(viewing angle information)可基於圖像擷取裝置的視野而被確定。代表觀看區域的輸入感測位置和完整圖像的一部分可被獲得。感測位置代表初始顯示圖像的一部分，其中位置資訊可來自使用者定義或預定義的觸摸訊號，該觸摸訊號來自感測器或檢測器170，例如，陀螺儀感測器、重力感測
器或其他感測器。
原始圖像可至少包含重疊或非重疊部分。基於重疊部分，源圖像可被結合至完整的全景圖像中。全景圖像代表源圖像的結合。存在有各種方法來構造具有全景視圖的全景圖像。舉例來說，一種方式是結合來自具有魚眼鏡頭的兩個攝像頭的投影。每一個魚眼攝像頭會擷取一半全景圖像，以及兩個魚眼攝像頭能提供完整的全景圖像。在一些實施例中，結合可以是逐面(side-by-side)或頂部至底部的結合，而不需要任何處理。在其他方式中，結合可以是經過處理的藝術級(state-of-the-art)球面或立方體格式。舉例來說，源圖像可以為兩個魚眼圖像，以及兩個魚眼圖像可以透過逐面結合、或藝術級球面或立方體格式來融合以形成全景圖像或檔案。全景圖像或檔案可被儲存於本地儲存器(例如，非揮發性記憶體142)中，或被儲存於雲端或網路中。在其他一些實施例中，多於兩個的攝像頭可用於擷取源圖像以基於重疊部分而結合至完整的全景圖像中。
在獲得源圖像之後，流覽視點和視角資訊以及感測資料被得到。在步驟S204中，自源圖像的至少一個已裁剪區域被確定，以及基於視點和視角資訊以及感測資料，對應於已裁剪區域的源圖像的一部分被扭曲和旋轉以產生至少一個已裁剪圖像。舉例來說，步驟S204可由第1圖中的處理器110來執行。具體來說，處理器110可確定一個或複數個已裁剪區域，該已裁剪區域對應於自源圖像的使用者透視視點(user perspective viewpoint)和視角，以及使用對應於已裁剪區域的
源圖像的一部分來產生一個或複數個已裁剪圖像。
第4圖為依據本發明實施例之與使用者透視視點和視角一致的源圖像、源圖像的全景圖像和裁剪區域。在此實施例中，源圖像為第一魚眼圖像f1和第二魚眼圖像f2，以及第一魚眼圖像f1和第二魚眼圖像f2可被結合以形成360x180度全景圖像P1以及第一魚眼圖像f1和第二魚眼圖像f2被認為是在全景圖像P1的垂直方向重疊。因此，在全景圖像P1中存在僅屬於第一魚眼圖像f1的區域，以及在全景圖像P1中存在僅屬於第二魚眼圖像f2的區域。此外，在全景圖像P1中存在一個重疊區域，在這個重疊區域中圖元選自第一魚眼圖像f1和第二魚眼圖像f2、或者其組合或其計算結果。代表觀看區域的感測位置以及完整的全景圖像的一部分可基於使用者的視點和視角而確定。如第4圖所示，自第一魚眼圖像f1的已裁剪圖像c1和自第二魚眼圖像f2的已裁剪圖像c2為與使用者視點和視角一致的已裁剪圖像400，其中縫合線S1可存在於已裁剪圖像400中的已裁剪圖像c1和已裁剪圖像c2之間。為了描述方便，在上述實施例中，魚眼圖像的個數為2。所屬領域具有通常知識者可知，不同數目之魚眼圖像可用於產生全景圖像。
為產生已裁剪圖像(例如，第4圖的已裁剪圖像400)，利用球面投影，圖像的已選擇部分被傳輸或被映射至球面圖像；然後，球面圖像基於感測資料而被旋轉。具體來說，處理器110可同時執行旋轉或扭曲操作以獲得球面圖像。在一些實施例中，處理器110可執行旋轉和扭曲操作以獲得球面圖像，具體包含基於流覽視點和視角資訊，傳輸源圖像的已裁剪
圖像至球面圖像，基於由圖像資料處理系統100的感測器和檢測器170收集的視角資訊和感測資料，扭曲和旋轉球面圖像以產生已旋轉的圖像。
旋轉操作可包含跟隨感測器旋轉的地理座標旋轉。基於視點和視角資訊，地理座標旋轉轉換源圖像為球面圖像。在地理座標旋轉中，已知的經度和緯度(Φ,θ)為視點資訊，地理座標旋轉的旋轉矩陣Rgeographical如下所示：Rgeographical=Rz(Φ)* Ry(θ)；感測器旋轉轉換投影平面，以將其旋轉至需要的方向，並透過旋轉的投影平面計算感興趣區域。在感測器旋轉中，已知(α,β,γ)表示俯仰角(pitch)、偏航角(roll)、翻滾角(yaw)，表示感測器旋轉的旋轉矩陣Rsensor如下所示：Rsensor=Rz(γ)* Ry(β)* Rx(α)；以及最終旋轉矩陣R如下所示：R=Rsensor * Rgeographical。
然後，利用源圖像In，透過如下公式可以得到已旋轉的圖像Out：Out=R * In，其中，
在一些實施例中，基於感測資料旋轉球面圖像的步驟進一步包含基於視角資訊確定投影平面，基於感測資料旋轉投影平面，以及利用已旋轉的投影平面旋轉球面圖像來產生已旋轉的圖像。
第5A圖為依據本發明實施例之地理座標旋轉和感測器旋轉的結果的示意圖。第5B圖為在地理座標旋轉中使用的投影平面的示意圖。第5C圖為依據本發明實施例之在感測器中使用的投影平面的示意圖。如第5A圖所示，在利用第5B圖所示的投影平面對兩個源圖像(源圖像f3和源圖像f4)執行地理座標旋轉之後，以及在執行感測器旋轉之前，全景圖像510被產生。由於圖像資料處理系統100的運動，在全景圖像510中存在大量的視覺效果失真(例如，天花板或天空的位置不在全景圖像510的上面以及地板的位置不在圖像圖像510的下面)。在利用第5C圖所示的投影平面對全景圖像510執行感測器旋轉之後，全景圖像520被產生。在全景圖像520中，沒有上述提及的失真，以使得天花板或天空的位置在全景圖像520的上面以及地板的位置在全景圖像520的下面。可選地，合成的全景圖像520可被旋轉至一定角度(例如，逆時針方向180度)，以恢復該圖像至其初始方向。
第6圖為依據本發明實施例之旋轉操作的示意圖。如第6圖所示，基於視角資訊，投影平面610先被確定。在
執行感測器旋轉之後，投影平面610基於感測資料而被旋轉至投影平面620。然後，球面圖像利用已旋轉的投影平面而被旋轉以產生已旋轉的圖像630。
請重新參考第2圖，在至少一個已裁剪圖像被產生之後，在步驟S206中，然後確定至少一個已裁剪圖像是否穿過一個以上的源圖像。舉例來說，步驟S206可透過圖中的處理器110來執行。具體來說，處理器110可基於視點和視角資訊確定是否存在至少一個已裁剪圖像穿過一個以上的源圖像，以及當已裁剪圖像屬於一個以上的源圖像時，圖像融合被執行。
若至少一個已裁剪圖像沒有穿過一個以上的源圖像(步驟S206中結果為“否”)，在步驟S212中，這意味著已裁剪圖像來自於同一源圖像，已裁剪圖像被輸出作為全景圖像來預覽。
若至少一個已裁剪圖像穿過一個以上的源圖像(步驟S206中結果為“是”)，這意味著已裁剪圖像來自不同的源魚眼圖像，在步驟S208中，對已裁剪圖像執行圖像融合以產生透視(perspective)圖像或全景圖像，然後，透視圖像或全景圖像被輸出以用於預覽(步驟S210)。
在一個實施例中，阿爾法融合(alpha blending)被應用於圖像融合過程。在其他實施例中，也可以應用其他已知的融合演算法，例如金字塔融合(pyramid blending)或其他融合演算法，本發明並非以此為限。具體來說，處理器110使用阿爾法融合以融合已裁剪圖像於縫合線邊界處以消除由源圖像的重疊部分引起的、在縫合線周圍的不規則或不連續。
阿爾法值提供自縫合線附近處的圖像對的重疊圖元的融合率(blending ratio)。
在一個實施例中，在最側部分的已融合圖像Iblend由如下公式所確定：Iblend=a Ileft+(1-a)Iright；其中，Ileft和Iright分別為將在Iblend的左側部分和右側部分中將融合的圖像。然而，需要瞭解的是，本發明並非以此為限。舉例來說，在其他實施例中，在右側部分的融合圖像Iblend也可由如下所示的公式來確定：Iblend=a Iright+(1-a)Ileft。
舉例來說，阿爾法值a可透過預定義表而被確定，但本發明並非以此為限。距離值可在預定義表中被量化，以作為融合率的權係數用於圖像對的融合。舉例來說，範圍從0-2的距離值被分配具有相同的阿爾法值0.5，範圍從2-4的距離值被分配具有相同的阿爾法值0.6，等等。
阿爾法值a指示圖像對的融合率。舉例來說，若自特定圖元到結合的距離為2，則阿爾法值為0.5，這意味著在融合圖像中的特定圖元在一對圖像的重疊圖元之間的融合率大約為50%(即，Iblend=0.5* Ileft+0.5* Iright)。
在此實施例中，縫合線可以為任意線形(例如，直線、曲線、或其他線形)。因此，需要距離圖。距離圖在扭曲步驟中被產生，並被應用於圖像融合。
第3圖為依據本發明另一實施例之融合兩個圖像的方法的流程圖。舉例來說，可透過第1圖中之圖像資料處理系統100來執行此方法。
在扭曲步驟中，在兩圖像之間的縫合線基於兩個圖像的內容而先被確定(步驟S302)。具體來說，兩個圖像的每一個圖元對被比較以確定縫合線的位置，其中縫合線被定義為圖像融合時兩個圖像的分界線。
然後，距離圖透過計算自確定的縫合線和兩個圖像的每一個圖元之間的距離而產生(步驟S304)。舉例來說，設置靠近縫合線的圖元的距離值小於遠離縫合線的圖元的距離值。兩個圖像的所有圖元的距離自被計算並儲存於距離圖中。在其他實施例中，兩個圖像的至少一部分圖元、部分圖元、或所有圖元的距離值被計算並儲存於距離圖中。
在距離圖被產生之後，利用距離圖，兩個圖像被融合以產生融合的圖像(步驟S306)。舉例來說，距離圖被使用以確定對兩個圖像使用阿爾法融合的阿爾法值。
第7A圖為依據本發明實施例之圖像融合處理的示意圖。第7B圖為依據本發明實施例之在距離圖中基於距離資訊確定阿爾法(alpha)值的表格。如第7A圖所示，在扭曲步驟期間，兩個圖像之間的縫合線基於兩個圖像的內容而首先被確定。從縫合線700至兩個圖像的每一個圖元的距離被計算以產生距離圖710，距離圖710用灰度級(grayscale level)表示，深色的灰度級表示較小的距離值，淺色的灰度級表示較大的距離值。在距離圖中的距離值可確定範圍從0.5-1.0的阿爾法值，以用於第7B圖所示的表格進行查表操作的阿爾法融合。舉例來說，範圍從0-2的距離值被配置為具有相同的阿爾法值(0.5)，範圍從2-4的距離值被配置為具有相同的阿爾法值(0.6)，等
等。然後，阿爾法融合被利用以在縫合線處融合兩個圖像，以消除在縫合線700處的不規則，而使得縫合線光滑。
在一些實施例中，通常情況下，縫合線不是直的，例如不基於完全水準或完全垂直分塊(segment)而產生的縫合線。這些縫合線被選擇以幫助隱藏縫合線於兩個圖像之間。通常地，人眼會對直的縫合線敏感。透過基於在這兩個圖像之間的重疊區域的圖元間計算得到的圖元差異查找最小成本路徑，兩圖像之間的縫合線的放置可容易地控制。舉例來說，重疊區域的每一個圖元的成本可被計算，以及具有最小成本的路徑可被找到。找到的具有最小成本的路徑為調整的縫合線。然後，調整的縫合線被應用於融合兩個圖像。第8圖為依據本發明實施例之用於產生全景圖像的融合面罩(blend mask)的示意圖。融合面罩顯示路徑810具有最小成本，路徑810可被設置為調整的縫合線並進一步被應用於融合兩個圖像。
在一些實施例中，縫合線也可基於場景而被確定，這將導致動態結果。在一些實施例中，在第一圖像和第二圖像之間的縫合線可依據第一圖像和第二圖像相對於縫合線的差異而動態地被確定。
利用處理全景圖像以從互聯網上傳視訊並播放已上傳的視訊的方法的具體描述請參考第9圖和下文。
第9圖為依據本發明實施例之利用雲伺服器提供視訊上傳或播放的圖像資料處理系統的示意圖。為完成在圖像資料處理系統100和雲伺服器之間的資料傳輸，圖像資料處理系統100和雲伺服器可透過有線網路(例如，互聯網)或無線
網路(例如，WIFI，藍牙等)而相互連接。在此實施例中，雲伺服器可傳送播放資料至圖像資料處理系統100，使得圖像資料處理系統100能夠即時播放資料。圖像資料處理系統100的描述細節可參考關於第1圖的詳細描述，為求簡潔在此省略。換句話說，源圖像可被結合以產生完整的全景圖像。在此實施例中，兩個魚眼圖像(魚眼圖像1和魚眼圖像2)，被輸入並直接結合至預覽圖像中，而不需要任何影像處理，以用於用戶的預覽。然後，預覽圖像被編碼以產生已編碼的圖像資料，例如，已編碼的位元流。已編碼的圖像資料具有與視訊編碼(例如，H.264,MPEG4,HEVC或其他任意視訊標準)相容的任何合適的媒體格式。已編碼的圖像資料被編碼為具有H.264格式，以及該已編碼的圖像資料被添加具有合適的頭資訊，以產生數位容器檔案(digital container file)(例如，MP4格式或其他任意數位媒體容器格式)，然後數位容器檔案被上傳並被儲存於雲伺服器中。數位容器檔案包含自圖像資料處理系統100得到的感測器資料。舉例來說，在一個實施例中，感測器資料可利用使用者資料欄位而被嵌入數位容器檔案中。在圖像流覽期間，使用者視點和視角資訊從圖像資料處理系統100而被傳送至雲伺服器。在從圖像資料處理系統100接收使用者視點和視角資訊之後，雲伺服器從儲存的數位容器檔案檢索感測資料，依據使用者視點和使用者視角資訊自預覽圖像確定已裁剪圖像，並且僅傳輸圖像的已裁剪或已選擇部分至圖像資料處理系統100。依據自雲伺服器得到的已裁剪區域圖像，圖像資料處理系統100應用本方明的方法處理已裁剪圖像，以相應產生全景
圖像並顯示對應的圖像於顯示器上以用於用戶預覽。
第10圖為依據本發明另一實施例之在圖像資料處理系統和雲伺服器之間處理全景圖像的方法的流程圖。在此實施例中，雲伺服器被耦接至圖像資料處理系統(例如，第1圖的圖像資料處理系統)以及雲伺服器儲存完整全景圖像的複數個源圖像。
在步驟S1002中，在圖像資料處理系統處，流覽視點和視角資訊從圖像資料處理系統被傳送至雲伺服器。
在步驟S1004中，在雲伺服器處，雲伺服器基於流覽視點和視角資訊確定源圖像的已裁剪圖像，然後傳送源圖像的已裁剪圖像至圖像資料處理系統。在一個實施例中，每一個源圖像被分割為複數個區域。在此實施例中，已裁剪圖像為自複數個區塊中選擇的一部分區塊，以及雲伺服器可僅傳送源圖像的已選擇區塊至圖像資料處理系統。在一個實施例中，每一個源圖像中的區域可為大小相等的圖塊或區塊。在其他實施例中，每一個圖像疊加層的區域為大小相等的圖像或區塊。
然後，在步驟S1006中，在圖像資料處理系統處，自雲伺服器接收已裁剪圖像，並基於源圖像的已裁剪圖像產生全景圖像以用於預覽。需注意的是，產生的全景圖像為完整的全景圖像的一部分圖像，以及該部分圖像將依據不同的流覽視點和視角資訊而改變。關於每一步的更多的細節請參考與第1圖、2、3相關的實施例，但本發明並非限於此。此外，在不同的實施例中，步驟可按不同的循序執行及/或可被組合或拆分。
在一個實施例中，每一個源圖像可被分解為複數
個圖像區塊，並分別被壓縮以進一步傳輸。舉例來說，源圖像的每一圖框或視訊資料可被分為複數個區域，以及分割的區域為大小相同的圖塊或區塊、或大小不同的圖塊或區塊。每一個源圖像可以同樣的方式被劃分。複數個區塊位於雲伺服器處的相同的資料壓縮格式中，並被傳送和解壓至資料處理系統處。在一個實施例中，源圖像或視訊資料可被分解為32個圖像或視訊區塊，以及在32個圖像或視訊區塊中9個區塊形成已裁剪圖像，僅這9個區塊需要被傳送至網路，因此極大地降低了需要的傳輸頻寬。此外，僅需要應用9個區塊來產生全景圖像，因此，極大地降低了需要的計算資源。
雲伺服器可僅傳送已選擇的一部分源圖像，因此極大地降低了傳輸頻寬。舉例來說，不需要雲伺服器來發送由整個源圖像產生的整個全景圖像。另一方面，圖像資料處理系統100可僅處理輸入圖像的已選擇的部分，因此，節約了圖像資料處理系統100的計算資源和時間。
在其他實施例中，若全景圖像需要共用於社會網路平臺(例如，臉譜網或穀歌)上，則圖像資料處理系統100可進一步應用提供滿足社會網路支援的360度視訊的標準球面格式的通常處理版本的其他方法處理整個圖像，而產生全景圖像，從而透過社會網路平臺支援的360度視訊共用該全景圖像。
在一些實施例中，圖像資料處理系統100可進一步應用本發明揭示的方法來處理已輸入的魚眼圖像來產生預覽圖像以用於使用者預覽。
在一些實施例中，全景圖像或視訊的播放可在解
碼器處運行時執行，或在編碼器處離線執行。術語“解碼器處運行時執行”意味著當視訊播放時，在即時當前影像的全景影像處理；另一術語“離線執行”意味著共用視訊的執行是在視訊記錄完成之後。
在一些實施例中，數個優化方法被提供以用於儲存優化。具體來說，由於行動平臺緩存大小的限制，在記憶體中存取資料的方式需要滿足記憶體位置的原則(memory locality principle)。然而，由於圖像區塊的尺寸和分割形狀是預先定義的，這可能會影響記憶體存取行為。為此，不僅需要降低存取記憶體的頻率，而且需要減小存取記憶體的大小。由於不同的視野可導致圖框暫存器的不同存取範圍，因此會存在較高的快取記憶體丟失率。因此，需要優化儲存。
在一個實施例中，儲存優化可透過依據流覽視點和視角資訊而降低在圖框緩衝器中緩存的源圖像的圖像大小(例如，最終圖像的目標視野(即，用於觀看或預覽的透視圖像或全景圖像))來完成，以及由於目標視野大於預定角度(例如，180度)，在圖框緩衝器中緩存的圖像尺寸可透過下採樣初始源圖像而降低。舉例來說，當預定角度為180度以及目標視野被設置為190度時，初始源圖像可被下採樣以減少將被緩存的圖像尺寸，例如，降低1/2圖像尺寸。相應地，圖框緩衝器需要的儲存空間可被顯著地降低。
在其他實施例中，儲存優化可透過降低在球面投影過程中球面投影的映射表的尺寸、或投影表的尺寸來完成。在此實施例中，映射表的尺寸或投影表的尺寸可透過自較小的
表內插(interpolation)來降低，而不是從具有較大尺寸的原始表存取直接座標(direct coordinates)。具體來說，基於流覽視點和視角資訊傳輸或映射源圖像的已裁剪圖像至球面圖像的步驟，可進一步包含利用具有映射表的球面投影來傳輸或映射源圖像的已裁剪圖像至球面圖像。其中源圖像的已裁剪圖像可包含第一組圖元點和第二組圖元點，以及第一組圖元點的值自映射表而得到，以及第二組圖元點的值透過對用於球面投影過程的第一組圖元點執行內插操作而得到。在其他實施例中，源圖像的已裁剪圖像可僅包含上述提及的第一組圖元點或僅包含上述提及的第二組圖元點。第11圖為依據本發明實施例之球面投影處理的映射表的示意圖。如第11圖所示，已裁剪圖像包含黑色節點和白色節點，每一個節點代表在已裁剪圖像中的圖元點。白色節點(即，第一組圖元點)表示節點選自已裁剪圖像的節點以形成用於球面投影過程的映射表，以及黑色節點(即，第二組圖元點)表示初始圖像中不被選擇的剩餘節點，其中，白色節點的值被儲存於圖框緩衝器，以及不被選擇的節點(即，第二組圖元點)的值可透過對應的白色節點的內插操作來計算。相應地，用於儲存映射表的圖框(frame)緩衝器需要的儲存空間可顯著地降低。
在其他實施例中，儲存優化可在圖像融合過程中透過重利用圖框暫存器來完成。舉例來說，在金字塔融合過程中，初始圖像被分解成數個頻率組分(frequency components)，因此需要大的圖框緩衝器臨時儲存這些組分。金字塔融合被應用以利用複數個融合層(blending levels)而融合縫合線邊界，
其中複數個融合級是基於對應的距離圖和圖元位置來決定的。金字塔融合技術將圖像分解為一組帶通組分(即，拉普拉斯金字塔和拉普拉斯圖像)並分別利用不同大小的融合視窗來融合它們。之後，這些融合的帶通組分被添加以形成具有不明顯縫合線的期望圖像。在融合過程中，加權因數依賴於每一個圖元至縫合線邊界的距離。
第12圖為依據本發明實施例之圖像融合處理的儲存緩衝區重利用的示意圖。如第12圖所示，距離圖、前面圖像(front images)和後面圖像(rear images)(例如，兩個已裁剪圖像)作為輸入以用於具有複數個融合層的金字塔融合，以及三個固定的儲存緩衝器儲存用於每一個前面圖像和後面圖像的高斯圖像(Gaussian-image)和拉普拉斯圖像(Laplacian-image)產生的中間資料(intermediate data)。具體來說，三個緩衝器分別被分配以儲存初始圖像、在金字塔融合的每一層產生的高斯圖像和拉普拉斯圖像。在金字塔融合的每一層，高斯圖像為用於高斯圖像產生的中間資料，並且高斯圖像為初始圖像的低通濾波版本；以及拉普拉斯圖像為用於拉普拉斯圖像產生的中間資料，並且拉普拉斯圖像為初始圖像和低通濾波圖像之間的差值圖。在金字塔融合的每一層中，用於儲存高斯圖像的緩衝器和用於儲存在先前層中使用的初始圖像的緩衝器可相互切換以用於金字塔融合的當前層，以使得緩衝器能有效地重利用。相應地，圖框緩衝器需要的儲存空間可顯著地降低。
在上述實施例中，提供了處理全景圖像的圖像資
料處理系統和相關方法以及融合第一圖像和第二圖像的方法。利用本發明提供的處理全景圖像的方法，僅需要透過網路來傳送源圖像的已選擇部分，以及僅需要應用或處理源圖像的一部分來產生全景圖像，因此極大地降低了需要的計算資源。相應地，圖框緩衝器需要的儲存空間可顯著地減少，並由此降低需要的儲存頻寬和節約解碼複雜度。此外，視訊的播放可在解碼器處運行時執行，或者在編碼器處離線執行，因此提供了用於具有360度場景的全景圖像的即時觀看提供了較大的彈性。
此處描述之實施例可實現於方法、過程、裝置、或軟體和硬體的結合中。即使上述描述中僅討論單一形式的實現(例如，僅討論一種方法)，本發明的主要特徵也可以以其他形式來實現。舉例來說，可透過硬體裝置或軟體和硬體的裝置來實現。舉例來說，本發明提供的裝置可在合適的硬體、軟體、或固件中實現。本發明提供之方法可在裝置中實現，例如，該裝置為處理器(指任意處理裝置，例如，電腦、微處理器、積體電路、可程式設計邏輯裝置)。
儘管本發明以示例和較優實施例來描述，需要理解的是本發明並非僅限於上述實施例。與此相反，本發明包含對所屬領域具有通常知識者顯而易見的各種修改和相似排列。因此，本發明之範圍應和包含各種修改和相似排列的最廣範圍一致。
S202、S204、S206、S208、S210、S212‧‧‧步驟
Claims (20)
- 一種在一圖像資料處理系統中的一影像處理方法，包含：接收複數個源圖像，其中該複數個源圖像至少包含複數個重疊部分；接收一流覽視點和一視角資訊；基於該流覽視點和該視角資訊，確定該複數個源圖像的複數個已裁剪圖像；基於該複數個源圖像的該複數個已裁剪圖像，產生用於觀看或預覽的一透視圖像或一全景圖像。
- 如申請專利範圍第1項所述之在一圖像資料處理系統中的一影像處理方法，其中進一步包含：當該透視圖像或該全景圖像的視野大於一預定閾值時，下採樣該複數個源圖像。
- 如申請專利範圍第1項所述之在一圖像資料處理系統中的一影像處理方法，其中該基於該複數個源圖像的該複數個已裁剪圖像，產生該透視圖像或該全景圖像的步驟進一步包含：基於該流覽視點和該視角資訊，傳輸或映射該複數個源圖像的該複數個已裁剪圖像至複數個球面圖像；基於該視角資訊和由該圖像資料處理系統的一感測器收集的一感測器資料，扭曲或旋轉該複數個球面圖像以產生複數個已旋轉的圖像；以及基於一距離圖融合該複數個已旋轉的圖像，以產生該透視圖像或該全景圖像。
- 如申請專利範圍第3項所述之在一圖像資料處理系統中的一影像處理方法，其中該基於該流覽視點和該視角資訊，傳輸該複數個源圖像的該複數個已裁剪圖像至複數個球面圖像的步驟進一步包含：利用具有一映射表的一球面投影，以傳輸該複數個源圖像的該複數個已裁剪圖像至該複數個球面圖像；其中，該複數個源圖像的該複數個已裁剪圖像包含一第一組圖元點和一第二組圖元點，以及該第一組圖元點的值自該映射表而得到；以及該第二組圖元點的值透過在該球面投影過程中對該第一組圖元點進行內插操作而被計算出來。
- 如申請專利範圍第3項所述之在一圖像資料處理系統中的一影像處理方法，其中該基於距離圖融合該複數個已旋轉的圖像，以產生該透視圖像或該全景圖像的步驟包含：在一縫合線邊界利用一阿爾法融合來融合該複數個已旋轉的圖像以消除由該複數個源圖像的該複數個重疊部分引起的、圍繞該縫合線的不規則或不連續。
- 如申請專利範圍第3項所述之在一圖像資料處理系統中的一影像處理方法，其中該基於距離圖融合該複數個已旋轉的圖像，以產生該透視圖像或該全景圖像的步驟包含：基於該距離圖利用具有多層的一金字塔融合以融合該複數個已旋轉的圖像，其中三個緩衝器被分別配置為儲存一初始圖像、在該金字塔融合的每一層中產生的一高斯圖像、一拉普拉斯圖像，以及被配置為儲存該初始圖像的緩衝器 和被配置為儲存該高斯圖像的緩衝器在該金字塔融合的下一層被相互切換。
- 如申請專利範圍第3項所述之在一圖像資料處理系統中的一影像處理方法，其中該基於該視角資訊和由該圖像資料處理系統的感測器收集的感測器資料，旋轉該複數個球面圖像的步驟進一步包含：基於該視角資訊確定一投影平面；基於該感測器資料旋轉該投影平面；以及利用已旋轉的投影平面，旋轉該複數個球面圖像以產生該複數個已旋轉的圖像。
- 如申請專利範圍第1項所述之在一圖像資料處理系統中的一影像處理方法，其中進一步包含：確定該複數個已裁剪圖像是否穿過一個以上的源圖像；當確定該已裁剪圖像穿過一個以上的源圖像時，融合該複數個源圖像的該複數個已裁剪圖像，以產生該透視圖像或該全景圖像；以及當確定該已裁剪圖像沒有穿過一個以上的源圖像時，直接輸出該複數個已裁剪圖像作為該透視圖像或該全景圖像。
- 如申請專利範圍第1項所述之在一圖像資料處理系統中的一影像處理方法，其中進一步包含：該複數個源圖像中的每一個被分為複數個區塊，以及該複數個已裁剪圖像選自該複數個區塊的一部分。
- 一種在一圖像資料處理系統中融合一第一圖像和一第二圖像以產生一融合圖像的方法，該方法包含： 基於該第一圖像和該第二圖像對應的內容，確定該第一圖像和該第二圖像之間的縫合線；計算該縫合線和該第一圖像和該第二圖像的至少一圖元之間的距離，以產生一距離圖；以及依據該距離圖，融合該第一圖像和該第二圖像，以產生已融合的圖像。
- 如申請專利範圍第10項所述之在一圖像資料處理系統中融合一第一圖像和一第二圖像以產生一融合圖像的方法，其中依據該第一圖像和該第二圖像相對於該縫合線的差異，在該第一圖像和該第二圖像之間的該縫合線被動態地確定。
- 如申請專利範圍第10項所述之在一圖像資料處理系統中融合一第一圖像和一第二圖像以產生一融合圖像的方法，其中該依據該距離圖，融合該第一圖像和該第二圖像，以產生已融合的圖像的步驟進一步包含：利用一阿爾法融合以融合在縫合線處的該第一圖像和該第二圖像，以消除在該縫合線周圍的不規則和不連續，其中基於該距離圖，該阿爾法融合的融合率被確定。
- 一種圖像資料處理系統，其中包含：至少一圖像輸入介面，被配置為接收複數個源圖像，其中該複數個源圖像至少包含複數個重疊部分；一處理器，耦接於該至少一圖像輸入介面，被配置為自該至少一圖像輸入介面接收該複數個源圖像；接收一流覽視點和一視角資訊；基於該流覽視點和該視角資訊，確定該 複數個源圖像的複數個已裁剪圖像；以及基於該複數個源圖像的該複數個已裁剪圖像，產生用於觀看或預覽的一透視圖像或一全景圖像。
- 如申請專利範圍第13項所述之圖像資料處理系統，其中進一步包含：感測器，用於提供一感測資料；以及其中，該處理器被進一步配置為基於該流覽視點和該視角資訊，傳輸該複數個源圖像的該複數個已裁剪圖像至複數個球面圖像；基於該視角資訊和由該感測器收集的感測器資料，扭曲或旋轉該複數個球面圖像以產生複數個已旋轉的圖像；以及基於一距離圖融合該複數個已旋轉的圖像，以產生該透視圖像或該全景圖像。
- 如申請專利範圍第14項所述之圖像資料處理系統，其中該處理器被進一步被配置為在一縫合線邊界處利用一阿爾法融合來融合該複數個已旋轉的圖像以消除由該複數個源圖像的該複數個重疊部分引起的、圍繞該縫合線的不規則或不連續。
- 如申請專利範圍第14項所述之圖像資料處理系統，其中該處理器被進一步配置為：基於該視角資訊確定一投影平面；基於該感測器資料旋轉該投影平面；以及利用已旋轉的投影平面，旋轉該複數個球面圖像以產生該複數個已旋轉的圖像。
- 如申請專利範圍第14項所述之圖像資料處理系統，其中該處理器被進一步配置為確定該複數個已裁剪圖像是否穿過一個以上的源圖像；當確定該已裁剪圖像穿過一個以上的源圖像時，該處理器融合該複數個源圖像的該複數個已裁剪圖像，以產生該透視圖像或該全景圖像；或者當確定該已裁剪圖像沒有穿過一個以上的源圖像時，該處理器直接輸出該複數個已裁剪圖像作為該透視圖像或該全景圖像。
- 如申請專利範圍第13項所述之圖像資料處理系統，其中該複數個源圖像中的每一個被分為複數個區塊，以及該複數個已裁剪圖像選自該複數個區塊的一部分。
- 一種在一圖像資料處理系統和耦接於該圖像資料處理系統的一雲伺服器之間處理複數個圖像的方法，其中該雲伺服器儲存複數個源圖像，該方法包含：在該雲伺服器端，自該圖像資料處理系統接收一流覽視點和一視角資訊；在該雲伺服器端，基於該流覽視點和該視角資訊，確定該複數個源圖像的複數個已裁剪圖像；以及在該雲伺服器端，傳輸該複數個源圖像的該複數個已裁剪圖像至該圖像資料處理系統；以使得依據自該雲伺服器接收該複數個已裁剪圖像，該圖像資料處理系統基於該複數個源圖像的該複數個已裁剪圖像，產生用於觀看或預覽的一透視圖像或一全景圖像。
- 如申請專利範圍第19項所述之在一圖像資料處理系統和耦接於該圖像資料處理系統的一雲伺服器之間處理複數個圖像的方法，其中該複數個源圖像中的每一個被分為複數個區塊，以及該複數個已裁剪圖像選自該複數個區塊的一部分；以及該雲伺服器傳輸該複數個源圖像的已選擇的區塊至該圖像資料處理系統，其中該複數個區塊的資料格式與在雲伺服器端的資料格式相同，並在該圖像資料處理系統端被傳輸和被解壓縮。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662297203P | 2016-02-19 | 2016-02-19 | |
| US62/297,203 | 2016-02-19 | ||
| US15/418,913 US20170243384A1 (en) | 2016-02-19 | 2017-01-30 | Image data processing system and associated methods for processing panorama images and image blending using the same |
| US15/418,913 | 2017-01-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201730841A true TW201730841A (zh) | 2017-09-01 |
| TWI619088B TWI619088B (zh) | 2018-03-21 |
Family
ID=59629431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106105221A TWI619088B (zh) | 2016-02-19 | 2017-02-17 | 圖像資料處理系統和相關方法以及相關圖像融合方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20170243384A1 (zh) |
| CN (1) | CN107103583A (zh) |
| TW (1) | TWI619088B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI626603B (zh) * | 2017-10-24 | 2018-06-11 | 鴻海精密工業股份有限公司 | 圖像獲取方法及圖像獲取裝置 |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3023100A1 (fr) * | 2014-06-26 | 2016-01-01 | Orange | Systeme de traitement distribue d'informations en temps reel |
| TWI547177B (zh) * | 2015-08-11 | 2016-08-21 | 晶睿通訊股份有限公司 | 視角切換方法及其攝影機 |
| US9984436B1 (en) * | 2016-03-04 | 2018-05-29 | Scott Zhihao Chen | Method and system for real-time equirectangular projection |
| CN108205797B (zh) * | 2016-12-16 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
| US11049219B2 (en) * | 2017-06-06 | 2021-06-29 | Gopro, Inc. | Methods and apparatus for multi-encoder processing of high resolution content |
| CN107767461A (zh) * | 2017-09-27 | 2018-03-06 | 珠海研果科技有限公司 | 一种全景图像跳转方法 |
| CN107911685B (zh) * | 2017-10-23 | 2019-08-30 | 银河威尔科技（北京）有限公司 | 一种3Dvr直播封装的方法和装置 |
| CN108519866A (zh) * | 2018-03-21 | 2018-09-11 | 广州路捷电子科技有限公司 | 基于不同fb硬件叠加的360全景应用设备的显示方法 |
| CN112424821B (zh) * | 2018-05-15 | 2024-04-23 | 泰立戴恩菲力尔商业系统公司 | 基于由旋转成像器捕获的图像的全景图像构建 |
| CN108920598B (zh) * | 2018-06-27 | 2022-08-19 | 百度在线网络技术（北京）有限公司 | 全景图浏览方法、装置、终端设备、服务器及存储介质 |
| CN109064397B (zh) * | 2018-07-04 | 2023-08-01 | 广州希脉创新科技有限公司 | 一种基于摄像耳机的图像拼接方法及系统 |
| US10771758B2 (en) * | 2018-09-24 | 2020-09-08 | Intel Corporation | Immersive viewing using a planar array of cameras |
| US10504278B1 (en) * | 2018-09-28 | 2019-12-10 | Qualcomm Incorporated | Blending neighboring bins |
| US11089279B2 (en) * | 2018-12-06 | 2021-08-10 | Htc Corporation | 3D image processing method, camera device, and non-transitory computer readable storage medium |
| EP3941067A4 (en) | 2019-03-15 | 2022-04-27 | Sony Group Corporation | MOVING PICTURE DISTRIBUTION SYSTEM, MOVING PICTURE DISTRIBUTION METHOD, AND DISPLAY TERMINAL |
| US11228781B2 (en) | 2019-06-26 | 2022-01-18 | Gopro, Inc. | Methods and apparatus for maximizing codec bandwidth in video applications |
| CN110430411B (zh) * | 2019-08-08 | 2021-05-25 | 青岛一舍科技有限公司 | 一种全景视频的显示方法及装置 |
| CN110580678B (zh) * | 2019-09-10 | 2023-06-20 | 北京百度网讯科技有限公司 | 图像处理方法及装置 |
| US11481863B2 (en) | 2019-10-23 | 2022-10-25 | Gopro, Inc. | Methods and apparatus for hardware accelerated image processing for spherical projections |
| CN111356016B (zh) | 2020-03-11 | 2022-04-22 | 北京小米松果电子有限公司 | 视频处理方法、视频处理装置及存储介质 |
| CN113014882B (zh) * | 2021-03-08 | 2021-09-24 | 中国铁塔股份有限公司黑龙江省分公司 | 多源多协议视频融合监控系统 |
| US11623150B2 (en) | 2021-06-24 | 2023-04-11 | Compal Electronics, Inc | Rendering method for drone game |
| CN113852823B (zh) * | 2021-11-30 | 2022-03-01 | 深圳市通恒伟创科技有限公司 | 一种基于物联网的图像数据上传方法、系统和装置 |
| CN115118883B (zh) * | 2022-06-28 | 2024-02-02 | 润博全景文旅科技有限公司 | 一种图像预览方法、装置及设备 |
| CN115695879B (zh) * | 2023-01-04 | 2023-03-28 | 北京蓝色星际科技股份有限公司 | 一种视频播放方法、系统、装置、电子设备及存储介质 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7313289B2 (en) * | 2000-08-30 | 2007-12-25 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
| US20090231436A1 (en) * | 2001-04-19 | 2009-09-17 | Faltesek Anthony E | Method and apparatus for tracking with identification |
| CN101000461B (zh) * | 2006-12-14 | 2010-09-08 | 上海杰图软件技术有限公司 | 一种鱼眼图像生成立方体全景的方法 |
| CN101673395B (zh) * | 2008-09-10 | 2012-09-05 | 华为终端有限公司 | 图像拼接方法及装置 |
| US8340415B2 (en) * | 2010-04-05 | 2012-12-25 | Microsoft Corporation | Generation of multi-resolution image pyramids |
| CN201947404U (zh) * | 2010-04-12 | 2011-08-24 | 范治江 | 一种全景视频实时拼接显示系统 |
| US9930225B2 (en) * | 2011-02-10 | 2018-03-27 | Villmer Llc | Omni-directional camera and related viewing software |
| US8839110B2 (en) * | 2011-02-16 | 2014-09-16 | Apple Inc. | Rate conform operation for a media-editing application |
| KR101742120B1 (ko) * | 2011-06-10 | 2017-05-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US9124801B2 (en) * | 2012-07-26 | 2015-09-01 | Omnivision Technologies, Inc. | Image processing system and method using multiple imagers for providing extended view |
| TWI530180B (zh) * | 2013-06-14 | 2016-04-11 | 晶睿通訊股份有限公司 | 連動式攝影系統及其多攝影機的控制方法 |
| CN103780830B (zh) * | 2012-10-17 | 2017-04-12 | 晶睿通讯股份有限公司 | 连动式摄影系统及其多摄影机的控制方法 |
| CN102982516B (zh) * | 2012-10-25 | 2015-07-29 | 西安理工大学 | 一种基于半球环形全景镜头实现全景图像的方法 |
| CN104680501B (zh) * | 2013-12-03 | 2018-12-07 | 华为技术有限公司 | 图像拼接的方法及装置 |
| JP2015179949A (ja) * | 2014-03-19 | 2015-10-08 | コニカミノルタ株式会社 | 画像形成装置、制御方法、および制御プログラム |
| CN103841332B (zh) * | 2014-03-21 | 2018-10-12 | 英华达（上海）科技有限公司 | 全景景象拍摄及浏览的移动装置、系统及方法 |
| CN104835118A (zh) * | 2015-06-04 | 2015-08-12 | 浙江得图网络有限公司 | 通过两路鱼眼摄像头采集全景图像的方法 |
-
2017
- 2017-01-30 US US15/418,913 patent/US20170243384A1/en not_active Abandoned
- 2017-02-16 CN CN201710083525.XA patent/CN107103583A/zh not_active Withdrawn
- 2017-02-17 TW TW106105221A patent/TWI619088B/zh not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI626603B (zh) * | 2017-10-24 | 2018-06-11 | 鴻海精密工業股份有限公司 | 圖像獲取方法及圖像獲取裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107103583A (zh) | 2017-08-29 |
| TWI619088B (zh) | 2018-03-21 |
| US20170243384A1 (en) | 2017-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI619088B (zh) | 圖像資料處理系統和相關方法以及相關圖像融合方法 | |
| CN112256127B (zh) | 球形视频编辑 | |
| EP3198866B1 (en) | Reconstruction of three-dimensional video | |
| US11205305B2 (en) | Presentation of three-dimensional video | |
| JP6673381B2 (ja) | 画像処理装置 | |
| US10469820B2 (en) | Streaming volumetric video for six degrees of freedom virtual reality | |
| JP6044328B2 (ja) | 画像処理システム、画像処理方法およびプログラム | |
| JP6337888B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
| US10235795B2 (en) | Methods of compressing a texture image and image data processing system and methods of generating a 360 degree panoramic video thereof | |
| JP5847924B2 (ja) | 拡張現実表現のための二次元画像取込み | |
| US10229477B2 (en) | Image processing device, image processing method, and program | |
| US10748250B2 (en) | Method and apparatus for managing immersive data | |
| JP5743016B2 (ja) | 画像を生成する装置および方法 | |
| JP7177034B2 (ja) | レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム | |
| US20190266802A1 (en) | Display of Visual Data with a Virtual Reality Headset | |
| JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
| JP6394682B2 (ja) | 方法および画像処理装置 | |
| Liu et al. | A 360-degree 4K× 2K pan oramic video processing Over Smart-phones | |
| JP2020080194A (ja) | 画像処理システム、画像処理方法およびプログラム | |
| JP7484237B2 (ja) | 撮影装置、撮影システム、画像処理方法、及びプログラム | |
| JP2019003676A (ja) | 画像処理システム、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |