TWI558208B - 影像處理方法、影像處理裝置及顯示系統 - Google Patents

Description

影像處理方法、影像處理裝置及顯示系統

本發明是有關於一種影像處理方法、影像處理裝置及顯示系統。

隨著多媒體技術的發展，數位影像及視頻應用日益廣泛，也產生各種全景影像應用上的需求，像是視訊會議、防盜監視等等。

傳統上，全景影像的建構需藉由使用者拍攝一系列針對不同角度的影像，再透過組合此些影像來完成。在產生全景影像的過程中，運算裝置會直接依據影像間的相似性來進行組合。然而，此作法往往會耗費大量的運算資源，故通常需採離線的方式運作，以致於無法即時地顯示全景影像供使用者瀏覽。

因此，如何提供一種可即時顯示全景影像的顯示技術，乃目前業界所致力的課題之一。

本發明係有關於一種影像處理方法、影像處理裝置及顯示系統，可供使用者即時觀看全景影像。

根據本發明一方面，提出一種影像處理裝置，其包括影像取得電路、儲存模組以及影像處理模組。影像取得電路用以接收第一魚眼影像以及第二魚眼影像。儲存模組用以儲存魚眼鏡頭資訊。影像處理模組耦接影像取得電路以及儲存模組，用以依據魚眼鏡頭資訊對第一魚眼影像以及第二魚眼影像進行全景座標轉換以產生第一轉換影像以及第二轉換影像，並對第一轉換影像以及第二轉換影像進行接合處理以產生全景影像。

根據本發明另一方面，提出一種影像處理方法，其包括以下步驟：接收第一魚眼影像以及第二魚眼影像；依據魚眼鏡頭資訊對第一魚眼影像以及第二魚眼影像進行全景座標轉換以產生第一轉換影像以及第二轉換影像；以及對第一轉換影像以及第二轉換影像進行接合處理以產生全景影像。

根據本發明又一方面，提出一種顯示系統，其包括影像擷取裝置以及影像處理裝置。影像擷取裝置包括第一魚眼鏡頭模組、第二魚眼鏡頭模組以及發送電路。第一魚眼鏡頭模組用以擷取第一魚眼影像。第二魚眼鏡頭模組用以擷取第二魚眼影像。發送電路用以將第一魚眼影像以及第二魚眼影像以串流方式輸出。影像處理裝置包括影像取得電路、儲存模組以及影像處理模組。影像取得電路用以自影像擷取裝置接收第一魚眼影像以及第二魚眼影像。儲存模組用以儲存魚眼鏡頭資訊。影像處理模組耦接影像取得電路以及儲存模組，用以依據魚眼鏡頭資訊對第一魚眼影像以及第二魚眼影像進行全景座標轉換以產生第一轉換 影像以及第二轉換影像，並對第一轉換影像以及第二轉換影像進行接合處理以產生全景影像。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

100、800‧‧‧影像處理系統

102、202、502、802‧‧‧影像擷取裝置

1020、2020、5020、8020‧‧‧第一魚眼鏡頭模組

1022、2022、5022、8022‧‧‧第二魚眼鏡頭模組

1024、8030‧‧‧發送電路

104‧‧‧影像處理裝置

1040、8024‧‧‧影像取得電路

1042、8026‧‧‧儲存模組

1044、8028‧‧‧影像處理模組

1046、8046‧‧‧使用者介面

804‧‧‧終端裝置

8042‧‧‧接收電路

8044‧‧‧處理器

F1、F1’、F1”‧‧‧第一魚眼影像

F2、F2’、F2”‧‧‧第二魚眼影像

CF1’‧‧‧第一轉換影像

CF2’‧‧‧第二轉換影像

REF‧‧‧參考虛擬線

OX‧‧‧光軸

S302、S304、S402、S404、S406、S408、S602、S604、S606‧‧‧步驟

OB‧‧‧物體

OVR‧‧‧影像重疊區域

MP1‧‧‧第一影像特徵

MP2‧‧‧第二影像特徵

AI‧‧‧全景影像

第1圖繪示依據本發明之一實施例之影像處理系統之示意圖。

第2圖繪示依據本發明之一實施例之影像擷取裝置之示意圖。

第3圖繪示依據本發明之一實施例之全景座標轉換之方法流程圖。

第4圖繪示全景座標轉換之細節流程圖之一例。

第5圖繪示依據影像擷取裝置所拍攝的第一及第二魚眼影像，產生對應的第一及第二轉換影像的示意圖。

第6圖繪示依據本發明之一實施例之影像接合處理之方法流程圖。

第7圖繪示對第4圖所示之第一轉換影像以及第二轉換影像進行接合處理以產生全景影像的示意圖。

第8圖繪示依據本發明之一實施例之影像處理系統之示意圖。

以下係提出實施例進行詳細說明，實施例僅用以作 為範例說明，並不會限縮本揭露欲保護之範圍。此外，實施例中之圖式係省略不必要之元件，以清楚顯示本揭露之技術特點。

第1圖繪示依據本發明之一實施例之影像處理系統之示意圖。如第1圖所示，影像處理系統100包括影像擷取裝置102以及影像處理裝置104。影像擷取裝置102用以擷取環境影像，並透過有線或無線的方式，以串流方式將影像資料傳輸至影像處理裝置104作後續處理。

影像擷取裝置102包括第一魚眼鏡頭模組1020、第二魚眼鏡頭模組1022以及發送電路1024。第一魚眼鏡頭模組1020以及第二魚眼鏡頭模組1022可以是具備魚眼鏡頭的攝影機、相機或攝像模組，用以擷取不同視域的影像。由於魚眼鏡頭具備超廣角的特性，故透過適當地配置第一魚眼鏡頭模組1020以及第二魚眼鏡頭模組1022的相對位置並接合其所擷取的影像，可獲得超廣視域的全景影像。

發送電路1024可對影像資料進行編碼與串流處理，並透過有線或無線的方式將影像資料傳輸至影像處理裝置104。如第1圖所示，發送電路1024可自第一及第二魚眼鏡頭模組1020、1022分別接收第一及第二魚眼影像F1、F2，並在對其進行視頻編碼以及串流化處理後，將串流資料輸出至影像處理裝置104。

影像處理裝置104例如是可攜式電子裝置(例如智慧手機、筆記型電腦、平板電腦等行動載具)、個人電腦、監視設 備、或任何具備影像處理能力的電子裝置。影像處理裝置104主要包括影像取得電路1040、儲存模組1042以及影像處理模組1044。影像取得電路1040用以接收第一魚眼影像F1以及第二魚眼影像F2。在此例子中，影像取得電路1040例如是接收電路，可對接收到的串流資料進行解碼處理以取得第一魚眼影像F1以及第二魚眼影像F2。

儲存模組1042用以儲存魚眼鏡頭資訊，其可透過記憶體電路、查閱表等各種不同的儲存媒體來實現。魚眼鏡頭資訊可以是任何關聯於第一及第二魚眼鏡頭模組1020、1022的鏡頭參數，例如鏡頭中心位置、焦距、視角等等。魚眼鏡頭資訊可在影像擷取裝置102出廠時經由鏡頭校正程序後記錄而取得，其係被提供至影像處理模組1044以進行後續的影像處理。

影像處理模組1044耦接影像取得電路1040以及儲存模組1042，用以依據魚眼鏡頭資訊對第一魚眼影像F1以及第二魚眼影像F2進行全景座標轉換以產生第一轉換影像以及第二轉換影像，並接合此第一轉換影像以及第二轉換影像以產生全景影像。影像處理模組1044可例如以處理器、晶片、硬體電路、軟體程式、韌體或存有指令以供執行的媒體來實現。

上述之全景座標轉換可用於消除第一、二魚眼影像F1、F2中影像內容的變形失真。因此，透過適當地接合全景座標轉換後所產生的第一及第二轉換影像，可獲得具備超大視域或是全視域的全景影像。關於全景座標轉換以及接合程序的細節，將 在稍後配合第3至7圖作說明。

影像處理系統100可更包括使用者介面1046，其用以回應於外部指令選擇一觀看模式，使得全景影像被轉換為符合此觀看模式的顯示影像。使用者介面1046可例如以觸控螢幕或是具有顯示操作功能的介面來實現。觀看模式例如包括視球全景模式(Sphere mode)、平面全景模式(Panorama mode)以及魚眼視野模式(Fisheye mode)。然本發明並不限於此，上述之觀看模式亦可由其它具有不同視覺效果的瀏覽模式來實現。

舉例來說，假設影像擷取裝置102係一裝設於遠端的監視器，而影像處理裝置104係一智慧型手機，影像處理裝置104可透過APP應用程式對遠端影像擷取裝置102發送的影像串流資料進行解碼及全景座標轉換處理。處理後得到的雙頻道影像(即第一、二轉換影像)經由內部的裁切接合處理後，即可生成相應的全景影像。影像處理模組1044並可進行各個視野的參數運算，以供使用者即時地在遠端透過所選的觀看模式瀏覽該全景影像。

由於本發明之影像處理裝置可即時地依據魚眼鏡資訊對串流接收的第一、二魚眼影像進行全景座標轉換以及接合處理，故可將影像擷取裝置所拍攝的景物即時地顯示於瀏覽視窗，並以使用者喜愛的觀看模式加以呈現。在一實施例中，影像處理裝置更可利用OpenGL及/或數位訊號處理等技術，以加速整體視頻顯示之效能。

第2圖繪示依據本發明之一實施例之影像擷取裝置之示意圖。如第2圖所示，影像擷取裝置202設置有第一魚眼鏡頭模組2020以及第二魚眼模組2022。第一魚眼鏡頭模組2020與第二魚眼鏡頭模組2022係以參考虛擬線REF為中心，在一光軸OX上朝兩外側反向設置。第一魚眼鏡頭模組2020與第二魚眼鏡頭模組2022例如具有大於190°的超廣角，故第一魚眼鏡頭模組2020所拍攝的第一魚眼影像可幾乎涵蓋影像擷取裝置202左半側的景物，而第二魚眼鏡頭模組2022所拍攝的第二魚眼影像可幾乎涵蓋影像擷取裝置202右半側的景物。因此，透過對第一、二魚眼影像進行全景座標轉換以及適當的接合，即可產生720°(全視域)的全景影像。可以理解的是，本發明並不以上述例子為限。第一魚眼鏡頭模組2020與第二魚眼鏡頭模組2022的相對位置以及採用的魚眼鏡頭規格皆可依據不同的應用而有所調整。舉例來說，第一魚眼鏡頭模組2020的光軸與第二魚眼鏡頭模組2022的光軸可以是非平行，而魚眼鏡頭的廣角角度亦可大於或小於190°。此外，上述之全景影像並不以720°全景影像為限，其亦可是小於720°的全景影像，端視不同應用而定。

第3圖繪示依據本發明之一實施例之全景座標轉換之方法流程圖。承前所述，全景座標轉換可消除第一、二魚眼影像中影像內容的變形失真。如第3圖所示，首先，在步驟S302，影像處理模組係將待求得的全景影像座標轉換至極座標空間。接著，在步驟S304，影像處理模組依據魚眼鏡頭資訊建立全景影像 極座標和原始魚眼影像座標間的轉換關係，以產生對應的第一轉換影像以及第二轉換影像供後續接合處理。

第4圖繪示全景座標轉換之細節流程圖之一例。首先，在步驟S402，影像處理模組先將全景影像座標轉換至極座標軸。舉例來說，影像處理模組可利用以下公式計算出各全景影像座標中任一影像點(x,y)轉換至極座標之角度(θ,Ø)。

θ=PI×(x/width-0.5)

Ø=PI×(y/height-0.5)

其中PI表示圓周率，width表示影像寬度，height表示影像高度。

接著，在步驟S404，影像處理模組可依據轉換求得的極座標角度建立三維空間向量。舉例來說，影像處理模組可依據以下公式，利用極座標角度(θ,Ø)建立三維空間的向量值(spX,spY,spZ)。

spX=cosØ×sinθ

spY=cosØ×cosθ

spZ=sinØ

之後，在步驟S406，影像處理模組可進一步基於以下公式，依據各個三維空間向量(spX,spY,spZ)計算出極座標(r,θ1,Ø1)。

θ1=arctan(spZ/spX)

Ø1=arctan(sqrt(spXXspX+spZ×spZ)/spY)

r=width×Ø1/FOV

其中FOV表示視野範圍。最後，在步驟S408，影像處理模組即可依據極座標(r,θ1)以及魚眼鏡頭資訊計算原始對應的魚眼影像座標(x1,y1)如下：x1=Cx+r×cosθ1

y1=Cy+r×sinθ1

其中，Cx、Cy表示校正過後的魚眼鏡頭中心位置座標。如此一來，即可求得魚眼影像座標與全景影像極座標之間的座標轉換關係。然本發明並不以上述例示為限。全景座標轉換亦可透過其它二維/三維空間座標之轉換來達成。此外，上述公式中的參數係數僅係一範例，其亦可依據不同的顯示需求而作調整。

第5圖繪示依據影像擷取裝置所拍攝的第一及第二魚眼影像，產生對應的第一及第二轉換影像的示意圖。在第5圖的例子中，影像擷取裝置502透過第一魚眼鏡頭模組5020以及第二魚眼鏡頭模組5022對物體OB進行拍攝，以分別於產生第一魚眼影像F1’以及第二魚眼影像F2’。基於魚眼鏡頭超廣角的特性，第一魚眼影像F1’以及第二魚眼影像F2’中的影像內容相較於實際的物體OB係產生了變形失真，如第5圖所示。接著，透過全景座標轉換，第一及第二魚眼影像F1’、F2’係被校正以分別得到第一轉換影像CF1’以及第二轉換影像CF2’。在此例中，第一轉換影像CF1’的影像內容係對應物體OB的左半部形貌，第二轉換影像CF2’的影像內容係對應物體OB的右半部形貌。

承前所述，影像處理模組可透過適當地接合第一轉換影像及第二轉換影像以獲得具備更大視域的全景影像。第6圖係繪示依據本發明之一實施例之影像接合處理之方法流程圖。首先，在步驟S602，影像處理模組將第一轉換影像以及第二轉換影像進行影像裁切處理以分別產生第一裁切影像以及第二裁切影像。接著，在步驟S604，影像處理模組將第一及第二裁切影像進行邊緣光滑處理以分別產生第一待接合影像以及第二待接合影像。之後，在步驟S606，影像處理模組將第一待接合影像以及第二待接合影像合併以產生全景影像。

第7圖繪示對第4圖所示之第一轉換影像以及第二轉換影像進行接合處理以產生全景影像的示意圖。如第7圖所示，第一轉換影像CF1’以及第二轉換影像CF2’具有影像重疊區域OVR。此影像重疊區域OVR中的影像內容例如對應於第一魚眼鏡頭模組5020及第二魚眼鏡頭模組5022拍攝視角重疊的部分。

為了適當地接合第一及第二轉換影像CF1’、CF2’，影像處理模組可先自影像重疊區域OVR中擷取第一轉換影像CF1’的影像邊緣特徵以及第二轉換影像CF2’的影像邊緣特徵。此影像邊緣特徵可透過各種的影像處理技術而加以擷取，例如透過判斷影像的對比、色彩的差異、圖樣的連續性等等。

由於第一及第二轉換影像CF1’、CF2’在其影像重疊區域OVR中的影像內容理論上是重複或近似的，故影像處理模 組可依據上述的第一、二影像特徵之間的相似程度來決定影像接合點。如第7圖所示，第一轉換影像CF1’包括多個第一影像特徵MP1，第二轉換影像CF2’包括多個第二影像特徵MP2。假設第一影像特徵MP1與第二影像特徵MP2的相似程度高於一預設值(或是相似度相較於其它影像特徵為最大)，影像處理模組即可將此些影像特徵MP1、MP2視為影像接合點，也就是兩影像相接時的對準點。

在決定好影像接合點後，影像處理模組可依據影像接合點對第一轉換影像CF1’以及第二轉換影像CF2’進行裁切縫合。對於兩影像接合之邊緣處，則係依影像之像素值與其重疊邊界距離的比例，進行光滑化處理後合併輸出，以產生全景影像AI。

在一實施例中，影像處理裝置可設置在影像擷取裝置中。如第8圖所示，其繪示依據本發明之一實施例之影像處理系統之示意圖。在第8圖的例子中，影像處理系統800包括影像擷取裝置802以及終端裝置804。終端裝置804例如是一具有顯示操作功能的電子裝置，像是可攜式裝置。與第1圖之影像處理系統100的主要差異在於，本實施例之影像擷取裝置802係可實現影像處理裝置104的影像處理功能，例如全景座標轉換以及接合處理，並將接合好的全景影像發送至終端裝置804，以供其依據使用者喜好呈現不同的觀看模式。

如第8圖所示，影像擷取裝置802包括第一魚眼鏡頭模組8020、第二魚眼鏡頭模組8022、影像取得電路8024、儲 存模組8026、影像處理模組8028以及發送電路8030。影像取得電路8024可自第一及第二魚眼鏡頭模組8020、8024分別接收第一及第二魚眼影像F1”、F2”。影像處理模組8028自影像取得電路8024取得第一及第二魚眼影像F1”、F2”後，可依據儲存模組8026中的魚眼鏡頭資訊對第一及第二魚眼影像F1”、F2”進行全景座標轉換以及接合處理以輸出全景影像至發送電路8030。之後，發送電路8030再以有線或無線的方式將全景影像以串流方式發送至終端裝置804。

終端裝置804例如包括接收電路8042、處理器8044以及使用者介面8046。接收電路8042可接收並解碼所接收到的串流資料以得到全景影像。透過處理器8044的運算，使用者介面8046可依據使用者的喜好，透過所選的觀看模式呈現全景影像。

綜上所述，本發明之影像處理方法、影像處理裝置及顯示系統利用雙魚眼鏡頭的寬廣視野，克服一般鏡頭拍攝的視野限制。另外，藉由預存的魚眼鏡頭資訊以及串流技術，影像處理裝置可即時地對雙通道的魚眼影像進行校正及接合運算並產生相應的全景影像，以提供使用者即時觀看全方位視角的環場體驗。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本 發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧影像處理系統

102‧‧‧影像擷取裝置

1020‧‧‧第一魚眼鏡頭模組

1022‧‧‧第二魚眼鏡頭模組

1024‧‧‧發送電路

104‧‧‧影像處理裝置

1040‧‧‧影像取得電路

1042‧‧‧儲存模組

1044‧‧‧影像處理模組

1046‧‧‧使用者介面

F1‧‧‧第一魚眼影像

F2‧‧‧第二魚眼影像

Claims (18)

1. 一種影像處理裝置，包括：一影像取得電路，用以接收一第一魚眼影像以及一第二魚眼影像；一儲存模組，用以儲存一魚眼鏡頭資訊；以及一影像處理模組，耦接該影像取得電路以及該儲存模組，用以依據該魚眼鏡頭資訊對該第一魚眼影像以及該第二魚眼影像進行全景座標轉換以產生一第一轉換影像以及一第二轉換影像，並對該第一轉換影像以及該第二轉換影像進行接合處理以產生一全景影像；其中該魚眼鏡頭資訊包括一第一魚眼鏡頭模組的鏡頭中心位置以及一第二魚眼鏡頭模組的鏡頭中心位置，其中該第一魚眼鏡頭模組用以擷取該第一魚眼影像，該第二魚眼鏡頭模組用以擷取該第二魚眼影像。
2. 如申請專利範圍第1項所述之影像處理裝置，其中該影像處理模組包括：用以依據該魚眼鏡頭資訊計算該第一魚眼影像以及該第二魚眼影像與該全景影像之間的座標轉換關係的部件；以及用以依據該座標轉換關係將該第一魚眼影像以及該第二魚眼影像轉換成該第一轉換影像以及該第二轉換影像的部件。
3. 如申請專利範圍第1項所述之影像處理裝置，其中該影像處理模組包括： 用以對該第一轉換影像以及該第二轉換影像進行影像裁切處理以分別產生一第一裁切影像以及一第二裁切影像的部件；用以對該第一裁切影像及該第二裁切影像進行邊緣光滑處理以分別產生一第一待接合影像以及一第二待接合影像的部件；以及用以將該第一待接合影像以及該第二待接合影像合併以產生該全景影像的部件。
4. 如申請專利範圍第1項所述之影像處理裝置，其中該第一魚眼鏡頭模組與該第二魚眼鏡頭模組以一參考虛擬線為中心，在一光軸上朝兩外側反向設置。
5. 如申請專利範圍第1項所述之影像處理裝置，其中該全景影像為720°的全景影像。
6. 如申請專利範圍第1項所述之影像處理裝置，更包括：一使用者介面，用以回應於一外部指令選擇一觀看模式，使該全景影像被轉換為符合該觀看模式的顯示影像。
7. 如申請專利範圍第6項所述之影像處理裝置，其中該觀看模式包括視球全景模式、平面全景模式以及魚眼視野模式。
8. 一種影像處理方法，包括：接收一第一魚眼影像以及一第二魚眼影像；依據一魚眼鏡頭資訊對該第一魚眼影像以及該第二魚眼影像進行全景座標轉換以產生一第一轉換影像以及一第二轉換影像；以及 對該第一轉換影像以及該第二轉換影像進行接合處理以產生一全景影像；其中該魚眼鏡頭資訊包括一第一魚眼鏡頭模組的鏡頭中心位置以及一第二魚眼鏡頭模組的鏡頭中心位置，其中該第一魚眼鏡頭模組用以擷取該第一魚眼影像，該第二魚眼鏡頭模組用以擷取該第二魚眼影像。
9. 如申請專利範圍第8項所述之影像處理方法，更包括：依據該魚眼鏡頭資訊計算該第一魚眼影像以及該第二魚眼影像與該全景影像之間的座標轉換關係；以及依據該座標轉換關係將該第一魚眼影像以及該第二魚眼影像轉換成該第一轉換影像以及該第二轉換影像。
10. 如申請專利範圍第8項所述之影像處理方法，更包括：對該第一轉換影像以及該第二轉換影像進行影像裁切處理以分別產生一第一裁切影像以及一第二裁切影像；對該第一裁切影像及該第二裁切影像進行邊緣光滑處理以分別產生一第一待接合影像以及一第二待接合影像；以及將該第一待接合影像以及該第二待接合影像合併以產生該全景影像。
11. 如申請專利範圍第8項所述之影像處理方法，其中該第一魚眼鏡頭模組與該第二魚眼鏡頭模組以一參考虛擬線為中心，在一光軸上朝兩外側反向設置。
12. 如申請專利範圍第8項所述之影像處理方法，其中該全 景影像為720°的全景影像。
13. 如申請專利範圍第8項所述之影像處理方法，更包括：透過使用者介面，回應於外部指令選擇觀看模式，使該全景影像被轉換為符合該觀看模式的顯示影像。
14. 如申請專利範圍第13項所述之影像處理方法，其中該觀看模式包括視球全景模式、平面全景模式以及魚眼視野模式。
15. 一種顯示系統，包括：一影像擷取裝置，包括：一第一魚眼鏡頭模組，用以擷取一第一魚眼影像；一第二魚眼鏡頭模組，用以擷取一第二魚眼影像；以及一發送電路，用以將該第一魚眼影像以及該第二魚眼影像以串流方式輸出；以及一影像處理裝置，包括：一影像取得電路，用以自該影像擷取裝置接收該第一魚眼影像以及該第二魚眼影像；一儲存模組，用以儲存一魚眼鏡頭資訊，該魚眼鏡頭資訊包括該第一魚眼鏡頭模組的鏡頭中心位置以及該第二魚眼鏡頭模組的鏡頭中心位置；以及一影像處理模組，耦接該影像取得電路以及該儲存模組，用以依據該魚眼鏡頭資訊對該第一魚眼影像以及該第二魚眼影像進行全景座標轉換以產生一第一轉換影像以及 一第二轉換影像，並對該第一轉換影像以及該第二轉換影像進行接合處理以產生一全景影像。
16. 如申請專利範圍第15項所述之顯示系統，其中該第一魚眼鏡頭模組與該第二魚眼鏡頭模組以一參考虛擬線為中心，在一光軸上朝兩外側反向設置。
17. 如申請專利範圍第15項所述之顯示系統，其中該影像處理裝置更包括：一使用者介面，用以回應於一外部指令選擇一觀看模式，使該全景影像被轉換為符合該觀看模式的顯示影像。
18. 如申請專利範圍第17項所述之顯示系統，其中該觀看模式包括視球全景模式、平面全景模式以及魚眼視野模式。