TWI622299B - 影像縫合方法及影像處理裝置 - Google Patents

Abstract

本發明係提供一種影像縫合方法，用於一影像處理裝置，該方法包括：由該影像處理裝置接收一第一視訊檔案及一第二視訊檔案，其中該第一視訊檔案包括至少一第一影像及一第一音軌，且該第二視訊檔案包括至少一第二影像及一第二音軌；依據該第一音軌之一第一音頻特性及該第二音軌之一第二音頻特性，計算該第一音頻特性及該第二音頻特性間之一延遲時間，以同步該第一影像及該第二影像；將同步後之該第一影像及該第二影像分別轉換成為一第一校正影像及一第二校正影像；對該第一校正影像及該第二校正影像進行一影像縫合處理以產生一縫合影像。

Description

影像縫合方法及影像處理裝置

本發明係有關於影像處理，特別是有關於影像縫合方法及其影像處理裝置。

隨著科技發展，有許多裝置可利用魚眼鏡頭以擷取圓型環景影像，例如是空拍機、自拍棒、或是環景拍攝裝置等等。在市面上的環景拍攝裝置通常具有兩個魚眼鏡頭以分別擷取不同的圓型環景影像。然而在對不同的圓型環景影像進行影像縫合時，傳統的影像縫合方法及相關程式往往僅能選擇固定的縫合點，而且也無法對圓型環景影像之視角及影像效果任意調整，對使用者來說並不易操作。

因此，需要一種影像縫合方法及影像處理裝置以解決上述問題。

本發明係提供一種影像縫合方法，用於一影像處理裝置，該方法包括：由該影像處理裝置接收一第一視訊檔案及一第二視訊檔案，其中該第一視訊檔案包括至少一第一影像及一第 一音軌，且該第二視訊檔案包括至少一第二影像及一第二音軌；依據該第一音軌之一第一音頻特性及該第二音軌之一第二音頻特性，計算該第一音頻特性及該第二音頻特性間之一延遲時間，以同步該第一影像及該第二影像；將同步後之該第一影像及該第二影像分別轉換成為一第一校正影像及一第二校正影像；對該第一校正影像及該第二校正影像進行一影像縫合處理以產生一縫合影像。

本發明更提供一種影像處理裝置，包括：一記憶體單元，用以儲存一影像縫合程式；以及一處理器，用以執行該影像縫合程式，並執行下列步驟：由該影像處理裝置接收一第一視訊檔案及一第二視訊檔案，其中該第一視訊檔案包括至少一第一影像及一第一音軌，且該第二視訊檔案包括至少一第二影像及一第二音軌；依據該第一音軌之一第一音頻特性及該第二音軌之一第二音頻特性，計算該第一音頻特性及該第二音頻特性間之一延遲時間，以同步該第一影像及該第二影像；將同步後之該第一影像及該第二影像分別轉換成為一第一校正影像及一第二校正影像；對該第一校正影像及該第二校正影像進行一影像縫合處理以產生一縫合影像，該縫合影像位於該第一影像及該第二影像之間。

100‧‧‧影像處理裝置

110‧‧‧第一鏡頭

111‧‧‧第一麥克風

120‧‧‧第二鏡頭

121‧‧‧第二麥克風

130‧‧‧控制器

140‧‧‧記憶體單元

141‧‧‧揮發性記憶體

142‧‧‧非揮發性記憶體

150‧‧‧殼體

210、212、220、222‧‧‧區域

215‧‧‧中心水平線

250、252、254、256‧‧‧位置

300‧‧‧影像處理裝置

310‧‧‧處理器

320‧‧‧記憶體單元

321‧‧‧揮發性記憶體

322‧‧‧非揮發性記憶體

330‧‧‧週邊介面

600‧‧‧第一影像

610‧‧‧第二影像

605、615‧‧‧方塊

700、720、750‧‧‧使用者介面

702、704、710‧‧‧預覽畫面

711‧‧‧調整鈕

712‧‧‧重置鈕

713‧‧‧影像效果按鈕

714‧‧‧輸出按鈕

715‧‧‧音頻同步按鈕

716-718‧‧‧選項

719‧‧‧時間調整條

721、722‧‧‧搜尋條

723-726‧‧‧旋轉鈕

727‧‧‧鎖定鈕

728‧‧‧左右轉角調整條

729‧‧‧傾角調整條

730‧‧‧距離調整條

731‧‧‧確定鈕

751‧‧‧銳利度調整條

752‧‧‧對比調整條

753‧‧‧亮度調整條

754‧‧‧飽和度調整條

755、756‧‧‧混色選項

757‧‧‧預設值按鈕

758‧‧‧確定鈕

760‧‧‧第一圓型環景影像

762‧‧‧第二圓型環景影像

800‧‧‧使用者介面

810、830‧‧‧區域

820‧‧‧鎖定鈕

840‧‧‧彈跳視窗

850‧‧‧預覽畫面

S910-S940‧‧‧步驟

1010、1110‧‧‧第一圓型環景影像

1020、1120‧‧‧第二圓型環景影像

1030‧‧‧360度環景影像

1031、1111、1115、1131‧‧‧二維影像

1114‧‧‧第三圓型環景影像

1212‧‧‧矩形影像

1211、1212、1220、1221‧‧‧圓型環景影像

1213‧‧‧4K影像

12A-1-12A-4、12B-1-12B-4‧‧‧部份圓型環景影像

第1圖係顯示依據本發明一實施例中之影像處理裝置之方塊圖。

第2圖係顯示依據本發明一實施例中之影像處理裝置的示意 圖。

第3圖係顯示依據本發明一實施例中之影像處理裝置的方塊圖。

第4A及4B圖係分別顯示依據本發明一實施例中之第一音軌及第二音軌之示意圖。

第4C及4D圖係分別顯示依據本發明一實施例中調整時間後之第一音軌及第二音軌之示意圖。

第4E及4F圖係分別顯示依據本發明一實施例中調整時間後以同步第一音軌及第二音軌之示意圖。

第5A圖係顯示依據本發明一實施例中之第一圓型環景影像的示意圖。

第5B圖係顯示依據第5A圖之實施例中經過等量矩形投影所產生之第一影像的示意圖。

第5C圖係顯示依據本發明一實施例中之第二圓型環景影像的示意圖。

第5D圖係顯示依據第5C圖之實施例中經過等量矩形投影所產生之第二影像。

第5E圖係顯示依據第5B圖及第5D圖縫合之縫合影像。

第6圖係顯示未經顏色補償前之第一影像及第二影像之示意圖。

第7A、7B、7C圖係顯示依據本發明一實施例中之影像縫合程式之使用者介面的示意圖。

第7D及7E圖係顯示在使用者介面進行左右轉動之操作的示意圖。

第7F及7G圖係顯示在使用者介面進行傾角調整之操作的示意圖。

第7H、7I、7J圖係顯示在第7B圖之使用者介面進行轉動操作的示意圖。

第7K及7L圖係顯示在第7B圖之使用者介面以調整鏡頭距離的示意圖。

第8A及8B圖係顯示依據本發明一實施例中之影像縫合程式之使用者介面的示意圖。

第9圖係顯示依據本發明一實施例中之影像縫合方法的流程圖。

第10A圖係顯示依據本發明一實施例中之影像處理裝置進行影像縫合的示意圖。

第10B~10D圖係顯示依據本發明一實施例中將第一圓型環景影像及第二圓型環景影像進行影像縫合的示意圖。

第11A及11B圖係顯示依據本發明一實施例中之以155度視角所拍攝之第一圓型環景影像及相應的二維影像的示意圖。

第11C及11D圖係顯示依據本發明一實施例中之以188度視角所拍攝之第三圓型環景影像及相應的二維影像的示意圖。

第11E~11G圖係顯示依據本發明第11A~11D圖之實施例以進行影像縫合的示意圖。

第11H圖係表示在本發明第11E~11G圖之實施例中進行影像縫合的示意圖。

第12A圖係顯示依據本發明一實施例中之第一鏡頭以不同視角拍攝影像之示意圖。

第12B圖係顯示依據本發明一實施例中之第二鏡頭以不同視角拍攝影像之示意圖。

第12C圖係顯示依據本發明第12A圖中之第一鏡頭以不同視角拍攝影像之分割部分的示意圖。

第12D圖係顯示依據本發明第12B圖中之第二鏡頭以不同視角拍攝影像之分割部分的示意圖。

為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。

第1圖係顯示依據本發明一實施例中之影像處理裝置之方塊圖。影像處理裝置100係包括一第一鏡頭110、第一麥克風111、一第二鏡頭120、一第二麥克風121、一控制器130、一記憶體單元140、一殼體150。在一實施例中，第一鏡頭110及第二鏡頭120係為曲面鏡頭或魚眼鏡頭，可拍攝圓型環景影像(spherical panorama image)，圓型環景影像亦可稱為360度影像。舉例來說，本發明之影像處理裝置100可應用於空拍機(flying drone)、自拍棒(selfie stick)、或是環景拍攝裝置。第一麥克風111及第二麥克風121係分別依附或整合於第一鏡頭110及第二鏡頭120，用以將在第 一鏡頭110及第二鏡頭120所面對之方向的音訊信號分別錄製為一第一音軌及一第二音軌。

控制器130例如可為一中央處理器(CPU)或一數位信號處理器(DSP)。記憶體單元140係包括一揮發性記憶體141及一非揮發性記憶體142，其中揮發性記憶體141例如是一靜態隨機存取記憶體(SRAM)或動態隨機存取記憶體(DRAM)，非揮發性記憶體142例如是一硬碟、固態硬碟、快閃記憶體等等，但本發明並不限於此。非揮發性記憶體142係儲存一視訊編解碼程式，且控制器130可將儲存於非揮發性記憶體142之視訊編解碼程式讀取至揮發性記憶體141並執行，藉以對所擷取之圓型環景影像及音軌進行視訊編碼處理。控制器130及記憶體單元係安置於殼體150之內，且第一鏡頭110及第二鏡頭120係安置於殼體150之相對表面(opposite surfaces)。

舉例來說，控制器130可將第一鏡頭110所拍攝的第一圓型環景影像及第一麥克風111所擷取之第一音軌錄製為一第一視訊檔案，並將第二鏡頭120所拍攝的第二圓型環景影像及第二麥克風121所擷取之第二音軌錄製為一第二視訊檔案。控制器130並將第一視訊檔案及一第二視訊檔案儲存至非揮發性記憶體142中，其中第一視訊檔案及一第二視訊檔案例如可為MP4格式之視訊檔案，但本發明並不限於此。

第2圖係顯示依據本發明一實施例中之影像處理裝置100的示意圖。在一實施例中，第一鏡頭110及第二鏡頭120係安置於殼體150之相對兩側，其中殼體150係具有一預定厚度d，如第2圖所示，其中殼體150之厚度d可視為第一鏡頭110及第二鏡頭120 之間的視差(parallax)。因第一鏡頭110及第二鏡頭120為魚眼鏡頭，故第一鏡頭110及第二鏡頭120所拍攝之預定俯角(angle of depression)範圍可分別用區域210及區域220所表示，且第一鏡頭110所拍攝之第一圓型環景影像及第二鏡頭120所拍攝之第二圓型環景影像之縫合點會位於殼體之中心水平線215上的位置250及254，如此可有最佳的影像縫合位置。

然而，在安裝第一鏡頭110及第二鏡頭120於影像處理裝置100之過程中，第一鏡頭110及第二鏡頭120的俯角範圍有可能並不會與區域210及區域220完全一致，意即第一鏡頭110及第二鏡頭120之俯角範圍例如為區域212及區域222所示，且第一鏡頭110所拍攝之第一圓型環景影像及第二鏡頭120所拍攝之第二圓型環景影像之縫合點會產生偏移，例如位於位置252及256，並沒有落於殼體150之中心水平線215上，進而造成影像縫合之效果較差。本案後述之影像處理裝置可自動判斷第一圓型環景影像及第二圓型環景影像之縫合點是否位於殼體之中心水平線上。若第一圓型環景影像及第二圓型環景影像之縫合點並非位於殼體150之中心水平線215上，影像處理裝置更可自動調整第一圓型環景影像及第二圓型環景影像，使得調整後之第一圓型環景影像及第二圓型環景影像的縫合點位於殼體150之中心水平線215上，進而得到最佳的影像縫合位置。

第3圖係顯示依據本發明一實施例中之影像處理裝置的方塊圖。影像處理裝置300例如是一個人電腦或一伺服器。影像處理裝置300係包括一處理器310、一記憶體單元320、及一週邊介面330。記憶體單元320係包括一揮發性記憶體321及一非揮發性 記憶體322，其中揮發性記憶體321例如是一靜態隨機存取記憶體(SRAM)或動態隨機存取記憶體(DRAM)，非揮發性記憶體322例如是一硬碟、固態硬碟、快閃記憶體等等，但本發明並不限於此。非揮發性記憶體142係儲存一視訊編解碼程式，且處理器310可將儲存於非揮發性記憶體322之視訊編解碼程式讀取至揮發性記憶體321並執行，藉以對第一視訊檔案及一第二視訊檔案進行視訊/音訊解碼處理及對解碼後之圓型環景影像進行影像縫合處理(image stitching process)。在後述段落中，將對影像縫合處理之細節進行詳細說明。週邊介面330可包括多媒體介面(例如HDMI)、資料傳輸介面(例如USB、SATA)、及/或網路傳輸介面(例如LAN、Wifi、Bluetooth)等等，且處理器310可經由週邊介面330由影像處理裝置100取得第一視訊檔案及第二視訊檔案。

第4A及4B圖係分別顯示依據本發明一實施例中之第一音軌及第二音軌之示意圖。第4C及4D圖係分別顯示依據本發明一實施例中調整時間後之第一音軌及第二音軌之示意圖。第4E及4F圖係分別顯示依據本發明一實施例中調整時間後以同步第一音軌及第二音軌之示意圖。請同時參考第3圖及第4A、4B圖，因為第一鏡頭110及第二鏡頭120之位置有些微差異，第一麥克風111及第二麥克風121所擷取到之第一音軌及第二音軌亦會有時間差異。舉例來說，第一麥克風111所擷取第一音軌係如第4A圖所示，第二麥克風121所擷取第二音軌係如第4B圖所示，其中第一音軌及第二音軌之波形是相當類似的，但是在時間上則會有些許差異。更進一步而言，處理器310係先對第一視訊檔案及一第二視訊檔案進行視訊/音訊解碼處理，以取得第一圓型環景影像、第二圓 型環景影像、第一音軌、及第二音軌。

首先，處理器310係比較原始的第一音軌及第二音軌，即第一音軌及第二音軌之時間差Tdiff=0，並計算一第一比對分數。接著，處理器310係將第二音軌進行延遲處理(例如延遲1ms，即Tdiff=1)，並將原始的第一音軌(如第4C圖所示)與延遲後的第二音軌(如第4D圖所示)進行比較，並計算一第二比對分數。類似地，處理器310可在一合理範圍內逐漸增加第二音軌之延遲時間，即增加Tdiff，並計算不同Tdiff數值下所相應的比對分數。

接著，處理器310係決定具有最高的比對分數之時間差Tdiff，並以該時間差做為延遲第二音軌及第二圓型環景影像之基準。例如在第4E及4F圖中之時間差Tdiff=4時，具有最高的比對分數。需注意的是，上述決定時間差之方法僅用於說明，實際上可依據所決定之時間差以同步第一圓型環景影像及第二圓型環景影像，並進行後續的影像縫合處理。

在進行影像縫合處理之前，處理器310係利用等量投影，等量投影可以是等量矩形投影(equirectangular projection)將第一圓型環景影像及第二圓型環景影像分別投影為具有矩形形狀之一第一影像及一第二影像。舉例來說，第5A圖係顯示第一圓型環景影像，第5B圖係顯示經過等量矩形投影所產生之第一影像，其中在第5B圖中第一影像的水平邊緣表示了在第一圓型環景影像之水平方向正負90度的範圍，第一影像的垂直邊緣表示了在第一圓型環景影像之垂直方向正負90度的範圍。

類似地，第5C圖係顯示第二圓型環景影像，第5D圖係顯示經過等量矩形投影所產生之第二影像。處理器310係將第一 影像置於中間，將第二影像之右半部份與第一影像之左側縫合，並將第二影像之左半部份與第一影像之右側縫合，以產生縫合影像，如第5E圖所示。第5E圖之縫合影像的水平邊緣即表示了水平方向正負180度的範圍，其垂直邊緣即表示了垂直方向正負180度的範圍。

在一些實施例中，第一鏡頭110及第二鏡頭120所分別擷取之第一圓型環景影像及第二圓型環景影像之曝光值及白平衡處理可能會有差異。因此，在進行影像縫合之前，處理器310係對第一影像及第二影像進行顏色補償(color compensation)，使得第一影像及第二影像之顏色更為自然。

第6圖係顯示未經顏色補償前之第一影像600及第二影像610之示意圖。如第6圖所示，在第一影像600之右側的方塊605、以及第二影像610之左側的方塊615即為縫合影像中之重疊區域。一般而言，方塊605及其對應的方塊615應具有相同的顏色，因此處理器310所使用之影像縫合演算法可依據其顏色差異以計算第一影像600及第二影像610之色彩補償係數。

此外，若在方塊605中之平均顏色值與相應之方塊615中之平均顏色值差異很大，這可能表示在方塊605及615中所擷取之影像部份會由於視差而有所不同。因此，處理器310可忽略掉該顏色差異。需注意的是，處理器310所進行之色彩補償是在一線性空間中進行計算，例如可先經過去gamma補償(de-gamma)，再進行色彩補償，接著再進行gamma補償。

第7A~7C圖係顯示依據本發明一實施例中之影像縫合程式之使用者介面的示意圖。如第7A圖所示，處理器310所讀 取之第一視訊檔案及第二視訊檔案之預覽畫面702及704係顯示於使用者介面700之左側，縫合影像之預覽畫面710係顯示於畫面右側。需注意的是，第一視訊檔案及第二視訊檔案的畫面幀率(frame rate)需相同才能進行影縫合。

使用者介面700更包括了調整鈕711、重置鈕712、影像效果按鈕713、輸出按鈕714、音頻同步按鈕715、鏡頭方向之選項716、717、及718、以及時間調整條719。鏡頭方向之選項716為前後(front-back)、選項717為上下(up-down)，選項718則為反轉。當使用者選擇選項718後，第一鏡頭及第二鏡頭所拍攝的第一圓型環景影像及第二圓型環景影像會被反轉。若使用者點擊了音頻同步按鈕715，則影像縫合程式則會依據音頻信號之特性自動調整視訊影像之輸出，其細節可參考前述實施例。當使用者選擇使用者介面700中之調整按鈕711時，處理器310係顯示使用者介面720以調整第一視訊檔案及第二視訊檔案。

舉例來說，第7B圖中之使用者介面720包括搜尋條721及722、旋轉鈕723~726、鎖定鈕727、左右轉動調整條(pan bar)728、傾角調整條(tilt bar)729、距離調整條(distance bar)730、以及確定鈕731。搜尋條721及722可讓使用者直接選定所要預覽之第一視訊檔案及第二視訊檔案的影片時間。旋轉鈕723及724係分別控制第一圓型環景影像702進行逆時針轉動及順時針轉動，旋轉鈕725及726係分別控制第二圓型環景影像704進行逆時針轉動及順時針轉動。當使用者按下鎖定鈕727時，則可讓第一視訊檔案及第二視訊之操作同步進行。

當使用者按下影像效果按鈕713，影像縫合程式則會 顯示一使用者介面750(如第7C圖所示)以調整影像效果，例如包括了銳利度調整條(sharpness bar)751、對比調整條(contrast bar)752、亮度調整條(brightness bar)753、飽和度調整條(saturation bar)754、混色選項755及756、預設值按鈕757及確定鈕758，例如選項755為平滑化、選項756為銳利化。

第7D及7E圖係顯示在使用者介面進行左右轉動之操作的示意圖。第7D圖為第一鏡頭110的俯視圖，當使用者對第7B圖中的左右轉動調整條728進行調整時，則仿如第一鏡頭110之左右轉動範圍會在處於一預定範圍內(例如是-10度至+10度)，對應至所擷取之第一圓型環景影像760之左右轉動則如第7E圖所示。第二鏡頭亦可進行類似之左右轉動的調整。

第7F及7G圖係顯示在使用者介面進行傾角調整之操作的示意圖。第7F圖為第一鏡頭110的側視圖，當使用者對第7B圖中的傾角調整條729進行調整時，則仿如第一鏡頭110之傾角範圍會在處於一預定範圍內(例如是-10度至+10度)，對應至所擷取之第一圓型環景影像760之傾角調整，如第7G圖所示。第二鏡頭亦可進行類似之傾角調整。

第7H、7I、7J圖係顯示在第7B圖之使用者介面進行轉動操作的示意圖。第7H圖為第一鏡頭110的側視圖，當使用者對第7B圖中的旋轉鈕723及724進行調整時，則仿如第一鏡頭110則會進行相應的逆時針轉動或順時針轉動，對應至所擷取之第一圓型環景影像之轉動調整，如第7I圖所示。若使用者已按下使用者介面720中之鎖定鈕727，則表示無論使用者按下旋轉鈕723~726之任一者，第一圓型環景影像760及第二圓型環景影像762均會 同步轉動，如第7J圖所示使用者透過無線傳輸方式使影像處理裝置與該顯示單元相互連接，其中該縫合影像藉由該處理器以轉換成環形影像或圓形影像；且該顯示單元可顯示該第一影像、第二影像或該縫合影像。

第7K及7L圖係顯示在第7B圖之使用者介面以調整鏡頭距離的示意圖。第7K圖為第一鏡頭110及第二鏡頭120的側視圖，當使用者對第7B圖中的距離調整條730進行調整時，則仿如第一鏡頭110及第二鏡頭120之間的距離會隨著變化，對應至所擷取之第一圓型環景影像760及第二圓型環景影像762之距離變化，則如第7L圖所示。

請同時參考第1~3圖及第7B圖，處理器310可自動判斷第一圓型環景影像及第二圓型環景影像之縫合點是否位於殼體150之中心水平線上。若第一圓型環景影像及第二圓型環景影像之縫合點並非位於殼體150之中心水平線215上，處理器310更可自動調整(例如透過調整左右轉動角度、傾斜角度、及第一圓型環景影像及第二圓型環景影像之間的距離)第一圓型環景影像及第二圓型環景影像，使得調整後之第一圓型環景影像及第二圓型環景影像的縫合點位於殼體150之中心水平線215上，進而得到最佳的影像縫合位置，其中處理器310依據偏移量大小，實際最佳的影像縫合位置可位於位置252及256、位置250及254之間。

更進一步而言，處理器310係可自動調整第一圓型環景影像及第二圓型環景影像，使得調整後之第一圓型環景影像及第二圓型環景影像的縫合點位於殼體150之中心水平線215上。使用者亦可透過第7B圖中之使用者介面720的各種功能(例如旋轉、 左右轉動、傾斜、調整距離等等)進行手動調整第一圓型環景影像及第二圓型環景影像，以達到使用者所想要的縫合影像之效果，其中處理器還可將縫合影像轉換成例如環形影像、圓型影像，但本發明並不限於此。

第8A及8B圖係顯示依據本發明一實施例中之影像縫合程式之使用者介面的示意圖。如第8A圖所示，使用者介面800相較於第7A圖之使用者介面700，更多了第一視訊檔案及第二視訊檔案之檔案名稱、目前同步時間、同步畫面，如區域810所顯示之資訊。當鎖定鈕820未按下(未鎖定狀態)時，使用者可進行手動同步。當鎖定鈕820按下(鎖定狀態)時，使用者則無法進行手動影像同步，僅能由影像縫合程式進行自動影像同步，例如可藉由前述實施例中利用音訊信號之延遲來判斷同步的畫面。此外，第一視訊檔案及第二視訊檔案中之各影像亦分別顯示於區域830，使用者可在鎖定鈕820處於未鎖定狀態時以手動選擇欲同步的影像。

承上所述，當使用者在鎖定鈕820處於未鎖定狀態時已手動選擇欲同步的影像，因為在區域830中之預覽縮圖的尺寸相當小，使用者並無法確認其畫面內容。因此，影像縫合程式會顯示一彈跳視窗(pop-up window)840以顯示一或多個已選擇的影像、或是所選擇的影像及其相鄰影像，如第8B圖所示。當使用者完成上述選擇操作後，縫合影像之預覽畫面850則會顯示於使用者介面800上。

需了解的是，藉由本發明之影像縫合程式，使用者可更方便地調整兩個視訊檔案之影像縫合的參數及細節，進而達到更好的縫合影像(例如全景影像)效果。

第9圖係顯示依據本發明一實施例中之影像縫合方法的流程圖。在步驟S910，由一影像處理裝置接收一第一視訊檔案及一第二視訊檔案，其中該第一視訊檔案包括至少一第一圓型環景影像及一第一音軌，且該第二視訊檔案包括至少一第二圓型環景影像及一第二音軌。在步驟S920，依據該第一音軌及該第二音軌之一音頻特性以同步該第一圓型環景影像及該第二圓型環景影像。舉例來說，該音頻特性之計算可參考第4A~4F圖之實施例，利用第一音軌及第二音軌之間不同的延遲時間差以計算相應之比對分數，並以具有最高之比對分數的延遲時間差做為基準以同步第一圓型環景影像及第二圓型環景影像。

在步驟S930，將該第一圓型環景影像及該第二圓型環景影像轉換成為一第一影像及一第二影像。上述第一影像及第二影像即為具有矩形形狀之二維影像。在步驟S940，對該第一影像及該第二影像進行一影像縫合處理以產生一縫合影像。需了解的是，在步驟S940之前，可對第一影像及第二影像進行色彩補償處理，藉以得到更自然的顏色，亦利於影像縫合演算法之判斷。

請再參考第2圖，當第一鏡頭110及第二鏡頭120均為一般性能的鏡頭且具有相同的視角(例如預定俯角之區域210及220均為190度)，第一鏡頭110及第二鏡頭120均無法擷取4K解析度之影像(底下簡稱為4K影像)，因4K影像之範圍比第一鏡頭110及第二鏡頭120之視角還要大。因此，並無法由單一鏡頭以取得4K影像。若欲取得4K影像，則需要背後鏡頭(例如第一鏡頭110之背後鏡頭即為第二鏡頭120)的輔助。

更進一步而言，若要從190度俯角的第一鏡頭110或 第二鏡頭120取得4K影像，則第一鏡頭110或第二鏡頭120之解析度需為2400萬像素，以目前之鏡頭製造技術而言，其成本相當昂貴。若由第一鏡頭110由第二鏡頭120所擷取之影像所組成的影像圓(image circle)之直徑係由殼體150之長邊所決定，則鏡頭的尺寸將會相當大，因為需要配合殼體150之短邊的長度以符合190度之俯角。有鑑於此，本發明更提出一種影像處理裝置以解決擷取4K影像會產生的問題。

第10A圖係顯示依據本發明一實施例中之影像處理裝置進行影像縫合的示意圖。第10B~10D圖係顯示依據本發明一實施例中將第一圓型環景影像及第二圓型環景影像進行影像縫合的示意圖。

請同時參考第1圖及第10A圖，在另一實施例中，本發明第1圖中之第一鏡頭110及第二鏡頭120除了設置於殼體150之相對兩側之外，第一鏡頭110及第二鏡頭120係具有不同視角。舉例來說，第一鏡頭110及第二鏡頭120之視角係可設定為多個預定視角之一者，例如是155度、235度、及360度，但本發明並不限於此。在一些實施例中，在第一鏡頭110及第二鏡頭120均為一般畫質模式(例如All Round模式)之情況下，第一鏡頭110之視角範圍可設定於125度~195度，且第二鏡頭120之視角範圍可設定為235度±5度內，但本發明並不限於此。

為了便於說明，在第10A圖中，第一鏡頭110之視角係設定為155度，且第二鏡頭120之視角係設定為235度。第一鏡頭110所拍攝之第一圓型環景影像1010(如第10B圖所示)及第二鏡頭120所拍攝之第二圓型環景影像1020(如第10C圖所示)係用以合成 360度環景影像1030，如第10D圖所示。其中合成第一圓型環景影像1010及第二圓型環景影像1020以產生二維影像1031之方法可參考本案第5A~5E圖之實施例。需注意的是，由第一鏡頭110所拍攝之第一圓型環景影像1010中的物體會較窄，且第二圓型環景影像1020中的物體會較寬，因此需在進行影像縫合前對第一圓型環景影像1010或第二圓型環景影像1020進行解析度調整，藉以讓調整後的第一圓型環景影像1010及第二圓型環景影像1020之解析度相符。亦需注意的是，在進行解析度調整時，亦可同時進行對比度及飽和度之調整，其細節可參考本發明之前述實施例。

第11A及11B圖係顯示依據本發明一實施例中之以155度視角所拍攝之第一圓型環景影像及相應的二維影像的示意圖。第11C及11D圖係顯示依據本發明一實施例中之以188度視角所拍攝之第三圓型環景影像及相應的二維影像的示意圖。

在一實施例中，假定第一鏡頭110之影像感測器的解析度為2000萬像素，在前拍模式(Front Mode)進行拍攝時，僅能從所拍攝的第一圓型環景影像1110中擷取出3K解析度之二維影像1111，如第11A圖所示。在前拍模式下，本發明係可將第一鏡頭110之視角從155度擴展為188度或以上。因為第一鏡頭110之視角變大，所以第一鏡頭110以188度視角所拍攝的第三圓型環景影像1114之範圍也變大，此時即可從第三圓型環景影像1114中取得4K解析度之二維影像1115，如第11D圖所示。需注意的是，無論使用155度或188度以上之視角，第一鏡頭110之影像感測器的解析度係固定於2000萬像素。

更進一步而言，在進行影像縫合時，從第一鏡頭110 及第二鏡頭120所拍攝之圓型環景影像所擷取出來的二維影像的解析度需相符。因為第二鏡頭120是以235度之視角進行拍攝，故可輕易地從所拍攝的第二圓型環景影像中擷取出4K影像，但若第一鏡頭110僅以155度視角進行拍攝，則僅能擷取出3K影像。因此，本發明係將第一鏡頭110之視角增大，藉以從第三圓型環景影像1114中取得4K解析度之二維影像1115。

第11E~11G圖係顯示依據本發明第11A~11D圖之實施例以進行影像縫合的示意圖。

需注意的是，第三圓型環景影像1114中即包括了第一圓型環景影像1110。在進行影像縫合處理時，本發明係從第三圓型環景影像1114取出第一圓型環景影像1110，如第11E圖所示。接著，並將所取出的第一圓型環景影像1110進行解析度調整後再與第二圓型環景影像1120進行影像縫合以產生二維影像1131，如第11F及11G圖所示。因為本發明之第一鏡頭110使用155度視角之第一圓型環景影像1110，第一鏡頭110僅需要2000萬畫素且尺寸較小之鏡頭即可實現4K影像，而不需使用較昂貴的2400萬畫素且尺寸較大之鏡頭。第11H圖係表示在本發明第11E~11G圖之實施例中進行影像縫合的示意圖。需注意的是，本發明第11E~11G圖之實施例係可利用第11H圖表示。即利用第一圓型環景影像1110與第二圓型環景影像1120進行影像縫合以產生360視角的環景影像1130，而環景影像1130則通常會映射至二維影像，即第11G圖中所示的二維影像1131。

第12A圖係顯示依據本發明一實施例中之第一鏡頭以不同視角拍攝影像之示意圖。第12B圖係顯示依據本發明一實 施例中之第二鏡頭以不同視角拍攝影像之示意圖。

在一實施例中，假定第一鏡頭110及第二鏡頭120均為2000萬畫素，若以矩形影像1212表示則為5184x3888解析度，在第12A圖中，若第一鏡頭110係以225度視角進行拍攝，則可得到圓型環景影像1210，若以165度視角進行拍攝，則可得到圓型環景影像1211。然而，若目標是欲直接輸出4K影像1213，僅能使用圓型環景影像1210。

在第12B圖中，若第二鏡頭120係以225度視角進行拍攝，則可得到圓型環景影像1220，若以165度視角進行拍攝，則可得到圓型環景影像1221。然而，若目標是欲直接輸出4K影像1223，很明顯地，圓型環景影像1221所涵蓋之範圍仍不足4K解析度。此時，僅能使用圓型環景影像1220。需注意的是，在第12A及12B圖之實施例中，第一鏡頭110及第二鏡頭120中之影像感測器(image sensor)係具有旋轉90度的角度差。需注意的是，為便於說明，在第12A~12B圖之實施例中，僅以視角225度及165度進行說明，在此實施例中，第一鏡頭110及第二鏡頭120係採用相同的視角(例如125度~235度之間)進行拍攝。

第12C圖係顯示依據本發明第12A圖中之第一鏡頭以不同視角拍攝影像之分割部分的示意圖。第12D圖係顯示依據本發明第12B圖中之第二鏡頭以不同視角拍攝影像之分割部分的示意圖。

在第12C圖中，第一鏡頭110以不同視角所拍攝之圓型環景影像1210及1211係可分割為四個部份圓型環景影像12A-1、12A-2、12A-3、及12A-4。其中部份圓型環景影像12A-1 及12A-2係包含於圓型環景影像1211，部份圓型環景影像12A-3及12A-4係包含於圓型環景影像1210。類似地，在第12D圖中，第二鏡頭120以不同視角所拍攝之圓型環景影像1220及1221係可分割為四個部份圓型環景影像12B-1、12B-2、12B-3、及12B-4。其中部份圓型環景影像12B-1及12B-2係包含於圓型環景影像1220，部份圓型環景影像12B-3及12B-4係包含於圓型環景影像1221。更進一步而言，在進行影像縫合時，因為第一鏡頭110及第二鏡頭120之間具有90度之角度差且採用相同的視角進行拍攝，所以需採用相應位置之部份圓型環景影像進行影像縫合。

舉例來說，部份圓型環景影像12A-1係對應於部份圓型環景影像12B-1，故部份圓型環景影像12A-1係與部份圓型環景影像12B-1進行影像縫合。類似地，部份圓型環景影像12A-2係對應於部份圓型環景影像12B-2，故部份圓型環景影像12A-2係與部份圓型環景影像12B-2進行影像縫合。

類似地，部份圓型環景影像12A-3係對應於部份圓型環景影像12B-3，故部份圓型環景影像12A-3係與部份圓型環景影像12B-3進行影像縫合。類似地，部份圓型環景影像12A-4係對應於部份圓型環景影像12B-4，故部份圓型環景影像12A-4係與部份圓型環景影像12B-4進行影像縫合。

更進一步而言，在各對應位置之部份圓型環景影像進行影像縫合後即產生全天球影像(omnidirectional image)，其在水平方向及垂直方向均有較高的解析度。因此，若要從全天球影像取得前拍影像，例如是4：3或16：9的影像，均可輕易地得到4K影像。再者，第一鏡頭110及第二鏡頭120為一般畫素的情況下，仍 然可以得到較高解析度的影像。

綜上所述，本發明係提供一種影像縫合方法及其影像處理裝置，其可將不同的魚眼鏡頭所拍攝的圓型環景影像轉換為二維影像，並對二維影像進行影像縫合以取得二維的全景影像。此外，本發明之影像處理裝置所執行的影像縫合程式更提供了多種使用者介面，可讓使用者選擇影像縫合之不同影像效果，且使用者亦可利用手動之方式選擇欲同步的圓型環景影像，藉以達到更好的影像縫合效果及更佳的使用者體驗。

本發明亦針對4K解析度的環景影像提出較低成本的解決方法。例如本發明中之兩個鏡頭可採用不同視角，故其擷取的圓型環景影像得以互補，也因此可不必使用成本昂貴之鏡頭。此外，本發明更提出了兩個鏡頭可使用相同視角，且所拍攝之兩張圓形環景影像之間係具有大於90度之角度差值，且兩張圓型環景影像係可切割為複數個部份圓型環景影像，在轉換為二維影像後，其在水平方向及垂直方向可互補並進行影像縫合，故儘管兩個鏡頭若僅配備一般畫素，亦可利用本發明所提供之方法以得到解析度較高之環景影像。

本發明之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統。本發明之方法、系統與裝置也可以以程式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成 用以參與本發明之裝置或系統。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (16)

1. 一種影像縫合方法，用於一影像處理裝置，該方法包括：由該影像處理裝置接收一第一視訊檔案及一第二視訊檔案，其中該第一視訊檔案包括至少一第一影像及一第一音軌，且該第二視訊檔案包括至少一第二影像及一第二音軌；依據該第一音軌之一第一音頻特性及該第二音軌之一第二音頻特性，計算該第一音頻特性及該第二音頻特性間之一延遲時間，以同步該第一影像及該第二影像；將同步後之該第一影像及該第二影像分別轉換成為一第一校正影像及一第二校正影像；對該第一校正影像及該第二校正影像進行一影像縫合處理以產生一縫合影像。
2. 一種影像處理裝置，包括：一記憶體單元，用以儲存一影像縫合程式；以及一處理器，用以執行該影像縫合程式，並執行下列步驟：由該影像處理裝置接收一第一視訊檔案及一第二視訊檔案，其中該第一視訊檔案包括至少一第一影像及一第一音軌，且該第二視訊檔案包括至少一第二影像及一第二音軌；依據該第一音軌之一第一音頻特性及該第二音軌之一第二音頻特性，計算該第一音頻特性及該第二音頻特性間之一延遲時間，以同步該第一影像及該第二影像；將同步後之該第一影像及該第二影像分別轉換成為一第一校正影像及一第二校正影像；對該第一校正影像及該第二校正影像進行一影像縫合處理以產生一縫合影像。
3. 如申請專利範圍第2項所述之影像處理裝置，其中該縫合影像包含一縫合點位於該第一影像及該第二影像之間。
4. 如申請專利範圍第3項所述之影像處理裝置，其中該影像處理裝置包括一第一鏡頭、一第二鏡頭、一第一麥克風、及一第二麥克風，其中該第一鏡頭及該第二鏡頭係置於該影像處理裝置之一殼體的相對兩側以分別擷取一第一環景影像及一第二環景影像，且該第一麥克風及該第二麥克風係分別依附至該第一鏡頭及該第二鏡頭以分別擷取該第一音軌及該第二音軌。
5. 如申請專利範圍第2項所述之影像處理裝置，其中該處理器係將該第二影像之右半部份與該第一影像之左側縫合，並將該第二影像之左半部份與該第一影像之右側縫合以產生該縫合影像。
6. 如申請專利範圍第5項所述之影像處理裝置，其中該處理器更對該第一影像及該第二影像進行一色彩補償處理，並對經過該色彩補償處理後之該第一影像及該第二影像進行該影像縫合處理。
7. 如申請專利範圍第4項所述之影像處理裝置，其中該影像縫合程式更提供一使用者介面以調整該第一環景影像或該第二環景影像之左右轉動角度、傾角、及/或該第一鏡頭及該第二鏡頭之間的距離。
8. 如申請專利範圍第2項所述之影像處理裝置，其中該處理器更選擇該第一音軌或該第二音軌以搭配該縫合影像，且該縫合影像係藉由該處理器以轉換成環形影像或圓形影像。
9. 如申請專利範圍第2項所述之影像處理裝置，更包括：一顯示單元，該影像處理裝置係透過無線傳輸方式與該顯示單元相連接；其中該第一影像及第二影像係為圓形影像或環景影像，且該顯示單元可顯示該第一影像、第二影像或該縫合影像。
10. 如申請專利範圍第3項所述之影像處理裝置，其中該處理器更自動調整該第一環景影像及該第二環景影像，使得該第一環景影像及該第二環景影像之一縫合點位於該殼體之一中心水平線上。
11. 如申請專利範圍第4項所述之影像處理裝置，其中該第一鏡頭係具有一第一視角以拍攝該第一影像，且該第二鏡頭係具有一第二視角以拍攝該第二影像，且該第一視角係不同於該第二視角。
12. 如申請專利範圍第4項所述之影像處理裝置，其中該第一鏡頭係具有一第一視角以拍攝一第三影像，且該第二鏡頭係具有一第二視角以拍攝該第二影像，且該第一視角係不同於該第二視角，其中該處理器係由該第三影像中擷取相應於一第三視角之該第一影像，其中該第三視角係小於該第一視角。
13. 如申請專利範圍第4項所述之影像處理裝置，其中該第一鏡頭係具有一第一視角以拍攝該第一影像，且該第二鏡頭係具有一第二視角以拍攝該第二影像，且該第一視角係等於該第二視角，其中該第一影像視角中心線及該第二影像視角中心線之夾角係具有大於90度的一角度差值，該第一影像係分割為複數個第一部份影像，且該第二影像係分割為複數個第二部份影像，且各第一部份影像係相應於在該第二影像中相同位置之各第二部份影像，其中該處理器係將相同位置之各第一部份影像及相應的各第二部份影像進行該影像縫合處理以產生該縫合影像。
14. 一種影像處理裝置，包括：一第一鏡頭，具有一第一視角以拍攝一第一影像；一第二鏡頭，具有一第二視角以拍攝一第二影像，其中該第一視角係不同於該第二視角；一記憶體單元，用以儲存一影像縫合程式；一處理器，用以執行該影像縫合程式，並執行下列步驟：由該影像處理裝置接收一第一視訊檔案及一第二視訊檔案，其中該第一視訊檔案包括至少一該第一影像及一第一音軌，且該第二視訊檔案包括至少一該第二影像及一第二音軌；依據該第一音軌之一第一音頻特性及該第二音軌之一第二音頻特性，計算該第一音頻特性及該第二音頻特性間之一延遲時間，以同步該第一影像及該第二影像；將同步後之該第一影像及該第二影像分別轉換成為一第一校正影像及一第二校正影像；對該第一校正影像及該第二校正影像進行一影像縫合處理以產生一縫合影像。
15. 一種影像處理裝置，包括：一第一鏡頭，具有一第一視角以拍攝一第一影像；一第二鏡頭，具有一第二視角以拍攝一第二影像，其中該第一視角係不同或相同於該第二視角；一記憶體單元，用以儲存一影像縫合程式；一處理器，用以執行該影像縫合程式，並執行下列步驟：由該影像處理裝置接收一第一視訊檔案及一第二視訊檔案，其中該第一視訊檔案包括至少一該第一影像，且該第二視訊檔案包括至少一該第二影像；將該第一影像及該第二影像分別轉換成為一第一校正影像及一第二校正影像；對該第一校正影像及該第二校正影像進行一影像縫合處理以產生一縫合影像，其中更利用該第一視角以拍攝一第三影像，且該處理器係由該第三影像中擷取相應於一第三視角之該第一影像，其中該第三視角係小於該第一視角。
16. 如申請專利範圍第15項所述之影像處理裝置，其中當該第一視角相同於該第二視角時，該第一影像視角中心線及該第二影像視角中心線之夾角係具有大於90度的一角度差值，該第一影像係分割為複數個第一部份影像，且該第二影像係分割為複數個第二部份影像，且各第一部份影像係相應於在該第二影像中相同位置之各第二部份影像，其中該處理器係將相同位置之各第一部份影像及相應的各第二部份影像進行該影像縫合處理以產生該縫合影像。