TW201801528A - 立體影像產生方法及使用此方法的電子裝置 - Google Patents

Abstract

一種立體影像產生方法及使用此方法的電子裝置，此電子裝置包括適於拍攝立體影像的第一相機與第二相機，且第一相機的解析度大於第二相機的解析度。此方法利用第一相機拍攝第一影像，並利用第二相機拍攝第二影像，接著將第二影像放大至第一相機的解析度，而利用第一影像與放大後的第二影像產生深度圖。然後，參考此深度圖，將第一影像重新投射以重建第二影像的參考影像。之後則偵測參考影像中的遮蔽區域，並利用放大後的第二影像填補此遮蔽區域。最後產生包括第一影像及填補後的參考影像的立體影像。

Description

立體影像產生方法及使用此方法的電子裝置

本發明是有關於一種影像處理方法及裝置，且特別是有關於一種立體影像產生方法及使用此方法的電子裝置。

隨著影像擷取技術的日益進步，數位相機的畫素大幅增加，但相機尺寸則相對縮小，而可配置在手機、平板電腦等可攜式電子裝置上，讓使用者能夠隨時隨地拍攝影像。目前市面上有部分手機更配置有雙鏡頭相機，藉由雙鏡頭相機拍攝左右不同視角的影像，可生成立體影像提供使用者觀看。此外，根據左右影像中對應物件之間的像差，相機可進一步計算出影像中各個物件的深度資訊，並應用於物件偵測、景深調整、焦距切換等進階功能，而增加相機的運用空間。

然而，在相機上配置規格相同的雙鏡頭等同增加一倍的成本，此將使得配置雙鏡頭相機的裝置成本大幅增加。因此，如何能以最少的成本實現類似上述雙鏡頭相機所提供的功能，實為本領域業者極欲解決的問題之一。

本發明提供一種電子裝置及其立體影像產生方法，藉由對低解析度相機及高解析度相機所拍攝影像進行處理，可產生高解析度的立體影像。

本發明的立體影像產生方法適用於包括第一相機與第二相機的電子裝置，其中第一相機與第二相機適於拍攝立體影像，且第一相機的解析度大於第二相機的解析度。此方法利用第一相機拍攝第一影像，並利用第二相機拍攝第二影像，並將第二影像放大（upscale）至第一相機的解析度，而利用第一影像與放大後的第二影像產生深度圖。然後，參考此深度圖，將第一影像重新投射以重建第二影像的參考影像。之後則偵測參考影像中的遮蔽區域，並利用放大後的第二影像填補此遮蔽區域。最後產生包括第一影像及填補後的參考影像的立體影像。

在本發明的一實施例中，上述參考深度圖，將該第一影像重新投射以重建第二影像的參考影像的步驟更包括參考深度圖中的深度資訊及第一相機與第二相機之間的基線（baseline）距離，計算第一影像與第二影像的參考影像之間的像差資訊，而根據此像差資訊擷取重新投射於三維空間中的第一影像的影像資料，以作為第二影像的參考影像。

在本發明的一實施例中，上述參考深度圖，將第一影像重新投射以重建第二影像的參考影像的步驟更包括偵測電子裝置的使用者的兩眼距離，而根據兩眼距離及第一相機與第二相機之間的基線距離，計算基線距離調整值，然後參考深度圖及此基線距離調整值，將第一影像重新投射以重建第二影像的參考影像，使得參考影像與第一影像之間的像差資訊符合所述兩眼距離。

在本發明的一實施例中，上述參考深度圖及基線距離調整值，重新投射第一影像以重建第二影像的參考影像的步驟包括根據基線距離調整值，調整第二相機的位置並計算調整後的位置座標，擷取深度圖中的深度資訊，並轉換深度資訊的座標至世界座標系（world coordinate system），以及根據轉換後的深度資訊及第二相機的調整後的位置座標，將第一影像重新投射以重建第二影像的參考影像。

在本發明的一實施例中，上述偵測參考影像中的遮蔽區域的步驟包括將參考影像與放大後該第二影像進行匹配，並取參考影像中未與第二影像匹配的區域作為遮蔽區域。

在本發明的一實施例中，上述偵測參考影像中的遮蔽區域的步驟包括將偵測參考影像中的空白區域以作為遮蔽區域。

在本發明的一實施例中，在上述偵測參考影像中的遮蔽區域，並利用放大後的第二影像填補遮蔽區域的步驟之後，所述方法更偵測第一影像與第二影像中的主要物件，並調整第二影像的參考影像與第一影像之間的像差，使得主要物件聚集於電子裝置的顯示平面。

本發明的電子裝置包括第一相機、第二相機及影像處理電路。其中，影像處理電路是耦接該第一相機與第二相機，用以處理分別由第一相機與第二相機拍攝的第一影像與第二影像。影像處理電路中包括解析度放大模組、深度產生模組、影像重建模組、遮蔽區域偵測模組、遮蔽區域填補模組及立體影像產生模組。其中，第一相機與第二相機用以分別擷取產生立體影像所需的左眼影像與右眼影像其中之一，其中第一相機的解析度大於第二相機的解析度。解析度放大模組是用以將第二影像放大至第一相機的解析度。深度產生模組是用以利用第一影像與放大後的第二影像產生深度圖。影像重建模組是用以參考深度圖，而將第一影像重新投射以重建第二影像的參考影像。遮蔽區域偵測模組是用以偵測參考影像中的遮蔽區域，遮蔽區域填補模組則是用以利用放大後的第二影像填補遮蔽區域。立體影像產生模組是用以產生包括第一影像及填補後的參考影像的立體影像。

在本發明的一實施例中，上述的影像重建模組會參考深度圖中的深度資訊及第一相機與第二相機之間的基線距離，計算第一影像與第二影像的參考影像之間的像差資訊，並據此擷取重新投射於三維空間中的第一影像的影像資料，以重建第二影像的參考影像。

在本發明的一實施例中，上述的影像處理電路更包括兩眼距離偵測模組，其是用以偵測電子裝置的使用者的兩眼距離。而上述的影像重建模組則會根據兩眼距離及第一相機與第二相機之間的基線距離，計算基線距離調整值，並參考深度圖及基線距離調整值，將第一影像重新投射以重建第二影像的參考影像，使得參考影像與第一影像之間的像差資訊符合兩眼距離。

在本發明的一實施例中，上述的影像重建模組更根據基線距離調整值，調整第二相機的位置並計算調整後的位置座標，擷取深度圖中的深度資訊，並將此深度資訊的座標轉換至世界座標系，以及根據轉換後的深度資訊及第二相機的調整後的位置座標，將第一影像重新投射以重建第二影像的參考影像。

在本發明的一實施例中，上述的遮蔽區域偵測模組包括將參考影像與放大後的第二影像進行匹配，並取參考影像中未與第二影像匹配的區域作為遮蔽區域。

在本發明的一實施例中，上述的遮蔽區域偵測模組包括偵測參考影像中的空白區域以作為遮蔽區域。

在本發明的一實施例中，上述的影像處理電路更包括物件偵測模組及像差調整模組，其中物件偵測模組是用以偵測第一影像與第二影像中的主要物件，像差調整模組則是用以調整第二影像的參考影像與第一影像之間的像差，使得主要物件聚集於電子裝置的顯示平面。

基於上述，本發明的電子裝置及其立體影像產生方法藉由將低解析度相機所拍攝的影像放大，並與高解析度相機所拍攝的影像結合以算出影像的深度圖，據此重建出與低解析度相機所拍攝影像相對應的高解析度參考影像，而可與高解析度相機所拍攝的高解析度影像結合而生成高解析度的立體影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明採用低解析度相機搭配高解析度相機的架構，藉以減少裝置成本。其中，本發明利用高解析度相機所拍攝的高解析度影像重建低解析度相機的影像，並利用低解析度相機所拍攝的低解析度影像填補此重建影像中的遮蔽區域，最終將此重建影像與高解析度相機所拍攝的影像結合，而可產生高解析度的立體影像。本發明還進一步偵測使用者的兩眼距離，而用以調整相機的基線（baseline）距離，並據以重建低解析度相機的影像，使得重建影像與高解析度相機所拍攝的影像之間的像差資訊符合使用者的兩眼距離，並使得所產生的立體影像適於使用者觀看。

圖1是依照本發明一實施例所繪示的電子裝置的方塊圖。請參照圖1，本實施例的電子裝置10例如是數位相機、數位攝影機（Digital Video Camcorder，DVC），或是手機、平板電腦等可攜式電子裝置，其可提供攝像功能。電子裝置10中包括第一相機12、第二相機14與影像處理電路16，其功能分述如下：

第一相機12與第二相機14分別包括光學鏡頭、致動器、光圈、快門及影像感測器等元件，其中光學鏡頭是由數個凹凸透鏡組合而成，其是由步進馬達或音圈馬達（Voice Coil Motor，VCM）等致動器驅動以改變透鏡之間的相對位置，從而改變相機的焦距。快門是用以控制光進入相機的時間長短，其與光圈的組合會影響影像感測器所擷取影像的曝光量。影像感測器中配置有電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他種類的感光元件，而可感測進入光學鏡頭的光線強度以產生影像。在本實施例中，第一相機12與第二相機14分別為用以拍攝立體影像的左相機及右相機其中之一，而用以擷取產生立體影像所需的左眼影像與右眼影像，其中第一相機12的解析度預設大於第二相機14的解析度。

影像處理電路16中包括解析度放大模組161、深度產生模組162、影像重建模組163、遮蔽區域偵測模組164、遮蔽區域填補模組165及立體影像產生模組166。在一實施例中，上述影像處理電路16中的各個模組例如是以積體電路（Integrate Circuit，IC）實作，而可實現本發明實施例所述的立體影像產生方法。在另一實施例中，上述的影像處理電路16例如包括儲存裝置及處理器，其中儲存裝置例如是具有資料儲存功能的硬碟或記憶體，而處理器則例如是中央處理單元（Central Processing Unit，CPU）、微處理器（Microprocessor）、數位訊號處理器、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝（Programmable Logic Device，PLD）或其他具有資料運算功能的裝置。上述影像處理電路16中的各個模組例如是儲存在儲存裝置中的電腦程式，這些程式可經由處理器載入，而執行本發明實施例所述的立體影像產生方法。

詳言之，圖2是依照本發明一實施例所繪示之電子裝置的立體影像產生方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述圖1的電子裝置10，以下即搭配圖1中電子裝置10的各項元件，說明本實施例之立體影像產生方法的詳細步驟：

首先，利用第一相機12拍攝第一影像，並利用第二相機14拍攝第二影像（步驟S202）。其中，電子裝置10例如是在使用者按下快門鍵後，即同時觸發第一相機12及第二相機14拍攝影像。

接著，由解析度放大模組161將第二相機14所拍攝的第二影像放大至第一相機12的解析度（步驟S204）。其中，解析度放大模組161例如是採用內插法（interpolation）將低解析度的第二影像放大至與高解析度的第一影像相同的解析度。即，放大後的第二影像的尺寸將與第一影像的尺寸相同。

上述由解析度放大模組161放大後的第二影像將與第一相機12所擷取的第一影像一同傳輸至深度產生模組162，而由深度產生模組162利用此第一影像與放大後的第二影像產生深度圖（步驟S206）。詳言之，深度產生模組162例如會直接計算第一影像及放大後第二影像中相對應之各個像素的像差，並依據第一相機12及第二相機14拍攝第一影像及第二影像的焦距、相機間的基線距離以及各個像素的像差，估測各個像素的深度。其中，深度產生模組162例如是依據各個像素在第一影像及放大後第二影像中的位置，計算各個像素在第一影像及放大後第二影像之間的位移，以作為像差。

深度產生模組162所產生的深度圖將傳輸至影像重建模組163，而影像重建模組163則會參考此深度圖，重新投射第一影像以重建第二影像的參考影像（步驟S208）。詳言之，影像重建模組163例如會參考深度圖中的深度資訊及第一相機12與第二相機14之間的基線距離，計算第一影像與第二影像的參考影像之間的像差資訊，並據此擷取重新投射於三維空間的第一影像的影像資料，以重建第二影像的參考影像。藉此，可模擬出由第二相機14所在位置拍攝所得的高解析度影像。

需說明的是，在本實施例中，影像重建模組163是參考深度產生模組162所產生的深度圖來重建第二影像的參考影像。然而，在其他實施例中，影像重建模組163也可以參考由像差產生模組（未繪示）所產生的像差圖（disparity map）來重建第二影像的參考影像。上述的像差產生模組例如會計算第一影像及放大後第二影像中相對應之各個像素的像差（即各個像素在第一影像及放大後第二影像之間的位移），以產生像差圖。

然後，由遮蔽區域偵測模組164偵測參考影像中的遮蔽區域，並由遮蔽區域填補模組165利用放大後的第二影像填補此遮蔽區域（步驟S210）。其中，在一實施例中，由於參考影像與放大後第二影像所涵蓋的區域是相同的，故藉由比較參考影像與放大後第二影像的差異即可找到遮蔽區域。據此，遮蔽區域偵測模組164例如會將參考影像與前述放大後的第二影像進行匹配，並取參考影像中未與第二影像匹配的區域作為遮蔽區域。在另一實施例中，由於參考影像是由第一影像重新投射而得，因此原本第一影像中就被遮蔽的區域在重建影像中將會是空白的。據此，遮蔽區域偵測模組164可直接偵測參考影像中的空白區域以作為遮蔽區域。而遮蔽區域填補模組165則會直接使用放大後的第二影像中與此遮蔽區域相對應的區域的影像來填補遮蔽區域，最終生成高解析度的第二影像的參考影像。

舉例來說，圖3A至圖3D是依照本發明一實施例所繪示之遮蔽區域的範例。其中，圖3A及圖3B分別繪示電子裝置的左相機（預設具有較高的解析度）所拍攝的影像32以及右相機（預設具有較低的解析度）所拍攝影像的放大影像34，其中放大影像34的解析度與影像32的解析度相同。比較圖3A及圖3B中物件A與物件B的相對位置可知，由於左相機的位置偏左，故可拍攝到視角相對偏左的影像，而由於右相機的位置偏右，故可拍攝到視角相對偏右的影像。其中，若將影像32類比為上述較高解析度的第一影像，則當電子裝置要以此影像32重建影像34的參考影像36時，則會因為影像32中的物件A的右下部分區域32a（如圖3C所示）被物件B遮蔽，而無法在參考影像36中重建出與區域32a重疊的區域36a的影像。此時，電子裝置即可取用影像34中與區域36a相對應區域的影像資料來填補區域36a，最終生成高解析度的參考影像36。

回到圖2的流程，在完成遮蔽區域的填補之後，最後立體影像產生模組166即可產生包括由第一相機12所拍攝的第一影像以及由遮蔽區域填補模組165填補後的參考影像的立體影像（步驟S212）。

藉由上述方法，本實施例的電子裝置即可在使用一個低解析度相機的情況下，仍可產生具有高解析度的左右眼影像的立體影像。

需說明的是，電子裝置可能會因為尺寸較小、元件配置較複雜等因素，而挶限相機的配置空間。因此，一般配置雙鏡頭相機的手機，其相機間距僅有1至2公分，此距離與一般人的兩眼距離7.7公分有段差距。而此差距將會使得電子裝置所拍攝的立體影像的像差不足，致使觀看此立體影像的使用者會認為立體效果不佳。針對此問題，本發明即基於上述高低解析度相機的配置，提供了一種可適應性調整第二影像的重建影像與第一影像之間的像差的方法，藉以補償上述差距。

詳言之，圖4是依照本發明一實施例所繪示的電子裝置的方塊圖。請參照圖4，本實施例的電子裝置40例如是數位相機、數位攝影機，或是手機、平板電腦等可攜式電子裝置，其可提供攝像功能。電子裝置40中包括第一相機42、第二相機44、影像處理電路46、前相機48及顯示裝置50，其中第一相機42、第二相機44與圖1實施例的第一相機12、第二相機14相同或相似，故其詳細內容在此不再贅述。

與圖1實施例不同的是，本實施例的電子裝置40額外包括前相機48與顯示裝置50。其中，前相機48例如是配置於電子裝置40的正面（相對於第一相機42與第二相機44所配置的背面），用以拍攝電子裝置40的使用者的影像。顯示裝置50則例如是液晶顯示器（Liquid-Crystal Display，LCD）、發光二極體（Light-Emitting Diode，LED）顯示器或其他顯示器，其可顯示電子裝置40所拍攝的立體影像，也可與觸控面板結合為觸控螢幕，而可在顯示拍攝影像的同時，提供使用者藉由觸碰的方式對電子裝置40進行操作。

另一方面，本實施例的影像處理電路46中包括解析度放大模組461、深度產生模組462、影像重建模組463、遮蔽區域偵測模組464、遮蔽區域填補模組465、立體影像產生模組466、第一影像處理模組467、第二影像處理模組468及兩眼距離偵測模組469。其中，解析度放大模組461、深度產生模組462、遮蔽區域偵測模組464、遮蔽區域填補模組465、立體影像產生模組466的功能係與前述實施例的解析度放大模組161、深度產生模組162、遮蔽區域偵測模組164、遮蔽區域填補模組165、立體影像產生模組166相同或相似，故其詳細內容在此不再贅述。

與圖1實施例不同的是，本實施例的影像處理電路46額外包括第一影像處理模組467、第二影像處理模組468及兩眼距離偵測模組469。其中，第一影像處理模組467及第二影像處理模組468例如會針對第一相機42及第二相機44所擷取的影像訊號進行處理，而得到第一影像及第二影像。第一影像處理模組467及第二影像處理模組468還可對此影像執行亮度、對比度、色溫、白平衡、銳利度或鮮豔度調整，或是雜訊消除等處理，使得處理後的影像適用於後續立體影像的生成。此外，兩眼距離偵測模組469例如會接收前鏡頭48所拍攝的使用者影像，並可藉由執行人臉辨識、眼球辨識等影像處理，計算出使用者的兩眼距離。兩眼距離偵測模組469所計算的兩眼距離將會傳輸至影像重建模組463，而用以作為其重建第二影像的參考影像的參考。

詳言之，圖5是依照本發明一實施例所繪示之電子裝置的立體影像產生方法的流程圖。請同時參照圖4及圖5，本實施例的方法適用於上述圖4的電子裝置40，以下即搭配圖4中電子裝置40的各項元件，說明本實施例之立體影像產生方法的詳細步驟：

首先，利用第一相機42拍攝第一影像，並利用第二相機44拍攝第二影像（步驟S502）。之後，由解析度放大模組461將第二相機44所拍攝的第二影像放大至第一相機42的解析度（步驟S504），並由深度產生模組462利用此第一影像與放大後的第二影像產生深度圖（步驟S506）。上述步驟S502~S506的實施方式與前述實施例中步驟S202~S206的實施方式相同或相似，故其詳細內容在此不再贅述。

與圖1實施例不同的是，本實施例在第一相機42及第二相機44拍攝影像的同時，還使用前相機48拍攝使用者的影像，並由兩眼距離偵測模組469藉由分析此影像，而偵測出電子裝置40的使用者的兩眼距離（步驟S508）。此兩眼距離將被傳輸至影像重建模組463，而由影像重建模組463根據兩眼距離及第一相機42與第二相機44之間的基線距離，計算基線距離調整值。舉例來說，若第一相機42與第二相機44之間的基線距離為1.5公分，而所偵測到的兩眼距離為6.5公分，則可得到基線距離調整值為5公分。

然後，影像重建模組463會參考深度產生模組162所產生的深度圖及上述的基線距離調整值，重新投射第一影像以重建第二影像的參考影像，使得參考影像與該第一影像之間的像差資訊符合兩眼距離（步驟S512）。詳言之，影像重建模組463例如會根據基線距離調整值，調整第二相機42的位置並計算調整後的位置座標，另外也會擷取深度圖中的深度資訊，並轉換深度資訊的座標至世界座標系（world coordinate system），最後則根據轉換後的深度資訊及第二相機42的調整後位置座標，重新投射第一影像以重建第二影像的參考影像。

舉例來說，圖6A及圖6B是依照本發明一實施例所繪示之依據基線距離調整值重建參考影像的範例。請先參照圖6A，本實施例的電子裝置的左相機62及右相機64之間的基線距離為d1，其中左眼影像62a是由左相機62所拍攝的影像，而右眼影像64a則是由電子裝置根據上述實施例的方法所重建的右相機64所拍攝影像的參考影像。接著，請參照圖4B，使用者的左眼66與右眼68的距離為d2。電子裝置即可藉由上述的基線距離為d1及使用者的兩眼距離d2，計算出基線距離調整值，並用以調整所重建的參考影像。詳言之，比較左眼影像62a與左眼影像62b可知，其中物件的位置沒變，而比較右眼影像64a與右眼影像64b可知，其中物件的位置已向左位移，此將使得這些物件的像差加大，而符合使用者的兩眼距離d2。需說明的是，在本實施例中，電子裝置僅根據兩眼距離d2調整重建的右眼影像64a，以使左眼影像62b與右眼影像64b的像差符合使用者的兩眼距離d2。然而在其他實施例中，電子裝置也可以同時調整較左眼影像62a與右眼影像64a，或是僅調整左眼影像64a，以使調整後的左右眼影像的像差符合使用者的兩眼距離d2，在此不設限。

回到圖5的流程，在完成影像的調整後，接著由遮蔽區域偵測模組464偵測參考影像中的遮蔽區域，並由遮蔽區域填補模組465利用放大後的第二影像填補此遮蔽區域（步驟S514）。最後則由立體影像產生模組466產生包括由第一相機42所拍攝的第一影像以及由遮蔽區域填補模組465填補後的參考影像的立體影像（步驟S516），此立體影像例如會進一步被傳輸到顯示裝置50上顯示，而提供使用者觀看。上述步驟S514~S516的實施方式與前述實施例中步驟S210~S212的實施方式相同或相似，故其詳細內容在此不再贅述。

藉由上述方法，使用者在使用電子裝置拍攝立體影像的同時，即可在電子裝置的顯示裝置50上觀看到立體效果較佳的立體影像。

需說明的是，為了讓使用者兩眼產生立體感，電子裝置會將具有視角（parallax）差的兩張影像（即左眼影像及右眼影像）顯示在同一個顯示平面上，而在兩張影像中出現的物件則會依其像差（disparity）收斂在相對於顯示平面的不同位置。舉例來說，具有負視差的物件將會呈現在顯示平面的前方；具有正視差的物件將會呈現在顯示平面的後方；而具有零視差的物件則會呈現在顯示平面上。藉由上述視差的差異，使用者將會感知到這些物件的遠近，進而產生立體感。其中，由於使用者的兩眼會嘗試聚焦在顯示平面上，但影像中的某些物件會收斂於不同於顯示平面的其他位置，此將造成使用者容易感到頭暈。

對此，基於使用者在觀看立體影像時，通常會聚焦在影像中的主要物件上，例如電影中演員的臉部，因此若將出現在左右眼影像中的演員臉部區域調整為零視差，將可提供使用者一個相對較為舒適的觀看體驗。據此，本發明提供一種可依據主要物件位置調整所產生立體影像的方法，以提供適於使用者觀看的立體影像。

詳言之，圖7是依照本發明一實施例所繪示的電子裝置的方塊圖。請參照圖7，本實施例的電子裝置70例如是數位相機、數位攝影機，或是手機、平板電腦等可攜式電子裝置，其可提供攝像功能。電子裝置70中包括第一相機72、第二相機74、影像處理電路76及顯示裝置78，其中第一相機72、第二相機74與圖1實施例中的第一相機12、第二相機14相同或相似，故其詳細內容在此不再贅述。

與圖1實施例不同的是，本實施例的電子裝置40額外包括顯示裝置78，其例如是液晶顯示器、發光二極體顯示器或其他顯示器，其可顯示電子裝置70所拍攝的立體影像。顯示裝置78也可與觸控面板結合為觸控螢幕，而可在顯示拍攝影像的同時，提供使用者藉由觸碰的方式對電子裝置70進行操作。

另一方面，本實施例的影像處理電路76中包括解析度放大模組761、深度產生模組762、影像重建模組763、遮蔽區域偵測模組764、遮蔽區域填補模組765、立體影像產生模組766、第一影像處理模組767、第二影像處理模組768、物件偵測模組769及像差調整模組770。其中，解析度放大模組761、深度產生模組762、影像重建模組763、遮蔽區域偵測模組764、遮蔽區域填補模組465、立體影像產生模組466的功能係與圖1實施例的解析度放大模組161、深度產生模組162、影像重建模組163、遮蔽區域偵測模組164、遮蔽區域填補模組165、立體影像產生模組166相同或相似，故其詳細內容在此不再贅述。

與圖1實施例不同的是，本實施例的影像處理電路76額外包括第一影像處理模組767、第二影像處理模組768、物件偵測模組769及像差調整模組770。其中，第一影像處理模組767及第二影像處理模組768例如會針對第一相機72及第二相機74所擷取的影像訊號進行處理，而得到第一影像及第二影像。第一影像處理模組767及第二影像處理模組768還可對此影像執行亮度、對比度、色溫、白平衡、銳利度或鮮豔度調整，或是雜訊消除等處理，使得處理後的影像適用於後續立體影像的生成。此外，物件偵測模組769則會接收第一影像處理模組767與第二影像處理模組768處理後的第一影像與第二影像，進而偵測此第一影像與第二影像中的主要物件，並提供給像差調整模組770。像差調整模組770則會針對物件偵測模組769所偵測到的主要物件，調整第二影像的參考影像與第一影像之間的像差，使得主要物件聚集於電子裝置70的顯示平面。

詳言之，圖8是依照本發明一實施例所繪示之電子裝置的立體影像產生方法的流程圖。請同時參照圖7及圖8，本實施例的方法適用於上述圖7的電子裝置70，以下即搭配圖7中電子裝置10的各項元件，說明本實施例之立體影像產生方法的詳細步驟：

本實施例與圖2實施例的不同之處在於，本實施例額外包括步驟S812，其中是由物件偵測模組769偵測第一影像與第二影像中的主要物件，並由像差調整模組770調整第二影像的參考影像與第一影像之間的像差，使得主要物件可聚集於電子裝置的顯示平面。藉此，可提供使用者一個舒適的觀看體驗。

舉例來說，圖9A及圖9B是依照本發明一實施例所繪示之依據主要物件調整影像像差的範例。其中，圖9A繪示使用者左眼92與右眼94所觀看之物件與顯示平面之間的關係。其中，具有負視差的物件C將會呈現在顯示平面的前方；具有正視差的物件D將會呈現在顯示平面的後方。假設物件96是立體影像中的主要物件，而由於物件96具有負視差，故使用者左眼92與右眼94在立體影像中觀看到的物件96是位於顯示平面的前方，此將造成使用者容易感到頭暈。對此，本實施例的電子裝置即會調整立體影像中左右眼影像的像差，使得物件96的視差為零。請參照圖9B，在調整立體影像的像差後，使用者左眼92與右眼94在調整後立體影像中觀看到的物件96將是位於顯示平面上，從而提供使用者一個較為舒適的觀看體驗。

綜上所述，本發明的立體影像產生方法及使用此方法的電子裝置採用高解析度相機搭配低解析度相機的架構，利用高解析度相機所拍攝的高解析度影像重建低解析度相機的影像，並利用低解析度相機所拍攝的低解析度影像填補此重建影像中的遮蔽區域，從而可產生高解析度的立體影像。本發明還可進一步根據使用者的兩眼距離及影像中主要物件的深度資訊，調整影像的像差，從而提供一個立體效果較佳或觀看上較為舒適的立體影像。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10、40、70‧‧‧電子裝置
12、42、72‧‧‧第一相機
14、44、74‧‧‧第二相機
16、46、76‧‧‧影像處理電路
161、461、761‧‧‧解析度放大模組
162、462、762‧‧‧深度產生模組
163、463、763‧‧‧影像重建模組
164、464、764‧‧‧遮蔽區域偵測模組
165、465、765‧‧‧遮蔽區域填補模組
166、466、766‧‧‧立體影像產生模組
32‧‧‧影像
32a、36a‧‧‧區域
34‧‧‧放大影像
36‧‧‧參考影像
467、767‧‧‧第一影像處理模組
468、768‧‧‧第二影像處理模組
469‧‧‧兩眼距離偵測模組
48‧‧‧前相機
50、78‧‧‧顯示裝置
62‧‧‧左相機
64‧‧‧右相機
62a、62b‧‧‧左眼影像
64a、64b‧‧‧右眼影像
66、92‧‧‧左眼
68、94‧‧‧右眼
769‧‧‧物件偵測模組
770‧‧‧像差調整模組
A、B、C、D、96‧‧‧物件
d1‧‧‧基線距離
d2‧‧‧兩眼距離
S202~S212、S502~S516、S802~S814‧‧‧本發明一實施例之立體影像產生方法的步驟。

圖1是依照本發明一實施例所繪示的電子裝置的方塊圖。 圖2是依照本發明一實施例所繪示之電子裝置的立體影像產生方法的流程圖。 圖3A至圖3D是依照本發明一實施例所繪示之遮蔽區域的範例。 圖4是依照本發明一實施例所繪示的電子裝置的方塊圖。 圖5是依照本發明一實施例所繪示之電子裝置的立體影像產生方法的流程圖。 圖6A及圖6B是依照本發明一實施例所繪示之依據基線距離調整值重建參考影像的範例。 圖7是依照本發明一實施例所繪示的電子裝置的方塊圖。 圖8是依照本發明一實施例所繪示之電子裝置的立體影像產生方法的流程圖。 圖9A及圖9B是依照本發明一實施例所繪示之依據主要物件調整影像像差的範例。

S202~S212‧‧‧本發明一實施例之立體影像產生方法的步驟

Claims (14)

1. 一種立體影像產生方法，適用於包括第一相機與第二相機的電子裝置，其中該第一相機與該第二相機適於拍攝立體影像，且該第一相機的解析度大於該第二相機的解析度，該方法包括下列步驟： 利用該第一相機拍攝第一影像，並利用該第二相機拍攝第二影像； 放大（upscale）該第二影像至該第一相機的解析度； 利用該第一影像與放大後的該第二影像產生深度圖； 參考該深度圖，重新投射該第一影像以重建該第二影像的參考影像； 偵測該參考影像中的遮蔽區域，並利用放大後的該第二影像填補該遮蔽區域；以及 產生包括該第一影像及填補後的該參考影像的該立體影像。
2. 如申請專利範圍第1項所述的方法，其中參考該深度圖，重新投射該第一影像以重建該第二影像的該參考影像的步驟更包括： 參考該深度圖中的深度資訊及該第一相機與該第二相機之間的基線（baseline）距離，計算該第一影像與該第二影像的該參考影像之間的像差資訊；以及 根據該像差資訊擷取重新投射於三維空間中的該第一影像的影像資料，以重建該第二影像的該參考影像。
3. 如申請專利範圍第1項所述的方法，其中參考該深度圖，重新投射該第一影像以重建該第二影像的該參考影像的步驟更包括： 偵測該電子裝置的使用者的兩眼距離； 根據該兩眼距離及該第一相機與該第二相機之間的基線距離，計算基線距離調整值；以及 參考該深度圖及該基線距離調整值，重新投射該第一影像以重建該第二影像的該參考影像，使得該參考影像與該第一影像之間的像差資訊符合該兩眼距離。
4. 如申請專利範圍第3項所述的方法，其中參考該深度圖及該基線距離調整值，重新投射該第一影像以重建該第二影像的該參考影像的步驟包括： 根據該基線距離調整值，調整該第二相機的位置並計算調整後的位置座標； 擷取該深度圖中的深度資訊，並轉換該深度資訊的座標至世界座標系（world coordinate system）；以及 根據轉換後的該深度資訊及該第二相機的調整後的該位置座標，重新投射該第一影像以重建該第二影像的該參考影像。
5. 如申請專利範圍第1項所述的方法，其中偵測該參考影像中的該遮蔽區域的步驟包括： 將該參考影像與放大後的該第二影像進行匹配；以及 取該參考影像中未與該第二影像匹配的區域作為該遮蔽區域。
6. 如申請專利範圍第1項所述的方法，其中偵測該參考影像中的該遮蔽區域的步驟包括： 偵測該參考影像中的空白區域作為該遮蔽區域。
7. 如申請專利範圍第1項所述的方法，其中在偵測該參考影像中的遮蔽區域，並利用放大後的該第二影像填補該遮蔽區域的步驟之後，更包括： 偵測該第一影像與該第二影像中的主要物件；以及 調整該第二影像的該參考影像與該第一影像之間的像差，使得該主要物件聚集於該電子裝置的顯示平面。
8. 一種電子裝置，包括： 第一相機與第二相機，分別擷取產生立體影像所需的左眼影像與右眼影像其中之一，其中該第一相機的解析度大於該第二相機的解析度； 影像處理電路，耦接該第一相機與該第二相機，處理分別由該第一相機與該第二相機拍攝的第一影像與第二影像，包括： 解析度放大模組，放大該第二影像至該第一相機的解析度； 深度產生模組，利用該第一影像與放大後的該第二影像產生深度圖； 影像重建模組，參考該深度圖，重新投射該第一影像以重建該第二影像的參考影像； 遮蔽區域偵測模組，偵測該參考影像中的遮蔽區域； 遮蔽區域填補模組，利用放大後的該第二影像填補該遮蔽區域；以及 立體影像產生模組，產生包括該第一影像及填補後的該參考影像的該立體影像。
9. 如申請專利範圍第8項所述的電子裝置，其中該影像重建模組包括參考該深度圖中的深度資訊及該第一相機與該第二相機之間的基線距離，計算該第一影像與該第二影像的該參考影像之間的像差資訊，並據此擷取重新投射於三維空間中的該第一影像的影像資料，以重建該第二影像的該參考影像。
10. 如申請專利範圍第8項所述的電子裝置，其中該影像處理電路更包括： 兩眼距離偵測模組，偵測該電子裝置的使用者的兩眼距離，其中 該影像重建模組包括根據該兩眼距離及該第一相機與該第二相機之間的基線距離，計算基線距離調整值，並參考該深度圖及該基線距離調整值，重新投射該第一影像以重建該第二影像的該參考影像，使得該參考影像與該第一影像之間的像差資訊符合該兩眼距離。
11. 如申請專利範圍第10項所述的電子裝置，其中該影像重建模組更根據該基線距離調整值，調整該第二相機的位置並計算調整後的位置座標，擷取該深度圖中的深度資訊，並轉換該深度資訊的座標至世界座標系，以及根據轉換後的該深度資訊及該第二相機的調整後的該位置座標，重新投射該第一影像以重建該第二影像的該參考影像。
12. 如申請專利範圍第8項所述的電子裝置，其中該遮蔽區域偵測模組包括將該參考影像與放大後的該第二影像進行匹配，並取該參考影像中未與該第二影像匹配的區域作為該遮蔽區域。
13. 如申請專利範圍第8項所述的電子裝置，其中該遮蔽區域偵測模組包括偵測該參考影像中的空白區域以作為該遮蔽區域。
14. 如申請專利範圍第8項所述的電子裝置，其中該影像處理電路更包括： 物件偵測模組，偵測該第一影像與該第二影像中的主要物件；以及 像差調整模組，調整該第二影像的該參考影像與該第一影像之間的像差，使得該主要物件聚集於該電子裝置的顯示平面。