TWI502988B - 電子裝置及增強影像解析度之方法及其電腦可讀取媒體 - Google Patents

Description

電子裝置及增強影像解析度之方法及其電腦可讀取媒體

本發明係關於一種影像擷取及處理技術。

影像擷取裝置(例如：數位相機)使用影像感測器來取得影像資料。舉例來說，此類的影像感測器可為電荷耦合元件(charged coupled device,CCD)感測器以及互補式金氧半導體(complementary metal oxide semiconductor,CMOS)感測器，每一感測器使用可將入射光線轉換為電子訊號的感測器像素。一般而言，影像感測器之像素密度與其價格高度相關，具有較高像素密度之感測器的價格比具有較低像素密度之感測器的價格更為昂貴。

有鑑於此，本發明提供一種電子裝置及增強影像解析度之方法。

本發明實施例提供一種電子裝置，包括：一影像擷取感測器，其具有複數像素，用以藉由於一曝光時間中入射於像素上的光線轉換為電子訊號來取得一影像畫框；以及一影像擷取系統，選擇性地操作於第一影像擷取模式以及第二影像擷取模式；於第一影像擷取模式時，影像擷取系統輸出相應於單一曝光時間中所取得之單一影像畫框的一影像；以及於第二影像擷取模式時，影像擷取系統輸出相應於一多重曝光時間中所取得之複數影像畫框的增強影像，使增強影像所呈現之解析度高於第一影像擷取模式取得之影像所呈現之解析度。

本發明實施例另提供一種增強影像解析度之方法，包括下列步驟：利用影像擷取感測器之像素，取得相應於一場景之複數影像畫框；指定影像資訊的複數影像畫框其中一者做為參考畫框；以及處理參考畫框以提供一增強影像，使增強影像所呈現之解析度高於參考畫框所呈現之解析度。

本發明實施例另提供一種電腦可讀取媒體，儲存電腦可讀取指令，可被電腦處理器載入以執行一方法，此方法包括：利用一影像擷取感測器之像素，取得相應於一場景之複數影像畫框；指定複數影像畫框其中一者做為參考畫框；以及處理參考畫框以提供增強影像，使增強影像所呈現之解析度高於參考畫框所表示之一解析度。

本發明上述方法可以透過程式碼方式存在。當程式碼被機器載入且執行時，機器變成用以實行本發明之裝置。

100‧‧‧電子裝置

102‧‧‧場景

104‧‧‧人物

A、B、C、D‧‧‧視點

112、114、116、118‧‧‧畫框

120‧‧‧參考畫框

130、132、134‧‧‧執行步驟

140‧‧‧電子裝置

150‧‧‧處理裝置

152‧‧‧輸入/輸出介面單元

154‧‧‧顯示裝置

156‧‧‧觸控螢幕介面單元

158‧‧‧網路/通訊介面單元

160‧‧‧記憶體

162‧‧‧作業系統

164‧‧‧大量儲存裝置

166‧‧‧資料匯流排

168‧‧‧資料匯流排

170‧‧‧加速度感測器

172‧‧‧影像擷取系統

180‧‧‧影像

182、184、186、188‧‧‧區域

190‧‧‧低解析度像素輸出

192、194、196、198‧‧‧影像像素

210、212、…、228‧‧‧執行步驟

250‧‧‧裝置

252‧‧‧光圈

254‧‧‧場景

256‧‧‧光圈

258、260‧‧‧畫框

第1A圖顯示本發明一實施例用以取得影像資訊之電子裝置的示意圖。

第1B圖顯示依據第1A圖之實施例所取得之代表影像資訊的示意圖。

第2圖顯示本發明一實施例用以增強影像解析度之方法的流程圖。

第3圖顯示本發明一實施例可用以實作一影像擷取系統之電子裝置示意圖。

第4A圖顯示本發明一實施例之真實影像的部份示意圖。

第4B圖顯示相應第4A圖之真實影像之習知低解析度像素輸出之示意圖。

第4C圖顯示本發明一實施例之真實影像的增強影像之影像像素之示意圖。

第5圖顯示本發明另一實施例之用以增強影像解析度之方法的流程圖。

第6A圖顯示本發明另一實施例用以取得影像資訊之電子裝置示意圖。

第6B圖顯示本發明一實施例中利用第6A圖之實施例所取得的影像畫框的示意圖。

為使本發明之上述和其他目的、特徵、和優點能更明顯易懂，下文特舉出較佳實施例，並配合所附圖式，作詳細說明如下。

本發明實施例提供用以增強解析度影像擷取的裝置與方法，於一些實施例中，其涉及包含內建相機之智慧型手機之使用。舉例來說，智慧型手機可包含影像擷取系統，此影像擷取系統選擇性地操作於一標準解析度模式以及一增強解析度模式。於增強解析度模式，影像擷取系統輸出相應於多重曝光時間中所取得的複數影像畫框(frame)的一增強影像。於一些實施例中，影像資訊畫框係於裝置移動時取得，使得因為視點變化產生的細微變化可顯現於所取得的影像中。尤其，增強影像可經處理來呈現比標準解析度模式有關的影像所呈現的解析度更高的較高解析度(特別是在影像中確認具有顯著對比的邊緣位置上)。

就此而言，第1A圖顯示本發明一實施例之電子裝置的示意圖，此電子裝置用以取得影像資訊。如第1A圖所示，電子裝置100(例如：一行動裝置)取得有關一場景102的影像資訊，其中場景102包括人物104。於取得影像資訊時，電子裝置100操作於一增強解析度模式，於此模式中可利用複數影像畫框來提供一輸出影像，此輸出影像具有比影像擷取感測器(未繪示)可取得之影像資訊更高的像素解析度(例如：在影像中可偵測到之具有顯著對比的部份)。標準解析度模式之操作則相異於此，標準解析度模式利用單一影像畫框來提供輸出影像。

於第1A圖中，電子裝置100於影像擷取時被使用者移動以及/或相機自動移動(例如虛線所示的經由點A、B、C、D)，因此畫框是從不同視點(point of view)所取得。

第1B圖顯示依據本發明第1A圖之實施例所取得之代表影像資訊之示意圖。於第1B圖中，分別顯示了與視點A、B、C、D相關之影像畫框(分別為畫框112、114、116與118)，以及與電子裝置之原始位置相關之影像畫框(參考畫框120)。請注意，本發明之實施例可取得任意數量的影像畫框以提供電子裝置的不同視點，本發明並不限於第1A圖所顯示的數量或特定移動方式。

於參考畫框120中，人物104相對位於畫框的中央，而於畫 框112中，人物稍微地由下往左偏移。相反地，人物於畫框114中由上往右偏移、於畫框116中由下往右偏移、以及於畫框118中由上往左偏移。如將描述於下，多個影像資訊畫框之間的偏移是用以調整參考畫框來產生增強影像。請注意，圖中所顯示的偏移量為真實偏移量之放大以利說明之便。

第2圖顯示本發明一實施例之用以增強影像解析度之方法的流程圖。如第2圖所示，此方法首先於步驟130中利用影像擷取感測器來取得相應一場景(scene)的多個影像畫框。於步驟132，指定多個影像畫框的其中一者做為參考畫框。接著，如步驟134所示，處理參考畫框以產生增強影像。請注意，增強影像呈現之解析度比參考影像所呈現之解析度較高(例如：在影像中具有可偵測的邊緣對比的部份)。

第3圖顯示本發明一實施例之電子裝置示意圖，其中電子裝置可用以實作一個影像擷取系統。如前所述，電子裝置140可為一智慧型手機，但也可為任何廣泛使用的各種裝置之其中一者。如第3圖所示，電子裝置140包括處理裝置(處理器)150、輸入/輸出介面單元152、顯示裝置154、觸控螢幕介面單元156、網路/通訊介面單元158、記憶體160、作業系統162以及大量儲存裝置164，其中各單元可透過區域資料匯流排166來進行通訊。另外，電子裝置140包含影像擷取感測器168、一或多個加速度感測器170以及影像擷取系統172。

處理裝置150可以是客製化或市售處理器、中央處理單元(CPU)、或與電子裝置140相關之數個處理器的輔助處理器、半導體為基礎的微處理器(以微晶片形式)、一或多個應用特殊整合電路(ASIC)、複數個適當設定的數位邏輯閘、以及其它電子設定包括分散的元件同時個別的且以各種組合方式來完成系統的整體操作。

記憶體160可包括揮發性記憶體元件之組合的任何一者(例如：隨機存取記憶體(RAM，例如DRAM以及SRAM等等))以及非揮發性記憶體元件。記憶體通常包括原始作業系統162、一或多個原始應用程式、模擬系統、或各種作業系統之任意一者的模擬應用程式以及/或模擬硬體平台、模擬作業系統等等。舉例來說，應用程式可包括應用程式特定軟體，其可包括電子裝置140的部份或全部元件。於一些實施例中，這些元件是 儲存於記憶體160中且由處理裝置150所執行。

觸控螢幕介面單元156用以偵測顯示裝置154之顯示區域裡的觸碰，並提供可允許使用者藉由觸碰方式來導覽使用者介面的功能，例如螢幕上按鈕、選單、鍵盤、軟體按鍵等等的功能。加速度感測器170用以偵測電子裝置140的移動。

熟悉此技藝人士可知記憶體160可以且通常包括其他的必要元件，其細節不在此贅述。注意的是，於本發明揭露書內容中，一個非瞬時性電腦可讀取媒體可儲存一或多個程式，其可被使用於或相連接於指令執行系統、設備或裝置。請再參見第3圖，網路/通訊介面單元158包括用以在一網路的環境中傳送及/或接收資料的各種元件。當這類元件被實施為一應用程式時，前述一或多個元件可儲存於非瞬時性電腦可讀取媒體中且由處理裝置150所執行。

第4A圖顯示依據本發明一實施例之真實影像的部份示意圖。特別來說，影像180表示一場景中大小可於影像擷取感測器之低解析度像素相比的一部份。具體來說，當低解析度像素具有極大的解析度時，影像180可透過像素來擷取得到。注意的是，影像180中分別包括位於右上角及左下角的較暗區域182與184，以及位於左上角及右下角的較亮區域186與188。

雖然影像180可呈現高對比，低解析度像素所提供之輸出僅對應於射入在像素上之光線的平均值。因此，在標準(低解析度)模式下的低解析度像素輸出190(第4B圖)其像素呈現的是均勻灰階色彩。

相反地，第4C圖顯示本發明一實施例相應於第4A圖之影像180的增強影像之影像像素之示意圖。如第4C圖所示，於此實施例中，影像像素192、194、196以及198可提供改良解析度，其為低解析度像素輸出所提供的四倍。注意的是，於其他實施例中，可提供4：1之外的影像像素比例。

為了提供影像像素，影像像素的值是利用於影像擷取感測器於多重曝光時間(multiple exposure)所取得的影像資訊來計算。其中，虛線部份表示於多重曝光時間所取得的其他影像畫框(例如：部分202與204)。特別地，這些其他影像畫框的相對方向是用以顯示影像資訊之內文的偏移， 為影像擷取時視點變化的屬性。

影像像素所算出的值的特性加入至增強影像。於此實施例中，影像資訊之值可結合並且映射至對應的影像像素。

於產生前述增強影像時，於多重曝光時間所取得的多個影像畫框其中之一被指定為參考畫框。於某些實施例中，於多重曝光時間取得的第一影像畫框可作為參考畫框。於多重曝光時間時取得的其他影像畫框接著用以修改參考畫框的影像資訊。舉例來說，影像資訊可為實際上地與參考畫框的影像對齊，且前述影像畫框的累積像素值可用以計算影像像素之值。

如第4C圖所示，此可藉由設定一邊緣偵測門檻值(在對應的圖形中由散列標示所表示)來實現，使得當合併的輸入對應於前述門檻值時，可識別出一邊緣。因此，增強影像的產生是用來呈現對應於所計算之影像像素數量的像素解析度。

假設邊緣偵測可由連續影像畫框中等效之感測器像素來分析而得，也就是說，在幾乎與參考畫框相同的影像位置所偵測到的像素，顯然地相機或感測器移動的量只需要足夠將影像的對比邊緣平移一低解析度像素部份的量。前述移動可由相機攝影師及/或自動化移動所提供，且不同於相機自動對焦移動的動作。

第5圖顯示依據本發明另一實施例之用以增強影像解析度之方法的流程圖，其可由電子裝置所執行(例如：第1圖的裝置100)。如第5圖所示，此方法首先於步驟210中致能電子裝置的增強解析度影像擷取模式。於一些實施例中，此步驟可包含與電子裝置的使用者互動，例如：透過制動(actuate)一按鈕或從選單中選擇操作模式等等。於步驟212，於使用者制動電子裝置的快門時取得影像資訊。於某些實施例中，可同時發出一快門聲(shutter sound)。之後，如步驟214，透過電子裝置的顯示裝置顯示使用者可移動裝置的建議移動路徑。

於步驟216，判斷是否偵測到一第一滑動(swipe)(亦即：裝置的移動)。若偵測到第一滑動時，於步驟218在偵測到移動時取得額外影像畫框。於某些實施例中，可同時發出多個快門聲(multi-shutter sound)。接 著於步驟220，判斷是否偵測到一第二滑動。若偵測到第二滑動時，於步驟222在偵測到移動時取得更多影像畫框，亦可伴隨多個快門聲。

於步驟224，於影像擷取時判斷偵測到的移動是否足夠提供想要的各種視點。若偵測到的移動足夠時，執行步驟226來處理影像資訊以產生一增強影像。然而，若偵測到的移動不足夠時，於步驟228，可能無法產生增強影像，且取得的一或多個影像畫框可儲存為標準解析度影像。若步驟216中判定未偵測到第一滑動與步驟220中判定未偵測到第二滑動時也會提供這樣的結果。在相機自動地執行移動路徑的例子中，可以不需要使用者回饋。

第6A圖顯示依據本發明另一實施例之用以取得影像資訊之電子裝置示意圖。如第6A圖所示，裝置250設有多個光圈(aperture)(於此例中有兩個這類光圈)，其中每一光圈是用於從稍微不同的視點來取得影像資訊。特別來說，相較於透過光圈256所取得的影像資訊，光圈252是從稍微偏上且朝左的場景254取得影像資訊。

第6B圖顯示依據本發明一實施例中利用第6A圖之實施例所取得之影像畫框的示意圖。特別來說，畫框258對應於光圈252且畫框260對應於光圈256。由於影像資訊間的偏差，增強影像可利用相較於只使用一光圈的裝置所需較少的裝置移動來產生。

當本發明之方法，或特定型態或其部份以軟體實施時，流程圖中所表示的每個步驟表示一模組、程式段落或部分的程式碼，包括儲存在非瞬時性電腦可讀取媒體中的程式指令以實現特定邏輯功能。因此，程式指令可被實作於原始碼形式，其包括以程式語言撰寫的語句，或包括可由一適當執行系統例如第3圖之裝置140所識別的機器碼，機器碼可由原始碼轉換而得等等。當以硬體實施時，每一區塊可表示一電路或一些互連的電路以實現特定邏輯功能。另外，雖然前述流程圖顯示特定的執行順序，然可理解的是，其可具有不同的執行順序。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

130、132、134‧‧‧執行步驟

Claims (18)

1. 一種電子裝置，包括：一影像擷取感測器，具有複數像素，用以藉由將一曝光時間中入射於上述像素上的光線轉換為電子訊號來取得一影像畫框；以及一影像擷取系統，選擇性地操作於一第一影像擷取模式和一第二影像擷取模式；於上述第一影像擷取模式時，上述影像擷取系統輸出對應於一單一曝光時間中所取得之一單一影像畫框的一影像；以及於上述第二影像擷取模式時，上述影像擷取系統輸出對應於一多重曝光時間中所取得之複數影像畫框的一增強影像，使上述增強影像所呈現之一第二解析度較高於上述第一影像擷取模式之上述影像所呈現之一第一解析度，其中上述影像擷取系統於進行增強處理操作時執行有關上述影像畫框之邊緣偵測，其中上述影像畫框之邊緣偵測應用於上述影像畫框之整張影像。
2. 如申請專利範圍第1項所述之電子裝置，其中上述增強影像之上述第二解析度高於上述影像擷取感測器之一像素解析度。
3. 如申請專利範圍第1項所述之電子裝置，其中上述電子裝置更包括一移動感測器，用以偵測上述電子裝置之移動；上述影像擷取系統用以接收對應於上述移動感測器偵測到的移動資訊；以及 於上述第二影像擷取模式時，上述影像擷取系統於偵測到上述電子裝置之移動時取得上述影像畫框之至少一者。
4. 如申請專利範圍第3項所述之電子裝置，其中上述影像擷取系統用以於上述多重曝光時間中偵測到之上述移動不符合一既定門檻值時，禁能上述增強影像之上述輸出。
5. 如申請專利範圍第1項所述之電子裝置，其中，於上述第二影像擷取模式時，上述影像擷取系統用以：將多個影像像素與上述影像擷取感測器之每一上述像素結合；利用於上述多重曝光時間中所取得之上述影像畫框，計算上述影像像素之像素值；以及將所計算出之上述影像像素之上述像素值之特性加入至上述增強影像，使上述增強影像的上述第二解析度呈現對應於上述影像像素之數量之一像素解析度。
6. 如申請專利範圍第1項所述之電子裝置，其中於上述第二影像擷取模式時，上述影像擷取系統用以：使用於上述多重曝光時間中所取得之上述影像畫框中之一第一影像畫框做為一參考畫框；使用於上述多重曝光時間中所取得之上述影像畫框中剩餘影像畫框於上述參考畫框之增強處理操作，用以產生上述增強影像。
7. 如申請專利範圍第1項所述之電子裝置，更包括沿著一第一光學路徑設置之一第一光圈，用以選擇性地准許光線被入射在上述影像擷取感測器上。
8. 如申請專利範圍第7項所述之電子裝置，其中上述電子裝置更包括沿著一第二光學路徑設置之一第二光圈，用以選擇性地准許光線被入射在上述影像擷取感測器上；於上述第二影像擷取模式時，上述影像擷取系統用以選擇性地制動上述第一光圈以及上述第二光圈，使上述影像資訊可沿著上述第一光學路徑以及上述第二光學路徑傳播的光線來取得。
9. 如申請專利範圍第1項所述之電子裝置，其中上述電子裝置為一智慧型手機。
10. 一種增強影像解析度之方法，包括下列步驟：利用一影像擷取感測器之像素，取得相應於一場景之複數影像畫框；指定上述影像畫框其中一者做為一參考畫框；以及處理上述參考畫框以提供一增強影像，使上述增強影像所呈現之一第二解析度較高於上述參考畫框所表示之一第一解析度，其中上述處理上述參考畫框之步驟包括執行邊緣偵測且上述邊緣偵測應用於上述參考畫框之整張影像。
11. 如申請專利範圍第10項所述之方法，其中上述增強影像所表示之上述第二解析度高於上述影像擷取感測器之一像素解析度。
12. 如申請專利範圍第10項所述之方法，其中上述處理上述參考畫框之步驟包括： 將多個影像像素與上述影像擷取感測器之每一上述像素結合；利用於一多重曝光時間中所取得之上述影像畫框，計算上述影像像素之像素值；以及將所計算出之上述影像像素之上述像素值的特性加入上述增強影像，使上述增強影像之上述第二解析度呈現對應於上述影像像素之數量之一像素解析度。
13. 如申請專利範圍第10項所述之方法，其中上述取得上述影像畫框之步驟包括從與上述參考畫框之一視點不同的其他視點取得上述影像畫框至少一者。
14. 如申請專利範圍第13項所述之方法，其中：上述方法更包括於取得上述影像畫框時偵測與上述影像擷取感測器有關之移動；以及從上述其他視點取得上述影像畫框之上述至少一者之步驟包括於偵測到有關上述影像擷取感測器之移動時取得上述影像資訊之上述影像畫框之上述至少一者。
15. 如申請專利範圍第10項所述之方法，其中上述取得上述影像資訊之上述影像畫框之步驟包括：選擇性地准許沿著一第一光學路徑傳播之光線被入射在上述影像擷取感測器上；以及選擇性地准許沿著一第二光學路徑光線被入射在上述影像擷取感測器上。
16. 一種電腦可讀取媒體，具有儲存之電腦可讀取指令，可被一電腦處理器載入以執行一方法，上述方法包括： 利用一影像擷取感測器之像素，取得相應於一場景之複數影像畫框；指定上述影像畫框其中一者做為一參考畫框；以及處理上述參考畫框以提供一增強影像，使上述增強影像所呈現之一第二解析度較高於上述參考畫框所表示之一第一解析度，其中上述處理上述參考畫框之步驟包括執行邊緣偵測且上述邊緣偵測應用於上述參考畫框之整張影像。
17. 如申請專利範圍第16項所述之電腦可讀取媒體，其中上述處理上述參考畫框之步驟包括：將多個影像像素與上述影像擷取感測器之每一上述像素結合；利用於一多重曝光時間中所取得之上述影像畫框，計算上述影像像素之像素值；以及將所計算出之上述影像像素之上述像素值當作上述增強影像，使上述增強影像呈現之上述第二解析度對應於上述影像像素之數量之一像素解析度。
18. 如申請專利範圍第16項所述之電腦可讀取媒體，其中上述取得上述影像畫框之步驟包括從與上述參考畫框相關之一視點不同的其他視點取得上述影像畫框至少一者。