TW201036421A

TW201036421A - System and method to selectively combine images

Info

Publication number: TW201036421A
Application number: TW098143694A
Authority: TW
Inventors: Kalin M Atanassov; Hsiang-Tsun Li; Hau Hwang
Original assignee: Qualcomm Inc
Priority date: 2008-12-19
Filing date: 2009-12-18
Publication date: 2010-10-01
Also published as: JP2012513173A; EP2380133A1; US8797421B2; WO2010071841A1; US20130251283A1; US20100157079A1; CN102246203A; KR20110099038A

Description

201036421 六、發明說明：【發明所屬之技術領域】本發明大體而言係關於選擇性組合影像之系統及方法【先前技術】技術之進步已導致更小且更強大之計算器件。舉例而言，當前存在各種攜帶型個人計算器件，包括無線計算器件，諸如，攜帶型無線電話、個人數位助理（PDA)及傳呼器件，其體積小'重量輕且易於由使用者攜帶。更具體言之，諸如蜂巢式電話及網際網路協定（IP)電話之攜帶型無線電話可經由無線網路傳達語音及資料封包。此外，許多此等無線電話包括併入於其中之其他類型之器件。舉例而言’無線電話亦可包括數位靜態相機、數位視訊相機、數位記錄器及音訊檔案播放器。此等無線電話可處理包括可用於存取網際網路之軟體應用程式（諸如，web 程式)的可執行指令。因此，此等無線電話可包括顯；的計算能力。數位信號處理器（DSP)、景》像處理器及其他處理器件頻繁地用於包括數位相機或顯示由數位相機擷取之影像或視訊資料之攜帶型個人計算器件中。此等處理器件可用以提所擷取之供視訊及音訊功能、處理所接收之資料（諸如影像資料）或執行其他功能。 ’諸如，歸因於之移動、過度曝、橫向色差及幾所擷取之影像資料可遭受一或多個問題手抖動所致之移位誤差、物件在影像中光、曝光不足、近場或遠場中之不良聚焦 1453S4.doc 201036421 何失真。【發明内容】可使用執1行影像之配準（registmioi^ la合之 • ’v像處理架構來組合多個影像以克服可能發生於個別影像 .中之問題}空制單元可調整一階層式影像配準及一階層式〜像組合之才呆作以實現組合輸入影像資料之各種效應。舉仞而0則兩組影像資料可經组合以用於手抖動減少與 ;咸^之重像’接著的兩組影像資料可經組合以產生增強之 % β像深度’且其他組影像可經組合以產生高動態範圍影像。在特疋實％例中’揭示一種方法’該方法包括接收對應於第，ν像之第一影像資料及對應於一第二影像之第二 μ像資料忒方法包括藉由施加對應於該第二影像資料之 #刀與該第-影像資料之對應部分之間的—偏移之一組運動向篁資料而調整該第二影像資料以產生經調整之第二影 Q 彳象貝料。4方法進—步包括藉由至少部分地基於比較該第一影像資料之-第—特性與該f二影像資料之―第二特性而選擇性組合來自該第—影像資料之第一值與來自該經調 • 整之第二影像資料的第二it來產生第三影像資料。 - 在另一特定實施例中，揭示一種方法，該方法包括判定對應於第-影像資料之一第一組區塊中的每一區塊與第二影像資料之-第-組區塊中的一對應區塊之間的一偏移之一第一組運動向量。該方法亦包括對該第一組運動向量中的一對應於該第二影像資料之該第一組區塊中之一特定區 145384.doc 201036421 塊的運動向量增加取樣以將該運動向量施加至該第二景彡像資料之-第二組區塊。該第二影像資料之該第二組區=包括於該特定區塊内。該方法亦包括判定對應於在將該運動向量施加至該第二組區塊之後的在該第—影像資料之—第二組區塊中的每一者與該第二影像資料之該第二組區塊中的一對應區塊之間的一偏移之一第二組運動向量。該方法亦包括將該第二組運動向量施加至該第二影像資料以產生經調整之第二影像資料並選擇性組合該第—影像資料與該經調整之第二影像資料。在另-特定實施例中，揭示一種裝置。該裳置包括一配準電路，其經組態以基於對應於一第—影像之第一影像資料及對應於一第二影像之第二影像資料來產生—組運動向量資料。該裝置亦包括一組合電路，其用以選擇性組合該第一影像資料與經調整之第二影像資料。該經調整之第二影像資料對應於根據該等運動向寻㈣向量貝枓而調整之該第二影像貧料。該裝置進一步包括一 ._ A 徑制窀路，其用以控制該組合電路以產生第三影像資料。在另一特定實施例中，遮- _ ^ .隹心 η冑不一種裝置。該裝置包括一配準構件，其用於基於對應於一料庙认故弟〜像之第一影像資料及對應於-第二影像之第二影像料。該裝置亦包括―組合構件i田1、，且運動向里貝 ^ ,,. 冓件，其用於選擇性組合該第一杉像貧料與經調整之笫_旦資料對廡…者衫像貧料。該經調整之第二影像動向置資料而調整之該第二影僳資料。該裝置進-步包括#办像貝控制構件，其用於控制該組合構 145384.doc 201036421 件以產生第三影像資料。由所揭示之方法及裝置之實施例提供的一個特定優勢為與影像相關聯之問題（諸如，歸因於手抖動所致之移位、 * 物件在影像中之移動、過度曝光、曝光不足、近場或遠場 . 中之不良聚焦、橫向色差及幾何失真）的校正及改良。在審閱包括以下部分之整個申請案之後，本發明之其他態樣、優勢及特徵將變得顯而易見：圖式簡單說明、實施方式及申請專利範圍。〇【實施方式】圖1為包括具有影像組合模組之影像處理系統的系統之特疋說明性實施例之方塊圖。該系統1〇〇包括一影像擷取其耗接至一影像處理系統13 0。該影像處理系統 00耦接至一影像儲存器件140。該影像處理系統130經組態以自該影像擷取器件101接收影像資料1〇9並組合提供與多個影像相關聯之問題（諸如，歸因於手抖動所致之移 Q 物件在影像中之移動、過度曝光、曝光不足、近場或遠^中之+良聚焦、橫向色差及幾何失真）之校正或改良的夕個衫像。大蟫言之，該系統1〇〇可實施於經組態以使 -用相對有限之處理資源執行即時影像處理之電子器件中。、在特定實施例中’該影像擷取器件101為相機，諸如，、二相機或靜@相機。在其他實施例中，該影像操取器件可為體現於蜂巢式電話、個人數位助理（PDA)或其類似 ^之相機。該景夕像操取器件101包括一透鏡102，其對一 ’、、、換組104及-曝光模組1〇6作出回應。一感應器1〇8經 145384.doc 201036421 耦接以經由該透鏡102接收光並回應於經由該透鏡1〇2接收之影像而產生該影像資料109。該聚焦模組1〇4可對該感應器108作出回應且可經調適以自動地控制該透鏡！〇2之聚焦。該曝光模組106亦可對該感應器1〇8作出回應且可經調適以控制該影像之曝光。在特定實施例中，該感應器1〇8 包括經配置以使得相鄰偵測器偵測光之不同色彩的多個偵測器或像素井。舉例而言，所接收之光可經濾光以使得每偵測器接收紅色、綠色或藍色入射光。該影像擷取器件101經耦接以將該影像資料1〇9提供至該影像處理系統130。該影像處理系統130包括一解馬賽克模組110，其用以對自該影像擷取器件1〇1接收之影像資料 109執行解馬賽克操作。—色彩校正模組112經組態以對經解馬賽克之影像資料執行色彩校正。—伽瑪模組114經組態以自接收自色彩校正模組112之資料產生經伽瑪校正之影像資料。一色彩轉換模組U6經耦接以對經伽瑪校正之影像資料執行色彩空間轉換。該影像處理系統13〇亦包括一影像組合模組118，其經組態以組合多個影像如關於圖2至圖14所論述。一壓縮及儲存模組12〇經耦接以接收該影像組合模組118之輸出並將經壓縮之輸出資料儲存於該影像儲存器件140處。該影像儲存器件14〇可包括任何類型之儲存媒體，諸如，一或多個顯示緩衝器、暫存器、快取記憶體、快閃記憶體元件、硬碟、任何其他儲存器件、或其任何組合。如所論述，在特定實施例中，該感應器1〇8包括偵測光 145384.doc 201036421 之不同色彩（諸如，紅色、綠色及藍色（RGB))的多個價測 15 °因此，影像可接收於RGB色彩空間中。在特定實施例中’可藉由該色彩轉換模組116將該等影像轉換成其他色杉空間，諸如，「YCbCr」色彩空間《該YCbCr色彩空間為影像藉由明度（或亮度）分量（該YCbCr色彩空間中之γ分量）及色度分量（該YCbCr色彩空間中之“及Cr分量）表示的色衫空間之實例。在該YCbCr色彩空間中，Cb為藍色減明度 (B-Y)且Cr為紅色減明度（r_y)。〇在操作期間，該影像組合模組118可校正或改良對應於該輸入影像資料1〇9之影像。舉例而言，可對影像進行校正或改良以補償與所擷取之影像相關聯之問題，諸如，歸因於手抖動所致之移位、物件在影像中之移動、過度曝光、曝光不足、近場或遠場中之不良聚焦、橫向色差及幾何失真。雖然在圖丨巾所說明之料實施射，該料組合模組 ❹118在f彡像處理管線t處於該色彩轉換模組116之後，但在其他實施例令，該影像組合模組118可實施於該影像處理管線内之其他位置處。此外’雖然該影像摘取器件102被 *言兒明為具有早一感應器108，但在其他實施例中，該影像 _ ㈣器件H)2可具有多個感應器。舉例而言，該影像掏取器件Π)2可具有經組態以在各種條件下（諸如，使用不同曝光設定或不同聚焦設定）執行特定場景之多個同㈣㈣取的兩個或兩個以上感應器。圖2說明-具有-影像址合料2〇5之系統2〇〇,該影像 145384.doc 201036421 組合引擎205具有—第一影像輸入2〇1以接收對應於第一影像之第-影像資料。在特定實施例中，該系統2⑼可包括於圖1之影像組合模組1 is中。舉例而言，—第一影像可由该相機透鏡102擷取且經由該感應器1〇8、該解馬賽克模組 110 °亥色彩&正模組112 '該伽瑪模組π 4及該色彩轉換模’《Ε 116在„亥第—影像輸入2〇丨處提供至該影像組合引擎 205 ° 該影像組合引擎205進一步包括一第二影像輪入2〇2以接收對應於第二影像之第二影像資料。在特定實施例中，該第二影像可由該相機透鏡1〇2擷取且經由該感應器1〇8、該解馬賽克模組110、該色彩校正模組112、該伽瑪模組ιΐ4 及該色彩轉換模組116在該第二影像輸入2〇2處提供至該影像組合引擎205。該第-影像與該第二影像由該影像組合引擎2〇5組合。舉例而言’該影像組合引擎2〇5可根據關於圖3至圖Μ描述之實施例而操作。該影像組合引擎205經組態以產生一經組合之影像輪出 2〇6。在特定實施例中，該影像組合引擎2Q5藉由至少:分地基於比較第-影像之第-特性與第二影像之第二特刀選擇性組合來自第-影像輸入201的第-值與來自第二：像輸入2 0 2的經調整之第二值來產生經組二影 206。舉例而古，冬第纪後厂a 。之衫像輸出牛K .第-衫像之區域失焦而第二應旦區域對焦時，該影像組合引擎2。5可選擇對應於來自^ 一衫像之區域之經組合之影像輸出2 〇 6的像牙'值。可進行 145384.doc •10- 201036421 比較之特性的其他實例包括影像之對比度、影像之照度分畺之間的偏差及影像之經渡波之特性（例如，經低通渡波之資料、經局通濾波之資料）。在特定實施例中，該經組 . σ之影像輸出206可耦接至諸如影像儲存器件140之影像儲，存器件。在其他實施例中，該影像組合引擎2〇5可包括額外影像輸入。另外或其他，該經組合之影像輸出2〇6可耦接至該第一影像輸入201，進而實現組合該影像組合引擎2〇5之輸〇出與接收於該第二影像輸入2〇2上之額外影像輸入以反覆、·且θ輸出景夕像與額外輸入影像的能力。舉例而言，可藉由以下步驟組合三組影像資料以形成單一影像：將第一組影像資料施加至該第一影像輸入2〇1且將第二組影像資料施加至該第二影像輸入202 ;及將所得經組合之影像施加至該第一影像輸入201且將第三組影像資料施加至該第三影像輸入202，從而產生所有三組影像資料之經組合之影像。〇圖3說明一具有一影像組合引擎3〇5之系統3〇〇。在該系統300中，該影像組合引擎3〇5包括一配準分開之影像輪入 . 之配準電路321、一組合分開之影像輸入之組合電路323及一控制該配準電路321與該組合電路323之控制電路325。在說明性實施例中，該系統3〇〇可包括於圖丨之影像組合模組118或圖2之影像組合引擎205中。在特定實施例中，該配準電路321包括一第一明度輸入 311、一第二明度輸入313及一耦接至該組合電路之輸 145384.doc 201036421 出322。該配準電路321經組態以判定來自該第一明度輸入 311之資料與來自該第二明度輸入313的資料之間的差異並將偏移資料提供至該輸出322處之組合電路323。在特定實施例中，該第—明度輸入3 11為編碼於YCbCr色彩空間中之第一影像的Y分量資料且第二明度輸入313為編碼於 YCbCr色彩空間中之第二影像的丫分量資料。如圖3中所說月該配準電路321僅使用來自待配準之影像之明度分量執行〜像配準。在其他實施例中，除該明度分量之外或替代該明度分量’該配準電路321可使用影像資料之其他分量來執行配準。 D亥組合電路323包括一第一影像輸入315、一第二影像輸用以接爻來自該配準電路3 2丨之配準資料的輸入及I組合之影像輸出306。在特定實施例中，該第一影像輸入315接收用於編碼於代心色彩空間中之第—影 =資料且該第二影像輸入317接收用於編碼於色彩空間中之第二影像的資料。該組合電路323經組態以選擇性組合第-影像與已基於由該配準電路321侦測之差異而調整（亦即’調整成與第_影像資料對準）之第二影像。該配準電路3 21經名且能以斜#认 Λ 、心對该輪入326作出回應以在該控制雷路325之控制下操作且該組合電路32' 324作出回應以在該控制電路奶之控制下操作。輸入 =特定實施财，該影像組合電路⑵藉由至少部分地擇性組合來自該第二象:性:弟二影像之第二特性而選象輪入315的第一值與來自該第二 145384.doc 201036421 影像輸入3 17之第二值來產生該經組合之影像輪出3〇6。作為說明性實例，該等特性可包括聚焦、反襯對比度、方差或頻譜，如說明性實例。舉例而言，該影像組合電路323 -可基於以下各者組合該第一影像輸入315與該第二影像輸 -入3 17之區域：哪一影像輸入在該區域中具有較佳聚焦' 哪一影像輸入在該區域中具有較佳反襯對比度、在配準之後在該區域中在兩個影像輸入之間偵測到多少方差、或用以改良該經組合之影像輪出306之品質的其他特性。該影〇像組合電路323可自該控制電路325接收指示選定之特性之輸入324、逐區域地或甚至逐像素地評估各別影像並基於輸入影像之區域或像素的基於所評估之特性之選擇性組合而產生經組合之影像。參看圖4，描繪一選擇性組合多個影像之系統且大體以 4〇〇表示該系統。在特定實施例中’該系統4〇〇可包括於圖 1之影像組合模組11 8、圖2之影像組合引擎2〇5、圖3之影 Q 像組合引擎305或其任何組合中。該系統400包括一階層式配準電路420，其耦接至一階層式組合電路46〇。該階層式配準電路420及該階層式組合電路46〇耦接至一特殊應用控 • 制電路432。該特殊應用控制電路432及該階層式組合電路 460亦麵接至一加權表434。该階層式配準電路420經組態以接收對應於第一影像之第一影像明度資料402及對應於第二影像之第二影像明度資料404並使用一粗略配準電路422及一精細配準電路々μ 對該第-影像明度資料402及該第二影像明度資料4〇4執行 145384.doc 201036421 配準程序。該階層式配準電路42〇經組態以產生指示該第 4㈣«料4〇2與該第二影像明度資料彻之對應部分之間的所偵測之偏移之一組精細運動向量❻。在特定實施例中《玄、、且精細運動向量429包括用以使可能歸因於相機移動、影像移動或兩者而未對準之影像對準的量值及方向資料。如所說明’該階層式配準電路420對影像明度資料進行操作以達成計算效率。然而，在其他實施例中，除明度資料之外或替代明度資料’該階層式配準電路420可使用其他類型之影像資料（諸如，色度分量資料、紅色資料、藍色資料或綠色資料、或其任何組合）進行操作。在特定實施例中，該粗略配準電路422包括一運動向量產生電路426。該運動向量產生電路426可經組態以將該第一影像明度資料402及該第二影像明度資料4〇4中之每一者分割成區塊以在該等區塊之間執行粗略配準程序。舉例而言，該運動向量產生電路426可邏輯上將該第一影像明度資料402及該第二影像明度資料4〇4中之每—者劃分成—組 3x3重疊區塊且可使用該等重疊區塊之投影來產生可應用於使該第二影像明度資料404之區塊中的每一者與該第一影像明度資料402之對應區塊對準的一組粗略運動向量 427。在其他實施例中，可使用任何數目之區塊且該等區塊中之一些或全部可為非重疊區塊。該精細配準電路424經組態以接收該組粗略運動向量427 並產生一組精細運動向量429。在特定實施例中，該精細配準電路424包括一運動向量增加取樣電路428，其耦接至 145384.doc 201036421 -巨集區塊精化電路430。該運動向量增加取樣電路428可接收該組粗略運動向量427並對其增加取樣以產生具有比該組粗略運動向量427精細之粒度的運動向量。舉例說明，影像明度資料402及404可組態為ΜχΝ陣列之巨集區塊，其中每-巨集區塊對應於影像之16像素乘16像素區域。該運動向量增加取樣電路428可產生一 ΜχΝ運動向量集合，其將該組粗略運動向量427中之對應㈣向量施加至每一巨集區塊。 Ο Ο 在特定實施例中，該巨集區塊求現建動向量精化電路43〇經耗接以接收該組經增加取媒夕，富& ^ θ 曰取樣之運動向量427及影像明度資料402及404並產生一相經杜«> 、且經精化之運動向量429。舉例而 e，該巨集£塊運動向量精化雪Μ 艰Mt 1：路43 0可經組態以將該組經增加取樣之運動向量427中甲的母一運動向量施加至其在該第二影像資料中之對庫ρ隹序耵應巨集區塊，以粗略地使該第二影像資料之巨集區塊與該第瓜〃邊第影像資料之對應巨集區塊對準。該巨集區塊運動向量精糈化电路430可搜尋在該經粗略對準之巨集區塊周圍的马楚 JS//A & 固的該第—影像資料4〇2之-區域以判定該經粗略對準之巨棄F _ & Μ — 集£塊與該第一影像資料4 Ο 2的較精確對準。可基於自該特殊應❹㈣路似接收之搜尋範圍控制信號435選擇該搜尋區域。該組經精化之運動向量 429可指示對應於每一 F隹里兮巨集£塊之較精確對準的向量資料以實現該第一影像明度資斜 •“隹〜 {貧枓402及该第二影像明度資料404 之逐巨集區塊之配準。該巨集區塊運動向量精里W化冤路430可藉由執行一針對每 145384.doc •15- 201036421 一運動向量選擇多個可能均方誤差（MSE)中之最低所計算 MSE或另一範數的演算法來判定該組經精化之運動向量 429。舉例而言，對於該第二影像明度資料404之特定巨集區塊，可考慮該巨集區塊與該第一影像明度資料402之多個可能對準，且針對該組經精化之運動向量429選擇導致最低所計算MSE之對準。可將針對每一巨集區塊判定之均方誤差作為運動向量（MV)均方差異資料43 1提供至該階層式組合電路460。在特定實施例中，該階層式組合電路460經組態以使用一粗略組合電路462及一精細組合電路464來組合第一影像資料406與第二影像資料408。該第一影像資料406可包括該第一影像之第一明度資料402且亦包括該第一影像之色度資料以作為YCbCr影像資料。該第二影像資料408可包括該第二影像之第二明度資料404及該第二影像之色度資料以作為YCbCr資料。在特定實施例中，該粗略組合電路462包括一巨集區塊影像對準電路466及一區塊MSE差異鑑別器電路468。該巨集區塊影像對準電路466可經組態以將該組經精化之運動向量429施加至該第二影像資料408以產生與該第一影像資料對準的第二影像之影像資料。舉例而言，該巨集區塊影像對準電路466可經組態以在巨集區塊判定成重疊時組合第二影像中之像素值或在巨集區塊經重新對準以導致不在任何巨集區塊内的第二影像資料之一區域之情形下内插像素值。該巨集區塊影像對準電路466可將該第一影像資料 145384.doc -16- 201036421 4〇6及該第二影像之經對準之影像資料提供至該區塊MSE 差異鑑別器電路468。在特疋實施例中，該區塊MSE差異鑑別器電路468經組 - 態以對自該巨集區塊影像對準電路466接收之資料執行粗 • 略組合程序。特定言之，該區塊MSE差異鑑別器電路468 可肩除並未充分匹配該第一影像資料4〇6的該第二影像之經對準之影像資料的巨集區塊。舉例而言，可將每一巨集區塊之MV MS差異資料43 1與一臨限值進行比較。當對於特疋巨集區塊而言，MS差異超過臨限值時，該特定巨集區塊被判定成在該第一影像資料4〇6與該第二影像之經對準之影像資料之間過於不同，且因此不應針對該特定巨集區塊組合影像資料。、舉例而言，在一移動物件出現於該第一影像資料406中之第一巨集區塊令（但未出現於該第二影像之經對準之影像貧料中的第一巨集區塊中）且該移動物件出現於該第二 ❹ #像之經對準之影像資料中的第二巨集區塊中（但未出現於該第—影像資料406之第二巨集區塊中）之情形下，歸因 =應均方誤差差異’該第—巨集區塊可被判定成在該第 • —影像與該第二影像之間不可組合，且該第二巨集區塊可 • 被判定成在該第一影像與該第二影像之間不可組合。該區塊MSE差異鑑別器電路468可經組態以自該經對準之第二影像資料移除每一不可組合之巨集區塊，以使得僅使用來自該第一影像資料406之巨集區塊的像素值。舉例而言，可自該第-影像資料406複製該巨⑽塊之像素值以替換 145384.doc 201036421 該第二影像之經對準之影像資料的對應巨集區塊中的像素值。、如所說明，該區塊MSE差異鑑別器電路仏8對該特殊應用控制電路432作出回應。舉例而言，該特殊應用控制電路432可提供一臨限值控制信號437，其指示一待用於比較該第一影像資料與該第二影像之經對準之影像資料的巨集區塊之間的MSE差異之臨限差異。在該粗略組合程序之後，該區塊MSE差異鑑別器電路468可將兩組影像資料（包括對應於第一影像之影像資料及對應於第二影像之影像資料）輸出至該精細組合電路464。該精細組合電路464經組態以接收已配準且粗略對準之第一及第二影像資料並執行精細組合程序以產生輸出影像貧料480。在特定實施例中，該精細組合電路464包括第一濾波器470及第二濾波器472，其耦接至一平均像素差異電路474。該精細組合電路464亦包括一影像組合電路 476，其耦接至該平均像素MS差異電路474並耦接至該加權表434。該第一影像之所接收之資料可由該第一濾波器47〇處理，且該第一影像之經濾波之資料被提供至該平均像素 MS差異電路474 °該第二影像之所接收之資料可由該第二濾波态472處理，且該第二影像之經濾波之資料被提供至該平均像素MS差異電路474。濾波器47〇及472可對該特殊應用控制電路432作出回應。舉例而言，濾波器470及472 可自該特殊應用控制電路432接收一回應控制信號们9，其 I45384.doc .18- 201036421 指示一濾波器回應特性，諸如，低通回應、高通回應、帶通回應、任何其他濾波器回應、或其任何組合。濾波器 470及472可包括一 3x3核心或任何其他大小之核心。在特 • 定實施例中，濾波器470及472具有一回應於該特殊應用控 _ 制電路432之核心大小。该平均像素MS差異電路474可經組態以接收對應於每一影像之經濾波之資料並執行逐像素之帶正負號的均方差異運算。該差異運算可針對每一特定像素使用該特定像素之〇明度及色度值中的每一者來產生一帶正負號之值，其指示該第-影像之經滤波之資料與該第二影像之經遽波之資料之間的差異。該平均像素MS差異電路474可經組態以將該差異資料作為平均像素差異結果提供至該影像組合電路 476 ° 該影像組合電路476可經組態以針對每一像素自該平均像素MS差異電路474接收_差異值並判定該輸出影像資料 ❹彻中之每—像素的像素值。舉例而言特定像素之所接收之差異值可作為該加權表434處之查找操作而提供。該查找操作之結果可判定該輸出影像資料48〇中之像素值具 • 冑來自接收自該粗略組合電路462之第一影像資料的值、 • 纟自接收自該粗略組合電路462之第二影像f料的值、或是其組合。该加權表434可包括指示待施加至該第一影像資料之像素值的第-權重及待施加至該第二影像資料之像素值之第二權重的資料1加權表434可提供—對應於待施加至該 145384.doc 19 201036421 第一影像資料之權重的具有約〇至1之範圍的輸出值「w」及對應於待施加至該第二影像資料之權重的值丨_w。該加權表可對—來自該特殊應用控制電路432之表控制信號 433作出回應。在操作期間，該特殊應用控制電路432可判定一或多個控制參數’其用以控制該系統4〇〇處之影像配準及組合程序。舉例而言，該特殊應用控制電路432可選擇指示該巨集區塊配準之主動性（aggressiveness)的搜尋範圍控制信號 435、指不該巨集區塊組合之可接受差異的量的臨限值控制仏號433、指示待執行之濾波之類型的回應控制信號439 及指示對如何基於該等影像之間的經濾波之像素差異來組 S D亥等影像進行之加權的表控制信號433的一值。雖然該系統400被說明為包括經組態以執行特定程序之硬體電路，但在其他實施例中，該系統400之一或多個組件可由執行處理器指令之處理器來執行。舉例而言，由該專電路 420、422、424、426、428、430、432、434、 460、462、464、466、468、470、474 或 476 執行之功能中 =一或多I可由已程式化以#行上文描述之功能或通用演开去中之或多者的影像處理器 '數位信號處理器（DSp) 或通用處理益來執行。在其他實施例中，可用包括於硬體、動體、執行電腦可讀取指令之處理器中的組件來替換電路·、422、424、426、428、430 : 432 434 、 46G 、 462 、 464 、 466 、 468 ' 47G 、 474或476中之一或多者。 145384.doc -20· 201036421 說明影像組合之特定實施例係組合圖5至圖i丨而論述且適用於理解可實施於此等特定實施例中的圖4之影像組合電路400的操作。參看圖5，提供一邏輯上說明實現手抖動之校正及減少歸因於移動物件所致之物件模糊的影像組合引擎之實施例之操作的圖式。出於圖5中之說明之目的，以圓形表示移動物件5 02且以二角形說明歸因於抖動而移位之影像之部 Ο

刀5〇4第一行52丨大體表示第一影像之處理路徑且第二行 523大體表示第二影像之處理路徑。次明性實施例中，可在圖丨之影像組合模組11 8、圖2 之影像組合引擎205、圖3之影像組合引擎3〇5、圖4之影像組合電路4G0或其任何組合中執行用以移除手抖動的第一及第二影像之資料流5G1。在第二說明性實施例中可根據圖的影像之選擇性組合之方W、圖13之階層式配準私序13GG、圖14之影像改良程序14⑼或其任何組合來執行用以移除手抖動的第一及第二影像之資料流501。最初’作為對導致粗略配準512之粗略配準程序及導致精細配準514之精細配準程序⑲人提供第影像。該粗略配準程序及哕精％?§?里和广 ’、千桎斤及4精細配準程序經組態以判定該心像與該第二影像之間的差異。如所說明，該粗略配 W每—組影㈣料細分成諸如第-部分別之部分且可判定該第一影像之第一部弟—影像之第一部分之間的偏移。該精細配準514可 ^ ^將母一部分細分成 (省々）對應於影像之16像素乘 I爪6像素£域的巨集區塊（被說 145384.doc -21 . 201036421 明為在第-部分53〇内之第二部分532)。該精細配準川可判定該第-影像之第二部分與該第二影像之第二部分之間的偏移’且可經由—運A旦, 運動向里（诸如，圖4之該組精細運動向量429中之運動向量）表示該偏移。基於办像之配準使該第二影像之區塊與該第—影像之區塊對準以產生粗略組合區塊對準5丨6。一粗略組合區塊差異程序基於該移動物件502(由圓形表示）在該第-影像與該第二影像之間移位的像素之數目來 H亥物件502以產生—粗略組合區塊差異518。—物件在其被視為移動物件之前必須移位的像素之數目可視不同應用而變化且在特定實施例中’係由特殊應用配準控制模組（绪如’圖4之特殊應用配準控制模組431或圖3之控制電路325)控制。在偵測到該移動物件之後，藉由用該第一影像之對應區塊替換該第二影像中之具有移動物件的區塊而自該第_影像移除該移動物件，此可在組合影像時大體上 =少歸因於移動物件所致之「重像」。藉由該粗略配準程〜、及該精細配準程序調整歸因於手抖動所致之移位504(被兄月為—角形）以使得可逐像素地組合該等影像。舉例而言、查該精細組合程序可平均第一及第二經配準之影像之值、成減小之影像誤差及減少之雜訊。所得經組合之影像曰么、^先像相關聯之問題（諸如，歸因於手抖動所致之移因於物件在影像中之移動所致的重影）的校正或改义同時具有比第—或第二影像資料中之任一者小的雜訊。 145384.doc 22· 201036421 作為說明性、非限制性實例，可在由該特殊應用控制電路（ASCC)432控制之手抖動減少與物件模糊減少模式下在圖4之系統400處執行該資料流501。該ASCC 432可經由古亥搜尋範圍控制信號435指示該階層式配準電路42〇使用大搜尋範圍來賴測物件運動。該ASCC 432可經由該臨限值信號437指示該粗略組合電路462(諸如）藉由根據最大預期或所量測雜訊值加預定邊際來設定臨限值而不組合彼此間遠 Ο 〇離之區塊。該ASCC 432可經由該回應信號439組態該精細組合電路464之濾波器470及472以在每一平面（例如，γ、

Cb及Cr)之全通模式下操作以實現基於經濾波之影像特性進行之比較。該ASCC 432可經由該表信號433組態該加權表434以提供一加權函數，該加權函數使該精細組合電路 =4在經濾波之影像資料之平均像素Ms差異的量值小於選定量時使用自該粗略組合電路462接收之該第一影像資料及該第二影像資料中之像素值的平均值且在其他情況下僅使用該第-影像資料中之像素值來產生該輸出影像資料 480之像素值。參看圖6 ’展邏輯上說明用以產生高㈣範圍影像之影像組合之實施例的操作之圖式。第一行621表示以相 2之曝光時間拍攝之影像的處理路徑，此導致影像之經、當曝光且表示為適#曝光部分6()2的部分及影像之曝光 =且表示為曝光不足部分_的部分。第二行⑶表示以目、長之曝光時間拍攝之影像的處理路徑，此導致影像之 -、先且表不為過度曝光部分6〇6的部分及影像之經 I45384.doc -23· 201036421 適當曝光且表示為適當曝光部分608的部分。在*兄明性實施例中，可在圖1之影像組合模組118、圖2 之〜像組合引擎2〇5、圖3之影像組合引擎3〇5、圖4之影像組合電路4GG或其任何組合中執行用以提供高動態範圍 (HDR)影像的第—及第二影像之資料流⑼卜在第二說明性實施例中了根據圖12的影像之選擇性組合之方法丨2〇〇、圖13之匕層式配準程序13〇〇、圖“之影像改良程序或其任何組合來執行用以提供H D R影像的第一及第二影像之資料流601。最初作為對提供粗略配準6 12之粗略配準程序及提供精細配準614之精細配準程序的輸入提供該第一處理路徑 621中之第一影像及該第二處理路徑623中之第二影像。該粗略配準程序及該精細配準程序判定該第—影像與該第二影像之間的差異。基於該等f彡像之轉使㈣：f彡狀區塊與㈣一影像之區塊對準以產生一粗略組合6丨6。該粗略組合6 16進一步移除不適當匹配（諸如，歸因於影像中之物件運動）的經配準之影像之區塊，如圖5中所描述。一精細組合程序逐像素地組合該第一影像之適當曝光部分602與該第二影像之適當曝光部分6〇8，從而導致具有適當曝光之HDR影像的精細組合D在特定實施例中，可使用精細組合程序實行其他影像增強功能。作為說明性、非限制性實例’可在由該特殊應用控制電路（ASCC)432控制之高動態範圍模式下在圖4之系統_處 145384.doc •24· 201036421 執行資料流601。該ASCC 432可經由該搜尋範圍控制信號 435指示該階層式配準電路42〇不依賴於精細運動向量估計，諸如，使用極小或零搜尋範圍。該Ascc 432可經由 . 該臨限值信號437指示該粗略組合電路462使用極高臨限值或停用廢棄區塊。該ASCC 432可經由該回應信號439組態該精細組合電路464之濾波器470及472以將參考影像之明度濾波器設定成平均值並將所有其他者設定成零以實現基於經濾波之影像特性進行之比較。該ASCC 432可經由該 Ο 表信號433組態該加權表434以提供一加權函數，該加權函數使該精細組合電路4 6 4在經濾波之影像資料之平均像素 MS差異小於第一量時使用該第一影像資料中之像素值、在經濾波之影像資料之平均像素Ms差異大於第二量時使用該第二影像資料中之像素值且在經濾波之影像資料之平均像素MS差異的量值處於帛—量與第二量之間時使用向自該粗略組合電路4 6 2接收之第一影像資料及第二影像資才4中之像素值的平均值之平滑轉變來產生該輸出影像資料 ^ 480之像素值。圖7為邏輯上說明提供場深度增強之影像組合引擎的實 • 施例之操作之圖式。如圖7中所說明，第一處理路徑721中之第私像匕括聚焦之近場部分702及一模糊之遠場部分704 °第二處理路徑723中之第二影像包括—模掏之近場部分706及一聚焦之遠場部分7〇8。在說明性實施例巾，可在圖1之影像組合模組118、圖2 之影像組合引擎205、圖3之影像組合引擎3〇5、圖4之影像 145384.doc -25- 201036421 組合電路4GG或其任何組合中執行用以提供場深度增強的第-及第二影像之資料流7〇1。在第二說明性實施例中，可根據圖12的影像之選擇性組合之方法1200、圖13之階層式配準程序13GG、圖14之影像改良程序剛或其任何組合來執打用以提供場深度增強的第一及第二影像之資料流

701。 "'L 最初，作為對產生粗略配準影像712之粗略配準程序及產生精細配準影像714之精細配準程序的輸入提供第一影像及第二影像。該粗略配準影像712及該精細配準影像714 經組態以判定該第一影像與該第二影像之間的差異。在配準之後，#由該粗略、組合程序基於影像的配準使該第二影像之區塊與該第1像之區塊對準以產生—粗略組合影像 716。該粗略組合程序進一步移除歸因於經配準之影像中之一者中之移動物件所致的不匹配區塊。一精細組合程序逐像素地组合該第一影像之聚焦近場部分702與該第二影像之聚焦遠場部分7〇8，從而導致聚焦之經組合之影像以產生精細組合影像718。纟肖定實施例中，可使用精細組合程序實行其他影像增強功能。提供一具有增強之場深度的影像。作為說明性 '非限制性實例，可在由㈣殊應隸制電路（ASCCM32控制的增強之場深度模式下在圖4之系統· 處執行資料流7〇1。該ASCC 432可經由該搜尋範圍控制信號435指示該階層式配準電路倒❹大搜尋範圍來實現物件移動_。該ASCC 432可經由該臨限值信號437指示該 145384.doc -26- 201036421 粗略組合電路462(諸如）藉由根據最大預期或所量測雜訊值加預定邊際來設定臨限值而不組合彼此間遠離之區塊。該 ASCC 432可經由該回應信號439組態該精細組合電路464

G

之濾波器470及472以具有用於明度資料之高通濾波器回應及用於色度資料之零’以實現基於經濾波之影像特性進行之比較。該ASCC 432可經由該表信號433組態該加權表 434以提供一加權函數’該加權函數使該精細組合電路464 在經濾波之影像資料之平均像素MS差異小於零時使用該第一影像資料中之像素值且在經濾波之影像資料之平均像素MS差異大於零時轉變成使用該第二影像資料中之像素值來產生該輸出影像資料480之像素值。轉至圖8，說明橫向色差。如圖8所說明，入射光被描繪為入射於透鏡上之平面8〇3、8〇5及8〇7。歸因於透鏡之折射性質’入射光之每-所偵測之色彩T具有分別被說明為視野813、815及817㈣微不同之視野，如感應器陣列處㈣收。在特；t實施例中’使用感應器輸出產生之三個色 ’平面(諸如’紅色、綠色及藍色平面)的配準可補償不同圖及圖10說明分別具有幾何失 ▼ -、，V π 〜^ ^ yuz/SL 1 VUZ 〇幾何失真可由許多因素(包括成像系統之機械、光學及 =牛中的透鏡失真及其他失真）導致。在特定實施例中乳 4何上失真之影像的重取樣可校正幾何失真。圖11為邏輯上說明實呈 U象之4何失真之校正的影像組引擎之實施例之操作的方塊圖。在圖⑼，作為對粗略 145384.doc 27· 201036421 k供具有幾何失真之單一影像1104以產生粗略配準影傻η〗ο _, 2°该粗略配準程序可使用可經預定義並基於由成像系統之機械、光學及電氣組件導致之已知幾何失八的、、且粗略配準向量來進行影像1104之粗略重取樣。精、、，田配準程序接著可使用可經預定義並基於已知幾何失真的la精細配準向量來進行影像叉】〇4之精細重取樣以產生精細配準影像11M。經重取樣之影像接著被提供至-產生粗略組合影像1116之粗略組合程序及一產生精細組合影像1118之精細組合模組。在特定實施财，該影像 U04亦可與其他影像組合以料其他校正從而提供經校正之影像1120。在說明性實施例中，可在圖1之影像組合模組118、圖2 之影像组合引擎205、圖3之影像組合引擎3〇5、圖4之系統 4〇〇或其任何組合中執㈣以提供影像之幾何失真的校正之影像之資料流1101。在第二說明性實施例中，可根據圖 12的影像之選擇性組合之方μ、圖此階層式配準程序1300、圖14之影像改良程序14〇〇或其任何組合來執行^ 以提供影像之幾何失真的校正之影像之資料流ιι〇ι。轉至圖12，影像之選擇性組合之方法大體展示於丨如〇處《在說明性實施例中，該方法12〇〇可由圖1之影像纽人模組丨18、圖2之影像組合引擎205、圖3之影像二合 305、圖4之系統400或其任何組合來執行。在Go〕飧收對應於第一影像之第一影像資料及對應於第二影像接二影像資料。在特定實施例中，可在具有旦第又刀里及色度 145384.doc -28- 201036421 Ο Ο 分罝之色衫空間中接收該第一影像資料及該第二影像資料。在另-特定實施例中，可在Ycbcr色彩空間中接收= 第一影像資料及該第二影像資料。在1204處，可計算對應於該第二影像資料之部分與該第一影像資料之對應部分之間的偏移之一組運動向量資料。舉例而言可使用用以產生第一組運動向量以使影像資料大致對準的粗略配準電路及用以基於該第一組運動向量產生—组較精細運動向量的精細配準電路來計算該組運動向量資料。在1206處，藉由施加對應於該第二影像資料之部分盘該第一影像資料之對應部分之間的偏移（如所描述）之該^ 動向量資料而調整該第二影像資料。因此，該第二影像資料經調整以較緊密地與該第一影像資料對準，以補償在操取第-影像資料與第二影像資料之間的相機之移動或物件在影像中的移動。在i處，藉由至少部分地基於比較該第一影像資料之-[特性與該第二影像資料之一第二特性而選擇性組合來自該第一影像資料之第—值與來自該經調整之第二影像資料的第二值來產生第三影像資料。可進行比較之特性的實例包括影像之聚焦、影像之對比度、影像之照度分量之間的偏差及影像之經遽波之特性⑼如，經低通濾波之資料、經高通濾波之資料）。 —在特；t實施射’該選擇性組合包括—粗略組合操作及 —精細組合操作。可對該經調整之第二影像資料之巨集區塊執行該粗略組合操作且可對該第一影像資料及二經調整之影像資料的像素執行該精細組合操作。該粗略組合 145384.doc -29· 201036421 操作可包括在該經調整之第二影像資料的一或多個巨集區塊與該第一影像資料之對應巨集區塊之間的差異超過一可選擇臨限值時選擇性廢棄該經調整之第二影像資料的該一或多個巨集區塊。舉例而言，該可選擇臨限值可由圖4之特殊應用控制電路432所提供之臨限值控制信號437指示。在另一特定實施例中，該精細組合操作包括對該第一影像資料及該經調整之第二影像資料進行濾波以比較經濾波之影像特性，且基於該等經濾波之影像特性而選擇性組合第一值與第二值。該等經濾波之影像特性可在圖4之平均像素差異電路474處進行比較且用於查詢該加權表…以產生用於該第-影像資料及該經調整之第二影像資料之經加權之組合的權重。在特定實施例中，該第—影像資料之第一特性及,第二影像資料之第二特性指示該等影像之聚焦條件（例如^ : 焦或失焦物件在該第—影像及該第二影像内之移動或该等影像之曝光。此外’在料實施例中，可基於比㈣第一影像資料之經錢之部分與該第二影像諸之經^ 之部分而組合該第一影像資料與該第二影像資料之值：舉例影像資料之經濾波之部分可在圖4 像=異電路474處與^二影像資料之經濾波之部分進 :义且4比較之結果可用於判定待施加資料之值及該第二影像資料之值的相對權重：：資料及該第二影像資料可為衫像應器處之連續圖框。）擷取於-相機之影像感 145384.doc -30 ‘ 201036421 在斗寸疋只％例中，當滿足特定條件時，可影像資料之像素或區塊並將其用來自：弟-或弟料中之另-者的像素或區塊替換：：：影像資像之巨集區塊内的！i 棄該經調整之第二影 η… 素°可針料深度增強而廢棄該Μ 一 Ο ❹ :乂或该經調整之第二影像令的像素。相比該第一麥該第二影像，所得第三影像資料可針對手抖動、㈣二深度增強、横向色差及幾何失真而增強。動、- 在特定實施例中’如圖13所說明，基於一序1300而判；^該組運動向量資料。該階層式配準^ ' 可由圖1之影像組合模袓118、θ 序1300 3之影像組合引擎30 1 Γ像且合引擎2〇5、圖 ρ 圖之系統400或其任何組合來執 ==式結構程序提供相對於強健操作點調整解析度之月t力亚減少計算需灰而求該酯層式配準程序1300包括判定 =影像之第-部分與第二影像的第-部分之間的第―: 1移⑷地處）及基於該第—對準偏㈣定^ 之第二部分與該第二影像之第二部分之間的第二對準偏移’其中該第一影像之第二部分在該第—影像之第一部分内(在1304處)。在_個特定實施例申，該第一影像之第一 :::該第—影像之3χ3矩陣中之9個分區中的一者，且該弟一影像之第二部分對應於該第—影像之16像素乘Μ像素區域。圖Η描纷—說明影像改良方法14〇〇之實施例的流程圖。在兒月^實施例中’該影像改良方法1400可由圖！之影像 145384.doc -31- 201036421 組合模組118、圖2之影像組合引擎 -，之―其任二:=:引判定對應於第-影像資料之一 2處 ^ 、，且匕塊中的每一區塊盥第二影像資料之一第—組區鬼，、 ^ ^ 對應區塊之間的一偏移之一第一組運動向量。舉例而言， ^ ^ 〇第組運動向量可為圖4之該組粗略運動向量427。在14〇4處’對該第—组運叙a θ a 德次“ 、、且運動向夏中的-對應於該第二影拔、之特疋區塊的運動向量增加取樣以將該運動向量施加至續第_ 城刀主'•亥第—影像資料之一第二組區塊，該第二影像資料之兮盆_ 内。舉…固塊包括於該特定區塊舉例而a ’圖4之運動向量增加取樣電路似可對一組重疊區塊中之特疋區塊的運動向量增加取樣以用於該特定區塊内之一組巨集區塊。在1406處，判定對應於在施加該第一組運動向量中之運動向量之後的在該第-影像資料之―第：組區塊中的每一 ^與該第二影像資料H區塊中的_對應區塊之間的 Θ移之第一組運動向量。舉例而言該第二組運動向量可為由圖4之巨集區塊精化電路43〇產生的該組精細運動 ^量429。在1408處，將該第二組運動向量施加至該第二影像資料以產生經調整之第二影像資料。在特定實施例中，該第二組運動向量係基於一經由控制輪入（諸如，圖3之輸入326或圖4之巨集區塊精化電路43〇處所接收的搜尋範圍控制信號435)指示之可選擇搜尋範圍 Ί疋該可選擇搜尋範圍可限制在施加該第一組運動向 145384.doc •32- 201036421 影像資料之第二組區塊中二組區塊中的對應區塊之量中之運動向量之後的在該第一的每一者與該第二影像資料之第間的偏移。在14H)處，選擇性組合該第—影像f料與該經調整之第二影像資料的部分。舉例而言’可逐區域或逐像素地（或兩者）組合㈣-影像資料與該第二影像資料。舉例說明’可由圖4之階層式組合電路46〇來組合該第一影像資料與該經調整之第二影像資料。

在特定實施例中’該第-影像資料與該經調整之第二影像資料的選擇性組合產生第三影像資料。該第三影像資料可具有比該第-影像資料大之場深度、比該第—影像資料小之雜訊或比該第一影像資料大之動態解析度。圖15為-包括-影像組合模組之系統之特定實施例的方塊圖。該系統1500可實施於攜帶型電子器件中並包括一耦接至記憶體15S2之信號處理器151〇，諸如’數位信號處理器（DSP)。系統1500包括一影像組合模組1564。在說明性實例中，該影像組合模組1564包括圖i至圖5之系統中的任一者，根據圖12至圖14之方法中的任一者而操作，或其任何組合。該影像組合模組1564可併入至該信號處理器151〇中或可為分開之器件。一相機介面1568耦接至該信號處理器151〇且亦耦接至諸如相機1570之相機。該相機157〇可為視訊相機或靜態影像相機或可實施功能性兩者。一顯示控制器丨526耦接至該信號處理器1510且耦接至一顯示器件1528。一編碼器/解碼 145384.doc -33- 201036421 器（編解碼器）1 534亦可耦接至該信號處理器1510。一揚聲器1536及一麥克風1538可耦接至該編解碼器1534。一無線介面1540可耦接至該信號處理器151〇且耦接至一無線天線在特定實施例中，該信號處理器15 1〇包括該影像組合模組1564，其經調適以判定對應於第一影像資料之一第一組區塊中的每一區塊與第二影像資料之一第一組區塊中的一對應區塊之間的一偏移之一第一組運動向量。該影像組合模組1 564可經調適以對該第一組運動向量中的一對應於該第二影像資料之該第一組區塊中之一特定區塊的運動向量增加取樣以將該運動向量施加至該第二影像資料之一第二組區塊。該第二影像資料之該第二組區塊包括於該特定區塊内。该影像組合模組丨564可經調適以判定對應於在施加該第一組運動向量中之運動向量之後的在該第一影像資料之一第二組區塊中的每一者與該第二影像資料之該第二組區塊中的一對應區塊之間的一偏移之一第二組運動向量。該影像組合模組1564可經調適以將該第二組運動向量施加

向量增加取樣的運動向量增加取樣電路428 樣之運動向量可對應於3χ f增加取樣電路428。該經增加取 X3區塊柵格之特定區塊且可經增 145384.doc 201036421 加取樣以用於該特定區塊内之每一巨集區塊。該影像紐合模組1564亦可包括目4之階層式組合電路46〇，其用以（諸如）在粗略組合電路462處及精細組合電路464處選擇性組 . 合影像資料。該信號處理1115_可經調適以產生已由該影像組合模組1564處理之影像資料。作為說明性、非限制性實例，該經處理之影像資料可包括來自該視訊相機157〇之視訊資料、來自經由該無線介面⑽進行之無線傳輸或來自其他 Ο 源、（諸如’經由通用串列匯流排（USB)介面（未圖示）搞接之外部器件）的影像資料。該顯示控制器1526經組態以接收該經處理之影像資料並將該經處理之影像資料提供至該顯示器件丨528。此外該記憶體1532可經組態以接收並儲存該經處理之影像資料，且該無線介面154〇可經組態以接收該經處理之影像資料以用於經由該天線1 542進行傳輸。 ❹ 在—特定實施例中，該信號處理器1510、該顯示控制器 '•亥。己隐體1 532、5亥編解碼器1 534、該無線介面1540 及該相機介面1568包括於系統封裝或系統晶片器件1522 . 中在特疋實施例中，一輸入器件1530及一電源供應器 . 輕接至該系統晶片器件1522。此外’在特定實施例十’如圖15申所說明’該顯示器件1528、該輸入器件 °亥％聲器1536、該麥克風IMS、該無線天線1542、該視訊相機1570及該電源供應器1544處於該系統晶片器件 1522之外部。然而，該顯示器件1528、該輸入器件Μ川、 145384.doc -35- 201036421 該揚聲器1536、該麥克風15315、該無線天線1542、該視相機1570及該電源供應器1544中之每一者可耗接至令亥系統Ba片器件15 2 2之一組件’諸如一介面或一控制器。在特定實施例中’該系統1 5〇〇可充當個人數位助理 (「PDA」）、蜂巢式電話或類似器件。該系統丨5^可經調適以（諸如）經由輸入器件1530提供使用者可控制輸入，且可包括一用以控制該控制影像組合模組1564並接收該使用者可控制輸入的控制電路。熟習此項技術者應進一步瞭解，可將組合本文中所揭示之實施例而描述之各種說明性邏輯區塊、組態、模組、電路及演算法步驟實施為電子硬體、電腦軟體或兩者之組合。為清晰說明硬體與軟體之此互換性，各種說明性組件、區塊、組態、模組、電路及步驟已在上文大體按其功能性加以描述。將此功能性實施為硬體或是軟體取決於特定應用及強加於整個系統上之設計約束。熟習此項技術者可以變化之方式針對每一特定應用實施所描述之功能性，但此等實施決策不應被解釋為導致脫離本發明之範®壽。組合本文中所揭示之實施例而描述之方法或演算法的步驟可直接以硬體、以由處理器執行之軟體模組或以兩者之組合來體現。一軟體模組可駐留於隨機存取記憶體 (RAM)、快閃記憶體、唯讀記憶體（R〇M)、可程式化唯讀記憶體（PROM)、可抹除可程式化唯讀記憶體（EpR〇M)、電可抹除可程式化唯讀記憶體（EEPROM)、暫存器、硬碟、抽取式磁碟、光碟唯讀記憶體（CD-ROM)，或此項技 145384.doc 201036421 術中已知之㈣其他形式的儲存㈣中。1示體輕接至該處理器，以使得該處理器可自該儲 = 資訊及將資訊寫入至該儲存媒、體漬取 .s ^ ^ 次者，§玄儲存媒體可整合至该處理器。該處理器及該儲存媒體可駐留於特殊庫；積體電路㈣c)中。該ASIC可駐留於計算器件或使用= 端機中。或者，該處理器及兮神+ 益及該儲存媒體可作為離散組件而駐留於計算器件或使用者終端機中。

提供所揭示之實施例的先前描述以使熟習此項技術者能夠製造或使用所揭示之實施例。對此等實施例之各種修改對於熟習此項技術者而言將容易_而易I，且可在不脫離本發明之範疇的情況下將本文中所界定之原理應用於其他實施例。因此，本發明不意欲限於本文所展示之實施例，而應符合與如由以下申請專利範圍界定之原理及新穎特徵一致的最廣範疇。【圖式簡單說明】圖1為包括具有影像組合模組之影像處理系統的系統之特定說明性實施例之方塊圖；圖2為說明包括影像組合引擎之系統之第一實施例的方塊圖；圖3為說明包括影像組合引擎之系統之第二實施例的方塊圖；圖4為說明包括影像組合電路之系統之實施例的方塊圖；圖5為邏輯上說明實現手抖動之校正及減少歸因於移動 145384.doc -37· 201036421 物件之物件模糊的影像組合引擎之實施例之操作的圖式；圖6為邏輯上說明用以產生高動態範圍影引擎之實施例的操作之圖式；豕、° 圖7為邏輯上說明提供場深度增強之影像組合弓丨擎的奋施例之操作之圖式；貝圖8說明横向色差；圖圖 9說明影像之幾何失真之第一實施例； 10說明影像之幾何失真之第二實施例；之校正的影像組圖11為邏輯上說明實現影像之幾何失真合引擎之實施例之操作的圖式；圖12為選擇性組合影像之方法之流程圖圖13為執行階層式組合程序之方法之流程圖；圖14為執行影像改良程序之方法之流程圖；及圖15為包括影像組合模組之攜帶型電子器件之方塊圖【主要元件符號說明】 100 系統 101 影像擷取器件 102 透鏡 104 聚焦模組 106 曝光模組 108 感應器 109 影像資料 110 解馬赛克模組 112 色彩校正模組 145384.doc -38· 201036421

114 伽瑪模組 116 色彩轉換模組 118 影像組合模組 120 壓縮及儲存模組 130 影像處理系統 140 影像儲存器件 200 糸統 201 第一影像輸入 202 第二影像輸入 205 影像組合引擎 206 經組合之影像輸出 300 系統 305 影像組合引擎 306 經組合之影像輸出 311 第一明度輸入 313 第二明度輸入 315 第一影像輸入 317 第二影像輸入 321 配準電路 322 輸出 323 影像組合電路 324 輸入 325 控制電路 326 輸入 145384.doc •39- 201036421 400 402 404 406 408 420 422 424 426 427 428 429 430 431 432 433 434 435 437 439 460 462 464 466 系統/影像組合電路第一影像明度資料第二影像明度資料第一影像資料第二影像資料階層式配準電路粗略配準電路精細配準電路運動向量產生電路粗略運動向量運動向量增加取樣電路精細運動向量巨集區塊運動向量精化電路 MV MS差異資料特殊應用控制電路表信號加權表搜尋範圍控制信號臨限值控制信號回應信號階層式組合電路粗略組合電路精細組合電路巨集區塊影像對準電路 145384.doc • 40- 201036421 Ο Ο 468 區塊MSE差異鑑別器電路 470 濾、波器 472 據波器 474 平均像素差異電路 476 影像組合電路 480 輸出影像資料 501 資料流 502 移動物件 504 歸因於手抖動所致之移位 512 粗略配準 514 精細配準 516 粗略組合區塊對準 518 粗略組合區塊差異 521 第一行 523 第二行 530 第一部分 532 第二部分 601 貧料流 602 適當曝光部分 604 曝光不足部分 606 過度曝光部分 608 適當曝光部分 612 粗略配準 614 精細配準 145384.doc •41 - 201036421 616 粗略組合 621 第一行/第一處理路徑 623 第二行/第二處理路徑 701 資料流 702 聚焦之近場部分 704 模糊之遠場部分 706 模糊之近場部分 708 聚焦之遠場部分 712 粗略配準影像 714 精細配準影像 716 粗略組合影像 718 精細組合影像 721 第一處理路徑 723 第二處理路徑 803 平面 805 平面 807 平面 813 視野 815 視野 817 視野 902 具有幾何失真之影像 1002 具有幾何失真之影像 1101 貢料流 1104 具有幾何失真之單一影像 145384.doc • 42· 201036421

1112 1114 1115 1116 1118 1120 1500 1510 1522 1526 1528 1530 1532 1534 1536 1538 1540 1542 1544 1564 1568 1570 粗略配準影像精細配準影像經重取樣之影像粗略組合影像精細組合影像經校正之影像系統信號處理器系統封裝或系統晶片器件顯示控制器顯示器件輸入器件記憶體編碼器/解碼器（編解碼器）揚聲器麥克風無線介面無線天線電源供應Is 影像組合模組相機介面視訊相機 145384.doc -43-

Claims

201036421 七、申請專利範園： 1 ·—種方法，其包含：接收對應於-第-影像之第一影像資料及對應於一第一影像之第二影像資料；藉由施加對應於㈣二影像資料之部分與該第一影像資料之對應部分之間的偏移之一組運動向量資料而調整該第二影像資料以產生經調整之第二影像資料；及 Ο Ο 藉由至少部分地基於比較該第—影像資料之一第一特與該第二影像資料之一第二特性而選擇性組合來自該第一影像資料之卜值與來自該經調整之第二影像資料的第二值來產生第三影像資料。 2. 如請求項1之方法，其中兮逡摆沾Λ人 m * Μ選擇性組合包括-粗略組合才呆作及一精細組合操作。 3. =未Γ之方法，其中該粗略組合操作係對該經調整 2像資料之巨集區塊執行且其中該精細組合操作 =第-影像資料及該第二經調整之影像資料的像素 201036421 =像特性，且其中該等第—值與該等第二值係基於該寺經濾波之影像特性而選擇性組合。 6·如請求項1之方法，豆中兮笛一 5 ，、Τ μ第—特性及該第二特性指示一 4焦條件、一物件在該第— 景）像及該第二影像内之一移動或一曝光。 7.如請求項1之方法，其中誃 /f、 "專第一值及該等第二值係至 y σ刀地基於比較該第—影像警#少兮铱像貝料之—經濾波之部分與皮之部分而選擇性組合。 8·如味求項1之方法，其中兮货 t # ^ ^^ w第—影像資料及該第二影像貧枓包括擷取於一相機之—且装〜像感應器處之連續圖框，其中。亥第一影像資料包括對對應於该第一影像之一第一組塊，其中該第二 n /像f枓包括對應於該第二影像之第二組巨集區塊， ^ 脾今έ 中調整該第二影像資料包括將该組運動向量資料叶匕括〇 , ^ , 刀至邊第一組巨集區塊。 9.如叫求項1之方法，政中 μ ^ '、中5亥組運動向量資料係經由一階盾式配準程序而判定。 1白 10·如請求項9之方法，其 # 層式配準程序包括：部分之Η的堂弟一部分與該第二影像之一第一丨之間的-弟-對準偏移；及一對準偏移判定該第―影像之一第* =二Γ一第二部分之間的-第二對準偏移，其ΐ 内。刀係在該第—影像之該第一部分 11.如請求項1之方沐 '、中當一影像經調整以補償手抖動 145384.doc -2* 201036421 ' ^ 在為經s周整之第一影像資料之巨集區塊内的像素被廢棄。如:'求項1之方法’其中該第三影像資料調整該第一影像資料及該帛二影像資料以補償橫向色差。 13. 一種方法，其包含：判^對應於第一影像資料之—第一組區塊中的每一區塊與第—影像資料之一第〆組區塊中的一對應區塊之間的一偏移之一第—組運動向量；對該第一組運動向量中的一對應於該第二影像資料之该第一組區塊中之-特定區塊的運動向量增加取樣以將該運動向量施加至該第二影像資料之一第二組區塊，該第办像資料之该第二組區塊包括於該特定區塊内；判定對應於在將該運動向量施加至該第二組區塊之後的在該第一影像資料之一第二組區塊中的每一者與該第一景y像資料之該第二組區塊中的一對應區塊之間的一偏移之一第二組運動向量；將該第二組運動向量施加至該第二影像資料以產生經調整之第二影像資料；及選擇性組合該第一影像資料與該經調整之第二影像資料以產生第三影像資料。 14. 如請求項13之方法，其中該第三影像資料具有以下各者中之至少一者：一比該第一影像資料大之場深度、比該第一影像資料小之雜訊、或一比該第一影像資料大之動態範圍。 145384.doc 201036421 15. 16. 17. 18 19 20 如β求項13之方法，其中該第二組運動向量係基於一經由-控制輸入指示之可選擇搜尋範圍而判定。如明求項15之方法，其中該可選擇搜尋範圍限制在將該運動向里施加至4第二組區塊之後的在該第—影像資料之β第-組區塊中的每__者與該第：影像資料之該第二組區塊中的該對應區塊之間的該偏移。一種裝置’其包含： -e«準電路’其經組態以基於對應於—第—影像之第一影像資料及對應於—筮- κ第一影像之第二影像資料來產生一組運動向量資料；、、且。電路’其經耗接以選擇性組合該第—影像資料與經調整之第二影像資料，其中該經調整之第二影像資料對應於在根據該等運動向量資料調整之後的該像資料；及資料。如請求項17之裝置，i Φ兮· &、、住& 置/、中5玄配準電路包括一粗略配準路及一精細配準電路。如凊求項17之裝置’其中該組合電路包括—粗略組合路及一精細組合電路。如請求们7之裝置，其中該配準電路包含：運動向量產生電路，其具有_經輕接以接受該第衫像資料之第一輸入、_缚說垃„ 、士耦接以接受該第二影像資之第二輸入及一運動向量產生輪出； 145384.doc 201036421 一運動向量增加取樣電路，運動向I $ # ^ 、八、！耦接以接受該出；及$產生輸出之輸人並提供—運動向量增加取樣輪 ::集區塊運動向量精化電路，其具有一經輕之第—輸人、—_接以接受該第二貝之第—輸入、—經耦接以接受該運動向量辦加取樣輪出之第三輸入並具有-巨集區塊運動加一巨集區塊切動向讀出及 2i.如請求項17之裝置，其中該組合電路包含：區塊影像對準電路，其具有—經㈣以接收該 f:衫像資料之第-輸入及-經輕接以接收該第二影像 Ο 〇經耦接以接收一巨集區塊運動向量經對準之第一影像輪出及一經對準資料之第二輸入信號之第三輸入之第二影像輸出；厂區塊差異鑑別器電路，其具有—經純以接收該經對準之第-影像輸出的第—輸人、—經純以接收該經對準之第二影像輪出的第二輸人、—經㈣以接收一巨集區塊差異信號之第三輪人並具有u像差異輸出及一第二影像差異輸出；及一平均像素差異電路，其具有—耗接至該區塊差異鑑別器電路之第-輸人且經组態以提供_像素差異輸出信號以指示一平均像素差異結果。 22.如請求項21之裝置，其進一步包含：第一濾波器，其耦接於該區塊差異鑑別器電路與該 145384.doc 201036421 平均像素差異電路之間，具有像差異—料㈣第—影異輸出之輪出；及、.遽'波之苐-影像差一第二濾波器，其耦接於該區平均像+ # s赤差異釔別态電路與該卞1像素差異電路之間，具有_ 偾ϋ s k !耗接以接收該第二影像差異輸出之第一輸入並偾*s认抚供一經濾波之第二影像差異輸出之輸出。、 23. 24. 25. 26. 如請求項17之裝置，其進一步包含：一相機透鏡；及麵接至該相機透鏡之電路’其用以產料並產生該第二影像資料。 “象身如請求項23之裝置，其進一步句a — 3 —耦接至一無線收發态乂！由一天線發送並接收資料的處理器。如睛求項23之裝置，盆中兮驻 Γ ’、 Syi裝置為一個人數位助理 (「PDA」）。一種裝置，其包含： -配準構件，其用於基於對應於一第一影像之第一影像資料及對應於-第二影像之第二影像f料來產生一組運動向量資料；上一組合構件，其用於選擇性組合該第一影像資料與經週整之第二影像資料’其中該經調整之第二影像資料對應於在根據該等運動向量資料調整之後的該第二影像資料；及控制構件，其用於控制該組合構件以產生第三影像 145384.doc 201036421 資料。 27.如請求項26之裝置，其進一步包含：一相機透鏡；及耦接至該相機透鏡之電路，其用以產生該第一影像資料及該第二影像貢料。

145384.doc