TW200948050A - Controlling multiple-image capture - Google Patents

Description

200948050 六、發明說明： 【發明所屬之技術領域】 本發明係關於控制包含至少基於對預擷取資訊之一分析 之多重影像之擷取之影像擷取以及其他。 【先前技術】 ' 在藉助一相機來擷取一場景時，諸多參數影響所擷取之 • 影像之品質及有用性。除控制總曝光之外，曝光時間影響 運動模糊，f/數影響景深，等等。在諸多相機中，可控制 所有或部分此等參數並便利地稱之為相機設定。 用於控制曝光及聚焦之方法在基於膠片之相機及電子相 機兩者中皆眾所周知。然而，此等系統中之智慧位準受相 機中之資源及時間約束條件限制。在諸多情形下，知曉正 擷取之場景之類型可容易地導致經改良之擷取參數選擇。 舉例而δ，得知一場景係一肖像可允許相機選擇一較寬光 圈、最小化景深。得知一場景係一運動/動作場景可允許 ❹ #機自動地限制曝光時間以控制運動模糊並相應地調整增 益（曝光扎數）及光圈。由於此知識有用於導引簡單曝光控 制系統因此諸多膠片、視訊及數位相機皆包含可由使用 • 纟選擇之若干場景模式。此等場景模式主要係參數設定群 # ’其在使用者對場景類型之選擇既定時引導相機最佳化 參數。 場景，式之使用限於數種方式。-種限定係，使用者須 ^擇可對其有效之場景模式，此通常係不便利的，即使 係在使用者瞭解場景模式之利用率及使用的情況下。 137711.doc 200948050 一限疋係，場景模式往往會使得正擷取之可能種類 之場景過刀簡單化。舉例而言，一種常見場景模式係「肖 像：其經最佳化以用於擷取人像。另一常見場景模式係 夺地」，其經最佳化以藉助不同參數來擷取一雪地背景 下之物件#使用者希望擷取一雪地背景下之肖像，則 其須選擇肖像或雪地’但其不可組合各自之態樣。存在諸‘ 多其他組合’且針對不同組合創建場景模式係最為困難。 . 在另一實例中，一背光場景可極其類似於一具有一雪地 旁豕之場景’乃因其標的物係由具有一較高亮度之背景所❹ 環繞。極少使用者可能瞭解一背光場景之概念並意識到其 與 4地」場景具有極大相似性。希望就背光場景協助 使用者之相機研發者將可能必須對背光場景添加一場景模 式，即使該場景模式可能與雪地場景模式相同。 此兩種情形皆說明了以一偶然使用者可理解之方式闡述 照片場景之問題。所需之場景模式數目大大增加且變得難 以掌握。場景模式之增殖最終加重諸多使用者發現場景模 式過度複雜之問題。 〇 已嘗試使—場景模式之選擇自動化。此等嘗試使用來自 評估影像之資訊及其他資料來確定一場景模式。然後使用 該場景模式來自針對每一場景模式最佳化之數個組之梅取. 參數選擇-組擷取參數。雖然此等習用技術具有某些益- 處，但此項技術中仍需要用於確定場景模式或影像擷取參 數(尤其在擷取多個影像並將其組合以形成一經改良之單 個影像時）之經改良之方法。 137711.d〇c -4- 200948050 【發明内容】 藉由用於根據本發明之各種實施例控制一影像擷取之系 統及方法’已解決上文所闡述之問題且此項技術中已達成 一技術解決方案。在某些實施例中，獲得預擷取資訊。該 預擷取資訊可至少指示場景條件，例如一場景之光位準或 一場景之至少一部分之運動。然後可藉由一適當之確定步 驟至少基於對該預掏取資訊之—分析來確多重影像操 ❹

取，該多重影像擷取經組態以獲得多個影像以供合成為一 單個影像。 舉例而言’該確定步驟可包含至少基於對場景條件之一 分析來確定-場景無法由一單影像掏取有效地掏取且因 此確定多重影像擁取不適當。在其中預擁取資訊指示一場 景之光位準之情形下，該確定步料確定該光位準不足 以使得該場景藉由-單影像擁取有效地被操取。在其中預 擷取資訊指示-場景之至少 刀又建動之情形下，該確 步驟可L 3確定該運動將導致一 早知像擷取中有過大之 、糊。類似地，在其中預擷取資訊 分中之不同運動之情形下，該：=之至少兩部 同運動中之至少—者將導致寺不 糊。 影像擷取令有過大之模 牡不發明之某 像之掏取。此等異質影像可包含(舉：：包含異質影 分時間；曝光時間，訊框速率；像素因解析度；積 類型或彩色像素類型）；$焦；雜訊（例如全景像素 s β除方法；增益設 1377H.doc 200948050 疋，色調再現；或閃光模式而不同之影像。鑒於此在 中預擁取資㈣轉存在於—場景之—部分巾之局部運動 =某些實施例中’該確定步驟包含回應於該局部運動而碟 疋該多重影像擷取將經組態以擷取多重異質影像。進— ，於此’該等多重異f影像中之至少—者可包含—僅:含 場景中展現該局部運動之部分或大致該部分之影像。在二 些實施例中’至少基於對該預擷取資訊之-分析來確定該 多重影像棟取之一影像操取頻率。 卜在某些實施例中，當認為一多重影像擷取適當 時’由（舉例而言）—資料處理系統來指令此多重影像棟取 之執行。 除上文所闡述之實施例之外，藉由參照圖式且藉由學習 以下詳細闡述將更明瞭其他實施例。 【實施方式】 本發明之實施例係關於可位於一數位相機内之資料處理 …統該等資料處理系統（舉例而言）分析預梅取資訊以確 定疋否應獲知多個影像並將其合成為一個別影像。因此， 本：月之實％例至少基於預擷取資訊來確定經组態以產生 一單個合成影像之多重影像之獲得何時將具有優於一單影 象擷取之,’·呈改良之品質。舉例而t，本發明之實施例至少 自才曰不低光或尚運動場景條件之預擷取資訊來確定一多重 影像擷取而非一單影像擷取係適當。 「應’主意除非上下文另外明確表明或需要，否則措辭 或」在本發明中用於一非排他性場景中。 1377ll.doc 200948050 圖1圖解說明一根據本發明之一實施例用於控制—影像 擷取之系統100。系統100包含一資料處理系統11〇、一周 邊系統120、一使用者介面系統130及一處理器可存取記憶 體系統140。處理器可存取記憶體系統14〇、周邊系統 及使用者介面系統130以通信方式連接至資料處理系統 110 。 、 ' 資料處理系統110包含實施本發明各種實施例之過程（其 中包含本文中所闡述之圖2至7之實例性過程）之一個或多 個資料處理裝置。片語「資料處理裝置」或「資料處理 器」意欲包含任一資料處理裝置，例如一中央處理單元 (「CPU」）、一桌上型電腦、一膝上型電腦、—主機電 腦、一個人數位助理、一 Blackberry™、一數位相機、蜂 巢式電話或用於處理資料、管理資料或處置資料之任—其 他裝置，無論其係與電組件、磁性組件、光學組件、生物 組件抑或其他組件一起實施。 處理器可存取記憶體系統140包含經組態以儲存資訊之 一個或多個處理器可存取記憶體，該資訊包含需用以執行 本發明之各種實施例之過程之資訊，該等過程包含本文中 所闡述之圖2至7之實例性過程。處理器可存取記憶體系統 140可係一分佈式處理器可存取記憶體系統，其包含經由 複數個電腦及/或裝置以通信方式連接至資料處理系統u〇 之多個處理器可存取記憶體。另一方面，處理器可存取記 憶體系統140無需係一分佈式處理器可存取記憶體系統， 且因此可包含位於一單個資料處理器或裝置内之一個或多 137711.doc 200948050 個處理器可存取記憶體。 片語「處理器可存取記憶體」意欲包含任一處理器可存 取資料儲存裝置，無論係揮發性或非揮發性、電子、磁 性、光學或其他，其包含但不限於暫存器、軟磁碟、硬磁 碟、光碟、DVD、快閃記憶體、rom及RAM。 片語「以通信方式連接」意欲包含其中可傳送資料之裝 置、資料處理器或程式之間的任一類型之連接，無論係有 線抑或無線。此外’片肖「以通信方式連接」意欲包含一 單個資料處理II内之裝置或程式之間的連接、定位於不同 資料處理器中之裝置或程式之間的連接及完全不位於資料 處理器中之裝置之間的連接。鐾於此，雖然顯示處理器可 存取記憶體系統140與資料處理系統11〇分離，但熟習此項 技術者將瞭解，處理器可存取記憶體系統14〇可完全地或 部分地儲存於資料處理系統11〇内。進一步馨於此雖缺 顯示周邊系統12〇及使用者介面系統13〇與資料處理系統 分離，但熟習此項技術者將瞭解，此等系統中之一者 或兩者可完全地或部分地儲存於資料處理系統㈣内。 周邊系統m可包含經組態以將預#緣資訊及所擁取之 影像提供至資料處理系統110之一個或多個裝置。舉例而 :’周：系統可包含此項技術中習知之光位準感測 器、包含陀螺儀之運動感測器、電磁場感挪器或紅 測器，該等感測器提供⑷預擁取資訊，例如場景光位準資 訊、電磁場資訊或場景運動資訊，或（b)所操取之影像。在 接收到來自周邊系統12〇之預擷取資訊或所擁取之影像 13771I.doc 200948050

一裝置或裝置之組合。 或資料處理器系統110將把資料輸出至之任 之組合。就此而言，若使用者介面系統130 匕3處理器可存取記憶體，則此記憶體可係處理器可存 取記憶體系統140之一部分， 即使使用者介面系統130及處 理器可存取記憶體系統14〇係單獨地顯示於圖i中。 ξ 一實施例之方法200，其 一場景中之一運動位準， 圖2圖解說明用於本發明之一第 中使用預擷取資訊來確定存在於· 使用該運動位準來確定認為一單影像顧取抑或一多重影像 擷取適當。在步驟21〇中，由資料處理系統11〇獲得預擷取 資訊。此預擷取資訊可包含：兩個或兩個以上預擷取影 像、陀螺儀資訊（相機運動）、（^^位置資訊、光位準資 訊、音訊資訊、聚焦資訊及運動資訊。 然後在步驟220中分析該預擷取資訊以確定場景條件， 例如场景之一光位準或該場景之至少一部分中之運動。 就此而言’該預擷取資訊可包含用於確定相機與場景之間 的相對運動是否存在，或是否可合理地預期影像擷取期間 存在運動之任一資讯’使得在經由一多重影像擁取組而非 1377H.doc 200948050 © 〇 一單影像擷取而被擷取之情況下，一場景之一影像將具有 更佳品質。預影像擁取資訊之實例包含：總曝光時間（其 隨存在於一場景中之光位準而變）；該場景之至少一部分 中之運動（例如速度及方向）；該場景之不同部分之間的運 動差異，聚焦資訊；裝置（例如周邊系統12〇)之方向及位 置；陀螺儀資訊·，範圍資料；旋轉資料；物件識別；物件 位置；音訊資訊；色彩資訊；白平衡；動態範圍；面部偵 測及像素雜訊位置。在步驟230中，至少基於步驟22〇中所 實施之分析，做出一關於場景之一影像是否藉由一多重影 像擷取而非一單影像擷取之最佳地擷取之確定。換言之， 在步驟230中，至少基於在步驟22〇中所實施之對預擷取資 訊之分析來做出一關於一多重影像擷取是否適當之確定。 舉例而言，可比較藉由步驟220令之分析而確定之存在於 一場景中之運動與適當地擷取該場景之一影像所需要之總 曝光時間（隨光位準而變）。若偵測到相對於總曝光時間之 低運動使得一運動模糊位準可接受，則在步驟24〇中認為 一單影像擷取係適當。若偵測到相對於總曝光時間之高“運 動使得運動模糊位準不可接受，則在步驟25〇中認為I多 重影像擷取係適當。換言之’若一場景之光位準：低二 得其致使料景巾之㈣柯接受地加劇1在步驟23〇 中認為-多重影像擷取係適當。若期望延伸之景深或延伸 之動態範圍（其中可使用具有不同焦距或不同曝光時間之 多個影像來產生一經改良之合成影像），則亦可認為一多 重影像擷取係適當。當相機處於一閃光模式（其中在具有 137711.doc 200948050 閃光之情況下擷取多重影像摘取組中所揭取之某些影像， 且在不具有閃光之情況下擷取某些影像且使用部分該等影 像來產生一經改良之合成影像）中時，可進一步認為—多 重影像擷取係適當。 同樣在步驟250中，如所闡述設定多 玉'了、/ |个卿％ 數’舉例而言’參照下文之圖3至6 若步驟230中之決策為肯定，則在步驟26〇中，資料處理

系統110可自動地或回應於使用者輸入（例如下壓一快門觸 發）之接收來指令多重影像擷取之執行。鑒於此，資料處 理系統110可指令周邊系統12〇實施多重影像擷取。在步驟 270中’合成多個影像以產生一具有經改良之影像特性（其 中包含與原本可在步驟24〇中由一單影像擷取所獲得之影 像相比減少的模糊)之影像。鑒於此，藉由使用名稱為 「具有減少的物件運動模糊之數位影像」之美國專利申請 案11/548·’代理播案92543);名稱為「影像掏取設備及 =方法」之美國專利第W92W9號；或名稱為「用於合併 影像之方法及其設備」之美國專利5,488,674中所闡述之方 夕夺多個I像之至少若干部分組裝為一單個影像來使用一 ^重影絲取中之多個影像來產生—具有經改良 性之影像。 =然圖2中未顯示，但若步驟咖中之決策為否定，則資 理系統100可指令一單影像擷取之執行。 20意、本文中所闡述之所有剩餘實施例皆假定步驟 230中之也结及 A 7斤 、’、 重影像擷取係適當，例如，關於總曝 137711.doc 200948050 光時間之預擷取資訊之運㈣㈣ 中之-不可接受之運動模糊位準（高運動）。因此，圖3、* 及6僅顯示自步驟230退出之「是」，且此等圖式中之隨後 步驟圖解說明步驟25G之衫實施方案之某些實例。繁於 此，圖3中之步驟310及圖4中之步驟41〇圖解說明圖2中之 步驟210之特定實施方案。 之步驟420圖解說明圖2中 例0 同樣’圖3中之步驟320及圖4中 之步驟220之特定實施方案之實

圖3圖解說明根據本發明另一實施例之方法3〇〇，其中偵 測運動且認為-多重影㈣取係適當並選擇該多重影像擁 取。除其他之外，此實施例亦適於在存在受限局部運動時 成像’此乃因影像擁取期間存在之運動被視為全局運動， 其中可將該運動闡述為整個影像上之一均一平均值。在對 應於圖2中之步驟210之步驟31〇中，所獲得之預操取資訊 包含需用以聚集ζ電子之總曝光時間tt。…。ζ係產生一具有 低雜訊之可接受亮影像所需之電子/像

相依於對欲產生之影像所施加之動態範圍限制之像= 一平均、一最大值或一最小值來確定。鑒於此，在步驟 310中所獲得之總曝光時間tt〇ta|隨正再檢視之場景甲之光位 準而變。可在步驟310中將總曝光時間t_心為由（舉例 而言）周邊系統120對一個或多個預擷取影像之獲得之一部 分。舉例而言，周邊系統120可經組態以獲得一聚電子 之預擷取影像。獲得此影像所花費之時間量指示聚集（電 子之總曝光時間tt()tal。鑒於此，可稱在步驟31〇處獲得之預 137711.doc 12 200948050 揭取資訊可包含預擷取影像。 在步驟320中，分析在步驟31〇中獲得之預擷取資訊以確 定包含場景中存在之運動模糊（例如一來自總曝光時間％。⑷ 内之全局運動之平均運動模糊agmavg(像素中》之額外資 • 訊。其中通常就在由陀螺儀資訊確定或藉由比較2個或2個 以上預擷取影像而確定之一影像擷取期間移動之像素來量 • 測運動模糊。如先前所論述，圖3中之步驟230(其對應於 φ 圖2中之步驟230)確定agmavg對於一單影像擷取而言過大。 因此，認為一多重影像擷取係適當，此乃因可以一小於 tt〇U1之曝光時間來擷取多個影像中之每一者，從而產生一 具有減少之模糊之影像。然後可將模糊減少之影像合成為 一具有減少之模糊之單個複合影像。 鑒於此，在步驟330中，最初可藉由用平均全局運動模 糊agmavg除以多重影像擷取中所擷取之任一單影像中之所 期望最大全局運動模糊來確定欲於多重影像擷取中擷 ❹ 取=免像之數目ngm，如以下方程式1中所示。舉例而言， 若平均王局運動模糊agmavg為八個像素，且在多重影像擷 之任個影像之所期望最大全局運動模糊amax為 ’ 一個像素，則步驟330中對多重影像擷取中之影像數目ngm . 之初始估計為八。 々杜工、1 匕，\yJ ~*1~* _ y 下方程式2中所示，多重影像擷取中之一個 H摘取之平均曝光時間tavg係總曝光時間ttotal除以多重 衫像梅取中之影後奴 元像數目ngm。此外，如以下方程式3中所 137711.doc •13- 200948050 示，多重影像擷取中之一個別影像擷取内之全局運動模糊 agmavg(在所移位之像素數目中）係總曝光時間by内之全局 運動模糊agmaVg(在所移位之像素中）除以多重影像擷取中之 景;ί像數目ngm。換言之，多重影像擷取中之個別影像操取 中之每一者皆將具有一小於總曝光時間tt〇ui之曝光時間 tavg，且因此展現小於總曝光時間tt〇tai内之全局運動模糊 agmavg(像素中）之運動模糊agm_ind。 ❿ 方程式2 ^Cgmavg/ Ilgm 方程式 3 …方程式4 應注意，多重影像擷取組内之個別影像擷取丨、2、 3...ngm之曝光時間tl、、t3...tngm可不同以為影像提供不同 椒糊位準αι、α2、α3，其中該等個別影像操取之曝 光時間平均為tavg。 〇 在步驟340中，可將相加之操取時間^(見上文方程式4) 與一最大總曝光時心進行比較，可將該最大總曝光時間γ 確定為-操作者通常可期望在影像取期間保持影像棟取 裝置穩定之最大時間，例如〇.25秒。(注意：當一個別擷取 η之曝光時間小於影像感測器之讀出時間以使得曝光時. 小於擷取之間的時間時，擷取夕„认+ 彌取之間的時間應在使用方程式 4確定tsum時取代tn。曝光時間u係光由影像感測器上之像 素收集或整合之時間’且讀出時間係歸因於資料處置限制 可自感測器讀出依序影像之最快時間則在步 驟350中將對ngm之當前估計界定為多重影像操取組中之多 137711.doc -14· 200948050 重影像之數目。隨後，在圖2中之步驟260中，可指令一包 含ngm影像之多重影像棟取之執行。 返回至圖3中所鬧述之過程，若在步驟34〇中％咖、，則 tsum將減小。步驟360提供用以減小^㈣之兩種方式之實 例：可例如以2X重合方格化影像擷取組中該等影像之至少 一部分’或可減小欲練取之影像之數目ngm。在步驟36〇處 - 可使用此等技術中之一者、此兩種技術或用於減小％咖之 其他技術或其組合。 應注意，重合方格化係一用於在藉由感測器電路中之一 改變而讀出之前組合一感測器上之毗鄰像素之電荷從而有 效地形成減少數目之組合像素之技術。組合在一起之毗鄰 像素之數目及像素陣列上組合之毗鄰像素在影像感測器上 之空間分佈可不同。組合毗鄰像素之間之電荷之淨效應係 組合像素之信號信准增加至毗鄰像素電荷之和；雜訊減小 至毗鄰像素上之雜訊之平均；且影像感測器之解析度減 Q 小。因此，重合方格化係一用於改良信雜比之有效方法， 從而當在低光條件下擷取影像或當以一短曝光時間進行擷 取時使其成為一有用技術。由於像素之有效數目減小至組 ^ 合像素之數目，因此重合方格化亦減小讀出時間。在本發 明之範疇内，亦可在讀出後使用像素求和來增大信號且減 小雜訊’但此方法不減小讀出時間，此乃因讀出之像素之 數目並未減小。 在執行步驟360之後，重新計算所求和之擷取時間並 於步驟340中將其與所期望最大擷取時間γ再次比較。繼續 137711.doc •15- 350 200948050 重複執行步驟36G直至_个#該過程繼續進行至步驟 時，其中界定多重影像擷取組中之影像之數目。

圖4圖解說明根據本發明又一實施例之方法彻其中評 估局部運動及全局運動兩者以確定_多重影像摘取是否係 適當。在步驟41〇中，獲得預操取資訊，其中包含至少細 預擷取影像及聚集平均ς個電子所需之總曝光時以咖。然 後在步驟42G中分析賴取資訊以界定影像十所存在之全 局運動模減局料動模㈣者，収料全局運動模糊 agmavg。其中，局部運動模糊係因為在量值或方向上與全 局運動模糊或平均全局運動㈣不同而被區分出。因此， 在步驟42G中，若存在局部運動，則將藉由比較多重影像 擷取組中之2個或2個以上影像來在被成像之場景之至少〕 個不同部分中識別不同運動。可基於—整個賴取影像或 僅基於預棟取影像中含有全局運動之部分且排除預摘取影 像中含有局部運動之部分來確定平均全局運動模糊 ^gmavg ° 同樣在步驟420中，分析預擷取影像中之運動以確定包 〇 含存在於場景十之運動模糊（例如（a)特徵化為對應預擷取 影像之間之一像素移位的全局運動模糊心……（在所移位之 像素中）及（b)特徵化為預擷取影像之對應部分之間之一像 素移位的局部運動模糊aim pre)之額外資訊。一闡述包含局 運動估計之各種運動估計方法之例示性文章係G orwar、M. Murshed及L. Dooley等人所著資訊技術研究與 實踐期刊（Journal of Research and practice in Information 137711.doc -16- 200948050

Technology)2004年8月第3號第36卷之「使用距離相依臨限 值之基於塊之快速真實運動估計（fast Block-Based True Motion Estimation Using Distance Dependent Thresholds)」° 儘管全局運動模糊通常應用於大部分影像（如在影像之背 景中），但局部運動模糊僅應用於影像之一個部分，且一 影像之不同部分可含有局部運動之不同位準。因此，對於 每一預擷取影像，將存在一個agm.pre值，而對於預擷取影 像之不同部分，可存在數個alm_pre值。局部運動模糊之存 在可藉由自0Cim-pre 減去 agm-pre 或 agmavg ’ 或措由確定該影像 上alm_pre之值或方向中之變化來確定。 在步驟430中，比較每一預擷取影像之局部運動與一預 定臨限值λ，以確定該擷取組是否需要顧及局部運動模 糊。其中λ係以來自影像之間之全局運動之像素移位差來 表達。若對於影像中存在局部運動之所有部分而言，局部 運動<λ，則確定多重影像擷取中不需要顧及局部運動，如 步驟497中所示。若對於預擷取影像之任一部分而言，局 部運動>λ，則將存在於合成影像中之局部運動模糊視為不 可接受，且在步驟495中界定一個或多個局部運動影像並 將其包含於多重影像擷取組中。其中局部運動影像與全局 運動影像之不同之處係在於局部運動影像與多重影像擷取 組中之全局運動影像相比，具有一較短曝光時間或一較低 解析度（來自一較高重合方格化比）。 應注意，可在本發明範疇内界定考量預擷取影像中具有 局部運動之一區域所需之局部運動之一最小面積，以達成 137711.doc -17- 200948050 。舉例而言，若僅一極小部分預 則可忽略此小部分以達成在步驟 在步驟430中評估之目的 擷取影像展現局部運動， 430處評估之目的。 平中確定全局運動操取之數目，以將全局運動 在步驟广，減小至小於最大所期望之全局模糊、。 A , 70中，如在步驟34〇中確定總曝光時間tsum，在確 疋sum時另外將在步驟495處識別之局部運動影像之數目 ^及局部運動曝光時間、連同全局運動影像—起包含在 内圖4中之步驟47〇及48〇之處理與圖3中之步驟州、则 之不同之處在於局部運動影像不藉由步驟彻之處理而被 修改：舉例而言，當在步驟中減小‘時僅移除全局 運動影像（ngm減小）或將全局運動影像重合方格化。在步驟 490中’界疋多重影像棟取以包含所有局部運動影像⑴爪及 組成ngm之剩餘全局運動影像。 圖5圖解說明根據本發明之一實施例在圖4中之步驟4% 上擴展之方法500，其中界定一個或多個局部運動影像（有 時稱作一「局部運動擷取組」）並將其包含在多重影像擷 取組中。在步驟510中，如在步驟430中在至少—部分影像 之預擷取影像中偵測alni_pre_a gm-pre 大於λ。在步驟520中， 在以下方程式5中確定足以將過度局部運動模糊 agra-pre自步驟510減小至一可接受位準（aim max)之曝光時間 tlm = tavg (Ct|nHiwx/(aim*pre ” Ctgm-pfe)) 方程式5 在該過程中之此點處’最初可給nlm(局部運動操取組中 i37711.doc • 18 - 200948050 之t/像之數目）指派值t。在步驟53〇中，以一因子（例如 2X)來將欲棟取之局部運動影像重合方格化。在步驟54〇 中，將影像中已镇測局部運動之部分中之像素之平均碼值 與預疋所期望之信號位準ζ進行比較。若該影像中已偵測 局。Ρ運動之部分中之像素之平均碼值大於預定信號位準 * ς’貝已如步驟550中所示將局部運動掏取組界定為（tlm、 • 若影像中已㈣局部運動之部分中之像素之平均碼 φ 值】於步驟540中之ζ，則在步驟580中將欲擷取之局部運 動棟取组之解析度與一最小分數相對解析度值^與欲操取 之全局運動擁取組相比）進行比較。選擇⑽將解析度差限 制^局部運動影像與全局運動影像之間以使得：可係（舉例 )2或、若在步驟5 80中局部運動擷取組之解析度與 全局運_取㈣目比大於τ，則該過程返回至步驟53〇且將 以2Χ之因子將欲操取之局部運動影像進—步重合方格化。 然而’若局部運動操取組之解析度與全局運動掏取組相比 © 係、<T ’則該過程繼續進行至步驟別，其中局部運動擷取 組中之局部運動操取之數目n】m增加ι ’且該過程繼續進行 至步驟560。以此方诖，婪描4 —去人 此方式右僅進仃重合方格化不能充分增 . Λ局部運動影像中之碼值以達到所期望之ς電子/像素平 均，則局部運動影像之數目nlm增大。 在步驟56G中’將在影像中已 <貞測局部運動之部分中之 像素之平均碼值與⑽修改以顧及、之增加之—預 期望信號位準^進行比較。若影像中已相局部運動之 部分中之像素之平均碼值小於⑽m，則該過程返回至步驟 J377ZI.doc -19- 200948050 :二且:::次增大。然而，若影像中已價測局部運動之部 Λ ”之平均碼值大，則該過程繼續進行至步 請，且以….來界定局部運動摘取組。步驟56〇伴 :影像中已伯測局部運動之部分之、個局部運動影像之 總和之平均碼值將係々且將提供—高信雜比1注音， 局部運_取組中之局部運動影像可囊括整個訊框或將僅 揭限於訊框中在影像中發生局部運動之—部分（或若干部 分）。應進-步注；i，圖5中所示過程在增加操取之數目之

前f先地重合方格化，但本發明亦可與在進行重合方格化 之前優先地增加之擷取數目一起使用。 〇 圖6圖解說明根據本發明又一實施例之方法6〇〇，其中在 -多重影像擷取中之影像擷取中之至少一個影像擷取期間 使用閃光來照亮一場景。圖6中之步驟41〇、42〇等效於圖4 中之步驟。在步驟625中，詢問擷取設定來確定影像擷取 裝置是否係處於一允許利用閃光之閃光模式中。若影像擷 取裝置不處於一閃光模式中，則將不操取任何閃光影像， 且在步驟630中該過程返回至如圖4中所示之步驟43〇。 若影像擷取裝置係處於一閃光模式中，則該過程繼續進 行至如先前已針對圖4闡述之步驟46〇。在步驟65〇中，與 圖4中之步驟470類似地將所求和之曝光時間％咖與預定最 大總曝光時間γ進行比較。然而，若tsum<Y，則該過程繼續 至步驟670 ’其中將局部運動模糊aim_prei —比較與預定最 大局部運動λ進行比較。若αΐιη·ρΓβ<λ，則如步驟655中所 示’擷取組由ngm個不具有閃光之擷取組成。若aim pre>^， 13771J d〇c -20. 200948050 則在步驟660中修改擷取組以包含ngm個不具有閃光之擷取 及至少1個具有閃光之擷取。若在步驟65〇中％咖>丫，則在 步驟665中減小ngm以使得tsum<Y，且該過程繼續至步驟 660，其中將至少一個閃光擷取添加至擷取組。 一閃光模式之擷取組包括ngm、tavg*ti、t2、t3.屯㈣及 nfm。其中nfm係在處於一閃光模式中時閃光擷取之數目。 . 應注意，當包含—個以上閃光擷取時，曝光時間及閃光強 〇 度或持續時間視需要在閃光操取之間可不同以減少運動假 像或啟用場景中欲於影像擷取期間較好地照亮之部分。 考量圖4及6中所顯示之方法，該多重影像擷取組可由異 質影像組成，其中至少某些多重影像具有不同特性例 如：解析度、積分時間、曝光時間、訊框速率、像素類 型、聚焦、雜訊清除方法、色調再現或閃光模式。選擇多 重影像擷取中之個別影像之特性以啟用正成像之場景之某 一態樣之一經改良影像品質。 _ 選擇較高解析度以擷取場景之細節，而在存在較快運動 時選擇較低解析度以啟用-較短曝光及一較快影像掏取頻 率（訊框速率）。選擇較長積分時間或較長曝光時間以改良 • 信雜比，而選擇較短積分時間或曝光時間以減少影像中之 - 運動模糊。選擇較低影像擷取頻率（訊框速率）以允許較長 曝光時間，而選擇較快影像擷取頻率（訊框速率）以擷取一 正快速移動之場景或物件之多重影像。 由於不同像素類型對來自該場景之光具有不同之敏感 度，因此可擷取優先地由優於其他類型之某些類型之像素 137711.doc •21 · 200948050 組成之影像》作為一實例，若偵測到一綠色物件正在場景 中移動，則僅可自該綠色像素擁取—影像以達成—較:影 像擷取頻率（訊框速率）及減少之曝光時間，從而減少該物 件之運動模糊。另一選擇係，對於一具有例如紅/綠或 青/洋紅/黃等彩色像素及全色像素（其令全色像素之敏感卢 約為彩色像素之3X(見HamiH〇n所著之檔案9〇627美國專= 申請案）)之感測器而言’可在僅由全色像素組成之多重擁 取組中擷取影像以提供一經改良之信雜比，同時亦達成一 與由彩色像素組成之影像相比減少之曝光或積分時間。 在另一情況下，可擷取具有不同聚焦位置或伎之影像且 可使用不同影像之若干部分以產生一具有較寬景深或選擇 性聚焦面積之合成影像。可對多重影像擁取組中之影像使 用不同之雜訊清除方法及增益設定來產生（舉例而言）其中 雜訊清除已設計為保存細節邊緣之某些影像及其中雜訊清 除已經設計為減少色彩雜訊之其他影像。同樣，色調再現 及增益設定在多重影像摘取組中之影像之間可不同，其中 (舉例而„)可以尚反差比顯現高解析度/短曝光影像以強調 物件之邊緣，而可以飽和色彩顯現低解析度影像以強調影 象中之色《。在-閃光模式中，某些影像可以閃光來棟取 ，減少運動模糊’而其他影像在無閃光情況下操取以補償 諸如紅眼、反光及感光過度區域等閃光假像。 在已在多重影像操取組中擁取異質影像之後，使用多個 影像之若干部分來合成一經改良之影像，如圖2中之步驟 2 7 〇所示。 137711.doc -22- 200948050 圖7圖解說明根據本發明之一實施例 言）自合成過程中省卻高運動影像將來自—多重由^ ^ 之多個影像合成為一篁彻$„ 夕篁景w象擷取 彼等人有▲ 方法谓。高運動影像係 模糊之影像自!運動模糊之影像。藉由將具有大量運動 、入〜戶斤合成之單個影像或自多重影像擷取產生之 複合影像中省卻，所人士、* „〜 °成之早W複合影像之影像品質 步驟710中，多重影像擷取中之每一影像皆 ❻

與點擴散函數（PSF)眘祖 y ()ϋ獲仔。PSF資料㈣在影像摘 、0 4全局運動，而非自預擷取資料確定之預操取 運動模糊值〜一及％，。同樣，使用PSF資料來識別其 中〜像_取期間之全局運動模糊比基於賴取資料所預期 更大之影像。PSF資料可使用由一陀螺儀感測器提供之相 同振動感測資料自影像操取裝置中之一陀螺儀來獲得，該 陀螺儀感測器係用於如〇nuki所著之美國#利第6，物，奶 號中所闡述之影像穩定化。pSF資料亦可自影像資訊（其係 自影像感測器之一部分獲得）獲得，該影像資訊如美國專 利申請案第11/780,841(##规叫中所闡述以—快速訊框 速率讀出。 在步驟720中，將一個別影像之psF資料與一預定最大位 準β進行比較。鑒於此，PSF資料可包含曝光、加速度、方 向或方向改變期間之運動量值。β之值就模糊像素而言將 類似於amax之值。若對於個別影像而言psF資料〉β，則確 定該個別影像具有過量運動模糊。在此情形下，在步驟 730中，不理會該個別影像，從而形成一減少之組之影像 137711.doc -23· 200948050 且在步驟270之合成過程中使用$減少之組之影像。若對 於該個別影像而言PSF資料<(3，則確定該個別影像具有一 可接受之運動模糊位準。因此，在步驟74〇中，將其與來 自影像組之其他影像儲存在一起，在步驟27〇之合成過程 中將使用該等影像來形成—經改良之影像。 應瞭解’該等例示性實施例僅係本發明之說明性實施例 且熟習此項技術者可構想出上文所闡述之實施例之諸多變 型’此並不背離本發明之範_。因此，意欲將所有此等變 型包含於以下申請專利範圍及其等效物之範疇内。 ❹ 【圖式簡單說明】 、’’CT Ο附圖考量下文所呈現之對例示性實施例之詳細闡 述，將更易於瞭解本發明，附圖中： 圖1圖解說明一根據本發明之一實施例用於控制一影像 擷取之系統； 圖2圖解說明一根據本發明之一第一實施例之方法，其 中使用預擷取資訊來確定存在於一場景中之一運動位準， 該運動位準係用以確定一單影像擷取或一多重影像擷取是 〇 否被認為適當； 圖3圖解說明一根據本發明另一實施例之方法，其中偵 測運動且認為一多重影像擷取適當並選擇該多重影像擷 取； 圖4圖解說明一根據本發明又一實施例之方法，其中評 估全局運動及局部運動兩者以確定一多重影像擷取是否 當； 137711.doc •24- 200948050 圖5圖解說明—根 據本發明之—實施例在圖4之步驟495 上擴展之方法，其中《中 八平界疋一局部運動擷取組； 圖6圖解說明—根掳 據本發明再一實施例之方法，其中在 一多重影像擷取中之影德 彰像擷取中之至少一個影像擷取期間 使用閃光來照亮一場景；且 圖7圖解說明一枏媸士议ηα 據本發明一實施例用於將來自一多重 影像擷取之多重影德人 夕更I像合成為一單個影像之方法，舉例而 言’藉由自合成過程中省卻高運動圖像。 應瞭解，此等附圖係出於圖解說明本發明概念之目的且 可不按比例繪製。 【主要元件符號說明】 100 110 120 130 140 200 匕3對一對評估影像中之運動之評價之先前技 術影像掏取過程流程圖 步驟 ❹ 步驟 步驟 步驟 針對本發明之—實施例用於基於對預梅取資訊 之分析確定一單影像擷取或一多重影像擷取之 過程流程圖 210 步驟 220 步驟 230 步驟 240 步驟 137711.doc -25· 步驟 步驟 步驟 本發明之另一實施例之過程流程圖，其中揭示 一考量欲擷取之多個影像之總計擷取時間之影 像擷取過程 步驟 步驟 步驟 步驟 步驟 步驟 本發明之再一實施例之過程流程圖，其中闡述 一考量全局運動及局部運動兩者之影像擷取過 程 步驟 步驟 步驟 步驟 步驟 步驟 步驟 步驟 步驟 -26- 200948050

500 在圖4中之步驟495上擴展之本發明又一實施例 之過程流程圖 510 步驟 520 步驟 530 步驟 540 步驟 550 步驟 560 步驟 570 步驟 580 步驟 600 本發明再一實施例之過程流程圖，其中揭示一 閃光模式 625 步驟 630 步驟 650 步驟 655 步驟 660 步驟 665 步驟 670 步驟 700 本發明之再一實施例之過程流程圖，其中擷取 條件回應於在擷取組中之影像之擷取之間成像 之場景之改變而改變 710 步驟 720 步驟 137711.doc -27- 200948050 730 步驟 740 步驟

137711.doc 28-

Claims (1)

1. 200948050 七、申請專利範圍： 1. 一種至少部分地由一資料處理系統實施之方法，該方法 用於控制一影像擷取且包括以下步驟： 獲得預擁取資訊； 基於對該預擷取資訊之一分析來確定一多重影像擷取 係適§的’其中該多重影像操取經組態以獲得多個影像 • 以供合成為一單個影像；及 指示該多重影像擷取之執行。 〇 2.如请求項1之方法，其中該多重影像擷取包含異質#像 之擷取。 3.如明求項2之方法，其中該等異質影像因解析度、積分 曰了間、曝光時間、訊框速率、像素類型、聚焦、雜訊清 除方法、色調再現或閃光模式而不同。 4·如叫求項3之方法，其中該等異質影像之不同影像之该 等像素類型係—全景像素類型及-彩色像素類型。 φ 如β求項3之方法，其中該等雜訊清除方法包含調整增 益設定。 6. 如請求項1 $古 = 之方法’進一步包括至少基於對該預擷取貧 ' S之刀析來確定該多重影像擷取之一影像擷取頻率之 步驟。 7. 如請求項 万法’其中該預擷取資訊至少指示多個場 景條件，且A ± & 件 八T該確定步驟包含至少基於對該等場景條 刀析來確定一單影像擷取無法有效地擷取一場 137711.doc 200948050 8.如 '求項7之方法’其中該等場景條件包含該場景之— ::準’且其中該確定步驟確定該光位準不足以 景被—單影像擷取有效地擷取。 9 ::?項1之方法’其尹該預擷取資訊包含-場景之至 分之運動’且其中該確定步驟包含確定該運動在 早影像擷取中將導致模糊過大。 10.如明求項9之方法，其中該運動係僅存在於該場景之— 部分中之局部運動。 G n=求们G之方法，其中該確定步驟包含回應於該局部 而確定該多重影像擷取欲經組態以擷取多個与 像。 、 巧、’ 請长項11之方法，其中該等多個異質影像中之至少— 影像包含一僅包含該場景中展現該局部運動之部 刀或大致展現該部分之影像。 13·如凊求項1之方法’其中該預摘取資訊包含指示-場景 兩個部分中之不同運動的運動資訊，且其中該確 ❹ ^ =確定該等不同運動中之至少一者在一單影像擷取 中將導致模糊過大。 14·^求項α方法’其中該多重影像擷取獲得複數個影 傻2其中該方法進一步包括以下步驟：自該複數個影 厂除展現-高點擴散函數之若干影像，從而形成— 2組之影像，並將該減小組之影像合成為—單個合成 影像。 15_ 一種儲存若干指令的處理器可存取記憶體系統，該等指 137711.doc 200948050 令經組態以使-資科處理系統實施一 取之方法，丨中該等指令包括： 用於獲得預擷取資訊之指令； 用於控制-影像餾 16. 用於至少基於對該預擁取資訊之—分析來確定— 影像擁取係適當之指令，其中該多重影像祿取經组 獲得多個影像以供合成為—單個影像；及 用於指示該多重影像擷取之執行之指令。 一種系統，其包括： 多重 態以

   一資料處理系統；及 -記憶體系統’其以通信方式連接至該資料處理系統 且儲存經組態以使該處理系統㈣—心控制—影像掏 取之方法之指令，其令該等指令包括： 用於獲得預擷取資訊之指令； 用於至少基於對該預擷取資訊之一分析來確定一多 重影像擁取係適當之指令，其中該多重影像掏取經組 態以獲得多個影像以供合成為一單個影像；及 用於指示該多重影像擷取之執行之指令。 137711.doc