TW200935357A - Motion assisted image sensor configuration - Google Patents

Description

200935357 九、發明說明： 【發明所屬之技術領域】 本發明係關於捕捉數位影像，且更特定言之，係關於用 於調整影像感測器之設定參數的技術。 【先前技術】 •數位影像捕捉設備（諸如，數位靜態影像相機）使用影像 感測器以捕捉所關注場景之影像。影像捕捉設備可包括許 多可經調整以在不同環境條件下更好地捕捉影像的影像感 ® 測器設定參數。舉例而言，影像捕捉設備可包括許多敏感 度设置（常常被稱為iso設置），其各自可對應於影像感測 器之特定增益及/或影像感測器曝光於所關注場景之曝光 時間。較高ISO設置表示較大影像感測器敏感度，且對應 於較大增益及較短曝光時間。相反地，較低iso設置表示 較低影像感測器敏感度，且對應於較小增益及較長曝光時 間。 • 通常，影像捕捉設備允許使用者手動地選擇影像感測器 設定參數（例如，ISO設置）以用於捕捉影像。藉由手動地 選擇ISO設置，使用者可選擇適合於當前環境條件之is〇設 置以在該環境中更好地捕捉影像。或者’或另外，影像捕 捉設備可包括基於可用於當前環境條件下之光量而選擇感 測器設定參數（例如，IS0)的自動設定設置功能0影像捕 捉設備可（例如）包括光感測器，其偵測周圍環境之亮度且 基於所偵測之光量來選擇設定設置。 【發明内容】 135532.doc 200935357 一種影像捕捉設備可基於所關注場景之亮度來調整影像 感測器之一或多個設定參數。舉例而言，在黑暗環境中， 影像捕捉設備可選擇影像感測器之較大增益以增加影像感 測器之敏感度且選擇影像感測器曝光於所關注場景的較短 曝光時間。相反地，在明亮環境中，影像捕捉設備可選擇 影像感測器之較小增益以減少影像感測器之敏感度且選擇 -影像感測器曝光於所關注場景的較長曝光時間。然而基 於所關注場景之亮度來選擇影像感測器之設定參數不會總 疋導致最佳影像品質。舉例而言，若所關注場景係在明亮 環境中但包括許多動作，則所捕捉影像可由於長曝光時間 而變模糊。 本發明描述用於基於對所關注場景内之動作的偵測來選 擇影像感測器之設定參數的技術。如下文將詳細地描述， 影像捕捉設備分析同一所關注場景之兩個或兩個以上影像 之間指示場景内之動作的改變。影像捕捉設備基於所關注 藝 場景内之動作量來調整影像感測器之設定參數，例如，增 益及/或曝光時間。舉例而言，當場景包括相對較大動作 量時景/像捕捉设備可以大增益及短曝光時間來設定影像 感測器’因而減少由大動作量所引起的模糊。相反地，當 場景包括相對較少動作或無動作時，影像捕捉設備可以小 增益及長曝光時間來設定影像感測器，因而減少由高增益 所引起的雜訊。 在J樣中，種用於捕捉數位影像資料之方法包含： 分析至少在所關注場景之第一影像與所關注場景之第二影 135532.doc 200935357 像之間的動作；及基於分析來調整由影像感測器用以捕捉 影像的一或多個設定參數。 在另一態樣中’一種用於捕捉數位影像資料之設備包 s .影像感測器，其用以根據一或多個設定參數來捕捉影 像；及影像處理器，其分析至少在所關注場景之第一影像 與所關注場景之第二影像之間的動作且基於分析來調整由 衫像感測器用以捕捉影像的設定參數中之一或多者。 在另一態樣中，一種用於捕捉數位影像資料之電腦程式 產品包含在上面具有指令的電腦可讀媒體。指令包含用於 分析至少在所關注場景之第一影像與所關注場景之第二影 像之間的動作的程式碼，及用於基於分析來調整由影像感 測器用以捕捉影像的一或多個設定參數的程式碼。 在另一態樣中，一種用於捕捉數位影像資料之裝置包含 用於分析至少在所關注場景之第一影像與所關注場景之第 二影像之間的動作的構件，及用於基於分析來調整由影像 感測器用以捕捉影像的一或多個設定參數的構件。 本發明中所描述之技術可以硬體、軟體、韌體或其任何 組合來實施。若以軟體來實施，則軟體可在處理器中執 行，處理器可指代一或多個處理器，諸如，微處理器、特 殊應用積體電路（ASIC)、場可程式化閘陣列（FPGA ,亦被 稱為場可程式化邏輯陣列（FPLA))、或數位信號處理器 (DSP)、或其他等效整合或離散邏輯電路，或其組合。執 行該等技術之軟體可初始地儲存於電腦可讀媒體中且由處 理器載入及執行。因此，本發明亦涵蓋包含指令之電腦可 135532.doc 200935357 讀媒體’指令用以使處理器執行本發明中所描述之各種技 術中的任一者。在一些狀況下’電腦可讀媒體可形成可出 售給製造商及/或用於設備中之電腦程式產品的一部分。 電腦程式產品可包括電腦可讀媒體，且在一些狀況下，亦 可包括封裝材料。 在隨附圖式及以下描述中闡述一或多個實例之細節。其 他特徵、目標及優點將自描述及圖式且自申請專利範圍而 變得顯而易見。 ❹ 【實施方式】 -種影像捕捉設備可基於所關注場景之亮度來調整影像 感測器之-或多個設定參數。舉例而言，在黑暗環境中， 影像捕捉設備可選擇影像感測器之較大增益以增加影像感 測器之敏感度且選擇影像感測器曝光於所關注場景的較短 曝光時間。相反地，在明亮環境中，影像捕捉設備可選擇 影像感測器之較小增益以減少影像感測器之敏感度且選擇 影像感測n曝光於所關注場景的較長曝光時間。缺而，某 於所關注場景之亮度來選擇影像感測器之設定參數不㈣ 是導：最佳影像品質。舉例而言’若所關注場景係在明亮 括許多動作，則所捕捉影像可由於長曝光時間 而變模糊。 本發明描述用於基於戶斤關、、* 、所關主％景内之動作 測器之設定參數的技術 ㈣影像感 ^為了偵測所關注場景内之 量，影像捕捉設備可分析同_所關 上影像之間的改變。在一营心 琢景之兩個或兩個以 在實例中，影像捕捉設備可藉由分 135532.doc 200935357 析複數個動作向量來分析兩個影像之間的動作量。影像捕 捉設備可分析影像之間的許多其他動作指示符，包括兩個 影像之間的亮度差、兩個影像之間的一維投影值差、兩個 影像之直方圖差，及其類似者。

影像捕捉設備基於所關注場景内之動作量來調整影像感 測器之設定參數。一可被調整的該設定參數為影像感測器 之增益。影像感測器增益對應於所捕捉信號之量值增加。 在-些狀況下，增益可表示輸出信號與所量測性質之間的 比率。另—可被調整的該設定參數為曝光時間。曝光時間 為影像感測器曝光於所關注場景之時段。舉例而言，當場 景包括相對較大動作量時’影像捕捉設備可以大增益及短 曝光時間來設定影像感測器，因而減少由大動作量所引起 的模糊。相反地’當場景包括相對較少料或無動作時， 影像捕捉設備可以小增益及長曝料間來設定影像感測 器’因而減少由高增益所引起的雜訊。 圖1為實施本發日月中所描述之影像感測器設定技術之實 例影像捕捉設備2的方塊圖。影像捕捉設備2可為數位相 機，諸如，數位靜態影像相機、數位視訊相機或兩者之组 合。另外，影像捕捉設備2可為獨立設備（諸如，獨立相 機），或整合於另一設備中(諸如，整合於無線通信設備 内）。作為-實例’影像捕捉設備2可整合於行動電話中以 形成所謂的"相機電話”或”視㈤電話”。㈣本發明中叶 述之影像感測H設定技術通常可適用於所捕捉數位視訊田 但為了說明之目的而將描述該等技術對數位靜態影像之應 135532.doc 10 200935357 用。 圖所示影像捕捉設備2包括影像感測器4、影像處 理器6及影像储存模組8。影像感測器4獲得所關注場景之 影像。舉例而言，影像感測器4可捕捉靜態影像，或可能 • 捕捉完整動作視訊序列，在該狀況下，可對視訊序列之一 或多個影像訊框執行影像處理。所捕捉視訊可包括經捕捉 用於歸檔或視訊電話或其他應用的視訊。影像感測器4可 ❹ 包括（例如）以列及行而配置之二維個別影像感測器元件陣 列。在一些態樣中，影像感測器4之影像感測器元件中的 每一者可與單一像素相關聯。換言之，在影像感測器元件 與像素之間可存在一對一對應。或者，可存在一個以上與 每一像素相關聯之影像感測器元件或一個以上與每一影像 感測器元件相關聯之像素。影像感測器4可包含（例如）固態 感測器陣列’諸如，互補金屬氧化物半導體（CM〇s)感測 器、電荷耦合設備（CCD)感測器或其類似者。 ❷ 影像感測器4將影像感測器元件曝光於影像場景以捕捉 影像。影像感測器4内之影像感測器元件可（例如）捕捉表示 在特定像素位置處場景之光之強度的強度值。在一些狀況 下’感測器4之影像感測器元件中的每一者可歸因於覆蓋 ’ 感測器元件之彩色濾光片而僅對一顏色（或色帶）敏感。舉 例而言’影像感測器4可包含由紅色、綠色及藍色（rgb)濾 光片陣列所覆蓋的影像感測器元件。然而，影像感測器4 可利用其他彩色濾光片，諸如，青色、品紅色、黃色及黑 色（CMYK)彩色濾光片。因而，影像感測器4之影像感測器 135532.doc 200935357 元件中的每一者可捕捉僅一顏色之強度值。 影像感測器4根據一或多個影像感測器設定參數而將影 像感測器元件曝光於影像場景。可基於所關注場景之一或 多個特性來調整影像感測器設定參數中之一些◦該等設定 參數包括景夕像感測器4之增益、影像感測器4曝光於所關注 %景之曝光時間及其類似者。如下文將詳細地描述，影像 捕捉设備2可基於所關注場景内之動作量來調整影像感測 器設定參數中之一或多者。 使用影像感測器增益作為一實例，影像捕捉設備2可在 所關注場景在較黑暗環境中（例如，在室内）或在所關注場 景内包括相對較大動作量時增加影像感測器4之增益。增 加增益會允許景> 像感測器元件以較快快門速度（較短曝光 時間）來捕捉所關注移動場景，藉此減少由動作所引起的 模糊。詳言之，較大增益允許影像感測器元件藉由放大影 像感測器元件之輸出而捕捉較少光。影像捕捉設備2可在 〇 戶斤關注場景内存在許多光或相對較少動作之情形下減少影 像感測器4之增益或使增益保持為小。在此狀況下，大增 &係不必要的’因為感測器元件持續較長時段曝光於所關 注場景’藉此收集更多光。當影像感測器4具有大增益(亦 ' 對力非常敏感）時，影像感測器4可持續比影像感測器 4具有小增益時要短㈣段曝光於所關注場景。影像感測 器4曝光於所關注場景的時間量在本發明中被稱為曝光時 間α如此’影㈣測器4之增益愈大，感測器4曝光於所關 注場景的曝光時間愈短。相反地，影像感測器4之增益愈 135532.doc 12 200935357 小，影像感測器4曝光於所關注場景的曝光時間愈長。可 (例如）藉由控制影像捕捉設備2之機械快門速度來控制曝光 時間。 影像捕捉設備2可包括許多可由使用者選擇的相機操作 模式。不同相機操作模式可對應於不同相機設置（且詳言 之，不同影像感測器設定設置）。舉例而言，影像捕捉設 備2可具有"運動模式"，使用者可在捕捉在所關注場景内 具有大動作量之影像時選擇"運動模式”。運動模式可對應 於高感測器增益及較短曝光時間。作為另一實例，影像捕 捉設備2可具有"風景模式"，使用者可在捕捉在所關注場 景内無動作或具有相對較少動作之影像時選擇"風景樺 式。風景模式可對應於低增益及較長曝光時間。亦可包 括許多具有不同於運動模式及風景模式之增益及曝光時間 的其他模式。以此方式，影像捕捉設備2之使用者可手動 地選擇設定參數以用於使用各種操作模式來操作影像感測 • 以。 另外’影像捕捉設備2可包括"自動模式"，在"自動模式" 中，影像捕捉設備2自動地選擇影像感測器4之影像感測器 认定參數。根據下文詳細地所描述之技術，影像處理器6 包括判定所關注場景中之動作量且基於判定而自動地選擇 影像感測器4之影像感測器設定參數的感測器控制模組9。 在一態樣中’感測器控制模組9分析所關注場景之兩個或 兩個以上影像之間的動作向量以判定所關注場景中的動作 直。舉例而言’感測器控制模組9可判定影像之動作向量 135532.doc 200935357 ; 之子集的量值且基於量值來調整影像感測器4之一或多個 6又疋參數。對於具有大動作量之所關注場景，感測器控制 模組9可選擇具有較短曝料間及較大增益之敏感度設 置。相反地，對於包括相對較少動作或無動作之場景，感 . _控制模組9可選擇具有較長曝光時間及較小增益之敏 感度6又f。感測器控制模組9可使用許多其他指示符（諸 • 所關注場景之兩個或兩個以上影像之間的亮度值差、 所關注場景之兩個或兩個以上影像之一維投影值之間的 差、所關注場景之兩個或兩個以上影像之直方圖之間的差 或其類似者）中之任一者來判定所關注場景内的動作量。 影像處理器6亦可處理影像資訊，例如，執行影像穩定 剪刀壓縮、增強及其類似者。影像處理器6可藉由 一或多個微處理器、微控制器、Dsp、asic、fpga或任 一其他等效離散或整合邏輯電路或其組合來實現。在一些 態樣中，影像處理器6可形成根據特定編碼技術或格式（諸 ❹ 如，動晝專家團體（MPEG)_2、MPEG_4、MpEG進階視气 編碼（AVC)第10部分、國際電信聯盟στυ)Η,263、Ιτυ Η·264、聯合助專家關OTEG)、圖形互換格式（GIF)、 標記影像槽案格式（TIFF)或其類似者）來編碼 • CODEC之-部分。 97 影像處理器6可以原始形式（例如，作為原始像素值）而 將所捕捉影像儲存於影像儲存模組8中。或者，影像處理 器6可對所捕捉影像執行額外處理且將經處理影像儲存於 影像儲存模組8中。若所捕捉影像附帶有音訊資訊，則亦 135532.doc -14· 200935357 可將音訊獨立地或連同影像儲存於影像儲存模組8中。影 像儲存模組8可包含任何揮發性或非揮發性記憶體或儲存 設備，諸如，唯讀記憶體（R〇M)、電可抹除可程式化唯讀 記憶體（EEPROM)或FLASH記憶體，或諸如，磁性資料儲 存設備或光學資料儲存設備。 許多其他元件亦可包括於影像捕捉設備2中，但為了說 . 明之簡單及容易起見而未在圖1中加以特定地說明。舉例 而S，影像捕捉設備2可包括用於捕捉影像之額外組件， 諸如，透鏡、快門、閃光設備及顯示器。圖丨所說明之架 構僅為例示性的，因為本發明中所描述之技術可以多種其 他架構來實施。此外，圖i所說明之特徵可藉由硬體及/或 軟體組件之任何適當組合來實現。 圖2為更詳細地說明圖丨之影像捕捉設備2的方塊圖。如 圖2所說明，影像感測器4包括影像緩衝器2〇八及2〇叫下文 中為”影像緩衝器20") ’其兩者皆可儲存關於所關注場景之 e 所捕捉影像的影像資訊，例如，像素值。影像感測器4可 (例如）在影像預檢視期間將影像資訊儲存於影像緩衝器2〇 巾°更具體言之’影像感測器4可在使用者將影像捕捉設 備2指向所關注之場景的同時但在使用者致動按紐以捕捉 •影像之前將影像儲存於影像緩衝器2〇中。在一些態樣中， 影像感測器4可在數秒（即使不為數毫秒）或甚至更^時段内 -個接-個地捕捉影像且將其儲存於影像緩衝器2〇卜在 此=況下，影像感測器4將關於同一所關注場景之相繼影 像資訊集合儲存於影像緩衝器2〇中。此相繼影像緩衝技術 135532.doc 200935357 可能不被嘗試捕捉影像之使用者注意而發生。亦即，自使 用者之觀點而言，經由致動影像捕捉設備2之按鈕而僅捕 捉單一影像。儘管圖2包括兩個影像緩衝器20，但影像捕 捉設備2可包括兩個以上影像緩衝器2〇。以此方式，本發 明中所描述之敏感度設定技術可藉由擴展而應用於兩個以 ' 上影像。 ' 緩衝器20可包含任一揮發性或非揮發性記憶體或儲存設 備’諸如，ROM、EEPROM或FLASH記憶體，或諸如，磁 ® 性資料儲存設備或光學資料儲存設備。雖然在圖2中經展 不為駐留於影像感測器4内，但緩衝器2〇可駐留於影像感 測器4外部，諸如，駐留於影像捕捉設備2之其他模組（包 括影像處理器6或影像儲存模組8)内。 影像感測器4亦包括根據自影像處理器6所接收之設定參 數來設定影像感測器4的影像感測器設定模組22。自影像 處理器6所接收之設定參數可包括感測器增益、曝光時間 ❿ 《其組合。影像感測器4根據設^參數而將影像感測器元 件曝光於所關注場景以捕捉影像^詳言之，基於設定參 數，影像感測器4可增加或減少影像感測器4之感測器元件 的感測器增益。感測器增益之調整可對應於影像感測器元 #之曝光時㈣改變。舉例而言，影像感測器何在減少 影像敏感度時將影像感測器元件曝光持續較長時段且在增 加影像敏感度時將影像感測器元件曝光持續較短時段。如 上文所描述，可藉由調整影像捕捉設備2之快門的快門速 度來控制經調整之曝光時間。 135532.doc 200935357 影像處理器6包括區塊分割器24、包括動作偵測模組％ 及設定調整模組27之感測器控制模組9，及設定資料28。 將不同特徵描繪為單元或模組意欲突出影像處'理器6之不 同功能態樣，且未必暗示該等單元或模組必須藉由單獨硬 體、軟體及/或韌體組件來實現。更確切而言，可將與一 或多個單元或模組相關聯之功能性整合於共同硬體、軟體 組件及/或韌體組件内。 如上文所描述，影像感測器4捕捉至少兩個影像且將影 像儲存於緩衝器20中。影像處理器6自緩衝器2〇接收影像 且可採用區塊分割器24以將影像中之至少一者分割成複數 個像素區塊（在本發明中被稱為"區塊"）。此等區塊（有時被 稱為巨集區塊）表示由影像感測器4所捕捉之影像資訊的連 續部分。舉例而言，在JPEG標準之狀況下，區塊分割器24 可將影像中之每一者分割成包括八個像素列及八個像素行 的8 X 8區塊。大於或小於八個列或行之區塊亦係可能的。 舉例而言’區塊分割器24可將影像中之每一者分割成 16X 1 6區塊。此外，區塊分割器24可進一步將每一區塊子 分割成兩個或兩個以上子區塊。作為一實例，16χ16區塊 可包含四個8x8子區塊、八個4x8子區塊或其他子分割區 塊。如本文中所使用，術語”區塊"可指代任何大小之區塊 或子區塊。然而，在一些態樣中，可能不將緩衝器2〇中之 影像分割成區塊’在該狀況下，影像可繞過區塊分割器24 且直接由動作偵測模組26分析。 動作偵測模組26判定所關注場景内之動作量。更具體言 135532.doc 17 200935357 之，動作偵測模組26產生識別同一所關注場景之影像之間 指不動作之改變的一或多個指示符。在一態樣中，動作偵 測模組26計算至少一影像之區塊中的每一者之動作向量。 區塊之動作向量表示所識別區塊在第一影像與第二影像之 間的移位。動作向量可表示為： v(b) = (dx, dy) » ⑴

其中v(b)為區塊b之動作向量，dx為區塊b與第二影像中之 對應區塊之間在X方向上之移位，且dy為區塊b與第二影像 中之對應區塊之間在y方向上之移位。動作偵測棋組％可 使用多種動作估計技術中之任一者來計算動作向量。對於 第一影像之每一區塊，動作偵測模組26可在第二影像中搜 尋最佳匹配於第一影像之各別區塊的區塊^動作偵測模組 26可使用誤差量測（例如，絕對差總和（SAD)、均方誤差 (MSE)或其類似者）來比較第一影像之區塊的像素值與第二 影像中之區塊的像素值。場景改變指示模組26可選擇具有 最小誤差量測之區塊且計算兩個區塊之間的移位以產生動 在一些狀況下，動作偵測模組26可選擇動作向量之子集 以判定影像之間的動作量。可代替地使用其他百分比。動 作偵測模組26可（例如）分析最大動作向量之子集的量值以 判定所關注場景内之動作量。動作偵測模組26可分析區塊 之動作向量的最大5%、10%或2〇%以進行判定。為了說明 之目的而提供此等百分比且此等百分比不應限制本發明中 135532.doc •18· 200935357 所描述之技術。可使用以下等式來計算動作向量之量值： lv(^)l = sqrt(dx*dx + dy*dy) (2) 其中|v(b)|為區塊b之動作向量的量值，叫叫幻為z之平方 根，dx為區塊b與第二影像中之對應區塊之間在χ方向上之 移位，且dy為區塊b與第二影像中之對應區塊之間在y方向 上之移位。動作向量具有大量值之區塊可指示該區塊内之

移動物件。或者，可分析影像之所有區塊的動作向量之量 值以判定整個場景内之動作量。 動作债測模組26可|生所關注場景内的其他動作指示 符。在另一態樣中，動作债測模組26可使用同一所關注場 景之兩個或兩個以上影像之間的對比度差來❹】動作。舉 ，而言’動作偵測模組26可計算兩個影像之像素區塊中的 母-者之平均亮度值。動作制模組％接著可在逐區塊之 基礎上計算兩個影像之平均亮度值之間的差。換言之，可 在第I像之區塊與第二影像之位於與第—影像之區塊相 同之，置的區塊之間計算差1作偵龍心可識別具有 度差的區塊且將該亮度差用作所關注場景内之動作 •扎丁# 1塊之大亮度差可表示所關注場景内之物件 :。或者，動作偵測模組26可將區塊之子集或全部區塊 之儿度差平均化。以士卜j 式’平均亮度差可指示貫穿整個 景之整體動作量。此可在偵測由相對於所關注場 景之相機移動所引起的動作時特別有用。 在另-態樣中’㈣_模組柯產生像素區塊中之一 135532.doc •19· 200935357 或多者的，維投影值且比較兩 場景内之動作。謀一♦ 像之缸影以偵測所關注 ，的每-者之水平:影:模組26可計算像素區塊 塊之像素列之像素值的求和。：直:::二平投影為區 像素值的求和。舉例而言，對於每一:==之 :投:作—根據以下等式來判定 ❹ ⑴、⑺ 其1^ PH⑴表示作為沿y轴之傻音"丨η τ & & 像素j之函數的水平投影，

Pv⑴表不作為沿父軸 mo 〈像素1之函數的垂直投影，且Im(i， = 素Wj”之函數的像素值。因此，Ph為特定 =之像素值的X軸像素值（當i變化且胸不變時）之求和 ❹ 、方式動作傷測模組26自區塊之二維影像資訊 維水平投影向量。在8x8像素區塊之狀況下 偵測模組26可產生表示二維㈣區塊的一維的八個元辛之 水平投影向量。同樣地，Ρν為區塊之像素值（亦即’ Im(i j)) 的y轴像素值(當丨保持不變且』變化時)之求和(ς)，以自水 平才又景/被判疋所針對的同一區塊之二維影像資訊形成一維 垂直投影向量。每-區塊經歷相同程序，直至每一區塊已 簡化為一系列水平及垂直投影為止。 動作伯測模組26接著可計算影像之像素區塊中的每一者 平及/或垂直技影之間的差。動作偵測模組26可識別 I35532.doc -20- 200935357 具有最大投影差之區塊且將該投影差用作所關注場景内的 動作量之指示符。以此方式，所選投影差可為所關注場景 内的移動物件之指不符。或者，動作偵測模組^可將影像 之區塊之子集或全部區塊的投影差平均化。以此方式，不 均投影差可指示所關注場景之整體動作量。 在另一態樣中，動作偵測模組26可計算影像中之每一者 的直方圖且。十算直方圖之間作為所關注場景内之動作量之 ^不符的差。舉例而言，對於影像中之每-者，動作横刺 模組26可產生表示像素值在特定影像上之分布的直方圖。 動作债測模組可計算兩個或兩個以上影像之直方圖之間作 為所關左場景之動作指示符的差。大直方圖差可指示所關 注場景内之大動作量。 在另一態樣中，動作偵測模組26可計算影像中之每一者 的像素中之至少一部分的像素值之間作為所關注場景内之 動作才曰不的差。舉例而言，動作债測模組％可計算影像之 Φ I素位置中之每一者的像素值之間的差，且將差求和以產 生场景内之動作指示符。較大差總和可指示場景内之較大 _作量°或者’動作债測模組26可在逐區塊之基礎上計算 ，指示符總和。換言之’動作偵測模組26可計算區塊中之 每者的像素值之間的差且將區塊内的像素值之差求和以 得到影像區塊差以判定場景内之物件動作。 "又疋調整模組27分析由動作偵測模組26所產生的一或多 個才日不4 ’且基於兩個影像之間所憤測的動作f來調整影 像感測器4之一或多個設定參數。儘管為了說明之目的而 135532.doc 200935357 在本文中被論述為調整影像感測器4之增益及/或曝光時 間’但設定調整模組27可調整影像感測器4之其他設定參 數。一般而言，設定調整模組27可針對包括相對較大動作 量（例如，較大動作向量、較大差總和、較大亮度差、較 大直方圖差、較大一維投影差或其類似者）的場景而增加 影像感測器4之增益。增加影像感測器4之增益可對應於影 . 像感測器4持續較短時段曝光於所關注場景，因而以增加 雜訊為代價而減少具有許多動作之場景中之模糊。相反 地，設定調整模組27可針對在所關注場景内包括相對較小 改變量或完全無動作的場景而減少影像感測器4之增益。 減少影像感測器4之增益可對應於影像感測器4持續較長時 段曝光於所關注場景，藉此以增加模糊為代價而減少雜 訊。 對於具有（例如）ISO 50、ISO 100及ISO 200之敏感度設置 的影像捕捉設備，設定調整模組27可選擇如下文所描述之 Φ IS〇設置。IS〇設置可（例如）對應於特定增益及曝光時間 對。ISO 50可對應於最小增益及最長曝光時間，而is〇 2〇〇 可對應於最大增益及最短曝光時間。當（例如）最大動作向 量之平均動作向量量值小於影像之寬度之大約1%時設 定調整模組27可選擇ISO 50。對於具有（例如）1〇〇〇個像素 之寬度的影像，當動作向量之量值小於1〇時，感測器控制 模組9可選擇iso 50。當平均動作向量量值在影像之寬度 之大約1/β與10%之間時，設定調整模組27可選擇1⑼。 當平均動作向量量值在影像之寬度之大約10%與20%之間 I35532.doc •22· 200935357 時，設定調整模組27可選擇 J透禪15>0 200。其他臨限值可用以 將動作向量之量值與特定敏咸卢机 、 义似名度6又置相關聯。此外，額外 敏感度設置可包括於設罟夕pq , 叹置之間（例如’在ISO 5〇與助100 之間），或高於或低於設置（例如，高於Is〇 2〇〇)。儘管上 文所描述之實例設定調整模組27使用動作向量來選擇敏感 度設置，但可使用其他動作指示符（諸如，亮度差、一維 投影差、像素值差、直方圖差或一個 ^個以上動作指示符之組 ❹

合）之範圍來進行類似調整。舉你丨而一 ^ ^ ^準例而a ，設定調整模組27 可依據場景内之兩個或兩個以上動作指 切日不#的加權總和而 調整影像感測器4之設定參數。 在-些態樣中，影像處理器6可維持將動作指示符與對 應設定參數（例如，增益及/或曝光時間）相關聯的設定資料 28。舉例而言，設定資料28可將動作向量量值、亮度差、 投影差、影像像素值差及/或直方圖差與特定增益及曝光 時間相關I儘管在圖2中被說明為駐留於影像處理器6 内’但設定資料28可維持於與影像處理器咏接的影像儲 存模組8内。設定資料28可（例如）維持針對相機之不同操作 模式的複數個不同設定參數，以及將動作指示符之量值與 對應增益/曝光時間對相關聯的資料結構。 在二狀况下，設定調整模組27可基於亮度來選擇影像 感測器4之初始設定參數，且基於對所關注場景内之動作 的分析來調整影像感測器4之設定參數。使用增益及曝光 時間作為實例，當周圍環境明亮時，設定調整模組27可初 始地選擇較小增益及較長曝光時間（例如，對應於IS0 5〇 135532.doc -23· 200935357 設置）°相反地，當周圍環境黑暗時，設定調整模組27可 初始地選擇較大增益及較短曝光時間（例如，對應於IS〇 200或更高設置）。為此，設定資料28亦可包括將亮度級與 對應設定參數相關聯之資料結構。 由設定調整模組27所選擇之初始增益及曝光時間可由影 像感測器4用以捕捉用以分析所關注場景之動作的兩個或 兩個以上預檢視影像。上文所描述之敏感度控制技術接著 可用以基於所關注場景内之動作來調整影像感測器4之初 始增益及曝光時間設置。在一些狀況下，基於亮度所選擇 之設置將基於動作分析而改變。以此方式，設定調整模組 27可基於所關注場景中之動作來超越所選設定參數。此可 導致將額外雜訊引入至影像中，但將顯著地減少由動作所 引起的影像模糊。 如本發明中所描述且歸於影像處理器6之功能性可由執 行儲存至電腦可讀媒體之指令的一或多個可程式化處理器

執灯，其中指令及/或程式碼使處理器執行如本發明中所 描述之敏感度選擇配準。在—些狀況下，電腦可讀媒體可 形成可出售給製造商及/或用於設備中之電腦程式產品的 一部分。 圖3為說明執仃本發明中所描述之影像感測器設定技術 的影像捕捉設備（諸如’圖2之影像捕捉設備2)之實例操作 的流程圖。初始地，影像捕捉設備2之影像感測器4捕捉兩 或兩個以上影像且將影像儲存於影像緩衝器2()中（30)。 如上文所描述’兩個或兩個以上影像可為由影像感測器* 135532.doc •24· 200935357 隹數毫秒或甚至更短時段内一個 個地捕捉的相繼影 。例而言’可在影像預檢視期間捕捉相繼影像。此 外，影像感測器4可使用依據所關注場景之亮度而選擇的 初始設定參數（例如，增益及曝光時間）來捕捉影像。 • @塊分割器24將影像中之至少―者分割成複數個區塊 (32)。區塊可為重疊或非重疊的’且可具有各種尺寸。動 • 作偵測模組26判定所關注場景内之動作量（34)0如上文詳 ❹ 細地所描述，動作偵測模組26可使用許多指示符（諸如， 動作向兩個影像之間的亮度冑差、兩個影像之一維投 影值之間的I、兩㈣像之直方圖之間的差或其類似者） 中之任一者來判定所關注場景内之動作量。 设定調整模組27判定是否基於所判定之動作量來調整影 像感測器4之設定參數（36)。當影像感測器之初始設定參數 包括小增益時’設定調整模組27可在場景包括相對較大動 作量（例如’較大動作向量、較大差總和、較大亮度差、 φ 較大直方圖差、較大一維投影差或其類似者）時判定調整 設定參數。相反地’對於在所關注場景内包括相對較小動 作量或完全無動作的場景，設定調整模組27可減少或維持 影像感測器4之當前增益。 ' 當設定調整模組27判定需要調整影像感測器4之設定參 數時’設定調整模組27重新設定影像感測器4之設定（37)。 設定調整模組27可（例如）重新設定影像感測器4之感測器增 益、影像感測器4之曝光時間或其組合。在重新設定影像 感測器4之敏感度之後或當無需重新設定影像感測器4之敏 135532.doc -25- 200935357 感度時’影像感測器4在由使用者致動按鈕後便使用經設 定之設置來捕捉及儲存所關注場景之影像（3 8)。以此方 式’景夕像捕捉設備依據所關注場景内之動作而設定影像感 測器4。儘管為了說明之目的而在本文中被論述為調整影 像感測器4之增益及/或曝光時間，但設定調整模組27可調 整影像感測器4之其他設定參數。 圖4為說明基於與影像相關聯之動作向量中之至少一部 刀來執行影像感測器設定技術的影像捕捉設備（諸如，圖2 之影像捕捉設備2)之實例操作的流程圖。初始地，影像捕 捉備2之影像感測器4捕捉兩個或兩個以上影像且將影像 儲存於影像緩衝器20中（40)。如上文所描述，兩個或兩個 以上影像可為由影像感測器4在數毫秒或甚至更短時段内 一個接一個地捕捉的相繼影像。舉例而言，可在影像預檢 視期間捕捉相繼影像。此外，影像感測器4可使用依據所 關注場景之亮度而選擇的初始設定參數(例如，增益及曝 光時間）來捕捉影像。 區塊分割器24將影像中之至少一者分割成複數個區塊 ⑽。區塊可為重叠或非重疊的’且可具有各種尺寸。動 作侦測模組26計算影像之區塊中的每一者的動作向量 ㈣。動作偵測模組26選擇動作向量之子集來分析…）。 如上文所描述，動作偵測模組26可選擇包括影像之最大動 :向量的子集。舉例而言，動作偵測模組“可選擇區塊之 ，作向量的最大跳作為待分析之動作向量子集。然而， 在一些態樣中’動作谓測模組26可分析影像之整個動作向 135532.doc -26- 200935357 量集。巾非僅子集β動m貞測模組％計算動作向量子集 的平均量值（48)。平均量值可（例如）表示所關注場景内^ 移動物件。 設定調整模組27狀是否基於針對動作向量子集所計算 的平均量值來調整影像感測器4之設定參數⑽。在一些態 樣中定調整模組27可維持將動作向量量值與對應設定 參數（例如，IS0增益及/或曝光時間）相關聯的設定資料 28。舉例而言，當（例如）最大動作向量之平均動作向量量 值小於影像之寬度之大約1%時，設定調整模組27可選擇 ISO 50設置。當平均動作向量量值在影像之寬度之大約1% 與ίο%之間時，設定調整模組27可選擇IS〇 1〇〇。當平均動 作向量量值在影像之寬度之大約1〇%與2〇%之間時，設定 調整模組27可選擇ISO 200。其他臨限值可用以將動作向 量之量值與特定敏感度設置相關聯。 當設定調整模組27判定需要調整影像感測器4之設定參 數時’設定調整模組27重新設定影像感測器4之設定（52)。 設定調整模組27可（例如）重新設定影像感測器4之感測器增 益、影像感測器4之曝光時間或其組合。在重新設定影像 感測器4之敏感度之後或當無需重新設定影像感測器4之敏 感度時，影像感測器4在由使用者致動按鈕後便使用經設 定之設置來捕捉及儲存所關注場景之影像（54)。以此方 式’影像捕捉設備依據所關注場景内之動作而設定影像感 測器4。如參看圖2詳細地所描述，可利用使用其他動作指 示符的類似調整技術。 135532.doc •27- 200935357 圖5為說明包括實施本發明中所描述之影像捕捉技術的 影像捕捉設備2之實例無線通信設備6〇的方塊圖。換言 之’圖5展示整合於無線通信設備内的影像捕捉設備2。上 文參看圖1而描述影像捕捉設備2之操作且因此此處將不詳 細地加以描述。無線通信設備60可包含無線通信設備手 機，諸如，具有影像捕捉能力之蜂巢式電話（例如，所謂 的相機電話或視訊電話）、視訊記錄器、個人數位助理 φ (PDA)、膝上型電腦或具有影像捕捉及無線通信能力之任 何其他掌上型設備。儘管在無線通信設備之内容中加以說 明’但本發明之技術可適用於有線通信設備。 在圖5之實例中，無線通信設備60包括影像捕捉設備2、 編碼模組62及傳輸器64。編碼模組62可編碼所捕捉影像資 訊以將影像壓縮成特定影像壓縮格式以用於儲存及/或傳 輸。編碼模組62可使用許多影像壓縮格式（包括JPEG、 TIFF、GIF或其他影像壓縮格式）中之任一者來壓縮影像。 ❹ 在視訊之狀況下，編碼模組62可使用任何數目之視訊壓縮 格式（諸如，MPEG、MPEG進階視訊編碼（AVC^ 1〇部分、 ITUH.264及其類似者）來壓縮視訊。 無線通信設備6 0可經由傳輸器6 4而將經編碼影像傳輸至 • 另一設備。傳輸器64通常提供介面至蜂巢式網路，諸如， 分碼多重存取（CDMA)網路、寬頻分碼多重存取（w_ CDMA)網路、分時多重存取（TDma)網路及全球行動通作 系統（GSM)網路’或其他類似網路。除了蜂巢式網路以外 或作為對蜂巢式網路之替代’傳輸器64可提供介面至如由 135532.doc -28- 200935357 相關電氣及電子工程師學會（IEEE)802 u標準中之任一者 所界定的無線網路’或任何其他有線或無線網路。儘管經 描述為僅包括影像捕捉設備2、編碼模組62及傳輸器糾， 但無線通信設備60可包括其他模組’諸如，顯示器、用於 與使用者建立介面之使用者介面（例如，鍵盤）、用於執行 額外操作之一或多個處理器，及用於接受抽取式記憶趙、 . 耳機、電源及任何其他該等周邊裝置之各種埠及插座。 φ 本發明中所描述之技術可以硬體、軟體、勒體或其任何 組合來實施。經描述為模組或組件之任何特徵可一起實施 2整合邏輯設備甲或單獨地作為離散但可制操作的邏輯 设備而加以實施。若以軟體來實施，則可至少部分地藉由 包含指令之電腦可讀媒體來實現該等技冑，指令在被執行 時執行上文中所描述之方法中的一或多者。電腦可讀媒體 可形成電腦程式產品之一部分，電腦程式產品可包括封裝 材料。電腦可讀媒體可包含隨機存取記憶體（Ram)，諸 ❿ 如，同步動態隨機存取記憶體（SDRAM)、唯讀記憶體 (R〇M)、非揮發性隨機存取記憶體（NVRAM)、電可抹除可 ‘ 程式化唯讀記憶體（EEPROM)、FLASH記憶體、磁性或光 學資料儲存媒體及其類似者。另外，或或者，可至少部分 . 地藉由電腦可讀通信媒體來實現該等技術，電腦可讀通信 媒體以指令或資料結構之形式來載運或傳達程式碼且可由 電腦存取、讀取及/或執行。 程式碼可由一或多個處理器執行，諸如，—或多個 DSP通用微處理器、ASIC、FPGA、FPLA或其他等效整 135532.doc •29- 200935357 合或離散邏輯電路。因此’如本發明中所使用的術語"處 理器"可指代前述結構或適於實施本發明令所描述之技術 的任何其他結構中之任一者。另夕卜，在一些態樣中，可將 本發月中所描述之功能性提供於經設定用於編碼及解瑪之

專用軟體模組或硬體模組内，或併人組合式視訊C0DEC 中。因此，本發明亦涵蓋包括用以實施本發明中所描述之 技術中之《多者的電路之多種積體電路設備中之任一

者。可將該電路提供於單一積體電路晶片或多個可共同操 作的積體電路晶片中。 已描述各種技術。此等及其他實例態樣係在以下申請專 利範圍之範_内。 【圖式簡單說明】 圖1為說明實施本發明中所描述之影像感測器設定技術 之實例影像捕捉設備的方塊圖。 圖2為更詳細地說明圖1之影像捕捉設備的方塊圖。 圖3為說明執仃本發明中所描述之影像感測器設定技術 的影像捕捉設備之實例操作的流程圖。 圖4為說明使用動作向量來執行影像感測器設定技術的 影像捕捉設備之實例操作的流程圖。 圖5為併有圖1之影像捕捉設備之無線通信設備的方塊 【主要元件符號說明】 影像捕捉設備 影像感測器 I35532.doc 200935357 6 影像處理器 8 影像儲存模組 9 感測器控制模組 20A 影像緩衝器 20B 影像緩衝器 22 影像感測器設定模組 24 區塊分割器 26 動作偵測模組

27 設定調整模組 28 設定資料 60 無線通信設備 62 編碼模組 64 傳輸器

135532.doc •31 -

Claims (1)

1. 200935357 十、申請專利範圍： 1. 一種用於捕捉數位影像資料之方法，其包含： 分析至少在一所關注場景之一第一影像與該所關注場 景之一第二影像之間的動作；及 基於該分析來調整由一影像感測器用以捕捉影像的一 ' 或多個設定參數。 • 2.如請求項1之方法，其中調整由該影像感測器用以捕捉 影像的一或多個設定參數包含調整該影像感測器之一增 ® 益及該影像感測器曝光於該所關注場景的一曝光時間中 之至少一者。 3·如請求項1之方法，其中調整由該影像感測器用以捕捉 影像的一或多個設定參數包含在該第一影像與該第二影 像之間的該動作超過一臨限值時增加該影像感測器之一 增益及在該第一影像與該第二影像之間的該動作小於一 臨限值時減少該影像感測器之該增益中之一者。 Φ 4，如请求項1之方法，其中分析該第一影像與該第二影像 之間的動作進一步包含： 將該第一影像分割成複數個像素區塊； . 計算該第一影像之該複數個像素區塊中之每一者的一 - 動作向量；及 之至少一子集來分析該 基於該等區塊之該等動作向量 動作。 在—所關注場景之一 二影像之間的動作包 如请求項1之方法’其中分析至少在 第一影像與該所關注場景之一第二 135532.doc 200935357 含： 計算該第-影像及該第二影像之一或多個像素區塊之 平均亮度值； 計算該第-影像之該一或多個像素區塊之該等平均亮 度值與該第二影像之㈣像素區塊之該等平均亮度值之 間的一差；及 . 基於該等平均亮度值之該等差來分析該動作。 ❹6.如請求们之方法，其中分析至少在一所關注場景之一 第一影像與該所關注場景之一第二影像之間的動作包 含： 。十算該第-影像及該第二影像之—或多個像素區塊的 一維水平投影值及一維垂直投影值； 計算該第-影像之該-或多個像素區塊之該等水平及 垂直投影值與該第二影像之對應像素區狀該等水平及 垂直投影值之間的一差；及 e 基於水平及垂直投影之該等差來分析該動作。 7.如《月求項1之彳法，#中分析至少在一所關注場景之一 第一影像與該所關注場景之一第二影像之間的動作包 含： 於該第-影像及該第二影像中之每一者，計算一表 示像素值在各別影像上之分布的直方圖； a十算該第一影像之該直方圖與該第二影像之該直方圖 之間的一差；及 基於該等直方圖之間的該等差來分析該動作。 135532.doc -2- 200935357 8，如請求項1之方法，其中分析至少在一所關注場景之一 第一影像與該所關注場景之一第二影像之間的動作包 含： 自第二訊框之對應像素的像素值中減去第一訊框之像 素之至少一部分的像素值以計算像素值差； 將該等像素值差求和；及 基於該等像素值差之總和來分析該動作。 ©9. —種用於捕捉數位影像資料之設備，其包含： 一影像感測器’其用以根據一或多個設定參數來捕捉 影像；及 一影像處理器’其分析至少在一所關注場景之一第一 影像與該所關注場景之一第二影像之間的動作且基於該 分析來調整由該影像感測器用以捕捉影像的該等設定參 數中之一或多者。 10.如請求項Η之設備，其中該影像處理器調整該影像感測 ⑩ 器之—增益及該影像感測器曝光於該所關注場景的一曝 光時間中之至少一者。 • U.如請求項Η之設備，其中該影像處理器將該第一影像分 割成複數個像素區塊、計算該第一影像之該複數個像素 區塊中之每一者的一動作向量，且基於具有最大量值的 該等動作向量之至少一子集來分析該動作。 12·如4求項丨丨之設備，其中該影像處理器計算該第一影像 及該第二影像之一或多個像素區塊的平均亮度值、計算 °亥第影像之該一或多個像素區塊之該等平均亮度值與 J35532.doc 200935357 該第二影像之對應像素區塊之該等平均亮度值之間的一 差，且基於該等平均亮度值之該等差來分析該動作。 ❹

   13.如請求項丨〖之設備，其中該影像處理器計算該第一影像 及該第一影像之一或多個像素區塊的—維水平投影值及 維垂直投影值、§十算該第一影像之該一或多個像素區 塊之該等水平及垂直投影值與該第二影像之對應像素區 塊之該等水平及垂直投影值之間的一差，且基於水平及 垂直投影之該等差來分析該動作。 14.如請求項！〗之設備，其中該影像處理器對於該第一影像 及該第二景彡像巾之每—者計算—表示料值在各別影像 上之刀布的直方圖、計算該第一影像之該直方圖與該第 二影像之該直方圖之間的—差，且基於該等直方圖之間 的該等差來分析該動作。 15·如印求項R設備’其中該影像處理器自第二訊框之對 應像素的像素值中減去第―訊框之像素之至少—部分的 像素值以計算像素值差、將該等像素值差求和，且基於 該等像素值差之總和來分析該動作。 16.如凊求項11之設備’其中該設備包含一無線通信設備， 該無線通信設備進一步包含： 一編碼模組’其編碼該所捕捉影像；及 一傳輸器，其傳輸該經編碼影像。 種用於捕捉數位影像資料之電腦程式產品，其包含一 在上面具有指令之電腦可讀媒體，該等指令包含、： 用於刀析至少在-所關注場景之一第一影像與該所關 I35532.doc 200935357 注場景之一第二影像之間的動作的程式碼丨及 用於基於該分析來調整由一影像感測器用以捕捉影像 之一或多個設定參數的程式碼。 18 19. ❹ 20. ❷ 如叫求項17之電腦程式產品，其中用於調整由該影像感 測器用以捕捉影像之一或多個設定參數的程式碼包含用 於調整該影像感測器之—增益及該影像感測器曝光於該 所關注場景的一曝光時間中之至少一者的程式碼。 如明求項17之電腦程式產品，其中用於分析該第一影像 與該第二影像之間的動作的程式碼進一步包含： 用於將該第一影像分割成複數個像素區塊的程式碼； 用於计算該第一影像之該複數個像素區塊中的每一者 之一動作向量的程式碼；及 用於基於該等區塊之該等動作向量之至少一子集來分 析該動作的程式碼。 如請求項17之電腦程式產品，其中分析至少在一所 關注％景之一第一影像與該所關注場景之一第二影像之 間的動作的程式碼包含： 用於計算該第一影像及該第二影像之一或多個像素區 塊之平均亮度值的程式碼； 用於計算該第-影像之該一或多個像素區塊之該等平 句儿度值與該第二影像之對應像素區塊之該等平* 值之間的一差的程式碼；及 冗义 用於基於該等平均*度值之該等差來分析該動作的程 式碼。 135532.doc 200935357 .如請求項17之電腦程式產品，其中用於分析至少在一所 關注場景之-第―影像與該所關注場景之—第二影像之 間的動作的程式碼包含： 用於。十算該第一影像及該第二影像之一或多個像素區 塊之一維水平投影值及一維垂直投影值的程式碼； 、，用於计算該第_•影像之該—或多個像素區塊之該等水 • 平及垂直投影值與該第二影像之對應像素區塊之該等水 ❿ 平及垂直投影值之間的一差的程式碼；及 用於基於水平及垂直投影之該等差來分析該動作的程 式碼。 22. 如請求項17之電腦程式產品，其中用於分析至少在一所 關注場景之一第一影像與該所關注場景之一第二影像之 間的動作的程式碼包含： 用於對於該第一影像及該第二影像中之每一者計算一 表示像素值在各別影像上之分布的直方圖的程式碼； ❹ 用於計算該第一影像之該直方圖與該第二影像之該直 方圖之間的一差的程式碼；及 用於基於該等直方圖之間的該等差來分析該動作的程 式碼。 23, 如請求項17之電腦程式產品，其中用於分析至少在一所 關注場景之一第一影像與該所關注場景之一第二影像之 間的動作的程式碼包含： 用於自第二訊框之對應像素的像素值中減去第一訊框 之像素之至少一部分的像素值以計算像素值差的程式 135532.doc -6- 200935357 碼； 用於將該等像素值差求和的程式碼；及 用於基於該等像素值差之總和來分析該動作的程式 碼。 24· —種用於捕捉數位影像資料之裝置，其包含： ' 肖於分析至少在-所關注場景之-第-影像與該所關 . 注場景之一第二影像之間的動作的構件；及 詩基於該分析來調整由—影像感測H用以捕捉影像 之一或多個設定參數的構件。 25.如請求項24之裝置，其進一步包含： 用於基於該所關注場景之一亮度來判定由該影像感測 器用以捕捉影像之初始設定參數的構件； 用於使用該等初始設定參數以該影像感測器來捕捉該 所關注場景之該第-影像及該第二影像的構件； 其中該調整構件基於對該第一影像與該第二影像之間 ⑩ 的該動作之4分析來調整由該影像感測H用以捕捉影像 之該等初始設定參數；且 ‘纟中該捕捉構件使用該等經調整之設定參數來捕捉該 所關注場景之一第三影像。 135532.doc