TW200935357A - Motion assisted image sensor configuration - Google Patents
Motion assisted image sensor configurationInfo
- Publication number
- TW200935357A TW200935357A TW97140061A TW97140061A TW200935357A TW 200935357 A TW200935357 A TW 200935357A TW 97140061 A TW97140061 A TW 97140061A TW 97140061 A TW97140061 A TW 97140061A TW 200935357 A TW200935357 A TW 200935357A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- interest
- action
- scene
- image sensor
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000009471 action Effects 0.000 claims description 64
- 239000013598 vector Substances 0.000 claims description 47
- 238000004891 communication Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 30
- 230000035945 sensitivity Effects 0.000 description 23
- 239000000872 buffer Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
- G03B7/093—Digital circuits for control of exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
200935357 九、發明說明: 【發明所屬之技術領域】 本發明係關於捕捉數位影像,且更特定言之,係關於用 於調整影像感測器之設定參數的技術。 【先前技術】 •數位影像捕捉設備(諸如,數位靜態影像相機)使用影像 感測器以捕捉所關注場景之影像。影像捕捉設備可包括許 多可經調整以在不同環境條件下更好地捕捉影像的影像感 ® 測器設定參數。舉例而言,影像捕捉設備可包括許多敏感 度设置(常常被稱為iso設置),其各自可對應於影像感測 器之特定增益及/或影像感測器曝光於所關注場景之曝光 時間。較高ISO設置表示較大影像感測器敏感度,且對應 於較大增益及較短曝光時間。相反地,較低iso設置表示 較低影像感測器敏感度,且對應於較小增益及較長曝光時 間。 • 通常,影像捕捉設備允許使用者手動地選擇影像感測器 設定參數(例如,ISO設置)以用於捕捉影像。藉由手動地 選擇ISO設置,使用者可選擇適合於當前環境條件之is〇設 置以在該環境中更好地捕捉影像。或者’或另外,影像捕 捉設備可包括基於可用於當前環境條件下之光量而選擇感 測器設定參數(例如,IS0)的自動設定設置功能0影像捕 捉設備可(例如)包括光感測器,其偵測周圍環境之亮度且 基於所偵測之光量來選擇設定設置。 【發明内容】 135532.doc 200935357 一種影像捕捉設備可基於所關注場景之亮度來調整影像 感測器之一或多個設定參數。舉例而言,在黑暗環境中, 影像捕捉設備可選擇影像感測器之較大增益以增加影像感 測器之敏感度且選擇影像感測器曝光於所關注場景的較短 曝光時間。相反地,在明亮環境中,影像捕捉設備可選擇 影像感測器之較小增益以減少影像感測器之敏感度且選擇 -影像感測器曝光於所關注場景的較長曝光時間。然而基 於所關注場景之亮度來選擇影像感測器之設定參數不會總 疋導致最佳影像品質。舉例而言,若所關注場景係在明亮 環境中但包括許多動作,則所捕捉影像可由於長曝光時間 而變模糊。 本發明描述用於基於對所關注場景内之動作的偵測來選 擇影像感測器之設定參數的技術。如下文將詳細地描述, 影像捕捉設備分析同一所關注場景之兩個或兩個以上影像 之間指示場景内之動作的改變。影像捕捉設備基於所關注 藝 場景内之動作量來調整影像感測器之設定參數,例如,增 益及/或曝光時間。舉例而言,當場景包括相對較大動作 量時景/像捕捉设備可以大增益及短曝光時間來設定影像 感測器’因而減少由大動作量所引起的模糊。相反地,當 場景包括相對較少動作或無動作時,影像捕捉設備可以小 增益及長曝光時間來設定影像感測器,因而減少由高增益 所引起的雜訊。 在J樣中,種用於捕捉數位影像資料之方法包含: 分析至少在所關注場景之第一影像與所關注場景之第二影 135532.doc 200935357 像之間的動作;及基於分析來調整由影像感測器用以捕捉 影像的一或多個設定參數。 在另一態樣中’一種用於捕捉數位影像資料之設備包 s .影像感測器,其用以根據一或多個設定參數來捕捉影 像;及影像處理器,其分析至少在所關注場景之第一影像 與所關注場景之第二影像之間的動作且基於分析來調整由 衫像感測器用以捕捉影像的設定參數中之一或多者。 在另一態樣中,一種用於捕捉數位影像資料之電腦程式 產品包含在上面具有指令的電腦可讀媒體。指令包含用於 分析至少在所關注場景之第一影像與所關注場景之第二影 像之間的動作的程式碼,及用於基於分析來調整由影像感 測器用以捕捉影像的一或多個設定參數的程式碼。 在另一態樣中,一種用於捕捉數位影像資料之裝置包含 用於分析至少在所關注場景之第一影像與所關注場景之第 二影像之間的動作的構件,及用於基於分析來調整由影像 感測器用以捕捉影像的一或多個設定參數的構件。 本發明中所描述之技術可以硬體、軟體、韌體或其任何 組合來實施。若以軟體來實施,則軟體可在處理器中執 行,處理器可指代一或多個處理器,諸如,微處理器、特 殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA ,亦被 稱為場可程式化邏輯陣列(FPLA))、或數位信號處理器 (DSP)、或其他等效整合或離散邏輯電路,或其組合。執 行該等技術之軟體可初始地儲存於電腦可讀媒體中且由處 理器載入及執行。因此,本發明亦涵蓋包含指令之電腦可 135532.doc 200935357 讀媒體’指令用以使處理器執行本發明中所描述之各種技 術中的任一者。在一些狀況下’電腦可讀媒體可形成可出 售給製造商及/或用於設備中之電腦程式產品的一部分。 電腦程式產品可包括電腦可讀媒體,且在一些狀況下,亦 可包括封裝材料。 在隨附圖式及以下描述中闡述一或多個實例之細節。其 他特徵、目標及優點將自描述及圖式且自申請專利範圍而 變得顯而易見。 ❹ 【實施方式】 -種影像捕捉設備可基於所關注場景之亮度來調整影像 感測器之-或多個設定參數。舉例而言,在黑暗環境中, 影像捕捉設備可選擇影像感測器之較大增益以增加影像感 測器之敏感度且選擇影像感測器曝光於所關注場景的較短 曝光時間。相反地,在明亮環境中,影像捕捉設備可選擇 影像感測器之較小增益以減少影像感測器之敏感度且選擇 影像感測n曝光於所關注場景的較長曝光時間。缺而,某 於所關注場景之亮度來選擇影像感測器之設定參數不㈣ 是導:最佳影像品質。舉例而言’若所關注場景係在明亮 括許多動作,則所捕捉影像可由於長曝光時間 而變模糊。 本發明描述用於基於戶斤關、、* 、所關主%景内之動作 測器之設定參數的技術 ㈣影像感 ^為了偵測所關注場景内之 量,影像捕捉設備可分析同_所關 上影像之間的改變。在一营心 琢景之兩個或兩個以 在實例中,影像捕捉設備可藉由分 135532.doc 200935357 析複數個動作向量來分析兩個影像之間的動作量。影像捕 捉設備可分析影像之間的許多其他動作指示符,包括兩個 影像之間的亮度差、兩個影像之間的一維投影值差、兩個 影像之直方圖差,及其類似者。
影像捕捉設備基於所關注場景内之動作量來調整影像感 測器之設定參數。一可被調整的該設定參數為影像感測器 之增益。影像感測器增益對應於所捕捉信號之量值增加。 在-些狀況下,增益可表示輸出信號與所量測性質之間的 比率。另—可被調整的該設定參數為曝光時間。曝光時間 為影像感測器曝光於所關注場景之時段。舉例而言,當場 景包括相對較大動作量時’影像捕捉設備可以大增益及短 曝光時間來設定影像感測器,因而減少由大動作量所引起 的模糊。相反地’當場景包括相對較少料或無動作時, 影像捕捉設備可以小增益及長曝料間來設定影像感測 器’因而減少由高增益所引起的雜訊。 圖1為實施本發日月中所描述之影像感測器設定技術之實 例影像捕捉設備2的方塊圖。影像捕捉設備2可為數位相 機,諸如,數位靜態影像相機、數位視訊相機或兩者之组 合。另外,影像捕捉設備2可為獨立設備(諸如,獨立相 機),或整合於另一設備中(諸如,整合於無線通信設備 内)。作為-實例’影像捕捉設備2可整合於行動電話中以 形成所謂的"相機電話”或”視㈤電話”。㈣本發明中叶 述之影像感測H設定技術通常可適用於所捕捉數位視訊田 但為了說明之目的而將描述該等技術對數位靜態影像之應 135532.doc 10 200935357 用。 圖所示影像捕捉設備2包括影像感測器4、影像處 理器6及影像储存模組8。影像感測器4獲得所關注場景之 影像。舉例而言,影像感測器4可捕捉靜態影像,或可能 • 捕捉完整動作視訊序列,在該狀況下,可對視訊序列之一 或多個影像訊框執行影像處理。所捕捉視訊可包括經捕捉 用於歸檔或視訊電話或其他應用的視訊。影像感測器4可 ❹ 包括(例如)以列及行而配置之二維個別影像感測器元件陣 列。在一些態樣中,影像感測器4之影像感測器元件中的 每一者可與單一像素相關聯。換言之,在影像感測器元件 與像素之間可存在一對一對應。或者,可存在一個以上與 每一像素相關聯之影像感測器元件或一個以上與每一影像 感測器元件相關聯之像素。影像感測器4可包含(例如)固態 感測器陣列’諸如,互補金屬氧化物半導體(CM〇s)感測 器、電荷耦合設備(CCD)感測器或其類似者。 ❷ 影像感測器4將影像感測器元件曝光於影像場景以捕捉 影像。影像感測器4内之影像感測器元件可(例如)捕捉表示 在特定像素位置處場景之光之強度的強度值。在一些狀況 下’感測器4之影像感測器元件中的每一者可歸因於覆蓋 ’ 感測器元件之彩色濾光片而僅對一顏色(或色帶)敏感。舉 例而言’影像感測器4可包含由紅色、綠色及藍色(rgb)濾 光片陣列所覆蓋的影像感測器元件。然而,影像感測器4 可利用其他彩色濾光片,諸如,青色、品紅色、黃色及黑 色(CMYK)彩色濾光片。因而,影像感測器4之影像感測器 135532.doc 200935357 元件中的每一者可捕捉僅一顏色之強度值。 影像感測器4根據一或多個影像感測器設定參數而將影 像感測器元件曝光於影像場景。可基於所關注場景之一或 多個特性來調整影像感測器設定參數中之一些◦該等設定 參數包括景夕像感測器4之增益、影像感測器4曝光於所關注 %景之曝光時間及其類似者。如下文將詳細地描述,影像 捕捉设備2可基於所關注場景内之動作量來調整影像感測 器設定參數中之一或多者。 使用影像感測器增益作為一實例,影像捕捉設備2可在 所關注場景在較黑暗環境中(例如,在室内)或在所關注場 景内包括相對較大動作量時增加影像感測器4之增益。增 加增益會允許景> 像感測器元件以較快快門速度(較短曝光 時間)來捕捉所關注移動場景,藉此減少由動作所引起的 模糊。詳言之,較大增益允許影像感測器元件藉由放大影 像感測器元件之輸出而捕捉較少光。影像捕捉設備2可在 〇 戶斤關注場景内存在許多光或相對較少動作之情形下減少影 像感測器4之增益或使增益保持為小。在此狀況下,大增 &係不必要的’因為感測器元件持續較長時段曝光於所關 注場景’藉此收集更多光。當影像感測器4具有大增益(亦 ' 對力非常敏感)時,影像感測器4可持續比影像感測器 4具有小增益時要短㈣段曝光於所關注場景。影像感測 器4曝光於所關注場景的時間量在本發明中被稱為曝光時 間α如此’影㈣測器4之增益愈大,感測器4曝光於所關 注場景的曝光時間愈短。相反地,影像感測器4之增益愈 135532.doc 12 200935357 小,影像感測器4曝光於所關注場景的曝光時間愈長。可 (例如)藉由控制影像捕捉設備2之機械快門速度來控制曝光 時間。 影像捕捉設備2可包括許多可由使用者選擇的相機操作 模式。不同相機操作模式可對應於不同相機設置(且詳言 之,不同影像感測器設定設置)。舉例而言,影像捕捉設 備2可具有"運動模式",使用者可在捕捉在所關注場景内 具有大動作量之影像時選擇"運動模式”。運動模式可對應 於高感測器增益及較短曝光時間。作為另一實例,影像捕 捉設備2可具有"風景模式",使用者可在捕捉在所關注場 景内無動作或具有相對較少動作之影像時選擇"風景樺 式。風景模式可對應於低增益及較長曝光時間。亦可包 括許多具有不同於運動模式及風景模式之增益及曝光時間 的其他模式。以此方式,影像捕捉設備2之使用者可手動 地選擇設定參數以用於使用各種操作模式來操作影像感測 • 以。 另外’影像捕捉設備2可包括"自動模式",在"自動模式" 中,影像捕捉設備2自動地選擇影像感測器4之影像感測器 认定參數。根據下文詳細地所描述之技術,影像處理器6 包括判定所關注場景中之動作量且基於判定而自動地選擇 影像感測器4之影像感測器設定參數的感測器控制模組9。 在一態樣中’感測器控制模組9分析所關注場景之兩個或 兩個以上影像之間的動作向量以判定所關注場景中的動作 直。舉例而言’感測器控制模組9可判定影像之動作向量 135532.doc 200935357 ; 之子集的量值且基於量值來調整影像感測器4之一或多個 6又疋參數。對於具有大動作量之所關注場景,感測器控制 模組9可選擇具有較短曝料間及較大增益之敏感度設 置。相反地,對於包括相對較少動作或無動作之場景,感 . _控制模組9可選擇具有較長曝光時間及較小增益之敏 感度6又f。感測器控制模組9可使用許多其他指示符(諸 • 所關注場景之兩個或兩個以上影像之間的亮度值差、 所關注場景之兩個或兩個以上影像之一維投影值之間的 差、所關注場景之兩個或兩個以上影像之直方圖之間的差 或其類似者)中之任一者來判定所關注場景内的動作量。 影像處理器6亦可處理影像資訊,例如,執行影像穩定 剪刀壓縮、增強及其類似者。影像處理器6可藉由 一或多個微處理器、微控制器、Dsp、asic、fpga或任 一其他等效離散或整合邏輯電路或其組合來實現。在一些 態樣中,影像處理器6可形成根據特定編碼技術或格式(諸 ❹ 如,動晝專家團體(MPEG)_2、MPEG_4、MpEG進階視气 編碼(AVC)第10部分、國際電信聯盟στυ)Η,263、Ιτυ Η·264、聯合助專家關OTEG)、圖形互換格式(GIF)、 標記影像槽案格式(TIFF)或其類似者)來編碼 • CODEC之-部分。 97 影像處理器6可以原始形式(例如,作為原始像素值)而 將所捕捉影像儲存於影像儲存模組8中。或者,影像處理 器6可對所捕捉影像執行額外處理且將經處理影像儲存於 影像儲存模組8中。若所捕捉影像附帶有音訊資訊,則亦 135532.doc -14· 200935357 可將音訊獨立地或連同影像儲存於影像儲存模組8中。影 像儲存模組8可包含任何揮發性或非揮發性記憶體或儲存 設備,諸如,唯讀記憶體(R〇M)、電可抹除可程式化唯讀 記憶體(EEPROM)或FLASH記憶體,或諸如,磁性資料儲 存設備或光學資料儲存設備。 許多其他元件亦可包括於影像捕捉設備2中,但為了說 . 明之簡單及容易起見而未在圖1中加以特定地說明。舉例 而S,影像捕捉設備2可包括用於捕捉影像之額外組件, 諸如,透鏡、快門、閃光設備及顯示器。圖丨所說明之架 構僅為例示性的,因為本發明中所描述之技術可以多種其 他架構來實施。此外,圖i所說明之特徵可藉由硬體及/或 軟體組件之任何適當組合來實現。 圖2為更詳細地說明圖丨之影像捕捉設備2的方塊圖。如 圖2所說明,影像感測器4包括影像緩衝器2〇八及2〇叫下文 中為”影像緩衝器20") ’其兩者皆可儲存關於所關注場景之 e 所捕捉影像的影像資訊,例如,像素值。影像感測器4可 (例如)在影像預檢視期間將影像資訊儲存於影像緩衝器2〇 巾°更具體言之’影像感測器4可在使用者將影像捕捉設 備2指向所關注之場景的同時但在使用者致動按紐以捕捉 •影像之前將影像儲存於影像緩衝器2〇中。在一些態樣中, 影像感測器4可在數秒(即使不為數毫秒)或甚至更^時段内 -個接-個地捕捉影像且將其儲存於影像緩衝器2〇卜在 此=況下,影像感測器4將關於同一所關注場景之相繼影 像資訊集合儲存於影像緩衝器2〇中。此相繼影像緩衝技術 135532.doc 200935357 可能不被嘗試捕捉影像之使用者注意而發生。亦即,自使 用者之觀點而言,經由致動影像捕捉設備2之按鈕而僅捕 捉單一影像。儘管圖2包括兩個影像緩衝器20,但影像捕 捉設備2可包括兩個以上影像緩衝器2〇。以此方式,本發 明中所描述之敏感度設定技術可藉由擴展而應用於兩個以 ' 上影像。 ' 緩衝器20可包含任一揮發性或非揮發性記憶體或儲存設 備’諸如,ROM、EEPROM或FLASH記憶體,或諸如,磁 ® 性資料儲存設備或光學資料儲存設備。雖然在圖2中經展 不為駐留於影像感測器4内,但緩衝器2〇可駐留於影像感 測器4外部,諸如,駐留於影像捕捉設備2之其他模組(包 括影像處理器6或影像儲存模組8)内。 影像感測器4亦包括根據自影像處理器6所接收之設定參 數來設定影像感測器4的影像感測器設定模組22。自影像 處理器6所接收之設定參數可包括感測器增益、曝光時間 ❿ 《其組合。影像感測器4根據設^參數而將影像感測器元 件曝光於所關注場景以捕捉影像^詳言之,基於設定參 數,影像感測器4可增加或減少影像感測器4之感測器元件 的感測器增益。感測器增益之調整可對應於影像感測器元 #之曝光時㈣改變。舉例而言,影像感測器何在減少 影像敏感度時將影像感測器元件曝光持續較長時段且在增 加影像敏感度時將影像感測器元件曝光持續較短時段。如 上文所描述,可藉由調整影像捕捉設備2之快門的快門速 度來控制經調整之曝光時間。 135532.doc 200935357 影像處理器6包括區塊分割器24、包括動作偵測模組% 及設定調整模組27之感測器控制模組9,及設定資料28。 將不同特徵描繪為單元或模組意欲突出影像處'理器6之不 同功能態樣,且未必暗示該等單元或模組必須藉由單獨硬 體、軟體及/或韌體組件來實現。更確切而言,可將與一 或多個單元或模組相關聯之功能性整合於共同硬體、軟體 組件及/或韌體組件内。 如上文所描述,影像感測器4捕捉至少兩個影像且將影 像儲存於緩衝器20中。影像處理器6自緩衝器2〇接收影像 且可採用區塊分割器24以將影像中之至少一者分割成複數 個像素區塊(在本發明中被稱為"區塊")。此等區塊(有時被 稱為巨集區塊)表示由影像感測器4所捕捉之影像資訊的連 續部分。舉例而言,在JPEG標準之狀況下,區塊分割器24 可將影像中之每一者分割成包括八個像素列及八個像素行 的8 X 8區塊。大於或小於八個列或行之區塊亦係可能的。 舉例而言’區塊分割器24可將影像中之每一者分割成 16X 1 6區塊。此外,區塊分割器24可進一步將每一區塊子 分割成兩個或兩個以上子區塊。作為一實例,16χ16區塊 可包含四個8x8子區塊、八個4x8子區塊或其他子分割區 塊。如本文中所使用,術語”區塊"可指代任何大小之區塊 或子區塊。然而,在一些態樣中,可能不將緩衝器2〇中之 影像分割成區塊’在該狀況下,影像可繞過區塊分割器24 且直接由動作偵測模組26分析。 動作偵測模組26判定所關注場景内之動作量。更具體言 135532.doc 17 200935357 之,動作偵測模組26產生識別同一所關注場景之影像之間 指不動作之改變的一或多個指示符。在一態樣中,動作偵 測模組26計算至少一影像之區塊中的每一者之動作向量。 區塊之動作向量表示所識別區塊在第一影像與第二影像之 間的移位。動作向量可表示為: v(b) = (dx, dy) » ⑴
其中v(b)為區塊b之動作向量,dx為區塊b與第二影像中之 對應區塊之間在X方向上之移位,且dy為區塊b與第二影像 中之對應區塊之間在y方向上之移位。動作偵測棋組%可 使用多種動作估計技術中之任一者來計算動作向量。對於 第一影像之每一區塊,動作偵測模組26可在第二影像中搜 尋最佳匹配於第一影像之各別區塊的區塊^動作偵測模組 26可使用誤差量測(例如,絕對差總和(SAD)、均方誤差 (MSE)或其類似者)來比較第一影像之區塊的像素值與第二 影像中之區塊的像素值。場景改變指示模組26可選擇具有 最小誤差量測之區塊且計算兩個區塊之間的移位以產生動 在一些狀況下,動作偵測模組26可選擇動作向量之子集 以判定影像之間的動作量。可代替地使用其他百分比。動 作偵測模組26可(例如)分析最大動作向量之子集的量值以 判定所關注場景内之動作量。動作偵測模組26可分析區塊 之動作向量的最大5%、10%或2〇%以進行判定。為了說明 之目的而提供此等百分比且此等百分比不應限制本發明中 135532.doc •18· 200935357 所描述之技術。可使用以下等式來計算動作向量之量值: lv(^)l = sqrt(dx*dx + dy*dy) (2) 其中|v(b)|為區塊b之動作向量的量值,叫叫幻為z之平方 根,dx為區塊b與第二影像中之對應區塊之間在χ方向上之 移位,且dy為區塊b與第二影像中之對應區塊之間在y方向 上之移位。動作向量具有大量值之區塊可指示該區塊内之
移動物件。或者,可分析影像之所有區塊的動作向量之量 值以判定整個場景内之動作量。 動作债測模組26可|生所關注場景内的其他動作指示 符。在另一態樣中,動作债測模組26可使用同一所關注場 景之兩個或兩個以上影像之間的對比度差來❹】動作。舉 ,而言’動作偵測模組26可計算兩個影像之像素區塊中的 母-者之平均亮度值。動作制模組%接著可在逐區塊之 基礎上計算兩個影像之平均亮度值之間的差。換言之,可 在第I像之區塊與第二影像之位於與第—影像之區塊相 同之,置的區塊之間計算差1作偵龍心可識別具有 度差的區塊且將該亮度差用作所關注場景内之動作 •扎丁# 1塊之大亮度差可表示所關注場景内之物件 :。或者,動作偵測模組26可將區塊之子集或全部區塊 之儿度差平均化。以士卜j 式’平均亮度差可指示貫穿整個 景之整體動作量。此可在偵測由相對於所關注場 景之相機移動所引起的動作時特別有用。 在另-態樣中’㈣_模組柯產生像素區塊中之一 135532.doc •19· 200935357 或多者的,維投影值且比較兩 場景内之動作。謀一♦ 像之缸影以偵測所關注 ,的每-者之水平:影:模組26可計算像素區塊 塊之像素列之像素值的求和。:直:::二平投影為區 像素值的求和。舉例而言,對於每一:==之 :投:作—根據以下等式來判定 ❹ ⑴、⑺ 其1^ PH⑴表示作為沿y轴之傻音"丨η τ & & 像素j之函數的水平投影,
Pv⑴表不作為沿父軸 mo 〈像素1之函數的垂直投影,且Im(i, = 素Wj”之函數的像素值。因此,Ph為特定 =之像素值的X軸像素值(當i變化且胸不變時)之求和 ❹ 、方式動作傷測模組26自區塊之二維影像資訊 維水平投影向量。在8x8像素區塊之狀況下 偵測模組26可產生表示二維㈣區塊的一維的八個元辛之 水平投影向量。同樣地,Ρν為區塊之像素值(亦即’ Im(i j)) 的y轴像素值(當丨保持不變且』變化時)之求和(ς),以自水 平才又景/被判疋所針對的同一區塊之二維影像資訊形成一維 垂直投影向量。每-區塊經歷相同程序,直至每一區塊已 簡化為一系列水平及垂直投影為止。 動作伯測模組26接著可計算影像之像素區塊中的每一者 平及/或垂直技影之間的差。動作偵測模組26可識別 I35532.doc -20- 200935357 具有最大投影差之區塊且將該投影差用作所關注場景内的 動作量之指示符。以此方式,所選投影差可為所關注場景 内的移動物件之指不符。或者,動作偵測模組^可將影像 之區塊之子集或全部區塊的投影差平均化。以此方式,不 均投影差可指示所關注場景之整體動作量。 在另一態樣中,動作偵測模組26可計算影像中之每一者 的直方圖且。十算直方圖之間作為所關注場景内之動作量之 ^不符的差。舉例而言,對於影像中之每-者,動作横刺 模組26可產生表示像素值在特定影像上之分布的直方圖。 動作债測模組可計算兩個或兩個以上影像之直方圖之間作 為所關左場景之動作指示符的差。大直方圖差可指示所關 注場景内之大動作量。 在另一態樣中,動作偵測模組26可計算影像中之每一者 的像素中之至少一部分的像素值之間作為所關注場景内之 動作才曰不的差。舉例而言,動作债測模組%可計算影像之 Φ I素位置中之每一者的像素值之間的差,且將差求和以產 生场景内之動作指示符。較大差總和可指示場景内之較大 _作量°或者’動作债測模組26可在逐區塊之基礎上計算 ,指示符總和。換言之’動作偵測模組26可計算區塊中之 每者的像素值之間的差且將區塊内的像素值之差求和以 得到影像區塊差以判定場景内之物件動作。 "又疋調整模組27分析由動作偵測模組26所產生的一或多 個才日不4 ’且基於兩個影像之間所憤測的動作f來調整影 像感測器4之一或多個設定參數。儘管為了說明之目的而 135532.doc 200935357 在本文中被論述為調整影像感測器4之增益及/或曝光時 間’但設定調整模組27可調整影像感測器4之其他設定參 數。一般而言,設定調整模組27可針對包括相對較大動作 量(例如,較大動作向量、較大差總和、較大亮度差、較 大直方圖差、較大一維投影差或其類似者)的場景而增加 影像感測器4之增益。增加影像感測器4之增益可對應於影 . 像感測器4持續較短時段曝光於所關注場景,因而以增加 雜訊為代價而減少具有許多動作之場景中之模糊。相反 地,設定調整模組27可針對在所關注場景内包括相對較小 改變量或完全無動作的場景而減少影像感測器4之增益。 減少影像感測器4之增益可對應於影像感測器4持續較長時 段曝光於所關注場景,藉此以增加模糊為代價而減少雜 訊。 對於具有(例如)ISO 50、ISO 100及ISO 200之敏感度設置 的影像捕捉設備,設定調整模組27可選擇如下文所描述之 Φ IS〇設置。IS〇設置可(例如)對應於特定增益及曝光時間 對。ISO 50可對應於最小增益及最長曝光時間,而is〇 2〇〇 可對應於最大增益及最短曝光時間。當(例如)最大動作向 量之平均動作向量量值小於影像之寬度之大約1%時設 定調整模組27可選擇ISO 50。對於具有(例如)1〇〇〇個像素 之寬度的影像,當動作向量之量值小於1〇時,感測器控制 模組9可選擇iso 50。當平均動作向量量值在影像之寬度 之大約1/β與10%之間時,設定調整模組27可選擇1⑼。 當平均動作向量量值在影像之寬度之大約10%與20%之間 I35532.doc •22· 200935357 時,設定調整模組27可選擇 J透禪15>0 200。其他臨限值可用以 將動作向量之量值與特定敏咸卢机 、 义似名度6又置相關聯。此外,額外 敏感度設置可包括於設罟夕pq , 叹置之間(例如’在ISO 5〇與助100 之間),或高於或低於設置(例如,高於Is〇 2〇〇)。儘管上 文所描述之實例設定調整模組27使用動作向量來選擇敏感 度設置,但可使用其他動作指示符(諸如,亮度差、一維 投影差、像素值差、直方圖差或一個 ^個以上動作指示符之組 ❹
合)之範圍來進行類似調整。舉你丨而一 ^ ^ ^準例而a ,設定調整模組27 可依據場景内之兩個或兩個以上動作指 切日不#的加權總和而 調整影像感測器4之設定參數。 在-些態樣中,影像處理器6可維持將動作指示符與對 應設定參數(例如,增益及/或曝光時間)相關聯的設定資料 28。舉例而言,設定資料28可將動作向量量值、亮度差、 投影差、影像像素值差及/或直方圖差與特定增益及曝光 時間相關I儘管在圖2中被說明為駐留於影像處理器6 内’但設定資料28可維持於與影像處理器咏接的影像儲 存模組8内。設定資料28可(例如)維持針對相機之不同操作 模式的複數個不同設定參數,以及將動作指示符之量值與 對應增益/曝光時間對相關聯的資料結構。 在二狀况下,設定調整模組27可基於亮度來選擇影像 感測器4之初始設定參數,且基於對所關注場景内之動作 的分析來調整影像感測器4之設定參數。使用增益及曝光 時間作為實例,當周圍環境明亮時,設定調整模組27可初 始地選擇較小增益及較長曝光時間(例如,對應於IS0 5〇 135532.doc -23· 200935357 設置)°相反地,當周圍環境黑暗時,設定調整模組27可 初始地選擇較大增益及較短曝光時間(例如,對應於IS〇 200或更高設置)。為此,設定資料28亦可包括將亮度級與 對應設定參數相關聯之資料結構。 由設定調整模組27所選擇之初始增益及曝光時間可由影 像感測器4用以捕捉用以分析所關注場景之動作的兩個或 兩個以上預檢視影像。上文所描述之敏感度控制技術接著 可用以基於所關注場景内之動作來調整影像感測器4之初 始增益及曝光時間設置。在一些狀況下,基於亮度所選擇 之設置將基於動作分析而改變。以此方式,設定調整模組 27可基於所關注場景中之動作來超越所選設定參數。此可 導致將額外雜訊引入至影像中,但將顯著地減少由動作所 引起的影像模糊。 如本發明中所描述且歸於影像處理器6之功能性可由執 行儲存至電腦可讀媒體之指令的一或多個可程式化處理器
執灯,其中指令及/或程式碼使處理器執行如本發明中所 描述之敏感度選擇配準。在—些狀況下,電腦可讀媒體可 形成可出售給製造商及/或用於設備中之電腦程式產品的 一部分。 圖3為說明執仃本發明中所描述之影像感測器設定技術 的影像捕捉設備(諸如’圖2之影像捕捉設備2)之實例操作 的流程圖。初始地,影像捕捉設備2之影像感測器4捕捉兩 或兩個以上影像且將影像儲存於影像緩衝器2()中(30)。 如上文所描述’兩個或兩個以上影像可為由影像感測器* 135532.doc •24· 200935357 隹數毫秒或甚至更短時段内一個 個地捕捉的相繼影 。例而言’可在影像預檢視期間捕捉相繼影像。此 外,影像感測器4可使用依據所關注場景之亮度而選擇的 初始設定參數(例如,增益及曝光時間)來捕捉影像。 • @塊分割器24將影像中之至少―者分割成複數個區塊 (32)。區塊可為重疊或非重疊的’且可具有各種尺寸。動 • 作偵測模組26判定所關注場景内之動作量(34)0如上文詳 ❹ 細地所描述,動作偵測模組26可使用許多指示符(諸如, 動作向兩個影像之間的亮度冑差、兩個影像之一維投 影值之間的I、兩㈣像之直方圖之間的差或其類似者) 中之任一者來判定所關注場景内之動作量。 设定調整模組27判定是否基於所判定之動作量來調整影 像感測器4之設定參數(36)。當影像感測器之初始設定參數 包括小增益時’設定調整模組27可在場景包括相對較大動 作量(例如’較大動作向量、較大差總和、較大亮度差、 φ 較大直方圖差、較大一維投影差或其類似者)時判定調整 設定參數。相反地’對於在所關注場景内包括相對較小動 作量或完全無動作的場景,設定調整模組27可減少或維持 影像感測器4之當前增益。 ' 當設定調整模組27判定需要調整影像感測器4之設定參 數時’設定調整模組27重新設定影像感測器4之設定(37)。 設定調整模組27可(例如)重新設定影像感測器4之感測器增 益、影像感測器4之曝光時間或其組合。在重新設定影像 感測器4之敏感度之後或當無需重新設定影像感測器4之敏 135532.doc -25- 200935357 感度時’影像感測器4在由使用者致動按鈕後便使用經設 定之設置來捕捉及儲存所關注場景之影像(3 8)。以此方 式’景夕像捕捉設備依據所關注場景内之動作而設定影像感 測器4。儘管為了說明之目的而在本文中被論述為調整影 像感測器4之增益及/或曝光時間,但設定調整模組27可調 整影像感測器4之其他設定參數。 圖4為說明基於與影像相關聯之動作向量中之至少一部 刀來執行影像感測器設定技術的影像捕捉設備(諸如,圖2 之影像捕捉設備2)之實例操作的流程圖。初始地,影像捕 捉備2之影像感測器4捕捉兩個或兩個以上影像且將影像 儲存於影像緩衝器20中(40)。如上文所描述,兩個或兩個 以上影像可為由影像感測器4在數毫秒或甚至更短時段内 一個接一個地捕捉的相繼影像。舉例而言,可在影像預檢 視期間捕捉相繼影像。此外,影像感測器4可使用依據所 關注場景之亮度而選擇的初始設定參數(例如,增益及曝 光時間)來捕捉影像。 區塊分割器24將影像中之至少一者分割成複數個區塊 ⑽。區塊可為重叠或非重疊的’且可具有各種尺寸。動 作侦測模組26計算影像之區塊中的每一者的動作向量 ㈣。動作偵測模組26選擇動作向量之子集來分析…)。 如上文所描述,動作偵測模組26可選擇包括影像之最大動 :向量的子集。舉例而言,動作偵測模組“可選擇區塊之 ,作向量的最大跳作為待分析之動作向量子集。然而, 在一些態樣中’動作谓測模組26可分析影像之整個動作向 135532.doc -26- 200935357 量集。巾非僅子集β動m貞測模組%計算動作向量子集 的平均量值(48)。平均量值可(例如)表示所關注場景内^ 移動物件。 設定調整模組27狀是否基於針對動作向量子集所計算 的平均量值來調整影像感測器4之設定參數⑽。在一些態 樣中定調整模組27可維持將動作向量量值與對應設定 參數(例如,IS0增益及/或曝光時間)相關聯的設定資料 28。舉例而言,當(例如)最大動作向量之平均動作向量量 值小於影像之寬度之大約1%時,設定調整模組27可選擇 ISO 50設置。當平均動作向量量值在影像之寬度之大約1% 與ίο%之間時,設定調整模組27可選擇IS〇 1〇〇。當平均動 作向量量值在影像之寬度之大約1〇%與2〇%之間時,設定 調整模組27可選擇ISO 200。其他臨限值可用以將動作向 量之量值與特定敏感度設置相關聯。 當設定調整模組27判定需要調整影像感測器4之設定參 數時’設定調整模組27重新設定影像感測器4之設定(52)。 設定調整模組27可(例如)重新設定影像感測器4之感測器增 益、影像感測器4之曝光時間或其組合。在重新設定影像 感測器4之敏感度之後或當無需重新設定影像感測器4之敏 感度時,影像感測器4在由使用者致動按鈕後便使用經設 定之設置來捕捉及儲存所關注場景之影像(54)。以此方 式’影像捕捉設備依據所關注場景内之動作而設定影像感 測器4。如參看圖2詳細地所描述,可利用使用其他動作指 示符的類似調整技術。 135532.doc •27- 200935357 圖5為說明包括實施本發明中所描述之影像捕捉技術的 影像捕捉設備2之實例無線通信設備6〇的方塊圖。換言 之’圖5展示整合於無線通信設備内的影像捕捉設備2。上 文參看圖1而描述影像捕捉設備2之操作且因此此處將不詳 細地加以描述。無線通信設備60可包含無線通信設備手 機,諸如,具有影像捕捉能力之蜂巢式電話(例如,所謂 的相機電話或視訊電話)、視訊記錄器、個人數位助理 φ (PDA)、膝上型電腦或具有影像捕捉及無線通信能力之任 何其他掌上型設備。儘管在無線通信設備之内容中加以說 明’但本發明之技術可適用於有線通信設備。 在圖5之實例中,無線通信設備60包括影像捕捉設備2、 編碼模組62及傳輸器64。編碼模組62可編碼所捕捉影像資 訊以將影像壓縮成特定影像壓縮格式以用於儲存及/或傳 輸。編碼模組62可使用許多影像壓縮格式(包括JPEG、 TIFF、GIF或其他影像壓縮格式)中之任一者來壓縮影像。 ❹ 在視訊之狀況下,編碼模組62可使用任何數目之視訊壓縮 格式(諸如,MPEG、MPEG進階視訊編碼(AVC^ 1〇部分、 ITUH.264及其類似者)來壓縮視訊。 無線通信設備6 0可經由傳輸器6 4而將經編碼影像傳輸至 • 另一設備。傳輸器64通常提供介面至蜂巢式網路,諸如, 分碼多重存取(CDMA)網路、寬頻分碼多重存取(w_ CDMA)網路、分時多重存取(TDma)網路及全球行動通作 系統(GSM)網路’或其他類似網路。除了蜂巢式網路以外 或作為對蜂巢式網路之替代’傳輸器64可提供介面至如由 135532.doc -28- 200935357 相關電氣及電子工程師學會(IEEE)802 u標準中之任一者 所界定的無線網路’或任何其他有線或無線網路。儘管經 描述為僅包括影像捕捉設備2、編碼模組62及傳輸器糾, 但無線通信設備60可包括其他模組’諸如,顯示器、用於 與使用者建立介面之使用者介面(例如,鍵盤)、用於執行 額外操作之一或多個處理器,及用於接受抽取式記憶趙、 . 耳機、電源及任何其他該等周邊裝置之各種埠及插座。 φ 本發明中所描述之技術可以硬體、軟體、勒體或其任何 組合來實施。經描述為模組或組件之任何特徵可一起實施 2整合邏輯設備甲或單獨地作為離散但可制操作的邏輯 设備而加以實施。若以軟體來實施,則可至少部分地藉由 包含指令之電腦可讀媒體來實現該等技冑,指令在被執行 時執行上文中所描述之方法中的一或多者。電腦可讀媒體 可形成電腦程式產品之一部分,電腦程式產品可包括封裝 材料。電腦可讀媒體可包含隨機存取記憶體(Ram),諸 ❿ 如,同步動態隨機存取記憶體(SDRAM)、唯讀記憶體 (R〇M)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可 ‘ 程式化唯讀記憶體(EEPROM)、FLASH記憶體、磁性或光 學資料儲存媒體及其類似者。另外,或或者,可至少部分 . 地藉由電腦可讀通信媒體來實現該等技術,電腦可讀通信 媒體以指令或資料結構之形式來載運或傳達程式碼且可由 電腦存取、讀取及/或執行。 程式碼可由一或多個處理器執行,諸如,—或多個 DSP通用微處理器、ASIC、FPGA、FPLA或其他等效整 135532.doc •29- 200935357 合或離散邏輯電路。因此’如本發明中所使用的術語"處 理器"可指代前述結構或適於實施本發明令所描述之技術 的任何其他結構中之任一者。另夕卜,在一些態樣中,可將 本發月中所描述之功能性提供於經設定用於編碼及解瑪之
專用軟體模組或硬體模組内,或併人組合式視訊C0DEC 中。因此,本發明亦涵蓋包括用以實施本發明中所描述之 技術中之《多者的電路之多種積體電路設備中之任一
者。可將該電路提供於單一積體電路晶片或多個可共同操 作的積體電路晶片中。 已描述各種技術。此等及其他實例態樣係在以下申請專 利範圍之範_内。 【圖式簡單說明】 圖1為說明實施本發明中所描述之影像感測器設定技術 之實例影像捕捉設備的方塊圖。 圖2為更詳細地說明圖1之影像捕捉設備的方塊圖。 圖3為說明執仃本發明中所描述之影像感測器設定技術 的影像捕捉設備之實例操作的流程圖。 圖4為說明使用動作向量來執行影像感測器設定技術的 影像捕捉設備之實例操作的流程圖。 圖5為併有圖1之影像捕捉設備之無線通信設備的方塊 【主要元件符號說明】 影像捕捉設備 影像感測器 I35532.doc 200935357 6 影像處理器 8 影像儲存模組 9 感測器控制模組 20A 影像緩衝器 20B 影像緩衝器 22 影像感測器設定模組 24 區塊分割器 26 動作偵測模組
27 設定調整模組 28 設定資料 60 無線通信設備 62 編碼模組 64 傳輸器
135532.doc •31 -
Claims (1)
- 200935357 十、申請專利範圍: 1. 一種用於捕捉數位影像資料之方法,其包含: 分析至少在一所關注場景之一第一影像與該所關注場 景之一第二影像之間的動作;及 基於該分析來調整由一影像感測器用以捕捉影像的一 ' 或多個設定參數。 • 2.如請求項1之方法,其中調整由該影像感測器用以捕捉 影像的一或多個設定參數包含調整該影像感測器之一增 ® 益及該影像感測器曝光於該所關注場景的一曝光時間中 之至少一者。 3·如請求項1之方法,其中調整由該影像感測器用以捕捉 影像的一或多個設定參數包含在該第一影像與該第二影 像之間的該動作超過一臨限值時增加該影像感測器之一 增益及在該第一影像與該第二影像之間的該動作小於一 臨限值時減少該影像感測器之該增益中之一者。 Φ 4,如请求項1之方法,其中分析該第一影像與該第二影像 之間的動作進一步包含: 將該第一影像分割成複數個像素區塊; . 計算該第一影像之該複數個像素區塊中之每一者的一 - 動作向量;及 之至少一子集來分析該 基於該等區塊之該等動作向量 動作。 在—所關注場景之一 二影像之間的動作包 如请求項1之方法’其中分析至少在 第一影像與該所關注場景之一第二 135532.doc 200935357 含: 計算該第-影像及該第二影像之一或多個像素區塊之 平均亮度值; 計算該第-影像之該一或多個像素區塊之該等平均亮 度值與該第二影像之㈣像素區塊之該等平均亮度值之 間的一差;及 . 基於該等平均亮度值之該等差來分析該動作。 ❹6.如請求们之方法,其中分析至少在一所關注場景之一 第一影像與該所關注場景之一第二影像之間的動作包 含: 。十算該第-影像及該第二影像之—或多個像素區塊的 一維水平投影值及一維垂直投影值; 計算該第-影像之該-或多個像素區塊之該等水平及 垂直投影值與該第二影像之對應像素區狀該等水平及 垂直投影值之間的一差;及 e 基於水平及垂直投影之該等差來分析該動作。 7.如《月求項1之彳法,#中分析至少在一所關注場景之一 第一影像與該所關注場景之一第二影像之間的動作包 含: 於該第-影像及該第二影像中之每一者,計算一表 示像素值在各別影像上之分布的直方圖; a十算該第一影像之該直方圖與該第二影像之該直方圖 之間的一差;及 基於該等直方圖之間的該等差來分析該動作。 135532.doc -2- 200935357 8,如請求項1之方法,其中分析至少在一所關注場景之一 第一影像與該所關注場景之一第二影像之間的動作包 含: 自第二訊框之對應像素的像素值中減去第一訊框之像 素之至少一部分的像素值以計算像素值差; 將該等像素值差求和;及 基於該等像素值差之總和來分析該動作。 ©9. —種用於捕捉數位影像資料之設備,其包含: 一影像感測器’其用以根據一或多個設定參數來捕捉 影像;及 一影像處理器’其分析至少在一所關注場景之一第一 影像與該所關注場景之一第二影像之間的動作且基於該 分析來調整由該影像感測器用以捕捉影像的該等設定參 數中之一或多者。 10.如請求項Η之設備,其中該影像處理器調整該影像感測 ⑩ 器之—增益及該影像感測器曝光於該所關注場景的一曝 光時間中之至少一者。 • U.如請求項Η之設備,其中該影像處理器將該第一影像分 割成複數個像素區塊、計算該第一影像之該複數個像素 區塊中之每一者的一動作向量,且基於具有最大量值的 該等動作向量之至少一子集來分析該動作。 12·如4求項丨丨之設備,其中該影像處理器計算該第一影像 及該第二影像之一或多個像素區塊的平均亮度值、計算 °亥第影像之該一或多個像素區塊之該等平均亮度值與 J35532.doc 200935357 該第二影像之對應像素區塊之該等平均亮度值之間的一 差,且基於該等平均亮度值之該等差來分析該動作。 ❹13.如請求項丨〖之設備,其中該影像處理器計算該第一影像 及該第一影像之一或多個像素區塊的—維水平投影值及 維垂直投影值、§十算該第一影像之該一或多個像素區 塊之該等水平及垂直投影值與該第二影像之對應像素區 塊之該等水平及垂直投影值之間的一差,且基於水平及 垂直投影之該等差來分析該動作。 14.如請求項!〗之設備,其中該影像處理器對於該第一影像 及該第二景彡像巾之每—者計算—表示料值在各別影像 上之刀布的直方圖、計算該第一影像之該直方圖與該第 二影像之該直方圖之間的—差,且基於該等直方圖之間 的該等差來分析該動作。 15·如印求項R設備’其中該影像處理器自第二訊框之對 應像素的像素值中減去第―訊框之像素之至少—部分的 像素值以計算像素值差、將該等像素值差求和,且基於 該等像素值差之總和來分析該動作。 16.如凊求項11之設備’其中該設備包含一無線通信設備, 該無線通信設備進一步包含: 一編碼模組’其編碼該所捕捉影像;及 一傳輸器,其傳輸該經編碼影像。 種用於捕捉數位影像資料之電腦程式產品,其包含一 在上面具有指令之電腦可讀媒體,該等指令包含、: 用於刀析至少在-所關注場景之一第一影像與該所關 I35532.doc 200935357 注場景之一第二影像之間的動作的程式碼丨及 用於基於該分析來調整由一影像感測器用以捕捉影像 之一或多個設定參數的程式碼。 18 19. ❹ 20. ❷ 如叫求項17之電腦程式產品,其中用於調整由該影像感 測器用以捕捉影像之一或多個設定參數的程式碼包含用 於調整該影像感測器之—增益及該影像感測器曝光於該 所關注場景的一曝光時間中之至少一者的程式碼。 如明求項17之電腦程式產品,其中用於分析該第一影像 與該第二影像之間的動作的程式碼進一步包含: 用於將該第一影像分割成複數個像素區塊的程式碼; 用於计算該第一影像之該複數個像素區塊中的每一者 之一動作向量的程式碼;及 用於基於該等區塊之該等動作向量之至少一子集來分 析該動作的程式碼。 如請求項17之電腦程式產品,其中分析至少在一所 關注%景之一第一影像與該所關注場景之一第二影像之 間的動作的程式碼包含: 用於計算該第一影像及該第二影像之一或多個像素區 塊之平均亮度值的程式碼; 用於計算該第-影像之該一或多個像素區塊之該等平 句儿度值與該第二影像之對應像素區塊之該等平* 值之間的一差的程式碼;及 冗义 用於基於該等平均*度值之該等差來分析該動作的程 式碼。 135532.doc 200935357 .如請求項17之電腦程式產品,其中用於分析至少在一所 關注場景之-第―影像與該所關注場景之—第二影像之 間的動作的程式碼包含: 用於。十算該第一影像及該第二影像之一或多個像素區 塊之一維水平投影值及一維垂直投影值的程式碼; 、,用於计算該第_•影像之該—或多個像素區塊之該等水 • 平及垂直投影值與該第二影像之對應像素區塊之該等水 ❿ 平及垂直投影值之間的一差的程式碼;及 用於基於水平及垂直投影之該等差來分析該動作的程 式碼。 22. 如請求項17之電腦程式產品,其中用於分析至少在一所 關注場景之一第一影像與該所關注場景之一第二影像之 間的動作的程式碼包含: 用於對於該第一影像及該第二影像中之每一者計算一 表示像素值在各別影像上之分布的直方圖的程式碼; ❹ 用於計算該第一影像之該直方圖與該第二影像之該直 方圖之間的一差的程式碼;及 用於基於該等直方圖之間的該等差來分析該動作的程 式碼。 23, 如請求項17之電腦程式產品,其中用於分析至少在一所 關注場景之一第一影像與該所關注場景之一第二影像之 間的動作的程式碼包含: 用於自第二訊框之對應像素的像素值中減去第一訊框 之像素之至少一部分的像素值以計算像素值差的程式 135532.doc -6- 200935357 碼; 用於將該等像素值差求和的程式碼;及 用於基於該等像素值差之總和來分析該動作的程式 碼。 24· —種用於捕捉數位影像資料之裝置,其包含: ' 肖於分析至少在-所關注場景之-第-影像與該所關 . 注場景之一第二影像之間的動作的構件;及 詩基於該分析來調整由—影像感測H用以捕捉影像 之一或多個設定參數的構件。 25.如請求項24之裝置,其進一步包含: 用於基於該所關注場景之一亮度來判定由該影像感測 器用以捕捉影像之初始設定參數的構件; 用於使用該等初始設定參數以該影像感測器來捕捉該 所關注場景之該第-影像及該第二影像的構件; 其中該調整構件基於對該第一影像與該第二影像之間 ⑩ 的該動作之4分析來調整由該影像感測H用以捕捉影像 之該等初始設定參數;且 ‘纟中該捕捉構件使用該等經調整之設定參數來捕捉該 所關注場景之一第三影像。 135532.doc
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/875,652 US8063942B2 (en) | 2007-10-19 | 2007-10-19 | Motion assisted image sensor configuration |
Publications (1)
Publication Number | Publication Date |
---|---|
TW200935357A true TW200935357A (en) | 2009-08-16 |
Family
ID=40243825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW97140061A TW200935357A (en) | 2007-10-19 | 2008-10-17 | Motion assisted image sensor configuration |
Country Status (7)
Country | Link |
---|---|
US (1) | US8063942B2 (zh) |
EP (1) | EP2051209B1 (zh) |
JP (1) | JP5226794B2 (zh) |
KR (2) | KR101275933B1 (zh) |
CN (1) | CN101855651B (zh) |
TW (1) | TW200935357A (zh) |
WO (1) | WO2009052406A1 (zh) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8775452B2 (en) | 2006-09-17 | 2014-07-08 | Nokia Corporation | Method, apparatus and computer program product for providing standard real world to virtual world links |
US7697836B2 (en) * | 2006-10-25 | 2010-04-13 | Zoran Corporation | Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired |
US20080267521A1 (en) * | 2007-04-24 | 2008-10-30 | Nokia Corporation | Motion and image quality monitor |
US20080268876A1 (en) * | 2007-04-24 | 2008-10-30 | Natasha Gelfand | Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities |
US20080267504A1 (en) * | 2007-04-24 | 2008-10-30 | Nokia Corporation | Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search |
KR101417808B1 (ko) * | 2007-12-06 | 2014-07-09 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 |
US8482620B2 (en) | 2008-03-11 | 2013-07-09 | Csr Technology Inc. | Image enhancement based on multiple frames and motion estimation |
JP4666012B2 (ja) * | 2008-06-20 | 2011-04-06 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP5425424B2 (ja) * | 2008-07-22 | 2014-02-26 | 富士フイルム株式会社 | フラッシュ発光方法及び装置 |
US8416319B2 (en) | 2008-09-22 | 2013-04-09 | Freedom Scientific, Inc. | Systems and methods for imaging objects |
JP5213613B2 (ja) * | 2008-09-26 | 2013-06-19 | キヤノン株式会社 | 画像処理装置及び画像処理方法及び撮像装置及びプログラム |
TWI417850B (zh) * | 2009-03-12 | 2013-12-01 | Chunghwa Picture Tubes Ltd | 主動陣列式顯示器之顯示方法 |
KR101581222B1 (ko) * | 2009-03-30 | 2015-12-30 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법 및 컴퓨터 판독가능 저장매체 |
JP5263023B2 (ja) * | 2009-06-17 | 2013-08-14 | ペンタックスリコーイメージング株式会社 | 撮像装置 |
KR101626003B1 (ko) * | 2009-08-24 | 2016-06-13 | 삼성전자주식회사 | 디지털 촬영장치 |
JP5506329B2 (ja) * | 2009-10-30 | 2014-05-28 | キヤノン株式会社 | 移動検出装置および記録装置 |
JP5586918B2 (ja) * | 2009-10-30 | 2014-09-10 | キヤノン株式会社 | 移動検出装置および記録装置 |
US8615111B2 (en) * | 2009-10-30 | 2013-12-24 | Csr Technology Inc. | Method and apparatus for image detection with undesired object removal |
JP5441618B2 (ja) * | 2009-10-30 | 2014-03-12 | キヤノン株式会社 | 移動検出装置、移動検出方法および記録装置 |
JP2011119785A (ja) * | 2009-11-30 | 2011-06-16 | Fujitsu Ltd | カメラ制御装置及びカメラ制御方法 |
TWI476632B (zh) * | 2009-12-08 | 2015-03-11 | Micro Star Int Co Ltd | 運動物體辨識方法及基於運動物體辨識之指令輸入方法 |
US8478071B2 (en) * | 2009-12-16 | 2013-07-02 | Nvidia Corporation | System and method for constructing a motion-compensated composite image |
KR101710624B1 (ko) * | 2010-07-27 | 2017-02-27 | 삼성전자주식회사 | 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체 |
US8688393B2 (en) * | 2010-07-29 | 2014-04-01 | Medtronic, Inc. | Techniques for approximating a difference between two capacitances |
US8643734B2 (en) * | 2010-11-10 | 2014-02-04 | Apple Inc. | Automatic engagement of image stabilization |
US20120120285A1 (en) * | 2010-11-16 | 2012-05-17 | Texas Instruments Incorporated | Method and apparatus for reconfiguring time of flight shot mode |
US20130021512A1 (en) * | 2011-07-20 | 2013-01-24 | Broadcom Corporation | Framing of Images in an Image Capture Device |
CN102254520A (zh) * | 2011-07-21 | 2011-11-23 | 福州大学 | 基于图像分割的电子纸的驱动方法 |
CN102509255B (zh) * | 2011-10-26 | 2014-03-26 | 苏州百滨电子科技有限公司 | 高速图像采集和处理方法和装置 |
US8933712B2 (en) | 2012-01-31 | 2015-01-13 | Medtronic, Inc. | Servo techniques for approximation of differential capacitance of a sensor |
KR101844332B1 (ko) * | 2012-03-13 | 2018-04-03 | 삼성전자주식회사 | 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 |
US9805508B1 (en) * | 2013-04-01 | 2017-10-31 | Marvell International Ltd | Active augmented reality display enhancement |
US20160088225A1 (en) * | 2013-04-11 | 2016-03-24 | Nokia Technologies Oy | Method and technical equipment for imaging |
JP6047858B2 (ja) * | 2013-06-07 | 2016-12-21 | カシオ計算機株式会社 | 撮影制御装置及び撮影制御方法 |
CN103347152A (zh) * | 2013-07-08 | 2013-10-09 | 华为终端有限公司 | 一种图像处理方法、装置及终端 |
US9654741B2 (en) * | 2013-07-09 | 2017-05-16 | Siemens Energy, Inc. | System and method for optical fiber based image acquisition suitable for use in turbine engines |
US9407823B2 (en) | 2013-12-09 | 2016-08-02 | Microsoft Technology Licensing, Llc | Handling video frames compromised by camera motion |
CN106233710B (zh) * | 2014-03-19 | 2019-06-11 | 索尼公司 | 控制与图像关联的抖动模糊和运动模糊的方法、系统和计算机可读介质 |
US9560287B2 (en) * | 2014-12-19 | 2017-01-31 | Sony Corporation | Noise level based exposure time control for sequential subimages |
JP6704679B2 (ja) * | 2015-05-01 | 2020-06-03 | キヤノン株式会社 | 制御装置、光学機器、制御方法、プログラム、および、記憶媒体 |
US9635276B2 (en) | 2015-06-10 | 2017-04-25 | Microsoft Technology Licensing, Llc | Determination of exposure time for an image frame |
WO2017010047A1 (ja) * | 2015-07-10 | 2017-01-19 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US9681109B2 (en) | 2015-08-20 | 2017-06-13 | Qualcomm Incorporated | Systems and methods for configurable demodulation |
EP3354037A4 (en) * | 2015-09-21 | 2019-04-10 | Qualcomm Incorporated | PREVIEWING VIEWING APPARATUS |
KR102688614B1 (ko) * | 2016-09-30 | 2024-07-26 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 지원하는 전자 장치 |
JP6851854B2 (ja) * | 2017-02-22 | 2021-03-31 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理装置の制御方法 |
US10764499B2 (en) | 2017-06-16 | 2020-09-01 | Microsoft Technology Licensing, Llc | Motion blur detection |
CN111357276A (zh) * | 2018-11-28 | 2020-06-30 | 深圳市大疆创新科技有限公司 | 拍摄方法、装置及无人机 |
US11153485B2 (en) * | 2019-09-05 | 2021-10-19 | Gopro, Inc. | Automated camera mode selection using local motion vector |
CN113132646B (zh) * | 2021-03-30 | 2021-12-10 | 深圳市阿达视高新技术有限公司 | 高动态范围图像生成方法、装置、计算机设备及存储介质 |
CN113489909B (zh) * | 2021-07-30 | 2024-01-19 | 维沃移动通信有限公司 | 拍摄参数的确定方法、装置及电子设备 |
CN115706863B (zh) * | 2021-08-12 | 2023-11-21 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3460284B2 (ja) * | 1993-12-28 | 2003-10-27 | ソニー株式会社 | 動きベクトル検出方法及び動きベクトル検出装置 |
JPH09322057A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 撮像装置 |
EP0956695B1 (en) * | 1997-01-31 | 2002-11-06 | Sharp Kabushiki Kaisha | Scene-motion based dynamic shutter speed adjustment system and method |
JP3791102B2 (ja) * | 1997-03-19 | 2006-06-28 | ソニー株式会社 | 露光制御装置、露光制御方法およびカメラ |
US5956436A (en) * | 1997-05-23 | 1999-09-21 | Umax Data Systems Inc. | Method for dynamically scanning an image |
JPH10336511A (ja) * | 1997-06-05 | 1998-12-18 | Sanyo Electric Co Ltd | カメラ装置 |
US6580456B1 (en) * | 1997-11-16 | 2003-06-17 | Pictos Technologies, Inc. | Programmable timing generator |
JPH11331833A (ja) * | 1998-05-15 | 1999-11-30 | Hitachi Ltd | 広視野監視カメラシステム |
JP3535013B2 (ja) * | 1998-06-12 | 2004-06-07 | シャープ株式会社 | 動画像符号化装置 |
JP3375557B2 (ja) * | 1999-01-29 | 2003-02-10 | 松下電器産業株式会社 | 映像信号処理装置 |
JP4344964B2 (ja) * | 1999-06-01 | 2009-10-14 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP3535799B2 (ja) * | 2000-03-30 | 2004-06-07 | キヤノン株式会社 | 液晶表示装置およびその駆動方法 |
FR2807902B1 (fr) * | 2000-04-17 | 2002-10-25 | Thomson Multimedia Sa | Procede de detection de changement de plan dans une succession d'images video |
US6931595B2 (en) * | 2000-11-02 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method for automatic extraction of semantically significant events from video |
JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
US7791641B2 (en) * | 2001-09-12 | 2010-09-07 | Samsung Electronics Co., Ltd. | Systems and methods for utilizing activity detection information in relation to image processing |
JP4203736B2 (ja) * | 2002-09-09 | 2009-01-07 | 日本ビクター株式会社 | 画像の動き検出装置及びコンピュータプログラム |
JP4649108B2 (ja) * | 2003-01-16 | 2011-03-09 | パナソニック株式会社 | 画像表示装置および画像表示方法 |
CN100409279C (zh) * | 2003-01-16 | 2008-08-06 | 松下电器产业株式会社 | 图像显示装置和图像显示方法 |
US7623152B1 (en) * | 2003-07-14 | 2009-11-24 | Arecont Vision, Llc | High resolution network camera with automatic bandwidth control |
KR100810310B1 (ko) * | 2003-08-29 | 2008-03-07 | 삼성전자주식회사 | 조도차가 다른 영상의 재구성 장치 및 방법 |
JP3838243B2 (ja) * | 2003-09-04 | 2006-10-25 | ソニー株式会社 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
JP2006074130A (ja) * | 2004-08-31 | 2006-03-16 | Sanyo Electric Co Ltd | 画像復号方法、画像復号装置および撮像装置 |
JP2006020055A (ja) * | 2004-07-01 | 2006-01-19 | Konica Minolta Holdings Inc | 撮像装置 |
IL165852A (en) * | 2004-12-19 | 2010-12-30 | Rafael Advanced Defense Sys | System and method for image display enhancement |
JP4277216B2 (ja) * | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
KR100639111B1 (ko) * | 2005-03-14 | 2006-10-30 | 주식회사 코아로직 | 이미지 센서의 노출 조절 장치 및 그의 조절 방법 |
JP4765027B2 (ja) * | 2005-07-29 | 2011-09-07 | 国立大学法人 奈良先端科学技術大学院大学 | 情報処理装置及び情報処理システム |
US7570309B2 (en) * | 2005-09-27 | 2009-08-04 | Samsung Electronics Co., Ltd. | Methods for adaptive noise reduction based on global motion estimation |
US8654848B2 (en) * | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
US7546026B2 (en) * | 2005-10-25 | 2009-06-09 | Zoran Corporation | Camera exposure optimization techniques that take camera and scene motion into account |
US8107762B2 (en) * | 2006-03-17 | 2012-01-31 | Qualcomm Incorporated | Systems, methods, and apparatus for exposure control |
WO2007119680A1 (ja) * | 2006-04-11 | 2007-10-25 | Panasonic Corporation | 撮像装置 |
JP2007306106A (ja) * | 2006-05-09 | 2007-11-22 | Sony Corp | 撮像装置、撮像方法、およびプログラム |
-
2007
- 2007-10-19 US US11/875,652 patent/US8063942B2/en active Active
-
2008
- 2008-03-31 EP EP08006411.6A patent/EP2051209B1/en active Active
- 2008-10-17 KR KR1020107010898A patent/KR101275933B1/ko active IP Right Grant
- 2008-10-17 TW TW97140061A patent/TW200935357A/zh unknown
- 2008-10-17 JP JP2010530150A patent/JP5226794B2/ja active Active
- 2008-10-17 CN CN2008801154813A patent/CN101855651B/zh active Active
- 2008-10-17 WO PCT/US2008/080346 patent/WO2009052406A1/en active Application Filing
- 2008-10-17 KR KR1020127020143A patent/KR20120104407A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
US20090102935A1 (en) | 2009-04-23 |
KR101275933B1 (ko) | 2013-06-14 |
JP2011502385A (ja) | 2011-01-20 |
US8063942B2 (en) | 2011-11-22 |
EP2051209B1 (en) | 2016-05-04 |
CN101855651A (zh) | 2010-10-06 |
WO2009052406A1 (en) | 2009-04-23 |
KR20100076034A (ko) | 2010-07-05 |
KR20120104407A (ko) | 2012-09-20 |
JP5226794B2 (ja) | 2013-07-03 |
EP2051209A1 (en) | 2009-04-22 |
CN101855651B (zh) | 2013-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW200935357A (en) | Motion assisted image sensor configuration | |
JP5908511B2 (ja) | ブロックベースの画像安定化 | |
EP2091261B1 (en) | White balance calibration for digital camera device | |
US8150201B2 (en) | Image processing apparatus, method, and computer program with pixel brightness-change detection and value correction | |
US8581992B2 (en) | Image capturing apparatus and camera shake correction method, and computer-readable medium | |
JP6019964B2 (ja) | 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法 | |
US9113059B2 (en) | Image pickup apparatus and image region discrimination method | |
US9071766B2 (en) | Image capturing apparatus and control method thereof | |
JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
KR20060118352A (ko) | 화상 처리 장치, 촬상 장치 및 화상 처리 프로그램 | |
US20200195857A1 (en) | Image capturing device and control method thereof and medium | |
JP5713643B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
KR101306780B1 (ko) | Hdr 영상 시스템에서 영상 간의 노출 정도를 보정하기 위한 장치 및 그 방법 | |
JP2010183460A (ja) | 撮像装置およびその制御方法 | |
US11153467B2 (en) | Image processing | |
JP5264541B2 (ja) | 撮像装置及びその制御方法 | |
JP5482428B2 (ja) | 撮像装置、手ブレ補正方法、プログラム | |
JP5482427B2 (ja) | 撮像装置、手ブレ補正方法、プログラム | |
JP2010183461A (ja) | 撮像装置およびその制御方法 | |
JP2015037222A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2019153972A (ja) | 撮像装置、撮像装置の制御方法、及び、プログラム | |
US20210366084A1 (en) | Deblurring process for digital image processing | |
KR20140071877A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP2007195087A (ja) | 撮像装置および画像処理方法 |