TWI699119B - 用於產生經圖像穩定化之視訊的方法與攝像機 - Google Patents

用於產生經圖像穩定化之視訊的方法與攝像機 Download PDF

Info

Publication number
TWI699119B
TWI699119B TW105113590A TW105113590A TWI699119B TW I699119 B TWI699119 B TW I699119B TW 105113590 A TW105113590 A TW 105113590A TW 105113590 A TW105113590 A TW 105113590A TW I699119 B TWI699119 B TW I699119B
Authority
TW
Taiwan
Prior art keywords
image frame
vignetting
video
digital image
video camera
Prior art date
Application number
TW105113590A
Other languages
English (en)
Other versions
TW201709720A (zh
Inventor
比約恩 阿爾多
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201709720A publication Critical patent/TW201709720A/zh
Application granted granted Critical
Publication of TWI699119B publication Critical patent/TWI699119B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本發明係關於一種用於實現一經圖像穩定化之視訊的方法。該方法包括：對由一視訊攝像機擷取之數位圖像框提供界定一漸暈效應之資料；判定由該視訊攝像機擷取之一數位圖像框之一錯位值；基於該錯位值而判定待顯示於該經圖像穩定化之視訊中之該數位圖像框之一區域；至少對對應於待顯示於該經圖像穩定化之視訊中之該區域的該數位圖像框之像素應用一漸暈消除程序，其中該應用係基於界定該漸暈效應之該資料；且基於界定該漸暈效應之該資料及該錯位值而在待顯示於該視訊中之該數位圖像框之該區域上再引入漸暈。

Description

用於產生經圖像穩定化之視訊的方法與攝像機
本發明係關於一經圖像穩定化之視訊之產生。
由視訊攝像機擷取之視訊可存在稱為攝像機抖動之一問題。例如，安裝於一區域處之一視訊攝像機(例如，用於監控該區域)會歸因於移位環境因數(諸如風、進入或離開該區域之交通工具(例如飛機、列車、貨車等等)、營建工事等等)而時常經歷抖動或振動。此等抖動或振動將誘發視訊攝像機之移動，藉此致使一擷取視訊抖動。
用於圖像穩定化之先前技術系統減少攝像機抖動之效應通常包含在顯示由視訊攝像機擷取之一視訊之前電子操縱該視訊。藉此，儘管誘發視訊攝像機之移動，但將視訊之一穩定視圖呈現給觀看者。
其邊緣逐漸淡入至周圍紙中之一照片或繪圖被稱為一暈映圖像。產生此一插圖之技術係一刻意技術。然而，用語「漸暈」亦用以指示一照片圖像或圖像串流(即，一視訊)中之圖像轉角之一非所欲暗化。非所欲及非所要漸暈係由透鏡、虹膜及/或圖像感測器限制致使之一效應。
對於其中執行圖像穩定化之視訊，漸暈會變得令人厭煩。此係因為視訊之圖像框將因不同圖像框而經不同移位及/或剪裁以使視訊看起來穩定。因此，在執行圖像穩定化之後，漸暈抖動之一效應將呈 現於視訊中。漸暈消除演算法係易於取得的。然而，若漸暈較嚴重，則消除漸暈將嚴重放大受影響區域中之雜訊。
鑑於上文，本發明之一目的係提供一種用於消除漸暈在一經圖像穩定化之視訊中移動之煩惱的方法。再者，本發明之一目的係提供一種在不會放大圖像中之雜訊之情況下消除經圖像穩定化之視訊中之惱人漸暈效應的方法。
根據一第一態樣，提供一種用於實現一經圖像穩定化之視訊的方法。該方法包括：對由一視訊攝像機擷取之數位圖像框提供界定一漸暈效應之資料；判定由該視訊攝像機擷取之一數位圖像框之一錯位值；基於該錯位值而判定待顯示於該經圖像穩定化之視訊中之該數位圖像框之一區域；至少對對應於待顯示於該經圖像穩定化之視訊中之該區域的該數位圖像框之像素應用一漸暈消除程序，其中該應用係基於界定該漸暈效應之該資料；且基於界定該漸暈效應之該資料及該錯位值而在待顯示於該視訊中之該數位圖像框之該區域上再引入漸暈。
根據上文已討論之內容而消除及再引入漸暈將在經圖像穩定化之視訊中產生閃變效應，其歸因於消除經圖像穩定化之不同數位圖像框中之不同漸暈且同時最小化雜訊之放大。
可在一共同圖像處理步驟中執行應用漸暈消除程序及再引入漸暈。此將節省所需處理器功率且使程序更快。
該方法可進一步包括：基於該錯位值而剪裁該數位圖像框以形成一經剪裁之圖像框，其中該經剪裁之圖像框對應於待顯示於該經圖像穩定化之視訊中之該數位圖像框之該區域。
該應用可包括：對該經剪裁之圖像框之像素應用該漸暈消除程序，其中該應用係基於界定該漸暈效應之該資料。該再引入可包括：基於界定該漸暈效應之該資料及/或該錯位值而再引入該經剪裁之圖 像框之漸暈。
提供界定該漸暈效應之資料可包括：提供界定該攝像機之一圖像感測器之不同像素如何受到該漸暈效應影響之一表。
該表可包括界定該攝像機之該圖像感測器之所有像素如何受到該漸暈效應影響之資料。
該表可包括界定該攝像機之該圖像感測器之僅一像素子集如何受到該漸暈效應影響之資料。
若使用一滾動快門來擷取該數位圖像框，則判定一錯位值可包括判定該感測器圖像框之至少兩個不同列之不同錯位值。
若使用一全域快門來擷取該數位圖像框，則判定一錯位值可包括判定該感測器圖像框之一單個錯位值。
根據一第二態樣，提供一種非暫時性電腦可讀記錄媒體，其上記錄有一程式，該程式在執行於具有處理能力之一裝置上時用於實施上述方法。
根據一第三態樣，提供一種圖像處理裝置，其經配置以產生包括由一視訊攝像機擷取之數位圖像框之一經圖像穩定化之視訊。該圖像處理裝置包括：一記憶體，其包括界定由該視訊攝像機擷取之數位圖像框之一漸暈效應的資料；一錯位值判定模組，其經配置以判定由該視訊攝像機擷取之一數位圖像框之一錯位值；一圖像移位模組，其經配置以基於該錯位值而判定待顯示於該經圖像穩定化之視訊中之該數位圖像框之一區域；一漸暈消除模組，其經配置以基於界定該漸暈效應之該資料而至少自對應於待顯示於該經圖像穩定化之視訊中之該區域的該數位圖像框之像素消除漸暈；一漸暈再引入模組，其經配置以基於界定該漸暈效應之該資料及該錯位值而在待顯示於該視訊中之該數位圖像框之該區域上再引入漸暈；及一視訊模組，其經配置以將連續數位圖像框新增至該經圖像穩定化之視訊中。
該裝置可進一步包括一剪裁模組，其經配置以基於該錯位值而剪裁該數位圖像框以形成一經剪裁之圖像框，其中該經剪裁之圖像框對應於待顯示於該經圖像穩定化之視訊中之該數位圖像框之該區域。
該裝置可為一視訊攝像機，其包括經配置以感測該視訊攝像機之移動之一運動感測器，其中該錯位值判定模組經配置以基於該視訊攝像機之該感測移動而判定由該視訊攝像機擷取之一數位圖像框之錯位值。
若適用，則用於實現一經圖像穩定化之視訊之該方法之上述特徵應亦適用於該第二態樣及該第三態樣。為避免不必要重複，參考上文。
將自下文將給出詳細描述明白本發明之另一適用範疇。然而，應瞭解，儘管詳細描述及特定實例指示本發明之較佳實施例，但詳細描述及特定實例僅供說明，此係因為熟習技術者將自此詳細描述明白本發明之範疇內之各種變化及修改。
因此，應瞭解，本發明不受限於所描述之裝置之特定組成部件或所描述之方法之步驟，此係因為此裝置及方法可變動。亦應瞭解，本文中所使用之術語僅用於描述特定實施例，且不意欲具限制性。應注意，如本說明書及隨附申請專利範圍中所使用，冠詞「一」及「該」意欲意謂：除非內文另有明確指示，否則存在一或多個元件。因此，例如，「一單元」或「該單元」之涉及內容可包含若干裝置及其類似者。此外，用語「包括」、「包含」、「含有」及其類似用語不排除其他元件或步驟。
1‧‧‧人
2‧‧‧樹
3‧‧‧圖像框邊緣
4‧‧‧圖像框邊緣
5‧‧‧圖像框邊緣
6‧‧‧圖像框邊緣
7‧‧‧圖像框邊緣
10‧‧‧圖像穩定化系統
20‧‧‧視訊攝像機
21‧‧‧視野
22‧‧‧可調整聚焦透鏡配置
24‧‧‧運動感測器
30‧‧‧圖像處理裝置
31‧‧‧記憶體
32‧‧‧錯位值判定模組
33‧‧‧圖像移位模組
34‧‧‧漸暈消除模組
35‧‧‧漸暈再引入模組
36‧‧‧視訊模組
37‧‧‧資料匯流排
38‧‧‧剪裁模組
40‧‧‧顯示器
50‧‧‧漸暈區域
52‧‧‧再引入暈影
60‧‧‧特定像素
62‧‧‧像素
64‧‧‧像素
100‧‧‧原始數位圖像框
102‧‧‧數位圖像框
104‧‧‧判定區域
106‧‧‧所得數位圖像框
S500‧‧‧提供界定由一視訊攝像機擷取之數位圖像框之一漸暈效應的資料
S502‧‧‧判定由視訊攝像機擷取之一數位圖像框之一錯位值
S504‧‧‧基於錯位值而判定待顯示於經圖像穩定化之視訊中之數位圖像框之一區域
S505‧‧‧基於錯位值而剪裁數位圖像框以形成一經剪裁之圖像框
S506‧‧‧至少對對應於待顯示於經圖像穩定化之視訊中之區域的數位圖像框之像素應用一漸暈消除程序
S508‧‧‧基於界定漸暈效應之資料及錯位值而在待顯示於視訊中之數位圖像框之區域上再引入漸暈
現將參考展示本發明之實施例之附圖來更詳細描述本發明之上述及其他態樣。圖式不應被視為使本發明受限於特定實施例；相反地，圖式用於解釋及理解本發明。
如圖中所繪示，層及區域之大小為繪示性目的而放大且因此經提供以繪示本發明之實施例之一般結構。相同元件符號係指所有圖中之相同元件。
圖1係一圖像穩定化系統之一實施例之一方塊圖。
圖2係圖像穩定化之一概念圖。
圖3及圖4係在圖像穩定化期間消除及再引入漸暈之概念圖。
圖5係用於實現一經圖像穩定化之視訊之一方法之一方塊圖。
圖6係一圖像穩定化系統之一實施例之一方塊圖。
現將在下文中參考附圖來更完全描述本發明，附圖中展示本發明之當前較佳實施例。然而，本發明可體現為諸多不同形式且不應被解釋為受限於本文中所闡述之實施例；確切而言，為了透徹性及完整性且為了對熟習技術者完全傳達本發明之範疇而提供此等實施例。
熟習技術者應瞭解，本發明之態樣可體現為一裝置、方法或電腦程式產品。相應地，本發明之態樣可採用以下形式：一完全硬體實施例、一完全軟體實施例(其包含韌體、常駐軟體、微碼等等)或組合軟體及硬體之一實施例。此外，本發明可採用體現於一或多個電腦可讀媒體(其具有體現於其上之電腦可讀程式碼)中之一電腦程式產品之形式。
圖1係一圖像穩定化系統10之一方塊圖。圖像穩定化系統10包括一視訊攝像機20、一圖像處理裝置30及一顯示器40。
視訊攝像機20經定位使得所關注之一場景位於一視野21內。視訊攝像機20可經配置以監控區域。視訊攝像機20可包括一可調整聚焦透鏡配置22。視訊攝像機20可經配置以輸出一信號，該信號攜載關於聚焦透鏡配置22之焦距的資訊。視訊攝像機20可為用於監控視訊攝像機前面之區域的一監控攝像機。視訊攝像機20經操作以產生表示由視 野21內之所關注之場景之視訊攝像機20擷取之一視訊的資訊之圖像框。
視訊攝像機20時常經歷歸因於移位環境因數(諸如風、進入或離開區域之交通工具(例如飛機、列車、貨車等等)、營建工事等等)之抖動或振動。此等抖動或振動將誘發視訊攝像機20之移動，藉此致使由視訊攝像機20擷取之一視訊抖動。
視訊攝像機20亦可包括一運動感測器24。運動感測器24經配置以感測視訊攝像機20之移動。運動感測器24經配置以輸出對應於視訊攝像機20之移動的一信號。
自運動感測器24輸出之信號可對應於一攝像機振動幅度。歸因於攝像機之抖動或振動的攝像機之運動可對應於一振盪移動，其中各振盪具有一振盪幅度。攝像機振動幅度可為振盪幅度之一或多者之一量測。攝像機振動幅度可(例如)為一預定時間間隔期間之平均振盪幅度之一量測或一預定時間間隔期間之最大振盪幅度之一量測。
再者，可將攝像機振動幅度分成若干分量。因此，攝像機振動幅度可(例如)具有關於攝像機之水平移動的一分量及關於攝像機之垂直移動的一分量。
替代地或組合地，自運動感測器24輸出之信號可對應於攝像機之方向之一瞬時變化。
根據結合圖1所揭示之實施例，視訊攝像機20係一數位視訊攝像機。然而，應意識到，一類比視訊攝像機亦可與本發明一起使用。若圖像穩定化系統包括一類比視訊攝像機，則將類比圖像框自類比視訊攝像機傳送至一類比轉數位轉換器(圖中未展示)，該類比轉數位轉換器經操作以產生類比圖像框之數位表示。
將由視訊攝像機20擷取之數位圖像框饋送至圖像處理裝置30。圖像處理裝置30包括一記憶體31、一錯位值判定模組32、一圖像移位 模組33、一漸暈消除模組34、一漸暈再引入模組35、一視訊模組36及一資料匯流排37。圖像處理裝置30可進一步包括一剪裁模組38。可將圖像處理裝置30之模組32、33、34、35、36、38實施為由一處理單元運行之軟體碼、在圖像處理裝置30中實施之硬體、或其等之一組合。錯位值判定模組32、圖像移位模組33、漸暈消除模組34、漸暈再引入模組35、視訊模組36及/或剪裁模組38可經配置以將資料儲存於記憶體31上及/或自記憶體31取得資料。記憶體31、錯位值判定模組32、圖像移位模組33、漸暈消除模組34、漸暈再引入模組35、視訊模組36及/或剪裁模組38經配置以通過資料匯流排37而彼此通信。
圖像處理裝置30經配置以自視訊攝像機20接收信號。具體而言，圖像處理裝置30經配置以接收由視訊攝像機20產生之視訊之數位圖像框。圖像處理裝置30亦可經配置以接收自運動感測器24輸出之信號。圖像處理裝置30可進一步經配置以接收攜載關於聚焦透鏡配置22之焦距之資訊的信號。
圖2(A)中呈現在已執行圖像穩定化之前受到視訊攝像機移動影響之一視訊之數位圖像框之一實例。更精確而言，圖中呈現描繪一個人1及一棵樹2之一場景的視訊之複數個疊加數位圖像框。視訊攝像機抖動或振動誘發視訊攝像機之移動。歸因於視訊攝像機之移動，人1及樹2移動至所顯示之數位圖像框內之各種位置。表示在視訊攝像機之不同位置處擷取之場景之視訊的數位圖像框之疊加具有使場景之視覺資訊模糊之一效應。因此，圖2(A)呈現人1及樹2之一不穩定視訊之一表示。
為減少攝像機之移動之影響，在顯示視訊之前電子操縱視訊串流之數位圖像框。錯位值判定模組32經操作以判定用以建立由視訊攝像機擷取之視訊之各數位圖像框之一錯位值。取決於所使用之圖像讀出技術，錯位及因此一數位圖像框之電子操縱之方法可不同。若使用 一全域快門(即，同時讀出整個數位圖像框)，則數位圖像框之全部內容經移位以補償視訊攝像機20之移動。若使用一滾動快門(即，每次讀出一數位圖像框之一或若干列)，則使數位圖像框中之各列或若干列個別移位，此係因為該等列在不同時間點被曝露。若使用一滾動快門，則數位圖像框中之各列或若干列亦可經個別內插以補償視訊攝像機20之垂直移動。為簡明起見，在下文將揭示之實例中，全域快門讀出用於解釋電子圖像穩定化，然而，應瞭解，滾動快門讀出亦可用於達成相同結果。因此，術語「錯位值」應被理解為整個數位圖像框之一錯位或一數位圖像框之一或若干列之一錯位。
錯位值判定模組32可以各種方式操作。根據一實施例，錯位值判定模組32經配置以使用關於自運動感測器24輸出之信號之資訊連同聚焦透鏡配置22之焦距之知識來判定視訊攝像機20之一圖像感測器上之一對應錯位值。替代地或組合地，縮放位準(即，視野)亦可用於判定錯位值。替代地，可使用圖像處理技術來追蹤由被認為在圖像框之間靜止之視訊串流描繪之場景內之特徵。此等圖像處理技術已為熟習技術者所熟知且將不在此處進一步加以討論。錯位值判定模組32經進一步配置以將所判定之錯位值傳送至圖像處理裝置30之其他模組。
圖像移位模組33經配置以判定待顯示於經圖像穩定化之視訊中之數位圖像框之一區域。基於錯位值而作出此判定。藉此補償由攝像機移動致使之錯位。因此，圖像移位模組33經配置以產生描繪視訊攝像機20前面之場景的視訊串流之一穩定視圖。換言之，藉由根據所判定之錯位值對各圖像框施加一移位以補償視訊攝像機20之移動而作出待顯示於經圖像穩定化之視訊中之數位圖像框之區域之判定。因此，儘管誘發視訊攝像機之移動，但將視訊之一穩定視圖呈現給觀看者。藉此，可對一觀看者提供由視訊描繪之場景之一穩定顯示視圖。
剪裁模組38經配置以基於錯位值而剪裁數位圖像框以形成一經 剪裁之圖像框。經剪裁之數位圖像框對應於待顯示於經圖像穩定化之視訊中之數位圖像框之區域。剪裁未必被視為消除原始數位圖像框之一些像素之數位圖像框之一實際剪裁。相反地，在一些實施例中，剪裁應被理解為隱藏將不顯示於經圖像穩定化之視訊中之數位圖像框之像素。可藉由應用遮住無用像素之一遮罩而隱藏無用像素。然而，在一些實施例中，剪裁係在將數位圖像框顯示為經圖像穩定化之視訊之一部分之前消除原始數位圖像框之一些像素之數位圖像框之一實際剪裁。
剪裁模組38經配置以根據各自數位圖像框之所判定之錯位值而剪裁數位圖像框以補償視訊攝像機20之移動。剪裁模組38亦可經配置以應用一比例因數。該比例因數可經配置以便保持圖像之間的像素計數(像素解析度)。此可(例如)應用於將圖像剪裁成不同大小之圖像時。
圖2(B)中呈現已將圖像穩定化應用於圖2(A)中所呈現之不穩定視訊之後之一視訊之一表示。圖2(B)中顯示判定及應用各數位圖像框之錯位值之後之視訊之圖像框。因此，圖2(B)係已將根據上文之電子圖像穩定化應用於圖2(A)中所呈現之不穩定視訊之後之一視訊之一表示。此時，圖2(B)中之穩定化視訊定位於中心且在顯示器內係穩定的。因此，圖像穩定化系統10經操作以使各圖像框移位，使得人1及樹2在顯示器中看起來很穩定。然而，當圖像穩定化經操作以使全部圖像框移位時，所顯示之視訊之部分將不含任何顯示資訊且將因此看起來一片空白。此外，如圖2(B)中由實線3、4、5、6、7(其等表示每個顯示圖像框之一個邊緣)所指示，當圖像穩定化系統經操作以呈現場景之一穩定視訊串流時，視訊之邊緣將不斷移動。因此，所顯示之視訊串流之周邊區域將不斷移動，其會分散觀看者之注意力。
可(例如)藉由剪裁而解決上述問題。圖2(C)中呈現剪裁圖2(B)之 數位圖像之後之一視訊之一表示。在圖2(B)中，將視訊串流之經剪裁之圖像框顯示於彼此之頂部上。因此，圖2(B)係已將根據上文之圖像穩定化及剪裁應用於圖2(A)中所呈現之不穩定視訊之後之一視訊之一表示。此時，圖2(C)中之穩定化視訊定位於中心且在顯示器內係穩定的。
如上文所提及，在應用電子圖像穩定化之後，漸暈會變得令人厭煩。再者，在視訊之圖像框之間存在變化漸暈會影響對視訊執行之一運動偵測。取決於攝像機之移動，圖像框將經不同移位及/或剪裁以使視訊看起來很穩定。然而，此將代以具有漸暈移動之效應。
此問題之明顯解決方案係數位地消除漸暈。然而，此將導致圖像之邊緣附近之更多雜訊，此係因為圖像中之雜訊將歸因於漸暈之消除而增加。
根據本發明，藉由首先消除漸暈(在圖像穩定化之前或在圖像穩定化之後)且接著將一均勻漸暈再次重新應用於穩定化圖像而緩解此問題。關於均勻，其意謂待顯示於經圖像穩定化之視訊中之後續數位圖像框之區域之實質上類似漸暈。此將消除漸暈移動之煩惱，同時最小化新增雜訊。另一益處係：當攝像機完全不移動時，所有操作將彼此不相干以完全不會導致新增雜訊。
因此，漸暈消除模組34經配置以至少自對應於待顯示於經圖像穩定化之視訊中之區域的數位圖像框之像素消除漸暈。消除係基於界定由視訊攝像機20擷取之數位圖像框之漸暈效應的資料。可以熟習技術者已知之不同方式進行漸暈之消除。然而，漸暈消除程序之共同點係：放大數位圖像框中之雜訊。
將界定由視訊攝像機20擷取之數位圖像框之漸暈效應的資料儲存於記憶體31中。如上文所提及，漸暈效應可取決於諸如攝像機設置及/或透鏡限制之各種因數。可以熟習技術者已知之諸多不同方式判 定對由攝像機20擷取之一數位圖像框之影響(其歸因於漸暈效應)。因此，可演繹界定由視訊攝像機20擷取之數位圖像框之漸暈效應的資料且將該資料儲存於記憶體31中。可(例如)將界定漸暈效應之資料提供為界定攝像機之一圖像感測器之不同像素如何受到漸暈效應影響之一表。該表可包括界定攝像機之圖像感測器之所有像素如何受到漸暈效應影響之資料。替代地，該表可包括界定攝像機之圖像感測器之僅一像素子集如何受到漸暈效應影響之資料。接著，可(例如)藉由內插法而發現漸暈效應將如何影響並非為該子集之部分之像素。
漸暈再引入模組35經配置以在待顯示於視訊中之數位圖像框之區域上再引入漸暈。再引入係基於界定漸暈效應之資料及錯位值。漸暈消除模組34及漸暈再引入模組35可彼此獨立工作，使得漸暈消除模組34經配置以消除漸暈且其後漸暈再引入模組35經配置以再引入漸暈。然而，根據一實施例，漸暈消除模組34及漸暈再引入模組35經配置以同時工作且因此在一共同圖像處理步驟中執行漸暈消除及漸暈再引入。
現將結合圖3及圖4來進一步解釋漸暈之消除及再引入。圖3(A)中繪示由視訊攝像機20擷取之一原始數位圖像框100。原始數位圖像框100包括漸暈區域50。圖3(B)中繪示使用漸暈消除模組34來應用一漸暈消除程序之後之其中已消除漸暈區域之原始數位圖像框。其中已消除漸暈區域之原始數位圖像框在此處指稱數位圖像框102。圖3(C)中繪示待顯示於經圖像穩定化之視訊中之數位圖像框102之一判定區域104。根據上文所討論之內容而判定區域104。在圖3(D)中，將區域104繪示為中心疊加於原始數位圖像框100之頂部上；此係為了使待再引入之漸暈種類視覺化。因此，待再引入之漸暈取決於界定由視訊攝像機擷取之原始數位圖像框100之漸暈效應的資料及區域104之錯位兩者。圖3(E)中繪示顯示有再引入暈影52之一所得數位圖像框106。
在結合圖3所討論之漸暈消除及再引入中，將消除及再引入繪示為個別圖像處理步驟。然而，亦可在一共同圖像處理步驟中執行消除及再引入；此將繪示於圖4中。圖4(A)中繪示相同於圖3(A)中之原始數位圖像框的原始數位圖像框。然而，圖中亦繪示待顯示於經圖像穩定化之視訊中之數位圖像框之判定區域104。根據上文所討論之內容而判定區域104；然而，應指出，在應用漸暈消除之前判定區域104。再者，突顯區域104之一特定像素60。突顯特定像素60當然亦屬於原始數位圖像框100。吾人假定：將界定如何消除特定像素60之漸暈效應的資料設定為Vremove。在圖4(B)中，將區域104繪示為中心疊加於原始數位圖像框100之頂部上；此係為了使待再引入之漸暈種類視覺化。圖中標出具有相同於圖4(A)中之特定像素60之位置的區域104之像素62。歸因於區域之錯位，像素62不對應於如圖4(A)中所繪示之原始數位圖像框中之特定像素60。相反地，像素62對應於原始數位圖像框中之另一像素。吾人假定：將界定如何再引入像素62之漸暈效應的資料設定為Vreintro。此時，可藉由將Vremove及Vreintro同時應用於區域104之像素64之像素資料而在一單個圖像處理步驟中執行漸暈之消除及重新引入，如圖4(C)中所繪示。其後，可對區域之所有像素執行相同程序。結果將相同於上文圖3中所繪示之程序中之結果，但不同點在於可避免潛在捨入誤差。
根據上文已討論之內容而消除及再引入漸暈將在經圖像穩定化之視訊中產生閃變效應，其歸因於消除經圖像穩定化之不同數位圖像框中之不同漸暈且同時最小化新增至視訊之雜訊。
視訊模組36經配置以將連續數位圖像框新增至經圖像穩定化之視訊中。
接著，可將經圖像穩定化之視訊輸出至顯示器40。
圖5中展示用於實現一經圖像穩定化之視訊之一方法之一方塊 圖。該方法包括：提供界定由一視訊攝像機擷取之數位圖像框之一漸暈效應的資料(S500)；判定由該視訊攝像機擷取之一數位圖像框之一錯位值(S502)；基於該錯位值而判定待顯示於該經圖像穩定化之視訊中之該數位圖像框之一區域(S504)；至少對對應於待顯示於該經圖像穩定化之視訊中之該區域的該數位圖像框之像素應用一漸暈消除程序(S506)，其中該應用係基於界定該漸暈效應之該資料；基於界定該漸暈效應之該資料及該錯位值而在待顯示於該視訊中之該數位圖像框之該區域上再引入漸暈(S508)。
該方法可進一步包括：基於該錯位值而剪裁該數位圖像框以形成一經剪裁之圖像框(S505)，其中該經剪裁之圖像框對應於待顯示於該經圖像穩定化之視訊中之該數位圖像框之該區域。
熟習技術者應意識到，本發明絕不受限於上文所描述之較佳實施例。相反地，諸多修改及變動可在隨附申請專利範圍之範疇內。
例如，可將圖像處理裝置30實施於視訊攝像機20內。此繪示於圖6中。
若使用一滾動快門來擷取數位圖像框，則該判定一錯位值可包括判定感測器圖像框之至少兩個不同列之不同錯位值。
若使用一全域快門來擷取數位圖像框，則該判定一錯位值可包括判定感測器圖像框之一單個錯位值。
另外，熟習技術者可在實踐本發明時自圖式、揭示內容及隨附申請專利範圍之一研習理解及實現所揭示之實施例之變動。
50‧‧‧漸暈區域
52‧‧‧再引入暈影
60‧‧‧特定像素
62‧‧‧像素
64‧‧‧像素
100‧‧‧原始數位圖像框
104‧‧‧判定區域

Claims (14)

  1. 一種用於實現(enabling)一經圖像穩定化之視訊的方法，該方法包括：提供界定由一視訊攝像機擷取之數位圖像框之一漸暈(vignetting)效應的資料；判定由該視訊攝像機擷取之一數位圖像框之一錯位值(dislocation value)，其中該錯位值為抖動或振動所誘發該視訊攝像機之一移動之一量測；基於該錯位值而判定待顯示於該經圖像穩定化之視訊中之該數位圖像框之一區域；至少對對應於待顯示於該經圖像穩定化之視訊中之該區域的該數位圖像框之像素應用一漸暈消除程序，其中該應用係基於界定該漸暈效應之該資料；且基於界定該漸暈效應之該資料及該錯位值而在待顯示於該視訊中之該數位圖像框之該區域上再引入漸暈。
  2. 如請求項1之方法，其中在一共同圖像處理步驟中執行該漸暈消除程序之該應用及該漸暈之該再引入。
  3. 如請求項1或2之方法，其進一步包括：基於該錯位值而剪裁該數位圖像框以形成一經剪裁之圖像框，其中該經剪裁之圖像框對應於待顯示於該經圖像穩定化之視訊中之該數位圖像框之該區域。
  4. 如請求項3之方法，其中該應用包括對該經剪裁之圖像框之像素應用該漸暈消除程序，其中該應用係基於界定該漸暈效應之該資料，且其中該再引入包括基於界定該漸暈效應之該資料而將漸暈再引入至該經剪裁之圖像框。
  5. 如請求項4之方法，其中將漸暈再引入至該經剪裁之圖像框亦係基於該錯位值。
  6. 如請求項1之方法，其中提供界定該漸暈效應之資料包括：提供界定該攝像機之一圖像感測器之不同像素如何受到該漸暈效應影響之一表。
  7. 如請求項6之方法，其中該表包括界定該攝像機之該圖像感測器之所有像素如何受到該漸暈效應影響之資料。
  8. 如請求項6之方法，其中該表包括界定該攝像機之該圖像感測器之僅一像素子集如何受到該漸暈效應影響之資料。
  9. 如請求項1之方法，其中若使用一滾動快門來擷取該數位圖像框，則一錯位值之該判定包括判定該感測器圖像框之至少兩個不同列之不同錯位值。
  10. 如請求項1之方法，其中若使用一全域快門來擷取該數位圖像框，則一錯位值之該判定包括判定該感測器圖像框之一單個錯位值。
  11. 一種非暫時性電腦可讀記錄媒體，其上記錄有一程式，該程式在執行於具有處理能力之一裝置上時用於實施如請求項1至10中任一項之方法。
  12. 一種圖像處理裝置，其經配置以產生包括由一視訊攝像機擷取之數位圖像框之一經圖像穩定化之視訊，該圖像處理裝置包括：一記憶體，其包括界定由該視訊攝像機擷取之數位圖像框之一漸暈效應的資料；一錯位值判定模組，其經配置以判定由該視訊攝像機擷取之一數位圖像框之一錯位值，其中該錯位值為抖動或振動所誘發該視訊攝像機之移動之一量測； 一圖像移位模組，其經配置以基於該錯位值而判定待顯示於該經圖像穩定化之視訊中之該數位圖像框之一區域；一漸暈消除模組，其經配置以基於界定該漸暈效應之該資料而至少自對應於待顯示於該經圖像穩定化之視訊中之該區域的該數位圖像框之像素消除漸暈；一漸暈再引入模組，其經配置以基於界定該漸暈效應之該資料及該錯位值而在待顯示於該視訊中之該數位圖像框之該區域上再引入漸暈；及一視訊模組，其經配置以將連續數位圖像框新增至該經圖像穩定化之視訊中。
  13. 如請求項12之裝置，其進一步包括一剪裁模組，該剪裁模組經配置以基於該錯位值而剪裁該數位圖像框以形成一經剪裁之圖像框，其中該經剪裁之圖像框對應於待顯示於該經圖像穩定化之視訊中之該數位圖像框之該區域。
  14. 如請求項12或13之裝置，其中該裝置係一視訊攝像機，該視訊攝像機包括經配置以感測該視訊攝像機之移動之一運動感測器，其中該錯位值判定模組經配置以基於該視訊攝像機之該感測移動而判定由該視訊攝像機擷取之一數位圖像框之該錯位值。
TW105113590A 2015-05-18 2016-04-29 用於產生經圖像穩定化之視訊的方法與攝像機 TWI699119B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15167953.7A EP3096512B1 (en) 2015-05-18 2015-05-18 Method and camera for producing an image stabilized video
EP15167953.7 2015-05-18

Publications (2)

Publication Number Publication Date
TW201709720A TW201709720A (zh) 2017-03-01
TWI699119B true TWI699119B (zh) 2020-07-11

Family

ID=53189691

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105113590A TWI699119B (zh) 2015-05-18 2016-04-29 用於產生經圖像穩定化之視訊的方法與攝像機

Country Status (6)

Country Link
US (1) US9712747B2 (zh)
EP (1) EP3096512B1 (zh)
JP (1) JP6328688B2 (zh)
KR (1) KR101755608B1 (zh)
CN (1) CN106170067B (zh)
TW (1) TWI699119B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276818A1 (en) * 2016-09-17 2018-09-27 Kent Allan Vander Velden Apparatus and methods for phenotyping plants
US20180077875A1 (en) * 2016-09-17 2018-03-22 Kent Allan Vander Velden Apparatus and methods for phenotyping plants
US10142568B2 (en) * 2017-02-13 2018-11-27 Semiconductor Components Industries, Llc Methods and apparatus for vignette and out-of-focus correction
JP6971685B2 (ja) * 2017-08-02 2021-11-24 キヤノン株式会社 撮像装置およびその制御方法
US11496684B2 (en) * 2017-12-11 2022-11-08 Gopro, Inc. Combined mechanical and electronic image stabilization
JP6452875B1 (ja) * 2018-03-29 2019-01-16 株式会社日立製作所 移動体撮像システム、及び、移動体撮像方法
CN113170092A (zh) * 2018-12-10 2021-07-23 索尼半导体解决方案公司 图像处理装置、图像处理方法以及图像处理系统
KR102558959B1 (ko) 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
EP3905659B1 (en) 2020-04-28 2022-06-01 Axis AB Statistics-based electronics image stabilization
CN113163104B (zh) * 2020-12-31 2022-11-01 深圳市微网力合信息技术有限公司 基于wifi6的摄像头控制方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007042853A1 (en) * 2005-10-13 2007-04-19 Nokia Corporation Method and system for vignetting elimination in digital image
US20080106608A1 (en) * 2006-11-08 2008-05-08 Airell Richard Clark Systems, devices and methods for digital camera image stabilization
TW201120812A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Stabilization method for vibrating video frames
US20130208134A1 (en) * 2012-02-14 2013-08-15 Nokia Corporation Image Stabilization
WO2014135739A1 (en) * 2013-03-06 2014-09-12 Nokia Corporation Sliding accessory lens mount with automatic mode adjustment
US20150022677A1 (en) * 2013-07-16 2015-01-22 Qualcomm Incorporated System and method for efficient post-processing video stabilization with camera path linearization

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02250568A (ja) * 1989-03-24 1990-10-08 Matsushita Electric Ind Co Ltd ゆれ補正装置
JP2003101866A (ja) * 2001-09-25 2003-04-04 Canon Inc 光学装置
JP2004048346A (ja) 2002-07-11 2004-02-12 Minolta Co Ltd 撮像装置、画像再生装置およびプログラム
JP3829773B2 (ja) 2002-07-22 2006-10-04 コニカミノルタフォトイメージング株式会社 撮像装置およびセンタリング情報取得方法
JP4952891B2 (ja) 2006-05-08 2012-06-13 カシオ計算機株式会社 動画撮影装置および動画撮影プログラム
JP4876066B2 (ja) 2007-12-19 2012-02-15 キヤノン株式会社 映像処理装置及び映像処理システム及び映像処理方法及びプログラム
JP5003657B2 (ja) 2008-11-17 2012-08-15 株式会社Ｊｖｃケンウッド 画像振れ補正装置
JP5597061B2 (ja) 2010-08-18 2014-10-01 キヤノン株式会社 映像再生装置、及びその制御方法
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5791349B2 (ja) 2011-04-21 2015-10-07 キヤノン株式会社 撮像装置及びその制御方法
WO2013124369A1 (en) * 2012-02-22 2013-08-29 Agfa Graphics Nv System and method for regularizing an ink model for a color device
JP5620036B1 (ja) * 2013-03-26 2014-11-05 株式会社インタニヤ パノラマ撮影用デジタルカメラ及び、パノラマ撮影システム
US20160124296A1 (en) * 2013-03-26 2016-05-05 Entaniya Co., Ltd. Panoramic imaging head, and imaging system using same
US9131159B2 (en) * 2013-06-28 2015-09-08 Nokia Technologies Oy Optical field communication
US20150130907A1 (en) * 2013-11-11 2015-05-14 Samsung Electronics Co., Ltd. Plenoptic camera device and shading correction method for the camera device
EP3069510A4 (en) * 2013-11-18 2017-06-28 Nokia Technologies Oy Method and apparatus for enhanced digital imaging
JP6312487B2 (ja) * 2014-03-26 2018-04-18 キヤノン株式会社 画像処理装置及びその制御方法、並びに、プログラム
US20150350530A1 (en) * 2014-06-02 2015-12-03 Nokia Corporation Light Field Imaging
EP2963845B1 (en) * 2014-06-13 2018-05-02 Nokia Corporation Method and apparatus for optical communication
KR102125284B1 (ko) * 2015-03-11 2020-07-08 에이에스엠엘 네델란즈 비.브이. 검사와 계측을 위한 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007042853A1 (en) * 2005-10-13 2007-04-19 Nokia Corporation Method and system for vignetting elimination in digital image
US20080106608A1 (en) * 2006-11-08 2008-05-08 Airell Richard Clark Systems, devices and methods for digital camera image stabilization
TW201120812A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Stabilization method for vibrating video frames
US20130208134A1 (en) * 2012-02-14 2013-08-15 Nokia Corporation Image Stabilization
WO2014135739A1 (en) * 2013-03-06 2014-09-12 Nokia Corporation Sliding accessory lens mount with automatic mode adjustment
US20150022677A1 (en) * 2013-07-16 2015-01-22 Qualcomm Incorporated System and method for efficient post-processing video stabilization with camera path linearization

Also Published As

Publication number Publication date
EP3096512B1 (en) 2017-03-22
JP6328688B2 (ja) 2018-05-23
TW201709720A (zh) 2017-03-01
US9712747B2 (en) 2017-07-18
KR101755608B1 (ko) 2017-07-19
CN106170067A (zh) 2016-11-30
JP2017022692A (ja) 2017-01-26
CN106170067B (zh) 2017-09-15
KR20160135662A (ko) 2016-11-28
EP3096512A1 (en) 2016-11-23
US20160344935A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
TWI699119B (zh) 用於產生經圖像穩定化之視訊的方法與攝像機
EP3001676B1 (en) Method and image processing device for image stabilization of a video stream
JP2014150443A (ja) 撮像装置、その制御方法及びプログラム
JP2011029735A (ja) 画像処理装置、撮像装置及び画像処理方法
JP2017142226A (ja) ウォブル効果を訂正された画像のシーケンスを送信するビデオカメラが設けられたドローン
JP2017022692A5 (zh)
JP7070417B2 (ja) 画像処理装置および方法
JP6141084B2 (ja) 撮像装置
JP4886888B2 (ja) 画像処理装置及びその制御方法
JP2019057891A5 (zh)
JP2020108119A5 (ja) 報知装置、撮像装置、報知方法、撮像方法、プログラム、及び記憶媒体
JP2009135713A (ja) 撮像装置のブレで生じる画像歪みの補正方法及び装置
JP2016110312A (ja) 画像処理方法、画像処理装置及びプログラム
JP2008147715A5 (zh)
WO2017104102A1 (ja) 撮像装置
JP2015228113A (ja) 画像処理装置および画像処理方法
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP2010056817A (ja) 撮像装置
CN113556491A (zh) 线上教学录屏方法与系统
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置
JP2008235958A (ja) 撮像装置
JP7121852B2 (ja) 撮像装置
JP5621089B2 (ja) 移動体の振動状態下における画像補正方法
JP2016208429A (ja) 撮像装置
WO2021068170A1 (zh) 拍摄装置及其控制方法、可移动平台