TWI767592B - 基於統計之電子影像穩定 - Google Patents

基於統計之電子影像穩定 Download PDF

Info

Publication number
TWI767592B
TWI767592B TW110107495A TW110107495A TWI767592B TW I767592 B TWI767592 B TW I767592B TW 110107495 A TW110107495 A TW 110107495A TW 110107495 A TW110107495 A TW 110107495A TW I767592 B TWI767592 B TW I767592B
Authority
TW
Taiwan
Prior art keywords
motion data
external
time interval
camera
data
Prior art date
Application number
TW110107495A
Other languages
English (en)
Other versions
TW202213973A (zh
Inventor
強納 尼斯羅
嵩 袁
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202213973A publication Critical patent/TW202213973A/zh
Application granted granted Critical
Publication of TWI767592B publication Critical patent/TWI767592B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Television Receiver Circuits (AREA)

Abstract

本發明揭示用於在由一攝影機(302)擷取之一影像序列中選擇一裁剪區域之方法及設備，包含電腦程式產品。使包含影響該攝影機之移動之外部因素之資料的第一外部運動資料(202)與描述該攝影機(302)之一移動之內部運動資料(204)相關。在一第一時間間隔期間獲得該第一外部運動資料(202)及該內部運動資料(204)。在該第一時間間隔之後之一第二時間間隔期間獲得第二外部運動資料(208)。藉由基於該相關及該第二外部運動資料(208)選擇一裁剪區域而穩定在一第三時間間隔期間擷取之一影像序列。該裁剪區域相對於該第三時間間隔期間之該等影像之視野保持恆定且尺寸最大化。該第三時間間隔在該第二時間間隔之後或與該第二時間間隔部分重疊。

Description

基於統計之電子影像穩定
本發明係關於攝影機，且更明確言之係關於由一攝影機擷取之一影像序列(a sequence of images)之電子影像穩定。
用於監視一場景之監視攝影機通常放置在戶外(及有時室內)位置中，其等在該等位置處歸因於不同原因而經受振動。例如，突然的一陣風可能使攝影機晃動，或在附近經過之一火車或重型卡車可能具有類似效應。此等振動有時可能致由攝影機輸出之視訊模糊，使得視訊對於實際目的而言或多或少無用。視訊品質之改良已使模糊影像之問題更明顯。增加之像素密度、更高之解析度及更強大之變焦能力不僅已使攝影機對振動更敏感，而且已使觀看者更易受振動影響且易於注意到振動。
用於減少振動之一種技術係針對攝影機安裝使用更堅固安裝座或較少曝露位置。兩種其他技術係光學影像穩定(OIS)及電子影像穩定(EIS)，其等兩者皆在攝影機本身而非其實體環境中實施。一OIS系統通常依賴攝影機中之陀螺儀或加速度計來偵測及量測攝影機振動，且接著使鏡頭或光學感測器移動以補償攝影機及鏡頭之晃動，使得光可以相同方式照射影像感測器，宛如攝影機未在振動。
EIS已主要針對視訊攝影機而發展。EIS依賴用於模型化攝影機運動之不同演算法，該等演算法接著用於校正影像。將在可見影像之邊界外部之像素用作運動之一緩衝區，且接著可使用此等像素中之資訊來使電子影像逐圖框地略微偏移足以抵消運動並產生一穩定視訊流之一量。為了對由一攝影機擷取之一影像序列啟動EIS，需要裁剪各影像，使得在執行EIS時未將圖框外像素(有時亦稱為黑色像素)引入至影像中。
若攝影機例如歸因於風或地面振動而在俯仰(pitch)、偏轉(jaw)或滾動(roll)方向之一或多者上移動，則亦可需要補償此俯仰、偏轉或滾動移動。然而，與為了避免引入圖框外像素而進行之裁剪(如上文所提及)相比，此補償可導致裁剪影像之不同方式。因此，在判定如何裁剪影像時，需要更佳之技術以容許平衡EIS模式與可能之俯仰、偏轉及滾動移動。當期望裁剪(即，裁剪區域)係影像序列中之影像之視野之一穩定範圍時，此係尤其重要的。
根據一第一態樣，本發明係關於一種在一電腦系統中用於在由一攝影機擷取之一影像序列中選擇一裁剪區域之方法。該方法包含： •  使第一外部運動資料與內部運動資料相關，其中在一第一時間間隔期間獲得該第一外部運動資料及該內部運動資料，其中該第一外部運動資料包括影響該攝影機之移動之外部因素之資料，且其中該內部運動資料包括描述該攝影機之一移動之資料； •  在該第一時間間隔之後之一第二時間間隔期間獲得第二外部運動資料；及 •  藉由基於該相關及該第二外部運動資料選擇一裁剪區域而穩定在一第三時間間隔期間擷取之一影像序列，該第三時間間隔在該第二時間間隔之後或與該第二時間間隔部分重疊，其中該裁剪區域相對於藉由該攝影機在該第三時間間隔期間擷取之該影像序列中之該等影像之視野保持恆定且尺寸最大化。
一般而言，影像穩定藉由更佳地利用各攝影機之潛力(例如，藉由在振動原本可能影響視訊品質時維持變焦拍攝(zoom shot)之影像品質)而使整個視訊監控系統更通用且具成本效益。更明確言之，本發明為一攝影機使用者提供使外部因素(諸如風、振動等)與來自攝影機中之感測器之內部讀數相關的一方式。知曉外部振動如何影響內部感測器讀數，以及知曉回應於特定感測器讀數需要哪種裁剪，可在某種意義上預測(predict)將回應於外部因素而需要哪種裁剪，且事先進行任何此等調整。
換言之，藉由使用根據本發明之技術，可動態地調整影像裁剪，使得裁剪區域相對於藉由攝影機在一特定時段期間擷取之影像序列中之影像之視野保持恆定且尺寸最大化，此可藉由一使用者或藉由即將發生的情況(circumstances at hand)預先判定或動態界定。例如，若預測有大風，則可增加邊限使得邊限更大且存在用於補償振動之更多空間。另一方面，在天氣較為平靜的一天，可容許一較小邊限，此係因為攝影機將在一整天內保持相當穩定。與其中使用影像周圍之一預定像素邊限之習知方法相比，由於具有此等動態邊限，影像中存在可用於各種類型之影像處理之更多「可用」像素。
根據一項實施例，該等第一及第二時間間隔分別為大約15分鐘或更長。第一及第二時間用於收集在統計上顯著(statistically significant)之資料量，使得分別顯現(emerge)外部及內部運動資料之一清晰圖像。通常，此取決於由外部運動感測器擷取之資料型樣之粒度。有時，幾分鐘可能足夠，且在其他情況下，資料收集可在數小時、數天、數週、數月或甚至數年之過程中發生以獲得在統計上顯著之資料集。
根據一項實施例，使該第一外部運動資料與該內部運動資料相關包括：針對在該第一時間間隔中發生一感測器讀出時之各時間點，使一各自第一外部運動基準點(datum)與一對應內部運動基準點相關。此使在一內部感測器讀出與一外部感測器讀出之間之任何給定時間點找到一精確對應關係，且建立在統計上顯著之資料集以及內部運動資料與外部運動資料之間之相關性成為可能。
根據一項實施例，獲得該第二外部運動資料包括：基於該第一外部運動資料及一預測模型獲得該第二外部運動資料作為一預測。即，該第二運動資料不必直接自一組感測器獲得，而是可基於該第一運動資料及一預測模型。例如，一氣象預報可預測30節之風(30 knot winds)，且該第一運動資料可含有關於該攝影機在過去在相同風速及風向下如何表現之資訊。接著，將合理預期該攝影機在即將到來的預報期期間以一類似方式表現，且將該資訊用作即將到來的時期之該第二外部運動資料。因此，可不僅依賴當前感測器讀數，而且可依賴與一預測模型組合之歷史感測器讀數。在感測器量測外部運動資料或此資料之傳輸時之可能問題的情況下，此亦使系統更穩健。
根據一項實施例，該等第一及第二外部運動資料包含風資料(wind data)及/或地面振動資料，且該內部運動資料包括陀螺儀資料、加速度計資料及/或藉由影像處理進行之運動估計。此等係影響攝影機之移動之常見類型之資料之一些實例。然而，應認識到，此並非一詳盡清單，且亦存在可引起攝影機移動之其他因素(例如，在冰雹風暴期間擊中攝影機之大冰雹)。
根據一項實施例，藉由影像處理進行之該運動估計係使用一數位影像穩定演算法完成。即，分析像素以判定其等例如分別在一水平方向及一垂直方向上移動多少，且計算一偏移，該偏移用於穩定影像。存在用於執行數位影像穩定之數種已知演算法，舉例而言，諸如絕對差值和(Sum of Absolute Differences) (SAD)演算法。使用數位影像穩定避免對攝影機中之內部運動感測器(諸如陀螺儀等)之需求。
根據一項實施例，分別獲得該等第一及第二外部運動資料包括：自一運動感測器及/或一外部氣象服務分別接收該等第一及第二外部運動資料。即，該等第一及第二外部運動資料可來自一運動感測器。通常，此一運動感測器將安裝成緊密靠近該攝影機，使得其將密切反映該攝影機之狀況。替代地，資料可來自一氣象服務，此消除必須將感測器安裝且維持為靠近該攝影機之需要，且代替性地依賴附近之氣象站。取決於特定情況，任一方法可為較佳的，或有時可使用用於獲得第一及第二外部運動資料之兩種方法之一組合。
根據一項實施例，該運動感測器包含一風感測器(wind sensor)、一地面振動感測器或一第二攝影機。此等全部為可用於判定外部運動之感測器。風感測器及地面振動感測器以可市售之許多形式存在，且其等之功能性為一般技術者所熟知。一第二攝影機可用於判定外部運動資料。例如，該第二攝影機可為經組態以讀取一輛經過的卡車上之車牌且基於該資訊自一資料庫獲得關於該車輛之資訊(諸如其大小)的一攝影機。此資訊可用作至另一攝影機之輸入，例如用於交通監視之目的，其中影像穩定係一重要特徵。
根據一項實施例，基於該第二外部運動資料及該相關來提供關於影像穩定是否應基於以下之一或多者之一建議：俯仰、偏轉及滾動。不同類型之振動引起攝影機以不同方式移動。例如，移動經過該攝影機之一火車或卡車可引起主要垂直之一振動。另一方面，一陣大風可能引起主要水平之一振動或位移等。在一些情形中，例如，當一攝影機安裝在隨風搖擺之一桿上時，亦可需要補償滾動。因此，具有可用之不同類型之影像穩定係有益的。此等不同類型可基於不同類型之攝影機移動，諸如俯仰、偏轉及滾動。基於該第二外部運動資料及該相關，可作出關於在一給定情形中哪一類型之影像穩定將最適當的一建議。
根據一項實施例，回應於偵測到超過一預定臨限值之第二外部運動資料之一變化，基於該相關及該改變之第二外部運動資料來選擇一不同裁剪區域。例如，假定選擇一特定裁剪區域，且接著風突然揚起(kick up)或減緩。若變化相當小，則不對裁剪區域進行改變。然而，若變化係巨大的，即，其等增加一預定臨限值，則裁剪區域可歸因於攝影機之改變的移動而改變。具有進行此等改變之能力確保裁剪區域始終保持尺寸最大化，同時維持良好影像品質。
根據一項實施例，選擇一裁剪區域進一步考量取決於影像序列中之影像之視野的一可變穩定邊限(stabilizer margin)。即，可界定一穩定邊限，其隨當前視野而變化。例如，在一些產品或安裝中，在一廣角擷取模式中對影像穩定之需求可減少，且在一長焦擷取(telephoto capture)模式中對影像穩定之需求可增加。在此一情景中，可基於當前視野調整最大邊限。此之一個實例係一廣角變焦鏡頭(wide zoom lens)攝影機，其中水平視野之角度可從比如90度至30度變化。在此一情景中，較小振動將對90度視角之影像品質具有極少影響。然而，若放大(zoom in)至一30度視角，則將存在一明顯晃動，且需要將最大邊限設定為更高以適應此。穩定邊限之一最小大小與一最大大小之間之範圍可藉由一使用者基於特定攝影機安裝環境預先組態或判定。根據一第二態樣，本發明係關於一種用於在由一攝影機擷取之一影像序列中選擇一裁剪區域之系統。記憶體含有指令，該等指令在藉由處理器執行時引起該處理器執行一方法，該方法包含： •     使第一外部運動資料與內部運動資料相關，其中在一第一時間間隔期間獲得該第一外部運動資料及該內部運動資料，其中該第一外部運動資料包括影響該攝影機之移動之外部因素之資料，且其中該內部運動資料包括描述該攝影機之一移動之資料； •     在該第一時間間隔之後之一第二時間間隔期間獲得第二外部運動資料；及 •     藉由基於該相關及該第二外部運動資料選擇一裁剪區域而穩定在一第三時間間隔期間擷取之一影像序列，該第三時間間隔在該第二時間間隔之後或與該第二時間間隔部分重疊，其中該裁剪區域相對於藉由該攝影機在該第三時間間隔期間擷取之該影像序列中之該等影像之視野保持恆定且尺寸最大化。
系統優點對應於方法之優點且可類似地變化。
根據一第三態樣，本發明係關於一種用於在由一攝影機擷取之一影像序列中選擇一裁剪區域之電腦程式。該電腦程式含有對應於以下步驟之指令： •     使第一外部運動資料與內部運動資料相關，其中在一第一時間間隔期間獲得該第一外部運動資料及該內部運動資料，其中該第一外部運動資料包括影響該攝影機之移動之外部因素之資料，且其中該內部運動資料包括描述該攝影機之一移動之資料； •     在該第一時間間隔之後之一第二時間間隔期間獲得第二外部運動資料；及 •     藉由基於該相關及該第二外部運動資料選擇一裁剪區域而穩定在一第三時間間隔期間擷取之一影像序列，該第三時間間隔在該第二時間間隔之後或與該第二時間間隔部分重疊，其中該裁剪區域相對於藉由該攝影機在該第三時間間隔期間擷取之該影像序列中之該等影像之視野保持恆定且尺寸最大化。
該電腦程式涉及對應於方法之優點之優點且可類似地變化。
在隨附圖式及下文描述中闡述本發明之一或多項實施例之細節。自描述及圖式以及發明申請專利範圍將明白本發明之其他特徵及優點。
如上文所描述，本發明之各種實施例之一個目標係提供用於在由一攝影機擷取之一影像序列(諸如一視訊序列)中動態地選擇一裁剪區域，以相較於其中裁剪區域固定或基於焦距而改變之習知系統執行更佳EIS的技術。能夠動態地選擇一裁剪區域容許最大化裁剪區域，藉此最大化經擷取影像之像素密度(及解析度)。現將藉由實例且參考圖式詳細描述本發明之各種實施例，其中圖1展示根據一項實施例之用於選擇一裁剪區域之一程序100，圖2展示根據一項實施例之如何使用外部感測器資料及內部感測器資料來選擇一裁剪區域之一示意圖200，且圖3展示根據一項實施例之可在其中實施本發明之一系統之一示意性方塊圖300。
為了更佳地理解本發明之內容背景，首先將呈現例示性系統300之一簡要說明。接著將參考圖1及圖2進一步詳細地描述個別系統組件及其等操作。如在圖3中可見，系統300包含一攝影機302，攝影機302擷取視訊且期望對其執行影像穩定。攝影機302包含量測攝影機之內部運動之一或多個內部運動感測器304，諸如一陀螺儀及/或加速度計。系統300進一步包含量測攝影機302外部之運動之一組外部運動感測器306，諸如一風感測器308及一地面振動感測器310。通常，此等外部運動感測器306定位成緊密靠近攝影機302。
系統300進一步包含一氣象站312。氣象站312相對於攝影機302之實體位置可變化。氣象站312包含感測器314 (例如，一風感測器)以量測當前狀況。在一些實施方案中，氣象站312亦可存取歷史資料316。
在一些實施例中，一預測模型318形成系統300之部分。預測模型318將在下文進一步詳細地說明，但基本上結合歷史資料316操作以「預報」攝影機302在特定狀況下將如何移動。此外，如下文將描述，在一些情形中，可存在非氣象相依之攝影機移動(例如，按定期排程(regular schedule)經過具有一攝影機302之一平台之火車)。此氣象無關資料亦可為系統300之部分。
最後，系統300包含一處理單元322，處理單元322執行如下文將描述之資料處理。所有此等系統組件經由一網路324彼此通信，網路324可為一有線網路、一無線網路或其等之一組合。通信可使用標準或專屬通信協定。亦應注意，雖然圖3中為便於繪示之目的僅展示各種類之一個系統組件，但在一現實生活實施方案中，可存在數個組件。例如，可存在將資料提供至一單一攝影機302或甚至一群組攝影機302之數個氣象站312或外部運動感測器306。因此，圖3中所展示之系統實施例300不應被解釋為系統組件之數目及類型。
如圖1中可見，程序100藉由收集第一外部運動資料202及第一內部運動資料204 (步驟102)而開始。如圖2中所展示，在一第一時間間隔∆t1 收集(∆t1 collecting)期間，自一或多個外部運動感測器收集第一外部運動資料202。外部運動資料202包含表示外部因素之資料，諸如風向、風速及地面振動，其等全部可影響攝影機之移動。應注意，此並非一排他性清單，且如上文所描述，亦可存在可能影響攝影機之移動之其他因素，例如，大冰雹。用於收集外部運動資料202之感測器及相關聯方法可選自一般技術者所熟知之多種市售感測器。
在收集第一外部運動資料202時，亦在第一時間間隔期間收集內部運動資料204。自攝影機中之一或多個內部運動感測器(諸如一攝影機陀螺儀或加速度計，其等係係許多攝影機中之常見組件)收集內部運動資料204。在一些實施方案中，亦可藉由分析像素之移動及判定一影像處理運動向量估計而導出內部運動資料204，在該情況中，攝影機中將不需要具有內部運動感測器。
為了獲得可在使用本發明之各種實施例之方法時採用之統計資料集，第一時間間隔可從數分鐘至數天、數週、數月甚至數年極大地變化。亦應注意，如圖2中所繪示，第一時間間隔之後可接著一或多個額外第一時間間隔。例如，從經過攝影機安裝之一火車收集振動資料通常為一非常短暫的且可預測的情形，而在一大風天收集資料可需要一較長資料收集期以獲得一平均風速值。
接著，在第一外部運動資料202與第一內部運動資料204之間進行一相關206 (步驟104)。即，使在一特定時間點取得之一第一外部運動基準點與在相同時間點取得之一第一內部運動基準點相關。例如，使在第一時間間隔中之一個時間點獲得之一風感測器讀數及/或地面振動感測器讀數與在第一時間間隔中之相同時間點獲得之一陀螺儀讀數相關。因此，針對相同時間點，外部運動感測器基準點與內部運動感測器基準點之間將存在一映射。
應注意，相關不限於感測器讀數之一一對應。例如，在一給定時間點，可存在來自陀螺儀之一個讀出，但該讀出可與在相同時間點出現之一風向及一風速兩者相關。類似地，不同感測器可支援不同取樣頻率。例如，攝影機中之一內部陀螺儀可每秒取樣幾百次，而一外部風感測器可僅容許每秒取樣一次。因此，存在資料可取決於即將發生的特定情況相關之許多不同方式。然而，要點係相同的。即，在一外部感測器讀數如何映射至一內部感測器讀數之間建立一相關性。
此外，應注意，雖然許多攝影機具有內部感測器，諸如陀螺儀或加速度計，但亦存在缺少此等組件之許多攝影機。在此等情形中，內部感測器之一替代可為藉由影像處理判定攝影機之運動。此通常稱為數位影像穩定(DIS)。簡要地，在一DIS實施方案中，分析像素以判定其等例如分別在一水平方向及一垂直方向上移動多少。計算一偏移，該偏移用於穩定影像。存在用於執行DIS之數種已知方法，其等為一般技術者所熟知，舉例而言，諸如絕對差值和(SAD)演算法。
接著，獲得第二外部運動資料208 (步驟106)。通常，此使用上文結合步驟102描述之相同技術且在第一時間間隔∆t1 收集之後之一第二時間間隔∆t2 收集(∆t2 collecting)期間完成。然而，亦存在其中第二外部運動資料208並非在攝影機之特定位點處藉由感測器收集，而是透過一不同程序獲得之實施例。例如，可自一外部站(諸如一外部氣象站)獲得第二外部運動資料208。例如，可自氣象站接收一特定時段(例如，第二時間間隔)之風統計。此外，可例如從第二時間間隔∆t2 收集之前之一時段開始接收歷史外部運動資料210 (在圖3中表示為316) (例如，歷史風統計)。歷史外部運動資料210、316可與一預測模型318一起使用以預測第二時間間隔∆t2 收集之外部運動資料。此外，可將外部運動資料映射至一時刻表，例如，一火車時刻表。例如，當攝影機安裝在一鐵路平台處且期望將火車時刻表映射至因一火車到達、駛離或僅僅經過引起之地面振動時，情況可如此。因此，存在可獲得第二運動資料208之多種方式。
程序藉由透過基於相關及第二外部運動資料選擇一裁剪區域來穩定在一第三時間間隔期間擷取之一系列影像(步驟108)而結束。在習知系統中，已知各內部運動基準點(例如，各陀螺儀讀數)如何與經擷取影像之一特定裁剪(例如，一特定裁剪區域)匹配。因此，藉由使用第一外部運動資料202與第一內部運動資料204之間之相關206，可建立一相關模型214，相關模型214可直接應用於第二外部運動資料208。藉由將相關模型214應用於外部運動資料208，可將外部運動資料208直接映射至在一第三時間間隔∆t 裁剪(∆t cropping)期間擷取之影像之一裁剪區域，如圖2中所展示 。第三時間間隔可與第二時間間隔完全分離或部分重疊。分別與第一及第二時間間隔一樣，第三時間間隔之範圍可從數分鐘至數小時、數天或數週。
應注意，在第三時間間隔期間，裁剪不需要內部運動資料，此係因為第二外部運動資料208經統計處理，且藉由相關模型214映射216至待在第三時間間隔期間用於影像穩定中之一個單一裁剪。
在於第三時間間隔期間執行影像穩定時使用相同單一裁剪之優點在於經裁剪影像之像素大小將在第三時間間隔期間保持不變。藉此，在第三時間間隔期間擷取且穩定之所有影像將具有相同解析度。通常，裁剪不會非常頻繁地改變，因為其影響攝影機之變焦，且具有一極具「反應性」裁剪將以大量不必要的放大/縮小針對正在從攝影機觀看視訊之一使用者產生非常「不流暢的(jerky)」影像流。過於頻繁的變焦亦可對某些影像分析應用之功能有負面影響。在許多實施例中，較佳地每24小時僅改變變焦1至2次，但當然，此處一較大變動亦可行。
在一項實施例中，在影像序列之影像之視野內，將經判定之單一裁剪區域選擇為儘可能大。即，第三時間間隔之裁剪區域經最大化以擬合經擷取影像之一百分比。因此，若第二外部運動資料包含一或多個離群值(例如，指示非常大的移動或振動之一或多個資料)，則可在判定裁剪區域時忽略此等離群值。在此等情況中，可用經判定裁剪區域來穩定在攝影機之此較大移動或振動期間擷取之影像，但其可並非針對此等特定影像之一最佳裁剪區域。然而，裁剪區域仍可在第三時間間隔期間最佳地穩定經擷取影像之95%至99%，且相較於習知EIS方法仍提供顯著優點。此外，最大化裁剪區域之一優點在於亦最大化像素密度。藉此，亦最大化影像解析度及影像品質。
在一些實施例中，除判定裁剪區域之外，經收集外部運動資料208及預測模型318亦可用於判定攝影機在一未來時間點有可能移動或振動多少。接著，攝影機系統可使用此資訊來建議是否應啟動滾動，或攝影機是否應僅基於俯仰及偏轉執行影像穩定。
此外，在一些實施例中，攝影機系統可建議穩定範圍，即，用作裁剪區域之視野範圍。基於若干筆資訊，攝影機系統可建議一適合EIS模式。在一些實施例中，當提出一EIS模式時，亦可考量進一步因素。例如，可存在其中EIS模式可取決於季節(例如，一個EIS模式用於一炎熱夏天對比另一EIS模式用於一寒冷雪天)、一天中之時間(例如，一個EIS模式用於交通繁忙之白天，且一不同EIS模式用於相對安靜之夜間)而變化之情形。如可見，存在可藉由一般技術者且基於即將發生的特定情形實施之許多變動。
本文中所揭示之系統及方法可實施為軟體、韌體、硬體或其等之一組合。在一硬體實施方案中，以上描述中所提及之功能單元或組件之間的任務劃分不一定對應於實體單元之劃分；恰相反，一個實體組件可執行多個功能性，且一個任務可藉由數個實體組件協同實行。
特定組件或所有組件可實施為由一數位信號處理器或微處理器執行之軟體，或實施為硬體或一特定應用積體電路。此軟體可分佈在電腦可讀媒體上，其可包括電腦儲存媒體(或非暫時性媒體)及通信媒體(或暫時性媒體)。如熟習此項技術者所熟知，術語電腦儲存媒體包含在用於儲存資訊(諸如電腦可讀指令、資料結構、程式模組或其他資料)之任何方法或技術中實施之揮發性及非揮發性、可移除式及非可移除式媒體兩者。電腦儲存媒體包含但不限於RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光碟儲存器、盒式磁帶、磁帶、磁碟儲存器或其他磁性儲存裝置，或可用於儲存所要資訊且可藉由一電腦存取之任何其他媒體。
圖中之流程圖及方塊圖繪示根據本發明之各種實施例之系統、方法及電腦程式產品之可能實施方案的架構、功能性及操作。就此而言，流程圖或方塊圖中之各方塊可表示指令之一模組、片段或部分，其包括用於實施(若干)指定邏輯功能之一或多個可執行指令。在一些替代實施方案中，方塊中所標明之功能可不按圖中所標明之順序發生。例如，取決於所涉及之功能性，連續展示之兩個方塊事實上可實質上同時執行，或該等方塊有時可以相反順序執行。亦將注意，方塊圖及/或流程圖繪示之各方塊及方塊圖及/或流程圖繪示中之方塊之組合可藉由執行指定功能或動作或實行專用硬體及電腦指令之組合的基於專用硬體之系統來實施。
將瞭解，熟習此項技術者可以許多方式修改上述實施例且仍使用如上文實施例中所展示之本發明之優點。因此，本發明不應限於所展示實施例，而應僅藉由隨附發明申請專利範圍定義。另外，如熟習此項技術者理解，可組合所展示實施例。
100: 程序 102: 步驟 104: 步驟 106: 步驟 108: 步驟 200: 示意圖 202: 第一外部運動資料 204: 第一內部運動資料 206: 相關 208: 第二外部運動資料/第二運動資料 210: 歷史外部運動資料 214: 相關模型 216: 映射 300: 方塊圖/系統/系統實施例 302: 攝影機 304: 內部運動感測器 306: 外部運動感測器 308: 風感測器 310: 地面振動感測器 312: 氣象站 314: 感測器 316: 歷史資料/歷史外部運動資料 318: 預測模型 322: 處理單元 324: 網路
圖1展示根據一項實施例之用於選擇一裁剪區域之一程序。
圖2展示根據一項實施例之如何使用外部感測器資料及內部感測器資料來選擇一裁剪區域之一示意圖200。
圖3係根據一項實施例之展示可在其中實施本發明之一系統之一示意性方塊圖300。
在各個圖式中，相同元件符號指示相同元件。
100: 程序 102: 步驟 104: 步驟 106: 步驟 108: 步驟

Claims (13)

  1. 一種用於在由一攝影機擷取之一影像序列(a sequence of images)中選擇一裁剪區域(cropping area)之方法，其包括：藉由使在一特定時間點取得之一第一外部運動基準點(motion datum)與在該特定時間點取得之一第一內部運動基準點相關(correlating)而使第一外部運動資料與內部運動資料相關，其中在一第一時間間隔期間獲得該第一外部運動資料及該內部運動資料，其中該第一外部運動資料包括影響該攝影機之移動之外部因素之資料，且其中該內部運動資料包括描述該攝影機之一移動之資料；在該第一時間間隔之後之一第二時間間隔期間獲得第二外部運動資料；及藉由基於該相關及該第二外部運動資料選擇一裁剪區域而穩定在一第三時間間隔期間擷取之一影像序列，該第三時間間隔在該第二時間間隔之後或與該第二時間間隔部分重疊，其中該裁剪區域相對於藉由該攝影機在該第三時間間隔期間擷取之該影像序列中之該等影像之視野保持恆定且尺寸最大化。
  2. 如請求項1-2之任一者之方法，其中該等第一及第二時間間隔分別為大約15分鐘或更長。
  3. 如請求項1-2之任一者之方法，其中該第一外部運動資料與該內部運動資料之該相關包括： 針對在該第一時間間隔中發生一感測器讀出時之各時間點，使一各自第一外部運動基準點與一對應內部運動基準點相關。
  4. 如請求項1-2之任一者之方法，其中獲得該第二外部運動資料包括：基於該第一外部運動資料及一預測模型獲得該第二外部運動資料作為一預測。
  5. 如請求項1-2之任一者之方法，其中：該等第一及第二外部運動資料包含以下之一或多者：風資料及地面振動資料，及該內部運動資料包含以下之一或多者：陀螺儀資料、加速度計資料及藉由影像處理進行之運動估計。
  6. 如請求項5之方法，其中藉由影像處理進行之該運動估計係使用一數位影像穩定演算法完成。
  7. 如請求項1-2之任一者之方法，其中分別該等第一及第二外部運動資料之該獲得包括：自以下之一或多者分別接收該等第一及第二外部運動資料：一運動感測器及一外部氣象服務。
  8. 如請求項7之方法，其中該運動感測器包含以下之一者：一風感測器、一地面振動感測器及一第二攝影機。
  9. 如請求項1-2之任一者之方法，其進一步包括：基於該第二外部運動資料及該相關來提供關於影像穩定是否應基於以下之一或多者之一建議：俯仰、偏轉及滾動。
  10. 如請求項1-2之任一者之方法，其進一步包括：回應於偵測到超過一預定臨限值之第二外部運動資料之一變化，基於該相關及該改變之第二外部運動資料來選擇一不同裁剪區域。
  11. 如請求項1-2之任一者之方法，其中選擇一裁剪區域進一步考量取決於該影像序列中之該等影像之該視野的一可變穩定邊限。
  12. 一種用於在由一攝影機擷取之一影像序列中選擇一裁剪區域之系統，其包括：一攝影機，其包含一或多個內部運動感測器；一或多個感測器，其等經組態以量測影響該攝影機之移動之外部因素；及一處理單元，其包含一記憶體及一處理器，其中該記憶體含有指令，該等指令在藉由該處理器執行時引起該處理器執行一方法，該方法包含：藉由使在一特定時間點取得之一第一外部運動基準點與在該特定時間點取得之一第一內部運動基準點相關而使第一外部運動資料與內部運動資料相關，其中在一第一時間間隔期間獲得該第一外部運 動資料及該內部運動資料，其中該第一外部運動資料包括影響該攝影機之移動之外部因素之資料，且其中該內部運動資料包括描述該攝影機之一移動之資料；在該第一時間間隔之後之一第二時間間隔期間獲得第二外部運動資料；及藉由基於該相關及該第二外部運動資料選擇一裁剪區域而穩定在一第三時間間隔期間擷取之一影像序列，該第三時間間隔在該第二時間間隔之後或與該第二時間間隔部分重疊，其中該裁剪區域相對於藉由該攝影機在該第三時間間隔期間擷取之該影像序列中之該等影像之視野保持恆定且尺寸最大化。
  13. 一種用於在由一攝影機擷取之一影像序列中選擇一裁剪區域之電腦程式產品，其包括具有以其體現之程式指令之一電腦可讀儲存媒體，其中該電腦可讀儲存媒體本身並非一暫時性信號，該等程式指令可藉由一處理器執行以執行一方法，該方法包括：藉由使在一特定時間點取得之一第一外部運動基準點與在該特定時間點取得之一第一內部運動基準點相關而使第一外部運動資料與內部運動資料相關，其中在一第一時間間隔期間獲得該第一外部運動資料及該內部運動資料，其中該第一外部運動資料包括影響該攝影機之移動之外部因素之資料，且其中該內部運動資料包括描述該攝影機之一移動之資料；在該第一時間間隔之後之一第二時間間隔期間獲得第二外部運動資料；及 藉由基於該相關及該第二外部運動資料(208)選擇一裁剪區域而穩定在一第三時間間隔期間擷取之一影像序列，該第三時間間隔在該第二時間間隔之後或與該第二時間間隔部分重疊，其中該裁剪區域相對於藉由該攝影機(302)在該第三時間間隔期間擷取之該影像序列中之該等影像之視野保持恆定且尺寸最大化。
TW110107495A 2020-04-28 2021-03-03 基於統計之電子影像穩定 TWI767592B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20171714.7A EP3905659B1 (en) 2020-04-28 2020-04-28 Statistics-based electronics image stabilization
EP20171714.7 2020-04-28

Publications (2)

Publication Number Publication Date
TW202213973A TW202213973A (zh) 2022-04-01
TWI767592B true TWI767592B (zh) 2022-06-11

Family

ID=70470966

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110107495A TWI767592B (zh) 2020-04-28 2021-03-03 基於統計之電子影像穩定

Country Status (6)

Country Link
US (1) US11363201B2 (zh)
EP (1) EP3905659B1 (zh)
JP (1) JP7123215B2 (zh)
KR (1) KR102415194B1 (zh)
CN (1) CN113572950B (zh)
TW (1) TWI767592B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023250261A1 (en) * 2022-06-21 2023-12-28 Qualcomm Incorporated Dynamic image capture device configuration for improved image stabilization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2023223A1 (en) * 2007-07-24 2009-02-11 Honeywell International Inc. Apparatus and method for determining a camera's required motor holding current
US20120327254A1 (en) * 2010-01-21 2012-12-27 Panasonic Corporation Image stabilization system
US20130083192A1 (en) * 2011-09-30 2013-04-04 Siemens Industry, Inc. Methods and System for Stabilizing Live Video in the Presence of Long-Term Image Drift
US20150163408A1 (en) * 2013-11-01 2015-06-11 The Lightco Inc. Methods and apparatus relating to image stabilization

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0682449B1 (en) * 1988-09-09 2003-01-02 Canon Kabushiki Kaisha Automatic image stabilization device
US5581297A (en) 1992-07-24 1996-12-03 Intelligent Instruments Corporation Low power video security monitoring system
US9628711B2 (en) * 2011-12-15 2017-04-18 Apple Inc. Motion sensor based virtual tripod method for video stabilization
US8743222B2 (en) * 2012-02-14 2014-06-03 Nokia Corporation Method and apparatus for cropping and stabilization of video images
JP6350549B2 (ja) 2014-02-14 2018-07-04 日本電気株式会社 映像解析システム
EP3096512B1 (en) 2015-05-18 2017-03-22 Axis AB Method and camera for producing an image stabilized video
US20170041545A1 (en) * 2015-08-06 2017-02-09 Invensense, Inc. Systems and methods for stabilizing images
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
EP3340103A1 (en) * 2016-12-21 2018-06-27 Axis AB Method for identifying events in a motion video
US10491807B2 (en) 2017-06-27 2019-11-26 GM Global Technology Operations LLC Method to use vehicle information and sensors for photography and video viewing recording
US20190335074A1 (en) 2018-04-27 2019-10-31 Cubic Corporation Eliminating effects of environmental conditions of images captured by an omnidirectional camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2023223A1 (en) * 2007-07-24 2009-02-11 Honeywell International Inc. Apparatus and method for determining a camera's required motor holding current
US20120327254A1 (en) * 2010-01-21 2012-12-27 Panasonic Corporation Image stabilization system
US20130083192A1 (en) * 2011-09-30 2013-04-04 Siemens Industry, Inc. Methods and System for Stabilizing Live Video in the Presence of Long-Term Image Drift
US20150163408A1 (en) * 2013-11-01 2015-06-11 The Lightco Inc. Methods and apparatus relating to image stabilization

Also Published As

Publication number Publication date
EP3905659A1 (en) 2021-11-03
US11363201B2 (en) 2022-06-14
JP2021185658A (ja) 2021-12-09
EP3905659B1 (en) 2022-06-01
KR102415194B1 (ko) 2022-06-30
TW202213973A (zh) 2022-04-01
JP7123215B2 (ja) 2022-08-22
CN113572950A (zh) 2021-10-29
US20210337123A1 (en) 2021-10-28
CN113572950B (zh) 2022-12-23
KR20210133133A (ko) 2021-11-05

Similar Documents

Publication Publication Date Title
CN108347563B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
KR101781154B1 (ko) 장면을 캡쳐하는 영상 프레임들의 시퀀스 내의 영상 프레임의 노출을 장면 내의 모션의 레벨에 근거하여 최적화하기 위한 방법 및 카메라
WO2021037285A1 (zh) 一种测光调整方法、装置、设备和存储介质
CN110636223A (zh) 防抖处理方法和装置、电子设备、计算机可读存储介质
CN108141540B (zh) 具有移动检测的全向相机
KR101353021B1 (ko) 이미지 캡쳐 시스템 및 이미지 캡쳐 방법
CN110678898A (zh) 一种视频防抖方法及移动设备
CN110300263B (zh) 陀螺仪处理方法和装置、电子设备、计算机可读存储介质
KR102292672B1 (ko) 영상 안정화를 위한 방법 및 시스템
TWI767592B (zh) 基於統計之電子影像穩定
CN110351508B (zh) 基于录像模式的防抖处理方法和装置、电子设备
JP5896102B2 (ja) 撮像装置、撮像制御方法、及びプログラム
CN110266950B (zh) 陀螺仪处理方法和装置、电子设备、计算机可读存储介质
TWI578784B (zh) 產生縮時影片的方法、電子裝置及使用此方法的記錄媒體
KR102150705B1 (ko) 영상 처리 장치 및 방법
KR100734847B1 (ko) 느린 셔터 속도에서 선명한 영상 검출 장치 및 방법
JP6284203B2 (ja) 監視装置
KR19980019258A (ko) 영상 감지 저장기를 위한 영상입력을 이용한 움직임 감지 방식(Motion detection method using video input signal for video activated recorder)
RU2757802C1 (ru) Система видеонаблюдения
US20190122353A1 (en) Information processing apparatus, image capture system, control method and storage medium
JP2024037524A (ja) 撮像装置およびその制御方法
KR101366113B1 (ko) 피사체 속도에 기반한 영상 촬영 장치 및 방법
TW201639349A (zh) 視訊拍攝裝置以及方法
JP2015186169A (ja) 撮像装置