TW202001792A - 用於偵測在一視訊序列中之移動之方法 - Google Patents

用於偵測在一視訊序列中之移動之方法 Download PDF

Info

Publication number
TW202001792A
TW202001792A TW108110037A TW108110037A TW202001792A TW 202001792 A TW202001792 A TW 202001792A TW 108110037 A TW108110037 A TW 108110037A TW 108110037 A TW108110037 A TW 108110037A TW 202001792 A TW202001792 A TW 202001792A
Authority
TW
Taiwan
Prior art keywords
motion detection
detection sensitivity
spatial resolution
sensitivity map
motion
Prior art date
Application number
TW108110037A
Other languages
English (en)
Other versions
TWI746947B (zh
Inventor
艾克索 凱斯基坎加斯
嵩 袁
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202001792A publication Critical patent/TW202001792A/zh
Application granted granted Critical
Publication of TWI746947B publication Critical patent/TWI746947B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種用於偵測一視訊序列中之移動之方法，該視訊序列包括失真影像圖框。該方法包括：判定(101)該等失真影像圖框之一空間解析度分佈；判定(102)該等失真影像圖框之一移動偵測靈敏度圖，該移動偵測靈敏度圖包括具有不同移動偵測靈敏度位準之區域，其中基於該空間解析度分佈來判定該移動偵測靈敏度圖；及基於該移動偵測靈敏度圖來偵測(103)該視訊序列中之移動。本發明亦揭示一種移動偵測組件及包含此一組件之攝影機。

Description

用於偵測在一視訊序列中之移動之方法
本發明係關於偵測一視訊序列中之移動之領域。
攝影機應用之一大領域係監視。移動偵測係攝影機監視系統之重要特徵，因此，具有一高效率移動偵測演算法係有益的。移動偵測演算法之一缺點一般在於其想著根據直線鏡頭(即，直線在其之一擷取影像中實際上保持筆直之鏡頭)來設計。因此，對包括失真影像圖框之視訊序列執行移動偵測演算法不是最佳的。失真影像圖框之一習知移動分析之結果會變差或分析可能需要更多處理視訊序列。例如，由一廣角鏡頭擷取之一視訊序列包含基於鏡頭之性質之失真影像圖框。此一視訊序列通常需要在能夠以良好結果執行移動偵測之前執行一去扭曲處理。
存在會引起失真影像圖框之不同失真源，例如廣角鏡頭(諸如魚眼鏡頭)、光學圓頂及用於提供一全景影像之拼接技術。在拼接中，組合使用一或多個影像感測器來擷取之複數個原影像以形成一單一影像。存在若干已知拼接演算法可供選擇。
直線鏡頭之製造期間之缺陷亦會引起失真。
存在取決於失真源之不同類型之失真形狀。一實例係包含桶形失真、針墊失真及鬍鬚失真之徑向失真，其由一鏡頭之對稱性引起。替代地，失真可具有一不規則形狀。
無論(若干)失真源及失真之形狀如何，失真係分析影像時之一挑戰。例如，諸多移動偵測演算法在應用於失真影像時遭受嚴重影響，因為大多數演算法被設計應用於非失真影像。因此，使一處理器在一失真影像上應用移動偵測演算法或其他類似演算法要進行大量計算。
如所提及，此問題之一解決方案係在應用移動偵測之前對一失真影像執行去扭曲。去扭曲係將一失真影像逆轉為一線性投影影像(其較適合於移動偵測演算法)之一程序。然而，去扭曲本身係一計算量很大之操作，其加重處理器之負擔且亦佔用(例如)一處理器及一縮放器單元中之寶貴資源(時間、功率、頻寬)。此外，去扭曲加重攝影機系統中縮放器單元(其係一有限資源)之負擔且亦需要存取縮放器之其他程序因此遭受影響。
因此，需要解決上文所討論之問題之改良方法。
本發明之一總體目的係提供一種移動偵測方法，其鑑於失真影像上之應用來改良。本發明之一特定目的係解決將習知移動偵測演算法應用於由具有實體失真源(諸如廣角鏡頭或光學圓頂)或數位失真源(諸如拼接程序)之一攝影機系統產生之影像上的問題。
根據一第一態樣，此等及其他目的完全或至少部分由一種用於偵測一視訊序列中之移動之方法達成，該視訊序列包括經由至少一影像感測器所產生之失真影像圖框。該方法包括： 判定該等失真影像圖框之一空間解析度分佈； 判定該等失真影像圖框之一移動偵測靈敏度圖，該移動偵測靈敏度圖包括具有不同移動偵測靈敏度位準之區域，其中基於該空間解析度分佈來判定該移動偵測靈敏度圖；及 基於該移動偵測靈敏度圖來偵測該視訊序列中之移動。
該至少一影像感測器可包括於一攝影機中。
如本文中所使用，「失真影像」或「失真影像圖框」意謂具有一失真透視之一影像。在一失真影像中，場景中之直線通常在一定程度上彎曲。相比而言，一完全直線影像具有對應於場景中之直線之完全筆直線。在本申請案之背景內，討論兩種類型之失真源：實體失真源及數位失真源。實體失真源之非限制性實例係廣角鏡頭，其包含魚眼鏡頭(例如f-θ場鏡)、光學圓頂及非完全直線鏡頭。一鏡頭之缺陷可由製造不精確引起。數位失真源之非限制性實例係影像拼接演算法。失真圖案可為不規則或規則的(諸如徑向失真)。一擷取影像之失真圖案可由失真源之一者或一組合所致。
如本文中所使用，「空間解析度分佈」意謂一影像圖框之空間解析度之一圖。在透過(例如)一廣角鏡頭獲取或由多個影像圖框拼接之一失真影像中，影像之不同區域具有不同空間解析度。換言之，影像圖框之相同大小區域覆蓋攝影機之視域(FOV)之不同大小角度。可在一影像圖框之一像素級上指定空間解析度，或可在一像素子群級上(例如在一巨集區塊級上)判定空間解析度。空間解析度可表示為每FOV角之像素數目或每像素之FOV角量。熟習技術者熟悉如何根據應用來互換此等表示。例如，在根據本申請案之一方法之一實施方案中，可較佳使用此等表示之一者。一空間解析度分佈可由(例如)指示像素或像素子群(例如用於巨集區塊)之空間解析度分佈之一表表示。
如本文中所使用，「移動偵測靈敏度位準」意謂指示用於應用於一視訊序列之一移動偵測演算法中之靈敏度程度之一位準。可應用不同標度。例如，可應用1至100之一標度，其中1指示最低靈敏度(意謂偵測移動需要連續影像圖框之間的一大差異)，且其中100指示最高靈敏度(意謂即使連續影像圖框之間的一小差異亦會導致偵測移動)。
如本文中所使用，「移動偵測靈敏度圖」指示一影像圖框之移動偵測靈敏度位準之分佈。可判定一移動偵測靈敏度圖且將其用於複數個影像圖框，例如一影像圖框序列。移動偵測靈敏度圖可由(例如)將一移動偵測靈敏度位準映射至一影像圖框中之各像素或像素群組(例如用於各巨集區塊)之一表表示或表示為一函數。函數可(例如)具有至影像圖框中一預定位置或預定區域之一距離作為一輸入且具有移動偵測靈敏度位準作為一輸出。
如本文中所使用，「鏡頭多項式」意謂一鏡頭特定多項式，其表示一鏡頭或一光學圓頂之鏡頭折射。可藉由對鏡頭或光學圓頂執行量測(例如使用一離軸模轉換函數(MTF)量測方法)來獲取鏡頭多項式。一鏡頭或光學圓頂製造商通常可根據不同類型之鏡頭或光學圓頂之分類來對其提供鏡頭多項式或表示失真之一表。
如本文中所使用，「投影演算法」意謂描述如何拼接/組合多個原影像圖框以形成一拼接影像圖框之一演算法。投影演算法可根據不同目的來設計，例如為了提供原影像圖框之間的一平滑轉變或最小化所得影像圖框之失真。投影演算法可變動於不同拼接演算法之間。通常，相同投影演算法用於一擷取視訊序列。
本發明之發明者洞察到，將一影像圖框區域之一移動偵測靈敏度位準設定為對應於該影像圖框區域之一空間解析度係有益的。空間解析度表示由影像圖框區域覆蓋之FOV之大小。若覆蓋FOV之一較大角，則應將移動靈敏度位準設定為較高，因為覆蓋FOV角之一移動會被轉化為影像圖框區域之一相對較小移動。因此，若由相同大小之影像圖框區域覆蓋一較小FOV角，則應將移動靈敏度位準設定為較低，因為覆蓋FOV角之一移動會被轉化為影像圖框區域之一相對較高移動。此洞察對失真影像圖框特別有用。此應用討論其中失真係由一實體失真源及/或一數位失真源引起之失真影像圖框。
基於發明者之洞察，基於空間解析度分佈來判定一移動偵測靈敏度圖。如上文所界定，移動偵測靈敏度圖提供關於在一視訊序列中之一影像圖框之不同區域或甚至像素之移動偵測期間使用何種移動偵測靈敏度之資訊。根據所使用之成像系統來不同地判定移動偵測靈敏度圖，然而，熟習技術者知道如何鑑於成像系統之參數來判定靈敏度圖。
接著，在(例如)由一處理器執行之一移動偵測演算法中使用移動偵測靈敏度圖來偵測包括失真影像圖框之視訊序列中之移動。使用此一移動偵測靈敏度圖，移動偵測可使包括失真影像圖框之視訊序列變得更高效。
可足以針對一視訊序列來一次判定一移動偵測靈敏度圖，因為判定所基於之參數在視訊序列之擷取期間通常保持相同。
在一實施例中，可藉由一影像感測器透過包括於攝影機中之一廣角鏡頭擷取來產生失真影像圖框。在此實施例中，可基於廣角鏡頭之一鏡頭多項式來判定空間解析度分佈。鏡頭多項式可由鏡頭製造商量測或獲取。
廣角鏡頭可為一魚眼鏡頭，其係一類型之超廣角鏡頭。
在一實施例中，藉由一影像感測器透過包括於攝影機中之一光學圓頂擷取來產生失真影像圖框。在此實施例中，可基於光學圓頂之一鏡頭多項式來判定空間解析度分佈。光學圓頂之鏡頭多項式可由光學圓頂之一製造商量測或獲取。
在此實施例中，移動偵測靈敏度圖之區域可形成自移動偵測靈敏度圖之一參考位置徑向延伸之一橢圓形圖案。橢圓形圖案可形成一圓形圖案。在該情況中，各區域可定位成與移動偵測靈敏度圖之一參考位置相距一徑向距離。
可將各區域之移動偵測靈敏度位準設定為隨自各自區域至參考位置之距離而增大。參考位置可(例如)為圖之一中心位置。
在另一實施例中，藉由基於一投影演算法拼接由一或多個影像感測器擷取之複數個原影像來產生各失真影像圖框。複數個原影像可由複數個影像感測器擷取，該等影像感測器可位於相同或不同攝影機上。
在此實施例中，可基於投影演算法來判定空間解析度分佈。將投影演算法界定於拼接演算法中。
移動偵測可用於一攝影機系統之其他演算法中。例如，移動偵測可用作物件偵測、物件追蹤、地面偵測或警報事件判定之輸入。本發明之一實施例包含基於所判定之移動偵測來執行一成像處理演算法，諸如物件偵測、物件追蹤、地面偵測或警報事件判定。
根據一第二態樣，上文所揭示及其他目的完全或至少部分由一種電腦程式產品達成，該電腦程式產品包括其上儲存有電腦碼指令之一電腦可讀媒體，該等指令經調適以在由具有處理能力之一裝置執行時實施根據第一態樣之根據實施例之任一者之方法。
根據一第三態樣，上文所揭示及其他目的完全或至少部分由一種用於偵測一視訊序列中之移動之移動偵測組件達成，該視訊序列包括經由一攝影機中之至少一影像感測器所產生之失真影像圖框。該移動偵測組件包括： 一空間解析度分佈組件，其經調適以判定該等失真影像圖框之一空間解析度分佈； 一移動偵測靈敏度圖組件，其經調適以判定該失真影像圖框之一移動偵測靈敏度圖，該移動偵測靈敏度圖包括具有不同移動偵測靈敏度位準之區域，其中基於該空間解析度分佈來判定該移動偵測靈敏度圖；及 一移動偵測組件，其經調適以基於該移動偵測靈敏度圖來偵測該視訊序列中之移動。
第三態樣之移動偵測組件一般可依相同於第一態樣之方法及伴隨優點之方式體現。
根據一第四態樣，上文所揭示及其他目的完全或至少部分由一種攝影機達成，該攝影機包括根據第三態樣或其實施例之任何者之移動偵測組件。
在一實施例中，該攝影機可包括影像透過其來由該攝影機之一影像感測器擷取之一廣角鏡頭。
在另一實施例中，該攝影機可包括複數個影像感測器且進一步包括一拼接組件，該拼接組件經調適以拼接來自由該複數個影像感測器擷取之複數個原影像之影像圖框。
將自下文將給出之詳細描述明白本發明之一進一步適用範疇。然而，應瞭解，詳細描述及特定實例在指示本發明之較佳實施例時僅供說明，因為熟習技術者將自此詳細描述明白本發明之範疇內之各種改變及修改。
因此，應瞭解，本發明不受限於所描述之裝置之特定組成部分或所描述之方法之步驟，因為此裝置及方法可變動。亦應瞭解，本文中所使用之術語僅用於描述特定實施例且不意在限制。必須注意，如本說明書及隨附申請專利範圍中所使用，除非內文另有明確規定，否則冠詞「一」及「該」旨在意謂存在元件之一或多者。因此，例如，「一物件」或「該物件」之一指涉物可包含若干物件及其類似者。此外，用語「包括」不排除其他元件或步驟。
圖1中繪示根據本發明之一實施例之用於偵測一視訊序列中之移動之一方法100。對包含失真影像圖框之一視訊序列執行方法100。可(例如)在一攝影機系統之一處理器中或與一攝影機系統分離之一裝置之一處理器中執行方法100。可在不同處理裝置中執行方法之不同部分。方法之一些部分可由攝影機系統執行且其他部分可由另外一或多個處理裝置執行。
視訊序列可在經受用於偵測移動之本發明方法100之前被更改或依其他方式處理。用於擷取視訊序列之攝影機系統可為適於室外及/或室內監視之一監視攝影機系統。
方法100包括判定視訊序列中之影像圖框之一或多者之一空間解析度分佈之一第一步驟101。如上文所界定，空間解析度分佈係一或多個影像圖框之空間解析度之一表示。可針對一攝影機系統一次(例如在擷取視訊序列之前)判定空間解析度，且可將空間解析度應用於由該攝影機系統擷取之視訊序列，只要用於判定之基礎未改變。在本申請案中，將討論如何判定空間解析度分佈之兩種變體：其中基於一鏡頭多項式來判定空間解析度分佈之一第一變體及其中基於一投影演算法來判定空間解析度分佈之一第二變體。然而，本申請案之範疇不受限於此等變體。用於判定空間解析度分佈之其他變體可在熟習技術者之所及範圍內。
在一第二步驟102中，判定視訊序列之失真影像圖框之一移動偵測靈敏度圖。移動偵測靈敏度圖表示一影像圖框之移動偵測靈敏度位準之分佈。移動偵測靈敏度圖之用途係用作關於何種移動偵測靈敏度用於影像圖框中之何種區域之一移動偵測演算法之一輸入。移動偵測靈敏度圖可表示為(例如)一表或函數，如稍後將詳細例示。基於空間解析度分佈來判定移動偵測靈敏度圖。
在一第三步驟103中，基於所判定之移動偵測靈敏度圖來偵測包括失真影像圖框之視訊序列中之移動。
本發明之一重要態樣係基於空間解析度分佈來判定移動偵測所基於之移動偵測靈敏度圖。藉由此特徵，移動偵測可變得更適合於影像圖框之失真特性。如將自以下實施例之更詳細實例明白，此非常有益於使用具有一廣角鏡頭、光學圓頂或產生拼接影像之一多感測器攝影機系統之一攝影機系統來擷取之視訊序列之分析。發明者已認識到，可藉由在由攝影機系統界定之空間解析度分佈與擷取影像圖框之移動偵測靈敏度位準之間建立一連接來達成上文所提及之優點。即，可部分或完全達成不受失真特性影響之一移動偵測。此外，方法不像用於設定移動偵測靈敏度位準之一些已知方法一樣需要一使用者輸入。
更詳細而已，現將分別參考圖2至圖3及圖4至圖5來揭示兩個不同實施例。
首先參考第一實施例，圖2中繪示包含一影像感測器204及一廣角鏡頭207之一攝影機系統。廣角鏡頭207可為一魚眼鏡頭。攝影機系統擷取一場景之影像圖框，該場景包含為一房屋201及一樹202之物件。由攝影機系統看到之場景之區域界定為視域(FOV) 205。FOV分成由206a、206b、206c表示之等角視區。此劃分經繪示以促進本發明實施例之揭示，且未必為方法或攝影機系統之實施方案之一部分。換言之，在實現所揭示之攝影機系統時，不意欲將FOV實體分成不同視區。
由攝影機系統之影像感測器204擷取一視訊序列。圖2中繪示視訊序列之一代表性影像圖框210。影像圖框210包含對應於房屋201之一第一成像物件221及對應於樹202之一第二成像物件212。影像圖框210係失真的，因為其藉由使用廣角鏡頭207來擷取。可將失真描述為提供場景之一凸外觀。廣角鏡頭可具有提供不同外觀之失真之不同映射函數。映射函數類型之非限制性實例係立體、等距、等立體角及正交的。最後，使用鏡頭207之鏡頭多項式來界定失真。
針對使用鏡頭207之攝影機系統，基於鏡頭207之鏡頭多項式來判定一空間解析度分佈。一鏡頭多項式之一非限制性實例係： 角度=T_1+T_2*x+T_3*x^2+T_4*x^3+T_5*x^4 其中角度係感測器至鏡頭軸線與面向內之鏡頭表面之間的角度，x界定為與鏡頭之中心之距離(以毫米為單位)，且T參數給出以下值： T_1=0 T_2=-35 T_3=-0.03 T_4=-0.408 T_5=0.010
基於鏡頭多項式，所判定之一空間解析度分佈表示為每FOV角206a、206b、206c之像素數目。換言之，空間解析度分佈判斷由影像圖框210中不同像素之等角視區206a、206b、206c之一者覆蓋之像素之數目。可看出，在影像圖框210之一中心區域中，比影像圖框210之一周邊區域多之像素數目覆蓋一等角視區。
例如，空間解析度可表示為提供像素或像素群組(例如用於巨集區塊)之空間解析度之一表。可判定像素群組之空間解析度，其中像素群組具有取決於其位於影像圖框之哪個區域上之不同大小。針對一廣角鏡頭(諸如一魚眼)，空間解析度可界定於用於(例如)大小16×16之較大巨集區塊之一中心區域中，且可界定於用於(例如)大小4×4之較小巨集區塊之周邊區域(其具有比中心區域大之一失真)中。因此，達成表示空間解析度分佈之一更高效率方式。針對其他鏡頭，可應用相同原理。即，空間解析度可針對具有低失真之影像區域之較大像素群組來界定，且可針對具有高失真之影像區域之較小像素群組來界定。可透過鏡頭多項式來判定影像之不同部分中之失真之位準。
基於所判定之空間解析度分佈來判定一移動偵測靈敏度圖300，如圖3中所繪示。移動偵測靈敏度圖300具有相同於影像圖框210 (及視訊序列之其他影像圖框)之尺寸。移動偵測靈敏度圖300包括表示不同移動偵測靈敏度位準之區域302、303、304。可藉由形成不同空間解析度或空間解析度間隔之不同區域來產生移動偵測靈敏度圖300。移動偵測靈敏度圖300中之區域302、303、304與取決於其表示之空間解析度或空間解析度間隔之不同移動偵測靈敏度位準相關聯。
在此實施例中，移動偵測靈敏度圖300之區域302、303、304形成自一參考位置301在一徑向方向上延伸之一橢圓形圖案。橢圓形圖案源自隨與影像圖框210之一中心位置之距離而變動之空間解析度分佈。空間解析度分佈(以每FOV角之像素表示)隨與影像圖框210之一中心位置之距離而減小。換言之，在影像圖框210之周邊區域中，比影像圖框210之中心區域少之像素數目覆蓋相同FOV角。移動偵測靈敏度圖300反映此關係：區域302、303、304之移動偵測靈敏度位準隨自各區域至參考位置301之一徑向距離而增大。移動偵測靈敏度位準可表示為一標度(例如1至100)上之一數值。
基於移動偵測靈敏度圖300來將一移動偵測演算法應用於包含影像圖框210之視訊序列。可在習知移動偵測演算法中選擇移動偵測演算法。根據移動偵測靈敏度圖300來設定影像圖框210之不同區域之移動偵測靈敏度位準。換言之，在一中心區域302中，依比一偏周邊區域304中所偵測之移動低之靈敏度偵測移動。一旦已判定移動偵測靈敏度圖，則如何針對不同區域使用不同移動靈敏度位準來實施一移動偵測係已知的且在熟習技術者之所及範圍內，本文中完全無需進一步說明。可藉由使移動偵測基於一移動偵測靈敏度圖來應用一移動偵測，不管視訊序列之影像圖框之失真如何，且移動偵測具有相同於應用於具有一直線透視之影像圖框之移動偵測之令人滿意結果。
移動偵測靈敏度圖300可由(例如)一表或一函數表示。
例如，一表可使像素或像素子群(諸如不同大小之巨集區塊)與一移動偵測靈敏度位準相關聯：
Figure 108110037-A0304-0001
一函數可(例如)提供依據與參考位置301之距離而變化之移動偵測靈敏度位準作為一輸出： MDSL=f(dref ) 其中MDSL係移動偵測靈敏度位準且dref 係與參考位置301之距離。
此處依二維方式繪示第一實施例以促進基本發明原理之理解。然而，熟習技術者可將此方式轉換成需要三維方法之一現實世界實施方案。
應用於包括一廣角鏡頭之一攝影機系統之本發明方法亦可應用於包括其他類型之實體失真源之攝影機系統。此一攝影機系統之一實例係包括攝影機透過其來描繪一場景之一光學圓頂之一光學半球型攝影機。即，用於擷取影像之光或其他輻射在穿過包括一鏡頭之光學器件且由影像感測器感知之前傳輸穿過一透明或半透明光學圓頂。光學圓頂具有可使用一鏡頭多項式來描述之一圓頂形狀，該鏡頭多項式可用於依相同於上文針對廣角鏡頭攝影機系統所描述之方式之方式判定擷取影像圖框之一空間解析度分佈。
繼續第二實施例，圖4中繪示一組原影像401、402。各原影像401、402由一攝影機系統中之一攝影機之一影像感測器擷取。原影像401、402可透過一直線鏡頭來擷取。原影像401、402可由多個感測器攝影機系統中之不同影像感測器擷取或由經調適以搖攝一場景之一單一影像感測器擷取。原影像401描繪諸如一房屋404、一第一樹405及一第二樹406之物件。
藉由基於一投影演算法拼接原影像401、402來產生一失真全景影像圖框403。可對影像圖框403使用習知投影演算法，例如一圓柱投影演算法。
基於投影演算法來判定一空間解析度分佈。如何判定空間解析度分佈之原理相同於第一實施例。可基於投影演算法來計算不同像素或像素子群之空間解析度。
基於空間解析度分佈來判定圖5中所繪示之一移動偵測靈敏度圖500。移動偵測靈敏度圖500可描述為將空間解析度分佈轉化成具有不同移動偵測靈敏度位準之不同區域。在此例示實施例中，移動偵測靈敏度圖500包括遠離一水平直線彎曲之水平延伸區域501、502、503。水平線對應於場景之地平線之位置，且因此可取決於攝影機如何定位而不同定位。各區域501、502、503表示一移動偵測靈敏度位準。
基於移動偵測靈敏度圖500來將一移動偵測演算法應用於包含影像圖框403之視訊序列。可在習知移動偵測演算法中選擇移動偵測演算法。根據移動偵測靈敏度圖500來設定影像圖框403之不同區域之移動偵測靈敏度位準。移動偵測靈敏度圖500可由(例如)一表或一函數表示。
相同於第一實施例之原理適用於此第二實施例，且因此不再詳細揭示。參考第一實施例之揭示內容。
儘管上述實例揭示將方法應用於僅包括一個失真源之攝影機系統，但熟習技術者應瞭解，方法可應用於包括一個以上失真源之一攝影機系統。失真源之組合之非限制性實例係：一廣角鏡頭與一光學圓頂之組合、一廣角鏡頭與一拼接演算法之組合或一光學圓頂與一拼接演算法之組合。此外，基於本文中之描述，熟習技術者可將方法應用於具有組合失真源之一攝影機系統。特定言之，在該情況中，基於多個失真源來判定空間解析度分佈，其可透過習知方法來完成。一非限制性實例係基於一廣角鏡頭之一鏡頭多項式及基於一光學圓頂之一鏡頭多項式來判定空間解析度分佈。
上文所揭示之實施例之各者表明，移動偵測靈敏度圖取決於空間解析度分佈。換言之，不同空間解析度分佈呈現不同移動偵測靈敏度圖。此適用於空間解析度分佈，不管其如何判定，例如其係基於一鏡頭多項式或一投影演算法。
熟習技術者應意識到，本發明絕不受限於上文所描述之較佳實施例。相反地，可在隨附申請專利範圍之範疇內進行諸多修改及變動。例如，可使用其他類型之鏡頭多項式或投影演算法。此外，方法亦適用於包括失真影像圖框之視訊序列，其失真源自除本文中所揭示之程序之外之其他程序。
100‧‧‧方法 101‧‧‧第一步驟 102‧‧‧第二步驟 103‧‧‧第三步驟 201‧‧‧房屋 202‧‧‧樹 204‧‧‧影像感測器 205‧‧‧視域(FOV) 206a‧‧‧等角視區 206b‧‧‧等角視區 206c‧‧‧等角視區 207‧‧‧廣角鏡頭 210‧‧‧影像圖框 212‧‧‧第二成像物件 221‧‧‧第一成像物件 300‧‧‧移動偵測靈敏度圖 301‧‧‧參考位置 302‧‧‧區域 303‧‧‧區域 304‧‧‧區域 401‧‧‧原影像 402‧‧‧原影像 403‧‧‧失真全景影像圖框 404‧‧‧房屋 405‧‧‧第一樹 406‧‧‧第二樹 500‧‧‧移動偵測靈敏度圖 501‧‧‧區域 502‧‧‧區域 503‧‧‧區域
現將藉由實例且參考隨附示意圖來更詳細描述本發明，其中： 圖1繪示根據一實施例之用於偵測移動之一方法。 圖2繪示由一影像感測器擷取於一影像圖框中之一場景。 圖3繪示根據一實施例之一移動偵測靈敏度圖。 圖4繪示拼接成一共同失真影像圖框之一組原影像。 圖5繪示根據一實施例之一移動偵測靈敏度圖。
100‧‧‧方法
101‧‧‧第一步驟
102‧‧‧第二步驟
103‧‧‧第三步驟

Claims (13)

  1. 一種用於偵測一視訊序列中之移動之方法，該視訊序列包括經由至少一影像感測器所產生之失真影像圖框，該方法包括： 判定該等失真影像圖框之一空間解析度分佈； 判定該等失真影像圖框之一移動偵測靈敏度圖，該移動偵測靈敏度圖包括具有不同移動偵測靈敏度位準之區域，其中基於該空間解析度分佈來判定該移動偵測靈敏度圖；及 基於該移動偵測靈敏度圖來偵測該視訊序列中之移動。
  2. 如請求項1之方法，其中藉由一影像感測器透過一廣角鏡頭擷取來產生該等失真影像圖框，且其中基於該廣角鏡頭之一鏡頭多項式來判定該空間解析度分佈。
  3. 如請求項2之方法，其中該廣角鏡頭係一魚眼鏡頭。
  4. 如請求項2之方法，其中藉由一影像感測器透過一光學圓頂擷取來產生該等失真影像圖框，且其中基於該光學圓頂之一鏡頭多項式來判定該空間解析度分佈。
  5. 如請求項2之方法， 其中該移動偵測靈敏度圖之該等區域形成自該移動偵測靈敏度圖之一參考位置徑向延伸之一橢圓形圖案，及 其中各區域之該移動偵測靈敏度位準隨自該區域至該參考位置之一徑向距離而增大。
  6. 如請求項1之方法，其中藉由基於一投影演算法拼接由一或多個影像感測器擷取之複數個原影像來產生各失真影像圖框。
  7. 如請求項6之方法，其中基於該投影演算法來判定該空間解析度分佈。
  8. 如請求項1之方法，其進一步包括： 基於該偵測移動來執行物件偵測、物件追蹤、地面偵測或判定警報事件。
  9. 一種電腦程式產品，其包括一電腦可讀媒體，該電腦可讀媒體上儲存有電腦碼指令，該等指令經調適以在由具有處理能力之一裝置執行時實施如請求項1之方法。
  10. 一種用於偵測一視訊序列中之移動之移動偵測組件，該視訊序列包括經由至少一影像感測器所產生之失真影像圖框，該移動偵測組件包括： 一空間解析度分佈組件，其經調適以判定該等失真影像圖框之一空間解析度分佈； 一移動偵測靈敏度圖組件，其經調適以判定該等失真影像圖框之一移動偵測靈敏度圖，該移動偵測靈敏度圖包括具有不同移動偵測靈敏度位準之區域，其中基於該空間解析度分佈來判定該移動偵測靈敏度圖；及 一移動偵測組件，其經調適以基於該移動偵測靈敏度圖來偵測該視訊序列中之移動。
  11. 一種攝影機，其包括如請求項10之移動偵測組件。
  12. 如請求項11之攝影機，其進一步包括一廣角鏡頭，影像透過該廣角鏡頭來由該攝影機之一影像感測器擷取。
  13. 如請求項12之攝影機，其進一步包括複數個影像感測器且進一步包括一拼接組件，該拼接組件經調適以拼接來自由該複數個影像感測器擷取之複數個原影像之影像圖框。
TW108110037A 2018-05-04 2019-03-22 用於偵測在一視訊序列中之移動之方法、電腦可讀媒體、移動偵測組件及攝影機 TWI746947B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18170829.8A EP3564917B1 (en) 2018-05-04 2018-05-04 A method for detecting motion in a video sequence
EP18170829.8 2018-05-04

Publications (2)

Publication Number Publication Date
TW202001792A true TW202001792A (zh) 2020-01-01
TWI746947B TWI746947B (zh) 2021-11-21

Family

ID=62134078

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108110037A TWI746947B (zh) 2018-05-04 2019-03-22 用於偵測在一視訊序列中之移動之方法、電腦可讀媒體、移動偵測組件及攝影機

Country Status (6)

Country Link
US (1) US10783646B2 (zh)
EP (1) EP3564917B1 (zh)
JP (1) JP6866419B2 (zh)
KR (1) KR102156998B1 (zh)
CN (1) CN110443750B (zh)
TW (1) TWI746947B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
KR20230106385A (ko) * 2022-01-06 2023-07-13 삼성전자주식회사 카메라를 포함하는 전자 장치 및 움직이는 물체를 촬영하는 동영상 생성 방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003088648A1 (fr) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Detecteur de mouvement, systeme de traitement d'image, procede de detection de mouvement, programme, support d'enregistrement
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4340915B2 (ja) * 2006-02-01 2009-10-07 ソニー株式会社 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置
US20070252693A1 (en) * 2006-05-01 2007-11-01 Jocelyn Janson System and method for surveilling a scene
JP4525945B2 (ja) * 2007-08-07 2010-08-18 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体
CN101179725A (zh) * 2007-12-12 2008-05-14 北京中星微电子有限公司 一种运动检测方法与装置
EP2199806A1 (en) 2008-12-18 2010-06-23 Universität Zürich Passive translational velocity measurement from optical information
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
US9215358B2 (en) * 2009-06-29 2015-12-15 Robert Bosch Gmbh Omni-directional intelligent autotour and situational aware dome surveillance camera system and method
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
JP5577939B2 (ja) * 2010-08-20 2014-08-27 ソニー株式会社 撮像装置、収差補正方法、および、プログラム
US8982180B2 (en) * 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
JP4980486B1 (ja) * 2011-06-14 2012-07-18 株式会社ナナオ 動き画像領域判定装置またはその方法
US8681223B2 (en) * 2011-06-24 2014-03-25 Honeywell International Inc. Video motion detection, analysis and threat detection device and method
CN104380709B (zh) * 2012-06-22 2018-05-29 富士胶片株式会社 摄像装置及其动作控制方法
KR20140109537A (ko) * 2013-02-28 2014-09-16 엘지전자 주식회사 디지털 비디오 레코더 및 이를 이용한 객체 추적 방법
JP6209002B2 (ja) * 2013-07-16 2017-10-04 キヤノン株式会社 撮像装置およびその制御方法
US20160225160A1 (en) * 2013-09-26 2016-08-04 Mitsubishi Electric Corporation Monitoring camera, monitoring system, and motion detection method
JP6170395B2 (ja) * 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
JP6090193B2 (ja) * 2014-02-07 2017-03-08 三菱電機株式会社 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法
JP6027560B2 (ja) * 2014-02-18 2016-11-16 富士フイルム株式会社 自動追尾撮像装置
JP6374228B2 (ja) * 2014-06-11 2018-08-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、およびプログラム
JP6652060B2 (ja) * 2014-09-25 2020-02-19 日本電気株式会社 状態判定装置および状態判定方法
US9614908B2 (en) 2014-10-13 2017-04-04 Qualcomm Incorporated Selecting a leader to perform a floor arbitration function for a P2P session
US10371510B2 (en) * 2015-03-20 2019-08-06 Nec Corporation Structure status determination device, status determination system, and status determination method
WO2016160794A1 (en) * 2015-03-31 2016-10-06 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
CN104954738A (zh) * 2015-04-30 2015-09-30 广州视声光电有限公司 一种移动侦测方法及装置
WO2016191142A2 (en) * 2015-05-27 2016-12-01 Verily Life Sciences Llc Nanophotonic hyperspectral/lightfield superpixel imager
US10498962B2 (en) * 2015-07-22 2019-12-03 Sony Corporation Camera module that corrects for camera shake and optical-system distortion
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
JP6987508B2 (ja) * 2017-02-20 2022-01-05 オムロン株式会社 形状推定装置及び方法
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置

Also Published As

Publication number Publication date
US20190340771A1 (en) 2019-11-07
EP3564917A1 (en) 2019-11-06
TWI746947B (zh) 2021-11-21
KR20190127543A (ko) 2019-11-13
CN110443750B (zh) 2021-07-27
US10783646B2 (en) 2020-09-22
JP6866419B2 (ja) 2021-04-28
EP3564917B1 (en) 2020-07-01
JP2020004389A (ja) 2020-01-09
KR102156998B1 (ko) 2020-09-16
CN110443750A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
US20160173841A1 (en) Camera Assisted Two Dimensional Keystone Correction
US9124831B2 (en) System and methods for calibration of an array camera
JP3935499B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP5843454B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP7179472B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
JP2009080846A (ja) 画像処理装置および画像処理方法
JP2011182176A (ja) 広視野角画像処理方法と広視野角画像撮影装置
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
JP4193342B2 (ja) ３次元データ生成装置
TWI746947B (zh) 用於偵測在一視訊序列中之移動之方法、電腦可讀媒體、移動偵測組件及攝影機
US11812137B2 (en) Measurement apparatus, image capturing apparatus, control method, and recording medium
US10122990B2 (en) Imaging system and method of producing context and focus images
JP6585668B2 (ja) 物体検出装置
JP5906139B2 (ja) 補正装置、そのプログラム及び立体撮像システム
JP6550102B2 (ja) 光源方向推定装置
JP2018191049A (ja) 撮像装置及びその調整方法
JP5453328B2 (ja) 立体撮像システム、補正装置およびそのプログラム
JP6732509B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2004007213A (ja) ディジタル３次元モデル撮像機器
CN118037623A (zh) 电子图像防抖评估方法、电子图像防抖评估装置、终端及存储介质
TW202405744A (zh) 使用運動校正之全景影像處理方法
JP2020076590A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラムおよび記録媒体
JP2019020330A (ja) 物体検出装置