TWI689203B - 預處理數位影像之方法及數位影像預處理系統 - Google Patents

預處理數位影像之方法及數位影像預處理系統 Download PDF

Info

Publication number
TWI689203B
TWI689203B TW105127565A TW105127565A TWI689203B TW I689203 B TWI689203 B TW I689203B TW 105127565 A TW105127565 A TW 105127565A TW 105127565 A TW105127565 A TW 105127565A TW I689203 B TWI689203 B TW I689203B
Authority
TW
Taiwan
Prior art keywords
image
movement
preprocessing
processing
image sensor
Prior art date
Application number
TW105127565A
Other languages
English (en)
Other versions
TW201724841A (zh
Inventor
亞歷山大 瑪汀斯
維克多 艾德帕姆
范星
拉斯 柏森
費德立克 皮爾
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201724841A publication Critical patent/TW201724841A/zh
Application granted granted Critical
Publication of TWI689203B publication Critical patent/TWI689203B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Geometry (AREA)

Abstract

本發明揭示一種預處理由一影像感測器擷取之數位影像以供編碼之方法。該方法包括：接收一第一數位影像(S01)；在擷取該第一數位影像之一時間接收表示該影像感測器之一移動之資訊(S02)；及預處理該第一數位影像(S03)。該預處理之至少一參數取決於表示移動之該資訊(S04)。本發明亦揭示一種數位影像預處理系統。

Description

預處理數位影像之方法及數位影像預處理系統
本發明係關於數位影像處理之領域，且更特定言之係關於預處理數位影像以為編碼作準備。
在數位影像例如在監視系統中之許多使用中，使用各種編碼方案壓縮數位影像以供傳輸或儲存。在編碼之前，執行對數位影像之預處理。預處理可例如涉及銳化或雜訊濾波以改良影像之品質。然而，當擷取影像之影像感測器在擷取期間移動時產生一問題。首先，影像中隨之而來的變化導致來自編碼器之一較高輸出位元率，此係因為影像之間存在較少時間冗餘。若頻寬十分有限(諸如在經由一行動網路傳輸時)，則當快速移動引起增加的位元率時甚至可能無法傳輸來自一攝影機之視訊。另外，移動可使預處理影像在計算方面更繁重。除此之外，與在影像感測器靜止時擷取之一對應影像相比，預處理可增加表示該等影像所需之位元數目。此問題之一個解決方案係在一攝影機(包括影像感測器)之搖攝及/或傾斜期間凍結對影像之編碼，及僅在移動已停止之後繼續編碼新的輸入影像圖框。然而，此意謂損失移動期間之視覺資訊，且正觀看所傳輸之影像序列之一操作者可迷失方向(disoriented)。因此，需要一種改良的編碼方法。
本發明之一目的係提供一種預處理數位影像以供編碼之方法，該方法容許在擷取該等影像之影像感測器移動時之一較低位元率。本發明之另一目的係提供一種預處理方法，該方法使得可避免在影像感測器移動時之不必要之繁重計算。又一目的係提供一種預處理數位影像以供編碼之方法，該方法在影像感測器之移動期間亦啟用視覺資訊。另一目的係提供一種預處理方法，該方法可提供在影像感測器之移動期間具有改良的可用性之影像。 本發明之一目的亦為提供一種預處理系統，該系統可避免在擷取影像之影像感測器移動時之不必要之高位元率及不必要之高計算使用。此外，本發明之一目的係提供一種預處理系統，該系統可實現在影像感測器之移動期間之影像之改良的可用性。 一額外目的係提供一種預處理系統，該系統在影像感測器移動時亦實現對影像之供應。 另一目的係提供一種電腦程式產品，其在擷取影像之影像感測器移動時亦實現有效位元率。 根據一第一態樣，此等目的完全或至少部分藉由預處理由一影像感測器擷取之數位影像以供編碼之一方法達成，該方法包括：接收一第一數位影像；在擷取該第一數位影像之一時間接收表示該影像感測器之一移動之資訊；及預處理該第一數位影像，其中該預處理之至少一參數取決於表示移動之該資訊。以此方式，預處理可經調適使得該影像感測器之該移動並未引起不必要之高位元率。藉此，影像可經編碼且經儲存或傳輸以亦在該影像感測器之移動時期期間顯示，而未以增加的位元率為代價。此外，由於在該影像感測器之移動期間(例如，在一快速搖攝移動期間)擷取之影像通常將為模糊的，故可藉由修改預處理而引起之一影像品質損失對此等影像之可用性將具有較小影響。 若該影像感測器之移動超過一預定臨限值，則可修改該預處理之該至少一參數，使得與若該移動等於或低於該臨限值相比，該第一數位影像由該預處理較少處理。 此外，可修改該預處理之該至少一參數使得停用至少一預處理程序。例如，當該影像感測器移動時可省去銳化，此係因為該等影像實際上無論如何將不會受益於銳化。 根據另一變體，修改該至少一參數使得至少一預處理程序處理該第一數位影像，但在一更大或更小程度上。作為一實例，可在一更大程度上應用濾波。作為又一實例，可執行色調映射，但在一較小程度上。 根據另一變體，修改該預處理之該至少一參數使得啟用原本停用之至少一預處理程序。例如，可在該影像感測器之移動期間應用模糊，藉此使該等影像中之像素區塊或多或少均勻，此導致表示影像之較低位元需求。 該預處理可包括執行選自由以下各者組成之群組之至少一預處理程序：銳化、增添對比度、色調映射、色彩校正、空間及/或時間雜訊濾波、模糊、拜耳圖案(Bayer pattern)取樣、去馬賽克、HDR合併、控制焦點、控制曝光及控制增益。應注意，在影像感測器資料之內容背景中，雜訊係表示場景中不存在之事物之感測器資料。雜訊可為時間的(即，自一個影像圖框至下一影像圖框變化)，或空間的(即，在相同圖框內自一個像素至另一像素不同)。存在各種雜訊源。時間雜訊可為例如重設雜訊、熱雜訊、閃爍雜訊、暗電流散彈雜訊、量化雜訊或相位雜訊。空間雜訊可為例如暗固定圖案雜訊、亮固定圖案雜訊、漏洩元件(leaker)雜訊、缺陷像素雜訊或外觀缺陷雜訊。 表示該影像感測器之一移動之資訊可係由控制該影像感測器之移動之一搖攝、傾斜及/或變焦控制器提供。以此方式，鑒於影像之刻意移動，可對該預處理進行調適。此處可注意，變焦本身並不暗示該影像感測器之一移動。然而，為編碼影像之目的，變焦將誘發經擷取影像中之變化，類似於該影像感測器之實際移動。因此，在本申請案之內容背景中，一變焦操作將視為等效於影像感測器之一移動。 表示該影像感測器之一移動之資訊可係由一運動感測器提供。據此，可考慮到藉由搖動引起之非所要移動。來自該運動感測器之資訊亦可用於提供關於搖攝、傾斜及/或變焦操作之資訊。 根據該方法之一變體，逐漸修改該至少一參數以為該影像感測器之一計劃移動作準備。以此方式，例如，可逐漸增添較難雜訊濾波直至導致一計劃移動，或可逐漸減小銳化。藉此，可避免影像之外觀之突然變化。 該方法可進一步包括將該第一數位影像編碼為一框內圖框(intra-frame)以為該影像感測器之一計劃移動作準備。若經擷取影像中存在移動，則框間圖框(inter-frame)將歸因於圖框之間之較大差異而較大。在某一時刻，該等差異將足夠大使得編碼不依賴於其他影像圖框之一框內圖框將更有效率。若已知將存在移動，則可強制一框內圖框使得可避免不必要之大框間圖框。藉由強制或插入一框內圖框，經編碼圖框可具有較高品質，此係因為後續影像可參考該框內圖框編碼為框間圖框。該等後續框間圖框可因具有一更適合參考圖框而亦需要較少位元。 根據第二態樣，上述目的完全或至少部分藉由用於預處理由一影像感測器擷取之輸入影像以供編碼之一數位影像預處理系統達成，該系統包括：一影像接收模組，其經配置以接收輸入影像；一移動資訊接收模組，其經配置以在擷取該第一數位影像之一時間接收表示該影像感測器之一移動之資訊；及一預處理模組，其經配置以在編碼之前預處理該等輸入影像，其中該預處理之至少一參數取決於表示移動之該資訊。藉由此一系統，可在該影像感測器之移動期間提供影像，而無需以不必要之高輸出位元率為代價。 該預處理模組可經配置以執行選自由以下各者組成之群組之至少一預處理程序：銳化、增添對比度、色調映射、色彩校正、時間及/或空間雜訊濾波、模糊、拜耳圖案取樣、去馬賽克、HDR合併、控制焦點、控制曝光及控制增益。 在數位影像預處理之一實施例中，該移動資訊接收模組通信連接至控制該影像感測器之移動之一搖攝、傾斜及/或變焦控制器。藉此，可提供關於刻意移動之資訊。 替代地或額外地，該移動資訊接收模組可通信連接至一運動感測器。如結合該方法所論述，藉此可提供關於無意以及刻意移動之資訊。 根據一第三態樣，上述目的完全或至少部分藉由包括根據第二態樣之一預處理系統之一攝影機達成。此一攝影機大體上可依與第二態樣相同之方式具體實施而具有伴隨優點。 根據一第四態樣，上述目的完全或至少部分藉由包括具有經調適以在由一處理器執行時實行根據第一態樣之方法之指令之一電腦可讀儲存媒體之一電腦程式產品達成。該處理器可為任何種類之處理器，例如，一中央處理單元(CPU)、一圖形處理單元(GPU)、在一積體電路中實施之定製處理裝置、一ASIC、一FPGA或包含離散組件之邏輯電路。該電腦程式產品大體上可依與第一態樣相同之方式變化而具有伴隨優點。 自下文給出之詳細描述將明白本發明之適用性之一進一步範疇。然而，應瞭解，該詳細描述及特定實例在指示本發明之較佳實施例時僅係以圖解說明之方式給出，此係因為熟習此項技術者自此詳細描述將明白在本發明之範疇內之各種改變及修改。 因此，應瞭解，本發明不限於所描述之裝置之特定組件部分或所描述之方法之步驟，此係因為此裝置及方法可變化。亦應瞭解，本文中使用之術語係僅用於描述特定實施例之目的且並不意欲限制。必須注意，如說明書及隨附技術方案中所使用，不定冠詞「一(a/an)」、「該(the)」及「所述(said)」意欲意謂存在元件之一或多者，除非上下文另有明確指示。因此，例如，對「一物體」或「該物體」之一引用可包含若干物體及類似者。此外，字詞「包括」並不排除其他元件或步驟。
在圖1中，展示由一攝影機2監視之一場景1。圖2中展示一攝影機之一實例。此攝影機2具有一影像感測器(圖2中未展示)及一鏡頭3。攝影機2係一所謂的PTZ攝影機，其具有繞一搖攝軸4搖攝及繞一傾斜軸5傾斜之能力。攝影機2亦能夠變焦。 圖3係展示攝影機2之一些組件之一方塊圖。此處，可見經配置以擷取影像之一影像感測器6，以及用於控制攝影機2之搖攝及傾斜之一PT控制器7。此外，攝影機2具有用於控制變焦之一變焦控制器8。攝影機2亦將具有此項技術中已知之額外組件，該等組件與本發明不相關且因此此處將不再展示或論述。 現將參考圖4描述用攝影機2擷取且編碼場景1之影像之一程序之基本原理。來自場景1之光透過鏡頭3進入攝影機2且由影像感測器擷取10。來自影像感測器6之資料呈灰階強度之形式，大體上各像素由一各自數位值表示。接著，經擷取影像或更明確言之表示影像之資料經歷預處理11。預處理11可涉及一或多個預處理程序，諸如拜耳圖案取樣、去馬賽克、銳化及色調映射。預處理程序大體上旨在提供一更高品質或更可用之影像。此後，經預處理之影像準備好用於編碼12。編碼可根據任何壓縮格式完成。 若攝影機2在一視訊序列之擷取期間移動，無論由於一計劃或自發刻意搖攝、傾斜或變焦操作或由於無意振動，該等影像可變得模糊。此外，移動導致表示影像之增加的位元率，此係因為與一靜態場景之影像之間相比，一移動場景之影像之間存在較少冗餘。若頻寬十分有限(諸如在一行動網路上)，則增加的位元率對於傳輸視訊可過高，藉此使得例如在攝影機之快速搖攝或傾斜移動期間無法傳輸任何影像。如上文所述，在搖攝、傾斜及/或變焦期間，有時藉由凍結一影像而處置位元率問題。以此方式，在移動期間並未預處理且編碼影像，藉此導致一較低位元率。然而，此一方法意謂在移動期間向操作者提供較少視覺資訊或不提供視覺資訊。因此，操作者不大可能注意到出現於在移動期間轉變的場景之區域中之可疑物體或行為。缺乏移動期間之視覺資訊亦可導致迷失方向，此係因為僅向操作者提供了移動之開始位置及移動之結束位置之影像而無其間之影像。對於視訊序列之實況顯示，此等問題與錄影視訊序列相同。 根據本發明，在攝影機移動期間不應凍結影像。儘管此可導致較高位元率，然在移動期間可得到之視覺資訊可為值得的。然而，發明者已意識到可藉由修改在編碼之前應用之預處理而避免部分位元率增加。 例如，銳化藉由增加影像中之差異而起作用，且藉此亦可導致增加的雜訊。繼而，該等差異及雜訊導致在編碼經銳化影像時之較高位元率。在攝影機(或更精確而言，影像感測器)之移動期間，可藉由減少或甚至停用銳化而抑制位元率之增加。 類似地，用於改良一影像之動態範圍之色調映射增添影像之暗區域與亮區域之差異且可增添雜訊，藉此增加位元率。在移動期間停用色調映射可抑制部分位元率增加。 以相同方式，可停用或在一較小程度上應用否則將增加位元率之其他預處理程序。直覺上，此將降低影像品質，但由於在攝影機移動期間擷取之影像通常模糊，故降低之影像品質在大多數情況中將不為操作者所關注。此外，在快速移動期間，影像可能甚至無法受益於預處理。 甚至可採取減少或停用銳化，以達到在攝影機之移動期間實際上增添模糊的程度。因此，代替增加影像中之差異，可例如藉由計算一區塊或像素群組之一平均照度值及將該平均照度值用作該區塊中之全部像素之照度值而減小差異。以此方式，將像素值「塗抹(smear)」於影像之區域上。 可在攝影機之移動期間修改一些預處理程序，儘管並未藉此促成降低位元率之目標，但實際上改良影像品質或影像可用性。一些攝影機藉由在一短時段內擷取兩個連續影像而改良影像中之動態範圍。針對該等影像之一者使用一低曝光，而導致其中場景之亮區域清晰可見而暗區域缺乏細節且或多或少完全黑色之一影像。針對另一影像使用一高曝光，而導致其中亮區域曝光過度或飽和而呈現完全白色且暗區域展示細節之一影像。藉由選擇性地使用一個影像或另一影像之區域，產生其中可詳細展示場景之暗區域及亮區域兩者之一合併影像。此等預處理程序稱為HDR (高動態範圍)合併或WDR (廣動態範圍)合併。為使此合併給出一良好結果，必須以兩個不同曝光之影像之間的其等展示相同場景之此短時間擷取該兩個不同曝光之影像，否則在兩次擷取之間在場景中移動之物體將呈現模糊。然而，若攝影機在移動，則可能無法及時擷取足夠緊靠以實際上展示相同場景之兩個影像。因此整個影像可呈現模糊。為補救此問題，可在攝影機之移動期間停用HDR合併。因此，僅可編碼兩個不同曝光之影像之一者，或可停用對兩個不同曝光之影像之擷取，使得擷取且編碼僅一個影像。 當判定影像感測器之移動時，可重設在一視訊序列期間隨時間收集之影像或視訊統計資料，諸如照度值、色度值、照度及/或色度之方差、運動資訊、自動聚焦值、移動物體計數、位元率或濾波參數。以此方式，移動將不損壞統計資料。 為確認應進行之對預處理程序之一或多者之一修改，獲得關於攝影機2 (或更精確而言，影像感測器6)之移動之資訊。此資訊可由PT控制器7提供，該PT控制器7無論如何具有此資訊以控制攝影機2之搖攝及傾斜。類似地，此資訊可由變焦控制器8提供。攝影機2亦可具有一運動感測器9 (例如一加速度計)，其感測影像感測器之移動。當攝影機2無意振動或搖動時，運動感測器9可提供關於影像感測器6之移動之資訊。除PT控制器7之外或代替PT控制器7，該運動感測器9亦可提供關於影像感測器6之刻意移動之資訊。 如已論述，移動可為一所要移動或一非所要移動。例如，可使用諸如一操縱桿之一輸入裝置來控制所要移動。亦可將所要移動計劃且預程式化為所謂的巡查。非所要移動可為例如因風或交通或因攝影機之不充分固定而引起之振動。 若攝影機之一移動經計劃，則可對一或多個預處理程序進行修改以為移動作準備。例如，可修改時間雜訊濾波使得濾波逐漸變得更嚴格且接著可保持在一增加的位準直至移動結束。一增加的雜訊濾波可導致經預處理之影像中之細節損失，但再次，在攝影機之移動期間，此在大多數情況中對於影像之可用性將不受關注。可在時間上以及空間上完成濾波。可使用此兩種類型之一者或兩者，且可在移動期間修改其等之間之一平衡，使得當影像感測器靜止時完成更多或僅時間濾波，且當影像感測器移動時完成更多或僅空間濾波。 為一計劃移動作準備，亦可修改編碼。若已知攝影機將移動，則隱含地已知影像中將存在明顯移動，而導致較大框間圖框。當移動開始時，可因此強制一框內圖框，藉此針對後續框間圖框提供一較佳參考。 參考圖5，將以更一般術語描述方法。接收一第一數位影像(步驟S01)且在擷取第一數位影像之一時間接收表示影像感測器之一移動之資訊(步驟S02)。預處理第一數位影像(步驟S03)。基於表示移動之資訊，決定是否修改預處理之一或多個參數及如何修改預處理之一或多個參數(步驟S04)。例如，可比較移動與一預定臨限值，且若移動超過該臨限值，則停用、啟用或以其他方式修改一或多個預處理程序。 可基於針對一先前影像接收之表示移動之資訊修改預處理，使得影像感測器之一移動將僅影響隨後擷取之影像之預處理。對於一些預處理程序，可立即修改參數使得影像感測器之一移動將影響對已針對其接收到表示影像感測器之移動之資訊的影像及可能亦隨後擷取之影像之預處理。 在預處理(S03)之後，編碼第一影像(步驟S05)，使得可傳輸及/或儲存該第一影像。 在圖6中，展示一數位影像預處理系統20之一實施例。系統20具有：一影像接收模組21，其經配置以接收輸入影像；及一移動資訊接收模組22，其經配置以在擷取輸入影像之一時間接收表示影像感測器之一移動之資訊。此外，系統20具有經配置以預處理輸入影像之一預處理模組23。預處理之至少一參數取決於表示影像感測器之移動之資訊。在預處理之後，可藉由一編碼器(未展示)編碼影像。編碼器可整合於預處理系統20中，或其可與預處理系統20分離。預處理系統20可整合於一攝影機中，諸如圖7中示意性地展示之攝影機102。在圖7中，用相同元件符號(但加上一百)指示與圖3中所示之攝影機2中相同之攝影機102之組件，且此處將不再論述。 或者，預處理程序20可為一分離單元，其可操作地連接至一攝影機，諸如圖3中之攝影機2。 預處理系統可具體實施為硬體、韌體、軟體或其等之一組合。 將明白，熟習此項技術者可以許多方式修改上文描述之實施例且仍使用如上文實施例中所示之本發明之優點。作為一實例，已提及幾個預處理程序，但本發明同樣適用於經應用以為編碼一數位影像作準備之其他預處理程序，例如，增添對比度、色彩校正、拜耳圖案取樣、去馬賽克或控制增益。應瞭解，可減少或停用趨於增添雜訊之預處理程序以降低輸出位元率，而可啟用或增加趨於減少雜訊之預處理程序以達相同目的。 結合圖3，將PTZ控制器描述為一個控制器用於搖攝及傾斜且一個控制器用於變焦。然而，其亦可由分別用於搖攝、傾斜及變焦之各者之各別控制器或用於搖攝、傾斜及變焦之一共同控制器構成。 與影像感測器之移動作比較之預定臨限值可由使用者輸入預程式化或設定。 代替使用僅一個臨限值，可使用複數個臨限值。例如，若移動超過一第一、低臨限值，則可減少一個或多個預處理程序，及若移動超過一第二、較高臨限值，則可停用此等預處理程序。預處理之一參數可取決於移動，例如，作為一線性函數。因此，隨著移動之增加，參數可逐漸減小。作為一實例，若攝影機緩慢搖攝或傾斜，則銳化可略微減小，且若攝影機更快地移動，則銳化可更嚴重減小或甚至停用，因此銳化取決於移動位準。 預處理系統可具體實施為軟體、韌體、硬體或其等之一組合。 預處理系統之預處理模組可經配置以執行待對影像應用之全部預處理程序。或者，可將預處理模組劃分成獨立或協作之若干子模組，其等各自僅執行一個或數個預處理程序。 在上文實例中，結合一攝影機描述本發明。攝影機可為一監視攝影機。此外，攝影機可為任何類型之攝影機，例如，採用可見光之一攝影機、一IR攝影機或一熱感攝影機。攝影機可為一數位攝影機，但本發明亦可與類比攝影機一起使用。在此情況中，可使用一數位化單元將來自一類比攝影機之影像轉換成數位格式。 代替在一攝影機中，擷取影像圖框之影像感測器可配置於另一類型之影像擷取裝置中。 影像亦可由一視覺光感測器、一熱感測器、一飛行時間感測器或其他類型之影像產生感測器產生。 因此，本發明不應限於所展示之實施例，而是應僅由隨附申請專利範圍定義。
1‧‧‧場景2‧‧‧攝影機2‧‧‧鏡頭4‧‧‧搖攝軸5‧‧‧傾斜軸6‧‧‧影像感測器7‧‧‧PT控制器8‧‧‧變焦控制器9‧‧‧運動感測器10‧‧‧擷取11‧‧‧預處理12‧‧‧編碼20‧‧‧數位影像預處理系統21‧‧‧影像接收模組22‧‧‧移動資訊接收模組23‧‧‧預處理模組102‧‧‧攝影機106‧‧‧影像感測器107‧‧‧PT控制器108‧‧‧變焦控制器109‧‧‧運動感測器S01‧‧‧步驟S02‧‧‧步驟S03‧‧‧步驟S04‧‧‧步驟S05‧‧‧步驟
現將藉由實例且參考隨附示意圖更詳細描述本發明，其中： 圖1係由一攝影機監視之一場景之一圖解， 圖2係具有搖攝/傾斜/變焦能力之一攝影機之一正視圖， 圖3係圖2之攝影機之一方塊圖， 圖4係展示在擷取、預處理及編碼影像之一程序中之一些功能之一方塊圖， 圖5係預處理數位影像之一方法之一流程圖， 圖6係一數位影像預處理系統之一實施例之一方塊圖，及 圖7係併有一數位影像預處理之一攝影機之一方塊圖。
S01‧‧‧步驟
S02‧‧‧步驟
S03‧‧‧步驟
S04‧‧‧步驟
S05‧‧‧步驟

Claims (15)

  1. 一種預處理由一影像感測器擷取之數位影像以供編碼之方法，該方法包括：接收一第一數位影像，在擷取該第一數位影像之一時間接收表示該影像感測器之一移動之資訊，基於表示該移動之該資訊修改該數位影像之預處理之至少一參數，及根據該至少一經修改參數預處理該第一數位影像以產生一預處理影像，其中該修改導致在編碼時的該預處理影像之一位元速率低於將藉由應用該參數並未被修改且在編碼時之一預處理產生之一預處理影像之一位元速率。
  2. 如請求項1之方法，其中若該影像感測器之該移動超過一預定臨限值，則修改該預處理之該至少一參數，使得與若該移動等於或低於該臨限值相比，該第一數位影像受該預處理較少處理。
  3. 如請求項2之方法，其中修改該預處理之該至少一參數使得停用至少一預處理程序。
  4. 如請求項2或3之方法，其中修改該至少一參數使得至少一預處理程序處理該第一數位影像，但處理程度較大或較小。
  5. 如請求項1之方法，其中修改該預處理之該至少一參數使得啟用原本停用之至少一預處理程序。
  6. 如請求項1之方法，其中該預處理包括執行選自由以下各者組成之群組之至少一預處理程序：銳化、增添對比度、色調映射、色彩校正、雜訊濾波、模糊、拜耳圖案取樣、去馬賽克、HDR合併、控制焦點、控制曝光及控制增益。
  7. 如請求項1之方法，其中表示該影像感測器之一移動之該資訊係由控制該影像感測器之移動之一搖攝、傾斜及/或變焦控制器提供。
  8. 如請求項1之方法，其中表示該影像感測器之一移動之該資訊係由一運動感測器提供。
  9. 如請求項1之方法，其中在複數個圖框(frame)上修改該至少一參數以為該影像感測器之一計劃移動作準備。
  10. 如請求項1之方法，其進一步包括：將該第一數位影像編碼為一框內圖框以為該影像感測器之一計劃移動作準備。
  11. 一種用於預處理由一影像感測器擷取之輸入影像以供編碼之數位影像預處理系統，該系統包括： 一影像接收模組，其經配置以接收輸入影像，一移動資訊接收模組，其經配置以在擷取該等輸入影像之一時間接收表示該影像感測器之一移動之資訊，及一預處理模組，其經配置基於表示該移動之該資訊以修改該輸入影像之預處理之至少一參數，且在編碼之前預處理該等輸入影像以產生預處理影像，其中該預處理之至少一參數取決於表示移動之該資訊，及其中該修改導致在編碼時的該預處理影像之一位元速率低於將藉由應用該參數並未被修改且在編碼時之一預處理產生之一預處理影像之一位元速率。
  12. 如請求項11之數位影像預處理系統，其中該預處理模組經配置執行選自由以下各者組成之群組之至少一預處理程序：銳化、增添對比度、色調映射、色彩校正、雜訊濾波、模糊、拜耳圖案取樣、去馬賽克、HDR合併、控制焦點、控制曝光及控制增益。
  13. 如請求項11之數位影像預處理系統，其中該移動資訊接收模組通信連接至控制該影像感測器之移動之一搖攝、傾斜及/或變焦控制器及/或連接至一運動感測器。
  14. 一種包括如請求項11之預處理系統之攝影機。
  15. 一種包括具有經調適以在由一處理器執行時實行如請求項1之方法之指令之一電腦可讀儲存媒體之電腦程式產品。
TW105127565A 2015-08-27 2016-08-26 預處理數位影像之方法及數位影像預處理系統 TWI689203B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15182692.2A EP3136726B1 (en) 2015-08-27 2015-08-27 Pre-processing of digital images
EP15182692.2 2015-08-27

Publications (2)

Publication Number Publication Date
TW201724841A TW201724841A (zh) 2017-07-01
TWI689203B true TWI689203B (zh) 2020-03-21

Family

ID=54150220

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105127565A TWI689203B (zh) 2015-08-27 2016-08-26 預處理數位影像之方法及數位影像預處理系統

Country Status (6)

Country Link
US (1) US10110929B2 (zh)
EP (1) EP3136726B1 (zh)
JP (1) JP6751319B2 (zh)
KR (1) KR102192063B1 (zh)
CN (1) CN106488117B (zh)
TW (1) TWI689203B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017066736A1 (en) * 2015-10-16 2017-04-20 Tribune Broadcasting Company, Llc Media-production system with social media content interface feature
CN107016687A (zh) * 2017-03-25 2017-08-04 平顶山学院 视频运动目标检测和跟踪的混合算法
KR102282455B1 (ko) * 2017-07-11 2021-07-28 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
EP3506633A1 (en) * 2017-12-19 2019-07-03 Axis AB Video encoding method and system
EP3579553B1 (en) 2018-06-05 2020-05-20 Axis AB A method, controller, and system for encoding a sequence of video frames
US11050938B2 (en) * 2019-07-03 2021-06-29 Gopro, Inc. Apparatus and methods for pre-processing and stabilization of captured image data
KR102583686B1 (ko) * 2020-03-25 2023-09-27 한국전자통신연구원 객체 검출 방법 및 장치
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090147090A1 (en) * 2007-12-07 2009-06-11 Takanori Miki Image processing device
US20090174783A1 (en) * 2004-12-28 2009-07-09 Seiko Epson Corporation Imaging apparatus and portable device and portable telephone using same
US20130155264A1 (en) * 2011-12-15 2013-06-20 Apple Inc. Motion sensor based virtual tripod method for video stabilization
US20130342714A1 (en) * 2012-06-22 2013-12-26 Apple Inc. Automated tripod detection and handling in video stabilization

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2223643B (en) 1988-10-05 1993-04-07 Marconi Gec Ltd Data processing apparatus
JP3227173B2 (ja) * 1991-06-24 2001-11-12 キヤノン株式会社 撮像装置及びその方法
JPH08297738A (ja) * 1995-04-26 1996-11-12 Hitachi Ltd 撮像装置および画像入力装置
JPH10136309A (ja) * 1996-11-01 1998-05-22 Canon Inc 画像圧縮／蓄積装置
JPH11112844A (ja) * 1997-09-30 1999-04-23 Canon Inc 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
JPH11317950A (ja) * 1998-04-30 1999-11-16 Sony Corp データ符号化装置、データ符号化方法及びデータ伝送方法
JP2002354461A (ja) * 2001-05-23 2002-12-06 Matsushita Electric Ind Co Ltd 画像サーバとこれを用いた画像サーバシステム、及び画像データ転送方法
US7505673B2 (en) * 2003-09-30 2009-03-17 At&T Intellectual Property I, L.P. Video recorder for detection of occurrences
JP4112502B2 (ja) * 2004-01-09 2008-07-02 富士フイルム株式会社 画像生成装置および方法、画像配信装置、メール中継装置並びにプログラム
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
JP2006191185A (ja) * 2004-12-28 2006-07-20 Toshiba Corp 撮像装置
JP4179279B2 (ja) * 2004-12-28 2008-11-12 セイコーエプソン株式会社 撮像装置並びにこれを備えた携帯機器及び携帯電話機
US9479794B2 (en) * 2005-11-10 2016-10-25 Freescale Semiconductor, Inc. Resource efficient video processing via prediction error computational adjustments
JP4781200B2 (ja) * 2006-08-10 2011-09-28 キヤノン株式会社 デジタルカメラ、デジタルカメラの制御方法、プログラム、記憶媒体、画像処理装置
US7956899B2 (en) * 2007-08-29 2011-06-07 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus
JP4613990B2 (ja) * 2008-07-31 2011-01-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US8953931B2 (en) * 2009-03-26 2015-02-10 Panasonic Intellectual Property Corporation Of America Video processor, video processing method, integrated circuit for video processing, video playback device
JP5625543B2 (ja) * 2010-06-28 2014-11-19 ソニー株式会社 符号化装置、電子機器、撮像装置、および撮像システム
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
JP2013031038A (ja) * 2011-07-29 2013-02-07 Brother Ind Ltd 通信装置、映像取得方法、及び映像取得プログラム
GB201116566D0 (en) * 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
EP2764686B1 (en) 2011-10-07 2019-10-02 Flir Systems, Inc. Smart surveillance camera systems and methods
EP3094073B1 (en) * 2013-02-28 2019-07-31 Raytheon Company Method and apparatus for gain and level correction of multi-tap ccd cameras
TW201503678A (zh) 2013-07-05 2015-01-16 Shao-Yang Wang 顯示裝置醫療級校正系統及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174783A1 (en) * 2004-12-28 2009-07-09 Seiko Epson Corporation Imaging apparatus and portable device and portable telephone using same
US20090147090A1 (en) * 2007-12-07 2009-06-11 Takanori Miki Image processing device
US20130155264A1 (en) * 2011-12-15 2013-06-20 Apple Inc. Motion sensor based virtual tripod method for video stabilization
US20130342714A1 (en) * 2012-06-22 2013-12-26 Apple Inc. Automated tripod detection and handling in video stabilization

Also Published As

Publication number Publication date
US20170064338A1 (en) 2017-03-02
EP3136726A1 (en) 2017-03-01
KR20170026167A (ko) 2017-03-08
JP2017098934A (ja) 2017-06-01
CN106488117B (zh) 2019-11-12
KR102192063B1 (ko) 2020-12-16
JP6751319B2 (ja) 2020-09-02
TW201724841A (zh) 2017-07-01
US10110929B2 (en) 2018-10-23
CN106488117A (zh) 2017-03-08
EP3136726B1 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
TWI689203B (zh) 預處理數位影像之方法及數位影像預處理系統
JP3870124B2 (ja) 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US9092861B2 (en) Using motion information to assist in image processing
CN108322650B (zh) 视频拍摄方法和装置、电子设备、计算机可读存储介质
US9253411B2 (en) Image processing apparatus, image processing method and image communication system
WO2010095207A1 (ja) 動画撮像装置
US9854167B2 (en) Signal processing device and moving image capturing device
JP5766877B2 (ja) 類似度、視覚的品質、および関心に基づくフレーム符号化選択
CN108605102B (zh) 一种改进图像质量的方法和热成像装置
JP2005117163A5 (zh)
WO2016019817A1 (zh) 物体运动轨迹拍摄方法、系统及计算机存储介质
JP2008288706A (ja) 撮像装置、画像処理装置、画像ファイル及び階調補正方法
JP2011244144A (ja) 撮像装置
JP4919034B2 (ja) ネットワークデコーダ装置
WO2010116400A1 (ja) 被写体動き検出装置および方法
CN108632527B (zh) 控制器、摄像机以及用于控制摄像机的方法
US8472743B2 (en) Method for estimating of direction of motion blur in an image
JP6904838B2 (ja) 画像処理装置、その制御方法およびプログラム
CN115719316A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
JP5621335B2 (ja) 画像処理装置及び画像処理方法、並びに画像撮像装置
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP2003087650A (ja) 適応型カメラ及び適応型カメラ・システム
US20090244297A1 (en) Motion detection apparatus
US20120044389A1 (en) Method for generating super resolution image
JP6470594B2 (ja) 撮像装置、その制御方法、及びプログラム