TW202220452A - 用於視訊處理的方法及影像處理裝置 - Google Patents

用於視訊處理的方法及影像處理裝置 Download PDF

Info

Publication number
TW202220452A
TW202220452A TW110136494A TW110136494A TW202220452A TW 202220452 A TW202220452 A TW 202220452A TW 110136494 A TW110136494 A TW 110136494A TW 110136494 A TW110136494 A TW 110136494A TW 202220452 A TW202220452 A TW 202220452A
Authority
TW
Taiwan
Prior art keywords
image
frame
video
stream
encoded
Prior art date
Application number
TW110136494A
Other languages
English (en)
Other versions
TWI859470B (zh
Inventor
維克特 愛德培爾曼
宋 元恩
拉菲爾 特勒
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202220452A publication Critical patent/TW202220452A/zh
Application granted granted Critical
Publication of TWI859470B publication Critical patent/TWI859470B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

一種用於控制視訊處理之方法。接收從一影像感測器發出的一影像串流。評估在所述串流中的一影像的內容。遞送所述影像串流的一部分至一視訊編碼器，所述部分在正被評估的所述影像之前。將一或多個空訊框加入在對應於被遞送的所述影像串流的一編碼的影像串流的末端，直到所述評估完成為止。

Description

用於視訊處理的方法及影像處理裝置
本文的實施例係關於影像處理。具體而言，揭露了用於視訊處理之方法及影像處理裝置。也揭露了對應的電腦程式以及電腦程式載體。
在全世界的許多區域中，利用成像，尤其是視訊成像來監視群眾是常見的。例如，可能需要監視的區域是銀行、商店以及其中保全是所需的其它區域，例如是學校及政府機構。其它可能需要監視的區域是處理、製造及後勤的應用，其中視訊監視主要是被用來監視過程。
然而，可能會有不能夠從所述視訊監視來識別人們的需求。
數種影像處理技術已被敘述來避免識別人們，同時仍然能夠辨認活動。例如，邊緣偵測/表示、邊緣強化、剪影物體、以及不同種類的"色彩模糊"，例如色彩變化或膨脹是此種處理的例子。
影像處理是指任何被施加至影像的處理。所述處理可包含施加各種效果、遮罩、濾波器或類似者至影像。以此種方式，影像例如可被銳化、轉換成灰階、或是用某種方式來改變。影像通常是藉由視訊攝影機、靜態影像相機或類似者來捕捉的。
如同在以上所提及的，一種避免識別人們的方式是藉由即時地遮蔽移動的人們及物體。在實況及記錄的視訊中的遮蔽可以藉由比較一實況攝影機視圖與一設定的背景場景，並且施加動態遮罩至改變的區域，亦即實質為移動的人們及物體來完成。遮色(其亦可以是指純色或單色遮罩，其中一物體是藉由覆蓋的某一色彩的一純色遮罩來加以遮蔽)提供隱私保護，同時讓人能夠看到移動。馬賽克遮蔽(亦被稱為像素化、像素化的隱私遮蔽或是透明像素化的遮蔽)是以較低的解析度顯示移動的物體，並且藉由看見一物體的色彩而容許更佳的區別形式。
圖1是描繪一例示的數位攝影機100。所述數位攝影機100產生兩個影像串流A及B，其產生一具有隱私遮蔽的第一數位影像101A、以及一不具有隱私遮蔽的第二數位影像101B。在所述第一數位影像100A中，個人的身分例如是藉由比較一實況攝影機視圖與一設定的背景場景並且施加動態遮蔽至改變的區域而被遮蔽。
遮蔽實況及記錄的視訊是適合用於其中監視會由於隱私規章制度而有問題的區域中的遠端視訊監視或記錄。當視訊監視主要是被用來監視過程時，其對於處理、製造及後勤應用而言是理想的。其它可能的應用是在零售、教育、以及在政府機構。
儘管遮蔽提供許多優點，但是會產生有效訊框率可能會由於施加所述遮蔽至移動的物體(例如是人)而被降低的問題，因為遮蔽演算法會花費不可忽略的時間來完成。若一視訊網路系統的其它構件是操作在較高的訊框率下(例如一最大訊框率)，亦即使用者對於特定串流所要的訊框率設定，則此並不理想。
另一會產生的問題是由於影像的增加的處理，尤其是因為相關所述遮罩與視訊影像的同步的處理，因此在所述視訊攝影機的功率消耗上會有增加。
再者，當有關所捕捉的影像的資訊將透過網路而被傳送時，因為在相關所捕捉的影像的資訊上的增加，因此所述遮蔽可能會導致增大之必須的頻寬。
為了更佳理解本文的實施例的優點，一替代的參考解決方案將會先加以描述。在一影像訊框以及一遮罩之間何時執行隱私遮蔽同步是非常重要的。所述詞語影像訊框、視訊訊框、以及就只是訊框在以下將會可交換地被使用。人們及物體的遮蔽可以藉由相關於一判斷出的背景場景來定義和所述人們或物體相關的像素為"前景像素"，並且在所述前景像素在所述背景上到處移動時遮蔽所述前景像素來加以完成。所述遮蔽例如可以藉由泛洪填滿一個人或物體的輪廓來加以執行。在遮罩以及個人之間的對準是重要的，以免露出所述個人或物體的任何部分。
一種同步化遮罩及視訊的方式是暫停視訊訊框，直到相關所述視訊訊框的遮蔽的分析完成為止。例如，一視訊訊框可被暫停，直到相關一移動的物體識別的分析完成為止。暫停所述視訊訊框可以表示沒有新的訊框通過同步化所述視訊訊框與一遮罩的一函數，此表示上一個同步化的訊框不斷被傳送至一編碼器。一旦所述視訊訊框的遮罩分析完成後，其才可被視為一同步化的訊框。
若所述編碼器在所述分析完成之前需要一視訊訊框(例如，為了獲得例如是30fps[每秒訊框]的某一所需的視訊訊框率)，則先前最近成功同步化的視訊訊框的一副本可被傳送到所述編碼器。然而，此產生一非所要的額外的系統負載，其增加功率消耗，因為相同的訊框再次被處理。再者，當所述視訊透過網路被傳送時，所述增加的訊框亦需要額外的網路資源，因為有更多資料將在所述網路上被傳送。
或者是，所述訊框可以丟失，其產生視訊掉訊框。此種掉訊框可能會給予所述攝影機或視訊串流中斷的印象，特別是當所述攝影機或在所述場景中的物體正在移動時。例如，視訊訊框與一遮罩的同步化結合掉訊框可能會在使用者處產生以下的視訊訊框模式：(訊框0)移動到左邊，(訊框1)移動到左邊，(訊框2)停止，(訊框3)移動兩倍步階到左邊，(訊框4)移動到左邊。在訊框2的停止可能被使用者感受為所述攝影機或視訊串流中斷。再者，許多視訊網路系統構件較希望在規則的間隔下接收訊框。
因此，本文的實施例的一目的可以是避免以上提及的某些問題、或至少是降低其影響。明確地說，一目的可以是降低一影像處理裝置(例如視訊攝影機)在隱私遮蔽期間的功率消耗。更明確地說，一目的可以是降低所述影像處理裝置的功率消耗，同時保持一固定的訊框率。另一目的可以是降低透過網路來傳送一視訊或影像串流所需的頻寬，其中隱私遮蔽已經施加在其上。
根據一態樣，所述目的是藉由一種用於控制視訊處理之方法來達成。所述方法可以藉由一影像處理裝置來加以執行。接收從一影像感測器發出的一影像串流。評估在所述串流中的一影像的內容。遞送所述影像串流的一部分至一視訊編碼器，所述部分在正被評估的所述影像之前。將至少第一空訊框加入在對應於被遞送的所述影像串流的一編碼的影像串流的末端，直到所述評估完成為止。
根據另一態樣，所述目的是藉由一種被配置以執行以上的方法的影像處理裝置來達成。
根據進一步態樣，所述目的是藉由對應於以上態樣的一種電腦程式以及一種電腦程式載體來達成。
藉由在所述編碼的影像串流的末端加入所述至少第一空訊框，所述影像處理裝置會節省功率，因為所述加入的空訊框需要較少的影像處理、或者在某些情形中是沒有進一步的影像處理。
本文的實施例的另一優點是相較於其它發送隱私被遮蔽的視訊的方法，用於發送所述影像串流所需的頻寬被降低。這是因為代表所述空訊框所需的資料量是遠小於代表源自於所述感測器的一訊框，並且甚至是小於此種訊框的一副本所需的資料量。
本文的實施例的又一優點是所述影像處理裝置可以維持某一所要的訊框率，其對於內部過程以及對於所產生的視訊串流的接收器而言是有利的。
如同在以上所提及的，在一視訊上以一種例如容許在匿名的影像資料上計算人數或排隊監視的方式來執行隱私遮蔽可能是所關注的。
如同以上進一步提及的，本文的實施例的一目的可以是降低一影像處理裝置(例如視訊攝影機)在隱私遮蔽期間的功率消耗。另一目的可以是降低透過網路來傳送一視訊或影像串流所需的頻寬，其中隱私遮蔽已經施加在其上。
如同將會在以下進一步解說的，本文的實施例是容許在降低的功率消耗以及降低的所需頻寬下，在一視訊上執行隱私遮蔽，同時維持某一所要的訊框率。
本文的實施例可被實施在一或多個影像處理裝置中。圖2a描繪各種例示的影像處理裝置210，其可以在一數位影像(例如數位視訊影像)上執行影像處理。所述影像處理裝置可以是一影像捕捉裝置220、230、240，例如是錄影機、監視攝影機220、數位相機、包含影像感測器的智慧型手機230、或是包含影像感測器的汽車240。
圖2b描繪一例示的包含所述監視攝影機220的視訊網路系統250，其可以在一數位影像201(例如數位視訊影像)上執行影像處理。所述視訊網路系統250在此亦可被稱為網路250。所述影像處理裝置210(例如是有線或無線的裝置)亦可透過所述視訊網路系統250或類似者，例如從所述影像捕捉裝置220、230、240獲得影像。此例如可以是在圖2b中的一視訊伺服器260的情形。
一視訊伺服器是一電腦為基礎的裝置，其專用於傳遞視訊。視訊伺服器是被使用在一些應用中，而且通常具有解決特定應用的需求的額外的功能及能力。例如，用在保全、監視及檢查應用的視訊伺服器通常是被設計以從一或多個攝影機捕捉視訊，並且經由電腦網路來傳遞所述視訊。在視訊產製及廣播應用中，視訊伺服器可以具有記錄及播放所記錄的視訊、以及同時傳遞許多視訊串流的能力。在圖2b中，所述視訊伺服器260是透過所述網路250來連接至由所述監視攝影機220所例示的影像捕捉裝置。所述視訊伺服器260可以進一步連接至一用於視訊影像的儲存的視訊儲存體270、及/或連接至一用於視訊影像的顯示的螢幕280。
因此，所述影像處理裝置210是能夠處理所述數位影像。所述影像可以已經藉由所述影像處理裝置本身捕捉、或是其可以已經從另一捕捉所述影像的裝置、或是從一記憶體(例如硬碟機或類似者)接收到的。
本文的實施例可被實施在一成像系統中。為了更佳理解本文的實施例，此種成像系統將會先加以描述。
圖3a是一成像系統300的概要視圖，在此例中是一數位視訊攝影機的成像系統。所述成像系統是在一影像感測器301上成像一場景。所述影像感測器301可被設置有一拜爾(Bayer)濾波器，使得不同的像素將會用一已知的模式接收一特定波長區域的輻射。通常，所捕捉的影像的每一個像素是藉由一或多個值來加以表示，其代表在某一波帶之內所捕捉的光的強度。這些值通常被稱為色彩成分、或是色彩通道。所述術語“影像”可以是指一影像訊框或視訊訊框，其包含源自於一捕捉所述影像的影像感測器的資訊。
在讀取所述影像感測器301的個別的感測器像素的信號之後，不同的影像處理動作可加以執行，例如是去馬賽克以及色彩校正。
所產生的影像被遞送至一影像處理管線302。在所述影像處理管線302中，進一步的處理是在所述影像上執行。此種進一步的處理可以是雜訊濾波(用於消除空間及/或時間的雜訊)、失真校正(用於消除例如是桶形失真的效應)、全域及/或局部的色調映射(例如，致能包含廣的強度範圍的場景的成像)、轉換(例如，旋轉)、平場校正(例如，用於移除漸量(vignetting)的效應)、覆蓋的應用(例如，隱私遮蔽、解釋的文字)、等等。所述影像處理管線302亦可以是和一執行物體偵測、識別、警報、等等的分析引擎相關的。
所述影像處理管線302可包括一影像處理部分302a以及一視訊後置處理部分302b。所述影像處理部分302a例如可以施加如同在以上所提及的雜訊濾波、失真校正、全域及/或局部的色調映射、轉換、以及平場校正。所述視訊後置處理部分302b例如可以執行影像穩定、裁剪一影像的部分、施加覆蓋，並且包括所述分析引擎。
在所述影像處理管線302之後，所述影像可被遞送至視訊編碼器303，其有時就只被稱為編碼器303，其中在所述影像訊框中的資訊是根據一編碼協定以一已知的方式(例如H.264)而被編碼，並且被遞送至例如接收的客戶(在此被例示為所述螢幕280)、所述視訊伺服器260、所述儲存體270、等等。
所述視訊編碼過程產生一些值，其必須被編碼以形成一壓縮的位元串流。這些值可包含： ●量化的轉換係數， ●致能所述解碼器重新產生所述預測的資訊， ●有關所述壓縮的資料的結構以及在編碼期間所用的壓縮工具的資訊，以及 ●有關完整的視訊序列的資訊。
這些值及參數(語法元素)是利用例如可變長度編碼及/或算術編碼而被轉換成為二進位碼。這些編碼方法的每一個是產生所述資訊的一有效率、緊湊的二進位表示，亦被稱為一編碼的位元串流。所述編碼的位元串流接著可被儲存及/或發送。
根據本文的實施例的用於控制視訊處理的例示的方法現在將會參考圖4的流程圖以及進一步參考圖3a及圖3b至圖3f來加以描述。所述用於控制視訊處理的方法例如可被實施在圖2a或圖2b的影像處理裝置的任一個中。以下被呈現在圖4中的動作中的一或多個可以用以下的例示的順序來執行。在其它例子中，所述順序可以不同於在以下描述者。
動作401
所述影像處理裝置210接收從所述影像感測器301發出的一影像串流310。例如，在圖3a中，所述影像串流310包括六個影像訊框。就時間上而言，所述影像串流是從所述影像感測器301，通過所述影像處理管線302而進一步至所述編碼器303。最早的訊框是最右邊的訊框。所述訊框相對時間的此關係對於圖3b至圖3f亦會成立。
如同在以上所提及的，並且如同圖3a中可見的，所述影像處理管線302可以接收從所述影像感測器301發出的影像串流310。在所述影像處理管線302中，進一步的處理是在所述影像上執行。尤其，相關本文的實施例的此種進一步處理可包括隱私遮蔽的施加，例如是施加在移動的物體上。所述影像處理管線302亦可以是和一分析引擎相關的，其執行物體偵測及識別，尤其是人/臉偵測、移動的物體偵測以及背景識別。
動作402
在圖3b中，所述影像處理裝置210評估所述串流310中的一影像311的內容。所述影像311亦可被稱為影像訊框311、或是視訊訊框311、或就只是訊框311。例如，所述評估可包括相關所述影像訊框311的遮蔽或匿名化的分析，例如是判斷在所述影像311中何者應該被顯示或覆蓋。此種分析及遮蔽例如可以是相關確保一視訊符合歐盟的一般資料保護規則(GDPR)。在圖3b中，所述評估是藉由一評估模組304來加以執行。可以有多個評估模組，其在被評估的影像311上分別執行不同的評估。這些多個評估至少可以部分是平行執行的。
如同將會在以下的動作405中描述的，所述評估的完成可被用來控制空訊框至所述影像串流310的插入，例如是何時停止加入空訊框。在所述影像311的多個評估的情形中，所述影像處理裝置210可以根據上一個完成的評估的完成來控制空訊框的插入。
所述影像處理裝置210的一同步化模組可以利用一評估過程來同步化所述影像311的顯示。例如，所述同步化模組可以獲得所述影像311的評估何時完成的資訊。一旦所述影像訊框311的遮罩分析完成後，其可被視為一同步化的訊框。一同步化的訊框可以表示所述遮罩以及所述影像訊框311被同步化，例如是藉由像是時間戳記的一時序關係。
動作403
當所述影像311的分析持續時，所述影像處理裝置210依時間前後排列的順序遞送所述影像串流310的一部分310a至所述視訊編碼器303。所述影像串流310被遞送的部分310a是在正被評估的影像311之前。此亦描繪在圖3b中。在圖3b中，所述影像串流310被遞送的部分310a包括兩個影像訊框，其是在正被評估的影像311之前。在此上下文中的“之前”是表示這些訊框在正被評估的已被捕捉的影像311之前的時點被捕捉的。
動作404
當所述編碼器303接收所述影像串流310的在前的部分310a時，其開始根據一編碼協定(例如H.264)來編碼所述在前的部分310a的影像訊框中的資訊。然而，由於所述影像311是以一定的有限時間被評估，若所述評估花費超過某一時間，則所述編碼的影像的訊框率將會下降。例如，為了從所述編碼器303達成一30fps視訊，所述編碼器應該每33ms接收一新的訊框。
如上在發明內容中所論述的，以上的問題可以藉由例如傳送一最近的先前成功同步化的視訊訊框331的一副本至所述編碼器來解決。然而，此產生一非所要的額外的系統負載，其增加所述影像處理裝置210的功率消耗，因為相同的訊框再次被處理。
根據本文的實施例，以上問題的解決是藉由在對應於所述被遞送的影像串流310a的一編碼的影像串流330的末端加入至少一第一空訊框320，直到所述評估完成為止。此被描繪在圖3c至圖e中。
藉由在所述編碼的影像串流330的末端加入所述至少第一空訊框320，所述影像處理裝置210會節省功率，因為所述加入的空訊框320需要較少的影像處理，在某些情形中甚至是沒有進一步的影像處理。所述處理的縮減是依據同步化所述視訊訊框與所述遮罩的功能存在於所述影像處理管線302中的何處而定。例如，移除相關所述影像處理管線302的全部或部分的處理是可能的，例如是所述視訊後置處理部分302b、編碼以及針對於串流處理編碼的訊框的軟體部分、以及在經處理的影像上執行的不論何種的分析應用程式。由於已知所述訊框是空的，因此所述分析應用程式並不需要重新執行。
此加入的訊框320可被插入及拋棄，而不影響視訊品質，但是在不耗盡所述影像處理裝置210的效能下，將會例如為了所述成像系統300而產生一訊框佔位符。
本文的實施例的一進一步的優點是相較於其它發送隱私被遮蔽的視訊的方法，用於發送所述編碼的影像串流330所需的頻寬被降低。這是因為代表所述空訊框320所需的資料量是遠小於代表源自於所述影像感測器的一訊框、或是此種訊框的一副本所需的資料量。
動作405
為了讓所述影像處理裝置210知道何時加入所述至少第一空訊框320，其可以利用在不同的部分之間，例如在不同的軟體或硬體模組之間發信號。例如，如同在以上相關動作402所提及的，所述同步化模組可以獲得所述影像311的評估何時完成的資訊，並且接著傳送有關加入空訊框320的開始及/或停止的指令例如至所述加入模組或是所述編碼器303。
例如，相關圖3b，所述同步化模組可以從所述評估模組304獲得資訊，其指出所述評估是完成的。在例如藉由多個評估模組304所執行的多個評估的情形中，所述影像處理裝置210可以等待所有的評估完成後，才傳送有關所述評估完成的指令。例如，如此做是為了保持在所述遮罩以及原始影像之間的同步化。
因此，在某些實施例中，所述影像處理裝置210傳送一指令以加入所述至少第一空訊框320。所述影像處理裝置210例如可以指示一加入模組、或是任何其它軟體或硬體模組，以加入所述至少第一空訊框320。
在某些實施例中，所述影像處理裝置210指示所述視訊編碼器303加入所述至少第一空訊框320。圖3d描繪藉由所述編碼器303來加入所述空的影像320。
所述指令可被傳送，直到所述影像訊框311的評估完成為止。例如，所述影像處理裝置210可以傳送一第一指令以加入所述至少第一空訊框320，並且在所述評估期間有需要加入一新的訊框時，接著進一步傳送一第二指令以進一步加入一第二空訊框321。大致上，多個空訊框可被加入。圖3e描繪加入兩個空訊框：第一空訊框320以及所述進一步的空訊框321。
在某些其它實施例中，空訊框320、321是在加入所述至少第一空訊框320的一指令已經例如是藉由所述加入模組或所述編碼器303接收到之後被加入，並且直到停止加入空訊框的一新指令被接收到為止。例如，所述第一空訊框320以及所述進一步的空訊框321都可以只根據一指令而被加入。所述空訊框的加入的時序可以是預設的。
當許多訊框需要被加入時，只傳送一初始指令來開始所述空訊框的加入可以是有利的，因為指令的數目將會是較少的。
動作406
如同在以上所提及的，當所述影像311正被評估時，例如直到所述評估完成為止，所述至少第一空訊框320是被加入在對應於所述被遞送的影像串流310a的一編碼的影像串流330的末端。如何偵測及發信號所述評估的完成已在以上的動作402及405的說明中論述。
在某些實施例中，所述至少第一空訊框320被加入在所述編碼的影像串流330的末端所在的速率是依照一預設的目前影像訊框率，使得所述編碼的影像串流330的訊框率是固定的。換言之，所述空訊框320被注入到所述編碼的串流330中所在的速率可以依照所述視訊的一設定的目前影像訊框率，使得影像離開所述編碼器303所在的速率是固定的。如同在以上所提及的，對於所述影像處理裝置210的內部過程以及對於所產生的視訊串流的接收器而言，保持某一所要的訊框率可以是有利的。
在某些實施例中，所述先前訊框是一最近編碼的訊框331、或亦即是上一訊框331，而在其它實施例中所述先前訊框是任意先前的訊框，例如在所述上一訊框之前的一訊框333。
所述空訊框320可以是不具有相關所述編碼的影像串流330的一先前訊框331、333的編碼的差異的一訊框。在某些實施例中，所述空訊框320可以是一預先計算出的編碼的訊框。一預先計算出的編碼的訊框是表示所述編碼的訊框事先藉由一軟體演算法而被產生，例如其藉由用相同的方式編碼每一個空訊框320，而不是利用所述編碼器303來產生一編碼的訊框。因此，所述空訊框320可以是一預先計算出的編碼的訊框，其不具有相關所述編碼的影像串流330的先前訊框331、333的編碼的差異。例如，此種預先計算出的空訊框320可包括一或多個宏區塊(macroblock)，其指出沒有相關所述先前訊框331、333的改變。此種改變例如可以有關於所述先前訊框331、333的影像內容，例如是像素值。
在另一例子中，此種預先計算出的空訊框320可包括宏區塊，其中只有單一宏區塊(例如上一個宏區塊)包括指出沒有相關所述先前訊框331、333的改變的資訊。
在某些其它實施例中，所述空訊框320可包括指出相關所述先前訊框的一固定的運動的資訊。此種資訊可以是根據一計算出的運動資訊，例如是來自一陀螺儀的一計算出的運動向量。
在某些實施例中，所述空訊框320並不包括已經被運動補償的預測資訊。一般而言，預測資訊可以是運動補償的。所述運動補償的預測資訊可包括編碼的運動向量以及預測誤差。反而，本文的實施例中，所述預測資訊可以指出沒有運動。這是足夠的資訊以重新產生所述預測。對於一正常訊框而言，此種預測資訊可以內含在一編碼的處理單元(例如一編碼的宏區塊)中。因此，在某些實施例中，所述空訊框320並不包括一編碼的宏區塊：例如，在某些實施例中，所述空訊框的宏區塊未曾被所述編碼器303編碼。反而，如上所解說的，所述宏區塊可以是已經預先計算出的。
再者，在某些實施例中，所述空訊框320並不包括編碼的係數。每一個編碼的係數可以是用於一標準的基礎模式的一加權值。當在一解碼器中組合時，所述加權的基礎模式重新產生一區塊(例如一宏區塊)的殘差的樣本。
或者，所述空訊框可包括一旗標，其指出沒有宏區塊被編碼。例如，所述旗標可被實施為具有傳輸或容器格式的一元資料旗標、或是作為所述編解碼器元資料的部分。所述旗標的另一實施方式可以利用量化參數(QP)。由於QP值不是解碼所述空訊框320所需的，因此所述QP值可被使用作為所述空訊框320的一識別符、或者換言之作為一空訊框標記。所述空訊框320的識別符因此可以對應於所述指出沒有宏區塊被編碼的旗標。所述空訊框可以輕易地藉由所述識別符而被識別，並且若必要的話，藉由另一應用程式而被移除或拋棄。因此，在客戶側，所述旗標提供用於指出所述空訊框320的一直接且低成本的手段。利用此種解決方案，所述客戶並不需要分析所述訊框以找出所述空訊框320。例如，在根據H.264/H.265標準的切片標頭中的每切片的正常QP值、或是每訊框的基礎QP可被設定為QP 51。針對於空訊框，例如不具有編碼的區塊殘差的訊框，所述QP並不被所述解碼器使用，並且若QP 51是從不被所述編碼器303使用，則其可被利用作為一"旗標"來指出所述空訊框。利用所述QP值的一優點是其不需要任何額外的處理，因為其已經是隨時可被使用的視訊的一部分。
在某些實施例中，視訊處理並未在所述空訊框320上執行。換言之，在所述評估完成之後沒有視訊處理被執行。
在某些實施例中，在所述編碼的影像串流330的末端的所述至少第一空訊框320是在所述編碼器303之後被加入，使得所述空訊框320並不通過所述編碼器303。圖3c及圖3e都是描繪在所述編碼器303之後加入所述空訊框。圖3c是描繪在所述編碼器303之後加入一空訊框320，而圖3e是描繪在所述編碼器303之後加入兩個空訊框320、321。在所述編碼器之後加入空訊框320的一優點是相較於一種其中加入的訊框需要被編碼的方法，功率消耗可被降低。在所述編碼器303之內以及之後加入多個空訊框320、321的組合也是可能的。例如，一第一空訊框320可以藉由所述編碼器303而被加入，而一第二空訊框321可以在所述編碼器之後被加入，並且反之亦然。
動作407
一旦所述影像311的評估完成後，所述影像處理裝置210重新開始遞送所述影像串流310至所述視訊編碼器303。所述重新開始包括遞送所述被評估的影像311至所述視訊編碼器303。
圖3e描繪所述被評估的影像311至所述編碼器303的遞送。在圖3f中，所述影像311已經通過所述編碼器303，並且已經被加到包含所述空訊框320的所述編碼的影像串流。圖3e及圖3f進一步描繪進一步的影像的評估是如何可以繼續的。在圖3e及3f中，所述空訊框320、321已經在影像311的評估期間被加入。
在圖3e及圖3f中，一用於所述遮罩分析的緩衝器是包括三個緩衝器影像訊框：一第一緩衝器影像訊框312、一第二緩衝器影像訊框313以及一第三緩衝器影像訊框314。為了補償所述加入的空訊框320、321，下一個用於評估的影像可以是在一後面的影像(在順序上在所述被評估的影像311之後的下一個)之後的一影像。事實上，所述下一個用於評估的影像313可以依據在所述被評估的影像311以及就在所述被評估的影像訊框311之前的訊框之間被加入的空訊框320、321的數目而定。在圖3f描繪的狀況中，一空訊框被加入，並且因此所述影像處理裝置210在其選擇下一個用於評估的影像時跳過一影像訊框，其是所述第二緩衝器影像訊框313。所述跳過是藉由打叉的影像訊框來指出，例如在圖3f中接著的第一緩衝器影像訊框312。在另一方面，若兩個訊框320、321被加入，則如同在圖3e中，當選擇下一個用於分析的影像訊框時(例如所述第三緩衝器影像訊框314)，所述緩衝器的兩個影像訊框，例如是所述第一及第二緩衝器影像訊框312、313可被跳過。當所述下一個影像將被評估時，新的空訊框是用如上所解說的相同的方式而被加入。
在某些實施例中，所述下一個用於評估的影像313是藉由跳過對應於加入的訊框的數量的一數量的訊框而被選擇。所述被跳過的訊框可被丟掉，因而不被傳送至所述編碼器。
當多個影像訊框是平行或至少部份平行被評估時，一對應的程序也是可行的。
由於所述下一個用於評估的影像是依據被加入的空訊框的數量而定，因此所述原始的影像串流310的時序可被維持，並且因此所述視訊將會保持其訊框率，因而不受影響。然而，更新所述影像的有效速率將會以此種方式而被降低。
參考圖5，對應於圖2a及2b的不同的影像處理裝置的一影像處理裝置510的實施例的概要方塊圖被展示。所述影像處理裝置510是被配置以用於視訊處理。
所述影像處理裝置510可包括一處理模組501，例如是一用於執行本文所述的方法的手段。所述手段可以用一或多個硬體模組及/或一或多個軟體模組的形式來體現。
所述影像處理裝置510可以進一步包括一記憶體502。所述記憶體可包括(例如包含或儲存)指令，其例如具有一電腦程式503的形式，其可包括電腦可讀取的碼單元，當在所述影像處理裝置510上執行時，其使得所述影像處理裝置510執行視訊處理的方法。
根據本文的某些實施例，所述影像處理裝置510及/或所述處理模組501包括一處理電路504作為一例示的硬體模組，其可包括一或多個處理器。於是，所述處理模組501可以用所述處理電路504的形式來體現、或是藉由所述處理電路504來‘實現’。所述指令可以是可藉由所述處理電路504執行的，藉此所述影像處理裝置510是操作以執行圖4的方法。作為另一例子的是，所述指令當藉由所述影像處理裝置510及/或所述處理電路504執行時，其可以使得所述影像處理裝置510執行根據圖4的方法。
有鑑於以上，在一例子中是提供有一用於視訊處理的影像處理裝置510。同樣地，所述記憶體502包含可藉由所述處理電路504執行的指令，藉此所述影像處理裝置510是操作以用於執行根據圖4的方法： 接收從一影像感測器301發出的所述影像串流310， 評估在所述串流310中的一影像311的內容， 依時間前後排列的順序來遞送所述影像串流310的所述部分310a至所述視訊編碼器303，所述部分310a是在正被評估的所述影像311的前面，以及 在對應於所述被遞送的影像串流310a的一編碼的影像串流330的末端加入所述至少第一空訊框320，直到所述評估完成為止。
圖5進一步描繪一載體505或是程式載體，其包括如同就在以上敘述的電腦程式503。所述載體505可以是電子信號、光學信號、無線電信號以及電腦可讀取的媒體中之一。
所述影像處理裝置510可以進一步操作以執行根據以上關聯圖4所述的詳細實施例的方法。
再者，所述處理模組501包括一輸入/輸出單元506。根據一實施例，所述輸入/輸出單元506可包括被配置以用於捕捉所述影像200的影像感測器301。
在某些實施例中，所述影像處理裝置510及/或所述處理模組501可包括接收模組510、一評估模組520、一傳遞模組530、一加入模組540、一傳送模組550、一重新開始模組560中的一或多個，作為例示的硬體模組。在其它例子中，前述例示的硬體模組中的一或多個可被實施為一或多個軟體模組。
於是，所述影像處理裝置510是被配置以用於視訊處理。
因此，根據上述各種的實施例，所述影像處理裝置510及/或所述處理模組501及/或所述接收模組510是被配置以用於接收從所述影像感測器301發出的影像串流310。
所述影像處理裝置510及/或所述處理模組501及/或所述評估模組520是被配置以用於評估在所述串流310中的影像311的內容。
所述影像處理裝置510及/或所述處理模組501及/或所述傳遞模組530可被配置以用於依時間前後排列的順序來遞送所述影像串流310的所述部分310a至所述視訊編碼器303，所述部分310a是在正被評估的所述影像311的前面。
所述影像處理裝置510及/或所述處理模組501及/或所述投射模組540可被配置以用於在對應於所述被遞送的影像串流310a的所述編碼的影像串流330的末端加入所述至少第一空訊框320，直到所述評估完成為止。
在某些實施例中，視訊處理並未在所述至少第一空訊框320上執行。
所述影像處理裝置510及/或所述處理模組501及/或所述傳送模組550可被配置以用於傳送一指令以加入所述至少第一空訊框320，直到所述評估完成為止。
所述影像處理裝置510及/或所述處理模組501及/或所述重新開始模組560可被配置以用於重新開始來遞送所述影像串流310至所述視訊編碼器303。所述重新開始是包括遞送所述被評估的影像311至所述視訊編碼器303。
如同本文所用的，所述術語“模組”可以是指一或多個功能模組，所述功能模組的每一個都可被實施為一或多個硬體模組、及/或一或多個軟體模組、及/或一組合的軟體/硬體模組。在某些例子中，所述模組可以代表一被實現為軟體及/或硬體的功能單元。
如同本文所用的，所述術語“電腦程式載體”、“程式載體”、或是“載體”可以是指一電子信號、一光學信號、一無線電信號、以及一電腦可讀取的媒體中之一。在某些例子中，所述電腦程式載體可能排除暫態的傳播信號，例如是所述電子、光學、及/或無線電信號。因此，在這些例子中，所述電腦程式載體可以是一非暫態的載體，例如是一非暫態的電腦可讀取的媒體。
如同本文所用的，所述術語“處理模組”可包含一或多個硬體模組、一或多個軟體模組、或是其之一組合。任何此種模組(不論是一硬體、軟體、或是一組合的硬體-軟體模組)都可以是如同本文所揭露的一接收手段、評估手段、傳遞手段、加入手段、傳送手段、重新開始手段或類似者。舉例而言，所述詞語“手段”可以是一對應於以上所列出的模組結合所述圖的模組。
如同本文所用的，所述術語“軟體模組”可以是指一軟體應用程式、一動態連結函式庫(DLL)、一軟體構件、一軟體物件、一根據元件物件模型(COM)的物件、一軟體構件、一軟體函數、一軟體引擎、一可執行的二進位軟體檔、或類似者。
所述術語“處理模組”或“處理電路”在此可以涵蓋一處理單元，其包括例如一或多個處理器、一特殊應用積體電路(ASIC)、一現場可程式化閘陣列(FPGA)、或類似者。所述處理電路或類似者可包括一或多個處理器核心。
如同本文所用的，所述詞語“被配置以/用於”可以表示一處理電路被配置以(例如是適配於或操作以)藉由軟體的配置及/或硬體的配置，來執行本文所述的動作中的一或多個。
如同本文所用的，所述術語“動作”可以是指一動作、一步驟、一操作、一響應、一反應、一活動或類似者。應該注意到的是，一動作在此可以分開成為兩個或多個子動作，此視情況而定。再者，同樣視情況而定的是，應該注意到在此所述的動作中的兩個或多個可以合併成為單一動作。
如同本文所用的，所述術語“記憶體”可以是指一硬碟、一磁性儲存媒體、一可攜式電腦碟片或光碟、快閃記憶體、隨機存取記憶體(RAM)、或類似者。再者，所述術語“記憶體”可以是指一處理器的一內部暫存器記憶體、或類似者。
如同本文所用的，所述術語“電腦可讀取的媒體”可以是一萬用串列匯流排(USB)記憶體、一DVD-碟片、一藍光碟片、一被接收為一資料串流的軟體模組、一快閃記憶體、一硬碟機、一例如是一MemoryStick的記憶卡、一多媒體卡(MMC)、安全數位(SD)卡、等等。前述的電腦可讀取的媒體的例子中的一或多個可被提供為一或多個電腦程式產品。
如同本文所用的，所述術語“電腦可讀取的碼單元”可以是一電腦程式的文字、代表一電腦程式的具有一編譯的格式或是任何介於其間的一整個二進位檔或是部分。
如同本文所用的，所述術語“數目”及/或“值”可以是任意種類的數目，例如是二進位、實數、虛數或是有理數、或類似者。再者，“數目”及/或“值”可以是一或多個字元，例如是一字母或是一串字母。“數目”及/或“值”亦可以藉由一串位元(亦即0及/或1)來加以表示。
如同本文所用的，所述詞語“在某些實施例中”已經被用來指出所述的實施例的特徵可以和本文揭露的任何其它實施例組合。
即使各種態樣的實施例已經加以敘述，但是其之許多不同的改變、修改與類似者對於熟習此項技術者而言將會變成是明顯的。因此，所述實施例並非打算要限制本揭露內容的範疇。
100:數位攝影機 101A:第一數位影像 101B:第二數位影像 201:數位影像 210:影像處理裝置 220:影像捕捉裝置/監視攝影機 230:影像捕捉裝置 240:影像捕捉裝置 250:視訊網路系統 260:視訊伺服器 270:視訊儲存體 280:螢幕 300:成像系統 301:影像感測器 302:影像處理管線 302a:影像處理部分 302b:視訊後置處理部分 303:視訊編碼器 304:評估模組 310:影像串流 310a:部分 311:影像 312:第一緩衝器影像訊框 313:第二緩衝器影像訊框 314:第三緩衝器影像訊框 320:第一空訊框 321:第二空訊框 330:編碼的影像串流 331:視訊訊框 333:訊框 401:動作 402:動作 403:動作 404:動作 405:動作 406:動作 407:動作 501:處理模組 502:記憶體 503:電腦程式 504:處理電路 505:載體 506:輸入/輸出單元 510:影像處理裝置/接收模組 520:評估模組 530:傳遞模組 540:加入模組 550:傳送模組 560:重新開始模組 A、B:影像串流
在圖式中，出現在某些實施例中的特徵是藉由虛線來指出。
本文揭露的實施例的各種態樣(包含其之特定特徵及優點)從以下的詳細說明及所附的圖式將會容易理解，其中： [圖1]描繪一具有隱私遮蔽的數位影像以及一不具有隱私遮蔽的數位影像， [圖2a]描繪本文的影像捕捉裝置的例示實施例， [圖2b]是描繪本文的例示實施例的概觀圖， [圖3a]至[圖3f]是描繪一影像處理裝置以及在所述影像處理裝置中的視訊處理方法的例示實施例的概觀圖， [圖4]是描繪在一影像處理裝置中的一視訊處理方法的實施例的流程圖， [圖5]是描繪所述影像處理裝置的實施例的方塊圖。
401:動作
402:動作
403:動作
404:動作
405:動作
406:動作
407:動作

Claims (13)

  1. 一種用於控制視訊處理之方法，其中所述方法包括： 接收(401)從影像感測器(301)發出的影像串流(310)， 評估(402)在所述影像串流(310)中的影像(311)的內容， 依時間前後排列的順序來遞送(403)所述影像串流(310)的部分(310a)至視訊編碼器(303)，所述部分(310a)在正被評估的所述影像(311)之前，以及 在對應於被遞送的所述影像串流(310a)的編碼的影像串流(330)的末端加入(406)至少第一空訊框(320)，直到所述評估完成為止。
  2. 如請求項1之方法，其中在所述編碼的影像串流(330)的所述末端加入一或多個空訊框(320)所使用的速率依照預設的目前影像訊框率，使得所述編碼的影像串流(330)的訊框率是固定的。
  3. 如請求項1或2之方法，其中所述至少第一空訊框(320)是預先計算出的編碼的訊框，其不具有相關於所述編碼的影像串流(330)的一先前訊框(331、333)的編碼的差異。
  4. 如請求項3之方法，其中所述先前訊框(331、333)是最近編碼的訊框(331)。
  5. 如請求項1至4中的任一項之方法，其中所述至少第一空訊框(320)並不包括編碼的宏區塊。
  6. 如請求項1至5中的任一項之方法，其中所述至少第一空訊框(320)包括指出沒有宏區塊被編碼的旗標。
  7. 如請求項1至6中的任一項之方法，其中視訊處理並未在所述至少第一空訊框(320)上執行。
  8. 如請求項1至7中的任一項之方法，其中在所述編碼的影像串流(330)的所述末端加入(406)所述至少第一空訊框(320)在所述視訊編碼器(303)之後執行，使得所述至少第一空訊框(320)並不通過所述視訊編碼器(303)。
  9. 如請求項1至8中的任一項之方法，其中所述方法進一步包括， 傳送(405)指令以加入所述至少第一空訊框(320)，直到所述評估完成為止。
  10. 如請求項1至9中的任一項之方法，其中所述方法進一步包括， 重新開始(407)遞送所述影像串流(310)至所述視訊編碼器(303)，其中所述重新開始包括遞送被評估的所述影像(311)至所述視訊編碼器(303)。
  11. 一種影像擷取裝置(210)，其被配置以執行如請求項1至10中的任一項之方法。
  12. 一種包括電腦可讀取的碼單元之電腦程式(503)，當所述電腦可讀取的碼單元在影像處理裝置(210)上執行時，使得所述影像處理裝置(210)執行如請求項1至10中的任一項之方法。
  13. 一種包括如請求項12的電腦程式之載體(505)，其中所述載體(505)是電子信號、光學信號、無線電信號、以及電腦可讀取的媒體中之一者。
TW110136494A 2020-11-05 2021-09-30 用於視訊處理的方法及影像處理裝置 TWI859470B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20205936.6A EP3996367B1 (en) 2020-11-05 2020-11-05 Method and image-processing device for video processing
EP20205936.6 2020-11-05

Publications (2)

Publication Number Publication Date
TW202220452A true TW202220452A (zh) 2022-05-16
TWI859470B TWI859470B (zh) 2024-10-21

Family

ID=

Also Published As

Publication number Publication date
US12056926B2 (en) 2024-08-06
EP3996367A1 (en) 2022-05-11
CN114531528B (zh) 2024-02-23
KR20220061032A (ko) 2022-05-12
US20220138468A1 (en) 2022-05-05
JP2022075532A (ja) 2022-05-18
CN114531528A (zh) 2022-05-24
EP3996367B1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
US10638162B2 (en) Coding method and decoding processing method
US10009628B2 (en) Tuning video compression for high frame rate and variable frame rate capture
US10277901B2 (en) Encoding a video stream having a privacy mask
US9756348B2 (en) Method, device and system for producing a merged digital video sequence
KR20200003715A (ko) 오버레이로 비디오를 인코딩하기 위한 방법 및 시스템
US10735724B2 (en) Method and device for compressing image on basis of photography information
WO2009113280A1 (ja) 画像処理装置およびそれを搭載した撮像装置
US10616498B2 (en) High dynamic range video capture control for video transmission
CN113473126B (zh) 视频流的处理方法、装置、电子设备及计算机可读介质
US20240015307A1 (en) Method and image-capturing device for encoding image frames of an image stream and transmitting encoded image frames on a communications network
US9565404B2 (en) Encoding techniques for banding reduction
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
CN114531528B (zh) 用于视频处理的方法和图像处理设备
CN109429070A (zh) 一种移动终端视频编码方法、装置及移动终端
CN109194965B (zh) 处理方法、处理装置、显示方法和显示装置
CN112911299B (zh) 一种视频码率控制方法、装置、电子设备和存储介质
TWI439137B (zh) 重建一圖像群以在該圖像群中隨機存取之方法及裝置
US10003826B2 (en) Method of reducing noise of video signal
US11716475B2 (en) Image processing device and method of pre-processing images of a video stream before encoding
US11197014B2 (en) Encoding apparatus, decoding apparatus, and image processing system
US20240282008A1 (en) Object blurring on compressed videos
WO2016122540A1 (en) Encoder
CN115150370A (zh) 一种图像处理的方法
JP2007201841A (ja) 動画像撮影装置