TW201639376A - 處理視訊攝影機中之視訊串流之方法與裝置 - Google Patents

處理視訊攝影機中之視訊串流之方法與裝置 Download PDF

Info

Publication number
TW201639376A
TW201639376A TW105112181A TW105112181A TW201639376A TW 201639376 A TW201639376 A TW 201639376A TW 105112181 A TW105112181 A TW 105112181A TW 105112181 A TW105112181 A TW 105112181A TW 201639376 A TW201639376 A TW 201639376A
Authority
TW
Taiwan
Prior art keywords
image
data
post
video
processing
Prior art date
Application number
TW105112181A
Other languages
English (en)
Other versions
TWI669959B (zh
Inventor
嵩 袁
亞歷山大 瑪汀斯
Original Assignee
安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 安訊士有限公司 filed Critical 安訊士有限公司
Publication of TW201639376A publication Critical patent/TW201639376A/zh
Application granted granted Critical
Publication of TWI669959B publication Critical patent/TWI669959B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2222—Prompting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3256—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本文揭示一種用於處理一視訊裝置中之一影像之方法，其包括：讀取一影像；及藉由將關於該影像之後設資料嵌入該影像中或搭配該影像嵌入而組合該影像與該後設資料。該方法進一步包含在一編碼器中編碼該影像之前，變換該影像並自該影像提取該後設資料，且利用該後設資料作為進一步處理中之輸入。

Description

處理視訊攝影機中之視訊串流之方法與裝置
本發明係關於一種用於處理視訊串流之方法，特定而言係關於視訊攝影機內之視訊串流。
在視訊攝影機中使用一影像感測器以如經由視訊攝影機之成像光學器件所獲取般獲取一影像。該影像感測器通常係對輻射(通常呈光之形式)敏感之一像素矩陣。
如自影像感測器讀取之原始影像通常不適合直接顯示，且此存在若干原因，因此該影像在其經轉送用於顯示之前經受實質處理。視訊攝影機之一般目的係獲取一影像且準備該影像用於觀看。在如本文中使用之視訊攝影機中，該攝影機主要用於諸如監控之監視操作。在此一攝影機中，影像作為視訊串流中之一圖框而離開該攝影機，且因而該攝影機將包含準備及轉送視訊串流之一編碼器。
處理步驟可包含對影像本身執行之操作，例如，去馬賽克、平衡強度、平衡色彩、校正影像失真，且此外可在編碼器中重新定大小、旋轉且最終處理該影像。所提及之步驟僅係實例，且不以任何特定順序給定。
當處理影像時，可使用例如自原始影像推導之資料之後設資料。僅給定一些相關實例，後設資料可關於： 用於影像之各個部分之信雜比(SNR)。可使用SNR資料以組態或改變該攝影機內部之濾波器，諸如雜訊濾波，且其亦可用以觸發外部光以用於改良光條件。
若將視訊攝影機用於監視或監控目的，則通常識別已偵測到運動之區域之識別，其中影像之改變通常識別所關注之事件。
識別或預設被特定關注用於影像處理(或由使用者識別為特定關注)之所關注區域(ROI)，諸如一臉部、一特定形狀等等。
此類型之後設資料之一最終實例係關於影像之一壓縮映射。一壓縮映射可係經提供至一編碼器以在空間上改變其壓縮參數之一表，且其可係關於一壓縮層級、具有常數及臨限值之一表或用於區塊類型決策之常數。藉由比較該影像與先前影像，可產生指示如何可根據一特定協定編碼該影像之一圖。
因已自影像感測器讀取原始影像，故可自原始影像提取後設資料之以上實例，且可將其等用於下游程序。
後設資料不必包括自在本發明之內容脈絡中視為後設資料之影像提取之資訊。此類型之後設資料之一實例可係關於用於在影像處理中之一隨後階段校正或調整影像之多種遮罩。另一實例可係關於由一使用者預設之一所關注區域。後設資料亦可係關於所關注之使用者定義區域、隱私遮罩、優先區域(視需要應對何處影像品質排定優先級之一圖)及關於攝影機之設定或來自感測器之輸入之資訊；變焦位準、快門速度、傾斜感測器。
視訊攝影機之成像光學器件最常將一定程度之失真引入至影像。一些共同實例係桶形失真及針墊失真。其他類型之失真可包含色像差、單色像差及相關子群組。
失真將暗示如自影像感測器讀取之影像不適合於以其現有形式顯示；需要在顯示該影像之前變換。
可在一編碼器、轉碼器或一視訊管理系統中執行所述影像處理以提及視訊攝影機之若干替代，亦即，該處理可係相同或類似的，無關於是否自一影像感測器讀取或自一檔案提供影像。
在努力簡化影像之處理中，特定而言當該處理包含一影像之變換時，本申請案揭示一種用於處理一視訊裝置中之一影像之方法。該方法包括一系列步驟，該等步驟可或可不按所列出之順序執行且包含：讀取一影像；藉由將關於該影像之後設資料嵌入該影像中或搭配該影像嵌入而組合該影像與該後設資料；變換該影像；自該影像提取該後設資料；在一編碼器中編碼該影像；及利用該後設資料作為進一步處理中之輸入。
當在變換之前將該後設資料搭配該影像嵌入或嵌入該影像中時，該方法尤其有利，因為關於該影像之一特定區域(像素、像素區塊等等)之後設資料將在變換期間跟隨該區域。進一步效應係針對後設資料及影像之每一集合將僅需執行一次該變換，而非相繼變換其等。
在一或多項實施例中，進一步處理包括影像之處理或後續影像之處理，亦即，可將自一影像提取之後設資料用於該特定影像之處理，(例如在編碼該影像期間)，但亦可將該後設資料用在後續影像之處理中，例如，藉由因該影像之一特定區域中之一特定信雜比而改變設定。
在其他或相關實施例中，處理可包括與該影像隔離之後設資料本身之處理。處理可包含SNR後設資料、運動後設資料、物件識別後設資料等等之評估。可使用SNR後設資料以避免邊緣偵測中之錯誤，且可使用運動後設資料以在執行運動偵測時支援一分析部分，僅提及若干不同使用案例。
在相關或單獨實施例中，進一步處理可包括諸如影像分析、視覺應用、速率控制或圖框拼接之程序。該等程序明顯可單獨或組合地執行。影像分析旨在包含用於分析物件、運動之影像或其他基本資訊之程序，例如運動偵測、物件偵測、臉部偵測等等。視覺應用設想影像之處理以理解該處理；以模仿人類視覺及認知方法，且實例包含物件識別、臉部識別、人員計數等等。
此處理之結果或基礎可以後設資料之形式自一影像或一影像序列導出，且該後設資料可單獨使用及/或用於支援其他程序。
在一或若干實施例中，嵌入該影像中或搭配該影像嵌入之後設資料已自該影像導出，亦即，已使用多種演算法分析該影像以達到多種類型之後設資料。此將在詳細描述中進一步繪示。在一視訊攝影機中使用該方法之情境中，此實施例多半將適用。使用不同演算法評估原始影像且結果可呈後設資料之形式。為方便起見，接著可將此後設資料搭配該影像嵌入或嵌入該影像中。
在一或多項實施例中，在變換該影像之前執行將該影像自光柵格式轉換至區塊格式，且其中在使用後設資料作為輸入而處理影像之前執行將該影像自區塊格式轉換回至光柵格式。
在一或若干項實施例中，該方法包括在變換該影像之前及/或之後組合該影像與後設資料，其中該後設資料呈疊對之形式。在執行變換之前，將關於本發明所述之若干優點耦合至後設資料之嵌入，仍可存在僅或亦可在變換之後新增後設資料之情境。
在一或多項實施例中，藉由嵌入後設資料作為一對應像素區塊之一額外色彩空間分量而搭配該影像嵌入該後設資料。
在一或多項其他實施例中，藉由使用對應於一特定像素區塊之後設資料填補該特定像素區塊之一色彩空間分量而搭配該影像嵌入該後設資料。
在又其他實施例中，藉由取代該影像中之色彩或照度資訊之一部分而將該後設資料嵌入該影像中。
在影像係一區塊格式化影像之實施例中，可將後設資料附加至該區塊格式化影像中之每一巨集區塊。
在一或若干實施例中，在將影像轉送至編碼器之前將後設資料與影像分離，而非僅提取後設資料。若使用一標準編碼器，則在將後設資料發送至一編碼器之前移除該後設資料中，可存在優點，因為存在嵌入影像中之後設資料可引起該編碼器中之故障或衝突。
在一或多項實施例中，後設資料可選自包括以下各者之群組：信雜比後設資料、壓縮後設資料、運動後設資料、隱私遮罩後設資料及所關注區域後設資料及其等之組合。
在該等實施例之任一者或額外實施例中，視訊裝置可係一視訊攝影機、一編碼器、一轉碼器、或一視訊管理系統(VMS)中之一組件。
根據另一態樣，本發明係關於一種經組態以執行一或多項前述或以下實施例之方法之視訊裝置。該視訊裝置可包括：一影像處理管線，其經組態以自一影像提取後設資料，且進一步經組態以將該後設資料或其他後設資料嵌入至該影像中；一變換器，其經組態以接收具有經嵌入後設資料之影像且根據所定義設定變換具有該經嵌入後設資料之該影像；一提取器，其經組態以自具有後設資料之經變換影像提取該後設資料且轉送該影像，諸如經組態以根據一特定協定壓縮影像之一影像編碼器。
在一或多項實施例中，後設資料之至少一選定部分亦經轉送以供進一步處理，且在壓縮該影像時使用該選定部分作為輸入。
將不會單獨論述本發明之多種實施例之一視訊裝置之進一步特徵。代替性地，可自該方法之對應實施例推導該視訊裝置之進一步實 施例，且亦可自對應方法之效應推導此等特徵之效應。作為一實例，該視訊裝置可係一視訊攝影機、一視訊編碼器、一視訊轉碼器或一VMS中之一組件。
100‧‧‧第一實施例
102‧‧‧後設資料
104‧‧‧原始影像
106‧‧‧嵌入
108‧‧‧轉換
110‧‧‧變換
112‧‧‧轉譯回
114‧‧‧編碼器
118‧‧‧速率控制
120‧‧‧外部應用程式
122‧‧‧圖框拼接程序
124‧‧‧疊對
126‧‧‧疊對源
406‧‧‧影像處理管線
408‧‧‧第一步驟
410‧‧‧輸出影像
412‧‧‧第二步驟
414‧‧‧所關注區域
416‧‧‧壓縮映射
418‧‧‧影像
420‧‧‧變換步驟
422‧‧‧輸出影像
424‧‧‧配送
426‧‧‧壓縮映射
428‧‧‧經變換影像
430‧‧‧編碼器
432‧‧‧經壓縮影像
434‧‧‧信雜比
436‧‧‧所關注區域
438‧‧‧其他應用
圖1係繪示本發明之一第一實施例之一方塊圖。
圖2係繪示本發明之一第二實施例之一方塊圖。
圖3係繪示本發明之一第三實施例之一方塊圖。
圖4係繪示本發明之一第四實施例之一功能圖。
圖1繪示本發明之第一實施例100之一方法。
在描述圖1之細節之前，值得一提的是，可包含在本發明之內容脈絡中之後設資料之定義中之若干實例。首先，所關注之後設資料係與影像之不同區域具有一些相關性之後設資料。其可在一單一像素至多不同大小的像素區塊之層級。廣義的實例包含統計資料或描述影像之性質(諸如色彩、所關注區域、運動等等)之其他資料，其加至或包含在【先前技術】段落中給定之實例。併入該視訊攝影機中之一影像處理器之一分析單元可偵測影像之一特定部分中之一運動，或一儲存部分可併入關於應如何平衡影像之各個部分之強度以考量影像感測器之不規則性之一遮罩。此外，後設資料可追蹤影像之強度如何相對於一先前影像改變及該影像之各個部分如何移動，且藉此後設資料將定義該影像之各個部分如何表現及影像應如何編碼於影像之串流中。該後設資料亦可關於影像之各個部分之一信雜比、影像之各個部分之一對比度、影像之各個部分之一強度直方圖等等。除此之外，後設資料應對個別像素或像素群組之層級具有影響，後設資料較佳應意欲由一下游程序使用(諸如由一編碼器使用，現今便是如此)。
返回至圖1之方塊圖，組合後設資料102與一原始影像104，其中將該後設資料嵌入106至該影像中。
可以許多方式之一者執行實際嵌入。一第一實例可包含將後設資料填補至現有色彩空間中。通常，U/V分量可係一位元組，然而縮減至6個或7個位元係可接受的(若此縮減不會在很大程度上使影像品質劣化)。接著，可將後設資料接著新增至現可用之2個或1個位元。因為此解決方案僅在攝影機內部，故可針對特定應用選擇最佳方式。一第二實例可係藉由新增後設資料之一位元組而延伸色彩空間分量。作為一實例，U/C分量之長度可係1位元組，但將後設資料之一額外位元組新增至每一U/V分量而非將U/C分量之長度製成2個位元組。
可如何執行影像及後設資料之組合之一些進一步特定實例可包含：
-對於YUV422，具有每像素1xY位元組且每2x1像素區塊1x位元組使得U及V二者=UYVY，可將後設資料之又一位元組新增至UYVY格式，從而使其變成UYVYM，其中M表示經新增之後設資料。
-對於YUV420，具有每像素1xY位元組且每2x2像素區塊1x位元組使得U及V二者=YYYYUV，可針對每一2x2區塊新增後設資料之又一位元組，從而使其變成YYYYUVM，M再次表示經新增之後設資料；或
-對於NV12，可將後設資料保存在一單獨平面中。除了已針對NV12存在之兩個Y及UV平面之外，亦可新增用於後設資料之一第三平面。
亦可將後設資料作為一或多個位元填補至Y、U或V色彩空間分量中。
存在將後設資料嵌入至一影像中之若干更多方式且因此，以上極特定實例不應解釋為如藉由申請專利範圍定義之本發明之限制。以 上實例主要係關於將後設資料嵌入一影像之情境。另一類別將係將後設資料嵌入一影像中，亦即，藉由後設資料移除或取代例如色彩資訊或照度資訊之部分。一些影像資訊可丟失，但在將影像發送至一標準編碼器之前，無須移除後設資料，且此將參考編碼器予以論述。
可如例示般將後設資料本身搭配影像嵌入或嵌入影像中。若該後設資料過於廣泛或若其適合其他原因，則可由指標取代該後設資料。用於嵌入後設資料之指標之效應及方式完全類似於嵌入後設資料本身，且該等指標將以與後設資料相同之方式與像素、像素之區塊或區域相關聯。出於該原因，後設資料之該等指標將包含在較寬定義「後設資料」中以用於本發明之目的。每一指標指向實際後設資料所處之一記憶體空間中之一位置。
實例之清單並非旨在詳盡性而是旨在繪示存在用於實現影像及後設資料之組合之若干選項，且方法之選擇可取決於內容脈絡。
在資料之組合之後，將影像自線格式(亦稱為光柵格式)轉換108至區塊格式。並非全部實施例需要此轉換，因為一些變換(例如，去翹曲)可能需要區塊資料，而若干其他情況可直接在一光柵影像上操作。在本實施例中，每區塊新增後設資料，且因此轉譯係有意義的。事實上，可對光柵影像使用每區塊後設資料，但此一程序不必要地繁瑣。
在組合之後，可以多種方式變換110現包含經嵌入後設資料之影像。典型變換包含去翹曲；包含針對諸如桶形失真之光學失真以及其他影像失真校正影像；及旋轉，其中相對於一特定參考系統正確地配置影像。另一實例係影像穩定，其中在影像獲取期間可使像素資訊移位以考量未經控制之運動。任何變換之結果可係使個別像素或像素之區塊在影像中移位。
在變換110之後(但無需緊接在變換110之後)，將影像轉送至一編 碼器114，且出於所解釋之原因，在該編碼器之前，較佳可自該影像提取(及移除)後設資料。在編碼器114中，將影像編碼且轉送為一視訊串流中之一圖框，或轉送為一單獨經壓縮影像。在提取後設資料且編碼影像資料之前，將經組合影像自區塊格式轉譯回112至線格式。可根據許多現有編碼技術之一者執行編碼本身，且因為編碼本身並非本發明之核心，所以其亦可包含進一步編碼技術。在編碼中使用後設資料或其之至少一部分。歸因於將後設資料嵌入影像中或搭配影像嵌入之事實，當像素或像素之區塊在一變換步驟中移動時後設資料將移動。此意謂可容易地提取後設資料且將後設資料耦合至影像之正確部分，因為貫穿程序維持耦合至影像之正確部分。在進入實際編碼器之前較佳可實現後設資料之提取，且在允許使用任何標準編碼器之意義上，原因係切合實際的。除了其可係在進入編碼器之前提取後設資料之原因之態樣之外，在編碼器內部之後設資料之提取絕非不可能或甚至困難的，且因此不應自藉由隨附申請專利範圍定義之本發明之範疇排除。
當將後設資料嵌入影像中時，亦即，當後設資料取代例如色彩資訊之部分時，仍可自影像提取資訊本身，但無需在將影像發送至編碼器之前自影像移除後設資料。編碼器將不會意識到後設資料之存在，雖然後設資料可影響影像之外觀，但效應可忽略。效應可係貫穿整個程序及超出程序將後設資料包含於影像中。
用於編碼器之主要所關注之後設資料可係壓縮後設資料或壓縮映射，本發明之又一進一步效應係將存在完全匹配於自該編碼器發送出之影像之後設資料之一集合，亦即，將展示給一使用者或在一客戶端處進一步處理之影像。此意謂可將後設資料或其之一選定部分轉送至一下游程序。該下游程序可係視訊攝影機之約束內之一程序，但其亦可在視訊攝影機之約束外部。此將在圖2中進一步繪示且係關於一 第二實施例。圖2實際上可視作包含具有在除編碼外之一程序中使用經提取後設資料之共同點之一系列實施例，如在圖2中之116處指示。在一項實施例中，將後設資料轉送至一速率控制118。在另一實施例中，可將後設資料轉送至一外部應用程式120且轉送至一VMS(視訊管理系統)及/或轉送至一內部應用程式。在又一實施例中，將後設資料轉送至一圖框拼接程序122，例如，其中將四個不同視圖(來自四個視訊攝影機之每一者之一視圖)組合成展示給一操作者之一單一視圖。可自由組合此等實施例之任一者。其他實例可包含邊緣偵測演算法，其按每區域使用SNR以避免錯誤肯定，亦即，減少實際上並非邊緣之邊緣偵測之風險。在另一實例中，將一運動偵測演算法之結果作為後設資料嵌入影像中或搭配影像嵌入，其中可將該結果發送至邊界線偵測演算法以預期交叉保護之區域。
在如圖3中繪示之一第三實施例中，在變換影像之步驟之前或之後，存在新增一疊對124之一額外步驟，且此疊對可被視為與影像組合之進一步後設資料。該疊對可係一隱私遮罩或為使用者之益處將文字資訊新增至影像之一文字層，且取決於類型，可在影像之變換之前或之後將其嵌入影像中，通常將不新增一文字層直至變換之後，此係因為其可不連接至特定像素或區域，而可取決於遮罩之類型在變換之前或之後新增一隱私遮罩。若動態地應用隱私遮罩，則識別待經遮罩之區域之演算法可利用一非變換影像。
應指出可自由組合此前所揭示實施例用於產生進一步實施例，例如，如在圖3中所繪示之第三實施例中使用之一疊對源126之新增可被新增至圖2中所繪示之第二實施例，此將產生一第四實施例。
在圖1至圖3之示意性介紹之後，圖4繪示本發明之一些更詳細應用。圖4係根據本發明之一第四實施例之影像處理400之一功能圖。實施例本身包含已揭示之若干特徵，且其亦可相應地劃分為多個實施 例。圖4之目的係與圖1至圖3略微不同地描述本發明之態樣，且藉此增加對本發明之理解。
在一第一步驟中，獲取一影像。可自一影像感測器獲取影像本身，但其亦可自一檔案讀取或自另一影像源獲取。在本實施例中，使一樹404成像。在此經簡化佈局中將該影像劃分為四個區段：左上區段(UL)、右上區段(UR)、左下區段(LL)及右下區段(LR)。
接著，該影像進入一影像處理管線406，且在一第一步驟408中可偵測每一區段中之運動，在本實例中，在左上區段中偵測一運動m1且在左下部區段中偵測一運動m2，如在410處的輸出影像中所指示。在本實例中在其他區段中未偵測運動。
在一第二步驟412中，可針對每一區段計算一信雜比，從而導致自影像之左上區段至右下區段計數之值snr1至snr4，值snr1至snr4各指示特定區段之SNR位準。
在推導信雜比之後，可執行識別所關注區域414及一壓縮映射416之一步驟，且可將對應後設資料嵌入至影像418中。
在影像處理管線之後，結果係具有經嵌入後設資料之原始影像，且對於影像418之每一區段，結果如下：
UL：m1、snr1、comp1，
UR：snr2、roi1、comp2
LL：m2、snr3、comp1
LR：snr4、roi1、comp3
隨著經組合影像現進入變換步驟420，本發明之優點變得明顯。在本實施例中，變換對應於影像之180度旋轉，且當影像旋轉時，該經嵌入後設資料亦將旋轉。對於後設資料，此對應於順時針移動兩個區段(或就此而言，逆時針)，但應明白，無關於變換，該經嵌入後設資料將跟隨對應影像資料，如在輸出影像422中指示。
在變換之後，可使後設資料與影像分離且自影像配送424後設資料；且可運用經變換影像428將關於壓縮映射426之後設資料轉送至編碼器430，該編碼器430之結果係一經壓縮影像432。可將可能與關於所關注區域436之後設資料組合之其他類型的後設資料(諸如關於信雜比434之後設資料)轉送至其他應用438，例如在應用平台處可用之應用。
在本實例中，將影像劃分為四個區段，此應被視為僅具有解釋目的之一非限制實例。在其他實施例中，劃分可更接近像素大小，諸如16x16至32x32個像素，可將影像劃分為影像區塊，使得每一影像可含有32x32個區段或64x64個區段(僅給定一些進一步實例)。該等區段之寬度及高度將不必對稱，其等可亦可將影像劃分成片段等等。
圖4之實施例包括若干實施例及替代例。可藉由例如自圖4之流程選擇單一影像處理步驟(諸如步驟408或412或416等等)並省略一或多個其他步驟而將其劃分為進一步實施例。
關於後設資料之定義已進一步揭示，可強調後設資料可關於實際資料(對於本文中之多數實例)，但在不脫離如藉由隨附申請專利範圍定義之本發明之範疇的情況下亦可包括後設資料之表之一ID或指標。又，可在影像處理期間之任何階段使用後設資料。已在描述中給定後設資料之若干實例，且應強調後設資料之清單並非詳盡性。本發明並非關於後設資料之新類型而是關於在一影像處理管線中處理與影像結合之後設資料之新方式，如藉由申請專利範圍所定義。關於此態樣。在描述之實例中，迄今已自一感測器獲取影像，但若自一檔案或自另一輸入源讀取影像，則本發明方法可同樣有利。當然，可已在某一點自一感測器獲取此影像，但本發明不應在此方面受限制。
可單獨使用方法本身及其實施例作為一編碼序列或一轉碼序列中之一部分，且術語「視訊裝置」係用作一般術語，包括但不限於例 示性裝置，亦即，一視訊攝影機、一視訊編碼裝置、一視訊轉碼裝置及一視訊管理系統。
102‧‧‧後設資料
104‧‧‧原始影像
106‧‧‧嵌入
108‧‧‧轉換
110‧‧‧變換
112‧‧‧轉譯回
114‧‧‧編碼器
118‧‧‧速率控制
120‧‧‧外部應用程式
122‧‧‧圖框拼接程序

Claims (16)

  1. 一種用於處理一視訊裝置中之一影像之方法，其包括：讀取一影像；藉由將關於該影像之後設資料嵌入至該影像中而組合該影像與該後設資料，變換具有該經嵌入後設資料之該影像，其中與一像素或一像素區塊相關聯之後設資料跟隨此像素或像素區塊之移動，自該影像提取該後設資料，且將該影像轉送至一編碼器；在該編碼器中編碼該影像，利用該後設資料作為進一步處理中之輸入。
  2. 如請求項1之方法，其中該進一步處理包括：該影像之處理或後續影像之處理。
  3. 如請求項1之方法，其中該進一步處理包括：處理該後設資料。
  4. 如請求項1之方法，其中該進一步處理包括：影像分析、視覺應用、速率控制或圖框拼接及其等之組合；執行速率控制、圖框拼接、動作觸發、支援影像分析工具及其等之組合。
  5. 如請求項1之方法，其進一步包括：在將該後設資料嵌入至該影像中之前自該影像導出該後設資料。
  6. 如請求項1之方法，其中在變換該影像之前執行將該影像自一光柵格式轉換至一區塊格式，且其中在使用該後設資料作為輸入而處理該影像之前執行將該影像自一區塊格式轉換回至一光柵格式。
  7. 如請求項1之方法，其包括在變換該影像之前及/或之後組合該影像與後設資料，其中該後設資料呈疊對之形式。
  8. 如請求項1之方法，其中藉由嵌入後設資料作為一對應像素區塊 之一額外色彩空間分量而組合該後設資料與該影像。
  9. 如請求項1之方法，其中藉由使用對應於一特定像素區塊之該後設資料填補該特定像素區塊之一色彩空間分量而組合該後設資料與該影像。
  10. 如請求項1之方法，其中該後設資料取代該影像中之色彩或照度資訊之一部分。
  11. 如請求項1之方法，其中將該後設資料附加至一區塊格式化影像中之每一巨集區塊。
  12. 如請求項1之方法，其中在將該影像轉送至該編碼器之前使該後設資料與該影像分離。
  13. 如請求項1之方法，其中該後設資料選自包括以下各者之群組：信雜比後設資料、壓縮後設資料、運動後設資料、隱私遮罩後設資料及所關注區域後設資料及其等之組合。
  14. 如請求項1之方法，其中該視訊裝置係一視訊攝影機、一視訊編碼器、一視訊轉碼器或一視訊管理系統。
  15. 一種視訊裝置，其經配置以執行如請求項1之方法，該視訊裝置包括：一影像處理管線，其經組態以自一影像提取後設資料，且進一步經組態以將該後設資料或其他後設資料嵌入至該影像中，一變換器，其經組態以接收具有經嵌入後設資料之該影像，且根據經定義設定變換具有該經嵌入後設資料之該影像；一提取器，其經組態以自具有該後設資料之該經變換影像提取該後設資料，且將該影像轉送至進一步處理，諸如轉送至經組態以根據一特定協定壓縮該影像之一影像編碼器。
  16. 如請求項15之視訊裝置，其中該視訊裝置係一視訊攝影機、一視訊編碼器、一視訊轉碼器或一視訊管理系統。
TW105112181A 2015-04-23 2016-04-19 處理視訊攝影機中之視訊串流之方法與裝置 TWI669959B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15164848.2A EP3086562B1 (en) 2015-04-23 2015-04-23 Method and device for processing a video stream in a video camera
??15164848.2 2015-04-23

Publications (2)

Publication Number Publication Date
TW201639376A true TW201639376A (zh) 2016-11-01
TWI669959B TWI669959B (zh) 2019-08-21

Family

ID=53016491

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105112181A TWI669959B (zh) 2015-04-23 2016-04-19 處理視訊攝影機中之視訊串流之方法與裝置

Country Status (7)

Country Link
US (1) US10057591B2 (zh)
EP (1) EP3086562B1 (zh)
JP (1) JP6454659B2 (zh)
KR (1) KR101780761B1 (zh)
CN (1) CN106067974B (zh)
CA (1) CA2927295C (zh)
TW (1) TWI669959B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565922B2 (ja) 2014-10-10 2019-08-28 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム
US9990513B2 (en) 2014-12-29 2018-06-05 Entefy Inc. System and method of applying adaptive privacy controls to lossy file types
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
US10178394B2 (en) * 2016-06-10 2019-01-08 Apple Inc. Transcoding techniques for alternate displays
US10297059B2 (en) * 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
US10037413B2 (en) * 2016-12-31 2018-07-31 Entefy Inc. System and method of applying multiple adaptive privacy control layers to encoded media file types
US10169597B2 (en) * 2016-12-31 2019-01-01 Entefy Inc. System and method of applying adaptive privacy control layers to encoded media file types
US10395047B2 (en) 2016-12-31 2019-08-27 Entefy Inc. System and method of applying multiple adaptive privacy control layers to single-layered media file types
US10587585B2 (en) 2016-12-31 2020-03-10 Entefy Inc. System and method of presenting dynamically-rendered content in structured documents
US10277901B2 (en) 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
US10305683B1 (en) 2017-12-29 2019-05-28 Entefy Inc. System and method of applying multiple adaptive privacy control layers to multi-channel bitstream data
US10410000B1 (en) 2017-12-29 2019-09-10 Entefy Inc. System and method of applying adaptive privacy control regions to bitstream data
GB2575009B (en) * 2018-05-14 2022-12-14 Advanced Risc Mach Ltd Media processing systems
EP3576045B1 (en) * 2018-06-01 2020-05-20 Axis AB Correcting image overlay
US11245909B2 (en) * 2019-04-29 2022-02-08 Baidu Usa Llc Timestamp and metadata processing for video compression in autonomous driving vehicles

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833865B1 (en) * 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
US6538676B1 (en) * 1999-10-04 2003-03-25 Intel Corporation Video token tracking system for overlay of metadata upon video data
US7430723B2 (en) 2001-11-29 2008-09-30 Gse Advanced Industrial Technologies, Gmbh System and method for implementing a three-dimensional graphic user interface
US20050057670A1 (en) * 2003-04-14 2005-03-17 Tull Damon L. Method and device for extracting and utilizing additional scene and image formation data for digital image and video processing
EP1631089A1 (en) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and decoding apparatus
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
KR100886337B1 (ko) * 2006-11-23 2009-03-02 삼성전자주식회사 이미지 내 선택 영역을 일괄 저장하는 장치 및 이미지정보의 문서화 장치
CN101681499B (zh) * 2007-06-14 2013-04-24 汤姆逊许可证公司 修改经编码的比特流
US8347344B2 (en) * 2008-12-18 2013-01-01 Vmware, Inc. Measuring remote video playback performance with embedded encoded pixels
WO2010119388A1 (en) * 2009-04-15 2010-10-21 Koninklijke Philips Electronics N.V. Quantification of medical image data
US8355570B2 (en) * 2009-08-12 2013-01-15 Conexant Systems, Inc. Systems and methods for raster-to-block converter
JP5577415B2 (ja) * 2010-02-22 2014-08-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示
US9326000B2 (en) * 2014-07-02 2016-04-26 Omnivision Technologies (Shanghai) Co., Ltd. Method and system for still image encoding and random access decoding

Also Published As

Publication number Publication date
KR101780761B1 (ko) 2017-09-21
JP6454659B2 (ja) 2019-01-16
JP2017005687A (ja) 2017-01-05
KR20160126861A (ko) 2016-11-02
CA2927295C (en) 2021-10-19
US10057591B2 (en) 2018-08-21
EP3086562A1 (en) 2016-10-26
US20160316219A1 (en) 2016-10-27
CN106067974A (zh) 2016-11-02
EP3086562B1 (en) 2017-05-24
TWI669959B (zh) 2019-08-21
CN106067974B (zh) 2018-06-19
CA2927295A1 (en) 2016-10-23

Similar Documents

Publication Publication Date Title
TWI669959B (zh) 處理視訊攝影機中之視訊串流之方法與裝置
CN107945135B (zh) 图像处理方法、装置、存储介质和电子设备
US10621415B2 (en) Facial image processing apparatus, facial image processing method, and non-transitory computer-readable storage medium
CN107730445B (zh) 图像处理方法、装置、存储介质和电子设备
US10671877B2 (en) Method and apparatus for performing privacy masking by reflecting characteristic information of objects
US10362276B2 (en) Image capture apparatus, method for setting mask image, and recording medium
US20130169834A1 (en) Photo extraction from video
US20180232943A1 (en) System and method for generating a virtual viewpoint apparatus
CN108012078B (zh) 图像亮度处理方法、装置、存储介质和电子设备
US20170148488A1 (en) Video data processing system and associated method for analyzing and summarizing recorded video data
JP5534756B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
US20130242127A1 (en) Image creating device and image creating method
KR102281149B1 (ko) 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
JP2009519503A (ja) 写真の目のアーチファクトの２段階検出
EP2141928A1 (en) Device and method for analysing an encoded image
US20130236096A1 (en) System and method for the repair of anomalies in images
JP2020202489A5 (zh)
JP6635741B2 (ja) 画像処理装置及び制御方法
CN112241735A (zh) 一种图像处理方法、装置及系统
KR101920369B1 (ko) 열화상 카메라의 영상처리장치 및 영상처리방법
US10186122B2 (en) Information processing apparatus, information processing method, and storage medium
JP2016129281A (ja) 画像処理装置
US11765309B2 (en) Video capturing subject using IR light
JP2014049895A (ja) 画像処理方法
JP2011254393A (ja) 符号化装置、符号化方法及びプログラム