TWI619376B - 識別數位影像中相關區域之方法、編碼數位影像之方法及編碼器系統 - Google Patents

識別數位影像中相關區域之方法、編碼數位影像之方法及編碼器系統 Download PDF

Info

Publication number
TWI619376B
TWI619376B TW104135468A TW104135468A TWI619376B TW I619376 B TWI619376 B TW I619376B TW 104135468 A TW104135468 A TW 104135468A TW 104135468 A TW104135468 A TW 104135468A TW I619376 B TWI619376 B TW I619376B
Authority
TW
Taiwan
Prior art keywords
group
image
value
difference
pixels
Prior art date
Application number
TW104135468A
Other languages
English (en)
Other versions
TW201630424A (zh
Inventor
維克多 艾德帕姆
拉斯 柏森
范星
費德立克 皮爾
亞歷山大 瑪汀斯
Original Assignee
安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 安訊士有限公司 filed Critical 安訊士有限公司
Publication of TW201630424A publication Critical patent/TW201630424A/zh
Application granted granted Critical
Publication of TWI619376B publication Critical patent/TWI619376B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

本發明提供一種識別數位影像中相關區域之方法。該方法包括：接收表示一第一數位影像中之像素之資訊(S02)；及計算該第一影像中鄰近像素群組之該資訊之一空間統計量測值以針對每一像素群組形成一群組值(S03)。進一步地，該方法包括：計算群組值之間的差(S04)；及比較該等差與一預定臨限值(S05)。若該差等於或高於該臨限值，則將該群組識別為相關的(S06)，且若該差低於該臨限值，則將該群組識別為不相關的(S07)。本發明亦提供一種基於對相關及非相關區域之該識別而編碼數位影像之方法以及一種數位編碼器系統。

Description

識別數位影像中相關區域之方法、編碼數位影像之方法及編碼器系統
本發明係關於數位影像處理之領域，且特定而言係關於一種識別數位影像中相關區域之方法、一種編碼數位影像之方法及一種編碼器系統。
在數位視訊系統(諸如，網路攝影機監視系統)中，在使用各種視訊編碼方法進行傳輸之前壓縮視訊序列。在諸多數位視訊編碼系統中，以下兩個主模式用於壓縮一視訊圖框序列之視訊圖框：圖框內模式及圖框間模式。在圖框內模式中，藉由利用一單個圖框之一給定通道中之像素之空間冗餘經由預測、變換及熵編碼來編碼照度及色度通道。經編碼圖框稱為圖框內圖框，且亦可稱為I圖框。替代地，圖框間模式利用單獨圖框之間的時間冗餘且依賴於一運動補償預測技術，該運動補償預測技術藉由針對像素之選定區塊編碼自一個圖框至另一圖框之像素之運動來預測來自一或多個先前圖框之一圖框之部分。經編碼圖框稱為圖框間圖框，且可稱為可係指以解碼次序之先前圖框之P圖框(正向預測圖框)，或可稱為可係指兩個或兩個以上先前經解碼圖框之B圖框(雙向預測圖框)，且可具有用於預測之圖框之任一任意 顯示次序關係。進一步地，經編碼圖框配置於圖片群組或GOP中，其中每一圖片群組以一I圖框開始，且跟隨圖框係P圖框或B圖框。一圖片群組中之圖框之數目通常稱為一GOP長度。GOP長度可自1(意指在一圖片群組中僅存在一圖框內圖框且不存在圖框間圖框)變化至(例如)255(意指在一圖片群組中存在一個圖框內圖框，其後跟隨有254個圖框間圖框)。
在經編碼視訊序列之接收地點處，解碼經編碼圖框。網路攝影機監視系統中之一問題係用於傳輸經編碼視訊之可用頻寬。此在採用大量攝影機之系統中尤其如此。進一步地，在其中在(諸如)欲將視訊序列傳輸至一行動裝置(諸如，一行動電話、一PDA或一平板電腦)時可用頻寬係低之情形中，此問題係尤其重要的。關於影像儲存之一類似問題(舉例而言)在將影像儲存於攝影機中之一板上SD卡上時發生。必須進行一折衷使可用頻寬或儲存與對高品質影像之關注度保持平衡。若干個方法及系統已用於控制編碼以便減小自攝影機進行之傳輸之位元速率。此等已知方法及系統通常施加一位元速率限制，且控制編碼使得自攝影機進行之輸出位元速率始終低於該位元速率限制。以此方式，可確保可用頻寬係充分的，使得系統中之所有攝影機可將其視訊序列傳輸至接受地點(例如，一控制中心)，其中一操作者可監視來自該系統之該等攝影機之視訊，且其中視訊可經記錄以用於稍後使用。然而，有時將一位元速率限制施加至所有攝影機可不期望地導致低影像品質，此乃因該位元速率限制可需要對含有大量細節之影像之劇烈壓縮，而不管所監視場景中正發生何事。某些細節可係接收地點處之一觀看者所關注的，而其他細節可係不受關注的。但是，當施加一位元速率限制時，具有大量細節之影像可需要經重度壓縮以便不超過該限制，藉此導致低影像品質。
本發明之一目標係提供一種識別一影像中相關區域之方法。另一目標係達成數位影像之高效壓縮，從而允許受關注目標之高品質影像。
根據一第一態樣，藉由一種識別數位影像中相關區域之方法完全地或至少部分地達成此等及其他目標，該方法包括：接收表示一第一數位影像中之像素之資訊；計算該第一影像中鄰近像素群組之該資訊之一總和、一平均值或一中位數以針對每一像素群組形成一群組值；計算群組值之間的差；及比較該等差與一預定臨限值。若該差等於或高於該臨限值，則該方法包括將該群組識別為處於一相關區域中，且若該差低於該臨限值，則該方法包括將該群組識別為處於一不相關區域中。藉助此一方法，區分一影像中之相關區域與不相關區域可係可能的。影像之此區分或細分可用於各種目的(諸如，用於控制對影像之編碼)。
相關區域可係含有相關目標之區域，相關目標係諸如人、面部、動物、運載工具、牌照、窗戶、門、大門之目標或由人攜載之目標。
在該方法之一變體中，該等像素群組包含若干個像素，該等像素經調適以產生不含有相關目標之該第一數位影像之區域中之群組值之間低於該臨限值的差。
該等像素群組中之每一者可包含至少256個像素。此可係一個16×16像素群組，且像素群組之此大小可對應於該影像中之一面部之大小。
表示該第一影像中之像素之該資訊可係來自由關於照度值、光強度值、色彩值及此等值中之任一者之一方差之資料組成之群組之至少一者。該方差可(例如)表達為一標準差。
在一變體中，該方法進一步包括：接收表示一第二數位影像中 之像素之資訊；計算該第二影像中鄰近像素群組之該資訊之一總和、一平均值或一中位數以針對每一像素群組形成一群組值；及累加來自該第一影像及該第二影像之對應群組之該等群組值，其中對群組值之間的差之計算係使用該等經累加群組值來執行。
根據一第二態樣，藉由一種編碼數位影像之方法完全地或至少部分地達成此等及其他目標，該方法包括：使用第一態樣之方法識別相關區域；基於對相關區域之該識別而為每一像素群組設定一壓縮值，其中賦予相關區域中之區塊一第一壓縮值，且賦予該等相關區域外部之區塊一第二壓縮值，該第二壓縮值表示產生比該第一壓縮值低之一影像品質之一壓縮；及使用為該等像素群組設定之該等壓縮值來編碼該第一影像。藉助此一方法，可縮減用於表示一影像之不相關區域之位元之一數目，同時允許該影像之相關區域之高品質表示。該等壓縮值經指派至之該等區塊可與用於識別相關區域之該等像素群組相同或不相同。該等區塊可係該等像素群組之子群組。
根據該方法之一變體，將具有一第二壓縮值之一像素群組編碼為一跳略區塊。以此方式，可減小一輸出位元速率。
該方法可進一步包括：在編碼該第一影像之前在一變換模組中處理該第一影像；及在編碼該第一影像之前在該變換模組中處理對應於該影像之該等群組值或壓縮值。該變換模組可係一硬體加速變換模組，且有時可稱為一比例縮放器。一變換模組或比例縮放器可執行諸如重調大小、裁剪、旋轉、隱私遮蔽之添加或電子影像穩定化之操作。
根據一第三態樣，藉由一種用於編碼對應於輸入影像之影像資料之數位影像編碼器系統完全地或至少部分地達成上述目標，該數位影像編碼器系統包括：一編碼器模組，其經配置以使用壓縮值來處理輸入影像；一接收模組，其經配置以接收表示一第一數位影像中之像 素之資訊；一群組值模組，其經配置以計算該第一影像中鄰近像素群組之該資訊之一總和、一平均值或一中位數以針對每一像素群組形成一群組值；一差計算模組，其經配置以計算群組值之間的差；一比較模組，其經配置以比較該等差與一預定臨限值；一識別模組，其經配置以在該差等於或高於該臨限值之情況下將一像素群組識別為處於一相關區域中，且在該差低於該臨限值之情況下將該像素群組識別為處於一不相關區域中；及一壓縮值設定模組，其經配置以基於對相關區域之該識別而為每一像素群組設定一壓縮值，使得賦予相關區域中之像素群組一第一壓縮值，且賦予不相關區域中之像素群組一第二壓縮值，該第二壓縮值表示產生比該第一壓縮值低之一影像品質之一壓縮。藉助此一編碼器系統，可減小輸出位元速率，同時亦允許一所監視場景中之受關注目標之高品質影像。
該第三態樣之編碼器系統可大體上以與第二態樣之方法相同之方式體現，但具有附帶優點。
根據一第四態樣，藉由一種包括根據第三態樣之一數位編碼器系統之攝影機完全地或至少部分地達成上述目標。
根據一第五態樣，藉由一種電腦程式產品完全地或至少部分地達成上述目標，該電腦程式產品包括具有指令之一電腦可讀媒體，該等指令經調適以在由一處理器執行時實施根據第一態樣及第二態樣之方法。該處理器可係任一種類之處理器，例如，實施於包含離散組件之一積體電路、一ASIC、一FPGA或邏輯電路中之一中央處理單元(CPU)、一圖形處理單元(GPU)、一定製處理裝置。
依據下文所給出之詳細說明，本發明之適用性之一進一步範疇將變得顯而易見。然而，應理解，雖然詳細說明及具體實例指示本發明之較佳實施例，但其僅以圖解說明之方式給出，此乃因熟習此項技術者將自此詳細說明明瞭本發明之範疇內之各種改變及修改。
因此，應理解，本發明並不限於所闡述之裝置之特定組件部分或所闡述之方法之步驟，此乃因此類裝置及方法可變化。亦應理解，本文中所使用之術語僅係出於闡述特定實施例之目的，且並不意欲係限制性的。必須注意，如本說明書及隨附申請專利範圍中所使用，除非內容脈絡另外明確規定，否則冠詞「一(a、an)」及「該(the、said)」意欲意指存在元件中之一或多者。因此，舉例而言，對「一目標」或「該目標」之一提及可包含數個目標及諸如此類。此外，措辭「包括(comprising)」並不排除其他元件或步驟。
1‧‧‧數位影像/影像/第一影像/第一數位影像
2‧‧‧像素
3‧‧‧框
10‧‧‧天空
11‧‧‧草坪
12‧‧‧路徑
13‧‧‧房屋
14‧‧‧牆壁
15‧‧‧屋頂
16‧‧‧窗戶
17‧‧‧門
18‧‧‧樹
19‧‧‧人
30‧‧‧群組/像素群組
31‧‧‧像素群組/鄰近者
32‧‧‧像素群組/鄰近者
33‧‧‧像素群組/鄰近者
34‧‧‧像素群組/鄰近者
35‧‧‧像素群組/鄰近者
36‧‧‧像素群組/鄰近者
37‧‧‧像素群組/鄰近者
38‧‧‧鄰近者/像素群組
50‧‧‧編碼器系統/數位編碼器系統
51‧‧‧編碼器模組
52‧‧‧接收模組
53‧‧‧群組值模組
54‧‧‧差計算模組
55‧‧‧比較模組
56‧‧‧識別模組
57‧‧‧壓縮值設定模組
60‧‧‧攝影機
Cb‧‧‧色度藍色值/色度值
Cr‧‧‧色度紅色值/色度值
Y‧‧‧照度值/照度
現將以實例之方式且參考隨附示意性圖式來更詳細地闡述本發明，在該等圖式中：圖1係繪示一所監視場景之一數位影像之一視圖，圖2係對圖1中之影像之一主結構之一圖解說明，圖3係圖2中所展示之影像之部分之一詳細視圖，圖4係對圖2中所展示之影像之一像素群組之一圖解說明，圖5係展示發明性方法之一變體之一流程圖，圖6係對與像素群組對應配置的圖2中之像素群組之群組值之一圖解說明，圖7係對與像素群組對應配置之壓縮值之一圖解說明，圖8係根據一實施例之一編碼器系統之一表示；及圖9展示具有一整合式編碼器系統之一攝影機。
圖1圖解說明繪示一所監視場景之一數位影像1。此影像1係由一數位監視攝影機擷取之一視訊序列中之一影像序列中之一者。在圖2中，圖解說明如由若干個像素2構成之影像之主構造。舉例而言，影像1可係1280個像素寬且960個像素高，因此具有約1.3MP。此數位影 像1以一YCbCr色彩空間表示，意指每一像素2具有一照度值Y、一色度藍色值Cb及一色度紅色值Cr。在圖2中，圖解說明在圖1中由一框3示意性地指示的影像1之一小部分。影像1之此小部分係四個像素寬乘以四個像素高。針對圖3中之每一像素2，左上角處之一數字表示Cb值，右上角處之一數字表示Cr值，且底部處之一數字表示彼像素之Y值。
當欲將影像1傳輸至其中一操作者或一守衛員可觀看所監視場景之經顯示影像之(例如)一控制中心時，必須將該影像編碼。在此實例中，使用根據H.264壓縮格式工作之一編解碼器。當編碼影像1時，可控制諸如GOP長度及壓縮值之參數以便控制用於傳輸該經編碼影像所需要之資料量(亦即，以便控制一輸出位元速率)。在H.264壓縮格式中，壓縮值將係量化參數QP。將待編碼之影像分割成獨立區塊(稱為巨集區塊或像素區塊)，該等區塊經個別地編碼。因此，一個及相同影像中之不同巨集區塊可被指派不同壓縮值。亦可控制以其編碼影像之一圖框速率以用於控制輸出位元速率。用於傳輸之可用頻寬將通常限制可允許位元速率。在採用複數個攝影機之系統中且在具有小頻寬之系統中，諸如當將影像傳輸至一使用者之行動電話時，自每一個別攝影機輸出之可允許位元速率可相當受約束。如已在上文之背景章節中所指示，施加一位元速率限制可需要劇烈壓縮及/或長GOP長度，從而導致可能具有令人煩惱之一編碼假影量之低品質影像。
根據本發明，藉由識別影像1中之相關區域而解決此等問題。相關區域係其中存在相關目標之區域。將哪些目標判斷為相關目標將因監視情形而不同。舉例而言，若針對入侵者監視一建築物周圍之一周邊，則人將係相關目標。作為另一實例，在一收費亭處，汽車之牌照將係相關目標。一般而言，相關目標可係諸如人、面部、動物、運載工具、牌照、窗戶、門、大門之目標、由人攜載之目標、諸如油畫之 有價值目標以及諸如電震發生器或緊急出口之鑰匙之基本設備。
一旦已識別相關區域，便可取決於一特定巨集區塊是處於一相關區域中還是處於一非相關區域中而使用不同壓縮值來編碼影像中之不同巨集區塊。藉由將一高壓縮值施加至非相關區域，將在編碼中丟失細節。然而，此類細節丟失對經傳輸影像之觀看者而言將通常係可接受的，此乃因非相關區域中之細節對當前監視之目的而言係不重要的。舉例而言，再次返回至針對入侵者監視一建築物周圍之一周邊之實例，該建築物周圍之一柵欄處之一樹之移動之樹葉係不重要的，且因此，該樹不必以一高詳細程度進行展示。然而，移動靠近至該柵欄之人可能係入侵者，且因此以一高詳細程度展示該等人係有用的，使得其可被辨識為人，且甚至可能被識別。為了獲得相關區域中之期望之影像品質，一較低壓縮值用於相關區域中之巨集區塊。
再次參考圖1，所監視場景含有一天空10、一草坪11、一路徑12及一房屋13。房屋13具有牆壁14、一屋頂15、窗戶16及一門17。在房屋13旁邊存在兩棵樹18，且一人19正站立於門17前方。影像之不同部分含有不同量之細節。舉例而言，一藍色天空含有很少細節，且一多雲天空通常含有與一藍色或灰色背景對照之大的白色或灰色團塊。另一方面，草坪11與其草含有大量小細節，樹18與其樹葉亦如此。當監視影像1中所擷取之場景時，天空10、草坪11及樹18將通常係不受關注的。替代地，人19以及其中額外受關注目標可能出現之窗戶16及門17可係受關注的。
本發明係基於以下認識：一影像(諸如，圖1中所展示之影像1)之受關注或相關部分比不受關注或非相關部分含有以另一比例之細節；及如何區分受關注部分與不受關注部分。舉例而言，若監視之目的係用以識別房屋周圍之區域中之人，則具有近似於人之細節之一比例或大小之細節(諸如面部、衣服等)係受關注的，而藍色天空過大，且樹 葉及草過小。對細節之此等比例類別之區分係基於使影像之一適合子部分內之細節均衡。再次以用於識別人之監視作為實例，若挑選具有約20×20像素之一大小之影像之子部分，則此可對應於用於辨識所需要的一面部之一大小。在天空10之一個20×20像素子部分中，將很可能幾乎僅存在藍色像素或幾乎僅存在白色像素，且相同情況將適用於繪示該天空之鄰近子部分。在草坪11之一個20×20像素子部分中，將很可能存在變化之綠色色調(而非平均綠色色彩)之像素，或一個此類子部分之所有像素值之總和與該草坪之鄰近子部分之所有像素值之總和將係基本上相同的。人19之面部將佔據一個20×20像素子部分之大部分且人19之皮膚色調將與繪示人後面之門17之部分之鄰近子部分之平均色彩不同。因此，藉由挑選該影像的一適當大小之子部分(在其內對色彩求平均或求和)且比較該等子部分與其鄰近者，可將該影像之相關區域識別為含有其色彩平均值或色彩總和與鄰近者之色彩平均值或色彩總和不同的子部分之彼等區域。
在下文中，將參考圖2至圖7更詳細地闡述該發明性方法之一變體。如已論述，影像1由若干個像素2構成(在此實例中，1280×960像素)。將影像1劃分為像素群組(圖5中之步驟S01)，此實例中之每一群組30係由16×16像素(亦即，256個像素)構成，如圖4a中所圖解說明。針對群組30中之每一像素2，接收表示像素2之資訊(圖5中之步驟S02)。在此實例中，代表性資訊係照度Y。計算群組30中之所有像素2之照度值之一總和以形成一群組值V(圖5中之步驟S03)。
此處，Yn係第n個像素之照度值且N係群組30中之像素之總數目。因此，在此實例中，N=256。照度值之總和係可用於計算群組值V之諸多可能統計量測值中之僅一者。計算群組值V之其他方式係 計算群組之像素之照度值之諸如一平均值或一中位數之統計量測值。另一選擇係，使用較複雜計算且處理大量計算，所計算之統計量測值可係群組之像素之照度值之一個四分位數間距、一標準差、一方差、一偏度或一峰度。
以相同方式，針對影像1中之每一像素群組計算一群組值。在實例性影像1中，存在80×60個群組(亦即，4800個群組)。
然後，比較針對群組30計算之群組值V與鄰近像素群組之群組值。如圖4b中所展示，像素之群組30由亦已計算其群組值之八個其他像素群組31至38環繞。計算群組30之群組值V與其鄰近者31至38之間的一差△V(步驟S04)，且比較該差與一預定臨限值(步驟S05)。可(例如)基於一平均像素應在群組30與其鄰近者31至38之間相差多少而設定臨限值。舉例而言，針對一個16×16像素群組(亦即256個像素之一群組)，可將臨限值設定為256，意指該群組中之每一像素在照度上為1之一平均差將視為不同到足以高於該臨限值。若群組30之群組值V與其鄰近者31至38之間的差等於或高於臨限值，則將像素之群組30識別為處於影像1之一相關區域中(步驟S06)。相反地，若像素之群組30之群組值V與其鄰近者之間的差低於臨限值，則將群組30識別為處於係不相關之一區域中(步驟S07)。可使用任一邊緣偵測器濾波器(諸如，拉普拉斯(Laplace)、索貝爾(Sobel)、坎尼(Canny)、高斯拉普拉斯(Laplace of Gaussian)或高斯差分(Difference of Gaussian))來執行群組值之此比較。
以此方式比較整個影像1之所有像素群組與其鄰近者，且可特此將影像1劃分為相關區域及不相關區域。
可藉由累加一視訊序列中之數個影像圖框之群組值而執行一時間濾波。可在對應於一第一影像中之像素群組之位置的位置中儲存該等群組值。圖6展示群組值V之此一映射之部分之一實例。在此圖解 說明中，VR,C表示該映射之列R、行C中之一像素群組之群組值。針對每一像素群組，藉由將針對一新影像圖框計算之一經加權群組值加至先前圖框之群組值之一經加權總和(亦即，使用一無限脈衝回應濾波器)而形成群組值之一經累加映射。因此，針對每一像素群組，可根據以下公式來計算一經累加群組值：V acc m =(1-α)．V acc m-1+α．V m
此處，m係視訊序列中之當前影像圖框之數目，Vacc m-1係先前影像之經累加群組值，且α係一加權因子。取決於影像中之雜訊位準而挑選加權因子α。舉例而言，可將α設定為0.25。若在影像中存在一高雜訊位準，則可將加權因子α設定為較低。若在影像中不存在雜訊，則不需要在時間上對群組值差進行濾波，亦即可將α設定為1。
一旦已識別影像1中之相關區域及不相關區域，對該影像之此劃分便可用作用於編碼影像1之一基礎。此處，取決於此巨集區塊是處於影像1之一相關區域中還是處於影像1之一不相關區域中而設定在編碼一巨集區塊時將使用之量化參數。應注意，用於編碼之巨集區塊可對應於像素群組，使得若像素群組具有16×16像素，則用於編碼之該等巨集區塊具有相同的16×16像素。另一選擇係，像素群組可比巨集區塊大(例如，一個32×32像素群組對應於四個16×16像素巨集區塊)。針對影像1之相關區域中之巨集區塊設定一第一壓縮值(例如，QP=25)，且針對影像1之非相關區域中之巨集區塊設定一第二壓縮值(例如，QP=38)。如可容易地看到，該第一壓縮值低於該第二壓縮值，且藉此，在經編碼、經傳輸且經解碼之影像中，相關區域之影像品質將高於非相關區域之影像品質。替代設定壓縮值QP，可設定壓縮值之改變△QP。舉例而言，可針對所有巨集區塊設定一初始壓縮值(例如，QP=28)。基於對相關區域及不相關區域之識別，可針對每一巨集區塊使用與上文所闡述相同之原理來設定此初始或預設壓縮值之改 變。可在對應於影像中之巨集區塊之位置的位置中儲存針對每一巨集區塊設定之QP值或改變△QP，從而形成對應於影像1之一映射(諸如，圖7中所指示)。在壓縮值之此映射中，QPR,C表示該映射之列R、行C中之一像素群組之壓縮值。
替代如上文所闡述地在時間上對群組值進行濾波，可藉由相同種類之累加而在時間上對群組值差進行濾波。因此，可在對應於影像中之像素群組之位置中儲存群組值差，每一群組值差係一各別像素群組之群組值與鄰近像素群組之群組值之間的差。然後，隨時間累加該等群組值差。進一步地，可替代地使用與針對群組值所闡述相同之加權原理在時間上對基於群組值差之壓縮值進行濾波。
該發明性方法對圖框內圖框編碼以及圖框間圖框編碼有效。若欲將待編碼之一影像編碼為一圖框間圖框(例如，一P圖框)，則可將某些巨集區塊編碼為所謂的跳略區塊。當編碼一跳略區塊時，將先前影像圖框中之對應位置處之巨集區塊之內容複製至當前影像圖框。可在其中不存在運動或改變之影像之區域(舉例而言，其中光條件並未改變之一場景中之一靜態背景)中使用跳略區塊。藉此，需要較少資料用於表示當前影像圖框。對影像之相關區域及不相關區域之識別可用於判定哪些巨集區塊將被編碼為跳略區塊。舉例而言，影像之不相關區域中之巨集區塊可經設定以被編碼為跳略區塊。
在編碼之前，可在一硬體加速變換模組或比例縮放器中處理影像1，其中可執行諸如旋轉、裁剪、隱私遮蔽之添加或電子影像穩定化之一操作。應在同一比例縮放器中處理壓縮值，使得該等經設定壓縮值在進行按比例調整之後實際上對應於影像中之正確像素群組或巨集區塊。另一選擇係，可在設定壓縮值之前在比例縮放器中處理群組值差。
總之，藉由採用該等發明性方法，可在傳輸數位影像時減小位 元速率，同時仍達成對一所監視場景中之受關注細節之高品質呈現。取決於影像之目的而挑選像素群組之大小。因此，每一群組中之像素之數目經調適以產生不含有相關目標之第一數位影像之區域中之群組值之間低於臨限值的差。該等像素群組可取決於對相關目標中之細節之比例而介於自8×8像素或16×16像素及向上之範圍內。
在圖8中，示意性地展示可根據以上方法使用之一編碼器系統50。編碼器系統50包括經配置以使用壓縮值來處理輸入影像之一編碼器模組51。編碼器系統50進一步包括：一接收模組52，其經配置以接收表示影像(諸如，第一影像1)中之像素之資訊；及一群組值模組53，其經配置以計算每一影像中鄰近像素群組之資訊之一總和。仍進一步地，一差計算模組54經配置以計算鄰近像素群組之群組值之間的差。一比較模組55經配置以比較該等差與一預定臨限值。一識別模組56經配置以在差等於或高於臨限值之情況下將一像素群組識別為處於一相關區域中，且在差低於臨限值之情況下將該像素群組識別為處於一不相關區域中。一壓縮值設定模組57經配置以基於對相關區域之識別而為每一像素群組設定一壓縮值。進行該設定，使得相關區域中之像素群組被指派一第一壓縮值，且不相關區域中之群組被指派一第二壓縮值，該第二壓縮值表示產生比該第一壓縮值低之一影像品質之一壓縮。編碼器系統50可結合圖2至圖7如以上所闡述地操作。編碼器系統50可體現為硬體、韌體或軟體或其一組合。其可整合於一攝影機60(諸如，圖9中所指示)中或可操作地連接至該攝影機。該攝影機可係一數位攝影機。另外，該編碼器系統可經由將類比信號轉換為數位信號之一視訊數位化單元而連接至一類比攝影機。
將瞭解，熟習此項技術者可以諸多方式修改以上所闡述之實施例且仍使用如在以上實施例中所展示之本發明之優點。作為一實例，在以上說明中，已將數位影像變換為一YCbCr色彩空間，且照度值用 於計算群組值。然而，可替代地使用色度值Cb及Cr中之一者。
進一步地，可將數位影像轉換為另一色彩空間，諸如RGB，其中色彩通道R(紅色)、G(綠色)或B(藍色)中之一者可用於計算群組值。
仍進一步地，在進行拜耳(Bayer)濾波之前可使用直接來自影像感測器之影像資料。此處，將影像表示為每像素一個灰階，且此等灰階可用於計算群組值。該等灰階亦可視為光強度值。
因此，應理解，可自影像管線或視訊管線之任一級接收像素資訊，且資訊之特定類型將取決於自管線中之哪一處導出該資訊。
替代使用用於計算群組值之色彩值、光強度值或照度值，可使用此等值中之任一者之一方差。
在以上說明中，藉由形成表示像素(且此處更具體而言係像素之照度值)之資訊之總和而計算群組值。然而，如已所指示，可替代地藉由計算該資訊之一平均值或一中位數而計算該等群組值。此外，該等群組值可藉助於較複雜計算及計算密集型計算而得出，從而產生資訊之一個四分位數間距、一標準差、一方差、一偏度、一峰度或一較高冪之統計量測值。
熟習此項技術者將認識到，將影像劃分為相關區域及不相關區域可藉由將更多臨限值用於群組值之間的差而進一步精細化。因此，若群組值之間的差等於或高於一第一臨限值，則可將區域識別為具有一第一相關性位準，若群組值之間的差等於或高於一第二臨限值但低於該第一臨限值，則將區域識別為具有一第二相關性位準，且若群組值之間的差低於該第二臨限值，則可將區域識別為係不相關的。相應地，不同壓縮值可用於不同相關性之此等區域。舉例而言，可為第一相關性位準之區域中之巨集區塊設定一第一壓縮值，可為第二相關性位準之區域中之巨集區塊設定一第二壓縮值，且可為係不相關之區域中之巨集區塊設定一第三壓縮值。此情形中之該第三壓縮值可表示產 生比第二壓縮值低之一影像品質之一壓縮，該第二壓縮值繼而可表示產生比該第一壓縮值低之一影像品質之一壓縮。在另一變體中，可為第一相關性位準之區域中之巨集區塊設定一第一壓縮值，可為第二相關性位準之區域中之巨集區塊設定暗指一更低影像品質之一第二壓縮值，且可將不相關區域中之巨集區塊編碼為跳略區塊。
在上文所闡述之實例中，由編解碼器使用之壓縮格式係H.264。應理解，亦可使用其他基於區塊之混合編解碼器(例如，一H.265、MPEG-4第2部分或VP9編解碼器)，只要其允許對壓縮之空間控制即可。
可能地，可設定用於比較群組值之差之臨限值，使得一低臨限值表示一大差，且一高臨限值表示一小差。應認識到，在此一臨限值之情況下，本發明之原理仍係有效的，但替代地相關區域將係包括具有低於該臨限值之差之像素群組之彼等區域。類似地，可使用其他種類之壓縮值，其之一高值表示高影像品質且其之一低值表示低影像品質。即便如此，以下發明性原理仍適用：較少壓縮相關區域，則產生一高影像品質；且較多壓縮不相關區域，則產生一低影像品質。
在上文中，已在運動視訊序列(諸如，來自一監視攝影機之視訊序列)之內容脈絡中闡述本發明。然而，該等發明性方法亦可用以對靜止影像有利。
攝影機可係任一類型之攝影機，例如，採用可見光之一攝影機、一IR攝影機或一熱攝影機。
進一步地，儘管已結合數位攝影機論述本發明，但本發明亦可與類比攝影機一起使用。在此情形中，可使用一數位化單元將來自一類比攝影機之影像轉換為數位格式。
數位影像亦可由能夠產生表示將使用基於區塊之編碼技術進行編碼之像素之資訊之以下各項產生：一視覺光感測器、一熱感測器、 一飛行時間感測器或其他類型之影像產生感測器。
為便於說明，已以矩陣之形式闡述像素資訊、群組值差及壓縮值。然而，可以其他形式儲存所有此類資料。
在以上說明中，當編碼一影像時，對該影像中之相關區域之識別用於為該影像中之不同區域設定不同壓縮值。然而，對相關區域之識別亦可用於其他目的。舉例而言，該識別可用於在一經顯示影像中自動標記受關注區域或用於觸發事件。其亦可用作用於用後設資料標示或闡述目標或區域之一基礎。進一步地，其可用於將回饋提供至一雜訊減小濾波器。
因此，本發明不應限制於所展示之實施例，而是應僅由隨附申請專利範圍界定。

Claims (6)

  1. 一種編碼數位影像之方法，其包括接收表示一第一數位影像中之像素之資訊，計算該第一影像中鄰近像素群組之該資訊之一總和、一平均值或一中位數以針對每一像素群組形成一群組值，計算群組值之間的差，比較該等差與一預定臨限值，若該差等於或高於該臨限值，則將該群組識別為處於一相關區域中，若該差低於該臨限值，則將該群組識別為處於一不相關區域中，基於對相關區域之該識別而為每一像素群組設定一壓縮值(QP)，其中賦予相關區域中之巨集區塊一第一壓縮值，且賦予該等相關區域外部之巨集區塊一第二壓縮值，該第二壓縮值表示產生比該第一壓縮值低之一影像品質之一壓縮，及使用為該等像素群組設定之該等壓縮值來編碼該第一影像。
  2. 如請求項1之方法，其中將具有一第二壓縮值之一像素群組編碼為一跳略區塊。
  3. 如請求項1之方法，其進一步包括：在編碼該第一影像之前在一變換模組中處理該第一影像，及在編碼該第一影像之前在該變換模組中處理對應於該影像之該等群組值或壓縮值(QP)。
  4. 一種非暫時性電腦程式產品，其包括具有指令之一電腦可讀儲存媒體，該等指令經調適以在由一處理器執行時實施如請求項3之方法。
  5. 一種用於編碼對應於輸入影像之影像資料之數位影像編碼器系統，其包括：一編碼器模組，其經配置以使用壓縮值來處理輸入影像，一接收模組，其經配置以接收表示一第一數位影像中之像素之資訊，一群組值模組，其經配置以計算該第一影像中鄰近像素群組之該資訊之一總和、一平均值或一中位數以針對每一像素群組形成一群組值，一差計算模組，其經配置以計算群組值之間的差，一比較模組，其經配置以比較該等差與一預定臨限值，一識別模組，其經配置以在該差等於或高於該臨限值之情況下將一像素群組識別為處於一相關區域中，且在該差低於該臨限值之情況下將該像素群組(30至38)識別為處於一不相關區域中，及一壓縮值設定模組，其經配置以基於對相關區域之該識別而為每一像素群組設定一壓縮值(QP)，使得賦予相關區域中之像素群組一第一壓縮值，且賦予不相關區域中之像素群組一第二壓縮值，該第二壓縮值表示產生比該第一壓縮值低之一影響品質之一壓縮。
  6. 一種攝影機，其包括如請求項5之一數位影像編碼器系統。
TW104135468A 2014-11-14 2015-10-28 識別數位影像中相關區域之方法、編碼數位影像之方法及編碼器系統 TWI619376B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??14193288.9 2014-11-14
EP14193288.9A EP3021583B1 (en) 2014-11-14 2014-11-14 Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system

Publications (2)

Publication Number Publication Date
TW201630424A TW201630424A (zh) 2016-08-16
TWI619376B true TWI619376B (zh) 2018-03-21

Family

ID=51900275

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104135468A TWI619376B (zh) 2014-11-14 2015-10-28 識別數位影像中相關區域之方法、編碼數位影像之方法及編碼器系統

Country Status (6)

Country Link
US (1) US9805287B2 (zh)
EP (1) EP3021583B1 (zh)
JP (1) JP6391549B2 (zh)
KR (1) KR101823537B1 (zh)
CN (1) CN105608461B (zh)
TW (1) TWI619376B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188792A (ja) * 2016-04-06 2017-10-12 株式会社Ｊｖｃケンウッド 撮影装置、撮影方法及び撮影プログラム
EP3306528B1 (en) 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
CN106488241A (zh) * 2016-10-13 2017-03-08 千目聚云数码科技（上海）有限公司 一种感兴趣区域设置方法
EP3340623B1 (en) 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask
EP3340624B1 (en) 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
US10123020B2 (en) * 2016-12-30 2018-11-06 Axis Ab Block level update rate control based on gaze sensing
US11113800B2 (en) * 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
US10552985B2 (en) * 2017-06-14 2020-02-04 Behr Process Corporation Systems and methods for determining dominant colors in an image
EP3503548B1 (en) * 2017-12-19 2019-10-23 Axis AB Video encoding method and system
IT201800003188A1 (it) * 2018-05-25 2019-11-25 Dispositivo contateste e metodo di processamento di immagini digitali
EP3618442B1 (en) 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
CN109995964B (zh) * 2019-02-21 2021-08-17 西安万像电子科技有限公司 图像数据处理方法及装置
EP3739880A1 (en) * 2019-05-14 2020-11-18 Axis AB Method, device and computer program product for encoding a distorted image frame
EP3742728B1 (en) 2019-05-24 2022-09-21 Axis AB A method and bitrate controller for controlling output bitrate of a video encoder
EP3796655B1 (en) 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
EP3829169B1 (en) 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
KR20210125271A (ko) 2020-04-08 2021-10-18 정하진 비음압공간을 음압공간으로 전환하기 위한 음압공간 구축 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US20110243248A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
US20130136192A1 (en) * 2002-10-01 2013-05-30 Avocent Corporation Video compression encoder

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2173888C (en) * 1995-04-25 2000-04-04 Tsuhan Chen System and method for focused-based image segmentation for video signals
GB9819648D0 (en) * 1998-09-10 1998-11-04 Nds Ltd Determining visually noticeable differences between two images
US8416847B2 (en) 1998-12-21 2013-04-09 Zin Stai Pte. In, Llc Separate plane compression using plurality of compression methods including ZLN and ZLD methods
US7430330B2 (en) 2001-01-16 2008-09-30 Hamilton Chris H Method and apparatus for optimizing a JPEG image using regionally variable compression levels
US6832006B2 (en) 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
KR100643454B1 (ko) * 2001-11-17 2006-11-10 엘지전자 주식회사 영상 데이터 전송 제어방법
US20070024701A1 (en) * 2005-04-07 2007-02-01 Prechtl Eric F Stereoscopic wide field of view imaging system
US8351513B2 (en) * 2006-12-19 2013-01-08 Allot Communications Ltd. Intelligent video signal encoding utilizing regions of interest information
US8588309B2 (en) 2010-04-07 2013-11-19 Apple Inc. Skin tone and feature detection for video conferencing compression
US9363522B2 (en) 2011-04-28 2016-06-07 Warner Bros. Entertainment, Inc. Region-of-interest encoding enhancements for variable-bitrate mezzanine compression
US9414086B2 (en) * 2011-06-04 2016-08-09 Apple Inc. Partial frame utilization in video codecs
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US20130136192A1 (en) * 2002-10-01 2013-05-30 Avocent Corporation Video compression encoder
US20110243248A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same

Also Published As

Publication number Publication date
TW201630424A (zh) 2016-08-16
EP3021583A1 (en) 2016-05-18
CN105608461B (zh) 2018-11-13
JP6391549B2 (ja) 2018-09-19
EP3021583B1 (en) 2019-10-23
JP2016111695A (ja) 2016-06-20
US9805287B2 (en) 2017-10-31
CN105608461A (zh) 2016-05-25
US20160140421A1 (en) 2016-05-19
KR20160058020A (ko) 2016-05-24
KR101823537B1 (ko) 2018-01-30

Similar Documents

Publication Publication Date Title
TWI619376B (zh) 識別數位影像中相關區域之方法、編碼數位影像之方法及編碼器系統
TWI673996B (zh) 用於視訊編碼的方法和編碼器系統
TWI804478B (zh) 編碼包括隱私遮罩之影像之方法
TWI766906B (zh) 編碼隱私遮罩影像
US10277901B2 (en) Encoding a video stream having a privacy mask
TWI669941B (zh) 視訊編碼方法及視訊編碼器系統
CN112543330B (zh) 模糊隐私遮蔽的编码方法、系统及存储介质
US10979711B2 (en) Method and encoder system for encoding video
US10142664B2 (en) Method and device for determining properties of a graphical overlay for a video stream
KR102525246B1 (ko) 프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법
US11055976B2 (en) Using a skip block mask to reduce bitrate from a monitoring camera
US10102432B2 (en) Image recognition method