TWI390959B - 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式 - Google Patents

視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式 Download PDF

Info

Publication number
TWI390959B
TWI390959B TW97124719A TW97124719A TWI390959B TW I390959 B TWI390959 B TW I390959B TW 97124719 A TW97124719 A TW 97124719A TW 97124719 A TW97124719 A TW 97124719A TW I390959 B TWI390959 B TW I390959B
Authority
TW
Taiwan
Prior art keywords
noise reduction
signal processing
video
video signal
compression
Prior art date
Application number
TW97124719A
Other languages
English (en)
Other versions
TW200915846A (en
Inventor
Kazuyoshi Hayashi
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200915846A publication Critical patent/TW200915846A/zh
Application granted granted Critical
Publication of TWI390959B publication Critical patent/TWI390959B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式
相關申請案之交互索引： 本發明包含與2007年7月4日向日本特許廳提出申請之日本專利申請案序號第2007－176650號相關之主題內容，該專利之教示全文以提及之方式併入本文中。
本發明係關於視頻訊號處理裝置、視頻訊號處理方法及視頻訊號處理程式，並關於，例如用於在輸入視頻資料中提供已縮減之雜訊並提供適於監視攝影系統應用之較小傳輸資料尺寸之視頻訊號處理裝置、視頻訊號處理方法及視頻訊號處理程式。
過去，所謂的類比攝像系統常作為監視攝影系統使用。此種系統各者具有以訊號線連接至攝影機之視頻帶錄影機或其他視頻記錄裝置，使該攝影機所拍攝之視頻訊號經由該訊號線供應至該視頻記錄裝置以供錄影。然而，由於網際網路的廣泛使用，近年已看到所謂的IP(網際網路協定)攝影機逐漸流行。在此種攝影機系統中，該攝影機所拍攝的視頻經由網路傳輸至位於遠端之電腦以記錄至連接至該電腦的視頻記錄裝置，諸如硬碟裝置(儲存)。
使用如同在該IP攝影機系統中所使用的該IP技術，使遠端監視由攝影機所拍攝的影像及建立大規模的系統變 得可能。
普遍用於其他應用及監視攝影機的JPEG及MPEG壓縮方案係用於適於在IP網路上傳輸視頻資料之IP傳輸的主流壓縮方案(編碼解碼器)。為靜態影像壓縮所設計的JPEG(聯合照相專家群)方案即使在低圖框率仍然有效。相較於JPEG及其他靜態影像壓縮方案，為動態影像壓縮所設計的MPEG(動畫專家群)方案容許以高壓縮率壓縮。
圖1係描繪習知技術之監視攝影系統(IP輸出)之範例的方塊圖。監視攝影機1包含鏡頭2，其適於收集由該題材反射之光。相同的攝影機1另外包含CCD(電荷耦合裝置)或CMOS(互補金氧半導體)感測器3，其適於偵測由鏡頭2收集之光所形成的該影像。相同的攝影機1另外包含適於操作訊號處理之訊號處理部4及適於壓縮已由該訊號處理部4處理之該影像資料的壓縮/解壓縮裝置(編碼解碼器)5。相同的攝影機1另外包含適於設定編碼解碼器5之壓縮率、接收該已壓縮資料、並控制其在網路或其他組件上的傳輸之CPU 6。
用於由CCD或CMOS感測器3所拍攝的該影像之視頻訊號為了轉換成數位形式而供應至訊號處理部4。將此資料供應至編碼解碼器5。將由編碼解碼器5壓縮的該影像資料供應至CPU 6。
CPU 6為了將來自編碼解碼器5的該已壓縮資料傳輸至該網路而執行轉換及其他處理。此時，CPU 6將指示壓 縮率之參數供應至編碼解碼器5，使(例如，由使用者)指定的傳輸資料尺寸得以達成。編碼解碼器5改變用於該量化步驟的設定，以回應來自CPU 6之指定壓縮率的該參數。然後，編碼解碼器5基於該已設定之量化步驟進行該壓縮。
茲參考圖2以詳細描述圖1所示之編碼解碼器5。圖2係描繪適於使用該JPEG方案壓縮該輸入影像之編碼解碼器5的基本功能的方塊圖。在該同一圖中，該輸入影像(通常係4：1：1的YUV色彩空間或其他格式)由DCT 51使用DCT(離散餘弦變換)針對每8×8個像素轉換成頻率範圍，並供應至量化器52。
其次，量化器52根據預設量化表53縮減由DCT 51轉換的該頻率範圍資訊(因子)。將來自量化器52之量化位準以使用霍夫曼碼之熵編碼器54熵編碼，然後輸出為已壓縮之影像資料。
為控制該壓縮率，使用適合該已設定壓縮率之步長縮減DCT 51的輸出因子。若該輸入影像包含跨越廣泛頻率頻譜之頻率成份，該輸出因子在廣泛範圍上散佈，除非縮減該步長，否則會導致影像品質惡化。
例如，若該輸入影像包含跨越狹窄頻率頻譜之頻率成份，該DCT因子的範圍會狹窄至匹配該狹窄頻譜。因此，即使將該步長設小(縮減該壓縮率)，已壓縮資料總量會相當小。此係由該DCT因子之範圍原本就相當小的事實所導致。亦即，該步長越小，資料的總量越大。然而， 若該輸入影像之頻率成份在廣泛的頻率範圍上散佈，除非縮減該步長，否則影像品質會惡化。
該輸入影像之頻率成份在廣泛的頻率範圍上散佈之該事實意指該輸入影像包含各種精細圖案。相反地，若該輸入影像為單色或包含輕微改變，該頻率成份僅在狹窄範圍上散佈。另一方面，若該輸入影像包含大量雜訊成份，該頻率成份會在廣泛範圍上散佈，如同具有各種精細圖案之該輸入影像。
至此已描述該JPEG方案。然而，該I－畫面在該MPEG方案中使用DCT壓縮，相似於該JPEG方案中的方式。結果，能在該MPEG方案中觀察到相似傾向。
另一方面，可操作以適應地縮減視頻訊號中之雜訊成份的部份視頻訊號處理裝置能偵測該輸入視頻訊號中的雜訊總量。該等裝置根據雜訊總量適應地抑制在該視頻訊號中之雜訊成份並使所得到的視頻訊號受壓縮編碼處理，因此提供高品質的重製影像(例如，參考日本特許公開專利申請案第2005－20193號，其在下文中以專利文件1代表)。
附帶一提，由於該系統在規模上成長，已如上文組態之監視攝影系統1(圖1及2)正面對著為回應由於系統規模成長而增加中的傳輸資料尺寸(頻寬)所須之增加儲存容量的挑戰。保證縮減傳輸資料尺寸及儲存容量的可能 方式間的方式會係以較高壓縮率壓縮、圖框率縮減及影像尺寸縮減。以較高壓縮率壓縮包含數個問題，包含由區間雜訊及錯誤顏色引起的較低影像清晰度及可見性惡化。此使以極高壓縮率達成資料壓縮變得不可能。特別係若以較高壓縮率壓縮時，疊加雜訊成份之影像將遭受品質惡化。此特別能從夜間拍攝的影像中觀察到。
圖框率縮減係藉由縮減拍攝影像的圖框率及將傳輸從通常之每秒30個圖框降至每秒15個圖框或以下所組成。雖然係取決於該題材，本方法能在不會不利地影響人體移動之偵測的限制中提供已縮減之圖框率。
影像解析度的縮減會導致該影像中之小物件、精細圖型及其他事物的可見性劣化。雖然也取決於該題材，然而能使用此方法以在不會不利地影響人體移動之偵測的限制中縮減該傳輸資料尺寸。
不會單獨使用單一此等縮減傳輸資料尺寸方法。取而代之的係通常組合地使用彼等方法，直至達成所須之縮減。再者，若該影像品質相同，能達成更高壓縮率及更小的傳輸資料尺寸的方法更佳。
另外，前及後圖框間的差異係針對MPEG設計中的B－及P－畫面而量化。因此，若雜訊疊加在圖框影像上，當此雜訊與影像圖型沒有關聯時，會有較大的圖框對圖框差異。若須要相同等級之圖像品質，相較於具有最小雜訊之影像，會導致較大的傳輸資料尺寸。
另一方面，如先前所提及的，能組合地使用除了編碼 解碼器以外的資料壓縮方法，換言之，圖框率縮減及影像解析度縮減。然而，係根據包含該監視攝影系統的實際組態、受監視對象及所須精確度之因素而選擇所有此等方法。因此，用於該監視攝影系統之此等資料縮減參數不能用標準化的方式決定。因此，此等參數必須可由該使用者及安裝者改變。然而，此等參數在抑制該受監視對象之可視性中的惡化的同時已不能改變。
另一方面，專利文件1之發明中所揭示的技術根據用於壓縮編碼之該相同訊號中的雜訊總量適應地抑制在輸入視頻訊號中的雜訊成份，因此提供高品質重製影像。然而，此技術在提供已縮減之傳輸資料尺寸的同時，不能抑制可見性惡化。
根據上述問題，已使本發明在提供已縮減之傳輸資料尺寸的同時，意圖使監視攝影系統能縮減可見性中的惡化。
為解決上述問題，本發明包含已組態成壓縮視頻之壓縮部，及已組態成根據傳輸至該網路上之視頻資料的尺寸以縮減在視頻資料中之雜訊的雜訊縮減部。本發明能提供根據該傳輸資料尺寸之已縮減雜訊，因此在低位元率中抑制可視性中的惡化。
本發明能實現與傳輸至網路上之資料尺寸無關之能抑制由影像品質惡化所導致的可視性惡化的視頻訊號處理裝置、視頻訊號處理方法、及視頻訊號處理程式。
以下將參考隨附圖式詳細描述本發明之實施例。
(1)該監視攝影系統的全部組態
如圖3所描繪，根據本實施例之監視攝影系統10包含影像輸入部11、訊號處理部12、編碼解碼器13及CPU 16。影像輸入部11包含未圖示之組件，諸如鏡頭及CCD(電荷耦合裝置)或CMOS(互補金氧半導體)感測器。相同的部11連接至該訊號處理部12。相同的部12連接至編碼解碼器13。編碼解碼器13連接至CPU 16。
影像輸入部11對應於圖1中的鏡頭2及CCD或CMOS感測器3。相同的部11將拍攝影像之影像資料供應給訊號處理部12。訊號處理部12對應於圖1中的訊號處理部4。相同的部12將來自影像輸入部11的影像資料轉換為數位形式並輸出此數位影像資料。
編碼解碼器13包含影像壓縮部14及包含DSP(數位訊號處理器)及其他組件之雜訊縮減部15。此等部將於稍後描述。影像壓縮部14使用DCT(離散餘弦變換)壓縮來自訊號處理部12的該影像資料。雜訊縮減部15縮減來自訊號處理部12之該影像資料中的雜訊。如同圖1中的編碼解碼器5之情形，影像壓縮部14茲參考圖2以上文所述之方式執行MPEG壓縮及JPEG壓縮。
CPU 16對應於圖1中的CPU 6，並包含網路處理部17及參數設定部18。網路處理部17將從影像壓縮部14 供應之該已壓縮影像資料轉換為適於在該網路上傳輸的資料格式。參數設定部18將適合指定壓縮率的參數(設定)供應至影像壓縮部14。相同的部18也將適合指定雜訊縮減總量的參數(設定)供應至雜訊縮減部15。相同的部18也將適合指定雜訊縮減總量的參數(設定)供應至訊號處理部12。
如上文所述，在本實施例中的影像資料流與圖1所示之既存系統範例中的影像資料流相同。然而，本實施例與該既存範例的不同在於CPU 16能使用參數將雜訊縮減總量指定給訊號處理部12、影像壓縮部14及雜訊縮減部15。
使用參數指定雜訊縮減總量之該額外程序使得訊號處理部12及雜訊縮減部15根據該已指定之傳輸資料尺寸(每個圖框的資料尺寸及圖框率)提供已縮減雜訊變得可能。
圖4描繪訊號處理部12基於使用參數指定之雜訊縮減總量所執行的雜訊縮減步驟。從影像輸入部11輸入的該影像資料首先在訊號處理部12中進行雜訊縮減，然後供應至編碼解碼器13。
能改變雜訊縮減總量，例如，藉由指定n×n平滑化中的「n」(n：任意自然數，×：乘法)。此平滑化程序將關注像素以該關注像素及周圍像素所形成之所有n×n個像素的平均取代。此平滑化技術普偏見於簡單程序中。
圖5描繪3×3平滑化之範例。關注像素P的值(其包 含雜訊成份)係由關注像素P及其周圍像素「a」、「b」、「c」、「d」、「e」、「f」、「g」、及「h」之平均所取代。假設，例如像素P(亮度)的值係225且周圍像素的值全為0，像素P的值將會係25(＝(225＋0＋0＋0＋0＋0＋0＋0＋0)÷9)。
例如，將用於最大傳輸資料尺寸之n設定為1，並根據資料尺寸的縮減將其增加至2、3，並依此類推。結果，n的值越大，高頻成份縮減的越多。此提供已縮減之量化資料尺寸。若該原始量化資料尺寸相當小，該量化資料在壓縮後將不會惡化過多。此將高壓縮率中由高頻雜訊導致的惡化保持在最小。
為縮減該圖框率，將未圖示之影像記憶體併入或在外側提供給圖6所示之編碼解碼器13。另外，儲存在該影像記憶體中的該等圖框各者之該影像資料係根據該縮減圖框數目而使用。此使得雜訊縮減部15使用最適合該圖框率的技術以縮減該等未輕量化圖框之影像資料中的雜訊變得可能。
例如，能使用中值濾波器作為縮減雜訊技術的其中一者。中值濾波器排序(重整)N個資料串(N：自然數)並選擇其中值。此濾波器對散亂雜訊極為有效。
因此，若該圖框率為最大值，將N設定成，例如為1。為縮減該圖框率至1/2或1/3，將N設定成，例如為3。為縮減該圖框率至1/4或1/5，將N設定成，例如為5。由於使用在關注影像前後之複數個圖框的縮減雜訊，以 取代在習知技術中簡單地輕量化該影像，此保證在低圖框率的縮減散亂雜訊。結果，若位元率相同，能以較低位元率或以較高品質傳輸影像資料。
本實施例相當有利之處在於雜訊沿著時間軸縮減，在使用沿著時間軸的差異以達成高壓縮率的MPEG壓縮中的時間軸特別有利。
圖7描繪基於該時間軸上之複數個圖框所執行之雜訊縮減步驟。在此範例中，N為3。例如，假設圖框n中的給定像素P包含雜訊成份。然後，重整沿著該時間軸位於前一圖框(n－1)中相同位置處的像素「a」的值及位於後一圖框(n＋1)中相同位置處的像素「b」的值，使得該中間像素值作為該像素P的值使用。提供了已縮減之雜訊成份。例如，若像素P的值為255且像素「a」及「b」的值均為0，則像素P的值會係0。因此，能使用沿著時間軸的複數個圖框消除該雜訊成份。將鄰近圖框n的該等圖框儲存在該影像記憶體中。因此，能從相同的記憶體中讀出必要圖框之影像資料。
上述雜訊縮減程序須要一件新硬體。然而，若影像資料以高品質傳輸，則此程序可能不執行。亦即，壓縮率越高，所須之雜訊縮減越多。另一方面，在較低圖框率或在用於較小資料尺寸的較低影像解析度中，僅有較小的資料壓縮總量(為影像壓縮部14所要求的)。
過去，影像壓縮部14所操作之程序通常係以專用電路實作。近年由於CPU效能的改善，已看到逐漸併入使 用通用CPU或可程式化DSP的壓縮演算法。
在本實施例中編碼解碼器13也包含DSP。如上文所述，由編碼解碼器13之雜訊縮減部15所操作的用於雜訊縮減所須之算術總量與壓縮率成正比。相反的，由編碼解碼器13之影像壓縮部14所操作的用於雜訊縮減所須之算術總量與壓縮率成反比。結果，若使用通用CPU或DSP沿著時間軸繼續地操作此等程序，能根據進行縮減總量達成雜訊縮減而無須額外的硬體。
圖8描繪針對所有圖框執行的壓縮步驟。從圖框n開始連續地壓縮所有圖框。圖9描繪用於將圖框率縮減至1/3的壓縮步驟。連續地壓縮該等圖框n、(n＋3)、(n＋6)，並依此類推。
圖10描繪在沒有執行壓縮並同時藉由將圖框率縮減至1/3以縮減資料尺寸的時間週期中，用於縮減未輕量化圖框中之雜訊的步驟。在此範例中，雜訊縮減部15在由影像壓縮部14對圖框n之壓縮完成到對圖框(n＋3)之壓縮開始的時間週期中執行圖框(n＋3)的雜訊縮減。
此雜訊縮減係由編碼解碼器13之雜訊縮減部15基於時間軸上的複數個圖框所執行。若雜訊係基於時間軸上的複數個圖框而縮減，必須將該圖框前後之待壓縮的數個圖框儲存在該影像記憶體中。
在圖10所示的範例中，當圖框(n＋3)已壓縮時，必須將圖框(n＋1)至(n＋5)儲存在該影像記憶體中。因此，該影像壓縮部14基於儲存在該影像記憶體中的圖框執 行其壓縮。
上述之功能及組態根據該資料縮減總量考慮最佳雜訊縮減並同時防止增加電路規模。此保證已縮減的記錄及傳輸資料尺寸，以回應面對IP為基之監視攝影系統的問題，換言之，成長中的資料尺寸，因此提供已改善的可視性。
隨著資料壓縮技術的進步，以CPU或DSP執行壓縮演算法或以CPU操作該演算法的部份程序而不使用完全以硬體為基的壓縮裝置逐漸變得尋常。本實施例在上述之硬體組態例子中用CPU或DSP適應地縮減雜訊以提供已縮減的資料尺寸並同時防止增加硬體規模。
過去，相同的雜訊縮減係以與該圖框率或傳輸資料尺寸無關的方式執行，或執行適合於最高影像品質的雜訊縮減。結果，不能有效地縮減低影像品質中的雜訊。本實施例消除上述問題，根據該傳輸資料尺寸考慮最佳雜訊縮減並因此提供已改善的可視性及已縮減的傳輸與記錄資料尺寸。
圖11係描繪由用於設定壓縮率及雜訊縮減總量的參數設定部18所執行之步驟的流程圖。在步驟S1中，由使用者操作未圖示的操作部，並由參數設定部18決定適於設定壓縮率的該使用者指令是否已輸入。若為否，相同的部18會重複步驟S1中的程序步驟以等待該指令。另一方面，當相同的部18確定該指令已輸入，該程序會前進至步驟S2。
在步驟S2中，參數設定部18基於已設定之該壓縮率以雜訊縮減總量設定訊號處理部12。其次在步驟S3中，相同的部18以該壓縮率設定編碼解碼器13的影像壓縮部14。其次在步驟S4中，該相同部基於步驟S3中設定之壓縮率以沿著時間軸的雜訊縮減總量設定編碼解碼器13的雜訊縮減部15。參數設定部18基於預定方式的壓縮率決定雜訊縮減總量。然而，可能將表預先儲存在未圖示的記憶體中。該表包含雜訊縮減總量及相關的壓縮率。之後，該程序會回到步驟S1以從步驟S1向前重複該等步驟。以上述方式設定壓縮率及雜訊縮減總量。
其次將提供如何基於壓縮率設定雜訊縮減總量之描述。雜訊縮減總量係基於以下之壓縮率而設定。亦即，若雜訊係以二維高斯過濾器縮減，下列方程式為二維高斯函數：
藉由將σ設定成根據該壓縮率的較大值，能將雜訊縮減至較大程度。
須注意高斯過濾器能由以下方程式(2)所計算：
[方程式3]其中 I：像素亮度等級W：基於該高斯分佈的權重σ：散佈k、l：鄰近像素的移位座標(3)
若已指定壓縮率Rate，例如從方程式(1)至(3)的壓縮率，能藉由將σ取為以下如方程式(4)所顯示之Rate的函數以決定該雜訊縮減總量。
[方程式4]σ＝f(Rate) (4)
此函數能基於該編碼解碼器的特徵而決定。或者，可能預先準備包含針對該壓縮率Rate各者之已計算σ的表，使該σ值能在壓縮時藉由參考至該表根據該壓縮率Rate決定。
圖12係描繪由訊號處理部12所執行之訊號處理步驟的流程圖。在步驟S11中，訊號處理部12決定是否已從影像輸入部11供應影像訊號。若為否，訊號處理部12將重複步驟S11中的程序以等待影像。另一方面，當相同部11確定已從影像輸入部供應影像，該程序將前進至步驟S12。
在步驟S12中，訊號處理將來自影像輸入部11的影像訊號轉換成數位形式。其次在步驟S13中，基於該預設條件(雜訊縮減總量)針對來自影像輸入部11的影像訊號縮減該影像資料中的雜訊。其次在步驟S14中，將具有已縮減雜訊之該影像資料作為雜訊縮減的結果供應至編碼解碼器13。
圖13係描繪由編碼解碼器13所執行之影像壓縮步驟的流程圖。在步驟S21中，編碼解碼器13決定是否已從訊號處理部12供應影像資料。若為否，編碼解碼器13將重複步驟S21中的程序以等待該影像資料。另一方面，當編碼解碼器13確定已從訊號處理部12供應該影像資料時，該程序將前進至步驟S22。
在步驟S22中，該編碼解碼器決定是否壓縮每個圖框 。亦即，編碼解碼器13決定是否無須雜訊縮減而壓縮該影像資料的所有圖框。此係基於該壓縮率及圖11中由使用者指令所指定之雜訊縮減總量而決定。
若編碼解碼器13確定其將壓縮該影像資料的每個圖框，該程序將前進至影像壓縮部14壓縮該影像資料時無須雜訊縮減之步驟S23。之後，將所產生之該影像資料在步驟S24中供應至CPU 16。
另一方面，在步驟S22中，當編碼解碼器13確定其將不會壓縮每個圖框時，該程序會前進至編碼解碼器13決定來自訊號處理部12之該影像資料是否為待壓縮圖框的影像資料之步驟S25。亦即，編碼解碼器13決定該影像資料是否為不須輕量化之圖框的影像資料。若為否，該程序將前進至將該影像資料儲存在該影像記憶體中之步驟S28。
另一方面，當該影像資料為待壓縮圖框(不須輕量化之圖框)的影像資料時，該程序將前進至該圖框之影像資料藉由雜訊縮減部15受雜訊縮減之步驟S26，接著由影像壓縮部14執行壓縮。之後，將已受過雜訊縮減及影像壓縮之該圖框的影像資料在步驟S27中供應至CPU 16。
在步驟S24、S27或S28中的程序步驟完成時，該程序將會回到步驟S21並會從步驟S21向前重複該等步驟。雜訊縮減及影像壓縮係由上述之編碼解碼器13所操作。
圖14係描繪由網路處理部17所執行之將受到以CPU 16縮減雜訊及壓縮的影像資料傳輸至該網路上之步驟的 流程圖。在步驟S31中，網路處理部17決定待傳輸至該網路上的影像資料是否可用。若為否，相同的部17會重複在步驟S31中的程序步驟。
另一方面，當相同的部17確定待傳輸至該處理上的影像資料可用時，該程序會前進至執行已確定的網路處理之步驟S32。之後，該程序會前進至將該影像資料傳輸至該網路上之步驟S33。
圖15係描繪由編碼解碼器13的雜訊縮減部15所執行之雜訊縮減步驟的流程圖。在步驟S41中，雜訊縮減部15決定該數量已指定的影像資料圖框是否已存入該影像記憶體中。以N代表該圖框計次，例如N＝3時，將圖框率縮減至1/2或1/3。例如N＝5時，將圖框率縮減至1/4或1/5。因此，此N值對應於該已指定之圖框計數。
在步驟S41中，若雜訊縮減部15確定該數量已指定的影像資料圖框尚未存入該影像記憶體中，相同的部15會重複在步驟S41中的程序步驟。另一方面，當相同的部15確定該數量已指定的影像資料圖框已存入該影像記憶體中，該程序會前進至步驟S42。
在步驟S42中，雜訊縮減部15在對該設定合適的條件下(例如雜訊縮減總量)，基於儲存在該影像記憶體中在時間軸上的複數個個圖框執行雜訊縮減。
其次在步驟S43中，雜訊縮減部15將具有已縮減雜訊之影像資料作為雜訊縮減的結果供應至CPU 16。
(2)操作及效果
在上述組態中，訊號處理部12將來自影像輸入部11的影像訊號轉換為數位形式的影像資料。同時，相同的部12藉由平滑化或其他技術縮減該影像資料中的雜訊。此雜訊縮減係根據由壓縮率或雜訊縮減總量設定所指定之雜訊縮減總量而執行，該雜訊縮減總量設定係由參數設定部18根據使用者指令而設定之。之後，訊號處理部12將該結果供應至編碼解碼器13。
編碼解碼器13的影像壓縮部14使從訊號處理部12供應的影像資料受壓縮。相同的部14基於參數設定部18設定的壓縮率使用DCT或其他技術壓縮該等待壓縮圖框之影像資料。亦即，若部份圖框輕量化為圖框率縮減的結果，此等待輕量化圖框的影像資料會儲存在該影像記憶體中。影像壓縮部14壓縮此等待輕量化圖框的影像資料。相同的部14將該等已壓縮圖框的影像資料供應至CPU 16。
編碼解碼器13的雜訊縮減部15基於時間軸上的複數個圖框縮減該等待壓縮圖框之影像資料中的雜訊。結果，該影像記憶體儲存未受壓縮並因此為圖框率縮減而輕量化之該等圖框的影像資料。雜訊縮減部15在適當時機從該影像記憶體中讀取須要縮減雜訊之此等圖框的影像資料。
編碼解碼器13的影像壓縮部14壓縮已由雜訊縮減部15縮減雜訊之影像資料。因此，該影像資料在雜訊縮減後壓縮。若該雜訊縮減係基於時間軸上的複數個圖框而執 行，首先會將時間軸上的複數個必要圖框儲存在該影像記憶體中。然後，不會被輕量化並因此會受壓縮的此等圖框之影像資料中的雜訊會受縮減，接著進行壓縮。
將已受雜訊縮減及壓縮的該影像資料供應至CPU 16。然後，該資料為傳輸至該網路上而由網路處理部17轉換。在轉換後，將該資料傳輸至該網路。
上述組態容許該使用者使用指令指定壓縮率或雜訊縮減之至少其中一者，因此提供根據該影像資料之傳輸尺寸的雜訊縮減。例如，當該使用者指定壓縮率時，參數設定部18藉由根據該已指定壓縮率的預定方法確定資料縮減總量，並以資料縮減總量設定訊號處理部12及雜訊縮減部15。
例如，該雜訊縮減總量能根據該圖框率調整。更明確地說，雜訊縮減總量隨著該圖框率的減少而增加，因此將影像惡化保持在最小。另外，該雜訊縮減總量能根據該傳輸資料尺寸調整。更明確地說，雜訊縮減總量隨著該傳輸資料尺寸的減少而增加，因此將影像惡化保持在最小。
(3)其他實施例
雖然以上描述的實施例係藉由訊號處理部12的平滑化而縮減雜訊，本發明並未受此限制，但可能使用其他技術縮減相同圖框中的雜訊。
另外，上述實施例基於沿著時間軸之複數個圖框的影像資料在雜訊縮減部15中執行雜訊縮減。然而，本發明 並未受此限制，但可能由基於沿著時間軸之複數個圖框的影像資料之其他技術執行雜訊縮減。
根據本發明之該視頻訊號處理裝置、方法及程式可應用於，例如各種網路攝影系統及監視攝影系統上。
熟悉本發明之人士應可瞭解只要係在隨附的申請專利範圍或其等效範圍中，可能取決於設計須要及其他因素而發生不同的修改、組合、次組合及變化。
1‧‧‧監視攝影機
2‧‧‧鏡頭
3‧‧‧感測器
4、12‧‧‧訊號處理部
5、13‧‧‧編碼解碼器
6、16‧‧‧CPU
10‧‧‧監視攝影系統
11‧‧‧影像輸入部
14‧‧‧影像壓縮部
15‧‧‧雜訊縮減部
17‧‧‧網路處理部
18‧‧‧參數設定部
51‧‧‧DCT
52‧‧‧量化器
53‧‧‧量化表
54‧‧‧熵編碼器
圖1係描繪既存監視攝影系統之組態範例的方塊圖；圖2係描繪由該監視攝影系統之編碼解碼器所執行的JPEG壓縮步驟之基本方塊圖；圖3係描繪如本發明實施例的監視攝影系統之組態範例的方塊圖；圖4係描繪由訊號處理部所執行之雜訊縮減步驟的圖；圖5係描繪3×3平滑化範例的圖；圖6係描繪包含時間軸之雜訊縮減步驟的圖；圖7係描繪基於時間軸上複數個圖框執行雜訊縮減步驟的圖；圖8係描繪針對所有圖框執行壓縮步驟的圖；圖9係描繪用於將該圖框率縮減至1/3之壓縮步驟的圖；圖10係描繪在沒有執行壓縮並同時藉由將圖框率縮 減至1/3以縮減資料尺寸的時間週期中，用於縮減未輕量化圖框中的雜訊之步驟的圖；圖11係描繪由參數設定部所執行之步驟的流程圖；圖12係描繪由訊號處理部所執行之步驟的流程圖；圖13係描繪由影像壓縮部所執行之步驟的流程圖；圖14係描繪由網路處理部所執行之步驟的流程圖；圖15係描繪由雜訊縮減部所執行之步驟的流程圖。
5‧‧‧編碼解碼器
11‧‧‧影像輸入部
12‧‧‧訊號處理部
13‧‧‧編碼解碼器
14‧‧‧影像壓縮部
15‧‧‧雜訊縮減部
16‧‧‧CPU
17‧‧‧網路處理部
18‧‧‧參數設定部

Claims (6)

  1. 一種用於壓縮輸入視頻並傳輸已壓縮視頻資料至一網路上的視頻訊號處理裝置，該視頻訊號處理裝置包含：壓縮機構，其用於壓縮該視頻；以及雜訊縮減機構，其以預定之雜訊縮減總量縮減視頻資料中的雜訊，該預定之雜訊縮減總量係根據傳輸至該網路上的該視頻資料之該尺寸，其中若藉由縮減該圖框率而縮減傳輸視頻資料總量，該雜訊縮減機構會基於預定圖框數量沿著與待縮減圖框數量相應的時間軸執行雜訊縮減。
  2. 如申請專利範圍第1項之該視頻訊號處理裝置，其中該壓縮機構及該雜訊縮減機構包含在單一算術裝置中，以及在沒有壓縮由該壓縮機構執行之時間週期中，雜訊縮減係由該雜訊縮減機構所執行。
  3. 一種用於壓縮輸入視頻並傳輸已壓縮視頻資料至一網路上的視頻訊號處理方法，該視頻訊號處理方法包含以下步驟：壓縮該視頻；以及以預定之雜訊縮減總量縮減視頻資料中的雜訊，該預定之雜訊縮減總量係根據傳輸至該網路上的該視頻資料之 該尺寸，其中若藉由縮減該圖框率而縮減傳輸視頻資料總量，該雜訊縮減步驟會基於預定圖框數量沿著與待縮減圖框數量相應的時間軸執行雜訊縮減。
  4. 如申請專利範圍第3項之該視頻訊號處理方法，其中該壓縮步驟及該雜訊縮減步驟由單一算術裝置所執行，且在沒有壓縮由該壓縮步驟執行之時間週期中，雜訊縮減係由該雜訊縮減步驟所執行。
  5. 一種用於控制視頻訊號處理裝置之視頻訊號處理程式，該視頻訊號處理裝置用於壓縮輸入視頻並傳輸已壓縮視頻資料至一網路上，該視頻訊號處理程式致使該視頻訊號處理裝置執行以下步驟：壓縮該視頻；以及以預定之雜訊縮減總量縮減視頻資料中的雜訊，該預定之雜訊縮減總量係根據傳輸至該網路上的該視頻資料之該尺寸，其中若藉由縮減該圖框率而縮減傳輸視頻資料總量，該雜訊縮減步驟會基於預定圖框數量沿著與待縮減圖框數量相應的時間軸執行雜訊縮減。
  6. 如申請專利範圍第5項之該視頻訊號處理程式，其中該壓縮步驟及該雜訊縮減步驟由單一算術裝置所執行 ，且在沒有壓縮由該壓縮步驟執行之時間週期中，雜訊縮減係由該雜訊縮減步驟所執行。
TW97124719A 2007-07-04 2008-07-01 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式 TWI390959B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007176650A JP2009017233A (ja) 2007-07-04 2007-07-04 映像信号処理装置、映像信号処理方法、および映像信号処理プログラム

Publications (2)

Publication Number Publication Date
TW200915846A TW200915846A (en) 2009-04-01
TWI390959B true TWI390959B (zh) 2013-03-21

Family

ID=40214517

Family Applications (1)

Application Number Title Priority Date Filing Date
TW97124719A TWI390959B (zh) 2007-07-04 2008-07-01 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式

Country Status (4)

Country Link
US (1) US20090021645A1 (zh)
JP (1) JP2009017233A (zh)
CN (1) CN101340586B (zh)
TW (1) TWI390959B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090316794A1 (en) * 2008-06-20 2009-12-24 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP6203515B2 (ja) * 2013-03-29 2017-09-27 株式会社メガチップス 画像処理装置
JP6270526B2 (ja) * 2014-02-19 2018-01-31 キヤノン株式会社 撮像装置、及び撮像システム
US10421764B2 (en) 2015-04-24 2019-09-24 H. Lee Moffitt Cancer Center And Research Institute, Inc. Mutant KRas inhibitors

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0771308B2 (ja) * 1989-08-30 1995-07-31 パイオニア株式会社 記録媒体演奏装置におけるノイズ低減回路
JPH06133295A (ja) * 1992-10-20 1994-05-13 Sony Corp データ圧縮装置
JPH06165027A (ja) * 1992-11-25 1994-06-10 Nikon Corp スチルカメラ
US5499057A (en) * 1993-08-27 1996-03-12 Sony Corporation Apparatus for producing a noise-reducded image signal from an input image signal
JPH09172637A (ja) * 1995-12-20 1997-06-30 Fujitsu General Ltd 画像圧縮処理装置
US6005638A (en) * 1996-03-04 1999-12-21 Axcess, Inc. Frame averaging for use in processing video data
JP3622620B2 (ja) * 2000-02-18 2005-02-23 富士写真フイルム株式会社 画像情報取得方法、画像情報送信装置及び画像情報送信システム
US6938176B1 (en) * 2001-10-05 2005-08-30 Nvidia Corporation Method and apparatus for power management of graphics processors and subsystems that allow the subsystems to respond to accesses when subsystems are idle
JP2004021495A (ja) * 2002-06-14 2004-01-22 Mitsubishi Electric Corp 監視システムおよび監視方法
TW200405187A (en) * 2002-09-11 2004-04-01 Matsushita Electric Ind Co Ltd Service providing method
US7558323B2 (en) * 2002-11-27 2009-07-07 Hitachi Kokusai Electric Inc. Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor
JP4280614B2 (ja) * 2003-12-09 2009-06-17 Ｏｋｉセミコンダクタ株式会社 ノイズ低減回路及び方法
US20060140268A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method and apparatus for reduction of compression noise in compressed video images
JP4470901B2 (ja) * 2006-03-31 2010-06-02 ソニー株式会社 撮像装置、高周波成分検出回路、高周波成分検出方法及びコンピュータプログラム
JP2008035439A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd ノイズ除去装置、ノイズ除去制御方法およびノイズ除去制御プログラム
JP4211838B2 (ja) * 2006-11-09 2009-01-21 ソニー株式会社 撮像装置および画像処理方法

Also Published As

Publication number Publication date
TW200915846A (en) 2009-04-01
JP2009017233A (ja) 2009-01-22
CN101340586B (zh) 2013-02-13
CN101340586A (zh) 2009-01-07
US20090021645A1 (en) 2009-01-22

Similar Documents

Publication Publication Date Title
JP6722995B2 (ja) 符号化方法及び符号化装置、撮像装置及びプログラム
US11076164B2 (en) Video camera with rate control video compression
US8615140B2 (en) Compression of image data in accordance with depth information of pixels
JP2004128583A (ja) 撮像装置、画像処理方法、プログラム及び記録媒体
JPH03267877A (ja) 画像符号化装置及びその方法
JP2011130112A (ja) 表示支援装置及び撮像装置
JP2004166224A (ja) 画像生成装置及びその方法
TWI390959B (zh) 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式
JP2003199019A (ja) 撮像装置および方法、記録媒体、並びにプログラム
JP2006074114A (ja) 画像処理装置及び撮像装置
JP6700798B2 (ja) 撮像装置及びその制御方法
US20230133895A1 (en) Image encoding apparatus and method for controlling the same and non-transitory computer-readable storage medium
US7174046B2 (en) Image quantization and coding based on adaptive threshold
JP4375662B2 (ja) 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置
JP4154178B2 (ja) ビデオカメラ
JP6775339B2 (ja) 画像符号化装置及びその制御方法
JP2004194030A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2019068385A (ja) 符号化装置、その制御方法、および制御プログラム、並びに撮像装置
JP2023070055A (ja) 画像符号化装置及びその制御方法及びプログラム
JP4458408B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
KR100634568B1 (ko) 제이펙 파일 크기 제어 가능한 영상 처리 방법 및 그 장치
JP2020109923A (ja) 画像符号化装置及びその制御方法及びプログラム
JP2004213202A (ja) 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体
JP2001268580A (ja) 映像圧縮記録装置
JP2004140879A (ja) デジタルカメラおよびデジタルカメラにおける画像処理方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees