JP4194029B2 - 画像劣化自動検出装置 - Google Patents
画像劣化自動検出装置 Download PDFInfo
- Publication number
- JP4194029B2 JP4194029B2 JP2003049769A JP2003049769A JP4194029B2 JP 4194029 B2 JP4194029 B2 JP 4194029B2 JP 2003049769 A JP2003049769 A JP 2003049769A JP 2003049769 A JP2003049769 A JP 2003049769A JP 4194029 B2 JP4194029 B2 JP 4194029B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- degradation
- deterioration
- image quality
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Description
【発明の属する技術分野】
本発明は画像劣化自動検出装置に関し、特に映像伝送における伝送障害により生ずる局所的な画像劣化を検出する画像劣化自動検出装置に関する。
【0002】
【従来の技術】
従来技術の一つとして、本出願人による特許出願である特開2002−77949号公報に記載されたものがある。
【0003】
この従来技術は、複数の伝送処理装置が伝送路に縦列に接続された系において、該映像伝送路上の予定の地点で画像の特徴量を抽出し、該画像の特徴量を低速度回線、例えば電話網、LAN等で中央監視装置に送り、該中央監視装置において該特徴量を比較して伝送画質を評価するものである。
【0004】
【発明が解決しようとする課題】
しかし、従来技術により求められる前記特徴量は、受信画像のフィールド内の輝度値の平均値、分散等であるため、伝送路障害により画質劣化が発生した場合、画像(フレーム)の劣化度が高いことは判定できるものの、具体的に画面内のどの部分に劣化が生じているかを判定することはできない。
【0005】
また、画面内の劣化領域がごく狭い範囲である場合には、画面内の劣化度の平均を求めても、平均値としては高い値のままで、当該領域が劣化していると判定できない場合が考えられる。このため、画面内のどの部位に劣化が発生しているかを特定する方法が必要となる。
【0006】
本発明は前記した従来技術に鑑みてなされたものであり、その目的は、伝送路障害により発生する画面内の局所的な劣化を精度良く検出することができる画像劣化自動検出装置を提供することにある。
【0007】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、映像伝送に伴う画質劣化を測定する画像劣化自動検出装置において、送信側、受信側のそれぞれに設けられた、画面内の小領域の特徴量を抽出する第1、第2の特徴量抽出部と、該第1、第2の特徴量抽出部のそれぞれから抽出された特徴量を、低速度回線を介して受信する監視室とを備え、該監視室は、前記第1、第2の特徴量抽出部から受信した前記特徴量を比較して画質劣化度を求める劣化度計算部と、注目の小領域の画質劣化度とその周辺の所定範囲の小領域の画質劣化度のうちの中央値を、該注目の小領域の画質劣化度にする中央値フィルタとを含むようにした点に特徴がある。
【0008】
この特徴によれば、映像伝送に伴う、局所的な画像の劣化を検出できるようになる。
【0009】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。本発明の実施形態について、図1を参照して説明する。図1は、本発明の概略の構成を示すブロック図である。
【0010】
送信画像は、伝送路1を経由して、送信側から受信側に送信される。伝送路1の送信側のA点と受信側のB点の各々に、第1のブロック単位特徴量抽出部2と第2のブロック単位特徴量抽出部3が設けられている。
【0011】
前記第1、第2のブロック単位特徴量抽出部2,3は、送信画像および受信画像のフレームを小領域あるいは画素ブロックに分割し、この画素ブロックから画像特徴量を抽出する。画素ブロックとしては、8画素×8画素、16画素×16画素などを用いることができる。また、画像特徴量としては、本出願人による特許出願である特願2002−55333号などに示されているスペクトル拡散および直交変換に基づく係数抽出方式により抽出するのが好適であるが、これに限らず、送受信間の特徴量の比較により当該ブロックの雑音電力(MSE)を推定できるような特徴量であれば本発明を適用することができる。
【0012】
ここで、前記特許出願に示されている係数抽出方式を、図2を参照して簡単に説明する。
【0013】
まず、入力画像がブロック分割部11に入力し、ブロックに分割される。次に、該ブロック内の信号に対し、PN系列乗算部14にてスペクトル拡散をする。すなわち、前記ブロックにPN系列が掛け合わされる。PN系列としては、(+1,+1,−1,+1,−1,−1,+1,−1,+1,・・・)など、+1と−1がランダムに発生する任意の整列で良い。この後、直交変換部12にて、WHT(ウォルシュアダマール変換)がかけられる。WHTとしては、例えばブロックサイズ8×8の画像Gの場合は、次のαのようになる。
α=UGU
ここに、
【0014】
αは上記行列演算により、1ブロックあたり、8×8個の係数となる。係数抽出部13は、このうち、いずれかの係数を抽出して、特徴量RA[i]、RB[i]として、後述の監視室へ出力する。ここに、iは、送信および受信画像フレーム内のブロックのインデクスを示す。
【0015】
送信側および受信側のブロックごとの画像特徴量RA[i]、RB[i]は、監視室4に伝送される。該監視室4は、図1に示されているように、ブロック劣化度計算部41,中央値フィルタ42,劣化ブロック検出部43および劣化領域検出部44から構成されている。
【0016】
まず、前記ブロック劣化度計算部41では、ブロック劣化度が求められる。該ブロックの劣化度D[i]は以下のように定義される。
D[i]=(RA[i]−RB[i])2
各ブロックの劣化度D[i]は、送受信画像の差分信号のブロック内平均電力(MSE)を推定していると考えられる。よって、伝送障害が発生していない場合、劣化度D[i]は受信画像の符号化による劣化をあらわし、伝送障害時には圧縮ビットストリームのエラーによる画像の劣化程度をあらわす。
【0017】
一般に、符号化劣化は伝送障害時の画質劣化に比べて劣化の程度が小さいという傾向が知られている。このため、劣化度D[i]の値が符号化劣化の上限として予測される値を超えた場合に、そのブロックは伝送障害により劣化していると判定できる。
【0018】
ただし、前記画像特徴量から求められる劣化度D[i]は推定値であるため、一定の推定誤差を有している。また、画像の圧縮率が高くなると符号化劣化が大きくなるため、符号化劣化による画質劣化と伝送障害による画質劣化の区別がつきにくくなる。
【0019】
そこで、本実施形態では、該ブロック劣化度D[i]に対して、前記中央値フィルタ42を適用する。以下に、中央値フィルタについて図3を用いて説明する。
【0020】
中央値フィルタとは、当該ブロックおよびその近傍ブロックの集合を定義し、その集合に属するブロック劣化度の値の系列の中から中央値を選出し、それを当該ブロックのブロック劣化度として与える処理を意味する。図3では、i番目のブロックB[i]とその左右近傍2ブロックB[i−2]、B[i−1]、B[i+1]、B[i+2]からなる範囲Lが、前記集合すなわち中央値を求める対象となっており、実際に値が更新されるのは中央のブロックのB[i]となる。
【0021】
中央値フィルタ42は任意の範囲で適用することができるが、 MPEG符号化が伝送路で適用されると前提とした場合には、劣化は水平方向に広がる傾向があることが知られているため、該範囲を注目ブロックの左右の近傍2〜3ブロックとするのが好適である。このように中央値フィルタ42を適用するのは、劣化領域を検出しやすくするためである。
【0022】
図4、5を用いて説明する。図4は、受信画像のフレームを示し、図示されているように、伝送障害により画質劣化が発生したブロックが水平方向に12ブロック(B[0]〜B[11])連続している領域があり、各ブロックの劣化度が図5の曲線aのとおり求められたとする。
【0023】
前記特願2002−55333号などに示されるように、前記画像特徴量に基づくMSEの推定の精度は非常に高いものの、推定誤差は存在するため、ブロックによっては推定誤差が大きくなり、劣化が小さいと誤判定してしまうことがある。例えば、図3に示されているように、i=2、i=8のブロックの劣化度が低く、この位置で誤判定が生じてしまうことがある。
【0024】
そこで、各ブロックに中央値フィルタ42を適用すると、図5の劣化度D[i]の系列は図5の曲線bに示されているように、連続して高い値をもつようになる。なお、この例では、中央値は当該ブロックと左右2近傍ブロックの範囲の中から選出されている。
【0025】
以上のように、中央値フィルタ42の適用により、誤判定を回避しながら、劣化の大きい領域を1つにまとめることが可能となる。なお、画像の周辺ブロックに対する中央値フィルタの適用は、例えば水平方向の左端のブロックに対しては、該ブロックとその右側近傍の2〜3ブロックの計3〜4ブロックから中央値を求めればよい。
【0026】
次に、劣化ブロック検出部43(図1参照)にて、当該ブロックの画像劣化度をしきい値処理することにより劣化領域を決定する。しきい値をTHDとすると、次のように決定する。
D[i]>THD → 劣化ブロックと判定
D[i]≦THD →劣化なしと判定
この結果、図5の例では、i=0〜12のブロックが劣化領域と判定される。
【0027】
さらに、劣化領域検出部44(図1参照)にて、フレーム内での劣化ブロックの連続性を検査する。前述の中央値フィルタ処理により、劣化の大きい領域はある程度の数のブロックの集合となっていると考えられる。そのため、孤立しているブロックは、単に符号化劣化の激しいブロックであるか、推定誤差により劣化が大きいと誤判定されたブロックである可能性が高い。そのため、水平・垂直方向で連続しているブロック検出し、その連続数があるしきい値以上である領域を最終的に劣化領域として検出する。検出しきい値は、画像の圧縮率などによって最適値が変化するが、その設定は当業者には容易であるため、ここでは省略する。
【0028】
次に、本発明の第2実施形態を、図6を参照して説明する。この実施形態は、監視室4において、小領域の画質劣化の検出と並行してフレーム内平均による画質劣化も検出できるようにしたものである。図において、図1と同一または同等物には、同一の符号が付されている。
【0029】
この実施形態では、前記第1、第2のブロック単位特徴量抽出部2,3で抽出された特徴量は、前記ブロック劣化度計算部41に送られると同時に、MSE推定部45に送られる。該MSE推定部45は、例えば図7に示されるように、減算部51,自乗演算部52,加算部53およびテーブル参照部54から構成されている。
【0030】
減算部51では、送信側と受信側の対応するブロックの特徴量の差分が計算され、それが自乗演算部52で自乗される。加算部53は、該自乗値を1フレーム分加算する。該加算値は、テーブル参照部24で、該加算値とMSEとの関係を示すテーブルに適用され、MSE推定値が得られる。
【0031】
以上のように、本実施形態によれば、フレームの画質劣化と共に小領域の画質劣化を、精度良く検出することができる。
【0032】
【発明の効果】
以上の説明から明らかなように、本発明によれば、映像伝送における伝送障害により生ずる局所的な画像劣化を検出できるようになる。また、中央値フィルタを用いているので、該画像劣化の検出を精度良く行えるようになる。
【0033】
また、本発明によれば、フレームの画像劣化の検出と並行して、局所的な画像劣化を検出できるようになる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の概略の構成を示すブロック図である。
【図2】 図1のブロック単位特徴量抽出部の具体的構成例を示すブロック図である。
【図3】 中央値フィルタの動作例の説明図である。
【図4】 中央値フィルタの処理により得られる劣化領域範囲の説明図である。
【図5】 中央値フィルタの適用前と適用後の劣化度を示すグラフである。
【図6】 本発明の第2実施形態の概略の構成を示すブロック図である。
【図7】 図6のMSE推定部の具体的構成例を示すブロック図である。
【符号の説明】
1・・・伝送路、2、3・・・ブロック単位特徴量抽出部、4・・・監視室、41・・・ブロック劣化度計算部、42・・・中央値フィルタ、43・・・劣化ブロック検出部、44・・・劣化領域検出部、45・・・MSE推定部。
Claims (5)
- 映像伝送に伴う画質劣化を測定する画像劣化自動検出装置において、
送信側、受信側のそれぞれに設けられた、画面内の小領域の特徴量を抽出する第1、第2の特徴量抽出部と、
該第1、第2の特徴量抽出部のそれぞれから抽出された特徴量を、低速度回線を介して受信する監視室とを備え、
該監視室は、
前記第1、第2の特徴量抽出部から受信した前記特徴量を比較して画質劣化度を求める劣化度計算部と、
注目の小領域の画質劣化度とその周辺の所定範囲の小領域の画質劣化度のうちの中央値を、該注目の小領域の画質劣化度にする中央値フィルタとを含み、
画像の局所的な画質劣化を検出できるようにしたことを特徴とする画像劣化自動検出装置。 - 請求項1に記載の画像劣化自動検出装置において、
さらに、予め定められた閾値より大なる劣化度の領域を検出する劣化領域検出部を具備し、
映像伝送に伴う画質劣化領域を検出するようにしたことを特徴とする画像劣化自動検出装置。 - 請求項1または2に記載の画像劣化自動検出装置において、
前記第1、第2の特徴量抽出部は、スペクトル拡散とウォルシュ−アダマール変換に基づいて特徴量を求めることを特徴とする画像劣化自動検出装置。 - 請求項1または2に記載の画像劣化自動検出装置において、
前記中央値フィルタは、水平方向範囲に属する小領域の画質劣化度からその中央値を求めることを特徴とする画像劣化自動検出装置。 - 請求項1ないし4のいずれかに記載の画像劣化自動検出装置において、
さらに、フレーム内平均による画質劣化検出部を具備し、
前記局所的な画質劣化とフレームの画質劣化とを並行して検出できるようにしたことを特徴とする画像劣化自動検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003049769A JP4194029B2 (ja) | 2003-02-26 | 2003-02-26 | 画像劣化自動検出装置 |
US10/781,632 US7199819B2 (en) | 2003-02-26 | 2004-02-20 | Device for automatically detecting picture degradation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003049769A JP4194029B2 (ja) | 2003-02-26 | 2003-02-26 | 画像劣化自動検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004260602A JP2004260602A (ja) | 2004-09-16 |
JP4194029B2 true JP4194029B2 (ja) | 2008-12-10 |
Family
ID=32984352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003049769A Expired - Fee Related JP4194029B2 (ja) | 2003-02-26 | 2003-02-26 | 画像劣化自動検出装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7199819B2 (ja) |
JP (1) | JP4194029B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0314162D0 (en) * | 2003-06-18 | 2003-07-23 | British Telecomm | Edge analysis in video quality assessment |
GB0314161D0 (en) * | 2003-06-18 | 2003-07-23 | British Telecomm | Edge analysis in video quality assessment |
JP2006157789A (ja) * | 2004-12-01 | 2006-06-15 | Kddi Corp | 音声障害検出装置 |
US8184542B2 (en) * | 2005-12-08 | 2012-05-22 | At&T Intellectual Property I, L.P. | Methods, computer programs, and systems for verifying a customer premises connection to an integrated communication system |
EP2114080A1 (en) * | 2008-04-30 | 2009-11-04 | Thomson Licensing | Method for assessing the quality of a distorted version of a frame sequence |
US8699818B2 (en) | 2008-04-30 | 2014-04-15 | Nec Corporation | Method, system, and program for determining image quality based on pixel changes between image frames |
US8644642B2 (en) | 2008-04-30 | 2014-02-04 | Nec Corporation | Image quality evaluation method, system, and program based on an alternating-current component differential value |
WO2009133900A1 (ja) * | 2008-04-30 | 2009-11-05 | 日本電気株式会社 | 画質評価システム、方法およびプログラム |
JP5013487B2 (ja) * | 2008-11-18 | 2012-08-29 | Kddi株式会社 | 映像の客観画質評価装置 |
EP2372996B1 (en) * | 2008-12-26 | 2018-10-03 | Fujitsu Limited | Image processing system, image processing device, and image processing method |
US8294772B2 (en) * | 2009-01-29 | 2012-10-23 | Pelco, Inc. | System and method for monitoring connections within an analog video system |
CN102405644B (zh) * | 2009-04-21 | 2014-09-10 | 马维尔国际贸易有限公司 | 基于因特网视频内容的经估算质量对视频后处理器的自动调节 |
US20170249521A1 (en) * | 2014-05-15 | 2017-08-31 | Arris Enterprises, Inc. | Automatic video comparison of the output of a video decoder |
US11064204B2 (en) | 2014-05-15 | 2021-07-13 | Arris Enterprises Llc | Automatic video comparison of the output of a video decoder |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4797735A (en) * | 1985-07-04 | 1989-01-10 | Matsushita Electric Industrial Co., Ltd. | Distortion surveillance apparatus for television signal transmission system |
US5446492A (en) * | 1993-01-19 | 1995-08-29 | Wolf; Stephen | Perception-based video quality measurement system |
US5329311A (en) * | 1993-05-11 | 1994-07-12 | The University Of British Columbia | System for determining noise content of a video signal in the disclosure |
GB2305054B (en) * | 1995-08-29 | 2000-03-22 | British Broadcasting Corp | Blemish concealment in video signals |
US5825929A (en) * | 1995-10-05 | 1998-10-20 | Microsoft Corporation | Transformation block optimization method |
JP3527145B2 (ja) * | 1999-09-10 | 2004-05-17 | Kddi株式会社 | ディジタル伝送画像の客観品質評価装置 |
JP3622840B2 (ja) | 2000-08-25 | 2005-02-23 | Kddi株式会社 | 伝送画質評価装置および伝送画質遠隔監視装置 |
JP3835683B2 (ja) | 2001-04-16 | 2006-10-18 | Kddi株式会社 | 伝送画質監視装置 |
-
2003
- 2003-02-26 JP JP2003049769A patent/JP4194029B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-20 US US10/781,632 patent/US7199819B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20040183950A1 (en) | 2004-09-23 |
JP2004260602A (ja) | 2004-09-16 |
US7199819B2 (en) | 2007-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100934539B1 (ko) | 멀티미디어 비디오 통신 품질 측정 방법 | |
JP4194029B2 (ja) | 画像劣化自動検出装置 | |
US9497468B2 (en) | Blur measurement in a block-based compressed image | |
US8644642B2 (en) | Image quality evaluation method, system, and program based on an alternating-current component differential value | |
KR20070116717A (ko) | 압축된 디지털 이미지의 mpeg 노이즈 강도 측정 방법및 장치 | |
EP1003335B1 (en) | Efficient detection of error blocks in a DCT-based compressed video sequence | |
US20070206095A1 (en) | Picture quality monitoring apparatus | |
US8724705B2 (en) | Detecting repetition in digital video | |
EP2137977A2 (en) | Systems and methods for measuring loss of detail in a video codec block | |
US7385627B2 (en) | Picture feature extraction system and picture quality evaluation system | |
KR101192429B1 (ko) | 영상의 전송 에러 복원 방법 및 그 장치 | |
JP4026754B2 (ja) | 画質劣化検出装置 | |
JP3835683B2 (ja) | 伝送画質監視装置 | |
WO2010103112A1 (en) | Method and apparatus for video quality measurement without reference | |
WO2007068675A1 (en) | Method for watermarking a digital data set and device implementing said method | |
EP2112833B1 (en) | Method and apparatus for measuring blockiness in video images | |
Lee et al. | New full-reference visual quality assessment based on human visual perception | |
JP3838516B2 (ja) | 伝送画質監視装置 | |
JP4479980B2 (ja) | 画像処理装置および画質評価装置 | |
JP5325164B2 (ja) | 符号化ブロックサイズ及び位置推定方法並びにプログラム | |
Sugimoto et al. | Method for precise detection of local impairment of coded video by use of reduced reference | |
EP2798846B1 (en) | Assessing packet loss visibility in video | |
CN115063399A (zh) | 一种基于双重矩形特性分析的图像马赛克检测方法 | |
JP2011041077A (ja) | 映像品質推定装置、方法、およびプログラム | |
Hasan et al. | Fast and Reliable Structure-Oriented Distortion Measure for Video Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080917 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080918 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141003 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |