JP3566546B2 - 画像の品質異常検出方法および装置 - Google Patents
画像の品質異常検出方法および装置 Download PDFInfo
- Publication number
- JP3566546B2 JP3566546B2 JP10559698A JP10559698A JP3566546B2 JP 3566546 B2 JP3566546 B2 JP 3566546B2 JP 10559698 A JP10559698 A JP 10559698A JP 10559698 A JP10559698 A JP 10559698A JP 3566546 B2 JP3566546 B2 JP 3566546B2
- Authority
- JP
- Japan
- Prior art keywords
- power spectrum
- image quality
- signal
- quality abnormality
- abnormality detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は画像の品質異常検出方法および装置に関し、特に映像機器によって再生された画像、あるいは通信回線を提供されている画像等の品質異常を検出する品質異常検出方法および装置に関する。
【０００２】
【従来の技術】
テレビ画像の提供あるいはその伝送を業としている者等にとっては、高品質の画像を需要者に届ける義務がある。テレビ画像の提供者、例えば放送局等では、録画された画像を再生して放送することがよくあるが、このような場合には、再生された画像の品質に異常が出ていないかどうか常にモニタする必要がある。また、テレビ画像の伝送をする通信事業者は、通信路の異常等で画像の品質に異常が出ていないかどうか常にモニタする必要がある。
【０００３】
そこで、従来は、モニタ装置に提供中の画像を映し出し、担当者がこの映し出された画像を常に監視して、画像の品質異常を検出し、異常が検出されると、予備の映像機器に切り替えて再生したり、あるいは予備の回線に切り替えて伝送するようにしていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記した画像の品質異常の検出の仕方では、担当者にかかる精神的、肉体的負担が大きく、また品質異常の検出に個人差が出るという問題、また経済的な面で不利であるという問題があった。また、人を使わずに、機械的に品質異常を検出する方法が研究されているが、実使用できる品質異常検出装置はまだ提案されていない。
【０００５】
本発明の目的は、前記した従来技術に鑑みてなされたものであり、テレビ信号をディジタル的に分析して、画像の品質異常を検出できる品質異常検出方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明は、画像の品質異常検出方法であって、ディジタル化された映像信号を複数のブロックに分割し、該分割されたブロック単位の原信号から交流成分の電力和が一定となるように正規化し、該正規化したデータを基に電力スペクトルを求め、該電力スペクトルの近似直線と該電力スペクトルとから揺らぎ量を求め、少くとも前記ブロックの信号の分散と、前記近似直線の係数と、前記電力スペクトルの揺らぎ量とから、画像の品質異常を検出するようにした点に特徴がある。
【０００７】
また、画像の品質異常検出装置であって、ディジタル化された輝度信号と色信号とを記憶する記憶手段と、該記憶手段に記憶された輝度信号と色信号をブロックに分割し、各ブロックの分散値を求める分散値演算手段と、該分散値演算手段で求められた分散値を基に、分散一定の正規化信号を得る正規化手段と、該正規化手段から出力された前記正規化信号から該ブロック内の平均の自己相関関数を求め、該自己相関関数を負側へ折返し、所定区間での平均の自己相関関数を０またはほぼ０にする自己相関関数補正処理手段と、該自己相関関数補正処理手段で得られた自己相関関数をフーリエ変換して、電力スペクトルを求め、該電力スペクトルを直線近似する電力スペクトル直線近似手段と、該電力スペクトルの前記近似直線からの揺らぎ量を求める揺らぎ量演算手段と、前記分散値演算手段で求められた分散値、前記電力スペクトル直線近似手段で求められた近似直線の係数、および前記揺らぎ量演算手段で求められた揺らぎ量により、画像の異常判定を行うようにした点に特徴がある。
【０００８】
この発明によれば、画像の異常判定を、リアルタイムに、人を使わずに、機械的に、かつ精度良く行うことができるようになる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。
図示されているように、本実施形態は、画像情報の入力部１と、該入力部１から入力してきた画像情報を記憶するメモリ部２と、該メモリ部２に記憶された画像情報の波形を解析する波形解析部３と、該波形解析部３から出力された解析結果を基に波形の揺らぎを計測する１／ｆ揺らぎ計測部４（ｆ：周波数）と、画像情報の品質を判定する異常判定部５と、統計処理部６とから構成されている。
【００１０】
前記入力部１は、次の（１） 〜（４） の４種類の入出力インタフェースを有している。（１） Ｒｅｃ．６０１ コンポーネントアナログ入力、（２） Ｄ１シリアル入力（ディジタル信号入力）、（３） ＮＴＳＣ信号入力、（４） Ｄ２シリアル入力（ディジタル信号入力）。
【００１１】
前記（１） のＲｅｃ．６０１ コンポーネントアナログ入力はアナログ信号であるので、Ａ／Ｄ変換器１１、１２でディジタル信号に変換される。（２） のＤ１シリアル入力はディジタルのコンポーネント信号である。（３） 、（４） の信号はコンポジット信号であるので、Ｙ／Ｃ分離回路でＹ（輝度）信号とＣ（色差）信号とに分離される。この入力部１は既知であるので、詳細な説明は省略する。
【００１２】
該入力部１から出力されたディジタルの画像信号は、メモリ部２のＹメモリ２１と、Ｃメモリ２２に記憶される。該Ｙメモリ２１とＣメモリ２２は、例えばフィールドメモリであり、読み出しと書込みが同時にできるように、それぞれ複数個のフィールドメモリから構成されている。なお、前記Ｙメモリ２１には輝度信号が、Ｃメモリには色差信号が記憶される。
【００１３】
一具体例として、コンポーネント信号に対しては、Ｙメモリは７２０画素×４８０ライン、二つの色差信号に対するメモリは、各々、３６０画素×４８０ラインの容量のものを用いることができ、コンポジット信号に対しては、Ｙメモリは７６８画素×４８０ライン、二つの色差信号に対するＣメモリは、各々、３８４画素×４８０ラインの容量のものを用いることができる。なお、該Ｙメモリ２１に記憶された輝度信号と、Ｃメモリに記憶された色差信号は、例えばモニタ装置に送られて、可視像化することができる。
【００１４】
メモリ部２に記憶された画像データは波形解析部３に送られる。該波形解析部３はブロック分割部３１、３４、ブロック特性計算部３２、３５、平均値分離・正規化部３３、３６から構成されている。前記ブロック分割部３１、３４は、それぞれ、輝度信号、色差信号を、図２に示されているように、ｋ画素×ｎライン、例えば８画素×８ライン、１６画素×８ライン等のブロックに分割する。ブロック特性計算部３２、３５は、該ブロックの特性である平均値ｍと分散σ２ を、下記の（１） 、（２） 式により計算する。
【００１５】
【数１】
ここに、ｘ（ｋ，ｎ）は画素の信号値の振幅を示す。
【００１６】
輝度信号の平均値分離・正規化部３３には、前記Ｙメモリ２１に蓄積されている輝度信号データと、前記ブロック特性計算部３２で求められたブロックの平均値ｍｙ と分散σ２ ｙ が送られる。一方、色差信号の平均値分離・正規化部３６には、前記Ｃメモリ２２に蓄積されている色差信号データと、前記ブロック特性計算部３５で求められたブロックの平均値ｍｃ と分散σ２ ｃ が送られる。
【００１７】
前記平均値分離・正規化部３３では、Ｙメモリ２１から入力される画素ｘ（ｋ，ｎ）を下記の（３） 式により、平均値分離・正規化する。
【００１８】
【数２】
Ｘ（ｋ，ｎ）＝（ Ｘ（ｋ，ｎ）−ｍ）・σ0／σ ・・・（３）
ここに、σ0は、予め定められた標準偏差であり、本装置の外部から与えることができる。
【００１９】
この平均値分離・正規化部３３の働きを、図３、図４を参照して、具体例で説明する。いま、Ｙメモリ２１から入力される画像が例えば青空のように平坦な画面であったとすると、画像信号ｘの時間変化は図３（ａ） のように小さな変化となっている。また、例えば青空を背景として木が立っている画像のように、画像ｘの輝度が急激に変化するエッジ部では、画像信号ｘの時間変化は同図（ｂ） のようになっている。さらに、例えば森や髪の毛の画像のように、画像ｘが詳細画像の場合には、画像信号ｘの時間変化は同図（ｃ） のように鋭くかつ大きな変化となっている。ここに、図３（ａ） 、（ｂ） 、（ｃ） 中のσＦ 、σＥ 、およびσＤ は、それぞれの画像の標準偏差を表し、一般的には等しくない値である。
【００２０】
これらの画像信号ｘに対して前記（３） 式の処理を施すと、図３（ａ） 、（ｂ） 、（ｃ） の各画像信号から交流電力を取り除いた画像信号とすることができ、それぞれ図４（ａ） 、（ｂ） 、（ｃ） の各画像信号とすることができる。ここに、図４（ａ） 、（ｂ） 、（ｃ） の各画像信号ｘの標準偏差は全て同じ値のσｏ （σｏ ＝σＦ ＝σＥ ＝σＤ ）となる。この結果、以降の処理では、波形パターンだけによる解析が可能になる。なお、前記平均値分離・正規化部３６の働きも、平均値分離・正規化部３３と同じであるので、説明を省略する。
【００２１】
前記平均値分離・正規化部３３、３６で交流電力を取除かれた画像信号は、１／ｆ揺らぎ計測部４に入力する。該１／ｆ揺らぎ計測部４は、自己相関関数計算部４０、４５、補正処理部４１、４６、フーリエ変換実行部４２、４７、１／ｆパラメータ決定部４３、４８、および揺らぎ量測定部４４、４９から構成されている。
【００２２】
前記自己相関関数計算部４０は、平均値分離・正規化された図５に示されているようなブロック１００からライン１０１を１本ずつ抜き出し、下記の（４） 式から自己相関係数Ｒ（τ）を求める。
【００２３】
【数３】
ここに、τは画素のずれ量である。
【００２４】
次に、前記（４） 式により、ブロック１００内の全部のラインに対して自己相関係数Ｒ（τ）を求め、ブロック１００内の全ラインで自己相関係数Ｒ（τ）の平均値を取る。該自己相関係数Ｒ（τ）の平均値は、概ね図６に示すような形をしている。図６の横軸は前記画素のずれ量τ、縦軸は自己相関係数Ｒ（τ）がとられている。
【００２５】
次に、前記補正処理部４１の処理を説明する。まず、図６に示されているように、装置の外部から与えることのできるパラメータτｏ 〜Ｔの範囲の自己相関係数Ｒ（τ）の平均値γを、下記の（５） 式から求める。
【００２６】
【数４】
次いで、図６の自己相関係数Ｒ（τ）を、τ≦０側に折返す。そうすると、図７のようになる。続いて、Ｒ（τ）→Ｒ（τ）−γの処理をする。そうすると、図８の波形になる。この処理により、τｏ ≦｜τ｜≦Ｔの範囲で、平均値が０となる。なお、図７のように、図６の自己相関係数Ｒ（τ）を、τ≦０側に折返すのは、画像のラインの左端および右端では、両方向の自己相関係数Ｒ（τ）が求められないためである。
【００２７】
次に、フーリエ変換実行部４２では、図９に示すように、自己相関係数Ｒ（τ）をτｏ ≦｜τ｜≦Ｔの範囲でフーリエ変換し、関数ｘ（ｔ） の電力（パワー）スペクトルを求める。図９のフーリエ変換後のグラフの横軸は周波数ｆ、縦軸は電力密度Ｐ（ｆ） を表している。
【００２８】
次に、１／ｆパラメータ決定部４３は、図１０に記されているように、周波数ｆと電力密度Ｐ（ｆ） との関係を、ｌｏｇ Ｐ（ｆ） （縦軸）とｌｏｇ ｆ（横軸）の関係へと変換する。そうすると、図１０の右側のグラフに記されているように、下記の（６） 式の一次関数に近似できる。
ｌｏｇ Ｐ（ｆ） ＝ａｌｏｇ ｆ＋ｂ …（６）
ここに、ａとｂは係数であり、最小二乗近似で求められる。
【００２９】
次に、前記揺らぎ量測定部４４の動作を図１１を参照して説明する。該揺らぎ量測定部４４では、実際の画像信号のｌｏｇ Ｐ（ｆ） とｌｏｇ ｆの関係の、前記（６） 式で与えられる一次関数に対する周波数ｆ１ 〜ｆ２ の範囲内のずれ量、すなわち揺らぎ量Ｂを、下記の（７） 式から求める。
【００３０】
【数５】
なお、（７） 式の揺らぎ量Ｂは、周波数揺らぎをフィルタＨ（ｆ） で重み付けし、周波数ｆ１ 〜ｆ２ の範囲で加え合わせたものである。
【００３１】
以上のようにして求められた、前記（２） 式の分散σ２ 、前記（６） 式のａ、ｂ、および前記（７） 式の揺らぎ量Ｂは、図１に示されているように、異常判定部５に入力する。該異常判定部５は、前記係数ａ、ｂおよび揺らぎ量Ｂを、下記の式により正規化する。
【００３２】
ａ´＝（ａ＋３．３４）／１．４９
Ｂ´＝（Ｂ−４０．１６）／２８．５１
ｂ´＝（ｂ−１．９３）／２．２１
そして、該異常判定部５は、ｉｃ Ｎｏｉｓｅの判定楕円関数により、下記の条件（ａ） または（ｂ） が成立する時には、画像の品質が異常（Ｎ（ｄ） ）であると判定し、成立しない時には正常であると判定する。
【００３３】
（ａ） ９．０≦σの時、
｛（ａ´−４．１）／５｝２ ＋｛（Ｂ´−４．３）／５．９｝２ ＋｛（ｂ´−０．５１ａ´−０．２）｝２ ≦１
（ｂ） σ＜９．０の時、
｛（ａ´＋２．６）／６．６｝２ ＋｛（Ｂ´＋０．１）／５．９｝２ ＋｛（ｂ´−１．４３ａ´＋４．５）｝２ ≦１
なお、前記条件（ａ） および（ｂ） による画像の品質の判定の仕方は一例に過ぎず、他の方法であっても良いことは明らかである。
【００３４】
以上では、１／ｆ揺らぎ計測部４の動作を、自己相関関数計算部４０、補正処理部４１、フーリエ変換実行部４２、１／ｆパラメータ決定部４３、および揺らぎ量測定部４４で説明したが、色差信号を処理する自己相関関数計算部４５、補正処理部４６、フーリエ変換実行部４７、１／ｆパラメータ決定部４８、および揺らぎ量測定部４９も同等の動作をする。したがって、異常判定部５からは、画像の輝度、および二つの色差信号のそれぞれについての異常判定をすることができる。
【００３５】
以上のようにして、例えば、図１２の１つのブロックｄの輝度、および二つの色差信号に対する異常Ｎ（ｄ） の判定がなされると、これらの異常判定Ｎ（ｄ） は統計処理部６に送られる。該統計処理部６は、該異常判定Ｎ（ｄ） をフィールド単位で処理するために、下記の（８） 式でＮｔｏｔａｌ を求める。
【００３６】
【数６】
次に、統計処理部６は、下記の▲１▼〜▲４▼の判断により、輝度および二つの色差信号のそれぞれに対してフィールドの正常または異常を判定する。
▲１▼ Ｎｔｏｔａｌ ＝０ →完全な正常フィールド
▲２▼ ０＜Ｎｔｏｔａｌ ＜Ｔｈ１ →フィールド内に孤立状の異常あり
▲３▼ Ｔｈ１＜Ｎｔｏｔａｌ ≦Ｔｈ２ →フィールド内で、部分的に異常あり
▲４▼ Ｔｈ２＜Ｎｔｏｔａｌ →フィールドのほぼ全域に渡って異常あり
また、該統計処理部６は、下記の（９） 、（１０）式により、フィールドの平均揺らぎ量と、平均分散とを求める。
【００３７】
【数７】
以上のように、本実施形態によれば、リアルタイムに、かつ人手を介することなく画像の異常、正常を判定することができるようになる。なお、上記では、本発明を一実施形態で説明したが、本発明は該実施形態に限定されるものではなく、本発明の精神を逸脱しない範囲の変形は本発明の範囲に入ることは勿論である。
【００３８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、映像ベースバンド信号を取り込み、小ブロック単位で電力スペクトルを求め、１／ｆ揺らぎ量解析により画像の品質異常を検出するようにしているので、リアルタイムで、精度良く画像の品質異常を検出できる。また、人手を介することなく、機械的に、画像の品質異常を検出できる。
【００３９】
なお、本発明者は、テスト画像であるフラワガーデンの画面内に，品質の良好な画像部分と悪い画像部分とをわざと作って、本発明による、自己相関関数のフーリエ変換揺らぎ量を測定した。その結果は、図１３に示すようになった。図中の点線ａは原画像、実線ｂは品質の良好な部分の画像、一点鎖線ｃは品質の悪い部分の画像の、各近似直線に対する揺らぎを示す。このデータから、品質の悪い画像の揺らぎ量Ｂは大きくなり、本発明の効果が確かめられた。また、他のテスト画像を用いて同様の実験をしたが、これらの画像においても、本発明の効果が確かめられた。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】ブロック分割部の動作の説明図である。
【図３】平均値分離・正規化部の動作の説明図である。
【図４】平均値分離・正規化部の動作の説明図である。
【図５】自己相関関数計算部の動作の説明図である。
【図６】補正処理部の動作の説明図である。
【図７】補正処理部の動作の説明図である。
【図８】補正処理部の動作の説明図である。
【図９】フーリエ変換実行部の動作の説明図である。
【図１０】１／ｆパラメータ決定部の動作の説明図である。
【図１１】揺らぎ量測定部の動作の説明図である。
【図１２】フィールドとブロックを示す図である。
【図１３】本発明の実験によって得られた自己相関関数フーリエ変換揺らぎ量を示すグラフである。
【符号の説明】
１…入力部、２…メモリ部、３…波形解析部、４…１／ｆ揺らぎ計測部、５…異常判定部、６…統計処理部、３１、３４…ブロック分割部、３２、３５…ブロック特性計算部、３３、３６…平均値分離・正規化部、４０、４５…相関関数計算部、４１、４６…補正処理部、４２、４７…フーリエ変換実行部、４３、４８…１／ｆパラメータ決定部、４４、４９…揺らぎ量測定部。
【発明の属する技術分野】
この発明は画像の品質異常検出方法および装置に関し、特に映像機器によって再生された画像、あるいは通信回線を提供されている画像等の品質異常を検出する品質異常検出方法および装置に関する。
【０００２】
【従来の技術】
テレビ画像の提供あるいはその伝送を業としている者等にとっては、高品質の画像を需要者に届ける義務がある。テレビ画像の提供者、例えば放送局等では、録画された画像を再生して放送することがよくあるが、このような場合には、再生された画像の品質に異常が出ていないかどうか常にモニタする必要がある。また、テレビ画像の伝送をする通信事業者は、通信路の異常等で画像の品質に異常が出ていないかどうか常にモニタする必要がある。
【０００３】
そこで、従来は、モニタ装置に提供中の画像を映し出し、担当者がこの映し出された画像を常に監視して、画像の品質異常を検出し、異常が検出されると、予備の映像機器に切り替えて再生したり、あるいは予備の回線に切り替えて伝送するようにしていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記した画像の品質異常の検出の仕方では、担当者にかかる精神的、肉体的負担が大きく、また品質異常の検出に個人差が出るという問題、また経済的な面で不利であるという問題があった。また、人を使わずに、機械的に品質異常を検出する方法が研究されているが、実使用できる品質異常検出装置はまだ提案されていない。
【０００５】
本発明の目的は、前記した従来技術に鑑みてなされたものであり、テレビ信号をディジタル的に分析して、画像の品質異常を検出できる品質異常検出方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明は、画像の品質異常検出方法であって、ディジタル化された映像信号を複数のブロックに分割し、該分割されたブロック単位の原信号から交流成分の電力和が一定となるように正規化し、該正規化したデータを基に電力スペクトルを求め、該電力スペクトルの近似直線と該電力スペクトルとから揺らぎ量を求め、少くとも前記ブロックの信号の分散と、前記近似直線の係数と、前記電力スペクトルの揺らぎ量とから、画像の品質異常を検出するようにした点に特徴がある。
【０００７】
また、画像の品質異常検出装置であって、ディジタル化された輝度信号と色信号とを記憶する記憶手段と、該記憶手段に記憶された輝度信号と色信号をブロックに分割し、各ブロックの分散値を求める分散値演算手段と、該分散値演算手段で求められた分散値を基に、分散一定の正規化信号を得る正規化手段と、該正規化手段から出力された前記正規化信号から該ブロック内の平均の自己相関関数を求め、該自己相関関数を負側へ折返し、所定区間での平均の自己相関関数を０またはほぼ０にする自己相関関数補正処理手段と、該自己相関関数補正処理手段で得られた自己相関関数をフーリエ変換して、電力スペクトルを求め、該電力スペクトルを直線近似する電力スペクトル直線近似手段と、該電力スペクトルの前記近似直線からの揺らぎ量を求める揺らぎ量演算手段と、前記分散値演算手段で求められた分散値、前記電力スペクトル直線近似手段で求められた近似直線の係数、および前記揺らぎ量演算手段で求められた揺らぎ量により、画像の異常判定を行うようにした点に特徴がある。
【０００８】
この発明によれば、画像の異常判定を、リアルタイムに、人を使わずに、機械的に、かつ精度良く行うことができるようになる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。
図示されているように、本実施形態は、画像情報の入力部１と、該入力部１から入力してきた画像情報を記憶するメモリ部２と、該メモリ部２に記憶された画像情報の波形を解析する波形解析部３と、該波形解析部３から出力された解析結果を基に波形の揺らぎを計測する１／ｆ揺らぎ計測部４（ｆ：周波数）と、画像情報の品質を判定する異常判定部５と、統計処理部６とから構成されている。
【００１０】
前記入力部１は、次の（１） 〜（４） の４種類の入出力インタフェースを有している。（１） Ｒｅｃ．６０１ コンポーネントアナログ入力、（２） Ｄ１シリアル入力（ディジタル信号入力）、（３） ＮＴＳＣ信号入力、（４） Ｄ２シリアル入力（ディジタル信号入力）。
【００１１】
前記（１） のＲｅｃ．６０１ コンポーネントアナログ入力はアナログ信号であるので、Ａ／Ｄ変換器１１、１２でディジタル信号に変換される。（２） のＤ１シリアル入力はディジタルのコンポーネント信号である。（３） 、（４） の信号はコンポジット信号であるので、Ｙ／Ｃ分離回路でＹ（輝度）信号とＣ（色差）信号とに分離される。この入力部１は既知であるので、詳細な説明は省略する。
【００１２】
該入力部１から出力されたディジタルの画像信号は、メモリ部２のＹメモリ２１と、Ｃメモリ２２に記憶される。該Ｙメモリ２１とＣメモリ２２は、例えばフィールドメモリであり、読み出しと書込みが同時にできるように、それぞれ複数個のフィールドメモリから構成されている。なお、前記Ｙメモリ２１には輝度信号が、Ｃメモリには色差信号が記憶される。
【００１３】
一具体例として、コンポーネント信号に対しては、Ｙメモリは７２０画素×４８０ライン、二つの色差信号に対するメモリは、各々、３６０画素×４８０ラインの容量のものを用いることができ、コンポジット信号に対しては、Ｙメモリは７６８画素×４８０ライン、二つの色差信号に対するＣメモリは、各々、３８４画素×４８０ラインの容量のものを用いることができる。なお、該Ｙメモリ２１に記憶された輝度信号と、Ｃメモリに記憶された色差信号は、例えばモニタ装置に送られて、可視像化することができる。
【００１４】
メモリ部２に記憶された画像データは波形解析部３に送られる。該波形解析部３はブロック分割部３１、３４、ブロック特性計算部３２、３５、平均値分離・正規化部３３、３６から構成されている。前記ブロック分割部３１、３４は、それぞれ、輝度信号、色差信号を、図２に示されているように、ｋ画素×ｎライン、例えば８画素×８ライン、１６画素×８ライン等のブロックに分割する。ブロック特性計算部３２、３５は、該ブロックの特性である平均値ｍと分散σ２ を、下記の（１） 、（２） 式により計算する。
【００１５】
【数１】
【００１６】
輝度信号の平均値分離・正規化部３３には、前記Ｙメモリ２１に蓄積されている輝度信号データと、前記ブロック特性計算部３２で求められたブロックの平均値ｍｙ と分散σ２ ｙ が送られる。一方、色差信号の平均値分離・正規化部３６には、前記Ｃメモリ２２に蓄積されている色差信号データと、前記ブロック特性計算部３５で求められたブロックの平均値ｍｃ と分散σ２ ｃ が送られる。
【００１７】
前記平均値分離・正規化部３３では、Ｙメモリ２１から入力される画素ｘ（ｋ，ｎ）を下記の（３） 式により、平均値分離・正規化する。
【００１８】
【数２】
Ｘ（ｋ，ｎ）＝（ Ｘ（ｋ，ｎ）−ｍ）・σ0／σ ・・・（３）
ここに、σ0は、予め定められた標準偏差であり、本装置の外部から与えることができる。
【００１９】
この平均値分離・正規化部３３の働きを、図３、図４を参照して、具体例で説明する。いま、Ｙメモリ２１から入力される画像が例えば青空のように平坦な画面であったとすると、画像信号ｘの時間変化は図３（ａ） のように小さな変化となっている。また、例えば青空を背景として木が立っている画像のように、画像ｘの輝度が急激に変化するエッジ部では、画像信号ｘの時間変化は同図（ｂ） のようになっている。さらに、例えば森や髪の毛の画像のように、画像ｘが詳細画像の場合には、画像信号ｘの時間変化は同図（ｃ） のように鋭くかつ大きな変化となっている。ここに、図３（ａ） 、（ｂ） 、（ｃ） 中のσＦ 、σＥ 、およびσＤ は、それぞれの画像の標準偏差を表し、一般的には等しくない値である。
【００２０】
これらの画像信号ｘに対して前記（３） 式の処理を施すと、図３（ａ） 、（ｂ） 、（ｃ） の各画像信号から交流電力を取り除いた画像信号とすることができ、それぞれ図４（ａ） 、（ｂ） 、（ｃ） の各画像信号とすることができる。ここに、図４（ａ） 、（ｂ） 、（ｃ） の各画像信号ｘの標準偏差は全て同じ値のσｏ （σｏ ＝σＦ ＝σＥ ＝σＤ ）となる。この結果、以降の処理では、波形パターンだけによる解析が可能になる。なお、前記平均値分離・正規化部３６の働きも、平均値分離・正規化部３３と同じであるので、説明を省略する。
【００２１】
前記平均値分離・正規化部３３、３６で交流電力を取除かれた画像信号は、１／ｆ揺らぎ計測部４に入力する。該１／ｆ揺らぎ計測部４は、自己相関関数計算部４０、４５、補正処理部４１、４６、フーリエ変換実行部４２、４７、１／ｆパラメータ決定部４３、４８、および揺らぎ量測定部４４、４９から構成されている。
【００２２】
前記自己相関関数計算部４０は、平均値分離・正規化された図５に示されているようなブロック１００からライン１０１を１本ずつ抜き出し、下記の（４） 式から自己相関係数Ｒ（τ）を求める。
【００２３】
【数３】
【００２４】
次に、前記（４） 式により、ブロック１００内の全部のラインに対して自己相関係数Ｒ（τ）を求め、ブロック１００内の全ラインで自己相関係数Ｒ（τ）の平均値を取る。該自己相関係数Ｒ（τ）の平均値は、概ね図６に示すような形をしている。図６の横軸は前記画素のずれ量τ、縦軸は自己相関係数Ｒ（τ）がとられている。
【００２５】
次に、前記補正処理部４１の処理を説明する。まず、図６に示されているように、装置の外部から与えることのできるパラメータτｏ 〜Ｔの範囲の自己相関係数Ｒ（τ）の平均値γを、下記の（５） 式から求める。
【００２６】
【数４】
【００２７】
次に、フーリエ変換実行部４２では、図９に示すように、自己相関係数Ｒ（τ）をτｏ ≦｜τ｜≦Ｔの範囲でフーリエ変換し、関数ｘ（ｔ） の電力（パワー）スペクトルを求める。図９のフーリエ変換後のグラフの横軸は周波数ｆ、縦軸は電力密度Ｐ（ｆ） を表している。
【００２８】
次に、１／ｆパラメータ決定部４３は、図１０に記されているように、周波数ｆと電力密度Ｐ（ｆ） との関係を、ｌｏｇ Ｐ（ｆ） （縦軸）とｌｏｇ ｆ（横軸）の関係へと変換する。そうすると、図１０の右側のグラフに記されているように、下記の（６） 式の一次関数に近似できる。
ｌｏｇ Ｐ（ｆ） ＝ａｌｏｇ ｆ＋ｂ …（６）
ここに、ａとｂは係数であり、最小二乗近似で求められる。
【００２９】
次に、前記揺らぎ量測定部４４の動作を図１１を参照して説明する。該揺らぎ量測定部４４では、実際の画像信号のｌｏｇ Ｐ（ｆ） とｌｏｇ ｆの関係の、前記（６） 式で与えられる一次関数に対する周波数ｆ１ 〜ｆ２ の範囲内のずれ量、すなわち揺らぎ量Ｂを、下記の（７） 式から求める。
【００３０】
【数５】
【００３１】
以上のようにして求められた、前記（２） 式の分散σ２ 、前記（６） 式のａ、ｂ、および前記（７） 式の揺らぎ量Ｂは、図１に示されているように、異常判定部５に入力する。該異常判定部５は、前記係数ａ、ｂおよび揺らぎ量Ｂを、下記の式により正規化する。
【００３２】
ａ´＝（ａ＋３．３４）／１．４９
Ｂ´＝（Ｂ−４０．１６）／２８．５１
ｂ´＝（ｂ−１．９３）／２．２１
そして、該異常判定部５は、ｉｃ Ｎｏｉｓｅの判定楕円関数により、下記の条件（ａ） または（ｂ） が成立する時には、画像の品質が異常（Ｎ（ｄ） ）であると判定し、成立しない時には正常であると判定する。
【００３３】
（ａ） ９．０≦σの時、
｛（ａ´−４．１）／５｝２ ＋｛（Ｂ´−４．３）／５．９｝２ ＋｛（ｂ´−０．５１ａ´−０．２）｝２ ≦１
（ｂ） σ＜９．０の時、
｛（ａ´＋２．６）／６．６｝２ ＋｛（Ｂ´＋０．１）／５．９｝２ ＋｛（ｂ´−１．４３ａ´＋４．５）｝２ ≦１
なお、前記条件（ａ） および（ｂ） による画像の品質の判定の仕方は一例に過ぎず、他の方法であっても良いことは明らかである。
【００３４】
以上では、１／ｆ揺らぎ計測部４の動作を、自己相関関数計算部４０、補正処理部４１、フーリエ変換実行部４２、１／ｆパラメータ決定部４３、および揺らぎ量測定部４４で説明したが、色差信号を処理する自己相関関数計算部４５、補正処理部４６、フーリエ変換実行部４７、１／ｆパラメータ決定部４８、および揺らぎ量測定部４９も同等の動作をする。したがって、異常判定部５からは、画像の輝度、および二つの色差信号のそれぞれについての異常判定をすることができる。
【００３５】
以上のようにして、例えば、図１２の１つのブロックｄの輝度、および二つの色差信号に対する異常Ｎ（ｄ） の判定がなされると、これらの異常判定Ｎ（ｄ） は統計処理部６に送られる。該統計処理部６は、該異常判定Ｎ（ｄ） をフィールド単位で処理するために、下記の（８） 式でＮｔｏｔａｌ を求める。
【００３６】
【数６】
▲１▼ Ｎｔｏｔａｌ ＝０ →完全な正常フィールド
▲２▼ ０＜Ｎｔｏｔａｌ ＜Ｔｈ１ →フィールド内に孤立状の異常あり
▲３▼ Ｔｈ１＜Ｎｔｏｔａｌ ≦Ｔｈ２ →フィールド内で、部分的に異常あり
▲４▼ Ｔｈ２＜Ｎｔｏｔａｌ →フィールドのほぼ全域に渡って異常あり
また、該統計処理部６は、下記の（９） 、（１０）式により、フィールドの平均揺らぎ量と、平均分散とを求める。
【００３７】
【数７】
【００３８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、映像ベースバンド信号を取り込み、小ブロック単位で電力スペクトルを求め、１／ｆ揺らぎ量解析により画像の品質異常を検出するようにしているので、リアルタイムで、精度良く画像の品質異常を検出できる。また、人手を介することなく、機械的に、画像の品質異常を検出できる。
【００３９】
なお、本発明者は、テスト画像であるフラワガーデンの画面内に，品質の良好な画像部分と悪い画像部分とをわざと作って、本発明による、自己相関関数のフーリエ変換揺らぎ量を測定した。その結果は、図１３に示すようになった。図中の点線ａは原画像、実線ｂは品質の良好な部分の画像、一点鎖線ｃは品質の悪い部分の画像の、各近似直線に対する揺らぎを示す。このデータから、品質の悪い画像の揺らぎ量Ｂは大きくなり、本発明の効果が確かめられた。また、他のテスト画像を用いて同様の実験をしたが、これらの画像においても、本発明の効果が確かめられた。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】ブロック分割部の動作の説明図である。
【図３】平均値分離・正規化部の動作の説明図である。
【図４】平均値分離・正規化部の動作の説明図である。
【図５】自己相関関数計算部の動作の説明図である。
【図６】補正処理部の動作の説明図である。
【図７】補正処理部の動作の説明図である。
【図８】補正処理部の動作の説明図である。
【図９】フーリエ変換実行部の動作の説明図である。
【図１０】１／ｆパラメータ決定部の動作の説明図である。
【図１１】揺らぎ量測定部の動作の説明図である。
【図１２】フィールドとブロックを示す図である。
【図１３】本発明の実験によって得られた自己相関関数フーリエ変換揺らぎ量を示すグラフである。
【符号の説明】
１…入力部、２…メモリ部、３…波形解析部、４…１／ｆ揺らぎ計測部、５…異常判定部、６…統計処理部、３１、３４…ブロック分割部、３２、３５…ブロック特性計算部、３３、３６…平均値分離・正規化部、４０、４５…相関関数計算部、４１、４６…補正処理部、４２、４７…フーリエ変換実行部、４３、４８…１／ｆパラメータ決定部、４４、４９…揺らぎ量測定部。
Claims (5)
- 画像の品質異常検出方法であって、
ディジタル化された映像信号を複数のブロックに分割し、該分割されたブロック単位の原信号から交流成分の電力和が一定となるように正規化し、該正規化したデータを基に電力スペクトルを求め、該電力スペクトルの近似直線と該電力スペクトルとから揺らぎ量を求め、少くとも前記ブロックの信号の分散と、前記近似直線の係数と、前記電力スペクトルの揺らぎ量とから、画像の品質異常を検出するようにしたことを特徴とする画像の品質異常検出方法。 - 画像の品質異常検出装置であって、
ディジタル化された輝度信号と色信号とを記憶する記憶手段と、
該記憶手段に記憶された輝度信号と色信号をブロックに分割し、各ブロックの分散値を求める分散値演算手段と、
該分散値演算手段で求められた分散値を基に、分散一定の正規化信号を得る正規化手段と、
該正規化手段から出力された前記正規化信号から該ブロック内の平均の自己相関関数を求め、該自己相関関数を負側へ折返し、所定区間での平均の自己相関関数を０またはほぼ０にする自己相関関数補正処理手段と、
該自己相関関数補正処理手段で得られた自己相関関数をフーリエ変換して、電力スペクトルを求め、該電力スペクトルを直線近似する電力スペクトル直線近似手段と、
該電力スペクトルの前記近似直線からの揺らぎ量を求める揺らぎ量演算手段と、 前記分散値演算手段で求められた分散値、前記電力スペクトル直線近似手段で求められた近似直線の係数、および前記揺らぎ量演算手段で求められた揺らぎ量により、画像の異常判定を行うようにしたことを特徴とする画像の品質異常検出装置。 - 請求項２記載の画像の品質異常検出装置において、
前記正規化手段は、前記記憶手段から得られた原信号を前記分散値で割り算することを特徴とする画像の品質異常検出装置。 - 請求項２記載の画像の品質異常検出装置において、
電力スペクトル直線近似手段は、前記電力スペクトルを、ａｌｏｇｆ＋ｂ（ただし、ａ，ｂは係数、ｆは周波数）で近似することを特徴とする画像の品質異常検出装置。 - 請求項４記載の画像の品質異常検出装置において、
前記揺らぎ量演算手段は、前記電力スペクトルの、前記直線ａｌｏｇｆ＋ｂからの差の絶対値を、前記周波数ｆの所定区間で加算することを特徴とする画像の品質異常検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10559698A JP3566546B2 (ja) | 1998-04-01 | 1998-04-01 | 画像の品質異常検出方法および装置 |
| US09/274,675 US6377299B1 (en) | 1998-04-01 | 1999-03-24 | Video quality abnormality detection method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10559698A JP3566546B2 (ja) | 1998-04-01 | 1998-04-01 | 画像の品質異常検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11289560A JPH11289560A (ja) | 1999-10-19 |
| JP3566546B2 true JP3566546B2 (ja) | 2004-09-15 |
Family
ID=14411891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10559698A Expired - Fee Related JP3566546B2 (ja) | 1998-04-01 | 1998-04-01 | 画像の品質異常検出方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6377299B1 (ja) |
| JP (1) | JP3566546B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940998B2 (en) | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
| JP2001326869A (ja) * | 2000-05-15 | 2001-11-22 | Kdd Media Will Corp | 映像信号・映像信号解析結果同時表示装置 |
| DE10024374B4 (de) * | 2000-05-17 | 2004-05-06 | Micronas Munich Gmbh | Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens |
| CA2344930C (en) * | 2001-04-23 | 2007-04-17 | Leitch Technology International Inc. | Data monitoring system |
| US20030023910A1 (en) * | 2001-07-25 | 2003-01-30 | Myler Harley R. | Method for monitoring and automatically correcting digital video quality by reverse frame prediction |
| US20050219362A1 (en) * | 2004-03-30 | 2005-10-06 | Cernium, Inc. | Quality analysis in imaging |
| JP4130434B2 (ja) * | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
| US7822224B2 (en) | 2005-06-22 | 2010-10-26 | Cernium Corporation | Terrain map summary elements |
| US7876355B2 (en) * | 2006-04-17 | 2011-01-25 | Harmonic Inc. | Video abnormality detection |
| US8294772B2 (en) * | 2009-01-29 | 2012-10-23 | Pelco, Inc. | System and method for monitoring connections within an analog video system |
| WO2010124062A1 (en) * | 2009-04-22 | 2010-10-28 | Cernium Corporation | System and method for motion detection in a surveillance video |
| FR2982449A1 (fr) * | 2011-11-07 | 2013-05-10 | France Telecom | Procede d'evaluation d'au moins un defaut de qualite dans un signal de donnees, dispositif et programme d'ordinateurs associes |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS56144684A (en) * | 1980-04-11 | 1981-11-11 | Matsushita Electric Ind Co Ltd | Reduction device for vertical picture fluctuation |
| GB2183878B (en) * | 1985-10-11 | 1989-09-20 | Matsushita Electric Works Ltd | Abnormality supervising system |
| US5221967A (en) * | 1991-05-08 | 1993-06-22 | The University Of British Columbia | Signal quality monitoring system |
| US5347318A (en) * | 1992-06-16 | 1994-09-13 | Canon Kabushiki Kaisha | Apparatus for processing video signals having different aspect ratios |
| US5446492A (en) * | 1993-01-19 | 1995-08-29 | Wolf; Stephen | Perception-based video quality measurement system |
| US5329311A (en) * | 1993-05-11 | 1994-07-12 | The University Of British Columbia | System for determining noise content of a video signal in the disclosure |
| JP3391554B2 (ja) * | 1994-06-07 | 2003-03-31 | 松下電器産業株式会社 | ビデオ内蔵型テレビジョン受像機 |
| CA2136567C (en) * | 1994-11-24 | 2001-01-30 | John Charles Maycock | Apparatus and method for remote monitoring of video signals |
| US6028626A (en) * | 1995-01-03 | 2000-02-22 | Arc Incorporated | Abnormality detection and surveillance system |
| KR0151353B1 (ko) * | 1995-06-14 | 1998-10-15 | 김광호 | 모니터의 자기진단회로 및 그 방법 |
| GB2303513B (en) * | 1995-07-21 | 1999-09-29 | Innovision Res Ltd | Improved correlation processing for motion estimation |
| US6297858B1 (en) * | 1997-09-23 | 2001-10-02 | Ati Technologies, Inc. | Method and apparatus for detecting video transmissions |
| US6291983B1 (en) * | 1998-04-24 | 2001-09-18 | International Business Machines Corporation | Selecting and monitoring signal lines with spurious transients in broadband network |
-
1998
- 1998-04-01 JP JP10559698A patent/JP3566546B2/ja not_active Expired - Fee Related
-
1999
- 1999-03-24 US US09/274,675 patent/US6377299B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6377299B1 (en) | 2002-04-23 |
| JPH11289560A (ja) | 1999-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6577764B2 (en) | Method for measuring and analyzing digital video quality | |
| JP3566546B2 (ja) | 画像の品質異常検出方法および装置 | |
| KR100798834B1 (ko) | 영상품질 평가장치, 영상품질 평가방법, 영상품질 평가프로그램을 기록한 기록매체 | |
| EP0977446B1 (en) | Picture quality assessment using spatial location with or without subsampling | |
| US7486844B2 (en) | Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels | |
| US20040013315A1 (en) | Measurement of blurring in video sequences | |
| JP2005533424A (ja) | ビデオデータの品質を測定するための方法及び装置 | |
| US6690839B1 (en) | Efficient predictor of subjective video quality rating measures | |
| Winkler | Quality metric design: A closer look | |
| Chetouani et al. | A novel free reference image quality metric using neural network approach | |
| Joshi et al. | Continuous wavelet transform based no-reference image quality assessment for blur and noise distortions | |
| US6437821B1 (en) | Harmonic measurement of blockiness in video signals | |
| KR20090007790A (ko) | 영상정합 처리장치 및 영상정합방법 | |
| Vora et al. | Analysis of compressed image quality assessments, m | |
| Gaata et al. | No-reference quality metric based on fuzzy neural network for subjective image watermarking evaluation | |
| JP2000348189A (ja) | 画像処理装置 | |
| US20130108163A1 (en) | Image evaluation apparatus, image evaluation method, and program | |
| JP2006067423A (ja) | 画像品質定量評価方法及びその装置 | |
| JP2001078235A (ja) | 画像評価方法および画像評価装置 | |
| EP0869686B1 (en) | Picture quality assessment using spatially variable assessment threshold values | |
| Kuo et al. | Color image quality assessment based on VIF | |
| JP3097153B2 (ja) | 青果物等の等級検定装置 | |
| JP2581136B2 (ja) | 画質評価装置 | |
| JPH0793543A (ja) | 画像誤差評価方法 | |
| JP2001326869A (ja) | 映像信号・映像信号解析結果同時表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040610 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100618 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100618 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110618 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |