JP4426930B2

JP4426930B2 - 映像修復装置、映像修復方法及び映像修復プログラム

Info

Publication number: JP4426930B2
Application number: JP2004259174A
Authority: JP
Inventors: 長人成田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2004-01-09
Filing date: 2004-09-07
Publication date: 2010-03-03
Anticipated expiration: 2024-09-07
Also published as: JP2005223883A

Description

本発明は、フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で発生する映像の劣化を修復するための映像修復装置、映像修復方法及び映像修復プログラムに関する。

放送のデジタル化、多チャンネル化など映像提供サービスの高度化に伴い、サービス提供側では映像ソースの確保が重要な課題となりつつある。新たな映像ソースの制作は無論重要であろうが、映像ソースの一態様であるアナログＶＴＲテープに収録されている古い映像フィルムのデジタルライブラリー化による古い映像の再利用は番組コストの面からも不可欠なものになると考えられる。

しかし、古い映像フィルムには、ほこりや汚れの付着、感光面の剥離が原因となり生じるブロッチと呼ばれる損傷、またフィルム素材や現像液の経年変化により画像の明るさがフレーム毎に変化し、動画像として見るとちらついて見えるフリッカと呼ばれる損傷、さらに、撮影機材、映写機などとの物理的接触によりフィルム面が受けた傷が原因となるスクラッチと呼ばれる損傷など深刻な画質劣化を発生しており、すでに発生したブロッチ、フリッカ及びスクラッチは日々進行しており、また、新たにブロッチ、フリッカ及びスクラッチが発生する。このような映像フィルムはデジタルライブラリー化を行うことにより、ブロッチ、フリッカ及びスクラッチの進行や新たに生じるブロッチ、フリッカ及びスクラッチの発生は防ぐことができる。

しかしながら、映像フィルムは古いものほどブロッチ、フリッカ及びスクラッチが発生しており、単にデジタルライブラリー化を行っただけでは現在の高品質な放送のための映像ソースとして画質品質の面で不十分となり、再利用することが不可能である。

そこで、デジタルライブラリー化を行った際に最新のデジタル映像処理技術を用いて、劣化してしまった映像の修復を行うことは、番組制作に再利用可能な画質の確保のため重要である。ところで、映像はデータ量が膨大なため、映像のデジタル化における映像の蓄積や伝送には圧縮技術が使用される。特に動画像圧縮では動き補償を用いたフレーム間差分データを圧縮する方法が一般的である。

映像中にブロッチが含まれているとフレーム間差分が大きくなり、圧縮率低下の原因となるので、ブロッチの修復は動画像圧縮の効率改善の面からも重要である。ヨーロッパでは、デジタルライブラリー化のための広範な技術開発を目的としたＡＵＲＯＲＡ（ＡＵｔｏｍａｔｅｄＲｅｓｔｏｒａｔｉｏｎｏｆＯＲｉｇｉｎａｌｆｉｌｍａｎｄｖｉｄｅｏＡｒｃｈｉｖｅｓ）プロジェクトが行われている。その中の１テーマとして画像修復の研究がすでに行われている。

前記したブロッチは汚れの付着などの物理的原因によって生じるため原則として２コマ連続して同じ位置にブロッチが発生しないことから、ブロッチで汚れた領域は、前後の画像中の対応する領域が求まれば、それらの値から修復が可能である。

したがって、前後画像との対応を求めるための精度の良い動き解析法が必要となる。そのため、前後画像との対応を求めるための精度の良い動き解析法が発明されている（非特許文献１）。
小松隆、岩間徹、斉藤隆弘「古い映像フィルムの損傷の検出と修復」、電子情報通信学会論文誌、１９９８年８月、ＶｏｌＪ８１−Ｄ−II、Ｎｏ８、ｐｐ１９１２−１９１９

しかし、前記非特許文献１に記載の技術では、ブロッチが発生した部分の画素値は元の画像とは無関係にブロッチ毎（劣化領域）に異なるほぼ単一の輝度となることを前提としている。しかし、実際には、アナログＶＴＲテープに収録されている映像の劣化領域の輝度がほぼ一定でないことがあり、この場合には、人間が映像の劣化部分を探し、劣化部分を含む映像を前後の映像と見比べて、映像の劣化部分を劣化のない映像に嵌め換えるという膨大な労力を費やしていた。
また、前記非特許文献１に記載の技術は、ブロッチのみを修復する技術であり、スクラッチを修復することはできなかった。

そこで、本発明は、映像の劣化領域の輝度が一定でなくても、人間が映像の劣化部分を探し、劣化部分を含む映像の前後の映像と見比べて、映像の劣化部分を劣化のない映像と嵌め換える必要をなくし、また、スクラッチの修復も可能な映像修復装置、映像修復方法及び映像修復プログラムの提供を目的とする。

請求項１に記載の発明は、フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復する映像修復装置であって、第１フィルタリング手段と、信号レベル算出手段と、映像劣化検出手段と、第２フィルタリング手段とを備える。

請求項１に係る発明によれば、第１フィルタリング手段により、入力されるフレームまたはフィールドのうち処理対象である処理対象フレームまたは処理対象フィールドに対して、その前後のフレームまたはその前後のフィールドを用いてフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする。

また、信号レベル算出手段により、処理対象フレームとフィルタリングフレームまたは処理対象フィールドとフィルタリングフィールドとを比較して、処理対象フレームとフィルタリングフレームまたは処理対象フィールドとフィルタリングフィールドの信号レベルの差である差分信号を算出し、算出した差分信号が処理対象フレームまたは処理対象フィールドのどの部分に所属するかを検出する。

また、映像劣化検出手段により、信号レベル算出手段で算出された差分信号と、予め定められた閾値とを比較して、差分信号が閾値以上の場合には、その差分信号が所属する処理対象フレームまたは処理対象フィールドの部分は映像劣化部分または修復誤り部分であるものとして検出する。
また、第２フィルタリング手段により、映像劣化検出手段で検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドをマクロブロックに分割し、マクロブロック毎にフィルタリング処理を行う。

ここで、修復誤り部分とは、早い動きのシーンなどにおいて誤りを含んで修復された部分などをいう。また、信号レベルの差とは、式（１）に示すような平均自乗誤差ｄｉｆなどである。ｍ、ｎは、マクロブロックサイズ（ｍ、ｎ）を、ｙ_ij、ｙ_0ijは輝度信号のレベル値を、ｃ_ij、ｃ_0ijは色差信号値のレベルを示している。

また、請求項１に係る発明によれば、第２フィルタリング手段により、映像劣化検出手段で検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドを、フレームまたはフィールドをマクロブロック（縦ｍ画素×横ｎ画素）に分割して、マクロブロック毎にフィルタリングを行う。なお、第１フィルタリング手段により、マクロブロック毎にフィルタリング処理を行い、また、マクロブロック毎に信号レベル算出手段により、マクロブロック毎に信号レベルの差を算出し、また、映像劣化検出手段により、マクロブロック毎に映像の劣化部分の検出を行ってもよい。

請求項２に係る発明は、請求項１に記載の映像修復装置において、前記映像劣化検出手段で検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドをマクロブロックに分割し、マクロブロック毎に、映像劣化部分または修復誤りの大きさまたは数に基づいて、第２フィルタリング手段におけるフィルタリングを、複数のフレーム間、または複数のフィールド間で行うか、同一フレーム内または同一フィールド内で行うか、あるいは、原画像のままにするかを決定するフィルタリング決定手段を備えることを特徴とする。

請求項２に係る発明によれば、フィルタリング決定手段により、映像劣化検出手段で検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドをマクロブロック（縦ｍ画素×横ｎ画素）に分割し、マクロブロック毎に、映像劣化部分の劣化画素数または劣化部分の数が予め決められている値、つまり、被写体の動きの大きな境界部分が含まれる値より小さい場合には、フィルタリングを複数のフレーム間、または複数のフィールド間で行う。また、フレーム全体でｄｉｆが予め設定した閾値より高い場合には、原画像のままとする。例えば、ｄｉｆが２．２を超える場合には原画像のままとする。また、複数のフレーム間、または複数のフィールド間で行う代わりに、第１フィルタリング手段でフィルタリングしたフィルタリングフレームまたはフィルタリングフィールドを用いてもよい。ここで、原画像とは、フィルタリング処理をしていない画像である。

請求項３に係る発明は、フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復する映像修復装置であって、前記フレームまたは前記フィールドにフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする第１フィルタリング手段と、前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドとを比較して、前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドの信号レベルの差を算出する信号レベル算出手段と、前記信号レベル算出手段で算出された信号レベルの差に基づいて、前記フィルタリングフレームまたは前記フィルタリングフィールドの映像劣化部分または修復誤り部分を検出する映像劣化検出手段と、前記映像劣化検出手段で検出された映像劣化部分または修復誤り部分にフィルタリング処理を行う第２フィルタリング手段と、を備え、前記映像劣化検出手段は、修復誤り部分が含まれているかどうかを判定するために、第１の判定部と、第２の判定部と、第３の判定部と、を備えることを特徴とする。

請求項３に係る発明によれば、第１の判定部によって、信号レベル算出手段により算出された輝度信号レベルの差の絶対値和の一画素当たりの平均値をフレームまたはフィールド全体に加算して平均した平均値に基づいて、修復誤り部分が含まれるかどうか判定がなされる。そして、第２の判定部によって、前記絶対値和または前記絶対値和の一画素当たりの平均値に基づいて、修復誤り部分が含まれるかどうか判定がなされる。さらに、第３の判定部によって、前記フレームまたは前記フィールドを分割したマクロブロックを垂直方向に分割したサブマクロブロックの色信号レベル値の和に基づいて、修復誤り部分が含まれるかどうか判定がなされる。従って、修復誤り部分が含まれる範囲が、フレームまたはフィールド全体、マクロブロック、マクロブロックを垂直方向に分割したサブマクロブロックというように、広い範囲から狭い範囲に絞り込まれるので、修復誤り部分を効率よく検出することができる。
ここで、輝度信号レベルの差の絶対値和とは、式（２）に示すようなＤ_kなどである。ｋはフレームまたはフィールドを例えばＬ個のマクロブロックに分割したときのマクロブロックの識別符号、ｍ、ｎは、マクロブロックサイズ（ｍ、ｎ）を、ｙ_ij、ｙ_0ijは輝度信号のレベル値を示している。

また、輝度信号レベルの差の絶対値和の一画素当たりの平均値を前記フレームまたは前記フィールド全体に加算して平均した平均値とは、式（３）に示すようなｓｎｒ１などである。ｍ、ｎは、マクロブロックサイズ（ｍ、ｎ）を、Ｌはフレームまたはフィールド当たりのマクロブロックの個数を示している。

また、絶対値和の一画素当たりの平均値とは、式（４）に示すようなｓｎｒ２などである。ｍ、ｎは、マクロブロックサイズ（ｍ、ｎ）を示している。

また、色信号レベル値の和とは、式（５）に示すようなｓｕｍｃ_k/pなどである。ｐはマクロブロックを垂直方向に分割したときのマクロブロック当たりのサブマクロブロックの個数、ｍ、ｎは、マクロブロックサイズ（ｍ、ｎ）を、Ｃ_0ijは色信号のレベル値を示している。

請求項４に係る発明は、請求項３に記載の映像修復装置において、前記映像劣化検出手段は、第１の判定部、第２の判定部及び第３の判定部に加えて、第４の判定部をさらに備えることを特徴とする。

請求項４に係る発明によれば、第４の判定部によって、検出対象とするサブマクロブロックに対して垂直方向に配置された複数のサブマクロブロックの色信号レベル値の和の相関に基づいて、検出対象とするサブマクロブロックにおいて修復誤り部分が含まれているかどうかを判定する。例えば、複数のサブマクロブロックにおいて、色信号レベル値の和をそれぞれ算出し、算出した色信号レベル値の和が所定のしきい値以下となるサブマクロブロックの個数を求める。このサブマクロブロックの個数が、予め定められた設定値以上であるときに、検出対象とするサブマクロブロックを修復誤り部分として検出する。これによれば、検出対象とするサブマクロブロック以外のサブマクロブロックも考慮するので、より確実に修復誤り部分を検出することができる。

請求項５に係る発明は、フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復する映像修復方法であって、第１フィルタリングステップと、信号レベル算出ステップと、映像劣化検出ステップと、第２フィルタリングステップとを含んでいる。

請求項５に係る発明によれば、第１フィルタリングステップにより、入力されるフレームまたはフィールドのうち処理対象である処理対象フレームまたは処理対象フィールドに対して、その前後のフレームまたはその前後のフィールドを用いてフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする。

また、信号レベル算出ステップにより、処理対象フレームとフィルタリングフレームまたは処理対象フィールドとフィルタリングフィールドとを比較して、処理対象フレームとフィルタリングフレームまたは処理対象フィールドとフィルタリングフィールドの信号レベルの差である差分信号を算出し、算出した差分信号が処理対象フレームまたは処理対象フィールドのどの部分に所属するかを検出する。

また、映像劣化検出ステップにより、信号レベル算出ステップで算出された差分信号と、予め定められた閾値とを比較して、差分信号が閾値以上の場合には、その差分信号が所属する処理対象フレームまたは処理対象フィールドの部分は映像劣化部分または修復誤り部分であるものとして検出する。
また、第２フィルタリングステップにより、映像劣化検出ステップで検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドをマクロブロックに分割し、マクロブロック毎にフィルタリング処理を行う。

請求項６に係る発明は、フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復するためにコンピュータを、第１フィルタリング手段、信号レベル算出手段、映像劣化検出手段、第２フィルタリング手段として機能させるための映像修復プログラムである。

請求項６に係る発明によれば、第１フィルタリング手段により、入力されるフレームまたはフィールドのうち処理対象である処理対象フレームまたは処理対象フィールドに対して、その前後のフレームまたはその前後のフィールドを用いてフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする。

請求項１、請求項５または請求項６に係る発明によれば、映像の劣化領域の輝度が一定でなくても、フレームとフィルタリングフレームを比較することにより、劣化部分を検出できるので、人間が映像の劣化部分を探し、劣化部分を含む映像の前後の映像と見比べて、映像の劣化部分を劣化のない映像と嵌め換える必要をなくすことができる。これにより、映像修復にかかる時間を短縮化し、また映像修復にかかる労力を軽減することができる。また、スクラッチの修復も行うことができる。また、劣化部分として検出されたフレームまたはフィールドをマクロブロックに分割しているので、画面の映像劣化と修復誤りをマクロブロック毎に修復または原画像と置き換えることができる。例えば、被写体の動きの大きな領域での修復誤りをマクロブロック単位で修復または原画像と置き換えることができる。

また、請求項２に係る発明は、最適なフィルタリングまたは原画像を選択できるので、最も見やすい画像を得ることができる。

また、請求項３に係る発明は、映像劣化部分または修復誤り部分を、フレームまたはフィールド全体、マクロブロック、マクロブロックを垂直方向に分割したサブマクロブロックと順に絞り込むことができるので、修復誤り部分が横長の形状の場合に検出し易くなる。
また、請求項４に係る発明は、検出対象とするサブマクロブロックに対して垂直方向に配置された複数のサブマクロブロックにおいて色信号レベル値の和の相関を求めるので、検出対象とするサブマクロブロック以外のサブマクロブロックも考慮することによって、より確実に修復誤り部分を検出することができる。

［第１の実施形態］
次に、図面を参照して、第１の実施形態に係る映像修復装置について説明する。参照する図１は、第１の実施形態の映像修復装置を示すブロック図である。映像修復装置１０は、デジタル化されたフレームに劣化部分と修復誤りがあるかどうか判定して、劣化部分があった場合には、劣化部分を修復し、修復誤りがあった場合には、原画像のままにするものであり、第１遅延部１１ａ、第２遅延部１１ｂ、参照映像生成部（第１フィルタリング手段）１２、差分映像生成部（信号レベル算出手段）１３、映像劣化検出部（映像劣化検出手段）１４、フィルタリング決定部（フィルタリング決定手段）１５及びフィルタリング処理部（第２フィルタリング手段）１６を備える。なお、本実施の形態では、濃淡画像の修復について説明する。また、ここでの劣化部分には、ブロッチ、スクラッチが含まれる。

ここで、映像修復装置１０に入力されるフレームのうち、処理対象であるフレームを処理対象フレームという。
第１遅延部１１ａは、処理対象フレームより１フレーム前に入力されたフレームを１フレーム分遅延させ、第２遅延部１１ｂに出力するものである。また、第１遅延部１１ａは、入力された処理対象フレームを１フレーム分遅延させて参照映像生成部１２、差分映像生成部１３及びフィルタリング処理部１６に出力するものである。

また、第２遅延部１１ｂは第１遅延部１１ａで１フレーム分遅延させた、処理対象フレームより１フレーム前に入力されたフレームをさらに１フレーム分遅延させ、参照映像生成部１２とフィルタリング処理部１６に出力するものである。

また、参照映像生成部１２は、１フレーム分遅延させた処理対象フレームを、２フレーム分遅延させた、処理対象フレームより１フレーム前に入力されたフレーム及び処理対象フレームより１フレーム遅れて入力されたフレームを用いてフィルタリング処理してフィルタリングフレームとするものである。ここで、フィルタリング手段としてメディアンフィルタ（ｍｅｄｉａｎｆｉｌｔｅｒ）、多数決フィルタ、可変加重平均法などを使用することができる。

ここで、メディアンフィルタとは、エッジ、線など画像の重要な情報を損なうことなく平滑化することができるものであり、局所領域でのメディアン（中間値）を出力するものである。局所領域でのヒストグラフを逐次更新することによって、各画素でのメディアンを高速に計算することができる。

メディアンフィルタを用いる場合には、処理対象フレーム、処理対象フレームより１フレーム前に入力されたフレーム及び処理対象フレームより１フレーム遅れて入力されたフレームと同じ位置の画像の信号レベルの値を比較し、中央の値を処理対象フレームの画素値とする。マクロブロック（縦ｍ画素×横ｎ画素）単位で処理する場合には、ｍ×ｎ個の画素値の和を用いてフレーム間の信号レベルを比較し、中央の値を持つマクロブロックを処理対象フレームの画素値とする。
ここで、多数決フィルタとは、Ｎ×Ｎ画素のウィンドウを画素毎に設け、中央画素を除くウィンドウ内で最も画素数の多いカテゴリで中心の画素のカテゴリに置き換えるものである。

多数決フィルタを用いる場合には、処理対象フレームにＮ×Ｎ画素のウィンドウを画素毎に設け、中央画素を除くウィンドウ内で最も画素数の多いカテゴリで中心の画素のカテゴリを置き換える。例えば、処理対象フレームに３×３画素のウィンドウを画素毎に設け、中央画素を除くウィンドウ内で最も多い画素値が１である場合には、中心の画素値を１に置き換える。

多数決フィルタを用いる場合には、参照映像生成部１２におけるフィルタリングで処理対象フレームより１フレーム前に入力されたフレーム及び処理対象フレームより１フレーム遅れて入力されたフレームは必要としないので、第２遅延部１１ｂは処理対象フレームより１フレーム前に入力されたフレームを参照映像生成部１２に出力する必要がなく、また、参照映像生成部１２は処理対象フレームより１フレーム遅れて入力されたフレームを入力する必要はない。
なお、多数決フィルタを用いる場合には、映像を２値化する必要がある。
また、参照映像生成部１２は、フィルタリングフレームを差分映像生成部１３に出力するものである。

差分映像生成部１３は、参照映像生成部１２から出力されるフィルタリングフレームの信号レベルと第１遅延部１１ａから出力される処理対象フレームの信号レベルとの信号レベル差である差分信号を算出するものである。

ここで、差分信号を算出するにあたり、１フレームを複数のマクロブロック（縦ｍ画素×横ｎ画素）に分割して処理することもできる。また、式（１）を用いて差分信号である平均自乗誤差を求めてもよい。

また、差分映像生成部１３は、算出した差分信号とその差分信号が処理対象フレームのどの部分に所属するかを示すデータを映像劣化検出部１４に出力するものである。ここで、信号レベルとは、画素値であり、差分信号とは、フィルタリングフレームの画素値と第１遅延部１１ａから出力される処理対象フレームの画素値の差であり、絶対値で示される。

映像劣化検出部１４は、差分映像生成部１３から出力された差分信号と、予め定められた閾値とを比較して、差分信号が閾値以上の場合には、その差分信号が所属する処理対象フレームの部分は劣化部分若しくは修復誤り部分とみなし、この劣化部分または修復誤り部分を示す劣化部分データをフィルタリング決定部１５及びフィルタリング処理部１６に出力するものである。ここで、劣化部分データには、劣化部分または修復誤り部分の位置、大きさ（面積）などが含まれる。

フィルタリング決定部１５は、劣化部分データに基づいて、複数のフレーム間でフィルタリングを行うか、つまり、処理対象フレームを処理対象フレームより１フレーム前に入力されたフレーム及び処理対象フレームより１フレーム遅れて入力されたフレームによりフィルタリングするか、（同一フレーム間でフィルタリングするかまたは原画像のままか）どうかを決定するものである。

例えば、劣化部分データが示す劣化画素数が予め決定されている値より小さい場合には、複数のフレーム間でフィルタリングを行う。また、劣化部分の数が予め決定されている値より小さい場合には、複数のフレーム間でフィルタリングを行う。ここで、劣化部分の数を算出するにあたって隣接する劣化画素は同一の劣化部分として扱う。なお、処理対象フレームなどを複数のマクロブロックに分割して前記処理を行ってもよい。
また、フィルタリング決定部１５は、複数のフレーム間でフィルタリングを行うかどうかを示すデータをフィルタリング処理部１６に出力するものである。

次に図２を参照して、フィルタリング処理部１６を説明する（適宜図１参照）。ここで図２は、フィルタリング処理部を示すブロック図である。図２に示すように、フィルタリング処理部１６は、フレーム間フィルタリング部１６ａ、処理対象フレーム表示部１６ｂ、フィルタリング位置入力部１６ｃ及び同一フレーム内フィルタリング部１６ｄからなる。

フレーム間フィルタリング部１６ａは、映像劣化検出部１４から出力される劣化部分データ、フィルタリング決定部１５から出力される複数のフレーム間でフィルタリングを行うかどうかを示すデータ、処理対象フレームより１フレーム遅れて入力されたフレーム、第１遅延部１１ａから出力される処理対象フレーム、第２遅延部１１ｂから出力される、処理対象フレームより１フレーム前に入力されたフレームを入力するものである。

また、フィルタリング決定部１５において、複数のフレーム間でフィルタリングすると決定した場合に、フレーム間フィルタリング部１６ａは、フレーム間でフィルタリングを行う。すなわち、処理対象フレームの劣化部分または修復誤り部分を、処理対象フレームより１フレーム前に入力されたフレームまたは処理対象フレームより１フレーム遅れて入力されたフレームの該当部分に置き換えるものである。

ここで、ブロッチとスクラッチは一般に画像間で独立に生じると考えられるので、連続する画像の同一部分の画素がともに劣化を受けることは少ない。また、動画像はシーンチェンジ部を除いて前後画像の相関は高く、少なくとも処理対象フレームより１フレーム前に入力されたフレームと処理対象フレームより１フレーム遅れて入力されたフレームのいずれかにはほぼ同一の画像部分が含まれている。

そこで、処理対象フレームの劣化部分を生じた領域の画素値を、処理対象フレームより１フレーム前に入力されたフレームまたは処理対象フレームより１フレーム遅れて入力されたフレームの劣化が生じていない対応する領域の画素値と置き換えることで処理対象フレームの劣化部分を修復することができる。

また、処理対象フレーム表示部１６ｂは、フィルタリング決定部１５から出力される複数のフレーム間でフィルタリングを行うかどうかを示すデータと第１遅延部１１ａから出力される１フレーム分遅延させた処理対象フレームを入力するものである。

また、処理対象フレーム表示部１６ｂは、フィルタリング決定部１５において、複数のフレーム間でフィルタリングしないと決定された場合に、処理対象フレーム表示部１６ｂは、複数のフレーム間でフィルタリングしないと決定された処理対象フレームを処理対象フレーム表示手段２０に出力するものである。

また、フィルタリング位置入力部１６ｃは、処理対象フレーム表示手段２０に表示された処理対象フレームを作業者が見てフィルタ処理することを決定した処理対象フレームの劣化部分または修復誤り部分を示すデータを、フィルタリング位置入力手段３０を介して入力するものである。

また、フィルタリング位置入力部１６ｃは、作業者がフィルタリング処理することを決定した処理対象フレームの劣化部分または修復誤り部分を示すデータを同一フレーム内フィルタリング部１６ｄに出力するものである。

また、同一フレーム内フィルタリング部１６ｄは、同一フレーム内で処理対象フレームをフィルタリングするものである。ここで使用するフィルタは、前記したメディアンフィルタ、多数決フィルタまたは可変加重平均法などを用いることができる。

図１に示すように、処理対象フレーム表示手段２０は、複数のフレーム間でフィルタリングしないと決定された処理対象フレームを表示するものである。また、作業者が表示された処理対象フレームを見ることにより、同一フレーム内でフィルタリングするかどうか、どの部分をフィルタリングするかどうかを決定するものである。ここで、処理対象フレーム表示手段２０は、液晶ディスプレイ、プラズマディスプレイなどである。

また、フィルタリング位置入力手段３０は、作業者が、処理対象フレームを同一フレーム内でフィルタリングすることを決定した場合に、作業者が決定した処理対象フレームの劣化部分または修復誤り部分を示すデータをフィルタリング位置入力部１６ｃに入力するものである。例えば、キーボードやマウスなどである。

次に、映像修復装置１０の動作について図面を参照して説明する。参照する図３は、映像修復装置、処理対象フレーム表示手段及びフィルタリング位置入力手段の動作を示すフローチャートである。なお、適宜図１及び図２を参照する。

第１遅延部１１ａが、処理対象フレームより１フレーム前に入力されたフレームを１フレーム分遅延させるとともに、入力された処理対象フレームを１フレーム分遅延させる（ステップＳ１１）。また、第１遅延部１１ａが、１フレーム分遅延させた、処理対象フレームより１フレーム前に入力されたフレームを第２遅延部１１ｂに出力するとともに、1フレーム分遅延させた処理対象フレームを、参照映像生成部１２と差分映像生成部１３に出力する。

また、第２遅延部１１ｂが、第１遅延部１１ａで１フレーム分遅延させた、処理対象フレームより１フレーム前に入力されたフレームをさらに１フレーム分遅延させる（ステップＳ１２）。また、第２遅延部１１ｂが、２フレーム分遅延させられた、処理対象フレームより１フレーム前に入力されたフレームを参照映像生成部１２に出力する。

また、参照映像生成部１２が、１フレーム分遅延させた処理対象フレームを、２フレーム分遅延させた、処理対象フレームより１フレーム前に入力されたフレームと処理対象フレームより１フレーム遅れて入力されたフレームとを用いてメディアンフィルタでフィルタリング処理をして、フィルタリングフレームとする（ステップ１３）。また、参照映像生成部１２が、フィルタリングフレームを差分映像生成部１３に出力する。

差分映像生成部１３が、参照映像生成部１２から出力されるフィルタリングフレームの信号レベルと第１遅延部１１ａから出力される処理対象フレームの信号レベルとのレベル差である差分信号を算出する（ステップＳ１４）。例えば、前記した式（１）を用いてマクロブロック単位で平均自乗誤差を求め差分信号とする。また、差分映像生成部１３が、算出した差分信号とその差分信号が処理対象フレームのどの部分に所属するかを示すデータを映像劣化検出部１４に出力する。

映像劣化検出部１４が、差分映像生成部１３から出力された差分信号と、予め定められた閾値とを比較して、差分信号が閾値より大きいかどうか判定する（ステップＳ１５）。差分信号が閾値以上の場合（ステップＳ１５で、Ｙｅｓ）には、処理対象フレームの、その差分信号が所属する部分は劣化部分または修復誤り部分とみなす。また、映像劣化検出部１４が、この劣化部分または修復誤り部分を示す劣化部分データをフィルタリング決定部１５とフレーム間フィルタリング部１６ａに出力する。なお、差分信号が閾値より小さい場合（ステップＳ１５で、Ｎｏ）には、処理対象フレームに劣化部分及び修復誤り部分はないものとみなす。

フィルタリング決定部１５が、劣化部分データに基づいて、複数のフレーム間でフィルタリングを行うか、つまり、処理対象フレームを処理対象フレームより１フレーム前に入力されたフレーム及び処理対象フレームより１フレーム遅れて入力されたフレームによりフィルタリングするかどうかを決定する（ステップＳ１６）。

フィルタリング決定部１５が、複数のフレーム間でフィルタリングを行うと決定した場合には（ステップＳ１６で、Ｙｅｓ）、フィルタリング決定部１５が、フレーム間フィルタリング部１６ａに複数のフレーム間でフィルタリングを行うと決定した旨を示すデータを出力する。

また、第２遅延部１１ｂが、２フレーム分遅延させた、処理対象フレームより１フレーム前に入力されたフレームをフレーム間フィルタリング部１６ａに出力する。また、第１遅延部１１ａが１フレーム分遅延させた処理対象フレームをフレーム間フィルタリング部１６ａに出力する。

フレーム間フィルタリング部１６ａが、フレーム間のフィルタリング、すなわち、処理対象フレームの劣化部分を、処理対象フレームより１フレーム前に入力されたフレームまたは処理対象フレームより１フレーム遅れて入力されたフレームの該当箇所に置き換える（ステップＳ１７）。

フィルタリング決定部１５が、複数のフレーム間でフィルタリングを行わないことを決定した場合には（ステップＳ１６で、Ｎｏ）、フィルタリング決定部１５が、処理対象フレーム表示部１６ｂに複数のフレーム間でフィルタリングを行わないことを決定した旨を示すデータを出力する。また、第１遅延部１１ａが、１フレーム分遅延させた処理対象フレームを処理対象フレーム表示部１６ｂと同一フレーム内フィルタリング部１６ｄに出力する。

また、処理対象フレーム表示部１６ｂが、フィルタリング決定部１５において、複数のフレーム間でフィルタリングしないと決定された処理対象フレームを処理対象フレーム表示手段２０に出力する。そして、処理対象フレーム表示手段２０が処理対象フレームを表示する（ステップＳ１８）。

処理対象フレーム表示手段２０に表示された処理対象フレームを作業者が見ることにより同一フレーム内でフィルタリング処理するかどうか決定する（ステップＳ１９）。フィルタリング処理すると決定した場合（ステップＳ１９で、Ｙｅｓ）には、処理対象フレームのフィルタリング処理する部分（劣化部分または修復誤り部分）を決定する（ステップ２１）。
一方、フィルタリング処理しないと決定した場合（ステップＳ１９で、Ｎｏ）には、処理対象フレームを原画像すなわちフィルタリングしていない画像のままにする（ステップＳ２０）。

また、フィルタリング位置入力手段３０が、フィルタリング位置入力部１６ｃに作業者がフィルタリング処理すると決定した処理対象フレームの劣化部分または修復誤り部分を示すデータを入力する。
また、フィルタリング位置入力部１６ｃが、作業者がフィルタリング処理すると決定した処理対象フレームの劣化部分または修復誤り部分を示すデータを同一フレーム内フィルタリング部１６ｄに出力する。
また、同一フレーム内フィルタリング部１６ｄは、同一フレーム内で処理対象フレームをフィルタリングする（ステップＳ２２）。
なお、ここでは、フレーム毎にフィルタリング処理などを行っているが、ステップＳ１４以降ではマクロブロック単位で処理を行ってもよい。

次に、図４を参照して、劣化部分の修復例について説明する。図４（ａ）は修復前の劣化部分を含む映像を示す図であり、図４（ｂ）は、修復後の映像を示す図である。図４（ａ）に示すような、ＴＢＣ（ＴｉｍｅＢａｓｅＣｏｒｒｅｃｔｏｒ）補間結果による劣化αが発生している処理対象フレームを、映像修復装置１０によって修復することにより、図４（ｂ）に示すような、劣化部分αが修復されたフレームを得ることができる。つまり、映像劣化検出部１４が、差分映像生成部１３から出力される差分信号に基づいて、映像の劣化部分である劣化αを検出し、フレーム間フィルタリング部１６ａが、処理対象フレームの劣化αを、処理対象フレームより１フレーム前に入力されたフレームまたは処理対象フレームより１フレーム遅れて入力されたフレームの該当箇所に置き換えることにより修復する。

なお、映像修復装置１０内の各構成部の機能は、図示しない記憶手段に格納されたプログラム（映像修復プログラム）に基づいて、図示しないＣＰＵが演算処理を行うことで実現される。また、映像修復装置１０内の各構成部はそれぞれが別々のコンピュータで実現されていてもよく、また、１つのコンピュータにより実現されていてもよい。

以上のように、本実施の形態によれば、映像の劣化領域の輝度が一定でなくても、人間が映像の劣化部分を探し、劣化部分を含む映像の前後の映像と見比べて、映像の劣化部分を劣化のない映像と嵌め換える必要をなくすことができるので、映像修復にかかる時間を短縮化し、また映像修復にかかる労力を軽減することができる。また、スクラッチの修復も行うことができる。

また、フレーム間フィルタリング部１６ａが、フレーム間でフィルタリングを行うこととしているが、フレーム間フィルタリング部１６ａが、フレーム間でフィルタリングを行う代わりに、参照映像生成部１２においてフィルタリングしたフレームを用いてもよい。

なお、本実施の形態では、濃淡画像の修復について説明したが、カラー画像の修復についても応用可能である。かかる場合には、フィルタリング処理部１６で、処理対象フレームの劣化部分を生じる領域のＲＧＢと輝度を、処理対象フレームより１フレーム前に入力されたフレームまたは処理対象フレームより１フレーム遅れて入力されたフレームの劣化が生じていない対応する領域のＲＧＢと輝度に置き換える。ここで、Ｒは赤（Ｒｅｄ）、Ｇは緑（Ｇｒｅｅｎ）、Ｂは青（Ｂｌｕｅ）を示す。

また、ステップＳ１３において、参照映像生成部１２が処理対象フレームをメディアンフィルタでフィルタリングしているが、多数決フィルタ、可変加重平均法等でフィルタリングしてもよい。また、メディアンフィルタは、処理対象フレームを処理対象フレームより１フレーム前に入力されたフレームと処理対象フレームより１フレーム遅れて入力されたフレームを用いてフィルタリングしているが、処理対象フレーム内でフィルタリングしてもよい。かかる場合、第２遅延部１１ｂは、参照映像生成部１２に処理対象フレームより１フレーム前に入力されたフレームを出力する必要がなく、また、参照映像生成部１２は、処理対象フレームより１フレーム遅れて入力されたフレームを入力する必要もない。また、差分信号を絶対値で表したが、絶対値で表さなくてもよい。

［第２実施形態］
次に、図５乃至図７を参照して、第２実施形態に係る映像修復装置について説明する。本実施形態に係る映像修復装置は、映像において横長で垂直方向に例えば数ラインの大きさを有する白傷を修復するように動作するものである。参照する図面において、図５は、第２実施形態の映像修復装置を示すブロック図である。
第２実施形態の映像修復装置１０Ａにおいて、第１実施形態と同一の構成には同一の参照番号を付与する。

参照映像生成部１２は、１フレーム分遅延させた処理対象フレームを、２フレーム分遅延させた、処理対象フレームより１フレーム前に入力されたフレーム及び処理対象フレームより１フレーム遅れて入力されたフレームを用いてフィルタリング処理してフィルタリングフレームとすると共に、このフィルタリングフレームを差分映像生成部１３Ａとフィルタリング処理部１６Ａとに出力する。

差分映像生成部１３Ａは、参照映像生成部１２から出力されるフィルタリングフレームの輝度信号レベルと第１遅延部１１ａから出力される処理対象フレームの輝度信号レベルとの信号レベル差である差分輝度信号を算出するものである。

ここで、差分信号を算出するにあたり、１フレームを複数（Ｌ個）のマクロブロック（縦ｍ画素×横ｎ画素）に分割して処理する。また、差分映像生成部１３Ａは、式（２）に示されるマクロブロック毎の差分輝度信号の絶対値和Ｄ_kを求める。

ここで、ｋは１フレームをＬ個のマクロブロック（縦ｍ画素×横ｎ画素）に分割したときのマクロブロックの識別符号を、ｙ_ijは第１遅延部１１ａから出力される処理対象フレームの縦ｉ番目及び横ｊ番目の画素の輝度信号のレベル値を、ｙ_0ijは参照映像生成部１２から出力されるフィルタリングフレームの縦ｉ番目及び横ｊ番目の画素の輝度信号のレベル値を示している。
また、差分映像生成部１３Ａは、式（３）を用いて、輝度信号レベルの差の絶対値和の一画素当たりの平均値をフレーム全体に加算して平均した平均値（フレーム平均値）ｓｎｒ１を求める。

また、差分映像生成部１３Ａは、算出した差分輝度信号と、その差分輝度信号が処理対象フレームのどの部分に所属するかを示すデータと、フレーム平均値ｓｎｒ１とを映像劣化検出部１４Ａに出力するものである。

映像劣化検出部１４Ａは、差分映像生成部１３Ａから出力された差分輝度信号と、予め定められた閾値とを比較して、比較結果に応じて、データ又は命令をフィルタリング処理部１６Ａに出力するものである。
映像劣化検出部１４Ａは、フレーム判定部１４ａと、マクロブロック判定部１４ｂと、サブマクロブロック判定部１４ｃとを備えている。

フレーム判定部（第１の判定部）１４ａは、差分映像生成部１３Ａから出力されたフレーム平均値ｓｎｒ１が、予め定められた第１の閾値よりも大きいかどうかを判定するものである。フレーム判定部１４ａは、フレーム平均値ｓｎｒ１が第１の閾値より小さい場合には、参照映像生成部１２から出力される映像を修復映像出力とするような命令（第１フィルタ命令）をフィルタリング処理部１６Ａに出力する。
フレーム判定部１４ａは、フレーム平均値ｓｎｒ１が第１の閾値以上の場合には、式（４）に示されるマクロブロックにおける差分輝度信号の絶対値和について１画素当たりの平均値（マクロブロック平均値）ｓｎｒ２を算出し、算出したマクロブロック平均値ｓｎｒ２をマクロブロック判定部１４ｂに出力する。

マクロブロック判定部（第２の判定部）１４ｂは、マクロブロック平均値ｓｎｒ２が予め定められた第２の閾値よりも大きいかどうかを判定するものである。マクロブロック判定部１４ｂは、マクロブロック平均値ｓｎｒ２が第２の閾値より小さい場合には、第１フィルタ命令とそのマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。
マクロブロック判定部１４ｂは、マクロブロック平均値ｓｎｒ２が第２の閾値以上の場合には、当該マクロブロックを垂直方向にｐ個（例えば３個）に分割したサブマクロブロック（縦ｍ／ｐ画素×横ｎ画素）毎に、式（５）に示される処理対象フレームの色信号のレベル値の和ｓｕｍｃ_k/pを算出し、算出した色信号のレベル値の和ｓｕｍｃ_k/pをサブマクロブロック判定部１４ｃに出力する。

ここで、Ｃ_0ijは色信号のレベル値を示している。

なお、マクロブロック判定部１４ｂは、マクロブロック平均値ｓｎｒ２の代わりに、マクロブロック毎の差分輝度信号の絶対値和Ｄ_kを所定のしきい値と比較するようにしてもよい。

サブマクロブロック判定部（第３の判定部）１４ｃは、色信号のレベル値の和ｓｕｍｃ_k/pが予め定められた第３の閾値よりも大きいかどうかを判定するものである。サブマクロブロック判定部１４ｃは、色信号のレベル値の和ｓｕｍｃ_k/pが第３の閾値より小さい場合には、第１フィルタ命令とそのサブマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。
サブマクロブロック判定部１４ｃは、色信号のレベル値の和ｓｕｍｃ_k/pが第３の閾値以上の場合には、当該サブマクロブロックを、修復誤り部分とみなし、この修復誤り部分を示す修復誤り部分データと、そのサブマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。

次に図６を参照して、フィルタリング処理部１６Ａを説明する（適宜図５参照）。ここで図６は、フィルング処理部を示すブロック図である。図６に示すように、フィルタリング処理部１６Ａは、フレーム間フィルタリング部１６ａと、フィルタリングフレーム出力部１６ｅとからなる。

フレーム間フィルタリング部１６ａは、映像劣化検出部１４Ａから出力される修復誤り部分データ、外部から入力される処理対象フレームより１フレーム遅れて入力されたフレーム、第１遅延部１１ａから出力される処理対象フレーム、第２遅延部１１ｂから出力される、処理対象フレームより１フレーム前に入力されたフレームを入力し、修復誤り部分データが入力されたときに、複数のフレーム間でフィルタリングを行うものである。
ここで、フレーム間フィルタリング部１６ａが行うフィルタリングとは、処理対象フレームの修復誤り部分を、処理対象フレームより１フレーム前に入力されたフレームまたは処理対象フレームより１フレーム遅れて入力されたフレームの該当部分に置き換えるものである。

フィルタリングフレーム出力部１６ｅは、映像劣化検出部１４Ａから出力される第１フィルタ命令と、参照映像生成部１２から出力されるフィルタリングフレームと、マクロブロックの位置情報（またはサブマクロブロックの位置情報）とを入力し、第１フィルタ命令が入力されたときに、参照映像生成部１２から出力されるフィルタリングフレームを修復映像信号として出力するものである。

次に、映像修復装置１０Ａの動作について図面を参照して説明する。参照する図７は、映像修復装置の動作を示すフローチャートである。なお、適宜図５及び図６を参照する。

図７において、ステップＳ１１からステップＳ１３までは、図３に示した第１実施形態と同様である。ステップＳ１３におけるフィルタリングが終了すると、次いで、ステップＳ３０において、差分映像生成部１３Ａが、参照映像生成部１２から出力されるフィルタリングフレームの輝度信号レベルと第１遅延部１１ａから出力される処理対象フレームの輝度信号レベルとのレベル差である差分輝度信号をマクロブロック毎に算出する。そして、例えば、前記した式（２）を用いてマクロブロック毎に差分輝度信号の絶対値和Ｄ_kを求め、さらに、この絶対値和Ｄ_kに基づいて、前記した式（３）を用いて、フレーム平均値ｓｎｒ１を求める。また、差分映像生成部１３Ａが、算出した差分信号と、その差分輝度信号が処理対象フレームのどの部分に所属するかを示すデータと、フレーム平均値ｓｎｒ１とを映像劣化検出部１４Ａに出力する。

ステップＳ３０に続いて、映像劣化検出部１４Ａのフレーム判定部１４ａが、差分映像生成部１３Ａから出力されたフレーム平均値ｓｎｒ１と、予め定められた第１のしきい値とを比較して、フレーム平均値ｓｎｒ１が第１のしきい値より大きいかどうか判定する（ステップＳ３１）。フレーム平均値ｓｎｒ１が第１のしきい値より小さい場合（ステップＳ３１で、Ｎｏ）には、当該フレームには修復誤り部分は含まれていないと判定し、第１フィルタ命令をフィルタリング処理部１６Ａに出力する。これにより、参照映像生成部１２によってフィルタリング処理されたフィルタリングフレームが修復映像として出力される（ステップＳ３５）。

フレーム判定部１４ａは、フレーム平均値ｓｎｒ１が第１のしきい値以上の場合（ステップＳ３１で、Ｙｅｓ）には、前記した式（４）に示されるマクロブロック平均値ｓｎｒ２を算出し、算出したマクロブロック平均値ｓｎｒ２をマクロブロック判定部１４ｂに出力する。

続いて、マクロブロック判定部１４ｂは、マクロブロック平均値ｓｎｒ２と予め定められた第２の閾値とを比較して、マクロブロック平均値ｓｎｒ２が第２のしきい値より大きいかどうか判定する（ステップＳ３２）。マクロブロック平均値ｓｎｒ２が第２のしきい値より小さい場合（ステップＳ３２で、Ｎｏ）には、当該マクロブロックには修復誤り部分は含まれていないと判定し、第１フィルタ命令とそのマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。これにより、フィルタリングフレームが修復映像として出力される（ステップＳ３５）。

マクロブロック判定部１４ｂは、マクロブロック平均値ｓｎｒ２が第２のしきい値以上の場合（ステップＳ３２で、Ｙｅｓ）には、当該マクロブロックを垂直方向にｐ個（例えば３個）に分割したサブマクロブロック（縦ｍ／ｐ画素×横ｎ画素）毎に、前記した式（５）に示される処理対象フレームの色信号のレベル値の和ｓｕｍｃ_k/pを算出し、算出した色信号のレベル値の和ｓｕｍｃ_k/pをサブマクロブロック判定部１４ｃに出力する。

続いて、サブマクロブロック判定部１４ｃは、色信号のレベル値の和ｓｕｍｃ_k/pと予め定められた第３の閾値とを比較して、色信号のレベル値の和ｓｕｍｃ_k/pが第３のしきい値より大きいかどうか判定する（ステップＳ３３）。色信号のレベル値の和ｓｕｍｃ_k/pが第３のしきい値より小さい場合（ステップＳ３３で、Ｎｏ）には、当該サブマクロブロックには修復誤り部分は含まれていないと判定し、第１フィルタ命令とそのサブマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。これにより、フィルタリングフレームが修復映像として出力される（ステップＳ３５）。

サブマクロブロック判定部１４ｃは、色信号のレベル値の和ｓｕｍｃ_k/pが第３のしきい値以上の場合（ステップＳ３３で、Ｙｅｓ）には、当該サブマクロブロックを、修復誤り部分とみなし、この修復誤り部分を示す修復誤り部分データと、そのサブマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。

フレーム間フィルタリング部１６ａは、サブマクロブロック判定部１４ｃから出力される修復誤り部分データに基づいて、フレーム間のフィルタリングを行う。すなわち、処理対象フレームの修復誤り部分を、処理対象フレームより１フレーム前に入力されたフレームまたは処理対象フレームより１フレーム遅れて入力されたフレームの該当箇所に置き換える（ステップＳ３４）。

以上のように、第２実施形態によれば、マクロブロックを垂直方向に所定数に分割したサブマクロブロックにおいて、修復誤り部分を、処理対象フレームより１フレーム前に入力されたフレームまたは処理対象フレームより１フレーム遅れて入力されたフレームの該当箇所に置き換えることができる。したがって、映像において横長で縦方向に例えば数ラインの大きさの白傷を確実に修復することができる。

[第３実施形態]
第２実施形態の映像修復装置１０Ａの映像劣化検出部（映像劣化検出手段）１４Ａは一例であって、これに限定されるものではなく、例えば、検出対象とするサブマクロブロックの周辺のサブマクロブロックの状態を考慮して修復誤り部分を検出するようにしてもよい。この場合の映像修復装置を第３実施形態として説明する。

第３実施形態の映像修復装置の構成は、映像劣化検出部を除いて図５に示した映像修復装置と同様である。図８は映像劣化検出部の構成を示すブロック図である。映像劣化検出部１４Ｂは図５に示す映像劣化検出部１４Ａの構成に加え、周辺サブマクロブロック判定部（第４の判定部）１４ｄを備えている。
周辺サブマクロブロック判定部１４ｄは、検出対象とするサブマクロブロックの垂直方向に配置された複数個のサブマクロブロックについて、式（５）に示される処理対象フレームの色信号のレベル値の和ｓｕｍｃ_k/pを算出し、色信号のレベル値の和ｓｕｍｃ_k/pが第３のしきい値以下となるサブマクロブロックの個数Ｑをカウントする。そして、サブマクロブロックの個数Ｑが予め設定された設定値よりも大きいかどうかを判定する。

周辺サブマクロブロック判定部１４ｄは、サブマクロブロックの個数Ｑが設定値より小さい場合には、参照映像生成部１２から出力される映像を修復映像出力とするような命令（第１フィルタ命令）とそのマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。
周辺サブマクロブロック判定部１４ｄは、サブマクロブロックの個数Ｑが設定値以上の場合には、修復誤り部分データと、そのサブマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。

図９は本実施形態の映像修復装置の動作を説明するフローチャートである。図において、ステップＳ１１からステップＳ３３までは、図７に示した第２実施形態と同様である。

ステップＳ３３において、サブマクロブロック判定部１４ｃは、色信号のレベル値の和ｓｕｍｃ_k/pが第３のしきい値以下であると判定した場合（ステップＳ３３で、Ｎｏ）には、周辺サブマクロブロック判定部１４ｄは、当該サブマクロブロックの垂直方向に配置された複数個（例えば当該マクロブロックの上下３個ずつの合計６個）のサブマクロブロックについて、前記した式（５）に示される処理対象フレームの色信号のレベル値の和ｓｕｍｃ_k/pを算出する。さらに、周辺サブマクロブロック判定部１４ｄは、当該サブマクロブロックとその周囲のサブマクロブロック（例えば合計７個）のうち、色信号のレベル値の和ｓｕｍｃ_k/pが前記第３のしきい値以下となるサブマクロブロックの個数Ｑをカウントする。そして、色信号のレベル値の和ｓｕｍｃ_k/pが第３のしきい値以下となるサブマクロブロックの個数Ｑと予め設定された設定値（例えば３）とを比較して、サブマクロブロックの個数Ｑが設定値以上かどうか判定する（ステップＳ４０）。

周辺サブマクロブロック判定部１４ｄは、サブマクロブロックの個数Ｑが設定値以上の場合（ステップＳ４０で、Ｙｅｓ）には、当該サブマクロブロックを、修復誤り部分とみなし、この修復誤り部分を示す修復誤り部分データと、そのサブマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。これにより、フレーム間フィルタリング部１６ａが、フレーム間のフィルタリングを行う（ステップＳ４１）。

一方、周辺サブマクロブロック判定部１４ｄは、サブマクロブロックの個数Ｑが設定値より小さい場合（ステップＳ４０で、Ｎｏ）には、当該サブマクロブロックには修復誤り部分は含まれていないと判定し、第１フィルタ命令とそのマクロブロックの位置情報とをフィルタリング処理部１６Ａに出力する。これにより、フィルタリングフレームが修復映像として出力される（ステップＳ４２）。

映像修復装置の映像劣化検出部を前記のように構成した場合には、例えば黒白の市松模様が速く動く場合などに効果的である。

なお、前記第２及び第３実施形態の映像修復装置１０Ａ内の各構成部の機能は、図示しない記憶手段に格納されたプログラム（映像修復プログラム）に基づいて、図示しないＣＰＵが演算処理を行うことで実現される。また、映像修復装置１０Ａ内の各構成部はそれぞれが別々のコンピュータで実現されていてもよく、また、１つのコンピュータにより実現されていてもよい。

また、前記第１乃至第３実施形態では、フレーム内または複数のフレーム間で生じた映像の劣化の修復について説明したが、フィールド内、または複数のフィールド間で生じた映像の劣化の修復についても応用可能である。

第１実施形態の映像修復装置を示すブロック図である。第１実施形態のフィルタリング処理部を示すブロック図である。第１実施形態の映像修復装置、処理対象フレーム表示手段及びフィルタリング入力手段の動作を示すフローチャートである。（ａ）は、修復前の劣化部分を含む映像を示す図であり、（ｂ）は、修復後の映像を示す図である。第２実施形態の映像修復装置を示すブロック図である。第２実施形態のフィルタリング処理部を示すブロック図である。第２実施形態の映像修復装置の動作を示すフローチャートである。第３実施形態の映像劣化検出部を示すブロック図である。第３実施形態の映像修復装置の動作を示すフローチャートである。

符号の説明

１０，１０Ａ映像修復装置
１２参照映像生成部（第１フィルタリング手段）
１３，１３Ａ差分映像生成部（信号レベル算出手段）
１４，１４Ａ映像劣化検出部（映像劣化検出手段）
１４ａフレーム判定部（第１の判定部）
１４ｂマクロブロック判定部（第２の判定部）
１４ｃサブマクロブロック判定部（第３の判定部）
１４ｄ周辺サブマクロブロック判定部（第４の判定部）
１５フィルタリング決定手段（フィルタリング決定手段）
１６，１６Ａフィルタリング処理部（第２フィルタリング手段）

Claims

フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復する映像修復装置であって、
入力される前記フレームまたは前記フィールドのうち処理対象である処理対象フレームまたは処理対象フィールドに対して、その前後のフレームまたはその前後のフィールドを用いてフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする第１フィルタリング手段と、
前記処理対象フレームと前記フィルタリングフレームまたは前記処理対象フィールドと前記フィルタリングフィールドとを比較して、前記処理対象フレームと前記フィルタリングフレームまたは前記処理対象フィールドと前記フィルタリングフィールドの信号レベルの差である差分信号を算出し、算出した差分信号が前記処理対象フレームまたは前記処理対象フィールドのどの部分に所属するかを検出する信号レベル算出手段と、
前記信号レベル算出手段で算出された差分信号と、予め定められた閾値とを比較して、前記差分信号が閾値以上の場合には、その差分信号が所属する前記処理対象フレームまたは前記処理対象フィールドの部分は映像劣化部分または修復誤り部分であるものとして検出する映像劣化検出手段と、
前記映像劣化検出手段で検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドをマクロブロックに分割し、マクロブロック毎にフィルタリング処理を行う第２フィルタリング手段と、
を備えることを特徴とする映像修復装置。
前記映像劣化検出手段で検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドをマクロブロックに分割し、マクロブロック毎に、前記映像劣化部分または前記修復誤り部分の大きさまたは数に基づいて、前記第２フィルタリング手段におけるフィルタリングを、複数のフレーム間、または複数のフィールド間で行うか、同一フレーム内または同一フィールド内で行うか、あるいは原画像のままにするかを決定するフィルタリング決定手段を備えることを特徴とする請求項１に記載の映像修復装置。
フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復する映像修復装置であって、
前記フレームまたは前記フィールドにフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする第１フィルタリング手段と、
前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドとを比較して、前記フレームと前記フィルタリングフレームまたは前記フィールドと前記フィルタリングフィールドの信号レベルの差を算出する信号レベル算出手段と、
前記信号レベル算出手段で算出された信号レベルの差に基づいて、前記フィルタリングフレームまたは前記フィルタリングフィールドの映像劣化部分または修復誤り部分を検出する映像劣化検出手段と、
前記映像劣化検出手段で検出された映像劣化部分または修復誤り部分にフィルタリング処理を行う第２フィルタリング手段と、
を備え、
前記映像劣化検出手段は、修復誤り部分が含まれているかどうかを判定するために、
前記信号レベル算出手段により算出された輝度信号レベルの差の絶対値和の一画素当たりの平均値を前記フレームまたは前記フィールド全体に加算して平均した平均値に基づいて判定を行う第１の判定部と、
前記絶対値和または前記絶対値和の一画素当たりの平均値に基づいて判定を行う第２の判定部と、
前記フレームまたは前記フィールドを分割したマクロブロックを垂直方向に分割したサブマクロブロックの色信号レベル値の和に基づいて判定を行う第３の判定部と、
を備えることを特徴とする映像修復装置。
前記映像劣化検出手段は、検出対象とするサブマクロブロックに対して垂直方向に配置された複数のサブマクロブロックの色信号レベル値の和の相関に基づいて、検出対象とするサブマクロブロックにおいて修復誤り部分が含まれているかどうかを判定する第４の判定部をさらに備えることを特徴とする請求項３に記載の映像修復装置。
フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復する映像修復方法であって、
入力される前記フレームまたは前記フィールドのうち処理対象である処理対象フレームまたは処理対象フィールドに対して、その前後のフレームまたはその前後のフィールドを用いてフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする第１フィルタリングステップと、
前記処理対象フレームと前記フィルタリングフレームまたは前記処理対象フィールドと前記フィルタリングフィールドとを比較して、前記処理対象フレームと前記フィルタリングフレームまたは前記処理対象フィールドと前記フィルタリングフィールドの信号レベルの差である差分信号を算出し、算出した差分信号が前記処理対象フレームまたは前記処理対象フィールドのどの部分に所属するかを検出する信号レベル算出ステップと、
前記信号レベル算出ステップで算出された差分信号と、予め定められた閾値とを比較して、前記差分信号が閾値以上の場合には、その差分信号が所属する前記処理対象フレームまたは前記処理対象フィールドの部分は映像劣化部分または修復誤り部分であるものとして検出する映像劣化検出ステップと、
前記映像劣化検出ステップで検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドをマクロブロックに分割し、マクロブロック毎にフィルタリング処理を行う第２フィルタリングステップと、
を含んでいることを特徴とする映像修復方法。
フレーム内、複数のフレーム間、フィールド内、または複数のフィールド間で生じる映像の劣化を修復するためにコンピュータを、
入力される前記フレームまたは前記フィールドのうち処理対象である処理対象フレームまたは処理対象フィールドに対して、その前後のフレームまたはその前後のフィールドを用いてフィルタリング処理をしてフィルタリングフレームまたはフィルタリングフィールドとする第１フィルタリング手段、
前記処理対象フレームと前記フィルタリングフレームまたは前記処理対象フィールドと前記フィルタリングフィールドとを比較して、前記処理対象フレームと前記フィルタリングフレームまたは前記処理対象フィールドと前記フィルタリングフィールドの信号レベルの差である差分信号を算出し、算出した差分信号が前記処理対象フレームまたは前記処理対象フィールドのどの部分に所属するかを検出する信号レベル算出手段、
前記信号レベル算出手段で算出された差分信号と、予め定められた閾値とを比較して、前記差分信号が閾値以上の場合には、その差分信号が所属する前記処理対象フレームまたは前記処理対象フィールドの部分は映像劣化部分または修復誤り部分であるものとして検出する映像劣化検出手段、
前記映像劣化検出手段で検出された映像劣化部分または修復誤り部分を示す処理対象フレームまたは処理対象フィールドをマクロブロックに分割し、マクロブロック毎にフィルタリング処理を行う第２フィルタリング手段、
として機能させるための映像修復プログラム。