JP7001265B2 - 映像修復システム、映像修復方法及びプログラム - Google Patents

Description

本発明は、映像修復システム、映像修復方法及びプログラムに関する。

多チャンネル時代をむかえ、古い映像コンテンツを大画面で精細なディスプレイで見ることが多くなっている。そこで、古い映像コンテンツなどのデジタル映像化が行われている。古い映画コンテンツでは、経年劣化したフィルムの色の修復技術や、パラ消しと言われるノイズ除去など、映像を修復する技術等が一部自動化されている（例えば、特許文献１参照）。

特開２０１１－１３８０３５号公報

古い映像コンテンツを大画面で精細なディスプレイで表示した場合に、特に際立ってくるのが、画像内に一瞬表示されるスプライスである。しかしながら、現状では、映像フィルムに残されたスプライスの検出及び修復は、依然として目視及び手作業で行われているのが一般的である。

本発明は、上記実情に鑑みてなされたものであり、映像フィルムの修復作業を各段に効率化することができる映像修復システム、映像修復方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る映像修復システムは、
動画を修復する映像修復システムであって、
畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出部と、
前記ショット点画像検出部で検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出部と、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部と、
を備える。

この場合、前記スプライス検出部は、
ハフ変換により、前記スプライスのうち、一直線として認識される直線状のキズである強構造スプライスを検出する、
こととしてもよい。

また、前記スプライス検出部は、
前記強構造スプライスが検出されなかったショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、
前記二値化画像における水平方向の白画素の合計数に基づいて、前記スプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出する、
こととしてもよい。

本発明の第２の観点に係る映像修復システムは、
動画を修復する映像修復システムであって、
前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出部と、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部と、
を備える。

前記画像修復部は、
画像間動き推定法を用いて、前記ショット点画像と前記類似度が高い方の画像との水平方向のズレ量を検出し、
前記類似度が高い方の画像の部分画像を、水平方向に検出したズレ量だけずらして、前記ショット点画像の部分画像と置換する、
こととしてもよい。

前記画像修復部は、
前記部分画像が置換されたショット点画像を表示し、その画像についてズレがある旨の操作入力があった場合に、
前記ショット点画像における前記部分画像と他の部分との境界線の上下の輝度差が最小となるように、前記ショット点画像に対して前記部分画像を水平方向に検出したズレ量だけずらす、
こととしてもよい。

前記部分画像が置換されたショット点画像における前記部分画像周辺の平滑化を行う画像平滑化部を備える、
こととしてもよい。

本発明の第３の観点に係る映像修復方法は、
動画を修復する映像修復方法であって、
コンピュータが、畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出ステップと、
コンピュータが、前記ショット点画像検出ステップで検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出ステップと、
コンピュータが、前記スプライス検出ステップでスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出ステップと、
コンピュータが、前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復ステップと、
を含む。

本発明の第４の観点に係る映像修復方法は、
動画を修復する映像修復方法であって、
コンピュータが、前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出ステップと、
コンピュータが、前記スプライス検出ステップでスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出ステップと、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復ステップと、
を含む。

本発明の第５の観点に係るプログラムは、
動画を修復するコンピュータを、
畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出部、
前記ショット点画像検出部で検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出部、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部、
として機能させる。

本発明の第６の観点に係るプログラムは、
動画を修復するコンピュータを、
前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出部、
前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部、
として機能させる。

本発明によれば、映像フィルムに残るスプライスを自動的に検出し、検出したスプライスを消去して自動的に修復することができる。これにより、映像フィルムの修復作業を各段に効率化することができる。

本発明の実施の形態に係る映像修復システムの構成を示すブロック図である。 強構造スプライスの一例を示す図である。 弱構造スプライスの一例を示す図である。 畳み込みニューラルネットワークの構成の一例を示す図である。 図５（Ａ）及び図５（Ｂ）は、ハフ変換を用いてスプライスを検出する流れの一例を示す図である。 図６（Ａ）は、弱構造スプライスのない画像である。図６（Ｂ）は、図６（Ａ）の白画素プロフィールである。図６（Ｃ）は、弱構造スプライスのある画像である。図６（Ｄ）は、図６（Ｃ）の白画素プロフィールである。 図７（Ａ）、図７（Ｂ）及び図７（Ｃ）は、画像間の類似度を算出するために用いられる画像の輝度値のヒストグラムである。 図８（Ａ）及び図８（Ｂ）は、画像修復の流れを示す模式図である。 画像間のズレ量を算出する流れを示す模式図である。 図１０（Ａ）及び図１０（Ｂ）は、画像を修復する流れを示す模式図である。 図１１（Ａ）は、インタラクティブな位置ズレ量の調整の様子を示す模式図である。図１１（Ｂ）は、ズレ量と輝度差の合計との関係を示す図である。図１１（Ｃ）は、位置ズレが残留した画像の一例を示す図である。 メディアンフィルタを示す模式図である。 図１の映像修復システムのハードウエア構成を示すブロック図である。 本発明の実施の形態に係る映像修復システムの動作のフローチャートである。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。全図において、同一又は相当する構成要素には、同一の符号が付されている。本実施の形態に係る映像修復システム１は、古い映像フィルムを再生したときに画面に現れるキズを修復する画像処理システムである。

図１に示すように、データ記憶部１０には、古い映像フィルムをデジタル化して得られた動画データを構成する一連の画像Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、…、ＰＮ（Ｎは自然数）が記憶されている。本実施の形態では、この一連の画像Ｐ１～ＰＮが修復対象となる。本実施の形態では、修復されるキズは、主として、スプライスである。

スプライスは、表示された画像に現れる水平方向に延びる直線状のキズである。スプライスは、主として、映像の編集の際にフィルムがカットされ、つなぎ合わせた部分に発生する。例えば、図２に示すように、画像Ｐｔ－１、画像Ｐｔ、画像Ｐｔ＋１（ｔ＝２～Ｎ－１の自然数）と続くような、映像コンテンツのシーン（場面）の切り替わりにおいて、切り替わり点、すなわちショット点画像となる画像ＰｔにスプライスＳが発生する。スプライスＳは、本来の画像と関係のない白い横線であり、画像Ｐｔの上部又は下部に発生する。

スプライスＳには、図２に示すような、一直線のキズとして認識される強構造スプライスＳＳと、図３に示すように、強構造スプライスＳＳのようにはっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスＳＷとがある。この映像修復システム１は、強構造スプライスＳＳだけでなく、弱構造スプライスＳＷも検出する。

図１に戻り、映像修復システム１は、ショット点画像検出部２Ａと、スプライス検出部２Ｂと、類似度算出部３と、画像修復部４と、画像平滑化部６と、動画生成部７と、を備える。

ショット点画像検出部２Ａは、動画を構成する一連の画像Ｐ１～ＰＮのうち、スプライスＳ（強構造スプライスＳＳ及び弱構造スプライスＳＷ）が含まれる画像Ｐｔ（ｔ＝１～Ｎ－１）を検出する。

より具体的には、ショット点画像検出部２Ａは、畳み込みニューラルネットワークを用いた機械学習により、一連の画像Ｐ１～ＰＮのうち、映像コンテンツのシーンの切り変わり時点に対応するショット点画像Ｐｔを検出する。

畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）とは、図４に示すような、神経科学の知見に基づく構造を持つ順伝播型ニューラルネットワークの一種であり、画像や動画認識に広く使われているモデルである。図４に示すように、ＣＮＮ２０において、１つ１つのブロックが、畳み込み層（特徴抽出を行なう単純型細胞に対応）又はプーリング層（位置ズレを許容する働きを持つ複雑型細胞に対応）である。この畳み込み層とプーリング層とから構成されるInceptionモジュールと呼ばれる小さなネットワーク (マイクロネットワーク) を定義し、Inceptionモジュールを通常の畳み込み層のように重ねていくことで１つの大きなＣＮＮ２０が作り上げられている。本実施の形態では、ＣＮＮ２０として、１０００クラスの画像分類を行うように学習された一般物体認識モデルが用いられる。

ＣＮＮ２０では、以下の手順で処理が行われる。
（１）全画素における画素値（Ｒ，Ｇ，Ｂ）を、画像Ｐ１、Ｐ２、・・・の順に、順次入力する。
（２）ＣＮＮ２０の最終層ではなく、途中の層から出力値（特徴ベクトル）を取り出す。
（３）取り出した連続する２つの画像Ｐｔ－１，Ｐｔの特徴ベクトルを以下の式（１）に与え、ＣＯＳ類似度を算出する。

ここで、ｑは、画像Ｐｔにおける特徴ベクトルであり、ｄは、画像Ｐｔ－１における特徴ベクトルである。Ｖは特徴ベクトルの次元数である。

（４）ここで、ｑ＝Ｆ_ｔ－１とし、ｄ＝Ｆ_ｔとする。以下の式（２）を用いて、ＣＯＳ類似度と、閾値とを比較し、ＣＯＳ類似度が閾値（threshold）以下ならショット分割点とする。
（５）出力ｆｒａｍｅ_ｔはショット分割点なら１、そうでなければ０とする。出力ｆｒａｍｅ_ｔが１なら、画像Ｐｔがショット点画像となる。

ＣＮＮ２０では、教師有りデータ等を用いた機械学習が予め行われている。例えば、教師有りデータとしては、シーンの切り替わりのショット点画像Ｐｔであることが明らかな画像と、ショット点画像でないことが明らかな画像とが与えられ、入力に対するＣＮＮ２０の出力が、実際の結果と合致するように、機械学習が行われる。

スプライス検出部２Ｂは、ショット点画像検出部２Ａで検出されたショット点画像ＰｔにスプライスＳが存在するか否かを検出する。まず、ショット点画像検出部２Ａは、検出されたシーンの切り替わり時点前後の画像Ｐｔの中から、強構造スプライスＳＳが含まれる画像Ｐｔを検出する。

強構造スプライスＳＳの検出には、例えばハフ（Ｈｏｕｇｈ）変換を用いることができる。ハフ変換は、デジタル画像処理で用いられる特徴抽出法の１つであり、画像Ｐｔから直線、円、楕円等の図形を検出する技法である。例えば、図５（Ａ）に示すように、画像Ｐｔの各画素の位置座標を（ｘ，ｙ）とする。また、画像Ｐｔ内におけるスプライスＳがある場合に、スプライスＳの関係式をｙ＝ａｘ＋ｂとする。ハフ変換を行うことにより、スプライスＳの関係式の係数ａ，ｂを求めることができる。

まず、スプライス検出部２Ｂは、画像Ｐｔにおいて輝度変化の大きな画素点をスプライスＳ上の候補点として検出する。図５（Ａ）では、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・が候補点として検出されている様子が示されている。

候補点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・をそれぞれ通過する直線は無数に存在する。スプライス検出部２Ｂは、抽出された候補点が最も多く通過する直線をスプライスＳとして検出する。

ここで、図５（Ｂ）に、スプライスＳの関係式の係数ａ，ｂを座標軸とする平面を示す。スプライス検出部２Ｂは、図５（Ｂ）に示すように、この平面上で、それぞれ候補点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・を通過する可能性のある点（ａ，ｂ）について投票を行っていく。この投票で最も点数の多かった座標（ａ１，ｂ１）を、強構造スプライスＳＳの直線式の係数ａ，ｂとして決定する。

なお、スプライス検出部２Ｂは、投票数が閾値以下であった場合には、スプライス検出部２Ｂは、強構造スプライスＳＳが検出されなかったものと判定する。

スプライス検出部２Ｂは、強構造スプライスＳＳが検出されなかったショット点画像Ｐｔの各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成する。スプライス検出部２Ｂは、二値化画像における水平方向の白画素の合計数（白画素プロフィール）に基づいて、スプライスＳのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスＳＷを検出する。

例えば、図６（Ａ）に示すように弱構造スプライスＳＷが発生していない二値化画像Ｐｔでは、図６（Ｂ）に示すように、全ての垂直位置ｙにおける水平方向（ｘ方向）の白画素の合計数は、閾値以下となる。一方、図６（Ｃ）に示すように弱構造スプライスＳＷが発生している画像Ｐｔでは、図６（Ｄ）に示すように、弱構造スプライスＳＷがある垂直位置ｙにおいて水平方向（ｘ方向）の白画素の合計数が閾値を超えるようになる。スプライス検出部２Ｂは、水平方向の白画素の合計数が閾値を超える垂直位置ｙが有るか否かによって、弱構造スプライスＳＷを検出する。

図１に戻り、類似度算出部３は、スプライス検出部２Ｂで検出された検出画像Ｐｔと、検出画像Ｐｔの前後の画像Ｐｔ－１、Ｐｔ＋１との類似度をそれぞれ算出する。ここでは、検出画像Ｐｔとその前後の画像Ｐｔ－１、Ｐｔ＋１について、検出画像Ｐｔとその前の画像Ｐｔ－１との類似度と、検出画像Ｐｔとその後の画像Ｐｔ＋１との類似度がそれぞれ算出される。

画像Ｐｔ，Ｐｔ－１の類似度及び画像Ｐｔ，Ｐｔ＋１の類似度は、以下の式（３）で表現される各画像Ｐｔの輝度値のヒストグラムの相関度に基づいて算出される。

ここで、Ｈ_１（Ｉ），Ｈ_２（Ｉ）は、Ｐｔ－１，Ｐｔ，Ｐｔ＋１の輝度値のヒストグラムの値である。それらの平均が、

である。

例えば、図７（Ａ）、図７（Ｂ）及び図７（Ｃ）に示すように、類似度算出部３は、画像Ｐｔ，Ｐｔ－１，Ｐｔ＋１の輝度値のヒストグラムを得る。さらに、類似度算出部３は、画像Ｐｔの輝度値ヒストグラムと画像Ｐｔ－１の輝度値のヒストグラムとの相関度を求め、画像Ｐｔの輝度値ヒストグラムと画像Ｐｔ＋１の輝度値ヒストグラムとの相関度を求める。輝度値ヒストグラムの相関度が高い画像Ｐｔ＋１、Ｐｔ－１のいずれかが、類似度が高い画像となる。

図１に戻り、画像修復部４は、図８（Ａ）に示すように、前後の画像Ｐｔ－１、Ｐｔ＋１のうち、類似度が高い方の画像Ｐ’を選択する。さらに、画像修復部４は、図８（Ｂ）に示すように、類似度が高い方の画像Ｐ’から、スプライスＳが出現した部分に対応する部分画像ＰＩ’を抽出する。さらに、画像修復部４は、抽出された部分画像ＰＩ’を、対応する検出画像Ｐｔの部分画像ＰＩと置換して、検出画像Ｐｔに含まれるスプライスＳを消去する。

なお、スプライスＳは、各画像Ｐｔの上端近傍の領域又は下端近傍の領域に現れ、その発生領域は、上端又は下端から一定の範囲に現れるのが一般的である。従って、部分画像ＰＩ、ＰＩ’を、各画像Ｐｔの上端又は下端における固定大の画像領域とすることができる。このため、スプライスＳの位置は、画像の上側に出現しているか、下側に出現しているかを検出するだけでもよい。

さらに、画像修復部４は、図９に示すように、検出画像Ｐｔと類似度が高い方の画像Ｐ’との水平方向のズレ量を検出する。そして、画像修復部４は、画像Ｐ’から抽出された部分画像ＰＩ’を、水平方向に検出したズレ量だけずらして、対応する検出画像Ｐｔの部分画像ＰＩと置換する。ズレ量の検出には、本実施の形態では、画像間動き推定法を用いる。画像間動き推定法は、２つの画像の間がどれぐらいずれているか、すなわち画像のシフト量を、各画像の位相画像を用いて推定する方法である。この方法では、２つの画像の位相に注目しそれらの位相の相関を取り、画像の間の「類似度」を測る。

画像間動き推定法において、画像修復部４は、まず、図９に示すように、画像Ｐｔ、画像Ｐ’をそれぞれフーリエ変換して、それぞれのスペクトル成分Ｆａ，Ｆｂを得る。そして、画像修復部４は、スペクトル成分Ｆａ，Ｆｂを振幅スペクトルで割ることで正規化し、逆フーリエ変換することで位相限定画像Ｆａｂを得る。位相限定画像Ｆａｂでは、位置座標（Δｘ，Δｙ）に点が形成されている。この点の位置座標（Δｘ，Δｙ）が、画像Ｐｔと画像Ｐ’とのｘ軸方向、ｙ軸方向のズレ量を示している。

画像修復部４は、部分画像ＰＩ’をｘ軸方向にΔｘだけシフトさせて、画像Ｐｔに埋め込む。この場合、図１０（Ａ）に示すように、空白部分Ｑが発生する。置換後の画像Ｐｔ’に空白部分Ｑがある場合、画像修復部４は、図１０（Ｂ）に示すように、画像Ｐ’の空白部分Ｑに隣接する部分画像ＲＩを、空白部分Ｑに埋め込んで、画像を修復する。なお、図１０（Ａ）は、Δｘが正の場合であるが、Δｘが負で、部分画像ＰＩ’を左方向にシフトするようにしてもよい。

また、画像修復部４は、図１１（Ａ）に示すように、部分画像ＰＩ’が置換されたショット点画像Ｐｔを表示し、その画像についてズレがある旨の操作入力があった場合に、図１１（Ｂ）に示すように、ショット点画像Ｐｔにおける部分画像ＰＩ’と他の部分との境界線Ｂの上下の輝度差が最小となるように、図１１（Ｃ）に示すように、ショット点画像Ｐｔに対して部分画像ＰＩ’を水平方向に検出したズレ量Δｘだけずらすこともできる。このように、最終的には人の眼により位置ズレを補正するインタラクティブな画像修復法を採用すれば、画像間動き推定法による位置ズレ補正を行っても残留する微小なズレをなくすことができる。

図１に戻り、画像平滑化部６は、画像修復部４で修復されたショット点画像Ｐｔの部分画像ＰＩの周辺領域の平滑化を行う。この画像の平滑化には、メディアンフィルタが用いられる。メディアンフィルタは、周辺輝度値の大きさを順に並べ、メディアン（中央値）を注目画素に置き換えていくフィルタ処理を行う。

このメディアンフィルタを用いることで、画像平滑化部６は、画像Ｐｔ内に含まれるノイズを除去することができる。例えば、図１２に示すように、画素値が１００である注目画素について周辺の画素の輝度値が、１０、１５、４１、３０、３４、６０、１８０、１３０であったとする。この９つの画素の輝度値などを順番に並べ換えると、１０、１５、３０、３４、４１、６０、１００、１３０、１８０となる。この場合、画像平滑化部６は、中央の注目画素の値を中間値の４１とする。これがメディアンフィルタによる平滑化処理である。

画像平滑化部６は、図１０（Ｂ）に示す画像Ｐｔの部分画像ＰＩ’との境界周辺に対してメディアンフィルタを適用する。

図１に戻り、動画生成部７は、スプライスＳが消去された一連の画像Ｐ１～ＰＮをつなげて動画を生成する。

図１３は、図１の映像修復システム１のハードウエア構成を示す。図１３に示すように、映像修復システム１は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４及び表示部３５を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５はいずれも内部バス３０を介して制御部３１に接続されている。

制御部３１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９を実行することにより、図１に示す映像修復システム１の各構成要素が実現される。

主記憶部３２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部３２には、外部記憶部３３に記憶されているプログラム３９がロードされる。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。

外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ－ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ－ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部３３には、制御部３１に実行させるためのプログラム３９があらかじめ記憶されている。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。

操作部３４は、キーボード及びマウスなどのポインティングデバイス等と、キーボード及びポインティングデバイス等を内部バス３０に接続するインターフェイス装置から構成されている。操作部３４を介して、操作者が操作した内容に関する情報が制御部３１に入力される。

表示部３５は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（ElectroLuminescence）などから構成される。操作者が操作情報を入力する場合は、表示部３５には、操作用の画面が表示される。

なお、制御部３１のプログラム３９の実行により、図１に示す映像修復システム１の構成において、ショット点画像検出部２Ａ、スプライス検出部２Ｂ、類似度算出部３、画像修復部４、画像平滑化部６及び動画生成部７は、制御部３１及び主記憶部３２に対応し、データ記憶部１０は、外部記憶部３３に対応する。

次に、本実施の形態に係る映像修復システム１の動作について説明する。

図１４に示すように、まず、ショット点画像検出部２Ａは、ＣＮＮ２０（図４参照）を用いた機械学習により、映像コンテンツのシーンの切り替わり時点に対応するショット点画像（ショット）Ｐｔを検出する（ステップＳ１；ショット点画像検出ステップ）。これにより、映像コンテンツのシーンの切り替わり時点に対応するショット点画像Ｐｔが検出される。

続いて、スプライス検出部２Ｂは、画像Ｐｔに強構造スプライスＳＳが有るか否かを判定する（ステップＳ２；スプライス検出ステップ）。具体的には、スプライス検出部２Ｂは、ハフ変換を行って、画像Ｐｔにおいて、強構造スプライスＳＳを検出する。

強構造スプライスＳＳがあった場合（ステップＳ２；Ｙｅｓ）、類似度算出部３は、例えば、図７（Ａ）、図７（Ｂ）及び図７（Ｃ）に示すヒストグラムを用いて、画像Ｐｔと前後の画像Ｐｔ－１、Ｐｔ＋１との類似性を算出する（ステップＳ３；類似度算出ステップ）。

続いて、画像修復部４は、前後の画像Ｐｔ－１、Ｐｔ＋１のうち、類似性の大きい画像との部分的な差し替えを行う（ステップＳ４；画像修復ステップ）。すなわち、画像修復部４は、図８（Ａ）及び図８（Ｂ）に示すように、画像ＰｔにおけるスプライスＳが存在する部分画像ＰＩを、類似性の高い画像Ｐ’の対応する部分画像ＰＩ’と置換することで、画像修復を行う。

続いて、画像修復部４は、図９に示すように、画像間動き推定法によるズレ量Δｘを算出する（ステップＳ５）。続いて、画像修復部４は、図１０（Ａ）に示すように、画像Ｐ’の部分画像ＰＩ’と、画像Ｐｔの部分画像ＰＩとのズレ量Δｘだけシフトさせる自動補正を行う（ステップＳ６）。画像修復部４は、図１０（Ｂ）に示すように、画像Ｐ’の隣接部分画像ＲＩを、画像Ｐｔの空白部分Ｑに埋め込んで、画像の埋め合わせを行う。隣接する部分画像ＲＩが空白部分Ｑとして最も近似するためである。

続いて、画像修復部４は、図１１（Ａ）に示すように、修復された画像を表示部３５（図１３参照）に表示して、部分画像ＰＩ’と部分画像ＰＩとの間にズレが有るか否かを判定可能とする（ステップＳ７）。ズレがなく（ステップＳ７；Ｎｏ）、操作部３４を用いて、その旨の操作入力が行われると、画像平滑化部６が、修復した画像に対してメディアンフィルタ（図１２参照）を用いて平滑化を行う（ステップＳ１０）。

一方、ズレが残っており（ステップＳ７；Ｙｅｓ）、操作部３４を用いて、その旨の操作入力が行われると、画像修復部４は、部分画像ＰＩ’と部分画像ＰＩとの境界部分の輝度値の差を求め、その輝度値の差によるズレ量を算出し、ズレ量が補正される（ステップＳ８）。画像修復部４は、修復された画像を表示部３５に表示して、部分画像ＰＩ’と部分画像ＰＩとの間にズレが有るか否かを判定可能とする（ステップＳ９）。そして、ズレがあると判定される限り（ステップＳ９；Ｙｅｓ）、操作部３４の操作入力の下で、画像修復部４は、ステップＳ８とステップＳ９とを繰り返し、ズレの補正を行う。

ズレがないと判定されると（ステップＳ９；Ｎｏ）、画像平滑化部６は、修復した画像に対してメディアンフィルタ（図１２参照）を用いて平滑化を行う（ステップＳ１０）。

その後、動画生成部７は、修復された画像Ｐ１～ＰＮに基づいて、動画を生成する（ステップＳ１１）。

一方、強構造スプライスＳＳが検出されなかった場合（ステップＳ２；Ｎｏ）、スプライス検出部２Ｂは、画像の二値化（白画素又は黒画素への変換）を行う（ステップＳ２０）。続いて、スプライス検出部２Ｂは、図６（Ａ）又は図６（Ｂ）に示すような白画素プロフィールを生成する（ステップＳ２１）。続いて、スプライス検出部２Ｂは、弱構造スプライスＳＷが有るか否かを判定する（ステップＳ２２）。図６（Ｄ）に示すように、白画素プロフィールにおいて、閾値を超えるか否かにより、弱構造スプライスＳＷがあるか否かが判定される。弱構造スプライスＳＷがなければ（ステップＳ２２；Ｎｏ）、動画を生成して（ステップＳ１１）、処理を終了する。

弱構造スプライスＳＷが有る場合（ステップＳ２２；Ｙｅｓ）、前後の画像との類似性算出（ステップＳ３）、類似度の大きい画像との部分的な差し替え（ステップＳ４）、画像間動き推定法によるズレ量の算出（ステップＳ５）、ズレ量による自動補正（ステップＳ６）が行われ、ステップＳ７～ステップＳ９におけるインタラクティブ修復が行われる。その後、画像平滑化部６は、修復した画像に対してメディアンフィルタを用いて平滑化を行い（ステップＳ１０）、動画生成部７が、縦キズが除去された画像で、動画を生成する（ステップＳ１１）。

なお、本実施の形態に係る映像修復システム１を用いて映像を修復したところ、強構造スプライスＳＳ及び弱構造スプライスＳＷの自動検出率は１００％となった。特に、ショット点画像の検出にＣＮＮ２０を用いた場合には、弱構造スプライスＳＷの検出率は、８１％から１００％に向上した。

以上詳細に説明したように、本実施の形態によれば、映像フィルムの動画に残るスプライスＳを自動的に検出し、自動的に修復することができる。これにより、映像フィルムの修復作業を各段に効率化することができる。

なお、上記実施の形態では、畳み込みニューラルネットワークを用いた機械学習により、映像コンテンツのシーンの切り替わり時点を検出し、その時点の画像を対象としてスプライスＳを検出した。このようにすれば、スプライスＳを検出するショット点画像Ｐｔを正確に絞りこむことができるので、検出に要する時間を短縮することができる。しかしながら、本発明はこれには限られない。すべての画像ＰｔについてスプライスＳを検出するようにしてもよい。

また、本実施の形態によれば、スプライスＳのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスＳＷを検出して修復することができる。このようにすれば、スプライスＳがより確実に消去された映像を修復することができる。

また、上記実施の形態では、動画における物体の動きに基づく前後の画像Ｐｔ、Ｐ’の水平方向のズレ量を検出し、そのズレ量Δｘに応じて部分画像ＰＩ’をずらして置換する。これにより、ズレのない画像修復が可能となる。

そして、部分画像ＰＩ’をずらして置換したことにより発生する空白部分Ｑには、図１０（Ｂ）に示すように、その部分に隣接する部分画像ＲＩを埋め込む。これにより、違和感のない自然な画像修復が可能となる。

また、本実施の形態によれば、修復されたショット点画像Ｐｔを表示し、横方向のズレが残留しているか確認することができ、ズレが確認されれば、インタラクティブにそれを修復することができる。これにより、わずかな横方向のズレも補正することができる。

また、上記実施の形態によれば、上述のような部分画像ＰＩ’の置換部分周辺の平滑化を行っているので、画像Ｐｔの一部を置換しつつ、違和感のない画像修復が可能となる。

また、上記実施の形態では、スプライスＳの検出にハフ変換を用い、部分画像の動き検出（ズレ量検出）に画像間動き推定法を用い、画像の平滑化にメディアンフィルタ等を用いたが、本発明はこれには限られない。これらの方法とは他の方法で、スプライスＳの検出、部分画像の動き検出（ズレ量検出）、画像の平滑化が可能であれば、その方法を適用することができる。

その他、映像修復システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び内部バス３０などから構成される映像修復システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する映像修復システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで映像修復システム１を構成してもよい。

映像修復システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

本発明は、フィルム動画のスプライスの修復に適用することができる。

１ 映像修復システム、２Ａ ショット点画像検出部、２Ｂ スプライス検出部、３ 類似度算出部、４ 画像修復部、６ 画像平滑化部、７ 動画生成部、１０ データ記憶部、２０ ＣＮＮ（畳み込みニューラルネットワーク）、３０ 内部バス、３１ 制御部、３２ 主記憶部、３３ 外部記憶部、３４ 操作部、３５ 表示部、３９ プログラム、Ｓ スプライス、ＳＳ 強構造スプライス、ＳＷ 弱構造スプライス

Claims (11)

1. 動画を修復する映像修復システムであって、
   畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出部と、
   前記ショット点画像検出部で検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出部と、
   前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
   前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部と、
   を備える映像修復システム。
2. 前記スプライス検出部は、
   ハフ変換により、前記スプライスのうち、一直線として認識される直線状のキズである強構造スプライスを検出する、
   請求項１に記載の映像修復システム。
3. 前記スプライス検出部は、
   前記強構造スプライスが検出されなかったショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、
   前記二値化画像における水平方向の白画素の合計数に基づいて、前記スプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出する、
   請求項２に記載の映像修復システム。
4. 動画を修復する映像修復システムであって、
   前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出部と、
   前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
   前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部と、
   を備える映像修復システム。
5. 前記画像修復部は、
   画像間動き推定法を用いて、前記ショット点画像と前記類似度が高い方の画像との水平方向のズレ量を検出し、
   前記類似度が高い方の画像の部分画像を、水平方向に検出したズレ量だけずらして、前記ショット点画像の部分画像と置換する、
   ことを特徴とする請求項１から４のいずれか一項に記載の映像修復システム。
6. 前記画像修復部は、
   前記部分画像が置換されたショット点画像を表示し、その画像についてズレがある旨の操作入力があった場合に、
   前記ショット点画像における前記部分画像と他の部分との境界線の上下の輝度差が最小となるように、前記ショット点画像に対して前記部分画像を水平方向に検出したズレ量だけずらす、
   請求項５に記載の映像修復システム。
7. 前記部分画像が置換されたショット点画像における前記部分画像周辺の平滑化を行う画像平滑化部を備える、
   請求項１から６のいずれか一項に記載の映像修復システム。
8. 動画を修復する映像修復方法であって、
   コンピュータが、畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出ステップと、
   コンピュータが、前記ショット点画像検出ステップで検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出ステップと、
   コンピュータが、前記スプライス検出ステップでスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出ステップと、
   コンピュータが、前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復ステップと、
   を含む映像修復方法。
9. 動画を修復する映像修復方法であって、
   コンピュータが、前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出ステップと、
   コンピュータが、前記スプライス検出ステップでスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出ステップと、
   前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復ステップと、
   を含む映像修復方法。
10. 動画を修復するコンピュータを、
    畳み込みニューラルネットワークを用いた機械学習により、前記動画を構成する一連の画像のうち、シーンの切り変わり時点に対応するショット点画像を検出するショット点画像検出部、
    前記ショット点画像検出部で検出されたショット点画像から、水平方向に延びる直線状のキズであるスプライスを検出するスプライス検出部、
    前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
    前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部、
    として機能させるプログラム。
11. 動画を修復するコンピュータを、
    前記動画を構成する一連の画像のうち、シーンの切り替わり時点に対応するショット点画像の各画素を、白画素又は黒画素のいずれかに二値化して二値化画像を生成し、前記二値化画像における水平方向の白画素の合計数に基づいて、水平方向に延びる直線状のキズであるスプライスのうち、はっきりとした一直線として認識できないが、全体として直線状のキズとして認識される弱構造スプライスを検出するスプライス検出部、
    前記スプライス検出部でスプライスが検出されたショット点画像と、そのショット点画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
    前記前後の画像のうち、前記ショット点画像と類似度が高い方の画像から、前記スプライスが出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記ショット点画像の部分画像と置換して、前記ショット点画像に含まれるスプライスを消去する画像修復部、
    として機能させるプログラム。

Images