JP5026152B2 - ディゾルブ検出装置及びプログラム - Google Patents

Description

本発明は、ディゾルブ検出装置及びプログラムに関する。

一台のカメラで連続して撮影された映像の区間はショットと呼ばれ、ショットを連結してなる映像（以下、連結映像と称する。）におけるショットの切り替え点はショット境界と呼ばれる。

ショット境界においては、ディゾルブという切り替え手法が用いられることがある。ディゾルブは、複数フレームにわたってショットを徐々に切り替えていくもので、自然な切り替えを演出するために用いられるものである。

図７は、ディゾルブの例を説明するための説明図である。同図は、横軸をフレーム、縦軸を画素値（ＲＧＢ方式を用いる場合にはＲ成分，Ｇ成分，Ｂ成分それぞれの値。輝度−色差方式を用いる場合には輝度成分及び２つの色差成分それぞれの値。）の合成比率としたグラフであり、ショットＡとショットＢとをディゾルブを用いて連結した例を示している。

図７の例において、フレームｔ１までの各フレームでは、ショットＡの合成比率が１（１００％）であり、ショットＡの画素値がそのまま連結映像の画素値となっている。また、フレームｔ２（ｔ２＞ｔ１）以降の各フレームでは、ショットＢの合成比率が１（１００％）であり、ショットＢの画素値がそのまま連結映像の画素値となっている。

一方、フレームｔ１とフレームｔ２の間（ディゾルブ区間という。通常１０フレーム（１秒）程度。）の各フレームでは、連結映像の各画素の画素値は、次に示す式（１）により決定されている。ここで、ｆ_ｔ（ｒ）は連結映像のフレームｔにおける座標ｒ（変数ｒはベクトル値である。以下同じ。）の画素の画素値であり、ｆ_ｔ１（ｒ）は、ショットＡのフレームｔ１における座標ｒの画素の画素値であり、ｆ_ｔ２（ｒ）はショットＢのフレームｔ２における座標ｒの画素の画素値である。また、α（ｔ）はフレームｔにおけるショットＡの合成比率であり、式（２）で表される。

式（１）において、右辺のｆ_ｔ１（ｒ）及びｆ_ｔ２（ｒ）は、それぞれフレームｔ１及びフレームｔ２における各ショットの各画素の画素値である。このことは、ディゾルブ区間内の各フレームにおいては映像内の被写体が動かないということを意味している。

さて、近年、放送の多チャンネル化に伴って大量の映像が生産されるようになり、そのような映像群の中から必要な情報を見つけるための映像の要約技術や検索技術の必要性が増している。これらの技術において上記連結映像を扱う場合、上述したショット単位で分割することが必要不可欠である。そして、この分割を行うためには、連結映像内のショット境界を検出することが必要となる。

瞬時にショットが切り替わるショット境界については、隣接するフレーム間の差分を算出する方法によって比較的容易にショット境界を検出できる。一方、上述したディゾルブを用いるショット境界については、隣接するフレーム間の差分の変化が小さいため、上記方法でのショット境界の検出は困難である。

このため、ショット境界の検出のためのディゾルブ区間検出技術が種々提案されている。そのような技術の一例においては、式（１）及び式（２）から導かれる式（３）の関係が用いられる。すなわち、この技術は、ディゾルブ区間内の隣接フレーム間では式（３）の関係が成り立つことに鑑み、連結映像内の各フレームについて順次、隣接フレームとの間で式（３）の関係が成り立つか否かを判定するものである。そして、式（３）の関係が成り立つフレームが所定数フレームにわたって続いた場合に、それらのフレームはディゾルブ区間内にあると判定するものである。

特許文献１〜５及び非特許文献１〜３にも、ディゾルブ区間検出技術の例が開示されている。
特許文献１には、フレームのエッジ強度を用いて算出される特徴量に基づいてディゾルブ区間の検出を行う技術が開示されている。

特許文献２には、フレームのエッジ特徴の時間的変化に基づいてディゾルブ区間の検出を行う技術が開示されている。映像内の被写体が動く場合、うまくいかない可能性有り。
特許文献３には、連結映像から複数フレームにわたって変化傾向が一定している領域（緩変化領域）を抽出し、緩変化領域の画面に占める割合がしきい値よりも大きいフレームをディゾルブ区間内のフレームであると判定することによりディゾルブ区間の検出を行う技術が開示されている。映像内の被写体が動く場合、緩変化領域として抽出できるとは限らない。

特許文献４には、フレーム間の２次差分画像の画素値が０付近に集中するというディゾルブ区間の特徴を利用してディゾルブ区間の検出を行う技術が開示されている。映像内の被写体が動く場合、必ずしもそうなるとは限らない。
特許文献５には、ディゾルブ区間を一旦検出した後、動きシーンやパニングシーンの特徴を有する場合にディゾルブ区間でないと判定する技術が開示されている。この技術は、ディゾルブを検出した後に、防止するものであり、未検出を防止できるものではない。

非特許文献１には、ディゾルブのパターンを学習し、学習結果に基づくパターン認識を行うことにより、ディゾルブ区間の検出を行う技術が開示されている。
非特許文献２には、フレーム空間における映像シーケンスの３次元表現が、ディゾルブ区間では直線になるというディゾルブの特徴を利用してディゾルブ区間の検出を行う技術が開示されている。
非特許文献３には、ディゾルブ区間中では輝度が単調増減するというディゾルブの特徴を用いてディゾルブ区間の検出を行う技術が開示されている。
特開平０７−２８８８４０号公報 特開２００６−１４０８０５号公報 特開平０９−３２２１７１号公報 特開平０９−１８２０７９号公報 特開２００５−２３７００２号公報 レインナー・ラインハート(Rainer Lienhart)著、「信頼できるディゾルブ検出(Reliable Dissolve Detection)」、SPIE(the Society of Photo-optical Instrumentation Engineers) Proceedings、Vol.4315、２００１年１月、p.219-230 ジョイス Ｒ．(Joyce, R.)他著、「フレーム及びヒストグラム空間を用いる映像の一時的分割(Temporal Segmentation of Video Using Frame and Histogram Space)」、IEEE TRANSACTIONS ON MULTIMEDIA、VOL.8,NO.1、２００６年、p.130-140 長坂晃朗他著、「輝度変化の単調性に着目したデゾルブ検出手法」、電子情報通信学会総合大会、D-615、１９９６年

ところで、近年、ディゾルブ区間内の各フレームにおいても、映像内の被写体を動かすことが多くなっている。そのような場合、式（１）は次の式（４）のように書き換えられる。ここで、ｆ_Ａ，ｔ（ｒ）は、ショットＡのフレームｔにおける座標ｒの画素の画素値であり、ｆ_Ｂ，ｔ（ｒ）はショットＢのフレームｔにおける座標ｒの画素の画素値である。

式（３）を用いる方法は式（１）に従うディゾルブを前提としており、式（４）に従うディゾルブ（映像内の被写体に動きがあるディゾルブ）を用いるショット境界の検出には使えない。

また、上記各文献に記載された技術にも、式（４）に従うディゾルブに適用する場合、高い検出精度が得られないという問題がある。すなわち、特許文献１〜４及び非特許文献２〜３に記載のディゾルブ検出技術は、いずれもディゾルブ区間に現れる特徴を検出することによりディゾルブ区間を検出しようとするものであるが、式（４）に従うディゾルブでは必ずしもそのような特徴が現れるとは限らないため、高い検出精度が得られない。また、特許文献５の技術では、ディゾルブ区間の誤検出を防止することはできるもののディゾルブ区間の未検出を防止することはできず、結局高い検出精度が得られない。さらに、非特許文献１の技術では、学習度が上がらないと高い検出精度を望むことはできない。

従って、本発明の課題の一つは、映像内の被写体に動きがあるディゾルブ区間を、ディゾルブパターンの学習による方法を用いずとも、高い精度で検出可能なディゾルブ検出装置及びプログラムを提供することにある。

上記課題を解決するための本発明にかかるディゾルブ区間検出装置は、映像を構成する一連のフレームのうち、Ｎ番目（Ｎ≧２）からＮ＋Ｍ番目（Ｍ≧２）のフレーム区間をディゾルブ区間候補として取得するディゾルブ区間候補取得手段と、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定するディゾルブ区間判定手段と、を含み、前記ディゾルブ区間判定手段は、Ｎ−Ｋ番目（Ｋ≧１）からＮ番目までの各フレームに基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第１予測フレームを生成する第１予測フレーム群生成手段と、Ｎ＋Ｍ番目からＮ＋Ｍ＋Ｌ番目（Ｌ≧１）までの各フレームに基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第２予測フレームを生成する第２予測フレーム群生成手段と、前記各第１予測フレームそれぞれと、対応する前記第２予測フレームと、を合成することによりＮ＋１番目からＮ＋Ｍ−１番目までの各合成フレームを生成する合成フレーム群生成手段と、前記合成フレーム群生成手段により生成された前記各合成フレームそれぞれと、対応する前記ディゾルブ区間候補内の各フレームと、の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に基づき、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定する判定手段と、を含む、ことを特徴とする。
これによれば、動きを考慮した上で予測フレームを生成することができるので、映像内の被写体に動きがあるディゾルブ区間を、ディゾルブパターンの学習による方法を用いずとも、高い精度で検出可能となる。

また、上記ディゾルブ区間検出装置において、Ｎ−Ｋ番目（Ｋ≧１）からＮ番目までの各フレームに基づいて、Ｎ番目のフレームを構成する複数ブロックそれぞれの動きを判定する第１動き判定手段と、Ｎ＋Ｍ番目からＮ＋Ｍ＋Ｌ番目（Ｌ≧１）までの各フレームに基づいて、Ｎ＋Ｍ番目のフレームを構成する複数ブロックそれぞれの動きを判定する第２動き判定手段と、を含み、前記第１予測フレーム群生成手段は、前記第１動き判定手段の判定結果に基づいて前記各第１予測フレームを生成し、前記第２予測フレーム群生成手段は、前記第２動き判定手段の判定結果に基づいて前記各第２予測フレームを生成する、こととしてもよい。
これによれば、Ｎ番目のフレームの前に続く１又は複数のフレーム及びＮ＋Ｍ番目のフレームの後に続く１又は複数のフレームに基づいて、ブロックの動きを判定することができる。

また、上記各ディゾルブ区間検出装置において、前記ディゾルブ区間候補取得手段は、前記Ｍの複数の値について前記ディゾルブ区間候補の取得を行う、こととしてもよい。
これによれば、ディゾルブ区間長が不明な場合であっても、適切にディゾルブ区間を検出できる。

また、上記各ディゾルブ区間検出装置において、前記一連のフレームについて、順次隣接フレーム間差分を算出する隣接フレーム間差分算出手段、を含み、前記ディゾルブ区間候補取得手段は、Ｉ番目のフレームとＩ＋１番目のフレームとの間の前記隣接フレーム間差分が所定の閾値以上である場合に、前記Ｉを前記Ｎとして前記ディゾルブ区間候補の取得を行う、こととしてもよい。
これによれば、効率的にディゾルブ区間の判定を行うことができる。

また、本発明にかかるプログラムは、映像を構成する一連のフレームのうち、Ｎ番目（Ｎ≧２）からＮ＋Ｍ番目（Ｍ≧２）のフレーム区間をディゾルブ区間候補として取得するディゾルブ区間候補取得手段、及び前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定するディゾルブ区間判定手段、としてコンピュータを機能させるためのプログラムであって、前記ディゾルブ区間判定手段は、Ｎ−Ｋ番目（Ｋ≧１）からＮ番目までの各フレームに基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第１予測フレームを生成する第１予測フレーム群生成手段と、Ｎ＋Ｍ番目からＮ＋Ｍ＋Ｌ番目（Ｌ≧１）までの各フレームに基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第２予測フレームを生成する第２予測フレーム群生成手段と、前記各第１予測フレームそれぞれと、対応する前記第２予測フレームと、を合成することによりＮ＋１番目からＮ＋Ｍ−１番目までの各合成フレームを生成する合成フレーム群生成手段と、前記合成フレーム群生成手段により生成された前記各合成フレームそれぞれと、対応する前記ディゾルブ区間候補内の各フレームと、の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に基づき、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定する判定手段と、を含む、ことを特徴とする。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図１は、本発明の実施の形態にかかるディゾルブ区間検出装置１のシステム構成を示す図である。同図に示すように、ディゾルブ区間検出装置１は、映像入力受付部２、映像記憶部３、隣接フレーム間差分算出部４、ディゾルブ区間候補取得部５、ディゾルブ区間判定部６を含んで構成される。このディゾルブ区間検出装置１は、入力される映像からショット境界を検出するために用いられるものである。

映像入力受付部２は、一連のフレームにより構成される映像の入力を受け付け、受け付けた映像を映像記憶部３に記憶させる。
映像記憶部３は、映像入力受付部２から入力された映像を記憶する。図２には、映像記憶部３の記憶内容の例を示している。同図に示すように、映像記憶部３は、映像を構成する一連のフレームを順序付けて記憶するものである。なお、全フレームを描くことはできないので、同図の例では、Ｎ−１番目（Ｎ≧２）、Ｎ番目、Ｎ＋１番目、Ｎ＋Ｍ−１番目（Ｍ≧２）、Ｎ＋Ｍ番目、Ｎ＋Ｍ＋１番目の各フレームのみを示している。

隣接フレーム間差分算出部４は、映像記憶部３に記憶される一連のフレームについて、順次隣接フレーム間差分を算出する（隣接フレーム間差分算出手段）。この隣接フレーム間差分としては、フレーム間の輝度の差分の二乗和や、これらのフレームに含まれるエッジ部分のフレーム間変化量を用いることが好適である。このうち、エッジ部分変化量は、具体的には式（５）のＥＣＲ_ｎで表される。ここで、ＥＣＲ_ｎは、ｎ−１番目のフレーム（以下、フレームｎ−１と表記する。以下同じ。）とフレームｎの間でのエッジ部分変化量である。また、σ_ｎはフレームｎにおけるエッジ画素（エッジ部分の画素）の総数、Ｘ_ｎ ^ｉｎはフレームｎ−１ではエッジ画素ではなかったがフレームｎで新たにエッジ画素となった画素の数、Ｘ_ｎ−１ ^ｏｕｔはフレームｎ−１ではエッジ画素であったがフレームｎではエッジ画素でなくなった画素の数、である。

ディゾルブ区間候補取得部５は、映像記憶部３に記憶される映像を構成する一連のフレームのうち、フレームＮ＋１において隣接フレーム間差分ＥＣＲ_ｎ＋１が所定の閾値以上となったとすると、フレームＮからフレームＮ＋Ｍまでのフレーム区間をディゾルブ区間候補として取得する（ディゾルブ区間候補取得手段）。換言すると、ディゾルブ区間候補取得部５は、フレームＩとフレームＩ＋１との間の上記隣接フレーム間差分が上記閾値以上である場合に、上記Ｉを上記Ｎとしてディゾルブ区間候補の取得を行う。

また、ディゾルブ区間候補取得部５は、上記Ｍの複数の値についてディゾルブ区間候補の取得を行う。具体的には、まず、Ｍの所定の最大値Ｍｍａｘについてディゾルブ区間候補の取得を行い、次いで、Ｍを１ずつ減らしながら、Ｍが所定の最小値Ｍｍｉｎとなるまで、順次ディゾルブ区間候補の取得を行う。
ディゾルブ区間候補取得部５は、以上のようにして取得した各ディゾルブ区間候補を、取得した順に、順次ディゾルブ区間判定部６に出力する。

ディゾルブ区間判定部６は、ディゾルブ区間候補がディゾルブ区間であるか否かを判定する（ディゾルブ区間判定手段）。以下、ディゾルブ区間判定部６の処理の具体的内容について、ディゾルブ区間判定部６内部の機能ブロックを参照しながら説明する。

図２は、ディゾルブ区間判定部６内部の機能ブロックを示す概略ブロック図である。同図に示すように、ディゾルブ区間判定部６は、第１動き判定部６０、第１予測フレーム群生成部６１、第２動き判定部６２、第２予測フレーム群生成部６３、合成フレーム群生成部６４、類似度算出部６５、判定部６６を含んで構成される。なお、ディゾルブ区間判定部６は、各機能ブロックの処理を、ディゾルブ区間候補取得部５からディゾルブ区間候補が入力されたときに開始する。以下、フレームＮからフレームＮ＋Ｍまでのフレーム区間がディゾルブ区間候補であるとして説明する。

まず、第１動き判定部６０は、Ｎ−Ｋ番目（Ｋは１以上の所定値。）からＮ番目までの各フレームに基づいて、フレームＮ（ディゾルブ区間候補の１つ前のフレーム）を構成する複数ブロックそれぞれの動きを判定する（第１動き判定手段）。

具体的には、第１動き判定部６０は、まずフレームＮを所定の大きさのブロック（例えば１６×１６画素の正方形ブロック。）に分割する。そして、ブロックごとに、フレームＮ−１において、画素値が類似している部分（以下、類似部分という。）を検索する。類似部分は、例えば、各画素の画素値の差がいずれも所定値以下である部分であってもよいし、各画素の画素値の差の平均が所定値以下である部分であってもよい。

第１動き判定部６０は、検索の結果あるブロックについて類似部分が見つかった場合、その類似部分のフレームＮ−１内での位置と、該ブロックのフレームＮ内での位置と、に基づいて、該ブロックの動きを判定する。類似部分が見つからなかった場合には、動きがないと判定する。
第１動き判定部６０は、判定した動きを動きベクトルによって表し、第１予測フレーム群生成部６１に出力する。

図３（ａ）及び（ｂ）は、第１動き判定部６０の処理の具体的な例を示している。図３（ａ）に示すフレームＮ−１には被写体Ｏ１が含まれており、この被写体Ｏ１は、図３（ｂ）に示すフレームＮでは少し右上に移動している。この移動の方向及び量が、フレームＮ−１からフレームＮに向かって動きベクトルｖ（動きベクトルｖはベクトル値である。以下同じ。）で表される方向及び量であったとすると、第１動き判定部６０は、被写体Ｏ１内の各ブロックについて、動きベクトルｖで表される動きがあったと判定し、動きベクトルｖを出力する。

第１予測フレーム群生成部６１は、Ｎ−Ｋ番目からＮ番目までの各フレームに基づいて、また、第１動き判定部６０の判定結果に基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第１予測フレームを生成する（第１予測フレーム群生成手段）。

より具体的には、第１予測フレーム群生成部６１は、以下の式（６）を用いて、順次各第１予測フレームの各画素の画素値を決定していく。ここで、ｐｆ_Ｘ（ｙ）（ｙはベクトル値）は、フレームＸの座標ｙにある画素の画素値を示している。

式（６）は、各第１予測フレームの各画素の画素値は、各第１予測フレームの前に位置する２つのフレームの画素値の平均により決定されるということを示している。このようにするのは、１つのフレームのみから画素値を決定すると、ノイズの影響を受けやすくなるからである。

図３（ｃ）は、以上のようにして生成される各第１予測フレームのうち、第１予測フレームＮ＋１の例を示している。同図では、フレームＮ−１からフレームＮにかけて被写体Ｏ１が動きベクトルｖで示される動きをしており（図３（ａ）及び（ｂ））、第１予測フレーム群生成部６１は、この動きを継続させて被写体Ｏ１を構成する各ブロックの位置を移動させることにより、第１予測フレームＮ＋１を生成する。その結果、生成される第１予測フレームＮ＋１における被写体Ｏ１の位置は、フレームＮにおける当該被写体Ｏ１の位置から動きベクトルｖの分だけずれた位置となる。

なお、このようにして各第１予測フレームを生成する場合、各画素の画素値の決定において次の２つの問題が生じ得る。一つ目は、例えば２つのブロックがある第１予測フレームにおいて重なる場合、重なっている部分の画素の画素値をいずれのブロックに基づいて決定すればよいか、という問題である。二つ目は、逆に、いずれのブロックにも含まれないこととなる画素の画素値を何に基づいて決定すればよいか、という問題である。一つ目の問題については、動きの大きい方のブロックに基づいて決定すればよい。また、二つ目の問題については、白色や黒色など所定の画素値にすればよい。

次に、第２動き判定部６２は、Ｎ＋Ｍ番目からＮ＋Ｍ＋Ｌ番目（Ｌは１以上の所定値）までの各フレームに基づいて、Ｎ＋Ｍ番目のフレーム（ディゾルブ区間の１つ後のフレーム）を構成する複数ブロックそれぞれの動きを判定する（第２動き判定手段）。

具体的には、第２動き判定部６２は、まずフレームＮ＋Ｍを所定の大きさのブロック（例えば１６×１６画素の正方形ブロック。）に分割する。そして、ブロックごとに、フレームＮ＋Ｍ＋１において、画素値が類似している部分を検索する。類似部分の具体的内容は、上述した通りである。

第２動き判定部６２は、検索の結果あるブロックについて類似部分が見つかった場合、その類似部分のフレームＮ＋Ｍ内での位置と、該ブロックのフレームＮ＋Ｍ＋１内での位置と、に基づいて、該ブロックの動きを判定する。類似部分が見つからなかった場合には、動きがないと判定する。
第２動き判定部６２は、判定した動きを動きベクトルによって表し、第２予測フレーム群生成部６３に出力する。

図４（ｂ）及び（ｃ）は、第２動き判定部６２の処理の具体的な例を示している。図４（ｂ）に示すフレームＮ＋Ｍには被写体Ｏ２が含まれており、この被写体Ｏ２は、図４（ｃ）に示すフレームＮ＋Ｍ＋１では少し右に移動している。この移動の方向及び量が、フレームＮ＋ＭからフレームＮ＋Ｍ＋１に向かって動きベクトルｕ（動きベクトルｕはベクトル値である。以下同じ。）で表される方向及び量であったとすると、第２動き判定部６２は、被写体Ｏ２内の各ブロックについて、動きベクトルｕで表される動きがあったと判定し、動きベクトルｕを出力する。

第２予測フレーム群生成部６３は、Ｎ＋Ｍ番目からＮ＋Ｍ＋Ｌ番目までの各フレームに基づいて、また、第２動き判定部６２の判定結果に基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第２予測フレームを生成する（第２予測フレーム群生成手段）。
より具体的には、第２予測フレーム群生成部６３は、以下の式（７）を用いて、順次各第２予測フレームの各画素の画素値を決定していく。

式（７）は、各第２予測フレームの各画素の画素値は、後の２つのフレームの画素値の平均により決定されるということを示している。このようにするのは、式（６）と同様、１つのフレームのみから画素値を決定すると、ノイズの影響を受けやすくなるからである。

図４（ａ）は、以上のようにして生成される各第２予測フレームのうち、第２予測フレームＮ＋Ｍ−１の例を示している。同図では、フレームＮ＋Ｍ＋１からフレームＮ＋Ｍにかけて被写体Ｏ２が動きベクトル−ｕで示される動きをしており（図３（ａ）及び（ｂ））、第２予測フレーム群生成部６３は、この動きを継続させて被写体Ｏ２を構成する各ブロックの位置を移動させることにより、第２予測フレームＮ＋Ｍ−１を生成する。その結果、生成される第２予測フレームＮ＋Ｍ−１における被写体Ｏ２の位置は、フレームＮ＋Ｍにおける当該被写体Ｏ２の位置から動きベクトル−ｕの分だけずれた位置となる。

なお、このようにして各第２予測フレームを生成する場合にも、各画素の画素値の決定において、各第１予測フレームを生成する場合と同様な２つの問題が生じ得るが、上記同様にすればよい。

合成フレーム群生成部６４は、各第１予測フレームそれぞれと、対応する第２予測フレームと、を合成することによりＮ＋１番目からＮ＋Ｍ−１番目までの各合成フレームを生成する（合成フレーム群生成手段）。

具体的には、合成フレーム群生成部６４は、以下の式（８）を用いて、各合成フレームを生成する。ここで、ｐｆ_Ｘ’（ｒ）は、合成フレームＸの座標ｒにある画素の画素値を、ｐｆ_Ｘ ^ｆｒｏｍ（ｒ）は、第１予測フレームＸの座標ｒにある画素の画素値を、ｐｆ_Ｘ ^ｔｏ（ｒ）は、第２予測フレームＸの座標ｒにある画素の画素値を、それぞれ示している。また、α（ｋ）は、フレームｋにおける前方ショット（ディゾルブ区間候補がディゾルブ区間であるとして、合成されている２つのショットのうち時間的に前方に位置するショット。）の合成比率であり、式（９）で表される。

類似度算出部６５は、ディゾルブ区間候補内の各フレームそれぞれと、対応する上記合成フレームとの類似度を算出する（類似度算出手段）。
具体的には、類似度算出部６５は、以下の式（１０）又は式（１１）を用いて、上記類似度を算出する。ここで、ｓｉｍ（ｆ_ｉ’，ｆ_ｉ）は、フレームｉ（ｆ_ｉ）と合成フレームｉ（ｆ_ｉ’）の類似度であり、ｐｆ_Ｘ（ｒ）は、フレームＸの座標ｒにある画素の画素値である。

式（１０）は、フレームｉと合成フレームｉの画素値の差分二乗和を類似度としたものである。また、式（１１）では、フレームｉと合成フレームｉの各画素の画素値を要素とするベクトルのなす角の余弦値が類似度となっている。
判定部６６は、類似度算出部６５により算出された類似度に基づき、ディゾルブ区間候補がディゾルブ区間であるか否かを判定する（判定手段）。具体的には、各フレームの類似度の平均値が所定値以上である場合に、ディゾルブ区間候補がディゾルブ区間であると判定する。なお、各フレームの類似度の平均値Ｄｉｓｓ（Ｎ＋１，Ｎ＋Ｍ−１）は、式（１２）によって算出することが好適である。

図５は、合成フレーム群生成部６４、類似度算出部６５、及び判定部６６の処理について、図３及び図４の例に基づいて説明するための説明図である。なお、図５の例では、Ｍ＝３としている。

図５に示すように、合成フレーム群生成部６４は、各第１予測フレームと、対応する第２予測フレームと、を合成することにより、各合成フレームを生成するのであるが、各合成フレームにおいては、式（８）によりディゾルブをかけたのと同様の効果が得られるため、被写体Ｏ１の濃度が少しずつ下がり、一方で、被写体Ｏ２の各濃度が少しずつ上がっている。ディゾルブ区間候補がディゾルブ区間であれば、映像記憶部３に記憶される一連のフレームでも同様な濃度変化が現れているはずであり、各合成フレームとの類似度は高くなる。判定部６６は、このような類似度の特徴を利用して、ディゾルブ区間候補がディゾルブ区間であるか否かを判定している。

さて、ディゾルブ区間判定部６は、判定部６６の判定結果を出力する。ディゾルブ区間検出装置１は、映像記憶部３に記憶される一連のフレームのうち、ディゾルブ区間判定部６の出力によりディゾルブ区間であると判定されたディゾルブ区間候補にかかるフレーム区間を、ディゾルブ区間として検出する。

以上説明したディゾルブ区間検出装置１の処理について、フローチャートを参照しながら再度より詳細に説明する。
図６は、ディゾルブ区間検出装置１が行うディゾルブ区間判定処理の処理フローを示すフロー図である。同図に示すように、隣接フレーム間差分算出部４は、映像記憶部３から順次フレームを取得し（ステップＳ１）、隣接フレーム間差分を算出する（ステップＳ２）。そして、算出した隣接フレーム間差分が所定閾値を上回っているか否かを判定し（ステップＳ３）、肯定的な判定結果が得られた場合に、処理をステップＳ４に進める。なおここでは、Ｎ番目のフレームにおいて隣接フレーム間差分が所定閾値を上回ったとする。

ステップＳ４では、ディゾルブ区間候補取得部５は、変数Ｍの記憶領域を用意し、所定値Ｍｍａｘを代入する（ステップＳ４）。そして、フレームＮ＋１からフレームＮ＋Ｍ−１までのフレーム区間をディゾルブ区間候補に設定する（ステップＳ５）。

次に、ディゾルブ区間判定部６は、設定された区間の前のフレーム（フレームＮ−１及びＮ）から、第１予測フレーム群を生成する（ステップＳ６）とともに、設定された区間の後のフレーム（フレームＮ＋Ｍ及びＮ＋Ｍ＋１）から、第２予測フレーム群を生成する（ステップＳ７）。ディゾルブ区間判定部６は、さらに、生成した第１予測フレーム群及び第２予測フレーム群から、合成フレーム群を生成する（ステップＳ８）。そして、ディゾルブ区間判定部６は、合成フレーム群を構成する各合成フレームと、映像記憶部３に記憶される一連のフレームのうちフレームＮ＋１からフレームＮ＋Ｍ−１までの各フレームと、の類似度を算出する。

次に、ディゾルブ区間判定部６は、各フレームの類似度の平均値を式（１２）により算出し、所定閾値を上回っているか否かを判定する（ステップＳ１０）。なお、この判定方法の他に、類似度が所定値以上のフレーム数が所定閾値を上回っているか否かを判定する判定方法を使用してもよい。

ステップＳ１０の判定結果が肯定的なものであった場合、ディゾルブ区間判定部６は、ディゾルブ区間候補を、ディゾルブ区間であると判定する（ステップ１１）。この判定がなされると、ディゾルブ区間検出装置１は、残りのフレーム区間にもディゾルブ区間がないかどうか調べるため、映像記憶部３に記憶される全てのフレームについて確認が終わるのでの間、隣接フレーム間差分算出部４の処理から処理を繰り返す（ステップＳ１５）。ただしこの場合、ディゾルブ区間検出装置１は、ステップＳ１で取得されるフレームの位置（一連のフレーム内での順番）にＭを足す（ステップＳ１２）。２つ以上のディゾルブ区間が重なって存在することは、通常考えられないからである。

一方、ステップＳ１０の判定結果が否定的なものであった場合、ディゾルブ区間判定部６は、ディゾルブ区間候補はディゾルブ区間でないと判定し、変数ＭにＭ−１を代入する（ステップＳ１３）。ディゾルブ区間判定部６は、こうして得られる変数Ｍの値が所定値Ｍｍｉｎ（Ｍｍｉｎ＜Ｍｍａｘ）より大きければ、ステップＳ５からの処理を繰り返し（Ｓ１４の肯定判定）、小さければ、ステップＳ１５の処理を開始する（Ｓ１４の否定判定）。

以上説明したように、ディゾルブ区間検出装置１によれば、動きを考慮した上で第１及び第２予測フレームを生成することができるので、映像内の被写体に動きがあるディゾルブ区間を、高い精度で検出可能となる。
また、フレームＮの前に続く１又は複数のフレーム及びフレームＮ＋Ｍの後に続く１又は複数のフレームに基づいて、ブロックの動きを判定することができる。

さらに、ＭをＭｍａｘからＭｍｉｎの間で変化させつつディゾルブ区間候補を取得するようにしているので、ディゾルブ区間長が不明な場合であっても、適切にディゾルブ区間を検出できる。
また、隣接フレーム間差分が所定閾値を上回った場合にのみディゾルブ区間候補を取得するようにしているので、効率的にディゾルブ区間の判定を行うことができる。

以上本発明の実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明は、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

例えば、本発明はディゾルブ区間検出後の後処理用としても用いることができる。すなわち、ディゾルブ区間を一旦背景技術により検出した後、検出された区間について本発明によるディゾルブ区間検出を行い、本当にディゾルブ区間であるか否かを判定する、という用途にも本発明を用いることができる。

例えば、ディゾルブ区間検出装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記ディゾルブ区間検出装置１の各処理を行ってもよい。
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、この「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
さらに、上記プログラムは、上述した各機能の一部を実現するためのものであってもよい。さらに、上述した各機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の実施の形態にかかるディゾルブ区間検出装置のシステム構成を示す図である。 本発明の実施の形態にかかるディゾルブ区間判定部内部の機能ブロックを示す概略ブロック図である。 本発明の実施の形態にかかる第１動き判定部の処理の具体的な例を示す図である。 本発明の実施の形態にかかる第２動き判定部の処理の具体的な例を示す図である。 本発明の実施の形態にかかる合成フレーム群生成部、類似度算出部、及び判定部の処理について、図３及び図４の例に基づいて説明するための説明図である。 本発明の実施の形態にかかるディゾルブ区間検出装置が行うディゾルブ区間判定処理の処理フローを示すフロー図である。 本発明の背景技術にかかるディゾルブの例を説明するための説明図である。

符号の説明

１ ディゾルブ区間検出装置、
２ 映像入力受付部、
３ 映像記憶部、
４ 隣接フレーム間差分算出部、
５ ディゾルブ区間候補取得部、
６ ディゾルブ区間判定部、
６０ 第１動き判定部、
６１ 第１予測フレーム群生成部、
６２ 第２動き判定部、
６３ 第２予測フレーム群生成部、
６４ 合成フレーム群生成部、
６５ 類似度算出部、
６６ 判定部、
Ｏ１，Ｏ２ 被写体。

Claims (5)

1. 映像を構成する一連のフレームのうち、Ｎ番目（Ｎ≧２）からＮ＋Ｍ番目（Ｍ≧２）のフレーム区間をディゾルブ区間候補として取得するディゾルブ区間候補取得手段と、
   前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定するディゾルブ区間判定手段と、
   を含み、
   前記ディゾルブ区間判定手段は、
   Ｎ−Ｋ番目（Ｋ≧１）からＮ番目までの各フレームに基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第１予測フレームを生成する第１予測フレーム群生成手段と、
   Ｎ＋Ｍ番目からＮ＋Ｍ＋Ｌ番目（Ｌ≧１）までの各フレームに基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第２予測フレームを生成する第２予測フレーム群生成手段と、
   前記各第１予測フレームそれぞれと、対応する前記第２予測フレームと、を合成することによりＮ＋１番目からＮ＋Ｍ−１番目までの各合成フレームを生成する合成フレーム群生成手段と、
   前記合成フレーム群生成手段により生成された前記各合成フレームそれぞれと、対応する前記ディゾルブ区間候補内の各フレームと、の類似度を算出する類似度算出手段と、
   前記類似度算出手段により算出された類似度に基づき、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定する判定手段と、
   を含む、
   ことを特徴とするディゾルブ区間検出装置。
2. 請求項１に記載のディゾルブ区間検出装置において、
   Ｎ−Ｋ番目（Ｋ≧１）からＮ番目までの各フレームに基づいて、Ｎ番目のフレームを構成する複数ブロックそれぞれの動きを判定する第１動き判定手段と、
   Ｎ＋Ｍ番目からＮ＋Ｍ＋Ｌ番目（Ｌ≧１）までの各フレームに基づいて、Ｎ＋Ｍ番目のフレームを構成する複数ブロックそれぞれの動きを判定する第２動き判定手段と、
   を含み、
   前記第１予測フレーム群生成手段は、前記第１動き判定手段の判定結果に基づいて前記各第１予測フレームを生成し、
   前記第２予測フレーム群生成手段は、前記第２動き判定手段の判定結果に基づいて前記各第２予測フレームを生成する、
   ことを特徴とするディゾルブ区間検出装置。
3. 請求項１又は２に記載のディゾルブ区間検出装置において、
   前記ディゾルブ区間候補取得手段は、前記Ｍの複数の値について前記ディゾルブ区間候補の取得を行う、
   ことを特徴とするディゾルブ区間検出装置。
4. 請求項１から３までのいずれか１項に記載のディゾルブ区間検出装置において、
   前記一連のフレームについて、順次隣接フレーム間差分を算出する隣接フレーム間差分算出手段、
   を含み、
   前記ディゾルブ区間候補取得手段は、Ｉ番目のフレームとＩ＋１番目のフレームとの間の前記隣接フレーム間差分が所定の閾値以上である場合に、前記Ｉを前記Ｎとして前記ディゾルブ区間候補の取得を行う、
   を含むことを特徴とするディゾルブ区間検出装置。
5. 映像を構成する一連のフレームのうち、Ｎ番目（Ｎ≧２）からＮ＋Ｍ番目（Ｍ≧２）のフレーム区間をディゾルブ区間候補として取得するディゾルブ区間候補取得手段、及び
   前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定するディゾルブ区間判定手段、
   としてコンピュータを機能させるためのプログラムであって、
   前記ディゾルブ区間判定手段は、
   Ｎ−Ｋ番目（Ｋ≧１）からＮ番目までの各フレームに基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第１予測フレームを生成する第１予測フレーム群生成手段と、
   Ｎ＋Ｍ番目からＮ＋Ｍ＋Ｌ番目（Ｌ≧１）までの各フレームに基づいて、Ｎ＋１番目からＮ＋Ｍ−１番目までの各第２予測フレームを生成する第２予測フレーム群生成手段と、
   前記各第１予測フレームそれぞれと、対応する前記第２予測フレームと、を合成することによりＮ＋１番目からＮ＋Ｍ−１番目までの各合成フレームを生成する合成フレーム群生成手段と、
   前記合成フレーム群生成手段により生成された前記各合成フレームそれぞれと、対応する前記ディゾルブ区間候補内の各フレームと、の類似度を算出する類似度算出手段と、
   前記類似度算出手段により算出された類似度に基づき、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定する判定手段と、
   を含む、
   ことを特徴とするプログラム。

Images