JP4510749B2

JP4510749B2 - ショット境界検出装置

Info

Publication number: JP4510749B2
Application number: JP2005331510A
Authority: JP
Inventors: 一則松本; 正樹内藤; 勝菅野; 康之中島
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-11-16
Filing date: 2005-11-16
Publication date: 2010-07-28
Anticipated expiration: 2025-11-16
Also published as: JP2007142633A

Description

この発明はショット境界検出装置に関し、特に瞬間的なノイズが入った画像などを含む一般的な動画像から精度よく瞬時カットを検出できるショット境界検出装置（または、瞬時カット検出装置）に関する。

従来の動画像カット点検出装置の一例として、下記の非特許文献１に開示されているものがある。同文献では、隣接するフレームのすべての対のうち、互いに著しく異なる画像特徴を持つ対を探し出す。２枚のフレーム間の相違具合を調べるには、２枚のフレームを引数として、その相違度を数値で返す評価関数を用いる。同文献で紹介されている代表的な評価関数の中で最も評価精度が良いものは分割χ二乗検定法である。

下記の非特許文献２には、隣り合うフレーム間の非類似度だけでなく、より広い間隔をおいた２枚のフレーム間を比較して得られる非類似度を用いることで、瞬間的なノイズや被写体の動きに対してもロバストな手法が紹介されている。
「カラービデオ映像における自動索引付け法と物体探索法」、情報処理学会論文誌 Vol.33 No.４、(1992年４月)、長坂晃朗、田中譲著、社団法人情報処理学会発行「映像ショット切換え検出法とその映像アクセスインタフェースへの応用」、電子情報通信学会論文誌 Vol.J79-D２ No.４、(1996年４月)、谷口行信、外村佳伸、浜田洋著、社団法人電子情報通信学会発行

しかしながら、一般的な動画像においては、画像が暗かったり、被写体の動きが激しい等の理由により、ショット境界の前後のショットの画像特徴が非常にバリエーションに富む。このため、過剰な瞬時カット検出を抑えつつ、正しい瞬時カットを検出することが困難であった。

本発明の目的は、前記した従来技術の課題を解消し、一般的な動画像であっても、瞬時カットと呼ばれるショット境界を精度よく抽出できるショット境界検出装置を提供することにある。

前記した目的を達成するために、本発明は、瞬時カットの判定対象であるフレームおよびその前後にあるフレームの輝度情報を取得する手段と、前後のフレームから判定対象フレームを合成する際の最適なスケーリングパラメータを得る手段と、得られた最適スケーリングパラメータを前後のフレームに適用して得られる合成フレームと判定対象フレームとの輝度差分から全画素の輝度の二乗誤差の和を得る手段と、前記輝度差分を特徴量として判定対象フレームが瞬時カットであるかどうかを判定する手段とを具備し、前記最適なスケーリングパラメータを得る手段は、前記輝度情報を取得する手段が取得した前フレームの画素の輝度の二乗和、前フレームと後フレームの対応する画素の輝度の積の和、前フレームと判定対象フレームの対応する画素の輝度の積の和、後フレームの画素の輝度の二乗和、および後フレームと判定対象フレームの対応する画素の輝度の積の和を用いて高速に最適スケーリングパラメータを求めるようにした点に第１の特徴がある。

また、本発明は、前記前後のフレームは、判定対象フレームをｆとする時、ｆ＋α、ｆ−α（αは、正の整数）である点に第２の特徴がある。

本発明によれば、フレーム間の相違を検出する際の精度が良いことで知られている「分割χ二乗検定法」を、より広い間隔をおいた２枚のフレーム間を比較して得られる非類似度を用いた場合に比べても、瞬時カット検出の精度が高い特徴量を用いた判定を行なうので、過剰検出を増やすことなく、瞬時カットにおけるショット境界の検出精度を向上することができる。

また、本発明によれば、最適スケーリングパラメータを求める際、高速に最適スケーリングパラメータを求めることができる。

以下に、図面を参照して、本発明の実施形態を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。

輝度情報取得手段１は、ＭＰＥＧ等で符号化された符号化画像ストリームａから、判定対象であるフレームｆおよびその前後にあるフレーム（ｆ−α、ｆ＋α）（α＝１，２，３，・・・，１６）の各画素の輝度情報を取得する。これらのフレームの画素の輝度情報、すなわちフレームｆ−α、ｆ−α＋１、・・・、ｆ−１、ｆ、ｆ＋１、・・・、ｆ＋α−１、ｆ＋αの画素の輝度情報は、蓄積手段２に一時的に記憶される。なお、フレームの周辺部分の画像は除去するのが好ましい。

次に、最適スケーリングパラメータ演算手段３は、下記の演算により最適スケーリングパラメータを求める。図２は、この演算の概要を示すフローチャートである。

最適スケーリングパラメータ演算手段３は、まずα＝１と置き（ステップＳ１）、前記蓄積手段２から、フレームｆ−α、ｆ＋αの（Ｒ，Ｇ，Ｂ）色の画素（Ｘ_ｉ，Ｙ_ｉ）の輝度（Ｘ_ｉ ^Ｒ，Ｘ_ｉ ^Ｇ，Ｘ_ｉ ^Ｂ）、（Ｙ_ｉ ^Ｒ，Ｙ_ｉ ^Ｇ，Ｙ_ｉ ^Ｂ）を読み出す（ステップＳ２）。なお、Ｒ，Ｇ，Ｂは、それぞれ、赤、緑、青色を示す。

次に、フレームｆ−αへのスケーリングパラメータを（Ａ_Ｒ，Ａ_Ｇ，Ａ_Ｂ）とし、フレームｆ＋αへのスケーリングパラメータを（Ｂ_Ｒ，Ｂ_Ｇ，Ｂ_Ｂ）とし、合成フレームをフレームｆとする。

前記のように、フレームｆ−αの画素位置Ｘ_ｉ（ｉ＝１，２，３，・・・，ｎ）でのＲ，Ｇ，Ｂ色のそれぞれの輝度を（Ｘ_ｉ ^Ｒ，Ｘ_ｉ ^Ｇ，Ｘ_ｉ ^Ｂ）とし、フレームｆ＋αの画素位置Ｙ_ｉ（ｉ＝１，２，３，・・・，ｎ）でのＲ，Ｇ，Ｂ色のそれぞれの輝度を（Ｙ_ｉ ^Ｒ，Ｙ_ｉ ^Ｇ，Ｙ_ｉ ^Ｂ）とする。また、合成フレームｆの画素位置Ｚ_ｉ（ｉ＝１，２，３，・・・，ｎ）でのＲ，Ｇ，Ｂ色のそれぞれの輝度を、（Ｚ_ｉ ^Ｒ，Ｚ_ｉ ^Ｇ，Ｚ_ｉ ^Ｂ）とする。

そうすると、フレームｆ−αとフレームｆ＋αから、フレームｆを合成する時の残差εは、以下のようになる。なお、以下では、Ｒ色について説明するが、Ｇ色、Ｂ色についても同様である。
Ａ_ＲＸ_１ ^Ｒ＋Ｂ_ＲＹ_１ ^Ｒ−Ｚ_１ ^Ｒ＝ε_１ ^Ｒ
Ａ_ＲＸ_２ ^Ｒ＋Ｂ_ＲＹ_２ ^Ｒ−Ｚ_２ ^Ｒ＝ε_２ ^Ｒ
・
・
・
Ａ_ＲＸ_ｎ ^Ｒ＋Ｂ_ＲＹ_ｎ ^Ｒ−Ｚ_ｎ ^Ｒ＝ε_ｎ ^Ｒ
最適スケーリングパラメータは、Ｆ_Ｒ（Ａ_Ｒ，Ｂ_Ｒ）＝Σ（ε_ｉ ^Ｒ）^２とすると、Ｆ_Ｒ（Ａ_Ｒ，Ｂ_Ｒ）を最小化するＡ_ＲとＢ_Ｒを求めればよい。
スケーリングパラメータＡ_Ｒに着目すると、次のようになる。

同様に、スケーリングパラメータＢ_Ｒに着目すると、次のようになる。

前記（１）、（２）式の連立方程式を解けば、最適スケーリングパラメータＡ_ＲとＢ_Ｒが求まる（ステップＳ３）。

前記と同様の演算をすれば、Ｇ色、Ｂ色それぞれの最適スケーリングパラメータＡ_ＧとＢ_ＧおよびＡ_ＢとＢ_Ｂを求めることができる（ステップＳＳ４，Ｓ５）。

そして、ステップＳ６では、ステップＳ３〜Ｓ５で求めた最適スケーリングパラメータＡ_ＲとＢ_Ｒ、Ａ_ＧとＢ_Ｇ、およびＡ_ＢとＢ_Ｂを用いて、フレームｆのα＝１の時の特徴量をＦ_Ｒ（Ａ_Ｒ，Ｂ_Ｒ）、Ｆ_Ｇ（Ａ_Ｇ，Ｂ_Ｇ）、およびＦ_Ｂ（Ａ_Ｂ，Ｂ_Ｂ）とする。ここに、Ｆ_Ｒ（Ａ_Ｒ，Ｂ_Ｒ）、Ｆ_Ｇ（Ａ_Ｇ，Ｂ_Ｇ）、およびＦ_Ｂ（Ａ_Ｂ，Ｂ_Ｂ）は、Ｒ，Ｇ，Ｂの画素毎の二乗誤差を累積した値である。換言すれば、これらは、得られた最適スケーリングパラメータを前後のフレームに適用して得られる合成フレームと判定対象フレームとの輝度差分から得られた全画素の輝度の二乗誤差の和の値である。

ステップＳ７では、α＝１７になったか否かの判断がなされ、この判断が否定の時にはステップＳ８に進んで、αに１が加算される。そして、ステップＳ２に戻って前記と同様の処理が行われる。以上の処理が繰り返し行われ、ステップＳ７の判断が肯定になった時には、α＝１〜１６の時の最適スケーリングパラメータＡ_ＲとＢ_Ｒ、Ａ_ＧとＢ_ＧおよびＡ_ＢとＢ_Ｂを用いて、フレームｆのα＝１〜１６の時の特徴量Ｆ_Ｒ（Ａ_Ｒ，Ｂ_Ｒ）、Ｆ_Ｇ（Ａ_Ｇ，Ｂ_Ｇ）、およびＦ_Ｂ（Ａ_Ｂ，Ｂ_Ｂ）が得られたことになる。なお、フレームｆに関する特徴量Ｆ_Ｒ（Ａ_Ｒ，Ｂ_Ｒ）、Ｆ_Ｇ（Ａ_Ｇ，Ｂ_Ｇ）、およびＦ_Ｂ（Ａ_Ｂ，Ｂ_Ｂ）はα＝１〜１６であるので、４８次元となる。

ステップＳ９では、フレームｆに関するα＝１〜１６の特徴量Ｆ_Ｒ（Ａ_Ｒ，Ｂ_Ｒ）、Ｆ_Ｇ（Ａ_Ｇ，Ｂ_Ｇ）、およびＦ_Ｂ（Ａ_Ｂ，Ｂ_Ｂ）を用いて、瞬時カットまたはショット境界検出の処理が行われる。上記の処理によれば、最適スケーリングパラメータを高速で求めることができる。なお、前記ステップＳ１〜Ｓ９の処理手順は一例であり、例えばステップＳ１でα＝１６と置いて処理を開始し、ステップＳ７でα＝０になった時にステップＳ９に進むようにする等の種々の変更をすることは可能である。

これらの特徴量を使って瞬時カットを判別するためには、周知のサポートベクタマシン（ＳＶＭ）等の識別機を用いればよい。図４、図５、図６は、瞬時カットがフレーム番号１５６７と１５６８との間で発生した時の、α＝１，２，３の時の特徴量Ｆ_Ｒ（Ａ_Ｒ，Ｂ_Ｒ）、Ｆ_Ｇ（Ａ_Ｇ，Ｂ_Ｇ）、およびＦ_Ｂ（Ａ_Ｂ，Ｂ_Ｂ）の一例を示すグラフであり、横軸にフレーム番号、縦軸に特徴量が取られている。この図４、図５、図６のグラフから、前記特徴量は瞬時カットが生じているカットの所で際立った値の変化を示していることが分かる。これらの変化は周知のサポートベクタマシン（ＳＶＭ）等の識別機で容易に検出することができ、瞬時カットを容易に見つけることができる。本発明の特徴量は、瞬時カットのフレームでこのように際立った変化を見せるので、従来の分割χ二乗検定法よりも高精度な検出が可能になる。

本発明者が、「ＴＲＥＣＶＩＤ２００４」のショット境界検出タスクに対して、本発明の特徴量（最適スケーリングパラメータを前後のフレームに適用して得られる合成フレームを判定対象フレームとの輝度差分から全画素の輝度の二乗誤差）を使用しない場合（特開平１１−２５２５０９号公報の従来手法）と、使用した場合（本発明手法）で瞬時カットを検出した場合の再現率と適合率は図３のようになった。このことから、本発明の処理を導入すると、ショット境界の検出精度が向上することが確かめられた。

本発明の一実施形態の概略の構成を示すブロック図である。本実施形態の要部の動作を示すフローチャートである。従来手法と本発明手法とのショット境界の検出精度を比較する図である。 α＝１の時の特徴量を示すグラフの一例である。 α＝２の時の特徴量を示すグラフの一例である。 α＝３の時の特徴量を示すグラフの一例である。

符号の説明

１・・・輝度情報取得手段、３・・・最適スケーリングパラメータ演算手段、４・・・特徴量演算手段、５・・・瞬時カット判別手段。

Claims

瞬時カットの判定対象であるフレームおよびその前後にあるフレームの輝度情報を取得する手段と、
前後のフレームから判定対象フレームを合成する際の最適なスケーリングパラメータを得る手段と、
得られた最適スケーリングパラメータを前後のフレームに適用して得られる合成フレームと判定対象フレームとの輝度差分から全画素の輝度の二乗誤差の和を得る手段と、
前記輝度差分を特徴量として判定対象フレームが瞬時カットであるかどうかを判定する手段とを具備し、
前記最適なスケーリングパラメータを得る手段は、前記輝度情報を取得する手段が取得した前フレームの画素の輝度の二乗和、前フレームと後フレームの対応する画素の輝度の積の和、前フレームと判定対象フレームの対応する画素の輝度の積の和、後フレームの画素の輝度の二乗和、および後フレームと判定対象フレームの対応する画素の輝度の積の和を用いて高速に最適スケーリングパラメータを求めることを特徴とするショット境界検出装置。
請求項１に記載の瞬時カット検出装置において、
前記前後のフレームは、判定対象フレームをｆとする時、ｆ＋α、ｆ−α（αは、正の整数）であることを特徴とするショット境界検出装置。