JP3738939B2 - 動画像のカット点検出装置 - Google Patents
動画像のカット点検出装置 Download PDFInfo
- Publication number
- JP3738939B2 JP3738939B2 JP7139898A JP7139898A JP3738939B2 JP 3738939 B2 JP3738939 B2 JP 3738939B2 JP 7139898 A JP7139898 A JP 7139898A JP 7139898 A JP7139898 A JP 7139898A JP 3738939 B2 JP3738939 B2 JP 3738939B2
- Authority
- JP
- Japan
- Prior art keywords
- cut point
- moving image
- frame
- detection device
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は動画像データのカット点検出装置に関し、特に、動画像検索においてシーンを分類するためのカット点検出を、非常に高速にかつ高精度で行うことのできるカット点検出装置に関する。
【０００２】
【従来の技術】
動画像の意味的な区分点であるシーンチェンジとしては、瞬時にシーンが変化する瞬時カット点のほか、ディゾルブやワイプなどの特殊効果によるシーンチェンジも含まれる。
【０００３】
瞬時カット点を検出する方法として、輝度成分や動きなどの特徴量の大きな変化を利用するものが挙げられる。例えば金子、堀による“ＭＰＥＧ動画像の高速カット検出方式”、情報処理学会全国大会、５Ｎ−２（１９９７）では、動きベクトルの符号量を用いてフレーム間での類似度を定義し、類似度のピークを検出することにより瞬時カット点を検出している。また、中島による“フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出”、電子情報通信学会春季大会、Ｄ−５０１（１９９４）では、離散的なフレームのデータを用い、フレーム間輝度差分と色差相関の時間的なピークを組み合わせて瞬時カット点を検出している。
【０００４】
また、瞬時カット点と誤検出されやすいフラッシュシーンの判定については、連続した複数のフレーム間での相関性を調べることで、その判定を行っている。例えば特願平9-041709号では、カット点検出対象のフレームｎ（ｎは正の整数）とフレーム（ｎ−1 ）との相関と、フレーム（ｎ＋1 ）とフレーム（ｎ−1 ）との相関を取り、前者の２つのフレーム間で瞬時カット点が存在し、後者の２つのフレーム間では瞬時カット点が存在しないと判定される場合には、該フレームｎはフラッシュシーンであると判定している。
【０００５】
ディゾルブやフェードイン／フェードアウト、ワイプなどの特殊効果は、ある期間持続する遷移であるため、輝度の変化やフレーム間差分など、画像領域でのある特徴値を連続的に観測することで判定することができる。例えば縮小画像を用いる方法として、特願平8-252333号では、各フレームの輝度成分の画面内アクティビティからフレーム間のアクティビティの移動平均を求め、さらに各フレームの色差信号のヒストグラムからフレーム間の色差ヒストグラムの相関値を求め、これらの時間的変化がそれぞれに対して設定された閾値を超える場合にディゾルブであると判定している。また、これとは別に符号化パラメータを用いる例として、新倉、谷口、外村らによる“ＭＰＥＧ符号化映像データからのシーンチェンジ検出方法の検討”、電子情報通信学会技術研究報告、ＩＥ９７−６５（１９９７）では、ディゾルブ区間において予測誤差が比較的大きな値となり、且つその符号が一定となる性質を利用して、ディゾルブ区間を検出している。
【０００６】
同様にワイプの判定に関しては、例えば縮小画像から行う検出の例として、前出の特願平9-041709号では、ある区間におけるフレーム間差分値がある閾値を超えるフレーム数がある閾値より多く、且つその区間の前後の区間においてフレーム間差分値がある閾値以下のフレーム数がある閾値より多い場合に、ワイプと判定している。これに対して、符号化パラメータからワイプ検出を行う例はこれまで報告がない。
【０００７】
【発明が解決しようとする課題】
これらの従来手法によるカット点検出技術は、次のような問題を有している。まずカット点検出の前処理として縮小画像を作成する方法では、特に対象となる画像のサイズが大きくなると縮小画像生成部８４での処理コストが無視できなくなり、全体の検出処理の高速化を実現できないという問題があった。例えば、標準ＴＶレベルのサイズを対象とした場合には、圧縮データを再生するのと同程度の検出時間を必要としていた。
【０００８】
さらに、作成した縮小画像間での特徴量の変化を利用してカット点の検出を行う方法では、復号したフレームを保持する必要があり、同様に画像のサイズが大きくなると装置コストの増大につながるという問題があった。
【０００９】
また、検出処理の高速化を図るために、判定の対象とするフレームを画像内符号化フレームに限定する方法等では、これらが時間方向で離散的に配置されているために、カメラや物体が動くシーンについてもシーンチェンジとして誤って検出してしまうケースが見られた。
【００１０】
圧縮動画像データを可変長復号することによって得られる符号化パラメータを用いてカット点の検出を行う方法では、例えば全てのブロックの符号化パラメータを抽出する必要があるため、画像のサイズが大きくなった場合には検出時間の増大を招いていた。例えば、標準ＴＶサイズの画像では、圧縮データを再生する場合の１．４倍程度の速度しか実現できなかった。
【００１１】
さらに、符号化パラメータを用いる方法によりディゾルブやワイプなどの特殊カット点を検出する場合には、これらの特殊カット点を精度良く検出することが困難であり、信頼性の点で問題があった。
【００１２】
本発明の目的は、従来のカット点検出装置よりも大幅に少ない処理で、ディゾルブやワイプなどの特殊カット点を含むシーンチェンジを、高速に且つ高精度で検出することのできるカット点検出装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明は、動画像のカット点検出装置において、圧縮された動画像データを、ビデオ信号多重化復号する手段と、該手段によって得られたビデオ信号多重化復号情報から、ブロックの動きベクトル及び変換符号化係数を少なくとも抽出する手段と、フレームの前記動きベクトルの平均値がある第１の閾値より小さく、その分散がある第２の閾値より大きく、ブロック内における非零係数のブロック当たりの平均値及び非零係数が存在する周波数帯域から定義される予測誤差がそれぞれある第３、第４の閾値より小さい場合に、ディゾルブ候補、平坦な静止シーン又は動きの小さいシーン候補であると判定する手段とを具備する点に第１の特徴がある。
【００１４】
また、本発明は、フレームの前記動きベクトルの平均値及び分散が共にある閾値より大きい場合に、ブロック内における非零係数が存在する周波数帯域のブロック当たりの平均値がある閾値より小さい場合にカメラの動きのあるシーンとし、ある閾値より大きい場合にワイプの候補であると判定する手段とを具備した点に第２の特徴がある。
【００２０】
本発明によれば、圧縮データ中の符号化パラメータから、瞬時カット点及びディゾルブ、ワイプを含む特殊カット点を、非常に高速に、且つ高精度に検出することが可能となる。
【００２１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図９のフローチャートにより本発明の概要を説明する。まず、ステップＳ１にて、画像が入力される。ステップＳ２では、該画像から符号化パラメータが抽出される。ステップＳ３では、該抽出された符号化パラメータを用いて、瞬時カット画面であるか否かの判断がなされる。この判断が否定の時にはステップＳ４に進み、肯定の時にはステップＳ９に進む。ステップＳ４では、特殊カット画面であるディゾルブ画面を検出したか否かの判断がなされる。この判断が肯定の時にはステップＳ５に進んでその旨が登録される。前記ステップＳ４の判断が否定の時にはステップＳ６に進んでワイプ画面を検出したか否かの判断がなされる。この判断が肯定の時にはステップＳ７に進んでその旨が登録される。その後、ステップＳ８に進む。
【００２２】
一方、前記ステップＳ３が肯定の時にはステップＳ９に進んでフラッシュを検出したか否かの判断がなされる。この判断が否定の時にはステップＳ１０に進んで、瞬時カット画面であると登録される。該ステップＳ９の判断が肯定の時にはステップＳ８に進む。ステップＳ８では、画像入力が最終のフレームであるか否かの判断がなされ、この判断が否定の時には、ステップＳ１に戻って、次のフレームの画像が入力される。この発明は、前記ステップＳ２で抽出された符号化パラメータを用いて、ステップＳ３、Ｓ４、Ｓ６、およびＳ９の処理をするようにした点に特徴がある。
【００２３】
次に、本発明の一実施形態を、図１のブロック図を参照して、詳細に説明する。なお、本実施形態では、汎用動画像符号化の国際標準であるＭＰＥＧによって圧縮された動画像データからのカット点検出方法について説明するが、本発明はこれに限定されるものではなく、他の圧縮方法により圧縮された符号化データに対しても、同様な処理によりカット点の検出を行うことができる。
【００２４】
ここでＭＰＥＧデータは、１５又は１２フレームで１つの画面群単位をなし、Ｉピクチャ又はＰピクチャの現れる周期は３であるとする。また、ある画面群単位の先頭のＢピクチャは、直前の画面群単位からの予測を使えるものとする。これらの条件は、一般的なＭＰＥＧフォーマットの一つである。
【００２５】
まずＭＰＥＧ圧縮データが可変長復号部１に入力されると、対象フレーム抽出部２で判定に用いられるフレームのみを取り出せるように、フレームの開始コードと時間参照値を基に圧縮データが読み飛ばされる。さらに、該フレームに対して、対象スライス抽出部３で判定に用いられるブロックが属する領域のみを取り出せるように、スライスの開始コードを基に圧縮データが読み飛ばされる。例えば、図３(a) (b) に示すように、前記対象フレーム抽出部２で抽出されるフレームは後方の参照フレームに近いＢピクチャ（Ｂ1 、Ｂ4 、Ｂ7 、Ｂ10、…）とし、前記対象スライス抽出部３で抽出される領域は該Ｂピクチャに属するスライスを垂直方向に間引いて得られる領域Ｓ1 〜Ｓ5 とすることができる。
【００２６】
該領域Ｓ1 〜Ｓ5 に属するブロックからカット点検出に必要な符号化パラメータを抽出するために、該ブロックは符号化パラメータ抽出部４に入力される。
【００２７】
以下に、図２を参照して、該符号化パラメータ抽出部４の構成と動作を説明する。図２は該符号化パラメータ抽出部４の一具体例を示すブロック図である。該符号化パラメータ抽出部４は、符号化モード抽出部１１と、符号化モードパラメータ算出部１２と、動きベクトル値抽出／変換処理部１３と、動きベクトルパラメータ算出部１４と、符号化ブロックパターン抽出部１５と、予測誤差情報抽出部１６とから構成されている。
【００２８】
前記符号化モード抽出部１１は入力されてきたブロックを、予測符号化モードの種類よって分類する。そして、符号化モードパラメータ算出部１２において、順方向予測符号化モードを持つブロック数Ｎfwd と、逆方向予測符号化モードを持つブロック数Ｎbwd を数える。
【００２９】
次に、前記動きベクトル値抽出／変換処理部１３は前記ブロックを可変長復号する。該可変長復号で得られるベクトル値は左隣のベクトル値との差分値であるため、該動きベクトル値抽出／変換処理部１３はさらに該差分値を正規のベクトル値に変換する。この差分値は、フレームの最左端のブロック、この場合ではスライスの先頭で初期化されるため、本発明のようにスライス単位で間引き処理を行っても、正確なベクトル値を再現できる。
【００３０】
こうして得られたベクトル値は、動きベクトルパラメータ算出部１４において該領域に対して積算され、該領域全体での動きベクトルの平均値及び分散が出力される。これらは、順方向及び逆方向の、ｘ成分（水平方向）及びｙ方向（垂直方向）に対して、下記の式(1) 〜(4) のように、Ｍmvfx、Ｍmvfy、Ｍmvbx、Ｍmvby、及びＶmvfx、Ｖmvfy、Ｖmvbx、Ｖmvbyが定義される。
【００３１】
【数１】
【００３２】
【数２】
ここで、Ｍmvは動きベクトルの平均値、Ｖmvは動きベクトルの分散を表し、ｆは順方向、ｂは逆方向、ｘは水平方向、ｙは垂直方向を表す。
【００３３】
例えば、Ｍmvfxは順方向動きベクトルの水平成分の平均値を表し、Ｖmvbyは逆方向動きベクトルの垂直成分の分散を表す。また、絶対値がある閾値（例えば４）より大きい順方向動きベクトルを持つブロック数をＮfmc 、絶対値がある閾値（例えば２）より大きい逆方向動きベクトルを持つブロック数をＮbmc とする。さらに、動きベクトルの成分が（０，０）でない順方向動きベクトルを持つブロック数をＮmvf 、逆方向ベクトルを持つブロック数をＮmvb とする。
【００３４】
次に、該領域Ｓ１〜Ｓ５に属するブロックにおいて、それらに属するサブブロックの符号化／非符号化を表わす符号化パラメータが、符号化ブロックパターン抽出部１５に入力される。該符号化ブロックパターン抽出部１５で抽出された値は該領域に対して積算され、該領域全体での符号化輝度サブブロック数Ｓｙ及び符号化色差サブブロック数Ｓｃが数えられる。
【００３５】
さらに、該ブロックに属するサブブロックにおいて、ＤＣＴ係数に関する符号化パラメータが予測誤差情報抽出部１６へ入力される。ここでは、可変長復号されたＤＣＴ係数に関する符号化パラメータを用いて、該領域に属するｉ番目の符号化サブブロック３１に対して図４のように直流成分を除く非零係数（レベル）のブロック当たりの絶対値累積和ＢＬi の該サブブロック全体での総和及び非零係数が存在する周波数帯域ＢＲi （サブブロックの最後の非零係数までの０ラン数＋非零係数の個数）の該サブブロック全体での総和を求め、これを下式(5) 及び(6) に示すように該符号化サブブロック数Ｎsbc で除することにより、該領域に属するサブブロックの平均レベルＡＢＬ及び平均ラン長ＡＢＲを求める。
【００３６】
【数３】
ここで、該符号化サブブロック数Ｎsbc は、輝度符号化サブブロック数Ｓｙ、色差符号化サブブロック数Ｓｃ又はＳｙ＋Ｓｃのいずれかを用いることができる。以上の符号化パラメータが抽出されると、前記フレームはこれらの符号化パラメータと共に、図１の各カット点判定処理部５、６に入力される。最初に瞬時カット点判定処理部５、そして後処理としてのフラッシュ判定処理部６に入力される。
【００３７】
ここで、図５(a) のように、該フレームｎの直後の参照フレーム（フレーム内符号化画像又はフレーム間順方向予測画像）で瞬時カットが起きた場合、順方向から予測が多く行われ、逆方向からの予測は殆ど行われない。したがって、符号化モードパラメータ算出部１２で得られたＮfwd 及びＮbwd に対し、下記の式(7) に示すようにＮfwd がある閾値Ｔha1 （例えば、該フレーム内の全ブロック数の３５％等）より大きく、Ｎbwd がある閾値Ｔha2 （例えば、該フレーム内の全ブロック数の１０％等）より小さい場合、該フレームｎの直後の参照フレームが瞬時カット点候補であると判定できる。
Ｎfwd ＞Ｔha1 かつＮbwd ＜Ｔha2 …(7)
そして、フラッシュ判定処理部６により直前の該フレームｎ−1 により瞬時カット点が検出されていなければ、フレームｎは瞬時カット点として検出される。同様にして、図５(b) のように、該フレームｎまたは直前のＢピクチャに瞬時カット点が存在する場合、逆方向からの予測が多く行われ、順方向からの予測は殆ど行われない。したがって、下記の式(8) のように、Ｎbwd が閾値Ｔha3 （例えば該フレーム内の全ブロック数の３０％など）より大きく、Ｎfwd がＴha4 （例えば全ブロック数の５％など）より小さい場合、該フレームｎ又は直前のＢピクチャが瞬時カット点であると判定できる。
Ｎbwd ＞Ｔha3 かつＮfwd ＜Ｔha4 …(8)
そして、フラッシュ判定処理部６により直前の該フレームｎ−1 により瞬時カット点が検出されていなければ、フレームｎ又は直前のＢピクチャは瞬時カット点として検出される。このとき、どちらのＢピクチャでシーンチェンジが起こったかを明確化するには、図５(c) のように、Ｉ又はＰに挟まれた２つのＢピクチャを対象フレームとして瞬時カット点検出を行う。
【００３８】
例えば、最初のＢピクチャＢ１と２番目のＢピクチャＢ２において、Ｂ１で順方向予測が多く行われるが、逆方向予測が殆ど行われず、逆にＢ２で順方向予測が殆ど行われないが、逆方向予測が多く行われた場合には、Ｂ２が瞬時カット点であると判定できる。これに対して、Ｂ１およびＢ２が共に、逆方向予測が多く行われるが順方向予測が殆ど行われなかった場合には、Ｂ１が瞬時カット点であると判定する。
【００３９】
該フレームｎ及びｎ−1 により連続して瞬時カット点が検出された場合には、該フレームはフラッシュ区間にあるとみなされ、瞬時カット点の対象から除外される。従って、この後の特殊カット点判定処理部７にも移行しない。
【００４０】
瞬時カット点判定処理部５及びフラッシュ判定処理部６を経て瞬時カット点と判定されたフレームは、検出カット点登録処理部８で、その時間コードが登録される。
【００４１】
瞬時カット点判定処理部５により瞬時カット点として検出されなかったフレームは、特殊カット点判定処理部７に送られる。該特殊カット点判定処理部７は、図６に示されているように、パラメータ評価部２０と、サブ処理としてのディゾルブ判定処理部２１、第１のワイプ判定処理部２２、及び第２のワイプ判定処理部２３を有している。
【００４２】
以下に、これらの動作を、図７および図８を参照して説明する。図７は該動作を説明するためのフローチャート、図８はワイプ画面の説明図である。
【００４３】
まず特殊カット点判定処理部７のパラメータ評価部２０には、ディゾルブ／ワイプ判定に必要な共通要素として、動きベクトルパラメータ算出部１４により得られた動きベクトルの平均値Ｍmv及び分散Ｖmvと、予測誤差情報に関するパラメータＡＢＬ及びＡＢＲ、すなわち、サブブロックの平均レベルＡＢＬ及び平均ラン長ＡＢＲが入力される。また、逆方向動きベクトルを持つブロック数Ｎbmc がディゾルブに対して有意な判定要素として入力され、該Ｎbmc に加えて順方向ベクトルに関するＮfmc がワイプに対して有意な判定要素として入力される。
【００４４】
パラメータ評価部２０は、入力された各パラメータを閾値処理により評価し、各サブ処理（ディゾルブ判定、第１のワイプ判定、第２のワイプ判定）の条件に合致する該フレームをそれらの各サブ処理の判定処理部２１〜２３に移行する。ここで、該フレームのパラメータがどのサブ処理の条件にも合致しなかった場合には、次のフレーム入力処理へ移行する。
【００４５】
ディゾルブ期間では動きが殆どないため、小さい動きベクトルがランダムに発生することが予想される。さらに、徐々にシーンが遷移するディゾルブでは、動き補償予測が効果的に行われることが予想される。したがって、パラメータ評価部２０は、図７のステップＳ２１に示されているように、該フレームにおける動きベクトルのｘ方向に関する平均値Ｍmvfx、Ｍmvbxがある閾値Ｔhd1 （例えば絶対値が２など）より小さく、分散Ｖmvfxがある閾値Ｔhd2 （例えば５０など）より大きい場合、さらにＡＢＬ及びＡＢＲがそれぞれある閾値Ｔhd3 （例えば２．５）及びＴhd4 （例えば１５など）より小さい場合に、該フレームをディゾルブ判定処理部２１へ送出する。
【００４６】
ただし、この特性は平坦な静止シーンあるいはフレーム全体で小さい動きを持つシーンにおいても見られる傾向であるため、ディゾルブ判定処理部２１では、平坦な静止シーン／小さな動きシーンと、ディゾルブとを区別する。
【００４７】
平坦な静止シーンまたは小さな動きシーンでは、動きの分布状況が変化しないと考えられるため、ディゾルブ判定処理部２１に入力された該ディゾルブ候補フレーム数Ｆd を観測すると、逆方向動きベクトルを持つブロック数Ｎbmc が大きい値を持続する。これに対して、新しいシーンが合成されることによって動きの分布状況が変化するディゾルブでは、該Ｎbmc に何らかの変化が見られる（例えば急激に減少するなど）。
【００４８】
ここで、連続したフレームの特徴を調べるために、該フレームはディゾルブ判定処理部２１に入ると、図７のステップＳ３１に示されているように、ディゾルブ候補フレーム数Ｆd のカウンタが増やされ、これがある閾値ＴＨＤ１（例えば５）を超えた場合（ステップＳ３２の判断が肯定）に、ステップＳ３３に進んで、Ｎbmc の時間変化が評価される。Ｆd がＴＨＤ１を超えないうちは（ステップＳ３２の判断が否定）、ステップＳ３５に進んで新たなフレーム入力処理に移る。ここで、ワイプ候補フレーム数のカウンタＦw1およびＦw2はクリアされる。なお、図中の▲１▼は全て図９の▲１▼へ進む。また、Ｆd は該フレームがディゾルブ判定処理部２１に入力されなかった場合にはクリアされる。
【００４９】
ＴＨＤ１を超えたＦd 枚の連続した該フレーム群に対して、それらのＮbmc が大きな値で持続する場合（ステップＳ３４の判断が否定）は、平坦な静止シーンまたはフレーム全体で動きの小さいシーン、そうでない場合（ステップＳ３４の判断が肯定）は、ディゾルブ期間であると判定することができる。ただし、Ｆd がＴＨＤ１を大きく上回った場合には、ディゾルブ期間とは判定されない（ステップＳ３３が肯定）。
【００５０】
ディゾルブ判定処理部２１においてディゾルブと判定された該フレーム群は、検出カット点登録処理部８（図１参照）に送られ、ディゾルブ終了後の該フレームの時間コードが登録される。ディゾルブと判定されなかった場合には、新たなフレーム入力処理（図９のステップＳ１）に戻る。
【００５１】
一方、パラメータ評価部２０での評価で、４つの動きベクトルの平均値Ｍmvのうちいずれかがある閾値Ｔhw1 （例えば絶対値が１０など）より大きく、かつ４つの分散Ｖmvのうちいずれかがある閾値Ｔhw2 （例えば１００など）よりも大きい場合（ステップＳ２２の判断が肯定）には、第１のワイプ判定処理部２２へ進む。前記２つの条件は同時には満たされないが、４つのＶmvのうちいずれかがある閾値Ｔhw3 （例えば５０など）より大きい場合（ステップＳ２３の判断が肯定）には、該フレームは第２のワイプ判定処理部２３へ、それぞれ移行する。
【００５２】
図８のワイプモデルにおいて、前記第１のワイプ判定処理部２２で検出されるワイプは、同図の(a) または(b) のタイプであり、第２のワイプ判定処理部２３で検出されるワイプは、同図の(c) のタイプである。
【００５３】
シーンの中にパニング等のカメラの動きやフレーム全体での物体の動き等が存在する場合、動きベクトルの平均値及び分散が共に大きい性質を示す。したがって、図８の(a) や (b)のような大きなベクトルの現れるワイプとの区別を行うために、第１のワイプ判定処理部２２において以下の処理を行う。
【００５４】
カメラや物体が動くシーンでは、フレーム全体で動き補償予測が効果的に行われるため、予測誤差のフレーム平均は一般に小さいと見なせる。一方、ワイプでは新たなシーンが現れるために、動き補償が効果的に利用できる領域は限定され、その結果予測誤差のフレーム平均が大きくなる。従って、該フレームのＡＢＲがＴhw4 （例えば１０など）より大きい場合（ステップＳ４１の判断が肯定）にはワイプ候補であると判定し、そうでない場合にはカメラまたは物体の動きシーンであると判定することができる。そして、ワイプ候補となったフレームの数Ｆw1がある閾値ＴＨＷ１（例えば１０または１１）に達した場合（ステップＳ４３の判断が肯定）に、該フレーム群はワイプ期間に存在すると判定する。なお、さらに、Ｆw1がＴＨＷ１を大きく超えた場合にはワイプ期間とは判定されない（ステップＳ４４）。
【００５５】
これに対して、静止シーン又はフレームが部分的に動くシーンでは、動きベクトルの分散が大きくなる性質を示す。したがって、第２のワイプ判定処理部２３では、図８の(c) のような大きなベクトルの現れないワイプとこれらのシーンを区別するために、以下の処理を行う。
【００５６】
まず、前と同様に、ワイプでは予測誤差情報のフレーム平均が大きくなることを用いて、ＡＢＬ及びＡＢＲを閾値Ｔhw5 （例えば２．５）およびＴhw6 （例えば１２）によって閾値処理（ステップＳ５１）し、ワイプ候補となるフレームを選択する。
【００５７】
ワイプ期間では合成される２つのシーンの動きの分布が異なるため、ある連続したフレーム群に対して有意なベクトルをもつブロック数を観察すると、それらは減少または増加の傾向を示す。これに対して、静止シーンまたはフレームの一部の動きシーンでは、連続したフレーム群の有意ベクトルをもつブロック数は、大きい値または小さい値で変化が殆どない。したがって、第２のワイプ判定処理部２３でワイプとの候補となったＦw ２枚のフレームがある閾値ＴＨＷ３（例えば５）を超え（ステップＳ５３の判断が肯定）、それらのＮfmc とＮbmc が大きい値または小さい値で持続する場合には静止シーンであり、Ｎfmc とＮbmc が共に増加または減少の傾向を示す場合（ステップＳ５５の判断が肯定）には、該フレーム群はワイプ期間に存在すると判定できる。一方、ステップＳ５５の判断が否定の場合には、静止シーンまたはフレームの一部の動きシーンであると判定する。なお、第１のワイプ判定処理部２２と同様に、Ｆw2がＴＨＷ３を大きく超えた場合には、ワイプ期間とは判定されない（ステップＳ５４）。
【００５８】
前記第１のワイプ判定処理部２２又は第２のワイプ判定処理部２３においてワイプと判定されたフレーム群は、検出カット点登録処理部８に移行し、ワイプ終了後のフレームの時間コードが登録される（図９のステップＳ７）。
【００５９】
【発明の効果】
以上のように本発明によれば、圧縮された動画像データから、最低限の復号処理であるビデオ信号多重化復号のみで抽出される符号化パラメータだけを用いて瞬時カット点検出、及びディゾルブやワイプなどの特殊カットを検出できるので、カット点検出に伴う処理時間を大幅に削減できるという効果がある。また、各種カット点の符号化パラメータレベルでの統計的な性質を検出に利用しているため、精度の高い検出が可能となる。
【００６０】
一例として、これまでカット点の検出処理時間として再生と同程度の時間を要していた標準ＴＶレベルのサイズの画像を用いた場合では、縮小画像を利用してカット点を検出する方法と比較して、本発明は再生の６倍以上の速度を実現し、精度についても比較手法と同等又はそれ以上の検出率を達成することができた。また、本発明は、抽出した符号化パラメータに対して複雑な演算処理を施す必要もなく、単純な閾値処理と積和演算処理程度でカット点の検出を行うことができるため、装置コストを大幅に削減できるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 図１の符号化パラメータ抽出部の一具体例を示すブロック図である。
【図３】 カット点検出に用いられるフレームの時間的及び空間的間引きの説明図である。
【図４】 可変長復号されたＤＣＴ係数に関する符号化パラメータの説明図である。
【図５】 瞬時カット画面の説明図である。
【図６】 図１の特殊カット点判定処理部の一具体例を示すブロック図である。
【図７】 図１の特殊カット点判定処理部の動作を示すフローチャートである。
【図８】 ワイプ画面の説明図である。
【図９】 本発明の動作の概要を示すフローチャートである。
【符号の説明】
１…可変長復号部、２…対象フレーム抽出部、３…対象スライス抽出部、４…符号化パラメータ抽出部、５…瞬時カット点判定処理部、６…フラッシュ判定処理部、７…特殊カット点判定処理部、８…検出カット点登録処理部、１１…符号化モード抽出部、１２…符号化モードパラメータ算出部、１３…動きベクトル値抽出／変換処理部、１４…動きベクトルパラメータ算出部、１５…符号化ブロックパターン抽出部、１６…予測誤差情報抽出部、２０…パラメータ評価部、２１…ディゾルブ判定処理部、２２…第１のワイプ判定処理部、２３…第２のワイプ判定処理部、３１…ｉ番目の符号化サブブロック。
【発明の属する技術分野】
本発明は動画像データのカット点検出装置に関し、特に、動画像検索においてシーンを分類するためのカット点検出を、非常に高速にかつ高精度で行うことのできるカット点検出装置に関する。
【０００２】
【従来の技術】
動画像の意味的な区分点であるシーンチェンジとしては、瞬時にシーンが変化する瞬時カット点のほか、ディゾルブやワイプなどの特殊効果によるシーンチェンジも含まれる。
【０００３】
瞬時カット点を検出する方法として、輝度成分や動きなどの特徴量の大きな変化を利用するものが挙げられる。例えば金子、堀による“ＭＰＥＧ動画像の高速カット検出方式”、情報処理学会全国大会、５Ｎ−２（１９９７）では、動きベクトルの符号量を用いてフレーム間での類似度を定義し、類似度のピークを検出することにより瞬時カット点を検出している。また、中島による“フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出”、電子情報通信学会春季大会、Ｄ−５０１（１９９４）では、離散的なフレームのデータを用い、フレーム間輝度差分と色差相関の時間的なピークを組み合わせて瞬時カット点を検出している。
【０００４】
また、瞬時カット点と誤検出されやすいフラッシュシーンの判定については、連続した複数のフレーム間での相関性を調べることで、その判定を行っている。例えば特願平9-041709号では、カット点検出対象のフレームｎ（ｎは正の整数）とフレーム（ｎ−1 ）との相関と、フレーム（ｎ＋1 ）とフレーム（ｎ−1 ）との相関を取り、前者の２つのフレーム間で瞬時カット点が存在し、後者の２つのフレーム間では瞬時カット点が存在しないと判定される場合には、該フレームｎはフラッシュシーンであると判定している。
【０００５】
ディゾルブやフェードイン／フェードアウト、ワイプなどの特殊効果は、ある期間持続する遷移であるため、輝度の変化やフレーム間差分など、画像領域でのある特徴値を連続的に観測することで判定することができる。例えば縮小画像を用いる方法として、特願平8-252333号では、各フレームの輝度成分の画面内アクティビティからフレーム間のアクティビティの移動平均を求め、さらに各フレームの色差信号のヒストグラムからフレーム間の色差ヒストグラムの相関値を求め、これらの時間的変化がそれぞれに対して設定された閾値を超える場合にディゾルブであると判定している。また、これとは別に符号化パラメータを用いる例として、新倉、谷口、外村らによる“ＭＰＥＧ符号化映像データからのシーンチェンジ検出方法の検討”、電子情報通信学会技術研究報告、ＩＥ９７−６５（１９９７）では、ディゾルブ区間において予測誤差が比較的大きな値となり、且つその符号が一定となる性質を利用して、ディゾルブ区間を検出している。
【０００６】
同様にワイプの判定に関しては、例えば縮小画像から行う検出の例として、前出の特願平9-041709号では、ある区間におけるフレーム間差分値がある閾値を超えるフレーム数がある閾値より多く、且つその区間の前後の区間においてフレーム間差分値がある閾値以下のフレーム数がある閾値より多い場合に、ワイプと判定している。これに対して、符号化パラメータからワイプ検出を行う例はこれまで報告がない。
【０００７】
【発明が解決しようとする課題】
これらの従来手法によるカット点検出技術は、次のような問題を有している。まずカット点検出の前処理として縮小画像を作成する方法では、特に対象となる画像のサイズが大きくなると縮小画像生成部８４での処理コストが無視できなくなり、全体の検出処理の高速化を実現できないという問題があった。例えば、標準ＴＶレベルのサイズを対象とした場合には、圧縮データを再生するのと同程度の検出時間を必要としていた。
【０００８】
さらに、作成した縮小画像間での特徴量の変化を利用してカット点の検出を行う方法では、復号したフレームを保持する必要があり、同様に画像のサイズが大きくなると装置コストの増大につながるという問題があった。
【０００９】
また、検出処理の高速化を図るために、判定の対象とするフレームを画像内符号化フレームに限定する方法等では、これらが時間方向で離散的に配置されているために、カメラや物体が動くシーンについてもシーンチェンジとして誤って検出してしまうケースが見られた。
【００１０】
圧縮動画像データを可変長復号することによって得られる符号化パラメータを用いてカット点の検出を行う方法では、例えば全てのブロックの符号化パラメータを抽出する必要があるため、画像のサイズが大きくなった場合には検出時間の増大を招いていた。例えば、標準ＴＶサイズの画像では、圧縮データを再生する場合の１．４倍程度の速度しか実現できなかった。
【００１１】
さらに、符号化パラメータを用いる方法によりディゾルブやワイプなどの特殊カット点を検出する場合には、これらの特殊カット点を精度良く検出することが困難であり、信頼性の点で問題があった。
【００１２】
本発明の目的は、従来のカット点検出装置よりも大幅に少ない処理で、ディゾルブやワイプなどの特殊カット点を含むシーンチェンジを、高速に且つ高精度で検出することのできるカット点検出装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明は、動画像のカット点検出装置において、圧縮された動画像データを、ビデオ信号多重化復号する手段と、該手段によって得られたビデオ信号多重化復号情報から、ブロックの動きベクトル及び変換符号化係数を少なくとも抽出する手段と、フレームの前記動きベクトルの平均値がある第１の閾値より小さく、その分散がある第２の閾値より大きく、ブロック内における非零係数のブロック当たりの平均値及び非零係数が存在する周波数帯域から定義される予測誤差がそれぞれある第３、第４の閾値より小さい場合に、ディゾルブ候補、平坦な静止シーン又は動きの小さいシーン候補であると判定する手段とを具備する点に第１の特徴がある。
【００１４】
また、本発明は、フレームの前記動きベクトルの平均値及び分散が共にある閾値より大きい場合に、ブロック内における非零係数が存在する周波数帯域のブロック当たりの平均値がある閾値より小さい場合にカメラの動きのあるシーンとし、ある閾値より大きい場合にワイプの候補であると判定する手段とを具備した点に第２の特徴がある。
【００２０】
本発明によれば、圧縮データ中の符号化パラメータから、瞬時カット点及びディゾルブ、ワイプを含む特殊カット点を、非常に高速に、且つ高精度に検出することが可能となる。
【００２１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図９のフローチャートにより本発明の概要を説明する。まず、ステップＳ１にて、画像が入力される。ステップＳ２では、該画像から符号化パラメータが抽出される。ステップＳ３では、該抽出された符号化パラメータを用いて、瞬時カット画面であるか否かの判断がなされる。この判断が否定の時にはステップＳ４に進み、肯定の時にはステップＳ９に進む。ステップＳ４では、特殊カット画面であるディゾルブ画面を検出したか否かの判断がなされる。この判断が肯定の時にはステップＳ５に進んでその旨が登録される。前記ステップＳ４の判断が否定の時にはステップＳ６に進んでワイプ画面を検出したか否かの判断がなされる。この判断が肯定の時にはステップＳ７に進んでその旨が登録される。その後、ステップＳ８に進む。
【００２２】
一方、前記ステップＳ３が肯定の時にはステップＳ９に進んでフラッシュを検出したか否かの判断がなされる。この判断が否定の時にはステップＳ１０に進んで、瞬時カット画面であると登録される。該ステップＳ９の判断が肯定の時にはステップＳ８に進む。ステップＳ８では、画像入力が最終のフレームであるか否かの判断がなされ、この判断が否定の時には、ステップＳ１に戻って、次のフレームの画像が入力される。この発明は、前記ステップＳ２で抽出された符号化パラメータを用いて、ステップＳ３、Ｓ４、Ｓ６、およびＳ９の処理をするようにした点に特徴がある。
【００２３】
次に、本発明の一実施形態を、図１のブロック図を参照して、詳細に説明する。なお、本実施形態では、汎用動画像符号化の国際標準であるＭＰＥＧによって圧縮された動画像データからのカット点検出方法について説明するが、本発明はこれに限定されるものではなく、他の圧縮方法により圧縮された符号化データに対しても、同様な処理によりカット点の検出を行うことができる。
【００２４】
ここでＭＰＥＧデータは、１５又は１２フレームで１つの画面群単位をなし、Ｉピクチャ又はＰピクチャの現れる周期は３であるとする。また、ある画面群単位の先頭のＢピクチャは、直前の画面群単位からの予測を使えるものとする。これらの条件は、一般的なＭＰＥＧフォーマットの一つである。
【００２５】
まずＭＰＥＧ圧縮データが可変長復号部１に入力されると、対象フレーム抽出部２で判定に用いられるフレームのみを取り出せるように、フレームの開始コードと時間参照値を基に圧縮データが読み飛ばされる。さらに、該フレームに対して、対象スライス抽出部３で判定に用いられるブロックが属する領域のみを取り出せるように、スライスの開始コードを基に圧縮データが読み飛ばされる。例えば、図３(a) (b) に示すように、前記対象フレーム抽出部２で抽出されるフレームは後方の参照フレームに近いＢピクチャ（Ｂ1 、Ｂ4 、Ｂ7 、Ｂ10、…）とし、前記対象スライス抽出部３で抽出される領域は該Ｂピクチャに属するスライスを垂直方向に間引いて得られる領域Ｓ1 〜Ｓ5 とすることができる。
【００２６】
該領域Ｓ1 〜Ｓ5 に属するブロックからカット点検出に必要な符号化パラメータを抽出するために、該ブロックは符号化パラメータ抽出部４に入力される。
【００２７】
以下に、図２を参照して、該符号化パラメータ抽出部４の構成と動作を説明する。図２は該符号化パラメータ抽出部４の一具体例を示すブロック図である。該符号化パラメータ抽出部４は、符号化モード抽出部１１と、符号化モードパラメータ算出部１２と、動きベクトル値抽出／変換処理部１３と、動きベクトルパラメータ算出部１４と、符号化ブロックパターン抽出部１５と、予測誤差情報抽出部１６とから構成されている。
【００２８】
前記符号化モード抽出部１１は入力されてきたブロックを、予測符号化モードの種類よって分類する。そして、符号化モードパラメータ算出部１２において、順方向予測符号化モードを持つブロック数Ｎfwd と、逆方向予測符号化モードを持つブロック数Ｎbwd を数える。
【００２９】
次に、前記動きベクトル値抽出／変換処理部１３は前記ブロックを可変長復号する。該可変長復号で得られるベクトル値は左隣のベクトル値との差分値であるため、該動きベクトル値抽出／変換処理部１３はさらに該差分値を正規のベクトル値に変換する。この差分値は、フレームの最左端のブロック、この場合ではスライスの先頭で初期化されるため、本発明のようにスライス単位で間引き処理を行っても、正確なベクトル値を再現できる。
【００３０】
こうして得られたベクトル値は、動きベクトルパラメータ算出部１４において該領域に対して積算され、該領域全体での動きベクトルの平均値及び分散が出力される。これらは、順方向及び逆方向の、ｘ成分（水平方向）及びｙ方向（垂直方向）に対して、下記の式(1) 〜(4) のように、Ｍmvfx、Ｍmvfy、Ｍmvbx、Ｍmvby、及びＶmvfx、Ｖmvfy、Ｖmvbx、Ｖmvbyが定義される。
【００３１】
【数１】
【数２】
【００３３】
例えば、Ｍmvfxは順方向動きベクトルの水平成分の平均値を表し、Ｖmvbyは逆方向動きベクトルの垂直成分の分散を表す。また、絶対値がある閾値（例えば４）より大きい順方向動きベクトルを持つブロック数をＮfmc 、絶対値がある閾値（例えば２）より大きい逆方向動きベクトルを持つブロック数をＮbmc とする。さらに、動きベクトルの成分が（０，０）でない順方向動きベクトルを持つブロック数をＮmvf 、逆方向ベクトルを持つブロック数をＮmvb とする。
【００３４】
次に、該領域Ｓ１〜Ｓ５に属するブロックにおいて、それらに属するサブブロックの符号化／非符号化を表わす符号化パラメータが、符号化ブロックパターン抽出部１５に入力される。該符号化ブロックパターン抽出部１５で抽出された値は該領域に対して積算され、該領域全体での符号化輝度サブブロック数Ｓｙ及び符号化色差サブブロック数Ｓｃが数えられる。
【００３５】
さらに、該ブロックに属するサブブロックにおいて、ＤＣＴ係数に関する符号化パラメータが予測誤差情報抽出部１６へ入力される。ここでは、可変長復号されたＤＣＴ係数に関する符号化パラメータを用いて、該領域に属するｉ番目の符号化サブブロック３１に対して図４のように直流成分を除く非零係数（レベル）のブロック当たりの絶対値累積和ＢＬi の該サブブロック全体での総和及び非零係数が存在する周波数帯域ＢＲi （サブブロックの最後の非零係数までの０ラン数＋非零係数の個数）の該サブブロック全体での総和を求め、これを下式(5) 及び(6) に示すように該符号化サブブロック数Ｎsbc で除することにより、該領域に属するサブブロックの平均レベルＡＢＬ及び平均ラン長ＡＢＲを求める。
【００３６】
【数３】
【００３７】
ここで、図５(a) のように、該フレームｎの直後の参照フレーム（フレーム内符号化画像又はフレーム間順方向予測画像）で瞬時カットが起きた場合、順方向から予測が多く行われ、逆方向からの予測は殆ど行われない。したがって、符号化モードパラメータ算出部１２で得られたＮfwd 及びＮbwd に対し、下記の式(7) に示すようにＮfwd がある閾値Ｔha1 （例えば、該フレーム内の全ブロック数の３５％等）より大きく、Ｎbwd がある閾値Ｔha2 （例えば、該フレーム内の全ブロック数の１０％等）より小さい場合、該フレームｎの直後の参照フレームが瞬時カット点候補であると判定できる。
Ｎfwd ＞Ｔha1 かつＮbwd ＜Ｔha2 …(7)
そして、フラッシュ判定処理部６により直前の該フレームｎ−1 により瞬時カット点が検出されていなければ、フレームｎは瞬時カット点として検出される。同様にして、図５(b) のように、該フレームｎまたは直前のＢピクチャに瞬時カット点が存在する場合、逆方向からの予測が多く行われ、順方向からの予測は殆ど行われない。したがって、下記の式(8) のように、Ｎbwd が閾値Ｔha3 （例えば該フレーム内の全ブロック数の３０％など）より大きく、Ｎfwd がＴha4 （例えば全ブロック数の５％など）より小さい場合、該フレームｎ又は直前のＢピクチャが瞬時カット点であると判定できる。
Ｎbwd ＞Ｔha3 かつＮfwd ＜Ｔha4 …(8)
そして、フラッシュ判定処理部６により直前の該フレームｎ−1 により瞬時カット点が検出されていなければ、フレームｎ又は直前のＢピクチャは瞬時カット点として検出される。このとき、どちらのＢピクチャでシーンチェンジが起こったかを明確化するには、図５(c) のように、Ｉ又はＰに挟まれた２つのＢピクチャを対象フレームとして瞬時カット点検出を行う。
【００３８】
例えば、最初のＢピクチャＢ１と２番目のＢピクチャＢ２において、Ｂ１で順方向予測が多く行われるが、逆方向予測が殆ど行われず、逆にＢ２で順方向予測が殆ど行われないが、逆方向予測が多く行われた場合には、Ｂ２が瞬時カット点であると判定できる。これに対して、Ｂ１およびＢ２が共に、逆方向予測が多く行われるが順方向予測が殆ど行われなかった場合には、Ｂ１が瞬時カット点であると判定する。
【００３９】
該フレームｎ及びｎ−1 により連続して瞬時カット点が検出された場合には、該フレームはフラッシュ区間にあるとみなされ、瞬時カット点の対象から除外される。従って、この後の特殊カット点判定処理部７にも移行しない。
【００４０】
瞬時カット点判定処理部５及びフラッシュ判定処理部６を経て瞬時カット点と判定されたフレームは、検出カット点登録処理部８で、その時間コードが登録される。
【００４１】
瞬時カット点判定処理部５により瞬時カット点として検出されなかったフレームは、特殊カット点判定処理部７に送られる。該特殊カット点判定処理部７は、図６に示されているように、パラメータ評価部２０と、サブ処理としてのディゾルブ判定処理部２１、第１のワイプ判定処理部２２、及び第２のワイプ判定処理部２３を有している。
【００４２】
以下に、これらの動作を、図７および図８を参照して説明する。図７は該動作を説明するためのフローチャート、図８はワイプ画面の説明図である。
【００４３】
まず特殊カット点判定処理部７のパラメータ評価部２０には、ディゾルブ／ワイプ判定に必要な共通要素として、動きベクトルパラメータ算出部１４により得られた動きベクトルの平均値Ｍmv及び分散Ｖmvと、予測誤差情報に関するパラメータＡＢＬ及びＡＢＲ、すなわち、サブブロックの平均レベルＡＢＬ及び平均ラン長ＡＢＲが入力される。また、逆方向動きベクトルを持つブロック数Ｎbmc がディゾルブに対して有意な判定要素として入力され、該Ｎbmc に加えて順方向ベクトルに関するＮfmc がワイプに対して有意な判定要素として入力される。
【００４４】
パラメータ評価部２０は、入力された各パラメータを閾値処理により評価し、各サブ処理（ディゾルブ判定、第１のワイプ判定、第２のワイプ判定）の条件に合致する該フレームをそれらの各サブ処理の判定処理部２１〜２３に移行する。ここで、該フレームのパラメータがどのサブ処理の条件にも合致しなかった場合には、次のフレーム入力処理へ移行する。
【００４５】
ディゾルブ期間では動きが殆どないため、小さい動きベクトルがランダムに発生することが予想される。さらに、徐々にシーンが遷移するディゾルブでは、動き補償予測が効果的に行われることが予想される。したがって、パラメータ評価部２０は、図７のステップＳ２１に示されているように、該フレームにおける動きベクトルのｘ方向に関する平均値Ｍmvfx、Ｍmvbxがある閾値Ｔhd1 （例えば絶対値が２など）より小さく、分散Ｖmvfxがある閾値Ｔhd2 （例えば５０など）より大きい場合、さらにＡＢＬ及びＡＢＲがそれぞれある閾値Ｔhd3 （例えば２．５）及びＴhd4 （例えば１５など）より小さい場合に、該フレームをディゾルブ判定処理部２１へ送出する。
【００４６】
ただし、この特性は平坦な静止シーンあるいはフレーム全体で小さい動きを持つシーンにおいても見られる傾向であるため、ディゾルブ判定処理部２１では、平坦な静止シーン／小さな動きシーンと、ディゾルブとを区別する。
【００４７】
平坦な静止シーンまたは小さな動きシーンでは、動きの分布状況が変化しないと考えられるため、ディゾルブ判定処理部２１に入力された該ディゾルブ候補フレーム数Ｆd を観測すると、逆方向動きベクトルを持つブロック数Ｎbmc が大きい値を持続する。これに対して、新しいシーンが合成されることによって動きの分布状況が変化するディゾルブでは、該Ｎbmc に何らかの変化が見られる（例えば急激に減少するなど）。
【００４８】
ここで、連続したフレームの特徴を調べるために、該フレームはディゾルブ判定処理部２１に入ると、図７のステップＳ３１に示されているように、ディゾルブ候補フレーム数Ｆd のカウンタが増やされ、これがある閾値ＴＨＤ１（例えば５）を超えた場合（ステップＳ３２の判断が肯定）に、ステップＳ３３に進んで、Ｎbmc の時間変化が評価される。Ｆd がＴＨＤ１を超えないうちは（ステップＳ３２の判断が否定）、ステップＳ３５に進んで新たなフレーム入力処理に移る。ここで、ワイプ候補フレーム数のカウンタＦw1およびＦw2はクリアされる。なお、図中の▲１▼は全て図９の▲１▼へ進む。また、Ｆd は該フレームがディゾルブ判定処理部２１に入力されなかった場合にはクリアされる。
【００４９】
ＴＨＤ１を超えたＦd 枚の連続した該フレーム群に対して、それらのＮbmc が大きな値で持続する場合（ステップＳ３４の判断が否定）は、平坦な静止シーンまたはフレーム全体で動きの小さいシーン、そうでない場合（ステップＳ３４の判断が肯定）は、ディゾルブ期間であると判定することができる。ただし、Ｆd がＴＨＤ１を大きく上回った場合には、ディゾルブ期間とは判定されない（ステップＳ３３が肯定）。
【００５０】
ディゾルブ判定処理部２１においてディゾルブと判定された該フレーム群は、検出カット点登録処理部８（図１参照）に送られ、ディゾルブ終了後の該フレームの時間コードが登録される。ディゾルブと判定されなかった場合には、新たなフレーム入力処理（図９のステップＳ１）に戻る。
【００５１】
一方、パラメータ評価部２０での評価で、４つの動きベクトルの平均値Ｍmvのうちいずれかがある閾値Ｔhw1 （例えば絶対値が１０など）より大きく、かつ４つの分散Ｖmvのうちいずれかがある閾値Ｔhw2 （例えば１００など）よりも大きい場合（ステップＳ２２の判断が肯定）には、第１のワイプ判定処理部２２へ進む。前記２つの条件は同時には満たされないが、４つのＶmvのうちいずれかがある閾値Ｔhw3 （例えば５０など）より大きい場合（ステップＳ２３の判断が肯定）には、該フレームは第２のワイプ判定処理部２３へ、それぞれ移行する。
【００５２】
図８のワイプモデルにおいて、前記第１のワイプ判定処理部２２で検出されるワイプは、同図の(a) または(b) のタイプであり、第２のワイプ判定処理部２３で検出されるワイプは、同図の(c) のタイプである。
【００５３】
シーンの中にパニング等のカメラの動きやフレーム全体での物体の動き等が存在する場合、動きベクトルの平均値及び分散が共に大きい性質を示す。したがって、図８の(a) や (b)のような大きなベクトルの現れるワイプとの区別を行うために、第１のワイプ判定処理部２２において以下の処理を行う。
【００５４】
カメラや物体が動くシーンでは、フレーム全体で動き補償予測が効果的に行われるため、予測誤差のフレーム平均は一般に小さいと見なせる。一方、ワイプでは新たなシーンが現れるために、動き補償が効果的に利用できる領域は限定され、その結果予測誤差のフレーム平均が大きくなる。従って、該フレームのＡＢＲがＴhw4 （例えば１０など）より大きい場合（ステップＳ４１の判断が肯定）にはワイプ候補であると判定し、そうでない場合にはカメラまたは物体の動きシーンであると判定することができる。そして、ワイプ候補となったフレームの数Ｆw1がある閾値ＴＨＷ１（例えば１０または１１）に達した場合（ステップＳ４３の判断が肯定）に、該フレーム群はワイプ期間に存在すると判定する。なお、さらに、Ｆw1がＴＨＷ１を大きく超えた場合にはワイプ期間とは判定されない（ステップＳ４４）。
【００５５】
これに対して、静止シーン又はフレームが部分的に動くシーンでは、動きベクトルの分散が大きくなる性質を示す。したがって、第２のワイプ判定処理部２３では、図８の(c) のような大きなベクトルの現れないワイプとこれらのシーンを区別するために、以下の処理を行う。
【００５６】
まず、前と同様に、ワイプでは予測誤差情報のフレーム平均が大きくなることを用いて、ＡＢＬ及びＡＢＲを閾値Ｔhw5 （例えば２．５）およびＴhw6 （例えば１２）によって閾値処理（ステップＳ５１）し、ワイプ候補となるフレームを選択する。
【００５７】
ワイプ期間では合成される２つのシーンの動きの分布が異なるため、ある連続したフレーム群に対して有意なベクトルをもつブロック数を観察すると、それらは減少または増加の傾向を示す。これに対して、静止シーンまたはフレームの一部の動きシーンでは、連続したフレーム群の有意ベクトルをもつブロック数は、大きい値または小さい値で変化が殆どない。したがって、第２のワイプ判定処理部２３でワイプとの候補となったＦw ２枚のフレームがある閾値ＴＨＷ３（例えば５）を超え（ステップＳ５３の判断が肯定）、それらのＮfmc とＮbmc が大きい値または小さい値で持続する場合には静止シーンであり、Ｎfmc とＮbmc が共に増加または減少の傾向を示す場合（ステップＳ５５の判断が肯定）には、該フレーム群はワイプ期間に存在すると判定できる。一方、ステップＳ５５の判断が否定の場合には、静止シーンまたはフレームの一部の動きシーンであると判定する。なお、第１のワイプ判定処理部２２と同様に、Ｆw2がＴＨＷ３を大きく超えた場合には、ワイプ期間とは判定されない（ステップＳ５４）。
【００５８】
前記第１のワイプ判定処理部２２又は第２のワイプ判定処理部２３においてワイプと判定されたフレーム群は、検出カット点登録処理部８に移行し、ワイプ終了後のフレームの時間コードが登録される（図９のステップＳ７）。
【００５９】
【発明の効果】
以上のように本発明によれば、圧縮された動画像データから、最低限の復号処理であるビデオ信号多重化復号のみで抽出される符号化パラメータだけを用いて瞬時カット点検出、及びディゾルブやワイプなどの特殊カットを検出できるので、カット点検出に伴う処理時間を大幅に削減できるという効果がある。また、各種カット点の符号化パラメータレベルでの統計的な性質を検出に利用しているため、精度の高い検出が可能となる。
【００６０】
一例として、これまでカット点の検出処理時間として再生と同程度の時間を要していた標準ＴＶレベルのサイズの画像を用いた場合では、縮小画像を利用してカット点を検出する方法と比較して、本発明は再生の６倍以上の速度を実現し、精度についても比較手法と同等又はそれ以上の検出率を達成することができた。また、本発明は、抽出した符号化パラメータに対して複雑な演算処理を施す必要もなく、単純な閾値処理と積和演算処理程度でカット点の検出を行うことができるため、装置コストを大幅に削減できるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 図１の符号化パラメータ抽出部の一具体例を示すブロック図である。
【図３】 カット点検出に用いられるフレームの時間的及び空間的間引きの説明図である。
【図４】 可変長復号されたＤＣＴ係数に関する符号化パラメータの説明図である。
【図５】 瞬時カット画面の説明図である。
【図６】 図１の特殊カット点判定処理部の一具体例を示すブロック図である。
【図７】 図１の特殊カット点判定処理部の動作を示すフローチャートである。
【図８】 ワイプ画面の説明図である。
【図９】 本発明の動作の概要を示すフローチャートである。
【符号の説明】
１…可変長復号部、２…対象フレーム抽出部、３…対象スライス抽出部、４…符号化パラメータ抽出部、５…瞬時カット点判定処理部、６…フラッシュ判定処理部、７…特殊カット点判定処理部、８…検出カット点登録処理部、１１…符号化モード抽出部、１２…符号化モードパラメータ算出部、１３…動きベクトル値抽出／変換処理部、１４…動きベクトルパラメータ算出部、１５…符号化ブロックパターン抽出部、１６…予測誤差情報抽出部、２０…パラメータ評価部、２１…ディゾルブ判定処理部、２２…第１のワイプ判定処理部、２３…第２のワイプ判定処理部、３１…ｉ番目の符号化サブブロック。
Claims (8)
- 動画像のカット点検出装置において、
圧縮された動画像データを、ビデオ信号多重化復号する手段と、
該手段によって得られたビデオ信号多重化復号情報から、ブロックの動きベクトル及び変換符号化係数を少なくとも抽出する手段と、
フレームの前記動きベクトルの平均値がある第１の閾値より小さく、その分散がある第２の閾値より大きく、ブロック内における非零係数のブロック当たりの平均値及び非零係数が存在する周波数帯域から定義される予測誤差がそれぞれある第３、第４の閾値より小さい場合に、ディゾルブ候補、平坦な静止シーン又は動きの小さいシーン候補であると判定する手段とを具備することを特徴とする動画像のカット点検出装置。 - 請求項１に記載の動画像のカット点検出装置において、
さらに、各フレームで前記動きベクトル及び変換符号化係数を抽出する領域を、ブロック単位でかつ垂直方向にスライス単位で間引く手段を具備することを特徴とする動画像のカット点検出装置。 - 請求項１または２に記載の動画像のカット点検出装置において、
さらに、前記ディゾルブ候補、平坦な静止シーン又は動きの小さいシーン候補であると判定する手段によりディゾルブ候補、平坦な静止シーン又は動きの小さいシーン候補であると判定されたフレームが予め定められたフレーム数以上であって、かつある第５の閾値より大きい逆方向動きベクトルのブロック数をもつ連続フレーム数がある第６の閾値より大きくなった場合に平坦な静止シーン又は動きの小さいシーンとし、該第６の閾値より小さかった場合にディゾルブであると判定する手段を具備することを特徴とする動画像のカット点検出装置。 - 動画像のカット点検出装置において、
圧縮された動画像データを、ビデオ信号多重化復号する手段と、
該手段によって得られたビデオ信号多重化復号情報から、ブロックの動きベクトル及び変換符号化係数を少なくとも抽出する手段と
フレームの前記動きベクトルの平均値及び分散が共にある閾値より大きい場合に、ブロック内における非零係数が存在する周波数帯域のブロック当たりの平均値がある閾値より小さい場合にカメラの動きのあるシーンとし、ある閾値より大きい場合にワイプの候補であると判定する手段とを具備したことを特徴とする動画像のカット点検出装置。 - 請求項４に記載の動画像のカット点検出装置において、
さらに、各フレームで前記動きベクトル及び変換符号化係数を抽出する領域を、ブロック単位でかつ垂直方向にスライス単位で間引く手段を具備することを特徴とする動画像のカット点検出装置。 - 請求項４または５に記載の動画像のカット点検出装置において、
入力されたフレームの動きベクトルの平均値及び分散の少くとも一方がある閾値より小さい場合で、かつ該分散が他の閾値より大きい場合であって、ブロック内における非零係数のブロック当たりの平均値及び非零係数が存在する周波数帯域から定義される予測誤差がある閾値より大きい場合にワイプの候補であると判定することを特徴とする動画像のカット点検出装置。 - 請求項４ないし６のいずれかに記載の動画像のカット点検出装置において、
ワイプの候補となったフレームが連続してある閾値よりも多く現れた場合に、 その区間でワイプが存在すると判定することを特徴とする動画像のカット点検出装置。 - 請求項４ないし６のいずれかに記載の動画像のカット点検出装置において、
ワイプの候補となったフレームがある閾値より大きい動きベクトルを持つブロック数が、ある連続したフレーム区間内で増加又は減少する変化をする場合に、その区間でワイプが存在すると判定し、該ブロック数がある区間内で増加又は減少する変化をしない場合に、静止しているシーンと判定することを特徴とする動画像のカット点検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7139898A JP3738939B2 (ja) | 1998-03-05 | 1998-03-05 | 動画像のカット点検出装置 |
| US09/255,965 US6473459B1 (en) | 1998-03-05 | 1999-02-23 | Scene change detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7139898A JP3738939B2 (ja) | 1998-03-05 | 1998-03-05 | 動画像のカット点検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11252509A JPH11252509A (ja) | 1999-09-17 |
| JP3738939B2 true JP3738939B2 (ja) | 2006-01-25 |
Family
ID=13459380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7139898A Expired - Fee Related JP3738939B2 (ja) | 1998-03-05 | 1998-03-05 | 動画像のカット点検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6473459B1 (ja) |
| JP (1) | JP3738939B2 (ja) |
Families Citing this family (74)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6735253B1 (en) | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US7143434B1 (en) | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
| JP4656680B2 (ja) * | 1998-11-30 | 2011-03-23 | シャープ株式会社 | 画像検索情報記録装置及び画像検索装置 |
| JP3531532B2 (ja) * | 1999-05-18 | 2004-05-31 | 日本電気株式会社 | 動画像符号化装置、及び方法 |
| EP1129573A2 (en) * | 1999-07-06 | 2001-09-05 | Koninklijke Philips Electronics N.V. | Automatic extraction method of the structure of a video sequence |
| KR100775773B1 (ko) * | 1999-07-06 | 2007-11-12 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 시퀀스 구조의 자동 추출 방법 |
| JP3939551B2 (ja) * | 1999-08-24 | 2007-07-04 | 富士通株式会社 | 動画像処理装置、その方法、及び記録媒体 |
| US6766098B1 (en) * | 1999-12-30 | 2004-07-20 | Koninklijke Philip Electronics N.V. | Method and apparatus for detecting fast motion scenes |
| GB0007861D0 (en) * | 2000-03-31 | 2000-05-17 | Koninkl Philips Electronics Nv | Video signal analysis and storage |
| US20040125877A1 (en) * | 2000-07-17 | 2004-07-01 | Shin-Fu Chang | Method and system for indexing and content-based adaptive streaming of digital video content |
| US6834080B1 (en) * | 2000-09-05 | 2004-12-21 | Kabushiki Kaisha Toshiba | Video encoding method and video encoding apparatus |
| US7038736B2 (en) | 2000-09-21 | 2006-05-02 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
| JP4107544B2 (ja) * | 2000-10-23 | 2008-06-25 | 三菱電機株式会社 | 画像信号の再符号化装置 |
| US7895616B2 (en) | 2001-06-06 | 2011-02-22 | Sony Corporation | Reconstitution of program streams split across multiple packet identifiers |
| US7151831B2 (en) * | 2001-06-06 | 2006-12-19 | Sony Corporation | Partial encryption and PID mapping |
| US6959044B1 (en) * | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
| US7339992B2 (en) | 2001-12-06 | 2008-03-04 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
| US8027470B2 (en) * | 2002-01-02 | 2011-09-27 | Sony Corporation | Video slice and active region based multiple partial encryption |
| US7376233B2 (en) * | 2002-01-02 | 2008-05-20 | Sony Corporation | Video slice and active region based multiple partial encryption |
| US8051443B2 (en) * | 2002-01-02 | 2011-11-01 | Sony Corporation | Content replacement by PID mapping |
| US7823174B2 (en) | 2002-01-02 | 2010-10-26 | Sony Corporation | Macro-block based content replacement by PID mapping |
| US7302059B2 (en) | 2002-01-02 | 2007-11-27 | Sony Corporation | Star pattern partial encryption |
| US7765567B2 (en) | 2002-01-02 | 2010-07-27 | Sony Corporation | Content replacement by PID mapping |
| US7155012B2 (en) | 2002-01-02 | 2006-12-26 | Sony Corporation | Slice mask and moat pattern partial encryption |
| US7292690B2 (en) * | 2002-01-02 | 2007-11-06 | Sony Corporation | Video scene change detection |
| US6993182B2 (en) * | 2002-03-29 | 2006-01-31 | Koninklijke Philips Electronics N.V. | Method and apparatus for detecting scene changes in video using a histogram of frame differences |
| JP4130780B2 (ja) * | 2002-04-15 | 2008-08-06 | 松下電器産業株式会社 | 画像符号化方法および画像復号化方法 |
| US8818896B2 (en) | 2002-09-09 | 2014-08-26 | Sony Corporation | Selective encryption with coverage encryption |
| JP4082664B2 (ja) | 2002-09-20 | 2008-04-30 | Ｋｄｄｉ株式会社 | 映像検索装置 |
| JP4036328B2 (ja) | 2002-09-30 | 2008-01-23 | 株式会社Ｋｄｄｉ研究所 | 動画像データのシーン分類装置 |
| WO2004061711A1 (en) * | 2003-01-06 | 2004-07-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for similar video content hopping |
| US7292692B2 (en) * | 2003-03-25 | 2007-11-06 | Sony Corporation | Content scrambling with minimal impact on legacy devices |
| US7286667B1 (en) | 2003-09-15 | 2007-10-23 | Sony Corporation | Decryption system |
| US7853980B2 (en) | 2003-10-31 | 2010-12-14 | Sony Corporation | Bi-directional indices for trick mode video-on-demand |
| EP1710751A1 (en) * | 2004-01-06 | 2006-10-11 | Sony Corporation | Image processing device and method, recording medium, and program |
| US20050169473A1 (en) * | 2004-02-03 | 2005-08-04 | Candelore Brant L. | Multiple selective encryption with DRM |
| JP4424590B2 (ja) | 2004-03-05 | 2010-03-03 | 株式会社Ｋｄｄｉ研究所 | スポーツ映像の分類装置 |
| US8041190B2 (en) | 2004-12-15 | 2011-10-18 | Sony Corporation | System and method for the creation, synchronization and delivery of alternate content |
| US7895617B2 (en) | 2004-12-15 | 2011-02-22 | Sony Corporation | Content substitution editor |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| WO2006096612A2 (en) | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
| CL2006000541A1 (es) | 2005-03-10 | 2008-01-04 | Qualcomm Inc | Metodo para el procesamiento de datos multimedia que comprende: a) determinar la complejidad de datos multimedia; b) clasificar los datos multimedia en base a la complejidad determinada; y aparato asociado. |
| US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| US8239766B2 (en) * | 2005-09-27 | 2012-08-07 | Qualcomm Incorporated | Multimedia coding techniques for transitional effects |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US8654848B2 (en) * | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| JP4510749B2 (ja) * | 2005-11-16 | 2010-07-28 | Ｋｄｄｉ株式会社 | ショット境界検出装置 |
| US8185921B2 (en) | 2006-02-28 | 2012-05-22 | Sony Corporation | Parental control of displayed content using closed captioning |
| US7555464B2 (en) * | 2006-03-01 | 2009-06-30 | Sony Corporation | Multiple DRM management |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US20090263023A1 (en) * | 2006-05-25 | 2009-10-22 | Nec Corporation | Video special effect detection device, video special effect detection method, video special effect detection program, and video replay device |
| US20080025390A1 (en) * | 2006-07-25 | 2008-01-31 | Fang Shi | Adaptive video frame interpolation |
| JP4719889B2 (ja) * | 2006-08-03 | 2011-07-06 | 国立大学法人電気通信大学 | カット点検出システムおよび該カット点検出システムを用いたショット識別システム、カット点検出方法、並びにカット点検出プログラム |
| JP5181325B2 (ja) * | 2007-08-08 | 2013-04-10 | 国立大学法人電気通信大学 | カット部検出システム及びショット検出システム並びにシーン検出システム、カット部検出方法 |
| JP4846674B2 (ja) * | 2007-08-14 | 2011-12-28 | 日本放送協会 | 静止画抽出装置及び静止画抽出プログラム |
| JP4835540B2 (ja) * | 2007-08-15 | 2011-12-14 | ソニー株式会社 | 電子機器、映像特徴検出方法及びプログラム |
| JP5256803B2 (ja) | 2008-03-19 | 2013-08-07 | 株式会社メガチップス | トランスコーダ |
| JP5039976B2 (ja) * | 2008-03-24 | 2012-10-03 | 株式会社メガチップス | トランスコーダ |
| WO2009126785A2 (en) | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
| US20090268097A1 (en) * | 2008-04-28 | 2009-10-29 | Siou-Shen Lin | Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames |
| WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
| US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
| US8665326B2 (en) | 2009-01-30 | 2014-03-04 | Olympus Corporation | Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method |
| EP2216983A1 (en) | 2009-02-05 | 2010-08-11 | Mitsubishi Electric R&D Centre Europe B.V. | Detection of wipe transitions in video |
| KR20100122386A (ko) * | 2009-05-12 | 2010-11-22 | 삼성전자주식회사 | 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치 |
| JP5272940B2 (ja) * | 2009-07-17 | 2013-08-28 | 富士通株式会社 | 画像符号化装置 |
| US20130170543A1 (en) * | 2011-12-30 | 2013-07-04 | Ning Lu | Systems, methods, and computer program products for streaming out of data for video transcoding and other applications |
| US9565440B2 (en) | 2013-06-25 | 2017-02-07 | Vixs Systems Inc. | Quantization parameter adjustment based on sum of variance and estimated picture encoding cost |
| US9426475B2 (en) * | 2013-06-25 | 2016-08-23 | VIXS Sytems Inc. | Scene change detection using sum of variance and estimated picture encoding cost |
| US9424598B1 (en) | 2013-12-02 | 2016-08-23 | A9.Com, Inc. | Visual search in a controlled shopping environment |
| US9536161B1 (en) * | 2014-06-17 | 2017-01-03 | Amazon Technologies, Inc. | Visual and audio recognition for scene change events |
| WO2016093160A1 (ja) * | 2014-12-08 | 2016-06-16 | シャープ株式会社 | 映像処理装置 |
| US10165272B2 (en) * | 2015-01-29 | 2018-12-25 | Arris Enterprises Llc | Picture-level QP rate control performance improvements for HEVC encoding |
| US9794540B2 (en) * | 2015-04-17 | 2017-10-17 | Google Inc. | Hardware-based convolutional color correction in digital images |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5068724A (en) * | 1990-06-15 | 1991-11-26 | General Instrument Corporation | Adaptive motion compensation for digital television |
| JP3093499B2 (ja) * | 1992-03-06 | 2000-10-03 | 三菱電機株式会社 | シーンチェンジ検出装置 |
| JP2971724B2 (ja) * | 1994-02-22 | 1999-11-08 | ケイディディ株式会社 | 動画像のカット点検出装置 |
| JPH07284017A (ja) * | 1994-04-05 | 1995-10-27 | Matsushita Electric Ind Co Ltd | カット検出装置 |
| US5635982A (en) * | 1994-06-27 | 1997-06-03 | Zhang; Hong J. | System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions |
| JP3823333B2 (ja) * | 1995-02-21 | 2006-09-20 | 株式会社日立製作所 | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム |
| JPH08252333A (ja) | 1995-03-17 | 1996-10-01 | Toshiba Corp | 放射線治療計画装置 |
| JPH0941706A (ja) | 1995-07-27 | 1997-02-10 | Kobayashi Sekkei Jimusho:Kk | ステンレス槽及びその設計方法 |
| JPH09284767A (ja) * | 1996-02-13 | 1997-10-31 | Fuji Film Micro Device Kk | 画像圧縮システムおよび画像圧縮方法 |
| JPH09261648A (ja) * | 1996-03-21 | 1997-10-03 | Fujitsu Ltd | シーンチェンジ検出装置 |
| US6061471A (en) * | 1996-06-07 | 2000-05-09 | Electronic Data Systems Corporation | Method and system for detecting uniform images in video signal |
| US5734735A (en) * | 1996-06-07 | 1998-03-31 | Electronic Data Systems Corporation | Method and system for detecting the type of production media used to produce a video signal |
| US5847772A (en) * | 1996-09-11 | 1998-12-08 | Wells; Aaron | Adaptive filter for video processing applications |
| US5987183A (en) * | 1997-07-31 | 1999-11-16 | Sony Corporation | Image activity data compression and decompression method and apparatus |
-
1998
- 1998-03-05 JP JP7139898A patent/JP3738939B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-23 US US09/255,965 patent/US6473459B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6473459B1 (en) | 2002-10-29 |
| JPH11252509A (ja) | 1999-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3738939B2 (ja) | 動画像のカット点検出装置 | |
| JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
| US6449392B1 (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
| US20100303150A1 (en) | System and method for cartoon compression | |
| JP2001313956A (ja) | Ｍｐｅｇ圧縮ビデオ環境における階層的混合型ショット変換検出方法 | |
| JPH09261648A (ja) | シーンチェンジ検出装置 | |
| JP4875007B2 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
| JP2000217121A (ja) | ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法 | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| EP3175621B1 (en) | Video-segment identification systems and methods | |
| US20030095602A1 (en) | Unusual event detection using motion activity descriptors | |
| Smeaton et al. | An evaluation of alternative techniques for automatic detection of shot boundaries in digital video | |
| JP4182747B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
| EP2187337A1 (en) | Extracting a moving mean luminance variance from a sequence of video frames | |
| JP4656680B2 (ja) | 画像検索情報記録装置及び画像検索装置 | |
| JP2869398B2 (ja) | カット点検出方法及び装置 | |
| Giusto et al. | Slow motion replay of video sequences using fractal zooming | |
| JP4225503B2 (ja) | 動画像のカット点検出装置 | |
| JP3332202B2 (ja) | カメラワーク算出方法及び装置 | |
| JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
| KR101780444B1 (ko) | 영상 신호의 노이즈 제거 방법 | |
| JP3571200B2 (ja) | 動画像データのカット検出装置及び方法及び記録媒体 | |
| JP3377679B2 (ja) | 符号化インタレース映像カット検出方法および装置 | |
| JP4349542B2 (ja) | 動画像内のテロップ領域検出装置 | |
| JP3377678B2 (ja) | 符号化映像カット検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050216 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050908 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051027 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050908 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |