JP5656964B2 - シーンチェンジ判定装置またはその方法 - Google Patents

Description

この発明は、シーンチェンジ判定装置に関する。

一般的に、動画像を表現する時系列に連続するフレーム画像の区分点であるシーンチェンジは、フレーム画像の中から代表となる画像を抽出して動画像全体を把握するための静止画像やサムネイル画像を作成するために利用される。また、時間的に累積した画像をリセットするための起点として利用される。そのため動画像の中からシーンチェンジを検出することが必要となる。

特許文献１には、画像が出力される画面を複数の領域に分割し、それぞれの領域について画像間の相関値と動きベクトルを求めるとともに画面内の色について画像間の相関を求め、求めた色の相関と動きベクトルの相関とからシーンチェンジを検出する動画像のシーンチェンジ検出装置が提案されている。

また、特許文献２には、動画像を表現する時系列に連続するフレーム画像のうち、先行する画像と後続する画像のヒストグラムの類似程度に基づいて、シーンチェンジを検出するシーンチェンジ検出方法が提案されている。

特開平６−１５３１４６号公報 特開平１０−２７６４３５号公報

しかし、上記特許文献１、２に開示されたシーンチェンジ検出方法では、画面全体での画像データからシーンチェンジを検出するので、画面の一部に動画領域があるような場合、全体に対する動いている割合が少ないために、シーンチェンジと判定できない。また、特許文献2に記載の判定手法では、設定した閾値を越えるか否かで判定するために、閾値の設定が適切でないと、シーンチェンジか否かが適切に判定できない。

この発明は、上記問題を解決し、動画領域があるような場合でもシーンチェンジの判定が可能なシーンチェンジ判定方法またはその装置を提供することを目的とする。

(1)本発明にかかるシーンチェンジ判定装置は、行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックごとに、第１参照フレームおよび第２参照フレーム間の差分絶対値を算出し、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断手段を備え、前記動き単位ブロック判断手段の判断に基づいて、矩形領域を矩形動き画像領域として決定する矩形動き画像領域決定装置において、前記動き単位ブロック判断手段で算出された前記差分絶対値に基づいて、矩形動きブロック差分値を演算する矩形動きブロック差分値演算手段、
前記矩形動きブロック差分値が閾値を越えている場合には、シーンチェンジであると判断する判断手段、を備えている。

したがって、矩形動き画像領域におけるシーンチェンジを判定できる。

(2)本発明にかかるシーンチェンジ判定装置においては、前記矩形動きブロック差分値演算手段は、前記第１参照フレームの全ての単位ブロックについて、前記第２参照フレームにおける探索範囲内において、差分絶対値が最小となる単位ブロックを決定し、当該単位ブロックとの差分絶対値を単位ブロック差分最小値として、全ての単位ブロックについての単位ブロック差分最小値を総計して、矩形動きブロック差分値を演算する。したがって、前記単位ブロック最小値に基づいて、矩形動き画像領域におけるシーンチェンジを判定できる。

(3)本発明にかかるシーンチェンジ判定装置は、前記第１参照フレームの全ての単位ブロックについて、前記第２参照フレームにおける同じ位置のブロックに対する差分絶対値を演算し、得られた差分絶対値を総計し、これを、同位置ブロック差分絶対値がゼロでないブロック数で除算して、係数を乗算して、前記閾値を求める閾値決定手段を備えている。したがって、閾値を動的に変動できる。これにより矩形動き画像領域におけるシーンチェンジを適切に判定できる。

(4)本発明にかかるシーンチェンジ判定装置においては、前記矩形動きブロック差分値演算手段は、全ての単位ブロックについての単位ブロック差分最小値を総計した値を前記同位置ブロック差分絶対値がゼロでないブロック数で除算した値を、矩形動きブロック差分値とする。したがって、閾値を動的に変動できる。これにより矩形動き画像領域におけるシーンチェンジを適切に判定できる。

(5)本発明にかかるシーンチェンジ判定装置においては、前記閾値決定手段は、前記閾値をフレーム毎に求めて、これを複数フレームで平均化した値を前記閾値とする。したがって、閾値がフレーム間で変動しても、矩形動き画像領域におけるシーンチェンジを適切に判定できる。

シーンチェンジ判定装置１の機能ブロック図である。 シーンチェンジ判定装置１を、ＣＰＵを用いて構成した場合のハード構成の一例である。 全体のフローチャートである。 本発明かかるシーンチェンジ判定手法を採用した場合の効果を確認する図である。 閾値を変動させることによる違いを説明する為の図である。 動き画像領域決定処理の詳細フローチャートである。 動き画像領域１１０〜１１２が存在する表示領域１００を示す。 動きブロック決定処理のフローチャートである。 動きブロックを検出した結果を示す図である。 動き画像領域決定処理のフローチャートである。 動き列ブロックを示す図である。 動き画像領域決定処理のフローチャート(続き)である。 動き行ブロックを示す図である。 動き画像領域１４０を示す図である。 境界決定処理のフローチャートである。 1単位ブロック内の３２＊３２画素を示す図である。

以下、本発明における実施形態について、図面を参照して説明する。

（１．１ 機能ブロック）
図１に、本発明の１実施形態にかかるシーンチェンジ判定装置１を含むフレーム補間装置２０の機能ブロック図を示す。フレーム補間装置２０は、動き領域決定手段３、シーンチェンジ判定装置１、および補間フレーム生成手段１３を備えている。動き領域決定手段３は、複数フレームの画像データが与えられると、フレーム内の矩形動き領域を決定する。補間フレーム生成手段１３は、シーンチェンジ判定装置１からシーンチェンジ判定でないとの判定を受け取ると、通常のフレーム補間を行った補間フレーム画像を出力し、シーンチェンジ判定であるとの判定を受け取ると、シーンチェンジ用の処理をおこなった補間フレーム画像を出力する。

シーンチェンジ判定装置１は、１フレームの一部に表示される矩形動き画像領域に表示される動画像について、シーンチェンジのフレームを判定するシーンチェンジ判定装置であって、分割手段５、差分最小値演算手段７、閾値決定手段９、判断手段１１を備えている。

分割手段５は、第１参照フレームおよび第２参照フレームの矩形動き領域を、所定の画素数で構成された単位ブロックに分割する。

閾値決定手段９は、前記第１参照フレームの全ての単位ブロックについて、前記第２参照フレームにおける同じ位置のブロックに対する差分絶対値を演算し、得られた差分絶対値を総計して、これを同位置ブロック差分絶対値がゼロでないブロック数で除算して、係数を乗算して、前記閾値を求める。

矩形動きブロック差分値演算手段７は、前記第１参照フレームの全ての単位ブロックについて、前記第２参照フレームにおける探索範囲内において、差分絶対値が最小となる単位ブロックを決定し、当該単位ブロックとの差分絶対値を単位ブロック差分最小値として、全ての単位ブロックについての単位ブロック差分最小値を総計して、これを、前記同位置ブロック差分絶対値がゼロでないブロック数で除算して矩形動きブロック差分値を演算する。

判断手段１１は、前記矩形動きブロック差分値と前記差分最小値総計値を比較し、前記矩形動きブロック差分値が閾値を越えている場合には、シーンチェンジであると判断する。

（１．２ ハードウェア構成）
図２に、本実施形態におけるシーンチェンジ判定装置１のハードウェア構成を示す。シーンチェンジ判定装置１は、ＣＰＵ２３、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６には、プログラム２６ｐが記憶されている。プログラム２６ｐには、後述するように、矩形動き画像領域決定処理を行う。ＲＡＭ２５は演算結果等を記憶する。フレームメモリ２７は１画面の画像データを保持する。

ＣＰＵ２３は、プログラム２６Ｐに従い、メモリ２７に記憶された表示領域を構成する画素値に基づき、動きの存在する画素で構成された動き画像領域か否かの判断を行い、結果をＲＡＭ２５に記憶する。

（１．３ フローチャートの説明）
図２に示すプログラム２６Pによる処理について図３を用いて説明する。本実施形態においては、参照フレームとしてn-1フレームを、対象フレームとしてnフレームを採用した。

ＣＰＵ２３は、動き領域決定処理を行う(図３ステップＳ１０１）。動き領域決定処理の詳細については後述する。これにより１フレームの矩形領域が決定される。

ＣＰＵ２３は、n-1フレーム、およびnフレームの矩形領域を、複数のブロックに分割する(図３ステップＳ１０３）。ＣＰＵ２３は、ブロック特定番号iおよびブロック特定番号jを初期化する(ステップＳ１０５，１０７)。ＣＰＵ２３は、対象フレームのブロック(i,j)について、参照フレームの探索範囲における差分絶対値の最小値（以下、minMADという）を演算して記憶する（ステップＳ１０９。）ＣＰＵ２３は、対象フレームのブロック(i,j)に対応する参照フレームのブロック(i,j)との差分絶対値（以下zeroMV-MADという）を演算して記憶する(ステップＳ１１１)。

ＣＰＵ２３は、ブロック特定番号jが最終か否か判断し（ステップＳ１１３）、最終でなければ、ブロック特定番号jをインクリメントしてステップＳ１０９，ステップＳ１１１を繰り返す。

ステップＳ１１３にて、ブロック特定番号jが最終であると判断すると、ＣＰＵ２３は、ブロック特定番号iが最終か否か判断する(ステップＳ１１７）。ブロック特定番号iが最終でない場合には、ＣＰＵ２３は、ブロック特定番号iをインクリメントする(ステップＳ１１９）。ＣＰＵ２３は、ブロック特定番号jを初期化し(ステップＳ１０７）、ステップＳ１０９，ステップＳ１１１を繰り返す。

ステップＳ１１７にて、ブロック特定番号iが最終である場合には、ステップＳ１０９で記憶したminMADを総計し、かかる総計値をzeroMV-MADがゼロでないブロック数で除算した有意平均（以下、minMAD有意平均値という）を求める(ステップＳ１２１)。本明細書においては、「有意平均」とは、zeroMV-MADがゼロでないブロック数で除算することをいう。

ＣＰＵ２３は、ステップＳ１１１で記憶したそのフレームにおけるzeroMV-MADを総計するとともに、zeroMV-MADがゼロでないブロック数で除算して、zeroMV-MADの有意平均を求める(ステップＳ１２３)。

ＣＰＵ２３はステップＳ１２３で求めたzeroMV-MAD総計値を数フレーム前の分を読み出して、フレーム間平均値を求める。

ＣＰＵ２３は、かかるフレーム間平均値に対して、予め定めた係数を乗算し、これを閾値とする(ステップＳ１２５)。

ＣＰＵ２３は、ステップＳ１２１で求めたminMAD有意平均値が、ステップＳ１２５で求めた閾値を超えるか否か判断して(ステップＳ１２７)、超える場合には、シーンチェンジだと判断して、参照フレームにおける動画矩形領域の画像を、中間フレームの画像として採用する(ステップＳ１２９)。これに対して、ステップＳ１２１で求めたminMAD有意平均値が、ステップＳ１２５で求めた閾値を超えない場合には、ＣＰＵ２３は、通常のフレーム挿入処理をおこなう。例えば、挿入する中間フレームの矩形領域の動画画像として、n-1フレーム、およびnフレームの矩形領域から生成した動画画像を挿入すればよい。

このように、本実施形態においては、画面全体ではなく、画面の一部に動き画像領域が表示されている場合でも、シーンチェンジ判定が可能となる。

シーンチェンジ判定装置１では、閾値を変動させている。これにより以下のような効果がある。例えば、図４Bに示すような、振り子が画像内を振れているような動画（4枚の画像は、それぞれフレームNo２１，４６，６６，８６を示す）では、振り子の移動速度は端部以外では速く、かつ、大きい。このため、ステップＳ１２３で求めた各フレームにおけるzeroMV-MAD有意平均値が、図４Aのように変動する（ラインL1参照）。したがって、この場合、図４に示すように、ステップＳ１２３で検出するフレーム毎の差分絶対値が変動する。このような場合でも、閾値Lthが変動するので、正しくシーンチェンジ判定が可能となる。ラインR1は、高速フラグが「１」か「０」かの検出結果を示す。高速フラグ「１」とは、そのフレームはシーンチェンジであることを示しており、高速フラグ「０」とは、そのフレームはシーンチェンジではないことを示している。

本実施形態においては、モーションエステメーション(Motion Estimation)処理における探索範囲外の大きい動きやシーンチェンジ等、通常のフレーム補間が好ましくない場合を検出することができる。

このように、本アルゴリズムでは、ブロックごとに評価指標であるminMAD及びZeroMV_MADの値を求め、それらを動画領域において評価することでファーストモーションやシーンチェンジを検出し、フレーム内挿方法を決定する。ここで用いる評価指標はモーションエステメーション処理にて計算されるものであり、計算量がそれほど増大することはない。

上記実施形態においては、同位置ブロック差分絶対値がゼロでないブロック数で除算した有意平均値を前記閾値と変動させた。しかし、これに限定されず、単純平均を求めるようにしてもよいし、また、差分絶対値の最小値（minMAD）の総計と閾値とを比較して、シーンチェンジ判定をするようにしてもよい。

また、本実施形態においては、前記閾値について、全フレームの平均を求めるようにしたが、所定の数フレームであってもよい。

（１．３．１ 矩形動き領域の決定処理）
図３に示す矩形の動き領域の決定手法について説明する。以下では、図７に示すように、モニタの１フレームである画像領域１００に、３つの矩形動き画像領域１００〜１１２が存在する場合を例として説明する。

画像領域１００は、行方向αと列方向βにマトリックス状に画素が配置されている。

ＣＰＵ２３は、ブロック分割を行う（図６ステップＳ１）。本実施形態においては、３２*３２画素を１ブロックとして、図７に示す表示領域１００を複数のブロックにマトリックス状に分割した。以下では、α方向にはn+1個、β方向にはm+1個のブロックに分割されたものとする。

ＣＰＵ２３は全ブロックについて代表値を決定する(図６ステップＳ３）。代表値としては、１ブロック内の画素値の平均値、先頭の画素値、さらには当該値をそのまま用いるのではなく、CRCなどのハッシュ値を代表値としてもよい。また、平均値は、32＊32＊8bit画像では、18ビット長で表現可能であるが、上下の10ビットを切り捨てて、真ん中の8ビットのみ使用するというようにしてもよい。これにより、(n+1)*(m+1)個のブロック代表値がＲＡＭ２５に記憶される。

ＣＰＵ２３は、(n+1)*(m+1)個のブロックのうち、動きブロックを決定する(ステップＳ５)。動きブロック決定処理について図８を用いて説明する。

ＣＰＵ２３は処理ブロック番号i,jを初期化する(図８ステップＳ１１、Ｓ１３)。ブロック（0,0）について前フレームの代表値と比較する(ステップＳ１５)。本実施形態においては、時刻tと時刻t-1の代表値を比較した。ＣＰＵ２３は代表値の差分が閾値thbを超えるか否か判断し（ステップＳ１７）、代表値の差分が閾値thbを越える場合は動きブロックと判断する(ステップＳ１９)。一方、代表値の差分が閾値thbを越えない場合は非動きブロックと判断する(ステップＳ２１)。

ＣＰＵ２３は処理ブロック番号jが最終か否か判断する(ステップＳ２３）。この場合、j=0で、最終でないので、処理ブロック番号jをインクリメントし（ステップＳ２５）、ステップＳ１５以下を繰り返す。ステップＳ２３にて、処理ブロック番号jが最終であれば、ステップＳ２７に進み、ＣＰＵ２３は、処理ブロック番号iが最終か否か判断する。この場合、最終でないので、処理ブロック番号iをインクリメントし(ステップＳ２９)、ステップＳ１３以下を繰り返す。ステップＳ２７にて、処理ブロック番号iが最終であれば、処理を終了する。

これにより、図９に示すように(n+1)*(m+1)個のブロックについて、動きブロックが決定される。この例では、ブロック（４,２）、（４,３）、（４,４）・・・が動きブロックとして決定されている。

ＣＰＵ２３は、動き画像領域決定処理を行う(図６ステップＳ７）。動き画像領域決定処理の詳細について、図１０，図１２を用いて説明する。

ＣＰＵ２３は、処理ブロック番号jを初期化する(図１０ステップＳ３１）。ＣＰＵ２３は、ブロック(0,0)が属する列のブロックに動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ３３)。この場合、図９に示すように、ブロック(0,0)およびその縦方向のブロック（1,0)〜（m,0）には、動きブロックが存在しないので、かかる列は、非動き列と判断する(図９１０テップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列があるかどうか判断する(ステップＳ３９)。この場合、存在しないので、ステップＳ４６に進み、処理ブロック番号jが最終か否か判断する。この場合、j=0で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。

処理ブロック番号j=2では、ブロック(0,2)の縦方向のブロックには、動きブロックが存在する。したがって、ＣＰＵ２３は、この列は仮動き列として加算記憶する(ステップＳ３５)。

ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。この場合、j=2で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。

処理ブロック番号j=8まで、ステップＳ３５の処理が繰り返される。処理ブロック番号j=9では、ブロック(0,9)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、加算記憶された仮動き列がブロック(0,2)〜(0,8)まで存在するので、前記閾値thwを超えているので、仮動き列を動き列とする（ステップＳ４５）。

ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。

処理ブロック番号j=10では、ブロック(0,10)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、この場合、存在しないので、ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。

以下、j=n-7まで、非動き列と判断がなされる。処理ブロック番号j=n-6には、動きブロック（m-3,n-6）が存在する。したがって、ＣＰＵ２３は、仮動き列として加算記憶する(ステップＳ３５)。

処理ブロック番号j=n-5では、ブロック(0,n-5)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上としたので、仮動き列の幅が前記閾値thwを超えていないので、仮動き列を非動き列とする（ステップＳ４３）。これにより、マウスなどの画像領域を誤って動き画像領域として認定することを防止することができる。

以下同様にして、行方向αについて、順次動きブロックが存在する列か否かを１列ずつ判断している。

なお、最終列であるブロック(0,n)の列が仮動き列である場合もある。この場合、ステップＳ４９にて、加算記憶された仮動き列が存在するか否か判断し、存在する場合には、ステップＳ４１以下の処理を実行する。

図１１に、検出後の動き列を示す。この場合、領域１２１が動き列として決定される。これに対して、動きブロック(6,n-3)，(m-3,n-6)が属する領域１２２，１２３は矢印α方向に、閾値thw以上の幅を有していないので、動き列としては決定されない。

つぎに、ＣＰＵ２３は、処理ブロック番号iを初期化する(図１２ステップＳ５１）。ＣＰＵ２３は、ブロック(0,0)の行に動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ５３)。この場合、図９に示すように、ブロック(0,0)およびその横方向のブロック（0,1)〜（0,n）には、動きブロックが存在しないので、かかる行は、非動き行と判断する(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるかどうか判断する(ステップＳ５９）。この場合、検出済みの動き行が存在しないので、ステップＳ６６に進み、処理ブロック番号iが最終か否か判断する。この場合、i=0で、最終ではないので、処理ブロック番号iをインクリメントし（ステップＳ６８）、ステップＳ５３以下を繰り返す。

処理ブロック番号i=4では、ブロック(4,0)の行には、動きブロックが存在する。したがって、ＣＰＵ２３は、この行を仮動き行として加算記憶する(ステップＳ５５)。

以下同様にして、i=8まで、ブロック(i,0)の行には動きブロックが存在する動き行であるとの判断がなされる。i=9にて、ブロック(i,0)の行には動きブロックが存在しないので、当該行は非動き行であると判断される(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるか否か判断する(ステップＳ５９)。この場合、加算記憶された動き行があるので、それらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ６１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、検出済みの動き行がブロック(4,0)〜(8,0)まで存在するので、前記閾値thwを超えているので、仮動き行を動き行とする（ステップＳ６５）。

以下同様にして、列方向βについて、順次動きブロックが存在する列か否かを１行ずつ判断する。ステップＳ６９の意義については、ステップＳ４９と同じであるので説明は省略する。

図１３に検出後の動き行を示す。この場合、領域１３１が動き行として決定される。動きブロック(6,n-3)は、領域１３１に属している。これに対して、動きブロック(m-3,n-6)が属する領域１３２は、矢印β方向に閾値thw以上の幅を有していないので、動き行としては決定されない。

ＣＰＵ２３は、動き列と動き行の双方に属するブロックを動き画像領域として決定する(図１２ステップＳ７０)。この場合、図１４に示す領域１２１と領域１３１の重複する領域１４０に属するブロックが動き画像領域として決定される。図９の動きブロックと比較すると、動きブロック(6,n-3)，(m-3,n-6)が排除される一方、ブロック(4,5）などが動き画像領域として決定されている。このようにして取りこぼしを周辺ブロックとの関係で防ぐことができる。

ＣＰＵ２３は、境界決定処理を行う(図６ステップＳ９)。図１４に示す領域１４０については、３２＊３２画素で構成されたブロックにおける動き画像領域の境界が得られている。ステップＳ９の処理により、図１６に示すように、１画素単位での動き画像領域の境界１５０を得ることができる。ステップＳ９の詳細について図１５を用いて説明する。

ＣＰＵ２３は、上側ブロックを抽出する(図１５ステップＳ８０)。この場合、図１６に示すブロック(4,2)〜(4,8)の計７つのブロックが抽出される。ＣＰＵ２３は、処理行番号Pを初期化し(ステップＳ８１）、抽出したブロックのP行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８３)。この場合、ブロック(4,2)の０行目の３２画素、ブロック(4,3)の０行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。本実施形態においては、代表値は抽出した画素の平均値とした。

つぎにＣＰＵ２３は、抽出したブロックの処理行番号P+1行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８５)。この場合、ブロック(4,2)の１行目の３２画素、ブロック(4,3)の１行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。

ＣＰＵ２３は、ステップＳ８３で求めた代表値とステップＳ８５で求めた代表値が異なるか否か判断する(ステップＳ８７）。ステップＳ８７にて両者が異なる場合には、画素（P,0)の行が境界であると判断する(ステップＳ９３）。ステップＳ８７にて両者が異ならない場合には、処理行番号Pをインクリメントし(ステップＳ８９）、抽出ブロックの最終画素（この場合、32画素）となるまでステップＳ８３以下を繰り返す(ステップＳ９１）。最終画素でもステップＳ８７にて両者が異ならない場合は、抽出したブロックの端部が境界であると判断する(ステップＳ９５)。

図１５においては、上部のブロックにおける１画素単位の境界を抽出する場合について説明したが、下部のブロックについても同様である。

このように、外周のブロックについて、上部、下部であれば横方向に１行分画素を抽出して、その代表値を隣接する行と比較することにより、ブロック内における1画素単位の境界を取得することができる。

なお、左右の境界については、縦方向に１列分画素を抽出して、その代表値を隣接する列と比較すればよい。

本装置においては、動き画像領域を自動的に検出することができる。また、その判断も数フレームで検出可能である。したがって、モニタ上で動画領域自体が動的に変動する場合であっても、ほぼリアルタイムで動画領域を検出できる。

（１．４ .他の実施形態）
本実施形態においては、動き領域の抽出に図６〜図１６に示すやり方を採用したが、かかる矩形動き領域の決定手法についてはこれに限定されない。また、本実施形態においては、１フレーム画面における一部の矩形領域におけるシーンチェンジを判定する場合について説明したが、１画面全体で判定することも可能である。

本実施形態においては、画素値として輝度値を採用したが、ＲＧＢの値などであってもよい。

上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。

２３ ＣＰＵ
２５ ＲＡＭ
２６ フラッシュメモリ

Claims (7)

1. 行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックについて、第１参照フレームおよび第２参照フレームにおける同位置の単位ブロックの差分絶対値を算出し、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断手段を備え、前記動き単位ブロックを含む矩形領域を矩形動き画像領域として決定するシーンチェンジ判定装置において、
   前記第１参照フレームにおける前記決定した矩形動き画像領域の各単位ブロックについて、前記第２参照フレームにおける設定された探索範囲の単位ブロックとの差分絶対値の最小値を算出し、この最小値に基づいて、矩形動きブロック差分値を演算する矩形動きブロック差分値演算手段、
   前記矩形動きブロック差分値が閾値を越えている場合には、シーンチェンジであると判断する判断手段、
   を備えたシーンチェンジ判定装置。
2. 請求項１のシーンチェンジ判定装置において、
   前記矩形動きブロック差分値演算手段は、前記第１参照フレームにおける前記決定した矩形動き画像領域の全ての単位ブロックについて、前記第２参照フレームにおける探索範囲内において、差分絶対値が最小となる単位ブロックを決定し、当該単位ブロックとの差分絶対値を単位ブロック差分最小値として、前記決定した矩形動き画像領域の全ての単位ブロックについての単位ブロック差分最小値を総計して、矩形動きブロック差分値を演算すること、
   を備えたシーンチェンジ判定装置。
3. 請求項２のシーンチェンジ判定装置において、
   前記第１参照フレームにおける前記決定した矩形動き画像領域の全ての単位ブロックについて、前記第２参照フレームにおける同じ位置のブロックに対する差分絶対値を演算し、得られた差分絶対値を総計し、これを、同位置ブロック差分絶対値がゼロでないブロック数で除算して、係数を乗算して、前記閾値を求める閾値決定手段、
   を備えたシーンチェンジ判定装置。
4. 請求項３のシーンチェンジ判定装置において、
   前記矩形動きブロック差分値演算手段は、前記決定した矩形動き画像領域の全ての単位ブロックについての単位ブロック差分最小値を総計した値を前記同位置ブロック差分絶対値がゼロでないブロック数で除算した値を、矩形動きブロック差分値とすること、
   を特徴とするシーンチェンジ判定装置。
5. 請求項３または請求項４のシーンチェンジ判定装置において、
   前記閾値決定手段は、前記閾値をフレーム毎に求めて、これを複数フレームで平均化した値を前記閾値とすること、
   を特徴とするシーンチェンジ判定装置。
6. 行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックについて、第１参照フレームおよび第２参照フレームにおける同位置の単位ブロックの差分絶対値を算出し、動きが存在する動き単位ブロックであるか否か判断し、かかる判断に基づいて、前記動き単位ブロックを含む矩形領域を矩形動き画像領域として決定するシーンチェンジ判定方法において、
   前記第１参照フレームにおける前記決定した矩形動き画像領域の各単位ブロックについて、前記第２参照フレームにおける設定された探索範囲の単位ブロックとの差分絶対値の最小値を算出し、
   この最小値に基づいて、矩形動きブロック差分値を演算し、
   前記矩形動きブロック差分値が閾値を越えている場合には、シーンチェンジであると判断すること、
   を特徴とするシーンチェンジ判定方法。
7. 請求項６のシーンチェンジ判定方法において、
   前記第１参照フレームにおける前記決定した矩形動き画像領域の全ての単位ブロックについて、前記第２参照フレームにおける探索範囲内において、差分絶対値が最小となる単位ブロックを決定し、当該単位ブロックとの差分絶対値を単位ブロック差分最小値として、前記決定した矩形動き画像領域の全ての単位ブロックについての単位ブロック差分最小値を総計して、矩形動きブロック差分値を演算すること、
   を特徴とするシーンチェンジ判定方法。