JP5192597B1 - 動き画像領域判定装置またはその方法 - Google Patents

Abstract

【課題】 矩形の動き領域を適切に判断する。
【解決手段】
保持器６０４は、出力された時刻tの動き領域を保持し、時刻t+1に指定領域特徴検出器６０５に与える。指定領域特徴検出器６０５は、時刻t+1において、判定器６０３から与えられた時刻tの動き座標を時刻tの画像に時刻t+1の画像に適用して、時刻tの動き座標周辺の特徴データｄ（ｔ）、および時刻t+1の動き座標周辺の特徴データｄ（t+1）を演算して、判定器６０３に与える。判定器６０３は、特徴データｄ（t+1）から枠が存在するか否か判断する。
【選択図】 図２４

Description

この発明は、動き画像領域の判定方法に関し、特に、矩形の動き画像領域判定に関する。

今日、入力された動画や静止画の信号を高解像度化して出力する技術が注目されている。例えば、表示領域のうち動画領域にのみ、解像度を上げる処理ができれば、粗い入力動画であっても、みやすく表示することができる。

かかる動画領域が固定であれば手動で特定することもできるが、その場合でも、特定処理が煩雑である。まして、前記動画領域が移動する場合、前記手動特定では限界がある。

動画領域の特定については種々の方法が提案されている。例えば、特許文献１には、ブロック単位での動き検出が開示されている。具体的には、前後フレームにおける同一画素の階調値を比較し、階調値が異なる場合には動画素と判断し、ブロック単位で、動画素の画素数割合を求め、これが閾値よりも大きい場合には、そのブロックは動画像のブロックと判断するというものである。

特開平11-007266号公報

しかし、上記特許文献１に開示された判定方法では、１画素毎の比較をした後、ブロックごとに画素数をカウントするので、１フレームの全画素についての比較が必要であり、実現コストや設計難易度が高くなる。

この発明は、上記問題を解決し、簡易な構成で矩形動き画像領域を判定する判定方法またはその装置を提供することを目的とする。

(1)本発明にかかる矩形動き画像領域決定方法は、表示領域の一部に表示される矩形動き画像領域について、時刻tのフレームと、時刻t+nのフレームの画像の差分に基づいて、外形が矩形の矩形動き画像領域の境界を決定する矩形動き画像領域決定方法であって、時刻tのフレームにおける矩形動き画像領域を決定すると、その境界座標を保持しておき、時刻tのフレームの画像を用いることなく、時刻t+mのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判断し、枠がある場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断する、ただし、n≧mである。

したがって、あとのフレームにて一時停止されたような場合でも、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域として判断することができる。

(2)本発明にかかる矩形動き画像領域決定方法においては、前記表示領域は、行方向および列方向に画素が行列配置されており、前記時刻tのフレームにおける矩形動き画像領域は、下記ステップにより、決定される。前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ。

これにより、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定することができる。

(3)本発明にかかる矩形動き画像領域決定方法においては、前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定ステップを備えている。したがって、精度の高い矩形動き画像領域を決定することができる。

(4)本発明にかかる矩形動き画像領域決定方法においては、前記第１矩形動き画像領域決定ステップは、前記動き行ブロックのうち、隣接する動き行ブロックが閾値以上存在する場合、これらの行ブロックの集合行ブロックの外形行ブロック直線を定義し、前記動き列ブロックのうち、隣接する動き列ブロックが閾値以上存在する場合、これらの列ブロックの集合列ブロックの外形列ブロック直線を定義し、前記外形行ブロック直線および前記外形列ブロック直線で囲われた矩形領域を矩形動き画像領域として決定する。したがって、矩形動き画像領域を決定することができる。

(5)本発明にかかる矩形動き画像領域決定方法においては、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定する。したがって、精度の高い矩形動き画像領域を決定することができる。

(6)本発明にかかる矩形動き画像領域決定方法においては、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向エッジおよび列方向エッジを構成する画素を抽出し、各行についての行方向エッジを構成する画素の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定する。したがって、精度の高い矩形動き画像領域を決定することができる。

(7)本発明にかかる矩形動き画像領域決定方法においては、時刻tと時刻t+nのフレームの画像から動き領域が検出されない場合には、前記時刻tのフレームの画像を用いることなく、時刻t+bのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判断し、枠がある場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断を行い、時刻tと時刻t+nのフレームの画像から動き領域が検出される場合には、時刻tと時刻t+nのフレームから、時刻t+nのフレームにおける矩形動き画像領域を決定すると、前記時刻tにおける境界座標で特定される領域に内包されているか否か判断し、内包されている場合には、時刻tのフレームの画像を用いることなく、時刻t+bのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判断し、枠がある場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断すること、
ここで、b、nは、n≧b≧１を満たす、整数である。

したがって、時刻tのフレームの画像を用いることなく、時刻t+bのフレームについて、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域として決定することができる。

(8)本発明にかかる矩形動き画像領域決定方法においては、前記内包されている場合には、連続で前記内包であることが異なる時刻で閾値以上である場合には、時刻tのフレームの画像を用いることなく、時刻t+bのフレームにおける時刻tにおける境界座標の位置に枠があるか否かの判断をする。したがって、内側を繰り返し検出するような場合には、前記枠判断を行うことができる。

(9)本発明にかかる矩形動き画像領域決定方法においては、表示領域の一部に表示される矩形動き画像領域について、時刻tのフレームと、時刻t+nのフレームの画像の差分に基づいて、外形が矩形の矩形動き画像領域の境界を決定する矩形動き画像領域決定装置であって、時刻tのフレームにおける矩形動き画像領域を決定する手段、前記決定した境界座標を保持する境界座標保持手段、時刻tのフレームの画像を用いることなく、時刻t+mのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判定する枠判定手段、前記判断手段が枠があると判断した場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断する動き領域判断手段、を備えている、 ただし、n≧mである。

したがって、あとのフレームにて一時停止されたような場合でも、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域として判断することができる。

(14)本発明にかかる矩形動き画像領域決定方法においては、表示領域の一部に表示される矩形動き画像領域について、時刻tのフレームと、時刻t+nのフレームの画像の差分に基づいて、外形が矩形の矩形動き画像領域の境界を決定する矩形動き画像領域決定方法であって、時刻tと時刻t+nのフレームから、時刻t+nにおける矩形動き画像領域を決定すると、時刻t+nにおける矩形動き画像領域の境界座標を保持しておき、時刻t+pと時刻t+mのフレームから、時刻t+mのフレームにおける矩形動き画像領域を決定すると、前記時刻t+nにおける境界座標で特定される領域に内包されているか否か判断し、内包されている場合には、時刻t+nのフレームの画像を用いることなく、時刻t+bのフレームについて、時刻t+nのフレームにおける境界座標の位置に枠があるか否か判断し、枠がある場合には、前記時刻t+nの境界座標で特定される領域を時刻t+mのフレームにおける動き領域であると判断すること、ここで、m、n、p、bは、n＜m、p＜m、b≦mを満たす整数である。

したがって、時刻t+nのフレームの画像を用いることなく、時刻t+mのフレームについて、前記時刻tの境界座標で特定される領域を時刻t+mのフレームにおける動き領域として決定することができる。

なお、本明細書において「画素値」とは輝度値はもちろん、ＲＧＢ値など画像情報を特定する為の数値は全て含む。また、「矩形動き画像領域」とは、複数のフレーム間で画素値が異なり、動き画像領域を構成する矩形領域をいう。

「列ブロック」とは、単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合をいう。本実施形態においては、最上段に位置する１の単位ブロックを特定して、列ブロックを決定したが、結果的に当該最上段に位置する１の単位ブロックを含むのであれば、最上段以外の行から特定するようにしてもよい。「行ブロック」とは、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合をいう。結果的に当該左端段に位置する１の単位ブロックを含むのであれば、特定の仕方は問わない。

「第１矩形動き画像領域決定ステップ」、「第２矩形動き画像領域決定ステップ」は、実施形態では、動き画像領域決定処理(図３ステップＳ７）、境界決定処理(図３ステップＳ９）がそれぞれ該当する。

また「列方向」とは各行が配置されている方向をいい、実施形態では、α方向をいう。「行方向エッジ」とは行方向に平行な方向にエッジをいい、「列方向エッジ」とは列方向に平行な方向にエッジをいう。

「内包」とは、図２３のように、４辺すべてが、過去の動き領域に対して内側にある場合はもちろん、過去の動き領域の隅の１カ所、または２カ所が隠されているような場合も含む。

矩形動き画像領域決定装置１の機能ブロック図である。 矩形動き画像領域決定装置１を、ＣＰＵを用いて構成した場合のハード構成の一例である。 全体のフローチャートである。 動き画像領域１１０〜１１２が存在する表示領域１００を示す。 動きブロック決定処理のフローチャートである。 動きブロックを検出した結果を示す図である。 動き画像領域決定処理のフローチャートである。 動き列ブロックを示す図である。 動き画像領域決定処理のフローチャート(続き)である。 動き行ブロックを示す図である。 動き画像領域１４０を示す図である。 境界決定処理のフローチャートである。 1単位ブロック内の３２＊３２画素を示す図である。 多数の動き画像領域が存在する表示領域２００を示す。 検出された動き画像領域３０１〜３０４を示す。 動き画像領域３０１から検出される動き画像領域３１１、３１２を示す。 境界決定処理のフローチャートである。 エッジ画素判断に用いるフィルタと演算式である。 時間軸方向の履歴による境界判断の説明の為の動画例である。 スクロール判定処理のフローチャートである。 動き領域検出処理と補完決定処理の関係を示すフローチャートである。 補完決定処理のフローチャートである。 内側で検出される状態を示す図である。 ハードウェアで実現する場合のブロック図である。 ドキュメント画像の一例である。 第６実施形態における文字領域判定処理のフローチャートである。

以下、本発明における実施形態について、図面を参照して説明する。

（１．１ 機能ブロック）
図１に、本発明の１実施形態にかかる矩形動き画像領域決定装置１の機能ブロック図を示す。矩形動き画像領域決定装置１は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する装置であって、動き単位ブロック判断手段５、動き列ブロック決定手段７、動き行ブロック決定手段９、第１矩形動き画像領域決定手段１１、繰り返し手段１３、第２矩形動き画像領域決定手段１４を備えている。

動き単位ブロック判断手段５は、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する。動き列ブロック決定手段７は、前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する。動き行ブロック決定手段９は、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する。第１矩形動き画像領域決定手段１１は、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する。繰り返し手段１３は、第１矩形動き画像領域決定手段１１が決定した矩形動き画像領域について、動き列ブロック決定手段７、動き行ブロック決定手段９、および矩形動き画像領域決定手段１１による処理を繰り返し実行させる。第２矩形動き画像領域決定手段１４は、前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする。

（１．２ ハードウェア構成）
図２に矩形動き画像領域決定装置１のハードウェア構成を示す。矩形動き画像領域決定装置１は、ＣＰＵ２３、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６には、プログラム２６ｐが記憶されている。プログラム２６ｐには、後述するように、矩形動き画像領域決定処理を行う。ＲＡＭ２５は演算結果等を記憶する。フレームメモリ２７は１画面の画像データを保持する。

ＣＰＵ２３は、プログラム２６Ｐに従い、メモリ２７に記憶された表示領域を構成する画素値に基づき、動きの存在する画素で構成された動き画像領域か否かの判断を行い、結果をＲＡＭ２５に記憶する。

（１．３ フローチャートの説明）
図２に示すプログラム２６Pによる処理について図３を用いて説明する。以下では、図４に示すように、モニタの１フレームである画像領域１００に、３つの矩形動き画像領域１００〜１１２が存在する場合を例として説明する。

画像領域１００は、行方向αと列方向βにマトリックス状に画素が配置されている。

ＣＰＵ２３は、ブロック分割を行う（図３ステップＳ１）。本実施形態においては、３２*３２画素を１ブロックとして、図４に示す表示領域１００を複数のブロックにマトリックス状に分割した。以下では、α方向にはn+1個、β方向にはm+1個のブロックに分割されたものとする。

ＣＰＵ２３は全ブロックについて代表値を決定する(図３ステップＳ３）。代表値としては、１ブロック内の画素値の平均値、先頭の画素値、さらには当該値をそのまま用いるのではなく、CRCなどのハッシュ値を代表値としてもよい。また、平均値は、32＊32＊8bit画像では、18ビット長で表現可能であるが、上下の10ビットを切り捨てて、真ん中の8ビットのみ使用するというようにしてもよい。これにより、(n+1)*(m+1)個のブロック代表値がＲＡＭ２５に記憶される。

ＣＰＵ２３は、(n+1)*(m+1)個のブロックのうち、動きブロックを決定する(ステップＳ５)。動きブロック決定処理について図５を用いて説明する。

ＣＰＵ２３は処理ブロック番号i,jを初期化する(図５ステップＳ１１、Ｓ１３)。ブロック（0,0）について前フレームの代表値と比較する(ステップＳ１５)。本実施形態においては、時刻tと時刻t-1の代表値を比較した。ＣＰＵ２３は代表値の差分が閾値thbを超えるか否か判断し（ステップＳ１７）、代表値の差分が閾値thbを越える場合は動きブロックと判断する(ステップＳ１９)。一方、代表値の差分が閾値thbを越えない場合は非動きブロックと判断する(ステップＳ２１)。

ＣＰＵ２３は処理ブロック番号jが最終か否か判断する(ステップＳ２３）。この場合、j=0で、最終でないので、処理ブロック番号jをインクリメントし（ステップＳ２５）、ステップＳ１５以下を繰り返す。ステップＳ２３にて、処理ブロック番号jが最終であれば、ステップＳ２７に進み、ＣＰＵ２３は、処理ブロック番号iが最終か否か判断する。この場合、最終でないので、処理ブロック番号iをインクリメントし(ステップＳ２９)、ステップＳ１３以下を繰り返す。ステップＳ２７にて、処理ブロック番号iが最終であれば、処理を終了する。

これにより、図６に示すように(n+1)*(m+1)個のブロックについて、動きブロックが決定される。この例では、ブロック（４,２）、（４,３）、（４,４）・・・が動きブロックとして決定されている。

ＣＰＵ２３は、動き画像領域決定処理を行う(図３ステップＳ７）。動き画像領域決定処理の詳細について、図７，図９を用いて説明する。

ＣＰＵ２３は、処理ブロック番号jを初期化する(図７ステップＳ３１）。ＣＰＵ２３は、ブロック(0,0)が属する列のブロックに動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ３３)。この場合、図６に示すように、ブロック(0,0)およびその縦方向のブロック（1,0)〜（m,0）には、動きブロックが存在しないので、かかる列は、非動き列と判断する(図７ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列があるかどうか判断する(ステップＳ３９)。この場合、存在しないので、ステップＳ４６に進み、処理ブロック番号jが最終か否か判断する。この場合、j=0で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。

処理ブロック番号j=2では、ブロック(0,2)の縦方向のブロックには、動きブロックが存在する。したがって、ＣＰＵ２３は、この列は仮動き列として加算記憶する(ステップＳ３５)。

ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。この場合、j=2で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。

処理ブロック番号j=8まで、ステップＳ３５の処理が繰り返される。処理ブロック番号j=9では、ブロック(0,9)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、加算記憶された仮動き列がブロック(0,2)〜(0,8)まで存在するので、前記閾値thwを超えているので、仮動き列を動き列とする（ステップＳ４５）。

ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。

処理ブロック番号j=10では、ブロック(0,10)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、この場合、存在しないので、ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。

以下、j=n-7まで、非動き列と判断がなされる。処理ブロック番号j=n-6には、動きブロック（m-3,n-6）が存在する。したがって、ＣＰＵ２３は、仮動き列として加算記憶する(ステップＳ３５)。

処理ブロック番号j=n-5では、ブロック(0,n-5)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上としたので、仮動き列の幅が前記閾値thwを超えていないので、仮動き列を非動き列とする（ステップＳ４３）。これにより、マウスなどの画像領域を誤って動き画像領域として認定することを防止することができる。

以下同様にして、行方向αについて、順次動きブロックが存在する列か否かを１列ずつ判断している。

なお、最終列であるブロック(0,n)の列が仮動き列である場合もある。この場合、ステップＳ４９にて、加算記憶された仮動き列が存在するか否か判断し、存在する場合には、ステップＳ４１以下の処理を実行する。

図８に、検出後の動き列を示す。この場合、領域１２１が動き列として決定される。これに対して、動きブロック(6,n-3)，(m-3,n-6)が属する領域１２２，１２３は矢印α方向に、閾値thw以上の幅を有していないので、動き列としては決定されない。

つぎに、ＣＰＵ２３は、処理ブロック番号iを初期化する(図９ステップＳ５１）。ＣＰＵ２３は、ブロック(0,0)の行に動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ５３)。この場合、図６に示すように、ブロック(0,0)およびその横方向のブロック（0,1)〜（0,n）には、動きブロックが存在しないので、かかる行は、非動き行と判断する(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるかどうか判断する(ステップＳ５９）。この場合、検出済みの動き行が存在しないので、ステップＳ６６に進み、処理ブロック番号iが最終か否か判断する。この場合、i=0で、最終ではないので、処理ブロック番号iをインクリメントし（ステップＳ６８）、ステップＳ５３以下を繰り返す。

処理ブロック番号i=4では、ブロック(4,0)の行には、動きブロックが存在する。したがって、ＣＰＵ２３は、この行を仮動き行として加算記憶する(ステップＳ５５)。

以下同様にして、i=8まで、ブロック(i,0)の行には動きブロックが存在する動き行であるとの判断がなされる。i=9にて、ブロック(i,0)の行には動きブロックが存在しないので、当該行は非動き行であると判断される(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるか否か判断する(ステップＳ５９)。この場合、加算記憶された動き行があるので、それらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ６１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、検出済みの動き行がブロック(4,0)〜(8,0)まで存在するので、前記閾値thwを超えているので、仮動き行を動き行とする（ステップＳ６５）。

以下同様にして、列方向βについて、順次動きブロックが存在する列か否かを１行ずつ判断する。ステップＳ６９の意義については、ステップＳ４９と同じであるので説明は省略する。

図１０に検出後の動き行を示す。この場合、領域１３１が動き行として決定される。動きブロック(6,n-3)は、領域１３１に属している。これに対して、動きブロック(m-3,n-6)が属する領域１３２は、矢印β方向に閾値thw以上の幅を有していないので、動き行としては決定されない。

ＣＰＵ２３は、動き列と動き行の双方に属するブロックを動き画像領域として決定する(図９ステップＳ７０)。この場合、図１１に示す領域１２１と領域１３１の重複する領域１４０に属するブロックが動き画像領域として決定される。図６の動きブロックと比較すると、動きブロック(6,n-3)，(m-3,n-6)が排除される一方、ブロック(4,5）などが動き画像領域として決定されている。このようにして取りこぼしを周辺ブロックとの関係で防ぐことができる。

ＣＰＵ２３は、境界決定処理を行う(図３ステップＳ９)。図１１に示す領域１４０については、３２＊３２画素で構成されたブロックにおける動き画像領域の境界が得られている。ステップＳ９の処理により、図１３に示すように、１画素単位での動き画像領域の境界１５０を得ることができる。ステップＳ９の詳細について図１２を用いて説明する。

ＣＰＵ２３は、上側ブロックを抽出する(図１２ステップＳ８０)。この場合、図１３に示すブロック(4,2)〜(4,8)の計７つのブロックが抽出される。ＣＰＵ２３は、処理行番号Pを初期化し(ステップＳ８１）、抽出したブロックのP行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８３)。この場合、ブロック(4,2)の０行目の３２画素、ブロック(4,3)の０行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。本実施形態においては、代表値は抽出した画素の平均値とした。

つぎにＣＰＵ２３は、抽出したブロックの処理行番号P+1行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８５)。この場合、ブロック(4,2)の１行目の３２画素、ブロック(4,3)の１行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。

ＣＰＵ２３は、ステップＳ８３で求めた代表値とステップＳ８５で求めた代表値が異なるか否か判断する(ステップＳ８７）。ステップＳ８７にて両者が異なる場合には、画素（P,0)の行が境界であると判断する(ステップＳ９３）。ステップＳ８７にて両者が異ならない場合には、処理行番号Pをインクリメントし(ステップＳ８９）、抽出ブロックの最終画素（この場合、32画素）となるまでステップＳ８３以下を繰り返す(ステップＳ９１）。最終画素でもステップＳ８７にて両者が異ならない場合は、抽出したブロックの端部が境界であると判断する(ステップＳ９５)。

図１２においては、上部のブロックにおける１画素単位の境界を抽出する場合について説明したが、下部のブロックについても同様である。

このように、外周のブロックについて、上部、下部であれば横方向に１行分画素を抽出して、その代表値を隣接する行と比較することにより、ブロック内における1画素単位の境界を取得することができる。

なお、左右の境界については、縦方向に１列分画素を抽出して、その代表値を隣接する列と比較すればよい。

本装置においては、動き画像領域を自動的に検出することができる。また、その判断も数フレームで検出可能である。したがって、モニタ上で動画領域自体が動的に変動する場合であっても、ほぼリアルタイムで動画領域を検出できる。

（２.第２の実施形態）
上記実施形態では、検出対象が１つの場合を例として説明した。第２実施形態では、決定した動き画像領域についてさらに、図３ステップＳ７の処理を繰り返すことにより、図１４に示すような動き画像領域２０１〜２０７が複数存在する場合でも、動き画像領域を検出することができる。

図３ステップＳ７の処理を一度行うと、図１５に示すような、動き画像領域３０１〜３０４が決定される。領域２０７については閾値thw以上の幅を有しないとして動き画像領域としては検出されない。

この状態では、動き領域３０１には、本来、動き画像領域でない領域も含まれている。かかる場合があるので、ＣＰＵ２３は、領域３０１〜３０４をそれぞれ全体の画像領域とみなして、再度、動き画像領域の検出を行う。これにより、例えば、領域３０１の場合、ブロック座標（y1,x1）(y3,x11)で定義される領域３１１と、ブロック座標（y1,x12）(y3,x13)で定義される領域３１２が検出される。他の領域３０２〜３０４についても同様である。

領域３１１については、同様にして領域３１１を全体の画像領域とみなして再度、動き画像領域の検出を行う。これにより、ブロック座標（y1,x1）(y11,x11)で定義される領域が検出される。領域３１２についても同様である。

かかる繰り返し検出は、それ以上分割できなくなるまで行ってもよいし、予め繰り返し検出の上限回数を決めておいてもよい。

（３.第３の実施形態）
第１，第２の実施形態においては、ブロック単位で検出した後、外周の四辺を構成する単位ブロックについて、行方向であれば各行について代表値を求めて、隣接する行と異なる場合に、境界であると判断している。列方向についても同様である。かかる検出については、以下のように境界判断をすることもできる。図１７を用いて説明する。

ＣＰＵ２３は、上側ブロックのうち端部を除いたブロックを抽出する(図１７ステップＳ１００)。この場合、図１３に示すブロック(4,3)〜(4,7)の計５つのブロックが抽出される。このように端部を除くのは、両端部のブロックには一部エッジがない可能性があるからである。ただし、かかる端部ブロックについても採用するようにしてもよい。

ＣＰＵ２３は、処理行番号r、処理画素番号gを初期化し(図１７ステップＳ１０１、Ｓ１０２)、行番号”０”の抽出したブロックのg番目の画素が横エッジ画素（行方向エッジ）であるか否か判断する（ステップＳ１０３）。横エッジ画素か否かについては隣接する画素との輝度差に基づいて決定すればよい。本実施形態においては、図１８Ａに示すようなフィルタおよび演算式を採用した。

ＣＰＵ２３は、Ｐ番目の画素が横エッジ画素であると判断すると、総数Etをインクリメントする(図１７ステップＳ１０５)。ＣＰＵ２３は１ライン全て終了したか否か判断し(ステップＳ１０７)、終了していなければ、処理画素番号gをインクリメントし(ステップＳ１０９)、ステップＳ１０３?ステップＳ１０７を繰り返す。

ＣＰＵ２３は、１ラインの全画素について、横エッジか否か判断すると、そのラインにおける横エッジの総数Etがあらかじめ設定した閾値thsより大きいか否か判断する(ステップＳ１１１)。これは、動画領域内にも、輪郭として横エッジの画素は存在するので、それを排除するためである。ＣＰＵ２３は横エッジの総数Etが閾値thsより大きい場合には、それを境界とする(ステップＳ１１３)。これにより、横エッジの集合が閾値thsを超える境界を得ることができる。

なお、閾値thsは固定閾値でもよいし、また、あらかじめ比率を設定しておき、検出した領域の大きさ（ブロック数）に応じて、計算するようにしてもよい。

ＣＰＵ２３は、ステップＳ１１１にて、”NO"の場合は、全行終了したか否か判断する(ステップＳ１１３）。全行終了していなければ、ＣＰＵ２３は処理行番号rをインクリメントと、ステップＳ１０２〜ステップＳ１１１を繰り返す。

このようにして、１画素単位で、境界を判断することができる。下部のブロックにおける１画素単位の境界についても同様である。

左右の境界については、最右段および最左段に位置する単位ブロックについて、同様に、図１８Bに示すフィルタおよび演算式を用いて、縦エッジ（列方向エッジ）を検出すればよい。

本実施形態においては、縦エッジおよび横エッジの総数で境界判断を行っている。したがって、乱雑な背景上の動画領域であっても検出が可能である。また、検出精度向上、動画領域の揺れが低減する。

本実施形態においては、境界を求める場合に、図１１で求めたブロックのうち、端部を除いた全ブロックの画素を採用したが、さらにその一部で判断するようにしてもよい。

本実施形態においては、閾値thsとの比較は１ラインの総計としたが、エッジ画素が所定数以上連続する場合に、境界であると判断するようにしてもよい。さらに、自然画においてもエッジ画像が存在する場合もある。したがって、一定数以上連続していないエッジについては、総数の計算から除去するようにしてもよい。

本実施形態においては、前記矩形領域を決定し、その外周にあたるブロックについての１画素単位の境界を求める場合について適用したが、動き推定一般、さらに他の分野にも適用可能である。また、１画素単位でなく複数画素単位（例えば２*２画素単位）の境界を求めるようにしてもよい。

本実施形態においては、エッジ画素を抽出して境界を決定するようにしたが、対象のブロック内の各画素について、異なるフレーム間で動きベクトルがある画素か否か判断し、動きベクトルが検出できる画素と、検出できない画素の境目が境界であると判断するようにしてもよい。

なお、特定のフレームでは、動画領域と背景との間に輝度差がほとんどない場合もある。たとえば、図１９Ａに示すフレームtでは、背景と動画領域との境界部分に輝度差がほとんどない。このようなフレームで１のフレームだけでは境界検出ができないおそれがある。そこで、各フレームの境界を順次記憶しておき、あるフレームでは境界を検出できない場合、蓄積してる境界を採用するようにしてもよい。本実施形態においては、蓄積するフレーム数としては、十数フレーム分とした。

本実施形態においては、あらかじめ、複数画素で構成されたブロック単位での検出（以下、荒処理という）を行う場合について説明したが、かかる処理なしに矩形の境界を判定することもできる。

さらに、複数のフレームではなく、静止画における矩形の境界決定装置として適用可能である。

（４.第４の実施形態）
上記で説明したフレーム間の画素情報に基づいて動画領域か否か判断すると、特定の矩形領域でテキストデータをスクロールする場合にも、誤って動画領域と判断するおそれがある。以下に示すように、スクロール判定を行い、スクロール処理である場合には、境界判断をしないようにしてもよい。

テキストデータについては、横書きの場合、文字と文字の間に行間が存在する。すなわち、１ラインごとに見ていくと、文字が記載される領域にはエッジ画素が多数存在し、行間になると全くエッジ画素が存在しないという特質を有する。したがって、かかる特質が存在するかで、動画領域か否かを区別することができる。

ＣＰＵ２３は、対象行番号Qおよび合致行数kを初期化し(図２０ステップＳ１２１)、抽出したブロックのQ行目の総エッジ画素数Enqを計測する（ステップＳ１２３）。エッジ画素か否かについては周りの画素との輝度差に基づいて決定すればよい。

ＣＰＵ２３は、総エッジ画素数Enqが閾値thmよりも大きいとともに、直前の総エッジ画素数En(q-1)が、閾値thnよりも小さいか否か判断する（ステップＳ１２５）。ＣＰＵ２３はステップＳ１２５での判断が”yes”である場合には、合致行数kをインクリメントする（ステップＳ１２７）。

ＣＰＵ２３は、すべての行について判断済みか否かを判断する（ステップＳ１３１）。すべての行について判断済みでない場合には、ＣＰＵ２３は処理行番号Qをインクリメントし(ステップＳ１３３）、ステップＳ１２３?ステップＳ１２７を繰り返す。

ＣＰＵ２３は、ステップＳ１３１にてすべての行について判断済みと判断すると、前記合致行数kが閾値thgよりも大きいか判断する（ステップＳ１３５）。合致行数kが閾値thgよりも大きい場合には、スクロールによる動きであると判断する（ステップＳ１３７）。

かかるスクロール判定は、図３ステップＳ７とステップＳ９の間で行い、スクロール判定であると判断した場合には、ステップＳ９の処理を行わないようにすればよい。

これにより、ブラウザ内の文字をスクロールして動かす場合に、その領域が動画と判定されることを防ぐことができる。

なお、前記スクロール判定は、当該領域における全行でなく、一部の行で判断してもよい。

本実施形態においては、テキストデータが横書きの場合について説明したが、縦書きであっても同様に判定可能である。なお、スクロール判定はこのやり方に限定されず、周知のスクロール判定であってもよい。

また、動画領域判断におけるスクロール判定に適用した場合について説明したが、スクロール判定一般に適用可能である。

また、スクロールでなくとも、特定領域がテキスト領域であるか否かが判定できる。この特定領域は動画領域検出による動画領域に限らず静止画・動画を問わず画像内の特定の領域であってもよい。

この実施形態における矩形動き画像領域決定方法は、行方向および列方向に画素が行列配置された表示領域のうち、その一部に表示される矩形動き画像領域を決定する矩形動き画像領域決定方法であって、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、 前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定ステップを備えている。

このように、前記単位ブロック毎に動き単位ブロックか否か判断し、前記動き行ブロックおよび動き列ブロックを決定し、その双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定することにより、動き画像領域を決定することができる。また、その領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とすることにより、より精密な動き画像領域を決定することができる。

この実施形態における矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定する。したがって、行毎の代表画素値に基づいて境界を決定することができる。

この実施形態における矩形動き画像領域決定方法は前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、異なるフレーム間で動きが存在する動き画素か否かを判断して、前記矩形動き画像領域の境界を決定する。したがって、各画素の動きベクトルに基づいて境界を決定することができる。

この実施形態における矩形動き画像領域決定方法は前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向エッジおよび列方向エッジを構成する画素を抽出し、各行についての行方向エッジを構成する画素の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定する。したがって行方向エッジおよび列方向エッジに基づいて境界を決定することができる。

この実施形態における矩形動き画像領域決定方法は、前記第２矩形動き画像領域決定ステップの前に、決定した矩形動き画像領域がスクロールによってフレーム間で画像が異なるか否かを判定するスクロール該当判定をする。したがって、スクロールに該当するのかそうでないかを区別することができる。また、スクロールであると判断した場合には、前記第２矩形動き画像領域決定ステップを行わない。したがって、スクロールに該当する場合に迅速な判断が可能となる。

この実施形態における矩形動き画像領域決定方法においては、前記スクロール該当判定は、決定した矩形動き画像領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断し、前記エッジではない画素が行方向または列方向に所定数以上存在する行または列について、文字隙間存在領域として認識し、前記決定した矩形動き画像領域に対する前記文字隙間存在領域の割合に基づいてスクロール該当判定をする。したがって、文字を含む画像をスクロールしている場合を、確実に判断することができる。

この実施形態における矩形動き画像領域決定方法においては、第１矩形動き画像領域決定ステップにて決定した矩形動き画像領域について、第２矩形動き画像領域決定ステップの前に、前記動き列ブロック決定ステップ、前記動き行ブロック決定ステップ、および前記第１矩形動き画像領域決定ステップを繰り返し実行する。したがって、検出する動き画像領域が複数ある場合でも、正確に検出が可能となる。

この実施形態における矩形動き画像領域決定方法は、前記第１矩形動き画像領域決定ステップでは、決定した矩形領域について、さらに、前記動き列ブロック決定ステップ、および前記動き行ブロック決定ステップ、繰り返し実行する。したがって、検出する動き画像領域が複数ある場合でも、正確に検出が可能となる。

この実施形態におけるスクロール領域判定装置は、画面内の判定対象領域がスクロール領域か否かを判定するスクロール領域判定装置であって、前記判定対象領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断するエッジ画素判断手段、同一行または同一列に、前記エッジではない画素が所定数以上存在する行または列を文字隙間存在領域として判断する文字隙間存在領域判断手段、前記判定対象領域に対する前記文字隙間存在領域の割合に基づいてスクロール領域か否かを判断するスクロール領域判断手段、を備えている。

したがって、文字を含む画像をスクロールしている場合を、確実に判断することができる。

この実施形態における境界決定装置は、１画面に存在する矩形領域の境界を決定する境界決定装置であって、判定対象画素における各画素の画素値に基づいて、エッジを構成する画素を判断するエッジ画素判断手段、行方向エッジを構成する画素を行方向エッジ画素として抽出し、前記行方向エッジの総数を各行について演算し、各行の前記行方向エッジの総数に基づいて、行方向の境界を決定する行方向境界決定手段、列方向エッジを構成する画素を列方向エッジ画素として抽出し、前記列方向エッジの総数を各列について演算し、各列の前記列方向エッジの総数に基づいて、列方向の境界を決定する列方向境界決定手段、前記決定した行方向境界および前記列方向境界を、前記矩形領域の境界として決定する矩形領域決定手段、を備えている。

したがって行方向エッジおよび列方向エッジに基づいて境界を決定することができる
この実施形態における境界決定装置は、前記エッジ画素判断手段が判定対象とする画素を決定する手段であって、以下の手段を有する荒領域決定手段を備えている。

1)行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する動き単位ブロック判断手段、
2)前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定手段、
3)前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定手段、
4)前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定手段、
5)前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックに属する画素を判定対象として決定する対象画素決定手段。

したがって、より迅速に境界判断が可能である。

（５. 第５の実施形態）
上記実施形態により外形が矩形の動き境界（枠）を決定できる。したがって、静止画の領域と動画の領域が併存するような表示状態、たとえば、ブラウザで動画投稿サイトを表示するような場合に、動き領域を動的に検出して、静止画領域とは異なる表示手法（たとえば、エッジ強調処理の変更など）を採用することができる。このように、動き領域を動的に検出することにより、ユーザがブラウザのウインドウ位置を移動、さらには、拡大等、変更した場合でも、動き領域を自動的に追従させることができる。

しかしながら、かかる自動追従については、たとえば、下記のような問題が生ずる場合もある。

1)ユーザの操作等により、動きを一時停止した場合は通常、動き領域が検出されなくなり、再生を開始すれば再度検出される。かかる一時停止および再度の再生時に、その領域について、前記エッジ強調処理が変更されることとなるので、ユーザが違和感を感じる場合がある。

2)動き領域においても、アニメの口パクのように、その領域の一部だけが動き領域で、他はほとんど動きがない場合がある。かかる状態が一定期間続くと、当該一部領域のみが動き領域として判定し、その領域だけが前記エッジ強調処理などがされてしまうおそれがある。

この実施形態で開示した発明は、下記の処理を行うことにより動的に矩形の動き領域を検出する動き領域検出装置において、特殊状況下でも適切な矩形の動き領域を検出する検出方法またはその装置を提供することができる。

上記実施形態における動き領域検出処理と、この実施形態における補完決定処理の関係を図２１に示す。このように、補完決定処理（ステップＳ１５５）は、動き領域検出処理（ステップＳ１５３）結果では、動き領域が検出できないまたは検出したものが適切でない場合を補完する処理である。

（５．１ 一時停止する場合）
かかる補完決定処理を含めた全体の処理について、図２１および図２２を用いて説明する。以下では、時刻tに動きを一時停止させて、その後、時刻t+5でブラウザのウインドウを最小化して、そのままにした場合を例として説明する。

ＣＰＵ２３は、次のフレームについてのデータを受け取ると、図２１ステップＳ１５３の動き領域検出処理をおこなう。動き領域検出処理では、時刻t-1と時刻tにおけるフレーム間で動き検出がされる。この場合、時刻tにて再生が一時停止させられているので、両フレーム間で差分が存在するので、動き領域が検出される。

ＣＰＵ２３は、図２１ステップＳ１５５ヘ進む。ステップＳ１５５の詳細を図２２に示す。

ＣＰＵ２３は、現時点、すなわち、時刻tにおいて、直前まで検出されていた動き領域が存在するか否か判断する（図２２ステップＳ２０１）。この場合、直前である時刻t-1においては、既に動き領域が存在するので、ＣＰＵ２３は、時刻tにおいて、動き領域が検出されたか否か判断する（ステップＳ２０３）。

ＣＰＵ２３は、この場合、時刻tでは、図２１ステップＳ１５３にて、動き領域が検出されているので、検出された動き領域が直前まで検出されていた動き領域の内側か否か判断する(ステップＳ２２１）。この場合、検出された動き領域は直前まで検出されていた動き領域と同じであるので、前記内側の領域ではないので、補完決定処理を終了する。

補完決定処理が終了すると、ＣＰＵ２３は、次のフレームについてのデータを受け取った否か判断する（図２１ステップＳ１５１）。

ＣＰＵ２３は、次のフレームについてのデータを受け取ると、図２１ステップＳ１５３の動き領域検出処理をおこなう。動き領域検出処理では、時刻t+1において動き領域が検出されるか否か判断する。具体的には、時刻tと時刻t+1におけるフレーム間で動き検出がされる。この場合、時刻tにて再生が一時停止させられているので、時刻tと時刻t+1の両フレーム間で差分が存在せず、動きが検出されない。

ＣＰＵ２３は、補完決定処理を行う(図２１ステップＳ１５５）。すなわち、時刻t+1にて、直前まで検出されていた動き領域が存在するか否か判断する（図２２ステップＳ２０１）。この場合、直前の時刻tにおいては、動き領域が存在するので、ＣＰＵ２３は、時刻t+1において、動き領域が検出されたか否か判断する（ステップＳ２０３）。

この場合、図２１ステップＳ１５３にて、動き領域が検出されていないので、ＣＰＵ２３は、時刻t+1のフレームにおいて、直前まで検出されていた動き領域に、枠が存在するか否か判断する（図２２ステップＳ２０５）。枠検出は、たとえば、枠の内と外で、画素値を比較して所定以上の差分がある場合には、エッジがあると判断し、エッジの総数が閾値を超えれば枠が存在すると判断するようにすればよい。なお、枠の存在の検出手法は、これ以外の周知の手法を採用してもよい。

この場合、単に、再生が一時停止されている状態なので、時刻t+1のフレームにおいて、直前まで検出されていた動き領域には、エッジが存在する。したがって、ＣＰＵ２３は、直前まで検出されていた動き領域をそのまま保持する(ステップＳ２１１）。

このように、直前のフレームで検出されていた領域の座標を記憶しておき、これを枠候補領域情報としてその後のフレームに与えることにより、上記第１実施形態のように、複数フレーム間で比較することなく、１のフレームに枠が存在するか否かを判断可能となる。

これにより、動画領域の再生を停止した場合でも、図２１ステップＳ１５３の動き領域検出処理では検出できなかった動き領域を、検出することができる。

ＣＰＵ２３は、次のフレームの画像を受け取るか否か判断し(図２１ステップＳ１５１）、これを受け取った場合には、ステップＳ１５３、ステップＳ１５５の処理を繰り返す。

具体的には、図２１ステップＳ１５３では動き領域は検出できず、時刻t+2〜時刻t+4までは、ＣＰＵ２３は、図２２ステップＳ２０１−ステップＳ２０３−ステップＳ２０５−ステップＳ２１１に進み、直前まで検出されていた動き領域が保持される。

この場合、時刻t+5においては、ウインドウが閉じられている。したがって、図２１ステップＳ１５３では動き領域は検出できず、ステップＳ１５５に進む。ステップＳ１５５では、ＣＰＵ２３は、ステップＳ２０１−ステップＳ２０３−ステップＳ２０５と進み、ステップＳ２０５にて、直前まで検出されていた動き領域の座標には、枠が存在しないと判断してステップＳ２０７に進む。ＣＰＵ２３は、枠が存在しない場合が複数回連続で続いてるか否か判断する(ステップＳ２０７）。本実施形態においては、ステップＳ２０７における回数を「５」とした。この場合は、枠が存在しない場合が複数回連続で続いていないので、ＣＰＵ２３は、直前まで検出されていた動き領域をそのまま保持する(ステップＳ２１１）。

ＣＰＵ２３は、次のフレームの画像を受け取るか否か判断し(図２１ステップＳ１５１）、これを受け取った場合には、ステップＳ１５３、ステップＳ１５５の処理を繰り返す。

具体的には、図２１ステップＳ１５３では動き領域は検出できず、ステップＳ１５５にて、時刻t+6〜時刻t+8までは、ＣＰＵ２３は、図２２ステップＳ２０１−ステップＳ２０３−ステップＳ２０５−ステップＳ２０７−ステップＳ２１１と進み、直前まで検出されていた動き領域を保持する。

以下同様にして、図２１ステップＳ１５３では動き領域は検出できず、ステップＳ１５５にて、時刻t+9では、ＣＰＵ２３は、図２２ステップＳ２０１−ステップＳ２０３−ステップＳ２０５−ステップＳ２０７に進み、ステップＳ２０７にて、枠が存在しない場合が５回連続で続いてると判断して、直前まで検出されていた動き領域を破棄する(ステップＳ２１３）。

このようにして、矩形の動き領域は存在するけど、再生を停止している場合でも、一定期間は当該領域を検出することができる。

なお、本実施形態においては、図２２ステップＳ２０３にて、動き領域が検出されない場合に、ステップＳ２０５の処理をしている。これは、ステップＳ２２１以下の処理を行うかを条件分岐させる為である。したがって、一時停止か否かだけを判断するのであれば、ステップＳ２０１で「ＹＥＳ」の場合には、ステップＳ２０５へ飛ばすようにしてもよい。

（５．２ 内側領域となる場合）
以下では、動き領域において当該動き領域の一部だけが動き領域で、他はほとんど動きがないような場合の処理について説明する。以下では、上記と同様に、時刻t-20〜時刻tまでは動き領域全体が動いていたが、時刻t+1〜時刻t+6には、顔の一部のみが動いている場合を例として説明する。

ＣＰＵ２３は、時刻tにおいて、図２１ステップＳ１５３の動き領域検出処理を行う。この場合、時刻tにて顔の一部のみが動いているので、図２３に示すように、一つ前のフレームの動き領域４１０と比べると小さな動き領域４１１が検出される。

ＣＰＵ２３は、図２１ステップＳ１５３に進む。具体的には、ＣＰＵ２３は、時刻tにおいて、直前まで検出されていた動き領域が存在するか否か判断する（図２２ステップＳ２０１）。

この場合、直前である時刻t-1においては、図２３に示すように、動き領域が存在するので、ＣＰＵ２３は、時刻tにおいて、動き領域が検出されたか否か判断する(ステップＳ２０３）。この場合、動き領域が検出されているので、ＣＰＵ２３は、検出された動き領域が直前まで検出されていた動き領域の内側であるか否か判断する(ステップＳ２２１）。

この場合、図２３に示すように、時刻tで検出された動き領域４１１は、時刻t-1で検出された動き領域４１０に内包されている。したがって、ＣＰＵ２３は、連続して内側を検出した回数が閾値以上か否か判断する（ステップＳ２２３）。本実施形態においては、ステップＳ２２３における回数を「５」とした。

この場合、かかる回数は連続していない。したがって、閾値未満と判断して、ＣＰＵ２３は直前まで検出されていた動き領域の保持時間が閾値以上か否か判断する(ステップＳ２２５）。本実施形態においては、ステップＳ２２５における保持時間の閾値を３秒とした。

この場合、時刻t-20〜時刻tまでは動き領域全体が動いていたので、ＣＰＵ２３は、直前まで検出されていた動き領域の保持時間が閾値を越えていると判断して、直前まで検出されていた動き領域をそのまま保持する(ステップＳ２１１）。これにより、動き領域において当該動き領域の一部だけが動き領域で、他はほとんど動きがないような場合でも、動きのある領域の誤検出を防止できる。

このように、ステップＳ２２５にて、保持時間が閾値以上である場合には、直前まで検出されていた動き領域４１０を保持する。これにより、誤検出された場合を排除することができる。すなわち、同じ位置で同じ大きさで、動き領域が予め決められた時間保持されており、たまたまそのうちの内側が検出された場合には、誤検出と認定して、ステップＳ２１１の処理を実行する。

ＣＰＵ２３は、以下のフレームについても同様の処理を実行する。このようにして、検出された動き領域が直前まで検出されていた動き領域の内側である場合にも、元の動き領域を保持することができる。

なお、ステップＳ２２５にて直前まで検出されていた動き領域の保持時間が閾値を越えていない場合には、直前まで検出されていた動き領域の四隅近傍とも輝度変化なしか否か判断する(ステップＳ２２７）。

この場合、動き領域において当該動き領域の一部だけが動き領域で、他はほとんど動きがないような場合であるので、輝度変化無しと判断して、ステップＳ２２９に進み、枠検出判断を行う。ステップＳ２２９の処理はステップＳ２０５と同様である。この場合、動き領域には枠は存在するので、ステップＳ２１１に進む。

このように、単に、一部の領域は動きがあるが、他の部分はたまたま静止しているに過ぎず、直前まで検出されていた動き領域の保持時間が閾値を越えていないような場合でも、ＣＰＵ２３は、直前まで検出されていた動き領域をそのまま保持することができる(ステップＳ２１１）。

そして、かかる処理が続く場合には、ステップＳ２２５にて保持時間が閾値以上となるので、そのままステップＳ２１１に進む。

ステップＳ２２７の意義について説明する。図２３に示すような、検出された動き領域が直前まで検出されていた動き領域の内側である場合としては、動き領域において当該動き領域の一部だけが動き領域で、他はほとんど動きがないような場合以外にも、動き領域の一部に他のウインドウが重なって動き領域が隠れてしまった場合もある。このような場合には、隠されている領域は少なくとも１つは検出された領域の四隅のいずれかを含み、かつ、輝度が変化する。したがって、直前まで検出されていた動き領域の四隅近傍の少なくとも１つに輝度変化がある場合には、ステップＳ２１１に進み、そうでない場合にはステップＳ２２９の処理を行う。

すなわち、動き領域の一部に他のウインドウが重なって動き領域が隠れてしまった場合には、ステップＳ２２９にて、直前まで検出されていた動き領域に枠が存在しないと判断されて、検出した動き領域を新しい動き領域とする(ステップＳ２３１）。なお、枠を検出する閾値を調整することにより、どの程度重なればよいかを調整できる。

なお、ステップＳ２２７にて１箇所以上輝度変化がなかった場合、ステップＳ２２９に進むことなく、ステップＳ２３１に進むようにしてもよい。

つぎにＣＰＵ２３は、ステップＳ１５１にて次のフレームについてのデータを受け取った否か判断する（図２１ステップＳ１５１）。受け取るとステップＳ１５３，ステップＳ１５５の処理を繰り返す。

なお、ステップＳ２２３にて、連続して内側を検出した回数が閾値以上である場合には、ステップＳ２２５およびステップＳ２２７の判断を行わずに、ステップＳ２２９の判断を行う。これにより、内側を繰り返し検出するような場合には、ステップＳ２２９の枠判断を行うことができる。

なお、ステップＳ２２７，ステップＳ２２９、ステップＳ２３１は、以下のような効果を奏する。動き領域検出初期は、結果の信頼度は比較的低い。なぜなら、マウスポインタやプログレスバーの移動等によって誤って大きく検出されることが多いからである。したがって、動き領域を検出して間もない場合は、現在の検出領域の4 隅の４箇所のうち１箇所も輝度変化がなかった場合で、かつ前記枠が存在していなかった場合に、検出した内側領域を動き領域として再設定する。

また、本実施形態においては、ステップＳ２２７の判断基準として、前記四隅の少なくとも1カ所で判断するようにしたが、かかる４カ所に加えて、中央１カ所の計５カ所で判断するようにしてもよい。この場合、四隅の少なくとも１カ所に加えて、さらに、中央で輝度変化がないか判断するようにすればよい。

また、ステップＳ２２１にて、検出された動き領域が直前まで検出されていた動き領域の内側でない場合には、動き領域が移動、または拡大等がなされた場合なので、本件のような直前まで検出されていた動き領域を保持する処理を行わない。すなわち、図２１ステップＳ１５３の通常の動き検出処理で検出された領域が、動き領域として検出される。

なお、ステップＳ２０５、ステップＳ２２９において直前まで検出されていた動き領域に枠が存在するかではなく、たとえば、動画の再生位置を示すプログレスバー、再生時間を示すタイマーが存在するかを判断するようにしてもよい。このように、動き領域には存在する領域がある場合には、直前まで検出されていた動き領域が検出領域であると判断することができる。

また、直前まで検出されていた動き領域に枠があるか否かを、エッジ数で判断するのではなく、ヒストグラムで判断するようにしてもよい。

図２４に、図２１、図２２の処理をハードウェアで実現した場合のブロック図を示す。動き領域座標検出器６０１は、時刻t-1と時刻tの画像を用いて時刻tの動き領域候補（１）候補を出力する。判定器６０３は、この時刻tの動き領域候補（１）と後述する時刻tの動き座標の候補（２）から、いずれか選択して、時刻tにおいて、時刻tの動き領域を出力する。保持器６０４は、この時刻tの動き領域（座標）を保持させておき、時刻t+1において、これを時刻tの動き座標として、指定領域特徴検出器６０５に与えるとともに、時刻t+1の動き座標の候補（２）として自らにも、与える。

指定領域特徴検出器６０５は、時刻t+1において、判定器６０３から与えられた時刻tの動き座標を、時刻tおよび時刻t+1の画像に適用して、時刻tの動き座標周辺の特徴データｄ（ｔ）、および時刻t+1の動き座標周辺の特徴データｄ（ｔ+1）を演算して、判定器６０３に与える。

判定器６０３は、特徴データｄ（ｔ+1）から枠が存在するか否か判断する。また特徴データｄ（ｔ）および特徴データｄ（ｔ+1）から、四隅の輝度変化があるか（図２２ステップＳ２２７）の判断を行う。

このようにして、時刻tにおいて、出力した動き座標を保持しておき、時刻t+1において与えられた画像に適用することにより、図２２の判断が可能となる。

この実施形態では、上記第１〜第４実施形態の外形矩形領域の検出した場合について説明したが、その以外の手法でも、外形矩形領域の検出手法と組み合わせることは可能である。

なお、表示領域の一部に表示される矩形動き画像領域について、時刻tのフレームと、時刻t+1のフレームの画像の差分に基づいて、外形が矩形の矩形動き画像領域の境界を決定する矩形動き画像領域決定方法としては、たとえば、下記ステップで実行することも可能である。前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、前記各単位ブロックについて、各行が配置されている方向である列方向について、少なくとも1の動き単位ブロックを含む場合には、当該行は動き行ブロックであると決定する動き行ブロック決定ステップ、前記各単位ブロックについて、各列が配置されている方向である行方向について、少なくとも1の動き単位ブロックを含む場合には、当該列は動き列ブロックであると決定する動き列ブロック決定ステップ、前記動き行ブロックのうち、隣接する動き行ブロックが閾値以上存在する場合、これらの行ブロックの集合行ブロックの外形行ブロック直線を定義し、前記動き列ブロックのうち、隣接する動き列ブロックが閾値以上存在する場合、これらの列ブロックの集合列ブロックの外形列ブロック直線を定義し、前記外形行ブロック直線および前記外形列ブロック直線で囲われた矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ。

上記実施形態では、動き領域座標検出器６０１と指定領域特徴検出器６０５に同じフレームの画像を与えるようにしたが、動き領域座標検出器６０１とは、異なるフレームの画像を指定領域特徴検出器６０５に与えるようにしてもよい。具体的には、時刻t-1と時刻tのフレームから求めた動き領域と、時刻tと時刻t+1のフレームから求めた動き領域とで、内包関係を判断したが、かかる内包を判断するフレームとしては、時刻tと時刻t+nのフレームから求めた動き領域と、時刻t+mと時刻t+pのフレームから求めた動き領域とから判断するようにしてもよい。ただし、この場合、n、m、pは、n＜m、p＜mを満たす、整数である。

また、指定領域特徴検出器６０５には、時刻t+aと時刻t+bのフレームをあたえるようにしてもよい。ただし、a、bは、m≧b、m≧a、a≠bを満たす整数である。

（６.第６の実施形態）
上記第４の実施形態では、特定の動画領域について、スクロール判定を行い、文字領域をスクロールしている場合には、境界判定を行わないようにしている。かかるスクロール判定は、特定領域がテキスト領域であるか否かの判定に用いることができる。

この実施形態では、特定領域がテキスト領域かの判定を別の手法で実施する場合について説明する。

なお、同様にして、特定領域がスクロールしているのかの判定に用いることもできる。

上記第４の実施形態では、各ラインについて１つ前のラインとのエッジ数の差が閾値を超える場合には、当該ラインを特徴ラインとして検出し、この検出した特徴ライン総数が閾値を超えると、この特定矩形領域が文字領域であると判断している。しかし、図２５に示すような自然画が混在する文字混在領域の場合には、誤検出のおそれがある。なぜなら、自然画の領域においては、１つ前のラインとのエッジ数の差がなく、他の領域だけで、特徴ラインか否かをの判断をしなければならないからである。この実施形態においては、このような二つラインのエッジ差ではなく、各ラインに最大連続無エッジ数が、閾値以上あるか否かで文字混在領域か否かを判断するようにした。以下、図２５に示すような、文字と自然がが混在する矩形領域が抽出されている場合を例として、図２６を用いてその処理について説明する。

ＣＰＵ２３は、特徴ライン総数kを初期化し、(図２６ステップＳ２２１)、連続無エッジ数ｒを初期化する(ステップＳ２２３)。

ＣＰＵ２３は、連続無エッジの開始か否か判断する（ステップＳ２２４）。連続無エッジの開始か否かは、その画素が当該行において、初めてエッジでない画素か、またはエッジ画素から非エッジ画素になったかを判断すればよい。なお、各画素がエッジか否かについては、既に説明したように、周りの画素との輝度差に基づいて決定すればよい。

ＣＰＵ２３は、ステップＳ２２４での判断が”yes”である場合には、連続無エッジ数ｒをインクリメントし（ステップＳ２２５）、連続無エッジの終了か否か判断する（ステップＳ２２６）。連続無エッジの終了か否かは、非エッジ画素からエッジ画素になったか、または当該ラインにおける最終画素が非エッジ画素であるかを判断すればよい。

ＣＰＵ２３は、現在のｒ数を候補として記憶する（ステップＳ２２７）。

ＣＰＵ２３は、当該ラインにおける画素を全て判断したか否か判断する（ステップＳ２３１）。全て判断済みでなければ、ＣＰＵ２３は、ステップＳ２２３?ステップＳ２２７を繰り返す。

なお、ステップＳ２２４での判断が”no”である場合には、ステップＳ２２４の処理を繰り返す。

これにより、各行について、連続無エッジ数の候補が１または２以上、記憶される。

ＣＰＵ２３は、ステップＳ２３１にて、当該行における全画素について判断済みであると判断すると、候補のうち、最大値を抽出し（ステップＳ２３３）、さらに、全候補を消去する。ＣＰＵ２３は、抽出した最大値が、閾値よりも大きいか判断する（ステップＳ２３４）。

本実施形態においては、特定領域における横方向の画素数の４０％以上を、ステップＳ２３４における閾値としたがこれに限定されない。

これにより、例えば、図２５における行L１は、特徴ラインとして判断される。これに対して、行L２は、特徴ラインとしては判断されない。

ＣＰＵ２３は、前記最大値が閾値よりも大きい場合には、特徴ライン総数kをインクリメントする（ステップＳ２３５）。ＣＰＵ２３は、すべての行について判断済みか否かを判断する（ステップＳ２４１）。すべての行について判断済みでない場合には、ＣＰＵ２３はステップＳ２２３以下を繰り返す。

ＣＰＵ２３は、ステップＳ１３１にてすべての行について判断済みと判断すると、文字領域か否か判断する（ステップＳ２４３）。

本実施形態においては、前記特徴ライン総数kが閾値thkよりも大きい場合には、当該領域は、文字領域だと判断するようにした。閾値thkは適宜決定すればよいが、本実施形態においては、当該領域における全行数の３０％とした。

本実施形態においては、連続無エッジ数の最大値が前記閾値以上である場合に、当該行を特徴行として判断するようにしている。これにより、一部に自然画部分を含むような画像データであっても、テキストが含まれている場合には、行間が存在するために、最大連続無エッジ数は十分存在することとなる。このように、最大連続無エッジ数に着目することにより、図２５のように、横方向に、自然画と、比較的平坦な背景上に文字が存在する画像、が混在する画像であっても、これを誤って、非文字領域として判断することがない。

かかる文字領域判定により、前記第４実施形態と同様に、ブラウザ内の文字をスクロールして動かす場合に、その領域が動画と判定されることを防ぐこともできる。その場合、前記スクロール判定は、当該領域における全行でなく、一部の行で判断してもよい。

本実施形態においては、テキストデータが横書きの場合について説明したが、縦書きであっても同様に判定可能である。また、言語は問われない。

なお、スクロール判定はこのやり方に限定されず、周知のスクロール判定であってもよい。

また、動画領域判断におけるスクロール判定に適用した場合について説明したが、スクロール判定一般に適用可能である。

この実施形態にかかるスクロール領域判定装置は、画面内の判定対象領域がスクロール領域か否かを判定するスクロール領域判定装置であって、前記判定対象領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断するエッジ画素判断手段、同一行または同一列に、前記エッジではない画素が所定数連続して存在する行または列を文字隙間存在領域として判断する文字隙間存在領域判断手段、前記判定対象領域に対する前記文字隙間存在領域の割合に基づいてスクロール領域か否かを判断するスクロール領域判断手段、を備えている。

したがって、文字を含む画像をスクロールしている場合を、確実に判断することができる。かかるスクロール判定手法は、本実施形態に開示した発明と任意に組み合わせることができる。

この実施形態にかかる文字混在領域判定装置は、画面内の判定対象領域が文字混在領域か否かを判定する文字混在領域判定装置であって、前記判定対象領域の各画素について、周辺画素との画素値の差に基づいて、エッジであるか否かを判断するエッジ画素判断手段、同一行または同一列に、前記エッジではない画素が所定数連続して存在する行または列を文字隙間行または文字隙間列として判断する文字隙間領域判断手段、前記判定対象領域に対する前記文字隙間領域の割合に基づいて文字混在領域か否かを判断する文字混在領域判断手段、を備えている。

したがって、文字混在領域を確実に判断することができる。かかる文字混在領域判定装置は、本実施形態に開示した矩形検出方法以外とも、任意に組み合わせることができる。

また、本実施形態にかかるスクロール領域判定装置は、判定対象領域について、動画領域として候補判断されたあと、スクロール領域である場合には、前記判定対象領域は、動画領域ではないと判定する判定装置として、把握することができる。

（７.他の実施形態）
本実施形態においては、画素値として輝度値を採用したが、ＲＧＢの値などであってもよい。

本実施形態においては、図５ステップＳ１５において、第ｔフレームと第ｔ+1フレームで動き画像領域を構成するブロックか否かを判断するようにしたが、時間的なズレがある複数のフレームであればこれに限定されず、例えば、第ｔフレームと第ｔ+2フレーム間で動きがあるかを判断するようにしてもよい。また、２つのフレームで比較するのでなく、さらに前後フレームを加えて、判断するようにしてもよい。

また、上記実施形態においては、動き領域座標検出器６０１に入力するフレーム画像と指定領域特徴検出器６０５に入力する画像は同じフレーム画像を採用したが、これには限定されない。例えば、動き領域座標検出器６０１には、第ｔフレームと第ｔ+3フレームの画像を、指定領域特徴検出器６０５には、第ｔ+1フレームと第ｔ+2フレームの画像を与えるようにしてもよい。

すなわち、動き領域座標検出器６０１には、第ｔフレームと第ｔ+nフレームの画像を、指定領域特徴検出器６０５には、第ｔ+aフレームと第ｔ+bフレームの画像を与えるようにすればよい。ここで、a、b、nは、n≧b＞a≧0を満たす、整数である。

この場合、指定領域特徴検出器６０５は、時刻t+1において、判定器６０３から与えられた時刻tの動き座標を、時刻t+aおよび時刻t+bの画像に適用して、時刻tの動き座標周辺の特徴データｄ（ｔ+a）、および時刻t+bの動き座標周辺の特徴データｄ（ｔ+b）を演算して、判定器６０３に与える。

判定器６０３は、特徴データｄ（ｔ+b）から枠が存在するか否か判断する。また特徴データｄ（ｔ+a）および特徴データｄ（ｔ+b）から、四隅の輝度変化があるかの判断を行うようにすればよい。

本実施形態においては、図３ステップＳ９の境界線決定処理は任意であり、画素単位の境界線が不要な場合には行わなくてもよい。また，境界線決定処理においては、外周に位置する全ブロックについて１行全てまたは１列全ての画素値を全て用いたが、一部間引き処理、または代表値を採用することもできる。また、全てのブロックではなく、一部のブロックで判断するようにしてもよい。

また、図５ステップＳ１５のように、過去の同位置の代表値を保持しておき比較するようにしてもよい。

本実施形態においては、１ブロックを３２＊３２画素で構成したが、これに限定されない。

画素の平均値やハッシュ値でなく、いずれかの画素の値それ自体（例えば当該ブロックの左上隅の画素値）を用いる場合、図３ステップＳ９の処理としては、その外周に１ブロック分、配置して、境界を求めるようにしてもよい。例えば、ステップＳ７の処理にて、７＊５個のブロックを動き画像領域として検出した場合、その周りに１ブロック追加した９＊７個のブロックで、ステップＳ９の処理を行う。

本実施形態にかかる矩形動き画像領域決定装置を含むモニタまたはセットトップボックスとして構成することもできる。またこのセットトップボックスは、入力データの出力先モニタを切り替えるための切り替えハブとして構成してもよい。

上記各実施形態においては、１画素精度の矩形動き画像領域の検出ができる。さらに、複数の矩形動き画像領域の判別も可能である。また、幅の小さな小領域動きの除去ができる。たとえばマウスポインタなど擬似動きの対策が可能である。また、画像内の動き領域、静止領域に対して、これらを区別できるので、最適な制御が可能である。

上記実施形態においては、動き単位ブロックか否かの判断について、前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックに属する前記所定数の画素の画素値に基づいて、各単位ブロックの代表画素値を演算し、前記各単位ブロックについて、比較対象のフレームの同じ位置の単位ブロックの代表値と比較し、前記代表値が閾値を超える場合には、動きが存在する動き単位ブロックと判断するようにした。しかし、これに限定されず、各単位ブロックが動きが存在する動き単位ブロックか否かを判断できる手法を採用してもよい。たとえば、既に説明したように、所定数のフレームの同一ブロックの代表値を加算したもの同士の比較など、周知の動き単位ブロック判断ステップの採用が可能である。

上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。

２３ ＣＰＵ
２５ ＲＡＭ
２６ フラッシュメモリ

Claims (18)

1. 表示領域の一部に表示される矩形動き画像領域について、時刻tのフレームと、時刻t+nのフレームの画像の差分に基づいて、外形が矩形の矩形動き画像領域の境界を決定する矩形動き画像領域決定方法であって、
   時刻tのフレームにおける矩形動き画像領域を決定すると、その境界座標を保持しておき、
   時刻tのフレームの画像を用いることなく、時刻t+mのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判断し、枠がある場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断すること、
   ただし、n≧mである、
   を特徴とする矩形動き画像領域決定方法。
2. 請求項１の矩形動き画像領域決定方法において、
   前記表示領域は、行方向および列方向に画素が行列配置されており、前記時刻tのフレームにおける矩形動き画像領域は、下記ステップにより、決定されること、
   前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、
   前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、
   前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、
   前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、
   を特徴とする矩形動き画像領域決定方法。
3. 請求項２の矩形動き画像領域決定方法において、さらに、下記ステップを備えたこと、
   前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素に基づき、前記矩形動き画像領域内のエッジで定義される領域を前記矩形動き画像領域とする第２矩形動き画像領域決定ステップ、
   を特徴とする矩形動き画像領域決定方法。
4. 請求項２または請求項３の矩形動き画像領域決定方法において、
   前記第１矩形動き画像領域決定ステップは、前記動き行ブロックのうち、隣接する動き行ブロックが閾値以上存在する場合、これらの行ブロックの集合行ブロックの外形行ブロック直線を定義し、前記動き列ブロックのうち、隣接する動き列ブロックが閾値以上存在する場合、これらの列ブロックの集合列ブロックの外形列ブロック直線を定義し、前記外形行ブロック直線および前記外形列ブロック直線で囲われた矩形領域を矩形動き画像領域として決定すること、
   を特徴とする矩形動き画像領域決定方法。
5. 請求項３の矩形動き画像領域決定方法において、
   前記第２矩形動き画像領域決定ステップでは、前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の行方向については、各行の代表画素値が異なる行を、列方向については各列の代表画素値が異なる列を、前記矩形動き画像領域の境界として決定すること、
   を特徴とする矩形動き画像領域決定方法。
6. 請求項３または請求項５の矩形動き画像領域決定方法において、
   前記第２矩形動き画像領域決定ステップでは、
   前記外周の四辺を構成する単位ブロックについて、これらの単位ブロック内の各画素について、行方向エッジおよび列方向エッジを構成する画素を抽出し、各行についての行方向エッジを構成する画素の総数、各列について列方向エッジを構成する画素の総数に基づき前記矩形動き画像領域の境界を決定すること、
   を特徴とする矩形動き画像領域決定方法。
7. 請求項１の矩形動き画像領域決定方法において、
   時刻tと時刻t+nのフレームの画像から動き領域が検出されない場合には、前記時刻tのフレームの画像を用いることなく、時刻t+bのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判断し、枠がある場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断を行い、
   時刻tと時刻t+nのフレームの画像から動き領域が検出される場合には、時刻tと時刻t+nのフレームから、時刻t+nのフレームにおける矩形動き画像領域を決定すると、前記時刻tにおける境界座標で特定される領域に内包されているか否か判断し、
   内包されている場合には、時刻tのフレームの画像を用いることなく、時刻t+bのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判断し、枠がある場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断すること、
   ここで、b、nは、n≧b≧１を満たす、整数である、
   を特徴とする矩形動き画像領域決定方法。
8. 請求項７の矩形動き画像領域決定方法において、
   前記内包されている場合には、連続で前記内包であることが異なる時刻で閾値以上である場合には、時刻tのフレームの画像を用いることなく、時刻t+bのフレームにおける時刻tにおける境界座標の位置に枠があるか否かの判断をすること、
   を特徴とする矩形動き画像領域決定方法。
9. 表示領域の一部に表示される矩形動き画像領域について、時刻tのフレームと、時刻t+nのフレームの画像の差分に基づいて、外形が矩形の矩形動き画像領域の境界を決定する矩形動き画像領域決定装置であって、
   時刻tのフレームにおける矩形動き画像領域を決定する手段、
   前記決定した境界座標を保持する境界座標保持手段、
   時刻tのフレームの画像を用いることなく、時刻t+mのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判定する枠判定手段、
   前記判断手段が枠があると判断した場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断する動き領域判断手段、
   ただし、n≧mである、
   を備えた矩形動き画像領域決定装置。
10. 請求項９の矩形動き画像領域決定装置を含むモニタ。
11. 請求項９の矩形動き画像領域決定装置を含むセットトップボックス。
12. 請求項１１のセットトップボックスは、入力データの出力先モニタを切り替えるための切り替えハブであること、
    を特徴とするもの。
13. 表示領域の一部に表示される矩形動き画像領域について、時刻tのフレームと、時刻t+nのフレームの画像の差分に基づいて、外形が矩形の矩形動き画像領域の境界を決定する矩形動き画像領域決定処理をコンピュータに実行させるためのプログラムであって、
    前記コンピュータを下記手段として構成させる矩形動き画像領域決定プログラム。
    時刻tのフレームにおける矩形動き画像領域を決定する手段、
    前記決定した境界座標を保持する境界座標保持手段、
    時刻tのフレームの画像を用いることなく、時刻t+mのフレームについて、時刻tにおける境界座標の位置に枠があるか否か判定する枠判定手段、
    前記判断手段が枠があると判断した場合には、前記時刻tの境界座標で特定される領域を時刻t+nのフレームにおける動き領域であると判断する動き領域判断手段、
    ただし、n≧mである。
14. 表示領域の一部に表示される矩形動き画像領域について、時刻tのフレームと、時刻t+nのフレームの画像の差分に基づいて、外形が矩形の矩形動き画像領域の境界を決定する矩形動き画像領域決定方法であって、
    時刻tと時刻t+nのフレームから、時刻t+nにおける矩形動き画像領域を決定すると、時刻t+nにおける矩形動き画像領域の境界座標を保持しておき、
    時刻t+pと時刻t+mのフレームから、時刻t+mのフレームにおける矩形動き画像領域を決定すると、前記時刻t+nにおける境界座標で特定される領域に内包されているか否か判断し、
    内包されている場合には、時刻t+nのフレームの画像を用いることなく、時刻t+bのフレームについて、時刻t+nのフレームにおける境界座標の位置に枠があるか否か判断し、
    枠がある場合には、前記時刻t+nの境界座標で特定される領域を時刻t+mのフレームにおける動き領域であると判断すること、
    ここで、m、n、p、bは、n＜m、p＜m、b≦mを満たす整数である、
    を特徴とする矩形動き画像領域決定方法。
15. 請求項１の矩形動き画像領域決定方法において、
    前記表示領域は、行方向および列方向に画素が行列配置されており、前記時刻tのフレームにおける矩形動き画像領域は、下記ステップにより、決定されること、
    前記表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが、動きが存在する動き単位ブロックであるか否か判断する動き単位ブロック判断ステップ、
    前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、
    前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、
    前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、
    を備えた矩形動き画像領域決定方法。
16. 請求項１５の矩形動き画像領域決定方法において、
    前記第１矩形動き画像領域決定ステップでは、決定した矩形領域について、さらに、
    前記動き列ブロック決定ステップ、および前記動き行ブロック決定ステップ、繰り返し実行すること、
    を特徴とする矩形動き画像領域決定方法。
17. 請求項１の矩形動き画像領域決定方法において、
    前記表示領域は、行方向および列方向に画素が行列配置されており、前記時刻tのフレームにおける矩形動き画像領域は、下記ステップにより、決定されること、
    判定対象画素における各画素の画素値に基づいて、エッジを構成する画素を判断するエッジ画素判断ステップ、
    行方向エッジを構成する画素を行方向エッジ画素として抽出し、前記行方向エッジの総数を各行について演算し、各行の前記行方向エッジの総数に基づいて、行方向の境界を決定する行方向境界決定ステップ、
    列方向エッジを構成する画素を列方向エッジ画素として抽出し、前記列方向エッジの総数を各列について演算し、各列の前記列方向エッジの総数に基づいて、列方向の境界を決定する列方向境界決定ステップ、
    前記決定した行方向境界および前記列方向境界を、前記矩形領域の境界として決定する矩形領域決定ステップ、
    を備えたことを特徴とする矩形動き画像領域決定方法。
18. 請求項１７の矩形動き画像領域決定方法であって、
    前記エッジ画素判断ステップは、下記ステップを備えていること、
    1)行方向および列方向に画素が行列配置された表示領域を、所定数の画素で構成される単位ブロックに分割するとともに、各単位ブロックが動きが存在する動き単位ブロックと判断する動き単位ブロック判断ステップ、
    2)前記単位ブロックのうち、最上段に位置する各単位ブロックと同じ列に属する単位ブロックの集合を列ブロックとして定義し、各列ブロックに少なくとも１以上の動き単位ブロックが存在する場合には当該列ブロックを動き列ブロックとして決定する動き列ブロック決定ステップ、
    3)前記単位ブロックのうち、最左端段に位置する各単位ブロックと同じ行に属する単位ブロックの集合を行ブロックとして定義し、各行ブロックに少なくとも１以上の動き単位ブロックが存在する場合には、当該行ブロックを動き行ブロックとして決定する動き行ブロック決定ステップ、
    4)前記動き行ブロックおよび前記動き列ブロックの双方に属する単位ブロックで特定される矩形領域を矩形動き画像領域として決定する第１矩形動き画像領域決定ステップ、
    5)前記矩形動き画像領域を構成する単位ブロックの内、外周の四辺を構成する単位ブロックに属する画素を判定対象として決定する対象画素決定ステップ、
    を特徴とする矩形動き画像領域決定方法。

Images