JP4768649B2 - カメラワーク検出方法，装置，プログラムおよびその記録媒体 - Google Patents
カメラワーク検出方法，装置，プログラムおよびその記録媒体 Download PDFInfo
- Publication number
- JP4768649B2 JP4768649B2 JP2007059331A JP2007059331A JP4768649B2 JP 4768649 B2 JP4768649 B2 JP 4768649B2 JP 2007059331 A JP2007059331 A JP 2007059331A JP 2007059331 A JP2007059331 A JP 2007059331A JP 4768649 B2 JP4768649 B2 JP 4768649B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- correlation
- camera work
- block
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
本発明は，高能率画像信号符号化方法などに用いるためのカメラワーク検出方法に関し，特にカメラワークが発生した動画像フレームにおいて各フレームにおける時間軸方向の変化を検出する方法に関する。
時間軸方向の大きな変化（高速なカメラパン・チルト，シーンチェンジ等）が発生したフレームにおいて，そのフレームの画質に対する感度は極端に低下する。これは，時間マスキング効果として知られる視覚特性である。そこで，時間軸方向の大きな変化が発生したフレームに対しては，符号量を削減しても主観画質の低下は検知されにくいため，積極的に符号量を低減するアプローチは有効である。この場合，各フレームにおける時間軸方向の大きな変化を検出することが重要となる。
従来，カメラワークに起因するフレーム内の大局的な動きの検出に関しては，グローバル動き補償，あるいは，スプライト符号化においてグローバルモーションの推定が検討されてきた［特許文献１参照］。
グローバルモーションとは，カメラワークに起因して発生するフレーム全体に共通した変移量を指す。従来手法では，ブロック単位で推定した変移量（ローカルモーション）に基づき，グローバルモーションが推定される。グローバル動き補償，スプライト符号化においては，グローバルモーションの向き，および，大きさが共に重要となるため，フレーム内のすべてのローカルモーションを統合して，グローバルモーションを推定するアプローチがとられる。このため，フレーム内のすべてのローカルモーションを考慮する必要がある。
特開平９−１８２０８１号公報
時間軸方向の大きな変化が発生したフレームを検出することを目的とする場合，変移量の大きさのみが問題であり，その方向は必ずしも必要ではない。このため，前述の従来法のように，フレーム内のすべてのローカルモーションを考慮する手法は，不必要な情報を得ることに計算量を割くことになる。計算量と符号化効率はトレードオフの関係にあるため，限られた計算機資源の環境下では，計算量の浪費は符号化効率の低下に繋がる。
また，従来法では，ブロック単位で推定した動きベクトルと真の動き量との乖離に関しては，考慮されていない。このため，求まるグローバルモーションが真のカメラワークから乖離する可能性がある。推定されたグローバルモーションが真の動き量よりも大きく見積もられた場合，前述のグローバルモーションに基づく符号量削減のアプローチでは，致命的な画質劣化の原因となる。
そこで，本発明では，フレーム内の特定の位置のローカルモーションに基づくグローバルモーションの大きさの検出法を確立することを目的とする。さらに，特定の位置のブロックに関して，空間方向の相関と時間方向の相関との大小比較を通して，ローカルモーションの信頼度を間接的に評価し，信頼度の低いローカルモーションにより，グローバルモーションの推定結果が乱されることを回避することを目的とする。
本発明は，上記課題を解決するため，カメラワークが発生したフレームにおける，次フレームにおいてフレーム内に存在せず，次フレーム内の画素との対応付けが不可能な領域（非連結領域と呼ぶ）において，直前フレームとの対応付けが不可能なため，時間方向の相関が著しく低下し，一方，空間方向の相関は，直前フレームとの対応付けの可否とは無関係であることに着目して，次のようにカメラワークを検出する。
例えば，フレーム内の右端の領域において，時間方向の相関が空間方向の相関よりも小さくなる場合に，当該フレームは，右方向のパンを含むフレームであると判別する。以下では，右方向のパンを含むフレームの判別を例に説明するが，左方向のパン，上方向のチルト，下方向のチルトの判別も同様に行うことができる。なお，これらの４方向の判別を同時に行う実施も，あらかじめ定められた特定の方向だけの判別を行う実施も可能である。
さらに，次のように直前のフレームだけではなく，直後のフレームについても時間的相関と空間的相関の比較を行うことにより，判別の精度を向上させることができる。すなわち，本発明による他の方法では，右方向のパンを含むフレームにおいては，フレーム内の右端の領域において，直前のフレームとの時間方向の相関が空間方向の相関よりも小さく，かつ，参照・被参照フレームの関係を時間軸上で反転した場合には，時間方向の相関が空間方向の相関よりも大きくなる場合に，右方向のパンを含むフレームであると判別する。
さらに，上端および下端の領域において，時間方向の相関が空間方向の相関よりも大きくなる場合に，右方向のパンを含むフレームであることを判別条件として加えることにより，判別の精度を上げることもできる。
上記発明において，空間方向の相関と時間方向の相関との大小比較を行う際，フレーム内を所定の大きさのブロックに分割し，外縁の領域に含まれるブロックごとに，動き補償によるフレーム間予測誤差と当該フレームにおけるイントラ予測に基づくフレーム内予測誤差の大小を比較し，フレーム内予測誤差がフレーム間予測誤差より小さいブロックの数または割合が所定の閾値より大きい場合に，時間方向の相関が空間方向の相関よりも小さいと判定する。
以上のように，フレーム内予測とフレーム間予測の予測誤差の大小関係により，フレームの外縁ブロックを分類し，カメラワークの判定に用いる。
また，上記発明において，前記外縁の領域のフレーム端からの幅を，段階的に徐々に広げながら，上記カメラワークの検出処理を繰り返し，前記時間方向の相関と前記空間方向の相関との大小関係が反転したときの外縁の領域の幅から，カメラワークの大きさを検出することもできる。
本発明によって，各フレームにおける時間軸方向の大きな変化（高速なカメラパン・チルト，シーンチェンジ等）を検出することが可能となる。これによって，時間軸方向の大きな変化が発生したフレームにおいて，時間マスキング効果を利用して符号量削減を図る動画像符号化において，フレーム単位の適応的な符号量割り当てが可能になり，このことは，効率的な符号量の削減に繋がる。また，本発明により，時間軸方向の大きな変化を含むフレームの検出に必要となる計算量の浪費を回避することが可能となる。計算量と符号化効率はトレードオフの関係にあるため，同検出処理で節約した計算量を他の処理に利用することで，限られた計算機資源の環境下でも，符号化効率の向上が図られる。
以下，本発明の基本的な概念と実施の形態を，図面を用いて説明する。
〔非連結領域〕
カメラのズーム，パン，チルトといったカメラワークを含む映像の場合，フレーム境界に近い領域の中には，次フレームではフレーム内に存在しないものもある。例えば，右方向のカメラパンを含む映像の場合，フレーム右端の外縁領域の一部は，直前フレームには存在しない。このように，直前フレーム内に存在せず，直前フレーム内の画素と当該フレーム内の画素との対応付けが不可能な領域を非連結領域と呼ぶ。
カメラのズーム，パン，チルトといったカメラワークを含む映像の場合，フレーム境界に近い領域の中には，次フレームではフレーム内に存在しないものもある。例えば，右方向のカメラパンを含む映像の場合，フレーム右端の外縁領域の一部は，直前フレームには存在しない。このように，直前フレーム内に存在せず，直前フレーム内の画素と当該フレーム内の画素との対応付けが不可能な領域を非連結領域と呼ぶ。
右方向のパンのカメラワークによる非連結領域の例を，図１に示す。図１（Ｂ）のフレームにおける網掛け部分が非連結領域を示す。こうした非連結領域では，図１（Ａ）の直前フレームとの対応付けが不可能なため，時間方向の相関が著しく低下する。
一方，空間方向の相関は，直前フレームとの対応付けの可否とは無関係であり，非連結領域であることが原因で低下することはない。本発明では，この性質に着目して，大局的な動きを検出する。
〔フレーム内予測・フレーム間予測判定〕
フレーム内を一定サイズの矩形領域（以下，ブロックと呼ぶ）に分割する。このブロックのサイズＮ×Ｎは，外部から与えられるものとする。フレームの外縁に位置するブロック（以下，外縁ブロックと呼ぶ）に注目する。
フレーム内を一定サイズの矩形領域（以下，ブロックと呼ぶ）に分割する。このブロックのサイズＮ×Ｎは，外部から与えられるものとする。フレームの外縁に位置するブロック（以下，外縁ブロックと呼ぶ）に注目する。
例えば，図２に示すようにフレーム内をブロック分割した場合，外縁ブロックは，網掛け部分に当たる。ここでは，まず，図２に示すような外縁ブロックの配置を行った場合のカメラワークの判定方法について述べる。なお，抽出したい動き量に応じて，適応的に外縁ブロックの配置を変更し，詳しくは後述するように，カメラワークの大きさを検出することも可能である。
フレーム内の外縁ブロックに対して，イントラ予測（後述）における予測誤差と，前方インター予測（後述）における予測誤差との大小判定を行う。この判定の結果，イントラ予測における予測誤差の方が，前方インター予測における予測誤差よりも小くなったブロックは，非前方インターブロックと呼ぶカテゴリに分類し，それ以外は，前方インターブロックと呼ぶカテゴリに分類する。
次に，イントラ予測（後述）における予測誤差と，後方インター予測（後述）における予測誤差との大小判定を行う。この判定の結果，イントラ予測における予測誤差の方が，後方インター予測における予測誤差よりも小くなったブロックは，非後方インターブロックと呼ぶカテゴリに分類し，それ以外は，後方インターブロックと呼ぶカテゴリに分類する。
イントラ予測は，同一フレーム内の画素値を参照する予測方法であり，例えば，Ｈ．２６４で定義される予測方法がある。Ｈ．２６４では，輝度成分の４×４画素の場合には９種類，輝度成分の１６×１６画素の場合には４種類の予測方法が用意されている。これら１３種類の予測方法の中から，予測誤差を最小化する方法を選択し，そのときの予測誤差を，イントラ予測における予測誤差とする。なお，Ｈ．２６４の規定では，予測に用いる参照画素値は復号画素値を用いることになっているが，ここでは，該当する位置にある原画素値を用いる。なお，これ以外の予測方法を用いることも可能である。
一方，前方インター予測の方法は，ブロックベースの動き補償予測を用いる。この方法では，符号化対象フレームｆt （ｐ）（ｐ∈｛（ｘ，ｙ）｜０≦ｘ≦Ｘ−１，０≦ｙ≦Ｙ−１｝）（画面サイズＸ×Ｙ）内のブロック毎に，次のようなフレーム間予測が行われる。
ｆt ′（ｐ）＝ｆt-1 （ｐ−ｖi ）， ｐ∈Ｂi
ここで，Ｂi は第ｉ番目のブロックであり，ｖi は次式を満たす動きベクトルである。
ここで，Ｂi は第ｉ番目のブロックであり，ｖi は次式を満たす動きベクトルである。
ここで，ａｒｇ（添字ｖ） ｍｉｎ（添字ｖ∈Ｒi ）は，次に続く関数を最小化するｖを返す。すなわち，探索範囲Ｒi において，ブロックＢi 内での予測誤差を最小化するｖが動きベクトルｖi として選ばれる。このとき，動きベクトルｖi に対応する予測誤差をインター予測における予測誤差とする。このように，前方インター予測は，時間軸上で直前に位置する過去のフレームを参照フレームとして用いる。これに対し，時間軸上で直後に位置する未来のフレームを参照フレームとして用いた予測方式が，後方インター予測である。
図３および図４に従って，本発明の概要を簡単に説明する。図３は，右方向のパンの検出を説明する図であり，図４は，上方向のチルトの検出を説明する図である。
例えば図３に示すように，右方向へのパンのカメラワークが発生したフレームにおいては，直前フレームとの関係では，当該フレームの右端の領域が非連結領域となり，ここで非前方インターブロックの個数が多くなる。一方，フレームの左端の領域では，非前方インターブロックの個数は比較的少ない。また，直後のフレームとの関係では，当該フレームの左端の領域が非連結領域となり，ここで非後方インターブロックの個数が多くなる。一方，フレームの右端の領域では，非後方インターブロックの個数は比較的少ない。さらに，右方向のパンでは，上端および下端の外縁の領域においては，前方インターブロックの数が多くなる。したがって，このような外縁ブロックの分類を行い，それをカメラワークの検出に用いれば，従来方法によって求めたグローバルモーションが，真のカメラワークから乖離する可能性があるという問題を解決することができる。
左方向のパンも，図３の左右を逆転させて同様に判定することにより，検出することができる。また，図４に示すように，上方向のチルトも外縁ブロックの分類を用いて検出することができ，同様に下方向のチルトも検出することができる。以下，これらの判定条件について，さらに詳しく説明する。
〔外縁ブロックに着目したカメラワークの判定（その１）〕
非連結領域となる外縁ブロックは，時間方向の相関が低いため，直前フレームを参照する場合には，非前方インターブロックに分類される可能性が高く，直後フレームを参照する場合には，非後方インターブロックに分類される可能性が高い。そこで，外縁ブロックにおける非前方インターブロック，非後方インターブロックの個数（または割合）に基づき，時間方向の相関と空間方向の相関のいずれが強いかを判別する。以下に述べる条件を組み合わせて，各カメラワークの判定条件とする。なお，ここで，フレームのサイズをＸ×Ｙとし，ブロックサイズをＮ×Ｎとし，さらに，ＮがＸ，Ｙの約数であるようにとるとする。
非連結領域となる外縁ブロックは，時間方向の相関が低いため，直前フレームを参照する場合には，非前方インターブロックに分類される可能性が高く，直後フレームを参照する場合には，非後方インターブロックに分類される可能性が高い。そこで，外縁ブロックにおける非前方インターブロック，非後方インターブロックの個数（または割合）に基づき，時間方向の相関と空間方向の相関のいずれが強いかを判別する。以下に述べる条件を組み合わせて，各カメラワークの判定条件とする。なお，ここで，フレームのサイズをＸ×Ｙとし，ブロックサイズをＮ×Ｎとし，さらに，ＮがＸ，Ｙの約数であるようにとるとする。
以下の閾値パラメータ（αr ，αl ，βt ，βb ，γt ，γb ，γr ，γl ）は，１００以下の正値をとるものとし，具体的な値は，外部から与えられるものとする。これらは，例えば符号化対象画像と統計的性質の近いテスト画像に対する予備実験を通して決定することができる。パラメータの値を大きな値に設定すれば，同パラメータを用いる条件の判定基準が厳しくなり，該当するブロックの数は減少する。
条件（１−ｆ）：右端の外縁ブロック（Ｙ／Ｎ個）のうち，αr ％以上が非前方インターブロックとなる
条件（１−ｂ）：右端の外縁ブロック（Ｙ／Ｎ個）のうち，αr ％以上が非後方インターブロックとなる
条件（２−ｆ）：左端の外縁ブロック（Ｙ／Ｎ個）のうち，αl ％以上が非前方インターブロックとなる
条件（２−ｂ）：左端の外縁ブロック（Ｙ／Ｎ個）のうち，αl ％以上が非後方インターブロックとなる
条件（３−ｆ）：上端の外縁ブロック（Ｘ／Ｎ個）のうち，βt ％以上が非前方インターブロックとなる
条件（３−ｂ）：上端の外縁ブロック（Ｘ／Ｎ個）のうち，βt ％以上が非後方インターブロックとなる
条件（４−ｆ）：下端の外縁ブロック（Ｘ／Ｎ個）のうち，βb ％以上が非前方インターブロックとなる
条件（４−ｂ）：下端の外縁ブロック（Ｘ／Ｎ個）のうち，βb ％以上が非後方インターブロックとなる
以下，右方向のパン，左方向のパン，上方向のチルト，下方向のチルトの判定条件を示す。
条件（１−ｂ）：右端の外縁ブロック（Ｙ／Ｎ個）のうち，αr ％以上が非後方インターブロックとなる
条件（２−ｆ）：左端の外縁ブロック（Ｙ／Ｎ個）のうち，αl ％以上が非前方インターブロックとなる
条件（２−ｂ）：左端の外縁ブロック（Ｙ／Ｎ個）のうち，αl ％以上が非後方インターブロックとなる
条件（３−ｆ）：上端の外縁ブロック（Ｘ／Ｎ個）のうち，βt ％以上が非前方インターブロックとなる
条件（３−ｂ）：上端の外縁ブロック（Ｘ／Ｎ個）のうち，βt ％以上が非後方インターブロックとなる
条件（４−ｆ）：下端の外縁ブロック（Ｘ／Ｎ個）のうち，βb ％以上が非前方インターブロックとなる
条件（４−ｂ）：下端の外縁ブロック（Ｘ／Ｎ個）のうち，βb ％以上が非後方インターブロックとなる
以下，右方向のパン，左方向のパン，上方向のチルト，下方向のチルトの判定条件を示す。
右方向のパンの判定条件：
・条件（１−ｆ）を満たす
・条件（１−ｂ）を満たさない
・条件（２−ｆ）を満たさない
・条件（２−ｂ）を満たす
・上端の外縁ブロックがγt ％以上，前方インターブロックとなる
・下端の外縁ブロックがγb ％以上，前方インターブロックとなる
これは，以下の理由による。右端の外縁ブロックが直前フレームに対して非連結領域である場合には，条件（１−ｆ）を満たす可能性が高く，一方，直後フレームに対して，連結領域である場合には，条件（１−ｂ）を満たさない可能性が高い。
・条件（１−ｆ）を満たす
・条件（１−ｂ）を満たさない
・条件（２−ｆ）を満たさない
・条件（２−ｂ）を満たす
・上端の外縁ブロックがγt ％以上，前方インターブロックとなる
・下端の外縁ブロックがγb ％以上，前方インターブロックとなる
これは，以下の理由による。右端の外縁ブロックが直前フレームに対して非連結領域である場合には，条件（１−ｆ）を満たす可能性が高く，一方，直後フレームに対して，連結領域である場合には，条件（１−ｂ）を満たさない可能性が高い。
すなわち，条件（１−ｆ）を満たし，かつ，条件（１−ｂ）を満たさない場合には，フレームの右端の画像は，過去のフレーム中には含まれておらず，未来のフレームにおいて含まれている可能性が高いと推測できる。左端の外縁ブロックが直前フレームに対して連結領域である場合，条件（２−ｆ）を満たさない可能性が高く，一方，直後フレームに対して非連結領域である場合，条件（２−ｂ）を満たす可能性が高い。すなわち，条件（２−ｂ）を満たし，かつ，条件（２−ｆ）を満たさない場合には，フレームの左端の画像は，過去のフレームにおいて含まれており，未来のフレーム中には含まれてない可能性が高いと推測できる。さらに，残る２条件を満たすことは，右左端以外の外縁ブロックにおいても，一定の動きが発生している可能性が高いと推測できる。こうした状況は，フレームの右端に過去フレーム中には存在しなかった画像がフレームインする右方向のパンのカメラワークと符合するため，上記条件を右方向のパンのカメラワークの発生条件とする。
同様に考えて，各カメラワークの判定条件を以下のように設定する。
左方向のパンの判定条件：
・条件（２−ｆ）を満たす
・条件（２−ｂ）を満たさない
・条件（１−ｆ）を満たさない
・条件（１−ｂ）を満たす
・上端の外縁ブロックがγt ％以上，前方インターブロックとなる
・下端の外縁ブロックがγb ％以上，前方インターブロックとなる
上方向のチルトの判定条件：
・条件（３−ｆ）を満たす
・条件（３−ｂ）を満たさない
・条件（４−ｆ）を満たさない
・条件（４−ｂ）を満たす
・右端の外縁ブロックがγr ％以上，前方インターブロックとなる
・左端の外縁ブロックがγl ％以上，前方インターブロックとなる
下方向のチルトの判定条件：
・条件（４−ｆ）を満たす
・条件（４−ｂ）を満たさない
・条件（３−ｆ）を満たさない
・条件（３−ｂ）を満たす
・右端の外縁ブロックがγr ％以上，前方インターブロックとなる
・左端の外縁ブロックがγl ％以上，前方インターブロックとなる
各カメラワークの判定条件を，以上のとおりとする。
・条件（２−ｆ）を満たす
・条件（２−ｂ）を満たさない
・条件（１−ｆ）を満たさない
・条件（１−ｂ）を満たす
・上端の外縁ブロックがγt ％以上，前方インターブロックとなる
・下端の外縁ブロックがγb ％以上，前方インターブロックとなる
上方向のチルトの判定条件：
・条件（３−ｆ）を満たす
・条件（３−ｂ）を満たさない
・条件（４−ｆ）を満たさない
・条件（４−ｂ）を満たす
・右端の外縁ブロックがγr ％以上，前方インターブロックとなる
・左端の外縁ブロックがγl ％以上，前方インターブロックとなる
下方向のチルトの判定条件：
・条件（４−ｆ）を満たす
・条件（４−ｂ）を満たさない
・条件（３−ｆ）を満たさない
・条件（３−ｂ）を満たす
・右端の外縁ブロックがγr ％以上，前方インターブロックとなる
・左端の外縁ブロックがγl ％以上，前方インターブロックとなる
各カメラワークの判定条件を，以上のとおりとする。
〔外縁ブロックに着目したカメラワークの判定（その２）〕
前述の外縁ブロックに着目したカメラワークの判定（その１）に対して，さらに演算量を削減する方式を以下に示す。演算量削減のため，外縁ブロックにおける非前方インターブロックの個数に基づき，時間方向の相関と空間方向の相関のいずれが強いかを判別する。以下の条件を組み合わせて，各カメラワークの判定条件とする。
前述の外縁ブロックに着目したカメラワークの判定（その１）に対して，さらに演算量を削減する方式を以下に示す。演算量削減のため，外縁ブロックにおける非前方インターブロックの個数に基づき，時間方向の相関と空間方向の相関のいずれが強いかを判別する。以下の条件を組み合わせて，各カメラワークの判定条件とする。
条件（１−ｆ）：右端の外縁ブロック（Ｙ／Ｎ個）のうち，αr ％以上が非前方インターブロックとなる
条件（２−ｆ）：左端の外縁ブロック（Ｙ／Ｎ個）のうち，αl ％以上が非前方インターブロックとなる
条件（３−ｆ）：上端の外縁ブロック（Ｘ／Ｎ個）のうち，βt ％以上が非前方インターブロックとなる
条件（４−ｆ）：下端の外縁ブロック（Ｘ／Ｎ個）のうち，βb ％以上が非前方インターブロックとなる
以下，右方向のパン，左方向のパン，上方向のチルト，下方向のチルトの判定条件を示す。
条件（２−ｆ）：左端の外縁ブロック（Ｙ／Ｎ個）のうち，αl ％以上が非前方インターブロックとなる
条件（３−ｆ）：上端の外縁ブロック（Ｘ／Ｎ個）のうち，βt ％以上が非前方インターブロックとなる
条件（４−ｆ）：下端の外縁ブロック（Ｘ／Ｎ個）のうち，βb ％以上が非前方インターブロックとなる
以下，右方向のパン，左方向のパン，上方向のチルト，下方向のチルトの判定条件を示す。
右方向のパンの判定条件：
・条件（１−ｆ）を満たす
・条件（２−ｆ）を満たさない
・上端の外縁ブロックがγt ％以上，前方インターブロックとなる
・下端の外縁ブロックがγb ％以上，前方インターブロックとなる
左方向のパンの判定条件：
・条件（２−ｆ）を満たす
・条件（１−ｆ）を満たさない
・上端の外縁ブロックがγt ％以上，前方インターブロックとなる
・下端の外縁ブロックがγb ％以上，前方インターブロックとなる
上方向のチルトの判定条件：
・条件（３−ｆ）を満たす
・条件（４−ｆ）を満たさない
・右端の外縁ブロックがγr ％以上，前方インターブロックとなる
・左端の外縁ブロックがγl ％以上，前方インターブロックとなる
下方向のチルトの判定条件：
・条件（４−ｆ）を満たす
・条件（３−ｆ）を満たさない
・右端の外縁ブロックがγr ％以上，前方インターブロックとなる
・左端の外縁ブロックがγl ％以上，前方インターブロックとなる
〔カメラワークの大きさの検出方法〕
カメラワークの大きさを検出する方法について，以下説明する。本処理の入力は，ブロックの辺長Ｎ［画素］および抽出するカメラワークの大きさＰ［画素］（カメラワークを表す動きベクトルのノルム）とする。抽出するカメラワークの大きさＰ［画素］は，Ｐ＝（ｋ＋ａ）Ｎ（ｋは正の整数）とする。ここで，ａは，０＜ａ≦１の範囲で予め設定されるパラメータである。
・条件（１−ｆ）を満たす
・条件（２−ｆ）を満たさない
・上端の外縁ブロックがγt ％以上，前方インターブロックとなる
・下端の外縁ブロックがγb ％以上，前方インターブロックとなる
左方向のパンの判定条件：
・条件（２−ｆ）を満たす
・条件（１−ｆ）を満たさない
・上端の外縁ブロックがγt ％以上，前方インターブロックとなる
・下端の外縁ブロックがγb ％以上，前方インターブロックとなる
上方向のチルトの判定条件：
・条件（３−ｆ）を満たす
・条件（４−ｆ）を満たさない
・右端の外縁ブロックがγr ％以上，前方インターブロックとなる
・左端の外縁ブロックがγl ％以上，前方インターブロックとなる
下方向のチルトの判定条件：
・条件（４−ｆ）を満たす
・条件（３−ｆ）を満たさない
・右端の外縁ブロックがγr ％以上，前方インターブロックとなる
・左端の外縁ブロックがγl ％以上，前方インターブロックとなる
〔カメラワークの大きさの検出方法〕
カメラワークの大きさを検出する方法について，以下説明する。本処理の入力は，ブロックの辺長Ｎ［画素］および抽出するカメラワークの大きさＰ［画素］（カメラワークを表す動きベクトルのノルム）とする。抽出するカメラワークの大きさＰ［画素］は，Ｐ＝（ｋ＋ａ）Ｎ（ｋは正の整数）とする。ここで，ａは，０＜ａ≦１の範囲で予め設定されるパラメータである。
前述の〔外縁ブロックに着目したカメラワークの判定（その１）〕あるいは〔外縁ブロックに着目したカメラワークの判定（その２）〕で説明した判定条件に従い，４方向のカメラワークに対する判定処理を行う。このとき，いずれかの方向のカメラワークが検出された場合，その大きさを同定するための処理を追加する。例えば，大きさＰ＝（２＋ａ）Ｎ［画素］以上の左方向のカメラパンを含むフレームを検出する場合，図５における濃い網掛けのブロックに対して，判定処理が追加される。
以下では，〔外縁ブロックに着目したカメラワークの判定（その１）〕を用いる場合と，〔外縁ブロックに着目したカメラワークの判定（その２）〕を用いる場合とに分けて，具体的な処理を示す。
＜外縁ブロックに着目したカメラワークの判定（その１）を用いる場合＞
なお，以下で示す右方向のパン，左方向のパン，上方向のチルト，および下方向のチルトの判定条件は，いずれも前述した条件を指す。
なお，以下で示す右方向のパン，左方向のパン，上方向のチルト，および下方向のチルトの判定条件は，いずれも前述した条件を指す。
(i) 右方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のパンが発生していると判断する判定条件：
前述の右方向のパンの判定条件を満たし，かつ，フレーム右端の外縁ブロックの左側に隣接する垂直方向に［Ｙ／Ｎ］−２個，水平方向にｋ−１個からなる（［Ｙ／Ｎ］−２）×（ｋ−１）個のブロックに対して，以下を満足する。なお，ここで［・］はガウス記号であり，［ｘ］は実数ｘを超えない最大の整数を表す。
前述の右方向のパンの判定条件を満たし，かつ，フレーム右端の外縁ブロックの左側に隣接する垂直方向に［Ｙ／Ｎ］−２個，水平方向にｋ−１個からなる（［Ｙ／Ｎ］−２）×（ｋ−１）個のブロックに対して，以下を満足する。なお，ここで［・］はガウス記号であり，［ｘ］は実数ｘを超えない最大の整数を表す。
・条件（１−ｆ）を満たす
・条件（１−ｂ）を満たさない
・条件（２−ｆ）を満たさない
・条件（２−ｂ）を満たす
(ii) 左方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のパンが発生していると判断する判定条件：
前述の左方向のパンの判定条件を満たし，かつ，フレーム左端の外縁ブロックの右側に隣接する垂直方向に［Ｙ／Ｎ］−２個，水平方向にｋ−１個からなる（［Ｙ／Ｎ］−２）×（ｋ−１）個のブロックに対して，以下を満足する。
・条件（１−ｂ）を満たさない
・条件（２−ｆ）を満たさない
・条件（２−ｂ）を満たす
(ii) 左方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のパンが発生していると判断する判定条件：
前述の左方向のパンの判定条件を満たし，かつ，フレーム左端の外縁ブロックの右側に隣接する垂直方向に［Ｙ／Ｎ］−２個，水平方向にｋ−１個からなる（［Ｙ／Ｎ］−２）×（ｋ−１）個のブロックに対して，以下を満足する。
・条件（２−ｆ）を満たす
・条件（２−ｂ）を満たさない
・条件（１−ｆ）を満たさない
・条件（１−ｂ）を満たす
(iii) 上方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のチルトが発生していると判断する判定条件：
前述の上方向のチルトの判定条件を満たし，かつ，フレーム上端の外縁ブロックの下側に隣接する垂直方向にｋ−１個，水平方向に［Ｘ／Ｎ］−２個からなる（ｋ−１）×（［Ｘ／Ｎ］−２）個のブロックに対して，以下を満足する。
・条件（２−ｂ）を満たさない
・条件（１−ｆ）を満たさない
・条件（１−ｂ）を満たす
(iii) 上方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のチルトが発生していると判断する判定条件：
前述の上方向のチルトの判定条件を満たし，かつ，フレーム上端の外縁ブロックの下側に隣接する垂直方向にｋ−１個，水平方向に［Ｘ／Ｎ］−２個からなる（ｋ−１）×（［Ｘ／Ｎ］−２）個のブロックに対して，以下を満足する。
・条件（３−ｆ）を満たす
・条件（３−ｂ）を満たさない
・条件（４−ｆ）を満たさない
・条件（４−ｂ）を満たす
(iv) 下方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のチルトが発生していると判断する判定条件：
前述の下方向のチルトの判定条件を満たし，かつ，フレーム下端の外縁ブロックの上側に隣接する垂直方向にｋ−１個，水平方向に［Ｘ／Ｎ］−２個からなる（ｋ−１）×（［Ｘ／Ｎ］−２）個のブロックに対して，以下を満足する。
・条件（３−ｂ）を満たさない
・条件（４−ｆ）を満たさない
・条件（４−ｂ）を満たす
(iv) 下方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のチルトが発生していると判断する判定条件：
前述の下方向のチルトの判定条件を満たし，かつ，フレーム下端の外縁ブロックの上側に隣接する垂直方向にｋ−１個，水平方向に［Ｘ／Ｎ］−２個からなる（ｋ−１）×（［Ｘ／Ｎ］−２）個のブロックに対して，以下を満足する。
・条件（４−ｆ）を満たす
・条件（４−ｂ）を満たさない
・条件（３−ｆ）を満たさない
・条件（３−ｂ）を満たす
＜外縁ブロックに着目したカメラワークの判定（その２）を用いる場合＞
なお，以下で示す右方向のパン，左方向のパン，上方向のチルト，および下方向のチルトの判定条件は，いずれも前述した外縁ブロックに着目したカメラワークの判定（その２）で示した条件を指す。
・条件（４−ｂ）を満たさない
・条件（３−ｆ）を満たさない
・条件（３−ｂ）を満たす
＜外縁ブロックに着目したカメラワークの判定（その２）を用いる場合＞
なお，以下で示す右方向のパン，左方向のパン，上方向のチルト，および下方向のチルトの判定条件は，いずれも前述した外縁ブロックに着目したカメラワークの判定（その２）で示した条件を指す。
(i) 右方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のパンが発生していると判断する判定条件：
前述の右方向のパンの判定条件を満たし，かつ，フレーム右端の外縁ブロックの左側に隣接する垂直方向に［Ｙ／Ｎ］個，水平方向にｋ−１個からなる［Ｙ／Ｎ］×（ｋ−１）個のブロックに対して，以下を満足する。なお，ここで［・］はガウス記号であり，［ｘ］は実数ｘを超えない最大の整数を表す。
前述の右方向のパンの判定条件を満たし，かつ，フレーム右端の外縁ブロックの左側に隣接する垂直方向に［Ｙ／Ｎ］個，水平方向にｋ−１個からなる［Ｙ／Ｎ］×（ｋ−１）個のブロックに対して，以下を満足する。なお，ここで［・］はガウス記号であり，［ｘ］は実数ｘを超えない最大の整数を表す。
・条件（１−ｆ）を満たす
・条件（２−ｆ）を満たさない
(ii) 左方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のパンが発生していると判断する判定条件：
前述の左方向のパンの判定条件を満たし，かつ，フレーム左端の外縁ブロックの右側に隣接する垂直方向に［Ｙ／Ｎ］個，水平方向にｋ−１個からなる［Ｙ／Ｎ］×（ｋ−１）個のブロックに対して，以下を満足する。
・条件（２−ｆ）を満たさない
(ii) 左方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のパンが発生していると判断する判定条件：
前述の左方向のパンの判定条件を満たし，かつ，フレーム左端の外縁ブロックの右側に隣接する垂直方向に［Ｙ／Ｎ］個，水平方向にｋ−１個からなる［Ｙ／Ｎ］×（ｋ−１）個のブロックに対して，以下を満足する。
・条件（２−ｆ）を満たす
・条件（１−ｆ）を満たさない
(iii) 上方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のチルトが発生していると判断する判定条件：
前述の上方向のチルトの判定条件を満たし，かつ，フレーム上端の外縁ブロックの下側に隣接する垂直方向にｋ−１個，水平方向に［Ｘ／Ｎ］個からなる（ｋ−１）×［Ｘ／Ｎ］個のブロックに対して，以下を満足する。
・条件（１−ｆ）を満たさない
(iii) 上方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のチルトが発生していると判断する判定条件：
前述の上方向のチルトの判定条件を満たし，かつ，フレーム上端の外縁ブロックの下側に隣接する垂直方向にｋ−１個，水平方向に［Ｘ／Ｎ］個からなる（ｋ−１）×［Ｘ／Ｎ］個のブロックに対して，以下を満足する。
・条件（３−ｆ）を満たす
・条件（４−ｆ）を満たさない
(iv)下方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のチルトが発生していると判断する判定条件：
前述の下方向のチルトの判定条件を満たし，かつ，フレーム下端の外縁ブロックの上側に隣接する垂直方向にｋ−１個，水平方向に［Ｘ／Ｎ］個からなる（ｋ−１）×［Ｘ／Ｎ］個のブロックに対して，以下を満足する。
・条件（４−ｆ）を満たさない
(iv)下方向に，Ｐ＝（ｋ＋ａ）Ｎ［画素］以上のチルトが発生していると判断する判定条件：
前述の下方向のチルトの判定条件を満たし，かつ，フレーム下端の外縁ブロックの上側に隣接する垂直方向にｋ−１個，水平方向に［Ｘ／Ｎ］個からなる（ｋ−１）×［Ｘ／Ｎ］個のブロックに対して，以下を満足する。
・条件（４−ｆ）を満たす
・条件（３−ｆ）を満たさない
なお，上記の前方インターブロック，および非前方インターブロックの判定は，フレームの外側に位置するブロックの列（またはブロックの行）から順に行うこととする。あるブロックの列（またはブロックの行）において，条件を満たさない場合には，それ以降のブロックの列（またはブロックの行）における判定は省略する。
・条件（３−ｆ）を満たさない
なお，上記の前方インターブロック，および非前方インターブロックの判定は，フレームの外側に位置するブロックの列（またはブロックの行）から順に行うこととする。あるブロックの列（またはブロックの行）において，条件を満たさない場合には，それ以降のブロックの列（またはブロックの行）における判定は省略する。
また，上下方向のチルトと左右方向のパンとを同時に満たす場合，斜め方向のカメラワークと判断する。例えば，左方向にＰ＝ｋＮ［画素］以上のパンが発生していると判定され，かつ，上方向にＰ＝ｍＮ［画素］以上のパンが発生していると判定された場合，左斜め上方向に，（ｋ2 ＋ｍ2 ）1/2 ×Ｎ［画素］以上のカメラワークが発生していると判断する。これらは，前述の〔外縁ブロックに着目したカメラワークの判定（その１）〕あるいは〔外縁ブロックに着目したカメラワークの判定（その２）〕のいずれを用いる場合も，同様である。
［フローチャート］
本発明の処理の実施形態について，図６を参照して説明する。
・ステップＳ１：外縁ブロックに対して，モードの判定処理を行う。本処理の詳細については図７を用いて後述する。
・ステップＳ２：右端，左端，上端，下端の各外縁ブロックに対して，時間方向の相関の強度を測定する。本処理の詳細については図８，図９を用いて後述する。
・ステップＳ３：当該フレームにおいて右方向のパンのカメラワークが含まれているか否かの判定を行う。本処理の詳細については図１０を用いて後述する。
・ステップＳ４：ステップＳ３における判定結果を入力とし，判定結果が真値の場合，ステップＳ５に進み，パンの方向を表すフラグを２にセットする。一方，判定結果が偽値の場合，ステップＳ６の処理に移る。
・ステップＳ６：当該フレームにおいて左方向のパンのカメラワークが含まれているか否かの判定を行う。本処理の詳細については図１１を用いて後述する。
・ステップＳ７：ステップＳ６における判定結果を入力とし，判定結果が真値の場合，ステップＳ９に進み，パンの方向を表すフラグを１にセットする。一方，判定結果が偽値の場合，ステップＳ８に進み，パンの方向を表すフラグを０にセットする。
・ステップＳ１０：当該フレームにおいて上方向のチルトのカメラワークが含まれているか否かの判定を行う。本処理の詳細については図１２を用いて後述する。
・ステップＳ１１：ステップＳ１０における判定結果を入力とし，判定結果が真値の場合，ステップＳ１２に進み，チルトの方向を表すフラグを２にセットする。一方，判定結果が偽値の場合，ステップＳ１３の処理に移る。
・ステップＳ１３：当該フレームにおいて下方向のチルトのカメラワークが含まれているか否かの判定を行う。本処理の詳細については図１３を用いて後述する。
・ステップＳ１４：ステップＳ１３における判定結果を入力とし，判定結果が真値の場合，ステップＳ１６に進み，チルトの方向を表すフラグを１にセットする。一方，判定結果が偽値の場合，ステップＳ１５に進み，チルトの方向を表すフラグを０にセットする。
・ステップＳ１７：パンの方向フラグ，チルトの方向フラグを入力とし，パンの方向フラグが０でない，または，チルトの方向フラグが０でないといういずれかの条件を満たせば，カメラワークが含まれると判定し，そうでなければ，カメラワークが含まれないと判定する。
・ステップＳ１８：すべてのフレームについて処理を終えたかどうかを判定し，判定結果が真値の場合，処理を終了する。偽値の場合，ステップＳ１９へ進む。
・ステップＳ１９：処理対象を次フレームとし，ステップＳ１へ戻って同様に処理を繰り返す。
本発明の処理の実施形態について，図６を参照して説明する。
・ステップＳ１：外縁ブロックに対して，モードの判定処理を行う。本処理の詳細については図７を用いて後述する。
・ステップＳ２：右端，左端，上端，下端の各外縁ブロックに対して，時間方向の相関の強度を測定する。本処理の詳細については図８，図９を用いて後述する。
・ステップＳ３：当該フレームにおいて右方向のパンのカメラワークが含まれているか否かの判定を行う。本処理の詳細については図１０を用いて後述する。
・ステップＳ４：ステップＳ３における判定結果を入力とし，判定結果が真値の場合，ステップＳ５に進み，パンの方向を表すフラグを２にセットする。一方，判定結果が偽値の場合，ステップＳ６の処理に移る。
・ステップＳ６：当該フレームにおいて左方向のパンのカメラワークが含まれているか否かの判定を行う。本処理の詳細については図１１を用いて後述する。
・ステップＳ７：ステップＳ６における判定結果を入力とし，判定結果が真値の場合，ステップＳ９に進み，パンの方向を表すフラグを１にセットする。一方，判定結果が偽値の場合，ステップＳ８に進み，パンの方向を表すフラグを０にセットする。
・ステップＳ１０：当該フレームにおいて上方向のチルトのカメラワークが含まれているか否かの判定を行う。本処理の詳細については図１２を用いて後述する。
・ステップＳ１１：ステップＳ１０における判定結果を入力とし，判定結果が真値の場合，ステップＳ１２に進み，チルトの方向を表すフラグを２にセットする。一方，判定結果が偽値の場合，ステップＳ１３の処理に移る。
・ステップＳ１３：当該フレームにおいて下方向のチルトのカメラワークが含まれているか否かの判定を行う。本処理の詳細については図１３を用いて後述する。
・ステップＳ１４：ステップＳ１３における判定結果を入力とし，判定結果が真値の場合，ステップＳ１６に進み，チルトの方向を表すフラグを１にセットする。一方，判定結果が偽値の場合，ステップＳ１５に進み，チルトの方向を表すフラグを０にセットする。
・ステップＳ１７：パンの方向フラグ，チルトの方向フラグを入力とし，パンの方向フラグが０でない，または，チルトの方向フラグが０でないといういずれかの条件を満たせば，カメラワークが含まれると判定し，そうでなければ，カメラワークが含まれないと判定する。
・ステップＳ１８：すべてのフレームについて処理を終えたかどうかを判定し，判定結果が真値の場合，処理を終了する。偽値の場合，ステップＳ１９へ進む。
・ステップＳ１９：処理対象を次フレームとし，ステップＳ１へ戻って同様に処理を繰り返す。
＜ステップＳ１の処理の流れ（その１）＞
図７は，図６のステップＳ１における詳細な処理の流れを示している。以下，図７を用いて，ステップＳ１における外縁ブロックに対して行うモードの判定処理の詳細を説明する。
・ステップＳ１０１：当該フレームを読み込み，フレームバッファに格納する。
・ステップＳ１０２：当該フレームに対して，前方フレーム間予測を行う場合の参照フレーム（前方予測参照フレーム）を読み込み，フレームバッファに格納する。
・ステップＳ１０３：当該フレームを読み込み，当該フレーム中の当該ブロックに対して，フレーム内予測を行い，同ブロックにおける予測誤差をレジスタに書き出す。フレーム内予測の方法としては，例えば，Ｈ．２６４で規定される方法がある。
・ステップＳ１０４：当該フレーム，前方予測参照フレームを入力として読み込み，当該フレーム中の当該ブロックに対して，動き補償によるフレーム間予測を行い，同ブロックにおける予測誤差をレジスタに書き出す。動き補償によるフレーム間予測の方法としては，例えば，Ｈ．２６４で規定される方法がある。
・ステップＳ１０５：ステップＳ１０３およびステップＳ１０４で算出したフレーム内予測誤差およびフレーム間予測誤差を入力とし，両者を比較する処理を行い，フレーム内予測誤差がフレーム間予測誤差よりも小さい場合には，ステップＳ１０６の処理に移る。そうでなければ，ステップＳ１０７の処理に移る。
・ステップＳ１０６：当該ブロックのモードを非前方インターブロックとして，当該ブロックの位置情報と共に，このモード情報を書き出し，ステップＳ１１３へ進む。
・ステップＳ１０７：当該ブロックのモードを前方インターブロックとして，当該ブロックの位置情報と共に，このモード情報を書き出し，ステップＳ１１３へ進む。
・ステップＳ１０８：当該フレームに対して，後方フレーム間予測を行う場合の参照フレーム（後方予測参照フレーム）を読み込み，フレームバッファに格納する。
・ステップＳ１０９：当該フレーム，後方予測参照フレームを読み込み，当該フレーム中の当該ブロックに対して，動き補償によるフレーム間予測を行い，同ブロックにおける予測残差和を書き出す。動き補償によるフレーム間予測の方法としては，例えば，Ｈ．２６４の方法がある。
・ステップＳ１１０：ステップＳ１０３およびステップＳ１０９で算出したフレーム内予測誤差およびフレーム間予測誤差を入力とし，両者を比較する処理を行い，フレーム内予測誤差がフレーム間予測誤差よりも小さい場合には，ステップＳ１１１の処理に移る。そうでなければ，ステップＳ１１２の処理に移る。
・ステップＳ１１１：当該ブロックのモードを非後方インターブロックとして，当該ブロックの位置情報と共に，このモード情報を書き出し，ステップＳ１１３へ進む。
・ステップＳ１１２：当該ブロックのモードを後方インターブロックとして，当該ブロックの位置情報と共に，このモード情報を書き出し，ステップＳ１１３へ進む。
・ステップＳ１１３：すべての外縁ブロックについて処理を終えたかどうかを判定し，判定結果が真値の場合には処理を終了し，呼出し元へ戻る。偽値の場合，ステップＳ１１４へ進む。
・ステップＳ１１４：処理対象を次の外縁ブロックとし，ステップＳ１０３，Ｓ１０４，Ｓ１０９以降の処理を同様に繰り返す。
図７は，図６のステップＳ１における詳細な処理の流れを示している。以下，図７を用いて，ステップＳ１における外縁ブロックに対して行うモードの判定処理の詳細を説明する。
・ステップＳ１０１：当該フレームを読み込み，フレームバッファに格納する。
・ステップＳ１０２：当該フレームに対して，前方フレーム間予測を行う場合の参照フレーム（前方予測参照フレーム）を読み込み，フレームバッファに格納する。
・ステップＳ１０３：当該フレームを読み込み，当該フレーム中の当該ブロックに対して，フレーム内予測を行い，同ブロックにおける予測誤差をレジスタに書き出す。フレーム内予測の方法としては，例えば，Ｈ．２６４で規定される方法がある。
・ステップＳ１０４：当該フレーム，前方予測参照フレームを入力として読み込み，当該フレーム中の当該ブロックに対して，動き補償によるフレーム間予測を行い，同ブロックにおける予測誤差をレジスタに書き出す。動き補償によるフレーム間予測の方法としては，例えば，Ｈ．２６４で規定される方法がある。
・ステップＳ１０５：ステップＳ１０３およびステップＳ１０４で算出したフレーム内予測誤差およびフレーム間予測誤差を入力とし，両者を比較する処理を行い，フレーム内予測誤差がフレーム間予測誤差よりも小さい場合には，ステップＳ１０６の処理に移る。そうでなければ，ステップＳ１０７の処理に移る。
・ステップＳ１０６：当該ブロックのモードを非前方インターブロックとして，当該ブロックの位置情報と共に，このモード情報を書き出し，ステップＳ１１３へ進む。
・ステップＳ１０７：当該ブロックのモードを前方インターブロックとして，当該ブロックの位置情報と共に，このモード情報を書き出し，ステップＳ１１３へ進む。
・ステップＳ１０８：当該フレームに対して，後方フレーム間予測を行う場合の参照フレーム（後方予測参照フレーム）を読み込み，フレームバッファに格納する。
・ステップＳ１０９：当該フレーム，後方予測参照フレームを読み込み，当該フレーム中の当該ブロックに対して，動き補償によるフレーム間予測を行い，同ブロックにおける予測残差和を書き出す。動き補償によるフレーム間予測の方法としては，例えば，Ｈ．２６４の方法がある。
・ステップＳ１１０：ステップＳ１０３およびステップＳ１０９で算出したフレーム内予測誤差およびフレーム間予測誤差を入力とし，両者を比較する処理を行い，フレーム内予測誤差がフレーム間予測誤差よりも小さい場合には，ステップＳ１１１の処理に移る。そうでなければ，ステップＳ１１２の処理に移る。
・ステップＳ１１１：当該ブロックのモードを非後方インターブロックとして，当該ブロックの位置情報と共に，このモード情報を書き出し，ステップＳ１１３へ進む。
・ステップＳ１１２：当該ブロックのモードを後方インターブロックとして，当該ブロックの位置情報と共に，このモード情報を書き出し，ステップＳ１１３へ進む。
・ステップＳ１１３：すべての外縁ブロックについて処理を終えたかどうかを判定し，判定結果が真値の場合には処理を終了し，呼出し元へ戻る。偽値の場合，ステップＳ１１４へ進む。
・ステップＳ１１４：処理対象を次の外縁ブロックとし，ステップＳ１０３，Ｓ１０４，Ｓ１０９以降の処理を同様に繰り返す。
＜ステップＳ１の処理の流れ（その２）＞
図６のステップＳ１の処理としては，図７に示す処理方法の他に，図２１に示すように，演算量をさらに削減した方法を用いることも可能である。図２１に示す処理は，図７から，一部処理を省略した構成になっており，各処理については，図７で説明した処理と同様であるので，これ以上の詳しい説明を省略する。
図６のステップＳ１の処理としては，図７に示す処理方法の他に，図２１に示すように，演算量をさらに削減した方法を用いることも可能である。図２１に示す処理は，図７から，一部処理を省略した構成になっており，各処理については，図７で説明した処理と同様であるので，これ以上の詳しい説明を省略する。
＜ステップＳ２の処理の流れ（その１）＞
図８および図９は，図６のステップＳ２における詳細な処理の流れを示している。以下，図８を用いて，ステップＳ２における外縁ブロックに対して時間方向の相関の強度を測定する処理の詳細を説明する。なお，図９については，図８と同様であるので，個々の処理ステップに関する詳しい説明は省略する。
・ステップＳ２０１：図７で出力される右端の外縁ブロックに対するモード識別処理の結果を入力とし，非前方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。また，図７で出力される右端の外縁ブロックに対するモード識別処理の結果を入力とし，非後方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。
・ステップＳ２０２：所定の閾値，およびステップＳ２０１で出力した非前方インターブロックの頻度値を入力とし，右端の外縁ブロックに対して，非前方インターブロックの占める割合を算出し，同割合と閾値の大小比較を行う。同割合が閾値以上であれば，右端の外縁ブロックに対する前方弱時間相関フラグを１に設定する。そうでなければ，前方弱時間相関フラグを０に設定する。
・ステップＳ２０３：所定の閾値，およびステップＳ２０１で出力した非後方インターブロックの頻度値を入力とし，右端の外縁ブロックに対して，非後方インターブロックの占める割合を算出し，同割合と閾値の大小比較を行う。同割合が閾値以上であれば，右端の外縁ブロックに対する後方弱時間相関フラグを１に設定する。そうでなければ，後方弱時間相関フラグを０に設定する。
・ステップＳ２０４：図７で出力される上端の外縁ブロックに対するモード識別処理の結果を入力とし，前方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。同様に，後方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。
・ステップＳ２０５：図７で出力される下端の外縁ブロックに対するモード識別処理の結果を入力とし，前方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。同様に，後方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。
・ステップＳ２０６：所定の閾値，およびステップＳ２０４，Ｓ２０５で出力した頻度値を入力とし，上端の外縁ブロックに対して，前方インターブロックの占める割合，および後方インターブロックの占める割合を算出し，これら２つの割合に対して，各々，閾値との大小比較を行う。これらの２つの割合のいずれかが，閾値以上であれば，上端の外縁ブロックに対する動領域フラグを１に設定する。そうでなければ，動領域フラグを０に設定する。
・ステップＳ２０７：所定の閾値，およびステップＳ２０４，Ｓ２０５で出力した頻度値を入力とし，下端の外縁ブロックに対して，前方インターブロックの占める割合，および後方インターブロックの占める割合を算出し，これら２つの割合に対して，各々，閾値との大小比較を行う。これらの２つの割合のいずれかが，閾値以上であれば，下端の外縁ブロックに対する動領域フラグを１に設定する。そうでなければ，動領域フラグを０に設定する。
・ステップＳ２１１−Ｓ２１７：ステップＳ２０１−Ｓ２０７と同様である。
図８および図９は，図６のステップＳ２における詳細な処理の流れを示している。以下，図８を用いて，ステップＳ２における外縁ブロックに対して時間方向の相関の強度を測定する処理の詳細を説明する。なお，図９については，図８と同様であるので，個々の処理ステップに関する詳しい説明は省略する。
・ステップＳ２０１：図７で出力される右端の外縁ブロックに対するモード識別処理の結果を入力とし，非前方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。また，図７で出力される右端の外縁ブロックに対するモード識別処理の結果を入力とし，非後方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。
・ステップＳ２０２：所定の閾値，およびステップＳ２０１で出力した非前方インターブロックの頻度値を入力とし，右端の外縁ブロックに対して，非前方インターブロックの占める割合を算出し，同割合と閾値の大小比較を行う。同割合が閾値以上であれば，右端の外縁ブロックに対する前方弱時間相関フラグを１に設定する。そうでなければ，前方弱時間相関フラグを０に設定する。
・ステップＳ２０３：所定の閾値，およびステップＳ２０１で出力した非後方インターブロックの頻度値を入力とし，右端の外縁ブロックに対して，非後方インターブロックの占める割合を算出し，同割合と閾値の大小比較を行う。同割合が閾値以上であれば，右端の外縁ブロックに対する後方弱時間相関フラグを１に設定する。そうでなければ，後方弱時間相関フラグを０に設定する。
・ステップＳ２０４：図７で出力される上端の外縁ブロックに対するモード識別処理の結果を入力とし，前方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。同様に，後方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。
・ステップＳ２０５：図７で出力される下端の外縁ブロックに対するモード識別処理の結果を入力とし，前方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。同様に，後方インターブロックに分類されたブロックの個数をカウントする処理を行い，このカウントされた頻度値をレジスタに書き出す。
・ステップＳ２０６：所定の閾値，およびステップＳ２０４，Ｓ２０５で出力した頻度値を入力とし，上端の外縁ブロックに対して，前方インターブロックの占める割合，および後方インターブロックの占める割合を算出し，これら２つの割合に対して，各々，閾値との大小比較を行う。これらの２つの割合のいずれかが，閾値以上であれば，上端の外縁ブロックに対する動領域フラグを１に設定する。そうでなければ，動領域フラグを０に設定する。
・ステップＳ２０７：所定の閾値，およびステップＳ２０４，Ｓ２０５で出力した頻度値を入力とし，下端の外縁ブロックに対して，前方インターブロックの占める割合，および後方インターブロックの占める割合を算出し，これら２つの割合に対して，各々，閾値との大小比較を行う。これらの２つの割合のいずれかが，閾値以上であれば，下端の外縁ブロックに対する動領域フラグを１に設定する。そうでなければ，動領域フラグを０に設定する。
・ステップＳ２１１−Ｓ２１７：ステップＳ２０１−Ｓ２０７と同様である。
＜ステップＳ２の処理の流れ（その２）＞
図６のステップＳ２の処理としては，図８および図９に示す処理方法の他に，図２２および図２３に示すように，演算量をさらに削減した方法を用いることも可能である。図２２および図２３に示す処理は，図８および図９から，一部処理を省略した構成になっており，各処理については，図８で説明した処理と同様であるので，これ以上の詳しい説明を省略する。
図６のステップＳ２の処理としては，図８および図９に示す処理方法の他に，図２２および図２３に示すように，演算量をさらに削減した方法を用いることも可能である。図２２および図２３に示す処理は，図８および図９から，一部処理を省略した構成になっており，各処理については，図８で説明した処理と同様であるので，これ以上の詳しい説明を省略する。
＜ステップＳ３の処理の流れ（その１）＞
図１０は，図６のステップＳ３における詳細な処理の流れを示している。以下，図１０を用いて，ステップＳ３における右方向のパンの判定処理の詳細を説明する。
・ステップＳ３０１：図８で出力した右端の外縁ブロックに対する前方弱時間相関フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３０２：ステップＳ３０１で読み込んだ右端の外縁ブロックに対する前方弱時間相関フラグを入力として，１か否かの判定処理を行い，１である場合，ステップＳ３０３の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３０３：図８で出力した右端の外縁ブロックに対する後方弱時間相関フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３０４：ステップＳ３０３で読み込んだ右端の外縁ブロックに対する後方弱時間相関フラグを入力として，同フラグが零値か否かの判定処理を行い，零値の場合，ステップＳ３０５の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３０５：図８で出力した左端の外縁ブロックに対する前方弱時間相関フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３０６：ステップＳ３０５で読み込んだ左端の外縁ブロックに対する前方弱時間相関フラグを入力として，同フラグが零値か否かの判定処理を行い，零値の場合，ステップＳ３０７の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３０７：図８で出力した左端の外縁ブロックに対する後方弱時間相関フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３０８：ステップＳ３０７で読み込んだ左端の外縁ブロックに対する後方弱時間相関フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１である場合，ステップＳ３０９の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３０９：図８で出力した上端の外縁ブロックに対する動領域フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３１０：ステップＳ３０９で読み込んだ上端の外縁ブロックに対する動領域フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１である場合，ステップＳ３１１の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３１１：図８で出力した下端の外縁ブロックに対する動領域フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３１２：ステップＳ３１１で読み込んだ下端の外縁ブロックに対する動領域フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１である場合，ステップＳ３１３の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３１３：当該フレームに，右方向のパンが含まれると判定する。
・ステップＳ３１４：当該フレームに，右方向のパンが含まれないと判定する。
図１０は，図６のステップＳ３における詳細な処理の流れを示している。以下，図１０を用いて，ステップＳ３における右方向のパンの判定処理の詳細を説明する。
・ステップＳ３０１：図８で出力した右端の外縁ブロックに対する前方弱時間相関フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３０２：ステップＳ３０１で読み込んだ右端の外縁ブロックに対する前方弱時間相関フラグを入力として，１か否かの判定処理を行い，１である場合，ステップＳ３０３の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３０３：図８で出力した右端の外縁ブロックに対する後方弱時間相関フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３０４：ステップＳ３０３で読み込んだ右端の外縁ブロックに対する後方弱時間相関フラグを入力として，同フラグが零値か否かの判定処理を行い，零値の場合，ステップＳ３０５の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３０５：図８で出力した左端の外縁ブロックに対する前方弱時間相関フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３０６：ステップＳ３０５で読み込んだ左端の外縁ブロックに対する前方弱時間相関フラグを入力として，同フラグが零値か否かの判定処理を行い，零値の場合，ステップＳ３０７の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３０７：図８で出力した左端の外縁ブロックに対する後方弱時間相関フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３０８：ステップＳ３０７で読み込んだ左端の外縁ブロックに対する後方弱時間相関フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１である場合，ステップＳ３０９の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３０９：図８で出力した上端の外縁ブロックに対する動領域フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３１０：ステップＳ３０９で読み込んだ上端の外縁ブロックに対する動領域フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１である場合，ステップＳ３１１の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３１１：図８で出力した下端の外縁ブロックに対する動領域フラグを入力として読み込み，レジスタに書き出す。
・ステップＳ３１２：ステップＳ３１１で読み込んだ下端の外縁ブロックに対する動領域フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１である場合，ステップＳ３１３の処理に移り，そうでなければ，ステップＳ３１４の処理に移る。
・ステップＳ３１３：当該フレームに，右方向のパンが含まれると判定する。
・ステップＳ３１４：当該フレームに，右方向のパンが含まれないと判定する。
図１１，図１２，図１３については，図１０と同様であり，それぞれ左方向のパンの判定処理，上方向のチルトの判定処理，下方向のチルトの判定処理を示している。
＜ステップＳ３の処理の流れ（その２）＞
図６のステップＳ３の処理としては，図１０に示す処理方法の他に，図２４に示すように，演算量をさらに削減した方法を用いることも可能である。図２４に示す処理は，図１０から，一部処理を省略した構成になっており，各処理については，図１０で説明した処理と同様であるので，これ以上の詳しい説明を省略する。
図６のステップＳ３の処理としては，図１０に示す処理方法の他に，図２４に示すように，演算量をさらに削減した方法を用いることも可能である。図２４に示す処理は，図１０から，一部処理を省略した構成になっており，各処理については，図１０で説明した処理と同様であるので，これ以上の詳しい説明を省略する。
図２５，図２６，図２７についても，図２４と同様である。
［装置図］
本発明の実施形態の装置図を，図１４に示す。以下，図１４を参照してカメラワーク検出装置の各部について説明する。
・外縁ブロック判定部１０１：外縁ブロックに対して，モードの判定処理を行い，判定結果をブロックタイプ記憶部１０２に書き出す。本処理部の詳細については，図１５を用いて後述する。
・右端外縁ブロック選択部１０３：ブロックタイプ記憶部１０２から読み出すブロックタイプを入力とし，右端の外縁ブロックのブロックタイプを抽出する。
・右端外縁ブロックフラグ設定部１０４：右端の外縁ブロックに対して，時間方向の相関の強度を測定し，同強度を表すフラグを右端外縁ブロックフラグ記憶部１０５に書き出す。本処理部の詳細については，図１６を用いて後述する。
・左端外縁ブロック選択部１０６：ブロックタイプ記憶部１０２から読み出すブロックタイプを入力とし，左端の外縁ブロックのブロックタイプを抽出する。
・左端外縁ブロックフラグ設定部１０７：左端の外縁ブロックに対して，時間方向の相関の強度を測定し，同強度を表すフラグを左端外縁ブロックフラグ記憶部１０８に書き出す。本処理部の詳細については，図１６を用いて後述する。
・上端外縁ブロック選択部１０９：ブロックタイプ記憶部１０２から読み出すブロックタイプを入力とし，上端の外縁ブロックのブロックタイプを抽出する。
・上端外縁ブロックフラグ設定部１１０：上端の外縁ブロックに対して，時間方向の相関の強度を測定し，同強度を表すフラグを上端外縁ブロックフラグ記憶部１１１に書き出す。本処理部の詳細については，図１６を用いて後述する。
・下端外縁ブロック選択部１１２：ブロックタイプ記憶部１０２から読み出すブロックタイプを入力とし，下端の外縁ブロックのブロックタイプを抽出する。
・下端外縁ブロックフラグ設定部１１３：下端の外縁ブロックに対して，時間方向の相関の強度を測定し，同強度を表すフラグを下端外縁ブロックフラグ記憶部１１４に書き出す。本処理部の詳細については，図１６を用いて後述する。
・カメラワーク判定部１２０：カメラワークを判定するために，以下の右方向パン判定部１２１，左方向パン判定部１２２，上方向チルト判定部１２３，下方向チルト判定部１２４を備える。
・右方向パン判定部１２１：当該フレームにおいて右方向のパンのカメラワークが含まれているか否かの判定を行う。ここで行う判定処理の詳細については，図１７を用いて後述する。
・左方向パン判定部１２２：当該フレームにおいて左方向のパンのカメラワークが含まれているか否かの判定を行う。ここで行う判定処理の詳細については，図１８を用いて後述する。
・上方向チルト判定部１２３：当該フレームにおいて上方向のチルトのカメラワークが含まれているか否かの判定を行う。ここで行う判定処理の詳細については，図１９を用いて後述する。
・下方向チルト判定部１２４：当該フレームにおいて下方向のチルトのカメラワークが含まれているか否かの判定を行う。ここで行う判定処理の詳細については，図２０を用いて後述する。
本発明の実施形態の装置図を，図１４に示す。以下，図１４を参照してカメラワーク検出装置の各部について説明する。
・外縁ブロック判定部１０１：外縁ブロックに対して，モードの判定処理を行い，判定結果をブロックタイプ記憶部１０２に書き出す。本処理部の詳細については，図１５を用いて後述する。
・右端外縁ブロック選択部１０３：ブロックタイプ記憶部１０２から読み出すブロックタイプを入力とし，右端の外縁ブロックのブロックタイプを抽出する。
・右端外縁ブロックフラグ設定部１０４：右端の外縁ブロックに対して，時間方向の相関の強度を測定し，同強度を表すフラグを右端外縁ブロックフラグ記憶部１０５に書き出す。本処理部の詳細については，図１６を用いて後述する。
・左端外縁ブロック選択部１０６：ブロックタイプ記憶部１０２から読み出すブロックタイプを入力とし，左端の外縁ブロックのブロックタイプを抽出する。
・左端外縁ブロックフラグ設定部１０７：左端の外縁ブロックに対して，時間方向の相関の強度を測定し，同強度を表すフラグを左端外縁ブロックフラグ記憶部１０８に書き出す。本処理部の詳細については，図１６を用いて後述する。
・上端外縁ブロック選択部１０９：ブロックタイプ記憶部１０２から読み出すブロックタイプを入力とし，上端の外縁ブロックのブロックタイプを抽出する。
・上端外縁ブロックフラグ設定部１１０：上端の外縁ブロックに対して，時間方向の相関の強度を測定し，同強度を表すフラグを上端外縁ブロックフラグ記憶部１１１に書き出す。本処理部の詳細については，図１６を用いて後述する。
・下端外縁ブロック選択部１１２：ブロックタイプ記憶部１０２から読み出すブロックタイプを入力とし，下端の外縁ブロックのブロックタイプを抽出する。
・下端外縁ブロックフラグ設定部１１３：下端の外縁ブロックに対して，時間方向の相関の強度を測定し，同強度を表すフラグを下端外縁ブロックフラグ記憶部１１４に書き出す。本処理部の詳細については，図１６を用いて後述する。
・カメラワーク判定部１２０：カメラワークを判定するために，以下の右方向パン判定部１２１，左方向パン判定部１２２，上方向チルト判定部１２３，下方向チルト判定部１２４を備える。
・右方向パン判定部１２１：当該フレームにおいて右方向のパンのカメラワークが含まれているか否かの判定を行う。ここで行う判定処理の詳細については，図１７を用いて後述する。
・左方向パン判定部１２２：当該フレームにおいて左方向のパンのカメラワークが含まれているか否かの判定を行う。ここで行う判定処理の詳細については，図１８を用いて後述する。
・上方向チルト判定部１２３：当該フレームにおいて上方向のチルトのカメラワークが含まれているか否かの判定を行う。ここで行う判定処理の詳細については，図１９を用いて後述する。
・下方向チルト判定部１２４：当該フレームにおいて下方向のチルトのカメラワークが含まれているか否かの判定を行う。ここで行う判定処理の詳細については，図２０を用いて後述する。
＜外縁ブロック判定部１０１の構成図＞
外縁ブロック判定部１０１の構成図を，図１５に示す。
・前方予測参照フレーム記憶部２０１：当該フレームに対して，前方フレーム間予測を行う場合の参照フレーム（前方予測参照フレーム）を格納する。
・当該フレーム記憶部２０２：当該フレームを格納する。
・後方予測参照フレーム記憶部２０３：当該フレームに対して，後方フレーム間予測を行う場合の参照フレーム（後方予測参照フレーム）を読み込み，フレームバッファに格納する。
・フレーム内予測誤差算出部２０４：当該フレーム記憶部２０２から読み出した当該フレームを入力として，当該フレーム中の当該ブロックに対して，フレーム内予測を行い，同ブロックにおける予測残差和をフレーム内予測誤差記憶部２０５に書き出す。フレーム内予測の方法としては，例えば，Ｈ．２６４で規定された方法がある。
・フレーム間予測誤差算出部２０６：当該フレーム記憶部２０２から読み出した当該フレーム，前方予測参照フレーム記憶部２０１から読み出した前方予測参照フレームを入力として，当該フレーム中の当該ブロックに対して，動き補償によるフレーム間予測を行い，同ブロックにおける予測残差和をフレーム間予測誤差記憶部２０７に書き出す。動き補償によるフレーム間予測の方法としては，例えば，Ｈ．２６４で規定された方法がある。
・フレーム間予測誤差算出部２０８：当該フレーム記憶部２０２から読み出した当該フレーム，後方予測参照フレーム記憶部２０３から読み出した後方予測参照フレームを入力として，当該フレーム中の当該ブロックに対して，動き補償によるフレーム間予測を行い，同ブロックにおける予測残差和をフレーム間予測誤差記憶部２０９に書き出す。動き補償によるフレーム間予測の方法としては，例えば，Ｈ．２６４で規定された方法がある。
・予測誤差比較部２１０：フレーム内予測誤差記憶部２０５およびフレーム間予測誤差記憶部２０７から読み出したフレーム内予測誤差およびフレーム間予測誤差を入力とし，両者を比較する処理を行い，比較結果をブロックタイプ出力部２１１へ渡す。
・ブロックタイプ出力部２１１：予測誤差比較部２１０にて出力されたフレーム内予測誤差とフレーム間予測誤差の比較結果を入力として読み込み，フレーム内予測誤差がフレーム間予測誤差よりも小さい場合には，非前方インターブロックとして，当該ブロックの位置情報と共に，このモード情報をブロックタイプ記憶部２１４に書き出す。そうでなければ，前方インターブロックとして，当該ブロックの位置情報と共に，このモード情報をブロックタイプ記憶部２１４に書き出す。
・予測誤差比較部２１２：フレーム内予測誤差記憶部２０５およびフレーム間予測誤差記憶部２０９から読み出したフレーム内予測誤差およびフレーム間予測誤差を入力とし，両者を比較する処理を行い，比較結果をブロックタイプ出力部２１３へ渡す。
・ブロックタイプ出力部２１３：予測誤差比較部２１２にて出力されたフレーム内予測誤差とフレーム間予測誤差の比較結果を入力として読み込み，フレーム内予測誤差がフレーム間予測誤差よりも小さい場合には，非後方インターブロックとして，当該ブロックの位置情報と共に，このモード情報をブロックタイプ記憶部２１４に書き出す。そうでなければ，後方インターブロックとして，当該ブロックの位置情報と共に，このモード情報をブロックタイプ記憶部２１４に書き出す。
・最終ブロック判定部２１５：以上の処理をすべての外縁ブロックについて行う。
外縁ブロック判定部１０１の構成図を，図１５に示す。
・前方予測参照フレーム記憶部２０１：当該フレームに対して，前方フレーム間予測を行う場合の参照フレーム（前方予測参照フレーム）を格納する。
・当該フレーム記憶部２０２：当該フレームを格納する。
・後方予測参照フレーム記憶部２０３：当該フレームに対して，後方フレーム間予測を行う場合の参照フレーム（後方予測参照フレーム）を読み込み，フレームバッファに格納する。
・フレーム内予測誤差算出部２０４：当該フレーム記憶部２０２から読み出した当該フレームを入力として，当該フレーム中の当該ブロックに対して，フレーム内予測を行い，同ブロックにおける予測残差和をフレーム内予測誤差記憶部２０５に書き出す。フレーム内予測の方法としては，例えば，Ｈ．２６４で規定された方法がある。
・フレーム間予測誤差算出部２０６：当該フレーム記憶部２０２から読み出した当該フレーム，前方予測参照フレーム記憶部２０１から読み出した前方予測参照フレームを入力として，当該フレーム中の当該ブロックに対して，動き補償によるフレーム間予測を行い，同ブロックにおける予測残差和をフレーム間予測誤差記憶部２０７に書き出す。動き補償によるフレーム間予測の方法としては，例えば，Ｈ．２６４で規定された方法がある。
・フレーム間予測誤差算出部２０８：当該フレーム記憶部２０２から読み出した当該フレーム，後方予測参照フレーム記憶部２０３から読み出した後方予測参照フレームを入力として，当該フレーム中の当該ブロックに対して，動き補償によるフレーム間予測を行い，同ブロックにおける予測残差和をフレーム間予測誤差記憶部２０９に書き出す。動き補償によるフレーム間予測の方法としては，例えば，Ｈ．２６４で規定された方法がある。
・予測誤差比較部２１０：フレーム内予測誤差記憶部２０５およびフレーム間予測誤差記憶部２０７から読み出したフレーム内予測誤差およびフレーム間予測誤差を入力とし，両者を比較する処理を行い，比較結果をブロックタイプ出力部２１１へ渡す。
・ブロックタイプ出力部２１１：予測誤差比較部２１０にて出力されたフレーム内予測誤差とフレーム間予測誤差の比較結果を入力として読み込み，フレーム内予測誤差がフレーム間予測誤差よりも小さい場合には，非前方インターブロックとして，当該ブロックの位置情報と共に，このモード情報をブロックタイプ記憶部２１４に書き出す。そうでなければ，前方インターブロックとして，当該ブロックの位置情報と共に，このモード情報をブロックタイプ記憶部２１４に書き出す。
・予測誤差比較部２１２：フレーム内予測誤差記憶部２０５およびフレーム間予測誤差記憶部２０９から読み出したフレーム内予測誤差およびフレーム間予測誤差を入力とし，両者を比較する処理を行い，比較結果をブロックタイプ出力部２１３へ渡す。
・ブロックタイプ出力部２１３：予測誤差比較部２１２にて出力されたフレーム内予測誤差とフレーム間予測誤差の比較結果を入力として読み込み，フレーム内予測誤差がフレーム間予測誤差よりも小さい場合には，非後方インターブロックとして，当該ブロックの位置情報と共に，このモード情報をブロックタイプ記憶部２１４に書き出す。そうでなければ，後方インターブロックとして，当該ブロックの位置情報と共に，このモード情報をブロックタイプ記憶部２１４に書き出す。
・最終ブロック判定部２１５：以上の処理をすべての外縁ブロックについて行う。
外縁ブロック判定部１０１の装置構成としては，図２８に示すように，装置構成の演算量をさらに削減した構成も可能である。図２８に示す装置構成は，図１５に示す装置構成の一部を省略した構成になっており，各処理部については，図１５と同様である。
＜右端外縁ブロックフラグ設定部１０４，左端外縁ブロックフラグ設定部１０７，上端外縁ブロックフラグ設定部１１０，下端外縁ブロックフラグ設定部１１３の構成図＞
右端外縁ブロックフラグ設定部１０４，左端外縁ブロックフラグ設定部１０７，上端外縁ブロックフラグ設定部１１０，下端外縁ブロックフラグ設定部１１３の詳細構成について，図１６を用いて説明する。
・外縁ブロック位置指定部３００：カメラパラメータの検出対象とする外縁ブロックの指定位置を入力として，同指定位置を外縁ブロック位置指定記憶部３０４，３１０に書き出す。さらに，入力された指定位置に対してインターブロック判定の対象位置を３１３に書き出す。ここで外縁ブロックの位置とは，右端，左端，上端，下端のいずれかである。
・ブロックタイプ記憶部３０１：外縁ブロックのブロックタイプを格納する。
・非前方インターブロックカウント部３０２：ブロックタイプ記憶部３０１から読み出した外縁ブロックに対するブロックタイプを入力とし，非前方インターブロックに分類されたブロックの個数を外縁ブロックの位置毎にカウントする処理を行い，このカウントされた頻度値を外縁ブロックの位置毎にカウンター記憶部３０３に書き出す。ここで外縁ブロックの位置とは，右端，左端，上端，下端のいずれかである。
・非前方インターブロック割合判定部３０５：閾値記憶部３０７から読み出した閾値，および外縁ブロック位置指定記憶部３０４にて指定された位置の外縁ブロック（指定位置の外縁ブロック）に対する非前方インターブロックに分類されたブロックの頻度値をカウンター記憶部３０３から読み出して入力とし，指定位置の外縁ブロックに対して，非前方インターブロックの占める割合を算出し，同割合と閾値の大小比較を行う。同割合が閾値以上であれば，外縁ブロックに対する前方弱時間相関フラグを１に設定し，そうでなければ，同フラグを０に設定し，同フラグの値を前方弱時間相関フラグ記憶部３０６に書き出す。
・非後方インターブロックカウント部３０８：ブロックタイプ記憶部３０１から読み出した外縁ブロックに対するブロックタイプを入力とし，非後方インターブロックに分類されたブロックの個数を外縁ブロックの位置毎にカウントする処理を行い，このカウントされた頻度値を外縁ブロックの位置毎にカウンター記憶部３０９に書き出す。ここで外縁ブロックの位置とは，右端，左端，上端，下端のいずれかである。
・非後方インターブロック割合判定部３１１：閾値記憶部３１３から読み出した閾値，および外縁ブロック位置指定記憶部３１０にて指定された位置の外縁ブロック（指定位置の外縁ブロック）に対する非後方インターブロックに分類されたブロックの頻度値を，カウンター記憶部３０９から読み出して入力とし，指定位置の外縁ブロックに対して，非後方インターブロックの占める割合を算出し，同割合と閾値の大小比較を行う。同割合が閾値以上であれば，外縁ブロックに対する後方弱時間相関フラグを１に設定し，そうでなければ，同フラグを０に設定し，同フラグの値を後方弱時間相関フラグ記憶部３１２に書き出す。
・前方インターブロック割合判定部３１５：閾値記憶部３１７から読み出した閾値，および外縁ブロック位置指定記憶部３１４にて指定された位置の外縁ブロック（指定位置の外縁ブロック）に対する前方インターブロックあるいは，後方インターブロックに分類されたブロックの頻度値を，カウンター記憶部３０３および３０９から読み出して入力とし，指定位置の外縁ブロックに対して，前方インターブロックの占める割合，および後方インターブロックの占める割合を算出し，各々の割合と閾値の大小比較を行う。前方インターブロックの占める割合が閾値以上，または，後方インターブロックの占める割合が閾値以上であれば，外縁ブロックに対する動領域フラグを１に設定し，そうでなければ，同フラグを０に設定し，同フラグの値を動領域フラグ記憶部３１６に書き出す。
右端外縁ブロックフラグ設定部１０４，左端外縁ブロックフラグ設定部１０７，上端外縁ブロックフラグ設定部１１０，下端外縁ブロックフラグ設定部１１３の詳細構成について，図１６を用いて説明する。
・外縁ブロック位置指定部３００：カメラパラメータの検出対象とする外縁ブロックの指定位置を入力として，同指定位置を外縁ブロック位置指定記憶部３０４，３１０に書き出す。さらに，入力された指定位置に対してインターブロック判定の対象位置を３１３に書き出す。ここで外縁ブロックの位置とは，右端，左端，上端，下端のいずれかである。
・ブロックタイプ記憶部３０１：外縁ブロックのブロックタイプを格納する。
・非前方インターブロックカウント部３０２：ブロックタイプ記憶部３０１から読み出した外縁ブロックに対するブロックタイプを入力とし，非前方インターブロックに分類されたブロックの個数を外縁ブロックの位置毎にカウントする処理を行い，このカウントされた頻度値を外縁ブロックの位置毎にカウンター記憶部３０３に書き出す。ここで外縁ブロックの位置とは，右端，左端，上端，下端のいずれかである。
・非前方インターブロック割合判定部３０５：閾値記憶部３０７から読み出した閾値，および外縁ブロック位置指定記憶部３０４にて指定された位置の外縁ブロック（指定位置の外縁ブロック）に対する非前方インターブロックに分類されたブロックの頻度値をカウンター記憶部３０３から読み出して入力とし，指定位置の外縁ブロックに対して，非前方インターブロックの占める割合を算出し，同割合と閾値の大小比較を行う。同割合が閾値以上であれば，外縁ブロックに対する前方弱時間相関フラグを１に設定し，そうでなければ，同フラグを０に設定し，同フラグの値を前方弱時間相関フラグ記憶部３０６に書き出す。
・非後方インターブロックカウント部３０８：ブロックタイプ記憶部３０１から読み出した外縁ブロックに対するブロックタイプを入力とし，非後方インターブロックに分類されたブロックの個数を外縁ブロックの位置毎にカウントする処理を行い，このカウントされた頻度値を外縁ブロックの位置毎にカウンター記憶部３０９に書き出す。ここで外縁ブロックの位置とは，右端，左端，上端，下端のいずれかである。
・非後方インターブロック割合判定部３１１：閾値記憶部３１３から読み出した閾値，および外縁ブロック位置指定記憶部３１０にて指定された位置の外縁ブロック（指定位置の外縁ブロック）に対する非後方インターブロックに分類されたブロックの頻度値を，カウンター記憶部３０９から読み出して入力とし，指定位置の外縁ブロックに対して，非後方インターブロックの占める割合を算出し，同割合と閾値の大小比較を行う。同割合が閾値以上であれば，外縁ブロックに対する後方弱時間相関フラグを１に設定し，そうでなければ，同フラグを０に設定し，同フラグの値を後方弱時間相関フラグ記憶部３１２に書き出す。
・前方インターブロック割合判定部３１５：閾値記憶部３１７から読み出した閾値，および外縁ブロック位置指定記憶部３１４にて指定された位置の外縁ブロック（指定位置の外縁ブロック）に対する前方インターブロックあるいは，後方インターブロックに分類されたブロックの頻度値を，カウンター記憶部３０３および３０９から読み出して入力とし，指定位置の外縁ブロックに対して，前方インターブロックの占める割合，および後方インターブロックの占める割合を算出し，各々の割合と閾値の大小比較を行う。前方インターブロックの占める割合が閾値以上，または，後方インターブロックの占める割合が閾値以上であれば，外縁ブロックに対する動領域フラグを１に設定し，そうでなければ，同フラグを０に設定し，同フラグの値を動領域フラグ記憶部３１６に書き出す。
以上の右端外縁ブロックフラグ設定部１０４，左端外縁ブロックフラグ設定部１０７，上端外縁ブロックフラグ設定部１１０，下端外縁ブロックフラグ設定部１１３の装置構成としては，図２９に示す演算量をさらに削減した構成も可能である。図２９に示す装置構成は，図１６に示す装置構成から一部を省略した構成になっており，各処理部については，図１６と同様である。
＜右方向パン判定部１２１の構成図＞
右方向パン判定部１２１の構成図を，図１７に示す。以下，図１７を用いて右方向パン判定部１２１の詳細構成について説明する。
・右側外縁ブロック前方弱時間相関フラグ記憶部４０１：図１４の右端外縁ブロックフラグ記憶部１０５から読み出した右端の外縁ブロックに対する前方弱時間相関フラグを格納する。
・右側外縁ブロック前方弱時間相関フラグ非零値判定部４０２：右側外縁ブロック前方弱時間相関フラグ記憶部４０１から読み込んだ右端の外縁ブロックに対する前方弱時間相関フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１の場合，右側外縁ブロック後方弱時間相関フラグ記憶部４０３の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・右側外縁ブロック後方弱時間相関フラグ記憶部４０３：図１４の右端外縁ブロックフラグ記憶部１０５から読み出した右端の外縁ブロックに対する後方弱時間相関フラグを格納する。
・右側外縁ブロック後方弱時間相関フラグ零値判定部４０４：右側外縁ブロック後方弱時間相関フラグ記憶部４０３から読み込んだ右端の外縁ブロックに対する後方弱時間相関フラグを入力として，同フラグが零値か否かの判定処理を行い，同フラグが零値の場合，左側外縁ブロック前方弱時間相関フラグ記憶部４０５の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・左側外縁ブロック前方弱時間相関フラグ記憶部４０５：図１４の左側外縁ブロックフラグ記憶部１０８から読み出した左端の外縁ブロックに対する前方弱時間相関フラグを格納する。
・左側外縁ブロック前方弱時間相関フラグ零値判定部４０６：左側外縁ブロック前方弱時間相関フラグ記憶部４０５から読み込んだ左端の外縁ブロックに対する前方弱時間相関フラグを入力として，同フラグが零値か否かの判定処理を行い，同フラグが零値の場合，左側外縁ブロック後方弱時間相関フラグ記憶部４０７の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・左側外縁ブロック後方弱時間相関フラグ記憶部４０７：図１４の左端外縁ブロックフラグ記憶部１０８から読み出した左端の外縁ブロックに対する後方弱時間相関フラグを格納する。
・左側外縁ブロック後方弱時間相関フラグ非零値判定部４０８：左側外縁ブロック後方弱時間相関フラグ記憶部４０７から読み込んだ左端の外縁ブロックに対する後方弱時間相関フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１の場合，上側外縁ブロック動領域フラグ記憶部４０９の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・上側外縁ブロック動領域フラグ記憶部４０９：図１４の上端外縁ブロックフラグ記憶部１１１から読み出した上端の外縁ブロックに対する動領域フラグを格納する。
・上側外縁ブロック動領域フラグ非零値判定部４１０：上側外縁ブロック動領域フラグ記憶部４０９から読み込んだ上端の外縁ブロックに対する動領域フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１の場合，下側外縁ブロック動領域フラグ記憶部４１１の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・下側外縁ブロック動領域フラグ記憶部４１１：図１４の下端外縁ブロックフラグ記憶部１１４から読み出した下端の外縁ブロックに対する動領域フラグを格納する。
・下側外縁ブロック動領域フラグ非零値判定部４１２：下側外縁ブロック動領域フラグ記憶部４１１から読み込んだ下端の外縁ブロックに対する動領域フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１の場合，右方向パンフラグ設定部４１４の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・右方向パンフラグ設定部４１４：当該フレームに，右方向のパンが含まれると判定し，その結果を右方向パンフラグ記憶部４１５に設定する。
・右方向パンフラグ設定部４１３：当該フレームに，右方向のパンが含まれないと判定し，その結果を右方向パンフラグ記憶部４１５に設定する。
右方向パン判定部１２１の構成図を，図１７に示す。以下，図１７を用いて右方向パン判定部１２１の詳細構成について説明する。
・右側外縁ブロック前方弱時間相関フラグ記憶部４０１：図１４の右端外縁ブロックフラグ記憶部１０５から読み出した右端の外縁ブロックに対する前方弱時間相関フラグを格納する。
・右側外縁ブロック前方弱時間相関フラグ非零値判定部４０２：右側外縁ブロック前方弱時間相関フラグ記憶部４０１から読み込んだ右端の外縁ブロックに対する前方弱時間相関フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１の場合，右側外縁ブロック後方弱時間相関フラグ記憶部４０３の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・右側外縁ブロック後方弱時間相関フラグ記憶部４０３：図１４の右端外縁ブロックフラグ記憶部１０５から読み出した右端の外縁ブロックに対する後方弱時間相関フラグを格納する。
・右側外縁ブロック後方弱時間相関フラグ零値判定部４０４：右側外縁ブロック後方弱時間相関フラグ記憶部４０３から読み込んだ右端の外縁ブロックに対する後方弱時間相関フラグを入力として，同フラグが零値か否かの判定処理を行い，同フラグが零値の場合，左側外縁ブロック前方弱時間相関フラグ記憶部４０５の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・左側外縁ブロック前方弱時間相関フラグ記憶部４０５：図１４の左側外縁ブロックフラグ記憶部１０８から読み出した左端の外縁ブロックに対する前方弱時間相関フラグを格納する。
・左側外縁ブロック前方弱時間相関フラグ零値判定部４０６：左側外縁ブロック前方弱時間相関フラグ記憶部４０５から読み込んだ左端の外縁ブロックに対する前方弱時間相関フラグを入力として，同フラグが零値か否かの判定処理を行い，同フラグが零値の場合，左側外縁ブロック後方弱時間相関フラグ記憶部４０７の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・左側外縁ブロック後方弱時間相関フラグ記憶部４０７：図１４の左端外縁ブロックフラグ記憶部１０８から読み出した左端の外縁ブロックに対する後方弱時間相関フラグを格納する。
・左側外縁ブロック後方弱時間相関フラグ非零値判定部４０８：左側外縁ブロック後方弱時間相関フラグ記憶部４０７から読み込んだ左端の外縁ブロックに対する後方弱時間相関フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１の場合，上側外縁ブロック動領域フラグ記憶部４０９の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・上側外縁ブロック動領域フラグ記憶部４０９：図１４の上端外縁ブロックフラグ記憶部１１１から読み出した上端の外縁ブロックに対する動領域フラグを格納する。
・上側外縁ブロック動領域フラグ非零値判定部４１０：上側外縁ブロック動領域フラグ記憶部４０９から読み込んだ上端の外縁ブロックに対する動領域フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１の場合，下側外縁ブロック動領域フラグ記憶部４１１の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・下側外縁ブロック動領域フラグ記憶部４１１：図１４の下端外縁ブロックフラグ記憶部１１４から読み出した下端の外縁ブロックに対する動領域フラグを格納する。
・下側外縁ブロック動領域フラグ非零値判定部４１２：下側外縁ブロック動領域フラグ記憶部４１１から読み込んだ下端の外縁ブロックに対する動領域フラグを入力として，同フラグが１か否かの判定処理を行い，同フラグが１の場合，右方向パンフラグ設定部４１４の処理に移り，そうでなければ，右方向パンフラグ設定部４１３の処理に移る。
・右方向パンフラグ設定部４１４：当該フレームに，右方向のパンが含まれると判定し，その結果を右方向パンフラグ記憶部４１５に設定する。
・右方向パンフラグ設定部４１３：当該フレームに，右方向のパンが含まれないと判定し，その結果を右方向パンフラグ記憶部４１５に設定する。
＜左方向パン判定部１２２の構成図＞
左方向パン判定部１２２の構成図を，図１８に示す。図１８の左方向パン判定部１２２による処理内容は，図１７の右方向パン判定部１２１による処理内容とほぼ同様である。
左方向パン判定部１２２の構成図を，図１８に示す。図１８の左方向パン判定部１２２による処理内容は，図１７の右方向パン判定部１２１による処理内容とほぼ同様である。
＜上方向チルト判定部１２３の構成図＞
上方向チルト判定部１２３の構成図を，図１９に示す。図１９の上方向チルト判定部１２３による処理内容は，図１７の右方向パン判定部１２１による処理内容とほぼ同様である。
上方向チルト判定部１２３の構成図を，図１９に示す。図１９の上方向チルト判定部１２３による処理内容は，図１７の右方向パン判定部１２１による処理内容とほぼ同様である。
＜下方向チルト判定部１２４の構成図＞
下方向チルト判定部１２４の構成図を，図２０に示す。図２０の下方向チルト判定部１２４による処理内容は，図１７の右方向パン判定部１２１による処理内容とほぼ同様である。
下方向チルト判定部１２４の構成図を，図２０に示す。図２０の下方向チルト判定部１２４による処理内容は，図１７の右方向パン判定部１２１による処理内容とほぼ同様である。
右方向パン判定部１２１の装置構成としては，図３０に示す演算量をさらに削減した構成も可能である。図３０に示す装置構成は，図１７に示す装置構成から一部を省略した構成になっており，各処理部については，図１７と同様である。
また，図３１，図３２，図３３に示す装置構成ついては，図３０に示すものとほぼ同様であるので，説明の繰り返しを省略する。
以上説明したカメラワークの検出の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
１０１ 外縁ブロック判定部
１０２ ブロックタイプ記憶部
１０３ 右端外縁ブロック選択部
１０４ 右端外縁ブロックフラグ設定部
１０５ 右端外縁ブロックフラグ記憶部
１０６ 左端外縁ブロック選択部
１０７ 左端外縁ブロックフラグ設定部
１０８ 左端外縁ブロックフラグ記憶部
１０９ 上端外縁ブロック選択部
１１０ 上端外縁ブロックフラグ設定部
１１１ 上端外縁ブロックフラグ記憶部
１１２ 下端外縁ブロック選択部
１１３ 下端外縁ブロックフラグ設定部
１１４ 下端外縁ブロックフラグ記憶部
１２０ カメラワーク判定部
１２１ 右方向パン判定部
１２２ 左方向パン判定部
１２３ 上方向チルト判定部
１２４ 下方向チルト判定部
１０２ ブロックタイプ記憶部
１０３ 右端外縁ブロック選択部
１０４ 右端外縁ブロックフラグ設定部
１０５ 右端外縁ブロックフラグ記憶部
１０６ 左端外縁ブロック選択部
１０７ 左端外縁ブロックフラグ設定部
１０８ 左端外縁ブロックフラグ記憶部
１０９ 上端外縁ブロック選択部
１１０ 上端外縁ブロックフラグ設定部
１１１ 上端外縁ブロックフラグ記憶部
１１２ 下端外縁ブロック選択部
１１３ 下端外縁ブロックフラグ設定部
１１４ 下端外縁ブロックフラグ記憶部
１２０ カメラワーク判定部
１２１ 右方向パン判定部
１２２ 左方向パン判定部
１２３ 上方向チルト判定部
１２４ 下方向チルト判定部
Claims (8)
- 動画像フレームにおいて発生したカメラワークを検出するカメラワーク検出方法において，
フレーム内を所定の大きさのブロックに分割し，フレーム内の右端，左端，上端もしくは下端のフレーム外縁にある領域に含まれるブロックごとに，直前のフレームとの動き補償によるフレーム間予測誤差と当該フレームにおけるイントラ予測に基づくフレーム内予測誤差を算出し，前記フレーム内予測誤差が前記フレーム間予測誤差より小さいブロックの数または割合が所定の閾値より大きいかどうかにより，時間方向の相関が空間方向の相関よりも小さいかどうかを判定する相関判定過程と，
前記フレーム内の右端の領域における前記時間方向の相関が前記空間方向の相関より小さくなる場合に，当該フレームは，右方向のパンを含むフレームであると判別し，
または，前記フレーム内の左端の領域における前記時間方向の相関が前記空間方向の相関より小さくなる場合に，当該フレームは，左方向のパンを含むフレームであると判別し，
または，前記フレーム内の上端の領域における前記時間方向の相関が前記空間方向の相関より小さくなる場合に，当該フレームは，上方向のチルトを含むフレームであると判別し，
または，前記フレーム内の下端の領域における前記時間方向の相関が前記空間方向の相関より小さくなる場合に，当該フレームは，下方向のチルトを含むフレームであると判別するカメラワーク判定過程とを有する
ことを特徴とするカメラワーク検出方法。 - 動画像フレームにおいて発生したカメラワークを検出するカメラワーク検出方法において，
フレーム内を所定の大きさのブロックに分割し，フレーム内の右端，左端，上端もしくは下端のフレーム外縁にある領域に含まれるブロックごとに，直前のフレームとの動き補償による第１のフレーム間予測誤差と，直後のフレームとの動き補償による第２のフレーム間予測誤差と，当該フレームにおけるイントラ予測に基づくフレーム内予測誤差を算出し，前記フレーム内予測誤差が前記第１のフレーム間予測誤差より小さいブロックの数または割合が所定の閾値より大きいかどうかにより，直前のフレームとの時間方向の相関が空間方向の相関よりも小さいかどうかを判定し，前記フレーム内予測誤差が前記第２のフレーム間予測誤差より小さいブロックの数または割合が所定の閾値より大きいかどうかにより，直後のフレームとの時間方向の相関が空間方向の相関よりも小さいかどうかを判定する相関判定過程と，
前記フレーム内の右端の領域における，前記直前のフレームとの時間方向の相関が前記空間方向の相関より小さく，かつ，前記直後のフレームとの時間方向の相関が前記空間方向の相関より大きくなる場合に，当該フレームは，右方向のパンを含むフレームであると判別し，
または，前記フレーム内の左端の領域における，前記直前のフレームとの時間方向の相関が前記空間方向の相関より小さく，かつ，前記直後のフレームとの時間方向の相関が前記空間方向の相関より大きくなる場合に，当該フレームは，左方向のパンを含むフレームであると判別し，
または，前記フレーム内の上端の領域における，前記直前のフレームとの時間方向の相関が前記空間方向の相関より小さく，かつ，前記直後のフレームとの時間方向の相関が前記空間方向の相関より大きくなる場合に，当該フレームは，上方向のチルトを含むフレームであると判別し，
または，前記フレーム内の下端の領域における，前記直前のフレームとの時間方向の相関が前記空間方向の相関より小さく，かつ，前記直後のフレームとの時間方向の相関が前記空間方向の相関より大きくなる場合に，当該フレームは，下方向のチルトを含むフレームであると判別するカメラワーク判定過程とを有する
ことを特徴とするカメラワーク検出方法。 - 請求項１または請求項２記載のカメラワーク検出方法において，
前記カメラワーク判定過程では，前記右方向のパンまたは前記左方向のパンを含むフレームであると判別する場合に，前記上端および下端の領域において，前記時間方向の相関が前記空間方向の相関よりも大きくなることをさらに条件とし，該条件を満たすときだけパンを含むフレームであると判別し，
前記上方向のチルトまたは前記下方向のチルトを含むフレームであると判別する場合に，前記左端および右端の領域において，前記時間方向の相関が前記空間方向の相関よりも大きくなることをさらに条件とし，該条件を満たすときだけチルトを含むフレームであると判別する
ことを特徴とするカメラワーク検出方法。 - 請求項１から請求項３までのいずれか１項に記載のカメラワーク検出方法において，
前記カメラワーク判定過程においてカメラワークが検出された場合に，前記フレーム内の外縁の領域をカメラワークの方向に沿って段階的に拡張しながら前記相関判定過程と前記カメラワーク判定過程とを繰り返し，前記カメラワーク判定過程による判定結果に従って，カメラワークの大きさを検出する
ことを特徴とするカメラワーク検出方法。 - 動画像フレームにおいて発生したカメラワークを検出するカメラワーク検出装置において，
フレーム内を所定の大きさのブロックに分割し，フレーム内の右端，左端，上端もしくは下端のフレーム外縁にある領域に含まれるブロックごとに，直前のフレームとの動き補償によるフレーム間予測誤差と当該フレームにおけるイントラ予測に基づくフレーム内予測誤差を算出し，前記フレーム内予測誤差が前記フレーム間予測誤差より小さいブロックの数または割合が所定の閾値より大きいかどうかにより，時間方向の相関が空間方向の相関よりも小さいかどうかを判定する相関判定手段と，
前記フレーム内の右端の領域における前記時間方向の相関が前記空間方向の相関より小さくなる場合に，当該フレームは，右方向のパンを含むフレームであると判別し，
または，前記フレーム内の左端の領域における前記時間方向の相関が前記空間方向の相関より小さくなる場合に，当該フレームは，左方向のパンを含むフレームであると判別し，
または，前記フレーム内の上端の領域における前記時間方向の相関が前記空間方向の相関より小さくなる場合に，当該フレームは，上方向のチルトを含むフレームであると判別し，
または，前記フレーム内の下端の領域における前記時間方向の相関が前記空間方向の相関より小さくなる場合に，当該フレームは，下方向のチルトを含むフレームであると判別するカメラワーク判定手段とを備える
ことを特徴とするカメラワーク検出装置。 - 動画像フレームにおいて発生したカメラワークを検出するカメラワーク検出装置において，
フレーム内を所定の大きさのブロックに分割し，フレーム内の右端，左端，上端もしくは下端のフレーム外縁にある領域に含まれるブロックごとに，直前のフレームとの動き補償による第１のフレーム間予測誤差と，直後のフレームとの動き補償による第２のフレーム間予測誤差と，当該フレームにおけるイントラ予測に基づくフレーム内予測誤差を算出し，前記フレーム内予測誤差が前記第１のフレーム間予測誤差より小さいブロックの数または割合が所定の閾値より大きいかどうかにより，直前のフレームとの時間方向の相関が空間方向の相関よりも小さいかどうかを判定し，前記フレーム内予測誤差が前記第２のフレーム間予測誤差より小さいブロックの数または割合が所定の閾値より大きいかどうかにより，直後のフレームとの時間方向の相関が空間方向の相関よりも小さいかどうかを判定する相関判定手段と，
前記フレーム内の右端の領域における，前記直前のフレームとの時間方向の相関が前記空間方向の相関より小さく，かつ，前記直後のフレームとの時間方向の相関が前記空間方向の相関より大きくなる場合に，当該フレームは，右方向のパンを含むフレームであると判別し，
または，前記フレーム内の左端の領域における，前記直前のフレームとの時間方向の相関が前記空間方向の相関より小さく，かつ，前記直後のフレームとの時間方向の相関が前記空間方向の相関より大きくなる場合に，当該フレームは，左方向のパンを含むフレームであると判別し，
または，前記フレーム内の上端の領域における，前記直前のフレームとの時間方向の相関が前記空間方向の相関より小さく，かつ，前記直後のフレームとの時間方向の相関が前記空間方向の相関より大きくなる場合に，当該フレームは，上方向のチルトを含むフレームであると判別し，
または，前記フレーム内の下端の領域における，前記直前のフレームとの時間方向の相関が前記空間方向の相関より小さく，かつ，前記直後のフレームとの時間方向の相関が前記空間方向の相関より大きくなる場合に，当該フレームは，下方向のチルトを含むフレームであると判別するカメラワーク判定手段とを備える
ことを特徴とするカメラワーク検出装置。 - 請求項１から請求項４までのいずれか１項に記載のカメラワーク検出方法を，コンピュータに実行させるためのカメラワーク検出プログラム。
- 請求項１から請求項４までのいずれか１項に記載のカメラワーク検出方法を，コンピュータに実行させるためのカメラワーク検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007059331A JP4768649B2 (ja) | 2007-03-09 | 2007-03-09 | カメラワーク検出方法，装置，プログラムおよびその記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007059331A JP4768649B2 (ja) | 2007-03-09 | 2007-03-09 | カメラワーク検出方法，装置，プログラムおよびその記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008225591A JP2008225591A (ja) | 2008-09-25 |
| JP4768649B2 true JP4768649B2 (ja) | 2011-09-07 |
Family
ID=39844180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007059331A Expired - Fee Related JP4768649B2 (ja) | 2007-03-09 | 2007-03-09 | カメラワーク検出方法，装置，プログラムおよびその記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4768649B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657997B (zh) * | 2015-02-28 | 2018-01-09 | 北京格灵深瞳信息技术有限公司 | 一种镜头移位检测方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0223789A (ja) * | 1988-07-13 | 1990-01-25 | Matsushita Electric Ind Co Ltd | パンニング検出方法及びその装置 |
| JPH0223788A (ja) * | 1988-07-13 | 1990-01-25 | Matsushita Electric Ind Co Ltd | パンニング検出方法及びその装置 |
| JPH02206986A (ja) * | 1989-02-07 | 1990-08-16 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法 |
| KR0151410B1 (ko) * | 1992-07-03 | 1998-10-15 | 강진구 | 영상신호의 운동벡터 검출방법 |
| JPH06133298A (ja) * | 1992-10-14 | 1994-05-13 | Canon Inc | 動きベクトル検出装置 |
| KR100204478B1 (ko) * | 1996-05-09 | 1999-06-15 | 배순훈 | 전역 움직임에 의한 빈 공간 보상 방법 및 그 장치 |
| JP4280353B2 (ja) * | 1999-03-19 | 2009-06-17 | キヤノン株式会社 | 符号化装置、画像処理装置、符号化方法、及び記録媒体 |
| JP2005175891A (ja) * | 2003-12-11 | 2005-06-30 | Canon Inc | 記録装置 |
| JP2007259197A (ja) * | 2006-03-24 | 2007-10-04 | Matsushita Electric Ind Co Ltd | 手ぶれ補正付き動画復号再生装置および方法 |
-
2007
- 2007-03-09 JP JP2007059331A patent/JP4768649B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008225591A (ja) | 2008-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8199252B2 (en) | Image-processing method and device | |
| US8244054B2 (en) | Method, apparatus and integrated circuit capable of reducing image ringing noise | |
| KR101761928B1 (ko) | 블록 기반 압축 이미지 내의 블러 측정 | |
| JP5478047B2 (ja) | 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム | |
| JP2012520025A (ja) | ビデオデータの動きベクトルを処理するためのシステムおよび方法 | |
| EP2321768B1 (en) | Blockiness and fidelity in watermarking | |
| JP2007067469A (ja) | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体 | |
| US8594199B2 (en) | Apparatus and method for motion vector filtering based on local image segmentation and lattice maps | |
| US20140254938A1 (en) | Methods and apparatus for an artifact detection scheme based on image content | |
| JP2010232734A (ja) | 画像符号化装置及び画像符号化方法 | |
| US8611423B2 (en) | Determination of optimal frame types in video encoding | |
| WO2007129591A1 (ja) | 遮蔽物映像識別装置及び方法 | |
| JP4768649B2 (ja) | カメラワーク検出方法，装置，プログラムおよびその記録媒体 | |
| CN109769120B (zh) | 基于视频内容跳过编码模式判决方法、装置、设备及介质 | |
| CN105992012B (zh) | 一种错误隐藏的方法和装置 | |
| US9563960B2 (en) | Method for detecting foreground | |
| US8396125B2 (en) | Picture coding apparatus and picture coding method | |
| JP2005237002A (ja) | 動画像のカット点検出方法 | |
| JP4430690B2 (ja) | 動き探索装置、動き探索方法、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| TWI470578B (zh) | 計算用於待插補影像區塊之目標移動向量的影像處理方法及其相關裝置 | |
| JP4398390B2 (ja) | フェード検出装置 | |
| JP4261603B2 (ja) | 動画像のカット点検出装置 | |
| JP2005122571A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| JP2005203939A (ja) | 動画像復号化装置ならびに動画像の欠損画素補間方法および動画像の参照位置捜索方法 | |
| Bartels et al. | Occlusion classifiers for picture rate conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090115 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110616 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |