JP5855445B2 - デジタルイメージ安定化のための、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラ - Google Patents

Description

本発明の概念による実施例は、デジタルイメージ安定化（ｄｉｇｉｔａｌ ｉｍａｇｅ−ｓｔａｂｉｌｉｚａｔｉｏｎ、ＤＩＳ）に係り、特に、カメラ場面（ｓｃｅｎｅ）内の客体（ｏｂｊｅｃｔｓ）の移動を識別（ｉｄｅｎｔｉｆｙ）し、前記カメラの意図された動き（モーション、ｍｏｔｉｏｎ）と意図されていない動きとの間を区分（ｄｉｓｔｉｎｇｕｉｓｈ）する、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラに関する。

デジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａｓ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａｓ）、及びこのようなカメラ撮像ツール（ｃａｍｅｒａ ｃａｐｔｕｒｅ）を含むハンドヘルドデバイス（ｈａｎｄ−ｈｅｌｄ ｄｅｖｉｃｅｓ）は、そのカメラを操作者が手で操作して、イメージ又はビデオを撮影（ｃａｐｔｕｒｅ）するために度々使われる。従って、カメラは、イメージ又はビデオを撮影する際に、手ぶれや、ジッタを発生しうる。ジッタは、水平成分、垂直成分、及び回転成分を含みうる。ジッタがあると、手撮りビデオ（ｈａｎｄ−ｃａｐｔｕｒｅｄ ｖｉｄｅｏ）を見る人の見る気を逸らせ（ｄｉｓｔｒａｃｔｉｎｇ）又は見る気を失わせる（ｄｉｓｏｒｉｅｎｔｉｎｇ）。従って、デジタル的にカメラ軌跡（ｔｒａｊｅｃｔｏｒｙ）、すなわち、連続したフレームの各対の間から検出されたジッタ、を推定し、同一場面に対するビデオフレームのシーケンスからこのジッタをフィルタリングするためにデジタル回路を使うことが必要になる。

静止しているか、移動しているかを問わず安定した（ｓｔｅａｄｙ）ビデオカメラによって製作されたビデオは、撮影されたビデオに主に滑らかなモーション（並進（ｔｒａｎｓｌａｔｉｏｎ）又は回転（ｒｏｔａｔｉｏｎａｌ））を含む。一方、不安定な（ｕｎｓｔｅａｄｙ）ビデオカメラは、ビデオイメージの全体に亘って高周波数の（並進性（ｔｒａｎｓｌａｔｉｏｎａｌ）及び／又は回転性の（ｒｏｔａｔｉｏｎａｌ））ジッタを含むビデオを生産する。

デジタルイメージ安定化（ＤＩＳ）システムは、まず所望しない（意図されていない）モーション（ｍｏｔｉｏｎ）を推定した後、それの訂正をイメージシーケンスに適用する。
このように安定化したビデオの実際の視覚的効果は、カメラ軌跡推定の品質に大きく依存する。
従来のデジタルイメージ安定化（ＤＩＳ）方法は、２つの連続したフレームの間のジッタ性モーション（ｊｉｔｔｅｒｙ ｍｏｔｉｏｎ）の推定の根拠として、識別された特徴点（ｆｅａｔｕｒｅ ｐｏｉｎｔｓ）を使う。
従って、従来のＤＩＳ技術では、ジッタ性カメラ移動は、経時的に近接した複数のフレームの間の識別可能な“特徴点”のモーションベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を計算することで感知される。
特徴点に対して計算されたモーションベクトルは、場面内の実在する客体に複数のモーションベクトルを関連付けるために、“グループ化”される。
このようなグループ化（ｇｒｏｕｐｉｎｇ）は、場面内で移動する小型の客体をカメラ又は場面のグローバルモーション（ｇｌｏｂａｌ ｍｏｔｉｏｎ）から区分する。
カメラ又は場面のグローバルモーションは、意図されたグローバルモーション、例えば、パンニング（ｐａｎｎｉｎｇ）グローバルモーションと意図されていないグローバルモーション、例えば、ジッタリ（ｊｉｔｔｅｒｙ）グローバルモーションとに、分析の上、区分される。

ジッタを、保存又は表示されたビデオにおいて正確に補償し、正確に除去するためには、カメラの軌跡を感知して測定することと、前記ジッタを正確に特徴づけることとが要求される。しかし、ノイズの多い、又は平坦で変化のない（ｆｌａｔ）場面のビデオのような特別な場合には、特徴点追跡（ｔｒａｃｋｉｎｇ）は信頼できない。特徴点モーションベクトル（ｆｅａｔｕｒｅ−ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）を得るためには、最もマッチングする点を、絶対差の和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）の計算に基づいて探さなければならない。しかし、最小のＳＡＤは、ノイズが多く且つ薄暗い（ｌｏｗ−ｌｉｇｈｔ）場面、又は青い空のようなフラットな場面の場合、ＳＡＤが最小であるからといって、その点が正確なマッチング点であることを必ずしも保証しない。

数学的には、アフィン幾何学（ａｆｆｉｎｅ ｇｅｏｍｅｔｒｙ）は、アフィン変換、すなわち、非特異線形変換及び並進（ｎｏｎ−ｓｉｎｇｕｌａｒ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ａｎｄ ｔｒａｎｓｌａｔｉｏｎ）によって変わらず保持される幾何学的性質の研究である。
アフィン行列（Ａｆｆｉｎｅ ｍａｔｒｉｘ）と呼ばれる、一群の数値係数（ｎｕｍｅｒｉｃａｌ ｃｏｅｆｆｉｃｉｅｎｔ）によって定義される方程式の数学的システムは、連続したフレームの各ペア（ｐａｉｒ）の間で、又はこれらの一部（例えば、フレーム内で移動する客体）の間で感知された平行移動（ｌａｔｅｒａｌ、例えば、上、下移動）、回転、及び伸縮（ｓｃａｌａｒ、例えば、ズームイン、ズームアウト）を特徴づけるために開発された。
従って、アフィン変換Ｔ_ｉ（ｎ）は、各特徴点がビデオフレームイメージ（ｖｉｄｅｏ ｆｒａｍｅ ｉｍａｇｅ）内の区別可能な点であるとして、イメージ内に見える選択された特徴点からなる識別されたグループのモーションをコンパクトに記述できる。
グループのこのような数学的な記述説明は、線形変位、回転角、伸縮（ｓｃａｌｅ）などを含みうる。
各グループの線形変位モーションＭ_ｉ（ｎ）は、多重フレーム（ｎ−１、ｎ、ｎ＋１番目などのフレーム）に対するアフィン変換Ｔ_ｉ（ｎ）内の情報の部分集合である。

従って、カメラのジッタは、場面内に静止して実在する客体（ａｃｔｕａｌｌｙ−ｓｔａｔｉｏｎａｒｙ ｏｂｊｅｃｔｓ）、例えば、岩、テーブル、駐車中の車、山、太陽、に関連した主要変換（ｐｒｉｎｃｉｐａｌ ｔｒａｎｓｆｏｒｍ）（Ｐ（ｎ））、又はグローバル変換（ｇｌｏｂａｌ ｔｒａｎｓｆｏｒｍ）と呼ばれる第１アフィン変換行列により特徴づけられ、一方、フレーム内の移動客体、例えば、鳥、人、球、動く車、通り過ぎる汽車は、追加的なアフィン行列によって特徴づけられる。小モーションＭ_ｉ（ｎ）の変換は、大体、主要変換Ｐ（ｎ）である。しかし、極小モーションＭ_ｉ（ｎ）の変換が必然的に常に前記主要変換Ｐ（ｎ）であるというわけではない。

カメラモーション、例えば、ユーザのハンドジッタによって発生するカメラモーションを指し示す（ｉｎｄｉｃａｔｅ）主要変換（主要インターフレーム（ｉｎｔｅｒ−ｆｒａｍｅ）変換、Ｐ（ｎ））は、１つ以上の関心点（“特徴点”）を感知することによって、計算されて選択される。連続したフレームの間の特徴点のモーションベクトルは、ビデオ圧縮の分野で採択される多様な検索方法を用いて計算されうる。特定の客体と関連づけられてグループ化された複数の特徴点モーションベクトルは、その客体のアフィン変換の計算に使われ、該アフィン変換はアフィン方程式によって、客体の感知されたモーションを定義する。

イメージを安定化するためには、まず、不安定なカメラによって引き起こされた主要モーションが場面内の移動する客体から弁別される。もし、ジッタ（カメラ軌跡（ｃａｍｅｒａ ｔｒａｊｅｃｔｏｒｙ））がなければ、静止して実在する客体、例えば、岩のエッジ、山の峰の各感知された特徴点は、２以上の連続したフレームの各々内の同じ場所で発見されると予想される（また、その場合、感知された特徴点のモーションベクトルは全て、ヌル（ｎｕｌｌ）として測定される）。もし、ジッタ（カメラ軌跡）があれば、静止して実在する客体、例えば、岩のエッジ、山の峰の各感知された特徴点は、２以上の連続したフレームの各々内の相異なる場所で発見されると予想され、その場合、感知された特徴点のモーションベクトルは全て有限な値として測定される。
しかし、場面によっては、ジッタモーションに比べて同じであるか、小さいか、又は大きい、測定可能なモーションベクトルを有する大きな移動客体、例えば、通り過ぎる汽車又は通り過ぎるトラックがフレーム内に登場し、フレームの漸増する領域をカバーし、遂には全場面をカバーする場合がある。全ビデオ場面をカバーするような大きい移動客体は、従来のＤＩＳ方法にとり特に難問として残っている。こういう場合が生起すると、従来のＤＩＳ回路は、大きな移動客体の変換を主要変換Ｐ（ｎ）として誤まって識別し、混乱しかねない。

本発明が解決しようとする技術的な課題は、実際に移動する客体から静的な背景を識別するために、タイルモーションベクトルグループ変換（ｔｉｌｅ ｍｏｔｉｏｎｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）と特徴点モーションベクトルグループ変換（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｇｒｏｕｐ ｔｒａｎｓｆｏｒｍｓ）とのうちから主要変換を選択することに基づいて、フレーム（ｆｒａｍｅ）の静的な背景を識別するデジタルイメージ安定化（ＤＩＳ）方法を提供することにある。

本発明の概念の一面は、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループと特徴点モーションベクトル（ＦＰ ＭＶ）グループとの複数の変換の各々のスコアリング（ｓｃｏｒｉｎｇ）に基づいて、ビデオフレームの場面内の静止又は背景（両者を一般に区別せず合わせて、以下、「静止／背景」とする）客体を表わす主要変換Ｐ（ｎ）を選択する段階と、前記静止／背景グループのヒストリー（ｈｉｓｔｏｒｙ）と前記複数のモーションベクトルグループの各々のヒストリーとに基づいて、大きい移動客体を除く段階と、を含むデジタルイメージ安定化方法を提供する。

本発明が果たそうとする他の技術的な課題は、特徴点モーションベクトル（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ、ＦＰ ＭＶ）グループの複数の変換の各々のスコアリングに基づいて、ビデオフレーム（ｖｉｄｅｏ ｆｒａｍｅ）の場面内の静止／背景客体を表わす主要変換Ｐ（ｎ）を選択する方法を提供することにある。

本発明が果たそうとするまた他の技術的な課題は、タイルモーションベクトル（Ｔｉｌｅ ＭＶ）グループと特徴点モーションベクトル（ＦＰ ＭＶ）グループとの複数の変換の各々のスコアリングに基づいて、ビデオフレームの場面内の静止／背景客体を表わす主要変換Ｐ（ｎ）を選択する方法を提供することにある。

本発明の概念の他面は、静的な（背景）グループのヒストリーと複数のモーションベクトルグループの各々のヒストリーとに基づいて、ビデオフレーム全体をカバーするほど大きい移動客体を除く段階を含むデジタルイメージ安定化方法を提供する。

本発明の概念の一面は、本明細書に開示されたＤＩＳ方法を行うのに適したデジタルイメージ安定化回路を提供する。連続したビデオフレームの間のカメラ軌跡を推定し、ビデオフレームのシーケンスからカメラの軌跡によって引き起こされるジッタをフィルタリングさせる（ｆｉｌｔｅｒ ｏｕｔ）方法又は回路は、ビデオカメラ自体に含まれ、撮影されたビデオフレームの保存に先立って、例えば、もし、ビデオカメラがリアルタイムＭＰＥＧエンコーダを含めば、ＭＰＥＧエンコーディング前又は途中で、リアルタイムで前記ジッタを除くように作動できる。
別の方法として、連続したビデオフレームの間のカメラ軌跡を推定し、ビデオフレームの保存されたシーケンスからジッタをフィルタリングさせるＤＩＳ回路は、デジタルイメージ安定化（ＤＩＳ）方法を具現するソフトウェアによって制御される汎用マイクロコンピュータであり、ＡＳＩＣ内に具現されたＭＥＰＧビデオエンコーダのようにデジタルイメージ安定化（ＤＩＳ）方法を行うように活用される専用ハードウェアであり得る。

本発明の概念の一実施例の要点は、アフィン（インターフレーム）変換Ｔ_ｉ（ｎ）で表わされる、時系列上の第ｎ番目の時点における、第ｉ番目のモーションベクトルグループの変換を評価し、そのうちから（静的な）背景を表わすために最善の主要変換Ｐ（ｎ）を選択するために、一連のスコアリング関数（ｓｃｏｒｉｎｇ ｆｕｎｃｔｉｏｎｓ）を適用する方法である。
本方法は、主要変換Ｐ（ｎ）を選択する時、変換ヒストリー、変換モーション、変換特徴、及び（垂直の又は水平の）変換規模（ｔｒａｎｓｆｏｒｍ ｅｘｔｅｎｔ）の各特性に係る関数を含むが、これに限定されない関数を含む成分関数を同時に考慮する。
このような特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）の各々は、スコアリング成分に寄与する。このようなスコアリング成分の総体（ｅｎｓｅｍｂｌｅ）は、候補としての各変換Ｔ_ｉ（ｎ）に対する全体スコアＱ_ｉ（ｎ）を与える。
最上の全体スコアＱ_ｉ（ｎ）を有する（インターフレーム）変換Ｔ_ｉ（ｎ）が主要（インターフレーム）変換Ｐ（ｎ）として選択され、本発明によるＤＩＳ方法の後続の補償段階で使われる。
本発明の実施例によるスコアリング及び選択方法は、（インターフレーム）変換のマイナーな摂動に敏感ではない。
従って、本方法は、このようなマイナーな摂動に非常に敏感な従来の方法、例えば、マルチレベルアドホック二進決定ルーチン（ｍｕｌｔｉ−ｌｅｖｅｌ ａｄ−ｈｏｃ ｂｉｎａｒｙ ｄｅｃｉｓｉｏｎ ｒｏｕｔｉｎｅｓ）より優れる。

以下に添付図面を参照しながら、本発明の概念の実施形態について詳細に説明する。ただし、本発明はここで説明される実施形態から多様に変形されて実施できるものと理解すべきであり、ここで説明される実施形態に限定されるものと理解すべきでない。むしろ、これらの実施形態は、発明の開示が徹底的且つ完全であり、本発明の概念の範囲を当業者に十分に伝えるように用意されている。説明の全体を通して類似符番は類似要素を指す。

本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明が提供される。
本発明の実施例によるデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。 タイルベクトルグループのアフィン（ａｆｆｉｎｅ）変換を計算する図１のＤＩＳ回路内の感知ユニットのブロック図である。 タイルグループ変換と特徴グループ変換とからなる（インターフレーム）変換Ｔ_ｉ（ｎ）をスコアリングに基づいて、主要（静止／背景）変換Ｐ（ｎ）を選択する図１のＤＩＳ回路の軌跡ユニットのブロック図である。 （Ａ）は、図１のＤＩＳ回路のＤＩＳ方法内の段階を行うグループ変換スコアリング及び選択回路の一実施例のブロック図であり、（Ｂ）は、ヒストリースコア計算ユニットの一実施例のブロック図である。 コレクティブ変換スコアリング及び選択回路の一実施例のブロック図である。 移動客体除外回路の一実施例を示すブロック図である。 本発明の概念の実施例によるプロセス段階を示すフローチャートである。

本発明の一実施例によって、各撮影されたビデオフレームは、デジタルイメージ安定化に適するように優れた特徴点分布を提供する特徴点をアルゴリズミックに選択するために、少数の互いに重ならないタイル（典型的には、標準画質の場合４×４タイル、及び高精細画質の場合６×６タイル）に分けられる。イメージの異なる領域は、適当な特徴点の密度が異なりうる。極端な場合、例えば、雲一点ない青空の場合に、フレームの領域によっては、如何なる適当な特徴点を有さないこともある。他の部分で、潜在的な特徴点は、非常に稠密である。

得られた特徴点分布は、ビデオフレームの小さい領域、例えば、重ならないタイル、に基づき、各タイル内の特徴点の個数は、前記タイルのイメージ輝度データの分散σ^２に比例して線形的に増加する。より関心のあるイメージデータのタイルと、それによるより多い特徴点に対する要求は、より高い分散σ^２を有するように予測される。本願と同日に出願済の発明、“デジタルイメージ安定化装置及び方法”（ドケット（ｄｏｃｋｅｔ）番号８７２９−３５７）を見れば、同時に僅かな局所的状態情報を要するだけで、各タイルに含まれた特徴点の間の最小距離（ＭＩＮ＿ＤＩＳＴ）を設定することによって、ハードウェア具現コストを低減できる手順が描写されている。前記の同時出願発明の開示内容は、参照文献として本願に含まれる。

もし、場面が薄暗い状態で撮影されれば、それは、相対的により多いノイズを有し、特徴点のピクセルの個数は、タイル内のピクセルの個数より遥かに少ないので、ノイズ効果は、タイルより特徴点により大きく作用する。前記タイル内のピクセルの個数が大きいと、ノイズ消去（キャンセル）効果を提供し、このような場合には、ダウンサンプリングされた（ｄｏｗｎｓａｍｐｌｅｄ）タイルをベースとするモーションベクトルがより正確である。

たとえ場面が薄暗い状態で撮影されないとしても、もし場面が過度にフラット（ｆｌａｔ）になれば、タイルベースのモーションベクトルは、より正確である。もし、タイル場面（ｔｉｌｅ ｓｃｅｎｅ）が、曇り空又は青い空のように非常にフラットになれば、若干の特徴点が存在し、フラットタイル内のこのような特徴点は、次のフレーム内の多くの場所内に類似レベルのマッチング点を見出しうる。しかし、タイルベースマッチングは、小さな特徴点探索領域にのみ依存するものではなく、タイルの全てのパターンが、タイルマッチングプロセスに貢献できる。結果的に、タイルベースモーションベクトルは、場面がフラットになる時により信頼できる。

特徴点モーションベクトルグループの最も高いスコアでも、所定の（予め決められた）閾値より低い時、我々は、特徴点ベースモーションベクトル（ｆｅａｔｕｒｅ−ｐｏｉｎｔ ｂａｓｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）の代わりに、タイルベースモーションベクトルを使うように決定し、このような戦略は、高いノイズ又はフラットな場面で効果的に作動する。

本発明の概念の実施例によって、我々は、背景と大きな客体の動きとを表わす推定されたモーションベクトルを選択する一方、より小さな客体は、それらと関連した正確なモーションベクトルを有する必要がない。より小さな客体に対するある不正確なベクトルは、ＤＩＳアルゴリズムの以後の段階で除去されうる。

グローバル動き又はカメラ動きのために、意味のある（ｏｆ ｓｉｇｎｉｆｉｃａｎｃｅ）大きい静止客体の特徴点は、一貫した方法（ｃｏｈｅｒｅｎｔ ｗａｙ）で移動すると予測される。我々は、独立して動く十分に大きな客体は、少なくとも１つのタイルの過半（ｍａｊｏｒｉｔｙ）をカバーすることを認知し、従って、小さな客体のモーションはタイル自体のモーションベクトルに殆ど影響しないので、それらのモーションは、タイル自体の優勢（ｐｒｅｄｏｍｉｎａｔｅ）モーションとして推定されうる。

我々は、最低の解像度でブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を用いてタイル別に１つのモーションベクトルを得る。タイルベースモーションベクトルは、高いノイズ又はフラット場面ビデオのような特別な場合におけるカメラ軌跡決定に使われる。

与えられたタイルに対するモーションベクトルは、絶対差の和（ＳＡＤ）を最小にするベクトルである。そして、各タイル内の特徴点のモーションベクトルを計算するプロセスは、階層的モーション推定アルゴリズム（ｈｉｅｒａｒｃｈｉｃａｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を使うことによって、そして、タイルのモーションベクトルを開始ベクトルとして使い、ローカル動きよりもタイル動きを優先（ｐｒｅｆｅｒｒｉｎｇ）することによって、計算量を減らすように変更されうる。
少なくとも１つのタイルの過半をカバーする十分に大きな客体は、隣接したタイルに拡張できるので、各タイル内のいくつかの特徴点は、一般に、それらが発見されたタイルのモーションベクトルよりも隣接したタイルのモーションベクトルにより強く関連する。
従って、全ての隣接したタイルのモーションベクトルを、ある与えられたタイルの特徴点のモーションベクトルに対するブロックマッチング探索のマルチプル開始ベクトル（ｍｕｌｔｉｐｌｅ ｓｔａｒｔ ｖｅｃｔｏｒｓ）として使うことが効果的である。従って、選択された特徴点のモーションベクトルを得るために使われる開始ベクトルは、それが存在するならば、その特徴点が属するタイルのモーションベクトルと、そのタイルの四方向の直接的な隣りのタイル（上側タイル、左側タイル、右側タイル、下側タイル）に属するモーションベクトルである。
使われる開始ベクトルごとに、我々は、単に特徴点モーションベクトルに対するローカル探索（ｌｏｃａｌ ｓｅａｒｃｈ）のために、非常に小さな範囲を使う。この目的は、各々の、そして、全ての特徴点に対する正確なベクトルを決定するものではない（悪いモーションベクトルは、一連のＤＩＳプロセッシング内で後で選別除去される）。
むしろ、関心のある特徴点は、単に背景又は大きい客体に属するものである。そのような特徴点に対して、タイルモーションベクトルのうちの１つは、丁度良いか、関心のある特徴点のモーションベクトルに近似していなければならず、それにより、各選択されたタイルモーションベクトルに対する小さなローカル探索は十分である。
小さなローカルブロックマッチング探索（ｌｏｃａｌ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ｓｅａｒｃｈ）は、タイル内の全ての選択された特徴点に対する開始ベクトルの集合の各々を巡って高解像度ドメインにおいて実行される。この高解像度は、元のビデオ解像度、又は２又は４のｆ_ｓ３ファクタによって副標本化された（ｓｕｂｓａｍｐｌｅｄ）ものであり得る。

図１は、本発明の概念の実施例と関連したＤＩＳ方法を行うデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。前記ＤＩＳ回路は、受信されたジャーキー（ｊｅｒｋｙ、手振れなどでギクシャクした）ビデオを分析し、インターフレーム変換（以下、「インターフレーム」を削除して、単に「変換」ともいう）Ｔ_ｉ（ｎ）を出力する感知ユニット（ｄｅｔｅｃｔｉｏｎ ｕｎｉｔ、ＤＵ）２０００、前記インターフレーム変換Ｔ_ｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択し、選択された主要変換Ｐ（ｎ）を用いて補償変換Ｃ（ｎ）を出力する軌跡ユニット（ｔｒａｊｅｃｔｏｒｙ ｕｎｉｔ、ＴＵ）４０００、及び前記補償変換Ｃ（ｎ）を用いて、前記ジャーキービデオを修正して安定化されたビデオを出力する補償ユニット（ｃｏｍｐｅｎｓａｔｉｏｎ ｕｎｉｔ、ＣＵ）６０００を含む。

感知ユニット２０００は、ビデオデータの受信されたフレーム内の特徴点ＦＰのインターフレームモーションベクトル（特徴点モーションベクトル）と、重ならないタイルのインターフレームモーションベクトル（タイルモーションベクトル）と、を推定する。これに基づき、感知ユニット２０００は、ＦＰモーションベクトルグループ変換と、タイルベクトルグループ変換とからなるインターフレーム変換Ｔ_ｉ（ｎ）をさらに出力する。
以下、ＦＰモーションベクトルグループ変換を、特徴点グループ変換Ｔ_{（ＦＰ，ｉ）}（ｎ）と略し、タイルモーションベクトルグループ変換を、タイルグループ変換Ｔ_{（ｔｉｌｅ，ｉ）}（ｎ）と略し、両者を合わせたものを（インターフレーム）変換Ｔ_ｉ（ｎ）とする。

軌跡ユニット４０００は、インターフレーム変換Ｔ_ｉ（ｎ）のうち１つを主要変換Ｐ（ｎ）として選択し、大きな移動客体が場面をカバーしている場合は単位変換（Ｕｎｉｔｙ＿Ｔｒａｎｓｆｏｒｍ、即ち、無変換）を選択する。従って、小さな移動客体のインターフレーム変換と、全体フレームに進入しこれをカバーできる大きな移動客体のインターフレーム変換と、を除く。

図２は、図１のＤＩＳ回路のＤＩＳ方法の段階として、タイルベクトルグループのアフィン変換を計算する、図１のＤＩＳ回路内の感知ユニット２０００のブロック図である。感知ユニット２０００は、特徴点回路３０００、モーションベクトル（ＭＶ）グループ化回路１３００、及びモーションベクトル（ＭＶ）グループアフィン変換計算器２０１０を含む。

特徴点回路３０００は、ビデオデータの各フレームを受信し、各ビデオフレームを少数（（ｊ×ｋ）個）の互いに重ならないタイルに分割する。タイルの個数（ｊ×ｋ）は、ＳＤビデオ（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための４×４からＨＤビデオ（Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）のための６×６までの範囲を有し、（４〜８）×（４〜８）の範囲内の他の数字も可能であり、有利である。前記タイルサイズは、独立して動く十分に大きな客体が少なくとも１つのタイルの過半をカバーできるように選択され、小さな客体のモーションは無視してもよい一方、十分に大きな客体のモーションは、ＤＩＳ目的によって撮影されうる。特徴点回路３０００は、受信されたビデオフレーム内の特徴点（ＳＦＰｓ）を識別して選択し、特徴点のモーションベクトル（ＳＦＰ ＭＶｓ）と、タイルのモーションベクトル（Ｔｉｌｅ ＭＶｓ）とを出力する。

特徴点回路３０００は、特徴点選択器（ｆｅａｔｕｒｅ ｐｏｉｎｔ ｓｅｌｅｃｔｏｒ）とモーションベクトル計算器（ｍｏｔｉｏｎ−ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ）と共有されたＲＡＭメモリ３５０とを含む。前記特徴点選択器は、ハリスコーナー（Ｈａｒｒｉｓ−Ｃｏｒｎｅｒ）特徴点候補識別器、及び特徴点候補分類器をさらに含む。コンピュータパワーを節約し、要求される複数の動作の個数を減少させるために、特徴点回路３０００は、ルーマ（ｌｕｍａ、輝度）データにのみ動作し、１つ以上のダウンサンプラー及び階層的ブロックマッチング探索ユニットを含む。

特徴点回路３０００は、各タイルに対して１つのモーションベクトルを推定する。このタイルモーションベクトル（Ｔｉｌｅ ＭＶ）推定は、入力イメージの中央をカバーする重ならないタイル（例えば、特徴点分類アルゴリズム内に使われるのと同じタイル）に基づいて行われる。タイルの各々に対して、フルブロックマッチング探索は、深くダウンサンプリングされたイメージに対して行われる。フル探索ブロックマッチングは、全てのタイルに対して行われ、得られたタイルモーションベクトル（Ｔｉｌｅ ＭＶ）は、メモリ３５０のタイルＭＶリスト３５６に保存されて、以後の使用、例えば、特徴点モーションベクトル（メモリ３５０のＳＦＰ＿ＭＶリスト３５２に保存される）の推定のための、及び静止客体感知のための階層的ブロックマッチング探索ユニット内での開始ベクトルとしての使用に備える。

特徴点回路３０００は、望ましくは、ビデオフレームの小領域（タイル）に基づいた分布を有する、特徴点のモーションリスト（ＳＦＰ＿ＭＶ）３５２を提供する。タイル別の特徴点の最大個数は、タイルのイメージ輝度データ（ｌｕｍｉｎａｎｃｅ ｉｍａｇｅ ｄａｔａ）の分散σ^２によって線形的に増加する。ＤＩＳ方法にとって優れた特徴点とは、適当なモーション推定アルゴリズムが適用されると、曖昧ではないモーションベクトルを算出する特徴点である。
イメージ内の特徴点を識別するために、ハリスコーナー感知アルゴリズムが、ビデオフレームの各ピクセルに適用されて、そのピクセルが特徴点として如何ほど適するかを測定する。イメージの相異なる領域（タイル）は、識別された特徴点候補の相異なる密度を有しうる。

特徴点回路３０００は望ましくは、各タイルのモーションベクトルを計算するためのタイルベクトル計算器機能を行うモーションベクトル計算器、及び各選択された特徴点（ｓｅｌｅｃｔｅｄ ｆｅａｔｕｒｅ ｐｏｉｎｔ、ＳＦＰ）のモーションベクトルを決定し、出力するための階層的ブロックマッチング検索ユニットを含む。
タイルベクトル計算器は、現在フレーム（Ｆ_ｔ）の深くダウンサンプリングされたルーマデータを使って、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニットは、２つの連続したフレームの、最大解像度の又はダウンサンプリングされたルーマデータを用いて選択された特徴点の各々のモーションベクトルを決定し、得られたタイルモーションベクトルを後で開始ベクトルとして使用する。

全ての特徴点とタイルに関連したデータは、次のＤＩＳブロック、具体的には、モーションベクトルグループ化回路１３００に伝達される。

モーションベクトルグループ化回路１３００は、ＦＰモーションベクトルとタイルモーションベクトルとに対してグループ化アルゴリズムを施す。モーションベクトルグループ化回路１３００は、ペアリングアルゴリズムコントローラ１３０２と、これによって選択されたベクトルの各対を比較してグループ化決定を行うモーションベクトル比較器１３１０を含む。

特徴点グループ化回路１３００は、ＦＰモーションベクトルを、選択された特徴点（ＳＦＰｓ）のモーションベクトルを場面内の客体と関連付けるように、グループ化する。その際、このグループ化は、連続したビデオフレームの間の、該客体の認知された相対的動作に基づいて行なわれる。
特徴点グループ化回路１３００は、タイルモーションベクトルを場面内の客体と関連付けるようにグループ化する。その際、このグループ化は、連続したビデオフレームの間の、該客体の認知された相対的動作に基づいて行なわれる。

特徴点グループ化回路１３００は、ＲＡＭメモリ３５０を特徴点回路３０００と共有する。メモリ３５０のＳＰＦ ＭＶリスト（ＳＰＦ ＭＶ ｌｉｓｔ）３５２部分は、選択された特徴点（ＳＦＰｓ）の位置とモーションベクトルのリストとを含む。メモリ３５０のタイルＭＶリスト３５６は、重ならないタイルの位置とモーションベクトルのリストとを含む。

ペアリングアルゴリズムコントローラ１３０２は、どの特徴点（モーションベクトル）及びどのタイル（モーションベクトル）が他のどのものと以前にペアされたか、どれがペアリングされずに（ｕｎｐａｉｒ）で残ったか、及びどれが全体的にグループ化から除外されるか、についての履歴（トラック）を保持する。ペアリングアルゴリズムコントローラ１３０２は、反復的にモーションベクトルの対を、（ベクトルＡ＆ベクトルＢ）の形でＭＶ比較器１３１０への入力として提供する。

特徴点グループ化回路１３００内のペアリングアルゴリズムコントローラ１３０２は、ＳＰＦ ＭＶリスト３５２とタイルＭＶリスト３５６とにアクセスし、モーションベクトル比較器１３１０内の比較のために、ベクトルＡとベクトルＢとを選択する。一連のベクトルＡ−ベクトルＢの比較結果、１つ以上のベクトルのグループ、例えば、選択された特徴点のグループとタイルのグループ、が生成された場合、ペアリングアルゴリズムコントローラ１３０２は、グループ化されたモーションベクトル又はその羅列リスト（ｄｅｓｃｒｉｐｔｉｖｅ ｌｉｓｔ）をメモリ３５０のＦＰ ＭＶグループインベントリ３５４とタイルＭＶグループインベントリ３５８とに書込む。

モーションベクトル（ＭＶ）グループアフィン変換計算器２０１０は、特徴点モーションベクトルの各グループのインターフレーム変換を計算し、タイルモーションベクトルの各グループのインターフレーム変換を計算し、それらをいずれもインターフレーム変換Ｔ_ｉ（ｎ）として出力する。

図３は、図１のＤＩＳ回路のＤＩＳ方法の段階に関連して、タイルＭＶグループ変換と特徴点ＭＶグループ変換とからなるインターフレーム変換Ｔ_ｉ（ｎ）をスコアリングする方法に基づいて、主要（静止／背景）変換Ｐ（ｎ）を選択するための、図１のＤＩＳ回路の軌跡ユニット（ＴＵ）４０００のブロック図である。

軌跡ユニット４０００は、タイルグループ変換スコアリング及び選択回路４１００−１（ただし、図４Ａでは、４１００）、特徴点グループ変換スコアリング及び選択回路４１００−２（ただし、図４Ａでは、４１００）、コレクティブ変換スコアリング及び選択回路４２００、移動客体除外回路４４００、及び適応的補償フィルター８０００を含む。

軌跡ユニット４０００は、場面内の移動客体を無視することで、不安定なカメラによって引き起こされる主要モーションを識別し、選択した主要変換Ｐ（ｎ）をフィルタリングし、補償変換Ｃ（ｎ）を出力する。軌跡ユニット４０００は、受信されたインターフレーム変換Ｔ_ｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択する際に、複数の一連のスコアリング関数を使う。

図４（Ａ）は、図１のＤＩＳ回路の軌跡ユニット４０００のグループ変換スコアリング及び選択回路４１００のブロック図である。グループ変換スコアリング及び選択回路４１００は、変換スコア計算器４１５０、変換品質計算器４１６０、及び図１のＤＩＳ回路のＤＩＳ方法の段階を行うグループ変換及び品質選択器４１７０を含む。
グループ変換スコアリング及び選択回路４１００は、インターフレーム変換Ｔ_ｉ（ｎ）入力として、タイルグループインターフレーム変換（Ｔ_{（ｔｉｌｅ，ｉ）}（ｎ））を適用すると、タイル又は特徴点グループ主要変換ＧＰ（ｎ）として、タイルグループ主要変換（ＧＰ_ｔｉｌｅ（ｎ））を出力し（４１００−１）、インターフレーム変換Ｔ_ｉ（ｎ）入力として、ＦＰ（＝特徴点）インターフレーム変換（Ｔ_{（ＦＰ，ｉ）}（ｎ））を適用すると、タイル又は特徴点グループ主要変換ＧＰ（ｎ）として、特徴点グループ主要変換（ＧＰ_ＦＰ（ｎ））を出力する（４１００−２）。

図４（Ｂ）は、図４（Ａ）のグループ変換スコアリング及び選択回路４１００内のヒストリースコア計算ユニット４１１０−１の一実施例のブロック図である。

図４（Ａ）及び４（Ｂ）を参照すると、グループ変換スコアリング及び選択回路４１００は、ヒストリースコア計算ユニット４１１０（例えば、図４（Ｂ）に示した４１１０−１）、モーションスコア計算ユニット４１２０、特徴スコア計算ユニット４１３０、及び規模スコア計算ユニット４１４０に加えて、変換スコアＳ_ｉ（ｎ）を計算する変換スコア計算器４１５０、変換品質Ｑ_ｉ（ｎ）を計算する変換品質計算器４１６０、及びグループ変換及び品質選択器４１７０（例えば、４１７０−１）を含む。

図４（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換及び品質選択器４１７０は、変換スコア計算器４１５０から受信された（各インターフレーム変換Ｔ_ｉ（ｎ）の）全体変換スコアＳ_ｉ（ｎ）に基づいて小さい移動客体のインターフレーム変換を排除することにより、インターフレーム変換Ｔ_ｉ（ｎ）のうち１つをグループ主要変換ＧＰ（ｎ）として選択し、グループ主要変換ＧＰ（ｎ）とそれに関連した品質Ｑ（ｎ）を出力する。

Ｔ_ｉ（ｎ）を感知ユニット２０００から受信された全ての受信された変換候補のうちｉ番目の変換とする。ここで、ｎは、時系列上の第ｎ番目の時点におけるフレームを意味する。ＧＰ（ｎ）は、フレーム時間ｎでの選択されたグループ主要変換である。すなわち、選択されたｉに対して、ＧＰ（ｎ）＝Ｔ_ｉ（ｎ）である。

各Ｔ_ｉ（ｎ）に対して、変換スコアＳ_ｉ（ｎ）計算器４１５０は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）からヒストリースコアＨ_ｉ（ｎ）を受信し、モーションスコア計算ユニット４１２０からモーションスコアＭ_ｉ（ｎ）を受信し、特徴スコア計算ユニット４１３０から特徴スコアＦ_ｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥ_ｉ（ｎ）を受信し、変換スコアＳ_ｉ（ｎ）を下記の式に基づいて計算する。
Ｓ_ｉ（ｎ）＝Ｈ_ｉ（ｎ）＊Ｍ_ｉ（ｎ）＊Ｆ_ｉ（ｎ）＊Ｅ_ｉ（ｎ）

各Ｔ_ｉ（ｎ）に対して、変換品質計算器４１６０は、特徴スコア計算ユニット４１３０から特徴スコアＦ_ｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥ_ｉ（ｎ）を受信し、下記の式に基づいて変換品質Ｑ_ｉ（ｎ）を計算する。
Ｑ_ｉ（ｎ）＝Ｆ_ｉ（ｎ）＋Ｅ_ｉ（ｎ）

最も大きな値Ｓ_ｉ（ｎ）を有するＴ_ｉ（ｎ）は、図４（Ａ）のグループ変換スコアリング及び選択回路４１００のグループ変換選択器４１７０によってグループ主要変換ＧＰ（ｎ）として選択される。従って、実施例によって、図１のＤＩＳ回路のＤＩＳ補償ユニット６０００内で、最も高いスコアＳ_ｉ（ｎ）を有するインターフレーム変換候補Ｔ_ｉ（ｎ）は、グループ主要変換ＧＰ（ｎ）として選択され、ジッタ（ｊｉｔｔｅｒｙ）カメラモーションを補償するための補償変換Ｃ（ｎ）を生産するために、後述するように、適応的にフィルタリングされる。

ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）は、グループ主要変換ＧＰ（ｎ）のヒストリーを保存し、グループ主要変換ＧＰ（ｎ）の保存されたヒストリーの所定長（ＨＬ）に基づいて、各Ｔ_ｉ（ｎ）に対するヒストリースコアＨ_ｉ（ｎ）を計算、例えば、感知ユニット２０００から各Ｔ_ｉ（ｎ）が受信された順次に計算する。前記ＨＬは、先行フレームの所定の個数を表わす整数である。入ってくるＴ_ｉ（ｎ）は、数学的に以前に選択されたグループ主要変換ＧＰ（ｎ−１）．．．ＧＰ（ｎ−ｋ）を保存するＨＬの各々と比較される。ここで、前記ｋは、１（直前フレーム：ｎ−１を意味する）からＨＫ（時間的により遠いフレーム：ｎ−ＨＫ）までの範囲を有する、フレーム時間指数を表わす整数である。フレーム変換候補Ｔ_ｉ（ｎ）は、以前に選択され、保存されているＨＬ個のグループ主要変換（ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ））とより高い相関を有するほどより高いヒストリースコアＨ_ｉ（ｎ）を与えられる。

Ｔ_ｉ（ｎ）と各ＧＰ（ｎ−ｋ）との間の相関係数Ｈ_{（ｉ，ｋ）}（ｎ）は、１から、範囲［０、１］内で正規化されたノルム（ｎｏｒｍａｌｉｚｅｄ ｎｏｒｍ）を差引いた値（１−｜Ｔ_ｉ（ｎ）−ＧＰ（ｎ−ｋ）｜）であり、Ｈ_{（ｉ，ｋ）}（ｎ）＝１の場合、最も高い相関を指し示す。

各相関係数Ｈ_{（ｉ，ｋ）}（ｎ）＝（１−｜Ｔ_ｉ（ｎ）−｜ＧＰ（ｎ−ｋ）｜））の貢献は、相応するヒストリーウエートＨＷ（ｋ）によって重み付けされる。

ヒストリースコアＨ_ｉ（ｎ）は、全体相関係数であり、ヒストリーウエートＨＷ（ｋ）によって重み付けされた相関係数Ｈ_{（ｉ，ｋ）}（ｎ）の和である。ここで、１＜ｋ＜ＨＬであり、前記ＨＬは、ヒストリー長（以前フレームの個数）である。即ち、

Ｈ_ｉ（ｎ）＝ S［１−｜Ｔ_ｉ（ｎ）−ＧＰ（ｎ−ｋ）｜＊ＨＷ（ｋ）］，
ｆｏｒ １＜ｋ＜ＨＬ．

ヒストリーウエートＨＷ（ｎ−ＨＬ）〜ＨＷ（ｎ−１）は、それらの総和が１になり、ヒストリースコアＨ_ｉ（ｎ）出力が非線形的に正規化され、且つ連続した範囲（［０、１］）を有するように選択されるのが望ましい。

図４（Ｂ）に示したヒストリースコア計算ユニット４１１０のハードウェア具現例４１１０−１は、以前に選択された、ＨＬ個のグループ主要変換ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ）を保存し、比較器４１１４に並列出力するための、（ｎ−１）〜（ｎ−ＨＬ）のＨＬ個のタップを有するＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）メモリバッファ４１１１を含む。比較器４１１４は、現在（フレーム時点ｎ）のインターフレーム変換Ｔ_ｉ（ｎ）を、以前に選択され保存されているＨＬ個のグループ主要変換ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ）の各々と比較し、ヒストリーウエートＨＷ（ｎ−１）ないしＨＷ（ｎ−ＨＬ）によってウェイティングされた各比較結果を、連続区間［０、１］で全体相関係数をヒストリースコアＨ_ｉ（ｎ）として出力する全体ヒストリースコア計算器４１１６に供給する。

モーションスコア計算ユニット４１２０は、各Ｔ_ｉ（ｎ）を受信し、Ｔ_ｉ（ｎ）のみに基づいて、そのモーションスコアＭ_ｉ（ｎ）を計算する。他の実施例の場合には、モーションスコア計算ユニット４１２０は、モーションスコアＭ_ｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。小さいモーションに対する変換Ｔ_ｉ（ｎ）は、高いモーションスコアＭ_ｉ（ｎ）を有し、グループ主要変換ＧＰ（ｎ）になる可能性が高い。各インターフレーム変換Ｔ_ｉ（ｎ）に対して、モーションスコア計算ユニット４１２０は、モーションスコアＭ_ｉ（ｎ）を計算する。

Ｍ_ｉ（ｎ）は、小さいモーションに対応して大きい値を有し、大きいモーションに対応して小さい値を有する。モーションスコアＭ_ｉ（ｎ）は、変換の水平、垂直、又は全体線形変位に基づく。モーションスコアＭ_ｉ（ｎ）は、線形変位に逆相関し、好ましくは連続区間［０、１］を有するように非線形的に正規化される。

特徴スコア計算ユニット４１３０は、各Ｔ_ｉ（ｎ）を受信し、Ｔ_ｉ（ｎ）のみに基づいて、その特徴スコアＦ_ｉ（ｎ）を計算する。他の実施例の場合には、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。各インターフレーム変換Ｔ_ｉ（ｎ）に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算する。
特徴スコアＦ_ｉ（ｎ）は、各インターフレーム変換Ｔ_ｉ（ｎ）によって代表される特徴点グループを作るためにともにグループ化された特徴点の個数と関連付けられる。変換Ｔ_ｉ（ｎ）は、グループ別特徴点をより多く有するほどより高い特徴スコアＦ_ｉ（ｎ）を有する。特徴スコアＦ_ｉ（ｎ）は、好ましくは連続区間［０、１］を有するように非線形的に正規化される。

規模スコア計算ユニット４１４０は、各Ｔ_ｉ（ｎ）を受信し、Ｔ_ｉ（ｎ）のみに基づいて、その規模スコアＥ_ｉ（ｎ）を計算する。他の実施例の場合には、規模スコア計算ユニット４１４０は、規模スコアＥ_ｉ（ｎ）を計算するために、感知ユニット２０００に保存された情報を受信できる。各インターフレーム変換Ｔ_ｉ（ｎ）に対して、規模スコア計算ユニット４１４０は、規模スコアＥ_ｉ（ｎ）を計算する。広い領域をカバーする特徴点を有する変換Ｔ_ｉ（ｎ）は、カバーする領域が大きいほど、より高くスコアリングされる。規模スコアＥ_ｉ（ｎ）は、より広い領域をカバーすることに対応してより大きい値を有し、反対により狭い領域をカバーすることに対応してより小さい値を有する。規模スコアＥ_ｉ（ｎ）は、その変換のグループに属する全ての特徴点を含む長方形領域の高さと幅との積に関連する。規模スコアＥ_ｉ（ｎ）は、好ましくは連続区間［０、１］を有するように非線形的に正規化される。

本発明の概念による多様な実施例は、除外しないとビデオ安定化に所望しない結果を引き起こしかねない、全体場面を横切って動く大きな客体を除くために、場面ヒストリー分析を使う。適切な場面ヒストリー分析がなければ、主要変換選択器は、大きな移動客体（特に、それが全体画面をカバーするならば）に対応する変換候補を選択してしまい易い。場面ヒストリー分析を使うならば、大きな客体が横切って動いて全体場面を満たす場合、変換候補Ｔ_ｉ（ｎ）は、不安定カメラに対応する主要変換Ｐ（ｎ）を含まないと判断できる。

図５は、図１のＤＩＳ回路の軌跡ユニット４０００のコレクティブ変換スコアリング及び選択回路４２００の一実施例のブロック図である。コレクティブ変換スコアリング及び選択回路４２００は、コレクティブ判定ＣＤ（ｎ）を計算するコレクティブ判定計算器４２５０と図１のＤＩＳ回路のＤＩＳ方法の段階としてコレクティブ主要変換ＣＰ（ｎ）を出力するコレクティブ変換選択器４２６０とを含む。

図５のコレクティブ判定計算器４２５０は、特徴点グループ変換品質Ｑ_ＦＰ（ｎ）、タイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）、及び感知ユニット２０００から受信された特徴点グループ変換候補の個数Ｋ_ＦＧ（ｎ）からコレクティブ判定ＣＤ（ｎ）を算出する。

実施例によっては、コレクティブ判定計算器４２５０は、特徴点グループ変換候補の個数Ｋ_ＦＧ（ｎ）から非線形的に正規化されたフラグメンテーションメジャー（ｆｒａｇｍｅｎｔａｔｉｏｎ ｍｅａｓｕｒｅ；Θ_Ｆ（ｎ））を計算し、Θ_Ｆ（ｎ）は、Ｋ_ＦＧ（ｎ）が小さい時に０であり、Θ_Ｆ（ｎ）は、Ｋ_ＦＧ（ｎ）が大きい時に１である。従って、Θ_Ｆ（ｎ）値が１に近いことは、ビデオ場面の全ての特徴点が多くの特徴点グループに分裂されたものを表わし、反対に、Θ_Ｆ（ｎ）値が０に近いことは、ビデオ場面の全ての特徴点が、少ない特徴点グループに分裂されたものを表わす。

コレクティブ判定計算器４２５０は、Ｑ_Ｆ（ｎ）とΘ_Ｆ（ｎ）＊Ｑ_Ｔ（ｎ）とを比較することによって、コレクティブ判定ＣＤ（ｎ）を出力し、もし、Ｑ_Ｆ（ｎ）＞（Θ_Ｆ（ｎ）＊Ｑ_Ｔ（ｎ））であれば、コレクティブ判定ＣＤ（ｎ）は、特徴点グループを選択するように設定される。そして、もし、Ｑ_Ｆ（ｎ）＜＝Θ_Ｆ（ｎ）＊Ｑ_Ｔ（ｎ）であれば、コレクティブ判定ＣＤ（ｎ）は、タイルグループを選択するように設定される。この公式で、もし特徴点グループが分裂されていないならば、Θ_Ｆ（ｎ）値が０に近く、前記特徴点グループは、より選択されやすい。一方、もし特徴点グループが分裂されたならば、Θ_Ｆ（ｎ）値が１に近く、タイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）は、特徴点グループ変換品質Ｑ_ＦＰ（ｎ）と対等の立場で比較される。

コレクティブ変換選択器４２６０は、特徴点グループ主要変換ＧＰ_ＦＰ（ｎ）とタイルグループ主要変換ＧＰ_Ｔｉｌｅ（ｎ）との間で選択を行う。コレクティブ変換選択器４２６０は、コレクティブ判定ＣＤ（ｎ）によって制御されて、出力コレクティブ主要変換ＣＰ（ｎ）は、ＣＤ（ｎ）が特徴点グループとして設定される時、特徴点グループ主要変換ＧＰ_ＦＰ（ｎ）として設定され、そうではない場合、タイルグループ主要変換ＧＰ_Ｔｉｌｅ（ｎ）として設定される。

本実施例で、コレクティブ変換スコアリング及び選択回路４２００は、特徴点グループ変換品質Ｑ_ＦＰ（ｎ）及びタイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）に基づいて選択を行う。このようなグループ変換品質は、特徴スコア計算ユニット４１３０と規模スコア計算ユニット４１４０とからの入力を受信する図４（Ａ）の変換品質計算器４１６０によって計算される。

特徴スコア計算ユニット４１３０は、その特徴点グループ変換Ｔ_{（ＦＰ，ｉ）}（ｎ）とタイルグループ変換Ｔ_{（ｔｉｌｅ，ｉ）}（ｎ）の各々の場合について、変換Ｔ_ｉ（ｎ）の特徴スコアＦ_ｉ（ｎ）を計算する。本実施例で、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算する目的で感知ユニット２０００に保存された情報を受信する。
各インターフレーム変換Ｔ_ｉ（ｎ）に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦ_ｉ（ｎ）を計算する。より多い特徴点又はより多いタイルが属するグループの変換Ｔ_ｉ（ｎ）は、より高い特徴スコアＦ_ｉ（ｎ）を有し、これは最終的には、特徴点グループ変換品質Ｑ_ＦＰ（ｎ）又はタイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）の各々がより高くなるように寄与する。
実施例によっては、タイル別特徴点の個数は、特徴点グループ変換Ｔ_{（ＦＰ，ｉ）}（ｎ）の特徴スコアＦ_ｉ（ｎ）を支配できる。他の実施例の場合に、タイルの個数は、タイルグループ変換Ｔ_{（Ｔｉｌｅ，ｉ）}（ｎ）の特徴スコアＦ_ｉ（ｎ）を支配できる。タイル別特徴点の個数、及び／又は、タイルベクトルの各グループ内のタイルの個数は、感知ユニット２０００から直接得られうる。

規模スコア計算ユニット４１４０は、特徴点グループ変換及びタイルグループ変換の各々の場合について、変換Ｔ_ｉ（ｎ）の規模スコアＥ_ｉ（ｎ）を計算する。本実施例で、特徴スコア計算ユニット４１３０は、規模スコアＦ_ｉ（ｎ）を計算するために感知ユニット２０００に保存された情報を受信する。特徴点又はタイルのグループ変換は、より広い領域に亘るほどより高くスコアリングされる。
タイルモーションベクトルの各グループ内の、特徴点の個数とタイルの次元は、感知ユニット２０００から直接得られうる。同様に、特徴点モーションベクトルの各グループ内の水平及び垂直方向の規模は、感知ユニット２０００から直接得られうる。
特徴点グループ又はタイルグループは、より広い領域に亘るほどより高い規模スコアＥ_ｉ（ｎ）を有し、その結果、最終的には、特徴点グループ変換品質Ｑ_ＦＰ（ｎ）又はタイルグループ変換品質Ｑ_Ｔｉｌｅ（ｎ）の各々はより高くなるように寄与する。本実施例で、規模スコア計算ユニット４１４０は、規模スコアＥ_ｉ（ｎ）を計算するために感知ユニット２０００から保存された規模情報を受信する。

コレクティブ主要変換ＣＰ（ｎ）が、コレクティブ変換スコアリング及び選択回路４２００によって選択された後、移動客体除外回路４４００は、選択されたコレクティブ主要変換ＣＰ（ｎ）が全体場面で動き、全体場面をカバーする大型移動客体であるか否かを判断する。前記除外が効果的な場合、単位変換ＵＴが代替物として生成され、ＤＩＳシステムの補償回路のために選択された主要変換Ｐ（ｎ）として提供される結果、安定化されたビデオは、不正確に又は不必要に大型移動客体の変換をしない。

実施例によっては、移動客体除外方法は、２種の観測に基づいて活性化される。ここで、前記２種の観測は、既に存在する静止した背景（Ｐ（ｎ）のヒストリーによって指し示される）と、静止した背景と大型移動客体が共存している時間の長さである。

移動客体除外方法は、下記のシナリオを扱うのに非常に効果的である。
最初の場面は、移動客体があるかないかを問わず、そのほとんどが静止した背景である。次いで大型移動客体が場面に進入し、漸次的により大きな領域をカバーする。次に前記大型移動客体は、（殆ど）全体場面をカバーする。次に前記大型移動客体は、場面を離れ始め、背景が再び表われ始める。最後に前記大型移動客体は、遂に消える。

前記移動客体分析器は、以下の手順で、除外シナリオを感知する。
連続して静的なＭＶグループの存在は、ほとんど静止した背景となる場面を指し示す。
連続して類似した速度のＭＶグループのカウント増加は、場面内に入ってくる客体を指し示す。
前記傾向が続き、時点ｎで連続して類似した速度のＭＶグループが全体場面をカバーし、静的なＭＶグループが消えれば、前記除外シナリオが検出される。

除外判定ＥＤ（ｎ）は、除外変換選択器に送られる。除外変換選択器は、ＥＤ（ｎ）が除外シナリオを指し示さなければ、コレクティブ主要変換ＣＰ（ｎ）を選択し、そのシナリオ内で主要変換Ｐ（ｎ）は、基準変換として設定される。従って、大型移動客体が全体場面をカバーする時にも、安定化されたビデオは不正確に大型移動客体に沿わない。

図６は、図１のＤＩＳ回路の軌跡ユニット４０００の移動客体除外回路４４００の一実施例のブロック図である。移動客体除外回路４４００は、移動客体分析器４４７０及び図１のＤＩＳ回路のＤＩＳ方法内の段階を行う除外変換選択器４４８０を含む。

移動客体除外回路４４００は、場面のヒストリーを保存するための複数のグループヒストリー回路４４１０、４４２０、４４３０、及び４４４０、及び移動客体分析器４４７０を含む。唯一の指定された静的なグループＧ_０が常に存在するが、０又はそれ以上の現在モーショングループＧ_Ｋ（Ｎ≧Ｋ＞０）があり得る。また、次のフレームにおいて、現在モーショングループＧ_Ｋのうちの１つになりうる新たなモーショングループＧ_Ｎ＋１があり得る。（例えば、Ｋ（ｎ＋１）＝Ｋ（ｎ）＋１）

静的なグループＧ_０は、関連したグループヒストリーＧＨ_０を有する。第Ｋ番目の現在モーショングループＧ_Ｋは、関連したモーションベクトルＭ_Ｋだけではなく、関連したグループヒストリーＧＨ_Ｋも有する。各現在モーショングループＧ_Ｋは、基本的にフレームｎまで経時的に類似した速度のＴ_ｉ（ｎ）の各々に対して低域通過フィルターされた｜Ｔ_ｉ（ｎ）｜であるモーションベクトルＭ_Ｋを有する。

各新たなモーショングループＧ_Ｎは、その生成の時点で初期化された関連するグループヒストリーＧＨ_Ｎ（ｎ）を有する。移動客体分析器４４７０は、複数のグループヒストリーＧＨ_０（ｎ）、ＧＨ_１（ｎ）、．．．ＧＨ_Ｊ（ｎ）、及びＧＨ_Ｋ（ｎ）を含む場面ヒストリーとＧＨ_Ｎ（ｎ）とを受信し、それらから除外判定ＥＤ（ｎ）を計算する。

除外変換選択器４４８０は、単位変換ＵＴとコレクティブ主要変換ＣＰ（ｎ）との間の選択を行う。除外変換選択器４４８０は、除外判定ＥＤ（ｎ）によって制御されて、ＥＤ（ｎ）が活性化された時、出力主要変換Ｐ（ｎ）は、単位変換ＵＴとして設定され、そうではない場合、コレクティブ主要変換ＣＰ（ｎ）として設定される。単位変換ＵＴは、補償ユニットが補償の間に何もしないようにする。従って、移動客体分析器４４７０が“大型移動客体”シナリオを感知し、除外判定ＥＤ（ｎ）を活性化する時、もしそうではない場合、主要変換Ｐ（ｎ）として選択されていたかもしれない大型移動客体の変換は、選択された主要変換Ｐ（ｎ）とならずに除外される。実際に、大型移動客体の変換は、それが感知されると、図１の補償ユニット６０００によって行われる補償から除外される。

図７は、図６の移動客体除外回路４４００内のモーショングループヒストリー回路４４１０〜４４４０の一実施例で行われる段階を詳しく説明する混合されたブロックダイヤグラムフローチャートである。移動客体除外回路４４００は、図１のＤＩＳ回路のＤＩＳ方法の段階を行う。図７は、静的なグループＧ_０、現在モーショングループＧ_Ｋ、及び新たに生成されたモーショングループＧ_Ｎ＋１に各々対応する代表的なグループヒストリー回路４４１０、４４３０、及び４４４０を詳しく図示する。

図６の移動客体除外回路４４００の移動客体分析器４４７０によってグループヒストリー回路（例えば、４４１０）から受信されたグループヒストリー（例えば、Ｈ_０（ｎ））は、各グループと関連した２種のヒストリーデータ、選択ヒストリー（例えば、ＳＨ_０（ｎ））と現在ヒストリー（例えば、ＥＨ_０（ｎ））とを含む。

移動客体分析器４４７０は、次のように除外シナリオを感知する。
静的な変換Ｇ_０（ｎ）が、グループヒストリーＧＨ_０内で、連続して存在し且つ選択されていると指し示されている場合は、複数のフレームに亘りほとんどが静止した背景の場面が存在することを表わす。特定のモーショングループＧ_Ｋが、グループヒストリーＧＨ_Ｋ内で、連続して存在し且つ漸次的に増加する場合は、ある客体が場面内に入ってくるということを表わす。もし、存在及びモーションのこの傾向が持続されれば、そして、時点（ｎ）で、静的な変換がＧ_０に属しなくなり、且つ選択された変換Ｐ（ｎ）がＧ_Ｋに属する場合は、大型移動客体シナリオが感知され、活性化された除外判定ＥＤ（ｎ）が主要変換選択器４１６０−２に送られる。もし、ＥＤ（ｎ）が大型客体除外シナリオを指し示すならば、主要変換Ｐ（ｎ）は、単位変換として設定される。そうではない場合、主要変換Ｐ（ｎ）は、あるスコアリング関数によって選択されたいずれかのＴ_ｉ（ｎ）になる。

グループヒストリー回路４４１０、４４２０、４４３０、及び４４４０の各々は、受信されたインターフレーム変換Ｔ_ｉ（ｎ）のうち１つに関連した各グループに対して３種類のヒストリー情報の保存及び処理を行う。グループヒストリーの前記３種類とは、選択ヒストリー、現在ヒストリー、及びモーションヒストリーである。静的なグループＧ_０は、映像安定化開始時に空ヒストリーとして生成される。静的なグループＧ_０のモーションヒストリーは省略され、ヌルと推定されうる。モーショングループＧ_１、．．．、Ｇ_Ｋ、．．．、Ｇ_Ｎは、ＤＩＳビデオプロセッシングのコースの間にダイナミックに（ｄｙｎａｍｉｃａｌｌｙ）生成されるか、削除されうる。

図７を参照すると、静的なグループＧ０、Ｎ個の現在モーショングループＧ_Ｋ、及び新たに生成されたモーショングループＧ_{（Ｎ＋１）}に各々対応するグループヒストリー回路４４１０、４４３０、及び４４４０は、グループヒストリーＧＨ_０、ＧＨ_Ｋ、及びＧＨ_{（Ｎ＋１）}を提供する。

モーショングループＧ_０のグループヒストリー回路４４１０は、選択ヒストリーＳＨ_０と存在ヒストリーＥＨ_０との保存のためのヒストリーメモリを含む。存在ヒストリーＥＨ_０は、インターフレーム変換Ｔ_ｉ（ｎ）が以前フレーム内のモーショングループＧ_０に結合されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。選択ヒストリーＳＨ_０は、モーショングループＧ_０に結合されたインターフレーム変換Ｔ_ｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。

グループＧ０はモーションヒストリーＭ_０を欠く。何故なら、グループＧ０は静的と考えているので、選択された主要変換Ｐ（ｎ）を含む如何なるＴ_ｉ（ｎ）が静的なグループＧ０に属するか否かの判定（判定段階ｄＳ４４１８）が、Ｔ_ｉ（ｎ）を、多様なヒストリーに基づいたモーションベクトルＭ_０と比較するよりは、ある閾値ｔｈｄ_０と比較することで決められるかえらである。静的なグループＧ_０のグループヒストリー回路４４１０は、静的なグループＧ_０は、ビデオ安定化開始時に空のヒストリーとして生成される。

もし、フレームｎの間にＴ_ｉ（ｎ）が、｜Ｔ_ｉ（ｎ）｜＜ｔｈｄ_０を満足すれば（判定段階ｄＳ４４１８の「はい」分岐）、
このＴ_ｉ（ｎ）は、Ｇ_０に属する。
存在ヒストリーＥＨ_０は、フレームｎで静的な変換の存在を指し示すようにアップデートされる。
もし、Ｐ（ｎ）＝このＴ_ｉ（ｎ）、であれば、選択ヒストリーＳＨ_０は、このＴ_ｉ（ｎ）が選択されたことを指し示すようにアップデートされる。

そうではない場合（判定段階ｄＳ４４１８の「いいえ」分岐）、即ち、フレームｎの間に、｜Ｔ_ｉ（ｎ）｜＜ｔｈｄ_０、を満足させなければ、Ｔ_ｉ（ｎ）は、存在モーショングループＧ_１〜Ｇ_Ｎの各々内のグループヒストリーと比較される。

モーショングループＧ_Ｋのグループヒストリー回路４４３０は、選択ヒストリーＳＨ_Ｋ、及び存在ヒストリーＥＨ_Ｋ、及びモーションヒストリーＭ_Ｋの保存のためのヒストリーＫメモリを含む。存在ヒストリーＥＨ_Ｋは、インターフレーム変換Ｔ_ｉ（ｎ）が以前フレーム内のモーショングループＧ_Ｋに属するか否かを指し示す過去１フレーム当たり１ビットのデータからなる。選択ヒストリーＳＨ_Ｋは、モーショングループＧ_Ｋに属したインターフレーム変換Ｔ_ｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを指し示す過去１フレーム当たり１ビットのデータからなる。

モーションヒストリーＭ_Ｋは、グループＧ_Ｋの全体的なモーションのベクトルＭ_Ｋを指し示す情報を保存する。
各Ｔ_ｉ（ｎ）は、またモーションベクトル（Ｍ）にでマッピング（ｍａｐ）する。各モーショングループＧ_Ｋは、モーションベクトルＭ_Ｋにマッピングする。
｜Ｔ_ｉ（ｎ）｜を、Ｔ_ｉ（ｎ）のモーションベクトルのサイズとし、｜Ｔ_ｉ（ｎ）−Ｍ_Ｋ｜を、現在モーショングループＧ_ＫのモーションベクトルＭ_ＫからのＴ_ｉ（ｎ）の偏差とする（ここで、１≦Ｋ≦Ｎであり、Ｎは現在の現在モーショングループの個数）。
Ｎ個存在するモーショングループのうちから最小の｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜を有するモーショングループＧ_Ｊは、Ｔ_ｉ（ｎ）が最もマッチングしたグループＧ_Ｊを指し示す。この配属（ｊｏｉｎ）判断は、｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜を所定の閾値ｔｈｄ_１と比較して決定されうる。従って、例えば、判定段階ｄＳ４４３８で、もし、１とＮとの間の特定のＪ及び全てのＫで｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜≦｜Ｔ_ｉ（ｎ）−Ｍ_Ｋ｜であり、｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜＜ｔｈｄ_１であれば（判定段階ｄＳ４４３８の「はい」分岐）、前記Ｔ_ｉ（ｎ）は、現存するモーショングループＧ_Ｊに配属される。

もし、全てのＫに対して、｜Ｔ_ｉ（ｎ）−ＭＪ｜＜ｔｈｄ_１であり、｜Ｔ_ｉ（ｎ）−Ｍ_Ｊ｜＜｜Ｔ_ｉ（ｎ）−Ｍ_Ｋ｜であれば（判定段階ｄＳ４４３８の「はい」分岐）、
Ｔ_ｉ（ｎ）は、Ｇ_Ｊに属する。
モーションヒストリーＭ_Ｊは、新たに属したＴ_ｉ（ｎ）を反映するように調整される。
現在ヒストリーＥＨ_Ｊは、フレームｎでモーショングループＧ_Ｊの存在を指し示すようにアップデートされる。
もし、Ｐ（ｎ）＝このＴ_ｉ（ｎ）、であれば、選択ヒストリーＳＨ_Ｊは、この、Ｔ_ｉ（ｎ）＝Ｐ（ｎ）の選択を指し示すためにアップデートされる。

一方、もし、判定段階ｄＳ４４３８がＴ_ｉ（ｎ）及び全ての現存するモーショングループＧ_１〜Ｇ_Ｎに対して反復され、Ｍ_Ｋのうち何れも｜Ｔ_ｉ（ｎ）−Ｍ_Ｋ｜＜ｔｈｄ_１、を満足させなかったならば（判定段階ｄＳ４４３８の「いいえ」分岐）、前記Ｔ_ｉ（ｎ）は、新たに形成されたモーショングループＧ_Ｎ＋１に属する（Ｓ４４４９段階）。もし、このＴ_ｉ（ｎ）が、新たに形成されたモーショングループＧ_Ｎ＋１に属するならば（Ｓ４４４９段階）、
Ｔ_ｉ（ｎ）は、新たに形成されたモーショングループＧ_Ｎ＋１に属する。
モーションヒストリーＭ_Ｎ＋１は、このＴ_ｉ（ｎ）のモーションベクトルとして設定される。
存在ヒストリーＥＨ_Ｎ＋１は、フレームｎで新たなモーショングループＧ_Ｎ＋１の存在を指し示すように初期化される。
もし、Ｐ（ｎ）＝このＴ_ｉ（ｎ）であれば、選択ヒストリーＳＨ_Ｎ＋１は、この、Ｔ_ｉ（ｎ）＝Ｐ（ｎ）の選択を指し示すようにアップデートされる。

ある所定の時間、即ち、ある所定の数のフレームに亘って、何れのあるＴ_ｉ（ｎ）も配属されないモーショングループ（Ｇ_０〜Ｇ_Ｎのうちの）は、削除される。

前記開示された発明内容は、あくまでも実施例の説明であると考えられるべきであって、本発明の範囲を制限するものではない。添付の請求項は、本発明の思想と範疇に属する全ての変更、追加、及び他の実施例までを含むものと理解しなければならない。従って、法によって許容される最大の範囲において、本発明の範疇は、後続する請求項及びその均等物を許される限り最広義に解釈することによって決定されなければならず、前述した詳細な説明によって制限、限定されてはならない。

３５０ メモリ、ＲＡＭメモリ
３５２ ＳＦＰ＿ＭＶリスト
３５４ ＦＰ ＭＶグループインベントリ
３５６ タイルＭＶリスト
３５８ タイルＭＶグループインベントリ
１３００ モーションベクトル（ＭＶ）グループ化回路
１３０２ ペアリングアルゴリズムコントローラ
１３１０ モーションベクトル比較器
２０００ 感知ユニット（ＤＵ）
２０１０ モーションベクトル（ＭＶ）グループアフィン変換計算器
３０００ 特徴点回路
４０００ 軌跡ユニット（ＴＵ）
４１００ グループ変換スコアリング及び選択回路
４１００−１ タイルグループ変換スコアリング及び選択回路
４１００−２ 特徴点グループ変換スコアリング及び選択回路
４１１０−１ ヒストリースコア計算ユニット
４１１１ ＦＩＦＯメモリバッファ
４１１４ 比較器
４１１６ 全体ヒストリースコア計算器
４１２０ モーションスコア計算ユニット
４１３０ 特徴スコア計算ユニット
４１４０ 規模スコア計算ユニット
４１５０ 変換スコア計算器
４１６０ 変換品質計算器
４１７０ グループ変換及び品質選択器
４２００ コレクティブ変換スコアリング及び選択回路
４４００ 移動客体除外回路
４４１０ グループヒストリー回路、静的なグループＧ_０
４４２０ グループヒストリー回路、現在モーショングループＧ_１
４４３０ グループヒストリー回路、現在モーショングループＧ_Ｋ
４４４０ グループヒストリー回路、新たなモーショングループＧ_Ｎ＋１
４４７０ 移動客体分析器
４４８０ 除外変換選択器
６０００ 補償ユニット（ＣＵ）
８０００ 適応的補償フィルター

Claims (16)

1. スコアリング関数を用いて、第１サイズを有するピクセルブロックのモーションベクトルの第１グループのインターフレーム変換（以下、単に変換という）のうちから選択することによって、場面（ｓｃｅｎｅ）の第１主要変換を識別する段階を含み、
   前記スコアリング関数を用いて第２サイズを有するピクセルブロックのモーションベクトルの第２グループの変換のうちから選択することによって、前記場面の第２主要変換を識別する段階をさらに含み、
   前記第２サイズを有する前記ピクセルブロックは、タイルであり、
   モーションベクトルの前記第１グループは、Ｔｉ（ｎ）のうちの、変換Ｔ（ＦＰ，ｉ）（ｎ）を有する特徴点モーションベクトルのグループであり、モーションベクトルの前記第２グループは、Ｔｉ（ｎ）のうちの、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）を有する重ならないタイルモーションベクトルのグループであり、
   ここで、Ｔｉ（ｎ）は、時系列上の第ｎ番目の時点における、第ｉ番目の変換であり、
   前記スコアリング関数は、変換ヒストリースコア、及び変換モーションスコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも１つの関数を含み、
   前記変換ヒストリースコアリング関数は、｜Ｔｉ（ｎ）−Ｐ（ｎ−ｋ）｜に基づいてＴｉ（ｎ）とＰ（ｎ−ｋ）との間の相関係数Ｈ（ｉ，ｋ）（ｎ）を計算する段階を含み、
   ここでＰ（ｎ−ｋ）は、時系列上の第（ｎ−ｋ）番目の時点における前記第１又は第２主要変換であり、
   Ｔｉ（ｎ）の変換ヒストリースコアＨｉ（ｎ）は、１と変換ヒストリーの所定長（ＨＬ）との間の全てのｋに対するＨ（ｉ，ｋ）（ｎ）の加重和である全体相関係数であることを特徴とするビデオデータ処理方法。
2. スコアリング関数を用いて、第１サイズを有するピクセルブロックのモーションベクトルの第１グループのインターフレーム変換（以下、単に変換という）のうちから選択することによって、場面（ｓｃｅｎｅ）の第１主要変換を識別する段階を含み、
   前記スコアリング関数を用いて第２サイズを有するピクセルブロックのモーションベクトルの第２グループの変換のうちから選択することによって、前記場面の第２主要変換を識別する段階をさらに含み、
   前記第２サイズを有する前記ピクセルブロックは、タイルであり、
   モーションベクトルの前記第１グループは、Ｔｉ（ｎ）のうちの、変換Ｔ（ＦＰ，ｉ）（ｎ）を有する特徴点モーションベクトルのグループであり、モーションベクトルの前記第２グループは、Ｔｉ（ｎ）のうちの、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）を有する重ならないタイルモーションベクトルのグループであり、
   ここで、Ｔｉ（ｎ）は、時系列上の第ｎ番目の時点における、第ｉ番目の変換であり、
   前記スコアリング関数は、変換モーションスコア、及び変換ヒストリースコア、変換特徴点個数スコア、及び変換規模スコアのうちの少なくとも１つの関数を含み、
   前記変換モーションスコアリング関数は、前記変換の水平の線形移動であるＴｉ（ｎ）の変換モーションスコアＭｉ（ｎ）を計算する段階を含み、
   変換モーションスコアＭｉ（ｎ）は、連続した範囲［０、１］内で非線形的に正規化されていることを特徴とするビデオデータ処理方法。
3. スコアリング関数を用いて、第１サイズを有するピクセルブロックのモーションベクトルの第１グループのインターフレーム変換（以下、単に変換という）のうちから選択することによって、場面（ｓｃｅｎｅ）の主要変換を識別する段階を含み、
   前記スコアリング関数は、変換ヒストリースコアＨｉ（ｎ）、変換モーションスコアＭｉ（ｎ）、変換特徴点個数スコアＦｉ（ｎ）、及び変換規模スコアＥｉ（ｎ）を含み、
   前記スコアリング関数Ｈｉ（ｎ）、Ｍｉ（ｎ）、Ｆｉ（ｎ）、及びＥｉ（ｎ）のうちの少なくとも２つの最も高い組み合わせを有する前記変換Ｔｉ（ｎ）は、前記主要変換Ｐ（ｎ）として選択されることを特徴とするビデオデータ処理方法。
4. 前記ビデオデータ処理方法は、前記主要変換Ｐ（ｎ）をカメラ動きに対して補償するように処理する段階をさらに含むことを特徴とする請求項３に記載のビデオデータ処理方法。
5. 前記ビデオデータ処理方法は、
   前記場面内の大型移動客体（ｏｂｊｅｃｔｓ）を識別する段階と、
   前記大型移動客体と対応する主要変換Ｐ（ｎ）を除く（ｅｘｃｌｕｄｅ）段階と、をさらに含むことを特徴とする請求項１乃至３のいずれか一項に記載のビデオデータ処理方法。
6. 前記大型移動客体を識別する段階は、各Ｔｉ（ｎ）に対して、現存するモーショングループのヒストリーと現存する静的なグループの場面ヒストリーとを比較する段階を含むことを特徴とする請求項５に記載のビデオデータ処理方法。
7. 前記ビデオデータ処理方法は、Ｔｉ（ｎ）の計算された変換品質Ｑｉ（ｎ）が所定の閾値より小さければ、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）のうちから前記主要変換Ｐ（ｎ）を選択する段階をさらに含み、
   前記変換品質Ｑｉ（ｎ）は、前記変換点グループ内の変換点の個数と変換Ｔ（ＦＰ，ｉ）（ｎ）の前記変換点グループの前記規模とに基づくことを特徴とする請求項１乃至３のいずれか一項に記載のビデオデータ処理方法。
8. 第１サイズを有するピクセルブロックに基づいて、場面のモーションベクトルの第１グループを保存し、第２サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第２グループを保存する第１メモリと、
   ビデオデータ処理方法を行うプロセッサによって実行される保存されたプログラムを有する第２メモリと、を含み、
   前記ビデオデータ処理方法は、請求項１又は２に記載のビデオデータ処理方法であり、前記変換ヒストリースコア、前記変換モーションスコア、前記変換特徴点個数スコア、及び前記変換規模スコアのうちの少なくとも２つを含むスコアリング関数を用いて、前記第１モーションベクトルグループのインターフレーム変換（以下、単に変換という）のうちから選択することによって、第１主要変換を識別する段階と、
   前記スコアリング関数を用いて第２サイズを有するピクセルブロックのモーションベクトルの第２グループの前記変換のうちから選択することによって、第２主要変換を識別する段階と、を含むことを特徴とするイメージ処理回路。
9. 前記ビデオデータ処理方法は、請求項３に記載のビデオデータ処理方法であることを特徴とする請求項８に記載のイメージ処理回路。
10. 前記イメージ処理回路は、主要変換Ｐ（ｎ）をカメラ動きに対して補償するように処理する段階をさらに含むことを特徴とする請求項８に記載のイメージ処理回路。
11. 前記イメージ処理回路は、前記場面内の大型移動客体を識別する段階と、
    前記大型移動客体と対応する主要変換Ｐ（ｎ）を除く段階と、をさらに含むことを特徴とする請求項８に記載のイメージ処理回路。
12. 前記大型移動客体を識別する段階は、各Ｔｉ（ｎ）に対して、現存するモーショングループのヒストリーと現存する静的なグループの場面ヒストリーとを比較する段階を含むことを特徴とする請求項１１に記載のイメージ処理回路。
13. 前記イメージ処理回路は、Ｔ（ＦＰ，ｉ）（ｎ）の変換を有する特徴点グループ内の特徴点の個数に基づき、Ｔ（ＦＰ，ｉ）（ｎ）の変換を有する前記特徴点グループの前記規模に基づいた信頼（ｃｏｎｆｉｄｅｎｃｅ）スコアが所定の閾値より小さければ、変換Ｔ（ｔｉｌｅ，ｉ）（ｎ）のうちから主要変換Ｐ（ｎ）を選択する段階をさらに含むことを特徴とする請求項８に記載のイメージ処理回路。
14. もしも、連続した静的なモーションベクトルグループの存在が殆ど静止した背景を含む現存場面（ｅｘｉｓｔｅｄ ｓｃｅｎｅ）を指し示し、
    或る一つの客体が、前記場面内に進入すると感知され、
    時間ｎで連続した類似した速度のモーションベクトルグループが、前記場面の全体をカバーし、
    前記静的なモーションベクトルグループが存在しなくなる、場合には、前記主要変換が除外される、ことを特徴とする請求項１１に記載のイメージ処理回路。
15. 第１時点と第２時点とで場面のイメージを撮影し、前記撮影されたイメージをイメージデータの第１及び第２フレームに変換するイメージセンサー回路と、
    イメージ処理回路と、を含み、
    前記イメージ処理回路は、第１サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第１グループを保存し、第１サイズを有するピクセルブロックに基づいて、前記場面のモーションベクトルの第２グループを保存する第１メモリと、
    ビデオデータ処理方法を行うプロセッサによって実行される保存されたプログラムを有する第２メモリと、を含み、
    前記ビデオデータ処理方法は、請求項１又は２に記載のビデオデータ処理方法であり、前記変換ヒストリースコア、前記変換モーションスコア、前記変換特徴点個数スコア、及び前記変換規模スコアのうちの少なくとも２つを含むスコアリング関数を用いて、前記第１モーションベクトルグループのインターフレーム変換（以下、単に変換という）のうちから選択することによって、第１主要変換を識別する段階と、
    前記スコアリング関数を用いて、前記第２モーションベクトルグループの前記変換のうちから選択することによって、第２主要変換を識別する段階と、を含むことを特徴とするカメラ。
16. 前記スコアリング関数は、連続した関数であることを特徴とする請求項１５に記載のカメラ。
    
    

Images