JP4218915B2 - 画像処理方法、画像処理装置及び記憶媒体 - Google Patents
画像処理方法、画像処理装置及び記憶媒体 Download PDFInfo
- Publication number
- JP4218915B2 JP4218915B2 JP19803799A JP19803799A JP4218915B2 JP 4218915 B2 JP4218915 B2 JP 4218915B2 JP 19803799 A JP19803799 A JP 19803799A JP 19803799 A JP19803799 A JP 19803799A JP 4218915 B2 JP4218915 B2 JP 4218915B2
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- time
- image processing
- interest
- digital signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99951—File or database maintenance
- Y10S707/99952—Coherency, e.g. same view to multiple users
- Y10S707/99953—Recoverability
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理方法、画像処理装置及び記憶媒体に関する。
【０００２】
【従来の技術】
本文書を通じて用いられる「メタデータ」という用語は、特定の場合においてこれと矛盾した意味を持つことが明瞭に意図されない限り、他のデータと関連しているデータを意味するものとして広義に解釈されるべきものであることを理解されたい。例えば、フレームを横切って歩行する一人の人物の一続きの場面を（オブジェクトデータの形で）表す１つ又は複数のビデオフレームは、その一続きの場面と関連したメタデータを有する。メタデータは、ビデオフレームの属性または内容を何等かの方法で記述する付加データの形式をとることができる。例えば、メタデータは、人の衣服の色、人の名前（または、年齢その他の個人的な詳細）のような情報に関するものでもよいし、その人が歩いているという事実を記述してもよい。メタデータには主データに関する任意の形式の付加データを含んでもよいが、主データを何等かの方法で記述する（又は、その記述を表す）ことが好ましい。
【０００３】
様々なチームスポーツが一層職業化するにつれて、コーチによるチーム及び個々のプレーヤの分析が重要性を増してきた。従って、特定チームのコーチ及びプレーヤが過去の試合のビデオフィルムを再検討し、見付けた欠点を全て改善訓練によって修正すべく、チーム戦略或いは試合運びに見られるエラー又は弱点を探求することが少なくない。代りに、或いは、加えて、適切な試合運びを選ぶことによりつけ込めそうな弱点を見つけ出す為に敵チームの動きやチームプレーを研究することもある。
【０００４】
【発明が解決しようとする課題】
従来、この種の分析は、通常、記録されている試合のビデオフィルムをコーチが速送りして見ることによって、比較的特別な場合として実施されてきた。プレーヤは、その個々の動作に関する手書きのノートを用いてコーチにより識別される。しかし、コーチのチーム又は敵チームの中から特定プレーヤの動作を見付けることは骨の折れる仕事であり、複数の試合について検討する必要のある場合には特にそうである。
【０００５】
これに対する一つの解決方法としては、利用できる状態にある各々のビデオを注意深く観察し、各プレーヤの外観、ひいては各々の外観を有する当該プレーヤの動作のカタログを作ることがある。ビデオの画面に各プレーヤが入ってくると、そのビデオテープの時間またはフレーム番号のどちらかを記録しておき、そのビデオテープ上の正確な位置にダイレクトに進むことによって後からアクセスすることが出来る。コンピュータデータベースにこの種の情報のカタログを作成しておけば、特定のプレーヤについてコンピュータ探索を行えば、もしかしたらビデオに記録されている多数の試合にわたって、興味がありそうな位置のリストを作ることができると考えられる。しかし、この方法も、依然として比較的骨の折れる仕事であって、煩雑であり、しかも時間がかかる。更に、この種のデータベースを充填するために必要な情報は、試合の後のオフラインの状態でしか生成できず、リアルタイムでの利用は不可能である。
【０００６】
本発明の目的は、上記従来技術の欠点を解消するか、或いは、少なくとも実質的に改善することにあり、動画中に表されるオブジェクトについての情報を有効に利用することのできる画像処理方法及びシステム並びに装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像処理方法にあっては、
複数のフレームから構成される時間順次ディジタル信号内の時間空間エクステントへのリンクを有する構造化言語データで表現されたメタデータオブジェクトを生成する画像処理方法であって、
前記時間順次ディジタル信号において注目オブジェクトを検出するオブジェクト検出工程と、
前記メタデータオブジェクトに少なくとも１つのメタデータエレメントを生成する生成工程と、
前記メタデータオブジェクトの一部を形成し、前記メタデータエレメントと前記検出工程で検出された前記注目オブジェクトとの間のリンクエンティティを定義する定義工程と、
前記時間順次ディジタル信号において前記注目オブジェクトを追跡する追跡工程と、
前記注目オブジェクトの前記時間順次ディジタル信号における新規な時間空間エクステントを含むように前記メタデータオブジェクト内のリンクエンティティを更新する更新工程と、
前記生成したメタデータオブジェクトを前記時間順次ディジタル信号に関連付ける関連付け工程とを含むことを特徴とする。
【００５８】
【発明の実施の形態】
本発明は、メタデータを時間順次ディジタル信号とリンクする方法に関する。一般に、時間順次ディジタル信号とは、多数の既知フォーマットの内のいずれかで表したビデオ信号をいうものとする。時間順次ディジタル信号は、モニタまたは他のディスプレイ装置上に順次に呈示される一連のフレームまたは少なくともオブジェクトを定義する。各フレームまたはオブジェクトの間の変化は、人間の目によって運動として解釈される。
【００５９】
本発明は、そもそも、例えばサッカーまたはオーストラリアンフットボールのようなチーム競技のビデオフィルムの内容の表現及びカタログに用いるために開発されたものである。これにより、個々のプレーヤが写っているか或いはある特定の動作を行なっているビデオにおいて、空間的および時間的に定義されたセクションまたはエクステントを自動的に識別することが可能となる。今後、この特定の応用例を参照しながら本発明について記述するが、本発明がこの分野での利用にのみ制限されるものでないことを理解されたい。
【００６０】
最も簡単な形としての上述の運動は、静止した背景を横断して動くオブジェクトの形をとる。一例は、前景を横断して歩いている人の居る家具付きの部屋の静的画像である。この場合、視聴者にとって、前記の人は動くオブジェクトとして容易に認識可能であり、同時に、背景（即ち、部屋）は動くものとは思われない。
【００６１】
逆に、例えば風景のような比較的安定した場面をカメラがパンする場合には、カメラ自体が移動しているのであるが、人間の目は、場面自体の動きでなくて観察者の焦点の動きとしてこれを解釈する傾向がある。従って、移動していると解釈されるオブジェクトは一切存在しない。
【００６２】
他の一例は、動くオブジェクトがカメラによって実質的に追跡され、同時に、背景に対して当該カメラが相対的に移動する場合である。一例として、ラグビー競技を行い、ボールを持って走っている人物がある。この場合、カメラは、通常、ボールを持った人物を追いかけようとし、そのため、背景としてのスポーツフレームをよこぎってカメラをパンすることが必要である。ボールを持った人物は、通常、フレームの中心に所在するか、或いは、フレームの中心から僅かに離れて配置される。その位置は、ディレクタが決定する前後関係による必要性に応じて決まる。例えば、ボールを持った人物が、サイドラインの比較的近くを走っている場合には、通常、カメラオペレータは、ビデオフレームの片側であってサイドラインに近接した位置に走っているプレーヤーが配置され、ビデオの絵柄の残りの大部分にはそれ以外の自軍プレーヤおよび敵軍プレーヤが現れるような絵柄を選択するはずである。
【００６３】
最後の一例は、カメラは一方向にパンしながら、同時に、一つのオブジェクトが別の方向に移動している場合である。この種のシナリオの一例として、上記したようなボールを持って走っている人物を敵プレーヤがタックルしようとしている場面を挙げることが出来る。
【００６４】
本発明は、チームスポーツにおけるプレーヤ、カーレースおける自動車、および、背景に対して動く他のオブジェクトを含むこの種の動くオブジェクトの検出に関する。
【００６５】
図７は、オーストラリアンフットボール競技用の好ましい実施例を実現する際に使用するための記述スキームを定義する拡張可能なマークアップ言語（ＸＭＬ）文書型定義（ＤＴＤ）を示す。ＤＴＤは競技の記述に使用できる記述エレメントの定義を含む。記述エレメントは、シンタックス「＜！ＥＬＥＭＥＮＴ Ｅｌｅｍｅｎｔ Ｎａｍｅ＞」（図７の２１行）を用いて定義され、ここで、エレメントネームは定義される記述エレメントの名前である。各定義は、記述エレメントと関連した１組の属性の定義を含むことができる。規定された記述エレメントに関する属性定義はシンタックス「＜！ＡＴＴＬＩＳＴ Ｅｌｅｍｅｎｔ Ｎａｍｅ＞」（図７の２２行）で始まる。
【００６６】
図８は、図７のＤＴＤファイルによって定義された記述スキームを用いて、特定のオーストラリアンフットボール競技の一部分に関して作成されたＸＭＬ文書形式のメタデータオブジェクトを示す。ここでのメタデータオブジェクトは、競技の第１クオータ中に行われた２つの「プレー」を定義する。第１のプレー（図８の２０〜２５行）は、２１番プレーヤが得点した（ボールを捕えた）ことを記録する。リンク又はポインタ（図８の２５行）はロケータ（図８の４１〜４８行）を指す。ロケータ（図８の４１〜４８行）は、識別されたオブジェクトを含む最小限界長方形の左上隅のｘおよびｙ座標及び高さと幅を定義する時間空間エクステント（図８の４２〜４８行）、および、そこで定義された長方形が適用される時間順次ディジタル信号の時間範囲（即ち、当該範囲の開始および終了フレーム）を含む。エクステントは、時間順次ディジタル信号のセクションを識別し、従って、空間時間エクステントは、空間的（即ち、二次元）および時間的な局所限定を有する時間順次ディジタル信号のセクションを識別する。ロケータは、一意的識別子（例えば、ｉｄ「Ｐ１」によって識別されるプレーに関する第１のロケータはｉｄ「Ｌ１」によって識別される。）を用いて識別可能な任意の規定されたエクステントを指示するものとして定義される。エクステントロケータをプレーから分離することにも利点はあるが、一方で、各エクステントロケータはその関連プレイデータに直接隣接して記録してもよいし、或いは、他のいかなる便利なフォーマット又はロケーションに記録してもよいことは理解されるであろう。
【００６７】
図面を参照して説明すると、図１は、本発明の好ましい実施例を実現するためのフローチャートである。先ず、ビデオの第１フレームがロードされる（ステップＳ１１０）。最終フレームが既に処理済みであり、従って、ロード可能なフレームが無い場合には（ステップＳ１１１）、処理が終了する（ステップＳ１１２）。フレームがロード可能である場合には（ステップＳ１１１）、モーションフィールドが計算され（ステップＳ１１３）、カメラの動きが減算され、オブジェクトモーションフィールドを生成する（ステップＳ１１４）。これに続いて、以前に検出されて現在追跡中の任意のオブジェクトが処理される。これらのオブジェクトの各々は、それに割り当てられた特定のトラッカーを持ち、存在する全てのトラッカーがトラッカーリストに保持される。トラッカーは、或るオブジェクトが追跡されるべきオブジェクトとして識別された場合に、時間順次ディジタル信号内のオブジェクトを追従または追跡しようと試みる画像処理エンティティである。一度トラッカーリストが処理されると（ステップＳ１１５）、オブジェクトモーションフィールドにおいて追跡する必要のあるオブジェクトが残っていれば、識別される（ステップＳ１１６）。
【００６８】
ステップＳ１１６においてオブジェクトモーションフィールド内で発見されたあらゆるオブジェクトの境界が算定され、新規に識別された領域に関する最小限界長方形（以下に述べる）が生成される（ステップＳ１１７）。これに続いて、検出されるあらゆる新規領域は、それらに割り当てられた１つのトラッカーを持ち、この新規トラッカーがトラッカーリストに加えられる（ステップＳ１１８）。次に、１つのオブジェクトヘッダ、及び、時間順次ディジタル信号とメタデータとの間の第１のリンクエンティティがメタデータオブジェクトに記入される（ステップＳ１１９）。図８に示す例に関して、オブジェクトヘッダは、メタデータオブジェクトにおいて新規「プレー」エレメントを生成することを意味し、この場合の新規「プレー」エレメントはｉｄ（ここでは、「Ｐ１」）によって一意的に識別され、第１のリンクエンティティは識別された「プレー」エレメント内に含まれる第１の「ＣＬＩＮＫ」エレメントを意味する。この方法はステップＳ１１０に戻り、最終フレームに到達するまで繰り返される。
【００６９】
ＤＴＤは、注目している「追跡された」新規セクションの開始を規定するタグを定義する。図７におけるＤＴＤの場合には、このエレメントが「プレー」エレメント（図８の２０行）である。「プレー」エレメントは、プレーのセクション（例えば、プレーヤーＩＤ、プレーの型、注釈者名）、および、ディジタルビデオにおいて識別された空間時間エクステントに関する１つ又は複数のリンク（図８の２５行）について更に記述する属性を持つように定義される。他の一実施例において、「プレー」エレメントの属性として記憶された情報は、「プレー」エレメントの子エレメントとして表わすことができる（即ち、子エレメントは＜プレー＞エレメント内に含まれる）。
【００７０】
図２において、図１のステップＳ１１４において生成されると同様のオブジェクトモーションフィールド２００を示す。オブジェクトモーションフィールドは、各フレームに関して算定可能なあらゆるカメラモーションを算定済みモーションフィールドから除去することによって求められる。モーションフィールドは、ディジタルビデオ分析の技術分野における当業者にとって公知である例えばオプティカルフローのような技法を用いて、各フレームに関して算定可能である。
【００７１】
オブジェクトモーションフィールド２００は、周囲の静的エリア２０６（ドット２０１により示す）内にオブジェクト２０２を形成する際にコヒーレントモーションのブロックを示す。コヒーレントモーションブロック又はオブジェクト２０２は二次元のモーションベクトル２０３から成り、境界２０４により囲まれる。同様に、オブジェクト２０２に対する最小限界長方形２０５を示す。このオブジェクトモーションフィールドは、特定のフレームに関する算定されたモーションフィールドからあらゆるカメラモーションを除去することによって各フレームに関して算定可能である。オブジェクトモーションフィールドを生成する好ましい方法を以下に示すが、ビデオ分析の技術分野における当業者に公知の他のあらゆる技法を使用しても差し支えない。
【００７２】
オブジェクトを検出するための特定の方法は重要な意味を持たない。オブジェクトは、他のスペクトルセンサ（例えば、赤外線）、または、問題となるオブジェクトに備えられた無線送信機によって伝達された信号を用いても同様に検出可能である。ただし、ビデオカメラのパン又はズームに起因する背景自体の見掛けの動きを無視し、背景に対するモーションを識別可能にするシステムを使用すると有利である。
【００７３】
この種の識別はソフトウェアにおいて達成可能であるが、或る種のパン動作、及び／又は、ズーム出力を伴ったイベントを記録するために用いられるビデオカメラを提供することも可能である。ビデオデータの分析がカメラの内部で行なわれる場合には、当該カメラの実際のモーション（パン、ズーム、等々）に関する情報を当該分析のために利用することが出来る。このような場合、この情報は、算定されたモーションフィールド（図１のステップＳ１１３）からカメラモーションを除去するために用いられる。この種のカメラは、例えば、内部ジャイロスコープ、又は初期休止位置に対するカメラの動きを測定する加速度計測装置、に基づく位置検出手段を有する。これらの位置検出手段は、カメラの相対的なパン動作を表すムーブメント信号を生成する。このムーブメント信号は、パン操作によって引き起こされた隣接フレーム間の差を除去するために図１のステップＳ１１４において用いられる。このカメラモーションに関する情報を利用可能であることは、画素データのみに関する知識からカメラモーションをアルゴリズム的に算定しなければならないという必要条件を排除し、それによって、一層堅実なオブジェクト検出が達成される。
【００７４】
このカメラモーション情報が利用できない（例えば、カメラが情報を提供しないか、或いは、カメラから離れて分析が実施される）場合、算定されたモーションフィールドからカメラモーションを推測するための画像処理方法が既知である。これらの方法の幾つかは、圧縮された領域において実現されるように設計されており（例えば、ＭＰＥＧ−２ビデオフォーマット）、ビデオ分析の技術分野における当業者には理解されるであろう。この種の一方法は、Ｗｅｎｄ Ｒａｂｉｎｅｒ、及び、Ａｒｎａｕｄ Ｊａｃｑｕｉｎによる論文「超低ビットレートモデル支援によるビデオコード化のためのシーン内容のモーション‐適応モデリング」（「視覚通信と画像表現ジャーナル」Ｖｏｌ １８、Ｎｏ．３、ｐｐ２５０−２６２）に記載されている。
【００７５】
時間順次ディジタル信号において識別されたオブジェクトと、メタデータオブジェクトにおける関連メタデータと、の間のリンクは多くの方法で作成可能である。この種のリンクを作成するための好ましい処理は、プレイの識別されたセクションに含まれる（即ち、そのメンバーである）メタデータオブジェクト（即ち、被追跡オブジェクト）内にタグ付きのリンクエレメントを作成することである。このリンクエレメントは、そのビデオフィルムの空間時間エクステントへの指示を含む。簡単な空間時間エクステントは、開始フレーム番号と終了フレーム番号および最小限界長方形の位置とサイズによって特定可能である。限界空間領域のサイズ又は位置が不変である場合には終了フレーム番号を単にインクリメントすることにより、または、新規な空間時間エクステントへの指示を含むプレイのタグ付き識別セクションに新規なリンクエレメントを加えることにより、リンクエンティティは更新可能である。
【００７６】
以前に検出したオブジェクトと対応するメタデータとの間の既存のリンクエンティティを更新した後で、オブジェクトモーションフィールド２００における新規オブジェクト２０２がステップＳ１１６において検出される。１つの方法は画像セグメンテーションに使用される既存の領域増大方法に基づく。この方法において、モーションフィールドは、ラスタ画素ベースで調査される。そのモーションベクトル（大きさと方向）と、当該領域に既に存在する画素のモーションベクトルの平均値と、の差が方向および大きさにより特定される閾値よりも小さい場合には以前の領域（またはブロック）に１つの画素が加えられる。モーションフィールドにおいて取り得る最大の大きさを踏まえて成長する領域の「種」となる画素を選択することによって、この簡単な方法は強化することが出来る。これらの規則は、明らかに小さ過ぎるか、または、関連ビデオフレーム内の正しくない位置に所在するオブジェクトを拒否する為に用いてもよく、そうすることにより、不適切な識別の可能性を減少させる。この方法では、記録されたスポーツ試合の例においては、隣接フレームの間で或る程度の動きが起きたとしても、頭上を飛ぶ鳥またはサポータの群衆内の動きは検出出来ない。
【００７７】
好ましい実施例において、オブジェクトは最小限界長方形内に密封される（ステップＳ１１７、図１）。特に、各オブジェクト２０２は、最小限界長方形の対向するそれぞれの隅を識別する２対の格子座標によって識別可能である。事実、これは、前記の長方形に関して位置とサイズ両方の情報を提供する。位置情報を提供するために１対のみの格子座標を使用し、同時に、高さを表す値および幅を表す値で長方形のサイズを定義してもよい。注目オブジェクト（プレーヤ）を空間的に識別するために限界長方形を使用すれば、画像処理方法を用いて正確なオブジェクトの境界を求める必要がなくなる。ただし、オブジェクトの正確な境界を決定することが出来る場合には、これらのエクステントに対する基準を使用することが出来る。
【００７８】
メタデータオブジェクトは、符号化された時間順次ディジタル信号内に「パッケージ」することが出来る。メタデータオブジェクト内に含まれるリンクエンティティは、ＴＶ放送における特定の空間領域を任意の付加情報に関係づけるために使用することが出来る。この場合、各リンクは２つのリンクエンドを持ち、一方は時間順次ディジタル信号と結びつき、もう一方はメタデータにおける付加情報と結びつく。
【００７９】
その最も単純な形態において、メタデータは、時間順次ディジタル信号において各注目オブジェクトの存在に単にタグを付ける。このタグは、同一時間順次ディジタル信号におけるすべての他のオブジェクトから当該オブジェクトを区別する番号または他の記号によって識別されることが好ましい。ただし、以下に詳細に検討するように他のタイプのメタデータを同様に使用しても差し支えない。
【００８０】
パン動作に関する情報を除去した結果を図２に示す。ここで、１対の隣接フレームの間の違いからパン操作またはズームによって引き起こされた違いを差し引いた結果として、比較的大きい静的エリア２０６（ドット２０１によって示される）と比較的小さいオブジェクト２０２とを有するオブジェクトモーションフィールド２００が生成されている。オブジェクト２０２は、コヒーレントブロックでもある２０２がこの場合にはフレームの右に向かって移動していることを示す二次元のモーションベクトル２０３から成る。境界２０４は、オブジェクト２０２のエクステントを定義し、図１のステップＳ１１５で、後続するフレーム内に同一オブジェクトを検出するための基礎を形成することが出来る。既に検討したように、最小限界長方形２０５は、処理を節減すること、及び、検出された各オブジェクトのサイズとロケーションのアドレッシングを更に容易にすることを可能にする。長方形以外の境界が使用可能であることも理解されるであろう。
【００８１】
図３に示すサブステップは、直前のビデオフレームにおいて識別されたオブジェクト２０２に関するメタデータを更新する。１つのフレームが複数のオブジェクトを含み、従って、それと関連した複数のトラッカーを持つことも珍しくない。第１のステップにおいて、トラッカーリストから第１のトラッカーが求められる（ステップＳ３０２）。トラッカーリストは、以前のフレームにおいて識別されたオブジェクトと関連したトラッカーのリストであり、多くのフレームによって以前に生成されたトラッカー、または、新規オブジェクト２０２が直前のフレームにおいて見付けられた結果として生成されたあらゆるトラッカーを含む。所定のフレームに関して少なくとも１つのトラッカーが存在すると仮定すれば、注目トラッカーに対応するオブジェクト２０２の位置を特定することが可能かどうかを調べるためにビデオフレーム（２０１、図２）が検査される。好ましい実施例において、追跡中のオブジェクトの位置を特定しようとする試みは、以前のフレームにおけるオブジェクトの位置の周辺領域における相関計算に基づく。オブジェクト２０２の位置が特定された場合には、ステップＳ３０４に関して検討したように、当該オブジェクトの最終フレームからのあらゆる動きを考慮するために、メタデータにおけるリンクエンティティが更新される。
【００８２】
ステップＳ３０５の後で、更新対象とされたオブジェクト２０２は、オブジェクトモーションフィールド２０１から除去される（ステップＳ３１０、図３）か、或いは、現行フレームに関する更なる配慮に基づいて他の何等かの方法によって除去される。従って、当該オブジェクトは、図１のステップＳ１１６における新規オブジェクトとは見なされない。
【００８３】
次に、リスト内において、その次のトラッカーが求められ（ステップＳ３０８、図３）、リスト内の全てのトラッカーが処理されるまで継続して処理される。この段階において、方法はステップＳ１１６（図１）に移動し、このステップにおいて、当該オブジェクトモーションフィールド内の残りのあらゆるオブジェクト２０２が調査される。
【００８４】
現行トラッカーと関連したオブジェクト２０２の位置がステップＳ３０５において特定されない場合には、当該オブジェクトのメタデータが完結し（ステップＳ３０６）、当該トラッカーがリストから除去される（ステップＳ３０７）。
【００８５】
既存および新規オブジェクト２０２に関して当該フレーム全体の処理が完了すると、その次のフレームが検査される。
【００８６】
図４及び５に示す本発明の更なる実施例において、種々のオブジェクト２０２と関連したメタデータは所定の識別情報を含む。当該ビデオの性質が既知である場合には、所定の識別情報は、検出される可能性のあるオブジェクト２０２のタイプ又はクラスに関連づけられるか、或いは、当該オブジェクトに予期される動きのタイプにさえも関係することが好ましい。例えば、サッカー又はオーストラリアンフットボールのような競技の場合には、プレーヤのジャージに記された番号に基づくか、或いは、他の何等かの識別済み信号によりプレーヤを識別するために、所定の情報を用いることが出来る。プレー中のチームが既知である場合には、所定の識別情報は、期待される特定のプレーヤーに関係付けることも出来る。
【００８７】
その一意的に識別するための特徴を検索することによって各オブジェクト２０２を識別することを試みることとする。フットボール試合において、各プレーヤーは、通常、当該プレーヤのジャージに記された番号によって一意的に識別される。公知のオブジェクト認識技法を用いることにより、ジャージに記された番号、ひいてはその番号に対応するプレーヤが識別可能である。これらの番号は、一般に、放送される試合におけるプレーヤをＴＶ視聴者が識別できる程度に十分に大きくかつ明瞭である。従って、当該オブジェクトとリンクするメタデータにこの情報を加えることが出来る。基礎的な形式において、リンクエンティティは、識別されたオブジェクトを適当なタグへ単にリンクするだけのものである。この場合のタグはプレーヤーの名前または他の何等かの適当なＩＤを含むことが好ましい。その代りに、或いは加えて、当該プレーヤに関する詳細事項、例えばプレーヤの年齢、出場試合回数、或いは、本実施例を別の試合または現在進行中の試合に以前に適用したことから導かれた統計的情報すら、認識されたオブジェクトにリンクさせてもよい。
【００８８】
その代りに、或いは加えて、図４及び５に関して以下に検討するように、付加メタデータを当該メタデータに手入力により付加することも可能である。例えば、ビデオ信号からプレーのタイプを分類することは出来ないであろう。しかし、この情報は、統計目的に関しては役立つ可能性がある。従って、以前にタグを付けたオブジェクトに付加情報を付加する（即ち、注釈する）ために、ある処理を用いることができる。
【００８９】
生成されたメタデータは、別々に、かつ時間順次ディジタル信号と緩やかに関連させて記憶することが出来る。また、メタデータを、符号化された時間順次ディジタル信号と共にパッケージ化することも出来る。例えば、ＭＰＥＧ−２ストリーム内には、幾つかのプライベートデータを記憶することが可能であるし、ＭＰＥＧ−４規格は、関連メタデータを記憶するのに有用である。時間順次ディジタル信号に関連づけてメタデータオブジェクトを記憶するための正確な位置及びその方法は本発明にとっては重要ではない。ビデオの符号化および伝送の技術分野における当業者にとっては、ここに述べたフォーマット及びスキームに加えて可能性を持った多数のフォーマット及びスキームが有ることが明白であるはずである。
【００９０】
図４は、ビデオのフレーム内で識別されたオブジェクト２０２を線形的に注釈するための処理手順を示す。まず、第１のオブジェクトを獲得する（ステップＳ４０２）。一切のオブジェクトが見当たらない場合（ステップＳ４０３）にはプロセスが完了する（ステップＳ４０４）。オブジェクトが見付かった場合には、その次のステップは当該ビデオ内のオブジェクトのロケーションに行き、前記のオブジェクトが現れる場面を再生する（ステップＳ４０５）。これに続いて、注目オブジェクトに関連するメタデータに注釈を付けることが出来る（ステップＳ４０６）。一旦、注釈が完了すると、メタデータストリームにおけるその次のオブジェクトが検索される（ステップＳ４０７）。次に、処理はステップＳ４０３に戻り、全てのオブジェクトが処理されるまで継続する。
【００９１】
図４に示す処理においては、当該ビデオのフレーム内に発見された全てのオブジェクトのリストが順次検査される。当該ビデオ内において複数登場する同一オブジェクトは、単一フレーム内で検出された複数のオブジェクトと同様に、別々のものとして扱われる。初めて登場するオブジェクトが現れるフレームが、ビデオテープの早送りによるか又はランダムアクセスにより当該ビデオから検索される（ステップＳ４０４）。ランダムアクセス可能な場合として、ビデオがハードドライブ又はソリッドステートメモリに記憶される場合が挙げられる。例えば、サッカーの試合では、複数のプレーヤー、即ち複数のオブジェクトが１つのフレーム内に存在し得る。例えば、関連した最小限界長方形２０５を無模様のコントラストカラーで表示したとすると、選択されたオブジェクト２０２を視覚的に目立たせることができる。これにより、システムオペレータは、現行フレーム内におけるどのプレーヤがその注釈に関係するかが正確に分かる。
【００９２】
ステップＳ４０２では、注釈が加えられる。注釈は、キーボードを介して、或いは、音声認識ソフトウェアを用いることにより、テキスト入力によって加えられる。また、付加可能な注釈の最大数を定めることも可能であり、その場合、比較的少数のキー又はボタンを用いた「ホットキー」注釈を許容する。例えば、サッカーの場合であれば、パス、ドリブル、シュート、タックル、その他多くの動作の各々に１つのキーが割当てられる。該当するキーを押すことにより、注目する被追跡プレーにおいて、選択プレーヤが実施中の動作を表すコードが、メタデータに加えられる。
【００９３】
同様に、プレーヤの自動識別を用いない場合、または、ビデオフレーム内に特定のオブジェクト２０２を認識するために所定の方法が利用不可能である場合には、当該オペレータは当該プレーヤを識別する情報を手入力で加えることが出来る。
【００９４】
次に、ステップＳ４０７では、メタデータストリーム内の次のオブジェクトを選択する。例えばコンピュータキーボード上において予め選択されたキーのような簡単な順方向および後方向制御キーを使用することにより、当該オペレータは、オブジェクトの隣接インスタンスの間で容易にいずれかを選択し、関連するメタデータ注釈を付加または編集することが出来る。
【００９５】
図５はメタデータの非線形注釈に関する処理を示す。最初に、オブジェクト２０２の特定のクラスまたはタイプが注釈のために選択される（ステップＳ５０２）。当該クラスに該当するコヒーレントブロックのインスタンスが皆無である場合（ステップＳ５０３）、プロセスが完了する（ステップＳ５０４）。必要なタイプまたはクラスのオブジェクト２０２のインスタンスが見つかった場合には、当該インスタンスが当該ビデオ内において位置決めされ、再生される（ステップＳ５０５）。注目オブジェクトと関連したメタデータに注釈をつけることができる（ステップＳ５０６）。これに続いて、必要なクラス又はタイプのオブジェクト２０２のその次のインスタンスが検索され（ステップＳ５０７）、この時点において、処理はステップＳ５０３に戻る。処理は、選択されたクラス又はタイプの全てのオブジェクト２０２の注釈が完了するまで継続する。
【００９６】
図５において、非線形アクセスが提供され、これにより、メタデータが単なるタグを越えた識別情報を含む。これは、例えばプレーヤのジャージに記された番号によるものと仮定して、プレーヤが自動的または手動で識別されるか、または、検出された各プレーヤが属するチームが識別されるような状況を含む。この方法においては、ステップＳ５０２において、例えば特定プレーヤを識別する必要な情報が選択される。この必要条件を満足させるその次のオブジェクト２０２は、図４のステップＳ４０５に関係して既に述べたように、選択されたオブジェクト２０２がハイライトの状態になり（ステップＳ５０５）、必要に応じて早送り又はランダムアクセスのどちらかにより当該ビデオ内のその位置に進む。次に、図４のステップＳ４０６に関係して述べたように、選択されたオブジェクトと関連したメタデータが編集または付加可能である。特定オブジェクトの注釈が完了した場合には、オペレータはその次のオブジェクト２０２に移動し、図４のステップＳ４０７に関係して述べたように、選択された必要条件を満足させることが出来る（ステップＳ５０７）。必要条件を満足させるコヒーレントモーションオブジェクトの全てのインスタンスが満足された場合には、当該プロセスが完了する（ステップＳ５０４）。
【００９７】
本実施例によれば、試合統計資料の生成が遥かに容易になり、多数の統計資料のうちの任意の資料を濃縮したビデオプレゼンテーションをコーチが生成することを可能にする。例えば、チーム内の各プレーヤは、特定の試合における当該プレーヤの動作についての要約ビデオ記録を入手することが出来る。また、特定の動作または関係したプレーに関する情報を含むようにメタデータが構成された場合には、コーチは、例えば、当該チームが得点した全てのインスタンスを選択することが出来る。撮影された未加工の試合場面のプレゼンテーションがどこまでカスタマイズできるかは、識別された各オブジェクトに関して記録された情報の量およびタイプによって規定される。
【００９８】
本発明の別の実施例においては、放送の視聴者がメタデータを利用することが可能である。例えば、サッカー競技がテレビの視聴者に対して放映される場合、適切に構成されたテレビ受像機（例えば、ＴＥＬＥＴＥＸＴ（商標）、ディジタルデータ放送、等を介して）には、メタデータも供給可能である。一般に、メタデータは競技開始以前にダウンロードされるが、しかし、公知の方法による個別に伝送するか、又は、ビデオ信号を用いてインタリーブすることにより、放送中におけるメタデータの提供も可能である。同様に、例えばＭＰＥＧ符号化等において許容されているフレームのような私用データフレームをメタデータの伝送用に使用することも可能である。
【００９９】
テレビジョン又は他のディスプレイ（図示せず）上で当該競技を見ている場合には、視聴者は、マウス又は他の入力装置（図示せず）を使用して画面に現れているプレーヤーを選択する。特定のプレーヤを選択すると、当該視聴者には、例えば当該プレーヤの名前、彼が所属しており現在プレイ中のチームの名前、当該プレーヤの年齢、出身、及び、実績にする統計情報のような情報、及び、現行競技における当該プレーヤの動作に関する現行情報さえも提供される。この情報は、テレビジョン上の窓様領域、または、主スクリーンから分離した手提げ個人ビューアに提供可能である。
【０１００】
前記の諸実施例の方法は、例えば図６に示すように従来型の汎用コンピュータシステム６００を用いて実施することが好ましい。この場合、図１から図５、図７、図８までを参照して記述したプロセスは、例えば、コンピュータシステム６００内で実行中のアプリケーションプログラムのようなソフトウェアとして実行することが出来る。特に、図１に示す方法のステップは、当該コンピュータによって実行されるソフトウェアにおける命令によって実施される。この種のソフトウェアは、２つの部分に分割可能である。その一方は、リンクする方法を実行するための部分であり、他方は、コンピュータとユーザとの間のユーザインタフェースを管理するための部分である。前記のソフトウェアは、例えば、以下に述べる記憶装置を含むコンピュータ読取り可能な媒体に記憶可能である。ソフトウェアは、コンピュータ読取り可能な媒体からコンピュータにロードされ、次に、コンピュータによって実行される。例えば、ソフトウェア又はそこに記録されたコンピュータプログラムを有するコンピュータ読取り可能な媒体はコンピュータプログラムプロダクトである。コンピュータにおいてコンピュータプログラムプロダクトを使用し、本発明の実施例に従ってメタデータを時間順次ディジタル信号とリンクするために有利な装置を実現することが好ましい。
【０１０１】
システム６００は、コンピュータモジュール６０１、キーボード６０２のような入力装置、プリンタ６１５を含む出力装置、及び、ディスプレイ装置６１４を有する。変調機−復調機（モデム）トランシーバデバイス６１６は、例えば、電話線６２１又は機能媒体を介して接続可能な通信ネットワーク６２０に関して交信するために、コンピュータモジュール６０１によって使用される。モデム６１６は、インターネット及び例えば構内データ通信網（ＬＡＮ）または広域通信網（ＷＡＮ）のような他のネットワークシステムへアクセスするために使用出来る。システム６００は、本発明の実施例に従って一連のフレームを規定する時間順次ディジタルビデオ信号を生成するためのビデオカメラ６２２も含む。
【０１０２】
通常、コンピュータモジュール６０１は、少なくとも１つのプロセッサユニット６０５、例えば半導体ランダムアクセスメモリ（ＲＡＭ）と読取り専用メモリ（ＲＯＭ）によって形成されるメモリユニット６０６、ビデオインタフェースを含む６０７入力／出力（Ｉ／Ｏ）インタフェース、及びキーボード６０２用Ｉ／Ｏインターフェイス６１３と任意装備のジョイスティック（図示せず）、及びモデム６１６用インタフェース６０８を含む。記憶デバイス６０９が装備され、通常、ハードディスクドライブ６１０とフロッピーディスクドライブ６１１を含む。磁気テープドライブ（図示せず）も使用可能である。ＣＤ‐ＲＯＭドライブ６１２は一般に、データの持久ソースとして装備される。コンピュータモジュール６０１の構成要素６０５から６１３までは、一般に、相互接続されたバス６０４を介して、かつ関連技術分野における当業者にとって公知であるコンピュータシステム６００の従来型オペレーションモードを結果的に実施する方法において通信する。
【０１０３】
一般に、上記実施例のアプリケーションプログラムは、ハードディスクドライブ６１０に常駐し、プロセッサ６０５による実行に際して読取られ、かつ制御される。プログラム、及び、ネットワーク６２０により伝送されたあらゆるデータの中間の記憶は、場合によってはハードディスク６１０と協力して半導体記憶装置６０６を用いることにより達成可能である。場合により、アプリケーションプログラムは、ＣＤ‐ＲＯＭ又はフロッピーディスク上に符号化されたユーザに供給可能であり、対応するドライブ６１２または６１１を介して読取り可能であり、或いは、その代りに、モデムデバイス６１６を介してネットワーク６２０からユーザによって読取り可能である。更に、ソフトウェアは、磁気テープ、ＲＯＭまたは集積回路、或いは、磁気‐光学ディスク、コンピュータモジュール６０１と他のデバイスとの間の無線または赤外線伝送チャネル、ＰＣＭＣＩＡカードのようなコンピュータ読取り可能カード、及び、Ｅメイル伝送およびウェブサイト等に記録された情報を含むインターネット及びイントラネットを含む他のコンピュータ読取り可能媒体からコンピュータシステム６００にロードされることも可能である。上に述べた事は、関連コンピュータ読取り可能媒体の一例に過ぎない。本発明の適用範囲および趣旨から逸脱しなければ、他のコンピュータ読取り可能媒体にも使用可能である。
【０１０４】
メタデータを時間順次ディジタル信号とリンクする方法は、代案として、例えば図１から図５までの機能又はサブ機能を実施する１つ又は複数の集積回路のような専用ハードウェアにおいて実行可能である。この種の専用ハードウェアは、グラフィックプロセッサ、ディジタル信号プロセッサ、または、１つ又は複数のマイクロプロセッサ、および、関連記憶装置を含んでも差し支えない。
【０１０５】
多数の特定例を参照して本発明について記述したが、本発明が他の多くの形式において具体化可能であることを理解されたい。例えば、システム６００は、ビデオカメラユニット（図示されず）に組み込むことが出来る。前記のビデオカメラユニットは、携帯用であっても差し支えなく、また、スポーツイベントを記録するためにカメラオペレータが使用しても差し支えない。
【０１０６】
【発明の効果】
本発明によれば、動画中に表されるオブジェクトについての情報を有効に利用することのできる画像処理方法及びシステム並びに装置を提供することができる。
【図面の簡単な説明】
【図１】メタデータと一連のフレームを定義する時間順次ディジタル信号とをリンクする方法を示すフローチャートである。
【図２】図１に示す方法を用いて検出され、境界および関連最小限界長方形によって定義されるコヒーレントモーションブロックを有するオブジェクトモーションフィールドを示す図である。
【図３】図１においてＳ１１５によって示される「プロセストラッカーリスト」ステップの詳細を示すフローチャートである。
【図４】図１に示す方法を使用するためにオブジェクトについて注釈する方法を示すフローチャートである。
【図５】図１に示す方法を使用するためにオブジェクトについて注釈する代替方法を示すフローチャートである。
【図６】本発明の実施例を実行することのできる汎用コンピュータの概略ブロック図である。
【図７】オーストラリアンフットボール競技用の記述スキームを定義する拡張可能なマークアップ言語（ＸＭＬ）文書型定義（ＤＴＤ）を示す図である。
【図８】図７のＤＴＤファイルによって定義された記述スキームを用いて、特定のオーストラリアンフットボール競技の一部分に関して作成されたＸＭＬ文書形式のメタデータオブジェクトを示す図である。
【符号の説明】
２００ オブジェクトモーションフィールド
２０２ オブジェクト
２０３ 二次元モーションベクトル
２０５ 最小限界長方形
６００ システム
６０１ コンピュータモジュール
６０７ ビデオインタフェース
６１５ プリンタ
【発明の属する技術分野】
本発明は画像処理方法、画像処理装置及び記憶媒体に関する。
【０００２】
【従来の技術】
本文書を通じて用いられる「メタデータ」という用語は、特定の場合においてこれと矛盾した意味を持つことが明瞭に意図されない限り、他のデータと関連しているデータを意味するものとして広義に解釈されるべきものであることを理解されたい。例えば、フレームを横切って歩行する一人の人物の一続きの場面を（オブジェクトデータの形で）表す１つ又は複数のビデオフレームは、その一続きの場面と関連したメタデータを有する。メタデータは、ビデオフレームの属性または内容を何等かの方法で記述する付加データの形式をとることができる。例えば、メタデータは、人の衣服の色、人の名前（または、年齢その他の個人的な詳細）のような情報に関するものでもよいし、その人が歩いているという事実を記述してもよい。メタデータには主データに関する任意の形式の付加データを含んでもよいが、主データを何等かの方法で記述する（又は、その記述を表す）ことが好ましい。
【０００３】
様々なチームスポーツが一層職業化するにつれて、コーチによるチーム及び個々のプレーヤの分析が重要性を増してきた。従って、特定チームのコーチ及びプレーヤが過去の試合のビデオフィルムを再検討し、見付けた欠点を全て改善訓練によって修正すべく、チーム戦略或いは試合運びに見られるエラー又は弱点を探求することが少なくない。代りに、或いは、加えて、適切な試合運びを選ぶことによりつけ込めそうな弱点を見つけ出す為に敵チームの動きやチームプレーを研究することもある。
【０００４】
【発明が解決しようとする課題】
従来、この種の分析は、通常、記録されている試合のビデオフィルムをコーチが速送りして見ることによって、比較的特別な場合として実施されてきた。プレーヤは、その個々の動作に関する手書きのノートを用いてコーチにより識別される。しかし、コーチのチーム又は敵チームの中から特定プレーヤの動作を見付けることは骨の折れる仕事であり、複数の試合について検討する必要のある場合には特にそうである。
【０００５】
これに対する一つの解決方法としては、利用できる状態にある各々のビデオを注意深く観察し、各プレーヤの外観、ひいては各々の外観を有する当該プレーヤの動作のカタログを作ることがある。ビデオの画面に各プレーヤが入ってくると、そのビデオテープの時間またはフレーム番号のどちらかを記録しておき、そのビデオテープ上の正確な位置にダイレクトに進むことによって後からアクセスすることが出来る。コンピュータデータベースにこの種の情報のカタログを作成しておけば、特定のプレーヤについてコンピュータ探索を行えば、もしかしたらビデオに記録されている多数の試合にわたって、興味がありそうな位置のリストを作ることができると考えられる。しかし、この方法も、依然として比較的骨の折れる仕事であって、煩雑であり、しかも時間がかかる。更に、この種のデータベースを充填するために必要な情報は、試合の後のオフラインの状態でしか生成できず、リアルタイムでの利用は不可能である。
【０００６】
本発明の目的は、上記従来技術の欠点を解消するか、或いは、少なくとも実質的に改善することにあり、動画中に表されるオブジェクトについての情報を有効に利用することのできる画像処理方法及びシステム並びに装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像処理方法にあっては、
複数のフレームから構成される時間順次ディジタル信号内の時間空間エクステントへのリンクを有する構造化言語データで表現されたメタデータオブジェクトを生成する画像処理方法であって、
前記時間順次ディジタル信号において注目オブジェクトを検出するオブジェクト検出工程と、
前記メタデータオブジェクトに少なくとも１つのメタデータエレメントを生成する生成工程と、
前記メタデータオブジェクトの一部を形成し、前記メタデータエレメントと前記検出工程で検出された前記注目オブジェクトとの間のリンクエンティティを定義する定義工程と、
前記時間順次ディジタル信号において前記注目オブジェクトを追跡する追跡工程と、
前記注目オブジェクトの前記時間順次ディジタル信号における新規な時間空間エクステントを含むように前記メタデータオブジェクト内のリンクエンティティを更新する更新工程と、
前記生成したメタデータオブジェクトを前記時間順次ディジタル信号に関連付ける関連付け工程とを含むことを特徴とする。
【００５８】
【発明の実施の形態】
本発明は、メタデータを時間順次ディジタル信号とリンクする方法に関する。一般に、時間順次ディジタル信号とは、多数の既知フォーマットの内のいずれかで表したビデオ信号をいうものとする。時間順次ディジタル信号は、モニタまたは他のディスプレイ装置上に順次に呈示される一連のフレームまたは少なくともオブジェクトを定義する。各フレームまたはオブジェクトの間の変化は、人間の目によって運動として解釈される。
【００５９】
本発明は、そもそも、例えばサッカーまたはオーストラリアンフットボールのようなチーム競技のビデオフィルムの内容の表現及びカタログに用いるために開発されたものである。これにより、個々のプレーヤが写っているか或いはある特定の動作を行なっているビデオにおいて、空間的および時間的に定義されたセクションまたはエクステントを自動的に識別することが可能となる。今後、この特定の応用例を参照しながら本発明について記述するが、本発明がこの分野での利用にのみ制限されるものでないことを理解されたい。
【００６０】
最も簡単な形としての上述の運動は、静止した背景を横断して動くオブジェクトの形をとる。一例は、前景を横断して歩いている人の居る家具付きの部屋の静的画像である。この場合、視聴者にとって、前記の人は動くオブジェクトとして容易に認識可能であり、同時に、背景（即ち、部屋）は動くものとは思われない。
【００６１】
逆に、例えば風景のような比較的安定した場面をカメラがパンする場合には、カメラ自体が移動しているのであるが、人間の目は、場面自体の動きでなくて観察者の焦点の動きとしてこれを解釈する傾向がある。従って、移動していると解釈されるオブジェクトは一切存在しない。
【００６２】
他の一例は、動くオブジェクトがカメラによって実質的に追跡され、同時に、背景に対して当該カメラが相対的に移動する場合である。一例として、ラグビー競技を行い、ボールを持って走っている人物がある。この場合、カメラは、通常、ボールを持った人物を追いかけようとし、そのため、背景としてのスポーツフレームをよこぎってカメラをパンすることが必要である。ボールを持った人物は、通常、フレームの中心に所在するか、或いは、フレームの中心から僅かに離れて配置される。その位置は、ディレクタが決定する前後関係による必要性に応じて決まる。例えば、ボールを持った人物が、サイドラインの比較的近くを走っている場合には、通常、カメラオペレータは、ビデオフレームの片側であってサイドラインに近接した位置に走っているプレーヤーが配置され、ビデオの絵柄の残りの大部分にはそれ以外の自軍プレーヤおよび敵軍プレーヤが現れるような絵柄を選択するはずである。
【００６３】
最後の一例は、カメラは一方向にパンしながら、同時に、一つのオブジェクトが別の方向に移動している場合である。この種のシナリオの一例として、上記したようなボールを持って走っている人物を敵プレーヤがタックルしようとしている場面を挙げることが出来る。
【００６４】
本発明は、チームスポーツにおけるプレーヤ、カーレースおける自動車、および、背景に対して動く他のオブジェクトを含むこの種の動くオブジェクトの検出に関する。
【００６５】
図７は、オーストラリアンフットボール競技用の好ましい実施例を実現する際に使用するための記述スキームを定義する拡張可能なマークアップ言語（ＸＭＬ）文書型定義（ＤＴＤ）を示す。ＤＴＤは競技の記述に使用できる記述エレメントの定義を含む。記述エレメントは、シンタックス「＜！ＥＬＥＭＥＮＴ Ｅｌｅｍｅｎｔ Ｎａｍｅ＞」（図７の２１行）を用いて定義され、ここで、エレメントネームは定義される記述エレメントの名前である。各定義は、記述エレメントと関連した１組の属性の定義を含むことができる。規定された記述エレメントに関する属性定義はシンタックス「＜！ＡＴＴＬＩＳＴ Ｅｌｅｍｅｎｔ Ｎａｍｅ＞」（図７の２２行）で始まる。
【００６６】
図８は、図７のＤＴＤファイルによって定義された記述スキームを用いて、特定のオーストラリアンフットボール競技の一部分に関して作成されたＸＭＬ文書形式のメタデータオブジェクトを示す。ここでのメタデータオブジェクトは、競技の第１クオータ中に行われた２つの「プレー」を定義する。第１のプレー（図８の２０〜２５行）は、２１番プレーヤが得点した（ボールを捕えた）ことを記録する。リンク又はポインタ（図８の２５行）はロケータ（図８の４１〜４８行）を指す。ロケータ（図８の４１〜４８行）は、識別されたオブジェクトを含む最小限界長方形の左上隅のｘおよびｙ座標及び高さと幅を定義する時間空間エクステント（図８の４２〜４８行）、および、そこで定義された長方形が適用される時間順次ディジタル信号の時間範囲（即ち、当該範囲の開始および終了フレーム）を含む。エクステントは、時間順次ディジタル信号のセクションを識別し、従って、空間時間エクステントは、空間的（即ち、二次元）および時間的な局所限定を有する時間順次ディジタル信号のセクションを識別する。ロケータは、一意的識別子（例えば、ｉｄ「Ｐ１」によって識別されるプレーに関する第１のロケータはｉｄ「Ｌ１」によって識別される。）を用いて識別可能な任意の規定されたエクステントを指示するものとして定義される。エクステントロケータをプレーから分離することにも利点はあるが、一方で、各エクステントロケータはその関連プレイデータに直接隣接して記録してもよいし、或いは、他のいかなる便利なフォーマット又はロケーションに記録してもよいことは理解されるであろう。
【００６７】
図面を参照して説明すると、図１は、本発明の好ましい実施例を実現するためのフローチャートである。先ず、ビデオの第１フレームがロードされる（ステップＳ１１０）。最終フレームが既に処理済みであり、従って、ロード可能なフレームが無い場合には（ステップＳ１１１）、処理が終了する（ステップＳ１１２）。フレームがロード可能である場合には（ステップＳ１１１）、モーションフィールドが計算され（ステップＳ１１３）、カメラの動きが減算され、オブジェクトモーションフィールドを生成する（ステップＳ１１４）。これに続いて、以前に検出されて現在追跡中の任意のオブジェクトが処理される。これらのオブジェクトの各々は、それに割り当てられた特定のトラッカーを持ち、存在する全てのトラッカーがトラッカーリストに保持される。トラッカーは、或るオブジェクトが追跡されるべきオブジェクトとして識別された場合に、時間順次ディジタル信号内のオブジェクトを追従または追跡しようと試みる画像処理エンティティである。一度トラッカーリストが処理されると（ステップＳ１１５）、オブジェクトモーションフィールドにおいて追跡する必要のあるオブジェクトが残っていれば、識別される（ステップＳ１１６）。
【００６８】
ステップＳ１１６においてオブジェクトモーションフィールド内で発見されたあらゆるオブジェクトの境界が算定され、新規に識別された領域に関する最小限界長方形（以下に述べる）が生成される（ステップＳ１１７）。これに続いて、検出されるあらゆる新規領域は、それらに割り当てられた１つのトラッカーを持ち、この新規トラッカーがトラッカーリストに加えられる（ステップＳ１１８）。次に、１つのオブジェクトヘッダ、及び、時間順次ディジタル信号とメタデータとの間の第１のリンクエンティティがメタデータオブジェクトに記入される（ステップＳ１１９）。図８に示す例に関して、オブジェクトヘッダは、メタデータオブジェクトにおいて新規「プレー」エレメントを生成することを意味し、この場合の新規「プレー」エレメントはｉｄ（ここでは、「Ｐ１」）によって一意的に識別され、第１のリンクエンティティは識別された「プレー」エレメント内に含まれる第１の「ＣＬＩＮＫ」エレメントを意味する。この方法はステップＳ１１０に戻り、最終フレームに到達するまで繰り返される。
【００６９】
ＤＴＤは、注目している「追跡された」新規セクションの開始を規定するタグを定義する。図７におけるＤＴＤの場合には、このエレメントが「プレー」エレメント（図８の２０行）である。「プレー」エレメントは、プレーのセクション（例えば、プレーヤーＩＤ、プレーの型、注釈者名）、および、ディジタルビデオにおいて識別された空間時間エクステントに関する１つ又は複数のリンク（図８の２５行）について更に記述する属性を持つように定義される。他の一実施例において、「プレー」エレメントの属性として記憶された情報は、「プレー」エレメントの子エレメントとして表わすことができる（即ち、子エレメントは＜プレー＞エレメント内に含まれる）。
【００７０】
図２において、図１のステップＳ１１４において生成されると同様のオブジェクトモーションフィールド２００を示す。オブジェクトモーションフィールドは、各フレームに関して算定可能なあらゆるカメラモーションを算定済みモーションフィールドから除去することによって求められる。モーションフィールドは、ディジタルビデオ分析の技術分野における当業者にとって公知である例えばオプティカルフローのような技法を用いて、各フレームに関して算定可能である。
【００７１】
オブジェクトモーションフィールド２００は、周囲の静的エリア２０６（ドット２０１により示す）内にオブジェクト２０２を形成する際にコヒーレントモーションのブロックを示す。コヒーレントモーションブロック又はオブジェクト２０２は二次元のモーションベクトル２０３から成り、境界２０４により囲まれる。同様に、オブジェクト２０２に対する最小限界長方形２０５を示す。このオブジェクトモーションフィールドは、特定のフレームに関する算定されたモーションフィールドからあらゆるカメラモーションを除去することによって各フレームに関して算定可能である。オブジェクトモーションフィールドを生成する好ましい方法を以下に示すが、ビデオ分析の技術分野における当業者に公知の他のあらゆる技法を使用しても差し支えない。
【００７２】
オブジェクトを検出するための特定の方法は重要な意味を持たない。オブジェクトは、他のスペクトルセンサ（例えば、赤外線）、または、問題となるオブジェクトに備えられた無線送信機によって伝達された信号を用いても同様に検出可能である。ただし、ビデオカメラのパン又はズームに起因する背景自体の見掛けの動きを無視し、背景に対するモーションを識別可能にするシステムを使用すると有利である。
【００７３】
この種の識別はソフトウェアにおいて達成可能であるが、或る種のパン動作、及び／又は、ズーム出力を伴ったイベントを記録するために用いられるビデオカメラを提供することも可能である。ビデオデータの分析がカメラの内部で行なわれる場合には、当該カメラの実際のモーション（パン、ズーム、等々）に関する情報を当該分析のために利用することが出来る。このような場合、この情報は、算定されたモーションフィールド（図１のステップＳ１１３）からカメラモーションを除去するために用いられる。この種のカメラは、例えば、内部ジャイロスコープ、又は初期休止位置に対するカメラの動きを測定する加速度計測装置、に基づく位置検出手段を有する。これらの位置検出手段は、カメラの相対的なパン動作を表すムーブメント信号を生成する。このムーブメント信号は、パン操作によって引き起こされた隣接フレーム間の差を除去するために図１のステップＳ１１４において用いられる。このカメラモーションに関する情報を利用可能であることは、画素データのみに関する知識からカメラモーションをアルゴリズム的に算定しなければならないという必要条件を排除し、それによって、一層堅実なオブジェクト検出が達成される。
【００７４】
このカメラモーション情報が利用できない（例えば、カメラが情報を提供しないか、或いは、カメラから離れて分析が実施される）場合、算定されたモーションフィールドからカメラモーションを推測するための画像処理方法が既知である。これらの方法の幾つかは、圧縮された領域において実現されるように設計されており（例えば、ＭＰＥＧ−２ビデオフォーマット）、ビデオ分析の技術分野における当業者には理解されるであろう。この種の一方法は、Ｗｅｎｄ Ｒａｂｉｎｅｒ、及び、Ａｒｎａｕｄ Ｊａｃｑｕｉｎによる論文「超低ビットレートモデル支援によるビデオコード化のためのシーン内容のモーション‐適応モデリング」（「視覚通信と画像表現ジャーナル」Ｖｏｌ １８、Ｎｏ．３、ｐｐ２５０−２６２）に記載されている。
【００７５】
時間順次ディジタル信号において識別されたオブジェクトと、メタデータオブジェクトにおける関連メタデータと、の間のリンクは多くの方法で作成可能である。この種のリンクを作成するための好ましい処理は、プレイの識別されたセクションに含まれる（即ち、そのメンバーである）メタデータオブジェクト（即ち、被追跡オブジェクト）内にタグ付きのリンクエレメントを作成することである。このリンクエレメントは、そのビデオフィルムの空間時間エクステントへの指示を含む。簡単な空間時間エクステントは、開始フレーム番号と終了フレーム番号および最小限界長方形の位置とサイズによって特定可能である。限界空間領域のサイズ又は位置が不変である場合には終了フレーム番号を単にインクリメントすることにより、または、新規な空間時間エクステントへの指示を含むプレイのタグ付き識別セクションに新規なリンクエレメントを加えることにより、リンクエンティティは更新可能である。
【００７６】
以前に検出したオブジェクトと対応するメタデータとの間の既存のリンクエンティティを更新した後で、オブジェクトモーションフィールド２００における新規オブジェクト２０２がステップＳ１１６において検出される。１つの方法は画像セグメンテーションに使用される既存の領域増大方法に基づく。この方法において、モーションフィールドは、ラスタ画素ベースで調査される。そのモーションベクトル（大きさと方向）と、当該領域に既に存在する画素のモーションベクトルの平均値と、の差が方向および大きさにより特定される閾値よりも小さい場合には以前の領域（またはブロック）に１つの画素が加えられる。モーションフィールドにおいて取り得る最大の大きさを踏まえて成長する領域の「種」となる画素を選択することによって、この簡単な方法は強化することが出来る。これらの規則は、明らかに小さ過ぎるか、または、関連ビデオフレーム内の正しくない位置に所在するオブジェクトを拒否する為に用いてもよく、そうすることにより、不適切な識別の可能性を減少させる。この方法では、記録されたスポーツ試合の例においては、隣接フレームの間で或る程度の動きが起きたとしても、頭上を飛ぶ鳥またはサポータの群衆内の動きは検出出来ない。
【００７７】
好ましい実施例において、オブジェクトは最小限界長方形内に密封される（ステップＳ１１７、図１）。特に、各オブジェクト２０２は、最小限界長方形の対向するそれぞれの隅を識別する２対の格子座標によって識別可能である。事実、これは、前記の長方形に関して位置とサイズ両方の情報を提供する。位置情報を提供するために１対のみの格子座標を使用し、同時に、高さを表す値および幅を表す値で長方形のサイズを定義してもよい。注目オブジェクト（プレーヤ）を空間的に識別するために限界長方形を使用すれば、画像処理方法を用いて正確なオブジェクトの境界を求める必要がなくなる。ただし、オブジェクトの正確な境界を決定することが出来る場合には、これらのエクステントに対する基準を使用することが出来る。
【００７８】
メタデータオブジェクトは、符号化された時間順次ディジタル信号内に「パッケージ」することが出来る。メタデータオブジェクト内に含まれるリンクエンティティは、ＴＶ放送における特定の空間領域を任意の付加情報に関係づけるために使用することが出来る。この場合、各リンクは２つのリンクエンドを持ち、一方は時間順次ディジタル信号と結びつき、もう一方はメタデータにおける付加情報と結びつく。
【００７９】
その最も単純な形態において、メタデータは、時間順次ディジタル信号において各注目オブジェクトの存在に単にタグを付ける。このタグは、同一時間順次ディジタル信号におけるすべての他のオブジェクトから当該オブジェクトを区別する番号または他の記号によって識別されることが好ましい。ただし、以下に詳細に検討するように他のタイプのメタデータを同様に使用しても差し支えない。
【００８０】
パン動作に関する情報を除去した結果を図２に示す。ここで、１対の隣接フレームの間の違いからパン操作またはズームによって引き起こされた違いを差し引いた結果として、比較的大きい静的エリア２０６（ドット２０１によって示される）と比較的小さいオブジェクト２０２とを有するオブジェクトモーションフィールド２００が生成されている。オブジェクト２０２は、コヒーレントブロックでもある２０２がこの場合にはフレームの右に向かって移動していることを示す二次元のモーションベクトル２０３から成る。境界２０４は、オブジェクト２０２のエクステントを定義し、図１のステップＳ１１５で、後続するフレーム内に同一オブジェクトを検出するための基礎を形成することが出来る。既に検討したように、最小限界長方形２０５は、処理を節減すること、及び、検出された各オブジェクトのサイズとロケーションのアドレッシングを更に容易にすることを可能にする。長方形以外の境界が使用可能であることも理解されるであろう。
【００８１】
図３に示すサブステップは、直前のビデオフレームにおいて識別されたオブジェクト２０２に関するメタデータを更新する。１つのフレームが複数のオブジェクトを含み、従って、それと関連した複数のトラッカーを持つことも珍しくない。第１のステップにおいて、トラッカーリストから第１のトラッカーが求められる（ステップＳ３０２）。トラッカーリストは、以前のフレームにおいて識別されたオブジェクトと関連したトラッカーのリストであり、多くのフレームによって以前に生成されたトラッカー、または、新規オブジェクト２０２が直前のフレームにおいて見付けられた結果として生成されたあらゆるトラッカーを含む。所定のフレームに関して少なくとも１つのトラッカーが存在すると仮定すれば、注目トラッカーに対応するオブジェクト２０２の位置を特定することが可能かどうかを調べるためにビデオフレーム（２０１、図２）が検査される。好ましい実施例において、追跡中のオブジェクトの位置を特定しようとする試みは、以前のフレームにおけるオブジェクトの位置の周辺領域における相関計算に基づく。オブジェクト２０２の位置が特定された場合には、ステップＳ３０４に関して検討したように、当該オブジェクトの最終フレームからのあらゆる動きを考慮するために、メタデータにおけるリンクエンティティが更新される。
【００８２】
ステップＳ３０５の後で、更新対象とされたオブジェクト２０２は、オブジェクトモーションフィールド２０１から除去される（ステップＳ３１０、図３）か、或いは、現行フレームに関する更なる配慮に基づいて他の何等かの方法によって除去される。従って、当該オブジェクトは、図１のステップＳ１１６における新規オブジェクトとは見なされない。
【００８３】
次に、リスト内において、その次のトラッカーが求められ（ステップＳ３０８、図３）、リスト内の全てのトラッカーが処理されるまで継続して処理される。この段階において、方法はステップＳ１１６（図１）に移動し、このステップにおいて、当該オブジェクトモーションフィールド内の残りのあらゆるオブジェクト２０２が調査される。
【００８４】
現行トラッカーと関連したオブジェクト２０２の位置がステップＳ３０５において特定されない場合には、当該オブジェクトのメタデータが完結し（ステップＳ３０６）、当該トラッカーがリストから除去される（ステップＳ３０７）。
【００８５】
既存および新規オブジェクト２０２に関して当該フレーム全体の処理が完了すると、その次のフレームが検査される。
【００８６】
図４及び５に示す本発明の更なる実施例において、種々のオブジェクト２０２と関連したメタデータは所定の識別情報を含む。当該ビデオの性質が既知である場合には、所定の識別情報は、検出される可能性のあるオブジェクト２０２のタイプ又はクラスに関連づけられるか、或いは、当該オブジェクトに予期される動きのタイプにさえも関係することが好ましい。例えば、サッカー又はオーストラリアンフットボールのような競技の場合には、プレーヤのジャージに記された番号に基づくか、或いは、他の何等かの識別済み信号によりプレーヤを識別するために、所定の情報を用いることが出来る。プレー中のチームが既知である場合には、所定の識別情報は、期待される特定のプレーヤーに関係付けることも出来る。
【００８７】
その一意的に識別するための特徴を検索することによって各オブジェクト２０２を識別することを試みることとする。フットボール試合において、各プレーヤーは、通常、当該プレーヤのジャージに記された番号によって一意的に識別される。公知のオブジェクト認識技法を用いることにより、ジャージに記された番号、ひいてはその番号に対応するプレーヤが識別可能である。これらの番号は、一般に、放送される試合におけるプレーヤをＴＶ視聴者が識別できる程度に十分に大きくかつ明瞭である。従って、当該オブジェクトとリンクするメタデータにこの情報を加えることが出来る。基礎的な形式において、リンクエンティティは、識別されたオブジェクトを適当なタグへ単にリンクするだけのものである。この場合のタグはプレーヤーの名前または他の何等かの適当なＩＤを含むことが好ましい。その代りに、或いは加えて、当該プレーヤに関する詳細事項、例えばプレーヤの年齢、出場試合回数、或いは、本実施例を別の試合または現在進行中の試合に以前に適用したことから導かれた統計的情報すら、認識されたオブジェクトにリンクさせてもよい。
【００８８】
その代りに、或いは加えて、図４及び５に関して以下に検討するように、付加メタデータを当該メタデータに手入力により付加することも可能である。例えば、ビデオ信号からプレーのタイプを分類することは出来ないであろう。しかし、この情報は、統計目的に関しては役立つ可能性がある。従って、以前にタグを付けたオブジェクトに付加情報を付加する（即ち、注釈する）ために、ある処理を用いることができる。
【００８９】
生成されたメタデータは、別々に、かつ時間順次ディジタル信号と緩やかに関連させて記憶することが出来る。また、メタデータを、符号化された時間順次ディジタル信号と共にパッケージ化することも出来る。例えば、ＭＰＥＧ−２ストリーム内には、幾つかのプライベートデータを記憶することが可能であるし、ＭＰＥＧ−４規格は、関連メタデータを記憶するのに有用である。時間順次ディジタル信号に関連づけてメタデータオブジェクトを記憶するための正確な位置及びその方法は本発明にとっては重要ではない。ビデオの符号化および伝送の技術分野における当業者にとっては、ここに述べたフォーマット及びスキームに加えて可能性を持った多数のフォーマット及びスキームが有ることが明白であるはずである。
【００９０】
図４は、ビデオのフレーム内で識別されたオブジェクト２０２を線形的に注釈するための処理手順を示す。まず、第１のオブジェクトを獲得する（ステップＳ４０２）。一切のオブジェクトが見当たらない場合（ステップＳ４０３）にはプロセスが完了する（ステップＳ４０４）。オブジェクトが見付かった場合には、その次のステップは当該ビデオ内のオブジェクトのロケーションに行き、前記のオブジェクトが現れる場面を再生する（ステップＳ４０５）。これに続いて、注目オブジェクトに関連するメタデータに注釈を付けることが出来る（ステップＳ４０６）。一旦、注釈が完了すると、メタデータストリームにおけるその次のオブジェクトが検索される（ステップＳ４０７）。次に、処理はステップＳ４０３に戻り、全てのオブジェクトが処理されるまで継続する。
【００９１】
図４に示す処理においては、当該ビデオのフレーム内に発見された全てのオブジェクトのリストが順次検査される。当該ビデオ内において複数登場する同一オブジェクトは、単一フレーム内で検出された複数のオブジェクトと同様に、別々のものとして扱われる。初めて登場するオブジェクトが現れるフレームが、ビデオテープの早送りによるか又はランダムアクセスにより当該ビデオから検索される（ステップＳ４０４）。ランダムアクセス可能な場合として、ビデオがハードドライブ又はソリッドステートメモリに記憶される場合が挙げられる。例えば、サッカーの試合では、複数のプレーヤー、即ち複数のオブジェクトが１つのフレーム内に存在し得る。例えば、関連した最小限界長方形２０５を無模様のコントラストカラーで表示したとすると、選択されたオブジェクト２０２を視覚的に目立たせることができる。これにより、システムオペレータは、現行フレーム内におけるどのプレーヤがその注釈に関係するかが正確に分かる。
【００９２】
ステップＳ４０２では、注釈が加えられる。注釈は、キーボードを介して、或いは、音声認識ソフトウェアを用いることにより、テキスト入力によって加えられる。また、付加可能な注釈の最大数を定めることも可能であり、その場合、比較的少数のキー又はボタンを用いた「ホットキー」注釈を許容する。例えば、サッカーの場合であれば、パス、ドリブル、シュート、タックル、その他多くの動作の各々に１つのキーが割当てられる。該当するキーを押すことにより、注目する被追跡プレーにおいて、選択プレーヤが実施中の動作を表すコードが、メタデータに加えられる。
【００９３】
同様に、プレーヤの自動識別を用いない場合、または、ビデオフレーム内に特定のオブジェクト２０２を認識するために所定の方法が利用不可能である場合には、当該オペレータは当該プレーヤを識別する情報を手入力で加えることが出来る。
【００９４】
次に、ステップＳ４０７では、メタデータストリーム内の次のオブジェクトを選択する。例えばコンピュータキーボード上において予め選択されたキーのような簡単な順方向および後方向制御キーを使用することにより、当該オペレータは、オブジェクトの隣接インスタンスの間で容易にいずれかを選択し、関連するメタデータ注釈を付加または編集することが出来る。
【００９５】
図５はメタデータの非線形注釈に関する処理を示す。最初に、オブジェクト２０２の特定のクラスまたはタイプが注釈のために選択される（ステップＳ５０２）。当該クラスに該当するコヒーレントブロックのインスタンスが皆無である場合（ステップＳ５０３）、プロセスが完了する（ステップＳ５０４）。必要なタイプまたはクラスのオブジェクト２０２のインスタンスが見つかった場合には、当該インスタンスが当該ビデオ内において位置決めされ、再生される（ステップＳ５０５）。注目オブジェクトと関連したメタデータに注釈をつけることができる（ステップＳ５０６）。これに続いて、必要なクラス又はタイプのオブジェクト２０２のその次のインスタンスが検索され（ステップＳ５０７）、この時点において、処理はステップＳ５０３に戻る。処理は、選択されたクラス又はタイプの全てのオブジェクト２０２の注釈が完了するまで継続する。
【００９６】
図５において、非線形アクセスが提供され、これにより、メタデータが単なるタグを越えた識別情報を含む。これは、例えばプレーヤのジャージに記された番号によるものと仮定して、プレーヤが自動的または手動で識別されるか、または、検出された各プレーヤが属するチームが識別されるような状況を含む。この方法においては、ステップＳ５０２において、例えば特定プレーヤを識別する必要な情報が選択される。この必要条件を満足させるその次のオブジェクト２０２は、図４のステップＳ４０５に関係して既に述べたように、選択されたオブジェクト２０２がハイライトの状態になり（ステップＳ５０５）、必要に応じて早送り又はランダムアクセスのどちらかにより当該ビデオ内のその位置に進む。次に、図４のステップＳ４０６に関係して述べたように、選択されたオブジェクトと関連したメタデータが編集または付加可能である。特定オブジェクトの注釈が完了した場合には、オペレータはその次のオブジェクト２０２に移動し、図４のステップＳ４０７に関係して述べたように、選択された必要条件を満足させることが出来る（ステップＳ５０７）。必要条件を満足させるコヒーレントモーションオブジェクトの全てのインスタンスが満足された場合には、当該プロセスが完了する（ステップＳ５０４）。
【００９７】
本実施例によれば、試合統計資料の生成が遥かに容易になり、多数の統計資料のうちの任意の資料を濃縮したビデオプレゼンテーションをコーチが生成することを可能にする。例えば、チーム内の各プレーヤは、特定の試合における当該プレーヤの動作についての要約ビデオ記録を入手することが出来る。また、特定の動作または関係したプレーに関する情報を含むようにメタデータが構成された場合には、コーチは、例えば、当該チームが得点した全てのインスタンスを選択することが出来る。撮影された未加工の試合場面のプレゼンテーションがどこまでカスタマイズできるかは、識別された各オブジェクトに関して記録された情報の量およびタイプによって規定される。
【００９８】
本発明の別の実施例においては、放送の視聴者がメタデータを利用することが可能である。例えば、サッカー競技がテレビの視聴者に対して放映される場合、適切に構成されたテレビ受像機（例えば、ＴＥＬＥＴＥＸＴ（商標）、ディジタルデータ放送、等を介して）には、メタデータも供給可能である。一般に、メタデータは競技開始以前にダウンロードされるが、しかし、公知の方法による個別に伝送するか、又は、ビデオ信号を用いてインタリーブすることにより、放送中におけるメタデータの提供も可能である。同様に、例えばＭＰＥＧ符号化等において許容されているフレームのような私用データフレームをメタデータの伝送用に使用することも可能である。
【００９９】
テレビジョン又は他のディスプレイ（図示せず）上で当該競技を見ている場合には、視聴者は、マウス又は他の入力装置（図示せず）を使用して画面に現れているプレーヤーを選択する。特定のプレーヤを選択すると、当該視聴者には、例えば当該プレーヤの名前、彼が所属しており現在プレイ中のチームの名前、当該プレーヤの年齢、出身、及び、実績にする統計情報のような情報、及び、現行競技における当該プレーヤの動作に関する現行情報さえも提供される。この情報は、テレビジョン上の窓様領域、または、主スクリーンから分離した手提げ個人ビューアに提供可能である。
【０１００】
前記の諸実施例の方法は、例えば図６に示すように従来型の汎用コンピュータシステム６００を用いて実施することが好ましい。この場合、図１から図５、図７、図８までを参照して記述したプロセスは、例えば、コンピュータシステム６００内で実行中のアプリケーションプログラムのようなソフトウェアとして実行することが出来る。特に、図１に示す方法のステップは、当該コンピュータによって実行されるソフトウェアにおける命令によって実施される。この種のソフトウェアは、２つの部分に分割可能である。その一方は、リンクする方法を実行するための部分であり、他方は、コンピュータとユーザとの間のユーザインタフェースを管理するための部分である。前記のソフトウェアは、例えば、以下に述べる記憶装置を含むコンピュータ読取り可能な媒体に記憶可能である。ソフトウェアは、コンピュータ読取り可能な媒体からコンピュータにロードされ、次に、コンピュータによって実行される。例えば、ソフトウェア又はそこに記録されたコンピュータプログラムを有するコンピュータ読取り可能な媒体はコンピュータプログラムプロダクトである。コンピュータにおいてコンピュータプログラムプロダクトを使用し、本発明の実施例に従ってメタデータを時間順次ディジタル信号とリンクするために有利な装置を実現することが好ましい。
【０１０１】
システム６００は、コンピュータモジュール６０１、キーボード６０２のような入力装置、プリンタ６１５を含む出力装置、及び、ディスプレイ装置６１４を有する。変調機−復調機（モデム）トランシーバデバイス６１６は、例えば、電話線６２１又は機能媒体を介して接続可能な通信ネットワーク６２０に関して交信するために、コンピュータモジュール６０１によって使用される。モデム６１６は、インターネット及び例えば構内データ通信網（ＬＡＮ）または広域通信網（ＷＡＮ）のような他のネットワークシステムへアクセスするために使用出来る。システム６００は、本発明の実施例に従って一連のフレームを規定する時間順次ディジタルビデオ信号を生成するためのビデオカメラ６２２も含む。
【０１０２】
通常、コンピュータモジュール６０１は、少なくとも１つのプロセッサユニット６０５、例えば半導体ランダムアクセスメモリ（ＲＡＭ）と読取り専用メモリ（ＲＯＭ）によって形成されるメモリユニット６０６、ビデオインタフェースを含む６０７入力／出力（Ｉ／Ｏ）インタフェース、及びキーボード６０２用Ｉ／Ｏインターフェイス６１３と任意装備のジョイスティック（図示せず）、及びモデム６１６用インタフェース６０８を含む。記憶デバイス６０９が装備され、通常、ハードディスクドライブ６１０とフロッピーディスクドライブ６１１を含む。磁気テープドライブ（図示せず）も使用可能である。ＣＤ‐ＲＯＭドライブ６１２は一般に、データの持久ソースとして装備される。コンピュータモジュール６０１の構成要素６０５から６１３までは、一般に、相互接続されたバス６０４を介して、かつ関連技術分野における当業者にとって公知であるコンピュータシステム６００の従来型オペレーションモードを結果的に実施する方法において通信する。
【０１０３】
一般に、上記実施例のアプリケーションプログラムは、ハードディスクドライブ６１０に常駐し、プロセッサ６０５による実行に際して読取られ、かつ制御される。プログラム、及び、ネットワーク６２０により伝送されたあらゆるデータの中間の記憶は、場合によってはハードディスク６１０と協力して半導体記憶装置６０６を用いることにより達成可能である。場合により、アプリケーションプログラムは、ＣＤ‐ＲＯＭ又はフロッピーディスク上に符号化されたユーザに供給可能であり、対応するドライブ６１２または６１１を介して読取り可能であり、或いは、その代りに、モデムデバイス６１６を介してネットワーク６２０からユーザによって読取り可能である。更に、ソフトウェアは、磁気テープ、ＲＯＭまたは集積回路、或いは、磁気‐光学ディスク、コンピュータモジュール６０１と他のデバイスとの間の無線または赤外線伝送チャネル、ＰＣＭＣＩＡカードのようなコンピュータ読取り可能カード、及び、Ｅメイル伝送およびウェブサイト等に記録された情報を含むインターネット及びイントラネットを含む他のコンピュータ読取り可能媒体からコンピュータシステム６００にロードされることも可能である。上に述べた事は、関連コンピュータ読取り可能媒体の一例に過ぎない。本発明の適用範囲および趣旨から逸脱しなければ、他のコンピュータ読取り可能媒体にも使用可能である。
【０１０４】
メタデータを時間順次ディジタル信号とリンクする方法は、代案として、例えば図１から図５までの機能又はサブ機能を実施する１つ又は複数の集積回路のような専用ハードウェアにおいて実行可能である。この種の専用ハードウェアは、グラフィックプロセッサ、ディジタル信号プロセッサ、または、１つ又は複数のマイクロプロセッサ、および、関連記憶装置を含んでも差し支えない。
【０１０５】
多数の特定例を参照して本発明について記述したが、本発明が他の多くの形式において具体化可能であることを理解されたい。例えば、システム６００は、ビデオカメラユニット（図示されず）に組み込むことが出来る。前記のビデオカメラユニットは、携帯用であっても差し支えなく、また、スポーツイベントを記録するためにカメラオペレータが使用しても差し支えない。
【０１０６】
【発明の効果】
本発明によれば、動画中に表されるオブジェクトについての情報を有効に利用することのできる画像処理方法及びシステム並びに装置を提供することができる。
【図面の簡単な説明】
【図１】メタデータと一連のフレームを定義する時間順次ディジタル信号とをリンクする方法を示すフローチャートである。
【図２】図１に示す方法を用いて検出され、境界および関連最小限界長方形によって定義されるコヒーレントモーションブロックを有するオブジェクトモーションフィールドを示す図である。
【図３】図１においてＳ１１５によって示される「プロセストラッカーリスト」ステップの詳細を示すフローチャートである。
【図４】図１に示す方法を使用するためにオブジェクトについて注釈する方法を示すフローチャートである。
【図５】図１に示す方法を使用するためにオブジェクトについて注釈する代替方法を示すフローチャートである。
【図６】本発明の実施例を実行することのできる汎用コンピュータの概略ブロック図である。
【図７】オーストラリアンフットボール競技用の記述スキームを定義する拡張可能なマークアップ言語（ＸＭＬ）文書型定義（ＤＴＤ）を示す図である。
【図８】図７のＤＴＤファイルによって定義された記述スキームを用いて、特定のオーストラリアンフットボール競技の一部分に関して作成されたＸＭＬ文書形式のメタデータオブジェクトを示す図である。
【符号の説明】
２００ オブジェクトモーションフィールド
２０２ オブジェクト
２０３ 二次元モーションベクトル
２０５ 最小限界長方形
６００ システム
６０１ コンピュータモジュール
６０７ ビデオインタフェース
６１５ プリンタ
Claims (13)
- 複数のフレームから構成される時間順次ディジタル信号内の時間空間エクステントへのリンクを有する構造化言語データで表現されたメタデータオブジェクトを生成する画像処理方法であって、
前記時間順次ディジタル信号において注目オブジェクトを検出する検出工程と、
前記メタデータオブジェクトに少なくとも１つのメタデータエレメントを生成する生成工程と、
前記メタデータオブジェクトの一部を形成し、前記メタデータエレメントと前記検出工程で検出された前記注目オブジェクトとの間のリンクエンティティを定義する定義工程と、
前記時間順次ディジタル信号において前記注目オブジェクトを追跡する追跡工程と、
前記注目オブジェクトの前記時間順次ディジタル信号における新規な時間空間エクステントを含むように前記メタデータオブジェクト内のリンクエンティティを更新する更新工程と、
前記生成したメタデータオブジェクトを前記時間順次ディジタル信号に関連付ける関連付け工程とを含むことを特徴とする画像処理方法。 - 前記検出工程は、前記注目オブジェクトは前記フレーム内の背景に対する動きに基づいて検出されることを特徴とする請求項１に記載の画像処理方法。
- 前記複数のフレームにおいて、連続した２つ又はそれ以上のフレームを比較することによって前記注目オブジェクトが検出されることを特徴とする請求項２に記載の画像処理方法。
- 前記注目オブジェクトが各フレームにおけるその位置に関する位置情報を維持することによって追跡されることを特徴とする請求項３に記載の画像処理方法。
- 前記位置情報が各フレームに関して更新されることを特徴とする請求項４に記載の画像処理方法。
- 前記時間順次ディジタル信号において、検出される注目オブジェクトの１つ又は複数のクラスに関する所定の識別情報を生成する識別情報生成工程と、
前記注目オブジェクトを前記識別情報を参照して検出する検出工程と、
前記注目オブジェクトが検出された場合に、前記識別情報を当該注目オブジェクトと該当するメタデータオブジェクトとの間のリンクに関係付ける工程とを含むことを特徴とする請求項５に記載の画像処理方法。 - 前記構造化言語データはＸＭＬデータであることを特徴とする請求項１に記載の画像処理方法。
- 前記追跡工程は、前記フレームにおいて、複数のモーションベクトルによって特性付けられ、各モーションベクトルが前記フレーム内の複数の空間領域のモーションを表すオブジェクトモーションフィールドを前記フレームの背景との関係から決定する工程と、
所定のしきい値範囲内の対応するモーションベクトルを有する隣接した領域を１つ又は複数のオブジェクト領域内にグループ化する工程とを含むことを特徴とする請求項１に記載の画像処理方法。 - 前記空間領域が画素であることを特徴とする請求項８に記載の画像処理方法。
- 前記グループ化工程が領域成長方法を利用することを特徴とする請求項８又は９に記載の画像処理方法。
- 前記時間順次ディジタル信号をＭＰＥＧ−２又はＭＰＥＧ−４の方式によって符号化し、前記メタデータオブジェクトと共に記憶媒体に記憶する工程を含むことを特徴とする請求項１乃至１０のいずれか一つに記載の画像処理方法。
- 複数のフレームから構成される時間順次ディジタル信号内の時間空間エクステントへのリンクを有する構造化言語データで表現されたメタデータオブジェクトを生成する画像処理装置であって、
前記時間順次ディジタル信号において注目オブジェクトを検出する検出手段と、
前記メタデータオブジェクトに少なくとも１つのメタデータエレメントを生成する生成手段と、
前記メタデータオブジェクトの一部を形成し、前記メタデータエレメントと前記検出手段で検出された前記注目オブジェクトとの間のリンクエンティティを定義する定義手段と、
前記時間順次ディジタル信号において前記注目オブジェクトを追跡する追跡手段と、
前記注目オブジェクトの前記時間順次ディジタル信号における新規な時間空間エクステントを含むように前記メタデータオブジェクト内のリンクエンティティを更新する更新手段と、
前記生成したメタデータオブジェクトを前記時間順次ディジタル信号に関連付ける関連付け手段とを含むことを特徴とする画像処理装置。 - 請求項１に記載の画像処理方法を実行する制御プログラムを記憶したコンピュータにより読取り可能な記憶媒体。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| AUPP4622A AUPP462298A0 (en) | 1998-07-10 | 1998-07-10 | Multiple object tracking |
| AUPP4621A AUPP462198A0 (en) | 1998-07-10 | 1998-07-10 | Linking metadata with a time sequential digital signal |
| AU4621 | 1998-07-10 | ||
| AU4622 | 1999-12-13 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000106661A JP2000106661A (ja) | 2000-04-11 |
| JP2000106661A5 JP2000106661A5 (ja) | 2006-09-14 |
| JP4218915B2 true JP4218915B2 (ja) | 2009-02-04 |
Family
ID=25645824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19803799A Expired - Fee Related JP4218915B2 (ja) | 1998-07-10 | 1999-07-12 | 画像処理方法、画像処理装置及び記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6711590B1 (ja) |
| JP (1) | JP4218915B2 (ja) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8332478B2 (en) * | 1998-10-01 | 2012-12-11 | Digimarc Corporation | Context sensitive connected content |
| US7487439B1 (en) * | 1999-10-19 | 2009-02-03 | International Business Machines Corporation | Method and apparatus for converting between data sets and XML documents |
| US6915304B2 (en) * | 2000-05-23 | 2005-07-05 | Kenneth A. Krupa | System and method for converting an XML data structure into a relational database |
| JP4273636B2 (ja) * | 2000-06-30 | 2009-06-03 | ソニー株式会社 | 情報記録装置及び方法、情報記録システム |
| JP2002165210A (ja) * | 2000-08-04 | 2002-06-07 | Matsushita Electric Ind Co Ltd | データ送信端末及びデータ送受信装置 |
| US8122236B2 (en) | 2001-10-24 | 2012-02-21 | Aol Inc. | Method of disseminating advertisements using an embedded media player page |
| MXPA03003494A (es) * | 2000-10-24 | 2005-01-25 | Thomson Licensing Sa | Metodo para diseminar anuncios utilizando una pagina de reproduccion de medios embebida. |
| FR2816157A1 (fr) * | 2000-10-31 | 2002-05-03 | Thomson Multimedia Sa | Procede de traitement de donnees video distinees a etre visualisees sur ecran et dispositif mettant en oeuvre le procede |
| US6842761B2 (en) * | 2000-11-21 | 2005-01-11 | America Online, Inc. | Full-text relevancy ranking |
| JP2002230039A (ja) * | 2001-01-31 | 2002-08-16 | Nec Corp | 情報提供システム及び情報提供方法 |
| US20040064500A1 (en) * | 2001-11-20 | 2004-04-01 | Kolar Jennifer Lynn | System and method for unified extraction of media objects |
| KR20030049642A (ko) * | 2001-12-17 | 2003-06-25 | 한국전자통신연구원 | 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법 |
| EP2202978A1 (en) * | 2002-04-12 | 2010-06-30 | Mitsubishi Denki Kabushiki Kaisha | Hint information describing method for manipulating metadata |
| US6995787B2 (en) * | 2002-08-21 | 2006-02-07 | Adams Steven L | Sports projectile and camera apparatus |
| US7995090B2 (en) * | 2003-07-28 | 2011-08-09 | Fuji Xerox Co., Ltd. | Video enabled tele-presence control host |
| US8121998B2 (en) * | 2004-03-04 | 2012-02-21 | Parametric Technology Corporation | Method for automatically enabling traceability of engineering calculations |
| JP4886172B2 (ja) * | 2004-03-09 | 2012-02-29 | キヤノン株式会社 | 画像記録装置、画像記録方法、及びプログラム |
| US20050213662A1 (en) * | 2004-03-29 | 2005-09-29 | James Owens | Method of compression and digital imaging device employing compression algorithm |
| KR100651034B1 (ko) | 2004-12-08 | 2006-11-29 | 한국전자통신연구원 | 대상 물체 검출 시스템 및 그 방법 |
| US7675520B2 (en) * | 2005-12-09 | 2010-03-09 | Digital Steamworks, Llc | System, method and computer program for creating two dimensional (2D) or three dimensional (3D) computer animation from video |
| US20070239802A1 (en) * | 2006-04-07 | 2007-10-11 | Razdow Allen M | System and method for maintaining the genealogy of documents |
| US20080008364A1 (en) * | 2006-07-10 | 2008-01-10 | Teng-Tsai Huang | Video monitoring device for vehicle |
| US9633356B2 (en) * | 2006-07-20 | 2017-04-25 | Aol Inc. | Targeted advertising for playlists based upon search queries |
| CN101981576A (zh) * | 2008-03-31 | 2011-02-23 | 杜比实验室特许公司 | 使用媒体内容中识别出的对象将信息与媒体内容相关联 |
| US8752301B2 (en) * | 2009-04-08 | 2014-06-17 | Rex George | Chainsaw incorporating a safety device system |
| US9071949B2 (en) * | 2009-04-28 | 2015-06-30 | At&T Mobility Ii Llc | Data extraction from a call |
| GB2515926B (en) * | 2010-07-19 | 2015-02-11 | Ipsotek Ltd | Apparatus, system and method |
| US8854474B2 (en) * | 2011-03-08 | 2014-10-07 | Nice Systems Ltd. | System and method for quick object verification |
| SE537206C2 (sv) * | 2012-04-11 | 2015-03-03 | Vidispine Ab | Metod och system för sökningar i digitalt innehåll |
| EP2904589B1 (en) * | 2012-10-01 | 2020-12-09 | Koninklijke Philips N.V. | Medical image navigation |
| US8863175B2 (en) * | 2012-12-19 | 2014-10-14 | Ebay Inc. | Method and system for targeted commerce in network broadcasting |
| US9485745B2 (en) * | 2013-03-15 | 2016-11-01 | Iposi, Inc. | Indoor location using a packet synchronized receiver array |
| KR102085035B1 (ko) * | 2014-09-29 | 2020-03-05 | 에스케이 텔레콤주식회사 | 객체 인식을 위한 객체 후보영역 설정방법 및 장치 |
| WO2016138121A1 (en) | 2015-02-24 | 2016-09-01 | Plaay, Llc | System and method for creating a sports video |
| WO2019030551A1 (en) * | 2017-08-08 | 2019-02-14 | Milstein Mark | METHOD FOR APPLYING METADATA TO IMMERSIVE MULTIMEDIA FILES |
| US10623692B2 (en) | 2018-07-13 | 2020-04-14 | Analog Devices Global Unlimited Company | High definition analog video and control link for automotive applications |
| US10855951B2 (en) | 2018-07-13 | 2020-12-01 | Analog Devices Global Unlimited Company | Methods and devices for compensating sag effect |
| US10462413B1 (en) * | 2018-10-26 | 2019-10-29 | Analog Devices Global Unlimited Company | Using metadata for DC offset correction for an AC-coupled video link |
| US11907293B2 (en) * | 2020-12-14 | 2024-02-20 | CACI, Inc.—Federal | Reasoning from surveillance video via computer vision-based multi-object tracking and spatiotemporal proximity graphs |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5870746A (en) * | 1995-10-12 | 1999-02-09 | Ncr Corporation | System and method for segmenting a database based upon data attributes |
| US5832496A (en) * | 1995-10-12 | 1998-11-03 | Ncr Corporation | System and method for performing intelligent analysis of a computer database |
| US5862325A (en) * | 1996-02-29 | 1999-01-19 | Intermind Corporation | Computer-based communication system and method using metadata defining a control structure |
-
1999
- 1999-06-11 US US09/330,158 patent/US6711590B1/en not_active Expired - Fee Related
- 1999-07-12 JP JP19803799A patent/JP4218915B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000106661A (ja) | 2000-04-11 |
| US6711590B1 (en) | 2004-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4218915B2 (ja) | 画像処理方法、画像処理装置及び記憶媒体 | |
| JP4901040B2 (ja) | ビデオストリームにおける移動物体のマーキング | |
| US10491961B2 (en) | System for annotating media content for automatic content understanding | |
| US20200374491A1 (en) | Forensic video exploitation and analysis tools | |
| US20140064693A1 (en) | Method and System for Video Event Detection for Contextual Annotation and Synchronization | |
| CN112753225A (zh) | 用于嵌入信息卡定位和内容提取的视频处理 | |
| US20110262103A1 (en) | Systems and methods for updating video content with linked tagging information | |
| US20040041831A1 (en) | System and method for indexing a video sequence | |
| CN105430211A (zh) | 内容管理系统、管理内容生成方法以及管理内容再生方法 | |
| US20070291134A1 (en) | Image editing method and apparatus | |
| US20040207656A1 (en) | Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same | |
| US20040250296A1 (en) | Method, apparatus and system for providing access to product data | |
| US9948999B2 (en) | Video processing system and method | |
| CN105657514A (zh) | 一种在移动设备浏览器中视频播放关键信息的方法及装置 | |
| CN111985419A (zh) | 视频处理方法及相关设备 | |
| US20130205334A1 (en) | Method and apparatus for providing supplementary information about content in broadcasting system | |
| JP2007200249A (ja) | 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
| JP2008287594A (ja) | 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム | |
| US20220353435A1 (en) | System, Device, and Method for Enabling High-Quality Object-Aware Zoom-In for Videos | |
| JP2004070427A (ja) | 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム | |
| AU734202B2 (en) | Linking metadata with a time-sequential digital signal | |
| US20110261258A1 (en) | Systems and methods for updating video content with linked tagging information | |
| US20230199194A1 (en) | Video processing device, video processing method, and recording medium | |
| JP2003143546A (ja) | フットボールビデオ処理方法 | |
| Martín et al. | Automatic players detection and tracking in multi-camera tennis videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060707 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060707 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060707 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080731 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081107 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081110 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |