JP4200219B2 - 画像認識装置及び画像認識プログラム - Google Patents

Description

本発明は、放映前の素材映像や放映あるいは記録媒体に記録されたスポーツ番組等スポーツに関するコンテンツにおいて、従来認識が困難であった画像内容に対しても好適に画像認識できる画像認識装置に関するものである。

従来、テニスなどのスポーツ映像の各場面に対して、「パッシング成功」や「スマッシュ成功」といった画像内容を認識するための方法として、例えば、手入力によって映像情報のどの区間が「パッシング成功」か「スマッシュ成功」かを逐次入力して画像内容を認識したり、コンピュータによってボール、選手、コートラインのそれぞれの位置を抽出しそれら空間的相対関係の時間変化を総合的に判定することにより画像内容を認識したりする方法が知られている。
ところが、手入力による画像認識を行う場合には、確実に画像内容を認識することができるが、人件費が大きくなることや長時間のコンテンツを処理する場合には作業者に大きな負担を与えてしまうといった問題点があった。また、コンピュータによる自動認識で画像認識を行う場合には、特にライン際におけるボールがライン上にあるかアウトかの判定を正確に得ることが困難であった。

上記の課題を解決するために、本発明は、次のような手段を講じたものである。
すなわち、本発明は、ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置であって、対戦経過に伴う選手間の得点内容を示すスコア情報を取得するスコア情報取得部と、前記コンテンツに含まれる前記障害物や選手や画面上に表示されるスコア情報等が映った映像情報から選手の特徴的な動作を示すプレイイベント情報を取得するプレイイベント情報取得部と、プレイイベント情報が発生した時刻の直前のスコア情報と直後のスコア情報とを比較して当該プレイイベント情報がもたらす結果を参照することによりそのプレイイベント情報が示す画像内容を認識する画像内容認識部とを備えていることを特徴とする。
このようなものであれば、プレイイベント情報が発生した時刻の直前及び直後のスコア情報から確実にそのプレイイベント情報がどちらの得点に関係したかを知ることができるため、該プレイイベント情報の内容を正確に把握して具体的な画像内容を認識可能な画像認識装置を提供することができる。
なお、本発明において前記コンテンツからスコア情報を抽出する具体的な態様としては、前記スコア情報取得部が、コンテンツに含まれる前記映像情報、解説者による解説音声等の音響情報又は放送中の電波に多重化して送信されるデータ情報のうち少なくとも一以上の情報からスコア情報を取得することが挙げられる。
また、コンテンツから選手の特徴的な動作を抽出するためには、ネット等の障害物や前記領域及びその領域外の境界を示す境界線等の使用施設情報と選手の位置を示す選手位置情報と前記領域間を移動し当該スポーツの得点のカウント対象となる使用用具情報とを映像情報から抽出するドメイン要素抽出部と、当該スポーツを行うためルール情報を格納するルール情報格納部と、当該スポーツにおいて一般化した選手の特徴的な基本動作情報を格納する基本動作情報格納部を備え、前記ドメイン要素抽出部が映像情報からドメイン要素を抽出した際に抽出したドメイン要素とルール情報及び基本動作情報格納部に格納する基本動作情報とに基づきその映像情報に示される選手の特徴的なプレイイベント情報を決定するプレイイベント情報決定部プレイイベント情報取得部が具備しているように構成することが好ましい。
この場合、コンテンツから選手の特徴的な動作をより効率的に抽出するためには、前記選手位置情報が、選手とその選手がプレイ中常に持って使用する用具とを含む領域を示す位置情報であることが望まれる。
さらに、本発明において前記映像情報から選手位置情報を抽出する具体的な態様としては、前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報に基づき前記映像情報から選手位置情報を抽出する方法が挙げられる。また、前記映像情報から使用用具情報を抽出する具体的な態様としては、前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報及び選手位置情報に基づき前記映像情報からボール等の使用用具情報を抽出する方法が挙げられる。
ところで、選手のより複雑な動作等の画像認識を行えるようにするためには、前記プレイイベント情報決定部で決定した複数のプレイイベント情報を時間経過順に並べて出力するプレイイベントインデックス情報出力部を前記プレイイベント情報取得部が具備しているように構成し、さらに、このプレイイベントインデックス情報出力部が、前記プレイイベント情報とともに前記使用用具情報を時間経過順に並べて出力することが望ましい。
また、コンテンツからその分野に関するコンテンツ要素を好適に抽出するためには、前記使用施設情報、前記選手位置情報、前記使用用具情報及び前記ルール情報が、画像抽出の対象となるスポーツ種目に関する知識に基づくものであればよい。

第１図は、本発明の実施形態における画像認識装置の機器構成図である。
第２図は、同実施形態における機能ブロック図である。
第３図は、同実施形態における映像情報からコートラインの抽出に用いるコートモデルを示す図である。
第４図は、同実施形態における映像情報からネットラインの抽出に用いるネットモデルを示す図である。
第５図は、同実施形態における映像情報から抽出したコートライン及びネットラインを示す図である。
第６は、同実施形態における選手領域の検出を示す図である。
第７図は、同実施形態におけるボール領域の検出を示す図である。
第８図は、同実施形態におけるボール位置の追跡を示す図である。
第９図は、同実施形態における基本動作情報格納部の格納態様を示す図である。
第１０図は、同実施形態におけるルール情報格納部の格納態様を示す図である。
第１１図は、同実施形態における選手基本動作の識別を示す図である。
第１２図は、同実施形態における各選手のプレイイベント情報及びボール位置をスコア情報と関連づけたタイムチャートを示す図である。
第１３図は、同実施形態における映像情報から画像認識を行う過程を示すフロー図である。

以下、本発明の一実施形態について図面を参照して説明する。
第１図は、本実施形態における画像認識装置の機器構成を示す機器構成図である。第２図は、同実施形態における機能ブロック図である。
本実施形態に係る画像認識装置は、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するものであって、第１図に示すように、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置と接続される入出力インタフェイス１１と、データやプログラム等を記憶するＨＤＤ等の外部記憶装置１２や内部メモリ１３と、前記外部記憶装置１２等に記憶させたプログラムにしたがって作動し当該装置を画像認識装置１として機能させるＣＰＵ１４と、ユーザの利用者情報を受け付けるキーボードやマウス等のユーザインタフェイス１５等とを主な構成要素としている。なお、ここで「コンテンツ」とは、選手の動作、コート斜め上から縦方向にコートが映るようなアングルで撮影されたショット、審判、観客のアップとなるショット等を含む映像や解説者等の音声を含むものとしている。本実施形態では、「コンテンツ」の一例としてテニス番組を例に挙げて説明する。
一方、この画像認識装置１を機能面で説明すると、前記ＣＰＵ１４等が動作することにより、第２図に示すように、スコア情報取得部１０１、ドメイン要素抽出部１０２、基本動作情報格納部１０３、ルール情報格納部１０４、プレイイベント情報決定部１０５とプレイイベントインデックス情報出力部１０６とを備えるプレイイベント情報取得部１０７、画像内容認識部１０８等としての機能を有している。
以下、これら各部を詳述する。
スコア情報取得部１０１は、テレビジョン受像機に表示される映像情報を画像解析して対戦経過に伴う選手間の得点内容を示すスコア情報を自動的に取得するものであって、前記入出力インタフェイス１１等を利用して構成されている。なお、本実施形態においてスコア情報取得部１０１が自動的にスコア情報を取得するように構成しているが、手入力によりスコア情報を取得するなど、任意の方法でスコア情報は取得することができる。
ドメイン要素抽出部１０２は、ネット等の障害物や区画された領域たるコート及びそのコート外の境界を示す境界線たるコートライン等の使用施設情報と、選手の位置を示す選手位置情報と、前記コート間等を移動し当該スポーツの得点のカウント対象となる使用用具情報とを映像情報から抽出するものである。なお、本実施形態では、抽出する使用施設情報をコートラインとネットラインとし、また、抽出する選手位置情報を対戦するプレイヤ１の位置情報とプレイヤ２の位置情報とし、さらに、抽出する使用用具情報をテニスボール（以下、「ボール」と称する。）としている。さらに、このドメイン要素で抽出した使用施設情報、選手位置情報、使用用具情報を、以下、ドメイン要素と総称する。
より具体的には、使用施設情報の抽出は、第３図に示すように、コートラインの代表的な点を示すコート特徴点Ｐｃ_１、・・・、Ｐｃ_１４（以下、「Ｐｃ」と総称する。）、コートラインＬｃ_１、・・・、Ｌｃ_９（以下、「Ｌｃ」と総称する。）を定めたコートモデルと、第４図に示すように、ネットラインの代表的な点を示すネット特徴点Ｐｎ_１、・・・、Ｐｎ_３（以下、「Ｐｎ」と総称する。）、ネットラインＬｎ_１、Ｌｎ_２（以下、「Ｌｎ」と総称する。）を定めたネットモデルとを参照し、コートライン、ネットラインの順に映像情報から抽出するように設定している。
まず、コートラインの抽出は、映像情報から前記コート特徴点を検出することによって抽出するようにしている。さらに詳述すると、時刻ｔ＝０において、初期特徴点Ｐｃ（０）を入力として与え、次に、Ｐｃ（０）で決まるコートラインＬｃ（０）について、各ラインをハフ平面に変換し、ハフ平面上における各ピーク点を中心に大きさｗ_ｔｈ、ｗ_ｒｏの検出窓Ｗｃ（０）を用意するように設定している。また、時刻ｔ＝ｔにおいて、まず、原画像の２値化画像Ｂ（ｔ）とコートラインＬｃ（ｔ−１）の近傍領域とのＡＮＤをとり、コート近傍のみからなる２値化画像（以下、「コートライン２値画像」と呼ぶ。）Ｂｃ（ｔ）を生成するように設定している。そして、これを各ライン毎にハフ変換し、各検出窓Ｗｃ（ｔ−１）で制限される範囲でピーク検出を行い、コート特徴点Ｐｃ（ｔ）を更新し、再び、コートラインＬｃ（ｔ）をハフ変換し、検出窓Ｗｃ（ｔ）も更新することにより、映像情報からコートラインを抽出するように設定している。なお、パンニングなどによってコート特徴点が画面から外れた場合には、コート中央のコート特徴点Ｐｃ_ｉ（ｔ）（ｉ＝９、１０、１２、１３ｏｒ１０、１１、１３、１４）は画面内に常に映っていることを仮定し、連結知識を用いて画面外の点を推定して更新するように設定している。同様の理由で、いくつかの初期特徴点は省略してもよい。なお、連結知識とは、例えば、コート中央のコート特徴点Ｐｃ_ｉ（ｔ）（ｉ＝９、１０、１２、１３）を連結すればコートモデル上に意味付け可能な区画を構成できるといった当該スポーツを行う知識に基づき定義されるものである。
次に、ネットラインの抽出は、時刻ｔ＝０での初期特徴点Ｐｎ（０）を入力として与え、コートラインと同様に、各ライン毎にネットラインＬｎ（０）、検出窓Ｗｎ（０）を用意し、一方、時刻ｔ＝ｔにおいては、原画像の２値化画像からコートライン２値画像を除いた画像Ｂｎ（ｔ）＝Ｂ（ｔ）−Ｂｃ（ｔ）をネットライン２値画像として生成し、これを用いてハフ変換、検出窓内でピーク検出を行って特徴点Ｐｎ（ｔ）を更新し、映像情報からネットラインを抽出するように設定している。
以上のようにして、第５図に示すように、コートライン及びネットラインを抽出することができる。
次に、映像情報からこれらコートライン及びネットラインを除去した２値画像において重なりが最大となる領域を特定することで選手位置情報を抽出するように構成している。
より具体的には、時刻ｔ＝ｔにおいて前後ｓフレーム離れた画像との差分を求め適当な閾値で２値画像Ｂ_１（ｔ）、Ｂ_２（ｔ）を生成する。なお、ここで、Ｂ_１（ｔ）＝ＢＩＮ（Ｉ（ｔ）−Ｉ（ｔ−ｓ））、Ｂ_２（ｔ）＝ＢＩＮ（Ｉ（ｔ＋ｓ）−Ｉ（ｔ））としている。ここでＢＩＮは（ ）内の引数を２値化することを示す関数である。そして、これら２つの差分画像のＡＮＤ演算を行った結果得られる２値画像をＢ_ｄｉｆｆ（ｔ）と、時刻ｔ＝ｔにおける画像Ｉ（ｔ）の点で予め用意した選手のユニフォーム等の代表色に対応する色クラスタ内に含まれるものを１とした２値画像Ｂ_{ｌａｂｅｌ}（ｔ）とに基づきコートライン及びネットラインを消去する。さらに、選手領域との重なり部分を除去したと考えられる領域については拡大縮小処理によって領域を補完する。そしてこのようにして得られた２つの画像のＯＲ演算を行い、第６図に示すような２値画像Ｂ（ｔ）を得る。このようにして得た２値画像Ｂ（ｔ）内で連結領域のラベリングを行い、ノイズの影響を避けるため、これを数フレーム観測し、コート近傍内にある一定以上の面積をもつ領域を選手初期位置とする。そして、時刻ｔ＝ｔにおける一定以上の面積をもつ領域のうち、時刻ｔ＝ｔ−１の選手領域の近傍に存在し、かつ、面積差が最も小さい領域を時刻ｔ＝ｔにおける選手領域ｐと判定し、選手位置情報を得られるように設定している。
そして、このようにして抽出した選手位置情報との距離に応じて、検出モードと追跡モードとを切り替えることでボールを抽出するように構成している。
さらに詳述すると、検出モードとは、予め用意した大きさｂ_ｘ×ｂ_ｙのボールを含む所定のテンプレートＴ_ｂ（ｘ、ｙ）に基づき、第７図に示すように、時刻ｔにおいて選手領域ｐを消去した画像Ｉ´_Ｂ内の選手近傍領域において、テンプレートＴ_ｂ（ｘ、ｙ）以下の面積のボール候補Ｂａ位置を全て検出するものであって、時刻ｔ＝ｔ＋１、ｔ＋２、・・・についても同様にボール候補を検出し、選手位置を中心に放射状に連続して検出されるボール候補Ｂａを絞り込み、最終的に残った１つのボール候補Ｂａの組みをその時区間のボール軌道ＢＷと特定することができる。ここで、前記テンプレートＴ_ｂ（ｘ、ｙ）とは、映像情報からボールを抽出するために設ける一種のツールであって、本実施形態では、映像中に拡大あるいは縮小表示されるボールの大きさを暫定的にｂ_ｘ×ｂ_ｙとし、このｂ_ｘ×ｂ_ｙから外周を外側へ若干拡大したものをテンプレートとして設定している。
追跡モードとは、前記テンプレートＴ_ｂ（ｘ、ｙ）とのテンプレートマッチングによりボール軌道ＢＷを追跡するものである。ただし、ボール軌道ＢＷは微小時間でほぼ直線とみなせると仮定し、前回検出された移動量をそのまま現フレームに加えた位置を予測中心として探索を行う。そして、選手領域とボール候補Ｂａ位置との距離がある閾値より小さくなったら、前記検出モードを実行し、そうでなければ、この追跡モードを繰り返し行うように設定している。
そして、以上のようにして、第８図に示すように、任意の時間区間におけるボール軌道ＢＷを得ることができる。なお、第８図は、ポールの軌道ＢＷをわかりやすく表現するために、任意の時刻の映像情報に重ねて表示している。
基本動作情報格納部１０３は、当該スポーツにおける一般化した選手の特徴的な基本動作情報を格納するものであって、前記外部記憶装置１２や内部メモリ１３の所定領域に形成している。なお、本実施形態では、基本動作情報は、第９図に示すように、選手がその場に留まる動作を表す“ｓｔａｙ”、選手の移動動作を表す“ｍｏｖｅ”、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の５種類の属性値を、本システムにおいてユニークな値を示す基本動作情報ＩＤと対応させて格納するようにしている。
ルール情報格納部１０４は、当該スポーツを行うために必要なルール情報と当該スポーツを行う選手の動作を示す動作インデックスルール情報とを格納するものであって、前記外部記憶装置１２や内部メモリ１３の所定領域に形成している。より具体的にこの動作インデックスルール情報は、例えば、第１０図に示すように、選手の動作インデックス「サービス」を示す動作インデックスルール情報を、前記基本動作情報に基づき「両選手がある同時刻においてコート外側区画にてともに“ｓｔａｙ”し、次にいずれかの選手がコート外側区画において“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”を行う。」といった内容で定義したり、選手の動作インデックス「ネットダッシュする」を示す動作インデックスルール情報を、「あるボール打撃時刻における打者選手がネットコート以外の区画におり、次のボール打撃時刻においてネットコート内に位置する。」といった内容で定義されるものである。
プレイイベント情報取得部１０７はプレイイベント情報決定部１０５とプレイイベントインデックス情報出力部１０６とを備え、前記コンテンツに含まれる前記障害物や選手や画面上に表示されるスコア情報等が映った映像情報から選手の特徴的な動作を示すプレイイベント情報を時間経過順に並べて取得するものである。
より具体的には、プレイイベント情報決定部１０５は、前記ドメイン要素抽出部１０２が映像情報から抽出したドメイン要素とルール情報及び動作インデックスルール情報と基本動作情報格納部１０３に格納する基本動作情報とに基づきその映像情報に示される選手の特徴的なプレイイベント情報を決定するものである。
さらに詳述すると、“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”等、選手の基本動作の識別は、ボール打撃時刻における、選手位置とボール位置との相対的位置関係や、コートライン及びネットラインとの位置関係を総合的に判断することにより行うように設定している。例えば、第１１図に示すように、ボール打撃時刻においてボールが選手を囲む外接四角形上部の識別ラインより上方にあれば“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”、選手重心に対してフォアサイドあるいはバックサイドにあれば、それぞれ“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”と判定するように設定している。なお、前記識別ラインは、選手外接四角形のｙ方向の長さに応じ一定の比率で決まる選手領域上部に設定している。
プレイイベントインデックス情報出力部１０６は、前記プレイイベント情報決定部１０５で決定した複数のプレイイベント情報とボール位置情報とを時間経過順に並べたタイムチャートとしてプレイイベント情報取得部１０７に出力するものである。
さらに詳述すると、第１２図に示すように、プレイヤ１及びプレイヤ２とボールとの関係を時間経過順に並べて記述したものである。例えば、プレイヤ１の“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”に相当する矢印は、その時区間の間、プレイヤ１にあたる選手は基本動作“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”をしており、コート上のｊ−ｉ個の代表点（ｐ_ｉ＋１、・・・、Ｐ_ｊ）からなる軌道ＢＷをたどったことを表している。
画像内容認識部１０８は、前記プレイイベント情報取得部１０７で取得したプレイイベント情報が発生した時刻の直前のスコア情報と直後のスコア情報とを比較して当該プレイイベント情報がもたらす結果を参照することによりそのプレイイベント情報が示す画像内容を認識するものである。
より具体的に、第１２図でプレイイベント情報が発生した直後の時刻Ｔ１、Ｔ２、Ｔ３に対して説明する。
まず、プレイヤ１は時刻Ｔ１直前に“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”を行ったのち時刻Ｔ１直後には“ｍｏｖｅ”を行っている。一方、プレイヤ２は時刻Ｔ１直前に“ｍｏｖｅ”を行ったのち時刻Ｔ１直後には“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”を行っている。また、ボールは、時刻Ｔ１直前直後にかけて“ｈｉｔ”されたのち“ｂｏｕｎｃｅ”し、さらに“ｈｉｔ”されている。このとき時刻Ｔ１の直前直後では、プレイヤ１及びプレイヤ２のスコアは変化していないことから、時刻Ｔ１直前のプレイヤ１及びプレイヤ２が行ったプレイイベント情報は、得点にからむ特徴的な動作ではないことを当該画像内容認識部１０８は認識する。
また、時刻Ｔ２の直前にプレイヤ１は“ｍｏｖｅ”を行ったのち時刻Ｔ２の直後に“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”を行っている。一方、プレイヤ２は“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”を行ったのち時刻Ｔ２の直後に“ｍｏｖｅ”を行っている。また、ボールは、時刻Ｔ２直前直後にかけて“ｈｉｔ”されている。このとき時刻Ｔ２の直前直後では、プレイヤ１及びプレイヤ２のスコアは変化していないことから、時刻Ｔ２直前のプレイヤ１及びプレイヤ２が行ったプレイイベント情報は、得点にからむ特徴的な動作ではないことを当該画像内容認識部１０８は認識する。
そして、時刻Ｔ３の直前にプレイヤ１は“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”を行ったのち時刻Ｔ３の直後に“ｓｔａｙ”を行っている。一方、プレイヤ２は“ｍｏｖｅ”を行ったのち時刻Ｔ３の直後に“ｓｔａｙ”を行っている。また、ボールは、“ｈｉｔ”されたのち時刻Ｔ３直前に“ｂｏｕｎｃｅ”し時刻Ｔ３直後に“ｕｎｄｅｔｅｃｔｅｄ”している。そして、この時刻Ｔ３直前直後において、プレイヤ１の得点が０から１５に変化していることから、プレイヤ１の“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”によって“ｈｉｔ”されたボールは、プレイヤ２のコートで“ｂｏｕｎｃｅ”し、プレイヤ２に打ち返されずにプレイヤ１の得点になったと当該画像内容認識部１０８は認識する。そして、このような一連のプレイイベント情報に関して基本動作情報格納部１０３やルール情報格納部１０４を参照することにより、このプレイイベント情報が「パッシングが成功」として認識する。
次に、本実施形態の画像認識装置の動作を第１３図に示すフロー図を用いて説明する。
まず、映像情報からコートラインとネットラインとをそれぞれ抽出し（ステップＳ１０１）、映像情報からこれらコートライン及びネットラインを除去した２値画像において重なりが最大となる領域を特定することで選手位置情報を抽出する（ステップＳ１０２）。抽出した選手位置情報に基づき映像情報からボールを抽出する（ステップＳ１０３）。抽出したドメイン要素とルール情報及び動作インデックスルール情報と基本動作情報とに基づき、その選手のプレイイベント情報を決定し（ステップＳ１０４）、ボール位置情報とともに時間経過順に並べて出力する（ステップＳ１０５）。そして、このプレイイベント情報が起こった前後のスコア情報の状態に基づきこのプレイイベント情報の意味付けを行うことによりその映像情報の画像を認識する（ステップＳ１０６）。
以上のようにして、プレイイベント情報が発生した時刻の直前及び直後のスコア情報から確実にそのプレイイベント情報がどちらの得点に関係したかを知ることができるため、該プレイイベント情報の内容を正確に把握して具体的な画像内容を認識可能な画像認識装置を比較的安価に提供することができる。
なお、本実施形態において、コンテンツをテニス番組とし、その映像情報から抽出するドメイン要素を使用施設情報をコートライン及びネットラインとしたが、コンテンツが他のスポーツ番組等に替われば抽出する使用施設情報もこれらから変更されることは言うまでも無い。また、選手位置情報、使用用具情報に関してもこれと同様に変更することとなる。
また、本実施形態では、プレイイベント情報を時間経過順に並べてからその前後のスコア情報を取得するように構成していたが、例えば、時間経過順に並べずそのプレイイベント情報が発生した時刻の前後のスコア情報を取得するように構成してもよい。また、取得するプレイイベント情報の内容やこれを取得するその過程は各種態様が考えられる。
さらに、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するように構成していたが、例えば、スタジアムで当該スポーツを撮影した放映される前の素材映像やインターネット上にアーカイブ化されている映像情報から、特徴的な試合中の選手の動作を認識するなど、画像認識を行うコンテンツの対象となる媒体は本実施形態に限られるものではない。
また、ｂ_ｘ×ｂ_ｙのボールを含む所定のテンプレートＴｂ（ｘ、ｙ）を用いて映像情報からボールを抽出するように構成していたが、このテンプレートを用いずにボールを抽出しても構わない。
その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。

上述したように、本発明によれば、プレイイベント情報が発生した時刻の直前及び直後のスコア情報から確実にそのプレイイベント情報がどちらの得点に関係したかを知ることができるため、該プレイイベント情報の内容を正確に把握して具体的な画像内容を認識可能な画像認識装置を比較的安価に提供することができる。
また、このような画像認識装置を用いれば、放映中の番組や記録再生装置で再生するのコンテンツから自分の見たい箇所を抽出するだけでなく、例えば、インターネット等にアーカイブ化される映像情報にアクセスし、映像中の自分の見たい箇所を好適に抽出することも可能となる。

Claims (10)

1. ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置であって、対戦経過に伴う選手間の得点内容を示すスコア情報を取得するスコア情報取得部と、前記コンテンツに含まれる前記障害物や選手や画面上に表示されるスコア情報等が映った映像情報から選手の特徴的な動作を示すプレイイベント情報を取得するプレイイベント情報取得部と、プレイイベント情報が発生した時刻の直前のスコア情報と直後のスコア情報とを比較して当該プレイイベント情報がもたらす結果を参照することによりそのプレイイベント情報が示す画像内容を認識する画像内容認識部とを備えていることを特徴とする画像認識装置。
2. 前記スコア情報取得部が、コンテンツに含まれる前記映像情報、解説者による解説音声等の音響情報又は放送中の電波に多重化して送信されるデータ情報のうち少なくとも一以上の情報からスコア情報を取得することを特徴とする請求の範囲第１項記載の画像認識装置。
3. ネット等の障害物や前記領域及びその領域外の境界を示す境界線等の使用施設情報と選手の位置を示す選手位置情報と前記領域間を移動し当該スポーツの得点のカウント対象となる使用用具情報とを映像情報から抽出するドメイン要素抽出部と、当該スポーツを行うためルール情報を格納するルール情報格納部と、当該スポーツにおいて一般化した選手の特徴的な基本動作情報を格納する基本動作情報格納部を備え、前記ドメイン要素抽出部が映像情報からドメイン要素を抽出した際に抽出したドメイン要素とルール情報及び基本動作情報格納部に格納する基本動作情報とに基づきその映像情報に示される選手の特徴的なプレイイベント情報を決定するプレイイベント情報決定部を前記プレイイベント情報取得部が具備していることを特徴とする請求の範囲第１項又は第２項記載の画像認識装置。
4. 前記選手位置情報が、選手とその選手がプレイ中常に持って使用する用具とを含む領域を示す位置情報であることを特徴とする請求の範囲第３項記載の画像認識装置。
5. 前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報に基づき前記映像情報から選手位置情報を抽出することを特徴とする請求の範囲第３項又は第４項記載の画像認識装置。
6. 前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報及び選手位置情報に基づき前記映像情報から使用用具情報を抽出することを特徴とする請求の範囲第３項、第４項又は第５項記載の画像認識装置。
7. 前記プレイイベント情報決定部で決定した複数のプレイイベント情報を時間経過順に並べて出力するプレイイベントインデックス情報出力部を、前記プレイイベント情報取得部が具備していることを特徴とする請求の範囲第３項、第４項、第５項又は第６項記載の画像認識装置。
8. 前記プレイイベントインデックス情報出力部が、前記プレイイベント情報とともに前記使用用具情報を時間経過順に並べて出力することを特徴とする請求の範囲第７項記載の画像認識装置。
9. 前記使用施設情報、前記選手位置情報、前記使用用具情報及び前記ルール情報が、画像抽出の対象となるスポーツ種目に関する知識に基づくものであることを特徴とする請求の範囲第３項、第４項、第５項、第６項、第７項又は第８項記載の画像認識装置。
10. コンピュータを作動させて、ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置を稼動するプログラムであって、当該コンピュータを、対戦経過に伴う選手間の得点内容を示すスコア情報を取得するスコア情報取得手段と、前記コンテンツに含まれる前記障害物や選手や画面上に表示されるスコア情報等が映った映像情報から選手の特徴的な動作を示すプレイイベント情報を取得するプレイイベント情報取得手段と、プレイイベント情報が発生した時刻の直前のスコア情報と直後のスコア情報とを比較して当該プレイイベント情報がもたらす結果を参照することによりそのプレイイベント情報が示す画像内容を認識する画像内容認識手段として機能させることを特徴とする画像認識プログラム。

Images