JP4482690B2 - 画像認識装置及び画像認識プログラム - Google Patents
画像認識装置及び画像認識プログラム Download PDFInfo
- Publication number
- JP4482690B2 JP4482690B2 JP2004570857A JP2004570857A JP4482690B2 JP 4482690 B2 JP4482690 B2 JP 4482690B2 JP 2004570857 A JP2004570857 A JP 2004570857A JP 2004570857 A JP2004570857 A JP 2004570857A JP 4482690 B2 JP4482690 B2 JP 4482690B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- time
- player
- unit
- concealed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、放映されたスポーツ番組等スポーツに関するコンテンツにおいて、従来認識が困難であった画像内容に対しても好適に画像認識できる画像認識装置に関するものである。
近年、インターネット社会の発展とともに、コンピュータ機器、通信環境、インタフェイスが高速化、広帯域化し、様々な映像データが大量に随所に蓄積されるようになる等、さまざまな分野においてユーザが利用できるデジタル映像情報が増加の一途をたどっており、これら膨大な情報にアクセスし映像中の自分の見たい個所を素早く探し出す技術がますます重要視されている。
例えば、テニスなどのスポーツ映像の各場面から、利用者が希望する画面を抽出する場合、「パッシング成功」や「スマッシュ成功」といった画像内容を認識するための方法として、例えば、手入力によって映像情報のどの区間が「パッシング成功」か「スマッシュ成功」かを逐次入力して画像内容を認識したり、コンピュータによってボール、選手、コートラインのそれぞれの位置を抽出しそれら空間的相対関係の時間変化を総合的に判定することにより画像内容を認識したりする方法が考えられる。
ところが、手入力による画像認識を行う場合には、確実に画像内容を認識することができるが、人件費が大きくなったり長時間のコンテンツを処理する場合には作業者に大きな負担を与えてしまったりするといった問題点があった。また、コンピュータによる自動認識で画像認識を行う場合には、映像情報のみを処理対象とすると、選手やネット等にボールが重なったり隠れたりした際にそのボールの追跡を失敗し、重要な位置や時刻を特定できない部分が生じ、結果的に画像認識すべきイベントを検出できなかったり誤った画像認識を行うといった不具合があった。
例えば、テニスなどのスポーツ映像の各場面から、利用者が希望する画面を抽出する場合、「パッシング成功」や「スマッシュ成功」といった画像内容を認識するための方法として、例えば、手入力によって映像情報のどの区間が「パッシング成功」か「スマッシュ成功」かを逐次入力して画像内容を認識したり、コンピュータによってボール、選手、コートラインのそれぞれの位置を抽出しそれら空間的相対関係の時間変化を総合的に判定することにより画像内容を認識したりする方法が考えられる。
ところが、手入力による画像認識を行う場合には、確実に画像内容を認識することができるが、人件費が大きくなったり長時間のコンテンツを処理する場合には作業者に大きな負担を与えてしまったりするといった問題点があった。また、コンピュータによる自動認識で画像認識を行う場合には、映像情報のみを処理対象とすると、選手やネット等にボールが重なったり隠れたりした際にそのボールの追跡を失敗し、重要な位置や時刻を特定できない部分が生じ、結果的に画像認識すべきイベントを検出できなかったり誤った画像認識を行うといった不具合があった。
上記の課題を解決するために、本発明は、次のような手段を講じたものである。
すなわち、本発明は、ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置であって、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得部と、前記映像情報取得部で取得した映像情報に含まれてなる前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具が、所定の対象体に隠蔽される状態にあるか否かを判定する隠蔽状態判定部と、前記隠蔽状態判定部で前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと判定されたときの隠蔽開始時刻と前記対象体に隠蔽される状態から隠蔽されない状態になったと判定されたときの隠蔽解除時刻とに基づき、前記使用用具を打撃した打撃時刻を特定する打撃時刻情報特定部と、当該スポーツを行うためルール情報を格納するルール情報格納部と、前記映像情報取得部で取得した映像情報と前記打撃時刻情報特定部で特定した打撃時刻における使用用具の位置と前記ルール情報格納部に格納されるルール情報とに基づき、その映像情報が示す選手の動作を含む画像内容を認識する画像内容認識部とを備えていることを特徴とする。
このようなものであれば、映像中において使用用具が選手やネット等の障害物に重なったり隠蔽されたりして使用用具の位置特定が困難なとき等、画像認識が困難な場合でも、隠蔽状態判定部において、使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと隠蔽状態判定部で判定されたときの隠蔽開始時刻と、前記対象体に隠蔽される状態から隠蔽されない状態になったと隠蔽状態判定部で判定されたときの隠蔽解除時刻とに基づき、打撃時刻情報特定部が前記使用用具を打撃した打撃時刻を特定し、さらに、特定した打撃時刻と選手のプレイ中の動作が映った映像情報と当該ルールを行うためのルール情報とに基づき画像内容認識部が確実に選手の動作を特定するため、例えば、重なりや隠蔽によるフォアハンドスイング、バックハンドスイング及びオーバーヘッドスイングの認識誤りが生じることの無い画像認識に優れた画像認識装置を提供することができる。
なお、隠蔽開始時刻と隠蔽解除時刻とを好適に特定するには、前記隠蔽状態判定部に、前記使用用具が前記対象体に対して所定距離内にあるか否かを判定する距離判定部と、前記距離判定部で前記使用用具が前記対象体に対して所定距離内にあると判定し且つ前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったときの時刻を隠蔽開始時刻として特定し、前記距離判定部で前記使用用具が前記対象体に対して所定距離内にあると判定し且つ前記使用用具が前記対象体に隠蔽される状態から隠蔽されない状態へとなったときの時刻を隠蔽解除時刻として特定する隠蔽開始解除時刻特定部とを備えていることが望ましい。
また、本発明の望ましい態様としては、ｔａで示される前記打撃時刻とｔ０で示される前記隠蔽開始時刻とｔ１で示される隠蔽解除時刻とが、下式（数１）に示す関係を有しているものが挙げられる。
また、コンテンツから選手の特徴的な動作を抽出するためには、前記映像情報取得部が、ネット等の障害物や前記領域及びその領域外の境界を示す境界線等の使用施設情報と選手の位置を示す選手位置情報と前記領域間を移動し当該スポーツの得点のカウント対象となる使用用具情報とを映像情報から抽出するドメイン要素抽出部を備えていることが好ましい。
この場合、コンテンツから選手の特徴的な動作をより効率的に抽出するためには、前記選手位置情報が、選手とその選手がプレイ中常に持って使用する用具とを含む領域を示す位置情報であることが望まれる。
さらに、本発明において前記映像情報から選手位置情報を抽出する具体的な態様としては、前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報に基づき前記映像情報から選手位置情報を抽出する方法が挙げられる。また、前記映像情報から使用用具情報を抽出する具体的な態様としては、前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報及び選手位置情報に基づき前記映像情報から使用用具情報を抽出する方法が挙げられる。
また、コンテンツからその分野に関するコンテンツ要素を好適に抽出するためには、前記使用施設情報、前記選手位置情報、前記使用用具情報及び前記ルール情報が、画像抽出の対象となるスポーツ種目に関する知識に基づくものであればよい。
より精度良く画像認識を行えるようにするためには、前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具の打撃時に発生する打撃音等前記映像情報と同期した音響情報を前記コンテンツから取得する音響情報取得部を備え、前記打撃時刻情報特定部が、前記隠蔽開始時刻と前記隠蔽解除時刻との組みと前記音響情報取得部で取得した音響情報とに基づき打撃時刻を特定することが望ましい。
なお、打撃時刻を特定する方法としては、前記打撃時刻情報特定部が、前記音響情報が、所定のレベルより大きな値を示した際に、この大きな値を示す時刻を打撃時刻と特定する方法が挙げられる。
また、音響情報に含まれる打撃音以外のノイズ音を除去するためには、前記音響情報取得部が、所定の周波数帯域を通過させるフィルタ部を設け、前記音響情報がこのフィルタ部を通過したものであることが望ましく、特に、プレイ中の選手のシューズとコートとが擦れた際に生じる音や風の音やその他雑音等の環境音を好適に除去するためには、前記フィルタ部が、バンドパスフィルタで構成されることが望ましい。
さらに、効率よく打撃時刻を特定するためには、前記音響情報から抽出した前記打撃音を含む所定時間を有する打撃音候補データに基づき、前記打撃時刻情報特定部が打撃時刻を特定することが好ましい。
また、確実に打撃時刻を抽出するためには、一の時刻の打撃音候補データとその次の時刻の打撃音候補データとが相互に重なる時刻を有するように前記音響情報から複数個の打撃音候補データを抽出し、この複数個の打撃音候補データに基づき、前記打撃時刻情報特定部が打撃時刻を特定すればよい。さらにこのとき、前記複数個の打撃音候補データを各々同一のデータ長を有するように構成すると共に、複数個の打撃音候補データを前記音響情報から一定時間間隔で抽出するように構成すれば、打撃音を効率的に抽出できる。
さらに、打撃音の発生した時刻をより確実に確定するためには、前記使用用具と選手がプレイ中常に持って使用するラケット等の用具との当たり具合等による音の変化をパターン化した打撃音パターン情報を格納する打撃音パターン情報格納部を備え、前記打撃時刻情報特定部が、この打撃音パターン情報格納部に格納される打撃音パターン情報と前記音響情報とに基づき前記打撃時刻を特定することが望まれる。
なお、本発明の望ましい他の態様としては、ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置であって、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得部と、前記映像情報取得部で取得した映像情報に含まれてなる前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具が、所定の対象体に隠蔽される状態にあるか否かを判定する隠蔽状態判定部と、前記隠蔽状態判定部で前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと判定されたときの隠蔽開始時刻と前記対象体に隠蔽される状態から隠蔽されない状態になったと判定されたときの隠蔽解除時刻とに基づき、前記使用用具を打撃した打撃時刻を特定する打撃時刻情報特定部と、前記映像情報取得部で取得した映像情報と前記打撃時刻情報特定部で特定した打撃時刻における使用用具の位置とに基づき、その映像情報が示す選手の動作を含む画像内容を認識する画像内容認識部とを備えているものが挙げられる。
また、画像認識の精度を向上させるためには、前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具の打撃時に発生する打撃音等前記映像情報と同期した音響情報を前記コンテンツから取得する音響情報取得部を備え、前記打撃時刻情報特定部が、前記隠蔽開始時刻と前記隠蔽解除時刻との組みと前記音響情報取得部で取得した音響情報とに基づき打撃時刻を特定するようにすればよい。
すなわち、本発明は、ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置であって、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得部と、前記映像情報取得部で取得した映像情報に含まれてなる前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具が、所定の対象体に隠蔽される状態にあるか否かを判定する隠蔽状態判定部と、前記隠蔽状態判定部で前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと判定されたときの隠蔽開始時刻と前記対象体に隠蔽される状態から隠蔽されない状態になったと判定されたときの隠蔽解除時刻とに基づき、前記使用用具を打撃した打撃時刻を特定する打撃時刻情報特定部と、当該スポーツを行うためルール情報を格納するルール情報格納部と、前記映像情報取得部で取得した映像情報と前記打撃時刻情報特定部で特定した打撃時刻における使用用具の位置と前記ルール情報格納部に格納されるルール情報とに基づき、その映像情報が示す選手の動作を含む画像内容を認識する画像内容認識部とを備えていることを特徴とする。
このようなものであれば、映像中において使用用具が選手やネット等の障害物に重なったり隠蔽されたりして使用用具の位置特定が困難なとき等、画像認識が困難な場合でも、隠蔽状態判定部において、使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと隠蔽状態判定部で判定されたときの隠蔽開始時刻と、前記対象体に隠蔽される状態から隠蔽されない状態になったと隠蔽状態判定部で判定されたときの隠蔽解除時刻とに基づき、打撃時刻情報特定部が前記使用用具を打撃した打撃時刻を特定し、さらに、特定した打撃時刻と選手のプレイ中の動作が映った映像情報と当該ルールを行うためのルール情報とに基づき画像内容認識部が確実に選手の動作を特定するため、例えば、重なりや隠蔽によるフォアハンドスイング、バックハンドスイング及びオーバーヘッドスイングの認識誤りが生じることの無い画像認識に優れた画像認識装置を提供することができる。
なお、隠蔽開始時刻と隠蔽解除時刻とを好適に特定するには、前記隠蔽状態判定部に、前記使用用具が前記対象体に対して所定距離内にあるか否かを判定する距離判定部と、前記距離判定部で前記使用用具が前記対象体に対して所定距離内にあると判定し且つ前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったときの時刻を隠蔽開始時刻として特定し、前記距離判定部で前記使用用具が前記対象体に対して所定距離内にあると判定し且つ前記使用用具が前記対象体に隠蔽される状態から隠蔽されない状態へとなったときの時刻を隠蔽解除時刻として特定する隠蔽開始解除時刻特定部とを備えていることが望ましい。
また、本発明の望ましい態様としては、ｔａで示される前記打撃時刻とｔ０で示される前記隠蔽開始時刻とｔ１で示される隠蔽解除時刻とが、下式（数１）に示す関係を有しているものが挙げられる。
この場合、コンテンツから選手の特徴的な動作をより効率的に抽出するためには、前記選手位置情報が、選手とその選手がプレイ中常に持って使用する用具とを含む領域を示す位置情報であることが望まれる。
さらに、本発明において前記映像情報から選手位置情報を抽出する具体的な態様としては、前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報に基づき前記映像情報から選手位置情報を抽出する方法が挙げられる。また、前記映像情報から使用用具情報を抽出する具体的な態様としては、前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報及び選手位置情報に基づき前記映像情報から使用用具情報を抽出する方法が挙げられる。
また、コンテンツからその分野に関するコンテンツ要素を好適に抽出するためには、前記使用施設情報、前記選手位置情報、前記使用用具情報及び前記ルール情報が、画像抽出の対象となるスポーツ種目に関する知識に基づくものであればよい。
より精度良く画像認識を行えるようにするためには、前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具の打撃時に発生する打撃音等前記映像情報と同期した音響情報を前記コンテンツから取得する音響情報取得部を備え、前記打撃時刻情報特定部が、前記隠蔽開始時刻と前記隠蔽解除時刻との組みと前記音響情報取得部で取得した音響情報とに基づき打撃時刻を特定することが望ましい。
なお、打撃時刻を特定する方法としては、前記打撃時刻情報特定部が、前記音響情報が、所定のレベルより大きな値を示した際に、この大きな値を示す時刻を打撃時刻と特定する方法が挙げられる。
また、音響情報に含まれる打撃音以外のノイズ音を除去するためには、前記音響情報取得部が、所定の周波数帯域を通過させるフィルタ部を設け、前記音響情報がこのフィルタ部を通過したものであることが望ましく、特に、プレイ中の選手のシューズとコートとが擦れた際に生じる音や風の音やその他雑音等の環境音を好適に除去するためには、前記フィルタ部が、バンドパスフィルタで構成されることが望ましい。
さらに、効率よく打撃時刻を特定するためには、前記音響情報から抽出した前記打撃音を含む所定時間を有する打撃音候補データに基づき、前記打撃時刻情報特定部が打撃時刻を特定することが好ましい。
また、確実に打撃時刻を抽出するためには、一の時刻の打撃音候補データとその次の時刻の打撃音候補データとが相互に重なる時刻を有するように前記音響情報から複数個の打撃音候補データを抽出し、この複数個の打撃音候補データに基づき、前記打撃時刻情報特定部が打撃時刻を特定すればよい。さらにこのとき、前記複数個の打撃音候補データを各々同一のデータ長を有するように構成すると共に、複数個の打撃音候補データを前記音響情報から一定時間間隔で抽出するように構成すれば、打撃音を効率的に抽出できる。
さらに、打撃音の発生した時刻をより確実に確定するためには、前記使用用具と選手がプレイ中常に持って使用するラケット等の用具との当たり具合等による音の変化をパターン化した打撃音パターン情報を格納する打撃音パターン情報格納部を備え、前記打撃時刻情報特定部が、この打撃音パターン情報格納部に格納される打撃音パターン情報と前記音響情報とに基づき前記打撃時刻を特定することが望まれる。
なお、本発明の望ましい他の態様としては、ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置であって、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得部と、前記映像情報取得部で取得した映像情報に含まれてなる前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具が、所定の対象体に隠蔽される状態にあるか否かを判定する隠蔽状態判定部と、前記隠蔽状態判定部で前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと判定されたときの隠蔽開始時刻と前記対象体に隠蔽される状態から隠蔽されない状態になったと判定されたときの隠蔽解除時刻とに基づき、前記使用用具を打撃した打撃時刻を特定する打撃時刻情報特定部と、前記映像情報取得部で取得した映像情報と前記打撃時刻情報特定部で特定した打撃時刻における使用用具の位置とに基づき、その映像情報が示す選手の動作を含む画像内容を認識する画像内容認識部とを備えているものが挙げられる。
また、画像認識の精度を向上させるためには、前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具の打撃時に発生する打撃音等前記映像情報と同期した音響情報を前記コンテンツから取得する音響情報取得部を備え、前記打撃時刻情報特定部が、前記隠蔽開始時刻と前記隠蔽解除時刻との組みと前記音響情報取得部で取得した音響情報とに基づき打撃時刻を特定するようにすればよい。
第１図は、本発明の実施形態における画像認識装置の機器構成図である。
第２図は、同実施形態における機能ブロック図である。
第３図は、同実施形態における映像情報からコートラインの抽出に用いるコートモデルを示す図である。
第４図は、同実施形態における映像情報からネットラインの抽出に用いるネットモデルを示す図である。
第５図は、同実施形態における映像情報から抽出したコートライン及びネットラインを示す図である。
第６は、同実施形態における選手領域の検出を示す図である。
第７図は、同実施形態におけるボール領域の検出を示す図である。
第８図は、同実施形態におけるボール位置の追跡を示す図である。
第９図は、同実施形態におけるルール情報格納部の格納態様を示す図である。
第１０図は、同実施形態における選手の動作を識別する態様を示す図である。
第１１図は、同実施形態における映像情報から画像認識を行う過程を示すフロー図である。
第１２図は、係数ａと総合的な検出精度の尺度Ｆ値との関係を示す図である。
第１３図は、本発明の他の実施形態における画像認識装置の機能ブロック図である。
第１４図は、同実施形態における映像情報から画像認識を行う過程を示すフロー図である。
第１５図は、本発明の他の実施形態における画像認識装置の機能ブロック図である。
第２図は、同実施形態における機能ブロック図である。
第３図は、同実施形態における映像情報からコートラインの抽出に用いるコートモデルを示す図である。
第４図は、同実施形態における映像情報からネットラインの抽出に用いるネットモデルを示す図である。
第５図は、同実施形態における映像情報から抽出したコートライン及びネットラインを示す図である。
第６は、同実施形態における選手領域の検出を示す図である。
第７図は、同実施形態におけるボール領域の検出を示す図である。
第８図は、同実施形態におけるボール位置の追跡を示す図である。
第９図は、同実施形態におけるルール情報格納部の格納態様を示す図である。
第１０図は、同実施形態における選手の動作を識別する態様を示す図である。
第１１図は、同実施形態における映像情報から画像認識を行う過程を示すフロー図である。
第１２図は、係数ａと総合的な検出精度の尺度Ｆ値との関係を示す図である。
第１３図は、本発明の他の実施形態における画像認識装置の機能ブロック図である。
第１４図は、同実施形態における映像情報から画像認識を行う過程を示すフロー図である。
第１５図は、本発明の他の実施形態における画像認識装置の機能ブロック図である。
＜第１実施形態＞
以下、本発明の一実施形態について第１図〜第１２図を参照して説明する。
第１図は、本実施形態における画像認識装置の機器構成を示す機器構成図である。第２図は、同実施形態における機能ブロック図である。
本実施形態に係る画像認識装置は、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するものであって、第１図に示すように、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置と接続される入出力インタフェイス１１と、データやプログラム等を記憶するＨＤＤ等の外部記憶装置１２や内部メモリ１３と、前記外部記憶装置１２等に記憶させたプログラムにしたがって作動し当該装置を画像認識装置１として機能させるＣＰＵ１４と、ユーザの利用者情報を受け付けるキーボードやマウス等のユーザインタフェイス１５等とを主な構成要素としている。なお、ここで「コンテンツ」とは、選手の動作、コート斜め上から縦方向にコートが映るようなアングルで撮影されたショット、審判、観客のアップとなるショット等を含む映像や解説者等の音声を含むものとしている。本実施形態では、「コンテンツ」の一例としてテニス番組を例に挙げて説明する。
一方、この画像認識装置１を機能面で説明すると、前記ＣＰＵ１４等が動作することにより、第２図に示すように、ドメイン要素抽出部１０１、ルール情報格納部１０２、隠蔽状態判定部２０１、打撃時刻情報特定部１０５、画像内容認識部１０６等としての機能を有している。
以下、これら各部を詳述する。
ドメイン要素抽出部１０１は、ネット等の障害物や区画された領域たるコート及びそのコート外の境界を示す境界線たるコートライン等の使用施設情報と、選手の位置を示す選手位置情報と、前記コート間等を移動し当該スポーツの得点のカウント対象となる使用用具情報とをテレビジョン受像機に表示される映像情報から抽出するものであって、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得部としての機能の一部を発揮するように構成されている。なお、本実施形態では、抽出する使用施設情報をコートラインとネットラインとし、また、抽出する選手位置情報を対戦するプレイヤ１の位置情報とプレイヤ２の位置情報とし、さらに、抽出する使用用具情報をテニスボール（以下、「ボール」と称する。）としている。さらに、このドメイン要素抽出部１０１で抽出した使用施設情報、選手位置情報、使用用具情報を、以下、ドメイン要素と総称する。
より具体的には、使用施設情報の抽出は、第３図に示すように、コートラインの代表的な点を示すコート特徴点Ｐｃ１、・・・、Ｐｃ１４（以下、「Ｐｃ」と総称する。）、コートラインＬｃ１、・・・、Ｌｃ９（以下、「Ｌｃ」と総称する。）を定めたコートモデルと、第４図に示すように、ネットラインの代表的な点を示すネット特徴点Ｐｎ１、・・・、Ｐｎ３（以下、「Ｐｎ」と総称する。）、ネットラインＬｎ１、Ｌｎ２（以下、「Ｌｎ」と総称する。）を定めたネットモデルとを参照し、コートライン、ネットラインの順に映像情報から抽出するように設定している。
まず、コートラインの抽出は、映像情報から前記コート特徴点を検出することによって抽出するようにしている。さらに詳述すると、時刻ｔ＝０において、初期特徴点Ｐｃ（０）を入力として与え、次に、Ｐｃ（０）で決まるコートラインＬｃ（０）について、各ラインをハフ平面に変換し、ハフ平面上における各ピーク点を中心に大きさｗｔｈ、ｗｒｏの検出窓Ｗｃ（０）を用意するように設定している。なお、初期特徴点Ｐｃ（０）を入力として与える方法としては、オペレータが前記ユーザインタフェイス１５を利用して入力する方法、又は、該装置１が自動的に初期特徴点Ｐｃ（０）を検知し入力する方法、のいずれかの方法を採用することができる。また、時刻ｔ＝ｔにおいて、まず、原画像の２値化画像Ｂ（ｔ）とコートラインＬｃ（ｔ−１）の近傍領域とのＡＮＤをとり、コート近傍のみからなる２値化画像（以下、「コートライン２値画像」と呼ぶ。）Ｂｃ（ｔ）を生成するように設定している。そして、これを各ライン毎にハフ変換し、各検出窓Ｗｃ（ｔ−１）で制限される範囲でピーク検出を行い、コート特徴点Ｐｃ（ｔ）を更新し、再び、コートラインＬｃ（ｔ）をハフ変換し、検出窓Ｗｃ（ｔ）も更新することにより、映像情報からコートラインを抽出するように設定している。なお、パンニングなどによってコート特徴点が画面から外れた場合には、コート中央のコート特徴点Ｐｃｉ（ｔ）（ｉ＝９、１０、１２、１３ｏｒ１０、１１、１３、１４）は画面内に常に映っていることを仮定し、連結知識を用いて画面外の点を推定して更新するように設定している。同様の理由で、いくつかの初期特徴点は省略してもよい。なお、連結知識とは、例えば、コート中央のコート特徴点Ｐｃｉ（ｔ）（ｉ＝９、１０、１２、１３）を連結すればコートモデル上に意味付け可能な区画を構成できるといった当該スポーツを行う知識に基づき定義されるものである。
次に、ネットラインの抽出は、時刻ｔ＝０での初期特徴点Ｐｎ（０）を入力として与え、コートラインと同様に、各ライン毎にネットラインＬｎ（０）、検出窓Ｗｎ（０）を用意し、一方、時刻ｔ＝ｔにおいては、原画像の２値化画像からコートライン２値画像を除いた画像Ｂｎ（ｔ）＝Ｂ（ｔ）−Ｂｃ（ｔ）をネットライン２値画像として生成し、これを用いてハフ変換、検出窓内でピーク検出を行って特徴点Ｐｎ（ｔ）を更新し、映像情報からネットラインを抽出するように設定している。
以上のようにして、第５図に示すように、コートライン及びネットラインを抽出することができる。
次に、映像情報からこれらコートライン及びネットラインを除去した２値画像において重なりが最大となる領域を特定することで選手位置情報を抽出するように構成している。
より具体的には、時刻ｔ＝ｔにおいて前後ｓフレーム離れた画像との差分を求め適当な閾値で２値画像Ｂ１（ｔ）、Ｂ２（ｔ）を生成する。なお、ここで、Ｂ１（ｔ）＝ＢＩＮ（Ｉ（ｔ）−Ｉ（ｔ−ｓ））、Ｂ２（ｔ）＝ＢＩＮ（Ｉ（ｔ＋ｓ）−Ｉ（ｔ））としている。ここでＢＩＮは（ ）内の引数を２値化することを示す関数である。そして、これら２つの差分画像のＡＮＤ演算を行った結果得られる２値画像をＢｄｉｆｆ（ｔ）と、時刻ｔ＝ｔにおける画像Ｉ（ｔ）の点で予め用意した選手のユニフォーム等の代表色に対応する色クラスタ内に含まれるものを１とした２値画像Ｂｌａｂｅｌ（ｔ）とに基づきコートライン及びネットラインを消去する。さらに、選手領域との重なり部分を除去したと考えられる領域については拡大縮小処理によって領域を補完する。そしてこのようにして得られた２つの画像のＯＲ演算を行い、第６図に示すような２値画像Ｂ（ｔ）を得る。このようにして得た２値画像Ｂ（ｔ）内で連結領域のラベリングを行い、ノイズの影響を避けるため、これを数フレーム観測し、コート近傍内にある一定以上の面積をもつ領域を選手初期位置とする。そして、時刻ｔ＝ｔにおける一定以上の面積をもつ領域のうち、時刻ｔ＝ｔ−１の選手領域の近傍に存在し、かつ、面積差が最も小さい領域を時刻ｔ＝ｔにおける選手領域ｐと判定し、選手位置情報を得られるように設定している。
そして、このようにして抽出した選手位置情報との距離に応じて、検出モードと追跡モードとを切り替えることでボールを抽出するように構成している。
さらに詳述すると、検出モードとは、予め用意した大きさｂｘ×ｂｙのボールを含む所定のテンプレートＴｂ（ｘ、ｙ）に基づき、第７図に示すように、時刻ｔにおいて選手領域ｐを消去した画像Ｉ´Ｂ内の選手近傍領域において、テンプレートＴｂ（ｘ、ｙ）に一致するボール候補Ｂａ位置を全て検出するものであって、時刻ｔ＝ｔ＋１、ｔ＋２、・・・についても同様にボール候補を検出し、選手位置を中心に放射状に連続して検出されるボール候補Ｂａを絞り込み、最終的に残った１つのボール候補Ｂａの組みをその時区間のボール軌道ＢＷと特定することができる。ここで、前記テンプレートＴｂ（ｘ、ｙ）とは、映像情報からボールを抽出するために設ける一種のツールであって、本実施形態では、映像中に拡大あるいは縮小表示されるボールの大きさを暫定的にｂｘ×ｂｙとし、このｂｘ×ｂｙから外周を外側へ若干拡大したものをテンプレートとして設定している。
追跡モードとは、前記テンプレートＴｂ（ｘ、ｙ）とのテンプレートマッチングによりボール軌道ＢＷを追跡するものである。ただし、ボール軌道ＢＷは微小時間でほぼ直線とみなせると仮定し、前回検出された移動量をそのまま現フレームに加えた位置を予測中心として探索を行う。そして、選手領域とボール候補Ｂａ位置との距離がある閾値より小さくなったら、前記検出モードを実行し、そうでなければ、この追跡モードを繰り返し行うように設定している。
そして、以上のようにして、第８図に示すように、任意の時間区間におけるボール軌道ＢＷを得ることができる。なお、第８図は、ボールの軌道ＢＷをわかりやすく表現するために、任意の時刻の映像情報に重ねて表示している。
ルール情報格納部１０２は、当該スポーツを行うために必要なルール情報を格納するものであって、前記外部記憶装置１２や内部メモリ１３の所定領域に形成している。より具体的にこのルール情報は、例えば、第９図に示すように、インデックス化したルール情報インデックス「サービス」をルール情報「サービスを開始する直前、サーバーはベースラインのネットに向かって後方、センターマークとサイドラインの仮想延長線間に両足とも地面につけて立つ。手でボールを空中いずれの方向にでもほうり投げ、そのボールが地面に落ちるまえにラケットで打つ。サービスはラケットとボールが接した瞬間に完了したものとみなす。」と定義し、ルール情報インデックス「コートライン上の落球」をルール情報「コートライン上に落ちたボールは、そのコートラインによって区切られたコート内に落ちたとみなされる。」と定義したもの等を格納している。
隠蔽状態判定部２０１は、前記ドメイン要素抽出部１０１で抽出されたボールが、所定の対象体たる選手領域ｐに隠蔽される状態にあるか否かを判定するものである。なお、本実施形態では、この隠蔽状態判定部２０１に、前記ドメイン要素抽出部１０１で抽出されたボールが使用領域ｐに対して所定距離内に近づいたか否かを判定する距離判定部２０１ａと、前記距離判定部２０１ａでボールが選手領域ｐに対して所定距離内にあると判定し且つボールが選手領域ｐに隠蔽されない状態から隠蔽される状態へとなったときの時刻を隠蔽開始時刻として特定し、前記距離判定部２０１ａでボールが選手領域ｐに対して所定距離内にあると判定し且つボールが選手領域ｐに隠蔽される状態から隠蔽されない状態へとなったときの時刻を隠蔽解除時刻として特定する隠蔽開始解除時刻特定部２０１ｂとを備えるように構成している。
さらに詳述すると、第１０図に示すように、前記距離判定部２０１ａで、ボールが選手領域ｐの所定範囲にある、と判定された際の検出ボール位置が、ｂ（１）〜ｂ（７）であったとする。そして、このボール位置ｂ（１）〜ｂ（７）のうち、選手領域ｐに隠蔽される直前のボール位置を特定し得る時刻を隠蔽開始時刻ｔ０とし、選手領域ｐから出現した直後のボール位置を特定し得る時刻を隠蔽解除時刻ｔ１として、隠蔽開始解除時刻特定部２０１ｂが特定する。
なお、本実施形態では、ボールが選手領域ｐの後方に隠れた状態を「隠蔽される状態」と定義しているが、ボールが選手領域ｐの前方に重なる状態も含めて「隠蔽される状態」と定義してもよい。また、隠蔽される所定の対象体は、選手領域ｐに限らず、ネットラインやコートラインなどの使用施設情報とすることもできる。
打撃時刻情報特定部１０５は、前記隠蔽開始解除時刻特定部２０１ｂで特定された隠蔽開始時刻ｔ０と隠蔽解除時刻ｔ１とに基づいて、打撃時刻ｔａを特定するものである。
より具体的には、隠蔽開始解除時刻特定部２０１ｂで特定された隠蔽開始時刻ｔ０と隠蔽解除時刻ｔ１とを、下式（数１）に代入して演算することにより、打撃時刻ｔａを特定する。
なお、本実施形態では、第１２図に基づき、総合的な検出精度の高かった０．５又は０．６のいずれか一方の値を、係数ａに設定しているが、例えば、ａの値に手前側の選手と奥側の選手とで別々の値を設定するなど、設定する係数ａの値は、これらに限られるものではない。ここで「総合的な検出精度」とは、Ｆ＝２ＰＲ／（Ｐ＋Ｒ）により求められる。ただし、Ｐ及びＲは、適合率（Ｐ）＝抽出された正しいデータ数／抽出されたデータ数、再現率（Ｒ）＝抽出された正しいデータ数／抽出すべきデータ数、である。
また、上述のようにして得られる打撃時刻ｔａの値は、適当な方法で整数に近似したものとしたり、有効数字の範囲の数に丸めたものとするなど、その値の有効桁数などは実施態様に応じて適宜設定することができる。
画像内容認識部１０６は、前記ドメイン要素抽出部１０１で抽出したコートライン及びネットラインと選手位置情報とボールの位置と、前記打撃時刻情報特定部１０５で特定した打撃時刻ｔａにおける使用用具の位置と、前記ルール情報格納部１０２に格納されるルール情報とに基づき、その映像情報が示す選手の動作を含む画像内容を認識するものである。
より具体的には、第１０図に示すように、前記打撃時刻情報特定部１０５で特定された打撃時刻ｔａにおけるボール位置Ｐｉ（ｔａ）を求め、このボール位置Ｐｉ（ｔａ）と選手位置とから、例えば、このボール打撃時刻ｔａにおいてボールが選手を囲む外接四角形上部の識別ラインより上方にあれば“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”、選手重心に対してフォアサイドあるいはバックサイドにあれば、それぞれ“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”と選手の動作を判定するように設定している。なお、前記識別ラインは、選手外接四角形の縦方向の長さに応じ一定の比率で決まる選手領域上部に設定している。
次に、本実施形態の画像認識装置の動作を第１１図に示すフロー図を用いて説明する。
まず、選手のプレイ中の動作が映った映像情報からコートラインとネットラインとをそれぞれ抽出し（ステップＳ１０１）、映像情報からこれらコートライン及びネットラインを除去した２値画像を用いて選手位置情報を抽出する（ステップＳ１０２）。そして抽出した選手位置情報に基づき映像情報からボールを抽出する（ステップＳ１０３）。次に、隠蔽状態判定部２０１で、抽出したボールが選手領域ｐに対して所定範囲にあると判定されれば（ステップＳ１０４）、打撃時刻情報特定部１０５が、隠蔽開始解除時刻特定部２０１ｂで求めた隠蔽開始時刻（ｔ０）と隠蔽解除時刻ｔ１とに基づき打撃時刻ｔａを特定する（ステップＳ１０５）。このようにして特定した打撃時刻ｔａにおけるボール位置と選手位置及びルール情報に基づき、例えば、第１０図に示すように、ボールが選手に重なったり隠蔽されたりする場合等特に画像認識に不具合を生じるような場合でも、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の３種類の動作で認識することができる（ステップＳ１０６）。
以上のようにして、映像中において使用用具が選手やネット等の障害物に重なったり隠蔽されたりして使用用具の位置特定が困難なとき等、画像認識が困難な場合でも、隠蔽状態判定部２０１において、使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと隠蔽状態判定部２０１で判定されたときの隠蔽開始時刻と、前記対象体に隠蔽される状態から隠蔽されない状態になったと隠蔽状態判定部２０１で判定されたときの隠蔽解除時刻とに基づき、打撃時刻情報特定部１０５が前記使用用具を打撃した打撃時刻を特定し、さらに、特定した打撃時刻と選手のプレイ中の動作が映った映像情報と当該ルールを行うためのルール情報とに基づき画像内容認識部１０６が確実に選手の動作を特定するため、例えば、重なりや隠蔽によるフォアハンドスイング、バックハンドスイング及びオーバーヘッドスイングの識別誤りを回避することができる画像認識に優れた画像認識装置を比較的安価に提供することができる。ボールと選手とが重なったり隠蔽されたりしない場合での画像認識が好適に行えることは言うまでもない。
なお、本実施形態において、コンテンツをテニス番組とし、その映像情報から抽出するドメイン要素を使用施設情報をコートライン及びネットラインとしたが、コンテンツが他のスポーツ番組等に替われば抽出する使用施設情報もこれらから変更されることは言うまでも無い。また、選手位置情報、使用用具情報に関してもこれと同様に変更することとなる。
さらに、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するように構成していたが、例えば、スタジアムで当該スポーツを撮影した放映される前の素材映像やインターネット上にアーカイブ化されている映像情報から、特徴的な試合中の選手の動作を認識するなど、画像認識を行うコンテンツの対象となる媒体は本実施形態に限られるものではない。
また、画像内容認識部１０６において映像情報が示す選手の動作を含む画像内容を、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の３種類の動作で認識するように構成していたが、ボール位置や選手位置との関係等に基づき、選手がその場に留まる動作を表す“ｓｔａｙ”、選手の移動動作を表す“ｍｏｖｅ”を認識することもできる。また、ルール情報格納部１０２に格納するルール情報を、選手のさまざまな動作を含めたより複雑なものに定義して格納すれば、画像内容認識部１０６においてより複雑な選手の動作を認識することも可能である。
なお、ｂｘ×ｂｙのボールを含む所定のテンプレートＴｂ（ｘ、ｙ）を用いて映像情報からボールを抽出するように構成していたが、このテンプレートを用いずにボールを抽出しても構わない。
＜第２実施形態＞
以下、本発明の他の一実施形態について第１３図〜第１４図等を参照して説明する。
なお、特に説明なきもので、且つ、第１実施形態と同一の名称及び符号が与えられているものは、第１実施形態と同一の構成及び機能を有するものとする。
本実施形態における画像認識装置は、第１実施形態のものと同様、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するものである。また、この画像認識装置の機器構成は、第１実施形態と同様のものであるので説明を省略する。
そして、この画像認識装置１を機能面で説明すると、前記ＣＰＵ１４等が動作することにより、第１３図に示すように、ドメイン要素抽出部１０１、ルール情報格納部１０２、距離判定部２０１ａと隠蔽開始解除時刻特定部２０１ｂとを備える隠蔽状態判定部２０１、音響情報取得部１０３、打撃音パターン情報格納部１０４、打撃時刻情報特定部１０５、画像内容認識部１０６等としての機能を有している。
以下、これら各部を詳述する。
ドメイン要素抽出部１０１、ルール情報格納部１０２及び隠蔽状態判定部２０１は、第１実施形態のものと同様であるので説明を省略する。
音響情報取得部１０３は、ボールの打撃時に発生する打撃音等を含む音響情報を前記コンテンツから取得するものであって、この音響情報を、分解能１６ｂｉｔ、サンプリングレート４４．１ｋＨｚにてサンプリングして取得するように設定している。また、本実施形態では、この音響情報取得部１０３に図示しないフィルタ部を設け、例えば、プレイ中の選手のシューズとコートとが擦れた際に生じる音や風の音やその他雑音等打撃音以外の音響情報をフィルタリングして打撃音のみを好適に抽出できるように構成している。より具体的に、このフィルタ部は、所定の周波数帯域を通過させるバンドパスフィルタをＦＩＲフィルタやＩＩＲフィルタ等のデジタル回路によって構成したものであって、本実施形態では、１００Ｈｚ〜１５００Ｈｚの周波数帯域の信号成分を通過させるように設定している。
打撃音パターン情報格納部１０４は、ボールとラケットとの当たり具合等による音の変化を、スマッシュした時の打撃音やフォアハンドストロークをした時の打撃音などストロークの種類に分類してパターン化した打撃音パターン情報として所定の周波数とその周波数における振幅値とを対応づけて格納するものであって、前記外部記憶装置１２や内部メモリ１３の所定領域に形成している。なお、ボールがコートで跳ね返るときの音など、ボールとラケットとが当たることにより発生する音以外の音をパターン化して格納していてもよい。
打撃時刻情報特定部１０５は、前記隠蔽開始解除時刻特定部２０１ｂで特定された隠蔽開始時刻ｔ０と隠蔽解除時刻ｔ１とに基づいて（方法Ｍ１）、及び、打撃音パターン情報格納部１０４に格納される打撃音パターン情報と前記音響情報取得部１０３で取得した音響情報とに基づいて（方法Ｍ２）、打撃時刻ｔａを特定するものである。
より具体的には、ボールが選手領域ｐに対してある一定距離内に近づいた時刻をｔ＿ｄ０とし、ボールがその選手からある一定距離外に遠ざかった時刻をｔ＿ｄ１とする。そして、期間［ｔ＿ｄ０、ｔ＿ｄ１］の間において、方法Ｍ２の音響情報を用いた打撃時刻の検出を行い、打撃時刻が検出されればその値を打撃時刻ｔａとして採用する。もし、検出漏れにより採用されなければ、方法Ｍ１のｔａ＝ａｐｐｒｏｘ（ａ×ｔ０＋（１−ａ）×ｔ１）により打撃時刻ｔａを特定する。ここで、ａｐｐｒｏｘ（ｘ）はｘを適当な方法で近似する関数を表す。また、「検出漏れ」が発生する原因には、マイクの設置条件や放送におけるミキシング条件、データ伝送路の条件などにより、打撃時刻の特定に必要な音響情報が良好な条件で得られない場合などが挙げられる。さらに、方法Ｍ２で得た打撃時刻と方法Ｍ１で得た打撃時刻とがマッチングする関係にあるときに、その時刻を打撃時刻として特定するように構成すれば、打撃時刻の特定の精度を格段に向上させることができる。
以下、方法Ｍ１、Ｍ２について詳述するが、方法Ｍ１については、第１実施形態で打撃時刻ｔａを求める方法と同様であるので説明を省略する。
方法Ｍ２について詳述する。
このときの打撃時刻情報特定部１０５は、前記音響情報取得部１０３で取得した音響情報を２０４８点（≒０．０４６秒）単位で且つ１２８点（≒０．００２９秒）間隔で開始時刻を順次ずらしながらＦＦＴ処理を行い、各時刻における周波数領域に変換した音響情報の周波数特性パターンを前記打撃音パターン情報格納部１０４に格納される打撃音パターン情報と照合するように設定している。そして、これらの照合の結果、音響情報の周波数特性パターンと前記打撃音パターン情報とが一致していれば、その一致した時刻をこのボールの打撃時刻ｔａと特定し、特定した打撃時刻ｔａを画像内容認識部１０６に出力するように動作する。なお、本実施形態では、音響情報の周波数特性パターンと打撃音パターン情報との一致を相関関数を用い、この相関関数が予め設定した閾値より大きな値を示す際に一致したとみなすように設定している。
画像内容認識部１０６は、第１実施形態と同様のものであるため、説明を省略する。
次に、本実施形態の画像認識装置の動作を第１４図に示すフロー図を用いて説明する。
まず、選手のプレイ中の動作が映った映像情報からコートラインとネットラインとをそれぞれ抽出し（ステップＳ２０１）、映像情報からこれらコートライン及びネットラインを除去した２値画像を用いて選手位置情報を抽出する（ステップＳ２０２）。そして抽出した選手位置情報に基づき映像情報からボールを抽出する（ステップＳ２０３）。ボールが選手領域ｐに対して所定範囲にあれば（ステップＳ２０４）、前記コンテンツからボールの打撃時に発生する打撃音を含む音響情報をフィルタ部でフィルタリングして取得し（ステップＳ２０５）、フィルタリングして取得した音響情報に対し、所定の間隔で開始時刻を順次ずらしながらＦＦＴ処理を行う（ステップＳ２０６）。そして、各時刻におけるＦＦＴ処理により周波数領域に変換して得た打撃音候補データの周波数特性パターンを打撃音パターン情報格納部１０４に格納される打撃音パターンと照合し（ステップＳ２０７）、照合した結果、打撃音候補データの周波数特性パターンと前記打撃音パターン情報とが一致していれば（ステップＳ２０８）、その一致した時刻をこのボールの打撃時刻ｔａと特定し（ステップＳ２０９）、一致していなければ（ステップＳ２０８）、次の時刻における打撃音候補データの周波数特性パターンと前記打撃音パターンとの照合を行う（ステップＳ２０７）。
一方、ステップＳ２０８において、所定回数一致しなければ（ステップＳ２１０）、打撃時刻情報特定部１０５が、隠蔽開始解除時刻特定部２０１ｂで求めた隠蔽開始時刻ｔ０と隠蔽解除時刻ｔ１とに基づき打撃時刻ｔａを特定する（ステップＳ２１１）。
このようにして特定した打撃時刻ｔａにおけるボール位置と選手位置及びルール情報に基づき、例えば、第１０図に示すように、ボールが選手に重なったり隠蔽されたりする場合等特に画像認識に不具合を生じるような場合でも、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の３種類の動作で認識することができる（ステップＳ２１２）。
以上のようにして、映像中において使用用具が選手やネット等の障害物に重なったり隠蔽されたりして使用用具の位置特定が困難なときや、音響情報を用いても画像認識が困難な場合でも、隠蔽状態判定部２０１において、使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと隠蔽状態判定部２０１で判定されたときの隠蔽開始時刻と、前記対象体に隠蔽される状態から隠蔽されない状態になったと隠蔽状態判定部２０１で判定されたときの隠蔽解除時刻とに基づき、打撃時刻情報特定部１０５が前記使用用具を打撃した打撃時刻を特定し、さらに、特定した打撃時刻と選手のプレイ中の動作が映った映像情報と当該ルールを行うためのルール情報とに基づき画像内容認識部１０６が確実に選手の動作を特定するため、例えば、重なりや隠蔽によるフォアハンドスイング、バックハンドスイング及びオーバーヘッドスイングの識別誤りといった映像情報だけでは避けられなかった認識誤りを回避することができる画像認識に優れた画像認識装置を比較的安価に提供することができる。ボールと選手とが重なったり隠蔽されたりしない場合での画像認識が好適に行えることは言うまでもない。
また、音響情報取得部１０３が取得した打撃音を含む音響情報に基づき特定した打撃時刻と、方法Ｍ２の手法で得られる打撃時刻とを用いて打撃時刻を特定するようすれば、より精度の高い画像認識装置を提供することもできる。このような場合、打撃音以外のノイズ音が取得した音響情報に含まれていても、フィルタ部でこのノイズ音を好適にフィルタリングできるため、ロバスト的で認識率の高い画像認識が可能となる。さらに、音響情報から複数個の打撃音候補データを取得し、これに基づき打撃時刻を特定するように構成しているため、正確な打撃時刻の特定が可能となる。さらにこのとき、複数個の打撃音候補データを、前後の打撃音候補データ間で相互に重なる時刻を有するようにしているため、誤って打撃時刻を特定できないといった不具合も防止できる。
なお、本実施形態において、コンテンツをテニス番組とし、その映像情報から抽出するドメイン要素を使用施設情報をコートライン及びネットラインとしたが、コンテンツが他のスポーツ番組等に替われば抽出する使用施設情報もこれらから変更されることは言うまでも無い。また、選手位置情報、使用用具情報に関してもこれと同様に変更することとなる。
さらに、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するように構成していたが、例えば、スタジアムで当該スポーツを撮影した放映される前の素材映像やインターネット上にアーカイブ化されている映像情報から、特徴的な試合中の選手の動作を認識するなど、画像認識を行うコンテンツの対象となる媒体は本実施形態に限られるものではない。
また、画像内容認識部１０６において映像情報が示す選手の動作を含む画像内容を、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の３種類の動作で認識するように構成していたが、ボール位置や選手位置との関係等に基づき、選手がその場に留まる動作を表す“ｓｔａｙ”、選手の移動動作を表す“ｍｏｖｅ”を認識することもできる。また、ルール情報格納部１０２に格納するルール情報を、選手のさまざまな動作を含めたより複雑なものに定義して格納すれば、画像内容認識部１０６においてより複雑な選手の動作を認識することも可能である。
なお、ｂｘ×ｂｙのボールを含む所定のテンプレートＴｂ（ｘ、ｙ）を用いて映像情報からボールを抽出するように構成していたが、このテンプレートを用いずにボールを抽出しても構わない。
また、音響情報取得部１０３にバンドパスフィルタで構成されるフィルタ部を設けたが、バンドパスフィルタ以外のフィルタを用いる実施態様も考えられる。さらに、通過させる周波数帯域も１００Ｈｚ〜１５００Ｈｚに限られるものではない。
なお、音響情報取得部１０３が、ボールの打撃時に発生する打撃音等を含む音響情報を前記コンテンツから分解能１６ｂｉｔ、サンプリングレート４４．１ｋＨｚにてサンプリングして取得するように設定していたが、分解能及びサンプリングレートの設定はこれに限られるものではない。
また、前記音響情報取得部１０３で取得した音響情報を、前記打撃時刻情報特定部１０５が２０４８点（≒０．０４６秒）単位で且つ１２８点（≒０．００２９秒）間隔で開始時刻を順次ずらしながらＦＦＴ処理を行うように設定していたが、ＦＦＴ処理を行うポイント数等はこれに限らず他の値に設定しても構わない。
さらに、音響情報の周波数特性パターンと打撃音パターン情報との一致を相関関数を用い、この相関関数が予め設定した閾値より大きな値を示す際に一致したとみなすように設定していたが、音響情報の周波数特性パターンと打撃音パターン情報との一致をみなす方法は他にも考えられる。
また、図１５に示すように、画像内容認識部１０６が映像情報取得部で取得した映像情報と打撃時刻情報特定部１０５で特定した打撃時刻における使用用具の位置とに基づき、その映像情報が示す選手の動作を含む画像内容を認識するように、該画像認識装置１を構成する実施態様も考えられる。このように構成すれば、簡単な構成でシステムを構成することができるとともに、例えば、ルールが設定されていないものにも応用できるので汎用性を広げられる。
その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
以下、本発明の一実施形態について第１図〜第１２図を参照して説明する。
第１図は、本実施形態における画像認識装置の機器構成を示す機器構成図である。第２図は、同実施形態における機能ブロック図である。
本実施形態に係る画像認識装置は、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するものであって、第１図に示すように、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置と接続される入出力インタフェイス１１と、データやプログラム等を記憶するＨＤＤ等の外部記憶装置１２や内部メモリ１３と、前記外部記憶装置１２等に記憶させたプログラムにしたがって作動し当該装置を画像認識装置１として機能させるＣＰＵ１４と、ユーザの利用者情報を受け付けるキーボードやマウス等のユーザインタフェイス１５等とを主な構成要素としている。なお、ここで「コンテンツ」とは、選手の動作、コート斜め上から縦方向にコートが映るようなアングルで撮影されたショット、審判、観客のアップとなるショット等を含む映像や解説者等の音声を含むものとしている。本実施形態では、「コンテンツ」の一例としてテニス番組を例に挙げて説明する。
一方、この画像認識装置１を機能面で説明すると、前記ＣＰＵ１４等が動作することにより、第２図に示すように、ドメイン要素抽出部１０１、ルール情報格納部１０２、隠蔽状態判定部２０１、打撃時刻情報特定部１０５、画像内容認識部１０６等としての機能を有している。
以下、これら各部を詳述する。
ドメイン要素抽出部１０１は、ネット等の障害物や区画された領域たるコート及びそのコート外の境界を示す境界線たるコートライン等の使用施設情報と、選手の位置を示す選手位置情報と、前記コート間等を移動し当該スポーツの得点のカウント対象となる使用用具情報とをテレビジョン受像機に表示される映像情報から抽出するものであって、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得部としての機能の一部を発揮するように構成されている。なお、本実施形態では、抽出する使用施設情報をコートラインとネットラインとし、また、抽出する選手位置情報を対戦するプレイヤ１の位置情報とプレイヤ２の位置情報とし、さらに、抽出する使用用具情報をテニスボール（以下、「ボール」と称する。）としている。さらに、このドメイン要素抽出部１０１で抽出した使用施設情報、選手位置情報、使用用具情報を、以下、ドメイン要素と総称する。
より具体的には、使用施設情報の抽出は、第３図に示すように、コートラインの代表的な点を示すコート特徴点Ｐｃ１、・・・、Ｐｃ１４（以下、「Ｐｃ」と総称する。）、コートラインＬｃ１、・・・、Ｌｃ９（以下、「Ｌｃ」と総称する。）を定めたコートモデルと、第４図に示すように、ネットラインの代表的な点を示すネット特徴点Ｐｎ１、・・・、Ｐｎ３（以下、「Ｐｎ」と総称する。）、ネットラインＬｎ１、Ｌｎ２（以下、「Ｌｎ」と総称する。）を定めたネットモデルとを参照し、コートライン、ネットラインの順に映像情報から抽出するように設定している。
まず、コートラインの抽出は、映像情報から前記コート特徴点を検出することによって抽出するようにしている。さらに詳述すると、時刻ｔ＝０において、初期特徴点Ｐｃ（０）を入力として与え、次に、Ｐｃ（０）で決まるコートラインＬｃ（０）について、各ラインをハフ平面に変換し、ハフ平面上における各ピーク点を中心に大きさｗｔｈ、ｗｒｏの検出窓Ｗｃ（０）を用意するように設定している。なお、初期特徴点Ｐｃ（０）を入力として与える方法としては、オペレータが前記ユーザインタフェイス１５を利用して入力する方法、又は、該装置１が自動的に初期特徴点Ｐｃ（０）を検知し入力する方法、のいずれかの方法を採用することができる。また、時刻ｔ＝ｔにおいて、まず、原画像の２値化画像Ｂ（ｔ）とコートラインＬｃ（ｔ−１）の近傍領域とのＡＮＤをとり、コート近傍のみからなる２値化画像（以下、「コートライン２値画像」と呼ぶ。）Ｂｃ（ｔ）を生成するように設定している。そして、これを各ライン毎にハフ変換し、各検出窓Ｗｃ（ｔ−１）で制限される範囲でピーク検出を行い、コート特徴点Ｐｃ（ｔ）を更新し、再び、コートラインＬｃ（ｔ）をハフ変換し、検出窓Ｗｃ（ｔ）も更新することにより、映像情報からコートラインを抽出するように設定している。なお、パンニングなどによってコート特徴点が画面から外れた場合には、コート中央のコート特徴点Ｐｃｉ（ｔ）（ｉ＝９、１０、１２、１３ｏｒ１０、１１、１３、１４）は画面内に常に映っていることを仮定し、連結知識を用いて画面外の点を推定して更新するように設定している。同様の理由で、いくつかの初期特徴点は省略してもよい。なお、連結知識とは、例えば、コート中央のコート特徴点Ｐｃｉ（ｔ）（ｉ＝９、１０、１２、１３）を連結すればコートモデル上に意味付け可能な区画を構成できるといった当該スポーツを行う知識に基づき定義されるものである。
次に、ネットラインの抽出は、時刻ｔ＝０での初期特徴点Ｐｎ（０）を入力として与え、コートラインと同様に、各ライン毎にネットラインＬｎ（０）、検出窓Ｗｎ（０）を用意し、一方、時刻ｔ＝ｔにおいては、原画像の２値化画像からコートライン２値画像を除いた画像Ｂｎ（ｔ）＝Ｂ（ｔ）−Ｂｃ（ｔ）をネットライン２値画像として生成し、これを用いてハフ変換、検出窓内でピーク検出を行って特徴点Ｐｎ（ｔ）を更新し、映像情報からネットラインを抽出するように設定している。
以上のようにして、第５図に示すように、コートライン及びネットラインを抽出することができる。
次に、映像情報からこれらコートライン及びネットラインを除去した２値画像において重なりが最大となる領域を特定することで選手位置情報を抽出するように構成している。
より具体的には、時刻ｔ＝ｔにおいて前後ｓフレーム離れた画像との差分を求め適当な閾値で２値画像Ｂ１（ｔ）、Ｂ２（ｔ）を生成する。なお、ここで、Ｂ１（ｔ）＝ＢＩＮ（Ｉ（ｔ）−Ｉ（ｔ−ｓ））、Ｂ２（ｔ）＝ＢＩＮ（Ｉ（ｔ＋ｓ）−Ｉ（ｔ））としている。ここでＢＩＮは（ ）内の引数を２値化することを示す関数である。そして、これら２つの差分画像のＡＮＤ演算を行った結果得られる２値画像をＢｄｉｆｆ（ｔ）と、時刻ｔ＝ｔにおける画像Ｉ（ｔ）の点で予め用意した選手のユニフォーム等の代表色に対応する色クラスタ内に含まれるものを１とした２値画像Ｂｌａｂｅｌ（ｔ）とに基づきコートライン及びネットラインを消去する。さらに、選手領域との重なり部分を除去したと考えられる領域については拡大縮小処理によって領域を補完する。そしてこのようにして得られた２つの画像のＯＲ演算を行い、第６図に示すような２値画像Ｂ（ｔ）を得る。このようにして得た２値画像Ｂ（ｔ）内で連結領域のラベリングを行い、ノイズの影響を避けるため、これを数フレーム観測し、コート近傍内にある一定以上の面積をもつ領域を選手初期位置とする。そして、時刻ｔ＝ｔにおける一定以上の面積をもつ領域のうち、時刻ｔ＝ｔ−１の選手領域の近傍に存在し、かつ、面積差が最も小さい領域を時刻ｔ＝ｔにおける選手領域ｐと判定し、選手位置情報を得られるように設定している。
そして、このようにして抽出した選手位置情報との距離に応じて、検出モードと追跡モードとを切り替えることでボールを抽出するように構成している。
さらに詳述すると、検出モードとは、予め用意した大きさｂｘ×ｂｙのボールを含む所定のテンプレートＴｂ（ｘ、ｙ）に基づき、第７図に示すように、時刻ｔにおいて選手領域ｐを消去した画像Ｉ´Ｂ内の選手近傍領域において、テンプレートＴｂ（ｘ、ｙ）に一致するボール候補Ｂａ位置を全て検出するものであって、時刻ｔ＝ｔ＋１、ｔ＋２、・・・についても同様にボール候補を検出し、選手位置を中心に放射状に連続して検出されるボール候補Ｂａを絞り込み、最終的に残った１つのボール候補Ｂａの組みをその時区間のボール軌道ＢＷと特定することができる。ここで、前記テンプレートＴｂ（ｘ、ｙ）とは、映像情報からボールを抽出するために設ける一種のツールであって、本実施形態では、映像中に拡大あるいは縮小表示されるボールの大きさを暫定的にｂｘ×ｂｙとし、このｂｘ×ｂｙから外周を外側へ若干拡大したものをテンプレートとして設定している。
追跡モードとは、前記テンプレートＴｂ（ｘ、ｙ）とのテンプレートマッチングによりボール軌道ＢＷを追跡するものである。ただし、ボール軌道ＢＷは微小時間でほぼ直線とみなせると仮定し、前回検出された移動量をそのまま現フレームに加えた位置を予測中心として探索を行う。そして、選手領域とボール候補Ｂａ位置との距離がある閾値より小さくなったら、前記検出モードを実行し、そうでなければ、この追跡モードを繰り返し行うように設定している。
そして、以上のようにして、第８図に示すように、任意の時間区間におけるボール軌道ＢＷを得ることができる。なお、第８図は、ボールの軌道ＢＷをわかりやすく表現するために、任意の時刻の映像情報に重ねて表示している。
ルール情報格納部１０２は、当該スポーツを行うために必要なルール情報を格納するものであって、前記外部記憶装置１２や内部メモリ１３の所定領域に形成している。より具体的にこのルール情報は、例えば、第９図に示すように、インデックス化したルール情報インデックス「サービス」をルール情報「サービスを開始する直前、サーバーはベースラインのネットに向かって後方、センターマークとサイドラインの仮想延長線間に両足とも地面につけて立つ。手でボールを空中いずれの方向にでもほうり投げ、そのボールが地面に落ちるまえにラケットで打つ。サービスはラケットとボールが接した瞬間に完了したものとみなす。」と定義し、ルール情報インデックス「コートライン上の落球」をルール情報「コートライン上に落ちたボールは、そのコートラインによって区切られたコート内に落ちたとみなされる。」と定義したもの等を格納している。
隠蔽状態判定部２０１は、前記ドメイン要素抽出部１０１で抽出されたボールが、所定の対象体たる選手領域ｐに隠蔽される状態にあるか否かを判定するものである。なお、本実施形態では、この隠蔽状態判定部２０１に、前記ドメイン要素抽出部１０１で抽出されたボールが使用領域ｐに対して所定距離内に近づいたか否かを判定する距離判定部２０１ａと、前記距離判定部２０１ａでボールが選手領域ｐに対して所定距離内にあると判定し且つボールが選手領域ｐに隠蔽されない状態から隠蔽される状態へとなったときの時刻を隠蔽開始時刻として特定し、前記距離判定部２０１ａでボールが選手領域ｐに対して所定距離内にあると判定し且つボールが選手領域ｐに隠蔽される状態から隠蔽されない状態へとなったときの時刻を隠蔽解除時刻として特定する隠蔽開始解除時刻特定部２０１ｂとを備えるように構成している。
さらに詳述すると、第１０図に示すように、前記距離判定部２０１ａで、ボールが選手領域ｐの所定範囲にある、と判定された際の検出ボール位置が、ｂ（１）〜ｂ（７）であったとする。そして、このボール位置ｂ（１）〜ｂ（７）のうち、選手領域ｐに隠蔽される直前のボール位置を特定し得る時刻を隠蔽開始時刻ｔ０とし、選手領域ｐから出現した直後のボール位置を特定し得る時刻を隠蔽解除時刻ｔ１として、隠蔽開始解除時刻特定部２０１ｂが特定する。
なお、本実施形態では、ボールが選手領域ｐの後方に隠れた状態を「隠蔽される状態」と定義しているが、ボールが選手領域ｐの前方に重なる状態も含めて「隠蔽される状態」と定義してもよい。また、隠蔽される所定の対象体は、選手領域ｐに限らず、ネットラインやコートラインなどの使用施設情報とすることもできる。
打撃時刻情報特定部１０５は、前記隠蔽開始解除時刻特定部２０１ｂで特定された隠蔽開始時刻ｔ０と隠蔽解除時刻ｔ１とに基づいて、打撃時刻ｔａを特定するものである。
より具体的には、隠蔽開始解除時刻特定部２０１ｂで特定された隠蔽開始時刻ｔ０と隠蔽解除時刻ｔ１とを、下式（数１）に代入して演算することにより、打撃時刻ｔａを特定する。
また、上述のようにして得られる打撃時刻ｔａの値は、適当な方法で整数に近似したものとしたり、有効数字の範囲の数に丸めたものとするなど、その値の有効桁数などは実施態様に応じて適宜設定することができる。
画像内容認識部１０６は、前記ドメイン要素抽出部１０１で抽出したコートライン及びネットラインと選手位置情報とボールの位置と、前記打撃時刻情報特定部１０５で特定した打撃時刻ｔａにおける使用用具の位置と、前記ルール情報格納部１０２に格納されるルール情報とに基づき、その映像情報が示す選手の動作を含む画像内容を認識するものである。
より具体的には、第１０図に示すように、前記打撃時刻情報特定部１０５で特定された打撃時刻ｔａにおけるボール位置Ｐｉ（ｔａ）を求め、このボール位置Ｐｉ（ｔａ）と選手位置とから、例えば、このボール打撃時刻ｔａにおいてボールが選手を囲む外接四角形上部の識別ラインより上方にあれば“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”、選手重心に対してフォアサイドあるいはバックサイドにあれば、それぞれ“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”と選手の動作を判定するように設定している。なお、前記識別ラインは、選手外接四角形の縦方向の長さに応じ一定の比率で決まる選手領域上部に設定している。
次に、本実施形態の画像認識装置の動作を第１１図に示すフロー図を用いて説明する。
まず、選手のプレイ中の動作が映った映像情報からコートラインとネットラインとをそれぞれ抽出し（ステップＳ１０１）、映像情報からこれらコートライン及びネットラインを除去した２値画像を用いて選手位置情報を抽出する（ステップＳ１０２）。そして抽出した選手位置情報に基づき映像情報からボールを抽出する（ステップＳ１０３）。次に、隠蔽状態判定部２０１で、抽出したボールが選手領域ｐに対して所定範囲にあると判定されれば（ステップＳ１０４）、打撃時刻情報特定部１０５が、隠蔽開始解除時刻特定部２０１ｂで求めた隠蔽開始時刻（ｔ０）と隠蔽解除時刻ｔ１とに基づき打撃時刻ｔａを特定する（ステップＳ１０５）。このようにして特定した打撃時刻ｔａにおけるボール位置と選手位置及びルール情報に基づき、例えば、第１０図に示すように、ボールが選手に重なったり隠蔽されたりする場合等特に画像認識に不具合を生じるような場合でも、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の３種類の動作で認識することができる（ステップＳ１０６）。
以上のようにして、映像中において使用用具が選手やネット等の障害物に重なったり隠蔽されたりして使用用具の位置特定が困難なとき等、画像認識が困難な場合でも、隠蔽状態判定部２０１において、使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと隠蔽状態判定部２０１で判定されたときの隠蔽開始時刻と、前記対象体に隠蔽される状態から隠蔽されない状態になったと隠蔽状態判定部２０１で判定されたときの隠蔽解除時刻とに基づき、打撃時刻情報特定部１０５が前記使用用具を打撃した打撃時刻を特定し、さらに、特定した打撃時刻と選手のプレイ中の動作が映った映像情報と当該ルールを行うためのルール情報とに基づき画像内容認識部１０６が確実に選手の動作を特定するため、例えば、重なりや隠蔽によるフォアハンドスイング、バックハンドスイング及びオーバーヘッドスイングの識別誤りを回避することができる画像認識に優れた画像認識装置を比較的安価に提供することができる。ボールと選手とが重なったり隠蔽されたりしない場合での画像認識が好適に行えることは言うまでもない。
なお、本実施形態において、コンテンツをテニス番組とし、その映像情報から抽出するドメイン要素を使用施設情報をコートライン及びネットラインとしたが、コンテンツが他のスポーツ番組等に替われば抽出する使用施設情報もこれらから変更されることは言うまでも無い。また、選手位置情報、使用用具情報に関してもこれと同様に変更することとなる。
さらに、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するように構成していたが、例えば、スタジアムで当該スポーツを撮影した放映される前の素材映像やインターネット上にアーカイブ化されている映像情報から、特徴的な試合中の選手の動作を認識するなど、画像認識を行うコンテンツの対象となる媒体は本実施形態に限られるものではない。
また、画像内容認識部１０６において映像情報が示す選手の動作を含む画像内容を、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の３種類の動作で認識するように構成していたが、ボール位置や選手位置との関係等に基づき、選手がその場に留まる動作を表す“ｓｔａｙ”、選手の移動動作を表す“ｍｏｖｅ”を認識することもできる。また、ルール情報格納部１０２に格納するルール情報を、選手のさまざまな動作を含めたより複雑なものに定義して格納すれば、画像内容認識部１０６においてより複雑な選手の動作を認識することも可能である。
なお、ｂｘ×ｂｙのボールを含む所定のテンプレートＴｂ（ｘ、ｙ）を用いて映像情報からボールを抽出するように構成していたが、このテンプレートを用いずにボールを抽出しても構わない。
＜第２実施形態＞
以下、本発明の他の一実施形態について第１３図〜第１４図等を参照して説明する。
なお、特に説明なきもので、且つ、第１実施形態と同一の名称及び符号が与えられているものは、第１実施形態と同一の構成及び機能を有するものとする。
本実施形態における画像認識装置は、第１実施形態のものと同様、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するものである。また、この画像認識装置の機器構成は、第１実施形態と同様のものであるので説明を省略する。
そして、この画像認識装置１を機能面で説明すると、前記ＣＰＵ１４等が動作することにより、第１３図に示すように、ドメイン要素抽出部１０１、ルール情報格納部１０２、距離判定部２０１ａと隠蔽開始解除時刻特定部２０１ｂとを備える隠蔽状態判定部２０１、音響情報取得部１０３、打撃音パターン情報格納部１０４、打撃時刻情報特定部１０５、画像内容認識部１０６等としての機能を有している。
以下、これら各部を詳述する。
ドメイン要素抽出部１０１、ルール情報格納部１０２及び隠蔽状態判定部２０１は、第１実施形態のものと同様であるので説明を省略する。
音響情報取得部１０３は、ボールの打撃時に発生する打撃音等を含む音響情報を前記コンテンツから取得するものであって、この音響情報を、分解能１６ｂｉｔ、サンプリングレート４４．１ｋＨｚにてサンプリングして取得するように設定している。また、本実施形態では、この音響情報取得部１０３に図示しないフィルタ部を設け、例えば、プレイ中の選手のシューズとコートとが擦れた際に生じる音や風の音やその他雑音等打撃音以外の音響情報をフィルタリングして打撃音のみを好適に抽出できるように構成している。より具体的に、このフィルタ部は、所定の周波数帯域を通過させるバンドパスフィルタをＦＩＲフィルタやＩＩＲフィルタ等のデジタル回路によって構成したものであって、本実施形態では、１００Ｈｚ〜１５００Ｈｚの周波数帯域の信号成分を通過させるように設定している。
打撃音パターン情報格納部１０４は、ボールとラケットとの当たり具合等による音の変化を、スマッシュした時の打撃音やフォアハンドストロークをした時の打撃音などストロークの種類に分類してパターン化した打撃音パターン情報として所定の周波数とその周波数における振幅値とを対応づけて格納するものであって、前記外部記憶装置１２や内部メモリ１３の所定領域に形成している。なお、ボールがコートで跳ね返るときの音など、ボールとラケットとが当たることにより発生する音以外の音をパターン化して格納していてもよい。
打撃時刻情報特定部１０５は、前記隠蔽開始解除時刻特定部２０１ｂで特定された隠蔽開始時刻ｔ０と隠蔽解除時刻ｔ１とに基づいて（方法Ｍ１）、及び、打撃音パターン情報格納部１０４に格納される打撃音パターン情報と前記音響情報取得部１０３で取得した音響情報とに基づいて（方法Ｍ２）、打撃時刻ｔａを特定するものである。
より具体的には、ボールが選手領域ｐに対してある一定距離内に近づいた時刻をｔ＿ｄ０とし、ボールがその選手からある一定距離外に遠ざかった時刻をｔ＿ｄ１とする。そして、期間［ｔ＿ｄ０、ｔ＿ｄ１］の間において、方法Ｍ２の音響情報を用いた打撃時刻の検出を行い、打撃時刻が検出されればその値を打撃時刻ｔａとして採用する。もし、検出漏れにより採用されなければ、方法Ｍ１のｔａ＝ａｐｐｒｏｘ（ａ×ｔ０＋（１−ａ）×ｔ１）により打撃時刻ｔａを特定する。ここで、ａｐｐｒｏｘ（ｘ）はｘを適当な方法で近似する関数を表す。また、「検出漏れ」が発生する原因には、マイクの設置条件や放送におけるミキシング条件、データ伝送路の条件などにより、打撃時刻の特定に必要な音響情報が良好な条件で得られない場合などが挙げられる。さらに、方法Ｍ２で得た打撃時刻と方法Ｍ１で得た打撃時刻とがマッチングする関係にあるときに、その時刻を打撃時刻として特定するように構成すれば、打撃時刻の特定の精度を格段に向上させることができる。
以下、方法Ｍ１、Ｍ２について詳述するが、方法Ｍ１については、第１実施形態で打撃時刻ｔａを求める方法と同様であるので説明を省略する。
方法Ｍ２について詳述する。
このときの打撃時刻情報特定部１０５は、前記音響情報取得部１０３で取得した音響情報を２０４８点（≒０．０４６秒）単位で且つ１２８点（≒０．００２９秒）間隔で開始時刻を順次ずらしながらＦＦＴ処理を行い、各時刻における周波数領域に変換した音響情報の周波数特性パターンを前記打撃音パターン情報格納部１０４に格納される打撃音パターン情報と照合するように設定している。そして、これらの照合の結果、音響情報の周波数特性パターンと前記打撃音パターン情報とが一致していれば、その一致した時刻をこのボールの打撃時刻ｔａと特定し、特定した打撃時刻ｔａを画像内容認識部１０６に出力するように動作する。なお、本実施形態では、音響情報の周波数特性パターンと打撃音パターン情報との一致を相関関数を用い、この相関関数が予め設定した閾値より大きな値を示す際に一致したとみなすように設定している。
画像内容認識部１０６は、第１実施形態と同様のものであるため、説明を省略する。
次に、本実施形態の画像認識装置の動作を第１４図に示すフロー図を用いて説明する。
まず、選手のプレイ中の動作が映った映像情報からコートラインとネットラインとをそれぞれ抽出し（ステップＳ２０１）、映像情報からこれらコートライン及びネットラインを除去した２値画像を用いて選手位置情報を抽出する（ステップＳ２０２）。そして抽出した選手位置情報に基づき映像情報からボールを抽出する（ステップＳ２０３）。ボールが選手領域ｐに対して所定範囲にあれば（ステップＳ２０４）、前記コンテンツからボールの打撃時に発生する打撃音を含む音響情報をフィルタ部でフィルタリングして取得し（ステップＳ２０５）、フィルタリングして取得した音響情報に対し、所定の間隔で開始時刻を順次ずらしながらＦＦＴ処理を行う（ステップＳ２０６）。そして、各時刻におけるＦＦＴ処理により周波数領域に変換して得た打撃音候補データの周波数特性パターンを打撃音パターン情報格納部１０４に格納される打撃音パターンと照合し（ステップＳ２０７）、照合した結果、打撃音候補データの周波数特性パターンと前記打撃音パターン情報とが一致していれば（ステップＳ２０８）、その一致した時刻をこのボールの打撃時刻ｔａと特定し（ステップＳ２０９）、一致していなければ（ステップＳ２０８）、次の時刻における打撃音候補データの周波数特性パターンと前記打撃音パターンとの照合を行う（ステップＳ２０７）。
一方、ステップＳ２０８において、所定回数一致しなければ（ステップＳ２１０）、打撃時刻情報特定部１０５が、隠蔽開始解除時刻特定部２０１ｂで求めた隠蔽開始時刻ｔ０と隠蔽解除時刻ｔ１とに基づき打撃時刻ｔａを特定する（ステップＳ２１１）。
このようにして特定した打撃時刻ｔａにおけるボール位置と選手位置及びルール情報に基づき、例えば、第１０図に示すように、ボールが選手に重なったり隠蔽されたりする場合等特に画像認識に不具合を生じるような場合でも、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の３種類の動作で認識することができる（ステップＳ２１２）。
以上のようにして、映像中において使用用具が選手やネット等の障害物に重なったり隠蔽されたりして使用用具の位置特定が困難なときや、音響情報を用いても画像認識が困難な場合でも、隠蔽状態判定部２０１において、使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと隠蔽状態判定部２０１で判定されたときの隠蔽開始時刻と、前記対象体に隠蔽される状態から隠蔽されない状態になったと隠蔽状態判定部２０１で判定されたときの隠蔽解除時刻とに基づき、打撃時刻情報特定部１０５が前記使用用具を打撃した打撃時刻を特定し、さらに、特定した打撃時刻と選手のプレイ中の動作が映った映像情報と当該ルールを行うためのルール情報とに基づき画像内容認識部１０６が確実に選手の動作を特定するため、例えば、重なりや隠蔽によるフォアハンドスイング、バックハンドスイング及びオーバーヘッドスイングの識別誤りといった映像情報だけでは避けられなかった認識誤りを回避することができる画像認識に優れた画像認識装置を比較的安価に提供することができる。ボールと選手とが重なったり隠蔽されたりしない場合での画像認識が好適に行えることは言うまでもない。
また、音響情報取得部１０３が取得した打撃音を含む音響情報に基づき特定した打撃時刻と、方法Ｍ２の手法で得られる打撃時刻とを用いて打撃時刻を特定するようすれば、より精度の高い画像認識装置を提供することもできる。このような場合、打撃音以外のノイズ音が取得した音響情報に含まれていても、フィルタ部でこのノイズ音を好適にフィルタリングできるため、ロバスト的で認識率の高い画像認識が可能となる。さらに、音響情報から複数個の打撃音候補データを取得し、これに基づき打撃時刻を特定するように構成しているため、正確な打撃時刻の特定が可能となる。さらにこのとき、複数個の打撃音候補データを、前後の打撃音候補データ間で相互に重なる時刻を有するようにしているため、誤って打撃時刻を特定できないといった不具合も防止できる。
なお、本実施形態において、コンテンツをテニス番組とし、その映像情報から抽出するドメイン要素を使用施設情報をコートライン及びネットラインとしたが、コンテンツが他のスポーツ番組等に替われば抽出する使用施設情報もこれらから変更されることは言うまでも無い。また、選手位置情報、使用用具情報に関してもこれと同様に変更することとなる。
さらに、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を認識するように構成していたが、例えば、スタジアムで当該スポーツを撮影した放映される前の素材映像やインターネット上にアーカイブ化されている映像情報から、特徴的な試合中の選手の動作を認識するなど、画像認識を行うコンテンツの対象となる媒体は本実施形態に限られるものではない。
また、画像内容認識部１０６において映像情報が示す選手の動作を含む画像内容を、フォアハンドスイング動作を表す“ｆｏｒｅｈａｎｄ＿ｓｗｉｎｇ”、バックハンドスイング動作を表す“ｂａｃｋｈａｎｄ＿ｓｗｉｎｇ”、オーバーヘッドスイング動作を表す“ｏｖｅｒｈｅａｄ＿ｓｗｉｎｇ”の３種類の動作で認識するように構成していたが、ボール位置や選手位置との関係等に基づき、選手がその場に留まる動作を表す“ｓｔａｙ”、選手の移動動作を表す“ｍｏｖｅ”を認識することもできる。また、ルール情報格納部１０２に格納するルール情報を、選手のさまざまな動作を含めたより複雑なものに定義して格納すれば、画像内容認識部１０６においてより複雑な選手の動作を認識することも可能である。
なお、ｂｘ×ｂｙのボールを含む所定のテンプレートＴｂ（ｘ、ｙ）を用いて映像情報からボールを抽出するように構成していたが、このテンプレートを用いずにボールを抽出しても構わない。
また、音響情報取得部１０３にバンドパスフィルタで構成されるフィルタ部を設けたが、バンドパスフィルタ以外のフィルタを用いる実施態様も考えられる。さらに、通過させる周波数帯域も１００Ｈｚ〜１５００Ｈｚに限られるものではない。
なお、音響情報取得部１０３が、ボールの打撃時に発生する打撃音等を含む音響情報を前記コンテンツから分解能１６ｂｉｔ、サンプリングレート４４．１ｋＨｚにてサンプリングして取得するように設定していたが、分解能及びサンプリングレートの設定はこれに限られるものではない。
また、前記音響情報取得部１０３で取得した音響情報を、前記打撃時刻情報特定部１０５が２０４８点（≒０．０４６秒）単位で且つ１２８点（≒０．００２９秒）間隔で開始時刻を順次ずらしながらＦＦＴ処理を行うように設定していたが、ＦＦＴ処理を行うポイント数等はこれに限らず他の値に設定しても構わない。
さらに、音響情報の周波数特性パターンと打撃音パターン情報との一致を相関関数を用い、この相関関数が予め設定した閾値より大きな値を示す際に一致したとみなすように設定していたが、音響情報の周波数特性パターンと打撃音パターン情報との一致をみなす方法は他にも考えられる。
また、図１５に示すように、画像内容認識部１０６が映像情報取得部で取得した映像情報と打撃時刻情報特定部１０５で特定した打撃時刻における使用用具の位置とに基づき、その映像情報が示す選手の動作を含む画像内容を認識するように、該画像認識装置１を構成する実施態様も考えられる。このように構成すれば、簡単な構成でシステムを構成することができるとともに、例えば、ルールが設定されていないものにも応用できるので汎用性を広げられる。
その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
上述したように、本発明によれば、映像中において使用用具が選手やネット等の障害物に重なったり隠蔽されたりして使用用具の位置特定が困難なとき等、映像情報だけでは画像認識が困難な場合でも、音響情報取得部が取得した打撃音を含む音響情報に基づき打撃時刻情報特定部がその打撃音の発生した打撃時刻を特定し、さらに、特定した打撃時刻と選手のプレイ中の動作が映った映像情報と当該ルールを行うためのルール情報とに基づき画像内容認識部が確実に選手の動作を特定するため、例えば、重なりや隠蔽によるフォアハンドスイング、バックハンドスイング及びオーバーヘッドスイングの識別誤りといった映像情報だけでは避けられなかった認識誤りを回避することができる画像認識に優れた画像認識装置を比較的安価に提供することができる。
Claims (20)
- ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置であって、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得部と、前記映像情報取得部で取得した映像情報に含まれてなる前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具が、所定の対象体に隠蔽される状態にあるか否かを判定する隠蔽状態判定部と、前記隠蔽状態判定部で前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと判定されたときの隠蔽開始時刻と前記対象体に隠蔽される状態から隠蔽されない状態になったと判定されたときの隠蔽解除時刻とに基づき、前記使用用具を打撃した打撃時刻を特定する打撃時刻情報特定部と、当該スポーツを行うためルール情報を格納するルール情報格納部と、前記映像情報取得部で取得した映像情報と前記打撃時刻情報特定部で特定した打撃時刻における使用用具の位置と前記ルール情報格納部に格納されるルール情報とに基づき、その映像情報が示す選手の動作を含む画像内容を認識する画像内容認識部とを備えていることを特徴とする画像認識装置。
- 前記隠蔽状態判定部に、前記使用用具が前記対象体に対して所定距離内にあるか否かを判定する距離判定部と、前記距離判定部で前記使用用具が前記対象体に対して所定距離内にあると判定し且つ前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったときの時刻を隠蔽開始時刻として特定し、前記距離判定部で前記使用用具が前記対象体に対して所定距離内にあると判定し且つ前記使用用具が前記対象体に隠蔽される状態から隠蔽されない状態へとなったときの時刻を隠蔽解除時刻として特定する隠蔽開始解除時刻特定部とを備えていることを特徴とする請求項１に記載の画像認識装置。
- ｔａで示される前記打撃時刻とｔ０で示される前記隠蔽開始時刻とｔ１で示される隠蔽解除時刻とが、下式（数１）に示す関係を有していることを特徴とする請求項１又は２の何れかに記載の画像認識装置。
- 前記映像情報取得部が、ネット等の障害物や前記領域及びその領域外の境界を示す境界線等の使用施設情報と選手の位置を示す選手位置情報と前記領域間を移動し当該スポーツの得点のカウント対象となる使用用具情報とを映像情報から抽出するドメイン要素抽出部を備えていることを特徴とする請求項１、２又は３の何れかに記載の画像認識装置。
- 前記選手位置情報が、選手とその選手がプレイ中常に持って使用する用具とを含む領域を示す位置情報であることを特徴とする請求項４に記載の画像認識装置。
- 前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報に基づき前記映像情報から選手位置情報を抽出することを特徴とする請求項４又は５の何れかに記載の画像認識装置。
- 前記ドメイン要素抽出部が、該ドメイン要素抽出部で抽出した使用施設情報及び選手位置情報に基づき前記映像情報から使用用具情報を抽出することを特徴とする請求項４、５又は６の何れかに記載の画像認識装置。
- 前記使用施設情報、前記選手位置情報、前記使用用具情報及び前記ルール情報が、画像抽出の対象となるスポーツ種目に関する知識に基づくものであることを特徴とする請求項４、５、６又は７の何れかに記載の画像認識装置。
- 前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具の打撃時に発生する打撃音等前記映像情報と同期した音響情報を前記コンテンツから取得する音響情報取得部を備え、前記打撃時刻情報特定部が、前記隠蔽開始時刻と前記隠蔽解除時刻との組みと前記音響情報取得部で取得した音響情報とに基づき打撃時刻を特定することを特徴とする請求項１、２、３、４、５、６、７又は８の何れかに記載の画像認識装置。
- 前記打撃時刻情報特定部が、前記音響情報が、所定のレベルより大きな値を示した際に、この大きな値を示す時刻を打撃時刻と特定することを特徴とする請求項９に記載の画像認識装置。
- 前記音響情報取得部が、所定の周波数帯域を通過させるフィルタ部を備え、前記音響情報がこのフィルタ部を通過したものであることを特徴とする請求項９又は１０の何れかに記載の画像認識装置。
- 前記フィルタ部が、バンドパスフィルタで構成されることを特徴とする請求項１１に記載の画像認識装置。
- 前記音響情報から抽出した前記打撃音を含む所定時間を有する打撃音候補データに基づき、前記打撃時刻情報特定部が打撃時刻を特定することを特徴とする請求項９、１０、１１又は１２の何れかに記載の画像認識装置。
- 前記音響情報から抽出される前記打撃音を含む所定時間を有する打撃音候補データのうち、一の時刻の打撃音候補データとその次の時刻の打撃音候補データとが相互に重なる時刻を有するように前記音響情報から複数個の打撃音候補データを抽出し、この複数個の打撃音候補データに基づき、前記打撃時刻情報特定部が打撃時刻を特定することを特徴とする請求項９、１０、１１、又は１２の何れかに記載の画像認識装置。
- 前記複数個の打撃音候補データを各々同一のデータ長を有するように構成すると共に、複数個の打撃音候補データを前記音響情報から一定時間間隔で抽出するように構成していることを特徴とする請求項１４に記載の画像認識装置。
- 前記使用用具と選手がプレイ中常に持って使用するラケット等の用具との当たり具合等による音の変化をパターン化した打撃音パターン情報を格納する打撃音パターン情報格納部を備え、前記打撃時刻情報特定部が、この打撃音パターン情報格納部に格納される打撃音パターン情報と前記音響情報とに基づき前記打撃時刻を特定することを特徴とする請求項９、１０、１１、１２、１３、１４又は１５の何れかに記載の画像認識装置。
- ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置であって、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得部と、前記映像情報取得部で取得した映像情報に含まれてなる前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具が、所定の対象体に隠蔽される状態にあるか否かを判定する隠蔽状態判定部と、前記隠蔽状態判定部で前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと判定されたときの隠蔽開始時刻と前記対象体に隠蔽される状態から隠蔽されない状態になったと判定されたときの隠蔽解除時刻とに基づき、前記使用用具を打撃した打撃時刻を特定する打撃時刻情報特定部と、前記映像情報取得部で取得した映像情報と前記打撃時刻情報特定部で特定した打撃時刻における使用用具の位置とに基づき、その映像情報が示す選手の動作を含む画像内容を認識する画像内容認識部とを備えていることを特徴とする画像認識装置。
- 前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具の打撃時に発生する打撃音等前記映像情報と同期した音響情報を前記コンテンツから取得する音響情報取得部を備え、前記打撃時刻情報特定部が、前記隠蔽開始時刻と前記隠蔽解除時刻との組みと前記音響情報取得部で取得した音響情報とに基づき打撃時刻を特定することを特徴とする請求項１７に記載の画像認識装置。
- コンピュータを作動させて、ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置を稼動するプログラムであって、当該コンピュータを、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得手段と、前記映像情報取得手段で取得した映像情報に含まれてなる前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具が、所定の対象体に隠蔽される状態にあるか否かを判定する隠蔽状態判定手段と、前記隠蔽状態判定手段で前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと判定されたときの隠蔽開始時刻と前記対象体に隠蔽される状態から隠蔽されない状態になったと判定されたときの隠蔽解除時刻とに基づき、前記使用用具を打撃した打撃時刻を特定する打撃時刻情報特定手段と、当該スポーツを行うためルール情報を格納するルール情報格納手段と、前記映像情報取得手段で取得した映像情報と前記打撃時刻情報特定手段で特定した打撃時刻における使用用具の位置と前記ルール情報格納手段に格納されるルール情報とに基づき、その映像情報が示す選手の動作を含む画像内容を認識する画像内容認識手段として機能させることを特徴とする画像認識プログラム。
- コンピュータを作動させて、ネット等の障害物で区画された領域間で対戦するスポーツにおける選手の動作を、そのスポーツの放映中の番組又は放映前の素材映像やＶＴＲ等の記録媒体に記録されるコンテンツから認識する画像認識装置を稼動するプログラムであって、当該コンピュータを、前記コンテンツから少なくとも一方の選手のプレイ中の動作が映った映像情報を取得する映像情報取得手段と、前記映像情報取得手段で取得した映像情報に含まれてなる前記領域間を移動し当該スポーツの得点のカウント対象となるボール等の使用用具が、所定の対象体に隠蔽される状態にあるか否かを判定する隠蔽状態判定手段と、前記隠蔽状態判定手段で前記使用用具が前記対象体に隠蔽されない状態から隠蔽される状態へとなったと判定されたときの隠蔽開始時刻と前記対象体に隠蔽される状態から隠蔽されない状態になったと判定されたときの隠蔽解除時刻とに基づき、前記使用用具を打撃した打撃時刻を特定する打撃時刻情報特定手段と、前記映像情報取得手段で取得した映像情報と前記打撃時刻情報特定手段で特定した打撃時刻における使用用具の位置とに基づき、その映像情報が示す選手の動作を含む画像内容を認識する画像内容認識手段として機能させることを特徴とする画像認識プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2003/004672 WO2004093015A1 (ja) | 2003-04-11 | 2003-04-11 | 画像認識装置及び画像認識プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2004093015A1 JPWO2004093015A1 (ja) | 2006-07-06 |
| JP4482690B2 true JP4482690B2 (ja) | 2010-06-16 |
Family
ID=33193208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004570857A Expired - Lifetime JP4482690B2 (ja) | 2003-04-11 | 2003-04-11 | 画像認識装置及び画像認識プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7515735B2 (ja) |
| EP (1) | EP1617374A4 (ja) |
| JP (1) | JP4482690B2 (ja) |
| AU (1) | AU2003227491A1 (ja) |
| WO (1) | WO2004093015A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9699419B2 (en) | 2012-04-06 | 2017-07-04 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| KR101973655B1 (ko) * | 2018-03-05 | 2019-08-26 | 주식회사 디아이블 | 스포츠 코트 자동인식 및 그에 따른 인/아웃 판단 방법 및 장치 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005303566A (ja) * | 2004-04-09 | 2005-10-27 | Tama Tlo Kk | ブロック分割領域における動きベクトルの分布を利用した特定シーン抽出方法及び装置 |
| DE102009037316A1 (de) * | 2009-08-14 | 2011-02-17 | Karl Storz Gmbh & Co. Kg | Steuerung und Verfahren zum Betreiben einer Operationsleuchte |
| JP5536491B2 (ja) * | 2010-03-01 | 2014-07-02 | ダンロップスポーツ株式会社 | ゴルフスイングの診断方法 |
| GB2496429B (en) * | 2011-11-11 | 2018-02-21 | Sony Corp | A method and apparatus and program |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| US10223580B2 (en) * | 2013-03-26 | 2019-03-05 | Disney Enterprises, Inc. | Methods and systems for action recognition using poselet keyframes |
| US9230366B1 (en) * | 2013-12-20 | 2016-01-05 | Google Inc. | Identification of dynamic objects based on depth data |
| CN104688237B (zh) * | 2015-02-11 | 2017-06-20 | 深圳泰山体育科技股份有限公司 | 体质检测的测时方法及系统 |
| WO2017103674A1 (en) * | 2015-12-17 | 2017-06-22 | Infinity Cube Ltd. | System and method for mobile feedback generation using video processing and object tracking |
| KR102565485B1 (ko) * | 2016-01-11 | 2023-08-14 | 한국전자통신연구원 | 도시 거리 검색 서비스 제공 서버 및 방법 |
| TWI584228B (zh) * | 2016-05-20 | 2017-05-21 | 銘傳大學 | 場線之擷取重建方法 |
| CN107948716A (zh) * | 2017-11-28 | 2018-04-20 | 青岛海信宽带多媒体技术有限公司 | 一种视频播放方法、装置及机顶盒 |
| US10719712B2 (en) * | 2018-02-26 | 2020-07-21 | Canon Kabushiki Kaisha | Classify actions in video segments using play state information |
| US20220270367A1 (en) * | 2019-03-24 | 2022-08-25 | Dibl Co., Ltd. | Method and device for automatically recognizing sport court and determining in/out on basis of same |
| US11704892B2 (en) * | 2021-09-22 | 2023-07-18 | Proposal Pickleball Inc. | Apparatus and method for image classification |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3902266B2 (ja) | 1996-05-27 | 2007-04-04 | データスタジアム株式会社 | 団体球技における攻撃、守備体勢を確認し矯正するための 方法と装置 |
| AU729293B2 (en) * | 1996-05-27 | 2001-02-01 | K. K. Asobou's | Method for confirming and correcting offensive and/or defensive position as well as the system therefor |
| EP0905644A3 (en) * | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
| US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| JPH11339009A (ja) | 1998-05-26 | 1999-12-10 | Sony Corp | 解析データ生成装置 |
| US6141041A (en) * | 1998-06-22 | 2000-10-31 | Lucent Technologies Inc. | Method and apparatus for determination and visualization of player field coverage in a sporting event |
| US6816185B2 (en) * | 2000-12-29 | 2004-11-09 | Miki Harmath | System and method for judging boundary lines |
| US6567536B2 (en) * | 2001-02-16 | 2003-05-20 | Golftec Enterprises Llc | Method and system for physical motion analysis |
-
2003
- 2003-04-11 AU AU2003227491A patent/AU2003227491A1/en not_active Abandoned
- 2003-04-11 EP EP03717571A patent/EP1617374A4/en not_active Withdrawn
- 2003-04-11 WO PCT/JP2003/004672 patent/WO2004093015A1/ja active Application Filing
- 2003-04-11 US US10/552,143 patent/US7515735B2/en not_active Expired - Fee Related
- 2003-04-11 JP JP2004570857A patent/JP4482690B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9699419B2 (en) | 2012-04-06 | 2017-07-04 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| KR101973655B1 (ko) * | 2018-03-05 | 2019-08-26 | 주식회사 디아이블 | 스포츠 코트 자동인식 및 그에 따른 인/아웃 판단 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2004093015A1 (ja) | 2004-10-28 |
| US7515735B2 (en) | 2009-04-07 |
| EP1617374A4 (en) | 2008-08-13 |
| AU2003227491A1 (en) | 2004-11-04 |
| EP1617374A1 (en) | 2006-01-18 |
| US20070104368A1 (en) | 2007-05-10 |
| JPWO2004093015A1 (ja) | 2006-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4482690B2 (ja) | 画像認識装置及び画像認識プログラム | |
| US7000200B1 (en) | Gesture recognition system recognizing gestures within a specified timing | |
| TWI412939B (zh) | 分類運動視訊之系統、方法及具有程式之電腦可讀取記錄媒體 | |
| JPH10136297A (ja) | デジタルビデオデータから索引付け情報を抽出する方法と装置 | |
| JP6649231B2 (ja) | 検索装置、検索方法およびプログラム | |
| JP2008511186A (ja) | フレームシーケンスを含むビデオにおけるハイライトセグメントを識別する方法 | |
| CN108337573A (zh) | 一种赛事实时解说的实现方法和介质 | |
| JP4886707B2 (ja) | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム | |
| JP4200219B2 (ja) | 画像認識装置及び画像認識プログラム | |
| WO2020235339A1 (ja) | プレイ分析装置、及び、プレイ分析方法 | |
| Sangüesa et al. | Identifying basketball plays from sensor data; towards a low-cost automatic extraction of advanced statistics | |
| Tien et al. | Event detection in tennis matches based on video data mining | |
| US8768945B2 (en) | System and method of enabling identification of a right event sound corresponding to an impact related event | |
| JP4546762B2 (ja) | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム | |
| JPWO2004013812A1 (ja) | 画像認識装置及び画像認識プログラム | |
| EP4111413A1 (en) | Tracking user and object dynamics using a computerized device | |
| Jiang et al. | Deep learning application in broadcast tennis video annotation | |
| JP7295053B2 (ja) | シーン抽出方法、装置およびプログラム | |
| Tahan et al. | A computer vision driven squash players tracking system | |
| CN110969133A (zh) | 一种乒乓球比赛视频的智能数据采集方法 | |
| JP2010081531A (ja) | 映像処理装置及びその方法 | |
| Kim et al. | Extracting semantic information from basketball video based on audio-visual features | |
| Chen et al. | Event-based segmentation of sports video using motion entropy | |
| KR100963744B1 (ko) | 축구 동영상의 이벤트 학습 및 검출방법 | |
| KR20070119347A (ko) | 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4482690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |