JP4293736B2 - 自動人物特定装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、スポーツ番組等において、出場する複数の人物を自動的に特定する自動人物特定装置に関する。
【０００２】
【従来の技術】
従来、スポーツ番組等において、出場する複数の選手を特定する場合、あらかじめ人手により映像中の選手と実際の選手名との対応をとる方法で特定している。しかし、この方法では、選手どうしが交わったり、一緒に行動したりすると見分けがつかなくなるため、その場合には、ＶＴＲのスロー再生で人手により選手の追跡を行い、あるいは、部分的に映像を拡大して見分けるなどして選手を特定していた。
【０００３】
【発明が解決しようとする課題】
スポーツ番組等においては、特定の選手を追跡し、当該選手の位置に関し生成したデータを用いて新しい映像表現を行い、また、ゲームのためのデータやデータ放送用のコンテンツを制作するなど様々な応用が試みられている。また、サッカーなど多人数で行う試合の放送においては、選手を追跡するために広画角の全体映像を用い、最初に映像中の人物が誰であるかということの人手による対応づけが行われることもあるが、追跡中の選手どうしが交わったり、一緒に行動したりすると、見分けがつかなくなることが多い。
【０００４】
このように、追跡中の選手どうしが交わったり、一緒に行動したりすると、選手の見分けがつかなくなり、この場合、選手を特定するには、ＶＴＲのスロー再生で人手により選手の追跡を行ったり、あるいは、部分的に映像を拡大して見分けるなどして選手を特定せざるを得なかった。
【０００５】
本発明の目的は、テレビ映像に出場する複数の人物を、たとえ、出場人物どうしが交わったり、一緒に行動したりしても、出場人物が誰であるかを見分けるのに人手によらないで自動化するようにした自動人物特定装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明自動人物特定装置は、テレビ番組に出場する人物を自動的に特定する自動人物特定装置であって、広範囲の映像を撮影する第１のテレビカメラと、該第１のテレビカメラによる撮影と同時に撮影が行われ、かつ撮影範囲が前記第１のテレビカメラの撮影範囲内に含まれる映像を撮影する第２のテレビカメラと、前記第１のテレビカメラにより撮影された広範囲の映像から、出場人物の時間の経過にともなう位置を表すデータを出場人物ごとに解析して求める全体映像解析部と、前記第２のテレビカメラのカメラパラメータを用いて該第２のテレビカメラの撮影範囲データを生成するカメラデータ生成部と、前記第２のテレビカメラにより撮影された映像を解析して、前記第２のテレビカメラにより撮影された映像に含まれる追跡中の出場人物が誰であるかの情報と、前記映像に含まれる追跡中の出場人物と該人物の画面上の位置の関係の情報とを求めるカメラ映像解析部と、一方においては、前記全体映像解析部で解析して求められた出場人物の時間の経過にともなう位置を記憶し、他方においては、前記カメラ映像解析部で解析して求められた前記第２のテレビカメラにより撮影された映像に含まれる出場人物と該人物の画面上の位置の関係の情報について、前記画面上の位置を前記カメラデータ生成部で生成した第２のテレビカメラの撮影範囲データ上の位置に変換し、該変換した位置と前記記憶した前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の位置とを比較し、該比較の結果、前記記憶した前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の位置のうちの前記第２のテレビカメラの撮影範囲データ上の出場人物の位置に最も近い位置にいる出場人物が、前記カメラ映像解析部で解析して求められた前記第２のテレビカメラにより撮影された映像に含まれる追跡中の出場人物であると特定する人物特定部とを具え、前記人物特定部は、前記第１のテレビカメラにより撮影された広範囲の映像における出場人物を、それぞれ、前記カメラ映像解析部で前記追跡中の出場人物が誰であるかの情報が取得できた時点で特定することを特徴とするものである。
【０００７】
また、本発明自動人物特定装置は、該装置が、前記第２のテレビカメラ、該第２のテレビカメラの撮影範囲データを生成する前記カメラデータ生成部、および前記第２のテレビカメラにより撮影された画像に含まれる追跡中の出場人物が誰であるかの情報と、追跡中の出場人物と該人物の画面上の位置の関係の情報とを解析して求めるカメラ映像解析部を複数具えるとともに、前記人物特定部を、一方においては、前記全体映像解析部で解析して求められた、前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の時間の経過にともなう位置を記憶し、他方においては、前記複数のカメラ映像解析部で前記複数の第２のテレビカメラにより撮影された映像をそれぞれ解析して求められた追跡中の出場人物と該人物の画面上の位置の関係の情報について、画面上の位置を前記複数のカメラデータ生成部でそれぞれ生成した第２のテレビカメラの撮影範囲データ上の位置に変換し、該変換した位置と前記記憶した前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の位置とを比較し、該比較の結果、前記記憶した前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の位置のうちの前記第２のテレビカメラの撮影範囲データ上の追跡中の出場人物の位置に最も近い位置にいる出場人物が、前記複数のカメラ映像解析部でそれぞれ解析して求められた追跡中の出場人物であると特定するように構成したことを特徴とするものである。
【０００８】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明自動人物特定装置の一実施形態をブロック図にて示している。図１において、１は広範囲映像撮影用テレビカメラ、２は全体映像解析部、３は放送用テレビカメラ、４はカメラデータ生成部、５はカメラ映像解析部、および６は人物特定部である。
【０００９】
図２は、本発明装置の動作を、サッカーの試合の中継放送（または、収録）を例にとって示している。
以下に、図１および図２に基づいて本発明装置の動作を説明する。
図１中の広範囲映像撮影用テレビカメラ１は、図２に示すように、サッカースタジアムのスタンド上部（図示しない）からサッカーグラウンドの全面の広範囲の映像を撮影する。従って、出場している全部ないし一部の選手はこの広範囲映像撮影用テレビカメラ１によって撮影された映像中のどこかにいることになる。この撮影された映像信号は全体映像解析部２に供給され、時間の経過とともに、全部ないし一部の選手の位置を表すデータが選手ごとに解析して求められる。ここで、選手の位置の検出（解析）は、例えば、周知のパターンマッチングなどの手法を用いて行うこと可能であり、また、グラウンドを２次元平面にとり、選手の位置を座標表示するようにしてもよい。
【００１０】
一方、放送用テレビカメラ３にはカメラパラメータ検出用のセンサが取り付けられていて、パン、チルト、ズームおよびフォーカス等のカメラパラメータが得られる。得られたカメラパラメータは、カメラデータ生成部４に供給され、その供給されたカメラパラメータをもとに、放送用テレビカメラ３がグラウンド上のどの範囲を撮影しているかを示すデータ（以下、撮影範囲データと言う）が、例えば、グラウンドを２次元平面にとり、２次元平面上の領域データとして計算により生成される。この計算は、文献（山内ほか、「電子スタジオシステム」テレビジョン学会技術報告、Vol.１６，No. ２３， pp.１−６，１９９２）等により周知であるのでここでは説明しない。
【００１１】
図３は、各選手の位置と、上記のようにして生成した放送用テレビカメラ３の撮影範囲を示している。
図３において、●はＰ１からＰ７までの各選手の位置を示し、とくに斜線で示す部分が、放送用テレビカメラ３によって撮影されたグラウンド上の領域であることを示している。また、この図３から、選手Ｐ４，Ｐ５が放送用テレビカメラ３によって撮影された選手であることが分かる。以下では、選手Ｐ４，Ｐ５を追跡中の選手と言う。
【００１２】
再び図１に戻って説明を続ける。
放送用テレビカメラ３で撮影された映像出力（画面として図４に示す）はカメラ映像解析部５に供給され、追跡中の選手が誰であるかの情報と、追跡中の選手と同選手の画面上の位置の関係の情報とが取り出される。これらの情報を取り出すにあたっては、従来の画像認識が使用される。例えば、選手が誰であるかの情報を取得するためには、顔、ユニフォームの色、背番号、番組用のスーパー（テロップ）などについての情報認識が使われる。また、選手の切り出しができれば身長など具体的な特徴が計算でき、さらに、走り方などの行動的な特徴も利用することができる。図４に示す場合について言えば、左側の選手はユニフォームの色と背番号からＡチームの８番であり、右側の選手も同じくユニフォームの色と背番号からＢチームの１６番であるという情報が得られ、この情報が人物特定部６に供給される。
【００１３】
図５は、人物特定部６の動作を示している。
人物特定部６においては、まず、全体映像解析部２で検出されたある時刻における全部ないし一部の選手の位置を記憶（Ｓ−１の処理）する。一方、カメラ映像解析部５において既に誰であるかが特定された追跡中の選手と同選手の画面上の位置の関係の情報について、追跡中の選手の画面上の位置をカメラデータ生成部４で生成した放送用テレビカメラ３の撮影範囲データ上の位置に変換し（Ｓ−２の処理）、特定された追跡中の選手と同選手の放送用テレビカメラ３の撮影範囲データ上の位置の関係の情報を得る。
【００１４】
次に、この撮影範囲データ上の同選手の位置と上記Ｓ−１の処理により記憶した全部ないし一部の選手の位置とを比較（Ｓ−３の処理）し、比較の結果、記憶した全部ないし一部の選手の位置のうちの放送用テレビカメラ３の撮影範囲データ上の追跡中の選手の位置に最も近い位置にいる選手が、カメラ映像解析部５で解析され求められた追跡中の選手であると特定する。
以上の結果、図５に示すように、広範囲映像撮影用テレビカメラ１により撮影された画面に示される選手Ｐ１からＰ７までのうち、選手Ｐ４がＡチームの８番で、選手Ｐ５がＢチームの１６番であるというように追跡中の選手を特定することができる。
【００１５】
図６は、人物特定部６から出力される人物特定の一例を示している。
なお、図２、図３に示されたサッカーの試合の撮影は、図６の時間軸ｔの時点Ｔにおいて行われたものとする。放送用テレビカメラ３（図１参照）の撮影範囲も常に変化し、また、選手も常に動いているが、撮影時点Ｔにおいては、放送用テレビカメラ３による撮影には追跡中の選手Ｐ４，Ｐ５のみが映っている（図３参照）。ここまでの図６の説明は、本発明者らによる発明に係る出願（特願2000 - 047729 「自動人物インデックス発生装置」）の図４の説明と同じである。
【００１６】
しかし、本発明の場合、上記出願のものと異なり、図３に示されるＰ１からＰ７までの選手はそれら選手の位置情報（図６に、帯状の枠で示される）のみが既知で、未だ誰であるかは特定されておらず、従って、放送用テレビカメラ３により撮影された追跡中の選手も誰であるか特定されていないという前提がある。そこで、本発明では、放送用テレビカメラ３により撮影された追跡中の選手が誰であるかをカメラ映像解析部５（図１参照）により特定し、その特定された選手のグラウンド上での位置を介して広範囲映像撮影用テレビカメラ１により撮影された選手が誰であるかを特定するようにしている。図６中、矢印で示される選手名（選手Ｐ３，Ｐ４，Ｐ５）はこのようにして特定したものである。
【００１７】
また、放送用テレビカメラ３は、必要に応じて追跡中の選手を画面上に大きく（アップで）撮影することがあり、この場合は、画像認識の技術を利用するのに特に適している。また、カメラ映像解析部５で解析して求められた選手の特徴を示す情報は、それら情報が取れたときにその情報を使用すればよいので、常時必要とするものではない。このようにして、全体映像から追跡中の各選手を自動的に特定することができる。
【００１８】
以上は、説明を簡単にするために、サッカーの試合を１台の放送用テレビカメラ３によって撮影するものとしたが、実際の放送では、複数台の放送用テレビカメラを使用し、それら複数台の放送用テレビカメラの映像を番組制作担当者の意図に従って切替え使用して、オンエア用（放送用）の番組を作っている。
【００１９】
図７は、このような場合に本発明自動人物特定装置を適合させた、本発明装置の他の実施形態をブロック図にて示している。
図７においては、放送用テレビカメラ３−１，３−２，３−３の各カメラパラメータがカメラデータ生成部４−１，４−２，４−３に供給され、また、放送用テレビカメラ３−１，３−２，３−３の各映像信号がカメラ映像解析部５−１，５−２，５−３に供給されるように構成されている。また、カメラデータ生成部４−１，４−２，４−３のすべての出力、ならびにカメラ映像解析部５−１，５−２，５−３のすべての出力は人物特定部６に供給されるように構成されている。
【００２０】
これにより、カメラ映像解析部５−１，５−２，５−３において既に誰であるかが特定された追跡中の選手と同選手の画面上の位置の関係の情報について、放送用テレビカメラ３−１，３−２，３−３で追跡中の選手の画面上の位置をカメラデータ生成部４−１，４−２，４−３で生成した放送用テレビカメラの撮影範囲データ上の位置にそれぞれ変換し（図５に示すＳ−２の処理）、特定された追跡中の選手と同選手の放送用テレビカメラの撮影範囲データ上の位置の関係の情報を得る処理、およびこの撮影範囲データ上の同選手の位置と記憶した選手の位置とを比較（図５に示すＳ−３の処理）し、比較の結果、記憶した選手の位置のうち放送用テレビカメラの撮影範囲データ上の追跡中の選手の位置に最も近い位置にいる選手が、カメラ映像解析部５−１，５−２，５−３で解析して求められた追跡中の選手であると特定する処理が行われるため、この実施形態によれば、一層正確な人物特定を行うことが可能となる。
【００２１】
また、上述した本発明の実施の形態においては、サッカーの試合の中継放送時に、追跡中の選手を特定するものとしたが、これは、サッカー以外に、例えば、相撲、アメリカンフットボール、バスケットボールなどの他のスポーツや、他のイベントの中継放送に適用可能であることは勿論である。
さらに、本発明装置は放送用に限定されるものではなく、例えば、一般的なコンテンツ制作用であってよいことも勿論である。
【００２２】
【発明の効果】
本発明によれば、追跡中の人物を人手によらず、自動で特定することができるため、放送素材に関する多くのデータが生成可能となり、新しいコンテンツへの応用が期待できる。
【図面の簡単な説明】
【図１】 本発明自動人物特定装置の一実施形態をブロック図にて示している。
【図２】 本発明装置の動作を、サッカーの試合の中継放送（または、収録）を例にとって示している。
【図３】 各選手の位置と、放送用テレビカメラの撮影範囲を示している。
【図４】 放送用テレビカメラで撮影された映像を画面として示している。
【図５】 人物特定部の動作を示している。
【図６】 人物特定部から出力される人物特定の一例を示している。
【図７】 本発明装置の他の実施形態をブロツク図にて示している。
【符号の説明】
１ 広範囲映像撮影用テレビカメラ
２ 全体映像解析部
３ 放送用テレビカメラ
４ カメラデータ生成部
５ カメラ映像解析部
６ 人物特定部

Claims (2)

1. テレビ番組に出場する人物を自動的に特定する自動人物特定装置であって、
   広範囲の映像を撮影する第１のテレビカメラと、
   該第１のテレビカメラによる撮影と同時に撮影が行われ、かつ撮影範囲が前記第１のテレビカメラの撮影範囲内に含まれる映像を撮影する第２のテレビカメラと、
   前記第１のテレビカメラにより撮影された広範囲の映像から、出場人物の時間の経過にともなう位置を表すデータを出場人物ごとに解析して求める全体映像解析部と、
   前記第２のテレビカメラのカメラパラメータを用いて該第２のテレビカメラの撮影範囲データを生成するカメラデータ生成部と、
   前記第２のテレビカメラにより撮影された映像を解析して、前記第２のテレビカメラにより撮影された映像に含まれる追跡中の出場人物が誰であるかの情報と、前記映像に含まれる追跡中の出場人物と該人物の画面上の位置の関係の情報とを求めるカメラ映像解析部と、
   一方においては、前記全体映像解析部で解析して求められた出場人物の時間の経過にともなう位置を記憶し、他方においては、前記カメラ映像解析部で解析して求められた前記第２のテレビカメラにより撮影された映像に含まれる出場人物と該人物の画面上の位置の関係の情報について、前記画面上の位置を前記カメラデータ生成部で生成した第２のテレビカメラの撮影範囲データ上の位置に変換し、該変換した位置と前記記憶した前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の位置とを比較し、該比較の結果、前記記憶した前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の位置のうちの前記第２のテレビカメラの撮影範囲データ上の出場人物の位置に最も近い位置にいる出場人物が、前記カメラ映像解析部で解析して求められた前記第２のテレビカメラにより撮影された映像に含まれる追跡中の出場人物であると特定する人物特定部と
   を具え、
   前記人物特定部は、
   前記第１のテレビカメラにより撮影された広範囲の映像における出場人物を、それぞれ、前記カメラ映像解析部で前記追跡中の出場人物が誰であるかの情報が取得できた時点で特定する、
   ことを特徴とする自動人物特定装置。
2. 請求項１記載の自動人物特定装置において、
   該装置は、
   前記第２のテレビカメラ、該第２のテレビカメラの撮影範囲データを生成する前記カメラデータ生成部、および前記第２のテレビカメラにより撮影された画像に含まれる追跡中の出場人物が誰であるかの情報と、追跡中の出場人物と該人物の画面上の位置の関係の情報とを解析して求めるカメラ映像解析部を複数具えるとともに、前記人物特定部を、一方においては、前記全体映像解析部で解析して求められた、前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の時間の経過にともなう位置を記憶し、他方においては、前記複数のカメラ映像解析部で前記複数の第２のテレビカメラにより撮影された映像をそれぞれ解析して求められた追跡中の出場人物と該人物の画面上の位置の関係の情報について、画面上の位置を前記複数のカメラデータ生成部でそれぞれ生成した第２のテレビカメラの撮影範囲データ上の位置に変換し、該変換した位置と前記記憶した前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の位置とを比較し、該比較の結果、前記記憶した前記第１のテレビカメラにより撮影された広範囲の映像における出場人物の位置のうちの前記第２のテレビカメラの撮影範囲データ上の追跡中の出場人物の位置に最も近い位置にいる出場人物が、前記複数のカメラ映像解析部でそれぞれ解析して求められた追跡中の出場人物であると特定するように構成したことを特徴とする自動人物特定装置。

Images