JP7384008B2 - 映像生成プログラム、映像生成方法及び映像生成システム - Google Patents

映像生成プログラム、映像生成方法及び映像生成システム Download PDF

Info

Publication number
JP7384008B2
JP7384008B2 JP2019217050A JP2019217050A JP7384008B2 JP 7384008 B2 JP7384008 B2 JP 7384008B2 JP 2019217050 A JP2019217050 A JP 2019217050A JP 2019217050 A JP2019217050 A JP 2019217050A JP 7384008 B2 JP7384008 B2 JP 7384008B2
Authority
JP
Japan
Prior art keywords
information
video
video information
server
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019217050A
Other languages
English (en)
Other versions
JP2021087186A (ja
Inventor
深一 秋山
清志 川野
眞一郎 宮島
晋 宮崎
光昭 矢吹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019217050A priority Critical patent/JP7384008B2/ja
Priority to US17/086,489 priority patent/US20210168411A1/en
Publication of JP2021087186A publication Critical patent/JP2021087186A/ja
Application granted granted Critical
Publication of JP7384008B2 publication Critical patent/JP7384008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

特許法第３０条第２項適用 ＩｎｔｅｒＢＥＥ２０１９ 公開日 令和１年１１月１３日
本発明は、映像生成プログラム等に関する。
図２３は、従来の放送システムの一例を説明するための図である。従来の放送システムでは、カメラＣ１，Ｃ２，Ｃ３を用いて複数の映像情報をそれぞれ撮影する。ここでは一例として、バスケットの試合をインターネット放送する場合について説明する。従来の放送システムにおいて、カメラＣ１～Ｃ３はそれぞれ、各カメラマンの操作により撮影される。
カメラＣ１は、コート１の俯瞰映像を撮影するカメラである。カメラＣ２は、選手等に寄った映像情報を撮影するカメラである。カメラＣ３は、ゴール下の映像情報を撮影するカメラである。カメラＣ１～Ｃ３の映像情報はそれぞれ、スイッチャー２に出力される。スイッチャー２は、サーバ３に接続される。サーバ３は、視聴者の端末装置（図示略）に映像情報を送信する。
図２４は、各カメラによって撮影される映像情報を示す図である。映像情報Ｍ１－１，Ｍ１－２，Ｍ１－３は、カメラＣ１によって撮影される映像情報である。カメラマンは、カメラＣ１を操作して、カメラの撮影方向を変更したり、ズームしたりする。たとえば、カメラマンがカメラＣ１を横に振ることで、映像情報は、映像情報Ｍ１－１から、映像情報Ｍ１－２となる。また、カメラマンがズーム操作を行うことで、映像情報Ｍ１－２は、映像情報Ｍ１－３となる。
映像情報Ｍ２は、カメラＣ２によって撮影される映像情報である。カメラマンは、特定の選手が映るように、カメラＣ２を操作する。たとえば、カメラマンは、特定の選手がゴールを決めたことを確認すると、特定の選手のアップ映像を撮影する。
映像情報Ｍ３は、カメラＣ３によって撮影される映像情報である。カメラマンは、カメラＣ３を操作して、ゴール下の映像情報を撮影する。
スイッチャー２は、カメラＣ１～Ｃ３から出力される各映像情報から、サーバ３に出力する映像情報を選択する装置であり、管理者により操作される。たとえば、管理者は、スイッチャー２を操作して、まず、カメラＣ１の映像情報を選択することで、攻守全体の動きを捉えた映像情報Ｍ１－１，Ｍ１－２，Ｍ１－３をサーバ３に出力する。続いて、管理者は、特定の選手がゴールを決めたことを確認すると、カメラＣ２の映像情報を選択して、ゴールを決めた選手の映像情報Ｍ２をサーバ３に出力する。これによって、視聴者は、映像情報Ｍ１－１，Ｍ１－２，Ｍ１－３，Ｍ２を順に、映像情報を視聴することができる。
なお、映像情報を基にして、映像に含まれる群衆を検出し、映像情報に群衆が含まれるように、撮影装置を自動で制御する従来技術もある。
特開２００６－３１２０８８号公報 特開２０１０－１８３３０１号公報 特開２０１５－０７０５０３号公報 特開２００１－２３０９９３号公報 特開２００９－１５３１４４号公報
しかしながら、上述した従来技術では、複数の選手が競技を行うフィールド全体の映像情報から、特定の選手に関する映像情報を自動生成することができないという問題がある。
たとえば、従来の放送システムでは、特定の選手に関する映像情報はカメラを操作するカメラマンが自律的に撮影することで、生成される。たとえば、カメラＣ２を操作するカメラマンが、ゴールを決めた選手をアップにするなどの判断により、特定の選手のアップ映像が生成される。つまり、複数の選手が競技を行うフィールド全体の映像情報から、特定の選手に関する映像情報を自動生成するものではない。また、群衆を検出する従来技術を用いても、特定の選手を捉えた映像情報を自動撮影することはできない。
１つの側面では、本発明は、複数の選手が競技を行うフィールド全体の映像情報から、特定の選手に関する映像情報を自動生成することができる映像生成プログラム、映像生成方法及び映像生成システムを提供することを目的とする。
第１の案では、コンピュータは、次の処理を実行する。コンピュータは、複数の選手が競技を行うフィールドに設置された複数の第１カメラが撮影した第１映像情報を基にして、特定された複数の選手おのおのの第１位置情報を受信する。コンピュータは、競技を撮影する第２カメラから、第２映像情報を取得する。コンピュータは、複数の選手のうち、特定の選手の識別情報を受け付けた場合、識別情報を受け付けた以降の特定の選手の第１位置情報を、第２映像情報における第２位置情報に、変換する。コンピュータは、変換された第２位置情報に基づいて、第２映像情報の一部の領域を切り出した第３映像情報を生成し、第３映像情報を出力する。
複数の選手が競技を行うフィールド全体の映像情報から、特定の選手に関する映像情報を自動生成することができる。
図１は、本実施例１に係る映像生成システムの一例を示す図である。 図２は、本実施例１に係る第２サーバの処理を説明するための図である。 図３は、本実施例１に係る第１サーバの構成を示す機能ブロック図である。 図４は、第１映像バッファのデータ構造の一例を示す図である。 図５は、トラッキングテーブルのデータ構造の一例を示す図である。 図６は、本実施例１に係る第２サーバの構成を示す機能ブロック図である。 図７は、トラッキング情報バッファのデータ構造の一例を示す図である。 図８Ａは、第２映像バッファのデータ構造の一例を示す図である。 図８Ｂは、俯瞰映像情報バッファのデータ構造の一例を示す図である。 図８Ｃは、変換テーブルのデータ構造の一例を示す図である。 図８Ｄは、第３映像情報バッファのデータ構造の一例を示す図である。 図９は、俯瞰映像情報を生成する処理を説明するための図である。 図１０は、生成部が第３映像情報を生成する処理を説明するための図（１）である。 図１１は、生成部が第３映像情報を生成する処理を説明するための図（２）である。 図１２は、本実施例１に係る映像配信サーバの構成を示す機能ブロック図である。 図１３は、本実施例１に係る第１サーバの処理手順を示すフローチャートである。 図１４Ａは、本実施例１に係る第２サーバの処理手順を示すフローチャートである。 図１４Ｂは、本実施例１に係る映像配信サーバの処理手順を示すフローチャートである。 図１５は、検出部の処理を説明するための図である。 図１６は、本実施例２に係る映像生成システムの一例を示す図である。 図１７は、本実施例２に係る第２サーバの構成を示す機能ブロック図である。 図１８は、本実施例２に係る映像配信サーバの構成を示す機能ブロック図である。 図１９は、本実施例２に係る第２サーバの処理手順を示すフローチャートである。 図２０は、第１サーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２１は、第２サーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２２は、映像配信サーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２３は、従来の放送システムの一例を説明するための図である。 図２４は、各カメラによって撮影される映像情報を示す図である。
以下に、本願の開示する映像生成プログラム、映像生成方法及び映像生成システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図１は、本実施例１に係る映像生成システムの一例を示す図である。図１に示すように、この映像生成システムは、第１カメラ４ａ～４ｉ、第２カメラ５ａ，５ｂ，５ｃ、第３カメラ６ａ，６ｂ、第４カメラ７、第５カメラ８を有する。また、この映像生成システムは、第１サーバ１００と、第２サーバ２００と、映像配信サーバ３００とを有する。
第１カメラ４ａ～４ｉは、第１サーバ１００に接続される。第１カメラ４ａ～４ｉをまとめて、「第１カメラ４」と表記する。第２カメラ５ａ～５ｃは、第２サーバ２００に接続される。第２カメラ５ａ～５ｃをまとめて、「第２カメラ５」と表記する。第３カメラ６ａ，６ｂは、第２サーバ２００に接続される。第３カメラ６ａ，６ｂをまとめて、「第３カメラ６」と表記する。第４カメラ７は、第２サーバ２００に接続される。第１サーバ１００および第２サーバ２００は、相互に接続される。第２サーバ２００と、映像配信サーバ３００とは、ネットワーク（閉域網）５０を介して相互に接続される。
コート１において、複数の選手（図示略）が競技を行う。本実施例１では、選手がコート１でバスケットボールの試合を行う場合について説明するが、これに限定されるものではない。たとえば、本発明は、バスケットボールの他にも、サッカー、バレーボール、野球、陸上等の競技や、ダンス等にも適用することができる。
第１カメラ４は、所定のフレームレート（ＦＰＳ：Frames Per Second）によって撮影した、撮影範囲の映像情報を、第１サーバ１００に出力するカメラ（たとえば、２Ｋカメラ）である。以下の説明では、第１カメラ４が撮影した映像情報を「第１映像情報」と表記する。第１映像情報は、選手おのおのの位置情報を特定する場合に用いられる。なお、選手おのおのの位置情報は、基準空間における３次元位置を示すものとする。第１映像情報には、第１映像情報を撮影したカメラ４を一意に識別するカメラＩＤおよび各フレームの時刻情報が付与される。
第２カメラ５は、所定のフレームレート（ＦＰＳ）によって撮影した、撮影範囲の映像情報を、第２サーバ２００に出力するカメラ（たとえば、４Ｋカメラまたは８Ｋカメラ）である。以下の説明では、第２カメラ５が撮影した映像情報を「部分映像情報」と表記する。第２カメラ５ａの撮影範囲と、第２カメラ５ｂの撮影範囲と、第２カメラ５ｃの撮影範囲とを組み合わせた撮影範囲は、コート１の全領域を含むものとする。部分映像情報には、部分映像情報を撮影したカメラ５を一意に識別するカメラＩＤおよび各フレームの時刻情報が付与される。各部分映像情報を接続することで、俯瞰映像情報が生成される。俯瞰映像情報は「第２映像情報」に対応する。
第３カメラ６は、コート１のゴール下に設置され、所定のフレームレート（ＦＰＳ）によって撮影した、撮影範囲の映像情報を、第２サーバ２００に出力するカメラ（２Ｋカメラ）である。以下の説明では、第３カメラ６が撮影した映像情報を「コート下映像情報」と表記する。
第４カメラ７は、タイマー７ａおよびスコアボード７ｂを撮影範囲に含むカメラである。タイマー７ａは、現在時刻と、試合の経過時間を表示する装置である。スコアボード７ｂは、試合の得点を表示する装置である。以下の説明では、第４カメラ７が撮影した映像情報を、「スコア映像情報」と表記する。タイマー７ａと、スコアボード７ｂとは一体の装置であってもよい。
第１サーバ１００は、第１カメラ４から、第１映像情報を取得し、第１映像情報を基にして、複数の選手おのおのの位置情報を順次特定する装置である。第１サーバ１００が特定する、複数の選手おのおのの位置情報を「第１位置情報」と表記する。なお、第１位置情報は、基準空間における３次元位置を示す。第１サーバ１００は、フレームレートなどの時間を識別する情報と、第１位置情報と、選手を一意に識別する識別情報とを対応付けた「トラッキング情報」を、第２サーバ２００に送信する。
第２サーバ２００は、第１サーバ１００からトラッキング情報を取得するとともに、第２カメラ５から、複数の部分映像情報を取得する。第２サーバ２００は、複数の部分映像情報を基にして、俯瞰映像情報を生成する。第２サーバ２００は、複数の選手のうち、特定の選手の識別情報を受け付けた場合、トラッキング情報を基にして、識別情報を受け付けた以降の特定の選手の位置情報を、俯瞰映像情報における位置情報（以下、第２位置情報）に順次、変換する処理を行う。第２サーバ２００は、第２位置情報に基づいて、俯瞰映像情報の一部の領域を切り出した第３映像情報を生成する。第２サーバ２００は、生成した第３映像情報を、映像配信サーバ３００に送信する。なお、第２位置情報は、基準平面における２次元位置である。
図２は、本実施例１に係る第２サーバの処理を説明するための図である。図２に示す俯瞰映像情報１０Ａは、第２カメラ５が撮影した各部分映像情報を接続した映像情報である。たとえば、第２サーバ２００は、選手Ｐ１の識別情報を受け付けた場合について説明する。第２サーバ２００は、選手Ｐ１の識別情報と、トラッキング情報とを比較して、選手Ｐ１に対応する第１位置情報を特定する。第２サーバ２００は、選手Ｐ１に対応する第１位置情報を、俯瞰映像情報１０Ａにおける第２位置情報（ｘＰ１，ｙＰ１）に変換する。
第２サーバ２００は、第２位置情報（ｘＰ１，ｙＰ１）に基づいて、俯瞰映像情報１０Ａの一部の領域Ａ１を切り出す。第２サーバ２００は、切り出した領域Ａ１の映像情報を、第３映像情報１０Ｂとして生成する。たとえば、俯瞰映像情報１０Ａの解像度は、４Ｋであり、第３映像情報１０Ｂの解像度は、２Ｋあるいは、ＨＤ（High Definition）である。第２サーバ２００は、特定の選手の識別情報が指定された後、所定期間、トラッキング情報を基にして、特定の選手の第２位置情報を順次特定し、第２位置情報を基にして、俯瞰映像情報１０Ａの一部の領域を切り出して、第３映像情報を生成する処理を実行する。
映像配信サーバ３００は、第２サーバ２００から、第３映像情報を受信し、受信した第３映像情報を、視聴者の端末装置（図示略）に配信する装置である。
このように、本実施例１に係る映像生成システムによれば、第１サーバ１００は、第１映像情報に基づいてトラッキング情報を生成する。第２サーバ２００は、特定の選手の識別情報を受け付けた場合に、トラッキング情報に基づき特定可能な特定の選手の第１位置情報を、俯瞰映像情報の第２位置情報に変換する。そして、第２サーバ２００は、俯瞰映像情報から、特定の選手の第２位置情報を基準とする一部の領域を切り出した第３映像情報を生成する。これによって、複数の選手が競技を行うコート１全体の第２映像情報から、特定の選手に関する第３映像情報を自動生成することができる。つまり、従来、カメラＣ２を操作するカメラマンなどが、特定の選手のアップ映像などを撮影することで生成されていた特定の選手の映像情報を、本実施例の映像生成システムは自動で生成することができる。
次に、図１に示した第１サーバ１００の構成の一例について説明する。図３は、本実施例１に係る第１サーバの構成を示す機能ブロック図である。図３に示すように、この第１サーバ１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
通信部１１０は、第１カメラ４および第２サーバ２００との間で情報通信を実行する処理部である。通信部１１０は、ＮＩＣ（Network Interface Card）等の通信装置に対応する。たとえば、通信部１１０は、第１カメラ４から第１映像情報を受信する。後述する制御部１５０は、通信部１１０を介して、第１カメラ４、第２サーバ２００と情報をやり取りする。
入力部１２０は、各種の情報を、第１サーバ１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。
表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。
記憶部１４０は、第１映像バッファ１４１と、トラッキングテーブル１４２とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
第１映像バッファ１４１は、第１カメラ４が撮影した第１映像情報を保持するバッファである。図４は、第１映像バッファのデータ構造の一例を示す図である。図４に示すように、第１映像バッファ１４１は、カメラＩＤと、第１映像情報とを対応付ける。カメラＩＤは、第１カメラ４を一意に識別する情報である。たとえば、第１カメラ４ａ～４ｉに対応するカメラＩＤをそれぞれ、カメラＩＤ「Ｃ４ａ～Ｃ４ｉ」とする。第１映像情報は、該当する第１カメラ４により撮影された映像情報である。
第１映像情報は、時系列に並んだ複数の画像フレームを含む。画像フレームは、１コマの静止画像のデータである。第１映像情報に含まれる画像フレームを、「第１画像フレーム」と表記する。各第１画像フレームには、時刻情報が付与される。
トラッキングテーブル１４２は、選手に関する各時刻の位置座標（移動軌跡）の情報を保持するテーブルである。図５は、トラッキングテーブルのデータ構造の一例を示す図である。図５に示すように、このトラッキングテーブル１４２は、識別情報と、チーム識別情報と、時刻と、座標とを対応付ける。
識別情報は、選手を一意に識別する情報である。チーム識別情報は、選手の属するチームを一意に識別する情報である。時刻は、選手を検出した第１画像フレームの時刻を示す情報である。座標は、選手の座標を示し、第１位置情報に対応する。たとえば、チーム識別情報「Ａ」のチームに属する選手識別情報「Ｈ１０１」の選手は、時刻「Ｔ１」において、座標「ｘａ１１，ｙａ１１」に位置する。
図３の説明に戻る。制御部１５０は、取得部１５１と、特定部１５２と、送信部１５３とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
取得部１５１は、第１カメラ４から第１映像情報を取得する処理部である。取得部１５１は、取得した第１映像情報を、第１映像バッファ１４１に格納する。取得部１５１は、第１映像情報を第１映像バッファ１４１に格納する場合、第１映像情報と、第１カメラ４のカメラＩＤとを対応付けて格納する。取得部１５１は、「第１取得部」に対応する。
特定部１５２は、第１映像バッファ１４１に格納された第１映像情報を基にして、複数の選手おのおのの第１位置情報を、順次、特定する処理部である。特定部１５２は、特定した結果を基にして、選手の識別情報、チーム識別情報、時刻、座標を対応付けて、トラッキングテーブル１４２に登録する。以下において、特定部１５２が、第１映像情報（第１画像フレーム）に含まれる、ある選手の第１位置情報を特定する処理の一例について説明する。また、第１映像情報は、第１カメラ４ａに撮影された第１映像情報とする。なお、選手の第１位置情報を特定する処理は、下記の処理に限定されるものではない。
特定部１５２は、第１映像バッファ１４１から、時刻Ｔ１の第１画像フレームと、時刻Ｔ２の第１画像フレームとの差分画像を生成する。特定部１５２は、差分画像に残った領域の面積と、選手の面積を定義したテンプレートとの比較を行い、テンプレートの面積との差が閾値未満となる差分画像上の領域を、選手として検出する。
特定部１５２は、差分画像から算出した選手の座標（第１画像フレーム上の座標）を、変換テーブル（図示略）を基にして、全体座標に変換する。この変換テーブルは、一つの第１カメラ４（たとえば、第１カメラ４ａ）に撮影された第１画像フレーム上の座標と、全第１カメラ４ａ～４ｉで共通する全体座標との対応関係を定義したテーブルであり、事前に設定されているものとする。かかる全体座標に示される位置が、選手の第１位置情報となる。
特定部１５２は、第１画像フレームから検出した選手の識別情報を割り当てる。たとえば、特定部１５２は、事前に設定される各選手のユニフォーム（背番号等）の特徴を基にして、選手の識別情報を割り当てる。また、特定部１５２は、事前に設定される各チームのユニフォームの特徴を基にして、第１画像フレームから検出した選手のチーム識別情報を特定する。
特定部１５２は、上記処理を実行し、選手の識別情報と、チーム識別情報と、時刻と、座標（全体座標）とを対応づけて、トラッキングテーブル１４２に登録する。特定部１５２は、他の第１カメラ４ｂ～４ｉを用いて、各選手について、上記処理を実行することで、各選手の識別情報と、チーム識別情報と、時刻と、座標とを対応付けて、トラッキングテーブル１４２に登録する。特定部１５２は、時刻毎に、上記処理を繰り返し実行する。
送信部１５３は、各選手の第１位置情報が含まれるトラッキング情報を、第２サーバ２００に送信する処理部である。トラッキング情報には、各選手の識別情報、チーム識別情報、時間を識別するための情報（たとえば、時刻、フレームレート等）、座標（第１位置情報）が含まれる。
トラッキングテーブル１４２には、特定部１５２によって、選手毎に、時刻、当該時刻における当該選手の存在位置を示す座標（第１位置情報）が登録される。送信部１５３は、時刻毎に、新たに登録された各選手の識別情報、チーム識別情報、時刻、座標（第１位置情報）を含むトラッキング情報を生成し、順次、第２サーバ２００に送信する。
次に、図１に示した第２サーバ２００の構成の一例について説明する。図６は、本実施例１に係る第２サーバの構成を示す機能ブロック図である。図６に示すように、この第２サーバ２００は、通信部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。
通信部２１０は、第２カメラ５、第３カメラ６、第４カメラ７、第１サーバ１００、映像配信サーバ３００との間でデータ通信を実行する処理部である。通信部２１０は、ＮＩＣ等の通信装置に対応する。たとえば、通信部２１０は、第２カメラ５から部分映像情報を受信する。通信部２１０は、第３カメラ６から、ゴール下映像情報を受信する。通信部２１０は、第４カメラ７から、スコア映像情報を受信する。通信部２１０は、第１サーバ１００から、トラッキング情報を受信する。後述する制御部２５０は、通信部２１０を介して、第２カメラ５、第３カメラ６、第４カメラ７、第１サーバ１００、映像配信サーバ３００と情報をやり取りする。
入力部２２０は、各種の情報を、第２サーバ２００に入力する入力装置である。入力部２２０は、キーボードやマウス、タッチパネル等に対応する。後述するように、管理者は、入力部２２０を操作して、特定の選手の識別情報を入力してもよい。なお、管理者は、映像配信サーバ３００のスイッチ部３４５を操作して、特定の選手を指定することもできる。この場合、映像配信サーバ３００の通信部３１０から、第２サーバ２００の通信部２１０が、管理者が選択した特定の選手の識別情報を受信する。
表示部２３０は、制御部２５０から出力される情報を表示する表示装置である。表示部２３０は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。
記憶部２４０は、トラッキング情報バッファ２４１、第２映像バッファ２４２、俯瞰映像情報バッファ２４３、変換テーブル２４４、第３映像情報バッファ２４５を有する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
トラッキング情報バッファ２４１は、第１サーバ１００から送信されるトラッキング情報を保持するバッファである。図７は、トラッキング情報バッファのデータ構造の一例を示す図である。図７に示すように、トラッキング情報バッファ２４１は、時刻と、識別情報と、チーム識別情報と、座標とを対応付ける。時刻は、選手が検出された第１画像フレームの時刻を示す情報である。識別情報は、選手を一意に識別する情報である。チーム識別情報は、チームを識別する情報である。座標は、選手の座標を示し、第１位置情報に対応する。
第２映像バッファ２４２は、第２カメラ５が撮影した部分映像情報、第３カメラ６が撮影したコート下映像情報、第４カメラ７が撮影したスコア映像情報をそれぞれ保持するバッファである。図８Ａは、第２映像バッファのデータ構造の一例を示す図である。図８Ａに示すように、この第２映像バッファ２４２は、カメラＩＤと、映像情報とを有する。
カメラＩＤは、第２カメラ５、第３カメラ６、第４カメラ７を一意に識別する情報である。たとえば、第２カメラ５ａ～５ｃに対応するカメラＩＤをそれぞれ、カメラＩＤ「Ｃ５ａ～Ｃ５ｃ」とする。第３カメラ６ａ，６ｂに対応するカメラＩＤをそれぞれ、カメラＩＤ「Ｃ６ａ，Ｃ６ｂ」とする。第４カメラ７に対応するカメラＩＤを、カメラＩＤ「Ｃ７」とする。
第２カメラ５に撮影される映像情報は、部分映像情報となる。部分映像情報は、時系列に並んだ画像フレームを含む。部分映像情報に含まれる画像フレームを「部分画像フレーム」と表記する。各部分映像フレームには、時刻情報が付与される。
第３カメラ６に撮影される映像情報は、コート下映像情報となる。コート下映像情報には、時系列に並んだ画像フレームを含み、各画像フレームには、時刻情報が付与される。第４カメラ７に撮影される映像情報は、スコア映像情報となる。スコア映像情報には、時系列に並んだ画像フレームを含み、各画像フレームには、時刻情報が付与される。
なお、第１映像情報の画像フレーム（第１画像フレーム）の時刻情報、部分映像情報の画像フレーム（部分画像フレーム）の時刻情報、コート下映像情報の画像フレームの時刻情報、スコア映像情報の画像フレームの時刻情報は、それぞれ同期しているものとする。
図６の説明に戻る。俯瞰映像情報バッファ２４３は、俯瞰映像情報を格納するバッファである。俯瞰映像情報は、時系列に並んだ画像フレームを含む。俯瞰映像情報に含まれる画像フレームを「俯瞰画像フレーム」と表記する。図８Ｂは、俯瞰映像情報バッファのデータ構造の一例を示す図である。図８Ｂに示すように、俯瞰映像情報バッファ２４３では、時刻と、俯瞰画像フレームとが対応付けられる。たとえば、時刻Ｔｎの俯瞰画像フレームは、時刻Ｔｎにおいて、第２カメラ５に撮影された各部分画像フレームを連結した画像フレームとなる。なお、ｎは、自然数を示す。
変換テーブル２４４は、第１位置情報と、第２位置情報との関係を定義するテーブルである。図８Ｃは、変換テーブルのデータ構造の一例を示す図である。図８Ｃに示すように、この変換テーブル２４４は、第１位置情報と、第２位置情報とが対応付けられる。第１位置情報は、第１サーバ１００から送信されるトラッキング情報に含まれる選手の座標に対応する。第２位置情報は、俯瞰画像フレーム（俯瞰映像情報）上の座標に対応する。たとえば、第１位置情報「ｘａ１１、ｙａ１１」は、第２位置情報「ｘｂ１１、ｙｂ１１」に対応付けられる。
第３映像情報バッファ２４５は、第３映像情報を格納するバッファである。第３映像情報は、時系列に並んだ画像フレームを含む。第３映像情報に含まれる画像フレームを「第３画像フレーム」と表記する。図８Ｄは、第３映像情報バッファのデータ構造の一例を示す図である。図８Ｄに示すように、この第３映像情報バッファ２４５では、時刻と、第３画像フレームとが対応付けられる。
制御部２５０は、受信部２５１と、取得部２５２と、変換部２５３と、生成部２５４と、出力制御部２５５とを有する。制御部２５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
受信部２５１は、第１サーバ１００から、トラッキング情報を、順次、受信する処理部である。受信部２５１は、受信したトラッキング情報を、順次、トラッキング情報バッファ２４１に格納する。上記のように、トラッキング情報には、各選手の識別情報、チーム識別情報、時刻、座標（第１位置情報）が含まれる。
取得部２５２は、第２カメラ５から、部分映像情報を取得する処理部である。取得部２５２は、取得した部分映像情報を、第２映像バッファ２４２に格納する。取得部２５２は、部分映像情報を第２映像バッファ２４２に格納する場合、部分映像情報と、第２カメラ５のカメラＩＤとを対応付けて格納する。取得部２５２は、「第２取得部」に対応する。
取得部２５２は、第３カメラ６から、ゴール下映像情報を取得する。取得部２５２は、取得したゴール下映像情報を第２映像バッファ２４２に格納する場合、ゴール下映像情報と、第３カメラ６のカメラＩＤとを対応付けて格納する。
取得部２５２は、第４カメラ７から、スコア映像情報を取得する。取得部２５２は、取得したスコア映像情報を第２映像バッファ２４２に格納する場合、スコア映像情報と、第４カメラ７のカメラＩＤとを対応付けて格納する。
また、取得部２５２は、第２映像バッファ２４２に格納された複数の部分映像情報を基にして、俯瞰映像情報を生成する処理を更に実行する。図９は、俯瞰映像情報を生成する処理を説明するための図である。図９では、一例として、部分画像フレームＦＴ１－１，ＦＴ１－２，ＦＴ１－３を用いて説明する。部分画像フレームＦＴ１－１は、第２カメラ５ａが撮影した部分映像情報に含まれる、時刻Ｔ１の部分画像フレームである。部分画像フレームＦＴ１－２は、第２カメラ５ｂが撮影した部分映像情報に含まれる、時刻Ｔ１の部分画像フレームである。部分画像フレームＦＴ１－３は、第２カメラ５ｃが撮影した部分映像情報に含まれる、時刻Ｔ１の部分画像フレームである。
取得部２５２は、各部分画像フレームＦＴ１－１，ＦＴ１－２，ＦＴ１－３を連結することで、時刻Ｔ１における俯瞰画像フレームＦＴ１を生成する。取得部２５２は、各時刻において、上記処理を繰り返し実行することで、時系列の俯瞰画像フレームを生成し、俯瞰映像情報を生成する。取得部２５２は、俯瞰映像情報を、俯瞰映像情報バッファ２４３に格納する。
ところで、取得部２５２は、各部分画像フレームの歪み補正を行った後に、各部分画像フレームを連結して、俯瞰画像フレームを生成してもよい。たとえば、第２カメラ５ｂが、コート１の中心部分を撮影範囲に含み、第２カメラ５ａ、５ｃが、コート１の中心を基準とした左右を撮影範囲に含むものとする。この場合、第２カメラ５ａ，５ｃが撮影する部分画像フレームの端に歪みが発生する場合がある。取得部２５２は、歪み補正テーブル（図示略）を基にして、第２カメラ５ａ，５ｃが撮影する部分画像フレームの端の歪みを補正する。歪み補正テーブルは、歪み補正前の画素の位置と、歪み補正後の画素の位置との関係を定義するテーブルである。歪み補正テーブルの情報は、事前に設定されているものとする。
変換部２５３は、複数の選出のうち、特定の選手の識別情報を受け付けた場合、かかる識別情報を受け付けた以降の特定の選手の第１位置情報を、第２位置情報に順次変換する処理部である。変換部２５３は、変換した第２位置情報を、生成部２５４に出力する。以下の説明では、特定の選手の識別情報を、「特定識別情報」と表記する。変換部２５３は、特定識別情報を、ネットワークを介して、後述する映像配信サーバ３００から受け付けつける。また、管理者が入力部２２０を操作して、特定識別情報を入力し、変換部２５３が、かかる特定識別情報を受け付けてもよい。さらに、第１サーバ１００が自動でゴールを認識する機能を有する場合には、第１サーバ１００にてゴールを認識した際に、当該ゴールした選手の識別情報を、第１サーバ１００が第２サーバ２００へ送信することで、変換部２５３は、特定の選手の識別情報を受け付けるとしてもよい。ゴールを認識する処理は、例えば、以下の手法による。第１サーバ１００は、第１映像情報に基づき、ボールの位置を追跡するとともに、各選手の位置を追跡する。さらに、第１サーバ１００は、ボールが、ゴール領域（事前に設定された領域）を通過したことをもって、第１サーバ１００は、ゴールを検出する。そして、第１サーバ１００は、ゴールしたことを検出したのちに、ボールの軌跡をさかのぼって追跡することで、いずれの選手の存在位置からボールが放たれたかを判別する。そして、第１サーバ１００は、ボールを放った選手が、ゴールしたことを認識する。第１サーバ１００は、当該選手の識別情報を、第２サーバ２００へ送信する。
たとえば、変換部２５３が、時刻Ｔ１において、特定識別情報「Ｈ１０１」を受け付けた場合について説明する。変換部２５３は、トラッキング情報バッファ２４１を参照して、時刻Ｔ１における特定識別情報「Ｈ１０１」の座標（第１位置情報）を取得する。変換部２５３は、取得した第１位置情報と、変換テーブル２４４とを比較して、第１位置情報に対応する第２位置情報を特定する。変換部２５３は、特定識別情報を受け付けてから、所定期間（時刻Ｔ１～Ｔｍ）、第１位置情報を、第２位置情報に変換する処理を順次実行し、時系列で、生成部２５４に出力する。ｍは、予め設定される数値である。
また、変換部２５３は、選手が密集する位置情報を特定する。選手が密集する位置情報を「密集位置情報」と表記する。
以下において、密集位置情報を特定する処理の一例について説明する。変換部２５３は、時刻Ｔｎにおいて、特定識別情報を受け付けていない場合、時刻Ｔｎの全選手の第１位置情報を、トラッキング情報バッファ２４１から取得する。変換部２５３は、全選手の第１位置情報を基にして、距離の近い選手同士を同一のクラスタリングすることで、選手を複数のクラスタに分類する。
変換部２５３は、複数のクラスタのうち、最も多くの選手を含むクラスタを選択し、選択したクラスタに含まれる各選手の第１位置情報の中心を、密集位置情報として算出する。変換部２５３は、密集位置情報と、変換テーブル２４４とを比較して、密集位置情報に対応する第２位置情報を特定する。以下の説明では、密集位置情報に対応する第２位置情報を、「密集第２位置情報」と表記する。変換部２５３は、密集第２位置情報を順次算出し、時系列で、生成部２５４に出力する。
生成部２５４は、変換部２５３によって順次変換された第２位置情報を基にして、俯瞰映像情報の一部の領域を切り出した第３映像情報を生成する処理部である。なお、密集領域に係る第３映像情報は、他の映像情報の一例である。生成部２５４は、生成した第３映像情報を、第３映像情報バッファ２４５に格納する。以下の説明では、第２位置情報に基づく、俯瞰映像情報（俯瞰画像フレーム）の一部の領域を「注目領域」と表記する。
図１０は、生成部が第３映像情報を生成する処理を説明するための図（１）である。ここでは、俯瞰映像情報に含まれる時刻Ｔ１の俯瞰画像フレームＦＴ１を用いて説明する。また、特定識別情報に対応する選手を選手Ｐ２とし、時刻Ｔ１における選手Ｐ２の第２位置情報を、（ｘＰ２，ｙＰ２）とする。
生成部２５４は、第２位置情報（ｘＰ２，ｙＰ２）に基づいて、俯瞰画像フレームＦＴ１の注目領域Ａ２を切り出す。生成部２５４は、切り出した注目領域Ａ２の情報を、第３画像フレームＦ３Ｔ１として生成する。注目領域の大きさは、予め設定された大きさである。生成部２５４は、注目領域の中心を、第２位置座標に合わせることで、注目領域の場所を特定する。生成部２５４は、特定識別情報に対応する選手がなるべく大きく映るように、予め設定された倍率の範囲内で、倍率制御を実行してもよい。生成部２５４は、変換部２５３から、第２位置情報を受け付けている所定期間、上記処理を繰り返し実行することで、第３画像フレームを生成し、順次、第３映像情報バッファ２４５に第３画像フレームを格納する。
また、生成部２５４は、変換部２５３から密集第２位置情報を受け付ける。生成部２５４は、密集第２位置情報を基にして、切り出し対象となる一部の領域を、俯瞰画像フレーム上に設定する。以下の説明では、密集第２位置情報を基にして設定される、切り出し対象となる一部の領域を、「密集領域」と表記する。生成部２５４は、俯瞰画像フレームから、密集領域の情報を切り出すことで、第３画像フレームを生成する。
図１１は、生成部が第３映像情報を生成する処理を説明するための図（２）である。ここでは、俯瞰映像情報に含まれる時刻Ｔｎの俯瞰画像フレームＦＴｎを用いて説明する。密集第２位置情報を、（Ｘ１，Ｙ１）とする。
生成部２５４は、密集第２位置情報（Ｘ１，Ｙ１）に基づいて、俯瞰画像フレームＦＴｎの密集領域Ａ３を切り出す。生成部２５４は、切り出した密集領域Ａ３の情報を、第３画像フレームＦ３Ｔｎとして生成する。密集領域Ａ３の大きさは、予め設定された大きさである。生成部２５４は、密集領域Ａ３に、できるだけ大勢の選手が入るように、予め設定された倍率の範囲内で、倍率制御を実行してもよい。
生成部２５４は、密集領域の中心を、密集第２位置座標に合わせることで、密集領域の場所を特定する。生成部２５４は、特定識別情報を受け付けてから所定時間経過した場合、または、特定識別情報を受け付けていない場合には、第３画像フレームを生成し、順次、第３映像情報バッファ２４５に第３画像フレームを格納する。
出力制御部２５５は、第３映像情報バッファ２４５に格納された第３映像情報を、映像配信サーバ３００に出力する処理部である。また、出力制御部２５５は、第２映像バッファ２４２に格納される、コート下映像情報、スコア映像情報を、映像配信サーバ３００に出力してもよい。
なお、出力制御部２５５は、トラッキング情報バッファ２４１を基にして、各選手の第１位置情報と、選手の識別情報とを対応付けた映像情報を生成し、表示部２３０に出力して表示してもよい。出力制御部２５５が、かかる映像情報を出力することで、管理者が、特定識別情報を入力する作業をサポートすることができる。
次に、図１に示した映像配信サーバ３００の構成の一例について説明する。図１２は、本実施例１に係る映像配信サーバの構成を示す機能ブロック図である。図１２に示すように、この映像配信サーバ３００は、通信部３１０と、入力部３２０と、表示部３３０と、記憶部３４０と、制御部３５０とを有する。
通信部３１０は、第２サーバ２００との間で情報通信を実行する処理部である。通信部３１０は、ＮＩＣ等の通信装置に対応する。たとえば、通信部３１０は、第２サーバ２００から、第３映像情報、コート下映像情報、スコア映像情報を受信する。後述する制御部３５０は、通信部３１０を介して、第２サーバ２００と情報をやり取りする。
入力部３２０は、各種の情報を、映像配信サーバ３００に入力する入力装置である。入力部３２０は、キーボードやマウス、タッチパネル等に対応する。管理者は、表示部３３０に表示される第３映像情報、コート下映像情報等を参照し、入力部３２０を操作して、視聴者に配信する映像情報の切換を行う。また、管理者は、密集領域に係る第３映像情報を参照し、入力部３２０を操作して、第３映像情報に含まれる特定の選手を選択してもよい。
表示部３３０は、制御部３５０から出力される情報を表示する表示装置である。表示部３３０は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。たとえば、表示部３３０は、第３映像情報、コート下映像情報、スコア映像情報等を表示する。
記憶部３４０は、映像バッファ３４１、ＣＧ情報３４２を有する。記憶部３４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
映像バッファ３４１は、第３映像情報、コート下映像情報、スコア映像情報を保持するバッファである。
ＣＧ情報３４２は、タイマーおよびスコアのＣＧ（Computer Graphics）の情報である。ＣＧ情報３４２は、後述する作成部３５２により作成される。
制御部３５０は、受信部３５１と、作成部３５２と、表示制御部３５３と、スイッチング部３５４と、配信制御部３５５とを有する。制御部３５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部３５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
受信部３５１は、第２サーバ２００から、第３映像情報、コート下映像情報、スコア映像情報を受信する処理部である。受信部３５１は、受信した第３映像情報、コート下映像情報、スコア映像情報を、映像バッファ３４１に格納する。また、受信部３５１は、第２サーバ２００から、第３映像情報における各選手の位置情報を受信し、映像バッファ３４１に格納する。
作成部３５２は、映像バッファ３４１に格納されたスコア映像情報を基にして、タイマー７ａに表示された数値、スコアボード７ｂに表示された数値を読み取る。作成部３５２は、読み取った数値を基にして、タイマーおよびスコアのＣＧ（Computer Graphics）を作成する。作成部３５２は、作成したタイマーおよびスコアのＣＧの情報（ＣＧ情報３４２）を、記憶部３４０に格納する。作成部３５２は、時刻毎に上記処理を繰り返し実行する。
表示制御部３５３は、映像バッファ３４１に格納された第３映像情報、コート下映像情報、スコア映像情報を、表示部３３０に出力して表示する処理部である。表示制御部３５３は、さらに、密集領域に係る第３映像情報を、表示部３３０に出力して表示させる場合は、密集領域に係る第３映像情報における各選手の位置情報に基づき、第３映像情報に含まれる選手を指定するためのカーソルを、いずれかの選手に対応して重畳して表示させる。
スイッチング部３５４は、入力部３２０を操作する管理者によって選択される映像情報を、映像バッファ３４１から取得し、取得した映像情報を、配信制御部３５５に出力する処理部である。たとえば、スイッチング部３５４は、管理者によって、第３映像情報が選択されている場合、第３映像情報を、配信制御部３５５に出力する。スイッチング部３５４は、管理者によって、コート下映像情報が選択されている場合、コート下映像情報を、配信制御部３５５に出力する。
また、スイッチング部３５４は、例えばカーソル操作などで入力部３２０を操作する管理者により第３映像情報に含まれるいずれか選手が選択された場合、選手の識別情報を特定する。スイッチング部３５４は、特定した選手の識別情報を、特定識別情報として、第２サーバ２００に送信する。
配信制御部３５５は、スイッチング部３５４から出力される映像情報を、視聴者の端末装置に配信する処理部である。配信制御部３５５は、映像情報を配信する場合、映像情報に、ＣＧ情報３４２を重畳して、映像情報を配信してもよい。ここでは、説明を省略するが、配信制御部３５５は、更に、所定のＢＧＭ（Back Ground Music）、解説者による音声情報、字幕情報等を、映像情報に重畳して、配信してもよい。
次に、本実施例１に係る第１サーバ１００の処理手順の一例について説明する。図１３は、本実施例１に係る第１サーバの処理手順を示すフローチャートである。図１３に示すように、第１サーバ１００の取得部１５１は、第１カメラ４からの第１映像情報の取得を開始し、第１映像バッファ１４１に格納する（ステップＳ１０１）。
第１サーバ１００の特定部１５２は、第１映像情報を基にして、各選手の第１位置情報を特定する（ステップＳ１０２）。特定部１５２は、各選手の識別情報、チーム識別情報、時刻、座標（第１位置情報）を、トラッキングテーブル１４２に格納する（ステップＳ１０３）。
第１サーバ１００の送信部１５３は、トラッキング情報を、第２サーバ２００に送信する（ステップＳ１０４）。第１サーバ１００は、処理を継続する場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０２に移行する。一方、第１サーバ１００は、処理を継続しない場合には（ステップＳ１０５，Ｎｏ）、処理を終了する。
次に、本実施例１に係る第２サーバ２００の処理手順の一例について説明する。図１４Ａは、本実施例１に係る第２サーバの処理手順を示すフローチャートである。図１４Ａに示すように、第２サーバ２００の受信部２５１は、第１サーバ１００からのトラッキング情報の受信を開始し、トラッキング情報バッファ２４１に格納する（ステップＳ２０１）。
第２サーバ２００の取得部２５２は、第２カメラ５からの部分映像情報の取得を開始し、第２映像バッファ２４２に格納する（ステップＳ２０２）。取得部２５２は、第３カメラ６からのゴール下映像情報の取得を開始し、第２映像バッファ２４２に格納する（ステップＳ２０３）。取得部２５２は、第４カメラ７からのスコア映像情報の取得を開始し、第２映像バッファ２４２に格納する（ステップＳ２０４）。取得部２５２は、複数の部分映像情報を連結して、俯瞰映像情報を生成し、俯瞰映像情報バッファ２４３に格納する（ステップＳ２０５）。
第２サーバ２００の変換部２５３は、特定の選手の識別情報（特定識別情報）を受け付けたか否かを判定する（ステップＳ２０６）。変換部２５３は、特定識別情報を受け付けていない場合には（ステップＳ２０６，Ｎｏ）、密集位置情報を、密集第２位置情報に変換する（ステップＳ２１０）。生成部２５４は、密集第２位置情報を基にして、俯瞰映像情報上に密集領域設定する（ステップＳ２１１）。生成部２５４は、密集領域の情報を切り出して、第３映像情報（第３画像フレーム）を生成し、第３映像情報バッファ２４５に格納し（ステップＳ２１２）、ステップＳ２１３に移行する。たとえば、映像配信サーバ３００から特定の選手が指定されるまでは、密集領域に関する第３映像情報が生成される。また、映像配信サーバ３００から特定の選手が指定されたあと、一定時間経過後は、密集領域に関する第３映像情報が生成される。
一方、変換部２５３は、特定識別情報を受け付けた場合には（ステップＳ２０６，Ｙｅｓ）、特定識別情報に対応する第１位置情報を、第２位置情報に変換する（ステップＳ２０７）。
第２サーバ２００の生成部２５４は、第２位置情報を基にして、俯瞰映像情報（俯瞰画像フレーム）上に注目領域を設定する（ステップＳ２０８）。生成部２５４は、注目領域の情報を切り出して、第３映像情報（第３画像フレーム）を生成し、第３映像情報バッファ２４５に格納し（ステップＳ２０９）、ステップＳ２１３に移行する。なお、特定識別情報を受け付けてから所定時間経過するまで、ステップＳ２０６をＹｅｓと判定することで、所定時間経過の間は、特定の選手のアップ映像（特定選手の注目領域を含む第３映像情報）が生成される。
第２サーバ２００の出力制御部２５５は、第３映像情報、コート下映像情報、スコア映像情報を、映像配信サーバ３００に送信する（ステップＳ２１３）。第２サーバ２００の出力制御部２５５は、さらに、密集領域に係る第３映像情報における各選手の位置情報も、併せて、映像配信サーバ３００に送信する。第２サーバ２００は、処理を継続する場合には（ステップＳ２１４，Ｙｅｓ）、ステップＳ２０６に移行する。第２サーバ２００は、処理を継続しない場合には（ステップＳ２１４，Ｎｏ）、処理を終了する。
次に、映像配信サーバ３００側で、特定識別情報を指定する場合における、映像配信サーバ３００の処理手順の一例について説明する。図１４Ｂは、本実施例１に係る映像配信サーバの処理手順を示すフローチャートである。図１４Ｂに示すように、映像配信サーバ３００の受信部３５１は、第２サーバ２００から、密集領域に係る第３映像情報と、密集領域に係る第３映像情報における各選手の位置情報の受信を開始し、映像バッファ３４１に格納する（ステップＳ２５０）。なお、ここでは、俯瞰映像から抽出された第３映像情報を、映像配信サーバ３００が受け付ける例を示すが、俯瞰映像または俯瞰映像を低解像度化した映像を、受け付けるとしてもよい。
映像配信サーバ３００の表示制御部３５３は、密集領域に係る第３映像情報の表示を開始する（ステップＳ２５１）。表示制御部３５３は、密集領域に係る第３映像情報における各選手の位置情報に基づき、第３映像情報に含まれる選手のいずれかに対してカーソルを表示する（ステップＳ２５２）。初期状態においては、各チームの背番号「４」の選手などに、カーソルを合わせて表示するなどする。
映像配信サーバ３００のスイッチング部３５４は、カーソルの移動および決定（選手の選択）を受け付けた場合、選択を受け付けた選手の特定識別情報を特定する（ステップＳ２５３）。スイッチング部３５４は、通信部３１０を用いて、特定した特定識別情報を第２サーバ２００に送信する（ステップＳ２５４）。映像配信サーバ３００は、処理を継続する場合には（ステップＳ２５５，Ｙｅｓ）、ステップ２５２に移行する。一方、映像配信サーバ３００は、処理を継続しない場合には（ステップＳ２５５，Ｎｏ）、処理を終了する。その後、映像配信サーバ３００は、第２サーバにおけるＳ２１３を受けて、一定時間は、特定の選手に関する注目領域に係る第３映像情報を受信する。また、映像配信サーバ３００は、管理者により選択された、映像情報を配信する。
次に、本実施例１に係る映像生成システムの効果について説明する。本実施例１に係る映像生成システムでは、第１サーバ１００が、第１カメラ４によって撮影された第１映像情報を基にして、複数の選手おのおのの第１位置情報を順次特定し、各選手の第１位置情報を含むトラッキング情報を、第２サーバ２００に送信する。第２サーバ２００は、特定識別情報を受け付けた場合、特定識別情報に対応する選手の第１位置情報を、第２位置情報に順次変換する。そして、第２サーバ２００は、順次変換された第２位置情報に基づいて、俯瞰映像情報の一部を切り出した第３映像情報を生成し、映像配信サーバ３００に出力する。これによって、複数の選手が競技を行うフィールド全体の映像情報から、特定の選手に関する映像情報を自動生成することができる。
第２サーバ２００は、第２カメラ５によって撮影された複数の部分映像情報を基にして、俯瞰映像情報を生成する。これによって、第２カメラ５の撮影範囲を固定しても、コート１の全域を含む俯瞰映像情報を生成することができる。
第２サーバ２００は、複数の部分映像情報の歪みを補正する処理を更に実行し、歪みを補正した複数の部分映像情報を基にして、俯瞰映像情報を生成する。これによって、歪みの影響を抑止した俯瞰映像情報を生成することができる。
ところで、本実施例１では、複数の第２カメラ５を用いて、部分映像情報を撮影し、部分撮影情報を連結することで、俯瞰映像情報を生成していたがこれに限定されるものではない。たとえば、コート１の全域が一つの第２カメラの撮影範囲に含まれる場合、第２サーバ２００の取得部２５２は、一つの第２カメラ（たとえば、第２カメラ５ｂ）の撮影した部分映像情報を、俯瞰映像情報として、俯瞰映像情報バッファ２４３に格納してもよい。この場合、一つの第２カメラに撮影された部分映像情報は、第２映像情報に対応すると言える。
また、第２サーバ２００の変換部２５３は、各時刻の第２位置情報を算出し、各時刻の第２位置情報をそのまま生成部２５４に出力していたがこれに限定されるものではない。たとえば、変換部２５３は、所定期間に含まれる各第２位置情報の平均値（移動平均値）を算出し、算出した平均値を、第２位置情報として、生成部２５４に出力してもよい。
または、変換部２５３は、時刻Ｔｎの第２位置情報（ｘｔｎ，ｙｔｎ）と、時刻Ｔｎ＋１の第２位置情報（ｘｔｎ＋１，ｙｔｎ＋１）とにおいて、縦方向のｙｔｎと、ｙｔｎ＋１との差分を算出する。変換部２５３は、差分が閾値未満である場合、時刻Ｔｎ＋１の第２位置情報として、（ｘｔｎ＋１，ｙｔｎ）を、生成部２５４に出力してもよい。これによって、注目領域が各時刻で上下に振動することを抑止することができ、縦ブレを抑えた第３映像情報を生成することができる。
更に、本実施例１では、第２サーバ２００は、特定識別情報を外部装置、入力部２２０から受け付ける場合について説明したが、これに限定されるものではない。たとえば、第２サーバ２００は、所定のイベントを検出する検出部（図示略）を有し、イベントの発生した選手の識別情報を、特定識別情報として自動的に検出してもよい。
図１５は、検出部の処理を説明するための図である。図示を省略するが、検出部は、第５カメラに接続されているものとする。第５カメラは、バスケットゴール２０ｂを含む周辺を、撮像範囲に含むカメラ（ステレオカメラ）であるものとする。
第５カメラが撮影する画像フレームにおいて、選手によってシュートされたボールのみが通過する部分領域２０ａを事前に設定しておく。例えば、部分領域２０ａは、バスケットゴール２０ｂ周辺に設定される。
検出部は、部分領域２０ａ内に、ボールが存在するか否かを判定する。例えば、検出部は、ボールの形状やサイズを定義したテンプレートを用いて、部分領域２０ａにボールが存在するか否かを判定する。図１５に示す例では、検出部は、部分領域２０ａから、ボール２５を検出する。検出部は、部分領域２０ａからボール２５を検出すると、ステレオ画像の原理に基づいて、ボール２５の３次元座標を算出する。
検出部は、部分領域２０ａからボール２５を検出すると、画像フレーム２０よりも１、２枚前の画像フレーム２１を取得し、画像フレーム２１から、ボール２５を検出する。検出部は、画像フレーム２１から検出したボール２５の３次元座標を、ステレオ画像の原理に基づいて算出する。
検出部は、画像フレーム２０で検出したボール２５の位置を手がかりとして、画像フレーム２１からボール２５を検出してもよい。検出部は、画像フレーム２０，２１から検出した各ボール２５の３次元座標を基にして、ボール２５の軌跡２５ａを推定する。検出部は、軌跡２５ａに基づいて、軌跡２５ａの開始位置２６と、ボール２５が、開始位置２６に存在していた時刻を推定する。以下の説明では、適宜、ボール２５が開始位置２６に存在していた時刻を、「開始時刻」と表記する。
検出部は、開始時刻に対応する画像フレーム２２を取得し、開始位置２６から、ボール２５を検出する。検出部は、画像フレーム２２で検出したボール２５の３次元座標を、ステレオ画像の原理に基づいて算出する。検出部は、ボール２５の３次元座標に存在する選手２７を特定する。検出部は、係る選手２７の識別情報を、特定識別情報として検出し、変換部２５３に出力する。
図１５では一例として、イベント「シュート」を検出し、シュートを行った選手の識別情報を、特定識別情報として検出する場合について説明したが、イベントはシュートに限定されるものではなく、ドリブル、パス、リバウンド、アシスト等であってもよい。検出部は、どのような従来技術を用いて、ドリブル、パス、リバウンド、アシスト等を検出してもよい。
また、本実施例１では一例として、第１サーバ１００と、第２サーバ２００とが別々の装置である場合について説明を行ったがこれに限定されるものではなく、第１サーバ１００と、第２サーバ２００とが同一の装置であってもよい。
次に、本実施例２に係る映像生成システムの一例について説明する。図１６は、本実施例２に係る映像生成システムの一例を示す図である。図１６に示すように、この映像生成システムは、第１カメラ４、第２カメラ５、第３カメラ６、第４カメラ７、第５カメラを有する。また、この映像生成システムは、第１サーバ１００と、第２サーバ４００と、映像配信サーバ５００とを有する。
第１カメラ４、第２カメラ５、第３カメラ６、第４カメラ７に関する説明は、実施例１で説明した第１カメラ４、第２カメラ５、第３カメラ６、第４カメラ７に関する説明と同様である。
第１サーバ１００は、第１カメラ４から、第１映像情報を取得し、第１映像情報を基にして、複数の選手おのおのの第１位置情報を順次特定する装置である。第１サーバ１００は、第１位置情報と、選手を一意に識別する識別情報とを対応付けたトラッキング情報を、第２サーバ４００に送信する。第１サーバ１００に関する説明は、実施例１で説明した第１サーバ１００に関する説明と同様である。
第２サーバ４００は、第１サーバ１００からトラッキング情報を取得し、第２カメラ５から、複数の部分映像情報を取得する。第２サーバ４００は、複数の部分映像情報を基にして、俯瞰映像情報を生成する。第２サーバ４００は、特定識別情報を受け付けた場合、トラッキング情報を基にして、特定識別情報の選手の第１位置情報を、俯瞰映像情報における第２位置情報に順次、変換する処理を行う。第２サーバ４００は、第２位置情報に基づいて、俯瞰映像情報の一部の領域を切り出した第３映像情報を生成する。第２サーバ４００は、生成した第３映像情報を、映像配信サーバ５００に送信する。
また、第２サーバ４００は、各選手の第１位置情報を基にして、密集位置情報を算出し、密集位置情報を、第２密集位置情報に順次、変換する処理を行う。第２サーバ４００は、第２密集位置情報に基づいて、俯瞰映像情報の一部の領域を切り出した第４映像情報を生成する。たとえば、第４映像情報は、複数の選手を捉えた映像となる。第２サーバ４００は、生成した第４映像情報を、映像配信サーバ５００に送信する。第４映像情報は、他の映像情報の一例である。
なお、第２サーバ４００は、第４映像情報の代わりに、俯瞰映像情報を、映像配信サーバ５００に送信してもよい。
映像配信サーバ５００は、第２サーバ４００から、第３映像情報、第４映像情報（または俯瞰映像情報）を受信し、受信した第３映像情報または第４映像情報のいずれかを選択し、選択した映像情報を視聴者の端末装置（図示略）に配信する装置である。
このように、本実施例２に係る映像生成システムによれば、俯瞰映像情報から、第２位置情報を基にした領域を切り出すと共に、第２密集位置情報を基にした領域を切り出す。これによって、複数の選手が競技を行うコート１全体の俯瞰映像情報から、特定の選手に関する第３映像情報と、複数の選手を捉えた第４映像情報とを自動生成することができる。
次に、図１６に示した第２サーバ４００の構成の一例について説明する。図１７は、本実施例２に係る第２サーバの構成を示す機能ブロック図である。図１７に示すように、この第２サーバ４００は、通信部４１０と、入力部４２０と、表示部４３０と、記憶部４４０と、制御部４５０とを有する。
通信部４１０は、第２カメラ５、第３カメラ６、第４カメラ７、第１サーバ１００、映像配信サーバ５００との間でデータ通信を実行する処理部である。通信部４１０は、ＮＩＣ等の通信装置に対応する。たとえば、通信部４１０は、第２カメラ５から部分映像情報を受信する。通信部４１０は、第３カメラ６から、ゴール下映像情報を受信する。通信部４１０は、第４カメラ７から、スコア映像情報を受信する。通信部４１０は、第１サーバ１００から、トラッキング情報を受信する。後述する制御部４５０は、通信部４１０を介して、第２カメラ５、第３カメラ６、第４カメラ７、第１サーバ１００、映像配信サーバ５００と情報をやり取りする。
入力部４２０は、各種の情報を、第２サーバ４００に入力する入力装置である。入力部２２０は、キーボードやマウス、タッチパネル等に対応する。後述するように、管理者は、入力部２２０を操作して、特定の選出の識別情報を入力してもよい。
表示部４３０は、制御部４５０から出力される情報を表示する表示装置である。表示部４３０は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。
記憶部４４０は、トラッキング情報バッファ４４１、第２映像バッファ４４２、俯瞰映像情報バッファ４４３、変換テーブル４４４、第３映像情報バッファ４４５、第４映像情報バッファ４４６を有する。記憶部４４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
トラッキング情報バッファ４４１は、第１サーバ１００から送信されるトラッキング情報を保持するバッファである。トラッキング情報バッファ４４１のデータ構造は、図７に示したトラッキング情報バッファ２４１のデータ構造と同様である。
第２映像バッファ４４２は、第２カメラ５が撮影した部分映像情報、第３カメラ６が撮影したコート下映像情報、第４カメラ７が撮影したスコア映像情報をそれぞれ保持するバッファである。第２映像バッファ４４２のデータ構造は、図８Ａに示した第２映像バッファ２４２のデータ構造と同様である。
俯瞰映像情報バッファ４４３は、俯瞰映像情報を格納するバッファである。俯瞰映像情報バッファ４４３に関するその他の説明は、実施例１の俯瞰映像情報バッファ２４３と同様である。
変換テーブル４４４は、第１位置情報と、第２位置情報との関係を定義するテーブルである。第１位置情報は、第１サーバ１００から送信されるトラッキング情報に含まれる選手の座標に対応する。第２位置情報は、俯瞰画像フレーム（俯瞰映像情報）上の座標に対応する。
第３映像情報バッファ４４５は、第３映像情報を格納するバッファである。第３映像情報は、時系列に並んだ第３画像フレームを含む。
第４映像情報バッファ４４６は、第４映像情報を格納するバッファである。第４映像情報は、時系列に並んだ画像フレームを含む。第４映像情報に含まれる画像フレームを「第４画像フレーム」と表記する。各第４画像フレームには、時刻情報が付与される。
制御部４５０は、受信部４５１と、取得部４５２と、変換部４５３と、生成部４５４と、出力制御部４５５とを有する。制御部４５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部４５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
受信部４５１は、第１サーバ１００から、トラッキング情報を、順次、受信する処理部である。受信部４５１は、受信したトラッキング情報を、順次、トラッキング情報バッファ４４１に格納する。上記のように、トラッキング情報には、各選手の識別情報、チーム識別情報、時刻、座標（第１位置情報）が含まれる。
取得部４５２は、第２カメラ５から、部分映像情報を取得する処理部である。取得部４５２は、取得した部分映像情報を、第２映像バッファ４４２に格納する。取得部４５２は、部分映像情報を第２映像バッファ４４２に格納する場合、部分映像情報と、第２カメラ５のカメラＩＤとを対応付けて格納する。
取得部４５２は、第３カメラ６から、ゴール下映像情報を取得する。取得部４５２は、取得したゴール下映像情報を第２映像バッファ４４２に格納する場合、ゴール下映像情報と、第３カメラ６のカメラＩＤとを対応付けて格納する。
取得部４５２は、第４カメラ７から、スコア映像情報を取得する。取得部４５２は、取得したスコア映像情報を第２映像バッファ４４２に格納する場合、スコア映像情報と、第４カメラ７のカメラＩＤとを対応付けて格納する。
また、取得部４５２は、第２映像バッファ４４２に格納された複数の部分映像情報を基にして、俯瞰映像情報を生成する処理を更に実行する。取得部４５２が俯瞰映像情報を生成する処理は、実施例１の取得部２５２の処理と同様である。取得部４５２は、俯瞰映像情報を、俯瞰映像情報バッファ４４３に格納する。
変換部４５３は、複数の選出のうち、特定の選手の識別情報（特定識別情報）を受け付けた場合、かかる識別情報を受け付けた以降の特定の選手の第１位置情報を、第２位置情報に順次変換する処理部である。変換部４５３が、第１位置情報を、第２位置情報に変換する処理は、実施例１の変換部２５３の処理と同様である。変換部４５３は、特定識別情報を受け付けてから、所定期間（時刻Ｔ１～Ｔｍ）、第１位置情報を、第２位置情報に変換する処理を順次実行し、時系列で、生成部２５４に出力する。
また、変換部４５３は、第２密集位置情報を特定する。変換部４５３が、第２密集位置情報を特定する処理は、実施例１の変換部２５３が、第２密集位置情報を特定する処理と同様である。変換部４５３は、密集第２位置情報を順次算出し、時系列で、生成部２５４に出力する。
生成部４５４は、変換部４５３によって順次変換された第２位置情報を基にして、俯瞰映像情報の一部の領域を切り出した第３映像情報を生成する処理部である。生成部４５４が、第３映像情報を生成する処理は、実施例１の生成部２５４の処理と同様である。生成部４５４は、第３映像情報を、第３映像情報バッファ４４５に格納する。
また、生成部４５４は、変換部４５３から密集第２位置情報を受け付ける。生成部４５４は、密集第２位置情報を基にして、切り出し対象となる一部の領域（密集領域）を、俯瞰画像フレーム上に設定する。生成部４５４は、俯瞰画像フレームから、密集領域の情報を切り出すことで、第４画像フレームを生成する。
生成部４５４は、変換部４５３から、密集第２位置情報を受け付けている所定期間、上記処理を繰り返し実行することで、第４画像フレームを生成し、順次、第４映像情報バッファ４４６に第４画像フレームを格納する。
出力制御部４５５は、第３映像情報バッファ４４５に格納された第３映像情報、第４映像情報バッファ４４６に格納された第４映像情報を、映像配信サーバ５００に出力する処理部である。また、出力制御部４５５は、第２映像バッファ４４２に格納される、コート下映像情報、スコア映像情報を、映像配信サーバ５００に出力してもよい。
次に、図１６に示した映像配信サーバ５００の構成の一例について説明する。図１８は、本実施例２に係る映像配信サーバの構成を示す機能ブロック図である。図１８に示すように、この映像配信サーバ５００は、通信部５１０と、入力部５２０と、表示部５３０と、記憶部５４０と、制御部５５０とを有する。
通信部５１０は、第２サーバ４００との間で情報通信を実行する処理部である。通信部５１０は、ＮＩＣ等の通信装置に対応する。たとえば、通信部５１０は、第２サーバ４００から、第３映像情報、第４映像情報、コート下映像情報、スコア映像情報を受信する。後述する制御部５５０は、通信部５１０を介して、第２サーバ４００と情報をやり取りする。
入力部５２０は、各種の情報を、映像配信サーバ５００に入力する入力装置である。入力部５２０は、キーボードやマウス、タッチパネル等に対応する。管理者は、表示部５３０に表示される第３映像情報、第４映像情報、コート下映像情報等を参照し、入力部５２０を操作して、視聴者に配信する映像情報の切換を行う。
表示部５３０は、制御部５５０から出力される情報を表示する表示装置である。表示部５３０は、液晶ディスプレイ、有機ＥＬディスプレイ、タッチパネル等に対応する。たとえば、表示部５３０は、第３映像情報、第４映像情報、コート下映像情報、スコア映像情報等を表示する。
記憶部５４０は、映像バッファ５４１、ＣＧ情報５４２を有する。記憶部５４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
映像バッファ５４１は、第３映像情報、第４映像情報、コート下映像情報、スコア映像情報を保持するバッファである。
ＣＧ情報５４２は、タイマーおよびスコアのＣＧの情報である。ＣＧ情報５４２は、後述する作成部５５２により作成される。
制御部５５０は、受信部５５１と、作成部５５２と、表示制御部５５３と、スイッチング部５５４と、配信制御部５５５とを有する。制御部５５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部５５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
受信部５５１は、第２サーバ４００から、第３映像情報、第４映像情報、コート下映像情報、スコア映像情報を受信する処理部である。受信部５５１は、受信した第３映像情報、第４映像情報、コート下映像情報、スコア映像情報を、映像バッファ５４１に格納する。また、受信部５５１は、第２サーバ２００から、密集領域に係る第４映像情報における各選手の位置情報を受信し、映像バッファ５４１に格納する。
作成部５５２は、映像バッファ５４１に格納されたスコア映像情報を基にして、タイマー７ａに表示された数値、スコアボード７ｂに表示された数値を読み取る。作成部５５２は、読み取った数値を基にして、タイマーおよびスコアのＣＧを作成する。作成部５５２は、作成したタイマーおよびスコアのＣＧの情報（ＣＧ情報５４２）を、記憶部５４０に格納する。作成部５５２は、時刻毎に上記処理を繰り返し実行する。
表示制御部５５３は、映像バッファ５４１に格納された第３映像情報、第４映像情報、コート下映像情報、スコア映像情報を、表示部５３０に出力して表示する処理部である。表示制御部５５３は、さらに、密集領域に係る第４映像情報を、表示部５３０に出力して表示させる場合は、密集領域に係る第４映像情報における各選手の位置情報に基づき、第４映像情報に含まれる選手を指定するためのカーソルを、いずれかの選手に対応して重畳して表示させる。
スイッチング部５５４は、入力部５２０を操作する管理者によって選択される映像情報を、映像バッファ５４１から取得し、取得した映像情報を、配信制御部５５５に出力する処理部である。たとえば、スイッチング部５５４は、管理者によって、第３映像情報が選択されている場合、第３映像情報を、配信制御部５５５に出力する。スイッチング部５５４は、管理者によって、第４映像情報が選択されている場合、第４映像情報を、配信制御部５５５に出力する。スイッチング部５５４は、管理者によって、コート下映像情報が選択されている場合、コート下映像情報を、配信制御部５５５に出力する。
また、スイッチング部５５４は、例えばカーソル操作などで入力部５２０を操作する管理者により第４映像情報に含まれるいずれか選手が選択された場合、選手の識別情報を特定する。スイッチング部５５４は、特定した選手の識別情報を、特定識別情報として、第２サーバ４００に送信する。
配信制御部５５５は、スイッチング部５５４から出力される映像情報を、視聴者の端末装置に配信する処理部である。配信制御部５５５は、映像情報を配信する場合、映像情報に、ＣＧ情報５４２を重畳して、映像情報を配信してもよい。ここでは、説明を省略するが、配信制御部５５５は、更に、所定のＢＧＭ（Back Ground Music）、解説者による音声情報、字幕情報等を、映像情報に重畳して、配信してもよい。
次に、本実施例２に係る第２サーバ４００の処理手順の一例について説明する。図１９は、本実施例２に係る第２サーバの処理手順を示すフローチャートである。図１９に示すように、第２サーバ２００の受信部２５１は、第１サーバ１００からのトラッキング情報の受信を開始し、トラッキング情報バッファ４４１に格納する（ステップＳ３０１）。
第２サーバ４００の取得部４５２は、第２カメラ５からの部分映像情報の取得を開始し、第２映像バッファ４４２に格納する（ステップＳ３０２）。取得部４５２は、第３カメラ６からのゴール下映像情報の取得を開始し、第２映像バッファ４４２に格納する（ステップＳ３０３）。取得部４５２は、第４カメラ７からのスコア映像情報の取得を開始し、第２映像バッファ４４２に格納する（ステップＳ３０４）。取得部４５２は、複数の部分映像情報を連結して、俯瞰映像情報を生成し、俯瞰映像情報バッファ４４３に格納する（ステップＳ３０５）。
第２サーバ４００は、特定識別情報を受け付けたか否かを判定する（ステップＳ３０６）。特定識別情報を受け付けた場合（ステップＳ３０６，Ｙｅｓ）、生成部４５４は、第３映像情報を生成し、第３映像情報バッファ４４５に格納する（ステップＳ３０７）。生成部４５４は、第４映像情報を生成し、第４映像情報バッファ４４６に格納する（ステップＳ３０８）。第２サーバ４００の出力制御部４５５は、第３映像情報、第４映像情報、コート下映像情報、スコア映像情報を、映像配信サーバ５００に送信し（ステップＳ３０９）、ステップＳ３１２に移行する。
一方、特定識別情報を受け付けていない場合（ステップＳ３０６，Ｎｏ）、生成部４５４は、第４映像情報を生成し、第４映像情報バッファ４４６に格納する（ステップＳ３１０）。出力制御部４５５は、第４映像情報、コート下映像情報、スコア映像情報を、映像配信サーバ５００に送信し（ステップＳ３１１）、ステップＳ３１２に移行する。第２サーバ４００は、処理を継続する場合には（ステップＳ３１２，Ｙｅｓ）、ステップＳ３０６に移行する。第２サーバ４００は、処理を継続しない場合には（ステップ３１２，Ｎｏ）、処理を終了する。
次に、本実施例２に係る映像生成システムの効果について説明する。本実施例２に係る映像生成システムでは、俯瞰映像情報から、第２位置情報を基にした領域を切り出すと共に、第２密集位置情報を基にした領域を切り出す。これによって、複数の選手が競技を行うコート１全体の俯瞰映像情報から、特定の選手に関する第３映像情報と、複数の選手を捉えた第４映像情報とを自動生成することができる。
次に、上記実施例に示した第１サーバ１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２０は、第１サーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図２０に示すように、コンピュータ６００は、各種演算処理を実行するＣＰＵ６０１と、ユーザからのデータの入力を受け付ける入力装置６０２と、ディスプレイ６０３とを有する。また、コンピュータ６００は、記憶媒体からプログラム等を読み取る読み取り装置６０４と、有線または無線ネットワークを介して、第１カメラ４、第２サーバ２００と等との間でデータの授受を行う通信装置６０５とを有する。また、コンピュータ６００は、各種情報を一時記憶するＲＡＭ６０６と、ハードディスク装置６０７とを有する。そして、各装置６０１～６０７は、バス６０８に接続される。
ハードディスク装置６０７は、取得プログラム６０７ａ、特定プログラム６０７ｂ、送信プログラム６０７ｃを有する。また、ＣＰＵ６０１は、各プログラム６０７ａ～６０７ｃを読み出してＲＡＭ６０６に展開する。
取得プログラム６０７ａは、取得プロセス６０６ａとして機能する。特定プログラム６０７ｂは、特定プロセス６０６ｂとして機能する。送信プログラム６０７ｃは、送信プロセス６０６ｃとして機能する。
取得プロセス６０６ａの処理は、取得部１５１の処理に対応する。特定プロセス６０６ｂの処理は、特定部１５２の処理に対応する。送信プロセス２０６ｃの処理は、送信部１５３の処理に対応する。
なお、各プログラム６０７ａ～６０７ｃについては、必ずしも最初からハードディスク装置６０７に記憶させておかなくても良い。例えば、コンピュータ６００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ６００が各プログラム６０７ａ～６０７ｃを読み出して実行するようにしてもよい。
続いて、上記実施例に示した第２サーバ２００（４００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２１は、第２サーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図２１に示すように、コンピュータ７００は、各種演算処理を実行するＣＰＵ７０１と、ユーザからのデータの入力を受け付ける入力装置７０２と、ディスプレイ７０３とを有する。また、コンピュータ７００は、記憶媒体からプログラム等を読み取る読み取り装置７０４と、有線または無線ネットワークを介して、第２カメラ５、第３カメラ６、第４カメラ７、第１サーバ１００、映像配信サーバ３００等との間でデータの授受を行う通信装置７０５とを有する。また、コンピュータ７００は、各種情報を一時記憶するＲＡＭ７０６と、ハードディスク装置７０７とを有する。そして、各装置７０１～７０７は、バス７０８に接続される。
ハードディスク装置７０７は、受信プログラム７０７ａ、取得プログラム７０７ｂ、変換プログラム７０７ｃ、生成プログラム７０７ｄ、出力制御プログラム７０７ｅを有する。また、ＣＰＵ７０１は、各プログラム７０７ａ～７０７ｅを読み出してＲＡＭ７０６に展開する。
受信プログラム７０７ａは、受信プロセス７０６ａとして機能する。取得プログラム７０７ｂは、取得プロセス７０６ｂとして機能する。変換プログラム７０７ｃは、変換プロセス７０６ｃとして機能する。生成プログラム７０７ｄは、生成プロセス７０６ｄとして機能する。出力制御プログラム７０７ｅは、出力制御プロセス７０７ｅとして機能する。
受信プロセス７０６ａの処理は、受信部２５１の処理に対応する。取得プロセス７０６ｂの処理は、取得部２５２の処理に対応する。変換プロセス７０６ｃの処理は、変換部２５３の処理に対応する。生成プロセス７０６ｄの処理は、生成部２５４の処理に対応する。出力制御プロセス７０６ｅの処理は、出力制御部２５５の処理に対応する。
なお、各プログラム７０７ａ～７０７ｅについては、必ずしも最初からハードディスク装置７０７に記憶させておかなくても良い。例えば、コンピュータ７００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ７００が各プログラム７０７ａ～７０７ｅを読み出して実行するようにしてもよい。
続いて、上記実施例に示した映像配信サーバ３００（５００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２２は、映像配信サーバと同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図２２に示すように、コンピュータ８００は、各種演算処理を実行するＣＰＵ８０１と、ユーザからのデータの入力を受け付ける入力装置８０２と、ディスプレイ８０３とを有する。また、コンピュータ８００は、記憶媒体からプログラム等を読み取る読み取り装置８０４と、有線または無線ネットワークを介して、第２サーバ２００等との間でデータの授受を行う通信装置８０５とを有する。また、コンピュータ８００は、各種情報を一時記憶するＲＡＭ８０６と、ハードディスク装置８０７とを有する。そして、各装置８０１～８０７は、バス８０８に接続される。
ハードディスク装置８０７は、受信プログラム８０７ａ、作成プログラム８０７ｂ、表示制御プログラム８０７ｃ、スイッチングプログラム８０７ｄ、配信制御プログラム８０７ｅを有する。また、ＣＰＵ８０１は、各プログラム８０７ａ～８０７ｅを読み出してＲＡＭ８０６に展開する。
受信プログラム８０７ａは、受信プロセス８０６ａとして機能する。作成プログラム８０７ｂは、作成プロセス８０６ｂとして機能する。表示制御プログラム８０７ｃは、表示制御プロセス８０６ｃとして機能する。スイッチングプログラム８０７ｄは、スイッチングプロセス８０６ｄとして機能する。配信制御プログラム８０７ｅは、配信制御プロセス８０７ｅとして機能する。
受信プロセス８０６ａの処理は、受信部３５１の処理に対応する。作成プロセス８０６ｂの処理は、作成部３５２の処理に対応する。表示制御プロセス８０６ｃの処理は、表示制御部３５３の処理に対応する。スイッチングプロセス８０６ｄの処理は、スイッチング部３５４の処理に対応する。配信制御プロセス８０６ｅの処理は、配信制御部３５５の処理に対応する。
なお、各プログラム８０７ａ～８０７ｅについては、必ずしも最初からハードディスク装置８０７に記憶させておかなくても良い。例えば、コンピュータ８００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ８００が各プログラム８０７ａ～８０７ｅを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）複数の選手が競技を行うフィールドに設置された複数の第１カメラが撮影した第１映像情報を基にして、特定された前記複数の選手おのおのの第１位置情報を受信し、
前記競技を撮影する第２カメラから、第２映像情報を取得し、
前記複数の選手のうち、特定の選手の識別情報を受け付けた場合、前記識別情報を受け付けた以降の前記特定の選手の第１位置情報を、前記第２映像情報における第２位置情報に、変換し、
変換された第２位置情報に基づいて、前記第２映像情報の一部の領域を切り出した第３映像情報を生成し、
前記第３映像情報を出力する
処理をコンピュータに実行させることを特徴とする映像生成プログラム。
（付記２）前記第３映像情報は、前記特定の選手のアップ映像であることを特徴とする付記１に記載の映像生成プログラム。
（付記３）前記第２カメラは、前記第１カメラよりも高解像度のカメラであって、
前記第２カメラの前記第２映像情報から切り出された前記第３映像情報は、前記競技の視聴者の端末に配信される情報である
ことを特徴とする付記１に記載の映像生成プログラム。
（付記４）前記第２映像情報を取得する処理は、前記フィールドの各領域をそれぞれ撮影する複数の第２カメラから複数の部分映像情報を取得し、前記複数の部分映像情報を基にして、前記第２映像情報を生成する処理を更に実行させることを特徴とする付記１、２または３に記載の映像生成プログラム。
（付記５）前記第２映像情報を取得する処理は、前記複数の部分映像情報の歪みを補正し、歪みを補正した複数の部分映像情報を基にして、前記第２映像情報を生成する処理を実行させることを特徴とする付記４に記載の映像生成プログラム。
（付記６）前記競技において発生するイベントに関連する選手を、前記特定の選手として取得する処理を更に実行させることを特徴とする付記１～５いずれか一つに記載の映像生成プログラム。
（付記７）前記変換する処理は、所定時間毎に、所定時間に含まれる複数の第２位置情報を平均した平均位置情報を算出し、前記生成する処理は、前記平均位置情報に基づいて、前記第２映像情報の一部の領域を切り出した他の映像情報を生成する処理を実行させることを特徴とする付記１～６のいずれか一つに記載の映像生成プログラム。
（付記８）前記第１位置情報は、前記フィールドにおける前記複数の選手それぞれの３次元位置を示す情報であって、
前記第２位置情報は、前記第２映像情報における前記複数の選手それぞれの２次元位置を示す情報である
ことを特徴とする付記１～６のいずれか一つに記載の映像生成プログラム。
（付記９）複数の選手が競技を行うフィールドに設置された複数の第１カメラが撮影した第１映像情報を基にして、特定された前記複数の選手おのおのの第１位置情報を受信し、
前記競技を撮影する第２カメラから、第２映像情報を取得し、
前記複数の選手のうち、特定の選手の識別情報を受け付けた場合、前記識別情報を受け付けた以降の前記特定の選手の第１位置情報を、前記第２映像情報における第２位置情報に、変換し、
変換された第２位置情報に基づいて、前記第２映像情報の一部の領域を切り出した第３映像情報を生成し、
前記第３映像情報を出力する
処理をコンピュータが実行することを特徴とする映像生成方法。
（付記１０）前記第３映像情報は、前記特定の選手のアップ映像であることを特徴とする付記９に記載の映像生成方法。
（付記１１）前記第２カメラは、前記第１カメラよりも高解像度のカメラであって、
前記第２カメラの前記第２映像情報から切り出された前記第３映像情報は、前記競技の視聴者の端末に配信される情報である
ことを特徴とする付記９に記載の映像生成方法。
（付記１２）前記第２映像情報を取得する処理は、前記フィールドの各領域をそれぞれ撮影する複数の第２カメラから複数の部分映像情報を取得し、前記複数の部分映像情報を基にして、前記第２映像情報を生成する処理を更に実行することを特徴とする付記９、１０または１１に記載の映像生成方法。
（付記１３）前記第２映像情報を取得する処理は、前記複数の部分映像情報の歪みを補正し、歪みを補正した複数の部分映像情報を基にして、前記第２映像情報を生成する処理を実行することを特徴とする付記１２に記載の映像生成方法。
（付記１４）前記競技において発生するイベントに関連する選手を、前記特定の選手として取得する処理を更に実行させることを特徴とする付記９～１３いずれか一つに記載の映像生成方法。
（付記１５）前記変換する処理は、所定時間毎に、所定時間に含まれる複数の第２位置情報を平均した平均位置情報を算出し、前記生成する処理は、前記平均位置情報に基づいて、前記第２映像情報の一部の領域を切り出した他の映像情報を生成する処理を実行することを特徴とする付記９～１４のいずれか一つに記載の映像生成方法。
（付記１６）前記第１位置情報は、前記フィールドにおける前記複数の選手それぞれの３次元位置を示す情報であって、
前記第２位置情報は、前記第２映像情報における前記複数の選手それぞれの２次元位置を示す情報である
ことを特徴とする付記９～１４のいずれか一つに記載の映像生成方法。
（付記１７）第１サーバと第２サーバとを有する映像生成システムであって、
前記第１サーバは、
複数の選手が競技を行うフィールドに設置された複数の第１カメラから、第１映像情報を取得する第１取得部と、
前記第１映像情報を基にして、前記複数の選手おのおのの第１位置情報を、特定する特定部と、
前記複数の選手おのおのの第１位置情報を前記第２サーバに送信する送信部を有し、
前記第２サーバは、
前記第１サーバから前記複数の選手おのおのの第１位置情報を受信する受信部と、
前記競技を撮影する第２カメラから、第２映像情報を取得する第２取得部と、
前記複数の選手のうち、特定の選手の識別情報を受け付けた場合、前記識別情報を受け付けた以降の前記特定の選手の第１位置情報を、前記第２映像情報における第２位置情報に、変換する変換部と、
前記変換部によって、変換された第２位置情報に基づいて、前記第２映像情報の一部の領域を切り出した第３映像情報を生成する生成部と、
前記第３映像情報を出力する出力制御部と
を有することを特徴とする映像生成システム。
（付記１８）前記第３映像情報は、前記特定の選手のアップ映像であることを特徴とする付記１７に記載の映像生成システム。
（付記１９）前記第２カメラは、前記第１カメラよりも高解像度のカメラであって、
前記第２カメラの前記第２映像情報から切り出された前記第３映像情報は、前記競技の視聴者の端末に配信される情報である
ことを特徴とする付記１７に記載の映像生成システム。
（付記２０）前記第２取得部は、前記フィールドの各領域をそれぞれ撮影する複数の第２カメラから複数の部分映像情報を取得し、前記複数の部分映像情報を基にして、前記第２映像情報を生成する処理を更に実行することを特徴とする付記１７、１８または１９に記載の映像生成システム。
（付記２１）前記第２取得部は、前記複数の部分映像情報の歪みを補正し、歪みを補正した複数の部分映像情報を基にして、前記第２映像情報を生成する処理を実行することを特徴とする付記２０に記載の映像生成システム。
（付記２２）前記第２取得部は、前記競技において発生するイベントに関連する選手を、前記特定の選手として取得する処理を更に実行することを特徴とする付記１７～２１いずれか一つに記載の映像生成システム。
（付記２３）前記変換部は、所定時間毎に、所定時間に含まれる複数の第２位置情報を平均した平均位置情報を算出し、前記生成する処理は、前記平均位置情報に基づいて、前記第２映像情報の一部の領域を切り出した他の映像情報を生成する処理を実行することを特徴とする付記１７～２２のいずれか一つに記載の映像生成システム。
（付記２４）前記第１位置情報は、前記フィールドにおける前記複数の選手それぞれの３次元位置を示す情報であって、
前記第２位置情報は、前記第２映像情報における前記複数の選手それぞれの２次元位置を示す情報である
ことを特徴とする付記１７～２２のいずれか一つに記載の映像生成システム。
５０ ネットワーク
１００ 第１サーバ
１１０，２１０，３１０，４１０，５１０ 通信部
１２０，２２０，３２０，４２０，５２０ 入力部
１３０，２３０，３３０，４３０，５３０ 表示部
１４０，２４０，３４０，４４０，５４０ 記憶部
１４１ 第１映像バッファ
１４２ トラッキングテーブル
１５０，２５０，３５０，４５０，５５０ 制御部
１５１，２５２，４５２ 取得部
１５２ 特定部
１５３ 送信部
２００，４００ 第２サーバ
２４１，４４１ トラッキング情報バッファ
２４２，４４２ 第２映像バッファ
２４３，４４３ 俯瞰映像情報バッファ
２４４，４４４ 変換テーブル
２４５，４４５ 第３映像情報バッファ
２５１，３５１，４５１，５５１ 受信部
２５３，４５３ 変換部
２５４，４５４ 生成部
２５５，４５５ 出力制御部
３００，５００ 映像配信サーバ
３４１，５４１ 映像バッファ
３４２，５４２ ＣＧ情報
３５２，５５２ 作成部
３５３，５５３ 表示制御部
３５４，５５４ スイッチング部
３５５，５５５ 配信制御部
４４６ 第４映像情報バッファ

Claims (10)

  1. 複数の選手が競技を行うフィールドに設置された複数の第１カメラが撮影した第１映像情報を基にして、特定された前記複数の選手おのおのの第１位置情報を受信し、
    前記競技を撮影する第２カメラから、第２映像情報を取得し、
    前記複数の選手のうち、特定の選手の識別情報を受け付けた場合、前記識別情報を受け付けた以降の前記特定の選手の第１位置情報を、前記第２映像情報における第２位置情報に、変換し、
    所定時間内において変換された複数の第２位置情報の平均値に基づいて、前記第２映像情報の一部の領域を切り出した第３映像情報を生成し、
    前記第３映像情報を出力する
    処理をコンピュータに実行させることを特徴とする映像生成プログラム。
  2. 前記第３映像情報は、前記特定の選手のアップ映像であることを特徴とする請求項１に記載の映像生成プログラム。
  3. 前記第２カメラは、前記第１カメラよりも高解像度のカメラであって、
    前記第２カメラの前記第２映像情報から切り出された前記第３映像情報は、前記競技の視聴者の端末に配信される情報である
    ことを特徴とする請求項１に記載の映像生成プログラム。
  4. 前記第２映像情報を取得する処理は、前記フィールドの各領域をそれぞれ撮影する複数の第２カメラから複数の部分映像情報を取得し、前記複数の部分映像情報を基にして、前記第２映像情報を生成する処理を更に実行させることを特徴とする請求項１、２または３に記載の映像生成プログラム。
  5. 前記第２映像情報を取得する処理は、前記複数の部分映像情報の歪みを補正し、歪みを補正した複数の部分映像情報を基にして、前記第２映像情報を生成する処理を実行させることを特徴とする請求項４に記載の映像生成プログラム。
  6. 前記競技において発生するイベントに関連する選手を、前記特定の選手として取得する処理を更に実行させることを特徴とする請求項１～５いずれか一つに記載の映像生成プログラム。
  7. 前記生成する処理は、前記平均値に基づいて、前記第２映像情報の一部の領域を切り出した他の映像情報を生成する処理を実行させることを特徴とする請求項１～６のいずれか一つに記載の映像生成プログラム。
  8. 前記第１位置情報は、前記フィールドにおける前記複数の選手それぞれの３次元位置を示す情報であって、
    前記第２位置情報は、前記第２映像情報における前記複数の選手それぞれの２次元位置を示す情報である
    ことを特徴とする請求項１～６のいずれか一つに記載の映像生成プログラム。
  9. 複数の選手が競技を行うフィールドに設置された複数の第１カメラが撮影した第１映像情報を基にして、特定された前記複数の選手おのおのの第１位置情報を受信し、
    前記競技を撮影する第２カメラから、第２映像情報を取得し、
    前記複数の選手のうち、特定の選手の識別情報を受け付けた場合、前記識別情報を受け付けた以降の前記特定の選手の第１位置情報を、前記第２映像情報における第２位置情報に、変換し、
    所定時間内において変換された複数の第２位置情報の平均値に基づいて、前記第２映像情報の一部の領域を切り出した第３映像情報を生成し、
    前記第３映像情報を出力する
    処理をコンピュータが実行することを特徴とする映像生成方法。
  10. 第１サーバと第２サーバとを有する映像生成システムであって、
    前記第１サーバは、
    複数の選手が競技を行うフィールドに設置された複数の第１カメラから、第１映像情報を取得する第１取得部と、
    前記第１映像情報を基にして、前記複数の選手おのおのの第１位置情報を、特定する特定部と、
    前記複数の選手おのおのの第１位置情報を前記第２サーバに送信する送信部を有し、
    前記第２サーバは、
    前記第１サーバから前記複数の選手おのおのの第１位置情報を受信する受信部と、
    前記競技を撮影する第２カメラから、第２映像情報を取得する第２取得部と、
    前記複数の選手のうち、特定の選手の識別情報を受け付けた場合、前記識別情報を受け付けた以降の前記特定の選手の第１位置情報を、前記第２映像情報における第２位置情報に、変換する変換部と、
    前記変換部によって、所定時間内において変換された複数の第２位置情報の平均値に基づいて、前記第２映像情報の一部の領域を切り出した第３映像情報を生成する生成部と、
    前記第３映像情報を出力する出力制御部と
    を有することを特徴とする映像生成システム。
JP2019217050A 2019-11-29 2019-11-29 映像生成プログラム、映像生成方法及び映像生成システム Active JP7384008B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019217050A JP7384008B2 (ja) 2019-11-29 2019-11-29 映像生成プログラム、映像生成方法及び映像生成システム
US17/086,489 US20210168411A1 (en) 2019-11-29 2020-11-02 Storage medium, video image generation method, and video image generation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019217050A JP7384008B2 (ja) 2019-11-29 2019-11-29 映像生成プログラム、映像生成方法及び映像生成システム

Publications (2)

Publication Number Publication Date
JP2021087186A JP2021087186A (ja) 2021-06-03
JP7384008B2 true JP7384008B2 (ja) 2023-11-21

Family

ID=76086018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019217050A Active JP7384008B2 (ja) 2019-11-29 2019-11-29 映像生成プログラム、映像生成方法及び映像生成システム

Country Status (2)

Country Link
US (1) US20210168411A1 (ja)
JP (1) JP7384008B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115087997A (zh) * 2020-02-13 2022-09-20 斯塔特斯公司 使用个性化深度神经网络动态预测击球类型
WO2023023333A2 (en) * 2021-08-20 2023-02-23 Stats Llc Methods and systems for utilizing live embedded tracking data within a live sports video stream
WO2023127044A1 (ja) * 2021-12-27 2023-07-06 日本電気株式会社 画像処理装置、画像処理方法、及び非一時的なコンピュータ可読媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333080A (ja) 1999-05-21 2000-11-30 Yamaha Corp 画像撮影・処理装置
JP2001036898A (ja) 1999-07-22 2001-02-09 Hitachi Ltd パノラマ映像生成用カメラシステム
JP2002236913A (ja) 2001-02-07 2002-08-23 Nippon Hoso Kyokai <Nhk> 自動人物特定装置
US20030179294A1 (en) 2002-03-22 2003-09-25 Martins Fernando C.M. Method for simultaneous visual tracking of multiple bodies in a closed structured environment
JP2005223487A (ja) 2004-02-04 2005-08-18 Mainichi Broadcasting System Inc デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラム
JP2009272970A (ja) 2008-05-09 2009-11-19 Nippon Hoso Kyokai <Nhk> スポーツ映像送出装置
WO2014024475A1 (ja) 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
JP2017175507A (ja) 2016-03-25 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2017531979A (ja) 2014-10-10 2017-10-26 ライブバーン インク スポーツ競技場における視覚的な選手追跡のためのシステムおよび方法
JP2018182566A (ja) 2017-04-14 2018-11-15 富士通株式会社 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2452510A (en) * 2007-09-05 2009-03-11 Sony Corp System For Communicating A Three Dimensional Representation Of A Sporting Event
US9271048B2 (en) * 2013-12-13 2016-02-23 The Directv Group, Inc. Systems and methods for immersive viewing experience

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333080A (ja) 1999-05-21 2000-11-30 Yamaha Corp 画像撮影・処理装置
JP2001036898A (ja) 1999-07-22 2001-02-09 Hitachi Ltd パノラマ映像生成用カメラシステム
JP2002236913A (ja) 2001-02-07 2002-08-23 Nippon Hoso Kyokai <Nhk> 自動人物特定装置
US20030179294A1 (en) 2002-03-22 2003-09-25 Martins Fernando C.M. Method for simultaneous visual tracking of multiple bodies in a closed structured environment
JP2005223487A (ja) 2004-02-04 2005-08-18 Mainichi Broadcasting System Inc デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラム
JP2009272970A (ja) 2008-05-09 2009-11-19 Nippon Hoso Kyokai <Nhk> スポーツ映像送出装置
WO2014024475A1 (ja) 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
JP2017531979A (ja) 2014-10-10 2017-10-26 ライブバーン インク スポーツ競技場における視覚的な選手追跡のためのシステムおよび方法
JP2017175507A (ja) 2016-03-25 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2018182566A (ja) 2017-04-14 2018-11-15 富士通株式会社 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置

Also Published As

Publication number Publication date
US20210168411A1 (en) 2021-06-03
JP2021087186A (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
JP7384008B2 (ja) 映像生成プログラム、映像生成方法及び映像生成システム
US10789764B2 (en) Systems and associated methods for creating a viewing experience
US11283983B2 (en) System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network
JP6715441B2 (ja) 拡張現実表示システム、端末装置および拡張現実表示方法
US10999535B2 (en) Recording medium, method, and information processing device for generating three-dimensional synthesized video of information related to subjects with background area based on free viewpoint video
JP7132730B2 (ja) 情報処理装置および情報処理方法
JP6674247B2 (ja) 情報処理装置、情報処理方法、およびコンピュータプログラム
JP2017531979A (ja) スポーツ競技場における視覚的な選手追跡のためのシステムおよび方法
KR20010074508A (ko) 스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치
JP6938123B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP6720587B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
CN110270078B (zh) 足球比赛特效展示系统、方法及计算机装置
JP2022132286A (ja) 仮想現実提供システム
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
US8538233B2 (en) Automatic camera identification from a multi-camera video stream
US10922871B2 (en) Casting a ray projection from a perspective view
US20200082603A1 (en) Information processing apparatus, information processing method and storage medium
JP2020182100A (ja) 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム
US20230353717A1 (en) Image processing system, image processing method, and storage medium
CN114584681A (zh) 目标对象的运动展示方法、装置、电子设备及存储介质
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법
JP6450305B2 (ja) 情報取得装置、情報取得方法及び情報取得プログラム
KR102453296B1 (ko) 정보 처리장치, 그 제어방법 및 컴퓨터 프로그램
JP2009181043A (ja) 映像信号処理装置、画像信号処理方法、プログラム、記録媒体
WO2018211570A1 (ja) 映像生成プログラム、映像生成方法および映像生成装置

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20191212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R150 Certificate of patent or registration of utility model

Ref document number: 7384008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150