JP6753460B2 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP6753460B2
JP6753460B2 JP2018504544A JP2018504544A JP6753460B2 JP 6753460 B2 JP6753460 B2 JP 6753460B2 JP 2018504544 A JP2018504544 A JP 2018504544A JP 2018504544 A JP2018504544 A JP 2018504544A JP 6753460 B2 JP6753460 B2 JP 6753460B2
Authority
JP
Japan
Prior art keywords
information
camera work
subject
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018504544A
Other languages
English (en)
Other versions
JPWO2017154953A1 (ja
Inventor
博憲 服部
博憲 服部
雄介 四戸
雄介 四戸
拓也 渡邉
拓也 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017154953A1 publication Critical patent/JPWO2017154953A1/ja
Application granted granted Critical
Publication of JP6753460B2 publication Critical patent/JP6753460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、複数のロボットカメラを制御するにあたって、様々な状況の変化に対応したカメラワークを実現できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
スタジオでのテレビ番組の収録、音楽ライブ中継、およびスポーツ中継などを撮像する場合、広大なスタジオ、ホール、および競技施設内で、多くの視点から多くのカメラを用いて、撮像する必要がある。
一般的には、多数のカメラを用いた撮像を行うには、多くのカメラスタッフが必要となり、撮像に係るコストが増大する。
そこで、撮像に使用するカメラを、カメラスタッフを必要としないロボットカメラにして遠隔操作することでカメラスタッフの人数を低減させて、撮像に係るコストを低減させることが提案されている。
このようなロボットカメラの制御技術については、被写体の位置情報を取得して、被写体の位置情報に基づいて、ロボットカメラの撮像方向や動作モードを切り替えて撮像する技術が提案されている（特許文献１参照）。
また、番組収録のリハーサルにおいて、ロボットカメラの撮像に係る動作を制御するパラメータと、被写体の位置情報とを対応付けて記録しながら撮像した後、本番収録において、被写体の位置情報を取得して、リハーサルにおいて記録されたパラメータによる動作を補正することで、本番収録において被写体がリハーサルと異なる動きをしても適切に撮像する技術が提案されている（特許文献２参照）。
特開２００５−２７７８４５号公報 特開２００３−３４８３８４号公報
しかしながら、上述した特許文献１，２に係る技術で実現されるカメラワークは、音楽番組のスタジオ収録や音楽ライブの中継などにおいて、楽曲の流れに応じたものではなかった。
また、上述した特許文献１，２に係る技術で実現されるカメラワークは、スポーツ中継などの撮像において、例えば、試合の流れに沿った、得点の変化や選手の活躍の程度などに応じたカメラワークではなかった。
すなわち、上述した特許文献１，２に係る技術で実現されるカメラワークは、ロボットカメラを用いた撮像を継続する中で、被写体の位置情報に基づいてカメラワークに変化を付けることはできるが、撮像を継続する中で、被写体の位置情報以外の状況の変化に対応したカメラワークではなかった。
本開示は、このような状況に鑑みてなされたものであり、特に、複数のロボットカメラを制御するにあたって、様々な状況の変化に対応したカメラワークを実現できるようにするものである。
本開示の一側面の情報処理装置は、タイミング情報と被写体の位置を示す位置情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御する制御部を含み、前記テーブルセットは、撮像対象ごとに設けられており、前記制御部は、前記撮像対象の状況を示す状況情報に基づいて、同一の撮像対象に対して設定された複数のテーブルセットのいずれかを選択的に用いる情報処理装置である。
前記テーブルセットは、複数の撮像装置に対応してそれぞれ設けられるようにすることができ、前記制御部には、前記複数の撮像装置毎のテーブルセットを用いて、各撮像装置のカメラワークを制御させるようにすることができる。
前記状況情報は、前記撮像対象がスポーツ中継である場合、スタッツ情報とすることができ、前記撮像対象が音楽ライブである場合、楽曲スコアとすることができる。
前記制御部には、前記テーブルセットに、前記現在位置情報に対応する位置情報が存在しない場合、前記現在位置情報の近傍の位置に対応する複数の位置情報を用いて、前記現在位置情報に対応する位置情報を補間させるようにすることができる。
前記位置情報は、３次元空間での位置を示す情報とすることができる。
前記カメラワーク情報には、前記撮像装置のパン、チルト、およびズームのいずれかを制御する情報とすることができる。
前記制御部には、前記撮像装置で撮像された画像から前記被写体を認識させ、前記カメラワーク情報で示される被写体の位置と、認識した被写体の位置とが一致しない場合、前記撮像装置で撮像された画像に基づいて、前記特定したカメラワークを補正させるようにすることができる。
本開示の一側面の情報処理方法は、タイミング情報と被写体の位置を示す位置情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御するステップを含み、前記テーブルセットは、撮像対象ごとに設けられており、前記撮像装置のカメラワークを制御するステップにおいては、前記撮像対象の状況を示す状況情報に基づいて、同一の撮像対象に対して設定された複数のテーブルセットのいずれかが選択的に用いられる情報処理方法である。
本開示の一側面のプログラムは、被写体の位置を示す位置情報とカメラワーク情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御する制御部としてコンピュータを機能させ、前記テーブルセットは、撮像対象ごとに設けられており、前記制御部は、前記撮像対象の状況を示す状況情報に基づいて、同一の撮像対象に対して設定された複数のテーブルセットのいずれかを選択的に用いるプログラムである。
本開示の一側面においては、タイミング情報と被写体の位置を示す位置情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークが特定され、特定されたカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークが制御され、前記テーブルセットは、撮像対象ごとに設けられており、前記撮像対象の状況を示す状況情報に基づいて、同一の撮像対象に対して設定された複数のテーブルセットのいずれかが選択的に用いられる。
本開示の一側面によれば、複数のロボットカメラの撮像において、様々な状況の変化に対応したカメラワークを実現ことが可能となる。
本開示のロボットカメラ制御システムの構成例を示すブロック図である。 スイッチャ装置の第１の実施の形態の構成例を示す図である。 ロボットカメラの構成例を示す図である。 マニュアルカメラの構成例を示す図である。 センサ装置の構成例を示す図である。 カメラワーク情報テーブルセットを説明する図である。 カメラワーク情報を説明する図である。 ３次元空間内の被写体の位置と、ロボットカメラにより撮像される画像内の２次元空間内の画素位置との関係を説明する図である。 ３次元空間内の被写体の位置と、ロボットカメラにより撮像される画像内の２次元空間内の画素位置との関係を説明する図である。 第１の実施の形態のカメラワーク制御処理を説明するフローチャートである。 第１の実施の形態のカメラワーク制御処理を説明するフローチャートである。 第１の実施の形態のカメラワーク制御処理を説明する図である。 第１の実施の形態のカメラワーク制御処理を説明する図である。 第１の実施の形態のカメラワーク制御処理を説明する図である。 スイッチャ装置の第２の実施の形態の構成例を示す図である。 第２の実施の形態のカメラワーク制御処理を説明するフローチャートである。 第２の実施の形態のカメラワーク制御処理を説明する図である。 第２の実施の形態のカメラワーク制御処理を説明する図である。 第２の実施の形態のカメラワーク制御処理を説明する図である。 スイッチャ装置の第３の実施の形態の構成例を示す図である。 第３の実施の形態のカメラワーク制御処理を説明するフローチャートである。 第３の実施の形態の補正処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
＜＜１．第１の実施の形態＞＞
＜ロボットカメラ制御システムの構成例＞
図１を参照して、本開示の技術を適用したロボットカメラ制御システムについて説明する。図１のロボットカメラ制御システムは、複数のロボットカメラを用いたテレビ番組の収録、音楽ライブ、およびスポーツ中継等の撮影で使用されるシステムであり、被写体となる出演者、アーティスト、またはスポーツ選手を、テレビ番組、音楽ライブ、およびスポーツ中継の流れに沿って、遠隔操作で動作するロボットカメラの撮像を制御するものである。
尚、以降においては、ロボットカメラ制御システムの用途として、テレビ番組の収録、音楽ライブ、およびスポーツ中継を撮像する場合の例について説明を進めるものとするが、その用途は、一例にすぎず、当然のことながら、テレビ番組の収録、音楽ライブ、およびスポーツ中継以外の撮像対象を撮像するものであってもよい。
より詳細には、ロボットカメラ制御システム１は、スイッチャ装置１１、受信部１２、外部情報供給部１３、ロボットカメラ１４−１乃至１４−ｎ、マニュアルカメラ１５、およびセンサ装置１６−１乃至１６−ｍより構成される。尚、以降において、ロボットカメラ１４−１乃至１４−ｎ、およびセンサ装置１６−１乃至１６−ｍについて、それぞれ特に区別する必要がない場合、単にロボットカメラ１４、およびセンサ装置１６と称し、それ以外の構成についても同様に称する。
センサ装置１６−１乃至１６−ｍは、図中の被写体側の点線枠内に構成されるように、被写体となる出演者、アーティスト、およびスポーツ選手などにより保持されるものであり、位置情報を取得して無線の通信機能により受信部１２に送信する。
尚、センサ装置１６は、被写体となるもので、特に、動くようなものであれば、人物に限らず様々なものに保持させることが可能であり、例えば、バスケットボールの試合の中継などでは、バスケットボールなどに保持されるようにして、バスケットボールの位置情報が取得できるようにしてもよい。また、この例では、位置情報の送信には、無線の通信機能により受信部１２に送信する例を示すが、センサ装置１６は保持される対象（被写体）の動きに制限があるような場合（被写体が、例えば、舞台セットなどで固定された範囲を移動する人形などである場合）、有線の通信機能で受信部１２に送信するようにしてもよい。
受信部１２は、センサ装置１６−１乃至１６−ｍより送信される、それぞれの位置情報を受信し、有線や無線の通信機能によりスイッチャ装置１１に送信する。
ロボットカメラ１４−１乃至１４−ｎは、図中の撮像側の点線枠内に構成されるように、スイッチャ装置１１によりカメラワークを制御されて、例えば、被写体となる出演者、アーティスト、またはスポーツ選手を撮像し、撮像した画像をスイッチャ装置１１に送信する。
マニュアルカメラ１５は、カメラスタッフにより操作されて、画像を撮像するカメラであり、カメラスタッフの操作に応じたカメラワークで被写体を撮像し、撮像した画像をスイッチャ装置１１に送信する。
外部情報供給部１３は、テレビ番組であれば、番組の進行情報、音楽ライブであれば、楽曲のスコア情報、スポーツ中継であれば、得点、選手の活動データなどの、いわゆる、スタッツ情報を含むスポーツデータからなる外部情報を、例えば、図示せぬ情報配信用のサーバなどからネットワークを介して取得し、スイッチャ装置１１に供給する。
スイッチャ装置１１は、入力系統となるロボットカメラ１４−１乃至１４−ｎにより撮像された画像を受信し、１系統以上の図示せぬ出力系統に切り替えて出力する。スイッチャ装置１１は、受信部１２より供給されるセンサ装置１６−１乃至１６−ｍのそれぞれの位置情報、外部情報供給部１３より供給される外部情報、および撮像の経過時間を示すタイミング情報に基づいて、ロボットカメラ１４−１乃至１４−ｎのカメラワークの動作を制御して、被写体を撮像させて、撮像された画像をロボットカメラ１４−１乃至１４−ｎから受信する。尚、タイミング情報は、絶対時刻情報であってもよいし、それ以外の時間の経過を示すパラメータであってもよい。
＜図１のスイッチャ装置の構成例＞
次に、図２のブロック図を参照して、スイッチャ装置１１の構成例について説明する。
スイッチャ装置１１は、制御部３１、位置情報取得部３２、外部情報取得部３３、記憶部３４、カメラワーク制御情報送信部３５、画像受信部３６、およびタイミング情報取得部３７より構成される。
制御部３１は、スイッチャ装置１１の動作の全体を制御し、カメラワーク制御情報生成部５１、および画像取得管理部５２を備えている。
カメラワーク制御情報生成部５１は、タイミング情報取得部３７よりタイミング情報を、位置情報取得部３２よりセンサ装置１６−１乃至１６−ｍの位置情報をそれぞれ取得する。また、カメラワーク制御情報生成部５１は、記憶部３４のカメラワーク情報テーブルセット格納部７１に格納されている撮像対象毎に格納されているカメラワーク情報テーブルセットのうち、撮像する撮像対象に対応するカメラワーク情報テーブルセットを読み出す。
ここで、カメラワーク情報テーブルセットは、被写体の位置と、撮像の経過時間を表すタイミング情報とに対応するカメラワーク情報を特定するためのテーブルである。カメラワーク情報とは、タイミング情報により指定されるタイミングのそれぞれにおいて、特定の被写体を特定のカメラワークで撮像するために、ロボットカメラ１４を制御するためのパンチルトズームの値を特定する情報である。
カメラワーク制御情報生成部５１は、撮像する撮像対象に応じて読み出されたカメラワーク情報テーブルセットのうち、タイミング情報に対応するカメラワーク情報のパン、チルト、ズームの情報から、ロボットカメラ１４−１乃至１４−ｎのそれぞれで認識可能な形式のカメラワーク制御情報（Control）を生成する。
そして、カメラワーク制御情報生成部５１は、生成したカメラワーク制御情報を、カメラワーク制御情報送信部３５より、ロボットカメラ１４−１乃至１４−ｎのそれぞれに送信させる。
画像取得管理部５２は、画像受信部３６を制御して、ロボットカメラ１４−１乃至１４−ｎにより撮像された画像（Video）を順次記憶部３４の画像データ格納部７２にロボットカメラ１４−１乃至１４−ｎを識別する識別子に対応付けて格納させる。
位置情報取得部３２は、受信部１２より送信されるセンサ装置１６−１乃至１６−ｍのそれぞれの位置情報を取得して、制御部３１に供給する。
外部情報取得部３３は、外部情報供給部１３より供給される外部情報を取得して、制御部３１に供給する。
記憶部３４は、カメラワーク情報テーブルセット格納部７１、および画像データ格納部７２を備える。カメラワーク情報テーブルセット格納部７１に格納されるカメラワーク情報テーブルセットについては、図６を参照して詳細を後述する。また、画像データ格納部７２は、ロボットカメラ１４−１乃至１４−ｎのそれぞれにより撮像された画像を、それぞれに対応する識別子に対応付けて格納する。
ここで、画像データ格納部７２に格納される、ロボットカメラ１４−１乃至１４−ｎのそれぞれにより撮像された画像は、音声を含む動画像であることを前提として説明を進めるものとするが、当然のことながら、静止画像であってもよいし、動画像のみであってもよいものである。
タイミング情報取得部３７は、外部より供給されるタイミング情報を取得して制御部３１に供給する。
＜ロボットカメラの構成例＞
次に、図３のブロック図を参照して、ロボットカメラ１４の構成例について説明する。
ロボットカメラ１４は、スイッチャ装置１１からのカメラワーク制御情報に基づいて、画角を調整し、調整された画角に基づいた構図で撮像された画像をスイッチャ装置１１に出力する。したがって、ロボットカメラ１４は、カメラスタッフを必要とせず、無人で画角を調整することができる。
より詳細には、ロボットカメラ１４は、カメラワーク制御情報受信部９１、制御部９２、撮像制御部９３、撮像部９４、画像取得部９５、および画像送信部９６を備えている。
カメラワーク制御情報受信部９１は、スイッチャ装置１１から送信されたカメラワーク制御情報を受信し、制御部９２に供給する。
制御部９２は、ロボットカメラ１４の動作の全体を制御し、さらに、カメラワーク制御情報受信部９１より供給されるカメラワーク制御情報に基づいて、撮像制御部９３を制御する制御信号を生成して、撮像制御部９３を制御する。
撮像制御部９３は、制御部９２からの制御信号に基づいて、撮像部９４のパン、チルト、ズームを制御する。
撮像部９４は、撮像素子と光学ブロックとから構成されている。撮像部９４は、パン、チルト、ズーム機構を備えており、撮像制御部９３により制御され、画像を撮像して画像取得部９５に出力する。ここでいう、ズーム機構は、光学ブロックを利用した光学ズームにより実現される機構と、電子ズームにより実現される機構とを組み合わせたものでもよいし、そのいずれかの機構のみで実現するものであってもよい。
画像取得部９５は、制御部９２により制御されて、撮像部９４により供給された画像を取得し、一時的に記憶し、後段の画像送信部９６における画像の送信に際して、アンダーフローやオーバーフローが発生しないように調整して、画像を画像送信部９６に出力する。
画像送信部９６は、制御部９２により制御され、画像取得部９５より供給される画像データをスイッチャ装置１１に送信する。
＜マニュアルカメラの構成例＞
次に、図４のブロック図を参照して、マニュアルカメラ１５の構成例について説明する。
マニュアルカメラ１５は、カメラスタッフの操作に応じて、画像を撮像し、撮像した画像をスイッチャ装置１１に送信する。
より詳細には、マニュアルカメラ１５は、操作部１１１、制御部１１２、撮像制御部１１３、撮像部１１４、画像取得部１１５、および画像送信部１１６を備えている。
操作部１１１は、撮像部１１４のパン、チルト、ズームを制御するためのカメラスタッフによる操作を受け付けて、操作内容に対応する操作信号を制御部１１２に出力する。
制御部１１２は、マニュアルカメラ１５の動作の全体を制御し、さらに、操作部１１１より供給される操作信号に基づいて、撮像制御部９３を制御する制御信号を生成して、供給する。尚、マニュアルカメラ１５におけるパン、チルト、ズームは、制御部１１２が撮像部１１４の姿勢を調整するアクチュエータ等を制御する他、運台に載った撮像部１１４をカメラスタッフが直接振ってパン、チルトさせたり、マニュアル操作でズームを実現させたりすることも可能である。
尚、撮像制御部１１３、撮像部１１４、画像取得部１１５、および画像送信部１１６は、それぞれ撮像制御部９３、撮像部９４、画像取得部９５、および画像送信部９６と同一の構成であるので、その説明は省略する。
＜センサ装置の構成例＞
次に、図５のブロック図を参照して、センサ装置１６の構成例について説明する。
センサ装置１６は、位置情報検出部１３１、記憶部１３２、位置算出部１３３、および通信部１３４を備えている。
位置情報検出部１３１は、例えば、GNSS(Global Navigation Satellite System/全球測位衛星システム)を用いた位置検出装置であり、図示せぬ衛星からの信号に基づいて、地球上の位置情報を検出し、位置算出部１３３に出力する。
記憶部１３２は、位置情報検出部１３１のそれぞれに固有の誤差を補正するためのキャリブレーション情報を記憶しており、位置算出部１３３に出力する。
位置算出部１３３は、位置情報検出部１３１より供給される位置情報を、キャリブレーション情報に基づいて補正して、適切な位置情報を算出して通信部１３４に供給する。なお、この位置算出部１３３を備えずに位置情報検出部１３１で検出された位置情報をそのまま通信部１３４に供給しても良い。
通信部１３４は、位置算出部１３３より供給される位置情報を取得して、受信部１２に送信する。
＜カメラワーク情報テーブルセット＞
次に、図６を参照して、カメラワーク情報テーブルセットについて説明する。
カメラワーク情報テーブルセットは、ロボットカメラ１４毎に設定されるものであり、例えば、図６で示されるように、被写体が存在する３次元空間上の座標位置毎に設定されるカメラワーク情報のテーブルセットである。図６においては、撮像する撮像対象毎にカメラワーク情報テーブルセットＴＳ１乃至ＴＳｘが構成されている。
なお、カメラワーク情報テーブルセットＴＳ１乃至ＴＳｎは、それぞれロボットカメラ１４毎に設定されていても良い。また、カメラワーク情報テーブルセットＴＳ１乃至ＴＳｎは、例えば、テレビ番組収録、音楽ライブ、およびスポーツ中継など、撮像すべき撮像対象に対応してそれぞれ設けられる。尚、テーブルセットＴＳ１乃至ＴＳｘのそれぞれを区別する必要がない場合、単に、テーブルセットＴＳと称する。
各テーブルセットＴＳは、ロボットカメラ１４毎であって、被写体の３次元空間内の位置毎に設定されるカメラワーク情報から構成される。尚、カメラワーク情報は、例えば、２次元で表現されるテニスコート内に存在する選手の位置を表すように、２次元空間内の位置毎に設定されるようにしてもよい。
カメラワーク情報とは、ロボットカメラ１４のそれぞれについて、タイミング情報により指定されるタイミング毎に、どの被写体をどのようなカメラワークで撮像するのかを指定する情報である。
より具体的には、カメラワーク情報は、被写体の位置、および、タイミング毎に、ズーム、パン、チルトの量や方向、それらの変化量などを指定する情報である。
例えば、図６のテーブルセットＴＳ１は、音楽ライブの撮像に使用されるテーブルセットＴＳの例である。テーブルセットＴＳ１は、図中の下方向に経過する時間に応じたタイミングＴ毎の、３次元空間内の座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２），（ｘ３，ｙ３，ｚ３），・・・（ｘｎ，ｙｎ，ｚｎ）のそれぞれの位置に被写体が存在したときのカメラワーク情報が登録されたテーブルである。
すなわち、図６のテーブルセットＴＳ１において、例えば、被写体１５１の位置情報が座標（ｘ１，ｙ１，ｚ１）である場合、タイミングＴ＝ｔ０乃至ｔ３においては、被写体１５１が撮像される画像Ｆ１１内の垂直方向に全身を収め、かつ、水平方向に対して左寄りの位置に位置するような構図（カメラワーク）で撮像することを指定するカメラワーク情報が登録されている。
また、被写体１５１の位置情報が座標（ｘ１，ｙ１，ｚ１）である場合、タイミングＴ＝ｔ３乃至ｔ５においては、被写体１５１が撮像される画像Ｆ１１内の垂直方向に上半身を収め、かつ、水平方向に中央の位置に位置するような構図（カメラワーク）で撮像することを指定するカメラワーク情報が登録されている。
さらに、被写体１５１の位置情報が座標（ｘ２，ｙ２，ｚ２）である場合、タイミングＴ＝ｔ０乃至ｔ２においては、被写体１５１が撮像される画像Ｆ２１内の垂直方向に全身を収め、かつ、水平方向に中央の位置に位置するような構図（カメラワーク）で撮像することを指定するカメラワーク情報が登録されている。
また、被写体１５１の位置情報が座標（ｘ２，ｙ２，ｚ２）に存在する場合、タイミングＴ＝ｔ２乃至ｔ５においては、被写体１５１が撮像される画像Ｆ２１内の垂直方向に上半身を収め、かつ、水平方向に中央の位置に位置するような構図（カメラワーク）を指定するカメラワーク情報が登録されている。
同様に、被写体１５１の位置情報が座標（ｘ３，ｙ３，ｚ３）に存在する場合、タイミングＴ＝ｔ０乃至ｔ１においては、被写体１５１が撮像される画像Ｆ３１内の垂直方向に全身を収め、かつ、水平方向に右寄りの位置に位置するような構図（カメラワーク）を指定するカメラワーク情報が登録されている。
また、被写体１５１の位置情報が座標（ｘ３，ｙ３，ｚ３）に存在する場合、タイミングＴ＝ｔ１乃至ｔ３においては、被写体１５１が撮像される画像Ｆ３１内の垂直方向に全身を収め、かつ、水平方向に左寄りの位置に位置するような構図（カメラワーク）を指定するカメラワーク情報が登録されている。
さらに、被写体１５１の位置情報が座標（ｘ３，ｙ３，ｚ３）に存在する場合、タイミングＴ＝ｔ３乃至ｔ５においては、被写体１５１が撮像される画像Ｆ３１内の垂直方向に全身を収め、かつ、水平方向に右寄りの位置に位置するような構図（カメラワーク）を指定するカメラワーク情報が登録されている。
尚、図６のテーブルに格納される各カメラワーク情報は、それぞれのロボットカメラ１４により撮像される被写体の構図として表記されているが、実際のカメラワーク情報は、ロボットカメラ１４で撮像する際に必要とされるカメラワークを実現するためのパンチルトズームを指定する情報となる。
被写体１５１の位置は、被写体１５１により所持されるセンサ装置１６より送信される位置情報により特定することができる。そこで、ロボットカメラ制御情報生成部５１は、例えば、被写体１５１の位置情報が座標（ｘ１，ｙ１，ｚ１）に存在する場合、タイミングＴ＝ｔ０乃至ｔ３については、被写体１５１の位置情報、およびカメラワーク情報に基づいて、被写体１５１が画像Ｆ１１内の垂直方向に全身が入り、かつ、水平方向に中心から左寄りの位置に入るような構図（カメラワーク）を実現可能なロボットカメラ１４を制御するためのパンチルトズーム情報からなるカメラワーク情報を示すカメラワーク情報テーブルセットＴＳからカメラワーク制御情報を生成し、カメラワーク制御情報送信部３５からロボットカメラ１４に送信させる。
また、例えば、音楽ライブを撮像する場合、カメラワーク情報は、所定のタイミングにおける音楽ライブが開催されるステージ１７１上の被写体１５１の位置に応じて、被写体の構図（画角）を特定することを指定する情報である。
すなわち、図７の左部で示されるように、所定のタイミングＴにおいて、音楽ライブにおけるステージ１７１内において、例えば、被写体１５１となるアーティストが、ステージ１７１における向かって左側の位置ＰＬに存在する場合、カメラワーク情報は、ロボットカメラ１４により撮像される画像Ｆ１１１内の垂直方向に全身が収まるように構図が制御され、かつ、画像Ｆ１１１の左寄りに位置するように構図が制御されるように指定する情報である。
また、図７の中央部で示されるように、所定のタイミングＴにおいて、例えば、被写体１５１となるアーティストが、ステージ１７１における正面中央の位置ＰＣに存在する場合、カメラワーク情報は、ロボットカメラ１４により撮像される画像Ｆ１１２で示されるように、画像Ｆ１１２内の垂直方向に上半身が収まるように構図が制御され、かつ、画像Ｆ１１２の水平方向の中央に位置するように構図が制御されるように指定する情報である。
同様に、図７の右部で示されるように、所定のタイミングＴにおいて、例えば、被写体１５１となるアーティストが、ステージ１７１における向かって右側の位置ＰＲに存在する場合、カメラワーク情報は、撮像する画像Ｆ１１３で示されるように、画像Ｆ１１３内の垂直方向に全身が収まるように構図が制御され、かつ、画像Ｆ１１３の水平方向の右寄りに位置するように構図が制御されるように指示する情報である。
このように指示することで、被写体の位置に応じた様々なカメラワークを実現することができる。
尚、図７においては、それぞれ上段においては、ステージ１７１上の被写体１５１のそれぞれの位置ＰＬ，ＰＣ，ＰＲと、対応するロボットカメラ１４により撮像される画像Ｆ１１１乃至Ｆ１１３の範囲が示されており、下段においては、画像Ｆ１１１乃至Ｆ１１３が示されている。
＜撮像される画像における２次元空間上の画素位置と、被写体の３次元空間上の位置との関係＞
次に、図８，図９を参照して、撮像される画像における２次元空間上の画素位置と、被写体の３次元空間上の位置との関係について説明する。
図８で示されるように、ロボットカメラ１４により撮像される被写体１５１の３次元空間内の点の座標位置を、座標（ｘ，ｙ，ｚ，１）の転置行列で表し、対応するロボットカメラ１４により撮像された画像内の点の座標位置を、座標（ｕ，ｖ，１）の転置行列で表すとき、透視投影モデルに基づいたカメラモデルは、以下の行列式からなる式（１）で表現される。
Figure 0006753460
 ・・・（１）
ここで、ｆｕ，ｆｖは、ロボットカメラ１４の焦点距離を、ｕ，ｖは、撮像された画像内における被写体１５１の中心位置（センサ装置１６が所持されている位置）を、ｓは、skewを、ｒｉｊ（ｉ，ｊ＝０，１，２），ｔｉ（ｉ＝０，１，２）は回転と並進を、それぞれ表すパラメータである。
すなわち、３次元空間内の座標（ｘ，ｙ，ｚ，１）に存在する点は、２次元の画像空間内における座標（ｕ，ｖ，１）に投影される。
ここで、パン、チルト、ズームは、パンＰ・チルトＴが、ｒｉｊにより表現され、ズーム率Ｚが、ｆｕ，ｆｖにより表現される。
そこで、パンＰ・チルトＴは、ｒｉｊ＝Ｒ（ｘ，ｙ，ｚ）と定義し、ズーム率Ｚ＝（ｆｕ＋ｆｖ）／２をＦ（ｘ，ｙ，ｚ）と定義し、予めパンＰ・チルトＴ＝Ｒ（ｘ，ｙ，ｚ）、およびズーム率Ｚ＝Ｆ（ｘ，ｙ，ｚ）を特定することで、ロボットカメラ１４のカメラワークを特定する。
例えば、図９の右部で示されるように、ロボットカメラ１４により撮像される画像Ｆ１１１の中心位置を座標中心として画素位置の座標（ｘ，ｙ）を定義するとき、図９の左上部で示される、ステージ１７１上の、位置ＰＬの被写体１５１が座標（ｘ，ｙ，ｚ，１）の点として表現される場合、上述した式（１）を用いることで、対応する被写体１５１が画像Ｆ１１１内の画素位置ＦＰＬ（ｕ，ｖ，１）上の点として投影される。
このような関係を用いることで、カメラワーク制御情報生成部５１は、カメラワーク情報に基づいた、３次元空間内における被写体１５１の座標位置（位置情報）と、ロボットカメラ１４により撮像される画像内における画素位置とを対応付けることで、ロボットカメラ１４のパン、チルト、ズームを制御するカメラワーク制御情報を求めることが可能となり、様々なカメラワークを設定することができる。
カメラワーク情報は、各ロボットカメラ１４において撮像する被写体と、その被写体に関する構図を特定する情報である。具体的には、被写体と、被写体に関する構図でその被写体を撮像するためのパンチルトズームの情報である。カメラワーク制御情報は、カメラワーク情報により特定されたパンチルトズームの情報をロボットカメラ１４で認識できる情報に変換した情報である。したがって、ロボットカメラ１４がカメラワーク情報を認識できる場合は、カメラワーク制御情報へ変換する必要はない。
また、カメラワーク情報は、被写体１５１が存在し得る３次元空間内の座標位置毎に設定されているが、ある範囲を有する領域ごとにカメラワーク情報を設定しても良い。
また、被写体の全ての位置に対してテーブルセットを用意しなくても良い。この場合は、被写体の位置に近い複数の位置情報に対応するカメラワーク情報から補間により、カメラワーク情報を生成しても良い。
＜カメラワーク制御処理＞
次に、図１０，図１１のフローチャートを参照して、図１のロボットカメラ制御システム１によるカメラワーク制御処理について説明する。
ステップＳ１１において、センサ装置１６の位置情報検出部１３１は、図示せぬGNSSの衛星からの信号を受信し、現在の位置情報を検出し、位置算出部１３３に供給する。
ステップＳ１２において、位置算出部１３３は、記憶部１３２に記憶されているキャリブレーション情報を読み出す。
ステップＳ１３において、位置算出部１３３は、位置情報検出部１３１より供給される位置情報を、キャリブレーション情報に基づいて補正して、補正した位置情報を通信部１３４に出力する。
ステップＳ１４において、通信部１３４は、補正された位置情報を受信部１２に送信する。
通信部１３４が送信する位置情報は、センサ装置１６を識別する識別子ｉｄ、センサ装置１６を保持する保持者のタイプ情報ｔｙｐｅ、および位置を示す座標情報（ｘ，ｙ，ｚ）を含む情報である。センサ装置１６を保持する保持者のタイプ情報ｔｙｐｅは、例えば、撮像する撮像対象がスポーツ中継の場合、例えば、「Player in Team A」、「Player in Team B」であり、音楽ライブやコンサートの場合、例えば、「Vocal」、「Guitar」、「Bass」、「Dancer」などである。したがって、位置情報は、位置情報Ｓｉｄ＝（ｉｄ，ｔｙｐｅ，ｘ，ｙ，ｚ）のように表現することができる。
ステップＳ１５において、位置算出部１３３は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻る。そして、ステップＳ１５において、終了が指示された場合、処理は、終了する。すなわち、処理の終了が指示されるまで、センサ装置１６は、繰り返し、位置情報を生成して、受信部１２に送信する。
以上の処理により、センサ装置１６−１乃至１６−ｍは、個別に位置情報Ｓｉｄを生成して、受信部１２に送信する処理を終了が指示されるまで繰り返す。そして、受信部１２は、センサ装置１６−１乃至１６−ｍより送信される位置情報を受信して、スイッチャ装置１１に出力する。
一方、スイッチャ装置１１は、ステップＳ３１において、制御部３１が、カメラワーク制御情報生成部５１を制御して、記憶部３４のカメラワーク情報テーブルセット格納部７１に格納されているカメラワーク情報テーブルセットＴＳのうち、撮像する撮像対象に対応するカメラワーク情報テーブルセットＴＳを読み出す。尚、カメラワーク情報テーブルセットＴＳは、カメラワーク制御処理を開始する前のタイミングで予め読み出しておくようにしてもよい。
ステップＳ３２において、制御部３１が、タイミング情報取得部３７を制御して、外部の図示せぬタイミング発生装置より生成されるタイミング情報Ｔを取得させる。
ステップＳ３３において、制御部３１は、カメラワーク制御情報生成部５１を制御して、未処理のロボットカメラ１４のいずれかを処理対象のロボットカメラ１４に設定させる。
ステップＳ３４において、カメラワーク制御情報生成部５１は、読み出したカメラワーク情報テーブルセットのうち、処理対象のロボットカメラ１４のカメラワーク情報テーブルからタイミング情報Ｔに対応するカメラワーク情報を読み出す。
ステップＳ３５において、カメラワーク制御情報生成部５１は、センサ装置１６からの位置情報を使用するか否かを判定する。すなわち、センサ装置１６からの位置情報については、予め使用するか否かを設定するか、または、位置情報が取得できるか否かにより切り替えることができる。ステップＳ３４において、位置情報を使用すると判定された場合、処理は、ステップＳ３６に進む。
ステップＳ３６において、カメラワーク制御情報生成部５１は、位置情報取得部３２を制御して、センサ装置１６からの位置情報を取得させる。
ステップＳ３７において、カメラワーク制御情報生成部５１は、カメラワーク情報、および位置情報に基づいて、カメラワーク制御情報を生成し、処理は、ステップＳ３９に進む。より詳細には、カメラワーク制御情報生成部５１は、以下の式（２）で演算される３次元空間内の座標情報ｃｔｒｌｎを求め、カメラワーク情報テーブルセットより、対応するロボットカメラ１４のパン、チルト、ズームを読み出して、カメラワーク制御情報を生成し、カメラワーク制御情報送信部３５に出力する。
Figure 0006753460
 ・・・（２）
ここで、ｗｉｄは、センサ装置１６を保持する保持者または保持物である被写体の重みであり、Ｓｉｄは、センサ装置１６の位置情報である。また、λは、センサ装置１６により特定される被写体の３次元空間内の位置に対する重みであり、（１−λ）はカメラワーク情報により特定される被写体の３次元空間内の位置に対する重みであり、Ｑｎは、カメラワーク情報により特定される、センサ装置１６が使用されない時、または、位置情報が検出できない状態における、被写体の３次元空間内で存在することを仮定する位置である。また、ｍは、センサ装置１６の数であり、ｉｄは、センサ装置１６を識別する識別子である。
式（２）における第一項は、センサ装置１６−１乃至１６−ｍのそれぞれの重みに応じた位置情報の重心位置と、その重みλが乗じられた値となり、第二項は、カメラワーク情報により位置情報を使用しない、または、位置情報が検出されない状態で、被写体が存在するものと仮定される３次元空間内の位置と、その重み（１−λ）が乗じられた値となる。
ここで、３次元空間内の位置Ｑｎは、センサ装置１６を使用しない、または、位置情報が検出できない状態における、被写体１５１が存在するものと仮定する３次元空間内における位置情報である。
したがって、式（２）において、ｃｔｒｌｎは、複数のセンサ装置１６により特定される３次元空間内のロボットカメラ１４で撮像する被写体の位置と、センサ装置１６を使用しない、または、位置情報が検出できない状態における、被写体１５１が存在するものと仮定する３次元空間内における位置との重みλを用いた重心位置となる。重みλが大きいほど適応的な制御が可能となる。
一方、ステップＳ３５において、位置情報を使用しないと判定された場合、処理は、ステップＳ３８に進む。
ステップＳ３８において、カメラワーク制御情報生成部５１は、カメラワーク情報に基づいて、カメラワーク制御情報を生成し、処理は、ステップＳ３９に進む。より詳細には、カメラワーク制御情報生成部５１は、以下の式（３）で示される演算により、カメラワーク制御情報を生成し、カメラワーク制御情報送信部３５に出力する。
Figure 0006753460
 ・・・（３）
すなわち、位置情報を使用しない場合、被写体が存在するものと仮定する３次元空間内の位置Ｑｎを基準にしたカメラワーク制御情報が生成される。
ステップＳ３９において、カメラワーク制御情報送信部３５は、処理対象となるロボットカメラ１４にカメラワーク制御情報を送信する。
ステップＳ４０において、カメラワーク制御情報生成部５１は、未処理のロボットカメラ１４が存在するか否かを判定し、未処理のロボットカメラ１４が存在する場合、処理は、ステップＳ３３に戻る。すなわち、未処理のロボットカメラ１４がなくなるまで、ステップＳ３３乃至Ｓ４０の処理を繰り返す。
そして、ステップＳ４０において、未処理のロボットカメラ１４がないとみなされた場合、処理は、ステップＳ４１に進む。
この処理に応じて、ロボットカメラ１４は、ステップＳ７１（図１１）において、カメラワーク制御情報受信部９１を制御して、カメラワーク制御情報を受信させ、取得する。
ステップＳ７２において、制御部９２は、取得したカメラワーク制御情報に基づいて、撮像制御部９３を制御して、撮像部９４のパンチルトズームにより構図を制御させる。
ステップＳ７３において、制御部９２は、取得したカメラワーク制御情報に基づいて、撮像制御部９３を制御して、撮像部９４により撮像させる。この処理により、撮像部９４は、カメラワーク制御情報に基づいたパンチルトズームにより構図を制御し、制御された構図で画像を撮像して画像取得部９５に出力する。
ステップＳ７４において、制御部９２は、画像取得部９５を制御して、撮像部９４により撮像された画像を取得させ、一時的に記憶し、オーバーフローやアンダーフローが発生しないように調整しながら画像を画像送信部９６に出力させる。
ステップＳ７５において、制御部９２は、画像送信部９６を制御して、画像取得部９５より供給された画像をスイッチャ装置１１に送信させる。
ステップＳ７６において、制御部９２は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ７１に戻り、終了が指示されるまで、ステップＳ７１乃至Ｓ７６の処理が繰り返される。
そして、ステップＳ７６において、終了が指示されると、処理は、終了する。
尚、マニュアルカメラ１５については、ステップＳ７１，Ｓ７２の処理に代えて、制御部１１２が、カメラワーク制御情報に対応する、カメラスタッフによる操作に応じた操作部１１１からの操作信号に応じて、撮像部１１４を制御する。以降の処理については、ステップＳ７３乃至Ｓ７６と同様の処理であるので、その説明は省略するものとする。
以上の処理により、ロボットカメラ１４およびマニュアルカメラ１５より撮像された画像がスイッチャ装置１１に送信される。
この処理に応じて、ステップＳ４１において、制御部３１は、画像受信部３６を制御して、全ロボットカメラ１４およびマニュアルカメラ１５より送信される画像を受信させる。
ステップＳ４２において、制御部３１は、画像受信部３６を制御して、記憶部３４に、受信した画像を画像データ格納部７２にロボットカメラ１４の識別子と対応付けて記録させる。
ステップＳ４３において、制御部３１は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ３１に戻る。すなわち、処理の終了が指示されるまで、ステップＳ３１乃至Ｓ４３の処理が繰り返される。
そして、ステップＳ４３において、終了が指示されると、処理が終了する。
以上の処理により、例えば、センサ装置１６の位置情報を使用しない場合、例えば、図１２で示されるようなカメラワーク情報からなるカメラワーク情報テーブルセットＴＳを使用する場合を考える。
図１２においては、タイミングＴ＝ｔ１乃至ｔ３において、ロボットカメラ１４により撮像される画像Ｆ１１２内において、ステージ１７１上の中心位置ＰＣに存在することを仮定する被写体１５１が画像内の垂直方向に上半身を収め、かつ、水平方向に中央の位置に位置するような構図で撮像されるようにパン、チルト、ズームが設定されるようなカメラワーク情報が登録されている。
また、タイミングＴ＝ｔ３乃至ｔ５において、ロボットカメラ１４により撮像される画像Ｆ１１２内において、ステージ１７１上の中心位置ＰＣに存在することを仮定する被写体１５１がフレーム内の垂直方向に全身を収め、かつ、水平方向に中央の位置に位置するような構図で撮像されるようにパン、チルト、ズームが設定されるようなカメラワーク情報が登録されている。
さらに、タイミングＴ＝ｔ５乃至ｔ７において、ロボットカメラ１４により撮像される画像Ｆ１１２内において、ステージ１７１上の中心位置ＰＣに存在することを仮定する被写体１５１がフレーム内の垂直方向に上半身を収め、かつ、水平方向に中央の位置に位置するような構図で撮像されるようにパン、チルト、ズームが設定されるようなカメラワーク情報が登録されている。
ここで、図１２のカメラワーク情報テーブルセットについては、被写体１５１がステージ１７１上の中心となる位置ＰＣに存在すること仮定としたカメラワーク情報であるので、被写体１５１が位置ＰＣに正確に存在すれば、適切な画像を生成することができる。
しかしながら、被写体１５１の位置が、位置ＰＣではないときには、適切な画像を撮像することができない可能性がある。
これに対して、位置情報を利用した場合、図１３で示されるように、被写体１５１の位置に応じた適応的な撮像が可能となる。
すなわち、図１３で示されるように、例えば、タイミングＴ＝ｔ１乃至ｔ３において、被写体１５１が現実に存在する位置ＰＣ’が、仮定された位置ＰＣと一致した場合、図１２を参照して説明した場合と同様に、想定された被写体の構図（画角）で被写体１５１を撮像することができる。
しかしながら、図１３のタイミングＴ＝ｔ３乃至ｔ５において、被写体１５１の存在することが仮定された位置ＰＣからずれた、位置ＰＣ’に現実の被写体１５１’が存在する場合、位置ＰＣ’の位置情報に基づいて、式（２）で示されるような演算であって、例えば、λ＝１のとき、撮像される画像は、被写体１５１が位置ＰＣに存在することを仮定した場合の画像Ｆ１１２’ではなく、被写体１５１’が現実に存在する位置ＰＣ’の位置情報に対応した画像Ｆ１３１で示される構図の画像となる。
さらに、図１３のタイミングＴ＝ｔ５乃至ｔ７において、被写体１５１が、仮定となる位置ＰＣからずれた、位置ＰＣ’’に被写体１５１’’として現実に存在する場合、位置ＰＣ’’の位置情報に基づいて、式（２）で示されるような演算であって、例えば、λ＝１のとき、撮像される画像は、被写体１５１が位置ＰＣに現実存在した場合の画像Ｆ１１２ではなく、被写体１５１’’が存在する位置ＰＣ’’の位置情報に対応した画像Ｆ１３２で示される構図の画像となる。
このように、位置情報を利用することで、カメラワーク情報テーブルセットに予め設定されたカメラワーク情報に対して、位置情報に応じた補正を加えることが可能となる。尚、図１３においては、重みλ＝１を例にしているが、重みλを０乃至１の範囲で変化させることにより、被写体１５１が存在することが仮定された位置情報のカメラワーク情報により撮像される構図の画像と、現実の位置情報により撮像されるカメラワーク情報により撮像される構図の画像との中間で位置を調整することが可能となる。したがって、重みλが大きいほど、適応的な処理が実現できる。
尚、図１３における点線で示される画像Ｆ１１２，Ｆ１１２’は、図１２における画像Ｆ１１２，Ｆ１１２’に対応するものである。
また、例えば、撮像対象が、バスケットボールの試合のスポーツ中継の場合、第１のロボットカメラ１４に対しては、選手が存在する全範囲を画像内に収めるような構図となるように制御するカメラワーク情報テーブルセットを用意し、第２のロボットカメラ１４に対しては、バスケットボールの周辺を収めるような構図となるように制御するカメラワーク情報テーブルセットを用意するようにしてもよい。
この場合、図１４で示されるように、タイミングＴ＝ｔ１乃至Ｔ３においては、第１のロボットカメラ１４により、バスケットボール選手からなる被写体１５１−１乃至１５１−５、および１５１−１１乃至１５１−１５の存在する位置情報に基づいて、全選手を画像内に収めるような構図の画像Ｆ１４１が撮像される。同時に、第２のロボットカメラ１４により、バスケットボールＢの位置情報に基づいて、バスケットボールＢからなる被写体１５１−Ｂの周辺をズームアップした画像Ｆ１５１が撮像される。
また、図１４で示されるように、タイミングＴ＝ｔ３乃至Ｔ５においては、第１のロボットカメラ１４により、バスケットボール選手からなる被写体１５１−１乃至１５１−５、および１５１−１１乃至１５１−１５の存在する位置情報に基づいて、全選手を画像内に収めるような構図の画像Ｆ１３２が撮像される。同時に、第２のロボットカメラ１４により、バスケットボールＢの位置情報に基づいて、バスケットボールＢからなる被写体１５１−Ｂの周辺をズームアップしたような構図の画像Ｆ１５２が撮像される。
同様に、図１４で示されるように、タイミングＴ＝ｔ５乃至Ｔ７においては、第１のロボットカメラ１４により、バスケットボール選手からなる被写体１５１−１乃至１５１−５、および１５１−１１乃至１５１−１５の存在する位置情報に基づいて、全選手を画像内に収めるような構図の画像Ｆ１４３が撮像される。同時に、第２のロボットカメラ１４により、バスケットボールＢの位置情報に基づいて、バスケットボールＢからなる被写体１５１−Ｂの周辺を収めるような構図の画像Ｆ１５３が撮像される。
ただし、図１４を参照して説明したスポーツ中継においては、選手の被写体１５１−１乃至１５１−５および１５１−１１乃至１５１−１５、並びにバスケットボールＢの被写体１５１−Ｂのそれぞれの位置は、特定の位置を仮定することができない。このため、位置情報を使用しない場合は、第１および第２のロボットカメラ１４に対するカメラワーク情報テーブルセットの各カメラワーク情報は、例えば、バスケットコート全体を撮像させるような構図の画像に設定する必要がある。
また、位置情報を使用しない状態でバスケットコート全体を撮像するようにする場合、位置情報を使用するときには、式（２）において、重みλを１に近い値にする必要がある。
以上の処理により、カメラワーク情報テーブルセット格納部７１に格納されたカメラワーク情報テーブルセットのうち、撮像しようとする撮像対象に対応するカメラワーク情報テーブルセットを選択して撮像することにより、撮像を開始してからの経過時間に応じて、予め設定されたカメラワーク情報を切り替えながら、すなわち、対応するパンチルトズームを変化させて構図を変えながら撮像することが可能となる。また、カメラワーク情報に加えて、被写体の位置情報を使用することで、撮像に係る時間の経過に応じて（撮像される撮像対象の時間の経過に伴った流れに沿って）、被写体の動きに対応した構図の画像を撮像することが可能となる。
結果として、複数のロボットカメラを制御するにあたって、様々な状況の変化に対応したカメラワークを実現することが可能となる。
＜＜２．第２の実施の形態＞＞
以上においては、撮像する撮像対象に応じて、固定されたカメラワーク情報テーブルセットを用いる例について説明してきたが、同一の撮像対象の撮像に用いる、複数の異なるカメラワーク情報テーブルセットを用意し、外部情報に応じて切り替えて使用するようにしてもよい。
図１５は、同一の撮像対象の撮像に用いる、複数の異なるカメラワーク情報テーブルセットを用意し、外部情報に応じて切り替えて使用するようにしたスイッチャ装置１１の構成例を示している。
図１５のスイッチャ装置１１において、図２のスイッチャ装置１１と異なる点は、制御部３１において、カメラワーク制御情報生成部５１に代えて、カメラワーク制御情報生成部１９１が設けられ、カメラワーク情報テーブルセット格納部７１に代えて、同一の撮像対象に対して複数のカメラワーク情報テーブルセットが格納されたカメラワーク情報テーブルセット格納部２０１が記憶部３４に記憶されている点である。
すなわち、カメラワーク制御情報生成部１９１は、カメラワーク制御情報生成部５１と基本的な機能は同一であるが、さらに、例えば、カメラワーク制御処理が開始されてから、所定時間が経過した後、外部情報取得部３３より供給される外部情報に基づいて、記憶部３４に記憶されているカメラワーク情報テーブルセット格納部２０１に格納されている同一の撮像対象に設定されているカメラワーク情報テーブルセットを切り替える。
尚、受信部１２、外部情報供給部１３、ロボットカメラ１４、マニュアルカメラ１５、およびセンサ装置１６の構成については、第１の実施の形態と同一であるので、その説明は省略する。
＜図１５のスイッチャ装置によるカメラワーク制御処理＞
次に、図１６のフローチャートを参照して、図１５のスイッチャ装置１１によるカメラワーク制御処理について説明する。
尚、図１６のフローチャートにおいて、ステップＳ９１乃至Ｓ１０２の処理は、図１０のステップＳ３１乃至Ｓ４３の処理と同様であるので、その説明は省略する。
すなわち、ステップＳ１０４において、カメラワーク制御情報生成部１９１は、所定時間が経過したか否かを判定し、所定時間が経過していない場合、処理は、ステップＳ９１の処理に戻る。また、ステップＳ１０４において、所定の時間が経過した場合、処理は、ステップＳ１０５に進む。
ステップＳ１０５において、カメラワーク制御情報生成部１９１は、外部情報取得部３３を制御して、外部情報供給部１３より供給される外部情報を取得させる。
ステップＳ１０６において、カメラワーク制御情報生成部１９１は、取得した外部情報に基づいて、記憶部３４に記憶されているカメラワーク情報テーブルセット格納部２０１に格納されている同一撮像対象に設定されているカメラワーク情報テーブルセットを切り替えて、処理は、ステップＳ９１に戻る。
すなわち、例えば、図１７で示されるように、最初のカメラワーク情報テーブルセットでは、タイミングＴがｔ１乃至ｔ４において、バスケットボール選手からなる被写体１５１−１乃至１５１−５、および１５１−１１乃至１５１−１５の存在する位置情報に基づいて、全選手が画像内に収まるような構図の画像Ｆ１７１が撮像される。
これに対して、タイミングＴがｔ４において所定時間が経過するとき、例えば、試合が開始してから時間が経過して、前半戦が終了し、後半戦が開始するようなタイミングで、外部情報に基づいて、前半戦で、被写体１５１−５に対応する選手が最高得点を挙げているときには、最高得点を挙げた注目選手である被写体１５１−５の周辺が収まるように構図を制御するカメラワーク情報テーブルセットに切り替えるようにする。このようにすることで、タイミングＴがｔ４乃至ｔ７において、画像Ｆ１８１で示される構図の画像が撮像されるように制御することができる。
尚、カメラワーク情報テーブルセットが切り替えられない場合、タイミングＴがｔ４乃至ｔ７において、バスケットボール選手からなる被写体１５１−１乃至１５１−５、および１５１−１１乃至１５１−１５の存在する位置情報に基づいて、全選手が画像内に収まるように点線で示される構図の画像Ｆ１７２が撮像され、注目選手がプレイしているにも関わらず、画像内のどこにいるのかを一目で見つけ出すことができない。
従って、このようにカメラワーク情報テーブルセットを切り替えるようにすることで、前半戦では、全選手が収まるように構図を制御し、後半戦では、前半戦で最高得点を挙げている注目度の高い選手を中心とするように構図を制御することが可能となり、視聴者の目を引く構図の画像を撮像することが可能となる。
以上の処理により、試合の経過に沿って、外部情報に応じた、カメラワーク情報テーブルセットを切り替えるようにすることで、試合の経過と、外部情報に応じてカメラワークに変化を付けることが可能となる。
以上においては、撮像対象がスポーツ中継であるものとしてバスケットボールの試合を図１のロボットカメラ制御システムで撮像する例について説明してきたが、それ以外のスポーツの試合であってもよく、バレーボール、およびサッカーボール、並びに野球などでもよい。また、競馬、競輪、および競艇などの中継でもよく、例えば、スタート直後、中盤、終盤のそれぞれでカメラワーク情報テーブルセットを切り替えるようにしてもよい。すなわち、スタートした直後は、全競技者からなる全被写体が収まるように構図が制御されるカメラワーク情報テーブルセットにし、中盤においては、先頭集団の競技者からなる被写体が収まるように構図が制御されるカメラワーク情報テーブルセットにし、終盤においては、先頭を争う数名の競技者からなる被写体が収まるように構図が制御されるカメラワーク情報テーブルセットにしてもよい。
また、以上においては、所定の時間が経過したとき、外部情報に基づいて、カメラワーク情報テーブルセットを切り替える例について説明してきたが、外部情報に変化が発生したときに、カメラワーク情報テーブルセットを切り替えるようにしてもよい。すなわち、バスケットの試合を中継する場合、外部情報により、スコアが逆転する度に、勝っているチームにおいて活躍している選手を中心とするように構図を制御するカメラワーク情報テーブルセットに切り替えて使用するようにしてもよい。
尚、以上においては、外部情報として、カメラワーク制御処理が開始されてから、所定時間が経過するまでの間の選手の活躍の記録（例えば、スタッツ情報）を用いる例について説明してきたが、これ以外の外部情報であってもよく、例えば、音楽ライブなどの場合、楽曲のスコアに基づいて、複数のアーティストからなるグループを被写体とするとき、現在歌っているアーティストからなる被写体のみを画像に収めるような構図に制御するようにしてもよい。
すなわち、撮像対象が音楽ライブである場合、最初のカメラワーク情報テーブルセットでは、図１８で示されるように、ステージ１７１上のアーティストからなる被写体１５１−３１乃至１５１−３４の存在する位置情報に基づいて、全体が収まるような構図の画像Ｆ２１１が撮像されるものとする。
そして、楽曲のスコアに基づいて、被写体１５１−３１乃至１５１−３３が歌っていて、被写体１５１−３４が歌っていないタイミングになったとき、カメラワーク情報テーブルセットが切り替えられるようにし、以降は、図１９で示されるように、ステージ１７１上の歌っているアーティストである被写体１５１−３１乃至１５１−３３の存在する位置情報に基づいて、被写体１５１−３１乃至１５１−３３の３人のアーティストが収まるような構図の画像Ｆ２１２が撮像されるように構図が制御されるようにしてもよい。
このようにすることで、楽曲の演奏の経過に合わせて、ステージ１７１上で現在歌っている、注目度の高いアーティストからなる被写体１５１−３１乃至１５１−３３の３人を中心とした構図の画像を撮像するように制御することが可能となる。
以上においては、音楽ライブにおいて楽曲のスコアに基づいてカメラワーク情報テーブルセットを切り替える例について説明してきたが、例えば、音楽ライブの開始直後、中盤、終盤のそれぞれでカメラワーク情報テーブルセットを切り替えるようにしてもよい。
以上においては、外部情報に基づいて、カメラワーク情報テーブルセットを切り替える例について説明してきたが、外部情報以外の情報に基づいてカメラワーク情報テーブルセットを切り替えるようにしてもよい。例えば、外部情報に代えて、マニュアルカメラ１５により撮像される画像を参照して、マニュアルカメラ１５により撮像される画像の構図と類似する構図の画像を撮像するロボットカメラ１４については、マニュアルカメラ１５により撮像される構図とは異なるカメラワーク情報からなるカメラワーク情報テーブルセットであって、かつ、その他のロボットカメラ１４のカメラワーク情報テーブルセット以外のカメラワーク情報テーブルセットを選択するようにしてもよい。このようにすることで、マニュアルカメラ１５とロボットカメラ１４とで類似した構図の画像が重複して撮像されるのを防止することができる。
＜＜３．第３の実施の形態＞＞
以上においては、外部情報に応じたカメラワーク情報テーブルセットを複数に用意しておき、時間の経過に伴った外部情報の変化に応じて、カメラワーク情報テーブルセットが切り替えられる例について説明してきたが、被写体の位置は、センサ装置１６により検出される位置情報に基づくものであるので、実際の被写体を写すために想定された構図ではない可能性がある。そこで、このような想定外の構図で撮像されてしまう場合には、想定された構図に近付けるように補正するようにしてもよい。
すなわち、例えば、音楽ライブの場合、被写体となるアーティストにより保持されるセンサ装置１６の位置情報と、カメラワーク情報とに基づいて、パンチルトズームを制御するカメラワーク制御情報が生成されることになるが、被写体の位置情報だけでは、被写体であるアーティストの身長などは考慮されない。このため、撮像された画像の垂直方向に、全身が収まるような構図の画像を撮像するようカメラワーク制御信号が生成されても、例えば、背の高いアーティストの場合、実際に撮像される画像では、アーティストである被写体の頭や足先が画像内に収まらない状態になってしまい、想定された構図による撮像が実現できないことが考えられる。
そこで、実際に撮像された画像より被写体を認識して、想定された構図での撮像が実現できているか否かを検証し、想定外の構図になっている場合には、カメラワーク制御情報を補正して、適切に想定された構図での撮像を実現できるようにしてもよい。
図２０は、撮像された画像より被写体を検出して、想定された構図での撮像が実現できているか否かを検証し、想定外の構図の画像になっている場合には、カメラワーク制御情報を補正して、適切に想定された構図での撮像を実現できるようにしたスイッチャ装置１１の構成例を示している。
図２０のスイッチャ装置１１において、図２のスイッチャ装置１１と異なる点は、制御部３１において、カメラワーク制御情報生成部５１に代えて、カメラワーク制御情報生成部２１１が設けられている点である。
カメラワーク制御情報生成部２１１は、基本的な機能は、カメラワーク制御情報生成部５１と同様であるが、記憶部３４の画像データ格納部７２に格納された直前に撮像された画像を読み出して、各ロボットカメラ１４において撮像されている画像が想定された構図の画像であるか否かを判定し、想定された構図で撮像されていない場合、以降の処理において、想定された構図で撮像できるように、カメラワーク制御情報を補正する。
より詳細には、カメラワーク制御情報生成部２１１は、指定された撮像対象のカメラワーク情報テーブルセットのうち、直前の撮像に使用したカメラワーク情報を読み出して、想定された構図の画像として、例えば、撮像する画像の垂直方向に被写体の全身または上半身が収まるような構図になるように制御されることが指定されているときには、撮像する画像の縦方向に被写体の全身または上半身が撮像されているか否かに基づいて、想定された構図の画像であるか否かを判定する。
また、想定された構図の画像として、例えば、カメラワーク情報により、撮像する画像内の右寄りの位置、中央位置、または左寄りの位置に被写体が撮像されることが指定されているときには、カメラワーク制御情報生成部２１１は、撮像する画像内右寄りの位置、中央位置、または左寄りの位置に被写体が撮像されているか否かに基づいて、想定された構図の画像であるか否かを判定する。
さらに、想定された構図の画像として、例えば、撮像する画像の全体に複数の被写体の全て、または特定の被写体が撮像されることが指定されているときには、カメラワーク制御情報生成部２１１は、撮像する画像内に複数の被写体の全て、または特定の被写体が撮像されているか否かに基づいて、想定された構図の画像であるか否かを判定する。
＜図２０のスイッチャ装置によるカメラワーク制御処理＞
次に、図２１のフローチャートを参照して、図２０のスイッチャ装置１１によるカメラワーク制御処理について説明する。
尚、図２１のフローチャートにおいて、ステップＳ１３１乃至Ｓ１４２，Ｓ１４４の処理は、図１０のステップＳ３１乃至Ｓ４３の処理と同様であるので、その説明は省略する。ただし、ステップＳ１３７，Ｓ１３８の処理については、後述する補正処理により求められた補正値が存在する場合は、考慮したカメラワーク制御情報が生成される。
すなわち、図２１の処理において、図１０の処理と異なるのは、ステップＳ１４３の処理が設けられた点である。
ステップＳ１４３において、カメラワーク制御情報生成部２１１は、補正処理を実行して、撮像された画像より被写体を検出して、想定された構図からの撮像が実現できているか否かを検証し、想定外の画像になっている場合には、カメラワーク制御情報を補正するための補正値を生成し、以降の処理において補正値を用いてパン、チルト、ズームを求める。
＜補正処理＞
ここで、図２２のフローチャートを参照して、補正処理について説明する。
ステップＳ１６１において、カメラワーク制御情報生成部２１１は、ロボットカメラ１４のうち、未処理のロボットカメラ１４のいずれかを処理対象ロボットカメラ１４に設定する。
ステップＳ１６２において、カメラワーク制御情報生成部２１１は、記憶部３４における画像データ格納部７２に格納された画像のうち、処理対象ロボットカメラ１４により撮像された直近の画像を読み出し、被写体を認識する。
ステップＳ１６３において、カメラワーク制御情報生成部２１１は、カメラワーク情報テーブルセット格納部７１より、読み出した画像に対応する処理対象のロボットカメラ１４のカメラワーク情報を読み出して、読み出した画像内における被写体の位置に基づいて、想定された構図の画像であるか否かを判定する。
ステップＳ１６３において、読み出した直近の画像が、想定された構図の画像ではないと判定された場合、処理は、ステップＳ１６４に進む。
ステップＳ１６４において、カメラワーク制御情報生成部２１１は、想定された構図の画像となるように補正する補正値を算出し、ロボットカメラ１４を識別する識別子に対応付けて記憶する。
より詳細には、カメラワーク制御情報生成部２１１は、例えば、撮像する画像の垂直方向に被写体の全身が収まるような構図が指定されているが、撮像する画像の垂直方向に被写体の全身が収まっていない構図に制御されているような場合、被写体の位置情報と、自らの位置との関係とから被写体の全体が画像内に収まるようにズーム率を所定の倍率だけ小さく変化させる補正値を求める。尚、以降の処理において、カメラワーク制御情報を生成する処理において、求められた補正値を含めたズーム率のカメラワーク制御情報が生成される。
ステップＳ１６５において、カメラワーク制御情報生成部２１１は、記憶部３４における画像データ格納部７２に格納された直近の画像のうち、未処理のロボットカメラ１４により撮像された直近の画像があるか否かを判定し、未処理のロボットカメラ１４により撮像された画像が存在する場合、処理は、ステップＳ１６１に戻る。すなわち、記憶部３４における画像データ格納部７２に格納された全ロボットカメラ１４により撮像された画像に対して処理がなされるまで、ステップＳ１６１乃至Ｓ１６５の処理が繰り返される。
そして、ステップＳ１６５において、記憶部３４における画像データ格納部７２に格納された全ロボットカメラ１４により撮像された直近の画像に対して処理がなされたとみなされた場合、処理は、終了する。
以上の処理により補正値が求められると、カメラワーク制御情報生成部２１１は、ステップＳ１３７，Ｓ１３８の処理において、カメラワーク制御情報を生成する際、処理対象となるロボットカメラ１４を識別する識別子に対応付けて記憶された補正値を用いて、カメラワーク制御情報を生成する。すなわち、撮像する画像の垂直方向に被写体の全身が収まっていない構図で撮像されているような場合、被写体の位置情報と、自らの位置との関係とから被写体の全体が画像内に収まるようにズーム率を所定の倍率だけ小さく変化させるための値が構図を補正するための補正値として求められて、構図を補正するための補正値を用いてカメラワーク制御情報が生成されることになる。
ただし、ここで求められた補正値を用いたカメラワーク制御情報を使用しても、再び、撮像する画像の垂直方向に被写体の全身が収まらない構図で撮像される場合も想定される。しかしながら、撮像する画像の垂直方向に被写体の全身が収まった状態の構図で撮像されるまで、同様の処理を繰り返すことで、撮像する画像の垂直方向に被写体の全身が収まった構図で画像が撮像されるようになる。
以上の如く、本開示のロボットカメラ制御システムにおいては、複数のロボットカメラを用いた撮像対象の撮像に係る時間の経過や、外部情報の変化に応じて、適切なカメラワークを実現することが可能となる。
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図２３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記録媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図２３におけるパーソナルコンピュータが、スイッチャ装置１１に対応し、CPU１００１が、制御部３１に対応するものである。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ タイミング情報と被写体の位置を示す位置情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御する制御部を含む
情報処理装置。
＜２＞ 前記テーブルセットは、複数の撮像装置に対応してそれぞれ設けられており、
前記制御部は、前記複数の撮像装置毎のテーブルセットを用いて、各撮像装置のカメラワークを制御する
＜１＞に記載の情報処理装置。
＜３＞ 前記テーブルセットは、撮像対象ごとに設けられており、
前記制御部は、前記撮像対象に対応したテーブルセットを選択的に用いる
＜１＞または＜２＞に記載の情報処理装置。
＜４＞ 前記制御部は、前記撮像対象の状況を示す状況情報に基づいて、同一の撮像対象に対して設定された複数のテーブルセットのいずれかを選択的に用いる
＜３＞に記載の情報処理装置。
＜５＞ 前記状況情報は、前記撮像対象がスポーツ中継である場合、スタッツ情報であり、前記撮像対象が音楽ライブである場合、楽曲スコアである
＜４＞に記載の情報処理装置。
＜６＞ 前記制御部は、前記テーブルセットに、前記現在位置情報に対応する位置情報が存在しない場合、前記現在位置情報の近傍の位置に対応する複数の位置情報を用いて、前記現在位置情報に対応する位置情報を補間する
＜１＞乃至＜５＞のいずれかに記載の情報処理装置。
＜７＞ 前記位置情報は、３次元空間での位置を示す
＜１＞乃至＜６＞のいずれかに記載の情報処理装置。
＜８＞ 前記カメラワーク制御情報は、前記撮像装置のパン、チルト、およびズームのいずれかを制御する情報である
＜１＞乃至＜７＞のいずれかに記載の情報処理装置。
＜９＞ 前記制御部は、
前記撮像装置で撮像された画像から前記被写体を認識し、前記カメラワーク情報で示される被写体の位置と、認識した被写体の位置とが一致しない場合、前記撮像装置で撮像された画像に基づいて、前記特定したカメラワークを補正する
＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１０＞ タイミング情報と被写体の位置を示す位置情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御する
ステップを含む情報処理方法。
＜１１＞ タイミング情報と被写体の位置を示す位置情報とカメラワークを示す前記カメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御する制御部を含む
処理をコンピュータに実行させるプログラム。
１ ロボットカメラ制御システム， １１ スイッチャ装置， １２ 受信部， １３ 外部情報供給部， １４，１４−１乃至１４−ｎ ロボットカメラ， １５ マニュアルカメラ， １６，１６−１乃至１６−ｍ センサ装置， ３１ 制御部， ３２ 位置情報取得部， ３３ 外部情報取得部， ３４ 記憶部， ３５ カメラワーク制御情報送信部， ３６ 画像受信部， ３７ タイミング情報取得部， ５１ カメラワーク制御情報生成部， ５２ 画像取得管理部， ７１ カメラワーク情報テーブルセット格納部， ７２ 画像データ格納部， ９１ カメラワーク制御情報受信部， ９２ 制御部， ９３ 撮像制御部， ９４ 撮像部， ９５ 画像取得部， ９６ 画像送信部， １１１ 操作部， １１２ 制御部， １１３ 撮像制御部， １１４ 撮像部， １１５ 画像取得部， １１６ 画像送信部， １３１ 位置情報検出部， １３２ 記憶部， １３３ 位置算出部， １３４ 通信部， １９１，２１１ カメラワーク制御情報生成部

Claims (9)

  1. タイミング情報と被写体の位置を示す位置情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御する制御部を含み、
    前記テーブルセットは、撮像対象ごとに設けられており、
    前記制御部は、前記撮像対象の状況を示す状況情報に基づいて、同一の撮像対象に対して設定された複数のテーブルセットのいずれかを選択的に用いる
    情報処理装置。
  2. 前記テーブルセットは、複数の撮像装置に対応してそれぞれ設けられており、
    前記制御部は、前記複数の撮像装置毎のテーブルセットを用いて、各撮像装置のカメラワークを制御する
    請求項１に記載の情報処理装置。
  3. 前記状況情報は、前記撮像対象がスポーツ中継である場合、スタッツ情報であり、前記撮像対象が音楽ライブである場合、楽曲スコアである
    請求項１に記載の情報処理装置。
  4. 前記制御部は、前記テーブルセットに、前記現在位置情報に対応する位置情報が存在しない場合、前記現在位置情報の近傍の位置に対応する複数の位置情報を用いて、前記現在位置情報に対応する位置情報を補間する
    請求項１乃至３のいずれかに記載の情報処理装置。
  5. 前記位置情報は、３次元空間での位置を示す
    請求項１乃至４のいずれかに記載の情報処理装置。
  6. 前記カメラワーク情報は、前記撮像装置のパン、チルト、およびズームのいずれかを制御する情報を含む
    請求項１乃至５のいずれかに記載の情報処理装置。
  7. 前記制御部は、
    前記撮像装置で撮像された画像から前記被写体を認識し、前記カメラワーク情報で示される被写体の位置と、認識した被写体の位置とが一致しない場合、前記撮像装置で撮像された画像に基づいて、前記特定したカメラワークを補正する
    請求項１乃至６のいずれかに記載の情報処理装置。
  8. タイミング情報と被写体の位置を示す位置情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御するステップを含み、
    前記テーブルセットは、撮像対象ごとに設けられており、
    前記撮像装置のカメラワークを制御するステップにおいては、前記撮像対象の状況を示す状況情報に基づいて、同一の撮像対象に対して設定された複数のテーブルセットのいずれかが選択的に用いられる
    情報処理方法。
  9. タイミング情報と被写体の位置を示す位置情報とカメラワークを示すカメラワーク情報とが対応付けられたテーブルセットに基づいて、現在の撮像の時間を示す現在タイミング情報と、現在の被写体の位置を示す現在位置情報と対応するカメラワークを特定し、特定したカメラワークに応じて、前記被写体を撮像する撮像装置のカメラワークを制御する制御部としてコンピュータを機能させ、
    前記テーブルセットは、撮像対象ごとに設けられており、
    前記制御部は、前記撮像対象の状況を示す状況情報に基づいて、同一の撮像対象に対して設定された複数のテーブルセットのいずれかを選択的に用いる
    プログラム。
JP2018504544A 2016-03-08 2017-03-08 情報処理装置、および情報処理方法、並びにプログラム Active JP6753460B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662305313P 2016-03-08 2016-03-08
US62/305,313 2016-03-08
PCT/JP2017/009157 WO2017154953A1 (ja) 2016-03-08 2017-03-08 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017154953A1 JPWO2017154953A1 (ja) 2019-01-17
JP6753460B2 true JP6753460B2 (ja) 2020-09-09

Family

ID=59790538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018504544A Active JP6753460B2 (ja) 2016-03-08 2017-03-08 情報処理装置、および情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US10652449B2 (ja)
JP (1) JP6753460B2 (ja)
CN (1) CN108781255B (ja)
WO (1) WO2017154953A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3987925A4 (en) * 2019-06-21 2022-08-03 Panasonic Intellectual Property Management Co., Ltd. ANIMAL INFORMATION MANAGEMENT SYSTEM AND ANIMAL INFORMATION MANAGEMENT METHOD
JP7442078B2 (ja) * 2019-07-09 2024-03-04 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
CN112468680A (zh) * 2019-09-09 2021-03-09 上海御正文化传播有限公司 一种广告拍摄现场合成处理系统的处理方法
CN116320782B (zh) * 2019-12-18 2024-03-26 荣耀终端有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
CN111818303A (zh) * 2020-07-06 2020-10-23 深圳博为教育科技有限公司 一种智能导播方法、装置、系统及控制主机
US11974053B2 (en) * 2021-03-29 2024-04-30 Alcon, Inc. Stereoscopic imaging platform with continuous autofocusing mode

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506410B2 (ja) 1997-04-23 2004-03-15 日本電信電話株式会社 劇的映像制作支援方法および装置
JP2002185837A (ja) * 2000-12-18 2002-06-28 Oyo Keisoku Kenkyusho:Kk ロボットカメラ装置
JP2002314851A (ja) 2001-04-10 2002-10-25 Nikon Corp 撮影装置
JP2003018448A (ja) 2001-06-29 2003-01-17 Nippon Telegr & Teleph Corp <Ntt> 収録対象追尾収録方法および装置
JP3957168B2 (ja) * 2002-05-23 2007-08-15 日本放送協会 モーション・コントロール・カメラ
JP2005277845A (ja) 2004-03-25 2005-10-06 Sony Corp 撮影制御装置
JP2005295431A (ja) * 2004-04-05 2005-10-20 Nippon Hoso Kyokai <Nhk> 番組生成システム、コマンド生成装置、及び番組生成プログラム
JP2006270274A (ja) 2005-03-22 2006-10-05 Olympus Corp 被写体認識装置、および被写体認識方法
WO2006129496A1 (ja) * 2005-06-01 2006-12-07 Pioneer Corporation 映像配信装置、映像配信方法、映像配信プログラム、および記録媒体
JP2007067639A (ja) 2005-08-30 2007-03-15 Sanyo Electric Co Ltd ＶｏＩＰ電話システム、ＶｏＩＰ電話装置及びサーバ
JP2007067963A (ja) 2005-08-31 2007-03-15 Canon Inc 撮像装置の制御システム
JP4745769B2 (ja) 2005-09-13 2011-08-10 キヤノン株式会社 カメラ雲台装置
JP2007235399A (ja) 2006-02-28 2007-09-13 Matsushita Electric Ind Co Ltd 自動撮影装置
EP2123038A2 (en) * 2006-12-04 2009-11-25 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
CN100501327C (zh) * 2007-02-07 2009-06-17 北京航空航天大学 可变焦摄像机空间三维位姿的单视测量方法
US8339456B2 (en) * 2008-05-15 2012-12-25 Sri International Apparatus for intelligent and autonomous video content generation and streaming
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
KR101458139B1 (ko) * 2008-09-18 2014-11-05 삼성전자 주식회사 연출규칙을 이용한 카메라웍 제어장치 및 그 제어방법
CN101540822A (zh) * 2009-04-28 2009-09-23 南京航空航天大学 高分辨率大视场航空成像装置及其方法
US10375287B2 (en) * 2009-10-21 2019-08-06 Disney Enterprises, Inc. Object trail-based analysis and control of video
JP2013247508A (ja) 2012-05-25 2013-12-09 Canon Inc 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ
JP2014039166A (ja) 2012-08-16 2014-02-27 Canon Inc 自動追尾カメラの制御装置及びそれを備える自動追尾カメラ
WO2015001296A1 (en) * 2013-07-04 2015-01-08 Sony Europe Limited A method, apparatus and system for image processing
WO2015129710A1 (ja) * 2014-02-28 2015-09-03 株式会社ジオクリエイツ カメラワーク生成方法、カメラワーク生成装置及びカメラワーク生成プログラム

Also Published As

Publication number Publication date
WO2017154953A1 (ja) 2017-09-14
CN108781255A (zh) 2018-11-09
US10652449B2 (en) 2020-05-12
CN108781255B (zh) 2020-11-24
JPWO2017154953A1 (ja) 2019-01-17
US20190089886A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
JP6753460B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US9299184B2 (en) Simulating performance of virtual camera
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
US9236032B2 (en) Apparatus and method for providing content experience service
US20180048876A1 (en) Video Capture System Control Using Virtual Cameras for Augmented Reality
JP7132730B2 (ja) 情報処理装置および情報処理方法
CN105765959B (zh) 用于制作视频作品的方法和系统
CN107005654A (zh) 用于光学跟踪运动场地中的运动员的系统和方法
JP6953188B2 (ja) 画像処理システム、画像処理システムの制御方法、及び、プログラム
KR20130090621A (ko) 사전 시각화 영상 생성 장치 및 방법
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102239134B1 (ko) 드론에 부착된 vr 카메라를 이용하여 촬영한 운동 경기 영상을 제공하는 방송 시스템
JP2010183384A (ja) 撮影カメラ学習装置及びそのプログラム
US20230353717A1 (en) Image processing system, image processing method, and storage medium
WO2018004354A1 (en) Camera system for filming sports venues
JP2005223487A (ja) デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラム
JP5957838B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009303176A (ja) 映像配信装置及び映像配信方法
JP7476160B2 (ja) 情報処理装置、情報処理システム、及びプログラム
Frankton Motion capture for live performance: case study of CGI Visualization
JP4217008B2 (ja) カメラワークシミュレータ及びシミュレーション方法
KR101164895B1 (ko) 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체
WO2023127430A1 (ja) 情報処理装置、画像処理方法、プログラム
WO2023100703A1 (ja) 画像制作システム、画像制作方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200803

R151 Written notification of patent or utility model registration

Ref document number: 6753460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151