JP4664897B2 - 撮影ショット候補設定装置及び撮影ショット候補設定プログラム - Google Patents

Description

本発明は、ロボットカメラを制御する技術に係り、特に、ロボットカメラによって撮影する撮影ショットの候補を設定する撮影ショット候補設定装置及び撮影ショット候補設定プログラムに関する。

従来、放送局における番組制作や、テレビ会議、大学の講義等において、ロボットカメラ等により自動撮影する試みがなされている。これらの撮影において、各ロボットカメラには、撮影可能な数種類の撮影ショットの候補が予め割り当てられ、その候補の中からオペレータが手動で、あるいは、画像処理や音声処理によって、フリップなどの提示物の提示や出演者の切り替わり等を検出することで、撮影ショットの候補の中から、実際に撮影する撮影ショットを自動で選択していた。そして、この撮影ショットの候補は、各ロボットカメラや被写体の配置を考慮して、撮影前にオペレータによって手動で設定され、割り当てられていた（例えば、非特許文献１参照）。
奥田 誠、外４名、「ロボットカメラ強調撮影システムのための撮影規則自動生成」、第５回情報科学技術フォーラム、Ｋ−０６１、２００６

しかしながら、ロボットカメラ等の自動撮影において撮影ショットの候補を設定するためには、撮影時の様々な状況を想定し、各ロボットカメラについて、出演者や撮影中に提示される提示物との配置を考慮して設定する必要があり、高度な撮影知識と多大な労力を要する。

本発明は、前記従来技術の問題を解決するために成されたもので、ロボットカメラによる撮影において、ロボットカメラと被写体の配置に応じた撮影ショットの候補を設定することができる撮影ショット候補設定装置及び撮影ショット候補設定プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の撮影ショット候補設定装置は、複数のロボットカメラによって撮影される複数の被写体の撮影ショットの候補を設定する撮影ショット候補設定装置であって、配置情報取得手段と、被写体撮影ショット設定手段とを備える構成とした。

かかる構成によれば、撮影ショット候補設定装置は、配置情報取得手段によって、それぞれの被写体の位置及び向きと、それぞれのロボットカメラの位置及び向きとを示す情報である配置情報を取得し、被写体撮影ショット設定手段によって、配置情報によって示される被写体の向きと、ロボットカメラの撮影方向とのなす角度を算出し、この角度に基づいて、それぞれの被写体を撮影するロボットカメラを特定して、当該ロボットカメラに当該被写体の撮影ショットを候補として設定する。これによって、撮影ショット候補設定装置は、被写体の向きに対して適切な撮影方向のロボットカメラを当該被写体を撮影するロボットカメラに設定することで、ロボットカメラと被写体との配置に応じた撮影ショットの候補をそれぞれのロボットカメラに対して設定することができる。

また、請求項２に記載の撮影ショット候補設定装置は、請求項１に記載の撮影ショット候補設定装置において、前記配置情報取得手段が、前記被写体の数量を示す情報である数量情報を取得し、前記被写体撮影ショット設定手段が、前記配置情報取得手段によって取得された数量情報によって示される前記被写体の数量に予め対応付けられた各ロボットカメラの撮影ショットを更に前記候補として設定することとした。

これによって、撮影ショット候補設定装置は、ロボットカメラと被写体との配置に応じた撮影ショットに加えて、被写体の数に応じた撮影ショットも候補として設定することができる。

更に、請求項３に記載の撮影ショット候補設定装置は、請求項１又は請求項２に記載の撮影ショット候補設定装置において、前記配置情報取得手段が、オペレータの指定に従って前記被写体と前記ロボットカメラとのオブジェクトを配置した画像を作画して表示装置に出力し、前記オペレータによって配置された前記オブジェクトの相対的な位置と向きとに基づいて前記配置情報を取得する構成とした。

これによって、撮影ショット候補設定装置は、作画した画像上において指定された被写体及びロボットカメラの位置と向きとの情報に基づいて、それぞれのロボットカメラに対して撮影ショットの候補を設定することができる。

また、請求項４に記載の撮影ショット候補設定プログラムは、複数のロボットカメラによって撮影される複数の被写体の撮影ショットの候補を設定するためにコンピュータを、配置情報取得手段、被写体撮影ショット設定手段として機能させることとした。

かかる構成によれば、撮影ショット候補設定プログラムは、配置情報取得手段によって、それぞれの被写体の位置及び向きと、それぞれのロボットカメラの位置及び向きとを示す情報である配置情報を取得し、被写体撮影ショット設定手段によって、配置情報によって示される被写体の向きと、ロボットカメラの撮影方向とのなす角度を算出し、この角度に基づいて、それぞれの被写体を撮影するロボットカメラを特定して、当該ロボットカメラに当該被写体の撮影ショットを候補として設定する。これによって、撮影ショット候補設定プログラムは、ロボットカメラと被写体との配置に応じた撮影ショットの候補をそれぞれのロボットカメラに対して設定することができる。

本発明に係る撮影ショット候補設定装置及び撮影ショット候補設定プログラムでは、以下のような優れた効果を奏する。

請求項１及び請求項４に記載の発明によれば、オペレータによる撮影ショットの候補を設定する労力を軽減することができるとともに、高度な撮影知識を有していないオペレータでも、容易に撮影ショットの候補を設定し、ロボットカメラの的確な制御を行うことができる。

請求項２に記載の発明によれば、その配置によらず撮影される被写体の撮影ショットを候補として設定することができる。

請求項３に記載の発明によれば、オペレータは作画された画像上において被写体やロボットカメラの配置を指定するだけで、容易に撮影ショットの候補を設定することができる。

以下、本発明の実施の形態について図面を参照して説明する。ここでは本発明を、スタジオ内においてロボットカメラによって被写体を撮影して放送番組を制作する場合に対して適用し、ロボットカメラ・スイッチャ制御装置として構成している。

［自動撮影システムの構成］
まず、図１を参照して、本発明におけるロボットカメラ・スイッチャ制御装置１を備える自動撮影システムＳの構成について説明する。図１は、本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。

自動撮影システムＳは、被写体（テーブルＴ、出演者Ｌ１、Ｌ２、Ｒ１、Ｒ２、フリップＦ、小物Ｏ、情報画スクリーンＳＣ）を撮影し、番組映像を生成するものである。自動撮影システムＳは、ロボットカメラ・スイッチャ制御装置１と、ロボットカメラＣ１〜Ｃ４と、センサカメラＣ０と、画像処理装置５と、スイッチングハブＳＨと、スイッチャＳＷとを備える。

ロボットカメラ・スイッチャ制御装置（撮影ショット候補設定装置）１は、外部から入力される配置情報に基づいて被写体を撮影するロボットカメラＣ１〜Ｃ４の撮影ショットの候補を設定し、オペレータによって入力されるこの候補の中から撮影ショットを選択する指令に従ってロボットカメラＣ１〜Ｃ４を制御するものである。また、ロボットカメラ・スイッチャ制御装置１は、オペレータから入力される指令に基づいて、ロボットカメラＣ１〜Ｃ４によって撮像された映像信号からひとつの映像信号のみを出力するスイッチャＳＷの映像信号の切替を制御するものである。

ここで、ロボットカメラ・スイッチャ制御装置１によって生成された、ロボットカメラＣ１〜Ｃ４に指定した撮影ショットを撮影させる指令となる撮影ショット制御信号は、スイッチングハブＳＨを介してロボットカメラＣ１〜Ｃ４に出力される。また、ロボットカメラ・スイッチャ制御装置１によって生成されたスイッチャＳＷの切替を制御する指令となる切替制御信号は、スイッチングハブＳＨを介してスイッチャＳＷに出力される。

なお、ここでは、被写体（テーブルＴ、出演者Ｌ１、Ｌ２、Ｒ１、Ｒ２、フリップＦ、小物Ｏ、情報画スクリーンＳＣ）及びロボットカメラＣ１〜Ｃ４の位置と向きとを示す情報が、配置情報としてロボットカメラ・スイッチャ制御装置１に入力されることとした。ここでは、配置情報がオペレータによってロボットカメラ・スイッチャ制御装置１に入力されることとしたが、例えば、番組撮影前に後記するセンサカメラＣ０によって撮影された映像から、後記する画像処理装置５によって被写体及びロボットカメラＣ１〜Ｃ４を検出して、スタジオ内における被写体及びロボットカメラＣ１〜Ｃ４の位置及び向きを求めた情報が、配置情報としてロボットカメラ・スイッチャ制御装置１に入力されることとしてもよい。

ロボットカメラＣ１〜Ｃ４は、ロボットカメラ・スイッチャ制御装置１から入力された撮影ショット制御信号と、後記する画像処理装置５から入力されるスタジオ内における被写体の３次元位置の情報とに基づいて、ロボットカメラ・スイッチャ制御装置によって指示される撮影ショットの映像を撮影し、番組映像の素材となる映像信号を生成するものである。ここで生成された映像信号は、スイッチャＳＷに出力される。

ここで、ロボットカメラＣ１〜Ｃ４は、画像処理装置５から入力される被写体の３次元位置の情報に基づいて、バストショット、ツーショット、フリップ込Ｌ１ショット（フリップＦと出演者Ｌ１の映像）等の、番組で用いられる各種の撮影ショットを自動撮影できるものとする。このフレーミングを自動で行えるロボットカメラＣ１〜Ｃ４としては、例えば、T. Tsuda, et al, "Intelligent Mobile Robot Camera", SMPTE Australia 2005 - Conference and Exhibition, Session 4.4, July 2005に記載されたものを用いることができる。なお、図１では、ロボットカメラＣ１〜Ｃ４からの映像信号の流れを破線で示した。

ここでは、被写体として、テーブルＴと、このテーブルＴを挟んで下手（左側）に２人の出演者Ｒ１、Ｒ２と、上手（右側）に２人の出演者Ｌ１、Ｌ２と、この任意の位置に配置されるフリップＦ及び小物Ｏと、出演者Ｒ１、Ｒ２、Ｌ１、Ｌ２の背後に情報画スクリーンＳＣとが設置されることとした。そして、出演者Ｒ１、Ｒ２、Ｌ１、Ｌ２が、フリップＦと、小物Ｏと、情報画スクリーンＳＣとを用いて対談する番組をロボットカメラＣ１〜Ｃ４によって撮影して番組制作する場合について説明する。

センサカメラＣ０は、被写体を撮影し、後記する画像処理装置５によって被写体の位置を算出するのに必要となる映像信号を生成するものである。ここで生成された映像信号は、画像処理装置５に出力される。ここでは、センサカメラＣ０をステレオカメラとした。なお、センサカメラＣ０は、被写体が撮影できる位置に設置されていればよく、例えば、被写体の上方や背後に設置されることとしてもよい。また、センサカメラＣ０の個数はこれに限定されることなく、任意の個数とすることができる。更に、ロボットカメラＣ１〜Ｃ４によって撮影した映像から画像処理装置５によって被写体の位置を算出する場合には、自動撮影システムＳがセンサカメラＣ０を備えないこととしてもよい。

画像処理装置５は、センサカメラＣ０によって撮影された映像を構成するフレーム画像ごとに被写体を検出し、スタジオ内における被写体の位置を算出するものである。ここでは、画像処理装置５は、ステレオカメラであるセンサカメラＣ０から２つの映像を入力し、それぞれの映像についてフレーム画像ごとに被写体を検出して、スタジオ内における被写体の３次元位置を算出することとした。ここで算出された被写体の位置の情報は、スイッチングハブＳＨを介してロボットカメラＣ１〜Ｃ４に出力される。なお、画像処理装置５は、例えば、被写体の形状や色や、予め被写体に取り付けたセンサからの不可視光等に基づいて、フレーム画像から検出することとしてもよい。

スイッチングハブＳＨは、ロボットカメラ・スイッチャ制御装置１から入力された撮影ショット制御信号及び切替制御信号をそれぞれロボットカメラＣ１〜Ｃ４及びスイッチャＳＷに出力する中継器である。

スイッチャＳＷは、ロボットカメラ・スイッチャ制御装置１から入力された切替制御信号に基づいて、ロボットカメラＣ１〜Ｃ４から入力された映像信号からひとつの映像信号のみを選択して、番組映像として出力するものである。

［ロボットカメラ・スイッチャ制御装置の構成］
以下、図２を参照（適宜図１参照）して、本発明におけるロボットカメラ・スイッチャ制御装置１の構成について詳細に説明する。図２は、本発明におけるロボットカメラ・スイッチャ制御装置の構成を模式的に示した構成図である。ロボットカメラ・スイッチャ制御装置１は、スタジオ配置作画手段１１と、撮影ショット割当手段１２と、撮影ショット切替手段１３と、スイッチャ制御手段１４とを備える。

スタジオ配置作画手段（配置情報取得手段）１１は、被写体の数量を示す数量情報と、被写体及びロボットカメラＣ１〜Ｃ４の配置を示す配置情報とを外部から取得し、被写体とロボットカメラＣ１〜Ｃ４の配置を示す画像を作画するものである。更にここでは、スタジオ配置作画手段１１は、情報物（フリップＦ、小物Ｏ、情報画スクリーンＳＣ）の含まれる撮影ショットの種類の選択の指令と、撮影ショット割当手段１２による撮影ショットの候補の設定の指令と、撮影ショット割当手段１２によって設定された撮影ショットの候補のクリア（削除）の指令とを外部から入力することとした。ここで取得された数量情報及び配置情報は、撮影ショット割当手段１２に出力される。また、ここで入力された、設定する撮影ショットの種類の選択の指令と、撮影ショットの候補の割り当ての指令と、選択された撮影ショットの候補のクリアの指令も、撮影ショット割当手段１２に出力される。

ここでは、スタジオ配置作画手段１１は、図３に示すようなＧＵＩ（Graphical User Interface）を有し、外部に接続された表示装置ＤにＧＵＩ画面を表示する。ここで、図３を参照（適宜図１及び図２参照）して、被写体とロボットカメラＣ１〜Ｃ４の配置を設定する例について説明する。図３は、配置情報を入力するためのユーザインタフェースの表示画面の例を模式的に示した模式図である。

表示画面Ｗ１は、領域Ｄ１と、領域Ｄ２と、ボタンＢ１〜Ｂ１４とを備えて構成される。領域Ｄ１は、オペレータによってスタジオ内の被写体及びロボットカメラＣ１〜Ｃ４の配置情報を入力するために、被写体及びロボットカメラＣ１〜Ｃ４のオブジェクトＯ_Ｃ１〜Ｏ_Ｃ４を作画して表示する領域である。ボタンＢ１〜Ｂ６は、後記する撮影ショット割当手段１２によって設定される撮影ショットの候補の種類を指定するためのボタンである。ここでは、フリップＦ全体を撮影した単独ショットであるフリップショットを指定する「フリップ」ボタンＢ１、フリップＦと出演者（Ｌ１、Ｌ２、Ｒ１、Ｒ２）との撮影ショットを指定する「フリップ込」ボタンＢ２、情報画スクリーンＳＣ全体を撮影した単独ショットであるスクリーンショットを指定する「スクリーン」ボタンＢ３、情報画スクリーンＳＣと出演者（Ｌ１、Ｌ２、Ｒ１、Ｒ２）との撮影ショットを指定する「スクリーン込」ボタンＢ４、小物Ｏを拡大して撮影した単独ショットを指定する「小物」ボタンＢ５、及び、小物Ｏと出演者（Ｌ１、Ｌ２、Ｒ１、Ｒ２）との撮影ショットを指定する「小物込」ボタンＢ６とした。

「割当」ボタンＢ７は、後記する撮影ショット割当手段１２によって、オペレータが選択した種類の撮影ショットの候補をロボットカメラＣ１〜Ｃ４に設定する指令を入力するためのボタンである。「クリア」ボタンＢ８は、撮影ショット割当手段１２によって設定された撮影ショットの候補をクリアするボタンである。ボタンＢ９、Ｂ１０は、領域Ｄ１において作画された被写体（テーブルＴ、出演者Ｌ１、Ｌ２、Ｒ１、Ｒ２、フリップＦ、小物Ｏ、情報画スクリーンＳＣ）のオブジェクトＯ_Ｔ、Ｏ_Ｌ１、Ｏ_Ｌ２、Ｏ_Ｒ１、Ｏ_Ｒ２、Ｏ_Ｆ、Ｏ_Ｏ、Ｏ_ＳＣ及びロボットカメラのオブジェクトＯ_Ｃ１〜Ｏ_Ｃ４に対して図示しないカーソルを用いた移動及び回転の操作を指定するためのボタンである。領域Ｄ２は、領域Ｄ１において作画する出演者のオブジェクト（Ｏ_Ｌ１、Ｏ_Ｌ２、Ｏ_Ｒ１、Ｏ_Ｒ２）の人数を設定するための領域であり、ここでは、上手に出演者Ｌ１、Ｌ２の２人、下手に出演者Ｒ１、Ｒ２の２人が設定されている。

「テーブル」ボタンＢ１１は、領域Ｄ１においてテーブルのオブジェクトＯ_Ｔを作画するためのボタンである。ここでは、ボタンＢ１１は、プルダウンメニューによってテーブルの形状を選択できるようになっている。「フリップ」ボタンＢ１２は、領域Ｄ１においてフリップのオブジェクトＯ_Ｆを作画するためのボタンである。「スクリーン」ボタンＢ１３は、領域Ｄ１においてスクリーンのオブジェクトＯ_ＳＣを作画するためのボタンである。「小物」ボタンＢ１４は、領域Ｄ１において小物のオブジェクトＯ_Ｏを作画するためのボタンである。

そして、ここでは、スタジオ配置作画手段１１によって予め４台のロボットカメラのオブジェクトＯ_Ｃ１〜Ｏ_Ｃ４が領域Ｄ１内に作画されている。そして、オペレータが、領域Ｄ２において出演者数の設定を行うことにより、スタジオ配置作画手段１１によって領域Ｄ１内に出演者のオブジェクトＯ_Ｌ１、Ｏ_Ｌ２、Ｏ_Ｒ１、Ｏ_Ｒ２が作画されるとともに、出演者の人数の情報が、数量情報として取得される。更に、オペレータが、スタジオセット（テーブルＴ、フリップＦ、小物Ｏ、情報画スクリーンＳＣ）を作画するボタンＢ１１〜Ｂ１４を押下することで、スタジオ配置作画手段１１によって領域Ｄ１内に番組で用いるスタジオセットのオブジェクト（Ｏ_Ｔ、Ｏ_Ｆ、Ｏ_Ｏ、Ｏ_ＳＣ）が作画される。そして、オペレータが、ボタンＢ９、Ｂ１０を用いて、オブジェクト（Ｏ_Ｔ、Ｏ_Ｌ１、Ｏ_Ｌ２、Ｏ_Ｒ１、Ｏ_Ｒ２、Ｏ_Ｆ、Ｏ_Ｏ、Ｏ_ＳＣ、Ｏ_Ｃ１〜Ｏ_Ｃ４）の位置や向きを設定することで、スタジオ配置作画手段１１によって配置情報が取得される。

更に、オペレータが、撮影する必要のある撮影ショットの種類に対応するボタンＢ１〜Ｂ６を押下することで、撮影ショット割当手段１２によって設定される撮影ショットの候補の種類の情報がスタジオ配置作画手段１１によって取得される。また、オペレータが「割当」ボタンＢ７を押下することで、撮影ショット割当手段１２に撮影ショットの候補を設定する指令が入力される。更に、オペレータが「クリア」ボタンＢ８を押下することで、撮影ショット割当手段１２に、設定した撮影ショットの候補をクリアする指令が入力される。

なお、ここでは、スタジオ配置作画手段１１は、オペレータによって操作されているオブジェクト（図３ではロボットカメラのオブジェクトＯ_Ｃ１）の向きを示す方向線（図３では方向線Ｄ_Ｃ１）を作画することとした。更に、オペレータが、作画されたロボットカメラのオブジェクト（Ｏ_Ｃ１〜Ｏ_Ｃ４）について移動や回転の操作をしているときには、スタジオ配置作画手段１１が、後記する情報物規則に従って当該ロボットカメラ（Ｃ１〜Ｃ４）に対して設定される撮影ショットの候補に含まれる被写体を特定し、当該被写体のオブジェクトを強調して表示する（図３では小物のオブジェクトＯ_Ｏを太線で示す）こととした。また、オペレータが、作画された被写体のオブジェクトについて移動や回転の操作をしているときには、スタジオ配置作画手段１１が、後記する情報物規則に従って当該被写体を含む撮影ショットの候補が設定されるロボットカメラ（Ｃ１〜Ｃ４）を特定し、当該ロボットカメラのオブジェクト（Ｏ_Ｃ１〜Ｏ_Ｃ４）を強調して表示（図示せず）することとした。この強調は、例えば、オブジェクトを赤等の、他のオブジェクトとは異なる色の線で示すこととしてもよい。

図２に戻って説明を続ける。撮影ショット割当手段（被写体撮影ショット設定手段）１２は、スタジオ配置作画手段１１によって取得された数量情報及び配置情報に基づいて、予め設定された撮影ショット設定規則に従って撮影ショットの候補を設定するものである。ここで設定された撮影ショットの候補の情報は、撮影ショット切替手段１３に出力される。

ここで、撮影ショット設定規則について説明する。ここでは、出演者（Ｒ１、Ｒ２、Ｌ１、Ｌ２）のみの撮影ショットの候補を設定するための出演者規則と、情報物（フリップＦ、小物Ｏ、情報画スクリーンＳＣ）を含む撮影ショットの候補を設定するための情報物規則との２種類の撮影ショット設定規則について説明する。

（出演者規則）
ここで、出演者規則として、出演者数に出演者のみの撮影ショットの候補を予め対応付けておき、撮影ショット割当手段１２が、スタジオ配置作画手段１１によって入力された数量情報によって示される出演者数に対応付けられた撮影ショットの候補を、出演者のみの撮影ショットの候補として設定する。ここでは、スタジオ配置作画手段１１によって入力された下手及び上手の出演者数の情報と、図４に示す表ＴＡとに基づいて、撮影ショット割当手段１２が、各ロボットカメラＣ１〜Ｃ４の撮影ショットの候補を設定することとした。図４は、出演者規則における出演者数に対応する各ロボットカメラの撮影ショットの候補を示す表を示した図である。ここで、表ＴＡは、ロボットカメラの種類ＴＡ１と、出演者数（Ｒ（下手の出演者数）：Ｌ（上手の出演者数））ＴＡ２とに対応する撮影ショットの候補ＴＡ３を示している。例えば、出演者数が「１：１」のときのロボットカメラＣ１（１カメ）の撮影ショットの候補は、「バストショットＬ１」（出演者Ｌ１のバストショット）、ロボットカメラＣ３（３カメ）の撮影ショットの候補は、「バストショットＲ１」、ロボットカメラＣ４（４カメ）の撮影ショットの候補は、「全員」（出演者全員の撮影ショット）である。

更に、撮影ショット割当手段１２は、スタジオ配置作画手段１１によって取得された配置情報に基づいて、被写体の向きとロボットカメラＣ１〜Ｃ４の向きとのなす角度を算出して、この角度と以下の情報物規則とに基づいて情報物を含む撮影ショットを設定する。

（情報物規則）
それぞれ情報物の向きとなす角度が１８０度に最も近い方向を向いているロボットカメラ（Ｃ１〜Ｃ４）に、当該情報物の単独ショットを設定する。また、それぞれ情報物の向きとその情報物に最も距離の近い出演者（Ｒ１、Ｒ２、Ｌ１、Ｌ２）の向きとの中間の向きと、なす角度が１８０度に最も近い方向を向いているロボットカメラ（Ｃ１〜Ｃ４）に、当該情報物の「情報物込出演者」ショット（情報物と出演者とを撮影した撮影ショット）を設定する。更に、情報物と上手の出演者（Ｌ１、Ｌ２）との撮影ショットについては、「情報物込Ｌ１（出演者Ｌ１）」及び／又は「情報物込Ｌ２」を設定し、情報物と下手の出演者（Ｒ１、Ｒ２）との撮影ショットについては、「情報物込ＲＧ（出演者Ｒ１及び出演者Ｒ２）」（例えば、「小物込ＲＧ」（図５参照））を設定する。

ここで、ロボットカメラＣ１〜Ｃ４の向き（撮影方向）とは光軸方向を指し、出演者Ｒ１、Ｒ２、Ｌ１、Ｌ２の向きとは顔の向いている方向（図３のオブジェクトＯ_Ｒ１、Ｏ_Ｒ２、Ｏ_Ｌ１、Ｏ_Ｌ２の三角形のマークの角の向き）を指す。また、情報物の向きとは情報が表示されている面の向きを指す。

そして、ここでは、図３のオペレータによって「割り当て」ボタンＢ７が押下されることで撮影ショットを設定する指令がスタジオ配置作画手段１１に入力されると、撮影ショット割当手段１２が撮影ショットの候補を設定することとした。更に、ここでは、図３のボタンＢ１〜Ｂ６によってスタジオ配置作画手段１１で入力された撮影ショットの種類の情報に基づいて、撮影ショット割当手段１２が、情報物については選択された撮影ショットの種類のみについて、撮影ショットの候補を設定することとした。

そして、撮影ショット割当手段１２は、図５に示すような表示画面の画像を生成し、外部に接続された表示装置Ｄに表示して、オペレータの手動による修正が行えるようにした。図５は、ロボットカメラへ割り当てる撮影ショットの候補を表示する表示画面の例を模式的に示した模式図である。なお、図５において、「１カメ」、「２カメ」、「３カメ」及び「４カメ」は、それぞれロボットカメラＣ１、Ｃ２、Ｃ３、Ｃ４を示す。

表示画面Ｗ２は、領域Ｄ１１〜Ｄ１４を備えて構成される。領域Ｄ１１〜Ｄ１４は、撮影ショット割当手段１２によってロボットカメラＣ１〜Ｃ４に対して設定された撮影ショットの候補を提示する領域である。ここで、撮影ショット割当手段１２は、領域Ｄ１１〜Ｄ１４において、設定された撮影ショットの候補を、各撮影ショットに対応付けられたチェックボックスＣＢ内にチェックを付加して示した。なお、オペレータが図示しない入力手段によって、このチェックボックスＣＢにチェックを付加あるいは削除することで、撮影ショット割当手段１２は、ロボットカメラＣ１〜Ｃ４に対して割り当てる撮影ショットの候補を修正することができる。

図５では、例えば、ロボットカメラＣ１については、「フリップ込Ｌ１」及び「バストショットＬ１」の２種類の撮影ショットに撮影ショット割当手段１２によってチェックが付加され、この撮影ショットをロボットカメラＣ１に割り当てる場合を示している。

図２に戻って説明を続ける。撮影ショット切替手段１３は、撮影ショット割当手段１２によって割り当てられた撮影ショットの候補を提示する表示画面を生成するとともに、オペレータによって入力される指令に基づいて、ロボットカメラＣ１〜Ｃ４の撮影ショットを制御するものである。ここで、撮影ショット切替手段１３には、外部から各ロボットカメラＣ１〜Ｃ４の撮影ショットを指定する指令が入力され、撮影ショット切替手段１３は、指定された撮影ショットを撮影させる指令である撮影ショット制御信号を、スイッチングハブＳＨを介して各ロボットカメラＣ１〜Ｃ４に出力する。

ここで、図６を参照（適宜図１及び図２参照）して、オペレータによる撮影ショットを指定する指令の入力について、具体例を用いて説明する。図６は、撮影ショット切替手段に対する撮影ショットの切り替えの指令を入力する表示画面の例を模式的に示した模式図である。

ここでは、撮影ショット切替手段１３は、図６に示すようなＧＵＩの表示画面を外部に接続された表示装置Ｄに表示し、撮影ショットを指定する指令を入力することとした。表示画面Ｗ３は、撮影ショット割当手段１２によって割り当てられた撮影ショットを示すサムネールＳ１１、Ｓ１２、Ｓ２１、…を表示する領域である撮影ショット表示領域Ｕ１と、オンエアするロボットカメラを指定するための「ＯＡ」ボタンＢ２１〜Ｂ２４を表示するオンエアボタン表示領域Ｕ２とを有する。なお、図６において、「１カメ」、「２カメ」、「３カメ」及び「４カメ」は、それぞれロボットカメラＣ１、Ｃ２、Ｃ３、Ｃ４を示す。

図６に示す表示画面の例において、撮影ショット表示領域Ｕ１内の領域Ｕ１１〜Ｕ１４に、それぞれ撮影ショット割当手段１２において設定されたロボットカメラＣ１〜Ｃ４の撮影ショットを示すサムネール（Ｓ１１、Ｓ１２、Ｓ２１、…）が表示される。なお、ここでは、サムネールＳ１１、Ｓ２１、Ｓ３１、Ｓ４１の映像がロボットカメラＣ１〜Ｃ４によって撮影され、ロボットカメラＣ１によって撮影されたサムネールＳ１１の映像がスイッチャＳＷから出力されていることとする。

そして、オペレータが、図示しないマウス等でクリックしたり図示しないタッチパネルをタッチしたりして、サムネールＳ１１、Ｓ２１、Ｓ３１、Ｓ４１以外のサムネールを指定することで、撮影ショットを変更する指令を撮影ショット切替手段１３に入力することができる。そして、撮影ショット切替手段１３は、オペレータによって入力された指令に基づいて、選択された撮影ショットを撮影する撮影ショット制御信号をロボットカメラＣ１〜Ｃ４に出力する。

図２に戻って説明を続ける。スイッチャ制御手段１４は、オペレータによって外部から入力された、スイッチャＳＷから出力する映像の切り替えの指令に基づいて、スイッチャＳＷの切り替えを制御するものである。ここで生成されたスイッチャＳＷの切り替えを制御する指令（切替制御信号）は、スイッチングハブＳＨを介してスイッチャＳＷに出力される。また、スイッチャＳＷから出力される撮影ショットについての情報が撮影ショット切替手段１３に出力される。

ここで、図６を参照（適宜図１及び図２参照）して、オペレータによるスイッチャＳＷから出力する映像の切り替えについて、具体例を用いて説明する。図６に示すように、ロボットカメラＣ１〜Ｃ４のそれぞれは、サムネールＳ１１、Ｓ２１、Ｓ３１、Ｓ４１の撮影ショットを撮影し、スイッチャＳＷは、ロボットカメラＣ１によって撮影されたサムネールＳ１１の映像を出力している。

このとき、オペレータは、図示しないマウス等でクリックしたり図示しないタッチパネルをタッチして、図６におけるオンエアボタン表示領域Ｕ２内に表示された「ＯＡ」ボタンＢ２１〜Ｂ２４を押下することで、対応するロボットカメラＣ１〜Ｃ４の映像にスイッチャＳＷの出力を切り替えさせる指令をスイッチャ制御手段１４に入力することができる。ここで、「ＯＡ」ボタンＢ２１〜Ｂ２４のそれぞれは、ロボットカメラＣ１〜Ｃ４に対応する。そして、スイッチャ制御手段１４は、オペレータによって入力された指令に基づいて、選択されたロボットカメラ（Ｃ１〜Ｃ４）の映像に出力を切り替える切替制御信号をスイッチャＳＷに出力する。

以上によって、ロボットカメラ・スイッチャ制御装置１は、被写体とロボットカメラＣ１〜Ｃ４の位置と向きとを示す配置情報に基づいて、各ロボットカメラＣ１〜Ｃ４によって撮影する撮影ショットの候補を設定する。ここで、番組の撮影中において、オペレータがロボットカメラＣ１〜Ｃ４によって撮影する撮影ショットの切り替え作業を行いやすくするためには、図６に示すような表示画面Ｗ３には必要最小限の撮影ショットの候補が提示されていることが望ましい。そして、ロボットカメラ・スイッチャ制御装置１は、オペレータがロボットカメラと被写体との配置情報を入力するだけで、ロボットカメラと被写体との配置に応じて容易に必要な撮影ショットの候補を設定することができる。これによって、オペレータによる撮影ショットの候補を割り当てる労力を軽減することができるとともに、番組制作に熟練していないオペレータでも、図３に示すような作画によるスタジオ配置の編集の作業を行うだけで、容易に撮影ショットの候補を割り当てることができる。

なお、非特許文献１に記載されるような、ロボットカメラに割り当てられる撮影ショットの候補に基づいて撮影規則を自動生成するとともにスタジオの状況変化をセンシングするシステムを構築し、ロボットカメラによって撮影する撮影ショットを決定することとすれば、オペレータは、図３に示すようなスタジオにおける配置の編集のみで、各番組のスタジオ配置に応じた複数台のロボットカメラによる自動撮影が可能になる。

更に、フリップＦと小物Ｏと情報画スクリーンＳＣとの個数及び有無や、これらの被写体の配置、出演者Ｒ１、Ｒ２、Ｌ１、Ｌ２の人数やロボットカメラＣ１〜Ｃ４の個数は前記の例に限定されることなく、撮影ショット設定規則やスタジオ配置作画手段１１を適切に設定することで、任意の数や種類の被写体及びロボットカメラの撮影や、対談形式でない番組等の様々な撮影に応用が可能である。また、本発明は番組制作に限定されず、テレビ会議や、大学の講義の撮影や、ＴＶＭＬ（TV program Making Language；"http://www.nhk.or.jp/strl/tvml/"参照）等のＣＧを使った教材やコンテンツの制作にも応用が可能である。

更に、ここでは、スタジオ配置作画手段１１において、２次元のスタジオの配置の情報を入力するユーザインタフェースを用いる場合について説明したが、３次元のものであってもよい。

なお、ロボットカメラ・スイッチャ制御装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、ロボットカメラ・スイッチャ制御プログラム（撮影ショット候補設定プログラム）として動作させることも可能である。

［ロボットカメラ・スイッチャ制御装置の動作］
次に、図７を参照（適宜図１〜図３参照）して、撮影前にロボットカメラ・スイッチャ制御装置１のスタジオ配置作画手段１１、撮影ショット割当手段１２によって撮影ショットの候補を割り当てる動作について説明する。図７は、本発明におけるロボットカメラ・スイッチャ制御装置が、撮影ショットの候補を割り当てる動作を示したフローチャートである。なお、撮影ショット切替手段１３及びスイッチャ制御手段１４の動作は、撮影中においてオペレータからそれぞれ撮影ショットの変更の指令及びスイッチャの切り替えの指令が入力されるたびに撮影ショット制御信号及び切替制御信号を生成して、ロボットカメラＣ１〜Ｃ４及びスイッチャＳＷに出力するものであり、ここでは詳細な説明は省略する。

ロボットカメラ・スイッチャ制御装置１は、スタジオ配置作画手段１１によって、被写体の数量情報と、被写体及びロボットカメラＣ１〜Ｃ４の配置情報とを取得し、図３に示すような表示画面Ｗ１において被写体とロボットカメラＣ１〜Ｃ４との配置を示す画像を作画する（ステップＳ５１）。続いて、ロボットカメラ・スイッチャ制御装置１は、スタジオ配置作画手段１１によって、設定する撮影ショットの種類の情報を入力する（ステップＳ５２）。ここで、図３に示すような表示画面Ｗ１において、設定される撮影ショットの候補の種類を指定するためのボタンＢ１〜Ｂ６がオペレータによって押下されることで、ロボットカメラ・スイッチャ制御装置１は、スタジオ配置作画手段１１によって、設定する撮影ショットの種類の情報を入力する。

更に、ロボットカメラ・スイッチャ制御装置１は、スタジオ配置作画手段１１によって、撮影ショットの候補を設定する指令を入力するための「割当」ボタンＢ７（図３参照）が押下されたかを判断する（ステップＳ５３）。そして、「割当」ボタンＢ７が押下された場合には（ステップＳ５３でＹｅｓ）、ロボットカメラ・スイッチャ制御装置１は、撮影ショット割当手段１２によって、ステップＳ５１において取得された配置情報と、ステップＳ５２において入力された撮影ショットの種類の情報と、撮影ショット設定規則とに基づいて、撮影ショットの候補を設定し（ステップＳ５４）、ステップＳ５７に進む。

一方、「割当」ボタンＢ７が押下されない場合には（ステップＳ５３でＮｏ）、ロボットカメラ・スイッチャ制御装置１は、スタジオ配置作画手段１１によって、設定された撮影ショットの候補をクリアする指令を入力するための「クリア」ボタンＢ８（図３参照）が押下されたかを判断する（ステップＳ５５）。そして、「クリア」ボタンＢ８が押下された場合には（ステップＳ５５でＹｅｓ）、ロボットカメラ・スイッチャ制御装置１は、撮影ショット割当手段１２によって、撮影ショットの候補をクリアして（ステップＳ５６）、ステップＳ５７に進む。一方、「クリア」ボタンＢ８が押下されない場合には（ステップＳ５５でＮｏ）、ステップＳ５７に進む。

そして、ロボットカメラ・スイッチャ制御装置１は、スタジオ配置作画手段１１によって、撮影ショットの候補の割り当ての作業が終了したかを判断する（ステップＳ５７）。なお、ロボットカメラ・スイッチャ制御装置１は、割り当てが終了したか否かを、例えば、スタジオ配置作画手段１１によって生成された表示画面Ｗ１（図３参照）がオペレータによってクローズされたか、あるいは、オペレータによって新たな配置情報が入力されたかによって判断することができる。そして、終了していない場合には（ステップＳ５７でＮｏ）、ステップＳ５１に戻って、ロボットカメラ・スイッチャ制御装置１がスタジオ配置作画手段１１によって、配置情報を取得し、被写体とロボットカメラＣ１〜Ｃ４との配置を示す画像を作画する動作以降の動作を行う。一方、終了した場合には（ステップＳ５７でＹｅｓ）、そのまま動作を終了する。

なお、この動作の終了後、撮影ショットの候補を割り当てたロボットカメラ・スイッチャ制御装置１の撮影ショット割当手段１２に対して、オペレータが直接、図５に示す表示画面Ｗ２において、チェックボックスＣＢにチェックを付加あるいは削除して撮影ショットの候補を選択する指令を入力することで、ロボットカメラＣ１〜Ｃ４に割り当てられる撮影ショットの候補を手動で修正することも可能である。

本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の構成を模式的に示した構成図である。 本発明におけるロボットカメラ・スイッチャ制御装置のスタジオ配置作画手段によって配置情報を入力するためのユーザインタフェースの表示画面の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影ショット割当手段で用いられる出演者規則における出演者数に対応する各ロボットカメラの撮影ショットの候補を示す表を示した図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影ショット割当手段によってロボットカメラへ割り当てる撮影ショットの候補を表示する表示画面の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影ショット切替手段に対する撮影ショットの切り替えの指令を入力する表示画面の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置が、撮影ショットの候補を割り当てる動作を示したフローチャートである。

符号の説明

１ ロボットカメラ・スイッチャ制御装置（撮影ショット候補設定装置）
１１ スタジオ配置作画手段（配置情報取得手段）
１２ 撮影ショット割当手段（被写体撮影ショット設定手段）

Claims (4)

1. 複数のロボットカメラによって撮影される複数の被写体の撮影ショットの候補を設定する撮影ショット候補設定装置であって、
   それぞれの前記被写体の位置及び向きと、それぞれの前記ロボットカメラの位置及び向きとを示す情報である配置情報を取得する配置情報取得手段と、
   この配置情報取得手段によって取得された配置情報によって示される前記被写体の向きと、前記ロボットカメラの撮影方向とのなす角度を算出し、この角度に基づいて、それぞれの前記被写体を撮影する前記ロボットカメラを特定して、当該ロボットカメラに当該被写体の撮影ショットを前記候補として設定する被写体撮影ショット設定手段と、
   を備えることを特徴とする撮影ショット候補設定装置。
2. 前記配置情報取得手段が、前記被写体の数量を示す情報である数量情報を取得し、
   前記被写体撮影ショット設定手段が、前記配置情報取得手段によって取得された数量情報によって示される前記被写体の数量に予め対応付けられた各ロボットカメラの撮影ショットを更に前記候補として設定することを特徴とする請求項１に記載の撮影ショット候補設定装置。
3. 前記配置情報取得手段が、オペレータの指定に従って前記被写体と前記ロボットカメラとのオブジェクトを配置した画像を作画して表示装置に出力し、前記オペレータによって配置された前記オブジェクトの相対的な位置と向きとに基づいて前記配置情報を取得することを特徴とする請求項１又は請求項２に記載の撮影ショット候補設定装置。
4. 複数のロボットカメラによって撮影される複数の被写体の撮影ショットの候補を設定するためにコンピュータを、
   それぞれの前記被写体の位置及び向きと、それぞれの前記ロボットカメラの位置及び向きとを示す情報である配置情報を取得する配置情報取得手段、
   この配置情報取得手段によって取得された配置情報によって示される前記被写体の向きと、前記ロボットカメラの撮影方向とのなす角度を算出し、この角度に基づいて、それぞれの前記被写体を撮影する前記ロボットカメラを特定して、当該ロボットカメラに当該被写体の撮影ショットを前記候補として設定する被写体撮影ショット設定手段、
   として機能させることを特徴とする撮影ショット候補設定プログラム。

Images