JP4664897B2 - 撮影ショット候補設定装置及び撮影ショット候補設定プログラム - Google Patents

撮影ショット候補設定装置及び撮影ショット候補設定プログラム Download PDF

Info

Publication number
JP4664897B2
JP4664897B2 JP2006347986A JP2006347986A JP4664897B2 JP 4664897 B2 JP4664897 B2 JP 4664897B2 JP 2006347986 A JP2006347986 A JP 2006347986A JP 2006347986 A JP2006347986 A JP 2006347986A JP 4664897 B2 JP4664897 B2 JP 4664897B2
Authority
JP
Japan
Prior art keywords
shot
shooting
subject
robot
robot camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006347986A
Other languages
English (en)
Other versions
JP2008160550A (ja
Inventor
誠 奥田
貴生 津田
一利 武藤
斉 柳澤
誠喜 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2006347986A priority Critical patent/JP4664897B2/ja
Publication of JP2008160550A publication Critical patent/JP2008160550A/ja
Application granted granted Critical
Publication of JP4664897B2 publication Critical patent/JP4664897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、ロボットカメラを制御する技術に係り、特に、ロボットカメラによって撮影する撮影ショットの候補を設定する撮影ショット候補設定装置及び撮影ショット候補設定プログラムに関する。
従来、放送局における番組制作や、テレビ会議、大学の講義等において、ロボットカメラ等により自動撮影する試みがなされている。これらの撮影において、各ロボットカメラには、撮影可能な数種類の撮影ショットの候補が予め割り当てられ、その候補の中からオペレータが手動で、あるいは、画像処理や音声処理によって、フリップなどの提示物の提示や出演者の切り替わり等を検出することで、撮影ショットの候補の中から、実際に撮影する撮影ショットを自動で選択していた。そして、この撮影ショットの候補は、各ロボットカメラや被写体の配置を考慮して、撮影前にオペレータによって手動で設定され、割り当てられていた(例えば、非特許文献1参照)。
奥田 誠、外4名、「ロボットカメラ強調撮影システムのための撮影規則自動生成」、第5回情報科学技術フォーラム、K−061、2006
しかしながら、ロボットカメラ等の自動撮影において撮影ショットの候補を設定するためには、撮影時の様々な状況を想定し、各ロボットカメラについて、出演者や撮影中に提示される提示物との配置を考慮して設定する必要があり、高度な撮影知識と多大な労力を要する。
本発明は、前記従来技術の問題を解決するために成されたもので、ロボットカメラによる撮影において、ロボットカメラと被写体の配置に応じた撮影ショットの候補を設定することができる撮影ショット候補設定装置及び撮影ショット候補設定プログラムを提供することを目的とする。
前記課題を解決するため、請求項1に記載の撮影ショット候補設定装置は、複数のロボットカメラによって撮影される複数の被写体の撮影ショットの候補を設定する撮影ショット候補設定装置であって、配置情報取得手段と、被写体撮影ショット設定手段とを備える構成とした。
かかる構成によれば、撮影ショット候補設定装置は、配置情報取得手段によって、それぞれの被写体の位置及び向きと、それぞれのロボットカメラの位置及び向きとを示す情報である配置情報を取得し、被写体撮影ショット設定手段によって、配置情報によって示される被写体の向きと、ロボットカメラの撮影方向とのなす角度を算出し、この角度に基づいて、それぞれの被写体を撮影するロボットカメラを特定して、当該ロボットカメラに当該被写体の撮影ショットを候補として設定する。これによって、撮影ショット候補設定装置は、被写体の向きに対して適切な撮影方向のロボットカメラを当該被写体を撮影するロボットカメラに設定することで、ロボットカメラと被写体との配置に応じた撮影ショットの候補をそれぞれのロボットカメラに対して設定することができる。
また、請求項2に記載の撮影ショット候補設定装置は、請求項1に記載の撮影ショット候補設定装置において、前記配置情報取得手段が、前記被写体の数量を示す情報である数量情報を取得し、前記被写体撮影ショット設定手段が、前記配置情報取得手段によって取得された数量情報によって示される前記被写体の数量に予め対応付けられた各ロボットカメラの撮影ショットを更に前記候補として設定することとした。
これによって、撮影ショット候補設定装置は、ロボットカメラと被写体との配置に応じた撮影ショットに加えて、被写体の数に応じた撮影ショットも候補として設定することができる。
更に、請求項3に記載の撮影ショット候補設定装置は、請求項1又は請求項2に記載の撮影ショット候補設定装置において、前記配置情報取得手段が、オペレータの指定に従って前記被写体と前記ロボットカメラとのオブジェクトを配置した画像を作画して表示装置に出力し、前記オペレータによって配置された前記オブジェクトの相対的な位置と向きとに基づいて前記配置情報を取得する構成とした。
これによって、撮影ショット候補設定装置は、作画した画像上において指定された被写体及びロボットカメラの位置と向きとの情報に基づいて、それぞれのロボットカメラに対して撮影ショットの候補を設定することができる。
また、請求項4に記載の撮影ショット候補設定プログラムは、複数のロボットカメラによって撮影される複数の被写体の撮影ショットの候補を設定するためにコンピュータを、配置情報取得手段、被写体撮影ショット設定手段として機能させることとした。
かかる構成によれば、撮影ショット候補設定プログラムは、配置情報取得手段によって、それぞれの被写体の位置及び向きと、それぞれのロボットカメラの位置及び向きとを示す情報である配置情報を取得し、被写体撮影ショット設定手段によって、配置情報によって示される被写体の向きと、ロボットカメラの撮影方向とのなす角度を算出し、この角度に基づいて、それぞれの被写体を撮影するロボットカメラを特定して、当該ロボットカメラに当該被写体の撮影ショットを候補として設定する。これによって、撮影ショット候補設定プログラムは、ロボットカメラと被写体との配置に応じた撮影ショットの候補をそれぞれのロボットカメラに対して設定することができる。
本発明に係る撮影ショット候補設定装置及び撮影ショット候補設定プログラムでは、以下のような優れた効果を奏する。
請求項1及び請求項4に記載の発明によれば、オペレータによる撮影ショットの候補を設定する労力を軽減することができるとともに、高度な撮影知識を有していないオペレータでも、容易に撮影ショットの候補を設定し、ロボットカメラの的確な制御を行うことができる。
請求項2に記載の発明によれば、その配置によらず撮影される被写体の撮影ショットを候補として設定することができる。
請求項3に記載の発明によれば、オペレータは作画された画像上において被写体やロボットカメラの配置を指定するだけで、容易に撮影ショットの候補を設定することができる。
以下、本発明の実施の形態について図面を参照して説明する。ここでは本発明を、スタジオ内においてロボットカメラによって被写体を撮影して放送番組を制作する場合に対して適用し、ロボットカメラ・スイッチャ制御装置として構成している。
[自動撮影システムの構成]
まず、図1を参照して、本発明におけるロボットカメラ・スイッチャ制御装置1を備える自動撮影システムSの構成について説明する。図1は、本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。
自動撮影システムSは、被写体(テーブルT、出演者L1、L2、R1、R2、フリップF、小物O、情報画スクリーンSC)を撮影し、番組映像を生成するものである。自動撮影システムSは、ロボットカメラ・スイッチャ制御装置1と、ロボットカメラC1〜C4と、センサカメラC0と、画像処理装置5と、スイッチングハブSHと、スイッチャSWとを備える。
ロボットカメラ・スイッチャ制御装置(撮影ショット候補設定装置)1は、外部から入力される配置情報に基づいて被写体を撮影するロボットカメラC1〜C4の撮影ショットの候補を設定し、オペレータによって入力されるこの候補の中から撮影ショットを選択する指令に従ってロボットカメラC1〜C4を制御するものである。また、ロボットカメラ・スイッチャ制御装置1は、オペレータから入力される指令に基づいて、ロボットカメラC1〜C4によって撮像された映像信号からひとつの映像信号のみを出力するスイッチャSWの映像信号の切替を制御するものである。
ここで、ロボットカメラ・スイッチャ制御装置1によって生成された、ロボットカメラC1〜C4に指定した撮影ショットを撮影させる指令となる撮影ショット制御信号は、スイッチングハブSHを介してロボットカメラC1〜C4に出力される。また、ロボットカメラ・スイッチャ制御装置1によって生成されたスイッチャSWの切替を制御する指令となる切替制御信号は、スイッチングハブSHを介してスイッチャSWに出力される。
なお、ここでは、被写体(テーブルT、出演者L1、L2、R1、R2、フリップF、小物O、情報画スクリーンSC)及びロボットカメラC1〜C4の位置と向きとを示す情報が、配置情報としてロボットカメラ・スイッチャ制御装置1に入力されることとした。ここでは、配置情報がオペレータによってロボットカメラ・スイッチャ制御装置1に入力されることとしたが、例えば、番組撮影前に後記するセンサカメラC0によって撮影された映像から、後記する画像処理装置5によって被写体及びロボットカメラC1〜C4を検出して、スタジオ内における被写体及びロボットカメラC1〜C4の位置及び向きを求めた情報が、配置情報としてロボットカメラ・スイッチャ制御装置1に入力されることとしてもよい。
ロボットカメラC1〜C4は、ロボットカメラ・スイッチャ制御装置1から入力された撮影ショット制御信号と、後記する画像処理装置5から入力されるスタジオ内における被写体の3次元位置の情報とに基づいて、ロボットカメラ・スイッチャ制御装置によって指示される撮影ショットの映像を撮影し、番組映像の素材となる映像信号を生成するものである。ここで生成された映像信号は、スイッチャSWに出力される。
ここで、ロボットカメラC1〜C4は、画像処理装置5から入力される被写体の3次元位置の情報に基づいて、バストショット、ツーショット、フリップ込L1ショット(フリップFと出演者L1の映像)等の、番組で用いられる各種の撮影ショットを自動撮影できるものとする。このフレーミングを自動で行えるロボットカメラC1〜C4としては、例えば、T. Tsuda, et al, "Intelligent Mobile Robot Camera", SMPTE Australia 2005 - Conference and Exhibition, Session 4.4, July 2005に記載されたものを用いることができる。なお、図1では、ロボットカメラC1〜C4からの映像信号の流れを破線で示した。
ここでは、被写体として、テーブルTと、このテーブルTを挟んで下手(左側)に2人の出演者R1、R2と、上手(右側)に2人の出演者L1、L2と、この任意の位置に配置されるフリップF及び小物Oと、出演者R1、R2、L1、L2の背後に情報画スクリーンSCとが設置されることとした。そして、出演者R1、R2、L1、L2が、フリップFと、小物Oと、情報画スクリーンSCとを用いて対談する番組をロボットカメラC1〜C4によって撮影して番組制作する場合について説明する。
センサカメラC0は、被写体を撮影し、後記する画像処理装置5によって被写体の位置を算出するのに必要となる映像信号を生成するものである。ここで生成された映像信号は、画像処理装置5に出力される。ここでは、センサカメラC0をステレオカメラとした。なお、センサカメラC0は、被写体が撮影できる位置に設置されていればよく、例えば、被写体の上方や背後に設置されることとしてもよい。また、センサカメラC0の個数はこれに限定されることなく、任意の個数とすることができる。更に、ロボットカメラC1〜C4によって撮影した映像から画像処理装置5によって被写体の位置を算出する場合には、自動撮影システムSがセンサカメラC0を備えないこととしてもよい。
画像処理装置5は、センサカメラC0によって撮影された映像を構成するフレーム画像ごとに被写体を検出し、スタジオ内における被写体の位置を算出するものである。ここでは、画像処理装置5は、ステレオカメラであるセンサカメラC0から2つの映像を入力し、それぞれの映像についてフレーム画像ごとに被写体を検出して、スタジオ内における被写体の3次元位置を算出することとした。ここで算出された被写体の位置の情報は、スイッチングハブSHを介してロボットカメラC1〜C4に出力される。なお、画像処理装置5は、例えば、被写体の形状や色や、予め被写体に取り付けたセンサからの不可視光等に基づいて、フレーム画像から検出することとしてもよい。
スイッチングハブSHは、ロボットカメラ・スイッチャ制御装置1から入力された撮影ショット制御信号及び切替制御信号をそれぞれロボットカメラC1〜C4及びスイッチャSWに出力する中継器である。
スイッチャSWは、ロボットカメラ・スイッチャ制御装置1から入力された切替制御信号に基づいて、ロボットカメラC1〜C4から入力された映像信号からひとつの映像信号のみを選択して、番組映像として出力するものである。
[ロボットカメラ・スイッチャ制御装置の構成]
以下、図2を参照(適宜図1参照)して、本発明におけるロボットカメラ・スイッチャ制御装置1の構成について詳細に説明する。図2は、本発明におけるロボットカメラ・スイッチャ制御装置の構成を模式的に示した構成図である。ロボットカメラ・スイッチャ制御装置1は、スタジオ配置作画手段11と、撮影ショット割当手段12と、撮影ショット切替手段13と、スイッチャ制御手段14とを備える。
スタジオ配置作画手段(配置情報取得手段)11は、被写体の数量を示す数量情報と、被写体及びロボットカメラC1〜C4の配置を示す配置情報とを外部から取得し、被写体とロボットカメラC1〜C4の配置を示す画像を作画するものである。更にここでは、スタジオ配置作画手段11は、情報物(フリップF、小物O、情報画スクリーンSC)の含まれる撮影ショットの種類の選択の指令と、撮影ショット割当手段12による撮影ショットの候補の設定の指令と、撮影ショット割当手段12によって設定された撮影ショットの候補のクリア(削除)の指令とを外部から入力することとした。ここで取得された数量情報及び配置情報は、撮影ショット割当手段12に出力される。また、ここで入力された、設定する撮影ショットの種類の選択の指令と、撮影ショットの候補の割り当ての指令と、選択された撮影ショットの候補のクリアの指令も、撮影ショット割当手段12に出力される。
ここでは、スタジオ配置作画手段11は、図3に示すようなGUI(Graphical User Interface)を有し、外部に接続された表示装置DにGUI画面を表示する。ここで、図3を参照(適宜図1及び図2参照)して、被写体とロボットカメラC1〜C4の配置を設定する例について説明する。図3は、配置情報を入力するためのユーザインタフェースの表示画面の例を模式的に示した模式図である。
表示画面W1は、領域D1と、領域D2と、ボタンB1〜B14とを備えて構成される。領域D1は、オペレータによってスタジオ内の被写体及びロボットカメラC1〜C4の配置情報を入力するために、被写体及びロボットカメラC1〜C4のオブジェクトOC1〜OC4を作画して表示する領域である。ボタンB1〜B6は、後記する撮影ショット割当手段12によって設定される撮影ショットの候補の種類を指定するためのボタンである。ここでは、フリップF全体を撮影した単独ショットであるフリップショットを指定する「フリップ」ボタンB1、フリップFと出演者(L1、L2、R1、R2)との撮影ショットを指定する「フリップ込」ボタンB2、情報画スクリーンSC全体を撮影した単独ショットであるスクリーンショットを指定する「スクリーン」ボタンB3、情報画スクリーンSCと出演者(L1、L2、R1、R2)との撮影ショットを指定する「スクリーン込」ボタンB4、小物Oを拡大して撮影した単独ショットを指定する「小物」ボタンB5、及び、小物Oと出演者(L1、L2、R1、R2)との撮影ショットを指定する「小物込」ボタンB6とした。
「割当」ボタンB7は、後記する撮影ショット割当手段12によって、オペレータが選択した種類の撮影ショットの候補をロボットカメラC1〜C4に設定する指令を入力するためのボタンである。「クリア」ボタンB8は、撮影ショット割当手段12によって設定された撮影ショットの候補をクリアするボタンである。ボタンB9、B10は、領域D1において作画された被写体(テーブルT、出演者L1、L2、R1、R2、フリップF、小物O、情報画スクリーンSC)のオブジェクトO、OL1、OL2、OR1、OR2、O、O、OSC及びロボットカメラのオブジェクトOC1〜OC4に対して図示しないカーソルを用いた移動及び回転の操作を指定するためのボタンである。領域D2は、領域D1において作画する出演者のオブジェクト(OL1、OL2、OR1、OR2)の人数を設定するための領域であり、ここでは、上手に出演者L1、L2の2人、下手に出演者R1、R2の2人が設定されている。
「テーブル」ボタンB11は、領域D1においてテーブルのオブジェクトOを作画するためのボタンである。ここでは、ボタンB11は、プルダウンメニューによってテーブルの形状を選択できるようになっている。「フリップ」ボタンB12は、領域D1においてフリップのオブジェクトOを作画するためのボタンである。「スクリーン」ボタンB13は、領域D1においてスクリーンのオブジェクトOSCを作画するためのボタンである。「小物」ボタンB14は、領域D1において小物のオブジェクトOを作画するためのボタンである。
そして、ここでは、スタジオ配置作画手段11によって予め4台のロボットカメラのオブジェクトOC1〜OC4が領域D1内に作画されている。そして、オペレータが、領域D2において出演者数の設定を行うことにより、スタジオ配置作画手段11によって領域D1内に出演者のオブジェクトOL1、OL2、OR1、OR2が作画されるとともに、出演者の人数の情報が、数量情報として取得される。更に、オペレータが、スタジオセット(テーブルT、フリップF、小物O、情報画スクリーンSC)を作画するボタンB11〜B14を押下することで、スタジオ配置作画手段11によって領域D1内に番組で用いるスタジオセットのオブジェクト(O、O、O、OSC)が作画される。そして、オペレータが、ボタンB9、B10を用いて、オブジェクト(O、OL1、OL2、OR1、OR2、O、O、OSC、OC1〜OC4)の位置や向きを設定することで、スタジオ配置作画手段11によって配置情報が取得される。
更に、オペレータが、撮影する必要のある撮影ショットの種類に対応するボタンB1〜B6を押下することで、撮影ショット割当手段12によって設定される撮影ショットの候補の種類の情報がスタジオ配置作画手段11によって取得される。また、オペレータが「割当」ボタンB7を押下することで、撮影ショット割当手段12に撮影ショットの候補を設定する指令が入力される。更に、オペレータが「クリア」ボタンB8を押下することで、撮影ショット割当手段12に、設定した撮影ショットの候補をクリアする指令が入力される。
なお、ここでは、スタジオ配置作画手段11は、オペレータによって操作されているオブジェクト(図3ではロボットカメラのオブジェクトOC1)の向きを示す方向線(図3では方向線DC1)を作画することとした。更に、オペレータが、作画されたロボットカメラのオブジェクト(OC1〜OC4)について移動や回転の操作をしているときには、スタジオ配置作画手段11が、後記する情報物規則に従って当該ロボットカメラ(C1〜C4)に対して設定される撮影ショットの候補に含まれる被写体を特定し、当該被写体のオブジェクトを強調して表示する(図3では小物のオブジェクトOを太線で示す)こととした。また、オペレータが、作画された被写体のオブジェクトについて移動や回転の操作をしているときには、スタジオ配置作画手段11が、後記する情報物規則に従って当該被写体を含む撮影ショットの候補が設定されるロボットカメラ(C1〜C4)を特定し、当該ロボットカメラのオブジェクト(OC1〜OC4)を強調して表示(図示せず)することとした。この強調は、例えば、オブジェクトを赤等の、他のオブジェクトとは異なる色の線で示すこととしてもよい。
図2に戻って説明を続ける。撮影ショット割当手段(被写体撮影ショット設定手段)12は、スタジオ配置作画手段11によって取得された数量情報及び配置情報に基づいて、予め設定された撮影ショット設定規則に従って撮影ショットの候補を設定するものである。ここで設定された撮影ショットの候補の情報は、撮影ショット切替手段13に出力される。
ここで、撮影ショット設定規則について説明する。ここでは、出演者(R1、R2、L1、L2)のみの撮影ショットの候補を設定するための出演者規則と、情報物(フリップF、小物O、情報画スクリーンSC)を含む撮影ショットの候補を設定するための情報物規則との2種類の撮影ショット設定規則について説明する。
(出演者規則)
ここで、出演者規則として、出演者数に出演者のみの撮影ショットの候補を予め対応付けておき、撮影ショット割当手段12が、スタジオ配置作画手段11によって入力された数量情報によって示される出演者数に対応付けられた撮影ショットの候補を、出演者のみの撮影ショットの候補として設定する。ここでは、スタジオ配置作画手段11によって入力された下手及び上手の出演者数の情報と、図4に示す表TAとに基づいて、撮影ショット割当手段12が、各ロボットカメラC1〜C4の撮影ショットの候補を設定することとした。図4は、出演者規則における出演者数に対応する各ロボットカメラの撮影ショットの候補を示す表を示した図である。ここで、表TAは、ロボットカメラの種類TA1と、出演者数(R(下手の出演者数):L(上手の出演者数))TA2とに対応する撮影ショットの候補TA3を示している。例えば、出演者数が「1:1」のときのロボットカメラC1(1カメ)の撮影ショットの候補は、「バストショットL1」(出演者L1のバストショット)、ロボットカメラC3(3カメ)の撮影ショットの候補は、「バストショットR1」、ロボットカメラC4(4カメ)の撮影ショットの候補は、「全員」(出演者全員の撮影ショット)である。
更に、撮影ショット割当手段12は、スタジオ配置作画手段11によって取得された配置情報に基づいて、被写体の向きとロボットカメラC1〜C4の向きとのなす角度を算出して、この角度と以下の情報物規則とに基づいて情報物を含む撮影ショットを設定する。
(情報物規則)
それぞれ情報物の向きとなす角度が180度に最も近い方向を向いているロボットカメラ(C1〜C4)に、当該情報物の単独ショットを設定する。また、それぞれ情報物の向きとその情報物に最も距離の近い出演者(R1、R2、L1、L2)の向きとの中間の向きと、なす角度が180度に最も近い方向を向いているロボットカメラ(C1〜C4)に、当該情報物の「情報物込出演者」ショット(情報物と出演者とを撮影した撮影ショット)を設定する。更に、情報物と上手の出演者(L1、L2)との撮影ショットについては、「情報物込L1(出演者L1)」及び/又は「情報物込L2」を設定し、情報物と下手の出演者(R1、R2)との撮影ショットについては、「情報物込RG(出演者R1及び出演者R2)」(例えば、「小物込RG」(図5参照))を設定する。
ここで、ロボットカメラC1〜C4の向き(撮影方向)とは光軸方向を指し、出演者R1、R2、L1、L2の向きとは顔の向いている方向(図3のオブジェクトOR1、OR2、OL1、OL2の三角形のマークの角の向き)を指す。また、情報物の向きとは情報が表示されている面の向きを指す。
そして、ここでは、図3のオペレータによって「割り当て」ボタンB7が押下されることで撮影ショットを設定する指令がスタジオ配置作画手段11に入力されると、撮影ショット割当手段12が撮影ショットの候補を設定することとした。更に、ここでは、図3のボタンB1〜B6によってスタジオ配置作画手段11で入力された撮影ショットの種類の情報に基づいて、撮影ショット割当手段12が、情報物については選択された撮影ショットの種類のみについて、撮影ショットの候補を設定することとした。
そして、撮影ショット割当手段12は、図5に示すような表示画面の画像を生成し、外部に接続された表示装置Dに表示して、オペレータの手動による修正が行えるようにした。図5は、ロボットカメラへ割り当てる撮影ショットの候補を表示する表示画面の例を模式的に示した模式図である。なお、図5において、「1カメ」、「2カメ」、「3カメ」及び「4カメ」は、それぞれロボットカメラC1、C2、C3、C4を示す。
表示画面W2は、領域D11〜D14を備えて構成される。領域D11〜D14は、撮影ショット割当手段12によってロボットカメラC1〜C4に対して設定された撮影ショットの候補を提示する領域である。ここで、撮影ショット割当手段12は、領域D11〜D14において、設定された撮影ショットの候補を、各撮影ショットに対応付けられたチェックボックスCB内にチェックを付加して示した。なお、オペレータが図示しない入力手段によって、このチェックボックスCBにチェックを付加あるいは削除することで、撮影ショット割当手段12は、ロボットカメラC1〜C4に対して割り当てる撮影ショットの候補を修正することができる。
図5では、例えば、ロボットカメラC1については、「フリップ込L1」及び「バストショットL1」の2種類の撮影ショットに撮影ショット割当手段12によってチェックが付加され、この撮影ショットをロボットカメラC1に割り当てる場合を示している。
図2に戻って説明を続ける。撮影ショット切替手段13は、撮影ショット割当手段12によって割り当てられた撮影ショットの候補を提示する表示画面を生成するとともに、オペレータによって入力される指令に基づいて、ロボットカメラC1〜C4の撮影ショットを制御するものである。ここで、撮影ショット切替手段13には、外部から各ロボットカメラC1〜C4の撮影ショットを指定する指令が入力され、撮影ショット切替手段13は、指定された撮影ショットを撮影させる指令である撮影ショット制御信号を、スイッチングハブSHを介して各ロボットカメラC1〜C4に出力する。
ここで、図6を参照(適宜図1及び図2参照)して、オペレータによる撮影ショットを指定する指令の入力について、具体例を用いて説明する。図6は、撮影ショット切替手段に対する撮影ショットの切り替えの指令を入力する表示画面の例を模式的に示した模式図である。
ここでは、撮影ショット切替手段13は、図6に示すようなGUIの表示画面を外部に接続された表示装置Dに表示し、撮影ショットを指定する指令を入力することとした。表示画面W3は、撮影ショット割当手段12によって割り当てられた撮影ショットを示すサムネールS11、S12、S21、…を表示する領域である撮影ショット表示領域U1と、オンエアするロボットカメラを指定するための「OA」ボタンB21〜B24を表示するオンエアボタン表示領域U2とを有する。なお、図6において、「1カメ」、「2カメ」、「3カメ」及び「4カメ」は、それぞれロボットカメラC1、C2、C3、C4を示す。
図6に示す表示画面の例において、撮影ショット表示領域U1内の領域U11〜U14に、それぞれ撮影ショット割当手段12において設定されたロボットカメラC1〜C4の撮影ショットを示すサムネール(S11、S12、S21、…)が表示される。なお、ここでは、サムネールS11、S21、S31、S41の映像がロボットカメラC1〜C4によって撮影され、ロボットカメラC1によって撮影されたサムネールS11の映像がスイッチャSWから出力されていることとする。
そして、オペレータが、図示しないマウス等でクリックしたり図示しないタッチパネルをタッチしたりして、サムネールS11、S21、S31、S41以外のサムネールを指定することで、撮影ショットを変更する指令を撮影ショット切替手段13に入力することができる。そして、撮影ショット切替手段13は、オペレータによって入力された指令に基づいて、選択された撮影ショットを撮影する撮影ショット制御信号をロボットカメラC1〜C4に出力する。
図2に戻って説明を続ける。スイッチャ制御手段14は、オペレータによって外部から入力された、スイッチャSWから出力する映像の切り替えの指令に基づいて、スイッチャSWの切り替えを制御するものである。ここで生成されたスイッチャSWの切り替えを制御する指令(切替制御信号)は、スイッチングハブSHを介してスイッチャSWに出力される。また、スイッチャSWから出力される撮影ショットについての情報が撮影ショット切替手段13に出力される。
ここで、図6を参照(適宜図1及び図2参照)して、オペレータによるスイッチャSWから出力する映像の切り替えについて、具体例を用いて説明する。図6に示すように、ロボットカメラC1〜C4のそれぞれは、サムネールS11、S21、S31、S41の撮影ショットを撮影し、スイッチャSWは、ロボットカメラC1によって撮影されたサムネールS11の映像を出力している。
このとき、オペレータは、図示しないマウス等でクリックしたり図示しないタッチパネルをタッチして、図6におけるオンエアボタン表示領域U2内に表示された「OA」ボタンB21〜B24を押下することで、対応するロボットカメラC1〜C4の映像にスイッチャSWの出力を切り替えさせる指令をスイッチャ制御手段14に入力することができる。ここで、「OA」ボタンB21〜B24のそれぞれは、ロボットカメラC1〜C4に対応する。そして、スイッチャ制御手段14は、オペレータによって入力された指令に基づいて、選択されたロボットカメラ(C1〜C4)の映像に出力を切り替える切替制御信号をスイッチャSWに出力する。
以上によって、ロボットカメラ・スイッチャ制御装置1は、被写体とロボットカメラC1〜C4の位置と向きとを示す配置情報に基づいて、各ロボットカメラC1〜C4によって撮影する撮影ショットの候補を設定する。ここで、番組の撮影中において、オペレータがロボットカメラC1〜C4によって撮影する撮影ショットの切り替え作業を行いやすくするためには、図6に示すような表示画面W3には必要最小限の撮影ショットの候補が提示されていることが望ましい。そして、ロボットカメラ・スイッチャ制御装置1は、オペレータがロボットカメラと被写体との配置情報を入力するだけで、ロボットカメラと被写体との配置に応じて容易に必要な撮影ショットの候補を設定することができる。これによって、オペレータによる撮影ショットの候補を割り当てる労力を軽減することができるとともに、番組制作に熟練していないオペレータでも、図3に示すような作画によるスタジオ配置の編集の作業を行うだけで、容易に撮影ショットの候補を割り当てることができる。
なお、非特許文献1に記載されるような、ロボットカメラに割り当てられる撮影ショットの候補に基づいて撮影規則を自動生成するとともにスタジオの状況変化をセンシングするシステムを構築し、ロボットカメラによって撮影する撮影ショットを決定することとすれば、オペレータは、図3に示すようなスタジオにおける配置の編集のみで、各番組のスタジオ配置に応じた複数台のロボットカメラによる自動撮影が可能になる。
更に、フリップFと小物Oと情報画スクリーンSCとの個数及び有無や、これらの被写体の配置、出演者R1、R2、L1、L2の人数やロボットカメラC1〜C4の個数は前記の例に限定されることなく、撮影ショット設定規則やスタジオ配置作画手段11を適切に設定することで、任意の数や種類の被写体及びロボットカメラの撮影や、対談形式でない番組等の様々な撮影に応用が可能である。また、本発明は番組制作に限定されず、テレビ会議や、大学の講義の撮影や、TVML(TV program Making Language;"http://www.nhk.or.jp/strl/tvml/"参照)等のCGを使った教材やコンテンツの制作にも応用が可能である。
更に、ここでは、スタジオ配置作画手段11において、2次元のスタジオの配置の情報を入力するユーザインタフェースを用いる場合について説明したが、3次元のものであってもよい。
なお、ロボットカメラ・スイッチャ制御装置1は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、ロボットカメラ・スイッチャ制御プログラム(撮影ショット候補設定プログラム)として動作させることも可能である。
[ロボットカメラ・スイッチャ制御装置の動作]
次に、図7を参照(適宜図1〜図3参照)して、撮影前にロボットカメラ・スイッチャ制御装置1のスタジオ配置作画手段11、撮影ショット割当手段12によって撮影ショットの候補を割り当てる動作について説明する。図7は、本発明におけるロボットカメラ・スイッチャ制御装置が、撮影ショットの候補を割り当てる動作を示したフローチャートである。なお、撮影ショット切替手段13及びスイッチャ制御手段14の動作は、撮影中においてオペレータからそれぞれ撮影ショットの変更の指令及びスイッチャの切り替えの指令が入力されるたびに撮影ショット制御信号及び切替制御信号を生成して、ロボットカメラC1〜C4及びスイッチャSWに出力するものであり、ここでは詳細な説明は省略する。
ロボットカメラ・スイッチャ制御装置1は、スタジオ配置作画手段11によって、被写体の数量情報と、被写体及びロボットカメラC1〜C4の配置情報とを取得し、図3に示すような表示画面W1において被写体とロボットカメラC1〜C4との配置を示す画像を作画する(ステップS51)。続いて、ロボットカメラ・スイッチャ制御装置1は、スタジオ配置作画手段11によって、設定する撮影ショットの種類の情報を入力する(ステップS52)。ここで、図3に示すような表示画面W1において、設定される撮影ショットの候補の種類を指定するためのボタンB1〜B6がオペレータによって押下されることで、ロボットカメラ・スイッチャ制御装置1は、スタジオ配置作画手段11によって、設定する撮影ショットの種類の情報を入力する。
更に、ロボットカメラ・スイッチャ制御装置1は、スタジオ配置作画手段11によって、撮影ショットの候補を設定する指令を入力するための「割当」ボタンB7(図3参照)が押下されたかを判断する(ステップS53)。そして、「割当」ボタンB7が押下された場合には(ステップS53でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影ショット割当手段12によって、ステップS51において取得された配置情報と、ステップS52において入力された撮影ショットの種類の情報と、撮影ショット設定規則とに基づいて、撮影ショットの候補を設定し(ステップS54)、ステップS57に進む。
一方、「割当」ボタンB7が押下されない場合には(ステップS53でNo)、ロボットカメラ・スイッチャ制御装置1は、スタジオ配置作画手段11によって、設定された撮影ショットの候補をクリアする指令を入力するための「クリア」ボタンB8(図3参照)が押下されたかを判断する(ステップS55)。そして、「クリア」ボタンB8が押下された場合には(ステップS55でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影ショット割当手段12によって、撮影ショットの候補をクリアして(ステップS56)、ステップS57に進む。一方、「クリア」ボタンB8が押下されない場合には(ステップS55でNo)、ステップS57に進む。
そして、ロボットカメラ・スイッチャ制御装置1は、スタジオ配置作画手段11によって、撮影ショットの候補の割り当ての作業が終了したかを判断する(ステップS57)。なお、ロボットカメラ・スイッチャ制御装置1は、割り当てが終了したか否かを、例えば、スタジオ配置作画手段11によって生成された表示画面W1(図3参照)がオペレータによってクローズされたか、あるいは、オペレータによって新たな配置情報が入力されたかによって判断することができる。そして、終了していない場合には(ステップS57でNo)、ステップS51に戻って、ロボットカメラ・スイッチャ制御装置1がスタジオ配置作画手段11によって、配置情報を取得し、被写体とロボットカメラC1〜C4との配置を示す画像を作画する動作以降の動作を行う。一方、終了した場合には(ステップS57でYes)、そのまま動作を終了する。
なお、この動作の終了後、撮影ショットの候補を割り当てたロボットカメラ・スイッチャ制御装置1の撮影ショット割当手段12に対して、オペレータが直接、図5に示す表示画面W2において、チェックボックスCBにチェックを付加あるいは削除して撮影ショットの候補を選択する指令を入力することで、ロボットカメラC1〜C4に割り当てられる撮影ショットの候補を手動で修正することも可能である。
本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の構成を模式的に示した構成図である。 本発明におけるロボットカメラ・スイッチャ制御装置のスタジオ配置作画手段によって配置情報を入力するためのユーザインタフェースの表示画面の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影ショット割当手段で用いられる出演者規則における出演者数に対応する各ロボットカメラの撮影ショットの候補を示す表を示した図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影ショット割当手段によってロボットカメラへ割り当てる撮影ショットの候補を表示する表示画面の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影ショット切替手段に対する撮影ショットの切り替えの指令を入力する表示画面の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置が、撮影ショットの候補を割り当てる動作を示したフローチャートである。
符号の説明
1 ロボットカメラ・スイッチャ制御装置(撮影ショット候補設定装置)
11 スタジオ配置作画手段(配置情報取得手段)
12 撮影ショット割当手段(被写体撮影ショット設定手段)

Claims (4)

  1. 複数のロボットカメラによって撮影される複数の被写体の撮影ショットの候補を設定する撮影ショット候補設定装置であって、
    それぞれの前記被写体の位置及び向きと、それぞれの前記ロボットカメラの位置及び向きとを示す情報である配置情報を取得する配置情報取得手段と、
    この配置情報取得手段によって取得された配置情報によって示される前記被写体の向きと、前記ロボットカメラの撮影方向とのなす角度を算出し、この角度に基づいて、それぞれの前記被写体を撮影する前記ロボットカメラを特定して、当該ロボットカメラに当該被写体の撮影ショットを前記候補として設定する被写体撮影ショット設定手段と、
    を備えることを特徴とする撮影ショット候補設定装置。
  2. 前記配置情報取得手段が、前記被写体の数量を示す情報である数量情報を取得し、
    前記被写体撮影ショット設定手段が、前記配置情報取得手段によって取得された数量情報によって示される前記被写体の数量に予め対応付けられた各ロボットカメラの撮影ショットを更に前記候補として設定することを特徴とする請求項1に記載の撮影ショット候補設定装置。
  3. 前記配置情報取得手段が、オペレータの指定に従って前記被写体と前記ロボットカメラとのオブジェクトを配置した画像を作画して表示装置に出力し、前記オペレータによって配置された前記オブジェクトの相対的な位置と向きとに基づいて前記配置情報を取得することを特徴とする請求項1又は請求項2に記載の撮影ショット候補設定装置。
  4. 複数のロボットカメラによって撮影される複数の被写体の撮影ショットの候補を設定するためにコンピュータを、
    それぞれの前記被写体の位置及び向きと、それぞれの前記ロボットカメラの位置及び向きとを示す情報である配置情報を取得する配置情報取得手段、
    この配置情報取得手段によって取得された配置情報によって示される前記被写体の向きと、前記ロボットカメラの撮影方向とのなす角度を算出し、この角度に基づいて、それぞれの前記被写体を撮影する前記ロボットカメラを特定して、当該ロボットカメラに当該被写体の撮影ショットを前記候補として設定する被写体撮影ショット設定手段、
    として機能させることを特徴とする撮影ショット候補設定プログラム。
JP2006347986A 2006-12-25 2006-12-25 撮影ショット候補設定装置及び撮影ショット候補設定プログラム Active JP4664897B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006347986A JP4664897B2 (ja) 2006-12-25 2006-12-25 撮影ショット候補設定装置及び撮影ショット候補設定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006347986A JP4664897B2 (ja) 2006-12-25 2006-12-25 撮影ショット候補設定装置及び撮影ショット候補設定プログラム

Publications (2)

Publication Number Publication Date
JP2008160550A JP2008160550A (ja) 2008-07-10
JP4664897B2 true JP4664897B2 (ja) 2011-04-06

Family

ID=39660951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006347986A Active JP4664897B2 (ja) 2006-12-25 2006-12-25 撮影ショット候補設定装置及び撮影ショット候補設定プログラム

Country Status (1)

Country Link
JP (1) JP4664897B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6841977B2 (ja) * 2018-06-11 2021-03-10 富士フイルム株式会社 撮影支援装置、撮影支援方法、及び撮影支援プログラム
US11823715B2 (en) 2019-03-20 2023-11-21 Sony Group Corporation Image processing device and image processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185837A (ja) * 2000-12-18 2002-06-28 Oyo Keisoku Kenkyusho:Kk ロボットカメラ装置
JP2005295431A (ja) * 2004-04-05 2005-10-20 Nippon Hoso Kyokai <Nhk> 番組生成システム、コマンド生成装置、及び番組生成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185837A (ja) * 2000-12-18 2002-06-28 Oyo Keisoku Kenkyusho:Kk ロボットカメラ装置
JP2005295431A (ja) * 2004-04-05 2005-10-20 Nippon Hoso Kyokai <Nhk> 番組生成システム、コマンド生成装置、及び番組生成プログラム

Also Published As

Publication number Publication date
JP2008160550A (ja) 2008-07-10

Similar Documents

Publication Publication Date Title
JP6316968B2 (ja) 対話型画像合成
KR101458645B1 (ko) 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3d 프로젝션을 제공하는 방법 및 이를 위한 카메라
KR20190039774A (ko) 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램
JP2019004229A (ja) 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム
US20060251384A1 (en) Automatic video editing for real-time multi-point video conferencing
US9799136B2 (en) System, method and apparatus for rapid film pre-visualization
CN103491327A (zh) 投影型图像显示设备、图像投影方法以及计算机程序
JP2018036955A (ja) 画像処理装置、画像処理方法及びプログラム
JP6622650B2 (ja) 情報処理装置及びその制御方法、撮影システム
CN111316629B (zh) 图像处理装置和方法、成像装置和程序
JP7458889B2 (ja) 画像表示装置、制御方法、およびプログラム
US20200402281A1 (en) Image processing apparatus, image processing method, and storage medium
JP4741557B2 (ja) 撮影ショット制御装置及び撮影ショット制御プログラム
US20120229678A1 (en) Image reproducing control apparatus
JP4664897B2 (ja) 撮影ショット候補設定装置及び撮影ショット候補設定プログラム
JP2020102687A (ja) 情報処理装置、画像処理装置、画像処理方法、及びプログラム
JP2021119686A (ja) 情報処理装置、スイッチングシステム、プログラム及び方法
JP2008187678A (ja) 映像生成装置及び映像生成プログラム
KR102185642B1 (ko) 개인방송 시스템에서 사용하는 자동촬영 로봇장치
US10474743B2 (en) Method for presenting notifications when annotations are received from a remote device
KR20100093955A (ko) 디지털 영상신호 처리장치에서 이미지확대표시방법
JP4989596B2 (ja) 撮影ショット制御装置、協調撮影システム及びそのプログラム
KR101263881B1 (ko) 무인 방송 제어 시스템
JP2022182119A (ja) 画像処理装置およびその制御方法、プログラム
JP2010273057A (ja) 映像生成装置、映像生成方法、映像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110107

R150 Certificate of patent or registration of utility model

Ref document number: 4664897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250