以下に添付図面を参照しながら、本開示の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
<第1実施形態>
本開示の第1実施形態について説明する。第1実施形態は、スタジオに設置されたロボットカメラをスタジオ外(例えば、副調整室や中継車など)にいるオペレータが遠隔操作することが可能なリモートカメラシステムに関する。特に、第1実施形態は、オペレータがカメラマン目線でスタジオ内の環境を確認しながら撮影を行うことを可能にする仕組みに関する。
以下の説明では、説明の都合上、スタジオ撮影を想定するが、スタジオ以外の撮影現場で行う撮影についても第1実施形態に係るリモートカメラシステムを適用することができる。また、オペレータがスタジオ外にいることを想定して説明を進めるが、ロボットカメラから離れたスタジオ内の場所でオペレータが遠隔操作を行ってもよい。また、ロボットカメラの遠隔操作は、ロボットカメラが設置されるスタジオから地理的に離れた他のスタジオの副調整室や中継車などにいるオペレータが行ってもよい。こうした変形例についても当然に第1実施形態の技術的範囲に属する。
[1-1.リモートカメラシステム]
図1を参照しながら、第1実施形態に係るリモートカメラシステムについて説明する。図1は、第1実施形態に係るリモートカメラシステムの例を模式的に示した説明図である。
図1に示すように、第1実施形態に係るリモートカメラシステムは、ロボットカメラ10、制御コンピュータ21、及びHMD(Head Mounted Display)22を含む。
なお、第1実施形態に係るリモートカメラシステムに含まれるロボットカメラの台数及び形状については実施の態様に応じて任意に変形してもよい。また、オペレータOPが映像表示デバイスとしてHMD22を利用する場合を例に説明を進めるが、他の映像表示デバイス(例えば、頭部装着型ではないディスプレイ装置)が利用されてもよい。これらの変形例については、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第1実施形態の技術的範囲に属する。
(ロボットカメラ10について)
ロボットカメラ10は、メインカメラ11、視界カメラ12、ロボットアーム13、及びベース14を有する。また、ロボットカメラ10は、ロボットアーム13及びベース14を動かすための駆動機構(例えば、モータ)を制御する制御デバイス(図2の制御デバイス15)をさらに有する。制御デバイス15は、ロボットアーム13及びベース14を制御する機能に加え、通信経路N1を介して制御コンピュータ21と通信する機能、及びロボットカメラ10への給電を制御する機能をさらに有する。
メインカメラ11は、放送映像を出力するための撮像装置である。メインカメラ11は、レンズや光学フィルタなどの光学素子、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)などの撮像素子、及びDSP(Digital Signal Processor)、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)などのプロセッサを搭載する。メインカメラ11には、マイクが搭載されていてもよい。
また、メインカメラ11は、制御デバイス15及び制御コンピュータ21の少なくとも一方と有線又は無線で通信するための通信インターフェースを有する。例えば、メインカメラ11と制御コンピュータ21とが直接通信できる場合、制御デバイス15を介さずに制御コンピュータ21からメインカメラ11を制御することが可能になる。また、メインカメラ11は、制御デバイス15を介さずに、メインカメラ11から出力される映像(以下、メイン映像VM)を制御コンピュータ21に伝送することが可能になる。もちろん、メインカメラ11の制御及びメイン映像VMの伝送は、制御デバイス15を介して実行されてもよい。
ロボットアーム13は、関節部13a、13b、13c、13d、13e、13f、及び関節部13a、13b、13c、13d、13e、13fの間を接続する柱状のアーム部を有する。なお、図1の例では、6つの関節部に回転軸を有する6軸のロボットアームを例示したが、回転軸の数及び形状はこの例に限定されない。関節部の数及び形状が異なるロボットアームの構造については、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第1実施形態の技術的範囲に属する。
メインカメラ11は、ロボットアーム13の先端部に接続される。メインカメラ11は、例えば、関節部13bの回転軸を中心とする回転動作により左右(パン方向)に向きを変えることができる。また、メインカメラ11は、例えば、関節部13aの回転軸を中心とする回転動作により上下(チルト方向)に向きを変えることができる。なお、メインカメラ11のパン・チルト制御は、関節部13a、13bだけでなく、他の関節部の回転動作によって、或いは、他の関節部の回転動作を組み合わせて実現することも可能である。また、メインカメラ11の高さ及び前後(被写体に近づく又は遠ざかる方向)の位置は、関節部13a、13b、13c、13d、13e、13fの少なくとも1つにおける回転動作によるロボットアーム13の変形により制御されうる。
ロボットアーム13を変形させるための駆動機構として、関節部13a、13b、13c、13d、13e、13fのそれぞれにモータ(図示せず)が設けられている。例えば、関節部13aのモータを駆動することでメインカメラ11のチルト動作が実現でき、関節部13bのモータを駆動することでメインカメラ11のパン動作が実現できる。また、関節部13a、13b、13c、13d、13e、13fの動きを組み合わせることで、メインカメラ11を様々なアングルに対応する位置及び向きに移動することができる。モータの動作は、制御コンピュータ21から通信経路N1を介して伝送される制御信号に従って制御デバイス15が制御する。
ロボットアーム13は、ベース14に固定される。ベース14は、オペレータ又は補助スタッフが手動で移動させる手動式のベースであってもよいし、制御コンピュータ21から伝送される制御信号に従って自律的に移動する自走式のベースであってもよい。なお、ベース14の形状、構造及び移動機構については様々な変形が可能であり、これらについて、後段において、いくつかの変形例を示しながら、さらに説明する。そのような変形例についても当然に第1実施形態の技術的範囲に属する。
ベース14が自走式の場合、ベース14には、例えば、複数の車輪、一部又は全部の車輪を駆動するためのモータ(図示せず)、及びモータに給電するためのバッテリなどが搭載される。モータの動作は、制御コンピュータ21から通信経路N1を介して伝送される制御信号に従って制御デバイス15が制御する。なお、ベース14に搭載されたバッテリによりロボットカメラ10の電力が賄われてもよい。また、バッテリ以外の給電手段により電力が供給されてもよい。例えば、スタジオ内の電源設備から、電源ケーブルを介して電力が供給されてもよいし、ワイヤレス電力伝送により電力が供給されてもよい。
視界カメラ12は、オペレータOPにスタジオ内の様子を提供するための映像を撮る目的で設置される撮像装置である。図1の例において、視界カメラ12は、メインカメラ11に物理的に接続されている。視界カメラ12は、実際にメインカメラ11をカメラマンが操作して撮影する際にカメラマンの目が位置する場所(メインカメラ11の位置を基準に予め設定される場所)の近傍に配置される。視界カメラ12の設置方法については、後段において、図3~図5を参照しながら、さらに説明する。
視界カメラ12は、人間の視野より広い画角を有する広角カメラである。例えば、視界カメラ12は、全方位の映像(360°映像)を撮像することが可能な全方位カメラである。以下では、説明の都合上、視界カメラ12が全方位カメラである場合を例に説明するが、視界カメラ12は、ロボットカメラ10の周囲を取り囲む広い画角の映像(例えば、180°映像、270°映像)を撮像可能な広角カメラであってもよい。
また、視界カメラ12は、制御デバイス15及び制御コンピュータ21の少なくとも一方と有線又は無線で通信するための通信インターフェースを有する。例えば、視界カメラ12と制御コンピュータ21とが直接通信できる場合、制御デバイス15を介さずに制御コンピュータ21から視界カメラ12を制御することが可能になる。また、視界カメラ12は、制御デバイス15を介さずに、視界カメラ12から出力される映像(以下、全方位映像VE)を制御コンピュータ21に伝送することが可能になる。もちろん、視界カメラ12の制御及び全方位映像VEの伝送は、制御デバイス15を介して実行されてもよい。
通信経路N1は、有線ネットワーク、無線ネットワーク、及び専用回線(光回線など)の少なくとも1つを含む。例えば、メイン映像VM及び全方位映像VEの映像信号は比較的高速な無線ネットワークで制御コンピュータ21に伝送され、制御信号は比較的低速な無線ネットワークで伝送されるように通信経路N1が設計されてもよい。また、メイン映像VM及び全方位映像VEの映像信号が比較的高速な光回線で伝送され、制御信号が比較的低速な無線伝送されるようにしてもよい。通信経路N1の設計については実施の態様に応じて適宜変形されうる。
(制御コンピュータ21について)
制御コンピュータ21は、例えば、サーバ、ワークステーション、PC(Personal Computer)、又はベースステーションなどのコンピュータである。
制御コンピュータ21は、オペレータOPによる操作デバイスへの操作入力に応じて、ロボットカメラ10に操作内容を伝えるための制御信号を生成する。そして、制御コンピュータ21は、通信経路N1を介して制御信号をロボットカメラ10の制御デバイス15に伝送する。また、制御コンピュータ21は、通信経路N1を介して、メインカメラ11からメイン映像VMを受信し、視界カメラ12から全方位映像VEを受信する。
メイン映像VMを受信した制御コンピュータ21は、通信経路N2を介してオペレータOPのHMD22へとメイン映像VMを伝送する。通信経路N2は、有線ネットワーク、無線ネットワーク、及び専用回線(光回線など)の少なくとも1つを含む。例えば、通信経路N2は、MIMO(Multiple-Input and Multiple-Output)などの高速無線伝送技術を利用した無線通信回線である。
メイン映像VMをHMD22へと伝送するとき、制御コンピュータ21は、メイン映像VMのデータサイズを圧縮し、圧縮後のメイン映像VMをHMD22に伝送してもよい。圧縮の方法としては、例えば、フレームレートを下げる方法、各フレームの解像度を下げる方法、及び、MPEG(Moving Picture Experts Group)などのワーキンググループで策定される標準の動画圧縮方式で映像信号を圧縮する方法などが適用されうる。
全方位映像VEを受信した制御コンピュータ21は、オペレータOPの視線方向及び全方位映像VEに基づいて視界映像を生成する。視界映像は、オペレータOPの視線方向に応じて変化し、カメラマン目線で見たスタジオ内の様子(メインカメラ11をスタジオ内でカメラマンが操作すると仮定した場合にカメラマンの視界に入る範囲)に対応する映像である。視界映像の生成方法については後述する。制御コンピュータ21は、通信経路N2を介して視界映像をHMD22へと伝送する。このとき、制御コンピュータ21は、上述したメイン映像VMの圧縮方法と同様の方法で視界映像を圧縮してもよい。
(HMD22について)
図1の例において、ロボットカメラ10を遠隔操作するオペレータOPは、HMD22を頭部に装着している。HMD22は、映像を表示するための映像表示デバイス221を搭載している。なお、頭部装着型デバイスとしては、HMDの他にも、例えば、スマートグラスなどがある。また、変形例として、頭部装着型デバイスではない入力デバイス及び出力デバイスを利用してHMD22の機能を実現することも可能である。これらの変形例については、後段において、いくつかの具体例を示しながら、さらに説明する。
映像表示デバイス221は、第1の表示領域221a及び第2の表示領域221bを区画し、第1の表示領域221a及び第2の表示領域221bに互いに異なる映像を表示することができる。図1の例では、映像表示デバイス221の画面全体に第2の表示領域221bが設定され、第2の表示領域221bよりもサイズが小さい第1の表示領域221aが画面中央に配置されている。
第1の表示領域221a及び第2の表示領域221bの位置及びサイズは変更することができる。例えば、第1の表示領域221aが画面の四隅のいずれか1つに寄せて配置されてもよいし、或いは、映像表示デバイス221の画面全体に第1の表示領域221aが設定され、第2の表示領域221bが第1の表示領域221aの上にオーバーレイ表示されてもよい。また、第1の表示領域221aと第2の表示領域221bとが上下又は左右に並べて配置されてもよいし、第1の表示領域221a及び第2の表示領域221bの一方が一時的に表示されないようにしてもよい。
例えば、第1の表示領域221aにはメイン映像VMが表示され、第2の表示領域221bには視界映像が表示される。なお、表示されるメイン映像VM及び視界映像は、同時刻の映像(同じタイミングで出力される映像)である。つまり、映像表示デバイス221に同時に表示されるメイン映像VMの映像フレームと視界映像の映像フレームとは、同じ時刻に対応する映像フレームである。但し、メイン映像VMと全方位映像VEとの間のフレームレートの差や通信状態などによって生じうるタイムラグについては許容されうる。視界映像は、カメラマン目線で見たスタジオ内の様子を映し出す映像である。また、オペレータOPの視線方向に応じて視界映像が変化する。そのため、オペレータOPは、実際にスタジオ内にいるような感覚でロボットカメラ10を操作することが可能になる。
HMD22は、映像表示デバイス221の非透過表示と透過表示とを切り替える機能を搭載していてもよい。また、HMD22は、オペレータOPが下を向いた場合(手元を見た場合)に透過表示に切り替える機能を搭載していてもよい。映像表示デバイス221が透明ディスプレイである場合、透過表示のモードではオペレータOPが外の様子を視認できる程度の透過率(例えば、80%)に透明度が制御され、非透過表示のモードでは透過率0%に透明度が制御される。
映像表示デバイス221が非透明ディスプレイである場合、透過表示のモードではHMD22の前面に搭載されたカメラ(図示せず)の映像(以下、手元映像)が画面に表示され、非透過表示のモードでは画面に通常の映像(メイン映像VM、視線映像)が表示されてもよい。例えば、透過表示のモードでは第2の表示領域221bに手元映像が表示され、非透過表示のモードでは第2の表示領域221bに視界映像が表示されるように表示内容が制御されてもよい。また、手元映像は、第1の表示領域221a及び第2の表示領域221bとは異なる第3の表示領域に表示されてもよい。
上記の切り替え機能を搭載することで、HMD22を装着した状態で、オペレータOPが操作デバイス(図2の操作デバイス23)を視認することが可能になる。HMD22の表示についての他の変形例として、スタジオ内に他のカメラ(ロボットカメラ以外のカメラを含みうる。)がある場合、他のカメラから出力されるメイン映像(例えば、リターン映像)が画面の一部に表示されてもよい。例えば、メイン映像VMが表示される第1の表示領域221aの一部(例えば、第1の表示領域221aを四分割した区画の1つ)にリターン映像が表示されてもよい。また、リターン映像は、第1の表示領域221a及び第2の表示領域221bとは異なる少なくとも1つの第3の表示領域に表示されてもよい。
(システム構成について)
次に、図2を参照しながら、第1実施形態に係るリモートカメラシステムについて、さらに説明する。図2は、第1実施形態に係るリモートカメラシステムに含まれる装置の例について説明するためのブロック図である。
図1を参照しながら既に説明したように、ロボットカメラ10は、メインカメラ11、視界カメラ12、ロボットアーム13、ベース14、及び制御デバイス15を有する。
ロボットカメラ10の動作を制御するための制御コンピュータ21は、コントロールシステム20に含まれる。コントロールシステム20は、例えば、副調整室や中継車などのスタジオ外に設置されうる。また、コントロールシステム20は、ロボットカメラ10があるスタジオから地理的に離れた場所(例えば、ロボットカメラ10があるスタジオから地理的に離れた放送局など)に設置されてもよい。
ロボットカメラ10とコントロールシステム20とは通信経路N1を含むネットワークNWにより接続される。上記のように、互いに地理的に離れた場所にロボットカメラ10とコントロールシステム20とが設置される場合、ネットワークNWには、例えば、光ファイバ通信網などを含む広域ネットワークが含まれうる。一方、同じ放送局内にロボットカメラ10とコントロールシステム20とが設置される場合など、設置場所が距離的に近い場合、ネットワークNWは、無線LAN(Local Area Network)などの無線ネットワークでもよい。
図2に示すように、コントロールシステム20は、制御コンピュータ21、HMD22、及び操作デバイス23を含む。
HMD22は、映像表示デバイス221及び視線検知デバイス222を有する。視線検知デバイス222は、HMD22を頭部に装着したオペレータOPの視線方向を検知する。例えば、視線検知デバイス222は、加速度センサ、磁気センサ、ジャイロスコープなどのモーションセンサを含み、モーションセンサの出力に基づいて頭部の動きを検知する。
オペレータOPの視線方向は、例えば、オペレータOPの顔面から映像表示デバイス221の画面へと向かう方向に設定されうる。オペレータOPが直立姿勢のときの視線方向を基準(正面)に設定することで、モーションセンサの出力から、現在の視線方向を正面からのズレ量(例えば、頭部の上下左右の回転角、又は、頭部を基点とする現在の視線方向を示す単位ベクトル)として求めることができる。視線検知デバイス222は、オペレータOPの視線方向を検知し、検知した視線方向の情報を制御コンピュータ21へと出力する。
操作デバイス23は、ロボットカメラ10を操作するためのコントローラである。操作デバイス23は、例えば、コントローラ(例えば、Kinect(登録商標)コントローラ)、ジョイスティック、ジョイパッド、キーボード、マウス、タッチパネル、ウェアラブル端末、又は、放送用カメラの操作インターフェースを模した専用コントローラなどである。なお、後段において、いくつかの操作デバイスの具体例を示しながら、操作デバイス23の具体的な構成及びその変形例について、さらに説明する。
ところで、メインカメラ11から出力されるメイン映像VM及び視界カメラ12から出力される全方位映像VEはネットワークNWを介して制御コンピュータ21に伝送される。制御コンピュータ21は、受信した全方位映像VEから視界映像を生成する。そして、メイン映像VM及び視界映像は、制御コンピュータ21からHMD22へと伝送され、HMD22の映像表示デバイス221に表示される。
視線検知デバイス222から出力される視線方向の検知結果は、逐次、制御コンピュータ21へと出力される。制御コンピュータ21は、視界映像を生成するとき、視線検知デバイス222から出力される視線方向の検知結果を利用する。例えば、制御コンピュータ21は、カメラマン目線の視界に対応する映像として、現在の視線方向の視界範囲に収まる部分映像を全方位映像VEから切り出し、切り出した部分映像を視界映像として出力する。
オペレータOPは、操作デバイス23を利用して、メインカメラ11に対するカメラ設定の変更や、ロボットアーム13の動き制御及びベース14の動き制御を行う。カメラ設定の変更により、ズーム、フォーカス、露出(F値、ISO感度)などの設定が変更される。ロボットアーム13の動き制御により、各関節部のモータを駆動してメインカメラ11のパン角、チルト角、高さ、前後左右の位置などが調整される。ベース14の動き制御は、スタジオ内におけるロボットカメラ10の移動制御である。
視界カメラ12から出力される全方位映像VEは、オペレータOPによる操作入力がなくても撮影時には制御コンピュータ21へと出力される。また、視界カメラ12は、カメラマン目線の視界を提供するようにメインカメラ11又はロボットアーム13の適切な位置に設置されているため、制御コンピュータ21により全方位映像VEから好適な視界映像が得られる。なお、操作デバイス23により視界カメラ12のカメラ設定を変更できるようにしてもよい。例えば、明るさや露出補正などの設定変更が可能であってもよい。
(視界カメラの配置)
ここで、図3~図5を参照しながら、第1実施形態に係る視界カメラの配置及び接続部の構造について説明する。なお、以下の説明では、表記を簡略化するため、図3の(a)を図3A、(b)を図3B、(c)を図3Cと表記する場合がある。図1に例示した視界カメラ12の配置は図3Bの配置例に対応する。
まず、図3Aを参照しながら、視界カメラ12の一配置例(以下、配置例#1)について説明する。図3Aは、第1実施形態に係る視界カメラの配置及び接続部の構造について説明するための第1の模式図である。
配置例#1では、カメラマンが肩にカメラを担ぐスタイル(以下、肩担ぎスタイル)で撮影するときにカメラマンの目が位置する場所に視界カメラ12のレンズが配置されている。この例では、メインカメラ11の筐体側部に視界カメラ12を取り付けるための接続部12aが設けられ、接続部12aに視界カメラ12が固定されている。接続部12aの構造は、例えば、視界カメラ12の底部及び側部を支持し、視界カメラ12が載置されて取り外し可能な状態で固定される構造である。
なお、接続部12aの構造は図3Aの例に限定されない。例えば、視界カメラ12をバンドで固定する構造、或いは、磁石やネジなどの固定手段により視界カメラ12を固定する構造であってもよい。また、図3Aの例では、メインカメラ11を右肩で担いだカメラマンの顔が位置する場所付近(右側部)に接続部12aが設けられているが、左肩で担いだカメラマンの顔が位置する場所付近(左側部)に接続部12aが設けられてもよい。
次に、図3Bを参照しながら、視界カメラ12の別の配置例(以下、配置例#2)について説明する。図3Bは、第1実施形態に係る視界カメラの配置及び接続部の構造について説明するための第2の模式図である。
配置例#2では、カメラを三脚又はペデスタルに載せた状態でカメラマンがカメラ背後から操作するスタイル(以下、直立スタイル)で撮影する場合にカメラマンの目が位置する場所に視界カメラ12のレンズが配置されている。この例では、メインカメラ11の筐体背部(レンズマウントがある面と反対側)後方に視界カメラ12を配置するための接続部12bが設けられ、接続部12bに視界カメラ12が固定されている。
また、図3Bの例では、筐体背部の面より後ろに視界カメラ12のレンズが位置するように、メインカメラ11と接続部12bとが接続される部分から、視界カメラ12が載置される部分までの距離が所定の長さ(例えば、15cm)以上に設定されている。
接続部12bの構造は、例えば、視界カメラ12の底部及び側部を支持し、視界カメラ12が載置されて取り外し可能な状態で固定される構造である。なお、接続部12bの構造は図3Bの例に限定されない。例えば、視界カメラ12をバンドで固定する構造、或いは、磁石やネジなどの固定手段により視界カメラ12を固定する構造であってもよい。
次に、図3Cを参照しながら、視界カメラ12のさらに別の配置例(以下、配置例#3)について説明する。図3Cは、第1実施形態に係る視界カメラの配置及び接続部の構造について説明するための第3の模式図である。
配置例#3では、上述した配置例#1の接続部12a及び上述した配置例#2の接続部12bがメインカメラ11に設けられており、視界カメラ12の配置を変更することができる。接続部12a、12bは予めメインカメラ11に固定されてもよい。視界カメラ12の配置を変更できるようにすることで、スタジオセットの種類や配置、カメラマンの得意な撮影スタイルなどに応じて肩担ぎスタイルと直立スタイルとを切り替えることが可能になる。
次に、図4を参照しながら、視界カメラ12のさらに別の配置例(以下、配置例#4)について説明する。図4は、第1実施形態に係る視界カメラの配置及び接続機構の構造について説明するための第4の模式図である。
配置例#4では、接続部12cの一端がロボットアーム13(この例では、メインカメラ11をチルトするための関節部13a付近)に接続されている。また、接続部12cの他端には、視界カメラ12の底部及び側部を支持するための支持機構が設けられ、支持機構に視界カメラ12が固定されている。
また、接続部12cは、ロボットアーム13と接続する部分に回転機構を有し、メインカメラ11の光軸が水平面内からチルト角λTだけチルトしたときに、角度-λTだけ回転して視界カメラ12の正面方向を水平面内に維持する。例えば、前面及び背面のそれぞれにレンズを配置した全方位カメラの場合、各レンズの光軸が水平面内に維持される。
実際にカメラを操作して撮影を行うカメラマンは、カメラをチルトさせた場合でも、自らの視線をチルト角の分だけ傾けて固定することは多くないだろう。通常、カメラマンは、ある程度、撮影姿勢を維持した状態でファインダやカメラ周囲の環境を見ている。そのため、メインカメラ11のチルトに追従して視界カメラ12の姿勢が変わると、視界カメラ12の正面方向とカメラマン目線との間にズレが生じて違和感の原因になりうる。しかし、上述した接続部12cの構成を適用すれば、このような違和感の低減が期待できる。
後述するように、上記のような視界カメラ12の正面方向とカメラマン目線とのズレは、全方位映像VEから視線映像を生成するときに補正することができる。他方、配置例#4のように視界カメラ12の姿勢を機械的に補正できると視線映像を生成する際の補正が省略できるため、制御コンピュータ21による映像処理の負担を減らすことができる。
なお、視界カメラ12が全方位カメラ以外の広角カメラ(例えば、180°映像又は270°映像を出力する広角カメラ)である場合、上方に大きくチルトするメインカメラ11の動きに視界カメラ12の向きが追従すると、視界カメラ12の出力映像にはカメラマンの足下が含まれなくなることがある。この場合、足下の映像が得られず、足下の視界映像が一部欠損する可能性がある。しかし、上述した接続部12cの構成を適用すれば、このような視界映像の欠損を回避することができる。
次に、図5を参照しながら、視界カメラ12のさらに別の配置例(以下、配置例#5)について説明する。図5は、第1実施形態に係る視界カメラの配置及び接続機構の構造について説明するための第5の模式図である。
配置例#5では、図4に示した接続部12cと同じ構造を有する接続部12dが配置例#4とは異なるロボットアーム13の部位に接続されている。このように、接続部12dがロボットアーム13に接続される位置は実施の態様に応じて適宜変更されうる。図5の例では、最も床に近い位置にある関節部13fの近傍に接続部12dが接続されているが、ベース14に接続部12dが接続されてもよい。この場合、カメラマンの目が位置する高さになるように接続部12dのサイズや形状が設計されうる。
上述した配置例#1~#5及びこれらの変形例のように、実際にカメラを操作するカメラマンの目が位置する場所の近傍に視界カメラ12のレンズを配置することで、視界カメラ12の出力映像から、カメラマン目線で見える光景に近い視界映像を得ることができる。なお、更なる変形例として、スタジオセットなど、ロボットカメラ以外のスタジオ内の機材や構造物に視界カメラ12を配置することも可能である。以下では、説明の都合上、配置例#2を想定して説明を進める。
(ロボットカメラの設置方法)
次に、図6を参照しながら、ロボットカメラ10の設置方法について説明を補足する。図6は、第1実施形態に係るロボットカメラの設置方法について説明するための模式図である。
上記の説明において、ロボットカメラ10は、メインカメラ11が接続されているロボットアーム13を、移動可能なベース14に載置する構造を有していた。この構造にした場合、ロボットカメラ10は、スタジオの床上に設置され、スタジオ内を動き回ることができる。但し、第1実施形態に係る技術を適用可能なロボットカメラ10の構造はこれに限定されない。例えば、ロボットカメラ10は、図6に示すように、床面FL、天井CL、壁面WLに、ロボットアーム13の一端(メインカメラ11が接続される端部と反対側の端部)が固定される構造を有していてもよい。
スタジオの天井CLや、スタジオセットの壁面WLにロボットアーム13が固定される構造を適用すれば、ペデスタルに乗せたカメラを利用して行う通常のスタジオ撮影では難しい特殊なアングルからの撮影が可能になる。また、ニュース番組の撮影や、クロマキー撮影などの場合には、全てのロボットカメラ10がスタジオ内を動き回れるようにしなくてもよいことがある。この場合、移動可能なベース14を省略して床面FLなどにロボットカメラ10を固定する構造を適用すればコストの低減が期待されうる。
(ベースの変形例)
次に、図7を参照しながら、ベース14の変形例について説明する。図7は、第1実施形態に係るベースの変形例について説明するための模式図である。
上記の説明において、ベース14は、車輪により移動可能な構造を有していた。この構成にした場合、車輪の回転によりベース14がスタジオ内を自由に動き回ることができる。また、上記の説明では、ベース14は、ロボットカメラ10をスタジオ内で移動させる役割を担っていた。但し、第1実施形態に係る技術を適用可能なベース14の構造はこれに限定されない。
例えば、ベース14は、図7(a)に示すように、メインカメラ11が接続されているロボットアーム13を昇降させる昇降機構142a、及びレール142cに合う幅で配置された複数の車輪を有する移動機構142bを有する構造であってもよい。他の変形例として、ベース14は、図7(b)に示すように、昇降機構143付きのペデスタルであってもよい。さらに、ベース14は、図7(c)に示すように、パン棒144a、及び脚部144bを有する三脚であってもよい。このような変形例についても第1実施形態に係る技術を適用可能である。
(ロボットアームの変形例)
次に、図8を参照しながら、ロボットアーム13の変形例について説明する。図8は、第1実施形態に係るロボットアームの変形例について説明するための模式図である。
上記の説明において、6軸のロボットアーム13を例示した。しかし、第1実施形態に係る技術を適用可能なロボットアーム13の構造はこれに限定されない。例えば、図8に例示したような7軸のロボットアーム131を適用することも可能である。ロボットアーム131は、7つの関節部131a、131b、131c、131d、131e、131f、131gを有し、各関節部(図中の鎖線で示した部分)が回転して、例えば、図8(b)に示すような形状に変形することができる。このように関節部の数が増えることで、よりアクロバティックなカメラアングルを実現できるようになる可能性がある。
(視界映像の表示制御)
次に、図9~図11を参照しながら、第1実施形態に係る視界映像の表示制御について具体例を挙げて説明する。以下では、説明の都合上、図9に例示するスタジオ内の様子をロボットカメラ10で撮影する場合について説明を行う。図9は、第1実施形態に係るロボットカメラが配置されるスタジオ内の様子について説明するための模式図である。
図9に模式的に示したスタジオ内には、2台のロボットカメラ(CAM#1、CAM#2)、スタジオセットSS、表示モニタM、及び出演者m1、m2、m3が存在する。この例では、CAM#1がロボットカメラ10であるとする。ロボットカメラ10は、出演者m1、m2をメインカメラ11で撮影している。CAM#2は、表示モニタM及び出演者m3を撮影している。
この例では、HMD22の第1の表示領域221aにはメイン映像VMが表示され、第2の表示領域221bには視界映像が表示される。図10に示すように、オペレータOPが正面を向いている場合(撮影方向にオペレータOPの頭部OPa及びボディOPbが向いている場合)、出演者m1、m2、スタジオセットSSなどを含む視界映像が第2の表示領域221bに表示される。図10は、第1実施形態に係る視界映像及びメイン映像の表示制御について説明するための第1の説明図である。
図10の状態から、オペレータOPが頭部OPaを右側に向けた場合(角度θだけ回転した場合)、図11に示すように、第2の表示領域221bに表示される視界映像は、表示モニタM及び出演者m3を含む映像となる。つまり、カメラマンがスタジオ内で右側を向いたときに見える範囲の映像が第2の表示領域221bに表示される。図11は、第1実施形態に係る視界映像及びメイン映像の表示制御について説明するための第2の説明図である。なお、角度θに応じて視界映像に含まれる光景は連続的に変化する。
なお、オペレータOPが実際に頭部OPaを回転した角度θと、視界映像の基準となる視線方向の回転角度ηとは一致していてもよいし、異なってもよい。例えば、視線方向の回転角度ηが頭部OPaの回転角度θに比例する場合、回転角度θ、ηの関係は、係数γを用いて以下の式(1)により与えられる。γが1より大きい場合(γ>1)、頭部OPaを少し回転させるだけで、実際に頭部OPaを回転させて見える光景よりも広い範囲の光景を視界映像として見ることができる。例えば、γ=3に設定すると、頭部OPaを正面方向から60°回転させたとき、視界映像には真後ろの光景が映し出される。
η=γ×θ …(1)
上記のように、第1の表示領域221aにメイン映像VMを表示しつつ、第2の表示領域221bに表示される視界映像が変化することで、オペレータOPは、スタジオ内でVF(View Finder)を確認しながら周囲を見渡す感覚でロボットカメラ10を操作することが可能になる。また、係数γを1より大きく設定することで、実際には頭部OPaを回転しても見ることができない背後の光景までも視界映像で見ることが可能になる。なお、変形例として、メイン映像VM及び視界映像の表示をVR(Virtual Reality)表示にしてもよい。VR表示にすることで、オペレータOPは、よりリアルにスタジオ内で撮影している感覚を味わうことができる。
(操作デバイスの例)
次に、図12を参照しながら、操作デバイス23の一例として、GUIを利用する操作デバイスの具体的な構成を例示し、操作デバイス23の構成及び機能について説明する。図12は、第1実施形態に係る操作デバイスの例を模式的に示した説明図である。
図12の例は、タッチパネルを搭載するタブレット端末などのデバイスを利用してGUI(Graphical User Interface)により操作デバイス23の機能を実現する方法を示している。図12に示した操作デバイス23は、操作領域A1、A2、A3、B1、B2、C1、C2、D3及びボタンオブジェクトD1、D2を有する。なお、符号U1、U2はオペレータOPの指を示している。
操作領域A1、A2、A3は、ロボットアーム13(ARM)の動き制御に用いられる操作部である。操作領域B1、B2は、ベース14(BASE)の動き制御に用いられる操作部である。操作領域C1、C2は、メインカメラ11のカメラ設定を変更する操作に用いられる操作部である。操作領域D3は、ロボットカメラの乗り換え操作に用いられる操作部である。
ボタンオブジェクトD1は、オペレータOPが「正面」(図10の状態を参照)を向いている状態の視線方向(直立姿勢時の視線方向)を設定する操作に用いられる。ボタンオブジェクトD2は、視界映像として切り出される範囲(オペレータOPの視野に相当する範囲)を一時的に拡張する操作に用いられる。なお、ボタンオブジェクトD2には、上述した係数γを変更する機能(例えば、γを1から2、及び2から1に変更する機能)が割り当てられてもよい。
操作領域A1は、メインカメラ11をパン方向に回転させるためのディスクオブジェクトA1aと、メインカメラ11の向きを表示するためのカメラオブジェクトA1bとを含む。例えば、オペレータOPがディスクオブジェクトA1aに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてカメラオブジェクトA1bが回転し、ロボットアーム13の関節部が動いて、回転角ψの分だけメインカメラ11の向きがパン方向に変化する。なお、操作領域A1の中央を縦断する鎖線はパン角が0°の位置を表している。
操作領域A2は、メインカメラ11をチルト方向に回転させるためのディスクオブジェクトA2aと、メインカメラ11の向きを表示するためのカメラオブジェクトA2bとを含む。例えば、オペレータOPがディスクオブジェクトA2aに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてカメラオブジェクトA2bが回転し、ロボットアーム13の関節部が動いて、回転角λTの分、メインカメラ11の向きがチルト方向に変化する。なお、操作領域A2の中央を横断する鎖線はチルト角が0°の位置を表している。
操作領域A3は、メインカメラ11を上下に移動させるためのボタンオブジェクトUP、DOWNと、メインカメラ11を左右に移動させるためのボタンオブジェクトL、Rと、ロックボタンA3aとを含む。
例えば、オペレータOPがボタンオブジェクトUPをタッチすると、メインカメラ11の位置が光軸に垂直な面内で垂直上方に移動する。一方、オペレータOPがボタンオブジェクトDOWNをタッチすると、メインカメラ11の位置が光軸に垂直な面内で垂直下方に移動する。また、オペレータOPがボタンオブジェクトLをタッチすると、メインカメラ11の位置が光軸に垂直な面内で水平左方に移動する。一方、オペレータOPがボタンオブジェクトRをタッチすると、メインカメラ11の位置が光軸に垂直な面内で水平右方に移動する。
なお、ボタンオブジェクトUP、DOWN、L、Rを押下している間だけメインカメラ11の移動が継続されるようにしてもよい。ロックボタンA3aが押下されると、現在のメインカメラ11の位置及び向きがロックされる。ロック状態では、操作領域A1、A2による操作、及びボタンオブジェクトUP、DOWN、L、Rによる操作が無視される。ロック状態でもう一度ロックボタンA3aを押下するとロックが解除される。ロックボタンA3aを利用することで、画角を固定した撮影が容易になる。なお、操作領域A1、A2、A3のうち一部の操作だけをロックするようにオペレータOPが設定できるようにしてもよい。
操作領域B1は、ベース14を前進させるためのボタンオブジェクトFwと、ベース14を後退させるためのボタンオブジェクトBwとを含む。例えば、オペレータOPがボタンオブジェクトFwをタッチすると、タッチしている間だけベース14が前進する。一方、オペレータOPがボタンオブジェクトBwをタッチすると、タッチしている間だけベース14が後退する。なお、ベース14に障害物センサ(図示せず)が搭載されている場合、例えば、ボタンオブジェクトFw、Bwをタッチしている間でも、ベース14が障害物を検知して自律的に停止する。
操作領域B2は、ベース14をその場で回転させるためのディスクオブジェクトB2aを含む。例えば、オペレータOPがディスクオブジェクトB2aに沿って円弧状にスワイプ操作すると、スワイプ操作に応じてベース14が回転し、ベース14の進行方向が変わる。なお、上記の説明では、前進、後退、回転を組み合わせてベース14を移動させる方法について説明したが、ベース14の操作方法はこれに限定されない。例えば、前方、後方、左、右、左前方、右前方、左後方、右後方の移動にそれぞれ対応するボタンオブジェクトを設け、これによりベース14を移動させる方法でもよい。
また、操作領域B1、B2についての変形例として、例えば、スタジオを誕生から見下ろす形で見たときの要素を表す平面図、或いは、スタジオ内の様子を表す鳥瞰図を操作領域に表示し、その中にあるロボットカメラ10のオブジェクトをドラッグする操作で、ベース14の移動軌跡を指示できるようにする操作領域が設けられてもよい。このように、ドラッグ操作でロボットカメラ10のスタジオ内における移動を制御できるようにすることで、オペレータOPは直感的にロボットカメラ10を移動できるようになる。
操作領域C1は、メインカメラ11のズーム設定を変更するためのスライダオブジェクトC1aを含む。オペレータOPがスライダオブジェクトC1aをテレ端(T)方向にスライドさせると焦点距離が長くなるようにメインカメラ11のレンズが制御され、ワイド端(W)方向にスライドさせると焦点距離が短くなるようにレンズが制御される。なお、メインカメラ11のレンズが単焦点レンズである場合、操作領域C1の表示は無効化又は省略されうる。
操作領域C2には、メイン映像VMが表示される。オペレータOPが操作領域C2をタッチすると、タッチした場所にフォーカスが合うようにメインカメラ11が制御される。なお、操作領域C2に表示されるメイン映像VMは、解像度及びフレームレートの少なくとも一方が低くなるようにダウンコンバートされた映像であってもよい。
操作領域D3には、CAM#2のメイン映像が表示される。なお、操作領域D3に表示されるメイン映像は、解像度及びフレームレートの少なくとも一方が低くなるようにダウンコンバートされた映像であってもよい。例えば、オペレータOPが操作領域D3をタッチすると、CAM#2への乗り換え処理が実行される。なお、誤って切り替え処理が実行されることを防止するため、操作領域D3に対するジェスチャー入力により切り替え処理が実行されるようにしてもよい。
CAM#2への切り替え処理が実行されると、HMD22に表示されるメイン映像及び視界映像はCAM#2のメイン映像及び視界映像に切り替えられる。また、操作デバイス23の操作領域A1、A2、A3、B1、B2、C1、C2、D1、D2に対する操作は、CAM#2の制御に対応する操作になる。また、操作領域D3には、CAM#1(ロボットカメラ10)のメイン映像が表示される。
なお、スタジオ内に3以上のカメラ(ロボットカメラ以外のカメラを含みうる。)がある場合、操作領域D3はn個(n≧2)の部分領域に分割されてもよく、各部分領域にそれぞれ異なる他のカメラからのメイン映像が表示されてもよい。この場合、オペレータOPによりタッチされた部分領域に対応するカメラへの切り替え処理が実行される。
上述した操作デバイス23のGUIは一例であり、第1実施形態に係る技術の適用範囲はこれに限定されない。例えば、各操作領域に表示されるオブジェクトの形状、種類及び数は実施の態様に応じて適宜変形可能である。また、一部の操作領域を省略する変形や、操作領域又はオブジェクトを追加する変形が可能である。このような変形例についても当然に第1実施形態の技術的範囲に属する。
(操作デバイスの変形例)
次に、図13~図16を参照しながら、操作デバイス23の変形例について説明する。
まず、図13を参照しながら、ゲームコントローラ型の操作デバイス231について説明する。図13は、第1実施形態に係る操作デバイスの変形例について説明するための第1の説明図である。
図13に示すように、操作デバイス231は、ボタン型の操作部231a、231b、スティック型の操作部231c、231d、及び十字キー型の操作部231eを有する。例えば、操作部231aには、メインカメラ11のズーム制御機能が割り当てられうる。操作部231bには、メインカメラ11のフォーカス制御機能が割り当てられうる。操作部231cにはメインカメラ11のパンチルト制御機能が割り当てられうる。
操作部231dには、ロボットアーム13の動き制御(例えば、メインカメラ11を垂直面内で上下左右に動かす動きに対応する動き制御)が割り当てられうる。操作部231eには、ロボットアーム13の細かな動き制御が割り当てられうる。例えば、操作部231dによる操作ではロボットアーム13の動きが速く、操作部231eの操作では遅い速度でロボットアーム13の動きが制御される。操作部231eをカメラ位置の微調整に使うことで、効率的にメインカメラ11を所望の位置に移動することができるようになる。
次に、図14を参照しながら、スタジオカメラのコントロールシステムとして利用される入力インターフェースの一部に操作デバイス23の機能を割り当てた操作デバイス232について説明する。図14は、第1実施形態に係る操作デバイスの変形例について説明するための第2の説明図である。
図14に示すように、操作デバイス232は、任意の回転量で回転可能なダイヤル型の操作部232a、始点と終点との間に回転量が制限されるダイヤル型の操作部232b、232c、レバー型の操作部232d、及び複数のボタンを有する操作部232eを有する。例えば、操作部232aには、メインカメラ11のフォーカス制御機能及びズーム機能が割り当てられうる。フォーカス制御機能及びズーム機能は、例えば、操作部232eの特定のボタンを押下することにより切り替えられる。
操作部232bには、メインカメラ11のパンチルト制御機能が割り当てられる。パン制御機能及びチルト制御機能は、例えば、操作部232eの特定のボタンを押下することにより切り替えられる。操作部232cには、ベース14の向きを左右に向ける方向制御機能が割り当てられうる。操作部232dには、ベース14の速度制御機能が割り当てられうる。操作部232eには、各操作部に割り当てられる機能の切り替え機能、及び制御対象となるロボットカメラの切り替え機能などが割り当てられうる。
次に、図15を参照しながら、ウェアラブルデバイス型の操作デバイス233a、233bについて説明する。図15は、第1実施形態に係る操作デバイスの変形例について説明するための第3の説明図である。
図15に示すように、操作デバイス233a、233bは、オペレータOPが手に持って、或いは、身体に装着した状態で利用される。例えば、操作デバイス233aは、オペレータOPが右手で操作する。操作デバイス233bは、オペレータOPが左手で操作する。操作デバイス233aは、ロボットアーム13を操作するための操作部RCと、モーションセンサとを搭載している。操作デバイス233bは、メインカメラ11を操作するための操作部CCと、モーションセンサとを搭載している。
操作デバイス233aの操作部RCには、例えば、ロボットアーム13を上下左右に動かす動き制御の機能が割り当てられうる。操作デバイス233bの操作部CCには、例えば、メインカメラ11のズーム制御機能及びフォーカス制御機能が割り当てられうる。また、操作デバイス233aを前方Fw、後方Bw、右方向R、左方向Lに動かすジェスチャーにロボットアーム13の動きを割り当てることができる。また、操作デバイス233bを前方Fw、後方Bw、右方向R、左方向Lに動かすジェスチャーにメインカメラ11の制御機能を割り当てることができる。
次に、図16を参照しながら、操縦席型の操作システム234について説明する。図16は、第1実施形態に係る操作デバイスの変形例について説明するための第4の説明図である。
図16に例示した操作システム234は、オペレータOPが着座する座面234a、タッチパネル234b、フットコントローラ234c、レバー型の操作部234d、及びボタン型の操作部234eを有する。操作システム234には、複数のディスプレイデバイスを組み合わせた映像表示デバイス221も含まれる。例えば、オペレータOPから見て中央に位置するディスプレイデバイスにメイン映像VMが表示され、左右に位置するディスプレイデバイスに視界映像が表示されるようにしてもよい。
タッチパネル234bには、図12に示した操作デバイス23のGUIが表示されてもよい。フットコントローラ234cは、オペレータOPが足で操作する操作デバイスである。フットコントローラ234cには、例えば、左右それぞれの足が置かれる位置にボタンが配置され、足で押し込むことにより、そのボタンに割り当てられた処理が実行される。例えば、ベース14の速度制御、メインカメラ11のズーム及びフォーカス制御、或いは、ロボットアームの制御及びカメラの切り替え制御などが割り当てられうる。
操作部234dには、例えば、ロボットアーム13の動き制御機能又はメインカメラ11のパンチルト制御機能などが割り当てられうる。操作部234eには、例えば、メインカメラ11のズーム制御機能及びフォーカス制御機能、或いは、制御対象のロボットカメラを切り替える機能などが割り当てられうる。なお、各部に対する機能の割り当て方法は上記の例に限定されず、任意に変更することが可能である。また、オペレータOPが機能の割り当てを任意に変更することができるようにしてもよい。
上記のように、第1実施形態に係る技術を適用可能な操作デバイス23は様々に変形することが可能であり、上記の変形例はその一部に過ぎず、これらの変形例から着想可能な操作手段の構成についても第1実施形態の技術的範囲に属する。
[1-2.ハードウェア]
ここで、図17を参照しながら、上述した制御コンピュータ21が有する機能を実現可能なハードウェアの例について説明する。図17は、第1実施形態に係る制御コンピュータの機能を実現可能なハードウェアの一例を示したブロック図である。制御コンピュータ21の機能は、コンピュータプログラムを用いて図17に示すハードウェアを制御することにより実現される。
図17に示すように、このハードウェアは、主に、プロセッサ21a、メモリ21b、表示I/F21c、通信I/F21d、及び接続I/F21eを有する。
プロセッサ21aは、例えば、CPU、DSP、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、GPUなどの処理回路である。メモリ21bは、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリなどの記憶装置である。
表示I/F21cは、LCD(Liquid Crystal Display)、ELD(Electro-Luminescence Display)などのディスプレイデバイスを接続するためのインターフェースである。例えば、表示I/F21cは、プロセッサ21aや表示I/F21cに搭載されたGPUにより表示制御を実施する。
通信I/F21dは、有線及び/又は無線のネットワークに接続するためのインターフェースである。通信I/F21dは、例えば、有線LAN、無線LAN、光回線などに接続されうる。接続I/F21eは、外部デバイスを接続するためのインターフェースである。接続I/F21eは、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)などである。
接続I/F21eには、例えば、キーボード、マウス、タッチパネル、タッチパッドなどの入力インターフェースが接続されうる。また、接続I/F21eには、スピーカなどのオーディオデバイスなどが接続されうる。また、接続I/F21eには、可搬性の記録媒体21fが接続されうる。記録媒体21fとしては、例えば、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどがある。
上述したプロセッサ21aは、記録媒体21fに格納されたプログラムを読み出してメモリ21bに格納し、メモリ21bから読み出したプログラムに従って制御コンピュータ21の動作を制御することができる。制御コンピュータ21の動作を制御するためのプログラムは、メモリ21bに予め格納されていてもよいし、通信I/F21dを介してネットワークからダウンロードされてもよい。
なお、HMD22のハードウェアについては詳細な説明を省略するが、HMD22にも上述したプロセッサ21a及びメモリ21bと同様の要素が搭載される。
[1-3.制御コンピュータの機能]
次に、図18を参照しながら、制御コンピュータ21の機能について、さらに説明する。図18は、第1実施形態に係る制御コンピュータが有する機能の例を示したブロック図である。
図18に示すように、制御コンピュータ21は、ベース制御部211、アーム制御部212、カメラ制御部213、メイン映像処理部214、及び全方位映像処理部215を有する。なお、ベース制御部211、アーム制御部212、カメラ制御部213、メイン映像処理部214、及び全方位映像処理部215の機能は、主に、上述したプロセッサ21a及びメモリ21bにより実現可能である。
ベース制御部211は、操作デバイス23から出力される操作信号に応じてベース14の動きを制御するための制御信号を生成し、生成した制御信号をロボットカメラ10の制御デバイス15へと伝送する。
例えば、操作デバイス23のボタンオブジェクトFwがタッチされると、ベース14を前進させる旨の命令を含む操作信号が操作デバイス23から制御コンピュータ21へと出力される。この場合、ベース制御部211は、ベース14を前進させるための制御信号を生成し、ロボットカメラ10の制御デバイス15に伝送する。ベース14の後退操作及び回転操作についても同様に、ベース制御部211は、各操作に対応する制御信号をロボットカメラ10の制御デバイス15へと伝送する。これらの制御信号に応じて、制御デバイス15は、ベース14のモータを駆動してベース14を移動させる。
アーム制御部212は、操作デバイス23から出力される操作信号に応じてロボットアーム13の動きを制御するための制御信号を生成し、生成した制御信号をロボットカメラ10の制御デバイス15へと伝送する。
例えば、操作デバイス23のボタンオブジェクトUPがタッチされると、メインカメラ11の位置を垂直上方へ移動させる旨の命令を含む操作信号が操作デバイス23から制御コンピュータ21へと出力される。この場合、アーム制御部212は、ロボットアーム13を垂直上方へ移動させるための制御信号をロボットカメラ10の制御デバイス15へと伝送する。メインカメラ11の垂直下方への移動、水平移動、パン、チルトについても同様に、ベース制御部211は、各操作に対応する制御信号をロボットカメラ10の制御デバイス15へと伝送する。これらの制御信号に応じて、制御デバイス15は、ロボットアーム13のモータを駆動してロボットアーム13を変形させる。
カメラ制御部213は、操作デバイス23から出力される操作信号に応じてメインカメラ11のカメラ設定を変更する。
例えば、操作デバイス23のスライダオブジェクトC1aがテレ端方向にスライドされると、メインカメラ11のレンズをテレ端方向にズームさせる命令を含む操作信号が操作デバイス23から制御コンピュータ21へと出力される。この場合、カメラ制御部213は、メインカメラ11のレンズをテレ端方向にズームさせるための制御信号を、ロボットカメラ10の制御デバイス15を介して又は直接的にメインカメラ11へと伝送する。ワイド端方向へのズーム、フォーカス位置の指定についても同様に、カメラ制御部213は、各操作に対応する制御信号を、ロボットカメラ10の制御デバイス15を介して又は直接的にメインカメラ11へと伝送する。
メイン映像処理部214は、メインカメラ11から出力されるメイン映像VMを受信し、メイン映像VMをHMD22へと出力する。操作デバイス23にメイン映像VMを表示する場合、メイン映像処理部214は、操作デバイス23へとメイン映像VMを出力する。なお、メイン映像処理部214は、メイン映像VMを圧縮し、圧縮後のメイン映像VMをHMD22へと出力してもよい。また、メイン映像処理部214は、メイン映像VMをVR映像に変換し、そのVR映像をHMD22へと出力してもよい。なお、メイン映像処理部214は、メイン映像VMを、メインカメラ11から直接受信してもよいし、ロボットカメラ10の制御デバイス15を介して受信してもよい。
全方位映像処理部215は、視界カメラ12から出力される全方位映像VEを受信する。なお、全方位映像処理部215は、全方位映像VEを、視界カメラ12から直接受信してもよいし、ロボットカメラ10の制御デバイス15を介して受信してもよい。また、全方位映像処理部215は、視線検知デバイス222からオペレータOPの視線方向を示す視線情報を受信する。また、全方位映像処理部215は、全方位映像VE及び視線情報に基づいて視界映像を生成する。そして、全方位映像処理部215は、HMD22へと視界映像を出力する。
全方位映像処理部215は、例えば、視線方向を中心に予め設定された視界範囲(例えば、上/下に30°、左/右に60°)の映像を全方位映像VEから切り出し、切り出した映像を視界映像としてHMD22へと出力する。なお、操作デバイス23のボタンオブジェクトD2(ワイド表示)が押下されている場合、全方位映像処理部215は、視界範囲を上下左右に所定割合(例えば、10%)だけ広くなるように変更し、変更後の視界範囲に基づいて視界映像を生成する。
なお、全方位映像処理部215は、視界映像を圧縮し、圧縮後の視界映像をHMD22へと出力してもよい。また、全方位映像処理部215は、視界映像をVR映像に変換し、そのVR映像をHMD22へと出力してもよい。制御コンピュータ21がメイン映像VM及び視界映像をVR映像へと変換する方式に代えて、VR映像への変換をHMD22で実行する方式を適用してもよい。このような変形例についても当然に第1実施形態の技術的範囲に属する。
[1-4.処理フロー]
次に、図19を参照しながら、第1実施形態に係るリモートカメラシステムにより撮影時に実行される処理の流れについて説明する。この説明の中で、視界映像の生成方法、操作デバイス23による操作時の制御方法、視線補正の方法、視界映像の生成方法における処理の流れについて、さらに説明する。図19は、第1実施形態に係るリモートカメラシステムによる撮影時の処理(映像出力方法)について説明するためのフロー図である。
(S101)撮影が開始されると、ロボットカメラ10のメインカメラ11からメイン映像VMが出力され、メインカメラ11から直接又はロボットカメラ10の制御デバイス15を介して、コントロールシステム20の制御コンピュータ21に入力される。これにより、制御コンピュータ21は、メインカメラ11から出力されるメイン映像VMを取得する。
(S102)撮影が開始されると、ロボットカメラ10の視界カメラ12から全方位映像VEが出力され、視界カメラ12から直接又はロボットカメラ10の制御デバイス15を介して、コントロールシステム20の制御コンピュータ21に入力される。これにより、制御コンピュータ21は、視界カメラ12から出力される全方位映像VEを取得する。S101及びS102の処理は並行して実行されうる。変形例として、撮影開始前から視界カメラ12により全方位映像VEが出力され、全方位映像VEが制御コンピュータ21へと入力されてもよい。
(S103)制御コンピュータ21は、視線検知デバイス222から出力される視線情報を取得する。視線情報は、視線検知デバイス222が検知したオペレータOPの視線方向を示す情報である。
例えば、視線検知デバイス222は、オペレータOPが操作デバイス23のボタンオブジェクトD1を押下したときのHMD22の向きを基準方向(正面)に設定し、モーションセンサの出力に基づいて現在の視線方向を検知する。視線情報は、例えば、現在の視線方向を指す単位ベクトルの情報を含む。視線方向を示す単位ベクトルは、直交座標系の3つの座標値、或いは、極座標表示における回転角のセット(2つの偏角)で表現されうる。
視線検知デバイス222は、予め設定された時間間隔(例えば、0.1秒など)でモーションセンサの出力値を取得し、取得した出力値に基づいて視線情報を更新する。また、視線検知デバイス222は、予め設定された時間間隔(例えば、0.2秒など)で視線情報を出力するか、或いは、制御コンピュータ21からの要求に応じて視線情報を出力する。変形例として、視線検知デバイス222は、視線方向の変化量が所定の閾値より大きい場合(例えば、回転角が3°以上)に視線情報を出力してもよい。
なお、視線検知デバイス222から出力される視線情報は、映像表示デバイス221へ入力されてもよい。この場合、映像表示デバイス221は、視線検知デバイス222から出力される視線情報を参照し、所定の角度(例えば、45°)より大きく、下向きにオペレータOPの視線方向が変化した場合に画面表示を透過表示に切り替えてもよい。
(S104)制御コンピュータ21は、全方位映像処理部215により、全方位映像VE及び視線方向に基づいて視界映像を生成する。このとき、全方位映像処理部215は、視線検知デバイス222から出力される視線情報から、オペレータOPが頭部OPaを回転させた角度θを取得し、上記の式(1)に基づいて、視界映像の生成時に基準となる回転角度ηを求める。そして、全方位映像処理部215は、求めた回転角度ηに対応する視線方向と、全方位映像VEとに基づいて視界映像を生成する。
例えば、全方位映像処理部215は、図20に示すように、視線方向を基準に予め設定された視界範囲(例えば、視線方向を中心として上下方向に70°(角度φL)、左右方向に90°(角度φH)の範囲)に対応する映像を視界映像として全方位映像VEから切り出す。このとき、視界範囲の基準となる視線方向は回転角度ηに対応する。例えば、係数γが2の場合、オペレータOPが真横を向いているとき、回転角度ηに対応する視線方向は真後ろになり、オペレータOPの真後ろを基準とする視界範囲の視界映像が生成される。なお、視界映像の生成方法については、後段において、さらに説明する。
(S105)制御コンピュータ21は、視界映像及びメイン映像VMに基づいて出力映像を生成する。例えば、制御コンピュータ21は、全方位映像処理部215により、視界映像のVR映像を出力映像の一部として生成する。また、制御コンピュータ21は、メイン映像処理部214により、メイン映像VMのVR映像を出力映像の一部として生成する。そして、制御コンピュータ21は、出力映像をHMD22へと出力する。
なお、制御コンピュータ21は、映像表示デバイス221の第1の表示領域221aにメイン映像VMが表示され、第2の表示領域221bに視界映像が表示されるように、視界映像にメイン映像VMを重畳したPinP(Picture in Picture)映像を生成してもよい。この場合、制御コンピュータ21は、出力映像としてPinP映像のVR映像を生成し、生成したVR映像をHMD22へと出力する。
変形例として、制御コンピュータ21は、メイン映像VMを非VR映像のままHMD22へと出力し、一方で、視界映像についてはVR映像に変換してからHMD22へと出力してもよい。また、上述したPinP映像の生成処理や、上述したメイン映像VM、視界映像、PinP映像のVR映像への変換処理は、HMD22が実行してもよい。この場合、メイン映像VM、視界映像、或いは、PinP映像が、そのまま制御コンピュータ21からHMD22へと出力される。
(S106)映像表示デバイス221は、制御コンピュータ21から出力された出力映像を画面に表示する。例えば、映像表示デバイス221は、第1の表示領域221aにメイン映像VMを表示し、第2の表示領域221bに視界映像を表示する。なお、PinP映像が制御コンピュータ21から出力される場合、映像表示デバイス221は、PinP映像を画面に表示する。また、HMD22でVR映像への変換処理を実行する場合、映像表示デバイス221は、出力映像をVR映像に変換して表示する。
(S107)オペレータOPにより撮影の終了が指示された場合、図19に示した一連の処理は終了する。一方、撮影が継続される場合、処理はS101へと進む。なお、図19に示した一連の処理のうち、S101~S103の処理は並列に実行されてもよいし、実行の順番が入れ替えられてもよい。
ここで、図20を参照しながら、上述した視界映像の生成方法(S104の処理)について、さらに説明する。図20は、第1実施形態に係る視界映像の生成方法について説明するための説明図である。
上記のように、全方位映像処理部215は、視線検知デバイス222から出力される視線情報に基づいて全方位映像VEから視界映像を切り出す。図20に示すように、全方位映像VEは、視界カメラ12の位置を中心とする天球面30(仮想球面)に投影される映像とみなすことができる。天球面30の中心を原点とするXYZ座標系を設定し、Y軸を視線方向の基準となる正面、Z軸をオペレータOPの頭頂に設定すると、視線方向は、天球面30の一点(視線32)を指す単位ベクトルで表現されうる。
人間の視野は上側に約60°、下側に約70°、耳側に約100°であり、視線32の方向を見ているオペレータOPには、視線32の上側(+Zに向かう方向)に約70°、下側(-Zに向かう方向)に約60°、右側/左側(+X/-Xに向かう方向)に約100°の範囲が見える。そこで、視界範囲31を規定する角度φL、φHは、人間の視野に合わせて設定されうる(例えば、φL=130°、φH=200°)。
但し、上記の視野は、中心視野と周辺視野とに大きく分けられる。人間は、中心視野に含まれる対象物については高い解像度で認識できる一方、周辺視野に含まれる対象物については低い解像度でしか認識できない。周辺視野は、何かに焦点を合わせる前に、第一印象や全体像をつかむためにあると言われている。中心視野のうち、左右それぞれに約30°の範囲については色や記号を人が認識できると言われている。
映像表示デバイス221に表示される視界映像は高い解像度で表示される。そのため、上記のような人間の視野特性を考慮すると、視界範囲31は、φH(水平視野の安定注視野に相当)が60°~90°、φL(垂直視野の安定注視野に相当)が45°~70°の範囲に設定するのが好適である。例えば、視界範囲31は、φHが90°、φLが70°の範囲に設定される。このように設定することで違和感の低減が期待される。
(操作時の制御)
次に、図21を参照しながら、操作時の制御方法について、具体的な処理の流れを説明する。図21は、第1実施形態に係るリモートカメラシステムにおいて、操作デバイスによる操作が行われた時に実行される制御について説明するためのフロー図である。以下では、説明の都合上、図12に示した操作デバイス23をオペレータOPが操作することを前提に説明を進める。
(S111)オペレータOPによる操作デバイス23の操作が行われる(コントローラ入力)。図12に例示した操作デバイス23を利用する場合、コントローラ入力により、メインカメラ11に対する操作(CAM)、ロボットアーム13に対する操作(ARM)、ベース14に対する操作(BASE)、正面の設定(SET)、視界映像のワイドビュー表示(WV)が指示されうる。また、詳細な説明を省略するが、操作領域D3への操作によりカメラの切り替えも指示されうる。
(S112)ボタンオブジェクトD1が押下されて正面の設定(SET)が指示されると、制御コンピュータ21から視線検知デバイス222へとSET指示を示す指示信号が入力される。この指示信号に応じて、視線検知デバイス222は、現在のオペレータOPの顔の向き(視線方向に相当)を基準方向(正面)に設定する。正面の設定後、視線検知デバイス222は、モーションセンサの出力に基づいて、正面を基準に視線方向を検知し、検知結果を示す視線情報を制御コンピュータ21へと出力する。S112の処理が完了すると、処理はS111へと進む。
(S113)ボタンオブジェクトD2が押下されてワイドビュー表示(WV)が指示されると、全方位映像処理部215は視界範囲31を拡大する。例えば、全方位映像処理部215は、視界範囲31が周辺視野まで拡大されるように、φLを130°(上側60°、下側70°)、φHを200°(左右それぞれ100°)に変更する。これにより視界映像に映る範囲が広がり、オペレータOPは、スタジオ内の様子を、より広範囲に見渡すことができるようになる。
なお、視界範囲31が拡大されている状態でボタンオブジェクトD2が押下された場合、全方位映像処理部215は、ワードビュー表示をキャンセルし、視界範囲31を元の範囲に戻す。S113の処理が完了すると、処理はS111へと進む。
(S114、S115)操作領域B1、B2のオブジェクトが操作されてベース14の移動が指示されると、ベース制御部211は、指示された移動内容をベース14に伝達するための制御信号を生成し、その制御信号をロボットカメラ10の制御デバイス15へと伝送する。その制御信号を受信した制御デバイス15は、受信した制御信号に従ってベース14を移動させる。S115の処理が完了すると、処理はS111へと進む。
(S116、S117)操作領域C1、C2のオブジェクトが操作されると、カメラ制御部213は、オブジェクトの操作に対応するカメラ設定の変更内容を示す制御信号を生成し、その制御信号を直接又はロボットカメラ10の制御デバイス15を介して、メインカメラ11へと伝送する。その制御信号を受信したメインカメラ11は、受信した制御信号に従ってカメラ設定(例えば、焦点距離、フォーカス位置)を変更する。S117の処理が完了すると、処理はS111へと進む。
(S118、S119)操作領域A1、A2、A3のオブジェクトが操作されると、アーム制御部212は、オブジェクトの操作に応じたメインカメラ11の位置又は向きを特定し、メインカメラ11の位置又は向きに対応するロボットアーム13の制御内容を決定する。そして、アーム制御部212は、決定した制御内容を示す制御信号を生成する。
例えば、メインカメラ11をパン又はチルトする制御(パンチルト制御)についての操作が行われると、アーム制御部212は、操作内容に基づいてロボットアーム13の関節部を動かすモータの回転角を求め、求めた回転角のセットを示す制御信号を生成する。
また、メインカメラ11の位置を上下左右に移動する制御(本体制御)についての操作が行われると、アーム制御部212は、移動後の位置に基づいて、ロボットアーム13の関節部を動かすモータの回転角を求め、求めた回転角のセットを示す制御信号を生成する。
上記のようにしてアーム制御部212により生成された制御信号は、ロボットカメラ10の制御デバイス15へと伝送される。その制御信号を受信した制御デバイス15は、受信した制御信号に従ってロボットアーム13の関節部を動かすモータの回転角を制御してメインカメラ11の位置又は向きを変更する。S119の処理が完了すると、処理はS120へと進む。
(S120)全方位映像処理部215は、メインカメラ11の高さH及びチルト角λTに基づいて、視界映像の生成に利用する視線方向を補正する。
実際にカメラを操作して撮影を行うカメラマンは、カメラをチルトさせた場合でも、自らの視線をチルト角の分だけ傾けて固定することは多くないだろう。通常、カメラマンは、ある程度、撮影姿勢を維持した状態でファインダやカメラ周囲の環境を見ている。そのため、メインカメラ11のチルトに追従して視界カメラ12の姿勢が変わると、視界カメラ12の正面方向とカメラマン目線との間にズレが生じて違和感の原因になりうる。
上記の違和感を取り除くために、全方位映像処理部215は、視線検知デバイス222により検知された視線方向をチルト角λTの分だけ逆方向に補正する(以下、水平補正)。つまり、全方位映像処理部215は、チルトを戻す方向に視線方向を角度-λTだけ傾けて視線方向を水平面内に維持する(図22の視線方向E2を参照)。図22は、第1実施形態に係る視線補正の方法について説明するための説明図である。これにより、オペレータOPが感じる違和感の低減が期待される。
ロボットカメラ10では、メインカメラ11の位置がオペレータOPの頭部より高い位置にセットされる場合がある。例えば、スタジオの天井に近い位置から俯瞰的な映像を撮影したい場合、アーム部の長さが長いロボットアーム13や、アーム部の数が多いロボットアーム13を搭載するロボットカメラ10を利用するケースが想定されうる。メインカメラ11の位置がスタジオの天井付近にあるときに上記の水平補正を適用すると、オペレータOPがかなり下を向かないと、天井付近の構造物ばかりが見えることになる。
そのため、全方位映像処理部215は、メインカメラ11の高さHが所定の閾値(Hth)より大きい場合に視線方向を下方に傾ける(以下、下向き補正)。閾値Hthは、例えば、オペレータOPが直立したときの目の高さに設定されてもよく、オペレータOPにより事前に設定されてもよいし、予め制御コンピュータ21に登録された値(例えば、平均身長に基づく目の高さなど)が利用されてもよい。
メインカメラ11の高さHは、ロボットカメラ10が載置される床面からメインカメラ11までの距離を評価するためのパラメータである。例えば、高さHは、床面からメインカメラ11の中心までの距離(カメラ基準の距離)であってもよいし、床面からロボットアーム13の関節部13aまでの距離(アーム基準の距離)であってもよい。以下の説明では、アーム基準の距離を採用する場合(図22の場合)を例に説明を進める。
全方位映像処理部215は、高さHと閾値Hthとの差に応じて補正角λMを制御する。例えば、補正角λMは、下記の式(2)により与えられる。但し、αは比例係数であり、実験やシミュレーションの結果に基づいて事前に設定される。全方位映像処理部215は、例えば、高さHが閾値Hth未満の場合に補正角λMを0に維持し、高さHが閾値Hth以上の場合に補正角λMを下記の式(2)に基づいて決定する。
λM=α×|H-Hth| …(2)
S120の処理が完了すると、処理はS111へと進む。なお、上記の水平補正及び下向き補正に関するS120の処理は省略されてもよい。この場合、カメラマンがメインカメラ11の向きに追従して視線を向けている状態での視界映像が提供される。
(視界映像の生成方法)
次に、図23を参照しながら、上記の水平補正及び下向き補正を含む視界映像の生成方法における処理の流れについて説明する。図23は、第1実施形態に係る視界映像の生成方法における処理の流れについて説明するためのフロー図である。
(S131)全方位映像処理部215は、現在のチルト角λTを取得する。
例えば、操作デバイス23によりメインカメラ11をチルトさせる操作(操作領域A2に対する操作)が行われたとき、チルト角λTの情報が操作デバイス23から全方位映像処理部215に入力されてもよい。この場合、全方位映像処理部215は、チルト角λTの情報をメモリ21bに保持し、操作デバイス23から入力されるチルト角λTにより、保持しているチルト角λTの情報を更新する。これにより、全方位映像処理部215は、現在のチルト角λTをメモリ21bから取得することができる。
変形例として、操作デバイス23がチルト角λTの情報を保持している場合、全方位映像処理部215は、操作デバイス23から、現在のチルト角λTを取得してもよい。また、アーム制御部212が操作デバイス23から得たチルト角λTの情報をメモリ21bに格納し、全方位映像処理部215がメモリ21bからチルト角λTの情報を読み出すように変形してもよい。
(S132)全方位映像処理部215は、取得した現在のチルト角λTに基づいて水平補正(図22の視線方向E2を参照)を実施する。例えば、図20に示したように正面をY軸、オペレータOPの頭頂方向をZ軸に設定したとき、水平補正は、X軸を回転軸として回転角-λTだけY-Z平面を回転させる補正に相当する。
(S133)全方位映像処理部215は、メインカメラ11の高さH(この例ではアーム基準の距離)と閾値Hthとを比較する。そして、全方位映像処理部215は、高さHが閾値Hth以上であるか否かを判定する。高さHが閾値Hth以上である場合、処理はS134へと進む。一方、高さHが閾値Hth未満である場合、処理はS136へと進む。
(S134、S135)全方位映像処理部215は、高さHと閾値Hthとの差に基づいて補正角λMを計算する。例えば、全方位映像処理部215は、上記の式(2)に基づいて補正角λMを計算する。また、全方位映像処理部215は、補正角λMに基づいて下向き補正(図22の視線方向E1を参照)を実施する。図20の設定に従うと、下向き補正は、X軸を回転軸として補正角λMだけY-Z平面を回転させる補正に相当する。
(S136)全方位映像処理部215は、視線方向の視界範囲31を全方位映像VEから切り出し、切り出した映像を視界映像として出力する。上記の水平補正、或いは、上記の水平補正及び下向き補正により正面(図20のY軸方向)が変更されている場合、変更後のY軸を基準とするXYZ空間に対して、視線検知デバイス222から出力される視線方向が適用され、その視線方向を基準に視界映像が切り出される。その結果、上記の補正が適用された視界映像が得られる。
S136の処理が完了すると、図23に示した一連の処理は終了する。
[1-5.その他]
上記の説明では、HMD22に視線検知デバイス222を搭載する方法を示したが、オペレータOPの視線方向を検知するデバイスをHMD22の外部に設けてもよい。例えば、オペレータOPの頭部を撮影する撮像デバイスを設け、その撮像デバイスから出力される映像を解析してオペレータOPの視線方向を検知してもよい。映像の解析には、任意の物体認識技術及び視線トラッキング技術が適用されてもよい。
また、上記の説明では、視界カメラ12をメインカメラ11又はロボットアーム13に設置する方法を示したが、カメラマンが見るであろうスタジオ内の所定領域(例えば、ロボットカメラ10の周囲)又はスタジオ全域を撮影する複数台の撮像デバイスをスタジオ内に設置し、全方位映像VEに相当する映像群を全方位映像VEの代わりに取得するように変形してもよい。この場合、全方位映像処理部215は、スタジオ内の撮像デバイスから出力される映像群の中から、オペレータOPの視線方向を基準に視界範囲の映像(視界映像)を切り出す。
また、上記の説明では、HMD22を利用する方法を示したが、映像表示デバイス221、及び視線検知デバイス222をHMD22以外のデバイスで実装してもよい。例えば、映像表示デバイス221をディスプレイ装置、視線検知デバイス222をウェアラブルデバイスのモーションセンサや上記の撮像デバイスで実装してもよい。
(ロボットカメラの変形例)
次に、図24及び図25を参照しながら、ロボットカメラ10の変形例について説明する。図24は、第1実施形態に係るロボットカメラの変形例について説明するための第1の模式図である。図25は、第1実施形態に係るロボットカメラの変形例について説明するための第2の模式図である。
上記の説明では、ロボットアーム13を搭載したロボットカメラ10について説明してきたが、例えば、チルト機構132a、パン機構132b、及び昇降機構132cを含む図24に示すようなペデスタル132をロボットカメラ10に適用してもよい。ペデスタル132を適用する場合、チルト機構132a及びパン機構132bによりメインカメラ11のパンチルト制御が行われ、昇降機構132cによりメインカメラ11の高さが制御される。なお、ベース14の動作については上述した通りである。
また、雲台133a、アーム133b、及びコントローラ133cを含む図25に示すようなクレーン133をロボットカメラ10に適用してもよい。クレーン133を適用する場合、コントローラ133c付近にあるパン棒、及びコントローラ133cによりリモート制御される雲台133aによりメインカメラ11のパンチルト制御が行われる。なお、図25の例では視界カメラ12がコントローラ133cに設置されているが、メインカメラ11、雲台133a、又はアーム133bに設置されてもよい。また、ベース14の動作については上述した通りである。
これまで様々な変形例について説明してきたが、それらの変形例についても当然に第1実施形態の技術的範囲に属する。
<第2実施形態>
次に、本開示の第2実施形態について説明する。第2実施形態は、第1実施形態に係るロボットカメラ10を三次元(3D)シミュレーションにより再現し、仮想空間内に再現されたロボットカメラ10相当の機材をコントロールシステム20で制御するバーチャルカメラワークシステムに関する。
以下の説明では、重複説明を避けるため、第1実施形態と実質的に同じ機能を有する要素については同じ符号を付することにより詳細な説明を省略する場合がある。
[2-1.バーチャルカメラワークシステム]
図26を参照しながら、第2実施形態に係るバーチャルカメラワークシステムについて説明する。図26は、第2実施形態に係るバーチャルカメラワークシステムに含まれる装置の例について説明するためのブロック図である。
図26に示すように、第2実施形態に係るバーチャルカメラワークシステムは、3Dシミュレータ40と、コントロールシステム20とを含む。なお、コントロールシステム20は、第1実施形態に係るコントロールシステム20と実質的に同じ機能を有する。また、3Dシミュレータ40と、コントロールシステム20の制御コンピュータ21とは同じ1台のコンピュータ又は同じコンピュータシステム(例えば、分散コンピューティングシステム)により実装されうる。
3Dシミュレータ40は、3Dシミュレーションにより、図9に示したようなスタジオ内の環境を仮想空間内に再現し、仮想空間内の3Dオブジェクトとして、メインカメラ41、視界カメラ42、ロボットアーム43、及びベース44を再現する。
メインカメラ41は、第1実施形態に係るメインカメラ11の構造及び機能を再現した3Dオブジェクトである。視界カメラ42は、第1実施形態に係る視界カメラ12の構造及び機能を再現した3Dオブジェクトである。ロボットアーム43は、第1実施形態に係るロボットアーム13の構造及び機能を再現した3Dオブジェクトである。ベース44は、第1実施形態に係るベース14の構造及び機能を再現した3Dオブジェクトである。
メインカメラ41、視界カメラ42、ロボットアーム43、及びベース44の動きは、3Dシミュレータ40を介して制御コンピュータ21により制御される。3Dシミュレータ40は、3Dシミュレーションにより、メインカメラ41から出力されるメイン映像VM、及び視界カメラ12から出力される全方位映像VEを生成し、生成したメイン映像VM及び全方位映像VEを制御コンピュータ21へと出力する。
ここで、図27を参照しながら、制御コンピュータ21及び3Dシミュレータ40の機能について、さらに説明する。図27は、第2実施形態に係る制御コンピュータ及び3Dシミュレータが有する機能の例について説明するためのブロック図である。
図27に示すように、3Dシミュレータ40は、視界カメラ再現部401、メインカメラ再現部402、アーム再現部403、ベース再現部404、及びスタジオ再現部405を有する。なお、視界カメラ再現部401、メインカメラ再現部402、アーム再現部403、ベース再現部404、及びスタジオ再現部405の機能は、上述したプロセッサ21a及びメモリ21bにより実現可能である。
視界カメラ再現部401は、第1実施形態の視界カメラ12を再現した視界カメラ42を仮想空間内に生成し、視界カメラ42の動作を制御し、視界カメラ42から出力される全方位映像VEを生成する。メインカメラ再現部402は、第1実施形態のメインカメラ11を再現したメインカメラ41を仮想空間内に生成し、メインカメラ41の動作を制御し、メインカメラ41から出力されるメイン映像VMを生成する。
アーム再現部403は、第1実施形態のロボットアーム13を再現したロボットアーム43を仮想空間内に生成し、ロボットアーム43の動作を制御する。ベース再現部404は、第1実施形態のベース14を再現したベース44を仮想空間内に生成し、ベース44の動作を制御する。なお、ロボットアーム43及びベース44の動作は、メインカメラ41の位置及び向きの変化としてシミュレーション結果(メインカメラ再現部402で生成されるメイン映像VM、全方位映像VE)に反映される。
スタジオ再現部405は、仮想空間内にスタジオの環境を再現する。例えば、図9に例示したスタジオの環境を再現する場合、スタジオ再現部405は、仮想空間内にスタジオセットSS、表示モニタM、出演者m1、m2、m3…、ロボットカメラCAM#2を再現する。なお、ロボットカメラCAM#2への切り替え操作(例えば、図12の操作領域D3に対する操作)が行われたとき、視界カメラ再現部401、メインカメラ再現部402、アーム再現部403、ベース再現部404、スタジオ再現部405がロボットカメラCAM#2の動作制御及び出力映像の生成を担当する。
制御コンピュータ21が有するベース制御部211、アーム制御部212、カメラ制御部213、メイン映像処理部214、及び全方位映像処理部215の機能は、第1実施形態と実質的に同じである。但し、ベース制御部211、アーム制御部212、カメラ制御部213、メイン映像処理部214、及び全方位映像処理部215は、それぞれ、ベース再現部404、アーム再現部403、メインカメラ再現部402、及び視界カメラ再現部401に制御信号を入力する。HMD22及び操作デバイス23が有する機能も第1実施形態と実質的に同じである。
[2-2.処理フロー]
次に、図28を参照しながら、バーチャルカメラワークシステムによる処理の流れについて説明する。図28は、第2実施形態に係るバーチャルカメラワークシステムによる撮影時の処理(映像出力方法)について説明するためのフロー図である。なお、撮影が開始される時点でスタジオ再現部405によりスタジオの環境が仮想空間内に再現されていることを前提に説明を進める。
(S201)撮影が開始されると、3Dシミュレータ40が再現するメインカメラ41からメイン映像VMが出力され、コントロールシステム20の制御コンピュータ21に入力される。つまり、メインカメラ再現部402によりメイン映像VMが生成され、メインカメラ再現部402から制御コンピュータ21へとメイン映像VMが提供される。これにより、制御コンピュータ21は、メインカメラ41からメイン映像VMを取得する。
(S202)撮影が開始されると、3Dシミュレータ40の視界カメラ42から全方位映像VEが出力され、コントロールシステム20の制御コンピュータ21に入力される。つまり、視界カメラ再現部401により全方位映像VEが生成され、視界カメラ再現部401から制御コンピュータ21へと全方位映像VEが提供される。これにより、制御コンピュータ21は、視界カメラ42から全方位映像VEを取得する。
S201及びS202の処理は並行して実行されうる。変形例として、撮影開始前から全方位映像VEが出力され、視界カメラ42から制御コンピュータ21へと入力され、HMD22の映像表示デバイス221に表示されてもよい。
(S203、S204)制御コンピュータ21は、視線検知デバイス222から出力される視線情報を取得する。視線情報の取得方法は、図19のS103と実質的に同じである。また、制御コンピュータ21は、全方位映像処理部215により、全方位映像VE及び視線方向に基づいて視界映像を生成する。視界映像の生成方法については、図19のS104と実質的に同じである。
(S205、S206)制御コンピュータ21は、視界映像及びメイン映像VMに基づいて出力映像を生成する。出力映像の生成方法については、図19のS105と実質的に同じである。映像表示デバイス221は、制御コンピュータ21から出力された出力映像を画面に表示する。映像表示デバイス221による出力映像の表示方法については、図19のS106と実質的に同じである。
(S207)オペレータOPにより撮影の終了が指示された場合、図28に示した一連の処理は終了する。一方、撮影が継続される場合、処理はS201へと進む。なお、図28に示した一連の処理のうち、S201~S303の処理は並列に実行されてもよいし、実行の順番が入れ替えられてもよい。
<応用例:カメラワーク教育への応用>
次に、上述した第1実施形態に係るリモートカメラシステム、及び第2実施形態に係るバーチャルカメラワークシステムをカメラマン教育に応用する仕組みについて説明する。
上記の通り、第1実施形態に係るリモートカメラシステム及び第2実施形態に係るバーチャルカメラワークシステム(以下、本システム)では、コントロールシステム20の制御コンピュータ21により、オペレータOPの視線方向に基づいて視界映像が生成される。この視界映像は、撮影時にオペレータOPが視線を向けた方向に見える景色を映し出している。
ベテランカメラマンは、撮影対象となる出演者やスタジオセットの位置だけでなく、出演者の表情や動き、場面展開や番組のストーリなどを考慮してカメラワークを決めることができる。そのため、ベテランカメラマンは、撮影時にスタジオ内の様々な場所を見て、刻々と変化する現場の状況を把握している。このような現場の状況把握が好適なカメラワークを実現する上で重要な要素になっていると考えられる。
しかし、経験が少ないカメラマンに対し、ベテランカメラマンの経験を伝えるのは容易でない。ベテランカメラマンといえども、撮影の最中、無意識に適切な場所へと視線を移している場合が多く、その経験を伝えるのが難しいためである。結局、経験が少ないカメラマンを教育しようとすれば、本番の撮影に起用して経験を積ませることが必要になる。しかし、本システムを応用すれば、ベテランカメラマンが撮影時に見ている光景と、実際に撮影されたメイン映像VMとを見比べてカメラワークを学ぶことができる。
例えば、制御コンピュータ21は、メイン映像VMと視界映像とを対応付けてメモリ21bに保存する。撮影後、制御コンピュータ21は、再生操作に応じて、メイン映像VMと視界映像とをHMD22の映像表示デバイス221で再生する。この仕組みにより、撮影時の視線方向と、撮れたメイン映像VMとを撮影後に確認することができる。ベテランカメラマンが撮影したメイン映像VMと視界映像とを保存しておけば、保存映像を他のカメラマンが再生することでベテランカメラマンの視線の動きを学ぶことができる。
変形例として、制御コンピュータ21は、操作デバイス23に対する操作の内容を示す操作情報を視界映像に対応付けてメモリ21bに保存し、再生時に操作内容を示す情報(例えば、カメラ設定値やチルト角など)を再生画面に表示してもよい。また、制御コンピュータ21は、操作内容の情報に基づいてスタジオ内のロボットカメラ10を実際に動かし、或いは、仮想空間内で各3Dオブジェクトを動かして撮影時の状況を再現してもよい。これにより、ロボットカメラ10の操作についての学習も行うことができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属する。