JP5351733B2 - ロボットカメラ及びバーチャルスタジオシステム - Google Patents
ロボットカメラ及びバーチャルスタジオシステム Download PDFInfo
- Publication number
- JP5351733B2 JP5351733B2 JP2009278473A JP2009278473A JP5351733B2 JP 5351733 B2 JP5351733 B2 JP 5351733B2 JP 2009278473 A JP2009278473 A JP 2009278473A JP 2009278473 A JP2009278473 A JP 2009278473A JP 5351733 B2 JP5351733 B2 JP 5351733B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- data
- video
- robot
- robot camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
図6に示すように、バーチャルスタジオシステム100は、操作機101により遠隔操作するロボットカメラ120と、このロボットカメラ120で撮影した実写105の映像にCG映像106を合成するCG合成装置103とを備えている。なお、CG合成映像108は、表示モニタ104に表示される。
前記した一連の処理によりCG合成映像を作成する場合では、ロボットカメラ120(図6参照)で被写体の実写を撮影した後に、映像及びカメラデータをCG合成装置103に送信し、CG映像の描画を行うため、実際に合成する際の映像と描画されたCG映像とに時間的なずれが生じることになる。そのため、通常のCG合成装置103では、時間のずれを解消するためにCG映像の描画時間分、実写映像を撮影した後にディレイ装置(図示せず)を介して遅らせて時間の調整を行い、映像とCG映像とを一致させるように運用している。
ロボットカメラは、駆動モータが移動した結果を待ってカメラデータをCG合成装置に送り、CG空間上の仮想カメラ位置を特定しCG映像を描画し、作成したCG映像と実写の映像とを合成することになる。そのため、駆動モータが移動した結果の映像は、CG映像を作成するタイミングだけ遅らせないとCG合成映像を作成することができない状態となっている。そのため、従来のロボットカメラからの映像及びカメラデータでは、遅らせた映像と同時に取得される音声も合わせて遅らせる必要が生じる。したがって、ロボットカメラからの実写となる映像及びカメラデータによりCG合成映像を作成して番組を構成するバーチャル番組では、音声を遅らせる音声ディレイ装置や、映像を遅らせる映像遅延装置等の追加機材が必要となる。
かかる構成により、ロボットカメラは、例えば、予め行なわれるカメラ位置のキャリブレーション動作、そのキャリブレーション動作の原点位置にCG映像を配置してカメラの首振り動作により前記CG映像が映像からずれがない状態となるまでの時間を前記遅延時間として、入力手段からの入力により設定手段を介して設定することができる。
ロボットカメラは、演算したカメラデータを、映像より先にCG合成装置に送り、当該カメラデータに対応する指令データにより撮影のタイミングを予め設定された遅延時間だけ遅らせて撮影した映像としてCG合成装置に送っている。そのため、ロボットカメラで撮影した映像と音声とは、CG合成映像に送られてCG合成映像となるときには、リップシンクのずれを生じることがない状態となる。したがって、ロボットカメラでは、演算手段のカメラ目標位置算出手段であるソフトウエアを取り替えれば映像ディレイ装置等の追加機材が必要ない。
ロボットカメラは、遅延時間を設定手段により自在に調整することができるので、CG合成映像を作成するときに、的確にリップシンクのずれを防止することが可能となる。
図1に示すように、バーチャルスタジオシステム10は、スタジオ内に配置され操作機11により遠隔操作されるロボットカメラ1と、このロボットカメラ1からの映像とCG映像を合成するCG合成装置20とを備えている。
ロボットカメラ1は、図1及び図2に示すように、操作機11の遠隔操作によりスタジオ内を自在に移動すると共に、カメラ5を任意に操作して、被写体Hsを撮影することができるものである。このロボットカメラ1は、ここでは、スタジオフロア上を車輪等により移動するフロア移動機構1aで用いる各軸、及び、カメラ5で必要となるズーム、アイリス等の駆動機構の各軸を駆動する駆動モータ4a〜4nにより任意の方向にレンズ5aを向けて被写体Hsを撮影する。
受信モジュール2aは、操作機11から送られて来るカメラの移動、パン、チルト、ズーム等に関するデータである操作機データを受信して演算部3に出力する。
送信モジュール2bは、演算部3から送られて来るカメラデータをCG合成装置20(図3参照)に送信するものである。
CG合成装置20は、送られて来たカメラデータ及び当該カメラデータに対応する映像を用いて、CG映像Vgを合成したCG合成映像Vを作成する装置である。このCG合成装置20は、カメラデータ入力手段21と、撮影位置算出手段22、位置記憶手段23と、CG映像作成手段24と、CGデータ記憶手段25と、映像入力手段26と、合成映像作成手段27と、出力手段28と、を備えている。
合成映像作成手段27は、CG映像作成手段24から送られて来たCG映像Vgと、映像入力手段26から送られて来た映像とを合成する。この合成映像作成手段27で合成して作成されたCG合成映像Vは、出力手段28に送られ、その出力手段28から出力される。
はじめに、図1に示すように、ロボットカメラ1は、キャリブレーションを行い、実写の映像とCG映像とを一致させる。このキャリブレーションは次のような動作により行う。実際に撮影するスタジオ等のフロア上におけるXYZ座標での原点位置P0(図4(a)参照)を設定する。キャリブレーションを行う場合には、図4(c)に示すように、例えば、被写体Hsの中のテーブルにおける水平線と垂直線で示される模様の中心(図4(c)参照)をキャリブレーションの原点位置P0とし、その原点位置P0を撮影したロボットカメラ1の位置をカメラ初期位置M0として設定して、位置記憶手段23に記憶させる。なお、ロボットカメラ1は、原点位置P0が撮影できる位置であればどこでも構わない。
なお、操作機11からの操作機データとして移動のデータと、ズームのデータとが同時に送られていった場合、ロボットカメラ1は、移動しながらズームを行うことになるが、常に、操作機11で操作した手順によりn2秒遅れた状態で、動作することになる。つまり、ロボットカメラ1は、操作機11による操作において、常に、n2秒遅れて動作することとなる。また、ここでは、ロボットカメラ1が移動する場合には、例えば、操作機11のジョイスティック(図示せず)のオンとなる状態の倒す方向でロボットカメラ1の移動方向が決まり、そのジョイスティックをオンにした時間により移動距離が決まるように設定されている。したがって、操作機11からの操作する場合の移動に対応する情報が、パン、チルト、ズームの情報と共に、操作機データとしてロボットカメラ1に送られている。
また、CG合成装置20は、CG映像の作成と、CG映像と実写映像との合成とを一台の装置で処理するように説明したが、図3で示す中央の仮想線の位置でそれぞれの装置として構成しても構わない。
1a フロア移動機構
2 ネットワーク部
2a 受信モジュール
2b 送信モジュール
3 演算部
3a カメラ目標位置算出モジュール(カメラ目標位置算出手段)
3b データ遅延モジュール(データ遅延手段)
3c モータ指令モジュール(モータ指令手段)
4 駆動モータ部
4a〜4n 駆動モータ
5 カメラ
5a レンズ
5b 受光部
6 設定手段
7 入力手段
10 バーチャルスタジオシステム
11 操作機
20 CG合成装置
21 カメラデータ入力手段
22 撮影位置算出手段
23 位置記憶手段
24 CG映像作成手段
25 CGデータ記憶手段
26 映像入力手段
27 合成映像作成手段
28 出力手段
30 表示モニタ
Hs 被写体
M1 第1移動位置
M2 第2移動位置
P0 原点位置
M1 カメラ初期位置
V CG合成映像
Vg CG映像
Claims (3)
- 各駆動モータにより駆動可能なカメラ及び各駆動モータにより移動可能なフロア移動機構を備え、被写体を前記カメラで撮影した実写の映像にCG合成装置によりCG映像を合成したCG合成映像を作成する際に使用され、操作機の操作機データから算出したカメラデータにより前記駆動モータの遠隔操作が行われて撮影するロボットカメラであって、
前記操作機からの操作機データを入力すると共に、前記カメラデータを前記CG合成装置に出力するネットワーク手段と、
このネットワーク手段により受け取った前記操作機データから前記各駆動モータの指令値となる指令データ、及び、その指令データにより前記各駆動モータの移動した結果となる前記カメラデータを算出すると共に、算出した前記カメラデータを前記ネットワーク手段に送るカメラ目標位置算出手段と、
このカメラ目標位置算出手段により算出された前記指令データを、カメラ位置をキャリブレーションしかつ実写とCGオブジェクトのずれがないように予め設定された遅延時間だけ保持して前記CG合成装置に前記カメラデータを出力する時間よりも遅らせるデータ遅延手段と、
このデータ遅延手段により遅延させた前記指令データにより前記各駆動モータを作動させ前記カメラをカメラ目標位置となるようにするモータ指令手段と、
を備えることを特徴とするロボットカメラ。 - 前記データ遅延手段は、前記遅延時間を予め設定する設定手段を備え、
前記設定手段は、外部に設置される入力手段からの入力により前記遅延時間を設定することを特徴とする請求項1に記載のロボットカメラ。 - 請求項1又は請求項2に記載のロボットカメラと、このロボットカメラにより被写体を撮影した映像にCG映像を合成するCG合成装置とを備えるバーチャルスタジオシステムにおいて、
前記CG合成装置は、前記被写体を撮影するフロア位置の座標上における前記ロボットカメラのカメラ初期位置及びCG映像の作成位置を予め記憶する位置記憶手段と、
前記ロボットカメラで算出されたカメラデータを入力するカメラデータ入力手段と、
入力した前記カメラデータに基づいて前記位置記憶手段に記憶されている前記カメラ初期位置及び前記作成位置から、前記ロボットカメラの各駆動モータが作動して前記カメラのカメラ目標位置におけるCG映像の作成位置を算出する撮影位置算出手段と、
算出した前記CG映像の作成位置に対応したCG映像を作成するCG映像作成手段と、
前記ロボットカメラで予め設定した前記遅延時間だけ遅延させて撮影した映像を入力する映像入力手段と、
前記CG映像作成手段で作成したCG映像と、前記映像入力手段で入力した映像とを合成してCG合成映像を作成する合成映像作成手段と、
この合成映像作成手段で作成したCG合成映像を出力する出力手段と、を備えることを特徴とするバーチャルスタジオシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009278473A JP5351733B2 (ja) | 2009-12-08 | 2009-12-08 | ロボットカメラ及びバーチャルスタジオシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009278473A JP5351733B2 (ja) | 2009-12-08 | 2009-12-08 | ロボットカメラ及びバーチャルスタジオシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011124634A JP2011124634A (ja) | 2011-06-23 |
JP5351733B2 true JP5351733B2 (ja) | 2013-11-27 |
Family
ID=44288135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009278473A Expired - Fee Related JP5351733B2 (ja) | 2009-12-08 | 2009-12-08 | ロボットカメラ及びバーチャルスタジオシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5351733B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103747165A (zh) * | 2014-01-24 | 2014-04-23 | 浙江京都世纪影视文化有限公司 | 一种视音频片段一次性同步合成系统及方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6716442B2 (ja) * | 2016-12-14 | 2020-07-01 | シャープ株式会社 | 撮影制御装置、移動体、撮影制御方法、および撮影制御プログラム |
CN109822573B (zh) * | 2019-02-25 | 2022-04-22 | 太仓中科信息技术研究院 | 基于摄像机器人的直播节目在线包装方法 |
KR102222291B1 (ko) * | 2020-09-03 | 2021-03-03 | 아날로그플러스 주식회사 | 영상 컨텐츠 자판기 및 그 제어 방법 |
CN113524262A (zh) * | 2021-08-20 | 2021-10-22 | 太仓中科信息技术研究院 | 摄像机器人虚实融合精度优化装置和方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042307A (ja) * | 1996-03-01 | 1998-02-13 | Fuotoron:Kk | キーシステム及び合成画像作成方法 |
JP3724117B2 (ja) * | 1997-05-23 | 2005-12-07 | ソニー株式会社 | 画像生成装置および画像生成方法 |
-
2009
- 2009-12-08 JP JP2009278473A patent/JP5351733B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103747165A (zh) * | 2014-01-24 | 2014-04-23 | 浙江京都世纪影视文化有限公司 | 一种视音频片段一次性同步合成系统及方法 |
CN103747165B (zh) * | 2014-01-24 | 2017-04-12 | 浙江京都世纪影视文化有限公司 | 一种视音频片段一次性同步合成系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2011124634A (ja) | 2011-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5683025B2 (ja) | 立体画像撮影装置および立体画像撮影方法 | |
JP6432029B2 (ja) | 低コストでテレビ番組を制作する方法及びシステム | |
JP5351733B2 (ja) | ロボットカメラ及びバーチャルスタジオシステム | |
US7643064B1 (en) | Predictive video device system | |
JP2011139368A (ja) | 撮像装置の制御装置および制御方法 | |
JP4581210B2 (ja) | テレビ会議システム | |
JP2011135294A (ja) | カメラシステム及びカメラ制御方法 | |
JP2013070368A (ja) | テレビ対話システム、端末および方法 | |
JP2021136683A (ja) | 全景リアリティシミュレーションシステム及びその使用方法 | |
JP2007501950A (ja) | 3次元像表示装置 | |
KR20080040542A (ko) | 양안식 자동화 입체영상 촬영시스템 | |
JPWO2014192804A1 (ja) | デコーダ及び監視システム | |
US9402068B2 (en) | Lens system for 3D video taking | |
JP2010166218A (ja) | カメラシステム及びその制御方法 | |
KR20110074022A (ko) | 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치 | |
JP2012129768A (ja) | 書画カメラ、書画カメラの制御方法、プログラムおよび表示処理システム | |
JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
JP2000099691A (ja) | 人物撮影装置 | |
JP4148251B2 (ja) | 撮像装置及び表示装置 | |
JP6916896B2 (ja) | 情報処理装置および画像生成方法 | |
JPH10290412A (ja) | 撮像、記憶、処理、表示、再生、伝送装置及び記録媒体 | |
JP2012010059A (ja) | 撮影装置及びこれを用いた遠隔コミュニケーションシステム | |
JP5297899B2 (ja) | 立体映像調整装置、立体映像調整システム、及びプログラム | |
JP3931768B2 (ja) | 画像撮影装置および画像撮影システム | |
JP2002344997A (ja) | 立体映像信号の編集方法、及び立体映像撮影用のビデオカメラの光学アダプター装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130823 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |