JP4217008B2 - カメラワークシミュレータ及びシミュレーション方法 - Google Patents
カメラワークシミュレータ及びシミュレーション方法 Download PDFInfo
- Publication number
- JP4217008B2 JP4217008B2 JP2001219466A JP2001219466A JP4217008B2 JP 4217008 B2 JP4217008 B2 JP 4217008B2 JP 2001219466 A JP2001219466 A JP 2001219466A JP 2001219466 A JP2001219466 A JP 2001219466A JP 4217008 B2 JP4217008 B2 JP 4217008B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- information
- camera work
- shooting
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビジョン番組制作、映画製作、映像制作およびイベント等における撮影状況をコンピュータシミュレーションによって模擬するためのシミュレータ及びミュレーション方法に関し、特に、カメラワークをＣＧ（Computer Graphics）技術を用いて模擬するためのカメラワークシミュレータ及びシミュレーション方法に関する。
【０００２】
【従来の技術】
近年、テレビ放送は多チャンネル化の時代を迎え、質を維持しながら効率的に番組を制作することが求められている。このような要請に応えるため、カメラの動きやカット割り等の、本来、リハーサルを行って決めていくべきカメラワークを、シミュレーションを行って決めていく方法やシステムが提案されている。
【０００３】
従来のシミュレーション技術は、三次元ＣＧ技術によってモデル化したスタジオセット内に実体を持たない仮想的なカメラを１台設置して、その仮想的なカメラを操作することによってカメラワークをシミュレートするものであった（特願平１１−３０１０１３号公報）。そして、従来のシミュレーションシステムは、実際のカメラ操作に重点を置いているため、カメラワークのトレーニングツールとして用いられる場合が多かった。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のカメラワークのシミュレーション技術では、現在のテレビジョン番組制作等において一般的に採用されているマルチカメラシステムと呼ばれる、複数のカメラで同時に撮影し、状況に応じてカメラ映像を切り替えて映像出力する撮影方式での撮影を、実際に撮影しているように模擬できないという問題がある。
【０００５】
また、マルチカメラシステムでは、あるカメラで撮影しているときに他のカメラが視野に入ってしまう「かぶり」が発生し、これを回避しなければならないが、従来のシミュレーション技術では、ＣＧ技術によって模擬されるカメラには実体がなく、単にカメラ位置に視点が設定されているだけであるため、あるカメラが他のカメラを映す場面をシミュレーションによって模擬しても、「かぶり」を再現できないという問題がある。
【０００６】
また、従来のシミュレーション技術では、カメラで撮影した映像しか再現できないため、注目するカメラが、現在、どのような状況下にあるかを把握するのは困難であるという問題がある。例えば、カメラがドリーバック（ズームせずに後ろに下がるカメラワーク）しようとする場合に、カメラの後ろの状況は把握できなかった。
【０００７】
また、ＣＧ技術でモデル化されたカメラに実体を表す性質が付与されていないため、複数のカメラがフロア上で衝突することや、重さに由来してカメラの移動速度に限界があること等、現実のカメラの動きや複数のカメラを操作する場合に生じる事柄を、シミュレーションによって正しく模擬できないという問題がある。
【０００８】
本発明は、かかる問題を解決するためになされたものであり、その目的は、実際のカメラワークのように撮影の際のカメラワークを模擬できるカメラワークシミュレータ及びシミュレーション方法を提供することである。
【０００９】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、撮影場を含む撮影シーンをモデル化した３次元シーンをＣＧ（Computer Graphics）技術を用いて生成するシーン構成手段と、前記撮影場内に配置される撮影カメラの操作の情報であるカメラワーク情報を入力するためのカメラワーク入力手段と、前記撮影カメラのモデルであって、前記撮影カメラの形状および重さを含む物理的性質が付与されたカメラ型ＣＧモデルの情報を収集するカメラ情報収集手段と、前記３次元シーンの情報、前記カメラワーク情報および前記カメラ型ＣＧモデルの情報とを統合する情報統合手段と、前記情報統合手段によって統合された情報に基づいて前記撮影カメラによって撮影された模擬映像を生成する映像生成手段とを備えた構成を有している。
【００１０】
この構成により、３次元シーン、物理的性質が付与されたカメラ及びそのカメラワークが統合されて模擬できるため、マルチカメラシステムでの撮影を実際に撮影しているように模擬することが可能なカメラワークシミュレータを実現することができる。
【００１１】
また、請求項２に係る発明は、請求項１において、さらに、前記情報統合手段で統合された情報に基づいて、カメラワークによる所定のエラーを検出して表示または発音するエラー検出手段を備えた構成を有している。
この構成により、カメラワークが原因の映像制作上のエラーを検出して表示等によって知らされるため、リハーサルに頼らずに番組制作が可能となるカメラワークシミュレータを実現することができる。
【００１２】
また、請求項３に係る発明は、請求項２において、さらに、前記入力されたカメラワークの情報及び前記カメラ型ＣＧモデルの情報を含む情報を格納するためのカメラデータ格納手段を備えた構成を有している。
この構成により、入力されたカメラワークの情報やカメラ型ＣＧモデルの情報等を格納することができるため、カメラワークの修正が可能なカメラワークシミュレータを実現することができる。
【００１３】
また、請求項４に係る発明は、撮影場を含む撮影シーンをモデル化した３次元シーンをＣＧ（Computer Graphics）技術を用いて生成するシーン構成ステップと、前記撮影場内に配置される撮影カメラの操作の情報であるカメラワーク情報を設定するためのカメラワーク設定ステップと、前記撮影カメラのモデルであって、前記撮影カメラの形状および重さを含む物理的性質が付与されたカメラ型ＣＧモデルの情報を収集するカメラ情報収集ステップと、前記３次元シーンの情報、前記カメラワーク情報および前記カメラ型ＣＧモデルの情報とを統合する情報統合ステップと、前記情報統合ステップで統合された情報に基づいて前記撮影カメラによって撮影された模擬映像を生成する映像生成ステップとを備えた構成を有している。
【００１４】
この構成により、３次元シーン、物理的性質が付与されたカメラ及びそのカメラワークが統合されて模擬できるため、マルチカメラシステムでの撮影を実際に撮影しているように模擬することが可能なカメラワークシミュレーション方法を実現することができる。
【００１５】
また、請求項５に係る発明は、請求項４において、さらに、前記情報統合ステップで統合された情報に基づいて、カメラワークによる所定のエラーを検出して表示または発音するエラー検出ステップを備えた構成を有している。
この構成により、カメラワークが原因の映像制作上のエラーを検出して表示等によって知らされるため、リハーサルに頼らずに番組制作が可能となるカメラワークシミュレーション方法を実現することができる。
【００１６】
【発明の実施の形態】
以下、添付図面を参照し、本発明の第１の実施の形態に係るカメラワークシミュレータについて説明する。
図１に、第１の実施の形態に係るカメラワークシミュレータのブロック構成図を示す。図１において、カメラワークシミュレータ１００は、シーン構成部１０１、カメラワーク入力部１０２、カメラ選択部１０３、カメラ情報収集部１０４、情報統合部１０５、カメラデータ格納部１０６、映像生成部１０７〜１１１、エラー検出部１１２、及び映像表示部１１３〜１１７から構成される。
【００１７】
シーン構成部１０１には、出演者の居場所、台詞、動き、舞台構成その他の背景等をデータ化した番組データが、カメラワークシミュレータ１００の外部から入力される。この入力は、例えば、カメラワークシミュレータ１００のユーザ自信が直接入力するのでも、ファイル等の形式で入力するのでも良い。シーン構成部１０１は、この番組データに規定された出演者の居場所、台詞、動き、舞台の構成その他の背景等の情報に基づいて、撮影対象をモデル化して３次元シーンを生成し、シーン情報として情報統合部１０５に出力する。
【００１８】
カメラワーク入力部１０２には、ユーザがカメラワーク入力部１０２を操作することによって、パン、チルト、ズーム、ドリーイン等の予め用意されたメニューの中から、所望のカメラワークが入力される。カメラワーク入力部１０２は、ユーザによって入力されたカメラワークを予め決められた対応関係に従ってデジタル信号に変換してカメラ情報収集部１０４に出力する。なお、カメラワーク入力部１０２を介して、ユーザがカメラワークシミュレータ１００を操作する上で必要となる制御情報等のその他のデータをも入力することができる。
【００１９】
カメラ選択部（スイッチャー）３には、カメラワーク入力部１０２と同様に、ユーザがカメラ選択部１０３を操作することによって、カメラワークを模擬するカメラの選択または切替情報が入力される。カメラ選択部１０３は、ユーザによって入力されたカメラ選択の情報を予め決められて対応関係に従ってデジタル信号に変換してカメラ情報収集部１０４に出力する。
【００２０】
カメラ情報収集部１０４は、カメラワーク入力部１０２及びカメラ選択部１０３から出力されるデータ及びカメラデータ格納部１０６からのデータを収集すると共に解析する。この解析の結果、どのカメラがどこに位置し、どのような視点を有しているか、どのカメラをどのようにカメラワークさせるか等が決定される。カメラ情報収集部１０４は、カメラワークに関する情報やカメラに関する情報をカメラワーク情報として情報統合部１０５に出力する。
【００２１】
また、カメラ情報収集部１０４は、収集したデータおよび解析して得られた情報を、カメラワーク入力部１０２から入力された制御情報に基づいて、または予め決められている制御に従って、カメラデータ格納部１０６に蓄積することも可能である。これらの蓄積データは、カメラワークを修正するために、シーンの途中から再生してカメラワークをやり直す場合等に利用できる。
【００２２】
また、カメラデータ格納部１０６には、カメラについての形状、カメラが回転する際の速度の上限等、カメラワークを現実的に模擬するのに必要なカメラの情報やそれを取り込んで得られたカメラ型CGモデル等が格納される。これらの情報は、カメラ情報収集部１０４の制御に従って出し入れされる。
【００２３】
情報統合部１０５は、シーン構成部１０１から出力されたシーン情報とカメラ情報収集部１０４から出力されたカメラワーク情報とに基づいて、設定された３次元シーンと各カメラの視点の設定や移動等のカメラワークとを統合する。情報統合部１０５で統合された情報は、モデル化された各カメラに対応する映像生成部１０７〜１１１及びエラー検出部１１２に出力される。
【００２４】
映像生成部１０７〜１１１は、模擬されたカメラワークによって得られる映像をカメラ毎に生成する。ここで得られる映像には、カメラの形状や重量等の物理的な要素が考慮され、現実的なカメラワークが模擬され、模擬されたカメラワークに応じて映像情報が生成される。映像生成部１０７〜１１１によって生成された各映像情報は、対応する映像表示部１１３〜１１７に出力される。
【００２５】
映像表示部１１３〜１１７は、映像生成部１０７〜１１１から出力された映像情報を用いて、模擬されたカメラワークに応じた映像を表示する。例えば、映像表示部１１３には、図１に示すように俯瞰表示が行われ、映像表示部１４〜１６には、カメラ１〜Ｎまでの映像が表示され、映像表示部１７には、番組映像として出力される映像が表示される。なお、この例では、配置されているカメラの台数をＮ台とした。
【００２６】
エラー検出部１１２は、情報統合部１０５によって統合された３次元シーンとカメラワークの情報に基づいて、「かぶり」の発生やカメラの衝突の発生等を検出する処理を行う。そして、「かぶり」やカメラの衝突が検出された場合は、それらの事象毎にアラームを発する。このアラームを認識したユーザは、アラームの原因となったカメラワークを回避するように、カメラワーク入力部１０２から修正のための再入力を行うことができる。
【００２７】
また、ユーザは、映像生成部９によって生成され、映像表示部１１３に表示された俯瞰映像を観察しながら操作することで各カメラ１〜Ｎおよび出演者や、いわゆる小道具等の位置関係を把握しながら各カメラを操作することができる。また、カメラワークのシミュレーションによって得られた結果を、カメラワーク入力部１０２からの入力、その他の制御によってカメラデータ格納部１０６に記憶しておくことができるのでも良い。
【００２８】
ＣＧ映像中の模擬される各カメラの視点位置には、例えば図２に示すようなカメラ型ＣＧモデルが設定される。このようなモデルを設定することによって、「かぶり」を模擬できる。シミュレーションで設定した３次元シーンの俯瞰映像（ＣＧ映像）の例を図３に示す。図３には、被写体とそれを撮影するための３台のカメラが、それぞれＣＧモデル３０１〜３０３によって表示されている。この３次元シーンをカメラ型ＣＧモデル３０１が撮影したものとして模擬された映像を図４に示す。図４に示す例では、被写体のほかに他のカメラモデルが映り、「かぶり」が生じていることが模擬されている。
【００２９】
以下、図５を参照して、本発明の第１の実施の形態に係るカメラワークシミュレーション方法について説明する。図５は、本発明の第１の実施の形態に係るカメラワークシミュレーション方法における処理の流れを示すフローチャートである。
ステップＳ５０１で、シーン構成部１０１は、出演者の居場所、台詞、動き、舞台構成その他の背景等をデータ化した番組データの取り込みを行う。
【００３０】
ステップＳ５０２で、シーン構成部１０１は、この番組データに規定された出演者の居場所、台詞、動き、舞台の構成その他の背景等の情報に基づいて、撮影対象をモデル化して３次元シーンを生成し、シーン情報として情報統合部１０５に出力する。
ステップＳ５０３で、カメラ情報収集部１０４は、カメラ選択部１０３を介して選択されたカメラのモデルを設定する。この処理は、カメラデータ格納部１０６に予め格納されているカメラのモデルをカメラ情報収集部１０４が読み込むことによって行うのでも良い。このカメラ型ＣＧモデルは、カメラワークを現実に模擬できるようにカメラの形状やカメラが回転する際の速度の限界等を取り込んだものである。
【００３１】
ステップＳ５０４で、カメラ情報収集部１０４は、カメラ選択部１０３によって選択されたカメラの、パン、チルト、ズーム、ドリーイン等のカメラワークに関する情報を、カメラワーク入力部１０２を介して取り込み、模擬するカメラワークを設定する。
ステップＳ５０５で、情報統合部１０５は、シーン構成部１０１から出力されたシーン情報とカメラ情報収集部１０４から出力されたカメラワーク情報とに基づいて、設定された３次元シーンと各カメラの視点の設定や移動等のカメラワークとを統合する。
【００３２】
ステップＳ５０６で、エラー検出部１１２は、情報統合部１０５で統合されたデータに基づいて、「かぶり」やカメラの衝突等のカメラワークのエラーを判断する。エラーと判断された場合、処理はステップＳ５０７に移り、エラーが検出されない場合、処理はＳ５０８に進む。
【００３３】
ステップＳ５０６でエラーと判断された場合、ステップＳ５０７で、エラー検出部１１２は、エラーの表示をする処理や、警告音を発する処理を行う。なお、当然ではあるが、これらの表示等は生じたエラーの内容毎に異なる。
ステップＳ５０８で、映像生成部１０７〜１１１は、対応する各カメラの模擬されたカメラワークによって得られる映像を生成する。ここで得られる映像は、カメラの形状や重量等の物理的な要素が考慮された現実的なものである。
【００３４】
ステップＳ５０９で、映像表示部１１３〜１１７は、映像生成部１０７〜１１１から出力された映像情報を用いて、模擬されたカメラワークに応じた映像を表示する。例えば、映像表示部１１３には、図１に示すように俯瞰表示が行われ、映像表示部１１４〜１１６には、カメラ１〜Ｎまでの映像が表示され、映像表示部１１７には、番組映像として出力される映像が表示される。
【００３５】
ステップＳ５１０で、情報統合部１０５は、シミュレーションが終了か否かを判断し、終了でないと判断した場合、処理はステップＳ５１１に移る。
ステップＳ５１１で、情報統合部１０５は、新たなカメラワークの入力があるか否かを判断し、あると判断した場合は、処理はステップＳ５０４に戻ってカメラワークの設定を行い、無いと判断した場合は、処理はステップＳ５０５に戻る。
【００３６】
以上説明したように、第１の実施の形態に係るカメラワークシミュレータ及びシミュレーション方法は、マルチカメラシステムでの撮影を実際に撮影しているように模擬することができる。
また、マルチカメラシステムでの撮影における、「かぶり」やカメラの衝突等のエラーを模擬できる。
また、従来のシミュレーション技術では不可能だった、注目するカメラがおかれている状況を把握することができる。
【００３７】
【発明の効果】
以上説明したように、本発明は、マルチカメラシステムにおける映像制作が詳細に模擬でき、従来リハーサルをしながら決定していたカメラワークをコンピュータ上だけで実現することができるため、映像制作の効率化が可能なカメラワークシミュレータ及びシミュレーション方法を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るカメラワークシミュレータの構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係るカメラワークシミュレータにおいて用いられるカメラ型ＣＧモデルの一例を示す図である。
【図３】本発明の第１の実施の形態に係るカメラワークシミュレータにおいて設定した３次元シーンの俯瞰映像（ＣＧ映像）の一例を示す図である。
【図４】本発明の第１の実施の形態に係るカメラワークシミュレータにおいて設定した３次元シーン中のカメラ型ＣＧモデルが撮影したものとして模擬された映像の一例を示す図である。
【図５】本発明の第１の実施の形態に係るカメラワークシミュレーション方法における処理の流れを示すフローチャートである。
【符号の説明】
１００ カメラワークシミュレータ
１０１ シーン構成部
１０２ カメラワーク入力部
１０３ カメラ選択部
１０４ カメラ情報収集部
１０５ 情報統合部
１０６ カメラデータ格納部
１０７〜１１１ 映像生成部
１１２ エラー検出部
１１３〜１１７ 映像表示部
３０１ カメラ型ＣＧモデル
３０２ カメラ型ＣＧモデル
３０３ カメラ型ＣＧモデル
【発明の属する技術分野】
本発明は、テレビジョン番組制作、映画製作、映像制作およびイベント等における撮影状況をコンピュータシミュレーションによって模擬するためのシミュレータ及びミュレーション方法に関し、特に、カメラワークをＣＧ（Computer Graphics）技術を用いて模擬するためのカメラワークシミュレータ及びシミュレーション方法に関する。
【０００２】
【従来の技術】
近年、テレビ放送は多チャンネル化の時代を迎え、質を維持しながら効率的に番組を制作することが求められている。このような要請に応えるため、カメラの動きやカット割り等の、本来、リハーサルを行って決めていくべきカメラワークを、シミュレーションを行って決めていく方法やシステムが提案されている。
【０００３】
従来のシミュレーション技術は、三次元ＣＧ技術によってモデル化したスタジオセット内に実体を持たない仮想的なカメラを１台設置して、その仮想的なカメラを操作することによってカメラワークをシミュレートするものであった（特願平１１−３０１０１３号公報）。そして、従来のシミュレーションシステムは、実際のカメラ操作に重点を置いているため、カメラワークのトレーニングツールとして用いられる場合が多かった。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のカメラワークのシミュレーション技術では、現在のテレビジョン番組制作等において一般的に採用されているマルチカメラシステムと呼ばれる、複数のカメラで同時に撮影し、状況に応じてカメラ映像を切り替えて映像出力する撮影方式での撮影を、実際に撮影しているように模擬できないという問題がある。
【０００５】
また、マルチカメラシステムでは、あるカメラで撮影しているときに他のカメラが視野に入ってしまう「かぶり」が発生し、これを回避しなければならないが、従来のシミュレーション技術では、ＣＧ技術によって模擬されるカメラには実体がなく、単にカメラ位置に視点が設定されているだけであるため、あるカメラが他のカメラを映す場面をシミュレーションによって模擬しても、「かぶり」を再現できないという問題がある。
【０００６】
また、従来のシミュレーション技術では、カメラで撮影した映像しか再現できないため、注目するカメラが、現在、どのような状況下にあるかを把握するのは困難であるという問題がある。例えば、カメラがドリーバック（ズームせずに後ろに下がるカメラワーク）しようとする場合に、カメラの後ろの状況は把握できなかった。
【０００７】
また、ＣＧ技術でモデル化されたカメラに実体を表す性質が付与されていないため、複数のカメラがフロア上で衝突することや、重さに由来してカメラの移動速度に限界があること等、現実のカメラの動きや複数のカメラを操作する場合に生じる事柄を、シミュレーションによって正しく模擬できないという問題がある。
【０００８】
本発明は、かかる問題を解決するためになされたものであり、その目的は、実際のカメラワークのように撮影の際のカメラワークを模擬できるカメラワークシミュレータ及びシミュレーション方法を提供することである。
【０００９】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、撮影場を含む撮影シーンをモデル化した３次元シーンをＣＧ（Computer Graphics）技術を用いて生成するシーン構成手段と、前記撮影場内に配置される撮影カメラの操作の情報であるカメラワーク情報を入力するためのカメラワーク入力手段と、前記撮影カメラのモデルであって、前記撮影カメラの形状および重さを含む物理的性質が付与されたカメラ型ＣＧモデルの情報を収集するカメラ情報収集手段と、前記３次元シーンの情報、前記カメラワーク情報および前記カメラ型ＣＧモデルの情報とを統合する情報統合手段と、前記情報統合手段によって統合された情報に基づいて前記撮影カメラによって撮影された模擬映像を生成する映像生成手段とを備えた構成を有している。
【００１０】
この構成により、３次元シーン、物理的性質が付与されたカメラ及びそのカメラワークが統合されて模擬できるため、マルチカメラシステムでの撮影を実際に撮影しているように模擬することが可能なカメラワークシミュレータを実現することができる。
【００１１】
また、請求項２に係る発明は、請求項１において、さらに、前記情報統合手段で統合された情報に基づいて、カメラワークによる所定のエラーを検出して表示または発音するエラー検出手段を備えた構成を有している。
この構成により、カメラワークが原因の映像制作上のエラーを検出して表示等によって知らされるため、リハーサルに頼らずに番組制作が可能となるカメラワークシミュレータを実現することができる。
【００１２】
また、請求項３に係る発明は、請求項２において、さらに、前記入力されたカメラワークの情報及び前記カメラ型ＣＧモデルの情報を含む情報を格納するためのカメラデータ格納手段を備えた構成を有している。
この構成により、入力されたカメラワークの情報やカメラ型ＣＧモデルの情報等を格納することができるため、カメラワークの修正が可能なカメラワークシミュレータを実現することができる。
【００１３】
また、請求項４に係る発明は、撮影場を含む撮影シーンをモデル化した３次元シーンをＣＧ（Computer Graphics）技術を用いて生成するシーン構成ステップと、前記撮影場内に配置される撮影カメラの操作の情報であるカメラワーク情報を設定するためのカメラワーク設定ステップと、前記撮影カメラのモデルであって、前記撮影カメラの形状および重さを含む物理的性質が付与されたカメラ型ＣＧモデルの情報を収集するカメラ情報収集ステップと、前記３次元シーンの情報、前記カメラワーク情報および前記カメラ型ＣＧモデルの情報とを統合する情報統合ステップと、前記情報統合ステップで統合された情報に基づいて前記撮影カメラによって撮影された模擬映像を生成する映像生成ステップとを備えた構成を有している。
【００１４】
この構成により、３次元シーン、物理的性質が付与されたカメラ及びそのカメラワークが統合されて模擬できるため、マルチカメラシステムでの撮影を実際に撮影しているように模擬することが可能なカメラワークシミュレーション方法を実現することができる。
【００１５】
また、請求項５に係る発明は、請求項４において、さらに、前記情報統合ステップで統合された情報に基づいて、カメラワークによる所定のエラーを検出して表示または発音するエラー検出ステップを備えた構成を有している。
この構成により、カメラワークが原因の映像制作上のエラーを検出して表示等によって知らされるため、リハーサルに頼らずに番組制作が可能となるカメラワークシミュレーション方法を実現することができる。
【００１６】
【発明の実施の形態】
以下、添付図面を参照し、本発明の第１の実施の形態に係るカメラワークシミュレータについて説明する。
図１に、第１の実施の形態に係るカメラワークシミュレータのブロック構成図を示す。図１において、カメラワークシミュレータ１００は、シーン構成部１０１、カメラワーク入力部１０２、カメラ選択部１０３、カメラ情報収集部１０４、情報統合部１０５、カメラデータ格納部１０６、映像生成部１０７〜１１１、エラー検出部１１２、及び映像表示部１１３〜１１７から構成される。
【００１７】
シーン構成部１０１には、出演者の居場所、台詞、動き、舞台構成その他の背景等をデータ化した番組データが、カメラワークシミュレータ１００の外部から入力される。この入力は、例えば、カメラワークシミュレータ１００のユーザ自信が直接入力するのでも、ファイル等の形式で入力するのでも良い。シーン構成部１０１は、この番組データに規定された出演者の居場所、台詞、動き、舞台の構成その他の背景等の情報に基づいて、撮影対象をモデル化して３次元シーンを生成し、シーン情報として情報統合部１０５に出力する。
【００１８】
カメラワーク入力部１０２には、ユーザがカメラワーク入力部１０２を操作することによって、パン、チルト、ズーム、ドリーイン等の予め用意されたメニューの中から、所望のカメラワークが入力される。カメラワーク入力部１０２は、ユーザによって入力されたカメラワークを予め決められた対応関係に従ってデジタル信号に変換してカメラ情報収集部１０４に出力する。なお、カメラワーク入力部１０２を介して、ユーザがカメラワークシミュレータ１００を操作する上で必要となる制御情報等のその他のデータをも入力することができる。
【００１９】
カメラ選択部（スイッチャー）３には、カメラワーク入力部１０２と同様に、ユーザがカメラ選択部１０３を操作することによって、カメラワークを模擬するカメラの選択または切替情報が入力される。カメラ選択部１０３は、ユーザによって入力されたカメラ選択の情報を予め決められて対応関係に従ってデジタル信号に変換してカメラ情報収集部１０４に出力する。
【００２０】
カメラ情報収集部１０４は、カメラワーク入力部１０２及びカメラ選択部１０３から出力されるデータ及びカメラデータ格納部１０６からのデータを収集すると共に解析する。この解析の結果、どのカメラがどこに位置し、どのような視点を有しているか、どのカメラをどのようにカメラワークさせるか等が決定される。カメラ情報収集部１０４は、カメラワークに関する情報やカメラに関する情報をカメラワーク情報として情報統合部１０５に出力する。
【００２１】
また、カメラ情報収集部１０４は、収集したデータおよび解析して得られた情報を、カメラワーク入力部１０２から入力された制御情報に基づいて、または予め決められている制御に従って、カメラデータ格納部１０６に蓄積することも可能である。これらの蓄積データは、カメラワークを修正するために、シーンの途中から再生してカメラワークをやり直す場合等に利用できる。
【００２２】
また、カメラデータ格納部１０６には、カメラについての形状、カメラが回転する際の速度の上限等、カメラワークを現実的に模擬するのに必要なカメラの情報やそれを取り込んで得られたカメラ型CGモデル等が格納される。これらの情報は、カメラ情報収集部１０４の制御に従って出し入れされる。
【００２３】
情報統合部１０５は、シーン構成部１０１から出力されたシーン情報とカメラ情報収集部１０４から出力されたカメラワーク情報とに基づいて、設定された３次元シーンと各カメラの視点の設定や移動等のカメラワークとを統合する。情報統合部１０５で統合された情報は、モデル化された各カメラに対応する映像生成部１０７〜１１１及びエラー検出部１１２に出力される。
【００２４】
映像生成部１０７〜１１１は、模擬されたカメラワークによって得られる映像をカメラ毎に生成する。ここで得られる映像には、カメラの形状や重量等の物理的な要素が考慮され、現実的なカメラワークが模擬され、模擬されたカメラワークに応じて映像情報が生成される。映像生成部１０７〜１１１によって生成された各映像情報は、対応する映像表示部１１３〜１１７に出力される。
【００２５】
映像表示部１１３〜１１７は、映像生成部１０７〜１１１から出力された映像情報を用いて、模擬されたカメラワークに応じた映像を表示する。例えば、映像表示部１１３には、図１に示すように俯瞰表示が行われ、映像表示部１４〜１６には、カメラ１〜Ｎまでの映像が表示され、映像表示部１７には、番組映像として出力される映像が表示される。なお、この例では、配置されているカメラの台数をＮ台とした。
【００２６】
エラー検出部１１２は、情報統合部１０５によって統合された３次元シーンとカメラワークの情報に基づいて、「かぶり」の発生やカメラの衝突の発生等を検出する処理を行う。そして、「かぶり」やカメラの衝突が検出された場合は、それらの事象毎にアラームを発する。このアラームを認識したユーザは、アラームの原因となったカメラワークを回避するように、カメラワーク入力部１０２から修正のための再入力を行うことができる。
【００２７】
また、ユーザは、映像生成部９によって生成され、映像表示部１１３に表示された俯瞰映像を観察しながら操作することで各カメラ１〜Ｎおよび出演者や、いわゆる小道具等の位置関係を把握しながら各カメラを操作することができる。また、カメラワークのシミュレーションによって得られた結果を、カメラワーク入力部１０２からの入力、その他の制御によってカメラデータ格納部１０６に記憶しておくことができるのでも良い。
【００２８】
ＣＧ映像中の模擬される各カメラの視点位置には、例えば図２に示すようなカメラ型ＣＧモデルが設定される。このようなモデルを設定することによって、「かぶり」を模擬できる。シミュレーションで設定した３次元シーンの俯瞰映像（ＣＧ映像）の例を図３に示す。図３には、被写体とそれを撮影するための３台のカメラが、それぞれＣＧモデル３０１〜３０３によって表示されている。この３次元シーンをカメラ型ＣＧモデル３０１が撮影したものとして模擬された映像を図４に示す。図４に示す例では、被写体のほかに他のカメラモデルが映り、「かぶり」が生じていることが模擬されている。
【００２９】
以下、図５を参照して、本発明の第１の実施の形態に係るカメラワークシミュレーション方法について説明する。図５は、本発明の第１の実施の形態に係るカメラワークシミュレーション方法における処理の流れを示すフローチャートである。
ステップＳ５０１で、シーン構成部１０１は、出演者の居場所、台詞、動き、舞台構成その他の背景等をデータ化した番組データの取り込みを行う。
【００３０】
ステップＳ５０２で、シーン構成部１０１は、この番組データに規定された出演者の居場所、台詞、動き、舞台の構成その他の背景等の情報に基づいて、撮影対象をモデル化して３次元シーンを生成し、シーン情報として情報統合部１０５に出力する。
ステップＳ５０３で、カメラ情報収集部１０４は、カメラ選択部１０３を介して選択されたカメラのモデルを設定する。この処理は、カメラデータ格納部１０６に予め格納されているカメラのモデルをカメラ情報収集部１０４が読み込むことによって行うのでも良い。このカメラ型ＣＧモデルは、カメラワークを現実に模擬できるようにカメラの形状やカメラが回転する際の速度の限界等を取り込んだものである。
【００３１】
ステップＳ５０４で、カメラ情報収集部１０４は、カメラ選択部１０３によって選択されたカメラの、パン、チルト、ズーム、ドリーイン等のカメラワークに関する情報を、カメラワーク入力部１０２を介して取り込み、模擬するカメラワークを設定する。
ステップＳ５０５で、情報統合部１０５は、シーン構成部１０１から出力されたシーン情報とカメラ情報収集部１０４から出力されたカメラワーク情報とに基づいて、設定された３次元シーンと各カメラの視点の設定や移動等のカメラワークとを統合する。
【００３２】
ステップＳ５０６で、エラー検出部１１２は、情報統合部１０５で統合されたデータに基づいて、「かぶり」やカメラの衝突等のカメラワークのエラーを判断する。エラーと判断された場合、処理はステップＳ５０７に移り、エラーが検出されない場合、処理はＳ５０８に進む。
【００３３】
ステップＳ５０６でエラーと判断された場合、ステップＳ５０７で、エラー検出部１１２は、エラーの表示をする処理や、警告音を発する処理を行う。なお、当然ではあるが、これらの表示等は生じたエラーの内容毎に異なる。
ステップＳ５０８で、映像生成部１０７〜１１１は、対応する各カメラの模擬されたカメラワークによって得られる映像を生成する。ここで得られる映像は、カメラの形状や重量等の物理的な要素が考慮された現実的なものである。
【００３４】
ステップＳ５０９で、映像表示部１１３〜１１７は、映像生成部１０７〜１１１から出力された映像情報を用いて、模擬されたカメラワークに応じた映像を表示する。例えば、映像表示部１１３には、図１に示すように俯瞰表示が行われ、映像表示部１１４〜１１６には、カメラ１〜Ｎまでの映像が表示され、映像表示部１１７には、番組映像として出力される映像が表示される。
【００３５】
ステップＳ５１０で、情報統合部１０５は、シミュレーションが終了か否かを判断し、終了でないと判断した場合、処理はステップＳ５１１に移る。
ステップＳ５１１で、情報統合部１０５は、新たなカメラワークの入力があるか否かを判断し、あると判断した場合は、処理はステップＳ５０４に戻ってカメラワークの設定を行い、無いと判断した場合は、処理はステップＳ５０５に戻る。
【００３６】
以上説明したように、第１の実施の形態に係るカメラワークシミュレータ及びシミュレーション方法は、マルチカメラシステムでの撮影を実際に撮影しているように模擬することができる。
また、マルチカメラシステムでの撮影における、「かぶり」やカメラの衝突等のエラーを模擬できる。
また、従来のシミュレーション技術では不可能だった、注目するカメラがおかれている状況を把握することができる。
【００３７】
【発明の効果】
以上説明したように、本発明は、マルチカメラシステムにおける映像制作が詳細に模擬でき、従来リハーサルをしながら決定していたカメラワークをコンピュータ上だけで実現することができるため、映像制作の効率化が可能なカメラワークシミュレータ及びシミュレーション方法を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るカメラワークシミュレータの構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係るカメラワークシミュレータにおいて用いられるカメラ型ＣＧモデルの一例を示す図である。
【図３】本発明の第１の実施の形態に係るカメラワークシミュレータにおいて設定した３次元シーンの俯瞰映像（ＣＧ映像）の一例を示す図である。
【図４】本発明の第１の実施の形態に係るカメラワークシミュレータにおいて設定した３次元シーン中のカメラ型ＣＧモデルが撮影したものとして模擬された映像の一例を示す図である。
【図５】本発明の第１の実施の形態に係るカメラワークシミュレーション方法における処理の流れを示すフローチャートである。
【符号の説明】
１００ カメラワークシミュレータ
１０１ シーン構成部
１０２ カメラワーク入力部
１０３ カメラ選択部
１０４ カメラ情報収集部
１０５ 情報統合部
１０６ カメラデータ格納部
１０７〜１１１ 映像生成部
１１２ エラー検出部
１１３〜１１７ 映像表示部
３０１ カメラ型ＣＧモデル
３０２ カメラ型ＣＧモデル
３０３ カメラ型ＣＧモデル
Claims (5)
- 撮影場を含む撮影シーンをモデル化した３次元シーンをＣＧ（Computer Graphics）技術を用いて生成するシーン構成手段と、前記撮影場内に配置される撮影カメラの操作の情報であるカメラワーク情報を入力するためのカメラワーク入力手段と、前記撮影カメラのモデルであって、前記撮影カメラの形状および重さを含む物理的性質が付与されたカメラ型ＣＧモデルの情報を収集するカメラ情報収集手段と、前記３次元シーンの情報、前記カメラワーク情報および前記カメラ型ＣＧモデルの情報とを統合する情報統合手段と、前記情報統合手段によって統合された情報に基づいて前記撮影カメラによって撮影された模擬映像を生成する映像生成手段とを備えたことを特徴とするカメラワークシミュレータ。
- 前記カメラワークシミュレータは、さらに、前記情報統合手段で統合された情報に基づいて、カメラワークによる所定のエラーを検出して表示または発音するエラー検出手段を備えたことを特徴とする請求項１記載のカメラワークシミュレータ。
- 前記カメラワークシミュレータは、さらに、前記入力されたカメラワークの情報及び前記カメラ型ＣＧモデルの情報を含む情報を格納するためのカメラデータ格納手段を備えたことを特徴とする請求項１または２記載のカメラワークシミュレータ。
- 撮影場を含む撮影シーンをモデル化した３次元シーンをＣＧ（Computer Graphics）技術を用いて生成するシーン構成ステップと、前記撮影場内に配置される撮影カメラの操作の情報であるカメラワーク情報を設定するためのカメラワーク設定ステップと、前記撮影カメラのモデルであって、前記撮影カメラの形状および重さを含む物理的性質が付与されたカメラ型ＣＧモデルの情報を収集するカメラ情報収集ステップと、前記３次元シーンの情報、前記カメラワーク情報および前記カメラ型ＣＧモデルの情報とを統合する情報統合ステップと、前記情報統合ステップで統合された情報に基づいて前記撮影カメラによって撮影された模擬映像を生成する映像生成ステップとを備えたことを特徴とするカメラワークシミュレーション方法。
- 前記カメラワークシミュレーション方法は、さらに、前記情報統合ステップで統合された情報に基づいて、カメラワークによる所定のエラーを検出して表示または発音するエラー検出ステップを備えたことを特徴とする請求項４記載のカメラワークシミュレーション方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001219466A JP4217008B2 (ja) | 2001-07-19 | 2001-07-19 | カメラワークシミュレータ及びシミュレーション方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001219466A JP4217008B2 (ja) | 2001-07-19 | 2001-07-19 | カメラワークシミュレータ及びシミュレーション方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003032515A JP2003032515A (ja) | 2003-01-31 |
| JP4217008B2 true JP4217008B2 (ja) | 2009-01-28 |
Family
ID=19053463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001219466A Expired - Fee Related JP4217008B2 (ja) | 2001-07-19 | 2001-07-19 | カメラワークシミュレータ及びシミュレーション方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4217008B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4778349B2 (ja) * | 2006-04-12 | 2011-09-21 | オリンパスイメージング株式会社 | 撮像装置 |
| JP5461782B2 (ja) * | 2008-03-12 | 2014-04-02 | Ｔｏａ株式会社 | カメラ映像シミュレータプログラム |
| JP5383761B2 (ja) * | 2011-09-15 | 2014-01-08 | 株式会社ビデオ・テック | データ送出シミュレータ |
-
2001
- 2001-07-19 JP JP2001219466A patent/JP4217008B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003032515A (ja) | 2003-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102458594B (zh) | 模拟虚拟照相机的性能的系统和方法 | |
| JP7457806B2 (ja) | レンズ分割の実現方法、装置および関連製品 | |
| US20030202120A1 (en) | Virtual lighting system | |
| CN106097435A (zh) | 一种增强现实拍摄系统及方法 | |
| US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
| CN103258338A (zh) | 利用真实数据来驱动仿真的虚拟环境的方法和系统 | |
| CN103491331A (zh) | 显示控制设备、显示控制方法和程序 | |
| JP2018107793A (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
| CN104252712A (zh) | 图像生成装置及图像生成方法 | |
| KR20130090621A (ko) | 사전 시각화 영상 생성 장치 및 방법 | |
| CN113660528B (zh) | 一种视频合成方法、装置、电子设备和存储介质 | |
| JP2008010966A (ja) | 動画生成システム、及び動画生成方法 | |
| JP5044582B2 (ja) | 撮影カメラ学習装置及びそのプログラム | |
| CN113792646A (zh) | 舞蹈动作辅助生成方法、装置及跳舞设备 | |
| JP4217008B2 (ja) | カメラワークシミュレータ及びシミュレーション方法 | |
| JP6559375B1 (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
| JP2005295181A (ja) | 音声情報生成装置 | |
| Ichikari et al. | Mixed reality pre-visualization and camera-work authoring in filmmaking | |
| JP2008140297A (ja) | 動画像生成方法及びシステム | |
| JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
| Kahn et al. | Capturing of contemporary dance for preservation and presentation of choreographies in online scores | |
| JP4899733B2 (ja) | 画像生成方法及び画像生成システム | |
| JP7494153B2 (ja) | 生成装置、生成方法、及び、プログラム | |
| WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
| JP7167388B1 (ja) | 動画作成システム、動画作成装置、及び動画作成用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |