JP5675188B2 - 映像コンテンツ作成装置、方法及びプログラム - Google Patents

Description

本発明は、撮像装置を含む複数の映像ソースの映像を素材として映像コンテンツを作成する映像コンテンツ作成装置、システム、方法及びプログラムに関する。

時間的には連続するが異なる画角（アングル）で撮影された映像を切り換えて映像コンテンツを作成する場合には、１台のカメラで実現するのは不可能である。そのため、２台以上のカメラで異なる画角（アングル）から同時に撮影して、スイッチャーにより映像を切り換えるか、又は、撮影の終了後に編集を行うことが必要であった。このとき、構成意図に則した映像コンテンツとするためには、構成台本や取材メモ等コンテンツ構成を示すテキスト（文字・文章）を見て、どのような構図にするか、複数のカメラを含む映像ソースをどのように切り換えるかを人的に決定する必要があった。

特許文献１に開示されている技術は、予め決定している撮影スケジュールや出演者等の収録支援情報を記録媒体に記録して撮影装置に挿入し、収録する素材を該収録支援情報に基づいて分類する。そして、最終的な番組の構成に近い形での素材の獲得を収録の時点で行うことにより、編集の効率化を図る技術が開示されている。

また、特許文献２には、作成されたシーン、シナリオ記述データを記憶し、この記憶したデータの解析により撮影制御データを作成記憶し、この記憶した撮影制御データに基づいて順次撮影させるカメラを選出して撮影を制御する技術が開示されている。

再公表特許第ＷＯ２００５／１０１８２５号公報 特開平０９−０３７１３９号公報

しかしながら、上記の従来方法では、台本等のテキストを完成させる過程で、このテキストに対して映像ソースやカメラワークを割り付けることができない。

本発明は上記従来の問題点を解消するためになされたもので、台本等のテキストを完成させる過程で、このテキストに対して映像ソース、更にはカメラワークを割り付けられるようにすること目的とするものである。

本発明の映像コンテンツ作成装置は、複数の撮像装置を含む複数の映像ソースの映像を素材として映像コンテンツを作成する映像コンテンツ作成装置であって、テキストのデータを入力するテキストデータ入力手段と、前記テキストデータ入力手段で入力したテキストの一部を選択する第１の選択手段と、前記複数の映像ソースのうち、前記第１の選択手段で選択したテキストの一部に割り付ける映像ソースを選択する第２の選択手段と、前記第１の選択手段で選択したテキストに前記第２の選択手段で選択した映像ソースを割り付ける割り付け手段とを備え、前記割り付け手段は、前記第１の選択手段で選択した異なるテキストの一部のそれぞれに対して異なる撮像装置を割り付け可能であり、前記割り付け手段は、前記第２の選択手段で選択された映像ソースが前記複数の撮像装置のいずれかである場合、前記第２の選択手段で選択した撮像装置のカメラワークを割り付け、前記割り付け手段は、前記第１の選択手段で選択したテキストの一部の時系列上の始点及び終点を指定し、それぞれで所定のカメラワークを設定した場合、前記始点及び前記終点の間で、前記始点でのカメラワーク及び前記終点でのカメラワークを満たすように該カメラワークを徐々に変化させることを特徴とする。

本発明によれば、台本等のテキストを完成させる過程で、このテキストの一部を選択して、その選択したテキストに対して映像ソース、更にはカメラワークを割り付けることができる。これにより、映像コンテンツ制作の工程全体が効率化し、制作時間の短縮、制作人員及び制作コストの削減が実現できる。

実施形態に係る撮影制御システムの概略構成を示す図である。 実施形態に係る撮影制御システムが使用される状況の一例を示す図である。 実施形態に係るディレクターボードの要部構成を示すブロック図である。 実施形態に係るリモートカメラの要部構成を示すブロック図である。 実施形態に係る撮影制御システムの機能モジュール構成を示すブロック図である。 実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。 実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。 実施形態に係るディレクターボードの処理の流れを示すフローチャートである。 実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。 実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。 実施形態に係るディレクターボードの処理の流れを示すフローチャートである。 ＲＡＭに保持するテキストのデータ構造の一例を示す図である。 実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。 実施形態に係るディレクターボードの処理の流れを示すフローチャートである。 他の実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は本発明を適用した映像コンテンツ作成システムとして機能する撮影制御システムの概略構成を示す図である。２００は表示部２０８を具備するディレクターボード、３００、３５０はリモートカメラ（以下、単にカメラと称する）であり、ディレクターボード２００とカメラ３００、３５０とは無線通信可能となっている。ディレクターボード２００は、表示したテキストがユーザにより読み上げられるのに合わせて複数のカメラを制御することのできる、手持ち可能なボードタイプ機器である。カメラ３００、３５０は、外部機器からのコマンド等に応じて、パン・チルト、ズーム、フォーカス、アイリス、ホワイトバランス等の撮影条件を制御することが可能な被制御型カメラである。

図２は本実施形態に係る撮影制御システムが使用される状況の一例を示す図である。本実施形態では、角乗の会場の様子を、複数のカメラ３００、３５０で異なる画角（アングル）から撮影している。

ユーザはディレクターボード２００上で台本等のテキストを完成させる過程で、このテキストを区分けして、その区分けしたテキストに対して映像ソース、更にはカメラワークを割り付けることができる。したがって、テキストの完成とともにカメラワーク構成が完成し、テキストの進行と同期させて各カメラ３００、３５０のカメラワークを制御できるようになる。すなわち、テキスト中のある部分を読み上げると、これに同期させて映像ソースを切り換えたり、カメラ３００、３５０のカメラワークを制御したりすることができる。これにより、例えば自身がレポータとして映像中に登場しながら、複数のカメラを制御することもでき、映像コンテンツ制作の工程全体が効率化し、制作時間の短縮、制作人員及び制作コストの削減が実現できる。

図３は本実施形態に係るディレクターボード２００の要部構成を示すブロック図である。２０１はシステム制御部であり、ディレクターボード２００自体の動作を制御する他、映像ソースの選択やカメラ３００、３５０のカメラワークを制御する信号の生成も司る。２０２はＲＡＭである。２０３は音声認識部である。２０４はメモリカードインタフェイスである。２０５は無線通信部である。２０６は不揮発性メモリである。２０７はマイクである。２０８は表示部である。２０９は操作部である。２１０はメモリカードである。操作部２０９には、タッチパネルのようにユーザが表示部２０８の表示に対してＧＵＩ操作できる態様のものも含まれる。テキストデータ入力は、ＧＵＩ操作に係る場合がありうる。また、メモリカードインタフェイス２０４を経由してメモリカード２１０よりなされる場合がありうる。また、無線通信部２０５を経由してなされる場合がありうる。また、マイク２０７を通じて入力されたユーザの発話を音声認識部２０３により認識、テキスト変換してなされる場合がありうる。入力されたテキストデータや、このテキストデータに割り付けられることで関連付けられたカメラワーク等の記憶はＲＡＭ２０２に保持される。

図４は本実施形態に係るカメラ３００の要部構成を示すブロック図である。３０１はシステム制御部である。３０２はＲＡＭである。３０３は結像した光学像を光電変換する撮像部である。３０４はメモリカードインタフェイスである。３０５は不揮発性メモリである。３０６は無線通信部である。３０７はマイクである。３０８は操作部である。３０９は表示部である。３１０はメモリカードである。３１１は光学系である。システム制御部３０１は、ディレクターボード２００より送信され無線通信部３０６で受信した制御信号に基づき、撮像部３０３、光学系３１１のパン・チルト、ズーム、フォーカス、アイリス、ホワイトバランス等の撮影条件を制御する。システム制御部３０１はまた、撮像部３０３により撮影された映像を撮影条件等の状態情報とともに、無線通信部３０６を通じて、ディレクターボード２００に送信する。なお、ここではカメラ３００を説明したが、カメラ３５０も同様の構成である。

図５は本実施形態に係る撮影制御システムの機能モジュール構成を示すブロック図である。本図に示す諸機能は、各装置内に記憶されたソフトウェアによる情報処理がその装置のハードウェア資源を用いて実現するものである。例えば映像アイコン表示手段４０１は図３に示すディレクターボード２００の不揮発性メモリ２０６に記憶されたソフトウェアによりシステム制御部２０１が情報処理し、表示部２０８に映像アイコンを表示するようにして実現する。

ディレクターボード２００において、テキスト表示手段４０７はテキストデータ入力手段４０６を介して入力されたテキストを表示する。ユーザは、テキスト選択手段４０８によりテキストを区分けして、テキストの一部を選択することができる。そして、撮影情報割付手段４０４により、選択したテキストに対して映像ソースを割り付け、映像ソースがカメラ３００、３５０である場合、パン・チルト、ズーム、フォーカス、アイリス、ホワイトバランス等のカメラワークを割り付けることができる。撮影情報管理手段４０３は当該割り付けられたカメラワークの撮影情報を管理し、撮影制御手段４０２は当該撮影情報に基づいてカメラ３００、３５０の撮影制御を行う。

カメラ３００、３５０において、ズーム駆動部４５２はディレクターボード２００の撮影制御手段４０２からの撮影情報によりズームを駆動・変更する。また、フォーカス駆動部４５３はディレクターボード２００の撮影制御手段４０２からの撮影情報によりフォーカスを駆動・変更する。また、アイリス駆動部４５４はディレクターボード２００の撮影制御手段４０２からの撮影情報によりアイリスを駆動・変更する。また、ＷＢ（ホワイトバランス）駆動部４５５はディレクターボード２００の撮影制御手段４０２からの撮影情報によりホワイトバランスを駆動・変更する。また、パン・チルト駆動部４５６はディレクターボード２００の撮影制御手段４０２からの撮影情報によりパン・チルトを駆動・変更する。

ディレクターボード２００において、映像アイコン表示手段４０１は、カメラ３００、３５０の撮像部４５１で撮影した映像、及び、他の映像ソース４６０の映像出力部４６１の出力した映像をアイコンとして表示する。映像ソース４６０の動作制御部４６２は、ディレクターボード２００の撮影制御手段４０２の制御情報に基づいて、映像ソース４６０の動作を制御する。

図６（ａ）は本実施形態に係るディレクターボード２００の表示部２０８に表示されるＧＵＩに対してユーザがテキスト入力操作を行っている状態を示す図である。６０１は表示部２０８に表示されるＧＵＩであり、６０２はＧＵＩ６０１中のテキスト入力領域である。また、ＧＵＩ６０１には、オペレーションボタン６０６、コミュニケーションボタン６０２、「進行表モードにする」ボタン６０８、編集ボタン６０９、レコーディングボタン６１０、メモボタン６１１、セットアップボタン６１２が設定される。

本実施形態に係るディレクターボード２００では、表示部２０８はタッチパネルと一体のタッチパネルディスプレイとして構成される。ユーザは指やスタイラスペン等を用いて、このタッチパネルディスプレイにテキストを手書きすることによりテキスト入力操作を行うことができる。また、テキスト文字列を線で囲む等のユーザの所定のジェスチャ操作に応じて、テキストがブロックとして区分けされる。なお、タッチパネルディスプレイに手書きされた文字やジェスチャの認識には、既知の方法を用いることが可能である。ユーザ操作に応じてテキストがブロックとして区分けされると、ディレクターボード２００は区分けられたテキストをブロック管理し、例えば図６（ｂ）に示す「メモ用紙」６０３〜６０５のようなＧＵＩで表示する（以下、「テキストブロック」と呼ぶ）。図６（ｂ）に示す例では、３つのテキストブロック６０３〜６０５がそれぞれブロック管理されている。

図７（ａ）は本実施形態に係るディレクターボード２００の表示部２０８のＧＵＩにカメラオペレーションパネル７０１が表示された状態を示す図である。また、図７（ｂ）はカメラオペレーションパネル７０１を抜き出して示す図である。７０１はカメラオペレーションパネルであり、ユーザによる所定の操作、例えばオペレーションボタン６０６の押下に応じて表示される。図７（ａ）は、図６（ｂ）のテキストブロック６０３〜６０５が表示されているときに、オペレーションボタン６０６の押下に応じてカメラオペレーションパネル７０１が表示された状態を示す。

図７（ｂ）に示すように、カメラオペレーションパネル７０１には、映像アイコン７０３が表示される。映像アイコン７０３は、撮影制御システムを構成する複数の映像ソースを示すアイコンであって、各映像ソースが出力している映像を表示する。例えば図２の例で言えば、カメラ３００、３５０が映像ソースであり、これらカメラ３００、３５０が撮影している映像が映像アイコン７０３としてリアルタイムに表示されることになる。撮影が行われていない場合は映像を非表示としたり、最終フレームを静止状態で表示したりする。図７（ｂ）に示す例では、４つのリモートカメラが撮影している映像と、１つのＶＴＲ映像とが表示されている。ここでいうＶＴＲ映像とは、例えば前もってカメラで撮影され、ディレクターボード２００のメモリカード２１０に保存された映像データをいう。このようなＶＴＲ映像も映像コンテンツの素材として用いることができる。

また、カメラオペレーションパネル７０１は、各リモートカメラを制御するためのズームコントローラ７０４と、パン・チルトコントローラ７０５とを有する。また、映像ビューワ７０６は選択状態にある映像ソースの映像を表示する領域である。図７（ｂ）の例では、リモートカメラ「１」を示すアイコンが選択状態となっており、他のアイコンと識別可能に表示されている。映像ビューワ７０６にはリモートカメラ「１」が撮影している映像が表示されている。

ユーザは、テキストブロック６０３〜６０５に対して、カメラオペレーションパネル７０１の映像アイコン７０３をドラッグ＆ドロップするといった所定の操作を行うことにより、テキストブロック６０３〜６０５に映像ソースを割り付けることができる。

また、ユーザは、テキストブロック６０３〜６０５の配置を並び替えるといった所定の操作を行うことにより、テキストブロック６０３〜６０５の順序を変更することができる。このテキストブロック６０３〜６０５の順序は、映像コンテンツにおけるアナウンスの順序として規定される。したがって、テキストブロックの順序はＲＡＭ２０２に保持されており、並び替えられるたびに保持されている順序も更新される。

図８は本実施形態に係るディレクターボード２００が、電源オンからユーザによるテキスト入力を受け付けてこれをブロック化し、時系列上に連続的に表示するまでの処理の流れを示すフローチャートである。このフローチャートは、ディレクターボード２００のシステム制御部２０１が入力信号やプログラムに基づき、各部を制御することにより実現される。

システム制御部２０１は、表示部２０８に図６（ａ）に示すＧＵＩを表示する（ステップＳ８０１）。ここで、ディレクターボード２００はユーザによるテキスト入力操作を受け付ける状態となる。

ユーザによる操作がテキスト入力操作であった場合（ステップＳ８０２でＹＥＳ）、システム制御部２０１は、ユーザにより入力されたテキストを表示部２０８に表示し、そのデータをＲＡＭ２０２に保持する（ステップＳ８０３）。

ユーザによる操作がテキスト文字列を線で囲むといった、テキストのブロック区分けに係る操作であった場合（ステップＳ８０４でＹＥＳ）、システム制御部２０１は、当該テキストをブロックとしてＲＡＭ２０２でデータ管理・保持する。そして、表示部２０８に図６（ｂ）に示すテキストブロックのＧＵＩを表示する（ステップＳ８０５）。なお、ステップＳ８０２においてテキスト入力操作が全く行われなかった場合、ステップＳ８０５の処理はスキップされる。

ユーザによる操作がテキストブロック上に映像アイコンをドラッグ＆ドロップするといった、テキストブロックに対する映像ソースの割り付けに係る操作であった場合（ステップＳ８０６でＹＥＳ）について説明する。この場合、システム制御部２０１は、当該テキストブロックに映像ソースを関連付けてＲＡＭ２０２でデータ管理・保持する。この対応付けの方法は後述するが、例えばテーブル等を作成して管理してもよいし、テキストブロックが映像ソースの情報を自身の属性情報として保持するようにしてもよい。映像ソースの割り付けが行われると、テキストブロックに重ねて映像アイコンを表示する（ステップＳ８０７）。

ユーザによる操作がテキストブロックをドラッグ＆ドロップするといった、テキストブロックの順序変更に係る操作であった場合について説明する（ステップＳ８０８でＹＥＳ）。この場合、システム制御部２０１は、表示部２０８に表示している当該テキストブロックの順序を変更する（ステップＳ８０９）。このとき、ＲＡＭ２０２でデータ管理・保持している順序も更新する（ステップＳ８０９）。

ユーザによる操作が「進行表モードにする」ボタン６０８の押下である場合（ステップＳ８１０でＹＥＳ）、システム制御部２０１は、表示部２０８の表示を「進行表モード」に遷移させる（ステップＳ８１１）。進行表モードでは、入力されたテキストと、そのテキストに割り付けられた映像ソースを時系列上に連続的に表示する。以下、進行表モードについて説明する。

図９は進行表モードのＧＵＩ表示例を示す図である。９０１は原稿エリア、９０２はタイムラインエリア、９０３は割り付けエリア、９０４〜９０６は映像アイコンである。原稿エリア９０１には、各テキストブロックに対応するテキストが、それがレイアウトされていた順に、本実施形態では右から左に連続的に表示される。図９では、図６（ｂ）に示したテキストブロック６０３〜６０５が右から順に表示されている。

また、割付エリア９０３には、各テキストブロックに割り付けられた映像ソースの映像アイコンが、それぞれのテキストブロックに対応付けるかたちで、図示例ではテキストブロックの上部に表示される。図９では、テキストブロック「こんにちは」６０３に割り付けられた映像ソースであるカメラ「１」を示す映像アイコン９０４、テキストブロック「本日、ここ、東京、・・・行われています。」６０４に割り付けられた映像ソースであるカメラ「２」を示す映像アイコン９０５、テキストブロック「今日はその模様を・・・思います」６０５に割り付けられた映像ソースであるカメラ「３」を示す映像アイコン９０６が表示されている。割り付け処理は、映像コンテンツにおいて、どのテキストブロックが読み上げられているときに、どの映像ソースの映像を用いるかを指定するために行われる。つまり、図９の例で言えば、「こんにちは」とレポータが話しているときには、映像アイコン９０４に対応するカメラ「１」からの映像が使用されることとなる。そして、「本日、ここ、東京・・・」と話し始めた場合は、映像アイコン９０５に対応するカメラ「２」からの映像に切り替わることになる。

図１０（ａ）は図９におけるカメラ「２」を示す映像アイコン９０５がダブルタップされる操作がなされたときに、ディレクターボード２００が図９の状態に重ねて表示する表示の一例である。１００１はテキストブロックエリア、１００２は進行ゲージエリアである。テキストブロックエリア１００１には、ユーザによりダブルタップされた映像アイコン９０５に対応するテキストブロック「本日、ここ、東京、・・・行われています。」６０４が表示される。

図１０（ｂ）はユーザにより進行ゲージエリア１００２上の一点が押下されたときに、図１０（ａ）の状態から遷移して表示されるＧＵＩを示す図である。１００３はキューポイント、１００４は画角調整ウィンドウ、１００５はズームコントローラ、１００６はパン・チルトコントローラ、１００７は動作始点、１００８は動作終点、１００９は映像アイコンである。図１０（ａ）の状態で、ユーザにより進行ゲージエリア１００２上の一点がタップされると、ディレクターボード２００はその点にキューポイント１００３を表示するとともに、その直下或いは近傍に画角調整ウィンドウ１００４を表示する。

画角調整ウィンドウ１００４はテキストブロックの時系列上の当該箇所（タイミング）における、カメラのパン・チルトの角度（画角）やズーム比をユーザが設定・指示できるようにディレクターボード２００が表示・提供するＧＵＩである。ユーザはテキストブロックの時系列上の箇所（タイミング）ごと、すなわちキューポイントごとの画角等を設定することにより、そのキューポイントと隣接する他のキューポイントの間におけるリモートカメラのカメラワークを設定することができる。例えば動作始点１００７におけるズーム比よりも動作終点１００８におけるズーム比が広角であるように設定したとする。このときは、動作始点１００７から動作終点１００８にかけて徐々にズーム比が変化するような（本例の場合はズームアウトするような）カメラワークを設定したことになる。

図１１は本実施形態に係るディレクターボード２００が、テキスト及びそれに割り付けられた映像ソースを時系列上に連続的に表示し、ユーザによるカメラワークの割り付けを受け付けるまでの処理の流れを示すフローチャートである。このフローチャートは、ディレクターボード２００のシステム制御部２０１が入力信号やプログラムに基づき、各部を制御することにより実現される。

システム制御部２０１は、表示部２０８に進行表モードのＧＵＩを表示する（ステップＳ１１０１）。そして、ユーザにより、カメラワーク割り付けの開始の指示に係る所定のＧＵＩ操作がなされた場合（ステップＳ１１０２でＹＥＳ）、システム制御部２０１は、表示部２０８にカメラワーク割り付けを行うための所定のＧＵＩを表示する（ステップＳ１１０３）。このＧＵＩの一例を図１０（ａ）に示す

ユーザにより進行ゲージエリア１００２上の一点が押下される等、時系列上の特定の箇所を指示する操作がなされた場合（ステップＳ１１０４でＹＥＳ）、システム制御部２０１は、その点にキューポイント１００３を表示する（ステップＳ１１０５）。そして、テキストデータの時系列上の当該箇所を識別可能なようにＲＡＭ２０２でデータ管理・保持する（ステップＳ１１０６）。また、図１０（ｂ）に示す画角調整ウィンドウ１００４のような、当該箇所におけるリモートカメラのパン・チルトの角度（画角）やズーム比を設定するためのＧＵＩを表示する（ステップＳ１１０７）。

ユーザにより画角調整ウィンドウ１００４のズームコントローラ１００５やパン・チルトコントローラ１００６が操作される等、画角設定に係る所定のＧＵＩ操作がなされた場合（ステップＳ１１０８でＹＥＳ）について説明する。この場合、システム制御部２０１は、テキストデータの時系列上の当該箇所におけるリモートカメラの画角が識別可能なようにＲＡＭ２０２でデータ管理・保持する（ステップＳ１１０９）。このようにすることで、時系列上の任意の箇所（タイミング）でのカメラワークを指定することが可能となる。

図１２は、本実施形態に係るディレクターボード２００が入力されたテキストのデータをＲＡＭ２０２に保持するときのデータ構造の一例を示すものである。図１２において、データはＸＭＬ（Extensible Markup Language）形式で記述された構造を有するものとなっている。

図１２（ａ）は、ステップＳ８０３にてユーザによりテキスト入力がされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。ユーザにより入力されたテキストは開始タグ<text>と終了タグ</text>とに挟まれ、テキストデータであることが識別できるようになっている。

図１２（ｂ）は、ステップＳ８０５にてユーザによりテキストのブロック区分けがされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。ユーザにより区分けされたテキストブロックは開始タグ<text_block>と終了タグ</text_block>とに挟まれ、それぞれがテキストブロックであることが識別できるようになっている。

図１２（ｃ）は、ステップＳ８０７にてユーザによりテキストブロックへの映像ソースの割り付けがされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。ユーザにより映像ソースの割り付けがされたテキストブロックの開始タグ中に<text_block>には属性名video_sourceが付加され、映像ソースを示す属性値（例えばcamera_1）を持つようになっている。これによりテキストブロックに割り付けられた映像ソースの識別が可能になる。

図１２（ｄ）は、ステップＳ８０９にてユーザによりテキストブロックの順序変更がされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。テキストブロックの開始タグ中に<text_block>には属性名orderが付加され、テキストブロックの時系列上の順序を示す属性値（例えば１）を持つようになっている。

図１２（ｅ）は、ステップＳ１１０８にてユーザによりテキストの時系列上の特定箇所におけるリモートカメラの画角設定がされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。データにおける前記時系列上の特定箇所に対応する位置にタグ<que_point>が挿入される。また、属性名angleや属性名zoomが付加され、特定箇所におけるリモートカメラの方位角及び仰角を示す属性値（例えば０，１８０）や、３５ｍｍ換算時焦点距離を示す属性値（例えば５５）を持つようになっている。

以上が、映像コンテンツの撮影前に行う処理である。ここで設定した事項がいわゆるコンテンツ作成の際の台本に相当する。以下、設定したテキスト及びカメラワークに従って実際に撮影を行う場合の処理について説明する。

図１３は図９の状態でレコーディングボタン６１０が押下されたときに遷移して表示される画面を示す図である。１３０１はタイムラインであり、時系列の経過を示すものとしてディレクターボード２００が表示するものである。この時系列の経過は、例えば時間経過でもよいし、ユーザがテキストを読み上げたときに音声認識部２０３がその読み上げを音声認識し、連続的なテキストにおけるその読み上げられたテキストの位置を時系列の経過として認識するものでもよい。

また、本実施形態に係る撮影制御システムは、連続的なテキストにおける時系列の経過があったとき、時系列上の当該箇所におけるテキストに対して割り付けられた映像ソースを選択し、更にはカメラワークを実施する。例えばディレクターボード２００の表示部２０８に表示したテキストがユーザにより読み上げられると、その読み上げに合わせて、映像ソースの選択、リモートカメラのパン・チルト、ズーム等のカメラワークを実施する。ディレクターボード２００は、また、読み上げられたテキストをグレイアウトする等、まだ読み上げられていないテキストと異ならせて表示しながら、テキストをスクロールして、まだ読み上げられていないテキストを順次表示していく。

図１４は本実施形態に係るディレクターボード２００が、テキストを時系列上に連続的に表示し、時系列上の当該箇所におけるテキストに対して割り付けられた映像ソースの選択やカメラワークを実施する際の処理の流れを示すフローチャートである。このフローチャートは、ディレクターボード２００のシステム制御部２０１が入力信号やプログラムに基づき、各部を制御することにより実現される。

システム制御部２０１は、表示部２０８にＧＵＩを表示する（ステップＳ１４０１）。ここで、例えば音声認識部２０３がユーザの発話を認識、テキスト変換してＲＡＭ２０２に保持されたテキストデータと対比する等により、時系列の経過を認識した場合（ステップＳ１４０２）を考える。この場合、ディレクターボード２００は表示部２０８上で図１３におけるタイムライン１３０１を当該認識した時系列の経過に対応するテキスト表示の箇所に移動して表示する（ステップＳ１４０３）。また、ＲＡＭ２０２に管理・保持するテキストデータの当該認識された時系列の経過に対応する位置を参照する（ステップＳ１４０４）。

当該参照した位置に映像ソースの切り換えやカメラワークの変更がタグや属性として記述されていた場合（ステップＳ１４０５）、以下の処理を行う。すなわち、当該記述されている映像ソースの切り換えを実施したり、カメラワークの変更に対応する撮影条件信号を生成して無線通信部２０５よりリモートカメラに送信・制御したりすることにより、カメラワークを実施する（ステップＳ１４０６）。

前記参照したテキストデータの時系列の経過に対応する位置が、図１２（ｅ）における<que_point>タグに挟まれた位置であって、その直前にある<que_point>タグのangle属性又はzoom属性の属性値と、直後にある<que_point>タグのangle属性又はzoom属性の属性値が異なっている場合（ステップＳ１４０７）、以下の処理を行う。すなわち、その位置におけるangle属性又はzoom属性の属性値を計算し（ステップＳ１４０８）する。そして、当該属性値に対応する撮影条件信号を生成し無線通信部２０５よりリモートカメラに送信・制御することにより、カメラワークを実施する（ステップＳ１４０９）。

（第２の実施形態）
図１５は第２の実施形態に係るディレクターボード２００の表示部２０８にユーザにより入力されたテキストを時系列上に連続的に表示し、ユーザにテキストの一部を選択させて、カメラワークの割り付けを行う場合のＧＵＩ表示の遷移を示す図である。

ユーザによりテキストの一部１５０１が選択されると、ディレクターボード２００はメニュー１５０２を表示する。該メニュー１５０２は「映像ソース切り換え」、「ズームイン」、「ズームアウト」、「パンアップ」、「パンダウン」、「右パン」、「左パン」等の項目をユーザが選択、指示できるようになっている。ユーザによりメニュー項目が選択されると、ディレクターボード２００はテキストの一部に対して映像ソース、カメラワークを割り付ける。

以上、説明したように、取材又はシナリオに基づいて映像コンテンツを制作する場合において、ユーザが、テキストに映像ソースの選択、更にはカメラワークを割り付け、関連付けさせられるようにした。このことにより、ユーザがテキストを組み立てて原稿作成するとともにカメラワークの構成が完成することを実現している。また、テキストの進行とカメラワークの進行とを同期させることにより、例えばユーザのテキスト読み上げ等によりテキストの進行における時系列の経過を認識すると、これに同期して自動的に映像ソースの選択やカメラワークを実施することとしている。これにより、映像コンテンツ制作の工程全体が効率化し、制作時間の短縮や制作人員及び制作コストの削減が実現される。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２００：ディレクターボード、２０１：システム制御部、２０２：ＲＡＭ、２０３：音声認識部、２０４：メモリカードインタフェイス、２０５：無線通信部、２０６：不揮発性メモリ、２０７：マイク、２０８：表示部、２０９：操作部、２１０：メモリカード、３００、３５０：リモートカメラ、３０１：システム制御部、３０２：ＲＡＭ、３０３：撮像部、３０４：メモリカードインタフェイス、３０５：不揮発性メモリ、３０６：無線通信部、３０７：マイク、３０８：操作部、３０９：表示部、３１０：メモリカード、３１１：光学系

Claims (11)

1. 複数の撮像装置を含む複数の映像ソースの映像を素材として映像コンテンツを作成する映像コンテンツ作成装置であって、
   テキストのデータを入力するテキストデータ入力手段と、
   前記テキストデータ入力手段で入力したテキストの一部を選択する第１の選択手段と、
   前記複数の映像ソースのうち、前記第１の選択手段で選択したテキストの一部に割り付ける映像ソースを選択する第２の選択手段と、
   前記第１の選択手段で選択したテキストに前記第２の選択手段で選択した映像ソースを割り付ける割り付け手段とを備え、
   前記割り付け手段は、前記第１の選択手段で選択した異なるテキストの一部のそれぞれに対して異なる撮像装置を割り付け可能であり、
   前記割り付け手段は、前記第２の選択手段で選択された映像ソースが前記複数の撮像装置のいずれかである場合、前記第２の選択手段で選択した撮像装置のカメラワークを割り付け、
   前記割り付け手段は、前記第１の選択手段で選択したテキストの一部の時系列上の始点及び終点を指定し、それぞれで所定のカメラワークを設定した場合、前記始点及び前記終点の間で、前記始点でのカメラワーク及び前記終点でのカメラワークを満たすように該カメラワークを徐々に変化させることを特徴とする記載の映像コンテンツ作成装置。
2. 前記割り付け手段は、前記第１の選択手段で選択したテキストの一部の時系列上の任意のタイミングでのカメラワークを設定できることを特徴とする請求項１に記載の映像コンテンツ作成装置。
3. 前記カメラワークは、パン・チルト、ズームのうち少なくとも１つであることを特徴とする請求項１又は２に記載の映像コンテンツ作成装置。
4. 前記カメラワークは、フォーカス、アイリス、ホワイトバランスの調整のうち少なくとも１つであることを特徴とする請求項１又は２に記載の映像コンテンツ作成装置。
5. 前記割り付け手段による撮像装置の割り付けは、割り付けられた撮像装置が撮影している映像のリアルタイム表示を指示するものであることを特徴とする請求項１乃至４のいずれか１項に記載の映像コンテンツ作成装置。
6. 前記映像ソースは、予め撮影された映像を保存した記録媒体を更に含むことを特徴とする請求項１乃至５のいずれか１項に記載の映像コンテンツ作成装置。
7. 前記テキストデータ入力手段で入力したテキストにおける時系列の経過を認識する認識手段と、
   前記認識手段での時系列の経過に従って、前記割り付け手段で割り付けた映像ソースの選択及びカメラワークを実行させる制御手段とを備えたことを特徴とする請求項１乃至６のいずれか１項に記載の映像コンテンツ作成装置。
8. 前記テキストデータ入力手段で入力したテキストを区分けする区分け手段を備えたことを特徴とする請求項１乃至７のいずれか１項に記載の映像コンテンツ作成装置。
9. 複数の撮像装置を含む複数の映像ソースの映像を素材として映像コンテンツを作成する映像コンテンツ作成装置による映像コンテンツ作成方法であって、
   前記映像コンテンツ作成装置が、
   テキストのデータを入力する入力ステップと、
   前記入力ステップで入力したテキストの一部を選択する第１の選択ステップと、
   前記複数の映像ソースのうち、前記第１の選択ステップで選択したテキストの一部に割り付ける映像ソースを選択する第２の選択ステップと、
   前記第１の選択ステップで選択したテキストに前記第２の選択ステップで選択した映像ソースを割り付ける割り付けステップとを行い、
   前記割り付けステップは、前記第１の選択ステップで選択した異なるテキストの一部のそれぞれに対して異なる撮像装置を割り付け可能であり、
   前記割り付けステップは、前記第２の選択ステップで選択された映像ソースが前記複数の撮像装置のいずれかである場合、前記第２の選択ステップで選択した撮像装置のカメラワークを割り付け、
   前記割り付けステップは、前記第１の選択ステップで選択したテキストの一部の時系列上の始点及び終点を指定し、それぞれで所定のカメラワークを設定した場合、前記始点及び前記終点の間で、前記始点でのカメラワーク及び前記終点でのカメラワークを満たすように該カメラワークを徐々に変化させることを特徴とする映像コンテンツ作成方法。
10. 複数の撮像装置を含む複数の映像ソースの映像を素材として映像コンテンツを作成するためのプログラムであって、
    テキストのデータを入力する入力処理と、
    前記入力処理で入力したテキストの一部を選択する第１の選択処理と、
    前記複数の映像ソースのうち、前記第１の選択処理で選択したテキストの一部に割り付ける映像ソースを選択する第２の選択処理と、
    前記第１の選択処理で選択したテキストに前記第２の選択処理で選択した映像ソースを割り付ける割り付け処理とをコンピュータに実行させ、
    前記割り付け処理は、前記第１の選択処理で選択した異なるテキストの一部のそれぞれに対して異なる撮像装置を割り付け可能であり、
    前記割り付け処理は、前記第２の選択処理で選択された映像ソースが前記複数の撮像装置のいずれかである場合、前記第２の選択処理で選択した撮像装置のカメラワークを割り付け、
    前記割り付け処理は、前記第１の選択処理で選択したテキストの一部の時系列上の始点及び終点を指定し、それぞれで所定のカメラワークを設定した場合、前記始点及び前記終点の間で、前記始点でのカメラワーク及び前記終点でのカメラワークを満たすように該カメラワークを徐々に変化させることを特徴とするプログラム。
11. 複数の撮像装置を含む複数の映像ソースと、前記複数の映像ソースの映像を素材として映像コンテンツを作成する映像コンテンツ作成装置とが通信可能に構成された映像コンテンツ作成システムであって、
    前記映像コンテンツ作成装置にテキストのデータを入力するテキストデータ入力手段と、
    前記テキストデータ入力手段で入力したテキストの一部を選択する第１の選択手段と、
    前記複数の映像ソースのうち、前記第１の選択手段で選択したテキストの一部に割り付ける映像ソースを選択する第２の選択手段と、
    前記第１の選択手段で選択したテキストに前記第２の選択手段で選択した映像ソースを割り付ける割り付け手段とを備え、
    前記割り付け手段は、前記第１の選択手段で選択した異なるテキストの一部のそれぞれに対して異なる撮像装置を割り付け可能であり、
    前記割り付け手段は、前記第２の選択手段で選択された映像ソースが前記複数の撮像装置のいずれかである場合、前記第２の選択手段で選択した撮像装置のカメラワークを割り付け、
    前記割り付け手段は、前記第１の選択手段で選択したテキストの一部の時系列上の始点及び終点を指定し、それぞれで所定のカメラワークを設定した場合、前記始点及び前記終点の間で、前記始点でのカメラワーク及び前記終点でのカメラワークを満たすように該カメラワークを徐々に変化させることを特徴とする映像コンテンツ作成システム。

Images