JP5215960B2 - 自動番組制作装置及び自動番組制作プログラム - Google Patents

Description

本発明は、放送番組等の台本データにＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等の動作オブジェクトを含む番組において、その動作オブジェクトを含む番組を構成するＣＧキャラクタの位置情報や状態等の内部状況に応じたシーンを制作するための自動番組制作装置及び自動番組制作プログラムに関する。

近年、インターネットによる通信ネットワークを介して、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）からなるマークアップ言語で記載された例えばホームページのテキスト情報等の素材データや、画像又は映像、若しくは音声等の素材データ等がＷｅｂ上に公開されている。このため、番組等のコンテンツの制作においては、ユーザは自己のコンテンツ制作に必要なこれらのテキスト情報等の素材データ等を容易に取得することができるようになった。

また、コンテンツを制作するツールとしては、例えば番組の制作、提示に用いられる簡易的なプログラミング言語であるスクリプトの一例として、ＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｒｋｉｎｇ Ｌａｎｇｕａｇｅ）を用いた自動番組制作システム（ＴＶ４Ｕ）がある。

ＴＶＭＬは、テレビ番組を制作するためのスクリプトベース記述言語であり、テレビ番組の台本を記述することができる。この台本をパソコン等で動作するソフトウェアが読取り、即座にテレビ番組として再生・視聴することができる。

また、ＴＶ４Ｕは、番組等のコンテンツ制作において、ワープロ（エディタ）型のユーザインタフェースを用いて番組の簡単な台本を記述することにより、ＣＧによるＴＶ番組等の映像コンテンツを自動的に制作できる（例えば、特許文献１，２参照。）。

ＴＶ４Ｕは、筆者らによって既に開発されたＡＰＥ（Ａｕｔｏｍａｔｉｃ Ｐｒｏｇｒａｍ Ｅｎｇｉｎｅ）を備えており、このＡＰＥの演出付加ユニットに番組台本を入力すると、台本に記述された映像コンテンツを生成するためのさらに詳細な台本（以下、ＴＶＭＬスクリプトという）を自動的に生成することができるようになっている（例えば、非特許文献１参照。）。なお、ＡＰＥは、文字列処理プログラムである。簡単なテキスト（番組台本）を入力とし、ＡＰＥ内部に持つ演出テンプレートなどを使い、テキスト（ＴＶＭＬスクリプト）を出力する仕組みを持っている。

したがって、例えば入力テキストとして「こんにちは」という文字がＡＰＥに入力された場合には、ＡＰＥが文字列解析処理等を行い、出力テキストとして、「Ｃｈａｒａｃｔｅｒ： ｔａｌｋ（ｎａｍｅ＝ＣｈａｒａｃｔｅｒＡ， ｔｅｘｔ＝“こんにちは”）」というＴＶＭＬスクリプトを出力することができる。

また、この詳細な台本を映像コンテンツ生成エンジン（以下、ＴＶＭＬプレーヤ（Ｐｌａｙｅｒ）という）等に入力することで、映像コンテンツを生成している。上述したようなこの仕組みにより，映像コンテンツの経験や技術、ＣＧに関する技術や知識が無くても誰でも簡単に映像コンテンツが制作できる。

特許第４０１７２９０号公報 特許第４２７６３９３号公報

Ｈａｙａｓｈｉ，Ｄｏｕｋｅ，Ｈａｍａｇｕｃｈｉ，"Ａｕｔｏｍａｔｉｃ ＴＶ Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔｉｏｎ ｗｉｔｈ ＡＰＥｓ"，Ｃ５ Ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｒｅａｔｉｎｇ，Ｃｏｎｎｅｃｔｉｎｇ ａｎｄ Ｃｏｌｌａｂｏｒａｔｉｎｇ ｔｈｒｏｕｇｈ Ｃｏｍｐｕｔｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ，Ｐｒｏｃｅｅｄｉｎｇｓ ｐｐ．１８−２３（２００４．１）

上述したＴＶ４Ｕを用いた従来の番組制作においては、簡単にＣＧをベースとした映像コンテンツが制作できる。

しかしながら、従来のＡＰＥを備えたＴＶ４Ｕにおいては、予め映像コンテンツ制作の専門家が制作して供給することで実現している。

このように、従来のＡＰＥは専門家が制作し，予め用意してあるテンプレートの中から台本の記述に適したテンプレートを用いて台本に適した映像コンテンツを生成するための詳細なＴＶＭＬスクリプトを出力するものである。したがって、映像コンテンツの状況が変化する場合には、従来のＡＰＥではＴＶＭＬスクリプトを柔軟に生成する機能を持っておらず、このようなＡＰＥを備えたＴＶ４Ｕによる従来の番組制作システムにおいては、簡単な記述から状況に応じた高度な演出を付加することはできなかった。

本発明は、上述した問題点に鑑みなされたものであり、ＣＧ等の動作オブジェクトを含むコンテンツを制作する場合において、ＣＧキャラクタ等の動作オブジェクトを含むコンテンツを構成するＣＧキャラクタ位置情報等の内部状況に応じて柔軟にＴＶＭＬスクリプトを生成することで、制作者の意図するシーンを制作するための自動番組制作装置及び自動番組制作プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、少なくとも番組内容の実体データである内容情報と、番組に与える演出・効果を示す演出情報とを含んだ台本データから番組コンテンツを自動制作する自動番組制作装置であって、前記台本データに含まれる動作オブジェクトの有無を判断する台本解析手段と、前記台本解析手段が前記台本データに動作オブジェクトを含むと判断した場合、前記台本データの記述内容を解析し、得られた解析結果から前記動作オブジェクトに対する目的動作を設定する目的動作設定手段と、前記目的動作設定手段により得られる目的動作を行うために、前記番組に含まれる他のオブジェクトに対して前記動作オブジェクトが行う詳細動作を設定する詳細動作設定手段と、前記詳細動作設定手段により得られる詳細動作情報と、前記台本データと、予め蓄積された制作モジュール群及び雛形スクリプト群とに基づいて、入力される前記台本データに対応する番組内容を予め設定された前記雛形ＴＶＭＬスクリプト群から所定のＴＶＭＬスクリプトを取得し、該取得した所定のＴＶＭＬスクリプトに基づいて番組構成内容に対応する演出内容を含む番組情報を生成する番組構成手段と、前記番組構成手段により生成された前記演出内容を含む番組情報に基づいてＴＶＭＬスクリプトを生成し、該生成した前記ＴＶＭＬスクリプトを再生して番組を表示する表示手段と、前記表示手段により表示される画像から前記番組のリアルタイム情報を取得するリアルタイム情報取得手段と、前記動作オブジェクト及び前記他のオブジェクトに対して予め設定された属性情報を取得するオブジェクト属性情報取得手段とを有し、前記詳細動作設定手段は、前記リアルタイム情報取得手段により得られる前記動作オブジェクトのリアルタイム情報と、前記オブジェクト属性情報取得手段により得られるオブジェクト毎の属性情報とに基づいて、前記他のオブジェクトの現時点での状態に応じた前記詳細動作を設定することを特徴とする。

請求項１記載の発明によれば、動作オブジェクトを含む番組において、その番組を構成するＣＧキャラクタの位置情報等の番組の内部状況に応じたシーンからなる番組を自動的に制作することができる。また、制作者の指示によらずに、動作オブジェクトとその他のオブジェクトとの現時点での状況に応じて適切な動作を演出することができる。

請求項２に記載された発明は、前記リアルタイム情報と前記属性情報とから、前記番組に含まれる１又は複数の動作オブジェクトと、１又は複数の他のオブジェクトとのそれぞれの組み合わせにおける詳細動作を設定することを特徴とする。

請求項２記載の発明によれば、簡単な台本記述で、より高度な演出を自動的に付加した番組を制作することができる。

請求項３に記載された発明は、少なくとも番組内容の実体データである内容情報と、番組に与える演出・効果を示す演出情報とを含んだ台本データから番組コンテンツを自動制作するための自動番組制作プログラムであって、コンピュータを、前記台本データに含まれる動作オブジェクトの有無を判断する台本解析手段、前記台本解析手段が前記台本データに動作オブジェクトを含むと判断した場合、前記台本データの記述内容を解析し、得られた解析結果から前記動作オブジェクトに対する目的動作を設定する目的動作設定手段、前記目的動作設定手段により得られる目的動作を行うために、前記番組に含まれる他のオブジェクトに対して前記動作オブジェクトが行う詳細動作を設定する詳細動作設定手段、前記詳細動作設定手段により得られる詳細動作情報と、前記台本データと、予め蓄積された制作モジュール群及び雛形スクリプト群とに基づいて、入力される前記台本データに対応する番組内容を予め設定された前記雛形ＴＶＭＬスクリプト群から所定のＴＶＭＬスクリプトを取得し、該取得した所定のＴＶＭＬスクリプトに基づいて番組構成内容に対応する演出内容を含む番組情報を生成する番組構成手段、前記番組構成手段により生成された前記演出内容を含む番組情報に基づいてＴＶＭＬスクリプトを生成し、該生成した前記ＴＶＭＬスクリプトを再生して番組を表示する表示手段、前記表示手段により表示される画像から前記番組のリアルタイム情報を取得するリアルタイム情報取得手段、及び、前記動作オブジェクト及び前記他のオブジェクトに対して予め設定された属性情報を取得するオブジェクト属性情報取得手段として機能させ、前記詳細動作設定手段は、前記リアルタイム情報取得手段により得られる前記動作オブジェクトのリアルタイム情報と、前記オブジェクト属性情報取得手段により得られるオブジェクト毎の属性情報とに基づいて、前記他のオブジェクトの現時点での状態に応じた前記詳細動作を設定することを特徴とする。

請求項３記載の発明によれば、動作オブジェクトを含む番組において、その番組を構成するＣＧキャラクタの位置情報等の番組の内部状況に応じたシーンからなる番組を自動的に制作することができる。また、制作者の指示によらずに、動作オブジェクトとその他のオブジェクトとの現時点での状況に応じて適切な動作を演出することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に自動番組制作処理を実現することができる。

本発明によれば、動作オブジェクトを含む番組において、その番組を構成するＣＧキャラクタの位置情報等の番組の内部状況に応じたシーンからなる番組を自動的に制作することができる。

自動番組制作装置の機能構成の一例を示す図である。 本自動番組制作装置が備える高機能ＡＰＥが、台本記述から番組を生成するまでの前処理過程の具体的な動作例を示す図である。 本実施形態における番組の具体例及び各要素動作生成により実行される動作遷移を説明するための図である。 図３に対応する動作遷移における自動番組制作処理手順の一例を示すフローチャートである。 他の実施形態として、複数のキャラクタが椅子に座る動作遷移を説明するための図である。 図５に対応する動作遷移における自動番組制作処理手順の一例を示すフローチャートである。 本実施形態における自動番組制作処理手順の一例を示すフローチャートである。

＜本発明について＞
本発明は、映像や番組等のコンテンツ制作に関する技術であり、例えばＣＧをベースとした映像コンテンツを台本記述に基づいて自動的に制作する場合に、この台本記述に演出を付加して映像コンテンツを生成する際、この演出を付加する仕組みに、更にＴＶＭＬプレーヤ等の映像コンテンツ生成エンジンにおける出演者の位置情報等のリアルタイム情報を取得する仕組みを加える。更に、この情報を基に付加する演出をリアルタイムに生成する機能を持たせることで、より高度な演出を自動的に付加した映像コンテンツを生成する。

以下に、上述したような特徴を有する本発明における自動番組制作装置及び自動番組制作プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

なお、本実施形態では、制作するコンテンツの一例として番組を用いることとし、また番組の制作や提示等に用いられるスクリプトの一例としてＴＶＭＬを用いることとするが、本発明においてはこれに限定されず、他の映像コンテンツやスクリプトを用いてもよい。

＜自動番組制作装置：概略構成例＞
図１は、自動番組制作装置の機能構成の一例を示す図である。図１に示す自動番組制作装置１０は、台本解析手段１１と、目的動作設定手段１２と、詳細動作設定手段１３と、番組構成手段１４と、制作モジュール群１５と、雛形ＴＶＭＬスクリプト群１６と、番組スクリプト生成手段１７と、リアルタイム情報取得手段１８と、オブジェクト属性情報取得手段１９とを有するよう構成されている。

なお、図１では、オブジェクトの属性情報取得手段１９にて必要な本実施形態に係る各種情報を取得するオブジェクト属性情報２０と、番組スクリプト生成手段１７にて生成されたスクリプトから番組の内容を使用者等に表示するためのＴＶＭＬプレーヤ２１とが自動番組制作装置１０と接続されている。なお、オブジェクト属性情報２０及びＴＶＭＬプレーヤ２１は、自動番組制作装置１０内に具備されていてもよい。

台本解析手段１１は、入力データとして取得される番組制作者等が制作した番組に対する台本データの内容を解析し、予め設定された動作オブジェクトに関する記述があるか否かを判断する。なお、本実施形態における台本データは、少なくとも番組内容の実体データである内容情報や、番組に与える演出・効果を示す演出情報等を含んだ番組用の台本データであるが、本発明における台本データはこれに限定されるものではなく、例えば番組の構成順序を示す構成情報等が含まれていてもよい。

また、台本解析手段１１において、台本データに動作オブジェクトが含まれているか否かの判断は、例えば台本に記述された文章を一般的な形態素解析プログラム等を用いた言語解析手法等により解析し、その文章の中から動詞又はそれに類似する記述を含んでいるか否かで判断する。また、台本解析手段１１は、台本に動作オブジェクトの設定がある場合には、その台本データを目的動作設定手段１２に出力する。また、台本解析手段１１は、台本に動作オブジェクトの設定がない場合には、その台本データを番組構成手段１４に出力する。

なお、台本解析手段１１は、ある一つの台本データの一部に動作オブジェクトを含む場合には、その部分のみを抽出して目的動作設定手段１２に出力し、その他の台本データを番組構成手段１４に出力してもよい。

目的動作設定手段１２は、台本解析手段１１において、動作オブジェクトが含まれていると判断した台本データ中の文章を言語解析し、その動作オブジェクトが行う最終目的までの動作（スタートからゴールまで、又は、いくつかの動作を経由した状態からゴールまで）を設定する。また、目的動作設定手段１２は、設定された目的動作情報を詳細動作設定手段１３に出力する。

詳細動作設定手段１３は、目的動作設定手段１２により得られる目的動作情報を実現するための各要素動作を設定する。なお、詳細動作設定手段１３は、各要素動作を生成するために必要な情報として、リアルタイム情報取得手段１８から得られるＴＶＭＬプレーヤ２１が表示する番組の内部状態、及びＣＧモデル等のオブジェクト属性情報手段１９から得られる各動作オブジェクトに対する属性情報を取得し、これらの情報に基づいて各動作を生成するＴＶＭＬスクリプトを生成する。

また、詳細動作設定手段１３は、オブジェクト属性情報取得手段１９により得られるオブジェクト毎の属性情報に基づいて、動作オブジェクトと他のオブジェクト（動作の有無は問わない）との組み合わせによる、それぞれの動作内容を設定する。なお、詳細動作設定手段１３における各要素動作の具体例については後述する。また、詳細動作設定手段１３は、設定された詳細動作設定情報を番組構成手段１４に出力する。

番組構成手段１４は、台本解析手段１１から得られる動作オブジェクトを含まない台本データ、及び詳細動作設定手段１３から得られる動作オブジェクトを含む台本データを入力し、番組を構成する。具体的には、番組構成手段１４は、入力される台本データに対応して番組を構成するために、予め設定された多数の制作モジュール群１５の中から所定のモジュールを抽出する。

更に、番組構成手段１４は、入力される前記台本データに対応する番組内容を予め設定された多数の雛形ＴＶＭＬスクリプト群１６から所定のＴＶＭＬスクリプトを取得し、取得した内容に基づいて番組構成内容に対応する番組情報を生成する。また、番組構成手段１４は、生成された番組情報を番組スクリプト生成手段１７に出力する。

なお、制作モジュール群１５に含まれるデータ例としては、例えば番組制作スタジオであれば、照明生成、セット生成、カメラ動作、キャラクタ動作、ナレーション生成等の多種多様な分野の番組を生成するために必要となる各種データ等が含まれる。また、制作モジュール群１５には、その他の映像コンテンツを実現するための各種データが含まれる。更に、雛形ＴＶＭＬスクリプト群１６に含まれるデータ例としては、例えば前記制作モジュール群１５に含まれる番組制作用のデータに対応する各種ＴＶＭＬスクリプト等が含まれる。

番組スクリプト生成手段１７は、番組構成手段１４により得られる番組情報に対してＴＶＭＬプレーヤ２１で再生可能なＴＶＭＬスクリプトを生成する。また、番組スクリプト生成手段１７は、生成された番組スクリプトを映像コンテンツ生成エンジンであり、生成された番組を再生して表示する表示手段であるＴＶＭＬプレーヤ２１に出力する。

したがって、ＴＶＭＬプレーヤ２１は、番組スクリプト１７により生成されたスクリプト情報に基づいて番組を再生し、再生して番組をディスプレイに表示し、スピーカ等により音声を出力する。

リアルタイム情報取得手段１８は、ＴＶＭＬプレーヤ２１で再生された番組の画像、又は、その再生中の画像に対応する実行中のＴＶＭＬスクリプトをリアルタイムに取得する。また、リアルタイム情報取得手段１８は、取得した番組の画像、若しくは、ＴＶＭＬスクリプト画像中に含まれるキャラクタ等の動作オブジェクトに対して、現時点の動作内容を生成するＴＶＭＬプレーヤ２１から動作オブジェクトの動作や位置情報、状態等を取得する。

また、リアルタイム情報取得手段１８は、取得したデータを時間情報と対応付けて詳細動作設定手段１３に出力する。

オブジェクト属性情報取得手段１９は、詳細動作設定手段１３における問い合わせに対して、その問い合わせ情報に含まれる１又は複数の動作オブジェクトに対応する各オブジェクト属性情報を、予め設定されたオブジェクト属性情報２０から取得し、取得した属性情報を詳細動作設定手段１３に出力する。

なお、オブジェクト属性情報２０とは、例えば机や椅子、ＣＧキャラクタや壁等の番組における仮想空間上に存在する各オブジェクトに対して、それぞれがどのような形状であり、またどの程度の大きさ等の物体情報や、各動作オブジェクトが各条件に応じてどのような動作を行うか等のルール情報等の各種データを含んだデータベースである。

また、ＴＶＭＬプレーヤ２１から取得するリアルタイム情報とは、例えば、「出演者のＩＤ」、「出演者の位置」、「出演者の外接直方体の頂点座標」、「小道具（配置物）のＩＤ」、「小道具の位置」、「小道具の外接直方体の頂点座標」等をいう。本発明においては、このようなリアルタイム情報としてスクリプトに記載されたあらゆる情報、又は番組再生により表示された番組の画像データから得られる情報をも利用することができる。

また、オブジェクト属性情報２０におけるＣＧモデルデータ等の属性情報記述例としては、例えば、「ＣＧモデルデータ名称」、「用途：デスクワーク」、「用途：物を置く」、「座れない」、「方向性あり」、「高さ：１．０ｍ」等がある。なお、本発明においてはこれに限定されない。

なお、上述の例をスクリプトで表記すると、
「＜？ｘｍｌ ｖｅｒｓｉｏｎ＝“１．０” ｅｎｃｏｄｉｎｇ＝“ｕｆｔ−８”？＞
＜ａｔｔｒｉｂｕｔｅ＞
＜ｎａｍｅ＞ｔａｂｌｅ＜／ｎａｍｅ＞
＜ｕｓｅ＞ｄｅｓｋｗｏｒｋ＜／ｕｓｅ＞
＜ｕｓｅ＞ｐｕｔ＜／ｕｓｅ＞
＜ｓｉｔ＞ｆａｌｓｅ＜／ｓｉｔ＞
＜ｄｉｒｅｃｔｉｏｎ＞ｔｒｕｅ＜／ｄｉｒｅｃｔｉｏｎ＞
＜ｈｅｉｇｈｔ＞１．０＜／ｈｅｉｇｈｔ＞
＜／ａｔｔｒｉｂｕｔｅ＞」
と生成される。

ＴＶＭＬプレーヤ２１は、番組スクリプト生成手段１７により生成されたＴＶＭＬスクリプトに基づいて番組を再生し視聴者等に表示するための表示手段である。また、ＴＶＭＬプレーヤ２１は、表示している画像情報をリアルタイム情報取得手段１８に出力する。また、ＴＶＭＬプレーヤ２１は、表示している画像情報に対応したＴＶＭＬスクリプトをリアルタイム情報取得手段１８に出力してもよい。

上述した処理により、動作オブジェクトを含むコンテンツにおいて、そのコンテンツを構成するＣＧキャラクタの位置情報等のコンテンツの内部状況に応じたシーンからなる番組を自動的に制作することができる。
具体的には、簡易な台本記述で映像コンテンツが制作できるという制作レベルを維持したまま、高度な演出を自動的に付加した映像コンテンツの制作が可能となる。

＜処理動作の具体例＞
次に、上述した自動番組制作装置１０の各機能構成に基づく処理動作の具体例について説明する。なお、具体例では、ＣＧキャラクタがドアまで歩き、ドアを開けて部屋から出ていく動作について説明する。また、番組の映像には、障害物としてのテーブルが存在する。この場合、上述した目的動作設定手段１２により設定されるＣＧキャラクタの目的動作は、
ａ）部屋の出口の方向を向き、現在位置から出口へ向かって歩く。
ｂ）途中に障害物があればよける。
ｃ）出口のドアを開けて出て行く。
となる。

このように、部屋の中にいるＣＧキャラクタが部屋の外へ出ていくシーンを想定した場合、「部屋から出ていく」と記述すれば自動的に該当シーンを生成してくれるのが好ましい。しかしながら、このようなシーンを生成するには上述したａ）〜ｃ）の動作を生成するＴＶＭＬスクリプトが必要となる。なお、これらを全て一つ一つ記述するのは煩雑であり、また出口や障害物の位置等、番組内の全ての状況を予め認識しておく必要がある。

そこで、本実施形態では、制作者による番組台本入力を自動的に補間し、番組の状況に応じた動きを伴う映像コンテンツ（ＴＶＭＬスクリプト）を自動的に生成する機能を持たせるようにしている。

本実施形態におけるＡＰＥでは、上述した図１に示すように「（１）入力する台本の解析」、「（２）目的となる動作の設定」、「（３）上記（２）の動作を実現するための状況の逐次把握と具体的動作の生成」に大別した各機能を有する。これらの機能を有することにより、例えば簡単な台本記述による制作手法を維持したまま、状況に応じ映像コンテンツの生成を実現することができる。

このため、本実施例では、図１に示すように、映像コンテンツ生成エンジンであるＴＶＭＬプレーヤにおける内部のリアルタイム情報、ＣＧキャラクタやスタジオセット、小道具等のＣＧモデルデータの属性情報（形状、種別等）を取得する構成とした。

ここで、図２は、本自動番組制作装置が備える高機能ＡＰＥが、台本記述から番組を生成するまでの前処理過程の具体的な動作例を示す図である。図２の例では、台本記述にあるように、カメラショットを引きカメラに切り替えた後、出演者が部屋から出て行き、「どこへ行こうかな？」としゃべるシーンである。つまり、図２の例では、上述したシーンにおける台本記述「部屋から出て行く」の記載に対して、本自動番組制作装置が映像コンテンツを生成するための前処理過程の具体例を示している。

ＡＰＥとしての自動番組制作装置１０では、図２に示すように、まず台本入力ツール等を用いて入力された台本記述の記述内容を解析し、最終目的までの動作（スタートからゴールまで）を決定する。次に、自動番組制作装置１０は、目的動作を実現するための各要素動作を設定する。図２の例では、「部屋から出て行く」という台本記述に対して、台本解析及び目的動作設定として「動作主：出演者」、「動作：歩く」、「場所：部屋の外」等が目的動作設定手段１２の目的動作設定ファイルに設定される。

また、具体的動作設定として、「動作主は出演者」であり、
１）部屋の出口の方向を向く。
２）現在位置から出口へ向かって歩く。
３）途中に障害物があればよけて出口へ向かって歩く。
４）ドアを開ける。
５）部屋の外へ出る。
等という各要素動作が設定される。

なお、図２の例では、補間処理として、動作主は、出演者（ＣＧキャラクタ）であり、その意味解析として「部屋の外へ出る」、「部屋の外へ歩く」という内容が取得される。また、具体的動作設定としては、予め設定されたデータベースであるオブジェクト属性情報２０等を適用することで、例えば目的位置へ歩くために必要な動作として「副目的（出口）方向を向く」、「副目的へ向かって歩く」、「障害物があればよける」、「出口が閉じている（ドア（障害物でない））が閉じていれば、一旦停止」、「ドアを開ける」、「目的地へ歩く」といった動作設定をセットで１グループ動作として設定することができる。なお、１グループとして関連付けられる動作内容については、本発明においてはこれに限定されず、複数の動作が含まれる。

＜各要素動作の生成例＞
次に、各要素動作の生成例について説明する。図３は、本実施形態における番組の具体例及び各要素動作生成により実行される動作遷移を説明するための図である。また、図４は、図３に対応する動作遷移における自動番組制作処理手順の一例を示すフローチャートである。

本実施形態では、図３（ａ）〜（ｅ）に示すような動作を行うために、必要な情報としてＴＶＭＬプレーヤの内部状態及びＣＧモデルの属性情報を取得し、これらの情報に基づいて各動作を生成するＴＶＭＬスクリプトを生成する。具体的には、以下に示す１）〜５）の動作について以下の処理を行う。

＜１）部屋の出口の方向を向く＞
まず、部屋に存在するオブジェクト（ＣＧキャラクタ，テーブル）の位置（座標）及び属性情報を取得する。次に、ドアの位置（座標）を取得し、ＣＧキャラクタを出口の方向を向かせる。

このとき、ａ）部屋に存在するオブジェクト（ＣＧキャラクタ，テーブル）の位置（座標）及び属性情報を取得する（Ｓ０１）。具体的には、図３（ｂ）に示すように、ＣＧキャラクタの位置をＴＶＭＬプレーヤが再生する映像の仮想空間に設定される座標等から取得する（例えば、ｘ＝−５，ｙ（地面からの距離）＝０，ｚ＝４，ｄ（キャラクタの向き）＝０等）。また、テーブルの位置をＴＶＭＬプレーヤから取得する（例えば、ｘ＝０，ｙ＝０，ｚ＝０等）。更に、テーブルの属性情報を取得する（例えば、座れない／方向性あり／高さ１．０ｍ等）。

次に、ｂ）ドアの位置（座標）を取得し，ＣＧキャラクタを出口の方向を向かせる（Ｓ０２）。具体的には、図３（ｂ）に示すように、ドアの位置をＴＶＭＬプレーヤから取得する（例：ｘ＝５，ｙ＝０，ｚ＝−４）。つまり、この例では、スクリプトとして「ｄ１＝ｃｏｓ^−１（ｂ／ｃ）」、「ｃｈａｒａｃｔｅｒ：ｔｕｒｎ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｄ＝ｄ１）」が生成される。
＜２）現在位置から出口へ向かって歩く＞
次に、ＣＧキャラクタをドアの座標に向かって歩かせる（Ｓ０３）。つまり、この例では、スクリプトとして「ｃｈａｒａｃｔｅｒ：ｗａｌｋ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｘ＝５＋Δ，ｚ＝−４＋Δ）」が生成される。なお、上述の「△」は、ドア手前の位置を示している。
＜３）途中に障害物があれば、よけて出口へ向かって歩く（図３（ｃ））＞
次に、障害物があるか否かを判断し（Ｓ０４）、テーブルの属性情報から障害物があると判断された場合（Ｓ０４において、ＹＥＳ）、テーブルの外周情報を取得して、ＣＧキャラクタをテーブルの外周に沿って歩かせてテーブルをよける動作を行う（Ｓ０５）。

ここで、他の動作オブジェクトであるテーブルをよける動作の具体例として、以下の手順で行う。まず、ＣＧキャラクタを歩かせながら、常にＣＧキャラクタの外周とテーブル（障害物）の外周が重なっていないかをＴＶＭＬプレーヤから取得する。なお、各オブジェクトの外周情報は、オブジェクト属性情報２０から取得される。次に、ＣＧキャラクタの外周座標，テーブルの外周座標から計算する。

ここで、ＣＧキャラクタとテーブルがぶつかりそうになると、ＣＧキャラクタの向きをドアまでの最短ルートからテーブルにぶつからない範囲まで変更し、テーブルにぶつかるのを回避する。つまり、Ｓ０５の処理では、ＣＧキャラクタに障害物であるテーブルを避ける方向を向かせ、少し歩かせる処理を行う。

なお、この例では、スクリプトとして「ｃｈａｒａｃｔｅｒ：ｔｕｒｎ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｄ＝Δｄ）」、「ｃｈａｒａｃｔｅｒ：ｗａｌｋ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｘ＝Δｘ，ｚ＝Δｚ）」が生成される。

また、障害物がない場合（Ｓ０４において、ＮＯ）、ＣＧキャラクタがドア前に到着したか否かを判断する（Ｓ０６）。ここで、ドア前に到着してない場合（Ｓ０６において、ＮＯ）、Ｓ０３に戻り後続の処理を行う。また、ドア前に到着している場合（Ｓ０６において、ＹＥＳ）、ドアが閉じているか否かを判断する（Ｓ０７）。ここで、ドアが閉じている場合（Ｓ０７において、ＹＥＳ）、ドアを開く（Ｓ０８）。

＜４）ドアを開く（Ｓ０８）、図３（ｄ）＞
Ｓ０８の処理におけるドアを開く処理では、まずＣＧキャラクタがドアの座標の直前まで歩いて停止する。つまり、ドアの前の座標をゴールとして歩かせる。この例では、スクリプトとして「ｃｈａｒａｃｔｅｒ：ｗａｌｋ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｘ＝５＋Δ，ｚ＝−４＋Δ）」が生成される。

次に、ＣＧキャラクタは、ドアを開ける動作をする（Ｓ０８）。これに合わせてドアが開く。つまり、ドアを開ける動作を行うモーションデータを使って、開ける動作を行わせる。また、ＣＧキャラクタのドアを開ける動作に合わせてドアが開く。

なお、この例では、スクリプトとして「ｃｈａｒａｃｔｅｒ：ｋｅｙｆｒａｍｅ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｋｅｙｆｒａｍｅｎａｍｅ＝ｏｐｅｎｄｏｏｒ，・・・・）」、「ｐｒｏｐ：ｔｒａｎｓｆｏｒｍ（ｎａｍｅ＝ｄｏｏｒｍｏｖｅ，・・・・）」が生成される。

＜５）部屋の外に出る（Ｓ０９）、図３（ｅ）＞
次に、ドアの幅の座標を取得して，ＣＧキャラクタをこの幅の間で部屋の外の座標に向かって歩かせる（Ｓ０９）。また、歩いた後、ＣＧキャラクタの歩きを停止する。つまり、ドアの外にあるゴール（例えば、ゴールの座標、（ｇｏａｌｘ，ｇｏａｌｙ，ｇｏａｌｚ）へ向かってＣＧキャラクタを歩かせる。この例では、スクリプトとして「ｃｈａｒａｃｔｅｒ：ｗａｌｋ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｘ＝ｇｏａｌｘ，ｙ＝ｇｏａｌｙ，ｚ＝ｇｏａｌｚ）」が生成される。

なお、本実施形態では、ＣＧキャラクタが壁にぶつかりそうか否かを判断し（Ｓ１０）、壁にぶつかりそうな場合（Ｓ１０において、ＹＥＳ）、歩く方向を少し変えて歩かせて（Ｓ１１）、Ｓ０９の処理に戻り、後続の処理を行う。この例では、スクリプトとして、「ｃｈａｒａｃｔｅｒ：ｔｕｒｎ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｄ＝Δｄ）」、「ｃｈａｒａｃｔｅｒ：ｗａｌｋ（ｎａｍｅ＝ｃｈａｒａｃｔｅｒＡ，ｘ＝Δｘ，ｚ＝Δｚ）」が生成される。なお、ドアの幅座標（出口の幅座標）は、上述したオブジェクト属性情報２０から取得する。

これにより、簡易な台本記述で映像コンテンツが制作できるという制作レベルを維持したまま、高度な演出を自動的に付加した映像コンテンツの制作が可能となる。

＜他の実施形態＞
次に、上述した実施形態とは異なる他の実施形態について説明する。図５は、他の実施形態として、複数のキャラクタが椅子に座る動作遷移を説明するための図である。また、図６は、図５に対応する動作遷移における自動番組制作処理手順の一例を示すフローチャートである。

他の実施形態では、図５（ａ）〜（ｄ）に示すように、映像コンテンツに存在する複数のキャラクタが複数の椅子に座る動作をターゲットとして、これを実現するための具体的動作を生成する。なお、動作生成のために必要となるＴＶＭＬプレーヤの情報は、上述した手法によりリアルタイムに取得することもできる。また、ＣＧモデルデータの属性情報は、ＣＧモデルデータ毎にメタデータとして付加する。

ここで、本実施形態では、「椅子に座る」と台本に記述されている場合に、目的動作としてＡＰＥ内部で設定した「ＣＧキャラクタが一番近い椅子に座る」という動作を実現させる。図６の処理手順では、まず空き椅子があるか否かを判断し（Ｓ２１）、空き椅子がある場合（Ｓ２１において、ＹＥＳ）、次に誰も座っていない全ての椅子の位置を取得する（Ｓ２２）（図５（ａ））。次に、自分と椅子との距離を逐次計算し（Ｓ２３）、計算した結果から一番近い椅子に向かって歩く（Ｓ２４）（図５（ｂ））。

次に、障害物があるか否かを判断し（Ｓ２５）、障害物がある場合（Ｓ２５において、ＹＥＳ）、上述したように障害物をよける処理を行い（Ｓ２６）、その後Ｓ２３に処理に戻り後続の処理を行う。また、Ｓ２５の処理において、障害物がない場合（Ｓ２５の処理において、ＮＯ）、他人に座られたか否かを判断する（Ｓ２７）。ここで、他人に座られている場合（Ｓ２７において、ＹＥＳ）、Ｓ２１に戻り後続の処理を行う（図５（ｃ））。また、Ｓ２７の処理において、他人に座られていない場合（Ｓ２７において、ＮＯ）、又は、上述したＳ２１の処理において、空き椅子が無い場合（Ｓ２１において、ＮＯ）、処理を終了する（図５（ｄ））。

ここで、図５に示す上記処理手順に対応した動作遷移では、まず初期状態として、５人のキャラクタ（キャラクタ１〜５）と、４つの椅子（椅子１〜４）と、１つのテーブルとを有している（図５（ａ））。次に、図５（ｂ）では、動作を開始した直後の状態を示しており、各々のＣＧキャラクタは、最も近い椅子に向かって歩き始めている。また、図５（ｃ）では、幾つかのＣＧキャラクタ（キャラクタ１，３，５）が椅子に座り、残りのＣＧキャラクタがターゲットを変更して歩いている。更に、図５（ｄ）では、終了時の状態を示しており、キャラクタ２が椅子４に座り、キャラクタ４の座れる椅子がなくなった状態となる。

このように、本実施形態によれば、リアルタイム情報と属性情報とから、番組に含まれる複数の動作オブジェクト（ＣＧキャラクタ）と、複数の他のオブジェクト（椅子、テーブル等）とのそれぞれの組み合わせにおける詳細動作を設定することができる。したがって、複雑な動作を行う際にも、簡易な台本記述による制作の難易レベルを維持したまま、高度な表現力を有する映像コンテンツを自動生成することができる。つまり、動作オブジェクトを含む番組おいて、その番組の内部状況に応じた適切なシーンを制作し、提供することができる。また、本実施形態を適用することにより、例えば番組制作におけるカメラワーク等、出演者以外の動作や小道具配置等の設定について動作生成させることができる。

ここで、上述した自動番組制作装置１０は、例えばＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。

したがって、自動番組制作装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（自動番組制作プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、自動番組制作処理を実現することができる。

次に、本発明における実行プログラムによる処理手順について自動番組制作装置におけるコンテンツ制作についてフローチャートを用いて説明する。なお、以下の処理の説明では、コンテンツの一例として番組を用いるが、本発明におけるコンテンツの種類についてはこれに限定されるものではない。

＜自動番組制作処理手順＞
自動番組制作処理手順について説明する。図７は、本実施形態における自動番組制作処理手順の一例を示すフローチャートである。図７において、まず台本データを入力すると（Ｓ３１）、上述したように台本解析を行う（Ｓ３２）。また、Ｓ３２の処理によって得られた台本解析の結果、台本データの中に動作オブジェクトが含まれているか否かを判断する（Ｓ３３）。

ここで、動作オブジェクトが有る場合（Ｓ３３において、ＹＥＳ）目的動作を設定し（Ｓ３４）、更に詳細動作を設定する（Ｓ３５）。ここで、Ｓ３５の処理においては、上述したようにリアルタイム情報、オブジェクト属性情報を取得する。また、Ｓ３５の処理が終了後又はＳ３３の処理において、動作オブジェクトが無い場合（Ｓ３３において、ＮＯ）、番組を構成し（Ｓ３６）、Ｓ３６の処理結果から番組スクリプトを生成する（Ｓ３７）。また、生成された番組スクリプトに基づいて番組を再生し、ユーザ等に表示する（Ｓ３８）。

ここで、台本データの入力が終了か否かを判断し（Ｓ３９）、終了しない場合（Ｓ３９において、ＮＯ）、Ｓ３１に戻り後続の処理を行い、終了する場合（Ｓ３９において、ＹＥＳ）、自動番組制作処理を終了する。

上述したように本発明によれば、ＣＧ等の動作オブジェクトを含むコンテンツを制作する場合において、その動作オブジェクトを含むコンテンツを構成するＣＧキャラクタ位置情報等の内部状況に応じて柔軟にＴＶＭＬスクリプトを生成することで、制作者の意図するシーンを制作することができる。また、本発明を適用することにより、簡単な台本記述で、より高度な演出を自動的に付加した映像コンテンツを制作することができる。また、従来のＡＰＥでは、台本に記述したそのものの演出が付加できるのみであったが、本発明を適用することで、状況に応じた柔軟な演出を表現できる。

更に、本発明によれば、柔軟な演出による映像コンテンツが容易に制作できるため、制作されるコンテンツの品質が向上し、制作者の制作モチベーションの向上、及び視聴者の視聴モチベーションの向上が期待できる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 自動番組制作装置
１１ 台本解析手段
１２ 目的動作設定手段
１３ 詳細動作設定手段
１４ 番組構成手段
１５ 制作モジュール群
１６ 雛形ＴＶＭＬスクリプト群
１７ 番組スクリプト生成手段
１８ リアルタイム情報取得手段
１９ オブジェクト属性情報取得手段
２０ オブジェクト属性情報
２１ ＴＶＭＬプレーヤ

Claims (3)

1. 少なくとも番組内容の実体データである内容情報と、番組に与える演出・効果を示す演出情報とを含んだ台本データから番組コンテンツを自動制作する自動番組制作装置であって、
   前記台本データに含まれる動作オブジェクトの有無を判断する台本解析手段と、
   前記台本解析手段が前記台本データに動作オブジェクトを含むと判断した場合、前記台本データの記述内容を解析し、得られた解析結果から前記動作オブジェクトに対する目的動作を設定する目的動作設定手段と、
   前記目的動作設定手段により得られる目的動作を行うために、前記番組に含まれる他のオブジェクトに対して前記動作オブジェクトが行う詳細動作を設定する詳細動作設定手段と、
   前記詳細動作設定手段により得られる詳細動作情報と、前記台本データと、予め蓄積された制作モジュール群及び雛形スクリプト群とに基づいて、入力される前記台本データに対応する番組内容を予め設定された前記雛形ＴＶＭＬスクリプト群から所定のＴＶＭＬスクリプトを取得し、該取得した所定のＴＶＭＬスクリプトに基づいて番組構成内容に対応する演出内容を含む番組情報を生成する番組構成手段と、
   前記番組構成手段により生成された前記演出内容を含む番組情報に基づいてＴＶＭＬスクリプトを生成し、該生成した前記ＴＶＭＬスクリプトを再生して番組を表示する表示手段と、
   前記表示手段により表示される画像から前記番組のリアルタイム情報を取得するリアルタイム情報取得手段と、
   前記動作オブジェクト及び前記他のオブジェクトに対して予め設定された属性情報を取得するオブジェクト属性情報取得手段とを有し、
   前記詳細動作設定手段は、前記リアルタイム情報取得手段により得られる前記動作オブジェクトのリアルタイム情報と、前記オブジェクト属性情報取得手段により得られるオブジェクト毎の属性情報とに基づいて、前記他のオブジェクトの現時点での状態に応じた前記詳細動作を設定することを特徴とする自動番組制作装置。
2. 前記詳細動作設定手段は、
   前記リアルタイム情報と前記属性情報とから、前記番組に含まれる１又は複数の動作オブジェクトと、１又は複数の他のオブジェクトとのそれぞれの組み合わせにおける詳細動作を設定することを特徴とする請求項１に記載の自動番組制作装置。
3. 少なくとも番組内容の実体データである内容情報と、番組に与える演出・効果を示す演出情報とを含んだ台本データから番組コンテンツを自動制作するための自動番組制作プログラムであって、
   コンピュータを、
   前記台本データに含まれる動作オブジェクトの有無を判断する台本解析手段、
   前記台本解析手段が前記台本データに動作オブジェクトを含むと判断した場合、前記台本データの記述内容を解析し、得られた解析結果から前記動作オブジェクトに対する目的動作を設定する目的動作設定手段、
   前記目的動作設定手段により得られる目的動作を行うために、前記番組に含まれる他のオブジェクトに対して前記動作オブジェクトが行う詳細動作を設定する詳細動作設定手段、
   前記詳細動作設定手段により得られる詳細動作情報と、前記台本データと、予め蓄積された制作モジュール群及び雛形スクリプト群とに基づいて、入力される前記台本データに対応する番組内容を予め設定された前記雛形ＴＶＭＬスクリプト群から所定のＴＶＭＬスクリプトを取得し、該取得した所定のＴＶＭＬスクリプトに基づいて番組構成内容に対応する演出内容を含む番組情報を生成する番組構成手段、
   前記番組構成手段により生成された前記演出内容を含む番組情報に基づいてＴＶＭＬスクリプトを生成し、該生成した前記ＴＶＭＬスクリプトを再生して番組を表示する表示手段、
   前記表示手段により表示される画像から前記番組のリアルタイム情報を取得するリアルタイム情報取得手段、及び、
   前記動作オブジェクト及び前記他のオブジェクトに対して予め設定された属性情報を取得するオブジェクト属性情報取得手段として機能させ、
   前記詳細動作設定手段は、前記リアルタイム情報取得手段により得られる前記動作オブジェクトのリアルタイム情報と、前記オブジェクト属性情報取得手段により得られるオブジェクト毎の属性情報とに基づいて、前記他のオブジェクトの現時点での状態に応じた前記詳細動作を設定することを特徴とする自動番組制作プログラム。

Images