JP4934066B2

JP4934066B2 - 情報生成装置、情報生成方法及び情報生成プログラム

Info

Publication number: JP4934066B2
Application number: JP2008013125A
Authority: JP
Inventors: 豪紀原; 弘亘藤吉
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2008-01-23
Filing date: 2008-01-23
Publication date: 2012-05-16
Anticipated expiration: 2028-01-23
Also published as: JP2009177430A

Description

本発明は、撮影等により生成された動画像に対して、パンニングやズーミング等の所謂デジタルカメラワークを適用して、一部の領域の画像を抜き出し再生するために用いられる再生制御情報や、当該デジタルカメラワークを適用して新たな動画像を生成する情報生成装置、情報生成方法及び情報生成プログラムの技術分野に関する。

近年、高性能の携帯型映像撮影装置が安価に販売されるようになってきていることから、ＨＤ（High Definition）映像の撮影は、テレビ・映画撮影用のみならず、一般消費者でも可能となってきている。また、一般のユーザが、撮影した映像を、例えば、ＹｏｕＴｕｂｅ（登録商標）等の動画配信サイトを介して、映像情報として配信することも広く行われるようになってきている。

このように、デジタル化された映像を楽しむ人々が今後増加していくことが予測される一方で、高解像度の映像情報を、そのままの形態で配信を行うことは、映像情報の画素数やデータ量の観点において、現在では非現実的であり、また、ディスプレイ面積の小さい携帯電話等の携帯型映像再生端末を用いての視聴には不向きである。そのため、映像情報に加工を施して、インターネット上で配信可能にしたり、携帯型映像再生端末でも臨場感のある映像の再生が可能となるようにすることが必要となってくる。

しかしながら、ダウンサンプリングやデータの圧縮といった、これまで一般的な方法を用いたのでは、画質が大きく劣化するという問題が生ずる。

こうした状況の中、近年では、デジタルカメラワークと称される技術が用いられるようになってきた。ここで、デジタルカメラワークとは、撮影装置（以下、単に「カメラ」と称する）自体の操作やその際の撮影技術とは別に、一旦撮影されたことによって生成された映像情報に対して、コンピュータによる情報処理を施すことにより、撮影された映像全体を仮想的な撮影可能範囲として、仮想的なカメラのアングルや構図等を自動的に決定すること、及び、その技術をいう。より具体的には、全体映像の一部分の領域の位置やサイズを時間の変化に伴って連続的に変化させながら、その領域から映像を抜き出すことで、仮想的なパンニングやズーミング等を表現することをいう。

なお、デジタルカメラワークにおいて、パンニングとは、仮想的なカメラのアングルを移動させること、すなわち、映像を抜き出す領域を移動させることをいい、ズーミングとは、仮想的なカメラによる撮影映像の拡大率を変化させること、すなわち、映像を抜き出す領域のサイズを変化させることをいう。

このデジタルカメラワークを適用することで、高解像度の映像から、映像本来の縦横画素数よりも小さい画素数となる一部の領域の映像を抜き出して画面に表示させたり、この一部の領域の映像を抜き出して新たな映像情報を生成することで、画質を大きく劣化させることなく、インターネット上での配信を可能とさせたり、携帯型映像再生端末でも臨場感のある映像の再生が可能となることが期待される。

こうしたデジタルカメラワークに関しては、従来、様々な方法が提案されてきた。

例えば、非特許文献１には、時間短縮講義ビデオの生成方法において、黒板全体を含んだ映像を固定カメラにより撮影しておき、撮影された高解像度映像からトリミングを行う際に、フレーム間差分法によって講師の位置座標を求め、講師の位置座標の変化の激しい区間をパンニング区間とし、変化の少ない区間をズーミング区間として、トリミング位置及び拡大率を決定し、講義ビデオを生成する方法が開示されている。

また、特許文献１には、サッカーの試合のシーンを、サッカーコート全体が映るようにして固定撮影された素材映像に対してデジタルカメラワークを用いて映像を抜き出す際に、背景差分法により選手を抽出して、選手の移動が大きい点を重心としてフレーム位置を設定したり、サッカーボールの位置を検出して、この位置に基づいてフレーム位置を設定する方法が開示されている。
横井、外2名、"講義イベント検出に基づく短縮講義ビデオの自動生成"、第12回画像センシングシンポジウム予稿集、2006年、p.535-540 特開２００５−２２３４８７号公報

しかしながら、上述した文献に記載された方法では、講義やスポーツの撮影といった特定の用途には適しているものの、それ以外のあらゆる用途に対してこれらの方法を適用することは困難である。また、これらの方法では、講師やスポーツ選手等の位置といった情報に基づいて、画一的にデジタルカメラワークが決定されるため、誰が作業を行っても、基本的には同一の映像が出来上がってしまう。

自ら撮影し、あるいは、配信サイト等からダウンロードした映像を楽しむ一般のユーザが今後増加していくであろう状況においては、あらゆる用途に適用可能であること、及び、ユーザの意図や嗜好等によって、最終的に得られる映像を変えられることが必要となる。

また、一般のユーザを対象とするのであれば、デジタルカメラワークを施した映像情報の生成等を簡単に行うことができるようになっていなければならない。

本発明は、以上の問題に鑑みてなされたものであり、デジタルカメラワークを規定する再生制御情報やデジタルカメラワークが施された映像情報を生成する場合に、簡単な操作で生成可能であるとともに、様々な映像素材に対して適用可能であり、更に、ユーザの意図を反映させることを可能とする情報生成装置、情報生成方法及び情報生成プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生するために用いられる再生制御情報を生成する情報生成装置であって、前記動画像を記憶手段から読み出す読み出し手段と、前記読み出された動画像の再生を行う再生手段と、前記読み出された動画像を構成する複数の前記静止画像のうち、前記部分静止画像の抜き出し再生を行う抜き出し再生期間の開始タイミングに相当する開始静止画像及び当該抜き出し再生期間の終了タイミングに相当する終了静止画像と、前記開始静止画像における前記部分静止画像の範囲及び前記終了静止画像における前記部分静止画像の範囲と、を、前記再生されている動画像に基づいて設定するために用いられる入力手段と、前記抜き出し再生期間に再生される前記動画像を構成する各前記静止画像である対象静止画像における前記部分静止画像の夫々が、前記開始静止画像における前記部分静止画像と、前記終了静止画像における前記部分静止画像と、に対応して、連続して遷移するように、各前記対象静止画像における前記部分静止画像の範囲を、当該各対象静止画像に対応させて決定する決定手段と、夫々決定された前記範囲を示す前記再生制御情報を生成する生成手段と、を備え、前記決定手段は、前記開始静止画像における前記部分静止画像から、前記抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、前記各対象静止画像における当該表示対象物の画像を、当該各対象静止画像の再生順に当該対象静止画像から検出する検出手段と、
前記抜き出し再生期間のうち、当該抜き出し再生期間の開始タイミングから開始され、且つ、前記表示対象物を画面に表示させる期間である表示期間を設定する設定手段と、を有し、前記検出手段による検出結果に基づいて、前記表示期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該部分静止画像に前記表示対象物の画像が含まれるように決定し、前記決定手段は、前記抜き出し再生期間のうち前記表示期間を除いた期間である除外期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該除外期間の開始タイミングに相当する前記静止画像における前記部分静止画像の範囲と、当該除外期間の終了タイミングに相当する前記静止画像における前記部分静止画像の範囲と、で補間し、前記決定手段は、前記各対象静止画像における前記部分静止画像の範囲が、前記抜き出し再生期間における当該部分生成画像の再生に伴って変化する場合には、その変化速度を漸次変化させながら変化するように、前記各対象静止画像における前記部分静止画像の範囲を決定することを特徴とする。

この発明によれば、開始静止画像、終了静止画像、開始静止画像における部分静止画像の範囲及び終了静止画像における部分静止画像の範囲が、再生された動画像に基づいて入力手段を用いて設定され、これらの情報を基に、決定手段が、各対象静止画像における部分静止画像の夫々が、開始静止画像における部分静止画像と、終了静止画像における部分静止画像と、に対応して、連続して遷移するように、各対象静止画像における部分静止画像の範囲を、当該各対象静止画像に対応させて決定し、生成手段が、夫々決定された範囲を示す再生制御情報を生成する。

従って、ユーザが、再生された動画像を確認しながら、開始静止画像、終了静止画像、開始静止画像における部分静止画像の範囲及び終了静止画像における部分静止画像の範囲を設定することにより、動画像を構成する複数の静止画像夫々の一部である部分静止画像を抜き出して再生するための再生制御情報を簡単に生成することができる。また、開始静止画像、終了静止画像、開始静止画像における部分静止画像の範囲及び終了静止画像における部分静止画像の範囲は、ユーザの任意で設定可能であるので、様々な動画像に対して適用可能であり、更に、ユーザの意図を反映させることができる。また、本発明によれば、決定手段が、各対象静止画像における部分静止画像の範囲を、開始静止画像における部分静止画像の範囲と、終了静止画像における部分静止画像の範囲と、で補間するので、簡易な処理で、再生制御情報または新たな動画像を生成することができる。また、本発明によれば、決定手段が、開始静止画像における部分静止画像から、抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、各対象静止画像における表示対象物の画像を、当該各対象静止画像の再生順に当該対象静止画像から検出して、表示期間に相当する各対象静止画像における部分静止画像の範囲を、当該部分静止画像に表示対象物の画像が含まれるように決定するので、画面に表示させたい表示対象物の画像がある場合には、開始静止画像における部分静止画像の範囲を、表示対象物の画像が含まれるように設定することにより、表示対象物の画像を含む部分静止画像の再生を行うための再生制御情報または新たな動画像を生成することができる。また、本発明によれば、決定手段が、抜き出し再生期間のうち表示期間を除いた期間である除外期間に相当する各対象静止画像における部分静止画像の範囲を、当該除外期間の開始タイミングに相当する静止画像における部分静止画像の範囲と、当該除外期間の終了タイミングに相当する静止画像における部分静止画像の範囲と、で補間するので、抜き出し再生期間のうち表示対象物を画面に表示させる必要がない期間においても、スムーズに部分静止画像の再生を行うための再生制御情報または新たな動画像を生成することができる。また、この発明によれば、決定手段は、各対象静止画像における部分静止画像の範囲の変化速度を漸次変化させながら変化するように、各対象静止画像における部分静止画像の範囲を決定するので、部分静止画像の範囲が急激に変化することを抑制することができ、再生制御情報を用いて動画像を再生する場合、または、新たな動画像を再生する場合に、視聴者にとって見やすいように再生を行うことができる。

請求項２に記載の発明は、動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生するために用いられる再生制御情報を生成する情報生成装置であって、前記動画像を記憶手段から読み出す読み出し手段と、前記読み出された動画像の再生を行う再生手段と、前記読み出された動画像を構成する複数の前記静止画像のうち、前記部分静止画像の抜き出し再生を行う抜き出し再生期間の開始タイミングに相当する開始静止画像及び当該抜き出し再生期間の終了タイミングに相当する終了静止画像と、前記開始静止画像における前記部分静止画像の範囲及び前記終了静止画像における前記部分静止画像の範囲と、を、記再生されている動画像に基づいて設定するために用いられる入力手段と、前記抜き出し再生期間に再生される前記動画像を構成する各前記静止画像である対象静止画像における前記部分静止画像の夫々が、前記開始静止画像における前記部分静止画像と、前記終了静止画像における前記部分静止画像と、に対応して、連続して遷移するように、各前記対象静止画像における前記部分静止画像の範囲を、当該各対象静止画像に対応させて決定する決定手段と、夫々決定された前記範囲を示す前記再生制御情報を生成する生成手段と、を備え、前記終了静止画像における前記部分静止画像から、前記抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、前記各対象静止画像における当該表示対象物の画像を、当該各対象静止画像の逆再生順に当該対象静止画像から検出する検出手段と、前記抜き出し再生期間のうち、当該抜き出し再生期間の終了タイミングで終了され、且つ、前記表示対象物を画面に表示させる期間である表示期間を設定する設定手段と、を有し、前記検出手段による検出結果に基づいて、前記表示期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該部分静止画像に前記表示対象物の画像が含まれるように決定し、前記決定手段は、前記抜き出し再生期間のうち前記表示期間を除いた期間である除外期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該除外期間の開始タイミングに相当する前記静止画像における前記部分静止画像の範囲と、当該除外期間の終了タイミングに相当する前記静止画像における前記部分静止画像の範囲と、で補間し、前記決定手段は、前記各対象静止画像における前記部分静止画像の範囲が、前記抜き出し再生期間における当該部分生成画像の再生に伴って変化する場合には、その変化速度を漸次変化させながら変化するように、前記各対象静止画像における前記部分静止画像の範囲を決定することを特徴とする。

本発明によれば、決定手段が、終了静止画像における部分静止画像から、抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、各対象静止画像における表示対象物の画像を、当該各対象静止画像の逆再生順に当該対象静止画像から検出して、表示期間に相当する各対象静止画像における部分静止画像の範囲を、当該部分静止画像に表示対象物の画像が含まれるように決定するので、画面に表示させたい表示対象物の画像がある場合には、終了静止画像における部分静止画像の範囲を、表示対象物の画像が含まれるように設定することにより、表示対象物の画像を含む部分静止画像の再生を行うための再生制御情報または新たな動画像を生成することができる。

請求項３に記載の発明は、動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生するために用いられる再生制御情報を生成する情報生成方法であって、読み出し手段が、前記動画像を記憶手段から読み出す読み出し工程と、再生手段が、前記読み出された動画像の再生を行う再生工程と、取得手段が、前記再生されている動画像に基づいて入力手段を用いて設定された情報であって、前記読み出された動画像を構成する複数の前記静止画像のうち、前記部分静止画像の抜き出し再生を行う抜き出し再生期間の開始タイミングに相当する開始静止画像及び当該抜き出し再生期間の終了タイミングに相当する終了静止画像と、前記開始静止画像における前記部分静止画像の範囲及び前記終了静止画像における前記部分静止画像の範囲と、を取得する取得工程と、決定手段が、前記抜き出し再生期間に再生される前記動画像を構成する各前記静止画像である対象静止画像における前記部分静止画像の夫々が、前記開始静止画像における前記部分静止画像と、前記終了静止画像における前記部分静止画像と、に対応して、連続して遷移するように、各前記対象静止画像における前記部分静止画像の範囲を、当該各対象静止画像に対応させて決定する決定工程と、生成手段が、夫々決定された前記範囲を示す前記再生制御情報を生成する生成工程と、を備え、前記決定手段は、検出手段が、前記開始静止画像における前記部分静止画像から、前記抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、前記各対象静止画像における当該表示対象物の画像を、当該各対象静止画像の再生順に当該対象静止画像から検出する検出工程と、設定手段が、前記抜き出し再生期間のうち、当該抜き出し再生期間の開始タイミングから開始され、且つ、前記表示対象物を画面に表示させる期間である表示期間を設定する設定工程と、を有し、前記検出手段による検出結果に基づいて、前記表示期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該部分静止画像に前記表示対象物の画像が含まれるように決定し、前記決定手段は、前記抜き出し再生期間のうち前記表示期間を除いた期間である除外期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該除外期間の開始タイミングに相当する前記静止画像における前記部分静止画像の範囲と、当該除外期間の終了タイミングに相当する前記静止画像における前記部分静止画像の範囲と、で補間し、前記決定手段は、前記各対象静止画像における前記部分静止画像の範囲が、前記抜き出し再生期間における当該部分生成画像の再生に伴って変化する場合には、その変化速度を漸次変化させながら変化するように、前記各対象静止画像における前記部分静止画像の範囲を決定することを特徴とする。

請求項４に記載の発明は、動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生するために用いられる再生制御情報を生成する情報生成方法であって、読み出し手段が、前記動画像を記憶手段から読み出す読み出し工程と、再生手段が、前記読み出された動画像の再生を行う再生工程と、取得手段が、前記再生されている動画像に基づいて入力手段を用いて設定された情報であって、前記読み出された動画像を構成する複数の前記静止画像のうち、前記部分静止画像の抜き出し再生を行う抜き出し再生期間の開始タイミングに相当する開始静止画像及び当該抜き出し再生期間の終了タイミングに相当する終了静止画像と、前記開始静止画像における前記部分静止画像の範囲及び前記終了静止画像における前記部分静止画像の範囲と、を取得する取得工程と、決定手段が、前記抜き出し再生期間に再生される前記動画像を構成する各前記静止画像である対象静止画像における前記部分静止画像の夫々が、前記開始静止画像における前記部分静止画像と、前記終了静止画像における前記部分静止画像と、に対応して、連続して遷移するように、各前記対象静止画像における前記部分静止画像の範囲を、当該各対象静止画像に対応させて決定する決定工程と、生成手段が、夫々決定された前記範囲を示す前記再生制御情報を生成する生成工程と、を備え、前記決定手段は、検出手段が、前記終了静止画像における前記部分静止画像から、前記抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、前記各対象静止画像における当該表示対象物の画像を、当該各対象静止画像の逆再生順に当該対象静止画像から検出する検出工程と、設定手段が、前記抜き出し再生期間のうち、当該抜き出し再生期間の終了タイミングで終了され、且つ、前記表示対象物を画面に表示させる期間である表示期間を設定する設定工程と、を有し、前記検出手段による検出結果に基づいて、前記表示期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該部分静止画像に前記表示対象物の画像が含まれるように決定し、前記決定手段は、前記抜き出し再生期間のうち前記表示期間を除いた期間である除外期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該除外期間の開始タイミングに相当する前記静止画像における前記部分静止画像の範囲と、当該除外期間の終了タイミングに相当する前記静止画像における前記部分静止画像の範囲と、で補間し、前記決定手段は、前記各対象静止画像における前記部分静止画像の範囲が、前記抜き出し再生期間における当該部分生成画像の再生に伴って変化する場合には、その変化速度を漸次変化させながら変化するように、前記各対象静止画像における前記部分静止画像の範囲を決定することを特徴とする。

請求項５に記載の発明は、コンピュータを、請求項１または２に記載の情報生成装置として機能させることを特徴とする。

本発明によれば、動画像を構成する複数の静止画像夫々の一部である部分静止画像を抜き出して再生するための再生制御情報、または、元の動画像を構成する複数の静止画像夫々の一部である部分静止画像を抜き出した新たな動画像を簡単に生成することができる。また、開始静止画像、終了静止画像、開始静止画像における部分静止画像の範囲及び終了静止画像における部分静止画像の範囲は、ユーザの任意で設定可能であるので、様々な動画像に対して適用可能であり、更に、ユーザの意図を反映させることができる。

以下、図面を参照して本発明の最良の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、再生制御情報の一例であるカメラワークデータを生成する情報生成装置に対して本発明を適用した場合の実施形態である。

［１．デジタルカメラワークの決定方法］
先ず、本実施形態に係るカメラワークデータを生成する際における、デジタルカメラワークの決定方法について、図１乃至３を用いて説明する。なお、図１乃至３は、夫々デジタルカメラワークの決定方法を説明するための図である。また、図４は、パンニング時におけるＲＯＩの中心座標の遷移のグラフの一例を示すグラフである。また、図５は、ズーミング時におけるＲＯＩのサイズの変化率のグラフの一例を示すグラフである。

本実施形態におけるデジタルカメラワークの決定方法としては３通りのモードがあるが、全てのモードに共通して、最初にユーザが、開始キーフレーム、開始キーフレームにおけるＲＯＩ（Region Of Interest）の範囲、終了キーフレーム、及び、終了キーフレームにおけるＲＯＩの範囲を指定する。

ここで、開始キーフレーム及び終了キーフレームとは、夫々対象とする映像データ（動画像の一例）を構成する複数のフレーム（静止画像の一例）のうちユーザにより設定されたフレームであり、情報生成装置によりデジタルカメラワークを決定させて、このデジタルカメラワークにより映像の一部を抜き出し再生する期間（以下、「抜き出し再生期間」と称する）開始時点に対応するフレームと、当該期間の終了時点に対応するフレームである。

また、本実施形態におけるＲＯＩとは、フレーム画像上に設定される矩形の領域であり、フレーム画像のうち、この領域内の画像が抜き出し再生されることとなる。また、ＲＯＩの範囲は、フレーム画像におけるＲＯＩの中心座標と、ＲＯＩの縦の画素数及び横の画素数とで規定される。なお、ユーザにより指定されたＲＯＩを、以下、「指定ＲＯＩ」と称する。

図１乃至図３において、符号ＫＦ１は、開始キーフレームであり、符号ＫＦ２は、終了キーフレームであり、ＲＯＩ１は、開始キーフレームにおける指定ＲＯＩであり、ＲＯＩ２は、終了キーフレームにおける指定ＲＯＩである。また、符号Ｐ１及びＰ２は、夫々フレーム画像に含まれる人物の画像であり、何れも開始キーフレーム及び終了キーフレームの画像上に含まれている。ここで、人物Ｐ１は、映像データの再生に伴って人物Ｐ２に近寄っていく。また、人物Ｐ２は、映像の再生に伴って、少しだけ人物Ｐ１に近寄っていく。

また、符号ｎ１乃至ｎ５は、抜き出し再生期間において抜き出し再生される画像に対応するフレームの番号（以下、「フレーム番号」とも称する）を示しており、ｎ１は、開始キーフレームの番号であり、ｎ５は、終了キーフレームの番号である。また、抜き出し再生期間においては、ｎ１、ｎ２、ｎ３、ｎ４、ｎ５の順に、抜き出された画像が再生される。

［１．１非追跡モード］
次に、図１を用いて非追跡モードによるデジタルカメラワークの決定方法について説明する。

図１に示すように、非追跡モードにおいては、開始キーフレームの指定ＲＯＩから終了キーフレームの指定ＲＯＩへ、抜き出し再生期間における各フレーム（対象静止画像の一例）のＲＯＩの範囲が遷移するように、各フレームのＲＯＩの範囲が決定される。その結果、非追跡モードで決定されたデジタルカメラワークに従って抜き出し再生が行われると、開始キーフレームの指定ＲＯＩから終了キーフレームの指定ＲＯＩへ、アングルが滑らかに変わるようにして、抜き出された画像が画面に表示されることとなる。

［１．２順方向追跡モード］
次に、図２を用いて順方向追跡モードによるデジタルカメラワークの決定方法について説明する。

図２に示すように、順方向追跡モードにおいては、開始フレーム画像から、ユーザにより指定された指定ＲＯＩの範囲で、デジタルカメラワークによって追跡する対象物（表示対象物の一例）の画像が検出され、当該対象物の画像が含まれるようなＲＯＩの範囲が推定される。図２において、ＩＲＯＩ１は、推定されたＲＯＩであり、検出された対象物は、人物Ｐ１である。なお、追跡する対象物を、以下、「追跡対象物」と称し、推定されたＲＯＩを、以下、「推定ＲＯＩ」と称する。この推定ＲＯＩの範囲は、追跡対象物の検索結果に応じて、指定ＲＯＩに完全に含まれている場合もあるし、図２に示すように、その一部が指定ＲＯＩから外れている場合もある。

また、順方向追跡モードにおいては、追跡対象物を追跡する期間（以下、「追跡期間」と称する）と、追跡しない期間が設定される（以下、「非追跡期間」と称する）。ここで、追跡期間とは、抜き出し再生期間のうち、その期間の開始時（開始キーフレームに相当する時点）から開始される期間である。また、非追跡期間は、追跡期間が終了した時点から、抜き出し再生期間の終了時までの期間であり、何れか一方の期間が決定されると、他方の期間が必然的に決定される。

これによって、追跡期間においては、追跡対象物を含んだ画像が抜き出し再生されるように、各フレームにおける推定ＲＯＩが決定される。

例えば、図２においては、抜き出し再生期間のうち追跡期間に対応するフレーム番号ｎ１乃至ｎ３の各フレームにおいては、人物Ｐ１の画像を含むように、推定ＲＯＩの範囲が決定される。一方、非追跡期間に対応するフレーム番号ｎ４及びｎ５の各フレームにおいては、人物Ｐ１の画像が推定ＲＯＩに含まれるか否かにかかわらず、フレーム番号ｎ３における推定ＲＯＩから終了キーフレームにおける指定ＲＯＩまで遷移するように、推定ＲＯＩの範囲が決定される。

その結果、順方向追跡モードで決定されたデジタルカメラワークに従って抜き出し再生が行われると、当初は追跡対象物をとらえるような自然なアングルで、抜き出された画像が画面に表示され、その後は、終了キーフレームの指定ＲＯＩへ、アングルが自然に変わるようにして、抜き出された画像が画面に表示されることとなる。

［１．３双方向追跡モード］
次に、図３を用いて双方向追跡モードによるデジタルカメラワークの決定方法について説明する。

図３に示すように、双方向追跡モードにおいては、開始フレーム画像から、ユーザにより指定された指定ＲＯＩの範囲で、デジタルカメラワークによって追跡する第１の追跡対象物の画像が検出され、当該追跡対象物の画像が含まれるようなＲＯＩの範囲が推定される一方、終了フレーム画像から、ユーザにより指定された指定ＲＯＩの範囲で、デジタルカメラワークによって追跡する第２の追跡対象物の画像が検出され、当該追跡対象物の画像が含まれるようなＲＯＩの範囲が推定される。図３において、符号ＩＲＯＩ１は、開始キーフレームにおいて推定されたＲＯＩであり、符号ＩＲＯＩ２は、終了キーフレームにおいて推定されたＲＯＩである。

そして、抜き出し再生期間においては、第１の追跡対象物と第２の追跡対象物とが同一である場合に、この追跡対象物を含んだ画像が抜き出し再生されるように、各フレームにおける推定ＲＯＩの範囲が決定される。つまり、第１の追跡対象物と第２の追跡対象物とが同一である場合には、抜き出し再生期間の全てに渡って、当該追跡対象物を含んだ画像が抜き出し再生されるように各フレームにおける推定ＲＯＩの範囲が決定される。例えば、図３においては、第１の追跡対象物と第２の追跡対象物が何れも人物Ｐ１であるので、フレーム番号ｎ１からｎ５までの全てのフレームの画像に人物Ｐ１の画像を含むように、推定ＲＯＩの範囲が決定される。

その結果、双方向追跡モードで決定されたデジタルカメラワークに従って抜き出し再生が行われると、抜き出し再生期間全てにおいて、追跡対象物をとらえるような自然なアングルで、抜き出された画像が画面に表示されることとなる。

一方、第１の追跡対象物と第２の追跡対象物とが同一ではない場合には、前記の順方向追跡モードにより、第１の追跡対象物を含んだ画像が抜き出し再生されるように、各フレームにおける推定ＲＯＩが決定される。

［１．４パンニング・ズーミング］
上述した３つのモードによりデジタルカメラワークが決定されるが、その際、抜き出し再生期間において抜き出し再生がされるに従って、ＲＯＩの中心座標が移動することで、パンニングが実現される。また、抜き出し再生がされるに従って、ＲＯＩのサイズ（縦の画素数及び横の画素数で表現される）が変化することで、ズーミングされる。

ここで、非追跡モードでパンニングを実現する際、抜き出し再生期間における各フレームのＲＯＩの中心座標を、開始キーフレームにおける指定ＲＯＩの中心座標と終了キーフレームにおける指定ＲＯＩの中心座標とで、単純に線形補間を行うと、ＲＯＩの移動及び停止が急激に行われることとなり、不自然なパンニングとなる。また、順方向追跡モードまたは双方向追跡モードでパンニングを実現する際、単純に追跡対象物を追うように抜き出し再生期間における各フレームのＲＯＩの中心座標を決定すると、ＲＯＩの中心座標の変動が激しくなって、不自然なパンニングとなる場合がある。これらの問題は、ズーミングを実現する場合においても同様に生じ得る。

そこで、本実施形態においては、放送カメラマンの撮影技術、すなわち、一般的な意味においてのカメラワークを参考にして、パンニング及びズーミングを実現する。

文献１（加藤大一郎、他2名、“スタジオ番組における放送カメラマンのカメラワークと視線の動きの分析”、テレビジョン学会誌、1999年、第53巻、第5号、p.749-757）においては、実際の放送カメラマンのカメラワークを分析した結果、パンニングには以下の特徴があることが報告されている。
（１−１）パンニング速度は非対象型の曲線で表され、減速時間が加速時間に比べて６割程度長い。
（１−２）加速時の最大パンニング速度は、カメラの動きが最大速度に到達する直前に生じ、減速時には、最大速度から減速に入った直後に生じる。

こうした特徴から、本実施形態においては、以下に説明するアルゴリズムでパンニング期間（抜き出し再生期間のうち、ＲＯＩが移動を開始してから、その移動を停止させるまでの期間）における、各フレームのＲＯＩのサイズを決定する。

先ず、フレーム番号をｎとし、パンニング期間の開始時点に対応するフレーム番号をｎ_ｓとし、その終了時点に対応するフレーム番号をｎ_ｅとする。ここで、上記（１−１）の特徴に従い、加速時間はパンニング期間全体の６０％、減速時間はパンニング期間全体の４０％として、加速が終了する時点に対応するフレーム番号ｎ_ｔを、以下の式（１）により求める。

そして、Ｒ（ｎ）を、フレーム番号ｎのフレームにおけるＲＯＩの中心座標とすると、

となる。そして、上記（１−２）の特徴に従い、加速期間（ｎ_ｓ＜ｎ≦ｎ_ｔ）におけるパンニングの速度α_１及び減速期間（ｎ_ｔ＜ｎ≦ｎ_ｅ）におけるパンニングの加速度α_２を、夫々以下の式（３）及び（４）により求める。

そして、パンニング期間における各フレームに対するＲＯＩの中心座標Ｒ’（ｎ）を、以下の式（５）及び（６）により求める。

上記式により求められた、パンニング期間におけるＲＯＩの中心座標Ｒ’（ｎ）の遷移は、図４に示すグラフで表される。図４に示すように、フレーム番号ｎｓから、ＲＯＩの中心座標の移動速度が漸次上がっていき、フレーム番号ｎｔで最高速度となり、ここからＲＯＩの中心座標の移動速度が漸次下がっていって、フレーム番号ｎｅで速度０となる。

一方、上述した文献１においては、実際の放送カメラマンのカメラワークを分析した結果、ズーミングについては以下の特徴があることが報告されている。
（２−１）ズームインの場合における加速時間と減速時間の平均値は、加速時間がズーミング期間全体の４７％〜６０％であるのに対し、減速時間は４０％〜５３％である。一方、ズームアウトの場合における加速時間と減速時間の平均値は、加速時間がズーミング期間全体の３８％〜６３％であるのに対し、減速時間は３７％〜６１％である。
（２−２）被写体サイズの変化率の最大値は、ズームイン時には後半に、ズームアウト時には前半に発生するようにズーミングを行っている。

こうした特徴から、本実施形態においては、以下の式（７）及び（８）により、ズーミング期間（抜き出し再生期間のうち、ＲＯＩのサイズの変化が開始されてから、その変化が停止するまでの期間）におけるＲＯＩのサイズの拡大率（ＲＯＩのサイズの変化が開始される時点におけるＲＯＩのサイズを１とした場合の拡大率）であるＺ（ｔ）を決定する。

上記式において、ｔは、時刻であり、ｔ_ｚｏｏｍは、ズームインもしくはズームアウトに要する時間、すなわち、ズーミング期間に相当する時間であり、Ｚ_ｍａｘは、ＲＯＩの最大拡大率である。また、Ｍ、Ｎは定数であり、ｔ_ｚｏｏｍ及びＺ_ｍａｘにより調整される。

上記式により求められた、ズーミング期間におけるＲＯＩのサイズの拡大率Ｚ（ｔ）から変化率を求めると、ズームインの場合は図５（ａ）に示すグラフにより表され、ズームアウトの場合は図５（ｂ）に示すグラフにより表される。ズームインの場合においては、図５（ａ）に示すように、ＲＯＩのサイズの変化率は、ズーミングの開始から漸次上がっていき、ズーミング期間の後半で最大となり、それから漸次下がっていき、ズーミング期間の終了時点で、変化率０となる。また、ズームアウトの場合においては、図５（ｂ）に示すように、ＲＯＩのサイズの変化率は、ズーミングの開始から漸次上がっていき、ズーミング期間の前半で最大となり、それから漸次下がっていき、ズーミング期間の終了時点で、変化率０となる。

そして、式（７）及び（８）により求められた拡大率Ｚ（ｔ）を、時刻ｔに対応するフレーム番号に対応させ、各フレーム番号におけるＲＯＩのサイズを、拡大率Ｚ（ｔ）と、ズーミング期間の開始時点におけるＲＯＩのサイズとに基づいて決定する。

［２．情報生成装置の構成及び機能］
次に、上述した方法によるデジタルカメラワークを規定するカメラワークデータを生成するための本実施形態に係る情報生成装置Ｓの構成及び機能について、図６を用いて説明する。なお、図６は、本実施形態に係る情報生成装置Ｓの概要構成の一例を示すブロック図である。

図６に示すように、本実施形態に係る情報生成装置Ｓは、ユーザからの操作指示を受け付け、その指示内容を指示信号としてシステム制御部１６に出力する入力手段の一例としての操作部１１（例えば、キーボード、マウス等）と、文字や画像等の情報を表示する表示部１２（例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ等）と、ネットワークに接続して、他のコンピュータ等との通信状態を制御する通信部１３と、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の記録媒体からデータ等を読み出す一方、当該記録媒体に対してデータ等を記録するドライブ部１４と、各種プログラム及びデータ等を記憶する記憶手段の一例としての記憶部１５（例えば、ハードディスクドライブ等）と、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えるシステム制御部１６と、を備え、システム制御部１６と各部とは、システムバス１７を介して接続されている。なお、情報生成装置Ｓには、例えば、パーソナルコンピュータ等を適用することができる。

記憶部１５には、映像データを編集するためのオーサリングプログラム（情報生成処理プログラムの一例）が記憶されている。このオーサリングプログラムは、ユーザによって設定された期間における映像データに対するデジタルカメラワークを決定し、このデジタルカメラワークに基づいて抜き出し再生を行うための制御に用いられるカメラワークデータを生成するためのプログラムである。

なお、オーサリングプログラムは、例えば、サーバ装置等から通信部１３を介して取得されるようにしても良いし、記録媒体に記録されてドライブ部１４等を介して読み込まれるようにしても良い。

カメラワークデータは、映像データを再生する際における再生制御情報が設定されたデータである。特に、本実施形態におけるカメラワークデータは、映像データを構成する複数のフレーム画像夫々の一部の画像（部分静止画像の一例）を、当該映像データの再生に沿って抜き出して再生するために用いられるデータであり、例えば、ＸＭＬ（Extensible Markup Language）、ＷＭＬ（Wireless Markup Language）、ＳＭＩＬ（Synchronized Multimedia Integration Language）、ＭＰＥＧ−７（Moving Picture Experts Group phase 7）等により規定されている形式で記述されている。

このカメラワークデータには、例えば、抜き出し再生を行う抜き出し再生期間における各フレームから抜き出し再生する画像の領域を示すＲＯＩの当該フレーム画像上における中心座標、縦の画素数及び横の画素数が、当該フレームの番号に対応付けて設定されている。

なお、ここで、ＲＯＩの中心座標及び縦及び横の画素数を、フレーム番号に対応付ける代わりに、例えば、抜き出し再生期間を所定時間（例えば、０．０５秒）で区切って、この区切られた時間帯毎に対応付けて設定されるように構成しても良い。この場合であれば、区切られた時間帯に対応する１または複数のフレームに対応付けて、ＲＯＩの中心座標、縦の画素数及び横の画素数が設定されたことと同様の結果となる。

次に、システム制御部１６は、本実施形態において、読み出し手段、再生手段、決定手段及び生成手段等の一例を構成している。そして、システム制御部１６は、ＣＰＵが、ＲＯＭや記憶部１５に記憶された各種プログラムを読み出し実行することにより情報処理装置Ｓの各部を制御するとともに、前記オーサリングプログラムを読み出し実行することにより上述した各手段等として機能するようになっている。

具体的に、読み出し手段としてのシステム制御部１６は、記憶部１５に記憶された映像データ、または、記録媒体に記録された映像データ、あるいは、他のコンピュータに保存されている映像データを編集対象の映像データとして読み出すようになっている。

また、再生手段としてのシステム制御部１６は、操作部１１に対する操作によってユーザにより指示された態様で、編集対象の映像データの再生制御を行うようになっている。

また、決定手段としてのシステム制御部１６は、操作部１１に対する操作によってユーザにより設定された開始キーフレーム、開始キーフレームにおける指定ＲＯＩの範囲、終了キーフレーム、及び、終了キーフレームにおける指定ＲＯＩの範囲を用いて、抜き出し再生期間に抜き出し再生されるべき各フレームにおけるＲＯＩが、開始キーフレームにおけるＲＯＩと、終了キーフレームにおけるＲＯＩと、に対応して連続して遷移するように、各フレームにおけるＲＯＩの範囲を決定、すなわち、デジタルカメラワークを決定するようになっている。

この際、システム制御部１６は、上述した非追跡モード、順方向追跡モードまたは双方向追跡モードの何れかのモードを用いて、デジタルカメラワークを決定するようになっている。ここで、システム制御部１６は、以下の方法により、デジタルカメラワークを決定するためのモードを選択するようになっている。

先ず、システム制御部１６は、抜き出し再生期間において、開始キーフレームの画像におけるＲＯＩの範囲の画像から第１の追跡対象物を検出すとともに、終了キーフレームの画像におけるＲＯＩの範囲の画像から第２の追跡対象物を検出するようになっている。次いで、システム制御部１６は、第１の追跡対象物を開始キーフレームから再生順に追跡するとともに、第２の追跡対象物を終了キーフレームから逆再生順に追跡するようになっている。そして、システム制御部１６は、双方向から対象物を追跡可能である場合には、双方向追跡モードを選択し、順方向からのみ対象物を追跡可能である場合には、順方向追跡モードを選択し、それ以外の場合には、非追跡モードを選択するようになっている。

また、システム制御部１６は、デジタルカメラワークを決定する際には、前記式（１）乃至（８）を用いて、パンニング及びズーミングを実現するようになっている。

また、生成手段としてのシステム制御部１６は、決定されたデジタルカメラワークを規定するカメラワークデータを生成するようになっている。

［３．情報生成装置の動作］
次に、情報生成装置Ｓの動作について説明する。

［３．１全体的な処理］
はじめに、情報生成装置Ｓにおける全体的な処理について、図７及び図８を用いて説明する。なお、図７は、本実施形態に係る情報生成装置Ｓの全体的な処理の一例を示すフローチャートである。また、図８は、オーサリングプログラムの操作画面の一例を示す図である。

先ず、ユーザが、操作部１１を操作することによって、情報生成装置Ｓに対してオーサリングプログラムの起動を指示すると、システム制御部１６は、記憶部１５に記憶されたオーサリングプログラムを起動し、これによって、図７に示す処理が開始される。

次いで、システム制御部１６は、オーサリングプログラムの操作画面１００を表示部１２に表示させるとともに（ステップＳ１）、カメラワークデータの生成領域をＲＡＭ上に設定し、この領域に対してカメラワークデータのテンプレートデータを設定する。

ここで、操作画面１００について説明する。図８に示すように、操作画面１００には、メニューバー１１０、入力画像確認エリア１２０、出力画像確認エリア１３０、タイムバー１４０等が設けられている。

メニューバー１１０は、各種操作を行うための各種メニューが設けられている。

また、入力画像確認エリア１２０は、編集対象の映像データの映像を確認するためのエリアであり、映像を表示する入力画像表示エリア１２１、再生制御ボタン群１２２等が設けられている。ユーザにより再生制御ボタン群１２２の何れかのボタンが選択されることにより、編集対象の映像データの再生、停止、早送り再生、巻き戻し再生等の再生制御がなされ、この再生制御に応じて、入力画像表示エリア１２１には映像が表示される。

また、出力画像確認エリア１３０は、編集対象の映像データから抜き出した映像を確認するためのエリアであり、抜き出された映像を表示する出力画像表示エリア１３１、再生制御ボタン群１３２等が設けられている。ユーザにより再生制御ボタン群１３２の何れかのボタンが選択されることにより、抜き出された映像の再生、停止、早送り再生、巻き戻し再生等の再生制御がなされ、この再生制御に応じて、出力画像表示エリア１３１には、抜き出された映像が表示される。

また、タイムバー１４０には、ビデオタイムバー１４１、オーディオタイムバー１４２等が設けられている。ビデオタイムバー１４１は、編集対象の映像データにおける映像の再生位置をインディケータ１５０で示すとともに、抜き出し対象期間を斜線領域で示すようになっている（図５の例では、符号１６１乃至１６４夫々で示す領域）。このビデオタイムバー１４１において、任意の再生位置がユーザによって指定されると、この指定された再生位置に対応する映像が、入力画像表示エリア１２１に表示される。また、オーディオタイムバー１４２は、編集対象の映像データにおける音声の再生位置を示すとともに、抜き出し対象期間を斜線領域で示すようになっているが、これらの表示内容はビデオタイムバー１４１と同一である。

ユーザが、操作部１１を用いて、入力画像確認エリア１２０の再生制御ボタン群１２２やビデオタイムバー１４１等に対して操作を行うことにより、任意の再生位置に対応するフレーム画像を入力画像表示エリア１２１に画像を表示させ、この入力画像表示エリア１２１に対して指定ＲＯＩの範囲を設定すると、入力画像表示エリア１２１には、指定ＲＯＩの範囲を示すＲＯＩ枠１２３が表示される。なお、指定ＲＯＩの縦の画素数と横の画素数は、ユーザの設定等により予め定められた比率（例えば、縦の画素数：横の画素数＝４：３等）で調整される。

こうした手順を繰り返して、２つの異なるフレームの画像に対して夫々指定ＲＯＩの範囲が設定されると、これらのフレームのうち再生位置が前の方のフレームが開始キーフレームと設定され、他方のフレームが終了キーフレームと設定され、この２つのフレームの間の抜き出し再生期間において、前述した３つのモードのうち、何れかによるデジタルカメラワークの決定が行われる。

そして、デジタルカメラワークが決定されると、ユーザは、この抜き出し再生期間において抜き出された映像を、出力画像確認エリア１３０の出力画像表示エリア１３１で確認することができる。

ここで、ユーザが、操作部１１を用いて、編集対象の映像データを指定すると、システム制御部１６は、この指定された映像データを記憶部１５等から読み出す（ステップＳ２）。

次いで、システム制御部１６は、オーサリングプログラムを終了させるか否かを判定し（ステップＳ３）、終了させない場合には（ステップＳ３：ＮＯ）、ステップＳ３に移行する。

ステップＳ４において、ユーザが、操作部１１を用いて、開始キーフレーム、開始キーフレームにおける指定ＲＯＩの範囲、終了キーフレーム、及び、終了キーフレームにおける指定ＲＯＩの範囲を設定すると、システム制御部１６は、これらのフレームの番号と、指定ＲＯＩの中心座標、縦の画素数及び横の画素数をＲＡＭ等に設定する。

次いで、システム制御部１６は、編集対象の映像データを構成する複数のフレームを、その再生順にソートする（ステップＳ５）。

次いで、システム制御部１６は、追跡対象物を追跡する（ステップＳ６）。

具体的に、システム制御部１６は、先ず、開始キーフレームの画像のうち、指定ＲＯＩの範囲の画像から、フレーム間差分法を用いて第１の追跡対象物を検出する。

より詳細に、システム制御部１６は、開始キーフレームの画像の輝度と、当該開始キーフレームの一つ前に再生されるべきフレームとの画像の輝度とを画素毎に比較し、フレーム間で急激な輝度の変化が生じているピクセル群に基づいて、第１の追跡対象物の候補となる領域を特定する。このとき、システム制御部１６は、候補となる領域が複数存在する場合には、例えば、面積が最も大きい領域を第１の追跡対象物と決定する。そして、システム制御部１６は、第１の追跡対象物の中心座標を算出する。そして、システム制御部１６は、フレーム間差分法を用いて、開始キーフレームから開始して、終了キーフレームまで再生順に、抜き出し再生期間における各フレームの画像から第１の追跡対象物を検出する。このとき、システム制御部１６は、各フレームにおける第１の追跡対象物の中心座標を、当該フレームにおける推定ＲＯＩの中心座標とし、各フレームにおける第１の追跡対象物の領域を囲むように、推定ＲＯＩの縦の画素数及び横の画素数を決定し、これらのデータをＲＡＭ等に設定する。この場合における縦の画素数及び横の画素数も、ユーザの設定等により予め定められた比率で調整される。

また、システム制御部１６は、上述と同様にして、終了キーフレームの画像のうち、指定ＲＯＩの範囲の画像から第２の追跡対象物を検出し、終了キーフレームから開始して、開始キーフレームまで逆再生順に、抜き出し再生期間における各フレームの画像から第２の追跡対象物を検出する。

システム制御部１６は、追跡対象物を追跡を終えると、双方向から対象物を追跡することができるか否かを判定する（ステップＳ７）。すなわち、システム制御部１６は、第１の追跡対象物及び第２の追跡対象物が追跡可能であって、且つ、第１の追跡対象物及び第２の追跡対象物が同一物であるか否かを判定する。ここで、システム制御部１６は、順方向から対象物を追跡することができる場合には（ステップＳ７：ＹＥＳ）、後述するカメラワーク生成処理（双方向追跡モード）を実行する（ステップＳ８）。このカメラワーク生成処理（双方向追跡モード）において、システム制御部１６は、追跡対象物の画像が、抜き出し再生期間における各フレームのＲＯＩの範囲に含まれるように、当該各フレームにおけるＲＯＩの範囲を決定する。システム制御部１６は、この処理を終えると、ステップＳ３に移行する。

一方、システム制御部１６は、双方向から対象物を追跡することができない場合には（ステップＳ７：ＮＯ）、次いで、順方向から対象物を追跡することができるか否かを判定する（ステップＳ９）。すなわち、システム制御部１６は、第１の追跡対象物が追跡可能であるか否かを判定する。ここで、システム制御部１６は、順方向から対象物を追跡することができる場合には（ステップＳ９：ＹＥＳ）、後述するカメラワーク生成処理（順方向追跡モード）を実行する（ステップＳ１０）。このカメラワーク生成処理（順方向追跡モード）において、システム制御部１６は、追跡期間及び非追跡期間を設定するとともに、追跡期間については、第１の追跡対象物の画像が、各フレームにおけるＲＯＩの範囲に含まれるように、当該各フレームにおけるＲＯＩの範囲を決定する。システム制御部１６は、この処理を終えると、ステップＳ３に移行する。

一方、システム制御部１６は、順方向から対象物を追跡することができない場合には（ステップＳ９：ＮＯ）、後述するカメラワーク生成処理（非追跡モード）を実行する（ステップＳ１１）。このカメラワーク生成処理（非追跡モード）において、システム制御部１６は、抜き出し再生期間における各フレームのＲＯＩの範囲を、開始キーフレームにおけるＲＯＩの範囲と、終了キーフレームにおけるＲＯＩの範囲と、で補間する。システム制御部１６は、この処理を終えると、ステップＳ３に移行する。

そして、ユーザが、操作部１１の操作を用いて、オーサリングプログラムの終了を情報生成装置Ｓに指示すると、ステップＳ３において、システム制御部１６は、オーサリングプログラムを終了させると判定し（ステップＳ３：ＹＥＳ）、カメラワークデータを出力する（ステップＳ１２）。具体的に、システム制御部１６は、ＲＡＭ上に生成されたカメラワークデータに対して、ユーザによる設定等に基づいて、映像を表示させる画面の画素数を設定し、このカメラワークデータを、データファイルとして記憶部１５に記憶させる。

［３．２カメラワーク生成処理（非追跡モード）］
次に、情報生成装置Ｓにおけるカメラワーク生成処理（非追跡モード）について、図９を用いて説明する。なお、図９は、本実施形態に係る情報生成装置Ｓのカメラワーク生成処理（非追跡モード）の一例を示すフローチャートである。

図９に示すように、システム制御部１６は、先ず、以下の処理に用いるパラメータを取得する（ステップＳ２１）。具体的に、システム制御部１６は、開始キーフレーム及び終了キーフレームの番号と、開始キーフレームにおける指定ＲＯＩ及び終了キーフレームにおける指定ＲＯＩの中心座標、縦の画素数及び横の画素数とを取得する。

次いで、システム制御部１６は、後述するカメラワーク計算処理１のパラメータを設定する（ステップＳ２３）。具体的に、システム制御部１６は、開始キーフレームを処理開始フレームに設定し、終了キーフレームを処理終了フレームに設定し、開始キーフレームにおける指定ＲＯＩを処理開始ＲＯＩに設定し、終了キーフレームにおける指定ＲＯＩを処理終了ＲＯＩに設定する。

次いで、システム制御部１６は、後述するカメラワーク計算処理１を実行すると（ステップＳ２３）、カメラワーク生成処理（非追跡モード）を終了させる。

［３．３カメラワーク計算処理１］
次に、情報生成装置Ｓにおけるカメラワーク計算処理１について、図１０を用いて説明する。なお、図１０は、本実施形態に係る情報生成装置Ｓのカメラワーク計算処理１の一例を示すフローチャートである。

図１０に示すように、システム制御部１６は、先ず、後述するパンニング・チルティング処理を実行し（ステップＳ３１）、次いで、後述するズーミング処理を実行する（ステップＳ３２）。

次いで、システム制御部１６は、カメラワークデータを更新する（ステップＳ３３）。具体的に、システム制御部１６は、パンニング・チルティング処理及びズーミング処理によって決定された、処理開始フレームと処理終了フレームとで特定される期間（以下、「処理対象期間」と称する）における各フレームの推定ＲＯＩの中心座標、縦の画素数及び横の画素数を、当該フレームの番号に対応付けて、カメラワークデータの生成領域に設定する。システム制御部１６は、この処理を終えると、カメラワーク計算処理１を終了させる。

［３．４パンニング・チルティング処理］
次に、情報生成装置Ｓにおけるパンニング・チルティング処理について、図１１を用いて説明する。なお、図１１は、本実施形態に係る情報生成装置Ｓのパンニング・チルティング処理の一例を示すフローチャートである。

図１１に示すように、システム制御部１６は、以下の処理に用いるパラメータを取得する（ステップＳ４１）。具体的に、システム制御部１６は、処理開始キーフレーム及び終了キーフレームの番号ｎ_ｓ及びｎ_ｅと、処理開始フレームにおけるＲＯＩ及び処理終了フレームにおける指定ＲＯＩの中心座標、縦の画素数及び横の画素数とを取得する。

次いで、システム制御部１６は、加速終了点を計算する（ステップＳ４２）。具体的に、システム制御部１６は、前記式（１）を用いて、加速終了点に対応するフレーム番号ｎ_ｔを計算する。

次いで、システム制御部１６は、加速期間におけるパンニングの速度α_１及び減速期間におけるパンニングの加速度α_２を、前記式（２）乃至（４）を用いて計算する。

次いで、システム制御部１６は、フレーム番号ｎ_ｓ及びｎ_ｅにより特定されるパンニング期間における各フレームのＲＯＩの中心座標Ｒ’（ｎ）を、前記式（５）及び（６）を用いて計算する。システム制御部１６は、この処理を終えると、パンニング・チルティング処理を終了させる。

［３．５ズーミング処理］
次に、情報生成装置Ｓにおけるズーミング処理について、図１２を用いて説明する。なお、図１２は、本実施形態に係る情報生成装置Ｓのズーミング処理の一例を示すフローチャートである。

図１２に示すように、システム制御部１６は、以下の処理に用いるパラメータを取得する（ステップＳ５１）。具体的に、システム制御部１６は、処理開始キーフレーム及び終了キーフレームの番号ｎ_ｓ及びｎ_ｅと、処理開始フレームにおけるＲＯＩ及び処理終了フレームにおけるＲＯＩの中心座標、縦の画素数及び横の画素数とを取得する。

次いで、システム制御部１６は、フレーム番号ｎ_ｓ及びｎ_ｅにより特定されるズーミング期間における各フレームのＲＯＩの拡大率を、前記式（７）または（８）を用いて計算する（ステップＳ５２）。具体的に、システム制御部１６は、処理終了ＲＯＩのサイズが処理開始ＲＯＩのサイズよりも大きい場合には、前記式（７）を用いて計算し、処理終了ＲＯＩのサイズが処理開始ＲＯＩのサイズよりも小さい場合には、前記式（８）を用いて計算する。

次いで、システム制御部１６は、ステップＳ５３における計算結果に基づいて、ズーミング期間における各フレームのＲＯＩの縦の画素数及び横の画素数を計算する（ステップＳ５３）。システム制御部１６は、この処理を終えると、パンニング・チルティング処理を終了させる。

［３．６カメラワーク生成処理（順方向追跡モード）］
次に、情報生成装置Ｓにおけるカメラワーク生成処理（順方向追跡モード）について、図１３を用いて説明する。なお、図１３は、本実施形態に係る情報生成装置Ｓのカメラワーク生成処理（順方向追跡モード）の一例を示すフローチャートである。

図１３に示すように、システム制御部１６は、先ず、以下の処理に用いるパラメータを取得する（ステップＳ６１）。具体的に、システム制御部１６は、開始キーフレーム及び終了キーフレームの番号を取得する。また、システム制御部１６は、システム制御部１６は、図７で示したステップＳ６の処理において、第１の追跡対象物を追跡することによって決定された、各フレームにおける推定ＲＯＩの中心座標、縦の画素数及び横の画素数を取得する。更に、終了キーフレームにおける指定ＲＯＩの中心座標、縦の画素数及び横の画素数を取得する。

次いで、システム制御部１６は、追跡期間及び非追跡期間を設定する（ステップＳ６２）。具体的に、システム制御部１６は、例えば、ユーザにより指定された時間に相当する期間を追跡期間または非追跡期間として設定し、抜き出し再生期間のうち残りの期間を他方の期間として設定する。また、例えば、システム制御部１６は、第１の追跡対象物の追跡結果に基づいて、追跡期間または非追跡期間を決定する。より詳細に、システム制御部１６は、第１の追跡対象物が途中でフレーム画像から外れたり、物陰に隠れるなどによって、当該第１の追跡対象物の追跡が不可能になった時点までの期間を追跡期間として設定し、この時点から抜き出し再生期間の終了時点までの期間を非追跡期間として設定する。

次いで、システム制御部１６は、推定ＲＯＩの中心座標の変動抑制処理を実行する（ステップＳ６３）。具体的に、システム制御部１６は、バイラテラルフィルタを用いて、推定ＲＯＩの中心座標を補正する。バイラテラルフィルタは、例えば、注目する画素からの距離による重みに加えて、注目する画素との画素値の差に応じて、ガウス分布に従う重みを付けた平均化を行う。これによって、追跡対象物が激しく移動したり、実際のカメラ撮影時において手ぶれが発生すること等により、推定ＲＯＩの中心座標のゆれが激しい場合でも、当該推定ＲＯＩの中心座標をゆるやかに移動させることができる。

次いで、システム制御部１６は、各フレームにおける推定ＲＯＩの中心座標に基づいて、追跡期間における推定ＲＯＩの動作特徴点を抽出する（ステップＳ６４）。具体的に、システム制御部１６は、各フレームにおける推定ＲＯＩの中心座標に対して、ゼロ交差法を用いて動作特徴点を抽出する。ここで、動作特徴点とは、映像データの再生に伴って、推定ＲＯＩの中心座標が、静止している状態から移動している状態に遷移する時点、及び、移動している状態から静止する状態に遷移する時点、並びに、推定ＲＯＩの中心座標の移動方向が急激に変化する時点をいう（例えば、右方向から左方向へ変化）。実際には、これらの時点に対応するフレームの番号で特定される。

次いで、システム制御部１６は、追跡期間からズーミング期間を抽出する。（ステップＳ６５）。具体的に、システム制御部１６は、追跡期間において、隣接する各フレームに間における推定ＲＯＩのサイズの差分を検出し、当該差分に基づいて、推定ＲＯＩのサイズの変動が激しい期間をズーミング期間と決定する。実際には、このズーミング期間が開始されるフレームの番号と当該期間が終了されるフレームの番号とで、当該期間が特定される。

次いで、システム制御部１６は、後述するカメラワーク計算処理２を実行する（ステップＳ６６）。

次いで、システム制御部１６は、カメラワーク計算処理１のパラメータを設定する（ステップＳ６７）。具体的に、システム制御部１６は、非追跡期間の開始時点に対応するフレームを処理開始フレームに設定し、終了キーフレームを処理終了フレームに設定する。また、システム制御部１６は、非追跡期間の開始時点に対応するフレームにおける推定ＲＯＩを処理開始ＲＯＩに設定し、終了キーフレームにおける指定ＲＯＩを処理終了ＲＯＩに設定する。

次いで、システム制御部１６は、カメラワーク計算処理１を実行すると（ステップＳ６８）、カメラワーク生成処理（順方向追跡モード）を終了させる。

［３．７カメラワーク計算処理２］
次に、情報生成装置Ｓにおけるカメラワーク計算処理２について、図１４を用いて説明する。なお、図１４は、本実施形態に係る情報生成装置Ｓのカメラワーク計算処理２の一例を示すフローチャートである。

図１４に示すように、システム制御部１６は、先ず、抽出された動作特徴点のうち、一つを特定する（ステップＳ７１）。

次いで、システム制御部１６は、カメラワーク計算処理２のパラメータを設定する（ステップＳ７２）。具体的に、システム制御部１６は、特定された動作特徴点に対応するフレームを処理開始フレームに設定し、特定された動作特徴点の次の動作特徴点に対応するフレームを処理終了フレームに設定する。また、システム制御部１６は、特定された動作特徴点に対応するフレームにおける推定ＲＯＩを処理開始ＲＯＩに設定し、特定された動作特徴点の次の動作特徴点に対応するフレームにおける指定ＲＯＩを処理終了ＲＯＩに設定する。

次いで、システム制御部１６は、パンニング・チルティング処理を実行する（ステップＳ７３）。

次いで、システム制御部１６は、全ての動作特徴点を特定したか否かを判定する（ステップＳ７４）。ここで、システム制御部１６は、全ての動作特徴点を特定していない場合には（ステップＳ７４：ＮＯ）、ステップＳ７１に移行して、抽出された動作特徴点のうち、未だ特定されていない動作特徴点の中から一つを特定する。つまり、システム制御部１６は、全ての動作特徴点を特定するまでは、ステップＳ７１乃至Ｓ７４の処理を繰り返し実行するのである。

そして、システム制御部１６は、全ての動作特徴点を特定すると（ステップＳ７４：ＹＥＳ）、抽出されたズーミング期間のうち、一つを特定する（ステップＳ７５）。

次いで、システム制御部１６は、カメラワーク計算処理１のパラメータを設定する（ステップＳ７６）。具体的に、システム制御部１６は、ズーミング期間の開始時点に対応するフレームを処理開始フレームに設定し、ズーミング期間の終了時点に対応するフレームを処理終了フレームに設定する。また、システム制御部１６は、ズーミング期間の開始時点に対応するフレームにおける推定ＲＯＩを処理開始ＲＯＩに設定し、ズーミング期間の終了時点に対応するキーフレームにおける指定ＲＯＩを処理終了ＲＯＩに設定する。

次いで、ズーミング処理を実行する（ステップＳ７７）。

次いで、システム制御部１６は、全てのズーミング期間を特定したか否かを判定する（ステップＳ７８）。ここで、システム制御部１６は、全てのズーミング期間を特定していない場合には（ステップＳ７８：ＮＯ）、ステップＳ７５に移行して、抽出されたズーミング期間のうち、未だ特定されていないズーミング期間の中から一つを特定する。つまり、システム制御部１６は、全てのズーミング期間を特定するまでは、ステップＳ７５乃至Ｓ７８の処理を繰り返し実行するのである。

そして、システム制御部１６は、全てのズーミング期間を特定すると（ステップＳ７８：ＹＥＳ）、カメラワークデータを更新する（ステップＳ７９）。具体的に、システム制御部１６は、パンニング・チルティング処理及びズーミング処理によって決定された、処理対象期間における各フレームの推定ＲＯＩの中心座標、縦の画素数及び横の画素数を、当該フレームの番号に対応付けて、カメラワークデータの生成領域に設定する。システム制御部１６は、この処理を終えると、カメラワーク計算処理２を終了させる。

［３．８カメラワーク生成処理（双方向追跡モード）］
次に、情報生成装置Ｓにおけるカメラワーク生成処理（双方向追跡モード）について、図１５を用いて説明する。なお、図１５は、本実施形態に係る情報生成装置Ｓのカメラワーク生成処理（双方向追跡モード）の一例を示すフローチャートである。

図１５に示すように、システム制御部１６は、先ず、以下の処理に用いるパラメータを取得する（ステップＳ９１）。具体的に、システム制御部１６は、開始キーフレーム及び終了キーフレームの番号を取得する。また、システム制御部１６は、図７で示したステップＳ６の処理において、第１の追跡対象物を追跡することによって決定された、各フレームにおける推定ＲＯＩの中心座標、縦の画素数及び横の画素数を取得する。更に、システム制御部１６は、図７で示したステップＳ６の処理において、第２の追跡対象物を追跡することによって決定された、各フレームにおける推定ＲＯＩの中心座標、縦の画素数及び横の画素数を取得する。

次いで、システム制御部１６は、推定ＲＯＩの中心座標の変動抑制処理を実行し、（ステップＳ９２）。処理対象期間全体における推定ＲＯＩの動作特徴点を抽出すると（ステップＳ９３）。処理対象期間全体におけるズーミング期間を抽出する（ステップＳ９４）。なお、これらの処理の内容は、基本的に、図１３で示したステップＳ６３乃至Ｓ６５における処理内容と同様である。

次いで、システム制御部１６は、カメラワーク計算処理２を実行すると（ステップＳ９９５）、カメラワーク生成処理（双方向追跡モード）を終了させる。

［３．９カメラワークデータを用いた映像データの再生処理］
次に、上述したような処理によって生成されたカメラワークデータを用いて映像データを再生する場合における処理の概要を説明する。なお、当該再生を行う装置としては、例えば、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話機等を適用することができるが、便宜上、携帯電話機を適用して、その処理概要を説明する。

携帯電話機のメモリには、例えば、インターネット上のＷｅｂサイト等からダウンロードした映像データとカメラワークデータとが記憶されている。

先ず、ユーザ操作によって映像データの再生が指示されると、携帯電話機のＣＰＵは、指定された映像データをメモリから読み出すとともに、当該映像データに対応するカメラワークデータを読み出す。

次いで、携帯電話機のＣＰＵは、カメラワークデータに従って、映像データを再生する。このとき、携帯電話機のＣＰＵは、画面に表示される映像のサイズを、再生の開始から終了まで基本的に同一のサイズ（例えば、携帯電話機の液晶画面のサイズ）となるように、再生を行う。

具体的に、携帯電話機のＣＰＵは、抜き出し再生期間を除いた期間では、フレーム画像そのままの画像を拡大または縮小することによって、液晶画面のサイズにして再生する。また、携帯電話機のＣＰＵは、抜き出し再生期間においては、カメラワークデータの制御情報に従って、再生するフレームの番号に対応して設定されているＲＯＩの中心座標、縦の画素数及び横の画素数で、当該フレームの画像から画像の抜き出しを行って、この画像を拡大または縮小することによって、液晶画面のサイズにして再生する。抜き出し再生期間においては、各フレームにおけるＲＯＩの範囲が連続して変化するので、これにより、自然なデジタルカメラワークが施された映像が画面に表示される。

以上説明したように、本実施形態によれば、開始キーフレーム、終了キーフレーム、開始キーフレームにおけるＲＯＩの範囲及び終了キーフレームにおけるＲＯＩの範囲が、再生された映像データに基づいて操作部１１を用いて設定され、これらの情報を基に、システム制御部１６が、抜き出し再生期間に対応する各フレームにおけるＲＯＩの範囲夫々が、開始キーフレームにおけるＲＯＩの範囲と、終了キーフレームにおけるＲＯＩの範囲と、に対応して、連続して遷移するように、抜き出し再生期間に対応する各フレームにおけるＲＯＩの範囲を、当該抜き出し再生期間に対応する各フレームの番号に対応させて決定し、夫々決定された範囲を示すカメラワークデータを生成する。

従って、ユーザが、再生された映像データを確認しながら、開始キーフレーム、終了キーフレーム、開始キーフレームにおけるＲＯＩの範囲及び終了キーフレームにおけるＲＯＩの範囲を設定することにより、映像データを構成する複数のフレームの画像夫々の一部を抜き出して再生するためのカメラワークデータを簡単に生成することができる。また、開始キーフレーム、終了キーフレーム、開始キーフレームにおけるＲＯＩの範囲及び終了キーフレームにおけるＲＯＩの範囲は、ユーザの任意で設定可能であるので、様々な映像データに対して適用可能であり、更に、ユーザの意図を反映させることができる。

また、非追跡モードにおいては、システム制御部１６が、抜き出し再生期間に対応する各フレームにおけるＲＯＩの範囲を、開始キーフレームにおけるＲＯＩの範囲と、終了キーフレームにおけるＲＯＩの範囲と、で補間するので、簡易な処理で、カメラワークデータを生成することができる。特に、非追跡モードは、追跡対象物を検出できないような場合に有効である。

また、順方向追跡モードにおいては、システム制御部１６が、開始キーフレームにおけるＲＯＩの範囲の画像から、抜き出し再生期間中に画面に表示させる追跡対象物の画像を検出し、抜き出し再生期間に対応する各フレームのＲＯＩにおける追跡対象物の画像を、当該抜き出し再生期間に対応する各フレームのＲＯＩの再生順に当該抜き出し再生期間に対応するフレームのＲＯＩから検出して、追跡期間に対応する各フレームのＲＯＩにおけるＲＯＩの範囲を、当該ＲＯＩの範囲に追跡対象物の画像が含まれるように決定するので、画面に表示させたい追跡対象物の画像がある場合には、開始キーフレームにおけるＲＯＩの範囲を、追跡対象物の画像が含まれるように設定することにより、追跡対象物の画像を含むＲＯＩの範囲の画像を抜き出して再生を行うためのカメラワークデータを生成することができる。特に、順方向追跡モードは、一方向からのみ追跡対象物を検出できるような場合に有効である。

また、順方向追跡モードにおいては、システム制御部１６が、非追跡期間に対応するする各フレームにおけるＲＯＩの範囲を、当該非追跡期間の開始時点のフレーム画像におけるＲＯＩの範囲と、当該非追跡期間の終了時点のフレーム画像におけるＲＯＩの範囲と、で補間するので、抜き出し再生期間のうち追跡対象物を画面に表示させる必要がない期間においても、スムーズにＲＯＩの範囲の画像を抜き出して再生を行うためのカメラワークデータまたは新たな映像データを生成することができる。

また、双方向追跡モードにおいては、システム制御部１６が、開始キーフレームにおけるＲＯＩの範囲から、第１の追跡対象物の画像を検出し、抜き出し再生期間に対応する各フレームのＲＯＩにおける当該第１の追跡対象物の画像を、当該各フレームのＲＯＩの再生順に検出する一方、終了キーフレームにおけるＲＯＩの範囲から、第２の追跡対象物の画像を検出し、抜き出し再生期間に対応する各フレームのＲＯＩにおける当該第２の追跡対象物の画像を、当該各フレームのＲＯＩの逆再生順に検出して、これらの検出結果に基づいて、抜き出し再生期間に対応する各フレームのＲＯＩにおけるＲＯＩの範囲を、当該ＲＯＩの範囲に第１の追跡対象物または第２の追跡対象物の少なくとも何れか一方の画像が含まれるように決定する。

従って、画面に表示させたい追跡対象物が１つである場合には、開始キーフレームにおけるＲＯＩの範囲及び終了キーフレームにおけるＲＯＩの範囲を、何れもその追跡対象物の画像が含まれるように設定することにより、この追跡対象物の画像を含むＲＯＩの範囲の画像を抜き出して再生を行うためのカメラワークデータを生成することができるとともに、その際に、二重に追跡が行われることによって、追跡対象物の検出精度を高めることができる。

また、システム制御部１６は、前記式（１）乃至（８）を用いて、抜き出し再生期間に対応する各フレームにおけるＲＯＩの範囲の変化速度を漸次変化させながら変化するように、抜き出し再生期間に対応する各フレームにおけるＲＯＩの範囲を決定するので、ＲＯＩの範囲が急激に変化することを抑制することができ、カメラワークデータを用いて映像データを再生する際に、視聴者にとって見やすいように再生を行うことができる。

なお、本実施形態においては、情報生成装置Ｓは、デジタルカメラワークを規定するカメラワークデータを生成し、このデジタルカメラワークを用いて映像データを再生することにより、デジタルカメラワークを適用した映像を画面に表示するようにしていたが、これに限られるものではなく、情報生成装置Ｓが、デジタルカメラワークを適用した新たな映像データを生成するようにしても良い。この場合、システム制御部１６は、例えば、図７に示すステップＳ１２の処理において、生成領域に設定されたカメラワークデータに基づいて新たな映像データを生成するように構成すればよい。具体的には、システム制御部１６は、抜き出し再生期間においては、編集対象である映像データの各フレームの画像から、カメラワークデータに設定されているＲＯＩの範囲の画像を抜き出して新たなフレームに変換し、抜き出し再生期間ではない期間においては、編集対象である映像データの各フレームをそのまま抜き出し、抜き出されたフレームをフレーム番号順にソートして、これらのフレームを結合することにより新たな映像データを生成する。

また、本実施形態においては、非追跡モード、順方向追跡モード、双方向追跡モードの何れかを選択する場合には、情報生成装置Ｓが、追跡対象物の追跡結果により自動的に選択していたが、これに限られるものではなく、例えば、ユーザ設定により選択するようにしても良い。また、必ずしも、これら３つのモードを選択可能に情報生成装置Ｓを構成する必要はなく、例えば、予め定められたモードでデジタルカメラワークを決定しても良い。

また、順方向追跡モードにおいては、追跡期間及び非追跡期間を設定していたが、例えば、これらの期間を設定せずに、抜き出し再生期間全体に渡って、追跡対象物の画像がＲＯＩの範囲に含まれるように、情報生成装置Ｓを構成しても良い。

また、順方向追跡モードにおいては、追跡対象物の検出を、開始フレームから開始して、再生順に各フレームに対してを行っていたが、これとは別に、例えば、追跡対象物の検出を、終了フレームから開始して、逆再生順に各フレームに対してを行う逆方向追跡モードを設けても良い。このとき、追跡期間と非追跡期間の位置関係は、順方向追跡モードにおける位置関係とは逆となる。

また、本実施形態においては、図７に示す処理において、情報生成装置Ｓは、第１の追跡対象物と第２の追跡対象物とが同一ではない場合には、双方向追跡モードによるカメラワーク生成処理を行わないようにしていたが、この場合であっても、双方向追跡モードによるカメラワーク生成処理を行うようにしても良い。つまり、情報生成装置Ｓを、第１の追跡対象物と第２の追跡対象物とが同一ではない場合には、少なくとも何れか一方の対象物を含んだ画像が抜き出し再生されるように、各フレームにおける推定ＲＯＩの範囲を決定するように構成しても良い。例えば、抜き出し再生期間のうち第１の追跡対象物が検出可能である間は第１の追跡対象物を含んだ画像が抜き出し再生されるように各フレームにおける推定ＲＯＩの範囲を決定され、その後は、第２の追跡対象物を含んだ画像が抜き出し再生されるように各フレームにおける推定ＲＯＩの範囲が決定されるようにすれば良い。

このように構成することで、画面に表示させたい追跡対象物が２つある場合には、開始キーフレームにおけるＲＯＩの範囲を、一方の追跡対象物の画像が含まれるように設定し、且つ、終了キーフレームにおけるＲＯＩの範囲を、他方の追跡対象物の画像が含まれるように設定することにより、この２つの追跡対象物の少なくとも何れか一方の画像を含むＲＯＩの範囲の画像を抜き出して再生を行うためのカメラワークデータを生成することができる。

また、本実施形態においては、システム制御部１６は、前記式（１）乃至（８）を用いるアルゴリズムによって、パンニング及びズーミングを行っていたが、他のアルゴリズムでパンニング及びズーミングを行っても良い。また、視聴者による映像の見やすさを考慮しないのであれば、抜き出し再生期間に対応する各フレームにおけるＲＯＩの範囲の変化速度を漸次変化させる必要はなく、例えば、単純な線形補間で当該各フレームにおけるＲＯＩの範囲を決定しても良い。

非追跡モードによるデジタルカメラワークの決定方法を説明するための図である。順方向追跡モードによるデジタルカメラワークの決定方法を説明するための図である。双方向追跡モードによるデジタルカメラワークの決定方法を説明するための図である。パンニング時におけるＲＯＩの中心座標の遷移のグラフの一例を示すグラフである。ズーミング時におけるＲＯＩのサイズの変化率のグラフの一例を示すグラフであり、（ａ）は、ズームインの場合におけるグラフであり、（ｂ）は、ズームインの場合におけるグラフである。本実施形態に係る情報生成装置Ｓの概要構成の一例を示すブロック図である。本実施形態に係る情報生成装置Ｓの全体的な処理の一例を示すフローチャートである。オーサリングプログラムの操作画面の一例を示す図である。本実施形態に係る情報生成装置Ｓのカメラワーク生成処理（非追跡モード）の一例を示すフローチャートである。本実施形態に係る情報生成装置Ｓのカメラワーク計算処理１の一例を示すフローチャートである。本実施形態に係る情報生成装置Ｓのパンニング・チルティング処理の一例を示すフローチャートである。本実施形態に係る情報生成装置Ｓのズーミング処理の一例を示すフローチャートである。本実施形態に係る情報生成装置Ｓのカメラワーク生成処理（順方向追跡モード）の一例を示すフローチャートである。本実施形態に係る情報生成装置Ｓのカメラワーク計算処理２の一例を示すフローチャートである。本実施形態に係る情報生成装置Ｓのカメラワーク生成処理（双方向追跡モード）の一例を示すフローチャートである。

符号の説明

１１操作部
１２表示部
１３通信部
１４ドライブ部
１５記憶部
１６システム制御部
１７システムバス
Ｓ情報生成装置

Claims

動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生するために用いられる再生制御情報を生成する情報生成装置であって、
前記動画像を記憶手段から読み出す読み出し手段と、
前記読み出された動画像の再生を行う再生手段と、
前記読み出された動画像を構成する複数の前記静止画像のうち、前記部分静止画像の抜き出し再生を行う抜き出し再生期間の開始タイミングに相当する開始静止画像及び当該抜き出し再生期間の終了タイミングに相当する終了静止画像と、前記開始静止画像における前記部分静止画像の範囲及び前記終了静止画像における前記部分静止画像の範囲と、を、
前記再生されている動画像に基づいて設定するために用いられる入力手段と、
前記抜き出し再生期間に再生される前記動画像を構成する各前記静止画像である対象静止画像における前記部分静止画像の夫々が、前記開始静止画像における前記部分静止画像と、前記終了静止画像における前記部分静止画像と、に対応して、連続して遷移するように、各前記対象静止画像における前記部分静止画像の範囲を、当該各対象静止画像に対応させて決定する決定手段と、
夫々決定された前記範囲を示す前記再生制御情報を生成する生成手段と、
を備え、
前記決定手段は、
前記開始静止画像における前記部分静止画像から、前記抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、前記各対象静止画像における当該表示対象物の画像を、当該各対象静止画像の再生順に当該対象静止画像から検出する検出手段と、
前記抜き出し再生期間のうち、当該抜き出し再生期間の開始タイミングから開始され、且つ、前記表示対象物を画面に表示させる期間である表示期間を設定する設定手段と、を有し、
前記検出手段による検出結果に基づいて、前記表示期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該部分静止画像に前記表示対象物の画像が含まれるように決定し、
前記決定手段は、前記抜き出し再生期間のうち前記表示期間を除いた期間である除外期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該除外期間の開始タイミングに相当する前記静止画像における前記部分静止画像の範囲と、当該除外期間の終了タイミングに相当する前記静止画像における前記部分静止画像の範囲と、で補間し、
前記決定手段は、前記各対象静止画像における前記部分静止画像の範囲が、前記抜き出し再生期間における当該部分生成画像の再生に伴って変化する場合には、その変化速度を漸次変化させながら変化するように、前記各対象静止画像における前記部分静止画像の範囲を決定することを特徴とする情報生成装置。
動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生するために用いられる再生制御情報を生成する情報生成装置であって、
前記動画像を記憶手段から読み出す読み出し手段と、
前記読み出された動画像の再生を行う再生手段と、
前記読み出された動画像を構成する複数の前記静止画像のうち、前記部分静止画像の抜き出し再生を行う抜き出し再生期間の開始タイミングに相当する開始静止画像及び当該抜き出し再生期間の終了タイミングに相当する終了静止画像と、前記開始静止画像における前記部分静止画像の範囲及び前記終了静止画像における前記部分静止画像の範囲と、を、
前記再生されている動画像に基づいて設定するために用いられる入力手段と、
前記抜き出し再生期間に再生される前記動画像を構成する各前記静止画像である対象静止画像における前記部分静止画像の夫々が、前記開始静止画像における前記部分静止画像と、前記終了静止画像における前記部分静止画像と、に対応して、連続して遷移するように、各前記対象静止画像における前記部分静止画像の範囲を、当該各対象静止画像に対応させて決定する決定手段と、
夫々決定された前記範囲を示す前記再生制御情報を生成する生成手段と、
を備え、
前記決定手段は、
前記終了静止画像における前記部分静止画像から、前記抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、前記各対象静止画像における当該表示対象物の画像を、当該各対象静止画像の逆再生順に当該対象静止画像から検出する検出手段と、
前記抜き出し再生期間のうち、当該抜き出し再生期間の終了タイミングで終了され、且つ、前記表示対象物を画面に表示させる期間である表示期間を設定する設定手段と、を有し、
前記検出手段による検出結果に基づいて、前記表示期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該部分静止画像に前記表示対象物の画像が含まれるように決定し、
前記決定手段は、前記抜き出し再生期間のうち前記表示期間を除いた期間である除外期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該除外期間の開始タイミングに相当する前記静止画像における前記部分静止画像の範囲と、当該除外期間の終了タイミングに相当する前記静止画像における前記部分静止画像の範囲と、で補間し、
前記決定手段は、前記各対象静止画像における前記部分静止画像の範囲が、前記抜き出し再生期間における当該部分生成画像の再生に伴って変化する場合には、その変化速度を漸次変化させながら変化するように、前記各対象静止画像における前記部分静止画像の範囲を決定することを特徴とする情報生成装置。
動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生するために用いられる再生制御情報を生成する情報生成方法であって、
読み出し手段が、前記動画像を記憶手段から読み出す読み出し工程と、
再生手段が、前記読み出された動画像の再生を行う再生工程と、
取得手段が、前記再生されている動画像に基づいて入力手段を用いて設定された情報であって、前記読み出された動画像を構成する複数の前記静止画像のうち、前記部分静止画像の抜き出し再生を行う抜き出し再生期間の開始タイミングに相当する開始静止画像及び当該抜き出し再生期間の終了タイミングに相当する終了静止画像と、前記開始静止画像における前記部分静止画像の範囲及び前記終了静止画像における前記部分静止画像の範囲と、を取得する取得工程と、
決定手段が、前記抜き出し再生期間に再生される前記動画像を構成する各前記静止画像である対象静止画像における前記部分静止画像の夫々が、前記開始静止画像における前記部分静止画像と、前記終了静止画像における前記部分静止画像と、に対応して、連続して遷移するように、各前記対象静止画像における前記部分静止画像の範囲を、当該各対象静止画像に対応させて決定する決定工程と、
生成手段が、夫々決定された前記範囲を示す前記再生制御情報を生成する生成工程と、
を備え、
前記決定手段は、
検出手段が、前記開始静止画像における前記部分静止画像から、前記抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、前記各対象静止画像における当該表示対象物の画像を、当該各対象静止画像の再生順に当該対象静止画像から検出する検出工程と、
設定手段が、前記抜き出し再生期間のうち、当該抜き出し再生期間の開始タイミングから開始され、且つ、前記表示対象物を画面に表示させる期間である表示期間を設定する設定工程と、を有し、
前記検出手段による検出結果に基づいて、前記表示期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該部分静止画像に前記表示対象物の画像が含まれるように決定し、
前記決定手段は、前記抜き出し再生期間のうち前記表示期間を除いた期間である除外期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該除外期間の開始タイミングに相当する前記静止画像における前記部分静止画像の範囲と、当該除外期間の終了タイミングに相当する前記静止画像における前記部分静止画像の範囲と、で補間し、
前記決定手段は、前記各対象静止画像における前記部分静止画像の範囲が、前記抜き出し再生期間における当該部分生成画像の再生に伴って変化する場合には、その変化速度を漸次変化させながら変化するように、前記各対象静止画像における前記部分静止画像の範囲を決定することを特徴とする情報生成方法。
動画像を構成する複数の静止画像夫々の一部である部分静止画像を、当該動画像の再生に沿って抜き出して再生するために用いられる再生制御情報を生成する情報生成方法であって、
読み出し手段が、前記動画像を記憶手段から読み出す読み出し工程と、
再生手段が、前記読み出された動画像の再生を行う再生工程と、
取得手段が、前記再生されている動画像に基づいて入力手段を用いて設定された情報であって、前記読み出された動画像を構成する複数の前記静止画像のうち、前記部分静止画像の抜き出し再生を行う抜き出し再生期間の開始タイミングに相当する開始静止画像及び当該抜き出し再生期間の終了タイミングに相当する終了静止画像と、前記開始静止画像における前記部分静止画像の範囲及び前記終了静止画像における前記部分静止画像の範囲と、を取得する取得工程と、
決定手段が、前記抜き出し再生期間に再生される前記動画像を構成する各前記静止画像である対象静止画像における前記部分静止画像の夫々が、前記開始静止画像における前記部分静止画像と、前記終了静止画像における前記部分静止画像と、に対応して、連続して遷移するように、各前記対象静止画像における前記部分静止画像の範囲を、当該各対象静止画像に対応させて決定する決定工程と、
生成手段が、夫々決定された前記範囲を示す前記再生制御情報を生成する生成工程と、
を備え、
前記決定手段は、
検出手段が、前記終了静止画像における前記部分静止画像から、前記抜き出し再生期間中に画面に表示させる表示対象物の画像を検出し、前記各対象静止画像における当該表示対象物の画像を、当該各対象静止画像の逆再生順に当該対象静止画像から検出する検出工程と、
設定手段が、前記抜き出し再生期間のうち、当該抜き出し再生期間の終了タイミングで終了され、且つ、前記表示対象物を画面に表示させる期間である表示期間を設定する設定工程と、を有し、
前記検出手段による検出結果に基づいて、前記表示期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該部分静止画像に前記表示対象物の画像が含まれるように決定し、
前記決定手段は、前記抜き出し再生期間のうち前記表示期間を除いた期間である除外期間に相当する各前記対象静止画像における前記部分静止画像の範囲を、当該除外期間の開始タイミングに相当する前記静止画像における前記部分静止画像の範囲と、当該除外期間の終了タイミングに相当する前記静止画像における前記部分静止画像の範囲と、で補間し、
前記決定手段は、前記各対象静止画像における前記部分静止画像の範囲が、前記抜き出し再生期間における当該部分生成画像の再生に伴って変化する場合には、その変化速度を漸次変化させながら変化するように、前記各対象静止画像における前記部分静止画像の範囲を決定することを特徴とする情報生成方法。
コンピュータを、請求項１または請求項２に記載の情報生成装置として機能させることを特徴とする情報生成プログラム。