JP4225701B2 - 要約映像特定装置、および要約映像特定方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、要約映像特定装置、および要約映像特定方法に関し、さらに詳しくは、時系列的に配置される複数のフレームを含むビデオシーケンスを映像として出力することが可能な映像端末に回線を介して接続可能な要約映像特定装置、および要約映像特定方法に関する。
【０００２】
【従来の技術】
プロフェッショナル用途から一般の消費者用途まで映像データのソースは大量に存在する。これら大量の映像データから視聴したいものを見つけるには、多大な時間と労力を要する。たとえば、ビデオテープレコーダの早送り再生で、見たい番組を見つける場合は思ったよりも時間を要する。
【０００３】
この問題に対処するため、要約映像を作成し、要約映像の再生を通じて大まかな映像の内容を把握するような方法や装置が提案されている。
【０００４】
このうち、重要なフレームを時系列的に表示する技術として、特開平１１−１７６０３８号公報に開示されているように、重要度の高いキーフレームのみを早送り表示し、その視聴中にいずれかのキーフレームを選択する操作を行なうと、そのキーフレームに対応した個所から通常再生に入る方法が提案されている。
【０００５】
【発明が解決しようとする課題】
このキーフレームは、映像データの中から重要度の高いフレームを抽出することによって得られるが、自動的にキーフレームを指定する場合には、重要度が高いと判断されるフレームの数は映像ソースごとに異なる点が問題となる。この結果、キーフレームを早送り再生する場合に、ユーザが欲するようなある決まった時間長に要約映像の再生時間を収めることが難しくなる。
【０００６】
そこで、要約映像を表示する場合に、映像ソース間の違いを吸収して、ある程度決まった時間長で再生を行なえることがユーザの立場から必要となる。
【０００７】
また、ある要約映像を視聴した後に、ユーザが所望の映像ソースかどうかを判断するために、さらにより詳細な内容がわかる時間の長い要約映像を視聴したいといった要求もあると思われる。そこで、１つの映像ソースから複数の指定された時間長を持つ要約映像を作り出すことが必要になってくる。
【０００８】
さらに近年、映像ソースを視聴するための映像端末として、テレビジョン以外に、携帯電話機やＰＤＡ（Personal Digital Assistant：個人用携帯型情報端末）のような携帯端末でも映像を視聴することが可能となりつつあり、その結果、携帯端末においても要約映像の視聴希望は増加すると考えられる。
【０００９】
しかしながら、携帯端末のように小さな解像度の表示部や狭い通信帯域の端末を使用する場合、ユーザは外出時に映像を視聴するのであるから、自宅で視聴するテレビジョンでの場合と同じ長さの要約映像は不必要であり、テレビジョンでの要約映像よりも要約時間の短い要約映像が望まれる。
【００１０】
本発明の目的は、ユーザが、要約映像の再生を通じて所望する映像に短時間でたどり着くことが可能であり、かつ映像を表示する端末の属性に応じて要約映像を迅速に編集することが可能な要約映像特定装置、および要約映像特定方法を提供することである。
【００１１】
【課題を解決するための手段】
この発明による要約映像特定装置は、時系列的に配置される複数のフレームを含むビデオシーケンスを映像として出力することが可能な映像端末に回線を介して接続可能な要約映像特定装置であって、複数のフレームに対応する優先度を参照し、ビデオシーケンスの先頭から順に所定の優先度のフレームをキーフレームとして探索する探索手段と、ビデオシーケンスの最後まで探索が終了したか否かを判定し、ビデオシーケンスの最後まで探索が終了した場合に優先度を減じて再度探索手段に探索を行なわせる判定手段と、ビデオシーケンス中に時系列に連続して配置され、選択されたキーフレームを包含する複数のフレームであって、かつ、所定の連続再生時間に相当する複数のフレームであるフレームセットを要約映像として選択し、要約映像として選択されたフレームを特定する情報を含むシナリオを出力する選択手段と、要約映像の連続再生時間の合計が、所定の合計再生時間を超えた場合に、要約映像の作成を完了させる時間判定手段と、選択手段から出力される複数のシナリオを蓄積するシナリオ蓄積手段と、映像端末から回線を介して送信される映像端末の属性に従って、蓄積された複数のシナリオのうち属性に対応したシナリオを読出するシナリオ読出手段と、読出したシナリオを回線を介して映像端末へ送信する送信手段とを含む。
【００１２】
これにより、様々な再生時間を有する要約映像を映像端末上で表示することが可能となり、さらに映像端末の属性に従って、その映像端末に最も適した要約映像を表示させることが可能となる。
【００１３】
好ましくは、シナリオ読出手段は、映像端末の属性と映像端末で出力すべき要約映像の再生時間とを対応付けてテーブルに蓄積するテーブル蓄積手段と、映像端末から送信された属性とテーブルとから再生時間を特定し、特定された再生時間と等しい合計再生時間の要約映像を特定する情報を含むシナリオをシナリオ蓄積手段により蓄積された複数のシナリオから読出するシナリオ検索手段とを含む。
【００１４】
これにより、映像端末のユーザは、映像端末の属性に従って、その映像端末で表示すべき最も適した再生時間を有する要約映像を表示させることが可能となる。
【００１５】
さらに好ましくは、シナリオ読出手段は、複数のシナリオの合計再生時間の合計が、特定された再生時間と等しくなるように、複数のシナリオの組合せを行なうシナリオ組合せ手段を含む。
【００１６】
これにより、映像端末のユーザが複数の映像内容の要約映像を視聴したい場合でも、映像端末の属性に適した再生時間を有する要約映像の視聴が可能となる。
【００１７】
さらに好ましくは、映像端末の属性は映像端末の画面サイズである。
さらに好ましくは、映像端末の属性はフレームレートである。
【００１８】
この発明による要約映像特定方法は、時系列的に配置される複数のフレームを含むビデオシーケンスを映像として出力することが可能な映像端末に回線を介して接続可能な要約映像特定装置を用いた要約映像特定方法であって、複数のフレームに対応する優先度を参照し、ビデオシーケンスの先頭から順に所定の優先度のフレームをキーフレームとして探索するステップと、ビデオシーケンスの最後まで探索が終了したか否かを判定し、ビデオシーケンスの最後まで探索が終了した場合に優先度を減じて再度探索を行なうよう指示するステップと、ビデオシーケンス中に時系列に連続して配置され、選択されたキーフレームを包含する複数のフレームであって、かつ、所定の連続再生時間に相当する複数のフレームであるフレームセットを要約映像として選択し、要約映像として選択されたフレームを特定する情報を含むシナリオを出力するステップと、要約映像の連続再生時間の合計が、所定の合計再生時間を超えた場合に、要約映像の作成を完了させるステップと、選択手段から出力される複数のシナリオを蓄積するステップと、映像端末から回線を介して送信される映像端末の属性に従って、蓄積された複数のシナリオのうち属性に対応したシナリオを読出するステップと、読出したシナリオを回線を介して映像端末へ送信するステップとを含む。
【００１９】
これにより、様々な再生時間を有する要約映像を映像端末上で表示することが可能となり、さらに映像端末の属性に従って、その映像端末に最も適した要約映像を表示させることが可能となる。
【００２０】
好ましくは、シナリオを読出するステップは、映像端末の属性と映像端末で出力すべき要約映像の再生時間とを対応付けてテーブルに蓄積するステップと、映像端末から送信された属性とテーブルとから再生時間を特定し、特定された再生時間と等しい合計再生時間の要約映像を特定する情報を含むシナリオを蓄積された複数のシナリオから読出するステップとを含む。
【００２１】
これにより、映像端末のユーザは、映像端末の属性に従って、その映像端末で表示すべき最も適した再生時間を有する要約映像を表示させることが可能となる。
【００２２】
さらに好ましくは、シナリオを読出するステップは、複数のシナリオの合計再生時間の合計が、特定された再生時間と等しくなるように、複数のシナリオの組合せを行なうステップを含む。
【００２３】
これにより、映像端末のユーザが複数の映像内容の要約映像を視聴したい場合でも、映像端末の属性に適した再生時間を有する要約映像の視聴が可能となる。
【００２４】
【発明の実施の形態】
以下において、本発明の実施の形態について図面を参照して詳しく説明する。なお、図中同一符号は同一または相当部分を示す。
【００２５】
［全体構成の説明］
図１は、本発明の一実施の形態である、要約映像特定システムの全体構成を示すブロック図である。
【００２６】
図１を参照して、要約映像特定装置１は回線２を介してテレビジョンや携帯端末やＰＤＡ等の映像端末３に接続される。回線２は専用ケーブルのような専用回線であってもよいし、インターネットに代表されるネットワークであってもよい。また、回線２は有線、無線どちらでもよい。
【００２７】
要約映像特定装置１は、放送やインターネットなどの通信手段から得られるテレビ番組等の映像やユーザがカメラなどで撮影した映像などのプログラムのデータを入力する映像入力部１００と、入力されたプログラムデータを蓄積しておく映像蓄積部１０１と、入力されたデータに含まれる映像を分析し、映像優先度を決定する映像優先度決定部１０２と、映像優先度決定部１０２で作成された映像優先度の情報を蓄積する映像優先度情報蓄積部１０３とを含む。なお、映像優先度は、入力された映像の中から内容を端的に表現するのに重要と思われる部分を特定するための情報である。
【００２８】
要約映像特定装置１は、さらに、映像優先度決定部１０２が作成した映像優先度に基づき、入力された映像のどの部分を要約映像とするかを決定する要約映像シナリオテーブル作成部１０４と、要約映像シナリオテーブル作成部１０４が出力する要約映像シナリオテーブルを蓄積しておく要約映像シナリオテーブル蓄積部１０５と、映像端末の属性ごとに対応した要約映像の再生時間を再生要求時間テーブルとして蓄積しておく再生要求時間テーブル蓄積部１０６と、映像端末から送信される映像端末の属性の情報に従って、要約映像シナリオテーブル蓄積部１０５と再生要求時間テーブル蓄積部１０６とから、複数のプログラムに対応する要約映像シナリオテーブルを読出し、必要な情報を選択して複数のプログラム分が連結されたマルチプログラムシナリオテーブルを作成するマルチプログラムシナリオテーブル作成部１１０と、映像端末４から送信される属性の情報を受信し、マルチプログラムシナリオテーブル作成部１１０で作成したマルチプログラムシナリオテーブルを映像端末４へ送信する通信部１１１とを含む。
【００２９】
映像端末３は、回線２を介して要約映像特定装置１とプログラムのデータを映像端末へ送信する映像送信装置４とに接続可能である。
【００３０】
映像端末３は、映像送信装置４および要約映像特定装置１との間で情報の送受信を行なう通信部１２１と、映像端末３の属性の情報と映像送信装置４から送信された映像情報とを保存するデータファイル１２３とを含む。
【００３１】
映像端末３はさらに、要約映像を視聴しながら見たい映像をユーザが特定するために入力を行なうユーザ入力部１２０と、ユーザの入力に応じて通信部１２１から受信したマルチプログラムシナリオテーブルをもとに映像の読出しや停止を制御する映像表示制御部１２２と、映像表示制御部１２２からの指示に基づきデータファイル１２３から映像を読出し、必要な処理を施して再生を行なう映像再生部１２４と、映像再生部１２４で処理された映像データを表示する映像表示部１２５とを含む。たとえば、データがＭＰＥＧ方式などにより圧縮されている場合には、映像再生部１２４で行なわれる処理にはデコード処理等が含まれる。
【００３２】
映像送信装置４は、映像情報を保存しているデータファイル１３３と、映像端末３から送信される映像要求情報を受信し、要求された映像を送信する通信部４０２と、映像要求情報に応じた映像情報をデータファイル１３３から読出し、読出した映像情報の形態を映像端末の属性に応じて変換するトランスコーダ部１３２とを含む。
【００３３】
なお、要約映像特定装置１と映像送信装置４とはそれぞれがネットワーク上のサーバであってもよいし、各家庭に配置されたビデオデッキの中に含まれるものであってもよい。
【００３４】
［映像データの説明］
本明細書では、図１で示した要約映像特定システムで要約映像特定装置１および映像送信装置４に入力されるテレビ放送やインターネットなどの通信手段から得られる映像やユーザがカメラ等で撮影した映像の１単位をプログラムと称することにする。たとえば、入力データがテレビ番組の場合には、１つのテレビ番組が１つのプログラムに対応する。また、ユーザがカメラ等で撮影した映像の場合には、たとえば卒業式の映像、運動会の映像等がそれぞれのプログラムに該当する。また、映像には音声情報が付加されている場合も多く、この場合には、プログラムには映像データであるビデオシーケンスのみならず、音声データであるオーディオシーケンスも含まれる。
【００３５】
図２は、本明細書におけるプログラムに含まれる映像データがどのように構造化されているかを示す図である。
【００３６】
図２を参照して、ビデオシーケンス２００は、先に述べた１つのプログラムに含まれる画像群である。ビデオシーケンス２００は、複数のシーン、たとえば、シーン２１１，２１２を含む。
【００３７】
ここで、シーンとは、意味的な内容が同じ画像群を示し、たとえば１つのニュース番組というプログラムに対応するビデオシーケンスには地震情報のニュースという１シーンと天気予報という他の１シーンとが含まれている。１つのシーンは、複数のショットを含んでいる。
【００３８】
ここで、ショットとは、物理的に連続した一群の画像を示す。たとえば、同一背景に対して、人間がその背景中を移動するような映像は１ショットである。ショットとショットの境目をカットと称する。たとえば、シーン２１１は、ショット２２１〜２２５を含む。言い換えれば、シーン２１１は、カット２２６〜２２９によってショット２２１〜２２５に分割される。
【００３９】
各ショットは、対応するフレームで構成される。たとえばショット２２１は、複数のフレーム２３０を含んでいる。ここで、フレームとは、画面に表示される１枚の画像データをいうことにする。
【００４０】
［映像優先度の説明］
図３は、図１における要約映像特定装置１内の映像優先度決定部１０２の構成を示すブロック図である。
【００４１】
図３を参照して、映像優先度決定部１０２は、図１の映像蓄積部１０１から蓄積されているデータを受ける入力部３００と、入力部３００からデータを受けて映像情報に含まれる特徴量を導出し、解析を行なう映像解析部３０１とを含む。映像解析部３０１は、テレビ番組のようにプログラムが音声情報や付加データを含む場合には、それらの解析も併せて行なう。
【００４２】
映像解析部３０１の行なう解析の目的は、要約映像を作る際のフレームごとの優先度を求めることと、必要に応じてカット検出やシーン検出を行なうことである。これらの解析方法は、さまざまな提案がなされており、たとえば「情報の構造化と検索、西尾ら著、岩波書店、２０００年３月２７日発行、第１５７〜１５９頁」に記載がされている。
【００４３】
ショットの特定に必要となるカット検出の方法としては、たとえば、時間的に隣接する２枚のフレーム間で対応する画素の濃淡値の差を求める方法などがある。
【００４４】
また、シーンの抽出は、色等の映像情報やＢＧＭなどの音声情報、人の話した音声情報、テロップなどのテキスト情報に含まれる重要語など、これらの情報の連続性を考慮して行なう方法が考えられる。
【００４５】
映像優先度決定部１０２は、さらに、映像解析部３０１の解析結果を受けて最終的なフレームの優先度を決定するフレーム優先度決定部３０２と、フレーム優先度決定部３０２の出力を図１の映像優先度情報蓄積部１０３に出力する出力部３０３とを含む。
【００４６】
図４は、映像優先度決定部１０２によってフレームごとに解析した優先度を示す模式図である。
【００４７】
図４を参照して、フレームごとの優先度は、ビデオシーケンス４００に対応してヒストグラム４０１で表わされる。たとえば、フレームに顔を含めば重要と判断するルールや、動物体を含めば重要と判断するルール、短いショットが連続する場合にはそれらのフレームとその直後のフレームは重要であるといったようなルールのように、優先度は複数の定義されたルールによって決定される。ビデオシーケンス４００をこのようなルールで解析し、フレームごとに優先度をカウントしてヒストグラム４０１が求められる。複数のルールのうち、より多くのルールに適合するとされたフレームは優先度が高いと考えることができる。
【００４８】
また、ここでは、フレームごとに優先度を導出したが、ショットが特定されていれば、１ショット中のたとえば最初のフレームを代表フレームとし、この代表フレームのみの優先度を計算してショット全体の優先度にすることで、演算量を削減することもできる。
【００４９】
図３の映像解析部３０１で、ショット、カットおよびシーンが特定されている場合には、たとえばシーン単位で要約映像を視聴することが可能となる。また、フレームごとの優先度をもとにシーンの優先度を求めることも可能となり、要約映像の視聴の際に利用することができる。
【００５０】
［要約映像作成の説明］
図５、図６は、図１における、要約映像特定装置１内の要約映像シナリオテーブル作成部１０４の動作を示すフローチャートである。
【００５１】
図５を参照して、ステップＳ５００において処理が開始される前には、予め、要約映像シナリオテーブル作成部１０４は、要約映像の合計再生時間と、連続再生時間とをパラメータとして保持しているものとする。
【００５２】
ここで、合計再生時間は、ユーザが要約映像を全体でどれぐらいの時間に納めたいかを示すパラメータである。また、連続再生時間は、高い優先度を有する抽出されたキーフレームを動画として認識させるため、そのキーフレームを先頭に何フレーム分を連続で再生するかを示すパラメータである。
【００５３】
また、この説明においては、映像優先度情報は、ショットを特定するインデックス番号を伴っているものとする。
【００５４】
まず、図１の映像優先度情報蓄積部１０３に蓄積された映像優先度情報が要約映像シナリオテーブル作成部１０４に入力されて、ステップＳ５００において処理が開始される。
【００５５】
ステップＳ５０１において、要約映像シナリオテーブル作成部１０４は、これから処理を行なうショットを示すインデックス番号Ｉを０に初期化する。また、要約映像シナリオテーブル作成部１０４は、これから処理を行なうショットの優先度を示す変数Ｗを最高優先度に設定する。
【００５６】
次に、ステップＳ５０２において、要約映像シナリオテーブル作成部１０４は、ショット番号Ｉの優先度が現在処理中の優先度Ｗと等しいか否かを判定する。ショット番号Ｉの優先度は、そのショットが含んでいるフレームの優先度によって定められる。一番優先度が大きいフレームの優先度をショットの優先度としてもよいし、計算の簡単のためショットの最初に位置するフレームの優先度をそのショットの優先度としてもよい。
【００５７】
ショット番号Ｉの優先度が現在処理中の優先度Ｗと等しい場合には、ステップＳ５０３に進み、ショットＩの代表フレームをキーフレームとしてマークしてコネクタＡを介して図６のステップＳ５０４に進む。
【００５８】
このとき、要約映像シナリオテーブル作成部１０４は、映像の先頭よりユニークに割付けたフレームのインデックス番号を格納する変数ＪをショットＩの代表フレームの番号に設定する。
【００５９】
ステップＳ５０２で優先度が等しくない場合には、ステップＳ５１２へと進む。ステップＳ５１２では、ショット番号Ｉがインクリメントされる。そして、ステップＳ５０９に進み、現在処理中のプログラムにおいて最後のショットまで処理したかを判別する。最後のショットまで処理した場合には、ステップＳ５１０へと進み、ショット番号Ｉが０に初期化され、かつ、優先度Ｗが１つ減らされる。ステップＳ５１０で優先度Ｗが減らされた後には、再びステップＳ５０２に進む。
【００６０】
ステップＳ５０９で最後のショットにまで達していない場合には、ステップＳ５１０はスキップされ、再びステップＳ５０２へと進む。
【００６１】
つまり、ステップＳ５１２、Ｓ５０９、Ｓ５１０では、プログラムの最後のショットまで探索したら、優先度を１だけ減ずるという処理が行なわれることになる。
【００６２】
図６を参照して、ステップＳ５０４では、フレーム番号のインデックスＪのインクリメントが行なわれる。続いて、ステップＳ５０５において、現在処理中のフレームがショットの先頭か、もしくはインデックスＪが最後のフレームまでインクリメントされてしまったかを判別する。
【００６３】
フレームがショットの先頭に該当する場合とは、インデックスＪがインクリメントされることにより、現在処理中のフレームの位置が、キーフレームが属するショットの次のショットに入ってしまった場合である。ショットが異なると、たとえば連続再生時間中にスポーツ番組のフレームとコマーシャルのフレームとが含まれてしまったりする。この場合は、連続再生時間中であるのに滑らかな映像ではなくなるので、フレームのマークを中断する。
【００６４】
また、インデックスＪがプログラムの最後のフレームにまでインクリメントされた場合は、その後のフレームのマークが不可能であるので、やはり判断が必要である。
【００６５】
したがって、これらの条件に当てはまるときにはステップＳ５０８に進む。
一方、条件に当てはまらないときにはステップＳ５０６に進み、あるキーフレームを先頭に連続してマークしたフレームの合計の再生時間が、連続再生時間を超えたか否かを判別する。マークしたフレームの合計の再生時間が連続再生時間を超えた場合には、ステップＳ５０８に進む。
【００６６】
一方、超えていない場合には、ステップＳ５０７へと進み、既にマークしたキーフレームに対する付加フレームとして、フレームＪが優先度の考慮を行なうことなくマークされる。
【００６７】
つまり、ステップＳ５０５〜Ｓ５０７の処理によって、重要なキーフレームの後、連続再生時間として指定されている数フレームを連続で再生し映像として滑らかさを保つ。この数フレームの間にカットが存在する場合にはステップＳ５０５で判断することにより連続再生を打切る。
【００６８】
ステップＳ５０８においては、ステップＳ５０３とステップＳ５０７でマークしたキーフレームおよび付加フレームの再生時間の合計が、この要約映像の所定の合計再生時間を超したか否かの評価が行われる。
【００６９】
所定の合計再生時間を超した場合には、ステップＳ５１１に進み、要約映像シナリオテーブルの作成が終了する。超していない場合には、ステップＳ５０２へと再び進みループを繰返す。
【００７０】
図７は、図５、図６に示したフローチャートによって要約映像シナリオテーブルの作成が行なわれることを説明するための図である。
【００７１】
この処理の前に、予め、各ショットの中で最も優先度の高いフレームの優先度をそのショットの優先度とする処理が映像優先度決定部１０２で行なわれているものとする。
【００７２】
図７を参照して、ショット１〜１０が時系列的に１つのビデオシーケンスに表示される場合について述べる。各ショットごとに優先度が与えられており、その優先度は、１０を最高優先度とする１０段階であるとする。各ショットは、ショット１が優先度２であり、ショット２が優先度３であり、ショット３が優先度４であり、ショット４が優先度１０である。
【００７３】
さらに、ショット５が優先度９であり、ショット６が優先度８であり、ショット７が優先度３であり、ショット８が優先度１０である。また、ショット９は優先度９であり、ショット１０は優先度７である。
【００７４】
また、図７において、１つの丸は、１秒間の再生時間に対応する複数のフレームを表わすこととする。この複数のフレームをフレームセットと呼ぶ。
【００７５】
以降、要約映像に、フレームが選ばれていく過程を説明する。
ショット１〜１０に含まれているフレームセットから、合計再生時間１０秒間分のフレームセットを要約映像として選択する場合について述べる。このようなデータが与えられている場合に、図５、図６のフローチャートではどのように処理が行なわれるかについて一例を説明する。
【００７６】
まず、ステップＳ５０１で、これからの処理にあたり、優先度Ｗが最高優先度である１０に設定される。ショット１〜３は優先度が１０より小さいので、ステップＳ５０２，Ｓ５１２，Ｓ５０９のループでスキップされる。
【００７７】
続いてショット番号Ｉが４になると、ショット４は優先度１０であるので、ステップＳ５０２，Ｓ５０３でショット４の先頭フレームである代表フレームが要約映像に含まれるフレームとしてマークされる。ここで、図７でわかるように、ショット４には、フレームセット５５１に引続くフレームセット５５２も含まれている。
【００７８】
図８は、フレームセット５５１，５５２の構造を説明するための図である。
図８を参照して、フレームセット５５１の先頭フレームであるフレーム５７１は、ショットの先頭である代表フレームであり、かつ、ステップＳ５０３でマークされたキーフレームである。なお、キーフレームは、ショットにおいて最初にマークされるフレームである。図７で示したようにショット全体の優先度がショットに含まれる最も優先度の大きいフレームの優先度で決定されている場合や、また、最初のフレームである代表フレームの優先度で決定されている場合は、そのショットに含まれるフレームの優先度はすべて等しいので、キーフレームはマークされた代表フレームということになる。
【００７９】
動画としてこのキーフレームを認識できるように、このキーフレームの後に連続する数フレームが自動的にダイジェストに含まれる。たとえば、連続再生時間２秒間分が連続してダイジェストに含められる。このように、キーフレームを先頭として連続してマークされるフレームを、連続再生フレームセットと呼ぶこととする。
【００８０】
仮に、フレームレートが３０フレーム／秒の場合、２秒間分のフレームは６０フレームである。したがって、キーフレームに続く５９フレームが要約映像に用いられる付加フレームとして選択される。この場合、フレーム５７１から連続して６０フレーム目に当たるフレーム５７２までが、ステップＳ５０７でダイジェストに含まれるものとしてマークされる。
【００８１】
再び図６、図７を参照して、１ショットあたり所望の連続再生フレームセットがマークされたら、ステップＳ５０６からステップＳ５０８へと進む。
【００８２】
続いて、ステップＳ５０８においてこれまでにマークされたフレームの再生時間の合計が、所望要約映像の合計時間を超すか否かが判定される。現在、フレームセット５５１、５５２、すなわち図８のフレーム５７１〜５７２までの２秒間分が選ばれており、所望の合計再生時間１０秒間分より少ないため、ステップＳ５０８からステップＳ５０２へと進む。
【００８３】
以上の処理によって、図７の１回目のループが回った時点のフレームセットの選択がなされたことになる。この時点ではフレームセット５５１，５５２が選択されている。
【００８４】
続いて、次の優先度１０のショットの先頭フレームがキーフレームとして選ばれる。このフレームはフレームセット５５５に含まれている。
【００８５】
１回目のループと同様に、２つのフレームセット５５５，５５６に含まれるキーフレームおよびその付加フレームが、要約映像に含まれるフレームとしてマークされる。これらの処理により２回目のループが終了する。
【００８６】
２回目のループが終了した時点でマークされているフレームセットは、フレームセット５５１，５５２，５５５および５５６である。この時点においても、再生時間の合計は１０秒には満たないので３回目のループへ進む。
【００８７】
優先度１０のショットはこれ以上存在しないので、最後のショット１０まで処理が進み、ステップＳ５１０でショット番号Ｉが０に初期化される。そして、優先度が１０から９に変更される。
【００８８】
３回目のループでは、フレームセット５５３がマークされることになる。ここで、ステップＳ５０４でフレーム番号Ｊがインクリメントされるが、連続再生時間２秒間を満たす前に次のショットであるショット番号６に到達してしまう。そこで、ステップＳ５０５からステップＳ５０８へと進む。この時点においても再生時間の合計は１０秒には満たないので、ループが繰返されることになる。３回目のループが終了した時点では、選択されたフレームセットは５５１，５５２，５５３，５５５および５５６である。
【００８９】
このようにしてループが繰返され、最後にフレームセット５５８が選択され、合計再生時間が１０秒を超す。このときにステップＳ５０８からステップＳ５１１へと進み要約映像シナリオレコードの作成が終了する。
【００９０】
以上の処理が複数の合計再生時間に対応した複数のシナリオレコード、たとえば、３０秒間、１分間用…等のシナリオレコードを作成するために繰返し実行される。
【００９１】
図９は、図１の要約映像シナリオテーブル作成部１０４で作成された要約映像シナリオテーブルの一例を示す模式図である。
【００９２】
図９を参照して、オリジナル映像６００に対応して、要約映像シナリオテーブルが作成される。この要約映像シナリオテーブルは、シナリオレコード６０１，６０２，６０３を含む。シナリオレコード６０１，６０２，６０３は、それぞれ合計再生時間３０秒、１分、５分に対応する長さの異なるシナリオである。
【００９３】
シナリオレコード６０１は、連続再生時間が３秒である連続再生フレームセット６０１．１，６０１．２，…を含む。
【００９４】
シナリオレコード６０２は、連続再生時間がそれぞれ５秒である連続再生フレームセット６０２．１，６０２．２，６０２．３，…を含む。
【００９５】
シナリオレコード６０３は、連続再生時間がそれぞれ５秒である連続再生フレームセット６０３．１，６０３．３，６０３．４および連続再生時間が３秒である連続再生フレームセット６０３．２を含む。
【００９６】
シナリオレコード６０１によって再生される内容には、ショット番号１つまりオリジナル映像の０分０秒から３秒間再生し、ショット番号２９つまり通常経過時間７分２３秒のところから３秒間再生するというような情報が含まれている。この情報は、図９に示したように時間情報そのものでも良いが、フレームの番号を示すポインタのようなもので指定しても良い。
【００９７】
同様に、シナリオレコード６０２，６０３でも、映像の通常経過時間とその位置からの連続再生時間の組が記述され、要約映像の再生シナリオとして表現される。
【００９８】
このようなシナリオレコードは、図５、図６で示したフローチャートにおいて合計再生時間と連続再生時間とをパラメータとして与えることで順次求めることができる。また、図９では、合計再生時間はすべて異なる時間長としているが、連続再生時間が互いに異なり、かつ、同じ時間長の複数のシナリオレコードを含ませてもよい。
【００９９】
[要約映像特定システムの動作]
図１０はこの発明の実施の形態における要約映像特定システムの動作について示したフローチャートである。
【０１００】
図１０を参照して、映像端末３のユーザは、ユーザ入力部１２０を操作し複数プログラムの要約映像の視聴要求を行なう（ステップＳ１０１）。すると、映像表示制御部１２２、通信部１２１および回線２を介してこの視聴要求が要約映像特定装置１および映像送信装置４に伝えられる（ステップＳ１０２）。このときユーザが希望する複数プログラムの要約映像の視聴要求とともに、映像端末３の画面サイズやフレームレート等の映像端末３の属性の情報についても要約映像特定装置１および映像送信装置４に送信される。
【０１０１】
続いて、要約映像特定装置１では、映像端末３から送信された視聴要求および属性情報を通信部１１１で受信する（ステップＳ２０１）。
【０１０２】
要約映像特定装置２は受信した視聴要求と属性情報とから再生要求時間テーブル蓄積部１０６に蓄積された再生要求時間テーブルと要約映像シナリオテーブル部１０５に蓄積されたシナリオテーブルとを用いてマルチプログラムシナリオテーブルを作成する（ステップＳ２０２）。以下、マルチプログラムシナリオテーブルの作成方法について説明する。
【０１０３】
図１１は、図１０中のステップＳ２０２におけるマルチプログラムシナリオテーブルの作成の説明をするための概念図である。
【０１０４】
図１１を参照して、図１の要約映像特定装置１内の要約映像シナリオテーブル作成部１０４によって、既に各プログラムに対応する図９で示したようなシナリオテーブルが作成されているものとする。このシナリオテーブルの作成は、既に説明した図５、図６に示したフローチャートに基づいて行なわれる。
【０１０５】
一方、再生要求時間テーブル蓄積部１０６には予め、映像端末３の属性に応じて要約映像の再生すべき時間を再生要求時間として再生要求時間テーブルに保存している。
【０１０６】
映像端末３の画面サイズを属性とした場合の再生要求時間テーブルの一例を表１に示す。
【０１０７】
【表１】

【０１０８】
表１を参照して、映像端末３の属性を画面サイズとした場合には、画面サイズごとに要約再生時間が定義されている。また、各画面サイズごとの再生要求時間はレベル１〜３の３階層分の要約再生時間が定義されている。なお、この要約再生時間は予め入力されたものであり、画面サイズごとの要約再生時間テーブルの他に、フレームレートごとの要約再生時間テーブル等のその他の属性における要約再生時間テーブルも存在する。
【０１０９】
要約映像特定装置１内のマルチプログラムシナリオテーブル作成部１１０は、ユーザが視聴を希望したプログラムのシナリオテーブルから必要なシナリオレコードを選択して結合し、マルチプログラムシナリオテーブルを作成する。
【０１１０】
具体的には、映像端末３の通信部１２１から送信された視聴要求情報からユーザが視聴を希望するプログラムを特定し、さらに映像端末３の通信部１２１から送信された属性情報から映像端末３の画像表示部１２５で表示すべき要約映像の再生時間を再生時間要求テーブルを用いて特定することで、マルチプログラムシナリオテーブルを作成する。作成されたマルチプログラムシナリオテーブルは再生要求時間テーブルに従って再生時間の長さが短いものから長いものまで、ダイジェストレベルがレベル１〜３の３階層分のマルチプログラムシナリオレコードを含む。
【０１１１】
たとえば、映像端末３から送信された視聴情報がプログラム１〜５を指定しており、さらに、映像端末３の属性情報として、画面サイズが８０×１００ピクセルの場合を仮定する。
【０１１２】
マルチプログラムシナリオテーブル作成部１１０は、受信した属性情報から、最も適した再生要求時間テーブルを特定する。この例の場合は、属性情報として画面サイズが８０×１００ピクセルという情報を受信しているから、最も適した再生要求時間テーブルとして画面サイズが８０×８０ピクセルの再生要求時間テーブルを特定する。なお、属性情報が複数存在する場合、たとえば属性情報として画面サイズとフレームレートを受信した場合は、画面サイズごとの再生要求時間テーブルとフレームレートごとの再生要約時間テーブルとを参照し、最も制約のきつい、すなわち、再生要求時間が短いテーブルが選択される。
【０１１３】
以上のように再生要求時間テーブルとして、画面サイズが８０×８０ピクセルの再生要求時間テーブルを選択した後、マルチプログラムシナリオテーブルの作成が行なわれる。
【０１１４】
すなわち、図１１において、プログラム１のシナリオテーブル、プログラム２のシナリオテーブル、…、プログラム５のシナリオテーブルから、再生時間の合計が、表１に示した画面サイズが８０×８０ピクセルの再生要求時間テーブルにおけるレベル１の再生時間である３０秒に適合するように適切なシナリオレコードの選択、組合せを行ない、レベル１のマルチプログラムシナリオレコードを作成する。
【０１１５】
また、レベル１よりもさらに詳細な映像を含み、再生時間が長いレベル２、レベル３のマルチプログラムシナリオレコードも同様にして作成される。そして、レベル１〜レベル３までのマルチプログラムシナリオレコードを含んだマルチプログラムシナリオテーブルが作成される。
【０１１６】
以上の動作により作成されたマルチプログラムシナリオテーブルは、通信部１１１から回線２を介して映像端末３に送信される（ステップＳ２０３）。
【０１１７】
送信されたマルチプログラムシナリオテーブルは、映像端末装置３の通信部１２１で受信され（ステップＳ１０３）、データファイル１２３に保存される。
【０１１８】
続いて、映像端末３のユーザは要約映像を視聴すべくデータファイル１２３に保存したマルチプログラムシナリオテーブルから現在の要約映像レベルの映像送信要求を回線２を介して映像送信装置４へ送信する（ステップＳ１０４）。
【０１１９】
映像送信装置４は映像端末３から送信されたマルチプログラムシナリオテーブルを受信後（ステップＳ３０２）、トランスコーダ部１３２で、受信したマルチシナリオテーブルとステップＳ３０１で予め受信した映像端末３の属性情報とを用いて、データファイル１３３から必要なプログラムの読出を行ない、映像端末３の属性情報にしたがって、要約映像の映像形態の変換を行なう（ステップＳ３０３）。映像形態の変換後、映像送信装置４は変換された要約映像を映像端末３へ送信する（ステップＳ３０４）。
【０１２０】
映像端末３は映像送信装置４から送信された要約映像を受信後（ステップＳ１０５）。要約映像の映像再生を行なう（ステップＳ１０６）。以下に映像再生方法について説明する。
【０１２１】
図１２は、映像端末３の映像表示部１２５を説明するための表示例である。
図１２を参照して、この例では、映像端末３の映像表示部１２５の１形態としてＰＤＡ７００に映像の表示がされている場合を示している。
【０１２２】
ＰＤＡ７００には、表示エリアを兼ねたタッチパネル７０１と操作ボタン７０２〜７０６とが設けられている。タッチパネル７０１には、オリジナルの映像や要約映像がユーザの指示に従って表示される。ユーザは、タッチパネル７０１を操作することにより、再生開始や詳細な要約映像の視聴の指示を行なうことができる。また、ユーザは操作ボタン７０２〜７０６を用いて再生状況を制御することができる。たとえば、再生時間が短くてすむ内容が粗い要約映像から再生時間が長いがさらに詳細な内容を含む要約映像に切換えたり、詳細な要約映像から粗い要約映像に切換えたりすることができる。
【０１２３】
表示エリアを兼ねているタッチパネル７０１が図１の映像表示部１２５に対応する。また、タッチパネル７０１および操作ボタン７０２〜７０６が、図１のユーザ入力部１２０に対応する。
【０１２４】
具体的には、操作ボタン７０２を押すと、ＰＤＡ７００は、再生中の映像から要約映像の先頭まで戻り、再生時間が最も短い要約映像の再生を再開する。操作ボタン７０３を押すと、ＰＤＡ７００は、現在再生中の要約映像の１つ前のショットに戻り再生を再開する。操作ボタン７０４を押すと、ＰＤＡ７００は映像の再生を停止する。操作ボタン７０５を押すと、ＰＤＡ７００は現在視聴している要約映像のオリジナル映像を再生する。操作ボタン７０６を押すと、ＰＤＡ７００は現在再生している要約映像からより粗い要約映像に移る。これらの操作の流れをフローチャートを用いてさらに詳しく説明する。
【０１２５】
図１３、図１４は、図１０中の領域７００における要約映像再生の動作を説明するためのフローチャートである。
【０１２６】
図１３、図１４を参照して、ステップＳ８０１で処理ルーチンが開始される。
ステップＳ８０２では、ユーザ入力部１２０からユーザの再生開始の指示があるまで映像表示制御部１２２は待機をする。この指示は、図１２のタッチパネル７０１に触れることで行なわれる。
【０１２７】
続いてステップＳ８０３では、最も粗い要約映像、すなわち、再生時間が短くて済む要約映像の再生が開始される。先程の例で言えば、図１１のレベル１のマルチプログラムシナリオレコードによって指定される映像が再生されることになる。
【０１２８】
次に、ステップＳ８０４において、映像表示制御部１２２は、ユーザから現在再生中の要約映像よりも詳細な要約映像の選択指示があったか否かを確認し、選択が行なわれていればステップＳ８０５に進み、選択が行なわれていなければステップＳ８０５を飛ばしてステップＳ８０６へと進む。なお、ユーザは、図１２のタッチパネル７０１に触れることで現階層よりもより詳細な要約映像の再生を指示することができる。
【０１２９】
ステップＳ８０５では、現在再生中の映像が最も詳細な要約映像か否か、すなわち、図１１に示すマルチプログラムシナリオテーブルのマルチプログラムシナリオレコードがレベル３に該当するか否かが判別され、該当しなければステップＳ８１２へ進む。一方、最も詳細な要約映像である場合には、ステップＳ８０６へと進む。
【０１３０】
ステップＳ８１２では、図１１のレベルが１階層下であるより詳細な要約映像のシナリオをもとに現在再生している同一のショットから再生を再開すべく、該当する要約映像の視聴要求を映像送信装置４へ送信する。
【０１３１】
映像端末３から送信された視聴要求はステップＳ９０１にて映像送信装置４で受信される。ステップＳ９０２において、要約映像特定装置１は、トランスコーダ部１３２で、受信した視聴要求を用いてデータファイル１３３から必要なプログラムの読出を行ない、要約映像の映像形態を変換後、変換した要約映像を映像端末３へ送信する。
【０１３２】
続いて、ステップＳ８１３にて映像端末３は映像送信装置４から送信された要約映像を受信し、ステップＳ８１４にて要約映像の再生を行なう。
【０１３３】
次に、ステップＳ８０６において、映像端末３の映像表示制御部１２２は、ユーザから現在再生中の要約映像より粗い要約映像の選択指示がなされたか否かを確認し、選択指示がされていれば、ステップＳ８０７に進む。一方、選択指示がされていなければステップＳ８０７を飛ばしてステップＳ８０８へと進む。なお、ユーザは図１２の操作ボタン７０６に触れることで、現在再生している要約映像よりもレベルが１階層上の粗い要約映像の再生の指示を行なうことができる。
【０１３４】
ステップＳ８０７では、現在再生中の映像が最も粗い要約映像であるか否かの判別が行なわれる。最も粗い要約映像でない場合には、ステップＳ８１５へと進み、再生しているのが最も粗い要約映像である場合には、ステップＳ８０８へと進む。
【０１３５】
ステップＳ８１５では、次の階層にあたるより粗い要約映像のシナリオをもとに現在再生している同一のショットに近いショットから次の再生を再開すべく、該当する要約映像の視聴要求を映像送信装置４へ送信する。
【０１３６】
映像送信装置４はステップＳ９０３にて映像端末３から送信された視聴要求を受信する。ステップＳ９０４において、要約映像特定装置１は、トランスコーダ部１３２で、受信した視聴要求を用いてデータファイル１３３から必要なプログラムの読出を行ない、要約映像の映像形態を変換後、変換した要約映像を映像端末３へ送信する。
【０１３７】
映像端末３はステップＳ８１６にて映像送信装置４から送信された要約映像を受信し、ステップＳ８１７にて要約映像の再生を行なう。
【０１３８】
ステップＳ８１７の処理が終るとステップＳ８０８に進む。ステップＳ８０８では、現在再生中のプログラムの再生が終了したか否かが判断される。終了した場合にはステップＳ８０９に進む。一方終了していない場合にはステップＳ８０９を飛ばしてステップＳ８１０に進む。
【０１３９】
ステップＳ８０９では、次のプログラムに移り、再びレベルが１番上の最短の要約映像を再生する。
【０１４０】
ステップＳ８０９の処理が終るとステップＳ８１０へと進む。ステップＳ８１０では、再生すべきすべてのデータの再生処理が終ったか否かが確認される。ここで、再生すべきデータが残っていない場合には、ステップＳ８１１に進み再生の終了をする。
【０１４１】
また、ステップＳ８０９では、ユーザから停止の指示があったか否かの確認も行ない、停止の指示があれば、同様にステップＳ８１１へと進み終了する。
【０１４２】
続いて、再生の動作を、簡単な模式図を用いてフローチャートと関連して説明することにする。
【０１４３】
図１５は、マルチプログラムシナリオテーブルとしてレベルが３階層分用意されている場合の再生を説明するための模式図である。
【０１４４】
図１５を参照して、まず再生時間が１番短いレベル１においてプログラム１の先頭であるポイントＰ０から再生が開始される。ここで、仮に、ユーザがより詳細な要約映像を視聴したいというリクエストがポイントＰＡで発生したとする。
【０１４５】
すると図１４のステップＳ８０４、Ｓ８０５、Ｓ８１２〜８１４を経由することにより再生映像のレベルがレベル１からレベル２へと遷移する。そしてより再生時間の長いダイジェストの再生が行なわれる。
【０１４６】
さらに、ダイジェストレベル２の要約映像の再生中に、ショット２のポイントＰＢにおいて同様のリクエストがあったとする。すると、ダイジェストレベルが同様なステップを経てレベル２から最も詳細なレベル３に遷移し、再生が続行される。
【０１４７】
そして、ダイジェストレベル３の要約映像の再生が、プログラム１の最終ショット３ａの終わりであるポイントＰＣまで進むと、現在のプログラム１の再生が終了し、図１３のステップＳ８０８からステップＳ８０９を経て、プログラム２の最短のシナリオであるレベル１の要約映像の再生が続行される。
【０１４８】
次に、図１２の操作ボタン７０６の操作が行なわれた場合について説明する。
図１６は、操作ボタン７０６が押されたときの操作を説明するための模式図である。
【０１４９】
図１６を参照して、ユーザのリクエストによりプログラム１の最も詳細なダイジェストであるレベル３の映像のショット１が再生されているとする。
【０１５０】
ショット１、ショット１ａと再生が終了し、続くショット２のポイントＰＤでユーザが図１２の早送りボタン７０６を押したとすると、ダイジェストレベルがレベル３からレベル２に移り、次のショット３の先頭から映像の再生が続行される。
【０１５１】
さらに、レベル２のショット３の再生中に、ポイントＰＥで早送りボタンが押されると、最短のダイジェストであるダイジェストレベル１に遷移しプログラム２の先頭から再生が続行される。
【０１５２】
以上の動作による再生作業を終了後、図１０においてユーザは映像端末３の使用を終了する。
【０１５３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１５４】
【発明の効果】
以上説明したように、本発明によれば、ユーザは、映像端末の属性に応じた際適な要約時間を有する要約映像を視聴することで、短時間で映像の概要を把握できる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態である、要約映像特定システムの全体構成を示すブロック図である。
【図２】 本明細書におけるプログラムに含まれる映像データがどのように構造化されているかを示す図である。
【図３】 図１における要約映像特定装置１内の映像優先度決定部１０２の構成を示すブロック図である。
【図４】 映像優先度決定部１０２によってフレームごとに解析した優先度を示す模式図である。
【図５】 図１における、要約映像シナリオテーブル作成部１０４の動作を示すフローチャートの前半部である。
【図６】 図１における、要約映像シナリオテーブル作成部１０４の動作を示すフローチャートの後半部である。
【図７】 図５、図６に示したフローチャートによって要約映像シナリオテーブルの作成が行なわれることを説明するための図である。
【図８】 フレームセット５５１，５５２の構造を説明するための図である。
【図９】 図１の要約映像シナリオテーブル作成部１０４で作成された要約映像シナリオテーブルの一例を示す模式図である。
【図１０】 この発明の実施の形態における要約映像特定システムの動作について示したフローチャートである。
【図１１】 図１０中のステップＳ２０２におけるマルチプログラムシナリオテーブルの作成の説明をするための概念図である。
【図１２】 映像端末３の映像表示部１２５を説明するための表示例である。
【図１３】 図１０中の領域７００における要約映像再生の動作を説明するためのフローチャートの前半部である。
【図１４】 図１０中の領域７００における要約映像再生の動作を説明するためのフローチャートの後半部である。
【図１５】 マルチプログラムシナリオテーブルとしてレベルが３階層分用意されている場合の再生を説明するための模式図である。
【図１６】 操作ボタン７０６が押されたときの操作を説明するための模式図である。
【符号の説明】
１ 要約映像特定装置、２ 回線、３ 映像端末、４ 映像送信装置、１００映像入力部、１０１ 映像蓄積部、１０２ 映像優先度決定部、１０３ 映像優先度情報蓄積部、１０４ 要約映像シナリオテーブル作成部、１０５ 要約映像シナリオテーブル蓄積部、１０６ 再生要求時間テーブル蓄積部、１１０ マルチプログラムシナリオテーブル作成部、１１１，１２１，１３１ 通信部、１２０ ユーザ入力部、１２２ 映像表示制御部、１２３，１３３ データファイル、１２４ 映像再生部、１２５ 映像表示部、１３２ トランスコーダ部、２００ ビデオシーケンス、２１１ シーン、２２１ ショット、２２６ カット、２３０，５７１，５７２ フレーム、３００ 入力部、３０１ 映像解析部、３０２ フレーム優先度決定部、３０３ 出力部、５５１〜５５８ フレームセット、６００ オリジナル映像、６０１〜６０３ シナリオレコード、６０１．１〜６０１．２，６０２．１〜６０２．３，６０３．１〜６０３．４ 連続再生フレームセット、７０１ タッチパネル、７０２〜７０６ 操作ボタン。

Claims (8)

1. 時系列的に配置される複数のフレームを含むビデオシーケンスを映像として出力することが可能な映像端末に回線を介して接続可能な要約映像特定装置であって、
   前記複数のフレームに対応する優先度を参照し、前記ビデオシーケンスの先頭から順に所定の優先度のフレームをキーフレームとして探索する探索手段と、
   前記ビデオシーケンスの最後まで探索が終了したか否かを判定し、前記ビデオシーケンスの最後まで探索が終了した場合に前記優先度を減じて再度前記探索手段に探索を行なわせる判定手段と、
   前記ビデオシーケンス中に時系列に連続して配置され、選択された前記キーフレームを包含する複数のフレームであって、かつ、所定の連続再生時間に相当する複数のフレームであるフレームセットを要約映像として選択し、前記要約映像として選択された前記フレームを特定する情報を含むシナリオを出力する選択手段と、
   前記要約映像の連続再生時間の合計が、所定の合計再生時間を超えた場合に、要約映像の作成を完了させる時間判定手段と、
   前記選択手段から出力される複数のシナリオを蓄積するシナリオ蓄積手段と、
   前記映像端末から回線を介して送信される前記映像端末の属性に従って、前記蓄積された複数のシナリオのうち前記属性に対応したシナリオを読出するシナリオ読出手段と、
   前記読出したシナリオを回線を介して前記映像端末へ送信する送信手段とを含む、要約映像特定装置。
2. 前記シナリオ読出手段は、
   前記映像端末の属性と前記映像端末で出力すべき要約映像の再生時間とを対応付けてテーブルに蓄積するテーブル蓄積手段と、
   前記映像端末から送信された属性と前記テーブルとから前記再生時間を特定し、前記特定された再生時間と等しい前記合計再生時間の要約映像を特定する情報を含む前記シナリオを前記シナリオ蓄積手段により蓄積された複数のシナリオから読出するシナリオ検索手段とを含む、請求項１に記載の要約映像特定装置。
3. 前記シナリオ読出手段はさらに、
   前記複数のシナリオの合計再生時間の合計が、前記特定された再生時間と等しくなるように、前記複数のシナリオの組合せを行なうシナリオ組合せ手段を含む、請求項２に記載の要約映像特定装置。
4. 前記映像端末の属性は前記映像端末の画面サイズである、請求項１に記載の要約映像特定装置。
5. 前記映像端末の属性はフレームレートである、請求項１に記載の要約映像特定装置。
6. 時系列的に配置される複数のフレームを含むビデオシーケンスを映像として出力することが可能な映像端末に回線を介して接続可能な要約映像特定装置を用いた要約映像特定方法であって、
   前記複数のフレームに対応する優先度を参照し、前記ビデオシーケンスの先頭から順に所定の優先度のフレームをキーフレームとして探索するステップと、
   前記ビデオシーケンスの最後まで探索が終了したか否かを判定し、前記ビデオシーケンスの最後まで探索が終了した場合に前記優先度を減じて再度探索を行なうよう指示するステップと、
   前記ビデオシーケンス中に時系列に連続して配置され、選択された前記キーフレームを包含する複数のフレームであって、かつ、所定の連続再生時間に相当する複数のフレームであるフレームセットを要約映像として選択し、前記要約映像として選択された前記フレームを特定する情報を含むシナリオを出力するステップと、
   前記要約映像の連続再生時間の合計が、所定の合計再生時間を超えた場合に、要約映像の作成を完了させるステップと、
   前記選択手段から出力される複数のシナリオを蓄積するステップと、
   前記映像端末から回線を介して送信される前記映像端末の属性に従って、前記蓄積された複数のシナリオのうち前記属性に対応したシナリオを読出するステップと、
   前記読出したシナリオを回線を介して前記映像端末へ送信するステップとを含む、要約映像特定方法。
7. 前記シナリオを読出するステップは、
   前記映像端末の属性と前記映像端末で出力すべき要約映像の再生時間とを対応付けてテーブルに蓄積するステップと、
   前記映像端末から送信された属性と前記テーブルとから前記再生時間を特定し、前記特定された再生時間と等しい前記合計再生時間の要約映像を特定する情報を含む前記シナリオを前記蓄積された複数のシナリオから読出するステップとを含む、請求項６に記載の要約映像特定方法。
8. 前記シナリオを読出するステップはさらに、
   前記複数のシナリオの合計再生時間の合計が、前記特定された再生時間と等しくなるように、前記複数のシナリオの組合せを行なうステップを含む、請求項７に記載の要約映像特定方法。

Images