JP4378988B2 - コンテンツ生成システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画コンテンツに対して、意味のある画像であるキーフレーム画像を重要度の高い順に求めるランキング計算の方式、システムに関する。
【０００２】
【従来の技術】
近年、高速ネットワークの整備が進み、ＣＡＴＶインターネットやＤＳＬサービスを利用して大量の動画コンテンツを閲覧することが可能になってきている。今後、配信されるコンテンツはさらに多くなると考えられるが、視聴者が視聴する時間は限られており、あまり増えることはない。そこで、多くのコンテンツの中から、視聴者の嗜好にあった動画コンテンツを効率よく選択できるように、動画コンテンツから意味のあるフレーム画像（以下、キーフレーム画像と呼ぶ）を自動検出し、要約コンテンツを生成する技術が研究されている。
【０００３】
キーフレーム画像を自動検出し、要約コンテンツを生成する技術の一つとして、視聴者が要約コンテンツの詳細レベルを指定し、詳細レベルが高ければ、多くのキーフレーム画像で構成される要約コンテンツを、詳細レベルが低ければ、少ないキーフレーム画像で構成される要約コンテンツを生成する技術がある（例えば、非特許文献１等参照）。この技術では、図７に示すように、複数のフレーム画像６２から構成される動画コンテキスト６１において、各フレーム画像に対して、重要度を示すランクを計算する。例えば、動画コンテキスト６１に含まれるフレーム画像６２が３０００フレームある場合、ランクとして１から３０００の値が各フレーム画像の重要度を計算して割り振られる。そして、指定された詳細レベルによって、取り出すフレーム画像の数を決定し、ランクの高い順からフレーム画像をとりだす。この技術を使うことにより、例えば、２時間の映画を、視聴者の要求に応じて、５分版や２０分版など自由に縮小して提供することができる。視聴者がリアルタイムに要約コンテンツの詳細レベルを変更できるようにするためには、動画コンテンツから前もって、重要度（ランク）の高い順に並んだフレーム画像の列を求める必要がある（以下、この処理をランキング計算と呼ぶ）。一般にフレーム画像はフレーム番号を使用して管理されるので（例えば、特許文献１等参照）、ランキング計算の結果は図８のように、ランクの高い順にフレーム番号が並んだテーブルとなる。そして、視聴者が指定した詳細レベルに従って、ランキング結果の上位からフレーム番号を複数個選択し、フレーム番号の小さい順に（過去から未来へ）並べ替えた後、各々のフレーム画像をデコードするのに必要な画像情報を動画コンテンツから取り出す。そして、必要なら各々のフレーム画像のデコード処理をおこない、それらをまとめて要約コンテンツを生成する。例えば、視聴者が５分版の詳細レベルで毎秒３０フレームの動画コンテンツを指定した場合には、ランキング結果の上位９０００フレーム分（毎秒３０フレーム＊６０秒＊５分）を取得し、並び替えをおこなって、要約コンテンツを生成する。最終的に、要約コンテンツはモニタ画面に出力されたり、ハードディスクへ保存されたり、ネットワークに配信されたりする。
【０００４】
【非特許文献１】
Ｄａｎｉｅｌ ＤｅＭｅｎｔｈｏｎ， Ｖｉｋｒａｎｔ Ｋｏｂｌａ， Ｄａｖｉｄ Ｄｏｅｒｍａｎｎ，“Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｂｙＣｕｒｖｅ Ｓｉｍｐｌｉｆｉｃａｔｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｓｉｘｔｈ ＡＣＭ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ １９９８， Ｂｒｉｓｔｏｌ， Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ， ｐｐ．２１１−２１８， １９９８
【特許文献１】
特開平１１−２５９０６１号公報
【０００５】
【発明が解決しようとする課題】
動画コンテンツが映像だけでなく音声や字幕情報なども含んでいる場合、動画コンテンツをＭＰＥＧ−２システムで規定されているトランスポートストリームやプログラムストリーム等のように、映像、音声、字幕情報などを１本のストリームにする場合と、映像、音声、字幕情報などを別々のストリームにして管理する場合が考えられる。いずれの場合も、要約コンテンツに音声、字幕情報を付加するために、ランキング計算によって求めたキーフレーム画像の時刻と同一の時刻の音声、字幕情報をストリームから取得する必要がある。仮に、音声や字幕などの情報の各フレームが動画コンテキストのどの位置に格納されているかを図９で示すような構成のテーブルで管理していたとしても、映像、音声、字幕情報のフレームレートは全く異なるので、フレーム画像のフレーム番号と音声、字幕情報のフレーム番号が同一でも、再生する時刻は同一とならない。つまり、ランキング結果をフレーム番号で管理すると、フレーム画像と同一時刻の音声、字幕情報を取得することは難しく、お互いの同期をとることは困難となる。
【０００６】
また、ネットワークを使った監視カメラシステムなどのように、複数の遠隔地で録画された動画コンテンツを１箇所に転送するようなシステムで、録画された映像の要約コンテンツも同時に転送する場合、動画コンテンツのフレームレートが同一でないと、各々の動画コンテンツのフレーム番号が同一でも、再生する時刻は同一とならない。その結果、お互いのフレーム番号を使用しても、それぞれの映像の同期をとることは困難となる。
【０００７】
本発明は、要約コンテンツを生成するために、ランキング計算によって検出されたキーフレーム映像と、音声、字幕情報との間の同期や、複数の要約コンテンツの同期をとることを可能にする手段を提供する。
【０００８】
【課題を解決するための手段】
上記課題は、動画コンテンツから、意味のある画像であるキーフレーム画像を重要度の高い順に求めるランキング計算方式であって、動画コンテンツを受け取り、重要度の高いキーフレーム画像の順に、各キーフレーム画像の再生出力の時刻管理情報が並んだ列を出力することによって、解決される。
【０００９】
【発明の実施の形態】
図１は、本発明のランキング計算方式である。
【００１０】
ランキング計算手段１は記憶装置から動画コンテンツ２を取得し、重要度の高いフレーム画像順に配列された、フレーム画像の再生時刻の配列を記憶装置に出力する。配列の構成例として、図２に示す構成のテーブルが挙げられる。
【００１１】
図３は、本発明のランキング計算方式を使用した、映像と音声等の情報との同期をとることが可能なランキング計算システムの一実施例である。
【００１２】
ランキング計算手段１１は動画コンテンツ１２から、すべてのフレーム画像を取得し、ランキング計算を実行して各フレーム画像のランクを算出する。そして、図２で示すような、重要度の高いフレーム画像順に並んだフレーム画像の再生時刻のテーブル１３を出力する。要約コンテンツ再生手段１５は再生時刻のテーブル１３を読み込み、視聴者が指定した詳細レベルにしたがって、上位のランクから複数のフレーム画像の再生時刻を取得し、小さい順に並び替えを行う。そして、小さい順に再生時刻に対応する映像、音声等の情報を動画コンテンツ１２から取得し、再生した結果を選択手段１６に出力する。また、コンテンツ再生手段１４は動画コンテンツ１２を取得し、すべてのフレームの再生を行い、選択手段１６に出力する。選択手段１６は視聴者の要求にしたがい、動画コンテンツか要約コンテンツのいずれかを選択し、表示装置１７に出力する。
【００１３】
上位ランクで選択されたフレーム画像の再生時刻を基に、映像、音声等の情報を取得するので、容易に同時刻のフレームを動画コンテンツから取り出すことができ、映像、音声等の同期が可能となる。
【００１４】
次に、図４のフローチャートを用いて、本実施例の動作について説明する。
【００１５】
まず初めに、動画コンテンツから順にフレーム画像をとりだし、ランキング計算を実行して、表２のテーブルを出力する（ステップ２１）。次に、視聴者からの詳細レベルから取得するフレーム画像のフレーム数を計算する（ステップ２２）。上位のランクから再生時刻を取得するため、現在対象としているランクとして１を設定する（ステップ２３）。現在対象としているランクがフレーム数以下かどうかを判定し（ステップ２４）、フレーム数以下なら、テーブルから再生時刻を取得する（ステップ２５）。そして、対象としているランクの値に１を加算し（ステップ２６）、再度ステップ２４を実行する。もし、フレーム数分の再生時刻の取得を完了したら、それらの再生時刻を小さい順に並び替え（ステップ２７）、その順に、再生時刻のデコードに必要な画像、音声、字幕の情報を動画コンテンツから取得する（ステップ２８）。最後に、画像、音声、字幕の同期をとりながら、再生して出力するか、ディスクへ保存するか、または、ネットワークに配信する。
【００１６】
図５は、本発明のランキング計算方式を使用した、複数の要約コンテンツの同期をとることが可能なランキング計算システムの一実施例である。
【００１７】
ランキング計算システムは、複数の配信サーバ３０、閲覧装置３６とネットワーク３５で構成され、配信サーバ３０は、ランキング計算手段３１、コンテンツ圧縮手段３２、動画コンテンツ３３、ランクと再生時刻のテーブル３４で構成される。配信サーバ３０内では、コンテンツ圧縮手段３２が外部から入力された原画像に対して、ＭＰＥＧ−２やＭＰＥＧ−４，ＪＰＥＧ−２０００などの形式に圧縮し、動画コンテンツ３３を生成する。ランキング計算手段３１は動画コンテンツ３３を読み込んで、各フレーム画像のランクを計算し、ランクと再生時刻のテーブル３４を図２のような形式で出力する。閲覧装置３６は、複数の動画コンテンツ３７、複数のランクと再生時刻のテーブル３８、フレーム選択手段３９、コンテンツ再生手段４０、コンテンツ統合手段４１、表示装置４２で構成される。閲覧装置３６では、ネットワーク３５を介して、各配信サーバから動画コンテンツ３７、ランクと再生時刻のテーブル３８を取得する。フレーム選択手段３９は、視聴者からの詳細レベルにしたがって、各々のテーブル３８から、必要なフレーム画像の再生時刻を算出し、その時刻の再生に必要なフレーム画像を複数の動画コンテンツ３７からそれぞれ取り出す。コンテンツ再生手段４０は、フレーム選択手段３９から複数のフレーム画像を取得し、コンテンツ圧縮手段３２でＭＰＥＧ−２やＭＰＥＧ−４，ＪＰＥＧ−２０００などに圧縮された形式を復元する処理を行う。コンテンツ統合手段４１は、コンテンツ再生手段４０で復元された複数の要約コンテンツに対して、視聴者の要求にしたがって、複数の要約コンテンツを１つの画面に統合するか、１つの要約コンテンツを選択して１つの画面にして、表示装置４２により画面出力する。
【００１８】
フレーム番号ではなく再生時刻を基にフレーム画像を選択するので、各動画コンテンツのフレームレートが異なっても、同時刻のフレーム画像を取得することが可能であり、容易に要約コンテンツの同期をとることができる。
【００１９】
図６は、本発明のランキング計算方式で使用する関数インタフェースの一実施例である。
【００２０】
関数の引数はフレーム画像の格納先５１と、ランキング計算結果であるランク順に並んだ各フレーム画像の再生時刻の格納先５２で構成される。
【００２１】
【発明の効果】
本発明により、動画コンテンツが映像だけでなく音声や字幕なども含んでいる場合においても、ランキング計算によって求めたキーフレーム画像に対応する音声や字幕を取得し、キーフレーム画像と、音声、字幕間の同期をとるのが容易となる。
【００２２】
また、複数の地点で別々に生成された動画コンテンツを１箇所に集約する場合で、各々の動画コンテンツのフレームレートが異なった場合においても、キーフレーム画像のフレーム番号ではお互いのキーフレーム画像の同期をとることができる。
【図面の簡単な説明】
【図１】本発明のランキング計算方式の構成を示す図である。
【図２】本発明のビデオフレームのランクと再生時刻のテーブルの構成を示す図である。
【図３】本発明の映像と音声等、他の情報との同期をとることが可能なランキング計算システムの構成を示す図である。
【図４】本発明の映像と音声、字幕情報との同期をとることが可能なランキング計算処理のフローチャートを示す図である。
【図５】本発明のネットワークを介して複数のランキング計算結果を使用して、一つの要約コンテンツを生成するランキング計算システムの構成を示す図である。
【図６】本発明のビデオフレームのランクと再生時刻のテーブルを取得するプログラムのインタフェースを示す図である。
【図７】動画コンテンツのフレームとランクの関係を示す図である。
【図８】ビデオフレームのランクとフレーム番号のテーブルの構成を示す図である。
【図９】ビデオフレームのフレーム番号と格納先のテーブルの構成を示す図である。
【符号の説明】
１…ランキング計算手段、２…動画コンテンツ、３…ビデオフレームのランクと再生時刻のテーブル、１１…ランキング計算手段、１２…動画コンテンツ、１３…ビデオフレームのランクと再生時刻のテーブル、１４…コンテンツ再生手段、１５…要約コンテンツ再生手段、１６…選択手段、１７…表示装置、３０…配信サーバ、３１…ランキング計算手段、３２…コンテンツ圧縮手段、３３…動画コンテンツ、３４…ビデオフレームのランクと再生時刻のテーブル、３５…ネットワーク、３６…閲覧装置、３７…動画コンテンツ、３８…ビデオフレームのランクと再生時刻のテーブル、３９…フレーム選択手段、４０…コンテンツ再生手段、４１…コンテンツ統合手段、４２…表示装置、５１…ビデオフレームの格納先、５２…再生時刻の配列へのポインタ、６１…動画コンテンツ、６２…フレーム画像。

Claims (1)

1. 複数フレームの映像情報と、音声情報で代表される付加情報とを含む動画コンテンツの各フレーム画像について重要度を示すランクを計算して割り振るランキング計算手段と、所望の詳細レベルに応じた数のフレーム画像を抽出して要約コンテンツを生成する要約コンテンツ生成手段とを有するコンテンツ生成システムであって、
   前記ランキング計算手段は、各フレーム画像に割り振ったランクから、重要度の高いフレーム画像の順に各フレーム画像の全フレーム再生時の再生時刻情報を配列したテーブルを出力し、
   前記要約コンテンツ生成手段は、前記テーブルの上位から前記所望の詳細レベルに応じた数のフレーム画像の再生時刻情報を取得して再生時刻の小さい順に並び替えを行い、並び替えた再生時刻情報を基に前記動画コンテンツから上位ランクのフレーム画像、及び対応する付加情報を取得して要約コンテンツを生成することを特徴とするコンテンツ生成システム。

Images