JP5486232B2

JP5486232B2 - 動画再生装置及びその処理方法

Info

Publication number: JP5486232B2
Application number: JP2009175797A
Authority: JP
Inventors: 正憲齋藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-07-28
Filing date: 2009-07-28
Publication date: 2014-05-07
Anticipated expiration: 2029-07-28
Also published as: JP2011030103A

Description

本発明は、入力された動画データの複数のシーンから重要シーンをダイジェスト再生する技術に関する。

近年、ビデオカメラの普及により、撮影した動画を動画データとして保存し、その後、動画データを再生、視聴することが一般的に行われている。しかしながら、撮影した動画の画像データを全て視聴するには時間がかかるため、動画データから重要なシーンだけを決定して再生することで短時間に視聴できるダイジェスト再生が普及してきている。

例えば、特許文献１や特許文献２には、動画データの重要なシーンを短時間で視聴するための技術が公開されている。特許文献１により、動画データの重要なシーンをランク付けし、視聴者の希望再生時間に最適な重要なシーン抽出を行い、ダイジェスト再生を行うことが可能になる。また、特許文献２により、視聴者が重要なシーンを選択しながら視聴することが可能になる。

特開２００５−２７７５３１号公報特開２００８−１９３２７０号公報

上述のように、動画データの重要なシーンを短時間で視聴するための技術が提案されているが、従来の技術では、選択される重要なシーンが視聴者の意図していないものになることがあった。また、ダイジェスト再生技術により、動画を視聴する際の時間的な制約を受けにくくなったが、同じ動画を何度も視聴したくなるようなダイジェスト再生技術ではなかった。

本発明は、より視聴者の意図する重要なシーンをダイジェスト再生可能とし、同じ動画を何度も視聴したくなるような動画再生技術を提供することを目的とする。

本発明は、入力された動画データの複数のシーンから重要シーンをダイジェスト再生する動画再生装置であって、
前記動画データの重要シーンをダイジェスト再生する際の再生テーマを設定するための再生テーマ設定手段と、
前記ダイジェスト再生の再生時間を設定するための再生時間設定手段と、
前記重要シーンを判別するための複数の判別処理のうち、前記設定された再生テーマに応じた、少なくとも１つの判別処理を使用して、前記入力した動画データから重要シーンを判別すると共に、当該判別した重要度シーンをランク分けする判別手段と、
前記再生時間設定手段で設定した再生時間とするため、前記判別手段によって判別された重要シーンから、前記ランクで優先されるシーンを選択してダイジェスト再生する再生手段と、
を有することを特徴とする。

本発明によれば、より視聴者の意図する重要なシーンのダイジェスト再生が可能となり、同じ動画を何度も視聴したくなるような動画再生が可能となる。

本実施形態における動画再生システムの構成例を示す図。視聴者が設定情報を設定するための設定画面の一例を図。設定情報保持部に保持される設定情報の一例を示す図。再生テーマテーブル保持部に保持される再生テーマテーブルの一例を示す図。重要シーン保持部に保持される重要シーンを特定する情報の一例を示す図。動画データ保持部に保持される動画データの一例を示す図重要シーン判別処理１の処理を示すフローチャート。重要シーン判別処理１で判別される重要シーンを示す図。重要シーン判別処理２の処理を示すフローチャート。重要シーン判別処理２で判別される重要シーンを示す図。重要シーン判別処理３の処理を示すフローチャート。重要シーン判別処理３で判別される重要シーンを示す図。重要シーン判別処理４の処理を示すフローチャート。重要シーン判別処理４で判別される重要シーンを示す図。重要シーンをダイジェスト再生する処理を示すフローチャート。図１に示す各機能を実現する動画再生装置のハードウェア構成の一例を示すブロック図。

以下、図面を参照しながら発明に係る実施形態を詳細に説明する。尚、本実施形態では、デジタルビデオカメラなどで撮像した動画を動画データとして取得し、その動画データをダイジェスト再生する際に、重要シーンを判別して再生する処理を説明する。

図１は、本実施形態における動画再生システムの構成例を示す図である。図１において、動画データ生成装置（ビデオカメラ）１０１は動画データを生成し、動画データ取得部１０２に動画データを送信する。動画データ取得部１０２は、取得した動画データを動画データ保持部１０３に保持する。重要シーン判別部１０４は、動画データ保持部１０３に保持されている動画から重要シーンを判別し、その重要シーンを重要シーン保持部１０５に保持する。設定情報取得部１０６は、視聴者が設定を行うためのユーザインタフェースを提供し、視聴者が設定した設定情報を設定情報保持部１０７に保持する。

再生シーン決定部１０８は、重要シーン保持部１０５に保持されている重要シーンと、設定情報保持部１０７に保持されている設定情報と、再生テーマテーブル保持部１０９に保持されている再生テーマテーブルとを使用して再生シーンを決定する。また再生シーン決定部１０８は、再生部１１０に決定した再生シーンを送信する。再生部１１０は、再生シーン決定部１０８から送信された再生シーンと、動画データ保持部１０３に保持されている動画データとを使用して再生処理を行う。更に再生部１１０は、画像表示部１１１に画像を送信して表示を行い、音声出力部１１２に音声を送信して音声出力を行う。

図２は、視聴者が設定情報を設定するための設定画面の一例を図である。この設定画面２００は、設定情報取得部１０６により画像表示部１１１に表示される。ここで、視聴者が複数の再生テーマ２０１の中から１つの再生テーマと、複数の再生時間２０２の中から１つの再生時間とを選択し、設定情報取得部１０６が選択された再生テーマと再生時間とを設定情報として設定情報保持部１０７に保持する。

図３は、設定情報保持部１０７に保持される設定情報の一例を示す図である。この例では、視聴者が複数の再生テーマ２０１の中から運動会３０１と、複数の再生時間２０２の中から１時間３０２とを選択した場合の設定情報を示している。

図４は、再生テーマテーブル保持部１０９に保持される再生テーマテーブルの一例を示す図である。図４に示す各行が再生テーマに対応しており、各列が重要シーン判別処理に対応している。重要シーン判別処理１〜４は、それぞれ異なる基準により重要シーンを判別する。重要シーン判別処理１〜４は、それぞれ異なる基準により重要シーンを判別する。尚、この重要シーン判別処理の詳細は、後述する。

ここで、各セルは、視聴者が選択した再生テーマに対して各重要シーン判別処理を使用する優先度を表し、優先度はパーセンテージで表している。例えば、パーティー４０１の再生テーマに対して、「重要シーン判別処理１」、「重要シーン判別処理３」及び「重要シーン判別処理４」を使用し、それぞれの優先度が５０％、３０％及び２０％であることを示している。

図５は、重要シーン保持部１０５に保持される重要シーンを特定する情報の一例を示す図である。この例では、特定情報として、動画データ保持部１０３に保持されている動画データの開始位置（秒）及び終了位置（秒）、重要シーンを判別する際に使用された重要シーン判別処理、及びその判別で取得したランクが保持される。図５に示す５０１の重要シーンは、「重要シーン判別処理１」で判別され、そのランクは「１」で、動画データの９０秒から開始され、１５０秒で終了するシーンであると特定される。

図６は、動画データ保持部１０３に保持される動画データの一例を示す図である。この例では、再生時間軸６０２上で３０秒毎に動画データの動画及び音声６０１を抜き出して示している。

次に、重要シーン判別処理に基づいて動画データの複数のシーンから重要シーンを判別する処理を、図７乃至図１５を用いて説明する。まず、重量シーン判別処理１に基づいて動画データから重要シーンを判別する処理を、図７及び図８を用いて説明する。この重要シーン判別処理１は、動画データの各シーンから顔領域を検出し、顔領域のサイズが一定以上を占めるシーンを重要シーンとして判別する処理である。

まず、Ｓ７０１で、重要シーン判別部１０４が動画データの各シーンから顔領域を検出する。ここで、図６に示す動画データの場合、図８に示す８０１のように、各シーンから顔領域が検出される。次に、Ｓ７０２で、Ｓ７０１で検出した顔領域がシーンの中に複数ある場合、最も大きいものを選択し、また顔領域が１つの場合はそれを選択する。次に、Ｓ７０３で、シーンのサイズに対してＳ７０２で選択した顔領域のサイズが占める割合を計算する。そして、Ｓ７０４で、Ｓ７０３で計算した割合が一定値以上の場合はＳ７０５へ処理を進め、このシーンを重要シーンとして重要シーン保持部１０５に保持する。一方、一定値以下の場合はＳ７０６へ処理を進め、重要シーンでないとして重要シーン保持部１０５に保持しない。その結果、図６に示す動画データの場合、図８に示す１２０秒でのシーン８０２が重要シーンとして重要シーン保持部１０５に保持される。

次に、重要シーン判別処理２に基づいて動画データの複数のシーンから少なくとも一つの重要シーンを判別する処理を、図９及び図１０を用いて説明する。この重要シーン判別処理２は、動画データの各シーンから顔領域を検出し、一定以上の顔領域を含むシーンを重要シーンとして判別する処理である。

まず、Ｓ９０１で、重要シーン判別部１０４が動画データの各シーンから顔領域を検出する。ここで、図６に示す動画データの場合、図１０に示す１００１のように、各シーンから顔領域が検出される。次に、Ｓ９０２で、Ｓ９０１で検出した顔領域の個数をシーン毎にカウントする。そして、Ｓ９０３で、Ｓ９０２でカウントした顔領域の個数が一定値以上の場合はＳ９０４へ処理を進め、このシーンを重要シーンとして重要シーン保持部１０５に保持する。一方、一定値以下の場合はＳ９０５へ処理を進め、重要シーンでないとして重要シーン保持部１０５に保持しない。図６に示す動画データの場合、図１０に示す１５０秒、１８０秒のシーン１００２が重要シーンとして重要シーン保持部１０５に保持される。

次に、重要シーン判別処理３に基づいて複数のシーンから重要シーンを判別する処理を、図１１及び図１２を用いて説明する。この重要シーン判別処理３は、各シーンでの音声レベルを検出し、一定以上の音声レベルを有するシーンを重要シーンとして判別する処理である。

まず、Ｓ１１０１で、重要シーン判別部１０４が動画データの各シーンでの音の大きさを検出する。ここで、図６に示す動画データの場合、図１２に示す１２０１のように、音の大きさが検出される。次に、Ｓ１１０２で、Ｓ１１０１で検出した音の大きさが一定値以上の場合はＳ１１０３へ処理を進め、このシーンを重要シーンとして重要シーン保持部１０５に保持する。一方、一定値以下の場合はＳ１１０４へ処理を進め、重要シーンでないとして重要シーン保持部１０５に保持しない。図６に示す動画データの場合、図１２に示す１５０秒のシーン１２０２が重要シーンとして重要シーン保持部１０５に保持される。

次に、重要シーン判別処理４に基づいて複数のシーンから重要シーンを判別する処理を、図１３及び図１４を用いて説明する。この重要シーン判別処理４は、動画データの前後のシーンにおける差分を求め、差分が一定以上のシーンを重要シーンとして判別する処理である。

まず、Ｓ１３０１で、重要シーン判別部１０４は動画データの各シーンにおいて前画面との差分を計算する。ここで、図６に示す動画データの場合、図１４に示す１４０１のように、差分が求められる。次に、Ｓ１３０２で、Ｓ１３０１で計算した差分が一定値以上の場合はＳ１３０３へ処理を進め、重要シーンとして重要シーン保持部１０５に保持する。一方、一定値以下の場合はＳ１３０４へ処理を進め、重要シーンでないとして重要シーン保持部１０５に保持しない。結果として、図６に示す動画データの場合、図１４に示す３０秒、１２０秒、１５０秒のシーン１４０２、１４０３、１４０４が重要シーンとして重要シーン保持部１０５に保持される。

ここで、再生テーマに応じて、上述した重要シーン判別処理を使用して判別された重要シーンをダイジェスト再生する処理を、図１５を用いて説明する。

まず、Ｓ１５０１では、動画データ取得部１０２が動画データ生成装置１０１から動画データを取得し、取得した動画データを動画データ保持部１０３に保持する。そして、Ｓ１５０２では、重要シーン判別部１０４がＳ１５０１で取得した動画データの重要シーンを重要シーン判別処理１〜４に基づいて判別する。更に、重要シーン判別部１０４は重要シーン判別処理１〜４に応じたランク付けを行い、判別した重要シーンとランクとを重要シーン保持部１０５に保持する。

ここで、ランク付けはどのような方法で行っても良く、例えば重要シーン判別処理１の場合、顔領域の割合に応じてランク付けを行っても良く、重要シーン判別処理２の場合、顔領域の個数に応じてランク付けを行っても良い。また、重要シーン判別処理３の場合、音の大きさに応じてランク付けを行っても良く、重要シーン判別処理４の場合、前シーンとの差分の大きさに応じてランク付けを行っても良い。

次に、Ｓ１５０３で、設定情報取得部１０６が視聴者から設定情報を取得し、取得した設定情報を設定情報保持部１０７に保持する。そして、Ｓ１５０４で、再生シーン決定部１０８が上述の保持された重要シーン及び設定情報と、再生テーマテーブル保持部１０９に保持された再生テーマテーブルに基づいて再生シーンを決定する。尚、この決定方法は、例えば重要シーンから重複しているシーンを削除し、重要シーン判別処理で判別された重要シーンの合計時間が重要シーン判別処理の優先度の割合になるように、ランクの高い重要シーンから選択して決定する。不足した場合は、ランクの高い重要シーンの終了時間を延長させることで可能である。

そして、Ｓ１５０５で、再生部１１０がＳ１５０４で決定した再生シーンと動画データ保持部１０３に保持されている動画データとに基づいて動画を再生する。再生した動画は、画像表示部１１１及び音声出力部１１２により表示及び出力される。

尚、図２に示す設定画面２００では、再生テーマのみを選択させても良い。その場合、例えば再生時間として動画データの半分の時間を初期設定として設定すれば良い。また、Ｓ１５０４で、再生時間に依存しない決定方法、例えば重要シーンの数が優先度の比率になるように再生シーンを決定すれば良い。

また、図２に示す設定画面２００において、重要シーン判別処理を選択させても良い。その場合、Ｓ１５０４で、再生テーマテーブルから重要シーン判別処理とその優先度とを取得するのではなく、選択した重要シーン判別処理を同比率の優先度で再生シーンを決定すれば良い。

更に、図２に示す設定画面２００では、重要シーン判別処理と優先度とを選択させても良い。その場合、Ｓ１５０４で、再生テーマテーブルから重要シーン判別処理とその優先度とを取得するのではなく、選択した重要シーン判別処理と選択した優先度で再生シーンを決定すれば良い。

また、Ｓ１５０４の再生シーンの決定方法ではランクを使用しなくても良い。例えば、重要シーンから重複しているシーンを削除して合計時間を求め、合計時間が再生時間より短かければ各重要シーンの終了時間を再生テーマテーブルの優先度の比率で延長させる。或いは、合計時間が再生時間より長ければ拡充用シーンの終了時間を再生テーマテーブルの優先度を１００％から引いた比率で短縮させることで可能である。

本実施形態では、重要シーン判別処理として４つの手法を説明したが、これらの手法に限定する必要はなく、これら全てを使用する必要もない。例えば、動画データの各シーンの撮影時刻を取得し、取得した撮影時刻に基づいて重要シーンを判別することも可能であり、動画データの各シーンの撮影条件（ズーム、フラッシュなど）に基づいて重要シーンを判別することも可能である。

尚、図１に示す各機能ブロックは、ハードウェアとして実現されても良く、ＣＰＵなどによって実行されるソフトウェアプログラムとして実現されても良く、更に一部がハードウェア、一部がソフトウェアプログラムとして実現されても良い。

図１６は、図１に示す各機能を実現する動画再生装置のハードウェア構成の一例を示すブロック図である。尚、動画再生装置は、パーソナルコンピュータなどのコンピュータで構成されても良い。ＣＰＵ１６０１は、ＲＡＭ１６０２に格納されている制御プログラムに従って本装置全体の制御を行う。ＲＡＭ１６０２は、ＣＰＵ１６０１が処理を実行時に使用する作業領域や制御プログラム領域又は文書、画像等のデータを格納する内部記憶部である。ネットワークインタフェース１６０３は、ＣＰＵ１６０１の制御の下にインターネットなどのネットワークとの接続を行ってデータなどを送受信する。

外部記憶装置１６０４は、データを保存する磁気ディスクなどの大容量メモリである。また、動画再生装置には、装置の状態やダイジェスト再生で動画を表示するディスプレイ１６０５が接続されている。更に、動画再生装置に対して指示を行うキーボード１６０６やマウスなどのポインティングデバイス１６０７も接続される。

また、ＲＡＭ１６０２に展開されるプログラムは、同じくＲＡＭ１６０２に展開されているオペレーティングシステムの機能を必要に応じて使用し、ＲＡＭ１６０２に一時記憶するデータの内容を読み書きする。更に、外部記憶装置１６０４上でデータの読み書きやネットワークインタフェース１６０３を通じてデータの送受信を行う。また、キーボード１６０６やポインティングデバイス１６０７から入力される設定情報や指示を受け取り、ディスプレイ１６０５に表示することで、所定の動作を行う。

Claims

入力された動画データの複数のシーンから重要シーンをダイジェスト再生する動画再生装置であって、
前記動画データの重要シーンをダイジェスト再生する際の再生テーマを設定するための再生テーマ設定手段と、
前記ダイジェスト再生の再生時間を設定するための再生時間設定手段と、
前記重要シーンを判別するための複数の判別処理のうち、前記設定された再生テーマに応じた、少なくとも１つの判別処理を使用して、前記入力した動画データから重要シーンを判別すると共に、当該判別した重要度シーンをランク分けする判別手段と、
前記再生時間設定手段で設定した再生時間とするため、前記判別手段によって判別された重要シーンから、前記ランクで優先されるシーンを選択してダイジェスト再生する再生手段と、
を有することを特徴とする動画再生装置。
前記再生テーマごとに、前記複数の判別処理に対して優先度を設定する手段を更に有し、
前記判別手段は、前記優先度に従って前記複数の判別処理を使用して重要シーンを判別することを特徴とする請求項１に記載の動画再生装置。
前記複数の判別処理の一つは、前記動画データの各シーンから顔領域を検出し、該顔領域の大きさが一定以上となっているシーンを前記重要シーンとして判別することを特徴とする請求項１又は２に記載の動画再生装置。
前記複数の判別処理の一つは、前記動画データの各シーンにおける顔領域を検出し、該顔領域の個数が一定以上となっているシーンを前記重要シーンとして判別することを特徴とする請求項１又は２に記載の動画再生装置。
前記複数の判別処理の一つは、前記動画データの各シーンにおける音声を検出し、該音声の大きさが一定以上となっているシーンを前記重要シーンとして判別することを特徴とする請求項１又は２に記載の動画再生装置。
前記複数の判別処理の一つは、前記動画データの判別すべきシーンと前シーンとの差分を計算し、該差分が一定以上となっている判別すべきシーンを前記重要シーンとして判別することを特徴とする請求項１又は２に記載の動画再生装置。
入力された動画データの複数のシーンから重要シーンをダイジェスト再生する動画再生装置の処理方法であって、
前記動画再生装置の再生テーマ設定手段が、前記動画データの重要シーンをダイジェスト再生する際の再生テーマを設定するための再生テーマ設定工程と、
前記動画像再生装置の再生時間設定手段が、前記ダイジェスト再生の再生時間を設定するための再生時間設定工程と、
前記動画再生装置の判別手段が、前記重要シーンを判別するための複数の判別処理のうち、前記設定された再生テーマに応じた、少なくとも１つの判別処理を使用して、前記入力した動画データから重要シーンを判別すると共に、当該判別した重要度シーンをランク分けする判別工程と、
前記動画再生装置の再生手段が、前記再生時間設定工程で設定した再生時間とするため、前記判別工程によって判別された重要シーンから、前記ランクで優先されるシーンを選択してダイジェスト再生する再生工程と、
を有することを特徴とする動画再生装置の処理方法。
コンピュータを、請求項１乃至６の何れか１項に記載の動画再生装置として機能させるためのプログラム。