JP5527511B2 - 動画サムネイル作成装置、方法及びプログラム - Google Patents

Description

本発明は、動画サムネイルを作成する装置、方法及びプログラムに関する。

近年、映像機器の高性能化、パーソナルコンピュータ（以下ＰＣ）の普及及び高性能化、ハードディスクなどのストレージデバイスの低価格化により、映像処理環境を低価格で容易に整えることが可能となった。また、ブロードバンド化によりネットワークを介しWeb上での公開や送信への敷居が下がり、You Tubeやニコニコ動画（登録商標）などに代表される動画配信サイトのアクセス数やコンテンツ数は増加傾向にある。

このような動画配信サイトでは動画サムネイルが使用されている。動画サムネイルとは、動画から抽出された動画の内容を表す静止画であり、一般的に複数の動画の一覧を表示する際に、動画のタイトルとともに表示される。

動画は複数のフレーム画像（静止画）の集合体であり、動画のどの部分から抽出するかは様々な手段が考えられている（特許文献１、２参照）。

しかしながら、従来の動画サムネイルは動画から抽出した１枚のフレーム画像により構成されているため、情報量が少ないという問題がある。

本発明は、このような問題を解決するためになされたものであり、その目的は、動画サムネイルの情報量を増やすことである。

本発明の動画サムネイル作成装置は、動画を構成する複数のフレーム画像である第１の複数のフレーム画像のそれぞれから特徴量を算出する画像処理部と、前記画像処理部でそれぞれの前記第１の複数のフレーム画像から算出された特徴量の隣接フレーム間の差分が閾値以上であるか否かを基に、前記動画のシーンのカット点を複数検出するカット点検出部と、前記カット点検出部により検出されたカット点に挟まれたシーン毎に、シーンを構成する１以上のフレーム画像から１のフレーム画像を抽出することで、前記第１の複数のフレーム画像から第２の複数のフレーム画像を抽出する画像選択部と、前記画像選択部で抽出された第２の複数のフレーム画像の枚数が所定の閾値以上か否か判定する手段と、前記判定する手段により所定の閾値以上と判定された場合、前記抽出された第２の複数のフレーム画像それぞれの特徴量を用いて、前記抽出された第２の複数のフレーム画像から目の細かくない順にフレーム画像を前記閾値未満の枚数だけ選択する手段と、前記閾値未満の枚数の前記第２の複数のフレーム画像を縮小し合成して、１枚のサムネイルを生成する画像生成部と、を有することを特徴とする動画サムネイル作成装置である。
本発明の動画サムネイル作成方法は、動画サムネイル作成装置により実行される動画サムネイル作成方法であって、動画を構成する複数のフレーム画像である第１の複数のフレーム画像のそれぞれから特徴量を算出する画像処理工程と、前記画像処理工程でそれぞれの前記第１の複数のフレーム画像から算出された特徴量の隣接フレーム間の差分が閾値以上であるか否かを基に、前記動画のシーンのカット点を複数検出するカット点検出工程と、前記カット点検出工程により検出されたカット点に挟まれたシーン毎に、シーンを構成する１以上のフレーム画像から１のフレーム画像を抽出することで、前記第１の複数のフレーム画像から第２の複数のフレーム画像を抽出する画像選択工程と、前記画像選択工程で抽出された第２の複数のフレーム画像の枚数が所定の閾値以上か否か判定する工程と、前記判定する工程により所定の閾値以上と判定された場合、前記抽出された第２の複数のフレーム画像それぞれの特徴量を用いて、前記抽出された第２の複数のフレーム画像から目の細かくない順にフレーム画像を前記閾値未満の枚数だけ選択する工程と、前記閾値未満の枚数の前記第２の複数のフレーム画像を縮小し合成して、１枚のサムネイルを生成する画像生成工程と、を有することを特徴とする動画サムネイル作成方法である。
本発明の動画サムネイル作成プログラムは、コンピュータを、本発明の動画サムネイル作成装置として機能させるためのプログラムである。

本発明によれば、動画サムネイルを複数のフレームの画像で構成することにより、１フレームの画像で構成する場合と比べ、動画サムネイルの情報量を増やすことができる。また、複数のフレーム画像を目の細かくない順に所定の閾値未満の枚数だけ選択することにより、動画サムネイルの視認性を向上させることができる。

本発明の第１の実施形態の動画サムネイル作成装置のハードウェアブロック図である。 本発明の第１の実施形態の動画サムネイル作成装置の機能ブロック図である。 図２における画像選択部の動作を示す図である。 図２における画像生成部の動作を示す図である。 図２における各部の処理を示すフローチャートである。 本発明の第２の実施形態の動画サムネイル作成装置の機能ブロック図である。 輝度ヒストグラムを示す図である。 図６における各部の処理を示すフローチャートである。 本発明の第３の実施形態の動画サムネイル作成装置の機能ブロック図である。 図９における各部の処理を示すフローチャートである。 本発明の第４の実施形態の動画サムネイル作成装置の画像生成部の動作を示す図である。 本発明の第５の実施形態の動画サムネイル作成装置の画像生成部の動作を示す図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態の動画サムネイル作成装置のハードウェアブロック図である。

この動画サムネイル作成装置は一般的なＰＣに動画サムネイル作成プログラムをインストールすることにより構成したものであり、ハードウェアとして、バス１と、それぞれがバス１に接続されたＣＰＵ（Central Processing Unit）２、メモリ３、外部記憶装置４、入力装置５、表示装置６、及びＩ／Ｆ（インタフェース）７からなる。

ＣＰＵ２は、この動画サムネイル作成装置の動作制御を行うものである。メモリ３は、ＣＰＵ２が起動時に実行するプログラムや必要なデータ等を記憶するためのＲＯＭ（Read Only Memory）、ＣＰＵ２のワークエリア等を構成するためのＲＡＭ（Random Access Memory）などからなる。外部記憶装置４は、ＨＤＤ（Hard Disk Drive）からなり、動画サムネイル作成プログラムを含む種々のアプリケーションプログラム、ワークデータ、及びファイルデータなどを記憶する。

入力装置５は、キーボードやマウスなどからなり、この動画サムネイル作成装置に対する種々のキー操作や指示を行うためのものである。表示装置６は、液晶ディスプレイなどからなり、この動画サムネイル作成装置を操作するための画面や動作状態を表示する。

Ｉ／Ｆ７は、この動画サムネイル作成装置をＬＡＮ（ローカルエリアネットワーク）やインターネット等のネットワーク（図示せず）に接続するためのネットワークＩ／Ｆや、ビデオカメラを接続するためのＤＶＩ（デジタルビデオインタフェース）などである。

本実施形態の動画サムネイル作成装置は、図２に示すように、入力される動画ＶＤ_ｉから所定の間隔で複数のフレーム画像を抽出する画像選択部１１と、画像選択部１１で抽出された複数のフレーム画像を合成して、１枚のサムネイルＶＤ_ｏを生成し出力する画像生成部１２とからなる。ここで、画像選択部１１及び画像生成部１２は、図１のＣＰＵ２が動画サムネイル作成プログラムを実行することにより実現される機能ブロックである。

動画ＶＤ_ｉとしては、例えばWindows（登録商標） Media、RealMedia、ＭＰＥＧ（Moving Picture Experts Group）−１，２，４形式、QuickTime形式など、現在普及している動画形式や、ＤＶ（Digital Video）カメラやWebカメラなどで生成された映像ストリームがある。これらの動画は音声情報を伴うが、ここでは音声を無視し、画像のみを取り扱う。一般的には動画は複数の画像（静止画）が連なったものであり、各静止画をフレームと呼び、１秒あたりのフレーム数をｆｐｓ（frame per second）という単位で表す。

図３に示すように、画像選択部１１は全長２１フレームの動画ＶＤ_ｉから５フレームを抽出する。２１フレームを５等分する４．２フレームとなるが、フレームはこれ以上分割できない単位であるため端数は無視し、４フレーム毎に画像を抽出する。

このように等間隔で抽出するメリットとして、動画ＶＤ_ｉに対して特に画像処理を施すことなくフレーム画像を抽出できるため高速抽出が可能となることが挙げられる。また、計算量が少ないためパフォーマンスの低いＣＰＵでも動作可能である。反面、画像処理による判断がないため、適切なフレーム画像を抽出できる可能性は低い。

図４に、画像生成部１２における画像合成の例を示す。ここで、図４Ａは５フレームを合成する例であり、図４Ｂは３フレームを合成する例である。これらの図において、ＶＤに添付された数字（１〜５）は動画ＶＤ_ｉの時系列順と対応している。

図４Ａの場合、真っ先に目に触れる画面中央に先頭のフレーム画像ＶＤ_１を配置することで、動画ＶＤ_ｉの内容と比べて時系列的に自然な感じを視聴者に与える。ここで、全てのフレーム画像は縦横比（アスペクト比）を保持したまま縮小される。また、合成されるフレーム画像の数によりそれらの配置は変化し、３枚以下の場合は、図４Ｂに示すように空白部が発生する。一方、６枚以上の場合は、１枚のフレーム画像のサイズが小さくなるため、抽出画像を間引いた方が良好な合成画像となる場合がある。

図５に、図２の画像選択部１１及び画像生成部１２の処理のフローチャートを示す。図示のように、画像選択部１１において、予め設定された抽出数を基に、動画から等間隔でフレーム画像を抽出する（ステップＳ１）。そのため、予めユーザが入力装置５を用いて抽出数を設定し、メモリ３に記憶しておく。抽出数を設定する際、動画の全体長が必要であるため、ストリーミングデータなどの全体長が不明な動画に対しては不向きである。ここでは、図３に示したように、全長２１フレームの動画から５フレームを抽出している。なお、全体長が不明な動画については、等間隔ではなく任意の間隔で抽出することで対応する。

画像選択部１１は抽出した複数のフレーム画像を画像生成部１２へ送る。画像生成部１２は、複数のフレーム画像を縮小・合成して、サムネイルＶＤ_ｏを生成し出力する（ステップ２）。

本実施形態の動画サムネイル作成装置によれば、複数のフレーム画像を１枚のサムネイルとするので、従来の１つのフレーム画像のみからなるサムネイルと比べ、より多くの情報を含むサムネイルを作成することができる。また、入力画像ＶＤ_ｉに対して特に画像処理を施すことなくフレーム画像を抽出できるため高速抽出が可能となり、パフォーマンスの低い装置でも実現できる。

［第２の実施形態］
図６は、本発明の第２の実施形態の動画サムネイル作成装置の機能ブロック図である。本実施形態の動画サムネイル作成装置のハードウェアは第１の実施形態（図１）と同じである。

図６に示すように、本実施形態の動画サムネイル作成装置は、画像処理部２１と、画像選択部２２と、画像生成部２３とからなる。画像処理部２１は、入力される動画ＶＤ_ｉの特徴量を算出する。画像選択部２２は、画像処理部２１の算出結果を用いて、動画ＶＤ_ｉから複数のフレーム画像を抽出する。画像生成部２３は、画像選択部２３で抽出された複数のフレーム画像を縮小・合成して１枚のサムネイルＶＤ_０を生成する。ただし、抽出画像数が所定数以上の場合は、合成対象のフレーム画像を所定の基準を基に絞り込む。各部の動作の詳細については後述する。

画像処理部２１では、動画ＶＤ_ｉを解析し、各フレーム画像の特徴量を算出する。特徴量としては、ＲＧＢ又は輝度（Ｙ）のヒストグラム分布、二次元フーリエ変換、ウェーブレット変換など多数の種類がある。

輝度ヒストグラム分布は、画像内のピクセル（画像）毎に輝度値を算出し、輝度階調毎のピクセル数をグラフ化したものであり、図７にその一例を示す。このグラフの横軸は輝度値であり、縦軸はピクセル数である。

輝度とはアナログカラーテレビ信号等で使用されているＹＣＣ色空間におけるＹであり、ＲＧＢ色空間とは下記の式［１］〜［３］の関係にある。

Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ …式［１］
Ｃr＝Ｒ−Ｙ …式［２］
Ｃb＝Ｂ−Ｙ …式［３］

ＲＧＢヒストグラムは色毎にヒストグラム分布を求めたものである。どの色のヒストグラム分布を使用しても良いが、輝度は色の変化に左右されず安定した値を取るため、本実施形態では輝度ヒストグラム分布を用いた。

また、画像処理部２１では、画像の特徴量として、輝度ヒストグラム分布に加えて、アクティビティを算出する。高周波成分を多く含む空間解像度の高い画像を一般的にアクティビティが高い画像と言う。網目や市松模様などの目の細かい画像はアクティビティが高い。詳細について後述するように、画像生成部２３では、動画サムネイル作成の際、必要に応じて画像選択部２２で抽出されたフレーム画像を削減するために、アクティビティを用いる。目の細かい、即ちアクティビティの高い画像は、縮小すると細部が潰れてしまい認識困難となるため、サムネイルに不向きである。そこで、画像選択部２２で抽出されたフレーム画像をアクティビティの低い順に選択することで、アクティビティの高い画像を除く。

アクティビティは画像圧縮において一般的に使用されているＤＣＴ（Discrete Cosine Transform：離散コサイン変換）を用いることで算出することができる。ＤＣＴでは、画像を周波数変換し、高周波成分に関しては視覚的認識度が低いという視覚特性に基づき、符号量削減のため高周波成分の除去を行うなどにより高圧縮率を獲得する。この高周波成分の計測値の二乗の総和をアクティビティとすればよい。

アクティビティに代えて、符号量を算出してもよい。Ｉ／Ｆ７から入力される画像が圧縮されている画像の場合は、その符号量（係数）を用いることで、算出処理を省略することができる。ただし、画像を復号してから画像選択部２２へ入力することが必要となる。

図８に、図６の画像処理部２１、画像選択部２２及び画像生成部２３の処理のフローチャートを示す。
画像処理部２１では、動画ＶＤｉの各フレーム画像の特徴量として輝度ヒストグラム分布、及びアクティビティ或いは符号量を算出する（ステップＳ１１）。この算出された特徴量は画像選択部２２へ送られる。

画像選択部２２では、まず画像処理部２１で算出された輝度ヒストグラム分布の隣接フレーム間の差分を求め、差分が所定の閾値以上となるフレームをカット点とする（ステップＳ１２）。

輝度ヒストグラム分布の隣接フレーム間の差分は、個度毎に差分をとり、それらの絶対値の和を求めることで得る。得られた差分を他の隣接フレーム間の差分と比べたとき、値が大きいフレームがあると、それをカット点とする。カット点とは動画のシーンが切り替わるところである。シーン中のフレーム画像は連続的に変化していくため隣接フレーム間の差分は小さいが、シーンが切り替わる場合は全く別の画像に変わるため差分が大きくなる。従って、隣接フレーム間の差分が他と比べて大きいフレームはカット点である可能性が高い。そこで、隣接フレーム間の差分が予め定めておいた閾値以上ならばカット点とする。なお、この閾値は事前に設定しても良いが、動的に変化させることで、カット点の数を意図的に操作可能とし、フレーム画像の抽出数を固定値にすることができる。

次いで、画像選択部２２では、隣接するカット点で区切られた複数のフレーム画像を一つのシーンとし、シーン毎に先頭のフレーム画像を抽出する（ステップＳ１３）。一般的にシーンの先頭のフレーム画像はそのシーンの代表的な画像である可能性が高く、容易に抽出可能であるため、ビデオ編集ソフトなどでよく用いられている。

画像生成部２３は、画像選択部２２で抽出された各シーンの先頭フレーム画像の数が６枚以上か否か判定する（ステップＳ１４）。判定の結果、６枚未満であった場合は（Ｓ１４：No）、図５（第１の実施形態）のステップＳ２と同様に、それらの画像を縮小・合成し、１枚のサムネイルを生成する（ステップＳ１５）。

一方、判定の結果、６枚以上であった場合は（Ｓ１４：Yes）、アクティビティの低い順、或いは符号量の少ない順に５枚のフレーム画像を選択し（ステップＳ１６）、その５つのフレーム画像を縮小・合成し、１枚のサムネイルを生成する（ステップＳ１７）。

第１の実施形態において、図４に関連して説明したとおり、６枚以上の画像を用いてサムネイルを生成すると、１枚あたりの抽出画像のサイズが小さくなり望ましくない。ぞこで、本実施形態では、抽出画像をアクティビティの低い順、或いは符号量の少ない順に５枚に絞り込むことで、動画サムネイルの視認性の向上を図っている。

本実施形態の動画サムネイル作成装置によれば、複数のフレーム画像を１枚のサムネイルとするので、従来の１つのフレーム画像のみからなるサムネイルと比べ、より多くの情報を含むサムネイルを作成することができる。また、シーンの先頭のフレーム画像を自動的に抽出することで、第１の実施形態よりも適切なフレーム画像を抽出することができる。

なお、本実施形態において、入力される動画がＭＰＥＧ形式の場合、特徴量として色差値の符号量を用いることができる。ＭＰＥＧ形式の画像の場合、輝度値と色差値とを４：２：２或いは４：２：０の割合で圧縮する。色差値には２種類あるが、輝度値４ピクセルに対し、色差値２或いは１ピクセルに削減することで圧縮率を高めている。一般的には色差値の符号量が多いほど高周波成分は増え、アクティビティも高くなるため、画像生成部２３において抽出画像数を５枚以下に絞り込む際に、この色差値の符号量を特徴量として利用することができる。

［第３の実施形態］
図９は、本発明の第３の実施形態の動画サムネイル作成装置の機能ブロック図である。本実施形態の動画サムネイル作成装置のハードウェアは第１の実施形態（図１）と同じである。

図９に示すように、本実施形態の動画サムネイル作成装置は、画像処理部３１と、画像選択部３２と、画像生成部３３とからなる。画像処理部３１の機能は第２の実施形態における画像処理部２１と同じであり、画像生成部３３の機能は第２の実施形態における画像生成部２３と同じである。一方、画像選択部３２の機能は、画像処理部３１で算出された画像の特徴量を基にカット点を検出することは第２の実施形態と同じであるが、各シーンの特徴的なフレーム画像を抽出することが第２の実施形態と異なる。

図１０に、図９の画像処理部３１、画像選択部３２及び画像生成部３３の処理のフローチャートを示す。
画像処理部３１では、第２の実施形態（図８）のステップＳ１１と同様に、動画ＶＤｉの各フレーム画像の特徴量として輝度ヒストグラム分布、及びアクティビティ或いは符号量を算出する（ステップＳ２１）。この算出された特徴量は画像選択部３２へ送られる。

画像選択部３２では、まず第２の実施形態（図８）のステップＳ１２と同様に、画像処理部３１で算出された輝度ヒストグラム分布の隣接フレーム間の差分を求め、差分が所定の閾値以上となるフレームをカット点とする（ステップＳ２２）。

次いで、画像選択部３２では、隣接するカット点で区切られた複数のフレーム画像を一つのシーンとし、各シーン内の各フレーム画像の輝度ヒストグラム分布の中央値の平均値を算出し、さらにその平均値に最も近い中央値を持つフレーム画像を抽出する（ステップＳ２３）。

このステップＳ２３の処理が第２の実施形態との違いである。第２の実施形態のように、各シーンの先頭のフレーム画像を抽出しても、高い確率で各シーンの特徴的なフレーム画像を抽出することができる。ただし、例えば先頭のフレーム画像が単一色の画像の場合は意味の無いフレーム画像が抽出され、徐々に明るくなるようなトランジェントの場合は暗くて認識しづらいフレーム画像が抽出されてしまう。これに対して、本実施形態では、先頭のフレーム画像がこのような入力画像の場合でも、平均的な輝度ヒストグラム分布を持つフレーム画像が抽出される。

なお、動画ＶＤ_ｉの情報量が大きく、ステップＳ２３の処理に時間がかかる場合は、輝度ヒストグラム分布の中央値をシーン内の全フレームについて計算せず、複数フレームおきに計算してもよい。この場合、ある程度情報を失うことになるが、個人差はあれ人間の目は０．１秒程度の変化に対応しきれないので、例えば３０ｆｐｓの入力画像の場合は０．１秒おきにフレーム画像の特徴量（ここでは輝度ヒストグラム分布の中央値）を計算することで３倍の処理速度向上につながる。

ステップＳ２３で抽出されたフレーム画像は画像生成部３３に送られる。画像生成部３３の処理であるステップＳ２４〜Ｓ２７は、第２の実施形態（図８）におけるステップＳ１４〜Ｓ１７と同じである。

本実施形態の動画サムネイル作成装置によれば、複数のフレーム画像を１枚のサムネイルとするので、従来の１つのフレーム画像のみからなるサムネイルと比べ、より多くの情報を含むサムネイルを作成することができる。また、各シーンから特徴的なフレーム画像を抽出するので、無意味がフレーム画像や認識しづらいフレーム画像の抽出を防止することができる。

［第４の実施形態］
図１１は、本発明の第４の実施形態の動画サムネイル作成装置の画像生成部の動作を示す図である。本実施形態の動画サムネイル作成装置のハードウェアは第１の実施形態（図１）と同じであり、機能ブロックは第２の実施形態（図６）又は第３の実施形態（図９）と同じである。

本実施形態の特徴は、画像生成部で複数のフレーム画像を縮小・合成するときに、各フレー画像の面積比をそれらのフレーム画像の特徴量に応じて定めることである。下記の表１を用いて具体的に説明する。

この表に示すように、選択されたフレーム画像（合成される５枚のフレーム画像）ＶＤa〜ＶＤeの輝度ヒストグラム分布の中央値がそれぞれ８０、９０、１００、１１０、１２０であったとする。まず、これらの平均値を算出すると１００になるので、それぞれと１００との差分を取り、その絶対値を求める。ＶＤa、ＶＤb、ＶＤc、ＶＤd、ＶＤeの差分の絶対値は、それぞれ２０、１０、０、１０、２０となる。

次に差分の絶対値を正規化する。ここでは、面積比に最大２倍まで差をつけて変える。この場合、正規化した値が０の場合を１倍とし、１の場合を２倍とすることで実現できる。よって、ＶＤa、ＶＤb、ＶＤc、ＶＤd、ＶＤeの正規化した値はそれぞれ１．０、０．５、０、０．５、１．０となる。

一般的に、輝度ヒストグラム分布の中央値が高い程明るい画像であり、低い程暗い画像であるから、上記の正規化値を用いて面積比を変えた場合、明るければ明るい程、或いは暗ければ暗い程面積が広くなる。その逆に、明るければ明るい程、或いは暗ければ暗い程面積を狭くしたい場合は、正規化した値を反転した値を用いればよい。表１の場合、ＶＤa、ＶＤb、ＶＤc、ＶＤd、ＶＤeの正規化した値を反転すると、それぞれ０、０．５、１．０、０．５、０となる。

図１１Ａは４枚のフレーム画像ＶＤ_１〜ＶＤ_４を等倍で配置し、合成する例を示している。一方、図１１Ｂ、図１１Ｃは面積比を変えて合成したものである。面積比を変えた場合は必ず覆いかぶさる部分ができるので、どの順番で配置するかにより、どのフレーム画像が強調されるかが決まる。この順番も輝度ヒストグラムの中央値を利用して決めることが好適である。正規化した値、或いは反転した値のどちらを採用するかにより異なるが、中央値の平均値からの差分の大きさを基にその順番を決めると、面積比の大小を決める規則に沿ったものとなる。

また、特徴量としてアクティビティ或いは符号量を用いることで、視認性の向上が可能となる。一般的に、アクティビティの高い画像は前述の通り縮小に不向きである。よって、広い面積を割り当てることで、縮小劣化による視認性の低下を避ける。逆にアクティビティの低い画像については割り当て面積を狭め、他の選択フレーム画像に割り当てる。面積の配分に関しては、上記輝度値のヒストグラム分布を用いた場合と同様であり、使用する特徴量をアクティビティ或いは符号量に置き換えればよい。これらの操作により、限られた面積の中で、効率的かつ効果的に視認性の向上を図ることができる。

本実施形態の動画サムネイル作成装置によれば、複数のフレーム画像を１枚のサムネイルとするので、従来の１つのフレーム画像のみからなるサムネイルと比べ、より多くの情報を含むサムネイルを作成することができる。また、合成するフレーム画像の特徴量に応じて、それらのフレーム画像の面積比を変えるので、フレーム画像の特徴量を反映させたサムネイルを生成することができる。

［第５の実施形態］
図１２は、本発明の第５の実施形態の動画サムネイル作成装置の画像生成部の動作を示す図である。本実施形態の動画サムネイル作成装置のハードウェアは第１の実施形態（図１）と同じであり、機能ブロックは第１〜第４の実施形態と同じである。

第１〜第４の実施形態の画像生成部では、選択されたフレーム画像の全体を縮小して合成している。本実施形態では、選択されたフレーム画像の一部を抜き出して合成することが第１〜第４の実施形態と異なる。

現在、一般的な画像サイズは３２０×２４０から６４０×４８０ほどである。画像の縦、横をそれぞれ同等に大きくすると、画像サイズ（面積）は二乗的に大きくなるため、品質と可搬性を考慮して選択された結果である。

しかし、技術の進歩とともに画像サイズは大きくなり、ハイビジョン画像では１９２０×１０８０といった従来の７倍近いサイズとなる。このような大きなサイズの画像の動画から動画サムネイルを作成するには処理に時間がかかる。そこで、フレーム画像の一部を抜き出してサムネイル化することで、処理時間の短縮を図る。従来の画像サイズにも勿論適用できるが、抜き出すサイズによってはサムネイルの品質が劣化するおそれがあるため、ハイビジョン画像のような高解像度の画像に適用することが好適である。

図１２では、４枚の選択されたフレーム画像ＶＤ_１〜ＶＤ_４のうち、ＶＤ_１〜ＶＤ_３については全体を縮小し、ＶＤ_４については縮小せずに部分画像ＶＤ_４１を抜き出している。部分画像ＶＤ_４１については、顔認識、動体認識などを用いて認識した領域とする。顔認識技術には様々な方法があり、一般的な方法としては、予め顔パターンを登録しておき、それらをサンプルデータの統計的性質を利用し、特定する方法がある。

顔認識を行った場合、部分画像ＶＤ_４１のサイズは認識された顔の範囲により異なるが、縦横比を元画像と等しくしなければならないので、顔の範囲よりも若干広くなる場合がある。また、合成する際に拡大処理が入るとサムネイルの画像品質が劣化するため、そうならないように、抜き出す領域のサイズの下限値を拡大処理が入らない値に調整しておく。

このように抜き出された部分画像ＶＤ_４１を画像ＶＤ_４の代わりに用いて、以後の合成処理を継続し、１枚の動画サムネイルを生成する。

なお、図１２では、４枚のフレーム画像のうち、１枚のみに対し抜き出しを行っているが、２枚、３枚、或いは４枚のフレーム画像に対して抜き出しを行ってもよい。また、本実施形態を第４の実施形態と組み合わせ、第４の実施形態において、フレーム画像の縦横比を保持しつつ面積比を変える際に画像全体の縮小では対応できない場合に、画像の一部を抜き出すことで対応可能である。

本実施形態の動画サムネイル作成装置によれば、複数のフレーム画像を１枚のサムネイルとするので、従来の１つのフレーム画像のみからなるサムネイルと比べ、より多くの情報を含むサムネイルを作成することができる。また、選択されたフレーム画像の一部を抜き出し、サムネイル画像を生成するので、フレーム画像内の重要な部分のみを使用し、サムネイルの限られた大きさを有効活用することができる。さらに、サムネイルの生成時間を短縮することができる。また、高解像度動画から動画サムネイルを作成することができる。

１１，２２，３２・・・画像選択部、１２，２３，３３・・・画像生成部、２１・・・画像処理部。

特開２００４−１４７２０４号公報 特開２００４−２７４１７１号公報

Claims (8)

1. 動画を構成する複数のフレーム画像である第１の複数のフレーム画像のそれぞれから特徴量を算出する画像処理部と、
   前記画像処理部でそれぞれの前記第１の複数のフレーム画像から算出された特徴量の隣接フレーム間の差分が閾値以上であるか否かを基に、前記動画のシーンのカット点を複数検出するカット点検出部と、
   前記カット点検出部により検出されたカット点に挟まれたシーン毎に、シーンを構成する１以上のフレーム画像から１のフレーム画像を抽出することで、前記第１の複数のフレーム画像から第２の複数のフレーム画像を抽出する画像選択部と、
   前記画像選択部で抽出された第２の複数のフレーム画像の枚数が所定の閾値以上か否か判定する手段と、
   前記判定する手段により所定の閾値以上と判定された場合、前記抽出された第２の複数のフレーム画像それぞれの特徴量を用いて、前記抽出された第２の複数のフレーム画像から目の細かくない順にフレーム画像を前記閾値未満の枚数だけ選択する手段と、
   前記閾値未満の枚数の前記第２の複数のフレーム画像を縮小し合成して、１枚のサムネイルを生成する画像生成部と、
   を有することを特徴とする動画サムネイル作成装置。
2. 請求項１に記載された動画サムネイル作成装置において、
   前記画像選択部は、前記カット点検出部により検出されたカット点に挟まれたシーン毎の先頭フレーム画像を抽出することで前記第２の複数のフレーム画像を抽出する
   ことを特徴とする動画サムネイル作成装置。
3. 請求項１に記載された動画サムネイル作成装置において、
   前記画像選択部は、前記カット点検出部により検出されたカット点に挟まれたシーン毎に、シーンを構成する１以上のフレーム画像のそれぞれの前記特徴量に基づいて、平均的な輝度ヒストグラム分布を持つ特徴的なフレーム画像を抽出することで前記第２の複数のフレーム画像を抽出する
   ことを特徴とする動画サムネイル作成装置。
4. 請求項１〜３のいずれか１項に記載された動画サムネイル作成装置において、
   前記画像生成部は、前記閾値未満の枚数の前記第２の複数のフレーム画像に対して、特徴量である輝度ヒストグラム分布に基づき、該第２の複数のフレーム画像の輝度ヒストグラムの平均と該各フレーム画像の輝度ヒストグラムとの差分に応じて、前記閾値未満の枚数の前記第２の複数のフレーム画像の面積比を変えて合成する
   ことを特徴とする動画サムネイル作成装置。
5. 請求項１〜３のいずれか１項に記載された動画サムネイル作成装置において、
   前記画像生成部は、前記閾値未満の枚数の前記第２の複数のフレーム画像に対して、各フレーム画像の特徴量に基づき、該各フレーム画像の目の細かさに応じて、前記閾値未満の枚数の前記第２の複数のフレーム画像の面積比を変えて合成する
   ことを特徴とする動画サムネイル作成装置。
6. 請求項１〜５のいずれか１項に記載された動画サムネイル作成装置において、
   前記画像生成部は、前記画像選択部で抽出されたフレーム画像の少なくとも１枚については、その一部分を抜き出した部分画像を合成に用いることを特徴とする動画サムネイル作成装置。
7. 動画サムネイル作成装置により実行される動画サムネイル作成方法であって、
   動画を構成する複数のフレーム画像である第１の複数のフレーム画像のそれぞれから特徴量を算出する画像処理工程と、
   前記画像処理工程でそれぞれの前記第１の複数のフレーム画像から算出された特徴量の隣接フレーム間の差分が閾値以上であるか否かを基に、前記動画のシーンのカット点を複数検出するカット点検出工程と、
   前記カット点検出工程により検出されたカット点に挟まれたシーン毎に、シーンを構成する１以上のフレーム画像から１のフレーム画像を抽出することで、前記第１の複数のフレーム画像から第２の複数のフレーム画像を抽出する画像選択工程と、
   前記画像選択工程で抽出された第２の複数のフレーム画像の枚数が所定の閾値以上か否か判定する工程と、
   前記判定する工程により所定の閾値以上と判定された場合、前記抽出された第２の複数のフレーム画像それぞれの特徴量を用いて、前記抽出された第２の複数のフレーム画像から目の細かくない順にフレーム画像を前記閾値未満の枚数だけ選択する工程と、
   前記閾値未満の枚数の前記第２の複数のフレーム画像を縮小し合成して、１枚のサムネイルを生成する画像生成工程と、
   を有することを特徴とする動画サムネイル作成方法。
8. コンピュータを、請求項１〜６のいずれか１項に記載された動画サムネイル作成装置として機能させるためのプログラム。

Images