JP4250619B2

JP4250619B2 - 代表画像抽出装置及びその方法

Info

Publication number: JP4250619B2
Application number: JP2005183751A
Authority: JP
Inventors: 善啓大盛; 晃司山本; 孝井田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-06-23
Filing date: 2005-06-23
Publication date: 2009-04-08
Anticipated expiration: 2025-06-23
Also published as: JP2007006129A

Description

本発明は映像から代表画像を抽出する装置及びその方法に関する。特に、複数の映像から抽出した代表画像を一覧表示する場合に用い、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成する装置及びその方法に関する。

ハードディスクレコーダーやカムコーダーなどで録画された多数の映像を管理する手段の一つとして、映像から代表画像を自動的に抽出する技術に関してさまざまな研究開発が行われてきた。例えば、一つの映像から代表画像を選択する技術、複数の映像から抽出した代表画像を一覧表示する技術などがある。

複数の映像から抽出した代表画像を一覧表示する従来方法として、例えば映像を視聴して手動で代表画像となるフレームを選択する方法がある。映像数が少数の場合には類似した代表画像を選択しないように気をつければ、一覧表示しても識別が容易な代表画像を選択できる。しかし、映像数が多数になるとどのような代表画像を選択したかを記憶することは困難になり、類似した代表画像を選択する可能性が大きくなる。また、全ての映像を視聴する時間が膨大となり実用的ではない。

この他に、代表画像を一覧表示する際に、重要な映像ほど代表画像を大きく表示したり枠を濃くしたりするというように、重要度に応じて代表画像を強調表示する方法がある（例えば、特許文献１参照）。この方法はどの映像が重要かを一覧表示で簡単に確認するものであって、同じ重要度で類似した代表画面が抽出された場合には識別が困難であることに変わりはない。

また、一つの映像に複数の代表画像を持たせてスライドショーのような動画像を生成して一覧表示する方法がある（例えば、特許文献２参照）。代表画像を動画にすると代表画像を複数枚の静止画で構成するため、１枚の静止画で一覧表示するよりも類似した代表画像になりにくい。しかし、動画像を一覧表示すると、映像を識別するためには動画の代表画像を視聴する時間が必要になったり画面がちらついて見にくくなったりするという別の問題が発生する。
特開２００４−３２０６５９公報特開平１１−１７６１３７号公報

上記従来の方法では、シーンや番組の映像単位で独立に代表画像を生成したために、一覧表示した際に類似した代表画像を生成して識別が困難な場合がある。

そこで、本発明は、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる代表画像抽出装置及びその方法を提供する。

本発明は、一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶部と、前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定部と、前記決定された映像単位毎の代表画像を出力する出力部と、を具備し、前記代表画像決定部は、前記各映像単位の映像から複数枚のフレーム画像を代表候補画像としてそれぞれ選択する代表候補画像選択部と、前記各映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出する特徴量算出部と、前記各映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを作る組み合わせ部と、前記各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出する類似度算出部と、前記各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする代表画像セット決定部と、を具備することを特徴とする代表画像抽出装置である。

本発明によれば、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。

本発明の実施形態を説明する前に、まず、説明で用いる用語を定義する。

「映像」とは、例えばテレビ番組を録画したような動画像と音声を含むものを指す。

「番組」とは、例えばテレビ番組のような映像の単位を表す。

「シーン」とは、番組の一部の映像を表し、番組は一つ以上のシーンで構成される。

「フォルダ」とは、映像を分類するためにまとめて格納する記憶領域を表す。

以下、本発明の各実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について図１〜図１１に基づいて説明する。

第１の実施形態では、毎週放送されるテレビ番組をハードディスクレコーダーで録画した複数の映像から、一覧表示した際に識別しやすい代表画像を抽出する例を説明する。もちろん、本実施形態は録画したテレビ番組に限らず別の映像にも適用可能であるが、典型例として取り上げる。

（１）処理対象の映像
図１に、本実施形態における処理対象の映像の一例を示す。

映像は、映像Ｘ、映像Ｙ、映像Ｚの３個録画され、それぞれの映像はタイトル映像、本編映像、エンディング映像の３部分から構成されるものとする。映像Ｘはタイトル映像１０３、本編映像１００、エンディング映像１０４から構成され、同様に映像Ｙは映像Ｘと同一のタイトル映像１０３、本編映像１０１、映像Ｘと同一のエンディング映像１０４から構成される。映像Ｚについても映像Ｘ，映像Ｙと同様に構成されるものとする。

すなわち、映像Ｘ、映像Ｙ、映像Ｚは連続番組であり、このような連続番組は以上に説明した構造を持つことが多い。

（２）代表画像抽出装置の構成
図２に、本実施形態に係る代表画像抽出装置の構成を示す。

本装置は、複数の映像を記憶する映像記憶手段２００、それぞれの映像から複数個の代表画像の候補を抽出する候補抽出手段２０１、候補画像の中からそれぞれの映像毎に１枚の画像を選択した組み合わせを作る組み合わせ手段２０５、画像の組み合わせの評価値を算出する評価値算出手段２０２と、評価値算出手段２０２で算出した評価値が最大になるようにそれぞれの映像の候補から代表画像を一つずつ選択する代表画像決定手段２０３、選択した代表画像を出力する代表画像出力手段２０４から構成される。

映像記憶手段２００は、例えばハードディスクとファイルシステムにより構成され、複数の映像を記憶し、ファイル名によって映像にアクセスできる。

候補抽出手段２０１、評価値算出手段２０２、組み合わせ手段２０５及び代表画像決定手段２０３は、例えばコンピュータプログラムにより構成される。

代表画像出力手段２０４は、例えばハードディスクとファイルシステムにより構成され、代表画像決定手段２０３によって選択された複数の代表画像をハードディスクにファイル名をつけて記憶させる。

（３）処理手順の概略
図３に、本実施形態に係る代表画像抽出方装置による処理の概要を示し、以下に処理手順の概要を説明する。

映像３００は、映像記憶手段２００に記憶された映像を表し、この例では図１に示した映像Ｘ、映像Ｙ、映像Ｚ、の３個の映像が記憶されているとする。

代表候補画像３０１は、候補抽出手段２０１によって映像３００から抽出された代表画像の候補を示す。候補抽出手段２０１は後述する方法で映像を解析して、例えば真っ暗な画面を除外するなどして代表画像としてふさわしい画像を選択する。映像Ｘに関して言えばｘ１、ｘ２、ｘ３の３つの代表候補画像を抽出し、映像Ｙ、映像Ｚについても同様にｙ１、ｙ２、ｙ３、及びｚ１、ｚ２、ｚ３の代表候補画像を３個ずつ抽出する。

代表画像３０２は組み合わせ手段２０５、評価値算出手段２０２及び代表画像決定手段２０３によって選択された代表画像を示す。代表画像決定手段２０３、評価値算出手段２０２、及び組み合わせ手段２０５は、後述する方法で代表候補画像３０１から代表画像を一覧した際に代表画像が類似しないように代表候補画像３０１から代表画像の組み合わせを選択する。この例ではｘ２、ｙ２、ｚ１が選択されている。以下、この組み合わせを「画像セット」という。

代表画像出力手段２０４は、代表画像決定手段２０３によって選択された代表画像３０２を出力する。この例では（ｘ２、ｙ２、ｚ１）の画像セットが出力される。

（４）代表候補画像の抽出方法
候補抽出手段２０１は、代表候補画像３０１を以下の手順で代表候補画像を抽出する。

まず、映像Ｘの先頭から３０秒後のフレーム画像を代表候補画像ｘ１として抽出する。

代表候補画像ｘ１の画面全体の輝度の平均値が予め与えられた大きな閾値以上の場合には真っ白な画面と判定し、予め与えられた小さな閾値以下の場合には真っ黒な画面と判定し、代表候補画像として採用しない。

同様に、代表候補画像ｘ１を図４に示す１６分割した画面領域毎に色相の平均値を算出して、その色相の分散が予め与えられた閾値以下の場合には画面が単色で構成されると判定して候補として採用しない。

色相には、人間が色を見たときに心理的に同じ色違いに見える色同士の距離を均等にしてある色空間の一つであるＬ＊ａ＊ｂ＊表色系を用いる。

但し、Ｎは領域に含まれる画像数、Ｌ_ｉはｉ番目の画素の明度指数、ａ_ｉ、ｂ_ｉはｉ番目の画素のクロマティネクス指数を表す。ｉは画面の右方向にカウントアップし、例えば領域４００の右端までくると一つ下の行の左端からカウントアップするものとする。

輝度による判定と色相による判定のどちらか一方で候補でないと判定された場合には候補として採用せず、そうでない場合には候補として採用する。候補として採用されなかった場合、候補基準を調べたフレーム以降のフレームについて順次特徴量を調べて、基準に満ちたフレームまで到達するとそのフレームを新たに代表候補画像ｘ１として抽出する。

なお、も基準を満たすフレームが映像の最後まで検出されなかった場合には、より多くの画像が選択されるように閾値を変更してから再度候補画像を検索する。それでも検出されなかった場合には閾値の変更を繰り返す。

代表候補画像ｘ２は、代表候補画像ｘ１からさらに３０秒後のフレームの画像を代表候補画像ｘ２として抽出する。この場合も基準に満たない場合は同様にそのフレーム以降のフレームを調べて基準を満たすフレームを新たに代表候補画像ｘ２として抽出する。代表候補画像ｘ２が番組の範囲内にない場合は、代表候補画像ｘ１がより前方のフレームになるように閾値を変更して代表候補画像ｘ１を再度抽出する。同様にして代表候補画像ｘ３も抽出する。

候補抽出手段２０１は、映像Ｙ、Ｚに関しても同様にして代表候補画像ｙ１、ｙ２、ｙ３、ｚ１、ｚ２、ｚ３を抽出する。

図１に示すように、代表候補画像ｘ１、ｘ２、ｘ３、ｙ１、ｙ２、ｙ３、ｚ１、ｚ２、ｚ３は、映像中での先頭からの時間で表すことができ、それぞれＴｘ１、Ｔｘ２、Ｔｘ３、Ｔｙ１、Ｔｙ２、Ｔｙ３、Ｔｚ１、Ｔｚ２、Ｔｚ３となる。ここで、代表候補画像ｘ１、ｙ１、ｚ１はタイトル映像１０３の中から選択され、その他の代表候補画像は本編映像の中から選択されたとする。

図５に候補選択手段１０１が選択した代表候補画像３０１の例を示す。代表候補画像ｘ１、ｙ１、ｚ１は同じタイトル映像１０３から抽出されたので、全ての映像が同じ候補画像を抽出している。もしも（ｘ１、ｙ１、ｚ１）の画像セットで代表画像を抽出すると、全ての代表画像が同一になって一覧表示したときに差がなくなって識別できなくなるが、以下に説明する方法でこれを避ける。

（５）代表画像３０２の抽出方法
代表画像３０２は以下の手順で抽出する。

組み合わせ手段２０５は、代表候補画像３０１からそれぞれの映像について１個の代表候補画像を選び、評価値算出手段２０２は画像の特徴量に基づいて評価値を算出し、代表画像決定手段２０３は組み合わせ手段２０５が選択する全ての画像セットについて、評価値算出手段２０２によって算出された評価値を調べて、評価値が最大となる組み合わせを代表画像として選択する。

評価値は、一つの画像セットに含まれる代表候補画像間の類似度が低い程に高くなる値である。この評価値の算出方法として、例えば画面を１６分割した領域毎に２つの画像間で色相空間内での距離の２乗総和を算出して、さらにこの２乗総和を代表候補画像から２つを選択する全ての組み合わせについての総和を評価値とする。このように算出する評価値は、ｘ１、ｙ１、ｚ１が色相空間内で互いに離れれば離れるほど大きくなるので、画像が異なる指標として使用できる。

映像Ｘから代表候補画像ｘ１、ｙ１、ｚ１の画像セットを（ｘ１、ｙ１、ｚ１）と表すことにして、この評価値Ｈ（ｘ１、ｙ１、ｚ１）を算出する場合を説明する。まず、代表候補画像ｘ１について、候補抽出手段２０１での色相の算出方法と同様の方法で、算出する。すなわち、

次に、３つの代表候補画像から２つを選択して、その２つの代表候補画像の間の色差の総和を算出する。ｘ、ｙを代表候補画像、ｋを画面全体を１６分割した領域の番号とすると、色差Ｌ（ｘ,ｙ）の２乗は次式で表せる。

代表画像決定手段２０３は組み合わせ手段２０５が選択する全ての画像セットについて評価値算出手段２０２を用いて評価値を算出して、評価値が最大となる画像セットを選択する。図６にこのようにして算出された代表候補画像の（ｘ、ｙ、ｚ）の画像セットと評価値Ｈの例を示す。

図６の６０１に示すように、（ｘ２、ｙ２、ｚ１）の画像セットの評価値が最大であるとすると、代表画像決定手段２０３は図３に示すように（ｘ２、ｙ２、ｚ１）の画像セットを選択する。図７に以上の手順で選択した代表画像を画面上に一覧した例を示す。

（６）フローチャートの説明
図８に、本実施形態の代表画像抽出方法の処理手順のフローチャートを示す。

映像記憶手段２００が映像を入力し（ステップｓ８００）、候補抽出手段２０１が候補を抽出する（ステップｓ８０１）。組み合わせ手段２０５が候補抽出手段２０１の中から画像セットを順番に選択し（ステップｓ８０２）、選択した画像セットの評価値を評価値算出手段２０２で算出する（ステップｓ８０３）。代表画像決定手段は全ての画像セットについて評価値を調べ、全ての評価した場合はステップｓ８０５に進み、そうでない場合はステップｓ８０２に戻って次の画像セットを評価する（ステップｓ８０４）。全てを評価し終えると、代表画像決定手段２０３は評価値が最大の画像セットを選択し（ステップｓ８０５）、代表画像出力手段２０４がその画像セットの画像を出力する（ステップｓ８０６）。

以上に説明したように、本実施形態によれば、複数の映像から抽出した代表画像を一覧表示する場合に、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。

（第２の実施形態）
本発明の第２の実施形態について図１２〜図１４に基づいて説明する。

第２の実施形態は、ハードディスクレコーダーで録画したテレビ番組を複数のフォルダに振り分けて格納する場合に、フォルダを一覧表示した際に識別しやすい代表画像をフォルダに格納された映像から抽出する例を説明する。

（１）処理対象の映像
図１２に、本実施形態における処理対象の映像の一例を示す。

フォルダＸには映像Ｘ１〜Ｘ４の４個の映像、フォルダＹには映像Ｙ１〜Ｙ２の２個の映像、フォルダＺには映像Ｚ１〜Ｚ３の３個の映像がそれぞれ格納されている。例えば、フォルダＸには野球番組、フォルダＹには料理番組、フォルダＺにはその他の番組、といったようにジャンルやユーザーの嗜好で分類するために一般的に用いられる。フォルダの一覧表示とは、フォルダに格納された映像から各フォルダに対して一つだけ代表画像を抽出して画面に表示することである。

（２）代表画像抽出装置の構成
本実施形態に係る代表画像抽出方法の構成は、第１の実施形態に係る代表画像抽出装置の構成と同一であるが、映像記憶手段２００と候補抽出手段２０１の動作が異なり、その他の構成要素の動作は同一であるので、差分のみを以下に説明する。

映像記憶手段２００は例えばハードディスクとファイルシステムにより構成され、フォルダ機能を有し、複数の映像をフォルダ内に格納して、フォルダ名を含むファイル名によって映像にアクセスできる。候補抽出手段２０１は例えばコンピュータプログラムにより構成される。

（３）処理の概要
図１４に、本実施形態に係る代表画像抽出装置による処理の概要を示し、以下に処理手順の概要を説明する。

映像１３００は、図１３に示したように映像記憶手段２００にフォルダ単位で分類されて記憶された映像を表し、この例では図１３に示したＸ〜Ｚの３個のフォルダとＸ１〜Ｘ４、Ｙ１〜Ｙ２、Ｚ１〜Ｚ３の映像がそれぞれのフォルダに記憶されているものとする。映像は処理の前に予めフォルダに振り分けられているものとする。映像のフォルダへの振り分けは、例えば、予約録画の際にユーザーがどのフォルダに格納するかを指定してもよいし、録画後にユーザーが手動で映像を振り分けてもよい。

代表候補画像１３０１に、候補抽出手段２０１によって映像１３００から抽出された代表画像の候補を示す。候補抽出手段２０１は、フォルダＸに格納された全ての映像の全てのフレーム画像について、類似したフレーム画像を１０種類に分類する。分類されたフレーム画像の集合はクラスタと呼ばれ、類似した画像に分類する処理をクラスタリングと呼ぶ。

次に、各クラスタを構成するフレーム画像の数を数える。そして、クラスタを構成するフレーム画像の数が大きいものから順番に３つのクラスタを代表候補クラスタとする。

次に、３つの代表候補クラスタにおいて、各クラスタ中心に最も類似しているフレーム画像を代表候補画像ｘ１、ｘ２、ｘ３として抽出する。

例えば、フォルダＸがプロ野球を録画した野球番組Ｘ１（５月１５日の放送）、Ｘ２（５月１６日の放送）、Ｘ３（５月１７日の放送）、Ｘ４（５月１８日の放送）から構成されているとする。そして、これら番組Ｘ１、Ｘ２、Ｘ３、Ｘ４から３つの代表候補クラスタから選ばれたとする。例えば、投球場面のクラスタ、打つ場面のクラスタ、観客席の場面のクラスタが３つの代表候補クラスタとする。そして、投球場面のクラスタ、打つ場面のクラスタ、観客席の場面のクラスタのそれぞれから代表候補画像ｘ１、ｘ２、ｘ３として抽出する。代表候補画像ｘ１は投球場面の画像であり、代表候補画像ｘ２は打つ場面の画像であり、代表候補画像ｘ３は観客席の場面の画像となる。

同様にフォルダＹ、Ｚについても代表候補画像ｙ１、ｙ２、ｙ３、ｚ１、ｚ２、ｚ３を抽出する。

代表画像決定手段２０３は代表候補画像１３０１から代表画像の画像セットを選択する方法は、第１の実施形態と同一なので省略する。

（４）クラスタリングの方法
フレーム画像のクラスタリングには一般的な方法であるｋ−ｍｅａｎｓ法を用いればよく、以下にアルゴリズムを簡単に説明する。

まず、フォルダＸからランダムに１０個のフレーム画像を選択し、初期クラスタ中心を決める。全てのフレーム画像について、最も類似したクラスタ中心のクラスタに分類する。すなわち、初期クラスタ中心の１０枚のフレーム画像をＦ１、Ｆ２・・・、Ｆ１０とすると、Ｆ１に類似したフレーム画像をフォルダ内から検索して抽出する。この画像が類似しているかどうかの判定は、例えば第１の実施形態の式２に示した、画面全体を１６分割した領域毎にＬ＊ａ＊ｂ＊表色系による色相の平均を総和したものを距離として用いればよい。そして、Ｆ２・・・、Ｆ１０についても同じ処理を行いフォルダ内の全てのフレーム画像を１０種類のクラスタに分類する。

これら１０種類のクラスタのそれぞれについてクラスタの重心を計算する。クラスタの重心については、画面を１６分割した領域毎に、色相の各要素についてヒストグラムを作り、要素値とヒストグラム度数の積の総和を要素数で割って計算する。この計算した１０個のクラスタの重心を二回目の初期クラスタ中心とする。

この二回目の初期クラスタ中心の１０枚のフレーム画像について上記と同様にして計算して、三回目の初期クラスタ中心を計算する。

そして、この処理を繰り返し新たなクラスタ中心が全て前回と同じであれば処理を停止して、そのクラスタ中心を持つクラスタが求めるクラスタである。一方、同じでなければ新たなクラスタ中心を初期クラスタとして処理を繰り返す。

（５）フローチャートの説明
図１４に、本実施形態の代表画像抽出方法の処理手順のフローチャートを示す。

映像記憶手段２００が映像を入力してフォルダに格納し（ステップｓ１４００）、フォルダ毎にクラスタリングし（ステップｓ１４０１）、クラスタを構成するフレーム画像の数が大きいクラスタから順に３個のクラスタを選択し（ステップｓ１４０２）、クラスタ中心に最も類似したフレーム画像を代表候補画像とする（ステップｓ１４０３）。以降の処理は、本発明の第１の実施形態のステップｓ８０２以降の処理と同様である。

以上に説明したように、第２の実施形態によれば、複数のフォルダから代表画像を抽出して一覧表示する場合に、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。

（変形例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

（１）変形例１
第１の実施形態では、候補抽出手段２０１によって抽出された画像から、組み合わせ手段２０５が画像セットを選んだ。しかし、映像記憶手段２００に記憶された映像を構成する画像から直接画像セットを選んでもよい。この場合は、候補抽出手段２０１が全ての画像を抽出したものとみなすことができ、候補抽出手段２０１の抽出からもれた画像も組み合わせ手段２０１の対象にできる。

（２）変形例２
第１の実施形態では、映像記憶手段２００に記憶する映像は独立の映像とした。しかし、これに限らず、異なる映像の単位であればなんでもよい。

例えば、カット検出してシーンに分割してある映像では、シーンを単位として代表画像を抽出してもよい。

（３）変形例３
第１の実施形態では、映像記憶手段２００に全ての映像が存在するとしたが、これに限らず、新たに映像を追加した場合には、既に選択された代表画像はそのままにして、新たに追加した映像についてのみ逐次的に代表画像を抽出してもよい。

図９に逐次的に代表画像を抽出する処理の概要を示す。

ｘ２、ｙ２、ｚ１は第１の実施形態で抽出された代表画像であり、映像９００に新たに映像Ｑ、Ｒを追加した場面を表している。

候補抽出手段２０１は、第１の実施形態と同様に映像Ｑ、Ｒについてそれぞれ３個ずつの代表候補画像９０１をｑ１、ｑ２、ｑ３、ｒ１、ｒ２、ｒ３として抽出する。

次に、組み合わせ手段２０５がそれぞれの映像について１個の代表候補画像を選ぶ。しかし、代表候補画像９０１に示すように、映像Ｘ、Ｙ、Ｚについては既に抽出された代表画像ｘ２、ｙ２、ｚ１を代表候補画像とする。

組み合わせ手段２０５は式３を用いて全ての代表候補画像の画像セットについて評価値を算出し、評価値が最大の画像セットを選択する。このような逐次処理により処理時間を低減すると同時に、既に選択された代表画像も考慮して追加された映像の代表画像を抽出できる。

図１０は第１の実施形態で逐次的に代表画像を抽出する方法の処理手順のフローチャートを示す。第１の実施形態では候補選択手段２０３が候補画像を選択するステップｓ８０１がステップｓ１０００とｓ１００１に置き換わっているところが異なる。

映像記憶手段２００が追加映像を入力し（ステップｓ１０００）、既存の映像について候補抽出手段２０１は候補を抽出し（ステップｓ１００１）、追加の映像について候補抽出手段２０３は第１の実施形態と同様に各映像から３個の代表候補画像を抽出する（ステップｓ１００２）。ステップｓ８０２に進んで、組み合わせ手段２０５が候補抽出手段２０１の中から画像セットを順番に選択し、これ以降の処理は第１の実施形態と同様である。

この変形例では画像セットの範囲を追加映像から抽出した代表候補画像に限定するために、うまく識別できない代表画像を選択してしまう可能性がある。これを解決するには、例えば、評価値が予め定められた閾値を超えない場合には逐次的に処理せず、全ての映像から再度代表画像を抽出すればよい。

（４）変形例４
第１の実施形態では、候補抽出手段２０１と評価値算出手段２０２はＬ＊ａ＊ｂ＊表色系を特徴量として用いたが、これに限らず、代表画像の識別が容易になる特徴量であればなんでもよい。例えば、画像に存在するエッジ数やエントロピーに基づいて算出してもよい。

（４−１）エッジ数
評価値としてエッジ数を用いる場合について説明する。

代表候補画像の輝度値をｘ軸方向に画素毎に１次微分して、その値が予め定められた閾値を超える場合にエッジを検出する。エッジの数を図４に示すように画面全体を１６分割した領域単位で数え、２つの画像の距離をエッジ数の差の２乗を全ての領域についての総和と定義する。

代表候補画像について２つの画像を選択する全ての画像セットについて距離を算出し、その総和を評価値とする。ｊ，ｋ，Ｍ，Ｎを代表候補画像の番号、分割領域の番号、代表候補画像の数、分割領域の数、Ｅ_ｊ，ｋを代表候補画像ｊの領域ｋにあるエッジ数とすると、エッジ数による評価値Ｈ_Ｅは次式で表せる。

（４−２）エントロピー
評価値として情報量を表すエントロピーを用いる場合について説明する。

この場合、全ての代表候補画像を構成する全ての画素について、輝度値毎にヒストグラムを求めて出現確率を算出して、その積の総和を評価値とする。

ｉを輝度の範囲の番号、ｐ_ｉをｉ番目の輝度範囲の出現確率とすると、エントロピーによる評価値Ｈ_{Ｅｎｔｏｌｏｐｙ}は次式で表せる。

（５）変形例５
第１の実施形態では、特徴量の計算は画面全体に対して行った。しかし、これに限らず、画像の部分領域でもよい。

例えば、画像の中央部分のみを用いて特徴量を抽出してもよい。この場合、画面の周辺には画像の内容とはあまり関係のないものが映っていることが多く、この影響を低減できると同時に、処理時間も短縮できる。

あるいは、映像を構成する全てのフレームに対して特徴量を計算するのではなく、映像が大きく変化するところでシーンを予め区切っておいて、シーンの先頭の画像のみを特徴量を算出する処理の対象としてもよい。

（６）変形例６
第１の実施形態では、組み合わせ手段は全ての代表候補画像から画像セットを選択したが、これに限らず一部の画像セットに限定して処理量を低減して高速化してもよい。

例えば、代表画像を同時に一覧表示する映像の範囲に限定して代表画像を抽出してもよい。具体的には、１０個の映像が存在し、録画時間の早い順に６個の映像から代表画像をそれぞれ表示するものとする。候補抽出手段２０１は全ての映像から代表候補画像を抽出するのではなく、６個ずつの映像から代表候補画像を抽出する。以降の処理手順は第１の実施形態と同一である。

あるいは、シーン単位で代表画像を抽出する場合に、ＣＭなどの特定の属性を持った映像区間を処理対象から除外して、番組本編の映像区間のみを処理対象としてもよい。

あるいは、評価値が低い可能性が大きい画像セットを選択しなくてもよい。この場合、まず全ての代表候補画像について式２で表される色差の２乗を算出し、色差の２乗が予め定められた閾値より小さい場合にはその代表候補画像の組を、例えば（（ｘ１、ｙ３）、（ｘ１、ｚ１）、…（ｘ３、ｚ１））のようにテーブル形式で記憶してマークする。マークされた代表候補画像は類似した画像であり、これらを含む代表候補画像の画像セットは評価値が低い可能性が高いため、式３で評価値を算出するときに、このテーブルを検索して評価すべき代表候補画像の画像セットの中にマークされた組がある場合には、評価値を算出せずに次の処理に進む。

（７）変形例７
第１の実施形態では、組み合わせ手段２０５はそれぞれの映像毎に１枚の画像を選択したが、これに限らず、複数枚の画像を選択してもよい。

例えば、図１１に示すように２枚の画像を選択して、２枚の画像を上下に並べて合成した画像を代表画像にしてもよい。１枚の代表画像よりも２枚の画像を並べて合成した代表画像の方が類似した代表画像になりにくいため、類似した画像が多い映像の場合でも識別が容易な代表画像を選択しやすくなる。

この場合、組み合わせ手段２０５は代表候補画像３０１から各映像に対して２個の候補を選択して画像セットを作る。３個の映像がある場合には、６個の代表候補画像の画像セットとなる。以降の処理は第１の実施形態と同一である。

（８）変形例８
第１の実施形態では、代表画像決定手段２０３は評価値が最大になる画像セットを代表画像として決定した。しかし、これに限らず、代表画像が十分に異なると識別できる方法であればなんでもよい。

例えば、代表画像が十分に異なると識別できる閾値を予め定めておいて、評価値がこの値を超えた場合にはその画像セットを代表画像に決定してもよい。この場合、その後の評価を停止するので処理量を低減できる。

（９）変形例９
第２の実施形態では、代表候補画像１３０１はクラスタリングによって代表候補画像を抽出した。しかし、これに限らず、代表候補を抽出できる方法であればなんでもよい。

例えば、フォルダに含まれる映像をつなげて一つの映像を生成して、本発明の第１の実施形態と同様の方法で代表候補画像を抽出してもよい。

（１０）変形例１０
第２の実施形態における代表候補画像をクラスタリングによって代表候補画像を抽出した方法を第１の実施形態における代表候補画像の抽出に用いても良い。

本発明の第１の実施形態に係る処理対象の映像の一例である。第１の実施形態に係る代表画像抽出方法の構成図である。第1の実施形態に係る代表画像抽出方法の概要を説明するための図である。第１の実施形態の候補抽出手段２０１に係る色相の算出方法を説明するための図である。第１の実施形態に係る代表候補画像３０１の一例である。第１の実施形態の組み合わせ手段２０５が代表画像の画像セットに対する評価値を算出する方法を説明するための図である。第１の実施形態に係る代表画像３０２を一覧表示した一例である。第１の実施形態に係る処理手順をまとめたフローチャートである。第１の実施形態の変形例３に係る代表画像抽出方法の概要を説明するための図である。第１の実施形態の変形例３に係る処理手順をまとめたフローチャートである。第１の実施形態の変形例７に係る複数枚のフレーム画像で構成される代表画像３０２を一覧表示した一例である。第２の実施形態に係る処理対象の映像の一例である。第２の実施形態に係る代表画像抽出方法の概要を説明するための図である。第２の実施形態に係る処理手順をまとめたフローチャートである。

符号の説明

２００映像記憶手段
２０１候補抽出手段
２０２評価値算出手段
２０３代表画像決定手段
２０４代表画像出力手段
２０５組み合わせ手段

Claims

一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶部と、
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定部と、
前記決定された映像単位毎の代表画像を出力する出力部と、
を具備し、
前記代表画像決定部は、
前記各映像単位の映像から複数枚のフレーム画像を代表候補画像としてそれぞれ選択する代表候補画像選択部と、
前記各映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出する特徴量算出部と、
前記各映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを作る組み合わせ部と、
前記各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出する類似度算出部と、
前記各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする代表画像セット決定部と、
を具備することを特徴とする代表画像抽出装置。
前記代表候補画像選択部は、前記各映像単位の映像から複数枚の画像を代表候補画像として選択するときに、前記各映像単位の映像を構成する全てのフレーム画像を前記代表候補画像として選択するか、または、前記各映像単位の映像を構成する一部のフレーム画像を前記代表候補画像として選択する
ことを特徴とする請求項１記載の代表画像抽出装置。
前記映像単位が、一つの映像、同一映像内のシーン、並びに、一または複数の映像を含むフォルダである
ことを特徴とする請求項１記載の代表画像抽出装置。
前記映像記憶部に新たな映像単位を追加した場合に、
前記代表候補画像選択部は、前記追加された映像単位の映像から複数枚の画像を代表候補画像として選択し、
前記特徴量算出部は、前記追加された映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出し、
前記組み合わせ部は、追加前の各映像単位の代表画像と前記追加された映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを新たに作り、
前記類似度算出部は、前記新たな各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出し、
前記代表画像セット決定部は、前記新たな各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする
ことを特徴とする請求項１記載の代表画像抽出装置。
前記特徴量は、色相、輝度、エッジ数、Ｌ＊ａ＊ｂ＊表色系、エントロピーの少なくとも一つである
ことを特徴とする請求項１記載の代表画像抽出装置。
前記特徴量算出部は、前記画像の全ての領域の画素、または、前記画像の部分領域の画素を用いて前記特徴量を算出する
ことを特徴とする請求項１記載の代表画像抽出装置。
前記代表候補画像選択部は、前記映像記憶部に記憶されているｎ個（ｎ＞１）の映像単位の中からｍ個（ｎ＞ｍ＞１）の映像単位を選択し、これらｍ個の映像単位のそれぞれから代表候補画像を選択する
ことを特徴とする請求項１記載の代表画像抽出装置。
前記代表候補画像選択部は、前記映像単位における特定の属性を持った映像区間を選択し、この映像区間から代表候補画像を選択する
ことを特徴とする請求項１記載の代表画像抽出装置。
前記組み合わせ部は、前記各映像単位の映像から複数枚のフレーム画像を選択して、これら画像を並べて合成して代表候補画像を生成する
ことを特徴とする請求項１記載の代表画像抽出装置。
前記代表候補画像選択部が前記各映像単位の映像から一部のフレーム画像を選択して代表候補画像とするときに、前記映像を構成する画像の特徴量に基づいて選択するか、前記映像を構成する画像の特徴量を用いてクラスタリングした結果に基づいて選択するかの少なくとも一つによって選択する
ことを特徴とする請求項１記載の代表画像抽出装置。
一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶ステップと、
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定ステップと、
前記決定された映像単位毎の代表画像を出力する出力ステップと、
を具備し、
前記代表画像決定ステップは、
前記各映像単位の映像から複数枚のフレーム画像を代表候補画像としてそれぞれ選択する代表候補画像選択ステップと、
前記各映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出する特徴量算出ステップと、
前記各映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを作る組み合わせステップと、
前記各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出する類似度算出ステップと、
前記各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする代表画像セット決定ステップと、
を具備することを特徴とするコンピュータにおける代表画像抽出方法。
コンピュータに、
一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶機能と、
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定機能と、
前記決定された映像単位毎の代表画像を出力する出力機能と、
を実現させ、
前記代表画像決定機能は、
前記各映像単位の映像から複数枚のフレーム画像を代表候補画像としてそれぞれ選択する代表候補画像選択機能と、
前記各映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出する特徴量算出機能と、
前記各映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを作る組み合わせ機能と、
前記各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出する類似度算出機能と、
前記各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする代表画像セット決定機能と、
を実現させるための代表画像抽出プログラム。