JP4631826B2

JP4631826B2 - ハイライト抽出装置

Info

Publication number: JP4631826B2
Application number: JP2006210177A
Authority: JP
Inventors: 想平田所
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-08-01
Filing date: 2006-08-01
Publication date: 2011-02-16
Anticipated expiration: 2026-08-01
Also published as: JP2008042270A

Description

本発明は、ビデオコンテンツを短時間で視聴できるようにし、あるいはビデオコンテンツの内容を容易に把握できるようにするために、自動的にビデオコンテンツの一部の区間をハイライトとして選択するハイライト抽出装置に関する。

近年、ＤＶＤ（Digital Versatile Disc）、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、半導体メモリなどの大容量ディジタルストレージの普及により、各家庭に保存、管理されているビデオコンテンツの量は加速度的に増大している。これらのストレージはランダムアクセスが可能であり、指定した箇所から瞬時に再生を開始できるという点で、従来のテープメディアに対して大幅に利便性が向上している。

したがって、長時間にわたる一連の映像中から見たい部分だけを再生し、残りをスキップするような視聴方法が容易に実現できる。しかし一方、利用者が見たいシーンがどこに記録されているのかを把握していない場合は、こういったストレージのランダムアクセス性能はメリットとならない。

そこで、利用者がまだ見ていないコンテンツに対して、音声情報や画像情報を解析することによって、あらかじめ見所を抽出しておく技術が特許文献１に開示されている。特許文献１に開示された技術では、映像ストリーム中に発生した事象を定義したインデックスに予め設定された数値をルールファイルとして記憶しており、入力した映像情報中のインデックスに基づいてルールファイルから該当する数値を入力し、インデックスおよび数値に基づいて、映像情報の内容を数値の変化で表現した数値映像情報を生成し、生成した数値映像情報の数値の変化を用いて、映像情報からダイジェスト映像を抽出することで、ダイジェストの生成を実現している。

これによって、利用者は、放送されているスポーツの中継番組やニュース番組に対して、見たいシーンをすぐに探し当てることができ、また、長時間の番組を短時間で視聴することができる。
特許第３１７６８９３号公報

一方、ＨＤＤ等のランダムアクセス可能な大容量ディジタルストレージに記録された、利用者自らがビデオカメラ等で撮影したコンテンツ（以降、プライベートコンテンツと呼ぶ）は、放送番組とは異なり、番組構成の様式、映像や音声の質、撮影環境などが事前に仮定できない。また、無駄な映像やミスショットが含まれている可能性が高く、ストーリー性に欠ける場合が多い。特に、結婚式や発表会といったイベントを撮影した場合、１カットが長くなることが多く、撮影した映像を後で視聴すると、撮影時間だけが長く、盛り上がりに欠ける映像になることが多い。

このため、記録したプライベートコンテンツを視聴する際に、利用者が目的の重要なシーンにすぐにたどり着くことは難しく、ランダムアクセス可能なメディアの利点を生かすことができなかった。そこで、プライベートコンテンツの重要なシーンを抽出できるようにするための技術の開発が望まれていた。

本発明は上記に鑑みてなされたもので、プライベートコンテンツの重要なシーンを抽出することができるハイライト抽出装置を提供することを目的とする。

上記目的を達成するため、本発明のハイライト抽出装置は、映像中に映りこんでいるカメラのフラッシュの発光に基づいて前記映像中の重要シーンとなる部分をハイライトとして抽出するハイライト抽出装置であって、入力映像の各フレームについてフラッシュの発光の有無を検出し、フラッシュの発光有りと検出されたフレームの前記入力映像における相対時刻をフラッシュの発光時刻として検出する発光検出手段と、この発光検出手段で検出した前記発光時刻を格納する記憶手段と、この記憶手段に格納された前記発光時刻のそれぞれについて、当該発光時刻以前の所定の時間内に含まれる発光時刻の数を前記各発光時刻の得点として算出し、当該発光時刻が、当該発光時刻の得点より高い得点を有する発光時刻以前の前記所定の時間内に含まれるときは、当該発光時刻の得点を取り消した後、得点の高い順から所定の数の前記発光時刻をハイライトが存在する時刻として選択し、選択した前記時刻を含む区間を前記入力映像におけるハイライト区間として選択するハイライト選択手段とを備えることを特徴とする。

また、本発明のハイライト抽出装置は、映像中に映りこんでいるカメラのフラッシュの発光に基づいて前記映像中の重要シーンとなる部分をハイライトとして抽出するハイライト抽出装置であって、入力映像の各フレームについて輝度ヒストグラムを生成し、当該フレームの輝度ヒストグラムと当該フレームから第１の所定数前のフレームの輝度ヒストグラムとの相関を第１の相関として算出し、当該フレームの輝度ヒストグラムと当該フレームから前記第１の所定数よりも大きな第２の所定数前のフレームの輝度ヒストグラムとの相関を第２の相関として算出し、前記第１の相関が所定の第１の閾値より小さく、かつ前記第２の相関が所定の第２の閾値より大きい場合に、当該フレームの前記入力映像における相対時刻をフラッシュの発光時刻として検出する動作をフレーム毎に行う発光検出手段と、この発光検出手段で検出した前記発光時刻を格納する記憶手段と、この記憶手段に格納された前記発光時刻のそれぞれについて、当該発光時刻以前の所定の時間内に含まれる発光時刻の数を前記各発光時刻の得点として算出し、当該発光時刻が、当該発光時刻の得点より高い得点を有する発光時刻以前の前記所定の時間内に含まれるときは、当該発光時刻の得点を取り消した後、得点の高い順から所定の数の前記発光時刻をハイライトが存在する時刻として選択し、選択した前記時刻を含む区間を前記入力映像におけるハイライト区間として選択するハイライト選択手段とを備えることを特徴とする。

本発明のハイライト抽出装置は、入力映像に映りこんでいるカメラのフラッシュの発光箇所の入力映像における相対時刻をフラッシュの発光時刻として検出し、検出した各発光時刻から、当該発光時刻以前の所定の時間内に含まれる発光時刻の数に基づいて、所定の数の発光時刻をハイライトが存在する時刻として選択し、選択した時刻を含む区間をハイライト区間として選択するので、プライベートコンテンツの重要なシーンをハイライトとして抽出することができる。

以下、本発明のハイライト抽出装置を実施するための最良の形態について、図面を参照して説明する。本発明では、プライベートコンテンツにおいて、カメラのフラッシュが頻繁に発光しているシーンは重要なシーンであると仮定する。

図１は本発明の一実施の形態に係るハイライト抽出装置の構成を示すブロック図である。図１に示すように本実施の形態のハイライト抽出装置１は、入力映像を格納する映像記憶部１１と、入力映像に映りこんでいるフラッシュの発光箇所の入力映像における相対時刻をフラッシュの発光時刻として検出する発光検出部１２と、発光検出部１２で検出した発光時刻を格納する記憶部１３と、記憶部１３に格納された発光時刻に基づいて、入力映像におけるハイライト区間を選択するハイライト選択部１４とを備える。

発光検出部１２は、要素数４のリングバッファからなるバッファ１２ａと、発光検出部１２の演算および制御を行う演算処理部１２ｂとを備える。ハイライト選択部１４は、各種情報を格納するメモリ１４ａと、ハイライト選択部１４の演算および制御を行う演算処理部１４ｂとを備える。

次に、本実施の形態に係るハイライト抽出装置の動作を説明する。

映像記憶部１１は、外部からの入力映像を格納する。入力映像は静止画の連続で構成される動画像である。ＭＰＥＧなどの圧縮符号化技術が適用された映像の場合は、復号後の映像を入力映像として受け取る。

そして、発光検出部１２は、映像記憶部１１から入力映像を受け取り、この入力映像を構成する静止画を解析し、フラッシュの発光時刻を検出する。以下、発光検出部１２においてフラッシュの発光時刻を検出する手順について、図２を参照して説明する。図２は発光検出部１２においてフラッシュの発光時刻を検出する手順を示すフローチャートである。

まず、ステップＳ１１０において、映像記憶部１１から新しいフレームを受け取ると、ステップＳ１２０では、発光検出部１２の演算処理部１２ｂは、受け取ったフレームに対して輝度のヒストグラムを作成する。輝度はＹＵＶ表色系におけるＹの値に相当する。ＲＧＢ表色系からは以下の（数式１）で変換可能である。

Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ（数式１）
ヒストグラムは輝度を任意の幅で量子化し、入力映像の各画素の輝度がどの階級に属しているかを算出し、該当する階級の度数を足し上げていくことによって作成する。画像が十分大きい場合は、処理時間の短縮のために、画像を適当な間隔でサブサンプリングするとよい。輝度のヒストグラムの一例を図３に示す。図３に示す輝度のヒストグラムにおいて、ｘ軸は６４の階級を含み、ｙ軸は各階級に入る画素（ピクセル）の数である。

次に、ステップＳ１３０では、演算処理部１２ｂは、作成したヒストグラムをバッファ１２ａに格納する。バッファ１２ａは要素数４のリングバッファになっており、各要素にそれぞれヒストグラムが格納できる。最新のヒストグラムは、リングバッファ中の最も古いバッファを上書きするかたちで格納される。

そして、ステップＳ１４０では、演算処理部１２ｂは、バッファ１２ａ内の最新のヒストグラムと、その１フレーム前のヒストグラムとの相関を算出する。相関は以下の（数式２）で求められる。

ここで、Ｒは相関、Ｎはヒストグラムの階級の総数、ａ（Ｉ），ｂ（Ｉ）は各ヒストグラムにおける階級Ｉの度数である。

次に、ステップＳ１５０では、演算処理部１２ｂは、ステップＳ１４０で算出した相関が第１の閾値Ａ_１より小さいかどうかを判断する。相関が第１の閾値Ａ_１以上の場合（ステップＳ１５０：ＮＯ）、この２枚のフレームは映像的に連続していると判断できる。カメラのフラッシュの光が映像中に映りこんだ場合、映像中の輝度分布が急激に変化するため、相関は第１の閾値Ａ_１を下回る。また、フラッシュが消えて通常の画像に戻る時点でも、相関は第１の閾値Ａ_１を下回る。

したがって、相関が第１の閾値Ａ_１以上の場合（ステップＳ１５０：ＮＯ）は、フラッシュは検出できなかったとして、ステップＳ１９０に進む。相関が第１の閾値Ａ_１より小さい場合（ステップＳ１５０：ＹＥＳ）は、フラッシュの可能性があるため、ステップＳ１６０に進む。なお、第１の閾値Ａ_１は実験的に最適なものを求める。

そして、ステップＳ１６０では、演算処理部１２ｂは、最新のヒストグラムと、３フレーム前のヒストグラムとの相関を算出する。次いで、ステップＳ１７０では、演算処理部１２ｂは、ステップＳ１６０で得られた相関と第２の閾値Ａ_２とを比較する。

フラッシュが映像に映りこんだ場合、１〜２フレームのあいだ輝度分布が大きく変化した後に、それ以前の輝度分布に戻ることが考えられる。したがって、１フレーム前の輝度のヒストグラムとの相関が小さく、３フレーム前の輝度のヒストグラムとの相関が大きいフレームは、直前のフレームでフラッシュが映りこんでいることが考えられる。

したがって、ステップＳ１６０で算出した相関が第２の閾値Ａ_２より大きい場合（ステップＳ１７０：ＹＥＳ）は、直前のフレームにフラッシュが映りこんでいたと判断し、ステップＳ１８０において、演算処理部１２ｂは、その時刻を発光時刻として検出し、記憶部１３に記憶する。ステップＳ１６０で算出した相関が第２の閾値Ａ_２以下の場合（ステップＳ１７０：ＮＯ）は、フラッシュは検出できなかったとして、ステップＳ１９０に進む。

ここで、時刻は、装置全体にわたって共通のタイムコードを用いる。タイムコードとしては、秒、ミリ秒、フレーム数等が考えられる。第２の閾値Ａ_２は、第１の閾値Ａ_１と同様に、実験的に最適値を求める。

ステップＳ１９０では、演算処理部１２ｂは、入力映像の全フレームに対する処理を終えたかどうかを判断し、終えた場合（ステップＳ１９０：ＹＥＳ）は発光時刻検出処理を終了する。終えていない場合（ステップＳ１９０：ＮＯ）はステップＳ１１０に戻り、以降の処理を繰り返す。

記憶部１３は、図２に示すフローチャートのステップＳ１８０において発光検出部１２で検出された発光時刻を保持する。時刻は上述のタイムコードを用い、配列として保持する。記憶部１３としては、半導体メモリを用いてもよいし、ＨＤＤを用いてもよい。また、映像記憶部１１と同一のアドレス空間の一部を用いてもよいし、別のアドレス空間を用意してもよい。

そして、ハイライト選択部１４は、記憶部１３によって保持されている発光時刻に基づいて、ハイライト区間を選択する。以下、ハイライト選択部１４においてハイライト区間を選択する手順について、図４を参照して説明する。図４はハイライト選択部１４においてハイライト区間を選択する手順を示すフローチャートである。

発光検出部１２で検出された発光時刻は、記憶部１３において、配列ｌｉｓｔ［］に格納されている。まず、ステップＳ２１０では、演算処理部１４ｂは、カウンタ変数ｉ，ｊの初期化を行う。カウンタ変数ｉの初期値は、ｌｉｓｔ［ｉ］≧ｎである最小のｉとする。ここで、ｎは任意の自然数、または実数で、使用しているタイムコードに応じてミリ秒、秒、あるいはフレーム数等を表す。以降、説明のためにタイムコードは秒であると仮定する。また、カウンタ変数ｊの初期値は０とする。

次に、ステップＳ２２０では、演算処理部１４ｂは、フラッシュを検出した各発光時刻に対して得点を与え、この得点を配列としてメモリ１４ａに格納する。メモリ１４ａは、得点を配列ｐｏｉｎｔ［］に格納し、ｌｉｓｔ［ｉ］の時刻に対応する得点はｐｏｉｎｔ［ｉ］に格納する。ここで、得点は、得点を与える発光時刻の以前ｎ秒間にフラッシュを検出した回数である。

続いて、ステップＳ２３０では、演算処理部１４ｂは、カウンタ変数ｉを１だけ加算する。そして、ステップＳ２４０では、演算処理部１４ｂは、カウンタ変数ｉが配列ｌｉｓｔ［］の最後の要素まで達しているかどうかを判断する。最後の要素まで達していない場合（ステップＳ２４０：ＹＥＳ）は、ステップＳ２５０に進み、最後の要素まで達している場合（ステップＳ２４０：ＮＯ）は、ステップＳ２６０に進む。

ステップＳ２５０では、演算処理部１４ｂは、カウンタ変数ｊの更新を行う。カウンタ変数ｊは、ｌｉｓｔ［ｊ］がｌｉｓｔ［ｉ］−ｎ以上となる最も小さなｊとする。その後、ステップＳ２２０に戻り、以降の処理を繰り返す。

フラッシュを検出したすべての発光時刻に得点がつくと、ステップＳ２６０において、演算処理部１４ｂは、得点を格納した配列ｐｏｉｎｔ［］を降順にソートする。また、演算処理部１４ｂは、配列ｐｏｉｎｔ［］の各要素がそれぞれどの時刻のものなのかを表す配列ｌｉｎｋ［］を生成し、これをメモリ１４ａに格納する。例えば、時刻ｌｉｓｔ［ｐ］における得点がｐｏｉｎｔ［ｑ］だった場合、ｐ＝ｌｉｎｋ［ｑ］となる。

次いで、ステップＳ２７０では、演算処理部１４ｂは、重複する複数の発光時刻を統合する。ある得点ｐｏｉｎｔ［ｊ］を有する時刻ｌｉｓｔ［ｌｉｎｋ［ｊ］］が、ｐｏｉｎｔ［ｊ］より高い得点ｐｏｉｎｔ［ｉ］（すなわちｊ＞ｉ）を有する時刻ｌｉｓｔ［ｌｉｎｋ［ｉ］］とｌｉｓｔ［ｌｉｎｋ［ｉ］］−ｎの間に含まれる場合、ｐｏｉｎｔ［ｊ］＝０とする。

次いで、ステップＳ２８０では、演算処理部１４ｂは、得点の高い順に、配列ｌｉｎｋ［］の先頭から順に時刻ｌｉｓｔ［ｌｉｎｋ［ｋ］］（０≦ｋ＜ｍ）を取得し、ハイライトが存在する時刻とする。ここでｍは任意の自然数であり、一連の映像中から取得するハイライトの数を表す。

最後に、ステップＳ２９０では、演算処理部１４ｂは、ステップＳ２８０で取り出した各ハイライトの時刻を含むハイライト区間を生成するために、各ハイライトに対応する始点と終点とを決定する。始点と終点は、単純にハイライトが存在する時刻の前後の一定時間、としてもよいし、ハイライトが存在する時刻に最も近い映像のカット点を検索して、そこを始点や終点にしてもよい。

そして、ハイライト選択部１４の演算処理部１４ｂは、各ハイライトに対応する始点と終点とを決定すると、その結果を外部の再生制御装置２に出力する。再生制御装置２では、ハイライト選択部１４からの出力に基づいて、入力映像中のハイライトの映像を再生する。

このように本実施の形態によれば、入力映像に映りこんでいるカメラのフラッシュの発光箇所の入力映像における相対時刻をフラッシュの発光時刻として検出し、検出した各発光時刻から、当該発光時刻以前の所定の時間内に含まれる発光時刻の数に基づいて、所定の数の発光時刻をハイライトが存在する時刻として選択し、選択した時刻を含む区間をハイライト区間として選択するので、利用者が自らビデオカメラなどで撮影したプライベートコンテンツに対しても、重要なシーンをハイライトとして抽出することが可能になる。これにより、例えば、結婚式や発表会などのイベントを撮影したコンテンツにおいて、イベントが盛り上がるシーンにすばやくアクセスして再生することや、プライベートコンテンツを要約視聴することが可能となる。

本発明は、カメラのフラッシュが頻繁に発光しているシーンは重要なシーンであるという仮定を置くことにより、単純な処理でプライベートコンテンツのハイライト検出を可能にしている。顔認識や音声認識といった複雑な処理を必要としないため、高い演算能力が見込めないＤＶＲ（Digital Video Recorder）やビデオカメラなどの組み込み機器への適用が可能である。

以下に、本発明をＤＶＲおよびビデオカメラに適用した実施例について説明する。

（実施例１）
図５は本発明を適用したＤＶＲの構成を示すブロック図である。図５に示すようにＤＶＲ３０は、外部機器との入出力を仲介するインターフェース３１と、映像の圧縮符号化および符号化データの復号を行うエンコード・デコード回路３２と、エンコード・デコード回路３２で生成された符号化データを格納するＨＤＤ３３と、利用者の操作を受け取り、結果を出力するユーザインターフェース３４と、装置各部を制御する制御部３５とを備える。

制御部３５はＣＰＵ（中央演算処理装置）３５ａとメモリ３５ｂとを備える。ＣＰＵ３５ａは、メモリ３５ｂに格納されているプログラムにしたがって、図２のフローチャートに示した発光時刻検出処理、および図４のフローチャートに示したハイライト選択処理を実行する。また、ＤＶＲ３０の外部に、インターフェース３１を介して、外部ストレージ４１とテレビモニタ４２とが接続されている。

このような構成のＤＶＲ３０において、外部ストレージ４１として家庭用のビデオカメラが接続されたとする。ＣＰＵ３５ａの制御の下、ビデオカメラで再生された映像はインターフェース３１を介してエンコード・デコード回路３２に入力され、ここで圧縮符号化処理によって符号化データに変換され、生成された符号化データはＨＤＤ３３に格納される。

そして、ＣＰＵ３５ａは、発光時刻検出処理のプログラムに従い、エンコード・デコード回路３２、またはＨＤＤ３３から映像を読み出し、図２のフローチャートに示した発光時刻検出処理を実行し、検出した発光時刻をＨＤＤ３３に格納する。

利用者がユーザインターフェース３４を介してハイライト区間の再生を指示すると、ＣＰＵ３５ａは、ＨＤＤ３３から発光時刻を読み出し、ハイライト選択処理のプログラムに従い、図４のフローチャートに示したハイライト選択処理を実行し、再生するハイライト区間を決定する。

そして、決定したハイライト区間に基づいて、ＣＰＵ３５ａは、再生する区間の符号化された映像データをＨＤＤ３３から読み出し、読み出した符号化データを復号し、復号された映像を、インターフェース３１を介して出力するようにエンコード・デコード回路３２を制御する。出力された映像は、ＤＶＲ３０の外部に接続されたテレビモニタ４２によって表示される。

（実施例２）
図６は本発明を適用したＨＤＤ搭載の家庭用ビデオカメラの構成を示すブロック図である。図６に示すようにビデオカメラ５０は、撮像素子５１と、撮像素子５１を駆動する撮像素子ドライバ回路５２と、映像の圧縮符号化および符号化データの復号を行うエンコード・デコード回路５３と、エンコード・デコード回路５３で生成された符号化データを格納するＨＤＤ５４と、映像を表示する液晶ディスプレイ５５と、液晶ディスプレイ５５を駆動する液晶ドライバ回路５６と、利用者の操作を受け取り、結果を出力するユーザインターフェース５７と、装置各部を制御する制御部５８とを備える。

制御部５８はＣＰＵ５８ａとメモリ５８ｂとを備える。ＣＰＵ５８ａは、メモリ５８ｂに格納されているプログラムにしたがって、図２のフローチャートに示した発光時刻検出処理、および図４のフローチャートに示したハイライト選択処理を実行する。

このような構成のビデオカメラ５０において、ＣＰＵ５８ａの制御の下、撮像素子５１によって撮像された映像は、撮像素子ドライバ回路５２を介して制御部５８に読み込まれる。映像はエンコード・デコード回路５３で圧縮符号化された後、生成された符号化データはＨＤＤ５４に格納される。

それと同時に、ＣＰＵ５８ａは、発光時刻検出処理のプログラムに従い、エンコード・デコード回路５３、またはＨＤＤ５４から映像を読み出し、図２のフローチャートに示した発光検出処理を実行し、検出した発光時刻をＨＤＤ５４に格納する。

利用者がユーザインターフェース５７を介してハイライト区間の再生を指示すると、ＣＰＵ５８ａは、ＨＤＤ５４から発光時刻を読み出し、ハイライト選択処理のプログラムに従い、図４のフローチャートに示したハイライト選択処理を実行し、再生するハイライト区間を決定する。

そして、決定したハイライト区間に基づいて、ＣＰＵ５８ａは、再生する区間の符号化された映像データをＨＤＤ５４から読み出し、読み出した符号化データを復号し、復号された映像を液晶ドライバ回路５６に出力するようにエンコード・デコード回路５３を制御する。その後、ＣＰＵ５８ａは、液晶ディスプレイ５５にハイライト区間の映像を表示するように液晶ドライバ回路５６を制御する。

なお、実施例２ではＨＤＤに記録された映像情報を解析する例を示したが、記録媒体は光ディスク、あるいは半導体メモリでもよい。また、ネットワークに接続された媒体であれば同様の方法が適用できるので、通信を用いた映像コンテンツサービスにも適用することが可能である。

本発明の一実施の形態に係るハイライト抽出装置の構成を示すブロック図である。フラッシュの発光時刻を検出する手順を示すフローチャートである。輝度のヒストグラムの一例を示す図である。ハイライト区間を選択する手順を示すフローチャートである。本発明を適用したＤＶＲの構成を示すブロック図である。本発明を適用したビデオカメラの構成を示すブロック図である。

符号の説明

１ハイライト抽出装置
１１映像記憶部
１２発光検出部
１２ａバッファ
１２ｂ演算処理部
１３記憶部
１４ハイライト選択部
１４ａメモリ
１４ｂ演算処理部
３０ＤＶＲ
３１インターフェース
３２エンコード・デコード回路
３３ＨＤＤ
３４ユーザインターフェース
３５制御部
３５ａＣＰＵ
３５ｂメモリ
４１外部ストレージ
４２テレビモニタ
５０ビデオカメラ
５１撮像素子
５２撮像素子ドライバ回路
５３エンコード・デコード回路
５４ＨＤＤ
５５液晶ディスプレイ
５６液晶ドライバ回路
５７ユーザインターフェース
５８制御部
５８ａＣＰＵ
５８ｂメモリ

Claims

映像中に映りこんでいるカメラのフラッシュの発光に基づいて前記映像中の重要シーンとなる部分をハイライトとして抽出するハイライト抽出装置であって、
入力映像の各フレームについてフラッシュの発光の有無を検出し、フラッシュの発光有りと検出されたフレームの前記入力映像における相対時刻をフラッシュの発光時刻として検出する発光検出手段と、
この発光検出手段で検出した前記発光時刻を格納する記憶手段と、
この記憶手段に格納された前記発光時刻のそれぞれについて、当該発光時刻以前の所定の時間内に含まれる発光時刻の数を前記各発光時刻の得点として算出し、当該発光時刻が、当該発光時刻の得点より高い得点を有する発光時刻以前の前記所定の時間内に含まれるときは、当該発光時刻の得点を取り消した後、得点の高い順から所定の数の前記発光時刻をハイライトが存在する時刻として選択し、選択した前記時刻を含む区間を前記入力映像におけるハイライト区間として選択するハイライト選択手段と
を備えることを特徴とするハイライト抽出装置。
映像中に映りこんでいるカメラのフラッシュの発光に基づいて前記映像中の重要シーンとなる部分をハイライトとして抽出するハイライト抽出装置であって、
入力映像の各フレームについて輝度ヒストグラムを生成し、当該フレームの輝度ヒストグラムと当該フレームから第１の所定数前のフレームの輝度ヒストグラムとの相関を第１の相関として算出し、当該フレームの輝度ヒストグラムと当該フレームから前記第１の所定数よりも大きな第２の所定数前のフレームの輝度ヒストグラムとの相関を第２の相関として算出し、前記第１の相関が所定の第１の閾値より小さく、かつ前記第２の相関が所定の第２の閾値より大きい場合に、当該フレームの前記入力映像における相対時刻をフラッシュの発光時刻として検出する動作をフレーム毎に行う発光検出手段と、
この発光検出手段で検出した前記発光時刻を格納する記憶手段と、
この記憶手段に格納された前記発光時刻のそれぞれについて、当該発光時刻以前の所定の時間内に含まれる発光時刻の数を前記各発光時刻の得点として算出し、当該発光時刻が、当該発光時刻の得点より高い得点を有する発光時刻以前の前記所定の時間内に含まれるときは、当該発光時刻の得点を取り消した後、得点の高い順から所定の数の前記発光時刻をハイライトが存在する時刻として選択し、選択した前記時刻を含む区間を前記入力映像におけるハイライト区間として選択するハイライト選択手段と
を備えることを特徴とするハイライト抽出装置。