JP4981128B2 - 映像からのキーフレーム抽出 - Google Patents

Description

本発明は、映像からのキーフレーム抽出に関する。

映像は、画像シーンの映像スナップショットをそれぞれ含む一連のビデオフレームを含む場合がある。一連のビデオフレームは、表示装置上に適切なフレームレートで描画されて映像の再生が行われる。

映像システムは、キーフレームとして使用される映像のビデオフレームのサブセットを抽出する機能を有することがある。例えば、映像から１組のキーフレームが抽出されて映像のストーリーボードが構成される。抽出されたキーフレームを、視聴者に映像の内容を視覚表示する一連のサムネイル画像として描写することによって、ストーリーボードが構成されることがある。

映像からキーフレームを抽出する方法は、映像中のショット（shot）の配列に基づくことがある。例えば、専門的に編集された映像は、１組の注意深く選択されたショットに配列される場合がある。キーフレームは、ショット間の境界を検出し次に各ショットの始まり、中間又は終わりでキーフレームを選択することによって編集済み映像から抽出される場合がある。

残念ながら、映像中のショットの始まり、中間、又は終わりからキーフレームを抽出すると、映像を表現するのに最適なキーフレームが得られない場合がある。更に、映像中のショットの配列に基づいて映像からキーフレームを抽出すると、キーフレーム抽出のフレキシビリティが提供されないことがある。例えば、映像中のショットの配列に基づく映像からのキーフレームの抽出は、映像システムの基本プラットフォームの性質や映像システムの通信制約を考慮しない場合がある。

映像からのフレキシブルなキーフレーム抽出を可能にする技術が開示される。この教示に係るキーフレーム抽出は、映像を、１組のビデオフレームをそれぞれ含む１組のショットにセグメント化し、対応するビデオフレームの画質に応じてショットから１組のキーフレームを選択する段階を含む。この技術は、キーフレーム抽出を基本プラットフォームに適応させることを可能にする１組のユーザ選択可能モードを含む。

本発明の他の特徴及び利点は、以下の詳細な説明から明らかになるであろう。

本発明は、その特定の例示的実施形態に関して説明され、従って添付図面が参照される。

この教示を実現する映像システムを示す図である。 映像から１組のキーフレームを抽出する方法を示す図である。 映像中のショットを検出する方法を示す図である。 映像中のショットからキーフレームを抽出する方法を示す図である。 キーフレーム抽出のための１組のユーザ選択可能モードを含む映像システムを示す図である。 複数のキーフレーム抽出モードを使用して映像から１組のキーフレームを抽出する方法を示す図である。 映像中の１組のショットに一定数のキーフレームを割り当てる方法を示す図である。 一定レートモードで映像の各期間にキーフレームを割り当てる方法を示す図である。

図１は、本教示を実現する映像システム１０を示す。映像システム１０は、映像１２の一連のビデオフレーム１３から１組のキーフレーム１６を抽出するキーフレームエクストラクタ（extractor）１４を含む。キーフレームエクストラクタ１４は、編集済み映像に適応される方法を使用して映像１２からキーフレーム１６を抽出する。例えば、専門的に編集された映像は、編集されず無計画になりやすいアマチュア映像と比べて、慎重に編集され慎重に作成された幾つかのショットを含む可能性が高い。専門家の映像は、カメラの動き（例えば、対象物の動きを追跡するカメラの動き）が比較的遅くまたカメラの動きが比較的わずかな場合がある。専門家の映像は、アマチュアの映像と比べて頻繁なショットカットを有する場合がある。

図２は、映像１２からキーフレーム１６を抽出する方法を示す。示した方法段階は、キーフレームエクストラクタ１４によって実行される。段階１００で、映像１２が１組のショットにセグメント化（segment）される。１つのショットは、連続的に捕捉された一連のビデオフレームとして定義されることがある。段階１００は、ショット間の境界を検出することによってショットを検出する段階を含む。段階１００で検出された映像１２のショット数はＳ個である。段階１００からの各ショットは、映像１２からの対応する一連のビデオフレームを含む。段階１０２で、１組のキーフレームが、対応するビデオフレームの画質及び映像内容変化に応じて各ショットから選択される。

図３は、段階１００における映像１２中のショットを検出する方法を示す。段階３０で、映像１２中の各ビデオフレーム１３ごとにカラーヒストグラム、明るさ及び鮮明さが決定される。

ビデオフレーム内の画素の平均輝度を計算することによってビデオフレームの明るさを決定することができる（例えば、以下の式に従って）。

ここで、ｙ（ｉ，ｊ）は、ビデオフレーム内の（ｉ，ｊ）における画素の輝度であり、ＮとＭはそれぞれビデオフレームの高さと幅である。

ビデオフレームの鮮明さは、次のように決定することができる。最初に、例えば以下の式に従って、エッジ検出フィルタがビデオフレームに適用される。

Ｅ_ｘ（ｉ，ｊ）＝（（ｙ（ｉ−１，ｊ＋１）−ｙ（ｉ−１，ｊ−１））＋（ｙ（ｉ，ｊ＋１）−ｙ（ｉ，ｊ−１））ｘ２＋（ｙ（ｉ＋１，ｊ＋１）−ｙ（ｉ＋１，ｊ−１）））／８
Ｅ_ｙ（ｉ，ｊ）＝（（ｙ（ｉ＋１，ｊ−１）−ｙ（ｉ−１，ｊ−１））＋（ｙ（ｉ＋１，ｊ）−ｙ（ｉ−１，ｊ））ｘ２＋（ｙ（ｉ＋１，ｊ＋１）−ｙ（ｉ−１，ｊ＋１）））／８
ｉ＝２，Ｋ，Ｎ−１、ｊ＝２，Ｋ，Ｍ−１の場合

次に、以下の式を使って鮮明さを決定することができる。

段階３２で、映像１２中の連続する各対のビデオフレームのカラーヒストグラムの差が決定される。対になったカラーヒストグラムの差は、カラーヒストグラム差の一時的曲線を示す。

段階３４で、カラーヒストグラム差の平均と分散が決定される。段階３６で、段階３４による平均と分散に従って適応しきい値が決定される。段階３６の適応しきい値は、しきい値＝平均＊アルファ＋標準＊ベータでよく、ここで、アルファ＝２、ベータ＝３であり、平均と標準は、新しいフレームごとに更新される。平均と分散は、段階３２からの新しい組のカラーヒストグラム差データごとに更新される。

段階３８で、段階３６からの適応しきい値を使用して映像１２中の１組のショット境界が検出される。映像１２中の明瞭なショットは、トランジション（transition）を含まない連続したビデオフレーム、例えば映像１２中のディゾルブ（dissolve）しない連続したビデオフレーム、映像１２中のフェードインしない連続したビデオフレーム、及び映像１２中のフェードアウトしない連続したビデオフレームである。また、段階３６の適応しきい値により、映像１２中のショット間のディゾルブ境界を示す連続したビデオフレームを検出することができる。段階３６の適応しきい値は、映像１２の背景に明るさの変化がある場合に疑似アラームを生成することがあるが、そのような希なケースではキーフレーム抽出にほとんど影響しない。

段階４０で、映像１２のフェードイン、フェードアウト、ディゾルブトランジションにおける黒ビデオフレームと不鮮明ビデオフレームが検出される。映像１２中のショット間のフェードイン及びフェードアウト境界は、映像１２中の黒ビデオフレームによって示され、均一色を有する映像１２中のビデオフレームを検出することによって示される場合がある。黒ビデオフレームと均一色を有するビデオフレームとは、フレームの明るさと鮮明さとに応じて決定されてもよい。映像１２中のショット間のフェードイン境界とフェードアウト境界に対応するビデオフレームを削除することによって、映像１２中の移行期間に対応する一連のビデオフレーム１３からキーフレームが選択されなくなる。映像１２中のディゾルブ境界に対応するキーフレームの選択を防ぐために、ビデオフレームの鮮明さを使用することもできる。

図４は、段階１０２で映像１２中のショットからキーフレームを選択する方法を示す。段階７０で、ショット中の各ビデオフレームのエントロピーが決定される。

ビデオフレームのエントロピーは、次の式により決定することができる。

ここで、ｈｉｓｔ（ｉ）は、ビデオフレームのヒストグラムであり、Ｎは、ヒストグラムのビンの数であり、フレームサイズは、ビデオフレーム内のピクセル数であり、即ち、フレームサイズ＝フレーム幅＊フレーム高さである。

段階７２で、ショット内の各ビデオフレームの鮮明さが決定される。段階７４で、ショット内の各ビデオフレームの明るさが決定される。

段階７６で、ショット内の各ビデオフレームのコントラストが決定される。ビデオフレームのコントラストは、例えば以下の式に従って、ビデオフレームの輝度の分散を計算することによって決定することができる。

段階７８で、ショット内の明るすぎるビデオフレームが、対応する明るさと鮮明さとに応じて検出される。ショットのキーフレームを選択するとき、明るすぎるショット内のビデオフレームは回避される。

段階８０で、暗すぎるショット内のビデオフレームが、対応する明るさと鮮明さとに応じて検出される。暗すぎるショット内のビデオフレームは、ショットのキーフレームを選択するときに候補（consideration）から除外される。

段階８２で、ショットの始まりの部分と終わりの部分とに対応するショット内のビデオフレームは、ショットのキーフレームを選択するときに候補からブロック（block）される。これにより、映像１２中のトランジション又はショット変化における特殊効果（例えば、ディゾルブ）に対応するキーフレームが回避される。また、これにより、内容中の互いに似たキーフレームが回避される。

段階８４で、ショット内の残りのビデオフレームの中から、エントロピー、鮮明さ及びコントラストに応じてキーフレームが選択される。最高のエントロピー、鮮明さ及びコントラストを有するキーフレームが選択される。

図５は、キーフレーム抽出のための１組のユーザ選択可能モードを含む映像システム１０の一実施形態を示す。この実施形態では、キーフレームエクストラクタ１４は、ユーザ選択モード１８に応じて映像１２からキーフレーム１６を抽出する。ユーザ選択モード１８は、１組の可能なキーフレーム抽出モード（モード１〜３）のうちの１つを指定する。ユーザ選択可能モード１〜３によって、キーフレーム抽出を、様々な特徴を有するシステムに適応することが可能になる。

モード１で、キーフレームエクストラクタ１４は、映像１２中の各ショットから１つのキーフレームを抽出する。モード１は、抽出されたキーフレームを使って映像１２のストーリーボードを構成するように適用可能である。モード１で１つのショット用に抽出されるキーフレームは、そのショット内の最高画質を有するビデオフレームである。これは、ショットから最初のフレーム又は任意のフレームを抽出する従来の方法と対照的である。

モード２で、キーフレームエクストラクタ１４は、映像１２の長さ全体から一定数のキーフレームを抽出する。モード２は、キーフレーム１６を表示する領域が制限される用途（例えば、携帯電話やＰＤＡの表示装置）に適用可能である。モード２の特殊なケースは、映像１２をサムネイルとして表わす１つのキーフレームである。

モード３では、キーフレームエクストラクタ１４は、一定のキーフレームレートでキーフレームを抽出する。即ち、一定の時間期間ごとに１つのキーフレーム（例えば、２秒ごとに１つのキーフレーム）が抽出される。モード３は、制限された帯域幅を有する通信チャネルを介して映像内容が送信される用途に適用可能である。モード３は、リフレッシュしたキーフレームをユーザに一定のレートで提供する。キーフレームレートはユーザによって選択されてもよい。

図６は、複数のキーフレーム抽出モードを使用して映像１２からキーフレーム１６を抽出する方法を示す。図示した方法段階は、キーフレームエクストラクタ１４によって、モード１、モード２又はモード３を指定するユーザ選択モード１８に応じて実行される。段階２０で、映像１２は、１組Ｓ個のショットにセグメント化される。

ユーザ選択モード１８がモード１を示す場合は、段階２２で、段階２０で得られた各ショットから１つのキーフレームが選択される。段階２２で、方法段階７０〜８４に従ってショットからキーフレームが選択される。

ユーザ選択モード１８がモード２を示す場合は、段階２４で、段階２０で得られたＳ個のショットから一定数Ｋ個のキーフレームが選択される。段階２４は、Ｋ個のキーフレームをＳ個のショットに割り当てることを含む。段階２４で、方法段階７０〜８４に従ってショットからキーフレームが選択される。

ユーザ選択モード１８がモード３を示す場合は、段階２６で、段階２０で得られたショットから一定の時間期間（Ｔ）ごとに１つのキーフレームが抽出される。段階２６は、映像１２の各期間Ｔに１つのキーフレームを割り当てることを含む。段階２６で、映像１２から、方法段階７０〜８４に従うが１ショット内ではなく映像１２中の期間Ｔにある１つのキーフレームが抽出される。

図７は、段階２４でＫ個のキーフレームをＳ個のショットに割り当てる方法を示す。段階５０で、ＫがＳより大きい場合は、段階５２で、映像１２中のＳ個のショットがそれぞれ、その長さとその内容変化スコアとに関してランク付けされる。

ｉ番目のショットのランクを次のように決定することができる。
ｒａｎｋ（ｉ）＝長さ（ｉ）ｘｈｃ

ここで、長さ（ｉ）は、ショット内のビデオフレームの数で表したショットの長さであり、ｈｃは、ショット内の最大ヒストグラム差を示す値である。ｈｃの値は、ショットの最初と最後の部分をスキップし（例えば、ショット内の最初の１０個のフレームおよび最後の１０個のフレームをスキップするか、ショットが３０個未満のフレームを含む場合は、ショットの最初の１／３および最後の１／３をスキップし）、次にフレームの残りの部分について各対の連続したフレーム間のヒストグラム差を計算し、最大ヒストグラム差値がｈｃになるように選択することによって評価することができる。

段階５４で、最も高いランクを有するショットが選択される。段階５４で選択されたショットは、２つのショットに分割された場合に低品質キーフレームが生成される可能性があるかどうか、例えば、新しいショットの一方が低品質ビデオフレームだけを含むかどうかを判定するために調べられる。ビデオフレームの品質をランク付けする品質スコアは、ビデオフレームのエントロピー、鮮明さ及びコントラストに応じて計算されてもよく、例えば、品質スコア＝エントロピー／２＋鮮明さ／４＋コントラスト／４である。

低品質キーフレームが生成される可能性がある場合は、段階５５で、段階５４で選択されたショットのランクがゼロに設定される。他の場合は、段階５６で、最も高いランクを有するショットが、ショット内の最大ヒストグラム変化を有するビデオフレーム（例えば、未検出ディゾルブに対応するビデオフレーム、又は大きなカメラの動き又は対象物の動きに対応するビデオフレーム）において２つに分割される。段階５６からの分割されたセグメントは、２つの新しいショットとして扱われ、Ｓの値が１増分される。２つの新しいショットのランクが計算される。段階５２〜５６は、ＫがＳと等しくなるまで続く。その後、方法段階７０〜８４に従って映像１２中の各ショットから１つのキーフレームが選択される。

段階５０で、ＫがＳより小さい場合は、段階５８で、方法段階７０〜８４に従って映像１２中の各ショットに１つのキーフレームが割り当てられる。段階６０で、キーフレーム数Ｋがショット数Ｓと等しくなるまで、最低画質を有し段階５８で割り当てられたキーフレームが除去され、最も短いショットに対応し段階５８で割り当てられたキーフレームが除去される。

図８は、段階２６で、キーフレームを映像１２の各期間Ｔに割り当てる方法を示す。段階９０で、キーフレームレート１／Ｔに応じて映像１２のセグメントが選択される。段階９０における最初のセグメントは、映像１２中の最初のビデオフレーム（時間ｔ０のビデオフレーム）と映像１２中の時間ｔ０＋Ｔのビデオフレームとによって範囲が定められた映像１２中のビデオフレームを含む。段階９０における次のセグメントは、映像１２中の時間ｔ０＋Ｔのビデオフレームと映像１２中の時間ｔ０＋２Ｔのビデオフレームとによって範囲が定められた映像１２中のビデオフレームを含み、その後のセグメントも同様である。

段階９２で、段階９０で選択された映像１２のセグメント内にショット境界がある場合は、そのショット境界が検出される。段階９４で、段階９０で選択された映像１２のセグメント内のビデオフレームの画質が決定される。段階９６で、段階９０で選択された映像１２のセグメント内に内容変化がある場合は、その内容変化が決定される。段階９８で、ショット境界、画質及び内容変化に応じて、段階９０で選択された映像１２のセグメントからキーフレームが選択される。例えば、セグメント内にショット境界があり、前のセグメント内の第１のショットから少なくとも１つのキーフレームが選択された場合は、１つのキーフレームが第２のショットに割り当てられる。セグメント内にショット境界がない場合は、セグメント内の最も大きい内容変化の後の１つのキーフレームが選択される。最高画質を有するビデオフレームが、キーフレームとして選択される。

映像システム１０は、コンピュータシステム、映像システム、携帯装置等を含む様々なシステムで実現することができる。

この技術を使用して、ビデオクリップの収集を管理することができる。ビデオクリップから抽出されたキーフレームが、ビデオ印刷及び／又はビデオ閲覧及びビデオ通信（例えば、電子メールや携帯電話ディスプレイ等により）に使用されてもよい。上記のキーフレーム抽出方法によって、ビデオクリップ内のハイライト（highlight）を示すキーフレームが得られ、また視聴者に意味のあるビデオクリップの内容が描画される。この技術は、ビデオクリップの内容の包括的な表現を提供する。抽出されたキーフレームは、ビデオクリップのサムネイル表現、ビデオクリップのプレビュー、及びビデオデータの分類と取得に使用されてもよい。抽出されたキーフレームは、お話の本や郵便はがき等の印刷に使用されてもよい。

本発明の以上の詳細な説明は、例示のためになされるのであって、網羅的なものではなく開示された正確な実施形態に本発明を限定するものでもない。従って、本発明の範囲は、添付の特許請求の範囲によって定義される。

１０ 映像システム
１２ 映像
１３ ビデオフレーム
１４ キーフレームエクストラクタ
１６ キーフレーム
１８ ユーザ選択モード

Claims (7)

1. キーフレーム抽出方法であって、
   映像（１２）を、１組のビデオフレームをそれぞれ有する１組のショット（shot）にセグメント化する（segmenting）段階と、
   前記ビデオフレーム内の映像内容変化を、対応する前記ビデオフレームのヒストグラム差を決定することによって決定し、前記ショットから１組のキーフレーム（１６）を、前記映像内容変化と、対応する前記ビデオフレームの画質とに基づいて、ユーザ選択モードに応じて選択する段階と、
   前記ユーザ選択モードが一定数のキーフレームを選択するモードを示す場合に、選択されたＫ個のキーフレームをセグメント化されたＳ個のショットに割り当てる段階と
   を含み、
   前記割り当てる段階は、
   ＫがＳより大きい場合に、前記各ショットの長さと前記各ショット内の最大のヒストグラム差との積に基づいて前記Ｓ個のショットをランク付けする段階と、
   最も高いランクを有するショットを選択する段階
   を含む
   方法。
2. 選択する段階は、
   前記キーフレーム（１６）を、対応する各ビデオフレームのエントロピーに応じて選択する段階
   を含む
   請求項１に記載の方法。
3. 選択する段階は、
   前記キーフレーム（１６）を、対応する各ビデオフレームの鮮明さに応じて選択する段階
   を含む
   請求項１に記載の方法。
4. 選択する段階は、
   前記キーフレーム（１６）を、対応する各ビデオフレームのコントラストに応じて選択する段階
   を含む
   請求項１に記載の方法。
5. １組のキーフレーム（１６）を選択する段階は、
   前記ユーザ選択モードで指定された通りに前記映像（１２）の一定数のキーフレーム（１６）を選択する段階
   を含む
   請求項１に記載の方法。
6. 選択する段階は、
   前記ユーザ選択モードで指定された通りに前記映像（１２）の一定レートのキーフレーム（１６）を選択する段階
   を含む
   請求項１に記載の方法。
7. 選択する段階は、
   前記ユーザ選択モードで指定された通りに前記映像（１２）中の各ショットの１つのキーフレームを選択する段階
   を含む
   請求項１に記載の方法。

Images