JP6257337B2 - 画像選択装置 - Google Patents

Description

本発明は、動画から１又は複数のフレーム画像を選択する画像選択装置に関する。

従来から、動画から、その動画の内容を表す代表フレーム画像を抽出する装置がある。動画から代表フレーム画像を抽出する最も簡単な方法は、動画の決められた箇所から１フレームを選択して、代表フレーム画像とする方法である。その方法は、例えば、動画の冒頭の１フレームを選択したり、動画の時間的な中間点にある１フレームを選択したりする方法である。ここで、特許文献１に記載された方法は、動画の冒頭から所定時間経過した１フレームを選択して、代表フレーム画像としている。

特開２００５−１５１０８５号公報

しかしながら、上述した従来の方法は、動画の内容が全く考慮されていない。
また、特許文献１に記載された方法では、代表フレーム画像が適切でない場合、ユーザの操作に基づいて１フレーム選択して、代表フレーム画像としている。しかしながら、ユーザの操作に基づいて代表フレーム画像を設定する方法では、ユーザに手間をかけさせることになる。また、特許文献１に記載された方法では、例えば、長時間動画の場合には、ユーザに負担をかけることになる。

本発明は、動画の内容を考慮してフレーム画像を選択する画像選択装置を提供することを目的とする。

画像選択装置は、動画を取得する取得部と、前記取得部によって取得された動画を構成する複数のフレーム画像それぞれについて、フレーム画像に映る物体毎の領域に分割する分割部と、前記分割部によって分割された領域について、複数のフレーム間で一致又は類似するものを１つのクラスとすることにより量子化する量子化部と、前記量子化部によって得られたクラスがより多く映るフレーム画像を、前記複数のフレーム画像の中から代表フレーム画像として選択する選択部と、を備える。

前記選択部は、前記量子化部によって得られた複数のクラスのうち、より多くのクラスが映るフレーム画像を代表フレーム画像として選択すると共に、前記複数のクラスのうちの一部が映る代表フレーム画像を複数選択することにより前記複数のクラスの全てを網羅することが好ましい。

また、画像選択装置は、動画を取得する動画取得部と、前記動画取得部によって取得された動画を構成する複数のフレーム画像において、複数のフレーム画像を比較することにより、フレーム画像に映る物体のフレーム間の変化量を取得する変化量取得部と、前記変化量取得部によって取得された変化量の累積和を記憶する記憶部と、前記記憶部に記憶される累積和が所定の閾値に到達した場合に、到達した時のフレーム画像を、前記複数のフレーム画像の中から代表フレーム画像として選択する選択部と、を備える。

本発明によれば、動画の内容を考慮してフレーム画像を選択する画像選択装置を提供することができる。

第１実施形態の画像選択装置について説明するためのブロック図である。 第１実施形態の画像選択装置の動作について説明するための図である。 第１実施形態の画像選択装置の動作について説明するためのフローチャートである。 第２実施形態の画像選択装置について説明するためのブロック図である。 第２実施形態の画像選択装置の動作について説明するための図である。 第２実施形態の画像選択装置の動作について説明するためのフローチャートである。 第３実施形態の画像選択装置について説明するためのブロック図である。 閾値を設定するためのフローチャートである。 第３実施形態の画像選択装置の動作について説明するための図である。

［第１実施形態］
まず、第１実施形態について説明する。図１は、第１実施形態の画像選択装置１について説明するためのブロック図である。
第１実施形態の画像選択装置１は、取得部１１と、分割部１２と、量子化部１３と、選択部１４と、第１記憶部１５と、第２記憶部１６と、を備える。

取得部１１は、動画を取得する。動画は、複数のフレーム画像から構成される。動画は、テレビ番組全体であってもよく、動画の一部（例えば、ショット）であってもよい。取得部１１は、動画からフレーム画像を順に取り出す。フレーム画像の解像度が予め設定された閾値よりも大きい場合には、取得部１１は、フレーム画像をリサイズしてもよい。

分割部１２は、取得部１１によって取得された動画を構成する複数のフレーム画像それぞれについて、フレーム画像に映る物体毎の領域に分割する。すなわち、分割部１２は、取得部１１から取得したフレーム画像を画像領域に分割する。画像領域への分割方法は、種々の技術を利用することができる。一例として、分割方法は、色やテクスチャ等が類似した隣接領域を連結していく領域拡張法等の技術を利用したり、オブジェクト単位で領域を推定するような技術を利用したりすることができる。分割部１２は、全てのフレーム画像について画像領域に分割する処理を行う。分割部１２は、分割した領域（画像領域）を第１記憶部１５に記憶する。

量子化部１３は、分割部１２によって分割された領域について、複数のフレーム間で一致又は類似するものを１つのクラスとすることにより量子化する。すなわち、量子化部１３は、第１記憶部１５に記憶された画像領域について量子化する。ここで、量子化とは、複数の画像領域を、限られた数種類の代表データに置き換えることをいう。より具体的には、量子化部１３は、一致又は類似する画像領域を１つのクラスにまとめることによって、画像領域の種類を減らす。これにより、画像選択装置１は、集合に含まれるデータの種類数を減らし、後述する選択部１４による代表フレーム画像の選択のための処理負荷の軽減を図ることができる。

量子化の方法としては、ｋ平均法のようなクラスタリングを用いる方法、又は、事前に求めておいた限られた種類の代表データに割り当てる方法を利用することができる。代表データに基づく方法における代表データは、対象とする動画ジャンル（例えば、自然番組、時代劇等）が限られている場合などに有効である。例えば、動画が自然番組に限定されている場合には、森や川などのような、自然番組に出現する代表的なテクスチャデータを事前に求め、代表データに設定する。

クラスタリングに基づく方法と、代表データに基づく方法のいずれの場合においても、画像領域間の距離を定義する必要がある。例えば、クラスタリングに基づく方法では、類似した画像領域を同じクラスタに統合する際に必要となる。また、代表データに基づく方法では、それぞれの画像領域をどの代表データに割り当てるかを決定する際に必要となる。距離の定義方法については、下式のように単純に画素値の差分二乗和を利用する方法が挙げられる。

また、距離の定義方法は、公知のローカルバイナリパターンなどに基づいてテクスチャの類似性を測る方法もある。さらに、距離の定義方法は、公知の分類技術を利用してテクスチャ間の距離を測る方法もある。

選択部１４は、量子化部１３によって得られたクラスがより多く映るフレーム画像を代表フレーム画像として選択する。選択部１４は、量子化部１３によって得られた複数のクラスのうち、より多くのクラスが映るフレーム画像を代表フレーム画像として選択すると共に、複数のクラスのうちの一部が映る代表フレーム画像を複数選択することにより複数のクラスの全てを網羅する。選択部１４は、選択した代表フレーム画像を第２記憶部１６に記憶する。

すなわち、選択部１４は、量子化部１３によって量子化された画像領域の集合を含有するようなフレーム画像の集合を求めることで代表フレーム画像の集合を決定する。具体的には、選択部１４は、入力動画の全フレームから求めた量子化済みの画像領域集合を対象とし、その画像領域集合を覆うようなフレーム画像の集合を入力動画の中から求める。選択部１４は、求めた結果を代表フレーム画像とする。

なお、選択部１４は、代表フレーム画像を選択する場合に、例えば、グリーディー法を利用して近似解を求める手法、遺伝的アルゴリズムを利用する手法、ラグランジュとグリーディ法を組み合わせた手法等を用いることが可能である。
グリーディー法は、例えば、量子化部１３によって量子化された複数のクラスのうち、クラスをより多く含むフレーム画像を代表フレーム画像として選択することを繰り返す方法である。この繰り返しは、複数のクラスの全てが複数の代表フレーム画像のいずれかに含まれるまで実行される。

次に、画像選択装置１の動作について説明する。図２は、第１実施形態の画像選択装置１の動作について説明するための図である。図３は、第１実施形態の画像選択装置１の動作について説明するためのフローチャートである。

図３に示すステップＳＴ１において、取得部１１は、動画を構成する全てのフレーム画像を取得したか判断する。全てのフレーム画像を取得していない場合（ＮＯ）には、処理は、ステップＳＴ２に進む。全てのフレーム画像を取得した場合（ＹＥＳ）には、処理は、ステップＳＴ４に進む。

ステップＳＴ２において、取得部１１は、動画を取得する。ここで、動画は、図２（Ａ）に示すように、複数のフレーム画像２０で構成される。

ステップＳＴ３において、分割部１２は、ステップＳＴ２で取得された動画のフレーム画像を領域（画像領域）に分割する。すなわち、分割部１２は、フレーム画像を、色やテクスチャ、オブジェクト等に基づいて領域へ分割し、入力動画を画像領域の集合に変換する。例えば、図２（Ｂ）に示すように、１つのフレーム画像２０に「山」、「車」、「太陽」及び「雲」が映っているとすると、分割部１２は、図２（Ｃ）に示すように、「山」、「車」、「太陽」及び「雲」それぞれに対応する画像領域に分割する。ステップＳＴ３の後、処理は、ステップＳＴ２に戻る。

ステップＳＴ４は、ステップＳＴ１で「ＮＯ」と判断された場合に到達する。ステップＳＴ４において、量子化部１３は、全フレームから得られた画像領域について量子化する。
すなわち、量子化部１３は、全フレーム画像から抽出した画像領域を、クラスタリング手法等を利用して制限された数のクラスに分類することで量子化する。例えば、車は車種によらず全て「車」クラスに分類するといったイメージである。これにより、各フレーム画像も量子化された画像領域データの集合で表現されることになる。
具体的な例としては、量子化部１３は、全フレームから得られた画像領域について量子化の結果として、図２（Ｄ）に示すように、「コンピュータ」、「動物」、「鳥」、「人間」、「車」、「太陽」、「山」及び「雲」のクラスを得る。

ステップＳＴ５において、選択部１４は、複数のクラスのうち、より多くのクラスが映るフレーム画像を代表フレーム画像として選択する。選択部１４は、複数の代表フレーム画像を選択することが可能である。選択部１４は、複数のクラスのうち一部のクラスが映る代表フレーム画像を複数選択することによって、全てのクラスを網羅する。
すなわち、選択部１４は、動画全体から取得した画像領域の集合を、最少のフレーム数でカバーできるようなフレーム画像の組み合わせを近似的に求め、それらを映像の代表フレーム画像とする。
例えば、図２（Ｅ）に示すように、選択部１４は、「雲」、「山」及び「コンピュータ」が映る第１フレームと、「山」、「太陽」、「人間」及び「車」が映る第２フレームと、「動物」及び「鳥」が映る第３フレームとのそれぞれを代表フレーム画像として選択する。

以上説明したように、画像選択装置１は、複数のフレーム画像それぞれについて、色やテクスチャ、オブジェクト等に基づいて画像領域に分割した後に量子化を行い、量子化の結果であるクラスの全てが網羅されるように１又は複数のフレーム画像を選択する。選択されたフレーム画像が代表フレーム画像となる。より多くのクラスを含む代表フレーム画像は、動画の内容を表していると考えることができる。よって、画像選択装置１は、動画の内容を考慮したフレーム画像を選択することができる。

動画は、時間軸を持つメディアであるため、短時間で全体の内容を把握することが難しい。この点、画像選択装置１は、動画の内容を表すと考えられるフレーム画像（代表フレーム画像）を選択するので、代表フレーム画像をユーザに確認させることにより、短時間で動画の内容をユーザに把握させることが可能になる。

［第２実施形態］
次に、第２実施形態について説明する。図４は、第２実施形態の画像選択装置１Ａについて説明するためのブロック図である。
第２実施形態の画像選択装置１Ａは、動画取得部３１と、変化量取得部３２と、第１記憶部３３と、選択部３４と、第２記憶部３５と、を備える。

動画取得部３１は、動画を取得する。動画取得部３１は、入力動画からフレーム画像を順に取り出す。フレーム画像の解像度が予め設定された閾値よりも大きい場合には、動画取得部３１は、フレーム画像をリサイズしてもよい。

変化量取得部３２は、動画取得部３１によって取得された動画を構成する複数のフレーム画像において、複数のフレーム画像を比較することにより、フレーム画像に映る物体のフレーム間の変化量を取得する。すなわち、変化量取得部３２は、直前のフレーム画像と、現在のフレーム画像とを比較することによって、フレーム間の変化量を算出する。変化量の算出方法としては、種々の方法が考えられる。漏れが少ないことが重要となる場合には、変化に対して敏感に反応する方法（第１方法）が採用される。なるべく余分な代表フレームが抽出されないことが重要になる場合には、フレーム間の動き情報なども考慮できる方法（第２方法）が採用される。

第１の方法としては、例えば、画素値の絶対差分和、差分二乗和、ヒストグラムの絶対差分和、及び、画像間の余弦を利用する方法がある。

画素値の絶対差分和は、下式により求まる。

ここで、ｆｉ（ｘ，ｙ）は、ｉフレームにおける座標（ｘ，ｙ）の画素値を表す。

また、差分二乗和は、下式により求まる。

また、ヒストグラムの絶対差分和は、下式により求まる。

ここで、ｈｉ（ｂ）は、ｉフレームについての輝度値の頻度ヒストグラムにおけるｂ番目のビンの値を表す。Ｂは、ヒストグラムのビンの総数である。

また、画像間の余弦を利用する方法は、下式を利用する。

第２の方法には、ブロックマッチングによる動き推定方法がある。この方法は、下式のように、フレーム間の動きベクトルを求め、その動きベクトルの長さで変化量を定義する方法である。

ここで、ｖｎは、ｎ番目のブロックにおける動きベクトルを表す。Ｎは、ブロックの総数を表す。

また、変化量取得部３２は、変化量を算出する場合に、フレーム画像内において、変化量を求める際に、フレーム画像内において、より重要と思われる個所の重みを大きくすることもできる。一例として、変化量取得部３２は、フレーム画像の中央付近の重みを大きくし、フレーム画像の縁部の領域の重みを小さくすることができる。又は、変化量取得部３２は、顕著性マップ等を利用し、エッジが集中している箇所、並びに、輝度及び色味の変化が大きい個所の重みを大きくすることもできる。上述した画素値の絶対差分和に対して重み付けをした場合の算出式を以下に例示する。

ここで、ｗ（ｘ，ｙ）は、座標（ｘ，ｙ）の重みを表す。また、ｗ（ｘ，ｙ）の総和は１である。

変化量取得部３２は、上述したように算出した値を、既に算出済みの値と足し合わせて、第１記憶部３３に記憶する。

第１記憶部３３は、本発明の「記憶部」の一実施形態に対応する。第１記憶部３３は、変化量取得部３２によって取得された変化量の累積和を記憶する。

選択部３４は、第１記憶部３３に記憶される累積和が所定の閾値に到達した場合に、到達した時のフレーム画像を代表フレーム画像として選択する。すなわち、選択部３４は、フレーム間の変化量の累積和と閾値の比較によって、現在のフレーム画像を代表フレーム画像として選択するかどうかを判定する。具体的には、選択部３４は、第１記憶部３３に記憶される変化量の累積和が閾値以上となった場合に、代表フレーム画像と判定する。選択部３４は、代表フレーム画像と判定した場合には、第１記憶部３３に記憶される累積和の値をゼロにリセットする。また、選択部３４は、選択した代表フレーム画像を第２記憶部３５に記憶する。

次に、画像選択装置１Ａの動作について説明する。図５は、第２実施形態の画像選択装置１Ａの動作について説明するための図である。図６は、第２実施形態の画像選択装置１Ａの動作について説明するためのフローチャートである。

図６に示すステップＳＴ１１において、動画取得部３１は、動画を構成する全てのフレームを取得したかを判断する。全てのフレームを取得していない場合（ＮＯ）には、処理は、ステップＳＴ１２に進む。全てのフレームを取得した場合（ＹＥＳ）には、処理は、終了する。

ステップＳＴ１２において、動画取得部３１は、動画を取得する。すなわち、動画取得部３１は、動画からフレーム画像を取り出す。

ステップＳＴ１３において、変化量取得部３２は、ステップＳＴ１２で得られたフレームのうち、前フレーム画像と現フレーム画像とから変化量を取得する。

ステップＳＴ１４において、変化量取得部３２は、ステップＳＴ１３で得られた変化量を、既に得られた変化量の累積和に足す。ここで、図５において、縦軸は変化量の累積和を示し、横軸はフレーム番号を示す。図５に示すように、動画が進むにつれて、すなわち、フレーム番号が大きくなるにつれて、変化量の累積和は増加する。

ステップＳＴ１５において、選択部３４は、変化量の累積和が予め設定された閾値に到達したかを判断する。累積和が閾値に到達した場合（ＹＥＳ）には、処理は、ステップＳＴ１６に進む。累積和が閾値に到達していない場合（ＮＯ）には、処理は、ステップＳＴ１１に戻る。

ステップＳＴ１６において、選択部３４は、累積和が閾値に到達したときのフレーム画像（現フレーム画像）を代表フレーム画像として選択する。すなわち、選択部３４は、累積和が閾値ＴＨに到達した時点のフレーム画像Ａ，Ｂ，Ｃ，Ｄを代表フレーム画像として選択する（図５参照）。

ステップＳＴ１７において、選択部３４は、累積和をゼロにする。

以上説明したように、画像選択装置１Ａは、フレーム間の変化量の累積和が閾値到達すると、到達した時のフレーム画像を代表フレーム画像として選択する。このような画像選択装置１Ａは、フレーム間の変化が少ない区間からは長い時間間隔で代表フレーム画像が抽出され、フレーム間の変化が多い区間からは短い時間間隔で多くの代表フレーム画像が抽出されることになる。これは、変化が少ない区間においては、カメラが静止しているなど、ほとんど動画の内容が変わっていない場合が多く、逆に変化が多い区間ではカメラがまったく別の方向に向いたり、映っている被写体が入れ替わったりしている場合が多いという知見に基づいている。この結果、画像選択装置１Ａは、変化が少ない区間からは少ない代表フレーム画像を選択し、変化の多い区間からは多くの代表フレームを選択する。このように、フレーム間の変化を考慮した代表フレーム画像は、動画の内容を表していると考えることができる。よって、画像選択装置１Ａは、動画の内容を考慮したフレーム画像を選択することができる。

［第３実施形態］
次に、第３実施形態について説明する。第３実施形態の画像選択装置１Ｂは、第２実施形態の画像選択装置１Ａと同様の構成である。このため、第３実施形態では、第２実施形態と同様の構成については、説明を省略する。

図７は、第３実施形態の画像選択装置１Ｂについて説明するためのブロック図である。
画像選択装置１Ｂは、動画取得部４１と、変化量取得部４２と、第１記憶部４３と、第２記憶部４５と、選択部４４と、を備える。動画取得部４１と、変化量取得部４２と、第１記憶部４３と、第２記憶部４５とは、第２実施形態の各部と同様の構成である。

選択部４４は、第１記憶部４３に記憶される累積和が所定の閾値に到達した場合に、到達した時のフレームを代表フレーム画像として選択する。すなわち、選択部４４は、フレーム間の変化量の累積和と閾値の比較によって、現在のフレーム画像を代表フレーム画像として選択するかどうかを判定する。具体的には、選択部４４は、第１記憶部４３に記憶される変化量の累積和が閾値以上となった場合に、代表フレーム画像と判定する。選択部４４は、代表フレーム画像と判定した場合には、第１記憶部４３に記憶される累積和の値をゼロにリセットする。また、選択部４４は、選択した代表フレーム画像を第２記憶部４５に記憶する。

閾値は、予め設定されている。閾値を設定する場合、まず、画像選択装置１Ｂは、動画取得部４１の処理と、変化量取得部４２の処理とを動画全体に対して適用することにより、動画全体の変化量の累積和を求める。選択部４４は、動画全体の変化量の累積和を所定値に等分した値を閾値とする。所定の値は、選択したい代表フレームの数である。

具体的には、画像選択装置１Ｂは、次のようにして閾値を設定する。図８は、閾値を設定するためのフローチャートである。

ステップＳＴ２１において、動画取得部４１は、動画を構成する全てのフレーム画像を取得したかを判断する。全てのフレームを取得していない場合（ＮＯ）には、処理は、ステップＳＴ２２に進む。全てのフレームを取得した場合（ＹＥＳ）には、処理は、ステップＳＴ２５に進む。

ステップＳＴ２２において、動画取得部４１は、動画を取得する。すなわち、動画取得部４１は、動画からフレーム画像を取り出す。

ステップＳＴ２３において、変化量取得部４２は、ステップＳＴ２２で得られたフレームのうち、前フレーム画像と現フレーム画像とから変化量を取得する。

ステップＳＴ２４において、変化量取得部４２は、ステップＳＴ２３で得られた変化量を、既に得られた変化量の累積和に足す。ステップＳＴ２４の後、処理は、ステップＳＴ２１に戻る。

ステップＳＴ２５において、選択部４４は、（累積和／指定された代表フレーム画像の数）を閾値に設定する。すなわち、選択部４４は、動画全体の変化量の累積和を、取得したい代表フレーム画像の数で除算し、除算の結果である値を閾値に設定する。

このようにして得られた閾値に基づいて、画像選択装置１Ｂは、代表フレーム画像を選択する。図９は、第３実施形態の画像選択装置１Ｂの動作について説明するための図である。すなわち、画像選択装置１Ｂは、再度、動画を取得して、変化量の累積和が閾値ＴＨに到達するたびに、その到達した時点のフレーム画像Ｅ，Ｆ，Ｇ，Ｈ，Ｉを代表フレーム画像として選択する（図９参照）。

以上説明したように、画像選択装置１Ｂは、フレーム間の変化量の累積和が閾値到達すると、到達した時のフレーム画像を代表フレーム画像として選択する。したがって、画像選択装置１Ｂは、第２実施形態と同様に、動画の内容を考慮したフレーム画像を選択することができる。

１ 画像選択装置
１１ 取得部
１２ 分割部
１３ 量子化部
１４ 選択部
１Ａ，１Ｂ 画像選択装置
３１，４１ 動画取得部
３２，４２ 変化量取得部
３３，４３ 第１記憶部（記憶部）
３４，４４ 選択部

Claims (2)

1. 動画を取得する取得部と、
   前記取得部によって取得された動画を構成する複数のフレーム画像それぞれについて、フレーム画像に映る物体毎の領域に分割する分割部と、
   前記分割部によって分割された領域について、複数のフレーム間で一致又は類似するものを１つのクラスとすることにより量子化する量子化部と、
   前記量子化部によって得られたクラスがより多く映るフレーム画像を、前記複数のフレーム画像の中から代表フレーム画像として選択する選択部と、
   を備える画像選択装置。
2. 前記選択部は、前記量子化部によって得られた複数のクラスのうち、より多くのクラスが映るフレーム画像を代表フレーム画像として選択すると共に、前記複数のクラスのうちの一部が映る代表フレーム画像を複数選択することにより前記複数のクラスの全てを網羅する
   請求項１に記載の画像選択装置。

Images