JP4915860B2 - 動画像分類装置 - Google Patents

Description

本発明は、動画像分類装置に関し、特に、プロカメラマンが撮影した動画像かアマチュアが撮影した動画像かを推定して分類する動画像分類装置に関する。

プロカメラマンが撮影し、テレビ番組で放送された動画像が動画像投稿サイトなどに無断で投稿されることが問題になっている。このような動画像の投稿は、著作権侵害が分かった段階で、早急に削除されるのが望ましく、それを補助するために、プロカメラマンが撮影した動画像かアマチュアが撮影した動画像かを推定して分類する動画像分類装置が望まれる。

非特許文献１には、静止画像(写真)を対象としてプロカメラマンが撮影した写真かアマチュアが撮影した写真かを推定して分類する技術が開示されている。ここでは、写真におけるエッジ部分の空間的な分布、色の分布、色調の数、ボケ、コントラスト及び明るさをベイズ識別器を用いて判定し、この判定結果に基づいて、プロカメラマンが撮影した写真かアマチュアが撮影した写真かを推定して分類する。

画像を露出条件、コントラスト、ボケ、ブレ具合の観点から評価することも知られている。例えば、特許文献１には、デジタルカメラなどの画像撮影装置において、記録媒体の残り容量が低いときに、既に記録済みの画像を露出条件、コントラスト、ボケ、ブレ具合の観点から評価し、この評価結果に基づいて記録媒体から削除する画像の候補を決定することが記載されている。
特開２００６−５０４９７号公報 The Design of High-Level Features for photo Quality Assessment」，IEEE International Conference on Computer Vision and Pattern Recognition 2006.

非特許文献１に開示された技術は、静止画像のみを対象としたものであり、これをそのまま動画像の分類に適用した場合、プロカメラマンとアマチュアとの差異として生じる動画像の特徴を何ら利用しないので、分類精度上の問題がある。

特許文献１に開示された技術は、デジタルカメラの記録媒体に記録された画像の中からの不要な画像の消去を意図するものであり、プロカメラマンが撮影したものかアマチュアが撮影したものかを推定し、分類することを意図しない。

動画像を対象とし、プロカメラマンとアマチュアとの差異として生じる動画像の特徴を利用して、プロカメラマンが撮影したものかアマチュアが撮影したものかを推定し、分類する技術は知られていない。

本発明の目的は、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かを精度良く推定して分類する動画像分類装置を提供することにある。

上記目的を達成するため、本発明は、入力動画像の特徴を解析する動画像解析手段と、前記動画像解析手段による解析結果を基に、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する動画像分類手段を具備し、前記動画像解析手段は、入力動画像における画面切り替わりを検出し、検出された画面切り替わりの単位時間当たりの頻度を解析結果として前記動画像分類装置に送出する画面切り替わり頻度測定手段を備え、前記動画像分類手段は、前記画面切り替わり頻度測定手段から解析結果として送出された画面切り替わりの単位時間当たりの頻度が所定閾値以上であるか否かを判定し、画面切り替わりの単位時間当たりの頻度が所定閾値以上と判定した場合に、当該入力画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類する点に第１の特徴がある。
また、本発明は、前記動画像解析手段が、さらに、所定フレーム数に亘って手ブレの有無を判定し、その判定結果を解析結果として前記動画像分類装置に送出する手ブレ有無判定手段を備え、
前記動画像解析手段は、さらに手ブレ有無判定手段からの所定フレーム数に亘って手ブレが無いという解析結果を条件として、当該入力動画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類する点に第２の特徴がある。

また、本発明は、前記動画像解析手段が、さらに、画面のボケの有無を判定し、その判定結果を解析結果として前記動画像分類手段に送出するボケ有無判定手段とコントラストを測定し、その測定結果を解析結果として前記動画像分類手段に送出するコントラスト測定手段の少なくとも一方を備え、前記動画像解析手段が前記ボケ有無判定手段と前記コントラスト測定手段のうちのボケ有無判定手段だけを備える場合、前記動画像分類手段は、さらに前記ボケ有無判定手段からのボケが無いという解析結果を条件として、当該入力画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類し、前記動画像解析手段が前記ボケ有無判定手段と前記コントラスト測定手段のうちの前記コントラスト測定手段だけを備える場合、前記動画像分類手段は、さらに前記コントラスト測定手段から送出される解析結果としてのコントラストが所定閾値以上か否かを判定し、コントラストが所定閾値以上と判定したことを条件として、当該入力画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類し、前記動画像解析手段が前記ボケ有無判定手段と前記コントラスト測定手段の双方を備える場合、前記動画像分類手段は、さらに前記ボケ有無判定手段からのボケが無いという解析結果、および前記コントラスト測定手段から送出される解析結果として送出されるコントラストが所定閾値以上と判定したことを条件として、当該入力画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類する点に第３の特徴がある。

また、本発明は、前記手ブレ有無判定手段が、入力フレームと該入力フレームより時間的に前のフレームとの間での動き方向および動き量を評価し、動き方向の分散が予め設定された第１の閾値より小さいという条件を満たし、かつ動き量の平均が予め設定された第２の閾値より小さいか動き量の分散が予め設定された第３の閾値より小さいかの少なくとも一方の条件を満たすフレームが、予め設定された第４の閾値のフレーム数だけ観測された場合に、手ブレが有ると判定する点に第４の特徴がある。

また、本発明は、前記動画像解析手段が、ボケ有無判定手段を備え、前記ボケ有無判定手段は、画面を複数に分割して得られるブロックごとの画像に２次元周波数変換を施し、予め設定された高周波数帯域のエネルギが所定値以下のブロック数が全ブロックに対して占める割合が予め設定された第５の閾値より大きい場合に、ボケが有ると判定する点に第５の特徴がある。

また、本発明は、さらに、入力動画像に付随する音響の特徴を解析する音響解析手段を具備し、前記動画像分類手段は、前記動画像解析手段による解析結果に加えて前記音響解析手段による解析結果を用いて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する点に第６の特徴がある。

また、本発明は、前記音響解析手段が、有音か無音かを判定する有音無音判定手段と、雑音の有無を判定する雑音有無判定手段と、背景音楽の有無を判定する背景音楽有無判定手段のうちの少なくとも１つを備え、前記有音無音判定手段による判定結果と前記雑音有無判定手段による判定結果と前記背景音楽有無判定手段の判定結果のうちの少なくとも１つを前記音響解析手段による解析結果として前記動画像分類手段に送出する点に第７の特徴がある。

また、本発明は、前記音響解析手段が、前記雑音有無判定手段を備え、前記雑音有無判定手段は、有音を検出し、該有音を雑音と分類した場合に、雑音が有ると判定する点に第８の特徴がある。

また、本発明は、前記音響解析手段が、前記背景音楽有無判定手段を備え、前記背景音楽有無判定手段は、有音を検出し、該有音を背景音楽と分類した場合に、背景音楽が有ると判定する点に第９の特徴がある。

また、本発明は、前記音響解析手段が、前記有音無音判定手段を備え、前記動画像分類手段は、前記有音無音判定手段により入力動画像に付随する音響が予め規定された時間区間において無音であると判断された場合に、入力動画像はアマチュアにより撮影されたものであると推定して分類する点に第１０の特徴がある。

また、本発明は、前記動画像分類手段が、前記雑音有無判定手段手段により入力動画像に付随する音響が雑音を含むと判断された場合に、入力動画像はアマチュアにより撮影されたものであると推定して分類する点に第１１の特徴がある。

また、本発明は、前記動画像分類手段が、前記背景音楽有無判定手段により入力動画像に付随する音響が背景音楽を含むと判断された場合に、入力動画像はプロカメラマンの撮影したものであると推定して分類する点に第１２の特徴がある。

また、本発明は、前記動画像分類手段が、入力動画像をプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかに分類するための動画像特徴の分類基準が予め学習により設定される機械学習器である点に第１３の特徴がある。

さらに、本発明は、前記動画像分類手段が、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかに分類するための動画像特徴および音響特徴の分類基準が予め学習により設定される機械学習器である点に第１４の特徴がある。

本発明では、動画像に特有な特徴、さらには動画像に付随する音響の特徴を解析して、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類するので、テレビ放送向けや映画向けなど業務用カメラを使ってプロカメラマンが撮影した動画像と、例えばハンディカメラや携帯電話のカメラを使ってアマチュアが撮影した動画像を精度良く分類することができる。

通常、プロカメラマンが撮影した動画像には著作権が付随していることが多いので、例えば、動画像の投稿サイトなどにおいて、プロカメラマンが撮影した動画像が利用者によって無断で投稿された場合でも、それを直ちに発見し、著作権の保護を求めることができる。

以下、図面を参照して本発明を説明する。図１は、本発明に係る動画像分類装置の第１実施形態を示す機能ブロック図である。第１実施形態の動画像分類装置は、動画像解析部1および動画像分類部2を備える。なお、これらの部分は、ハードウエアでもソフトウエアでも実現できる。

動画像解析部1は、任意の入力動画像に含まれる特徴を解析する。ここで解析する特徴については後述する。動画像分類部2は、動画像解析部1による解析結果に基づいて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。

動画像解析部1は、画面切り替わり頻度測定部11、手ブレ有無判定部12、ボケ有無判定部13およびコントラスト測定部14を備え、入力動画像の主に信号的な特徴を解析する。ここで、画面切り替わり頻度と手ブレは、動画像がプロカメラマンが撮影したものかアマチュアが撮影したものかを推定するのに特に有効な特徴であるが、本発明では、動画像解析部1が、画面切り替わり頻度測定部11を備えることを必須とし、手ブレ有無判定部12、ボケ有無判定部13、コントラスト測定部14は、必要に応じて適宜追加される。もちろん、動画像解析部1で解析する特徴の要素を増やせば精度の向上が期待できる。

以下、動画像解析部1の各部について詳細に説明する。画面切り替わり頻度測定部11は、動画像における画面の切り替わり点を検出すると共に単位時間における画面の切り替わり回数を測定する。すなわち画面切り替わり頻度を測定する。なお、画面の切り替わり点の検出には、特開平１０−２２４７４１号公報に記載されている技術を利用できる。画面の切り替わり回数を測定する単位時間は、例えば60秒などに設定することができる。

図２は、プロカメラマンとアマチュアの撮影による動画像における画面切り替わりの様子を示す具体例を示す図である。同図(ａ)は、プロカメラマンの撮影による動画像における画面切り替わり点を示し、同図(ｂ)は、アマチュアの撮影による動画像における画面切り替わり点を示している。

画面の切り替わり点は、一般的には、カメラのオン/オフによって生じるが、プロカメラマンにより撮影された動画像では、撮影中に被写体を写すカメラの切り替えで挿入されたり、撮影後の編集によって挿入されたりすることも多い。したがって、画面の切り替わりが頻繁に発生している動画像は、プロカメラマンにより撮影された動画像である可能性が高い。これに対して、アマチュアにより撮影された動画像では、一般的に、画面の切り替わり点は、カメラのオン/オフによって生じるのみである。したがって、単位時間における画面の切り替わり回数は、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に有効な情報となる。

手ブレ有無判定部12は、動画像における撮影時の手ブレの有無を判定する。手ブレは、撮影者の手がブレることによって生じるため、手ブレが含まれる動画像はアマチュアにより撮影された動画像である可能性が高い。したがって、手ブレの有無も、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に有効な情報である。

図３は、手ブレ有無判定処理の例を示すフローチャートである。フレーム数csを0に初期設定(S30)した後、動画像のフレームnを入力し(S31)、その画面をN×M個のブロックに分割する(S32)。次に、フレームnに対して時間的にXフレーム前(Xは任意数)のフレーム(n-X)の間で該当ブロック間での動き方向と動き量を測定する(S33)。この動き方向と動き量は、例えば、該当ブロック間での動きベクトルを求めることによって測定できる。なお、フレーム(n-X)の画面も既にN×M個のブロックに分割されているものとする。

次に、以上のようにして求めた画面内での動き方向の分散が、第１の閾値Th1より小さいという条件を満たし、かつ動き量に関する条件(すなわち、動き量の平均が第２の閾値より小さい、または動き量の分散が第３の閾値より小さい、の少なくとも一方)を満たすか否かを判定する(S34)。

S34で、動き方向の分散が条件を満たすと判定された場合、csを1だけインクリメント(cs=cs+1)する(S35)。その後、csが第４の閾値Th4を超えたか否かを判定し(S36)、超えていないと判定された場合は、フレームを(n+X)とし(S37)、S31に戻って処理を繰り返す。

S34で、動き方向の分散が条件を満たさないと判定された場合には、フレーム数csを0に設定し、さらにフレームを(n+X)とし(S38)、S31に戻って処理を繰り返す。

また、S36で、csが第４の閾値Th4を超えたと判定された場合は、フレームnからcsが第４の閾値Th4を超えるまでの観測区間で手ブレが存在したと判定する(S39)。

図３に示すフローチャートでは、画面内での動き方向の分散が、第１の閾値Th1より小さいという条件を満たし、かつ動き量に関する条件を満たすフレーム数が第４の閾値Th4を超えて観測された場合に、この観測区間で手ブレが存在したと判定している。これを動画像における手ブレ有無の判定結果とする。

手ブレの有無の判定手法は、図３や他の特定手法に限定されるものではなく、特開２００６−１２９０７４号に開示されている技術などを利用することもできる。

ボケ有無判定部13は、動画像における撮影時のボケの有無を判定する。動画像における撮影時のボケは、被写体に焦点が合っていない場合などに生じる。ボケが含まれる動画像はアマチュアにより撮影された動画像である可能性が高い。したがって、ボケの有無も、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。

動画像における撮影時のボケの有無は、画面内の周波数特性を評価することにより判定できる。例えば、画像に、MPEGなどの動画像符号化で用いられている離散コサイン変換などの２次元周波数変換を施す。そして、比較的高い周波数帯域までエネルギが存在すれば、精細なテクスチャやエッジが表現されていることになり、画面内にボケが含まれていないと推定できる。一方、比較的低い周波数帯域にしかエネルギが存在しない場合、テクスチャやエッジがぼやけていると推定できる。

図４は、ボケ有無判定の概念を示す図である。入力フレームをN×Mブロックに分割し、各ブロックごとに２次元周波数変換を施す。各ブロックを２次元周波数変換した後、画面全体を考慮して高周波数帯域までエネルギが存在すれば、ボケなしとしてプロカメラマンにより撮影された動画像と推定とし、低周波数帯域にしかエネルギが存在しなければ、ボケありとしてアマチュアにより撮影された動画像と推定する。

図５は、ボケ有無判定処理の例を示すフローチャートである。まず、フレームnを入力し(S50)、その画面をN×M個のブロックに分割し(S51)、分割された各ブロックを２次元周波数変換する(S52)。

次に、ブロック数cb、ブロック番号mをそれぞれ0に初期設定(S53)した後、m番目のブロックを入力し(S54)、このブロックの高周波数帯域にエネルギが存在するか否かを判定する(S55)。なお、ここで判定する高周波数帯域は、ボケの有無の境界を定めるものとして予め設定しておく。これを可変できるようにしておくことも好ましい。S55で、ブロックの高周波数帯域のエネルギが所定値以下と判定された場合、cbを1だけインクリメント(cb=cb+1)する(S56)。

S55で、ブロックの高周波数帯域のエネルギが所定値超と判定された場合およびS56の処理が済んだ後には、mがN×Mに達したか否かを判定する(S57)。

S57で、mがN×Mに達していないと判定された場合、まだ画面内に未判定ブロックが残っているので、mを1だけインクリメント(m=m+1)し(S58)、S54に戻って処理を繰り返す。

S57で、mがN×Mに達したと判定された場合、画面内の全てのブロックの判定が済んだので、画面内の全ブロック数に対する高周波数帯域のエネルギが所定値以下のブロック数の割合(cb/(N×M))を求め、これが第５の閾値Th5より大きいか否かを判定する(S59)。第５の閾値Th5は、例えば0.75(75%)とすることができる。

S59で、cb/(N×M)＞Th5と判定された場合、フレームnをボケ画像と判定し(S60)、そう判定されない場合は、フレームnをボケ画像と判定しない。

コントラスト測定部14は、動画像における画面のコントラストを測定する。画面のコントラストは、業務用などの高性能なカメラで被写体を撮影したり、補助光を用いて撮影したりすると高くなるので、画面のコントラストが高い動画像は、プロカメラマンにより撮影された動画像である可能性が高い。したがって、画面のコントラストも、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。

画面のコントラストの測定には、特表２００５−５３３４２４号公報に記載されている技術などを利用できる。

動画像分類部2は、画面切り替わり頻度測定部11、手ブレ有無判定部12、ボケ有無判定部13およびコントラスト測定部14により得られた解析結果に基づいて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。画面切り替わり頻度や手ブレ有無は、動画像の判定で特に有効なものであるので、画面切り替わり頻度測定部11と手ブレ有無判定部12の解析結果の少なくとも一方は必須とする。

例えば、(1)画面切り替わり頻度測定部11により測定された画面の切り替わり頻度が一定値以下である、の条件が満たされ、さらに追加的に(2)手ブレ有無判定部12により手ブレが有ると判定された、(3)ボケ有無判定部13によりボケが有ると判定された、(4)コントラスト測定部14により測定された画面内コントラストが一定値以下の値である、という条件が満たされた場合、動画像分類部2は、入力動画像がアマチュアによって撮影されたものであると推定して分類する。

図６は、本発明に係る動画像分類装置の第２実施形態を示す機能ブロック図である。第２実施形態の動画像分類装置は、第１実施形態における動画像解析部1に加えて音響解析部3を具備させることにより、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かを推定するための判断材料を増やすことにより、分類の精度をより高めることを可能としたものである。

動画像解析部1は、第１実施形態と構成および動作が同じであるので、説明を省略する。音響解析部3は、入力動画像に付随している音響の特徴を解析する。動画像分類部2は、動画像解析部1と音響解析部3の両者の解析結果に基づいて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。なお、入力動画像に音響が付随していない場合には、第１実施形態と同様に、動画像解析部1のみの解析結果に基づいて入力動画像を分類できるようにしておくのが好ましい。

音響解析部3は、有音無音判定部31、雑音有無判定部32および背景音楽有無判定部33を備える。以下、各部について詳細に説明する。

有音無音判定部31は、動画像に付随する音響が有音であるか無音であるかを判定する。映画やテレビ番組など、プロカメラマンにより撮影された動画像は、意図的に無音にする場合を除き、通常は有音であることが殆どである。これに対し、アマチュアにより撮影された動画像では、意図せずとも無音になることがあり得る。したがって、無音である動画像は、アマチュアにより撮影された動画像である可能性が高く、動画像に付随する音響が有音か無音かは、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。なお、有音無音の判定には、特許３６０７４５０号に開示されている技術などを利用することができる。

雑音有無判定部32は、動画像に付随する音響が雑音であるかどうかを判定する。雑音は、動画像を撮影する際に被写体とは無関係の環境音や音声が意図せず録音されてしまった場合や、性能の低いマイクを使って録音した場合に生じるので、雑音が付随している動画像はアマチュアにより撮影された動画像である可能性が高い。したがって、動画像に付随する音響が雑音であるかどうかも、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。なお、雑音の有無の判定には、特開平５−２９７８９６号に開示されている技術などを利用することができる。

背景音楽判定部33は、動画像に付随する音響が背景音楽であるかどうかを判定する。背景音楽は、撮影後の編集によって挿入される場合が多いので、背景音楽が付随している動画像はプロカメラマンにより撮影された動画像である可能性が高い。したがって、動画像に付随する音響が背景音楽であるかどうかも、プロカメラマンにより撮影された動画像かアマチュアにより撮影された動画像かの推定に利用できる。なお、背景音楽の有無の判定には、特許３６０７４５０号に開示されている技術などを利用することができる。

動画像分類部2は、動画像解析部1による解析結果に加えて、音響解析部3の有音無音判定部31、雑音有無判定部32および背景音楽有無判定部33により得られた解析結果を用いて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する。

例えば、動画像解析部1による解析結果に加えて、(5)音響が無音である、(6)音響に雑音が観測される、(7)音響に背景音楽が含まれてない、の条件が満たされた場合に、入力動画像がアマチュアによって撮影された動画像であると推定して分類することができる。

図６は、本発明に係る動画像分類装置の第３実施形態を示す機能ブロック図である。第３実施形態の動画像分類装置は、Z段(Z：2以上の整数)の動画像解析部を直列に接続したものである。各動画像解析部は、入力動画像の異なる特徴を解析する。各動画像解析部での解析結果から入力動画像がアマチュアによって撮影されたものであるかどうかを推定し、アマチュアによって撮影されたものであると推定されれば、その段階で入力動画像をアマチュアによって撮影されたものとして分類する。

図６では、画面切り替わり頻度測定部11を備えた動画像解析部1、ボケ有無判定部13を備えた動画像解析部1′、コントラスト測定部14を備えた動画像解析部1″を直列に接続している(Z=3)。動画像分類部2、2′、2″はそれぞれ、動画像解析部1、1′、1″での解析結果から入力動画像がアマチュアによって撮影されたものであるかどうかを推定し、アマチュアによって撮影されたものであると推定されれば、該入力動画像をアマチュアによって撮影されたものとして分類する。動画像分類部2″は、アマチュアによって撮影されたものと分類されなかった入力動画像をプロカメラマンによって撮影されたものとして分類する。

第３実施形態では、プロカメラマンにより撮影されたと推定される動画像を段階を追って絞り込むので、後段での処理対象の動画像が徐々に少なくなっていく。これにより、処理負担の低減が期待できる。

以上実施形態について説明したが、本発明は、上記実施形態に限定されず、種々に変形可能である。例えば、第３実施形態の動画像分類部2、2′、2″を、プロカメラマンによって撮影された動画像を推定して分類するものとし、動画像分類部2″では、それまでに分類されなかった動画像をアマチュアによって撮影されたものとして分類するようにすることもできる。

また、プロカメラマンにより撮影された動画像の特徴とアマチュアにより撮影された動画像の特徴を予め学習し、その学習に基づいて設定された分類基準を用いて、入力動画像がプロカメラマンによって撮影されたものかアマチュアにより撮影されたものであるかの分類基準を設定することもできる。すなわち、プロカメラマンにより撮影された動画像における画面切り替わり頻度、手ブレ有無、ボケ有無、コントラストの振る舞いと、アマチュアにより撮影された動画像におけるそれらの振る舞いを予め学習させておいた機械学習器を動画像分類部2(2′、2″)として用いることもできる。機械学習器としては、サポートベクターマシンなどを利用することができる。

さらに、この機械学習器には、プロカメラマンにより撮影された動画像における有音無音、雑音有無、背景音楽有無の振る舞いと、アマチュアにより撮影された動画像におけるそれらの振る舞いを予め学習させておくこともできる。

本発明に係る動画像分類装置の第１実施形態を示す機能ブロック図である。 プロカメラマンとアマチュアの撮影による動画像における画面切り替わりの様子を示す具体例を示す図である。 手ブレ有無判定処理の例を示すフローチャートである。 ボケ有無判定の概念を示す図である。 ボケ有無判定処理の例を示すフローチャートである。 本発明に係る動画像分類装置の第２実施形態を示す機能ブロック図である。 本発明に係る動画像分類装置の第３実施形態を示す機能ブロック図である。

符号の説明

1、1′、1″・・・動画像解析部、2、2′、2″・・・動画像分類部、3・・・音響解析部、11・・・画面切り替わり頻度測定部、12・・・手ブレ有無判定部、13・・・ボケ有無判定部、14・・・コントラスト測定部、31・・・有音無音判定部、32・・・雑音有無判定部、33・・・背景音楽有無判定部

Claims (14)

1. 入力動画像の特徴を解析する動画像解析手段と、
   前記動画像解析手段による解析結果を基に、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかを推定して分類する動画像分類手段を具備し、
   前記動画像解析手段は、入力動画像における画面切り替わりを検出し、検出された画面切り替わりの単位時間当たりの頻度を解析結果として前記動画像分類装置に送出する画面切り替わり頻度測定手段を備え、
   前記動画像分類手段は、前記画面切り替わり頻度測定手段から解析結果として送出された画面切り替わりの単位時間当たりの頻度が所定閾値以上であるか否かを判定し、画面切り替わりの単位時間当たりの頻度が所定閾値以上と判定した場合に、当該入力画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類することを特徴とする動画像分類装置。
2. 前記動画像解析手段は、さらに、所定フレーム数に亘って手ブレの有無を判定し、その判定結果を解析結果として前記動画像分類装置に送出する手ブレ有無判定手段を備え、
   前記動画像解析手段は、さらに手ブレ有無判定手段からの所定フレーム数に亘って手ブレが無いという解析結果を条件として、当該入力動画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類することを特徴とする請求項１に記載の動画像分類装置。
3. 前記動画像解析手段は、さらに、画面のボケの有無を判定し、その判定結果を解析結果として前記動画像分類手段に送出するボケ有無判定手段とコントラストを測定し、その測定結果を解析結果として前記動画像分類手段に送出するコントラスト測定手段の少なくとも一方を備え、
   前記動画像解析手段が前記ボケ有無判定手段と前記コントラスト測定手段のうちのボケ有無判定手段だけを備える場合、前記動画像分類手段は、さらに前記ボケ有無判定手段からのボケが無いという解析結果を条件として、当該入力画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類し、前記動画像解析手段が前記ボケ有無判定手段と前記コントラスト測定手段のうちの前記コントラスト測定手段だけを備える場合、前記動画像分類手段は、さらに前記コントラスト測定手段から送出される解析結果としてのコントラストが所定閾値以上か否かを判定し、コントラストが所定閾値以上と判定したことを条件として、当該入力画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類し、前記動画像解析手段が前記ボケ有無判定手段と前記コントラスト測定手段の双方を備える場合、前記動画像分類手段は、さらに前記ボケ有無判定手段からのボケが無いという解析結果、および前記コントラスト測定手段から送出される解析結果として送出されるコントラストが所定閾値以上と判定したことを条件として、当該入力画像はプロカメラマンにより撮影されたものであると推定して分類し、それ以外の場合には、当該入力画像はアマチュアにより撮影されたものであると推定して分類することを特徴とする請求項１または２に記載の動画像分類装置。
4. 前記手ブレ有無判定手段は、入力フレームと該入力フレームより時間的に前のフレームとの間での動き方向および動き量を評価し、動き方向の分散が予め設定された第１の閾値より小さいという条件を満たし、かつ動き量の平均が予め設定された第２の閾値より小さいか動き量の分散が予め設定された第３の閾値より小さいかの少なくとも一方の条件を満たすフレームが、予め設定された第４の閾値のフレーム数だけ観測された場合に、手ブレが有ると判定することを特徴とする請求項２に記載の動画像分類装置。
5. 前記動画像解析手段は、前記ボケ有無判定手段を備え、前記ボケ有無判定手段は、画面を複数に分割して得られるブロックごとの画像に２次元周波数変換を施し、予め設定された高周波数帯域のエネルギが所定値以下のブロック数が全ブロックに対して占める割合が予め設定された第５の閾値より大きい場合に、ボケが有ると判定することを特徴とする請求項３に記載の動画像分類装置。
6. さらに、入力動画像に付随する音響の特徴を解析する音響解析手段を具備し、前記動画像分類手段は、前記動画像解析手段による解析結果に加えて前記音響解析手段による解析結果を用いて、入力動画像がプロカメラマンにより撮影されたものかアマチュアにより撮影されたものであるかを推定して分類することを特徴とする請求項１ないし５のいずれか１つに記載の動画像分類装置。
7. 前記音響解析手段は、有音か無音かを判定する有音無音判定手段と、雑音の有無を判定する雑音有無判定手段と、背景音楽の有無を判定する背景音楽有無判定手段のうちの少なくとも１つを備え、前記有音無音判定手段による判定結果と前記雑音有無判定手段による判定結果と前記背景音楽有無判定手段の判定結果のうちの少なくとも１つを前記音響解析手段による解析結果として前記動画像分類手段に送出することを特徴とする請求項６に記載の動画像分類装置。
8. 前記音響解析手段は、前記雑音有無判定手段を備え、前記雑音有無判定手段は、有音を検出し、該有音を雑音と分類した場合に、雑音が有ると判定することを特徴とする請求項７に記載の動画像分類装置。
9. 前記音響解析手段は、前記背景音楽有無判定手段を備え、前記背景音楽有無判定手段は、有音を検出し、該有音を背景音楽と分類した場合に、背景音楽が有ると判定することを特徴とする請求項７に記載の動画像分類装置。
10. 前記音響解析手段は、前記有音無音判定手段を備え、前記動画像分類手段は、前記有音無音判定手段により入力動画像に付随する音響が予め規定された時間区間において無音であると判断された場合に、入力動画像はアマチュアにより撮影されたものであると推定して分類することを特徴とする請求項７に記載の動画像分類装置。
11. 前記動画像分類手段は、前記雑音有無判定手段手段により入力動画像に付随する音響が雑音を含むと判断された場合に、入力動画像はアマチュアにより撮影されたものであると推定して分類することを特徴とする請求項８に記載の動画像分類装置。
12. 前記動画像分類手段は、前記背景音楽有無判定手段により入力動画像に付随する音響が背景音楽を含むと判断された場合に、入力動画像はプロカメラマンの撮影したものであると推定して分類することを特徴とする請求項９に記載の動画像分類装置。
13. 前記動画像分類手段は、入力動画像をプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかに分類するための動画像特徴の分類基準が予め学習により設定される機械学習器であることを特徴とする請求項１ないし１２のいずれか１つに記載の動画像分類装置。
14. 前記動画像分類手段は、入力動画像をプロカメラマンにより撮影されたものかアマチュアにより撮影されたものかに分類するための動画像特徴および音響特徴の分類基準が予め学習により設定される機械学習器であることを特徴とする請求項６ないし１２のいずれか１つに記載の動画像分類装置。