JP5993243B2 - 映像処理装置及びプログラム - Google Patents

Description

本発明は、映像を処理する映像処理装置及びプログラムに関する。

近年、ＴＶの多チャンネル化やインターネットのブロードバンド化に伴い、様々な映像（動画像）に触れる機会が増えている。そのため、多種多様な映像中から興味がある映像を選ぶ必要が生じるが、動画像は静止画とは異なり、視聴を完了するまでに映像時間長分の時間を要する。現状では、大半のユーザがリモコンの早送り機能で映像をスキップしながら映像を視聴しているのが現状である。

そこで、映像の時間長を自動短縮する技術への期待が高まっている。映像の時間長を短縮する際、映像の意味内容に関わるシーンは削除せず、冗長なシーンのみ取り除くことが望ましい。単純にフレームを間引くだけの短縮では、重要なシーンまで削除される危険性が高い。

重要シーンを選定する手法として、人が話している映像区間を抽出する手法や音響の高まりで盛り上がり区間を抽出する手法などが存在する。

例えば、映像から音響特徴を抜き出し、人物の発話部分を認識した上で映像を短縮する方法（例えば特許文献１参照）や、映像から無音区間を抽出し、映像を短縮する方法（例えば特許文献２参照）などがある。

また、映像解析を行ってテロップの有無を判定し、テロップをダイジェスト映像生成に用いる技術がある（例えば特許文献３参照）。また、リボンカービングという技術を用いて高速に時間軸を圧縮する技術がある（例えば非特許文献１参照）。

特開２００３−１６９２９８号公報 特開２００８−１９９４５６号公報 特開２０００−２３０６２号公報

平野 那由他 八島 由幸 "高速Ribbon Carvingを用いた動画像時間軸圧縮に関する一検討" 信学技報 IEICE Technical Report ITS2010-66,IE2010-141，p.281-286，2011.2

しかしながら、音声特徴を用いる従来技術では、映像特徴を考慮していないため、短縮処理が非効率になるおそれがある。また、映像特徴を用いる従来技術では、音声特徴を利用していないため、映像が不連続になり、音声に違和感が発生したりするおそれがある。

つまり、従来技術では、映像、音声双方の観点から重要なシーンを残しつつ、短縮された映像（以降、短縮映像とも称す）を生成することができなかった。

そこで、本発明は、映像、音声双方の観点から重要なシーンを残しつつ、短縮映像を生成することができる映像処理装置及びプログラムを提供することを目的とする。

本発明の一態様における映像処理装置は、入力された映像に対し、少なくとも動き特徴を含む画像特徴を解析する画像解析手段と、前記映像から少なくとも発話の尤度を含む音声特徴を解析する音声解析手段と、前記画像特徴と前記音声特徴とに基づき、前記映像の処理単位の重要度を算出する重要度算出手段と、前記重要度に基づき、前記映像の時間長を短縮する短縮手段とを備え、前記重要度算出手段は、前記映像のカットが検出されたフレームから次のカットが検出されるまで、前記音声特徴に乗算する第２重み係数を小さくし、前記画像特徴に乗算する第３重み係数を大きくする。

また、前記重要度算出手段は、処理対象の前記処理単位の時間経過に基づく第１重み係数を前記重要度に乗算してもよい。

また、前記重要度算出手段は、前記映像の開始直後の第１所定時間及び終了直前の第２所定時間の第１重み係数を、該第１所定時間及び該第２所定時間以外の時間の第１重み係数よりも大きくしてもよい。

また、前記画像特徴及び前記音声特徴に基づきシーン分類を行うシーン分類手段をさらに備え、前記重要度算出手段は、前記シーン分類手段により分類されたシーンが所定のシーンである場合、前記所定のシーンに含まれる処理単位の前記重要度を調整してもよい。

また、前記短縮手段は、短縮後の映像の連続性を考慮して前記映像の時間長を短縮してもよい。

また、前記画像解析手段は、処理対象画像の顔検出結果に基づく見え特徴をさらに解析し、前記音声解析手段は、前記処理対象画像に対応する音声レベルをさらに解析し、
前記重要度算出手段は、前記動き特徴と前記見え特徴とに基づく画像特徴、及び前記発話の尤度と前記音声レベルとに基づく音声特徴に基づき、前記重要度を算出してもよい。

また、前記映像の時間長を設定する設定手段をさらに備え、前記短縮手段は、
前記設定手段により設定された時間長に前記映像を短縮してもよい。

また、本発明の他の態様におけるプログラムは、コンピュータに、入力された映像に対し、少なくとも動き特徴を含む画像特徴を解析する画像解析ステップと、前記映像から少なくとも発話の尤度を含む音声特徴を解析する音声解析ステップと、前記画像特徴と前記音声特徴とに基づき、前記映像の処理単位の重要度を算出する重要度算出ステップと、前記重要度に基づき、前記映像の時間長を短縮する短縮ステップとを実行させる。

本発明によれば、映像、音声双方の観点から重要なシーンを残しつつ、短縮映像を生成することができる。

実施例１における映像処理装置の概略構成の一例を示すブロック図。 実施例１における映像処理装置の機能の一例を示すブロック図。 顔検出結果の一例を示す図。 映像短縮処理を説明する図。 映像の連続性を考慮した重要度の変更の一例を示す図。 実施例１における映像短縮処理の一例を示すフローチャート。 実施例２における映像処理装置の機能の一例を示すブロック図。 実施例２における映像短縮処理の一例を示すフローチャート。 実施例３における映像処理装置の機能の一例を示すブロック図。 発話シーンの一例を示す図。 解説シーンの一例を示す図。 背景シーンの一例を示す図。 実施例３における映像短縮処理の一例を示すフローチャート。

以下、添付図面を参照しながら各実施例について詳細に説明する。各実施例では、映像の画像特徴及び音声特徴の両方を考慮して重要なシーンを残しつつ、意味内容的に不要な処理単位（例えばフレーム単位又は画素単位）を削除することで映像を短縮する。

［実施例１］
＜構成＞
図１は、実施例１における映像処理装置１０の概略構成の一例を示すブロック図である。図１に示すように、映像処理装置１０は、制御部１０２、主記憶部１０４、補助記憶部１０６、ドライブ装置１０８、ネットワークＩ／Ｆ部１１０、入力部１１２、及び表示部１１４を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部１０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うプロセッサである。制御部１０２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。

また、制御部１０２は、主記憶部１０４又は補助記憶部１０６に記憶された映像短縮処理のプログラムを実行する演算装置である。制御部１０２は、入力部１１２や記憶装置からデータを受け取り、演算、加工した上で、表示部１１４や記憶装置などに出力する。

主記憶部１０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０４は、制御部１０２が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１０８は、記録媒体１１６、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

また、この記録媒体１１６に格納された所定のプログラムは、ドライブ装置１０８を介して映像処理装置１０にインストールされる。インストールされた所定のプログラムは、映像処理装置１０により実行可能となる。

ネットワークＩ／Ｆ部１１０は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された周辺機器と映像処理装置１０とのインターフェースである。

入力部１１２は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１１４の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部１１２は、ユーザが制御部１０２に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部１１４は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０２から入力される表示データに応じた表示が行われる。

映像処理装置１０は、例えばＰＣ（Personal Computer）、サーバ、タブレット端末、スマートフォンなどであり、少なくとも制御部１０２や主記憶部１０４や補助記憶部１０６を有する情報処理装置であればよい。

＜機能＞
次に、実施例１における映像処理装置１０の機能について説明する。図２は、実施例１における映像処理装置１０の機能の一例を示すブロック図である。図２に示す映像処理装置１０は、画像解析手段２０２と、音声解析手段２０４と、重要度算出手段２０６と、短縮手段２０８とを有する。

映像処理装置１０の各手段は、例えば、制御部１０２及びワークメモリとしての主記憶部１０４などにより実現されうる。制御部１０２が、映像短縮プログラムを実行することで、映像処理装置１０が、上記各手段として機能する。

画像解析手段２０２は、入力された映像に対し、少なくとも動き特徴を含む画像特徴を解析する。また、画像解析手段２０２は、画像特徴として、顔検出を行い、検出された顔の大きさを用いてもよい。画像解析手段２０２は、動き特徴解析手段２２２と、見え（appearance）特徴解析手段２２４を有する。

映像上の動きが激しいシーン程、一般に重要であることが多い。そこで、動き特徴解析手段２２２は、各フレームで画素毎に隣接フレームとの差分を算出する。隣接フレームとは、例えば前、又は後、又は前後のフレームである。動き特徴解析手段２２２は、画像内での全画素の差分の平均値を求め、この平均値をフレームの動き特徴とする。動きの多い映像区間は重要であることが多いことから、この差分特徴を用いることで映像的に重要なシーンを理解することができる。

動き特徴解析手段２２２は、例えば隣接フレームを１つ前のフレームとすると、式（１）により動き特徴を求めることができる。

また、人物が映っているシーンも重要であることが多い。そこで、見え特徴解析手段２２４は、例えば、顔検出を行い、顔の大きさを見え特徴とする。顔検出としては、例えばViolaとJonesが提案した顔検出アルゴリズムを用いることにより、画像中の人物顔を高速に自動検出することができる。

このアルゴリズムは広く普及しており、オープンソースの画像処理・認識ライブラリOpenCVにも公開されている（http://opencv.jp/）。

また、顔検出アルゴリズムは、検出した顔の位置、半径を出力することができる。そこで、見え特徴解析手段２２４は、検出した顔領域の中の最大半径に応じて見え特徴を定める。

図３は、顔検出結果の一例を示す図である。図３に示すように、画像内から２つの顔が検出されているが、大きい方の顔の半径１２５［pixel］を見え特徴とする。また、この例では、顔の最大半径を見え特徴とするが、検出された顔の数や、エッジ量の多さを見え特徴としてもよい。見え特徴解析手段２２４は、見え特徴Ｆ_ｔを、例えば顔の最大半径とする。

このとき、画像解析手段２０２は、時刻ｔでの画像特徴Ｖ_ｔを次の式（２）により算出する。

Ｍ_ｔ'：正規化後のＭ_ｔ（Ｍ_ｔ'＝Ｍ_ｔ／２５５）
Ｆ_ｔ'：正規化後のＦ_ｔ（Ｆ_ｔ'＝Ｆ_ｔ／（Ｗ／２））
α_Ｍ、β_Ｆ：重み係数
正規化は、それぞれのパラメータを０〜１．０の値にするために行われる。Ｗは、画像の水平幅を示す。α_Ｍ、β_Ｆの重み係数は、適切な値が予め設定されていればよい。画像解析手段２０２は、算出したＶ_ｔを重要度算出手段２０６に出力する。

図２に戻り、音声解析手段２０４は、重要な映像区間を抽出するため、映像から少なくとも発話の尤度を含む音声特徴を解析する。例えば、発話があるシーンは、重要なシーンであることが多い。また、大きな音が含まれる映像区間は重要なシーンであることが多い。そこで、音声解析手段２０４は、音声レベルを検出するようにしてもよい。音声解析手段２０４は、例えば発話検出手段２４２と、音声レベル検出手段２４４とを有する。

発話検出手段２４２は、既存の発話検出技術を利用し、発話の尤度Ｐ_ｔを求める。発話検出技術の一例としては、累積音素尤度を用いて発話を検出する技術がある（今井亨，佐藤庄衛，小林彰夫，尾上和穂，本間真一，"累積音素尤度によるオンライン発話検出と男女音声認識，"信学総大，D-14-8，p.132, 2006.3.）。

音声レベル検出手段２４４は、映像のうち、所定フレームに対応する音声レベルＬ_ｔを検出する。音声レベルの検出については、公知の技術を適用すればよい。

音声解析手段２０４は、時刻ｔでの音声特徴Ａｔを次の式（３）により算出する。

Ｌ_ｔ'：正規化後のＬ_ｔ（Ｌ_ｔ／音声レベルの最大値）
α_Ｌ、β_Ｐ：重み係数
正規化は、Ｌ_ｔを０〜１．０の値にするために行われる。Ｐｔは、０〜１．０の値をとる。α_Ｌ、β_Ｐの重み係数は、適切な値が予め設定されていればよい。音声解析手段２０４は、算出したＡ_ｔを重要度算出手段２０６に出力する。

重要度算出手段２０６は、画像解析手段２０２から取得した画像特徴Ｖ_ｔと、音声解析手段２０４から取得した音声特徴Ａ_ｔとを用いて、映像の処理単位の重要度を算出する。処理単位は、以降ではフレームとして説明するが、非特許文献１のように、画素単位としてもよい。

重要度算出手段２０６は、重要度Ｉ_ｔを次の式（４）により算出する。

ここで、α_Ｖ、β_Ａの重み係数は、適切な値が予め設定されていればよい。重要度Ｉ_ｔは、０〜１．０に正規化されており、この重要度Ｉ_ｔの大きい順にフレームを並べることで、各フレームの重要性が分かる。重要度算出手段２０６は、算出した各フレームの重要度Ｉｔを短縮手段２０８に出力する。

短縮手段２０８は、フレーム毎に与えられた重要度に基づいて、映像の時間長を短縮し、短縮映像を生成する。重要度が低いフレームほど、内容に関する情報に乏しく、冗長なシーンであると考えられる。

そこで、短縮手段２０８は、重要度で順位付けした各フレームを、重要度の値が小さなフレームから削除する。このように１フレームずつ削除することで、任意の映像長の短縮映像を生成することができる。

図４は、映像短縮処理を説明する図である。図４に示すように、短縮手段２０８は、各フレームを重要度の高い順に並べ、重要度の低いフレームから削除することで、任意の時間長の短縮映像を生成する。

短縮手段２０８は、設定手段２８２を有する。設定手段２８２は、映像の時間長を設定する。設定手段２８２は、表示画面上にスライドバーを表示し、このスライドバーの位置により映像の時間長を設定することができる。

短縮手段２０８は、設定手段２８２により設定された時間長になるように、重要度の低いフレームから削除し、映像を短縮する。

また、短縮手段２０８は、短縮後の映像の連続性を考慮して、映像の時間長を短縮してもよい。図５は、映像の連続性を考慮した重要度の変更の一例を示す図である。図５に示すように、時刻ｔ_４のフレームの重要度が低く、時刻ｔ_４の前後の数フレームの重要度が高い場合、短縮映像の連続性を考慮して、短縮手段２０８は、時刻ｔ_４のフレームの重要度を高くする。

また、時刻ｔ_ｎ＋２のフレームの重要度が高く、時刻ｔ_ｎ＋２の前後の数フレームの重要度が低い場合、短縮映像の連続性を考慮して、短縮手段２０８は、時刻ｔ_ｎ＋２のフレームの重要度を低くする。

なお、重要度の高低の判定について、短縮手段２０８は、削除されるフレーム中で一番高い重要度を閾値とし、この閾値より大きければ重要度が高い、この閾値以下であれば重要度が低いと判定する。

よって、短縮手段２０８は、削除されるフレームの前後で所定数のフレームが削除されない場合、この削除されるフレームを削除しないようにしてもよい。また、短縮手段２０８は、削除されないフレームの前後で所定数のフレームが削除される場合、この削除されないフレームを削除するようにしてもよい。

＜動作＞
次に、実施例１における映像処理装置１０の動作について説明する。図６は、実施例１における映像短縮処理の一例を示すフローチャートである。ステップＳ１０１で、映像処理装置１０は、処理対象の映像を取得する。処理対象の映像は、ネットワークから配信されたり、記録媒体１１６から取得されたりする。

ステップＳ１０２で、画像解析手段２０２は、入力された映像から、少なくとも動き特徴を解析する。また、画像解析手段２０２は、入力された映像から、見え特徴を解析し、動き特徴と見え特徴に基づく画像特徴を解析してもよい。

ステップＳ１０３で、音声解析手段２０４は、入力された映像から、少なくとも発話の尤度を解析する。また、音声解析手段２０４は、入力された映像から、音声レベルを解析し、発話の尤度と音声レベルに基づく音声特徴を解析してもよい。

なお、ステップＳ１０２とステップＳ１０３は、順不同であり、並列に処理されてもよい。

ステップＳ１０４で、重要度算出手段２０６は、画像特徴と音声特徴とに基づく処理単位（例えばフレーム）の重要度を算出する。重要度算出手段２０６は、それぞれの特徴に重み係数を乗算することで重要度を算出する。

ステップＳ１０５で、短縮手段２０８は、重要度に基づいて、映像の時間長を短縮する。また、短縮手段２０８は、設定された時間長に短縮してもよいし、連続性を考慮して短縮映像を生成してもよい。

以上、実施例１によれば、映像、音声双方の観点から重要なシーンを残しつつ、短縮映像を生成することができる。また、映像内の画像と音声双方の特徴を考慮した重要度に基づいて短縮映像を作成することで、画と音が同期した短縮映像を作成することができる。なお、実施例１によれば、映像の連続性を考慮して短縮映像を生成することもできる。

［実施例２］
次に、実施例２における映像処理装置について説明する。実施例２では、各重み係数を調整し、より適切に重要なシーンを残しつつ、映像を短縮できる。

＜構成＞
実施例２における映像処理装置の構成は、図１に示す構成と同様であるため、同じ符号を用いて説明する。

＜機能＞
図７は、実施例２における映像処理装置２０の機能の一例を示すブロック図である。図７に示す映像処理装置２０の機能のうち、図２に示す機能と同様のものは同じ符号を付す。以降では、実施例１の機能と異なる機能について主に説明する。

重要度算出手段３０２は、重み係数調整手段３２２を有する。重み係数調整手段３２２は、各重み係数を調整する。

（重要度の重み係数）
重要度算出手段３０２は、例えば、処理対象の処理単位の時間経過に基づく重み係数Ｗ_ｔを重要度Ｉ_ｔに乗算する。重要度算出手段３０２は、重み係数Ｗ_ｔを次の式（５）に算出する。

ｔを番組開始からのフレーム数、Ｔを当該番組のフレーム総数とする。

一般的に、放送番組は、開始直後と終了直前に重要なシーンが含まれていることが多い。そのため、開始直後や終了間際のフレームの重要度の比重を高めることが有効である。

重み係数調整手段３２２は、この重み係数Ｗ_ｔを重要度Ｉ_ｔに乗じることで時間経過を考慮したフレーム重要度を算出できる。比重が０．０となることを防ぐため、ここでは最小値を０．２とした。

また、重み係数調整手段３２２は、例えば、映像の開始直後の第１所定時間及び終了直前の第２所定時間の重み係数Ｗ_ｔを、第１所定時間及び該第２所定時間以外の時間の重み係数Ｗ_ｔよりも大きくしてもよい。第１所定時間、第２所定時間は予め設定された値である。

（画像、音声の重み係数）
また、重み係数調整手段３２２は、画像特徴の重み係数α_Ｖ、音声特徴の重み係数β_Ａを調整してもよい。重み係数調整手段３２２は、映像のカットが検出されたフレームから次のカットが検出されるまで、音声特徴に乗算する重み係数β_Ａを小さくし、画像特徴に乗算する重み係数α_Ｖを大きくしてもよい。

ここで、カットとカットに挟まれた映像区間をショットと呼ぶ。映像処理装置２０は、ショットを抽出する際、公知の技術（例えば特開２００８−８３８９４号公報参照）を用いればよい。一般的に、各ショットの始めではコメントで状況説明がなされることが多い。そのため、カット切替点直後は音声を重視し、以降、画像の重要度を上げていくことが望ましい。

そこで、重み係数調整手段３２２は、カット切替からの経過時間を計測し、時間と共に音声の重要度β_Ａを下げ、逆に画像の重要度α_Ｖを高める。例えば、ｆを直前のカット点からのフレーム数、ＦＬを当該ショットのフレーム総数とする。

重み係数調整手段３２２は、画像と音声の重み係数をそれぞれ次の式により算出する。

上記の式に従って重み係数α_Ｖ（ｆ）、β_Ａ（ｆ）を算出することで、カット切替点から徐々に画像の重みを上げてゆき、徐々に音声の重みを下げることができる。画像、音声の重みが極度に高くならないように、上記式（６）（７）では、０．２以上、０．８以下となる制限を加えたが、この限りではない。

重み係数調整手段３２２は、重要度に乗算する重み係数Ｗ_ｔと、画像特徴、音声特徴に乗算する重み係数α_Ｖ、β_Ａとを両方求めるようにしてもよいし、いずれか一方を求めるようにしてもよい。

重要度算出手段３０２は、重み係数調整手段３２２により調整された重み係数を用いて重要度を算出する。算出された重要度を用いる映像短縮については、実施例１と同様である。

＜動作＞
次に、実施例２における映像処理装置２０の動作について説明する。図８は、実施例２における映像短縮処理の一例を示すフローチャートである。図８に示すステップＳ２０１〜Ｓ２０３の処理は、図６に示すステップＳ１０１〜Ｓ１０３の処理と同様である。

ステップＳ２０４で、重み係数調整手段３２２は、重要度に乗算する重み係数Ｗｔ、及び／又は画像特徴、音声特徴に乗算する重み係数α_Ｖ、β_Ａを算出する。

ステップＳ２０５で、重み係数算出手段３０２は、算出された重み係数を用いて重要度を算出する。

ステップＳ２０６で、短縮手段２０８は、重み係数算出手段３０２により算出された重要度を用いて、映像の時間長を短縮する。短縮手段２０８の短縮方法は、実施例１と同様である。

以上、実施例２によれば、映像の画像特徴及び音声特徴の両方を考慮して重要なシーンを抽出し、映像を短縮させる。また、実施例２によれば、各重み係数を調整し、より適切に重要なシーンを残しつつ、映像を短縮できる。

［実施例３］
次に、実施例３における映像処理装置について説明する。実施例３では、画像、音声解析により所定のシーンを分類し、分類された所定のシーンに含まれるフレームの重要度を調整することができる。これにより、より適切に重要なシーンを残しつつ、映像を短縮できる。

＜構成＞
実施例３における映像処理装置の構成は、図１に示す構成と同様であるため、同じ符号を用いて説明する。

＜機能＞
図９は、実施例３における映像処理装置３０の機能の一例を示すブロック図である。図９に示す映像処理装置３０の機能のうち、図２に示す機能と同様のものは同じ符号を付す。以降では、実施例１の機能と異なる機能について主に説明する。

シーン分類手段４０２は、画像特徴及び音声特徴に基づきシーン分類を行う。シーン分類手段４０２は、画像と音声の双方を考慮し、シーン分類したうえで各シーンに対応する重要度を付与するよう制御する。

シーン分類手段４０２は、例えばサポートベクターマシンなどの機械学習の枠組みを利用することで実現することができる。特徴量には画像のフレーム差分量、エッジ量、顔検出の結果、音声のレベル、周波数、発話の信頼度などが利用できる。シーン分類手段４０２は、例えば、下記のようなシーンを分類する。

（発話シーン）
図１０は、発話シーンの一例を示す図である。人物が話しているシーンは、比較的重要であることが多い。そこで、シーン分類手段４０２は、発話シーンのフレームの重要度を高めるようにする。発話シーンでは、画像から顔検出を行い、音声からの発話検出などがシーン分類に有効に作用すると考えられる。

（解説シーン）
図１１は、解説シーンの一例を示す図である。文字やグラフを提示して解説するシーンは、他のシーンに比べて重要である場合が多い。そこで、シーン分類手段４０２は、解説シーンの重要度を高めるようにする。解説シーンには、パターンを手に持った解説やグラフを全面に表示したうえでの解説など様々あるが、画像には文字や図形が現れ、かつ音声には人の発話が現れることが多い。解説シーンでは、画像のエッジ特徴と音声の発話検出が有効に作用すると考えられる。

（背景シーン）
図１２は、背景シーンの一例を示す図である。映像上は激しい動きがあるシーンでも、実際は木立の揺れや川の流れなどの背景映像のことがある。そこで、シーン分類手段４０２により背景シーンに分類されたフレームは、その重要度を下げる。背景シーンでは、音声は無音に近い低いレベルとなることが多い。画像のフレーム差分量と音声レベルが、背景シーンの検出に有効に作用すると考えられる。

シーン分類手段４０２は、例えば上記のように、発話シーン、解説シーン、背景シーンに現在のシーンが分類された場合、そのシーン名を重要度算出手段４０４に通知する。

重要度算出手段４０４は、シーン分類手段により分類されたシーンが所定のシーンである場合、所定のシーンに含まれるフレームの重要度を調整する。重要度算出手段４０４は、処理対象のフレームが発話シーン、解説シーンに含まれる場合、算出した重要度に例えば１．１を乗算し、重要度を高める。また、重要度算出手段４０４は、処理対象のフレームが背景シーンに含まれる場合、算出した重要度に例えば０．９を乗算し、重要度を低くする。

重要度算出手段４０４は、シーン分類を用いて重要度を必要に応じて調整する。調整された重要度を用いる映像短縮については、実施例１と同様である。

＜動作＞
次に、実施例３における映像処理装置３０の動作について説明する。図１３は、実施例３における映像短縮処理の一例を示すフローチャートである。図１３に示すステップＳ３０１〜Ｓ３０４の処理は、図６に示すステップＳ１０１〜Ｓ１０４の処理と同様である。

ステップＳ３０５で、シーン分類手段４０２は、サポートベクターマシンなどを用い、処理対象のフレームを含むショットがどんなシーンかを分類する。

ステップＳ３０６で、重要度算出手段４０４は、分類されたシーンが所定のシーンであるかを判定する。所定のシーンであれば（ステップＳ３０６−ＹＥＳ）ステップＳ３０７に進み、所定のシーンでなければ（ステップＳ３０６−ＮＯ）ステップＳ３０８に進む。

ステップＳ３０７で、重要度算出手段４０４は、所定のシーンの内容に応じて重要度を調整する。例えば、所定のシーンが発話シーン及び解説シーンの場合、重要度算出手段４０４は、重要度を高める。また、所定のシーンが背景シーンの場合、重要度算出手段４０４は、重要度を低くする。

ステップＳ３０８で、短縮手段２０８は、重要度算出手段４０４により調整された重要度を用いて、映像の時間長を短縮する。短縮手段２０８の短縮方法は、実施例１と同様である。

以上、実施例３によれば、映像の画像特徴及び音声特徴の両方を考慮して重要なシーンを抽出し、映像を短縮させることができる。また、実施例３によれば、画像、音声解析により所定のシーンを分類し、分類された所定のシーンに含まれるフレームの重要度を調整することができる。これにより、より適切に重要なシーンを残しつつ、映像を短縮できる。

なお、上記各実施例によれば、映像、音声両方を考慮した重要シーン抽出に基づく映像時間長を短縮することができる。各実施例では、映像上の動きが激しいシーン程、一般に重要であることが多い。そこで、隣接フレームの画素値を参照し、変化分が大きいフレームに高い重要度を付与する。

また、人物が写っているシーンは重要なことが多いことから、顔領域が検出されたフレームの重要度を高める。また、音声信号を参照し、音声レベルが高いフレームや人物の発言に近い周波数にある部分を重要シーンとして抽出する。これら画像、及び音声の特徴を総合的に考慮し、フレーム（もしくは画素）毎に重要度を算出する。この重要度が低いものから削除することで、内容に関係する部分は可能な限り残したまま、効果的に映像時間長を短縮することができる。よって、視聴者には、時間長を短縮していることが気付かれにくい、短縮映像を提供することができる。

なお、上記の映像処理装置で実行されるプログラムは、実施例で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部１０２が補助記憶部１０６からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部１０４上にロードされ、１又は複数の各部が主記憶部１０４上に生成されるようになっている。

また、上述した実施例で説明した映像短縮処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した映像短縮処理を実現することができる。

また、このプログラムを記録媒体１１６に記録し、このプログラムが記録された記録媒体１１６をコンピュータなどに読み取らせて、前述した映像短縮処理を実現させることも可能である。

なお、記録媒体１１６は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記実施例以外にも種々の変形及び変更が可能である。

１０、２０、３０ 映像処理装置
２０２ 画像解析手段
２０４ 音声解析手段
２０６、３０２、４０４ 重要度算出手段
２０８ 短縮手段
２２２ 動き特徴解析手段
２２４ 見え特徴解析手段
２４２ 発話検出手段
２４４ 音声レベル検出手段
２８２ 設定手段
３２２ 重み係数調整手段
４０２ シーン分類手段

Claims (8)

1. 入力された映像に対し、少なくとも動き特徴を含む画像特徴を解析する画像解析手段と、
   前記映像から少なくとも発話の尤度を含む音声特徴を解析する音声解析手段と、
   前記画像特徴と前記音声特徴とに基づき、前記映像の処理単位の重要度を算出する重要度算出手段と、
   前記重要度に基づき、前記映像の時間長を短縮する短縮手段と
   を備え、
   前記重要度算出手段は、
   前記映像のカットが検出されたフレームから次のカットが検出されるまで、前記音声特徴に乗算する第２重み係数を小さくし、前記画像特徴に乗算する第３重み係数を大きくする映像処理装置。
2. 前記重要度算出手段は、
   処理対象の前記処理単位の時間経過に基づく第１重み係数を前記重要度に乗算する請求項１記載の映像処理装置。
3. 前記重要度算出手段は、
   前記映像の開始直後の第１所定時間及び終了直前の第２所定時間の第１重み係数を、該第１所定時間及び該第２所定時間以外の時間の第１重み係数よりも大きくする請求項２記載の映像処理装置。
4. 前記画像特徴及び前記音声特徴に基づきシーン分類を行うシーン分類手段をさらに備え、
   前記重要度算出手段は、
   前記シーン分類手段により分類されたシーンが所定のシーンである場合、前記所定のシーンに含まれる処理単位の前記重要度を調整する請求項１乃至３いずれか一項に記載の映像処理装置。
5. 前記短縮手段は、
   短縮後の映像の連続性を考慮して前記映像の時間長を短縮する請求項１乃至４いずれか一項に記載の映像処理装置。
6. 前記画像解析手段は、
   処理対象画像の顔検出結果に基づく見え特徴をさらに解析し、
   前記音声解析手段は、
   前記処理対象画像に対応する音声レベルをさらに解析し、
   前記重要度算出手段は、
   前記動き特徴と前記見え特徴とに基づく画像特徴、及び前記発話の尤度と前記音声レベルとに基づく音声特徴に基づき、前記重要度を算出する請求項１乃至５いずれか一項に記載の映像処理装置。
7. 前記映像の時間長を設定する設定手段をさらに備え、
   前記短縮手段は、
   前記設定手段により設定された時間長に前記映像を短縮する請求項１乃至６いずれか一項に記載の映像処理装置。
8. コンピュータを、請求項１乃至７いずれか一項に記載の映像処理装置として機能させることを特徴とするプログラム。

Images