JP5054608B2 - コンテンツ評価方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、コンテンツ評価方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、動画像、音声、音楽などのマルチメディアコンテンツのクオリティを自動的に評価するためのコンテンツ評価方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。

現在マルチメディアコンテンツの数が増大している。マルチメディアコンテンツには、主として映像・音声・音楽コンテンツがあるが、これらはいずれも時間メディアであるため、コンテンツ内容を把握するためには、凡そコンテンツの時間長と同じ時間を必要とする。このような時間的コストを低減したいという要請の下、コンテンツを視聴することなく、内容を事前に把握することのできる技術が求められている。

一言で内容といっても、様々な情報が含まれるが、中でも、コンテンツのクオリティは非常の重要な情報であると認識されている。例えば、商用のドラマや映画などは、プロフェッショナルの作成者、撮影機器によって作成されており、画質や音質、ストーリーなどのクオリティが比較的高い。一方で、家庭等で撮影されたホームビデオなどは、アマチュアの作者によって作成されたものであることが多いため、相対的にはクオリティが低い。

このように、コンテンツのクオリティを知ることができれば、そのコンテンツがどのような目的で作成されたコンテンツであるのか、また、どのようなコンテンツであるのかなどを事前に推測することも可能となってくる。

コンテンツの情報を用いて、コンテンツのクオリティを評価する技術として、映像策定時のカメラの動きに着目し、これが急激に動く場合や手振れを含むセグメントは、クオリティが低いと判断する技術がある（例えば、特許文献１参照）。

なお、関連技術として、発話セグメントと音楽セグメントを検出する方法（例えば、特許文献２参照）、テロップの出現領域を特定する手法（例えば、特許文献３参照）、顔の撮影された領域を検出する方法（例えば、特許文献４参照）、動画検索方法（例えば、特許文献５、６参照）、基本周波数及びパワーの抽出方法（例えば、非特許文献１参照）、映像構造化手法（例えば、非特許文献２参照）、などが、公知の技術として存在する。
特開２０００−２６１７５７号公報 特開平１０−１８７１８２号公報 特開平１１−３２８４２３号公報 特開２００５−１５７９１１号公報 特開２００２−２４５０５１号公報 特開２００６−６０７９６号公報 特開２００５−３１１６７６号公報 古井卓熙、「ディジタル音声処理第４章 4.9 ピッチ抽出」、東海大学出版会、1985年９月、pp. 57-59. 谷口行信、阿久津明人、外村佳伸、Panorama Excerpts: パノラマ画像の自動生成・レイアウトによる映像一覧、電子情報通信学会論文誌D-II, Vol. J82-D-II, NO.3, pp.390-398, 1999.

従来の技術では、カメラの動きのみを用いて、コンテンツのクオリティを判定している。しかしながら、これはドラマや映画、スポーツ映像や一般のホームビデオなど、多くの映像に含まれるものであるため、これのみに基づいてクオリティを測る場合、その精度が低いものになってしまうという問題があった。また、クオリティが低いかそうでないか、の２値判定をするに留まっていた。

上記のような理由から、従来技術のみでは、コンテンツの詳細なクオリティを提供できないという問題がある。

本発明は、上記の点に鑑みなされたもので、コンテンツ中の画像、音声、音楽信号の少なくとも１つを解析し、コンテンツのセグメント毎に、そのクオリティを数値的に、精度良く計測することで、より詳細なクオリティ情報を提供できるコンテンツ評価方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、コンテンツ中に含まれる画像や音声を解析し、当該コンテンツに対して施されている編集処理の頻度である編集処理量を求めるコンテンツ評価装置であって、
コンテンツ中の画像情報、または、画像情報及び音声情報を分析信号として抽出し、記憶手段４０に格納する分析信号抽出手段２０と、
記憶手段４０から分析信号を読み出して、該分析信号のうち、画像信号のショット長と、テロップの有無を含み、さらに、動き量、カラーヒストグラム、ピッチ変化、パワーレベル、音声信号のピッチ変化、パワーレベル比のうちの少なくとも１つの特徴量を求め、これら特徴量の統計量と予め定めた関数に基づき、編集処理量を求め、求めた編集処理量をクオリティ値として出力するクオリティ値算出手段６０と、を有する。

図２は、本発明の原理を説明するための図である。

本発明（請求項２）は、コンテンツ中に含まれる画像や音声を解析し、当該コンテンツに対して施されている編集処理の頻度である編集処理量を求めるコンテンツ評価方法であって、
分析信号抽出手段が、コンテンツ中の画像情報、または、画像情報及び音声情報を分析信号として抽出し、記憶手段に格納する分析信号抽出ステップ（ステップ１）と、
クオリティ値算出手段が、記憶手段から分析信号を読み出して、該分析信号のうち、画像信号のショット長と、テロップの有無を含み、さらに、動き量、カラーヒストグラム、ピッチ変化、パワーレベル、音声信号のピッチ変化、パワーレベル比のうちの少なくとも１つの特徴量を求め、これら特徴量の統計量と予め定めた関数に基づき、編集処理量を求め、求めた編集処理量をクオリティ値として出力するクオリティ値算出ステップ（ステップ２）と、を行う。

本発明（請求項３）は、請求項１記載のコンテンツ評価装置を構成する各手段としてコンピュータを機能させるためのコンテンツ評価プログラムである。

本発明（請求項４）は、請求項３記載のコンテンツ評価プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体である。

上記のように、本発明は、コンテンツのクオリティの違いにより出現刷る頻度が変化する特徴を画像、音声、音楽信号の中から予め抽出して、コンテンツのクオリティ評価用の条件判定文もしくは評価式を作成する。評価対象となるコンテンツからこれらの評価用の特徴量を抽出し、条件判定文や評価式を用いてコンテンツの評価値を算出する。

コンテンツのクオリティの違いにより出現する頻度が変化する特徴については、例えば一般的には編集処理がなされた場合にはコンテンツのクオリティが高くなることを利用して、編集作業（例えば、テロップの挿入）を実施したことを検出対象とする特徴検出処理を実施し、編集作業を実施したことが検出された場合には、コンテンツのクオリティを高く評価する評価値を付与する。また、品質の高いコンテンツを作成する際には、複数種類の映像機器を利用（例えば、複数台のカメラを利用）している頻度が高いことを利用し、カメラを複数台利用して作成したことが分かる特徴量を評価に用いる。

上記のように、本発明によれば、コンテンツのクオリティの違いにより出現する頻度が変化する特徴を条件判定として持つルールを予め作成し、ルール充足性尺度を算出して映像のクオリティを評価することにより、評価結果の精度が向上する。

また、映像の各セグメントに対してコンテンツのクオリティを評価することにより、クオリティが高い映像素材とクオリティが低い映像素材とを組み合わせた映像に対しても、正しい評価が実施可能となる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の第１の実施の形態におけるコンテンツ評価装置の構成を示す。

同図に示すコンテンツ評価装置は、コンテンツ記憶部１０、分析信号抽出部２０、セグメント分割部３０、分析信号メモリ４０、セグメントメモリ５０、クオリティ値算出部６０、ルール記憶部７０を有する。

同図の例では、分析信号抽出部２０及びセグメント分割部３０にコンテンツを入力する場合には、コンテンツ記憶部１０からコンテンツを読み込む例を示しているが、この例に限定されることなく、マウス等のポンティングデバイス、キーボード等によって構成される入力装置と、クオリティ値算出部６０から出力されるクオリティ値を表示するための液晶画面等のモニタ画面を有し、入力装置やコンテンツ評価装置自体の処理に応じて情報を提示可能な出力装置が接続されるものとし、例えば、入力データ、処理経過、処理結果となるセグメントをはじめ、各種情報が出力表示される。

また、分析信号メモリ４０、セグメントメモリ５０は、例えば、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only memory)、ハードディスク装置等であり、必要に応じて、ＣＤ（Compact Disk）、ＤＶＤ(Digital Versatile Disk)等の光学ディスクドライブ装置等により構成されるものとする。また、当該分析信号メモリ４０やセグメントメモリ５０の他にも必要に応じて記憶装置を設けることが可能であるが、例えば、本発明によるコンテンツ評価装置を、汎用のＰＣ（Personal Computer）に組み込んで利用する場合など、当該記憶装置が外部のそれを以って代用できる場合には、含むことを必要とするものではない。

分析信号抽出部２０は、コンテンツデータに含まれる音声信号を抽出し、分析信号メモリ４０に記憶する。

セグメント分割部３０は、音声信号に基づいてコンテンツをセグメントに分割する。

クオリティ値算出部６０は、セグメント毎にクオリティ値（Ｑ値）の計算処理を実施し、出力装置（図示せず）に結果を出力する。

図４は、本発明の一実施の形態における評価方法のフローチャート（その１）である。

本実施の形態におけるコンテンツ評価方法は、大別して３つのステップからなる。

ステップ１０）分析信号抽出処理ステップ：
分析信号抽出部２０がコンテンツ記憶部１０から読み込んだコンテンツから動画像、音声信号、または、その両方を分析して抽出し、分析信号メモリ４０に出力する。

ステップ１１）セグメント分割ステップ：
当該処理は必要に応じて実施する。セグメント分割部３０が入力されたコンテンツを１つ以上のセグメントに分割し、各セグメントの開始時刻、セグメント長をセグメントメモリ５０に出力する。ここで、セグメントとは、コンテンツ全体、もしくは、コンテンツの中の部分区間を意味するものとする。当該ステップは、必要に応じて導入されるものであるが、予め人手、もしくは、本発明の技術に係らない範囲で各セグメントの開始時刻とセグメント長が与えられる場合や、コンテンツ全体をセグメントとする場合などには導入する必要がない。

ステップ１２）クオリティ値計算処理ステップ：
クオリティ値算出部６０は、分析信号メモリ４０から取得した分析信号と、セグメントメモリ５０から取得した各セグメントのセグメント開始時刻、セグメント長に基づいてセグメント毎にルール記憶部７０のルールを参照してクオリティ値を計算し、これを出力する。

以下に、上記の各ステップの処理を詳細に説明する。

ステップ１０の分析信号処理ステップについて説明する。

分析信号抽出部２０は、コンテンツがディジタルデータとして入力された場合、これは画像信号と音声信号に分けられる。このデータのうち、必要に応じて画像信号、音声信号、あるいは、その両方を、分析信号として抽出し、分析信号メモリ４０に格納する。

この分析信号は、画像信号だけでもよいし、音声信号だけでもよい。以降の処理は、例えば、音声信号だけを用いる場合でも、画像信号だけを用いる場合でも、あるいは両方を用いる場合でも、何れも実行可能なものである。

次に、ステップ１１のセグメント分割処理ステップについて説明する。

セグメント分割とは、コンテンツ中に含まれる画像信号、音声信号、あるいはその両方に基づいて、コンテンツを０回以上区切る処理を指す。

当該ステップは、予めセグメントが与えられている場合や、セグメントを定める必要がない場合には、図５に示すように、実行する必要はない。

また、この処理に利用する信号は、必ずしも前述の分析信号と同じである必要はない。

まず、画像信号を用いてセグメントを生成する方法について述べる。

画像信号を用いる際には、構造化情報を利用してセグメントを生成する。

構造化情報とその抽出方法としては、例えば、前述の非特許文献２に記載のもの、即ち、カット点、カメラワークなどと、種々の抽出方法がある。

これらのものから、任意の情報を任意の数だけ利用してよいが、好ましくはカット点を利用し、これを直後、セグメントの境界として利用すればよい。この場合、セグメントはカット点によって前後を挟まれる、ショットとして生成される。

また、さらに、カメラワークを併用し、あるショットの中で、比較的動き量の多いカメラワークが検出された場合には、そのカメラワークの開始時刻、もしくは、終了時刻を境界としてもよい。

続いて、音声信号のみを用いてセグメントを生成する方法の一例について説明する。

音声信号に対して予め定めた一定の窓幅、例えば５０ｍｓ（ミリセコンド）と、シフト間隔、例えば、３０ｍｓを持つ分析窓を設定する。この分析窓を単位として、音声信号を有相関信号と無相関信号に分ける。ここで、有相関信号とは、人間や動物による発話、及び音楽のように、自己相関関数値の高い信号であり、反対に、無相関信号とは、有相関信号ではない信号、即ち、白色雑音などの自己相関関数値の低い信号を指す。

各分析窓に含まれる音声信号が有相関信号であるか、無相関信号であるかは、例えば、次のように分類することができる。

音声信号の自己相関関数値を計算し、これが閾値を超える値となっている場合には有相関信号、そうでない場合には無相関信号であると見做す。この閾値の与え方は、例えば、０．７とするなど、予め定数として与えておいてもよいし、一定の有相関信号の存在する時間と無相関信号の存在する時間の比を基準として、この比に最も近くなるような閾値を決定してもよい。

次に、有相関信号と判定された分析窓のうち、連続している有相関窓（有相関信号であると判定された分析窓）で構成される区間によって、セグメントを構成する。この処理の実行によって、連続する人間や動物の発話、音楽などをひとまとまりの区間として扱うことができるため、視聴する人間によって意味の理解可能なセグメントを生成することが可能となる。

セグメントを構成する方法の一例について説明する。

セグメントの構成は、セグメント間の境界を決定する処理によって実行する。

コンテンツ中の有相関窓Ｆの集合を時間の早いものから順に｛Ｆ_１，Ｆ_２，…，Ｆ_Ｎ｝とする。ここでは、Ｎは有相関窓の総数である。

次に、時間軸上隣り合う有相関窓Ｆ_ｉ，Ｆ_ｉ＋１の時間間隔、すなわち、Ｆ_ｉの終了時刻F_iendと、次の分析窓であるF_ｉ＋１の開始時刻Ｆ_ｉ+１startについて、その時刻の差Ｆ_i+1start−Ｆ_iendを計算する。

次に、その計算結果を、予め決定したある閾値と比較し、これよりも大きければ、Ｆ_ｉとＦ_ｉ＋１は互いに異なるセグメントに属する有相関窓であると考え、これら２つの間をセグメントの境界とする。

このような処理を全ての分析窓に繰り返すことで、時間差のある有相関窓同士は互いに異なるセグメントとすることができ、その結果、時間差のない、一連の有相関信号は同一のセグメントにまとめることができる。

例えば、図６に示す例では、F_j+1−Ｆ_ｊ＝Ｔ１，Ｆ_j+2−F_ｊ＋１＝Ｔ２となっている。もし、閾値Ｔ_th、を、Ｔ１＜Ｔ_th＜Ｔ２と設定した場合、Ｔ２を境界として、２つのセグメントＢＡ，ＢＢが構成される。

この閾値Ｔ_tbは、低い値にすればするほど、境界の数が増加するため、生成されるセグメント数が増加することとなり、逆に、高い値にするほど、境界の数が減少し、生成されるセグメント数は減少することとなる。

特別な場合として、閾値Ｔ_tbを非常に高い値、例えば、コンテンツ全体の時間長以上の値を設定することなどによって、セグメントを全く分割しないようにすることもできる。

従って、前述のように、本発明におけるセグメントとは、コンテンツ全体としてもよく、以降の処理は、コンテンツが全く分割されないような閾値Ｔ_tbを設定した場合であっても実行可能であり、この場合には、当該ステップ１１は意味をなさないため、実行しないものとしてもよい。

また、有相関信号を、例えば人間や動物による発話音声信号、音楽信号など、さらに、詳細に分類し、これらを分けてセグメントを生成してもよい。この場合には、これらを分ける基準としてスペクトル情報を用いることができる。

例えば、発話音声信号と音楽信号を分類する手法としては、前述の特許文献３に記載の方法を用いることができる。

このような処理によって、より詳細なセグメントを生成することができる。

最後の音声信号と画像信号双方を利用して、セグメント生成を実行する場合について述べる。

例えば、前述の音声信号を利用したセグメント生成では、有相関窓のない部分などに対しては、区間分割を実行することができないという問題がある。そこで、音声信号などを利用したセグメント生成と画像情報、例えば、カット点を利用したセグメント生成を両方とも適用するものとしてもよい。この方法によって、片方のみによるセグメント生成では成すことができない細かい区間を定めることが可能となる。

また、片方のみでは有効なセグメント生成が実行できない場合、例えば、コンテンツに有相関窓が存在しない場合や、画像の構造化情報が存在しない場合などにおいても、相補的に区間分割を実行することが可能である。

以上の処理によって、コンテンツから１つ以上のセグメントを生成することが可能である。

なお、ここに述べた例、及びその他の例、いずれの方法を用いた場合にも、各セグメントの開始時刻、及びその時間長を取得し、セグメントメモリ５０に格納する。

次に、ステップ１２のクオリティ値計算処理ステップについて説明する。

図７は、本発明の一実施の形態におけるクオリティ算出部の構成を示す。

クオリティ算出部６０は、特徴量抽出部６１、特徴量尺度算出部６２、条件文判定用特徴量抽出部６３、条件文判定部６４、ルール充足性尺度計算部６５、クオリティ値計算部６６、特徴量記憶部６０１、特徴量尺度（ＦＳ）記憶部６０２、条件文判定用特徴量記憶部６０３、ルール充足性尺度（ＲＳ）記憶部６０４から構成される。

図８は、本発明の一実施の形態におけるクオリティ値計算処理のフローチャートである。

ステップ１２は、クオリティ値算出部６０が、各セグメントの分析信号に基づいて、セグメントを分類する基準となるクオリティ値（以下、Ｑ値と呼ぶ）をセグメント毎に計算し、出力するステップである。

Ｑ値は、特徴量尺度ＦＳと、ルール充足性尺度ＲＳの２つの基準の、少なくともいずれか一方に基づいて計算される。

以下では、１つのセグメントに対して特徴量尺度ＦＳとルール充足性尺度ＲＳを算出する処理についてそれぞれ詳述する。なお、各セグメントに対する処理を実施する際には、セグメントメモリ５０から算出処理を実施するセグメントの開始時刻、セグメントの時間長を取得して、分析情報の中で算出処理を実施するセグメントに対応する区間を特定し、この特定された区間の分析情報から特徴量抽出処理（Ｓ３１）あるいは条件文判定処理（Ｓ３３）を実施する。また、ＦＡＳやルール充足性尺度ＲＳを算出するために必要となる閾値やルールについては、予めルール記憶部７０に格納されているものを用いる。

まず、特徴量尺度ＦＳについて説明する。

特徴量尺度ＦＳは、分析信号メモリ４０の分析情報から得られる特徴量から判断できる、クオリティの高さを示す指標である。どのような特徴量を用いるかについては、予め定めることとする。特徴量尺度ＦＳの計算は、ステップ３１（特徴量抽出処理ステップ）と、ステップ３２（特徴量尺度計算処理ステップ）を経て行う。

ステップ３１） 特徴量抽出部６１において、分析信号メモリ４０から分析信号を取得し、分析信号から予め定めた特徴量の抽出を行い、各特徴量の値を特徴量記憶部６０１に格納する。

利用する特徴量は、例えば、分析信号として画像信号を利用する場合には、
・ショット長（ＳＢ）
・動き量（ＭＱ）
・カラーヒストグラム（ＣＨ）
等が好適であり、また、分析信号として音声信号を利用する場合には、例えば、
・ピッチ変化（ＤＰ）
・パワーレベル比（ＰＲ）
等が好適である。

各種特徴量の抽出方法について述べる。

＜ショット長ＳＢ＞
ショット長ＳＢは、前述のショットの時間長を指す。これは、前述の非特許文献２に記載の方法などを用いて、カット点を検出した後、これに挟まれる区間の持続時間として求めればよい。プロフェッショナルが制作した映像は長まわしのショットは少なく、平均的なショット長は６〜７秒であることが知られている。ショット長（ＳＢ）を特徴量として抽出し、例えば、図９に示すように、ショット長の分布がプロフェッショナルのもののように、ショットが分割されていれば、クオリティが高い、プロフェッショナルのものから大きく隔たっている場合には、クオリティが低いとみなすことができる。

＜動き量ＭＱ＞
動き量ＭＱの抽出については、上記の非特許文献２に記載のカメラワーク検出の最に計算するカメラパラメータ、及び、ｘ方向、ｙ方向移動量を利用することができる。好ましくは、ノルムを計算し、スカラー化しておく。手振れの度合、カメラワークの滑らかさの度合を動き量（ＭＱ）として算出しておくことで、図９に示すように、クオリティの高いコンテンツとそうでないコンテンツでは差が生じる。

＜カラーヒストグラムＣＨ＞
カラーヒストグラムＣＨは、各画像を１つ以上の領域に分割し、各領域の平均色相値、彩度値、明度値、あるいは、ＲＧＢ、輝度値などの任意の色情報を量子化し、各量子の出現回数をカウントすることで計算することができる。編集済み映像の場合は、複数のロケーション、被写体で撮影した素材を注意深く切り取って編集するので、ショット間の色合いが大きく変化する場合が多いが、未編集の映像の場合、同じ場所で撮影したショットが連続するので色変化が少ない（例えば、運動会ビデオではグランドの色が多くのショットで支配的である）。また、太陽光や照明による光の加減を、正確にコントロールしているコンテンツの場合には、被写体が鮮明に撮影されており、画像として色変化が多彩であり、そうでないものは、光の影響で全体的に白みがかかっており、一様に輝度値が高めである。

＜ピッチ変化ＤＰ＞
ピッチ変化ＤＰは、例えば、前述の非特許文献１などに記載の、ピッチ抽出方法によってピッチＦ０を抽出した後、この時間変化を差分量として計算する。図１１に示すように、音声・音楽が収音用マイクなどを用いて録音されているクオリティの高いものは、比較的ピッチの変化が滑らかとなり、差分量が小さくなる傾向にあるが、上記のような配慮をされずに録音されたものは、ピッチに不連続な点（ジャンプ）を多く含むものとなり、差分量が大きくなる傾向にある。

＜パワーレベル比ＰＲ＞
パワーレベル比ＰＲは、例えば、音声波形の振幅のｒｍｓ値をパワーとして計算し、
ＰＲ＝（ピッチが抽出されている部分の平均パワー）
／（ピッチが抽出されていない部分の平均パワー）
を計算する。図１２に示すように、ピッチ変化の場合と同様、録音に配慮のなされたものは、ピッチが抽出されていない部分のパワーレベルが低い傾向になるが、録音の配慮がなされていないものについては、パワーレベルが高くなる。結果、前者のＰＲは、高い値に、後者は低い値になる傾向がある。

上記説明した特徴量は、用いる分析情報などに合わせて、任意のものを取捨選択して利用してよい。

ステップ３２） 特徴量尺度算出部６２は、特徴量抽出部６１から渡された各特徴量の値から特徴量尺度ＦＳを計算し、特徴量尺度（ＦＳ）記憶部６０２に格納する。

以下では、特徴量尺度ＦＳを計算する処理の一例について述べる。

特徴量尺度ＦＳは、用いる特徴量からそれぞれについて平均値、分散などの統計量を計算し、この値に基づいて定める。

例えば、ショット長の統計量として、その平均値ＳＢＡ、分散値ＳＢＶや、ピッチ変化ＰＤの統計量として、その平均値ＰＤＡ、分散値ＰＤＶなどを計算すればよい。

これらの統計量から特徴量尺度ＦＳを計算するために、各統計量から特徴量尺度ＦＳを計算する１つ以上の関数を利用する。この関数としては、例えば線形関数を利用してもよいし、あるいは、シグモイド関数、ガウス関数などの上下有界関数や、多層パーセプトロンやサポートベクトルマシンなどの非線形関数など、任意のものを利用してよい。また、これらの関数を組み合わせて用いるものとしてもよい。

以下では、特徴量としてショット長の平均値ＳＢＡ、パワーレベル比の平均値ＰＲＡを採用し、それぞれのシグモイド関数と線形関数を利用して特徴量尺度ＦＳを計算する場合の一例について述べる。

ショット長の平均値ＳＢＡについては、ＳＢＡから特徴量尺度ＦＳに係る寄与ＦＳ^SBAを、シグモイド関数を用いて以下のように計算する。

ここで、α、βは、予め定めておく定数であり、例えば、α＝１、β＝６など、任意の値としてよい。この例では、プロフェッショナルが制作した映像の平均ショット長がβ＝６であることを仮定し、平均ショット長ＳＢＡが６に近いほどＦＳ^SBAが大きくなる。

また、パワーレベル比の平均値ＰＲＡについては、ＰＲＡからＦＳに係る寄与ＦＳ^PRAを、線形写像を用いて以下のように計算する。

ここで、γ、εは、予め定めておく定数であり、例えば、γ＝1.0、ε=-0.5など、任意の値としてよい。この場合、パワーレベル比が高い値を取るほどクオリティが高いものであることを想定しており、ＦＳ^PRAが大きくなる。

上記において、計算されたＦＳ^SBA、ＦＳ^PRAに基づいて、特徴量尺度ＦＳを計算する。

ここでは、線形関数を利用して特徴量尺度ＦＳを計算する例について説明する。

例えば、特徴量尺度ＦＳを以下のように計算する。

ここで、η、λは、予め定めておく定数であり、例えば、η＝0.6、λ=0.4など、任意の値としてよい。

以上、特徴量尺度ＦＳを計算する方法の一例について説明したが、ここに説明した例以外にも、任意の特徴量の組み合わせ、任意の関数を利用して同様の処理が実施できることは言うまでもない。

好ましくは、最終的に計算される特徴量尺度ＦＳは、上記で説明したように、０〜１の範囲に収まるように計算されることが望ましい。

次に、ルール充足性尺度ＲＳの求め方について説明する。

ルール充足性尺度ＲＳは、クオリティを判断する基準となる、予めルール記憶部７０に設定されたルールを充足するか否かによって計算される値である。ルール記憶部７０に格納されている各ルールは、クオリティの高い映像とクオリティの低い映像とでは発生する頻度が異なる映像や音声の特徴が上演文として設定されている。ルール充足性尺度ＲＳは、ステップ３０の条件判定特徴量抽出処理、ステップ３３（条件判定処理ステップ）と、ステップ３４（ルール充足性尺度計算処理ステップ）を経て計算する。

ステップ３０） 条件文判定用特長量抽出部６３における条件文判定用特徴量抽出処理では、分析情報（分析信号）からステップ３３で条件判定に用いる特徴量を抽出する。なお、ステップ３３での判定条件は予め規定されていることとする。したがって、ステップ３０で抽出するべき特徴量も予め明らかとなる。なお、ステップ３０は、ルール充足性尺度ＲＳ算出に必要な既存の特徴量抽出処理を前処理として用いてもよい。また、条件文判定用特徴量抽出部６３において、特徴量尺度ＦＳ算出で用いた特徴量抽出処理（ステップ３１）に記載した特徴量抽出処理の中から、ステップ３３で用いる特徴量を算出する処理を選択してもよい。

ルール充足性尺度ＲＳは、予めルール記憶部７０に設定された１つ以上のルールを用いて計算される。ルール充足性尺度ＲＳを決定付けるルールＲは、それぞれif-then形式で記述される。これは、分析情報を分析して得られる情報に基づいて構成され、以下のように記述される。

「ｉｆ 条件文ＣＳ ｔｈｅｎ ＲＳ加点」
この条件文ＣＳを満たす場合には、ｔｒｕｅであると判断し、ｔｈｅｎに記述されているＲＳ加点分だけ、ＲＳに値を和算する。この際、ＲＳの初期値は０としておく。

ステップ３３） まず、条件文判定部６４において、処理対象となるセグメントが条件文ＣＳを満たすか否かを判定する。

ルールＲの例としては、例えば、
Ｒ１：「ｉｆ テロップがある ｔｈｅｎ ＋０．４」
Ｒ２：「ｉｆ 顔のアップがある ｔｈｅｎ ＋０．２」
Ｒ３：「ｉｆ 一連の会話中における顔の向きがカメラの方向を向いている ｔｈｅｎ − ０．３」
Ｒ４：「ｉｆ 一連の会話中にカット点がある ｔｈｅｎ ＋１．０」
Ｒ５：「ｉｆ 一連の会話中にカメラワークがある ｔｈｅｎ −０．６」
などを予め設定しておく。

ここで、Ｒ４とＲ５は、撮影環境がどの程度整っているのかをルール化したものである。具体的には、"Ｒ５"は、１台のカメラで撮影を行っている際に発生する、会話の発話者にカメラを向けるためのカメラワークに対する評価を意図している。このため、撮影環境が整っていない（撮影機材の数が潤沢でない）ことを示す指標として、−０．６というマイナス値のＲＳ加点を付与している。一方、"Ｒ４"のような特徴を持つ映像は、少なくとも２台のカメラを用いて、発話者の切り替えの際のカメラワークが不要な環境で生成可能となる。したがって、撮影環境が整っていることを示す指標として、＋１．０というプラス値のＲＳ加点を付与している。

また、"Ｒ１"は、映像編集がなされたセグメントはクオリティが高いとの仮定のもと、映像編集がなされたことを示す特徴を抽出し、映像編集がなされたことを示す情報に対してプラスのＲＳ加点を付与することを意図している。具体的には、一般的にテロップは映像編集により挿入されるものであるため、テロップを検出し、テロップがある場合のＲＳ加点を＋０．４というプラス値としている。

"Ｒ２"、"Ｒ３"は、良質なコンテンツで統計的に多く見られる構図をルール化したものである。

以上、ルール記憶部７０に設定したルールの条件文を満たすか否かを判定するためには、各条件文を判断するために必要な分析を実施する必要がある。

例えば、ここに挙げたルールＲ１〜Ｒ５のそれぞれについて、この分析方法の一例を説明する。

例えば、ルールＲ１におけるテロップは、前述の特許文献３に記載の方法などによって、条件文判定部６４において、処理対象となるセグメントにテロップがあるかどうかを検出し、テロップが１つ以上検出された場合にルールＲ１の条件文を満たす（ｔｒｕｅである）と判定される。また、Ｒ２の顔のアップがあるか否かは前述の特許文献４記載の方法９などによって処理対象となるセグメントの中で顔領域を検出し、顔領域画素の数が予め定めた閾値以上の数の場合（つまり、画像の中での顔領域の占有率が予め定めた閾値以上の場合）に、処理対象となるセグメントの中に顔のアップがあると判定し、ルールＲ２の条件文を満たすと判定し、ＲＳ記憶部６０４に格納する。

また、Ｒ３，Ｒ４，Ｒ５については、まず、特許文献２の記載の方法などによって、処理対象となるセグメントの中から一連の会話区間を検出する。また、Ｒ３であれば、一連の会話区間として検出された時間帯に対応する映像区間に対して、特許文献４に記載の方法などを適用して顔の向きを判定し、顔の向きとカメラの光軸方向がなす角度が予め定めた角度以内の場合が１回以上出現した場合に、ルールＲ３の条件文を満たすと判定し、ＲＳ記憶部６０４に格納する。

Ｒ４であれば、一連の会話区間に該当する映像区間に対して、非特許文献２に記載の方法などを用いてカット点を検出し、１つ以上のカット点が検出された場合にルールＲ４の条件文を満たすと判定し、ＲＳ記憶部６０４に格納する。

Ｒ５であれば、一連の会話区間に該当する映像区間に対して非特許文献２に記載の方法などを用いてカメラワークを検出し、１つ以上のカメラワークが検出された場合にルールＲ５の条件文を満たすと判定する。

ステップ３４） 次に、ルール充足性尺度計算部６５におけるルール充足性尺度計算処理について説明する。

ルール充足性尺度ＲＳは、上記条件の判定の後、ｔｒｕｅと判断されたルールに対して、ＲＳ加点を加算することによって計算する。例えば、上記例のうち、あるセグメントが、Ｒ１、Ｒ４の２ルールに対してｔｒｕｅであると判定された場合、そのＲＳは、０．４＋１．０＝１．４となる。なお、ここに挙げた例以外にも、分析情報から得られる情報に関するルールであれば、適宜追加してもよい。

さらに、上記挙げたルールは、セグメントに関するルールであるが、セグメントを分割しない場合はコンテンツ全体に等しいため、コンテンツ全体についてのルールを設定してもよい。

この例としては、例えば、
Ｒ６：「ｉｆ コンテンツの全長が３０秒以下である ｔｈｅｎ − ０．９」
Ｒ７：「ｉｆ コンテンツの画像ビットレートが９．８Mbps以上である ｔｈｅｎ ＋０．９」
Ｒ８：「ｉｆ コンテンツの音声サンプリングレートが22.050ｋＨｚ未満である ｔｈｅｎ −０．８」
などを設定してもよい。

特に、これらのルールは、コンテンツのプロパティとして、特別な解析をすることなく参照できるものが多い。従って、このようなルールのみからコンテンツのクオリティ値を計算する場合には、ここまで説明した解析方法を実施しなくともよい。

ステップ３５） クオリティ値計算部６６におけるクオリティ値計算処理について説明する。

以上の求めたＦＳとＲＳに基づいて、セグメントのＱ値を計算する。

この分類方法は様々あるが、ここでは、ＦＳとＲＳと、シグモイド関数を用いて計算する一例について説明する。

例えば、Ｑ値を、以下の数式に基づいて計算する。

ここで、ψ、φは予め定める定数であり、例えば、ψ＝０．２、φ＝０．８などとすればよい。この例では、Ｑ値は、０〜１までの範囲を取る。

この例では、ＦＳ、ＲＳ両方を用いて、Ｑ値を判定する例を示したが、これ以外にも、例えば、ＦＳ，ＲＳのいずれか一方のみを用いるとしてもよい。また、Ｑ値を計算する関数は線形関数、その他非線形関数を用いてもよい。

このようにして、図１３に示すように、セグメント毎にＱ値を計算することができるので、このＱ値を、クオリティ値をとして出力する。

セグメント毎にＱ値を算出することにより、クオリティの高い映像素材とクオリティの低い映像素材とが混在している映像であっても、正しくクオリティを評価することが可能となる。

この際、出力する情報は、例えば、図１４に示すように、各セグメントの開始時刻、時間長と合わせて、リスト形式で出力するものとしてもよい。

上記示した一例では、Ｑ値は、値が高ければ高いほどクオリティが高いと判断することができる。そこで、例えば、クオリティが「高い」と「低い」の２値に判定するために、Ｑ値が０．５以上のセグメントはクオリティが高いと判定し、０．５未満のセグメントはクオリティが低いと判定してもよい。

また、より詳細に、クオリティが「とても高い」、「やや高い」、「やや低い」、「とても低い」に分類するために、それぞれ、Ｑ値が０．７５以上、Ｑ値が０．５以上０．７５未満、Ｑ値が０．２５以上０．５未満、Ｑ値が０．２５未満と４段階に分け、判定してもよい。

このような分類を行うことによって、例えば、セグメントの中で、特定のクオリティに属するセグメントを要求し、該当するセグメントのみを集めて表示することも簡単にできる。例えば、複数の映像に含まれるセグメントを用いて編集し、クオリティの高い映像を１つ作るような場合、上記分類されたセグメントから「とても高い」「やや高い」に属するもののみを集めて表示させることもできる。

上記以外にも様々な分類の仕方は存在するが、適宜適当な形態をとってよいことは言うまでもない。

なお、本発明は、クオリティを評価する方法であるが、評価されたクオリティを直接提示するだけの利用に留まらない。以下にいくつかの例を説明する。

＜コンテンツ検索技術としての利用＞
従来のコンテンツ検索技術では、例えば、特許文献５、特許文献６に記載の動画像検索方法に開示されているりょうに、動画像のセグメントや、代表画像の特徴量の類似度ＳＴに基づいてスコアを計算し、このスコア順にランキングした結果を提示するものが多い。しかしながら、このような手法では、コンテンツのクオリティについてまで評価することはできない。利用者によっては、クオリティの高いものを特に視聴したいと考えている利用者もおり、このような利用者にとっては、従来の動画像検索技術のみでは満足な結果を得ることができていない。

そこで、本発明の方法によって評価されたクオリティを考慮することによって、類似度ＳＴのみによってではなく、さらにクオリティの高いものを優先的に提示することで、このような利用者にとっても有益な動画像検索技術を提供できる。

処理方法の一例としては、例えば、特許文献５、特許文献６等によって、類似度ＳＴでランキングされたコンテンツを、所定の区分、例えば、（１位から順位、３０位ごとに区間を構成するなど）に分割し、区分毎にＱ値の高い順にソートしなおすものとしてもよい。

あるいは、特許文献５、特許文献６等によって計算された類似度ＳＴとＱ値から、新たなスコアＳＣを計算し、これに基づいてランキングを再構成してソートするものとしてもよい。

この方法の一例としては、例えば、線形関数を用いて、
ＳＣ＝Ψ×ＳＴ＋Φ×Ｑ値
などと計算すればよい。

このとき、Ψ、Φはそれぞれ、任意の定数であり、例えば、Ψ＝０．５、Φ＝０．５などとすればよい。

また、必ずしも線形関数を利用する必要はなく、非線形関数など、任意のものを用いて構わない。このましくは、ＳＴ，Ｑ値に対して単調増大する関数を用いる。

図１５に示す例では、８つのコンテンツについて、類似度、Ｑ値、Ψ＝０．５、φ＝０．５としたスコアが計算されている。同図（Ａ）の表は、類似度に対して降順にランキングした従来の手法による結果である。この例では、クオリティを示すＱ値の低いものがランキング上位に現われており、クオリティが高いものを視聴したいと考える利用者の意図を満足する結果とはならい。同図（Ｂ）は、類似度、Ｑ値双方を考慮したスコアによってランキングした結果である。この結果、類似度の高いものの中でも、Ｑ値が高いものが上位に現われており、の利用者の意図を満足する結果となっている。

また、同様に、それまでに利用者が視聴したコンテンツに類似する、全く新しいコンテンツを推薦するコンテンツ推薦技術がある。この場合も、全く同様の処理方法で、類似度が高く、よりクオリティが高いものを推薦するといった利用が可能である。

＜検出技術の予備処理としての利用＞
従来、コンテンツの中から、特定の区間を自動的に検出する検出技術が発明されている。例えば、特許文献「特開２００８−２２１４２号公報」に記載の技術では、野球映像の中から、投球シーンのみを検出する技術について開示されている。このような技術では、処理対象とするコンテンツによっては、意図する効果が得られにくい。上記の例では、野球映像の投球シーンを検出する技術であるため、野球映像以外のコンテンツに対しては、その効果を得ることはできない。

従って、例えば、野球映像以外のコンテンツが含まれるようなコンテンツデータベースに対して、上記の検出技術を利用する場合、事前に野球映像らしきものを絞り込んでおく予備処理を導入できれば、効果の低減や無駄な処理を省くことができるため、有益である。この例では、コンテンツとして野球映像を取り上げたが、この他、映画やドラマ、ニュース、各種スポーツ映像なども同様のことが言える。

上記のようなコンテンツは、主としてプロフェッショナルの作成者によって作成されており、そのクオリティは高いものとなっている。したがって、本発明の技術によって、事前にクオリティの高いコンテンツを絞り込むことによって、例えば、上記のような検出技術を支援し、効果的な処理を実現できる。

なお、ここでは、一例として特許文献「特開２００８−２２１４２号公報」を例示したが、同様の効果の低減が考えられ得る任意の検出技術に対して適用可能であることは言うまでもない。

以上のように、本実施の形態では、コンテンツ中の分析信号に基づいて、コンテンツの多様な情報を分析することで、セグメントのクオリティを数値として計算し、提示できる。これは、従来技術では、評価されたクオリティの精度が低く、分類数が少なかったという問題に対して解決を与えるものである。

また、上記の図３に示すコンテンツ評価装置の構成要素の動作をプログラムとして構築し、コンテンツ評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。例えば、生成されたセグメントの情報を含む、ＸＭＬ(eXtensible Markup Language)データを生成してもよい。汎用的なＸＭＬデータであれば、本発明により生成される出力結果の利用性を高めることができる。

本発明は、映像のクオリティを評価する技術全般に適用可能である。

本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の一実施の形態におけるコンテンツ評価装置の構成図である。 本発明の一実施の形態における評価方法のフローチャート（その１）である。 本発明の一実施の形態における評価方法のフローチャート（その２）である。 本発明の一実施の形態における部分コンテンツ生成処理の一例を表す図である。 本発明の一実施の形態におけるクオリティ値算出部の構成図である。 本発明の一実施の形態におけるクオリティ値計算処理のフローチャートである。 本発明の一実施の形態におけるショット長ＳＢの一例である。 本発明の一実施の形態における動き量ＭＱの一例である。 本発明の一実施の形態におけるピッチ変化ＤＰの一例である。 本発明の一実施の形態におけるパワーレベル比ＰＲの一例である。 本発明の一実施の形態におけるＱ値の一例である。 本発明の一実施の形態における出力結果の一例である。 検索結果の一例である。

符号の説明

１０ コンテンツ記憶部
２０ 分析信号抽出手段、分析信号抽出部
３０ セグメント分割部
４０ 記憶手段、分析信号メモリ
５０ セグメントメモリ
６０ クオリティ値算出手段、クオリティ値算出部
６１ 特徴量抽出部
６２ 特徴量尺度算出部
６３ 条件文判定用特徴量抽出部
６４ 条件文判定部
６５ ルール充足性尺度計算部
６６ クオリティ値計算部
７０ ルール記憶手段、ルール記憶部
６０１ 特徴量記憶部
６０２ 特徴量尺度（ＦＳ）記憶部
６０３ 条件文判定用特徴量記憶部
６０４ ルール充足性尺度（ＲＳ）記憶部

Claims (4)

1. コンテンツ中に含まれる画像や音声を解析し、当該コンテンツに対して施されている編集処理の頻度である編集処理量を求めるコンテンツ評価装置であって、
   前記コンテンツ中の画像情報、または、画像情報及び音声情報を分析信号として抽出し、記憶手段に格納する分析信号抽出手段と、
   前記記憶手段から前記分析信号を読み出して、該分析信号のうち、画像信号のショット長と、テロップの有無を含み、さらに、動き量、カラーヒストグラム、ピッチ変化、パワーレベル、音声信号のピッチ変化、パワーレベル比のうちの少なくとも１つの特徴量を求め、これら特徴量の統計量と予め定めた関数に基づき、編集処理量を求め、求めた編集処理量をクオリティ値として出力するクオリティ値算出手段と、
   を有することを特徴とするコンテンツ評価装置。
2. コンテンツ中に含まれる画像や音声を解析し、当該コンテンツに対して施されている編集処理の頻度である編集処理量を求めるコンテンツ評価方法であって、
   分析信号抽出手段が、前記コンテンツ中の画像情報、または、画像情報及び音声情報を分析信号として抽出し、記憶手段に格納する分析信号抽出ステップと、
   クオリティ値算出手段が、前記記憶手段から前記分析信号を読み出して、該分析信号のうち、画像信号のショット長と、テロップの有無を含み、さらに、動き量、カラーヒストグラム、ピッチ変化、パワーレベル、音声信号のピッチ変化、パワーレベル比のうちの少なくとも１つの特徴量を求め、これら特徴量の統計量と予め定めた関数に基づき、編集処理量を求め、求めた編集処理量をクオリティ値として出力するクオリティ値算出ステップと、
   を行うことを特徴とするコンテンツ評価方法。
3. 請求項１記載のコンテンツ評価装置を構成する各手段としてコンピュータを機能させるためのコンテンツ評価プログラム。
4. 請求項３記載のコンテンツ評価プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images