JP4359120B2 - コンテンツ品質評価装置及びそのプログラム - Google Patents

コンテンツ品質評価装置及びそのプログラム Download PDF

Info

Publication number
JP4359120B2
JP4359120B2 JP2003372280A JP2003372280A JP4359120B2 JP 4359120 B2 JP4359120 B2 JP 4359120B2 JP 2003372280 A JP2003372280 A JP 2003372280A JP 2003372280 A JP2003372280 A JP 2003372280A JP 4359120 B2 JP4359120 B2 JP 4359120B2
Authority
JP
Japan
Prior art keywords
content
importance
partial
evaluation
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003372280A
Other languages
English (en)
Other versions
JP2005136810A (ja
Inventor
浩幸 今泉
讓 土屋
秀一 青木
和久 井口
善明 鹿喰
勝典 青木
敏 西村
欣裕 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
NHK Engineering Services Inc
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NHK Engineering Services Inc, Japan Broadcasting Corp filed Critical NHK Engineering Services Inc
Priority to JP2003372280A priority Critical patent/JP4359120B2/ja
Publication of JP2005136810A publication Critical patent/JP2005136810A/ja
Application granted granted Critical
Publication of JP4359120B2 publication Critical patent/JP4359120B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、映像、音声等から構成されるコンテンツ（マルチメディアコンテンツ）の視聴品質を評価するコンテンツ品質評価装置及びそのプログラムに関する。
従来、コンテンツを評価する手法としては、評価者がテレビ等の画面の画質等を視認することによって行う主観評価と、コンテンツそのものを物理的な尺度により評価する客観評価の２つがある。
主観評価の方法としては、例えば、ＩＴＵ−Ｒ（International Telecommunication Union-Radiocommunication Sector）勧告ＢＴ−５００で推奨されているＤＳＣＱＳ（Double Stimulus Continuous Quality Scale）法がある。このＤＳＣＱＳ法は、評価者に対して基準画像と、システムや伝送路を経た被評価画像とを順不同で提示し、評価者が同一の品質尺度で画像の評価を行うものである。
また、客観評価の方法としては、例えば、ＡＮＳＩ Ｓｔａｎｄａｒｄ Ｔ１．８００，“Digital Transport of One-way Video Signals - Parameters for Objective Performance Assessment”（Mar.1996）で規定されている方法がある。この方法は、客観パラメータ等の画像の特徴量と、主観的な画像品質との関係を多変量解析等によって予め解析しておき、そこで求めた重み付けに基づいて、画像品質を評価するものである。なお、この客観評価の方法には、基準画像と被評価画像とを比較し評価する方法や、基準画像を用いずに被評価画像のみで評価を行う方法が存在する。
さらに、評価者が感覚的に感じる画質の良さを評価値として算出する技術が開示されている。例えば、視線を追跡する視線追跡装置を評価者に装着し、評価者が画像を見たときの視線位置における画像の品質を評価する技術が開示されている（特許文献１参照）。また、例えば、脳波を解析する脳波解析装置と、視線を追跡する視線追跡装置とを評価者に装着し、評価者が画像を見たときの脳波情報と、視線の位置を示す視線情報とに基づいて、画像の品質を評価する技術が開示されている（特許文献２参照）。
特開平９−２７５４５９号公報（段落００１９〜００２４、図１） 特開平１０−１６４２８１号公報（段落００２１〜００３０、図１）
前記したＤＳＣＱＳ法のような主観評価によるコンテンツの品質評価では、多くの評価者を必要とし、かつ、同時に定められた評価条件の下で評価を行う必要があるため、放送のような長時間に及ぶコンテンツを継続してリアルタイムに評価することができないという問題がある。
また、従来の客観評価によるコンテンツの品質評価では、コンテンツ、例えば、画像を信号レベルで一様に評価するため、画像内で目につきやすい重要な箇所に生じた劣化も、注意の届きにくい重要でない箇所に生じた劣化も、同様に評価されてしまう。また、従来の客観評価では、音声も信号レベルで一様に評価している。このため、従来の客観評価によるコンテンツの品質評価は、必ずしも人間の視覚や聴覚の感覚とは一致しないという問題がある。
さらに、特許文献１や特許文献２に記載の技術においては、評価者が注目する視線の視線位置を追跡する視線追跡装置や、評価者の注目度を脳波情報として検出する脳波解析装置を必要とする。このため、品質評価を行う装置構成は大規模になり、多大なコストを要するという問題や、長時間コンテンツを評価することができないといった問題がある。
なお、従来、音声、映像（動画像）等を含んだマルチメディアコンテンツを評価する場合、例えば、音声は音声のみで評価し、映像は映像のみで評価していた。ところが、マルチメディアコンテンツを視聴する視聴者の評価は、必ずしも音声、映像等を別々のものとして評価するものではない。そこで、音声、映像等を含んだマルチメディアコンテンツに対し、視聴者の主観を反映した評価手法が望まれている。
本発明は、以上のような問題点に鑑みてなされたものであり、視聴者の主観を反映しつつ、客観的にコンテンツを評価することが可能なコンテンツ品質評価装置及びそのプログラムを提供することを目的とする。
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のコンテンツ品質評価装置は、コンテンツの品質を評価するコンテンツ品質評価装置であって、コンテンツを予め定めた大きさの部分領域に分割する領域分割手段と、部分評価手段と、重要度決定手段と、評価値算出手段と、重み係数記憶手段とを備える構成とした。
かかる構成によれば、コンテンツ品質評価装置は、領域分割手段によって、音声や映像からなるコンテンツを、予め定めた大きさの部分領域に分割する。例えば、この領域分割手段は、ある時間間隔で音声を分割したり、ある領域の大きさで映像を構成するフレームを分割したりすることで、コンテンツ全体を評価対象とするのではなく、評価対象を音声や映像の部分領域とする。そして、コンテンツ品質評価装置は、部分評価手段によって、部分領域毎の音声や映像の品質を予め定めた評価手法によって評価する。この音声や映像の品質評価は、既存の評価手法を用いればよく、音声の品質評価は、例えば、オピニオン等価Ｑ値法、ＳＩＮＡＤ（SIgnal to Noise And Distortion）法等によって行う。また、映像の品質評価は、例えば、ＡＮＳＩ Ｓｔａｎｄａｒｄ Ｔ１．８００で規定されている手法等によって行う。
また、コンテンツ品質評価装置は、重要度決定手段によって、コンテンツにおいて、領域分割手段で分割された部分領域毎に、予め定めた特徴量（音量、動き等）を抽出することで、コンテンツにおける部分領域の重要度を決定する。例えば、部分領域の音量が大きい場合や、動きが激しい場合は、その部分領域がコンテンツにおいて、重要な部分であると判断できる。
そして、コンテンツ品質評価装置は、評価値算出手段によって、部分領域毎に、部分評価手段で評価した部分評価値を、重要度に基づいて加算することで、コンテンツ全体の評価値とする。これによって、コンテンツ品質評価装置は、コンテンツの品質評価において、重要度の高い部分領域の品質評価に重みを付けた評価を行うことができる。
また、コンテンツ品質評価装置は、予め重み係数記憶手段に特徴量の重みを、コンテンツの分野（ジャンル）別に記憶しておく。そして、コンテンツ品質評価装置は、重要度決定手段によって、部分領域毎に複数の特徴量を抽出し、複数の重要度を決定する。そして、評価値算出手段が、コンテンツの付加情報（メタデータ）に記述された分野に基づいて、重み係数記憶手段から、その分野の特徴量の重みを読み出し、その重みに基づいて部分評価値の加算を行う。これによって、コンテンツのジャンル毎に異なる特性に合わせた評価を行うことができる。
なお、コンテンツ品質評価装置は、重要度決定手段が、映像又は符号化映像における部分領域毎に文字領域を検出し、その文字領域の有無を部分領域の特徴量として、重要度を決定する文字領域重要度決定手段を備える構成としてもよい（請求項２）。
また、コンテンツ品質評価装置は、重要度決定手段が、映像又は符号化映像における部分領域毎に図形領域を検出し、その図形領域の有無を部分領域の特徴量として、重要度を決定する図形領域重要度決定手段を備える構成としてもよい（請求項３）。
さらに、コンテンツ品質評価装置は、重要度決定手段が、音声又は符号化音声における部分領域毎の特徴量である音量の大きさに基づいて、重要度を決定する音量重要度決定手段を備える構成としてもよい（請求項４）。
また、請求項５に記載のコンテンツ品質評価装置は、コンテンツの品質を評価するコンテンツ品質評価装置であって、コンテンツを、そのコンテンツの付加情報に記述された大きさの部分領域に分割する領域分割手段と、部分評価手段と、重要度決定手段と、評価値算出手段とを備える構成とした。
かかる構成によれば、コンテンツ品質評価装置は、領域分割手段によって、音声や映像からなるコンテンツを、コンテンツの付加情報（メタデータ）に記述された大きさの部分領域に分割する。これによって、コンテンツを制作する側で、そのコンテンツを評価する単位を設定することが可能になる。そして、コンテンツ品質評価装置は、部分評価手段によって、部分領域毎の音声や映像の品質を予め定めた評価手法によって評価する。
また、コンテンツ品質評価装置は、重要度決定手段によって、コンテンツにおいて、領域分割手段で分割された部分領域毎に、予め定めた特徴量（音量、動き等）を抽出することで、コンテンツにおける部分領域の重要度を決定する。
そして、コンテンツ品質評価装置は、評価値算出手段によって、部分領域毎に、部分評価手段で評価した部分評価値を重要度に基づいて加算する。これによって、重要度が高い部分領域ほど、その評価の度合いを大きくすることができる。
また、請求項６に記載のコンテンツ品質評価装置は、請求項５に記載のコンテンツ品質評価装置において、重み係数記憶手段を備え、前記重要度決定手段が、前記部分領域毎に複数の前記特徴量を抽出し、前記評価値算出手段が、前記コンテンツの付加情報に記述された前記コンテンツの分野と、前記重み係数記憶手段に記憶されている前記分野別の前記特徴量の重みとに基づいて、前記部分評価値を加算することを特徴とする。
かかる構成によれば、コンテンツ品質評価装置は、予め重み係数記憶手段に特徴量の重みを、コンテンツの分野（ジャンル）別に記憶しておく。そして、コンテンツ品質評価装置は、重要度決定手段によって、部分領域毎に複数の特徴量を抽出し、複数の重要度を決定する。そして、評価値算出手段が、コンテンツの付加情報（メタデータ）に記述された分野に基づいて、重み係数記憶手段から、その分野の特徴量の重みを読み出し、その重みに基づいて部分評価値の加算を行う。これによって、コンテンツのジャンル毎に異なる特性に合わせた評価を行うことができる。
さらに、請求項７に記載のコンテンツ品質評価装置は、請求項５又は請求項６に記載のコンテンツ品質評価装置において、前記重要度決定手段が、動きベクトル重要度決定手段を備える構成とした。
かかる構成によれば、コンテンツ品質評価装置は、符号化映像を含んだコンテンツを入力されたときに、動きベクトル重要度決定手段によって、その符号化映像の符号化情報に含まれる動きベクトルの方向及び大きさを抽出する。なお、この動きベクトルの方向及び大きさは、映像の動きを特徴付ける特徴量となる。そこで、動きベクトル重要度決定手段は、例えば、１フレーム内で動きベクトルの方向と大きさを累計し、同種の動きベクトルが多く存在している領域に含まれる部分領域の重要度を高くする。これによって、コンテンツ品質評価装置は、映像の中で、動きの大きい領域の評価に重みを付けることができる。
また、請求項８に記載のコンテンツ品質評価装置は、請求項５又は請求項６に記載のコンテンツ品質評価装置において、前記重要度決定手段が、量子化特性重要度決定手段を備える構成とした。
かかる構成によれば、コンテンツ品質評価装置は、符号化映像を含んだコンテンツを入力されたときに、量子化特性重要度決定手段によって、その符号化映像の符号化情報に含まれる量子化特性値を抽出する。なお、この量子化特性値は、映像を圧縮符号化するときの量子化の度合いを示すものである。この量子化特性値が大きいほど、圧縮効率を高めることができるが、量子化ノイズが発生しやすくなる。すなわち、この量子化特性値が大きい領域ほど、重要度が低いと判断することができる。そこで、量子化特性重要度決定手段は、量子化特性値が大きい領域ほど重要度を低く、量子化特性値が小さい領域ほど重要度を高くする。これによって、コンテンツ品質評価装置は、圧縮率が低い領域の評価に重みを付けることができる。
さらに、請求項９に記載のコンテンツ品質評価装置は、請求項５又は請求項６に記載のコンテンツ品質評価装置において、前記重要度決定手段が、文字領域重要度決定手段を備える構成とした。
かかる構成によれば、コンテンツ品質評価装置は、映像又は映像を符号化した符号化映像を入力されたときに、文字領域重要度決定手段によって、その映像又は符号化映像から文字領域を検出する。なお、この文字領域が存在する領域は、映像の特徴を示す領域となる。そこで、文字領域重要度決定手段は、文字領域を有する部分領域の重要度を高くし、文字領域を有しない部分領域の重要度を低くする。これによって、コンテンツ品質評価装置は、映像の中で文字が存在する領域の評価に重みを付けることができる。
また、請求項１０に記載のコンテンツ品質評価装置は、請求項５又は請求項６に記載のコンテンツ品質評価装置において、前記重要度決定手段が、図形領域重要度決定手段を備える構成とした。
かかる構成によれば、コンテンツ品質評価装置は、映像又は映像を符号化した符号化映像を入力されたときに、図形領域重要度決定手段によって、その映像又は符号化映像から図形領域を検出する。なお、この図形領域が存在する領域は、映像の特徴を示す領域となる。そこで、文字領域重要度決定手段は、図形領域を有する部分領域の重要度を高くし、図形領域を有しない部分領域の重要度を低くする。これによって、コンテンツ品質評価装置は、映像の中で図形が存在する領域の評価に重みを付けることができる。
さらに、請求項１１に記載のコンテンツ品質評価装置は、請求項５又は請求項６に記載のコンテンツ品質評価装置において、前記重要度決定手段が、音量重要度決定手段を備える構成とした。
かかる構成によれば、コンテンツ品質評価装置は、音声又は音声を符号化した符号化音声を入力されたときに、音量重要度決定手段によって、その音声又は符号化音声から音量を検出する。なお、この音量の大きさは、音声の特徴であって、音量が大きいほどコンテンツに占める重要度が高いといえる。そこで、音量重要度決定手段は、音量が大きいほど、部分領域の重要度を高くし、音量が小さいほど部分領域の重要度を低くする。これによって、コンテンツ品質評価装置は、音声の音量が大きい領域の評価に重みを付けることができる。
また、請求項１２に記載のコンテンツ品質評価プログラムは、コンテンツの品質を評価するために、コンピュータを、領域分割手段、部分評価手段、重要度決定手段、評価値算出手段、として機能させることを特徴とする。
かかる構成によれば、コンテンツ品質評価プログラムは、領域分割手段によって、音声や映像からなるコンテンツを、そのコンテンツの付加情報に記述された大きさの部分領域に分割する。そして、コンテンツ品質評価プログラムは、部分評価手段によって、部分領域毎の音声や映像の品質を予め定めた評価手法によって評価する。また、コンテンツ品質評価プログラムは、重要度決定手段によって、コンテンツにおいて、領域分割手段で分割された部分領域毎に、予め定めた特徴量を抽出することで、コンテンツにおける部分領域の重要度を決定する。そして、コンテンツ品質評価プログラムは、評価値算出手段によって、部分領域毎に、部分評価手段で評価した部分評価値を、重要度に基づいて加算することで、コンテンツ全体の評価値とする。
本発明によれば、コンテンツ（被評価コンテンツ）において視聴上の重要な領域を検出することで、その重要な領域の品質評価の重みを高くすることができる。例えば、音量が大きかったり、動きが激しかったりする音声や映像の特徴を有する領域は、人間が視聴する際に注目すべき領域となる。すなわち、本発明におけるコンテンツの評価は、人間の主観に合致したものとなる。さらに、本発明は、その特徴を自動で検出するため、客観的にコンテンツの評価を行うことができる。
請求項５又は請求項１２に記載の発明によれば、コンテンツの付加情報（メタデータ）に、コンテンツを分割する大きさを記述しておくだけで、コンテンツを評価単位の領域に分割することができ、コンテンツを制作する側で、そのコンテンツを評価する単位を設定することが可能になる。また、コンテンツの音声や映像を評価する領域を任意に設定できるため、より詳細に評価を行いたい領域では分割を細かくすることで、コンテンツを制作する側の意図に沿った評価を行うことができる。
請求項１又は請求項６に記載の発明によれば、コンテンツの分野（ジャンル）毎に、予め特徴量の重みを記憶しているため、付加情報（メタデータ）に被評価コンテンツの分野を記述しておくだけで、特徴量の重みを変えることができ、コンテンツの特性に合わせた評価を行うことができる。
請求項７に記載の発明によれば、被評価コンテンツの部分領域の重要度を、動きベクトルによって決定することができる。これによって、本発明は、例えば、スポーツ番組等において重要な場面である、動きの激しい領域の重要度を高くすることができるため、人間の主観を考慮したコンテンツの評価を行うことができる。
請求項８に記載の発明によれば、被評価コンテンツの部分領域の重要度を、量子化特性値によって決定することができる。これによって、本発明は、例えば、コンテンツ制作側で、そのコンテンツの部分領域が重要であるため量子化を小さくした場合、そのコンテンツ制作側の意図に沿って、量子化の小さい部分領域の評価に重みを付けることができる。
請求項２又は請求項９に記載の発明によれば、文字領域の有無のよって、部分領域の重要度を決定することができる。これによって、本発明は、映像中に文字テロップ等が挿入された場合に、その文字テロップを含んだ領域を、映像の中で重要な領域であると判断し、その文字領域の評価に重みを付けることができる。
請求項３又は請求項１０に記載の発明によれば、図形領域の有無によって、部分領域の重要度を決定することができる。これによって、本発明は、映像中に図形、例えば天気予報のマーク等が挿入された場合に、その図形を含んだ領域を、映像の中で重要な領域であると判断し、その図形領域の評価に重みを付けることができる。
請求項４又は請求項１１に記載の発明によれば、音量の大きさによって、部分領域の重要度を決定することができる。これによって、本発明は、音量の大きい領域を重要な領域であると判断し、その領域の評価に重みを付けることができる。
以下、本発明の実施の形態について図面を参照して説明する。
［第一の実施の形態］
（コンテンツ品質評価装置の構成）
まず、図１を参照して、本発明に係る第一の実施の形態であるコンテンツ品質評価装置の構成について説明する。図１は、コンテンツ品質評価装置の構成を示すブロック図である。図１に示すように、コンテンツ品質評価装置１は、音声、映像を符号化した符号化音声、符号化映像を含んだマルチメディアコンテンツである被評価コンテンツの視聴品質を評価するものである。ここでは、コンテンツ品質評価装置１は、領域分割手段１０と、復号手段２０と、部分評価手段３０と、重要度決定手段４０と、評価値算出手段５０とを備えて構成されている。
領域分割手段１０は、入力されたコンテンツ（被評価コンテンツ）である符号化映像、符号化音声を、予め定めた大きさの部分領域に分割するものである。ここでは、領域分割手段１０は、音声分割部１１と、映像分割部１２とを備えて構成されている。
音声分割部１１は、符号化音声を予め定めた大きさの部分領域（分割符号化音声）に分割するものである。例えば、音声分割部１１は、符号化音声を映像の１フレームに相当する３３ｍｓ（ミリ秒）の時間幅に分割する。ここで分割された分割符号化音声は、復号手段２０に出力される。なお、音声の分割単位は任意の時間に設定することができるが、本実施の形態においては、一例として分割単位を３３ｍｓとした場合について説明する。
映像分割部１２は、符号化映像を予め定めた大きさの部分領域（分割符号化映像）に分割するものである。例えば、映像分割部１２は、符号化映像を１６×１６画素のマクロブロックに分割する。ここで分割された分割符号化映像は、復号手段２０に出力される。また、ここでは、分割符号化映像は、さらに、重要度決定手段４０の動きベクトル重要度決定部４４及び量子化特性重要度決定部４５にも出力される。なお、映像の分割単位は、任意の形状、大きさに分割することも可能であるが、本実施の形態においては、１６×１６画素のマクロブロックに分割した場合について説明する。
ここで、図２を参照して、被評価コンテンツを分割する例について説明する。図２は、コンテンツを分割する概念を示す図である。図２（ａ）は、音声の信号を示し、図２（ｂ）は、映像を構成するフレーム内のマクロブロック（Ｂ0、Ｂ1…ＢN-1）を示し、図２（ｃ）は、音声及び映像（フレーム）の分割例を示している。
図２（ｃ）に示すように、音声分割部１１（図１）は、音声を映像の１フレームに相当する３３ミリ秒（ｍｓ）の音声区間に分割して、分割音声とする。また、映像分割部１２（図１）は、映像を構成するフレームを１６×１６画素の画像ブロック（マクロブロック（Ｂ0、Ｂ1…ＢN-1））単位に分割して、分割映像とする。なお、ここでは、音声と映像は、例えば、音声を画像ブロックに相当する音声区間で分割することとしてもよいし、映像をフレーム単位で分割することとしてもよく、音声区間及び画像ブロックの大きさは任意に定めることができる。また、音声及び映像は、符号化されていてもよいし、符号化されていなくてもよい。
図１に戻って説明を続ける。
復号手段２０は、領域分割手段１０から出力されるコンテンツの部分領域（分割符号化音声、分割符号化映像）を復号するものである。ここでは、復号手段２０は、音声復号部２１と、映像復号部２２とを備えて構成されている。
音声復号部２１は、領域分割手段１０の音声分割部１１で分割された分割符号化音声を復号するものである。例えば、音声復号部２１は、ＭＰＥＧ２オーディオ等の符号化された分割符号化音声を復号する。ここで復号された音声（分割音声）は、部分評価手段３０に出力される。
映像復号部２２は、領域分割手段１０の映像分割部１２で分割された分割符号化映像を復号するものである。例えば、映像復号部２２は、ＭＰＥＧ２等で符号化された分割符号化映像を復号する。ここで復号された映像（分割映像）は、部分評価手段３０に出力される。
部分評価手段３０は、復号手段２０で復号された部分領域である音声（分割音声）及び映像（分割映像）を、予め定めた手法により品質評価するものである。ここでは、部分評価手段３０は、音声区間品質評価部３１と、画像ブロック品質評価部３２とを備えて構成されている。
音声区間品質評価部３１は、音声復号部２１で復号された分割音声を評価するものである。すなわち、音声区間品質評価部３１は、音声復号部２１で復号された所定の音声区間、例えば３３ミリ秒の分割音声を評価する。ここで評価された分割音声の評価値（部分評価値；音声区間評価値）は、評価値算出手段５０に出力され、被評価コンテンツ全体の品質の評価値が算出される。
この音声区間品質評価部３１は、例えば、オピニオン等価Ｑ値法、ＳＩＮＡＤ（SIgnal to Noise And Distortion）法等によって音声を評価する。
ここで、オピニオン等価Ｑ値法とは、主観（Mean Opinion Score,MOS）評価によって得られたＭＯＳ値と、信号の雑音電力比（Signal to Noise Ratio,SNR）との関係表を予め作成しておき、以降の評価はその関係表に基づいて定量的に測定するものである（「古井，“ディジタル音声処理”，ｐｐ．１３０−１３３，東海大学出版会」参照）。また、ＳＩＮＡＤ法は、音声信号の信号電力に対する雑音と歪み成分の電力比を評価値とするものである。
このように、音声区間品質評価部３１は、既存の音声評価の手法に基づいて、分割音声の評価を行うことができる。このとき、音声区間品質評価部３１は、入力された分割音声のみで品質を評価してもよいし、元となるコンテンツの音声を入力し、その音声を基準として品質を評価することとしてもよい。
なお、ここでは、評価する音声（分割音声）を、復号した音声（ベースバンドの音声信号）としているが、符号化音声をそのまま評価することとしてもよい。例えば、音声を符号化する際の量子化の度合いによって、音声の品質を評価することとしてもよい。この場合、音声区間品質評価部３１は、領域分割手段１０で分割された部分領域（分割符号化音声）を入力することとする。
画像ブロック品質評価部３２は、映像復号部２２で復号された分割映像を評価するものである。すなわち、画像ブロック品質評価部３２は、映像復号部２２で復号された所定の画像ブロック、例えば１６×１６画素のマクロブロックの画像（分割映像）を評価する。ここで評価された分割映像の評価値（部分評価値；画像ブロック評価値）は、評価値算出手段５０に出力され、被評価コンテンツ全体の品質の評価値が算出される。
この画像ブロック品質評価部３２は、既存の映像（画像）評価手法に基づいて、分割映像の評価を行うことができる。例えば、画像ブロック品質評価部３２は、ＡＮＳＩ Ｓｔａｎｄａｒｄ Ｔ１．８００で規定されている手法等によって画像（分割映像）を評価する。このＡＮＳＩの手法は、画像の特徴量と、主観的な画像品質との関係を多変量解析等によって予め解析しておき、そこで求めた重み付けに基づいて、画像品質を評価するものである。例えば、画像の特徴量として、水平垂直エッジと、非水平垂直エッジとの電力比を求めることで、ブロック歪量を求め、画像の評価量とすることができる。
また、画像ブロック品質評価部３２は、入力された分割映像のみで品質を評価してもよいし、元となるコンテンツの映像を入力し、その映像を基準として品質を評価することとしてもよい。
なお、ここでは、評価する映像（分割映像）を、復号した映像（ベースバンドの映像信号）としているが、符号化映像をそのまま評価することとしてもよい。例えば、映像を符号化する際の量子化の度合いによって、映像の品質を評価することとしてもよい。この場合、画像ブロック品質評価部３２は、領域分割手段１０で分割された部分領域（分割符号化映像）を入力することとする。
重要度決定手段４０は、領域分割手段１０で分割された部分領域毎に、特徴量を抽出し、その特徴量の有無あるいは大きさによって、その部分領域の重要度を決定するものである。例えば、部分領域である分割音声で、音量が大きい場合は、その分割音声の重要度は高いといえる。また、例えば、フレーム内に文字が描画されている場合は、その文字を含んだ分割映像の重要度は高いといえる。このように、部分領域（分割音声、分割映像）毎に決定された重要度は、評価値算出手段５０に出力される。
ここでは、重要度決定手段４０は、音量重要度決定部４１と、文字領域重要度決定部４２と、図形領域重要度決定部４３と、動きベクトル重要度決定部４４と、量子化特性重要度決定部４５とを備えて構成されている。
音量重要度決定部（音量重要度決定手段）４１は、音声の特徴量である音量に基づいて、領域分割手段１０で分割された音声の音声区間の重要度を決定するものである。ここでは、音量重要度決定部４１は、復号手段２０で復号された分割音声を入力し、例えば、音声信号の振幅レベルを検出することで、分割音声の音量（ゲイン）を抽出する。そして、音量重要度決定部４１は、予め定めた音量（ゲイン）を基準として、音量が大きいほど重要度を大きくし、分割音声の重要度を決定する。ここで決定された重要度は、評価値算出手段５０に出力される。
なお、この音量重要度決定部４１では、ベースバンドの音声信号に基づいて重要度を決定したが、符号化音声が入力される場合は、その符号化音声に符号化情報として含まれる音量（ゲイン）の値に基づいて、重要度を決定することとしてもよい。
文字領域重要度決定部（文字領域重要度決定手段）４２は、映像内の特徴量である文字領域の有無に基づいて、領域分割手段１０で分割された映像の部分領域の重要度を決定するものである。ここでは、文字領域重要度決定部４２は、復号手段２０で復号された分割映像を入力し、１フレーム分の画像ブロックを入力した段階で、画像処理によって文字領域（文字テロップの領域）を検出する。例えば、文字領域重要度決定部４２は、１フレーム分の画像において、文字が水平方向に並んでいる等の文字の幾何学的な特徴を、予め定めた基準値と比較することで、文字領域を検出する。この文字領域の検出は、既知の技術を用いて実現することができる。例えば、Tat-Seng CHUA,YiZHANGらの“DETECTION AND SEGMENTATION OF TEXT CAPTION IN VIDEO STREAM”（IEEE PCM'2001,Oct.2001）で開示された技術を用いて実現することができる。そして、文字領域重要度決定部４２は、文字領域を含んだ分割映像の重要度を高くし、逐次分割映像の重要度を評価値算出手段５０に出力する。
なお、この文字領域重要度決定部４２では、ベースバンドの映像信号に基づいて重要度を決定したが、符号化映像が入力される場合は、例えば、その符号化映像に符号化情報として含まれるマクロブロック毎の周波数成分であるＤＣＴ（Discrete Cosine Transform、離散コサイン変換）係数に基づいて、文字領域を検出することとしてもよい。例えば、文字領域では、文字が有する特徴から、垂直及び水平方向のエッジの分布が、周波数成分の偏りとなって現れる。そこで、文字領域重要度決定部４２は、この偏りを判定することで、文字領域を検出する。
図形領域重要度決定部（図形領域重要度決定手段）４３は、映像内の特徴量である図形領域の有無に基づいて、領域分割手段１０で分割された映像の部分領域の重要度を決定するものである。ここでは、図形領域重要度決定部４３は、復号手段２０で復号された分割映像を入力し、１フレーム分の画像ブロックを入力した段階で、画像処理によって図形領域を検出する。例えば、図形領域重要度決定部４３は、１フレーム分の画像のエッジを検出することでエッジ画像を生成し、そのエッジ画像をハフ変換することで、パラメータで表現することが可能な図形を検出する。この図形領域の検出は、既知の技術を用いて実現することができる。そして、図形領域重要度決定部４３は、図形領域を含んだ分割映像の重要度を高くし、逐次分割映像の重要度を評価値算出手段５０に出力する。
なお、この図形領域重要度決定部４３では、ベースバンドの映像信号に基づいて重要度を決定したが、符号化映像が入力される場合は、例えば、その符号化映像に含まれるマクロブロック毎の周波数成分（ＤＣＴ係数）に基づいて、図形が有する特徴から予め求めておいた周波数成分の分布により、図形領域を検出することとしてもよい。
動きベクトル重要度決定部（動きベクトル重要度決定手段）４４は、領域分割手段１０で分割された分割符号化映像から、分割符号化映像の特徴量であって、その分割符号化映像に含まれる、符号化情報の１つである動きベクトルの方向及び大きさに基づいて、映像の部分領域の重要度を決定するものである。
この動きベクトルは、現在のフレームと、１つ前のフレームとの間で、マクロブロック単位に、画像が動いた方向及びその移動量の大きさを示したものである。ここでは、動きベクトル重要度決定部４４は、１フレーム分の画像（分割符号化映像）が入力された段階で、その画像内の動きベクトルの方向と大きさとを累計しヒストグラム化することで、動き量の多い領域を検出する。そして、その領域に含まれる分割符号化映像の重要度を高くし、逐次分割符号化映像の重要度を評価値算出手段５０に出力する。これは、動き量の多い領域に、注目すべき被写体が存在すると考えられるからである。
なお、カメラを動かしながら被写体を撮影した映像の場合、頻繁に発生する動きベクトルは、画面全体の動き、すなわち、背景の動きを示す場合がある。このような映像（動画像コンテンツ）を評価する場合、動きベクトル重要度決定部４４は、例えば２番目に動き量の多い領域の重要度を高くする。なお、被評価コンテンツの映像の特性、例えば、カメラが頻繁に動いて撮影された映像か、固定カメラで撮影された映像かが、予め分かっている場合、動きベクトル重要度決定部４４は、図示していない入力手段によって、何番目に動き量の多い領域の重要度を高くするかを設定することとしてもよい。
量子化特性重要度決定部（量子化特性重要度決定手段）４５は、領域分割手段１０で分割された分割符号化映像から、分割符号化映像の特徴量であって、その分割符号化映像に含まれる、符号化情報の１つである量子化特性値に基づいて、映像の部分領域の重要度を決定するものである。
この量子化特性値は、映像をマクロブロック単位に圧縮符号化する際の量子化の度合いを示す値である。この値が大きいほどマクロブロック内の圧縮率が高まり、値が小さいほどマクロブロック内の圧縮率は低くなる。すなわち、量子化特性値が大きく圧縮率が高いほど、圧縮前の映像に比べて量子化ノイズが発生しやすくなる。
なお、この量子化特性値は、コンテンツ制作側で、映像のフレーム内で個々に設定される場合がある。この場合、量子化特性値を小さくした領域は、コンテンツ制作側が映像のノイズを抑え、鮮明に視聴者に提示しようと考えた領域であるといえる。すなわち、この量子化特性値を、映像における領域の重要度の判定材料とすることができる。
そこで、量子化特性重要度決定部４５は、１フレーム分の画像（分割符号化映像）が入力された段階で、その画像内の量子化特性値が小さいほど重要度を高くし、量子化特性値が大きいほど重要度を低くし、逐次分割符号化映像の重要度を評価値算出手段５０に出力する。
このように、重要度決定手段４０からは、被評価コンテンツを分割した単位で、種々の特徴量に基づいた重要度が評価値算出手段５０に出力される。なお、ここで説明した各重要度決定部（４１、４２、４３、４４、４５）は、すべて組み込む又は動作させる必要はなく、評価したい項目に合わせて適宜組み合わせてもよい。
評価値算出手段５０は、重要度決定手段４０で決定された重要度に基づいて、部分評価手段３０で評価した、被評価コンテンツの部分領域（分割音声、分割映像）毎の評価値である音声区間評価値と画像ブロック評価値とを、重み付け加算することで、被評価コンテンツ全体の評価値を算出するものである。ここでは、評価値算出手段５０は、重み付け係数算出部５１と、加算部５２とを備えて構成されている。
重み付け係数算出部５１は、重要度決定手段４０で決定された各重要度に基づいて、部分評価手段３０で評価された音声区間評価値と、画像ブロック評価値との評価の重みを示す重み付け係数を算出するものである。ここで算出された重み付け係数は、加算部５２に出力され、音声区間評価値と、画像ブロック評価値との重み付け加算を行う際の係数となる。
ここで、音量重要度決定部４１で決定された重要度がＩａであったとき、重み付け係数算出部５１は、音声区間品質評価部３１で評価された音声区間評価値の重み付け係数Ｗａを、以下の（１）式に示すように、重要度Ｉａをそのまま音声区間評価値の重み係数Ｗａとする。
Ｗａ＝Ｉａ …（１）
また、１フレーム内のｉ番目の画像ブロックＢi（図２参照）において、文字領域重要度決定部４２で決定された重要度がＩｃi、図形領域重要度決定部４３で決定された重要度がＩｄi、動きベクトル重要度決定部４４で決定された重要度がＩｖi、量子化特性重要度決定部４５で決定された重要度がＩｑiであったとき、重み付け係数算出部５１は、画像ブロックＢiの評価（画像ブロック評価値）の重み付け係数Ｗｖiを、各重要度を加算した以下の（２）式により算出する。
Ｗｖi＝Ｉｃi＋Ｉｄi＋Ｉｖi＋Ｉｑi …（２）
このように算出された音声区間評価値の重み係数Ｗａと、画像ブロック評価値の重み付け係数Ｗｖiとは、加算部５２に出力される。
加算部５２は、重み付け係数算出部５１で算出された重み係数に基づいて、部分評価手段３０で評価された分割音声及び分割映像の評価値である音声区間評価値及び画像ブロック評価値を重み付け加算して、被評価コンテンツの評価値を算出するものである。
この加算部５２では、例えば、音声区間品質評価部３１で評価された１フレーム分の音声区間評価値をＥａ、画像ブロック品質評価部３２で評価された画像ブロックＢiの評価値をＥｖiとし、１フレーム内の画像ブロックがＮ個であったすると、前記した（１）式及び（２）式に示した重み付け係数に基づいて、１フレームの評価値Ｑｆを（３）式で算出する。
Figure 0004359120
さらに、加算部５２は、被評価コンテンツのフレームがＦ個であったとき、この（３）式で算出された１フレームの評価値Ｑｆを以下の（４）式に示すように加算することで、被評価コンテンツの評価値Ｑを算出する。
Figure 0004359120
なお、この加算部５２では、１フレーム毎に算出される評価値Ｑｆを順次出力することとしてもよいし、すべてのフレームの評価値を加算した被評価コンテンツ全体の評価値Ｑを出力することとしてもよい。
このように、コンテンツ品質評価装置１は、被評価コンテンツを分割し、その分割された単位毎に品質の評価を行うとともに、その分割された部分領域の重要度に基づいて、被評価コンテンツの評価値を算出する。この重要度は、音声や映像の特徴量に基づいて決定されるため、人間の主観的な感覚を反映したものとなる。このため、コンテンツ品質評価装置１は、音声や映像を含んだマルチメディアコンテンツを、人間の主観を反映した形で評価することができる。さらに、コンテンツ品質評価装置１は、客観的な評価を連続して動作可能であるので、放送のような長時間のコンテンツであっても、リアルタイムに連続して評価することができる。
以上、コンテンツ品質評価装置１の構成について説明したが、本発明はこれに限定されるものではない。ここでは、被評価コンテンツを符号化音声及び符号化映像として説明したが、符号化されていない音声及び映像であっても構わない。この場合、復号手段２０を構成から除くことができる。また、この場合、符号化情報に含まれる動きベクトルや量子化特性値に基づいて重要度を決定する動きベクトル重要度決定部４４や量子化特性重要度決定部４５も構成から除くこととする。ただし、動きベクトル重要度決定部４４は、動き予測によって符号化するＭＰＥＧ２等の符号化方式によって映像を符号化する手段を備えることで、独自に動きベクトルを抽出する構成としてもよい。なお、音声又は映像のいずれか一方のみのコンテンツであっても、本発明において評価可能である。
また、コンテンツ品質評価装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（コンテンツ品質評価プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
（コンテンツ品質評価装置の動作）
次に、図３を参照（適宜図１参照）して、本発明に係る第一の実施の形態であるコンテンツ品質評価装置の動作について説明する。図３は、コンテンツ品質評価装置の動作を示すフローチャートである。
〈領域分割ステップ〉
まず、コンテンツ品質評価装置１は、領域分割手段１０によって、入力されたコンテンツ（被評価コンテンツ）を予め定めた大きさの部分領域に分割する（ステップＳ１）。
ここでは、音声分割部１１が、入力されたコンテンツである符号化音声を、映像の１フレームに相当する３３ミリ秒の時間幅に分割（分割符号化音声）する。また、映像分割部１２が、入力されたコンテンツである符号化映像を、１６×１６画素のマクロブロックに分割（分割符号化映像）する。
また、コンテンツ品質評価装置１は、復号手段２０によって、ステップＳ１で領域分割手段１０により分割された部分領域（分割符号化音声及び分割符号化映像）を復号する（ステップＳ２）。
ここでは、音声復号部２１が、分割符号化音声を復号し分割音声とする。また、映像復号部２２が、分割符号化映像を復号し分割映像とする。
〈部分領域解析ステップ〉
そして、コンテンツ品質評価装置１は、部分評価手段３０によって、ステップＳ２で復号手段２０により復号された分割音声及び分割映像の品質評価を行う（ステップＳ３）。
ここでは、音声区間品質評価部３１が、オピニオン等価Ｑ値法、ＳＩＮＡＤ法等によって分割音声の品質評価を行う。また、画像ブロック品質評価部３２が、ＡＮＳＩ Ｓｔａｎｄａｒｄ Ｔ１．８００で規定されている手法等によって画像（分割映像）の品質評価を行う。
また、コンテンツ品質評価装置１は、重要度決定手段４０によって、ステップＳ１で分割された分割符号化音声や分割符号化映像、さらにステップＳ２で復号された分割音声や分割映像といった部分領域毎に特徴量を抽出し、その特徴量の有無あるいは大きさによって、その部分領域の重要度を決定する（ステップＳ４）。
ここでは、音量重要度決定部４１が、音声の特徴量である音量を検出し、その音量の大きさに基づいて、分割音声の重要度を決定する。また、文字領域重要度決定部４２が、フレーム内において文字領域を検出し、その文字領域を含んだ分割映像の重要度を高くする。また、図形領域重要度決定部４３が、フレーム内において図形領域を検出し、その図形領域を含んだ分割映像の重要度を高くする。さらに、動きベクトル重要度決定部４４が、フレーム内において動きベクトルを方向と大きさとに基づいて累計し、その累計値により分割映像（画像ブロック）の重要度を決定する。また、量子化特性重要度決定部４５が、分割符号化映像に含まれる量子化特性値に基づいて、分割映像（画像ブロック）の重要度を決定する。
これによって、重要度決定手段４０は、ステップＳ３で評価された分割音声及び分割映像が視聴者にとって重要な意味を持つ音声及び映像であるかどうかを、重要度のレベルによって決定することができる。
〈評価値算出ステップ〉
そして、コンテンツ品質評価装置１は、評価値算出手段５０によって、ステップＳ４で決定された各重要度に基づいて、ステップＳ３で評価された分割音声及び分割映像の評価値（音声区間評価値及び画像ブロック評価値）を重み付け加算することで被評価コンテンツ全体の評価値を算出する（ステップＳ５）。
なお、ここでは、重み付け係数算出部５１が、重要度決定手段４０で決定された各重要度に基づいて、部分評価手段３０で評価された音声区間評価値と、画像ブロック評価値との評価の重み付け係数を算出し（前記（１）式及び（２）式参照）、加算部５２が、その重み付け係数に基づいて、音声区間評価値及び画像ブロック評価値を重み付け加算して、被評価コンテンツの評価値を算出する（前記（３）式及び（４）式参照）。
以上の動作によって、コンテンツ品質評価装置１は、音声や映像を含んだマルチメディアコンテンツを、人間の主観を反映した形で評価することができる。なお、ステップＳ３とステップＳ４の動作は、どちらを先に行ってもよく、並列動作させることが可能である。
［第二の実施の形態］
（コンテンツ品質評価装置の構成）
次に、図４を参照して、本発明に係る第二の実施の形態であるコンテンツ品質評価装置の構成について説明する。図４は、コンテンツ品質評価装置の構成を示すブロック図である。図４に示すように、コンテンツ品質評価装置１Ｂは、映像、音声を符号化した符号化音声、符号化映像を含んだマルチメディアコンテンツである被評価コンテンツの視聴品質を評価するものである。さらに、このコンテンツ品質評価装置１Ｂは、被評価コンテンツに付加されるメタデータ（付加情報）に基づいて、評価するコンテンツの部分領域の大きさを変更したり、部分領域における特徴量の重要度の比率を変更したりするものである。なお、このメタデータは、コンテンツ制作者が予めコンテンツの内容毎に作成したものである。このメタデータの具体的な内容については後記する。
ここでは、コンテンツ品質評価装置１Ｂは、領域分割手段１０Ｂと、復号手段２０と、部分評価手段３０と、重要度決定手段４０と、評価値算出手段５０Ｂと、メタデータ解析手段６０とを備えて構成されている。復号手段２０、部分評価手段３０及び重要度決定手段４０は、図１で説明したコンテンツ品質評価装置１と同一の構成であるので、同一の符号を付して説明を省略する。
領域分割手段１０Ｂは、入力されたコンテンツ（被評価コンテンツ）である符号化音声や符号化映像を、メタデータ解析手段６０で解析された大きさの部分領域に分割するものである。ここでは、領域分割手段１０Ｂは、音声分割部１１Ｂと、映像分割部１２Ｂとを備えて構成されている。
音声分割部１１Ｂ及び映像分割部１２Ｂは、図１で説明した音声分割部１１及び映像分割部１２と同様の機能を有するが、次に挙げる機能が異なっている。すなわち、音声分割部１１Ｂは、メタデータ解析手段６０から出力される分割サイズ（分割時間）に基づいて、入力された符号化音声を分割する。また、映像分割部１２Ｂは、メタデータ解析手段６０から出力される分割サイズ（分割領域）に基づいて、入力された符号化映像を分割する。
評価値算出手段５０Ｂは、重要度決定手段４０で決定された重要度に基づいて、部分評価手段３０で評価した、被評価コンテンツの部分領域（分割音声、分割映像）毎の評価値である音声区間評価値と画像ブロック評価値とを、重み付け加算することで、被評価コンテンツ全体の評価値を算出するものである。さらに、評価値算出手段５０Ｂは、メタデータ解析手段６０で解析された制御係数（重要度に対する重み）に基づいて、重要度決定手段４０で決定された重要度の重みを変化（増減）させるものである。
ここでは、評価値算出手段５０Ｂは、重み付け係数算出部５１Ｂと、加算部５２とを備えて構成されている。なお、加算部５２は、図１で説明したコンテンツ品質評価装置１と同一の構成であるので説明を省略する。
重み付け係数算出部５１Ｂは、重要度決定手段４０で決定された各重要度に基づいて、部分評価手段３０で評価された音声区間評価値と、画像ブロック評価値との評価の重みを示す重み付け係数を算出するものである。なお、重み付け係数算出部５１Ｂは、メタデータ解析手段６０から出力される制御係数に基づいて、重み付け係数を調整する。
例えば、制御係数として、音量重要度決定部４１で決定された重要度Ｉａに乗算する制御係数αａを通知された場合、重み付け係数算出部５１Ｂは、音声区間評価値の重み係数Ｗａを、以下の（５）式のように、重要度Ｉａに制御係数αａを乗算した値とする。
Ｗａ＝αａ×Ｉａ …（５）
また、１フレーム内のｉ番目の画像ブロックＢi（図２参照）において、文字領域重要度決定部４２で決定された重要度Ｉｃiに乗算する制御係数αｃ、図形領域重要度決定部４３で決定された重要度Ｉｄiに乗算する制御係数αｄ、動きベクトル重要度決定部４４で決定された重要度Ｉｖiに乗算する制御係数αｖ、量子化特性重要度決定部４５で決定された重要度Ｉｑiに乗算する制御係数αｑが通知された場合、重み付け係数算出部５１Ｂは、画像ブロックＢiの評価（画像ブロック評価値）の重み付け係数Ｗｖiを、各重要度に制御係数を乗算して加算した以下の（６）式により算出する。
Ｗｖi＝αｃ×Ｉｃi＋αｄ×Ｉｄi＋αｖ×Ｉｖi＋αｑ×Ｉｑi …（６）
なお、画像ブロックＢiの画像ブロック評価値の重み付け係数Ｗｖiを、重要度決定手段４０で決定される重要度とは独立して制御可能な制御係数αｅをメタデータで通知し、重み付け係数Ｗｖiを、以下の（７）式により算出することとしてもよい。
Ｗｖi＝αｅ＋αｃ×Ｉｃi＋αｄ×Ｉｄi＋αｖ×Ｉｖi＋αｑ×Ｉｑi …（７）
このように算出された音声区間評価値の重み係数Ｗａと、画像ブロック評価値の重み付け係数Ｗｖiとは、加算部５２に出力される。
メタデータ解析手段６０は、被評価コンテンツに付加されるメタデータ（付加情報）を解析するものである。ここでは、メタデータ解析手段６０は、分割サイズ抽出部６１と、制御係数抽出部６２とを備えて構成されている。
分割サイズ抽出部６１は、入力されたメタデータ（付加情報）を解析して、メタデータに記述されている、被評価コンテンツである符号化音声及び符号化映像の品質評価単位となる部分領域の大きさ（分割サイズ）を抽出するものである。なお、このメタデータには、分割サイズとして、符号化音声を時間単位で分割する際の時間を示す分割時間と、符号化映像を領域単位で分割する際の大きさを示す分割領域とが記述されているものとする。このメタデータから抽出した分割時間と分割領域とは、領域分割手段１０Ｂに出力される。
制御係数抽出部６２は、入力されたメタデータ（付加情報）を解析して、メタデータに記述されている、重要度決定手段４０で決定される重要度の値を調整するための制御係数を抽出するものである。なお、このメタデータには、重要度決定手段４０の各重要度決定部（４１、４２、４３、４４、４５）で決定される重要度に乗算する制御係数が記述されているものとする。
このように、コンテンツ品質評価装置１Ｂは、被評価コンテンツを分割し、その分割された単位毎に品質の評価を行うとともに、その分割された部分領域の重要度に基づいて、被評価コンテンツの評価値を算出する。この重要度は、音声や映像の特徴量に基づいて決定されるため、人間の主観的な感覚を反映したものとなる。さらに、メタデータによって、評価対象となる音声や映像を分割して評価を行うため、コンテンツ品質評価装置１Ｂは、コンテンツで注目すべき音声の時間や映像の領域をより正確に特定することができる。これによって、音声や映像を含んだマルチメディアコンテンツを、人間の主観を反映した形で評価することができる。
（コンテンツ品質評価装置の動作）
次に、図４を参照して、本発明に係る第二の実施の形態であるコンテンツ品質評価装置の動作について説明する。なお、コンテンツ品質評価装置１Ｂの動作は、図３で説明したコンテンツ品質評価装置１と基本動作は同じであるため、その差異となるメタデータによって、コンテンツの品質を評価する動作について具体例を示して説明する。
〈メタデータによる評価動作の例：分割サイズの変更〉
ここでは、まず、図５及び図６を参照して、分割サイズを記述したメタデータの内容について説明したのちに、そのメタデータに基づいて、コンテンツの品質を評価するコンテンツ品質評価装置１Ｂの動作について説明する。図５は、分割サイズを記述したメタデータの一例を示す図である。図６は、分割サイズに基づいて被評価コンテンツを分割する概念を示す図である。
メタデータは、例えば、図５に示すように、＜分割時間＞と＜分割領域＞とが区分されて記述されている。＜分割時間＞の区分ＰＴには、分割すべき時間を示すタイムコードＴＣを記述する。なお、タイムコードＴＣは、［時：分：秒：フレーム番号］を示している。ここでは、第一タイムコードＴＣ1には［００：００：００：００］が記述され、次に第二タイムコードＴＣ2には［００：００：２０：００］が記述され、最初の分割時間は２０秒であることを示している。また、第三タイムコードＴＣ3には［００：００：５０：００］が記述され、次の分割時間は３０秒であることを示している。さらに、それ以降のタイムコードは、フレーム番号のみが１増加しており、以降の分割時間は１フレーム分の時間（例えば３３ミリ秒）であることを示している。
＜分割領域＞の区分ＰＡには、分割すべき領域の大きさを記述する。この＜分割領域＞の区分ＰＡには、例えば、縦横の画素数や予め定めた大きさに対応する番号（「１」の場合は、１６×１６画素を示す等）を記述する。ここでは、分割すべき領域の大きさを「マクロブロック」という文字列で示している。
また、図６では、図５に示したメタデータによって、被評価コンテンツを分割する例を示している。図６に示すように、音声（符号化音声）は、２０秒、３０秒、３３ミリ秒、３３ミリ秒…で分割される。なお、映像（符号化映像）は、フレーム内のマクロブロック単位に分割される。
図４に戻って、コンテンツ品質評価装置１Ｂが、図５で示したメタデータに基づいて、コンテンツの品質を評価する動作について説明する。
コンテンツ品質評価装置１Ｂは、メタデータ解析手段６０の分割サイズ抽出部６１によって、メタデータから分割時間と分割領域とを抽出する。
さらに、コンテンツ品質評価装置１Ｂは、領域分割手段１０Ｂの音声分割部１１Ｂによって、符号化音声を分割サイズ抽出部６１で抽出された分割時間毎に分割する。ここでは、２０秒、３０秒、３３ミリ秒、３３ミリ秒…間隔（図６参照）で分割する。また、コンテンツ品質評価装置１Ｂは、領域分割手段１０Ｂの映像分割部１２Ｂによって、符号化映像を分割サイズ抽出部６１で抽出された分割領域毎に分割する。ここでは、マクロブロック（Ｂ0、Ｂ1…）単位（図６参照）に分割する。
そして、コンテンツ品質評価装置１Ｂは、図３のステップＳ２以降に示したように、部分領域毎の品質評価、重要度の決定、評価値の算出を行う。なお、評価値算出手段５０Ｂの加算部５２は、分割時間（音声区間）が１フレーム分の時間（３３ミリ秒）より長い場合は、画像ブロック評価値を音声区間分重み付け加算した後に、その加算結果を音声区間分のフレーム数で除算することで、その音声区間における映像の評価値とする。
これによって、コンテンツ品質評価装置１Ｂは、コンテンツ全体を１つの単位として評価することもできるし、コンテンツ内に含まれるコマーシャル等を１つの単位として区切ることもできる。このように、コンテンツ品質評価装置１Ｂは、コンテンツを任意の部分領域に分割できるため、評価したい音声、映像部分を細分化して、より正確にコンテンツの品質評価を行うことができる。
〈メタデータによる評価動作の例：重要度の重み変更〉
次に、図４を参照して、コンテンツ品質評価装置１Ｂが、重要度の重みを変更するための制御係数を記述したメタデータに基づいて、コンテンツの品質を評価する動作について説明する。
ここでメタデータは、音量重要度決定部４１で決定された重要度Ｉａに乗算する制御係数αａと、文字領域重要度決定部４２で決定された重要度Ｉｃiに乗算する制御係数αｃと、図形領域重要度決定部４３で決定された重要度Ｉｄiに乗算する制御係数αｄと、動きベクトル重要度決定部４４で決定された重要度Ｉｖiに乗算する制御係数αｖと、量子化特性重要度決定部４５で決定された重要度Ｉｑiに乗算する制御係数αｑとが、数値データとして順番に記述されているものとする。例えば、以下の（８）式に示すように各制御係数が数値データとして記述されている。
（αａ、αｃ、αｄ、αｖ、αｑ）＝（０．３、０．７、０．０、０．０、０．０）
…（８）
そこで、コンテンツ品質評価装置１Ｂは、メタデータ解析手段６０の制御係数抽出部６２によって、メタデータから重要度の重みを変更するための制御係数を抽出する。
そして、コンテンツ品質評価装置１Ｂは、評価値算出手段５０Ｂの重み付け係数算出部５１Ｂによって、各重要度に制御係数を乗算することで、重み付け係数を算出する（前記（５）式及び（６）式参照）。これによって、コンテンツ品質評価装置１Ｂは、特に評価を行いたい評価項目を重点的に評価することができる。例えば、情報系コンテンツのように、文字領域に重要な情報が含まれている場合は、前記（８）式に示したように、文字領域重要度決定部４２で決定された重要度Ｉｃiに乗算する制御係数αｃの値を大きくすることで、情報系コンテンツの内容に適した評価を行うことができる。
以上、コンテンツ品質評価装置１Ｂの動作について説明したが、本発明はこれに限定されるものではない。例えば、メタデータに、重要度とは独立して制御可能な制御係数αｅを設定し、他の制御係数（αａ、αｃ、αｄ、αｖ、αｑ）の値を「０」とすることで、コンテンツ制作者の制作意図に合致した評価を行うことも可能である。ここで、図７を参照して、制御係数αｅによってコンテンツを評価する例について説明する。図７は、重要度とは独立して制御可能な制御係数を説明するための説明図である。図７（ａ）は、映像における１フレームの画像を示し、図７（ｂ）は、その画像に対応付けて設定された制御係数を示したものである。なお、図７（ａ）の画面中には、例えばコンテンツ提供者のロゴマークＲが表示されているものとする。
そして、コンテンツ制作者の意図として、ロゴマークＲが他の領域よりも重要であると意図した場合、ロゴマークＲの品質が劣化していないかどうかを評価するには、図７（ｂ）に示したように、ロゴマークＲに対応する画像ブロックＢＲにおける制御係数αｅを高く（例えば１．０）し、他の画像ブロックにおける制御係数αｅを低く（例えば０．１）とする。なお、このとき他の制御係数（αａ、αｃ、αｄ、αｖ、αｑ）の値は、すべて「０」としておく。これによって、コンテンツ制作者の制作意図に沿って、コンテンツの品質評価を行うことができる。
また、他の例としては、例えば、コンテンツ品質評価装置１Ｂが、図８に示したように、予め分野毎に制御係数を定めたテーブルを準備しておく（図示していない制御係数記憶手段（重み係数記憶手段）に予め記憶しておく）。そして、メタデータとして、分野（ジャンル）を通知されることで、コンテンツ品質評価装置１Ｂが、そのコンテンツの分野に適した制御係数に基づいて、コンテンツの品質評価を行うこととしてもよい。図８に示したテーブルでは、分野が「音楽」である場合は、音量を評価する重みを示す制御係数αａの値を大きくしている。また、分野が「ニュース」の場合は、文字（文字領域）を評価する重みを示す制御係数αｃの値を大きくしている。さらに、分野が「スポーツ」の場合は、動き（動きベクトル）を評価する重みを示す制御係数αｖの値を大きくしている。
この場合、コンテンツ品質評価装置１Ｂには、メタデータ解析手段６０に図示していない分野抽出部を備え、その分野抽出部が、メタデータから被評価コンテンツの分野（ジャンル）を抽出し、評価値算出手段５０Ｂの重み付け係数算出部５１Ｂに通知する。
このときコンテンツ品質評価装置１Ｂは、例えば、被評価コンテンツが音楽番組（ジャンルは「音楽」）のとき、重み付け係数算出部５１Ｂは、図８に示したテーブルを参照して、音量重要度決定部４１で決定された重要度Ｉａの重みを大きくする（制御係数αａ倍）。また、例えば、被評価コンテンツがスポーツ番組（ジャンルは「スポーツ」）のときは、重み付け係数算出部５１Ｂは、図８に示したテーブルを参照して、動きベクトル重要度決定部４４で決定された重要度Ｉｖiの重みを大きくする（制御係数αｖ倍）。これによって、被評価コンテンツの分野が異なる場合、その分野に適した評価を行うことができる。
さらに、前記した分割サイズの変更や、重要度の比率の変更は、適宜メタデータを組み合わせて実現することとしてもよい。例えば、評価を開始して２分３０秒後、３０秒間だけ重要度決定手段４０で決定する重要度を高め、３０秒経過後、元の重要度に戻したり、評価を開始して３０分間は、コンテンツ（番組）の分野が「音楽」であると設定することで、予め定めた音楽番組用の制御係数に基づいて評価を行い、３０分経過後、さらに別の分野の制御係数に切り替えて評価を行うこととしてもよい。
このように、本発明は、コンテンツの品質評価を、視聴者の主観を反映しながら、客観的に評価することが可能である。
本発明に係る第一の実施の形態であるコンテンツ品質評価装置の構成を示すブロック図である。 コンテンツを分割する概念を示す図であって、（ａ）は音声の信号を示し、（ｂ）は映像を構成するフレーム内のマクロブロックを示し、（ｃ）は、音声及び映像（フレーム）の分割例を示す。 本発明に係る第一の実施の形態であるコンテンツ品質評価装置の動作を示すフローチャートである。 本発明に係る第二の実施の形態であるコンテンツ品質評価装置の構成を示すブロック図である。 分割サイズを記述したメタデータの一例を示す図である。 分割サイズに基づいて被評価コンテンツを分割する概念を示す図である。 重要度とは独立して制御可能な制御係数を説明するための説明図であって、（ａ）は、映像における１フレームの画像を示し、（ｂ）は、その画像に対応付けて設定された制御係数を示す。 分野毎に制御係数を定めたテーブルを示す図である。
符号の説明
１（１Ｂ） コンテンツ品質評価装置
１０（１０Ｂ） 領域分割手段
２０ 復号手段
３０ 部分評価手段
４０ 重要度決定手段
４１ 音量重要度決定部（音量重要度決定手段）
４２ 文字領域重要度決定部（文字領域重要度決定手段）
４３ 図形領域重要度決定部（図形領域重要度決定手段）
４４ 動きベクトル重要度決定部（動きベクトル重要度決定手段）
４５ 量子化特性重要度決定部（量子化特性重要度決定手段）
５０（５０Ｂ） 評価値算出手段
６０ メタデータ解析手段

Claims (12)

  1. コンテンツの品質を評価するコンテンツ品質評価装置であって、
    前記コンテンツを予め定めた大きさの部分領域に分割する領域分割手段と、
    この領域分割手段で分割された部分領域毎に、予め定めた評価手法により品質評価を行い、その評価結果である部分評価値を生成する部分評価手段と、
    前記コンテンツにおいて、予め定めた特徴量を前記部分領域毎に抽出することで、前記コンテンツにおける当該部分領域の重要度を決定する重要度決定手段と、
    この重要度決定手段で決定された重要度に基づいて、前記部分領域毎に前記部分評価値を加算することで、前記コンテンツの評価値を算出する評価値算出手段と、
    前記特徴量の重みを前記コンテンツの分野別に記憶した重み係数記憶手段と、を備え、
    前記重要度決定手段が、前記部分領域毎に複数の前記特徴量を抽出し、
    前記評価値算出手段が、前記コンテンツの付加情報に記述された前記コンテンツの分野と、前記重み係数記憶手段に記憶されている前記分野別の前記特徴量の重みとに基づいて、前記部分評価値を加算することを特徴とするコンテンツ品質評価装置。
  2. コンテンツの品質を評価するコンテンツ品質評価装置であって、
    前記コンテンツを予め定めた大きさの部分領域に分割する領域分割手段と、
    この領域分割手段で分割された部分領域毎に、予め定めた評価手法により品質評価を行い、その評価結果である部分評価値を生成する部分評価手段と、
    前記コンテンツにおいて、予め定めた特徴量を前記部分領域毎に抽出することで、前記コンテンツにおける当該部分領域の重要度を決定する重要度決定手段と、
    この重要度決定手段で決定された重要度に基づいて、前記部分領域毎に前記部分評価値を加算することで、前記コンテンツの評価値を算出する評価値算出手段と、を備え、
    前記コンテンツは、映像又は前記映像を符号化した符号化映像を含み、
    前記重要度決定手段が、前記映像又は前記符号化映像における前記部分領域毎に文字領域を検出し、その文字領域の有無を前記部分領域の特徴量として、前記重要度を決定する文字領域重要度決定手段を備えていることを特徴とするコンテンツ品質評価装置。
  3. コンテンツの品質を評価するコンテンツ品質評価装置であって、
    前記コンテンツを予め定めた大きさの部分領域に分割する領域分割手段と、
    この領域分割手段で分割された部分領域毎に、予め定めた評価手法により品質評価を行い、その評価結果である部分評価値を生成する部分評価手段と、
    前記コンテンツにおいて、予め定めた特徴量を前記部分領域毎に抽出することで、前記コンテンツにおける当該部分領域の重要度を決定する重要度決定手段と、
    この重要度決定手段で決定された重要度に基づいて、前記部分領域毎に前記部分評価値を加算することで、前記コンテンツの評価値を算出する評価値算出手段と、を備え、
    前記コンテンツは、映像又は前記映像を符号化した符号化映像を含み、
    前記重要度決定手段が、前記映像又は前記符号化映像における前記部分領域毎に図形領域を検出し、その図形領域の有無を前記部分領域の特徴量として、前記重要度を決定する図形領域重要度決定手段を備えていることを特徴とするコンテンツ品質評価装置。
  4. コンテンツの品質を評価するコンテンツ品質評価装置であって、
    前記コンテンツを予め定めた大きさの部分領域に分割する領域分割手段と、
    この領域分割手段で分割された部分領域毎に、予め定めた評価手法により品質評価を行い、その評価結果である部分評価値を生成する部分評価手段と、
    前記コンテンツにおいて、予め定めた特徴量を前記部分領域毎に抽出することで、前記コンテンツにおける当該部分領域の重要度を決定する重要度決定手段と、
    この重要度決定手段で決定された重要度に基づいて、前記部分領域毎に前記部分評価値を加算することで、前記コンテンツの評価値を算出する評価値算出手段と、を備え、
    前記コンテンツは、音声又は前記音声を符号化した符号化音声を含み、
    前記重要度決定手段が、前記音声又は前記符号化音声における前記部分領域毎の特徴量である音量の大きさに基づいて、前記重要度を決定する音量重要度決定手段を備えていることを特徴とするコンテンツ品質評価装置。
  5. コンテンツの品質を評価するコンテンツ品質評価装置であって、
    前記コンテンツを、そのコンテンツの付加情報に記述された大きさの部分領域に分割する領域分割手段と、
    この領域分割手段で分割された部分領域毎に、予め定めた評価手法により品質評価を行い、その評価結果である部分評価値を生成する部分評価手段と、
    前記コンテンツにおいて、予め定めた特徴量を前記部分領域毎に抽出することで、前記コンテンツにおける当該部分領域の重要度を決定する重要度決定手段と、
    この重要度決定手段で決定された重要度に基づいて、前記部分領域毎に前記部分評価値を加算することで、前記コンテンツの評価値を算出する評価値算出手段と、
    を備えていることを特徴とするコンテンツ品質評価装置。
  6. 前記特徴量の重みを前記コンテンツの分野別に記憶した重み係数記憶手段を備え、
    前記重要度決定手段が、前記部分領域毎に複数の前記特徴量を抽出し、
    前記評価値算出手段が、前記コンテンツの付加情報に記述された前記コンテンツの分野と、前記重み係数記憶手段に記憶されている前記分野別の前記特徴量の重みとに基づいて、前記部分評価値を加算することを特徴とする請求項５に記載のコンテンツ品質評価装置。
  7. 前記コンテンツは、映像を符号化した符号化映像を含み、
    前記重要度決定手段が、前記符号化映像における前記部分領域毎の特徴量である動きベクトルの方向及び大きさに基づいて、前記重要度を決定する動きベクトル重要度決定手段を備えていることを特徴とする請求項５又は請求項６に記載のコンテンツ品質評価装置。
  8. 前記コンテンツは、映像を符号化した符号化映像を含み、
    前記重要度決定手段が、前記符号化映像における前記部分領域毎の特徴量である量子化特性値の大きさに基づいて、前記重要度を決定する量子化特性重要度決定手段を備えていることを特徴とする請求項５又は請求項６に記載のコンテンツ品質評価装置。
  9. 前記コンテンツは、映像又は前記映像を符号化した符号化映像を含み、
    前記重要度決定手段が、前記映像又は前記符号化映像における前記部分領域毎に文字領域を検出し、その文字領域の有無を前記部分領域の特徴量として、前記重要度を決定する文字領域重要度決定手段を備えていることを特徴とする請求項５又は請求項６に記載のコンテンツ品質評価装置。
  10. 前記コンテンツは、映像又は前記映像を符号化した符号化映像を含み、
    前記重要度決定手段が、前記映像又は前記符号化映像における前記部分領域毎に図形領域を検出し、その図形領域の有無を前記部分領域の特徴量として、前記重要度を決定する図形領域重要度決定手段を備えていることを特徴とする請求項５又は請求項６に記載のコンテンツ品質評価装置。
  11. 前記コンテンツは、音声又は前記音声を符号化した符号化音声を含み、
    前記重要度決定手段が、前記音声又は前記符号化音声における前記部分領域毎の特徴量である音量の大きさに基づいて、前記重要度を決定する音量重要度決定手段を備えていることを特徴とする請求項５又は請求項６に記載のコンテンツ品質評価装置。
  12. コンテンツの品質を評価するために、コンピュータを、
    前記コンテンツを、そのコンテンツの付加情報に記述された大きさの部分領域に分割する領域分割手段、
    この領域分割手段で分割された部分領域毎に、予め定めた評価手法により品質評価を行い、その評価結果である部分評価値を生成する部分評価手段、
    前記コンテンツにおいて、予め定めた特徴量を前記部分領域毎に抽出することで、前記コンテンツにおける当該部分領域の重要度を決定する重要度決定手段、
    この重要度決定手段で決定された重要度に基づいて、前記部分領域毎に前記部分評価値を加算することで、前記コンテンツの評価値を算出する評価値算出手段、
    として機能させることを特徴とするコンテンツ品質評価プログラム。
JP2003372280A 2003-10-31 2003-10-31 コンテンツ品質評価装置及びそのプログラム Expired - Fee Related JP4359120B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003372280A JP4359120B2 (ja) 2003-10-31 2003-10-31 コンテンツ品質評価装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003372280A JP4359120B2 (ja) 2003-10-31 2003-10-31 コンテンツ品質評価装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2005136810A JP2005136810A (ja) 2005-05-26
JP4359120B2 true JP4359120B2 (ja) 2009-11-04

Family

ID=34648707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003372280A Expired - Fee Related JP4359120B2 (ja) 2003-10-31 2003-10-31 コンテンツ品質評価装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP4359120B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080221969A1 (en) * 2007-03-07 2008-09-11 Emsense Corporation Method And System For Measuring And Ranking A "Thought" Response To Audiovisual Or Interactive Media, Products Or Activities Using Physiological Signals
KR101394154B1 (ko) * 2007-10-16 2014-05-14 삼성전자주식회사 미디어 컨텐츠 및 메타데이터를 부호화하는 방법과 그 장치
JP4787303B2 (ja) * 2008-09-25 2011-10-05 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
JP5292343B2 (ja) * 2010-03-24 2013-09-18 日本電信電話株式会社 映像品質客観評価装置及び方法及びプログラム
JP5696552B2 (ja) * 2011-03-23 2015-04-08 富士通株式会社 再生装置、再生方法およびプログラム
JP5901175B2 (ja) * 2011-08-08 2016-04-06 アイキューブド研究所株式会社 コンテンツ処理装置、コンテンツ処理方法、およびプログラム
US9491464B2 (en) 2011-08-29 2016-11-08 Beamr Imaging Ltd Controlling a video content system by computing a frame quality score
US10887572B2 (en) 2016-11-17 2021-01-05 Intel Corporation Suggested viewport indication for panoramic video
CN110009631A (zh) * 2019-04-15 2019-07-12 唐晓颖 眼底图像的血管质量评估方法、装置、设备和介质
CN113891069A (zh) * 2021-10-21 2022-01-04 咪咕文化科技有限公司 一种视频质量的评估方法、装置及设备

Also Published As

Publication number Publication date
JP2005136810A (ja) 2005-05-26

Similar Documents

Publication Publication Date Title
KR101741352B1 (ko) 데이터 및 오디오/비디오 콘텐츠의 전달을 제어하는 관심도 평가
US8634699B2 (en) Information signal processing method and apparatus, and computer program product
US8989559B2 (en) Video importance rating based on compressed domain video features
Chen et al. From QoS to QoE: A tutorial on video quality assessment
JP5492087B2 (ja) コンテンツベースの画像調整
US6744922B1 (en) Signal processing method and video/voice processing device
US8233769B2 (en) Content data processing device, content data processing method, program, and recording/ playing device
Winkler et al. Video quality evaluation for Internet streaming applications
KR100865248B1 (ko) 비디오 신호에서의 자막 검출
US8204364B2 (en) Moving picture image reproduction method and moving picture image reproduction apparatus
EP1081960A1 (en) Signal processing method and video/voice processing device
JP2002140712A (ja) Ａｖ信号処理装置および方法、プログラム、並びに記録媒体
US8422853B2 (en) Information signal processing method and apparatus, and computer program product
US20110255005A1 (en) Information processing device, information processing method and program
KR100612874B1 (ko) 스포츠 동영상의 요약 방법 및 장치
JP4359120B2 (ja) コンテンツ品質評価装置及びそのプログラム
JP2005317165A (ja) 信号処理装置及び方法
KR20110063004A (ko) 키 프레임 추출 장치 및 방법과 이를 이용한 방송 녹화 장치 및 방법
US8554057B2 (en) Information signal processing method and apparatus, and computer program product
KR101372639B1 (ko) 광고 영상 검출 방법 및 장치
JP2007110189A (ja) 画質評価装置および画質評価方法
Virtanen et al. Forming valid scales for subjective video quality measurement based on a hybrid qualitative/quantitative methodology
JP2003274408A (ja) 動画符号化制御装置および動画符号化制御データベース生成装置
JP2009135754A (ja) ダイジェスト作成装置及び方法
Robertson Design and Evaluation of a Novel Reference-Only Predicted Video Quality Metric

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090807

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140814

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees