JP6010685B2 - マルチメディア品質を評価する方法及び装置 - Google Patents

Description

本発明は、マルチメディアの分野に関し、詳細には、マルチメディア品質を評価する方法及び装置に関する。

ネットワーク技術の発展及びマルチメディアの新時代の到来に伴って、ビデオ・オン・デマンド、ウェブ・テレビジョン、ビデオ電話などが、ブロードバンド・ネットワークの主要なサービスになっており、これらのサービスは、第３世代（３Ｇ）無線ネットワークの主要なサービスにもなる。さまざまなマルチメディア処理技術及びマルチメディア通信技術は次々に現れる。マルチメディア・サービスに関して、データの量が多く、リアルタイム性能の要件が高く、ユーザの感度が強い。したがって、マルチメディア品質評価が、マルチメディア通信機器の製造業者及びオペレータにとって非常に重要な意味を有する。機器製造業者が、あるシステムの納得させるマルチメディア品質評価結果を提供できる場合に、これは、機器製造業者の製品の販売を促進するという非常に大きい効果を有し、オペレータについて、マルチメディア品質評価データを、オペレータのサービス販売促進及び宣伝に使用することができる。さらに、自動的なリアルタイムのマルチメディア品質評価方法を開発できる場合に、機器製造業者とオペレータとの両方が、問題を突き止め、故障を診断するのを助けるために、この実施態様に基づいてマルチメディア・デバイスに対してリアルタイム監視を実行して、マルチメディア・サービスを経験する上でのユーザの要件を保証することができる。

マルチメディア品質は、オリジナル信号に対するディジタル・マルチメディアのひずみを測定するための測定値である。マルチメディア通信品質に影響する主要な要因は、ビデオ品質、オーディオ品質、ビデオひずみレベル、及びオーディオひずみレベルである。マルチメディア・シーケンス内のビデオ信号及びオーディオ信号は、サンプリング、量子化、圧縮符号化、ネットワーク伝送、復号、及びアナログ信号の回復などのフェーズを通過する必要があり、誤り及び情報ひずみは、各フェーズで導入される可能性があり、低いユーザ満足度をもたらす。オーディオ又はビデオの損傷とひずみとの両方が、下落したマルチメディア経験を引き起こし、したがって、ビデオ品質及びオーディオ品質の組合せに従ってマルチメディア品質をどのようにして入手するのかが、主要な問題になる。

一般的なマルチメディア品質評価方法は、まず、ネットワーク損傷があるという条件でマルチメディア・シーケンス内のオーディオ・シーケンス品質及びビデオ・シーケンス品質を別々に評価し、その後、マルチメディア品質を入手するために特定の多項式を使用することによって、オーディオ・シーケンス品質及びビデオ・シーケンス品質を組み合わせる。

ネットワーク上のパケットロスがないときには、オーディオとビデオとの両方が、比較的安定した基準品質を有し、マルチメディア品質に関する人の印象は、オーディオ及びビデオを直接に組み合わせることによって得られる基準品質である。しかし、パケットロスがあるときには、人は、元々は安定していたマルチメディア品質が突然の品質劣化に出会う、すなわち、パケットロスによって引き起こされるマルチメディア・シーケンスのひずみを感じるが、ビデオ及びオーディオが、パケットロスの場合に、組み合わされる前に別々に評価されるわけではない。既存のマルチメディア品質評価方法は、マルチメディア・シーケンスに対するパケットロス及びマルチメディア・シーケンスのひずみの影響を直接に反映することができず、人の主観的印象と一致しない。

本発明の実施形態は、人の主観的印象と一致し、マルチメディア品質を正確に有効に評価できる、マルチメディア品質を評価する方法及び装置を提供する。

一態様によれば、本発明の実施形態は、マルチメディア品質を評価する方法であって、マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質とマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質とを入手し、ビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を判定し、ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従ってマルチメディア・シーケンスのひずみ値を判定し、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することを含む方法を提供する。

もう１つの態様によれば、本発明の実施形態は、マルチメディア品質を評価する方法であって、マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割し、ここで、Ｎは正の整数であり、Ｎは２以上であり、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価し、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することを含む方法を提供する。

もう１つの態様によれば、本発明の実施形態は、マルチメディア品質を評価する装置であって、マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質とマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質とを入手するように構成された第１の入手モジュールと、第１の入手モジュールによって入手されるビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を判定するように構成された基準品質判定モジュールと、第１の入手モジュールによって入手されるビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従ってマルチメディア・シーケンスのひずみ値を判定するように構成されたひずみ値判定モジュールと、基準品質判定モジュールによって判定されるマルチメディア・シーケンスの基準品質及びひずみ値判定モジュールによって判定されるマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定するように構成されたマルチメディア品質判定モジュールとを含む装置を提供する。

もう１つの態様によれば、本発明の実施形態は、マルチメディア品質を評価する装置であって、マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成されたセグメント化モジュールであり、ここで、Ｎは正の整数であり、Ｎは２以上である、セグメント化モジュールと、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価するように構成された評価モジュールと、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定するように構成された処理モジュールとを含む装置を提供する。

前述の技術的解決策に基づいて、本発明の実施形態によるマルチメディア品質を評価する方法及び装置は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、人の主観的印象と一致するマルチメディア・シーケンスのひずみを直接に反映することができ、したがって、マルチメディア品質を正確に効果的に評価することができる。

本発明の実施形態による、マルチメディア品質を評価する方法を示す概略流れ図である。 本発明の実施形態による、マルチメディア・シーケンスのひずみ値を判定する方法を示す概略流れ図である。 本発明の実施形態による、マルチメディア品質を評価する方法を示すもう１つの概略流れ図である。 本発明の実施形態による、マルチメディア品質を評価する方法を示すもう１つの概略流れ図である。 本発明のもう１つの実施形態による、マルチメディア品質を評価する方法を示す概略流れ図である。 本発明の実施形態による、マルチメディア品質を評価する装置を示す概略ブロック図である。 本発明の実施形態による、ひずみ値判定モジュールを示す概略ブロック図である。 本発明の実施形態による、マルチメディア品質を評価する装置を示すもう１つの概略ブロック図である。 本発明のもう１つの実施形態による、マルチメディア品質を評価する装置を示す概略ブロック図である。

本発明の実施形態における技術的解決策をより明瞭に説明するために、以下では、本発明の実施形態を説明するのに必要な添付図面を簡単に紹介する。明らかに、以下の説明の添付図面は、単に本発明のいくつかの実施形態を示すものであり、当業者は、創作的努力なしでこれらの添付図面から他の図面を導出することができる。

以下では、本発明の実施形態における添付図面を参照して本発明の実施形態における技術的解決策を明瞭かつ完全に説明する。明らかに、説明される実施形態は、本発明の実施形態のすべてではなく一部である。創作的努力なしで本発明の実施形態に基づいて当業者が入手するすべての他の実施形態は、本発明の保護範囲に含まれなければならない。

図１は、本発明の実施形態による、マルチメディア品質を評価する方法１００の概略流れ図である。図１に示されているように、方法１００は、以下を含む。

Ｓ１１０ マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質とマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質とを入手する。

Ｓ１２０ ビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を判定する。

Ｓ１３０ ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従ってマルチメディア・シーケンスのひずみ値を判定する。

Ｓ１４０ マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定する。

マルチメディア品質に関する人の印象は、ひずみが安定したマルチメディア基準品質に重畳されることである。マルチメディア基準品質が記述するものは、マルチメディア内のビデオ又はオーディオの符号化圧縮によって引き起こされるマルチメディア圧縮品質である。パケットロス又はマルチメディアのフリーズなどの要因に起因して、人は、マルチメディア・シーケンスのひずみを感じる。ひずみは、基準品質に対する相対劣化レベル、すなわち、比較的安定な基準品質からのマルチメディア品質劣化である。本発明のこの実施形態では、マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質並びにマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質が入手された後に、マルチメディア・シーケンスの基準品質は、ビデオの基準品質及びオーディオの基準品質に従って判定され、マルチメディア・シーケンスのひずみ値は、ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従って判定され、最後に、マルチメディア・シーケンスのマルチメディア品質は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従って判定される。このように、マルチメディア・シーケンスのひずみは、総合的に理解されるのであって、ビデオ及びオーディオが別々に理解された後の組合せではない。

したがって、本発明のこの実施形態によるマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。

Ｓ１１０では、マルチメディア・シーケンスのビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質が、入手される。ビデオの基準品質は、ビデオの符号化圧縮に起因して引き起こされるビデオ圧縮品質であり、具体的には、異なる符号化タイプ及び解像度を有するビデオの符号化ビット・レートに従う計算を介して入手することができ、オーディオの基準品質は、オーディオの符号化圧縮に起因して引き起こされるオーディオ圧縮品質であり、具体的には、異なる符号化タイプ、サンプリング周波数、チャネル数などを有するオーディオの符号化ビット・レートに従う計算を介して入手することができる。ビデオの最終品質及びオーディオの最終品質は、ネットワーク損傷（たとえば、パケットロス、ジッタ、その他）は、ビデオ及びオーディオで別々に発生する場合の、マルチメディア・シーケンスのビデオ及びオーディオの入手された最終的な経験品質であり、具体的には、マルチメディア・シーケンスに対してオーディオ分析及びビデオ分析を実行することによる計算を介して入手することができる。

Ｓ１２０では、マルチメディア・シーケンスの基準品質を、ビデオの基準品質及びオーディオの基準品質に従って判定する。本発明のこの実施形態は、マルチメディア・シーケンスの基準品質が判定される特定の方法を限定しない。たとえばマルチメディア・シーケンスの基準品質Ｑ_ａｖ’を、次式（１）によって判定することができる。
Ｑ_ａｖ’＝ａ_１・Ｑ_{ｖ＿ｃｏｄｉｎｇ}＋ａ_２・Ｑ_{ａ＿ｃｏｄｉｎｇ}＋ａ_３・Ｑ_{ｖ＿ｃｏｄｉｎｇ}・Ｑ_{ａ＿ｃｏｄｉｎｇ}＋ａ_４ （１）
ここで、Ｑ_{ｖ＿ｃｏｄｉｎｇ}及びＱ_{ａ＿ｃｏｄｉｎｇ}は、それぞれビデオの基準品質及びオーディオの基準品質であり、ａ_１、ａ_２、ａ_３、及びａ_４は、ビデオの空間解像度及び表示モードに関するパラメータであり、その値は、データ・トレーニングを使用することによって入手され、基本的にすべてが０と１との間の小数であり、たとえば、解像度が（１２８×９６）のときに、ａ_１＝０．２０７９６２、ａ_２＝０．１２４３６５、ａ_３＝０．１７９０１８、ａ_４＝０．５４５６である。

Ｓ１３０では、マルチメディア・シーケンスのひずみ値が、ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従って判定される。図２に示されているように、Ｓ１３０は、以下をも含む。

Ｓ１３１ ビデオの基準品質及びビデオの最終品質に従ってビデオのひずみ値を判定する。

Ｓ１３２ オーディオの基準品質及びオーディオの最終品質に従ってオーディオのひずみ値を判定する。

Ｓ１３３ ビデオのひずみ値及びオーディオのひずみ値に従ってマルチメディア・シーケンスのひずみ値を判定する。

ビデオのひずみ値は、ビデオの基準品質からビデオの最終品質を減算することによって入手することができ、オーディオのひずみ値は、オーディオの基準品質からオーディオの最終品質を減算することによって入手することができる。

Ｓ１３３では、マルチメディア・シーケンスのひずみ値が、ビデオのひずみ値及びオーディオのひずみ値に従って判定される。具体的には、マルチメディア・シーケンスのひずみ値を、次の方法で入手することができる。

ビデオのひずみ係数は、ビデオの基準品質及びビデオのひずみ値に従って判定される。ビデオのひずみ係数ｄ_ｖは、ビデオの基準品質Ｑ_{ｖ＿ｃｏｄｉｎｇ}に対するビデオのひずみ値Ｄ_ｖの比であり、任意選択で、次式（２）によって判定され得る。

ビデオのひずみ値Ｄ_ｖが、ビデオの基準品質からビデオの最終品質を減算することによって入手され、したがって、任意選択で、ビデオのひずみ係数ｄ_ｖを、次式（３）によって判定することもできることを理解されたい。

オーディオのひずみ係数は、オーディオの基準品質及びオーディオのひずみ値に従って判定される。オーディオのひずみ係数ｄ_ａは、オーディオの基準品質Ｑ_{ａ＿ｃｏｄｉｎｇ}に対するオーディオのひずみ値Ｄ_ａの比であり、任意選択で、次式（４）によって判定され得る。

同様に、オーディオのひずみ値Ｄ_ａは、オーディオの基準品質からオーディオの最終品質を減算することによって入手され、したがって、任意選択で、オーディオのひずみ係数ｄ_ａを、次式（５）によって判定することもできる。

マルチメディア・シーケンスのひずみ係数は、ビデオのひずみ係数及びオーディオのひずみ係数に従って判定される。マルチメディア・シーケンスのひずみ係数ｄ_ａｖは、ビデオのひずみ係数ｄ_ｖ及びオーディオのひずみ係数ｄ_ａによって判定される。ビデオのひずみ係数ｄ_ｖ又はオーディオのひずみ係数ｄ_ａの増加は、マルチメディア・シーケンスのひずみ係数ｄ_ａｖを増加させ、その関係は、線形とすることができ、非線形とすることもでき、線形と非線形との組合せとすることもできる。本発明のこの実施形態は、マルチメディア・シーケンスのひずみ係数ｄ_ａｖがビデオのひずみ係数ｄ_ｖ及びオーディオのひずみ係数ｄ_ａに従って計算される特定の方法を限定せず、たとえば、ｄ_ａｖを、次式（６）又は（７）によって判定することができる。

ｄ_ａｖ＝ａ_５＋ａ_６・ｄ_ｖ＋ａ_７・ｄ_ａ （７）
ここで、ａ_５、ａ_６、ａ_７は、定数であり、その値は、符号化タイプ及びビデオ解像度に関係し、ｄ_ｖ又はｄ_ａが増えるときにｄ_ａｖが増えるという条件を満足し、特定の数値を、実験を使用して入手することができる。

マルチメディア・シーケンスのひずみ値は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ係数に従って判定される。たとえば、マルチメディア・シーケンスのひずみ値Ｄ_ａｖを、次式（８）によって判定することができる。
Ｄ_ａｖ＝（Ｑ_ａｖ’−Ｑ_ｍｉｎ）・ｄ_ａｖ （８）
ここで、Ｑ_ｍｉｎは、定数であり、最小のマルチメディア品質を示し、たとえば、レーティングが５ポイント・システムのときに、最小品質は１である。

Ｓ１４０では、マルチメディア・シーケンスのマルチメディア品質が、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従って判定される。マルチメディア・シーケンスの基準品質Ｑ_ａｖ’及びマルチメディア・シーケンスのひずみ値Ｄ_ａｖが判定された後に、マルチメディア・シーケンスのマルチメディア品質Ｑ_ａｖが、Ｑ_ａｖ’及びＤ_ａｖに従って入手され、その関係を、次式（９）によって示すことができる。
Ｑ_ａｖ＝ｆ（Ｑ_ａｖ’，Ｄ_ａｖ） （９）

たとえば、その関係を、次式（１０）として表すことができる。
Ｑ_ａｖ＝Ｑ_ａｖ’−Ｄ_ａｖ （１０）

式（９）及び（１０）は、マルチメディア・シーケンスのマルチメディア品質が、ひずみがマルチメディア・シーケンスの基準品質に重畳された後に入手される結果であり、マルチメディア品質に関する人の印象が、正確に、ひずみが安定したマルチメディア基準品質に重畳されることであることを示す。したがって、本発明のこの実施形態によるマルチメディア品質を評価する方法は、人の認知特性と一致する。

このように、本発明のこの実施形態によるマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。

任意選択で、マルチメディア・シーケンスのマルチメディア品質を、式（１）、（３）、（５）、（６）、及び（８）が式（１０）に置換された後に入手することができる。この場合に、マルチメディア・シーケンスのマルチメディア品質Ｑ_ａｖは、ビデオの基準品質Ｑ_{ｖ＿ｃｏｄｉｎｇ}、オーディオの基準品質Ｑ_{ａ＿ｃｏｄｉｎｇ}、ビデオの最終品質Ｑ_ｖ、及びオーディオの最終品質Ｑ_ａの関数である。

任意選択で、式（１）について、次式（１１）を、式（１）のパラメータを置換し、整理を実行することによって得ることができる。
Ｑ_ａｖ’＝ａ_１・（Ｑ_ｖ＋Ｄ_ｖ）＋ａ_２・（Ｑ_ａ＋Ｄ_ａ）＋ａ_３・（Ｑ_ｖ＋Ｄ_ｖ）・（Ｑ_ａ＋Ｄ_ａ）＋ａ_４
＝ａ_１・Ｑ_ｖ＋ａ_１・Ｄ_ｖ＋ａ_２・Ｑ_ａ＋ａ_２・Ｄ_ａ＋ａ_３・（Ｑ_ｖ・Ｑ_ａ＋Ｑ_ｖ・Ｄ_ａ＋Ｄ_ｖ・Ｑ_ａ＋Ｄ_ｖ・Ｄ_ａ）＋ａ_４
＝（ａ_１・Ｑ_ｖ＋ａ_２・Ｑ_ａ＋ａ_３・Ｑ_ｖ・Ｑ_ａ＋ａ_４）＋（ａ_１・Ｄ_ｖ＋ａ_２・Ｑ_ａ＋ａ_３・（Ｑ_ｖ・Ｄ_ａ＋Ｄ_ｖ・Ｑ_ａ＋Ｄ_ｖ・Ｄ_ａ））
＝Ｑ”＋ｆ_１（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ） （１１）

式（１１）では、Ｑ”はａ_１・Ｑ_ｖ＋ａ_２・Ｑ_ａ＋ａ_３・Ｑ_ｖ・Ｑ_ａ＋ａ_４を示す、すなわち、１つの品質スコアが、ビデオの最終品質及びオーディオの最終品質に従って入手される。ａ_１・Ｄ_ｖ＋ａ_２・Ｑ_ａ＋ａ_３・（Ｑ_ｖ・Ｄ_ａ＋Ｄ_ｖ・Ｑ_ａ＋Ｄ_ｖ・Ｄ_ａ）は、関数ｆ_１（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）の形で表され、マルチメディア品質を計算する式（１０）は、次式（１２）として表すことができる。
Ｑ_ａｖ＝（Ｑ”＋ｆ_１（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ））−（Ｑ”＋ｆ_１（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）−Ｑ_ｍｉｎ）・ｄ_ａｖ （１２）
ここで、マルチメディアひずみ係数ｄ_ａｖを、複数の関数の形で表すことができ、したがって、ｆ_２（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）の形で表すことができ、式（１２）は、次式（１３）として展開することができる。
Ｑ_ａｖ＝Ｑ”・（１−ｆ_２（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ））＋
ｆ_１（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）・（１−ｆ_２（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ））＋Ｑ_ｍｉｎ・ｆ_２（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）
＝Ｑ”・ｆ_３（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）＋ｆ_４（Ｑ_ｍｉｎ，Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ） （１３）

１−ｆ_２（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）は、関数ｆ_３（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）を使用することによって表され、ｆ_１（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）・（１−ｆ_２（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ））＋Ｑ_ｍｉｎ・ｆ_２（Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）は、関数ｆ_４（Ｑ_ｍｉｎ，Ｑ_ｖ，Ｑ_ａ，Ｄ_ｖ，Ｄ_ａ）を使用することによって表され、マルチメディア品質の計算方法は、上で説明した別の式の形として展開することができる、すなわち、マルチメディア品質Ｑ_ａｖは、ビデオの最終品質Ｑ_ｖ、オーディオの最終品質Ｑ_ａ、ビデオのひずみ値Ｄ_ｖ、及びオーディオのひずみ値Ｄ_ａの関数である。

本発明のこの実施形態によるマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質及びひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。

オーディオ及びビデオが非同期であるときには、マルチメディア・シーケンスのマルチメディア品質は、おそらくは劣化する。このシナリオでは、オーディオ及びビデオが非同期であるという問題を考慮する必要がある。したがって、図３に示されているように、本発明のこの実施形態によるマルチメディア品質を評価する方法１００は、さらに、以下を含む。

Ｓ１５０ マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数を入手する。

Ｓ１４０は、さらに、以下を含む。

Ｓ１４１ マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ値、並びにマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従ってマルチメディア・シーケンスのマルチメディア品質を判定する。

Ｓ１５０では、マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数が、入手される。マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数は、オーディオ及びビデオの非同期の時間差ΔＴ_ｓｙｎの関数であり、マルチメディア品質に対するオーディオ及びビデオの非同期の影響を反映する。

Ｓ１４１では、マルチメディア・シーケンスのマルチメディア品質が、マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ値、並びにマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従って判定される。その関係を、次式（１４）として表すことができる。
Ｑ_ａｖ＝ｆ（Ｑ_ａｖ’，Ｄ_ａｖ，ｆ_５（ΔＴ_ｓｙｎ）） （１４）
ここで、ｆ_５（ΔＴ_ｓｙｎ）は、マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数である。

たとえば、任意選択で、マルチメディア・シーケンスのマルチメディア品質Ｑ_ａｖを、次式（１５）によって判定することができる。
Ｑ_ａｖ＝Ｑ_ａｖ’−Ｄ_ａｖ・ｆ_５（ΔＴ_ｓｙｎ） （１５）
ここで、ｆ_５（ΔＴ_ｓｙｎ）は、１より大きく、より大きい｜ΔＴ_ｓｙｎ｜は、より大きいｆ_５（ΔＴ_ｓｙｎ）を示し、これは、Ｑ_ａｖをより小さくする。ｆ_５（ΔＴ_ｓｙｎ）は、形において限定されず、線形とすることができ、非線形とすることもでき、線形の式と非線形の式との組合せとすることもでき、たとえば、その特定の形を、次式（１６）として表すことができる。

ここで、ｂ_１、ｃ_１、ｄ_１は、定数である。

任意選択で、マルチメディア・シーケンスのマルチメディア品質Ｑ_ａｖを、次式（１７）によって判定することもできる。
Ｑ_ａｖ＝（Ｑ_ａｖ’−Ｄ_ａｖ）・ｆ_６（ΔＴ_ｓｙｎ） （１７）
ここで、ｆ_６（ΔＴ_ｓｙｎ）は、マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数であり、その値は、１より小さく、０より大きく、より大きい｜ΔＴ_ｓｙｎ｜は、より小さいｆ_６（ΔＴ_ｓｙｎ）を示し、これは、Ｑ_ａｖをより小さくする。ｆ_６（ΔＴ_ｓｙｎ）は、形において限定されず、線形とすることができ、非線形とすることもでき、線形の式と非線形の式との組合せとすることもでき、たとえば、その特定の形を、次式（１８）として表すことができる。

ここで、ｂ_２、ｃ_２、ｄ_２は、定数である。

式（１４）、（１５）、及び（１７）は、マルチメディア・シーケンスのマルチメディア品質が、ひずみとオーディオ及びビデオの非同期の影響とがマルチメディア・シーケンスの基準品質に重畳された後に入手される結果であり、人の認知特性と一致することを示す。

したがって、本発明のこの実施形態に従ってマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ値、及びマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従ってマルチメディア品質を判定することによって、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。

図４を参照して、以下で、本発明のこの実施形態による、マルチメディア品質を評価する方法を詳細に説明する。

Ｓ４１０ ビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を計算する。たとえば、前述の式（１）を使用することができる。

Ｓ４２０ ビデオの基準品質及びビデオの最終品質に従ってビデオのひずみ係数を計算する。たとえば、前述の式（３）を使用することができる。

Ｓ４３０ オーディオの基準品質及びオーディオの最終品質に従ってオーディオのひずみ係数を計算する。たとえば、前述の式（５）を使用することができる。

Ｓ４４０ ビデオのひずみ係数及びオーディオのひずみ係数に従ってマルチメディア・シーケンスのひずみ係数を計算する。たとえば、前述の式（６）又は（７）を使用することができる。

Ｓ４５０ マルチメディア・シーケンスのマルチメディア品質を計算する。オーディオ及びビデオの非同期が発生しないときには、マルチメディア・シーケンスのマルチメディア品質は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ係数に従って計算され、たとえば、前述の式（８）及び（１０）を使用することができる。オーディオ及びビデオが非同期であるときには、マルチメディア・シーケンスのマルチメディア品質は、マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ係数、並びにマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従って計算され、たとえば、前述の式（８）及び式（１５）又は（１７）を使用することができる。

したがって、本発明のこの実施形態に従ってマルチメディア品質を評価する方法は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ係数に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。

図５は、本発明の実施形態による、マルチメディア品質を評価する方法５００の概略流れ図である。図５に示されているように、方法５００は、以下を含む。

Ｓ５１０ マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割する。ここで、Ｎは、正の整数であり、２以上である。

Ｓ５２０ Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価する。

Ｓ５３０ Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定する。

あるマルチメディア・シーケンスについて、人の短期記憶に起因して、マルチメディア品質は、現在時刻からの時間のより短い期間内のより深い記憶を用いて理解される。本発明のこの実施形態では、マルチメディア・シーケンスは、まず、複数のマルチメディア・セグメントに分割され、その後、各マルチメディア・セグメントのマルチメディア品質が、別々に評価され、その後、マルチメディア・シーケンスのマルチメディア品質が、各マルチメディア・セグメントのマルチメディア品質に従って判定される。

したがって、本発明のこの実施形態に従ってマルチメディア品質を評価する方法は、マルチメディア・シーケンスをセグメントに分割し、各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、各マルチメディア・セグメントに対して人が払う注意のレベルに従ってマルチメディア・シーケンスのマルチメディア品質を判定するのに便利であり、人の認知特性と一致し、マルチメディア品質の評価の正確さを高めることができる。

Ｓ５１０では、マルチメディア・シーケンスが、Ｎ個のマルチメディア・セグメントに分割される。Ｎは、正の整数であり、２以上である、すなわち、マルチメディア・シーケンスは、少なくとも２つのマルチメディア・セグメントに分割される。

任意選択で、マルチメディア・シーケンスを、持続時間に従ってＮ個のマルチメディア・セグメントに分割することができる。たとえば、マルチメディア・シーケンスの最初のフレームから開始して、各Ｌ秒の持続時間内のマルチメディア・シーケンスが、１つのセグメントに分割され、Ｌの値は、特定の状況に従って調整することができる。

任意選択で、マルチメディア・シーケンスを、マルチメディア品質、ビデオ品質、又はオーディオ品質のレベルに従ってＮ個のマルチメディア・セグメントに分割することもできる。人は、マルチメディア・シーケンス内の比較的特別なコンテンツ、たとえば、ビット誤りによって影響されたビデオ・ピクチャ、ひずんだオーディオのサウンドなどに注意を払う傾向がある。したがって、マルチメディア・セグメント化は、中央として低品質のマルチメディア・コンテンツをとり、マルチメディア・シーケンス全体を、持続時間が約Ｌ秒の連続するマルチメディア・セグメントに分割し、ここで、Ｌの値は、特定の状況に従って調整することができる。たとえば、セグメント化を、以下の方法に従って実行することができる。

１．最初のフレームから開始して、０．８×Ｌ秒のウィンドウをスライドさせ、各ウィンドウ内のマルチメディア品質を計算する。

２．１つのマルチメディア・セグメントを判定するために、最低品質を有するウィンドウ位置を選択する。

３．選択されたマルチメディア・セグメントを除外し、ステップ１及び２を繰り返して新しいマルチメディア・セグメントを入手する。ここで、インターバルは、新しいマルチメディア・セグメントが判定されたマルチメディア・セグメントに隣接する場合に、０〜０．４×Ｌ秒になるように制御される。

４．ステップ３を繰り返して、マルチメディア・シーケンス全体を分割する。

５．マルチメディア・シーケンス全体の完全なセグメント化を実施するために、等しい割り振り方法を採用することによって、マルチメディア・セグメントのインターバルのマルチメディア・フレームを、隣接するマルチメディア・セグメントに組み合わせる。

マルチメディア品質に従って実行されるセグメント化の前述の方法を、ビデオ品質又はオーディオ品質に従って実行されるセグメント化に置換することもできることを理解されたい。ビデオ品質に従って実行されるセグメント化中には、長さ単位を、ビデオのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ、グループ・オフ・ピクチャ）とすることができる、すなわち、１つ又は複数のＧＯＰ長が、１つのマルチメディア・セグメントとして使用される。

マルチメディア・シーケンスに対してセグメント化を実行する方法を、別の方法とすることができ、たとえば、各セグメントの長さを異なるものとすることができ、もう１つの例として、マルチメディア品質に従って実行されるセグメント化中に、高い品質を有するマルチメディア・セグメントを、最初に選択することなどができることを、さらに理解されたい。本発明のこの実施形態は、マルチメディア・シーケンスがＮ個のマルチメディア・セグメントに分割される特定の方法を限定しない。

Ｓ５２０では、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質が、評価される。マルチメディア・セグメントごとに、マルチメディア・セグメントのマルチメディア品質は、各マルチメディア・セグメントのオーディオ及びビデオの品質条件及びひずみ条件の組合せに従う計算を介して入手することができる。本発明の実施形態は、各マルチメディア・セグメントのマルチメディア品質が評価される方法を限定しない。特定の方法について、従来技術を使用することができ、本発明の実施形態に従ってマルチメディア品質を評価する前述の方法１００を使用することもできる。詳細を本明細書でもう一度提供することはしない。

Ｓ５３０では、マルチメディア・シーケンスのマルチメディア品質が、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従って判定される。Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質が評価された後に、マルチメディア・シーケンスのマルチメディア品質が、Ｎ個のマルチメディア・セグメントのマルチメディア品質に従って入手される。

任意選択で、マルチメディア・シーケンスのマルチメディア品質を、Ｎ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって判定することができる。加重平均を、等しい重み値に基づいてＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行することができ、加重平均を、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に関する重み値に基づいてＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行することもでき、たとえば、マルチメディア・セグメントのより低いマルチメディア品質は、より大きい重みを示す。たとえば、マルチメディア・シーケンスの品質を、次式（１９）を使用することによって判定することができる。

ここで、ｍは、マルチメディア・シーケンス内のｍ番目のマルチメディア・セグメントを示し、Ｑ_ａｖ，ｍは、ｍ番目のマルチメディア・セグメントのマルチメディア品質であり、Ｗ_ｍは、その重み値であり、等しい定数とするか、マルチメディア品質のレベルに従って適用される重みとすることができる。

人は、簡単にものを忘れるので、後で見られたマルチメディア・セグメントは、強い印象を与え、前に見られたマルチメディア・セグメントに関する記憶は、比較的曖昧である。したがって、加重平均を、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントの時刻に関する重み値に基づいてＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行することもでき、たとえば、マルチメディア・セグメントの時刻と現在のレーティング時刻との間のより短い時間的距離は、より大きい重み値を示す。たとえば、マルチメディア・セグメントの品質を、次式（２０）を使用して判定することができる。

ここで、ｔ_ｍは、ｍ番目のマルチメディア・セグメントの時刻と現在のレーティング時刻との間の時間的距離であり、

は、この時間的距離に関する重み値である。

加重平均を、Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質及び時刻に関する重み値に基づいてＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行することができる。たとえば、マルチメディア・シーケンスの品質を、次式（２１）を使用することによって判定することができる。

ここで、Ｗ_ｍは、マルチメディア品質に関する重み値であり、

は、時間的距離に関する重み値であり、この２つの重み値を、１つの重み値に組み合わせることもでき、この１つの重み値は、マルチメディア品質だけに関するのではなく、時間的距離にも関する。

人の目は、より悪い品質を有するマルチメディア・セグメントに簡単に気付き、より悪いマルチメディア・セグメントは、マルチメディア・シーケンス全体の品質を反映することができる。したがって、任意選択で、最も悪いマルチメディア品質を有するＫ個のマルチメディア・セグメントを、Ｎ個のマルチメディア・セグメントから選択することができ、マルチメディア・シーケンスのマルチメディア品質は、Ｋ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって判定され、ここで、Ｋは、正の整数であり、Ｋは、１以上Ｎ未満であり、Ｋの特定の値は、実際のアプリケーション・シナリオに従ってセットすることができる。加重平均がＫ個のマルチメディア・セグメントのマルチメディア品質に対して実行される方法について、加重平均がＮ個のマルチメディア・セグメントのマルチメディア品質に対して実行される前述の方法を参照されたい、すなわち、加重平均を、等しい重み値に基づいて、又はＫ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質及び／又は時刻に関する重み値に基づいて、Ｋ個のマルチメディア・セグメントのマルチメディア品質に対して実行することができる。

任意選択で、加重平均が、等しい重み値に基づいて実行される場合に、マルチメディア・シーケンスの品質を、次式（２２）を使用することによって判定することができる。

ここで、ｋは、マルチメディア・シーケンス内で最悪の品質を有するｋ番目のマルチメディア・セグメントを示し、Ｑ_ａｖ，ｋは、マルチメディア・シーケンス内で最悪の品質を有するｋ番目のマルチメディア・セグメントのマルチメディア品質である。

任意選択で、加重平均が、Ｋ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に関する重み値に基づいて実行される場合に、マルチメディア・シーケンスの品質を、次式（２３）を使用することによって判定することができる。

ここで、Ｗ_ｋは、マルチメディア品質に関する重み値である。

任意選択で、加重平均が、Ｋ個のマルチメディア・セグメントの各マルチメディア・セグメントの時刻に関する重み値に基づいて実行される場合に、マルチメディア・シーケンスの品質を、次式（２４）を使用することによって判定することができる。

ここで、

は、時刻に関する重み値である。

任意選択で、加重平均が、Ｋ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質及び時刻に関する重み値に基づいて実行される場合に、マルチメディア・シーケンスの品質を、次式（２５）を使用することによって判定することができる。

したがって、本発明のこの実施形態に従ってマルチメディア品質を評価する方法は、マルチメディア・シーケンスをセグメントに分割し、その後各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することとによって、人によって各マルチメディア・セグメントに払われる注意のレベルに従って、マルチメディア・シーケンスのマルチメディア品質を判定するのに便利であり、人の認知特性に一致し、マルチメディア品質の評価の正確さを高めることができる。

本発明の実施形態では、各ステップのシーケンス番号の値が、実行順序を示さず、ステップの実行順序は、関数及びその固有の論理に従って判定されなければならず、本発明の実施形態の実施プロセスに対する限定を構成してはならないことを理解されたい。

図１から図５を参照すると、前述は、本発明の実施形態に従ってマルチメディア品質を評価する方法を詳細に説明する。図６から図９を参照して、以下では、本発明の実施形態に従ってマルチメディア品質を評価する装置を説明する。

図６は、本発明の実施形態による、マルチメディア品質を評価する装置６００の概略ブロック図である。図６に示されているように、装置６００は、
マルチメディア・シーケンスのビデオの基準品質及びビデオの最終品質とマルチメディア・シーケンスのオーディオの基準品質及びオーディオの最終品質とを入手するように構成された第１の入手モジュール６１０と、
第１の入手モジュール６１０によって入手されるビデオの基準品質及びオーディオの基準品質に従ってマルチメディア・シーケンスの基準品質を判定するように構成された基準品質判定モジュール６２０と、
第１の入手モジュール６１０によって入手されるビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従ってマルチメディア・シーケンスのひずみ値を判定するように構成されたひずみ値判定モジュール６３０と、
基準品質判定モジュール６２０によって判定されるマルチメディア・シーケンスの基準品質及びひずみ値判定モジュール６３０によって判定されるマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定するように構成されたマルチメディア品質判定モジュール６４０と
を含む。

本発明のこの実施形態によるマルチメディア品質を判定する装置は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。

本発明のこの実施形態では、図７に示されているように、任意選択で、ひずみ値判定モジュール６３０は、
ビデオの基準品質及びビデオの最終品質に従ってビデオのひずみ値を判定するように構成された第１の判定ユニット６３１と、
オーディオの基準品質及びオーディオの最終品質に従ってオーディオのひずみ値を判定するように構成された第２の判定ユニット６３２と、
ビデオのひずみ値及びオーディオのひずみ値に従ってマルチメディア・シーケンスのひずみ値を判定するように構成された第３の判定ユニット６３３と
を含む。

本発明のこの実施形態では、任意選択で、第３の判定ユニット６３３は、
ビデオの基準品質及びビデオのひずみ値に従ってビデオのひずみ係数を判定するように構成された第１の判定サブユニットと、
オーディオの基準品質及びオーディオのひずみ値に従ってオーディオのひずみ係数を判定するように構成された第２の判定サブユニットと、
ビデオのひずみ係数及びオーディオのひずみ係数に従ってマルチメディア・シーケンスのひずみ係数を判定するように構成された第３の判定サブユニットと、
マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ係数に従ってマルチメディア・シーケンスのひずみ値を判定するように構成された第４の判定サブユニットと
を含む。

本発明のこの実施形態では、第３の判定サブユニットは、次式に従ってマルチメディア・シーケンスのひずみ係数ｄ_ａｖを判定するようにさらに構成され、

ｄ_ｖ及びｄ_ａは、それぞれ、ビデオのひずみ係数及びオーディオのひずみ係数であり、ａ_５、ａ_６、及びａ_７は、定数である。

本発明のこの実施形態では、図８に示されているように、マルチメディア品質を評価する装置６００は、
マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数を入手するように構成された第２の入手モジュール６５０
をさらに含む。

マルチメディア品質判定モジュール６４０は、マルチメディア・シーケンスの基準品質、マルチメディア・シーケンスのひずみ値、及び第２の入手モジュール６５０によって入手されるマルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数に従ってマルチメディア・シーケンスのマルチメディア品質を判定するようにさらに構成される。

本発明のこの実施形態では、マルチメディア品質判定モジュール６４０は、次式に従ってマルチメディア・シーケンスのマルチメディア品質Ｑ_ａｖを判定するようにさらに構成され、
Ｑ_ａｖ＝Ｑ_ａｖ’−Ｄ_ａｖ・ｆ_５（ΔＴ_ｓｙｎ）又は
Ｑ_ａｖ＝（Ｑ_ａｖ’−Ｄ_ａｖ）・ｆ_６（ΔＴ_ｓｙｎ）
Ｑ_ａｖ’は、マルチメディア・シーケンスの基準品質であり、Ｄ_ａｖは、マルチメディア・シーケンスのひずみ値であり、ｆ_５（ΔＴ_ｓｙｎ）及びｆ_６（ΔＴ_ｓｙｎ）は、マルチメディア・シーケンスのオーディオ及びビデオの非同期の影響係数であり、ΔＴ_ｓｙｎは、マルチメディア・シーケンスのオーディオ及びビデオの非同期の時間差であり、より大きい｜ΔＴ_ｓｙｎ｜は、より大きいｆ_５（ΔＴ_ｓｙｎ）及びより小さいｆ_６（ΔＴ_ｓｙｎ）を示す。

本発明のこの実施形態によるマルチメディア品質を評価する装置は、マルチメディア・シーケンスの基準品質及びマルチメディア・シーケンスのひずみ値に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、マルチメディア・シーケンスのひずみを直接に反映することができ、人の主観的印象と一致し、したがって、マルチメディア品質を正確に効果的に評価することができる。

図９は、本発明の実施形態による、マルチメディア品質を評価する装置９００の概略ブロック図である。図９に示されているように、装置９００は、
マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成されたセグメント化モジュール９１０であり、ここで、Ｎは、正の整数であり、Ｎは、２以上である、セグメント化モジュール９１０と、
Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価するように構成された評価モジュール９２０と、
Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定するように構成された処理モジュール９３０と
を含む。

本発明のこの実施形態に従ってマルチメディア品質を評価する装置は、マルチメディア・シーケンスをセグメントに分割し、各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、人によって各マルチメディア・セグメントに払われる注意のレベルに従って、マルチメディア・シーケンスのマルチメディア品質を判定するのに便利であり、人の認知特性に一致し、マルチメディア品質の評価の正確さを高めることができる。

本発明のこの実施形態では、任意選択で、セグメント化モジュール９１０は、
持続時間に従ってマルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成された第１のセグメント化ユニット
を含む。

本発明のこの実施形態では、任意選択で、セグメント化モジュール９１０は、
マルチメディア品質、ビデオ品質、若しくはオーディオ品質のレベルに従ってマルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成された第２のセグメント化ユニット
を含む。

本発明のこの実施形態では、評価モジュール９２０は、
各マルチメディア・セグメントのビデオの基準品質及びビデオの最終品質と、各マルチメディア・セグメントのオーディオの基準品質及びオーディオの最終品質とを入手するように構成された第１の入手ユニットと、
ビデオの基準品質及びオーディオの基準品質に従って各マルチメディア・セグメントの基準品質を判定するように構成された基準品質判定ユニットと、
ビデオの基準品質、ビデオの最終品質、オーディオの基準品質、及びオーディオの最終品質に従って各マルチメディア・セグメントのひずみ値を判定するように構成されたひずみ値判定ユニットと、
各マルチメディア・セグメントの基準品質及び各マルチメディア・セグメントのひずみ値に従って各マルチメディア・セグメントのマルチメディア品質を判定するように構成された評価ユニットと
を含む。

本発明のこの実施形態では、任意選択で、評価モジュール９２０は、
各マルチメディア・セグメントのオーディオ及びビデオの非同期の影響係数を入手するように構成された第２の入手ユニット
をさらに含む。

評価ユニットは、各マルチメディア・セグメントの基準品質、各マルチメディア・セグメントのひずみ値、及び各マルチメディア・セグメントのオーディオ及びビデオの非同期の影響係数に従って各マルチメディア・セグメントのマルチメディア品質を判定するようにさらに構成される。

本発明のこの実施形態では、処理モジュール９３０は、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによってマルチメディア・シーケンスのマルチメディア品質を判定するようにさらに構成され、Ｋ個のマルチメディア・セグメントは、Ｎ個のマルチメディア・セグメントのうちで最悪のマルチメディア品質を有するＫ個のマルチメディア・セグメントであり、Ｋは、正の整数であり、Ｋは、１以上Ｎ未満である。

本発明のこの実施形態では、任意選択で、処理モジュール９３０は
等しい重み値に基づき、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって、マルチメディア・シーケンスのマルチメディア品質を判定するように構成された第１の処理ユニット
を含む。

本発明のこの実施形態では、任意選択で、処理モジュール９３０は
Ｎ個又はＫ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質に関する重み値に基づき、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって、マルチメディア・シーケンスのマルチメディア品質を判定するように構成された第２の処理ユニット
を含む。

本発明のこの実施形態では、任意選択で、処理モジュール９３０は
Ｎ個又はＫ個のマルチメディア・セグメントの各マルチメディア・セグメントの時刻に関する重み値に基づき、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって、マルチメディア・シーケンスのマルチメディア品質を判定するように構成された第３の処理ユニット
を含む。

本発明のこの実施形態では、任意選択で、処理モジュール９３０は
Ｎ個又はＫ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質及び時刻に関する重み値に基づき、Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって、マルチメディア・シーケンスのマルチメディア品質を判定するように構成された第４の処理ユニット
を含む。

本発明のこの実施形態に従ってマルチメディア品質を評価する装置は、マルチメディア・シーケンスをセグメントに分割し、各マルチメディア・セグメントのマルチメディア品質に従ってマルチメディア・シーケンスのマルチメディア品質を判定することによって、人によって各マルチメディア・セグメントに払われる注意のレベルに従って、マルチメディア・シーケンスのマルチメディア品質を判定するのに便利であり、人の認知特性に一致し、マルチメディア品質の評価の正確さを高めることができる。

本発明のこの実施形態での用語「及び／又は」は、関連する対象を説明するために関連する関係のみを説明するものであり、３つの関係が存在する可能性があることを表すことを理解されたい。たとえば、Ａ及び／又はＢは、次の３つのケースすなわち、Ａのみが存在する、ＡとＢとの両方が存在する、及びＢのみが存在するを表すことができる。さらに、本明細書での文字「／」は、一般に、関連する対象の間の「又は」の関係を示す。

当業者は、本明細書で開示される実施形態で説明される例と組み合わせて、ユニット及びアルゴリズム・ステップを、コンピュータ・ハードウェア又はコンピュータ・ソフトウェア及び電子ハードウェアの組合せによって実施できることを認識する可能性がある。機能が、ハードウェア又はソフトウェアのどちらによって実行されるのかは、特定の応用例及び技術的解決策の設計制約条件に依存する。当業者は、特定の応用例ごとに説明される機能を実施するのに異なる方法を使用することができるが、その実施態様が本発明の範囲を超えると考えてはならない。

便宜及び短い説明のために、前述のシステム、装置、及びユニットの詳細な動作するプロセスについて、前述の方法実施形態の対応するプロセスを参照する場合があり、詳細が本明細書でもう一度説明されることがないことを、当業者は明瞭に理解することができる。

本願で提供される複数の実施形態で、開示されるシステム、装置、及び方法を他の形で実施できることを理解されたい。たとえば、説明される装置実施形態は、単に例示的である。たとえば、ユニット分割は、単に論理的な機能分割であり、実際の実施態様に他の分割がある可能性がある。たとえば、複数のユニット又はコンポーネントを、別のシステムに組み合わせるか一体化することができ、或いは、いくつかの特徴を無視し又は実行しないものとすることができる。さらに、表示され又は議論される相互結合又は直接結合又は通信接続を、いくつかのインターフェースを介して実施することができる。装置又はユニットの間の間接結合又は通信接続を、電子的な形、機械的な形、又は他の形で実施することができる。

別々の部分として説明されるユニットが、物理的に別々であってもなくてもよく、ユニットとして表示される部分が、物理的なユニットであってもなくてもよく、１つの位置に配置されてもよく、或いは、複数のネットワーク・ユニット上に分散されてもよい。ユニットの一部又はすべてを、実施形態の解決策の目的を達成するための必要に応じて選択することができる。

さらに、本発明の実施形態の機能ユニットを、１つの処理ユニットに一体化することができ、或いは、ユニットのそれぞれが、物理的に単独で存在することができ、或いは、２つ以上のユニットが、１つのユニットに一体化される。

機能が、ソフトウェア機能ユニットの形で実施され、独立の製品として販売され又は使用されるときに、機能をコンピュータ可読記憶媒体に格納することができる。そのような理解に基づいて、本質的に、本発明の技術的解決策、又は従来技術に貢献する部分若しくは技術的解決策の一部を、ソフトウェア製品の形で実施することができる。ソフトウェア製品は、記憶媒体に格納され、本発明の実施形態で説明される方法のステップのすべて又は一部を実行するようにコンピュータ・デバイス（パーソナル・コンピュータ、サーバ、又はネットワーク・デバイスとすることができる）に指示する複数の命令を含む。前述の記憶媒体は、ＵＳＢフラッシュ・ドライブ、リムーバブル・ハード・ディスク、読取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク、又は光ディスクなど、プログラム・コードを格納できるいずれかの媒体を含む。

前述の説明は、単に、本発明の特定の実施態様であるが、本発明の保護範囲を限定することは意図されていない。本発明で開示される技術範囲内で当業者が容易に想到するすべての変形又は置換は、本発明の保護範囲に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。

Claims (16)

1. マルチメディア・シーケンスのビデオの基準品質及び前記ビデオの最終品質と前記マルチメディア・シーケンスのオーディオの基準品質及び前記オーディオの最終品質とを入手するステップと、
   前記ビデオの前記基準品質及び前記オーディオの前記基準品質に従って前記マルチメディア・シーケンスの基準品質を判定するステップと、
   前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って前記マルチメディア・シーケンスのひずみ値を判定するステップと、
   前記マルチメディア・シーケンスの前記基準品質及び前記マルチメディア・シーケンスの前記ひずみ値に従って前記マルチメディア・シーケンスのマルチメディア品質を判定するステップと
   を含む、マルチメディア品質を評価する方法。
2. 前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って前記マルチメディア・シーケンスのひずみ値を判定する前記ステップは、
   前記ビデオの前記基準品質及び前記ビデオの前記最終品質に従って前記ビデオのひずみ値を判定するステップと、
   前記オーディオの前記基準品質及び前記オーディオの前記最終品質に従って前記オーディオのひずみ値を判定するステップと、
   前記ビデオの前記ひずみ値及び前記オーディオの前記ひずみ値に従って前記マルチメディア・シーケンスの前記ひずみ値を判定するステップと
   を含む、請求項１に記載の方法。
3. 前記ビデオの前記ひずみ値及び前記オーディオの前記ひずみ値に従って前記マルチメディア・シーケンスの前記ひずみ値を判定する前記ステップは、
   前記ビデオの前記基準品質及び前記ビデオの前記ひずみ値に従って前記ビデオのひずみ係数を判定するステップと、
   前記オーディオの前記基準品質及び前記オーディオの前記ひずみ値に従って前記オーディオのひずみ係数を判定するステップと、
   前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数に従って前記マルチメディア・シーケンスのひずみ係数を判定するステップと、
   前記マルチメディア・シーケンスの前記基準品質及び前記マルチメディア・シーケンスの前記ひずみ係数に従って前記マルチメディア・シーケンスの前記ひずみ値を判定するステップと
   を含む、請求項２に記載の方法。
4. 前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数に従って前記マルチメディア・シーケンスのひずみ係数を判定する前記ステップは、
   次式に従って前記マルチメディア・シーケンスのひずみ係数ｄ_ａｖを判定するステップであり、
   

   

   ｄ_ｖ及びｄ_ａは、それぞれ、前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数であり、ａ_５、ａ_６、及びａ_７は、定数である、ステップ
   を含む、請求項３に記載の方法。
5. マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するステップであり、ここで、Ｎは正の整数であり、Ｎは２以上である、ステップと、
   前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価するステップと、
   前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントの前記マルチメディア品質に従って前記マルチメディア・シーケンスのマルチメディア品質を判定するステップと
   を含み、
   前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価する前記ステップは、
   各マルチメディア・セグメントのビデオの基準品質及び前記ビデオの最終品質と、各マルチメディア・セグメントのオーディオの基準品質及び前記オーディオの最終品質とを入手するステップと、
   前記ビデオの前記基準品質及び前記オーディオの前記基準品質に従って各マルチメディア・セグメントの基準品質を判定するステップと、
   前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って各マルチメディア・セグメントのひずみ値を判定するステップと、
   各マルチメディア・セグメントの前記基準品質及び各マルチメディア・セグメントの前記ひずみ値に従って各マルチメディア・セグメントの前記マルチメディア品質を判定するステップと
   を含む、マルチメディア品質を評価する方法。
6. 前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価する前記ステップは、
   各マルチメディア・セグメントのオーディオ及びビデオの非同期の影響係数を入手するステップ
   をさらに含み、各マルチメディア・セグメントの前記基準品質及び各マルチメディア・セグメントの前記ひずみ値に従って各マルチメディア・セグメントの前記マルチメディア品質を判定する前記ステップは、
   各マルチメディア・セグメントの前記基準品質、各マルチメディア・セグメントの前記ひずみ値、及び各マルチメディア・セグメントのオーディオ及びビデオの非同期の前記影響係数に従って各マルチメディア・セグメントの前記マルチメディア品質を判定するステップ
   を含む、請求項５に記載の方法。
7. マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割する前記ステップは、
   持続時間に従って前記マルチメディア・シーケンスを前記Ｎ個のマルチメディア・セグメントに分割するステップ、又は
   マルチメディア品質、ビデオ品質、若しくはオーディオ品質のレベルに従って前記マルチメディア・シーケンスを前記Ｎ個のマルチメディア・セグメントに分割するステップ
   を含む、請求項５又は６に記載の方法。
8. 前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントの前記マルチメディア品質に従って前記マルチメディア・シーケンスのマルチメディア品質を判定する前記ステップは、
   Ｎ個又はＫ個のマルチメディア・セグメントのマルチメディア品質に対して加重平均を実行することによって前記マルチメディア・シーケンスの前記マルチメディア品質を判定するステップであり、前記Ｋ個のマルチメディア・セグメントは、前記Ｎ個のマルチメディア・セグメントのうちで最悪のマルチメディア品質を有する前記Ｋ個のマルチメディア・セグメントであり、Ｋは、正の整数であり、Ｋは、１以上Ｎ未満である、ステップ
   を含む、請求項５又は６に記載の方法。
9. マルチメディア・シーケンスのビデオの基準品質及び前記ビデオの最終品質と前記マルチメディア・シーケンスのオーディオの基準品質及び前記オーディオの最終品質とを入手するように構成された第１の入手モジュールと、
   前記第１の入手モジュールによって入手される前記ビデオの前記基準品質及び前記オーディオの前記基準品質に従って前記マルチメディア・シーケンスの基準品質を判定するように構成された基準品質判定モジュールと、
   前記第１の入手モジュールによって入手される前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って前記マルチメディア・シーケンスのひずみ値を判定するように構成されたひずみ値判定モジュールと、
   前記基準品質判定モジュールによって判定される前記マルチメディア・シーケンスの前記基準品質及び前記ひずみ値判定モジュールによって判定される前記マルチメディア・シーケンスの前記ひずみ値に従って前記マルチメディア・シーケンスのマルチメディア品質を判定するように構成されたマルチメディア品質判定モジュールと
   を含む、マルチメディア品質を評価する装置。
10. 前記ひずみ値判定モジュールは、
    前記ビデオの前記基準品質及び前記ビデオの前記最終品質に従って前記ビデオのひずみ値を判定するように構成された第１の判定ユニットと、
    前記オーディオの前記基準品質及び前記オーディオの前記最終品質に従って前記オーディオのひずみ値を判定するように構成された第２の判定ユニットと、
    前記ビデオの前記ひずみ値及び前記オーディオの前記ひずみ値に従って前記マルチメディア・シーケンスの前記ひずみ値を判定するように構成された第３の判定ユニットと
    を含む、請求項９に記載の装置。
11. 前記第３の判定ユニットは、
    前記ビデオの前記基準品質及び前記ビデオの前記ひずみ値に従って前記ビデオのひずみ係数を判定するように構成された第１の判定サブユニットと、
    前記オーディオの前記基準品質及び前記オーディオの前記ひずみ値に従って前記オーディオのひずみ係数を判定するように構成された第２の判定サブユニットと、
    前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数に従って前記マルチメディア・シーケンスのひずみ係数を判定するように構成された第３の判定サブユニットと、
    前記マルチメディア・シーケンスの前記基準品質及び前記マルチメディア・シーケンスの前記ひずみ係数に従って前記マルチメディア・シーケンスの前記ひずみ値を判定するように構成された第４の判定サブユニットと
    を含む、請求項１０に記載の装置。
12. 前記第３の判定サブユニットは、次式に従って前記マルチメディア・シーケンスのひずみ係数ｄ_ａｖを判定するようにさらに構成され、
    

    

    ｄ_ｖ及びｄ_ａは、それぞれ、前記ビデオの前記ひずみ係数及び前記オーディオの前記ひずみ係数であり、ａ_５、ａ_６、及びａ_７は、定数である、
    請求項１１に記載の装置。
13. マルチメディア・シーケンスをＮ個のマルチメディア・セグメントに分割するように構成されたセグメント化モジュールであり、ここで、Ｎは、正の整数であり、Ｎは、２以上である、セグメント化モジュールと、
    前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントのマルチメディア品質を評価するように構成された評価モジュールと、
    前記Ｎ個のマルチメディア・セグメントの各マルチメディア・セグメントの前記マルチメディア品質に従って前記マルチメディア・シーケンスのマルチメディア品質を判定するように構成された処理モジュールと
    を含み、
    前記評価モジュールは、
    各マルチメディア・セグメントのビデオの基準品質及び前記ビデオの最終品質と、各マルチメディア・セグメントのオーディオの基準品質及び前記オーディオの最終品質とを入手するように構成された第１の入手ユニットと、
    前記ビデオの前記基準品質及び前記オーディオの前記基準品質に従って各マルチメディア・セグメントの基準品質を判定するように構成された基準品質判定ユニットと、
    前記ビデオの前記基準品質、前記ビデオの前記最終品質、前記オーディオの前記基準品質、及び前記オーディオの前記最終品質に従って各マルチメディア・セグメントのひずみ値を判定するように構成されたひずみ値判定ユニットと、
    各マルチメディア・セグメントの前記基準品質及び各マルチメディア・セグメントの前記ひずみ値に従って各マルチメディア・セグメントの前記マルチメディア品質を判定するように構成された評価ユニットと
    を含む、マルチメディア品質を評価する装置。
14. 前記評価モジュールは、
    各マルチメディア・セグメントのオーディオ及びビデオの非同期の影響係数を入手するように構成された第２の入手ユニット
    をさらに含み、前記評価ユニットは、各マルチメディア・セグメントの前記基準品質、各マルチメディア・セグメントの前記ひずみ値、及び各マルチメディア・セグメントのオーディオ及びビデオの非同期の前記影響係数に従って各マルチメディア・セグメントの前記マルチメディア品質を判定するようにさらに構成される、
    請求項１３に記載の装置。
15. 前記セグメント化モジュールは、
    持続時間に従って前記マルチメディア・シーケンスを前記Ｎ個のマルチメディア・セグメントに分割するように構成された第１のセグメント化ユニット、又は
    マルチメディア品質、ビデオ品質、若しくはオーディオ品質のレベルに従って前記マルチメディア・シーケンスを前記Ｎ個のマルチメディア・セグメントに分割するように構成された第２のセグメント化ユニット
    を含む、請求項１３又は１４に記載の装置。
16. コンピュータに請求項１から８のいずれか一項に記載の方法を実行させるプログラムが記録されたコンピュータ可読記憶媒体。
    

Images