JP5746432B2 - メディアデータの品質を評価するユーザ端末デバイス、サーバデバイス、システム、および方法 - Google Patents

Description

本発明はメディアデータ品質評価の分野においてなされたものである。

メディアデータ（例えばグラフィックス、静止画像、ビデオ、またはオーディオファイル）の品質評価は、記録デバイスの評価および／または制御、圧縮方法、または伝送チャネルについて有用である。品質評価は、メディアの品質に依存して、メディアコンテンツを異なって収益化するためにさらに使用され得る。

ビデオ品質を評価する最も正確および直接的な方法は、主観的な(subjective)品質スコア評価である。しかし、主観的な評価は、高いし時間もかかる。それゆえ目的のビデオ品質測定（ＶＱＭ）は代替の方法として提案されており、その方法で、観察者によって割り当てられる平均の主観的なスコアにできる限り近い計算されたスコアを提供することが期待されている。

ソースメディアデータ情報がＶＱＭについて利用可能でない、いわゆる不参照の方法では、アーチファクト特徴や主観的スコアの予測などの客観的に検出可能な特徴の間にマッピングすることは、きわめて重要である。このようなマッピングを確立するための技術における方法をとりまとめたもの（bouquet）がある。例えば、人工神経回路網（ANN:Arftificial Neural Networks）は、トレーニングされて、客観的に検出可能なアーチファクト特徴から平均観察者スコア（MOS：mean observer scores）を予測する。人工神経回路網はトレーニングとテストデータとが似たコンテンツに関連している、問題となるテストデータについてよい結果を達成したとしても、コンテンツの広い範囲にまたがる場合は安定したパフォーマンスを達成するのは容易ではない。

さらに、ラベル付けされた少量およびラベル付けされていない多量のデータがよりよいパフォーマンスを達成するためにトレーニングに一緒に関与し得る、半教師付き学習方法がある。

これらの根本的な技術の複雑さのために、例えば現時点で未公開の特許文献１、２に記載されている、現在のビデオ品質評価（VQA）の使用は、高いコンピュータコストおよび対応する高い費用のために業務用に限定されている。

しかし、個々のメディア製品および消費は、ますます人気が出てきている。つまり、顧客は、音楽、オーディオテイク、画像、及びビデオなどのメディアコンテンツを、どこでも、いつでも、キャプチャし、処理し、圧縮し、アクセスし、シェアすることができる。

アマチュアおよびセミプロのユーザがコンテンツを広めれば広めるほど、プロがやるように、メディアデータの品質評価することが可能になることに関心が増す。

しかしながら、プロの（VQA）のコストは、アマチュアにとって依然としてとても高すぎる。

ＰＣＴ／ＣＮ２０１０／０００６００明細書 ＰＣＴ／ＣＮ２０１０／００１６３０明細書

それにもかかわらず、アマチュアおよびセミプロフェッショナルなユーザの高い品質のメディアデータコンテンツを生成するように適合されたCEメディアデバイスの発展およびソーシャルネットワークを経由したそのようなコンテンツの共有の増加に伴って、共通の顧客が、ユーザ生成のコンテンツの処理、ストレージ、共有化のための画像またはビデオの品質を、収益化し、スキャンし、監視するのを助けるために画像ビデオ品質評価の解決の必要が存在する。

それゆえ、クレーム１に従ったユーザ端末デバイス、クレーム２に従ったサーバデバイス、およびクレーム４に従ったシステムが提案される。さらに、クレーム５に従ったメディアデータの品質を評価する方法が提案される。

上記方法では、ユーザ端末デバイスがメディアデータからアーチファクト特徴を抽出するために使用され、抽出した特徴をサーバデバイスに通信するために使用される。サーバデバイスは、そして、メディアデータの品質スコアを決定するために使用される。メディアデータの品質スコアは、受信されたアーチファクトを使用して決定される。サーバデバイスは、ユーザ端末デバイスに決定された品質スコアを送信するためにさらに使用され、ユーザ端末デバイスは、受信した品質スコアをユーザに提示し、ユーザから、主観的な品質スコアおよび品質スコアの再決定の要求を受け取るために使用される。そして、この要求及び品質スコアはサーバデバイスに通信するために使用され、ユーザ端末デバイスは、品質スコアの再決定の要求および主観的な品質スコアを、メディアデータの品質スコアの再決定および再決定された品質スコアをユーザ端末デバイスに送信するために交互に使用される。メディアデータの品質スコアは受信された主観的な品質スコアをさらに使用して再決定される。

実施形態では、本発明は、分散サービス、例えばウェブサービス、を、ユーザに提供して、ユーザのメディア（画像／ビデオ）データセットの認識された品質を、低コスト、ソフトウェアインストールの必要なく、大きいメディアコンテンツの転送の必要がなく低バンド帯域の消費ですみ、かつユーザメディアコンテンツの漏えいのリスクが低いという特徴で、スキャンおよび監視する、サービスシステムを意図している。ユーザフィードバックを伴うインタフェースはメディア品質評価システムのパフォーマンスを向上させるために提供される。

すなわち、発明の実施形態は、ウェブアプリケーションとして実現されることができ、かつ共通のエンドユーザが、好都合なことにユーザのプライバシーを保護したままおよび必要とされる帯域幅が限定されたままでそれらの画像および／またはビデオの認識された品質を測定することを可能にする、クライアント−サーバサービスモデルの供給に焦点を当てる。

ユーザの画像／ビデオデータセットからのアーチファクト特徴がクライアント側で抽出されるので、ユーザのコンテンツを完全にアップロードする必要がなく、大きなバンド帯域の消費と共にユーザのコンテンツの漏洩を防止する。さらに、本発明は、ユーザフィードバックの収集のインタフェースを提供するので、システムの例示的な実施形態は根本的なアーチファクト／品質スコアデータベースをアップデートすることによって、品質測定アルゴリズムの効果を向上させることを許容している。

さらに有利な実施形態の特徴は従属クレームで具体的に述べられる。

発明の例示的な実施形態は、図面に図示され、かつ以下の記載でさらに詳細に説明される。例示的な実施形態は、発明を明確化させるためにだけ説明され、発明の開示、範囲、または特許請求の範囲に記載された精神を限定しない。

最新のシステム発明の例示的実施形態を図示するブロック図である。 最新の方法発明の例示的実施形態を図示するフローチャートである。

本発明のクライアントエンドは、同様に適合された処理デバイスを有する任意の電子デバイスに実現され得る。網羅的でないが、例えば、モバイルフォン、パーソナルコンピュータ、デジタルスチルイメージカメラ、デジタルビデオカメラ、オーディオレコーディングデバイス、すなわちｍｐ３プレーヤの形態で実現され得る。本発明のサービスセンタは任意の商業上の利用可能なサーバハードウェア上に実現され得る。

このイノベーションは、ユーザが、ユーザ自身のメディア（例えば、画像、ビデオまたはオーディオ）コンテンツの認識された品質をスキャンし、評価することを可能にする新しいウェブサービスを開発しようとしている。つまり、スコア、例えば観察者スコア、平均観察者スコア、または平均観察者スコアがコンテンツについて自動的に予測される。

意図されるサービスモデルにおいて、２つの部分がある。それはクライアントエンドおよびサービスセンタである。

クライアントエンドはスコアに相関する特徴を抽出する責任がある。画像またはビデオについて、例えば、ブロックネス、ぼやけおよびノイズなどのアーチファクト特徴は平均観察者スコアとの相関が見出されている。本発明の実施形態に焦点を絞ったビジュアルデータは、それゆえ、クライアントエンドにおける視覚的なアーチファクトを抽出することを含んでいる。オーディオについて、例示的に抽出されたアーチファクトは、リンギング、プリエコー(pre-echo)、ドロップアウト(drop-oputs)、ウォブリング(warbling)、メタリックリンギング（metallic ringing）、水面下の音波（underwater acoustics）およびヒッシング(hissing)を含んでいる。

クライアントエンドは、PC、タブレット、またはモバイルデバイス、例えば静止画またはビデオカメラスタンドアロンデバイスまたはビデオまたは静止画カメラ電話、などのユーザの端末で動作する。クライアントエンドは、ブラウザのジャバアプレットまたはマイクロソフトウインドウズメディアプレーヤ、マイクロソフトウインドウズライブフォトギャラリーおよびグーグルピカサなどの共通のオーディオ／画像／ビデオマネジメントソフトウエア／ツールのプラグインとして実現されることができる。

クライアントエンドの他の機能は、ユーザフィードバックを収集することである。ユーザが、サービスセンタによって決定された品質スコアについて満足しない場合、レスポンスで、ユーザは、主観的品質スコアを与えることができ、その主観的品質スコアは、決定を調整するためにサービスセンタに送信され、および／またはアーチファクト／品質スコアデータベースおよび決定に使用されるアルゴリズムのうちの少なくとも１つを向上させるだろう。半教師付き学習がサーバにおけるスコア予測のために使用される実施形態において、抽出されたアーチファクトおよびユーザの主観スコアが他のラベル付けされたトレーニングデータセットとして提供されることができる。同様に、ユーザの主観スコアをＡＮＮを調整するために使用することができる。

サービスセンタは、クライアントエンドによって抽出されたアーチファクト特徴に基づいた画像／ビデオの認識された品質を決定または予測することに責任がある。サービスセンタは、リモートサイドで共通的に動作する。例示的な実施形態では、サービスセンタは、画像／ビデオデータセットを、クライアントから収集されたアーチファクト特徴および主観的品質スコアのユーザフィードバックに基づいて拡張および／または修正するように適合され、かついくつかの自己学習メカニズムを有する品質測定アルゴリズムのパフォーマンスを向上させるように適合される。

例示的な実施形態では、図１および図２で図示される以下のステップが、品質スコアを決定することにより、画像またはビデオの品質を評価するために実行される。

第１に、ユーザは、ステップ１０で、ユーザ端末UTを使用してブラウザによりウェブサーバWSに接続し、ステップ２０でエンベッドされたウェブページにQMアプレットをフェッチする。

ステップ３０で、ユーザは、ユーザ端末UTで動作するアプレットUIの中のそのユーザのローカルディスクで画像／ビデオを開ける。QMアプレットは、ステップ３０で、ユーザの画像／ビデオから、いくらかのまたは全てのアーチファクト特徴を抽出する。

次に、QMアプレットは、ステップ４０において、アーチファクト特徴をサーバセンタSCにウェブサーバWSを経由して送る。サーバセンタSCはウェブサーバWSの不可欠な部分であってもよい。

QMサーバセンタSCは、アーチファクト特徴を伴う認識された品質スコアを算出し、ステップ５０で、品質スコアが表示されたクライアントのエンドに算出されたスコアを返信する。

ユーザが、決定ステップD1において、受信されたスコアが満足できないと決定した場合、彼／彼女はユーザ端末UTのクライアントUIで彼のフィードバックを入力することができる。そしてステップ６０において、ユーザフィードバックは、サーバセンタSCに転送され、QMアルゴリズムを向上させる。品質スコアの再決定の要求は、ステップ６０において、ユーザが最初に算出された品質スコアにとても満足しない場合、フィードバックと一緒に、クライアントエンドUTからサーバセンタSCに送信される。そのような再計算の結果は、ステップ５０の繰り返しで、サーバセンタSCからユーザ端末UTに返信される。

再決定の要求は、ステップ７０においてユーザのフィードバックを使用してデータベースを修正する場合に考慮に入れられることができる。そのような要求は、予測結果についてかなり期待はずれであることを知らしめ、それゆえ、そのような要求がサーバセンタSCで受信されない場合よりも、データベースでのユーザのフィードバックのより高いインパクトをトリガするために使用され得る。

Claims (8)

1. メディアデータからアーチファクト特徴を抽出する手段と、
   前記抽出した特徴をサーバデバイスに送信する手段と、
   前記サーバデバイスから、前記メディアデータについての品質スコアを受信する手段と、
   受信した品質スコアをユーザに提示する手段と、
   前記ユーザから、主観的な品質スコアおよび前記品質スコアの再決定の要求を受信する手段と、
   を備え、
   前記送信する手段は、前記品質スコアの再決定の要求と前記主観的な品質スコアとを前記サーバデバイスに通信するよう適合されている、ユーザ端末デバイス。
2. ユーザ端末デバイスから、メディアデータから抽出したアーチファクト特徴を受信する手段と、
   前記受信したアーチファクトを使用して前記メディアデータについての品質スコアを決定する手段と、
   前記ユーザ端末デバイスに前記決定された品質スコアを送信する手段と、
   前記ユーザ端末デバイスから、前記品質スコアの再決定の要求および主観的な品質スコアを受信する手段と、
   を備え、
   前記品質スコアを決定する手段は、前記受信した主観的品質スコアをさらに使用して、前記メディアデータについての品質スコアを再決定するよう適合されている、サーバデバイス。
3. 前記品質スコアを決定する手段は、アーチファクト／品質スコアデータベースを使用してトレーニングされ、前記デバイスは品質スコアを決定する手段を再トレーニングするために、少なくとも受信したアーチファクトおよび受信した主観的スコアを使用するようにさらに適合される、請求項２に記載のデバイス。
4. 前記品質スコアを決定する手段を再トレーニングする前記アーチファクト／品質スコアデータベースを使用する、請求項３に記載のデバイス。
5. 前記請求項１に記載のユーザ端末デバイスと請求項２から４のいずれか１つに記載のサーバデバイスとを備えた、システム。
6. メディアデータの品質を評価する方法であって、
   前記メディアデータからアーチファクト特徴を抽出するため、およびサーバデバイスに前記抽出した特徴を通信するために前記ユーザ端末デバイスを使用するステップと、
   前記メディアデータについての品質スコアを決定するために前記サーバデバイスを使用するステップであって、前記メディアデータについての前記品質スコアは、前記受信したアーチファクトを使用して決定される、前記サーバデバイスを使用するステップと、
   前記決定された品質スコアを前記ユーザ端末デバイスに送信するためにサーバデバイスを使用するステップと、
   ユーザに前記受信した品質スコアを提示するため、および前記ユーザから、主観的品質スコアおよび前記品質スコアの再決定の要求を受信するために、前記ユーザ端末デバイスを使用するステップと、
   前記品質スコアを前記再決定する要求および前記主観的な品質スコアを前記サーバデバイスに通信する前記ユーザ端末デバイスを使用するステップと、
   前記メディアデータについての前記品質スコアを再決定するために前記サーバデバイスを使用するステップであって、前記メディアデータについての前記品質スコアは前記受信された主観的な品質スコアをさらに使用して再決定される、前記再決定するために前記サーバデバイスを使用するステップと、
   前記再決定された品質スコアを前記ユーザ端末デバイスに送信するために前記サーバデバイスを使用するステップと、
   を含む、前記方法。
7. 前記サーバデバイスは、アーチファクト／品質スコアデータベースを使用してトレーニングされ、前記方法はさらに、少なくとも受信されたアーチファクトおよび前記サーバデバイスを再トレーニングするために前記受信された主観的なスコアを使用するステップをさらに含む、請求項６に記載の方法。
8. 再トレーニングのために前記アーチファクト／品質スコアデータベースを使用するステップをさらに含む、請求項７に記載の方法。

Images