JP5467030B2

JP5467030B2 - 映像品質客観評価装置及びプログラム

Info

Publication number: JP5467030B2
Application number: JP2010265453A
Authority: JP
Inventors: 淳岡本
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-11-29
Filing date: 2010-11-29
Publication date: 2014-04-09
Anticipated expiration: 2030-11-29
Also published as: JP2012119772A

Description

本発明は、映像品質客観評価装置及びプログラムに係り、特に、IP(Internet Protocol)TVサービスや携帯電話を利用する映像配信サービスなどにおける映像品質を客観的に評価するための映像品質客観評価装置及びプログラムに関する。

通信回線の高速・広帯域化や放送波を受信する端末の多様化に伴い、様々な端末で映像サービスを享受できる環境が整いつつある。

映像サービスでは一般的に送信帯域が制限されていることから符号化が行われたり、伝送路の品質低下に伴いビット誤りやパケット損失が発生し、映像にブロック状の歪やボケ等の劣化が生じる。

そのため、良好な品質で映像サービスを提供していることを確認するためには、サービス提供前もしくは提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が良好であることを確認・監視することが重要である。

そこで、ユーザが体感する映像品質を適切に評価できる映像品質評価技術が必要である。

映像品質を評価する手法には、主観評価法（例えば、非特許文献１参照）と客観評価法（例えば非特許文献２参照）が存在する。主観評価法は評価環境（室内照度や室内騒音など）が再現可能な施設において多数のユーザに映像を評価してもらう必要がある。そのため、高コストになると共に評価に時間を要し、品質をリアルタイムに評価する用途には向かない。そこで映像信号から物理的な特徴量を導出して、映像品質評価値を出力する映像品質客観評価法の開発が望まれている。

従来の客観品質評価法には、基準映像と劣化映像を入力として両者の映像信号（画素情報）を比較して、映像品質に影響を与える特徴量から映像品質値を導出する評価技術がある（例えば、非特許文献２参照）。

ITU-T勧告P.910"Subjective video quality assessment methods for multimedia applications"． ITU-T勧告J.247"Objective perceptual multimedia video quality measurement in the presence of a full reference"

非特許文献２の技術は、基準映像と劣化映像の解像度やフォーマットが一致していることを前提としており、一致していない場合品質評価ができない。具体的には、携帯端末のワンセグサービスにおいて、以下のような理由で客観評価が困難である。

（１）携帯端末などでは映像の出力端子を具備していない場合が多く、出力信号はカメラでキャプチャした映像を利用せざるを得ない。このため、位置ずれやモアレの発生や台形歪や位置ずれ、端末の個体差による色やホワイトバランスの変化などが発生する。

（２）携帯端末などでは画面上に表示される映像はメーカーや機種毎に解像度やアスペクト比が様々であり、配信前の基準映像と異なる。また、フレームレートも配信元の映像と異なることがある。

本発明は、上記の点に鑑みなされたもので、カメラでキャプチャした映像を劣化映像として利用した場合であっても、映像品質推定を行うことが可能なフルレファレンス型の映像品質客観評価装置及びプログラムを提供することを目的とする。

上記の課題を解決するために、本発明は、IPTVサービスや携帯端末を利用する映像配信サービスにおける映像品質を客観的に評価するための映像品質客観評価装置であって、
前記携帯端末のモニタ表示された映像をキャップチャし、映像信号を出力する映像キャプチャ手段と、
基準映像を保持する基準映像記憶手段と、
前記映像キャプチャ手段から取得した前記映像信号と前記基準映像記憶手段の前記基準映像の画素を比較して整合し、該基準映像と該映像信号（劣化映像）が整合されたペアである整合映像信号を出力する整合手段と、
前記整合映像信号と、前記基準映像と前記劣化映像の単位時間あたりのフレームレート情報である付随情報に基づいて客観評価値を求める客観評価値推定手段と、を有する。

上記のように、本発明によれば、端末に表示された映像をカメラで撮影して得られた劣化映像の解像度、フォーマット形式、表示レート等が基準映像と異なる場合、従来、整合がとれないことにより品質評価が困難であった点を改善し、簡便かつ高精度に映像サービスにおける映像品質値を推定することができる。

従って、映像サービスの提供者は、本発明によりユーザが実際に視聴する映像サービスの映像品質を監視可能となるため、提供サービスがユーザに対してどの程度の品質で提供されているかを確認することができる。

これにより、映像サービスの提供者は、提供前及び提供中のサービスの品質実態を適切に把握・管理できる。

本発明の一実施の形態における映像品質客観評価装置の構成図である。本発明の一実施の形態におけるカメラキャプチャ部の構成図である。本発明の一実施の形態における端末固定方法を説明するための図である。本発明の一実施の形態における光遮断方法を説明するための図である。本発明の一実施の形態におけるモニタ貼り付けシートである。本発明の一実施の形態における映像整合部でのフローチャートである。本発明の一実施の形態における整合用の静止画像を表示したモニタ画面の例である。本発明の一実施の形態における画素分布説明図である。本発明の一実施の形態における基準映像と劣化映像の時間方向フレームの整合方法を示す図である。本発明の一実施の形態におけるレート対応表である。

以下、図面と共に、本発明の実施の形態を説明する。
図１は、本発明の一実施の形態における映像品質客観評価装置の構成を示す。

映像品質客観評価装置は、カメラキャプチャ部１００、映像整合部２００、映像品質推定部３００から構成される。

同図に示す映像品質客観評価装置は、カメラキャプチャ部１００でモニタに表示された映像をカメラでキャプチャし、キャプチャした映像信号１０を映像整合部２００において整合し、映像品質推定部３００において整合された映像信号２０とその付随情報（フレームレート）２５を利用して映像品質評価値３０を導出する。

図２は、本発明の一実施の形態におけるカメラキャプチャ部の構成を示す。

カメラキャプチャ部１００は、カメラ１と端末２を固定する部分がばらばらだと携帯端末を入れ替えた際に同じ設定で撮影することが困難であることから、カメラ１を固定する部分と端末２を固定する土台は一体となっている。カメラ１を固定する部分と端末２を固定する部分が一体となっていれば、その形状がフレームを組んだボックスとなっていても構わない。また、カメラ１と端末２の土台には予め穴が空いており同じ設定をし易くなっている。ここで、穴の代わりにレール（溝）と目盛をつけて安定に同じ箇所に設置できる構造としても構わない。これらにより、カメラ１と端末２を安定して撮影するためにかかる多大な時間と労力を減らすことができる。

端末２の固定方法としては、図３に示すように、携帯端末の１面（トップ）を固定ピン３に押し当て、端末２の両側を固定バー４で挟み込んで固定する。挟み込みの際、端末２が中央に来るように固定バー４の距離は両側ともいつも同じになることで安定に固定できる。これによりカメラ１を固定して、端末側を調整するだけで簡易に撮影できるようになる。

図４に示すように、カメラ部に光の入力を避け、モニタへの光の映り込みによる変化を避けるため、カメラキャプチャ部１００全体を遮光ボックス５で覆う。なお、端末が大きい等の理由によりカメラキャプチャ部１００を遮光できない場合は、図５に示すように携帯端末２のモニタ面に偏光フィルタ６を貼り付けてその影響を少なくさせるものとする。また、端末によっては、撮影時にモアレが出る場合も想定され、その場合には、モアレ除去フィルタを携帯のモニタ上に貼り付けその影響を少なくするものとする。

次に、映像整合部２００について説明する。

映像整合部２００では、カメラキャプチャ部１００で撮影された映像信号１０を、予め取得・入手していた基準映像信号と画素を比較して映像を整合する。予め取得・入手して記憶手段（図示せず）に格納されていた基準映像には、符号化処理前等のコンテンツプロバイダなどから提供された映像が相当するが、このシステムにおいてキャプチャした映像を利用することも考えられる。以下に具体的な動作を説明するが図６に映像整合部でのフローを記述したので参照されたい。

空間方向の整合に関しては、予め図７に示すような整合用の静止画像を携帯電話側に表示させ、こちらを使って整合させる。この整合には、マーキングポイントａ，ｂのようなマーキングポイントを基準映像と劣化映像で比較することで位置あるいはサイズの拡大縮小を行う（ステップ１０１，１０２）。拡大縮小には、画素平均、バイリニア、バイキュービック、Lanczosなどのアルゴリズムを利用することができる。なお、カメラ面と携帯面が必ずしもお互いに水平でなく画面が台形に変形している場合には拡大縮小をライン毎に変化させ台形補正を施す。ここで、整合される条件とは、基準映像と劣化映像の対応する画素値の差分の総和が最小になる時とする。この計算の代わりにPSNR値が最大となるものを利用しても良い。また、整合精度を高めるため、画素単位で整合を取ったのち、その画素の上下１画素の範囲において１／８画素のように１画素未満の拡大縮小を行うことでより高精度な整合条件を見つけることとする（ステップ１０３）。

次に、輝度あるいは色補正を行う（ステップ１０４）。上記で空間的な整合が取れた基準映像と劣化映像の輝度や色差信号の画素値を図８に示すようにプロットし、これがＹ＝Ｘとなるよう補正を行う。この補正は、１次式、指数、対数方程式や多次元の多項式を利用することが考えられ。誤差が最小となるものを利用するものとする。

以上のように空間的に整合処理を行ってから実際の評価映像を利用して評価を行うこととする。キャプチャした動画映像のフレーム全てに対して同様の整合を取らせることもできるが、ここでは、予め整合用の静止画像で空間的な整合条件を適用して次の時間方向の整合を行う。
時間方向の整合については、図９に示すように基準映像、劣化映像が時間方向で整合するように両者の対応するフレームの画素差分の総和が最小になるフレームを導出する（ステップ１０５）。この計算の代わりにPSNR値が最大となることにすることもできる。通常は基準映像の方がフレームレートが高いため、図９(a)のように劣化映像を参照元の映像フレームを探索すれば良い。しかし、端末側で倍速表示を行う場合等が存在するため、図９(b)のように劣化映像のフレームレートが高く、そもそも対応する基準映像が存在せず、処理することができなくなることがある。このため、以下のような処理を行い、この問題を解決する。

まず、基準映像と劣化映像をキャプチャした映像のフレーム間差分を利用して更新したフレームのみを取り出す。同時に付随情報25として両者の単位時間当たりのフレームレートを計算する。そして、フレームレートが低い側の映像を参照元として整合した映像のペアを導出する。つまり、
基準映像フレームレート≧劣化映像フレーム
である場合は（ステップ１０６、Yes）、劣化映像を参照元に整合し（ステップ１０７）、送でない場合は（ステップ１０６、No）、基準映像を参照元に整合する（ステップ１０８）。これにより、整合が取れない映像に対して整合する映像のペアを導出し後段で不適切な評価値が出ることを避けることができる。

客観評価値推定部３００では、基準映像と劣化映像の整合されたペアである整合映像信号２０と基準映像と劣化映像の単位時間当たりのフレームレート情報である付随情報２５を基に客観評価値を導出する。客観評価値Qは、整合された映像同士の画素のPSNR（信号対雑音比）値と基準映像と劣化映像の単位時間当たりのフレームレート情報を利用して以下のように導出される。以下の式（１）のA、Bは図１０の対応表に示す係数を予め主観評価実験を実施し導出しおいたものである。なお、対応表は客観評価値推定部３００内のメモリ等の記憶媒体に格納されているものとする。

但し、MAXは取りうる最大画素値であり、１輝度値を何bitで構成しているかによって変化する。なお、SN比の定義が異なるもの、例えば、複数フレームの和を先に差分値を取る場合などを適用してすることもできる。

但し、R(i，j，k)はｋフレーム目の基準映像の画素（i，j）を意味し、P（i，j，k）はkフレーム目の劣化映像の画素（i，j）を意味する。対象映像の解像度は水平方向X画素、垂直方向にY画素である。ここでは、輝度信号を想定しているが、色差信号やRGB信号を利用してもよい。

ここで、カメラキャプチャ部１００の解像度の違いにより基準映像と劣化映像の対応精度にばらつきによりモアレが生じて評点が悪くなっている可能性があるため、縦方向，横方向にmライン毎(但し、mは0からnまでとする)の画素値を入力して計算し、最も良い品質となる値（PNSRあるいは客観評価値の最大値）を客観評価値として導出するものとする。

また、式（１）では、PSNRをXとして映像品質を推定したが、従来技術であるJ.247技術など既存の客観評価技術をXとして導出して推定精度を向上させることも考えられる。

なお、映像整合部２００、映像品質推定部３００の動作をプログラムとして構築し、映像品質客観評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

携帯端末を利用した映像配信サービスやテレビ会議サービスにおいて、端末受信後の品質推定・確認を自動化できるようになる。これにより、実際の視聴する映像サービスの品質の監視可能となると共に、フェージングなどの実環境における映像品質調査等が行えるようになる。これにより、ユーザにとって携帯端末を使った映像サービスの品質向上が図られることにつながる。

１カメラ
２端末
３固定ピン
４固定バー
５ボックス
６シート
１０映像信号
２０整合映像信号
２５付随情報
３０映像品質評価値
１００カメラキャプチャ部
２００映像整合部
３００映像品質推定部

Claims

映像配信サービスにおける映像品質を客観的に評価するための映像品質客観評価装置であって、
携帯端末のモニタに表示された映像をキャップチャし、映像信号を出力する映像キャプチャ手段と、
基準映像を保持する基準映像記憶手段と、
前記映像キャプチャ手段から取得した前記映像信号と前記基準映像記憶手段の前記基準映像の画素を比較して整合し、該基準映像と該映像信号による劣化映像とが整合されたペアである整合映像信号を出力する整合手段と、
前記整合映像信号と、前記基準映像と前記劣化映像の単位時間あたりのフレームレート情報である付随情報に基づいて客観評価値を求める客観評価値推定手段と、
を有し、
前記整合手段は、前記基準映像と前記劣化映像のPSNR値が最大となるように前記基準映像と前記劣化映像とを空間方向に１画素および１画素未満の整合を行い、前記基準映像と前記劣化映像との対応するフレームのPSNR値が最大となるように前記基準映像と前記劣化映像を時間方向に整合することを特徴とする映像品質客観評価装置。
前記映像キャプチャ手段は、
前記携帯端末の位置ずれ防止のため、該携帯端末のカメラ面と端末固定面が一体の構造であり、かつ、該携帯端末のセンタが常に真ん中になるように該携帯端末を固定するための部材を含む
請求項１記載の映像品質客観評価装置。
前記映像キャプチャ手段は、
前記携帯端末の画面に映りこむ光の影響をなくすための遮光可能なボックスを用いる、
または、
前記携帯端末のモニタ面に偏光フィルムを貼付する
請求項１または２記載の映像品質客観評価装置。
前記整合手段は、
位置補正、サイズ補正、台形補正、色補正のうちの少なくとも１つまたは、それらの組み合わせにより前記基準映像と前記劣化映像の整合を行い、
両映像のPSNR値が最大となるフレームを導出する時間方向整合手段を含む
請求項１記載の映像品質客観評価装置。
前記整合手段は、
画素単位で前記基準映像と前記劣化映像の整合処理を行った後に、該画素の上下１画素未満の単位で整合処理を行う空間方向整合手段を含む
請求項４記載の映像品質客観評価装置。
前記映像キャプチャ手段は、
マーキングポイントを用いて前記携帯端末に表示された静止画像を前記劣化映像としてキャプチャする手段を含み、
前記整合手段は、
前記映像キャプチャ手段でキャプチャされたマーキングポイントを用いた前記劣化映像と、同様に該マーキングポイントを用いた前記基準映像とを比較して、位置の補正、あるいは、サイズの拡大縮小を行う手段を含む
請求項１または４記載の映像品質客観評価装置。
前記整合手段は、
前記基準映像と前記劣化映像の単位時間当たりのフレーム数が合わない場合に、単位時間当たりのフレーム数が少ない方を参照元映像として他方の映像の対応するフレームを探索する手段を含む
請求項１記載の映像品質客観評価装置。
前記客観評価値推定手段は、
縦横方向に全ラインを利用する評価値に加え、それぞれ数ライン飛ばした場合の評価値も導出し、それらの最も良い品質となる値を前記客観評価値とする手段を含む
請求項１記載の映像品質客観評価装置。
請求項１乃至８のいずれか１項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像客観評価プログラム。