JPWO2008047865A1 - 画質評価方法、画質評価システム及び画質評価用プログラム - Google Patents

Abstract

第１の画像との差から第２の画像の画質を評価する画質評価方法であって、一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出し、前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第２の画像全体における前記第１の画像との差を推定することを特徴とする。

Description

本発明は、画質を評価する画質評価方法、画質評価システム及びそれに用いる画像送出装置、画像受信装置並びに画質評価用プログラムに関し、特に、伝送された画像の画質を評価する画質評価方法、画質評価システム及びそれに用いる画像送出装置、画像受信装置並びに画質評価用プログラムに関する。

伝送された画像（以下、伝送画像という）の画質を客観的に評価する方法は大きく３種類に分類される。第１の評価方法は、原画像と伝送画像とを直接比較して画質を評価する方法である。第２の評価方法は、伝送画像のみから画質を評価する方法である。第３の評価方法は、原画像の特徴量を用いて画質を評価する方法である。

第１の評価方法は、非特許文献１に記載されているように、具体的な方法がＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）によって勧告化されている。第１の評価方法では、伝送画像の画質を評価しようとした場合、評価を行う受信端末側に原画像（伝送される前の画像）が必要となる。しかしながら、原画像をそのままの画質で受信端末側に伝送することは、伝送路の通信帯域の上限により不可能である。従って、受信端末側で第１の評価方法を用いて伝送画像の画質を評価することはできない。

これに対し、第２の評価方法は、受信端末側で単独で画質評価を行えるため理想的ではある。しかしながら、第２の評価方法を用いて伝送画像の画質を評価しようとした場合には、画像本来の特徴と画質劣化によって生じた特徴との切り分けが難しく実現が困難である。

最後に、第３の評価方法では、原画像の特徴量を受信端末側に伝送すれば、受信端末側で画像本来の特徴と画質劣化によって生じた特徴とを切り分けることができる。従って、適切な特徴量を伝送することができれば、伝送画像について高精度な画質評価が期待できる。

特許文献１には、原画像の特徴量を伝送することで、第３の評価方法を用いて画質を評価する伝送画質監視装置が記載されている。特許文献１に記載されている伝送画質監視装置では、入力画像を任意のサイズのブロックに分割し、ブロック内の映像を直交変換し、直交変換の任意の周波数成分値を取り出し特徴量として伝送することで、これら特徴量の差分から画質劣化を推定している。なお、特許文献１では、劣化による影響を各周波数成分に均等にばらつかせるために、＋１と−１とがランダムに発生する系列（ＰＮ系列）を乗算したのち直交変換する方法が開示されている。また、局所的に劣化した画像に対応するために、直交変換した後にＰＮ系列を乗算する方法も開示されている。

特開２００３−９１８６号公報 ITU-T Recommendation, "J.144 Objective perceptual video quality measurement techniques for digital cable television in the Presence of a full reference", ITU-T Recommendation, 2004

しかしながら、特許文献１に記載されている伝送画質監視装置では、抽出した周波数成分１つごとにその周波数成分情報を符号化して伝送するため、限られた伝送路帯域の場合には、画像１フレームあたりに抽出できる特徴量（周波数成分の数）が少なくなり、画質劣化の推定精度が低下するという問題がある。

そこで、本発明は、少ない情報量の原画像の特徴量で、高精度に伝送画像の画質劣化を推定することのできる画質評価方法、画質評価システム及びそれに用いる画像送出装置、画像受信装置並びに画質評価用プログラムを提供することを目的とする。

本発明による画質評価方法は、第１の画像との差から第２の画像の画質を評価する画質評価方法であって、一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出し、前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第２の画像全体における前記第１の画像との差を推定することを特徴とする。

また、画質評価方法は、第１の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第２の画像である復号画像の画質を評価する画質評価方法であって、前記原画像の画像フレームから、代表画素成分値と画素位置情報とを前記原画像の特徴量として抽出し、前記抽出された原画像の特徴量を符号化し、前記符号化された原画像の特徴量を、前記符号化画像の送信先に送信し、前記符号化された原画像の特徴量を受信すると、受信した前記符号化された原画像の特徴量を復号し、復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報と、前記復号画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定してもよい。

また、画質評価方法は、第１の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第２の画像である復号画像の画質を評価する画質評価方法であって、前記復号画像の画像フレームから、代表画素成分値と画素位置情報とを前記復号画像の特徴量として抽出し、前記抽出された復号画像の特徴量を符号化し、前記符号化された復号画像の特徴量を、前記符号化画像の送信元に送信し、前記符号化された復号画像の特徴量を受信すると、受信した前記符号化された復号画像の特徴量を復号し、復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報と、前記原画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定してもよい。

また、画素位置情報を、各画素に対して、代表画素成分値であるか否かを０か１で示した二値情報で表現してもよい。

また、対象とする画像フレームを複数の小領域に分割し、画素位置情報を、各小領域内に代表画素成分値が出現するか否かを０か１で示した二値情報と、代表画素成分値が出現した小領域に対して、該小領域内の各画素に対して代表画素成分値であるか否かを０か１で示した二値情報とで表現してもよい。

また、二値情報で表現された画素位置情報を可逆符号化してもよい。

また、可逆符号化の方法が、算術符号化であってもよい。

また、可逆符号化の方法が、二値画像符号化方法であるＪＢＩＧ符号化であってもよい。

また、対象とする画像フレーム内において、偏らずに均等な位置に出現する画素成分値を選択することによって、代表画素成分値を抽出してもよい。

また、対象とする画像フレームを複数の小領域に分割し、各小領域における画素成分値の標準偏差を求め、前記標準偏差の中央値に近い値の標準偏差をもつ小領域内から順に選択し、選択した小領域内において画素成分値の出現確率が該画素成分値の取りうる値の幅分の１に最も近い画素成分値を選択することによって、代表画素成分値を抽出してもよい。

また、代表画素成分値を抽出する際に、画素成分値の下限値と上限値とを定めておき、下限値よりも小さい画素成分値および上限値より大きい画素成分値を代表画素成分値の候補から除外してもよい。

また、代表画素成分値が出現する画素位置を抽出する画素数、または代表画素成分値が出現する画素位置を抽出する領域を制限してもよい。

また、代表画素成分値を、対象とする画像フレームを複数の領域に分割した分割領域毎に抽出してもよい。

また、画素成分値として、輝度値を用いてもよい。

また、本発明による画質評価システムは、第１の画像との差から第２の画像の画質を評価する画質評価システムであって、一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、第２の画像全体における第１の画像との差を推定する誤差推定手段とを備えたことを特徴とする。

また、画質評価システムは、第１の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第２の画像である復号画像の画質を評価する画質評価システムであって、入力された原画像を符号化して送信する画像送出装置（例えば、画像送出装置１）と、前記画像送出装置から符号化画像を受信する画像受信装置（例えば、エンドユーザ端末３）とを備え、画像送出装置は、前記原画像の画像フレームから、代表画素成分値と画素位置情報とを前記原画像の特徴量として抽出する特徴量抽出手段（例えば、特徴量抽出装置１１）と、前記特徴量抽出手段によって抽出された原画像の特徴量を符号化する特徴量符号化手段（例えば、特徴量符号化装置１０４）と、前記特徴量符号化手段によって符号化された原画像の特徴量を、前記画像受信装置に送信する特徴量送信手段（例えば、画像送出装置１が備える通信制御装置）とを有し、画像受信装置は、前記符号化された原画像の特徴量を受信する特徴量受信手段（例えば、エンドユーザ端末３が備える通信制御装置）と、前記特徴量受信手段が受信した前記符号化された原画像の特徴量を復号する特徴量復号手段（例えば、特徴量復号化装置３０２）と、復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報と、前記復号画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段（例えば、誤差推定装置３０３）とを有していてもよい。

また、画質評価システムは、第１の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第２の画像である復号画像の画質を評価する画質評価システムであって、入力された原画像を符号化して送信する画像送出装置と、前記画像送出装置から符号化画像を受信する画像受信装置とを備え、画像受信装置は、前記復号画像の画像フレームから、代表画素成分値と画素位置情報とを前記復号画像の特徴量として抽出する特徴量抽出手段（例えば、エンドユーザ端末３が備える特徴量抽出装置１１）と、前記特徴量抽出手段によって抽出された復号画像の特徴量を符号化する特徴量符号化手段（例えば、エンドユーザ端末３が備える特徴量符号化装置１０４）と、前記特徴量符号化手段によって符号化された復号画像の特徴量を、前記画像送出装置に送信する特徴量送信手段（例えば、エンドユーザ端末３が備える通信制御装置）とを有し、画像送出装置は、前記符号化された復号画像の特徴量を受信する特徴量受信装置（例えば、画像送出装置１が備える通信制御装置）と、前記特徴量受信手段が受信した前記符号化された復号画像の特徴量を復号する特徴量復号手段（例えば、画像送出装置１が備える特徴量復号化装置３０２）と、復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報と、前記原画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段（例えば、画像送出装置１が備える誤差推定装置３０３）とを有していてもよい。

また、本発明による画像送出装置は、原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像送出装置であって、入力された原画像を符号化して送信する符号化画像送信手段と、入力された前記原画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを前記原画像の特徴量として抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された原画像の特徴量を符号化する特徴量符号化手段と、前記特徴量符号化手段によって符号化された原画像の特徴量を、前記符号化画像の送信先である画像受信装置に送信する特徴量送信手段とを備えたことを特徴とする。

また、画像送出装置は、入力された原画像を符号化して送信する符号化画像送信手段と、前記復号画像の特徴量として、前記復号画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを符号化した情報を受信する特徴量受信手段と、特徴量受信手段が受信した前記符号化された復号画像の特徴量を復号する特徴量復号手段と、復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報とを用い、前記原画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段とを備えていてもよい。

また、本発明による画像受信装置は、原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像受信装置であって、原画像を符号化した符号化画像を受信する符号化画像受信手段と、前記原画像の特徴量として、前記原画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを符号化した情報を受信する特徴量受信手段と、特徴量受信手段が受信した前記符号化された原画像の特徴量を復号する特徴量復号手段と、復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報とを用い、前記符号化画像を復号して得られた復号画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段とを備えたことを特徴とする。

また、画像受信装置は、原画像を符号化した符号化画像を受信する符号化画像受信手段と、前記符号化画像を受信すると、前記符号化画像を復号して得られた復号画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを前記復号画像の特徴量として抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された復号画像の特徴量を符号化する特徴量符号化手段と、前記特徴量符号化手段によって符号化された復号画像の特徴量を、前記符号化画像の送信元である画像送出装置に送信する特徴量送信手段とを備えていてもよい。

また、本発明による画質評価用プログラムは、第１の画像との差から第２の画像の画質を評価するための画質評価用プログラムであって、少なくとも一方の画像の画像情報が入力されるコンピュータに、入力された画像情報で示される画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを該画像の特徴量として抽出する処理、および前記抽出された特徴量を符号化して出力する処理を実行させることを特徴とする。

また、画質評価用プログラムは、少なくとも一方の画像の画像情報と、他方の画像の特徴量として、該画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とが符号化された情報とが入力されるコンピュータに、特徴量として入力された符号化された情報を復号して代表画素成分値と画素位置情報とに復元する処理、および復元された前記代表画素成分値と前記画素位置情報とを用い、入力された画像情報で示される画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第２の画像全体における前記第１の画像との差を推定する処理を実行させてもよい。

本発明によれば、一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出し、他方の画像の画像フレーム内の、抽出された画素位置情報で示される画素位置における画素成分値と、代表画素成分値との差に基づいて、画像全体における差を推定するので、少ない情報量の原画像の特徴量で多くの画素についての情報を伝えることができ、高精度に伝送画像の画質を評価することができる。

第１の実施の形態における画質評価システムの構成例を示すブロック図である。 画像送出装置１の動作の一例を示すフローチャートである。 エンドユーザ端末３の動作の一例を示すフローチャートである。 ６×１２画素の画像フレームにおける各画素の輝度値の一例を示す説明図である。 代表輝度値が「３２」である場合の代表輝度値位置を二値情報化した例を示す説明図である。 有効ブロック内代表輝度値位置を用いて７２０×４８０画素の画像フレームの特徴量を圧縮符号化した例を示す説明図である。 画像フレームを４分割した場合の代表輝度値の抽出例を示す説明図である。 第３の実施の形態における画像送出システムの構成例を示すブロック図である。 第３の実施の形態におけるエンドユーザ端末システムの構成例を示すブロック図である。

符号の説明

１ 画像送出装置
１０１ 画像符号化装置
１０２ 代表輝度値決定装置
１０３ 代表輝度値位置抽出装置
１０４ 特徴量符号化装置
２ 伝送路
３ エンドユーザ端末
３０１ 画像復号化装置
３０２ 特徴量復号化装置
３０３ 誤差推定装置

以下、本発明による実施の形態について図面を参照して説明する。

実施の形態１．
図１は、第１の実施の形態における画質評価システムの構成例を示すブロック図である。図１に示すように、画質評価システムは、画像と合わせてその画像の原画像における特徴量を送信する画像送出装置１と、画像を受信した際に画像と合わせて受信した原画像の特徴量から、原画像からの画質劣化を推定するエンドユーザ端末３とを備える。また、画像送出装置１とエンドユーザ端末３とが伝送路２によって通信可能に接続されている。

画像送出装置１は、画像符号化装置１０１と、特徴量抽出装置１１と、特徴量符号化装置１０４とを備える。また、特徴量抽出装置１１は、代表輝度値決定装置１０２と代表輝度値位置抽出装置１０３とを含む。画像送出装置１は、例えば、動画や静止画を配信するサーバ装置である。なお、図示していないが、画像送出装置１は、伝送路２を介して各種情報を送受信するための通信制御装置を備えているものとする。

また、エンドユーザ端末３は、画像復号化装置３０１と、特徴量復号化装置３０２と、誤差推定装置３０３とを備える。エンドユーザ端末３は、例えば、ネットワーク通信機能を有する携帯端末機やパーソナルコンピュータである。なお、図示していないが、エンドユーザ端末３は、伝送路２を介して各種情報を送受信するための通信制御装置を備えているものとする。

画像符号化装置１０１は、入力された画像（原画像）を符号化する。なお、ここでいう画像には、静止画だけでなく動画も含んでいる。代表輝度値決定装置１０２は、入力された画像の各フレーム（画像フレーム）において、代表となる輝度値（以下、代表輝度値という。）を決定する。なお、静止画の場合には、画像フレームは１フレームのみとなる。代表輝度値位置抽出装置１０３は、代表輝度値決定装置１０２が決定した代表輝度値に基づいて、そのフレーム内において代表輝度値が出現する画素位置を抽出する。従って、特徴量抽出装置１１では、各画像フレームにおいて、代表輝度値とその代表輝度値が出現する画素位置を特徴量として抽出する。特徴量符号化装置１０４は、特徴量抽出装置１１が抽出した特徴量を符号化する。

画像符号化装置１０１，代表輝度値決定装置１０２，代表輝度値位置抽出装置１０３，特徴量符号化装置１０４は、具体的には、画像送出装置１が備えるＣＰＵ等、プログラムに従って動作する情報処理装置によって実現される。なお、画像符号化装置１０１は、エンコーダ装置等のハードウェア装置によって実現してもよい。

画像復号化装置３０１は、受信した画像（原画像を符号化した符号化画像）を復号する。特徴量復号化装置３０２は、受信した特徴量（原画像の特徴量を符号化した符号化特徴量）を復号する。誤差推定装置３０３は、復号した画像（伝送画像）およびその伝送画像の原画像における特徴量から原画像との誤差（画質劣化）を推定する。

画像復号化装置３０１，特徴量復号化装置３０２，誤差推定装置３０３は、具体的には、エンドユーザ端末３が備えるＣＰＵ等、プログラムに従って動作する情報処理装置によって実現される。なお、画像復号化装置３０１は、デコーダ装置等のハードウェア装置によって実現してもよい。

次に、図２および図３を参照して本実施の形態における画質評価システムの動作について説明する。ここでは、画像送出装置１が、エンドユーザ端末３からの要求に従って、要求された画像をエンドユーザ端末３に伝送路２を介して伝送する場合を例にして説明する。図２は、画像送出装置１の動作の一例を示すフローチャートである。図３は、エンドユーザ端末３の動作の一例を示すフローチャートである。なお、エンドユーザ端末３に伝送する画像（原画像）は、必要に応じて画像送出装置１に入力するようにしてもよいし、予め画像送出装置１が備える記憶装置に記憶しておいてもよい。

まず、画像送出装置１の動作について説明する。図２に示すように、原画像が入力されると、画像符号化装置１０１は、入力された原画像を符号化する（ステップＳ１０１）。画像符号化装置１０１は、例えば、画像を表現するための画像情報を、予め決められた符号化方式に従い、所定の変換式で変換したり、所定の演算式で計算することによって、伝送可能に圧縮された画像情報を生成する。より具体的には、フレームの分離や差分データの取得、量子化、多重化等の処理を行う場合もある。なお、予め決められる符号化方式の例として、例えば、ＭＰＥＧ−２やＨ．２６４（ＭＰＥＧ−４ ＡＶＣ）等がある。そして、画像送出装置１は、画像符号化装置１０１によって符号化された原画像を伝送路２を介してエンドユーザ端末３に伝送する（ステップＳ１０２）。すなわち、画像送出装置１（より具体的には、画像送出装置１が備える通信制御装置（図示せず。））は、画像符号化装置１０１による原画像の符号化によって得た画像情報をエンドユーザ端末３に伝送する。

画像送出装置１では、この画像伝送処理と並行して、伝送される画像（符号化画像）の原画像における特徴量も伝送する。画像符号化装置１０１に入力された原画像は、特徴量抽出装置１１にも入力される。特徴量抽出装置１１の代表輝度値決定装置１０２は、入力された原画像の各フレームにおいて、代表する輝度値を決定（抽出）する（ステップＳ１０３）。具体的には、代表輝度値決定装置１０２は、各フレームにおいて、所定の条件に従って、そのフレーム内にまばらに（偏らずに均等な位置に散らばって）出現する輝度値を代表輝度値として選択する。

例えば、代表輝度値決定装置１０２は、次のように代表輝度値を決定すればよい。まず、１フレームを例えば１６×１６画素の小ブロックに分割する。そして、分割した各ブロックに含まれる画素の輝度値について、標準偏差を算出する。そして、フレーム内における各ブロックにおける輝度値標準偏差のメジアンを求めて、このメジアンに近い標準偏差をもつブロックのみを用いて代表輝度値を決定してもよい。なお、分割するブロックの画素数は上記例の１６×１６画素以外であってもよい。代表輝度値は、その輝度が偏らずにフレーム全体に均等に出現していることが求められる。具体的には、全ブロックの中から輝度標準偏差のメジアンから近い順に抽出（選択）した半数のブロックにおいて、出現確率が１／２５６（輝度値の階調数が２５６である場合）に最も近い輝度値を選択すればよい。

輝度標準偏差が小さいブロックでは画質劣化が目に付きやすいため、符号化時に細かく量子化されることが一般的である。また、輝度標準偏差が大きいブロックでは画質劣化が目に付きにくいため、符号化時に粗く量子化されることが一般的である。これらのブロック内に生じる画質劣化の度合いは、画像全体の平均画質劣化の度合いとかけ離れている傾向になることが考えられるので、これらのブロックを除外できることが好ましい。従って、上記の例では、標準偏差のメジアンから遠い標準偏差のブロックを用いずに標準偏差のメジアンに近い標準偏差を持つブロックから代表輝度値を選択するようにしている。なお、選択に用いるブロックの数を必ずしも半数にする必要はなく、画質劣化の度合いがかけ離れる可能性のあるブロックを除外できればよい。またブロック数で判断せずに、輝度標準偏差の値で判断してもよい。

また、輝度値標準偏差のメジアンを中心にブロックを抽出することは、標準偏差を基準に各ブロックをソートする過程を含むので、結果として場所的に散らばったブロックを抽出することにもなる。従って、このように抽出されたブロックから出現確率を元に代表輝度値を選べば、結果として、フレーム全体に偏らずに均等に出現している輝度値を代表輝度値として選択することができる。

また、全階調の輝度値のうち、低輝度値および高輝度値は、黒つぶれや白とびなど輝度値が飽和している部分で発生しやすい。このような輝度値は、その周囲も同様の輝度値になりやすく、その輝度値が偏って出現しがちになる。偏って出現した輝度値を代表輝度値にすると劣化推定の精度が低下するため、このような輝度値を代表輝度値にしないようにすることが好ましい。具体的には、閾値を２つ用意して、最小輝度値を規定する第１の閾値よりも小さい輝度値、および最大輝度値を規定する第２の閾値よりも大きい輝度値を代表輝度値の候補から除外すればよい。例えば、上記方法において、輝度値の出現確率を元に代表輝度値を選ぶ際に、第１の閾値よりも小さい輝度値、および第２の閾値よりも大きい輝度値については、出現確率に関わらず代表輝度値として選択されないようにすればよい。これにより、２５６階調のうち、例えば、輝度値３２〜２２０のみを代表輝度値の候補とすることができる。

また、システムの構成（または稼働させるアプリケーション）によっては、伝送する特徴量の伝送レートに制限がある場合がある。このような場合には、特徴量の情報量を小さくするために、代表輝度値を抽出するブロック数もしくは代表輝度値の出現率に制限を加えてもよい。例えば、全ブロックのうち、上記輝度標準偏差のメジアンを中心とした１２分の１のブロックからのみ代表輝度値を抽出する、または代表輝度値の出現数が５００を超えないようにするなどの制限を加えればよい。

代表輝度値が決定すると、次に、代表輝度値位置抽出装置１０３が、そのフレームにおいて代表輝度値が出現した画素位置（以下、代表輝度値位置という）を抽出する（ステップＳ１０４）。具体的には、代表輝度値位置抽出装置１０３は、画像フレーム内の画素を順番に走査し、各画素の輝度値が代表輝度値であるか否かを判断し、そのフレーム内で代表輝度値が出現する画素位置を集計することによって、代表輝度値位置を抽出する。代表輝度値位置抽出装置１０３は、例えば、代表輝度値位置を示す情報として、フレーム内の各画素と、その画素が代表輝度値であるか否かを示す情報とを対応づけた情報を生成することによって、代表輝度値位置を抽出してもよい。また、例えば、予め各画素に識別子を割り当てておき、代表輝度値である画素の識別子を集合させた情報を生成することによっても、代表輝度値位置を抽出することも可能である。

図４および図５は、代表輝度値位置の抽出例を示す説明図である。図４は、水平１２×垂直６画素の画像フレームにおける各画素の輝度値の一例を示している。また、図５は、図４に示す画像フレームにおいて、代表輝度値が「３２」である場合の代表輝度値位置を二値情報化した例を示している。図５に示す例では、図４に示す画像フレーム内の各画素について、その画素が代表輝度値であれば１、そうでなければ０に二値情報化している。図５では、例えば、（ｘ，ｙ）＝（０，０）に位置する画素の輝度値が代表輝度値でないことや、（ｘ，ｙ）＝（０，１）に位置する画素の輝度値が代表輝度値であることが示されている。ここでは、画像フレームの水平方向をｘ、垂直方向をｙとし、左下の画素を（ｘ，ｙ）＝（０，０）として表現している。

次に、代表輝度値決定装置１０２および代表輝度値位置抽出装置１０３によって特徴量が抽出されると、特徴量符号化装置１０４は、抽出された特徴量（具体的には、代表輝度値と代表輝度値位置）を圧縮符号化する（ステップＳ１０５）。ここで、代表輝度値位置の符号化としては、非可逆な圧縮率の高い符号化方法を用いてもよいし、可逆符号化方法を用いてもよい。可逆符号化方法の例としては、算術符号化や二値画像符号化の国際標準であるＪＢＩＧ符号化がある。なお、代表輝度値は、可逆圧縮による符号化方式を用いて符号化してもよいが、代表輝度値を示す情報はそのままでも情報量が多くないので、データ圧縮せずにそのまま伝送することも可能である。

特徴量符号化装置１０４は、代表輝度値位置の可逆圧縮による符号化において、次のように符号化することでさらなる情報量の削減を行ってもよい。まず、特徴量符号化装置１０４は、フレーム内の全ブロックのうち、代表輝度値が存在するブロック（有効ブロック）の情報を集計する。ブロック内に代表輝度値が存在すれば１、そうでなければ０としてブロックの位置情報を二値情報化する。例えば、７２０×４８０画素のＳＤＴＶの画像情報を１６×１６画素のブロックに分割した場合、分割ブロック数は１３５０である。この場合における有効ブロックの位置情報は、二値情報化すると、１３５０ｂｉｔの情報量で表現できる。

その後、有効ブロックについて、ブロック内に出現する代表輝度値の画素位置（以下、ブロック内代表輝度値位置という。）を圧縮符号化する。上記例では、１ブロックにつき２５６ｂｉｔの情報量に符号化できることになる。また、ブロック内代表輝度値位置を示す情報は、代表輝度値が存在するブロック（有効ブロック）の数だけあればよい。従って、１フレームにおける代表輝度値位置を示す情報として、例えば、どのような順番でブロックを並べるかを予め決めておいた上で、有効ブロックの位置情報と、それに続く、有効ブロック数分のブロック内代表輝度値位置を示す情報とに圧縮符号化することによって、特徴量の情報量を更に少なくすることができる。

図６は、有効ブロック内代表輝度値位置を用いて７２０×４８０画素の画像フレームの特徴量を圧縮符号化した例を示している。図６上段に示すように、特徴量のうち代表輝度値位置を示す情報は、有効ブロックの位置を示す二値情報（１３５０ｂｉｔ）と、それに続く、有効ブロック数分のブロック内代表輝度値位置を示す二値可逆符号化した情報（有効ブロック数×２５６ｂｉｔ）とで表現できる。この場合における特徴量の全情報量は、図６下段に示すように、代表輝度値の情報量（８ｂｉｔ）＋圧縮符号化した代表輝度値位置情報の符号量（１３５０＋（有効ブロック数×２５６）ｂｉｔ）となる。なお、ブロックサイズや有効ブロックの情報など、代表輝度値位置情報の圧縮符号化に必要な情報は、代表輝度値決定装置１０２や代表輝度値位置抽出装置１０３が特徴量を抽出する過程で集計し、特徴量符号化装置１０４に入力することも可能である。また、代表輝度値位置抽出装置１０３が、特徴量符号化装置１０４を兼ね、代表輝度値の画素位置を抽出するとともに、圧縮符号化するように動作してもよい。

そして、画像送出装置１は、圧縮符号化された特徴量を、伝送路２を介してエンドユーザ端末３に伝送する（ステップＳ１０６）。特徴量の伝送は、例えば、１フレーム分の画像データが伝送される毎にそのフレームの特徴量が伝送されるようにするなど、画像データと同期して伝送されることが好ましい。なお、必ずしもフレーム単位で同期させる必要はなく、画像データを送信する前や後に、その画像の全フレーム分の特徴量を送信するようにしてもよい。また、一定時間分のフレーム（例えば、１秒分のフレームとして３０フレーム）の特徴量をまとめて、一定時間（１秒）ごとに送信するようにしてもよい。なお、特徴量を伝送する際には、どの画像のどのフレームの特徴量かを示す識別情報を合わせて送信してもよい。

例えば、画像送出装置１は、画像符号化装置１０１から所定のフレーム数分の画像情報が入力されると、入力された画像情報に、特徴量符号化装置１０４から入力された特徴量のうち、対応するフレームの特徴量を付加して送信するようにしてもよい。また、例えば、画像送出装置１は、先に全フレーム数分の特徴量を抽出、符号化させ、画像符号化装置１０１からの符号化完了の通知を受けたら、まず全フレーム数分の特徴量を送信し、続いて全フレーム数分の画像情報を送信するようにしてもよい。

次に、エンドユーザ端末３の動作について説明する。エンドユーザ端末３は、画像送出装置１から伝送された画像情報（符号化された画像情報）とその原画像における特徴量（符号化特徴量）とを受信する。図３に示すように、エンドユーザ端末３の画像復号化装置３０１は、符号化された画像情報を受信すると、受信した画像情報を復号する（ステップＳ３０１）。画像復号化装置３０１は、具体的には、符号化された画像情報を、符号化に用いられた符号化方式に対応した復号化方式（例えば、ＭＰＥＧ−２に対応した復号化方式，Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ）に対応した復号化方式）に従い、所定の変換式で変換したり、所定の演算式で計算することによって、符号化される前の画像情報に復元する。すなわち、符号化前に表現されていた原画像と同じ画像を表現するための画像情報を生成する。なお、多くの符号化方式では、符号化によって圧縮された情報が完全には復元できず、画質が劣化した劣化画像に復号される。

エンドユーザ端末３では、この画像情報の復号処理と並行して、特徴量の復号処理も行う。エンドユーザ端末３の特徴量復号化装置３０２は、符号化された特徴量を受信すると、受信した特徴量を復号する（ステップＳ３０２）。特徴量復号化装置３０２は、例えば、特徴量符号化装置１０４が行った符号化方式に対応する復号化方式に従い、所定の返還式で変換したり、所定の演算式で計算することによって、符号化される前の特徴量（代表輝度値と代表輝度値位置を示す情報と）に復元する。すなわち、符号化される前に示されていた特徴量と同じ特徴量を示す情報を生成する。なお、特徴量符号化装置１０４が可逆符号化方式（例えば、ＪＢＩＧ符号化方式）を用いた場合には、適応算術復号等の演算を行うことによって、符号化前と完全に一致する情報に復元することができる。

受信した画像フレームと、そのフレームの原画像における特徴量とが復元されると、誤差推定装置３０３は、復元された情報から、そのフレームにおける伝送画像の画質劣化を推定する（ステップＳ３０３）。誤差推定装置３０３は、例えば、原画像の代表輝度値位置における伝送画像の代表輝度値との差分を集計して、原画像と伝送画像の誤差（すなわち、画質劣化）を推定する。誤差推定は、例えば、二乗誤差やＳ／Ｎ比などにより求めることが可能である。

例えば、原画像における代表輝度値をＹ、代表輝度値の１フレーム内の画素数をＮ、原画像の代表輝度値位置における伝送画像の輝度値をＹｉとすると、そのフレームにおける推定二乗誤差Ｅは次に示す式（１）によって求めることができる。

そして、推定Ｓ／Ｎは、次に示す式（２）として計算できる。なお、式（２）において定数である「２５５」は、８ｂｉｔサンプリングされたディジタル画像における画素階調幅（すなわち、輝度値の階調数−１）を示している。

このように、推定された原画像と伝送画像との誤差を画像全体の差とみなすことによって、画質劣化の度合いとし、伝送画像の画質を評価する。例えば、推定された誤差の大きさをもとに、５段階の画質評価値を決定するなどして、画質の善し悪しを判定すればよい。なお、複数フレームからなる動画において、全てのフレームの評価を総合して動画全体の画質評価値とすることも可能である。また、例えば、各フレームを個別に評価して評価の悪かったフレームの再送（または別伝送路による再送、別方式による符号化後の再送）を依頼するような使い方をしてもよい。また、例えば、最初のフレームの画質を評価して、以降のフレームを受信するか否かを判定するような使い方をしてもよい。

以上のように、本実施の形態によれば、フレーム内（またはブロック内）にまばらに出現する輝度値を代表輝度値として抽出し、抽出した代表輝度値と、代表輝度値のフレーム内画素位置を示す代表輝度値位置情報とを特徴量として抽出することによって、例えば各周波数成分を個別に伝送する場合と比べて、同一情報量で、より多くの原画像の画素についての情報を伝送することができる。従って、少ない情報量の原画像の特徴量で、高精度に伝送画像の画質劣化を推定することができる。

また、本実施の形態によれば、代表輝度値位置情報を二値可逆圧縮することによって、さらに少ない情報量で、高精度に伝送画像の画質劣化を推定することができる。

また、本実施の形態では、伝送する度に特徴量を抽出する例を説明したが、特徴量抽出装置１１に予め配信予定の動画像の各フレームにおける特徴量を抽出させておくことも可能である。そのような場合には、画像送出装置１は、動画と予め抽出させておいたその動画の特徴量とを対応づけて記憶しておき、エンドユーザ端末３からの要求に応じて記憶しておいた動画とその特徴量とを伝送すればよい。

また、本実施の形態では、画像送出装置１が原画像の特徴量を抽出して伝送し、エンドユーザ端末３が伝送画像との差を集計して伝送画像の画質劣化を推定する場合を例に説明したが、これとは逆に、送信側で伝送画像の画質を評価することも可能である。このような場合には、エンドユーザ端末３が代表輝度値決定装置１０２と代表輝度値位置抽出装置１０３と特徴量符号化装置１０４とを備え、伝送画像から特徴量を抽出して伝送すればよい。そして、画像送出装置１が特徴量復号化装置３０２と誤差推定装置３０３とを備え、原画像との差を集計して伝送画像の画質劣化を推定すればよい。なお、この場合、エンドユーザ端末３が備える代表輝度値決定装置１０２による代表輝度値決定動作や、代表輝度値位置抽出装置１０３による代表輝度値位置抽出動作、特徴量符号化装置１０４による特徴量符号化動作は、既に説明した動作と同様である。また、画像送出装置１が備える特徴量復号化装置３０２による特徴量復号動作や、誤差推定装置３０３による劣化推定動作も、既に説明した動作と同様である。また、特徴量の伝送は、エンドユーザ端末３が備える通信制御装置（図示せず。）によって行われることとなる。なお、画像送出装置１とエンドユーザ端末３がそれぞれに伝送画質の画質劣化を推定してもよい。

また、本実施の形態では、輝度値を対象に誤差を推定しているが、輝度値に限定されず、例えば色差成分値やＲＧＢ値等の画素成分を対象にすることも可能である。そのような場合には、輝度値と同じように、代表となる画素成分値を抽出し、抽出した画素成分値とその画素位置とからなる特徴量を伝送し、伝送画像の画素成分値との差を集計すればよい。

実施の形態２．
次に、本発明の第２の実施の形態について説明する。本実施の形態では、代表輝度値決定装置１０２において、画像フレームを複数の領域に分割し、分割した各領域で代表輝度値を抽出する。図７は、画像フレームを４分割した場合の代表輝度値の抽出例を示す説明図である。図７に示すように、代表輝度値決定装置１０２は、例えば、左上の領域からは輝度値「３２」を第１の代表輝度値として決定する。また、右上の領域からは輝度値「２０」を第２の代表輝度値として決定する。また、左下の領域からは輝度値「６４」を第３の代表輝度値として決定する。また、右下の領域からは輝度値「４８」を第４の代表輝度値として決定する。なお、各領域における代表輝度値の決定方法は、第１の実施の形態と同様である。

次に、代表輝度値位置抽出装置１０３は、代表輝度値決定装置１０２によって決定された各領域における代表輝度値（第１〜第４の代表輝度値）がそれぞれの領域内において出現する画素位置を、代表輝度値位置として抽出する。なお、代表輝度位置の抽出方法は、第１の実施の形態と同様である。すなわち、本実施の形態では、フレームを複数に分割した際の各領域における代表輝度値と、それぞれの領域内における代表輝度値位置とからなる情報を特徴量として抽出している。

次に、特徴量符号化装置１０４は、各領域における代表輝度値と、それぞれの領域内における代表輝度値位置とからなる特徴量を、圧縮符号化する。圧縮符号化の方法としては、第１の実施の形態と同様である。例えば、特徴量の全情報量は、各領域における代表輝度値の情報量（８ｂｉｔ×フレーム分割数）＋二値可逆符号化した代表輝度値位置の符号量となる。

以上のように、本実施の形態では、１フレーム全体として見た場合に適切な代表輝度値を抽出できないような場合であっても、特徴量の情報量として、フレーム分割数分の代表輝度値を付加するだけの増加量のみで、高い精度の画質評価が維持できる。

実施の形態３．
次に、本発明の第３の実施の形態について説明する。本実施の形態では、上述した第１の実施の形態における各装置を、コンピュータシステムにより実行する。図８は、本実施の形態における画像送出システムの構成例を示すブロック図である。実施の形態における画像送出システムは、第１の実施の形態における画像送出装置１に相当する。また、図９は、本実施の形態におけるエンドユーザ端末システムの構成例を示すブロック図である。本実施の形態におけるエンドユーザ端末システムは、第１の実施の形態におけるエンドユーザ端末３に相当する。

図８に示す画像送出装置システムには、プログラム制御プロセッサ６０１が装備されている。そして、プログラム制御プロセッサ６０１には、入力データバッファ６１１と出力データバッファ６１２の他に、画像を送出する側において第１の実施の形態による画質評価に必要な処理を実行するためのプログラムを格納したプログラムメモリ６０２が接続されている。

入力データバッファ６１１は、プログラム制御プロセッサ６０１に入力する各種データを記憶するためのバッファである。出力データバッファ６１２は、プログラム制御プロセッサ６０１が出力する各種データを記憶し、また必要に応じてプログラム制御プロセッサ６０１に入力するためのバッファである。

プログラムメモリ６０２に格納されるプログラムモジュールは、メインプログラム６０３の他に、画像符号化処理モジュール６１３と、代表輝度値決定処理モジュール６１４と、代表輝度値位置抽出処理モジュール６１５と、特徴量符号化処理モジュール６１６とを含む。メインプログラム６０３は、画像を送出する側において第１の実施の形態による画質評価に必要な処理を取りまとめて実行するための主プログラムである。また、画像符号化処理モジュール６１３、代表輝度値決定処理モジュール６１４、代表輝度値位置抽出処理モジュール６１５、特徴量符号化処理モジュール６１６は、それぞれ第１の実施の形態における画像符号化装置１０１、代表輝度値決定装置１０２、代表輝度値位置抽出装置１０３、特徴量符号化装置１０４を機能的に実現するための処理モジュールである。なお、プロセッサ６０１が、メインプログラム６０３に従って各処理モジュール６１３〜６１６を呼び出すことによって、第１の実施の形態における各装置１０１〜１０４と同様の動作を行う。

また、図９に示すエンドユーザ端末システムには、プログラム制御プロセッサ７０１が装備されている。そして、プログラム制御プロセッサ７０１には、入力データバッファ７１１と出力データバッファ７１２の他に、画像を受信する側において第１の実施の形態による画質評価に必要な処理を実行するためのプログラムを格納したプログラムメモリ７０２が接続されている。

入力データバッファ７１１は、プログラム制御プロセッサ７０１に入力する各種データを記憶するためのバッファである。出力データバッファ７１２は、プログラム制御プロセッサ７０１が出力する各種データを記憶し、また必要に応じてプログラム制御プロセッサ７０１に入力するためのバッファである。

プログラムメモリ７０２に格納されるプログラムモジュールは、メインプログラム７０３の他に、画像復号化処理モジュール７１３と、特徴量復号化処理モジュール７１４と、誤差推定処理モジュール７１５とを含む。メインプログラム７０３は、画像を受信する側において第１の実施の形態による画質評価に必要な処理を取りまとめて実行するための主プログラムである。画像復号化処理モジュール７１３、特徴量復号化処理モジュール７１４、誤差推定処理モジュール７１５は、それぞれ第１の実施の形態における画像復号化装置３０１、特徴量復号化装置３０２、誤差推定装置３０３を機能的に実現するための処理モジュールである。なお、プロセッサ７０１が、メインプログラム７０３に従って各処理モジュール７１３〜７１５を呼び出すことによって、第１の実施の形態における各装置３０１〜３０３と同様の動作を行う。

本実施の形態では、画像送出装置システムおよびエンドユーザ端末システムのプログラム制御プロセッサ６０１，７０１が、それぞれメインプログラム６０２，７０２に従い、各種処理モジュール６１３〜６１６，７１３〜７１５を実行することで、第１の実施の形態における画質評価処理を実行する。

なお、プログラムメモリ６０２，７０２が、それぞれ第２の実施の形態による画質評価に必要な処理を実行するためのプログラムを格納することによって、第２の実施の形態における画質評価処理を実行することも可能である。

また、画像送出装置システム側で伝送画像の画質を評価することも可能である。このような場合には、エンドユーザ端末システムが、代表輝度値決定処理モジュール６１４，代表輝度値位置抽出処理モジュール６１５，特徴量符号化処理モジュール６１６と、処理モジュール６１４〜６１６を呼び出して伝送画像から特徴量を抽出し伝送する処理を実行させるメインプログラム７０３とを含むプログラムモジュールをプログラムメモリ７０２に格納すればよい。また、画像送出装置システムが、特徴量復号化処理モジュール７１４，誤差推定処理モジュール７１５と、処理モジュール７１４〜７１５を呼び出して受信した伝送画像の特徴量から原画像との差を集計して伝送画像の画質劣化を推定する処理を実行させるメインプログラム６０３とを含むプログラムモジュールをプログラムメモリ６０２に格納すればよい。

なお、この場合、エンドユーザ端末システムが備えるプログラム制御プロセッサ７０１が行う特徴量抽出動作および特徴量符号化動作は、画像送出装置システムが備えるプログラム制御プロセッサ６０１が行う特徴量抽出動作および特徴量符号化動作（すなわち、既に説明した代表輝度値決定装置１０２，代表輝度値位置抽出装置１０３，特徴量符号化装置１０４による動作）と同様である。また、画像送出装置システムが備えるプログラム制御プロセッサ６０１が行う特徴量復号化動作および誤差推定動作は、エンドユーザ端末システムが備えるプログラム制御プロセッサ７０１が行う特徴量復号化動作および誤差推定動作（すなわち、既に説明した特徴量復号化装置３０２，誤差推定装置３０３による動作）と同様である。

次に、具体的な実施例を用いて本発明を実施するための形態の動作を説明する。本実施例は、第１の実施の形態に対応している。ここでは、画像送出装置１として動作する動画処理装置に入力した画像を、エンドユーザ端末３に伝送する場合を例にして説明する。

まず、ＳＤＴＶサイズ（水平７２０×垂直４８０画素、１秒あたり２９．９７フレーム）の動画像を動画処理装置に入力する。動画処理装置の画像符号化装置１０１は、ＭＰＥＧ−２符号化方式で画像を符号化する。

また、動画処理装置の特徴量抽出装置１１は、入力された動画像の各フレームの特徴量を抽出する。具体的には、代表輝度値決定装置１０２において、まず、対象とする１フレームを１６×１６がその小ブロックに分割する。そして、各ブロックでの輝度値標準偏差値を計算する。代表輝度値決定装置１０２は、各ブロックの輝度値標準偏差値を大きさの順に並び替え、そのメジアンを求める。そして、求めたメジアンを中心とした半数のブロックにおいて出現確率が１／２５６に最も近くなる輝度値を代表輝度値に決定する。ここでは、対象フレームにおいて、輝度値「３２」が代表輝度値として決定されたとする。

次いで、代表輝度値位置抽出装置１０３において、対象フレーム内で代表輝度値が出現する画素位置を抽出する。代表輝度値位置抽出装置１０３は、まず、代表輝度値決定装置１０２が分割した各ブロック内において、代表輝度値「３２」が出現するブロックの情報を集計する。例えば、代表輝度値位置抽出装置１０３は、位置情報に関して、各ブロック毎に代表輝度値が出現するか否かを判定し、ブロック位置に対応づけたビット位置に、出現していれば１を、出現していなければ０を割り当てる。すなわち、代表輝度値位置抽出装置１０３は、７２０×４８０画素の１フレームに対し、有効ブロックの位置を示す情報として、１３５０ｂｉｔからなる二値系列を生成することとなる。ここでは、対象フレームにおいて、２００個のブロック内に、代表輝度値「３２」が合計５００個出現しているものとする。従って、代表輝度値位置抽出装置１０３は、有効ブロックの位置を示す情報として、１３５０ｂｉｔのうち２００ｂｉｔが１となっている二値系列を生成する。

次に、代表輝度値位置抽出装置１０３は、有効ブロックについて、２５６個からなるブロック内画素について、ラスタースキャン順に走査し、代表輝度値が出現しているか否かを判定する。そして、ブロック内画素位置に対応づけたビット位置に、出現していれば１を、出現していなければ０を割り当てる。すなわち、代表輝度値位置抽出装置１０３は、２５６画素の１ブロックに対し、ブロック内代表輝度値位置を示す情報として、２５６ｂｉｔからなる二値系列を生成することとなる。そして、全有効ブロックのブロック内代表輝度値位置を示す情報として、有効ブロック数（２００）×２５６ｂｉｔからなる二値系列を生成することとなる。なお、有効ブロック数（２００）×２５６ｂｉｔのうち、５００ｂｉｔが１となっているはずである。

次に、特徴量符号化装置１０４は、このように抽出された代表輝度値位置情報（１３５０ｂｉｔ＋２５６ｂｉｔ×有効ブロック数（２００）から構成される二値系列）をＪＢＩＧ方式で可逆圧縮する。そして、先頭に代表輝度値「３２」を示す８ｂｉｔの情報を付加し、これを対象フレームにおける原画像の特徴量とする。

そして、対象フレームにおける符号化された原画像の特徴量（符号化特徴量）は、伝送路２を介して、原画像を符号化して得た符号化画像の対象フレームと同期するようにエンドユーザ端末３に伝送される。

符号化画像と符号化特徴量とを受信したエンドユーザ端末３では、画像復号化装置３０１において、ＭＰＥＧ−２方式で符号化された符号化画像に対しＭＰＥＧ−２方式に対応した復号処理を行い、原画像の対象フレームの内容と同一になるような画像フレームを生成する。復元された画像フレームは、誤差推定装置３０３に送られる。

また、特徴量復号化装置３０２では、受信した符号化特徴量に対し、特徴量符号化装置１０４による符号化方式に対応した復号処理を行い、特徴量符号化装置１０４によって符号化される前の特徴量の内容と同一になるような特徴量を示す情報を生成する。具体的には、数学的に特徴量符号化装置１０４が行った処理と逆の処理を行えばよい。ここでは、特徴量符号化装置１０４は、原画像の特徴量として、代表輝度値を示す情報と、原画像において代表輝度値が出現していた画素位置を示す代表輝度値位置情報とに復元する。具体的には、代表輝度値「３２」を示す情報と、有効ブロックの位置を示す情報としての二値系列と、各有効ブロック内における代表輝度値が出現していた画素位置を示す情報としての二値系列とを得る。復元された特徴量は、誤差推定装置３０３に送られる。

誤差推定装置３０３では、復元された情報を元に、伝送画像の画質劣化を推定する。誤差推定装置３０３は、伝送画像の画像フレームについて、原画像において代表輝度値「３２」が出現していた画素位置と同じ画素位置の輝度値を集計する。ここでは、受信し復元した伝送画像における対象フレームにおいて、原画像において代表輝度値「３２」が出現していたカ所と同じカ所である５００カ所のうち、輝度値が「３２」となっていた画素が１００カ所、「３１」となっていた画素が１００カ所、「３０」となっていた画素が１００カ所、「２９」となっていた画素が１００カ所、「３３」となっていた画素が１００カ所であったことが集計されたとする。

誤差推定装置３０３は、推定二乗誤差として、（１００×０＋１００×１＋１００×４＋１００×９＋１００×１）÷５００＝３を求める。

本出願は、２００６年１０月１９日に出願された特願２００６−２８５２９０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、受信側での符号化による画質劣化の評価に限らず、限られた情報量で２つの画像の差分を評価するような画質評価システムであれば、好適に適用可能である。

Claims (23)

1. 第１の画像との差から第２の画像の画質を評価する画質評価方法であって、
   一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出し、
   前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第２の画像全体における前記第１の画像との差を推定する
   ことを特徴とする画質評価方法。
2. 第１の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第２の画像である復号画像の画質を評価する画質評価方法であって、
   前記原画像の画像フレームから、代表画素成分値と画素位置情報とを前記原画像の特徴量として抽出し、
   前記抽出された原画像の特徴量を符号化し、
   前記符号化された原画像の特徴量を、前記符号化画像の送信先に送信し、
   前記符号化された原画像の特徴量を受信すると、受信した前記符号化された原画像の特徴量を復号し、
   復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報と、前記復号画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する
   ことを特徴とする請求項１に記載の画質評価方法。
3. 第１の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第２の画像である復号画像の画質を評価する画質評価方法であって、
   前記復号画像の画像フレームから、代表画素成分値と画素位置情報とを前記復号画像の特徴量として抽出し、
   前記抽出された復号画像の特徴量を符号化し、
   前記符号化された復号画像の特徴量を、前記符号化画像の送信元に送信し、
   前記符号化された復号画像の特徴量を受信すると、受信した前記符号化された復号画像の特徴量を復号し、
   復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報と、前記原画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する
   ことを特徴とする請求項１に記載の画質評価方法。
4. 画素位置情報を、各画素に対して、代表画素成分値であるか否かを０か１で示した二値情報で表現することを特徴とする請求項２または請求項３に記載の画質評価方法。
5. 対象とする画像フレームを複数の小領域に分割し、
   画素位置情報を、各小領域内に代表画素成分値が出現するか否かを０か１で示した二値情報と、代表画素成分値が出現した小領域に対して、該小領域内の各画素に対して代表画素成分値であるか否かを０か１で示した二値情報とで表現する
   ことを特徴とする請求項２から請求項４のいずれかに記載の画質評価方法。
6. 二値情報で表現された画素位置情報を可逆符号化することを特徴とする請求項４または請求項５に記載の画質評価方法。
7. 可逆符号化の方法が、算術符号化であることを特徴とする請求項６に記載の画質評価方法。
8. 可逆符号化の方法が、二値画像符号化方法であるＪＢＩＧ符号化であることを特徴とする請求項６に記載の画質評価方法。
9. 対象とする画像フレーム内において、偏らずに均等な位置に出現する画素成分値を選択することによって、代表画素成分値を抽出することを特徴とする請求項１から請求項８のいずれかに記載の画質評価方法。
10. 対象とする画像フレームを複数の小領域に分割し、各小領域における画素成分値の標準偏差を求め、前記標準偏差の中央値に近い値の標準偏差をもつ小領域内から順に選択し、
    選択した小領域内において、画素成分値の出現確率が該画素成分値の取りうる値の幅分の１に最も近い画素成分値を選択することによって、代表画素成分値を抽出する
    ことを特徴とする請求項１から請求項９のいずれかに記載の画質評価方法。
11. 代表画素成分値を抽出する際に、画素成分値の下限値と上限値とを定めておき、下限値よりも小さい画素成分値および上限値より大きい画素成分値を代表画素成分値の候補から除外することを特徴とする請求項１から請求項１０のいずれかに記載の画質評価方法。
12. 代表画素成分値が出現する画素位置を抽出する画素数、または代表画素成分値が出現する画素位置を抽出する領域を制限することを特徴とする請求項１から請求項１１のいずれかに記載の画質評価方法。
13. 代表画素成分値を、対象とする画像フレームを複数の領域に分割した分割領域毎に抽出することを特徴とする請求項１から請求項１２のいずれかに記載の画質評価方法。
14. 画素成分値として、輝度値を用いることを特徴とする請求項１から請求項１３のいずれかに記載の画素評価方法。
15. 第１の画像との差から第２の画像の画質を評価する画質評価システムであって、
    一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出する特徴量抽出手段と、
    前記特徴量抽出手段によって抽出された前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、第２の画像全体における第１の画像との差を推定する誤差推定手段と
    を備えたことを特徴とする画質評価システム。
16. 第１の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第２の画像である復号画像の画質を評価する画質評価システムであって、
    入力された原画像を符号化して送信する画像送出装置と、前記画像送出装置から符号化画像を受信する画像受信装置とを備え、
    画像送出装置は、
    前記原画像の画像フレームから、代表画素成分値と画素位置情報とを前記原画像の特徴量として抽出する特徴量抽出手段と、
    前記特徴量抽出手段によって抽出された原画像の特徴量を符号化する特徴量符号化手段と、
    前記特徴量符号化手段によって符号化された原画像の特徴量を、前記画像受信装置に送信する特徴量送信手段とを有し、
    画像受信装置は、
    前記符号化された原画像の特徴量を受信する特徴量受信手段と、
    前記特徴量受信手段が受信した前記符号化された原画像の特徴量を復号する特徴量復号手段と、
    復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報と、前記復号画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段とを有する
    請求項１５に記載の画質評価システム。
17. 第１の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第２の画像である復号画像の画質を評価する画質評価システムであって、
    入力された原画像を符号化して送信する画像送出装置と、前記画像送出装置から符号化画像を受信する画像受信装置とを備え、
    画像受信装置は、
    前記復号画像の画像フレームから、代表画素成分値と画素位置情報とを前記復号画像の特徴量として抽出する特徴量抽出手段と、
    前記特徴量抽出手段によって抽出された復号画像の特徴量を符号化する特徴量符号化手段と、
    前記特徴量符号化手段によって符号化された復号画像の特徴量を、前記画像送出装置に送信する特徴量送信手段とを有し、
    画像送出装置は、
    前記符号化された復号画像の特徴量を受信する特徴量受信装置と、
    前記特徴量受信手段が受信した前記符号化された復号画像の特徴量を復号する特徴量復号手段と、
    復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報と、前記原画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段と
    を有することを特徴とする請求項１５に記載の画質評価システム。
18. 原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像送出装置であって、
    入力された原画像を符号化して送信する符号化画像送信手段と、
    入力された前記原画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを前記原画像の特徴量として抽出する特徴量抽出手段と、
    前記特徴量抽出手段によって抽出された原画像の特徴量を符号化する特徴量符号化手段と、
    前記特徴量符号化手段によって符号化された原画像の特徴量を、前記符号化画像の送信先である画像受信装置に送信する特徴量送信手段と
    を備えたことを特徴とする画像送出装置。
19. 原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像送出装置であって、
    入力された原画像を符号化して送信する符号化画像送信手段と、
    前記復号画像の特徴量として、前記復号画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを符号化した情報を受信する特徴量受信手段と、
    特徴量受信手段が受信した前記符号化された復号画像の特徴量を復号する特徴量復号手段と、
    復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報とを用い、前記原画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段と
    を備えたことを特徴とする画像送出装置。
20. 原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像受信装置であって、
    原画像を符号化した符号化画像を受信する符号化画像受信手段と、
    前記原画像の特徴量として、前記原画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを符号化した情報を受信する特徴量受信手段と、
    特徴量受信手段が受信した前記符号化された原画像の特徴量を復号する特徴量復号手段と、
    復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報とを用い、前記符号化画像を復号して得られた復号画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段と
    を備えたことを特徴とする画像受信装置。
21. 原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像受信装置であって、
    原画像を符号化した符号化画像を受信する符号化画像受信手段と、
    前記符号化画像を受信すると、前記符号化画像を復号して得られた復号画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを前記復号画像の特徴量として抽出する特徴量抽出手段と、
    前記特徴量抽出手段によって抽出された復号画像の特徴量を符号化する特徴量符号化手段と、
    前記特徴量符号化手段によって符号化された復号画像の特徴量を、前記符号化画像の送信元である画像送出装置に送信する特徴量送信手段と
    を備えたことを特徴とする画像受信装置。
22. 第１の画像との差から第２の画像の画質を評価するための画質評価用プログラムであって、
    少なくとも一方の画像の画像情報が入力されるコンピュータに、
    入力された画像情報で示される画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを該画像の特徴量として抽出する処理と、
    前記抽出された特徴量を符号化して出力する処理と
    を実行させるための画質評価用プログラム。
23. 第１の画像との差から第２の画像の画質を評価するための画質評価用プログラムであって、
    少なくとも一方の画像の画像情報と、他方の画像の特徴量として、該画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とが符号化された情報とが入力されるコンピュータに、
    特徴量として入力された符号化された情報を復号して代表画素成分値と画素位置情報とに復元する処理と、
    復元された前記代表画素成分値と前記画素位置情報とを用い、入力された画像情報で示される画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第２の画像全体における前記第１の画像との差を推定する処理と
    を実行させるための画質評価用プログラム。

Images