JP4479980B2 - Image processing apparatus and image quality evaluation apparatus - Google Patents
Image processing apparatus and image quality evaluation apparatus Download PDFInfo
- Publication number
- JP4479980B2 JP4479980B2 JP2000194710A JP2000194710A JP4479980B2 JP 4479980 B2 JP4479980 B2 JP 4479980B2 JP 2000194710 A JP2000194710 A JP 2000194710A JP 2000194710 A JP2000194710 A JP 2000194710A JP 4479980 B2 JP4479980 B2 JP 4479980B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- invisible marker
- invisible
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は画質評価のための画像処理装置および画質評価装置に関し、特に、映像伝送系において、原画(リファレンス画像)を用いることなく画質を評価できるようにするための画像処理装置および画質評価装置に関する。
【0002】
【従来の技術】
近年、映像伝送のディジタル化が急速に進行しており、これに伴い、映像伝送系の運用および監視支援の開発が重要な課題となっている。この課題の一つに画質評価があり、画質評価方法には、大別して、主観方法と客観方法がある。主観方法は、人間による主観評価が主であり、運用者への負担が大きいため、原画を参照する自動画質評価方法が提案されている。しかし、この自動画質評価方法は、原画を参照するため、実伝送の画質評価には使用することができない。そこで、原画を必要としない客観画質評価方法が提案されている。
【0003】
その一つに、本発明者等により提案された、「不可視信号埋め込みによる絶対画質客観評価方式」(2000年3月発行、映像情報メディア学会技術報告BSC2000−14)がある。この方式は、符号化ビットストリーム(DCT係数)にマーカ信号を埋め込み、画質評価をするものである。
【0004】
【発明が解決しようとする課題】
しかしながら、前記方式では、送信端から受信端の間(End to End) にコーデックが多段接続されている場合に受信端の画質を評価するには、各段でマーカ信号の挿入・検出を行う必要が生じ、手順あるいは操作が煩雑であるという問題があった。また、MPEG方式以外のコーデックには、適用できないという問題もあった。また、実伝送において、原画を用いずに正確な画質評価を実現する方法は、まだ確立されていない。
【0005】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、不可視信号の埋め込みによる画質劣化が小さく、画質推定の精度が高く、またコーデックの段数・方式に依存せずに画質評価をすることのできる画像処理装置および画質評価装置を提供することにある。
【0006】
前記した目的を達成するために、本発明は、画像処理装置が、入力画像信号の交流成分を抽出する手段と、前記入力画像信号の交流成分をスペクトル拡散するスペクトル拡散部と、該スペクトル拡散部でスペクトル拡散された前記入力画像信号の周波数成分のうち、予め定められた周波数成分に不可視マーカを埋め込む不可視マーカ埋め込み部と、該不可視マーカ埋め込み部で不可視マーカを埋め込まれた前記入力画像信号を逆拡散するスペクトル逆拡散部とを具備した点に第1の特徴がある。
【0007】
この特徴によれば、入力画像信号に埋め込んだ不可視マーカがスペクトル拡散されて伝送されるので、ノイズである不可視マーカは広帯域に拡散されることになる。このため、ノイズは極めて小さいものとなり、該不可視マーカによる画質劣化は、極めて小さいものになる。
【0008】
また、本発明は、前記画像処理装置で埋め込まれた不可視マーカを含む画像信号をエンコードして送信された画像信号を受信してデコードするデコーダと、該デコーダでデコードされた画像信号をスペクトル拡散するスペクトル拡散部と、該スペクトル拡散部でスペクトル拡散された前記画像信号の周波数成分のうち、予め定められた周波数成分から不可視マーカを検出するマーカ検出部と、該マーカ検出部で検出された不可視マーカと、前記画像処理装置で埋め込まれた不可視マーカとの正検出率または誤検出率を演算する演算手段とを具備し、該演算手段の結果を基に画質評価値を推定するようにした点に第2の特徴がある。
【0009】
この特徴によれば、映像伝送チェーン中のコーデックの方式に依存しない画質評価をすることができ、かつ画質推定の精度を向上させることができるようになる。
【0010】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明が適用される映像伝送系の一例および本発明の概要について説明する。
【0011】
本発明では、該映像伝送系の一例として、図6に示されているような映像伝送チェーンを想定する。映像伝送チェーンとは、複数のコーデックや方式変換器などを含む映像伝送ネットワークのことである。送信装置10には、後で詳述する本発明による画像処理装置としての不可視信号埋め込み装置11が設けられており、入力画像に不可視信号あるいは不可視マーカが埋め込まれる。該不可視マーカが埋め込まれた画像信号はエンコーダ12で符号化され、映像伝送チェーンに送出される。映像伝送チェーンは、図示の例では、デコーダ21とエンコーダ22の組がn組連結された映像伝送ネットワークから構成されており、該n組のデコーダ21とエンコーダ22の方式は、同じであっても異なっていてもよい。
【0012】
本発明では、映像伝送チェーン中の任意の位置で埋め込まれた不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。すなわち、デコーダ21とエンコーダ22の第1組目でも、第n組目でも、最終の組においてでも、各組のデコーダ21の出力にマーカ検出装置23を接続することにより不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。なお、不可視信号埋め込み装置11およびマーカ検出装置23は映像伝送チェーン中の他の装置とは独立して存在しているので、該他の装置は汎用の製品を使用することができるようになる。
【0013】
次に、本発明の画像処理装置の一実施形態を具体的に説明する。図1は、前記不可視信号埋め込み装置11の構成を示すブロック図である。
【0014】
不可視信号の埋め込みは、任意のサイズの画素ブロック(N×N)単位で行われる。ここに、Nは正の整数であり、MPEG2で符号化する場合には、マクロブロック(16×16画素)が好適であるが、本発明はこれに限定されるものではない。このため、不可視信号埋め込み装置11には、入力画像がブロック単位に区切られて入力される。この入力信号をXB(n)とする。
【0015】
入力信号XB(n)は、直流成分計算部31と遅延部32に入力する。直流成分計算部31は、画素ブロック(N×N画素)の画素信号XB(n)の平均値を下記の(1) 式で計算する。その結果を直流成分D(s) とする。ここに、Sは1フレーム(または、フィールド)のブロックの番号である。
【0016】
【数1】
【0017】
該直流成分D(s) は、減算器33と加算器40に送られる。減算器33には、遅延部32で少なくとも直流成分計算部31の演算時間分遅延された画素信号XB(n)が入力し、減算器33は画素信号XB(n)から前記直流成分D(s) を減算することにより、入力信号XB(n)から交流成分XA(n)のみを抽出する。
【0018】
交流成分XA(n)は、乗算器34でPN系列SPN(n) と乗算され、スペクトル拡散される。乗算器34の出力は、XA(n)×SPN(n) となる。ここに、PN系列SPN(n) は、1と−1のランダムな系列である。なお、スペクトル拡散は周知であるので、詳細な説明は省略する。
【0019】
該乗算器34の出力XA(n)×SPN(n) は、フーリエ変換部(FFT)35に入力する。該フーリエ変換部35の出力である拡散スペクトルXss[k] は、下記の(2) 式のようになる。
【0020】
Xss[k] =F{XA(n)×SPN(n) } …(2)
【0021】
ここで、Fはフーリエ変換を表す。
【0022】
不可視マーカ埋め込み部36は、拡散スペクトルXss[k] のうち、任意の周波数の値を操作することで、不可視マーカを埋め込む。不可視マーカを埋め込む注目する周波数をk0 、操作する周波数成分の振幅をAで表すと、該振幅Aは下記の(3) 式となる。
【0023】
A=|Xss[k0]| …(3)
【0024】
不可視マーカ埋め込み部36は、次いで、振幅Aを図2のフローチャートで示される機能を用いて振幅Aを変更または操作し、マーカ埋め込みを行う。該マーカ埋め込みは、乱数生成器(RNG)37で生成された予め定められた情報ビット列bi (bi =1または0)を埋め込むことにより行われる。すなわち、本実施形態では、振幅Aをある量子化ステップサイズMで量子化することにより得られるレベル(量子化代表値)Qの偶奇によって、情報ビットを判定する。具体的には、振幅Aが偶数の時には情報ビット0、Aが奇数の時には情報ビット1と判定する。なお、乱数生成器(RNG)37は、これに乱数種が与えられると、周知のように、予定の埋め込み情報ビット{bi }を出力する。
【0025】
次に、該不可視マーカ埋め込み部36の振幅Aの変更または操作方法を、図2のフローチャートを参照して説明する。
【0026】
不可視マーカ埋め込み部36に、前記操作する周波数成分の振幅Aが与えられると、該不可視マーカ埋め込み部36は、ステップS1にて、A/Mの演算を行い、その商(整数部分)Qを求める。ステップS2では、前記商Qを2で割った余り(Qmod2)により、該商Qが偶数であるか奇数であるかを判断し、前記乱数生成器(RNG)37から与えられた情報ビット列bi と一致しているか不一致かを判断する。この判断が肯定であると、ステップS3に進み、前記振幅AがA' ,すなわちA' =(Q+1/2)Mとなるように、Aを操作する。
【0027】
ステップS2の判断が否定の時には、ステップS4に進み、QM≦A≦(Q+1/2)Mが成立するか否かの判断がなされ、この判断が肯定の場合には、ステップS5に進み、前記振幅AがA' =(Q−1/2)Mとなるように操作される。ステップS4の判断が否定の時には、ステップS6に進んで、(Q+1/2)M≦A≦(Q+1)Mが成立するか否かの判断がなされる。この判断が肯定の時には、ステップS7に進んで、前記振幅AがA' =(Q+3/2)Mとなるように操作される。この判断が否定の時には、処理を終了する。
【0028】
前記ステップS3、S5およびS7の操作は、マーカ埋め込み後の振幅A' が、必ず量子化レベルQとQ±1の中間に配置されるようにするための操作である。次に、前記ステップS3、S5およびS7の操作を図3の具体例により説明する。図3は、M=200、A=850、埋め込み情報ビット0の場合のマーカ埋め込み例を示す。
【0029】
図3の上段に示されているように、原画の操作される周波数成分の振幅Aが850であると、A/M=850/200=4.25となって、その整数部分Qは「4」となる(ステップS1)。次に、この4を2で割り算した余りは0であるので、A=850は乱数生成器37から与えられた情報ビットbi =0と一致していることが分かる(ステップS2が肯定)。そこで、該振幅AはA' =(Q+1/2)M=900、すなわち量子化レベルQとQ+1の中間に来るように操作されて埋め込まれる。
【0030】
なお、このように、振幅A' が必ず量子化レベルQとQ±1の中間に配置されるようにする操作をするのは、A=850はビット1と0の境界(A=800)に近いため、伝送途中のわずかな振幅変動でビット1の領域に侵入して、画質が大きく劣化したと誤判断されるのを防止するためである。
【0031】
上記のようにしてマーカを埋め込まれた周波数成分を含む拡散スペクトルXss'[k]は不可視マーカ埋め込み部36から出力され、図1に示されているように、フーリエ逆変換部(IFFT)38でフーリエ逆変換され、空間域信号に戻される。次に、該空間域信号は、乗算器39でPN系列SPN(n) と乗算され、スペクトル逆拡散される。次いで、加算器40で、最初に除去した直流成分が加えられ、不可視信号埋め込み装置11の出力X'B(n) が得られる。
【0032】
上記のマーカ付加により、入力画像XB(n)にはノイズが重畳されることになるが、このノイズは乗算器39によるスペクトル拡散により広帯域に拡散されるため、結果的には、ノイズは極めて小さいものとなり、該マーカによる画質劣化は、極めて小さいものになる。すなわち、例えば図6の出力画像の画質劣化は、極めて小さいものになる。
【0033】
次に、図6のマーカ検出装置23の具体的構成を、図4のブロック図を参照して説明する。いま、デコーダ21で復号され、画素ブロック(N×N)に分割された入力信号YB(n)がマーカ検出装置23に入力してくると、該入力信号YB(n)は直流成分計算部41と遅延部42に入力される。直流成分計算部41は、前記直流成分計算部31と同様に、画素ブロック(N×N)の画素信号YB(n)の平均値を前記(1) 式で計算し、その結果の直流成分D(s) を減算器43に出力する。減算器43には、遅延部42で少なくとも直流成分計算部41の演算時間分遅延された画素信号YB(n)が入力し、減算器43は画素信号YB(n)から前記直流成分D(s) を減算することにより、入力信号YB(n)から交流成分YA(n)のみを抽出する。
【0034】
乗算器44は、該画素信号YB(n)にPN系列SPN(n) を乗算し、スペクトル拡散する。しかし、前記マーカに関しては、該マーカは乗算器44でスペクトル逆拡散される。続いて、該スペクトル拡散された信号は、フーリエ変換部45でフーリエ変換され、マーカ検出部46で、マーカが埋め込まれた周波数成分の振幅A' を量子化ステップサイズMで割り算したA' /Mの商が偶数であるか奇数であるかの判断がなされる。マーカ検出部46は、該偶奇の判断結果に基づいて、検出情報ビット列{bi'}を出力する。比較部47は、前記乱数生成器37と同じ乱数種を付与された乱数生成器48から出力される情報ビット列{bi }と前記検出情報ビット列{bi'}とを比較し、比較結果(正検出/誤検出信号)を誤検出率演算部49に出力する。
【0035】
図3の例では、その最下段に示されているように、マーカ検出部46は、送信側でマーカを埋め込んだのと同じ周波数の振幅A' がA' =820であれば、820/200の商Qは偶数であるので、bi'=0を出力する。そして、比較部47は正検出信号を誤検出率演算部49に出力する。一方、A' =1120であれば、1120/200の商Qは奇数であるので、bi'=1を出力する。この結果、比較部47は誤検出信号を誤検出率演算部49に出力する。
【0036】
以上のようにして誤検出率が求まると、該誤検出率は画質評価値推定部50に送られ、画質評価値が求められる。次に、該画質評価値推定部50の一具体例の構成を、図5を参照して説明する。
【0037】
図5は、本発明製品を出荷する前に、予め実験室あるいは工場内等で測定した、誤検出率[%]と画質評価値(RSNR)[dB]との関係を示すグラフである。実験には、周知のテスト画像、フラミンゴ、グリーンリーブス、マーチンング、サッカーなどを用い、これらの画像に、本発明による不可視信号を埋め込み、映像伝送チェーンに送出した。そして、第1段目のコーデック、第2段目のコーデックで誤検出率を求め、また原画との比較により画質評価値を求め、該誤検出率と画質評価値を、横軸を誤検出率、縦軸を画質評価値とするグラフ上にプロットした。そうすると、各プロット点に非常に良く適合した近似曲線aが得られた。これにより、本発明者は、本発明の映像伝送系において、誤検出率と画質評価値との間に、良好な相関があることを発見した。
【0038】
なお、図中のf11,f12,f13,f14は、それぞれ、テスト画像「フラミンゴ」を40Mbps、30Mbps、20Mbps、10Mbpsで伝送した時の第1段目のコーデックでの測定値であり、f21,f22,f23,f24は、それぞれ、テスト画像「フラミンゴ」を40Mbps、30Mbps、20Mbps、10Mbpsで伝送した時の第2段目のコーデックでの測定値である。他のテスト画像についても、同様である。
【0039】
そこで、画質評価値推定部50には、図5の曲線aのグラフを収納した。前記誤検出率演算部49から誤検出率が入力してくると、画質評価値推定部50は該グラフの曲線aから画質評価値(RSNR)を求める。なお、画質評価値SNRを求めようとすれば、縦軸を画質評価値SNRとするグラフを作っても良いし、画質評価値RSNRから求めても良い。画質評価値RSNRから画質評価値SNRが容易に求まることは当業者には自明である。
【0040】
なお、以上の実施形態では、入力信号XB(n)から直流成分を除去した交流成分に不可視マーカを乗せるようにしたが、これは、直交変換符号化(MPEG等)の特徴として、入力信号の交流成分の情報を削減することにより画像圧縮を行うことに配慮したものであり、本発明はコーデックの方式は直交変換符号化を用いた方式に限定されないので、必ずしも入力信号XB(n)から直流成分を除去する必要はない。すなわち。図1の直流成分計算部31、遅延部32、減算部33等は必須の構成要件ではなく、削除してもよい。
【0041】
次に、本発明者は、マーカ埋め込みの際のステップサイズMを、送信する画像の絵柄ごとに変更して、マーカ埋め込み強度を変化させるのが良いことを見出した。すなわち、絵柄1の分散をσ1 2 、絵柄2の分散をσ2 2 とし、絵柄1に対してステップサイズM1 でマーカ埋め込みを行った場合、絵柄2のステップサイズM2 を次の(4) 式で定めるのがよいことを見出した。
【0042】
M2 =σ2 /σ1 …(4)
【0043】
ここで、σ1 2 、σ2 2 は、スペクトル拡散を行うN×Nブロックにおける分散の平均値である。
【0044】
以上のように、本実施形態によれば、映像伝送チェーン中にエンコーダ・デコーダ対が何段あろうとも、また任意の位置に存在するデコーダにマーカ検出装置を接続することにより、画質評価値を計算することができる。また、本実施形態の画質評価装置は、前記エンコーダ・デコーダの方式に依存しないので、どのようなエンコーダ・デコーダの方式にも適用することができる。
【0045】
【発明の効果】
以上の説明から明らかなように、本発明の画像処理装置によれば、予め定められた周波数成分に不可視マーカを埋め込み、該不可視マーカを埋め込んだ入力画像信号をスペクトル拡散して伝送するようにしているので、ノイズとみなされる不可視マーカは広帯域に拡散されることになる。このため、ノイズは極めて小さいものとなり、該不可視マーカによる画質劣化は、極めて小さいものになる。
【0046】
また、本発明の画質評価装置は、デコードされた画像信号をスペクトル逆拡散し、スペクトル逆拡散された前記画像信号の周波数成分のうち、予め定められた周波数成分から不可視マーカを検出し、検出された不可視マーカと、前記画像処理装置で埋め込まれた不可視マーカとの正検出率または誤検出率を演算し、該演算結果を基に画質評価値を推定するようにしているので、リファレンス画像なしに画質評価をすることができるようになる。また、精度の高い画質評価値を推定することができるようになる。
【図面の簡単な説明】
【図1】 本発明の画像処理装置の一実施形態の概略の構成を示すブロック図である。
【図2】 図1の不可視マーカ埋め込み部の動作を示すフローチャートである。
【図3】 図2の動作の具体的説明図である。
【図4】 本発明の画質評価装置の一実施形態の概略の構成を示すブロック図である。
【図5】 誤検出率と画質評価値の関係を示すグラフである。
【図6】 本発明が適用される映像伝送系の一例のブロック図である。
【符号の説明】
10…送信装置、23…マーカ検出装置、31、41…直流成分計算部、33、43…減算器、34、39、44…乗算器、35、45…フーリエ変換器、36…不可視マーカ埋め込み部、37、48…乱数生成器、38…フーリエ逆変換器、46…マーカ検出部、47…比較部、49…誤検出率演算部、50…画質評価値推定部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image quality evaluation apparatus for image quality evaluation, and more particularly to an image processing apparatus and an image quality evaluation apparatus for enabling image quality evaluation without using an original image (reference image) in a video transmission system. .
[0002]
[Prior art]
In recent years, digitalization of video transmission has progressed rapidly, and accordingly, operation of video transmission systems and development of monitoring support have become important issues. One of the problems is image quality evaluation. Image quality evaluation methods are roughly classified into a subjective method and an objective method. The subjective method is mainly subjectivity evaluation by humans and has a heavy burden on the operator. Therefore, an automatic image quality evaluation method that refers to the original image has been proposed. However, since this automatic image quality evaluation method refers to an original image, it cannot be used for image quality evaluation of actual transmission. Therefore, an objective image quality evaluation method that does not require an original image has been proposed.
[0003]
One of them is an “absolute image quality objective evaluation method by invisible signal embedding” proposed by the present inventors (MSC 2000 Technical Report BSC 2000-14). This method embeds a marker signal in an encoded bit stream (DCT coefficient) and evaluates the image quality.
[0004]
[Problems to be solved by the invention]
However, in the above method, when a multistage codec is connected between the transmitting end and the receiving end (End to End), it is necessary to insert and detect marker signals at each stage in order to evaluate the image quality at the receiving end. There is a problem that the procedure or operation is complicated. There is also a problem that it cannot be applied to codecs other than the MPEG system. Moreover, a method for realizing accurate image quality evaluation without using an original image in actual transmission has not been established yet.
[0005]
The present invention has been made in view of the above-described prior art, and its purpose is that image quality deterioration due to invisible signal embedding is small, image quality estimation accuracy is high, and image quality is not dependent on the number of codec stages and methods. An object of the present invention is to provide an image processing apparatus and an image quality evaluation apparatus that can perform evaluation.
[0006]
In order to achieve the above-described object, the present invention provides an image processing device for extracting an AC component of an input image signal , a spectrum spreading unit that spreads the AC component of the input image signal, and the spectrum spreading unit. The invisible marker embedding unit that embeds an invisible marker in a predetermined frequency component among the frequency components of the input image signal that has been subjected to spectrum spreading in reverse, and the input image signal in which the invisible marker is embedded by the invisible marker embedding unit are reversed. The first feature is that it comprises a spectrum despreading section that diffuses.
[0007]
According to this feature, since the invisible marker embedded in the input image signal is transmitted after being spectrum-spread, the invisible marker that is noise is spread over a wide band. For this reason, noise is extremely small, and image quality degradation due to the invisible marker is extremely small.
[0008]
According to another aspect of the present invention, there is provided a decoder for receiving and decoding an image signal transmitted by encoding an image signal including an invisible marker embedded by the image processing device, and spectrum-spreading the image signal decoded by the decoder. A spectrum spreader, a marker detector for detecting an invisible marker from a predetermined frequency component among the frequency components of the image signal spectrum spread by the spectrum spreader, and an invisible marker detected by the marker detector And a calculation means for calculating a positive detection rate or a false detection rate with the invisible marker embedded in the image processing device, and an image quality evaluation value is estimated based on a result of the calculation means. There is a second feature.
[0009]
According to this feature, image quality evaluation independent of the codec system in the video transmission chain can be performed, and the accuracy of image quality estimation can be improved.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. First, an example of a video transmission system to which the present invention is applied and an outline of the present invention will be described.
[0011]
In the present invention, a video transmission chain as shown in FIG. 6 is assumed as an example of the video transmission system. The video transmission chain is a video transmission network including a plurality of codecs, system converters, and the like. The transmitting
[0012]
In the present invention, an invisible signal embedded at an arbitrary position in the video transmission chain is detected, and an image quality evaluation value can be calculated based on the detection result. That is, in the first set, the nth set, and the final set of the
[0013]
Next, an embodiment of the image processing apparatus of the present invention will be specifically described. FIG. 1 is a block diagram showing a configuration of the invisible
[0014]
The invisible signal is embedded in units of pixel blocks (N × N) having an arbitrary size. Here, N is a positive integer, and a macroblock (16 × 16 pixels) is suitable for encoding in MPEG2, but the present invention is not limited to this. Therefore, the input image is input to the invisible
[0015]
The input signal XB (n) is input to the DC
[0016]
[Expression 1]
[0017]
The DC component D (s) is sent to the
[0018]
The alternating current component XA (n) is multiplied by the PN sequence SPN (n) by the
[0019]
The output XA (n) × SPN (n) of the
[0020]
Xss [k] = F {XA (n) × SPN (n)} (2)
[0021]
Here, F represents a Fourier transform.
[0022]
The invisible
[0023]
A = | Xss [k0] | (3)
[0024]
Next, the invisible
[0025]
Next, a method for changing or operating the amplitude A of the invisible
[0026]
When the amplitude A of the frequency component to be operated is given to the invisible
[0027]
When the determination in step S2 is negative, the process proceeds to step S4, where it is determined whether or not QM ≦ A ≦ (Q + 1/2) M is established. If this determination is affirmative, the process proceeds to step S5, The amplitude A is operated so that A ′ = (Q−1 / 2) M. When the determination in step S4 is negative, the process proceeds to step S6, where it is determined whether (Q + 1/2) M ≦ A ≦ (Q + 1) M is satisfied. When this determination is affirmative, the process proceeds to step S7, and the amplitude A is operated so that A ′ = (Q + 3/2) M. When this determination is negative, the process is terminated.
[0028]
The operations in steps S3, S5, and S7 are operations for ensuring that the amplitude A ′ after the marker embedding is arranged between the quantization levels Q and Q ± 1. Next, operations of steps S3, S5 and S7 will be described with reference to a specific example of FIG. FIG. 3 shows an example of marker embedding when M = 200, A = 850, and embedded information bit 0.
[0029]
As shown in the upper part of FIG. 3, when the amplitude A of the frequency component to be manipulated of the original picture is 850, A / M = 850/200 = 4.25, and the integer part Q is “4”. (Step S1). Next, since the remainder obtained by dividing 4 by 2 is 0, it can be seen that A = 850 matches the information bit bi = 0 given from the random number generator 37 (Yes in step S2). Therefore, the amplitude A is embedded such that A ′ = (Q + 1/2) M = 900, that is, the amplitude A is intermediate between the quantization levels Q and Q + 1.
[0030]
It should be noted that the operation for ensuring that the amplitude A ′ is arranged between the quantization levels Q and Q ± 1 is that A = 850 is at the boundary between
[0031]
The spread spectrum Xss ′ [k] including the frequency component in which the marker is embedded as described above is output from the invisible
[0032]
By adding the above marker, noise is superimposed on the input image XB (n). This noise is spread over a wide band by the spectrum spread by the
[0033]
Next, a specific configuration of the
[0034]
The
[0035]
In the example of FIG. 3, as shown in the lowermost stage, the
[0036]
When the false detection rate is obtained as described above, the false detection rate is sent to the image quality evaluation
[0037]
FIG. 5 is a graph showing the relationship between the false detection rate [%] and the image quality evaluation value (RSNR) [dB] measured in advance in a laboratory or factory before shipping the product of the present invention. In the experiment, a well-known test image, flamingo, green leaves, marching, soccer, or the like was used, and invisible signals according to the present invention were embedded in these images and transmitted to the video transmission chain. Then, the false detection rate is obtained by the first-stage codec and the second-stage codec, and the image quality evaluation value is obtained by comparison with the original image. The horizontal axis represents the false detection rate and the image quality evaluation value. The graph was plotted on a graph with the vertical axis representing the image quality evaluation value. As a result, an approximate curve a that fits each plot point very well was obtained. Thus, the present inventor has found that there is a good correlation between the false detection rate and the image quality evaluation value in the video transmission system of the present invention.
[0038]
In the figure, f11, f12, f13, and f14 are measured values at the first stage codec when the test image “Flamingo” is transmitted at 40 Mbps, 30 Mbps, 20 Mbps, and 10 Mbps, respectively. , F23, and f24 are measured values in the second-stage codec when the test image “flamingo” is transmitted at 40 Mbps, 30 Mbps, 20 Mbps, and 10 Mbps, respectively. The same applies to other test images.
[0039]
Therefore, the image quality evaluation
[0040]
In the above embodiment, the invisible marker is put on the AC component obtained by removing the DC component from the input signal XB (n). This is a feature of orthogonal transform coding (MPEG etc.). Considering image compression by reducing AC component information, the present invention does not necessarily limit the codec system to a system using orthogonal transform coding. Therefore, the input signal XB (n) is not necessarily a DC signal. There is no need to remove the components. That is. The DC
[0041]
Next, the present inventor has found that the marker embedding strength may be changed by changing the step size M when embedding the marker for each picture of the image to be transmitted. That is, when the variance of
[0042]
M2 = σ2 / σ1 (4)
[0043]
Here,
[0044]
As described above, according to the present embodiment, an image quality evaluation value can be obtained by connecting a marker detection device to a decoder existing at an arbitrary position regardless of the number of encoder / decoder pairs in the video transmission chain. Can be calculated. In addition, the image quality evaluation apparatus according to the present embodiment does not depend on the encoder / decoder scheme, and therefore can be applied to any encoder / decoder scheme.
[0045]
【The invention's effect】
As is apparent from the above description, according to the image processing apparatus of the present invention, an invisible marker is embedded in a predetermined frequency component, and an input image signal in which the invisible marker is embedded is spread in spectrum and transmitted. Therefore, the invisible marker regarded as noise is spread over a wide band. For this reason, noise is extremely small, and image quality degradation due to the invisible marker is extremely small.
[0046]
Further, the image quality evaluation apparatus of the present invention spectrally despreads the decoded image signal, detects an invisible marker from a predetermined frequency component among the frequency components of the image signal subjected to spectral despreading, and detects the invisible marker. In this case, a positive detection rate or a false detection rate between the invisible marker and the invisible marker embedded in the image processing apparatus is calculated, and the image quality evaluation value is estimated based on the calculation result. Image quality can be evaluated. In addition, it is possible to estimate an image quality evaluation value with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an embodiment of an image processing apparatus of the present invention.
FIG. 2 is a flowchart showing an operation of an invisible marker embedding unit in FIG. 1;
FIG. 3 is a specific explanatory diagram of the operation of FIG. 2;
FIG. 4 is a block diagram showing a schematic configuration of an embodiment of the image quality evaluation apparatus of the present invention.
FIG. 5 is a graph showing a relationship between a false detection rate and an image quality evaluation value.
FIG. 6 is a block diagram of an example of a video transmission system to which the present invention is applied.
[Explanation of symbols]
DESCRIPTION OF
Claims (9)
前記入力画像信号の交流成分をスペクトル拡散するスペクトル拡散部と、
該スペクトル拡散部でスペクトル拡散された前記入力画像信号の周波数成分のうち、予め定められた周波数成分に不可視マーカを埋め込む不可視マーカ埋め込み部と、
該不可視マーカ埋め込み部で不可視マーカを埋め込まれた前記入力画像信号を逆拡散するスペクトル逆拡散部とを具備したことを特徴とする画像処理装置。Means for extracting the AC component of the input image signal;
A spread spectrum unit that spreads the AC component of the input image signal;
An invisible marker embedding unit that embeds an invisible marker in a predetermined frequency component among the frequency components of the input image signal that has been spectrum spread by the spectrum spreading unit;
An image processing apparatus comprising: a spectrum despreading unit that despreads the input image signal in which the invisible marker is embedded by the invisible marker embedding unit.
該デコーダでデコードされた画像信号から交流成分を抽出する手段と、
該交流成分をスペクトル拡散するスペクトル拡散部と、
該スペクトル拡散部でスペクトル拡散された前記画像信号の周波数成分のうち、予め定められた周波数成分から不可視マーカを検出するマーカ検出部と、
該マーカ検出部で検出された不可視マーカと、前記画像処理装置で埋め込まれたのと同じ不可視マーカとの正検出率または誤検出率を演算する演算手段とを具備し、
該演算手段の結果を基に画質評価値を推定するようにしたことを特徴とする画質評価装置。A decoder for receiving and decoding an image signal transmitted by encoding an image signal including an invisible marker embedded in the image processing apparatus according to claim 1;
Means for extracting an AC component from the image signal decoded by the decoder ;
A spectrum diffusing section for spectrum diffusing the alternating current component ;
A marker detection unit for detecting an invisible marker from a predetermined frequency component among the frequency components of the image signal spectrum-spread by the spectrum spreading unit;
A calculation means for calculating a positive detection rate or a false detection rate between the invisible marker detected by the marker detection unit and the same invisible marker embedded in the image processing device;
An image quality evaluation apparatus characterized in that an image quality evaluation value is estimated based on a result of the calculation means.
前記演算手段は、該2値情報信号と受信側で生成された前記画像処理装置で埋め込まれたのと同じ2値情報信号とを比較することを特徴とする請求項7または8に記載の画質評価装置。The marker detection unit detects a binary information signal by obtaining an amplitude of the same frequency component as the invisible marker embedded in the image processing device,
The image quality according to claim 7 or 8, wherein the arithmetic means compares the binary information signal with the same binary information signal embedded in the image processing apparatus generated on the receiving side. Evaluation device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000194710A JP4479980B2 (en) | 2000-06-28 | 2000-06-28 | Image processing apparatus and image quality evaluation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000194710A JP4479980B2 (en) | 2000-06-28 | 2000-06-28 | Image processing apparatus and image quality evaluation apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002016946A JP2002016946A (en) | 2002-01-18 |
JP4479980B2 true JP4479980B2 (en) | 2010-06-09 |
Family
ID=18693492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000194710A Expired - Lifetime JP4479980B2 (en) | 2000-06-28 | 2000-06-28 | Image processing apparatus and image quality evaluation apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4479980B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100361495C (en) * | 2004-06-23 | 2008-01-09 | 夏普株式会社 | Image processing method, image processing apparatus and image forming apparatus |
CN103841411B (en) * | 2014-02-26 | 2015-10-28 | 宁波大学 | A kind of stereo image quality evaluation method based on binocular information processing |
-
2000
- 2000-06-28 JP JP2000194710A patent/JP4479980B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002016946A (en) | 2002-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1871115B1 (en) | Motion estimation method and apparatus for fast motion estimation | |
KR100934539B1 (en) | How to Measure Multimedia Video Communication Quality | |
EP1937002B1 (en) | Method and device for estimating the image quality of compressed images and/or video sequences | |
JP4101132B2 (en) | Video sequence blur evaluation method | |
JP2005527159A (en) | Method and system for estimating objective quality of compressed video data | |
JP2004500728A (en) | Data preparation and digital watermark insertion method | |
Sheikh et al. | Blind quality assessment for JPEG2000 compressed images | |
EP0985318B1 (en) | System for extracting coding parameters from video data | |
KR20020019563A (en) | Watermark detection | |
JP4194029B2 (en) | Automatic image degradation detection device | |
US20090060027A1 (en) | Compressed Signal Subjective Quality Ratings Prediction | |
JP2006505173A (en) | Digital watermarking method for variable bit rate signal | |
US20120207212A1 (en) | Visually masked metric for pixel block similarity | |
JP2005064679A (en) | Image feature value extracting method and image quality evaluating method | |
Sugimoto et al. | Objective measurement scheme for perceived picture quality degradation caused by MPEG encoding without any reference pictures | |
JP4479980B2 (en) | Image processing apparatus and image quality evaluation apparatus | |
JP4026754B2 (en) | Image quality degradation detection device | |
Shanableh | No-reference PSNR identification of MPEG video using spectral regression and reduced model polynomial networks | |
WO2010103112A1 (en) | Method and apparatus for video quality measurement without reference | |
JP4492992B2 (en) | Marker signal deterioration detection method and image quality evaluation apparatus for image quality evaluation | |
JP2007043642A (en) | Video quality evaluation apparatus, method and program | |
Farias et al. | Video quality assessment based on data hiding driven by optical flow information | |
EP2544142A1 (en) | Method for watermark detection using reference blocks comparison | |
JP4133788B2 (en) | Coding error estimation method and coding error estimation apparatus | |
JP4169161B2 (en) | Video watermarking device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100310 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100311 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4479980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160326 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |