JP4479980B2

JP4479980B2 - Image processing apparatus and image quality evaluation apparatus

Info

Publication number: JP4479980B2
Application number: JP2000194710A
Authority: JP
Inventors: 修杉本; 亮一川田; 正裕和田; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2000-06-28
Filing date: 2000-06-28
Publication date: 2010-06-09
Anticipated expiration: 2020-06-28
Also published as: JP2002016946A

Description

【０００１】
【発明の属する技術分野】
この発明は画質評価のための画像処理装置および画質評価装置に関し、特に、映像伝送系において、原画（リファレンス画像）を用いることなく画質を評価できるようにするための画像処理装置および画質評価装置に関する。
【０００２】
【従来の技術】
近年、映像伝送のディジタル化が急速に進行しており、これに伴い、映像伝送系の運用および監視支援の開発が重要な課題となっている。この課題の一つに画質評価があり、画質評価方法には、大別して、主観方法と客観方法がある。主観方法は、人間による主観評価が主であり、運用者への負担が大きいため、原画を参照する自動画質評価方法が提案されている。しかし、この自動画質評価方法は、原画を参照するため、実伝送の画質評価には使用することができない。そこで、原画を必要としない客観画質評価方法が提案されている。
【０００３】
その一つに、本発明者等により提案された、「不可視信号埋め込みによる絶対画質客観評価方式」（２０００年３月発行、映像情報メディア学会技術報告ＢＳＣ２０００−１４）がある。この方式は、符号化ビットストリーム（ＤＣＴ係数）にマーカ信号を埋め込み、画質評価をするものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記方式では、送信端から受信端の間（End to End) にコーデックが多段接続されている場合に受信端の画質を評価するには、各段でマーカ信号の挿入・検出を行う必要が生じ、手順あるいは操作が煩雑であるという問題があった。また、ＭＰＥＧ方式以外のコーデックには、適用できないという問題もあった。また、実伝送において、原画を用いずに正確な画質評価を実現する方法は、まだ確立されていない。
【０００５】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、不可視信号の埋め込みによる画質劣化が小さく、画質推定の精度が高く、またコーデックの段数・方式に依存せずに画質評価をすることのできる画像処理装置および画質評価装置を提供することにある。
【０００６】
前記した目的を達成するために、本発明は、画像処理装置が、入力画像信号の交流成分を抽出する手段と、前記入力画像信号の交流成分をスペクトル拡散するスペクトル拡散部と、該スペクトル拡散部でスペクトル拡散された前記入力画像信号の周波数成分のうち、予め定められた周波数成分に不可視マーカを埋め込む不可視マーカ埋め込み部と、該不可視マーカ埋め込み部で不可視マーカを埋め込まれた前記入力画像信号を逆拡散するスペクトル逆拡散部とを具備した点に第１の特徴がある。
【０００７】
この特徴によれば、入力画像信号に埋め込んだ不可視マーカがスペクトル拡散されて伝送されるので、ノイズである不可視マーカは広帯域に拡散されることになる。このため、ノイズは極めて小さいものとなり、該不可視マーカによる画質劣化は、極めて小さいものになる。
【０００８】
また、本発明は、前記画像処理装置で埋め込まれた不可視マーカを含む画像信号をエンコードして送信された画像信号を受信してデコードするデコーダと、該デコーダでデコードされた画像信号をスペクトル拡散するスペクトル拡散部と、該スペクトル拡散部でスペクトル拡散された前記画像信号の周波数成分のうち、予め定められた周波数成分から不可視マーカを検出するマーカ検出部と、該マーカ検出部で検出された不可視マーカと、前記画像処理装置で埋め込まれた不可視マーカとの正検出率または誤検出率を演算する演算手段とを具備し、該演算手段の結果を基に画質評価値を推定するようにした点に第２の特徴がある。
【０００９】
この特徴によれば、映像伝送チェーン中のコーデックの方式に依存しない画質評価をすることができ、かつ画質推定の精度を向上させることができるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明が適用される映像伝送系の一例および本発明の概要について説明する。
【００１１】
本発明では、該映像伝送系の一例として、図６に示されているような映像伝送チェーンを想定する。映像伝送チェーンとは、複数のコーデックや方式変換器などを含む映像伝送ネットワークのことである。送信装置１０には、後で詳述する本発明による画像処理装置としての不可視信号埋め込み装置１１が設けられており、入力画像に不可視信号あるいは不可視マーカが埋め込まれる。該不可視マーカが埋め込まれた画像信号はエンコーダ１２で符号化され、映像伝送チェーンに送出される。映像伝送チェーンは、図示の例では、デコーダ２１とエンコーダ２２の組がｎ組連結された映像伝送ネットワークから構成されており、該ｎ組のデコーダ２１とエンコーダ２２の方式は、同じであっても異なっていてもよい。
【００１２】
本発明では、映像伝送チェーン中の任意の位置で埋め込まれた不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。すなわち、デコーダ２１とエンコーダ２２の第１組目でも、第ｎ組目でも、最終の組においてでも、各組のデコーダ２１の出力にマーカ検出装置２３を接続することにより不可視信号を検出し、その検出結果をもとに画質評価値を計算することができる。なお、不可視信号埋め込み装置１１およびマーカ検出装置２３は映像伝送チェーン中の他の装置とは独立して存在しているので、該他の装置は汎用の製品を使用することができるようになる。
【００１３】
次に、本発明の画像処理装置の一実施形態を具体的に説明する。図１は、前記不可視信号埋め込み装置１１の構成を示すブロック図である。
【００１４】
不可視信号の埋め込みは、任意のサイズの画素ブロック（Ｎ×Ｎ）単位で行われる。ここに、Ｎは正の整数であり、ＭＰＥＧ２で符号化する場合には、マクロブロック（１６×１６画素）が好適であるが、本発明はこれに限定されるものではない。このため、不可視信号埋め込み装置１１には、入力画像がブロック単位に区切られて入力される。この入力信号をＸB(n)とする。
【００１５】
入力信号ＸB(n)は、直流成分計算部３１と遅延部３２に入力する。直流成分計算部３１は、画素ブロック（Ｎ×Ｎ画素）の画素信号ＸB(n)の平均値を下記の(1) 式で計算する。その結果を直流成分Ｄ(s) とする。ここに、Ｓは１フレーム（または、フィールド）のブロックの番号である。
【００１６】
【数１】

【００１７】
該直流成分Ｄ(s) は、減算器３３と加算器４０に送られる。減算器３３には、遅延部３２で少なくとも直流成分計算部３１の演算時間分遅延された画素信号ＸB(n)が入力し、減算器３３は画素信号ＸB(n)から前記直流成分Ｄ(s) を減算することにより、入力信号ＸB(n)から交流成分ＸA(n)のみを抽出する。
【００１８】
交流成分ＸA(n)は、乗算器３４でＰＮ系列ＳPN(n) と乗算され、スペクトル拡散される。乗算器３４の出力は、ＸA(n)×ＳPN(n) となる。ここに、ＰＮ系列ＳPN(n) は、１と−１のランダムな系列である。なお、スペクトル拡散は周知であるので、詳細な説明は省略する。
【００１９】
該乗算器３４の出力ＸA(n)×ＳPN(n) は、フーリエ変換部（ＦＦＴ）３５に入力する。該フーリエ変換部３５の出力である拡散スペクトルＸss[k] は、下記の(2) 式のようになる。
【００２０】
Ｘss[k] ＝Ｆ｛ＸA(n)×ＳPN(n) ｝ …(2)
【００２１】
ここで、Ｆはフーリエ変換を表す。
【００２２】
不可視マーカ埋め込み部３６は、拡散スペクトルＸss[k] のうち、任意の周波数の値を操作することで、不可視マーカを埋め込む。不可視マーカを埋め込む注目する周波数をｋ0 、操作する周波数成分の振幅をＡで表すと、該振幅Ａは下記の(3) 式となる。
【００２３】
Ａ＝｜Ｘss[k0]｜ …(3)
【００２４】
不可視マーカ埋め込み部３６は、次いで、振幅Ａを図２のフローチャートで示される機能を用いて振幅Ａを変更または操作し、マーカ埋め込みを行う。該マーカ埋め込みは、乱数生成器（ＲＮＧ）３７で生成された予め定められた情報ビット列ｂi （ｂi ＝１または０）を埋め込むことにより行われる。すなわち、本実施形態では、振幅Ａをある量子化ステップサイズＭで量子化することにより得られるレベル（量子化代表値）Ｑの偶奇によって、情報ビットを判定する。具体的には、振幅Ａが偶数の時には情報ビット０、Ａが奇数の時には情報ビット１と判定する。なお、乱数生成器（ＲＮＧ）３７は、これに乱数種が与えられると、周知のように、予定の埋め込み情報ビット｛ｂi ｝を出力する。
【００２５】
次に、該不可視マーカ埋め込み部３６の振幅Ａの変更または操作方法を、図２のフローチャートを参照して説明する。
【００２６】
不可視マーカ埋め込み部３６に、前記操作する周波数成分の振幅Ａが与えられると、該不可視マーカ埋め込み部３６は、ステップＳ１にて、Ａ／Ｍの演算を行い、その商（整数部分）Ｑを求める。ステップＳ２では、前記商Ｑを２で割った余り（Ｑｍｏｄ２）により、該商Ｑが偶数であるか奇数であるかを判断し、前記乱数生成器（ＲＮＧ）３７から与えられた情報ビット列ｂi と一致しているか不一致かを判断する。この判断が肯定であると、ステップＳ３に進み、前記振幅ＡがＡ' ，すなわちＡ' ＝（Ｑ＋１／２）Ｍとなるように、Ａを操作する。
【００２７】
ステップＳ２の判断が否定の時には、ステップＳ４に進み、ＱＭ≦Ａ≦（Ｑ＋１／２）Ｍが成立するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ５に進み、前記振幅ＡがＡ' ＝（Ｑ−１／２）Ｍとなるように操作される。ステップＳ４の判断が否定の時には、ステップＳ６に進んで、（Ｑ＋１／２）Ｍ≦Ａ≦（Ｑ＋１）Ｍが成立するか否かの判断がなされる。この判断が肯定の時には、ステップＳ７に進んで、前記振幅ＡがＡ' ＝（Ｑ＋３／２）Ｍとなるように操作される。この判断が否定の時には、処理を終了する。
【００２８】
前記ステップＳ３、Ｓ５およびＳ７の操作は、マーカ埋め込み後の振幅Ａ' が、必ず量子化レベルＱとＱ±１の中間に配置されるようにするための操作である。次に、前記ステップＳ３、Ｓ５およびＳ７の操作を図３の具体例により説明する。図３は、Ｍ＝２００、Ａ＝８５０、埋め込み情報ビット０の場合のマーカ埋め込み例を示す。
【００２９】
図３の上段に示されているように、原画の操作される周波数成分の振幅Ａが８５０であると、Ａ／Ｍ＝８５０／２００＝４．２５となって、その整数部分Ｑは「４」となる（ステップＳ１）。次に、この４を２で割り算した余りは０であるので、Ａ＝８５０は乱数生成器３７から与えられた情報ビットｂi ＝０と一致していることが分かる（ステップＳ２が肯定）。そこで、該振幅ＡはＡ' ＝（Ｑ＋１／２）Ｍ＝９００、すなわち量子化レベルＱとＱ＋１の中間に来るように操作されて埋め込まれる。
【００３０】
なお、このように、振幅Ａ' が必ず量子化レベルＱとＱ±１の中間に配置されるようにする操作をするのは、Ａ＝８５０はビット１と０の境界（Ａ＝８００）に近いため、伝送途中のわずかな振幅変動でビット１の領域に侵入して、画質が大きく劣化したと誤判断されるのを防止するためである。
【００３１】
上記のようにしてマーカを埋め込まれた周波数成分を含む拡散スペクトルＸss'[k]は不可視マーカ埋め込み部３６から出力され、図１に示されているように、フーリエ逆変換部（ＩＦＦＴ）３８でフーリエ逆変換され、空間域信号に戻される。次に、該空間域信号は、乗算器３９でＰＮ系列ＳPN(n) と乗算され、スペクトル逆拡散される。次いで、加算器４０で、最初に除去した直流成分が加えられ、不可視信号埋め込み装置１１の出力Ｘ'B(n) が得られる。
【００３２】
上記のマーカ付加により、入力画像ＸB(n)にはノイズが重畳されることになるが、このノイズは乗算器３９によるスペクトル拡散により広帯域に拡散されるため、結果的には、ノイズは極めて小さいものとなり、該マーカによる画質劣化は、極めて小さいものになる。すなわち、例えば図６の出力画像の画質劣化は、極めて小さいものになる。
【００３３】
次に、図６のマーカ検出装置２３の具体的構成を、図４のブロック図を参照して説明する。いま、デコーダ２１で復号され、画素ブロック（Ｎ×Ｎ）に分割された入力信号ＹB(n)がマーカ検出装置２３に入力してくると、該入力信号ＹB(n)は直流成分計算部４１と遅延部４２に入力される。直流成分計算部４１は、前記直流成分計算部３１と同様に、画素ブロック（Ｎ×Ｎ）の画素信号ＹB(n)の平均値を前記(1) 式で計算し、その結果の直流成分Ｄ(s) を減算器４３に出力する。減算器４３には、遅延部４２で少なくとも直流成分計算部４１の演算時間分遅延された画素信号ＹB(n)が入力し、減算器４３は画素信号ＹB(n)から前記直流成分Ｄ(s) を減算することにより、入力信号ＹB(n)から交流成分ＹA(n)のみを抽出する。
【００３４】
乗算器４４は、該画素信号ＹB(n)にＰＮ系列ＳPN(n) を乗算し、スペクトル拡散する。しかし、前記マーカに関しては、該マーカは乗算器４４でスペクトル逆拡散される。続いて、該スペクトル拡散された信号は、フーリエ変換部４５でフーリエ変換され、マーカ検出部４６で、マーカが埋め込まれた周波数成分の振幅Ａ' を量子化ステップサイズＭで割り算したＡ' ／Ｍの商が偶数であるか奇数であるかの判断がなされる。マーカ検出部４６は、該偶奇の判断結果に基づいて、検出情報ビット列｛ｂi'｝を出力する。比較部４７は、前記乱数生成器３７と同じ乱数種を付与された乱数生成器４８から出力される情報ビット列｛ｂi ｝と前記検出情報ビット列｛ｂi'｝とを比較し、比較結果（正検出／誤検出信号）を誤検出率演算部４９に出力する。
【００３５】
図３の例では、その最下段に示されているように、マーカ検出部４６は、送信側でマーカを埋め込んだのと同じ周波数の振幅Ａ' がＡ' ＝８２０であれば、８２０／２００の商Ｑは偶数であるので、ｂi'＝０を出力する。そして、比較部４７は正検出信号を誤検出率演算部４９に出力する。一方、Ａ' ＝１１２０であれば、１１２０／２００の商Ｑは奇数であるので、ｂi'＝１を出力する。この結果、比較部４７は誤検出信号を誤検出率演算部４９に出力する。
【００３６】
以上のようにして誤検出率が求まると、該誤検出率は画質評価値推定部５０に送られ、画質評価値が求められる。次に、該画質評価値推定部５０の一具体例の構成を、図５を参照して説明する。
【００３７】
図５は、本発明製品を出荷する前に、予め実験室あるいは工場内等で測定した、誤検出率［％］と画質評価値（ＲＳＮＲ）［ｄＢ］との関係を示すグラフである。実験には、周知のテスト画像、フラミンゴ、グリーンリーブス、マーチンング、サッカーなどを用い、これらの画像に、本発明による不可視信号を埋め込み、映像伝送チェーンに送出した。そして、第１段目のコーデック、第２段目のコーデックで誤検出率を求め、また原画との比較により画質評価値を求め、該誤検出率と画質評価値を、横軸を誤検出率、縦軸を画質評価値とするグラフ上にプロットした。そうすると、各プロット点に非常に良く適合した近似曲線ａが得られた。これにより、本発明者は、本発明の映像伝送系において、誤検出率と画質評価値との間に、良好な相関があることを発見した。
【００３８】
なお、図中のｆ11，ｆ12，ｆ13，ｆ14は、それぞれ、テスト画像「フラミンゴ」を４０Mbps、３０Mbps、２０Mbps、１０Mbpsで伝送した時の第１段目のコーデックでの測定値であり、ｆ21，ｆ22，ｆ23，ｆ24は、それぞれ、テスト画像「フラミンゴ」を４０Mbps、３０Mbps、２０Mbps、１０Mbpsで伝送した時の第２段目のコーデックでの測定値である。他のテスト画像についても、同様である。
【００３９】
そこで、画質評価値推定部５０には、図５の曲線ａのグラフを収納した。前記誤検出率演算部４９から誤検出率が入力してくると、画質評価値推定部５０は該グラフの曲線ａから画質評価値（ＲＳＮＲ）を求める。なお、画質評価値ＳＮＲを求めようとすれば、縦軸を画質評価値ＳＮＲとするグラフを作っても良いし、画質評価値ＲＳＮＲから求めても良い。画質評価値ＲＳＮＲから画質評価値ＳＮＲが容易に求まることは当業者には自明である。
【００４０】
なお、以上の実施形態では、入力信号ＸB(n)から直流成分を除去した交流成分に不可視マーカを乗せるようにしたが、これは、直交変換符号化（ＭＰＥＧ等）の特徴として、入力信号の交流成分の情報を削減することにより画像圧縮を行うことに配慮したものであり、本発明はコーデックの方式は直交変換符号化を用いた方式に限定されないので、必ずしも入力信号ＸB(n)から直流成分を除去する必要はない。すなわち。図１の直流成分計算部３１、遅延部３２、減算部３３等は必須の構成要件ではなく、削除してもよい。
【００４１】
次に、本発明者は、マーカ埋め込みの際のステップサイズＭを、送信する画像の絵柄ごとに変更して、マーカ埋め込み強度を変化させるのが良いことを見出した。すなわち、絵柄１の分散をσ1 ² 、絵柄２の分散をσ2 ² とし、絵柄１に対してステップサイズＭ1 でマーカ埋め込みを行った場合、絵柄２のステップサイズＭ2 を次の(4) 式で定めるのがよいことを見出した。
【００４２】
Ｍ2 ＝σ2 ／σ1 …(4)
【００４３】
ここで、σ1 ² 、σ2 ² は、スペクトル拡散を行うＮ×Ｎブロックにおける分散の平均値である。
【００４４】
以上のように、本実施形態によれば、映像伝送チェーン中にエンコーダ・デコーダ対が何段あろうとも、また任意の位置に存在するデコーダにマーカ検出装置を接続することにより、画質評価値を計算することができる。また、本実施形態の画質評価装置は、前記エンコーダ・デコーダの方式に依存しないので、どのようなエンコーダ・デコーダの方式にも適用することができる。
【００４５】
【発明の効果】
以上の説明から明らかなように、本発明の画像処理装置によれば、予め定められた周波数成分に不可視マーカを埋め込み、該不可視マーカを埋め込んだ入力画像信号をスペクトル拡散して伝送するようにしているので、ノイズとみなされる不可視マーカは広帯域に拡散されることになる。このため、ノイズは極めて小さいものとなり、該不可視マーカによる画質劣化は、極めて小さいものになる。
【００４６】
また、本発明の画質評価装置は、デコードされた画像信号をスペクトル逆拡散し、スペクトル逆拡散された前記画像信号の周波数成分のうち、予め定められた周波数成分から不可視マーカを検出し、検出された不可視マーカと、前記画像処理装置で埋め込まれた不可視マーカとの正検出率または誤検出率を演算し、該演算結果を基に画質評価値を推定するようにしているので、リファレンス画像なしに画質評価をすることができるようになる。また、精度の高い画質評価値を推定することができるようになる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施形態の概略の構成を示すブロック図である。
【図２】図１の不可視マーカ埋め込み部の動作を示すフローチャートである。
【図３】図２の動作の具体的説明図である。
【図４】本発明の画質評価装置の一実施形態の概略の構成を示すブロック図である。
【図５】誤検出率と画質評価値の関係を示すグラフである。
【図６】本発明が適用される映像伝送系の一例のブロック図である。
【符号の説明】
１０…送信装置、２３…マーカ検出装置、３１、４１…直流成分計算部、３３、４３…減算器、３４、３９、４４…乗算器、３５、４５…フーリエ変換器、３６…不可視マーカ埋め込み部、３７、４８…乱数生成器、３８…フーリエ逆変換器、４６…マーカ検出部、４７…比較部、４９…誤検出率演算部、５０…画質評価値推定部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image quality evaluation apparatus for image quality evaluation, and more particularly to an image processing apparatus and an image quality evaluation apparatus for enabling image quality evaluation without using an original image (reference image) in a video transmission system. .
[0002]
[Prior art]
In recent years, digitalization of video transmission has progressed rapidly, and accordingly, operation of video transmission systems and development of monitoring support have become important issues. One of the problems is image quality evaluation. Image quality evaluation methods are roughly classified into a subjective method and an objective method. The subjective method is mainly subjectivity evaluation by humans and has a heavy burden on the operator. Therefore, an automatic image quality evaluation method that refers to the original image has been proposed. However, since this automatic image quality evaluation method refers to an original image, it cannot be used for image quality evaluation of actual transmission. Therefore, an objective image quality evaluation method that does not require an original image has been proposed.
[0003]
One of them is an “absolute image quality objective evaluation method by invisible signal embedding” proposed by the present inventors (MSC 2000 Technical Report BSC 2000-14). This method embeds a marker signal in an encoded bit stream (DCT coefficient) and evaluates the image quality.
[0004]
[Problems to be solved by the invention]
However, in the above method, when a multistage codec is connected between the transmitting end and the receiving end (End to End), it is necessary to insert and detect marker signals at each stage in order to evaluate the image quality at the receiving end. There is a problem that the procedure or operation is complicated. There is also a problem that it cannot be applied to codecs other than the MPEG system. Moreover, a method for realizing accurate image quality evaluation without using an original image in actual transmission has not been established yet.
[0005]
The present invention has been made in view of the above-described prior art, and its purpose is that image quality deterioration due to invisible signal embedding is small, image quality estimation accuracy is high, and image quality is not dependent on the number of codec stages and methods. An object of the present invention is to provide an image processing apparatus and an image quality evaluation apparatus that can perform evaluation.
[0006]
In order to achieve the above-described object, the present invention provides an image processing device for extracting an AC component of an input image signal , a spectrum spreading unit that spreads the AC component of the input image signal, and the spectrum spreading unit. The invisible marker embedding unit that embeds an invisible marker in a predetermined frequency component among the frequency components of the input image signal that has been subjected to spectrum spreading in reverse, and the input image signal in which the invisible marker is embedded by the invisible marker embedding unit are reversed. The first feature is that it comprises a spectrum despreading section that diffuses.
[0007]
According to this feature, since the invisible marker embedded in the input image signal is transmitted after being spectrum-spread, the invisible marker that is noise is spread over a wide band. For this reason, noise is extremely small, and image quality degradation due to the invisible marker is extremely small.
[0008]
According to another aspect of the present invention, there is provided a decoder for receiving and decoding an image signal transmitted by encoding an image signal including an invisible marker embedded by the image processing device, and spectrum-spreading the image signal decoded by the decoder. A spectrum spreader, a marker detector for detecting an invisible marker from a predetermined frequency component among the frequency components of the image signal spectrum spread by the spectrum spreader, and an invisible marker detected by the marker detector And a calculation means for calculating a positive detection rate or a false detection rate with the invisible marker embedded in the image processing device, and an image quality evaluation value is estimated based on a result of the calculation means. There is a second feature.
[0009]
According to this feature, image quality evaluation independent of the codec system in the video transmission chain can be performed, and the accuracy of image quality estimation can be improved.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. First, an example of a video transmission system to which the present invention is applied and an outline of the present invention will be described.
[0011]
In the present invention, a video transmission chain as shown in FIG. 6 is assumed as an example of the video transmission system. The video transmission chain is a video transmission network including a plurality of codecs, system converters, and the like. The transmitting device 10 is provided with an invisible signal embedding device 11 as an image processing device according to the present invention, which will be described in detail later, and an invisible signal or an invisible marker is embedded in the input image. The image signal in which the invisible marker is embedded is encoded by the encoder 12 and sent to the video transmission chain. In the example shown in the figure, the video transmission chain is composed of a video transmission network in which n sets of decoders 21 and encoders 22 are connected, and the systems of the n sets of decoders 21 and encoders 22 are the same. May be different.
[0012]
In the present invention, an invisible signal embedded at an arbitrary position in the video transmission chain is detected, and an image quality evaluation value can be calculated based on the detection result. That is, in the first set, the nth set, and the final set of the decoder 21 and the encoder 22, an invisible signal is detected by connecting the marker detection device 23 to the output of the decoder 21 of each set, An image quality evaluation value can be calculated based on the detection result. Since the invisible signal embedding device 11 and the marker detection device 23 exist independently from other devices in the video transmission chain, the other devices can use general-purpose products.
[0013]
Next, an embodiment of the image processing apparatus of the present invention will be specifically described. FIG. 1 is a block diagram showing a configuration of the invisible signal embedding device 11.
[0014]
The invisible signal is embedded in units of pixel blocks (N × N) having an arbitrary size. Here, N is a positive integer, and a macroblock (16 × 16 pixels) is suitable for encoding in MPEG2, but the present invention is not limited to this. Therefore, the input image is input to the invisible signal embedding device 11 while being divided into blocks. This input signal is assumed to be XB (n).
[0015]
The input signal XB (n) is input to the DC component calculation unit 31 and the delay unit 32. The DC component calculation unit 31 calculates the average value of the pixel signals XB (n) of the pixel block (N × N pixels) by the following equation (1). The result is defined as a DC component D (s). Here, S is a block number of one frame (or field).
[0016]
[Expression 1]

[0017]
The DC component D (s) is sent to the subtracter 33 and the adder 40. The subtracter 33 receives the pixel signal XB (n) delayed at least by the calculation time of the DC component calculation unit 31 by the delay unit 32, and the subtractor 33 receives the DC component D (s) from the pixel signal XB (n). ) Is subtracted to extract only the AC component XA (n) from the input signal XB (n).
[0018]
The alternating current component XA (n) is multiplied by the PN sequence SPN (n) by the multiplier 34 and spread spectrum. The output of the multiplier 34 is XA (n) × SPN (n). Here, the PN sequence SPN (n) is a random sequence of 1 and -1. Since spread spectrum is well known, detailed description is omitted.
[0019]
The output XA (n) × SPN (n) of the multiplier 34 is input to a Fourier transform unit (FFT) 35. The spread spectrum Xss [k] that is the output of the Fourier transform unit 35 is expressed by the following equation (2).
[0020]
Xss [k] = F {XA (n) × SPN (n)} (2)
[0021]
Here, F represents a Fourier transform.
[0022]
The invisible marker embedding unit 36 embeds an invisible marker by operating an arbitrary frequency value in the spread spectrum Xss [k]. When the frequency of interest for embedding the invisible marker is represented by k0 and the amplitude of the frequency component to be operated is represented by A, the amplitude A is expressed by the following equation (3).
[0023]
A = | Xss [k0] | (3)
[0024]
Next, the invisible marker embedding unit 36 performs the marker embedding by changing or operating the amplitude A using the function shown in the flowchart of FIG. The marker embedding is performed by embedding a predetermined information bit string bi (bi = 1 or 0) generated by a random number generator (RNG) 37. That is, in the present embodiment, the information bit is determined based on the even / odd level (quantization representative value) Q obtained by quantizing the amplitude A with a certain quantization step size M. Specifically, information bit 0 is determined when the amplitude A is an even number, and information bit 1 is determined when A is an odd number. The random number generator (RNG) 37, when given a random number seed, outputs a predetermined embedded information bit {bi} as is well known.
[0025]
Next, a method for changing or operating the amplitude A of the invisible marker embedding unit 36 will be described with reference to the flowchart of FIG.
[0026]
When the amplitude A of the frequency component to be operated is given to the invisible marker embedding unit 36, the invisible marker embedding unit 36 calculates A / M and obtains the quotient (integer part) Q in step S1. . In step S2, whether the quotient Q is an even number or an odd number is determined based on the remainder (Qmod2) obtained by dividing the quotient Q by 2, and the information bit string bi given from the random number generator (RNG) 37 Determine whether they match or not. If this determination is affirmative, the process proceeds to step S3, and A is operated so that the amplitude A becomes A ', that is, A' = (Q + 1/2) M.
[0027]
When the determination in step S2 is negative, the process proceeds to step S4, where it is determined whether or not QM ≦ A ≦ (Q + 1/2) M is established. If this determination is affirmative, the process proceeds to step S5, The amplitude A is operated so that A ′ = (Q−1 / 2) M. When the determination in step S4 is negative, the process proceeds to step S6, where it is determined whether (Q + 1/2) M ≦ A ≦ (Q + 1) M is satisfied. When this determination is affirmative, the process proceeds to step S7, and the amplitude A is operated so that A ′ = (Q + 3/2) M. When this determination is negative, the process is terminated.
[0028]
The operations in steps S3, S5, and S7 are operations for ensuring that the amplitude A ′ after the marker embedding is arranged between the quantization levels Q and Q ± 1. Next, operations of steps S3, S5 and S7 will be described with reference to a specific example of FIG. FIG. 3 shows an example of marker embedding when M = 200, A = 850, and embedded information bit 0.
[0029]
As shown in the upper part of FIG. 3, when the amplitude A of the frequency component to be manipulated of the original picture is 850, A / M = 850/200 = 4.25, and the integer part Q is “4”. (Step S1). Next, since the remainder obtained by dividing 4 by 2 is 0, it can be seen that A = 850 matches the information bit bi = 0 given from the random number generator 37 (Yes in step S2). Therefore, the amplitude A is embedded such that A ′ = (Q + 1/2) M = 900, that is, the amplitude A is intermediate between the quantization levels Q and Q + 1.
[0030]
It should be noted that the operation for ensuring that the amplitude A ′ is arranged between the quantization levels Q and Q ± 1 is that A = 850 is at the boundary between bits 1 and 0 (A = 800). This is to prevent the image quality from being erroneously determined to have entered the bit 1 area with a slight amplitude fluctuation during transmission.
[0031]
The spread spectrum Xss ′ [k] including the frequency component in which the marker is embedded as described above is output from the invisible marker embedding unit 36, and as shown in FIG. 1, the inverse Fourier transform unit (IFFT) 38 Fourier transform is performed and returned to the spatial domain signal. Next, the spatial domain signal is multiplied by the PN sequence SPN (n) by the multiplier 39, and the spectrum is despread. Next, the adder 40 adds the DC component removed first, and the output X′B (n) of the invisible signal embedding device 11 is obtained.
[0032]
By adding the above marker, noise is superimposed on the input image XB (n). This noise is spread over a wide band by the spectrum spread by the multiplier 39, and as a result, the noise is extremely small. Therefore, image quality degradation due to the marker is extremely small. That is, for example, the image quality degradation of the output image in FIG. 6 is extremely small.
[0033]
Next, a specific configuration of the marker detection device 23 of FIG. 6 will be described with reference to the block diagram of FIG. Now, when the input signal YB (n) decoded by the decoder 21 and divided into pixel blocks (N × N) is input to the marker detection device 23, the input signal YB (n) is converted into a DC component calculation unit 41. Are input to the delay unit 42. Similarly to the DC component calculation unit 31, the DC component calculation unit 41 calculates the average value of the pixel signals YB (n) of the pixel block (N × N) by the above equation (1), and the resulting DC component D (s) is output to the subtractor 43. The subtracter 43 receives the pixel signal YB (n) delayed by at least the calculation time of the DC component calculation unit 41 by the delay unit 42, and the subtractor 43 receives the DC component D (s) from the pixel signal YB (n). ) Is subtracted to extract only the AC component YA (n) from the input signal YB (n).
[0034]
The multiplier 44 multiplies the pixel signal YB (n) by the PN sequence SPN (n) and spreads the spectrum. However, with respect to the marker, the marker is spectrally despread by the multiplier 44. Subsequently, the spectrum-spread signal is Fourier-transformed by the Fourier transform unit 45, and the marker detection unit 46 divides the amplitude A ′ of the frequency component in which the marker is embedded by the quantization step size M, A ′ / M A determination is made as to whether the quotient of is even or odd. The marker detection unit 46 outputs a detection information bit string {bi ′} based on the even / odd determination result. The comparison unit 47 compares the information bit string {bi} output from the random number generator 48 assigned the same random number seed as the random number generator 37 and the detected information bit string {bi '}, and compares the result (positive detection). / False detection signal) is output to the false detection rate calculator 49.
[0035]
In the example of FIG. 3, as shown in the lowermost stage, the marker detection unit 46 is 820/200 if the amplitude A ′ of the same frequency as the marker embedded on the transmission side is A ′ = 820. Since the quotient Q is even, bi ′ = 0 is output. Then, the comparison unit 47 outputs a positive detection signal to the erroneous detection rate calculation unit 49. On the other hand, if A ′ = 1120, the quotient Q of 1120/200 is an odd number, so bi ′ = 1 is output. As a result, the comparison unit 47 outputs an erroneous detection signal to the erroneous detection rate calculation unit 49.
[0036]
When the false detection rate is obtained as described above, the false detection rate is sent to the image quality evaluation value estimation unit 50 to obtain the image quality evaluation value. Next, the configuration of a specific example of the image quality evaluation value estimation unit 50 will be described with reference to FIG.
[0037]
FIG. 5 is a graph showing the relationship between the false detection rate [%] and the image quality evaluation value (RSNR) [dB] measured in advance in a laboratory or factory before shipping the product of the present invention. In the experiment, a well-known test image, flamingo, green leaves, marching, soccer, or the like was used, and invisible signals according to the present invention were embedded in these images and transmitted to the video transmission chain. Then, the false detection rate is obtained by the first-stage codec and the second-stage codec, and the image quality evaluation value is obtained by comparison with the original image. The horizontal axis represents the false detection rate and the image quality evaluation value. The graph was plotted on a graph with the vertical axis representing the image quality evaluation value. As a result, an approximate curve a that fits each plot point very well was obtained. Thus, the present inventor has found that there is a good correlation between the false detection rate and the image quality evaluation value in the video transmission system of the present invention.
[0038]
In the figure, f11, f12, f13, and f14 are measured values at the first stage codec when the test image “Flamingo” is transmitted at 40 Mbps, 30 Mbps, 20 Mbps, and 10 Mbps, respectively. , F23, and f24 are measured values in the second-stage codec when the test image “flamingo” is transmitted at 40 Mbps, 30 Mbps, 20 Mbps, and 10 Mbps, respectively. The same applies to other test images.
[0039]
Therefore, the image quality evaluation value estimation unit 50 stores the graph of the curve a in FIG. When an erroneous detection rate is input from the erroneous detection rate calculation unit 49, the image quality evaluation value estimation unit 50 obtains an image quality evaluation value (RSNR) from the curve a of the graph. If the image quality evaluation value SNR is to be obtained, a graph with the vertical axis representing the image quality evaluation value SNR may be created or may be obtained from the image quality evaluation value RSNR. It is obvious to those skilled in the art that the image quality evaluation value SNR can be easily obtained from the image quality evaluation value RSNR.
[0040]
In the above embodiment, the invisible marker is put on the AC component obtained by removing the DC component from the input signal XB (n). This is a feature of orthogonal transform coding (MPEG etc.). Considering image compression by reducing AC component information, the present invention does not necessarily limit the codec system to a system using orthogonal transform coding. Therefore, the input signal XB (n) is not necessarily a DC signal. There is no need to remove the components. That is. The DC component calculation unit 31, the delay unit 32, the subtraction unit 33, and the like shown in FIG. 1 are not essential components and may be deleted.
[0041]
Next, the present inventor has found that the marker embedding strength may be changed by changing the step size M when embedding the marker for each picture of the image to be transmitted. That is, when the variance of pattern 1 is σ1 ² and the variance of pattern 2 is σ2 ² and marker embedding is performed on pattern 1 with step size M1, the step size M2 of pattern 2 is determined by the following equation (4). I found that it was good.
[0042]
M2 = σ2 / σ1 (4)
[0043]
Here, σ 1 ² and σ ^{2 2} are average values of dispersion in N × N blocks for performing spectrum spreading.
[0044]
As described above, according to the present embodiment, an image quality evaluation value can be obtained by connecting a marker detection device to a decoder existing at an arbitrary position regardless of the number of encoder / decoder pairs in the video transmission chain. Can be calculated. In addition, the image quality evaluation apparatus according to the present embodiment does not depend on the encoder / decoder scheme, and therefore can be applied to any encoder / decoder scheme.
[0045]
【The invention's effect】
As is apparent from the above description, according to the image processing apparatus of the present invention, an invisible marker is embedded in a predetermined frequency component, and an input image signal in which the invisible marker is embedded is spread in spectrum and transmitted. Therefore, the invisible marker regarded as noise is spread over a wide band. For this reason, noise is extremely small, and image quality degradation due to the invisible marker is extremely small.
[0046]
Further, the image quality evaluation apparatus of the present invention spectrally despreads the decoded image signal, detects an invisible marker from a predetermined frequency component among the frequency components of the image signal subjected to spectral despreading, and detects the invisible marker. In this case, a positive detection rate or a false detection rate between the invisible marker and the invisible marker embedded in the image processing apparatus is calculated, and the image quality evaluation value is estimated based on the calculation result. Image quality can be evaluated. In addition, it is possible to estimate an image quality evaluation value with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an embodiment of an image processing apparatus of the present invention.
FIG. 2 is a flowchart showing an operation of an invisible marker embedding unit in FIG. 1;
FIG. 3 is a specific explanatory diagram of the operation of FIG. 2;
FIG. 4 is a block diagram showing a schematic configuration of an embodiment of the image quality evaluation apparatus of the present invention.
FIG. 5 is a graph showing a relationship between a false detection rate and an image quality evaluation value.
FIG. 6 is a block diagram of an example of a video transmission system to which the present invention is applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Transmission apparatus, 23 ... Marker detection apparatus, 31, 41 ... DC component calculation part, 33, 43 ... Subtractor, 34, 39, 44 ... Multiplier, 35, 45 ... Fourier transformer, 36 ... Invisible

marker embedding part

37, 48 ... random number generator, 38 ... inverse Fourier transformer, 46 ... marker detection unit, 47 ... comparison unit, 49 ... false detection rate calculation unit, 50 ... image quality evaluation value estimation unit.

Claims

Means for extracting the AC component of the input image signal;
A spread spectrum unit that spreads the AC component of the input image signal;
An invisible marker embedding unit that embeds an invisible marker in a predetermined frequency component among the frequency components of the input image signal that has been spectrum spread by the spectrum spreading unit;
An image processing apparatus comprising: a spectrum despreading unit that despreads the input image signal in which the invisible marker is embedded by the invisible marker embedding unit.

The image processing apparatus according to claim 1, wherein the invisible marker embedding unit embeds a binary information signal by changing an amplitude of the predetermined frequency component.

3. The image according to claim 2, wherein the invisible marker embedding unit quantizes the amplitude of the predetermined frequency component and embeds the binary information signal according to even / odd of the quantized representative value. 4. Processing equipment.

The invisible marker embedding unit is configured to change an embedding strength of an invisible marker by changing a quantization step size when quantizing an amplitude of the predetermined frequency component. The image processing apparatus according to 3.

5. A constant image quality evaluation value can be obtained regardless of the pattern by adaptively changing the embedding strength of the invisible marker according to the pattern of the input image signal. Image processing apparatus.

The invisible marker embedding unit can obtain a constant image quality evaluation value regardless of the pattern by changing the embedding strength of the invisible marker according to the signal dispersion of the input image signal. The image processing apparatus according to claim 4 or 5.

A decoder for receiving and decoding an image signal transmitted by encoding an image signal including an invisible marker embedded in the image processing apparatus according to claim 1;
Means for extracting an AC component from the image signal decoded by the decoder ;
A spectrum diffusing section for spectrum diffusing the alternating current component ;
A marker detection unit for detecting an invisible marker from a predetermined frequency component among the frequency components of the image signal spectrum-spread by the spectrum spreading unit;
A calculation means for calculating a positive detection rate or a false detection rate between the invisible marker detected by the marker detection unit and the same invisible marker embedded in the image processing device;
An image quality evaluation apparatus characterized in that an image quality evaluation value is estimated based on a result of the calculation means.

8. The image quality evaluation apparatus according to claim 7, wherein the decoder is an arbitrary decoder in a video transmission chain including a plurality of decoder / encoder pairs.

The marker detection unit detects a binary information signal by obtaining an amplitude of the same frequency component as the invisible marker embedded in the image processing device,
The image quality according to claim 7 or 8, wherein the arithmetic means compares the binary information signal with the same binary information signal embedded in the image processing apparatus generated on the receiving side. Evaluation device.