JP5723148B2

JP5723148B2 - 符号化装置

Info

Publication number: JP5723148B2
Application number: JP2010293818A
Authority: JP
Inventors: 俊枝三須; 善明鹿喰; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-12-28
Filing date: 2010-12-28
Publication date: 2015-05-27
Anticipated expiration: 2030-12-28
Also published as: JP2012142769A

Description

本発明は、符号化装置に係り、特に符号側からの効率的なデータ伝送により、復号側での信号品質を向上させるための符号化装置に関する。

従来、映像や画像等の符号化及び復号化においては、復号化された信号に後処理（例えば、デブロッキングフィルタ、ポストフィルタ、又はループフィルタ等）を行うことで画質の向上を図る方式が存在する。この場合、例えば映像信号において、符号化装置側で符号化を行うフレームやブロックに対し、復号化装置側で行われる後処理のパラメータを、復号時に取得可能な情報（例えば、符号化装置側で事前に復号したフレームやブロック等の情報）に基づいて決定する手法が存在する（例えば、特許文献１参照）。

また従来では、予め符号化前に前処理を行い、その前処理のパラメータを符号化データの付随情報として、その符号化データとは別に伝送し、復号化装置側において、その付随情報に基づいて後処理を行う音声符号化装置が存在する（例えば、特許文献２参照）。

更に、符号化において局所復号を行い、その局所復号結果に対して後処理を試行し、得られた後処理結果の画質が良好なものとなるように後処理のパラメータを自動的に最適化し、その最適化結果をサイド情報として復号化装置側に伝送する手法が存在する（例えば、非特許文献１参照）。

特開２００８−１７２８１３号公報特開２００２−４１０９７号公報

ＧａｒｙＪ．Ｓｕｌｌｉｖａｎ，ｅｔａｌ．，"ＮｅｗＳｔａｎｄａｒｄＥｘｔｅｎｓｉｏｎｓｏｆＭＰＥＧ４−ＡＶＣ／Ｈ．２６４ｆｏｒＰｒｏｆｅｓｓｉｏｎａｌ−ＱｕａｌｉｔｙＶｉｄｅｏＡｐｐｌｉｃａｔｉｏｎｓ"、ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＣＩＰ２００７，Ｉ−１３（２００７）．

しかしながら、上述した特許文献１に示されている手法では、これから符号化しようとする対象フレームや対象ブロックとは異なる（多くの場合には隣接する）参照フレームや参照ブロックの情報に基づいて、その対象フレームや対象ブロックの後処理パラメータを決定するため、必ずしも最適なパラメータが得られるとは限らない。

また、上述した非特許文献１に示されている手法では、上述した特許文献１の最適性の問題は解決できるものの、映像を符号化したビット列とは別に、後処理のパラメータを伝送する必要があった。すなわち、符号化の規格外の信号を別途伝送する必要があった。更に、特許文献２に示されている手法においても、パラメータを付随情報として別途伝送する必要があった。

本発明は、上述した問題点に鑑みなされたものであり、符号側からの効率的なデータ伝送により、復号側での信号品質を向上させるための符号化装置及び復号化装置を提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明は、入力信号を符号化して復号側に出力する符号化装置において、前記復号側で復号化された信号に対して行われる後処理用のパラメータを電子透かしとして、該電子透かしの埋め込み強度に対応させて、前記入力信号に埋め込む電子透かし埋め込み手段と、前記電子透かし埋め込み手段により前記パラメータが埋め込まれた信号を符号化する符号化手段と、前記符号化手段により得られる符号化信号を復号化する第１の復号化手段と、前記第１の復号化手段により得られる復号化信号に含まれる電子透かし情報から前記パラメータを検出する第１の電子透かし検出手段と、前記第１の電子透かし検出手段により得られる検出パラメータを用いて、前記復号化信号に対して後処理を行う第１の後処理手段と、前記第１の後処理手段により得られる後処理後の信号と、前記入力信号とを比較する比較手段と、前記比較手段により得られる比較結果に基づいて、前記後処理後の信号と前記入力信号との差分が予め設定された閾値以下となるか、又は、繰り返し回数が所定回数以上になるまで、前記電子透かし埋め込み手段において埋め込むべきパラメータ及び前記電子透かしの埋め込み強度を変更しながら、前記電子透かし埋め込み手段、前記符号化手段、前記第１の復号化手段、前記第１の電子透かし検出手段、前記第１の後処理手段、及び前記比較手段における処理を繰り返し実行させる最適化手段とを有することを特徴とする。

本発明によれば、符号側からの効率的なデータ伝送により、復号側での信号品質を向上させることができる。

本実施形態における符号化・復号化システムの概略構成の一例を示す図である。第１の実施形態における符号化装置の機能構成の一例を示す図である。第１の実施形態における符号化処理の一例を示すフローチャートである。本実施形態における復号化装置の機能構成の一例を示す図である。第２の実施形態における符号化装置の機能構成の一例を示す図である。

＜本発明について＞
本発明は、復号側での後処理による信号品質改善のためのパラメータを、例えば電子透かし等により伝送対象データ（例えば、画像、映像、音声等）に埋め込む。

以下に、上述したような特徴を有する本発明における符号化装置及び復号化装置を好適に実施した形態について、図面を用いて詳細に説明する。

＜符号化・復号化システム：概略構成例＞
まず、本実施形態における符号化装置、復号化装置を用いた符号化・復号化システムの概略構成例について、図を用いて説明する。図１は、本実施形態における符号化・復号化システムの概略構成の一例を示す図である。図１に示す符号化・復号化システム１０は、符号化装置１１と、復号化装置１２とを有する。また、符号化・復号化システムは、符号化装置１１により符号化されたデータを、伝送手段１３−１や蓄積手段１３−２等からなる出力手段１３により復号化装置１２に出力される。

符号化装置１１は、入力信号を符号化してビット列に変換するよう動作する。なお、入力信号の種類は、任意であり、例えば、画像（静止画像）信号、映像（動画像）信号、音声信号等が挙げられる。

また、符号化装置１１は、復号化装置１２の後処理により信号品質を向上させる処理を行うためのパラメータを電子透かしにより埋め込む。また、符号化装置１１は、復号化装置１２で行われる復号化処理及び後処理と同様の処理を行い、その結果から得られるデータと、入力データとを比較して差の少ない最適なパラメータの埋め込みを設定する。

なお、本実施形態における後処理とは、復号化装置１２において復号化処理（デコーディング）が行われた後のデータに対して行われる信号処理であり、例えば、時間領域、空間領域、又は時空間領域における線形或いは非線形の演算処理を意味し、その他にも非特許文献１に示されるようにフィルタを用いてよい結果を得られるものを探索するような手法や、元のデータに合うように意図的にノイズを付加したり、画像や映像データであれば超解像処理を行うといった処理も含む。また、本発明における後処理はこれに限定されるものではなく、復号化後のデータを符号化前のデータに近づけ、信号品質を向上させるための処理であれば広く適用することができる。

また、本実施形態におけるパラメータとしては、例えば、復号化装置での復号化処理で得られた信号に適用するフィルタのパラメータ（例えば、畳込みフィルタのタップ係数や高域通過型フィルタ、低域通過型フィルタ、帯域通過型フィルタ、帯域阻止型フィルタの遮断周波数、中央値フィルタ、順序統計フィルタ、モルフォロジ演算のカーネルの半径等）や、フィルタを適用する信号範囲（例えば、画像の局所領域等）を指定するパラメータ（例えば、中心や半径、バウンディングボックス、多角形の頂点座標列等）を用いることができるが、本発明においてはこれに限定されるものではなく、復号化後の後処理にて信号品質を向上させるための処理であれば広く適用することができる。

また、本実施形態における電子透かし手法についても、既存の電子透かし手法を広く適用することができる。例えば、画像データの場合には、二値画像における濃度パターン法やディザ法、誤差拡散法による埋め込み手法や、多値画像における画素置換法や画素空間利用法、周波数領域利用法による埋め込み手法、二値カラー画像におけるカラー濃度パターンや多値カラー画像におけるフレネル変換による埋め込み手法等を用いることができる。

また、映像データ（ＭＰＥＧ１，ＭＰＥＧ２）の場合には、時間軸差分埋め込み法や空間軸差分埋め込み法、レイヤ構造埋め込み法等を用いることができる。更に、ＭＰＥＧ４の場合には、上記の手法の他にも、ウェーブレット変換やスペクトル拡散方式による埋め込み手法等を用いることができる。

また、音声データの場合には、例えば、位相を変調する手法、聴覚特性としてのマスキングを利用した手法、量子化前の信号に対し感覚モデルを利用して音響データを制御する埋め込み手法や、量子化後の信号に対し標本音声波形の量子化符号のビットを制御する埋め込み手法、音楽データへのＰＮ系列を用いてエコー拡散する埋め込み方法等を用いることができる。

なお、本実施形態における埋め込み手法では、例えば上述した埋め込み手法のうち、特に透かし検出の際に原画を参照しないで検出できるタイプ（ブラインド型）を用いるのが好ましい。

更に、上述した各埋め込み手法においては、その埋め込み強度も任意に設定することができる。なお、埋め込み強度とは、強度が高い方が画像上に埋め込み内容が表示されやすいが、多くの情報を埋め込むことができるものである。

また、符号化装置１１は、上述したような後処理で用いられるパラメータ（例えば、所定の処理を実行するための数値データや文字データ等）を埋め込んだ符号化データを、出力手段１３を介して復号化装置１２に出力する。

復号化装置１２は、出力手段１３から得られる符号化装置１１で符号化されたデータを取得し、取得した符号化データに含まれる埋め込みパラメータを検出し、検出したパラメータに基づいて、対象のデータを復号する。これにより、信号の品質を向上させることができる。

なお、伝送手段１３−１は、例えば、放送電波や通信ネットワーク等を介して復号化装置１２に伝送するため、符号化装置１１より得られた符号化データを伝送可能なフォーマットにして出力を行う。また、蓄積手段１３−２は、例えば、ＣＤ−ＲＯＭや、ＤＶＤ、スマートメディア等の記録媒体を示し、その記録媒体に符号化されたデータを蓄積し、蓄積した記録媒体を復号化手段１２に送ることで、復号化側でその符号化されたデータを取得することができる。

なお、符号化・復号化システム１０における符号化データの伝送方式においては、上述した内容に限定されるものではなく、例えば、復号化装置１２側から通信ネットワーク等を用いて符号化装置１１にアクセスし、符号化装置１１に蓄積された符号化データダウンロードすることで取得することもできる。

＜符号化装置１１：第１の実施形態＞
次に、上述した符号化・復号化システム１０における符号化装置１１の具体的な機能構成例について、図を用いて説明する。

図２は、第１の実施形態における符号化装置の機能構成の一例を示す図である。図２に示す符号化装置１１は、電子透かし埋め込み手段２１と、符号化手段２２と、復号化手段２３と、電子透かし検出手段２４と、後処理手段２５と、比較手段２６と、最適化手段２７と、切替手段２８とを有するよう構成されている。

なお、本実施形態における復号化手段２３、電子透かし検出手段２４、及び後処理手段２５は、後述する復号化装置１２における復号化手段、電子透かし検出手段、及び後処理手段と同様の処理を行うものである。

電子透かし埋め込み手段２１は、入力信号に対して、復号化装置１２側で予め設定された後処理を行うための各種パラメータ（例えば、数値データ等）を埋め込む（重畳する）。なお、電子透かし埋め込み手段２１において入力信号に埋め込まれる各種パラメータは、後述する最適化手段２７により埋め込みパラメータとして設定される。

ここで、電子透かし埋め込み手段２１におけるパラメータの埋め込み手法は、例えば、上述した埋め込み手法のうち、少なくとも１つを用いることができ、復号化装置１２における電子透かし検出手段において、検出可能な手法を予め取得し、取得した検出手法に対応させて埋め込み手法が選択される。また、パラメータの埋め込み手法は、パラメータが埋め込まれていることが主観的に知覚されにくくなるように、入力信号の品質（特に主観的な品質）の劣化を抑えた手法を用いるのが好ましい。

なお、電子透かし埋め込み手段２１は、パラメータ埋め込み後の信号がある程度（例えば、ある信号対雑音比等）の信号劣化を受けても、埋め込まれたパラメータが電子透かし検出手段２４（又は復号化装置１２側の電子透かし検出手段）によって、部分的又は完全に、分離及び再現できることが好ましい。

ここで、入力信号が画像（静止画像）や映像（動画像）の場合には、電子透かし埋め込み手段２１として、埋め込むパラメータに応じて、例えば上述したように、入力信号の画素値のレベル（或いは色）を所定の空間パターン（例えば、動画像にあっては時間パターン、時空間パターンを含む）で微小に変化させる手法等を用いることができる。なお、微少に変化させるとは、例えば、視覚的に検知が難しいレベルで変化させること等を意味する。

なお、本実施形態において、例えば入力信号が映像の場合には、電子透かし埋め込み手段２１として、例えばＭＰｍａｒｋ（登録商標）等の市販の電子透かし埋め込み用のツールを用いることができる。ここで、ＭＰｍａｒｋとは、ＭＰＥＧ圧縮（ＭＰＥＧ４／ＭＰＥＧ２）非圧縮の動画に電子透かしを挿入し、検出可能にできる電子透かしのソフトウェア開発キットであり、既に圧縮してある動画に対しても電子透かしを挿入することができ、また電子透かしを検出することもできる。

更に、本実施形態において、例えば入力信号が音声の場合には、電子透かし埋め込み手段２１として、埋め込むべきパラメータに応じて、例えば上述したように、入力信号の位相を変調する手法、聴覚特性としてのマスキングを利用した手法、エコー（残響）を制御する手法等を用いることができる。

また、電子透かし埋め込み手段２１は、最適化手段２７から埋め込み強度が入力された場合には、パラメータを埋め込み強度に対応させて、入力信号に埋め込む。

符号化手段２２は、信号を符号化してビット列に変換する。なお、本実施形態では、映像信号を対象とする場合には、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４、Ｈ．２６１、Ｈ．２６３、ＭｏｔｉｏｎＪＰＥＧ、ＭｏｔｉｏｎＪＰＥＧ２００４等の符号化器を利用することができる。また、画像信号を対象とする場合には、例えば、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＰＮＧ等の符号化器を利用することができ、音声信号を対象とする場合には、ＭＰ１、ＭＰ２、ＭＰ３、ＭＰ４、ＡＡＣ、ＡＣ−３等の符号化器を利用することができる。なお、符号化手段２２は、可逆であっても非可逆であってもよいが、本実施形態では非可逆の場合の方がより一層の効果を奏する。

復号化手段２３は、符号化手段２２と対をなし、入力されたビット列を符号化前の信号に戻し、その復号化信号を出力する。つまり、復号化手段２３は、符号化手段２２の符号化方式に対応する復号化方式を用いるものとする。

電子透かし検出手段２４は、電子透かし埋め込み手段２１において埋め込まれたデータ（パラメータ）を検出し、その検出パラメータを出力する。なお、電子透かし検出手段２４は、復号化装置１２側の電子透かし検出手段と同様の処理を行うものである。

ここで、一般的に、埋め込み手法と検出手法とは対になって提供されており、電子透かし埋め込み手段２１の埋め込み方式は、電子透かし検出手段２４の検出方式（復号化装置１２の電子透かし検出手段の検出方式）に対応して選択されている。これにより、電子透かし検出手段２４は、復号化信号に埋め込まれたパラメータを分離して再現することができる。

なお、電子透かし検出手段２４として、例えば上述したＭＰｍａｒｋ（登録商標）等の市販の電子透かし検出用のツールを用いることができる。また、電子透かし検出手段２４における検出手法としては、例えば、埋め込み手法とは逆の手順で処理を行い、得られた画像の輝度値に基づいて埋め込まれたパラメータ等を検出したり、その他にも画像に含まれるオブジェクトの輪郭情報等に基づいて、その輝度変化やフーリエ変換等の処理を用いたり、予め設定された鍵情報等を用いて、復号化信号に埋め込まれたパラメータを検出することができる。なお、本実施形態における検出手法は、これに限定されるものではなく、既存の手法を広く適用することができる。

後処理手段２５は、例えば復号化手段２３により得られる復号化信号に対して、電子透かし検出手段２４により得られる検出パラメータを用いて所定の信号処理を行うフィルタ等であって、入力される検出パラメータの内容に基づいて、処理内容を調整することができる。ここで、後処理手段２５は、例えば、時間領域、空間領域、又は時空間領域における線形或いは非線形の演算処理等を用いることができる。なお、線形の演算処理としては、例えば畳み込み演算等がある。後処理手段２５における線形の演算処理例については、後述する。

比較手段２６は、入力信号ｓ（ｔ）と、後処理手段２５の出力信号ｙ（ｔ）とを比較し、その比較結果ｃ（ｔ）を出力する。なお、比較結果ｃ（ｔ）は、スカラー量であっても、ベクトル量、テンソル量であってもよい。

例えば、比較手段２６は、一定領域（区間）（例えば、フレーム）内の各標本点ｔ上において入力信号の信号値ｓ（ｔ）と、後処理手段２５の出力信号の信号値ｙ（ｔ）とを比較する。また、比較手段２６は、一定領域内における各標本点ｔ上における各比較結果を、纏めて出力する。なお、比較手段２６における比較には、差分演算等を用いることができる。

例えば、符号化装置１１が１次元信号を対象とする場合、フレーム内において、入力信号の信号値ｓ（ｔ）と、後処理手段２５の出力信号の信号値ｙ（ｔ）との差分を求め、その差分値を比較結果ｃ（ｔ）として、以下の式（１）のように標本点位置ｔ毎に出力する。
ｃ（ｔ）＝ｓ（ｔ）−ｙ（ｔ）・・・（１）
最適化手段２７は、電子透かし埋め込み手段２１、符号化手段２２、復号化手段２３、及び電子透かし検出手段２４を通じて後処理手段２５に実行させるパラメータ（以下、必要に応じて「埋め込みパラメータ」という）を、比較手段２６による比較結果に基づき生成する。

ここで、本実施形態において、埋め込みパラメータと、電子透かし検出手段２４で検出された検出パラメータとは、電子透かしの埋め込み及び検出、符号化及び復号化による信号劣化等に起因して、必ずしも一致するとは限らない。しかしながら、検出パラメータにより後処理手段２５で信号処理を行った結果（ｙ（ｔ））が入力信号（ｓ（ｔ））を近似するように、最適化手段２７が埋め込みパラメータや埋め込み強度を最適化する構成となっている。そのため、本実施形態では、信号劣化を含んだ上で最適化がなされることになる。

例えば、最適化手段２７は、様々な埋め込みパラメータを試行的に出力して、比較手段２６からの比較結果を検証し、その比較結果が所定の条件を満たすまで試行を繰り返す。また、最適化手段２７は、埋め込みパラメータの他にも埋め込み強度を出力してもよい。つまり、最適化手段２７は、様々な比較結果を取得するために、埋め込みパラメータ及び／又は埋め込み強度を予め設定された条件で適宜変更して電子透かし埋め込み手段２１に出力する。

また、最適化手段２７は、比較結果が所定の条件を満たした場合に、切替手段２８としての出力スイッチを閉じて、符号化手段２２による処理結果のビット列を外部（例えば、出力手段１３等）に出力する。

ここで、上述した所定の条件とは、例えば、比較結果により得られる比較結果ｃ（ｔ）が、予め設定された閾値以下である場合や、繰り返し回数が所定回数以上である場合、若しくはその両方を満たす場合等があるが、本発明においてはこれに限定されるものではない。

＜第１の実施形態における符号化処理について＞
ここで、上述した第１の実施形態における符号化処理について、フローチャートを用いて説明する。図３は、第１の実施形態における符号化処理の一例を示すフローチャートである。図３に示す例では、まず、信号を入力すると（Ｓ０１）、後段にて後処理を行うためのパラメータ（埋め込みパラメータ）を所定の電子透かし手法で埋め込み（Ｓ０２）、電子透かしが埋め込まれた信号（データ）に対して所定の符号化処理を行う（Ｓ０３）。

次に、Ｓ０３の処理により得られた符号化信号の符号化方式に対応させて復号化処理を行い（Ｓ０４）、Ｓ０４の処理により得られた復号化信号に対して、Ｓ０２の処理にて用いた電子透かしの埋め込み方式に対応した電子透かし検出を行い、検出パラメータを取得する（Ｓ０５）。

次に、Ｓ０４の処理により得られた復号化信号に対し、Ｓ０５の処理により得られた検出パラメータを用いて後処理を行い（Ｓ０６）。Ｓ０１の処理により得られた入力信号とＳ０６の処理により得られた後処理後の信号を比較する（Ｓ０７）。ここで、入力信号と、後処理後の信号との差が閾値以下か、又は繰り返し回数が所定回数以上行われたか否かを判断し（Ｓ０８）、上記の条件を満たさない場合（Ｓ０８において、ＮＯ）、埋め込みパラメータを変更し（Ｓ０９）、Ｓ０２に戻り後続の処理を行う。また、Ｓ０８の処理において、上記の条件を満たす場合（Ｓ０８において、ＹＥＳ）、切替手段２８のスイッチを切り替え、符号化信号を出力する（Ｓ１１）。

なお、上述した符号化処理においては、埋め込みパラメータの他にも、例えば上述した埋め込み強度をオプションとして含めることもできる。

＜入力信号の区切り単位について＞
ここで、本実施形態における入力信号の区切り単位について説明する。本実施形態において、上述した埋め込みパラメータや埋め込み強度を埋め込む入力信号の区切り単位は、任意に設定することができる。例えば、入力信号が音声信号や映像信号の場合にあっては、音声フレームや映像フレームの自然数倍を単位とすることができ、入力信号が画像信号や映像信号の場合にあっては、所定のブロック単位とすることができる。

更に、本実施形態では、入力信号がＭＰＥＧフォーマット等の圧縮映像信号の場合にあっては、ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）の自然数倍を単位とすることができる。

具体的に説明すると、例えば入力信号が映像信号の場合であって、符号化手段２２がＧＯＰ構造を有する符号化方式による場合には、区切り単位をＧＯＰの自然数倍とすることで、最適化手段２７による最適化の結果が前後の区切り単位へ波及する影響を抑えることができ、系の安定性や最適化の収束性、精度向上等の観点で有利となる。

つまり、最適化手段２７は、符号化手段２２におけるＧＯＰの自然数倍として、例えば、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうち、Ｉピクチャを区切りの単位として最適化を実行することで、ある特定のＧＯＰ内におけるパラメータ変更が別のＧＯＰに影響を及ぼし難いという従来の符号化装置の特質を活かし、系の安定性を向上することができ、また、最適化の収束性を高めたり、最適化の精度を高めることができる。なお、この場合、電子透かしは、Ｂピクチャ等に埋め込むのが好ましいが、これに限定されるものではない。

＜最適化手段２７における埋め込みパラメータ及び／又は埋め込み強度の変更方法＞
次に、本実施形態の最適化手段２７における埋め込みパラメータ及び／又は埋め込み強度の変更方法について説明する。変更方法としては、例えば、予め複数のパラメータや強度をテーブル等に保存しておき、そのテーブル内の全てのパラメータや強度を順次変更して電子透かしの埋め込みを行う。この場合には、その後、比較手段２６から得られる全ての比較結果のうち最も差（ｃ（ｔ））が少なかった条件を探索し、その探索された条件で電子透かしを埋め込んだ符号化データを出力する。

また、その他の方法としては、例えば、モンテカルロ法を用いた乱数によりパラメータや強度を変更して電子透かしの埋め込みを行う。この場合には、所定回数の埋め込みを実行して得られる比較結果から最も差（ｃ（ｔ））が少なかった条件が選択される。更に、その他の方法としては、例えば、パラメータや強度を予め設定された関数等を用いて一定の方向に少しずつ変化させて電子透かしの埋め込みを行う。この場合には、時系列の比較結果等から最急降下法を用いて、その関数の傾きから最小値を探索することで、最適なパラメータや強度が選択される。なお、本発明における埋め込みパラメータや埋め込み強度の変化方法については、これに限定されるものではない。

また、本実施形態では、埋め込みパラメータを調整する場合、例えば、最適化手段２７は、比較手段２６の比較結果のノルム||ｃ||がより小さくなるように、埋め込みパラメータを調整する。なお、ノルムには、信号同士の比較結果の時系列ｃ（ｔ）を、関数或いはベクトルとみなしたときのノルム（例えば、ユークリッドノルム、無限大ノルム、ｐ次平均ノルム（ｐは、０以上の整数）等）を用いることができる。

例えば、上述した「入力信号の区切り」が時刻ａ〜時刻ｂであり、時刻が１単位で離散化されている場合において、前記ノルムがｐ次平均ノルム（特に、ｐ＝２のときは、ユークリッドノルム）による場合には、以下に示す式（２）のようになる。

また、例えば、上述したノルムが無限大ノルムによる場合には、以下に示す式（３）となる。

次に、上述した条件による具体的な最適化手順について説明する。

最適化手段２７は、前回出力した埋め込みパラメータ（前埋め込みパラメータ）と前回の比較結果（前比較結果）とを保持する機能を有する。また、最適化手段２７は、前埋め込みパラメータに摂動（以下、現埋め込みパラメータと前埋め込みパラメータとの差分を「摂動ベクトル」という）を加えた埋め込みパラメータ（現埋め込みパラメータ）を出力する。

最適化手段２７は、現埋め込みパラメータを出力したときの比較結果（現比較結果）と前比較結果とを比較する。ここで、最適化手段２７は、現比較結果が前比較結果よりもそのノルムが減少した場合には、次回出力する出力パラメータとして、現埋め込みパラメータに前記摂動ベクトルと同様の方向の摂動を加えたものを用いる。一方、現比較結果が前比較結果よりもそのノルムが減少しなかった場合には、次回出力する出力パラメータとして、前埋め込みパラメータに前記摂動ベクトルとは逆の方向の摂動を加えたものを用いる。

以上の手順を、上述したように比較結果のノルムが所定の閥値以下であるか、又は繰り返し回数が所定の回数以上である場合に、最適化手段２７は、最適化の繰り返しを終了し、最終的な埋め込みパラメータを電子透かし埋め込み手段２１へ出力しつつ、切替手段２８の出力スイッチに対しスイッチを閉じる指令等を与え符号化信号を出力する。

また、上述の摂動ベクトルの初期値は、既定のベクトル値としてもよく、また乱数により生成されたベクトル値であってもよく、更には入力信号や比較結果に基づいて規定の規則により決定したベクトル値であってもよい。

これにより、本実施形態における符号化装置１１では、最適化手段２７により切替手段２８のスイッチを切り替えることにより最適な埋め込みパラメータが埋め込まれた入力信号のビット列を出力することができる。

＜復号化装置１２：機能構成例＞
次に、本実施形態における復号化装置１２の機能構成例について、図を用いて説明する。図４は、本実施形態における復号化装置の機能構成の一例を示す図である。図４における復号化装置１２は、復号化手段３１と、電子透かし検出手段３２と、後処理手段３３とを有するよう構成されている。なお、本実施形態における復号化処理は、上述した図３に示す符号化処理のＳ０４〜Ｓ０６の処理に対応している。

復号化手段３１は、上述した符号化装置１１における復号化手段２３と同様の機能を有し、入力されたビット列に対して復号処理を行い、その結果である復号化信号を出力する。

電子透かし検出手段３２は、上述の電子透かし検出手段２４と同様の機能を有し、符号化装置１１の電子透かし埋め込み手段２１において埋め込まれたパラメータ（検出パラメータ）を検出する。なお、電子透かし埋め込み手段２１の埋め込み方式は、電子透かし検出手段３２の検出方式に対応して選択されている。これにより、電子透かし検出手段３２は、復号化信号に埋め込まれたパラメータを分離して再現することができる。

後処理手段３３は、上述した符号化装置１１における後処理手段２５と同様の機能を有し、復号化手段３１により得られる復号化信号に対し、電子透かし検出手段３２により得られるパラメータを用いて後処理を行う。

ここで、後処理手段３３は、上述した符号化装置１１における後処理手段２５と同様に、例えば、時間領域、空間領域、又は時空間領域における線形或いは非線形の演算処理等を行うことができる。なお、線形の演算処理としては、例えば畳み込み演算等がある。後処理手段３３における線形の演算処理例については、後述する。

これにより、本実施形態では、符号化されたデータに埋め込まれたパラメータを用いて復号を行うことで、符号化による品質劣化のない出力信号を出力することができる。

＜後処理手段２５及び後処理手段３３における線形の演算処理例＞
次に、上述した符号化装置１１における後処理手段２５及び復号化装置１２における後処理手段３３による線形の演算処理例について、具体的に説明する。

例えば、後処理手段２５及び後処理手段３３が畳み込み演算による処理を行う場合には、まず畳み込みカーネルの係数を入力パラメータによって可変とする。例えば、後処理手段２５及び後処理手段３３の入力をｘ（ｔ）とし、出力をｙ（ｔ）とする。ここで、ｔは信号系列の標本位置を指定する変数である。

例えば、音声信号を対象とする場合には、時刻（又はフレーム）を指定するスカラーとする。このとき、ｔは画像信号を対象とする場合には画素位置を指定するベクトルである。更に、映像信号を対象とする場合には、ｔは時刻及び画素位置を指定するベクトルである。

例えば、畳み込みカーネルがｈ_ｐ（ｔ）（ｐは、パラメータ）としたとき、後処理手段２５及び後処理手段３３は、以下に示す式（４）の処理を行う。

或いは上記式（４）の代わりに離散畳み込みを用いて、以下に示す式（５）のように実装してもよい。

例えば、符号化装置１が１次元信号（例えば、音声信号）を対象とする場合には、以下の式（６）に示すｂ次元ベクトル（ｂは自然数）のパラメータに基づき、畳み込みカーネルｈ_ｐ（ｔ）を、以下の式（７）のように、パラメータｐの成分によってタップ係数を個別に指定する構成としてもよい。
ｐ＝［Ｐ_０，Ｐ_１，Ｐ_２，・・・，Ｐ_ｂ−２，Ｐ_ｂ−１］^Ｔ・・・（６）

なお、ａは整数である。

更に、例えば、符号化装置１１がｄ次元信号（ｄは自然数）（なお、標本位置ｔをｄ次元ベクトルｔ＝［ｔ_０，ｔ_１，・・・，ｔ_ｄ−１］により表現することとする）を対象とする場合には、ｄ階のテンソルｐにより、以下に示す式（８）のように、パラメータｐの成分によってタップ係数を個別に指定する構成としてもよい。

なお、Ｔはカーネルの適用範囲（タップ係数を非零とするｄ次元の領域）である。

上述した第１の実施形態によれば符号化装置１１は、パラメータを別途伝送することなく、符号化信号の中にパラメータを埋め込んで伝送することができるため、従来型の符号化・復号の規格を逸脱せずに必要な情報を伝送することができる。また、上述した構成によれば、符号化側で復号化及び電子透かし検出を行い、検出されたパラメータによって後処理の効果を検証する仕組みを有するため、電子透かしが従来型の符号化手段によって劣化を受ける場合であっても、その劣化を含めた最適化がなされる。また、同様の理由により、例えば、電子透かしによるパラメータの伝送が非可逆であっても、符号化側で最適化されたパラメータは、符号化及び復号化側において同一性が保証され、その結果、最適性も保証される。

また、第１の実施形態における符号化装置１１は、最適化手段２７がパラメータと共に電子透かしの埋め込み強度を出力し、電子透かし埋め込み手段２１がそのパラメータを埋め込み強度に基づいて対象データに埋め込みを行う。これにより、符号化装置１１は、電子透かしの強度を、従来型の符号化における信号劣化量を考慮して制御することができるため、従来型の符号化及び電子透かしの両者による総合的な信号劣化を軽減することができる。

＜符号化装置：第２の実施形態＞
次に、本実施形態における符号化装置の第２の実施形態について、図を用いて説明する。図５は、第２の実施形態における符号化装置の機能構成の一例を示す図である。なお、図５に示す符号化装置４１において、上述した第１の実施形態における符号化装置１１と同様の処理を行う構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。また、図４に示す符号化装置４１は、図１に示す符号化・復号化システム１０における符号化装置１１に置き換わるものである。

図５に示す符号化装置４１は、前処理手段４２と、電子透かし埋め込み手段２１と、符号化手段２２と、復号化手段２３と、電子透かし検出手段２４と、後処理手段２５と、比較手段２６と、最適化手段４３と、切替手段２８とを有するよう構成されている。つまり、図５に示す符号化装置の第２の実施形態では、上述した第１の実施形態と比較すると、前処理手段４２を有すると共に図２の最適化手段２７の代わりに最適化手段４３を有するよう構成されている。

なお、本実施形態における前処理とは、符号化処理（エンコーディング）が行われる前のデータに対して行われる処理（具体的には、上述した図３のフローチャートにおけるＳ０２とＳ０３の処理の間で行われる処理）であり、例えば、ガウシアンフィルタを用いたスムージング（平滑化）処理や、メディアンフィルタを用いたノイズリダクション、ラプラシアンフィルタを用いたエッジ強調、またそれらを複数組み合わせた処理等を含む。なお、第２の実施形態では、電子透かし埋め込み手段２１の前に前処理が行われるよう構成されているが、本発明においてはこれに限定されるものではなく、例えば電子透かし埋め込み手段２１の後に前処理が行われてもよい。

ここで、前処理手段４２は、最適化手段４３により制御される。この場合、前処理手段４２の動作は、後処理手段２５で説明した例の何れかと同様に、最適化手段により与えられたパラメータに応じて処理を行う。なお、前処理手段４２と後処理手段２５とは、別々の種類の処理を行ってもよいし、同様であっても構わない。

最適化手段４３は、最適化手段２７における機能に加えて、前処理手段に与えるパラメータも含めて同時に最適化を行う。具体的には、最適化手段４３は、埋め込みパラメータと、前処理手段４２に与えるパラメータとを様々に変化させ、比較手段２６による比較結果ｃのノルムが小さくなるよう最適な両パラメータを探索する。

なお、最適化手段４３が電子透かし埋め込み手段２１に対して出力する埋め込みパラメータは、後処理手段２５の動作を制御するためのパラメータのみで構わない。すなわち、最適化手段４３は、前処理手段４２を制御するためのパラメータを電子透かし埋め込み手段２１に出力する必要はない。これは、復号化装置１２側には、前処理に対応する処理は存在しておらず、符号化装置４１側で前処理手段４２による前処理が行われた信号に対して復号化処理が行われ、その結果から最適化がなされるからである。

また、最適化手段４３は、上述の動作に加え、上述した最適化手段２７と同様に、電子透かし埋め込み手段２１において埋め込む電子透かしの強度を制御してもよい。この場合、最適化手段２７の場合には、例えば、埋め込みパラメータと電子透かしの強度とを様々に変化させ、比較手段２６による比較結果ｃのノルムが小さくなるよう最適な両パラメータを探索する。

つまり、第２の実施形態では、最適化手段４３において、埋め込みパラメータと、前処理手段４２に与えるパラメータと、電子透かしの強度とを様々に変化させ、比較手段２６による比較結果ｃのノルムが小さくなるように最適な両パラメータを探索する。

上述したように、符号化装置の第２の実施形態によれば、最適化手段４３が前処理パラメータも調整することで、前処理と後処理との組み合わせによる最適化が可能となり、最適化の自由度が増えるため、信号劣化の改善が可能となる。

なお、上述した第１の実施形態及び第２の実施形態において、符号化装置１１，４１に入力される入力信号が映像信号である場合には、復号化装置１２側において画質の向上した映像が得られる。また、入力信号が音声信号である場合には、復号側において音質の向上した音声が得られる。

更に、上述した符号化装置４１において、最適化手段４３が、符号化手段におけるＧＯＰの自然数倍を区切りの単位として最適化を実行することで、ある特定のＧＯＰ内におけるパラメータ変更が別のＧＯＰに影響を及ぼし難いという符号化装置の特質を活かし、系の安定性を向上することができる。また、最適化の収束性を高めたり、最適化の精度を高めることができる。

上述したように本発明によれば、符号側からの効率的なデータ伝送により、復号側での信号品質を向上させることができる。具体的には、符号化側の電子透かし埋め込み手段における電子透かしとしての信号内データ埋め込み処理と、復号側において検出した電子透かし情報に基づく後処理とによって、信号品質向上が可能となる。また、符号化装置は、パラメータを別途伝送することなく信号の中に埋め込んで伝送することができるため、従来型の符号化・復号の規格を逸脱せずに必要な情報を伝送することができる。

また、本発明によれば、符号化側で復号及び電子透かし検出を行い、検出されたパラメータによって後処理の効果を検証する仕組みを有するため、電子透かしが従来型符号化によって劣化を受ける場合であっても、その劣化を織り込んだ最適化がなされる。また、同様の理由により、例え電子透かしによるパラメータの伝送が非可逆であっても、符号化側で最適化されたパラメータは、符号化及び復号側において同一性が保証され、その結果、最適性も保証される。

つまり、本発明によれば、符号化側の最適化ループ内で電子透かし情報の検出を模擬（電子透かし検出手段）する構成であるため、信号内に埋め込まれた電子透かし情報が正常に検出されない場合をも考慮した系全体としての最適化が実行され、電子透かし埋め込み及び電子透かし検出が完璧でない場合であっても信号品質向上を図ることが可能となる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０符号化・復号化システム
１１，４１符号化装置
１２復号化装置
１３出力手段
１３−１伝送手段
１３−２蓄積手段
２１電子透かし埋め込み手段
２２符号化手段
２３，３１復号化手段
２４，３２電子透かし検出手段
２５，３３後処理手段
２６比較手段
２７，４３最適化手段
２８切替手段
３１復号化手段
４２前処理手段

Claims

入力信号を符号化して復号側に出力する符号化装置において、
前記復号側で復号化された信号に対して行われる後処理用のパラメータを電子透かしとして、該電子透かしの埋め込み強度に対応させて、前記入力信号に埋め込む電子透かし埋め込み手段と、
前記電子透かし埋め込み手段により前記パラメータが埋め込まれた信号を符号化する符号化手段と、
前記符号化手段により得られる符号化信号を復号化する第１の復号化手段と、
前記第１の復号化手段により得られる復号化信号に含まれる電子透かし情報から前記パラメータを検出する第１の電子透かし検出手段と、
前記第１の電子透かし検出手段により得られる検出パラメータを用いて、前記復号化信号に対して後処理を行う第１の後処理手段と、
前記第１の後処理手段により得られる後処理後の信号と、前記入力信号とを比較する比較手段と、
前記比較手段により得られる比較結果に基づいて、前記後処理後の信号と前記入力信号との差分が予め設定された閾値以下となるか、又は、繰り返し回数が所定回数以上になるまで、前記電子透かし埋め込み手段において埋め込むべきパラメータ及び前記電子透かしの埋め込み強度を変更しながら、前記電子透かし埋め込み手段、前記符号化手段、前記第１の復号化手段、前記第１の電子透かし検出手段、前記第１の後処理手段、及び前記比較手段における処理を繰り返し実行させる最適化手段とを有することを特徴とする符号化装置。
前記入力信号を前記符号化手段に入力させる前に、前記入力信号の前処理を行う前処理手段を有し、
前記最適化手段は、前処理用のパラメータを前記前処理手段に出力し、
前記前処理手段は、前記最適化手段から得られる前処理用のパラメータに対応させて、前記入力信号に対する前処理を行うことを特徴とする請求項１に記載の符号化装置。
前記最適化手段は、
前記入力信号がＭＰＥＧフォーマットの映像信号である場合に、前記符号化手段におけるＧＯＰの自然数倍を区切りの単位として最適化を行うことを特徴とする請求項１又は２に記載の符号化装置。