JP4830172B2

JP4830172B2 - オーディオデータへの秘匿データ挿入方法、秘匿データ抽出方法、秘匿データ編集方法、ｍｐｅｇオーディオ符号化データへの秘匿データ挿入装置、秘匿データ抽出装置、ｍｐｅｇオーディオ復元装置、および挿入データ編集装置。

Info

Publication number: JP4830172B2
Application number: JP2006187925A
Authority: JP
Inventors: 康之中島; 清田中; 暁夫米山
Original assignee: Shinshu University NUC; KDDI Corp
Current assignee: Shinshu University NUC; KDDI Corp
Priority date: 2006-07-07
Filing date: 2006-07-07
Publication date: 2011-12-07
Anticipated expiration: 2026-07-07
Also published as: JP2008015326A

Description

本発明は、圧縮オーディオデータに秘匿情報を適用する技術に関し、特にオーディオデータへの秘匿データ挿入方法、秘匿データ抽出方法、秘匿データ編集方法、MPEGオーディオ符号化データへの秘匿データ挿入装置、秘匿データ抽出装置、MPEGオーディオ復元装置、および挿入データ編集装置に関する。

圧縮オーディオデータに秘匿情報を埋め込む従来技術として、例えば下記の特許文献１，２に示されているものがある。

前記特許文献１には、聴覚心理モデルによって決定されるマスキングレベルと、ビット割り当てまたは量子化ステップ数によって定まる量子化誤差から求めたノイズレベルとの比率（ＭＮＲ）を用いて、特定サブバンドにおけるＭＮＲの品質順位をグループ化した信号値によって電子透かし情報を埋め込むことにより、音質劣化を抑えることのできる電子透かし埋め込に装置が開示されている。

この電子透かし埋め込に装置によれば、フレーム毎または間欠フレームの量子化後、信号の所定のサブバンドの復号時のＭＮＲの品質順位をグループ化することにより得た信号値を、所望の透かし情報の信号値と一致するように調整することにより、所望の透かし情報を量子化後信号に埋め込むことができる。

また、前記特許文献２には、圧縮されたオーディオにデータを挿入する方法が開示されている。
特開２００２−３０４１８４号公報特開２００１−１８４０８０号公報

しかしながら、前記した特許文献１のものは、符号化時に得られる符号化雑音情報（ＭＮＲ）を制御情報として用いて挿入データにより再量子化する際に、透かし情報の埋め込み前のデータに戻せないため、音質劣化が生じるという問題、また情報量が増えた場合、書き換えができないという問題がある。

また、前記した特許文献２のものは、圧縮されたオーディオに付加情報が埋め込まれると、別の値に変換されてしまうため、元のＭＰＥＧデータに戻すことが困難であるという問題、及び書き換えができないという問題があった。

本発明の目的は、前記した従来技術の問題点を解決し、秘匿データを圧縮されたオーディオデータに効率的に挿入し、秘匿されたデータを効率的に検出することのできる圧縮オーディオデータへの秘匿データ挿入方法、秘匿データ抽出方法、MPEGオーディオ符号化データへの秘匿データ挿入装置、及び秘匿データ抽出装置を提供することにある。また、他の目的は、秘匿データを別の秘匿データに書き換える秘匿データ編集方法、及び秘匿データ編集装置、ならびにMPEGオーディオ復元装置を提供することにある。

前記下目的を達成するために、本発明は、周波数変換され、さらに量子化されたオーディオデータへの秘匿データ挿入方法において、
各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、
前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、前記キー位置ｋから、前記位置ｐと位置ｑとの距離ｄだけ高周波側へ移動することで、秘匿データを挿入するようにした点に第１の特徴がある。

また、本発明は、サブバンド符号化などで符号化されたオーディオデータを入力し、該オーディオデータを部分的に復号して、量子化周波数成分を抽出し、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐが前記キー位置ｋより高周波側に位置するかどうかにより、秘匿データを抽出するようにした点に第２の特徴がある。

また、本発明は、抽出された秘匿データ“１”を“０”に変更する場合には、非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、２番目に高い周波数成分の位置ｑから、前記距離ｄだけ高周波側へ移動した位置に変更し、抽出された秘匿データ“０”を“１”に変更する場合には、前記位置ｐを前記キー位置ｋから前記距離ｄだけ高周波側へ移動するようにした点に第３の特徴がある。

さらに、本発明は、MPEGオーディオ符号化データへの秘匿データ挿入装置、秘匿データ抽出装置、MPEGオーディオ復元装置、および挿入データ編集装置を提供する点に第４の特徴がある。

本発明によれば、秘匿データを、単に、オーディオデータの量子化周波数成分の０係数情報と非０係数情報の位置の関係を用いて入することができるので、従来装置のように、ＭＤＣＴ係数等まで戻さずに秘匿データを挿入することができ、低処理負荷で秘匿データをオーディオデータに挿入できるようになる。また、秘匿データの抽出を容易に行うことができる。

また、秘匿データの挿入後も、挿入前の符号化仕様に準拠させることができる。また、高周波成分の位置を移動させるだけであるので、秘匿データの挿入後でも音質劣化が少ない。

また、前記移動した高周波成分を元に戻せば、完全に秘匿データ挿入前のオーディオデータに復元できる。また、このため、挿入データの書き換え（秘匿データ編集）が可能になる。

また、MPEG規格に準拠したオーディオデータへの秘匿データ挿入装置、秘匿データ抽出装置、MPEGオーディオ復元装置、および挿入データ編集装置を提供することができる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、秘匿データを圧縮されたオーディオデータに効率的に挿入できるようにした一実施形態の概略のブロック図である。

量子化周波数成分復元部１１に符号化オーディオデータａが入力される。量子化周波数成分復元部１１では符号化データを部分的に復号して量子化された周波数成分１１ａが抽出される。例えば、MPEG-1オーディオでは、量子化サブバンドデータや量子化MDCT係数がこれに相当する。なお、量子化周波数成分と無関係なヘッダ情報１１ｂなどは、そのまま符号化データ再構成部１３に入力される。量子化周波数成分復元部１１から出力された量子化周波数成分１１ａは、“０”や“１”などの挿入データｇ（ビットデータ）、すなわち秘匿データと共に、第１のデータ挿入部１２に入力される。データ挿入された量子化周波数成分１２ａは符号化データ再構成部１３に入力されて、ヘッダ情報１１ｂなどのデータ挿入に関連しない符号化オーディオデータと合わせて再構成されて、データ挿入されたオーディオ符号化データ１３ａとして出力される。

図２は、前記第１のデータ挿入部１２の動作を示したものである。ステップＳ１では、量子化周波数成分１１ａを受け取り、ステップＳ２では、非０成分と０成分が抽出され、ステップＳ３では、それらのデータからデータ挿入位置候補が決定される。ステップＳ４では、挿入データｇ（“０”、“１”）より決定されるデータ挿入位置に非０成分の位置を変更する。これにより、ステップＳ５では、量子化周波数成分上で量子化周波数成分の位置に透かしデータすなわち秘匿データを、1ビット埋め込むことができる。

図３は、MPEG-1オーディオレイヤーIIで符号化されたオーディオデータにデータ挿入する場合を示したものである。入力されたMPEG-1オーディオデータａは、量子化サブバンドサンプル復元部１５で部分復号されてサブバンドサンプル１５ａを出力する。ヘッダ情報などサブバンドサンプルに関係しない情報１５ｂについては、MPEG符号化データ再構成部１７に入力される。サブバンドサンプル１５ａは、第２のデータ挿入部１６に挿入データｇと共に入力される。第２のデータ挿入部１６では、挿入するデータに依存して量子化サブバンドサンプルを変更する。MPEG符号化データ再構成部１７では、データ挿入された量子化サブバンドサンプル１６ａとヘッダ情報１５ｂなどが再構成され、MPEG-1規格に準拠したデータフォーマットが生成される。これによりデータ挿入されたMPEG-1オーディオデータ１７ａが出力される。

図４は、MPEG-1の場合の第２のデータ挿入部１６の動作を示したものである。ステップＳ１１では、量子化サブサンプル復元部１５から量子化周波数成分１５ａを受け取り、ステップＳ１２では、非０量子化サブバンド成分と０量子化サブバンド成分を抽出する。ステップＳ１３では、それらのデータからデータ挿入位置候補が決定される。なお、サブバンド成分とは、サブバンドサンプルにおける各サブバンドの成分を示す。ステップＳ１４では、挿入データｇ（“０”、“１”）より決定されるデータ挿入位置に非０量子化サブバンド成分の位置を変更する。これにより、ステップＳ１５では、量子化周波数成分上で量子化周波数成分の位置に透かしデータを1ビット埋め込むことができる。

図５に、挿入する1ビットデータに対する具体的なサブバンドサンプルの変更方法をMPEG-1オーディオの例を用いて示す。

符号化されたオーディオデータのサブバンド数はｍ個で、図の例では、非０となるサブバンドは、サブバンド番号＃０，１，２やｑ、ｐである。これに対して０となるサブバンドは、サブバンド番号６・・・や、ｋなどのｐより大きいサブバンド番号が該当する。データ埋め込みは、非０サブバンドの位置を変更することによって実現する。一例として、キーとなる位置ｋについて、挿入データｇの値（“０”や“１”）に応じてある規則でサブバンドデータの位置を変更する。

たとえば、非０サブバンド成分のうち最高周波数成分の位置がｐで、次に低い周波数の非０サブバンド成分の位置がｑ、０サブバンド成分の最高周波数（ｍ−１）とした場合、キーとなるサブバンドｋを、非０サブバンド成分ｑと最高周波数サブバンド（ｍ−１）との中点に位置するサブバンドとして求める。求め方としては、ｋ＝（（ｍ−１）＋ｑ＋１）/２として計算することができる。したがって、非０サブバンド成分ｑとサブバンドｋとの間の距離、あるいは０サブバンド成分の最高周波数とサブバンドｋとの間の距離ｌは、ｌ＝（ｍ−１）−ｋ＝ｋ−ｑとなる。

データの挿入方法としては、最高周波数に位置する２つの非０サブバンドサブバンド成分ｐとｑの距離をｄ（＝ｐ−ｑ）として、埋め込むデータが“１”の場合は、位置ｐにあるサブバンドデータｓ（ｐ）を高周波側のｋ＋ｄの位置ｘに移動させる。逆に、挿入データが“０”の場合は、サブバンドデータの移動は行わず、そのままにする。最高周波数の０サブバンド位置（ｍ−１）と2番目に高周波に位置する非０サブバンド成分の位置ｑは挿入データに依存せずに一定であるため、データ挿入された符号化オーディオデータからこれらのデータを手がかりにデータ挿入値を検出することができる。

ここで、MPEG-1オーディオにおけるサブバンドサンプルについて図６に説明する。MPEG-1オーディオレイヤーIIでは、1秒間は38個のフレームデータで構成され（サンプリング周波数が４４．１ｋHz の場合）、1フレームは36個のサブバンドサンプルで構成されている。また、１つのサブバンドサンプルには32個のサブバンドデータで構成されている。MPEG-1オーディオではサブバンド変換後にビット割り当てによって、各サブバンドについて聴覚心理モデルにより周波数特性やマスク効果を測定して、可聴音について、ビットが割り当てられている。このため、サブバンドサンプルにつき1ビットのデータを埋め込むことができた場合、1フレームにつき、最大36ビット埋め込むことが可能である。また、1秒間には最大36ビット×38フレーム＝1368ビットの情報量を埋め込むことが可能である。サブバンドサンプルはMPEGオーディオデータの最小アクセス単位（AAU：Audio Access Unit）として用いられているため、挿入データの抽出や編集についても簡易に実現することができる。

なお、上記で説明したようなサブバンドデータの位置をずらすことにより透かしデータを挿入した場合、ビット割り当てされた位置が変わるだけであるため、全体の符号量に変化はない。また、データ挿入後もMPEG規格に準拠することが可能なため、透かし情報が入ったままの符号化データでも通常のMPEG復号器で再生することができる。なお、高周波成分にデータ挿入を行ってサブバンド情報を変更しているため、通常のMPEG復号器で再生しても聴覚的な違和感は少ない。

次に、本発明の第２の実施形態を説明する。この実施形態は、オーディオ符号化時にデータ挿入するものである。図７は、該実施形態の概略の構成を示すブロック図である。

図７において、オーディオデータａが周波数変換部２１に入力され、周波数情報２１ａに変換される。また、オーディオデータａは、聴覚心理モデル２２にも入力され、入力オーディオに対する周波数特性とマスクレベルを測定される。ビット割当部２４ではこれらのデータ２２ａから各周波数でのビット割当量が決定される。そのビット割り当て情報２４ａは量子化部２３に入力される。周波数変換部２１から出力された周波数軸上のオーディオデータ２１ａは、量子化部２３において、ビット割当量２４ａに従って、量子化の精度を決定し量子化処理を行い量子化周波数成分２３ａが出力される。該量子化周波数成分２３ａは第１のデータ挿入部２５に“０”や“１”などの挿入データｇ（ビットデータ）と共に入力される。データ挿入された量子化周波数成分２５ａは符号化データ構成部２６に入力されて、ヘッダ情報などデータ挿入に関連しない符号化オーディオデータと合わせて符号化データが構成されて、データ挿入されたオーディオ符号化データ２６ａとして出力される。

MPEG-1オーディオレイヤーII符号化におけるデータ挿入の実施例を図８に示す。オーディオデータａがサブバンド変換部３１に入力され、サブバンド情報３１ａに変換される。また、オーディオデータａは、聴覚心理モデル３２にも入力され、入力オーディオに対する周波数特性とマスクレベルを測定する。ビット割当部３４ではこれらのデータ３２ａから各周波数でのビット割当量３４ａが決定される。そのビット割り当て情報は量子化部３３に入力される。周波数変換部３１から出力されたサブバンド上のオーディオデータ３１ａは、量子化部３３において、ビット割当量３４ａに従って、量子化の精度を決定し、量子化処理を行い量子化周波数成分３３ａが出力される。量子化周波数成分３３ａは第２のデータ挿入部３５に、“０”や“１”などの挿入データｇ（ビットデータ）と共に入力される。データ挿入された量子化周波数成分３５ａはMPEG符号化データ構成部３６に入力されて、ヘッダ情報などデータ挿入に関連しない符号化オーディオデータと合わせて符号化データが構成されて、データ挿入されたMPEGオーディオ符号化データ３６ａとして出力される。

次に、本発明の第３実施形態を説明する。この実施形態は、前記第１、第２実施形態で説明したようにしてデータ挿入された符号化オーディオデータから、データ抽出して元の符号化データを出力するようにするものである。図９は、この実施形態の概略の構成を示すブロック図である。

図９において、データ挿入された符号化オーディオデータｂが量子化周波数成分復元部４１に入力され、量子化周波数成分４１ｂが抽出される。また、ヘッダ情報などデータ抽出に関連のない符号化情報４１ｃは符号化データ再構成部４３に入力される。第１のデータ抽出部４２では、“０”や“１”などの抽出データｇ（ビットデータ）が抽出されると共に、データ挿入前の量子化周波数成分４２ｂが復元され、符号化データ再構成部４３に入力される。符号化データ再構成部４３では、ヘッダ情報などと共にデータ挿入前の量子化周波数成分を再構成して、データ挿入前のオーディオ符号化データ４３ｂに完全に復元して出力する。

図１０に、第１のデータ抽出部４２における挿入データ抽出動作のフローを示す。ステップＳ３１では、量子化周波数成分４１ｂが入力され、ステップＳ３２では、該量子化周波数成分４１ｂから、非０成分と０成分が抽出される。ステップＳ３３では、それらのデータからデータ抽出位置候補が決定される。図５の場合、最高周波数サブバンド（ｍ−１）と2つ目に高い周波数の非０サブバンドｑが決定される。ステップＳ３４では、挿入データ抽出と非０成分の位置を変更する処理が行われる。例えば、キーとなる位置ｋが、前記最高周波数サブバンド（ｍ−１）と2つ目に高い周波数の非０サブバンドｑの中点から求められる。そして、1番高い周波数の非０サブバンド成分ｐが前記キーとなる位置ｋより大きい場合は埋め込みデータ＝“１”、ｋより小さい場合は埋め込みデータ＝“０”とされる。また、挿入データｇが“１”の場合は、サブバンド位置がずらされているため、元のサブバンド位置に戻す。つまり、2つ目に高い周波数の非０サブバンドｑから距離ｄの位置に戻す。これにより、量子化周波数成分上で量子化周波数成分の位置から透かしデータを1ビット抽出すると共に、ステップＳ３５では、データ挿入前の量子化周波数成分を復元することができる。

図１１に、MPEG-1オーディオの場合の挿入データ抽出と元のオーディオ符号化データ復元方法について示す。データ挿入されたMPEG-1符号化オーディオデータｂが量子化サブバンドサンプル復元部４５に入力され、量子化サブバンド成分４５ｂが抽出される。また、ヘッダ情報などデータ抽出に関連のない符号化情報４５ｃはMPEG-1符号化データ再構成部４７に入力される。第２のデータ抽出部４６では、“０”や“１”などの抽出データｇ（ビットデータ）が抽出されると共に、データ挿入前の量子化サブバンド成分が復元され、MPEG-1符号化データ再構成部４７に入力される。該符号化データ再構成部４７では、ヘッダ情報４５ｃなどと共にデータ挿入前の量子化周波数成分を再構成して、データ挿入前のMPEG-1オーディオ符号化データ４７ｂに完全に復元して出力する。

図１２は、MPEG-1の場合における、第２のデータ抽出部４６の動作を示したものである。ステップＳ４１では、量子化サブバンドサンプル復元部４５から量子化サブバンド成分４５ｂを受け取り、ステップＳ４２では、非０量子化サブバンド成分と０量子化サブバンド成分を抽出する。ステップＳ４３では、それらのデータから抽出データ位置候補が決定される。ステップＳ４４では、前記データ抽出位置候補に存在する非０サブバンド成分から挿入データｇ（“０”、“１”）を決定する。次に、データ挿入前の非０サブバンド成分の位置を決定し、その位置に非０サブバンド成分を変更する。これにより、量子化サブバンド成分上で量子化サブバンド成分の位置から透かしデータを1ビット抽出すると共に、ステップＳ４５では、データ挿入前の量子化サブバンド成分を復元することができる。

図１３に具体的な挿入データ1ビットの抽出方法と、元の符号化データに戻すためのサブバンドサンプルの変更方法を示す。最高周波数サブバンドがm-1、非０サブバンド成分の中で高周波側から順にサブバンドの位置をｐ、ｑとする。挿入ビット抽出でキーとなる位置ｋは、最高周波数サブバンド（ｍ−１）と2つ目に高い周波数の非０サブバンドｑの中点から求められる。データの抽出方法としては、ｐの位置がｋより大きい場合は埋め込みデータ＝“１”、ｋより小さい場合は埋め込みデータ＝“０”とする。埋め込むデータが“１”の場合は、サブバンド位置がずらされているため、元のサブバンド位置に戻す。この場合、ｐとｋの距離をｄ＝ｐ−ｋとして、位置ｐにあるサブバンドデータｓ（ｐ）をｘ＝ｑ＋ｄの位置に移動させる。逆に、挿入データが“０”の場合は、サブバンドデータの移動は行わず、そのままにする。これにより、データ抽出と同時にデータ挿入前の符号化データに復元できることがわかる。

次に、本発明の第４実施形態について説明する。この実施形態は、データ挿入された符号化オーディオデータにおける挿入データ編集（書き換え）に関するものである。図１４は、この実施形態の概略の構成を示すブロック図である。

データ挿入された符号化オーディオデータｄは量子化周波数成分復元部５１において部分復元される。該部分復号により得られた量子化周波数成分５１ｄは第１のデータ抽出部５２に送られる。また、ヘッダ情報などデータ抽出に関連のない符号化情報５１ｅは符号化データ再構成部５４に入力される。第１のデータ抽出部５２では、“０”や“１”などのビットデータが抽出されると共に、データ挿入前の量子化周波数成分５２ｄが復元される。次に、第１のデータ挿入部５３に“０”や“１”などの新たなビットデータ（書き換えデータｒ）と共に、先に求めたデータ挿入前の量子化周波数成分５２ｄが入力される。データ挿入された量子化周波数成分５３ｄは符号化データ再構成部５４に入力されて、ヘッダ情報などデータ挿入に関連しない符号化オーディオデータと合わせて符号化データが構成されて、新たなデータが挿入されたオーディオ符号化データ５４ｄとして出力される。これにより、データ挿入の値を符号化データ上で高速に書き換えて符号化データとして出力することができる。

図１５を用いて、MPEG-1オーディオデータにおける挿入データの書き換えを説明する。データ挿入されたMPEGオーディオデータｄは量子化サブバンド成分復元部５５において部分復元され、量子化サブバンド成分５５ｄが第２のデータ抽出部５６に送られる。一方、ヘッダ情報などデータ抽出に関連のない符号化情報５５ｅはMPEG符号化再構成部５８に入力される。第２のデータ抽出部５６では、“０”や“１”などのビットデータが抽出されると共に、データ挿入前の量子化サブバンド成分５６ｄに復元される。次に、第２のデータ挿入部５７に“０”や“１”などの新たなビットデータ（書き換えデータｒ）と共に、先に求めたデータ挿入前の量子化サブバンド成分５６ｄが入力される。データ挿入された量子化サブバンド成分５７ｄはMPEG符号化再構成部５８に入力されて、ヘッダ情報などデータ挿入に関連しない符号化オーディオデータ５５ｅと合わせて符号化データが構成されて、新たなデータが挿入されたMPEGオーディオ符号化データ５８ｄとして出力される。これにより、データ挿入の値をMPEG符号化データ上で高速に書き換えてMPEG符号化データとして出力することができる。

具体的には、以下のような例のように、データ抽出プロセスとデータ挿入プロセスは、抽出されたデータや挿入するデータにより、簡略化して実現することができる。図１６はデータ挿入されたMPEGオーディオデータのあるサブバンドサンプルの例で、データ“１”が挿入された状態にある。

挿入データの編集により、書き換えデータｒが”0”になる場合は、挿入データがない場合と等価になるため、挿入データを抽出する場合と同様なプロセスを用いることができ、ｐの位置に存在するサブバンドｓ（ｐ）をｘの位置に変更することにより実現することができる。

次に、書き換えデータｒが“０”から“１”に変更される場合は、図１７のようにデータ“０”が挿入されたサブバンドサンプルは挿入データがない場合と等価なため、新たに“１”を挿入する場合と同じプロセスが利用でき、ｐの位置にあるサブバンドｓ（ｐ）をｘの位置に変更することにより実現することができる。

これらの手法では、挿入データの書き換えに伴う符号量の変化はなく、また、書き換えたあともMPEG規格に準拠することができる。

次に、本発明の第５の実施形態について説明する。前記第１，２の実施形態では、１個のデータを符号化オーディオデータへ挿入するものであったが、この実施形態は、符号化オーディオデータへ複数のデータを挿入するようにするするものである。

この実施形態は、図１、図３で示した構成で実現することができる。図１８に、MPEG-1でのサブバンドサンプルにｎビットを挿入する場合を示す。非０サブバンド成分が存在するサブバンドを高周波から順にｐn、・・・、ｐ1、ｑとする。また、キーとなるサブバンドｋを１ビット挿入時と同様に最高周波数サブバンド（ｍ−１）とｑから求める。各非０サブバンド成分pi（i=1・・・n）とｑとの距離di=pi-qをベースに、1ビット挿入の場合と同様に挿入するデータに応じてキーとなるサブバンドｋを用いて非０サブバンド成分の位置を変更する。

もし、非０サブバンド成分piに“１”を埋め込む場合は、キーとなるサブバンドより高周波側に距離di移動した位置にサブバンドデータs(pi)を変更する（s(pi)→s(xi)）。ただしxi=k+diである。また、非０サブバンド成分piに”0”を埋め込む場合は、サブバンド成分ｐiについてはそのままにする。このようにしてサブバンドサンプルにｎビットの情報を埋め込むことが可能になる。この場合も最大周波数サブバンド（ｍ−１）と高周波側からn+1番目の非０サブバンド成分ｑはデータ挿入前後で不変であるため、これを手がかりに挿入データの抽出や元の符号化データへの復元や、図１４、図１５の構成による挿入データの編集が可能である。また、サブバンドサンプルに複数のビットが挿入可能であるため、1秒間には最大36ビット×38フレーム×nビット＝1368× nビット挿入可能になる。

次に、本発明の第６の実施形態について説明する。この実施形態は、データ挿入された符号化オーディオデータからの複数のデータ抽出と元の符号化データ出力とを行えるようにしたものである。

複数のビットがある量子化周波数係数に埋め込まれた場合、図９や図１１の構成で複数のビットを抽出することも可能である。

図１９は、MPEG-1オーディオデータのサブバンドサンプルにｎビットが挿入された場合のデータ抽出を説明するものである。この場合も最高周波数のサブバンド(m-1)と高周波からn+1番目の非０サブバンド成分ｑからキーとなるサブバンドｋを求め、ｋより高周波側に存在する非０サブバンド成分piについては埋め込みデータ＝“１”、ｋより低周波側に存在する非０サブバンド成分piについては埋め込みデータ＝“０”として抽出することが可能である。これによりすべてのサブバンド成分piについて埋め込まれたデータを抽出するとともに、挿入データに応じてサブバンド成分piの位置を変更することにより、データ挿入前のMPEGオーディオデータに復元することができる。

なお、前記各実施形態では、最高周波数のサブバンド(m-1)を用いたが、本発明はこれに限定されず該最高周波数に近い周波数のサブバンド、例えば最高周波数の次に低い周波数のサブバンド(m-2)などを用いてもよい。

また、前記各実施形態では、キーとなる位置ｋを最高周波数の位置と特定の非０係数の位置との中点としたが、本発明はこれに限定されず、中点近傍、例えば、中点より１つ上又は下の周波数位置であってもよい。

本発明の一実施形態の概略の構成を示すブロック図である。本実施形態のデータ挿入の動作を示すフローチャートである。 MPEG-1オーディオデータへ適用した概略の構成を示すブロック図である。図３のデータ挿入部の動作を示すフローチャートである。本発明の一実施例によるオーディオデータへの秘匿データ挿入方法の説明図である。 MPEG-1オーディオレイヤ2のデータ構成の説明図である。本発明の第２実施形態のオーディオ符号化時にデータ挿入する符号化器の概略の構成を示すブロック図である。 MPEG-1オーディオ符号化器の概略の構成を示すブロック図である。本発明の第３実施形態の、データ挿入された符号化オーディオデータからのデータ抽出方法または装置を説明するブロック図である。図９のデータ抽出部の動作を示すフローチャートである。 MPEG-1オーディオからのデータ抽出方法または装置を説明するブロック図である。図１１のデータ抽出部の動作を示すフローチャートである。挿入データ1ビットの抽出方法と、元の符号化データに戻すためのサブバンドサンプルの変更方法の説明図である。データ挿入された符号化オーディオデータにおける挿入データ編集（書き換え）方法または装置を説明するブロック図である。 MPEG符号化オーディオに挿入されたデータの編集方法または装置を説明するブロック図である。データ編集（“１”→“０”）されたサブバンドサンプルの例の説明図である。データ編集（“０”→“１”）されたサブバンドサンプルの例の説明図である。ｎビット挿入時のサブバンドサンプルの例の説明図である。挿入されたｎビットの抽出例の説明図である。

符号の説明

１１・・・量子化周波数成分復元部、１２、２５、５３・・・第１のデータ挿入部、１３、５４・・・符号化データ再構成部、１５・・・量子化サブバンドサンプル復元部、１６、３５、５７・・・第２のデータ挿入部、１７・・・MPEG符号化データ再構成部、２１・・・周波数変換部、２３、３３・・・量子化部、２６・・・符号化データ構成部、３１・・・サブバンド変換部、５１・・・量子化周波数成分復元部、５２・・・第１のデータ抽出部、５５・・・量子化サブバンドサンプル復元部、５６・・・第２のデータ抽出部、５８・・・MPEG符号化再構成部。

Claims

周波数変換され、さらに量子化されたオーディオデータへの秘匿データ挿入方法において、
各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、
前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、前記キー位置ｋから、前記位置ｐと位置ｑとの距離ｄだけ高周波側へ移動することで、秘匿データを挿入することを特徴とするオーディオデータへの秘匿データ挿入方法。
請求項１に記載のオーディオデータへの秘匿データ挿入方法において、
前記秘匿データが“１”の時には、前記位置ｐを前記キー位置ｋから前記距離ｄだけ高周波側へ移動し、該秘匿データが“０”の時には、前記位置ｐを移動しないことを特徴とするオーディオデータへの秘匿データ挿入方法。
周波数変換され、さらに量子化されたオーディオデータへの秘匿データ挿入方法において、
各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で（ｎ＋１）番目（ここに、ｎは正の整数）に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、
前記非０となっている量子化周波数成分の中で最も高い周波数成分からｎ個の周波数成分の位置ｐ _ｉ（ｉ＝ｎ，・・・，１）を、前記キー位置ｋから、前記位置ｐ _ｉ（ｉ＝ｎ，・・・，１）と前記位置ｑとの距離ｄ _ｉ（ｉ＝ｎ，・・・，１）だけ高周波側へ移動することで秘匿データ“１”を挿入し、秘匿データ“０”の場合は前記移動を行わないことにより、ｎビットの秘匿データを挿入することを特徴とするオーディオデータへの秘匿データ挿入方法。
請求項１ないし３のいずれかに記載のオーディオデータへの秘匿データ挿入方法において、
前記オーディオデータの量子化周波数成分は、サブバンド符号化などにより符号化されたオーディオデータを入力し、該オーディオデータを部分復号することにより抽出されることを特徴とするオーディオデータへの秘匿データ挿入方法。
請求項１ないし３のいずれかに記載のオーディオデータへの秘匿データ挿入方法において、
前記オーディオデータの量子化周波数成分は、符号化されていないオーディオデータを入力し、符号化を行う際に、該オーディオデータをサブバンド符号化などにより周波数変換し、さらに量子化して得られることを特徴とするオーディオデータへの秘匿データ挿入方法。
オーディオデータへの秘匿データ挿入装置であって、
ＭＰＥＧオーディオ符号化データの入力手段と、
該ＭＰＥＧオーディオ符号化データを部分的に復号して量子化周波数成分を抽出する量子化周波数成分抽出手段と、
該抽出された量子化周波数成分に秘匿データを挿入する秘匿データ挿入手段と、
該秘匿データが挿入されたデータを用いてＭＰＥＧ規格に準拠したオーディオデータを再構成して出力する出力手段とを具備し、
前記秘匿データ挿入手段は、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、該秘匿データが“１“の時には、前記キー位置ｐから前記位置ｋと位置ｑとの距離ｄだけ高周波側へ移動し、該秘匿データが“０”の時には、前記位置ｐを移動しないことを特徴とするオーディオデータへの秘匿データ挿入装置。
オーディオデータへの秘匿データ挿入装置であって、
符号化されていないオーディオデータを入力する入力手段と、
ＭＰＥＧオーディオ符号化を行う際に、該オーディオデータをＭＰＥＧオーディオ符号化の過程で周波数変換し、さらに量子化して該オーディオデータの量子化周波数成分を求める手段と、
該量子化周波数成分に秘匿データを挿入する秘匿データ挿入手段と、
該秘匿データが挿入されたデータを用いてＭＰＥＧ規格に準拠したオーディオデータを再構成して出力する出力手段とを具備し、
前記秘匿データ挿入手段は、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、該秘匿データが“１“の時には、前記キー位置ｋから前記位置ｐと位置ｑとの距離ｄだけ高周波側へ移動し、該秘匿データが“０”の時には、前記位置ｐを移動しないことを特徴とするオーディオデータへの秘匿データ挿入装置。
請求項６または７に記載のオーディオデータへの秘匿データ挿入装置において、
前記秘匿データを挿入する手段は、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で（ｎ＋１）番目（ここに、ｎは正の整数）に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、
前記非０となっている量子化周波数成分の中で最も高い周波数成分からｎ個の周波数成分の位置ｐ _ｉ（ｉ＝ｎ，・・・，１）を、前記キー位置ｋから、前記位置ｐ _ｉ（ｉ＝ｎ，・・・，１）と前記ｑとの距離ｄ _ｉ（ｉ＝ｎ，・・・，１）だけ高周波側へ移動することで秘匿データ“１”を挿入し、秘匿データ“０”の場合は前記移動を行わないことにより、ｎビットの秘匿データを挿入することを特徴とするオーディオデータへの秘匿データ挿入装置。
ＭＰＥＧオーディオデータへの秘匿データ挿入装置であって、
ＭＰＥＧオーディオ符号化データの入力手段と、
該ＭＰＥＧオーディオ符号化データを部分的に復号して量子化周波数成分を抽出する量子化周波数成分抽出手段と、
該抽出された量子化周波数成分に秘匿データを挿入する秘匿データ挿入手段と、
該秘匿データが挿入されたデータを用いてＭＰＥＧ規格に準拠したオーディオデータを再構成して出力する出力手段とを具備し、
前記秘匿データ挿入手段は、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、該秘匿データが“１“の時には、前記キー位置ｋから前記位置ｐと位置ｑとの距離ｄだけ高周波側へ移動し、該秘匿データが“０”の時には、前記位置ｐを移動しないことで、各サブバンドサンプルに１ビットの情報量を挿入することを特徴とするＭＰＥＧオーディオデータへの秘匿データ挿入装置。
サブバンド符号化などで符号化されたオーディオデータを入力し、
該オーディオデータを部分的に復号して、量子化周波数成分を抽出し、
各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、
前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐが前記キー位置ｋより高周波側に位置するかどうかにより、秘匿データを抽出することを特徴とするオーディオデータに挿入された秘匿データの抽出方法。
請求項１０に記載のオーディオデータに挿入された秘匿データの抽出方法において、
前記位置ｐが前記キー位置ｋより高周波側に位置する場合には、秘匿データが“１”として抽出し、前記位置ｐが前記キー位置ｋより高周波側に位置しない場合には、秘匿データが“０”として抽出することを特徴とするオーディオデータに挿入された秘匿データの抽出方法。
ＭＰＥＧオーディオ符号化により符号化されたオーディオデータを入力する入力手段と、
該ＭＰＥＧオーディオデータを部分的に復号して、量子化周波数成分を抽出する量子化周波数成分抽出手段と、
該量子化周波数成分抽出手段により抽出された量子化周波数成分から秘匿データを抽出する秘匿データ抽出手段とを具備し、
前記秘匿データ抽出手段は、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐが前記キー位置ｋより高周波側に位置する場合には、秘匿データが“１”として抽出し、前記位置ｐが前記キー位置ｋより高周波側に位置しない場合には、秘匿データが“０”として抽出することを特徴とするオーディオデータに挿入された秘匿データの抽出装置。
ＭＰＥＧオーディオ符号化により符号化されたオーディオデータを入力する入力手段と、
該ＭＰＥＧオーディオデータを部分的に復号して、量子化周波数成分を抽出する量子化周波数成分抽出手段と、
該抽出された量子化周波数成分から秘匿データを抽出する秘匿データ抽出手段とを具備し、
前記秘匿データ抽出手段は、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で（ｎ＋１）番目（ここに、ｎは正の整数）に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、前記非０となっている量子化周波数成分の位置ｐ _ｉ（ｉ＝ｎ，・・・，１）が、前記キー位置ｋより高周波側に位置する場合は秘匿データが“１”として抽出し、前記高周波側に位置しない場合は“０”として抽出することで一度にｎビットのデータを抽出することを特徴とするオーディオデータに挿入された秘匿データの抽出装置。
請求項２に記載のオーディオデータへの秘匿データ挿入方法により挿入された秘匿データの復元方法において、
抽出された秘匿データが“１”の場合には、非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、２番目に高い周波数成分の位置ｑから、前記距離ｄだけ高周波側へ移動した位置に変更することを特徴とする秘匿データの復元方法。
ＭＰＥＧオーディオ符号化により符号化されたオーディオデータを入力する入力手段と、
該ＭＰＥＧオーディオデータを部分的に復号して、量子化周波数成分を抽出する量子化周波数成分抽出手段と、
該抽出された量子化周波数成分から秘匿データを抽出する秘匿データ抽出手段と、
前記抽出された秘匿データを復元する復元手段とを具備し、
前記秘匿データ抽出手段は、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐが前記キー位置ｋより高周波側に位置する場合には、秘匿データが“１”として抽出し、前記位置ｐが前記キー位置ｋより高周波側に位置しない場合には、秘匿データが“０”として抽出し、
前記復元手段は、前記抽出された秘匿データが“１”の場合には、非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、２番目に高い周波数成分の位置ｑから、前記位置ｐと位置ｑとの距離ｄだけ高周波側へ移動した位置に変更することを特徴とするオーディオデータに挿入された秘匿データの復元装置。
請求項２に記載のオーディオデータへの秘匿データ挿入方法により挿入された秘匿データの編集方法において、
抽出された秘匿データ“１”を“０”に変更する場合には、非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐを、２番目に高い周波数成分の位置ｑから、前記距離ｄだけ高周波側へ移動した位置に変更し、抽出された秘匿データ“０”を“１”に変更する場合には、前記位置ｐを前記キー位置ｋから前記距離ｄだけ高周波側へ移動することを特徴とする秘匿データの編集方法。
ＭＰＥＧオーディオ符号化データの入力手段と、
該ＭＰＥＧオーディオ符号化データを部分的に復号して量子化周波数成分を抽出する量子化周波数成分抽出手段と、
該抽出された量子化周波数成分から秘匿データを抽出する秘匿データ抽出手段と、
前記抽出された秘匿データを編集する編集手段と、
該編集されたデータを用いてＭＰＥＧ規格に準拠したオーディオデータを再構成して出力する出力手段とを具備し、
前記秘匿データ抽出手段は、各量子化周波数成分のうち、最も高い周波数成分の位置（ｍ−１）と、非０となっている量子化周波数成分の中で２番目に高い周波数成分の位置ｑとの中点（以下、「キー位置ｋ」という）を求め、前記非０となっている量子化周波数成分の中で最も高い周波数成分の位置ｐが前記キー位置ｋより高周波側に位置する場合には、秘匿データが“１”として抽出し、前記位置ｐが前記キー位置ｋより高周波側に位置しない場合には、秘匿データが“０”として抽出し、
前記編集手段は、前記抽出された秘匿データ“１”を“０”に変更する場合には、非０となっている量子化周波数成分の中で最も高い量子化周波数成分の位置ｐを、２番目に高い量子化周波数成分の位置ｑから、前記距離ｄだけ高周波側へ移動した位置に変更し、抽出された秘匿データ“０”を“１”に変更する場合には、前記位置ｐを前記キー位置ｋから前記位置ｐと位置ｑとの距離ｄだけ高周波側へ移動することを特徴とする秘匿データの編集装置。