JP6065452B2 - データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム - Google Patents

データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP6065452B2
JP6065452B2 JP2012179966A JP2012179966A JP6065452B2 JP 6065452 B2 JP6065452 B2 JP 6065452B2 JP 2012179966 A JP2012179966 A JP 2012179966A JP 2012179966 A JP2012179966 A JP 2012179966A JP 6065452 B2 JP6065452 B2 JP 6065452B2
Authority
JP
Japan
Prior art keywords
data
prediction
prediction parameter
embedding
codebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012179966A
Other languages
English (en)
Other versions
JP2014038179A (ja
Inventor
晃 釜野
晃 釜野
洋平 岸
洋平 岸
俊輔 武内
俊輔 武内
鈴木 政直
政直 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012179966A priority Critical patent/JP6065452B2/ja
Priority to EP13170393.6A priority patent/EP2698788B1/en
Priority to US13/912,674 priority patent/US9812135B2/en
Publication of JP2014038179A publication Critical patent/JP2014038179A/ja
Application granted granted Critical
Publication of JP6065452B2 publication Critical patent/JP6065452B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal

Description

本明細書で議論される実施態様は、データに他の情報を埋め込む技術、及び、埋め込まれている当該他の情報を抽出する技術に関するものである。
多チャネルのオーディオ信号のデータ量を圧縮する符号化方式が幾つか提案されている。そのうちのひとつとして、Moving Picture Experts Group(MPEG)において標準化されたMPEG Surroundが知られている。
MPEG Surroundでは、例えば、符号化対象となる5.1チャネルのオーディオ信号(時間信号)が周波数変換され、得られた周波数信号がダウンミックスされることによって3チャネルの周波数信号がまず生成される。その後、その3チャネルの周波数信号が再度ダウンミックスされることによって、ステレオ信号に対応する2チャネルの周波数信号が算出される。この2チャネルの周波数信号は、その後、Advanced Audio Coding (AAC)符号化方式及びSpectral Band Replication (SBR)符号化方式に基づいて符号化される。なお、MPEG Surroundでは、5.1チャネルから3チャネルへの信号のダウンミックスの際と、3チャネルから2チャネルへの信号のダウンミックスの際とにおいて、音の拡がり又は定位を表す空間情報が算出され、この空間情報も併せて符号化される。
このように、MPEG Surroundでは、マルチチャネルオーディオ信号をダウンミックスして生成されるステレオ信号と、データ量の比較的少ない空間情報とが符号化される。従って、MPEG Surroundは、マルチチャネルオーディオ信号に含まれる各チャネルの信号を独立に符号化するよりも高い圧縮効率が得られる。
このMPEG Surroundでは、2チャネルであるステレオ周波数信号の生成の際に算出される空間情報を符号化するために、予測パラメータが用いられる。予測パラメータとは、ダウンミックス後の2チャネルの信号をアップミックスして3チャネルの信号を得るための予測、すなわち、3チャネル中の1つのチャネルの信号の予測を、その他の2つのチャネルの信号に基づいて行うために用いられる係数である。このアップミックスについて、図1を参照しながら説明する。
図1においては、ダウンミックスされている2チャネルの信号をlベクトルとrベクトルとでそれぞれ表しており、この2チャネルの信号からアップミックスによって得られる1つの信号をcベクトルで表している。MPEG Surroundでは、この場合に、cベクトルが、予測パラメータc1 及びc2 を用いて、下記の[数1]式により予測されるものとしている。
なお、予測パラメータは「符号帳」と称されるテーブルに値が予め複数格納されている。符号帳は、使用ビット効率の向上のために用いられるものである。MPEG Surroundでは、c1 及びc2 について、各々−2.0以上+3.0以下の領域を0.1幅で刻んだ51個×51個の組が符号帳として用意されている。従って、c1 及びc2 の各々を2つの座標軸とする直交2次元座標上にこの予測パラメータの組をプロットすると、51個×51個の格子点となる。
符号帳から予測パラメータの組を選択する手法として、チャネル信号の予測符号化前後での差分で規定される誤差を、符号帳に格納されている予測パラメータの全ての組を用いて算出し、その誤差が最小になる組を選択するという技術が知られている。また、最小二乗法を用いた計算法により誤差が最小になる組を選択するという技術が開示されている。
ところで、データに他の情報を埋め込む技術が知られている。例えば、圧縮符号化データで用いられた符号化制御パラメータ値と異なる符号化制御パラメータ値を用いて圧縮符号化データを再符号化することにより、該圧縮符号化データに電子透かし情報を挿入するという技術が知られている。また、画像データ中に暗号情報を隠匿する技術に関し、予測画像データの予測モード信号を、暗号情報に対応して補正し、補正後の予測モード信号に応じて符号化を行い、復号化時には予測モード信号から対応した暗号情報を先に抽出するという技術が知られている。
特表2008−517338号公報 特開2009−213074号公報 特表2000−013800号公報
データに他の情報を埋め込む技術では、元の情報の品質の劣化が認識されないようにすることが望ましい。例えば、オーディオ信号の符号化データに対する他の情報の埋め込みにおいては、元の音源の違いによっても、あるいは、聴く人の違いによっても、情報の埋め込みに起因する復号音声の元の音からの音質の劣化が認識されないようにすることが好ましい。
上述した問題に鑑み、本明細書で後述するデータ埋め込み装置は、元の情報を表しているデータに、当該元の情報の品質の劣化が認識されないように他の情報の埋め込みを行うようにする。また、本明細書で後述するデータ抽出装置は、このデータ埋め込み装置によって埋め込まれた当該他の情報の抽出を行うようにする。
本明細書で後述するデータ埋め込み装置のひとつに、符号帳と、候補抽出部と、データ埋め込み部とを備えるというものがある。ここで、符号帳には、予測パラメータが予め複数格納されている。候補抽出部は、複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、この符号帳から複数抽出する。そして、データ埋め込み部は、この予測符号化の結果とする予測パラメータを、この抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを当該予測パラメータに埋め込む。
また、本明細書で後述するデータ抽出装置のひとつは、上述したデータ埋め込み装置によって予測パラメータに埋め込まれたデータを抽出するものである。このデータ抽出装置には、前述の符号帳と、候補特定部と、データ抽出部とを備えるというものがある。ここで、候補特定部は、予測符号化の結果とされた予測パラメータと前述の他の2つのチャネルの信号とに基づいて、候補抽出部により抽出された予測パラメータの候補を符号帳から特定する。そして、データ抽出部は、特定された予測パラメータの候補から、予測符号化の結果とされた予測パラメータと、前述のデータ埋め込み規則に基づき、埋め込み対象のデータを抽出する。
本明細書で後述するデータ埋め込み装置によれば、元の情報を表しているデータに、当該元の情報の品質の劣化が認識されないように他の情報の埋め込みを行うことを可能にする。また、本明細書で後述するデータ抽出装置は、このデータ埋め込み装置によって埋め込まれた当該他の情報の抽出を可能にする。
2チャネルから3チャネルへのアップミックスの説明図である。 エンコードシステムの構成を図解したブロック図である。 デコードシステムの構成を図解したブロック図である。 コンピュータの構成例である。 データ埋め込み装置において行われる制御処理の処理内容を図解したフローチャートである。 放物型の誤差曲面の例である。 楕円型の誤差曲面の例である。 図5Aの誤差曲面の投影図に誤差直線を描いた図である。 パターンAの予測パラメータ候補抽出処理の説明図である。 データ埋め込み処理の説明図である。 データ抽出装置において行われる制御処理の処理内容を図解したフローチャートである。 データ抽出処理の説明図である。 予測パラメータ候補抽出処理の処理内容の詳細を図解したフローチャートである。 パターンBの予測パラメータ候補抽出処理の説明図である。 パターンBの予測パラメータ候補抽出処理の具体的な処理例の説明図である。 パターンCの予測パラメータ候補抽出処理の説明図である。 パターンDの予測パラメータ候補抽出処理の説明図である。 別データの埋め込みの第一の手法の具体例の説明図である。 別データの埋め込みの第二の手法の具体例の説明図である。 別データの埋め込みの第三の手法の具体例の説明図である。 データ埋め込み装置において行われる制御処理の変形例の処理内容を図解したフローチャートである。 埋め込み対象データに対する誤り訂正符号化処理の一例の説明図である。
以下に、一つの実施形態によるデータ埋め込み装置及び方法並びにデータ抽出装置及び方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
まず図2A及び図2Bについて説明する。図2Aは、データ埋め込み装置の一実施例を備えているエンコードシステムの構成を図解した機能ブロック図であり、図2Bは、データ抽出装置の一実施例を備えているデコードシステムの構成を図解した機能ブロック図である。
図2A及び図2Bにそれぞれ図解したエンコードシステム及びデコードシステムが備えるこれらの構成要素は、それぞれ別個の回路として形成される。あるいはこれらの構成要素の一部若しくは全部が集積された集積回路としてエンコードシステム及びデコードシステムの各々が実装されてもよい。更に、これらの各構成要素は、エンコードシステム及びデコードシステムの各々が有する演算処理装置上で実行されるプログラムにより実現される、機能モジュールであってもよい。
図2Aのエンコードシステムは、エンコーダ装置10とデータ埋め込み装置20とを備えて構成されている。エンコーダ装置10には、左前方、中央、右前方、左後方、右後方の計5チャネル分の信号と、低域専用の0.1チャネルの信号とからなる、5.1チャネルの時間領域のオーディオ信号が入力される。エンコーダ装置10は、この5.1チャネルのオーディオ信号に対して符号化を施して符号化データを出力する。一方、データ埋め込み装置20は、エンコーダ装置10が出力する符号化データへ、他のデータの埋め込みを行う装置であり、データ埋め込み装置20には、符号化データへ埋め込まれるデータが入力される。図2Aのエンコードシステムの出力は、エンコーダ装置10から出力される、埋め込みデータが埋め込まれた符号化データである。
一方、図2Bのデコードシステムは、デコーダ装置30とデータ抽出装置40とを備えて構成されている。デコーダ装置30には、図2Aのエンコーダシステムの出力である符号化データが入力され、この符号化データから、元の5.1チャネルの時間領域のオーディオ信号を復元して出力する。データ抽出装置40は、この符号化データから、データ埋め込み装置20によって埋め込まれたデータを抽出して出力する。
まず、図2Aのエンコードシステムについて説明する。
エンコーダ装置10は、時間周波数変換部11、第一ダウンミックス部12、第二ダウンミックス部13、ステレオ符号化部14、予測符号化部15、及び多重化部16を備えて構成されている。
時間周波数変換部11は、エンコーダ装置10に入力される5.1チャネルの時間領域のオーディオ信号を5.1チャネルの周波数信号に変換する。本実施例では、時間周波数変換部11は、例えば、Quadrature Mirror Filter(QMF)を用いて行われるフレーム単位での時間周波数変換を行う。この変換により、入力された時間領域のオーディオ信号を、1チャネルのオーディオ周波数帯域を等分(例えば64等分)したときの各帯域の周波数成分信号が得られる。図2Aのエンコードシステムを構成しているエンコーダ装置10及びデータ埋め込み装置20の各機能ブロックで行われる処理は、この各帯域の周波数成分信号毎に行われる。
第一ダウンミックス部12は、5.1チャネルの周波数信号を受け取る度に、各チャネルの周波数信号をダウンミックスすることにより、左、中央、及び右の計3チャネルの周波数信号を生成する。
第二ダウンミックス部13は、第一ダウンミックス部12から3チャネルの周波数信号受け取る度に、各チャネルの周波数信号をダウンミックスすることにより、左及び右の計2チャネルのステレオ周波数信号を生成する。
ステレオ符号化部14は、第二ダウンミックス部13から受け取ったステレオ周波数信号を、例えば前述したAAC符号化方式及びSBR符号化方式に従って符号化する。
予測符号化部15は、第二ダウンミックス部13の出力であるステレオ周波数信号から3チャネルの信号を復元するためのアップミックスにおいて行われる予測に使用する、前述した予測パラメータの値を求める処理を行う。なお、ステレオ周波数信号から3チャネルの信号を復元するアップミックスは、後述するデコーダ装置30の第一アップミックス部33において、前述した図1の手法に従って行われる。
多重化部16は、前述した予測パラメータと、ステレオ符号化部14から出力される符号化データとを所定の順序で配列して多重化し、多重化された符号化データを出力する。なお、エンコーダ装置10を単独で動作させる場合には、多重化部16は、予測符号化部15から出力される予測パラメータを符号化データと多重化する。一方、図2Aに図解したエンコーダシステムの構成とする場合には、多重化部16は、データ埋め込み装置20から出力される予測パラメータを符号化データと多重化する。
データ埋め込み装置20は、符号帳21、候補抽出部22、及びデータ埋め込み部23を備えて構成されている。
符号帳21には、予測パラメータが予め複数格納されている。この符号帳21は、エンコーダ装置10の予測符号化部15が予測パラメータを得るために使用するものと同一のものを使用する。なお、図2Aの構成では符号帳21をデータ埋め込み装置20自身が備えているが、この代わりに、エンコーダ装置10の予測符号化部15が備えているものを用いるようにしてもよい。
候補抽出部22は、複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、符号帳21から複数抽出する。より具体的には、候補抽出部22は、予測符号化部15によって得られる予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳21から複数抽出する。
データ埋め込み部23は、予測符号化の結果とする予測パラメータを、候補抽出部22により抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを当該予測パラメータに埋め込む。より具体的には、データ埋め込み部23は、多重化部16への入力とする予測パラメータを、候補抽出部22により抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを当該予測パラメータに埋め込む。
次に、図2Bのデコードシステムについて説明する。
デコーダ装置30は、分離部31、ステレオ復号部32、第一アップミックス部33、第二アップミックス部34、及び周波数時間変換部35を備えて構成されている。
分離部31は、多重化部16で用いられている当該多重化における配列順序に応じ、図2Aのエンコードシステムの出力である多重化された符号化データを、予測パラメータと、ステレオ符号化部14から出力される符号化データとに分離する。
ステレオ復号部32は、分離部31から受け取る符号化データを復号して、左及び右の計2チャネルのステレオ周波数信号を復元する。
第一アップミックス部33は、分離部31から受け取る予測パラメータを用いて、ステレオ復号部32から受け取るステレオ周波数信号を、前述した図1の手法に従いアップミックスすることにより、左、中央、及び右の計3チャネルの周波数信号を復元する。
第二アップミックス部34は、第一アップミックス部33から受け取る3チャネルの周波数信号をアップミックスすることにより、左前方、中央、右前方、左後方、及び右後方並びに低域専用の計5.1チャネルの周波数信号を復元する。
周波数時間変換部35は、第二アップミックス部34から受け取る5.1チャネルの周波数信号に対して、時間周波数変換部11による時間周波数変換の逆変換である周波数時間変換を施して、5.1チャネルの時間領域のオーディオ信号を復元して出力する。
データ抽出装置40は、符号帳41、候補特定部42、及びデータ抽出部43を備えて構成されている。
符号帳41は、予測パラメータの候補が予め複数格納されている。この符号帳41は、データ埋め込み装置20が備えている符号帳21と同一のものである。なお、図2Bの構成では符号帳41をデータ抽出装置40自身が備えているが、この代わりに、第一アップミックス部33で使用する予測パラメータを得るためにデコーダ装置30が備えているものを用いるようにしてもよい。
候補特定部42は、予測符号化の結果とされた予測パラメータと前述の他の2つのチャネルの信号とに基づいて、候補抽出部22により抽出された予測パラメータの候補を符号帳41から特定する。より具体的には、候補特定部42は、分離部31から受け取る予測パラメータと、ステレオ復号部32により復元されたステレオ周波数信号とに基づいて、候補抽出部22により抽出された予測パラメータの候補を符号帳41から特定する。
データ抽出部43は、データ埋め込み部23がデータの埋め込みの際に使用したデータ埋め込み規則に基づき、候補特定部42により特定された予測パラメータの候補から、データ埋め込み部23が符号化データに埋め込んだデータを抽出する。
以上の構成を備えるデータ埋め込み装置20及びデータ抽出装置40によれば、別のデータの符号化データへの埋め込みを行い、当該別のデータが埋め込まれた符号化データから、当該別のデータを抽出することが可能である。また、データ埋め込み装置20がデータの埋め込みのために予測パラメータを選択するときの選択肢である予測パラメータの候補は、いずれも、選択された予測パラメータを用いて行われる予測符号化での予測誤差が所定範囲内に留まるものである。従って、この予測誤差の範囲を十分狭くしておくことで、デコーダ装置30の第一アップミックス部33によるアップミックスのための予測符号化によって復元される情報の劣化が認識されることがない。
なお、データ埋め込み装置20及びデータ抽出装置40を、標準的な構成を備えるコンピュータで実現することも可能である。
ここで図3について説明する。図3には、データ埋め込み装置20及びデータ抽出装置40として動作させることのできるコンピュータ50の構成例が図解されている。
このコンピュータ50は、MPU51、ROM52、RAM53、ハードディスク装置54、入力装置55、表示装置56、インタフェース装置57、及び記録媒体駆動装置58を備えている。なお、これらの構成要素はバスライン59を介して接続されており、MPU51の管理の下で各種のデータを相互に授受することができる。
MPU(Micro Processing Unit)51は、このコンピュータ50全体の動作を制御する演算処理装置である。
ROM(Read Only Memory)52は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。MPU51は、この基本制御プログラムをコンピュータ50の起動時に読み出して実行することにより、このコンピュータ50の各構成要素の動作制御が可能になる。
RAM(Random Access Memory)53は、MPU51が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
ハードディスク装置54は、MPU51によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。MPU51は、ハードディスク装置54に記憶されている所定の制御プログラムを読み出して実行することにより、後述する制御処理を行えるようになる。また、符号帳21及び41は、例えばこのハードディスク装置54に予め格納しておく。コンピュータ50をデータ埋め込み装置20及びデータ抽出装置40として動作させる場合には、その前に、ハードディスク装置54から符号帳21及び41を読み出してRAM53に格納しておく処理をMPU51に行わせるようにする。
入力装置55は、例えばキーボード装置やマウス装置であり、コンピュータ50の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をMPU51に送付する。例えば、入力装置55は、符号化データに埋め込みを行うデータの取得を行う。
表示装置56は例えば液晶ディスプレイであり、MPU51から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置57は、このコンピュータ50に接続される各種機器との間での各種データの授受の管理を行う。例えば、インタフェース装置57は、エンコーダ装置10及びデコーダ装置30との間で、符号化データや予測パラメータ等のデータの授受を行う。
記録媒体駆動装置58は、可搬型記録媒体60に記録されている各種の制御プログラムやデータの読み出しを行う装置である。MPU51は、可搬型記録媒体60に記録されている所定の制御プログラムを、記録媒体駆動装置58を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体60としては、例えばCD−ROM(Compact Disc Read Only Memory)やDVD−ROM(Digital Versatile Disc Read Only Memory)、USB(Universal Serial Bus)規格のコネクタが備えられているフラッシュメモリなどがある。
このようなコンピュータ50をデータ埋め込み装置20及びデータ抽出装置40として動作させるには、まず、後述する制御処理の各処理ステップをMPU51に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置54若しくは可搬型記録媒体60に予め格納しておく。そして、MPU51に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、MPU51が、図2A及び図2Bにそれぞれ図解したデータ埋め込み装置20及びデータ抽出装置40が備えている各部として機能し、このコンピュータ50をデータ埋め込み装置20及びデータ抽出装置40として動作させることが可能になる。
次に、データ埋め込み装置20において行われる制御処理について、図4を参照しながら説明する。図4は、この制御処理の処理内容を図解したフローチャートである。
図4において、まず、S100では、候補抽出処理を候補抽出部22が行う。この処理は、エンコーダ装置10の予測符号化部15によって得られる予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳21から複数抽出する処理である。この候補抽出処理の詳細を更に説明する。
まず、S101において、誤差曲面判定処理を候補抽出部22が行う。この処理は、誤差曲面の形状がどのような形状となるのかを判定する処理である。
ここで誤差曲面について説明する。誤差曲面は、複数チャネルのうちの1つのチャネルの信号についての予測パラメータを用いた予測結果と当該1つのチャネルの実際の信号との誤差(予測誤差)についての、当該予測パラメータを変化させたときの分布をグラフ化して得られる曲面である。本実施例においては、誤差曲面は、予測パラメータを用いて図1のようにして中央チャネルの信号を予測したときの予測誤差についての、当該予測パラメータを変化させたときの分布をグラフ化すると得られる曲面である。
誤差曲面の例を図5A及び図5Bに示す。図5Aは放物型の誤差曲面の例であり、図5Bは楕円型の誤差曲面の例である。
図5A及び図5Bはいずれも直交三次元座標上に誤差曲面が描かれている。ここで、矢印c1 及びc2 の向きは、それぞれ左チャネル及び右チャネルについての予測パラメータの値の大きさを表しており、矢印c1 及びc2 によって張られる平面に垂直な方向(紙面の上方向)は予測誤差の大きさを表している。従って、矢印c1 及びc2 によって張られる平面に平行な平面上では、予測パラメータの値の組をどのように選択して中央チャネルの信号の予測を行っても、予測誤差は同一の値となる。
ところで、中央チャネルの実際の信号を信号ベクトルc0 とし、左チャネル及び右チャネルの信号と予測パラメータとを用いた中央チャネルの信号の予測結果を信号ベクトルcとすると、予測誤差dは、下記の[数2]式のように表される。
なお、l及びrは、それぞれ左チャネル及び右チャネルの信号を表している信号ベクトルであり、c1 及びc2 は、それぞれ左チャネル及び右チャネルについての予測パラメータである。
この[数2]式をc1 及びc2 について変形すると下記の[数3]式が得られる。
なお、関数fはベクトルの内積を表している。
この[数3]式の右辺の分母、すなわち、下記の[数4]式に注目する。
この[数4]式の値がゼロとなる場合には、誤差曲面の形状は図5Aの放物型となり、この値がゼロでない場合には、誤差曲面の形状は図5Bの楕円型となる。従って、図4のS101の誤差曲面判定処理では、第一ダウンミックス部12から出力される左チャネル及び右チャネルの信号についての信号ベクトルの内積を求めて[数4]式の値を算出し、この値がゼロであるか否かによって、誤差曲面の形状を判定する。
なお、[数4]式の値がゼロとなる場合とは、下記の3つの場合、すなわち、(1)rベクトルがゼロベクトルの場合、(2)lベクトルがゼロベクトルの場合、(3)lベクトルがrベクトルの定数倍である場合のいずれかに限られる。従って、S101の誤差曲面判定処理では、第一ダウンミックス部12から出力される左チャネル及び右チャネルの信号が、この3つの場合のいずれかに該当するか否かを調べることによって、誤差曲面の形状を判定するようにしてもよい。
次に、S102において、S101の誤差曲面判定処理により判定された誤差曲面の形状が放物型であったか否かを判定する処理を候補抽出部22が行う。ここで、候補抽出部22は、誤差曲面の形状が放物型であったと判定したとき(判定結果がYesのとき)には、S103に処理を進め、データ埋め込みのための処理を進める。一方、候補抽出部22は、誤差曲面の形状が放物型ではなかった(楕円型であった)と判定したとき(判定結果がNoのとき)には、S114に処理を進める。この場合には、データの埋め込みは行われない。
次に、S103では、誤差直線決定処理を候補抽出部22が行う。
誤差直線とは、誤差曲面上における予測誤差が最小である点の集合であり、誤差曲面が放物型である場合には、この点の集合は直線となる。なお、誤差曲面が楕円型である場合には、予測誤差が最小である点は1点となり、直線とはならない。従って、前述したS102の判定処理は、予測誤差が最小である点の集合が直線となるか否かを判定する処理であるともいえる。
図5Aの放物型の誤差曲面の例では、予測パラメータc1 及びc2 によって定義される平面と誤差曲面とが接する場合における接線が誤差直線である。この誤差直線上の点により特定される予測パラメータc1 及びc2 の値の組は、そのいずれの組を選択して中央チャネルの信号の予測を行っても、予測誤差は同一となる。
なお、この誤差直線の式は、左チャネル及び右チャネルの信号レベルに応じて下記の3つの式により表される。S103の誤差直線決定処理では、この各式の右辺の各信号ベクトルに、第一ダウンミックス部12から出力される左チャネル及び右チャネルの信号を代入することによって、誤差直線の決定を行う。
まず、第一に、rベクトルがゼロベクトルの場合、すなわち、右チャネルが無音信号である場合には、誤差直線の式は、下記の[数5]式により表される。
図6は、矢印c1 及びc2 によって張られる平面への図5Aの誤差曲面の投影図に、上記の[数5]式により表される直線を描いたものである。
次に、第二に、rベクトルがゼロベクトルの場合、すなわち、右チャネルが無音信号である場合には、誤差直線の式は、下記の[数6]式により表される。
そして、第三に、lベクトルがrベクトルの定数倍である場合、すなわち、処理対象のフレーム中の全てのサンプルにおいて、lベクトルとrベクトルとの比率が一定である場合には、誤差直線の式は、下記の[数7]式により表される。
なお、rベクトル及びlベクトルの両者が共にゼロベクトルの場合、すなわち、R及びLチャネルの信号が共にゼロである場合には、予測誤差が最小である点の集合は直線とはならない。この場合には、候補抽出部22は、S103の誤差直線決定処理において誤差直線の決定を行わずに、S104へと処理を進める。この場合の処理については後述する。
次に、S104では、予測パラメータ候補抽出処理を候補抽出部22が行う。この処理は、S103の処理により求めた誤差直線に基づいて、予測パラメータの候補を符号帳21から抽出する処理である。
予測パラメータ候補抽出処理では、予測パラメータc1 及びc2 によって定義される平面上においての、誤差直線と、符号帳21に格納されている各予測パラメータに対応する各点との位置関係に基づいて、予測パラメータの候補の抽出が行われる。本実施例における予測パラメータ候補抽出処理では、この位置関係として、符号帳21に格納されている各予測パラメータの候補に対応する各点のうち、誤差直線との距離が所定の範囲内である点を選択する。そして、選択された点が表している予測パラメータの組が、予測パラメータの候補として抽出される。この処理の具体例を、図7を用いて説明する。
図7の例は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている。この例では、これらの点のうちの幾つかが誤差直線上に存在している。図7では、これらの格子点として配置されている点のうちで、誤差直線上に存在しているものは白丸印で表されている。これらの白丸印で表されている複数の点は、誤差直線からの距離が全ての格子点のうちで最小(すなわちゼロ)であって同一である。従って、これらの点が表している予測パラメータc1 及びc2 の値の組は、そのいずれの組を用いて中央チャネルの信号の予測を行っても、予測誤差は最小且つ同一となる。従って、図7の例の場合には、これらの白丸印の点が表している予測パラメータc1 及びc2 の組が、予測パラメータの候補として、符号帳21から抽出される。
なお、予測パラメータ候補抽出処理では、予測パラメータの候補の抽出のパターンが幾つか用意されており、上記平面上においての誤差直線と符号帳21の予測パラメータの対応点との位置関係に応じて抽出パターンを選択して予測パラメータの候補の抽出を行う。この抽出パターンの選択についての詳細は後述する。
候補抽出部22は、S100の候補抽出処理として、以上のS101からS104の処理を行う。
候補抽出部22によるS100の候補抽出処理が完了すると、次に、S110において、データ埋め込み処理をデータ埋め込み部23が行う。この処理は、予測符号化部15による予測符号化の結果とする予測パラメータを、S104の処理により抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを当該予測パラメータに埋め込む処理である。このデータ埋め込み処理の詳細を更に説明する。
まず、S111において、埋め込み容量の算出処理をデータ埋め込み部23が行う。この処理では、S104の予測パラメータ候補抽出処理において抽出された予測パラメータの候補の個数を超えない最大ビット数を、埋め込みを行うことの可能なデータ容量として算出する処理が行われる。例えば、図7の例では、予測パラメータの候補として抽出される白丸印の数は6個であるので、少なくとも4値、すなわち2ビット分のデータを埋め込むことが可能であることが分かる。従って、S111の算出処理では、算出結果として「2ビット」が得られる。
次に、S112において、埋め込み値付与処理をデータ埋め込み部23が行う。この処理は、S104の予測パラメータ候補抽出処理において抽出された予測パラメータの候補の各々に対し、予め定めておいた所定の規則で、埋め込み値を付与する処理である。そして、続くS113において、予測パラメータ選択処理をデータ埋め込み部23が行う。この処理は、埋め込み対象のデータにおける埋め込み容量分のビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を選択し、選択された候補を、エンコーダ装置10の多重化部16に出力する処理である。
以上のS112及びS113の処理の具体例を、図8を用いて説明する。
予測パラメータの候補が、例えば、図7のように抽出されたものとする。また、この場合における埋め込み値を付与する規則は、予測パラメータc2 の値の小さい順と定められていたものとする。この場合、図8に図解されているように、白丸印の各点に対し、予測パラメータc2 の値の小さい順に、埋め込み値「00」、「01」、「10」、「11」が付与される。
ここで、埋め込み対象のデータが、図8に表されているように、「11010101101101010…」であったとする。このデータにおける先頭の2ビットのビット列「11」を、予測パラメータに埋め込む場合には、図8において「11」の埋め込み値が付与された白丸印の点に対応する予測パラメータc1 及びc2 の値の組が選択されて多重化部16に出力される。
以上のS113までの処理が完了すると、図4の制御処理が終了する。
一方、前述したS102の判定処理により、誤差曲面の形状が放物型ではなかった(楕円型であった)と判定された場合には、S114の処理をデータ埋め込み部23が行う。この処理は、エンコーダ装置10の予測符号化部15が出力する予測パラメータc1 及びc2 の値の組を、そのまま多重化部16に出力して符号化データに多重化させる処理である。従って、この場合には、データの埋め込みは行われない。このS114の処理が完了すると、図4の制御処理が終了する。
データ埋め込み装置20において以上の制御処理が行われることによって、エンコーダ装置10が生成する符号化データへの他のデータの埋め込みが行われる。
ここで、上述した制御処理によって埋め込むことの可能なデータ量についてのシミュレーション結果について説明する。このシミュレーションでは、サンプリング周波数が48kHzであり伝送レートが160kb/sであるMPEG Surround方式の5.1チャネルの1分間のオーディオ信号を12種類(音声、音楽など)使用した。
このシミュレーションでは、予測パラメータの平均個数は1秒当たり1312個であり、誤差曲面の形状が放物型である確率は5%であり、予測パラメータへの埋め込み容量は平均5ビットであった。この結果、埋め込むことの可能なデータ量は320kb/sとなり、1分間のオーディオ信号に換算すると、2.4キロバイトのデータを埋め込むことが可能であると判明した。
次に、図2Bにおけるデータ抽出装置40において行われる制御処理について、図9を参照しながら説明する。図9は、この制御処理の処理内容を図解したフローチャートである。
図9において、まず、S200では、候補特定処理を候補特定部42が行う。この処理は、分離部31から受け取る予測パラメータと、ステレオ復号部32により復元されたステレオ周波数信号とに基づいて、候補抽出部22によって抽出された予測パラメータの候補を符号帳41から特定する処理である。この候補特定処理の詳細を更に説明する。
まず、S201において、誤差曲面判定処理を候補特定部42が行う。この処理は、誤差曲面の形状がどのような形状となるのかを判定する処理であり、図4のS101の処理として候補抽出部22が行う処理と同様の処理である。但し、S201の処理では、ステレオ復号部32から出力される左チャネル及び右チャネルのステレオ信号についての信号ベクトルの内積を求めて前掲の[数4]式の値を算出し、この値がゼロであるか否かによって、誤差曲面の形状を判定する。
次に、S202において、S201の誤差曲面判定処理により判定された誤差曲面の形状が放物型であったか否かを判定する処理を候補特定部42が行う。ここで、候補特定部42は、誤差曲面の形状が放物型であったと判定したとき(判定結果がYesのとき)には、S203に処理を進めて、データ抽出のための処理を進める。一方、候補特定部42は、誤差曲面の形状が放物型ではなかった(楕円型であった)と判定したとき(判定結果がNoのとき)には、予測パラメータへのデータの埋め込みは行われていないと判断し、この図9の制御処理を終了する。
次に、S203では、誤差直線推定処理を候補特定部42が行う。この処理は、図4のS103の誤差直線決定処理によって候補抽出部22が決定した誤差直線を推定する処理である。このS203の処理は、図4のS103の誤差直線決定処理と同様の処理である。但し、S203の誤差直線推定処理では、前掲した[数5]、[数6]、及び[数7]の各式の右辺の各信号ベクトルに、ステレオ復号部32から出力される左チャネル及び右チャネルのステレオ信号を代入することによって、誤差直線の推定を行う。
次に、S204では、予測パラメータ候補推定処理を候補特定部42が行う。この処理は、図4のS104の予測パラメータ候補抽出処理によって候補抽出部22が抽出した予測パラメータの候補を推定する処理であり、S203の処理により推定された誤差直線に基づいて、予測パラメータの候補を符号帳41から抽出する処理である。このS204の処理は、図4のS104の予測パラメータ候補抽出処理と同様の処理である。但し、S204の予測パラメータ候補推定処理では、符号帳41に格納されている各予測パラメータに対応する各点のうち、誤差直線との距離が最小且つ同一である点を選択し、選択された点が表している予測パラメータの組を抽出する処理が行われる。抽出された予測パラメータの組が、候補特定部42による予測パラメータ候補の特定結果となる。
候補特定部42は、S200の候補特定処理として、以上のS201からS204の処理を行う。
候補特定部42によるS200の候補特定処理が完了すると、次に、S210において、データ抽出処理をデータ抽出部43が行う。この処理は、データ埋め込み部23がデータの埋め込みの際に使用したデータ埋め込み規則に基づき、候補特定部42により特定された予測パラメータの候補から、データ埋め込み部23が符号化データに埋め込んだデータを抽出する処理である。
このデータ埋め込み処理の詳細を更に説明する。
まず、S211において、埋め込み容量の算出処理をデータ抽出部43が行う。この処理は、埋め込みを行うことの可能なデータ容量を算出する処理であり、図4のS111の処理としてデータ埋め込み部42が行う処理と同様の処理である。
次に、S212において、埋め込み値付与処理をデータ抽出部43が行う。この処理は、S204の予測パラメータ候補推定処理において抽出された予測パラメータの候補の各々に対し、図4のS112の埋め込み値付与処理においてデータ埋め込み部23が用いていたものと同一の規則で、埋め込み値を付与する処理である。
次に、S213において、埋め込みデータ抽出処理をデータ抽出部23が行う。この処理は、分離部31から受け取った予測パラメータに対してS212の埋め込み値付与処理で付与した埋め込み値を取得し、この値を、データ埋め込み部23が埋め込んだデータの抽出結果として、所定の記憶領域に、取得順にバッファリングする処理である。
以上のS212及びS213の処理の具体例を、図10を用いて説明する。
予測パラメータの候補が、例えば、図7のように特定されたものとする。また、この場合における埋め込み値を付与する規則は、図8の例と同一の規則として、予測パラメータc2 の値の小さい順と定められていたものとする。この場合、図10に図解されているように、白丸印の各点に対し、予測パラメータc2 の値の小さい順に、埋め込み値「00」、「01」、「10」、「11」が付与される。
ここで、分離部31から受け取った予測パラメータが、白丸印の各点のうちで予測パラメータc2 の値が最大のもの、すなわち、埋め込み値「11」を付与した点についての値の組に一致していたとする。この場合には、この埋め込み値「11」が、データ埋め込み部23により埋め込まれたデータであったとして抽出されて、所定の情報バッファにバッファリングされる。
以上のS213までの処理が完了すると、図9の制御処理が終了する。
データ抽出装置40において以上の制御処理が行われることによって、データ埋め込み装置20によって埋め込まれたデータの抽出が行われる。
次に図11について説明する。図11は、図4のS104の処理である、予測パラメータ候補抽出処理の処理内容の詳細を図解したフローチャートである。
図4のS103の誤差直線決定処理に続くS104−1では、誤差最小の点の集合が直線となるか否かを判定する処理を候補抽出部22が行う。
前述したように、rベクトル及びlベクトルの両者が共にゼロベクトルの場合には、予測誤差が最小である点の集合は直線とはならない。このS104−1の判定処理では、この場合に該当するか否かの判定が行われる。
このS104−1において、候補抽出部22は、rベクトル及びlベクトルのうちの少なくとも一方がゼロベクトルではなく、従って誤差最小の点の集合が直線となると判定したとき(判定結果がYesのとき)にはS104−2に処理を進める。一方、候補抽出部22は、ここで、rベクトル及びlベクトルのうちの両者が共に共にゼロベクトルであり、従って誤差最小の点の集合が直線とならないと判定したとき(判定結果がNoのとき)にはS104−8に処理を進める。
次に、S104−2において、候補抽出部22は、図4のS103の誤差直線決定処理により得られた誤差直線が、符号帳21の領域と交わるか否かを判定する処理を行う。なお、符号帳21の領域とは、予測パラメータc1 及びc2 によって定義される平面上において符号帳21に格納されている各予測パラメータに対応する各点を含む外接矩形の領域である。ここで、候補抽出部22は、誤差直線が符号帳21の領域と交わると判定したとき(判定結果がYesのとき)にはS104−3に処理を進め、誤差直線が符号帳21の領域とは交わらないと判定したとき(判定結果がNoのとき)にはS104−7に処理を進める。
次に、S104−3において、候補抽出部22は、誤差直線が符号帳21のいずれかの境界辺と平行であるか否かを判定する処理を行う。なお、符号帳21の境界辺とは、上述した符号帳21の領域を画定する矩形の辺である。この判定処理は、誤差直線の式が前掲した[数5]式若しくは[数6]式の形で表されている場合には、判定結果がYesとなる。一方、誤差直線の式が前掲した[数7]式の形で表されている場合、すなわち、L及びRチャネルの信号の大きさの比率が所定の期間一定の値となっている場合には、誤差直線が符号帳21のいずれの境界辺とも平行ではないと判定され、判定結果がNoとなる。
このS104−3の判定処理において、候補抽出部22は、誤差直線が符号帳21のいずれかの境界辺と平行であると判定したとき(判定結果がYesのとき)にはS104−4に処理を進める。一方、候補抽出部22は、誤差直線が当該境界辺のいずれとも平行ではないと判定したとき(判定結果がNoのとき)にはS104−5に処理を進める。
次に、S104−4では、パターンAによる予測パラメータ候補抽出処理を候補抽出部22が行い、その後は図4のS111に処理を進める。このパターンAの予測パラメータ候補抽出処理については後述する。
一方、S104−5では、候補抽出部22は、誤差直線が符号帳21における対向している一対の境界辺の両方と交わるか否かを判定する処理を行う。ここで、候補抽出部22は、誤差直線が符号帳21における対向している一対の境界辺の両方と交わると判定したとき(判定結果がYesのとき)にはS104−6に処理を進めて、パターンBによる予測パラメータ候補抽出処理を候補抽出部22が行う。そして、その後は図4のS111に処理を進める。一方、候補抽出部22は、S104−5の判定処理において、誤差直線が符号帳21における対向している一対の境界辺の両方とは交わらないと判定したとき(判定結果がNoのとき)には図4のS114に処理を進める。このパターンBの予測パラメータ候補抽出処理については後述する。
ところで、S104−2の判定結果がNoの場合には、S104−7の判定処理が行われる。候補抽出部22は、このS104−7において、誤差直線が前述した符号帳21の境界辺と平行であるか否かを判定する処理を行う。この判定処理は、S104−3の判定処理と同一のものである。ここで、候補抽出部22は、誤差直線が符号帳21の境界辺と平行であると判定したとき(判定結果がYesのとき)にはS104−8に処理を進め、パターンCによる予測パラメータ候補抽出処理を行い、その後は図4のS111に処理を進める。一方、候補抽出部22は、誤差直線が符号帳21の境界辺とは平行ではないと判定したとき(判定結果がNoのとき)には図4のS114に処理を進める。このパターンCの予測パラメータ候補抽出処理の詳細については後述する。
ところで、S104−1の判定結果がNoの場合には、候補抽出部22は、S104−9において、パターンDによる予測パラメータ候補抽出処理を行い、その後は図4のS111に処理を進める。このパターンDの予測パラメータ候補抽出処理の詳細については後述する。
図11に図解した予測パラメータ候補抽出処理は、以上のようにして行われる。
次に、各パターンの予測パラメータ候補抽出処理について説明する。
まず、S104−4の処理で扱われるパターンAについて説明する。このパターンは、誤差直線が符号帳21の領域と交わり、且つ、符号帳21のいずれかの境界辺と平行である場合のパターンである。
例えば、誤差直線と符号帳21の境界辺とが前述した図7の位置関係にある場合が、このパターンAの場合に該当する。図7の位置関係では、符号帳21の境界辺のうちc2軸に平行な境界辺と平行である。この場合には、候補抽出部22は、符号帳21の各予測パラメータに対応する各点のうちで、誤差直線との距離が最小であり且つ同一距離であるものを、予測パラメータの候補として抽出する。なお、図7の例では、符号帳21の各予測パラメータに対応する各点のうち白丸印で表されている点が誤差直線上に存在しているので、誤差直線との距離がゼロであるものが、予測パラメータの候補として抽出される。
次に、S104−6の処理で扱われるパターンBについて、図12を用いて説明する。このパターンは、誤差直線が、符号帳21のいずれの境界辺とも平行ではないが、符号帳21における対向している一対の境界辺の両方と交わる場合のパターンである。
図12の[A]及び[B]は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図7と同様である。
図12の[A]は、符号帳21についての2組の対向している一対の境界辺のうちの、c2 軸に平行である一対の境界辺の両方に対して、誤差直線が交わる場合の例を表している。この場合には、符号帳21における予測パラメータC1 の値毎に、誤差直線に最も近い符号帳21の対応点を、予測パラメータの候補として抽出する。このようにして抽出される予測パラメータの候補は、予測パラメータC1 の各値について、中央チャネルの信号の予測に使用した場合の予測誤差を最小とする予測パラメータC2 の値となる。
一方、図12の[B]は、符号帳21についての2組の対向している一対の境界辺のうちの、c1 軸に平行である一対の境界辺の両方に対して、誤差直線が交わる場合の例を表している。この場合には、符号帳21における予測パラメータC2 の値毎に、誤差直線に最も近い符号帳21の対応点を、予測パラメータの候補として抽出する。このようにして抽出される予測パラメータの候補は、予測パラメータC2 の各値について、中央チャネルの信号の予測に使用した場合の予測誤差を最小とする予測パラメータC1 の値となる。
以上の図12の[A]と[B]との場合を纏めると、まず、誤差直線が交わる一対の境界辺の各々の辺上の各格子点については、当該誤差直線に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータが、候補として抽出される。更に、誤差直線が交わる一対の境界辺に平行であって格子点を通る各線分上に存在する各格子点についても、当該線分毎に誤差直線に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータが、候補として抽出される。
なお、より具体的には、候補抽出部22は、このパターンBによる予測パラメータ候補抽出処理を、例えば次に説明するようにして行ってもよい。
図13は、図12の[A]の場合の例を再度図解したものである。ここで、誤差直線がc2 =l×c1 で表されるものとする。また、符号帳21を表している格子点のうちの隣接する4点の座標を、図13に記載されているように定義する。
このとき、変数iの値を1ずつ大きくしながら、下記の[a]及び[b]の手続を行う。
[a]c2j ≦l×c1i ≦c2j+1 を満たすc2j 及びc2j+1 を求める。
[b]下記の(i)と(ii)とに場合分けを行い、それぞれの場合においての予測パラメータの候補を、符号帳21から抽出する。
(i)|c2j −l×c1i |≦|c2j+1 −l×c1i |である場合には、格子点(c1i ,c2j )に対応する予測パラメータを、候補として符号帳21から抽出する。
(ii)|c2j −l×c1i |>|c2j+1 −l×c1i |である場合には、格子点(c1i ,c2j+1 )に対応する予測パラメータを、候補として符号帳21から抽出する。
次に、S104−8の処理で扱われるパターンCについて、図14を用いて説明する。このパターンは、誤差直線が、誤差直線が符号帳21の領域とは交わらないが、且つ、符号帳21のいずれかの境界辺と平行である場合のパターンである。
図14の[A]及び[B]は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図7と同様である。
図14の[A]は、誤差直線が符号帳21の領域とは交わらないが、c2 軸に平行である境界辺と平行であり、パターンCが適用される一例である。この場合には、符号帳21の境界辺のうちで誤差直線に最も近い境界辺上に存在する符号帳21の対応点を、予測パラメータの候補として抽出する。このようにして抽出された予測パラメータは、そのいずれを選択して中央チャネルの信号の予測を行っても、予測誤差は同一となる。
一方、図4の[B]は、誤差直線が符号帳21のいずれの境界辺とも平行ではなく、従って、パターンCが適用されない場合の例である。この[B]の場合には、符号帳21の対応点のうちで白丸印が付されている対応点についての予測パラメータを用いて中央チャネルの信号の予測を行った場合に、予測誤差が最小となり、その他の予測パラメータを用いた場合には、予測誤差が大きくなってしまう。このため、本実施例では、このような場合には、予測パラメータへの他のデータの埋め込みを行わない。
次に、S104−9の処理で扱われるパターンDについて、図15を用いて説明する。このパターンは、S103の誤差直線決定処理において誤差直線の決定を行わない場合として前述した、R及びLチャネルの信号が共にゼロである場合のパターンである。
図15は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図7と同様である。この場合には、どのような予測パラメータを選択して[数1]式による中央チャネルの予測を行っても、中央チャネルの信号はゼロとなる。従って、この場合には、符号帳21に格納されている予測パラメータの全てを、候補として抽出する。
候補抽出部22は、以上の各パターンの予測パラメータ候補抽出処理を、誤差直線と符号帳21の領域との位置関係に応じて使い分けて、予測パラメータ候補の抽出を行う。
なお、図9のS204の処理である予測パラメータ候補推定処理においても、上述した各パターンの予測パラメータ候補抽出処理と同様の処理が候補特定部42によって行われる。
次に、データ埋め込み装置20による、埋め込み対象データとは別のデータの埋め込みについて説明する。
データ埋め込み装置20が予測パラメータへ埋め込むデータはどのようなものでもよい。ここで、埋め込み対象データの先頭を表す別データを追加して埋め込むことにより、データ抽出装置40において抽出されるデータから埋め込み対象データの先頭を捜し出すことが容易になる。また、埋め込み対象データの末尾を表す別データを追加して埋め込むことにより、データ抽出装置40により抽出されるデータから埋め込み対象データの末尾を捜し出すことが容易になる。
ここでは、このような、埋め込み対象データとは別のデータの埋め込みの手法について説明する。
その第一の手法は、データ埋め込み部23が、埋め込み対象のデータの前若しくは後に、埋め込み対象データの存在及びその先頭若しくは末尾を表している別のデータを付加してから予測パラメータに埋め込むという手法である。この手法の具体例について図16を用いて説明する。
図16の例では、埋め込み対象データを、[A]の値、すなわち、「1101010…01010」とする。
[B]の例は、ビット列「0001」を、埋め込み対象データの存在及びその先頭を表している開始データとして予め定義しておき、ビット列「1000」を、埋め込み対象データの末尾を表している終了データとして予め定義しておいた場合の例である。但し、この場合には、埋め込み対象データにはこの2種類のビット列のどちらもが出現しないものとする。すなわち、例えば、埋め込み対象データには、値『0』が3つ以上連続して出現することはないものとする。この例では、データ埋め込み部23は、図4のS113の予測パラメータ選択処理において、まず、埋め込み対象データの直前に開始データを付加すると共に、埋め込み対象データの直後に終了データを更に付加する処理を行う。そして、その後に、これらのデータの付加後の埋め込み対象のデータにおける埋め込み容量分のビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を選択する処理を行う。なお、データ抽出装置40のデータ抽出部43では、図9のS213の埋め込みデータ抽出処理によって予測パラメータより抽出されたデータから、これらの開始データ及び終了データを除外し、その後に残されたデータを出力するようにする。
また、[C]の例は、ビット列「01111110」を、埋め込み対象データの存在及び先頭若しくは末尾を表している開始・終了データとして予め定義しておいた場合の例である。但し、この場合には、埋め込み対象データにはこのビット列のどちらもが出現しないものとする。すなわち、例えば、埋め込み対象データには、値『1』が6つ以上連続して出現することはないものとする。この例では、データ埋め込み部23は、図4のS113の予測パラメータ選択処理において、まず、埋め込み対象データの直前及び直後に開始・終了データを付加する処理を行う。そして、その後に、これらのデータの付加後の埋め込み対象のデータにおける埋め込み容量分のビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を選択する処理を行う。なお、データ抽出装置40のデータ抽出部43では、図9のS213の埋め込みデータ抽出処理によって予測パラメータより抽出されたデータから、この開始・終了データを除外し、その後に残されたデータを出力するようにする。
次に、埋め込み対象データとは別のデータの埋め込みの第二の手法について説明する。この手法は、データ埋め込み部23が、予測符号化の結果とする予測パラメータを、抽出された候補から所定のデータ埋め込み規則に従って選択することによって、別のデータを埋め込み対象のデータと共に当該予測パラメータに埋め込むという手法である。
例えば、候補抽出部22により抽出された予測パラメータの候補が、図7に示されている白丸印のように抽出された場合に、データ埋め込み部23による埋め込み値の付与により、図8のように埋め込み値が付与された場合を考える。この場合、図7に示されている6個の白丸印のうちの4個は、埋め込み値が付与されて埋め込み対象データの埋め込みに利用されるが、残りの2個の白丸印は、埋め込み対象データの埋め込みには使用されない。別データの埋め込みの第二の手法は、この埋め込み対象データの埋め込みには使用されていない予測パラメータの候補を、別のデータの埋め込みに利用するというものである。
すなわち、図17に図解するように、埋め込み対象データの埋め込みには使用されない2個の白丸印のうちの一方、例えば予測パラメータC2 の値が小さい方を、埋め込み対象データの存在及びその開始を表すものに予め割り当てておく。また、そのうちの他方、例えば予測パラメータC2 の値が大きい方を、埋め込み対象データの終了を表すものに予め割り当てておく。そして、データ埋め込み部23は、図4のS113の選択処理において、「埋め込み対象データの開始」に割り当てた予測パラメータの候補を最初に選択し、以降は、埋め込み対象データと埋め込み値との関係に応じた予測パラメータの候補の選択を順次行う。その後、データ埋め込み部23は、埋め込み対象データに基づく予測パラメータの候補の選択を完了した後に、「埋め込み対象データの終了」に割り当てた予測パラメータの候補を選択する。
なお、データ抽出装置40のデータ抽出部43では、図9のS213の埋め込みデータ抽出処理において、埋め込み対象データの開始と終了とをそれぞれ割り当てた予測パラメータとの間の予測パラメータから抽出されたデータを出力するようにする。
次に、埋め込み対象データとは別のデータの埋め込みの第三の手法について説明する。
前述したように、データ埋め込み装置20の各機能ブロックで行われる処理は、1チャネルのオーディオ周波数帯域を分割したときの各帯域の周波数成分信号毎に行われる。つまり、候補抽出部22は、中央チャネルの信号に対する周波数帯域毎の予測符号化によって該周波数帯域毎に得られた予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳21から周波数帯域毎に複数抽出する。そこで、この第三の手法では、データ埋め込み部23は、埋め込み対象データの予測パラメータへの埋め込みを、第一の周波数帯域についての予測符号化の結果とする予測パラメータを、第一の周波数帯域について抽出された候補から選択することによって行う。そして、データ埋め込み部23は、別のデータの予測パラメータへの埋め込みを、第一の周波数帯域とは異なる第二の周波数帯域についての予測符号化の結果とする予測パラメータを、第二の周波数帯域について抽出された候補から選択することによって行う。
この別データの埋め込みの第三の手法の具体例について、図18を用いて説明する。
この例では、オーディオ信号のフレーム毎に6つの周波数帯域の各々で得られる予測パラメータの候補のうち、低域側の3組の候補を埋め込み対象データの埋め込みに使用し、高域側の3組の候補を別データの埋め込みに使用するようにしている。このときの別データとしては、例えば、前述した第一及び第二の手法と同様に、埋め込み対象データの存在及び開始若しくは終了を表すデータとしてもよい。
なお、図18において、変数iはゼロ以上i_max以下の整数であって、オーディオ信号の各フレームに時刻順に付与した番号を表している。また、変数jはゼロ以上j_max以下の整数であって、各周波数帯域に周波数の低い順に付与した番号を表している。なお、図8の例では、定数i_max及び定数j_maxの値は「5」としている。そして、(c1 ,c2 i,j は、第i番目のフレームの第j番目の帯域の予測パラメータを表している。
ここで図19について説明する。図19は、データ埋め込み装置20において行われる制御処理の変形例の処理内容を図解したフローチャートである。このフローチャートは、埋め込み対象データと別データとを、図18に図解した例のように埋め込むための処理であり、図4の図解したフローチャートにおけるS104の処理に続くS110のデータ埋め込み処理としてデータ埋め込み部23により行われる。
図4のS104に続き、まず、S301では、変数i及び変数jに初期値「0」をそれぞれ代入する処理をデータ埋め込み部23が行う。
S301に続くS302は、S312と対になって処理のループを表している。データ埋め込み部23は、変数iのこの処理時点での値を用いて、S303からS311までの処理を繰り返す。
続くS303は、S310と対になって処理のループを表している。データ埋め込み部23は、変数jのこの処理時点での値を用いて、S304からS309までの処理を繰り返す。
続くS304について、データ埋め込み部23は埋め込み容量の算出処理を行う。この処理は、第i番目のフレーム目の第j番目の帯域についての予測パラメータの候補を用いることによって埋め込みを行うことの可能なデータ容量を算出する処理であり、図4のS111と同様の処理である。
次に、S305において、埋め込み値付与処理をデータ埋め込み部23が行う。この処理は、第i番目のフレーム目の第j番目の帯域についての予測パラメータの候補の各々に対し、予め定めておいた所定の規則で、埋め込み値を付与する処理であり、図4のS112と同様の処理である。
次に、S306において、第j番目の帯域が、低域側に属するか高域側に属するかを判定する処理をデータ埋め込み部23が行う。データ埋め込み部23は、ここで、第j番目の帯域が低域側に属すると判定したときにはS307に処理を進め、第j番目の帯域が高域側に属すると判定したときにはS308に処理を進める。
次に、S307において、データ埋め込み部23は、埋め込み対象データのビット列に応じた予測パラメータ選択処理を行い、その後はS309に処理を進める。この処理は、埋め込み対象のデータにおける埋め込み容量分のビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を、第i番目のフレーム目の第j番目の帯域についての予測パラメータの候補から選択する処理である。この処理の処理内容は、図4のS113の処理と同様のものである。
一方、S308では、データ埋め込み部23は、埋め込み対象データとは別のデータのビット列に応じた予測パラメータ選択処理を行い、その後はS309に処理を進める。この処理は、当該別のデータにおける埋め込み容量分のビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を、第i番目のフレーム目の第j番目の帯域についての予測パラメータの候補から選択する処理である。この処理の処理内容も、図4のS113の処理と同様のものである。
次に、S309において、変数jの現在の値に「1」を加算した結果を改めて変数jに代入する処理をデータ埋め込み部23が行う。
次に、S310において、S303と対になって表されている処理のループを継続するか否かを判定する処理をデータ埋め込み部23が行う。データ埋め込み部23は、ここで、変数jの値が定数j_max以下であると判定したときには、S304からS309までの処理の繰り返しを継続する。一方、データ埋め込み部23は、ここで、変数jの値が定数j_maxを超えたと判定したときには、S304からS309までの処理の繰り返しを終了してS311に処理を進める。
次に、S311において、変数iの現在の値に「1」を加算した結果を改めて変数iに代入する処理をデータ埋め込み部23が行う。
次に、S312において、S302と対になって表されている処理のループを継続するか否かを判定する処理をデータ埋め込み部23が行う。データ埋め込み部23は、ここで、変数iの値が定数i_max以下であると判定したときには、S303からS311までの処理の繰り返しを継続する。一方、データ埋め込み部23は、ここで、変数iの値が定数i_maxを超えたと判定したときには、S303からS311までの処理の繰り返しを終了し、その後はこの制御処理を終了する。
データ埋め込み装置20は、以上の制御処理を行うことによって、図18に図解したような埋め込み対象データと別データとの予測パラメータへの埋め込みを行う。
なお、データ抽出装置40のデータ抽出部43では、図9のS210のデータ抽出処理において、図19に図解したものと同様の処理を行うことで、埋め込み対象データと別データとの抽出を行うようにする。
以上までに説明した、埋め込み対象データとは別のデータの埋め込みを行う3つの手法では、埋め込まれる別のデータの例として、埋め込み対象データの存在及び開始若しくは終了を表すデータを挙げたが、他のテータを予測パラメータに埋め込むようにしてもよい。例えば、埋め込み対象データとして誤り訂正符号化処理を施したものを埋め込む場合に、埋め込み対象データに対して誤り訂正符号化処理が施されているか否かを表すデータを別データとして予測パラメータに埋め込むようにしてもよい。この場合に使用する誤り訂正符号化の方式としては、例えば、図20図解した平易な方式を用いてもよい。
図20の例において、[A]のデータは、誤り訂正符号化処理を施す前の元データである。この誤り訂正符号化処理は、この元データを構成する各ビットの値を3回続けて出力するというものである。[B]のデータは、この誤り訂正符号化処理を[A]のデータに対して施して得られたものである。データ埋め込み装置20は、この[B]のデータを埋め込み対象データとして予測パラメータに埋め込むと共に、この埋め込み対象データには誤り訂正符号化処理が施されたていることを表すデータを別データとして予測パラメータに埋め込む。
一方、[C]のデータは、データ抽出装置40によって抽出された埋め込み対象データであり、一部のビットが[B]のデータと異なっている。この埋め込み対象データから元の[A]のデータを復元するには、埋め込み対象データを配列順に3ビットずつのビット列に分けて、各ビット列に含まれる3つのビットの値に対して多数決処理を施す。この多数決処理の結果を配列順に並べることにより、[D]の訂正後データが得られ、このデータは[A]の元データと一致していることが分かる。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
予測パラメータが予め複数格納されている符号帳と、
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、前記符号帳から複数抽出する候補抽出部と、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを該予測パラメータに埋め込むデータ埋め込み部と、
を備えることを特徴とするデータ埋め込み装置。
(付記2)
前記予測パラメータは、前記他の2つのチャネルの信号の各々についての成分を有しており、
前記候補抽出部は、前記予測パラメータの2つの成分によって定義される平面上において前記予測誤差が最小となる点の集合である直線を決定し、該直線と、該平面上において前記符号帳に格納されている各予測パラメータに対応する各点との位置関係に基づいて、前記予測パラメータの候補の抽出を行う、
ことを特徴とする付記1に記載のデータ埋め込み装置。
(付記3)
前記候補抽出部は、前記符号帳に格納されている各予測パラメータのうちから、該予測パラメータに対応する前記平面上の点が前記直線上に複数存在しているものを抽出することを特徴とする付記2に記載のデータ埋め込み装置。
(付記4)
前記候補抽出部は、前記平面上において前記予測誤差が最小となる点の集合が直線となるか否かを判定し、該点の集合が直線となると判定した場合に、前記位置関係に基づく前記予測パラメータの候補の抽出を行うことを特徴とする付記2又は3に記載のデータ埋め込み装置。
(付記5)
前記判定は、前記他の2つのチャネルの信号の信号ベクトルの内積を用いて行うことを特徴とする付記4に記載のデータ埋め込み装置。
(付記6)
前記平面は、直交座標系の平面であって前記予測パラメータの2つの成分を各座標軸の方向の成分とし、
前記符号帳に格納されている各予測パラメータは、前記平面上において該候補に対応する各点が、前記平面上において座標軸方向を各辺の方向とする矩形の領域に格子点として配置されるように予め設定されており、
前記候補抽出部は、前記平面上において前記予測誤差が最小となる点の集合が直線となると判定した場合に、前記平面上の前記矩形において対向している一対の辺の両方に該直線が交わるか否かを判定し、交わると判定した場合には、該一対の辺の各々について辺上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出すると共に、該一対の辺に平行であって前記格子点を通る前記領域内の各線分について、線分上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出する、
ことを特徴とする付記4又は5に記載のデータ埋め込み装置。
(付記7)
前記候補抽出部は、前記他の2つのチャネルの信号の大きさの比率が所定の期間一定の値となっているか否かを判定し、該比率が該所定の期間一定の値となっていると判定した場合には、前記平面上の前記矩形におけるいずれかの辺に前記直線が交わるとの判定を下すことを特徴とする付記6に記載のデータ埋め込み装置。
(付記8)
前記候補抽出部は、前記平面上の前記矩形において対向している2辺の両方に前記直線が交わらないと判定した場合には、前記直線が前記矩形のいずれかの辺と平行であるか否かを判定し、平行であると判定した場合には、前記矩形の辺のうち前記直線に最も近い辺上に存在する格子点に対応する予測パラメータの候補を抽出することを特徴とする付記6又は7に記載のデータ埋め込み装置。
(付記9)
前記候補抽出部は、前記他の2つのチャネルの信号の大きさがどちらもゼロであるか否かを判定し、どちらもゼロであると判定した場合には、前記符号帳に格納されている予測パラメータを全て抽出することを特徴とする付記1から8のうちのいずれか一項に記載のデータ埋め込み装置。
(付記10)
前記データ埋め込み部は、前記埋め込み対象のデータと共に、該データとは別のデータを埋め込むことを特徴とする付記1から9のうちのいずれか一項に記載のデータ埋め込み装置。
(付記11)
前記データ埋め込み部は、前記埋め込み対象のデータの前若しくは後に前記別のデータを付加し、前記別のデータが付加されたデータを前記予測パラメータに埋め込むことを特徴とする付記10に記載のデータ埋め込み装置。
(付記12)
前記データ埋め込み部は、前記予測符号化の結果とする予測パラメータを、前記抽出された候補から所定のデータ埋め込み規則に従って選択することによって、前記別のデータを前記埋め込み対象のデータと共に該予測パラメータに埋め込むことを特徴とする付記10に記載のデータ埋め込み装置。
(付記13)
前記候補抽出部は、前記1つのチャネルの信号に対する前記他の2つのチャネルの信号に基づく周波数帯域毎の予測符号化によって該周波数帯域毎に得られた予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、前記符号帳から該周波数帯域毎に複数抽出し、
前記データ埋め込み部は、第一の周波数帯域についての前記予測符号化の結果とする予測パラメータを、該第一の周波数帯域について前記抽出された候補から選択することによって、前記埋め込み対象のデータを該予測パラメータに埋め込むと共に、第一の周波数帯域とは異なる第二の周波数帯域についての前記予測符号化の結果とする予測パラメータを、該第二の周波数帯域について前記抽出された候補から選択することによって、前記別のデータを該予測パラメータに埋め込む、
ことを特徴とする付記10に記載のデータ埋め込み装置。
(付記14)
前記別のデータは、前記予測パラメータへの前記埋め込み対象のデータの埋め込みの有無を表すデータであることを特徴とする付記10から13のうちのいずれか一項に記載のデータ埋め込み装置。
(付記15)
前記別のデータは、前記埋め込み対象のデータに対し誤り訂正符号化が行われているか否かを示すデータであることを特徴とする付記10から13のうちのいずれか一項に記載のデータ埋め込み装置。
(付記16)
付記1から15のうちのいずれか一項に記載のデータ埋め込み装置によって前記予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
前記符号帳と、
前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記候補抽出部により抽出された予測パラメータの候補をデータ抽出装置自身の有する符号帳から特定する候補特定部と、
前記データ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記埋め込み対象のデータを抽出するデータ抽出部と、
を備えることを特徴とするデータ抽出装置。
(付記17)
付記4に記載のデータ埋め込み装置によって前記予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
前記符号帳と、
前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、データ抽出装置自身の有する符号帳から抽出された予測パラメータの候補を特定する候補特定部と、
前記データ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記埋め込み対象のデータを抽出するデータ抽出部と、
を備え、
前記候補特定部は、前記平面上において前記誤差が最小となる点の集合が直線となるか否かを判定し、該点の集合が直線となると判定した場合に、前記位置関係に基づく前記予測パラメータの候補の特定を行い、
前記データ抽出部は、前記候補特定部が前記予測パラメータの候補の特定を行った場合に、前記埋め込み対象のデータの抽出を行う、
ことを特徴とするデータ抽出装置。
(付記18)
付記14に記載のデータ埋め込み装置によって前記予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
前記符号帳と、
前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、データ抽出装置自身の有する符号帳から抽出された予測パラメータの候補を特定する候補特定部と、
前記特定された予測パラメータの候補から前記別のデータを抽出すると共に、前記抽出された別のデータが前記埋め込み対象のデータが埋め込まれていることを表している場合に、前記特定された予測パラメータの候補から前記埋め込み対象のデータを抽出するデータ抽出部と、
を備えることを特徴とするデータ抽出装置。
(付記19)
付記15に記載のデータ埋め込み装置によって前記予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
前記符号帳と、
前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、データ抽出装置自身の有する符号帳から抽出された予測パラメータの候補を特定する候補特定部と、
前記特定された予測パラメータの候補から前記埋め込み対象のデータと前記別のデータとを抽出するデータ抽出部と、
を備え、
前記抽出された別のデータが前記埋め込み対象のデータに対し誤り訂正符号化が行われていることを表している場合に、前記抽出された埋め込み対象のデータに対して誤り訂正が行われることを特徴とするデータ抽出装置。
(付記20)
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、予測パラメータが予め複数格納されている符号帳から複数抽出し、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを該予測パラメータに埋め込む、
ことを特徴とするデータ埋め込み方法。
(付記21)
データを抽出するデータ抽出方法であって、
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、予測パラメータが予め複数格納されている符号帳から複数抽出すると共に、該予測符号化の結果とする予測パラメータを、該抽出された候補から所定のデータ埋め込み規則に従って選択することによって、前記データは該予測パラメータに埋め込まれており、
前記データ抽出方法は、
前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記パラメータの候補を前記符号帳から特定し、
前記データ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記データを抽出する、
ことを特徴とするデータ抽出方法。
(付記22)
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、予測パラメータが予め複数格納されている符号帳から複数抽出し、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを該予測パラメータに埋め込む、
処理をコンピュータに実行させることを特徴とするプログラム。
(付記23)
データの抽出をコンピュータに実行させるプログラムであって、
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、予測パラメータが予め複数格納されている符号帳から複数抽出すると共に、該予測符号化の結果とする予測パラメータを、該抽出された候補から所定のデータ埋め込み規則に従って選択することによって、前記データは該予測パラメータに埋め込まれており、
前記プログラムは、
前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記パラメータの候補を前記符号帳から特定し、
前記データ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記データを抽出する、
処理をコンピュータに実行させることを特徴とするプログラム。
10 エンコーダ装置
11 時間周波数変換部
12 第一ダウンミックス部
13 第二ダウンミックス部
14 ステレオ符号化部
15 予測符号化部
16 多重化部
20 データ埋め込み装置
21、41 符号帳
22 候補抽出部
23 データ埋め込み部
30 デコーダ装置
31 分離部
32 ステレオ復号部
33 第一アップミックス部
34 第二アップミックス部
35 周波数時間変換部
40 データ抽出装置
42 候補特定部
43 データ抽出部
50 コンピュータ
51 MPU
52 ROM
53 RAM
54 ハードディスク装置
55 入力装置
56 表示装置
57 インタフェース装置
58 記録媒体駆動装置
59 バスライン
60 可搬型記録媒体

Claims (14)

  1. 予測パラメータが予め複数格納されている符号帳と、
    複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、前記符号帳から複数抽出する候補抽出部と、
    前記予測符号化の結果とする予測パラメータを、前記抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを該予測パラメータに埋め込むデータ埋め込み部と、
    を備えることを特徴とするデータ埋め込み装置。
  2. 前記予測パラメータは、前記他の2つのチャネルの信号の各々についての成分を有しており、
    前記候補抽出部は、前記予測パラメータの2つの成分によって定義される平面上において前記予測誤差が最小となる点の集合である直線を決定し、該直線と、該平面上において前記符号帳に格納されている各予測パラメータに対応する各点との位置関係に基づいて、前記予測パラメータの候補の抽出を行う、
    ことを特徴とする請求項1に記載のデータ埋め込み装置。
  3. 前記候補抽出部は、前記符号帳に格納されている各予測パラメータのうちから、該予測パラメータに対応する前記平面上の点が前記直線上に複数存在しているものを抽出することを特徴とする請求項2に記載のデータ埋め込み装置。
  4. 前記候補抽出部は、前記平面上において前記予測誤差が最小となる点の集合が直線となるか否かを判定し、該点の集合が直線となると判定した場合に、前記位置関係に基づく前記予測パラメータの候補の抽出を行うことを特徴とする請求項2又は3に記載のデータ埋め込み装置。
  5. 前記判定は、前記他の2つのチャネルの信号の信号ベクトルの内積を用いて行うことを特徴とする請求項4に記載のデータ埋め込み装置。
  6. 前記平面は、直交座標系の平面であって前記予測パラメータの2つの成分を各座標軸の方向の成分とし、
    前記符号帳に格納されている各予測パラメータは、前記平面上において該候補に対応する各点が、前記平面上において座標軸方向を各辺の方向とする矩形の領域に格子点として配置されるように予め設定されており、
    前記候補抽出部は、前記平面上において前記予測誤差が最小となる点の集合が直線となると判定した場合に、前記平面上の前記矩形において対向している一対の辺の両方に該直線が交わるか否かを判定し、交わると判定した場合には、該一対の辺の各々について辺上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出すると共に、該一対の辺に平行であって前記格子点を通る前記領域内の各線分について、線分上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出する、
    ことを特徴とする請求項4又は5に記載のデータ埋め込み装置。
  7. 前記候補抽出部は、前記他の2つのチャネルの信号の大きさの比率が所定の期間一定の値となっているか否かを判定し、該比率が該所定の期間一定の値となっていると判定した場合には、前記平面上の前記矩形におけるいずれかの辺に前記直線が交わるとの判定を下すことを特徴とする請求項6に記載のデータ埋め込み装置。
  8. 前記候補抽出部は、前記平面上の前記矩形において対向している2辺の両方に前記直線が交わらないと判定した場合には、前記直線が前記矩形のいずれかの辺と平行であるか否かを判定し、平行であると判定した場合には、前記矩形の辺のうち前記直線に最も近い辺上に存在する格子点に対応する予測パラメータの候補を抽出することを特徴とする請求項6又は7に記載のデータ埋め込み装置。
  9. 前記候補抽出部は、前記他の2つのチャネルの信号の大きさがどちらもゼロであるか否かを判定し、どちらもゼロであると判定した場合には、前記符号帳に格納されている予測パラメータを全て抽出することを特徴とする請求項1から8のうちのいずれか一項に記載のデータ埋め込み装置。
  10. 請求項1から9のうちのいずれか一項に記載のデータ埋め込み装置によって前記予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
    前記符号帳と、
    前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記候補抽出部により抽出された予測パラメータの候補をデータ抽出装置自身の有する符号帳から特定する候補特定部と、
    前記予測符号化の結果とされた予測パラメータと、前記データ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記埋め込み対象のデータを抽出するデータ抽出部と、
    を備えることを特徴とするデータ抽出装置。
  11. データ埋め込み装置が備えている候補抽出部が、複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、予測パラメータが予め複数格納されている符号帳から複数抽出し、
    前記データ埋め込み装置が備えているデータ埋め込み部が、前記予測符号化の結果とする予測パラメータを、前記抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを該予測パラメータに埋め込む、
    ことを特徴とするデータ埋め込み方法。
  12. データを抽出するデータ抽出装置が行うデータ抽出方法であって、
    複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、予測パラメータが予め複数格納されている符号帳から複数抽出すると共に、該予測符号化の結果とする予測パラメータを、該抽出された候補から所定のデータ埋め込み規則に従って選択することによって、前記データは該予測パラメータに埋め込まれており、
    前記データ抽出方法は、
    前記データ抽出装置が備えている候補特定部が、前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記抽出された予測パラメータの候補を前記符号帳から特定し、
    前記データ抽出装置が備えているデータ抽出部が、前記予測符号化の結果とされた予測パラメータと、前記データ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記データを抽出する、
    ことを特徴とするデータ抽出方法。
  13. 複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、予測パラメータが予め複数格納されている符号帳から複数抽出し、
    前記予測符号化の結果とする予測パラメータを、前記抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを該予測パラメータに埋め込む、
    処理をコンピュータに実行させることを特徴とするプログラム。
  14. データの抽出をコンピュータに実行させるプログラムであって、
    複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、予測パラメータが予め複数格納されている符号帳から複数抽出すると共に、該予測符号化の結果とする予測パラメータを、該抽出された候補から所定のデータ埋め込み規則に従って選択することによって、前記データは該予測パラメータに埋め込まれており、
    前記プログラムは、
    前記予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記抽出された予測パラメータの候補を前記符号帳から特定し、
    前記予測符号化の結果とされた予測パラメータと、前記データ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記データを抽出する、
    処理をコンピュータに実行させることを特徴とするプログラム。
JP2012179966A 2012-08-14 2012-08-14 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム Expired - Fee Related JP6065452B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012179966A JP6065452B2 (ja) 2012-08-14 2012-08-14 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
EP13170393.6A EP2698788B1 (en) 2012-08-14 2013-06-04 Data embedding device for embedding watermarks and data embedding method for embedding watermarks
US13/912,674 US9812135B2 (en) 2012-08-14 2013-06-07 Data embedding device, data embedding method, data extractor device, and data extraction method for embedding a bit string in target data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012179966A JP6065452B2 (ja) 2012-08-14 2012-08-14 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2014038179A JP2014038179A (ja) 2014-02-27
JP6065452B2 true JP6065452B2 (ja) 2017-01-25

Family

ID=48740809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012179966A Expired - Fee Related JP6065452B2 (ja) 2012-08-14 2012-08-14 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Country Status (3)

Country Link
US (1) US9812135B2 (ja)
EP (1) EP2698788B1 (ja)
JP (1) JP6065452B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5799824B2 (ja) * 2012-01-18 2015-10-28 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP6146069B2 (ja) * 2013-03-18 2017-06-14 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
US9875515B1 (en) * 2015-12-15 2018-01-23 Amazon Technologies, Inc. Embedding debugging information via watermarks
CN113096671B (zh) * 2020-01-09 2022-05-13 齐鲁工业大学 一种大容量音频文件可逆信息隐藏方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2796408B2 (ja) 1990-06-18 1998-09-10 シャープ株式会社 音声情報圧縮装置
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP2000013800A (ja) 1998-06-18 2000-01-14 Victor Co Of Japan Ltd 画像伝送方法並びに符号化装置及び復号化装置
US6370502B1 (en) * 1999-05-27 2002-04-09 America Online, Inc. Method and system for reduction of quantization-induced block-discontinuities and general purpose audio codec
JP3646074B2 (ja) 2001-05-18 2005-05-11 松下電器産業株式会社 情報埋込装置及び情報抽出装置
US20060047522A1 (en) * 2004-08-26 2006-03-02 Nokia Corporation Method, apparatus and computer program to provide predictor adaptation for advanced audio coding (AAC) system
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
JP4919213B2 (ja) 2008-03-06 2012-04-18 Kddi株式会社 電子透かし挿入方式および検出方式
ES2401487T3 (es) * 2008-07-11 2013-04-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para la codificación/decodificación de una señal de audio utilizando un esquema de conmutación de generación de señal ajena
EP3300076B1 (en) * 2008-07-11 2019-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and audio decoder
JP5608660B2 (ja) 2008-10-10 2014-10-15 テレフオンアクチーボラゲット エル エム エリクソン(パブル) エネルギ保存型マルチチャネルオーディオ符号化
BR122021023896B1 (pt) * 2009-10-08 2023-01-10 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E. V. Decodificador de sinal de áudio multimodal, codificador de sinal de áudio multimodal e métodos usando uma configuração de ruído com base em codificação de previsão linear
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
EP3779977B1 (en) 2010-04-13 2023-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder for processing stereo audio using a variable prediction direction
JP5533502B2 (ja) * 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP6146069B2 (ja) * 2013-03-18 2017-06-14 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Also Published As

Publication number Publication date
EP2698788A1 (en) 2014-02-19
EP2698788B1 (en) 2016-07-27
US20140050324A1 (en) 2014-02-20
US9812135B2 (en) 2017-11-07
JP2014038179A (ja) 2014-02-27

Similar Documents

Publication Publication Date Title
EP2875511B1 (en) Audio coding for improving the rendering of multi-channel audio signals
KR101453732B1 (ko) 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
CN106415714A (zh) 译码环境高阶立体混响系数的独立帧
US11037578B2 (en) Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal
KR20070075236A (ko) 스케일러블 채널 복호화 방법 및 장치
KR101615262B1 (ko) 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
JP5681290B2 (ja) デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス
JP6146069B2 (ja) データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
JP6065452B2 (ja) データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
KR20110018727A (ko) 사운드에서 오브젝트 분리 방법 및 장치
KR100745688B1 (ko) 다채널 오디오 신호 부호화/복호화 방법 및 장치
US8447618B2 (en) Method and apparatus for encoding and decoding residual signal
WO2009088258A2 (ko) 프레임 타입 식별 방법 및 장치
JP5949270B2 (ja) オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
JP5113151B2 (ja) メディア信号処理装置及びその方法
KR101641685B1 (ko) 멀티채널 오디오의 다운믹스 방법 및 장치
JP6179122B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
US9837085B2 (en) Audio encoding device and audio coding method
CN105336334B (zh) 多声道声音信号编码方法、解码方法及装置
JP6051621B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、及びオーディオ復号装置
KR20150011783A (ko) 잔향 신호를 이용한 다채널 오디오 신호의 디코딩 방법 및 디코더
JP6299202B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置
KR101500972B1 (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161212

R150 Certificate of patent or registration of utility model

Ref document number: 6065452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees