JP6146069B2 - データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム - Google Patents

データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP6146069B2
JP6146069B2 JP2013054939A JP2013054939A JP6146069B2 JP 6146069 B2 JP6146069 B2 JP 6146069B2 JP 2013054939 A JP2013054939 A JP 2013054939A JP 2013054939 A JP2013054939 A JP 2013054939A JP 6146069 B2 JP6146069 B2 JP 6146069B2
Authority
JP
Japan
Prior art keywords
data
candidates
prediction parameter
unit
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013054939A
Other languages
English (en)
Other versions
JP2014182188A (ja
Inventor
晃 釜野
晃 釜野
洋平 岸
洋平 岸
鈴木 政直
政直 鈴木
俊輔 武内
俊輔 武内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013054939A priority Critical patent/JP6146069B2/ja
Priority to US14/087,121 priority patent/US9691397B2/en
Publication of JP2014182188A publication Critical patent/JP2014182188A/ja
Application granted granted Critical
Publication of JP6146069B2 publication Critical patent/JP6146069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques

Description

本発明は、データに他の情報を埋め込む技術、及び、埋め込まれている当該他の情報を抽出する技術に関する。
例えばオーディオ信号では、サンプリング定理に基づいて音声を標本化し、量子化して、線形パルス符号化によりデジタル化している。特に音楽ソフトは、非常に高い音質を保ったままデジタル化されている。一方、このようなデジタル化されたデータは、容易に完全な形式で複製できるという特徴がある。このため、人間が知覚できない形式で、著作権情報などを、音楽ソフトに埋め込む試みがある。このとき、高音質を要求される音楽ソフトに適切な情報の埋め込み方法として、周波数成分に情報を埋め込む方法が知られている。
また、画像データが圧縮符号化された圧縮符号列のデータ量を変えることなく、且つ見た目に分からないように圧縮符号列を変えて、他の情報を埋め込む情報埋込装置が提案されている。このような情報埋込装置では、圧縮符号列をブロック毎に復号し、係数ブロックを生成する。情報埋込装置は、生成された係数ブロックと入力データのビット値とに対応する埋め込み情報を、埋め込みデータテーブルから選択し、ブロックの総符号長が変わらない新たなブロックを生成することにより、他の情報を埋め込む。(例えば、特許文献1、非特許文献1参照)
特開2002−344726号公報
電子透かしの基礎 p.184〜194 松井甲子雄 著 森北出版
上記のようにデータに他の情報を埋め込む技術では、元の情報の品質の劣化が認識されないようにすることが好ましい。例えば、オーディオ信号の符号化データや、圧縮符号化された画像データに対する他の情報の埋め込みにおいては、以下のような要求がある。すなわち、元の音源または画像の違いや、視聴する人の違いがあっても、情報の埋め込みに起因する音質または画質の劣化が認識されないようにすることである。
ひとつの側面によれば、本発明は、元の情報を表しているデータに、当該元の情報の品質の劣化が認識されないように他の情報の埋め込みを行うとともに、埋め込まれた当該他の情報の抽出を行うことを目的とする。
ひとつの態様によるデータ埋め込み装置は、記憶部、候補抽出部、変換部およびデータ埋め込み部を有している。記憶部は、複数の予測パラメータを含む符号帳を記憶している。候補抽出部は、複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、前記符号帳から複数抽出する。また、候補抽出部は、抽出された前記予測パラメータの候補の数を抽出する。変換部は、埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換する。データ埋め込み部は、前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択する。これによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込む。
別の態様によるデータ抽出装置は、予測パラメータに埋め込まれたデータを抽出する。このデータ抽出装置は、記憶部、候補特定部、データ抽出部、変換部を有している。記憶部は、データ埋め込みに用いられる複数の予測パラメータを含む符号帳を記憶する。候補特定部は、前記予測符号化において抽出された予測パラメータの候補を前記符号帳から特定するとともに、前記予測パラメータの候補の数を特定する。このとき、候補特定部は、複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて上記特定を行う。データ抽出部は、前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出する。変換部は、抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行う。このとき、前記変換部の変換結果に基づき埋め込まれたデータが抽出される。
別の態様によれば、データ埋め込み装置が、以下の処理を行うデータ埋め込み方法が提供される。データ埋め込み装置は、複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出する。また、データ埋め込み装置は、抽出された前記予測パラメータの候補の数を抽出する。また、データ埋め込み装置は、埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換する。さらにデータ埋め込み装置は、前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択する。これにより、データ埋め込み装置は、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込む。
さらにまた別の態様によれば、データ抽出装置が、以下の処理を行うデータ抽出方法が提供される。データ抽出装置は、前記予測符号化において抽出された予測パラメータ候補と、前記予測パラメータ候補の数とを特定する。データ抽出装置は、複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、予測パラメータの候補を特定する。このとき、データ抽出装置は、予測パラメータの候補を、データ抽出装置自身の有するデータ埋め込みに用いられる複数の予測パラメータを含む符号帳から特定する。データ抽出装置は、前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出する。データ抽出装置は、抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより、埋め込まれたデータを抽出する。
なお、上述した態様に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した態様に係る方法と同様の作用効果を奏するので、前述した課題が解決される。
上述した態様によれば、元の情報を表しているデータに、当該元の情報の品質の劣化が認識されないように他の情報の埋め込みを可能にするとともに、埋め込まれた当該他の情報の抽出を可能にする。
エンコードシステムの構成の一例を示す図である。 埋め込み情報変換部の構成の一例を示す図である。 2チャンネルから3チャンネルへのアップミックスの説明図である。 放物型の誤差曲面の一例を示す図である。 楕円型の誤差曲面の一例を示す図である。 誤差曲面の投影図の一例を示す図である。 予測パラメータ候補抽出のパターンAの例を示す図である。 予測パラメータ候補抽出のパターンBの例を示す図である。 予測パラメータ候補抽出のパターンBの例を示す図である。 予測パラメータ候補抽出のパターンCの例を示す図である。 予測パラメータ候補抽出のパターンDの例を示す図である。 予測パラメータ候補抽出のパターンDの例を示す図である。 予測パラメータ候補抽出のパターンEの例を示す図である。 パターンCで、予測パラメータ候補の数が変化する例を示す図である。 パターンEの一例を示す図である。 パターンAの変形例を示す図である。 候補抽出部、埋め込み情報変換部およびデータ埋め込み部の処理の一例を説明する図である。 候補抽出部、埋め込み情報変換部およびデータ埋め込み部の処理の別の例を説明する図である。 データ埋め込み方法の一例を示すフローチャートである。 予測パラメータ候補抽出処理の詳細を示すフローチャートである。 デコードシステムの構成を示すブロック図である。 抽出情報変換部の構成を示すブロック図である。 誤差直線がc軸に平行な例を示す図である。 誤差直線が、符号帳の対向する2辺に交わる例を示す図である。 バッファ情報の一例を示す図である。 進数変換部による情報変換の一例を示す図である。 デコードシステムの処理を示すフローチャートである。 データ埋め込み量のシミュレーション結果を示す図である。 変形例1による埋め込み情報埋め込み方法の一例を示す図である。 変形例1による情報抽出方法の一例を示す図である。 変形例2によるデータ埋め込み方法の一例を示す図である。 変形例3によるデータ埋め込み方法の一例を示す図である。 変形例3においてデータ埋め込み装置において行われる制御処理の処理内容を図解したフローチャートである。 変形例4による埋め込み情報に対する誤り訂正符号化処理の一例を示す図である。 標準的なコンピュータのハードウエア構成を示す図である。
以下図面を参照しながら、一実施の形態によるデータ埋め込み装置、およびデータ抽出装置について説明する。図1は、本実施の形態によるエンコードシステム1の構成の一例を示す図である。図2は、埋め込み情報変換部の構成の一例を示す図である。図3は、2チャンネルからデコードシステム3チャンネルへのアップミックスの説明図である。
図1に示すように、エンコードシステム1は、多チャンネルのオーディオ信号を圧縮し、符号化するとともに、例えば、著作権情報などの情報を埋め込むシステムである。
エンコードシステム1は、エンコーダ装置10、およびデータ埋め込み装置20を備えている。エンコーダ装置10は、時間周波数変換部11、第1ダウンミックス部12、第二ダウンミックス部13、ステレオ符号化部14、予測符号化部15、および多重化部16を有している。データ埋め込み装置20は、符号帳21、候補抽出部22、データ埋め込み部23、埋め込み情報変換部24を有している。図2に示すように、埋め込み情報変換部24は、バッファ26、進数変換部27、切り出し部28を備えている。
図1、図2に示すエンコードシステム1が備えるこれらの構成要素は、それぞれ別個の回路として形成される。あるいはこれらの構成要素の一部若しくは全部が集積された集積回路としてエンコードシステムの各々が実装されてもよい。更に、これらの各構成要素は、エンコードシステム1の各々が有する演算処理装置上で実行されるプログラムにより実現される、機能モジュールであってもよい。
以下、多チャネルのオーディオ信号のデータ量を圧縮する符号化方式として、Moving Picture Experts Group(MPEG) Surroundを用いる。MPEG Surroundは、Moving Picture Experts Group(MPEG)において標準化された符号化方式である。ここで、MPEG Surroundについて説明する。
MPEG Surroundでは、例えば、符号化対象となる5.1チャネルのオーディオ信号(時間信号)が周波数変換され、得られた周波数信号がダウンミックスされることによって3チャネルの周波数信号がまず生成される。その後、その3チャネルの周波数信号が再度ダウンミックスされることによって、ステレオ信号に対応する2チャネルの周波数信号が算出される。この2チャネルの周波数信号は、その後、Advanced Audio Coding (AAC)符号化方式及びSpectral Band Replication (SBR)符号化方式に基づいて符号化される。なお、MPEG Surroundでは、5.1チャネルから3チャネルへの信号のダウンミックスの際と、3チャネルから2チャネルへの信号のダウンミックスの際とにおいて、音の拡がり又は定位を表す空間情報が算出され、この空間情報も併せて符号化される。
このように、MPEG Surroundでは、マルチチャネルオーディオ信号をダウンミックスして生成されるステレオ信号と、データ量の比較的少ない空間情報とが符号化される。従って、MPEG Surroundは、マルチチャネルオーディオ信号に含まれる各チャネルの信号を独立に符号化するよりも高い圧縮効率が得られる。
このMPEG Surroundでは、2チャネルであるステレオ周波数信号の生成の際に算出される空間情報を符号化するために、予測パラメータが用いられる。予測パラメータとは、ダウンミックス後の2チャネルの信号をアップミックスして3チャネルの信号を得るための予測、すなわち、3チャネル中の1つのチャネルの信号の予測を、その他の2つのチャネルの信号に基づいて行うために用いられる係数である。このアップミックスについて、図3を参照しながら説明する。
図3においては、ダウンミックスされている2チャネルの信号をlベクトルとrベクトルとでそれぞれ表しており、この2チャネルの信号からアップミックスによって得られる1つの信号をcベクトルで表している。MPEG Surroundでは、この場合に、cベクトルが、予測パラメータc1 及びc2 を用いて、下記の(式1)により予測されるものとしている。
なお、予測パラメータは例えば符号帳21のような「符号帳」と称されるテーブルに値が予め複数格納されている。符号帳は、使用ビット効率の向上のために用いられるものである。MPEG Surroundでは、c1 及びc2 について、各々−2.0以上+3.0以下の領域を0.1幅で刻んだ51個×51個の組が符号帳として用意されている。従って、c1 及びc2 の各々を2つの座標軸とする直交2次元座標上にこの予測パラメータの組をプロットすると、51個×51個の格子点となる。
図1に戻って、エンコーダ装置10には、左前方、中央、右前方、左後方、右後方の計5チャネル分の信号と、低域専用の0.1チャネルの信号とからなる、5.1チャネルの時間領域のオーディオ信号が入力される。エンコーダ装置10は、この5.1チャネルのオーディオ信号に対して符号化を施して符号化データを出力する。一方、データ埋め込み装置20は、エンコーダ装置10が出力する符号化データへ、他のデータの埋め込みを行う装置であり、データ埋め込み装置20には、符号化データへ埋め込まれる埋め込み情報が入力される。ここで、埋め込み情報とは、音声データに埋め込む情報であり、例えば著作権情報などである。エンコードシステム1の出力は、エンコーダ装置10から出力される、埋め込み情報が埋め込まれた符号化データである。
エンコーダ装置10の時間周波数変換部11は、エンコーダ装置10に入力される5.1チャネルの時間領域のオーディオ信号を5.1チャネルの周波数信号に変換する。本実施の形態では、時間周波数変換部11は、例えば、Quadrature Mirror Filter(QMF)を用いて行われるフレーム単位での時間周波数変換を行う。この変換により、入力された時間領域のオーディオ信号を、1チャネルのオーディオ周波数帯域を等分(例えば64等分)したときの各帯域の周波数成分信号が得られる。エンコードシステム1のエンコーダ装置10及びデータ埋め込み装置20の各機能ブロックで行われる処理は、この各帯域の周波数成分信号毎に行われる。
第一ダウンミックス部12は、5.1チャネルの周波数信号を受け取る度に、各チャネルの周波数信号をダウンミックスすることにより、左、中央、及び右の計3チャネルの周波数信号を生成する。
第二ダウンミックス部13は、第一ダウンミックス部12から3チャネルの周波数信号受け取る度に、各チャネルの周波数信号をダウンミックスすることにより、左及び右の計2チャネルのステレオ周波数信号を生成する。
ステレオ符号化部14は、第二ダウンミックス部13から受け取ったステレオ周波数信号を、例えば前述したAAC符号化方式及びSBR符号化方式に従って符号化する。
予測符号化部15は、第二ダウンミックス部13の出力であるステレオ周波数信号から3チャネルの信号を復元するためのアップミックスにおいて行われる予測に使用する、前述した予測パラメータの値を求める処理を行う。なお、ステレオ周波数信号から3チャネルの信号を復元するアップミックスは、後述するデコーダ装置30の第一アップミックス部33において、前述した図3の手法に従って行われる。
多重化部16は、前述した予測パラメータと、ステレオ符号化部14から出力される符号化データとを所定の順序で配列して多重化し、多重化された符号化データを出力する。なお、エンコーダ装置10を単独で動作させる場合には、多重化部16は、予測符号化部15から出力される予測パラメータを符号化データと多重化する。一方、図1に示したエンコーダシステム1の構成とする場合には、多重化部16は、データ埋め込み装置20から出力される予測パラメータを符号化データと多重化する。
データ埋め込み装置20の符号帳21には、予測パラメータが予め複数格納されている。この符号帳21は、エンコーダ装置10の予測符号化部15が予測パラメータを得るために使用するものと同一のものを使用する。なお、図1の構成では符号帳21をデータ埋め込み装置20自身が備えているが、この代わりに、エンコーダ装置10の予測符号化部15が備えているものを用いるようにしてもよい。
候補抽出部22は、複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、符号帳21から複数抽出する。より具体的には、候補抽出部22は、予測符号化部15によって得られる予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳21から複数抽出する。
データ埋め込み部23は、予測符号化の結果とする予測パラメータを、候補抽出部22により抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み情報を当該予測パラメータに埋め込む。より具体的には、データ埋め込み部23は、多重化部16への入力とする予測パラメータを、候補抽出部22により抽出された候補から、所定のデータ埋め込み規則に従って選択することによって、埋め込み情報を当該予測パラメータに埋め込む。所定の埋め込み規則は、後述する埋め込み情報変換部24により変換された埋め込み情報に基づく規則である。
図2に示すように、埋め込み情報変換部24のバッファ26は、符号化データに埋め込む埋め込み情報を記憶する。進数変換部27は、候補抽出部22から、フレームごとに抽出された予測パラメータの候補数Nを取得し、バッファ26から取得する埋め込み情報を、N進数に変換する。切り出し部28は、進数変換部27から取得したN進数の埋め込み情報から、Nを超えない数となる部分を切り出して、処理対象のフレームの予測パラメータに埋め込む情報として出力するとともに、残りはバッファ26に出力することによりバッファさせる。
次に、図4から図11を参照しながら、候補抽出部22が行う候補抽出処理について、説明する。候補抽出処理は、エンコーダ装置10の予測符号化部15によって得られる予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳21から複数抽出する処理である。
まず、複数チャネルのうちの1つのチャネルの信号についての予測パラメータを用いた予測結果と当該1つのチャネルの実際の信号との誤差について説明する。この誤差は、予測パラメータを変化させて分布をグラフ化することにより、誤差曲面として表される。本実施の形態においては、誤差曲面は、予測パラメータを用いて図3のようにして中央チャネルの信号を予測したときの予測誤差についての、当該予測パラメータを変化させたときの分布をグラフ化すると得られる曲面である。
図4、図5は、誤差曲面について説明する図である。図4は、放物型の誤差曲面の一例を示す図、図5は、楕円型の誤差曲面の一例を示す図である。図4及び図5はいずれも直交三次元座標上に誤差曲面が描かれている。ここで、矢印c1 及びc2 の向きは、それぞれ左チャネル及び右チャネルについての予測パラメータの値の大きさを表しており、矢印c1 及びc2 によって張られる平面に垂直な方向(紙面の上方向)は予測誤差の大きさを表している。従って、矢印c1 及びc2 によって張られる平面に平行な平面上では、予測パラメータの値の組をどのように選択して中央チャネルの信号の予測を行っても、予測誤差は同一の値となる。
ところで、中央チャネルの実際の信号を信号ベクトルc0 とし、左チャネル及び右チャネルの信号と予測パラメータとを用いた中央チャネルの信号の予測結果を信号ベクトルcとすると、予測誤差dは、下記の(式2)のように表される。
なお、l及びrは、それぞれ左チャネル及び右チャネルの信号を表している信号ベクトルであり、c1 及びc2 は、それぞれ左チャネル及び右チャネルについての予測パラメータである。
この(式2)をc1 及びc2 について変形すると下記の(式3)が得られる。
なお、関数fはベクトルの内積を表している。
この(式3)の右辺の分母、すなわち、下記の(式4)に注目する。
この(式4)の値がゼロとなる場合には、誤差曲面の形状は図4の放物型となり、この値がゼロでない場合には、誤差曲面の形状は図5の楕円型となる。従って、第一ダウンミックス部12から出力される左チャネル及び右チャネルの信号についての信号ベクトルの内積を求めて(式4)の値を算出し、この値がゼロであるか否かによって、誤差曲面の形状が判定される。なお、誤差曲面の形状が楕円型の場合には、データの埋め込みは行わない。
なお、(式4)の値がゼロとなる場合とは、下記の3つの場合、すなわち、(1)rベクトルがゼロベクトルの場合、(2)lベクトルがゼロベクトルの場合、(3)lベクトルがrベクトルの定数倍である場合のいずれかに限られる。従って、第一ダウンミックス部12から出力される左チャネル及び右チャネルの信号が、この3つの場合のいずれかに該当するか否かを調べることによって、誤差曲面の形状が判定されるようにしてもよい。
次に誤差直線について説明する。誤差直線とは、誤差曲面上における予測誤差が最小である点の集合であり、誤差曲面が放物型である場合には、この点の集合は直線となる。なお、誤差曲面が楕円型である場合には、予測誤差が最小である点は1点となり、直線とはならない。
図4の放物型の誤差曲面の例では、予測パラメータc1 及びc2 によって定義される平面と誤差曲面とが接する場合における接線が誤差直線である。この誤差直線上の点により特定される予測パラメータc1 及びc2 の値の組は、そのいずれの組を選択して中央チャネルの信号の予測を行っても、予測誤差は同一となる。
なお、この誤差直線の式は、左チャネル及び右チャネルの信号レベルに応じて下記の3つの式により表される。この各式の右辺の各信号ベクトルに、第一ダウンミックス部12から出力される左チャネル及び右チャネルの信号を代入することによって、誤差直線の決定が行われる。
まず、第一に、rベクトルがゼロベクトルの場合、すなわち、右チャネルが無音信号である場合には、誤差直線の式は、下記の(式5)により表される。
図6は、誤差曲面の投影図の一例を示す図である。この投影図は、矢印c1 及びc2 によって張られる平面への図4の誤差曲面の投影図に、上記の(式5)により表される直線を描いた図である。
第二に、rベクトルがゼロベクトルの場合、すなわち、右チャネルが無音信号である場合には、誤差直線の式は、下記の(式6)により表される。
第三に、lベクトルがrベクトルの定数倍である場合、すなわち、処理対象のフレーム中の全てのサンプルにおいて、lベクトルとrベクトルとの比率が一定である場合には、誤差直線の式は、下記の(式7)により表される。
なお、rベクトル及びlベクトルの両者が共にゼロベクトルの場合、すなわち、R及び左チャネルの信号が共にゼロである場合には、予測誤差が最小である点の集合は直線とはならない。
次に、図7から図11を参照しながら、候補抽出部22による、予測パラメータ候補抽出処理について説明する。この処理は、上記のように求められた誤差直線に基づいて、予測パラメータの候補を符号帳21から抽出する処理である。
予測パラメータ候補抽出処理では、予測パラメータc1 及びc2 によって定義される平面上においての、誤差直線と、符号帳21に格納されている各予測パラメータに対応する各点との位置関係に基づいて、予測パラメータの候補の抽出が行われる。本実施の形態における予測パラメータ候補抽出処理では、この位置関係として、符号帳21に格納されている各予測パラメータの候補に対応する各点のうち、誤差直線との距離が所定の範囲内である点を選択する。そして、選択された点が表している予測パラメータの組が、予測パラメータの候補として抽出される。この処理の具体例を、図7を用いて説明する。
図7は、予測パラメータ候補抽出例を示す図である。図7の予測パラメータ候補抽出例100は、後述するパターンAに対応する。図7に示すように、予測パラメータ候補抽出例100は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている。予測パラメータ候補抽出例100では、誤差直線が符号帳21の領域と交わり、且つ、符号帳21のいずれかの境界辺と平行である場合のパターンである。この例では、これらの点のうちの幾つかが誤差直線102上に存在している。
図7の位置関係では、誤差直線102は、符号帳21の境界辺のうちc軸に平行な境界辺と平行である。この場合には、候補抽出部22は、符号帳21の各予測パラメータに対応する各点のうちで、誤差直線との距離が最小であり且つ同一距離であるものを、予測パラメータの候補として抽出する。
図7では、これらの格子点として配置されている点のうちで、誤差直線102上に存在しているものは白丸印で表されている。これらの白丸印で表されている複数の点は、誤差直線からの距離が全ての格子点のうちで最小(すなわちゼロ)であって同一である。従って、これらの予測パラメータ候補104−0〜5の点が表している予測パラメータc1 及びc2 の値の組は、そのいずれの組を用いて中央チャネルの信号の予測を行っても、予測誤差は最小且つ同一となる。従って、図7の例の場合には、予測パラメータ候補104−0〜5(まとめて、あるいは代表して予測パラメータ候補104ともいう)の点が表している予測パラメータc1 及びc2 の組が、予測パラメータの候補として、符号帳21から抽出される。
なお、予測パラメータ候補抽出処理では、予測パラメータの候補の抽出のパターンが幾つか用意されており、上記平面上においての誤差直線と符号帳21の予測パラメータの対応点との位置関係に応じて抽出パターンを選択して予測パラメータの候補の抽出を行う。
図8および図9は、予測パラメータ候補抽出の別の例を示す図である。図8の、予測パラメータ候補抽出例110、図9の予測パラメータ候補抽出例120は、後述するパターンBに対応する。パターンBは、誤差直線が、符号帳21のいずれの境界辺とも平行ではないが、符号帳21における対向している一対の境界辺の両方と交わる場合のパターンである。
図8、図9は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については、図7と同様である。
図8は、符号帳21についての2組の対向している一対の境界辺のうちの、c2 軸に平行である一対の境界辺の両方に対して、誤差直線112が交わる場合の例を表している。この場合には、符号帳21における予測パラメータc1 の値毎に、誤差直線112に最も近い符号帳21の対応点を、予測パラメータの候補114−0〜5として抽出する。このようにして抽出される予測パラメータの候補114は、予測パラメータc1 の各値について、中央チャネルの信号の予測に使用した場合の予測誤差を最小とする予測パラメータc2 の値となる。
上記のように、まず、誤差直線112が交わる一対の境界辺の各々の辺上の各格子点については、当該誤差直線112に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータ114が、候補として抽出される。更に、誤差直線が交わる一対の境界辺に平行であって格子点を通る各線分上に存在する各格子点についても、当該線分毎に誤差直線112に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータ114が、候補として抽出される。
より具体的には、以下に説明するように予測パラメータ候補114を決定するようにしてもよい。すなわち、図8に示すように、予測パラメータ候補抽出例110では、誤差直線112がc2 =l×c1 で表されるものとする。また、符号帳21を表している格子点のうちの隣接する4点の座標を、図8に記載されているように定義する。
このとき、変数i(iは整数)の値を1ずつ大きくしながら、下記の(a)及び(b)の手続を行う。
(a)c2 j ≦l×c1i ≦c2 j+1 を満たすc1j 及びc2j+1 を求める。(jは整数)
(b)下記の(b1)と(b2)とに場合分けを行い、それぞれの場合においての予測パラメータの候補を、符号帳21から抽出する。
(b1)|c2 j −l×c1i |≦|c2 j+1 −l×c1i |である場合には、格子点(c1i ,c2 j )に対応する予測パラメータを、候補として符号帳21から抽出する。
(b2)|c2 j −l×c1i |>|c2 j+1 −l×c1i |である場合には、格子点(c1i ,c2 j+1 )に対応する予測パラメータを、候補として符号帳21から抽出する。
図9は、符号帳21についての2組の対向している一対の境界辺のうちの、c1 軸に平行である一対の境界辺の両方に対して、誤差直線122が交わる場合の例を表している。この場合には、符号帳21における予測パラメータc2 の値毎に、誤差直線122に最も近い符号帳21の対応点を、予測パラメータの候補124−0〜5として抽出する。このようにして抽出される予測パラメータの候補124は、予測パラメータc2 の各値について、中央チャネルの信号の予測に使用した場合の予測誤差を最小とする予測パラメータc1 の値となる。
上記のように、図9の例においても、まず、誤差直線122が交わる一対の境界辺の各々の辺上の各格子点については、当該誤差直線に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータ124が、候補として抽出される。更に、誤差直線が交わる一対の境界辺に平行であって格子点を通る各線分上に存在する各格子点についても、当該線分毎に誤差直線122に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータ124が、候補として抽出される。予測パラメータ候補124についても、図8で説明した具体的な方法と同様に抽出するようにしてもよい。
図10は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図7と同様である。
図10の予測パラメータ候補抽出例150は、誤差直線152が符号帳21におけるc=cと平行な直線であって、符号帳21の各格子点交わっており、パターンCが適用される一例である。この場合には、誤差直線152上の符号帳21の対応点を、予測パラメータ候補154−0〜4として抽出する。このようにして抽出された予測パラメータ154−0〜5は、そのいずれを選択して中央チャネルの信号の予測を行っても、予測誤差は同一となる。
図11、図12は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図7と同様である。このパターンは、誤差直線が、誤差直線が符号帳21の領域とは交わらないが、且つ、符号帳21のいずれかの境界辺と平行である場合のパターンである。
図11の予測パラメータ候補抽出例130は、誤差直線132が符号帳21の領域とは交わらないが、c2 軸に平行である境界辺と平行であり、パターンDが適用される一例である。この場合には、符号帳21の境界辺のうちで誤差直線に最も近い境界辺上に存在する符号帳21の対応点を、予測パラメータの候補として抽出する。このようにして抽出された予測パラメータ134−0〜5は、そのいずれを選択して中央チャネルの信号の予測を行っても、予測誤差は同一となる。
図12の予測パラメータ候補抽出例140は、誤差直線142が符号帳21のいずれの境界辺とも平行ではなく、従って、パターンDが適用されない場合の例である。この予測パラメータ候補抽出例140の場合には、符号帳21の対応点のうちで白丸印が付されている対応点144についての予測パラメータを用いて中央チャネルの信号の予測を行った場合に、予測誤差が最小となり、その他の予測パラメータを用いた場合には、予測誤差が大きくなってしまう。このため、本実施例では、このような場合には、予測パラメータへの他のデータの埋め込みを行わない。
次に、図13の予測パラメータ候補抽出例145について説明する。予測パラメータ候補抽出例145は、後述するパターンEに対応する。このパターンは、後述するように、誤差直線決定処理において誤差直線の決定を行わない場合であり、右及び左チャネルの信号が共にゼロである場合のパターンである。
図13は、予測パラメータc1 及びc2 によって定義される直交2次元平面座標上に、符号帳21に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図7と同様である。この場合には、どのような予測パラメータを選択して(式1)による中央チャネルの予測を行っても、中央チャネルの信号はゼロとなる。従って、この場合には、符号帳21に格納されている予測パラメータの全てを、候補として抽出する。
以上のように、候補抽出部22は、以上の各パターンの予測パラメータ候補抽出処理を、誤差直線と符号帳21の領域との位置関係に応じて使い分けて、予測パラメータ候補の抽出を行う。
さらに本実施の形態においては、候補抽出部22は、予測パラメータ候補の数を抽出する。以下、図14から図16を参照しながら、予測パラメータ候補の数について説明する。予測パラメータ候補の数は、予測誤差が最小になる直線と符号帳21との交わり方や、符号帳の粗さなどによって、フレームごとに変化する。
図14は、パターンDで、予測パラメータ候補の数が変化する例を示す図である。図14に示すように、パターンDでは、予測パラメータ候補抽出例160、予測パラメータ候補抽出例165のように、誤差直線162、166が、どの位置で符号帳21と交わるかにより、予測パラメータ候補数が変化する。図15の例では、誤差直線162に対しては、予測パラメータ候補164の数は3個、誤差直線166に対しては、予測パラメータ候補166の数は、4個である。
図15は、パターンEの一例を示す図である。図15に示すように、パターンEの例では、符号帳21上のすべての格子点が、予測パラメータ候補として抽出される。予測パラメータ候補抽出例190の例では、予測パラメータは、25個抽出されている。
図16は、パターンAの変形例を示す図である。図16に示すように、予測パラメータ候補抽出例170では、誤差直線172が、c軸に平行であり、予測パラメータ候補174が、5個抽出されている。予測パラメータ候補抽出例180、184、188の例は、予測パラメータ候補抽出例170の予測パラメータ候補174を間引く例である。
予測パラメータ候補抽出例180の例では、誤差直線172に対し、予測パラメータ候補数N=5(個)であった予測パラメータ候補174が、予測パラメータ候補182のように2個に間引かれている。予測パラメータ候補184の例では、誤差直線172に対し、5個あった予測パラメータ候補174が、予測パラメータ候補186のように3個に間引かれている。予測パラメータ候補188の例では、誤差直線172に対し、5個あった予測パラメータ候補174が、予測パラメータ候補189のように4個に間引かれている。候補抽出部22は、上記のように抽出された予測パラメータ候補の数を埋め込み情報変換部24に出力する。
続いて、図17、18を参照しながら、埋め込み情報変換部24による埋め込み情報の変換例について説明する。図17に示すように、本実施の形態においては、予測パラメータ候補数Nに合わせて埋め込み情報の進数表現を変換する。
図17は、候補抽出部22、埋め込み情報変換部24およびデータ埋め込み部23の処理の一例を説明する図である。図17の例では、埋め込み情報71=「1011101010」とする。例えば、iフレーム目(iは、任意の整数)では、予測パラメータ候補抽出例74に示すように、予測パラメータ候補76は、4個であるとする。このとき、候補抽出部22は、抽出されたパラメータ候補に例えば0〜N(図17の例では、予測パラメータ候補76−0〜3)の番号を付す。この番号は、予測パラメータ候補に対応する埋め込み値とすることができ、例えば、予測パラメータcまたは予測パラメータcの小さい方から順に付すようにしてもよい。予測パラメータに情報を埋め込むときには、この埋め込み値が埋め込み情報として埋め込まれる。本実施の形態では、埋め込み情報変換部24は、埋め込み情報71を、予測パラメータ候補数Nに関する進数に変換する。
図17に示すように、埋め込み情報変換部24は、埋め込み情報71を4進数に変換し、埋め込み情報73=「23222」を算出する。埋め込み情報変換部24は、変換された埋め込み情報73から、パラメータ候補数Nを超えない部分を、例えば埋め込み情報73−1のように抽出し、埋め込み情報とする。ここでは、埋め込み情報=「2」であるため、データ埋め込み部23は、対応する埋め込み値の予測パラメータ候補76−2に対応する符号帳21上の格子点の座標c、cを、iフレーム目の予測パラメータとすることにより、埋め込み情報73−1を埋め込む。
続いて、候補抽出部22は、(i+1)フレーム目において、予測パラメータ候補抽出例90のように、予測パラメータ候補94を抽出する。予測パラメータ候補抽出例90に示すように、ここでは予測パラメータ候補数N=6(個)である。埋め込み情報変換部24は、抽出された予測パラメータ候補数N=6に基づき、埋め込み情報73−2=「3222」(4進数)を、6進数に変換する。このとき、変換された埋め込み情報88=「1030」(6進数)である。埋め込み情報変換部24は、埋め込み情報88において、「6」を超えない数を高い桁側から抽出し、埋め込み情報88−1=「1」を埋め込み情報とする。データ埋め込み部23は、「1」に対応する予測パラメータ候補94−1の符号帳21上の格子点の座標c、cを、予測パラメータとすることにより、埋め込み情報88−1を埋め込む。
図18は、候補抽出部22、埋め込み情報変換部24およびデータ埋め込み部23の処理の別の例を説明する図である。図18の例では、ステップaに示すように、例えば、1フレーム目では埋め込み情報201=「101101」とする。このとき、ステップbに示すように、埋め込み情報変換部24が候補抽出部22から予測パラメータ候補数N=3を取得する。このとき、埋め込み情報変換部24は、進数変換203のように、埋め込み情報201を3進数に変換し、「1200」とする。ステップcに示すように、埋め込み情報変換部24は、切り出し207において、変換された埋め込み情報の上位の桁から、N=3を超えない「1」を切り出す。データ埋め込み部23は、候補抽出部22で抽出された予測パラメータ選択例209に示すように、「1」に対応する予測パラメータ210の座標を予測パラメータとすることにより、埋め込み情報の一部を埋め込む。
ステップd、bに示すように、例えば、2フレーム目では、埋め込み情報変換部24は、進数変換211により、埋め込み情報208=「200」を、候補抽出部22が抽出した予測パラメータ候補数N=5に基づき、5進数「33」に変換する。ステップcに示すように、埋め込み情報変換部24は、切り出し215において、5進数「33」の上位の桁から、N=5を超えない数「3」を切り出す。データ埋め込み部23は、候補抽出部22で抽出された予測パラメータ選択例217に示すように、「3」に対応する予測パラメータ218の座標を予測パラメータとすることにより、埋め込み情報を埋め込む。
ステップd、bに示すように、例えば、3フレーム目では、埋め込み情報変換部24は、進数変換219により、埋め込み情報216=「3」を、候補抽出部22が抽出した予測パラメータ候補数N=4に基づき、4進数「3」に変換する。ステップcに示すように、埋め込み情報変換部24は、切り出し223において、4進数「3」の上位の桁から、N=4を超えない数「3」を切り出す。データ埋め込み部23は、候補抽出部22で抽出された予測パラメータ選択例225に示すように、「3」に対応する予測パラメータ候補226の座標を予測パラメータとすることにより、埋め込み情報を埋め込む。
以上の処理を、フローチャートを参照しながらさらに説明する。図19、図20は、本実施の形態によるデータ埋め込み方法の一例を示す図である。図19において、まず、S230では、候補抽出処理を候補抽出部22が行う。上述したようにこの処理は、エンコーダ装置10の予測符号化部15によって得られる予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳21から複数抽出する処理である。
まず、候補抽出部22は、誤差曲面判定を行う(S231)。次に、S232において、S231の誤差曲面判定処理により判定された誤差曲面の形状が放物型であったか否かを判定する処理を候補抽出部22が行う(S232)。ここで、候補抽出部22は、誤差曲面の形状が放物型であったと判定したとき(S232:YES)には、S233に処理を進め、データ埋め込みのための処理を進める。一方、候補抽出部22は、誤差曲面の形状が放物型ではなかった(楕円型であった)と判定したとき(S232:NO)には、S234に処理を進める。この場合には、データの埋め込みは行われない。
次に、S233では、誤差直線決定処理を候補抽出部22が行う。上述のように、誤差曲面が放物型である場合には、この点の集合は直線となる。なお、誤差曲面が楕円型である場合には、予測誤差が最小である点は1点となり、直線とはならない。従って、前述したS232の判定処理は、予測誤差が最小である点の集合が直線となるか否かを判定する処理であるともいえる。
次に、S234では、予測パラメータ候補抽出処理を候補抽出部22が行う。この処理は、S233の処理により求めた誤差直線に基づいて、予測パラメータの候補を符号帳21から抽出する処理である。S234の処理の詳細は後述する。
続いて、候補抽出部22は、S235において、予測パラメータ候補数Nの算出処理を行う。この処理では、候補抽出部22は、S234の予測パラメータ候補抽出処理において抽出された予測パラメータの候補数=Nを算出する。例えば、図7の例では、予測パラメータの候補として抽出される白丸印の数は6個であるので、N=6である。候補抽出部22は、S230の候補抽出処理として、以上のS231からS235の処理を行う。
候補抽出部22による候補抽出処理(S230)が完了すると、埋め込み情報変換部24は、埋め込み情報を変換する処理を行う。すなわち、埋め込み情報変換部24は、図17、図18を参照しながら説明したように、埋め込み情報を、抽出された予測パラメータの候補数Nに応じて、N進数に変換する(S241)。さらに、埋め込み情報変換部24は、N進数に変換された埋め込み情報の高位の桁から、Nを越えない数を切り出す(S242)。
埋め込み情報変換部24による埋め込み情報変換処理(S240)が完了すると、次に、S250において、データ埋め込み処理をデータ埋め込み部23が行う。この処理は、予測符号化部15による予測符号化の結果とする予測パラメータを、S242の処理により切り出された埋め込み情報に基づき、抽出された予測パラメータの候補から選択する処理である。この処理によって、埋め込み情報を当該予測パラメータに埋め込む。
次に、S251において、埋め込み値付与処理をデータ埋め込み部23が行う。この処理は、S234の予測パラメータ候補抽出処理において抽出された予測パラメータの候補の各々に対し、予測パラメータ数Nに応じた上述した所定の規則で、埋め込み値を付与する処理である。そして、続くS252において、予測パラメータ選択処理をデータ埋め込み部23が行う。この処理は、N進数に変換された埋め込み情報におけるNを超えない数に対応するビット列を参照し、このビット列のN進数に一致する埋め込み値が付与された予測パラメータの候補を選択する処理である。さらにこの処理は、選択された候補を、エンコーダ装置10の多重化部16に出力する処理である(S252)。
一方、前述したS232の判定処理により、誤差曲面の形状が放物型ではなかった(楕円型であった)と判定された場合には(S232:NO)、S253の処理をデータ埋め込み部23が行う。この処理は、エンコーダ装置10の予測符号化部15が出力する予測パラメータc1 及びc2 の値の組を、そのまま多重化部16に出力して符号化データに多重化させる処理である。従って、この場合には、データの埋め込みは行われない。このS253の処理が完了すると、図19の制御処理が終了する。データ埋め込み装置20において以上の制御処理が行われることによって、エンコーダ装置10が生成する符号化データへの他のデータの埋め込みが行われる。
図20は、図19におけるS234の予測パラメータ候補抽出処理の詳細を示すフローチャートである。図データ埋め込み装置20に示すように、候補抽出部22は、誤差最小の点の集合が直線となるか否かを判定する処理を行う(S301)。前述したように、rベクトル及びlベクトルの両者が共にゼロベクトルの場合には、予測誤差が最小である点の集合は直線とはならない。このS301の判定処理では、この場合に該当するか否かの判定が行われる。
このS301において、候補抽出部22は、rベクトル及びlベクトルのうちの少なくとも一方がゼロベクトルではなく、従って誤差最小の点の集合が直線となると判定したとき(S301:YES)には、S302に処理を進める。一方、候補抽出部22は、ここで、rベクトル及びlベクトルのうちの両者が共に共にゼロベクトルであり、従って誤差最小の点の集合が直線とならないと判定したとき(S302:NO)にはS311に処理を進める。
次に、S302において、候補抽出部22は、図19のS233の誤差直線決定処理により得られた誤差直線が、符号帳21の領域と交わるか否かを判定する処理を行う。なお、符号帳21の領域とは、予測パラメータc1 及びc2 によって定義される平面上において符号帳21に格納されている各予測パラメータに対応する各点を含む外接矩形の領域である。ここで、候補抽出部22は、誤差直線が符号帳21の領域と交わると判定したとき(S302:YES)にはS303に処理を進め、誤差直線が符号帳21の領域とは交わらないと判定したとき(S302:NO)にはS309に処理を進める。
次に、S303において、候補抽出部22は、誤差直線が符号帳21のいずれかの境界辺と平行であるか否かを判定する処理を行う。なお、符号帳21の境界辺とは、上述した符号帳21の領域を画定する矩形の辺である。この判定処理は、誤差直線の式が前掲した(式5)若しくは(式6)の形で表されている場合には、判定結果がYesとなる。一方、誤差直線の式が前掲した(式7)の形で表されている場合、すなわち、L及び右チャネルの信号の大きさの比率が所定の期間一定の値となっている場合には、誤差直線が符号帳21のいずれの境界辺とも平行ではないと判定され、判定結果がNoとなる。
このS303の判定処理において、候補抽出部22は、誤差直線が符号帳21のいずれかの境界辺と平行であると判定したとき(S303:YES)にはS304に処理を進める。一方、候補抽出部22は、誤差直線が当該境界辺のいずれとも平行ではないと判定したとき(S303:NO)にはS305に処理を進める。
次に、S304では、パターンAによる予測パラメータ候補抽出処理を候補抽出部22が行い、その後は図4のS235に処理を進める。このパターンAの予測パラメータ候補抽出処理は、図7を参照しながら説明したパターンである。
一方、S305では、候補抽出部22は、誤差直線が符号帳21における対向している一対の境界辺の両方と交わるか否かを判定する処理を行う。ここで、候補抽出部22は、誤差直線が符号帳21における対向している一対の境界辺の両方と交わると判定したとき(S305:YES)にはS306に処理を進めて、パターンBによる予測パラメータ候補抽出処理を候補抽出部22が行う。そして、その後は図4のS235に処理を進める。
一方、候補抽出部22は、S305の判定処理において、誤差直線が符号帳21における対向している一対の境界辺の両方とは交わらないと判定したとき(S305:NO)には、S307において、誤差直線がc=cの直線に平行であり、且つ、格子点と交わっているか否かを判定する(S307)。
S307の判定がYESの場合には、候補抽出部22はS308に処理を進めて、パターンCによる予測パラメータ候補抽出処理を行う。このパターンCは、図10を参照しながら説明したパターンである。その後、候補抽出部22は、図19のS235に処理を進める。S307の判定がNOの場合には、候補抽出部22は、処理を図19のS253に進める。
ところで、S302の判定結果がNOの場合には、S309の判定処理が行われる。候補抽出部22は、このS309において、誤差直線が前述した符号帳21の境界辺と平行であるか否かを判定する処理を行う。この判定処理は、S303の判定処理と同一のものである。ここで、候補抽出部22は、誤差直線が符号帳21の境界辺と平行であると判定したとき(S309:YES)にはS310に処理を進め、パターンDによる予測パラメータ候補抽出処理を行い、その後は図19のS235に処理を進める。パターンDは、図11を参照しながら説明したパターンである。一方、候補抽出部22は、誤差直線が符号帳21の境界辺とは平行ではないと判定したとき(S309:NO)には図19のS253に処理を進める。
ところで、S301の判定結果がNOの場合には、候補抽出部22は、S311において、パターンEによる予測パラメータ候補抽出処理を行い、その後は図19のS253に処理を進める。このパターンEの予測パラメータ候補抽出処理は、図13を参照しながら説明したパターンである。図20に図解した予測パラメータ候補抽出処理は、以上のようにして行われる。以上により、データ埋め込み装置20による埋め込み情報の埋め込みが行われる。
以下、図21〜図27を参照しながら、本実施の形態によるデコードシステム3について説明する。図21は、本実施の形態によるデコードシステム3の構成を示すブロック図、図22は、抽出情報変換部44の構成を示すブロック図である。
図21に示すように、デコードシステム3は、デコーダ装置30とデータ抽出装置40とを備えている。デコーダ装置30は、分離部31、ステレオ復号部32、第一アップミックス部33、第二アップミックス部34、及び周波数時間変換部35を備えている。データ抽出装置40は、符号帳41、候補特定部42、データ抽出部43、抽出情報変換部44を備えている。抽出情報変換部44は、抽出情報バッファ部45、進数変換部46、結合部47を備えている。
図21、図22に示すデコードシステム3が備えるこれらの構成要素は、それぞれ別個の回路として形成される。あるいはこれらの構成要素の一部若しくは全部が集積された集積回路としてデコードシステム3の各々が実装されてもよい。更に、これらの各構成要素は、デコードシステム3の各々が有する演算処理装置上で実行されるプログラムにより実現される、機能モジュールであってもよい。
デコーダ装置30には、図1のエンコーダシステム1の出力である符号化データが入力され、この符号化データから、元の5.1チャネルの時間領域のオーディオ信号を復元して出力する。データ抽出装置40は、この符号化データから、データ埋め込み装置20によって埋め込まれた情報を抽出して出力する。
分離部31は、多重化部16で用いられている当該多重化における配列順序に応じ、図1のエンコードシステム1の出力である多重化された符号化データを、予測パラメータと、ステレオ符号化部14から出力される符号化データとに分離する。ステレオ復号部32は、分離部31から受け取る符号化データを復号して、左及び右の計2チャネルのステレオ周波数信号を復元する。
第一アップミックス部33は、分離部31から受け取る予測パラメータを用いて、ステレオ復号部32から受け取るステレオ周波数信号を、前述した図3の手法に従いアップミックスすることにより、左、中央、及び右の計3チャネルの周波数信号を復元する。
第二アップミックス部34は、第一アップミックス部33から受け取る3チャネルの周波数信号をアップミックスすることにより、左前方、中央、右前方、左後方、及び右後方並びに低域専用の計5.1チャネルの周波数信号を復元する。
周波数時間変換部35は、第二アップミックス部34から受け取る5.1チャネルの周波数信号に対して、時間周波数変換部11による時間周波数変換の逆変換である周波数時間変換を施して、5.1チャネルの時間領域のオーディオ信号を復元して出力する。
データ抽出装置40の符号帳41には、予測パラメータの候補が予め複数格納されている。この符号帳41は、データ埋め込み装置20が備えている符号帳21と同一のものである。なお図21の構成では符号帳41をデータ抽出装置40自身が備えているが、この代わりに、第一アップミックス部33で使用する予測パラメータを得るためにデコーダ装置30が備えているものを用いるようにしてもよい。
候補特定部42は、予測符号化の結果とされた予測パラメータと前述の他の2つのチャネルの信号とに基づいて、候補抽出部22により抽出された予測パラメータの候補を符号帳41から特定する。より具体的には、候補特定部42は、分離部31から受け取る予測パラメータと、ステレオ復号部32により復元されたステレオ周波数信号とに基づいて、候補抽出部22により抽出された予測パラメータの候補を符号帳41から特定する。
データ抽出部43は、データ埋め込み部23が情報の埋め込みの際に使用したデータ埋め込み規則に基づき、候補特定部42により特定された予測パラメータの候補から、データ埋め込み部23が符号化データに埋め込んだデータを抽出する。
抽出情報変換部44は、データ抽出部43で抽出された抽出情報を、当該フレームにおける予測パラメータの候補数Nに基づき変換を行い、2進数に変換することにより、抽出情報を復元する。抽出情報バッファ部45は、抽出されたフレーム毎に埋め込まれていた抽出情報と、その予測パラメータ候補数Nを一時的に記憶し、順次進数変換部46に出力する記憶装置である。進数変換部46は、抽出情報バッファ部45から入力される抽出情報を、例えば抽出情報が抽出されたフレームの予測パラメータ候補数Nに基づく進数や2進数に変換する。結合部47は、抽出情報バッファ部45に記憶された抽出情報、または進数変換部46で変換された進数を結合する。
ここで、図23、図24を参照しながら、候補特定部42の処理についてさらに説明する。図23は、誤差直線がcに平行な例を示す図である。図24は、誤差直線が、符号帳41の対向する2辺に交わる例を示す図である。
図23に示すように、ステレオ信号の一方の左チャネルの信号が、例えば音声信号330のように表されるのに対し、右チャネルの信号が、音声信号332のように、振幅「0」の場合には、誤差直線は、c軸に平行になる。すなわち、予測パラメータ候補抽出例334のように、誤差直線336は、c軸に平行である。このとき、予測パラメータ候補338−0〜5が抽出され、この中から例えば、予測パラメータ候補338−2が予測パラメータに対応する点として抽出される。
図24に示すように、ステレオ信号の左チャネルの音声信号350が、右チャネルの音声信号352と比例関係にある場合には、音声信号350と音声信号352との比によって、誤差直線356の傾きが決まる。予測パラメータ候補抽出例354に示すように、誤差直線356に近い格子点を抽出することにより、予測パラメータ候補358−0〜5が抽出される。この中で、例えば予測パラメータ候補358−1が予測パラメータに対応する点として抽出される。
次に、抽出情報バッファ部45の処理についてさらに説明する。図25は、抽出情報バッファ部45が保持するバッファ情報370の一例を示す図である。バッファ情報370は、項目372として、埋め込み値と候補数を有している。バッファ情報370の例では、1〜3フレーム目の例を示している。例えば、1フレーム目の埋め込み値は、「1」であり、候補数は「3」である。2フレーム目の埋め込み値は「3」であり、候補数は「5」である。3フレーム目の埋め込み値は「3」であり、候補数は「4」である。
さらに、図26を参照しながら、進数変換部46の処理いついて説明する。図26は、進数変換部46による情報変換の一例を示す図である。図26に示すように、情報変換例380は、抽出情報バッファ部45にバッファ情報370が格納されている場合の処理の例である。
図26に示すように、進数変換部46は、抽出情報バッファ部45でバッファした情報を最後のフレームから変換することにより、抽出情報を抽出する。まず、進数変換部46は、3フレーム目の埋め込み値「3」を抽出情報として抽出する。ここで、3フレーム目の候補数は「4」であり、2フレーム目の候補数は「5」であることから、進数変換部46は、進数変換382において、抽出情報「3」を4進数から5進数に変換する。進数変換部46は、この結果5進数の「3」を抽出情報の低位の桁として得る。
進数変換部46は、バッファ情報370に示すように、2フレーム目の埋め込み値「3」を抽出情報として抽出する。結合部47は、結合384に示すように、3フレーム目から得られた抽出情報「3」と、2フレーム目の抽出情報「3」を結合させ、5進数の抽出情報「33」を得る。このとき、2フレーム目の候補数は「5」であり、1フレーム目の候補数は「3」であることから、進数変換部46は、進数変換386において、抽出情報「33」を、5進数から3進数に変換する。進数変換部46は、この結果、3進数の「200」を抽出情報の低位の桁として得る。
進数変換部46は、バッファ情報370に示すように、1フレーム目の埋め込み値「1」を抽出情報として抽出する。結合部47は、結合388に示すように、2フレーム目までの処理で得られた抽出情報「33」と、1フレーム目の抽出情報「1」を結合させ、3進数の抽出情報「1200」を得る。このとき、1フレーム目の候補数は「3」であり、元の抽出情報は2進数であることから、進数変換部46は、進数変換390において、抽出情報「1200」を、3進数から2進数に変換する。進数変換部46は、この結果、2進数の「101101」を抽出情報として得る。
次に、図27を参照しながら、本実施の形態によるデコードシステム3の処理についてさらに説明する。図27は、デコードシステム3の処理を示すフローチャートである。図27に示すように、まず、S400では、候補特定処理を候補特定部42が行う。この処理は、分離部31から受け取る予測パラメータと、ステレオ復号部32により復元されたステレオ周波数信号とに基づいて、候補抽出部22によって抽出された予測パラメータの候補を符号帳41から特定する処理である。この候補特定処理の詳細を更に説明する。
まず、S401において、誤差曲面判定処理を候補特定部42が行う。この処理は、誤差曲面の形状がどのような形状となるのかを判定する処理であり、図19のS231の処理として候補抽出部22が行う処理と同様の処理である。但し、S401の処理では、ステレオ復号部32から出力される左チャネル及び右チャネルのステレオ信号についての信号ベクトルの内積を求めて前掲の(式4)の値を算出し、この値がゼロであるか否かによって、誤差曲面の形状を判定する。
次に、S402において、S401の誤差曲面判定処理により判定された誤差曲面の形状が放物型であったか否かを判定する処理を候補特定部42が行う。ここで、候補特定部42は、誤差曲面の形状が放物型であったと判定したとき(S402:YES)には、S403に処理を進めて、データ抽出のための処理を進める。一方、候補特定部42は、誤差曲面の形状が放物型ではなかった(楕円型であった)と判定したとき(S402:NO)には、予測パラメータへのデータの埋め込みは行われていないと判断し、この図27の制御処理を終了する。
次に、S403では、誤差直線推定処理を候補特定部42が行う。この処理は、図19のS233の誤差直線決定処理によって候補抽出部22が決定した誤差直線を推定する処理である。このS403の処理は、図19のS233の誤差直線決定処理と同様の処理である。但し、S403の誤差直線推定処理では、前掲した(式5)、(式6)、及び(式7)の各式の右辺の各信号ベクトルに、ステレオ復号部32から出力される左チャネル及び右チャネルのステレオ信号を代入することによって、誤差直線の推定を行う。
次に、S404では、予測パラメータ候補推定処理を候補特定部42が行う。この処理は、図19のS234の予測パラメータ候補抽出処理によって候補抽出部22が抽出した予測パラメータの候補を推定する処理であり、S403の処理により推定された誤差直線に基づいて、予測パラメータの候補を符号帳41から抽出する処理である。このS404の処理は、図19のS234の予測パラメータ候補抽出処理と同様の処理である。但し、S404の予測パラメータ候補推定処理では、符号帳41に格納されている各予測パラメータに対応する各点のうち、誤差直線との距離が最小且つ同一である点を選択し、選択された点が表している予測パラメータの組を抽出する処理が行われる。抽出された予測パラメータの組が、候補特定部42による予測パラメータ候補の特定結果となる。
続いて、S405において、予測パラメータ候補数Nの算出処理を候補特定部42が行う。この処理は、埋め込みを行うことの可能なデータ容量を算出する処理であり、図19のS235の処理としてデータ埋め込み部42が行う処理と同様の処理である。以上のように、候補特定部42は、S400の候補特定処理として、以上のS401からS405の処理を行う。
候補特定部42によるS400の候補特定処理が完了すると、次に、S410において、データ抽出処理をデータ抽出部43が行う。この処理は、データ埋め込み部23がデータの埋め込みの際に使用したデータ埋め込み規則に基づき、候補特定部42により特定された予測パラメータの候補から、データ埋め込み部23が符号化データに埋め込んだデータを抽出する処理である。
このデータ埋め込み処理の詳細を更に説明する。まず、S411において、埋め込み値付与処理をデータ抽出部43が行う。この処理は、S404の予測パラメータ候補推定処理において抽出された予測パラメータの候補の各々に対し、図19のS251の埋め込み値付与処理においてデータ埋め込み部23が用いていたものと同一の規則で、埋め込み値を付与する処理である。
次に、S412において、埋め込まれたデータの抽出処理をデータ抽出部23が行う。この処理は、分離部31から受け取った予測パラメータに対してS411の埋め込み値付与処理で付与した埋め込み値を取得し、この値を、データ埋め込み部23が埋め込んだデータの抽出結果として、所定の記憶領域に、取得順にバッファリングする処理である。データ抽出装置40において以上の制御処理が行われることによって、データ埋め込み装置20によって埋め込まれたデータの抽出が行われる。
続いて、抽出情報変換部44により、抽出されたデータの抽出情報変換処理が行われる。この処理は、抽出されたデータを、データが抽出されたフレームにおける予測パラメータ候補数Nに基づき進数変換することにより、元の抽出情報を得る処理である。
進数変換部46は、抽出情報バッファ部45に記憶されたバッファ情報370において、最後のフレームから順次、フレームに埋め込まれた情報を、そのフレームにおける予測パラメータ候補数NによるN進数に変換する。結合部47は、変換されたN進数を、前のフレームから得られた変換された埋め込み情報と結合する(S422)。以上のように、データ抽出装置40によるデータ抽出処置が行われる。
ここで、図28を参照しながら、上述した制御処理によって埋め込むことの可能なデータ量についてのシミュレーション結果について説明する。図28は、データ埋め込み量のシミュレーション結果を示す図である。図28に示すシミュレーションでは、サンプリング周波数が48kHzであり伝送レートが160kb/sであるMPEG Surround方式の5.1チャネルの1分間のオーディオ信号を12種類(音声、音楽など)使用した。
このシミュレーションでは、埋め込むことの可能なデータ量は360kb/sとなり、1分間のオーディオ信号に換算すると、2.7キロバイトのデータを埋め込むことが可能であると判明した。
以上説明したように、データ埋め込み装置20及びデータ抽出装置40によれば、埋め込み情報の符号化データへの埋め込みを行い、当該埋め込み情報が埋め込まれた符号化データから、当該埋め込み情報を抽出することが可能である。また、データ埋め込み装置20がデータの埋め込みのために予測パラメータを選択するときの選択肢である予測パラメータの候補は、いずれも、選択された予測パラメータを用いて行われる予測符号化での予測誤差が所定範囲内に留まるものである。従って、この予測誤差の範囲を十分狭くしておくことで、デコーダ装置30の第一アップミックス部33によるアップミックスのための予測符号化によって復元される情報の劣化が認識されることがない。
また、データ埋め込み装置20は、符号化データに埋め込む際に、埋め込み情報を、埋め込み対象のフレームにおいて抽出された予測パラメータ候補数Nに応じたN進数に変換して、上位の桁からNを超えない範囲の数を順次埋め込む。このため全ての予測パラメータ候補を、埋め込み情報の埋め込みに利用可能である。よって、予測パラメータ候補数Nに対して、効率よく埋め込み情報を埋め込むことが可能となる。さらに、埋め込み情報として埋め込めるデータの種類などをより多くできるなどの利点がある。
データ抽出装置40は、データ埋め込み装置20で埋め込まれた埋め込み情報を、データ埋め込み装置20での埋め込み規則に応じて、予測パラメータと予測パラメータの候補数Nとに基づき、抽出することができる。例えば、データ抽出装置40は、データ埋め込み装置20で埋め込まれた埋め込み情報を、例えば、最後に情報が埋め込まれたフレームから予測パラメータと予測パラメータの候補数Nとに基づき埋め込み値を抽出し互いに結合することにより、抽出することができる。
(変形例1)
図29および図30を参照しながら、上記実施の形態の変形例1による、埋め込み情報埋め込み方法および埋め込み情報抽出方法について説明する。本変形例において、上記実施の形態と同様の構成および動作については、同一番号を付し、重複説明を省略する。
図29は、変形例1による埋め込み情報埋め込み方法の一例を示す図である。図29は、図18を参照しながら説明した埋め込み情報埋め込み方法の代わりに行う処理である。図29は、変形例1における候補抽出部22、埋め込み情報変換部24およびデータ埋め込み部23の処理を示している。図29の情報変換例450では、例えば、1フレーム目では埋め込み情報451=「101111」とする。このとき、埋め込み情報変換部24が候補抽出部22から予測パラメータ候補数N=3を取得する。埋め込み情報変換部24は、切り出し452において、予測パラメータ候補Nを超えない数(ここでは、「10」)を、埋め込み情報451の高位の桁から切り出す。埋め込み情報変換部24はさらに、進数変換454で、切り出した埋め込み情報の一部(ここでは、「10」)を、N進数(ここでは3進数の「2」)に変換する。データ埋め込み部23は、予測パラメータ候補抽出例456のように抽出された候補の中から、埋め込み値「2」に対応する予測パラメータ457を選択することにより、1フレーム目の予測パラメータに埋め込み情報の一部を埋め込む。
続いて、2フレーム目では、埋め込み情報変換部24が候補抽出部22により予測パラメータ候補数N=5を取得する。埋め込み情報変換部24は、1フレーム目に埋め込んだ埋め込み情報の残り(ここでは埋め込み情報458=「1111」)から、切り出し460において、予測パラメータ候補Nを超えない数(ここでは、「11」)を、埋め込み情報458の高位の桁から切り出す。埋め込み情報変換部24はさらに、進数変換462で、切り出した埋め込み情報の一部(ここでは、「11」)を、N進数(ここでは5進数の「3」)に変換する。データ埋め込み部23は、予測パラメータ候補抽出例464のように抽出された候補の中から、埋め込み値「3」に対応する予測パラメータ465を選択することにより、2フレーム目の予測バラメータに埋め込み情報の一部を埋め込む。
さらに、3フレーム目では、埋め込み情報変換部24が候補抽出部22から予測パラメータ候補数N=4を取得する。埋め込み情報変換部24は、1、2フレーム目に埋め込んだ埋め込み情報の残り(ここでは埋め込み情報466=「11」)から、切り出し467において、予測パラメータ候補Nを超えない数(ここでは、「11」)を、埋め込み情報467の高位の桁から切り出す。埋め込み情報変換部24はさらに、進数変換468で、切り出した埋め込み情報の一部(ここでは、「11」)を、N進数(ここでは4進数の「3」)に変換する。データ埋め込み部23は、予測パラメータ候補抽出例470のように抽出された候補の中から、埋め込み値「3」に対応する予測パラメータ471を選択することにより、3フレーム目の予測バラメータに埋め込み情報の一部を埋め込む。
図30は、本変形例による情報抽出方法の一例を示す図である。図30は、図26を参照しながら説明した情報抽出処理の代わりに行われる処理である。図30の処理では、進数変換部46は、例えば1フレーム目からの抽出情報を予測パラメータ候補数Nに応じて2進数に変換し、抽出情報バッファ部45は、変換された情報をバッファすることにより、埋め込み情報を復元する。
図30の例では、まず、候補抽出部22は、予測パラメータ抽出例502のように、1フレーム目の予測パラメータ503より、3進数の埋め込み値「2」を抽出情報として抽出する。抽出情報変換部44は、候補抽出部22により抽出された予測パラメータ候補数N=3に基づき、抽出された情報を進数変換504により、3進数から2進数「10」に変換する。
候補抽出部22は、予測パラメータ抽出例506のように、2フレーム目の予測パラメータ507より、5進数の埋め込み値「3」を抽出情報として抽出する。抽出情報変換部44は、候補抽出部22により抽出された予測パラメータ候補数N=5に基づき、抽出された情報を進数変換510により、5進数から2進数「11」に変換する。さらに、抽出情報変換部44は、結合512のように、1フレーム目から抽出された情報と2フレーム目から抽出された情報とを結合して「1011」を得る。
さらに、候補抽出部22は、予測パラメータ抽出例514のように、3フレーム目の予測パラメータ515より、4進数の埋め込み値「3」を抽出情報として抽出する。抽出情報変換部44は、候補抽出部22により抽出された予測パラメータ候補数N=4に基づき、抽出された情報を進数変換516により、4進数から2進数「11」に変換する。抽出情報変換部44は、結合518のように、1〜3フレーム目で抽出された情報を結合して2進数の「101111」を埋め込み情報として得る。
以上の処理により、埋め込み情報451が全て予測パラメータとして埋め込まれるとともに、埋め込まれた埋め込み情報は抽出されることになる。以上説明したように、図18の処理に代えて図29の処理を行い、図26の処理に代えて図30の処理を行うことによっても、上記実施の形態と同様の作用効果を実現することが可能である。
(変形例2)
次に、データ埋め込み装置20による、埋め込み対象の埋め込み情報とは別のデータの埋め込みを行う変形例2について説明する。データ埋め込み装置20が予測パラメータへ埋め込むデータはどのようなものでもよい。ここで、埋め込み情報の先頭を表す別データを追加して埋め込むことにより、データ抽出装置40において抽出されるデータから埋め込み情報の先頭を捜し出すことが容易になる。また、埋め込み情報の末尾を表す別データを追加して埋め込むことにより、データ抽出装置40により抽出されるデータから埋め込み情報の末尾を捜し出すことが容易になる。変形例2は、このような、埋め込み情報とは別のデータの埋め込み方法の一例である。
変形例2では、データ埋め込み部23が、埋め込み情報のデータの前若しくは後に、埋め込み情報の存在及びその先頭若しくは末尾を表している別のデータを付加してから予測パラメータに埋め込む。この変形例2の一例について図31を用いて説明する。
図31は、変形例2によるデータ埋め込み方法の一例を示す図である。図31の例では、埋め込み情報を、埋め込み情報530=「1101010…01010」とする。データ例532では、ビット列「0001」が、埋め込み情報530の存在及びその先頭を表している開始データとして予め定義されている。また、ビット列「1000」が、埋め込み情報530の末尾を表している終了データとして予め定義されている。但し、この場合には、埋め込み情報530のビット列にはこの2種類のビット列のどちらもが出現しないものとする。すなわち、例えば、埋め込み情報530には、値『0』が3つ以上連続して出現することはないものとする。
この例では、データ埋め込み部23は、図19のS252の予測パラメータ選択処理において、まず、埋め込み情報の直前に開始データを付加すると共に、埋め込み情報の直後に終了データを更に付加する処理を行う。そして、その後に、これらのデータの付加後のデータ例532における予測パラメータ候補数Nを超えない値に対応するビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を選択する処理を行う。なお、データ抽出装置40のデータ抽出部43では、図27のS412の埋め込み情報抽出処理によって予測パラメータより抽出されたデータから、これらの開始データ及び終了データを除外し、その後に残されたデータを出力するようにする。
また、データ例534は、ビット列「01111110」を、埋め込み情報530の存在及び先頭若しくは末尾を表している開始・終了データとして予め定義しておいた場合の例である。但し、この場合には、埋め込み情報530には、このビット列のどちらもが出現しないものとする。すなわち、例えば、埋め込み情報530には、値『1』が6つ以上連続して出現することはないものとする。この例では、データ埋め込み部23は、図19のS252の予測パラメータ選択処理において、まず、埋め込み情報530の直前及び直後に開始・終了データを付加する処理を行う。そして、その後に、これらのデータの付加後のデータ例534における予測パラメータ候補数Nを超えない値に対応するビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を選択する処理を行う。なお、データ抽出装置40のデータ抽出部43では、図27のS412の埋め込み情報抽出処理によって予測パラメータより抽出されたデータから、この開始・終了データを除外し、その後に残されたデータを出力するようにする。
以上のように、本変形例によれば、埋め込み情報の先頭を表す別データを追加して埋め込むことにより、データ抽出装置40において抽出されるデータから埋め込み情報の先頭を捜し出すことが容易になる。また、埋め込み情報の末尾を表す別データを追加して埋め込むことにより、データ抽出装置40により抽出されるデータから埋め込み情報の末尾を捜し出すことが容易になる。
(変形例3)
次に、図32、図33を参照しながら、埋め込み情報とは別のデータの埋め込みの方法の別の例について説明する。前述したように、データ埋め込み装置20の各機能ブロックで行われる処理は、1チャネルのオーディオ周波数帯域を分割したときの各帯域の周波数成分信号毎に行われる。つまり、候補抽出部22は、中央チャネルの信号に対する周波数帯域毎の予測符号化によって該周波数帯域毎に得られた予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳21から周波数帯域毎に複数抽出する。そこで、この変形例3では、データ埋め込み部23は、埋め込み情報の予測パラメータへの埋め込みを、第一の周波数帯域についての予測符号化の結果とする予測パラメータを、第一の周波数帯域について抽出された候補から選択することによって行う。そして、データ埋め込み部23は、別のデータの予測パラメータへの埋め込みを、第一の周波数帯域とは異なる第二の周波数帯域についての予測符号化の結果とする予測パラメータを、第二の周波数帯域について抽出された候補から選択することによって行う。
この別データの埋め込みの変形例3の具体例について、図32を用いて説明する。図32は、変形例3によるデータ埋め込み方法の一例を示す図である。この例では、オーディオ信号のフレーム毎に6つの周波数帯域の各々で得られる予測パラメータの候補のうち、低域側の3組の候補を埋め込み情報の埋め込みに使用し、高域側の3組の候補を別データの埋め込みに使用するようにしている。このときの別データとしては、例えば、前述した変形例2と同様に、埋め込み情報の存在及び開始若しくは終了を表すデータとしてもよい。
なお、図32において、変数iはゼロ以上i_max以下の整数であって、オーディオ信号の各フレームに時刻順に付与した番号を表している。また、変数jはゼロ以上j_max以下の整数であって、各周波数帯域に周波数の低い順に付与した番号を表している。なお、例えば、定数i_max及び定数j_maxの値は「5」としてもよい。そして、(c1 ,c2 i,j は、第i番目のフレームの第j番目の帯域の予測パラメータを表している。
ここで図33について説明する。図33は、データ埋め込み装置20において行われる制御処理の変形例の処理内容を図解したフローチャートである。このフローチャートは、埋め込み情報と別データとを、図32に図解した例のように埋め込むための処理であり、図19の図解したフローチャートにおけるS234の処理に続くデータ埋め込み処理としてデータ埋め込み部23により行われる。
図19のS234に続き、まず、S541では、変数i及び変数jに初期値「0」をそれぞれ代入する処理をデータ埋め込み部23が行う。S541に続くS542は、S552と対になって処理のループを表している。データ埋め込み部23は、変数iのこの処理時点での値を用いて、S543からS551までの処理を繰り返す。
続くS543は、S550と対になって処理のループを表している。データ埋め込み部23は、変数jのこの処理時点での値を用いて、S544からS549までの処理を繰り返す。
続くS544について、データ埋め込み部23は予測パラメータ候補数Nの算出処理を行う。この処理は、第i番目のフレームの第j番目の帯域についての予測パラメータの候補を用いることによって埋め込みを行うことの可能なビット列を算出する処理であり、図19のS235と同様の処理である。
次に、S545において、埋め込み値付与処理をデータ埋め込み部23が行う。この処理は、第i番目のフレーム目の第j番目の帯域についての予測パラメータの候補の各々に対し、予め定めておいた所定の規則で、埋め込み値を付与する処理であり、図19のS251と同様の処理である。
次に、S546において、第j番目の帯域が、低域側に属するか高域側に属するかを判定する処理をデータ埋め込み部23が行う。データ埋め込み部23は、ここで、第j番目の帯域が低域側に属すると判定したときにはS547に処理を進め、第j番目の帯域が高域側に属すると判定したときにはS548に処理を進める。
次に、S547において、データ埋め込み部23は、埋め込み情報のビット列に応じた予測パラメータ選択処理を行い、その後はS549に処理を進める。この処理は、埋め込み情報における予測パラメータ候補数Nを超えない値に対応するビット列を参照する処理である。さらにこの処理は、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を、第i番目のフレーム目の第j番目の帯域についての予測パラメータの候補から選択する処理である。この処理の処理内容は、図19のS252の処理と同様のものである。
一方、S548では、データ埋め込み部23は、埋め込み情報とは別のデータのビット列に応じた予測パラメータ選択処理を行い、その後はS549に処理を進める。この処理は、当該別のデータにおける予測パラメータ候補数Nを超えない値に対応するビット列を参照する処理である。さらにこの処理は、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を、第i番目のフレーム目の第j番目の帯域についての予測パラメータの候補から選択する処理である。この処理の処理内容も、図19のS252の処理と同様のものである。
次に、S549において、変数jの現在の値に「1」を加算した結果を改めて変数jに代入する処理をデータ埋め込み部23が行う。S550において、S543と対になって表されている処理のループを継続するか否かを判定する処理をデータ埋め込み部23が行う。データ埋め込み部23は、ここで、変数jの値が定数j_max以下であると判定したときには、S544からS549までの処理の繰り返しを継続する。一方、データ埋め込み部23は、ここで、変数jの値が定数j_maxを超えたと判定したときには、S544からS549までの処理の繰り返しを終了し551に処理を進める。S551において、変数iの現在の値に「1」を加算した結果を改めて変数iに代入する処理をデータ埋め込み部23が行う。
次に、S552において、S542と対になって表されている処理のループを継続するか否かを判定する処理をデータ埋め込み部23が行う。データ埋め込み部23は、ここで、変数iの値が定数i_max以下であると判定したときには、S543からS551までの処理の繰り返しを継続する。一方、データ埋め込み部23は、ここで、変数iの値が定数i_maxを超えたと判定したときには、S543からS551までの処理の繰り返しを終了し、その後はこの制御処理を終了する。データ埋め込み装置20は、以上の制御処理を行うことによって、図32に図解したような埋め込み情報と別データとの予測パラメータへの埋め込みを行う。
なお、データ抽出装置40のデータ抽出部43では、図27のS410のデータ抽出処理において、図33に図解したものと同様の処理を行うことで、埋め込み情報と別データとの抽出を行うようにする。
(変形例4)
以下、図34を参照しながら、埋め込み情報とは別のデータの埋め込みを行うさらに別の例について説明する。変形例2および変形例3では、埋め込まれる別のデータの例として、埋め込み情報の存在及び開始若しくは終了を表すデータを挙げたが、変形例4は、他のテータを予測パラメータに埋め込む例である。
変形例4では、埋め込み情報として誤り訂正符号化処理を施したものを埋め込む場合に、埋め込み情報に対して誤り訂正符号化処理が施されているか否かを表すデータを別データとして予測パラメータに埋め込む。
図34は、埋め込み情報に対する誤り訂正符号化処理の一例を示す図である。図34の例において、元データ561は、誤り訂正符号化処理を施す前の元データである。この誤り訂正符号化処理は、この元データ561を構成する各ビットの値を3回続けて出力するというものである。誤り訂正符号化データ563は、この誤り訂正符号化処理を元データ561に対して施して得られたものである。データ埋め込み装置20は、誤り訂正符号化データ563を予測パラメータに埋め込むと共に、この誤り訂正符号化データ563には誤り訂正符号化処理が施されていることを表すデータを別データとして予測パラメータに埋め込む。
一方、抽出データ565は、データ抽出装置40によって抽出された情報であり、一部のビットが誤り訂正符号化データ563と異なっている。この抽出データ565から元データ561を復元するには、抽出データ565を配列順に3ビットずつのビット列に分けて、各ビット列に含まれる3つのビットの値に対して多数決処理を施す。この多数決処理の結果を配列順に並べることにより、訂正後データ567の訂正後データが得られる。訂正後データ567は、元データ561と一致していることが分かる。
なお、上記実施の形態および変形例1〜変形例4のデータ埋め込み装置20及びデータ抽出装置40を、標準的な構成を備えるコンピュータで実現することも可能である。図35は、データ埋め込み装置20及びデータ抽出装置40として動作させることのできるコンピュータ50の構成例を示す図である。
このコンピュータ50は、MPU51、ROM52、RAM53、ハードディスク装置54、入力装置55、表示装置56、インタフェース装置57、及び記録媒体駆動装置58を備えている。なお、これらの構成要素はバスライン59を介して接続されており、MPU51の管理の下で各種のデータを相互に授受することができる。
Micro Processing Unit(MPU)51は、このコンピュータ50全体の動作を制御する演算処理装置である。Read Only Memory(ROM)52は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。MPU51は、この基本制御プログラムをコンピュータ50の起動時に読み出して実行することにより、このコンピュータ50の各構成要素の動作制御が可能になる。Random Access Memory(RAM)53は、MPU51が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
ハードディスク装置54は、MPU51によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。MPU51は、ハードディスク装置54に記憶されている所定の制御プログラムを読み出して実行することにより、上記制御処理を行えるようになる。また、符号帳21及び41は、例えばこのハードディスク装置54に予め格納しておく。コンピュータ50をデータ埋め込み装置20及びデータ抽出装置40として動作させる場合には、その前に、ハードディスク装置54から符号帳21及び41を読み出してRAM53に格納しておく処理をMPU51に行わせるようにする。
入力装置55は、例えばキーボード装置やマウス装置であり、コンピュータ50の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をMPU51に送付する。例えば、入力装置55は、符号化データに埋め込みを行うデータの取得を行う。
表示装置56は例えば液晶ディスプレイであり、MPU51から送付される表示データに応じて各種のテキストや画像を表示する。インタフェース装置57は、このコンピュータ50に接続される各種機器との間での各種データの授受の管理を行う。例えば、インタフェース装置57は、エンコーダ装置10及びデコーダ装置30との間で、符号化データや予測パラメータ等のデータの授受を行う。
記録媒体駆動装置58は、可搬型記録媒体60に記録されている各種の制御プログラムやデータの読み出しを行う装置である。MPU51は、可搬型記録媒体60に記録されている所定の制御プログラムを、記録媒体駆動装置58を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体60としては、例えばCompact Disc Read Only Memory(CD−ROM)やDigital Versatile Disc Read Only Memory(DVD−ROM)、Universal Serial Bus(USB)規格のコネクタが備えられているフラッシュメモリなどがある。
このようなコンピュータ50をデータ埋め込み装置20及びデータ抽出装置40として動作させるには、まず、後述する制御処理の各処理ステップをMPU51に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置54若しくは可搬型記録媒体60に予め格納しておく。そして、MPU51に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、MPU51が、図2A及び図2Bにそれぞれ図解したデータ埋め込み装置20及びデータ抽出装置40が備えている各部として機能し、このコンピュータ50をデータ埋め込み装置20及びデータ抽出装置40として動作させることが可能になる。
ここで、埋め込み情報変換部24は、変換部の一例であり、埋め込み情報は、埋め込み対象のデータの一例であり、埋め込み値は、候補の数を超えない数の一例であり、抽出情報は、埋め込まれたデータの一例である。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、所定の進数に変換された埋め込み情報からの切り出しを高位の桁から行う例について説明したが、切り出す順を予め決定しておけば、他の順でもよい。また、埋め込み情報の全てをそれぞれ切り出して予測パラメータに埋め込む例について説明したが、全てを切り出すか否かを制御するようにしてもよい。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
複数の予測パラメータを含む符号帳を記憶する記憶部と、
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、前記符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出する候補抽出部と、
埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換する変換部と、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込むデータ埋め込み部と、
を備えることを特徴とするデータ埋め込み装置。
(付記2)
前記変換部は、
埋め込み対象の前記データを前記候補の数による進数に変換する進数変換部、
変換された前記進数の高位の桁から前記候補の数を超えない数を切出す切り出し部
をさらに有し、
前記埋め込み部は、前記候補の数を超えない数に応じて前記予測パラメータを選択する処理を繰り返すことを特徴とする付記1に記載のデータ埋め込み装置。
(付記3)
前記変換部は、
埋め込み対象の前記データに対応する第1のビット列から前記候補の数を超えない数に応じた第2のビット列を切出す切り出し部、
前記第2のビット列を前記候補の数の進数の前記候補の数を超えない数に変換する進数変換部
をさらに有し、
前記埋め込み部は、前記候補の数を超えない数に応じて前記予測パラメータを選択する処理を繰り返すことを特徴とする付記1に記載のデータ埋め込み装置。
(付記4)
前記予測パラメータは、前記他の2つのチャネルの信号の各々についての成分を有しており、
前記候補抽出部は、前記予測パラメータの2つの成分によって定義される平面上において前記予測誤差が所定の閾値を超えない点の集合である直線を決定し、該直線と、該平面上において前記符号帳に格納されている各予測パラメータに対応する各点との位置関係に基づいて、前記予測パラメータの候補の抽出を行う、
ことを特徴とする付記1から付記3のいずれかに記載のデータ埋め込み装置。
(付記5)
前記候補抽出部は、前記平面上において前記予測誤差が所定の閾値を超えない点の集合が直線となるか否かを判定し、該点の集合が直線となると判定した場合に、前記位置関係に基づく前記予測パラメータの候補の抽出を行うことを特徴とする付記4に記載のデータ埋め込み装置。
(付記6)
前記平面は、直交座標系の平面であって前記予測パラメータの2つの成分を各座標軸の方向の成分とし、
前記符号帳に格納されている各予測パラメータは、前記平面上において該候補に対応する各点が、前記平面上において座標軸方向を各辺の方向とする矩形の領域に格子点として配置されるように予め設定されており、
前記候補抽出部は、前記平面上において前記予測誤差が所定の閾値を超えない点の集合が直線となると判定した場合に、前記平面上の前記矩形において対向している一対の辺の両方に該直線が交わるか否かを判定し、交わると判定した場合には、該一対の辺の各々について辺上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出すると共に、該一対の辺に平行であって前記格子点を通る前記領域内の各線分について、線分上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出する、
ことを特徴とする付記4又は5に記載のデータ埋め込み装置。
(付記7)
前記データ埋め込み部は、埋め込み対象の前記データと共に、前記データとは別のデータを埋め込むことを特徴とする付記1から付記6のうちのいずれか一項に記載のデータ埋め込み装置。
(付記8)
予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
データ埋め込みに用いられる複数の予測パラメータを含む符号帳を記憶する記憶部と、
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を前記符号帳から特定するとともに、前記予測パラメータの候補の数を特定する候補特定部と、
前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出するデータ抽出部と、
抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行う変換部と、
を備え、
前記変換部の変換結果に基づき埋め込まれたデータを抽出することを特徴とするデータ抽出装置。
(付記9)
前記データ抽出部は、複数の前記予測パラメータにそれぞれ埋め込まれた複数の前記候補の数を超えない数を順次抽出し、
前記変換部は、
抽出された前記候補の数を超えない数と、前記候補の数を超えない数に対応する前記候補の数とを前記データ抽出部が抽出した順に基づき複数記憶する記憶部、
前記候補の数を超えない数を、前記順が1つ前の候補の数を超えない数に対応する候補の数の進数に変換する進数変換部、
前記進数変換部により変換された前記順が1つ前の候補の数を超えない数に対応する候補の数の進数に対応する第1のビット列と前記順が1つ前の候補の数を超えない数に対応する第2のビット列とを結合する結合部、
をさらに有し、
前記進数変換部は、前記順が一つ前の前記候補の数を超えない数が存在しない場合に、前記結合部の出力結果を前記順が一つ前の前記候補の数を超えない数が存在しない前記候補の数を超えない数に対応する前記候補の数の進数の逆変換し、埋め込まれた前記データとして抽出することを特徴とする付記8に記載のデータ抽出装置。
(付記10)
前記データ抽出部は、複数の前記予測パラメータにそれぞれ埋め込まれた複数の前記候補の数を超えない数を順次抽出し、
前記変換部は、
抽出された前記候補の数を超えない数と、前記候補の数を超えない数に対応する前記候補の数とを前記データ抽出部が抽出した順に基づき複数記憶する記憶部、
複数の前記候補の数を超えない数に対し、対応する前記候補の数の進数への進数変換の逆変換を行い複数の第1のビット列を出力する進数変換部、
前記進数変換部により出力された複数の前記第1のビット列を前記順に基づき結合して第2のビット列とする結合部、をさらに有し、
前記第2のビット列を埋め込まれた前記データとして抽出することを特徴とする付記8に記載のデータ抽出装置。
(付記11)
前記予測パラメータは、前記他の2つのチャネルの信号の各々についての成分を有しており、
前記予測パラメータの候補は、前記予測パラメータの2つの成分によって定義される平面上において前記予測誤差が所定の閾値を超えない点の集合である直線を決定し、該直線と、該平面上において前記符号帳に格納されている各予測パラメータに対応する各点との位置関係に基づいて、抽出されることを特徴とする付記8から付記10のいずれかに記載のデータ抽出装置。
(付記12)
データ埋め込み装置が、
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出し、
埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換し、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込むことを特徴とするデータ埋め込み方法。
(付記13)
データ抽出装置が、
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を、データ抽出装置自身の有するデータ埋め込みに用いられる複数の予測パラメータを含む符号帳から特定するとともに、前記予測パラメータの候補の数を特定し、
前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出し、
抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより埋め込まれたデータを抽出することを特徴とするデータ抽出方法。
(付記14)
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出し、
埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換し、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込む
処理をコンピュータに実行させるプログラム。
(付記15)
複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を、データ抽出装置自身の有する符号化に用いられる複数の予測パラメータを含む符号帳から特定するとともに、前記予測パラメータの候補の数を特定し、
前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出し、
抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより埋め込まれたデータを抽出する
処理をコンピュータに実行させるプログラム。
1 エンコードシステム
3 デコードシステム
10 エンコーダ装置
11 時間周波数変換部
12 第一ダウンミックス部
13 第二ダウンミックス部
14 ステレオ符号化部
15 予測符号化部
16 多重化部
20 データ埋め込み装置
21、41 符号帳
22 候補抽出部
23 データ埋め込み部
24 埋め込み情報変換部
26 バッファ
27 進数変換部
28 切り出し部
30 デコーダ装置
31 分離部
32 ステレオ復号部
33 第一アップミックス部
34 第二アップミックス部
35 周波数時間変換部
40 データ抽出装置
42 候補特定部
43 データ抽出部
44 抽出情報変換部
45 抽出情報バッファ部
46 進数変換部
47 結合部
50 コンピュータ
51 MPU
52 ROM
53 RAM
54 ハードディスク装置
55 入力装置
56 表示装置
57 インタフェース装置
58 記録媒体駆動装置
59 バスライン
60 可搬型記録媒体

Claims (14)

  1. 複数の予測パラメータを含む符号帳を記憶する記憶部と、
    複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、前記符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出する候補抽出部と、
    埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換する変換部と、
    前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込むデータ埋め込み部と、
    を備えることを特徴とするデータ埋め込み装置。
  2. 前記変換部は、
    埋め込み対象の前記データを前記候補の数による進数に変換する進数変換部、
    前記進数変換部により変換された前記進数における所定の桁から前記候補の数を超えない数を切出す切り出し部
    をさらに有し、
    前記埋め込み部は、前記切り出し部により切り出された前記候補の数を超えない数に応じて前記予測パラメータを選択する処理を繰り返すことを特徴とする請求項1に記載のデータ埋め込み装置。
  3. 前記変換部は、
    埋め込み対象の前記データに対応する第1のビット列から前記候補の数を超えない数に応じた第2のビット列を切出す切り出し部、
    前記第2のビット列を前記候補の数の進数の前記候補の数を超えない数に変換する進数変換部
    をさらに有し、
    前記埋め込み部は、前記候補の数を超えない数に応じて前記予測パラメータを選択する処理を繰り返すことを特徴とする請求項1に記載のデータ埋め込み装置。
  4. 前記予測パラメータは、前記他の2つのチャネルの信号の各々についての成分を有しており、
    前記候補抽出部は、前記予測パラメータの2つの成分によって定義される平面上において前記予測誤差が所定の閾値を超えない点の集合である直線を決定し、該直線と、該平面上において前記符号帳に格納されている各予測パラメータに対応する各点との位置関係に基づいて、前記予測パラメータの候補の抽出を行う、
    ことを特徴とする請求項1から請求項3のいずれかに記載のデータ埋め込み装置。
  5. 前記候補抽出部は、前記平面上において前記予測誤差が所定の閾値を超えない点の集合が直線となるか否かを判定し、該点の集合が直線となると判定した場合に、前記位置関係に基づく前記予測パラメータの候補の抽出を行うことを特徴とする請求項4に記載のデータ埋め込み装置。
  6. 前記平面は、直交座標系の平面であって前記予測パラメータの2つの成分を各座標軸の方向の成分とし、
    前記符号帳に格納されている各予測パラメータは、前記平面上において該候補に対応する各点が、前記平面上において座標軸方向を各辺の方向とする矩形の領域に格子点として配置されるように予め設定されており、
    前記候補抽出部は、前記平面上において前記予測誤差が所定の閾値を超えない点の集合が直線となると判定した場合に、前記平面上の前記矩形において対向している一対の辺の両方に該直線が交わるか否かを判定し、交わると判定した場合には、該一対の辺の各々について辺上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出すると共に、該一対の辺に平行であって前記格子点を通る前記領域内の各線分について、線分上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出する、
    ことを特徴とする請求項4又は請求項5に記載のデータ埋め込み装置。
  7. 前記データ埋め込み部は、埋め込み対象の前記データと共に、前記データとは別のデータを埋め込むことを特徴とする請求項1から請求項6のうちのいずれか一項に記載のデータ埋め込み装置。
  8. 予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
    データ埋め込みに用いられる複数の予測パラメータを含む符号帳を記憶する記憶部と、
    複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を前記符号帳から特定するとともに、前記予測パラメータの候補の数を特定する候補特定部と、
    前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出するデータ抽出部と、
    抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行う変換部と、
    を備え、
    前記変換部の変換結果に基づき埋め込まれたデータを抽出することを特徴とするデータ抽出装置。
  9. 前記データ抽出部は、複数の前記予測パラメータにそれぞれ埋め込まれた複数の前記候補の数を超えない数を順次抽出し、
    前記変換部は、
    抽出された前記候補の数を超えない数と、前記候補の数を超えない数に対応する前記候補の数とを前記データ抽出部が抽出した順に基づき複数記憶する記憶部、
    前記候補の数を超えない数を、前記順が1つ前の候補の数を超えない数に対応する候補の数の進数に変換する進数変換部、
    前記進数変換部により変換された前記順が1つ前の候補の数を超えない数に対応する候補の数の進数に対応する第1のビット列と前記順が1つ前の候補の数を超えない数に対応する第2のビット列とを結合する結合部、
    することを特徴とする請求項8に記載のデータ抽出装置。
  10. 前記データ抽出部は、複数の前記予測パラメータにそれぞれ埋め込まれた複数の前記候補の数を超えない数を順次抽出し、
    前記変換部は、
    抽出された前記候補の数を超えない数と、前記候補の数を超えない数に対応する前記候補の数とを前記データ抽出部が抽出した順に基づき複数記憶する記憶部、
    複数の前記候補の数を超えない数に対し、対応する前記候補の数の進数への進数変換の逆変換を行い複数の第1のビット列を出力する進数変換部、
    前記進数変換部により出力された複数の前記第1のビット列を前記順に基づき結合して第2のビット列とする結合部、をさらに有し、
    前記第2のビット列を埋め込まれた前記データとして抽出することを特徴とする請求項8に記載のデータ抽出装置。
  11. データ埋め込み装置が、
    複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出し、
    埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換し、
    前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換された進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込むことを特徴とするデータ埋め込み方法。
  12. データ抽出装置が、
    複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を、データ抽出装置自身の有するデータ埋め込みに用いられる複数の予測パラメータを含む符号帳から特定するとともに、前記予測パラメータの候補の数を特定し、
    前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出し、
    抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより埋め込まれたデータを抽出することを特徴とするデータ抽出方法。
  13. 複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出し、
    埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換し、
    前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換された進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込む
    処理をコンピュータに実行させるプログラム。
  14. 複数チャネルの信号における1つのチャネルの信号についての他の2つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の2つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を、データ抽出装置自身の有する符号化に用いられる複数の予測パラメータを含む符号帳から特定するとともに、前記予測パラメータの候補の数を特定し、
    前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出し、
    抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより埋め込まれたデータを抽出する
    処理をコンピュータに実行させるプログラム。
JP2013054939A 2013-03-18 2013-03-18 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム Expired - Fee Related JP6146069B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013054939A JP6146069B2 (ja) 2013-03-18 2013-03-18 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
US14/087,121 US9691397B2 (en) 2013-03-18 2013-11-22 Device and method data for embedding data upon a prediction coding of a multi-channel signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013054939A JP6146069B2 (ja) 2013-03-18 2013-03-18 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2014182188A JP2014182188A (ja) 2014-09-29
JP6146069B2 true JP6146069B2 (ja) 2017-06-14

Family

ID=51531848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013054939A Expired - Fee Related JP6146069B2 (ja) 2013-03-18 2013-03-18 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Country Status (2)

Country Link
US (1) US9691397B2 (ja)
JP (1) JP6146069B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6065452B2 (ja) * 2012-08-14 2017-01-25 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
JP6146069B2 (ja) 2013-03-18 2017-06-14 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
US9552163B1 (en) 2015-07-03 2017-01-24 Qualcomm Incorporated Systems and methods for providing non-power-of-two flash cell mapping
US9921909B2 (en) 2015-07-03 2018-03-20 Qualcomm Incorporated Systems and methods for providing error code detection using non-power-of-two flash cell mapping
CN113315976A (zh) * 2021-05-28 2021-08-27 扆亮海 低分辨率视频的三进制高信息量嵌入法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2796408B2 (ja) 1990-06-18 1998-09-10 シャープ株式会社 音声情報圧縮装置
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP3418930B2 (ja) * 1997-08-12 2003-06-23 株式会社エム研 音声データ処理方法、音声データ処理装置及び音声データ処理プログラムを記録した記録媒体
JP2000013800A (ja) 1998-06-18 2000-01-14 Victor Co Of Japan Ltd 画像伝送方法並びに符号化装置及び復号化装置
US6370502B1 (en) 1999-05-27 2002-04-09 America Online, Inc. Method and system for reduction of quantization-induced block-discontinuities and general purpose audio codec
JP3646074B2 (ja) 2001-05-18 2005-05-11 松下電器産業株式会社 情報埋込装置及び情報抽出装置
US20060047522A1 (en) * 2004-08-26 2006-03-02 Nokia Corporation Method, apparatus and computer program to provide predictor adaptation for advanced audio coding (AAC) system
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
JP4919213B2 (ja) 2008-03-06 2012-04-18 Kddi株式会社 電子透かし挿入方式および検出方式
ES2401487T3 (es) 2008-07-11 2013-04-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para la codificación/decodificación de una señal de audio utilizando un esquema de conmutación de generación de señal ajena
EP3300076B1 (en) 2008-07-11 2019-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and audio decoder
JP5608660B2 (ja) * 2008-10-10 2014-10-15 テレフオンアクチーボラゲット エル エム エリクソン(パブル) エネルギ保存型マルチチャネルオーディオ符号化
BR122021023896B1 (pt) 2009-10-08 2023-01-10 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E. V. Decodificador de sinal de áudio multimodal, codificador de sinal de áudio multimodal e métodos usando uma configuração de ruído com base em codificação de previsão linear
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
EP3779977B1 (en) * 2010-04-13 2023-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder for processing stereo audio using a variable prediction direction
JP5533502B2 (ja) * 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP6065452B2 (ja) * 2012-08-14 2017-01-25 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
JP6146069B2 (ja) 2013-03-18 2017-06-14 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Also Published As

Publication number Publication date
US9691397B2 (en) 2017-06-27
US20140278446A1 (en) 2014-09-18
JP2014182188A (ja) 2014-09-29

Similar Documents

Publication Publication Date Title
KR101945309B1 (ko) 위상 정보와 잔여 신호를 이용한 부호화/복호화 장치 및 방법
JP6279569B2 (ja) マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置
KR101505831B1 (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치
JP6288100B2 (ja) オーディオエンコード装置及びオーディオデコード装置
JP6146069B2 (ja) データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
KR101615262B1 (ko) 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
JP2009518659A (ja) マルチチャネルオーディオ信号の符号化/復号化方法及び装置
KR100745688B1 (ko) 다채널 오디오 신호 부호화/복호화 방법 및 장치
JP6065452B2 (ja) データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
WO2009088258A2 (ko) 프레임 타입 식별 방법 및 장치
JP5949270B2 (ja) オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
JP6179122B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
US9837085B2 (en) Audio encoding device and audio coding method
JP6051621B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、及びオーディオ復号装置
CN105336334B (zh) 多声道声音信号编码方法、解码方法及装置
KR101500972B1 (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치
JP6299202B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置
Yang et al. Multi-channel object-based spatial parameter compression approach for 3d audio

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170501

R150 Certificate of patent or registration of utility model

Ref document number: 6146069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees