JP5797780B2 - ウォーターマーク入り信号を適応的に符号化し復号するためのデバイス - Google Patents

ウォーターマーク入り信号を適応的に符号化し復号するためのデバイス Download PDF

Info

Publication number
JP5797780B2
JP5797780B2 JP2013553427A JP2013553427A JP5797780B2 JP 5797780 B2 JP5797780 B2 JP 5797780B2 JP 2013553427 A JP2013553427 A JP 2013553427A JP 2013553427 A JP2013553427 A JP 2013553427A JP 5797780 B2 JP5797780 B2 JP 5797780B2
Authority
JP
Japan
Prior art keywords
signal
determining
low priority
electronic device
watermarked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013553427A
Other languages
English (en)
Other versions
JP2014509409A (ja
Inventor
ビレット、ステファン・ピエール
シンダー、ダニエル・ジェイ.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014509409A publication Critical patent/JP2014509409A/ja
Application granted granted Critical
Publication of JP5797780B2 publication Critical patent/JP5797780B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G10L19/107Sparse pulse excitation, e.g. by using algebraic codebook
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

関連出願
本出願は、「ADAPTIVE WATERMARKING」と題する2011年2月7日に出願された米国仮特許出願第61/440,313号に関し、その優先権を主張する。
本開示は、一般に電子デバイスに関する。より詳細には、本開示は、ウォーターマーク入り信号を適応的に符号化及び復号するためのデバイスに関する。
[0003]最近の数十年で、電子デバイスの使用が一般的になった。特に、電子技術の進歩によって、ますます複雑で有用になる電子デバイスのコストが低減した。コスト低減および消費者需要により、電子デバイスが現代社会において事実上ユビキタスとなるほど電子デバイスの使用が激増した。電子デバイスの使用が拡大するにつれて、電子デバイスの新しい改善された特徴に対する需要も拡大した。より具体的には、より高速に、より効率的に、またはより高品質で機能を実行する電子デバイスがしばしば求められる。
[0004]いくつかの電子デバイス(たとえば、セルラーフォン、スマートフォン、コンピュータなど)はオーディオまたは音声信号を使用する。これらの電子デバイスは、記憶または送信のために音声信号を符号化し得る。たとえば、セルラーフォンは、マイクロフォンを使用してユーザのボイスまたは音声をキャプチャする。たとえば、セルラーフォンは、マイクロフォンを使用して音響信号を電子信号に変換する。この電子信号は、次いで、別のデバイス(たとえば、セルラーフォン、スマートフォン、コンピュータなど)への送信のために、または記憶のためにフォーマットされ得る。
[0005]通信される信号の品質改善または追加能力がしばしば求められる。たとえば、セルラーフォンのユーザは、通信される音声信号の品質向上を望むことがある。しかしながら、品質改善または能力の追加により、帯域幅リソースの拡大および/または新しいネットワークインフラストラクチャがしばしば必要となり得る。この説明からわかるように、効率的な信号通信を許容するシステムおよび方法が有益であり得る。
[0006]ウォーターマーク入り信号を適応的に符号化するように構成された電子デバイスが開示される。電子デバイスは、第1の信号に基づいてウォーターマークデータを決定するモデラ回路を含む。電子デバイスはまた、モデラ回路に結合されたコーダ回路を含む。コーダ回路は、第2の信号の低優先度部分を決定し、第2の信号の低優先度部分にウォーターマークデータを埋め込んで、ウォーターマーク入り第2の信号を生成する。第2の信号の低優先度部分は、第2の信号の別の部分ほど知覚的に重要ではないことがある。第1の信号は高周波数成分信号であってよく、第2の信号は低周波数成分信号であってよい。モデラ回路およびコーダ回路は、オーディオコーデック中に含まれ得る。
[0007]第2の信号の低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づき得る。第2の信号の低優先度部分を決定することは、第2の信号に基づいて1つまたは複数の高優先度コードブックトラックを決定することを含むことができる。第2の信号の低優先度部分を決定することは、高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することをさらに含むことができる。第2の信号の低優先度部分にウォーターマークデータを埋め込むことは、1つまたは複数の低優先度コードブックトラックにウォーターマークデータを埋め込むことを含むことができる。
[0008]1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づき得る。1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づき得る。1つまたは複数の高優先度コードブックトラックは、ピッチを表すために使用され得る。
[0009]また、適応的に符号化されたウォーターマーク入り信号を復号するための電子デバイスが開示される。電子デバイスは、ウォーターマーク入りビットストリームの低優先度部分を決定する部分決定回路を含む。電子デバイスはまた、部分決定回路に結合されたモデラ回路を含む。モデラ回路は、ウォーターマーク入りビットストリームの低優先度部分からウォーターマークデータを抽出し、ウォーターマークデータに基づいて第1の信号を取得する。電子デバイスは、ウォーターマーク入りビットストリームを復号して第2の信号を取得するデコーダ回路をさらに含む。電子デバイスはまた、第1の信号と第2の信号とを合成する合成回路を含むことができる。部分決定回路、モデラ回路およびデコーダ回路は、オーディオコーデック中に含まれ得る。ウォーターマーク入りビットストリームの低優先度部分は、知覚的にさほど重要ではない情報を含むことができる。
[0010]ウォーターマーク入りビットストリームの低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づき得る。ウォーターマーク入りビットストリームの低優先度部分を決定することは、ウォーターマーク入りビットストリームに基づいて1つまたは複数の高優先度コードブックトラックを決定することに基づき得る。低優先度部分は、1つまたは複数の低優先度コードブックトラックを含むことができる。
[0011]1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づき得る。1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づき得る。
[0012]また、電子デバイス上でウォーターマーク入り信号を適応的に符号化するための方法が開示される。本方法は、第1の信号と第2の信号とを取得することを含む。本方法はまた、第2の信号の低優先度部分を決定することを含む。本方法は、第1の信号に基づいてウォーターマークデータを決定することをさらに含む。本方法はさらに、第2の信号の低優先度部分にウォーターマークデータを埋め込んで、ウォーターマーク入り第2の信号を生成することを含む。
[0013]また、電子デバイス上で適応的に符号化されたウォーターマーク入りビットストリームを復号するための方法が開示される。本方法は、信号を受信することを含む。本方法はまた、信号に基づいてウォーターマーク入りビットストリームを抽出することを含む。本方法は、ウォーターマーク入りビットストリームの低優先度部分を決定することをさらに含む。本方法はさらに、ウォーターマーク入りビットストリームの低優先度部分からウォーターマークデータを抽出することを含む。本方法はまた、ウォーターマークデータに基づいて第1の信号を取得することを含む。さらに、本方法は、ウォーターマーク入りビットストリームを復号して、第2の信号を取得することを含む。
[0014]また、ウォーターマーク入り信号を適応的に符号化するためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、命令を有する非一時的有形コンピュータ可読媒体を含む。本命令は、電子デバイスに第1の信号と第2の信号とを取得させるコードを含む。本命令はまた、電子デバイスに第2の信号の低優先度部分を決定させるコードを含む。本命令は、電子デバイスに、第1の信号に基づいてウォーターマークデータを決定させるコードをさらに含む。本命令はさらに、電子デバイスに、第2の信号の低優先度部分にウォーターマークデータを埋め込んで、ウォーターマーク入り第2の信号を生成させるコードを含む。
[0015]また、適応的に符号化されたウォーターマーク入りビットストリームを復号するためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、命令を有する非一時的有形コンピュータ可読媒体を含む。本命令は、電子デバイスに信号を受信させるコードを含む。本命令はまた、電子デバイスに、信号に基づいてウォーターマーク入りビットストリームを抽出させるコードを含む。本命令は、電子デバイスに、ウォーターマーク入りビットストリームの低優先度部分を決定させるコードをさらに含む。本命令はさらに、電子デバイスに、ウォーターマーク入りビットストリームの低優先度部分からウォーターマークデータを抽出させるコードを含む。本命令はまた、電子デバイスに、ウォーターマークデータに基づいて第1の信号を取得させるコードを含む。さらに、本命令は、電子デバイスに、ウォーターマーク入りビットストリームを復号して、第2の信号を取得させるコードを含む。
[0016]また、ウォーターマーク入り信号を適応的に符号化するための装置が開示される。本装置は、第1の信号と第2の信号とを取得する手段を含む。本装置はまた、第2の信号の低優先度部分を決定する手段を含む。本装置は、第1の信号に基づいてウォーターマークデータを決定する手段をさらに含む。本装置はさらに、第2の信号の低優先度部分にウォーターマークデータを埋め込んで、ウォーターマーク入り第2の信号を生成する手段を含む。
[0017]また、適応的に符号化されたウォーターマーク入りビットストリームを復号するための装置が開示される。本装置は、信号を受信する手段を含む。本装置はまた、信号に基づいてウォーターマーク入りビットストリームを抽出する手段を含む。本装置は、ウォーターマーク入りビットストリームの低優先度部分を決定する手段をさらに含む。本装置はさらに、ウォーターマーク入りビットストリームの低優先度部分からウォーターマークデータを抽出する手段を含む。本装置はまた、ウォーターマークデータに基づいて第1の信号を取得する手段を含む。さらに、本装置は、ウォーターマーク入りビットストリームを復号して、第2の信号を取得する手段を含む。
ウォーターマーク入り信号を適応的に符号化及び復号するためのシステムおよび方法が実装され得る電子デバイスの一構成を示すブロック図。 ウォーターマーク入り信号を適応的に符号化するための方法の一構成を示す流れ図。 適応的に符号化されたウォーターマーク入り信号を復号するための方法の一構成を示す流れ図。 ウォーターマーク入り信号を適応的に符号化及び復号するためのシステムおよび方法が実装され得るワイヤレス通信デバイスの一構成を示すブロック図。 本明細書で開示するシステムおよび方法によるウォーターマーキングエンコーダの一例を示すブロック図。 本明細書で開示するシステムおよび方法によるウォーターマーキングデコーダの一例を示すブロック図。 本明細書で開示するシステムおよび方法に従って実装され得るエンコーダおよびデコーダの例を示すブロック図。 ウォーターマーク入り信号を適応的に符号化及び復号するためのシステムおよび方法が実装され得るワイヤレス通信デバイスの一構成を示すブロック図。 電子デバイスにおいて利用され得る様々な構成要素を示す図。 ワイヤレス通信デバイス内に含まれ得るいくつかの構成要素を示す図。
[0028]本明細書で開示するシステムおよび方法は、様々な電子デバイスに適用され得る。電子デバイスの例には、ボイスレコーダ、ビデオカメラ、オーディオプレーヤ(たとえば、Moving Picture Experts Group−1(MPEG−1)またはMPEG−2 Audio Layer 3(MP3)プレーヤ)、ビデオプレーヤ、オーディオレコーダ、デスクトップコンピュータ、ラップトップコンピュータ、携帯情報端末(PDA)、ゲームシステムなどがある。電子デバイスの一種は、別のデバイスと通信し得る通信デバイスである。通信デバイスの例には、電話、ラップトップコンピュータ、デスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスまたはワイヤードモデム、電子リーダー、タブレットデバイス、ゲームシステム、セルラー電話基地局またはノード、アクセスポイント、ワイヤレスゲートウェイおよびワイヤレスルータがある。
[0029]電子デバイスまたは通信デバイスは、国際電気通信連合(ITU)標準および/または米国電気電子技術者協会(IEEE)標準(たとえば、802.11a、802.11b、802.11g、802.11nおよび/または802.11acなどのワイヤレスフィデリティーまたは「Wi−Fi」標準)など、いくつかの業界標準に従って動作し得る。通信デバイスが準拠し得る標準の他の例には、IEEE802.16(たとえば、Worldwide Interoperability for Microwave Accessまたは「WiMAX」)、Third Generation Partnership Project(3GPP)、3GPP Long Term Evolution(LTE)、Global System for Mobile Telecommunications(GSM)(登録商標)などがある(通信デバイスは、たとえば、ユーザ機器(UE)、ノードB、発展型ノードB(eNB)、モバイルデバイス、移動局、加入者局、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある)。本明細書で開示するシステムおよび方法のいくつかは1つまたは複数の標準に関して説明することがあるが、これは、それらのシステムおよび方法が多くのシステムおよび/または標準に適用可能であり得るので、本開示の範囲を限定すべきではない。
[0030]いくつかの通信デバイスは、ワイヤレス通信し得、かつ/またはワイヤード接続もしくはリンクを使用して通信し得ることに留意されたい。たとえば、いくつかの通信デバイスは、イーサネットプロトコルを使用して他のデバイスと通信し得る。本明細書で開示するシステムおよび方法は、ワイヤレス通信し、かつ/またはワイヤード接続もしくはリンクを使用して通信する通信デバイスに適用され得る。一構成では、本明細書で開示するシステムおよび方法は、衛星を使用して別のデバイスと通信する通信デバイスに適用され得る。
[0031]本明細書で使用する「結合する」という用語は、直接接続または間接接続を意味し得る。たとえば、第1の構成要素が第2の構成要素に結合される場合、第1の構成要素は第2の構成要素に直接的に接続されることがあり、または(たとえば、第3の構成要素を介して)第2の構成要素に間接的に接続されることがある。
[0032]本明細書で開示するシステムおよび方法は、適応型ウォーターマーキングについて説明する。たとえば、本明細書で開示するシステムおよび方法は、ACELP(algebraic code excited linear prediction)コーデック用の適応型ウォーターマーキングに使用され得る。
[0033]音声コーデックビットストリームにおけるウォーターマーキングまたはデータ隠し(data hiding)は、ネットワークインフラストラクチャを変更することなく帯域内で追加データを送信することを可能にする。これは、新しいコーデック用の新しいインフラストラクチャを配置する高コストを負担することなく、様々な適用場面(たとえば、認証、データ隠しなど)に使用され得る。本明細書で開示するシステムおよび方法の1つの可能な適用は帯域幅拡張であり、この場合に1つのコーデックのビットストリーム(たとえば、配置されるコーデック)が、高品質帯域幅拡張に関する情報を包含する隠れビットのためのキャリアとして使用される。キャリアビットストリームおよび隠れビットを復号することで、キャリアコーデックの帯域幅よりも大きい帯域幅の合成が可能になる(たとえば、ネットワークインフラストラクチャを変更することなく、帯域幅の拡大が実現され得る)。
[0034]たとえば、標準的狭帯域コーデックが、音声の低帯域部分0〜4キロヘルツ(kHz)を符号化するために使用され得る一方で、高帯域部分4〜7kHzが別個に符号化される。高帯域用のビットは狭帯域音声ビットストリーム内に隠され得る。この場合、レガシー狭帯域ビットストリームを使用しているにもかかわらず、受信機で広帯域が復号され得る。別の例では、標準的広帯域コーデックが、音声の低帯域部分0〜7kHzを符号化するために使用される一方で、高帯域部分7〜14kHzが別個に符号化され、広帯域ビットストリームに隠される。この場合、レガシー広帯域ビットストリームを使用しているにもかかわらず、受信機で超広帯域が復号され得る。
[0035]現在、既知のウォーターマーキング技法は、ACELP(algebraic code excited linear prediction)コーダ(たとえば、適応マルチレート狭帯域、すなわちAMR−NB)の固定コードブック(FCB:fixed codebook)において、1FCBトラック当たり固定数のビットを隠すことによって、ビットを隠すことができる。ビットは、許容されるパルス合成の数を制限することによって隠される。AMR−NBにおいて、1トラック当たり2つのパルスがある場合、1つの手法は、所与のトラックにおける2つのパルス位置の排他的OR(XOR)が、送信するウォーターマークに等しくなるようにパルス位置を制限することを含む。このようにして、1トラック当たり1つまたは2つのビットが送信され得る。
[0036]実際には、これは主要ピッチパルスを著しく変え得るので、著しい歪みを加え得る。低帯域の劣化は高帯域の劣化を招くこともあるので、これはとりわけ、高帯域励振を生成するために低帯域励振が使用される帯域幅拡張アプリケーションに悪影響を及ぼし得る。
[0037]これは、AMR−NBまたは適応マルチレート広帯域(AMR−WB)のようなキャリアコーデックに加えて、拡張可変レート広帯域コーデック(EVRC−WB)非線形拡張高帯域モデルのような、低帯域残差(low-band residual)を拡張する高帯域モデルを使用するときのケースである。
[0038]本明細書で開示するシステムおよび方法では、ウォーターマークは適応的になる。1パルストラック当たり固定数の(たとえば、1つまたは2つの)ビットを埋め込む代わりに、どのトラックが知覚的に最も重要であるかを決定することが試みられ得る。これは、たとえば、エンコーダとデコーダの両方にすでに存在する情報を使用して行われてよく、それにより、どのトラックが知覚的に最も重要であるかを示す情報を追加的または個別的に送信する必要がなくなる。一構成では、最も重要なトラックをウォーターマークから保護するために、長期予測(LTP)寄与(contribution)が使用され得る。たとえば、LTP寄与は、通常、主要ピッチパルスにおいて明白なピークを示し、エンコーダとデコーダの両方においてすでに利用可能であり得る。
[0039]本明細書で開示するシステムおよび方法のいくつかの構成では、AMR−NB12.2が使用され得る。AMR−NBの他のレートは、同様の構成または異なる構成を有し得る。AMR−NB12.2では、40サンプルサブフレームについて、8つの位置を有する5つのトラックがある。一例では、最高絶対値のLTP寄与に対応する2つのトラックが重要であると見なされる(すなわち「高優先度」トラックに指定される)ことがあり、ウォーターマークを入れられない。他の3つのトラックは、さほど重要ではないとみられ(また、たとえば、「低優先度」トラックに指定されるか、「低優先度」トラックと呼ばれることがあり)、ウォーターマークを受信し得る。したがって、残り3つのトラックが、2ビットずつウォーターマークを入れられた場合、5ミリ秒(ms)サブフレームにつきウォーターマークは6ビットとなり、全体で1.2キロビット/秒(kbps)がウォーターマークで搬送され、主要ピッチパルスへの影響が軽減(たとえば、最小化)される。
[0040]本明細書で開示するシステムおよび方法によってもたらされる一改良は、LTP寄与をメモリ制限付きLTP寄与に置き換えることを含み、その理由は、LTP信号がエラーに敏感で、パケット損失およびエラーがいつまでも伝搬し得ることにある。これは、エンコーダおよびデコーダが消去またはビットエラーの後、長期にわたり同期外れとなる事態につながり得る。代わりに、LTPのメモリ制限付きバージョンは、最後のN個のフレームおよび現在のフレームの量子化ピッチ値およびコードブック寄与のみに基づいて構築され得る。利得は1にセットされ得る。たとえば、N=2の場合、パフォーマンスは元のLTP寄与で得られたパフォーマンスに等しいことが観測され、エラーがある状況下でのパフォーマンスは大幅に改善された。元のLTPは低帯域コーディングに使用され得ることに留意されたい。いくつかの構成では、メモリ制限付きLTPは、ウォーターマーキング目的でトラックの優先度を決定するためにのみ使用され得る。
[0041]知覚的にさほど重要ではないところにウォーターマークを隠すことによって、ウォーターマークの音声特性への適応は、よりよい音声品質を可能にし得る。特に、ピッチパルスを保持することは、音声品質に好ましい影響を及ぼすことがある。ACELP用の他の文書化されたウォーターマーキング技法は、この問題を扱っていない。たとえば、本明細書で説明するシステムおよび方法が使用されないとき、同じビットレートにおいてウォーターマークが品質に及ぼす影響はより深刻になり得る。
[0042]いくつかの構成では、本明細書で開示するシステムおよび方法を使用して、狭帯域AMR12.2(12.2は12.2キロビット/秒(kbps)のビットレートを意味し得る)の後方に相互運用可能なバージョンであるコーデックを提供することができる。便宜上、このコーデックを本明細書では「eAMR」と呼ぶことがあるが、コーデックは異なる用語を使用して言及され得る。eAMRは、狭帯域ビットストリーム内に隠された広帯域情報の「薄い(thin)」レイヤをトランスポートする能力を有し得る。これは、ブラインド帯域幅拡張ではなく真の広帯域符号化をもたらすことができる。eAMRは、ウォーターマーキング(たとえば、ステガノグラフィー)技術を利用することができ、帯域外シグナリングを必要としないことがある。使用されるウォーターマークは、(レガシー相互運用に関して)狭帯域品質に無視できるほどの影響を及ぼし得る。ウォーターマークにより、狭帯域品質は、たとえば、AMR12.2と比較してわずかに劣化し得る。いくつかの構成では、エンコーダは(たとえば、リターンチャネルでウォーターマークを検出しないことによって)レガシーリモート(legacy remote)を検出し、ウォーターマークの追加を停止して、レガシーAMR12.2動作に戻ることができる。
[0043]eAMRと適応マルチレート広帯域(AMR−WB)との間の比較を以下に示す。eAMRは、ブラインド帯域幅拡張ではなく真の広帯域品質をもたらすことができる。eAMRは、12.2キロビット/秒(kbps)のビットレートを使用することができる。いくつかの構成では、eAMRは、(たとえば、広帯域音響効果のある)新しいハンドセットを必要とし得る。eAMRは、既存のGSM無線アクセスネットワーク(GRAN)および/またはユニバーサル地上無線アクセスネットワーク(UTRAN)インフラストラクチャに対して透過であり得(したがって、たとえば、ネットワークコストへの影響がない)。eAMRは、コアネットワークにおけるソフトウェアのアップグレードなしで、2Gネットワークと3Gネットワークの両方に配置され得る。eAMRは、広帯域品質のためにネットワークのタンデムフリー/トランスコーダフリーオペレーション(TFO/TrFO)を必要とし得る。eAMRは、TFO/TrFOの変化に自動的に適応することができる。場合によっては、いくつかのTrFOネットワークは固定コードブック(FCB)利得ビットを操作し得ることに留意されたい。ただし、これはeAMR動作に影響を与えることも、与えないこともある。
[0044]eAMRは次のようにAMR−WBと比較され得る。AMR−WBは、真の広帯域品質をもたらし得る。AMR−WBは12.65kbpsのビットレートを使用し得る。AMR−WBは、(たとえば、広帯域音響効果のある)新しいハンドセットとインフラストラクチャの変更とを必要とし得る。AMR−WBは、新しい無線アクセスベアラ(RAB)と関連する配置コストとを必要とし得る。AMR−WBの実装は、レガシー2Gネットワークでは相当な問題であることがあり、全体的な移動交換センター(MSC)の再構築を必要とし得る。AMR−WBは、広帯域品質のためにTFO/TrFOを必要とし得る。TFO/TrFOの変化はAMR−WBにとって潜在的に問題となり得ることに留意されたい。
[0045]AMR12.2ACELP固定コードブックの一例に関するさらなる詳細を以下に示す。コードブック励振は、パルスから作られ、効率的計算を可能にする。エンハンストフルレート(EFR)では、(たとえば、160サンプルを有する)各20ミリ秒(ms)フレームが、40サンプルを有する5msフレーム4つ(4x5 ms frames of 40 samples)に分割される。40サンプルを有する各サブフレームは、5つのインターリーブされたトラックに分割され、1トラック当たり8つの位置を有する。1トラック当たり2つのパルスおよび1つの符号(sign)ビットが使用されてよく、この場合にパルスの順序が2番目の符号を決定する。スタッキングが許容され得る。1サブフレーム当たり(2*3+1)*5=35ビットが使用され得る。ACELP固定コードブックに従って使用され得るトラック、パルス、振幅および位置の一例を表(1)に示す。
Figure 0005797780
[0046]ウォーターマーキング方式の一例は次の通りである。許容されるパルス合成を制限することによって、固定コードブック(FCB)にウォーターマークが追加され得る。AMR12.2FCBにおけるウォーターマーキングは、一構成では次のように達成され得る。各トラックにおいて、(pos0^pos1)&001=1ウォーターマークビット、演算子「^」は排他的論理和すなわち(XOR)演算を指し、「&」は論理AND演算を指し、pos0およびpos1はインデックスを指す。基本的に、2つのインデックスpos0およびpos1の最後のビットのXORは、送信すべき情報の選択されたビットに等しくなるように制限され得る(たとえば、ウォーターマーク)。これにより、1トラック当たり1ビット(たとえば、1サブフレーム当たり5ビット)が20ビット/フレーム=1kbpsをもたらす。あるいは、結果的に2kbpsとなる(pos0^pos1)&011=2ウォーターマークビット。たとえば、インデックスの2つの最下位ビット(LSB)のXORは、送信すべき情報の2ビットになるように制限され得る。ウォーターマーキングは、AMR FCB検索における検索を制限することによって追加され得る。たとえば、検索は、正しいウォーターマークに復号することになるパルス位置で実行され得る。この手法は、複雑度を低くし得る。ただし、この手法では、主要ピッチパルスは著しく影響され得る(たとえば、ウォーターマーキングはパルススタッキングを阻み得る)。
[0047]本明細書で開示するシステムおよび方法によれば、影響が最も大きいトラックが識別されて、ウォーターマークは埋め込まれない。一手法では、2つの重要な(たとえば、「高優先度」)トラックと、3つのさほど重要ではない(たとえば、「低優先度」)トラックとを識別するために、長期予測(LTP)寄与が使用され得る。この手法を使用することで、2*0ビット+3*2ビット=6ビット/(5msサブフレーム)=1.2kbpsが可能になり得る。ただし、この手法は、エンコーダおよびデコーダにおいて同一のLTP寄与を必要とすることがある。ビットエラーレート(BER)またはフレームエラーレート(FER)および間欠送信(DTX)が複数のフレームでミスマッチを引き起こすことがある。より具体的には、BERおよびFERがミスマッチを引き起こすことがある。理論上、エンコーダとデコーダの両方が同時にDTXを認識するので、DTXはミスマッチを引き起こさないはずである。しかしながら、AMR−NB/エンハンストフルレート(EFR)コーデックの1つの特性により、DTXが非常に頻繁に、そのようなミスマッチを引き起こすことがある。
[0048]別の手法では、メモリ制限付きLTPが使用され得る。この手法では、M個の過去のフレームの励振およびピッチラグだけを使用してLTP寄与が再計算され得る。これにより、M個のフレームを超えるエラー伝搬がなくなり得る。一構成では、M=2は、好ましいパルス識別をもたらすことができ、DTXおよびFERで適切に機能する。低帯域からの不良フレーム表示が高帯域に提供されるときに、単一フレーム損失は、高帯域において潜在的に3つのフレームが失われることを暗示し得ることに留意されたい。より具体的には、不良フレーム表示(BFI)は、チャネルデコーダが音声デコーダに提供するフラグであり、フレームを適切に復号することができなかったことを示す。その場合にデコーダは、受信データを無視し、エラー隠蔽を実行することができる。たとえば、単一のフレーム損失により、M+1個のフレームが不正確なメモリ制限付きLTPを有し得る。したがって、BFIがコーデック向けに受信されるたびに、次のM+1個のフレームのデータが無効であり、使用すべきではないことが高帯域デコーダに示され得る。次いでエラー隠蔽が高帯域で実行され得る(たとえば、復号された値を使用するのではなく、過去から適切なパラメータが決定され得る)。
[0049]本明細書では一例として12.2kbpsビットレートが示されているが、開示するシステムおよび方法はeAMRの他のレートに適用され得ることに留意されたい。たとえば、eAMRの1つの動作点は12.2kbpsである。本明細書で開示するシステムおよび方法の一構成では、不十分なチャネルおよび/または不十分なネットワーク状態では、より低いレートが使用され得る(たとえば、より低いレートに切り替えられ得る)。したがって、(たとえば、狭帯域と広帯域との間の)帯域幅切替えは問題となり得る。たとえば、広帯域音声は、eAMRのより低いレートで維持され得る。各レートはウォーターマーキング方式を使用し得る。たとえば、10.2kbpsレートに使用されるウォーターマーキング方式は、12.2kbpsレートに使用される方式と同様のものであってよい。メモリ制限付きLTP方式は他のレートに使用され得る。表(2)は、異なるレートによる1フレーム当たりビット割振りの例を示している。より具体的には、表(2)は、線スペクトル周波数(LSF)、利得形状、利得フレームおよび巡回冗長検査(CRC)のような様々なタイプの情報を通信するために割り振られ得る1フレーム当たりビット数を示している。
Figure 0005797780
[0050]本明細書で開示するシステムおよび方法の一構成は、データを埋め込むためにウォーターマーキング技法を使用する符号励振線形予測(CELP)音声コーダの拡張に使用され得る。音声の広帯域(たとえば、0〜7キロヘルツ(kHz))コーディングは、音声の狭帯域(たとえば、0〜4kHz)コーディングよりも優れた品質をもたらす。しかしながら、既存のモバイル通信ネットワークの大部分は、狭帯域コーディング(たとえば、適応マルチレート狭帯域(AMR−NB))のみをサポートする。広帯域コーダ(たとえば、適応マルチレート広帯域(AMR−WB))を配置することは、インフラストラクチャおよびサービスの配置についてコストのかかる大幅な変更を必要とし得る。
[0051]さらに、次世代サービスは広帯域コーダ(たとえば、AMR−WB)をサポートし得る一方、超広帯域(たとえば、0〜14kHz)コーダが開発され、標準化されつつある。同じく、事業者は最終的に、顧客を超広帯域に移行させるためにさらに別のコーデックを配置するコストに直面し得る。
[0052]本明細書で開示するシステムおよび方法の一構成は、非常に効率的に追加帯域幅を符号化して、既存のネットワークインフラストラクチャによってすでにサポートされているビットストリームにこの情報を隠すことができる高度なモデルを使用することができる。情報隠しは、ビットストリームにウォーターマークを入れることによって実行され得る。この技法の一例は、CELPコーダの固定コードブックにウォーターマークを入れる。たとえば、広帯域入力の上側帯域(たとえば、4〜7kHz)が符号化され、狭帯域コーダのビットストリームでウォーターマークとして搬送され得る。別の例では、超広帯域入力の上側帯域(たとえば、7〜14kHz)が符号化され、広帯域コーダのビットストリームでウォーターマークとして搬送され得る。場合によっては帯域幅拡張に無関係な他の2次ビットストリームも、同様に搬送され得る。この技法により、エンコーダは、既存のインフラストラクチャに適合するビットストリームを生成することができる。レガシーデコーダは、(たとえば、ウォーターマークのない)標準的符号化音声と同程度の品質を有する狭帯域出力を生成することができる一方、ウォーターマークを認識するデコーダは、広帯域音声を生成することができる。
[0053]次に、図を参照しながら様々な構成について説明する。同様の要素名は機能的に同様の要素を示し得る。本明細書で概して説明し、図に示すシステムおよび方法は、多種多様な異なる構成で構成および設計され得る。したがって、図に表されるいくつかの構成についての以下のより詳細な説明は、特許請求する範囲を限定するものではなく、システムおよび方法を代表するものにすぎない。
[0054]図1は、ウォーターマーク入り信号を適応的に符号化し復号するためのシステムおよび方法が実装され得る電子デバイス102、134の一構成を示すブロック図である。電子デバイスA102および電子デバイスB134の例には、ワイヤレス通信デバイス(たとえば、セルラーフォン、スマートフォン、携帯情報端末(PDA)、ラップトップコンピュータ、電子リーダーなど)および他のデバイスがあり得る。
[0055]電子デバイスA102は、エンコーダブロック/モジュール110および/または通信インターフェース124を含むことができる。エンコーダブロック/モジュール110は、信号を符号化し、信号にウォーターマークを入れるために使用され得る。通信インターフェース124は、別のデバイス(たとえば、電子デバイスB134)に1つまたは複数の信号を送信することができる。
[0056]電子デバイスA102は、オーディオ信号または音声信号のような1つまたは複数の信号A104を取得することができる。たとえば、電子デバイスA102は、マイクロフォンを使用して信号A104をキャプチャすることができ、または別のデバイス(たとえば、Bluetooth(登録商標)ヘッドセット)から信号A104を受信することができる。いくつかの構成では、信号A104は、異なる成分信号(たとえば、高周波数成分信号および低周波数成分信号、モノラル信号およびステレオ信号など)に分割され得る。他の構成では、無関係な信号A104が取得され得る。(1つまたは複数の)信号A104は、エンコーダ110内のモデラ回路112およびコーダ回路118に提供され得る。たとえば、第1の信号106(たとえば、信号成分)がモデラ回路112に提供され得る一方、第2の信号108(たとえば、別の信号成分)はコーダ回路118に提供され得る。
[0057]電子デバイスA102に含まれる要素のうちの1つまたは複数は、ハードウェア、ソフトウェア、またはその両方の組合せで実装され得ることに留意されたい。たとえば、本明細書で使用する「回路」という用語は、処理ブロックおよび/またはメモリセルを含む1つまたは複数の回路構成要素(たとえば、トランジスタ、抵抗器、レジスタ、インダクタ、キャパシタなど)を使用して1つの要素が実装され得ることを示し得る。したがって、電子デバイスA102に含まれる要素のうちの1つまたは複数は、1つまたは複数の集積回路、特定用途向け集積回路(ASIC)などとして、かつ/またはプロセッサと命令とを使用して実装され得る。「ブロック/モジュール」という用語は、1つの要素がハードウェア、ソフトウェアまたは両方の組合せで実装され得ることを示すために使用され得ることにも留意されたい。
[0058]コーダ回路118は、第2の信号108に対してコーディングを実行することができる。たとえば、コーダ回路118は、第2の信号108に対して適応マルチレート(AMR)コーディングを実行することができる。たとえば、コーダ回路118は、ウォーターマークデータ116が埋め込まれ得るコード化ビットストリームを生成することができる。モデラ回路112は、第1の信号106に基づいて、第2の信号108(たとえば、「キャリア」信号)に埋め込まれ得るウォーターマークデータ116(たとえば、パラメータ、ビットなど)を決定し得る。たとえば、モデラ回路112は第1の信号106を、コード化ビットストリームに埋め込まれ得るウォーターマークデータ116に個別に符号化し得る。さらに別の例では、モデラ回路112は、コーダ回路118に対しウォーターマークデータ116として(変更なしに)第1の信号106からのビットを提供し得る。別の例では、モデラ回路112は、コーダ回路118に対しウォーターマークデータ116としてパラメータ(たとえば、高帯域ビット)を提供し得る。ウォーターマーク信号が埋め込まれたコード化第2の信号108は、ウォーターマーク入り第2の信号122と呼ばれ得る。
[0059]コーダ回路118は、第2の信号108をコーディングし得る(たとえば、符号化する)。いくつかの構成では、このコーディングは、モデラ回路112に提供され得るデータ114を生成し得る。一構成では、モデラ回路112はEVRC−WBモデルを使用して、コーダ回路118によって符号化され得る(第2の信号108からの)低周波数成分に依存する(第1の信号106からの)高周波数成分をモデル化することができる。したがって、モデラ回路112に対し、高周波数成分をモデル化する際に使用するデータ114が提供され得る。次いで、得られる高周波数成分ウォーターマークデータ116を、コーダ回路118は第2の信号108に埋め込み、それにより、ウォーターマーク入り第2の信号122を生成することができる。
[0060]コーダ回路118は、適応型ウォーターマーキングブロック/モジュール120を含み得る。適応型ウォーターマーキングブロック/モジュール120は、第2の信号108の低優先度部分を決定し、第2の信号108の低優先度部分にウォーターマークデータ116を埋め込むことができる。コーダ回路118の一例は、代数符号励振線形予測(ACELP)コーダである。この例では、コーダ回路118は、第2の信号108を符号化するためにコードブック(たとえば、固定コードブック(FCB))を使用することができる。コードブックは、符号化プロセスにおいて複数のトラックを使用することができる。たとえば、AMR−NBコーディングは、40サンプルサブフレームにつき5つのトラックの8つの位置を使用する。適応型ウォーターマーキングブロック/モジュール120は第2の信号108を使用して、1つまたは複数の高優先度トラックを決定することができる。たとえば、高優先度トラックは、ピッチパルスが表されるトラックであり得る。一構成では、適応型ウォーターマーキングブロック/モジュール120はこの決定を、長期予測(LTP)フィルタ(またはピッチフィルタ)寄与に基づいて行うことができる。たとえば、適応型ウォーターマーキングブロック/モジュール120は、LTPフィルタ出力を調べて、指定された数のトラックについて最大LTP寄与を決定することができる。たとえば、トラックごとに最大値(largest maximum)を取り、LTPフィルタ出力における最大エネルギーを発見することができる。一構成では、最大LTP寄与を有する2つのトラックが「高優先度トラック」または重要なトラックに指定され得る。1つまたは複数の残りのトラックは「低優先度トラック」またはさほど重要ではないトラックに指定され得る。
[0061]すべてのトラックが音声品質に対して同じ影響力を有するとは限らないので、この手法が使用され得る。たとえば、音声コーディングにおいて、主要ピッチパルスを適切に表すことが重要であり得る。したがって、サブフレーム内にピッチパルスがある場合、本明細書で開示するシステムおよび方法は、それが良好に表されるように保証し得る。これは、ノイズを加えるのと同様に、ウォーターマーキングはシステムに余分の制約を課すことがあるためである。言い換えれば、ピッチパルスが表されている位置(たとえば、トラック)にノイズが加えられた場合、品質が劣化することがある。したがって、本明細書で開示するシステムおよび方法は、ピッチパルスロケーションがどこになるかを、ピッチパラメータの履歴に基づいて決定することを試みることができる。これは、ピッチ位置がどこになるかを推定することによって行われる。その場合、それらの対応するトラックにはウォーターマークデータ116が埋め込まれなくてよい。一方、他の「低優先度」トラックには、より多くのウォーターマークデータ116が配置され得る。
[0062]高優先度トラックおよび低優先度トラックが決定または推定されると、コーダ回路118は、モデラ回路112からのウォーターマークデータ116を(1つまたは複数の)低優先度トラックに埋め込むことができる。このようにして、たとえば、コーダ回路118は、ピッチを表すために使用されるトラックにウォーターマークデータを埋め込むことを回避し得る。得られる信号(たとえば、ウォーターマークデータが埋め込まれた「キャリア」信号)は、ウォーターマーク入り第2の信号122(たとえば、ビットストリーム)と呼ばれ得る。
[0063]ウォーターマーキングプロセスは符号化第2の信号108のビットのうちの一部を変え得ることに留意されたい。たとえば、第2の信号108は、「キャリア」信号またはビットストリームと呼ばれ得る。ウォーターマーキングプロセスでは、第1の信号106から導出されたウォーターマークデータ116を第2の信号108に埋め込むか挿入して、ウォーターマーク入り第2の信号122を生成するために、符号化第2の信号108を構成するビットのうちの一部を変え得る。場合によっては、これは符号化第2の信号108の劣化の原因になり得る。しかしながら、この手法は有利であることがあり、その理由は、ウォーターマーク入り情報を抽出するように設計されていないデコーダが依然として、第1の信号106によって提供される追加情報のない第2の信号108のバージョンを回復し得ることにある。したがって、「レガシー」デバイスおよびインフラストラクチャは依然として、ウォーターマーキングにかかわらず機能することができる。さらに、この手法により、(ウォーターマーク入り情報を抽出するように設計された)他のデコーダを使用して、第1の信号106によって提供される追加のウォーターマーク情報を抽出することができる。
[0064]ウォーターマーク入り第2の信号122(たとえば、ビットストリーム)は通信インターフェース124に提供され得る。通信インターフェース124の例には、トランシーバ、ネットワークカード、ワイヤレスモデムなどがあり得る。通信インターフェース124は、ネットワーク128を介して電子デバイスB134のような別のデバイスにウォーターマーク入り第2の信号122を通信(たとえば、送信)するために使用され得る。たとえば、通信インターフェース124は、ワイヤード技術および/またはワイヤレス技術に基づき得る。通信インターフェース124によって実行されるいくつかの動作は、変調、フォーマッティング(たとえば、パケット化、インターリービング、スクランブリングなど)、アップコンバージョン、増幅などを含み得る。したがって、電子デバイスA102は、ウォーターマーク入り第2の信号122を備える信号126を送信することができる。
[0065](ウォーターマーク入り第2の信号122を含む)信号126は、1つまたは複数のネットワークデバイス130に送られ得る。たとえば、ネットワーク128は、デバイス間で(たとえば、電子デバイスA102と電子デバイスB134との間で)信号を通信するための1つまたは複数のネットワークデバイス130および/または伝送媒体を含むことができる。図1に示す構成では、ネットワーク128は、1つまたは複数のネットワークデバイス130を含む。ネットワークデバイス130の例には、基地局、ルータ、サーバ、ブリッジ、ゲートウェイなどがある。
[0066]場合によっては、1つまたは複数のネットワークデバイス130は、(ウォーターマーク入り第2の信号122を含む)信号126をトランスコードすることができる。トランスコーディングは、送信信号126を復号することと、それを(たとえば、別のフォーマットに)再符号化することとを含み得る。場合によっては、信号126をトランスコードすることは、信号126に埋め込まれたウォーターマーク情報を破壊することがある。そのような場合、電子デバイスB134は、もはやウォーターマーク情報を包含していない信号を受信し得る。他のネットワークデバイス130は、トランスコーディングを使用しないことがある。たとえば、信号をトランスコードしないデバイスをネットワーク128が使用する場合、ネットワーク128は、タンデムフリー/トランスコーダフリーオペレーション(TFO/TrFO)を行い得る。この場合、ウォーターマーク入り第2の信号122に埋め込まれたウォーターマーク情報は、別のデバイス(たとえば、電子デバイスB134)に送られるときに保持された状態であり得る。
[0067]電子デバイスB134は、保持されたウォーターマーク情報を有する信号132またはウォーターマーク情報のない信号132のような信号132を(ネットワーク128を介して)受信することができる。たとえば、電子デバイスB134は、通信インターフェース136を使用して信号132を受信することができる。通信インターフェース136の例には、トランシーバ、ネットワークカード、ワイヤレスモデムなどがあり得る。通信インターフェース136は、信号132に対してダウンコンバージョン、同期化、デフォーマッティング(たとえば、パケット化解除(de-packetizing)、アンスクランブリング、デインターリービングなど)および/またはチャネル復号などの動作を行って、受信ビットストリーム138を抽出することができる。(ウォーターマーク入りビットストリームであることも、ウォーターマーク入りビットストリームでないこともある)受信ビットストリーム138は、デコーダブロック/モジュール140に提供され得る。たとえば、受信ビットストリーム138は、モデラ回路142およびデコーダ回路150に対し提供され得る。
[0068]デコーダブロック/モジュール140は、モデラ回路142、部分決定回路152および/またはデコーダ回路150を含むことができる。デコーダブロック/モジュール140は、オプションで合成回路146を含むことができる。部分決定回路152は、ウォーターマークデータが埋め込まれ得る受信ビットストリーム138の(低優先度)部分を示す部分情報144を決定することができる。たとえば、デコーダ回路150は、受信ビットストリーム138内のウォーターマークデータのロケーションを決定するために部分決定回路152が使用し得る情報148を提供することができる。一構成では、デコーダ回路150は、ウォーターマークデータが埋め込まれ得る1つまたは複数のトラックを部分決定回路152が決定または推定することを可能にし得る、長期予測(LTP)フィルタまたはピッチフィルタからの情報148を提供する。この決定は、エンコーダ110によって実行される低優先度トラック決定と同様に行われ得る。たとえば、部分決定回路152は、最大LTP寄与を有するトラックを決定することができる。複数の(たとえば、2つの)トラックが高優先度トラックとして決定され(たとえば、指定され)得る一方、他のトラックは低優先度トラックとして決定され(たとえば、指定され)得る。一構成では、低優先度トラックの指示が部分情報144としてモデラ回路142に提供され得る。
[0069]部分情報144はモデラ回路142に提供され得る。ウォーターマーク入り情報が受信ビットストリーム138に埋め込まれている場合、モデラ回路142は部分情報144(たとえば、低優先度トラック指示)を使用して、受信ビットストリーム138からウォーターマークデータを抽出、モデル化および/または復号することができる。たとえば、モデラ回路142は、受信ビットストリーム138からウォーターマークデータを抽出、モデル化および/または復号して、復号第1の信号154を生成することができる。
[0070]デコーダ回路150は、受信ビットストリーム138を復号することができる。いくつかの構成では、デコーダ回路150は、受信ビットストリーム138に含まれ得るウォーターマーク情報にかかわらず受信ビットストリーム138を復号する「レガシー」デコーダ(たとえば、標準的狭帯域デコーダ)または復号手順を使用することができる。デコーダ回路150は、復号第2の信号158を生成することができる。したがって、たとえば、ウォーターマーク情報が受信ビットストリーム138に含まれていない場合、デコーダ回路150は依然として、復号第2の信号158である第2の信号108のバージョンを取り出す(recover)ことができる。
[0071]いくつかの構成では、モデラ回路142によって実行される動作は、デコーダ回路150によって実行される動作に依存し得る。たとえば、高周波数帯域に使用されるモデル(たとえば、EVRC−WB)は、復号狭帯域信号(たとえば、AMR−NBを使用して復号された復号第2の信号158)に依存し得る。この場合、復号第2の信号158はモデラ回路142に提供され得る。
[0072]いくつかの構成では復号第2の信号158が合成回路146によって復号第1の信号154と合成されて、合成信号156が生成され得る。他の構成では、受信ビットストリーム138からのウォーターマークデータおよび受信ビットストリーム138が別個に復号されて、復号第1の信号154および復号第2の信号158が生成され得る。したがって、1つまたは複数の信号B160は、復号第1の信号154および別個の復号第2の信号158を含むことができ、かつ/または合成信号156を含むことができる。復号第1の信号154は、電子デバイスA102によって符号化された第1の信号106の復号バージョンであり得ることに留意されたい。追加または代替として、復号第2の信号158は、電子デバイスA102によって符号化された第2の信号108の復号バージョンであり得る。
[0073]ウォーターマーク情報が受信信号132に埋め込まれていない場合、デコーダ回路150は、(たとえば、レガシーモードで)受信ビットストリーム138を復号して、復号第2の信号158を生成することができる。これは、第1の信号106によって提供される追加情報なしに復号第2の信号158を提供し得る。これはたとえば、(たとえば、第1の信号106からの)ウォーターマーク情報がネットワーク128におけるトランスコーディング動作で破壊されている場合に生じ得る。
[0074]いくつかの構成では、電子デバイスB134は、受信ビットストリーム138に埋め込まれたウォーターマークデータを復号することが不可能なことがある。たとえば、いくつかの構成では、電子デバイスB134には、埋め込まれたウォーターマークデータを抽出するためのモデラ回路142が含まれないことがある。そのような場合、電子デバイスB134は、単に受信ビットストリーム138を復号して、復号第2の信号158を生成し得る。
[0075]電子デバイスB134に含まれる要素のうちの1つまたは複数は、ハードウェア(たとえば、回路)、ソフトウェアまたはその両方の組合せで実装され得ることに留意されたい。たとえば、電子デバイスB134に含まれる要素のうちの1つまたは複数は、1つまたは複数の集積回路、特定用途向け集積回路(ASIC)などとして、かつ/またはプロセッサと命令とを使用して実装され得る。
[0076]いくつかの構成では、電子デバイス(たとえば、電子デバイスA102、電子デバイスB134など)は、適応的に符号化し、適応的に符号化されたウォーターマーク入り信号を復号するためのエンコーダとデコーダの両方を含むことができる。たとえば、電子デバイスA102は、エンコーダ110と、電子デバイスB134に含まれるデコーダ140と同様のデコーダの両方を含むことができる。いくつかの構成では、エンコーダ110と、電子デバイスB134に含まれるデコーダ140と同様のデコーダの両方は、コーデックに含まれ得る。したがって、単一の電子デバイスは、適応的に符号化されたウォーターマーク入り信号を生成するようにも、適応的に符号化されたウォーターマーク入り信号を復号するようにも構成され得る。
[0077]いくつかの構成では、かつ/または場合によっては、ウォーターマーク入り第2の信号122は必ずしも別の電子デバイスに送信されるとは限らないことに留意されたい。たとえば、電子デバイスA102は、代わりに、後のアクセス(たとえば、復号、再生など)のためにウォーターマーク入り第2の信号122を記憶することができる。
[0078]図2は、ウォーターマーク入り信号を適応的に符号化するための方法200の一構成を示す流れ図である。電子デバイス102(たとえば、ワイヤレス通信デバイス)は、第1の信号106と第2の信号108とを取得し得る(202)。たとえば、電子デバイス102は1つまたは複数の信号104をキャプチャまたは受信する。一構成では、電子デバイス102は、オプションで、信号104を第1の信号106および第2の信号108に分割し得る。これは、たとえば、音声信号の高周波数成分および低周波数成分がウォーターマーク入り信号として符号化されるときに、分解フィルタバンクを使用して行われ得る。そのような場合、低成分(たとえば、第2の信号108)は従来の方法で符号化され、高成分(たとえば、第1の信号106)は従来の方法で符号化された信号にウォーターマークとして埋め込まれ得る。他の構成では、電子デバイス102は、単に、「キャリア」信号(たとえば、第2の信号108)内に埋め込むべき、別個の信号または情報の部分を持ち得る。たとえば、電子デバイス102が第1の信号106と第2の信号108とを取得し(202)、この場合に第1の信号106がウォーターマークデータ116として第2の信号108に埋め込まれ得る。
[0079]電子デバイス102は、第2の信号108の低優先度部分を決定し得る(204)。たとえば、電子デバイス102は、第2の信号108の別の部分ほど知覚的に重要ではない第2の信号108の低優先度部分を決定し得る。第2の信号108の低優先度部分または知覚的にさほど重要ではない部分は、たとえば、ピッチ情報を表すために使用されることのない部分であり得る。
[0080]一構成では、電子デバイス102は、第2の信号108の高優先度部分を決定し得る。これは、第2の信号108の低優先度部分を決定する(204)ために行われ得る。第2の信号108の高優先度部分は、ピッチ情報を表すために使用される部分であり得る。
[0081]一手法では、第2の信号108の高優先度部分は、他のコードブックトラックよりも大きい長期予測(LTP)寄与を有する1つまたは複数のコードブックトラックによって示され得る。電子デバイス102は、線形予測符号化(LPC)と長期予測(LTP)動作(たとえば、ピッチフィルタリング)とを第2の信号108に対して実行して、コードブックトラックの各々についてLTP寄与を取得し得る。電子デバイス102は、より大きいLTP寄与または最大LTP寄与を有する1つまたは複数のトラックを決定し得る。たとえば、電子デバイス102は、複数の(たとえば、5つの)トラックから、1つまたは複数の(たとえば、2つの)トラックを、残りの(たとえば、3つの)トラックよりも大きいLTP寄与を有する高優先度トラックに指定することができる。当該残りのトラック(たとえば、3つのトラック)のうちの1つまたは複数は「低優先度」(たとえば、さほど重要ではない)トラックに指定され得る。より大きいLTP寄与は、高優先度トラックにピッチパルスが表されていることを示し得る。
[0082]一構成では、第2の信号108の低優先度部分を決定する(204)ことは、現在の信号および/または過去の信号(たとえば、現在のフレームおよび/または過去のフレーム)に基づき得る。たとえば、電子デバイス102は、第2の信号108の現在のフレームおよび第2の信号108の1つまたは複数の過去のフレームに基づいて、第2の信号108の低優先度部分を決定する(204)ことができる。たとえば、LTP動作は、現在のフレームと1つまたは複数の過去のフレームとを使用して実行され得る。
[0083]いくつかの構成では、1つまたは複数の高優先度コードブックトラックを決定するために、メモリ制限付きLTP寄与が使用され得る。言い換えれば、LTP寄与は、メモリ制限付きLTP寄与に置き換えられ得る。LTPのメモリ制限付きバージョンは、最後のN個のフレームおよび現在のフレームの量子化ピッチ値およびコードブック寄与のみに基づいて構築され得る。利得は1にセットされ得る。たとえば、N=2の場合、エラーがある状況下でのエンコーダのパフォーマンスは大幅に改善され得る。実際のまたは通常のLTP信号はチャネルエラーに非常に敏感であり得るので(無限のエラー伝搬時間を有するので)、メモリ制限付きLTP寄与が使用され得る。このようにして、修正されたまたはメモリ制限付きLPCが、一定数のフレームの後にメモリをゼロにすることによって使用され得る。
[0084]電子デバイス102は、第1の信号106に基づいてウォーターマークデータ116を決定し得る(206)。一例では、第1の信号106からの1つまたは複数の変更されていないビットを、ウォーターマークデータ116として指定し得る(たとえば、決定する(206))。別の例では、電子デバイス102は、ウォーターマークデータ116(たとえば、ビット)を生成するために第1の信号106を符号化またはモデル化することができる。たとえば、ウォーターマークデータ116を生成するために、第1の信号106が符号化され得る。一般に、ウォーターマークデータ116は、第2の信号108(たとえば、符号化第2の信号108)に埋め込まれる情報または信号であり得る。いくつかの構成では、ウォーターマークデータ116は、コーダ回路118からのデータ114に基づいて決定され得る。これは、たとえば、第1の信号106が、コード化低周波数成分(たとえば、第2の信号108に基づいて決定されたデータ114)に基づいてモデル化される高周波数成分を備えるときのケースであり得る。
[0085]電子デバイス102は、第2の信号108の低優先度部分にウォーターマークデータ116を埋め込む(208)ことで、ウォーターマーク入り第2の信号122を生成し得る。たとえば、電子デバイス102は、低優先度コードブックトラックである(第2の信号108を符号化するために使用される)1つまたは複数のコードブックトラックにウォーターマークデータ116を埋め込む(208)。たとえば、低優先度トラックにおいて許容されるパルス合成の数を制限することによって、ウォーターマークビットが埋め込まれる。たとえば、AMR−NBにおいて、1トラック当たり2つのパルスがある場合、低優先度トラックにおける2つのパルス位置の排他的OR(XOR)が送信するウォーターマークに等しくなるようにパルス位置が制限される。
[0086]いくつかの構成では、高優先度トラックおよび/または低優先度トラックの決定に基づいて、ウォーターマークのサイズが変わることもある。たとえば、ウォーターマークは、低優先度トラックでは、高優先度トラックの数およびトラックのウォーターマーキング容量によって大きくなる。たとえば、1つのトラックが2ビットのウォーターマーキング容量を有し、3つの低優先度トラックが利用可能である場合、6ウォーターマークビットが低優先度トラック全体に均等に分散される。一方、4つの低優先度トラックが利用可能である場合、より大きい数のウォーターマークビットが、最低優先度トラックに埋め込まれ得る。たとえば、LTP寄与が最低である2つの低優先度トラックの各々に2ウォーターマーキングビットを埋め込むことができる一方、他の2つの低優先度トラックに1ビットずつ埋め込むことができる。追加または代替として、ウォーターマークを入れることが許容されるビットの数は、利用可能な低優先度トラックの数およびそれらのウォーターマーキング容量に左右され得る。様々なウォーターマーキングサイズを抽出するために、デコーダに対して同様の方式が使用され得る。
[0087]電子デバイス102は、ウォーターマーク入り第2の信号122に基づく信号を送る(210)ことができる。たとえば、電子デバイス102は、ネットワーク128を介して別のデバイス134に、ウォーターマーク入り第2の信号122を備える信号を送信する。
[0088]図3は、適応的に符号化されたウォーターマーク入り信号を復号するための方法300の一構成を示す流れ図である。電子デバイス134は、信号132を受信し得る(302)。信号132は、たとえば、ウォーターマーク入り第2の信号122を備える。いくつかの構成では、電子デバイス134は、ワイヤレス接続および/またはワイヤード接続を使用して電磁信号を受信する(302)ことができる。
[0089]電子デバイス134は、信号132に基づいてウォーターマーク入りビットストリーム(たとえば、受信ビットストリーム138)を抽出する(304)ことができる。たとえば、電子デバイス134は、ウォーターマーク入りビットストリーム(たとえば、受信ビットストリーム138)を取得するために、信号132をダウンコンバート、復調、増幅、同期、デフォーマット、および/またはチャネル復号する。
[0090]電子デバイス134は、ウォーターマーク入りビットストリームの低優先度部分を決定する(306)ことができる。たとえば、低優先度部分は、ウォーターマーク入りビットストリームの別の部分ほど知覚的に重要ではない情報を含むウォーターマーク入りビットストリームの部分である。たとえば、低優先度部分は、ピッチを表す情報を含まない。この決定306は、現在のフレームおよび/または過去のフレームに基づき得る。一構成では、この低優先度部分は、高優先度コードブックトラックを含まない。たとえば、電子デバイス134は、ウォーターマーク入りビットストリームに基づいて1つまたは複数の高優先度コードブックトラックを決定する。低優先度部分を決定する(306)ことは、ウォーターマーク入りビットストリームに基づいて1つまたは複数の高優先度コードブックトラックを決定することに基づき得る。たとえば、高優先度コードブックトラックではない1つまたは複数のコードブックトラックとして、低優先度部分を決定する(306)こと、または指定することができる。一構成では、電子デバイス134はLTPまたはピッチフィルタ出力を取得することができる。電子デバイス134はLTPまたはピッチフィルタ出力を調べて、より大きいLTP寄与または最大LTP寄与を有する1つまたは複数のコードブックトラックを決定し得る。一構成では、電子デバイス134は、最大LTP寄与を有する2つのトラックを高優先度コードブックトラックであると決定し得る一方、残りの(たとえば、3つの)コードブックトラックは、低優先度コードブックトラックであると見なされ得る。
[0091]いくつかの構成では、1つまたは複数の高優先度コードブックトラックを決定するために、メモリ制限付きLTP寄与が使用され得る。言い換えれば、LTP寄与ではなくメモリ制限付きLTP寄与が代替的に使用され得る。LTPのメモリ制限付きバージョンは、最後のN個のフレームおよび現在のフレームの量子化ピッチ値およびコードブック寄与のみに基づいて構築され得る。利得は1にセットされ得る。たとえば、N=2の場合、エラーがある状況下でのパフォーマンスは大幅に改善され得る。実際のまたは通常のLTP信号はチャネルエラーに非常に敏感であり得るので(無限のエラー伝搬時間を有するので)、メモリ制限付きLTP寄与が代替的に使用され得る。このようにして、修正されたまたはメモリ制限付きLPCが、一定数のフレームの後でメモリをゼロにすることによって使用され得る。ウォーターマーク入りビットストリームの低優先度部分を決定する(306)ことは、いくつかの構成では、図2に関連して説明したような、第2の信号の低優先度部分を決定する(204)ことと同様に実現され得ることに留意されたい。
[0092]電子デバイス134は、ウォーターマーク入りビットストリーム(たとえば、受信ビットストリーム138)の低優先度部分からウォーターマークデータを抽出する(308)ことができる。一構成では、電子デバイス134は、1つまたは複数の高優先度コードブックトラックに基づいて、ウォーターマーク入りビットストリームからウォーターマークデータを抽出する(308)ことができる。たとえば、電子デバイス134は、高優先度コードブックトラックではない(しかし、たとえば、低優先度コードブックトラックである)コードブックトラックからのみウォーターマークデータを抽出することができる。
[0093]電子デバイス134は、ウォーターマークデータに基づいて第1の信号(たとえば、復号第1の信号154)を取得する(310)ことができる。一構成では、たとえば、電子デバイス134は、EVRC−WBモデルを使用してウォーターマークデータをモデル化して、第1の信号(たとえば、高帯域データ)を取得することができる。追加または代替として、電子デバイス134はウォーターマークデータを復号することによって第1の信号を取得する(310)ことができる。あるいは、第1の信号はウォーターマークデータを備えることができる。いくつかの構成では、電子デバイス134は、第2の信号(たとえば、復号第2の信号158)に基づいて第1の信号を取得する(310)ことができる。たとえば、高周波数帯域に使用されるモデル(たとえば、EVRC−WB)は、(たとえば、AMR−NBを使用して復号された)復号第2の信号158に依存し得る。この場合、電子デバイス134は、復号第2の信号158を使用してウォーターマークデータをモデル化または復号して、第1の信号(たとえば、復号第1の信号154)を取得する(310)ことができる。
[0094]電子デバイス134は、ウォーターマーク入りビットストリームを復号する(312)ことで、第2の信号(たとえば、復号第2の信号158)を取得することができる。たとえば、電子デバイス134はデコーダ(たとえば、デコーダ回路150)を使用して、ウォーターマーク入りビットストリームを復号する(312)ことで、第2の信号を取得することができる。一構成では、電子デバイス134は従来型(たとえば、「レガシー」)AMR−NBデコーダを使用して、第2の信号(たとえば、狭帯域データ)を取得することができる。上記のように、いくつかの構成では、第2の信号(たとえば、復号第2の信号158)を使用して、第1の信号(たとえば、復号第1の信号154)を取得する(310)ことができる。
[0095]いくつかの構成では、電子デバイス134は、オプションで、第1の信号(たとえば、復号第1の信号154)と第2の信号(たとえば、復号第2の信号158)とを合成する(314)ことで、合成信号156を取得することができる。たとえば、電子デバイス134は、統合フィルタバンクを使用して、高帯域データを備える第1の信号と低帯域データまたは狭帯域データを備える第2の信号とを合成することができる。他の構成では、電子デバイス134は、第1の信号と第2の信号とを合成しないことがある。
[0096]図4は、ウォーターマーク入り信号を適応的に符号化し復号するためのシステムおよび方法が実装され得るワイヤレス通信デバイス402、434の一構成を示すブロック図である。ワイヤレス通信デバイスA402およびワイヤレス通信デバイスB434の例には、セルラーフォン、スマートフォン、携帯情報端末(PDA)、ラップトップコンピュータ、電子リーダーなどがあり得る。
[0097]ワイヤレス通信デバイスA402は、マイクロフォン462と、オーディオエンコーダ410と、チャネルエンコーダ466と、変調器468と、送信機472と、1つまたは複数のアンテナ474a〜nとを含み得る。オーディオエンコーダ410は、オーディオを符号化し、オーディオにウォーターマークを入れるために使用され得る。チャネルエンコーダ466、変調器468、送信機472、1つまたは複数のアンテナ474a〜nは、1つまたは複数の信号を準備して別のデバイス(たとえば、ワイヤレス通信デバイスB434)に送信するために使用され得る。
[0098]ワイヤレス通信デバイスA402はオーディオ信号404を取得し得る。たとえば、ワイヤレス通信デバイスA402は、マイクロフォン462を使用してオーディオ信号404(たとえば、音声)をキャプチャすることができる。マイクロフォン462は、音響信号(たとえば、サウンド、音声など)を電気オーディオ信号または電子オーディオ信号404に変換することができる。オーディオ信号404はオーディオエンコーダ410に提供されてよく、オーディオエンコーダ410は、分解フィルタバンク464と、高帯域モデル化ブロック/モジュール412と、ウォーターマーキングを伴うコーディングブロック/モジュール418とを含み得る。
[0099]オーディオ信号404は分解フィルタバンク464に提供され得る。分解フィルタバンク464は、オーディオ信号404を第1の信号406および第2の信号408に分割することができる。たとえば、第1の信号406は高周波数成分信号であってよく、第2の信号408は低周波数成分信号であってよい。第1の信号406は高帯域モデル化ブロック/モジュール412に提供され得る。第2の信号408はウォーターマーキングを伴うコーディングブロック/モジュール418に提供され得る。
[00100]ワイヤレス通信デバイスA402に含まれる要素(たとえば、マイクロフォン462、オーディオエンコーダ410、チャネルエンコーダ466、変調器468、送信機472など)のうちの1つまたは複数がハードウェア、ソフトウェアまたはその両方の組合せで実装され得ることに留意されたい。たとえば、ワイヤレス通信デバイスA402に含まれる要素のうちの1つまたは複数は、1つまたは複数の集積回路、特定用途向け集積回路(ASIC)などとして、かつ/またはプロセッサと命令とを使用して実装され得る。「ブロック/モジュール」という用語はまた、1つの要素がハードウェア、ソフトウェアまたはその両方の組合せで実装され得ることを示すために使用され得ることにも留意されたい。
[00101]ウォーターマーキングを伴うコーディングブロック/モジュール418は、第2の信号408に対してコーディングを実行することができる。たとえば、ウォーターマーキングを伴うコーディングブロック/モジュール418は、第2の信号408に対して適応マルチレート(AMR)コーディングを実行することができる。高帯域モデル化ブロック/モジュール412は第2の信号(たとえば、「キャリア」信号)408に埋め込まれ得るウォーターマークデータ416を決定することができる。たとえば、ウォーターマーキングを伴うコーディングブロック/モジュール418は、ウォーターマークビットが埋め込まれ得るコード化ビットストリームを生成することができる。ウォーターマークデータ416が埋め込まれたコード化第2の信号408は、ウォーターマーク入り第2の信号422と呼ばれ得る。
[00102]ウォーターマーキングを伴うコーディングブロック/モジュール418は、第2の信号408をコーディング(たとえば、符号化する)ことができる。いくつかの構成では、このコーディングは、高帯域モデル化ブロック/モジュール412に提供され得るデータ414を生成することができる。一構成では、高帯域モデル化ブロック/モジュール412はEVRC−WBモデルを使用して、ウォーターマーキングを伴うコーディングブロック/モジュール418によって符号化され得る(第2の信号408からの)低周波数成分に依存する(第1の信号406からの)高周波数成分をモデル化することができる。したがって、高帯域モデル化ブロック/モジュール412に対し、高周波数成分をモデル化する際に使用するデータ414が提供され得る。次いで、得られる高周波数成分ウォーターマークデータ416を、ウォーターマーキングを伴うコーディングブロック/モジュール418は第2の信号408に埋め込み、それにより、ウォーターマーク入り第2の信号422を生成することができる。ウォーターマークデータ416(たとえば、高帯域ビット)を埋め込むことは、ウォーターマーキングコードブック(たとえば、固定コードブックまたはFCB)を使用してウォーターマークデータ416を第2の信号408に埋め込んで、ウォーターマーク入り第2の信号422(たとえば、ウォーターマーク入りビットストリーム)を生成することを伴い得る。
[00103]ウォーターマーキングを伴うコーディングブロック/モジュール418は、適応型ウォーターマーキングブロック/モジュール420を含み得る。適応型ウォーターマーキングブロック/モジュール420は、第2の信号408の低優先度部分を決定し、第2の信号の低優先度部分にウォーターマークデータ416(たとえば、高帯域ビット)を埋め込むことができる。ウォーターマーキングを伴うコーディングブロック/モジュール418の一例は、代数符号励振線形予測(ACELP:algebraic code excited linear prediction)コーダである。この例では、ウォーターマーキングを伴うコーディングブロック/モジュール418は、第2の信号408を符号化するためにコードブック(たとえば、固定コードブック(FCB))を使用することができる。コードブックは、符号化プロセスにおいて複数のトラックを使用することができる。たとえば、AMR−NBコーディングは、40サンプルサブフレームについて、8つの位置を有するトラック5つを使用する。適応型ウォーターマーキングブロック/モジュール420は第2の信号408を使用して、1つまたは複数の高優先度トラックを決定することができる。たとえば、高優先度トラックは、ピッチパルスが表されるトラックであり得る。一構成では、適応型ウォーターマーキングブロック/モジュール420はこの決定を、長期予測(LTP)フィルタ(またはピッチフィルタ)寄与に基づいて行うことができる。たとえば、適応型ウォーターマーキングブロック/モジュール420は、LTPフィルタ出力を調べて、指定された数のトラックについて最大LTP寄与を決定することができる。たとえば、トラックごとに最大値を取り、LTPフィルタ出力における最大エネルギーを発見することができる。一構成では、最大LTP寄与を有する2つのトラックが「高優先度トラック」または重要なトラックに指定され得る。1つまたは複数の残りのトラックは「低優先度トラック」またはさほど重要ではないトラックに指定され得る。
[00104]すべてのトラックが音声品質に対して同じ影響力を有するとは限らないので、この手法が使用され得る。たとえば、音声コーディングにおいて、主要ピッチパルスを適切に表すことが重要であり得る。したがって、サブフレーム内にピッチパルスがある場合、本明細書で開示するシステムおよび方法は、それが良好に表されるように保証し得る。これは、ノイズを加えるのと同様に、ウォーターマーキングはシステムに余分の制約を課すことがあるためである。言い換えれば、ピッチパルスが表されている位置(たとえば、トラック)にノイズが加えられた場合、品質が劣化することがある。したがって、本明細書で開示するシステムおよび方法は、ピッチパルスロケーションがどこになるかを、ピッチパラメータの履歴に基づいて決定することを試みることができる。これは、ピッチ位置がどこになるかを推定することによって行われる。その場合、それらの対応するトラックにはウォーターマークデータ416が埋め込まれなくてよい。一方、他の「低優先度」トラックには、より多くのウォーターマークデータ416が配置され得る。
[00105]高優先度トラックおよび低優先度トラックが決定または推定されると、ウォーターマーキングを伴うコーディングブロック/モジュール418は、高帯域モデル化ブロック/モジュール412からのウォーターマークデータ416(たとえば、高帯域ビット)を(1つまたは複数の)低優先度トラックに埋め込むことができる。このようにして、たとえば、ウォーターマーキングを伴うコーディングブロック/モジュール418は、ピッチを表すために使用されるトラックにウォーターマークデータを埋め込むことを回避し得る。得られる信号(たとえば、ウォーターマークデータ416が埋め込まれた「キャリア」信号)は、ウォーターマーク入り第2の信号422(たとえば、ビットストリーム)と呼ばれ得る。
[00106]ウォーターマーキングプロセスは符号化第2の信号408のビットのうちの一部を変え得ることに留意されたい。たとえば、第2の信号408は、「キャリア」信号またはビットストリームと呼ばれ得る。ウォーターマーキングプロセスでは、第1の信号406から導出されたウォーターマークデータ416を第2の信号408に埋め込むか挿入して、ウォーターマーク入り第2の信号422を生成するために、符号化第2の信号408を構成するビットのうちの一部を変え得る。場合によっては、これは符号化第2の信号408の劣化の原因になり得る。しかしながら、この手法は有利であることがあり、その理由は、ウォーターマーク入り情報を抽出するように設計されていないデコーダが依然として、第1の信号406によって提供される追加情報なしに第2の信号408のバージョンを取り出し得ることにある。したがって、「レガシー」デバイスおよびインフラストラクチャは依然として、ウォーターマーキングにかかわらず機能することができる。さらに、この手法により、(ウォーターマーク入り情報を抽出するように設計された)他のデコーダを使用して、第1の信号406によって提供される追加のウォーターマーク情報を抽出することができる。
[00107]ウォーターマーク入り第2の信号422(たとえば、ビットストリーム)はチャネルエンコーダ466に提供され得る。チャネルエンコーダ466はウォーターマーク入り第2の信号422を符号化して、チャネル符号化信号467を生成することができる。たとえば、チャネルエンコーダ466は、エラー検出コーディング(たとえば、巡回冗長検査(CRC))および/またはエラー訂正コーディング(たとえば、前方向エラー訂正(FEC)コーディング)をウォーターマーク入り第2の信号422に追加することができる。
[00108]チャネル符号化信号467は変調器468に提供され得る。変調器468はチャネル符号化信号467を変調して、変調信号470を生成することができる。たとえば、変調器468はチャネル符号化信号467内のビットをコンスタレーションポイントにマップすることができる。たとえば、変調器468はチャネル符号化信号467に、2相位相シフトキーイング(BPSK)、直交振幅変調(QAM)、周波数シフトキーイング(FSK)などのような変調方式を適用して、変調信号470を生成することができる。
[00109]変調信号470は送信機472に提供され得る。送信機472は、1つまたは複数のアンテナ474a〜nを使用して変調信号470を送信することができる。たとえば、送信機472は、1つまたは複数のアンテナ474a〜nを使用して変調信号470をアップコンバート、増幅および送信することができる。
[00110]ウォーターマーク入り第2の信号422を含む変調信号470(たとえば、「送信信号」)は、ネットワーク428を介してワイヤレス通信デバイスA402から別のデバイス(たとえば、ワイヤレス通信デバイスB434)に送信され得る。ネットワーク428は、デバイス間で(たとえば、ワイヤレス通信デバイスA402とワイヤレス通信デバイスB434との間で)信号を通信するための1つまたは複数のネットワーク428デバイスおよび/または伝送媒体を含むことができる。たとえば、ネットワーク428は、1つまたは複数の基地局、ルータ、サーバ、ブリッジ、ゲートウェイなどを含み得る。
[00111]場合によっては、1つまたは複数のネットワーク428デバイスは、(ウォーターマーク入り第2の信号422を含む)送信信号をトランスコードすることができる。トランスコーディングは、送信信号を復号することと、それを(たとえば、別のフォーマットに)再符号化することとを含み得る。場合によっては、トランスコーディングは、送信信号に埋め込まれたウォーターマーク情報を破壊することがある。そのような場合、ワイヤレス通信デバイスB434は、もはやウォーターマーク情報を包含していない信号を受信し得る。他のネットワーク428デバイスは、トランスコーディングを使用しないことがある。たとえば、信号をトランスコードしないデバイスをネットワーク428が使用する場合、ネットワークは、タンデムフリー/トランスコーダフリーオペレーション(TFO/TrFO)を行い得る。この場合、ウォーターマーク入り第2の信号422に埋め込まれたウォーターマーク情報は、別のデバイス(たとえば、ワイヤレス通信デバイスB434)に送られるときに保持された状態であり得る。
[00112]ワイヤレス通信デバイスB434は、保持されたウォーターマーク情報を有する信号またはウォーターマーク情報のない信号のような信号を(ネットワーク428を介して)受信することができる。たとえば、ワイヤレス通信デバイスB434は、1つまたは複数のアンテナ476a〜nと受信機478とを使用して信号を受信することができる。一構成では、受信機478は、信号をダウンコンバートおよびデジタル化して、受信信号480を生成することができる。
[00113]受信信号480は復調器482に提供され得る。復調器482は受信信号480を復調して、復調信号484を生成することができ、復調信号484はチャネルデコーダ486に提供され得る。チャネルデコーダ486は信号を復号して(たとえば、エラー検出および/または訂正コードを使用してエラーを検出および/または訂正して)、(復号)受信ビットストリーム438を生成することができる。
[00114]受信ビットストリーム438はオーディオデコーダ440に提供され得る。たとえば、受信ビットストリーム438は高帯域モデル化ブロック/モジュール442に、また復号ブロック/モジュール450に提供され得る。
[00115]オーディオデコーダ440は、高帯域モデル化ブロック/モジュール442、トラック決定ブロック/モジュール452および/または復号ブロック/モジュール450を含み得る。オーディオデコーダ440は、オプションで、統合フィルタバンク446を含むことができる。トラック決定ブロック/モジュール452は、ウォーターマークデータが埋め込まれ得る受信ビットストリーム438の1つまたは複数のトラックを示すトラック情報444を決定することができる。たとえば、復号ブロック/モジュール450は、受信ビットストリーム438内のウォーターマークデータのロケーションを決定するためにトラック決定ブロック/モジュール452が使用し得る情報448を提供することができる。一構成では、復号ブロック/モジュール450は、ウォーターマークデータが埋め込まれ得る1つまたは複数のトラックをトラック決定ブロック/モジュール452が決定または推定することを可能にし得る、長期予測(LTP)フィルタまたはピッチフィルタからの情報448を提供する。この決定は、オーディオエンコーダ410によって実行される低優先度トラック決定と同様に行われ得る。たとえば、トラック決定ブロック/モジュール452は、(1つまたは複数の)最大LTP寄与を有する1つまたは複数のトラックを決定することができる。複数の(たとえば、2つの)トラックが高優先度トラックとして決定され(たとえば、指定され)得る一方、他のトラックは低優先度トラックとして決定され(たとえば、指定され)得る。一構成では、低優先度トラックの指示がトラック情報444として高帯域モデル化ブロック/モジュール442に提供され得る。
[00116]トラック情報444は高帯域モデル化ブロック/モジュール442に提供され得る。ウォーターマーク入り情報が受信ビットストリーム438に埋め込まれている場合、高帯域モデル化ブロック/モジュール442はトラック情報444(たとえば、低優先度トラック指示)を使用して、受信ビットストリーム438からウォーターマークデータをモデル化および/または復号することができる。たとえば、モデル化/復号ブロック/モジュールは、受信ビットストリーム438からウォーターマークデータを抽出、モデル化および/または復号して、復号第1の信号454を生成することができる。
[00117]復号ブロック/モジュール450は、受信ビットストリーム438を復号することができる。いくつかの構成では、復号ブロック/モジュール450は、受信ビットストリーム438に含まれ得るウォーターマーク情報にかかわらず受信ビットストリーム438を復号する「レガシー」デコーダ(たとえば、標準的狭帯域デコーダ)または復号手順を使用することができる。復号ブロック/モジュール450は、復号第2の信号458を生成することができる。したがって、たとえば、ウォーターマーク情報が受信ビットストリーム438に含まれていない場合、復号ブロック/モジュール450は依然として、復号第2の信号458である第2の信号408のバージョンを取り出すことができる。
[00118]いくつかの構成では、高帯域モデル化ブロック/モジュール442によって実行される動作は、復号ブロック/モジュール450によって実行される動作に依存し得る。たとえば、高周波数帯域に使用されるモデル(たとえば、EVRC−WB)は、復号狭帯域信号(たとえば、AMR−NBを使用して復号された復号第2の信号458)に依存し得る。この場合、復号第2の信号458は高帯域モデル化ブロック/モジュール442に提供され得る。
[00119]いくつかの構成では、復号第2の信号458が統合フィルタバンク446によって復号第1の信号454と合成されて、合成信号456が生成され得る。たとえば、復号第1の信号454は高周波数オーディオ情報を含み得る一方、復号第2の信号458は低周波数オーディオ情報を含み得る。復号第1の信号454は、ワイヤレス通信デバイスA402によって符号化された第1の信号406の復号バージョンであり得ることに留意されたい。追加または代替として、復号第2の信号458は、ワイヤレス通信デバイスA402によって符号化された第2の信号408の復号バージョンであり得る。統合フィルタバンク446は、復号第1の信号454と復号第2の信号458とを合成して、広帯域オーディオ信号であり得る合成信号456を生成することができる。
[00120]合成信号456はスピーカー488に提供され得る。スピーカー488は、電気信号または電子信号を音響信号に変換するトランスデューサであり得る。たとえば、スピーカー488は、電子広帯域オーディオ信号(たとえば、合成信号456)を音響広帯域オーディオ信号に変換することができる。
[00121]ウォーターマーク入り情報が受信ビットストリーム438に埋め込まれていない場合、オーディオ復号ブロック/モジュール450は、(たとえば、レガシーモードで)受信ビットストリーム438を復号して、復号第2の信号458を生成することができる。この場合、統合フィルタバンク446はバイパスされ、第1の信号406によって提供される追加情報なしに復号第2の信号458を提供する。これはたとえば、(たとえば、第1の信号406からの)ウォーターマーク情報がネットワーク428におけるトランスコーディング動作で破壊されている場合に生じ得る。
[00122]ワイヤレス通信デバイスB434に含まれる要素(たとえば、スピーカー488、オーディオデコーダ440、チャネルデコーダ486、復調器482、受信機478など)のうちの1つまたは複数がハードウェア、ソフトウェアまたはその両方の組合せで実装され得ることに留意されたい。たとえば、ワイヤレス通信デバイスB434に含まれる要素のうちの1つまたは複数は、1つまたは複数の集積回路、特定用途向け集積回路(ASIC)などとして、かつ/またはプロセッサと命令とを使用して実装され得る。
[00123]図5は、本明細書で開示するシステムおよび方法によるウォーターマーキングエンコーダ510の一例を示すブロック図である。この例では、エンコーダ510は、0〜8キロヘルツ(kHz)の範囲の広帯域(WB)音声信号504を取得することができる。広帯域音声信号504は分解フィルタバンク564に提供され、分解フィルタバンク564は信号504を、第1の信号506または高周波数成分(たとえば、4〜8kHz)と、第2の信号508または低周波数成分(たとえば、0〜4kHz)とに分割する。
[00124]第2の信号508または低周波数成分(たとえば、0〜4kHz)は、変形狭帯域コーダ518に提供され得る。一例では、変形狭帯域コーダ518は、FCBウォーターマークによるAMR−NB12.2を使用して第2の信号508をコーディングすることができる。一構成では、変形狭帯域コーダ518は、高帯域モデル化ブロック/モジュール512にデータ514(たとえば、コード化励振)を提供することができる。
[00125]第1の信号506または高周波数成分は、(たとえば、EVRC−WBモデルを使用する)高帯域モデル化ブロック/モジュール512に提供され得る。高帯域モデル化ブロック/モジュール512は、第1の信号506(たとえば、高周波数成分)を符号化またはモデル化することができる。いくつかの構成では、高帯域モデル化ブロック/モジュール512は、変形狭帯域コーダ518によって提供されたデータ514(たとえば、コード化励振)に基づいて、第1の信号506を符号化またはモデル化することができる。高帯域モデル化ブロック/モジュール512によって実行される符号化またはモデル化は、変形狭帯域コーダ518に提供されるウォーターマークデータ516(たとえば、高帯域ビット)を生成することができる。
[00126]変形狭帯域コーダ518は、第2の信号508にウォーターマークとしてウォーターマークデータ516(たとえば、高帯域ビット)を埋め込むことができる。変形狭帯域コーダ518は、ウォーターマーク入り第2の信号522を適応的に符号化することができる。たとえば、変形狭帯域コーダ518は、上記のように第2の信号508の低優先度部分(たとえば、低優先度トラック)にウォーターマークデータ516を埋め込むことができる。ウォーターマーク入り第2の信号522(たとえば、ビットストリーム)が標準的AMRのような標準的(たとえば、従来型)デコーダによって復号可能であり得ることに留意されたい。一方、デコーダにウォーターマーク復号機能が含まれていない場合、デコーダは、第2の信号508(たとえば、低周波数成分)のバージョンを復号することが可能であるにすぎない。
[00127]図6は、本明細書で開示するシステムおよび方法によるウォーターマーキングデコーダ640の一例を示すブロック図である。ウォーターマーキングデコーダ640は、受信ビットストリーム638(たとえば、ウォーターマーク入り第2の信号)を取得することができる。受信ビットストリーム638は、標準的狭帯域復号ブロック/モジュール650によって復号されて、復号第2の信号658(たとえば、低周波数(たとえば、0〜4kHz)成分信号)が取得され得る。いくつかの構成では、復号低周波数成分信号658は高帯域モデル化ブロック/モジュール642(たとえば、モデラ/デコーダ)に提供され得る。
[00128]標準的狭帯域復号ブロック/モジュール650は、トラック決定ブロック/モジュール652に情報648を提供することができる。一構成では、情報148または情報448に関連して上述したように、情報648はLTPフィルタまたはピッチフィルタから提供され得る。上記のように、トラック決定ブロック/モジュール652は1つまたは低優先度トラックを決定し、部分情報またはトラック情報644を高帯域モデル化ブロック/モジュール642に提供することができる。
[00129]高帯域モデル化ブロック/モジュール642は、(トラック情報644および/または復号第2の信号658を使用して)受信ビットストリーム638に埋め込まれたウォーターマーク情報を抽出および/またはモデル化して、復号第1の信号654(たとえば、4〜8kHzの範囲の高周波数成分信号)を取得することができる。トラック情報644は、受信ビットストリーム638のどのトラックがウォーターマークデータを包含しているかを示すことができる。復号第1の信号654および復号第2の信号658は、統合フィルタバンク646によって合成されて、広帯域(たとえば、0〜8kHz、16kHzでサンプリング)出力音声信号656が取得され得る。一方、「レガシー」ケース、または受信ビットストリーム638がウォーターマークデータを包含していないケースでは、ウォーターマーキングデコーダ640は、狭帯域(たとえば、0〜4kHz)音声出力信号(たとえば、復号第2の信号658)を生成することができる。
[00130]図7は、本明細書で開示するシステムおよび方法に従って実装され得るエンコーダ710およびデコーダ740の例を示すブロック図である。エンコーダ710は、第1の信号706と第2の信号708とを取得することができる。第1の信号706および第2の信号708の例には、広帯域音声信号の2つの成分、モノラル音声信号およびステレオ成分信号ならびに無関係な信号がある。第1の信号706はエンコーダ710のモデラ回路712に提供されてよく、モデラ回路712は第1の信号706をウォーターマークデータ716にモデル化および/または符号化する。
[00131]第2の信号708はコーダ回路718に提供され得る。コーダ回路718は線形予測符号化(LPC)ブロック/モジュール790と、長期予測(LTP)ブロック/モジュール792と、トラック決定ブロック/モジュール796と、固定コードブック(FCB)ブロック/モジュール798とを含み得る。いくつかの構成では、線形予測符号化(LPC)ブロック/モジュール790および長期予測ブロック/モジュール792は、従来型符号励振線形予測(CELP)コーダまたは代数符号励振線形予測(ACELP)コーダにおける動作と同様の動作を実行し得る。LPCブロック/モジュール790は第2の信号708に対してLPC動作を実行することができる。
[00132]LPCブロック/モジュール790の出力705は、LPCブロック/モジュール790の出力705に対してLTP動作を実行するLTPブロック/モジュール792(たとえば、ピッチフィルタ)に提供される。LTPブロック/モジュール792の出力707はトラック決定ブロック/モジュール796およびFCBブロック/モジュール798に提供される。元のLTPは低帯域コーディングに使用され得ることに留意されたい。いくつかの構成では、メモリ制限付きLTPは、ウォーターマーキング目的でトラックの優先度を決定するためにのみ使用され得る。トラック決定ブロック/モジュールは(たとえば、LTP出力707によって示される)LTP寄与を使用して、FCBブロック/モジュール798用に低優先度トラックを決定するために高優先度トラックを決定することができる。たとえば、トラック決定ブロック/モジュール796は、第2の信号708においてピッチを表すために使用される高優先度トラックを推定すること、または決定することを試みることができる。トラック決定ブロック/モジュール796の出力709は、FCBブロック/モジュール798に提供され、FCBブロック/モジュール798は、第2の信号708を符号化し、モデラ回路712からのウォーターマークデータ716を、トラック決定ブロック/モジュール796の出力709によって示される低優先度トラックに埋め込む。この構成または手法は、LTP信号がエラーに敏感であり、パケット損失およびエラーがいつまでも伝搬し得るという点で不利であり得る。これは、エンコーダ710およびデコーダ740が消失またはビットエラーの後、長期にわたり同期外れとなる事態につながり得る。
[00133]別の構成では、LTPブロック/モジュール792は、メモリ制限794を使用することができる。言い換えれば、LTP寄与ではなくメモリ制限付きLTP寄与が使用され得る。LTPのメモリ制限付きバージョンは、最後のN個のフレームおよび現在のフレームの量子化ピッチ値およびコードブック寄与のみに基づいて構築され得る。利得は1にセットされ得る。たとえば、N=2の場合、エラーがある状況下でのエンコーダ710のパフォーマンスは大幅に改善され得る。より具体的には、トラック決定ブロック/モジュール796は、代わりに、LTPブロック/モジュール792からのメモリ制限付きLTP寄与を使用して、高優先度トラックおよび/または低優先度トラックを決定することができる。
[00134]FCBブロック/モジュール798は、第2の信号708を符号化し、ウォーターマークデータ716を第2の信号708に埋め込んで、ウォーターマーク入り第2の信号722を生成することができる。ウォーターマーク入り第2の信号722は、デコーダ740に送られ、送信され、かつ/または提供され得る。ウォーターマーク入りビットストリームを送ることは、チャネルコーディング、フォーマッティング、ワイヤレスチャネルを介した送信、デフォーマッティング、チャネル復号などを伴うことも、伴わないこともある。
[00135]デコーダ740は、ウォーターマーク入り第2の信号722を受信することができ、ウォーターマーク入り第2の信号722はモデラ回路742および/またはデコーダ回路750に提供され得る。デコーダ回路750は長期予測(LTP)ブロック/モジュール701を含み得る。LTPブロック/モジュール701は、ウォーターマーク入り第2の信号722に基づいてトラック決定回路752に情報748(たとえば、(1つまたは複数の)LTP寄与)を提供することができる。いくつかの構成では、LTPブロック/モジュール701は、メモリ制限703を含むことができる。たとえば、トラック決定回路752に提供される情報748は、LTP寄与またはメモリ制限付きLTP寄与を備え得る。通常のLTP寄与インジケータは、上述の欠点を有し得る(たとえば、エラーが無限に伝搬し得る)。一方、特に消失またはビットエラーが生じたときには、パフォーマンス向上のためにメモリ制限付きLTP寄与が使用され得る。
[00136]デコーダ740のトラック決定回路752は、情報748(たとえば、(1つまたは複数の)LTP寄与)を使用して、高優先度トラックおよび/または低優先度トラックを決定することができる。たとえば、トラック決定回路752は、1つもしくは複数のLTP寄与または1つもしくは複数のメモリ制限付きLTP寄与を使用して、上述の1つまたは複数の高優先度トラックおよび/または低優先度トラックを決定することができる。トラック決定回路752は、ウォーターマークデータを含み得るウォーターマーク入り第2の信号722の1つまたは複数のトラックを示すトラック情報744をモデラ回路742に提供することができる。モデラ回路742はトラック情報744を使用して、埋め込まれたウォーターマークデータを抽出、復号および/またはモデル化することができる。たとえば、モデラ回路742は、低優先度(コードブック)トラックからウォーターマークデータを取得することができる。
[00137]デコーダ回路750は復号第2の信号758を生成することができ、モデラ回路742は復号第1の信号754を生成することができる。いくつかの構成では、復号第1の信号754および復号第2の信号758が合成回路746によって合成されて、合成信号756が生成され得る。たとえば、復号第1の信号754は高周波数成分信号であってよく、復号第2の信号758は低周波数成分信号であってよく、これらの信号が統合フィルタバンクによって合成されて、合成信号756(たとえば、復号広帯域音声信号)が生成される。
[00138]図8は、ウォーターマーク入り信号を適応的に符号化し復号するためのシステムおよび方法が実装され得るワイヤレス通信デバイス821の一構成を示すブロック図である。ワイヤレス通信デバイス821は、上述の電子デバイスA102、電子デバイスB134、ワイヤレス通信デバイスA402またはワイヤレス通信デバイスB434の一例であり得る。ワイヤレス通信デバイス821は、アプリケーションプロセッサ825を含み得る。アプリケーションプロセッサ825は、概して、ワイヤレス通信デバイス821上の機能を実行するように命令を処理する(たとえば、プログラムを実行する)。アプリケーションプロセッサ825は、オーディオコーダ/デコーダ(コーデック)819に結合され得る。
[00139]オーディオコーデック819は、オーディオ信号をコーディングおよび/または復号するために使用される電子デバイス(たとえば、集積回路)であり得る。オーディオコーデック819は、1つもしくは複数のスピーカー811、イヤピース813、出力ジャック815および/または1つもしくは複数のマイクロフォン817に結合され得る。スピーカー811は、電気信号または電子信号を音響信号に変換する1つまたは複数の電気音響トランスデューサを含み得る。たとえば、スピーカー811は、音楽を再生するか、またはスピーカーフォン会話などを出力するために使用され得る。イヤピース813は、音響信号(たとえば、音声信号)をユーザに出力するために使用され得る別のスピーカーまたは電気音響トランスデューサであり得る。たとえば、イヤピース813は、ユーザのみが音響信号を確実に聴取し得るように使用され得る。出力ジャック815は、ヘッドフォンなど、オーディオを出力するためにワイヤレス通信デバイス821に他のデバイスを結合するために使用され得る。スピーカー811、イヤピース813および/または出力ジャック815は、概して、オーディオコーデック819からオーディオ信号を出力するために使用され得る。1つまたは複数のマイクロフォン817は、音響信号(ユーザのボイスなど)を、オーディオコーデック819に提供される電気信号または電子信号に変換する1つまたは複数の音響電気トランスデューサであり得る。
[00140]オーディオコーデック819はエンコーダ810aを含み得る。上述のエンコーダ110、410、510、710は、エンコーダ810a(および/またはエンコーダ810b)の例であり得る。代替構成では、エンコーダ810bがアプリケーションプロセッサ825に含まれ得る。エンコーダ810a〜bうちの1つまたは複数(たとえば、オーディオコーデック819)を使用して、ウォーターマーク入り信号を適応的に符号化するための図2に関連して上述した方法200を実行することができる。
[00141]オーディオコーデック819は追加または代替としてデコーダ840aを含むことができる。上述のデコーダ140、440、640、740は、デコーダ840a(および/またはデコーダ840b)の例であり得る。代替構成では、デコーダ840bがアプリケーションプロセッサ825に含まれ得る。デコーダ840a〜bうちの1つまたは複数(たとえば、オーディオコーデック819)は、適応的に符号化されたウォーターマーク入り信号を復号するための図3に関連して上述した方法300を実行することができる。
[00142]アプリケーションプロセッサ825はまた、電力管理回路835に結合され得る。電力管理回路835の一例は電力管理集積回路(PMIC)であり、それは、ワイヤレス通信デバイス821の電力消費を管理するために使用され得る。電力管理回路835はバッテリー837に結合され得る。バッテリー837は、概して、ワイヤレス通信デバイス821に電力を与え得る。
[00143]アプリケーションプロセッサ825は、入力を受信するための1つまたは複数の入力デバイス839に結合され得る。入力デバイス839の例には、赤外線センサー、画像センサー、加速度計、タッチセンサー、キーパッドなどがある。入力デバイス839は、ワイヤレス通信デバイス821とのユーザ対話を可能にし得る。アプリケーションプロセッサ825はまた、1つまたは複数の出力デバイス841に結合され得る。出力デバイス841の例には、プリンタ、プロジェクタ、スクリーン、触覚デバイスなどがある。出力デバイス841は、ワイヤレス通信デバイス821が、ユーザが受け得る出力を生成することを可能にし得る。
[00144]アプリケーションプロセッサ825は、アプリケーションメモリ843に結合され得る。アプリケーションメモリ843は、電子情報を記憶することが可能な任意の電子デバイスであり得る。アプリケーションメモリ843の例には、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ(DDRAM)、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、フラッシュメモリなどがある。アプリケーションメモリ843は、ストレージをアプリケーションプロセッサ825に与え得る。たとえば、アプリケーションメモリ843は、アプリケーションプロセッサ825上で実行されるプログラムの機能のためのデータおよび/または命令を記憶し得る。
[00145]アプリケーションプロセッサ825はディスプレイコントローラ845に結合され得、ディスプレイコントローラ845はディスプレイ847に結合され得る。ディスプレイコントローラ845は、ディスプレイ847上に画像を生成するために使用されるハードウェアブロックであり得る。たとえば、ディスプレイコントローラ845は、アプリケーションプロセッサ825からの命令および/またはデータを、ディスプレイ847上に提示され得る画像に変換し得る。ディスプレイ847の例には、液晶ディスプレイ(LCD)パネル、発光ダイオード(LED)パネル、陰極線管(CRT)ディスプレイ、プラズマディスプレイなどがある。
[00146]アプリケーションプロセッサ825は、ベースバンドプロセッサ827に結合され得る。ベースバンドプロセッサ827は、概して、通信信号を処理する。たとえば、ベースバンドプロセッサ827は、受信した信号を復調および/または復号し得る。追加または代替として、ベースバンドプロセッサ827は、送信に備えて信号を符号化および/または変調し得る。
[00147]ベースバンドプロセッサ827は、ベースバンドメモリ849に結合され得る。ベースバンドメモリ849は、SDRAM、DDRAM、フラッシュメモリなど、電子情報を記憶することが可能な任意の電子デバイスであり得る。ベースバンドプロセッサ827は、ベースバンドメモリ849から情報(たとえば、命令および/またはデータ)を読み取ること、および/またはベースバンドメモリ849に情報を書き込むことができる。追加または代替として、ベースバンドプロセッサ827は、通信動作を実行するために、ベースバンドメモリ849に記憶された命令および/またはデータを使用し得る。
[00148]ベースバンドプロセッサ827は、無線周波数(RF)トランシーバ829に結合され得る。RFトランシーバ829は、電力増幅器831と1つまたは複数のアンテナ833とに結合され得る。RFトランシーバ829は、無線周波信号を送信および/または受信し得る。たとえば、RFトランシーバ829は、電力増幅器831と1つまたは複数のアンテナ833とを使用してRF信号を送信し得る。RFトランシーバ829はまた、1つまたは複数のアンテナ833を使用してRF信号を受信し得る。
[00149]図9は、電子デバイス951において利用され得る様々な構成要素を示している。図示の構成要素は、同じ物理的構造内に配置されるか、あるいは別個のハウジングまたは構造中に配置され得る。前に説明した電子デバイス102、134のうちの1つまたは複数は、電子デバイス951と同様に構成され得る。電子デバイス951はプロセッサ959を含む。プロセッサ959は、汎用シングルまたはマルチチップマイクロプロセッサ(たとえば、ARM)、専用マイクロプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ959は中央処理ユニット(CPU)と呼ばれることがある。図9の電子デバイス951中に単一のプロセッサ959のみを示しているが、代替構成では、プロセッサの組合せ(たとえば、ARMとDSP)が使用され得る。
[00150]電子デバイス951はまた、プロセッサ959と電子通信しているメモリ953を含む。すなわち、プロセッサ959は、メモリ953から情報を読み取ること、および/またはメモリ953に情報を書き込むことができる。メモリ953は、電子情報を記憶することが可能な任意の電子構成要素であり得る。メモリ953は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスク記憶媒体、光記憶媒体、RAM中のフラッシュメモリデバイス、プロセッサとともに含まれるオンボードメモリ、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、レジスタなど、およびそれらの組合せであり得る。
[00151]データ957aおよび命令955aがメモリ953に記憶され得る。命令955aは、1つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを含み得る。命令955aは、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを含み得る。命令955aは、上記で説明した方法200、300のうちの1つまたは複数を実施するために、プロセッサ959によって実行可能であり得る。命令955aを実行することは、メモリ953に記憶されたデータ957aの使用を含み得る。図9は、プロセッサ959にロードされている(命令955aおよびデータ957aから来ることがある)いくつかの命令955bおよびデータ957bを示している。
[00152]電子デバイス951はまた、他の電子デバイスと通信するための1つまたは複数の通信インターフェース963を含み得る。通信インターフェース963は、ワイヤード通信技術、ワイヤレス通信技術、またはその両方に基づき得る。様々なタイプの通信インターフェース963の例には、シリアルポート、パラレルポート、ユニバーサルシリアルバス(USB)、イーサネットアダプター、IEEE1394バスインターフェース、小型コンピュータシステムインターフェース(SCSI)バスインターフェース、赤外線(IR)通信ポート、Bluetoothワイヤレス通信アダプターなどがある。
[00153]電子デバイス951はまた、1つまたは複数の入力デバイス965と、1つまたは複数の出力デバイス969とを含み得る。様々な種類の入力デバイス965の例には、キーボード、マウス、マイクロフォン、遠隔制御デバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、ライトペンなどがある。たとえば、電子デバイス951は、音響信号をキャプチャするための1つまたは複数のマイクロフォン967を含み得る。一構成では、マイクロフォン967は、音響信号(たとえば、ボイス、音声)を電気信号または電子信号に変換するトランスデューサであり得る。様々な種類の出力デバイス969の例には、スピーカー、プリンタなどがある。たとえば、電子デバイス951は1つまたは複数のスピーカー971を含み得る。一構成では、スピーカー971は、電気信号または電子信号を音響信号に変換するトランスデューサであり得る。電子デバイス951中に典型的に含まれ得る1つの決定のタイプの出力デバイスは、ディスプレイデバイス973である。本明細書で開示する構成とともに使用されるディスプレイデバイス973は、陰極線管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、ガスプラズマ、エレクトロルミネセンスなど、任意の好適な画像投影技術を利用し得る。ディスプレイコントローラ975はまた、メモリ953に記憶されたデータをディスプレイデバイス973上に示されるテキスト、グラフィック、および/または動画に(適宜に)変換するために設けられ得る。
[00154]電子デバイス951の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、1つまたは複数のバスによって互いに結合され得る。簡単のために、図9では様々なバスはバスシステム961として示してある。図9は、電子デバイス951の1つの可能な構成しか示していないことに留意されたい。様々な他のアーキテクチャおよび構成要素も利用され得る。
[00155]図10は、ワイヤレス通信デバイス1077内に含まれ得るいくつかの構成要素を示している。上記で説明した電子デバイス102、134、951のうちの1つもしくは複数および/またはワイヤレス通信デバイス402、434、821のうちの1つもしくは複数は、図10に示すワイヤレス通信デバイス1077と同様に構成され得る。
[00156]ワイヤレス通信デバイス1077はプロセッサ1097を含む。プロセッサ1097は、汎用シングルまたはマルチチップマイクロプロセッサ(たとえば、ARM)、専用マイクロプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ1097は中央処理ユニット(CPU)と呼ばれることがある。図10のワイヤレス通信デバイス1077中に単一のプロセッサ1097のみを示しているが、代替構成では、プロセッサの組合せ(たとえば、ARMとDSP)が使用され得る。
[00157]ワイヤレス通信デバイス1077はまた、プロセッサ1097と電子通信しているメモリ1079を含む(すなわち、プロセッサ1097は、メモリ1079から情報を読み取ること、および/またはメモリ1079に情報を書き込むことができる)。メモリ1079は、電子情報を記憶することが可能な任意の電子構成要素であり得る。メモリ1079は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスク記憶媒体、光記憶媒体、RAM中のフラッシュメモリデバイス、プロセッサとともに含まれるオンボードメモリ、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、レジスタなど、およびそれらの組合せであり得る。
[00158]データ1081aおよび命令1083aがメモリ1079に記憶され得る。命令1083aは、1つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャ、コードなどを含み得る。命令1083aは、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを含み得る。命令1083aは、上記で説明した方法200、300のうちの1つまたは複数を実施するために、プロセッサ1097によって実行可能であり得る。命令1083aを実行することは、メモリ1079に記憶されたデータ1081aの使用を含み得る。図10は、プロセッサ1097にロードされている(命令1083aおよびデータ1081aから来ることがある)いくつかの命令1083bおよびデータ1081bを示している。
[00159]ワイヤレス通信デバイス1077はまた、ワイヤレス通信デバイス1077と遠隔ロケーション(たとえば、別の電子デバイス、ワイヤレス通信デバイスなど)との間の信号の送信および受信を可能にするために、送信機1093と受信機1095とを含み得る。送信機1093および受信機1095はトランシーバ1091と総称されることがある。アンテナ1099はトランシーバ1091に電気的に結合され得る。ワイヤレス通信デバイス1077はまた、複数の送信機、複数の受信機、複数のトランシーバおよび/または複数のアンテナを含み得る(図示せず)。
[00160]いくつかの構成では、ワイヤレス通信デバイス1077は、音響信号をキャプチャするための1つまたは複数のマイクロフォン1085を含み得る。一構成では、マイクロフォン1085は、音響信号(たとえば、ボイス、音声)を電気信号または電子信号に変換するトランスデューサであり得る。追加または代替として、ワイヤレス通信デバイス1077は1つまたは複数のスピーカー1087を含み得る。一構成では、スピーカー1087は、電気信号または電子信号を音響信号に変換するトランスデューサであり得る。
[00161]ワイヤレス通信デバイス1077の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、1つまたは複数のバスによって互いに結合され得る。簡単のために、図10では様々なバスはバスシステム1089として示してある。
[00162]上記の説明では、様々な用語とともに参照番号を時々使用した。用語が参照番号とともに使用されている場合、これは、図のうちの1つまたは複数に示された特定の要素を指すものとされ得る。用語が参照番号なしに使用されている場合、これは、概して特定の図に限定されない用語を指すものとされ得る。
[00163]「決定」という用語は、多種多様なアクションを包含し、したがって、「決定」は、計算、算出、処理、導出、調査、ルックアップ(たとえば、テーブル、データベースまたは別のデータ構造でのルックアップ)、確認などを含むことができる。また、「決定」は、受信(たとえば、情報を受信すること)、アクセス(たとえば、メモリ中のデータにアクセスすること)などを含むことができる。また、「決定」は、解決、選択、選定、確立などを含むことができる。
[00164]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
[00165]本明細書で説明した機能は、1つまたは複数の命令としてプロセッサ可読媒体またはコンピュータ可読媒体上に記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく、例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータまたはプロセッサによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。コンピュータ可読媒体は有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用する「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。
[00166]ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
[00167]本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、説明されている方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正され得る。
[00168]特許請求の範囲は、上記に示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
[00169]特許請求の範囲に記載されるものは、以下の通りである。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1] ウォーターマーク入り信号を適応的に符号化するように構成された電子デバイスであって、
第1の信号に基づいてウォーターマークデータを決定するモデラ回路と、
前記モデラ回路に結合されたコーダ回路と、
を備え、前記コーダ回路は、
第2の信号の低優先度部分を決定し、ウォーターマーク入り第2の信号を生成するために、前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込む、
電子デバイス。
[C2] 前記第2の信号の前記低優先度部分は、前記第2の信号の別の部分ほど知覚的に重要ではない、C1に記載の電子デバイス。
[C3] 前記第2の信号の前記低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づく、C1に記載の電子デバイス。
[C4] 前記第2の信号の前記低優先度部分を決定することは、
前記第2の信号に基づいて1つまたは複数の高優先度コードブックトラックを決定することと、
前記高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することと、
を備える、C1に記載の電子デバイス。
[C5] 前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込むことは、前記1つまたは複数の低優先度コードブックトラックに前記ウォーターマークデータを埋め込むことを備える、C4に記載の電子デバイス。
[C6] 前記1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づく、C4に記載の電子デバイス。
[C7] 前記1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づく、C4に記載の電子デバイス。
[C8] 前記1つまたは複数の高優先度コードブックトラックはピッチを表すために使用される、C4に記載の電子デバイス。
[C9] 前記第1の信号は高周波数成分信号であり、前記第2の信号は低周波数成分信号である、C1に記載の電子デバイス。
[C10] 前記モデラ回路および前記コーダ回路はオーディオコーデックに含まれる、C1に記載の電子デバイス。
[C11] 適応的に符号化されたウォーターマーク入り信号を復号するための電子デバイスであって、
ウォーターマーク入りビットストリームの低優先度部分を決定する部分決定回路と、
前記部分決定回路に結合されたモデラ回路と、前記モデラ回路は、前記ウォーターマーク入りビットストリームの前記低優先度部分からウォーターマークデータを抽出し、前記ウォーターマークデータに基づいて第1の信号を取得し、
第2の信号を取得するために、前記ウォーターマーク入りビットストリームを復号するデコーダ回路と、
を備える電子デバイス。
[C12] 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づく、C11に記載の電子デバイス。
[C13] 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、前記ウォーターマーク入りビットストリームに基づいて1つまたは複数の高優先度コードブックトラックを決定することに基づく、C11に記載の電子デバイス。
[C14] 前記低優先度部分は1つまたは複数の低優先度コードブックトラックを備える、C13に記載の電子デバイス。
[C15] 前記1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づく、C13に記載の電子デバイス。
[C16] 前記1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づく、C13に記載の電子デバイス。
[C17] 前記第1の信号と前記第2の信号とを合成する合成回路をさらに備える、C11に記載の電子デバイス。
[C18] 前記ウォーターマーク入りビットストリームの前記低優先度部分は、知覚的にさほど重要ではない情報を含む、C11に記載の電子デバイス。
[C19] 前記部分決定回路、前記モデラ回路および前記デコーダ回路はオーディオコーデックに含まれる、C11に記載の電子デバイス。
[C20] 電子デバイス上でウォーターマーク入り信号を適応的に符号化するための方法であって、
第1の信号と第2の信号とを取得することと、
前記第2の信号の低優先度部分を決定することと、
前記第1の信号に基づいてウォーターマークデータを決定することと、
ウォーターマーク入り第2の信号を生成するために、前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込むことと、
を備える方法。
[C21] 前記第2の信号の前記低優先度部分は、前記第2の信号の別の部分ほど知覚的に重要ではない、C20に記載の方法。
[C22] 前記第2の信号の前記低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づく、C20に記載の方法。
[C23] 前記第2の信号の前記低優先度部分を決定することは、
前記第2の信号に基づいて1つまたは複数の高優先度コードブックトラックを決定することと、
前記高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することと、
を備える、C20に記載の方法。
[C24] 前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込むことは、前記1つまたは複数の低優先度コードブックトラックに前記ウォーターマークデータを埋め込むことを備える、C23に記載の方法。
[C25] 前記1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づく、C23に記載の方法。
[C26] 前記1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づく、C23に記載の方法。
[C27] 前記1つまたは複数の高優先度コードブックトラックはピッチを表すために使用される、C23に記載の方法。
[C28] 前記第1の信号は高周波数成分信号であり、前記第2の信号は低周波数成分信号である、C20に記載の方法。
[C29] 前記方法はオーディオコーデックによって実行される、C20に記載の方法。
[C30] 電子デバイス上で適応的に符号化されたウォーターマーク入りビットストリームを復号するための方法であって、
信号を受信することと、
前記信号に基づいてウォーターマーク入りビットストリームを抽出することと、
前記ウォーターマーク入りビットストリームの低優先度部分を決定することと、
前記ウォーターマーク入りビットストリームの前記低優先度部分からウォーターマークデータを抽出することと、
前記ウォーターマークデータに基づいて第1の信号を取得することと、
第2の信号を取得するために、前記ウォーターマーク入りビットストリームを復号することと、
を備える方法。
[C31] 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づく、C30に記載の方法。
[C32] 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、前記ウォーターマーク入りビットストリームに基づいて1つまたは複数の高優先度コードブックトラックを決定することに基づく、C30に記載の方法。
[C33] 前記低優先度部分は1つまたは複数の低優先度コードブックトラックを備える、C32に記載の方法。
[C34] 前記1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づく、C32に記載の方法。
[C35] 前記1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づく、C32に記載の方法。
[C36] 前記第1の信号と前記第2の信号とを合成することをさらに備える、C30に記載の方法。
[C37] 前記ウォーターマーク入りビットストリームの前記低優先度部分は、知覚的にさほど重要ではない情報を含む、C30に記載の方法。
[C38] 前記方法は、オーディオコーデックによって実行される、C30に記載の方法。
[C39] 命令を有する非一時的有形コンピュータ可読媒体を備える、ウォーターマーク入り信号を適応的に符号化するためのコンピュータプログラム製品であって、前記命令は、
電子デバイスに第1の信号と第2の信号とを取得させるコードと、
前記電子デバイスに前記第2の信号の低優先度部分を決定させるコードと、
前記電子デバイスに、前記第1の信号に基づいてウォーターマークデータを決定させるコードと、
前記電子デバイスに、ウォーターマーク入り第2の信号を生成するために、前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込ませるコードと、
を備える、コンピュータプログラム製品。
[C40] 前記第2の信号の前記低優先度部分を決定することは、
前記第2の信号に基づいて1つまたは複数の高優先度コードブックトラックを決定することと、
前記高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することと、
を備える、C39に記載のコンピュータプログラム製品。
[C41] 命令を有する非一時的有形コンピュータ可読媒体を備える、適応的に符号化されたウォーターマーク入りビットストリームを復号するためのコンピュータプログラム製品であって、前記命令は、
電子デバイスに、信号を受信させるコードと、
前記電子デバイスに、前記信号に基づいてウォーターマーク入りビットストリームを抽出させるコードと、
前記電子デバイスに、前記ウォーターマーク入りビットストリームの低優先度部分を決定させるコードと、
前記電子デバイスに、前記ウォーターマーク入りビットストリームの前記低優先度部分からウォーターマークデータを抽出させるコードと、
前記電子デバイスに、前記ウォーターマークデータに基づいて第1の信号を取得させるコードと、
前記電子デバイスに、第2の信号を取得するために、前記ウォーターマーク入りビットストリームを復号させるコードと、
を備える、コンピュータプログラム製品。
[C42] 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、前記ウォーターマーク入りビットストリームに基づいて1つまたは複数の高優先度コードブックトラックを決定することに基づく、C41に記載のコンピュータプログラム製品。
[C43] ウォーターマーク入り信号を適応的に符号化するための装置であって、
第1の信号と第2の信号とを取得する手段と、
前記第2の信号の低優先度部分を決定する手段と、
前記第1の信号に基づいてウォーターマークデータを決定する手段と、
ウォーターマーク入り第2の信号を生成するために、前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込む手段と、
を備える装置。
[C44] 前記第2の信号の前記低優先度部分を決定することは、
前記第2の信号に基づいて1つまたは複数の高優先度コードブックトラックを決定することと、
前記高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することと、
を備える、C43に記載の装置。
[C45] 適応的に符号化されたウォーターマーク入りビットストリームを復号するための装置であって、
信号を受信する手段と、
前記信号に基づいてウォーターマーク入りビットストリームを抽出する手段と、
前記ウォーターマーク入りビットストリームの低優先度部分を決定する手段と、
前記ウォーターマーク入りビットストリームの前記低優先度部分からウォーターマークデータを抽出する手段と、
前記ウォーターマークデータに基づいて第1の信号を取得する手段と、
前記ウォーターマーク入りビットストリームを復号して第2の信号を取得する手段と、
を備える装置。
[C46] 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、前記ウォーターマーク入りビットストリームに基づいて1つまたは複数の高優先度コードブックトラックを決定することに基づく、C45に記載の装置。

Claims (46)

  1. ウォーターマーク入り信号を適応的に符号化するように構成された電子デバイスであって、
    第1の信号に基づいてウォーターマークデータを決定するモデラ回路と、
    前記モデラ回路に結合されたコーダ回路と、
    を備え、前記コーダ回路は、
    第2の信号の低優先度部分を決定し、ウォーターマーク入り第2の信号を生成するために、前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込
    前記第2の信号の前記低優先度部分を決定することは、
    ピッチパルスが表される高優先度部分を決定することと、
    前記高優先度部分ではない前記低優先度部分を決定することと、
    を備える、電子デバイス。
  2. 前記第2の信号の前記低優先度部分は、前記第2の信号の別の部分ほど知覚的に重要ではない、請求項1に記載の電子デバイス。
  3. 前記第2の信号の前記低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づく、請求項1に記載の電子デバイス。
  4. 前記第2の信号の前記低優先度部分を決定することは、
    前記第2の信号に基づいて、前記高優先度部分として、1つまたは複数の高優先度コードブックトラックを決定することと、
    前記高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することと、
    を備える、請求項1に記載の電子デバイス。
  5. 前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込むことは、前記1つまたは複数の低優先度コードブックトラックに前記ウォーターマークデータを埋め込むことを備える、請求項4に記載の電子デバイス。
  6. 前記1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づく、請求項4に記載の電子デバイス。
  7. 前記1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づく、請求項4に記載の電子デバイス。
  8. 前記1つまたは複数の高優先度コードブックトラックはピッチを表すために使用される、請求項4に記載の電子デバイス。
  9. 前記第1の信号は高周波数成分信号であり、前記第2の信号は低周波数成分信号である、請求項1に記載の電子デバイス。
  10. 前記モデラ回路および前記コーダ回路はオーディオコーデックに含まれる、請求項1に記載の電子デバイス。
  11. 適応的に符号化されたウォーターマーク入り信号を復号するための電子デバイスであって、
    ウォーターマーク入りビットストリームの低優先度部分を決定する部分決定回路と、
    前記部分決定回路に結合されたモデラ回路と、前記モデラ回路は、前記ウォーターマーク入りビットストリームの前記低優先度部分からウォーターマークデータを抽出し、前記ウォーターマークデータに基づいて第1の信号を取得し、
    第2の信号を取得するために、前記ウォーターマーク入りビットストリームを復号するデコーダ回路と、
    を備え、
    前記低優先度部分を決定することは、
    ピッチパルスが表される高優先度部分を決定することと、
    前記高優先度部分ではない前記低優先度部分を決定することと、
    を備える、電子デバイス。
  12. 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づく、請求項11に記載の電子デバイス。
  13. 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、前記ウォーターマーク入りビットストリームに基づいて、前記高優先度部分として、1つまたは複数の高優先度コードブックトラックを決定することに基づく、請求項11に記載の電子デバイス。
  14. 前記低優先度部分は1つまたは複数の低優先度コードブックトラックを備える、請求項13に記載の電子デバイス。
  15. 前記1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づく、請求項13に記載の電子デバイス。
  16. 前記1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づく、請求項13に記載の電子デバイス。
  17. 前記第1の信号と前記第2の信号とを合成する合成回路をさらに備える、請求項11に記載の電子デバイス。
  18. 前記ウォーターマーク入りビットストリームの前記低優先度部分は、知覚的にさほど重要ではない情報を含む、請求項11に記載の電子デバイス。
  19. 前記部分決定回路、前記モデラ回路および前記デコーダ回路はオーディオコーデックに含まれる、請求項11に記載の電子デバイス。
  20. 電子デバイス上でウォーターマーク入り信号を適応的に符号化するための方法であって、
    第1の信号と第2の信号とを取得することと、
    前記第2の信号の低優先度部分を決定することと、
    前記第1の信号に基づいてウォーターマークデータを決定することと、
    ウォーターマーク入り第2の信号を生成するために、前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込むことと、
    を備え、
    前記第2の信号の低優先度部分を決定することは、
    ピッチパルスが表される高優先度部分を決定することと、
    前記高優先度部分ではない前記低優先度部分を決定することと、
    を備える、方法。
  21. 前記第2の信号の前記低優先度部分は、前記第2の信号の別の部分ほど知覚的に重要ではない、請求項20に記載の方法。
  22. 前記第2の信号の前記低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づく、請求項20に記載の方法。
  23. 前記第2の信号の前記低優先度部分を決定することは、
    前記第2の信号に基づいて、前記高優先度部分として、1つまたは複数の高優先度コードブックトラックを決定することと、
    前記高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することと、
    を備える、請求項20に記載の方法。
  24. 前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込むことは、前記1つまたは複数の低優先度コードブックトラックに前記ウォーターマークデータを埋め込むことを備える、請求項23に記載の方法。
  25. 前記1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づく、請求項23に記載の方法。
  26. 前記1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づく、請求項23に記載の方法。
  27. 前記1つまたは複数の高優先度コードブックトラックはピッチを表すために使用される、請求項23に記載の方法。
  28. 前記第1の信号は高周波数成分信号であり、前記第2の信号は低周波数成分信号である、請求項20に記載の方法。
  29. 前記方法はオーディオコーデックによって実行される、請求項20に記載の方法。
  30. 電子デバイス上で適応的に符号化されたウォーターマーク入りビットストリームを復号するための方法であって、
    信号を受信することと、
    前記信号に基づいてウォーターマーク入りビットストリームを抽出することと、
    前記ウォーターマーク入りビットストリームの低優先度部分を決定することと、
    前記ウォーターマーク入りビットストリームの前記低優先度部分からウォーターマークデータを抽出することと、
    前記ウォーターマークデータに基づいて第1の信号を取得することと、
    第2の信号を取得するために、前記ウォーターマーク入りビットストリームを復号することと、
    を備え、
    前記低優先度部分を決定することは、
    ピッチパルスが表される高優先度部分を決定することと、
    前記高優先度部分ではない前記低優先度部分を決定することと、
    を備える、方法。
  31. 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、現在のフレームおよび過去のフレームに基づく、請求項30に記載の方法。
  32. 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、前記ウォーターマーク入りビットストリームに基づいて、前記高優先度部分として、1つまたは複数の高優先度コードブックトラックを決定することに基づく、請求項30に記載の方法。
  33. 前記低優先度部分は1つまたは複数の低優先度コードブックトラックを備える、請求項32に記載の方法。
  34. 前記1つまたは複数の高優先度コードブックトラックを決定することは、長期予測(LTP)寄与に基づく、請求項32に記載の方法。
  35. 前記1つまたは複数の高優先度コードブックトラックを決定することは、メモリ制限付き長期予測(LTP)寄与に基づく、請求項32に記載の方法。
  36. 前記第1の信号と前記第2の信号とを合成することをさらに備える、請求項30に記載の方法。
  37. 前記ウォーターマーク入りビットストリームの前記低優先度部分は、知覚的にさほど重要ではない情報を含む、請求項30に記載の方法。
  38. 前記方法は、オーディオコーデックによって実行される、請求項30に記載の方法。
  39. ウォーターマーク入り信号を適応的に符号化するためのコンピュータプログラムであって、
    電子デバイスに第1の信号と第2の信号とを取得させるコードと、
    前記電子デバイスに前記第2の信号の低優先度部分を決定させるコードと、
    前記電子デバイスに、前記第1の信号に基づいてウォーターマークデータを決定させるコードと、
    前記電子デバイスに、ウォーターマーク入り第2の信号を生成するために、前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込ませるコードと、
    を備え、
    前記第2の信号の低優先度部分を決定することは、
    ピッチパルスが表される高優先度部分を決定することと、
    前記高優先度部分ではない前記低優先度部分を決定することと、
    を備える、コンピュータプログラム。
  40. 前記第2の信号の前記低優先度部分を決定することは、
    前記第2の信号に基づいて、前記高優先度部分として、1つまたは複数の高優先度コードブックトラックを決定することと、
    前記高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することと、
    を備える、請求項39に記載のコンピュータプログラム
  41. 適応的に符号化されたウォーターマーク入りビットストリームを復号するためのコンピュータプログラムであって、
    電子デバイスに、信号を受信させるコードと、
    前記電子デバイスに、前記信号に基づいてウォーターマーク入りビットストリームを抽出させるコードと、
    前記電子デバイスに、前記ウォーターマーク入りビットストリームの低優先度部分を決定させるコードと、
    前記電子デバイスに、前記ウォーターマーク入りビットストリームの前記低優先度部分からウォーターマークデータを抽出させるコードと、
    前記電子デバイスに、前記ウォーターマークデータに基づいて第1の信号を取得させるコードと、
    前記電子デバイスに、第2の信号を取得するために、前記ウォーターマーク入りビットストリームを復号させるコードと、
    を備え、
    前記低優先度部分を決定することは、
    ピッチパルスが表される高優先度部分を決定することと、
    前記高優先度部分ではない前記低優先度部分を決定することと、
    を備える、コンピュータプログラム
  42. 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、前記ウォーターマーク入りビットストリームに基づいて、前記高優先度部分として、1つまたは複数の高優先度コードブックトラックを決定することに基づく、請求項41に記載のコンピュータプログラム
  43. ウォーターマーク入り信号を適応的に符号化するための装置であって、
    第1の信号と第2の信号とを取得する手段と、
    前記第2の信号の低優先度部分を決定する手段と、
    前記第1の信号に基づいてウォーターマークデータを決定する手段と、
    ウォーターマーク入り第2の信号を生成するために、前記第2の信号の前記低優先度部分に前記ウォーターマークデータを埋め込む手段と、
    を備え、
    前記第2の信号の低優先度部分を決定する手段は、
    ピッチパルスが表される高優先度部分を決定する手段と、
    前記高優先度部分ではない前記低優先度部分を決定する手段と、
    を備える、装置。
  44. 前記第2の信号の前記低優先度部分を決定することは、
    前記第2の信号に基づいて、前記高優先度部分として、1つまたは複数の高優先度コードブックトラックを決定することと、
    前記高優先度コードブックトラックではない1つまたは複数の低優先度コードブックトラックを指定することと、
    を備える、請求項43に記載の装置。
  45. 適応的に符号化されたウォーターマーク入りビットストリームを復号するための装置であって、
    信号を受信する手段と、
    前記信号に基づいてウォーターマーク入りビットストリームを抽出する手段と、
    前記ウォーターマーク入りビットストリームの低優先度部分を決定する手段と、
    前記ウォーターマーク入りビットストリームの前記低優先度部分からウォーターマークデータを抽出する手段と、
    前記ウォーターマークデータに基づいて第1の信号を取得する手段と、
    前記ウォーターマーク入りビットストリームを復号して第2の信号を取得する手段と、
    を備え、
    前記低優先度部分を決定する手段は、
    ピッチパルスが表される高優先度部分を決定する手段と、
    前記高優先度部分ではない前記低優先度部分を決定する手段と、
    を備える、装置。
  46. 前記ウォーターマーク入りビットストリームの低優先度部分を決定することは、前記ウォーターマーク入りビットストリームに基づいて、前記高優先度部分として、1つまたは複数の高優先度コードブックトラックを決定することに基づく、請求項45に記載の装置。
JP2013553427A 2011-02-07 2011-12-27 ウォーターマーク入り信号を適応的に符号化し復号するためのデバイス Expired - Fee Related JP5797780B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161440313P 2011-02-07 2011-02-07
US61/440,313 2011-02-07
US13/275,997 US8880404B2 (en) 2011-02-07 2011-10-18 Devices for adaptively encoding and decoding a watermarked signal
US13/275,997 2011-10-18
PCT/US2011/067405 WO2012108943A1 (en) 2011-02-07 2011-12-27 Devices for adaptively encoding and decoding a watermarked signal

Publications (2)

Publication Number Publication Date
JP2014509409A JP2014509409A (ja) 2014-04-17
JP5797780B2 true JP5797780B2 (ja) 2015-10-21

Family

ID=46601279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013553427A Expired - Fee Related JP5797780B2 (ja) 2011-02-07 2011-12-27 ウォーターマーク入り信号を適応的に符号化し復号するためのデバイス

Country Status (9)

Country Link
US (1) US8880404B2 (ja)
EP (1) EP2673769B1 (ja)
JP (1) JP5797780B2 (ja)
KR (1) KR101548846B1 (ja)
CN (1) CN103299365B (ja)
BR (1) BR112013020010A2 (ja)
ES (1) ES2573113T3 (ja)
HU (1) HUE027046T2 (ja)
WO (1) WO2012108943A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153337A1 (en) * 2009-12-17 2011-06-23 Electronics And Telecommunications Research Institute Encoding apparatus and method and decoding apparatus and method of audio/voice signal processing apparatus
US9767823B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and detecting a watermarked signal
US9767822B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and decoding a watermarked signal
RU2505868C2 (ru) * 2011-12-07 2014-01-27 Ооо "Цифрасофт" Способ встраивания цифровой информации в аудиосигнал
US8806558B1 (en) * 2013-09-20 2014-08-12 Limelight Networks, Inc. Unique watermarking of content objects according to end user identity
US9191516B2 (en) 2013-02-20 2015-11-17 Qualcomm Incorporated Teleconferencing using steganographically-embedded audio data
WO2015038546A1 (en) * 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation Selective watermarking of channels of multichannel audio
US9293143B2 (en) 2013-12-11 2016-03-22 Qualcomm Incorporated Bandwidth extension mode selection
US9426525B2 (en) 2013-12-31 2016-08-23 The Nielsen Company (Us), Llc. Methods and apparatus to count people in an audience
US10410643B2 (en) 2014-07-15 2019-09-10 The Nielson Company (Us), Llc Audio watermarking for people monitoring
CN109841216B (zh) * 2018-12-26 2020-12-15 珠海格力电器股份有限公司 语音数据的处理方法、装置和智能终端

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754976A (en) * 1990-02-23 1998-05-19 Universite De Sherbrooke Algebraic codebook with signal-selected pulse amplitude/position combinations for fast coding of speech
US6418424B1 (en) * 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6266419B1 (en) * 1997-07-03 2001-07-24 At&T Corp. Custom character-coding compression for encoding and watermarking media content
US6330672B1 (en) * 1997-12-03 2001-12-11 At&T Corp. Method and apparatus for watermarking digital bitstreams
US6332030B1 (en) * 1998-01-15 2001-12-18 The Regents Of The University Of California Method for embedding and extracting digital data in images and video
EP1446797B1 (en) * 2001-10-25 2007-05-23 Koninklijke Philips Electronics N.V. Method of transmission of wideband audio signals on a transmission channel with reduced bandwidth
US20030101049A1 (en) * 2001-11-26 2003-05-29 Nokia Corporation Method for stealing speech data frames for signalling purposes
JP4330346B2 (ja) * 2002-02-04 2009-09-16 富士通株式会社 音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム
JP4578145B2 (ja) * 2003-04-30 2010-11-10 パナソニック株式会社 音声符号化装置、音声復号化装置及びこれらの方法
JP4527369B2 (ja) * 2003-07-31 2010-08-18 富士通株式会社 データ埋め込み装置及びデータ抽出装置
EP1766568A1 (en) * 2004-06-14 2007-03-28 The University of North Carolina at Greensboro Systems and methods for digital content security
US7644281B2 (en) * 2004-09-27 2010-01-05 Universite De Geneve Character and vector graphics watermark for structured electronic documents security
JP4531653B2 (ja) * 2005-08-05 2010-08-25 大日本印刷株式会社 音響信号からの情報の抽出装置
WO2007109531A2 (en) * 2006-03-17 2007-09-27 University Of Rochester Watermark synchronization system and method for embedding in features tolerant to errors in feature estimates at receiver
WO2008045950A2 (en) * 2006-10-11 2008-04-17 Nielsen Media Research, Inc. Methods and apparatus for embedding codes in compressed audio data streams
US8054969B2 (en) * 2007-02-15 2011-11-08 Avaya Inc. Transmission of a digital message interspersed throughout a compressed information signal

Also Published As

Publication number Publication date
BR112013020010A2 (pt) 2017-03-21
WO2012108943A8 (en) 2013-02-07
CN103299365A (zh) 2013-09-11
KR101548846B1 (ko) 2015-08-31
WO2012108943A1 (en) 2012-08-16
HUE027046T2 (en) 2016-08-29
EP2673769A1 (en) 2013-12-18
CN103299365B (zh) 2015-05-20
EP2673769B1 (en) 2016-02-24
JP2014509409A (ja) 2014-04-17
KR20130126700A (ko) 2013-11-20
US8880404B2 (en) 2014-11-04
ES2573113T3 (es) 2016-06-06
US20120203561A1 (en) 2012-08-09

Similar Documents

Publication Publication Date Title
JP5797780B2 (ja) ウォーターマーク入り信号を適応的に符号化し復号するためのデバイス
JP6199334B2 (ja) 透かし入り信号を符号化し検出するための機器
JP5852140B2 (ja) ウォーターマーク入り信号を符号化し復号するためのデバイス
JP6077011B2 (ja) 冗長フレーム符号化および復号のためのデバイス
JP5479617B2 (ja) サブ帯域コード化復号器における損失パケットの隠蔽
JP6553025B2 (ja) 冗長フレーム情報を通信するシステムおよび方法
JP5639273B2 (ja) ピッチサイクルエネルギーを判断し、励起信号をスケーリングすること

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150819

R150 Certificate of patent or registration of utility model

Ref document number: 5797780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees