JP4391088B2 - 部分暗号化を用いるオーディオ符号化 - Google Patents

部分暗号化を用いるオーディオ符号化 Download PDF

Info

Publication number
JP4391088B2
JP4391088B2 JP2002584617A JP2002584617A JP4391088B2 JP 4391088 B2 JP4391088 B2 JP 4391088B2 JP 2002584617 A JP2002584617 A JP 2002584617A JP 2002584617 A JP2002584617 A JP 2002584617A JP 4391088 B2 JP4391088 B2 JP 4391088B2
Authority
JP
Japan
Prior art keywords
signal
parameter
component
audio
transient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002584617A
Other languages
English (en)
Other versions
JP2004531761A5 (ja
JP2004531761A (ja
Inventor
アルノルダス ダブリュー ジェイ オーメン
デ ケルクホフ レオン エム ヴァン
Original Assignee
アイピージー エレクトロニクス 503 リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイピージー エレクトロニクス 503 リミテッド filed Critical アイピージー エレクトロニクス 503 リミテッド
Publication of JP2004531761A publication Critical patent/JP2004531761A/ja
Publication of JP2004531761A5 publication Critical patent/JP2004531761A5/ja
Application granted granted Critical
Publication of JP4391088B2 publication Critical patent/JP4391088B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K1/00Secret communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H04L9/16Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms the keys or algorithms being changed during operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/167Systems rendering the television signal unintelligible and subsequently intelligible

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

本発明は、オーディオ信号の符号化及び復号に関する。特に、本発明は、半導体オーディオ又はインターネットオーディオにおいて使用されるような低ビットレートのオーディオ符号化にも関する。
コンパチブルスクランブリング(compatible scrambling)は、スクランブルをかけられたビットストリームが依然として復号可能であるが、復号された信号は、結果として劣化した信号を生じるような方法においてビットストリーム(の一部)にスクランブルをかける技術である。このように、コンパチブルスクランブリングは、複製制御された環境における圧縮オーディオビットストリームを復号した後の音質を制御するために適用されることができる。この技術は、“Secure Delivery of Compressed Audio by Compressed Bit-Stream Scrambling”, E. Allamanche and J. Herre, AES 108th Convention, Paris, 2000 February 19-22においてAAC変換コーダ(MPEG-2規格の一部であるAdavanced Audio Coding)に対して開示されている。
ここで、AACビットストリームは、ビットレートにおける増加無しで、音質が(スクランブルをかけられていないストリームについて得られる音質以下の)どんな要求されたレベルにも設定されることができるように鍵を用いて暗号化される。もし暗号鍵が(何かの処置によって)既知であれば、前記ビットストリームは、元の状態に解読されることができる。Allamancheは、また、このコンパチブルスクランブリングの方法が他の圧縮方式に対しても適用可能であることも提示する。
しかしながら、AAC変換コーダ、又はその他の波形コーダに対して、スペクトルは、典型的には、粗い及び緻密なスペクトル表示を使用して符号化される。1つの倍率の組が、粗いスペクトル表示を記述するのに使用され、後の倍率間における緻密な部分は、緻密なスペクトル構造を記述するのに使用される。Allamancheの前記コンパチブルスクランブリングは、前記緻密なスペクトル構造を、特定のより低い音質レベルの信号が得られる範囲に修正することにより行われる。
パラメータ符号化方式、例えば、PCT特許出願第PCT/EP00/05344号(代理人参照番号N017502)及びその後に出願された欧州特許出願第01201404.9号(代理人参照番号PHNL010252)において記述された正弦波コーダ型に対して、信号成分は、粗い及び緻密なスペクトル表示に関して記述されていない。むしろ正弦波パラメータは、特定の時間において始まり、特定の時間量の間に発展し、次いで停止する正弦波(sinusoid)である、いわゆるトラックを記述する。前記正弦波が活性化している期間において、前記発展は、典型的には、ゆっくり変化する。従って、Allamancheにより提案された前記コンパチブルスクランブリング技術は、正弦波符号化方式には適用可能ではない。
本発明によると、オーディオ信号を符号化する方法が提供され、前記方法は、サンプル信号値を生成するために前記オーディオ信号をサンプリングするステップと、前記オーディオ信号のパラメータ表示を生成するために前記サンプル信号値を解析するステップと、前記パラメータ表示の少なくとも幾つかのパラメータを暗号化するステップと、前記オーディオ信号が暗号化されていないパラメータ表示を使用して作成されるより低い音質レベルにおいて前記符号化されたオーディオストリームから合成されることを可能にし、且つ前記オーディオ信号を表す前記暗号化されたパラメータ表示を含む符号化されたオーディオストリームを生成するステップとを有する。
本発明の好ましい実施例において、前記パラメータ表示は、正弦波が活性化している期間の間に差分的に更新される周波数及び/又は振幅パラメータに対する、前記オーディオ信号の持続される正弦波成分を表すコードを含む。差分的な符号化された周波数及び/又は振幅値にスクランブルをかけるために、前記差分的な値は、他の差分的な値の上に写像される。これらの値を修正することにより、前記ビットストリームは、依然として復号可能であるが、結果としてランダムな周波数及び/又は振幅変化を持つトラックを生じる。その結果、前記信号は劣化されるだろう。
本発明の様々な実施例は、ここで添付図面を参照して記述されるだろう。
本発明の好ましい実施例において、パラメータ符号化方式に対するコンパチブルスクランブリングの適用が、図1に記述され、ここで、エンコーダは、2000年3月15日に出願された欧州特許出願第00200939.7号(代理人参照番号PH-NL000120)又はその後に出願された欧州特許出願第01201404.9号(代理人参照番号PHNL010252)において記述された型の正弦波コーダである。関連した場合及び前記好ましい実施例の両方において、オーディオコーダ1は、特定のサンプリング周波数において入力オーディオ信号をサンプリングし、結果として前記オーディオ信号のデジタル表示x(t)を生じる。これは、時間スケールをサンプリングレートに依存させる。コーダ1は、この場合、サンプル入力信号を3つの成分、即ち、過渡信号成分、持続される決定的(正弦波)成分、及び持続される確率的(ノイズ)成分に分離する。オーディオコーダ1は、過渡コーダ11、正弦波コーダ13、及びノイズコーダ14を有する。前記オーディオコーダは、オプションとして、ゲイン圧縮機構(GC)12を有する。
本発明のこの実施例において、過渡符号化は、持続符号化の前に実行される。これは、過渡信号成分が、持続コーダにおいて効率的に及び最適に符号化されないので有利である。もし持続コーダが過渡信号成分を符号化するために使用されれば、たくさんの符号化労力が必要となり、例えば、人は持続される正弦波のみを用いて過渡信号成分を符号化することは難しいと想像することができる。従って、持続符号化の前に符号化されるべき前記オーディオ信号からの過渡信号成分の除去は、有利である。また、前記過渡コーダにおいて導かれた過渡開始位置が、適応的分割(適応的フレーミング)のために前記持続コーダにおいて使用され得ることが、わかるだろう。
それにもかかわらず、本発明は、欧州特許出願第00200939.7号において開示された過渡符号化の特定の使用に制限されず、これは、例示する目的のみのために提供される。
過渡コーダ11は、過渡検出器(TD)110と、過渡解析器(TA)111と、過渡合成器(TS)112とを有する。まず信号x(t)が過渡検出器110に入る。この検出器110は、過渡信号成分があるかどうか、及びその位置を推定する。この情報は、過渡解析器111に入力される。この情報は、有利な信号により誘発される分割を得るために正弦波コーダ13及びノイズコーダ14においても使用され得る。もし前記過渡信号成分の位置が決定されると、過渡解析器111は、前記過渡信号成分(の主要部分)を抽出しようとする。前記過渡解析器は、例えば、複数(少数)の正弦波成分を使用することにより、形状関数を、好ましくは予測された開始位置から開始する信号セグメントと照合させ、前記形状関数の下の内容(content)を決定する。この情報は、過渡コードCTに含まれ、過渡コードCTの生成のより詳細な情報は、欧州特許出願第00200939.7号において提供される。
いかなる場合でも、例えば、前記過渡解析器がメイクスナ様形状関数(Meixner like shape function)を使用する場合、過渡コードCTは、過渡状態が始まる開始位置、実質的に初期立ち上がり速度を示すパラメータ、及び実質的に立下り速度を示すパラメータ、並びに前記過渡状態の正弦波成分に対する周波数、振幅及び位相データを有する。
もしコーダ1により作成されたビットストリームが、前記ビットストリームを生成するのに使用されるサンプリング周波数と独立にデコーダにより合成されるべきであれば、前記開始位置は、例えば、1フレーム内のサンプル数ではなく、時間値として伝送されるべきであり、前記正弦波周波数は、変換サンプリング周波数から導かれる又はそれと比例するだけの値ではなく絶対値として又は絶対値を表す識別子を使用して伝送されるべきである。それにもかかわらず、後でわかるように、本発明は上述の方式の何れを用いても実行されることができる。
また、前記形状関数が、前記過渡信号成分が振幅包絡線における階段状の変化である場合に、階段表示をも含み得ることもわかるだろう。この場合に、前記過渡状態位置は、正弦波およびノイズモジュールに対する合成中に前記分割に作用するのみである。再び、本発明はどの実行にも制限されないが、前記階段状の変化の位置は、前記サンプリング周波数と関係するサンプル数ではなく、時間値として符号化されてもよい。
過渡コードCTは、過渡合成器112に供給される。前記合成された過渡信号成分は、減算器16において入力信号x(t)から減算され、結果として信号x1を生じる。この場合、GC 12は省略され、x1 = x2。信号x2は、正弦波コーダ13に供給され、そこで信号x2が、前記(決定論的)正弦波成分を決定する正弦波解析器(SA)130において解析される。結果として生じる情報は、正弦波コードCSに含まれ、例示的な正弦波コードCSの生成を説明する、より詳細な例は、PCT特許出願第PCT/EP00/05344号(代理人参照番号N017502)において提供される。代わりに、基本的な実行は、“Speech analysis/synthesis based on sinusoidal representation”, R. McAulay and T. Quartieri, IEEE Trans. Acoust., Speech, Signal Process., 43:744-745, 1986又は“Technical description of the MPEG-4 audio-coding proposal from the University of Hannover and Deutsche Bundespost Telekom AG (revised)”, B. Edler, H. Purnhagen and C. Ferekidis, Technical note MPEG95/0414r, Int. Organisation for Standardisation ISO/IEC JTC1/SC29/WG11, 1996において開示されている。
端的に言えば、しかしながら、前記好ましい実施例の前記正弦波コーダは、入力信号x2を、1つのフレームセグメントから次に連結される正弦波成分のトラックとして符号化する。これらのトラックは、特定の時間において開始し、特定の時間量の間に発展し、次いで停止する。1つのセグメントから次へのこれらのトラックに対する更新は、周波数、振幅、及びオプションとして位相情報に関して記述される。前記正弦波が活性的である期間において、前記発展は、典型的にはゆっくり変化する。この理由から、前記周波数及び振幅パラメータを差分的に更新することは、非常にビットレート効率が良い。このように、前記トラックは、所定のセグメント、誕生において開始する正弦波に対する開始周波数、開始振幅、及び開始位相により初めに表される。その後、前記トラックは、前記トラックが終わる(死)セグメントまで周波数差と、振幅差と、あるいは位相差(連続)とにより、後続のセグメントにおいて表される。実際には、符号化する位相差においてはゲインがほとんどないことが決定されるかもしれない。このように、位相情報は、連続して符号化される必要は少しもなく、位相情報は、連続位相再生を使用して再生成されることができる。
再び、もし前記ビットストリームが、サンプリング周波数を独立にされるべきであれば、前記開始周波数は、符号化された信号が前記サンプリング周波数と独立であることを保証するために、絶対値又は絶対周波数を示す識別子として前記正弦波コードCS内に符号化される。
正弦波コードCSから、前記正弦波信号成分は、正弦波合成器(SS)131により再生される。この信号は、減算器17において正弦波コーダ13に対する入力x2から減算され、結果として(大きな)過渡信号成分及び(主な)決定論的正弦波成分の全く無い残りの信号x3を生じる。
残りの信号x3は、主にノイズを有すると推測され、前記好ましい実施例のノイズ解析器14は、このノイズを表すノイズコードCNを作成する。例えば2000年5月17日に出願されたPCT特許出願第PCT/EP00/04599号(代理人参照番号PHNL000286)の場合のように、慣習的には、前記ノイズのスペクトルは、等価矩形帯域幅(ERB)尺度により、結合されたAR(自己回帰)MA(移動平均)フィルタパラメータ(pi, qi)を用いて前記ノイズコーダにより作成される。図2のデコーダ内で、前記フィルタパラメータは、主にフィルタであり、且つ前記ノイズの前記スペクトルを概算するような周波数応答を持つノイズ合成器NS 33に入力される。NS 33は、白色ノイズ信号をARMAフィルタパラメータ(pi, qi)を用いてフィルタリングすることにより再生ノイズyNを生成し、続いてこれを後で記述される合成過渡状態yT及び正弦波信号ySに加算する。
しかしながら、ARMAフィルタパラメータ(pi, qi)は、再び前記ノイズ解析器のサンプリング周波数に依存し、もし前記符号化されたビットストリームが、前記サンプリング周波数と独立であるべきならば、これらのパラメータは、符号化される前に線スペクトル対(LSP)としても知られる線スペクトル周波数(LSF)に変換される。これらのLSFパラメータは、絶対周波数グリッド又は前記ERB尺度若しくはBark尺度と関係したグリッド上に表されることができる。LSPのより多くの情報は、“Line Spectrum Pair (LSP) and speech data compression”, F. K. Soong and B. H. Juang, ICASSP, pp. 1.10.1, 1984において発見されることができる。いかなる場合にも、線形予測フィルタ型係数(この場合にはエンコーダのサンプリング周波数に依存する(pi, qi))の1形式からサンプリング周波数と独立なLSFへのこのような変換、及び逆の変換は、よく知られ、ここではさらに論じられない。しかしながら、LSFをデコーダ内のフィルタ係数(p’i, q’i)に変換することは、ノイズ合成器33が白色ノイズサンプルを生成するような周波数を参照して行われることができ、従って、前記デコーダが、初めサンプリングされた方法と独立にノイズ信号yNを生成することを可能にする。
正弦波コーダ13における状況と同様に、ノイズ解析器14も、新しい解析ブロックを開始するための位置として前記過渡信号成分の開始位置を使用してもよいことがわかるだろう。このように正弦波解析器130及びノイズ解析器14のセグメントサイズは、必ずしも等しくはない。
それにもかかわらず、下でわかるように、本発明は、上で言及した方式の何れも含むどんなノイズ符号化方式を用いても実行されることができる。
本発明の前記好ましい実施例において、スクランブリングは、正弦波解析器130により作成される正弦波コードCsに対して実行される。特に、前記好ましい実施例において、暗号化モジュール18は、正弦波解析器130とマルチプレクサ15との間に配置される。暗号化モジュール18は、供給された鍵を使用して、トラック連続セグメントに対する正弦波コードCsの前記差分的符号化された周波数及び/又は振幅値にスクランブルをかける。換言すれば、モジュール18は、暗号化された正弦波コードCseを作成するために前記差化された値を他の差化された値に写像する。これらの値を修正することにより、コードCseを有する前記ビットストリームは、依然として復号可能であるが、結果としてトラックの寿命にわたってランダム化された周波数変化及び/又はランダム化された振幅変化を持つトラックを生じる。結果として、前記正しい鍵無しでデコーダにより作成された合成信号の音質は劣化るだろう。
劣化の量は、これらの差分的に符号化された周波数及び/又は振幅が修正される量及び範囲によって制御されることができる。従って、例えば、オーディオ信号の特定の型が、他よりスクランブリングに対して鋭敏であること、及び同様に、信号の特定の型が、振幅スクランブリングより周波数スクランブリングに対して鋭敏であることが、決定されてもよい。従って、信号が、大きな正弦波成分を有し、クラシック音楽の場合のように、トラックが長くなる傾向があり、即ち、トラックが複数のセグメントにわたって伸び、従って、トラックは、例えば、より最新のポピュラー音楽の幾つかの形式よりスクランブリングに対して鋭敏であってもよい。このように、前記スクランブリングを実行するために使用される前記鍵及び同様に前記写像は、それに応じて選択されることができる。
最後に、マルチプレクサ15において、コードCT、CSe及びCNを含むオーディオストリームASが構成される。オーディオストリームASは、例えば、データバス、アンテナシステム、記憶媒体等に供給される。従って、前記信号の暗号化されたバージョンのみが伝送又は記憶されることがわかるだろう。
図2は、本発明によるオーディオプレーヤ3を示す。図1によるエンコーダ又は非スクランブリングエンコーダの何れかにより生成されたオーディオストリームAS’は、前記データバス、アンテナシステム、記憶媒体等から得られる。オーディオストリームASは、コードCT、CSe及びCNを得るためにデマルチプレクサ30においてデマルチプレックスされる。CT及びCNコードは、欧州特許出願第00200939.7号の場合のように、それぞれ過渡合成器31及びノイズ合成器33に供給される。過渡コードCTから、前記過渡信号成分が、過渡合成器31において計算される。前記過渡コードが形状関数を示す場合、形状は、受信されたパラメータに基づいて計算される。さらに、前記形状内容は、前記正弦波成分の周波数及び振幅に基づいて計算される。もし過渡コードCTが階段を示すならば、過渡状態は計算されない。合計過渡信号yTは全ての過渡状態の和である。
もし適応的なフレーミングが使用されるならば、前記過渡位置から、正弦波合成SS 32及びノイズ合成NS 33に対する分割が計算される。ノイズコードCNは、ノイズ信号yNを生成するために使用される。これを行うためには、前記フレームセグメントに対する前記線スペクトル周波数が、前記白色ノイズが前記ノイズ合成器により生成されるような周波数専用のARMAフィルタパラメータ(p’i, q’i)にまず変換され、これらが前記オーディオ信号の前記ノイズ成分を生成するために前記白色ノイズ値と結合される。いかなる場合でも、後続のフレームセグメントは、例えば、オーバーラップアッド法(overlap-add method)により加算される。
本発明によると、しかしながら、もし解読鍵が利用可能ならば、CSeコードは、スクランブルをかけられていると推測され、まず解読モジュール38に入力される。前記解読モジュールは、解読されたコードCSを作成するために暗号化されたCSeコードに対して、従来の処理技術を通して取得された鍵を適用する。一度前記正しい鍵が前記デコーダに対して、従って解読モジュール38に対して供給されると、前記デコーダは、それ以外は、前記ビットストリームがスクランブルをかけられていること、又は前記信号を符号化する時に選択された前記特定の写像を知っている必要はない。
もし鍵が利用可能でない、例えば、前記ビットストリームはスクランブルをかけられていない、又は単純に前記鍵が得られていない場合に、供給されたCSeコードから変化されていない正弦波コードCSは、所定のセグメント上の正弦波の和として記述される信号ySを生成するために使用される。
もし前記ビットストリームがスクランブルをかけられていなければ、これは、おそらく鍵は供給されないので、元のサンプリングされた音質で合成されるだろう。
他方では、もし前記正しい鍵が、スクランブルをかけられた信号に対して利用可能ならば、コード解析器130により作成された元のコードに対応する正弦波コードCSが生成され、これらは、信号ySを生成するために合成器32に供給されることができる。
合計信号y(t)は、過渡信号yTとどんな振幅解凍の生成物との和、及び正弦波信号ySとノイズ信号yNとの和を有する。該オーディオプレーヤは、それぞれの信号を合計するために2つの加算器36及び37を有する。前記合計信号は、例えばスピーカである出力ユニット35に供給される。
従って、鍵が利用可能ではない、又は間違った鍵が使用される場合には、初めにサンプリングされた信号x(t)と比較して劣化した信号y(t)が結果として生じるだろう。他方では、もし正しい鍵が使用されるならば、前記信号y(t)の正弦波成分は、元のサンプリングされた音質において合成されるであろうし、従って、元の音質における前記合計信号を作成する。
図3は、図1に示されるオーディオコーダ1及び図2に示されるオーディオプレーヤ3を有する、本発明によるオーディオシステムを示す。このようなシステムは、再生及び記録機能を提供するが、元の音質のデータの許可されていない複製を防ぐ。暗号化されたオーディオストリームASは、前記オーディオコーダから、無線接続であってもよい通信チャネル2、データバス、又は記憶媒体によって前記オーディオプレーヤに供給される。通信チャネル2が記憶媒体の場合、前記記憶媒体は、前記システム内に固定されてもよいし、又はリムーバブルディスク、Sony CorporationのMemory StickTM等のような半導体記憶装置であってもよい。通信チャネル2は、前記オーディオシステムの一部であってもよいが、しかしながら、しばしば前記オーディオシステムの外にあるだろう。
前記好ましい実施例の変更も可能であることがわかるだろう。例えば、一方でノイズ成分CNが通常、全体の信号の相対的に小さい成分に寄与し、従ってその不在が聞き手にとって受け入れがたいことを証明できないのに対して、前記信号の前記ノイズ成分のスペクトル周波数をほぼランダムに相殺するための前記ノイズ成分のスクランブリングは、求められる効果を提供し得る。このように、暗号化モジュール(図示されていない)は、モジュール18に追加して、又は代わりにノイズ解析器14とマルチプレクサ15との間に配置されてもよい。前記デコーダ内で、対応する解読モジュール(図示されていない)は、この場合、(もし鍵が供給されるならば)前記ビットストリームから前記ノイズコードを解読するために、追加として、又は代わりにデマルチプレクサ30とノイズ合成器33との間に配置される。
さらに、一方で過渡成分CTが、典型的には前記ビットストリーム内で周期的に符号化されるだけであり、従って、それらの不在が聞き手に対して受け入れがたいと証明できないのに対して、再び、包絡線関数により重み付けされた正弦波パラメータの振幅及び周波数パラメータを、ほぼランダムに相殺するための前記過渡成分のスクランブリングは、求められる効果を提供し得る。このように、暗号化モジュール(図示されていない)は、モジュール18及び/又はどんなノイズスクランブリングモジュールにでも追加して、又は代わりに過渡解析器111とマルチプレクサ15との間に配置されてもよい。前記デコーダ内で、対応する解読モジュール(図示されていない)は、この場合、前記ビットストリームから前記過渡コードを解読する(又はしない)ために、追加として、又は代わりにデマルチプレクサ30と過渡合成器31との間に配置される。
また、本発明の実行において、コードCS、CT又はCNのスクランブリングは、マルチプレクシングの前に実行される前記コードのどんな量子化の前又は後にも起こり得ることは注目すべきである。
また、上述したように、前記暗号化及び解読モジュールの両方は、どんな数の方法においても動作し得る。従って、例えば、前記鍵は、単純に前記ビットストリームに対して直接適用される必要は無く、むしろ前記鍵は、実際には前記信号にスクランブルをかけ及び解読するために使用される写像を暗号化及び解読するために使用されてもよい。それにもかかわらず、合成写像及び鍵は、本発明の鍵として考えられることができる。
本発明は、圧縮オーディオに対する著作権管理が望まれる応用、例えば、SSA(半導体オーディオ)、EMD(電子音楽配信)、超流通及びインターネットを見出す。
本発明が、専用のハードウェア、DSP上で動くソフトウェア、又は汎用コンピュータにおいて実行されることができることが認められる。本発明は、本発明による符号化方法を実行するコンピュータプログラムを載せるCD-ROM又はDVD-ROMのような有形媒体において実施されることができる。本発明は、また、インターネットのようなデータネットワークによって伝送される信号、又は放送サービスにより伝送される信号として実施されることもできる。
上述の実施例が、本発明を制限するのではなく説明すること、及び当業者が、添付された請求項の範囲から外れることなく多くの代替実施例を設計することができるであろうことは、注目すべきである。当該請求項において、括弧の間に配置されるどの参照符号も当該請求項を制限するように解釈されるべきでない。単語‘有する’は、請求項において列挙される要素又はステップ以外の要素又はステップの存在を除外しない。本発明は、幾つかの明確な要素を有するハードウェアによって、及び適当にプログラムされたコンピュータによって実行されることができる。幾つかの手段を列挙する装置請求項において、これらの手段の幾つかは、ハードウェアの全く同一の項目により実施されることができる。特定の基準が、互いに異なる従属請求項において列挙されるという単なる事実は、これらの基準の組み合わせが都合よく使用されることができないことを示さない。
要約すると、オーディオ信号の符号化が提供され、そこで符号化されたビットストリームは前記オーディオ信号のパラメータ表示を有する。前記パラメータ表示の1つの成分は、連結された正弦波成分のトラックを有し、そこで続いて連結される成分は、既に決定された連結された信号成分のパラメータから差分的に符号化される。前記コーダは、差分的な値を他の差分的な値に写像することにより差分的に符号化された周波数及び/又は振幅値にスクランブルをかける。これらの値を修正することにより、前記ビットストリームは、依然として復号可能であるが、結果としてランダムな周波数及び/又は振幅変化を持つトラックを生じる。その結果、前記信号は劣化されるだろう。
本発明によるオーディオコーダの実施例を示す。 本発明によるオーディオプレーヤの実施例を示す。 オーディオコーダ及びオーディオプレーヤを有するシステムを示す。

Claims (17)

  1. オーディオ信号を符号化する方法であって、
    サンプル信号値を生成するために前記オーディオ信号をサンプリングするステップと、
    前記オーディオ信号のパラメータ表示を生成するために前記サンプル信号値を解析するステップであって、前記パラメータ表示は、互いに分離された成分である過渡成分、正弦波成分、及びノイズ成分から成るステップと、
    a)連続した信号セグメントにおいて存在する連結された信号成分を表すトラックを決定することにより、及びb)既に決定された連結された信号成分のパラメータに基づいてトラックを伸ばすことにより、前記オーディオ信号の持続される信号成分を作成するステップと、
    前記パラメータ表示の前記過渡成分、前記正弦波成分、及び前記ノイズ成分のうち少なくとも1つの成分の各々を別個に暗号化するステップと、
    前記オーディオ信号を表す前記暗号化されたパラメータ表示を含む符号化されたオーディオストリームであって、前記オーディオ信号が、暗号化されていないパラメータ表示を使用して作成されるものより低い音質レベルにおいて前記符号化されたオーディオストリームから合成されることを可能にする当該符号化されたオーディオストリームを生成するステップとを有し、
    前記暗号化するステップが、暗号鍵を用いて前記連結された信号成分にスクランブルをかけることを特徴とする方法。
  2. トラックにおける第1信号成分に対するパラメータが、前記信号成分の絶対周波数を表すパラメータを含み、前記暗号化するステップが、前記暗号鍵を用いて後続の信号セグメントのパラメータにスクランブルをかけるステップを有する、請求項1に記載の方法。
  3. 前記後続の信号セグメントのパラメータが、既に決定された連結された信号成分のパラメータからの差分的な振幅及び周波数値を有し、前記暗号化するステップが、前記振幅差及び/又は周波数差にスクランブルをかけるステップを有する、請求項2に記載の方法。
  4. 前記生成するステップが、第1サンプリング周波数と独立なパラメータ表示を提供し、前記オーディオ信号が前記第1サンプリング周波数と独立に合成されることを可能にする請求項1に記載の方法。
  5. 前記方法がさらに、
    ノイズ成分の目標スペクトルを推定する周波数応答を持つフィルタパラメータを決定することにより前記オーディオ信号のノイズ成分を作成するステップを有する、請求項1に記載の方法。
  6. 前記暗号化するステップが、前記フィルタパラメータにスクランブルをかけるステップを有する、請求項5に記載の方法。
  7. 前記フィルタパラメータを前記サンプリング周波数と独立なパラメータに変換するステップを有する、請求項5に記載の方法。
  8. 前記フィルタパラメータが、自己回帰及び移動平均パラメータであり、前記独立なパラメータが線スペクトル周波数を示す、請求項7に記載の方法。
  9. 前記暗号化するステップが、前記独立なパラメータにスクランブルをかけるステップを有する、請求項7に記載の方法。
  10. 前記独立なパラメータが、絶対周波数、Bark尺度、又はERB尺度の1つにおいて表される、請求項8に記載の方法。
  11. 前記方法がさらに、
    前記オーディオ信号における過渡信号成分の位置を推定するステップと、
    形状パラメータ及び位置パラメータを持つ形状関数を前記過渡信号と照合するステップと、
    を有し、
    前記暗号化するステップが、前記位置及び/又は形状パラメータにスクランブルをかけるステップを有し、
    前記生成するステップが、前記オーディオストリームにおいて前記暗号化された位置及び形状パラメータを含む、
    請求項1に記載の方法。
  12. 前記位置パラメータが、前記オーディオ信号における前記過渡信号成分の絶対時間位置を表す、請求項11に記載の方法。
  13. 前記照合するステップが、階段過渡状態を示す形状関数を提供するために振幅における階段状変化である前記過渡信号成分に反応する、請求項11に記載の方法。
  14. オーディオストリームを復号する方法であって、前記方法が、
    請求項1に記載の方法によって符号化したオーディオ信号のパラメータ表示を含む、符号化されたオーディオストリームを読み込むステップと、
    鍵の利用可能性に反応するステップであって、前記鍵を用いて、前記パラメータ表示の前記過渡成分、前記正弦波成分、及び前記ノイズ成分のうち少なくとも1つの成分の各々を別個に解読するステップと、
    前記オーディオ信号を合成するために前記解読されたパラメータ表示を使用するステップとを有することを特徴とする方法。
  15. サンプル信号値を生成するためにオーディオ信号をサンプリングするサンプラと、
    前記オーディオ信号のパラメータ表示を生成するために前記サンプル信号値を解析する解析器であって、前記パラメータ表示は、互いに分離された成分である過渡成分、正弦波成分、及びノイズ成分から成る解析器と、
    a)連続した信号セグメントにおいて存在する連結された信号成分を表すトラックを決定することにより、及びb)既に決定された連結された信号成分のパラメータに基づいてトラックを伸ばすことにより、前記オーディオ信号の持続される信号成分を作成する正弦波コーダと、
    前記パラメータ表示の前記過渡成分、前記正弦波成分、及び前記ノイズ成分のうち少なくとも1つの成分の各々に別個にスクランブルをかける暗号化モジュールであって、暗号鍵を用いて前記連結された信号成分にスクランブルをかける暗号化モジュールと、
    前記オーディオ信号を表す前記暗号化されたパラメータ表示を含む符号化されたオーディオストリームであって、前記オーディオ信号が、暗号化されていないパラメータ表示を使用して作成されるものより低い音質レベルにおいて前記符号化されたオーディオストリームから合成されることを可能にする当該符号化されたオーディオストリームを生成するビットストリーム生成器と、
    を有する、オーディオコーダ。
  16. 請求項1に記載の方法によって符号化されたオーディオストリームを読み込む手段と、
    鍵の利用可能性に反応する手段であって、前記鍵を用いて前記パラメータ表示の少なくとも一部のパラメータを解読する手段と、
    前記オーディオ信号を合成するために前記解読されたパラメータ表示を使用するように構成された合成器と、
    を有する、オーディオプレーヤ。
  17. 請求項15に記載のオーディオデコーダと、請求項16に記載のオーディオプレーヤとを有するオーディオシステム。
JP2002584617A 2001-04-18 2002-04-09 部分暗号化を用いるオーディオ符号化 Expired - Fee Related JP4391088B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01201405 2001-04-18
PCT/IB2002/001281 WO2002087241A1 (en) 2001-04-18 2002-04-09 Audio coding with partial encryption

Publications (3)

Publication Number Publication Date
JP2004531761A JP2004531761A (ja) 2004-10-14
JP2004531761A5 JP2004531761A5 (ja) 2005-12-22
JP4391088B2 true JP4391088B2 (ja) 2009-12-24

Family

ID=8180170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002584617A Expired - Fee Related JP4391088B2 (ja) 2001-04-18 2002-04-09 部分暗号化を用いるオーディオ符号化

Country Status (10)

Country Link
US (1) US7319756B2 (ja)
EP (1) EP1382202B1 (ja)
JP (1) JP4391088B2 (ja)
KR (1) KR100927842B1 (ja)
CN (1) CN1274153C (ja)
AT (1) ATE334556T1 (ja)
BR (1) BR0204835A (ja)
DE (1) DE60213394T2 (ja)
ES (1) ES2266481T3 (ja)
WO (1) WO2002087241A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1523863A1 (en) * 2002-07-16 2005-04-20 Koninklijke Philips Electronics N.V. Audio coding
FR2845543B1 (fr) * 2002-10-03 2005-02-04 Medialive Systeme d'embrouillage securise de flux audio
US7764791B2 (en) * 2002-10-03 2010-07-27 Daniel Lecomte Method for secured transmission of audiovisual files
US7630492B2 (en) 2002-10-03 2009-12-08 Daniel Lecomte Secure audio stream scramble system
FR2849980B1 (fr) * 2003-01-15 2005-04-08 Medialive Procede pour la distribution de sequences video, decodeur et systeme pour la mise en oeuvre de ce prodede
FR2853786B1 (fr) * 2003-04-11 2005-08-05 Medialive Procede et equipement de distribution de produits videos numeriques avec une restriction de certains au moins des droits de representation et de reproduction
FR2854531B1 (fr) * 2003-05-02 2007-01-05 Medialive Procede et systeme pour securiser l'embrouillage, le desembrouillage et la distribution de sequences visuelles vectorielles
ES2354427T3 (es) * 2003-06-30 2011-03-14 Koninklijke Philips Electronics N.V. Mejora de la calidad de audio decodificado mediante la adición de ruido.
KR20060131729A (ko) * 2003-09-09 2006-12-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 과도 오디오 신호 성분들의 인코딩
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
WO2006085244A1 (en) * 2005-02-10 2006-08-17 Koninklijke Philips Electronics N.V. Sound synthesis
CN101160976B (zh) * 2005-04-13 2010-05-19 株式会社Ntt都科摩 运动图像编码装置及其方法、运动图像解码装置及其方法
WO2007083931A1 (en) * 2006-01-18 2007-07-26 Lg Electronics Inc. Apparatus and method for encoding and decoding signal
US7515710B2 (en) 2006-03-14 2009-04-07 Divx, Inc. Federated digital rights management scheme including trusted systems
KR100836942B1 (ko) * 2006-04-18 2008-06-12 프레스티지전자 주식회사 음성신호의 인크립션/디크립션 방법과 이를 위한 장치
US20080101711A1 (en) * 2006-10-26 2008-05-01 Antonius Kalker Rendering engine for forming an unwarped reproduction of stored content from warped content
EP1921608A1 (en) * 2006-11-13 2008-05-14 Electronics And Telecommunications Research Institute Method of inserting vector information for estimating voice data in key re-synchronization period, method of transmitting vector information, and method of estimating voice data in key re-synchronization using vector information
ES2935410T3 (es) 2007-01-05 2023-03-06 Divx Llc Sistema de distribución de vídeo que incluye reproducción progresiva
KR20080073925A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 파라메트릭 부호화된 오디오 신호를 복호화하는 방법 및장치
KR101317269B1 (ko) 2007-06-07 2013-10-14 삼성전자주식회사 정현파 오디오 코딩 방법 및 장치, 그리고 정현파 오디오디코딩 방법 및 장치
KR101346771B1 (ko) * 2007-08-16 2013-12-31 삼성전자주식회사 심리 음향 모델에 따른 마스킹 값보다 작은 정현파 신호를효율적으로 인코딩하는 방법 및 장치, 그리고 인코딩된오디오 신호를 디코딩하는 방법 및 장치
KR101410230B1 (ko) 2007-08-17 2014-06-20 삼성전자주식회사 종지 정현파 신호와 일반적인 연속 정현파 신호를 다른방식으로 처리하는 오디오 신호 인코딩 방법 및 장치와오디오 신호 디코딩 방법 및 장치
KR20100106327A (ko) 2007-11-16 2010-10-01 디브이엑스, 인크. 멀티미디어 파일을 위한 계층적 및 감소된 인덱스 구조
CN102460574A (zh) * 2009-05-19 2012-05-16 韩国电子通信研究院 用于使用层级正弦脉冲编码对音频信号进行编码和解码的方法和设备
WO2011068668A1 (en) 2009-12-04 2011-06-09 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US8914534B2 (en) 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8787570B2 (en) 2011-08-31 2014-07-22 Sonic Ip, Inc. Systems and methods for automatically genenrating top level index files
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
JP6213879B2 (ja) * 2012-12-17 2017-10-18 パナソニックIpマネジメント株式会社 情報処理装置および制御方法
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
CN107111477B (zh) 2015-01-06 2021-05-14 帝威视有限公司 用于编码内容和在设备之间共享内容的系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4232194A (en) * 1979-03-16 1980-11-04 Ocean Technology, Inc. Voice encryption system
US4612414A (en) * 1983-08-31 1986-09-16 At&T Information Systems Inc. Secure voice transmission
CN1062963C (zh) * 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
US5243653A (en) * 1992-05-22 1993-09-07 Motorola, Inc. Method and apparatus for maintaining continuous synchronous encryption and decryption in a wireless communication system throughout a hand-off
DK46493D0 (da) * 1993-04-22 1993-04-22 Frank Uldall Leonhard Metode for signalbehandling til bestemmelse af transientforhold i auditive signaler
JP3496411B2 (ja) * 1996-10-30 2004-02-09 ソニー株式会社 情報符号化方法及び復号化装置
US5886276A (en) * 1997-01-16 1999-03-23 The Board Of Trustees Of The Leland Stanford Junior University System and method for multiresolution scalable audio signal encoding
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
DE19747132C2 (de) * 1997-10-24 2002-11-28 Fraunhofer Ges Forschung Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms
CA2329315A1 (en) * 1998-04-21 1999-10-28 Solana Technology Development Corporation Multimedia adaptive scrambling system (mass)
US6888943B1 (en) * 1998-04-21 2005-05-03 Verance Corporation Multimedia adaptive scrambling system (MASS)
JO2117B1 (en) * 1998-07-15 2000-05-21 كانال + تيكنولوجيز سوسيته انونيم A method and device for the secure communication of information between a group of audio-visual devices that operate with numbers
US6266644B1 (en) * 1998-09-26 2001-07-24 Liquid Audio, Inc. Audio encoding apparatus and methods
DE19907964C1 (de) * 1999-02-24 2000-08-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen eines verschlüsselten Datenstroms und Vorrichtung und Verfahren zum Erzeugen eines entschlüsselten Audio- und/oder Videosignals
JP2003502703A (ja) 1999-06-18 2003-01-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 改善された符号器を有するオーディオ伝送システム
US7085377B1 (en) * 1999-07-30 2006-08-01 Lucent Technologies Inc. Information delivery in a multi-stream digital broadcasting system
ES2292581T3 (es) * 2000-03-15 2008-03-16 Koninklijke Philips Electronics N.V. Funcion laguerre para la codificacion de audio.
US20020076049A1 (en) * 2000-12-19 2002-06-20 Boykin Patrick Oscar Method for distributing perceptually encrypted videos and decypting them
US6845359B2 (en) * 2001-03-22 2005-01-18 Motorola, Inc. FFT based sine wave synthesis method for parametric vocoders

Also Published As

Publication number Publication date
US7319756B2 (en) 2008-01-15
WO2002087241A1 (en) 2002-10-31
CN1274153C (zh) 2006-09-06
KR20030010702A (ko) 2003-02-05
KR100927842B1 (ko) 2009-11-23
CN1463547A (zh) 2003-12-24
ES2266481T3 (es) 2007-03-01
DE60213394D1 (de) 2006-09-07
EP1382202A1 (en) 2004-01-21
JP2004531761A (ja) 2004-10-14
DE60213394T2 (de) 2007-08-23
US20020154774A1 (en) 2002-10-24
EP1382202B1 (en) 2006-07-26
ATE334556T1 (de) 2006-08-15
BR0204835A (pt) 2003-06-10

Similar Documents

Publication Publication Date Title
JP4391088B2 (ja) 部分暗号化を用いるオーディオ符号化
US9008306B2 (en) Adaptive and progressive audio stream scrambling
KR100723753B1 (ko) 스펙트럼 대역 복사에 의한 오디오 디코딩 장치 및 오디오디코딩 방법
KR20070070137A (ko) 오디오 데이터 부호화 및 복호화 장치와 방법
JP2013080252A (ja) 正弦波符号化
JP4359499B2 (ja) オーディオ信号の編集
US7197454B2 (en) Audio coding
US8200498B2 (en) Secure audio stream scramble system
KR20020097164A (ko) 신호 스크램블링 방법
KR101387808B1 (ko) 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
JP2004318126A (ja) デジタルオーディオ処理
Kirbiz et al. Decode-time forensic watermarking of AAC bitstreams
KR20130106768A (ko) 낮은 비트 레이트로 인코딩되고 디코딩된 워터마킹된 오디오 또는 비디오 신호로부터 도출된 워터마킹되고 디코딩된 오디오 또는 비디오 신호를 제공하는 방법
Horvatic et al. Robust audio watermarking: based on secure spread spectrum and auditory perception model
JP2000224046A (ja) ベクトル量子化装置およびベクトル量子化方法
Brandenburg Audio coding and electronic distribution of music
JP2006195066A (ja) 符号化オーディオ信号の再生装置及び再生方法
JP2001094434A (ja) オーディオ信号符号化装置及びオーディオ信号復号化装置
Xu et al. Digital Audio Watermarking
WO2003085836A1 (fr) Procede d'enregistrement/lecture de signal, procede de generation d'une chaine de codes et programme
Allamanche et al. S ecure Delivery of Cornpressed Audio by Cornpatible Bitstream Scrambling
JP2003308013A (ja) データ変換方法およびデータ変換装置、データ復元方法およびデータ復元装置、データフォーマット、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081031

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081110

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091007

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees