JP5047519B2 - デジタル音声データ処理装置及び処理方法 - Google Patents

デジタル音声データ処理装置及び処理方法 Download PDF

Info

Publication number
JP5047519B2
JP5047519B2 JP2006082012A JP2006082012A JP5047519B2 JP 5047519 B2 JP5047519 B2 JP 5047519B2 JP 2006082012 A JP2006082012 A JP 2006082012A JP 2006082012 A JP2006082012 A JP 2006082012A JP 5047519 B2 JP5047519 B2 JP 5047519B2
Authority
JP
Japan
Prior art keywords
data
reference frame
header
header information
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006082012A
Other languages
English (en)
Other versions
JP2007256705A (ja
Inventor
清次 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2006082012A priority Critical patent/JP5047519B2/ja
Publication of JP2007256705A publication Critical patent/JP2007256705A/ja
Application granted granted Critical
Publication of JP5047519B2 publication Critical patent/JP5047519B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明は、符号化データをパケット化した複数のデータパケットをデジタル処理するデジタル音声データ処理装置及び処理方法に関するものである。
例えばデジタル又はインターネット放送受信機を用いて、画像データ(ビデオデータ)や音声データ(オーディオデータ)をデジタル化して多重伝送するデジタル放送が既に開始されている。このデジタル放送においては、所定の圧縮符号化方式(例えばMPEG;Moving Picture Expert Group方式等)が採用されており、複数の番組のデータが、当該符号化方式に対応したストリーム(例えばMPEGトランスポートストリーム;MPEG−TS等)に多重化して伝送される。このように多重化しストリームとして伝送されたデータは、これを受信した受信機側において所望のデータが選択的に抽出される。
近年、ブロードバンド化の一層の進展に伴い、携帯電話機やその他の携帯端末(いわゆる第三世代の携帯端末、車載端末、モバイル機器)等、比較的簡素な構造のデジタル又はインターネット放送受信機を用い、簡易的な動画配信サービスを行うことが計画されている。このとき、機能的にデータ伝送量において一定の制約があるため、符号化データをパケット化した複数のデータパケットを伝送するようになっている。
この場合、音声データ(オーディオデータ)については、従来より幅広く使用されてきた、上記MPEGで規格化したAAC(Advanced Audio Coding)規格に加え、SBR(Spectral Band Replication)技術を適用した符号化がすでに提唱されている(例えば、特許文献1参照)。
すなわち、一般に、音声データの符号化においては、高周波数成分の符号化に十分なビットを割り当てるのが困難であることに由来して、圧縮率が高くなるほど、再生帯域の上限周波数が低下し音質が劣化する傾向となる。上記SBR技術はこのような高周波数成分の欠落を補うものであり、低周波数成分から高周波数成分を予測するための補助情報を予めストリーム内に格納しておき、再生時には帯域拡張処理を施して擬似的に帯域を拡張して高周波数成分を生成することで、高音質な再生を可能とするものである。
このような従来のAACに加えSBRを追加した符号化方式は、AAC−plusと称されており、1フレームのデータは、AACの符号化データ(BaseCodec)と、SBRの符号化データとから構成される。なお、AACにのみ対応した従来の復号化手段であっても、SBRデータを読み飛ばすことによってAACデータのみを復号化できるようになっている。
特開2006−50387号公報
上記SBRを用いた符号化方式では、前述したように、低周波数成分から高周波数成分を予測するための補助情報に対し再生時に帯域拡張処理を施して高周波数成分を生成するものである。このとき、前述したデータ伝送量の制約に基づき、所定のフレームデータ単位(例えば数フレームから数十フレーム単位)ごとに(例えば不定期に)SBRヘッダを備えたフレーム(基準フレーム)が挿入されている。そして、このフレーム以外のSBRヘッダを備えないフレーム(非基準フレーム)も含み、すべてのフレームが、当該SBRヘッダに格納した情報(ヘッダ情報)より演算用のテーブルを作成し、このテーブルに基づき上記帯域拡張処理を行って高周波成分を生成するようになっている。
この場合、(トータルの伝送量を削減できるというメリットはあるものの)上記のようにSBRデータの復号化には必ずSBRヘッダのヘッダ情報が必要になるため、何らかの事情でストリームの一部が消失した(=エラー発生)場合には(その間にヘッダ情報が変化している可能性があることから)次にSBRヘッダの情報を取得するまで、復号化が行えなくなる。このため、いったんエラーが発生すると、次のSBRヘッダの情報を取得するまでの間は、AACデータ(すなわち低域部分)のみが復号化されて出力され、高域が再生されないので、操作者に対し聴感上違和感を与えることとなっていた。
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
上記課題を解決するために、請求項1記載の発明は、符号化データをパケット化して構成された複数のデータパケットであって、各データパケットは、基準フレーム及び非基準フレームからなる複数のフレームを備え、前記非基準フレームが、音声情報を符号化した非基準第1データと、この非基準第1データの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データとを含み、前記基準フレームが、音声情報を符号化した基準第1データと、この基準第1データの再生帯域を拡大するための帯域拡大情報を符号化して構成され、前記非基準第2データの演算処理を行うためのヘッダ情報を備えた処理ヘッダを有する基準第2データとを含む、ストリームを処理するデジタル音声データ処理装置であって、前記ストリームの一部が消失したかどうかを判定するエラー判定手段と、前記基準フレームの前記基準第2データに備えられた前記処理ヘッダの前記ヘッダ情報を取得するヘッダ情報取得手段と、前記基準フレーム又は前記非基準フレームの前記基準第1データ又は前記非基準第1データを復号化し、第1復号化データを生成する第1復号化手段と、前記基準フレーム又は前記非基準フレームの前記基準第2データ又は前記非基準第2データを、前記ヘッダ情報取得手段で取得した前記ヘッダ情報を用いて復号化し、第2復号化データを生成する第2復号化手段と、前記エラー判定手段で前記非基準フレームが消失したと判定された場合、後続する非基準フレームの前記非基準第2データを、当該消失前に前記ヘッダ情報取得手段が前記基準第2データの前記処理ヘッダより取得した前記ヘッダ情報を用いて前記第2復号化手段で復号化し、みなし第2復号化データとして前記第1復号化データと併せて出力するための出力制御手段と、前記エラー判定手段で前記非基準フレームが消失したと判定された場合、後続する非基準フレームの前記非基準第2データに対し、当該消失前に前記ヘッダ情報取得手段が前記基準第2データの前記処理ヘッダより取得した前記ヘッダ情報を用いて、前記非基準第2データのデータ長を算出する解析手段と、前記算出されたデータ長と前記非基準第1データより取得される前記非基準第2データのデータ長情報とを照合する照合手段と、を有し、前記出力制御手段は、前記照合手段の照合結果に基づき、前記第1復号化データと併せ前記みなし第2復号化データの出力を行うか行わないかを切り替える。
また、請求項3記載の発明は、符号化データをパケット化して構成された複数のデータパケットであって、各データパケットは、基準フレーム及び非基準フレームからなる複数のフレームを備え、前記非基準フレームが、音声情報を符号化した非基準第1データと、この非基準第1データの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データとを含み、前記基準フレームが、音声情報を符号化した基準第1データと、この基準第1データの再生帯域を拡大するための帯域拡大情報を符号化して構成され、前記非基準第2データの演算処理を行うためのヘッダ情報を備えた処理ヘッダを有する基準第2データとを含む、ストリームを処理するデジタル音声データ処理方法であって、前記ストリームの一部が消失したかどうかを判定するエラー判定手順と、前記基準フレームの前記基準第2データに備えられた前記処理ヘッダの前記ヘッダ情報を取得するヘッダ情報取得手順と、前記基準フレーム又は前記非基準フレームの前記基準第1データ又は前記非基準第1データを復号化し、第1復号化データを生成する第1復号化手段と、前記基準フレーム又は前記非基準フレームの前記基準第2データ又は前記非基準第2データを、前記ヘッダ情報取得手順で取得した前記ヘッダ情報を用いて復号化し、第2復号化データを生成する第2復号化手順と、前記エラー判定手順で前記非基準フレームが消失したと判定された場合、後続する非基準フレームの前記非基準第2データに対し、当該消失前に前記ヘッダ情報取得手順で前記基準第2データの前記処理ヘッダより取得した前記ヘッダ情報を用いて、前記非基準第2データのデータ長を算出する解析手順と、前記算出されたデータ長と、前記非基準第1データより取得される前記非基準第2データのデータ長情報とを照合する照合手順と、を有し、前記エラー判定手順で前記非基準フレームが消失したと判定された場合、後続する非基準フレームの前記非基準第2データを、当該消失前に前記ヘッダ情報取得手順で前記基準第2データの前記処理ヘッダより取得した前記ヘッダ情報を用いて復号化し、みなし第2復号化データとして前記第1復号化データと併せて出力するか出力しないかを、前記照合手順での照合結果に基づいて切り替える。
以下、本発明の一実施の形態を図面を参照しつつ説明する。この実施形態は、デジタル音声データ処理装置の一例として、携帯電話機に適用した場合の実施形態である。
図1は、本実施形態の携帯電話機の全体外観を表す斜視図である。図1において、デジタル音声データ処理装置としてのこの携帯電話機1は、TS(Transport Stream)として配信される音声データ、映像データ、データ放送用データなどを有するコンテンツデータを取得して出力する、MPEG2−TSシステムを用いた地上波デジタル放送(ワンセグ放送)対応のものである。
携帯電話機1は、この例では、本体ケーシング2と、この本体ケーシング2の下部に設けられ、電話番号の入力キーや各種の機能ボタンなどを備えた操作部3と、その基端部が本体ケーシング2の下端部に枢支されて本体ケーシング2に対し開閉自在に取り付けられた開閉カバー4と、各種表示を行う表示部5と、無線通信を介しデータ送受信を行うためのアンテナ6と、音声を発するスピーカ7と、開閉操作のためのレバースイッチ8と、マイク9と、例えば地上波デジタル放送や衛星デジタル放送などの放送波を受信する放送用アンテナ10(図示せず、後述の図2参照)等を備えている。
図2は、上記携帯電話機1の機能的構成を表す機能ブロック図である。図2において、放送局や他の携帯電話機等から送信されてきた電波が上記アンテナ6,10で受信された後、アンテナ6,10に接続された送受信部100で復調され、その復調した受信信号に対し信号処理部101で再生のための所定の信号処理(詳細は後述)が施される。信号処理部101で処理した信号は、スピーカ7で音声として再生される。
このとき、送受信部100は図示しないTS受信部を備えており、このTS受信部に上記放送用アンテナ10(なお、上記アンテナ6と兼用でもよい)が接続されている。このTS受信部は、信号処理部101の制御により、上記放送用アンテナ10からデジタル信号として送信される例えば複数のTSから、利用者により選択されたコンテンツに対応するTSを取得する。そして、取得したTSを信号処理部101にTS信号として出力する。
一方、話者の会話はマイク9に入力されて音声信号に変換される。この音声信号は上記信号処理部101において送信のための信号処理が施され、無線送受信部100では上記信号処理部101からの音声信号を変調してアンテナ6へ供給し、アンテナ6はその音声信号を電波として送信する。
なお、上記の各構成要素は、CPU等を備えた制御部101によってその動作が制御される。
図3は、本実施形態の携帯電話機1に備えられるアンテナ10で受信されるTSストリームのうち、音声に係わる部分を抜き出して概念的に表す模式図である。
図3において、アンテナ10で受信されるストリーム(この例ではElementary Stream)は、符号化データをパケット化して構成された複数のデータパケットを備えており、各データパケットが図示のような複数のフレームを備えている。これら複数のフレームは、基準フレームSFと、それ以外の非基準フレームIFとから構成されている。
非基準フレームIFは、音声情報をAAC規格で符号化したBaseCodec(非基準第1データ)と、このBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化したSBRデータ(非基準第2データ。但しSBRヘッダを含まない)とを含んでいる。
基準フレームSFは、上記同様に音声情報をAAC規格で符号化したBaseCodec(基準第1データ)と、このBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化して構成され、上記SBRヘッダなしのSBRデータの演算処理を行うためのヘッダ情報を備えたSBRヘッダ(処理ヘッダ)を備えたSBRデータ(基準第2データ)とを含んでいる。SBRヘッダのヘッダ情報を用いることで上記演算処理用のテーブルが作成され、このテーブルに基づき帯域拡張処理を行って高周波成分を生成可能となっている。
図4は、上記信号処理部101のうち、上記音声信号の再生処理に係わる構成を表す機能ブロック図である。
図4において、信号処理部101は、BaseCodecDecode部11と、エラー処理部12と、UpSampling部13と、SBRDecode部14と、BaseCodecDecode部11からの切替制御信号により切り替えられるスイッチ15(出力制御手段)とを備えている。
BaseCodecDecode部11は、複数の機能を備えている。まず第1の機能として、図3を用いて前述した音声信号のストリーム(Elementary Stream)を入力し、基準フレームSF及び非基準フレームIFに含まれるBaseCodec部のデコード(復号化)を行う(第1復号化手段)。
また、BaseCodecDecode部11は、第2の機能として、各フレームがSBR_headerを有しているフレームかどうか(言い換えれば基準フレームSFか非基準フレームIFか)を判定するとともに、基準フレームSFであった場合には、SBRデータに備えられたSBRヘッダの上記ヘッダ情報の取得を行う(ヘッダ情報取得手段)。
さらに、BaseCodecDecode部11は、第3の機能として、公知の手法でSBR部のSyntax解析を行う(解析手段)とともに、そのSBR部のSyntax解析が終わった時点で、SBRのSyntax解析が正常にできたかどうかを照合判定する(照合手段)。
すなわち、携帯受信機1で受信される上記ストリームESの場合、通常、各フレームに備えられる基準フレームSFのBaseCodec(基準第1データ)や非基準フレームIFのBaseCodec(非基準第1データ)には、対応するSBRデータ(基準第2データ、又は非基準第2データ)のデータ長情報が含まれている。
そこで、上記SBRヘッダのヘッダ情報を用いたsyntax解析により実際に得られたSBR部の解析データ長(ビット長)と、前述のBaseCodecより得られたデータ長(バイト長)情報とが、
0≦(SBR部のデータ長情報値×8−SBR部の解析ビット長)<8
‥ (式1)
の関係を満たしていれば(所定範囲内で略一致すれば)、SBRのSyntax解析が正常にできたと判定する。
さらに、BaseCodecDecode部11は、第4の機能として、ESの一部が消失したか(=エラーが発生したか)どうかのエラー判定も行う(エラー判定手段)。このときの判定方法は、BaseCodecDecode部11におけるESのデコード処理過程で不具合が生じた時にエラーと判定しても良いし、ESが入力されるときに、別途当該ESについてのエラー情報を外部より受け取って判定するようにしても良い。
ここで、本実施形態では、前述したように、スイッチ15は、BaseCodecDecode部11からの切替制御信号に基づき、エラー処理部12、UpSampling部13、SBRDecode部14のいずれかからの出力を選択してスピーカ7側へと出力するようになっている。図5は、このBaseCodecDecode部11が各フレームごとに実行する処理手順を表すフローチャートである。
図5において、まずステップS5において、ヘッダ情報取得を表すフラグFh=0とする。その後、ステップS10で、前述のエラー判定手段としての機能によりエラーが発生しているかどうかを判定する(判定手順)。ESの一部が消失し当該フレームでエラーが発生していた場合には判定が満たされ、ステップS55で上記フラグFh=0にした後、ステップS60に移る。
ステップS60では、エラー処理部12に所定のエラー用データを出力するように指示を出すとともに、スイッチ15をエラー処理部12側に切り替える切替制御信号を出力する。これに応じて、エラー処理部12は、エラー用データとして、無音状態とするMute信号(又は前後のデータから適宜の手法で補間したデータでもよい)を出力し(エラー用データ生成手段、エラー用データ生成手順)、スイッチ15からスピーカ7側へと出力される。
一方、ステップS10でエラーが発生していなかった場合には判定が満たされず、ステップS15に移る。ステップS15では、前述のヘッダ情報取得手段としての機能により、当該フレームよりSBRヘッダのヘッダ情報を取得する(ヘッダ情報取得手順)。その後、ステップS20でSBRヘッダがあったかどうか(言い換えれば、ヘッダ情報から演算用のテーブルが作成されているかどうか)を判定する。ヘッダ情報が取得され演算用のテーブルが作成されていた場合には判定が満たされ、ステップS25で上記フラグFh=1とした後、ステップS30に移る。なお、ステップS20でSBRヘッダがなかった場合には判定が満たされず、直接ステップS30に移る。
ステップS30では、上記フラグFh=1であるかどうか(言い換えればヘッダ情報が取得され演算用テーブルが作成されているか)を判定する。判定が満たされたらステップS35へ移って、前述の解析手段としての機能によりSBRのシンタックス解析を行ってSBRの各種パラメータの取得を行い(解析手順)、ステップS40へ移る。
ステップS40では、前述の照合手段としての機能により、ヘッダ情報を用いたsyntax解析により実際に得られたSBR部の解析データ長(ビット長)と、BaseCodecより得られたデータ長情報とが、前述の式1の関係を満たすかどうか(適合しているかどうか)を判定する(照合手順)。式1の関係を満たしていない場合、判定が満たされず、ステップS65で上記フラグFh=0とした後、ステップS70に移る。なお、前述のステップS30での判定が満たされない場合も、ステップS70に移る。
ステップS70では、UpSampling部13に対し前述の第1復号化手段としての機能によりデコードしたBaseCodec部の復号化データを出力するとともに、スイッチ15をUpSampling部13に切り替える切替制御信号を出力する。これに応じて、UpSampling部13は、BaseCodecDecode部11から受け取った上記BaseCodec部の復号化データを2倍にアップサンプリングしてスイッチ15に出力し、スイッチ15からスピーカ7側へと出力される。
一方、ステップS40で式1の関係が満たされていた場合には判定が満たされ、ステップS45に移る。ステップS45では、直前フレームのデコードパラメータが揃っているかどうかを判定する。デコードパラメータが揃っていなければ判定が満たされず上記ステップS70へと移り、揃っていれば判定が満たされ、ステップS50に移る。
ステップS50では、前述の第1復号化手段としての機能によりデコードしたBaseCodec部の復号化データ及び(この時点で保持している)SBR部のSyntax(言い換えればヘッダ情報に基づくテーブル)をSBRDecode部14に出力するとともに、スイッチ15をSBRDecode部14に切り替える切替制御信号を出力する。これに応じて、SBRDecode部14は、BaseCodecDecode部11から受け取ったBaseCodec部の復号化データに、さらに前述のSBR部のSyntax情報に基づくテーブルを用いて復号化処理を行い生成したSBR部の復号化データを加えてスイッチ15に出力し(第2復号化手順)、スイッチ15からスピーカ7側へと出力される。
前述のステップS70、ステップS50、ステップS60が終了したら、ステップS10に戻り、同様の手順を繰り返す。
上記フローのように、本実施形態では、エラー発生の前後でSBRヘッダの値が変化していないと仮定してエラー前のSBRヘッダ情報でテーブルを作成しこれに基づきSBR部のデコード処理を行う(ステップS15→‥→ステップS25→‥→ステップS50)。但し、その際に実際にはエラー発生の前後でSBRヘッダのヘッダ情報が変わっているかも知れないため、これをSBR部のデータ長の正当性でもって確認するようにしている(ステップS40参照)ものである。
以上説明したように、本実施形態におけるデジタル音声データ処理装置1は、符号化データをパケット化して構成された複数のデータパケットであって、各データパケットは、基準フレームSF及び非基準フレームIFからなる複数のフレームを備え、非基準フレームIFが、音声情報を符号化した非基準第1データ(この例ではBaseCodec)と、この非基準第1データBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データ(この例ではSBR)とを含み、基準フレームSFが、音声情報を符号化した基準第1データ(この例ではBaseCodec)と、この基準第1データBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化して構成され、非基準第2データSBRの演算処理を行うためのヘッダ情報を備えた処理ヘッダ(この例ではSBRヘッダ)を有する基準第2データ(この例ではSBR)とを含む、ストリームを処理するデジタル音声データ処理装置1であって、ストリームの一部が消失したかどうかを判定するエラー判定手段(この例ではBaseCodecDecode部11)と、基準フレームSFの基準第2データSBRに備えられた処理ヘッダのヘッダ情報を取得するヘッダ情報取得手段(この例ではBaseCodecDecode部11)と、基準フレームSF又は非基準フレームIFの基準第1データBaseCodec又は非基準第1データBaseCodecを復号化し、第1復号化データ(この例ではデコード後のBaseCodecデータ)を生成する第1復号化手段(この例ではBaseCodecDecode部11)と、基準フレームSF又は非基準フレームIFの基準第2データSBR又は非基準第2データSBRを、ヘッダ情報取得手段11で取得したヘッダ情報を用いて復号化し、第2復号化データ(この例ではデコード後のSBRデータ)を生成する第2復号化手段(この例ではSBRDecode部14)と、エラー判定手段11で非基準フレームIFが消失したと判定された場合、後続する非基準フレームIFの非基準第2データSBRを、当該消失前にヘッダ情報取得手段11が基準第2データSBRの処理ヘッダ(SBRヘッダ)より取得したヘッダ情報を用いて第2復号化手段14で復号化し、みなし第2復号化データ(デコード後のSBRデータ)として第1復号化データ(デコード後のBaseCodecデータ)と併せて出力するための出力制御手段(この例ではスイッチ15)とを有することを特徴とする。
本実施形態においては、ストリームの各データパケットに備えられる複数のフレームのそれぞれが、基準第1データBaseCodec及び基準第2データSBRを含む基準フレームSFと、非基準第1データBaseCodec及び非基準第2データSBRを含む非基準フレームIFとから構成されている。そのうち、基準第1データBaseCodec及び非基準第1データBaseCodecが第1復号化手段11で復号化されて第1復号化データ(デコード後のBaseCodecデータ)が生成される一方、基準第2データSBR及び非基準第2データSBRについては、ヘッダ情報取得手段11で取得したヘッダ情報を用いて第2復号化手段14で復号化され、第2復号化データ(デコード後のSBRデータ)が生成される。
このとき、エラー判定手段11でストリームの一部が消失したか(=エラーが発生したか)どうかが判定されているが、エラー発生と判断されたときには、そのエラー発生前にヘッダ情報取得手段11で取得されたヘッダ情報を用い第2復号化手段14で復号化されたデータが、みなし第2復号化データ(デコード後のSBRデータ)として出力制御手段15により第1復号化データ(デコード後のBaseCodecデータ)と併せて出力される。これにより、エラー発生前後でヘッダ情報が変化していなければ、みなし第2復号化データ(デコード後のSBRデータ)はエラー発生前の第2復号化データ(デコード後のSBRデータ)と同一となるので、エラー発生前と同様、正しく復号化された第2復号化データ(デコード後のSBRデータ)を第1復号化データ(デコード後のBaseCodecデータ)とともに出力することができる。この結果、エラー発生後に第1復号化データ(デコード後のBaseCodecデータ)しか出力しない場合に比べ、可能な限り聴感上の違和感を低減することができる。
また、本実施形態のデジタル音声データ処理装置1を用いたデジタル音声データ処理方法においては、符号化データをパケット化して構成された複数のデータパケットであって、各データパケットは、基準フレームSF及び非基準フレームIFからなる複数のフレームを備え、非基準フレームIFが、音声情報を符号化した非基準第1データBaseCodecと、この非基準第1データBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データSBRとを含み、基準フレームSFが、音声情報を符号化した基準第1データBaseCodecと、この基準第1データBaseCodecの再生帯域を拡大するための帯域拡大情報を符号化して構成され、非基準第2データSBRの演算処理を行うためのヘッダ情報を備えた処理ヘッダ(SBRヘッダ)を有する基準第2データSBRとを含む、ストリームを処理するデジタル音声データ処理方法であって、ストリームの一部が消失したかどうかを判定するエラー判定手順(この例では図5のステップS10)と、基準フレームSFの基準第2データSBRに備えられた処理ヘッダのヘッダ情報を取得するヘッダ情報取得手順(この例では図5のステップS15)と、基準フレームSF又は非基準フレームIFの基準第1データBaseCodec又は非基準第1データBaseCodecを復号化し、第1復号化データ(デコード後のBaseCodecデータ)を生成する第1復号化手順(この例ではBaseCodecDecode部11によるBaseCodecデコード手順)と、基準フレームSF又は非基準フレームIFの基準第2データSBR又は非基準第2データSBRを、ヘッダ情報取得手順S15で取得したヘッダ情報を用いて復号化し、第2復号化データ(デコード後のSBRデータ)を生成する第2復号化手順(この例では図5のステップS50)と、エラー判定手順S10で非基準フレームIFが消失したと判定された場合、後続する非基準フレームIFの非基準第2データSBRを、当該消失前にヘッダ情報取得手段11が基準第2データSBRの処理ヘッダ(SBRヘッダ)より取得したヘッダ情報を用いて復号化し、みなし第2復号化データ(デコード後のSBRデータ)として第1復号化データ(デコード後のBaseCodecデータ)と併せて出力することを特徴とする。
本実施形態のデジタル音声データ処理方法においては、エラー判定手順S10でストリームの一部が消失したか(=エラーが発生したか)どうかが判定されているが、エラー発生と判断されたときには、そのエラー発生前にヘッダ情報取得手順S15で取得されたヘッダ情報を用い第2復号化手順S50で復号化されたデータが、みなし第2復号化データ(デコード後のSBRデータ)として第1復号化データ(デコード後のBaseCodecデータ)と併せて出力される。これにより、エラー発生前後でヘッダ情報が変化していなければ、みなし第2復号化データ(デコード後のSBRデータ)はエラー発生前の第2復号化データ(デコード後のSBRデータ)と同一となるので、エラー発生前と同様、正しく復号化された第2復号化データ(デコード後のSBRデータ)を第1復号化データ(デコード後のBaseCodecデータ)とともに出力することができる。この結果、エラー発生後に第1復号化データ(デコード後のBaseCodecデータ)しか出力しない場合に比べ、可能な限り聴感上の違和感を低減することができる。
上記実施形態におけるデジタル音声データ処理装置1においては、エラー判定手段11で非基準フレームIFが消失したと判定された場合、後続する非基準フレームIFの非基準第2データSBRに対し、当該消失前にヘッダ情報取得手段11が基準第2データSBRの処理ヘッダ(SBRヘッダ)より取得したヘッダ情報を用いて、所定の解析処理を行う解析手段(この例ではBaseCodecDecode部11)を有し、出力制御手段15は、解析手段11の解析結果に基づき、第1復号化データ(デコード後のBaseCodecデータ)と併せ前記みなし第2復号化データ(デコード後のSBRデータ)の出力を行うか行わないかを切り替えることを特徴とする。
本実施形態においては、エラー発生後に、エラー発生前のヘッダ情報を用いてみなし第2復号化データ(デコード後のSBRデータ)を生成し出力する一方、非基準第2データSBRに対して解析手段11で当該ヘッダ情報を用いた所定の解析処理を行う。これにより、解析処理に基づきエラー発生前のヘッダ情報を用いて処理することが妥当であるかどうか(言い換えればエラー発生前と比べてヘッダ情報が変化したかどうか)を検証することができる。また、当該解析結果に応じてみなし第2復号化データ(デコード後のSBRデータ)の出力を行うか行わないかを切り替えることにより、エラー発生前と比べてヘッダ情報が変化しエラー発生前のヘッダ情報を用いた処理が妥当ではなくなった場合には、みなし第2復号化データ(デコード後のSBRデータ)の出力を中止することができる。
また本実施形態におけるデジタル音声データ処理方法においては、エラー判定手順S10で非基準フレームIFが消失したと判定された場合、後続する非基準フレームIFの非基準第2データSBRに対し、当該消失前にヘッダ情報取得手順S15で基準第2データSBRの処理ヘッダ(SBRヘッダ)より取得したヘッダ情報を用いて、所定の解析処理を行う解析手順(この例ではステップS35)を有し、この解析手順S35の解析結果に基づき、第1復号化データ(デコード後のBaseCodecデータ)と併せみなし第2復号化データ(デコード後のSBRデータ)の出力を行うか行わないかを切り替えることを特徴とする。
本実施形態においては、エラー発生後に、エラー発生前のヘッダ情報を用いてみなし第2復号化データ(デコード後のSBRデータ)を生成し出力する一方、非基準第2データSBRに対して解析手順S35で当該ヘッダ情報を用いた所定の解析処理を行う。これにより、解析処理に基づきエラー発生前のヘッダ情報を用いて処理することが妥当であるかどうか(言い換えればエラー発生前と比べてヘッダ情報が変化したかどうか)を検証することができる。また、当該解析結果に応じてみなし第2復号化データ(デコード後のSBRデータ)の出力を行うか行わないかを切り替えることにより、エラー発生前と比べてヘッダ情報が変化しエラー発生前のヘッダ情報を用いた処理が妥当ではなくなった場合には、みなし第2復号化データ(デコード後のSBRデータ)の出力を中止することができる。
上記実施形態におけるデジタル音声データ処理装置1においては、解析手段11は、解析処理として、ヘッダ情報を用いて非基準第2データSBRのデータ長を算出し、この算出データ長と、非基準第1データBaseCodecより取得される非基準第2データSBRのデータ長情報とを照合する照合手段11を設け、 出力制御手段15は、照合手段11の照合結果に応じて、第1復号化データ(デコード後のBaseCodecデータ)と併せみなし第2復号化データ(デコード後のSBRデータ)の出力を行うか行わないかを切り替えることを特徴とする。
ストリームESの各フレームに備えられる非基準フレームIFの非基準第1データBaseCodecには、非基準第2データSBRのデータ長情報が含まれる場合がある。本実施形態ではこれを利用して、ヘッダ情報を用いて解析手段11で算出した非基準第2データSBRのデータ長と、上記非基準第1データBaseCodecから取得した非基準第2データSBRのデータ長情報とを照合手段11で照合し、この照合結果に応じてみなし第2復号化データ(デコード後のSBRデータ)の出力を行うか行わないかを切り替える。このように、データ長情報と、実際に解析処理して得たデータ長とを照合することにより、エラー発生前のヘッダ情報を用いた処理が妥当であるかどうか(エラー発生前と比べてヘッダ情報が変化したかどうか)を比較的簡単な手法で容易に検証することができる。
また、上記実施形態におけるデジタル音声データ処理方法においては、解析手順S35は、解析処理として、ヘッダ情報を用いて非基準第2データSBRのデータ長を算出し、この算出データ長と、非基準第1データBaseCodecより取得される非基準第2データSBRのデータ長情報とを照合する照合手順(この例ではステップS40)を設け、この照合手順S40の照合結果に応じて、第1復号化データ(デコード後のBaseCodecデータ)と併せみなし第2復号化データ(デコード後のSBRデータ)の出力を行うか行わないかを切り替えることを特徴とする。
本実施形態では、ヘッダ情報を用いて解析手順S35で算出した非基準第2データSBRのデータ長と、上記非基準第1データBaseCodecから取得した非基準第2データSBRのデータ長情報とを照合手順S40で照合し、この照合結果に応じてみなし第2復号化データ(デコード後のSBRデータ)の出力を行うか行わないかを切り替える。このように、データ長情報と、実際に解析処理して得たデータ長とを照合することにより、エラー発生前のヘッダ情報を用いた処理が妥当であるかどうか(エラー発生前と比べてヘッダ情報が変化したかどうか)を比較的簡単な手法で容易に検証することができる。
上記実施形態におけるデジタル音声データ処理装置1においては、エラー判定手段11で非基準フレームIFが消失したと判定された場合、当該消失した非基準フレームIFに対応した所定のエラー用データ(この例ではmuteデータ)を生成するエラー用データ生成手段(この例ではエラー処理部12)を有することを特徴とする。
これにより、エラー発生時において対応する所定のエラー用エータを出力することができる。
また、上記実施形態におけるデジタル音声データ処理方法においては、エラー判定手順S10で非基準フレームIFが消失したと判定された場合、当該消失した非基準フレームIFに対応した所定のエラー用データ(この例ではmuteデータ)を生成するエラー用データ生成手順(この例ではステップS60)を有することを特徴とする。
これにより、エラー発生時において対応する所定のエラー用エータを出力することができる。
図6は、以上列挙した本実施形態の各効果を、具体的に説明するための説明図である。図中、横軸には時間軸をとり、図6(a)は入力されるストリームにおける各フレームの挙動の例、図6(b)は図6(a)に対応した本実施形態のデジタル音声データ処理装置1からの出力挙動を表し、図6(c)は、エラー発生後に第1復号化データ(デコード後のBaseCodecデータ)しか出力しない比較例による出力挙動を表している。
図6(b)及び図6(c)において、SBRヘッダのある基準フレームSFを(エラー発生なく)受信できている場合、及び、その後のSBRヘッダのない非基準フレームIFをその後エラー発生なく受信できている場合は、本実施形態及び比較例とも同様であり、BaseCodec部とSBR部との両方をデコードでき、それら第1復号化デコードデータ及び第2復号化データ(「SBRデコード」と表す)を併せて出力することができる。
また、あるフレームでエラーが発生した(フレームの少なくとも一部が消失した)場合についても、本実施形態と比較例とで差異はなく、所定のエラー用データ(この例では無音状態であるmute)を出力することができる。
一方、上記エラーが発生したフレームの後(次にSBRヘッダを取得できるフレームの前まで)のフレームについては、上記比較例と本実施形態とで異なる。すなわち、図6(c)に示すように、上記比較例では、エラーが発生したら、その後新たにSBRヘッダのヘッダ情報を取得するまで、SBR部のデコード処理を行うことができず、BaseCodec部のみの復号化データを出力する。
一方、図6(b)に示すように、本実施形態では、エラー発生の前後でSBRヘッダの値が変化していないと仮定して、エラー発生後も当該仮定に基づきSBR部のデコード処理を行いみなし第2復号化データ(「みなしSBRデコード」と表す)を作成するので、実際にエラー発生前後でヘッダ情報が変化していない間は、エラー発生前と同様、正しく復号化された第2復号化データ(「SBRデコード」とあらわす)と実質同じものを出力することができる。
なお、本実施形態は、上記に限られず、種々の変形が可能である。以下、そのような変形例を順を追って説明する。
(1)エラー区間に応じてSBR部の復号化を中止する場合
すなわち、連続して発生したエラーの区間長が判定可能な場合、エラーが長区間にわたる場合は、その間にSBRヘッダ情報が変化した可能性が高い。したがって、このような場合には(前述の解析結果のいかんを問わず)上記実施形態において前述したエラー前のSBRヘッダのヘッダ情報を用いたSBR部の復号化(みなし第2復号化データの生成)を中止するようにする。これにより、まちがったSBRヘッダ情報を用いSBRの復号化処理を行う可能性をさらに確実に減らすことができる。
図7は、この上記実施形態(の変形例)における効果を説明するための説明図であり、前述の図6に相当する図である。図7において、エラー区間が長い(この例では3フレーム分)エラー(1)については、本実施形態の変形例も、エラーの後新たにSBRヘッダのヘッダ情報を取得するまでSBR部のデコード処理を行わず、BaseCodec部のみの復号化データを出力する。
なお、エラー区間が短いエラー(2)については、前述と同様、エラー発生の前後でSBRヘッダの値が変化していないと仮定して、エラー発生後も当該仮定に基づきSBR部のデコード処理を行いみなし第2復号化データ(「みなしSBRデコード」と表す)を作成している。
(2)解析・照合の他の手法
上記実施形態においては、BaseCodecDecode部11が公知の手法でSBR部のSyntax解析を行い、SBRヘッダのヘッダ情報を用いたsyntax解析により実際に得られたSBR部の解析データ長(ビット長)と、前述のBaseCodecより得られたデータ長情報とが、式1の関係を満たしているかどうかで照合、判定を行った(図5のステップS40参照)。
しかしながら、図5のステップS40において、他の手法で照合・判定を行ってもよい。例えば、SBRのパラメータの1つとして含まれるenvelope scalefactors E の値の範囲により照合してもよい。
すなわち、ストリームES中に現れるフラグbs_couplingが、もし1であった場合、envelope scalefactors Eのチャンネル1における値E1は必ず偶数でなければならないという法則性がある。したがって、もし上記フラグbs_couplingが1であるときに上記E1が奇数であった場合には、これをもってSBRのSyntax解析が正常にできなかった(言い換えればSBRヘッダが変化している)と判定することができる。
また例えば、SBRのパラメータの1つとして含まれるenvelope scalefactors E の値の範囲により照合してもよい。
また同様に、SBRのパラメータの1つとして含まれるnoise floor data Q の値の範囲により照合してもよい。すなわち、ストリームES中のフラグbs_couplingが、もし0であった場合、noise floor data Qの値は、
0 ≦ Q ≦ 30
でなければならず、ストリームES中のフラグbs_couplingが、もし1であった場合、noise floor data Qのチャンネル0,1における値Q0,Q1の値がそれぞれ、
0 ≦ Q0 ≦ 30
0 ≦ Q1 ≦ 24 かつ Q1は偶数
とならなければならないという法則性がある。
したがって、もし上記法則性がなりたたない場合には、これをもってSBRのSyntax解析が正常にできなかった(言い換えればSBRヘッダが変化している)と判定することができる。
なお、上記のパラメータに関する法則性を用いたチェックと、先の実施形態において前述した、syntax解析により実際に得られたSBR部の解析データ長(ビット長)と、BaseCodecより得られたデータ長(バイト長)情報とが(式1)の関係を満たすかどうかのチェックとを併用してもよい。このようにすることで、より確実な(信頼度の高い)チェックを行うことができる。
なお、以上は、地上波デジタル放送(1Seg放送)に対応した携帯電話機に適用した場合を例にとって説明したが、これに限られず、他の携帯端末、モバイル機器等に適用が可能である。特に、エラーが多発する車載端末に適用した場合に効果的である。
本発明の一実施形態の携帯電話機の全体外観を表す斜視図である。 図1に示した携帯電話機の機能的構成を表す機能ブロック図である。 ストリームのうち音声に係わる部分を抜き出して概念的に表す模式図である。 図2に示した信号処理部のうち音声信号の再生処理に係わる構成を表す機能ブロック図である。 BaseCodecDecode部が各フレームごとに実行する処理手順を表すフローチャートである。 本発明の一実施形態の各効果を、具体的に説明するための説明図である。 エラー区間の長さを考慮した変形例における効果を説明するための説明図である。
符号の説明
1 携帯電話機(デジタル音声データ処理装置)
11 BaseCodecDecode部(エラー判定手段、ヘ
ッダ情報取得手段、第1復号化手段、第2復号化手段、解
析手段、照合手段)
12 エラー処理部(エラー用データ生成手段)
15 スイッチ(出力制御手段)
IF 非基準フレーム
SF 基準フレーム

Claims (4)

  1. 符号化データをパケット化して構成された複数のデータパケットであって、
    各データパケットは、基準フレーム及び非基準フレームからなる複数のフレームを備え、
    前記非基準フレームが、音声情報を符号化した非基準第1データと、この非基準第1データの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データとを含み、
    前記基準フレームが、音声情報を符号化した基準第1データと、この基準第1データの再生帯域を拡大するための帯域拡大情報を符号化して構成され、前記非基準第2データの演算処理を行うためのヘッダ情報を備えた処理ヘッダを有する基準第2データとを含む、ストリームを処理するデジタル音声データ処理装置であって、
    前記ストリームの一部が消失したかどうかを判定するエラー判定手段と、
    前記基準フレームの前記基準第2データに備えられた前記処理ヘッダの前記ヘッダ情報を取得するヘッダ情報取得手段と、
    前記基準フレーム又は前記非基準フレームの前記基準第1データ又は前記非基準第1データを復号化し、第1復号化データを生成する第1復号化手段と、
    前記基準フレーム又は前記非基準フレームの前記基準第2データ又は前記非基準第2データを、前記ヘッダ情報取得手段で取得した前記ヘッダ情報を用いて復号化し、第2復号化データを生成する第2復号化手段と、
    前記エラー判定手段で前記非基準フレームが消失したと判定された場合、後続する非基準フレームの前記非基準第2データを、当該消失前に前記ヘッダ情報取得手段が前記基準第2データの前記処理ヘッダより取得した前記ヘッダ情報を用いて前記第2復号化手段で復号化し、みなし第2復号化データとして前記第1復号化データと併せて出力するための出力制御手段と、
    前記エラー判定手段で前記非基準フレームが消失したと判定された場合、後続する非基準フレームの前記非基準第2データに対し、当該消失前に前記ヘッダ情報取得手段が前記基準第2データの前記処理ヘッダより取得した前記ヘッダ情報を用いて、前記非基準第2データのデータ長を算出する解析手段と、
    前記算出されたデータ長と前記非基準第1データより取得される前記非基準第2データのデータ長情報とを照合する照合手段と
    を有し、
    前記出力制御手段は、前記照合手段の照合結果に基づき、前記第1復号化データと併せ前記みなし第2復号化データの出力を行うか行わないかを切り替えることを特徴とするデジタル音声データ処理装置。
  2. 請求項1記載のデジタル音声データ処理装置において、
    前記エラー判定手段で前記非基準フレームが消失したと判定された場合、当該消失した非基準フレームに対応した所定のエラー用データを生成するエラー用データ生成手段
    を有することを特徴とするデジタル音声データ処理装置。
  3. 符号化データをパケット化して構成された複数のデータパケットであって、
    各データパケットは、基準フレーム及び非基準フレームからなる複数のフレームを備え、
    前記非基準フレームが、音声情報を符号化した非基準第1データと、この非基準第1データの再生帯域を拡大するための帯域拡大情報を符号化した非基準第2データとを含み、
    前記基準フレームが、音声情報を符号化した基準第1データと、この基準第1データの再生帯域を拡大するための帯域拡大情報を符号化して構成され、前記非基準第2データの演算処理を行うためのヘッダ情報を備えた処理ヘッダを有する基準第2データとを含む、ストリームを処理するデジタル音声データ処理方法であって、
    前記ストリームの一部が消失したかどうかを判定するエラー判定手順と、
    前記基準フレームの前記基準第2データに備えられた前記処理ヘッダの前記ヘッダ情報を取得するヘッダ情報取得手順と、
    前記基準フレーム又は前記非基準フレームの前記基準第1データ又は前記非基準第1データを復号化し、第1復号化データを生成する第1復号化手順と、
    前記基準フレーム又は前記非基準フレームの前記基準第2データ又は前記非基準第2データを、前記ヘッダ情報取得手順で取得した前記ヘッダ情報を用いて復号化し、第2復号化データを生成する第2復号化手順と、
    前記エラー判定手順で前記非基準フレームが消失したと判定された場合、後続する非基準フレームの前記非基準第2データに対し、当該消失前に前記ヘッダ情報取得手順で前記基準第2データの前記処理ヘッダより取得した前記ヘッダ情報を用いて、前記非基準第2データのデータ長を算出する解析手順と、
    前記算出されたデータ長と、前記非基準第1データより取得される前記非基準第2データのデータ長情報とを照合する照合手順と、
    を有し、
    前記エラー判定手順で前記非基準フレームが消失したと判定された場合、後続する非基準フレームの前記非基準第2データを、当該消失前に前記ヘッダ情報取得手順で前記基準第2データの前記処理ヘッダより取得した前記ヘッダ情報を用いて復号化し、みなし第2復号化データとして前記第1復号化データと併せて出力するか出力しないかを、前記照合手順での照合結果に基づいて切り替えることを特徴とするデジタル音声データ処理方法。
  4. 請求項3記載のデジタル音声データ処理方法において、
    前記エラー判定手順で前記非基準フレームが消失したと判定された場合、当該消失した非基準フレームに対応した所定のエラー用データを生成するエラー用データ生成手順
    を有することを特徴とするデジタル音声データ処理方法。
JP2006082012A 2006-03-24 2006-03-24 デジタル音声データ処理装置及び処理方法 Expired - Fee Related JP5047519B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006082012A JP5047519B2 (ja) 2006-03-24 2006-03-24 デジタル音声データ処理装置及び処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006082012A JP5047519B2 (ja) 2006-03-24 2006-03-24 デジタル音声データ処理装置及び処理方法

Publications (2)

Publication Number Publication Date
JP2007256705A JP2007256705A (ja) 2007-10-04
JP5047519B2 true JP5047519B2 (ja) 2012-10-10

Family

ID=38630995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006082012A Expired - Fee Related JP5047519B2 (ja) 2006-03-24 2006-03-24 デジタル音声データ処理装置及び処理方法

Country Status (1)

Country Link
JP (1) JP5047519B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5517415B2 (ja) * 2008-04-02 2014-06-11 三菱電機株式会社 受信装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596978B2 (ja) * 1996-05-14 2004-12-02 株式会社ルネサステクノロジ 音声再生装置
JP3881157B2 (ja) * 2000-05-23 2007-02-14 株式会社エヌ・ティ・ティ・ドコモ 音声処理方法及び音声処理装置
JP2005024756A (ja) * 2003-06-30 2005-01-27 Toshiba Corp 復号処理回路および移動端末装置
US7970618B2 (en) * 2004-04-02 2011-06-28 Kddi Corporation Content distribution server for distributing content frame for reproducing music and terminal
JP2006050387A (ja) * 2004-08-06 2006-02-16 Matsushita Electric Ind Co Ltd データ再生方法、およびデータ再生装置

Also Published As

Publication number Publication date
JP2007256705A (ja) 2007-10-04

Similar Documents

Publication Publication Date Title
TWI466102B (zh) 用以使經編碼音訊資料之錯誤消隱的方法和裝置
US9065884B2 (en) Joint transmission of multiple multimedia streams
US7797162B2 (en) Audio encoding device and audio encoding method
JP6523249B2 (ja) パケットヘッダを圧縮する方法及び装置
JP5268952B2 (ja) データパケットのシーケンスを伝送するための装置および方法ならびにデータパケットのシーケンスをデコードするためのデコーダおよび装置
US9123328B2 (en) Apparatus and method for audio frame loss recovery
JPH0955778A (ja) 音声信号の広帯域化装置
JP4792001B2 (ja) 動画像復号装置、放送受信装置、動画像復号方法
Katugampala et al. Real time data transmission over GSM voice channel for secure voice and data applications
JPWO2002071389A1 (ja) オーディオデータ補間装置および方法、オーディオデータ関連情報作成装置および方法、オーディオデータ補間情報送信装置および方法、ならびにそれらのプログラムおよび記録媒体
EP3229443B1 (en) Data processing device, data processing method, and program
JP5174623B2 (ja) 放送受信回路および放送受信装置
EP1775870A1 (en) Two-way communication method and device, system and program
JP5047519B2 (ja) デジタル音声データ処理装置及び処理方法
JP2008211361A (ja) 無線通信方法及び受信装置
JP2005024756A (ja) 復号処理回路および移動端末装置
JP4551472B2 (ja) デジタル音声データ処理装置及び処理方法
US9961634B2 (en) Radio receiver and mute control method for the same
JP2007049491A (ja) 復号装置、および復号方法
US6198499B1 (en) Radio-communication video terminal device
KR101073409B1 (ko) 디코딩 장치 및 디코딩 방법
JP4065383B2 (ja) 音声信号送信装置、音声信号受信装置及び音声信号伝送システム
JP4705556B2 (ja) ワイヤレスマイク送信機、受信機ならびにシステム
JP2008026700A (ja) デジタル通信システム
JP2003534578A (ja) 狭帯域で符号化される信号を送信する送信器、受信側において符号化信号の帯域を拡大する受信器、対応する送信及び受信方法、及び、そのシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120718

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees