JP3848805B2 - Receiver - Google Patents
Receiver Download PDFInfo
- Publication number
- JP3848805B2 JP3848805B2 JP30641699A JP30641699A JP3848805B2 JP 3848805 B2 JP3848805 B2 JP 3848805B2 JP 30641699 A JP30641699 A JP 30641699A JP 30641699 A JP30641699 A JP 30641699A JP 3848805 B2 JP3848805 B2 JP 3848805B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- program
- data
- format
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、圧縮フォーマットで符号化された音声・音響(オーディオ)信号を復号する多重化オーディオデータ復号装置に係り、特に、多チャンネルが多重化されたディジタル放送の受信装置として用いるに好適な多重化オーディオデータ復号装置及び受信装置に関する。
【0002】
【従来の技術】
ディジタルオーディオ信号の圧縮方式として標準的に用いられるものには、MPEG(Moving Picture Experts Group) Audioや、ATSC(United States Advanced Television Systems Committee)において採用されたAC−3と呼ばれる方式などが知られている。これらの方式は、いずれも、時間軸上の情報を周波数軸上のデータに変換し、周波数帯域に分けてマスキング効果等の心理聴覚特性を利用、あるいはオーディオチャネル間の相関を利用して情報圧縮する技術に基づいている。
【0003】
これらの方式を用いて圧縮されたオーディオビットストリームを復号(デコード)する方法としては、DSP(Digital Signal Processor)を基調としたものが、例えば、AC−3フォーマット対応のオーディオデコーダとして、”Design And Implementation of AC-3 Coders、Vol.41, No.3、 August 1995”に記載されている。DSPは、一般のマイクロコントローラと同様に、ソフトウエアプログラムコードを逐次解釈して内蔵レジスタのデータを加工し、結果をメモリに蓄える形式なので、ハードウエアによる実現形式に比較して、複数フォーマットのデコードアルゴリズムを各々デコード処理コードとして持つことができ、また変更に対する柔軟度もあるため、コストと使い勝手の両面で有利であると考えられている。さらに、高速の乗算器などの専用ハードウエアや複数本のデータバスを具備してデータの流れを円滑にするなどの工夫を施すことにより、計算速度向上を図っていることに特徴がある。
【0004】
【発明が解決しようとする課題】
一般にDSPを基調とするオーディオデコーダは、デコード処理手順をプログラムコードとして内蔵ROMに記憶されている。これは、プログラムコードが読出し専用であり、アクセスサイクルでの損失を避ける(通常のDSPは1命令/1サイクル)為にも、DSPに直結する必要があるからである。
【0005】
一方、オーディオデコーダをディジタル放送受信機の一部としてとらえた場合、そのサービスの内容や放送衛星,通信衛星,地上波や有線ケーブルなどサービス供給側の通信路事情により圧縮率や音質に対する条件は多様であり、それぞれ最適な符号化フォーマットが選択されているので、受信側で複数のフォーマットに対応させる必要がある。
【0006】
ここで、1つのDSPチップで複数種類の圧縮符号化フォーマットに対応させるためには、各フォーマット毎にプログラムコードを内蔵ROMとして確保する必要がある。また、プログラムコードのみならずフォーマット毎に専用の定数テーブルも内蔵ROMとして必要となる。従って、回路規模の点で、DSPを含むオーディオデコーダを集積化することが困難であるという問題があった。また、処理対象のフォーマット数が増えた場合や仕様変更を行う場合には、オーディオデコーダの内蔵ROMは、容易に変更できないので柔軟性が低下するという問題もあった。
【0007】
本発明の目的は、デジタル放送において、複数のフォーマットで圧縮されたオーディオデータに対応可能な受信装置を提供することである。
【0008】
【課題を解決するための手段】
上記課題を解決するため、例えば、特許請求の範囲に開示された技術思想を用いればよりよい。
【0009】
かかる構成により、複数種類のデコード処理コードは、読出し専用メモリに格納されているため、処理対象のフォーマット数が増えた場合や仕様変更を行う場合にも読出し専用メモリの変更により、容易に対応でき、柔軟性を向上し得るものとなる。
【0014】
【発明の実施の形態】
以下、図を用いて、本発明の一実施形態による多重化オーディオデータ復号装置の構成及び動作について説明する。
【0015】
最初に、図10を用いて、本実施形態による多重化オーディオデータ復号装置の全体構成について説明する。
【0016】
本実施形態による多重化オーディオデータ復号装置は、デマルチプレクサ10と、オーディオデコーダ20と、ディジタル/アナログ変換器(DAC)30と、ユーザインターフェース(I/F)40と、外部CPU50と、外部ROM60とから構成されている。デマルチプレクサ10と、オーディオデコーダ20と、ユーザインターフェース(I/F)40と、外部CPU50と、外部ROM60とは、データバスDBにより接続されており、コマンドやデータの入出力が可能となっている。
【0017】
デマルチプレクサ10は、複数のプログラム(番組)が多重されたMPEGトランスポートストリーム(TS)から、ユーザが指定したプログラムに対応するデータを抽出して、オーディオデコーダ20に出力する。
【0018】
ここで、図2を用いて、MPEGトランスポートストリーム(TS)の階層構造について説明する。なお、ここでは、オーディオデータを例にして説明する。
【0019】
図2(a)は、デマルチプレクサ10の入力となるMPEG TSを示しており、188バイト固定長のTSパケットから成る。
【0020】
TSパケットは、図2(b)に示すように、ヘッダであるパケットID(PID)及びTS_hと、データ部分であるペイロードから構成されている。PIDは、プログラム番号とそのデータの内容を選択すれば、一意的に決まるものである。従って、例えば、外部CPU50からデマルチプレクサ10に対して、プログラム#jのオーディオデータと指定することで、デマルチプレクサ10はそれに対応するTSパケットのみを抽出し、処理の対象とすることができる。
【0021】
TSパケットのデータ部分(ペイロード)は、図2(c)に示すPES(Packetized Elementary Stream)パケットの一部である。換言すると、複数のTSパケットのペイロードが集まって、PESパケットを構成する。
【0022】
PESパケットは、図2(d)に示すように、PESヘッダと、データ部分であるペイロードから構成される。PESヘッダ(PES_h)には、ストリームIDや、表示タイムスタンプ(PTS:Presentation Time Stamp)や、PES_hが含まれる。ストリームIDは、PESの内容に関する記述であって、オーディオの場合はストリームIDに符号化フォーマットが対応している。PESは、ペイロードにオーディオアクセスユニットを複数持つことができ、PTSは、ヘッダ後の最初のオーディオアクセスユニットが表示されるべき時刻を示している。ペイロードには、データ部分であるオーディオアクセスユニットが含まれている。
【0023】
オーディオアクセスユニットは、図2(e)に示すように、各種パラメータを含むオーディオヘッダ(Audio_h)と、データ部分である1オーディオフレーム分の符号化音声データから構成されている。ヘッダのパラメータとしては、サンプリング周波数や、ビットレートや、フレーム長等が含まれている。オーディオアクセスユニットが連続したものが、オーディオエレメンタリストリーム(ES)である。デマルチプレクサ10の出力は、図2(e)に示したオーディオアクセスユニットの連続であるところのオーディオエレメンタリストリーム(ES)である。
【0024】
次に、図10に戻り、オーディオデコーダ20の構成について説明する。
【0025】
オーディオデコーダ20は、フレーム同期回路21と、ディジタルシグナルプロセッサ(DSP)22と、PCM出力インターフェース(I/F)回路23と、インターフェース(I/F)回路24と、内蔵RAM25とから構成されている。
【0026】
フレーム同期回路21は、デマルチプレクサ10から入力したオーディオエレメンタリストリーム(ES)から、処理の単位となるオーディオアクセスユニットの区切り,すなわち、符号化された所定のサンプル数からなるオーディオフレームのデータの区切りを、周期的に現れるビットパターンから判別する。
【0027】
DSP22は、オーディオアクセスユニットのヘッダ情報から適宜必要なデータを抽出し、符号化データをデコードする。デコード処理は内蔵RAM25に予め書込まれたデコード処理プログラムコードに従い、内蔵RAM25内を中間データの保管あるいは入出力データのバッファとして用いながら行う。
【0028】
内蔵RAM25には、複数種のデコード処理プログラムコードが予め書込まれているが、デコード処理プログラムコードの書き込みは、インターフェース(I/F)24を介して、外部CPU50によって行われる。
【0029】
DSP22によってデコードされた結果は、PCM(Pulse Code Modulation)オーディオデータであり、PCM出力インタフェース回路23から時系列サンプルデータとしてディジタル/アナログ変換器(DAC)30へ送られ、アナログオーディオ信号として出力される。
【0030】
外部CPU50は、オーディオデコーダ20およびデマルチプレクサ10を含む多重化オーディオデータ復号装置のシステム制御するものであり、制御手順は外部ROM60内のCPU命令コード領域60Aに格納されている。
【0031】
外部ROM60は、CPU命令コード領域60Aの他に、複数のデコード処理コード#1,#2,…,#Nを格納するデコード処理コード領域60B1,60B2,…,60BNを有している。
【0032】
ユーザインタフェース(I/F)回路40は、ユーザのチャンネル変更に基づくプログラム変更や、メディア変更等の指令を受け、外部CPU50にその指令を送る。外部CPU10は、符号化フォーマット変更を検知すると、外部ROM60内のコード領域60B1,60B2,…,60BNに格納されている適当なデコード処理コード#1,#2,…,#Nを、オーディオデコーダ20内の内部RAM52に転送する。
【0033】
転送処理は、インターフェース(I/F)24を介して行われ、バッファリングやアドレス変換もなされる。
【0034】
ここで、図3を用いて、本実施形態による多重化オーディオデータ復号装置に用いる内部RAM回路25のメモリ配置について説明する。図3は、内部RAM25内の領域分割を模式的に表している。
【0035】
内部RAM回路25は、デコード処理コード領域25a,ワーク領域25b,レジスタ領域等25cから構成されている。図10に示した外部ROM60のデコード処理コード領域60B1,60B2,…,60BNに格納されているデコード処理コード#1,#2,…,#Nの内、外部CPU50によって転送されてきたデコード処理コードは、デコード処理コード領域25aに格納される。ワーク領域25bおよびレジスタ領域25cは、DSP22がデコード処理を行う際に用いる領域である。各領域25a,25b,25cの境界は符号化フォーマットにより可変であり、例えば、処理コードが短いフォーマットの場合にはワーク領域25bを広く設定することができる。
【0036】
DSP22は、転送されたデータのエラーチェックを行い、到来したオーディオESに対して、内部RAM25のデコード処理コード領域25aに格納されているデコード処理コードを用いて、デコード処理を行う。
【0037】
次に、図4及び図5を用いて、本実施形態による多重化オーディオデータ復号装置におけるプログラム切替処理について説明する。
【0038】
図4は、本実施形態によるプログラム切替処理をアルゴリズム主体として表しており、図5は、本実施形態によるプログラム切替処理を構成ブロック間の信号授受を主体として表している。なお、図4及び図5において、同一符号は同一の処理ステップを示している。
【0039】
ステップS1において、プログラム切替処理が開始される。例えば、利用者が、リモコン等を用いてプログラムの切替を行うと、プログラム切替指令は、図10に示したユーザI/F40を介して、外部CPU50に転送され、外部CPU50によるプログラム切替処理が開始される。なお、以下の説明では、利用者が、プログラム#kを選択したものとする。
【0040】
次に、ステップS2において、外部CPU50は、プログラム番号#kに相当するプログラムマップテーブル(PMT)のパケットID(PID)を、デマルチプレクサ10に送る。PMTは、デマルチプレクサ10に格納されている。
【0041】
次に、ステップS3において、デマルチプレクサ10は、所望(本例ではオーディオ)のパケットのPIDをフィルタリングする。ここで、得られたPMTには、プログラム番号#kに属するビデオ,オーディオおよび付帯データを含むトランスポートストリーム(TS)パケットのPIDがその属性とともに書かれており、デマルチプレクサ10は、このPIDをフィルタリングする。
【0042】
次に、ステップS4において、デマルチプレクサ10は、付帯データの中に含まれている時間軸の基準を示すPCR(Program Clock Reference)を運ぶパケットから、基準時刻を取り出し、この基準時刻を設定する。
【0043】
次に、ステップS5において、デマルチプレクサ10は、オーディオのPES(Packetized Elementary Stream)パケットのヘッダ部分からストリーム(Stream)IDを取得して、外部CPU50及びオーディオデコーダ20に送る。
【0044】
次に、ステップS6において、外部CPU50は、プログラム切替後のオーディオ符号化フォーマットを知り、現在のフォーマットからの変更の有無を判定し、変更がなければステップS9にジャンプするが、変更が有る場合にはステップS7に進む。
【0045】
そして、変更がある場合には、ステップS7において、外部CPU50は、プログラム切替後のオーディオ符号化フォーマットに対応するデコード処理コードを外部ROM60のデコード処理コード領域60B1,…,60BNから読み出して、オーディオデコーダ20に転送する。転送されたデコード処理コードは、内部RAM25のデコード処理コード領域25aに格納される。
【0046】
次に、ステップS8において、オーディオデコーダ20のDSP22は、転送されたデコード処理コードの転送エラーを確認するために、エラーチェックを行う。エラーチェックの方法としては、例えば、CRC(Cyclic Redundancy Check)コードあるいはテストデータを実際にデコードさせて期待値との比較をするなどの方法を用いる。エラーがある場合には、オーディオデコーダ20は、外部CPU50に対して再送要求を行い、再送されたデコード処理コードの再度チェックを行う。
【0047】
エラーチェックが完了すると、ステップS9において、DSP22は、チェック完了信号を、外部CPU50に返し、外部CPU50はデマルチプレクサ10にこれを伝達する。
【0048】
一方、デマルチプレクサ10は、ステップS3,S4に引き続いて、ステップS5において、PESヘッダから表示タイムスタンプ(PTS)を取得する。
【0049】
次に、ステップS11において、デマルチプレクサ10は、PTSが指示するオーディオアクセスユニットの先頭の時間に基づいて、デコード時刻を設定する。
【0050】
次に、ステップS12において、デマルチプレクサ10は、内部のシステムタイムコード(STC)を用いて、設定されたデコード時刻(PTS時刻)になるのを監視し、PTS時刻が到来するまで、デマルチプレクサ10は、内部のバッファに入力するストリームを蓄積して、ストリームを止める。
【0051】
さらに、PTS時刻になった時点で、ステップS13において、デマルチプレクサ10は、オーディオデコーダ20のステップS9の処理で送られてくる転送エラーのチェック完了を確認する。
【0052】
チェックが完了していなければ、次のPTSとオーディオアクセスユニットの組に関してステップS11に戻り、PTS時刻待ちを行う。
【0053】
それに対して、チェックが完了していれば、ステップS14において、デマルチプレクサ10は、オーディオエレメンタリストリーム(ES)を、オーディオデコーダ20に供給する。
【0054】
次に、ステップS15において、オーディオデコーダ20のフレーム同期回路21は、入力したオーディオESに対して、フレーム(アクセスユニット)同期処理を行う。
【0055】
次に、ステップS16において、DSP22は、内部RAM回路25に格納されているデコード処理コードを用いて、デコード処理を開始する。
【0056】
以上説明したように、本実施形態においては、オーディオデコーダの外部に接続された外部ROMに、複数種類の符号化フォーマットに対するデコード処理コードを格納するようにしている。そして、入力されるオーディオストリームの符号化フォーマットに応じて、外部ROMに格納された符号化フォーマットに対応する1種類のデコード処理コードを読み出して、オーディオデコーダの内部RAMのコード領域に格納するようにしている。DSPは、内部RAMに格納されたデコード処理コードを用いて、デコード処理を行うようにしている。ここで、外部ROMは、容量が十分大きく取れるので、対応フォーマットを増やした場合にもコスト増大を招くことがないものである。
【0057】
また、処理対象フォーマットの追加および仕様変更に対しても、DSPを含むオーディオデコーダを変更することなく、外部ROMの変更により容易に対応することができる。
【0058】
なお、外部ROMの変更方法としては、新しいデコード処理コードの書き込まれている外部ROMのチップに交換することにより行うことができる。また、別の方法としては、外部ROMとして、書換可能なフラッシュROMを使用する場合には、新しいデコード処理コードをフラッシュROMに書き込むことにより行える。なお、この際、新しいデコード処理コードは、ディスク等の記憶媒体から読み出すようにしてもよく、また、ネットワークからダウンロードするようにしてもよいものである。
【0059】
ここで、以上説明した本実施形態における多重化オーディオデータ復号装置を応用した例を図10に示す。
【0060】
図10は、多重化オーディオデータ復号装置を組み込んだ放送を受信するための受信装置であり、100は放送信号を受ける外部アンテナ、110は受けた放送信号の選局を行うチューナ、120は、選局された放送信号に対し、誤り訂正などの処理を行い、デマルチプレクサ10に出力する誤り訂正(FEC)回路、130はDAC30のアナログオーディオ信号を出力するスピーカである。
【0061】
以上のように、符号化フォーマットが変更される放送の受信装置として、本発明を適用することができる。次に、本発明の他の実施形態による多重化オーディオデータ復号装置の構成及び動作について説明する。
【0062】
最初に、図6を用いて、本実施形態による多重化オーディオデータ復号装置の全体構成について説明する。なお、図10と同一符号は、同一部分を示している。
【0063】
本実施形態による多重化オーディオデータ復号装置は、図10に示した多重化オーディオデータ復号装置の構成に加えて、ビデオデコーダ70と、A/Vデコードメモリ80と、デジタルアナログ変換器35を備えている。
【0064】
デマルチプレクサ10の出力は、オーディオデコーダ20とともに、ビデオデコーダ70に入力する。オーディオデコーダ20及びビデオデコーダ70は、共通のA/Vデコードメモリ80に時分割でアクセスすることが可能な構成になっている。A/Vデコードメモリ80は、大容量(メガバイト単位)の外部のメモリチップとして実現されるため、ビデオデコード用に必要な容量を除いてもオーディオデコードに割り当てる容量は十分に有している。
【0065】
ここで、図7を用いて、本実施形態による多重化オーディオデータ復号装置に用いるA/Vデコードメモリ80の内部のアロケーションについて説明する。
【0066】
A/Vデコードメモリ80には、ビデオデコードに必要なストリームバッファ領域80aおよびフレームバッファ等のワーク領域80bが設けられ、さらに、放送受信機としてインタフェース実現のためのグラフィック表示用バッファ80cが設けられている。
【0067】
また、A/Vデコードメモリ80には、オーディオデコーダ20がアクセス可能なオーディオデコード用ワーク領域80dを備えている。オーディオデコード用ワーク領域80dには、対応する全ての符号化フォーマットに対するデコード処理プログラムコードを保管するデコード処理コード領域80d1,…,80dNが割り当てられている。
【0068】
デコード処理コード領域80d1,…,80dNには、図6に示した外部ROM60のデコード処理コード領域60B1,…,60BNに格納されているデコード処理コード#1,…,#Nが転送された上で、格納される。
【0069】
ここで、図8に示すフローチャートを用いて、本実施形態によるデコード処理コードの格納処理について説明する。
【0070】
ステップS21において、外部CPU50は、外部ROM60のデコード処理コード領域60B1,…,60BNに格納されているデコード処理コード#1,…,#Nを、オーディオデコーダ20のインターフェース(I/F)回路を介して、A/Vデコードメモリ80に転送する。
【0071】
次に、ステップS22において、オーディオデコーダ20のDSP22は、A/Vデコードメモリ80に格納されたデコード処理コードの転送エラーのチェックをする。転送エラーのチェックは、N個のフォーマットを纏めたCRCチェックにより行う。
【0072】
次に、図9を用いて、本実施形態による多重化オーディオデータ復号装置におけるプログラム切替処理について説明する。
【0073】
図9は、本実施形態によるプログラム切替処理をアルゴリズム主体として表している。なお、図4及び図5と同一符号は、同一の処理ステップを示している。
【0074】
本実施形態におけるプログラム切替処理は、図4のフローチャートに示したプログラム切替処理におけるステップS7に代えてステップS7’とするとともに、図4におけるステップS8,S9,S13が削除されたものであるため、その相違点について説明する。
【0075】
ステップS6における判定で、外部CPU50が、プログラム切替後のオーディオ符号化フォーマットが現在のフォーマットからの変更がある場合には、ステップS7’において、DSP22は、A/Vデコードメモリ80のデコード処理コード領域80d1,…,80dNから切替後のデコード処理コードを、内部メモリ25に転送する。
【0076】
一般に、A/Vデコードメモリ80は、ビデオデコード処理に耐え得る伝送帯域幅を有するので、1種類のデコード処理コードを転送するのに要する時間は、外部ROM11からの転送時に比べて十分短くすることができる。
【0077】
また、転送の信頼性は、デコード時のアクセスにおいて確認されているため、再度の転送エラーチェックは不要となる。
【0078】
以上説明したように、本実施形態においては、オーディオデコーダの外部に接続されたA/Vデコードメモリに、外部ROMから複数種類の符号化フォーマットに対するデコード処理コードを格納するようにしている。そして、入力されるオーディオストリームの符号化フォーマットに応じて、A/Vデコードメモリに格納された符号化フォーマットに応じた1種類のデコード処理コードを読み出して、オーディオデコーダの内部RAMのコード領域に格納するようにしている。
【0079】
DSPは、内部RAMに格納されたデコード処理コードを用いて、デコード処理を行うようにしている。ここで、A/Vデコードメモリは、容量が十分大きく取れるので、対応フォーマットを増やした場合にもコスト増大を招くことがないものである。
【0080】
また、処理対象フォーマットの追加および仕様変更に対しても、DSPを含むオーディオデコーダを変更することなく、外部ROMの変更により容易に対応することができる。
【0081】
さらに、1種類のデコード処理コードを転送するのに要する時間を短縮することができる。
【0082】
また、転送の信頼性は、デコード時のアクセスにおいて確認されているため、再度の転送エラーチェックは不要となる。
【0083】
ここで、以上説明した本実施形態における多重化オーディオデータ復号装置を応用した例を図11ないし13に示す。
【0084】
図11は、多重化オーディオデータ復号装置を組み込んだ放送を受信するための受信装置であり、100は放送信号を受ける外部アンテナ、110は受けた放送信号の選局を行うチューナ、120は、選局された放送信号に対し、誤り訂正などの処理を行い、デマルチプレクサ10に出力する誤り訂正(FEC)回路、130はDAC30のアナログオーディオ信号を出力するスピーカ、140はDAC35のアナログビデオ信号を出力するモニタである。
【0085】
以上のように、符号化フォーマットが変更される放送の受信装置として、本発明を適用することができる。
【0086】
また、図12は、多重化オーディオデータ復号装置を組み込んだ放送を受信して記録再生する記録再生装置内蔵受信装置であり、150は放送信号を記録/再生するための記録装置であり、再生された信号をデマルチプレクサ10に出力する。なお、図11の外部アンテナ100、チューナ110、誤り訂正回路120は省略している。
【0087】
以上のように、符号化フォーマットが変更される放送を受信して記録再生するための記録再生装置内蔵受信装置として、本発明を適用することもできる。
【0088】
また、図13は、多重化オーディオデータ復号装置を組み込んだ通信装置であり、170はインターネットなどの外部回線、160は外部回線を受けるモデムであり、モデムからの外部情報をデマルチプレクサ10に出力する。
【0089】
以上のように、符号化フォーマットが変更される通信を受けるための通信装置として、本発明を適用することもできる。
【0090】
本発明によれば、デジタル放送において、複数のフォーマットで圧縮されたオーディオデータに対応可能な受信装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態による多重化オーディオデータ復号装置の全体構成を示すブロック図である。
【図2】本発明の一実施形態による多重化オーディオデータ復号装置に入力するMPEGトランスポートストリーム(TS)の階層構造の説明図である。
【図3】本発明の一実施形態による多重化オーディオデータ復号装置に用いる内部RAM回路のメモリ配置の説明図である。
【図4】本発明の一実施形態による多重化オーディオデータ復号装置におけるプログラム切替処理を説明するフローチャートである。
【図5】本発明の一実施形態による多重化オーディオデータ復号装置におけるプログラム切替処理の信号授受の説明図である。
【図6】本発明の一実施形態による多重化オーディオデータ復号装置の全体構成を示すブロック図である。
【図7】本発明の一実施形態による多重化オーディオデータ復号装置に用いるA/Vデコードメモリ80の内部のアロケーションの説明図である。
【図8】本発明の一実施形態による多重化オーディオデータ復号装置におけるデコード処理コードの格納処理のフローチャートである。
【図9】本発明の他の実施形態による多重化オーディオデータ復号装置におけるプログラム切替処理を説明するフローチャートである。
【図10】本発明の多重化オーディオデータ復号装置を組み込んだ放送を受信するための受信装置を示すブロック図である。
【図11】本発明の多重化オーディオデータ復号装置を組み込んだ放送を受信するための受信装置を示すブロック図である。
【図12】本発明の多重化オーディオデータ復号装置を組み込んだ放送を受信して記録再生する記録再生装置内臓受信装置を示すブロック図である。
【図13】本発明の多重化オーディオデータ復号装置を組み込んだ通信装置を示すブロック図である。
【符号の説明】
10…デマルチプレクサ
20…オーディオデコーダ
22…DSP
25…内部RAM
50…外部CPU
60…外部ROM
70…ビデオデコーダ
80…A/Vデコードメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multiplexed audio data decoding apparatus for decoding a voice / acoustic (audio) signal encoded in a compressed format, and more particularly, a multiplexing suitable for use as a receiving apparatus for digital broadcasting in which multiple channels are multiplexed. The present invention relates to a generalized audio data decoding apparatus and a receiving apparatus.
[0002]
[Prior art]
As a standard method for compressing a digital audio signal, a method called MPEG (Moving Picture Experts Group) Audio and a method called AC-3 adopted in ATSC (United States Advanced Television Systems Committee) are known. Yes. Each of these methods converts information on the time axis into data on the frequency axis, divides it into frequency bands, uses psychoacoustic characteristics such as masking effects, or compresses information using correlation between audio channels. Based on technology.
[0003]
As a method for decoding (decoding) an audio bitstream compressed using these methods, a digital signal processor (DSP) is used as an audio decoder compatible with the AC-3 format, for example, “Design And Implementation of AC-3 Coders, Vol. 41, No. 3, August 1995 ”. As with a general microcontroller, the DSP is a format that interprets software program code sequentially, processes the data in the built-in registers, and stores the result in memory, so it can decode multiple formats compared to the hardware implementation format. Each algorithm can be provided as a decoding processing code, and since it is flexible to change, it is considered advantageous in terms of both cost and usability. Further, the present invention is characterized in that the calculation speed is improved by providing special hardware such as a high-speed multiplier and a plurality of data buses so as to facilitate the flow of data.
[0004]
[Problems to be solved by the invention]
In general, an audio decoder based on a DSP stores a decoding processing procedure as a program code in a built-in ROM. This is because the program code is read-only and needs to be directly connected to the DSP in order to avoid loss in the access cycle (a normal DSP is one instruction / one cycle).
[0005]
On the other hand, when an audio decoder is considered as a part of a digital broadcast receiver, there are various conditions for compression rate and sound quality depending on the contents of the service and the communication channel conditions on the service supply side such as broadcasting satellites, communication satellites, terrestrial waves and wired cables. Since the optimum encoding format is selected for each, it is necessary to correspond to a plurality of formats on the receiving side.
[0006]
Here, in order to support a plurality of types of compression encoding formats with one DSP chip, it is necessary to secure a program code as an internal ROM for each format. Further, not only the program code but also a dedicated constant table for each format is required as a built-in ROM. Therefore, there is a problem that it is difficult to integrate an audio decoder including a DSP in terms of circuit scale. Further, when the number of formats to be processed is increased or when the specification is changed, the internal ROM of the audio decoder cannot be easily changed, so that there is a problem that flexibility is lowered.
[0007]
An object of the present invention is to provide a receiving apparatus capable of supporting audio data compressed in a plurality of formats in digital broadcasting.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, for example, it is better to use the technical idea disclosed in the scope of claims.
[0009]
With this configuration, multiple types of decode processing codes are stored in the read-only memory, so even when the number of formats to be processed increases or when the specifications are changed, it can be easily handled by changing the read-only memory. , Which can improve flexibility.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the configuration and operation of a multiplexed audio data decoding apparatus according to an embodiment of the present invention will be described with reference to the drawings .
[0015]
First, with reference to FIG. 10, a description will be given of the overall structure of the multiplexed audio data decoding apparatus according to the present embodiment.
[0016]
The multiplexed audio data decoding apparatus according to the present embodiment includes a
[0017]
The
[0018]
Here, the hierarchical structure of the MPEG transport stream (TS) will be described with reference to FIG. Here, audio data will be described as an example.
[0019]
FIG. 2A shows an MPEG TS serving as an input to the
[0020]
As shown in FIG. 2B, the TS packet is composed of a packet ID (PID) and TS_h which are headers, and a payload which is a data portion. The PID is uniquely determined by selecting the program number and the contents of the data. Therefore, for example, by designating the audio data of program #j from the
[0021]
The data portion (payload) of the TS packet is a part of a PES (Packetized Elementary Stream) packet shown in FIG. In other words, the payloads of a plurality of TS packets are collected to form a PES packet.
[0022]
As shown in FIG. 2D, the PES packet includes a PES header and a payload that is a data portion. The PES header (PES_h) includes a stream ID, a display time stamp (PTS: Presentation Time Stamp), and PES_h. The stream ID is a description related to the contents of the PES, and in the case of audio, the encoding format corresponds to the stream ID. The PES can have a plurality of audio access units in the payload, and the PTS indicates the time at which the first audio access unit after the header is to be displayed. The payload includes an audio access unit that is a data portion.
[0023]
As shown in FIG. 2E, the audio access unit is composed of an audio header (Audio_h) including various parameters and encoded audio data for one audio frame as a data portion. The header parameters include sampling frequency, bit rate, frame length, and the like. A series of audio access units is an audio elementary stream (ES). The output of the
[0024]
Next, returning to FIG. 10 , the configuration of the
[0025]
The
[0026]
The
[0027]
The
[0028]
A plurality of types of decoding process program codes are written in the built-in
[0029]
The result decoded by the
[0030]
The
[0031]
The
[0032]
The user interface (I / F)
[0033]
The transfer process is performed via an interface (I / F) 24, and buffering and address conversion are also performed.
[0034]
Here, the memory arrangement of the
[0035]
The
[0036]
The
[0037]
Next, the program switching process in the multiplexed audio data decoding apparatus according to the present embodiment will be described with reference to FIGS.
[0038]
FIG. 4 shows the program switching process according to the present embodiment as the subject of an algorithm, and FIG. 5 shows the program switching process according to the present embodiment as the subject of signal exchange between constituent blocks. 4 and 5, the same reference numerals indicate the same processing steps.
[0039]
In step S1, program switching processing is started. For example, when the user switches programs using a remote controller or the like, the program switching command is transferred to the
[0040]
Next, in step S <b> 2, the
[0041]
Next, in step S3, the
[0042]
Next, in step S4, the
[0043]
Next, in step S <b> 5, the
[0044]
Next, in step S6, the
[0045]
If there is a change, in step S7, the
[0046]
Next, in step S8, the
[0047]
When the error check is completed, in step S9, the
[0048]
On the other hand, the
[0049]
Next, in step S11, the
[0050]
Next, in step S12, the
[0051]
Further, at the time when the PTS time is reached, in step S13, the
[0052]
If the check is not completed, the process returns to step S11 for the next PTS and audio access unit pair, and waits for the PTS time.
[0053]
On the other hand, if the check is completed, the
[0054]
Next, in step S15, the
[0055]
Next, in step S <b> 16, the
[0056]
As described above, in this embodiment, the decoding processing codes for a plurality of types of encoding formats are stored in the external ROM connected to the outside of the audio decoder. Then, in accordance with the encoding format of the input audio stream, one type of decoding processing code corresponding to the encoding format stored in the external ROM is read out and stored in the code area of the internal RAM of the audio decoder. ing. The DSP performs the decoding process using the decoding process code stored in the internal RAM. Here, since the capacity of the external ROM can be sufficiently large, even if the corresponding format is increased, the cost is not increased.
[0057]
Further, addition of a processing target format and specification change can be easily handled by changing the external ROM without changing the audio decoder including the DSP.
[0058]
The external ROM can be changed by replacing the external ROM chip in which a new decoding processing code is written. As another method, when a rewritable flash ROM is used as the external ROM, a new decoding processing code can be written in the flash ROM. At this time, the new decoding processing code may be read from a storage medium such as a disk, or may be downloaded from a network.
[0059]
Here, an example in which the multiplexed audio data decoding apparatus according to the present embodiment described above is applied is shown in FIG.
[0060]
FIG. 10 is a receiving apparatus for receiving a broadcast incorporating a multiplexed audio data decoding apparatus, in which 100 is an external antenna that receives a broadcast signal, 110 is a tuner that selects a received broadcast signal, and 120 is a selector. An error correction (FEC) circuit that performs processing such as error correction on the broadcast signal that has been stationed and outputs it to the
[0061]
As described above, the present invention can be applied as a broadcast receiving apparatus in which the encoding format is changed . Next , the configuration and operation of a multiplexed audio data decoding apparatus according to another embodiment of the present invention will be described.
[0062]
First, the overall configuration of the multiplexed audio data decoding apparatus according to the present embodiment will be described with reference to FIG. In addition, the same code | symbol as FIG. 10 has shown the same part.
[0063]
The multiplexed audio data decoding apparatus according to the present embodiment includes a
[0064]
The output of the
[0065]
Here, the internal allocation of the A / V decoding memory 80 used in the multiplexed audio data decoding apparatus according to the present embodiment will be described with reference to FIG.
[0066]
The A / V decoding memory 80 is provided with a stream buffer area 80a necessary for video decoding and a work area 80b such as a frame buffer, and further provided with a graphic display buffer 80c for realizing an interface as a broadcast receiver. Yes.
[0067]
The A / V decoding memory 80 includes an audio decoding work area 80d that can be accessed by the
[0068]
Decoding
[0069]
Here, the decoding processing code storage processing according to the present embodiment will be described with reference to the flowchart shown in FIG.
[0070]
In step S21, the
[0071]
Next, in step S <b> 22, the
[0072]
Next, the program switching process in the multiplexed audio data decoding apparatus according to the present embodiment will be described with reference to FIG.
[0073]
FIG. 9 shows the program switching process according to the present embodiment as the subject of the algorithm. The same reference numerals as those in FIGS. 4 and 5 indicate the same processing steps.
[0074]
Since the program switching process in this embodiment is step S7 ′ instead of step S7 in the program switching process shown in the flowchart of FIG. 4, steps S8, S9, and S13 in FIG. 4 are deleted. The difference will be described.
[0075]
If it is determined in step S6 that the
[0076]
In general, since the A / V decoding memory 80 has a transmission bandwidth that can withstand video decoding processing, the time required to transfer one type of decoding processing code should be sufficiently shorter than that when transferring from the
[0077]
Further, since the transfer reliability is confirmed in the access at the time of decoding, the transfer error check is not required again.
[0078]
As described above, in the present embodiment, decoding processing codes for a plurality of types of encoding formats are stored from an external ROM in an A / V decoding memory connected to the outside of the audio decoder. Then, according to the encoding format of the input audio stream, one type of decoding processing code corresponding to the encoding format stored in the A / V decoding memory is read and stored in the code area of the internal RAM of the audio decoder. Like to do.
[0079]
The DSP performs the decoding process using the decoding process code stored in the internal RAM. Here, since the capacity of the A / V decoding memory can be sufficiently large, even if the corresponding format is increased, the cost is not increased.
[0080]
Further, addition of a processing target format and specification change can be easily handled by changing the external ROM without changing the audio decoder including the DSP.
[0081]
Furthermore, it is possible to reduce the time required to transfer one type of decoding processing code.
[0082]
Further, since the transfer reliability is confirmed in the access at the time of decoding, the transfer error check is not required again.
[0083]
Here, an example in which the multiplexed audio data decoding apparatus according to the present embodiment described above is applied is shown in FIGS.
[0084]
FIG. 11 shows a receiving apparatus for receiving a broadcast incorporating a multiplexed audio data decoding apparatus, wherein 100 is an external antenna for receiving a broadcast signal, 110 is a tuner for selecting the received broadcast signal, and 120 is a selection. An error correction (FEC) circuit that performs processing such as error correction on the broadcast signal that has been transmitted and outputs it to the
[0085]
As described above, the present invention can be applied as a broadcast receiving apparatus in which the encoding format is changed.
[0086]
FIG. 12 shows a recording / reproducing device built-in receiving device for receiving and recording / reproducing a broadcast incorporating a multiplexed audio data decoding device, and 150 is a recording device for recording / reproducing a broadcast signal. The signal is output to the
[0087]
As described above, the present invention can also be applied as a recording / reproducing apparatus built-in receiving device for receiving and recording / reproducing a broadcast whose encoding format is changed.
[0088]
FIG. 13 shows a communication device incorporating a multiplexed audio data decoding device, 170 is an external line such as the Internet, and 160 is a modem that receives the external line, and outputs external information from the modem to the
[0089]
As described above, the present invention can also be applied as a communication device for receiving communication in which the encoding format is changed.
[0090]
According to the present invention, it is possible to provide a receiving apparatus capable of supporting audio data compressed in a plurality of formats in digital broadcasting.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a multiplexed audio data decoding apparatus according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram of a hierarchical structure of an MPEG transport stream (TS) input to a multiplexed audio data decoding device according to an embodiment of the present invention.
FIG. 3 is an explanatory diagram of a memory arrangement of an internal RAM circuit used in a multiplexed audio data decoding device according to an embodiment of the present invention.
FIG. 4 is a flowchart illustrating a program switching process in the multiplexed audio data decoding apparatus according to an embodiment of the present invention.
FIG. 5 is an explanatory diagram of signal exchange for program switching processing in the multiplexed audio data decoding apparatus according to the embodiment of the present invention;
FIG. 6 is a block diagram showing an overall configuration of a multiplexed audio data decoding apparatus according to an embodiment of the present invention.
FIG. 7 is an explanatory diagram of allocation in the A / V decoding memory 80 used in the multiplexed audio data decoding device according to the embodiment of the present invention.
FIG. 8 is a flowchart of decoding processing code storage processing in the multiplexed audio data decoding device according to the embodiment of the present invention;
FIG. 9 is a flowchart illustrating a program switching process in a multiplexed audio data decoding apparatus according to another embodiment of the present invention.
FIG. 10 is a block diagram showing a receiving apparatus for receiving a broadcast incorporating the multiplexed audio data decoding apparatus of the present invention.
FIG. 11 is a block diagram showing a receiving apparatus for receiving a broadcast incorporating the multiplexed audio data decoding apparatus of the present invention.
FIG. 12 is a block diagram showing a recording / reproducing device built-in receiving device for receiving and recording / reproducing a broadcast incorporating the multiplexed audio data decoding device of the present invention.
FIG. 13 is a block diagram showing a communication device incorporating the multiplexed audio data decoding device of the present invention.
[Explanation of symbols]
10 ...
25 ... Internal RAM
50 ... External CPU
60 ... External ROM
70 ... Video decoder 80 ... A / V decode memory
Claims (4)
前記第1又は第2の番組データの選択の指示を行う選択指示部と、
前記選局指示部により選局された前記第1又は第2の番組データを復調する復調部と、
前記復調部により復調された前記番組データを分離する分離部と、
前記分離部により分離された前記番組データを復号する復号部と、
前記復号部の外部に配置された、前記第1の符号化フォーマットに対応した第1の復号プログラムとを前記第2の符号化フォーマットに対応した第2の復号プログラムとを記憶する復号プログラム記憶部と、
少なくとも前記復号部と前記復号プログラム記憶部とを制御する制御部とを備え、
前記制御部は、前記選局指示部により前記第1の番組データが選択されると、前記第1のID情報を用いて前記復号プログラム記憶部に記憶された前記第1の復号プログラムを読み出し、前記読み出された第1の復号プログラムを用いて前記第1の音声データを復号し、前記選局指示部により前記第2の番組データが選択されると、前記第2のID情報を用いて前記復号プログラム記憶部に記憶された前記第2の復号プログラムを読み出し、前記読み出された第2の復号プログラムを用いて前記第2の音声データを復号することを特徴とする受信装置。A first program including first audio data compressed in a first encoding format and first ID information indicating that the first audio data is compressed in the first encoding format Data, second audio data compressed in the second encoding format, and second ID information indicating that the second audio data is compressed in the second encoding format. A receiver for receiving the program data of 2;
A selection instruction unit for instructing selection of the first or second program data;
A demodulator that demodulates the first or second program data selected by the channel selection instruction unit;
A separation unit that separates the program data demodulated by the demodulation unit;
A decoding unit for decoding the program data separated by the separation unit;
A decoding program storage unit that stores a first decoding program corresponding to the first encoding format and a second decoding program corresponding to the second encoding format, which are arranged outside the decoding unit When,
A control unit that controls at least the decoding unit and the decoding program storage unit;
When the first program data is selected by the channel selection instruction unit, the control unit reads out the first decoding program stored in the decoding program storage unit using the first ID information, When the first audio data is decoded using the read first decoding program and the second program data is selected by the channel selection instruction unit, the second ID information is used. A receiving apparatus, wherein the second decoding program stored in the decoding program storage unit is read, and the second audio data is decoded using the read second decoding program.
前記第1又は第2のID情報は、前記第1又は第2の番組データのPESパケットに含まれることを特徴とする受信装置。The receiving device according to claim 1,
The receiving apparatus characterized in that the first or second ID information is included in a PES packet of the first or second program data .
前記第1又は第2のID情報は、前記PESパケットに含まれるストリームIDであることを特徴とする受信装置。The receiving device according to claim 2,
The receiving apparatus, wherein the first or second ID information is a stream ID included in the PES packet.
前記第1又は第2の番組データのデコード処理を行う制御部と、
前記制御部には含まれないように配置された、前記第1及び第2のフォーマットにそれぞれ対応した第1及び第2のプログラムを記憶するメモリとを備え、
前記制御部は、前記チューナにより前記第1の番組データが選択されると、前記第1のフォーマット情報を用いて前記メモリに記憶された前記第1のプログラムを読み出し、前記読み出された第1のプログラムを用いて前記第1のオーディオデータを復号し、前記チューナにより前記第2の番組データが選択されると、前記第2のフォーマット情報を用いて前記メモリに記憶された前記第2のプログラムを読み出し、前記読み出された第2のプログラムを用いて前記第2のオーディオデータを復号することを特徴とする受信装置。A first program data including first audio data compressed in a first format; a second program data including second audio data compressed in a second format; and the first format. A tuner that receives first format information and second format information related to the second format, and selects the first or second program data;
A control unit that performs decoding processing of the first or second program data;
A memory for storing the first and second programs respectively corresponding to the first and second formats, arranged so as not to be included in the control unit;
When the first program data is selected by the tuner , the control unit reads the first program stored in the memory using the first format information , and reads the read first program data . decoding the first audio data by using the program and the second program data is selected by the tuner, the second program stored in said memory using said second format information And the second audio data is decoded using the read second program .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30641699A JP3848805B2 (en) | 1998-11-04 | 1999-10-28 | Receiver |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31325498 | 1998-11-04 | ||
JP10-313254 | 1998-11-04 | ||
JP30641699A JP3848805B2 (en) | 1998-11-04 | 1999-10-28 | Receiver |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005229012A Division JP4393435B2 (en) | 1998-11-04 | 2005-08-08 | Receiver |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000201126A JP2000201126A (en) | 2000-07-18 |
JP3848805B2 true JP3848805B2 (en) | 2006-11-22 |
Family
ID=26564707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30641699A Expired - Lifetime JP3848805B2 (en) | 1998-11-04 | 1999-10-28 | Receiver |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3848805B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020083544A (en) * | 2001-04-26 | 2002-11-04 | 주식회사 비쥬얼텍 | Apparatus and control method for multi format CD player by using DSP |
CN100583239C (en) | 2003-02-28 | 2010-01-20 | 松下电器产业株式会社 | Reproduction device and reproduction method |
JP2005196266A (en) * | 2003-12-26 | 2005-07-21 | Matsushita Electric Ind Co Ltd | Information processor |
JP4872253B2 (en) * | 2004-10-12 | 2012-02-08 | ソニー株式会社 | Multiplexing device, multiplexing method, program, and recording medium |
WO2007063964A1 (en) * | 2005-12-02 | 2007-06-07 | Pioneer Corporation | Audio data reproducing apparatus and the like |
JP2009115706A (en) * | 2007-11-08 | 2009-05-28 | Sanyo Electric Co Ltd | Decoding processor and method for testing decoding processor |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05313908A (en) * | 1992-05-13 | 1993-11-26 | Fujitsu Ltd | Program assuring method for program down load type coding device |
JP3221763B2 (en) * | 1993-04-08 | 2001-10-22 | 株式会社日立製作所 | Audio codec |
JPH08242433A (en) * | 1995-03-03 | 1996-09-17 | Hitachi Ltd | Transmission method for digital data, as well as transmitter and receiver |
JP3301263B2 (en) * | 1995-03-29 | 2002-07-15 | 株式会社日立製作所 | Data decoding device |
JP3651699B2 (en) * | 1995-04-09 | 2005-05-25 | ソニー株式会社 | Decoding device and encoding / decoding device |
JPH08287616A (en) * | 1995-04-11 | 1996-11-01 | Matsushita Electric Ind Co Ltd | Audio data coding recording device, audio data decoding reproducing device and storage medium |
-
1999
- 1999-10-28 JP JP30641699A patent/JP3848805B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000201126A (en) | 2000-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8098695B2 (en) | Multiplexed audio data decoding apparatus and receiver apparatus | |
JP3305183B2 (en) | Digital broadcast receiving terminal | |
JP4195015B2 (en) | MPEG-2 decoding system and decoding method | |
US6697432B2 (en) | Processing of packets in MPEG encoded transport streams using additional data attached to each packet | |
JP2007104085A (en) | Digital broadcast method and apparatus employing communication line | |
JP4304562B2 (en) | Separation apparatus and method, and reception apparatus and method | |
JP3731554B2 (en) | Signal processing apparatus and signal processing method | |
US6754239B2 (en) | Multiplexing apparatus and method, transmitting apparatus and method, and recording medium | |
WO2002023776A1 (en) | Stream decoder | |
JP2007006405A (en) | Digital broadcast receiver | |
JP3848805B2 (en) | Receiver | |
JP4393435B2 (en) | Receiver | |
JPH10271464A (en) | Digital broadcast receiver | |
JPH11122556A (en) | Digital broadcast receiver | |
JP2002325230A (en) | Data recorder, recording method, data reproducing device and method | |
JP4777600B2 (en) | Method and system for buffering data representing pixels | |
JP3764806B2 (en) | Receiver | |
KR20070078621A (en) | Device and method for processing of muli-data in terminal having digital broadcasting receiver | |
JP3778067B2 (en) | Digital broadcast receiving system | |
JP2001044866A (en) | Information reception method and system thereof | |
JP3589913B2 (en) | Digital signal receiving device, digital signal processing device, and program recording medium | |
JP3469837B2 (en) | Automatic gradation modulation sound switching device for digital broadcasting receiver | |
JPS61133736A (en) | Time division multiplex transmission system | |
JP4538488B2 (en) | Stream receiving apparatus, stream receiving method, and stream transmitting / receiving method | |
JP4300190B2 (en) | Receiving apparatus and receiving method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050808 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060403 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3848805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |