JP3544182B2 - 記録再生編集装置および方法 - Google Patents
記録再生編集装置および方法 Download PDFInfo
- Publication number
- JP3544182B2 JP3544182B2 JP2001057209A JP2001057209A JP3544182B2 JP 3544182 B2 JP3544182 B2 JP 3544182B2 JP 2001057209 A JP2001057209 A JP 2001057209A JP 2001057209 A JP2001057209 A JP 2001057209A JP 3544182 B2 JP3544182 B2 JP 3544182B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- recording
- output
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【発明の属する技術分野】
本発明は、オーディオ、ビデオ等のリアルタイム信号を記録再生編集する記録再生編集方法、記録再生編集装置に関するものである。
【0002】
【従来の技術】
従来、この種の編集方法は、アフレコストリームをオリジナルストリームとは別領域に記録して、双方のパック、パケット間でSCR、PTSおよびペイロードサイズを一致させて記録し、オリジナルストリームのオーディオデータを、アフレコストリームで置きかえることにより、オーディオのアフターレコーディングを行う場合の編集を実現していた(特開平11−298845号公報)。
【0003】
【発明が解決しようとする課題】
しかし、このような従来の編集方法では、DVDフォーラムで規格化されたビデオレコーディング規格で採用されているドルビーデジタル(AC3)の圧縮コーディングを用いてエンコードしている場合、32ミリ秒単位に圧縮エンコードされるために、少なくとも32ミリ秒精度での編集しかできないという問題があった。また、LPCMのエンコード方式でパッキングを行う場合に、例えば2キロバイト単位にアライメントしてパッキングしているとしても、2キロバイトの精度での編集しかできないという問題があった。
【0004】
本発明はこのような問題を解決するためになされたもので、エンコードされた単位より細かい精度での編集が可能な記録再生編集装置および方法を提供するものである。
【0005】
【課題を解決するための手段】
本発明の記録再生編集装置は、外部からデータを入力し、符号化して記録デバイスに記録するとともに、この記録された符号化データを再生し、出力する記録再生編集装置であって、入力データを所定の単位毎にエンコードしてストリームデータを出力するエンコード部と、このエンコード部から出力されたストリームデータを前記記録デバイスに記録するとともに、この記録デバイスに記録されたストリームデータを読み出す記録再生部と、この記録再生部から読み出されたストリームデータをデコードし、前記入力データを再生した復号データを出力するデコード部と、外部からアフレコ用データを入力するとともに、この入力されたアフレコ用データと前記デコード部で再生された復号データをミキシングおよび/またはスイッチングして出力する入出力部と、前記記録デバイスから読み出された符号化データのエンコード単位と、前記アフレコ用データを含む編集ストリームデータのエンコード単位との対応付けを行い、前記エンコード部および/または前記入出力部を制御するエンコード制御部と、前記エンコード部、前記記録再生部、前記デコード部、前記入出力部および前記エンコード制御部を制御する制御部とを備えるとともに、この制御部の指示に従って、前記記録再生部が前記記録デバイスに記録されたストリームデータを読み出し、この読み出されたストリームデータを前記デコード部がデコードして前記入力データを再生した復号データを出力し、前記エンコード制御部が、前記符号化データのエンコード単位と前記編集ストリームデータのエンコード単位との対応付けの結果に基づいて、前記エンコード部に対してエンコード開始および終了タイミングを指示するとともに、前記入出力部に対し前記記録デバイスから読み出された符号化データのエンコード単位より小さな単位でのミキシングおよび/またはスイッチングのタイミングを指示し、この出力された復号データと、前記アフレコ用データとを前記入出力部がミキシングまたはスイッチングして出力し、この入出力部からの出力を前記エンコード部がエンコードして編集ストリームデータを出力し、この出力された編集ストリームデータを前記記録再生部が前記記録デバイスに記録することを特徴とした構成を有している。
【0008】
この構成により、エンコード制御部は、符号化データのエンコード単位と編集ストリームデータのエンコード単位との対応付けの結果に基づいて、エンコード部に対してエンコード開始および終了タイミングを指示するとともに、入出力部に対し記録デバイスから読み出された符号化データのエンコード単位より小さな単位でのミキシングおよび/またはスイッチングのタイミングを指示するので、符号化データのエンコード単位よりも小さい単位でミキシングやスイッチングを行うことができる。
【0009】
さらに、本発明の記録再生編集装置は、前記デコード部が、前記デコードした復号データの出力開始を示すタイミング情報を出力し、このタイミング情報に基づいて、前記エンコード制御部が、前記エンコード部および/または前記入出力部を制御する構成を有している。
【0010】
この構成により、デコード部からのデコード開始を示すタイミング情報に基づいて、エンコード部および入出力部の制御が可能になり、デコード部からの出力タイミングが一定でない場合も編集が実現可能になる。
【0011】
さらに、本発明の記録再生編集装置は、前記デコード部が、前記エンコード単位を示すタイミング情報を出力し、この情報に基づいて、前記エンコード制御部が、前記エンコード部および/または前記入出力部を制御する構成を有している。
【0012】
この構成により、デコード部からのエンコードされた単位を示す情報に基づいて、エンコード部および入出力部の制御が可能になり、デコーダからの出力タイミングが一定でない場合も、より少ないハードウェアで編集が実現可能になる。
【0013】
さらに、本発明の記録再生編集装置は、前記デコード部が、前記タイミング情報を前記復号データに多重して出力し、このタイミング情報に基づいて、前記エンコード制御部が前記エンコード部および/または前記入出力部を制御する構成を有している。この構成により、デコーダに特別に出力端子を持たせることなく編集が可能になる。
【0014】
さらに、本発明の記録再生編集装置は、前記制御部が、所定のパターンを有するタイミング用ストリームデータを準備し、このタイミング用ストリームデータを前記記録デバイスに記録されたストリームデータに付加し、前記デコード部が、デコード時にデコードタイミング用パターンを出力し、このデコードタイミング用パターンを前記エンコーダ制御部が検出することによって、デコード開始を検知し、前記記録デバイスから読み出された符号化データのエンコード単位と、前記アフレコ用データを含む編集ストリームデータのエンコード単位との対応付けを行う構成を有している。この構成により、デコーダに特別な機能を持たせることなく編集が可能になる。
【0015】
また、本発明の記録再生編集方法は、外部からデータを入力し、この入力データを所定の単位毎に符号化してストリームデータを出力し、この出力されたストリームデータを記録デバイスに記録するとともに、この記録された符号化データを再生し、出力する記録再生編集方法であって、前記記録デバイスに記録されたストリームデータを読み出し、この読み出されたストリームデータをデコードし、前記入力データを再生した復号データを出力し、外部からアフレコ用データを入力するとともに、この入力されたアフレコ用データと前記再生された復号データをミキシングおよび/またはスイッチングして出力し、前記記録デバイスから読み出された符号化データのエンコード単位と、前記アフレコ用データを含む編集ストリームデータのエンコード単位との対応付けを行い、前記符号化データのエンコード単位と前記編集ストリームデータのエンコード単位との対応付けの結果に基づいて、エンコード開始および終了タイミングを指示するとともに、前記記録デバイスから読み出された符号化データのエンコード単位より小さな単位でのミキシングおよび/またはスイッチングのタイミングを指示し、前記復号データと前記アフレコ用データとをミキシングまたはスイッチングして出力し、この出力を符号化して編集ストリームデータを出力し、この出力された編集ストリームデータを前記記録デバイスに記録することを特徴としている。
【0018】
これにより、符号化データのエンコード単位と編集ストリームデータのエンコード単位との対応付けの結果に基づいて、エンコード開始および終了タイミングを指示するともに、記録デバイスから読み出された符号化データのエンコード単位より小さな単位でのミキシングおよび/またはスイッチングのタイミングを指示するので、符号化データのエンコード単位よりも小さい単位でミキシングやスイッチングを行うことができる。
【0019】
さらに、本発明の記録再生編集方法は、前記デコードした復号データの出力開始を示すタイミング情報を準備し、このタイミング情報に基づいて、前記アフレコ用データと前記復号データをミキシングおよび/またはスイッチングして出力するタイミングを制御するとともに、前記編集ストリームデータの符号化のタイミングを制御することを特徴としている。
【0020】
これにより、デコード開始を示すタイミング情報に基づいて、前記アフレコ用データと前記復号データをミキシングおよび/またはスイッチングして出力するタイミングおよび前記編集ストリームデータの符号化のタイミングの制御が可能になり、デコード時の出力タイミングが一定でない場合も編集が実現可能になる。
【0021】
さらに、本発明の記録再生編集方法は、前記エンコード単位を示すタイミング情報を準備し、この情報に基づいて、前記アフレコ用データと前記復号データをミキシングおよび/またはスイッチングして出力するタイミングを制御するとともに、前記編集ストリームデータの符号化のタイミングを制御することを特徴としている。
【0022】
これにより、エンコードされた単位を示す情報に基づいて、前記アフレコ用データと前記復号データをミキシングおよび/またはスイッチングして出力するタイミングおよび前記編集ストリームデータの符号化のタイミングの制御が可能になり、デコーダからの出力タイミングが一定でない場合も、より少ないハードウェアで編集が実現可能になる。
【0023】
また、本発明の記録再生編集方法は、前記タイミング情報を前記復号データに多重して出力し、このタイミング情報に基づいて、前記アフレコ用データと前記復号データをミキシングおよび/またはスイッチングして出力するタイミングを制御するとともに、前記編集ストリームデータの符号化のタイミングを制御することを特徴としている。これにより、デコーダに特別に出力端子を持たせることなく編集が可能になる。
【0024】
さらに、本発明の記録再生編集方法は、所定のパターンを有するタイミング用ストリームデータを準備し、このタイミング用ストリームデータを前記記録デバイスに記録されたストリームデータに付加し、デコード時にデコードタイミング用パターンを出力し、このデコードタイミング用パターンを検出することによって、デコード開始を検知し、前記記録デバイスから読み出された符号化データのエンコード単位と、前記アフレコ用データを含む編集ストリームデータのエンコード単位との対応付けを行うことを特徴としている。これにより、デコーダに特別な機能を持たせることなく編集が可能になる。
【0025】
【発明の実施の形態】
(第1の実施の形態)
【0026】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素は同じ符号を用いて示してある。
【0027】
図1に示すように、本発明の第1の実施の形態の記録再生編集装置100は、オーディオデータやビデオデータを含むマルチメディアデータ10を外部から入力し、符号化して得られたストリームデータを記録デバイス30に記録するとともに、記録デバイス30に記録されたストリームデータを読み出し、再生して再生データ40を出力するものであり、入出力部101と、エンコード部103と、記録再生部105と、デコード部107と、制御部109とを備えている。
【0028】
また、本発明の第1の実施の形態の記録再生編集装置100は、記録デバイス30に記録されたオリジナルストリームデータに、後から入力されたアフターレコーディング用のマルチメディアデータをミキシングまたはスイッチングして編集し、記録デバイス30に記録するものである。
【0029】
記録デバイス30は、例えば、ハードディスク、MO、MDおよびDVDなどである。
【0030】
制御部109は、CPUおよびその周辺装置で構成され、入出力部101、エンコード部103、記録再生部105およびデコード部107に制御バス111を介して電気的に接続され、これらのユニットを含む本装置の制御を行うものである。
【0031】
入出力部101は、第1の入力端子I1および第2の入力端子I2と、第1の出力端子O1および第2の出力端子O2を有し、第1の入力端子I1および第2の入力端子I2を介して入力されたデータを制御部109からの制御に基づいて、ミキシングまたはスイッチングして第1の出力端子O1および/または第2の出力端子O2を介して出力するものである。本実施の形態では、第1の入力端子I1を介して外部からマルチメディアデータ10が入力され、第2の入力端子I2を介して記録デバイス30から読み出されたオリジナルストリームデータが入力される。
【0032】
エンコード部103は、入出力部101の第1の出力端子O1に電気的に接続され、入出力部101から入力されたデータを所定の単位毎にエンコードし、ストリームデータを出力するものである。
【0033】
記録再生部105は、エンコード部103に電気的に接続され、エンコード部103から入力されたストリームデータをバッファリングしながら記録デバイス30に記録するとともに、記録デバイス30に記録されたストリームデータをバッファリングしながら読み出し、出力するものである。
【0034】
デコード部107は、記録再生部105に電気的に接続され、記録再生部105から入力されたストリームデータをデコードしてオリジナルのマルチメディアデータを復号した復号データを出力するものである。デコード部107の出力は、入出力部101の第2の入力端子I2を介して入出力部101に入力される。
【0035】
図2は、本発明の第1の実施の形態の記録再生編集装置100の各ユニットの入出力データの関係を示すタイミングチャートである。
【0036】
図2(a)は、記録デバイス30に予め記録されているオリジナルストリームデータ21を示している。オリジナルストリームデータ21は所定の単位毎にエンコードされている。図2(b)は、デコード部107の出力を示している。記録再生部105により、記録デバイス30からオリジナルストリームデータ21が読み出され、デコード部107に入力され、デコード部107にて、デコードされて復号データ23が出力される。
【0037】
図2(c)は、外部から入出力部101に第1の入力端子I1を介して入力されたアフレコデータ25を示している。アフレコデータ25は、図2(a)のオリジナルストリームデータ21のA点からB点間に上書きされるものである。図2(d)は、入出力部101の出力を示している。本実施の形態においては、第1および第2の入力端子I1およびI2を介して入力されたデータが制御部109の指示に従って、スイッチングされて出力される。図2(e)は、入出力部101から出力され、エンコード部103で再エンコードされ、得られた編集ストリームデータ27を示している。編集ストリームデータ27は、記録再生部105を介して記録デバイス30に記録される。
【0038】
以上のように構成された本発明の第1の実施の形態の記録再生編集装置100の動作について、図1および図2を用いて説明する。
【0039】
まず、図2(a)のオリジナルストリームデータ21が、記録再生部105により、記録デバイス30から読み出され、デコード部107に入力される。デコード部107で、このオリジナルストリームデータ21がデコードされ、図2(b)に示される復号データ23が出力され、入出力部101に第2の入力端子I2を介して入力される。
【0040】
一方、入出力部101では、図2(c)に示すように、第1の入力端子I1を介して、アフレコデータ25が外部から入力される。アフレコデータ25は、予め入力され、バッファリングされていても良い。
【0041】
入出力部101では、図2(d)に示すように、はじめ、第2の入力端子I2を介して入力された復号データ23が、第1の出力端子O1および/または第2の出力端子O2を介して出力される。次いで、アフレコデータ25が外部から入力されると、A点で、入出力部101において、第2の入力端子I2を介して入力された復号データ23から第1の入力端子I1を介して入力されたアフレコデータ25に切り替えられて、図2(d)に示すように、アフレコデータ25が第1の出力端子O1および/または第2の出力端子O2を介して出力される。
【0042】
さらに、B点で、入出力部101において、第1の入力端子I1を介して入力されたアフレコデータ25から第2の入力端子I2を介して入力された復号データ23に切り替えられて、図2(d)に示すように、復号データ23が第1の出力端子O1および/または第2の出力端子O2を介して出力される。
【0043】
入出力部101の第1の出力端子O1を介して出力されたデータは、エンコード部103に入力され、図2(e)に示すように、所定の単位毎に再エンコードされ、記録デバイス30に編集ストリームデータ27として記録される。
【0044】
以上の動作は、制御部109の指示に従って行われる。
【0045】
以上のように、本発明の第1の実施の形態の記録再生編集装置100は、デコード部107で得られた復号データ23と、外部入力のアフレコデータ25のスイッチングを行う入出力部101を設けているので、エンコード単位より細かい単位で編集することができる。
【0046】
尚、上記実施の形態では、入出力部101において、第1の入力端子I1および第2の入力端子I2の入力をスイッチングして出力した場合について説明したが、本発明は2つの入力をミキシングしながらのスイッチング、またはミキシングのみなどの場合も同様の効果が得られるものである。
【0047】
さらに、上記実施の形態では、A点およびB点間を外部信号により全て上書きするように記したが、複数のチャンネルを持つオーディオデータの場合、ある任意のチャンネルのみ外部信号により上書きする場合も同様の効果が得られるものである。
【0048】
また、上記実施の形態では、マルチメディアデータの場合について説明したが、オーディオデータのみ、ビデオデータのみの場合も同様の効果が得られるものである。
(第2の実施の形態)
【0049】
図3は、本発明の第2の実施の形態の記録再生編集装置200の構成ブロック図を示す。これは上記第1の実施の形態とはエンコード制御部201をさらに設けた点が相違している。図1の第1の実施の形態の記録再生編集装置100と同様な構成要素には同じ符号を付して、詳細な説明を省略する。
【0050】
エンコード制御部201は、記録デバイス30から読み出されたオリジナルストリームデータ21のエンコード単位と、アフレコデータ25を含む再エンコードされた編集ストリームデータのエンコード単位との対応付けを行うとともに、エンコード部103および入出力部101を制御するものである。
【0051】
図4は、本発明の第2の実施の形態の記録再生編集装置200の各ユニットの入出力データの関係を示すタイミングチャートである。
【0052】
図4(a)は、記録デバイス30に予め記録されているオリジナルストリームデータ21を示している。オリジナルストリームデータ21は所定の単位毎にエンコードされている。図4(b)は、デコード部107の出力を示している。記録再生部105により、記録デバイス30からオリジナルストリームデータ21が読み出され、デコード部107に入力され、デコード部107にて、デコードされて復号データ23が出力される。
【0053】
図4(c)は、制御部109の再生開始指示を示している。図4(d)は、エンコード制御部201のカウント動作を示している。エンコード制御部201は、制御部109の再生開始指示に応じて、カウント動作を開始する。図4(e)は、エンコード制御部201の指示内容を示している。エンコード制御部201には、再生開始からエンコード開始までのタイミングと、エンコード停止までのタイミングと、外部から入力されたアフレコデータの開始タイミング(図中、A点)と、アフレコデータの終了タイミング(図中、B点)とが制御部109により予め設定されている。これらの設定とカウント値に基づいて、タイミングを計り、エンコード開始指示、スイッチング指示、エンコード停止指示を出力する。
【0054】
図4(f)は、外部から入出力部101に第1の入力端子I1を介して入力されたアフレコデータ25を示している。アフレコデータ25は、図4(a)のオリジナルストリームデータ21のA点からB点間に再生されるように編集されるデータである。
【0055】
図4(g)は、入出力部101の出力を示している。本実施の形態においては、第1および第2の入力端子I1およびI2を介して入力されたデータがスイッチングされて出力される。図4(h)は、入出力部101から出力され、エンコード部103で再エンコードされ、得られた編集ストリームデータ27を示している。編集ストリームデータ27は、記録再生部105を介して記録デバイス30に記録される。本実施の形態において、編集ストリームデータ27は、記録デバイス30のオリジナルストリームデータ21とは別領域に記録される。図4(i)は、本実施の形態において、編集されて記録デバイス30に記録されたデータを再生した時の再生ストリームデータを示している。
【0056】
以上のように構成された本発明の第2の実施の形態の記録再生編集装置200の動作について、図3および図4を用いて説明する。
【0057】
まず、図4(a)のオリジナルストリームデータ21が、記録再生部105により、記録デバイス30から読み出され、デコード部107に入力される。
【0058】
次いで、再生開始指示と、再生開始からエンコード開始までのタイミングと、エンコード停止までのタイミングと、外部から入力されたアフレコデータの開始タイミング(図中、A点)と、アフレコデータの終了タイミング(図中、B点)とをエンコード制御部201が制御部109から受け取る。図4(c)の制御部109からの再生開始指示に応じて、図4(d)に示すように、エンコード制御部201は内部カウンタのカウント動作を開始し、図4(e)に示すように、各種指示を出力する。
【0059】
また、デコード部107において、図4(c)の制御部109からの再生開始指示に応じて、記録再生部105で読み出されたオリジナルストリームデータ21がデコードされ、図4(b)に示される復号データ23が出力され、入出力部101に第2の入力端子I2を介して入力される。
【0060】
一方、入出力部101では、図4(f)に示すように、第1の入力端子I1を介して、アフレコデータ25が外部から入力される。アフレコデータ25は、予め入力され、バッファリングされていても良い。
【0061】
入出力部101では、図4(g)に示すように、はじめ、第2の入力端子I2を介して入力された復号データ23が、第1の出力端子O1および/または第2の出力端子O2を介して出力される。次いで、エンコード制御部201が、図4(e)に示すようにスイッチング指示を出力し、これに応じて、A点で、アフレコデータ25が第2の入力端子I2を介して入力された復号データ23から第1の入力端子I1を介して入力されたアフレコデータ25に切り替えられて、図4(g)に示すように、アフレコデータ25が第1の出力端子O1および/または第2の出力端子O2を介して出力される。
【0062】
さらに、エンコード制御部201が、図4(e)に示すように、B点でスイッチング指示を再び出力し、これに応じて、入出力部101において、第1の入力端子I1を介して入力されたアフレコデータ25から第2の入力端子I2を介して入力された復号データ23に切り替えられて、図4(g)に示すように、復号データ23が第1の出力端子O1および/または第2の出力端子O2を介して出力される。
【0063】
入出力部101の第1の出力端子O1を介して出力されたデータは、エンコード部103に入力され、図4(h)に示すように、エンコード制御部301からのエンコード開始指示および停止指示に基づいて、所定の単位毎に再エンコードされ、記録デバイス30のオリジナルストリームデータ21とは別領域に編集ストリームデータ27として記録される。
【0064】
このようにして記録デバイス30に記録されたデータを再生する場合、図4(i)に示すように、図4(a)のオリジナルストリーム21と、図4(h)の編集ストリームデータ27とを連続して再生することが可能となる。
【0065】
以上の動作は、制御部109の指示に従って行われる。
【0066】
以上のように、本発明の第2の実施の形態の記録再生編集装置200は、再エンコードした編集ストリームデータ27とオリジナルストリームデータ21のエンコード単位を同一とすることができ、これにより、オリジナルストリームデータ21と再エンコードした編集ストリームデータ27を連続してつなぐことができるとともに、エンコード単位より細かい精度での編集が可能となる。
【0067】
尚、上記実施の形態では、エンコード制御部201がエンコード部103および入出力部101の制御を行うと記したが、エンコード制御部201の機能をエンコード部103および入出力部101にそれぞれ持たせても同様の効果が得られるものである。また、制御部109がエンコード制御部201の機能を有した場合でも同様の効果が得られるものである。
【0068】
あるいは、上記実施の形態では、編集ストリームデータ27を記録デバイス30のオリジナルストリームデータ21と別領域へ記録すると記したが、固定レートでエンコードされる場合は、オリジナルストリーム21上へ上書きしても同様の効果が得られるものである。
(第3の実施の形態)
【0069】
図5は、本発明の第3の実施の形態の記録再生編集装置300の構成ブロック図を示す。これは上記第2の実施の形態とはデコード部107およびエンコード制御部201に替えてデコード部307およびエンコード制御部301を設けた点が相違している。図2の第2の実施の形態の記録再生編集装置200と同様な構成要素には同じ符号を付して、詳細な説明を省略する。
【0070】
デコード部307は、記録再生部105に電気的に接続され、記録再生部105から入力されたストリームデータ21をデコードしてオリジナルのマルチメディアデータを復号した復号データ23に加え、デコード部307が再生した復号データの出力を開始したタイミングを示すタイミング情報31を出力するものである。復号データ23は、入出力部101の第2の入力端子I2を介して入出力部101に入力される。
【0071】
タイミング情報31は、復号データの出力を開始した時に変化する信号であり、本実施の形態のように、再生開始時に1クロック分だけ“1”を出力し、通常は“0”を出力しても良いし、これに限らず、複数クロック分“1”を出力しても良い。また、再生停止状態で“0”を出力し、再生状態で“1”を出力しても良い。さらに、出力は“1”と“0”の論理が逆でも良いし、複数ビットの信号であっても良い。
【0072】
エンコード制御部301は、デコード部307に電気的に接続され、デコード部307から出力されたタイミング情報を入力し、このタイミング情報に基づいて、デコード部307におけるデコード開始を検出し、オリジナルストリームデータのエンコード単位とデコード部307からの出力データとの対応付けを行い、エンコード部103および入出力部101を制御するものである。
【0073】
図6は、本発明の第3の実施の形態の記録再生編集装置300の各ユニットの入出力データの関係を示すタイミングチャートである。
【0074】
図6(a)は、記録デバイス30に予め記録されているオリジナルストリームデータ21を示している。オリジナルストリームデータ21は所定の単位毎にエンコードされている。図6(b)は、デコード部307の出力を示している。記録再生部105により、記録デバイス30からオリジナルストリームデータ21が読み出され、デコード部307に入力され、デコード部307にて、デコードされて復号データ23が出力される。さらに、デコード部307からはタイミング情報31が出力される。
【0075】
図6(c)は、エンコード制御部301のカウント動作を示している。エンコード制御部301は、デコード部307から出力されたタイミング情報31によりデコード開始を検出し、カウント動作を開始する。図6(d)は、エンコード制御部301の指示内容を示している。エンコード制御部301には、再生開始からエンコード開始までのタイミングと、エンコード停止までのタイミングと、外部から入力されたアフレコデータの開始タイミング(図中、A点)と、アフレコデータの終了タイミング(図中、B点)とが制御部109により予め設定されている。これらの設定とカウント値に基づいて、タイミングを計り、エンコード開始指示、スイッチング指示、エンコード停止指示を出力する。
【0076】
図6(e)は、外部から入出力部101に第1の入力端子I1を介して入力されたアフレコデータ25を示している。アフレコデータ25は、図6(a)のオリジナルストリームデータ21のA点からB点間に再生されるように編集されるデータである。
【0077】
図6(f)は、入出力部101の出力を示している。本実施の形態においては、第1および第2の入力端子I1およびI2を介して入力されたデータがスイッチングされて出力される。図6(g)は、入出力部101から出力され、エンコード部103で再エンコードされ、得られた編集ストリームデータ27を示している。編集ストリームデータ27は、記録再生部105を介して記録デバイス30に記録される。本実施の形態において、編集ストリームデータ27は、記録デバイス30のオリジナルストリームデータ21とは別領域に記録される。
【0078】
以上のように構成された本発明の第3の実施の形態の記録再生編集装置300の動作について、図5および図6を用いて説明する。
【0079】
まず、図6(a)のオリジナルストリームデータ21が、記録再生部105により、記録デバイス30から読み出され、デコード部307に入力される。
【0080】
次いで、再生開始からエンコード開始までのタイミングと、エンコード停止までのタイミングと、外部から入力されたアフレコデータの開始タイミング(図中、A点)と、アフレコデータの終了タイミング(図中、B点)とをエンコード制御部301が制御部109から受け取る。
【0081】
また、デコード部307において、記録再生部105で読み出されたオリジナルストリームデータ21がデコードされ、図6(b)に示される復号データ23が出力され、入出力部101に第2の入力端子I2を介して入力される。また、図6(b)のタイミング情報31が、デコード部307からエンコード制御部301に出力される。このタイミング情報31に応じて、エンコード制御部301はデコード開始を検出し、図6(c)に示すように、内部カウンタのカウント動作を開始し、図6(d)に示すように、各種指示を出力する。
【0082】
一方、入出力部101では、図6(e)に示すように、第1の入力端子I1を介して、アフレコデータ25が外部から入力される。アフレコデータ25は、予め入力され、バッファリングされていても良い。
【0083】
入出力部101では、図6(f)に示すように、はじめ、第2の入力端子I2を介して入力された復号データ23が、第1の出力端子O1および/または第2の出力端子O2を介して出力される。次いで、エンコード制御部301が、図6(d)に示すようにスイッチング指示を出力し、これに応じて、A点で、アフレコデータ25が第2の入力端子I2を介して入力された復号データ23から第1の入力端子I1を介して入力されたアフレコデータ25に切り替えられて、図6(f)に示すように、アフレコデータ25が第1の出力端子O1および/または第2の出力端子O2を介して出力される。
【0084】
さらに、エンコード制御部301が、図6(d)に示すように、B点でスイッチング指示を再び出力し、これに応じて、入出力部101において、第1の入力端子I1を介して入力されたアフレコデータ25から第2の入力端子I2を介して入力された復号データ23に切り替えられて、図6(f)に示すように、復号データ23が第1の出力端子O1および/または第2の出力端子O2を介して出力される。
【0085】
入出力部101の第1の出力端子O1を介して出力されたデータは、エンコード部103に入力され、図6(g)に示すように、エンコード制御部301からのエンコード開始指示および停止指示に基づいて、所定の単位毎に再エンコードされ、記録デバイス30のオリジナルストリームデータ21とは別領域に編集ストリームデータ27として記録される。
【0086】
以上のように、本発明の第3の実施の形態の記録再生編集装置300は、デコード部307からの復号データ23の出力タイミングが一定で無い場合でもエンコード部103の制御と入出力部101の制御が可能になる。
(第4の実施の形態)
【0087】
図7は、本発明の第4の実施の形態の各ユニットの入出力データの関係を示すタイミングチャートを示す。本発明の第4の実施の形態の記録再生編集装置の構成は、図5の第3の実施の形態の記録再生編集装置300と同様である。本発明の第4の実施の形態の記録再生編集装置300は上記第3の実施の形態とはデコード部307が出力するタイミング情報31に替えてエンコード単位を示すタイミング情報41とした点が相違している。
【0088】
図7(b)に示すように、本実施の形態のデコード部307から出力されるタイミング情報41は、記録デバイス30に記録されているオリジナルストリームデータ21のエンコード単位を示すものである。
【0089】
また、エンコード制御部301は、再生開始からエンコード開始までのタイミングと、エンコード停止までのタイミングと、A点およびB点のタイミングとが予め制御部109により設定される。ここで、エンコード開始タイミングおよび停止タイミングは、エンコード単位での指定を行う。また、A点およびB点のタイミングは、エンコード開始タイミングからのサンプリング数を指定する。
【0090】
タイミング情報41に応じて、エンコード制御部301は、デコード開始を検出して、カウント動作を開始し、エンコード単位数をカウントする。さらに、エンコード制御部301は、図7(c)に示すように、エンコード開始および停止タイミングに基づいて、エンコード部103に対してエンコード開始および停止指示を出力するとともに、エンコード単位を示すタイミング信号からのサンプリング数をカウントしA点およびB点のタイミングで入出力部101に対してスイッチング指示を出力する。
【0091】
以下、本発明の第4の実施の形態の記録再生編集装置300の動作について、図5および図7を用いて説明する。
【0092】
まず、図7(a)のオリジナルストリームデータ21が、記録再生部105により、記録デバイス30から読み出され、デコード部307に入力される。
【0093】
次いで、再生開始からエンコード開始までのタイミングと、エンコード停止までのタイミングと、A点およびB点のタイミングとをエンコード制御部301が制御部109から受け取る。
【0094】
また、デコード部307において、記録再生部105で読み出されたオリジナルストリームデータ21がデコードされ、図7(b)に示される復号データ23が出力され、入出力部101に第2の入力端子I2を介して入力される。また、図7(b)のタイミング情報41が、デコード部307からエンコード制御部301に出力される。このタイミング情報41に応じて、エンコード制御部301はデコード開始を検出し、図7(c)に示すように、内部カウンタのカウント動作を開始し、エンコード単位数をカウントし、図7(d)に示すように、各種指示を出力する。
【0095】
一方、入出力部101では、図7(e)に示すように、第1の入力端子I1を介して、アフレコデータ25が外部から入力される。アフレコデータ25は、予め入力され、バッファリングされていても良い。
【0096】
入出力部101では、図7(f)に示すように、はじめ、第2の入力端子I2を介して入力された復号データ23が、第1の出力端子O1および/または第2の出力端子O2を介して出力される。次いで、エンコード制御部301が、図7(d)に示すようにスイッチング指示を出力し、これに応じて、A点で、アフレコデータ25が第2の入力端子I2を介して入力された復号データ23から第1の入力端子I1を介して入力されたアフレコデータ25に切り替えられて、図7(f)に示すように、アフレコデータ25が第1の出力端子O1および/または第2の出力端子O2を介して出力される。
【0097】
さらに、エンコード制御部301が、図7(d)に示すように、B点でスイッチング指示を再び出力し、これに応じて、入出力部101において、第1の入力端子I1を介して入力されたアフレコデータ25から第2の入力端子I2を介して入力された復号データ23に切り替えられて、図7(f)に示すように、復号データ23が第1の出力端子O1および/または第2の出力端子O2を介して出力される。
【0098】
入出力部101の第1の出力端子O1を介して出力されたデータは、エンコード部103に入力され、図7(g)に示すように、エンコード制御部301からのエンコード開始指示および停止指示に基づいて、所定の単位毎に再エンコードされ、記録デバイス30に編集ストリームデータ27として記録される。
【0099】
以上のように、本発明の第4の実施の形態によれば、デコード部307からの出力タイミングが一定で無い場合でもエンコード部103と入出力部101の制御が可能になるばかりでなく、エンコード制御部301において、再生開始点からのサンプリング数をカウントしなくても、このエンコード単位を示すタイミング情報41をカウントしていけばエンコード部103の制御が可能になり、カウンタのハードウェア規模を削減することが可能になる。
(第5の実施の形態)
【0100】
図8は、本発明の第5の実施の形態の記録再生編集装置400の構成ブロック図を示す。これは上記第3の実施の形態とはデコード部307およびエンコード制御部301に替えてデコード部407およびエンコード制御部401を設けた点が相違している。図5の第3の実施の形態の記録再生編集装置300と同様な構成要素には同じ符号を付して、詳細な説明を省略する。
【0101】
デコード部407は、記録再生部105に電気的に接続され、記録再生部105から入力されたストリームデータ21をデコードしてオリジナルのマルチメディアデータを復号した復号データ23に上記第3または第4の実施の形態に示したタイミング情報31またはタイミング情報41を多重して多重データ51を出力するものである。この多重データ51は、入出力部101の第2の入力端子I2を介して入出力部101に入力される。
【0102】
エンコード制御部401は、デコード部407に電気的に接続され、デコード部407からの多重データ51を入力し、多重されたタイミング情報を抽出し、このタイミング情報に基づいて、デコード開始、またはエンコード単位を検出し、オリジナルのストリームデータのエンコード単位とデコード部407からの多重データ51との対応付けを行い、エンコード部103および入出力部101を制御するものである。
【0103】
図9は、本実施の形態において、オーディオデータへタイミング情報を多重する方法を説明するための図である。
【0104】
図9(a)に示すように、デコード部407からのオーディオデータは、通常、1ライン当たり2チャンネル分が多重されており、LRクロックおよびビットクロックとともに出力される。LRクロックはサンプリング周波数と同じ周波数であり、ビットクロックはLRクロックの64倍の周波数である。このため、チャンネル当たり32ビット分のデータを送出可能であるが、使われているのは24ビットまでである。そこで、図9(b)に示すように、本実施の形態では、残りの8ビット分を使い、タイミング情報を多重するものである。
【0105】
以上のように、本発明の第5の実施の形態によれば、デコード部407からの出力タイミングが一定で無い場合でもエンコード部103および入出力部101の制御が可能になるばかりでなく、デコード部407に特別な出力端子を追加することなく上記第3および第4の実施の形態と同様な効果が得られるものである。
(第6の実施の形態)
【0106】
図10は、本発明の第6の実施の形態の各ユニットの入出力データの関係を示すタイミングチャートを示す。本発明の第6の実施の形態の記録再生編集装置の構成は、図8の第5の実施の形態の記録再生編集装置400と同様である。また、本発明の第6の実施の形態の記録再生編集装置400は上記第5の実施の形態とはデコード部407が出力する多重データ51に替えてタイミング用ストリーム61を付加した点が相違している。
【0107】
本実施例において、制御部109は、タイミング用ストリームデータを生成し、記録再生部105の有するバッファに予め格納しておく。このタイミング用ストリームデータは、所定のパターンを有する。記憶再生部105は、図10(a)に示すように、このタイミング用ストリームデータ61を、記録デバイス30から読み出したオリジナルストリームデータ21に付加して出力する。デコード部407がストリームデータをデコードした時、図10(b)に示すように、復号データ23にタイミング用データ63が付加され、このタイミング用データ63のパターンをエンコード制御部201が検出することにより、デコード開始のタイミングを検知し、図10(c)に示すように、カウント動作を開始する。
【0108】
以上のように、本発明の第6の実施の形態によれば、デコード部407からの出力タイミングが一定で無い場合でもエンコード部103の制御、入出力部101の制御が可能になるばかりでなく、デコード部407に特別な機能を持たせることなく実現可能である。
【0109】
【発明の効果】
以上説明したように、本発明は、外部からデータを入力し、符号化して記録デバイスに記録するとともに、この記録された符号化データを再生し、出力する記録再生編集装置であって、入力データを所定の単位毎にエンコードしてストリームデータを出力するエンコード部と、このエンコード部から出力されたストリームデータを前記記録デバイスに記録するとともに、この記録デバイスに記録されたストリームデータを読み出す記録再生部と、この記録再生部から読み出されたストリームデータをデコードし、前記入力データを再生した復号データを出力するデコード部と、外部からアフレコ用データを入力するとともに、この入力されたアフレコ用データと前記デコード部で再生された復号データをミキシングおよび/またはスイッチングして出力する入出力部と、前記エンコード部、前記記録再生部、前記デコード部および前記入出力部を制御する制御部とを備えるとともに、この制御部の指示に従って、前記記録再生部が前記記録デバイスに記録されたストリームデータを読み出し、この読み出されたストリームデータを前記デコード部がデコードして前記入力データを再生した復号データを出力し、この出力された復号データと、前記アフレコ用データとを前記入出力部がミキシングまたはスイッチングして出力し、この入出力部からの出力を前記エンコード部がエンコードして編集ストリームデータを出力し、この出力された編集ストリームデータを前記記録再生部が前記記録デバイスに記録することにより、エンコードされた単位より細かい単位で編集することができるという優れた効果を有する記録再生編集装置を提供することができるものである。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の記録再生編集装置の構成ブロック図
【図2】図1に示された記録再生編集装置の各ユニットの入出力データの関係を示すタイミングチャート
【図3】本発明の第2の実施の形態の記録再生編集装置の構成ブロック図
【図4】図3に示された記録再生編集装置の各ユニットの入出力データの関係を示すタイミングチャート
【図5】本発明の第3の実施の形態の記録再生編集装置の構成ブロック図
【図6】図5に示された記録再生編集装置の各ユニットの入出力データの関係を示すタイミングチャート
【図7】本発明の第4の実施の形態の記録再生編集装置の各ユニットの入出力データの関係を示すタイミングチャート
【図8】本発明の第5の実施の形態の記録再生編集装置の構成ブロック図
【図9】本発明の第5の実施の形態におけるオーディオ信号へタイミング情報を多重する方法の説明のための図
【図10】本発明の第6の実施の形態の記録再生編集装置の各ユニットの入出力データの関係を示すタイミングチャート
【符号の説明】
100、200、300、400 記録再生編集装置
10 マルチメディアデータ
30 記録デバイス
40 再生データ
101 入出力部
103 エンコード部
105 記録再生部
107、307、407 デコード部
109 制御部
201、301、401 エンコード制御部
31、41 タイミング情報
51 多重データ
61 タイミング用ストリーム
63 タイミング用データ
65 タイミング用データ検出
Claims (10)
- 外部からデータを入力し、符号化して記録デバイスに記録するとともに、この記録された符号化データを再生し、出力する記録再生編集装置であって、
入力データを所定の単位毎にエンコードしてストリームデータを出力するエンコード部と、
このエンコード部から出力されたストリームデータを前記記録デバイスに記録するとともに、この記録デバイスに記録されたストリームデータを読み出す記録再生部と、
この記録再生部から読み出されたストリームデータをデコードし、前記入力データを再生した復号データを出力するデコード部と、
外部からアフレコ用データを入力するとともに、この入力されたアフレコ用データと前記デコード部で再生された復号データをミキシングおよび/またはスイッチングして出力する入出力部と、
前記記録デバイスから読み出された符号化データのエンコード単位と、前記アフレコ用データを含む編集ストリームデータのエンコード単位との対応付けを行い、前記エンコード部および/または前記入出力部を制御するエンコード制御部と、
前記エンコード部、前記記録再生部、前記デコード部、前記入出力部および前記エンコード制御部を制御する制御部とを備えるとともに、
この制御部の指示に従って、
前記記録再生部が前記記録デバイスに記録されたストリームデータを読み出し、
この読み出されたストリームデータを前記デコード部がデコードして前記入力データを再生した復号データを出力し、
前記エンコード制御部が、前記符号化データのエンコード単位と前記編集ストリームデータのエンコード単位との対応付けの結果に基づいて、前記エンコード部に対してエンコード開始および終了タイミングを指示するとともに、前記入出力部に対し前記記録デバイスから読み出された符号化データのエンコード単位より小さな単位でのミキシングおよび/またはスイッチングのタイミングを指示し、
この出力された復号データと、前記アフレコ用データとを前記入出力部がミキシングまたはスイッチングして出力し、
この入出力部からの出力を前記エンコード部がエンコードして編集ストリームデータを出力し、
この出力された編集ストリームデータを前記記録再生部が前記記録デバイスに記録することを特徴とする記録再生編集装置。 - 前記デコード部が、前記デコードした復号データの出力開始を示すタイミング情報を出力し、このタイミング情報に基づいて、前記エンコード制御部が、前記エンコード部および/または前記入出力部を制御することを特徴とする請求項1に記載の記録再生編集装置。
- 前記デコード部が、前記エンコード単位を示すタイミング情報を出力し、この情報に基づいて、前記エンコード制御部が、前記エンコード部および/または前記入出力部を制御することを特徴とする請求項1に記載の記録再生編集装置。
- 前記デコード部が、前記タイミング情報を前記復号データに多重して出力し、このタイミング情報に基づいて、前記エンコード制御部が前記エンコード部および/または前記入出力部を制御することを特徴とする請求項2または3に記載の記録再生編集装置。
- 前記制御部が、所定のパターンを有するタイミング用ストリームデータを準備し、このタイミング用ストリームデータを前記記録デバイスに記録されたストリームデータに付加し、前記デコード部が、デコード時にデコードタイミング用パターンを出力し、このデコードタイミング用パターンを前記エンコーダ制御部が検出することによって、デコード開始を検知し、前記記録デバイスから読み出された符号化データのエンコード単位と、前記アフレコ用データを含む編集ストリームデータのエンコード単位との対応付けを行うことを特徴とする請求項1に記載の記録再生編集装置。
- 外部からデータを入力し、この入力データを所定の単位毎に符号化してストリームデータを出力し、この出力されたストリームデータを記録デバイスに記録するとともに、この記録された符号化データを再生し、出力する記録再生編集方法であって、
前記記録デバイスに記録されたストリームデータを読み出し、
この読み出されたストリームデータをデコードし、前記入力データを再生した復号データを出力し、
外部からアフレコ用データを入力するとともに、この入力されたアフレコ用データと前記再生された復号データをミキシングおよび/またはスイッチングして出力し、
前記記録デバイスから読み出された符号化データのエンコード単位と、前記アフレコ用データを含む編集ストリームデータのエンコード単位との対応付けを行い、
前記符号化データのエンコード単位と前記編集ストリームデータのエンコード単位との対応付けの結果に基づいて、エンコード開始および終了タイミングを指示するとともに、前記記録デバイスから読み出された符号化データのエンコード単位より小さな単位でのミキシングおよび/またはスイッチングのタイミングを指示し、
前記復号データと前記アフレコ用データとをミキシングまたはスイッチングして出力し、
この出力を符号化して編集ストリームデータを出力し、
この出力された編集ストリームデータを前記記録デバイスに記録することを特徴とする記録再生編集方法。 - 前記デコードした復号データの出力開始を示すタイミング情報を準備し、このタイミング情報に基づいて、前記アフレコ用データと前記復号データをミキシングおよび/またはスイッチングして出力するタイミングを制御するとともに、前記編集ストリームデータの符号化のタイミングを制御することを特徴とする請求項6に記載の記録再生編集方法。
- 前記エンコード単位を示すタイミング情報を準備し、この情報に基づいて、前記アフレコ用データと前記復号データをミキシングおよび/またはスイッチングして出力するタイミングを制御するとともに、前記編集ストリームデータの符号化のタイミングを制御することを特徴とする請求項6に記載の記録再生編集方法。
- 前記タイミング情報を前記復号データに多重して出力し、このタイミング情報に基づいて、前記アフレコ用データと前記復号データをミキシングおよび/またはスイッチングして出力するタイミングを制御するとともに、前記編集ストリームデータの符号化のタイミングを制御することを特徴とする請求項7または8に記載の記録再生編集方法。
- 所定のパターンを有するタイミング用ストリームデータを準備し、このタイミング用ストリームデータを前記記録デバイスに記録されたストリームデータに付加し、デコード時にデコードタイミング用パターンを出力し、このデコードタイミング用パターンを検出することによって、デコード開始を検知し、前記記録デバイスから読み出された符号化データのエンコード単位と、前記アフレコ用データを含む編集ストリームデータのエンコード単位との対応付けを行うことを特徴とする請求項6に記載の記録再生編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001057209A JP3544182B2 (ja) | 2001-03-01 | 2001-03-01 | 記録再生編集装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001057209A JP3544182B2 (ja) | 2001-03-01 | 2001-03-01 | 記録再生編集装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002262226A JP2002262226A (ja) | 2002-09-13 |
JP3544182B2 true JP3544182B2 (ja) | 2004-07-21 |
Family
ID=18917123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001057209A Expired - Fee Related JP3544182B2 (ja) | 2001-03-01 | 2001-03-01 | 記録再生編集装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3544182B2 (ja) |
-
2001
- 2001-03-01 JP JP2001057209A patent/JP3544182B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002262226A (ja) | 2002-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8320748B2 (en) | Audio/video information recording/reproducing device and method therefor | |
JP4299836B2 (ja) | データ処理装置 | |
KR100699647B1 (ko) | 데이터 처리 장치 | |
US7805062B2 (en) | Transmitting and recording method, reproducing method, and reproducing apparatus of information and its recording medium | |
AU759989B2 (en) | Transcoders for fixed and variable rate data streams | |
JP3483612B2 (ja) | 記録方法、記録装置並びに再生装置 | |
US6535467B1 (en) | Apparatus and method for processing audio signals recorded on a medium | |
JP3544182B2 (ja) | 記録再生編集装置および方法 | |
JPH10174044A (ja) | 映像管理システム | |
JP3541413B2 (ja) | 情報信号伝送方法及び装置 | |
RU2219655C2 (ru) | Устройство и способ для передачи цифрового информационного сигнала, носитель записи и устройство для приема сигнала | |
JP3637760B2 (ja) | 情報符号化装置および情報復号化装置および情報符号化復号化記録再生装置 | |
JP2000156038A (ja) | 音声符号化装置、記録媒体、音声復号化装置及び音声伝送方法並びにコンピュータ記録媒体 | |
JP4062832B2 (ja) | データ記録再生装置及びデータ記録再生方法 | |
JP3384162B2 (ja) | ディジタルビデオ信号記録再生装置 | |
Kelly et al. | Virtual editing of MPEG-2 streams | |
JP3910805B2 (ja) | 音声情報記録装置及び音声情報記録方法 | |
JPH10501947A (ja) | デジタル情報信号及び少なくとも一つのデジタル補助信号を記録/再生するときの各種記録/再生モード | |
JP4169002B2 (ja) | 音声フォーマット変換装置及び符号化装置 | |
JP3196777B1 (ja) | 記録媒体、及びそれに記録された音声データの音声復号化装置 | |
JP2001023302A (ja) | ディジタル信号記録方法及び再生方法 | |
JPH07220405A (ja) | 情報信号記録方法及び再生方法並びに情報信号記録装置及び再生装置 | |
JP2002135691A (ja) | 再生装置、再生方法、及び記憶媒体 | |
JP2004362747A (ja) | 信号処理装置 | |
JPH11219564A (ja) | 記録装置および記録再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040331 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |