JP3437213B2 - 記録再生装置 - Google Patents

記録再生装置

Info

Publication number
JP3437213B2
JP3437213B2 JP13394793A JP13394793A JP3437213B2 JP 3437213 B2 JP3437213 B2 JP 3437213B2 JP 13394793 A JP13394793 A JP 13394793A JP 13394793 A JP13394793 A JP 13394793A JP 3437213 B2 JP3437213 B2 JP 3437213B2
Authority
JP
Japan
Prior art keywords
data
recording
information
file
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13394793A
Other languages
English (en)
Other versions
JPH06324819A (ja
Inventor
宏爾 高橋
勲 針ヶ谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP13394793A priority Critical patent/JP3437213B2/ja
Publication of JPH06324819A publication Critical patent/JPH06324819A/ja
Priority to US08/782,762 priority patent/US5966495A/en
Application granted granted Critical
Publication of JP3437213B2 publication Critical patent/JP3437213B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、映像情報および音声情
報の記録および再生を行う記録再生装置に関し、特に、
上記映像情報および音声情報の検索再生を行う記録再生
装置に用いて好適なものである。
【0002】
【従来の技術】従来、動画像信号を記録・再生する場合
は、記録媒体として1/2インチや8ミリのテープ幅の
磁気テープを用いる、いわゆるVTR(ビデオテープレ
コーダ)を用いるのが一般的であった。
【0003】VTRは、回転ドラム上に巻装された磁気
テープ上にこの回転ドラムに設けられた回転ヘッドによ
り1トラックに1フィールドの映像情報を記録・再生す
るものである。このようなVTRで映像の検索、いわゆ
る頭出しを行う場合は、映像シーンの頭出し用インデッ
クス信号を用いた早送り、巻き戻し制御や特殊再生など
の機能を利用して、記録された映像情報を実際に再生し
ながら検索を行うようにしている。
【0004】
【発明が解決しようとする課題】しかしながら、従来の
VTRで検索を行う場合は、映像信号がテープ状の記録
媒体に記録されているため、目的の映像を検索するのに
テープを移送する時間が必要であり、検索には場合によ
っては多大な時間と労力を必要としていた。
【0005】また、検索動作中は常に回転ヘッドが情報
を記録している磁気テープを叩き付けながらトレースし
ているので、磁気テープの磨耗や損傷などにより、記録
情報の信頼性にも影響を与えることがあった。
【0006】さらに、VTRがアナログ信号による記録
方式のものである場合は、検索した情報を他の媒体へコ
ピー(複写)すると、いわゆるダビングによる画質劣化
を引き起こすという問題があった。
【0007】本発明は上記のような問題を解決するため
になされたもので、情報の検索を容易に効率的に行うと
ともに、再生データの信頼性の低下を防止することがで
き、さらに、記録した情報の編集を簡便に行うことがで
きる記録再生装置を得ることを目的としている。
【0008】
【課題を解決するための手段】本発明の記録再生装置
は、動画像データを記憶媒体に対して記録再生する装置
であって、入力動画像データを可変長符号化し、可変長
の符号化動画像データを得る画像処理手段と、入力音声
データを符号化し、符号化音声データを得る音声処理手
段と、前記画像処理手段により得られた符号化動画像デ
ータの前記記憶媒体上の記憶アドレスを示すアドレスデ
ータを有し、前記符号化動画像データを検索するための
固定長の検索データを一定期間毎に生成する生成手段
と、前記一定時間毎に生成された検索データを前記記憶
媒体の所定エリアに記録すると共に前記符号化動画像デ
ータと前記符号化音声データとを前記記憶媒体の前記所
定エリアとは異なる他のエリアに記録する記録手段と、
前記記憶媒体から前記検索データと前記符号化動画像デ
ータと前記符号化音声データとを再生する再生手段と、
前記再生手段により再生された検索データに基づいて前
記再生手段による前記符号化動画像データの再生動作を
制御する制御手段とを備えたものである。
【0009】本発明の他の特徴とするところは、前記符
号化動画像データが記録された記憶媒体に対して前記画
像処理手段により新たに生成された符号化動画像データ
を記録する編集モードにおいて、前記制御手段は更に、
前記新たに記録される符号化動画像データの記憶アドレ
スに応じて前記記憶媒体に記録されている検索データの
内容を変更するよう前記生成手段及び前記記録手段を制
御することとしたものである。
【0010】
【0011】
【0012】
【0013】
【作用】本発明によれば、記憶媒体に記録された動画像
データの再生動作が記憶媒体の所定エリアに記録された
検索データに基づいて制御されるので、従来のように、
例えばテープ状の記録媒体の早送りや巻戻しなどを行う
ことなく、短時間に容易に情報の検索を行うことが可能
となる。
【0014】特に、可変長符号化された動画像データを
検索するための検索データを固定長とすることにより、
データを削減して限られた記憶領域を効率的に利用する
ことが可能となる。
【0015】
【0016】
【0017】
【0018】
【実施例】図1は、本発明の記録再生装置の一実施例を
示すブロック図である。図1において、1、2はそれぞ
れ左(L)チャンネルおよび右(R)チャンネルの音声
信号(オーディオ信号)の入力端子、3は映像信号(ビ
デオ信号)の入力端子、4、5はそれぞれ左チャンネル
および右チャンネルの音声信号をディジタル信号に変換
するADコンバータ、6は映像信号をディジタル信号に
変換するADコンバータである。
【0019】7、8はそれぞれ左チャンネルおよび右チ
ャンネルのディジタル音声信号に所定の処理を施すオー
ディオ信号処理回路、9はディジタル映像信号に所定の
処理を施すビデオ信号処理回路、10はオーディオ信号
処理回路7、8で処理された左チャンネルおよび右チャ
ンネルの音声データを圧縮処理するオーディオデータ圧
縮回路、11はビデオ信号処理回路9で処理された映像
データを圧縮処理するビデオデータ圧縮回路である。
【0020】次いで、12は後述するタイムコードやメ
モリ情報などに基づいてデータ検索用の検索情報(ID
データ)を作るID発生回路、13は圧縮された音声デ
ータと圧縮された映像データとIDデータとによりID
データ毎のデータブロックを作成するデータ合成回路、
18はデータブロックを記録する記録媒体としてのメイ
ン・メモリであり、固体記憶素子で構成されている。
【0021】次いで、17はメイン・メモリ18のリー
ド/ライトを制御するメモリ・コントローラ、16はメ
モリ・コントローラ17を制御するとともに、装置全体
を制御するシステム・コントローラ、14は年月日時分
秒などのタイムコードを発生するカレンダクロック発生
回路、15はメイン・メモリ18に格納された情報のデ
ータ量などを示すメモリ情報を生成するメモリ情報生成
回路、19はユーザが操作する操作キー、20は本装置
の動作モードなどの必要な表示を行う表示装置である。
【0022】次いで、21はメイン・メモリ18から読
み出されたデータブロックをIDデータ、映像データお
よび音声データに分配するデータ分配回路、22は分配
されたデータからIDデータを再生する検索情報再生回
路、23はIDデータから表示情報を生成する表示情報
生成回路、24は分配された圧縮映像データの伸張処理
を行うビデオデータ伸張回路、25は分配された圧縮音
声データの伸張処理を行うオーディオデータ伸張回路、
26は伸張された映像データおよび音声データを同期的
に選択するデータ選択回路である。
【0023】次いで、27は表示情報生成回路23で生
成された表示情報とデータ選択回路26で選択された映
像データとを加算する加算器、28はその加算出力をア
ナログ信号に変換するDAコンバータ、30は映像信号
をモニタする映像モニタ、29はデータ選択回路26で
選択された音声データをアナログ信号に変換するDAコ
ンバータ、31は音声信号をモニタする音声モニタ、3
2は映像データの出力端子、33は音声データの出力端
子である。
【0024】次に、図1の構成による記録再生装置の動
作を記録時と再生時とに分けて説明する。
【0025】まず、記録動作について説明する。音声信
号の入力端子1、2より各々左(L)チャンネルおよび
右(R)チャンネルのステレオ音声信号が入力され、A
Dコンバータ4、5でディジタル音声信号に変換され
る。これらのディジタル音声信号は、各々オーディオ信
号処理回路7、8で各種雑音除去やダイナミックレンジ
の制限などの処理が施された後、オーディオデータ圧縮
回路10によりデータ圧縮処理が行われる。
【0026】このデータ圧縮処理は、例えばMPEG
(Moving Picture Expert Group )で提案されている適
応変換符号化(ATAC、ASPEC)や、帯域分割符
号化(MUSICAM、SB/ADPCM)などを用い
ても良いし、L/Rの相関を用いた左右2チャンネル混
合のベクトル符号化などを用いても良い。
【0027】一方、映像信号入力端子3より入力された
映像信号は、上記ADコンバータ4、5よりも高速処理
可能なADコンバータ6によりディジタル映像信号に変
換される。このディジタル映像信号は、ビデオ信号処理
回路9で後述するコンポーネントの信号化処理が必要に
応じて施され、次に、そのデータ量がビデオデータ圧縮
回路11において数10〜数100分の1程度に圧縮さ
れる。
【0028】このデータ圧縮処理は、フレーム間の画像
相関を用いたフレーム間相関処理とこの処理における画
質劣化を減少させるための動きベクトル補償、更にこれ
を時間軸の前後(過去と未来)のフレームから行う両側
予測フレーム間圧縮などを適宜組み合わせて行うことで
実現可能である。一例として、MPEG提案のアルゴリ
ズムである通称MPEG−Iにより、いわゆる1/2イ
ンチVTR程度の標準画質程度は確保できる。
【0029】データ圧縮処理が完了すると、後述するI
D発生回路12より出力されるIDデータと、上記圧縮
された音声データおよび映像データとをデータ合成回路
13において合成して所定の記憶単位となるデータブロ
ックを構成し、このデータブロックを順次メイン・メモ
リ18へ格納する。メイン・メモリ18は、フラッシュ
メモリ、DRAM、SRAMなどからなる大容量の固体
メモリ回路であり、メモリ・コントローラ17がそのメ
モリ・アドレスや書き込み/読み出しなどの制御を行っ
ている。更に、メモリ・コントローラ17を、システム
・コントローラ16が制御している。
【0030】システム・コントローラ16は、上記メモ
リ・コントローラ17の制御のほかに、記録/再生/検
索の動作切り換えなどの装置全体としての制御を行って
いる。すなわち、システム・コントローラ16は、操作
キー19の操作により入力される記録/再生/検索など
の指示を受けてメモリ・コントローラ17の制御を行う
と同時に、その動作状況や記録/再生時間などを示すタ
イムコードなどの情報を表示装置20に表示し、また、
メモリ情報生成回路15へもタイムコードなどの情報を
知らせる。
【0031】このタイムコードには主に次の2種類あ
る。その第1は、メイン・メモリ18もしくは映像プロ
グラムの冒頭からの経過時間やカメラ撮影の累積時間を
示す情報であり、その第2は、記録またはカメラ撮影時
の年月日時刻情報である。そして、後者のタイムコード
発生のために、カレンダクロック発生回路14を備えて
いる。
【0032】メモリ情報生成回路15は、メモリ・コン
トローラ17からメイン・メモリ18の情報格納状況な
どのデータを受取り、メイン・メモリ18の記録情報の
データ量などを示すメモリ情報としてID発生回路12
に供給する。このメモリ情報の内容としては、例えば、
システム・コントローラ16からの情報に基づくタイム
コードおよび画質や音質のモード選択などを示すデータ
や、メモリ・コントローラ17からの情報に基づく映像
や音声のデータ量(可変長符号化の場合はデータ長)、
およびメモリ上のデータ格納の先頭アドレス値などがあ
る。
【0033】ID発生回路12は、これらのメモリ情報
とシステム・コントローラ16からの情報とによりID
データを作り、このIDデータをデータ合成回路13に
供給する。データ合成回路13は、IDデータと圧縮さ
れた音声データおよび映像データとを一まとめにして所
定の記憶単位となるデータブロックを構成する。そし
て、このIDデータ毎のデータブロックをメイン・メモ
リ18に順次格納していく。また、メイン・メモリ18
に格納される各データブロックの先頭番地をメイン・メ
モリ18内に設定したIDファイルに順次書込んでい
く。
【0034】図2にメイン・メモリ18内のデータ格納
例およびデータブロックのデータフォーマットなどを示
す。
【0035】図2の(a)には、横軸に時間軸をとり、
所定間隔T0 毎にID番号を生成する様子を示してい
る。また、図2の(b)〜(d)には、メイン・メモリ
18のアドレス空間の概念図を示している。図2の
(d)に示すように、IDデータの後には可変長符号化
によりデータ量の異なる映像データおよび音声データが
所定の処理期間毎に順次格納されていく。そのため、I
Dデータの発生間隔T0 は一定の間隔(例えば1秒)で
あるが、メモリ上では、図2の(c)のとおり等間隔に
はならない。
【0036】そこで、映像データおよび音声データの検
索時にデータブロックに速やかにアクセスできるように
するために、図2の(c)に示すように順次に格納され
た各データブロックの格納場所を示すアドレスを一まと
めにした、図2の(b)に示すようなIDファイルを生
成しておく。このIDファイルは、メイン・メモリ18
の記憶容量に応じて予め設定されたエリアに各データブ
ロックの先頭番地だけを整然と格納するものである。
【0037】データブロックにおけるIDデータは固定
長であり、図2の例では(d)に示すように合計で8種
類の基本情報とIDとを有している。すなわち、基準情
報としては、SMPTE(Sosiety of Motion Picture
and Television Engineers)に準じたタイムコード、記
録時間とのトレードオフで画質や音質のモードを選択す
るデータ、可変長のAVデータ(音声データおよび映像
データ)の先頭番地とデータ量および削除済フラグの8
種類を有している。削除済フラグは、一旦記録したデー
タを消去する際に、物理的なデリート処理の前に復帰可
能な論理消去状態として、このフラグにより通常の再生
を禁止するものである。
【0038】データブロックにおける音声データは、左
右各チャンネルの初期化情報(音声リセットデータ)と
圧縮処理を施した可変長の圧縮音声データとで構成され
る。また、映像データは、例えば、フレーム内符号化な
どによる初期化画面(映像リセットデータ)と各種の圧
縮手法により可変長符号化された圧縮映像データとによ
り構成される。
【0039】そして、各IDデータ毎に以上の構成の映
像データと音声データとを一まとめにしてデータブロッ
クを構成している。このデータブロックは時間軸上に定
義された一定間隔T0 毎に生成される点に特徴がある。
【0040】図3に入力映像信号の一例を示す。この例
では、NTSC方式の(垂直525本の)TV信号(テ
レビジョン信号)を基本として、縦横比率を映像画面に
近付けた横長のアスペクト比(9:16)のTV信号を
入力信号としている。この画面の有効率を縦横各々94
%とすると、495×880画素の情報が毎秒30画面
分発生し、図1の映像信号入力端子3へ供給される。
【0041】このコンポジット映像信号は、図1のAD
コンバータ6によりディジタルデータ化された後、ビデ
オ信号処理回路9で必要に応じてコンポーネント(例え
ば、輝度Y:色差R−Y:色差B−Y=4:2:2)の
信号化処理が施される。ここで、1画素当たり輝度信号
Yを8bit量子化し、色差信号R−Y,B−Yを各々
1/2のサンプリングレートで8bit量子化すると、
その情報処理量は1時間で約700Gbitとなる。
【0042】因みに、ステレオ音声信号の48KHz/
16bitディジタル化での情報処理量は1時間当たり
約5.5Gbitとなり、これに上述の圧縮処理を施す
と映像信号と音声信号との合計で約4Gbitとなる。
【0043】次に、再生動作について説明する。操作キ
ー19に含まれる再生キー(図示せず)により再生動作
を指示すると、システム・コントローラ16は表示装置
20に再生動作中の旨を表示する。また、メモリ・コン
トローラ17はメモリアドレスとリード/ライトの切り
換えとを制御し、メイン・メモリ18から上述の記録動
作で格納した情報を読み出す。
【0044】そして、読み出したIDデータに基づき単
位時間当たりに所定の情報量を読み出す。所定の情報量
は、上述の例で言えば、1秒当たり30画面分の映像デ
ータと、1秒分のステレオ(または2チャンネル分の)
音声データと、これらのデータを検索するためのIDデ
ータの情報量である。
【0045】上記3種類のデータは混合された状態(シ
リアルデータ情報の状態)でデータ分配回路21へ供給
される。このデータ形態によれば、メイン・メモリ18
の増設や、例えばICカード等の交換可能なメモリ形態
を採ることも可能になる。
【0046】データ分配回路21に供給されたIDデー
タ、映像データおよび音声データの混合データは、各々
検索情報再生回路22、ビデオデータ伸張回路24およ
びオーディオデータ伸張回路25に分配供給される。
【0047】IDデータについては、検索情報再生回路
22において各ID毎に、図2の(d)に示す通りの8
種類の基本情報を検出し、この情報からモニタのための
表示情報を表示情報生成回路23で生成する。そして、
この表示情報と後述するようにして復元した映像情報と
を加算器27で合成した後、DAコンバータ28により
汎用性のあるアナログ映像信号に変換し、映像モニタ3
0に表示する。
【0048】映像データについては、ビデオデータ伸張
回路24において記録時のデータ圧縮処理と逆のデータ
伸張処理を施し、記録時の入力信号と同等の映像信号を
再構築する。そして、再構築した映像信号をデータ選択
回路26を介して映像モニタ30での表示用の映像信号
を合成するための加算器27に供給するとともに、映像
データ出力端子32に供給する。
【0049】音声データについては、オーディオデータ
伸張回路25において映像データと同様に記録時のデー
タ圧縮処理と逆のデータ伸張処理を施し、記録時の入力
信号と同等の音声信号を再構築する。そして、再構築し
た音声信号をデータ選択回路26を介して音声モニタ3
1での再生用の音声信号を生成するためのDAコンバー
タ29に供給するとともに、音声データ出力端子33に
供給する。
【0050】映像と音声の各データについては、上述の
IDデータを用いて再生信号処理に要する遅延時間など
によるズレを補正し、再生する。また、表示情報生成回
路23からの情報に同期させて映像および音声の各々の
再生信号をデータ選択回路26より出力する。
【0051】以上、主たるデータ(IDデータ、映像デ
ータおよび音声データ)の構成や、これらのデータの処
理の詳細について説明してきたが、次に、本発明におい
てデータの検索性の向上のために採用したデータファイ
ルについて、図4〜図7を用いて説明する。
【0052】本実施例による記録再生装置は、図4に示
すように、主たるAVデータ(映像データおよび音声デ
ータ)を格納するAVデータファイル(固体記憶素子の
記憶領域を利用している)40と、装置の各種制御を行
うシステム・コントローラ47と、このシステム・コン
トローラ47に各種の指示を入力する操作キー48と、
システム・コントローラ47よりの指示に応じてデータ
処理を行う情報処理回路41と、情報の入出力に関係す
る処理を行う情報入出力回路42とから成る基本構成
と、データ検索用のIDファイル43、時刻ファイル4
4、目次ファイル45およびこれらの検索用ファイル4
3、44、45を生成するインデックス生成回路46と
によって構成したものである。
【0053】なお、上述の基本構成は、先に説明した図
1中に含まれる構成を書き換えたものであるので、以下
では重複する説明は省略し、データファイルを用いたデ
ータ検索に関する説明のみ行うものとする。以下、ビデ
オカメラ(図示せず)を用いた撮影と、このとき自動発
生する後述のインデックス情報に基づくデータ検索とを
行う場合を例にとって説明する。
【0054】まず、記録時(ビデオカメラによる撮影
時)の動作について説明する。AV信号の入力端子4
9、50を介して不図示のビデオカメラから映像および
音声の各信号が記録再生装置に供給されている状態で、
操作キー48に含まれる撮影キー(図示せず)により撮
影開始または撮影終了の指示が入力されると、システム
・コントローラ47は、インデックス生成回路46へイ
ンデックス情報を生成するべく指示を出す。この指示を
受けてインデックス生成回路46は、インデックス情
報、および3つの検索用データファイルを生成もしくは
更新する。
【0055】インデックス情報は、例えば書籍で言えば
章や段落など、また、音楽で言えば楽章や小節などの見
出しに相当するものである。本実施例においては、一例
として、撮影記録の開始/終了の指示情報を小見出しと
して割り付け、電源のON/OFF情報を中見出しとし
て割り付ける。さらに、図1のカレンダクロック発生回
路14より得られる日付情報を大見出しとして割り付け
て、それぞれ情報の変化があったことを検出して値を更
新するようにすれば、インデックス情報を手軽な手法で
自動的に生成することができる。更に複雑なインデック
ス情報を生成する場合は、図示しない設定キーなどを用
いて手動で生成するようにすれば、好みに応じて如何様
にも作成可能である。
【0056】検索用データファイルの1つは、IDファ
イル43である。インデックス生成回路46は、操作キ
ー48より入力される撮影開始指示に応じてIDファイ
ル43の新規作成または更新命令を出し、撮影終了指示
に応じてIDファイル43の生成中止命令を出す。これ
により、図5に示すようなIDファイル43を生成し、
もしくは更新する。
【0057】図5において、開始No.および終了N
o.は、撮影開始から終了までに記録したAVデータが
格納されるデータブロックの開始ID番号および終了I
D番号を示すもので、図2の(a)に示した一定時間T
0 毎に生成されるID番号に対応するものである。
【0058】なお、このように操作キー48からの撮影
開始/終了指示に応じてインデックス生成回路46がI
Dファイル43を生成するような構成のほかに、AVデ
ータファイル40からIDファイル43の空きエリア
へ、記録したデータのデータ量などの情報を直接書き込
みに行くような構成としてもよい。
【0059】検索用データファイルのもう1つは、時刻
ファイル44である。時刻ファイル44は、上記インデ
ックス情報の生成指示が出された時刻を記録中のAVデ
ータの格納場所と対応したIDファイル43に連動させ
て時刻データとして格納するものである。このため、こ
の時刻ファイル44を用いて後述するようなデータ検索
を行えば、時刻を基にした検索作業が迅速に行える。
【0060】既に説明した通り、IDファイル43を構
成するID番号は一定時間間隔T0毎に更新されていく
ので、撮影の開始時刻と終了時刻とが分かれば途中の任
意の時刻とAVデータの格納場所との対応付けは可能で
ある。
【0061】検索用データファイルの更にもう1つは、
目次ファイル45である。インデックス生成回路46
は、必要に応じて目次ファイル45にインデックスの目
次名称を登録する。この目次名称は、例えば記録したA
Vデータの内容に応じた名称を付けておくことにより、
後のデータ検索時に検索者が記録内容を容易に把握でき
るようにするためのものである。そして、図示しない操
作キーにより検索者が所望の名称を付けることが可能な
ようになされている。勿論、目次名称は必ずしも登録す
る必要はなく、ブランクでも構わない。
【0062】以上述べたインデックス情報、IDファイ
ル43、時刻ファイル44および目次ファイル45の構
成例を、図5に示す。図5において、インデックス情報
はレベルIからレベルIVまで設定可能で、上述の大中小
の各見出し情報を各々レベルIからレベルIII に割り当
て、レベルIVには未使用のためすべてゼロを割り当てて
いる。
【0063】すなわち、図4の操作キー48より撮影記
録の開始あるいは終了の指示を検出する毎にレベルIII
の情報を1づつ更新する。また、電源をONあるいはO
FFにする毎にレベルIIの情報を1づつ更新するととも
に、レベルIII の情報をリセットする。さらにまた、上
述の日付情報により日付が変わったことを検出する毎に
レベルIの情報を1づつ更新するとともに、レベルIIお
よびレベルIII の情報をリセットする。そして、このよ
うにして生成した最小レベル単位にインデックス・ワー
ドを構成している。
【0064】また、IDファイル43には、上述のよう
に開始No.および終了No.が記録され、時刻ファイ
ル44には、撮影開始の年月日および時分秒の時刻情報
が記録される。さらにまた、目次ファイル45には、検
索者により所望の目次名称が必要に応じて記録される。
【0065】次に、図5に示したインデックス情報、I
Dファイル43、時刻ファイル44および目次ファイル
45の構成例を用いて再生時の検索動作を説明する。時
刻ファイル44を用いてAVデータの検索をする場合に
おいて、例えば「夏の朝」に撮影した映像を再生して見
たいときは、(0701≦月日≦0831)&(時≦0
9)という検索条件式で時刻ファイル44にサーチをか
ける。これにより、インデックス情報の111〜115
の部分が抽出される。
【0066】次に、このインデックス111〜115に
対応するID番号0〜89をIDファイル43をサーチ
することで得て、このID番号を用いて、図2の(b)
に示したIDファイルにアクセスし、AVデータの格納
アドレスを読み出す。そして、このアドレス情報でAV
データファイル40をアクセスすることにより、所望の
箇所のサーチ再生が可能となる。
【0067】一方、目次ファイル45を用いてAVデー
タの検索をする場合は、まず、インデックス情報のレベ
ルI〜レベルIII のうち、検索者によって指定された所
望のインデックス・レベルの変化点をサーチする。そし
て、これにより検出したインデックス・ワード情報を、
図4の映像出力端子50を介して図示しないディスプレ
イに表示し、検出した何れのインデックスのデータを検
索するかを検索者に選択させる。なお、所望のインデッ
クス・レベルのサーチとは、例えば、メモリ全域の大ま
かな把握をしたい時にはレベルIだけでサーチをかけ、
詳細な検索をしたい時にはレベルIII の情報の変化点ま
でチェックするサーチをかけるということである。
【0068】ここで、検出したインデックスに対応する
目次名称が目次ファイル45に登録されていれば、その
目次名称をディスプレイに表示する。これにより、検索
者は目次名称に基づいて検索すべきインデックスを容易
に選択することが可能となる。また、目次名称が登録さ
れていなければ、各インデックス・ワードの情報からそ
れに対応するID番号をIDファイル43より読み込ん
で、図2の(b)に示したIDファイルにアクセスす
る。そして、これから抽出されるAVデータの格納アド
レスを読み出し、このアドレス情報でAVデータファイ
ル40にアクセスすることにより、映像情報としてディ
スプレイ表示するようにしてもよい。
【0069】検索者がインデックスを選択すると、その
選択したインデックス・ワード情報に対応する開始ID
番号および終了ID番号をIDファイル43から読み込
み、この開始ID番号および終了ID番号を用いて、図
2の(b)に示したIDファイルにアクセスすることに
よって抽出されるAVデータの格納アドレスを読み出
し、このアドレス情報を用いてAVデータファイル40
にアクセスして映像信号および音声信号を再生すること
によって、短時間でデータを検索をしてサーチ再生をす
ることが可能となる。
【0070】以上述べたAVデータの記録時およびサー
チ再生時の動作手順をフローチャートにして、図6およ
び図7に示す。
【0071】まず、図6を用いて記録時の動作を説明す
る。図6において、ステップS601、S602で、図
4の操作キー48よりのAVデータの記録開始指示を検
出すると、ステップS603〜S607で、上述の大中
小の各見出し情報の変化の有無に応じてレベルI〜レベ
ルIII の内容を更新してインデックス情報を生成する。
【0072】次に、ステップS608、S609で、イ
ンデックス情報を生成したときの時刻情報をもとにして
時刻ファイル44の内容を更新した後、ステップS61
0、S611で、必要に応じて目次ファイル45に目次
名称を登録する。
【0073】次に、ステップS612で、そのときのA
Vデータファイル40上での記録位置に応じた開始ID
番号を設定する。そして、ステップS613でIDファ
イル43の更新指示を出してからステップS614で操
作キー48よりの撮影終了指示を検出するまでAVデー
タの記録を継続して行う。
【0074】この記録時には、記録したAVデータのデ
ータブロック数に応じてID番号がインクリメントされ
ていく。ステップS614で撮影終了の指示を検出する
と、ステップS615で、そのときのID番号を終了I
D番号として設定し、ステップS616でIDファイル
43の更新処理を終了する。
【0075】次に、図7を用いてサーチ再生時の動作を
説明する。図7において、まず、ステップS701で時
刻ファイル44による検索を行うか、あるいは目次ファ
イル45による検索を行うかを判断し、時刻ファイル4
4による検索を行う場合は、ステップS702へ移行す
る。この場合は、ステップS702、S703で所望の
検索条件式を生成し、ステップS704〜S706で時
刻ファイル44をサーチして、生成した検索条件式を満
たすインデックス情報を抽出する。
【0076】一方、目次ファイル45による検索を行う
場合は、ステップS701からステップS707へ移行
する。この場合は、ステップS707、S708で所望
のインデックス・レベルの変化点のサーチを実行し、イ
ンデックス・ワード情報を検出する。検出したインデッ
クス・ワード情報に対応する目次名称が目次ファイル4
5に登録されていれば、ステップS709、S710
で、その目次名称を図示しないディスプレイに表示す
る。そして、次のステップS711で、この表示情報に
基づいて、検索すべきインデックス情報を選択する。
【0077】次に、ステップS712、S713で、時
刻ファイル44による検索を行っている場合はステップ
S702〜S706で抽出したインデックス情報に対応
する開始ID番号および終了ID番号を読み込む。ま
た、目次ファイル45による検索を行っている場合はス
テップS707〜S711で選択したインデックス情報
に対応する開始ID番号および終了ID番号を読み込
む。
【0078】続いて、ステップS714〜S716で、
読み込んだID番号を用いて、図2の(b)に示したI
Dファイルにアクセスし、これにより抽出されるAVデ
ータが格納されているアドレスの開始アドレスおよび終
了アドレスを読み込む。続くステップS717で、この
アドレス情報を用いてAVデータファイル40にアクセ
スし、ステップS718でAVデータを再生する。
【0079】そして、ステップS719で、終了アドレ
スまでAVデータを再生したことを検出したときはステ
ップS720に移行する。ステップS720で、データ
検索が時刻ファイル44による検索であると判断した場
合は、サーチ再生を終了する。また、目次ファイル45
による検索であると判断した場合は、ステップS707
に戻って、再びデータ検索を実行する。
【0080】以上のように本実施例によれば、固体記憶
素子を用いてAVデータをデータブロック毎に記録する
とともに、この可変長のAVデータとは別に固定長の検
索用データに対応した検索用データファイルを生成し、
このデータファイルを用いてアドレス管理によりAVデ
ータの検索を行うことにより、サーチ再生時の検索のス
ピード・アップを図るとともに、限られた記憶領域を効
率的に利用することが可能となる。
【0081】特に、検索用データファイルとして、時刻
ファイル44を用いた場合は、サーチ再生時において、
所望の検索条件を満たすデータのみを検索することがで
きるので、所望のデータのみを短時間で再生することが
可能となり、検索の効率をさらに向上させることができ
る。
【0082】また、検索用データファイルとして、目次
ファイル45を用いた場合は、ビジュアルに表示される
インデックス・ワード情報に基づいて検索すべきデータ
を選択することができるので、所望のデータのみを容易
に選択して検索することが可能となり、より操作性に優
れた検索を行うことができる。
【0083】なお、以上では、検索用データファイルと
して、IDファイル43、時刻ファイル44および目次
ファイル45を生成し、これらのデータファイルを用い
てAVデータの検索を行う場合について説明したが、I
Dファイル43のみを生成し、このIDファイル43の
みを用いてデータ検索を行うようにしてもよい。この場
合には、データ検索を行う記録再生装置の構成を簡略化
することができる。
【0084】次に、映像および音声のインサート記録を
行う場合を例にとり、図8〜図16を用いて、本発明に
おいて採用したデータの論理消去および物理消去の動作
について説明する。
【0085】図8は、映像および音声のインサート記録
の処理手順を示すフローチャートである。図8におい
て、インサート記録を行う前の通常の記録操作中におい
ては、ステップS801〜S803により、その動作ル
ープを構成している。すなわち、ステップS801で、
上述したように不図示のビデオカメラなどにより撮影を
実行するとともに、データ検索用のデータファイルを生
成する。次に、ステップS802で、この撮影によって
得られるAVデータが記録されるメイン・メモリの使用
状態を確認する。
【0086】このステップS802における確認で、メ
イン・メモリの記憶領域が実質的に満杯となり、新たな
データを書き込む余裕がなくなったと判断した場合に
は、後述する論理消去データの物理的な削除を行うた
め、ステップS814にジャンプする。一方、記憶領域
にまだデータを書き込む余裕があると判断した場合は、
ステップS803に移行して、インサート記録の開始の
指示の有無を確認する。そして、インサート記録の開始
指示がないときは、ステップS801に戻り、以上の通
常記録を続行する。
【0087】インサート記録の開始が指示されると、ス
テップS803から上述の通常記録の動作ループを抜け
出してステップS804に移行し、インサートすべき新
しい画像の取り込みを開始する。そして、この画像の取
り込みは、次のステップS805において終了する。
【0088】このように、ステップS804、S805
において、新たに挿入すべき画像を設定した後、ステッ
プS806、S807において、この画像を挿入すべき
メモリ上の位置を設定する。なお、新たに挿入すべき画
像の設定と、その挿入位置の設定との順序を逆にして、
挿入すべき画像の設定をその挿入位置の設定の後に行う
ようにしてもよい。
【0089】ところで、新たに挿入すべき画像に対応す
るID(後述のデータ構成例を用いて詳述する)と、こ
の画像の挿入によって削除される画像に対応するIDと
が1対1に対応するときは、新たに挿入すべき画像の位
置を設定すれば、削除される画像は自動的に設定され
る。
【0090】次に、ステップS808で、ステップS8
04〜S807で行った新たな画像とその挿入位置との
インサート設定をシミュレート確認する。その確認の結
果、挿入した画像のつなぎ具合が良くなければ、そのつ
なぎの不具合の要因に応じて、ステップS804または
ステップS806に戻り、挿入すべき画像やその挿入位
置を再度設定し直す。
【0091】このステップS804〜S808のループ
を、満足なシミュレート結果が得られるまで繰り返す。
そして、画像のつなぎ具合が良くなったときは、次のス
テップS809、S810に移行して、設定した挿入す
べき画像と削除すべき画像とのデータ交換を実際に実行
する。
【0092】以上述べたステップS804〜S810の
処理を、以下に示すデータの構成例を用いて説明する。
図10は、図2の(b)に示したIDファイルの見かけ
上のID登録例を示す図であり、ID−001からID
−060までの60個のIDにより、これらのIDに対
応するデータブロック中に60秒分の動画像が記録され
ていることを表しているものとする。
【0093】このような記録状態において、ID−01
1からID−020に対応する10秒間の画像を、イン
サート処理により新たな10秒間の画像に取り替えると
する。この場合、図9の(b)に示すように、削除すべ
きID−011からID−020に対応する旧データブ
ロックの状態をアクティブからデリートに変更すべく、
IDデータ中の削除済フラグを0から1へ更新する。こ
れに対応して、挿入すべき新たなデータブロックの状態
をアクティブにするべく、図9の(a)に示すように、
IDデータ中の削除済フラグを0に設定する。
【0094】これらの削除済フラグの状態も含めたID
ファイルの様子を示したものを、図11に示す。図11
において、AVデータの再生あるいは検索時に必要なI
Dは、ID−001−0からID−060−0までの6
0データブロック分のIDのみである。このため、ID
ファイルには、見かけ上、図10に示したようにID−
001からID−060までの60データブロック分の
IDのみが存在する。しかし、メモリ上には、削除済フ
ラグ“1”の設定により論理的にはデリート(削除処
理)されているが、物理的にはデリートされていないデ
ータブロック(以下、論理消去データという)が実際に
は存在している。
【0095】この論理消去データに対応するIDは、例
えば、図11のようにIDファイルの最終アドレス近辺
の所定エリアに格納される。そこで、この所定エリアに
アクセスすれば、削除済フラグが“1”に設定された論
理消去状態のデータブロックが有るか否かを確認するこ
とができる。
【0096】このようにして、インサート記録時に削除
される旧データブロックを、削除済フラグ“1”を設定
した状態で論理消去データとしてメモリ上に残しておく
ようにすることにより、図8のステップS804〜S8
08における新たに挿入すべき画像とその挿入位置との
再設定処理を、この旧データブロックを用いて何度でも
容易に行うことが可能となる。
【0097】また、例えば、N回の再設定処理を行う場
合に、削除済フラグの0,1の2値のみを用いて論理消
去状態の設定を行う代わりに、再設定処理の回数に応じ
てレベル0〜Nを表現できるデータを用いて論理消去状
態の設定を行うようにすることにより、挿入すべき画像
とその挿入位置との再設定処理の自由度をさらに増すこ
とができる。
【0098】以上のような新たな画像とその挿入位置と
の再設定処理により、画像のつなぎ具合が良好となった
ときは、設定した挿入すべき画像と削除すべき画像との
データ交換を実際に実行する。すなわち、新たに挿入す
る画像を含むデータブロックの記録アドレス情報をID
−011−0からID−020−0に対応させて格納す
る。また、削除する旧画像を含むデータブロックの記録
アドレス情報をID−011−1からID−020−1
に対応させて上述の所定エリアへ格納する。このアドレ
ス情報の格納処理が、図8に示したステップS809、
S810の処理に相当する。
【0099】以上、映像のインサート記録について述べ
たが、音声のインサート記録についても同様に行われ
る。
【0100】このようにして映像または音声がインサー
ト記録されたデータブロックについて、IDファイルの
ID番号順にアクセスしていくと、アクセスするアドレ
ス番号は不連続となってしまう。しかし、先にも述べた
ように、記録媒体として固体記憶素子を用いる本実施例
においては、短時間でデータ検索を行うことができるた
め、AVデータの読み出しに際して、映像および音声を
実質的に連続して再生することができる。
【0101】再び、図8に戻って、ステップS811以
降の動作を説明する。以上のステップS810まででイ
ンサート記録が終了した後、ステップS811で、他の
箇所にもインサート記録を施すかどうかを判断する。他
の箇所にもインサート記録を施す場合は、ステップS8
01に戻り、上述と同様のインサート記録を再開始す
る。
【0102】ステップS811でインサート記録を終了
すると判断した場合は、その終了の仕方に応じて、電源
をオフにして終了する場合はステップS812を経由し
てステップS814に移行する。また、メモリカートリ
ッジを取り出して終了する場合はステップS813を経
由してステップS814に移行する。そして、ステップ
S814で、削除済フラグに“1”が設定されているデ
ータブロックの削除を行う。ここで実行する削除は、メ
モリ上から不可逆的にデータを削除する物理的削除であ
る。
【0103】以上では、新たに挿入すべき画像に対応す
るIDと、この画像の挿入によって削除される画像に対
応するIDとが1対1に対応する場合について説明した
が、本実施例においては、これらの両IDが1対1に対
応しない場合にも適用することができる。
【0104】このような場合におけるインサート記録の
処理手順は、図12のフローチャートに示すとおりであ
る。図12において、図8と同一のステップ番号を付し
た部分の動作は、図8にて説明した動作と同様なので、
重複する説明は省略する。
【0105】上記2つのIDが1対1に対応しないとき
は、図8のステップS806、S807のように新たに
挿入すべき画像の位置を設定しても、削除される画像は
自動的には設定されない、したがって、この場合は、図
12のステップS815、S816で削除すべき画像を
設定する。もちろん、ステップS804、S805にお
ける挿入すべき画像の設定と、ステップS815、S8
16における削除すべき画像の設定とは、順序を逆にし
て行ってもよい。
【0106】ステップS804、S805、S815、
S816、S808でなる画像の再設定ループにおい
て、画像のつなぎ具合が良くなるように、挿入すべき画
像と削除すべき画像とを設定した後、ステップS80
9、S810において、設定した挿入すべき画像と削除
すべき画像とのデータ交換を実際に実行する。
【0107】例えば、図10のIDファイルにおいて、
ID−011からID−020に対応する10秒間の画
像を、インサート記録を行うことにより、新規に撮影し
た5秒間の画像に取り替えるとすると、削除済フラグの
状態も含めたIDファイルの様子は、図13のようにな
る。図13において、ID−016−0からID−02
0−0に相当する位置は、新規に挿入すべき画像がない
のでブランクになっている。
【0108】このような場合には、図12のステップS
817で、ID番号のリナンバリング処理を行う。図1
3に示したIDファイルに対してリナンバリング処理を
施した結果を、図14に示す。図14は、上記5秒間の
ブランクに相当する部分がカットされ、全体のIDがI
D−001−0からID−055−0の55個に減少し
ている様子を示している。さらに、このときの見かけ上
のIDファイルの様子は、図15に示すとおりとなる。
【0109】このように、リナンバリング処理したID
ファイルを用いてAVデータを再生するとき、リナンバ
リングしたIDに対応するAVデータが格納されている
データアドレスを順序を、間違うことなく連結させるた
めに、図16に示すように、データブロック中のIDデ
ータの基本情報として、現在再生しているIDデータの
次のIDデータの格納番地を示すNEXT−IDアドレ
ス情報を追加している。
【0110】映像および音声のインサート記録において
は、挿入される新たなデータに代わって削除されるデー
タを、例えば、図5に示したインデックス情報によりグ
ルーピングされる記録単位を一括して指定することもで
きる。
【0111】この場合には、図12のステップS81
5、S816での削除すべき画像の設定は、図5のイン
デックス情報を用いて行う。すなわち、例えば、インデ
ックス情報のレベル1−1−2−0を選択することによ
り、これに対応するIDファイル43の開始No.およ
び終了No.から、図13のID−011−1からID
−020−1の10秒間の画像を削除すべき画像として
一括で設定してインサート記録を行うことができる。
【0112】また、図12のステップS817における
リナンバリング処理では、ID番号のリナンバリングの
ほかに、インデックス情報のリナンバリングも行う。こ
れにより、ID番号とインデックス情報とを常に対応さ
せて管理することができ、インサート記録を行った後で
も、適切なデータ検索を行うことができる。
【0113】
【発明の効果】以上説明したように、本発明によれば、
可変長の符号化動画像データの検索を容易に行うことが
できる。
【0114】
【0115】
【0116】
【0117】
【図面の簡単な説明】
【図1】本発明の記録再生装置の一実施例を示すブロッ
ク図である。
【図2】メイン・メモリにおけるデータの格納状態を示
す構成図である。
【図3】入力映像信号の一例を説明するためのテレビ画
面の構成図である。
【図4】データ検索性の向上を実現するための記録再生
装置の構成を示すブロック図である。
【図5】データ検索用のインデックス情報および各デー
タファイルの構成例を示す図である。
【図6】記録時の動作手順を示すフローチャートであ
る。
【図7】サーチ再生時の動作手順を示すフローチャート
である。
【図8】インサート記録時の動作手順を示すフローチャ
ートである。
【図9】IDデータの構成例を示す図である。
【図10】IDファイルの見かけ上のデータ構成例を示
す図である。
【図11】削除済フラグの状態も含めたIDファイルの
データ構成例を示す図である。
【図12】インサート記録時の他の動作手順を示すフロ
ーチャートである。
【図13】リナンバリング処理前における削除済フラグ
の状態も含めたIDファイルのデータ構成例を示す図で
ある。
【図14】リナンバリング処理後における削除済フラグ
の状態も含めたIDファイルのデータ構成例を示す図で
ある。
【図15】リナンバリング処理後におけるIDファイル
の見かけ上のデータ構成例を示す図である。
【図16】IDデータの他の構成例を示す図である。
【符号の説明】
10 オーディオデータ圧縮回路 11 ビデオデータ圧縮回路 12 ID発生回路 13 データ合成回路 14 カレンダクロック発生回路 15 メモリ情報生成回路 18 メイン・メモリ 21 データ分配回路 22 検索情報再生回路 23 表示情報生成回路 24 ビデオデータ伸張回路 25 オーディオデータ伸張回路 30 映像モニタ 31 音声モニタ 40 AVデータファイル 43 IDファイル 44 時刻ファイル 45 目次ファイル 46 インデックス生成回路
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06F 3/06 - 3/08 H04N 5/76 H04N 5/907

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 動画像データを記憶媒体に対して記録再
    生する装置であって、 入力動画像データを可変長符号化し、可変長の符号化動
    画像データを得る画像処理手段と、 入力音声データを符号化し、符号化音声データを得る音
    声処理手段と、 前記画像処理手段により得られた符号化動画像データの
    前記記憶媒体上の記憶アドレスを示すアドレスデータを
    有し、前記符号化動画像データを検索するための固定長
    の検索データを一定期間毎に生成する生成手段と、 前記一定時間毎に生成された検索データを前記記憶媒体
    の所定エリアに記録すると共に前記符号化動画像データ
    と前記符号化音声データとを前記記憶媒体の前記所定エ
    リアとは異なる他のエリアに記録する記録手段と、 前記記憶媒体から前記検索データと前記符号化動画像デ
    ータと前記符号化音声データとを再生する再生手段と、 前記再生手段により再生された検索データに基づいて前
    記再生手段による前記符号化動画像データの再生動作を
    制御する制御手段とを備える記録再生装置。
  2. 【請求項2】 前記符号化動画像データが記録された記
    憶媒体に対して前記画像処理手段により新たに生成され
    た符号化動画像データを記録する編集モードにおいて、
    前記制御手段は更に、前記新たに記録される符号化動画
    像データの記憶アドレスに応じて前記記憶媒体に記録さ
    れている検索データの内容を変更するよう前記生成手段
    及び前記記録手段を制御することを特徴とする請求項1
    記載の記録再生装置。
JP13394793A 1993-05-12 1993-05-12 記録再生装置 Expired - Fee Related JP3437213B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP13394793A JP3437213B2 (ja) 1993-05-12 1993-05-12 記録再生装置
US08/782,762 US5966495A (en) 1993-05-12 1997-01-13 Recording and reproducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13394793A JP3437213B2 (ja) 1993-05-12 1993-05-12 記録再生装置

Publications (2)

Publication Number Publication Date
JPH06324819A JPH06324819A (ja) 1994-11-25
JP3437213B2 true JP3437213B2 (ja) 2003-08-18

Family

ID=15116794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13394793A Expired - Fee Related JP3437213B2 (ja) 1993-05-12 1993-05-12 記録再生装置

Country Status (1)

Country Link
JP (1) JP3437213B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209550A (ja) * 1999-01-14 2000-07-28 Sony Corp 画像記録再生装置及び画像再生方法
JP4752123B2 (ja) * 2001-03-29 2011-08-17 ソニー株式会社 情報検索方法および情報検索装置

Also Published As

Publication number Publication date
JPH06324819A (ja) 1994-11-25

Similar Documents

Publication Publication Date Title
US5966495A (en) Recording and reproducing apparatus
JP3285029B2 (ja) 記録媒体
JPH10162560A (ja) 映像編集方法、及びノンリニア映像編集装置
JP4045651B2 (ja) 情報処理装置、情報処理方法及びプログラム記録媒体
JP3370457B2 (ja) 光ディスク、光ディスクの記録方法及び記録装置並びに光ディスクの再生方法及び再生装置
JP3164111B2 (ja) 記録方法、記録装置およびコンピュータ読み取り可能な記録媒体
JP3164107B2 (ja) 記録媒体
JP3420257B2 (ja) 再生装置
JP3437213B2 (ja) 記録再生装置
JP3530546B2 (ja) 記録再生装置
JP3313794B2 (ja) 再生装置及び再生方法
JP3277923B2 (ja) データ記録再生装置とその方法
KR100499587B1 (ko) 영상 또는 오디오 데이터 재생장치에서의 북마크 정보관리방법
JP4772742B2 (ja) 画像再生装置、画像再生方法及びプログラム記録媒体
KR20030069067A (ko) 파일 재생장치 및 파일 재생방법
JP3139497B1 (ja) 再生装置、再生方法、およびコンピュータ読み取り可能な記録媒体
JP3862480B2 (ja) 情報記録再生装置
JP2864950B2 (ja) 圧縮された動画像データの管理方法
JP3599369B2 (ja) 記録装置
JPH07154740A (ja) 記録媒体、記録方法、記録装置、及び編集方法
JP4208022B2 (ja) 情報編集装置、情報編集方法及びプログラム記録媒体
JP4787206B2 (ja) 情報記録装置及び情報記録方法
JPH06181560A (ja) 記録再生装置
JPH06197306A (ja) 記録再生装置及び再生装置
JP3679423B2 (ja) 記録再生装置及び再生装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080606

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090606

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090606

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100606

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees