JP4292465B2 - ファイル記録装置及びファイル記録方法 - Google Patents

ファイル記録装置及びファイル記録方法 Download PDF

Info

Publication number
JP4292465B2
JP4292465B2 JP2003133896A JP2003133896A JP4292465B2 JP 4292465 B2 JP4292465 B2 JP 4292465B2 JP 2003133896 A JP2003133896 A JP 2003133896A JP 2003133896 A JP2003133896 A JP 2003133896A JP 4292465 B2 JP4292465 B2 JP 4292465B2
Authority
JP
Japan
Prior art keywords
data
recording
sample
box
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003133896A
Other languages
English (en)
Other versions
JP2004343167A (ja
Inventor
訓 辻井
誠 山田
光浩 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003133896A priority Critical patent/JP4292465B2/ja
Publication of JP2004343167A publication Critical patent/JP2004343167A/ja
Application granted granted Critical
Publication of JP4292465B2 publication Critical patent/JP4292465B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ファイル記録装置及びファイル記録方法に関し、例えばQTフォーマットのファイルにより撮像結果を記録するビデオカメラに適用することができる。本発明は、QTファイルのサンプルに対応する管理単位の長さを実データの記録の進行により順次段階的に増大させることにより、編集作業等における使い勝手の劣化を極力回避して、少ない容量のメモリを用いる場合でもQTフォーマットによるファイル等を長時間記録することができるようにする。
【0002】
【従来の技術】
従来、マルチメディア対応のファイルフォーマットとしてQuick Timeファイルフォーマット(以下:QTフォーマットと呼ぶ)が広く知られており、また近年、このQTフォーマットを基準にしてISO Base Mediaファイルフォーマット(MPEG4−part12)、 Motion JPEG2000(MJ2)ファイルフォーマット、AVC(Advanced Video Coding :MPEG4−part10)ファイルフォーマット等が標準化されるようになされている。
【0003】
この種のファイルフォーマットにおいては、動画、静止画、音声等による実データがまとめられてブロック化され、またこの実データのブロックとは別に、この実データを管理する管理情報がまとめられてブロック化される。以下、このようなブロックをボックスと呼び、実データをまとめたボックスをメディアデータボックス(Media Data Box)と呼ぶ。また管理情報をまとめたボックスをムービーボックス(Movie Box )と呼ぶ。
【0004】
この種のファイルフォーマットにおいては、このムービーボックスが、管理情報を属性毎にまとめて階層構造によりボックス化して作成され、このムービーボックスにより、一体に保持されたメディアデータボックス、他のファイルに保持されたメディアデータボックスを管理して動画等を再生できるようになされ、これによりいわゆる内部参照形式、外部参照形式により各種メディアを提供できるようになされている。なお、このような外部参照形式においては、他のファイルのメディアデータボックスを管理できることにより、ノンリニア編集等に利用することができる。
【0005】
またこの種のファイルフォーマットにおいて、メディアデータボックスは、実データが所定の最小管理単位で区切られ、ムービーボックスにおいては、最下位層のボックスにおいて、この実データの最小管理単位に対してそれぞれ管理情報が設定されるようになされている。以下、この実データの最小管理単位をサンプル(Sample)と呼ぶ。これによりこの種のファイルフォーマットにおいては、このサンプルを単位にして編集処理、頭出し処理等を実行できるようになされている。
【0006】
この種のファイルフォーマットによりファイルを作成する場合、処理の利便性を考慮して、例えば特開2001−94933号公報に開示されているように、通常、表示の単位に対応する1フレーム又は1GOP(Group Of Pictures )を1サンプルに設定するようになされている。また1つのファイル中で、1サンプルの長さを変更できるようになされているものの、処理を簡略化するために、1つのファイル中では1サンプルが固定した長さに設定されるようになされている。
【0007】
これによりこの種のファイルフォーマットにおいては、実データによる記録の進行に伴いムービーボックスのデータ量が増大し、実データの記録を完了しなければ、ムービーボックスの内容が確定しない特徴がある。これによりこの種のファイルフォーマットによりハードディスク、光ディスク等の記録媒体にファイルを記録する場合、記録媒体にメディアデータボックスを順次記録しながら、ムービーボックスの作成に必要なデータをメモリ等に順次蓄積して保持し、メディアデータボックスの記録を完了すると、このメモリ等に保持したデータよりムービーボックスを作成して記録媒体に記録するようになされている。
【0008】
【特許文献1】
特開2001−94933号公報
【0009】
【発明が解決しようとする課題】
ところでこのように実データの記録に伴ってデータ量が増大する管理情報をメモリ等に蓄積して記録媒体に記録する場合、十分な容量によるメモリを保持しているコンピュータ等の機器においては、長時間の実データを記録する場合でも十分に対応することができる。
【0010】
しかしながらこのようなファイルフォーマットにおいては、コンピュータとの親和性を図ることを目的として携帯型のビデオレコーダに適用することも考えられ、このような携帯機器においては、コンピュータ等に比して十分なメモリ容量を確保することが困難な欠点がある。
【0011】
これによりこのような携帯機器において、この種のファイルフォーマットによるファイルを記録する場合、長時間、連続して記録できない問題があった。
【0012】
すなわち長時間記録する場合にあっては、記録途中で管理情報の蓄積にメモリの容量が不足することになり、結局、実データであるメディアデータボックスについては正しく記録を完了し得たとしても、これを管理するムービーボックスについては、正しく記録することが困難になり、これにより正しく記録を完了したメディアデータボックスの実データを再生できなくなる。これにより結局、記録途中で強制的に記録を中止してそれまでの記録により1つのファイルを作成し、改めて記録を再開することになる。
【0013】
因みに、例えば1サンプルを1フレームに設定して、MPEG(Moving Picture Experts Group)によるビデオデータを1時間記録する場合、QTフォーマットにおいては、サンプルテーブルボックスを構成するボックスのうちで、時間管理に供するボックス(Composition Time-to-Sample Box)のデータ量が約563〔KByte〕になり、またサンプルのデータ量を管理するボックス(Sample Size Box )のデータ量が約422〔KByte〕にもなる。
【0014】
この問題を解決する1つの方法として、1サンプルに割り当てるフレーム数、GOPの長さを長く設定しておく方法が考えられるが、このように1サンプルの長さを長くすると、その分、頭出し等の処理における分解能が粗くなり、ノンリニア編集等の処理における使い勝手が著しく劣化する問題がある。
【0015】
本発明は以上の点を考慮してなされたもので、編集作業等における使い勝手の劣化を極力回避して、少ない容量のメモリを用いる場合でもQTフォーマットによるファイル等を長時間記録することができるファイル記録装置及びファイル記録方法を提案しようとするものである。
【0016】
【課題を解決するための手段】
かかる課題を解決するため請求項1の発明においては、順次入力される実データを所定フォーマットのファイルにより記録媒体に記録するファイル記録装置に適用して、監視手段の監視結果に基づいたデータ処理手段の制御により、実データの記録の進行により管理単位の長さを順次段階的に増大させる制御手段を備えるようにする。
【0017】
また請求項の発明においては、順次入力される実データを記録媒体に記録した後、実データに順次設定した管理単位による管理情報、実データの他の管理情報をまとめて階層構造によりボックス化した管理情報のボックスを記録媒体に記録するファイル記録方法に適用して、実データの記録の進行により管理単位の長さを順次段階的に増大させる。
【0018】
請求項1、又は請求項5の構成によれば、管理情報を保持するメモリにおいて、記録の進行によりメモリ容量が少なくなってくると、その分、管理情報の増大速度を小さくして空き容量の減少速度を小さくすることができ、これによりこのメモリにおける管理情報のオーバーフローを防止することができる。これにより少ない容量のメモリを用いる場合でもQTフォーマットによるファイル等を長時間記録することができる。またこのようにして作成される管理情報のボックスにおいては、当初、管理単位が十分な長さに設定されて、メモリ容量の減少により管理単位が長くなることにより、例えば、記録時間の短いファイルについては、管理単位を当初の設定のままに保持することができる。また記録時間が長くなると、その分、末尾側で順次管理単位の長さが長くなることになる。これにより管理単位の長さの増大による編集作業等における使い勝手の劣化を極力回避することができる。
【0020】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【0021】
(1)第1の実施の形態
(1−1)第1の実施の形態の構成
(1−1−1)ビデオディスク装置の全体構成
図2は、本発明の実施の形態に係るビデオディスク装置を示すブロック図である。このビデオディスク装置1においては、図示しない撮像手段、音声取得手段により被写体のビデオ信号、オーディオ信号を取得し、このビデオ信号及びオーディオ信号による撮像結果を光ディスク2に記録する。またこの光ディスク2に記録した撮像結果を再生して液晶表示パネルによる表示手段、スピーカによる音声出力手段より出力し、また外部機器に出力する。このビデオディスク装置1では、このような撮像結果によるビデオ信号及びオーディオ信号をMPEGのフォーマットによりデータ圧縮した後、所定のファイルフォーマットにより光ディスク2に記録するようになされ、この実施の形態では、このファイルフォーマットにQTフォーマットが適用されるようになされている。なお以下において、QTフォーマットによるファイルをQTファイルと呼ぶ。
【0022】
これによりビデオディスク装置1において、ビデオ符号器11は、撮像結果によるビデオ信号DV1をアナログディジタル変換処理してビデオデータを生成し、このビデオデータをMPEGのフォーマットに従って符号化処理し、これによりビデオデータによるエレメンタリストリームDVを出力する。
【0023】
またオーディオ符号器12は、撮像結果によるオーディオ信号DA1をアナログディジタル変換処理してオーディオデータを生成し、このオーディオデータをMPEGのフォーマットに従って符号化処理し、これによりオーディオデータによるエレメンタリストリームDAを出力する。
【0024】
ファイル生成器15は、記録時、ビデオ符号器11及びオーディオ符号器12から出力されるエレメンタリストリームDA及びDVを同期化して多重化処理し、システム制御マイコン19の制御によりQTファイルを作成する。このためファイル生成器15は、順次入力されるエレメンタリストリームDA及びDVを多重化してメディアデータボックスのデータを順次出力しながら、このメディアデータボックスのデータに対応して内蔵のメモリ15Aにムービーボックスの生成に必要なデータを追記して保持し、メディアデータボックスの記録の完了によりメモリ15Aに保持したデータからムービーボックスのデータ列を生成して出力する。
【0025】
メモリコントローラ18は、システム制御マイコン19の制御により動作を切り換え、記録時、このファイル生成器15から出力されるQTファイルによるデータ列をメモリ17に順次記録して一時保持し、続くエラー訂正符号/復号器21の処理に対応して保持したデータを出力する。また再生時、これとは逆に、エラー訂正符号/復号器21の出力データを一時保持し、ファイル復号器16、システム制御マイコン19に出力する。
【0026】
エラー訂正符号/復号器21は、システム制御マイコン19の制御により動作を切り換え、記録時、メモリコントローラ18の出力データをメモリ20に一時記録して誤り訂正符号を付加する。またこのようにしてメモリ20に保持したデータを所定順序により読み出して出力することにより、これらのデータをインターリーブ処理してデータ変復調器23に出力する。またエラー訂正符号/復号器21は、再生時、記録時とは逆に、データ変復調器23から出力されるデータを所定順序によりメモリ20に一時記録してメモリコントローラ18に出力することにより、このデータ変復調器23から出力されるデータをデインターリーブ処理して出力する。またこのとき、記録時に付加した誤り訂正符号により誤り訂正処理する。
【0027】
データ変復調器23は、システム制御マイコン19の制御により動作を切り換え、記録時、エラー訂正符号/復号器21の出力データをシリアルデータ列に変換した後、変調処理して磁界変調ドライバ24又は光ピックアップ33に出力する。また再生時、光ピックアップ33から出力される再生信号からクロックを再生し、このクロックを基準にして再生信号を2値識別、復調処理することにより、記録時に生成したシリアルデータ列に対応する再生データを得、この再生データをエラー訂正符号/復号器21に出力する。
【0028】
磁界変調ドライバ24は、光ディスク2が光磁気ディスクの場合に、記録時、システム制御マイコン19の制御により、データ変復調器23の出力信号により磁界ヘッド32を駆動する。ここで磁界ヘッド32は、光ディスク2を間に挟んで光ピックアップ33に対向するように保持され、光ピックアップ33によるレーザービーム照射位置にデータ変復調器23の出力データに応じた変調磁界を印加する。これによりこのビデオディスク装置1では、光ディスク2が光磁気ディスクの場合、熱磁気記録の手法を適用してQTフォーマットによるファイルにより撮像結果を光ディスク2に記録するようになされている。
【0029】
かくするにつき光ディスク2は、ディスク状記録媒体であり、この実施の形態では、光磁気ディスク(MO:Magneto-Optical Disk)、相変化型ディスク等の書き換え可能な光ディスクである。スピンドルモータ31は、この光ディスク2をサーボ回路30の制御により、光ディスク2に応じて線速度一定(CLV:Constant Linear Velocity)、角速度一定(CAV、Constant Angular Velocity)、ゾーンCLV(ZCLV:Zone Constant Linear Velocity )等の条件により光ディスク2を回転駆動する。
【0030】
サーボ回路30は、光ピックアップ33から出力される各種信号に基づいて、スピンドルモータ31の動作を制御し、これによりスピンドル制御の処理を実行する。またサーボ回路30は、同様にして光ピックアップ33をトラッキング制御、フォーカス制御し、また光ピックアップ33、磁界ヘッド32をシークさせ、さらにはフォーカスサーチ等の処理を実行する。
【0031】
ドライブ制御マイコン22は、システム制御マイコン19の指示により、これらサーボ回路30におけるシーク等の動作を制御する。
【0032】
光ピックアップ33は、光ディスク2にレーザービームを照射してその戻り光を所定の受光素子により受光し、受光結果を演算処理することにより、各種制御用の信号を生成して出力し、また光ディスク2に形成されたピット列、マーク列に応じて信号レベルが変化する再生信号を出力する。また光ピックアップ33は、システム制御マイコン19の制御により動作を切り換え、光ディスク2が光磁気ディスクの場合、記録時、光ディスク2に照射するレーザービームの光量を間欠的に立ち上げる。これによりこのビデオディスク装置1では、いわゆるパルストレイン方式により光ディスク2に撮像結果を記録するようになされている。また光ピックアップ33は、光ディスク2が相変化型ディスク等の場合、データ変復調器23の出力データに応じて光ディスク2に照射するレーザービームの光量を再生時の光量から書き込み時の光量に立ち上げ、これにより熱記録の手法を適用して光ディスク2に撮像結果を記録するようになされている。
【0033】
これらによりこのビデオディスク装置1では、撮像結果によるビデオ信号及びオーディオ信号をビデオ符号器11、オーディオ符号器12によりデータ圧縮してエレメンタリストリームに変換した後、ファイル生成器15によりQTフォーマットのファイルに変換し、メモリコントローラ18、エラー訂正符号/復号器21、データ変復調器23を順次介して、光ピックアップ33により、又は光ピックアップ33及び磁界ヘッド32によりこのQTフォーマットのファイルを光ディスク2に記録するようになされている。
【0034】
またビデオディスク装置1では、光ピックアップ33より得られる再生信号をデータ変復調器23により処理して再生データを得、この再生データをエラー訂正符号/復号器21で処理して、光ディスク2に記録したQTフォーマットによるファイルを再生できるようになされ、これらQTフォーマットによるファイルのデータをメモリコントローラ18から出力するようになされている。
【0035】
ファイル復号器16は、メモリコントローラ18から出力されるQTファイルのデータを入力し、このデータをビデオデータ及びオーディオデータのエレメンタリストリームに分解して出力する。この処理において、ファイル復号器16は、システム制御マイコン19によるシーク等の制御により事前にムービーボックスのデータを取得して保持し、このムービーボックスに設定された管理情報に基づいてビデオデータ及びオーディオデータのエレメンタリストリームを出力する。
【0036】
ビデオ復号器13は、このビデオデータのエレメンタリストリームをデータ伸長して図示しない表示手段、外部機器に出力する。オーディオ復号器14は、ファイル復号器16から出力されるオーディオデータのエレメンタリストリームをデータ伸長して、図示しない音声出力手段、外部機器に出力する。これによりこのビデオディスク装置1では、光ディスク2から再生した撮像結果をモニタし得るようになされている。
【0037】
システム制御マイコン19は、このビデオディスク装置1全体の動作を制御するマイコンであり、図示しないメモリに記録された所定の処理手順の実行により、ユーザーによる操作に応動して各部の動作を制御する。これによりシステム制御マイコン19は、撮像結果を光ディスク2に記録し、またこの光ディスク2に記録した撮像結果を再生してユーザーに提供し、さらには編集処理を実行するようになされている。このような記録に係る各部の制御において、システム制御マイコン19は、記録の進捗により1サンプルの設定を順次切り換えるようにファイル生成器15の設定を切り換え、これにより編集作業等における使い勝手の劣化を有効に回避して、少ない容量のメモリを用いる場合でも撮像結果を長時間記録することができるようになされている。
【0038】
(1−1−2)QTファイル
ここで図3は、QTファイルの基本構成を示す概念図である。QTフォーマットは、特殊なハードウェアを用いずに動画等を再生するためのOS(Operating System) の拡張機能として生まれたファイルフォーマットである。QTフォーマットは、動画、音声、静止画、文字、MIDI等の種々の形式による実データを1つの時間軸で同期させて再生することができるタイムベースのマルチメディアファイルフォーマットであり、ネットワーク上のストリーミングにも対応できるようになされている。QTファイルにおいて、これら種々の形式による実データは、それぞれ個別のトラックとして格納され、それぞれ動画、音声、文字による実データのトラックがビデオトラック、サウンドトラック(オーディオトラック)、テキストトラックと称されるようになされている。
【0039】
QTファイルF1、F2は、このトラックの集合によりメディアデータボックス(Media Data Box)が形成され、このメディアデータボックス(Media Data Box)の各トラックの管理情報等がまとめられてムービーボックス(Movie Box )が形成される。なおここでボックスは、アトム(Atom)とも呼ばれる。またメディアデータボックスは、ボックスのタイプ名がmdatに設定され、ムービーデータ(Movie Data)とも呼ばれる。これに対してムービーボックスは、ボックスのタイプ名がmoovに設定され、ムービーリソース(Movie Resource)とも呼ばれる。
【0040】
QTファイルは、これらメディアデータボックス、ムービーボックスが一体となった形式の自己内包形ファイルF1と、ムービーボックスのみからなる形式の外部参照形ファイルF2とがあり、この外部参照形ファイルF2においては、他のファイルF1に存在するメディアデータボックスを管理対象に設定できるようになされ、これによりノンリニア編集等に利用できるようになされている。なおこのように他のファイルF1に存在するメディアデータボックスを管理対象とする場合には、ムービーボックスに、この他のファイルに係る記録媒体上の相対パス、絶対パス等の管理情報が併せて割り当てられるようになされている。
【0041】
図4は、自己内包形ファイルF1に関して、ビデオトラック及びオーディオトラックによりメディアデータボックスが構成されている場合について、これらメディアデータボックス、ムービーボックスを詳細に示す図表であり、図5及び図6は、図4の構成をC言語の記述によりタイプ名と共に示す図表である。なおムービーボックスにおいて、トラックボックス(タイプ名trak)は、下位階層のボックス構造がビデオトラックとオーディオトラックとでほぼ同一であることにより、図4においてオーディオトラックに係るトラックボックスの下位階層について記述を省略して示す。
【0042】
ムービーボックスは、管理情報を属性毎にボックス化した階層構造により作成される。すなわちムービーボックスは、ムービーヘッダボックス(movie header)、トラックボックス(track )等により構成される。ムービーヘッダボックスは、ヘッダー情報が収容され、タイプ名がmvhdに設定される。これに対してトラックボックス(track )は、メディアデータボックスに設けられたトラックに対応してそれぞれ設けられる。トラックボックス(track )は、トラックヘッダボックス(track header)、エディットボックス(edit)、メディアボックス(media )等により構成され、それぞれメディアデータボックスの個々の実データに関する情報が記述される。
【0043】
ここでトラックヘッダボックス(track header)は、ヘッダー情報が収容される。エディットボックス(edit)は、必要に応じてエディットリストボックス(edit list )を含み、このエディットリストボックス(edit list )にイン点、アウト点までの時間情報、再生速度等の情報を設定することにより、ノンリニア編集に利用できるようになされている。
【0044】
メディアボックス(media )は、それぞれ対応する実データの圧縮方式、格納場所、表示時間等を管理するための情報が割り当てられ、タイプ名がmdiaに設定される。メディアボックス(media )は、メディアヘッダボックス(media header)、メディアハンドラリファレンスボックス(media handler reference )、メディア情報ボックス(media information )により構成される。ここでメディアヘッダボックス(media header)は、ヘッダー情報が割り当てられ、メディアハンドラリファレンスボックス(media handler reference (図4においてはmedia handler により示す))は、対応する実データの種類が記録され、これによりビデオデータ、オーディオデータ等を識別できるようになされている。
【0045】
メディア情報ボックス(media information )は、最小の管理単位であるサンプルに係る各種の情報が割り当てられ、タイプ名がminfに設定される。メディア情報ボックス(media information )は、実データに対応するメディアヘッダ(video madia information header、sound madia information header(図4においてはvideo madia headerにより示す))、データハンドラリファレンスボックス(data handler reference(図4においてはdata handlerにより示す))、データ情報ボックス(data information)、サンプルテーブルボックス(sample table)により構成される。
【0046】
ここでメディアヘッダは、上位のメディアハンドラリファレンスボックス(media handler reference )に対応して、ビデオトラック及びオーディオトラックでそれぞれタイプ名がvmhd、smhdに設定され、ヘッダー情報が収容される。データハンドラリファレンスボックス(data handler reference)は、対応する実データの取り扱いに関する情報が設定され、データ情報ボックス(data information)は、下位階層のデータリファレンスボックス(data reference)により実際に参照するデータの格納場所、格納方法の情報が割り当てられるようになされている。
【0047】
サンプルテーブルボックス(sample table)は、各サンプルに関する情報が割り当てられ、タイプ名がstblに設定される。サンプルテーブルボックス(sample table)は、サンプルディスクリプションボックス(sample description)、時間サンプルボックス(time-to-sample)、サンプルサイズボックス(sample size )、サンプルチャンクボックス(sample-to-chunk )、チャンクオフセットボックス(chunk offset)、同期サンプルボックス(sync sample )、コンポジション時間サンプルボックス(composition time-to-sample)等により構成される。
【0048】
ここでサンプルディスクリプションボックス(sample description)は、デコードに関する情報が保存され、具体的にデータ圧縮方式、関連する情報が割り当てられる。すなわち図7に示すように、サンプルディスクリプションボックス(sample description)は、サンプルディスクリプションボックス(sample description)のサイズ(Size)、タイプ名(stsd)、バージョン、フラグが順次割り当てられる。またこのサンプルディスクリプションボックス(sample description)のエントリ数(number of Entries )が割り当てられ、このエントリ数の分だけ、データ圧縮方式、関連する情報によるエントリ(Video sample description entry)が割り当てられる。
【0049】
サンプルディスクリプションボックス(sample description)は、このエントリ(Video sample description entry)に係る実データの処理の変更に対応して、これらエントリ(Video sample description entry)が登録され、エントリ数(number of Entries )がアップカウントされる。サンプルディスクリプションボックス(sample description)は、このエントリ(Video sample description entry)の1つに1サンプルに割り当てるフレーム数を記述するフィールド(Frame Count )が設けられ、このフィールドに1サンプルのフレーム数を具体的に記録するようになされている。具体的に、1GOPを1サンプルとする場合、このフィールドには15フレームが記述され、2GOPを1サンプルとする場合、このフィールドには30フレームが記述される。因みに、このような処理の変更に係るエントリ(Video sample description entry)は、そのエントリ番号が、後述するサンプルチャンクボックス(sample-to-chunk )のエントリに設定されたインデックス番号(sample description Index)に対応するように設定され、これにより実データにおける対応する処理の変更箇所を検出できるようになされている。
【0050】
これによりサンプルディスクリプションボックス(sample description)においては、記録の進行によりメディアデータボックスのデータ量が増大した場合でも一定のデータ量に保持されるようになされているものの、途中で1サンプルに割り当てるフレーム数を変更すると、1つのエントリ分だけ、データ量が増大するようになされている。
【0051】
時間サンプルボックス(time-to-sample)は、各サンプルとデコードに係る時間軸との関係がフレームレートにより記述される。すなわち図8に示すように、時間サンプルボックス(time-to-sample)は、時間サンプルボックス(time-to-sample)のサイズ(Size)、タイプ名(stts)、バージョン、フラグが順次割り当てられる。またエントリ数(number of Entries )が割り当てられ、このエントリ数の分だけ、エントリ(Time-to-Sample entry#1〜#M)が登録される。時間サンプルボックス(time-to-sample)は、このエントリ(Time-to-Sample entry#1〜#M)に、1サンプルの表示時間(Sample Duration )、この表示時間が適用されるサンプル数(Sample Count)が割り当てられる。これによりQTファイルにおいては、例えばフレームレートの異なるNTSC方式、PAL方式によるビデオ信号を1つのファイルにより記録する場合等に、この時間サンプルボックス(time-to-sample)の設定により違和感なく再生できるようになされている。しかして時間サンプルボックス(time-to-sample)は、この実施の形態において、記録の進行によりメディアデータボックスのデータ量が増大した場合でも一定のデータ量に保持されるようになされている。
【0052】
これに対して1つのサンプルに割り当てるフレーム数を変更すると、その分、1サンプルに係る表示時間が変化することにより、表示時間(Sample Duration )が異なることになる。これによりこの場合、時間サンプルボックス(time-to-sample)は、エントリ(Time-to-Sample entry)が追加されてエントリ数(number of Entries )がアップカウントされる。これにより時間サンプルボックス(time-to-sample)は、記録途中で1サンプルに割り当てるフレーム数を変更すると、1エントリ分、データ量が増大するようになされている。
【0053】
サンプルサイズボックス(sample size )は、各サンプルのデータ量が記述される。すなわち図9に詳細に示すように、サンプルサイズボックス(sample size )は、サンプルサイズボックス(sample size )のサイズ(Size)、タイプ名(stsz)、バージョン、フラグが順次割り当てられ、ディフォルトによるサンプルの長さ(Default Sample Size value )が記録される。もしサンプルのサイズが1つでも異なれば、サンプル数に対応した値によるエントリ数(Number of Entries )が記述され、各サンプルの大きさ(Sample Size value )がエントリ(Sample Size entry#1 〜#N)により登録される。サンプルサイズボックス(sample size )は、この1つのエントリ(Sample Size entry )が固定長による4〔Byte〕により記述され、このエントリが実データにおけるサンプル毎に設けられる。これによりサンプルサイズボックス(sample size )は、記録の進行によりメディアデータボックスのサンプル数が増大すると、その分、エントリ数(Number of Entries )、エントリ(Sample Size entry#1 〜#N)が増大してデータ量が増大するようになされている。
【0054】
サンプルチャンクボックス(sample-to-chunk )は、チャンク(chunk )とそのチャンク(chunk )を構成するサンプルとの関係が記述される。なおここでチャンク(chunk )は、メディアデータボックスに各トラックデータをブロック化して割り当てる際の各ブロックであり、複数サンプルの集合により1つのチャンクが作成される。サンプルチャンクボックス(sample-to-chunk )は、サンプルチャンクボックス(sample-to-chunk )のサイズ(Size)、タイプ名(stsc)、バージョン、フラグが順次割り当てられ、エントリ数(Number of Entries )、エントリ(Sample-to-Chunk entry#1 〜Sample-to-Chunk entry#M )が記述される。ここでサンプルチャンクボックス(sample-to-chunk )は、1つのチャンクを構成するサンプル数が変更される毎に、エントリ(Sample-to-Chunk entry )が登録され、このエントリ(Sample-to-Chunk entry )に、エントリに係る最初のチャンク番号(First Chunk Number)、1チャンク当たりのサンプル数(Sample per Chunk)等が割り当てられるようになされている。
【0055】
サンプルチャンクボックス(sample-to-chunk )は、記録途中で1サンプルに割り当てるフレーム数を変更した場合、上述したサンプルディスクリプションボックス(sample description)のエントリの追加に対応してエントリ(Sample-to-Chunk entry )が追加され、このエントリのインデックス番号(sample description Index)により、対応するサンプルディスクリプションボックス(sample description)のエントリを特定できるようになされている。これによりサンプルチャンクボックス(sample-to-chunk )は、記録の進行によりメディアデータボックスのサンプル数が増大しても、一定データ量に保持されるようになされるものの、記録途中で1サンプルのフレーム数を変更すると、1つのエントリ分、データ量が増大するようになされている。
【0056】
チャンクオフセットボックス(chunk offset)は、ファイル先頭を基準にした各チャンク先頭の位置情報がエントリにより記録される。これによりこのチャンクオフセットボックス(chunk offset)においては、サンプルサイズボックス(sample size )と同様に、記録の進行によりメディアデータボックスのチャンク数が増大すると、その分、データ量が増大するようになされている。
【0057】
同期サンプルボックス(sync sample )、コンポジション時間サンプルボックス(composition time-to-sample)は、オプションである。同期サンプルボックス(sync sample )は、サンプルにおけるIピクチャーの位置情報がテーブルの形式により記述され、コンポジション時間サンプルボックス(composition time-to-sample)は、データ圧縮処理によりストリーム上の順序と表示上の順序が異なってなるピクチャーが存在することにより、表示に係る時間情報が記録されるようになされている。これらによりコンポジション時間サンプルボックス(composition time-to-sample)においても、記録の進行によりメディアデータボックスのサンプル数が増大すると、その分、データ量が増大するようになされている。なおこの実施の形態においては、1サンプルをGOP単位で設定することにより、これら同期サンプルボックス(sync sample )は、省略される。
【0058】
なおオーディオトラックについては、ビデオトラックのようなデコード結果の並べ替えを要しないことにより、コンポジション時間サンプルボックス(composition time-to-sample)が省略され、また固定レートによりデータ圧縮されていること等により、記録の進行によるサンプル数の増大によりデータ量が増大するものの、その増大の程度はビデオトラックに比して小さいものとなる。
【0059】
これらによりサンプルテーブルボックスにおいては、最小管理単位であるサンプルの管理情報が属性毎にボックス化され、これらのボックスにおいて、サンプルサイズボックス(sample size )、チャンクオフセットボックス(chunk offset)、同期サンプルボックス(sync sample )、コンポジション時間サンプルボックス(composition time-to-sample)に、記録の進行による実データのデータ量に応じてデータ量が増大する管理情報が割り当てられるようになされている。また特に、サンプルサイズボックス(sample size )、同期サンプルボックス(sync sample )、コンポジション時間サンプルボックス(composition time-to-sample)においては、記録の進行による最小管理単位であるサンプル数に応じてデータ量が増大する管理単位による管理情報が割り当てられるようになされている。これに対してサンプルディスクリプションボックス(sample description)、時間サンプルボックス(time-to-sample)、サンプルチャンクボックス(sample-to-chunk )には、サンプルテーブルボックスの他のボックスと同様に、実データの処理に必要な管理情報が割り当てられ、管理情報を構成するパラメータが変更される毎に、エントリにより変更後の管理情報が設けられるようになされている。
【0060】
これに対してメディアデータボックスは、QTファイルの実データであるビデオデータ及びオーディオデータのエレメンタリストリームが、それぞれサンプルの集合としてチャンク(chunk )に割り当てられ、ビデオデータのエレメンタリストリームによるチャンク、オーディオデータのエレメンタリストリームによるチャンクが交互に設けられるようになされている。
【0061】
この実施の形態では、オーディオ符号器12、ビデオ符号器11により、これらオーディオデータ及びビデオデータのエレメンタリストリームに、MPEG1 Audio Layer 2の圧縮符号化方式によって符号化したオーディオデータ、MPEG2 Video の圧縮符号化方式によって符号化したビデオデータを適用するようになされている。なおQTファイルにおいては、例えばMotion JPEG、Motion JPEG2000、MPEG4、AVC等の各種のビデオデータ、Dolby AC3、ATRAC(Adaptive Transform Acoustic Coding)等の各種のオーディオデータをこれらオーディオデータ及びビデオデータに適用することも可能であり、さらには何ら圧縮符号化処理していないリニアデータを適用することも可能である。
【0062】
図11は、このようなメディアデータボックスとムービーボックスによるQTファイルのデータDQについて、フレームレートが30〔フレーム/秒〕のビデオデータを例に取って、ビデオ符号器11から出力されるビデオデータのエレメンタリストリームDVとの対比により、フレーム、サンプル、チャンクの関係を示すタイムチャートである。QTファイルにおいては、上述したように最小の管理単位がサンプルに設定され、このサンプルの集合によりチャンクが作成されることにより、1GOP(15ビデオフレーム)を1サンプルに設定し、2サンプルを1チャンクに設定した場合(図11(A)及び(B))、1秒間に1チャンクが設定されて順次ビデオデータのエレメンタリストリームDVによる実データが管理されることになる。なおこの図11において、SHは、エレメンタリストリームDVにおけるシーケンスヘッダである。これによりQTファイルにおいては、直接、サンプル単位でアクセスして実データをデコードできるようになされている。なおこのような設定において、GOPは、GOP内で予測フレームが設定されるいわゆるクローズドGOPを適用することが望ましい。
【0063】
これに対して図12は、サンプリング周波数48〔kHz〕、2チャンネルのオーディオデータを例に取って、オーディオ符号器12から出力されるオーディオデータのエレメンタリストリームDAとの対比により、フレーム、サンプル、チャンクの関係を示すタイムチャートである。この場合、オーディオ符号器12から出力されるオーディオデータDAにおいては(図12(A))、1152サンプル×2チャンネルにより復号単位であるオーディオデコードユニットが設定される。このようなオーディオデータに対して、オーディオデコードユニットを1サンプルに設定し、図11に示したビデオデータにおけるチャンクの設定に対応して1チャンクを1秒に設定すると、単純な割り算では1チャンク当たりのサンプル数が41.66……サンプルとなる。これによりこの場合、連続する3つのチャンクにそれぞれ41サンプル、42サンプル、42サンプルを割り当て、ファイル生成器15においては3チャンクを単位にしてビデオデータとオーディオデータとを多重化処理する(図12(B))。これによりQTファイルにおいては、オーディオデータにおいても、直接、サンプル単位でアクセスして実データをデコードできるようになされている。
【0064】
図13及び図14は、このようなビデオデータ及びオーディオデータについて、インターリーブとチャンク等の関係を示すタイムチャートである。この図13に示す例では、フレーム周期t0によるフレームレートのビデオ信号DV1がビデオ符号器11に入力され、このビデオ信号DV1を符号化処理してなるビデオデータDVの1GOPを1サンプルに設定した場合である。またこの1GOPによるサンプルに対して、4サンプルを1チャンクに割り当て、チャンク単位でオーディオデータとインターリーブ処理した場合である。なお上述したチャンクオフセットボックス(chunk offset)により、各チャンクの先頭が検出されることになる。
【0065】
これに対して図14に示すように、オーディオ信号DA1については、1つのオーディオデコードユニットを1つのサンプルに割り当て、このビデオデータにおけるインターリーブの単位に対応するように、複数サンプルにより1チャンクを構成してビデオデータをインターリーブ処理するようになされている。
【0066】
なお図15〜図17は、このように設定されるチャンクの光ディスク2上のレイアウトの説明に供する略線図である。何らファイルが記録されていない光ディスク2にこのような構成に係るQTファイルを記録する場合、始めに連続した領域にメディアデータボックスのデータが順次記録され、メディアデータボックスの記録を終了すると、対応するムービーボックスのデータが連続した領域に順次記録され、これらによりQTファイルは、連続した領域にあたかも一筆書きのように記録される。
【0067】
これに対して光ディスク2へのファイルの記録、削除を繰り返すと、光ディスク2においては、フラグメントが進み、連続した領域へのQTファイルの記録が困難になる。図15〜図17は、このような場合におけるQTファイルのレイアウトを示すものであり、図15は、1つのトラック構造によるQTファイルを例に取って少なくともチャンク単位で連続した領域にQTファイルを記録してアクセス性を向上させるものである。また図16及び図17は、オーディオ及びビデオデータのトラック構造によるQTファイルを例にとって、少なくとも対応するオーディオ及びビデオデータのチャンクを単位にして連続した領域にQTファイルを記録してアクセス性を向上させるものである。
【0068】
(1−1−3)QTファイルの処理
これらによりこのビデオディスク装置1において、ファイル生成器15は、実データであるビデオデータ及びオーディオデータによるエレメンタリストリームDV、DAに、最小管理単位であるサンプル、サンプルの上位の管理単位であるチャンクを順次設定し、エレメンタリストリームDV、DAを多重化して記録手段により記録しながら、この実データの記録に対応して管理情報を順次取得してメモリ15Aに保持し、実データの記録の終了により、メモリ15Aに保持した管理情報により管理情報のボックスであるムービーボックスのデータを記録手段に出力するようになされ、これらの処理に係るデータ処理手段を構成するようになされている。
【0069】
ファイル生成器15は、このような管理単位の設定等をシステム制御マイコン19の制御により実行するようになされている。すなわちファイル生成器15は、システム制御マイコン19の指示により、ビデオデータに対して1サンプルの長さを設定し、また1チャンクを構成するサンプル数等を設定する。またファイル生成器15において、このビデオデータに対する1サンプル、1チャンクの設定に対応して図11〜図17について上述したようにオーディオデータに対して1サンプルの長さを設定し、また1チャンクを構成するサンプル数等を設定する。
【0070】
これらのファイル生成器15の処理に対応して、システム制御マイコン19は、ユーザーによるトリガスイッチの操作に応動して撮像結果の記録開始、終了をファイル生成器15を含む各回路ブロックに指示し、この実施の形態ではこの指示による記録の開始から終了までが1つのQTファイルとして光ディスク2に記録されるようになされている。なおこの場合に、繰り返しのトリガスイッチの操作による撮像結果を繋ぎ撮りにより光ディスク2に記録し、電源を立ち上げた後、立ち下げるまでの記録を1つのQTファイルとしてもよい。
【0071】
これによりビデオディスク装置1では、ファイル生成器15で順次ビデオデータ及びオーディオデータのエレメンタリストリームを処理してメディアデータボックスが光ディスク2に記録されると共に、ムービーボックスの構築に必要なデータがメモリ15Aに順次蓄積され、システム制御マイコン19からの制御によりメディアデータボックスの記録を終了すると、メモリ15Aに蓄積されたデータによりムービーボックスを光ディスク2に記録し、これらにより1つのQTファイルを光ディスク2に記録するようになされている。
【0072】
システム制御マイコン19は、このようにして撮像結果の記録開始を指示する際に、ファイル生成器15に対して1サンプルの長さを1GOPに設定するように指示する。また記録を開始すると、ファイル生成器15に保持されたメモリ15Aの空き容量Mを監視して図1、図18の処理手順を実行し、記録の進行により1サンプルの長さをGOPを単位にして順次段階的に増大させる。これによりこの実施の形態では、長時間記録する場合でも、メモリ15Aにおいて容量が不足しないようにして、少ない容量のメモリを用いる場合でもQTファイルを長時間記録することができるようになされている。
【0073】
すなわちシステム制御マイコン19は、ユーザーによる記録開始の指示により、ステップSP1からステップSP2に移り、1サンプルの長さを1GOPに設定するようにファイル生成器15に指示した後、各回路ブロックに記録の開始を指示し、これによりメディアデータボックスの記録を開始する。これによりシステム制御マイコン19は、ステップSP3において、1サンプルを1GOPに設定してメディアボックスを光ディスク2に記録しながら、ムービーボックスに必要な管理情報をメモリ15Aに順次蓄積する。
【0074】
システム制御マイコン19は、このようにして記録を開始すると、続くステップSP4において、ユーザーによるトリガ操作子の操作により記録の終了が指示されたか否か判断し、ここで否定結果が得られると、ステップSP5に移り、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/2以下となったか否か判断する。ここで否定結果が得られると、システム制御マイコン19は、ステップSP3に戻る。これによりシステム制御マイコン19は、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/2以下となるまでの間、ステップSP3−ステップSP4−ステップSP5−ステップSP3の処理手順を繰り返し、1サンプルを1GOPに設定して撮像結果を光ディスク2に記録する。また途中で、ユーザーによるトリガスイッチの操作によりステップSP4で肯定結果が得られると、ステップSP4からステップSP6に移り、ファイル生成器15等に記録の終了を指示し、これによりメディアデータボックスの記録を完結した後、メモリ15Aに格納した管理情報よりムービーボックスを生成して光ディスク2に記録する。またこのムービーボックスの記録を完了すると、ステップSP7に移ってこの処理手順を終了する。
【0075】
これによりこのビデオディスク装置1では、比較的短い時間によるファイルについては、1サンプルを1GOPに設定して、光ディスク2に記録し、編集処理等における使い勝手の劣化を有効に回避するようになされている。
【0076】
これに対してこのようにして1サンプルを1GOPに設定してメディアデータボックスを記録して、記録の進行によりメモリ15Aの空き容量Mがこのメモリ15Aの容量の1/2以下となると、ステップSP5で肯定結果が得られることにより、システム制御マイコン19は、ステップSP5からステップSP8に移る。ここでシステム制御マイコン19は、ファイル生成器15に対して、1サンプルを2GOPに設定するように指示し、これにより1サンプルの長さを増大させる。
【0077】
続いてシステム制御マイコン19は、ステップSP9に移り、ユーザーによるトリガ操作子の操作により記録の終了が指示されたか否か判断し、ここで否定結果が得られると、ステップSP10に移り、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/4以下となったか否か判断する。ここで否定結果が得られると、システム制御マイコン19は、ステップSP8に戻る。これによりシステム制御マイコン19は、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/2〜1/4の範囲で、ステップSP8−ステップSP9−ステップSP10−ステップSP8の処理手順を繰り返し、1サンプルを2GOPに設定して撮像結果を光ディスク2に記録する。また途中で、ユーザーによるトリガスイッチの操作によりステップSP9で肯定結果が得られると、ステップSP9からステップSP6に移り、メディアデータボックスの記録を完結した後、ムービーボックスを生成して光ディスク2に記録し、ムービーボックスの記録を完了すると、ステップSP7に移ってこの処理手順を終了する。
【0078】
これによりこのビデオディスク装置1では、1サンプルを1GOPに設定して、光ディスク2への記録を開始した後、一定時間以上記録時間が長くなり、メモリ15Aの容量が残り少なくなると、1サンプルを2GOPに設定して撮像結果を記録するようになされ、1サンプルの長さが長くなることによる編集処理等における使い勝手の劣化を極力回避するようになされている。
【0079】
これに対してこのようにして1サンプルを2GOPに設定してメディアデータボックスを記録して、記録の進行によりメモリ15Aの空き容量Mがこのメモリ15Aの容量の1/4以下となると、ステップSP10で肯定結果が得られることにより、システム制御マイコン19は、ステップSP10からステップSP11に移る。ここでシステム制御マイコン19は、ファイル生成器15に対して、1サンプルを3GOPに設定するように指示し、これにより1サンプルの長さをさらに増大させる。
【0080】
続いてシステム制御マイコン19は、ステップSP12に移り、ユーザーより記録の終了が指示されたか否か判断し、ここで否定結果が得られると、ステップSP13に移り、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/8以下となったか否か判断する。ここで否定結果が得られると、システム制御マイコン19は、ステップSP11に戻る。これによりシステム制御マイコン19は、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/4〜1/8の範囲で、ステップSP11−ステップSP12−ステップSP13−ステップSP11の処理手順を繰り返し、1サンプルを3GOPに設定して撮像結果を光ディスク2に記録する。また途中で、ユーザーによるトリガスイッチの操作によりステップSP12で肯定結果が得られると、ステップSP12からステップSP6に移る。
【0081】
これによりこのビデオディスク装置1では、1サンプルを1GOPに設定して、光ディスク2への記録を開始した後、一定時間以上記録時間が長くなり、メモリ15Aの容量が残り少なくなると、1サンプルを2GOPに設定して撮像結果を記録し、さらに記録が進行してメモリ15Aの空き容量がさらに残り少なくなると、1サンプルを3GOPに設定して撮像結果を記録するようになされ、1サンプルの長さが長くなることによる編集処理等における使い勝手の劣化を極力回避するようになされている。
【0082】
これに対してこのようにして1サンプルを3GOPに設定して、記録の進行によりメモリ15Aの空き容量Mがこのメモリ15Aの容量の1/8以下となると、ステップSP13で肯定結果が得られることにより、システム制御マイコン19は、ステップSP13からステップSP14に移る。ここでシステム制御マイコン19は、ファイル生成器15に対して、1サンプルを4GOPに設定するように指示し、これにより1サンプルの長さをさらに増大させる。
【0083】
続いてシステム制御マイコン19は、ステップSP15に移り、ユーザーより記録の終了が指示されたか否か判断し、ここで否定結果が得られると、ステップSP16に移り、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/16以下となったか否か判断する。ここで否定結果が得られると、システム制御マイコン19は、ステップSP14に戻る。これによりシステム制御マイコン19は、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/8〜1/16の範囲では、1サンプルを4GOPに設定して撮像結果を光ディスク2に記録する。また途中で、ユーザーによるトリガスイッチの操作によりステップSP15で肯定結果が得られると、ステップSP15からステップSP6に移る。
【0084】
これによりこのビデオディスク装置1では、1サンプルを3GOPに設定して、さらに記録が進行してメモリ15Aの空き容量が残り少なくなると、1サンプルを4GOPに設定して撮像結果を記録するようになされている。
【0085】
またこのようにして1サンプルを4GOPに設定して、記録の進行によりメモリ15Aの空き容量Mがこのメモリ15Aの容量の1/16以下となると、ステップSP16で肯定結果が得られることにより、システム制御マイコン19は、ステップSP16からステップSP17に移り、ファイル生成器15に対して、1サンプルを5GOPに設定するように指示する。
【0086】
続いてシステム制御マイコン19は、ステップSP18に移り、ユーザーより記録の終了が指示されたか否か判断し、ここで否定結果が得られると、ステップSP19に移り、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/32以下となったか否か判断する。ここで否定結果が得られると、システム制御マイコン19は、ステップSP17に戻る。これによりシステム制御マイコン19は、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/16〜1/32の範囲では、1サンプルを5GOPに設定して撮像結果を光ディスク2に記録する。また途中で、ユーザーによるトリガの操作によりステップSP18で肯定結果が得られると、ステップSP18からステップSP6に移る。
【0087】
これによりこのビデオディスク装置1では、1サンプルを4GOPに設定して、さらに記録が進行してメモリ15Aの空き容量が残り少なくなると、1サンプルを5GOPに設定して撮像結果を記録するようになされている。
【0088】
またこのようにして1サンプルを5GOPに設定して、記録の進行によりメモリ15Aの空き容量Mがこのメモリ15Aの容量の1/32以下となると、ステップSP19で肯定結果が得られることにより、システム制御マイコン19は、ステップSP19からステップSP20に移り、ファイル生成器15に対して、1サンプルを6GOPに設定するように指示する。
【0089】
続いてシステム制御マイコン19は、ステップSP21に移り、ユーザーより記録の終了が指示されたか否か判断し、ここで否定結果が得られると、ステップSP22に移り、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1〔KByte〕以下となったか否か判断する。ここで否定結果が得られると、システム制御マイコン19は、ステップSP22に戻る。これによりシステム制御マイコン19は、メモリ15Aの空き容量Mがこのメモリ15Aの容量の1/32〜1〔KByte〕の範囲では、1サンプルを6GOPに設定して撮像結果を光ディスク2に記録する。また途中で、ユーザーによるトリガスイッチの操作によりステップSP21で肯定結果が得られると、ステップSP21からステップSP6に移る。これに対してメモリ15Aの空き容量が1〔KByte〕以下となると、ステップSP22で肯定結果が得られることにより、ステップSP22からステップSP6に移り、撮像結果の記録を強制的に終了する。
【0090】
これらによりシステム制御マイコン19は、メモリ15Aの空き容量により記録の進行を監視し、記録の進行により順次段階的に1サンプルの長さを増大させてメモリ15Aのオーバーフローを有効に回避するようになされ、このオーバーフローの回避によりQTファイルを長時間記録するようになされている。なお最終的にメモリ15Aの空き容量が1〔KByte〕以下となった時点で記録を強制的に終了するのは、ムービーボックスの処理に余裕を持たせるためである。
【0091】
図19は、このシステム制御マイコン19におけるサンプルの設定と、記録時間との関係を示す特性曲線図である。これによりビデオディスク装置1では、管理情報を保持するメモリ15Aにおいて、記録の進行によりメモリ容量が少なくなってくると、その分、管理情報の増大速度を小さくして空き容量の減少する速度を小さくすることができ、これによりこのメモリ15Aにおける管理情報のオーバーフローを防止することができる。これにより少ない容量のメモリを用いる場合でもQTフォーマットによるファイル等を長時間記録することができる。またこのようにして作成される管理情報のボックスにおいては、当初、管理単位が十分な長さに設定されて、メモリ容量の減少により管理単位が長くなることにより、例えば、記録時間の短いファイルについては、管理単位を当初の設定のままに保持することができる。また記録時間が長くなると、その分、末尾側で順次管理単位の長さが長くなることになる。これにより管理単位の長さに増大による編集作業等における使い勝手の劣化を極力回避することができる。
【0092】
なおこのようなメモリ15Aの空き容量の判定基準においては、図19との対比により図20に示すように、例えば比較的短いシーンの記録が繰り返される場合等の、予測される機器の使用形態に応じて種々に設定することができる。因みに、図20の例は、メモリ15Aの空き容量Mの判定基準をそれぞれ3/4、7/8、15/16、31/32、63/64に設定した場合である。
【0093】
なおこのように段階的に1サンプルの長さを増大させると、何ら1チャンクのサンプル数を変更しない場合、相対的に1チャンクの長さが長くなる。これによりチャンクの数を基準にしてビデオデータ及びオーディオデータをインターリーブして多重化すると、1サンプルの長さが増大した分、インターリーブ周期が長くなり、ビデオデータ、オーディオデータの連続した再生が困難になる恐れがある。
【0094】
これにより、1サンプルの長さを増大させても一定値以上1チャンクの長さが変化しないように、1チャンクを構成するサンプル数を所定範囲で併せて補正して、オーディオデータ、ビデオデータの連続した再生を確実なものとするようにしてもよい。
【0095】
(1−2)第1の実施の形態の動作
以上の構成において、このビデオディスク装置1では、撮像手段で取得されるビデオ信号DV1がビデオ符号器11によりデータ圧縮されて可変レートによりファイル生成器15に入力され、またマイク等で取得されるオーディオ信号DA1がオーディオ符号器12によりデータ圧縮されてファイル生成器15に入力され、ここでQTファイルに変換されて続く一連の構成により光ディスク2に記録される。
【0096】
このファイル生成器15における処理において、ビデオデータ及びオーディオデータは、最小管理単位であるサンプルが設定され、このサンプルの集合によるチャンクにまとめられ、チャンク毎にインターリーブされてメディアデータボックスのデータとして出力され、光ディスク2に記録される。ビデオデータ及びオーディオデータは、このようにして順次処理されながら、各サンプル、各チャンクの再生に必要な情報が取得されて管理情報としてメモリ15Aに蓄積され、実データであるメディアデータボックスの記録が完了すると、このメモリ15Aに記録された管理情報によるムービーボックスのデータが記録手段に出力され、メディアデータボックスに対応するムービーボックスが光ディスク2に記録される。ビデオデータ及びオーディオデータは、これによりQTファイルとして光ディスク2に記録されることになる。
【0097】
このようにして記録されるQTファイルにおいては、実データに順次設定した管理単位による管理情報を、実データの他の管理情報と共に階層構造によりボックス化してムービーボックスが形成され、この管理単位による情報により、再生に必要な情報が把握される。すなわち管理情報単位の記録位置に関しては、チャンクオフセットボックスに設けられた各エントリにより先頭位置が検出される。また各サンプルについては、このチャンクオフセットボックスの記録と、サンプルサイズボックスに設けられら各サンプルのデータ量とにより、ファイル先頭、チャンク先頭を順次辿って検出される。
【0098】
これによりQTファイルでは、チャンクオフセットボックス、サンプルサイズボックスにおけるエントリがチャンク毎、サンプル毎に設けられ、これらチャンクオフセットボックス、サンプルサイズボックスのデータ量が記録の進行により徐々に増大し、何ら対応策を講じない場合には、ファイル生成器15におけるメモリ15Aの記録が破綻してしまうことになる。またコンポジション時間サンプルボックス(composition time-to-sample)においても、同様に記録の進行によりデータ量が増大することになる。
【0099】
このためこの実施の形態においては、システム制御マイコン19によるファイル生成器15の制御により、記録の進行によりサンプルの長さが順次段階的に増大される。これによりビデオディスク装置1では、1サンプルの長さを増大させた分、チャンク、サンプルの設定速度を低下させることができ、チャンクオフセットボックス、サンプルサイズボックスについて、データ量の増大速度を低下させることができる。これらによりビデオディスク装置1では、管理情報を保持するメモリ15Aにおいて、記録の進行によりメモリ容量が少なくなってくると、その分、管理情報の増大速度を小さくして空き容量の減少する速度を小さくすることができ、これによりこのメモリ15Aにおける破綻を防止して、メディアデータの記録を完了した後に、確実にムービーデータを記録することができる。これにより少ない容量のメモリを用いる場合でもQTフォーマットによるファイルを長時間記録することができる。
【0100】
またこのようにして作成されるムービーボックスにおいては、当初、管理単位であるサンプルが十分な長さに設定されて、メモリ容量の減少により管理単位が長くなることにより、例えば、記録時間の短いファイルについては、管理単位を当初の設定のままに保持することができる。また記録時間が長くなると、その分、末尾側で順次管理単位の長さが長くなることになる。これにより管理単位の長さの増大による編集作業等における使い勝手の劣化を極力回避することができる。
【0101】
なおこのようにしてサンプルの長さを変更した場合、サンプルテーブルボックスのサンプルディスクリプションボックス(sample description)、時間サンプルボックス(time-to-sample)、サンプルチャンクボックス(sample-to-chunk )では、却ってデータ量が増大する。しかしながらこれらのボックスにおけるデータ量の増大は、サンプル長の変更時点で、1つのエントリを登録することにより増大するものであり、チャンクオフセットボックス、サンプルサイズボックスにおけるデータ量の減少に比して、格段的に小さく、これにより無視することができる。
【0102】
しかしてこの実施の形態では、このように記録の進捗を監視して段階的にサンプルの長さを増大させてメモリ15Aにおける破綻を防止するようにして、この進捗の監視が、破綻防止対象であるメモリ15Aの空き容量の監視により実行される。これによりビデオディスク装置1では、編集作業等における使い勝手の劣化を極力回避して、簡易かつ確実に、少ない容量のメモリを用いる場合でもQTフォーマットによるファイル等を長時間記録することができる。
【0103】
またこのようにして記録する実データのビデオデータストリームが、GOPを単位したデータ圧縮に係るエレメンタリストリームであるのに対し、このエレメンタリストリームのGOPを単位にして段階的にサンプルの長さが増大するように設定され、これによりサンプルの長さを切り換えてなる何れの箇所においてQTファイルを再生する場合でも、サンプルテーブルボックスの記録により1サンプル単位でQTファイルを再生することができるようになされている。
【0104】
(1−3)第1の実施の形態の効果
以上の構成によれば、QTファイルのサンプルに対応する管理単位の長さを実データの記録の進行により順次段階的に増大させることにより、編集作業等における使い勝手の劣化を極力回避して、少ない容量のメモリを用いる場合でもQTフォーマットによるファイルを長時間記録することができる。
【0105】
また管理情報を保持するメモリの空き容量を監視して実データの記録の進捗を監視することにより、編集作業等における使い勝手の劣化を極力回避して、簡易かつ確実に、少ない容量のメモリを用いる場合でもQTフォーマットによるファイル等を長時間記録することができる。
【0106】
またGOPを単位とした符号化処理に係るビデオデータを処理するにつき、管理単位の長さを、このビデオデータのGOPを単位にして順次段階的に増大させることにより、何れの箇所を再生する場合でも、サンプルテーブルボックスの記録により1サンプル単位でQTファイルを再生することができ、QTファイルにおけるランダムアクセス性の低下を有効に回避することができる。
【0107】
(2)第2の実施の形態
この実施の形態においては、ビデオデータのデータ圧縮処理に、1フレーム単位でデータ圧縮処理が完結する圧縮符号化方式であるJPEG、Motion JPEG、Motion JPEG2000等を適用する。またこれに対応して図18〜図20においてGOPの数を記述した箇所に括弧書きにより示すように、フレームを単位にしてサンプル長を順次段階的に増大させる。なおこの実施の形態においては、これらの処理に関連する構成が異なる点を除いて、第1の実施の形態と同一に構成される。
【0108】
この実施の形態のように、1フレーム単位でデータ圧縮処理が完結する圧縮符号化方式によりビデオデータをデータ圧縮した場合でも、第1の実施の形態と同様の効果を得ることができる。
【0109】
またこの場合、フレームを単位にしてサンプル長を順次段階的に増大させて、QTファイルにおけるランダムアクセス性の低下を有効に回避することができる。
【0110】
(3)第3の実施の形態
この実施の形態においては、図2において破線により示すように、バッテリ残量検出回路40によりバッテリの残量を検出し、この検出結果によりサンプルの長さを切り換える特性を変更する。なおこの実施の形態においては、このバッテリ残量の検出結果に係るシステム制御マイコン19の構成が異なる点を除いて、第1又は第2の実施の形態と同一に構成される。
【0111】
すなわちメモリ15Aの空き容量が十分に残っている場合、光ディスク2に十分な空き容量が残っている場合であっても、バッテリの残量が少ない場合、このバッテリの残量により記録時間が制限され、結局、QTファイルの記録を完了しなければならなくなる。この場合、例えば図19に破線により示すように、バッテリにより制限される記録可能時間Tが短い場合にあっては、当初の設定により1サンプルを1GOPに設定したままでも、QTファイルの記録を完了できることになる。
【0112】
またこのように当初の設定により1サンプルを1GOPに設定したままではメモリ15Aが破綻するものの、1サンプルの長さを2GOPに切り換えたままで、QTファイルの記録を完了できる場合もある。
【0113】
これによりこの実施の形態においては、バッテリの残量による記録可能時間により、メモリ15Aの空き容量を判定する判定基準を切り換え、1サンプルの長さを増大させる特性を、バッテリの残量に応じて適応的に変化させる。またシステム制御マイコン19において、バッテリの残量検出結果より、バッテリが尽きかける直前で、強制的に撮像結果の記録を終了する。
【0114】
この実施の形態のように、バッテリの残量による記録可能時間により、メモリの空き容量を判定する判定基準を切り換え、1サンプルの長さを増大させる特性を適応的に変化させるようにすれば、第1及び第2の実施の形態に比して使い勝手を向上して、第1及び第2の実施の形態と同様の効果を得ることができる。
【0115】
(4)第4の実施の形態
この実施の形態においては、記録媒体の空き容量に応じてサンプルの長さを切り換える特性を変更する。なおこの実施の形態においては、この空き容量の処理に係るシステム制御マイコン19の構成が異なる点を除いて、第1、第2又は第3の実施の形態と同一に構成される。
【0116】
すなわちメモリ15Aの空き容量が十分に残っている場合、バッテリが十分な場合でも、光ディスク2の空き容量が少ない場合、光ディスク2の空き容量により記録時間が制限され、結局、QTファイルの記録を完了しなければならなくなる。
【0117】
この場合も、第3の実施の形態について上述したバッテリの残量により記録可能時間が制限される場合と同様に、当初の設定により1サンプルを1GOPに設定したままでも、QTファイルの記録を完了できる場合、さらには1サンプルを1GOPに設定したままではメモリ15Aが破綻するものの、1サンプルの長さを2GOPに切り換えたままで、QTファイルの記録を完了できる場合が発生する。
【0118】
これによりこの実施の形態においては、記録媒体である光ディスク2の空き容量により、メモリ15Aの空き容量を判定する判定基準を切り換え、1サンプルの長さを増大させる特性を、記録媒体の空き容量に応じて適応的に変化させる。またシステム制御マイコン19において、光ディスク2の空き容量、メモリ15Aに記録した管理情報のデータ量を監視し、ムービーボックスの分まで光ディスク2の空き容量が少なくなると、強制的にメディアデータボックスの記録を終了してムービーボックスを記録する。
【0119】
この実施の形態のように、記録媒体の空き容量により1サンプルの長さを増大させる特性を適応的に変化させるようにすれば、第1〜第3の実施の形態に比して使い勝手を向上して、第1及び第2の実施の形態と同様の効果を得ることができる。
【0120】
(4)他の実施の形態
なお上述の実施の形態においては、ビデオデータにおけるサンプルの変更に伴ってオーディオデータのサンプルを変更する場合について述べたが、本発明はこれに限らず、オーディオデータについては、チャンクを構成するサンプル数の変更により、ビデオデータにおけるサンプルの変更に対応するようにしてもよい。
【0121】
また上述の実施の形態においては、記録の進捗をメモリの空き容量により監視する場合について述べたが、本発明はこれに限らず、記録時間、記録媒体のデータ量の変化等、種々の監視基準による監視方法を広く適用することができる。
【0122】
また上述の実施の形態においては、MPEG1 Audio Layer 2の圧縮符号化方式によって符号化したオーディオデータ、MPEG2 Video 、Motion JPEG、Motion JPEG2000の圧縮符号化方式によって符号化したビデオデータを光ディスク2に記録する場合について述べたが、本発明はこれに限らず、QTファイルに適用可能なオーディオデータ、ビデオデータの記録に広く適用することができる。
【0123】
また上述の実施の形態においては、本発明をビデオディスク装置に適用してQTファイルを記録する場合について述べたが、本発明はこれに限らず、ISOBase Madiaファイルフォーマット(MPEG4−part12)、 Motion JPEG2000(MJ2)ファイルフォーマット、AVC(Advance Video Coding:MPEG4−part10)ファイルフォーマット等、QTファイルと同様に、管理単位による管理情報を他の管理情報とまとめて階層構造によりボックス化してなるファイルの記録に広く適用することができる。
【0124】
また上述の実施の形態においては、本発明をビデオディスク装置に適用して光ディスクにファイルを記録する場合について述べたが、本発明はこれに限らず、磁気ディスク、メモリカード等、種々の記録媒体に記録する場合にも広く適用することができる。
【0125】
また上述の実施の形態においては、本発明をビデオディスク装置に適用した場合について述べたが、本発明はこれに限らず、撮像機能を有する携帯電話、PDA(Personal Digital Assisiants )、さらには有線、無線により得られる撮像結果を記録するサーバー等、要はビデオデータを記録する各種記録装置に広く適用することができる。
【0126】
【発明の効果】
上述のように本発明によれば、QTファイルのサンプルに対応する管理単位の長さを実データの記録の進行により順次段階的に増大させることにより、編集作業等における使い勝手の劣化を極力回避して、少ない容量のメモリを用いる場合でもQTフォーマットによるファイル等を長時間記録することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係るビデオディスク装置におけるシステム制御マイコンの処理手順を示すフローチャートである。
【図2】本発明の第1の実施の形態に係るビデオディスク装置を示すブロック図である。
【図3】QTファイルの説明に供する略線図である。
【図4】QTファイルのボックス構造を示す略線図である。
【図5】QTファイルのボックス構造を示す図表である。
【図6】図5の続きを示す図表である。
【図7】サンプルディスクリプションボックスを示す図表である。
【図8】時間サンプルボックスを示す図表である。
【図9】サンプルサイズボックスを示す図表である。
【図10】サンプルチャンクボックスを示す図表である。
【図11】ビデオデータとQTファイルとの関係を示すタイムチャートである。
【図12】オーディオデータとQTファイルとの関係を示すタイムチャートである。
【図13】1サンプルを4GOPに設定した場合について、ビデオデータとQTファイルとの関係を示すタイムチャートである。
【図14】チャンクオフセットとの関連によりオーディオデータとQTファイルとの関係を示すタイムチャートである。
【図15】光ディスク上におけるQTファイルのレイアウトを示す略線図である。
【図16】ビデオデータ及びオーディオデータのチャンクを対にして配置する場合について、光ディスク上におけるQTファイルのレイアウトを示す略線図である。
【図17】図16の他の例を示す略線図である。
【図18】図1の続きを示すフローチャートである。
【図19】図1及び図18の処理手順によるサンプルの切り換えを示す特性曲線図である。
【図20】図19の他の例を示す特性曲線図である。
【符号の説明】
1……ビデオディスク装置、2……光ディスク、11……ビデオ符号器、12……オーディオ符号器、15……ファイル生成器、15A、17、20……メモリ、19……システム制御マイコン、40……バッテリ残量検出回路

Claims (5)

  1. 順次入力される実データを所定フォーマットのファイルにより記録媒体に記録するファイル記録装置において、
    前記ファイルは、
    前記実データを管理する管理情報がまとめられて管理情報のボックスが形成され、
    前記管理情報のボックスは、
    前記実データに順次設定した管理単位であるサンプルによる管理情報を、前記実データの他の管理情報と共に階層構造によりボックス化して形成され、
    前記ファイル記録装置は、
    前記実データ及び前記管理情報のボックスのデータを前記記録媒体に記録する記録手段と、
    前記実データに前記管理単位を順次設定し、前記実データの記録に対応して前記管理情報を順次取得してメモリに保持し、前記実データの記録の終了により、前記メモリに保持した管理情報により前記管理情報のボックスのデータを前記記録手段に出力するデータ処理手段と、
    前記メモリの空き容量を監視して前記実データの記録の進捗を監視する監視手段と、
    前記監視手段の監視結果に基づいた前記データ処理手段の制御により、前記実データの記録時間が長くなるに従って前記管理単位の長さを順次段階的に増大させる制御手段とを備える
    ァイル記録装置。
  2. 前記実データは、
    GOPを単位にしてデータ圧縮されたビデオデータであり、
    前記制御手段は、
    前記管理単位の長さを、前記ビデオデータのGOPを単位にして順次段階的に増大させ
    求項1に記載のファイル記録装置。
  3. 前記実データは、
    1フレーム単位でデータ圧縮処理が完結する方式によりデータ圧縮されたビデオデータであり、
    前記制御手段は、
    前記管理単位の長さを、前記ビデオデータのフレームを単位にして順次段階的に増大させ
    求項1に記載のファイル記録装置。
  4. 前記実データは、
    可変レートによるデータであり、
    前記管理単位による管理情報は、
    前記管理単位毎の、前記管理単位による前記実データのデータ量であ
    求項1に記載のファイル記録装置。
  5. 演算処理手段に所定の処理手順を実行させて、前記演算処理手段によって順次入力される実データを所定フォーマットのファイルにより記録媒体に記録するファイル記録方法において、
    前記ファイルは、
    前記実データを管理する管理情報がまとめられて管理情報のボックスが形成され、
    前記管理情報のボックスは、
    前記実データに順次設定した管理単位であるサンプルによる管理情報を、前記実データの他の管理情報と共に階層構造によりボックス化して形成され、
    前記処理手順は、
    前記実データ及び前記管理情報のボックスのデータを前記記録媒体に記録する記録ステップと、
    前記実データに前記管理単位を順次設定し、前記実データの記録に対応して前記管理情報を順次取得してメモリに保持し、前記実データの記録の終了により、前記メモリに保持した管理情報により前記管理情報のボックスのデータを前記記録ステップに出力するデータ処理ステップと、
    前記メモリの空き容量を監視して前記実データの記録の進捗を監視する監視ステップと、
    前記監視ステップの監視結果に基づいた前記データ処理ステップの制御により、前記実データの記録時間が長くなるに従って前記管理単位の長さを順次段階的に増大させる制御ステップとを有する
    ファイル記録方法。
JP2003133896A 2003-05-13 2003-05-13 ファイル記録装置及びファイル記録方法 Expired - Fee Related JP4292465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003133896A JP4292465B2 (ja) 2003-05-13 2003-05-13 ファイル記録装置及びファイル記録方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003133896A JP4292465B2 (ja) 2003-05-13 2003-05-13 ファイル記録装置及びファイル記録方法

Publications (2)

Publication Number Publication Date
JP2004343167A JP2004343167A (ja) 2004-12-02
JP4292465B2 true JP4292465B2 (ja) 2009-07-08

Family

ID=33524588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003133896A Expired - Fee Related JP4292465B2 (ja) 2003-05-13 2003-05-13 ファイル記録装置及びファイル記録方法

Country Status (1)

Country Link
JP (1) JP4292465B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4552802B2 (ja) * 2005-08-10 2010-09-29 ソニー株式会社 記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体
JP5268569B2 (ja) * 2007-12-21 2013-08-21 キヤノン株式会社 記録装置及び記録方法
JP5678807B2 (ja) * 2011-06-09 2015-03-04 富士通セミコンダクター株式会社 映像・音声データ処理装置およびデータ多重化方法

Also Published As

Publication number Publication date
JP2004343167A (ja) 2004-12-02

Similar Documents

Publication Publication Date Title
US7668437B1 (en) Recording apparatus, recording method, and record medium
JP4062230B2 (ja) ファイル記録再生装置、ファイル記録再生方法、ファイル記録再生方法のプログラム及びファイル記録再生方法のプログラムを記録した記録媒体
US8521003B2 (en) Recording apparatus and recording medium
US20050163487A1 (en) Recording apparatus, recording method, reproducing apparatus, reproducing method, and record medium
KR20070036754A (ko) 디지털 기록 장치
EP1569238A1 (en) Reproducing apparatus and reproducing method
EP1569237A2 (en) Reproducing apparatus and reproducing method
JP3858883B2 (ja) 記録装置及びその制御方法
JP4203812B2 (ja) ファイル記録装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生装置、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
KR100732867B1 (ko) 기록 장치 및 방법, 및 기록 매체
EP1569239A1 (en) Reproducing apparatus, reproducing method, driving apparatus and driving method
JP3835554B2 (ja) ファイル記録装置、ファイル再生装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
EP1569228A2 (en) Data processing apparatus, data processing method, reproducing apparatus, and reproducing method
JP4292465B2 (ja) ファイル記録装置及びファイル記録方法
JP4154811B2 (ja) 編集方法およびディジタル記録又は再生装置
JP4379513B2 (ja) 編集方法およびディジタル記録又は再生装置
JP4662547B2 (ja) ディジタル記録装置、ディジタル記録方法および記録媒体
JP2005311923A (ja) 編集装置、編集方法、編集方法のプログラム、編集方法のプログラムを記録した記録媒体
JP2000324447A (ja) ディスク状記録媒体、記録装置及び再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090312

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090325

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees