JP3891295B2 - 情報処理装置および方法、プログラム記録媒体、並びにプログラム - Google Patents

情報処理装置および方法、プログラム記録媒体、並びにプログラム Download PDF

Info

Publication number
JP3891295B2
JP3891295B2 JP2003272171A JP2003272171A JP3891295B2 JP 3891295 B2 JP3891295 B2 JP 3891295B2 JP 2003272171 A JP2003272171 A JP 2003272171A JP 2003272171 A JP2003272171 A JP 2003272171A JP 3891295 B2 JP3891295 B2 JP 3891295B2
Authority
JP
Japan
Prior art keywords
data
recording
header
file
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003272171A
Other languages
English (en)
Other versions
JP2005033630A (ja
JP2005033630A5 (ja
Inventor
賢次 兵頭
竜司 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003272171A priority Critical patent/JP3891295B2/ja
Priority to US10/885,037 priority patent/US20050025460A1/en
Publication of JP2005033630A publication Critical patent/JP2005033630A/ja
Publication of JP2005033630A5 publication Critical patent/JP2005033630A5/ja
Application granted granted Critical
Publication of JP3891295B2 publication Critical patent/JP3891295B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85403Content authoring by describing the content as an MPEG-21 Digital Item
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers

Description

本発明は、情報処理装置および方法、プログラム記録媒体、並びにプログラムに関し、特に、放送機器とパーソナルコンピュータとの間でファイルをリアルタイムに送信することができるようにした情報処理装置および方法、プログラム記録媒体、並びにプログラムに関する。
近年においては、通信プロトコルなどの標準化や、通信機器の低価格化などが進み、通信I/F(Interface)を標準で装備しているパーソナルコンピュータが一般的になってきている。
さらに、パーソナルコンピュータの他、例えば、AV(Audio Visual)サーバやVTR(Video Tape Recorder)などの業務用放送機器についても、通信I/Fが標準装備されているもの、あるいは装備可能なものが一般的になっており、そのような放送機器どうしの間では、ビデオデータやオーディオデータ(以下、適宜、両方まとめてAVデータと称する)のファイル交換が行われている。
ところで、従来においては、放送機器どうしの間で交換されるファイルのフォーマットとしては、一般に、例えば、機種ごとやメーカごとに、独自のフォーマットが採用されていたため、異なる機種やメーカの放送機器どうしの間では、ファイル交換を行うことが困難であった。そこで、ファイル交換のためのフォーマットとして、例えば、特許文献1に示されるように、MXF(Material eXchange Format)が提案され、現在標準化されつつある。
WO02/21845 A1
しかしながら、上述したMXFのファイルは、異なる機種やメーカの放送機器どうしの間で、ファイル交換を行うために提案されたフォーマットである。したがって、MXFのファイルは、パーソナルコンピュータなどの汎用のコンピュータでは認識することができない課題があった。すなわち、業務用放送機器とパーソナルコンピュータ間でのファイル交換ができない課題があった。
さらに、放送機器どうしの間においては、作業を効率よく行うために、被写体を撮像しながら、リアルタイムにMXFのファイルを送信する場合もある。しかしながら、この場合においても、MXFのファイルは、パーソナルコンピュータなどの汎用のコンピュータでは認識することができないため、業務用放送機器においては、被写体を撮像しながら、パーソナルコンピュータにリアルタイムでファイルを送信できない課題があった。
本発明はこのような状況に鑑みてなされたものであり、放送機器とパーソナルコンピュータとの間でファイルをリアルタイムに送信することができるようにするものである。
本発明の情報処理装置は、ファイルのリアルタイム送信のため、ボディが生成される前に、ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、ファイルを記録するため、ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成手段と、送信用ヘッダを、他の情報処理装置に送信するヘッダ送信手段と、データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断手段と、データ判断手段によりデータが所定の単位分、メモリに蓄積されたと判断された場合、所定の単位毎にボディを構成するデータを生成するボディ生成手段と、ヘッダ送信手段により送信用ヘッダが送信された後、ボディ生成手段によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを、他の情報処理装置に送信するボディ送信手段と、ボディ生成手段により生成されたボディを構成するデータのサイズを取得する取得手段と、取得手段により取得されたサイズに基づいて、ボディを構成するデータを読み出すためのテーブル情報であり、かつ、フッタの後に配置されるテーブル情報を生成するテーブル生成手段と、ボディ送信手段によりボディが送信された後、フッタとテーブル生成手段により生成されたテーブル情報を、他の情報処理装置に送信するフッタ送信手段とを備えることを特徴とする。
フォーマットは、MXF(Material exchange Format)であり、テーブル情報は、QT(Quick Time) (商標)により使用される情報であるようにすることができる。
データは、放送局で放送するための高品質のデータよりもデータ量の少ない低品質のデータであるようにすることができる。
送信用ヘッダには、所定の単位の単位長、単位長あたりのフレーム数、およびサンプル数からなる初期パラメータ情報、送信用ヘッダに対応し、所定の単位とは異なるサイズを有する先頭領域のサイズ、並びにダミーの記録長が含まれるようにすることができる。
ボディ生成手段によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを記録媒体に記録するボディ記録手段と、ボディ記録手段により記録媒体に記録されたボディの後に、フッタとテーブル情報を記録するフッタ記録手段と、ボディ記録手段により記録媒体に記録されたボディの前に、記録用ヘッダを記録するヘッダ記録手段とをさらに備えることを特徴とするようにすることができる。
本発明の情報処理方法は、ファイルのリアルタイム送信のため、ボディが生成される前に、ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、ファイルを記録するため、ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成ステップと、送信用ヘッダを、他の情報処理装置に送信するヘッダ送信ステップと、データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断ステップと、データ判断ステップの処理によりデータが所定の単位分、メモリに蓄積されたと判断された場合、所定の単位毎にボディを構成するデータを生成するボディ生成ステップと、ヘッダ送信ステップの処理により送信用ヘッダが送信された後、ボディ生成ステップの処理によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを、他の情報処理装置に送信するボディ送信ステップと、ボディ生成ステップの処理により生成されたボディを構成するデータのサイズを取得する取得ステップと、取得ステップの処理により取得されたサイズに基づいて、ボディを構成するデータを読み出すためのテーブル情報であり、かつ、フッタの後に配置されるテーブル情報を生成するテーブル生成ステップと、ボディ送信ステップの処理によりボディが送信された後、フッタとテーブル生成ステップの処理により生成されたテーブル情報を、他の情報処理装置に送信するフッタ送信ステップとを含むことを特徴とする。
フォーマットは、MXF(Material exchange Format)であり、テーブル情報は、QT(Quick Time) (商標)により使用される情報であるようにすることができる。
データは、放送局で放送するための高品質のデータよりもデータ量の少ない低品質のデータであるようにすることができる。
送信用ヘッダには、所定の単位の単位長、単位長あたりのフレーム数、およびサンプル数からなる初期パラメータ情報、送信用ヘッダに対応し、所定の単位とは異なるサイズを有する先頭領域のサイズ、並びにダミーの記録長が含まれるようにすることができる。
ボディ生成ステップの処理によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを記録媒体に記録するボディ記録ステップと、ボディ記録ステップの処理により記録媒体に記録されたボディの後に、フッタとテーブル情報を記録するフッタ記録ステップと、ボディ記録ステップの処理により記録媒体に記録されたボディの前に、記録用ヘッダを記録するヘッダ記録ステップとをさらに含むようにすることができる。
本発明のプログラム記録媒体に記録されるプログラムは、ファイルのリアルタイム送信のため、ボディが生成される前に、ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、ファイルを記録するため、ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成ステップと、送信用ヘッダを、情報処理装置に送信するヘッダ送信ステップと、データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断ステップと、データ判断ステップの処理によりデータが所定の単位分、メモリに蓄積されたと判断された場合、所定の単位毎にボディを構成するデータを生成するボディ生成ステップと、ヘッダ送信ステップの処理により送信用ヘッダが送信された後、ボディ生成ステップの処理によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを、情報処理装置に送信するボディ送信ステップと、ボディ生成ステップの処理により生成されたボディを構成するデータのサイズを取得する取得ステップと、取得ステップの処理により取得されたサイズに基づいて、ボディを構成するデータを読み出すためのテーブル情報であり、かつ、フッタの後に配置されるテーブル情報を生成するテーブル生成ステップと、ボディ送信ステップの処理によりボディが送信された後、フッタとテーブル生成ステップの処理により生成されたテーブル情報を、情報処理装置に送信するフッタ送信ステップとを含むことを特徴とする。
フォーマットは、MXF(Material exchange Format)であり、テーブル情報は、QT(Quick Time) (商標)により使用される情報であるようにすることができる。
データは、放送局で放送するための高品質のデータよりもデータ量の少ない低品質のデータであるようにすることができる。
送信用ヘッダには、所定の単位の単位長、単位長あたりのフレーム数、およびサンプル数からなる初期パラメータ情報、送信用ヘッダに対応し、所定の単位とは異なるサイズを有する先頭領域のサイズ、並びにダミーの記録長が含まれるようにすることができる。
ボディ生成ステップの処理によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを記録媒体に記録するボディ記録ステップと、ボディ記録ステップの処理により記録媒体に記録されたボディの後に、フッタとテーブル情報を記録するフッタ記録ステップと、ボディ記録ステップの処理により記録媒体に記録されたボディの前に、記録用ヘッダを記録するヘッダ記録ステップとをさらに含むようにすることができる。
本発明のプログラムは、ファイルのリアルタイム送信のため、ボディが生成される前に、ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、ファイルを記録するため、ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成ステップと、送信用ヘッダを、情報処理装置に送信するヘッダ送信ステップと、データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断ステップと、データ判断ステップの処理によりデータが所定の単位分、メモリに蓄積されたと判断された場合、所定の単位毎にボディを構成するデータを生成するボディ生成ステップと、ヘッダ送信ステップの処理により送信用ヘッダが送信された後、ボディ生成ステップの処理によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを、情報処理装置に送信するボディ送信ステップと、ボディ生成ステップの処理により生成されたボディを構成するデータのサイズを取得する取得ステップと、取得ステップの処理により取得されたサイズに基づいて、ボディを構成するデータを読み出すためのテーブル情報であり、かつ、フッタの後に配置されるテーブル情報を生成するテーブル生成ステップと、ボディ送信ステップの処理によりボディが送信された後、フッタとテーブル生成ステップの処理により生成されたテーブル情報を、情報処理装置に送信するフッタ送信ステップとを含むことを特徴とする。
フォーマットは、MXF(Material exchange Format)であり、テーブル情報は、QT(Quick Time) (商標)により使用される情報であるようにすることができる。
データは、放送局で放送するための高品質のデータよりもデータ量の少ない低品質のデータであるようにすることができる。
送信用ヘッダには、所定の単位の単位長、単位長あたりのフレーム数、およびサンプル数からなる初期パラメータ情報、送信用ヘッダに対応し、所定の単位とは異なるサイズを有する先頭領域のサイズ、並びにダミーの記録長が含まれるようにすることができる。
ボディ生成ステップの処理によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを記録媒体に記録するボディ記録ステップと、ボディ記録ステップの処理により記録媒体に記録されたボディの後に、フッタとテーブル情報を記録するフッタ記録ステップと、ボディ記録ステップの処理により記録媒体に記録されたボディの前に、記録用ヘッダを記録するヘッダ記録ステップとをさらに含むようにすることができる。
本発明においては、ファイルのリアルタイム送信のため、ボディが生成される前に、ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、ファイルを記録するため、ボディが生成された後に生成される記録用ヘッダとが生成され、送信用ヘッダが、情報処理装置に送信され、データが所定の単位分、メモリに蓄積されたか否かが判断され、データが所定の単位分、メモリに蓄積されたと判断された場合、所定の単位毎にボディを構成するデータが生成され、送信用ヘッダが送信された後、ボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータが、情報処理装置に送信される。そして、生成されたボディを構成するデータのサイズが取得され、取得されたサイズに基づいて、ボディを構成するデータを読み出すためのテーブル情報であり、かつ、フッタの後に配置されるテーブル情報が生成され、ボディが送信された後、フッタと生成されたテーブル情報が、情報処理装置に送信される。
本発明によれば、放送機器とパーソナルコンピュータとの間でファイルを交換することができる。さらに、本発明によれば、放送機器とパーソナルコンピュータとの間でファイルをリアルタイムに送信することができる。
以下に本発明を実施するための最良の形態を説明するが、請求項に記載の構成要件と、発明を実施するための最良の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明を実施するための最良の形態に記載されていることを確認するためのものである。従って、発明を実施するための最良の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明を実施するための最良の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明を実施するための最良の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項1に記載の情報処理装置は、ファイルのリアルタイム送信のため、ボディが生成される前に、ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、ファイルを記録するため、ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成手段と、送信用ヘッダを、他の情報処理装置(例えば、図1の編集装置6)に送信するヘッダ送信手段(例えば、図17のステップS4の処理を実行する図2の通信部21)と、ヘッダ(例えば、図5のファイルヘッダ部)、ボディ(例えば、図5のファイルボディ部)およびフッタ(例えば、図5のファイルフッタ部)の順に構成されるフォーマットのファイル(例えば、図5のAV多重フォーマットのファイル)を生成する情報処理装置(例えば、図1の映像記録装置1)であって、データが所定の単位(例えば、年輪長)分、メモリ(例えば、図2のメモリ33)に蓄積されたか否かを判断するデータ判断手段(例えば、図18のステップS21の処理を実行する図2のファイル生成部22)と、データ判断手段によりデータが所定の単位分、メモリに蓄積されたと判断された場合、所定の単位毎にボディを構成するデータ(例えば、図6の年輪データ51−1)を生成するボディ生成手段(例えば、図18のステップS22の処理を実行する図2のファイル生成部22)と、ヘッダ送信手段により送信用ヘッダが送信された後、ボディ生成手段によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを、他の情報処理装置に送信するボディ送信手段(例えば、図18のステップS24の処理を実行する図2の通信部21)と、ボディ生成手段により生成されたボディを構成するデータのサイズ(例えば、フレームサイズ)を取得する取得手段(例えば、図18のステップS23の処理を実行する図2のファイル生成部22)と、取得手段により取得されたサイズに基づいて、ボディを構成するデータを読み出すためのテーブル情報(例えば、図5のムービアトム)であり、かつ、フッタの後に配置されるテーブル情報を生成するテーブル生成手段(例えば、図17のステップS6の処理を実行する図2のファイル生成部22)と、ボディ送信手段によりボディが送信された後、フッタとテーブル生成手段により生成されたテーブル情報を、他の情報処理装置に送信するフッタ送信手段(例えば、図17のステップS7の処理を実行する図2の通信部21)とを備えることを特徴とする。
請求項3に記載の情報処理装置は、放送局で放送するための高品質のデータ(例えば、放送局で放送するための高解像度のビデオデータ)よりもデータ量の少ない低品質のデータ(例えば、通信や編集のための低解像度のビデオデータ)であることを特徴とする。
請求項に記載の情報処理装置は、ボディ生成手段によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを記録媒体(例えば、図1の光ディスク2)に記録するボディ記録手段(例えば、図18のステップS25の処理を実行する図2のドライブ23)と、ボディ記録手段により記録媒体に記録されたボディの後に、フッタとテーブル情報を記録するフッタ記録手段(例えば、図17のステップS8の処理を実行する図2のドライブ23)と、ボディ記録手段により記録媒体に記録されたボディの前に、記録用ヘッダを記録するヘッダ記録手段(例えば、図17のステップS9の処理を実行する図2のドライブ23)とをさらに備えることを特徴とする。
請求項6に記載の情報処理方法は、ファイルのリアルタイム送信のため、ボディが生成される前に、ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、ファイルを記録するため、ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成ステップと、送信用ヘッダを、他の情報処理装置に送信するヘッダ送信ステップ(例えば、図17のステップS4)と、ヘッダ、ボディおよびフッタの順に構成されるフォーマットのファイルを生成する情報処理方法であって、データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断ステップ(例えば、図18のステップS21)と、データ判断ステップの処理によりデータが所定の単位分、メモリに蓄積されたと判断された場合、所定の単位毎にボディを構成するデータを生成するボディ生成ステップ(例えば、図18のステップS22)と、ヘッダ送信ステップの処理により送信用ヘッダが送信された後、ボディ生成ステップの処理によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを、他の情報処理装置に送信するボディ送信ステップ(例えば、図18のステップS24)と、ボディ生成ステップの処理により生成されたボディを構成するデータのサイズを取得する取得ステップ(例えば、図18のステップS23)と、取得ステップの処理により取得されたサイズに基づいて、ボディを構成するデータを読み出すためのテーブル情報であり、かつ、フッタの後に配置されるテーブル情報を生成するテーブル生成ステップ(例えば、図17のステップS6)と、ボディ送信ステップの処理によりボディが送信された後、フッタとテーブル生成ステップの処理により生成されたテーブル情報を、他の情報処理装置に送信するフッタ送信ステップ(例えば、図17のステップS7)とを含むことを特徴とする。
請求項10に記載の情報処理方法は、ボディ生成ステップの処理によりボディを構成するデータが生成される度に、所定の単位毎に生成されたボディを構成するデータを記録媒体に記録するボディ記録ステップ(例えば、図18のステップS25)と、ボディ記録ステップの処理により記録媒体に記録されたボディの後に、フッタとテーブル情報を記録するフッタ記録ステップ(例えば、図17のステップS8)と、ボディ記録ステップの処理により記録媒体に記録されたボディの前に、記録用ヘッダを記録するヘッダ記録ステップ(例えば、図17のステップS9)とをさらに含むことを特徴とする。
なお、本発明のプログラム記録媒体およびプログラムも、上述した本発明の情報処理方法と基本的に同様の構成であるため、繰り返しになるのでその説明は省略する。
以下、図を参照して、発明を実施するための最良の形態について説明する。
図1は、本発明を適用したAVネットワークシステム(システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない)の一実施の形態の構成例を示している。
映像記録装置1には、光ディスク2を着脱することができるようになっている。映像記録装置1は、被写体を撮影しながら、撮像した被写体のビデオデータ、および集音したオーディオデータから、後述するAV多重フォーマットのファイルを生成し、オンザフライ(On The Fly)で、装着された光ディスク2に記録したり、ネットワーク5を介して伝送する。また、映像記録装置1は、予め撮像された被写体のビデオデータ、および集音したオーディオデータから、AV多重フォーマットのファイルを生成し、装着された光ディスク2に記録したり、ネットワーク5を介して伝送する。
また、映像記録装置1は、装着された光ディスク2あるいは内蔵する記憶部20(図2)からAV多重フォーマットのファイルを読み出し、読み出したAV多重フォーマットのファイルを、ネットワーク5を介して伝送する。
ここで、AV多重フォーマットのファイルは、例えば、MXFの規格に準拠したファイルであり、図4を参照して詳しく後述するが、ファイルヘッダ部(File Header)、ファイルボディ部(File Body)、ファイルフッタ部(File Footer)からなる。そして、AV多重フォーマットのファイルは、MXFの規格に準拠したファイルであるから、そのファイルボディ部には、AVデータであるビデオデータとオーディオデータとが、図3を参照して後述する年輪長という所定の単位毎に、多重化されて配置されている。
さらに、AV多重フォーマットのファイルは、プラットフォームに依存せず、様々な記録形式に対応し、拡張性があるソフトウェアであるQT(Quick Time)(商標)のファイル構造を有しており、MXFの規格に準拠していなくても、QTを有する装置であれば、再生、編集ができるように構成されている。すなわち、AV多重フォーマットのファイルボディ部のデータは、年輪長単位で、QTに管理され、AV多重フォーマットのファイルフッタ部の後には、MXFの規格に準拠したファイルボディ部に年輪長単位で配置されたビデオデータとオーディオデータを、QTで再生、編集するために必要な情報(図7を参照して後述するサンプルテーブル)が配置されている。
図1において、編集装置3およびPC(Personal Computer)4には、光ディスク2を着脱することができるようになっている。編集装置3は、MXFの規格に準拠したファイルを取り扱うことができるMXFの規格に準拠した装置であり、装着された光ディスク2から、AV多重フォーマットのファイルのビデオデータやオーディオデータを読み出すことができる。そして、編集装置3は、読み出したAV多重フォーマットのファイルのビデオデータやオーディオデータを対象に、ストリーミング再生や編集を行い、その編集結果として、AV多重フォーマットのファイルのビデオデータやオーディオデータを、装着された光ディスク2に記録する。
PC4は、MXFの規格に準拠した装置ではないが、QTのソフトウェアを有している。したがって、PC4は、QTを用いて、装着された光ディスク2から、AV多重フォーマットのファイルのビデオデータやオーディオデータを読み出すことができる。すなわち、PC4は、QTを用いて、AV多重フォーマットのファイルフッタ部の後に配置されたQTで再生、編集するために必要な情報に基づいて、AV多重フォーマットのファイルボディ部に年輪長単位で配置されたビデオデータまたはオーディオデータを読み出し、編集処理などを行うことができる。
また、図1において、ネットワーク5に接続されている編集装置6は、例えば、編集装置3と同様に、MXFの規格に準拠したファイルを取り扱うことができるMXFの規格に準拠した装置であり、したがって、ネットワーク5を介して、映像記録装置1から伝送されてくるAV多重フォーマットのファイルを受信し、再生する。さらに、編集装置6は、ネットワーク5を介して、被写体を撮影している映像記録装置1からオンザフライで伝送されてくるAV多重フォーマットのファイルを受信し、受信したAV多重フォーマットのファイルをリアルタイムに再生する。
また、編集装置6は、AV多重フォーマットのファイルを、ネットワーク5を介して、映像記録装置1に伝送する。すなわち、映像記録装置1と、編集装置6との間では、ネットワーク5を介して、AV多重フォーマットのファイルのファイル交換を行うことができる。さらに、編集装置6は、受信したAV多重フォーマットのファイルを対象に、そのストリーミング再生、編集などの各種の処理を行うことができる。
一方、ネットワーク5に接続されているPC7は、PC4と同様に、MXFの規格に準拠した装置ではないが、QTのソフトウェアを有している。したがって、PC7は、ネットワーク5を介して、映像記録装置1から伝送されてくるAV多重フォーマットのファイルを受信し、受信したAV多重フォーマットのファイルを再生する。また、PC7は、ネットワーク5を介して、被写体を撮影している映像記録装置1からオンザフライで伝送されてくるAV多重フォーマットのファイルも受信し、受信完了後に、受信されたAV多重フォーマットのファイルを再生する。すなわち、AV多重フォーマットのファイルボディ部に年輪単位で配置されたデータが、(図5を参照して後述する)QTのムービデータアトムで管理され、ファイルフッタ部の後には、QTで再生、編集するために必要な情報が配置されているので、PC7は、QTを用いて、その情報に基づいて、AV多重フォーマットのファイルボディ部に年輪長単位で配置されたビデオデータとオーディオデータを読み出し、編集処理などを行うことができる。また、PC7は、AV多重フォーマットのファイルを、ネットワーク5を介して、映像記録装置1に伝送する。
以上のように、AV多重フォーマットのファイルは、MXFの規格に準拠したファイルであり、MXFの規格に準拠したファイルボディ部には、ビデオデータとオーディデータが、年輪長単位で配置されている。さらに、AV多重フォーマットのファイルフッタ部の後には、MXFの規格に準拠したファイルボディ部に年輪長単位で配置されたビデオデータとオーディオデータを、QTで再生、編集するために必要な情報が配置されている。これにより、映像記録装置1は、AV多重フォーマットのファイルを、送信、光ディスク2への記録、または、リアルタイム送信することによって、編集装置3および6だけでなく、汎用のPC4および7とも互換性を保持することができる。
すなわち、映像記録装置1、MXFの規格に準拠した装置である編集装置3および6、並びに、QTのソフトウェアを有しているPC4および7間においては、AV多重フォーマットのファイルを用いて、伝送、光ディスク2への記録、または、リアルタイム伝送などにより、ファイル交換を行うことができる。
図2は、本発明を適用した映像記録装置1の構成例を表している。図2において、CPU(Central Processing Unit)11は、ROM(Read Only Memory)12に記憶されているプログラム、または記憶部20からRAM(Random Access Memory)13にロードされたプログラムに従って各種の処理を実行する。RAM13にはまた、CPU11が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU11、ROM12、およびRAM13は、バス14を介して相互に接続されている。バス14には、ビデオ符号化部15、オーディオ符号化部16、および入出力インタフェース17が接続されている。
ビデオ符号化部15は、撮像部31より入力されたビデオデータをMPEG(Moving Picture Experts Group)4方式で符号化し、記憶部20またはファイル生成部22に供給する。オーディオ符号化部16は、マイクロホン32より入力されたオーディオデータを、ITU-T G.711 A-Law方式で符号化し、記憶部20またはファイル生成部22に供給する。なお、いまの場合、ビデオ符号化部15は、本格的な編集や再生のときに実際に使用される本線のビデオデータよりも低い解像度のビデオデータ(すなわち、データ量の少ないビデオデータ)に符号化しているが、求められる品質またはファイル容量などに応じた解像度のビデオデータに符号化することができる。また、オーディオ符号化部16は、本格的な編集や再生のときに実際に使用される本線のオーディオデータよりも低い品質のオーディオデータ(すなわち、データ量の少ないオーディオデータ)に符号化されているが、求められる品質またはファイル容量などに応じた品質のオーディオデータに符号化することができる。
入出力インタフェース17には、被写体を撮像し、撮像したビデオデータを入力する撮像部31、および、オーディオデータを入力するマイクロホン32などにより構成される入力部18、CRT(Cathode Ray Tube) 、LCD(Liquid Crystal Display)などよりなるモニタ、並びにスピーカなどよりなる出力部19、記憶部20、通信部21、ファイル生成部22、ドライブ23、および、撮影者などにより操作されるボタンやダイヤルなどからなる操作部24が接続されている。
記憶部20は、メモリやハードディスクなどにより構成され、ビデオ符号化部15より供給されるビデオデータ、オーディオ符号化部16より供給されるオーディオデータなどを記憶する。
通信部21は、例えば、IEEE(Institute of Electrical and Electronics Engineers)1394ポートや、USB(Universal Serial Bus)ポート、LAN(Local Area Network)接続用のNIC(Network Interface Card)、あるいは、アナログモデムや、TA(Terminal Adapter)およびDSU(Digital Service Unit)、ADSL(Asymmetric Digital Subscriber Line)モデム等で構成され、例えば、インターネットやイントラネット等のネットワーク5を介して、編集装置6やPC7などと、AV多重フォーマットのファイルをやりとりする。また、通信部21は、通信衛星や無線通信を介しても、編集装置6やPC7などと、AV多重フォーマットのファイルをやりとりする。
具体的には、通信部21は、ファイル生成部22により生成されたAV多重フォーマットのファイルヘッダ部、ファイルボディ部、およびファイルフッタ部の各データが供給される毎に、供給されたデータを、ネットワーク5を介して伝送する。また、通信部21は、ネットワーク5を介して伝送されてくるAV多重フォーマットのファイルを受信して、出力部19または記憶部20に供給する。なお、通信部21は、記憶部20に一旦記憶されているAV多重フォーマットのファイルを送ることもできる。
ファイル生成部22は、ビデオ符号化部15より供給されるビデオデータ、オーディオ符号化部16より供給されるオーディオデータを一旦蓄積するメモリ33を有している。ファイル生成部22は、ビデオ符号化部15より供給されるビデオデータ、オーディオ符号化部16より供給されるオーディオデータを一旦メモリ33に蓄積し、蓄積されたビデオデータ、オーディオデータが1年輪長分蓄積された場合に、ファイルボディ部を構成する年輪長単位のデータを生成し、通信部21およびドライブ23に供給する。また、ファイル生成部22は、AV多重フォーマットのファイルヘッダ部およびファイルフッタ部などを生成し、生成されたデータを通信部21およびドライブ23に供給する。なお、詳細な説明は後述するが、このとき、送信用と記録用に2種類のファイルヘッダ部とファイルフッタ部が生成される。また、ファイル生成部22は、記憶部20に記憶されるビデオデータおよびオーディオデータからも、AV多重フォーマットのファイルを生成し、通信部21またはドライブ23に供給する。
ドライブ23には、光ディスク2を着脱することができるようになっている。ドライブ23は、そこに装着された光ディスク2を駆動することにより、ファイル生成部22から供給されるAV多重フォーマットのファイルを記録する。具体的には、ドライブ23は、ファイル生成部22から供給されるファイルボディ部を記録し、記録されたファイルボディ部の後にファイルフッタ部を記録し、記録されたファイルボディ部の前にファイルヘッダ部を記録し、AV多重フォーマットのファイルを記録する。また、ドライブ23は、光ディスク2からAV多重フォーマットのファイルを読み出して、出力部19または記憶部20に供給する。
ここで、図3は、オーディオデータとビデオデータが記録された光ディスク2のトラックを模式的に示している。なお、図3において、オーディオデータの記録部分は、影を付して示されており、ビデオデータの記録部分は、特に模様を付さずに示されている。
図3の例においては、光ディスク2には、木の年輪を形成するかのように、同じような所定の再生時間帯(いまの場合、2秒間)のビデオデータとオーディオデータとが交互に記録される。このことから、光ディスク2に記録されるオーディオデータやビデオデータのひとまとまりを、「年輪」と称し、所定の再生時間帯を、「年輪長」と称する。
このように、光ディスク2においては、同じ年輪長(いまの場合、2秒間)のオーディオデータとビデオデータが光ディスク2上の近い位置に記録されるので、光ディスク2から、同一の再生時刻のオーディオデータとビデオデータを、迅速に読み出して再生することが可能となる。したがって、映像記録装置1においては、ファイルボディ部のデータは、この年輪長単位で生成されるように予め設定されている。
次に、図4は、AV多重フォーマットのファイルの構成例を示している。図4の例においては、AV多重フォーマットのファイルは、前述の特許文献1に記載されているMXFの規格に準拠しており、その先頭から、ファイルヘッダ部(File Header)、ファイルボディ部(File Body)、ファイルフッタ部(File Footer)が順次配置されて構成される。
AV多重フォーマットのファイルヘッダ部には、その先頭から、ランイン(Run In)、ヘッダパーティションパック(Header partition pack)、ヘッダメタデータ(Header Metadata)からなるMXFヘッダ(MXF Header)が順次配置される。
ランインは、11バイトのパターンが合えば、MXFヘッダが始まることを解釈するためのオプションである。ランインは、最大64キロバイトまで確保することができるが、いまの場合8バイトとされる。ランインには、MXFヘッダの11バイトのパターン以外のものであれば、何を配置してもよい。ヘッダパーティションパックには、ヘッダを特定するための11バイトのパターンや、ファイルボディ部に配置されるデータの形式、ファイルフォーマットを表す情報などが配置される。
ヘッダメタデータには、MXFの規格に準拠した編集装置6が、ファイルボディ部を構成するエッセンスコンテナに配置されたAVデータであるビデオデータとオーディオデータを読み出すために必要な情報などが配置される。したがって、通常は、ファイルヘッダ部のヘッダメタデータは、ファイルボディ部およびファイルフッタ部が生成された後に、生成されたファイルボディ部に基づいて生成される。しかしながら、例えば、被写体を撮影しながら、生成されるデータをオンザフライで送信し、受信側でリアルタイム再生するなどの場合には、ファイルヘッダ部を最初に送信する必要がある。
このような場合に対応して、ヘッダメタデータに配置される情報のうちの、例えば、データの記録長(duration)、画像データのサイズなど、データの記録が終わらないと取得できず、かつ、これらの情報がないときであっても先頭からのリアルタイム再生が可能な情報には、ダミーデータとして、絶対に取りえない代表値(例えば、−1や0など)が記述されて、ファイルヘッダ部が生成される。このようなダミーデータが記述された情報の実際の値は、ファイルボディ部のデータの生成終了後に取得され、メタデータとしてファイルフッタ部に配置される。なお、ヘッダメタデータの一部にダミーデータが記述されたファイルヘッダ部は、ヘッダメタデータの一部にダミーデータが記述されていない、通常のファイルヘッダ部と区別するために、以下、適宜、送信用ファイルヘッダ部と称する。
MXFの規格に準拠した編集装置6は、被写体を撮影しながら送信されてくるAV多重フォーマットのファイルを受信し、この送信用ファイルヘッダ部に基づいて、ファイルの先頭からリアルタイムに再生することができる。なお、AV多重フォーマットのファイルの受信完了後に、AV多重フォーマットのファイルを再生する場合には、MXFの規格に準拠した編集装置6は、送信用ファイルヘッダ部とファイルフッタ部のメタデータに基づいて、AV多重フォーマットのファイルを再生するので、ファイルの先頭からだけでなく、所望の位置からのAV多重フォーマットのファイルを再生することができる。
AV多重フォーマットのファイルボディ部は、エッセンスコンテナ(Essence Container)で構成され、エッセンスコンテナには、AVデータであるビデオデータとオーディオデータとが、図3を参照して上述した年輪長単位で多重化されて配置されている。
AV多重フォーマットのファイルフッタ部は、フッタパーティションパック(Footer Partition Pack)で構成され、フッタパーティションパックには、ファイルフッタ部を特定するためのデータなどが配置される。また、上述したように、ファイルヘッダ部のヘッダメタデータにおいて、ダミーデータが記述されている情報の実際の値は、ファイルボディ部生成終了後、ファイルフッタ部にメタデータとして配置される。なお、このメタデータが配置されているファイルフッタ部は、メタデータが配置されていない、通常のファイルフッタ部と区別するために、以下、適宜、送信用ファイルフッタ部と称する。
以上のように構成されたAV多重フォーマットのファイルが与えられた場合、MXFの規格に準拠した編集装置3および6は、まず、ヘッダパーティションパックの11バイトのパターンを読み出すことにより、MXFヘッダを求める。そして、編集装置3および6は、MXFヘッダのヘッダメタデータに基づいて、エッセンスコンテナに配置されたAVデータであるビデオデータとオーディオデータを読み出すことができる。
次に、図5は、AV多重フォーマットの他の例を示している。なお、図5の例において、上段は、図4を参照して上述したMXFの規格に準拠した編集装置3および6から認識されるAV多重フォーマットのファイル(以下、MXFファイルと称する)の例を示しており、下段は、QTを有するPC4およびから認識されるAV多重フォーマットのファイル(以下、QTファイルと称する)の例を示している。すなわち、AV多重フォーマットは、QTファイルの構造とMXFファイルの構造の両方を有するように構成されている。
上段に示されるように、MXFファイルの構造としてのAV多重フォーマットのファイルは、8バイトのランイン、ヘッダパーティションパック(HPP:Header Partition pack)とヘッダメタデータからなるファイルヘッダ部、複数のエッセンスコンテナからなるファイルボディ部、並びに、フッタパーティションパック(FPP:Footer Partition pack)からなるファイルフッタ部、およびスタッフィング(stuffing)のためのデータとしてのフィラー(Filler)により構成される。
図5の例の場合、ファイルボディ部を構成するエッセンスコンテナは、年輪長単位に分けられた、1以上のエッセンスコンテナにより構成される。年輪長は、いまの場合、2秒間とされ、NTSCのビデオデータの場合、60フレーム分とされる。したがって、1年輪長のエッセンスコンテナには、60フレーム分のAVデータその他がKLV(Key,Length,Value)構造にKLVコーディングされて配置される。
KLV構造とは、その先頭から、キー(Key)、レングス(Length)、バリュー(Value)が順次配置された構造であり、キーには、バリューに配置されるデータがどのようなデータであるかを表す、SMPTE 298Mの規格に準拠した16バイトのラベルが配置される。レングスには、バリューに配置されるデータのデータ長(8バイト)がBER(Basic Encoding Rules:ISO/IEC882-1 ASN)によって配置される。バリューには、実データ、すなわち、ここでは、1年輪長である60(NTSCの場合)フレームのオーディオまたはビデオデータが配置される。また、オーディオまたはビデオデータを固定長とするために、スタッフィング(stuffing)のためのデータとしてのフィラー(Filler)が、やはりKLV構造として、各オーディオまたはビデオデータの後に配置される。
したがって、1年輪長のエッセンスコンテナは、その先頭から、KLV構造のオーディオデータ(Audio)、KLV構造のフィラー、KLV構造のビデオデータ(Video)、およびKLV構造のフィラーが配置されて構成される。
次に、下段に示されるように、QTファイルの構造としては、AV多重フォーマットのファイルは、先頭のムービデータアトムのヘッダであるmdatヘッダ(mdat header)および先頭のムービデータアトム(movie data atom)、複数個のmdatヘッダおよびムービデータアトム、並びに、ムービアトムのヘッダ(moov)およびムービアトム(movie atom)が順次配置されて構成される。
QTファイルの構造において、基本的なデータユニットは、アトム(atom)と呼ばれ、各アトムは、その先頭に、各アトムのヘッダとして、4バイトのサイズ(size)、および4バイトのタイプ情報(Type)を有している。ムービデータアトムは、ビデオデータやオーディオデータなどのデータを格納するアトムである。
したがって、図5の例においては、先頭のムービデータアトムのmdatヘッダは、先頭のムービデータアトムのサイズとタイプ情報により構成され、MXFのファイルヘッダ部のランインに記述されている。先頭のムービデータアトムは、MXFのファイルヘッダ部のヘッダパーティションパックおよびヘッダメタデータを格納するように構成されている。先頭から2番目以降のムービデータアトムのmdatヘッダは、対応するムービデータアトムのサイズとタイプ情報により構成されている。2番目以降のムービデータアトムは、MXFのファイルボディ部の年輪長の各エッセンスコンテナをそれぞれ格納するように構成される。すなわち、ムービデータアトムも、エッセンスコンテナに対応した年輪長単位のAVデータを管理する。moovヘッダは、対応するムービアトムのサイズとタイプ情報により構成され、ファイルフッタ部の一部に記述されている。ムービアトムは、ムービデータアトムに記録されたAVデータを読み出すための情報であるサンプルテーブルなどの固定情報により構成され、MXFのファイルフッタ部の一部とフィラーに記述されている。
なお、QTファイルの構造において、ムービデータアトムに配置されるビデオデータおよびオーディオデータの最小単位は、サンプルとされ、サンプルの集合としてチャンクが定義される。すなわち、QTファイルにおいては、エディットユニットに配置されるオーディオデータおよびビデオデータは、1つ1つのチャンクと認識される。したがって、QTファイルにおいては、MXFのエディットユニットのオーディオデータに対応するキーおよびレングスが無視され、オーディオデータの先頭位置ACがチャンクの開始位置ACと認識され、それに基づいて、オーディオデータを読み出すために必要な情報がムービアトムに記述される。同様に、MXFのエディットユニットのビデオデータに対応するキーおよびレングスが無視され、ビデオデータの先頭位置VCがチャンクの先頭位置VCと認識され、それに基づいて、ビデオデータを読み出すために必要な情報がムービアトムに記述される。
以上のような構成にすることで、AV多重フォーマットのファイルは、MXFの規格に準拠した編集装置3および6でも、QTを有するPC4およびでも認識され、ファイルボディ部に配置されたオーディオデータとビデオデータが読み出される。
すなわち、MXFの規格に準拠した編集装置3および6は、まず、ランインを無視し、ヘッダパーティションパックの11バイトのパターンを読み出すことにより、MXFヘッダを求める。そして、MXFヘッダのヘッダメタデータに基づいて、エッセンスコンテナに配置されたAVデータであるビデオデータとオーディオデータを読み出すことができる。
また、QTのソフトウェアを有するPC4およびは、まず、ムービアトムを読み出し、ムービアトムに記述された情報(後述するサンプルテーブルなど)に基づいて、ムービデータアトムに記録されているチャンク(オーディオデータまたはビデオデータ)を読み出すことができる。
以上のように、映像記録装置1、MXFの規格に準拠した編集装置3および6、並びに、QTを有するPC4および間においては、AV多重フォーマットのファイルを用いて、ファイル交換を行うことができる。
次に、図6は、AV多重フォーマットのさらに詳細な構成例を示している。なお、図6において、図5における場合と対応する部分は、その説明は繰り返しになるので省略する。
図6の例の場合、上段に示されるように、MXFファイルの構造としては、MXFのファイルボディ部は、年輪長単位のn個の年輪データ51−1乃至51−nにより構成されている。ファイルボディ部の年輪データ51−1乃至51−nは、ボディパーティションパック部(BPP:Body Partition Pack)52−1乃至52−n、およびエッセンスコンテナ53−1乃至53−nにより構成されている。
図6の例において、ファイルボディ部は、ボディパーティションパック部52−1およびエッセンスコンテナ53−1からなる年輪データ51−1、ボディパーティションパック部52−2およびエッセンスコンテナ53−2からなる年輪データ51−2、…、ボディパーティションパック部52−nおよびエッセンスコンテナ53−nからなる年輪データ51−nにより構成されている。なお、以下、年輪データ51−1乃至51−n、ボディパーティションパック部(BPP:Body Partition Pack)52−1乃至52−nおよびエッセンスコンテナ53−1乃至53−nを個々に区別する必要がない場合、単に年輪データ51、ボディパーティションパック部52およびエッセンスコンテナ53と称する。
ボディパーティションパック部52は、ボディパーティションパック、およびボディパーティションパック部52を固定長にするためのKLV構造のフィラーが配置されて構成される。ボディパーティションパックには、ファイルの先頭からのオフセット値と、その前のボディパーティションパックのファイルの先頭からのオフセット値が記述されている。なお、一番先頭のボディパーティションパックには、ファイルの先頭からのオフセット値と、ヘッダパーティションパックのファイルの先頭からのオフセット値が記述されている。
このように、各エッセンスコンテナ53の前に、自分とその前のパーティションパックのオフセット値が記述されたボディパーティションパックを配置することにより、MXFの規格に準拠した編集装置6は、年輪長単位に分けられて構成されている各エッセンスコンテナの範囲を認識することができる。したがって、AV多重フォーマットにおいて、ファイルボディ部に複数の年輪長のエッセンスコンテナを配置することが可能になる。
また、ファイルフッタ部のフッタパーティションパック部も、ボディパーティションパック部と同様に構成されており、フッタパーティションパック、およびフッタパーティションパック部を固定長にするためのKLV構造のフィラーが配置されて構成される。
一方、下段に示されるように、QTファイルの構造において、AV多重フォーマットのファイルは、MXFのファイルヘッダ部に対応するムービデータアトム54、n個のエッセンスコンテナにそれぞれ対応するムービデータアトム55−1乃至55−n、およびムービアトム56により構成されている。ムービデータアトム54は、MXFファイルの先頭からボディパーティションパック部52−1のKLまでの範囲により構成され、ムービデータアトム54のmdatヘッダは、ファイルヘッダ部のランインに記述される。ムービデータアトム55−1は、ボディパーティションパック部52−1のフィラーからボディパーティションパック部52−2のKLまでの範囲により構成され、ムービデータアトム55−1のmdatヘッダは、ボディパーティションパック部52−1のフィラーの先頭に記述される。
ムービデータアトム55−2は、ボディパーティションパック部52−2のフィラーからボディパーティションパック部52−3のKLまでの範囲により構成され、ムービデータアトム55−2のmdatヘッダは、ボディパーティションパック部52−2のフィラーの先頭に記述される。ムービデータアトム55−nは、ボディパーティションパック部52−nのフィラーからフッタパーティションパック部のKLまでの範囲により構成され、ムービデータアトム55−nのmdatヘッダは、ボディパーティションパック部52−nのフィラーの先頭に記述される。
ムービアトム56は、フッタパーティションパック部のフィラーからフッタパーティションパック部の後のフィラーの最後尾(すなわち、AV多重フォーマットのファイルの最後尾)により構成され、ムービアトム56のmoovヘッダは、フッタパーティションパック部のフィラーの先頭に記述される。
ここで、映像記録装置1においては、ファイルヘッダ部は、予め64KBと設定されており、ボディパーティションパック部52−1のボディパーティションパックおよびKLが固定長αであるので、ムービデータアトム54で管理されるデータのサイズは、64KB+αである。また、年輪データ51−1乃至51−nは、それぞれ年輪長単位で構成されている。したがって、ムービデータアトム55−1乃至55−nで管理されるデータのサイズも、年輪長単位(64KB×8)とされる。なお、いまの場合、年輪長単位は、2秒間であり、64KB×8(64KB×6GOP(NTSCの場合)+64KB×2オーディオ)である。
以上のように、ファイルボディ部を、予め設定された年輪長単位毎に、複数のエッセンスコンテナで構成するようにしたので、各エッセンスコンテナに対応するムービデータアトムのmdatヘッダのサイズ(年輪長単位)が取得され、これにより、ムービデータアトムが生成され、生成されたムービデータアトムに基づいて、ムービアトムの各テーブル情報が生成される。
したがって、映像記録装置1においては、被写体を撮影しながら、オンザフライでAV多重フォーマットのファイルが、予め設定された年輪長単位毎に、編集装置6やPC7に送信される。これにより、AV多重フォーマットのファイルを受信した編集装置6は、AV多重フォーマットのファイルをリアルタイム再生することができ、さらに、PC7は、AV多重フォーマットのファイルの受信後に、AV多重フォーマットのファイルを再生することができる。
次に、図7を参照して、ムービアトムに記述されている情報について詳しく説明する。
図7は、図6のムービアトム56の構成例を示している。図7の例において、図中上部がファイルの先頭を示している。なお、いまの場合、ムービアトム56は、階層1乃至8まで階層化されており、図中左側が最上位の階層1とされる。また、図中右側の「V」は、後述するトラックアトムが対象としているメディアがビデオデータの場合(すなわち、ビデオデータのトラックアトム(ビデオトラックアトムである場合)のみ記述されるアトムであることを示し、「A」は、トラックアトムが対象としているメディアがオーディオデータの場合(すなわち、オーディオデータのトラックアトム(オーディオトラックアトム)である場合)のみ記述されるアトムであることを示している。
図7の例の場合、ムービアトム56は、最上位の階層1のムービアトムのヘッダであるmoovヘッダと、階層2のムービヘッダアトム(mvhd:movie header atom)、トラックアトム(track: track atom)、およびユーザ定義アトム(udta:user data atom)により構成される。
階層2のムービヘッダアトムは、サイズ、タイプ情報、タイムスケールや長さなどのムービ全体に関する情報により構成される。トラックアトムは、ビデオトラックアトムやオーディオトラックアトムなどのようにメディアごとに存在する。なお、オーディオが4チャネルの場合、オーディオトラックアトムは、2個となり、オーディオが8チャネルの場合、オーディオトラックアトムは、4個となる。また、トラックアトムは、階層3に示されるように、トラックヘッダアトム(tkhd:track header atom)、エディットアトム(edts:edit atom)、メディアアトム(mdia:media atom)およびユーザ定義アトム(udta:user data atom)により構成される。
階層3のトラックヘッダアトムは、トラックアトムのIDナンバなど、ムービ内におけるトラックアトムの特性情報により構成される。エディットアトムは、階層4のエディットリストアトム(elst:edit list atom)で構成される。ユーザ定義アトムは、トラックアトムに付随する情報が記録されている。
階層3のメディアアトムは、階層4に示されるように、トラックアトムに記録されているメディア(オーディオデータまたはビデオデータ)に関する情報が記述されているメディアヘッダアトム(mdhd:media header atom)、ムービデータ(オーディオデータまたはビデオデータ)をデコードするためのハンドラーの情報が記述されているメディアハンドラーアトム(hdlr:media handler reference atom)、メディア情報アトム(minf:media information atom)により構成される。
階層4のメディア情報アトム(minf)は、このトラックアトムが、ビデオトラックアトムの場合(図中右側の「V」)、階層5に示されるように、ビデオメディアヘッダアトム(vmhd:video media header atom)、データ情報アトム(dinf:data information atom)、サンプルテーブルアトム(stbl:sample table atom)により構成される。また、このトラックアトムが、オーディオトラックアトムの場合(図中右側の「A」)、メディア情報アトムは、サウンドメディアヘッダアトム(smhd:sound media header atom)、データ情報アトム、サンプルデータアトムにより構成される。
階層5のデータ情報アトムは、メディアデータの場所を階層7のエイリアス(alias)を用いて記述する、階層6のデータリファレンスアトム(dref:data reference atom)で構成される。
サンプルテーブルアトム(stbl)には、実際にムービデータアトムに記録されたAVデータを読むために使用されるテーブル情報が記述される。QTは、これらのテーブル情報に基づいて、ムービデータアトムに記録されているビデオデータおよびオーディオデータを読み出すことができる。なお、図5を参照して上述したように、QTのファイルにおいて、ムービデータアトムに記録されるビデオデータおよびオーディオデータの最小単位は、サンプルとされ、サンプルの集合としてチャンクが定義される。
サンプルテーブルアトムは、このトラックアトムが、ビデオトラックアトムの場合(図中右側の「V」)、階層6に示されるように、サンプルディスクリプションアトム(stsd:sample description atom)と、時間サンプルアトム(stts:time to sample atom)、同期サンプルアトム(stss:sync sample atom)、サンプルチャンクアトム(stsc:sample to chunk atom)、サンプルサイズアトム(stsz:sample size atom)、チャンクオフセットアトム(stco:chunk offset atom)の5つのサンプルテーブルにより構成される。なお、このトラックアトムが、オーディオトラックアトムの場合(図中右側の「A」)、同期サンプルアトムは記述されない。
階層6のサンプルディスクリプションアトムは、トラックに記録されたメディアがビデオデータの場合(図中右側の「V」)、いまの場合、MPEG4ビデオデータのフォーマットが記述されている階層7のMPEG4データフォーマットアトム(mp4v:mpeg4 data format atom)、および、デコードのための必要な情報が記述されている階層8のエレメントストリーム記述アトム(esds:elementary stream description)により構成される。また、サンプルディスクリプションアトムは、トラックに記録されたメディアがオーディオデータの場合(図中右側の「A」)、いまの場合、ITU-T G.711 A-Lawのオーディオデータのフォーマットが記述されている階層7のalawデータフォーマットアトム(alaw:alaw data format atom)により構成される。
次に、図8乃至図12を参照して、ムービアトム56のオーディオデータおよびビデオデータを読み出すときに使用される情報である5つのサンプルテーブルについて説明する。
図8は、時間サンプルアトムの例を示す。時間サンプルアトムは、1サンプル(1フレーム)がトラックアトムのタイムスケールで測ってどのくらいの時間になるかを示すテーブルである。
図8の例の場合、時間サンプルアトム(stts:time to sample atom)は、アトムサイズ(atom Size)、アトムタイプ(atom Type)、フラグ(flags)、エントリ(num Entries)、サンプル数(sample Count)、およびサンプル時間(sample Duration)により構成される。アトムサイズは、時間サンプルアトムのサイズを示しており、アトムタイプは、アトムのタイプが「stts」(時間サンプルアトム)であることを示す。フラグの1バイト目は、バージョンを示し、残りは、フラグを示す。エントリは、サンプルの数とそのサンプル間隔を示す。サンプル数は、トラックアトムのサンプル数を示し、サンプル時間は、1サンプルの時間を示す。
例えば、時間サンプルアトムに記載されるサンプル時間(sample Duration)が「0x64」(16進数)である場合、トラックアトムのタイムスケールで100となる。したがって、この場合、1秒間は2997に設定されているとすると、1秒間は、2997/100=29.97サンプル(フレーム)になることが示される。
図9は、同期サンプルアトムの例を示す。同期アトムは、キーとなるフレームキーフレームのテーブルであり、同期に関する情報が記載されている。
図9の例の場合、同期サンプルアトム(stss:sync sample atom)は、アトムサイズ(atom Size)、アトムタイプ(atom Type)、フラグ(flags)、およびエントリ(num Entries)により構成される。アトムサイズは、同期サンプルアトムのサイズを示しており、アトムタイプは、アトムのタイプが「stss」(同期サンプルアトム)であることを示す。フラグの1バイト目は、バージョンを示し、残りは、フラグを示す。エントリは、ビデオデータのIフレームのサンプル番号テーブルのエントリ数を示す。
例えば、MPEGのように、フレームに、Iピクチャ、Pピクチャ、Bピクチャが存在する場合、サンプル番号テーブルは、Iピクチャのフレームのサンプル番号が記載されたテーブルになる。なお、同期サンプルアトムは、このトラックアトムが、オーディオトラックアトムである場合(図中右側の「A」)、記述されない。
図10は、サンプルチャンクアトムの例を示す。サンプルチャンクアトムは、すべてのチャンクが何サンプル(フレーム)のデータにより構成されているかを表すのテーブルである。
図10の例の場合、サンプルチャンクアトム(stsc:sample to chunk atom)は、アトムサイズ(atom Size)、アトムタイプ(atom Type)、フラグ(flags)、エントリ(num Entries)、初めのチャンク1(first Chunk1)、チャンク1のサンプル数(sample Per Chunk1)、チャンク1のエントリ番号 (sample Description ID1)、初めのチャンク2(first Chunk2)、チャンク2のサンプル数(sample Per Chunk2)、およびチャンク2のエントリ番号 (sample Description ID2)により構成される。
アトムサイズは、サンプルチャンクアトムのサイズを示しており、アトムタイプは、アトムのタイプが「stsc」(サンプルチャンクアトム)であることを示す。フラグの1バイト目は、バージョンを示し、残りは、フラグを示す。エントリは、エントリされているデータの数を示す。
初めのチャンク1は、同じサンプル数により構成されるチャンク群の初めのチャンクの番号を示す。チャンク1のサンプル数は、チャンク1のサンプル数を示す。チャンク1のエントリ番号は、チャンク1のエントリ番号を示す。そして、次に続くチャンクが、チャンク1のサンプル数とは異なるサンプル数のチャンクであった場合、その次に続くチャンクの情報として、初めのチャンク1、チャンク1のサンプル数、およびチャンク1のエントリ番号と同様に、初めのチャンク2、チャンク2のサンプル数、およびチャンク2のエントリ番号が記述される。
以上のように、サンプルチャンクアトムにおいては、同じサンプル数により構成されている複数のチャンクの情報は、同じ数のサンプルで構成される最初のチャンクの情報にまとめて記述される。
図11は、サンプルサイズアトムの例を示す。サンプルサイズアトムは、サンプルごとのデータサイズが記述されるテーブルである。
図11の例の場合、サンプルサイズアトム(stsz:sample size atom)は、アトムサイズ(atom Size)、アトムタイプ(atom Type)、フラグ(flags)、サンプルサイズ(sample Size)、およびエントリ数(num Entries)により構成される。アトムサイズは、サンプルサイズアトムのサイズを示しており、アトムタイプは、アトムのタイプが「stsz」(サンプルサイズアトム)であることを示す。フラグの1バイト目は、バージョンを示し、残りは、フラグを示す。サンプルサイズは、サンプルのサイズを示す。例えば、すべてのサンプルサイズが同じ場合は、サンプルサイズに1つのサイズを記述すればよい。エントリ数は、サンプルサイズのエントリ数を示す。
したがって、例えば、オーディオデータのようにデータサイズが一定の場合は、サンプルサイズに、デフォルトサイズが記述される。一方、ビデオデータのように、フレームがサンプルに対応していて、MPEGのIピクチャ、Pピクチャのようにサンプルのサイズが時々刻々と変わる場合には、すべてのサンプルのサイズが、サンプルサイズに記述される。
図12は、チャンクオフセットアトムの例を示す。チャンクオフセットアトムは、それぞれのチャンクについて、ファイルの先頭からのオフセット値が記述されるテーブルである。
図12の例の場合、チャンクオフセットアトム(stco:chunk offset atom)は、アトムサイズ(atom Size)、アトムタイプ(atom Type)、フラグ(flags)、およびエントリ数(num Entries)により構成される。アトムサイズは、サンプルサイズアトムのサイズを示しており、アトムタイプは、アトムのタイプが「stco」(チャンクオフセットアトム)であることを示す。フラグの1バイト目は、バージョンを示し、残りは、フラグを示す。エントリ数は、チャンクのオフセット値のエントリ数を示す。
したがって、例えば、上述した図5の例において、オーディオデータのチャンクのオフセット値として、ファイルの先頭からのチャンク開始位置ACまでのオフセット値が記述され、ビデオデータのチャンクのオフセット値として、ファイルの先頭からのチャンク開始位置VCまでのオフセット値が記述される。
以上のように構成されたムービアトム56に基づいて、QTは、オーディオデータまたはビデオデータのいずれかに対応する、階層4のメディアハンドラーアトム(hdlr:media handler reference atom)に命じて、特定の時間に対応するメディアデータにアクセスさせる。具体的には、特定のサンプル時間が与えられると、メディアハンドラーアトムは、そのメディアのタイムスケールに基づく時間を決定する。そして、各トラックアトムのタイムスケールにおける時間が、階層3のエディットアトム(edts:edit atom)の情報により取得されるので、メディアハンドラーアトムは、階層6の時間サンプルアトムに基づいて、サンプル番号を求め、階層6のチャンクオフセットアトムよりファイル先頭からのオフセット値を取得する。これにより、メディアハンドラーアトムは、指定されたサンプルにアクセスできるので、QTは、タイムスケールに応じて、ムービデータアトム55に記録されているビデオデータおよびオーディオデータを再生することができる。
以上のように、ムービアトム56には、ムービデータアトム55に記録されているビデオデータおよびオーディオデータを読み出すために必要な情報であるサンプルテーブルが記述されている。したがって、ムービデータアトム55に記録されているビデオデータおよびオーディオデータに基づいて、このムービアトム56を生成し、AV多重フォーマットのファイルフッタ部の後に配置することにより、AV多重フォーマットのファイルをQTでも認識することができるようになる。
次に、図13は、図5のAV多重フォーマットにおける、MXFのファイルボディ部の例を示す。図13の例においては、1年輪長のエッセンスコンテナが示されている。また、実際には、エッセンスコンテナには、先頭にボディパーティションパック部が配置されるが、図13の例の場合、図示は省略されている。
図13の例の場合、1年輪長のエッセンスコンテナは、その先頭から、図示せぬボディパーティションパック部、サウンドアイテム(Sound) (以下、このサウンドアイテムを、サウンドアイテムを構成する複数のサウンドアイテム1乃至4と区別するために、サウンドアイテム群と称する)、ピクチャアイテム(Picture)およびフィラーが配置されて構成される。
サウンドアイテム群には、ピクチャアイテムに配置されたビデオデータ、60(NTSCの場合)フレーム分のオーディオデータが、図4を参照して上述したKLV構造で4つに分けて配置される。図13の例の場合、ITU-T G.711 A-Law方式で符号化されたオーディオデータが配置される。
したがって、サウンドアイテム群は、その先頭から、KLV構造のサウンドアイテム1、KLV構造のフィラー、KLV構造のサウンドアイテム2、KLV構造のフィラー、KLV構造のサウンドアイテム3、KLV構造のフィラー、KLV構造のサウンドアイテム4、およびKLV構造のフィラーが配置されて構成される。なお、サウンドアイテムは、ECC/2単位で構成されており、ECC単位の固定長とするためのスタッフィングのためのデータとして、フィラーが配置されている。
サウンドアイテム群のオーディオデータの後のピクチャアイテムには、MPEG(Moving Picture Experts Group)4方式で符号化された1年輪分のビデオデータ(エレメンタリストリーム(ES:Elementary Stream)が、KLV構造にKLVコーディングされて配置される。そして、ピクチャアイテムを、ECC単位の固定長とするのに、スタッフィングのためのデータとして、フィラーがKLV構造とされて、ピクチャアイテムのビデオデータの後に配置される。
以上のように、AV多重フォーマットでは、MXFの規格に準拠して、オーディオデータがKLV構造で配置されるサウンドアイテム群、ビデオデータがKLV構造で配置されるピクチャアイテムが、1年輪長である60(NTSCの場合)フレーム単位で多重化されて構成される。したがって、映像記録装置1のファイル生成部22は、このKLV構造のキー(K)と、符号化されたデータ量からレングス(L)を決定して、AV多重フォーマットのファイルヘッダ部のMXFヘッダを生成する。以上により、MXFの規格に準拠した編集装置3および6は、ボディパーティションパック部に基づいて、エッセンスコンテナを求め、ファイルヘッダ部のMXFヘッダに基づいて、KLV構造に配置されたオーディオデータおよびビデオデータを、所望の位置から、読み出すことができる。
一方、QTにおいては、このように構成されたオーディオデータおよびビデオデータを、1つのチャンクとして定義する。したがって、ファイル生成部22は、KLV構造のキー(K)と、レングス(L)を無視して、サウンドアイテム1、サウンドアイテム2、サウンドアイテム3、サウンドアイテム4、およびピクチャアイテムをそれぞれチャンクと定義し、サウンドアイテム1の先頭位置AC1のオフセット値、サウンドアイテム2の先頭位置AC2のオフセット値、サウンドアイテム3の先頭位置AC3のオフセット値、サウンドアイテム4の先頭位置AC4のオフセット値、ピクチャアイテムの先頭位置VCのオフセット値をそれぞれ求めることにより、ファイルフッタ部の後のムービアトムのサンプルテーブルを生成する。これにより、QTを有するPC4およびは、ファイルフッタ部のムービアトムに基づいて、チャンクとしてのオーディオデータおよびビデオデータを読み出すことができる。すなわち、QTのムービアトムにおいては、オーディオデータおよびビデオデータは、格納されているムービデータアトムに拠らす、ファイルの先頭からのオフセット値により管理されている。
次に、図14は、図13のサウンドアイテム(Sound)3の例を示している。図14の例においては、サウンドアイテム3は、左(L:Left)と右(R:Right)の2チャネルのオーディオデータが配置されて構成される。
すなわち、2チャネルのオーディオデータは、2チャネルそれぞれのオーディオデータが1サンプルごとに交互に配置されることにより多重化されている。したがって、525/59.94のNTSC規格の場合、ビデオデータは、60フレームで形成されるので、サウンドアイテムには、16016サンプル数のオーディオデータが配置される。また、625/50のPAL規格の場合、ビデオデータは、50フレームで形成されるので、サウンドアイテムには、16000サンプル数のオーディオデータが配置される。
以上のように、サウンドアイテムには、2チャネルのオーディオデータが配置される。そこで、次に、図15を参照して、4チャネルおよび8チャネルのオーディオデータが配置される場合について説明する。
図15は、図13のAV多重フォーマットのファイルボディ部の他の例を示している。図15の例の場合、サウンドアイテム群は、2ECCの固定長に構成され、ピクチャアイテムは、n個のECCの固定長に構成されている。なお、いまの場合、上段は、オーディオデータが8チャネルの場合のファイルボディ部を示し、下段は、オーディオデータが4チャネルの場合のファイルボディ部を示す。
上段に示されるように、オーディオデータが8チャネルの場合、サウンドアイテム群の1番目の1ECCには、その先頭から順に、24バイトのキー(K)およびレングス(L)、1チャネルと2チャネルのオーディオデータが1サンプルごとに交互に配置されたサウンドアイテム1(S1)、24バイトのキーおよびレングス、フィラーが配置され、24バイトのキーおよびレングス、3チャネルと4チャネルのオーディオデータが1サンプルごとに交互に配置されたサウンドアイテム2(S2)、24バイトのキーおよびレングス、フィラーが配置される。また、サウンドアイテム群の2番目の1ECCには、その先頭から順に、24バイトのキーおよびレングス、5チャネルと6チャネルのオーディオデータが1サンプルごとに交互に配置されたサウンドアイテム3(S3)、24バイトのキーおよびレングス、フィラーが配置され、24バイトのキーおよびレングス、7チャネルと8チャネルのオーディオデータが1サンプルごとに交互に配置されたサウンドアイテム4(S4)、24バイトのキーおよびレングス、フィラーが配置される。
次に、下段に示されるように、オーディオデータが4チャネルの場合、サウンドアイテム群の1番目の1ECCには、その先頭から順に、24バイトのキーおよびレングス、1チャネルと2チャネルのオーディオデータが1サンプルごとに交互に配置されたサウンドアイテム1(S1)、24バイトのキーおよびレングス、フィラーが配置され、24バイトのキーおよびレングス、3チャネルと4チャネルのオーディオデータが1サンプルごとに交互に配置されたサウンドアイテム2(S2)、24バイトのキーおよびレングス、フィラーが配置される。また、サウンドアイテム群の2番目の1ECCには、その先頭から順に、24バイトのキーおよびレングス、無音のオーディオデータが配置されたサウンドアイテム3(S3)、24バイトのキーおよびレングス、フィラーが配置され、24バイトのキーおよびレングス、無音のオーディオデータが1サンプルごとに交互に配置されたサウンドアイテム4(S4)、24バイトのキーおよびレングス、フィラーが配置される。
以上のように、オーディオデータが8チャネルの場合、2ECCにオーディオデータがそれぞれ4チャネルずつ配置され、オーディオデータが4チャネルの場合、1番目のECCに4チャネルのオーディオデータが配置され、2番目のECCに配置される4チャネル分のサウンドアイテムには、無音のオーディオデータが記録される。
次に、図16は、図13のピクチャアイテムの例を示している。上述したように、1年輪長のピクチャアイテムには、MPEG4方式で符号化された60(NTSCの場合)フレーム=6GOP(Group Of Picture)のビデオデータが配置されている。具体的には、525/59.94のNTSC規格の場合、ビデオデータは、60フレームで形成されるので、ピクチャアイテムには、1フレームのIピクチャと9フレームのPピクチャからなるGOPが、6つ配置されて構成される。また、625/50のPAL規格の場合、ビデオデータは、50フレームで形成されるので、ピクチャアイテムには、1フレームのIピクチャと9フレームのPピクチャからなるGOPが、5つ配置されて構成される。
以上のようにして、AV多重フォーマットのファイルボディ部のエッセンスコンテナにおいて、ビデオデータとオーディオデータが1年輪長毎に配置されて構成される。
次に、図17のフローチャートを参照して、上述したように構成されるAV多重フォーマットのファイル生成処理を説明する。
ユーザ(撮影者)は、操作部24のボタンなどを操作して、撮影したデータを、オンザフライで、編集装置6(またはPC7)に送信するとともに、光ディスク2に記録する指示を行う。操作部24は、ユーザからの指示を、ビデオ符号化部15、オーディオ符号化部16、入力部18、およびファイル生成部22に出力する。ファイル生成部22は、ステップS1において、撮影の開始が指示されるまで待機しており、操作部24からの指示に対応して、撮影の開始が指示されたと判断した場合、ステップS2に進む。
また、ユーザにより、撮影開始が指示されると、RAM13には、初期パラメータ情報が記憶される。この初期パラメータ情報は、NTSCであるかPALであるかの情報、年輪長、ビデオデータの年輪長あたりのフレーム数、オーディオのサンプル数などにより構成される。ファイル生成部22は、ステップS2において、RAM13に記憶されている初期パラメータ情報を取得し、ステップS3に進む。
ステップS3において、ファイル生成部22は、取得した初期パラメータ情報に基づいて、送信用ファイルヘッダ部を生成する。具体的には、送信用ファイルヘッダ部は、先頭のランインに、ムービデータアトム54のサイズが記述されたmdatヘッダが配置され、また、図4を参照して上述したように、メタデータにおいて、記録長(duration)などの実際に記録が終了しなければ取得できない情報には、ダミーデータとして、絶対に取りえない代表値(例えば、−1や0など)が記述されて、生成される。ファイル生成部22は、生成された送信用ファイルヘッダ部を、メモリ33に記憶し、ステップS4に進む。ファイル生成部22は、ステップS4において、通信部21を制御し、生成された送信用ファイルヘッダ部を、ネットワーク5を介して、編集装置6に送信し、ステップS5に進む。
一方、操作部24からの指示に対応して、入力部18の撮像部31は、被写体を撮像し、撮像したビデオデータをビデオ符号化部15に供給する。ビデオ符号化部15は、撮像部31より入力されたビデオデータをMPEG4方式で符号化し、ファイル生成部22に供給する。それと同時に、マイクロホン32は、集音したオーディオデータをオーディオ符号化部16に供給する。オーディオ符号化部16は、マイクロホン32より入力されたオーディオデータを、ITU-T G.711 A-Law方式で符号化し、ファイル生成部22に供給する。
ファイル生成部22は、ステップS5において、ファイルボディ部のデータを生成するファイルボディ部生成処理を実行する。このファイルボディ部生成処理を、図18のフローチャートを参照して説明する。
ファイル生成部22のメモリ33には、ビデオ符号化部15により符号化されたビデオデータ、およびオーディオ符号化部16により符号化されたオーディオデータが供給され、蓄積される。ファイル生成部22は、ステップS21において、1年輪長分のAVデータ(オーディオデータ、ビデオデータ)が蓄積されるまで待機しており、1年輪長分のAVデータが蓄積されたと判断した場合、ステップS22に進み、蓄積されたAVデータから、1年輪長分のエッセンスコンテナ53を生成し、ムービデータアトム55のmdatヘッダが記述されたボディパーティションパック部52を生成し、1年輪長分の年輪データ51を生成する。
すなわち、ファイル生成部22は、1年輪長分のオーディオデータと、ビデオデータの60(NTSCの場合)フレーム分ずつ、交互に多重化し、図12乃至図16を参照して上述したAV多重フォーマットのエッセンスコンテナ53を生成する。そして、ファイル生成部22は、ファイルの先頭からのオフセット値および前のボディパーティションパックのオフセット値が記述されたボディパーティションパックを生成し、ムービデータアトム55のサイズ(1年輪長)が記述されたmdatヘッダを生成する(すなわち、各ムービデータアトム55を構成する)ことにより、ボディパーティションパック部52を生成する。そして、ファイル生成部22は、1年輪長分の年輪データ51(ボディパーティションパック部52およびエッセンスコンテナ53)を、通信部21およびドライブ23に供給し、ステップS23に進む。
ステップS23において、ファイル生成部22は、生成したファイルボディ部の1年輪長のビデオデータのフレームサイズを取得し、取得されたフレームサイズをメモリ33に記憶し、ステップS24に進む。
ステップS24において、通信部21は、ファイル生成部22により生成されたファイルボディ部の1年輪長の年輪データ51を、ネットワーク5を介して、編集装置6に送信し、ステップS25に進む。
ステップS25において、ドライブ23は、ファイル生成部22により生成されたファイルボディ部の1年輪長の年輪データ51を、光ディスク2に記録し、ステップS26に進む。このとき、先頭のボディパーティションパック部52−1は、ファイルヘッダ部の図示せぬフィラー部分に記述される。したがって、ドライブ23は、最初の年輪データ51−1を記録する場合、記録用ファイルヘッダ部が記録されるECC分を考慮して、所定のECCの境界を、ファイルボディ部の記録開始点とし、そこから最初のエッセンスコンテナ53−1が記録できるように、記録開始点よりも前に最初のボディパーティションパック部52−1を、光ディスク2に記録する。なお、次の年輪データ51−2からは、前の年輪データ51−1に続いて、光ディスク2に記録される。
ファイル生成部22は、ステップS26において、すべてのAVデータに対して処理が終了したか否か(すなわち、撮影が終了したか否か)を判断する。なお、この間も、まだAVデータの処理が残っている場合は、ファイル生成部22のメモリ33には、ビデオ符号化部15により符号化されたビデオデータ、およびオーディオ符号化部16により符号化されたオーディオデータが供給され、蓄積されているので、ファイル生成部22は、まだ、AVデータの処理が終了していないと判断し、ステップS21に戻り、それ以降の処理を繰り返す。
一方、ファイル生成部22は、ステップS26において、すべてのAVデータに対して処理が終了したと判断した場合、図17のステップS6に戻り、ヘッダおよびフッタ生成処理を実行する。このヘッダおよびフッタ生成処理を、図19のフローチャートを参照して説明する。
AVデータが撮像され、図17のステップS5においてファイルボディ部が生成されたときの記録パラメータ情報が、RAM13に記憶されている。この記録パラメータ情報は、NTSCであるかPALであるかの情報、年輪長、ビデオデータの年輪長あたりのフレーム数、オーディオのサンプル数および記録長などにより構成される。すなわち、この記録パラメータ情報は、記録開始時に図17のステップS2において取得された初期パラメータ情報に、記録長など、ファイルボディ部の記録後にRAM13に記憶された記録情報が追加されている。
そこで、図19のステップS51において、ファイル生成部22は、RAM13より記録パラメータ情報を取得し、ステップS52に進む。ステップS52において、ファイル生成部22は、取得した記録パラメータ情報と、図18のステップS23において記録されたフレームサイズに基づいて、内部パラメータを設定し、ステップS53に進む。この内部パラメータは、例えば、GOPのサイズ情報やタイムスケールなどの時刻情報により構成される。
ステップS53において、ファイル生成部22は、設定した内部パラメータに基づいて、ファイルフッタ部を生成し、メモリ33に書き込む。このとき、ファイル生成部22は、図17のステップS3において生成された送信用ファイルヘッダ部のヘッダメタデータのダミーデータの実際の値が記述されている送信用ファイルフッタ部と、ヘッダメタデータのダミーデータの実際の値が記述されていない通常のファイルフッタ部(なお、以下、記録用ファイルフッタ部とも称する)を生成し、ステップS54に進む。
ステップS54において、ファイル生成部22は、設定した内部パラメータに基づいて、記録長などの情報が正確に記述されている通常のファイルヘッダ部(なお、以下記録用ファイルヘッダ部とも称する)を生成し、メモリ33に書き込み、ステップS55に進む。ステップS55において、ファイル生成部22は、図17のステップS5において生成されたムービデータアトムおよび設定した内部パラメータに基づいて、ムービアトムの各トラックアトムのサンプルテーブルを設定し、ステップS56に進み、設定された各サンプルテーブルの値に基づいて、アトムサイズを計算し、ムービアトムを生成し、メモリ33に書き込み、図17のステップS7に戻る。
図17のステップS7において、ファイル生成部22は、ステップS6において生成された送信用ファイルフッタ部およびムービアトムをメモリ33から読み出し、通信部21を制御し、ネットワーク5を介して、編集装置6に送信させ、ステップS8に進む。
ステップS8において、ファイル生成部22は、ステップS6において生成された記録用ファイルフッタ部およびムービアトムをメモリ33から読み出し、ドライブ23を制御し、光ディスク2に記録させ、ステップS9に進む。具体的には、ドライブ23は、ステップS3において光ディスク2に記録されたファイルボディ部の後に、記録用ファイルフッタ部およびムービアトムを結合して記録する。
ステップS9において、ファイル生成部22は、ステップS6において生成された記録用ファイルヘッダ部を読み出し、読み出された記録用ファイルヘッダ部を、ドライブ23を制御し、光ディスク2に記録し、ファイル生成処理を終了する。具体的には、ドライブ23は、光ディスク2に記録されたファイルボディ部の前に、ファイルの先頭から記録用ファイルヘッダ部を結合して記録する。これにより、AV多重フォーマットのファイルが光ディスク2に記録される。
以上のように、ファイルボディ部が、予め設定された1年輪長のエッセンスコンテナに分けて生成されるので、各ムービデータアトムのサイズが取得できる。これにより、被写体を撮影し、オンザフライで編集装置6やPC7に送信しても、QTのファイル構造が維持される。したがって、QTを有するPCでは、オンザフライで送信されたAV多重フォーマットのファイルを受信し、QTを用いて、再生することができる。すなわち、PCは、AV多重フォーマットのファイルの受信が完了すると、AV多重フォーマットのファイルのムービアトムを読み出し、ムービアトムの各テーブル情報に基づいて、各エッセンスコンテナのチャンクのオフセット値を求め、求められたオフセット値から、各エッセンスコンテナのチャンクに記述されているAVデータを再生することができる。
以上により、AV多重フォーマットを受信したMXFの規格に準拠した編集装置3では、オンザフライで送信されたAV多重フォーマットのファイルを受信し、送信用ファイルヘッダに基づいて、ファイルの先頭から順にリアルタイムに再生することができる。すなわち、編集装置3は、最初に受信された送信用ファイルヘッダから、先頭から再生するのに必要最低限の再生情報を取得できるので、受信された1年輪長のエッセンスコンテナ毎にAVデータをリアルタイムに再生することができる。
また、以上のようにして、AV多重フォーマットのファイルが光ディスク2に記録されるので、映像記録装置1は、光ディスク2を介して、編集装置3やPC4などと、AV多重フォーマットのファイルを交換することができる。
すなわち、映像記録装置1、MXFの規格に準拠した編集装置3および6、並びに、QTを有するPC4および間においては、AV多重フォーマットのファイルを用いて、ファイル交換を行うことができる。
さらに、以上のように、AV多重フォーマットのファイルが生成され、リアルタイムに、送信および光ディスク2への記録が可能であるので、送信および記録処理の効率アップが図れる。
次に、図20は、本発明を適用したAVネットワークシステムの他の構成例を示している。なお、図20において、図1における場合と対応する部分には対応する符号を付してあり、その説明は繰り返しになるので適宜省略する。
図20の例の場合、映像記録装置1は、QTを有するPC104とともに、音声を入力するとともに映像を撮像し、記録するために取材現場に持ち運ばれ、設置されている。
映像記録装置1の撮像部31は、被写体を撮像し、撮像したビデオデータをビデオ符号化部15に供給する。ビデオ符号化部15は、撮像部31より入力されたビデオデータを、放送局で放送するための高解像度のビデオデータと、高解像度のビデオデータより、データ量の少ない、通信や編集のための低解像度のビデオデータに符号化し、ファイル生成部22に供給する。一方、マイクロホン32は、集音したオーディオデータをオーディオ符号化部16に供給する。オーディオ符号化部16は、マイクロホン32より入力されたオーディオデータを、放送局で放送するための高音質のオーディオデータと、高音質のオーディオデータより、データ量の少ない、通信や編集のための低音質のオーディオデータに符号化し、ファイル生成部22に供給する。
ファイル生成部22は、ビデオ符号化部15より供給された高解像度と低解像度のビデオデータと、オーディオ符号化部16より供給された高音質と低音質のオーディオデータを用いて、高品質と低品質のAV多重フォーマットのファイルを生成し、ドライブ23を制御し、生成されたAV多重フォーマットのファイルを光ディスク2に記録させる。なお、符号化されたビデオデータおよびオーディオデータは、収録(撮像)と並行して光ディスク2に記録するとしたが、一旦、符号化されたビデオデータおよびオーディオデータを、記憶部20に一旦記録しておき、記憶部20から読み出して、AV多重フォーマットのファイルを生成し、記録するようにしてもよい。
また、ファイル生成部22は、収録およびドライブ23へのAV多重フォーマットのファイルの供給と並行して、通信部21への低品質のAV多重フォーマットのファイルの供給を行い、通信部21を制御し、1年輪長毎に生成されたAV多重フォーマットのファイルを、供給される毎に、例えば、通信衛星101を介して、放送局102に送信する。
放送局102は、編集装置103を有している。編集装置103は、図1の編集装置3および6と同様にMXFの規格に準拠するように構成されており、受信された低品質のAV多重フォーマットのファイルの送信用ファイルヘッダ部を認識する。そして、編集装置103は、送信用ファイルヘッダ部に基づいて、低品質のAV多重フォーマットのファイルのオーディオデータおよびビデオデータを、ファイルの先頭からリアルタイム再生する。また、編集装置103は、受信が完了してから低品質のAV多重フォーマットのオーディオデータおよびビデオデータを、所定の放送時間内に収めるように編集したり、シーン切り替えのための画像処理を施したり、スクリプトなどの付随したテキストデータを作成したりなどの編集を行う。そして、編集装置103は、低品質のAV多重フォーマットのオーディオデータおよびビデオデータの編集内容を、エディットリストなどとして、通信衛星101を介して、映像記録装置1に送信する。
なお、映像記録装置1は、低品質のAV多重フォーマットのファイルを、例えば、編集機材の近傍にあって、プロデューサなどが収録状況を確認しながら編集することが可能なPC104に送信するようにしてもよい。
PC104は、図1のPC4およびPC7と同様に構成され、QTを有している。したがって、PC104は、映像記録装置1から送信された低解像度のAV多重フォーマットのファイルを受信し、受信が完了してから、QTを用いて、再生したり、編集を行う。そして、PC104は、低品質のAV多重フォーマットのオーディオデータおよびビデオデータの編集内容を、エディットリストとして、通信衛星101を介して、またはブルートゥース(Bluetooth(登録商標))などの近距離無線通信により、映像記録装置1に送信する。すなわち、取材現場などに高価な専用の編集装置103がなくても、汎用で、さらに、携帯可能なPC104で、低解像度のAV多重フォーマットのファイルの確認や編集を行うことができる。
映像記録装置1の通信部21は、編集装置103またはPC104からのエディットリストを受信する。CPU11は、通信部21より供給されたエディットリストを、ドライブ23を制御し、光ディスク2に記録させる。なお、このとき、エディットリストは、例えば、ファイルヘッダ部のヘッダメタデータに記録される。光ディスク2は、高品質と低品質のAV多重フォーマットのファイル、およびエディットリストが記録された後、放送局102に持ち運ばれる。
放送局102においては、編集装置103により、光ディスク2から高解像度のビデオデータと、高音質のオーディオデータが読み出されて復号され、光ディスク2に記録されたエディットリストに従って、放送(オンエア)される。
なお、光ディスク2に低品質のAV多重フォーマットのファイルと高品質のAV多重フォーマットのファイルを記録するようにしたが、光ディスク2に、一方(例えば、高品質のAV多重フォーマットのファイル)だけを記録するようにし、他方(例えば、低品質のAV多重フォーマットのファイル)を、半導体メモリを用いたメモリカードなどの他の記録媒体に記録するようにしてもよい。
また、放送局102は、編集装置103を有するようにしたが、編集装置103の代わりに、PC104を有するようにしてもよいし、取材現場においては、PC104の代わりに、編集装置103を使用するようにしてもよい。
図21のフローチャートを参照して、図20のAVネットワークシステムの処理について説明する。なお、図21においては、映像記録装置1と編集装置103の処理について説明する。
映像記録装置1の撮像部31は、被写体を撮像しながら、撮像したビデオデータをビデオ符号化部15に供給する。ビデオ符号化部15は、撮像部31より入力されたビデオデータを、高解像度と低解像度に符号化し、ファイル生成部22に供給する。一方、マイクロホン32は、集音したオーディオデータをオーディオ符号化部16に供給する。オーディオ符号化部16は、マイクロホン32より入力されたオーディオデータを、高音質と低音質に符号化し、ファイル生成部22に供給する。
ステップS101において、映像記録装置1のファイル生成部22は、ビデオデータとオーディオデータを用いて、AV多重フォーマットのファイルを生成し、ドライブ23を制御し、光ディスク2に記録させる。また同時に、ファイル生成部22は、通信部21を制御し、生成されたAV多重フォーマットのファイルを、例えば、通信衛星101を介して、編集装置103に送信し、ステップS102に進む。
具体的には、ファイル生成部22は、ビデオ符号化部15より供給された高解像度と低解像度のビデオデータと、オーディオ符号化部16より供給された高音質と低音質のオーディオデータを用いて、高品質と低品質のAV多重フォーマットのファイルを生成し、ドライブ23を制御し、生成したAV多重フォーマットのファイルを光ディスク2に記録させ、同時に、通信部21を制御し、生成した低品質のAV多重フォーマットのファイルを、通信衛星101を介して、編集装置103に送信させる。
これに対応して、編集装置103は、ステップS121において、低品質のAV多重フォーマットのファイルを受信しながら、MXFの送信用ヘッダ部に基づいて、ファイルの先頭から、リアルタイムに再生し、ステップS122に進む。編集装置103は、ステップS122において、低品質のAV多重フォーマットのオーディオデータおよびビデオデータの編集し、ステップS123に進み、低品質のAV多重フォーマットのオーディオデータおよびビデオデータの編集内容を、エディットリストとして、通信衛星101を介して、映像記録装置1に送信する。
映像記録装置1の通信部21は、ステップS102において、編集装置103よりエディットリストを受信し、ステップS103に進み、受信したエディットリストを、光ディスク2に記録する。
この光ディスク2が、放送局102に持ち込まれるので、放送局102は、光ディスク2から高解像度のビデオデータと、高音質のオーディオデータが読み出して復号し、光ディスク2に記憶されたエディットリストに従って、放送する。
以上のように、AV多重フォーマットを用いて、MXFの規格に準拠した編集装置103においては、リアルタイム再生を行うことができる。さらに、低品質のAV多重フォーマットを用いることにより、通信や編集の負荷が軽減される。
図22のフローチャートを参照して、図20のAVネットワークシステムの他の処理について説明する。なお、図22においては、映像記録装置1とPC104の処理について説明する。なお、図22のステップS151乃至S153の処理は、図21のステップS101乃至S103と同様の処理を行うため、詳細な説明は省略する。
ステップS151において、映像記録装置1のファイル生成部22は、ビデオデータとオーディオデータを用いて、AV多重フォーマットを生成し、ドライブ23を制御し、光ディスク2に記録させる。また同時に、ファイル生成部22は、通信部21を制御し、生成されたAV多重フォーマットのファイルを、例えば、近距離無線通信により、PC104に送信し、ステップS152に進む。
これに対応して、PC104は、ステップS161において、低品質のAV多重フォーマットのファイルを受信し、ステップS162に進む。AV多重フォーマットのファイルの受信が完了すると、PC104は、ステップS162において、QTを用いて、低品質のAV多重フォーマットのオーディオデータおよびビデオデータを再生し、オーディオデータおよびビデオデータを編集し、ステップS163に進み、低品質のAV多重フォーマットのオーディオデータおよびビデオデータの編集内容を、エディットリストとして、近距離無線通信により、映像記録装置1に送信する。
映像記録装置1の通信部21は、ステップS152において、PC104よりエディットリストを受信し、ステップS153に進み、受信したエディットリストを、光ディスク2に記録する。
以上のように、QTファイルの構造を有するAV多重フォーマットを用いるようにしたので、被写体を撮像しながらオンザフライで送信された場合でも、PC104で、AV多重フォーマットのファイルの確認や編集を行うことができる。まさらに、低品質のAV多重フォーマットを用いることにより、通信や編集の負荷が軽減される。
以上により、収録されてから放送されるまでの時間を短縮することができる。また、汎用性のあるPC104を用いることができるので、収録にかかる費用も削減される。
なお、上記説明においては、映像記録装置においてAV多重フォーマットのファイルを生成するように説明したが、編集装置やPCにおいても、記憶されているデータや他の記録媒体からのデータから、AV多重フォーマットのファイルを生成することもできる。
また、本実施の形態では、映像記録装置において、光ディスクに対して、AV多重フォーマットのファイルを読み書きするようにしたが、AV多重フォーマットのファイルは、光ディスクなどのディスク状の記録媒体に限らず、磁気テープなどのテープ状の記録媒体や、半導体メモリなどに対して読み書きすることが可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図2に示されるように、光ディスク2などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納される記憶部20などにより構成される。
なお、本発明書において、ネットワークとは、少なくとも2つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。したがって、ネットワークには、インターネットやイントラネットなどはもちろんのこと、衛星や無線も含まれる。ネットワークを介して通信する装置は、独立した装置どうしであってもよいし、1つの装置を構成している内部ブロックどうしであってもよい。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本発明を適用したAVネットワークシステムの構成例を示す図である。 図1の映像記録装置の構成例を示すブロック図である。 図1の光ディスクに記録されたデータを説明する図である。 図1のAVネットワークシステムで用いられるAV多重フォーマットのファイルの構成例を示す図である。 図4のAV多重フォーマットのファイルの他の構成例を示す図である。 図4のAV多重フォーマットのファイルのさらに他の構成例を示す図である。 図6のムービアトムの構成例を示す図である。 図7の時間サンプルアトムの構成例を示す図である。 図7の同期アトムの構成例を示す図である。 図7のサンプルチャンクアトムの構成例を示す図である。 図7のサンプルサイズアトムの構成例を示す図である。 図7のチャンクオフセットアトムの構成例を示す図である。 図5のAV多重フォーマットのファイルボディ部の構成例を示す図である。 図13のサウンドアイテムの構成例を示す図である。 図5のAV多重フォーマットのファイルボディ部の他の構成例を示す図である。 図13のピクチャアイテムの構成例を示す図である。 図1の映像記録装置のAV多重フォーマットのファイルの生成処理を説明するフローチャートである。 図17のステップS5のファイルボディ部の生成処理を説明するフローチャートである。 図17のステップS6のヘッダおよびフッタの生成処理を説明するフローチャートである。 本発明のAVネットワークシステムの他の構成例を示す図である。 図20のAVネットワークシステムの処理の例を説明するフローチャートである。 図20のAVネットワークシステムの処理の他の例を説明するフローチャートである。
符号の説明
1 映像記録装置,2 光ディスク,3 編集装置,4 PC,5 ネットワーク,6 編集装置,7 PC,11 CPU,15 ビデオ符号化部,16 オーディオ符号化部,20 記憶部,21 通信部,22 ファイル生成部,23 ドライブ,33 メモリ,51−1乃至51−n 年輪データ,52−1乃至52−n ボディパーティションパック部,53−1乃至53−n エッセンスコンテナ,54 ムービデータアトム,55−1乃至55−n ムービデータアトム,56 ムービアトム,101 通信衛星,102 放送局,103 編集装置,104 PC

Claims (20)

  1. ヘッダ、ボディおよびフッタの順に構成されるフォーマットの、記録用ファイルおよび送信用ファイルを生成する情報処理装置であって、
    前記ファイルのリアルタイム送信のため、前記ボディが生成される前に、前記ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、前記ファイルを記録するため、前記ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成手段と
    前記送信用ヘッダを、他の情報処理装置に送信するヘッダ送信手段と、
    データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断手段と、
    前記データ判断手段により前記データが前記所定の単位分、前記メモリに蓄積されたと判断された場合、前記所定の単位毎に前記ボディを構成するデータを生成するボディ生成手段と、
    前記ヘッダ送信手段により前記送信用ヘッダが送信された後、前記ボディ生成手段により前記ボディを構成するデータが生成される度に、前記所定の単位毎に生成された前記ボディを構成するデータを、前記他の情報処理装置に送信するボディ送信手段と、
    前記ボディ生成手段により生成された前記ボディを構成するデータのサイズを取得する取得手段と、
    前記取得手段により取得された前記サイズに基づいて、前記ボディを構成するデータを読み出すためのテーブル情報であり、かつ、前記フッタの後に配置される前記テーブル情報を生成するテーブル生成手段と、
    前記ボディ送信手段により前記ボディが送信された後、前記フッタと前記テーブル生成手段により生成された前記テーブル情報を、前記他の情報処理装置に送信するフッタ送信手段と
    を備えることを特徴とする情報処理装置。
  2. 前記フォーマットは、MXF(Material exchange Format)であり、
    前記テーブル情報は、QT(Quick Time) (商標)により使用される情報である
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記データは、放送局で放送するための高品質のデータよりもデータ量の少ない低品質のデータである
    ことを特徴とする請求項1に記載の情報処理装置。
  4. 前記送信用ヘッダには、前記所定の単位、前記所定の単位あたりのフレーム数、およびサンプル数からなる前記初期パラメータ情報、前記送信用ヘッダに対応し、前記所定の単位とは異なるサイズを有する先頭領域のサイズ、並びにダミーの記録長が含まれる
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 前記ボディ生成手段により前記ボディを構成するデータが生成される度に、前記所定の単位毎に生成された前記ボディを構成するデータを記録媒体に記録するボディ記録手段と、
    前記ボディ記録手段により前記記録媒体に記録された前記ボディの後に、前記フッタと前記テーブル情報を記録するフッタ記録手段と、
    前記ボディ記録手段により前記記録媒体に記録された前記ボディの前に、前記記録用ヘッダを記録するヘッダ記録手段と
    をさらに備えることを特徴とする請求項1に記載の情報処理装置。
  6. ヘッダ、ボディおよびフッタの順に構成されるフォーマットの、記録用ファイルおよび送信用ファイルを生成する情報処理装置の情報処理方法であって、
    前記ファイルのリアルタイム送信のため、前記ボディが生成される前に、前記ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、前記ファイルを記録するため、前記ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成ステップと
    前記送信用ヘッダを、他の情報処理装置に送信するヘッダ送信ステップと、
    データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断ステップと、
    前記データ判断ステップの処理により前記データが前記所定の単位分、前記メモリに蓄積されたと判断された場合、前記所定の単位毎に前記ボディを構成するデータを生成するボディ生成ステップと、
    前記ヘッダ送信ステップの処理により前記送信用ヘッダが送信された後、前記ボディ生成ステップの処理により前記ボディを構成するデータが生成される度に、前記所定の単位毎に生成された前記ボディを構成するデータを、前記他の情報処理装置に送信するボディ送信ステップと、
    前記ボディ生成ステップの処理により生成された前記ボディを構成するデータのサイズを取得する取得ステップと、
    前記取得ステップの処理により取得された前記サイズに基づいて、前記ボディを構成するデータを読み出すためのテーブル情報であり、かつ、前記フッタの後に配置される前記テーブル情報を生成するテーブル生成ステップと、
    前記ボディ送信ステップの処理により前記ボディが送信された後、前記フッタと前記テーブル生成ステップの処理により生成された前記テーブル情報を、前記他の情報処理装置に送信するフッタ送信ステップと
    を含むことを特徴とする情報処理方法。
  7. 前記フォーマットは、MXF(Material exchange Format)であり、
    前記テーブル情報は、QT(Quick Time) (商標)により使用される情報である
    ことを特徴とする請求項6に記載の情報処理方法。
  8. 前記データは、放送局で放送するための高品質のデータよりもデータ量の少ない低品質のデータである
    ことを特徴とする請求項6に記載の情報処理方法。
  9. 前記送信用ヘッダには、前記所定の単位の単位長、前記単位長あたりのフレーム数、およびサンプル数からなる前記初期パラメータ情報、前記送信用ヘッダに対応し、前記所定の単位とは異なるサイズを有する先頭領域のサイズ、並びにダミーの記録長が含まれる
    ことを特徴とする請求項6に記載の情報処理方法。
  10. 前記ボディ生成ステップの処理により前記ボディを構成するデータが生成される度に、
    前記所定の単位毎に生成された前記ボディを構成するデータを記録媒体に記録するボディ記録ステップと、
    前記ボディ記録ステップの処理により前記記録媒体に記録された前記ボディの後に、前記フッタと前記テーブル情報を記録するフッタ記録ステップと、
    前記ボディ記録ステップの処理により前記記録媒体に記録された前記ボディの前に、前記記録用ヘッダを記録するヘッダ記録ステップと
    をさらに含むことを特徴とする請求項6に記載の情報処理方法。
  11. ヘッダ、ボディおよびフッタからなるフォーマットの、記録用ファイルおよび送信用ファイルを生成する情報処理をコンピュータに行わせるプログラムが記録されるプログラム記録媒体であって、
    前記ファイルのリアルタイム送信のため、前記ボディが生成される前に、前記ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、前記ファイルを記録するため、前記ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成ステップと
    前記送信用ヘッダを、情報処理装置に送信するヘッダ送信ステップと、
    データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断ステップと、
    前記データ判断ステップの処理により前記データが前記所定の単位分、前記メモリに蓄積されたと判断された場合、前記所定の単位毎に前記ボディを構成するデータを生成するボディ生成ステップと、
    前記ヘッダ送信ステップの処理により前記送信用ヘッダが送信された後、前記ボディ生成ステップの処理により前記ボディを構成するデータが生成される度に、前記所定の単位毎に生成された前記ボディを構成するデータを、前記情報処理装置に送信するボディ送信ステップと、
    前記ボディ生成ステップの処理により生成された前記ボディを構成するデータのサイズを取得する取得ステップと、
    前記取得ステップの処理により取得された前記サイズに基づいて、前記ボディを構成するデータを読み出すためのテーブル情報であり、かつ、前記フッタの後に配置される前記テーブル情報を生成するテーブル生成ステップと、
    前記ボディ送信ステップの処理により前記ボディが送信された後、前記フッタと前記テーブル生成ステップの処理により生成された前記テーブル情報を、前記情報処理装置に送信するフッタ送信ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。
  12. 前記フォーマットは、MXF(Material exchange Format)であり、
    前記テーブル情報は、QT(Quick Time) (商標)により使用される情報である
    ことを特徴とする請求項11に記載のプログラム記録媒体。
  13. 前記データは、放送局で放送するための高品質のデータよりもデータ量の少ない低品質のデータである
    ことを特徴とする請求項11に記載のプログラム記録媒体。
  14. 前記送信用ヘッダには、前記所定の単位の単位長、前記単位長あたりのフレーム数、およびサンプル数からなる前記初期パラメータ情報、前記送信用ヘッダに対応し、前記所定の単位とは異なるサイズを有する先頭領域のサイズ、並びにダミーの記録長が含まれる
    ことを特徴とする請求項11に記載のプログラム記録媒体。
  15. 前記ボディ生成ステップの処理により前記ボディを構成するデータが生成される度に、前記所定の単位毎に生成された前記ボディを構成するデータを記録媒体に記録するボディ記録ステップと、
    前記ボディ記録ステップの処理により前記記録媒体に記録された前記ボディの後に、前記フッタと前記テーブル情報を記録するフッタ記録ステップと、
    前記ボディ記録ステップの処理により前記記録媒体に記録された前記ボディの前に、前記記録用ヘッダを記録するヘッダ記録ステップと
    をさらに含むことを特徴とする請求項11に記載のプログラム記録媒体。
  16. ヘッダ、ボディおよびフッタからなるフォーマットの、記録用ファイルおよび送信用ファイルを生成する情報処理をコンピュータに行わせるプログラムであって、
    前記ヘッダは、前記ファイルのリアルタイム送信のため、前記ボディが生成される前に、前記ファイルのリアルタイム再生に必要な初期パラメータ情報を含むように生成される送信用ヘッダと、前記ファイルを記録するため、前記ボディが生成された後に生成される記録用ヘッダとを生成するヘッダ生成ステップと
    前記送信用ヘッダを、情報処理装置に送信するヘッダ送信ステップと、
    データが所定の単位分、メモリに蓄積されたか否かを判断するデータ判断ステップと、
    前記データ判断ステップの処理により前記データが前記所定の単位分、前記メモリに蓄積されたと判断された場合、前記所定の単位毎に前記ボディを構成するデータを生成するボディ生成ステップと、
    前記ヘッダ送信ステップの処理により前記送信用ヘッダが送信された後、前記ボディ生成ステップの処理により前記ボディを構成するデータが生成される度に、前記所定の単位毎に生成された前記ボディを構成するデータを、前記情報処理装置に送信するボディ送信ステップと、
    前記ボディ生成ステップの処理により生成された前記ボディを構成するデータのサイズを取得する取得ステップと、
    前記取得ステップの処理により取得された前記サイズに基づいて、前記ボディを構成するデータを読み出すためのテーブル情報であり、かつ、前記フッタの後に配置される前記テーブル情報を生成するテーブル生成ステップと、
    前記ボディ送信ステップの処理により前記ボディが送信された後、前記フッタと前記テーブル生成ステップの処理により生成された前記テーブル情報を、前記情報処理装置に送信するフッタ送信ステップと
    を含むことを特徴とするプログラム。
  17. 前記フォーマットは、MXF(Material exchange Format)であり、
    前記テーブル情報は、QT(Quick Time) (商標)により使用される情報である
    ことを特徴とする請求項16に記載のプログラム。
  18. 前記データは、放送局で放送するための高品質のデータよりもデータ量の少ない低品質のデータである
    ことを特徴とする請求項16に記載のプログラム。
  19. 前記送信用ヘッダには、前記所定の単位の単位長、前記単位長あたりのフレーム数、およびサンプル数からなる前記初期パラメータ情報、前記送信用ヘッダに対応し、前記所定の単位とは異なるサイズを有する先頭領域のサイズ、並びにダミーの記録長が含まれる
    ことを特徴とする請求項16に記載のプログラム。
  20. 前記ボディ生成ステップの処理により前記ボディを構成するデータが生成される度に、
    前記所定の単位毎に生成された前記ボディを構成するデータを記録媒体に記録するボディ記録ステップと、
    前記ボディ記録ステップの処理により前記記録媒体に記録された前記ボディの後に、前記フッタと前記テーブル情報を記録するフッタ記録ステップと、
    前記ボディ記録ステップの処理により前記記録媒体に記録された前記ボディの前に、前記記録用ヘッダを記録するヘッダ記録ステップと
    をさらに含むことを特徴とする請求項16に記載のプログラム。
JP2003272171A 2003-07-09 2003-07-09 情報処理装置および方法、プログラム記録媒体、並びにプログラム Expired - Fee Related JP3891295B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003272171A JP3891295B2 (ja) 2003-07-09 2003-07-09 情報処理装置および方法、プログラム記録媒体、並びにプログラム
US10/885,037 US20050025460A1 (en) 2003-07-09 2004-07-07 Information-processing apparatus, information-processing method, program-recording medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003272171A JP3891295B2 (ja) 2003-07-09 2003-07-09 情報処理装置および方法、プログラム記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2005033630A JP2005033630A (ja) 2005-02-03
JP2005033630A5 JP2005033630A5 (ja) 2005-07-07
JP3891295B2 true JP3891295B2 (ja) 2007-03-14

Family

ID=34100758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003272171A Expired - Fee Related JP3891295B2 (ja) 2003-07-09 2003-07-09 情報処理装置および方法、プログラム記録媒体、並びにプログラム

Country Status (2)

Country Link
US (1) US20050025460A1 (ja)
JP (1) JP3891295B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4562115B2 (ja) * 2003-06-11 2010-10-13 ソニー株式会社 ファイル生成装置および方法、プログラム、並びに記録媒体
JP4228288B2 (ja) * 2003-06-11 2009-02-25 ソニー株式会社 記録制御装置および方法、プログラム、並びにデータ記録方法
US20060092982A1 (en) * 2004-10-29 2006-05-04 Mediatek Incorporation Methods for media file recording, and recovery after power failure, and related devices
EP1713284A1 (en) * 2005-04-15 2006-10-18 Deutsche Thomson-Brandt Gmbh Method and device for recording digital data
EP1713285B1 (en) * 2005-04-15 2015-09-09 Thomson Licensing Method and device for recording digital data
JP4991034B2 (ja) * 2005-11-04 2012-08-01 エルジー エレクトロニクス インコーポレイティド モバイル通信ターミナル及びモバイル通信ターミナルのメディア再生時間を計算する方法
JP4172500B2 (ja) * 2006-05-30 2008-10-29 ソニー株式会社 記録装置および方法、プログラム、並びに記録媒体
US20080294691A1 (en) * 2007-05-22 2008-11-27 Sunplus Technology Co., Ltd. Methods for generating and playing multimedia file and recording medium storing multimedia file
US8489702B2 (en) 2007-06-22 2013-07-16 Apple Inc. Determining playability of media files with minimal downloading
JP2013051607A (ja) 2011-08-31 2013-03-14 Canon Inc データ処理装置、方法および制御プログラム
EP2600257A1 (en) * 2011-11-30 2013-06-05 Thomson Licensing Method and apparatus for processing digital content
GB2499040B (en) * 2012-02-03 2019-06-19 Quantel Ltd Methods and systems for providing file data for a media file
GB2499039B (en) 2012-02-03 2019-06-19 Quantel Ltd Methods and systems for providing file data for a media file
KR102179384B1 (ko) * 2012-11-30 2020-11-16 삼성전자주식회사 컨텐트를 저장한 정보저장매체, 컨텐트 제공 방법, 컨테트 재생 방법 및 그 장치
US9454995B2 (en) 2012-11-30 2016-09-27 Samsung Electronics Co., Ltd. Information storage medium storing content, content providing method, content reproducing method and apparatus therefor
JP5624658B2 (ja) * 2013-08-22 2014-11-12 キヤノン株式会社 データ処理装置、方法および制御プログラム
JP6355392B2 (ja) 2014-04-02 2018-07-11 キヤノン株式会社 記録装置およびその制御方法、並びに記憶媒体
WO2020170659A1 (ja) * 2019-02-21 2020-08-27 株式会社日立国際電気 編集システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453355B1 (en) * 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
GB2366926A (en) * 2000-09-06 2002-03-20 Sony Uk Ltd Combining material and data
US7187852B1 (en) * 2001-10-24 2007-03-06 Apple Computer, Inc. Method and apparatus for on-the-fly DVD encoding
US7149750B2 (en) * 2001-12-19 2006-12-12 International Business Machines Corporation Method, system and program product for extracting essence from a multimedia file received in a first format, creating a metadata file in a second file format and using a unique identifier assigned to the essence to access the essence and metadata file
JP3871210B2 (ja) * 2002-09-19 2007-01-24 ソニー株式会社 変換装置および変換方法、プログラム、並びにデータ構造
EP1427213A1 (en) * 2002-12-06 2004-06-09 Thomson Licensing S.A. Method for recording data , method for retrieving sets of data, data file, data structure and recording medium
JP3969656B2 (ja) * 2003-05-12 2007-09-05 ソニー株式会社 情報処理装置および方法、プログラム記録媒体、並びにプログラム
US20040240541A1 (en) * 2003-05-29 2004-12-02 International Business Machines Corporation Method and system for direct ingest and storage of digital video content with immediate access to content for browsing and editing

Also Published As

Publication number Publication date
JP2005033630A (ja) 2005-02-03
US20050025460A1 (en) 2005-02-03

Similar Documents

Publication Publication Date Title
JP3891295B2 (ja) 情報処理装置および方法、プログラム記録媒体、並びにプログラム
CN1168299C (zh) 包括多数据流配置控制转换的便携式视频录制设备
JP4332365B2 (ja) メタデータ表示システム,映像信号記録再生装置,撮像装置,メタデータ表示方法
JP4332364B2 (ja) 映像記録システム,映像記録方法
US8204919B2 (en) File generation apparatus, method, program, and recording medium
JP3969656B2 (ja) 情報処理装置および方法、プログラム記録媒体、並びにプログラム
JP4450021B2 (ja) 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム
JP2004007648A (ja) 映像音声データ記録装置、映像音声データ記録方法、映像音声データ再生装置、並びに、映像音声データ再生方法
JP2007012112A (ja) データ記録装置及びその方法、プログラム、記録媒体
CN102474588A (zh) 发送控制装置、接收控制装置、发送控制方法、接收控制方法、以及发送控制程序
CN100380958C (zh) 发送装置、发送方法、再现装置、再现方法
WO2007097803A1 (en) Continuous color grading technique
US20050207739A1 (en) Content transmitting apparatus, content receiving apparatus, content transmitting and receiving system, content transmitting method, and content receiving method
JP4466482B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4225339B2 (ja) 画像データ処理装置および方法、プログラム、並びに記録媒体
EP2234392B1 (en) Material processing apparatus and material processing method
WO2004110062A1 (ja) データ編集システム、データ編集方法、データ処理装置、サーバ装置
WO2020170659A1 (ja) 編集システム
US8355618B2 (en) Image recording system, image recording apparatus, and image recording method
JP4062832B2 (ja) データ記録再生装置及びデータ記録再生方法
JP3436505B2 (ja) デジタル情報信号記録方法、デジタル情報信号記録装置、及びデジタル情報信号記録媒体
JP4725675B2 (ja) 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム
KR101447190B1 (ko) 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법
JP2011103617A (ja) 映像処理装置
JP2010212772A (ja) 映像データ送信装置、映像データ受信装置およびそれらを備えた映像伝送システム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060703

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061128

LAPS Cancellation because of no payment of annual fees