JP4507515B2 - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents
情報処理装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP4507515B2 JP4507515B2 JP2003181998A JP2003181998A JP4507515B2 JP 4507515 B2 JP4507515 B2 JP 4507515B2 JP 2003181998 A JP2003181998 A JP 2003181998A JP 2003181998 A JP2003181998 A JP 2003181998A JP 4507515 B2 JP4507515 B2 JP 4507515B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- metadata
- information
- clip
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 65
- 230000010365 information processing Effects 0.000 title claims description 18
- 239000000463 material Substances 0.000 claims description 17
- 238000003672 processing method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 52
- 238000003384 imaging method Methods 0.000 description 45
- 238000006243 chemical reaction Methods 0.000 description 23
- 239000000945 filler Substances 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000013035 low temperature curing Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【発明の属する技術分野】
本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、映像等のデータをより容易に検索したり、編集したりできるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。
【0002】
【従来の技術】
近年、TV番組やビデオコンテンツなどの映像作品の制作分野では、撮影した映像素材のデータ(以下、素材データとも記述する)に関する情報が記述されているメタデータの利用が進んできている。ここでメタデータとは、素材データを検索したり、素材データを編集したりするために用いられるものである。
【0003】
メタデータを有効活用するためには、例えば、ビデオカメラ等のビデオ信号記録装置が生成したメタデータを、編集機器等のビデオ信号再生装置が利用できるように、映像作品の制作に利用される複数の機器間で、メタデータの互換性が必要となる。
【0004】
そこで、メタデータの表記形式や意味に一貫性を持たせるために、メタデータの表記形式の標準化が進められてきた。例えば、特開2001-176188号公報(第42段落など)には、汎用性が高いXML(eXtensible Markup Language)を用いてメタデータを記述することが開示されている。また、例えば、MPEG(Moving Picture Experts Group)7においては、汎用性が高いXMLを用いてメタデータを記述することにより、メタデータの表記形式の標準化がなされている。
【0005】
【発明が解決しようとする課題】
ところで、上述したMPEG7により規定されているメタデータは、例えば、素材データの絶対的な再生位置を示すタイムコードのような素材データとのリアルタイムな対応が要求されるリアルタイムメタデータと、例えば素材データを撮影した場所を示す情報のような素材データとのリアルタイムな対応が要求されないノンリアルタイムメタデータに分類される。
【0006】
リアルタイムメタデータは、素材データの再生と並行して読み出され、利用されることが多いので、リアルタイムメタデータの読み出しに要する時間やリソースをより減少させることを目的として、XMLを用いて記述されているリアルタイムメタデータをバイナリ形式で圧縮符号化し、得られる符号化データ(以下、BiM(Binary format for MPEG-7 data)とも記述する)として記録する方法がある。
【0007】
上述したように、リアルタイムメタデータをBiMとして記録した場合、XMLで記述されたリアルタイムメタデータを記録した場合よりも少ないリソースで読み出すことが可能であり、その処理に要する時間も減少させることが可能である。しかしながら、より効率的なBiMの利用については、何ら検討されていないという課題があった。
【0008】
本発明はこのような状況に鑑みてなされたものであり、素材データに関する情報が記述されているメタデータをバイナリ形式で符号化して生成する符号化データをより効率的に利用できるようにするものである。
【0009】
【課題を解決するための手段】
本発明の情報処理装置は、メタデータを記述する記述手段と、記述手段によって記述されたメタデータをバイナリ形式で符号化して、符号化データを生成する符号化データ生成手段とを含み、記述手段は、符号化データ生成手段によって生成される符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、所定の項目の情報に、実質的には意味がないBitfillerを追加してメタデータを記述する。
【0010】
前記所定の項目の情報には、少なくとも、LTC、UMID、またはKLVのうちの1つを含むようにすることができる。
【0011】
前記記述手段は、メタデータをXMLを用いて記述するようにすることができる。
【0012】
前記符号化データ生成手段は、記述手段によってXMLを用いて記述されたメタデータをバイナリ形式で符号化して、BiMを生成するようにすることができる。
【0013】
前記メタデータは、素材データの再生と同時に読み出されるべきリアルタイムメタデータであるようにすることができる。
【0014】
本発明の情報処理方法は、メタデータを記述する記述ステップと、記述ステップの処理で記述されたメタデータをバイナリ形式で符号化して、符号化データを生成する符号化データ生成ステップとを含み、記述ステップの処理は、符号化データ生成ステップの処理で生成される符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、所定の項目の情報に、実質的には意味がないBitfillerを追加してメタデータを記述する。
【0015】
本発明のプログラムは、メタデータを記述する記述ステップと、記述ステップの処理で記述されたメタデータをバイナリ形式で符号化して、符号化データを生成する符号化データ生成ステップとを含む処理をコンピュータに実行させ、記述ステップの処理は、符号化データ生成ステップの処理で生成される符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、所定の項目の情報に、実質的には意味がないBitfillerを追加してメタデータを記述する。
【0016】
本発明の記録媒体のプログラムは、メタデータを記述する記述ステップと、記述ステップの処理で記述されたメタデータをバイナリ形式で符号化して、符号化データを生成する符号化データ生成ステップとを含む処理をコンピュータに実行させ、記述ステップの処理は、符号化データ生成ステップの処理で生成される符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、所定の項目の情報に、実質的には意味がないBitfillerを追加してメタデータを記述する。
【0017】
本発明においては、生成される符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、所定の項目の情報に、実質的には意味がないBitfillerが加されてメタデータが記述される。
【0022】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する
【0023】
図1は、本発明を適用した映像プログラム制作支援システムの構成例を示している。この映像プログラム制作支援システム1は、例えば、テレビジョン信号を放送するテレビジョン放送局や、ビデオや映画等の映像コンテンツの制作会社等において設けられるシステムであり、テレビジョン番組や映画等の映像作品である映像プログラムを制作するためのシステムである。映像プログラム制作支援システム1は、映像プログラムの制作を分担する複数の部署間で、電子ファイル形式で構成される、映像プログラムに付加されたメタデータ等を一貫して利用できるようになされており、映像プログラムを効率よく作成するためのシステムである。
【0024】
映像プログラム制作支援システム1は、映像プログラムの企画を行う企画用端末装置11、企画用端末装置11が接続されたネットワーク12、ネットワーク12に接続された取材用端末装置13、取材用端末装置13を構成する撮像装置14およびフィールドPC/PDA(Personal Computer/Personal Digital Assistants)15(以下、フィールドPC15と称する)、同様に、ネットワーク12に接続される編集用端末装置16、並びに、記録媒体である光ディスク17により構成される。
【0025】
企画用端末装置11は、例えば、パーソナルコンピュータ等の情報処理装置およびその周辺装置等により構成され、映像プログラムの企画が行われる企画構成部署等に設けられる。この企画構成部署は、映像プログラムの制作全体を統括する部署であり、制作する映像プログラムの企画および構想を行って、映像プログラムのシナリオ(筋書き)を作成するとともに、後述する取材部署および編集部署等の他部署に制作作業内容を指示する部署である。
【0026】
企画用端末装置11は、例えば、映像プログラムのシナリオに対応する制作指示情報等を含む、電子ファイル形式の構成表メタデータを映像プログラム毎に作成する等の処理を行う。企画用端末装置11は、生成した構成表メタデータを、ネットワーク12を介して取材用端末装置13等に供給する。これにより、企画構成部署は、取材部署等に対して、取材または撮影すべき場面や内容の指示を行う。
【0027】
取材用端末装置13は、取材を行う取材部署によって用いられる端末装置群であり、撮像装置14とフィールドPC15により構成される。この取材部署は、例えば、企画構成部署からの制作指示やシナリオに従って、制作現場で実際に取材を行う部署であり、映像プログラムを構成する各場面の映像を撮影するとともに、撮影状況を取材する部署である。
【0028】
撮像装置14は、例えば、カムコーダ(登録商標)等のビデオカメラからなり、放送用のニュース番組の取材や、スポーツ等の試合の模様、映画などの映像コンテンツの撮影に使用される装置である。この撮像装置14は、ネットワーク12に接続されており、例えば、上述した企画用端末装置11から、ネットワーク12を介して構成表メタデータを取得する。そして、撮像装置14は、その取得した構成表メタデータを所定の表示部等に表示し、カメラマン等の撮影スタッフに撮影すべき内容を認識させる。また、撮像装置14は、撮影スタッフに操作され、取得した構成表メタデータの制作指示情報に基づいて、映像プログラムを構成する各場面の撮影を行う。そして、撮影により得られた画像データや音声データを光ディスク17等の記録媒体に記録する。
【0029】
また、撮像装置14は、例えば、撮像により得られた画像データであるオリジナルの画像データだけでなく、ローレゾリューション(low resolution:低解像度)画像データ(以下、ローレゾデータと称する)を光ディスク17に記録することができる。オリジナルの画像データは、データ量が大きいが、高画質な画像データであるので、映像プログラムの完成品に用いられる。一方、ローレゾデータは、オリジナルの画像データから各フレームの画素数が間引かれること等によって生成された、画素数の少ないフレームの画像に対応する画像データである。また、ローレゾデータは、さらに、例えば、MPEG4方式等でエンコードされているようにしてもよい。このローレゾデータは、オリジナルの画像データと比較して低画質であるが、データ量が小さいので、送信や再生など処理の負荷が軽く、主に粗編集処理等に利用される。
【0030】
撮像装置14により、画像データや音声データ等を記録された光ディスク17は、例えば、後述する編集部署やフィールドPC15等に搬送され、利用される。しかしながら、光ディスク17の搬送にはある程度の時間を要するため、撮像装置14は、ネットワーク12を介して、企画用端末装置11、フィールドPC15、または編集端末装置16等に、映像コンテンツを供給できるようにしてもよい。この場合、撮像装置14は、転送時間を短縮するために(転送処理の負荷を軽減するために)、撮像により得られた画像データの代わりに、その画像データに対応する、データ量の小さいローレゾデータを供給するようにするのが望ましい。
【0031】
なお、撮像装置14によるローレゾデータの転送処理は、どのようなタイミングで行うようにしてもよく、撮像処理と並行して行うようにしてもよいし、撮像処理の終了後に一括して行うようにしてもよい。
【0032】
このように、光ディスク17の搬送に先駆けて、ローレゾデータを転送することにより、編集部署は、搬送された光ディスク17が到着していなくても、比較的早い段階で(例えば、撮像処理と同時並行して)、編集作業を行うことができるので、映像プログラムの制作効率を高めることができる。なお、上述のように、ローレゾデータがネットワーク12を介して伝送される場合、撮像装置14は、例えば、オリジナルの画像データや音声データのみを光ディスク17に記録するようにしてもよい(ローレゾデータを光ディスク17に記録しないようにしてもよい)。
【0033】
なお、撮像装置14が映像コンテンツ等を記録する記録媒体としては、上述した光ディスク17の例に限定されず、どのような記録媒体であってもよい。例えば、フレキシブルディスクを含む磁気ディスク、DV(Digital Video)やVHS(Video Home System)に用いられる磁気テープ、フラッシュメモリ等を含む半導体メモリ等であってもよい。
【0034】
フィールドPC15は、例えば、ノート型パーソナルコンピュータやPDA等の携帯可能な情報処理装置および周辺装置などで構成される。フィールドPC15は、撮像装置14と各種の有線または無線回線等により接続されており、例えば、構成表メタデータや映像コンテンツなどを撮像装置14と共有することができる。
【0035】
フィールドPC15は、例えば、ネットワーク12を介して、企画用端末装置11から構成表メタデータを取得したり、撮像装置14から構成表メタデータを取得したりする。フィールドPC15は、取得した構成表メタデータを所定の表示部に表示し、取材部署担当者に取材、撮影すべき内容を認識させる。
【0036】
さらに、フィールドPC15は、ユーザである取材部署担当者の入力に基づいて、取材・撮影状況に関する情報である撮影状況情報を生成し、生成した撮影状況情報を構成表メタデータ内の該当欄に追加する。この撮影状況情報は、例えば、テイクごとや取材場所ごとに多様な観点で記載されたテキストデータ等であり、後段の編集処理時に有用となる情報である。このように、フィールドPC15は、撮影状況情報を書き込むことによって構成表メタデータを編集する。また、フィールドPC15は、撮影状況情報をメタデータとして撮像装置14に供給し、撮像装置14において得られた画像データや音声データに付加させる。
【0037】
編集用端末装置16は、例えば、パーソナルコンピュータ等の情報処理装置および周辺装置により構成され、映像コンテンツの編集処理を行う編集部署に設けられる。編集部署は、企画構成部署による制作指示やシナリオ、取材部署における取材状況を反映した構成表メタデータ等に基づいて、撮像装置14により得られた画像データや音声データを編集し、映像プログラムを完成させる部署である。
【0038】
編集用端末装置16は、例えば、撮像装置14から、ネットワーク12を介して、更新された構成表メタデータやローレゾデータを取得する。また、編集用端末装置16は、撮像装置14によって画像データや音声データが記録された光ディスク17から、オリジナルの画像データや音声データを再生する。さらに、編集用端末装置16は、企画用端末装置11からネットワーク12を介して、直接的に制作指示を取得することも可能である。
【0039】
編集用端末装置16は、以上のように取得した構成表メタデータに基づいて、取得した映像コンテンツデータを好適に再生して表示する。例えば、編集用端末装置16は、ユーザに操作され、ネットワーク12を介して取得したローレゾデータや、光ディスク17に記録されているオリジナルの画像データや音声データを、シナリオに従った順序で連続的に表示したり、所望のクリップの画像データのみを表示したりする。なお、光ディスク17に記録されているオリジナルの画像データを再生する場合、編集用端末装置16は、例えば、光ディスク17に記録されているデータを読み出したり、光ディスク17にデータを書き込んだりする記録再生装置であるディスク装置等を利用する。
【0040】
また、編集用端末装置16は、例えば、構成表メタデータに基づいて必要な画像データ等を好適な順序で再生し、表示するだけでなく、取材により得られた画像データ等の編集処理を行う。この編集処理としては、粗編集処理と本編集処理がある。
【0041】
粗編集処理は、画像データや音声データに対する簡易的な編集処理である。例えば、編集用端末装置16は、粗編集処理において、例えば、1回の撮像処理を示す単位であるクリップに対応する、画像データや音声データ等を含む映像コンテンツに関するデータ(以下、クリップデータと称する)を複数取得した場合に、それらのクリップデータの中から、本編集で使用すべきクリップデータを選択し、選択されたクリップデータの中から、さらに必要な映像部分を選択(Logging)し、その選択された映像部分に対応する編集開始位置(In点)および編集終了位置(Out点)を例えば、タイムコード等を利用して設定し、上述したクリップデータの中から、対応する部分を抽出(Ingesting)する。
【0042】
なお、クリップは、1回の撮像処理だけでなく、その撮像処理の撮像開始から撮像終了までの時間を示す単位でもあり、その撮像処理により得られた各種のデータの長さを示す単位でもあり、その撮像処理により得られた各種のデータのデータ量を示す単位でもある。さらに、クリップは、その各種のデータの集合体そのものも示す場合もある。
【0043】
本編集処理は、粗編集処理が施された各クリップデータを繋ぎ合わせ、その画像データに対して、最終的な画質調整等を行い、番組などで放送するためのデータである完全パッケージデータを作成する処理である。
【0044】
なお、上述した企画用端末装置11、撮像装置14、フィールドPC15、編集用端末装置16等の各装置は、それぞれ、複数台により構成されるようにしてもよい。例えば、複数台の撮像装置14において得られた画像データ等を、1台の編集用端末装置16が光ディスク17やネットワーク12を介して取得し、そのデータに対して編集処理を行うようにしてもよいし、1台の撮像装置14より供給されたデータが、複数台の編集用端末装置16により編集されるようにしてもよい。
【0045】
逆に、上述した企画用端末装置11、撮像装置14、フィールドPC15、および編集用端末装置16等の各装置は、それぞれ、別体として構成されるように説明したが、これに限らず、各装置の機能の一部または全部が互いに一体化して構成されるようにしてもよい。
【0046】
また、上述した企画用端末装置11、撮像装置14、フィールドPC15、および編集用端末装置16とは別に、映像プログラム制作支援システム1に、例えば、ネットワーク12に接続されたセンタサーバ(図示せず)を設け、企画用端末装置11、撮像装置14、フィールドPC15、および編集用端末装置16等をクライアントとした、クライアント/サーバ(Client/Server)システムとして構成するようにしてもよい。
【0047】
図2は、図1の編集用端末装置16の詳細な構成例を示している。編集用端末装置16のCPU(Central Processing Unit)51は、ROM(Read Only Memory)52に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)53には、CPU51が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。
【0048】
クリップデータ編集部54は、出力部62を制御してディスプレイ等にGUI(Graphical User Interface)等を表示させ、入力部61が受け付けたユーザからの操作入力に基づいて、ドライブ65に装着された光ディスク17に記録されている画像データ、音声データ、ローレゾデータ、あるいはメタデータ等、または、通信部64を介して取得したローレゾデータ等に対して、編集処理を行い、編集内容に関する情報や、編集後のデータに関する情報等を生成し、エディットリスト編集部55に供給する。なお、クリップデータ編集部54は、編集対象となる各種のデータを更新せずに、非破壊的な編集処理を行う。
【0049】
エディットリスト編集部55は、クリップデータ編集部54において行われる編集処理に伴って生成される各種の情報に基づいて、編集結果に関する情報であるエディットリストを生成し、記憶部63に記憶させる。なお、その際、エディットリスト編集部55は、後述するように、編集対象となるクリップの、リアルタイム性を要求されないメタデータであるクリップメタデータに基づいて、エディットリスト用のクリップメタデータであるエディットリスト用クリップメタデータを生成する。例えば、エディットリスト編集部55は、編集対象となるクリップのクリップメタデータに含まれる変換テーブルに基づいて、編集後のクリップの画像データ等に対応するLTC(Linear Time Code)の不連続点と、そのフレーム番号との変換テーブルを生成し、エディットリスト用クリップメタデータとして記録する。
【0050】
CPU51、ROM52、RAM53、クリップデータ編集部54、およびエディットリスト編集部55は、バス56を介して相互に接続されている。このバス56にはまた、入出力インタフェース60も接続されている。
【0051】
入出力インタフェース60は、キーボードやマウスから構成される入力部61が接続され、入力部61に入力された信号をCPU51に出力する。また、入出力インタフェース60には、ディスプレイやスピーカなどから構成される出力部62も接続されている。
【0052】
さらに、入出力インタフェース60には、ハードディスクやEEPROM(Electronically Erasable and Programmable Read Only Memory)などから構成される記憶部63、および、ネットワーク12などを介して他の装置とデータの通信を行う通信部64も接続されている。ドライブ65は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの記録媒体からなるリムーバブルメディア71よりデータを読み出したり、データを書き込んだりするときに用いられる。
【0053】
次に、このような編集用端末装置16が編集処理において用いる、光ディスク17、および光ディスク17に記録されたデータの構成例について説明する。
【0054】
光ディスク17としては、例えば、DVD-RAM(Digital Versatile Disc - Random Access Memory),DVD-R(DVD - Recordable),DVD-RW(DVD - ReWritable),DVD+R(DVD + Recordable),DVD+RW(DVD + ReWritable),CD-R(Compact Disc - Recordable),CD-RW(CD - ReWritable)、またはMD(Mini Disc)(登録商標)等の各種の光ディスク等を用いることができる。
【0055】
上述したように、記録媒体である光ディスク17には、撮像装置14により、画像データや音声データ等からなる複数のクリップデータが、例えば、図3Aのように記録されている。
【0056】
図3Aにおいて、光ディスク17には、撮像装置14により得られた所定の時間単位(例えば2秒)に対応する音声年輪データ81、画像年輪データ82、ローレゾ年輪データ83、およびフレームメタ年輪データ84により構成される年輪データ80が、1クリップ分連続して記録され、最後の年輪データ80に続いて、そのクリップに対応するクリップメタデータ91が記録され、さらに、その後に他のクリップに対応する年輪データやクリップメタデータ等が記録される。
【0057】
音声年輪データ81および画像年輪データ82は、互いに再生時間が同一のデータであり、互いに対応するデータである。すなわち、音声年輪データ81は、画像年輪データ82が再生された動画像に対応する音声データである。また、ローレゾ年輪データ83は、画像年輪データ82に対応するデータであり、画像年輪データ82と同一の再生時間のデータである。すなわち、ローレゾ年輪データ83は、画像年輪データ82が再生された動画像の画像サイズを縮小した、小画像サイズの動画像に対応する。フレームメタ年輪データ84は、画像年輪データ82に対応する動画像の各フレーム(1画面分の画像データ)に付加されたメタデータ(以下、フレームメタデータと称する)により構成される。すなわち、フレームメタ年輪データは、画像年輪データ82の全フレームに対応する複数のフレームメタデータにより構成される。
【0058】
なお、フレームメタデータは、付加されたフレームに対応するデータであり、画像信号の再生時等においてリアルタイム性を要求されるデータ(リアルタイムメタデータ)である。すなわち、フレームメタデータとしては、例えば、そのフレームに対応する画像信号を日時(年、月、日、時、分、秒)等の所定の時間情報により特徴付けるタイムコードであるLTCや、そのフレームの画像信号の信号特性を示すユーザビット(UB:User Bit)、UMID、ビデオカメラによる撮像が行われた位置を表すGPS(Global Positioning System)の情報、画像信号や音声信号等のエッセンスデータの内容に関する情報であるエッセンスマーク、ARIB(Association of Radio Industries and Businesses)メタデータ、撮像が行われたビデオカメラの設定/制御情報などがある。
【0059】
なお、ARIBメタデータとは、ARIBで標準化され、SDI(Serial Digital Interface)等の標準の通信インタフェースに重畳されるメタデータである。また、ビデオカメラの設定/制御情報とは、例えば、IRIS(アイリス)制御値や、ホワイトバランス/ブラックバランスのモード、レンズのズームやフォーカスなどに関するレンズ情報などである。
【0060】
従って、フレームメタ年輪データ84には、実際の時刻(リアルタイム)や、所定の時刻を基準とするリアルタイムとは独立した時刻を利用した、フレームの時刻情報であるLTC85が含まれている。このLTC85は、各フレームに付加されたLTCの集合であり、同じ年輪データ80に含まれる画像年輪データ82の、全てのフレームに対応するLTCが含まれており、音声年輪データ81や画像年輪データ82の再生時に、それらとともに再生される。
【0061】
光ディスク17は、螺旋状または同心円状に、その内周側から外周側の方向に、データが記録されていく。従って、光ディスク17において、同一の再生時間に対応する音声データ81および画像データ82、並びに、それらに対応するローレゾデータ83およびフレームメタデータ84からなる年輪データ80が、撮像して得られた順番に記録されていくことにより、互いに対応する各データは、光ディスク17の物理的に近傍の位置に記録(配置)される。このように光ディスク17は、データ再生の際(読み出し処理の際)に、シーク時間を減らすことができ、処理時間および処理に必要な負荷を軽減させることができるようになっている。
【0062】
このように1クリップ分記録された複数の年輪データ80に続いて、クリップメタデータ91が記録される。
【0063】
クリップメタデータ91としては、付加されたクリップ全体に対応するデータであり、画像信号の再生時等においてリアルタイム性を要求されないデータ(以下、ノンリアルタイムメタデータとも称する)である。すなわち、クリップメタデータとしては、例えば、各フレームに対応するLTCをフレーム番号に対応させた変換テーブル92があり、さらに、UMID、GPSの情報、またはその他の情報などがある。クリップメタデータ91は、主に、音声データや画像データの編集時、または、検索時等において利用されるデータであり、通常、画像データ等の再生時には必要としない種類のデータにより構成される。
【0064】
なお、フレームメタデータおよびクリップメタデータとして、上述した以外のデータを含めるようにしてもよい。また、フレームメタデータとクリップメタデータで同じ内容のデータを含めるようにしてもよいし、上述したフレームメタデータとしての各データをクリップメタデータとしてもよいし、逆に、クリップメタデータとして上述した各データをフレームメタデータとしてもよい。
【0065】
例えば、エッセンスマーク、ARIBメタデータ、または、ビデオカメラの設定/制御情報等をクリップメタデータとしてもよいし、フレームメタデータおよびクリップメタデータの両方に含めるようにしてもよい。また、UMIDやGPSの情報等をフレームメタデータに含めるようにしてもよいし、フレームメタデータおよびクリップメタデータの両方に含めるようにしてもよい。
【0066】
また、図3Aにおいて、クリップメタデータ91に含まれる変換テーブル92は、最初の年輪データ、または、1つ前に記録されたクリップメタデータの次に記録された年輪データから、直前に記録された年輪データに含まれるLTCに対応するテーブルである。従って、変換テーブル92は、変換テーブル92が対応する音声年輪データ81および画像年輪データ82の、ある程度(後述する図3Bの場合と比較して、)近傍に記録されることになる。
【0067】
クリップメタデータ81に含まれるメタデータは、基本的にリアルタイム性を要求されないメタデータであるが、例えば、ユーザが変換テーブル92を用いて特定のフレームの再生を指示する場合、再生する音声年輪データ81および画像年輪データ82が変換テーブル92の近傍に記録されているほうが、シーク時間を短縮することができ、音声年輪データ81および画像年輪データ82の読み込み速度を向上させることができ、好適である。
【0068】
なお、クリップメタデータは、例えば、図3Bに示されるように、年輪データが記憶される領域とは別の領域にまとめて記録されるようにしてもよい。図3Bの場合、音声年輪データ101−1、画像年輪データ102−1、ローレゾ年輪データ103−1、およびフレームメタ年輪データ104−1からなる年輪データ100−1、音声年輪データ101−2、画像年輪データ102−2、ローレゾ年輪データ103−2、およびフレームメタ年輪データ104−2からなる年輪データ100−2のように、年輪データが記録される領域と別の領域に、クリップメタデータ111−1、クリップメタデータ111−2、クリップメタデータ111−3のように、クリップメタデータがまとめて記録される。
【0069】
クリップメタ-データ111−1乃至111−3には、それぞれ、変換テーブル92−1乃至92−3のいずれかが含まれている。それらの変換テーブル112−1乃至112−3は、対応するフレームメタ年輪データに含まれるLTCの開始点、変化点、および終了点(すなわち、LTCの値が、直前のフレーム(または直後のフレーム)のLTCの値と不連続になるフレーム)が登録されている。
【0070】
なお、変換テーブル112−1乃至112−3は、これらに限らず、例えば、所定の間隔ごとにLTCを登録するようにしてもよい。変換テーブルは、登録したLTCの数が多いほど、フレームの検索時に、要求されたフレームのフレーム番号を算出する時間を短縮することができるが、変換テーブルのデータサイズが増大し、全体の検索処理時間が延びてしまう場合もある。従って、適度な変換テーブルのサイズとなるように、変換テーブルに用いるLTCを選択するようにするのが望ましい。
【0071】
この場合、クリップメタデータは、音声データ記録タスク、画像データ記録タスク、ローレゾデータ記録タスク、およびフレームメタデータ記録タスクが終了した後に、年輪データとは別の領域に記録される。
【0072】
従って、クリップメタデータ111−1乃至111−3にそれぞれ含まれる変換テーブル112−1乃至112−3は、互いの近傍に記録されることになる。従って、複数の変換テーブルを用いて特定のフレームを検索する場合、シーク時間を短縮することができ、目的のフレームを高速に検索することができる。
【0073】
また、音声データや画像データを再生する場合、それらのデータの間に、再生に不必要なクリップメタデータが存在しないので、読み出し時間を短縮することができ、再生処理を高速化することができる。
【0074】
さらに、クリップメタデータは、リアルタイム性を要求されないメタデータで構成されており、通常、シーク時間を考慮しなければならないということはないので、光ディスク17の記憶領域の物理的な位置において、どのような位置に配置してもよく、例えば、1つのクリップメタデータを複数の位置に分散して記録するようにしてもよい。
【0075】
以上のように、音声データや画像データ等からなるエッセンスデータとともに、LTCをフレームメタデータとして記録し、さらに、LTCの開始点、変化点、および終了点等からなる変換テーブルをクリップメタデータとして記録するようにしているので、上述した光ディスク17に記録されたデータを編集する場合、ユーザは、LTCに基づいて、容易に編集処理を行うことができるとともに、LTCより目的のフレームを検索し、再生させることもできる。
【0076】
次に、光ディスク17に記録された各データを管理するファイルシステム、並びにファイルシステムにおけるディレクトリ構造およびファイルについて説明する。
【0077】
光ディスク17に記録されたデータを管理するファイルシステムとしては、どのようなファイルシステムを用いてもよく、例えば、UDF(Universal Disk Format)やISO9660(International Organization for Standardization 9660)等を用いてもよい。また、光ディスク17の代わりにハードディスク等の磁気ディスクを用いた場合、ファイルシステムとして、FAT(File Allocation Tables)、NTFS(New Technology File System)、HFS(Hierarchical File System)、またはUFS(Unix(登録商標) File System)等を用いてもよい。また、専用のファイルシステムを用いるようにしてもよい。
【0078】
このファイルシステムにおいては、光ディスク17に記録されたデータは図4に示されるようなディレクトリ構造およびファイルにより管理される。
【0079】
図4において、ルートディレクトリ(ROOT)131には、画像データや音声データ等のエッセンスデータに関する情報、および、エッセンスデータの編集結果を示すエディットリスト等が、下位のディレクトリに配置されるPROAVディレクトリ132が設けられる。なお、ルートディレクトリ131には、図示は省略するが、構成表データ等も設けられる。
【0080】
PROAVディレクトリ132には、光ディスク17に記録されている全てのエッセンスデータに対するタイトルやコメント、さらに、光ディスク17に記録されている全ての画像データの代表となるフレームである代表画に対応する画像データのパス等の情報を含むファイルであるディスクメタファイル(DISCMETA.XML)133、光ディスク17に記録されている全てのクリップおよびエディットリストを管理するための管理情報等を含むインデックスファイル(INDEX.XML)134、およびインデックスファイル(INDEX.RSV)135が設けられている。なお、インデックスファイル135は、インデックスファイル134を複製したものであり、2つのファイルを用意することにより、信頼性の向上が図られている。
【0081】
さらに、PROAVディレクトリ132には、光ディスク17に記録されているデータ全体に対するメタデータであり、例えば、ディスク属性、再生開始位置、またはReclnhi等の情報を含むファイルであるディスクインフォメーションファイル(DISCINFO.XML)136およびディスクインフォメーションファイル(DISKINFO.RSV)137が設けられている。なお、ディスクインフォメーションファイル137は、ディスクインフォメーションファイル136を複製したものであり、2つのファイルを用意することにより、信頼性の向上が図られている。ただし、これらの情報を更新する場合、ディスクインフォメーションファイル136のみを更新するようにしてもよい。
【0082】
また、PROAVディレクトリ132には、上述したファイル以外にも、クリップのデータが下位のディレクトリに設けられるクリップルートディレクトリ(CLPR)138、および、エディットリストのデータが下位のディレクトリに設けられるエディットリストルートディレクトリ(EDTR)139が設けられる。
【0083】
クリップルートディレクトリ138には、光ディスク17に記録されているクリップのデータが、クリップ毎に異なるディレクトリに分けて管理されており、例えば、図4の場合、3つのクリップのデータが、クリップディレクトリ(C0001)141、クリップディレクトリ(C0002)142、および、クリップディレクトリ(C0003)143の3つのディレクトリに分けられて管理されている。
【0084】
すなわち、光ディスク17に記録された最初のクリップの各データは、クリップディレクトリ141の下位のディレクトリのファイルとして管理され、2番目に光ディスク17に記録されたクリップの各データは、クリップディレクトリ142の下位のディレクトリのファイルとして管理され、3番目に光ディスク17に記録されたクリップの各データは、クリップディレクトリ143の下位のディレクトリのファイルとして管理される。
【0085】
また、エディットリストルートディレクトリ139には、光ディスク17に記録されているエディットリストが、その編集処理毎に異なるディレクトリに分けて管理されており、例えば、図4の場合、4つのエディットリストが、エディットリストディレクトリ(E0001)144、エディットリストディレクトリ(E0002)145、エディットリストディレクトリ(E0003)146、およびエディットリストディレクトリ(E0004)147の4つのディレクトリに分けて管理されている。
【0086】
すなわち、光ディスク17に記録されたクリップの1回目の編集結果を示すエディットリストは、エディットリストディレクトリ144の下位のディレクトリのファイルとして管理され、2回目の編集結果を示すエディットリストは、エディットリストディレクトリ145の下位のディレクトリのファイルとして管理され、3回目の編集結果を示すエディットリストは、エディットリストディレクトリ146の下位のディレクトリのファイルとして管理され、4回目の編集結果を示すエディットリストは、エディットリストディレクトリ147の下位のディレクトリのファイルとして管理される。
【0087】
上述したクリップルートディレクトリ138に設けられるクリップディレクトリ141の下位のディレクトリには、最初に光ディスク17に記録されたクリップの各データが、図5に示されるようなファイルとして設けられ、管理される。
【0088】
図5の場合、クリップディレクトリ141には、このクリップを管理するファイルであるクリップインフォメーションファイル(C0001C01.SMI)151、このクリップの画像データを含むファイルである画像データファイル(C0001V01.MXF)152、それぞれ、このクリップの各チャンネルの音声データを含む8つのファイルである音声データファイル(C0001A01.MXF乃至C0001A08.MXF)153乃至160、このクリップの画像データに対応するローレゾデータを含むファイルであるローレゾデータファイル(C0001S01.MXF)161、このクリップのエッセンスデータに対応する、例えば、LTCとフレーム番号を対応させる変換テーブル等の、リアルタイム性を要求されないメタデータであるクリップメタデータを含むファイルであるクリップメタデータファイル(C0001M01.XML)162が設けられる。
【0089】
さらに、クリップディレクトリ141には、このクリップのエッセンスデータに対応する、例えばLTC等の、リアルタイム性を要求されるメタデータであるフレームメタデータを含むファイルであるフレームメタデータファイル(C0001R01.BIM)163、並びに、画像データファイル152のフレーム構造(例えば、MPEG等におけるピクチャ毎の圧縮形式に関する情報や、ファイルの先頭からのオフセットアドレス等の情報)が記述されたファイルであるピクチャポインタファイル(C0001I01.PPF)164等のファイルが設けられる。
【0090】
図5の場合、再生時にリアルタイム性を要求されるデータである、画像データ、ローレゾデータ、およびフレームメタデータは、それぞれ1つのファイルとして管理され、読み出し時間が増加しないようになされている。
【0091】
また、音声データも、再生時にリアルタイム性を要求されるが、7.1チャンネル等のような音声の多チャンネル化に対応するために、8チャンネル用意され、それぞれ、異なるファイルとして管理されている。すなわち、音声データは8つのファイルとして管理されるように説明したが、これに限らず、音声データに対応するファイルは、7つ以下であってもよいし、9つ以上であってもよい。
【0092】
同様に、画像データ、ローレゾデータ、およびフレームメタデータも、場合によって、それぞれ、2つ以上のファイルとして管理されるようにしてもよい。
【0093】
また、図5において、リアルタイム性を要求されないクリップメタデータは、リアルタイム性を要求されるフレームメタデータと異なるファイルとして管理される。これは、画像データ等の通常の再生中に必要の無いメタデータを読み出さないようにするためであり、このようにすることにより、再生処理の処理時間や、処理に必要な負荷を軽減することができる。
【0094】
なお、クリップメタデータファイル162は、汎用性を持たせるためにXML(eXtensible Markup Language)形式で記述されているが、フレームメタデータファイル163は、再生処理の処理時間や処理に必要な負荷を軽減させるために、XMLによって記述されたデータがバイナリ形式で符号化されているBiMである。
【0095】
なお、フレームメタデータファイル(C0001R01.BIM)163のように、バイナリ形式で符号化されているBiMについては、図7以降を参照して後述する。
【0096】
図5に示されるクリップディレクトリ141のファイルの構成例は、光ディスク17に記録されている各クリップに対応する全てのクリップディレクトリにおいて適用することができる。すなわち、図4に示される、その他のクリップディレクトリ142および143においても、図5に示されるファイルの構成例を適用することができるので、その説明を省略する。
【0097】
以上において、1つのクリップに対応するクリップディレクトリに含まれる各ファイルについて説明したが、ファイルの構成は上述した例に限らず、各クリップディレクトリの下位のディレクトリに、そのクリップに対応するクリップメタデータファイルが存在すれば、どのような構成であってもよい。
【0098】
次に、図4のエディットリストルートディレクトリ139の下位のディレクトリにおけるファイルの構成例について説明する。上述したエディットリストルートディレクトリ139に設けられるエディットリストディレクトリ145の下位のディレクトリには、光ディスク17に記録されたクリップの各データの2回目の編集結果に関する情報であるエディットリストのデータが、図6に示されるようなファイルとして設けられ、管理される。
【0099】
図6の場合、エディットリストディレクトリ145には、この編集結果(エディットリスト)を管理するファイルであるエディットリストファイル(E0002E01.SMI)171、この編集後のエッセンスデータ(編集に用いられた全クリップのエッセンスデータの内、編集後のデータとして抽出された部分)に対応するクリップメタデータ、または、そのクリップメタデータに基づいて新たに生成されたクリップメタデータを含むファイルであるエディットリスト用クリップメタデータファイル(E0002M01.XML)172、この編集結果(エディットリスト)に基づいた、エッセンスデータの再生手順(プレイリスト)等の情報を含むファイルであるプレイリストファイル(E0002P01.SMI)173、および、プレイリストファイル173に含まれる再生手順に基づいて再生される画像データのフレーム構造(例えば、MPEG等におけるピクチャ毎の圧縮形式に関する情報や、ファイルの先頭からのオフセットアドレス等の情報)が記述されたファイルであるプレイリスト用ピクチャポインタファイル(C0001I01.PPF)174が設けられる。
【0100】
さらに、エディットリストディレクトリ145には、プレイリストファイル173の再生手順(プレイリスト)に基づいた実時間再生を保証するための画像データを含むファイルであるプレイリスト用画像データファイル(E0002V01.BMX)175、プレイリストファイル173の再生手順(プレイリスト)に基づいた実時間再生を保証するための音声データを含む4つのファイルであるプレイリスト用音声データファイル(E0002A01.BMX乃至E0002A04.BMX)176乃至179、プレイリストファイル173の再生手順(プレイリスト)に基づいた実時間再生を保証するためのローレゾデータを含むファイルであるプレイリスト用ローレゾデータファイル(E0002S01.BMX)180、および、プレイリストファイル173の再生手順(プレイリスト)に基づいた実時間再生を保証するためのフレームメタデータを含むファイルであるプレイリスト用フレームメタデータファイル(E0002R01.BBM)181等のファイルが設けられる。
【0101】
図6において、リアルタイム性を要求されないクリップメタデータは、リアルタイム性を要求されるフレームメタデータと異なるファイルとして管理される。これは、再生手順(プレイリスト)を用いて画像データ等を再生中に(編集結果の再現中に)、必要の無いメタデータを読み出さないようにするためであり、このようにすることにより、再生処理の処理時間や、処理に必要な負荷を軽減することができる。
【0102】
エディットリスト用クリップメタデータファイル172は、編集結果に基づいて、編集に使用されたクリップのクリップメタデータ(クリップルートディレクトリ138の下位のディレクトリに存在するクリップメタデータファイル)に基づいて生成された新たなクリップメタデータを含むファイルである。例えば、編集が行われると、図5のクリップメタデータファイル162に含まれるクリップメタデータから、編集後のエッセンスデータに対応する部分が抽出され、それらを用いて、編集後のエッセンスデータを1クリップとする新たなクリップメタデータが再構成され、エディットリスト用クリップメタデータファイルとして管理される。
【0103】
すなわち、編集後のエッセンスデータには、編集後のエッセンスデータを1クリップとする新たなクリップメタデータが付加され、そのクリップメタデータが1つのエディットリスト用クリップメタデータファイルとして管理される。従って、このエディットリスト用クリップメタデータファイルは、編集毎に生成される。
【0104】
なお、このエディットリスト用クリップメタデータファイル172は、汎用性を持たせるために、XML形式で記述される。
【0105】
プレイリスト用画像データファイル175に含まれる画像データ、プレイリスト用音声データファイル176乃至179に含まれる各音声データ、プレイリスト用ローレゾデータファイル180に含まれるローレゾデータ、並びに、プレイリスト用フレームメタデータファイル181に含まれるフレームメタデータは、それぞれ、図5のクリップルートディレクトリ138の下位のディレクトリにおいて管理されるクリップに対応する画像データ、音声データ、ローレゾデータ、およびフレームメタデータより抽出されたデータであり、編集結果に対応するデータである。
【0106】
これらのデータは、プレイリストファイル173に含まれる再生手順(プレイリスト)に基づいて再生処理が行われる場合に読み出される。このような編集結果に対応する各データが用意されることにより、プレイリストに基づいた再生処理において、読み出すファイルの数を減らすことができ、その処理時間および処理に必要な負荷を軽減させることができる。
【0107】
なお、画像データ、ローレゾデータ、およびフレームメタデータは、場合によって、それぞれ、複数のファイルとして管理されるようにしてもよい。同様に、音声データに対応するファイルの数は、3つ以下であってもよいし、5つ以上であってもよい。
【0108】
なお、プレイリスト用フレームメタデータファイル181は、再生処理の処理時間や処理に必要な負荷を軽減させるために、XML形式のファイルをコンパイルしたBIM形式に対応するBBM形式のファイルである。
【0109】
図6に示されるエディットリストディレクトリ145のファイルの構成例は、全てのエディットリスト(編集結果)において適用することができる。すなわち、図4に示される、その他のエディットリストディレクトリ144、146、または147においても、図6に示されるファイルの構成例を適用することができるので、その説明を省略する。
【0110】
以上において、1回の編集作業に対応するエディットリストディレクトリに含まれる各ファイルについて説明したが、ファイルの構成は上述した例に限らず、各エディットリストディレクトリの下位のディレクトリに、その編集に対応するエディットリスト用クリップメタデータファイルが存在すれば、どのような構成であってもよい。
【0111】
次に、クリップメタデータに含まれるデータについて説明する。クリップメタデータには、上述したように、LTCとフレーム番号の変換テーブルの他に、UMID、GPSに関する情報、またはその他の情報が含まれる。これらの情報は、フレームメタデータにも記憶される場合もある規格化された情報であり、リアルタイム性を要求される場合もあるので、SDI(Serial Digital Interface)等の標準インタフェースを用いた同期系の通信を保証するために、キーデータ、レングスデータ、および、バリューデータからなるKLV(Key Length Value)符号化されたデータ(以下、KLVデータと称する)である。このフォーマットは、SMPTE 336Mに準拠している。
【0112】
KLVデータのキーデータは、KLV符号化されたデータ項目を示す識別子である。この識別子には、SMTPEのメタデータ辞書に定義された、各種のデータ項目に対応する識別子が用いられる。KLVデータのレングスデータは、バリューデータの長さをバイト単位で示すデータである。KLVデータのバリューデータは、XML文書等のように、テキストデータ等のデータ本体からなるデータである。すなわち、KLVデータは、キーデータに示されるデータ項目のデータであり、レングスデータに示されるデータ長のデータであり、かつ、バリューデータに示されるデータを符号化したものである。
【0113】
このように、実際には、変換テーブルおよびUMIDもKLVデータの1つであるが、以下において、説明を簡略化するために、クリップメタデータに含まれる変換テーブルおよびUMID以外のメタデータ(KLVデータ)をKLVデータと称する。
【0114】
なお、上述した符号化方法は1つの例であり、クリップメタデータに含まれる各情報は、KLV符号化以外の方法により符号化されていてもよいし、符号化されていなくてもよい。
【0115】
次に、図5に示されたフレームメタデータファイル(C0001R01.BIM)163のように、バイナリ形式で圧縮符号化されているBiMについて説明する。XMLによって記述されているメタデータの圧縮符号化してBiMを生成するためにはBiMエンコーダが必要であり、BiMをデコードしてその内容を解釈するためには、BiMデコーダが必要となる。編集用端末装置16においては、BiMエンコーダとBiMデコーダがクリップデータ編集部54に内蔵されている。
【0116】
BiMエンコーダは、BIMの元となったメタデータの記述方式が定義されているスキーマ定義文書を有している。BiMデコーダも、BIMの元となったメタデータの記述方式が定義されているスキーマ定義文書を有している。BiMエンコーダとBiMデコーダが共通のスキーマ定義文書を有していれば、BiMエンコーダによって生成されたBiMを、BiMデコーダによって完全に解釈することができる。換言すれば、BiMエンコーダが標準的ではない独自のスキーマ定義文書に基づいてBiMを生成し、BiMデコーダが標準的なスキーマ定義文書だけ有している場合、BiMデコーダにおいては、BiMに含まれる標準的な部分だけ解釈が解釈されることになる。
【0117】
図7は、BiMエンコーダによってBiMにエンコードされる前のXMLによって記述されている標準的なリアルタイムメタデータの一例である。この標準的なリアルタイムメタデータは、Rootとなる標準的な名前空間識別子(この例では”urn:schemas-proDisc:realTimeMeta”)(第1行目)、UMID(第2行目)、およびECCアライン用のFiller(第3行目)から構成されるWrapperと、各フレームに対応する記述から構成される。各フレームに対応する記述は、バイトアライン用のBitfiller(第5行目)(ただし、図7においてはNextByteBoundaryと記載されている)、LTC(第6行目)、UMID(第7行目)、およびKLV(第8行目)を含む必須項目、並びに、BiMにおけるフラグメント更新ユニット(FUU)の長さ調整用のFiller(第9行目)から構成される。
【0118】
このBiMにエンコードされる前の標準的なリアルタイムメタデータの特徴は、ECCアライン用、バイトアライン用、およびFUUの長さ調整用のFillerが設けられていることである。特に、符号化されたBiMにおいて、LTC、UMID、およびKLVを含む必須項目の境界をバイトアラインさせるためのBitfillerを設けたことが特徴である。
【0119】
次に、図8は、BiMエンコーダによってBiMにエンコードされる前のXMLによって記述されている非標準的な、すなわち、標準的な項目以外にメーカが独自に追加した項目(例えば、ビデオカメラの設定/制御情報、ARIBメタデータ等)(以下、独自項目と称する)を含む拡張されたリアルタイムメタデータの一例である。この非標準的なリアルタイムメタデータは、Rootとなる非標準の名前空間識別子(いまの場合、”urn:schemas-proDisc:realTimeMeta:cameraMeta”)(第1行目)、UMID(第2行目)、およびECCアライン用のFiller(第3行目)から構成されるWrapperと、各フレームに対応する記述から構成される。
【0120】
各フレームに対応する記述は、各フレームに対応するバイトアライン用のBitfiller(第5行目)(ただし、図8においてはNextByteBoundaryと記載されている)、LTC(第6行目)、UMID(第7行目)、およびKLV(第8行目)を含む必須項目、ビデオカメラの設定/制御情報からなる独自項目(第9乃至17行目)、並びにBiMにおけるフラグメント更新ユニット(FUU)の長さ調整用のFiller(第19行目)から構成される。
【0121】
このBiMにエンコードされる前の非標準的なリアルタイムメタデータの特徴も、ECCアライン用、バイトアライン用、およびFUUの長さ調整用のFillerが設けられていることである。特に、符号化されたBiMにおいて、LTC、UMID、およびKLVを含む必須項目の境界をバイトアラインさせるためのBitfillerを設けたことが特徴である。
【0122】
なお、独自項目としてARIBメタデータ等が記述される非標準的なリアルタイムメタデータも、図8と同様に記述される。
【0123】
次に、図7に示されたような標準的なリアルタイムメタデータのBiMを生成する処理について、図9のフローチャートを参照して説明する。ステップS1において、クリップデータ編集部54は、標準スキーマに定義されている名前空間識別子(この例では”urn:schemas-proDisc:realTimeMeta”)をWrapperに記述し、ステップS2において、UMIDと、ECCアライン用のFillerを記述する。ステップS3において、クリップデータ編集部54は、各フレームに対応するデータの先頭に、バイトアライン用のBitfiller(図9には、単にFillerと記載する)を記述し、それ以降に、LTC、UMID、およびKLVを含む必須項目を記述する。ステップS4において、クリップデータ編集部54は、必須項目の末尾に、BiMにおけるフラグメント更新ユニットの長さ調整用のFillerを追加して、標準的なリアルタイムメタデータを記述し、ステップS5において、内蔵するBiMエンコーダによってバイナリ形式で圧縮符号化し、標準的なBiMを生成する。
【0124】
次に、図8に示されたような非標準的なリアルタイムメタデータのBiMを生成する処理について、図10のフローチャートを参照して説明する。ステップS11において、クリップデータ編集部54は、メーカ独自の非標準的なスキーマに予め定義されている名前空間識別子(この例では”urn:schemas-proDisc:realTimeMeta:cameraMeta”)をWrapperに記述し、ステップS12において、UMIDと、ECCアライン用のFillerを記述する。ステップS13において、クリップデータ編集部54は、各フレームに対応するデータの先頭に、バイトアライン用のBitfiller(図10には、単にFillerと記載する)を記述し、それ以降に、LTC、UMID、およびKLVを含む必須項目を記述する。ステップS14において、クリップデータ編集部54は、独自項目(いまの場合、ビデオカメラの設定/制御情報)を記述する。ステップS15において、クリップデータ編集部54は、独自項目の末尾に、BiMにおけるフラグメント更新ユニットの長さ調整用のFillerを追加して、非標準的のリアルタイムメタデータを記述し、ステップS16において、内蔵するBiMエンコーダによってバイナリ形式で圧縮符号化し、非標準のBiMを生成する。
【0125】
以上説明したように、リアルタイムメタデータがバイナリ形式でエンコードされ、BiMが生成されたときには、BiMにおけるLTC、UMID、およびKLVを含む必須項目の境界がバイトアラインされる。従って、このように生成されたBiMを読み出す際に、必須項目の記述されている位置を速やかに探すことができる。よって、必須項目の境界がバイトアラインされていない場合に比較して、BiMの読み出しに要する時間を短縮させたり、使用するリソースの量を減少させたりすることができる。
【0126】
なお、ここではリアルタイムメタデータを、一旦、XMLを用いて記述し、その後BiMエンコーダを用いてバイナリ形式に変換する方法を提示したが、スキーマに基づくバイナリ形式を予め獲得しておくことにより、XMLを用いた記述を省略して直接BiMデータを出力するようにしてもよい。
【0127】
次に、例えば、クリップデータの再生と同時に、リアルタイムメタデータのBiMを読み出す処理について説明する。ステップS21において、クリップデータ編集部54は、内蔵するBiMデコーダを用いることにより、BiMのWrapperに記述されている名前空間識別子を読み出し、ステップS22において、読み出した名前空間識別子が自己の有するスキーマに定義済のものであるか否かを判定する。自己の有するスキーマに定義済のものであると判定された場合、処理はステップS23に進む。
【0128】
ステップS23において、クリップデータ編集部54は、BiMに含まれる必須項目を有効なデータとして認識し、さらに、ステップS24において、独自項目を有効なデータとして認識する。ステップS25において、クリップデータ編集部54は、BiMからFillerを除外した後、有効と認識したデータ(いまの場合、必須項目と独自項目のデータ)を編集処理等に利用する。これにより、例えば、有効と認識されたデータが画面上に表示される。
【0129】
一方、ステップS22において、読み出した名前空間識別子が、例えば、”urn:schemas-proDisc:realTimeMeta:cameraMeta”であって、自己の有するスキーマが標準的なものである場合、読み出した名前空間識別子は自己の有するスキーマに定義済のものではないと判定されて、処理はステップS26に進む。
【0130】
ステップS26において、クリップデータ編集部54は、BiMに含まれる必須項目を有効なデータとして認識し、ステップS27において、独自項目を無効な、すなわち、自己の認識不可能なデータとして認識する(具体的には、実質的な意味をもたないFillerとして認識される)。ステップS25において、クリップデータ編集部54は、BiMからFillerを除外した後、有効と認識したデータ(いまの場合、必須項目のデータのみ)を編集処理等に利用する。これにより、例えば、有効と認識されたデータだけが画面上に表示される。このとき、独自項目のデータは、無効なデータ(すなわち、Filler)として認識されているので、画面上には表示されない。この場合、メーカ独自項目のデータの存在が他メーカ製の装置では認識されないので、独自項目の秘匿性を高めることができ、独自項目のデータが解析されること等を抑止することができる。
【0131】
ただし、逆に、無効と認識される独自項目のデータの存在を把握させるために、何らか文字列(例えば、0の羅列)を表示するようにしてもよい。
【0132】
なお、例えば、クリップデータの再生と同時に、BiMに符号化されていないリアルタイムメタデータを読み出すときにおいても、同様の処理を行い、自己の認識可能なデータだけを読み出し、自己の認識不可能なデータは読み出さないようにすることができる。ただし、現状において、BiMに符号化されていないリアルタイムメタデータは存在しない。
【0133】
また、ここではリアルタイムメタデータを、BiMデコーダを用いて処理する方法について説明したが、例えば、BiM技術データにおける必須項目の指定位置からのバイトオフセットを標準、非標準スキーマに関わらず一定となるようにスキーマを設計しておくようにして、BiMデコーダを用いることなく、当該必須項目を直接読み出すようにしてもよい。
【0134】
次に、クリップデータ編集部54によるノンリアルタイムメタデータの取り扱いについて説明する。上述したように、ノンリアルタイムメタデータの一種であるクリップメタデータ91には、変換テーブル92の他、UMID、GPSの情報、またはその他の情報などがXMLを用いて記述される。
【0135】
ノンリアルタイムメタデータにも、上述したリアルタイムメタデータと同様に、標準的に記録されている必須項目のデータの他、メーカ独自のデータが存在し得る。メーカ独自のスキーマに予め定義されている名前空間に記述される。
【0136】
次に、クリップデータの編集処理等に利用するために、独自項目を含むノンリアルタイムメタデータの読み出し処理について、図12のフローチャートを参照して説明する。
【0137】
ステップS31において、クリップデータ編集部54は、ノンリアルタイムメタデータの名前空間識別子を読み出し、ステップS32において、ノンリアルタイムメタデータに含まれる、標準的な名前空間に記述されている必須項目を有効なデータとして認識する。
【0138】
ステップS33において、クリップデータ編集部54は、規格外の名前空間(すなわち、非標準的なメーカ独自の名前空間)を検出したか否かを判定し、規格外の名前空間を検出したと判定した場合、ステップS34において、検出した規格外の名前空間は認識可能であるか否かを判定する。検出した規格外の名前空間が認識可能であると判定された場合、処理はステップS35に進む。ステップS35において、クリップデータ編集部54は、規格外の名前空間に記述されている独自項目を有効なデータとして認識する。
【0139】
反対に、ステップS34において、検出した規格外の名前空間が認識可能ではないと判定された場合、処理はステップS36に進む。ステップS36において、クリップデータ編集部54は、規格外の名前空間に記述されている独自項目を無効なデータとして認識する。
【0140】
ステップS37において、クリップデータ編集部54は、有効と認識したデータを読み出し、無効と認識したデータを読み飛ばす。読み出されたデータは、クリップデータの編集処理に用いられる。この後、処理はステップS32に戻り、それ以降の処理が繰り替えされる。
【0141】
なお、ステップS33において、規格外の名前空間を検出していないと判定された場合、ステップS34乃至36の処理はスキップされて、ステップS37の進むことになる。
【0142】
以上説明したように、例えば、クリップデータの編集処理等の用途でノンリアルタイムメタデータが読み出される場合には、独自項目のデータについては、スキーマに定義されていて、自己で把握しているものだけが読み出され、スキーマに定義されていない例えば他メーカの独自項目のデータは読み出されずに無視される。従って、読み出したノンリアルタイムメタデータを効率的に利用することができる。
【0143】
次に、独自項目を含むノンリアルタイムメタデータそのものを編集して光ディスク17に再記録したり、他の装置に転送したりする処理について、図13のフローチャートを参照して説明する。
【0144】
ステップS41において、クリップデータ編集部54は、ノンリアルタイムメタデータの独自項目についての名前空間識別子を読み出し、ステップS42において、読み出した名前空間識別子が自己の有するスキーマに定義済のものであるか否かを判定する。読み出した名前空間識別子が自己の有するスキーマに定義済のものであると判定された場合、処理はステップS43に進む。
【0145】
ステップS43において、クリップデータ編集部44は、ノンリアルタイムメタデータに含まれる必須項目を有効なデータとして認識し、さらに、ステップS44において、独自項目を有効なデータとして認識する。ステップS45において、クリップデータ編集部54は、有効と認識したデータ(いまの場合、必須項目と独自項目の両方のデータ)と無効と認識したデータを読み出する。ステップS46において、クリップデータ編集部44は、読み出した有効と認識したデータだけを、例えば、ユーザの操作に対応して適宜、編集する。なお、ステップS46の処理は省略されてもかまわない。
【0146】
ステップS47において、クリップデータ編集部44は、ステップS45で読み出した無効と認識されたデータを破棄することなく、ステップS46で適宜編集した有効と認識されたデータと共に光ディスク17に再記録、あるいは他の装置に転送させる。
【0147】
反対に、ステップS42において読み出した名前空間識別子が自己の有するスキーマに定義済のものではないと判定された場合、処理はステップS48に進む。ステップS48において、クリップデータ編集部54は、ノンリアルタイムメタデータに含まれる必須項目を有効なデータとして認識し、ステップS49において、独自項目を無効なデータとして認識する。ステップS45において、クリップデータ編集部54は、有効と認識したデータ(いまの場合、必須項目のデータ)と、無効と認識したデータ(いまの場合、独自項目のデータ)を読み出す。これ以降、上述した説明と同様に、ステップS45以降の処理が行われる。
【0148】
以上説明したように、例えば、ノンリアルタイムメタデータそのものの編集が行われる場合には、スキーマに定義されていない例えば他メーカの独自項目のデータは編集されない。さらに、再記録や転送する場合には、キーマに定義されていない例えば他メーカの独自項目のデータは、必須項目のデータやスキーマに定義されていて把握されている独自項目のデータとともに再記録や転送が行われる。従って、自己が把握していない独自項目のデータといえども、その情報を削除したり、変更したりすることなく、保護することが可能となる。
【0149】
なお、以上においては、画像データ、音声データ、ローレゾデータ、フレームメタデータ、クリップメタデータ、およびエディットリスト等のデータを光ディスクに記録する場合について、説明したが、これらの各データを記録する記録媒体としては、光ディスクに限らず、例えば、フレキシブルディスクやハードディスク等の磁気ディスク、磁気テープ、または、フラッシュメモリ等の半導体メモリであってもよい。
【0150】
また、以上においては、編集用端末装置16において、編集を行う場合について説明したが、編集を行う情報処理装置としては、これに限らず、例えば、図1の企画用端末装置11、撮像装置14、またはフィールドPC15であってもよいし、それ以外の情報処理装置であってもよい。
【0151】
上述した一連の処理は、ハードウェアにより実行させることもできるし、上述したようにソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体等からインストールされる。
【0152】
記録媒体は、図2に示されるように、編集用端末装置16とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM,DVD,光磁気ディスク、MDを含む)、若しくは半導体メモリなどよりなるパッケージメディアを含むリムーバブルメディア71により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM52や記憶部63が含まれるハードディスクなどで構成される。
【0153】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0154】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0155】
【発明の効果】
以上のように、本発明によれば、映像等のデータをより容易に検索したり、編集したりすることが可能となる。
【0156】
また、本発明によれば、素材データに関する情報が記述されているメタデータをバイナリ形式で符号化して生成する符号化データをより効率的に利用することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用した映像プログラム制作支援システムの構成例を示す図である。
【図2】図1の編集用端末装置の内部の構成例を示すブロック図である。
【図3】図1の光ディスクに記録されたデータの構成例を示す模式図である。
【図4】ファイルシステムによるデータを管理するためのディレクトリ構造の例を示す図である。
【図5】図4に示されるディレクトリ構造のさらに詳細な構成例を示す図である。
【図6】図4に示されるディレクトリ構造のさらに詳細な構成例を示す図である。
【図7】 BiMに符号化される前のXMLで記述された標準的なリアルタイムメタデータの一例を示す図である。
【図8】 BiMに符号化される前のXMLで記述された非標準的なリアルタイムメタデータの一例を示す図である。
【図9】 BiMに符号化される前の標準的なリアルタイムメタデータを記述する処理を説明するフローチャートである。
【図10】 BiMに符号化される前の非標準的なリアルタイムメタデータを記述する処理を説明するフローチャートである。
【図11】独自のスキーマを用いたBiMの読み出し処理を説明するフローチャートである。
【図12】独自項目を含むノンリアルタイムメタデータの読み出し処理を説明するフローチャートである。
【図13】独自項目を含むノンリアルタイムメタデータの再記録/転送処理を説明するフローチャートである。
【符号の説明】
1 映像プログラム制作支援システム, 11 企画用端末装置, 12 ネットワーク, 13 取材用端末装置, 14 撮像装置, 15 フィールドPC, 16 編集用端末装置, 17 光ディスク, 54 クリップデータ編集部, 55 エディットリスト編集部
Claims (8)
- 素材データに関する情報を含むメタデータを符号化する情報処理装置において、
前記メタデータを記述する記述手段と、
前記記述手段によって記述された前記メタデータをバイナリ形式で符号化して、符号化データを生成する符号化データ生成手段と
を含み、
前記記述手段は、前記符号化データ生成手段によって生成される前記符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、前記所定の項目の情報に、実質的には意味がないBitfillerを追加して前記メタデータを記述する
情報処理装置。 - 前記所定の項目の情報には、少なくとも、LTC(Linear Time Code)、UMID(Unique Material Identifier)、またはKLV(Key Length Value)のうちの1つを含む
請求項1に記載の情報処理装置。 - 前記記述手段は、前記メタデータをXML(eXtensible Markup Language)を用いて記述する
請求項1に記載の情報処理装置。 - 前記符号化データ生成手段は、前記記述手段によってXMLを用いて記述された前記メタデータをバイナリ形式で符号化して、BiM(Binary format for MPEG-7 data)を生成する
請求項3に記載の情報処理装置。 - 前記メタデータは、前記素材データの再生と同時に読み出されるべきリアルタイムメタデータである
請求項1に記載の情報処理装置。 - 素材データに関する情報を含むメタデータを符号化する情報処理方法において、
前記メタデータを記述する記述ステップと、
前記記述ステップの処理で記述された前記メタデータをバイナリ形式で符号化して、符号化データを生成する符号化データ生成ステップと
を含み、
前記記述ステップの処理は、前記符号化データ生成ステップの処理で生成される前記符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、前記所定の項目の情報に、実質的には意味がないBitfillerを追加して前記メタデータを記述する
情報処理方法。 - 素材データに関する情報を含むメタデータを符号化するためのプログラムであって、
前記メタデータを記述する記述ステップと、
前記記述ステップの処理で記述された前記メタデータをバイナリ形式で符号化して、符号化データを生成する符号化データ生成ステップと
を含む処理をコンピュータに実行させ、
前記記述ステップの処理は、前記符号化データ生成ステップの処理で生成される前記符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、前記所定の項目の情報に、実質的には意味がないBitfillerを追加して前記メタデータを記述する
プログラム。 - 素材データに関する情報を含むメタデータを符号化するためのプログラムであって、
前記メタデータを記述する記述ステップと、
前記記述ステップの処理で記述された前記メタデータをバイナリ形式で符号化して、符号化データを生成する符号化データ生成ステップと
を含み、
前記記述ステップの処理は、前記符号化データ生成ステップの処理で生成される前記符号化データに含まれる所定の項目の情報の先頭がバイトアラインされるように、前記所定の項目の情報に、実質的には意味がないBitfillerを追加して前記メタデータを記述する
コンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003181998A JP4507515B2 (ja) | 2003-06-26 | 2003-06-26 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003181998A JP4507515B2 (ja) | 2003-06-26 | 2003-06-26 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005020328A JP2005020328A (ja) | 2005-01-20 |
JP2005020328A5 JP2005020328A5 (ja) | 2010-02-12 |
JP4507515B2 true JP4507515B2 (ja) | 2010-07-21 |
Family
ID=34182500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003181998A Expired - Fee Related JP4507515B2 (ja) | 2003-06-26 | 2003-06-26 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4507515B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4360428B2 (ja) | 2007-07-19 | 2009-11-11 | ソニー株式会社 | 記録装置、記録方法、コンピュータプログラムおよび記録媒体 |
JP5553140B2 (ja) * | 2009-10-02 | 2014-07-16 | ソニー株式会社 | 情報処理装置および方法 |
CN102508629A (zh) * | 2011-11-08 | 2012-06-20 | 朱敦尧 | 基于嵌入式设备的车主使用手册显示方法 |
CN118364783B (zh) * | 2024-06-17 | 2024-08-30 | 中建三局集团有限公司 | Bim模型与计划任务自动化挂接的方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000236522A (ja) * | 1999-02-12 | 2000-08-29 | Sony Corp | 画像情報処理装置および方法、並びに提供媒体 |
JP2001176188A (ja) * | 1999-12-10 | 2001-06-29 | Sony Corp | レコーディングシステム |
JP2002318803A (ja) * | 2000-12-07 | 2002-10-31 | Sony United Kingdom Ltd | ビデオ情報検索 |
-
2003
- 2003-06-26 JP JP2003181998A patent/JP4507515B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000236522A (ja) * | 1999-02-12 | 2000-08-29 | Sony Corp | 画像情報処理装置および方法、並びに提供媒体 |
JP2001176188A (ja) * | 1999-12-10 | 2001-06-29 | Sony Corp | レコーディングシステム |
JP2002318803A (ja) * | 2000-12-07 | 2002-10-31 | Sony United Kingdom Ltd | ビデオ情報検索 |
Also Published As
Publication number | Publication date |
---|---|
JP2005020328A (ja) | 2005-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4179262B2 (ja) | 情報処理装置および方法、並びにプログラム | |
JP3677779B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
US7895248B2 (en) | Information processing apparatus, information processing method, recording medium and program | |
KR101413264B1 (ko) | 기록 및 재생장치 및 콘텐츠 관리방법 | |
JP4048561B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
KR101406332B1 (ko) | 기록 및 재생장치 및 기록 및 재생방법 | |
JPWO2005020572A1 (ja) | 再生装置および方法、並びにプログラム | |
JP3835801B2 (ja) | 情報処理装置および方法、プログラム記録媒体、並びにプログラム | |
JP4418183B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
CN100562938C (zh) | 信息处理设备和方法 | |
JP4507515B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
JP3894444B2 (ja) | 情報処理装置および方法、プログラム記録媒体、並びにプログラム | |
JP4434633B2 (ja) | 情報処理装置および方法、プログラム記録媒体、並びにプログラム | |
JP5375298B2 (ja) | 映像処理装置 | |
JP2005020320A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP2005244299A (ja) | 記録再生装置、記録方法および再生方法、並びに、プログラム | |
JP3833192B2 (ja) | 情報作成装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100426 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4507515 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |