JP4323870B2 - 記録装置 - Google Patents

記録装置 Download PDF

Info

Publication number
JP4323870B2
JP4323870B2 JP2003165085A JP2003165085A JP4323870B2 JP 4323870 B2 JP4323870 B2 JP 4323870B2 JP 2003165085 A JP2003165085 A JP 2003165085A JP 2003165085 A JP2003165085 A JP 2003165085A JP 4323870 B2 JP4323870 B2 JP 4323870B2
Authority
JP
Japan
Prior art keywords
playlist
recording
management information
recording medium
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003165085A
Other languages
English (en)
Other versions
JP2005005855A (ja
JP2005005855A5 (ja
Inventor
利道 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003165085A priority Critical patent/JP4323870B2/ja
Priority to US10/855,372 priority patent/US7272080B2/en
Priority to CNB2004100455643A priority patent/CN100454430C/zh
Publication of JP2005005855A publication Critical patent/JP2005005855A/ja
Publication of JP2005005855A5 publication Critical patent/JP2005005855A5/ja
Application granted granted Critical
Publication of JP4323870B2 publication Critical patent/JP4323870B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/61Solid state media wherein solid state memory is used for storing A/V content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/808Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal
    • H04N9/8081Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction
    • H04N2009/8084Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

【0001】
【発明の属する技術分野】
本発明は記録装置に関し、特には、情報データの再生手順を制御するための情報の処理に関する。
【0002】
【従来の技術】
現在、デジタルカメラで用いられるメモリカードや、デジタルディスクビデオカメラで用いられる光ディスクなどの記録媒体の容量は飛躍的に増大しており、動画、音声、静止画など多岐に渡るデータを記録可能であり、これらを記録媒体とした製品が増加してきている。また、ビデオテープでは不可能であったランダムアクセス性を生かして、記録したコンテンツを並べ替えたり組み合わせたりする編集機能を特徴の一つとしている。
【0003】
編集機能としては、不要なコンテンツを消去する消去機能、コンテンツから不要な部分を指定して削除する部分消去機能、コンテンツの分割や、結合など実際にコンテンツデータを編集するような機能がある。また、再生手順やレイアウトなどの再生制御情報を記録し、再生時にはこの再生制御情報に従ってデータを読み出し、再生する方法もある。一般的にはプレイリストなどと呼ばれる編集機能である。
【0004】
特許文献1によれば、プレイリストによって指定されていない領域を検出し、その領域を簡単に消去する装置について開示されている。
【0005】
また、「Blu-Discが目指すもの」(日経エレクトロニクス 2003 3−31(No.844))や、特許文献2によれば、記録する全てのコンテンツに対してReal PlayListを作成し、記録したコンテンツデータ(Clip)に対して分割、合成などの編集を行うとき、このReal PlayListのエントリを書き換える管理方法について開示されている。また、前述のプレイリスト、すなわちユーザが作品としてコンテンツデータの任意の部分を並べた再生制御情報をVirtual PlayListとしている。
【0006】
【特許文献1】
特開2002−150503号公報
【特許文献2】
特開2002−157859号公報
【0007】
【発明が解決しようとする課題】
特許文献1では、コンテンツの不要な部分を消去する場合、プレイリストで選択されていないデータが全て消去されてしまう。しかし、これではプレイリストに指定されていないデータを全て消去してしまうことになり、指定されていないデータの中に必要なデータが含まれている場合でもこれらを全て消去してしまうことになる。
【0008】
一方、特許文献2のように、全てのデータをReal PlayListに指定することで、この様な不具合は一見解消されるように思われるが、不要なデータを消去する場合には、ユーザが消去する部分を指定する必要がある。
【0009】
本発明はこの様な問題を解決し、ユーザが簡単な操作により不要と思われる部分を識別し、削除可能とすることを目的とする。
【0010】
【課題を解決するための手段】
この様な問題を解決するため、本発明によれば、動画像データを記録媒体に記録する装置であって、撮像手段と、前記記録媒体に記録されている動画像データの管理情報を生成する管理情報処理手段と、前記動画像データの撮影中において、前記撮像手段の状態に従って自動的に前記記録媒体に記録される動画像データの一部を指定し、前記指定した一部の動画像データを選択して再生するための再生手順を記述した自動作成プレイリストを生成するプレイリスト処理手段と、前記撮像手段から出力された動画像データ、前記管理情報、及び前記プレイリスト処理手段により作成された自動作成プレイリストを前記記録媒体に記録する記録手段と、前記記録媒体より前記動画像データ、前記管理情報、前記自動作成プレイリスト、及び、前記記録媒体に記録された動画像データのうちユーザが指定した一部を選択して再生するための再生手順を記述したユーザ作成プレイリストを再生する再生手段とを備え、前記管理情報処理手段は、前記記録媒体に記録された複数のプレイリストのうち何れかのプレイリストが選択されると、前記選択されたプレイリストが前記自動作成プレイリストであるか否かを判定し、判定の結果前記自動作成プレイリストであった場合には前記選択された自動作成プレイリストに基づいて前記記録媒体に記録されている前記管理情報の内容を変更する装置が提示される。
【0011】
【発明の実施の形態】
本発明の実施形態について説明する。
【0012】
図1は、本発明を適用したビデオカメラ100の構成を示す図である。
【0013】
図1において、101はレンズユニット、CCD、A/D変換器などを有する撮像部であり、被写体像をデジタル画像信号として出力する。103はマイクユニットであり、撮影時にデジタル音声信号を出力する。
【0014】
102はエンコーダであり、マイクロコンピュータ(以下マイコン)108の制御に従いデジタル画像データ、及びデジタル音声データを受け、MPEG2方式で圧縮し、さらに時系列順に多重化して圧縮ビデオデータを生成する。さらにエンコーダ部102はJPEG方式の圧縮を行い、圧縮静止画データを出力する機能も兼ね備えている。また、エンコーダ102には、例えばデータ位置とフレーム位置の変換に必要となる情報などをマイコン108に通知する機能を備えている。
【0015】
104は記録再生部であり、エンコーダ102とメモリ105、光ディスクD、及びデコーダ106とのインターフェースを有し、マイコン108の制御によってディスクDに対してデータを記録再生する。106はメモリであり、各ブロックが作業用に使用可能となっている。
【0016】
記録再生部104は、マイコン108からディスクDの制御レジスタにアクセスするための変換を行う。また、記録再生部104は、ヘッド、モータを含むメカデッキ、それらを制御する制御回路を有する。また、記録再生部104には、メモリ105の先頭アドレスとデータ量、及びディスクDの書き込む先頭セクタを指定することにより、読み出しまたは書き込みデータを自動転送する所謂ダイレクトメモリアクセス(DMA)機能が備わっている。
【0017】
106はデコーダであり、マイコン108に指定されたメモリ105のアドレスから圧縮ビデオデータや圧縮静止画データを逐次読み出し、例えばITU-R BT.656(CCIR656)等のデジタル映像信号、及びデジタル音声信号に変換し、出力する。
【0018】
108はマイクロコンピュータであり、システム全体を制御する。マイクロコンピュータ108は、プログラムを格納する不揮発性メモリ(ROM)、作業領域となる揮発性メモリ(RAM)、他のハードウエアとデータの受け渡しや制御用レジスタをアクセスするための外部バス、時間を計測するタイマを少なくとも有している。また、マイコン108はリアルタイムクロックを有し、カレンダー及び時刻情報を取得し、記録するデータに付与されるタイムスタンプ情報等に利用する107はバスであり、バス107には各ブロックが接続されており、マイクロコンピュータ108の制御に従ってデータの受け渡しを行う伝送路である。
【0019】
109は操作スイッチ群であり、電源の投入、記録・再生の選択、画質等を決定する記録モードなどをユーザが指定するための入力部である。
【0020】
110は表示制御部であり、マイコン108の指示に従い各種設定メニューやタイトル、時間などの情報を生成し、デコーダ106からの画像データや撮像部101からの画像データと共に表示部111に出力する。また表示制御部110には、デコーダ106から入力される画像データを抽出して縮小処理を施し、任意の位置に重畳させる機能も兼ね備えている。
【0021】
112はスピーカ、111は表示部である。
【0022】
マイコン108は所定のファイルシステムを扱うソフトウエアを搭載しており、このファイルシステムに従ってディスクDへのデータの読み書きが行われる。また、本形態では、記録開始の指示から記録停止の指示までの間に記録するデータを基本的に一つのコンテンツ(ファイル)として管理し、後に説明する動画データファイルとなる。
【0023】
次に、記録時の動作を説明する。
【0024】
まず、電源が投入されると、マイコン108はディスクDから前述のファイルシステムに則って記録再生部104を制御し、ディスクDの記録可能(空き)領域を検索する。そして、記録可能容量を算出し、記録可能容量とユーザにより指定された記録モード(画質モード)から記録可能時間を算出する。これ以降、記録中は記録可能容量の減少を監視し、定期的に記録可能時間を更新していく。
【0025】
マイコン108は常に操作スイッチ109の状態を検出し、ユーザの操作を監視している。以下ユーザの操作は断りのない限り操作スイッチ109を介してマイコン108に操作を伝えるものとする。
【0026】
次に、ユーザが記録開始要求を発生させると、カメラ画像及び音声の記録を開始すべく、マイコン108が各ブロックを制御する。まずエンコーダ102にはMPEG2エンコード処理を開始させ、圧縮ビデオデータを記録再生部104を介してメモリ105の所定アドレスを先頭に蓄積するよう制御する。所定量のデータを蓄積する毎にエンコーダ102はマイコン108に割り込み等の手段により通知する。マイコン108はこの通知を受け、次に蓄積すべき先頭アドレスを記録再生部104に通知する。
【0027】
さらにマイコン108はメモリ105に蓄積された圧縮ビデオデータをディスクDに書き込むよう記録再生部104にコマンドを発行する。この時ディスクDに書き込む領域はファイルシステムに則って検索された記録可能(空き)領域である。このエンコード処理からディスクDへの書き込みまでの一連の処理が、記録停止要求が発生するまで繰り返される。記録した圧縮ビデオデータは、ファイルシステムにおいて後述の動画データファイル(拡張子“mpg”)としてエントリされる。また、マイコン108はこの記録動作に伴い、ディスクDに記録したデータを指定する管理情報を含む管理ファイル(拡張子“rpl”)を生成し、記述する。また、特殊再生、プレイリスト、編集などに必要となるタイムマップテーブルファイル(拡張子“tbl”)を生成し、記述する。
【0028】
次に、再生動作について説明する。
【0029】
ユーザは、操作スイッチ109を操作して再生させたいコンテンツを選択する。
【0030】
マイコン108はユーザの指示に従って記録再生部104を制御し、ディスクDより記録されている各コンテンツの内容及びコンテンツに関連付けされた代表画像(サムネイル)データを再生し、これらのデータに基づいてコンテンツ選択用画面を生成するよう表示制御部110に指示する。ユーザは、ポインタを所望のコンテンツまで移動させ、決定することにより再生を開始するシーケンスが一般的である。またはダイレクトに再生キー(または再生命令を発行するために割り付けられたキー)を押すことにより、例えば先頭のコンテンツ、前回再生時の続き、最後に記録したコンテンツなどを再生しても良い。
【0031】
マイコン108は、記録再生部104を制御して、このように決定したコンテンツの圧縮ビデオデータをディスクDから読み出す。具体的には、記録時とは逆にディスクDから読み出し、メモリ105に蓄積するよう記録再生部104にコマンドを発行する。この時、ディスクDの読み出し先頭セクタ、メモリ105の書き込み先頭アドレス、データ量をマイコン108が指定する。次にマイコン108はデコーダ106に対し、メモリ105に蓄積された圧縮ビデオデータをデコード処理するようコマンドを発行する。コンテンツが終了するか停止、または一時停止等のユーザ操作が加えられるまで、デコーダ1068にデコード処理する圧縮ビデオデータが途切れることのないよう一連の処理が繰り返し実行される。
【0032】
本形態で扱うデータについて述べる。
【0033】
まずビデオカメラで記録するデータの種類及び格納するディレクトリ構造、管理ファイル、タイムマップテーブル、プレイリストの詳細について順に述べる。
【0034】
なお、本実施例では説明しないが、静止画データはJPEG方式であり、ディレクトリ名、ファイル名等はDCF規格(Design rule for Camera File system)に準拠した規則で記録しても良い。
【0035】
図2に、動画データファイル、管理ファイル、およびプレイリストファイルを記録媒体上に格納した状態の一例を示す。拡張子が“.rpl”であるファイルは管理ファイルであり、拡張子が“.tbl”であるファイルはタイムマップテーブルファイル、また拡張子が“.vpl”であるファイルはプレイリストファイルである。
【0036】
動画データファイルは、記録媒体のルートディレクトリの直下に作成されたVIDEOディレクトリに格納する。ファイル名は上位2桁の数字が増加していくものとし、拡張子を“.mpg”とする。管理ファイル、プレイリストファイルはPLAYLISTディレクトリに作成する。
【0037】
管理ファイルは、後述のプレイリストと同じ構文形式で作成されるものとし、以下Real PlayListと呼ぶ。Real PlayListは、W3C(World Wide Web Consortium)にて策定されたXML(eXtensible Markup Language)に準拠した形式で記述する。
【0038】
図3にReal PlayListの記述例を示す。ほぼSMIL(Synchronized Multimedia Integration Language)と同様であるが、videoタグのtbl属性はsrc属性で指示された動画データファイルに対応するタイムマップテーブルファイルを指定している。このタイムマップテーブルファイルにつては後に詳しく説明する。また、ClipBegin属性、及びClipEnd属性は、フレーム単位でコンテンツの先頭、終了位置をそれぞれ指定する。以降videoタグで参照指定される情報をPlayItemと称す。
【0039】
Real PlayListは動画ファイルと共に作成され、そのファイル名の上位2桁が一致する。また、図4(a)の様に動画データファイル01000.mpgと管理ファイル01001.rplが記録されており、動画データの任意の位置(f1)で分割する操作がされたとする。この時、図4(b)の様に、先頭からf1位置までを指定するよう管理ファイル01001.rplの内容を変更すると共に、新たに管理ファイル01002.rplが作成され、f1位置から最後までを指定するReal PlayListとなる。
【0040】
ファイル名5桁の数字のうち、下3桁はこのように利用する。またこの様なReal PlayListを利用することで、ユーザには二つのコンテンツに分割されたかのようにみせることができる。
【0041】
また、Real PlayListは同一領域を二重に指定してはいけない。
【0042】
また、Real PlayListに指定されていない領域は再生しない。
【0043】
次に、タイムマップテーブルについて説明する。
【0044】
図5はタイムマップテーブルを説明するために、動画フレームと、動画データファイルをイメージ化した図であり、図6はタイムマップテーブルファイルのデータ構造を示す図である。
【0045】
MPEG2方式は、画面間の相関を利用して情報量を圧縮し、データを符号化する動き補償型の予測符号化方式である。Iピクチャはフレーム内で符号化される画像であり、Pピクチャは過去のフレームとのフレーム間予測符号化によって符号化される画像である。更に、BピクチャはIピクチャとPピクチャ及びPピクチャ間の各フレームの画像データであり、過去及び未来のフレームの画像データを用いた双方向予測符号化によって符号化される画像である。図5ではそれぞれI,P,Bと付してある。MPEG2では、所定枚数のフレームでGOP(Group Of Pictures)を構成している。そして、各GOPにIピクチャが少なくとも1フレーム含まれている。これによりランダムアクセス性が高まり、所定レベルでの編集も容易となる。
【0046】
図5において、T0、T10、T300、T310は時間である。Tcstはインターバル時間であり、後述のタイムサーチエントリを作成する間隔である。801〜804はタイムサーチエントリフレームであり、これらのようにTcstごとのフレームである。TgopはGOP再生時間であり、GsはGOPのサイズである。TCはGOPの先頭フレームのタイムコードである。ここでいうタイムコードとは、記録時に確定する各コンテンツの先頭からのフレームナンバーに相当する。よってGOP単位での部分消去を行った場合、その前後で不連続となる。また各GOPにはユニークなGOP_IDが付与され、各GOP_IDに対してTgop、及びGsを記録する。
【0047】
各タイムサーチエントリには次の情報を有する。タイムサーチエントリに対応するタイムサーチエントリフレームを含むGOP_ID、エントリフレームからタイムサーチエントリフレームまでのオフセット(EFdif)、先頭からエントリフレームまでのオフセット(Gofs)である。エントリフレームとは、各タイムサーチエントリを復号し、画像データとするために必要となるフレームデータの先頭のことである。前述のように、MPEGでは、BピクチャやPピクチャを含み、これらはIピクチャまたはI,Pピクチャとのフレーム間での相関を利用した符合化がなされている。このため、タイムサーチエントリがB,Pピクチャであるとき、この画像を復号するために必要となる先頭のフレームのことである。なおタイムサーチエントリフレームがIフレームのとき、そのフレーム自体がエントリフレームとなりEfdif=0である。図5ではタイムサーチエントリフレーム801の場合である。
【0048】
これらの情報は図6のような構造をとり、タイムマップテーブルファイル(拡張子が“.tbl”)に含まれる。
【0049】
タイムマップデータテーブルを元にT300のタイムサーチエントリフレーム803を復元する方法を例として説明する。タイムサーチエントリはTsctごとに作成されるので、
n=T300/Tsct
とすると、n番目のエントリとなる。よってタイムサーチ情報[n]であるGOP_ID[n]を取得する。GOP_ID[n]のメンバーGofs[n]から、先頭からエントリフレーム806までのバイト数がわかる。またEFdif[n]からエントリフレーム803から何フレーム目がタイムサーチエントリフレーム803であるかを知ることができる。よって先頭からGofs[n]バイト目からデコードを開始し、EFdif[n]フレーム目を表示すればT300を再生することができる。これによりフレーム単位での検索が容易になる。
【0050】
一方、タイムコードでフレーム指定をする場合、TCを検索し、所望の近傍となるGOP_ID[m]を特定すると同時に、そのGOP_ID[m]までのGs[1..m]を足しこんでいき、GOP_IDのオフセットを算出する。さらに(指定フレーム-TC)フレームだけ進めたフレームを再生することにより不変となるフレーム指定を行うことが可能となる。
【0051】
以上の手法により,コンテンツの先頭からの相対時間によるフレームの特定、及び絶対時間(タイムコード)によるフレームの特定が可能となる。
【0052】
なお、ここで説明したタイムマップテーブルは、例えば部分消去を行ったとき再構築される。但し部分消去はGOP単位未満では行われない。またTCは変更しない。
【0053】
また、ここでは動画像を例に説明したが、実際にはオーディオデータやパックヘッダなどの情報も組み込まれており、それらを加味してテーブルを作成するものとする。
【0054】
次に、プレイリストについて説明する。
【0055】
前述の通り、プレイリストもReal PlayList(管理ファイル)と同様にXMLに準拠した形式で記述する。プレイリストは基本的にユーザ操作によって作成される再生制御情報であり、Real PlayListに対しVirtual PlayListとする。
【0056】
図7にプレイリストの記述例を示す。
【0057】
書式はReal PlayListと同様である。ただしファイル名と動画データファイル名には関連がない。またプレイリストを編集しても、動画データファイル、及びReal PlayListの編集は行われない。図7ではseqタグ以降に記述された動画データが順次再生される。
【0058】
本来、管理ファイルは動画データ等を記録する際作成されるものであり、プレイリストは動画データを編集することなくユーザが自由に参照領域を指定し、作品などとするために備えられた機能であるが、本形態では、以下の様に管理ファイルとプレイリストを扱う点を特徴とする。
【0059】
即ち、本形態では、動画撮影時に、動画データファイル、Real PlayListと共に、所定の条件を従ってデータを選択してその再生手順を指定したVirtual PlayListを自動的に作成する。
【0060】
次に、この様にVirtual PlayListにより指定する再生データを選択するための条件について、図8を用いて説明する。図8は動画撮影時においてマイコン108により実行されるVirtual PlayListの処理を示すフローチャートである。
【0061】
撮影を開始すると、手ぶれによる変位が所定値未満であるか否か判定する(ステップS801)。本形態では、現在多くのビデオカメラに搭載されている手ぶれ補正機能を備えており、この手ぶれ補正時に用いる情報を元に判定を行う。
【0062】
手ぶれによる変異量が所定値よりも小さい場合、ピントが合っているか否かを判定する(ステップS802)。本形態では、ビデオカメラに一般に搭載されているオートフォーカス機能の情報を元に判定を行っている。
【0063】
S801、S802の両者で正と判定した場合、つまり手ぶれが所定値より小さく、且つピントが合っている場合には、現在撮影しているデータを有効エリアに指定する(ステップS803)。
【0064】
一方、S801、またはS802で否と判定した場合、つまり手ぶれが所定値以上か、あるいはピントが合っていない場合、現在撮影しているデータを無効エリアに指定する(ステップS804)。
【0065】
そして、撮影終了の指示があったか否かを判定し(ステップS805)、撮影終了の指示があるまでステップS801〜S804の処理を繰り返し実行する。本形態では、所定間隔(例えば1フレーム期間)ごとに繰り返し実行する。
【0066】
撮影終了の指示があると、S803にて指定した有効エリアの情報に基づいて、この有効エリアのデータのみを再生するよう再生手順を指定したVirtual PlayListを作成し、記録再生部104によりディスクDに記録する。この時、所定期間連続的に無効エリアとなった領域のみVirtual PlayListから外す方が良い。
【0067】
このように記録された動画データ、Real PlayList、Virtual PlayListの関係を図9に示す。図9において、901はVirtual Playlist、902はReal Playlist、903は動画データをそれぞれ示しており、動画データ903のうち、903a〜903eの領域はそれぞれ、図8のフローで無効エリアに指定された部分である。図9のようにReal PlayList902は動画データ903の全領域を指定しており、Virtual PlayList901は領域903a〜903eを除いた領域を指定したプレイリストである。
【0068】
この時のVirtual PlayListの記述例を図10に示す。
【0069】
ここで特徴となるのがheadタグ内のmetaタグである。自動作成されたVirtual PlayList のとき、name属性の値を“vpl_auto“、content属性の値を”1“とするmetaタグを記載する。この属性を有するmetaタグが存在するとき、そのVirtual PlayListは自動生成されたものであることがわかる。また、このような属性を有するmetaタグがないか、またはcontent属性の値が“0”のとき、ユーザの操作によって作成されたVirtual PlayListである。この情報を元にシステム、またはユーザは自動作成されたVirtual PlayListであることを認識することができる。
【0070】
この様に、本形態においては、動画撮影時において、記録した画像データの全てを指定しているReal PlayListと共に、撮影時の状況に基づいて画像データのうちの有効エリアのみを指定したVirtual PlayListを生成して記録している。
【0071】
次に、この様に記録したVirtual PlayListを利用してReal PlayList、及び動画データを編集する際の処理について説明する。
【0072】
図11はVirtual PlayListに基づいて画像データを再生するときのマイコン108による処理を説明するフローチャートである。
【0073】
操作スイッチ109により再生指示があると、マイコン108は記録再生部104を制御してディスクDより指定された動画データのVirtual PlayListを再生する(ステップS1101)。ここでは、表示制御部110によりVirtual PlayListのリストまたはサムネイル画像を表示部111に表示し、ユーザはこれらの中から所望の画像データを選択する。
【0074】
次に、読み出したVirtual PlayList中のmetaタグとして、vpl_auto属性値が“1”であるか否かを判定する(ステップS1102)。つまり、選択したVirtual PlayListが自動作成されたものであるか否かを判定し、自動作成されたものでない場合には通常のVirtual PlayList、即ちユーザが自ら作成したVirtual PlayListであるため終了する。
【0075】
また、このVirtual PlayListが撮影時に自動作成されたものであった場合、表示制御部110を制御して表示部111に問い合わせのためのダイアログを表示することで、ユーザに対し、Virtual PlayListにて指定された再生エリアに基づいて、Real PlayList及び動画データファイルを編集するか否かを問い合わせる(ステップS1103)。
【0076】
S1103において操作スイッチ109により編集の指示があると、記録再生部104を制御して、Virtual PlayListが指し示すPlayItemに対応するReal PlayListをVirtual PlayListに従って書き換える。具体的には、Virtual PlayListにより指定しているエリアと同じエリアを指定するようにReal PlayListを書き換える。これにより、Virtual PlayListにて指定されていない部分はReal PlayListにおいても指定されないことになり、実質的に指定されていない部分の画像データがディスクDから消去されることになる。
【0077】
Real PlayListの書き換え処理と動画ファイルの編集処理が終了すると、既にReal PlayListにより指定しているデータとVirtual PlayListにより指定しているデータとが同一となるため、Virtual PlayListを消去する(ステップS1105)。
【0078】
そして、このようにReal PlayListを書き換えた後、次回の再生からは、マイコン108はこのReal PlayListに従い、指定されている画像データを再生するよう記録再生部104を制御する。
【0079】
また、S1103において否であるとき、図11ではそのまま終了しているが、例えば、
vpl_auto=“2”
と書き換えることによりキャンセルされたことを記録しても良い。そして、次回の再生以降、このVirtual PlayListをユーザが作成したVirtual PlayListと同様に扱い、このVirtual PlayListに基づいて再生を制御することも可能である。
【0080】
あるいは、反対に、このVirtual PlayListを消去してしまっても良い。
【0081】
この一連の処理により、再生したVirtual PlayListが自動作成されたものである場合、自動的に編集確認を行い、ユーザの操作により実行要求が発生したときにはReal PlayList、及び動画データファイルを編集することが可能となる。
【0082】
以上説明したように、本形態によれば、撮影時の状態に従い、良好な撮影状態のデータエリアのみを指定するVirtual PlayListを作成し、再生時にこのVirtual PlayListに基づいて画像データを自動編集するため、簡単な操作により不要と思われる部分を消去することが可能となる。また、Virtual PlayListに指定されていないエリアのデータもユーザに必要であると判断した場合には、編集処理を行わないので、必要な部分まで消去してしまう恐れがない。
【0083】
なお、本形態では、手ぶれ情報や合焦情報など、撮影時の状況に係る情報をVirtual PlayListの有効エリア判定の際の条件に用いたが、一方、ビデオカメラには、フェードイン、フェードアウトや、クロマキー、ルミキーなどによる画像合成を行う機能(以降エフェクトと称す)など、撮影像に特殊効果を加える機能が搭載されている製品が多い。またこのような機能はユーザの操作により意図的に実行されるものである。
【0084】
そのため、前述のようなエフェクトが使用されている期間は常に自動生成Virtual PlayListに対して有効エリアであると判定するようにしてもよい。この処理を追加したフローチャートが図12である。
【0085】
撮影を開始すると、エフェクトの全ての機能がOFFとなっているか否か判定する(ステップS1201)。ここで否のとき、つまりなんらかのエフェクト機能がユーザの操作によって有効となっているときには有効エリアとして指定する。一方、正のとき、つまり全てのエフェクト機能がOFFであるときにはステップS1202へ遷移し、以下図8のフローチャートと同様な処理が実行される。
【0086】
またこのように記録された動画データ、Real PlayList、Virtual PlayListの関係を図13に示す。図13は図9で説明したのと同様であるが、領域903aはフェードイン中であり、903cは画像ミックス中である。よってこの二つの領域は他の条件には拠らずにVirtual PlayListの指定エリアとなる。
【0087】
なお、本形態では、手ぶれ情報、合焦情報を有効、無効エリアの判定に使用したが、この他のカメラ情報を使用しても良い。例えば姿勢検出センサーをさらに備え、所定期間レンズが地面を向いていたら無効とするといったような判断を加えても良い。
【0088】
また、手ぶれ情報はビデオカメラの変位量から判断しているが、周波数特性をさらに判定アルゴリズムに加えても良い。例えばビデオカメラに加えられる振動が振幅の小さなものであっても、比較的高い周波数を有する振動を加えられ、明らかに見苦しい映像となるような場合には無効エリアとしても良い。さらに音声信号を判定に使用しても良い。
【0089】
また、前述の実施形態では、自動作成されたVirtual PlayListを利用して動画データを編集していたが、例えばユーザの操作によって作成されたVirtual PlayListを利用してReal PlayList、または動画データを編集しても良い。但しそのVirtual PlayListに指定されている動画データファイルに関してのみ実行することを特徴とする。
【0090】
また、自動作成されたVirtual PlayListにて指定されているエリアを全て自動編集に反映させるのではなく、ユーザが指定した部分においてのみ、指定されているエリア以外のデータを消去するようにしてもよい。
【0091】
また、Virtual PlayList、Real PlayListの書式は一例であり、これに限定するものではない。データの並び、大きさなど、所定のフォーマットを規定すればバイナリによる構造体であっても良い。また、GOPを単位としてタイムコードの管理を行ったが、これに限定するものではない。また、コンテンツの圧縮方式についても一例であり、他の圧縮方式であっても良い。また、記録媒体として光ディスクを用いたが、ハードディスクやカード型記録メディアでも良い。
【0092】
尚、本発明は、複数の機器(例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用してもよい。
【0093】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体(又は記憶媒体)を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0094】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0095】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0096】
【発明の効果】
以上説明したように、本発明によれば、記録された情報データのうち所定の条件に従う部分のみを容易に認識でき、不要な部分を容易に消去することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したビデオカメラの構成を示す図である。
【図2】ディスク上に記録されるファイルの様子を示す図である。
【図3】画像データの様子を示す図である。
【図4】管理ファイルと画像データの関係を示す図である。
【図5】タイムマップテーブルを説明するための図である。
【図6】タイムマップテーブルの様子を示す図である。
【図7】プレイリストの様子を示す図である。
【図8】記録時の処理を示すフローチャートである。
【図9】管理ファイル及びプレイリストと画像データとの関係を示す図である。
【図10】プレイリストの様子を示す図である。
【図11】編集処理を示すフローチャートである。
【図12】記録時の処理を示すフローチャートである。
【図13】管理ファイル及びプレイリストと画像データとの関係を示す図である。

Claims (8)

  1. 動画像データを記録媒体に記録する装置であって、
    撮像手段と、
    前記記録媒体に記録されている動画像データの管理情報を生成する管理情報処理手段と、
    前記動画像データの撮影中において、前記撮像手段の状態に従って自動的に前記記録媒体に記録される動画像データの一部を指定し、前記指定した一部の動画像データを選択して再生するための再生手順を記述した自動作成プレイリストを生成するプレイリスト処理手段と、
    前記撮像手段から出力された動画像データ、前記管理情報、及び前記プレイリスト処理手段により作成された自動作成プレイリストを前記記録媒体に記録する記録手段と、
    前記記録媒体より前記動画像データ、前記管理情報、前記自動作成プレイリスト、及び、前記記録媒体に記録された動画像データのうちユーザが指定した一部を選択して再生するための再生手順を記述したユーザ作成プレイリストを再生する再生手段とを備え、
    前記管理情報処理手段は、前記記録媒体に記録された複数のプレイリストのうち何れかのプレイリストが選択されると、前記選択されたプレイリストが前記自動作成プレイリストであるか否かを判定し、判定の結果前記自動作成プレイリストであった場合には前記選択された自動作成プレイリストに基づいて前記記録媒体に記録されている前記管理情報の内容を変更することを特徴とする記録装置。
  2. 前記撮像手段は前記動画像データのぶれ量を検出して補正し、前記プレイリスト処理手段は前記ぶれ量に従って前記動画像データの一部を指定することを特徴とする請求項1記載の記録装置。
  3. 前記プレイリスト処理手段は前記撮像手段の合焦状態に従って前記動画像データの一部を指定することを特徴とする請求項1記載の記録装置。
  4. 前記管理情報処理手段は、前記選択された自動作成プレイリストに基づいて、前記自動作成プレイリストにより指定された部分以外の動画像データが再生されないように、前記管理情報の内容を変更することを特徴とする請求項1記載の記録装置。
  5. 情報データを記録媒体に記録する装置であって、
    前記記録媒体上に記録されている情報データの管理情報を生成する管理情報処理手段と、
    前記記録媒体に記録された情報データの一部を所定の条件に従って自動的に指定し、前記指定した部分の情報データを選択して再生するための再生手順を記述した自動作成プレイリストを生成するプレイリスト処理手段と、
    前記情報データ、前記管理情報、及び、前記プレイリスト処理手段により生成された自動作成プレイリストを前記記録媒体に記録する記録手段と、
    前記記録媒体より前記情報データ、前記管理情報、前記自動作成プレイリスト及び、前記記録媒体に記録された情報データのうちユーザが指定した一部を選択して再生するための再生手順を記述したユーザ作成プレイリストを再生する再生手段とを備え、
    前記管理情報処理手段は、前記記録媒体に記録された複数のプレイリストのうち何れかのプレイリストが選択されると、前記選択されたプレイリストが前記自動作成プレイリストであるか否かを判定し、判定の結果前記自動作成プレイリストであった場合には前記選択された自動作成プレイリストに基づいて前記記録媒体に記録されている前記管理情報の内容を変更することを特徴とする記録装置。
  6. 前記管理情報処理手段により変更された管理情報に基づいて前記情報データを再生するよう前記再生手段を制御する手段を備えたことを特徴とする請求項5記載の記録装置。
  7. 前記管理情報処理手段は、前記選択された自動作成プレイリストに基づいて、前記自動作成プレイリストにより指定された部分以外の情報データが再生されないように、前記管理情報の内容を変更することを特徴とする請求項5記載の記録装置。
  8. 前記管理情報処理手段による前記管理情報の変更が終了したことに応じて前記自動作成プレイリストを前記記録媒体から消去する手段を備えたことを特徴とする請求項1から6の何れか1項に記載の記録装置。
JP2003165085A 2003-06-10 2003-06-10 記録装置 Expired - Fee Related JP4323870B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003165085A JP4323870B2 (ja) 2003-06-10 2003-06-10 記録装置
US10/855,372 US7272080B2 (en) 2003-06-10 2004-05-28 Recording apparatus
CNB2004100455643A CN100454430C (zh) 2003-06-10 2004-06-07 记录装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003165085A JP4323870B2 (ja) 2003-06-10 2003-06-10 記録装置

Publications (3)

Publication Number Publication Date
JP2005005855A JP2005005855A (ja) 2005-01-06
JP2005005855A5 JP2005005855A5 (ja) 2006-07-13
JP4323870B2 true JP4323870B2 (ja) 2009-09-02

Family

ID=33508835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003165085A Expired - Fee Related JP4323870B2 (ja) 2003-06-10 2003-06-10 記録装置

Country Status (3)

Country Link
US (1) US7272080B2 (ja)
JP (1) JP4323870B2 (ja)
CN (1) CN100454430C (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020156912A1 (en) * 2001-02-15 2002-10-24 Hurst John T. Programming content distribution
JP2005027159A (ja) * 2003-07-04 2005-01-27 Canon Inc 記録装置及び方法
EP1542231A1 (en) * 2003-12-08 2005-06-15 Canon Kabushiki Kaisha Recording apparatus and recording method capable of recording series of content data on different recording media
US8321041B2 (en) * 2005-05-02 2012-11-27 Clear Channel Management Services, Inc. Playlist-based content assembly
KR20070018621A (ko) * 2005-08-10 2007-02-14 삼성전자주식회사 광디스크 기록재생장치 및 그 다이렉트 복사방법
JP4552889B2 (ja) * 2006-05-10 2010-09-29 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、撮像装置および撮像方法
US9196270B1 (en) 2006-12-07 2015-11-24 Western Digital (Fremont), Llc Method for providing a magnetoresistive element having small critical dimensions
US8316527B2 (en) 2008-04-01 2012-11-27 Western Digital (Fremont), Llc Method for providing at least one magnetoresistive device
US8349195B1 (en) 2008-06-27 2013-01-08 Western Digital (Fremont), Llc Method and system for providing a magnetoresistive structure using undercut free mask
JP5287338B2 (ja) * 2009-02-24 2013-09-11 パナソニック株式会社 撮像装置、映像編集装置及び映像編集システム
KR20140029991A (ko) * 2012-08-31 2014-03-11 삼성전자주식회사 프로그래시브 플레이리스트 재생 장치 및 재생 방법, 기록 장치 및 기록 방법, 이를 위한 정보저장매체
CN107124557A (zh) 2017-05-31 2017-09-01 广东欧珀移动通信有限公司 对焦方法、装置、计算机可读存储介质和终端
CN109922409A (zh) * 2017-12-13 2019-06-21 浙江万马新能源有限公司 一种充电桩语音播放电路及其控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322057A (ja) 1996-05-28 1997-12-12 Canon Inc 撮像装置
US6573930B2 (en) 1996-11-15 2003-06-03 Canon Kabushiki Kaisha Image pickup apparatus for storing, reading-out and processing a signal during predetermined time periods
US6734901B1 (en) 1997-05-20 2004-05-11 Canon Kabushiki Kaisha Vibration correction apparatus
US6542694B2 (en) * 1998-12-16 2003-04-01 Kabushiki Kaisha Toshiba Optical disc for storing moving pictures with text information and apparatus using the disc
JP4355988B2 (ja) 2000-04-21 2009-11-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム記録媒体、プログラム、および情報記録媒体
WO2001082611A1 (fr) 2000-04-21 2001-11-01 Sony Corporation Procede et appareil de traitement d'informations, support enregistre, et programme
JP2002150503A (ja) 2000-11-13 2002-05-24 Pioneer Electronic Corp 情報記録再生装置、および情報記録媒体
JP3870123B2 (ja) 2002-06-11 2007-01-17 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP2005005855A (ja) 2005-01-06
US20040252593A1 (en) 2004-12-16
CN100454430C (zh) 2009-01-21
CN1574050A (zh) 2005-02-02
US7272080B2 (en) 2007-09-18

Similar Documents

Publication Publication Date Title
US6353704B1 (en) Optical disc recording apparatus, computer-readable recording medium recording a file management program, and optical disc
US6253026B1 (en) Optical disc, recording apparatus, and computer-readable recording medium
US7840115B2 (en) Optical disc recording apparatus, computer-readable recording medium recording a file management program, and optical disc
JP3356991B2 (ja) 光ディスク、記録方法、記録装置、再生方法及び再生装置
US20010043790A1 (en) Optical disc, recording apparatus, and computer-readable recording medium
US8165455B2 (en) Data processing apparatus and data processing method, and computer program
JP4323870B2 (ja) 記録装置
JP2004079087A (ja) 記録装置および方法、記録媒体、並びにプログラム
JP2005033383A (ja) 動画像編集装置及びその制御方法
US20040234240A1 (en) Recording medium
JP2002373480A (ja) データ記録方法及びデータ記録装置ならびに記録媒体
JP2007074433A (ja) 撮像装置
US20050265190A1 (en) Recording apparatus
JP2003018527A (ja) 録画再生装置、コンピュータ読取可能な記録媒体、及びプログラム。
JP4957498B2 (ja) 記録装置、記録方法及びプログラム
JP4217545B2 (ja) データ処理方法
JP2004362653A (ja) 記録装置、情報記録再生装置、記録方法、コンピュータプログラム及び記憶媒体
JP2006165797A (ja) 記録装置及び記録方法
JP2009110598A (ja) 記録装置及び記録方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090605

R150 Certificate of patent or registration of utility model

Ref document number: 4323870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees