JP3999408B2 - Video content registration system - Google Patents

Video content registration system Download PDF

Info

Publication number
JP3999408B2
JP3999408B2 JP16106499A JP16106499A JP3999408B2 JP 3999408 B2 JP3999408 B2 JP 3999408B2 JP 16106499 A JP16106499 A JP 16106499A JP 16106499 A JP16106499 A JP 16106499A JP 3999408 B2 JP3999408 B2 JP 3999408B2
Authority
JP
Japan
Prior art keywords
data
video data
unit
shared buffer
encoded video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16106499A
Other languages
Japanese (ja)
Other versions
JP2000350133A (en
Inventor
山 紀 之 平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP16106499A priority Critical patent/JP3999408B2/en
Publication of JP2000350133A publication Critical patent/JP2000350133A/en
Application granted granted Critical
Publication of JP3999408B2 publication Critical patent/JP3999408B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、映像データをビデオサーバに登録する映像コンテンツ登録システムに係り、とりわけ、様々な外部記憶装置に記憶された映像データを「ビデオオンデマンドシステム」等において利用可能となるようにビデオサーバに登録する映像コンテンツ登録システムに関する。
【0002】
【従来の技術】
映像データを映像コンテンツとして登録するビデオサーバは、符号化映像データが記録された記録媒体から当該符号化映像データを読み込むようになっている。ビデオサーバによる符号化映像データの読み込みの際には、記憶媒体は、ネットワーク等を介してビデオサーバに接続される。
【0003】
記憶媒体は、独立した磁気テープや磁気ディスクの他、ネットワーク等を介してビデオサーバに接続された他のコンピュータシステム内の記憶装置等、多岐にわたっている。
【0004】
ビデオサーバは更に、記憶媒体から読み込んだ符号化映像データを解析するようになっている。従来のビデオサーバは、符号化映像データの読み込み機能と、符号化映像データの解析機能とが一体化され、両機能が交互に実行されるようになっている。
【0005】
【発明が解決しようとする課題】
しかしながら、ビデオサーバ内部において、符号化映像データを記憶媒体から読み込む機能と当該符号化映像データを解析する機能とが一体化していると、映像コンテンツの登録を行う際、符号化映像データの読み込みと符号化映像データの解析とを効率よく処理することが困難な場合がある。
【0006】
具体的には、例えば、符号化映像データの読み込み負荷が増大した場合、符号化映像データの解析中断時間は長くなるが、その後、逆に符号化映像データの解析負荷が増大して、符号化映像データの読み込み中断時間が長くなる場合も生じ得る。この場合、映像コンテンツの登録作業は極めて長時間を要することとなる。
【0007】
本発明は、このような点を考慮してなされたものであり、符号化映像データの読み込みと符号化映像データの解析とを効率よく処理することが可能な映像コンテンツ登録システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は、外部記憶装置または外部ネットワークに接続され、前記外部記憶装置または前記外部ネットワークから符号化映像データを受信するデータ受信部と、前記データ受信部に接続され、前記データ受信部が受信した前記符号化映像データを記憶する共有バッファ部と、前記共有バッファ部に接続され、前記共有バッファ部に記憶された前記符号化映像データを解析して、映像データと対応再生時刻との関連付け情報を得るデータ解析部と、前記データ解析部に接続され、前記符号化映像データの解析結果としての映像データと対応再生時刻との関連付け情報ならびに前記符号化映像データを蓄積するデータ蓄積部と、を備え、前記データ受信部による前記共有バッファ部への前記符号化映像データの記憶と、前記共有バッファ部に記憶された前記符号化映像データの前記データ解析部による解析とは、並行して行われるようになっており、前記データ受信部によって前記共有バッファ部へ記憶される前記符号化映像データの量が前記共有バッファ部の容量を超えている場合、前記データ解析部による解析が終了した前記符号化映像データの部分に上書きすることによって前記共有バッファ部の容量を超えた前記符号化映像データの受信及び解析が可能となっており、前記データ受信部による前記符号化映像データの前記共有バッファ部への記憶速度と、前記データ解析部による前記共有バッファ部に記憶された前記符号化映像データの解析速度とは、前記共有バッファ部の容量が許容する範囲内で制御されるようになっていることを特徴とする映像コンテンツ登録システム。
【0009】
本発明によれば、データ受信部とデータ解析部とが分離されており、符号化映像データの読み込みと符号化映像データの解析とを並行処理することが可能であるため、処理の効率が顕著に向上する。また、本発明では、そのような並行処理によって実施される符号化映像データの解析によって、映像データと対応再生時刻との関連付け情報が得られてデータ蓄積部に蓄積されるため、いわゆる「ビデオオンデマンド」として利用可能な映像コンテンツの登録が実現される。
また、好ましくは、前記データ受信部による前記符号化映像データの前記共有バッファ部への記憶速度と、前記データ解析部による前記共有バッファ部に記憶された前記符号化映像データの解析速度とは、巡回カウンタが0のときは、読込ポインタが解析ポインタより所定量以上先の位置となり、巡回カウンタが1のときは、解析ポインタが読込ポインタより所定量以上先の位置となるように、制御されるようになっている。この場合、読込ポインタと解析ポインタの前後関係の判別において所定量の余裕を設けているため、誤作動の生じる確率を顕著に低減するとができる。
【0010】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【0011】
図1は、本発明の第1の実施の形態による映像コンテンツ登録システムを示す構成概略図である。図1に示すように、本発明の第1の実施の形態の映像コンテンツ登録システム10は、映像コンテンツの登録及び配信を行うビデオサーバ101と、ビデオサーバ101にネットワーク110を介して接続されたクライアント装置102及びコンピュータ103とを備えている。
【0012】
クライアント装置102は、ビデオサーバ101に対して映像コンテンツの登録要求を行う端末であるが、ビデオサーバ101自身が兼ねることもできる。
【0013】
ネットワーク110は、例えばEthernetやATMである。
【0014】
本実施の形態では、コンピュータ103に外部記憶装置104が接続されており、外部記憶装置104内に登録の対象となる符号化映像データが記憶されている。符号化映像データは、映像データをMPEG等によって符号化したものである。また、ビデオサーバ101には、登録された映像コンテンツを記憶する外部記憶装置105が接続されている。外部記憶装置104及び105は、それぞれ、磁気テープや磁気ディスク等によって構成される。
【0015】
図2は、ビデオサーバ101を示す構成概略図である。図2に示すように、ビデオサーバ101は、主制御部120と、主制御部120に接続され主制御部120によって制御されるデータ受信部121、データ解析部122及びデータ蓄積部123を有している。
【0016】
主制御部120は、ネットワーク110を介してクライアント装置102に接続され、クライアント装置102からの各種の要求に応じて、データ受信部121、データ解析部122及びデータ蓄積部123を制御するようになっている。
【0017】
データ受信部121は、ネットワーク110等を介して外部記憶装置104に接続され、外部記憶装置104から符号化映像データを受信できるようになっている。データ受信部121には、データ受信部121が受信した符号化映像データを記憶する共有バッファ部124が接続されている。一方、共有バッファ部124は、データ解析部122にも接続されており、データ解析部122は共有バッファ部124に記憶された符号化映像データを解析できるようになっている。
【0018】
データ受信部121による共有バッファ部124への符号化映像データの記憶と、共有バッファ部124に記憶された符号化映像データのデータ解析部122による解析とは、並行して行われるようになっている。
【0019】
また、データ受信部121によって共有バッファ部124へ記憶される符号化映像データの量が共有バッファ部124の容量を超えている場合、データ解析部122による解析が終了した符号化映像データの部分に上書きすることによって共有バッファ部124の容量を超えた符号化映像データの受信及び解析が可能にとなっている。
【0020】
また、データ受信部121による符号化映像データの共有バッファ部124への記憶速度と、データ解析部122による共有バッファ部124に記憶された符号化映像データの解析速度とは、共有バッファ部124の容量が許容する範囲内で制御されるようになっている。具体的には、図3(a)乃至図3(c)に示すように、読込ポインタRPと、解析ポインタAPと、巡回カウンタとを用いて制御されるようになっている。
【0021】
読込ポインタRPは、データ受信部121が共有バッファ部124に書き込んだデータの最後の位置を示すポインタである。読込ポインタRPは、共有バッファ部124の最後尾に達したら、共有バッファ部124の先頭に戻るようになっている。
【0022】
解析ポインタAPは、データ解析部122が共有バッファ部124から読み込んで解析したデータの最後の位置を示すポインタである。解析ポインタAPも、共有バッファ部124の最後尾に達したら、共有バッファ部124の先頭に戻るようになっている。
【0023】
巡回カウンタは、初期値は0であり(図3(a)参照)、データ受信部121が共有バッファ部124の最後尾まで記憶を行い、読込ポインタRPが再び共有バッファ部124の先頭に戻った際に1増える(図3(b)参照)。逆に、データ解析部122が共有バッファ部124の最後尾まで解析を行い、解析ポインタAPが再び共有バッファ部124の先頭に戻った際には、巡回カウンタは1減る(図3(c)参照)。
【0024】
従って、巡回カウンタが0のときは、読込ポインタRPが解析ポインタAPより先の位置または同じ位置となる範囲内で、巡回カウンタが1のときは、解析ポインタAPが読込ポインタRPより先の位置または同じ位置となる範囲内で、データ受信部121による符号化映像データの共有バッファ部124への記憶速度と、データ解析部122による共有バッファ部124に記憶された符号化映像データの解析速度とが制御されるようになっている。
【0025】
本実施の形態のデータ解析部122は、符号化映像データから、映像データと対応再生時刻との関連付け情報を解析するようになっている。MPEGで符号化されたデータには、再生時刻情報が付加されているので、このような情報解析は容易である。この関連付け情報は、登録された映像コンテンツを任意の時点から配信可能とするために有効な情報である。
【0026】
また、データ蓄積部123は、データ解析部122にも接続され、符号化映像データの解析結果を蓄積できるようになっている。すなわち、この場合、映像データ及び映像データおよび符号化映像データと対応再生時刻との関連付け情報を蓄積するようになっている。
【0027】
なお、図2では、データ受信部121、データ解析部122及び共有バッファ部124は、各々1個が図示されているのみであるが、ビデオサーバ101は、複数の符号化映像データの読み込み(受信)及び解析を同時に行えるよう、データ受信部121、データ解析部122及び共有バッファ部124を複数組有している。
【0028】
次に、このような構成よりなる本実施の形態の作用について説明する。
【0029】
まずクライアント装置102において、映像コンテンツの登録を要求するための登録要求信号が作成される。例えば図4に示すように、クライアント装置102の表示装置等に映像コンテンツ登録メニューが表示される(STEP01)。登録要求を行うオペレータは、登録メニューによる案内に従って、登録する映像データに付けるタイトル名を入力し(STEP02)、登録対象の符号化映像データが記憶されている記憶媒体名(この場合、外部記憶装置104)を選択すると共に、当該符号化映像データ名を入力する(STEP03、STEP04)。
【0030】
オペレータによる情報の入力が終了すると、入力情報がパケット化される(STEP05)。その後、クライアント装置102は、ビデオサーバ101に対してコネクション確立要求を送信し(STEP06)、コネクションが確立された後に、パケット化された情報をビデオサーバ101に送信する(STEP07)。
【0031】
一方、ビデオサーバ101は、クライアント装置102とのコネクションが確立すると(STEP11)、主制御部120が、クライアント装置102から送られるパケット情報を受信する。ここで、パケット情報を受信すると(STEP12)、残りの情報の受信に先立って、あるいは残りの情報の受信と並行して、当該パケット情報の登録処理に関するストリーム番号を発行して割り当てる(STEP13)。ビデオサーバ101に略同時に複数のパケット情報が送られた場合でも、それらの情報には各々異なるストリーム番号が割り当てられる。
【0032】
主制御部120は、当該ストリーム番号に対するデータ受信部121及び共有バッファ部124を割り当てる(STEP14)。割り当てが正常に終了すると、データ受信準備完了通知が主制御部120に送られる。全ての共有バッファ部124が使用中である等の理由で、データ受信準備が行えない場合には、その旨が主制御部120に通知される。
【0033】
データ受信部121及び共有バッファ部124の割り当てが正常に行われた場合、主制御部120は、続いてデータ解析部122を割り当てる(STEP15)。この割り当てによって、共有バッファ部124に記憶された映像データを解析する解析データ部122が特定される。割り当てが正常に終了すると、データ解析準備完了通知が主制御部120に送られる。
【0034】
主制御部120は、データ解析部122からデータ解析準備完了通知を受信すると、クライアント装置102から送られるパケット化情報のうち符号化映像データの格納先、すなわち記憶媒体名及び符号化映像データ名を、対応するストリーム番号を割り当てたデータ受信部121に送る。
【0035】
当該データ受信部121は、主制御部120を介して送られた記憶媒体名及び符号化映像データ名に基づいて、当該符号化映像データを一定のサイズ毎に受信する。この場合、外部記憶装置104から、符号化映像データを受信する。データ受信部121が受信した符号化映像データは、直ちに対応する共有バッファ部124に記憶される。
【0036】
当該共有バッファ部124に対応して割り当てられたデータ解析部122は、データ受信部121による符号化映像データの共有バッファ部124への記憶と並行して、共有バッファ部124に記憶された符号化映像データの解析を行う(STEP16)。
【0037】
データ受信部121によって共有バッファ部124へ記憶される符号化映像データの量が共有バッファ部124の容量を超えている場合、データ解析部122による解析が終了した符号化映像データの部分に上書きする。この時、データ受信部121による符号化映像データの共有バッファ部124への記憶速度と、データ解析部122による共有バッファ部124に記憶された符号化映像データの解析速度とは、共有バッファ部124の容量が許容する範囲内で制御されるようになっている。
【0038】
具体的には、図3(a)乃至図3(c)に示すように、巡回カウンタが0のときは、読込ポインタRPが解析ポインタAPより先の位置または同じ位置となる範囲内で、巡回カウンタが1のときは、解析ポインタAPが読込ポインタRPより先の位置または同じ位置となる範囲内で、データ受信部121による符号化映像データの共有バッファ部124への記憶速度と、データ解析部122による共有バッファ部124に記憶された符号化映像データの解析速度とが制御される。
【0039】
例えば、巡回カウンタが1で、読込ポインタRPが解析ポインタAPに追いついた場合には、受信した符号化映像データを記憶させる領域が共有バッファ部124に存在しないので、データ受信部121からの記憶がしばらく中断する。この中断は、例えばデータ解析部122からデータ受信再開通知を受けることによって解除される。
【0040】
あるいは、巡回カウンタが0で、解析ポインタAPが読込ポインタRPに追いついた場合には、受信した符号化映像データが共有バッファ部124に一定のサイズ分書き込まれるまで、データ解析部122による解析が中断する。この中断は、例えばデータ受信部121からデータ解析再開通知を受けることによって解除される。
【0041】
データ解析部122は、符号化映像データを解析して、復号しない再生時刻と映像データの位置との関連付け情報を作成する。符号化映像データの受信、記憶及び解析は、符号化映像データの最後尾が検出されるまで行われる。一定量の解析が終了すると、データ解析部122は、解析結果を主制御部120へ通知する。
【0042】
解析結果としての映像データ及び前記関連付け情報は、データ蓄積部123に蓄積される。主制御部120は、関連付け情報のうちの再生時刻と、外部記憶装置105のセクタとの対応付けを行い、データ蓄積部123から外部記憶装置105の対応セクタに映像データを蓄積させる。これにより、いわゆる「ビデオオンデマンド」として利用可能な映像コンテンツの登録が実現される。
【0043】
なお、受信した符号化映像データの最後尾は、外部記憶装置104から読み込んだ符号化映像データ自体から検出されるが、クライアント装置102がビデオサーバ101と異なる場合には、クライアント装置102において最後尾を検出してビデオサーバ101に通知することも可能である。
【0044】
主制御部120は、映像データの最後尾を判別した際、例えばフラグを立てるなどして、ストリーム番号と共にデータ解析部122へ登録終了指令を送る。データ解析部122は、登録終了指令を受けると、共有バッファ部に記憶された映像データを解析後、解析ポインタAPのリセットを行う。次に、ストリーム番号と共にデータ受信部121ヘデータ受信終了通知を行う。データ受信部121は、データ受信終了通知を受けると、読込ポインタRP及び巡回カウンタのリセットを行い、続いてストリーム番号と共有バッファ部124との関連付けを解消する。最後に、主制御部120は、クライアント装置102に映像コンテンツ登録の終了を通知する。
【0045】
クライアント装置102は、ビデオサーバ101から映像コンテンツ登録終了の通知を受けると、ビデオサーバ101とのコネクションを切断する。
【0046】
以上のように、本実施の形態によれば、データ受信部121とデータ解析部122とが分離されており、符号化映像データの読み込みと符号化映像データの解析とを並行処理することが可能であるため、映像コンテンツの登録処理の効率が顕著に向上する。
【0047】
次に、本発明の第2の実施の形態の映像コンテンツ登録システムについて図6を用いて説明する。図6は、本発明の第2の実施の形態の映像コンテンツ登録システム10における読込ポインタRP、解析ポインタAP及び巡回カウンタの関係を示す図である。
【0048】
本実施の形態では、データ受信部121による符号化映像データの共有バッファ部124への記憶速度と、データ解析部122による共有バッファ部124に記憶された符号化映像データの解析速度とが、巡回カウンタが0のときは、読込ポインタRPが解析ポインタAPより所定量以上先の位置となり、巡回カウンタが1のときは、解析ポインタAPが読込ポインタRPより所定量以上先の位置となるように、制御されるようになっている。
【0049】
その他の構成は、図1乃至図5に示す第1の実施の形態と同様である。第2の実施の形態において、図1乃至図5に示す第1の実施の形態と同一の部分には同一の符号を付して詳細な説明は省略する。
【0050】
本実施の形態では、読込ポインタRPと解析ポインタAPの前後関係の判別において所定量の余裕を設けているため、誤作動の生じる確率を顕著に低減するとができる。
【0051】
次に、本発明の第3の実施の形態の映像コンテンツ登録システムについて図7を用いて説明する。図7は、本発明の第3の実施の形態の映像コンテンツ登録システム10における読込ポインタRP、解析ポインタAP、データ解析部122がデータ解析のために共有バッファ部124から取り込んだデータの最後の位置を示す取込ポインタTP及び巡回カウンタの関係を示す図である。
【0052】
本実施の形態では、データ受信部121による符号化映像データの共有バッファ部124への記憶速度と、データ解析部122による共有バッファ部124に記憶された符号化映像データの解析速度とが、巡回カウンタが0のときは、読込ポインタRPが取込ポインタTPより先の位置または同じ位置となり、巡回カウンタが1のときは、取込ポインタTPが読込ポインタRPより先の位置または同じ位置となるように、制御されるようになっている。
【0053】
その他の構成は、図1乃至図5に示す第1の実施の形態と同様である。第2の実施の形態において、図1乃至図5に示す第1の実施の形態と同一の部分には同一の符号を付して詳細な説明は省略する。
【0054】
本実施の形態では、解析ポインタAPの代わりに取込ポインタTPを用いて、データ受信部121による符号化映像データの共有バッファ部124への記憶速度と、データ解析部122による共有バッファ部124に記憶された符号化映像データの解析速度とを制御して第2形態における余裕を動的に制御できるため、第2の形態よりも、映像コンテンツの登録処理の効率が更に向上する。
【0055】
次に、本発明の第4の実施の形態の映像コンテンツ登録システムについて図8を用いて説明する。図8は、本発明の第4の実施の形態の映像コンテンツ登録システムの構成概略図である。
【0056】
図8に示すように、本実施の形態の映像コンテンツ登録システム10は、データ蓄積部123に、符号化映像データの解析結果に付随させる補助データを入力する補助入力部125が接続されている他は、図1乃至図5に示す第1の実施の形態と同様の構成である。第4の実施の形態において、図1乃至図5に示す第1の実施の形態と同一の部分には同一の符号を付して詳細な説明は省略する。
【0057】
本実施の形態によれば、例えば映像データに関する説明文や文字データ等を、符号化映像データの解析結果と併せて登録させることが可能である。
【0058】
なお、補助入力部125に対する入力操作は、クライアント装置102から行えるようになっていることが好ましい。
【0059】
【発明の効果】
以上説明したように、本発明によれば、データ受信部とデータ解析部とが分離されており、符号化映像データの読み込みと符号化映像データの解析とを並行処理することが可能であるため、処理の効率が顕著に向上する。また、本発明では、そのような並行処理によって実施される符号化映像データの解析によって、映像データと対応再生時刻との関連付け情報が得られてデータ蓄積部に蓄積されるため、いわゆる「ビデオオンデマンド」として利用可能な映像コンテンツの登録が実現される。
【図面の簡単な説明】
【図1】本発明による映像コンテンツ登録システムの第1の実施の形態を示す構成概略図。
【図2】図1の映像コンテンツ登録システムにおけるビデオサーバの構成を示す構成概略図。
【図3】図1の映像コンテンツ登録システムにおける読込ポインタ、解析ポインタ及び巡回カウンタの関係を示す図。
【図4】図1の映像コンテンツ登録システムにおけるクライアント装置の作用を示すフロー図。
【図5】図1の映像コンテンツ登録システムにおけるビデオサーバの作用を示すフロー図。
【図6】本発明による映像コンテンツ登録システムの第2の実施の形態における読込ポインタ、解析ポインタ及び巡回カウンタの関係を示す図。
【図7】本発明による映像コンテンツ登録システムの第3の実施の形態における読込ポインタ、解析ポインタ、取込ポインタ及び巡回カウンタの関係を示す図。
【図8】本発明による映像コンテンツ登録システムの第4の実施の形態におけるビデオサーバの構成を示す構成概略図。
【符号の説明】
10 映像コンテンツ登録システム
101 ビデオサーバ
102 クライアント装置
103 コンピュータ
104 外部記憶装置
105 外部記憶装置
120 主制御部
121 データ受信部
122 データ解析部
123 データ蓄積部
124 共有バッファ部
125 補助入力部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video content registration system for registering video data in a video server, and in particular, in a video server so that video data stored in various external storage devices can be used in a “video on demand system” or the like. The present invention relates to a video content registration system to be registered.
[0002]
[Prior art]
A video server that registers video data as video content reads the encoded video data from a recording medium on which the encoded video data is recorded. When the encoded video data is read by the video server, the storage medium is connected to the video server via a network or the like.
[0003]
There are a variety of storage media, including independent magnetic tapes and magnetic disks, and storage devices in other computer systems connected to a video server via a network or the like.
[0004]
The video server further analyzes the encoded video data read from the storage medium. In a conventional video server, a function for reading encoded video data and a function for analyzing encoded video data are integrated, and both functions are executed alternately.
[0005]
[Problems to be solved by the invention]
However, when the function of reading the encoded video data from the storage medium and the function of analyzing the encoded video data are integrated in the video server, when the video content is registered, the encoded video data is read. It may be difficult to efficiently process the analysis of the encoded video data.
[0006]
Specifically, for example, when the load of reading the encoded video data increases, the analysis interruption time of the encoded video data becomes long, but conversely, the analysis load of the encoded video data increases, There may be a case where the interruption time of reading of the video data becomes long. In this case, the registration work of the video content takes an extremely long time.
[0007]
The present invention has been made in consideration of such points, and provides a video content registration system capable of efficiently processing the reading of encoded video data and the analysis of encoded video data. Objective.
[0008]
[Means for Solving the Problems]
The present invention is connected to an external storage device or external network, a data receiver for receiving encoded video data from the external storage device or the external network, which is connected to the data receiver, the data receiving unit receives a shared buffer section for storing the coded video data, which is connected to the shared buffer section analyzes the encoded video data stored in the shared buffer section, the association information of the corresponding reproduction time and the video data a data analysis unit for obtaining, connected to said data analysis unit, and a data storage unit for storing the association information and the encoded video data of the video data and the corresponding playback time of the analysis result of the coded video data , Storing the encoded video data in the shared buffer unit by the data receiving unit, and storing in the shared buffer unit The analysis of the encoded video data by the data analysis unit is performed in parallel, and the amount of the encoded video data stored in the shared buffer unit by the data reception unit is If the capacity of the shared buffer unit is exceeded, the encoded video data exceeding the capacity of the shared buffer unit is received and analyzed by overwriting the portion of the encoded video data that has been analyzed by the data analyzing unit. Storage speed of the encoded video data in the shared buffer unit by the data receiving unit, and analysis speed of the encoded video data stored in the shared buffer unit by the data analysis unit, Is controlled within a range allowed by the capacity of the shared buffer unit .
[0009]
According to the present invention, the data receiving unit and the data analyzing unit are separated, and the reading of the encoded video data and the analysis of the encoded video data can be performed in parallel, so that the processing efficiency is remarkable. To improve. Further, in the present invention, the association information between the video data and the corresponding playback time is obtained by the analysis of the encoded video data performed by such parallel processing, and is stored in the data storage unit. Registration of video content that can be used as “demand” is realized.
Preferably, the storage speed of the encoded video data in the shared buffer unit by the data receiving unit and the analysis speed of the encoded video data stored in the shared buffer unit by the data analysis unit are: When the cyclic counter is 0, the read pointer is controlled to be a predetermined amount or more ahead of the analysis pointer, and when the cyclic counter is 1, the analysis pointer is controlled to be a predetermined amount or more ahead of the read pointer. It is like that. In this case, since a predetermined amount of margin is provided in the determination of the front-rear relationship between the read pointer and the analysis pointer, the probability of malfunction can be significantly reduced.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0011]
FIG. 1 is a schematic configuration diagram showing a video content registration system according to a first embodiment of the present invention. As shown in FIG. 1, a video content registration system 10 according to the first embodiment of the present invention includes a video server 101 that registers and distributes video content, and a client that is connected to the video server 101 via a network 110. The apparatus 102 and the computer 103 are provided.
[0012]
The client apparatus 102 is a terminal that makes a video content registration request to the video server 101, but the video server 101 itself can also serve as the terminal.
[0013]
The network 110 is, for example, Ethernet or ATM.
[0014]
In this embodiment, an external storage device 104 is connected to the computer 103, and encoded video data to be registered is stored in the external storage device 104. The encoded video data is obtained by encoding video data by MPEG or the like. The video server 101 is connected to an external storage device 105 that stores registered video content. The external storage devices 104 and 105 are each composed of a magnetic tape, a magnetic disk, or the like.
[0015]
FIG. 2 is a schematic configuration diagram showing the video server 101. As shown in FIG. 2, the video server 101 includes a main control unit 120, a data reception unit 121 connected to the main control unit 120 and controlled by the main control unit 120, a data analysis unit 122, and a data storage unit 123. ing.
[0016]
The main control unit 120 is connected to the client device 102 via the network 110, and controls the data reception unit 121, the data analysis unit 122, and the data storage unit 123 in response to various requests from the client device 102. ing.
[0017]
The data receiving unit 121 is connected to the external storage device 104 via the network 110 or the like, and can receive encoded video data from the external storage device 104. A shared buffer unit 124 that stores the encoded video data received by the data receiving unit 121 is connected to the data receiving unit 121. On the other hand, the shared buffer unit 124 is also connected to the data analyzing unit 122, and the data analyzing unit 122 can analyze the encoded video data stored in the shared buffer unit 124.
[0018]
The storage of the encoded video data in the shared buffer unit 124 by the data receiving unit 121 and the analysis by the data analysis unit 122 of the encoded video data stored in the shared buffer unit 124 are performed in parallel. Yes.
[0019]
In addition, when the amount of encoded video data stored in the shared buffer unit 124 by the data receiving unit 121 exceeds the capacity of the shared buffer unit 124, the encoded video data that has been analyzed by the data analyzing unit 122 is included in the portion of the encoded video data. By overwriting, it is possible to receive and analyze encoded video data exceeding the capacity of the shared buffer unit 124.
[0020]
The storage speed of the encoded video data in the shared buffer unit 124 by the data receiving unit 121 and the analysis speed of the encoded video data stored in the shared buffer unit 124 by the data analyzing unit 122 are the same as those in the shared buffer unit 124. The capacity is controlled within the allowable range. Specifically, as shown in FIGS. 3A to 3C, control is performed using a read pointer RP, an analysis pointer AP, and a cyclic counter.
[0021]
The read pointer RP is a pointer indicating the last position of data written by the data receiving unit 121 to the shared buffer unit 124. When the read pointer RP reaches the end of the shared buffer unit 124, it returns to the top of the shared buffer unit 124.
[0022]
The analysis pointer AP is a pointer indicating the last position of the data read from the shared buffer unit 124 and analyzed by the data analysis unit 122. When the analysis pointer AP reaches the end of the shared buffer unit 124, it returns to the top of the shared buffer unit 124.
[0023]
The initial value of the cyclic counter is 0 (see FIG. 3A), the data reception unit 121 stores data up to the end of the shared buffer unit 124, and the read pointer RP returns to the top of the shared buffer unit 124 again. In this case, it increases by 1 (see FIG. 3B). Conversely, when the data analysis unit 122 analyzes to the end of the shared buffer unit 124 and the analysis pointer AP returns to the top of the shared buffer unit 124 again, the cyclic counter is decremented by 1 (see FIG. 3C). ).
[0024]
Therefore, when the cyclic counter is 0, the read pointer RP is within the position where the read pointer RP is ahead or at the same position, and when the cyclic counter is 1, the analysis pointer AP is ahead of the read pointer RP, Within the range of the same position, the storage speed of the encoded video data by the data reception unit 121 in the shared buffer unit 124 and the analysis speed of the encoded video data stored in the shared buffer unit 124 by the data analysis unit 122 are: To be controlled.
[0025]
The data analysis unit 122 of the present embodiment analyzes association information between video data and the corresponding playback time from the encoded video data. Since reproduction time information is added to the MPEG encoded data, such information analysis is easy. This association information is effective information for enabling the registered video content to be distributed from an arbitrary point in time.
[0026]
The data storage unit 123 is also connected to the data analysis unit 122 so that the analysis result of the encoded video data can be stored. That is, in this case, the video data, the video data, the encoded video data, and the association information between the corresponding playback times are stored.
[0027]
In FIG. 2, only one data reception unit 121, data analysis unit 122, and shared buffer unit 124 are shown, but the video server 101 reads (receives) a plurality of encoded video data. ) And a plurality of sets of data receiving units 121, data analyzing units 122, and shared buffer units 124.
[0028]
Next, the operation of the present embodiment having such a configuration will be described.
[0029]
First, the client apparatus 102 creates a registration request signal for requesting registration of video content. For example, as shown in FIG. 4, a video content registration menu is displayed on the display device of the client device 102 (STEP 01). The operator who makes the registration request inputs the title name to be added to the video data to be registered in accordance with the guidance from the registration menu (STEP 02), and the name of the storage medium storing the encoded video data to be registered (in this case, an external storage device) 104) and the name of the encoded video data is input (STEP03, STEP04).
[0030]
When the input of information by the operator is completed, the input information is packetized (STEP 05). Thereafter, the client apparatus 102 transmits a connection establishment request to the video server 101 (STEP 06), and transmits the packetized information to the video server 101 after the connection is established (STEP 07).
[0031]
On the other hand, when the video server 101 establishes a connection with the client device 102 (STEP 11), the main control unit 120 receives packet information sent from the client device 102. Here, when packet information is received (STEP 12), a stream number relating to the registration process of the packet information is issued and assigned prior to reception of the remaining information or in parallel with reception of the remaining information (STEP 13). Even when a plurality of pieces of packet information are sent to the video server 101 substantially simultaneously, different stream numbers are assigned to these pieces of information.
[0032]
The main control unit 120 allocates the data receiving unit 121 and the shared buffer unit 124 for the stream number (STEP 14). When the allocation ends normally, a data reception preparation completion notification is sent to the main control unit 120. If data reception preparation cannot be performed because all shared buffer units 124 are in use or the like, the main control unit 120 is notified accordingly.
[0033]
When the data receiving unit 121 and the shared buffer unit 124 are normally allocated, the main control unit 120 subsequently allocates the data analysis unit 122 (STEP 15). By this assignment, the analysis data unit 122 that analyzes the video data stored in the shared buffer unit 124 is specified. When the assignment ends normally, a data analysis preparation completion notification is sent to the main control unit 120.
[0034]
When the main control unit 120 receives the data analysis preparation completion notification from the data analysis unit 122, the main control unit 120 sets the storage location of the encoded video data, that is, the storage medium name and the encoded video data name, among the packetized information sent from the client device 102. The corresponding stream number is sent to the data receiving unit 121.
[0035]
The data receiving unit 121 receives the encoded video data for each fixed size based on the storage medium name and the encoded video data name sent via the main control unit 120. In this case, encoded video data is received from the external storage device 104. The encoded video data received by the data receiving unit 121 is immediately stored in the corresponding shared buffer unit 124.
[0036]
The data analysis unit 122 assigned to the shared buffer unit 124 encodes the encoded video data stored in the shared buffer unit 124 in parallel with the storage of the encoded video data in the shared buffer unit 124 by the data receiving unit 121. The video data is analyzed (STEP 16).
[0037]
When the amount of encoded video data stored in the shared buffer unit 124 by the data receiving unit 121 exceeds the capacity of the shared buffer unit 124, the portion of the encoded video data analyzed by the data analyzing unit 122 is overwritten. . At this time, the storage speed of the encoded video data in the shared buffer unit 124 by the data reception unit 121 and the analysis speed of the encoded video data stored in the shared buffer unit 124 by the data analysis unit 122 are the same as the shared buffer unit 124. Is controlled within the allowable range.
[0038]
Specifically, as shown in FIG. 3A to FIG. 3C, when the cyclic counter is 0, the read pointer RP is cyclic within the range where the reading pointer RP is ahead of or at the same position as the analysis pointer AP. When the counter is 1, the storage speed of the encoded video data in the shared buffer unit 124 by the data reception unit 121 and the data analysis unit within the range where the analysis pointer AP is ahead of or at the same position as the read pointer RP 122, the analysis speed of the encoded video data stored in the shared buffer unit 124 is controlled.
[0039]
For example, when the cyclic counter is 1 and the read pointer RP catches up with the analysis pointer AP, the shared buffer unit 124 does not have an area for storing the received encoded video data. Suspend for a while. This interruption is canceled by receiving a data reception restart notification from the data analysis unit 122, for example.
[0040]
Alternatively, when the cyclic counter is 0 and the analysis pointer AP catches up with the read pointer RP, the analysis by the data analysis unit 122 is suspended until the received encoded video data is written to the shared buffer unit 124 by a certain size. To do. This interruption is canceled by receiving a data analysis restart notification from the data receiving unit 121, for example.
[0041]
The data analysis unit 122 analyzes the encoded video data and creates association information between a playback time that is not decoded and the position of the video data. The reception, storage, and analysis of the encoded video data are performed until the end of the encoded video data is detected. When a certain amount of analysis is completed, the data analysis unit 122 notifies the main control unit 120 of the analysis result.
[0042]
The video data as the analysis result and the association information are stored in the data storage unit 123. The main control unit 120 associates the reproduction time in the association information with the sector of the external storage device 105, and stores the video data from the data storage unit 123 in the corresponding sector of the external storage device 105. This realizes registration of video content that can be used as so-called “video on demand”.
[0043]
Note that the end of the received encoded video data is detected from the encoded video data itself read from the external storage device 104. If the client device 102 is different from the video server 101, the client device 102 uses the end of the encoded video data. Can be detected and notified to the video server 101.
[0044]
When determining the end of the video data, the main control unit 120 sends a registration end command to the data analysis unit 122 together with the stream number, for example, by setting a flag. Upon receiving the registration end command, the data analysis unit 122 analyzes the video data stored in the shared buffer unit and then resets the analysis pointer AP. Next, a data reception end notification is sent to the data reception unit 121 together with the stream number. When receiving the data reception end notification, the data receiving unit 121 resets the read pointer RP and the cyclic counter, and subsequently cancels the association between the stream number and the shared buffer unit 124. Finally, the main control unit 120 notifies the client device 102 of the end of video content registration.
[0045]
When the client apparatus 102 receives a notification of video content registration completion from the video server 101, the client apparatus 102 disconnects the connection with the video server 101.
[0046]
As described above, according to the present embodiment, the data reception unit 121 and the data analysis unit 122 are separated, and it is possible to perform parallel processing for reading encoded video data and analyzing encoded video data. Therefore, the efficiency of the video content registration process is significantly improved.
[0047]
Next, the video content registration system according to the second embodiment of the present invention will be described with reference to FIG. FIG. 6 is a diagram illustrating a relationship among the read pointer RP, the analysis pointer AP, and the cyclic counter in the video content registration system 10 according to the second embodiment of this invention.
[0048]
In the present embodiment, the storage speed of the encoded video data in the shared buffer unit 124 by the data reception unit 121 and the analysis speed of the encoded video data stored in the shared buffer unit 124 by the data analysis unit 122 are cyclic. When the counter is 0, the read pointer RP is a position that is a predetermined amount or more ahead of the analysis pointer AP, and when the cyclic counter is 1, the analysis pointer AP is a position that is a predetermined amount or more ahead of the read pointer RP. To be controlled.
[0049]
Other configurations are the same as those of the first embodiment shown in FIGS. In the second embodiment, the same parts as those in the first embodiment shown in FIGS. 1 to 5 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0050]
In the present embodiment, since a predetermined amount of margin is provided in determining the front-rear relationship between the read pointer RP and the analysis pointer AP, the probability of malfunction can be significantly reduced.
[0051]
Next, a video content registration system according to a third embodiment of the present invention will be described with reference to FIG. FIG. 7 shows the read pointer RP, the analysis pointer AP, and the last position of the data fetched from the shared buffer unit 124 for data analysis in the video content registration system 10 according to the third embodiment of the present invention. It is a figure which shows the relationship between the taking-in pointer TP which shows these, and a cyclic counter.
[0052]
In the present embodiment, the storage speed of the encoded video data in the shared buffer unit 124 by the data reception unit 121 and the analysis speed of the encoded video data stored in the shared buffer unit 124 by the data analysis unit 122 are cyclic. When the counter is 0, the read pointer RP is ahead of or at the same position as the capture pointer TP, and when the cyclic counter is 1, the capture pointer TP is ahead of or at the same position as the read pointer RP. To be controlled.
[0053]
Other configurations are the same as those of the first embodiment shown in FIGS. In the second embodiment, the same parts as those in the first embodiment shown in FIGS. 1 to 5 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0054]
In the present embodiment, using the capture pointer TP instead of the analysis pointer AP, the storage speed of the encoded video data in the shared buffer unit 124 by the data receiving unit 121 and the shared buffer unit 124 by the data analyzing unit 122 are stored. Since the analysis speed of the stored encoded video data can be controlled to dynamically control the margin in the second form, the efficiency of the video content registration process is further improved as compared to the second form.
[0055]
Next, a video content registration system according to a fourth embodiment of the present invention will be described with reference to FIG. FIG. 8 is a schematic configuration diagram of a video content registration system according to the fourth embodiment of this invention.
[0056]
As shown in FIG. 8, the video content registration system 10 according to the present embodiment is connected to the data storage unit 123 by an auxiliary input unit 125 that inputs auxiliary data to be attached to the analysis result of the encoded video data. The configuration is the same as that of the first embodiment shown in FIGS. In the fourth embodiment, the same parts as those in the first embodiment shown in FIGS. 1 to 5 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0057]
According to the present embodiment, it is possible to register, for example, explanatory text and character data related to video data together with the analysis result of encoded video data.
[0058]
It is preferable that an input operation on the auxiliary input unit 125 can be performed from the client device 102.
[0059]
【The invention's effect】
As described above, according to the present invention, the data receiving unit and the data analyzing unit are separated, and the reading of the encoded video data and the analysis of the encoded video data can be performed in parallel. , The processing efficiency is significantly improved. Further, in the present invention, the association information between the video data and the corresponding playback time is obtained by the analysis of the encoded video data performed by such parallel processing, and is stored in the data storage unit. Registration of video content that can be used as “demand” is realized.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing a first embodiment of a video content registration system according to the present invention.
2 is a configuration schematic diagram showing the configuration of a video server in the video content registration system of FIG. 1. FIG.
3 is a diagram showing the relationship among a read pointer, an analysis pointer, and a cyclic counter in the video content registration system of FIG. 1. FIG.
4 is a flowchart showing the operation of the client device in the video content registration system of FIG. 1. FIG.
FIG. 5 is a flowchart showing the operation of the video server in the video content registration system of FIG. 1;
FIG. 6 is a diagram showing a relationship among a read pointer, an analysis pointer, and a cyclic counter in the second embodiment of the video content registration system according to the present invention.
FIG. 7 is a diagram showing a relationship among a read pointer, an analysis pointer, a capture pointer, and a cyclic counter in the third embodiment of the video content registration system according to the present invention.
FIG. 8 is a schematic configuration diagram showing the configuration of a video server in a fourth embodiment of the video content registration system according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Video content registration system 101 Video server 102 Client apparatus 103 Computer 104 External storage device 105 External storage device 120 Main control part 121 Data receiving part 122 Data analysis part 123 Data storage part 124 Shared buffer part 125 Auxiliary input part

Claims (2)

外部記憶装置または外部ネットワークに接続され、前記外部記憶装置または前記外部ネットワークから符号化映像データを受信するデータ受信部と、
前記データ受信部に接続され、前記データ受信部が受信した前記符号化映像データを記憶する共有バッファ部と、
前記共有バッファ部に接続され、前記共有バッファ部に記憶された前記符号化映像データを解析して、映像データと対応再生時刻との関連付け情報を得るデータ解析部と、
前記データ解析部に接続され、前記符号化映像データの解析結果としての映像データと対応再生時刻との関連付け情報ならびに前記符号化映像データを蓄積するデータ蓄積部と、
を備え
前記データ受信部による前記共有バッファ部への前記符号化映像データの記憶と、前記共有バッファ部に記憶された前記符号化映像データの前記データ解析部による解析とは、並行して行われるようになっており、
前記データ受信部によって前記共有バッファ部へ記憶される前記符号化映像データの量が前記共有バッファ部の容量を超えている場合、前記データ解析部による解析が終了した前記符号化映像データの部分に上書きすることによって前記共有バッファ部の容量を超えた前記符号化映像データの受信及び解析が可能となっており、
前記データ受信部による前記符号化映像データの前記共有バッファ部への記憶速度と、前記データ解析部による前記共有バッファ部に記憶された前記符号化映像データの解析速度とは、前記共有バッファ部の容量が許容する範囲内で制御されるようになっている
ことを特徴とする映像コンテンツ登録システム。
Is connected to an external storage device or external network, a data receiver for receiving encoded video data from the external storage device or the external network,
And connected to said data receiving unit, the shared buffer section for storing the coded video data to which the data receiving unit receives,
And connected to said common buffer section analyzes the encoded video data stored in the shared buffer section, the data analysis unit for obtaining the association information of the corresponding reproduction time and the video data,
And connected to said data analyzer, association information and data storage section for storing the coded video data of the video data and the corresponding playback time of the analysis result of the coded video data,
Equipped with a,
The storage of the encoded video data in the shared buffer unit by the data receiving unit and the analysis by the data analysis unit of the encoded video data stored in the shared buffer unit are performed in parallel. And
When the amount of the encoded video data stored in the shared buffer unit by the data receiving unit exceeds the capacity of the shared buffer unit, the portion of the encoded video data that has been analyzed by the data analyzing unit Receiving and analyzing the encoded video data that exceeds the capacity of the shared buffer unit by overwriting,
The storage speed of the encoded video data in the shared buffer unit by the data receiving unit and the analysis speed of the encoded video data stored in the shared buffer unit by the data analysis unit are the same as those in the shared buffer unit. A video content registration system, wherein the capacity is controlled within an allowable range .
前記データ受信部による前記符号化映像データの前記共有バッファ部への記憶速度と、前記データ解析部による前記共有バッファ部に記憶された前記符号化映像データの解析速度とは、巡回カウンタが0のときは、読込ポインタが解析ポインタより所定量以上先の位置となり、巡回カウンタが1のときは、解析ポインタが読込ポインタより所定量以上先の位置となるように、制御されるようになっている
ことを特徴とする請求項1に記載の映像コンテンツ登録システム。
The storage rate of the encoded video data in the shared buffer unit by the data receiving unit and the analysis rate of the encoded video data stored in the shared buffer unit by the data analyzing unit are set to 0 in the cyclic counter. When the reading counter is set to a position that is a predetermined amount or more than the analysis pointer, and when the cyclic counter is 1, the analysis pointer is controlled to be a position that is a predetermined amount or more than the reading pointer. The video content registration system according to claim 1, wherein the system is a video content registration system.
JP16106499A 1999-06-08 1999-06-08 Video content registration system Expired - Fee Related JP3999408B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16106499A JP3999408B2 (en) 1999-06-08 1999-06-08 Video content registration system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16106499A JP3999408B2 (en) 1999-06-08 1999-06-08 Video content registration system

Publications (2)

Publication Number Publication Date
JP2000350133A JP2000350133A (en) 2000-12-15
JP3999408B2 true JP3999408B2 (en) 2007-10-31

Family

ID=15727939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16106499A Expired - Fee Related JP3999408B2 (en) 1999-06-08 1999-06-08 Video content registration system

Country Status (1)

Country Link
JP (1) JP3999408B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3154921B2 (en) * 1995-06-09 2001-04-09 富士通株式会社 Video playback position identification method for video-on-demand system
JP3194694B2 (en) * 1995-12-01 2001-07-30 松下電器産業株式会社 Video server device
JPH09214935A (en) * 1996-02-02 1997-08-15 Mitsubishi Electric Corp Video information service system
JPH11252486A (en) * 1998-02-27 1999-09-17 Mitsubishi Electric Corp Video server system

Also Published As

Publication number Publication date
JP2000350133A (en) 2000-12-15

Similar Documents

Publication Publication Date Title
JP4491150B2 (en) Streaming information equipment with buffer read and write synchronization functions
JP2005100410A (en) Standalone multimedia printer having user interface for processing allocation
US5450544A (en) Method and apparatus for data buffering and queue management of digital motion video signals
JPH10150584A (en) Digital studio equipment and its control method
EP2348508A3 (en) Method for reproducing data recorded on an interactive recording medium in conjunction with associated auxiliary data
JP3655266B2 (en) Information processing device
JP3911380B2 (en) Transfer rate control device
EP1868201A1 (en) Contents metadata registering method, registering system, and registering program
JP3999408B2 (en) Video content registration system
JPH10261075A (en) Image buffer controller
US7725920B2 (en) Media foundation media sink
CN100590622C (en) Multimedia management and playback apparatus, and data processing method
JPH10262236A (en) Video on-demand system, video reproducing position detection method and computer-readable recording medium recorded with video reproduction control program
US20070276953A1 (en) Distribution system, information processing apparatus, distributing method and program
JP5787129B2 (en) Data transfer method and program for remote connection screen
EP1724988A1 (en) Content reproducing device and content reproducing method
JPH0421041A (en) Dynamic converting system for file format
JP2743610B2 (en) File sharing system
TW201133346A (en) Computer system architecture
JPS6041124A (en) Magnetic disc control device
JP2008177744A (en) Content management system
US7965587B2 (en) Record reproducing system, record reproducing method and record reproducing program
JP2022009379A5 (en)
JPH064361A (en) Trace information collecting system
CN114817626A (en) Video data processing method, device and computer readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees