JPH11103445A - Video recording device and video editing device - Google Patents

Video recording device and video editing device

Info

Publication number
JPH11103445A
JPH11103445A JP9262500A JP26250097A JPH11103445A JP H11103445 A JPH11103445 A JP H11103445A JP 9262500 A JP9262500 A JP 9262500A JP 26250097 A JP26250097 A JP 26250097A JP H11103445 A JPH11103445 A JP H11103445A
Authority
JP
Japan
Prior art keywords
video
sub
stream
data
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9262500A
Other languages
Japanese (ja)
Other versions
JP3825894B2 (en
Inventor
Yumiko Kubo
由美子 久保
Teiichi Ichikawa
禎一 伊知川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP26250097A priority Critical patent/JP3825894B2/en
Publication of JPH11103445A publication Critical patent/JPH11103445A/en
Application granted granted Critical
Publication of JP3825894B2 publication Critical patent/JP3825894B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To change-over the display/nondisplay of a date at the time of video display based on a picked-up image picked-up by a camera. SOLUTION: A video signal from the camera 6 is given to an MPEG encoder 7 so as to generate an MPEG 3 video stream. A bit map generating circuit 9 generates bit map data based on date information from date generating circuit 8 and the bit map data is converted into a sub-video stream by a sub-video encoder 10. The video stream and the sub-video stream are multiplexed by a systematizing circuit 3 so as to be recorded. Date information is recorded as the sub-video stream so that the display/nondisplay of date information are exchanged at the time of reproduction.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、ビデオストリーム
と副映像ストリームとを多重化して記録する映像記録装
置及び映像編集装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video recording device and a video editing device for multiplexing and recording a video stream and a sub-video stream.

【0002】[0002]

【従来の技術】ビデオカメラ等の従来の映像記録装置に
おいては、撮影した画像を保存するだけでなく、撮影日
時等の撮影に関連する付加情報を記録することができる
ようになっている。日時等の情報をビデオテープ等に映
像として記録するために、日時等の情報を映像信号に変
換した後、撮像画像と合成する必要がある。
2. Description of the Related Art In a conventional video recording apparatus such as a video camera, not only a captured image can be stored, but also additional information relating to shooting such as a shooting date and time can be recorded. In order to record information such as date and time on a video tape or the like as a video, it is necessary to convert the information such as date and time into a video signal and then combine it with a captured image.

【0003】図6はこのような従来の映像記録装置を示
すブロック図である。
FIG. 6 is a block diagram showing such a conventional video recording apparatus.

【0004】ビデオカメラ6は撮像して得た撮像画像に
基づく映像信号を映像合成回路19に供給する。一方、時
計回路17は、現在の日時のデータを日時映像作成回路18
に出力する。日時映像作成回路18は、入力された日時デ
ータに基づいて、日時を示す表示データを作成し、映像
信号に変換して映像合成回路19に出力する。
[0004] The video camera 6 supplies a video signal based on the captured image obtained to the video synthesis circuit 19. On the other hand, the clock circuit 17 stores the current date and time data
Output to The date and time video creating circuit 18 creates display data indicating the date and time based on the input date and time data, converts the display data into a video signal, and outputs the video signal to the video synthesizing circuit 19.

【0005】カメラ6からの映像信号と日時映像作成回
路18からの映像信号とは、映像合成回路19において合成
される。映像合成回路19によって、例えば、撮像画像の
下端に日時の表示が白又は青等で表示された画像の映像
信号が作成される。映像合成回路19からの映像信号は記
録装置4に与えられて、VCRテープ20に記録される。
[0005] The video signal from the camera 6 and the video signal from the date / time video creation circuit 18 are combined in a video composition circuit 19. The video synthesizing circuit 19 creates, for example, a video signal of an image in which the display of the date and time is displayed in white or blue at the lower end of the captured image. The video signal from the video synthesizing circuit 19 is supplied to the recording device 4 and recorded on the VCR tape 20.

【0006】このように、日時の表示は撮像画像上にス
ーパーインポーズされて表示されるようになっている。
従って、日時の表示によって撮像画像の一部が欠落して
しまい、日時の表示部分は、撮像画像が見にくくなって
しまう。当然、一旦スーパーインポーズされた日時の表
示を消去することはできない。
As described above, the date and time are superimposed and displayed on the captured image.
Therefore, a part of the captured image is lost due to the display of the date and time, and the captured image is difficult to see in the display part of the date and time. Naturally, it is not possible to delete the display of the date and time of the superimposition once.

【0007】[0007]

【発明が解決しようとする課題】このように、上述した
従来の映像記録装置においては、付加情報によって撮像
画像の表示が見にくくなってしまうことがあるが、一旦
撮像画像に重畳された付加情報を消去することはできな
いという問題点があった。
As described above, in the above-described conventional video recording apparatus, the display of the captured image may be difficult to see due to the additional information. There is a problem that it cannot be erased.

【0008】本発明はかかる問題点に鑑みてなされたも
のであって、日時等の付加情報の表示,非表示を自由に
行うことができる映像記録装置及び映像編集装置を提供
することを目的とする。
The present invention has been made in view of the above problems, and has as its object to provide a video recording apparatus and a video editing apparatus capable of freely displaying and hiding additional information such as date and time. I do.

【0009】[0009]

【課題を解決するための手段】本発明の請求項1に係る
映像記録装置は、撮像することにより撮像画像に基づく
映像信号を得、この映像信号をMPEGエンコードして
ビデオストリームを作成するビデオカメラ装置と、少な
くとも前記撮像時に得られる情報を含む付加情報データ
に基づいて副映像ストリームを作成する副映像ストリー
ム作成手段と、前記ビデオストリーム及び副映像ストリ
ームを多重化してシステムストリームを作成する多重化
手段と、前記多重化手段により作成されたシステムスト
リームを記録媒体に記録する記録装置とを具備したこと
を特徴とするものであり、本発明の請求項5に係る映像
編集装置は、映像信号と付加情報データとが多重された
信号が入力され、前記映像信号と付加情報データとを分
離する分離化手段と、前記分離化手段が出力した映像信
号からビデオストリームを作成するビデオストリーム作
成手段と、前記分離化手段が出力した付加情報データに
基づいて副映像ストリームを作成する副映像ストリーム
作成手段と、前記ビデオストリーム及び副映像ストリー
ムを多重化して作成したシステムストリームを出力する
多重化手段とを具備したものである。
According to a first aspect of the present invention, there is provided a video recording apparatus which obtains a video signal based on a captured image by capturing an image, and MPEG-encodes the video signal to create a video stream. Apparatus, sub-video stream generating means for generating a sub-video stream based on additional information data including at least the information obtained at the time of imaging, and multiplexing means for multiplexing the video stream and the sub-video stream to generate a system stream And a recording device for recording the system stream created by the multiplexing means on a recording medium. The video editing device according to claim 5, wherein the video editing device Demultiplexing means for receiving a signal multiplexed with information data and separating the video signal and additional information data A video stream creating means for creating a video stream from the video signal output by the separating means; a sub-video stream creating means for creating a sub-video stream based on the additional information data output by the separating means; Multiplexing means for outputting a system stream created by multiplexing a stream and a sub-picture stream.

【0010】本発明の請求項1において、ビデオカメラ
装置が撮像した撮像画像に基づく映像信号は、MPEG
エンコードされてビデオストリームが作成される。少な
くとも撮像時に得られる情報を付加情報データとして副
映像ストリームが作成される。ビデオストリームと副映
像ストリームとは多重化手段によって多重化される。シ
ステムストリームは相互に独立して作成されたビデオス
トリームと副映像ストリームとを含んでおり、このシス
テムストリームが記録媒体に記録される。
In the first aspect of the present invention, a video signal based on a captured image captured by a video camera device is an MPEG signal.
Encoded to create a video stream. A sub-picture stream is created using at least information obtained at the time of imaging as additional information data. The video stream and the sub-picture stream are multiplexed by multiplexing means. The system stream includes a video stream and a sub-picture stream created independently of each other, and this system stream is recorded on a recording medium.

【0011】本発明の請求項5において、映像信号と付
加情報データとが多重された信号は分離化手段によって
分離される。映像信号はビデオストリーム作成手段に与
えられてビデオストリームが作成され、付加情報データ
は副映像ストリーム作成手段に与えられて副映像ストリ
ームが作成される。多重化手段はビデオストリームと副
映像ストリームとを多重化して、システムストリームを
出力する。
According to a fifth aspect of the present invention, a signal in which a video signal and additional information data are multiplexed is separated by a separating means. The video signal is applied to a video stream creating means to create a video stream, and the additional information data is applied to a sub-video stream creating means to create a sub-video stream. The multiplexing unit multiplexes the video stream and the sub-picture stream and outputs a system stream.

【0012】[0012]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図1は本発明に係る
映像記録装置の一実施の形態を示すブロック図である。
Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of a video recording apparatus according to the present invention.

【0013】本実施の形態においては、付加情報に基づ
くストリームを作成し、撮像画像に基づくストリームと
付加情報に基づくストリームとを合成し、合成したスト
リームを記録するようになっている。
In this embodiment, a stream based on the additional information is created, a stream based on the captured image and a stream based on the additional information are combined, and the combined stream is recorded.

【0014】図1に示すように、映像記録装置21は、ビ
デオストリーム作成部1及び副映像ストリーム作成部2
を有している。ビデオストリーム作成部1のカメラ6は
図示しない被写体を撮像し、撮像画像に基づく映像信号
をMPEGエンコーダ7に出力するようになっている。
MPEGエンコーダ7は入力された映像信号をMPEG
(Movin Picture Experts Group )2規格のビデオスト
リームに変換してシステム化回路3に出力するようにな
っている。
As shown in FIG. 1, a video recording device 21 includes a video stream creating unit 1 and a sub-image stream creating unit 2.
have. The camera 6 of the video stream creation unit 1 captures an object (not shown) and outputs a video signal based on the captured image to the MPEG encoder 7.
The MPEG encoder 7 converts the input video signal into an MPEG signal.
(Movin Picture Experts Group) The video stream is converted into a video stream of the 2 standard and output to the systematic circuit 3.

【0015】一方、副映像ストリーム作成部2の日時発
生回路8は、図示しない時計装置の出力に基づいて付加
情報である日付と時刻の情報を発生してビットマップ生
成回路9に出力する。なお、日時発生回路8の情報は、
時計装置の出力が更新される毎に更新されるようになっ
ている。
On the other hand, the date and time generation circuit 8 of the sub-picture stream generation unit 2 generates date and time information, which is additional information, based on the output of a clock device (not shown) and outputs it to the bit map generation circuit 9. The information of the date and time generation circuit 8 is
Each time the output of the clock device is updated, it is updated.

【0016】図2は図1中の日時発生回路8の出力を説
明するための説明図である。
FIG. 2 is an explanatory diagram for explaining the output of the date and time generating circuit 8 in FIG.

【0017】図2に示すように、日時発生回路8は、
年、月、日、時、分及び秒を夫々1バイトで表した情報
を出力する。各バイトの上位4ビットは各情報の10の
桁を示し、下位4ビットは1の桁を示している。図2の
例では、1996年6月18日18時36分59秒を示
している。
As shown in FIG. 2, the date and time generating circuit 8
Outputs information in which year, month, day, hour, minute, and second are each represented by one byte. The upper 4 bits of each byte indicate 10 digits of each information, and the lower 4 bits indicate 1 digit. In the example of FIG. 2, 18:36:59 on June 18, 1996 is shown.

【0018】ビットマップ生成回路9は、入力された日
付情報及び時刻情報に基づいて日時の表示を行うための
ビットマップデータを生成する。例えば、ビットマップ
生成回路9は、‘0〜9’の数字と‘:’及び‘/’と
の12個のビットマップデータをパターンデータとして
保持しており、日時発生回路8からの日時情報に基づい
て、△△/△△/△△という表示形式の日付のビットマ
ップデータ及び○○:○○:○○という表示形式の時刻
のビットマップデータを作成する。
The bitmap generation circuit 9 generates bitmap data for displaying date and time based on the input date information and time information. For example, the bitmap generation circuit 9 holds twelve bitmap data of numbers “0 to 9” and “:” and “/” as pattern data. Based on this, bitmap data of a date in a display format of △△ / △△ / △△ and bitmap data of a time in a display format of ○: ○ :: are created.

【0019】ビットマップ生成回路9は、日付のみのビ
ットマップデータ、時刻のみのビットマップデータ並び
に日付及び時刻を示すビットマップデータを副映像エン
コーダ10に出力するようになっている。
The bitmap generation circuit 9 outputs to the sub-picture encoder 10 bitmap data of only date, bitmap data of only time, and bitmap data indicating date and time.

【0020】副映像エンコーダ10は、入力されたビット
マップデータをエンコードし、副映像ストリームを作成
するようになっている。副映像ストリームとしては、例
えば、DVDビデオ規格に規定されたものがある。
The sub-picture encoder 10 encodes the input bitmap data and creates a sub-picture stream. As the sub-picture stream, for example, there is a stream specified in the DVD video standard.

【0021】DVDビデオ規格については、文献(DV
D Specifications for Read-OnlyDisc Part3 VIDEO S
PECIFICATIONS Version 1z0 August 1996)において詳
述されている。DVDビデオ規格では副映像が存在す
る。副映像は、映画の字幕やカラオケの歌詞表示に用い
られるもので、DVDビデオ規格では、これらの表示の
ためのデータを映像とは別に符号化してディスクに記録
するようになっている。
The DVD video standard is described in the literature (DV
D Specifications for Read-OnlyDisc Part3 VIDEO S
PECIFICATIONS Version 1z0 August 1996). In the DVD video standard, there are sub-pictures. The sub-video is used for displaying subtitles of a movie or lyrics of karaoke. According to the DVD video standard, data for displaying these is encoded separately from the video and recorded on a disc.

【0022】DVDビデオ規格では、1つの映像に対し
て最大で32の副映像を設定することができ、例えば、
複数言語による字幕データを記録することができる。こ
の場合には、ユーザーは記録されている複数の字幕デー
タから所望の言語の字幕データを選択して表示させるこ
とができる。
In the DVD video standard, a maximum of 32 sub-pictures can be set for one picture.
Caption data in multiple languages can be recorded. In this case, the user can select and display subtitle data in a desired language from a plurality of recorded subtitle data.

【0023】副映像エンコーダ10は、日付のみのビット
マップデータに基づく副映像ストリーム、時刻のみのビ
ットマップデータに基づく副映像ストリーム並びに日付
及び時刻を示すビットマップデータに基づく副映像スト
リームを作成して、システム化回路3に出力するように
なっている。なお、副映像エンコーダ10によって作成さ
れる副映像ストリームは、副映像の1画面を構成する画
素データ及び表示期間情報を含む副映像ユニットデータ
を副映像1画面毎に配列するようになっている。
The sub-picture encoder 10 creates a sub-picture stream based on bitmap data only with date, a sub-picture stream based on bitmap data only with time, and a sub-picture stream based on bitmap data indicating date and time. , And to the systemized circuit 3. The sub-picture stream created by the sub-picture encoder 10 is configured such that pixel data constituting one screen of the sub-picture and sub-picture unit data including display period information are arranged for each sub-picture.

【0024】なお、日時発生回路8は、日付が変更され
たときにのみ日付データを送信するようになっている。
従って、日時発生回路8からのデータのみに基づいて副
映像ストリームを作成すると、途中再生が発生した場合
には、日付が表示されなくなってしまう。そこで、副映
像エンコーダ10は、同一の日付データに対する副映像ユ
ニットデータを例えば3秒毎に追加配置したストリーム
を作成するようになっている。これにより、ストリーム
の途中から再生を行った場合でも、副映像である日付デ
ータの表示不可期間は3秒以内という比較的短い時間に
設定することができる。
The date and time generating circuit 8 transmits date data only when the date is changed.
Therefore, if the sub-video stream is created based only on the data from the date and time generation circuit 8, the date will not be displayed if the intermediate playback occurs. Therefore, the sub-picture encoder 10 creates a stream in which sub-picture unit data for the same date data is additionally arranged, for example, every three seconds. Thus, even when the reproduction is performed from the middle of the stream, the display non-display period of the date data as the sub-video can be set to a relatively short time of 3 seconds or less.

【0025】システム化回路3は、MEPGエンコーダ
7からのMPEG2ビデオストリーム及び3種類の副映
像ストリームが与えられ、これらを夫々所定の単位でパ
ケット化して多重化することによりシステムストリーム
を生成する。システム化回路3は、システムストリーム
を記録装置4に供給するようになっている。記録装置4
は入力されたシステムストリームを、例えば、DVD−
RAM5に記録するようになっている。
The systemization circuit 3 is provided with an MPEG2 video stream and three types of sub-picture streams from the MPEG encoder 7, and packetizes and multiplexes these in predetermined units to generate a system stream. The systemization circuit 3 supplies a system stream to the recording device 4. Recording device 4
Converts the input system stream into, for example, a DVD-
The information is recorded in the RAM 5.

【0026】次に、このように構成された実施の形態の
動作について説明する。
Next, the operation of the embodiment configured as described above will be described.

【0027】カメラ6は被写体を撮像して、撮像画像に
基づく映像信号をMPEGエンコーダ7に出力する。M
PEGエンコーダ7によって撮像画像の映像信号はMP
EG2規格のビデオストリームに変換されてシステム化
回路3に供給される。
The camera 6 captures an image of a subject and outputs a video signal based on the captured image to the MPEG encoder 7. M
The video signal of the image captured by the PEG encoder 7 is MP
The video stream is converted into an EG2 standard video stream and supplied to the systematic circuit 3.

【0028】一方、日時発生回路8は、日時の情報を時
計装置から得て、ビットマップ生成回路9に順次出力す
る。ビットマップ生成回路9は、日時の情報に基づいて
日付及び時刻を表示するためのビットマップデータを生
成する。日付のみのビットマップデータ、時刻のみのビ
ットマップデータ並びに日付及び時刻を示すビットマッ
プデータは副映像エンコーダ10に供給されて、副映像ス
トリームに変換される。副映像エンコーダ10からの副映
像ストリームはシステム化回路3に出力される。
On the other hand, the date and time generating circuit 8 obtains date and time information from the clock device and sequentially outputs the information to the bit map generating circuit 9. The bitmap generation circuit 9 generates bitmap data for displaying a date and time based on the date and time information. The date-only bitmap data, the time-only bitmap data, and the bitmap data indicating the date and time are supplied to the sub-picture encoder 10 and converted into a sub-picture stream. The sub-picture stream from the sub-picture encoder 10 is output to the systematic circuit 3.

【0029】システム化回路3は、MPEG2ビデオス
トリームと副映像ストリームとを所定単位でパケット化
して多重化し、システムストリームを生成する。このシ
ステムストリームは記録装置4に供給され、DVD−R
AM5に記録される。
The systemization circuit 3 packetizes and multiplexes the MPEG2 video stream and the sub-picture stream in a predetermined unit to generate a system stream. This system stream is supplied to the recording device 4, and the DVD-R
Recorded in AM5.

【0030】DVD−RAM5に記録されたシステムス
トリームは、MPEG2ビデオストリームと3種類の副
映像ストリームとを含んでいる。そして、MPEG2ビ
デオストリームと3種類の副映像ストリームとは相互に
独立しており、副映像によって、MPEG2ビデオスト
リームに基づく映像の一部が欠落してしまうことはな
い。
The system stream recorded on the DVD-RAM 5 includes an MPEG2 video stream and three types of sub-picture streams. The MPEG2 video stream and the three types of sub-video streams are independent of each other, and the sub-video does not cause a part of the video based on the MPEG2 video stream to be lost.

【0031】いま、ユーザーがDVD−RAM5に記録
されている撮像画像を図示しないモニタによって映出さ
せるものとする。ユーザーは、撮像画像に基づく映像に
副映像ストリームに基づく副映像をスーパーインポーズ
して表示するか否かを選択することができる。即ち、ユ
ーザーは、MPEG2ビデオストリームに基づく映像の
みを映出することができ、また、MPEG2ビデオスト
リームに基づく映像に副映像が重畳されたものを映出す
ることもでき、更に、副映像として日付、時刻又は日時
の表示のいずれを表示するか選択することもできる。
Now, it is assumed that the user projects a captured image recorded on the DVD-RAM 5 on a monitor (not shown). The user can select whether to superimpose and display a sub-image based on the sub-image stream on the image based on the captured image. That is, the user can display only the video based on the MPEG2 video stream, can display the video based on the MPEG2 video stream with the sub video superimposed thereon, and can further display the date as the sub video. , Time or date and time can be selected.

【0032】従って、例えば、ユーザーが副映像として
日付を選択した場合には、日付が重畳された映像を映出
させることができ、また、日付の表示によって撮像画像
に基づく映像が見にくくなった場合には、撮像画像に基
づく映像に影響を与えることなく日付の表示を消去する
ことができる。
Therefore, for example, when the user selects a date as a sub-picture, a picture on which the date is superimposed can be displayed, and when the picture based on the captured image becomes difficult to see due to the display of the date. , The display of the date can be deleted without affecting the video based on the captured image.

【0033】なお、システム化回路3の出力を直接モニ
タに与えて映出させる場合でも、日付、時刻及び日時等
の付加情報の表示,非表示又は表示する副映像の選択等
を自由に行うことができることは明らかである。
In addition, even when the output of the systemized circuit 3 is directly given to the monitor for projection, the display, non-display or selection of the sub-picture to be displayed, such as date, time and date, can be freely performed. Obviously you can do that.

【0034】このように、本実施の形態においては、付
加情報については、副映像ストリームとして撮像画像に
基づく映像ストリームとは別に圧縮して記録するように
なっており、撮像画像に基づく映像を欠落させることな
く付加情報の表示,非表示を選択することができる。ま
た、付加情報として表示する情報を選択することも可能
である。
As described above, in the present embodiment, the additional information is compressed and recorded as a sub-video stream separately from the video stream based on the captured image, and the video based on the captured image is lost. The display or non-display of the additional information can be selected without causing the display. It is also possible to select information to be displayed as additional information.

【0035】図3は本発明の他の実施の形態を示すブロ
ック図である。図3において図2と同一の構成要素には
同一符号を付して説明を省略する。
FIG. 3 is a block diagram showing another embodiment of the present invention. 3, the same components as those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted.

【0036】本実施の形態は、ビットマップ生成回路9
及び副映像エンコーダ10に代えて、副映像ユニットデー
タ作成回路11を設けた副映像ストリーム作成部22を採用
した点が図1の実施の形態と異なる。
In this embodiment, the bit map generation circuit 9
1 in that a sub-picture stream creating unit 22 provided with a sub-picture unit data creating circuit 11 is used instead of the sub-picture encoder 10.

【0037】副映像ユニットデータ作成回路11は、‘0
〜9’の数字と‘:’及び‘/’との12個のビットマ
ップデータを圧縮したピクセルデータ(以下、PXDデ
ータという)を記載したPXDデータテーブルを有して
いる。副映像ユニットデータ作成回路11は、日時発生回
路8からの日時情報に対応するPXDデータをPXDデ
ータテーブルから読出して、日時情報に対応した副映像
ストリームを作成するようになっている。なお、副映像
ユニットデータ作成回路11は、日付のみの副映像ストリ
ーム、時刻のみの副映像ストリーム並びに日付及び時刻
の副映像ストリームを作成してシステム化回路3に出力
するようになっている。
The sub-picture unit data creation circuit 11 outputs the value '0
It has a PXD data table that describes pixel data (hereinafter referred to as PXD data) obtained by compressing twelve bitmap data of numbers 9 to 9 and ':' and '/'. The sub-picture unit data creation circuit 11 reads the PXD data corresponding to the date and time information from the date and time generation circuit 8 from the PXD data table, and creates a sub-picture stream corresponding to the date and time information. The sub-picture unit data creation circuit 11 creates a sub-picture stream containing only the date, a sub-picture stream containing only the time, and a sub-picture stream containing the date and time, and outputs them to the system circuit 3.

【0038】なお、本実施の形態においても、日付等の
表示を早期に復帰させるために、副映像ユニットデータ
作成回路11は、同一の日付データに対する副映像ユニッ
トデータを所定の間隔で追加配置したストリームを作成
するようになっている。これにより、ストリームの途中
から再生を行った場合でも、副映像である日付データの
表示不可期間を比較的短い時間に設定することができ
る。
In the present embodiment, too, the sub-picture unit data creation circuit 11 additionally arranges sub-picture unit data for the same date data at a predetermined interval in order to quickly return the display of the date and the like. Creates a stream. This makes it possible to set the non-display period of the date data, which is the sub-picture, to a relatively short time even when the reproduction is performed from the middle of the stream.

【0039】このように構成された実施の形態において
も、副映像ユニットデータ作成回路11によって、日付、
時刻並びに日付及び時刻の副映像ストリームが作成され
る。これらの副映像ストリームはシステム化回路3に供
給され、MPEGエンコーダ7からのMPEG2ビデオ
ストリームに多重化される。
In the embodiment configured as described above, the date, date,
A time and date and time sub-picture stream are created. These sub-video streams are supplied to the systemization circuit 3 and multiplexed with the MPEG2 video stream from the MPEG encoder 7.

【0040】他の作用は、図1の実施の形態と同様であ
る。
Other functions are the same as those of the embodiment shown in FIG.

【0041】本実施の形態においても、図1の実施の形
態と同様の効果が得られることは明らかである。
It is apparent that the same effects as those of the embodiment shown in FIG. 1 can be obtained in this embodiment.

【0042】図4は本発明の一実施の形態に係る映像編
集装置を示すブロック図である。図4において図1と同
一の構成要素には同一符号を付して説明を省略する。本
実施の形態は付加情報を音声記録エリアの一部に記録す
ることができるビデオカメラを用い、このビデオカメラ
からのデータに基づいて付加情報を副映像ストリームに
変換するものに適用した例である。
FIG. 4 is a block diagram showing a video editing apparatus according to one embodiment of the present invention. 4, the same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted. The present embodiment is an example in which a video camera capable of recording additional information in a part of an audio recording area is used, and the additional information is converted to a sub-picture stream based on data from the video camera. .

【0043】ビデオカメラ25は、カメラ6、日時発生回
路8、文字記録回路16及び多重化回路12によって構成さ
れている。カメラ6は撮像画像に基づく映像信号を多重
化回路12に出力する。日時発生回路8からの日時情報は
文字記録回路16に供給されるようになっている。文字記
録回路16は、文字データを表す識別コード、日時情報デ
ータ及び終了コードからなるフォーマットの付加情報デ
ータを作成して、音声記録エリアに記録するように多重
化回路12に出力するようになっている。なお、文字記録
回路16は、文字データを表す識別コードではなく、文字
コードを採用してもよい。
The video camera 25 comprises a camera 6, a date / time generating circuit 8, a character recording circuit 16, and a multiplexing circuit 12. The camera 6 outputs a video signal based on the captured image to the multiplexing circuit 12. The date and time information from the date and time generating circuit 8 is supplied to the character recording circuit 16. The character recording circuit 16 creates additional information data in a format including an identification code representing character data, date and time information data, and an end code, and outputs the additional information data to the multiplexing circuit 12 so as to be recorded in the audio recording area. I have. Note that the character recording circuit 16 may employ a character code instead of an identification code representing character data.

【0044】多重化回路12は、カメラ6からの映像信号
と文字記録回路16からの付加情報データとを多重化して
伝送路13に出力する。なお、多重化回路12によって、付
加情報データは音声記録エリアに配置されるようになっ
ている。
The multiplexing circuit 12 multiplexes the video signal from the camera 6 and the additional information data from the character recording circuit 16 and outputs the multiplexed signal to the transmission line 13. Note that the multiplexing circuit 12 arranges the additional information data in the audio recording area.

【0045】映像編集装置26は、分離化回路14、ビデオ
ストリーム作成部23、副映像ストリーム作成部24、シス
テム化回路3によって構成されている。伝送路13を介し
て伝送された信号は分離化回路14に供給されるようにな
っている。分離化回路14は、受信信号から映像信号と音
声記録エリア中の付加情報データとを分離する。分離化
回路14によって分離された映像信号はビデオストリーム
作成部23を構成するMPEGエンコーダ7に与えられ、
付加情報データは副映像ストリーム作成部24を構成する
ビットマップ生成回路9に与えられるようになってい
る。
The video editing device 26 comprises a demultiplexing circuit 14, a video stream creating section 23, a sub-picture stream creating section 24, and a systemizing circuit 3. The signal transmitted via the transmission path 13 is supplied to a demultiplexing circuit 14. The separating circuit 14 separates the video signal and the additional information data in the audio recording area from the received signal. The video signal separated by the separation circuit 14 is supplied to the MPEG encoder 7 constituting the video stream creation unit 23,
The additional information data is provided to the bitmap generation circuit 9 constituting the sub-picture stream generation unit 24.

【0046】付加情報追加回路15は、ビットマップ生成
回路9に供給される付加情報データに対して、文字情報
等の追加,編集,加工を行うための付加情報追加データ
を出力することができるようになっている。これによ
り、文字記録回路16による日時の情報にコメントの情報
等を付加することも可能である。ビットマップ生成回路
9は、入力された情報に基づくビットマップデータを生
成して副映像エンコーダ10に出力するようになってい
る。例えば、ビットマップ生成回路9は、文字コード、
表示位置、表示色及び表示時刻等の情報を元にビットマ
ップデータを作成するようになっている。
The additional information adding circuit 15 can output additional information additional data for adding, editing, and processing character information and the like to the additional information data supplied to the bitmap generation circuit 9. It has become. This makes it possible to add comment information and the like to the date and time information obtained by the character recording circuit 16. The bitmap generation circuit 9 generates bitmap data based on the input information and outputs the bitmap data to the sub-picture encoder 10. For example, the bitmap generation circuit 9 generates a character code,
Bitmap data is created based on information such as a display position, a display color, and a display time.

【0047】なお、伝送路13に代えて、VTR等の記録
再生装置を用いてもよいことは明らかである。
It is apparent that a recording / reproducing device such as a VTR may be used instead of the transmission line 13.

【0048】次に、このように構成された実施の形態の
動作について説明する。
Next, the operation of the embodiment configured as described above will be described.

【0049】カメラ6による撮像画像に基づく映像信号
は多重化回路12に供給される。日時発生回路8は、日時
情報を発生して文字記録回路16に出力する。文字記録回
路16によって日時情報データを含む付加情報データが作
成され、付加情報データは音声記録エリアに記録される
ように多重化回路12に出力される。多重化回路12は、映
像信号と付加情報データとを多重化する。この場合に
は、付加情報データは音声記録エリアに配置される。
The video signal based on the image captured by the camera 6 is supplied to the multiplexing circuit 12. The date and time generating circuit 8 generates date and time information and outputs it to the character recording circuit 16. Additional information data including date and time information data is created by the character recording circuit 16, and the additional information data is output to the multiplexing circuit 12 so as to be recorded in the audio recording area. The multiplexing circuit 12 multiplexes the video signal and the additional information data. In this case, the additional information data is arranged in the audio recording area.

【0050】ビデオカメラ25によって撮像されて多重化
回路12によって付加情報データが多重化された信号は伝
送路13を介して映像編集装置26の分離化回路14に供給さ
れる。分離化回路14によって、受信信号から映像信号と
付加情報データとが分離される。付加情報データはMP
EGエンコーダ7によってエンコードされてMPEG2
ビデオストリームに変換される。
The signal which is imaged by the video camera 25 and multiplexed with the additional information data by the multiplexing circuit 12 is supplied to the demultiplexing circuit 14 of the video editing device 26 via the transmission line 13. The separating circuit separates the video signal and the additional information data from the received signal. Additional information data is MP
MPEG2 encoded by the EG encoder 7
Converted to video stream.

【0051】一方、分離化回路14によって分離された付
加情報データは、ビットマップ生成回路9に供給される
と共に、付加情報追加回路15によって追加,編集,加工
処理が施される。例えば、新たに文字情報を追加する場
合には、付加情報追加回路15は、文字コード、表示位
置、表示色及び表示時刻等の情報をビットマップ生成回
路9に出力する。
On the other hand, the additional information data separated by the separation circuit 14 is supplied to the bitmap generation circuit 9 and is subjected to addition, editing, and processing by the additional information addition circuit 15. For example, when newly adding character information, the additional information adding circuit 15 outputs information such as a character code, a display position, a display color, and a display time to the bitmap generation circuit 9.

【0052】ビットマップ生成回路9は、分離化回路14
によって分離された付加情報データに基づくビットマッ
プデータを生成する。更に、ビットマップ生成回路9
は、付加情報追加回路15によって追加,編集,加工処理
された付加情報データに基づくビットマップデータを生
成し、分離化回路14の出力に基づくビットマップデータ
に挿入して1つのデータファイルとする。作成されたビ
ットマップデータは副映像エンコーダ10によって副映像
ストリームに変換される。
The bit map generation circuit 9 includes a separation circuit 14
And generates bitmap data based on the additional information data separated. Further, the bitmap generation circuit 9
Generates bitmap data based on the additional information data added, edited, and processed by the additional information adding circuit 15 and inserts the bitmap data into bitmap data based on the output of the demultiplexing circuit 14 to form one data file. The created bitmap data is converted by the sub-picture encoder 10 into a sub-picture stream.

【0053】副映像エンコーダ10からの副映像ストリー
ムとMPEGエンコーダ7からのMPEG2ビデオスト
リームとはシステム化回路3においてシステムストリー
ムとして多重化され、記録装置4によってDVD−RA
M5に記録される。
The sub-picture stream from the sub-picture encoder 10 and the MPEG2 video stream from the MPEG encoder 7 are multiplexed as a system stream in the systemization circuit 3, and the DVD-RA
Recorded in M5.

【0054】DVD−RAM5に記録されたシステムス
トリームは、別々に符号化されたビデオストリームと副
映像ストリームとを含む。これにより、再生時におい
て、ビデオストリームとして記録された撮像画像の映像
を欠落させることなく、副映像ストリームとして記録さ
れた付加情報の表示,非表示を切換えることができる。
また、ビデオカメラ25による文字情報以外に、付加情報
追加回路15によって付加した情報も表示させることがで
きる。
The system stream recorded on the DVD-RAM 5 includes a separately encoded video stream and sub-picture stream. Thus, at the time of reproduction, display and non-display of the additional information recorded as the sub-video stream can be switched without losing the image of the captured image recorded as the video stream.
In addition to the character information from the video camera 25, information added by the additional information adding circuit 15 can be displayed.

【0055】このように、本実施の形態においては、映
像信号と付加情報データとを分離し、付加情報データに
基づく副映像ストリームを作成するようになっており、
例えば、DVDビデオ規格のシステムストリームを作成
することができる。これにより、音声記録エリアから付
加情報を分離して再生する特別な再生機器を用いること
なく、一般的な再生専用のDVDプレーヤで再生を行う
場合でも、日付及び時刻等の表示,非表示を自由に行う
ことができる。
As described above, in the present embodiment, the video signal and the additional information data are separated, and a sub-video stream based on the additional information data is created.
For example, a system stream of the DVD video standard can be created. Thus, the display and non-display of the date and time can be freely performed even when the reproduction is performed by a general reproduction-only DVD player without using a special reproduction device that separates and reproduces the additional information from the audio recording area. Can be done.

【0056】なお、本実施の形態においては、ビットマ
ップ生成回路9が1本のビットマップデータを作成する
例を説明したが、複数のビットマップデータを作成して
もよいことは明らかである。また、分離化回路14によっ
て得られた映像信号がMPEG2ビデオストリームであ
る場合には、MPEGエンコーダを省略することができ
ることも明らかである。
In this embodiment, an example has been described in which the bitmap generation circuit 9 generates one bitmap data, but it is apparent that a plurality of bitmap data may be generated. Also, when the video signal obtained by the demultiplexing circuit 14 is an MPEG2 video stream, it is clear that the MPEG encoder can be omitted.

【0057】図5は本発明の他の実施の形態を示すブロ
ック図である。図5において図4と同一の構成要素には
同一符号を付して説明を省略する。
FIG. 5 is a block diagram showing another embodiment of the present invention. 5, the same components as those in FIG. 4 are denoted by the same reference numerals, and description thereof will be omitted.

【0058】本実施の形態は、ビットマップ生成回路9
及び副映像エンコーダ10に代えて、副映像ユニットデー
タ作成回路11を設けた副映像ストリーム作成部28を採用
した点が図4の実施の形態と異なる。
In this embodiment, the bit map generation circuit 9
4 in that a sub-picture stream creation unit 28 having a sub-picture unit data creation circuit 11 is used instead of the sub-picture encoder 10.

【0059】副映像ユニットデータ作成回路11は、‘0
〜9’の数字と‘:’及び‘/’との12個のビットマ
ップデータを圧縮したPXDデータを記載したPXDデ
ータテーブルを有している。副映像ユニットデータ作成
回路11は、入力された付加情報データ及び付加情報追加
データに対応するPXDデータをPXDデータテーブル
から読出して、これらの情報に対応した副映像ストリー
ムを作成するようになっている。
The sub-picture unit data creation circuit 11 outputs the value '0
It has a PXD data table that describes PXD data obtained by compressing 12 bitmap data of numbers “-9” and “:” and “/”. The sub-picture unit data creating circuit 11 reads the input additional information data and the PXD data corresponding to the additional information additional data from the PXD data table, and creates a sub-picture stream corresponding to the information. .

【0060】このように構成された実施の形態において
も、副映像ユニットデータ作成回路11によって、図4と
同様の副映像ストリームが作成される。副映像ストリー
ムはシステム化回路3に供給され、MPEGエンコーダ
7からのMPEG2ビデオストリームに多重化される。
Also in the embodiment configured as described above, the sub-picture unit data creation circuit 11 creates a sub-picture stream similar to that shown in FIG. The sub-picture stream is supplied to the systemization circuit 3 and multiplexed with the MPEG2 video stream from the MPEG encoder 7.

【0061】他の作用は、図4の実施の形態と同様であ
る。
The other operations are the same as those of the embodiment shown in FIG.

【0062】本実施の形態においても、図4の実施の形
態と同様の効果が得られることは明らかである。
It is apparent that the present embodiment can provide the same effect as the embodiment of FIG.

【0063】なお、上記各実施の形態においては、ビデ
オカメラからの映像信号からMPEG2ビデオストリー
ムを作成し、ビデオカメラの撮像時に得た情報に基づい
て副映像ストリームを作成する例を説明したが、放送信
号からMPEG2ビデオストリームを作成し、テレビジ
ョン受信機によって得られる情報等に基づいて副映像ス
トリームを作成する例に適用することができることは明
らかである。
In each of the above embodiments, an example has been described in which an MPEG2 video stream is created from a video signal from a video camera, and a sub-picture stream is created based on information obtained at the time of imaging by the video camera. Obviously, the present invention can be applied to an example in which an MPEG2 video stream is created from a broadcast signal and a sub-picture stream is created based on information or the like obtained by a television receiver.

【0064】[0064]

【発明の効果】以上説明したように本発明によれば、日
時等の付加情報の表示,非表示を自由に行うことができ
るという効果を有する。
As described above, according to the present invention, an additional information such as date and time can be freely displayed and hidden.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る映像記録装置の一実施の形態を示
すブロック図。
FIG. 1 is a block diagram showing an embodiment of a video recording apparatus according to the present invention.

【図2】図1の実施の形態を説明するための説明図。FIG. 2 is an explanatory diagram for explaining the embodiment in FIG. 1;

【図3】本発明の他の実施の形態を示すブロック図。FIG. 3 is a block diagram showing another embodiment of the present invention.

【図4】本発明に係る映像編集装置の一実施の形態を示
すブロック図。
FIG. 4 is a block diagram showing an embodiment of a video editing device according to the present invention.

【図5】本発明の他の実施の形態を示すブロック図。FIG. 5 is a block diagram showing another embodiment of the present invention.

【図6】従来の映像記録装置を示すブロック図。FIG. 6 is a block diagram showing a conventional video recording device.

【符号の説明】[Explanation of symbols]

1…ビデオストリーム作成部、2…副映像ストリーム作
成部、3…システム化回路、4…記憶装置、5…DVD
−RAM、6…カメラ、7…MPEGエンコーダ、8…
日時発生回路、9…ビットマップ生成回路、10…副映像
エンコーダ
DESCRIPTION OF SYMBOLS 1 ... Video stream preparation part, 2 ... Sub-picture stream preparation part, 3 ... Systemization circuit, 4 ... Storage device, 5 ... DVD
-RAM, 6 ... Camera, 7 ... MPEG encoder, 8 ...
Date and time generation circuit, 9: bitmap generation circuit, 10: sub-picture encoder

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 撮像することにより撮像画像に基づく映
像信号を得、この映像信号をMPEGエンコードしてビ
デオストリームを作成するビデオカメラ装置と、 少なくとも前記撮像時に得られる情報を含む付加情報デ
ータに基づいて副映像ストリームを作成する副映像スト
リーム作成手段と、 前記ビデオストリーム及び副映像ストリームを多重化し
てシステムストリームを作成する多重化手段と、 前記多重化手段により作成されたシステムストリームを
記録媒体に記録する記録装置とを具備したことを特徴と
する映像記録装置。
1. A video camera device that obtains a video signal based on a captured image by capturing an image, and MPEG-encodes the video signal to create a video stream, based on at least additional information data including information obtained at the time of the image capturing. Sub-video stream generating means for generating a sub-video stream, multiplexing means for multiplexing the video stream and sub-video stream to generate a system stream, and recording the system stream generated by the multiplexing means on a recording medium A video recording device comprising:
【請求項2】 前記副映像ストリーム作成手段は、前記
付加情報データに基づいたビットマップデータを生成す
るビットマップ生成手段と、 前記ビットマップデータを圧縮する副映像エンコード手
段とを具備したことを特徴とする請求項1に記載の映像
記録装置。
2. The apparatus according to claim 1, wherein the sub-image stream generating unit includes a bit map generating unit that generates bit map data based on the additional information data, and a sub-image encoding unit that compresses the bit map data. The video recording device according to claim 1.
【請求項3】 前記副映像ストリーム作成手段は、ビッ
トマップデータを圧縮したピクセルデータを記憶するピ
クセルデータテーブルと、 前記付加情報データに基づいて前記ピクセルデータテー
ブルから読出したピクセルデータによって副映像ユニッ
トデータを作成する副映像ユニットデータ作成手段を具
備したことを特徴とする請求項1に記載の映像記録装
置。
3. The sub-picture stream creating means includes: a pixel data table for storing pixel data obtained by compressing bitmap data; and sub-picture unit data based on pixel data read from the pixel data table based on the additional information data. 2. The video recording apparatus according to claim 1, further comprising a sub-video unit data generating means for generating a sub-picture unit.
【請求項4】 前記付加情報データは、前記ビデオカメ
ラ装置が有する時計装置から得た日付及び時刻データを
含むことを特徴とする請求項1に記載の映像記録装置。
4. The video recording apparatus according to claim 1, wherein the additional information data includes date and time data obtained from a clock device included in the video camera device.
【請求項5】 映像信号と付加情報データとが多重され
た信号が入力され、前記映像信号と付加情報データとを
分離する分離化手段と、 前記分離化手段が出力した映像信号からビデオストリー
ムを作成するビデオストリーム作成手段と、 前記分離化手段が出力した付加情報データに基づいて副
映像ストリームを作成する副映像ストリーム作成手段
と、 前記ビデオストリーム及び副映像ストリームを多重化し
て作成したシステムストリームを出力する多重化手段と
を具備したことを特徴とする映像編集装置。
5. A demultiplexer for receiving a signal in which a video signal and additional information data are multiplexed and separating the video signal and the additional information data, a video stream from the video signal output by the demultiplexer. A video stream creating means for creating, a sub-picture stream creating means for creating a sub-picture stream based on the additional information data output by the demultiplexing means, and a system stream created by multiplexing the video stream and the sub-picture stream. A video editing apparatus, comprising: a multiplexing unit for outputting.
JP26250097A 1997-09-26 1997-09-26 Video recording device Expired - Fee Related JP3825894B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26250097A JP3825894B2 (en) 1997-09-26 1997-09-26 Video recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26250097A JP3825894B2 (en) 1997-09-26 1997-09-26 Video recording device

Publications (2)

Publication Number Publication Date
JPH11103445A true JPH11103445A (en) 1999-04-13
JP3825894B2 JP3825894B2 (en) 2006-09-27

Family

ID=17376675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26250097A Expired - Fee Related JP3825894B2 (en) 1997-09-26 1997-09-26 Video recording device

Country Status (1)

Country Link
JP (1) JP3825894B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842540B1 (en) 1999-10-04 2005-01-11 Hitachi, Ltd. Surveillance system
US6985630B2 (en) * 2000-09-27 2006-01-10 Canon Kabushiki Kaisha Image processing apparatus and method, program and storage medium
WO2007105514A1 (en) * 2006-03-10 2007-09-20 Pioneer Corporation Information recording device and information recording method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842540B1 (en) 1999-10-04 2005-01-11 Hitachi, Ltd. Surveillance system
US6985630B2 (en) * 2000-09-27 2006-01-10 Canon Kabushiki Kaisha Image processing apparatus and method, program and storage medium
WO2007105514A1 (en) * 2006-03-10 2007-09-20 Pioneer Corporation Information recording device and information recording method

Also Published As

Publication number Publication date
JP3825894B2 (en) 2006-09-27

Similar Documents

Publication Publication Date Title
JP4224690B2 (en) Recording method, recording apparatus, reproducing method, reproducing apparatus, and imaging apparatus
JP4443578B2 (en) Information carrier
US7675555B2 (en) Recording method, recording apparatus, recording medium, reproduction method, reproduction apparatus and image pickup apparatus
US8238717B2 (en) Reproducing device
KR100970727B1 (en) Information storage medium containing sub title data for multi-languages using text data and downlodable font and apparatus therefor
US20080181583A1 (en) Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same
US20040133926A1 (en) Additional information inserting apparatus and method
JPH10322613A (en) Information reception and reproduction device, and recording medium
US20050069289A1 (en) Transport stream recording/editing device and recording/editing method
JP3825894B2 (en) Video recording device
US7271847B2 (en) Video apparatus with picture-in-picture ability
JPH08275111A (en) Encoding/decoding system for image information
JP2006319397A (en) Digital recording and reproducing apparatus
JP4664173B2 (en) Transmitting apparatus, reproducing apparatus, and methods for subtitle concealment broadcasting
JP4366609B2 (en) Recording method, recording apparatus, reproducing method, reproducing apparatus, recording / reproducing apparatus, and recording / reproducing method
JP2865938B2 (en) Video disc player
JP4366610B2 (en) Recording method, recording apparatus, reproducing method, reproducing apparatus, and imaging apparatus
JP3588239B2 (en) Digital camera
JP2004282656A (en) Program recording apparatus, program reproducing apparatus, and program recording method
JPH1070705A (en) Image information recording medium and its manufacture
JP2007288390A (en) Signal processor
JP2003018615A (en) Video apparatus and method therefor and video recorder
KR20060079927A (en) Apparatus and method for record and play caption data in disc recorder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060404

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees