JP3196764B2 - Moving image recording / playback method - Google Patents

Moving image recording / playback method

Info

Publication number
JP3196764B2
JP3196764B2 JP23784499A JP23784499A JP3196764B2 JP 3196764 B2 JP3196764 B2 JP 3196764B2 JP 23784499 A JP23784499 A JP 23784499A JP 23784499 A JP23784499 A JP 23784499A JP 3196764 B2 JP3196764 B2 JP 3196764B2
Authority
JP
Japan
Prior art keywords
recording
image
mode
recorded
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23784499A
Other languages
Japanese (ja)
Other versions
JP2000138900A (en
Inventor
英雄 新井
幸利 坪井
崇 西村
英一 田中
聰 本巣
万寿男 奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP23784499A priority Critical patent/JP3196764B2/en
Publication of JP2000138900A publication Critical patent/JP2000138900A/en
Application granted granted Critical
Publication of JP3196764B2 publication Critical patent/JP3196764B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、ディジタル動画像
を高能率圧縮して記録又は再生する動画像記録再生方法
に関し、特に時間的に前後の画像を参照画像として参照
圧縮記録方法において、記録開始指示時点から高画質記
録を可能にする動画像記録再生方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture recording / reproducing method for recording or reproducing a digital moving picture by compressing the moving picture with high efficiency. The present invention relates to a moving image recording / reproducing method that enables high-quality recording from a point in time of instruction.

【0002】[0002]

【従来の技術】動画像、音声を圧縮する方式として、
「ITU−Tホワイトブック、オーディオビジュアル/
マルチメディア関連(Hシリーズ)勧告集」(財団法人
日本ITU協会、平成7年2月18日発行)P375〜
P595(以下、「文献1」と称する。)に規定されて
いる動画像、音声圧縮規格H.262(通称「MPEG
2」方式)がある。
2. Description of the Related Art As a method for compressing moving images and sounds,
"ITU-T White Book, Audio Visual /
Multimedia-Related (H Series) Recommendations "(Japan ITU Association, published February 18, 1995) P375
P595 (hereinafter referred to as "Document 1"). 262 (commonly known as "MPEG
2 "method).

【0003】MPEG2による動画像圧縮では、画像を
マクロブロックと呼ばれる16画素×16画素の矩形ブ
ロック群に分割し、時間的に前後の画像の中から、圧縮
するマクロブロックに似た領域(参照領域)を抽出し、
参照領域との空間的な距離、方位(動きベクトル)と、
参照領域と圧縮しようとする領域の差分情報を計算し、
これらの情報を、DCT(離散コサイン変換)、可変長
符号化を用いてビットストリームに圧縮する。このよう
に動きベクトルと差分情報だけを圧縮する手法は、原画
像そのものを圧縮する手法よりも、はるかに高能率な圧
縮が実現可能である。つまり、同じ程度の圧縮歪みを許
容するならば、より少ない情報量に圧縮することが可能
である。しかし、差分情報によって圧縮された画像は参
照する画像がないと伸長できないため、ビットストリー
ムの途中から伸長するような用途(以下、「ランダムア
クセス」と称する。)に対処するためには、他の画像を
参照しない画像を周期的に設ける必要がある。この画像
を「I画像」(Intra Picture)と称する。I画像を参
照画像として、次の画像を圧縮し、さらに、すでに圧縮
された画像を参照画像として後続の画像を圧縮してい
く。
In moving image compression by MPEG2, an image is divided into a group of rectangular blocks of 16 × 16 pixels called macroblocks, and a region similar to the macroblock to be compressed (reference region) is selected from temporally preceding and succeeding images. )
Spatial distance from the reference area, azimuth (motion vector),
Calculate difference information between the reference area and the area to be compressed,
These pieces of information are compressed into a bit stream using DCT (Discrete Cosine Transform) and variable length coding. Thus, the method of compressing only the motion vector and the difference information can achieve much more efficient compression than the method of compressing the original image itself. In other words, if the same degree of compression distortion is allowed, it is possible to compress to a smaller amount of information. However, since the image compressed by the difference information cannot be expanded without the image to be referenced, in order to cope with an application that expands from the middle of the bit stream (hereinafter, referred to as “random access”), another method is required. It is necessary to periodically provide an image that does not refer to the image. This image is referred to as an “I image” (Intra Picture). The next image is compressed using the I image as a reference image, and the subsequent image is compressed using the already compressed image as a reference image.

【0004】参照画像を用いて圧縮する画像の中には、
時間的に前の画像のみを参照画像とする"P画像" (Pred
ictive-coded Picture)と、時間的に前後の画像を参照
画像とする"B画像" (Bidirectionally predictive-cod
ed Picture)がある。P画像は、I画像と同様に、他の
画像の参照画像となりうる。図17には、I、P、B画
像を用いて圧縮した動画像の画像構成例を示す。同図
中、121は入力画像順の画像タイプ構成例を示し、入
力画像順に1、2、・・8と指示した画像に対して、4
画像単位でB、I、B、P、の順に画像タイプを定め、
Bは前後の両方のI又はP画像を参照し、Pは時間的に
前のI又はP画像を参照する。この参照関係を矢印で示
した。図中、矢印の出発点の画像を参照画像として、矢
印の終端点の画像を圧縮する。この例では、2、6で示
したI画像から伸長を開始することが可能である。MP
EGでは、I画像及びそれと直接間接的に参照関係にあ
る一連の画像集合体より、GOP(Group Of Pictures)
を構成する事が可能である。GOPには、GOPヘッダ
が付加される。GOPは、ランダムアクセスの単位とし
て用いる。
Some of the images compressed using the reference image include:
"P image" (refer to Pred image)
ictive-coded Picture) and "B-picture" (Bidirectionally predictive-cod
ed Picture). The P image can be a reference image of another image, like the I image. FIG. 17 shows an image configuration example of a moving image compressed using I, P, and B images. In the figure, reference numeral 121 denotes an example of the image type configuration in the order of the input images.
Image types are determined in the order of B, I, B, P in image units,
B refers to both the preceding and following I or P images, and P refers to the temporally previous I or P image. This reference relationship is indicated by an arrow. In the figure, the image at the end point of the arrow is compressed using the image at the start point of the arrow as a reference image. In this example, it is possible to start decompression from the I images indicated by 2 and 6. MP
In the EG, a GOP (Group Of Pictures) is obtained from an I image and a series of images directly and indirectly referenced.
Can be constructed. A GOP header is added to the GOP. The GOP is used as a random access unit.

【0005】B画像を用いる圧縮では、時間的に前後の
画像を参照画像として使用するために、入力される画像
の順番と圧縮の結果得られるビットストリーム上での画
像の順番を入れ替える処理を行う。
[0005] In the compression using a B image, in order to use the preceding and succeeding images as reference images, a process of exchanging the order of the input images and the order of the images on the bit stream obtained as a result of the compression is performed. .

【0006】図17は、MPEG2により記録される入
力画像121と圧縮後の画像(記録画像)122のビッ
トストリーム上での画像の構成例を示した図である。こ
の例では、例えば、B画像として圧縮される画像3は、
時間的に前のI画像2と後のP画像4の両方を参照して
圧縮されるため、画像4の処理を終えた後に圧縮され
る。そのため、ビットストリーム上では、画像4の後に
配置される。
FIG. 17 is a diagram showing a configuration example of an input image 121 recorded by MPEG2 and an image (recorded image) 122 after compression on a bit stream. In this example, for example, image 3 compressed as a B image is
Since the image is compressed with reference to both the I image 2 before and the P image 4 after the image, the image is compressed after the processing of the image 4 is completed. Therefore, it is arranged after the image 4 on the bit stream.

【0007】このI、P、B各画像タイプを含む動画像
では、画像タイプ毎に圧縮率が異なるため、均質な画質
を保って圧縮を行うためには画像タイプ毎に適切な符号
量となるよう制御する必要がある。この符号量配分は、
入力画像の性質によって大きく変化する。例えば、全体
が平行移動しているような動画像では、動きベクトルに
よる参照を用いると圧縮効率が大幅に上がるため、P、
B画像の符号量をより少なく、I画像の符号量をより多
く割り当てる事により、均一な画質に圧縮することが出
来る。また、時間とともに形状が変化していく領域が多
いような動画像であれば、動きベクトルによる参照を用
いても圧縮効率が上がらず、P、B画像の符号量をより
多くする必要がある。このような制御を行う例として、
MPEG2規格制定時に圧縮方法の例として示された
「 ISO-IEC/JTC1/SC29/WG11 CODEDREPRESENTATION OF P
ICTURE AND AUDIO INFORMATION TEST MODEL 5」があ
る。このモデルによると、圧縮開始前にI、P、B画像
の符号量配分を仮に決めておき、1GOP圧縮する毎に
実際の圧縮の結果得られた符号量配分と圧縮の程度を示
す係数(量子化係数)から次のGOPの符号量配分を決
定していく。
[0007] In a moving image including each of the I, P, and B image types, since the compression ratio differs for each image type, an appropriate code amount is required for each image type in order to perform compression while maintaining uniform image quality. Need to be controlled. This code amount distribution is
It changes greatly depending on the nature of the input image. For example, in the case of a moving image in which the whole is translated in parallel, the use of a reference by a motion vector greatly increases the compression efficiency.
By assigning a smaller code amount for the B image and a larger code amount for the I image, it is possible to compress the image to a uniform image quality. In addition, if a moving image has many areas whose shape changes with time, the compression efficiency does not increase even if reference using a motion vector is used, and it is necessary to increase the code amount of the P and B images. As an example of performing such control,
“ISO-IEC / JTC1 / SC29 / WG11 CODED REPRESENTATION OF P” was shown as an example of the compression method when the MPEG2 standard was established.
ICTURE AND AUDIO INFORMATION TEST MODEL 5 ". According to this model, the code amount distribution of the I, P, and B images is provisionally determined before the start of compression, and each time one GOP is compressed, the code amount distribution obtained as a result of actual compression and a coefficient (quantum) indicating the degree of compression are obtained. The code amount distribution of the next GOP is determined from the conversion coefficient).

【0008】このように種類の異なる圧縮方法を組み合
わせて高い圧縮率で圧縮することにより、ハードディス
クのようなディスク媒体でも長時間の動画像を記録する
ことが可能である。例えば、現在テレビジョン放送に用
いられているNTSC信号をディジタル化すると約20
0Mbpsの情報を有するが、この信号をMPEG2を
用いて圧縮すると、4Mbps程度にまで圧縮すること
が可能である。この情報を1Gbyteの容量を持つハ
ードディスクに記憶する場合、圧縮前の情報では40秒
間しか記録出来ないが、圧縮後の情報では33分間の情
報を記録する事が可能である。そのため、従来のディジ
タル動画像記録で用いられていたテープ媒体に代わり、
ディスク媒体を用いた動画像記録が可能となる。
As described above, by combining different types of compression methods and performing compression at a high compression ratio, it is possible to record a moving image for a long time even on a disk medium such as a hard disk. For example, when an NTSC signal currently used for television broadcasting is digitized, it is approximately 20%.
Although it has information of 0 Mbps, if this signal is compressed using MPEG2, it can be compressed to about 4 Mbps. When storing this information in a hard disk having a capacity of 1 Gbyte, information before compression can be recorded for only 40 seconds, but information after compression can be recorded for 33 minutes. Therefore, instead of the tape medium used in the conventional digital video recording,
Moving image recording using a disk medium becomes possible.

【0009】[0009]

【発明が解決しようとする課題】MPEG2では、I画
像から伸長を開始する事が可能であるが、I画像に先行
して入力される画像がB画像として圧縮されている場合
は、このB画像はビットストリーム上ではI画像の後ろ
に配置されることになる。このB画像は、時間的に前の
I又はP画像を参照することが可能である。事象に先行
した部分にこのような記録方式を採用し、ビットストリ
ーム上においてこのI画像以降を切り出したビットスト
リームを構成すると、ビットストリーム先頭部に、時間
的に前の画像を参照している画像が含まれる可能性があ
る。もし、そのようなB画像の取り込み処理をしている
時点からの画像を、記録媒体へ記録開始すると、再生時
に先頭の画像が伸長不可能となる。
In MPEG2, it is possible to start decompression from an I image, but if an image input prior to the I image is compressed as a B image, this B image Will be placed after the I-picture on the bit stream. This B image can refer to an I or P image that is earlier in time. If such a recording method is adopted for a portion preceding the event, and a bit stream cut out from the I-picture on the bit stream is formed, an image referring to a temporally previous image is added to the head of the bit stream. May be included. If the recording of the image from the point in time when the B image is being captured is started on the recording medium, the leading image cannot be decompressed during reproduction.

【0010】本発明は、前記事情に鑑みなされたもの
で、時間的に前後の画像を参照画像として圧縮を行う方
式において、指定された開始時点よりも前のビットスト
リームも含めたビットストリームを記録する事により、
指定された記録開始指示時点から高精度で画像を記録す
ることを可能とする動画像記録装置を提供することにあ
る。
The present invention has been made in view of the above circumstances, and in a method of compressing a temporally preceding and succeeding image as a reference image, recording a bit stream including a bit stream before a designated start time. By doing
It is an object of the present invention to provide a moving image recording apparatus capable of recording an image with high accuracy from a designated recording start instruction point.

【0011】本願発明の別の目的は、動画像信号を圧縮
して記録する動画像記録再生装置において、記録開始指
示時点以降の情報とともに、指定された記録開始指示時
点以前の情報も併せて記録媒体に記録する動画像記録装
置を提供することにある。
Another object of the present invention is to provide a moving picture recording / reproducing apparatus for compressing and recording a moving picture signal, which records not only information after a recording start instruction time but also information before a designated recording start instruction time. An object of the present invention is to provide a moving image recording apparatus for recording on a medium.

【0012】本願発明の別の目的は、動画像信号を圧縮
して記録する動画像再生装置において、記録媒体上に記
録された記録開始指示時点以前の情報を利用して、記録
開始指示時点以降の動画を再生する動画像再生装置を提
供することにある。
Another object of the present invention is to provide a moving picture reproducing apparatus for compressing and recording a moving picture signal, by utilizing information recorded on a recording medium before a recording start instruction time and after a recording start instruction time. To provide a moving image reproducing apparatus for reproducing a moving image.

【0013】[0013]

【課題を解決するための手段】前記目的を達成するため
に本願発明では、入力された動画像信号を、符号化して
記録媒体に記録する動画像記録再生装置において、以下
のように構成した。
In order to achieve the above object, according to the present invention, a moving picture recording / reproducing apparatus for encoding an input moving picture signal and recording the same on a recording medium is configured as follows.

【0014】記録動作の際に、操作者、操作指示source
からの記録開始信号が来る前に、前もって画像を取り込
んでおく第1のモード(仮記録モード)と、記録開始信
号がきたのちに画像を取り込む第2のモード(本記録モ
ード)を設定する。第1のモードと第2のモードは、記
録開始指示前に取り込み又は記録する動作と、指示後に
記録する動作を分けたもので、両者のモードでの記録形
態を目的によって変えておくことができるが、同じ形態
であってもよい。
At the time of a recording operation, an operator, an operation instruction source
A first mode (temporary recording mode) in which an image is captured in advance before a recording start signal is received from the printer, and a second mode (main recording mode) in which an image is captured after the recording start signal arrives. The first mode and the second mode are divided into an operation of capturing or recording before the recording start instruction and an operation of recording after the instruction, and the recording mode in both modes can be changed according to the purpose. However, they may be in the same form.

【0015】本願では、仮記録開始の指示があったら、
入力された動画像情報を第1のモードにて符号化して記
録媒体に記録する。どのタイミングを持って仮記録開始
とすれば良いかは、用途に応じて設定できる。符号化さ
れた情報を記録する対象は、装置内のメインメモリやキ
ャッシュメモリ、半導体メモリ、磁気ディスク媒体、光
ディスク媒体など、さまざまな記録媒体を利用できる。
In the present application, if there is an instruction to start provisional recording,
The input moving image information is encoded in the first mode and recorded on a recording medium. The timing at which the temporary recording should be started can be set according to the application. Various recording media such as a main memory, a cache memory, a semiconductor memory, a magnetic disk medium, and an optical disk medium in the apparatus can be used for recording the encoded information.

【0016】次に、操作者、操作指示sourceから本記録
開始の指示があったら、入力された動画像情報を第2の
モードにて符号化する。この符号化は、たとえばMPEG方
式が利用できるが、他の動画像圧縮方式を用いても良
い。次に、第2のモードで符号化された画像を記録媒体
に記録する。記録媒体は、第1のモードときと同様に、
用途に応じて任意の記録媒体を利用できる。第1のモー
ドから第2のモードへの移行タイミングは、スタート識
別子として記録媒体の特定領域に記録する。これは、再
生時にどの記録データからが操作者、操作指示sourceが
意図した記録開始時点であるかを認識するためである。
Next, when there is an instruction to start the main recording from the operator or the operation instruction source, the input moving image information is encoded in the second mode. For this encoding, for example, the MPEG method can be used, but another moving image compression method may be used. Next, the image encoded in the second mode is recorded on a recording medium. The recording medium, as in the first mode,
Any recording medium can be used depending on the application. The transition timing from the first mode to the second mode is recorded in a specific area of the recording medium as a start identifier. This is for recognizing which recording data is the recording start time intended by the operator and the operation instruction source during reproduction.

【0017】[0017]

【発明の実施の形態】まず図19(1)を用いて、本実施
例における、動画像または音声画像の記録のしかたを説
明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS First, a method of recording a moving image or a sound image in this embodiment will be described with reference to FIG.

【0018】図19(1)において横軸は時間の流れを示
す。画像取り込み開始193が始まると、本実施例の動画
像記録再生装置は、入力された画像を第1のモードにて
処理する。この第1のモードの記録データは、ユーザに
より直接記録を指定された画像ではないので、ここでは
“仮記録”と称する。この処理データはバッファメモリ
に一時的に貯えられるか、あるいは、記憶媒体に格納さ
れる。次に、記録開始指示194があったら、入力された
画像を第2のモードでの処理を開始する。この第2のモ
ードの記録データは、ユーザにより直接記録を指定され
た画像であるので、ここでは“本記録”と称する。第2
のモードによる画像記録は、第1のモードでの圧縮処理
と条件を変えて圧縮処理を行うことができる。ここで、
重要なことは、MPEGのような時間的に前後の画像を
参照画像として圧縮を行う圧縮処理では、記録媒体に記
録する画像は、第2のモードに相当する部分(図の19
7)だけでなく、第1のモードの記録開始指示194の直前
の画像(図の196)をも記録媒体に記録したほうが良い
ことである。尚、196の部分は、191の後半の一部分でも
良いし、191全体を記録するようにしても良い。
In FIG. 19A, the horizontal axis represents the flow of time. When the image capturing start 193 starts, the moving image recording / reproducing apparatus of the present embodiment processes the input image in the first mode. Since the recording data in the first mode is not an image for which recording is directly specified by the user, it is referred to as “temporary recording” here. This processing data is temporarily stored in a buffer memory or stored in a storage medium. Next, when there is a recording start instruction 194, processing of the input image in the second mode is started. The recording data in the second mode is an image for which recording has been directly specified by the user, and is therefore referred to as “main recording” here. Second
In the image recording in the mode, the compression processing can be performed under different conditions from the compression processing in the first mode. here,
It is important to note that in a compression process such as MPEG in which images preceding and succeeding in time are compressed as reference images, the image recorded on the recording medium is a portion corresponding to the second mode (see FIG. 19).
It is better to record not only the image 7) but also the image (196 in the figure) immediately before the recording start instruction 194 in the first mode on the recording medium. Incidentally, the part 196 may be a part of the latter half of the part 191 or the whole part 191 may be recorded.

【0019】ディスク媒体では、テープ媒体と異なり、
媒体の任意の位置からの読み出し、書き込みが可能であ
る。この特徴を生かすと、記録したい映像の開始時刻又
はその前後の時刻である事を示す事象(記録開始誘因事
象)が発生する以前から仮記録を開始し、該事象が発生
するまで順次古い記録領域に上書きしながら記録を続
け、該事象が発生したならばその前の所定の長さの記録
領域は残したままで後続の入力画像を本記録する事が可
能となる。この仮記録の記録開始を示す画像取込開始19
3と、本記録の記録開始指示194の関係は、使用する機器
に応じて図19(2)に示すようにいろいろな状況が考え
られる。
In a disk medium, unlike a tape medium,
Reading and writing from any position on the medium are possible. Taking advantage of this feature, provisional recording is started before an event (recording start trigger event) indicating the start time of a video to be recorded or a time before or after the start time of the video to be recorded, and an old recording area is sequentially stored until the event occurs. If this event occurs, it is possible to permanently record the subsequent input image while leaving the recording area of a predetermined length before it. Start of image capture indicating start of recording of this temporary recording 19
Regarding the relationship between 3 and the recording start instruction 194 of the main recording, various situations can be considered as shown in FIG.

【0020】例えば、ディスク型記録媒体を用いたビデ
オカメラ装置の場合は、電源投入あるいはスタンバイ状
態(ex.録画のPause状態)になったら画像取り込みを開
始し、操作者による録画ボタンの押し動作を記録開始指
示194とする。また、防犯カメラの場合は、電源投入時
あるいは監視開始時に画像取り込み開始とし、なんらか
のイベントを検出した場合(ガラスの割れる音、赤外線
による人物探知、監視装置のゆれの検出)をした時点を
記録開始指示とすればよい。自動車に設置される監視カ
メラの場合は、自動車のエンジンをスタートした時点で
画像取り込みを開始し、衝撃やゆれで記録開始指示とす
ればよい。
For example, in the case of a video camera apparatus using a disk-type recording medium, when the power is turned on or a standby state (ex. Pause state of recording) is started, image capture is started, and an operator presses a recording button. The recording start instruction is 194. In the case of a security camera, image capture is started when the power is turned on or when monitoring is started, and recording is started when an event is detected (sound of breaking glass, detection of a person by infrared rays, detection of shaking of the monitoring device). It should be an instruction. In the case of a surveillance camera installed in an automobile, image capture is started when the engine of the automobile is started, and a recording start instruction may be given by impact or shaking.

【0021】このように、記録したい映像の開始時刻又
はその前後の時刻である事を示す事象(以下、「記録開
始誘因事象」と称する。)が発生する以前から記録媒体
への記録を開始し、ある事象が発生したならばその前の
所定の長さの記録領域は残したままで後続の入力画像を
記録する事が可能となる。例えば、防犯カメラの映像を
記録する場合、大きな音が発生するという事象があり、
この事象の前後10分間の映像を記録したいという用途
に対して、前記のような記録を行うことにより、大きな
音がするという事象が発生した時刻及びそれに先行する
時刻の画像を記録する事が可能となった。以下、このよ
うな記録を「事象先行記録」と称する。
As described above, the recording to the recording medium is started before the event indicating the start time of the video to be recorded or the time before or after the start time (hereinafter, referred to as “recording start trigger event”) occurs. If a certain event occurs, it is possible to record a subsequent input image while leaving a recording area of a predetermined length before that. For example, when recording video from a security camera, there is an event that loud sounds are generated,
For applications where you want to record video for 10 minutes before and after this event, it is possible to record the image of the time when the event of loud noise occurred and the time preceding it by performing the above-mentioned recording It became. Hereinafter, such a record is referred to as an “event preceding record”.

【0022】次に、図1を用いて、本実施例の動画像圧
縮機能を持つ信号処理装置のブロック図を説明する。動
作形態指示入力端子1は、記録動作形態の変更を指示す
る信号を入力する端子である。この記録動作形態変更と
は、画像取込開始193の時点、又は、記録開始指示194の
時点の動作形態の指示を取り込む。符号量制御動作期間
指示入力端子2は、MPEG圧縮における符号量制御の
動作期間の指示信号を取り込む端子である。動きベクト
ル探索期間指示入力端子4は、MPEG圧縮における動
きベクトル探索手段の動作期間を指示する信号を取り込
む端子である。
Next, a block diagram of a signal processing apparatus having a moving image compression function according to this embodiment will be described with reference to FIG. The operation mode instruction input terminal 1 is a terminal for inputting a signal for instructing a change in the recording operation mode. The change in the recording operation mode is to fetch the instruction of the operation mode at the time of the image capture start 193 or the time of the recording start instruction 194. The code amount control operation period instruction input terminal 2 is a terminal that receives an instruction signal of an operation period of the code amount control in the MPEG compression. The motion vector search period instruction input terminal 4 is a terminal for receiving a signal indicating an operation period of the motion vector search means in MPEG compression.

【0023】動画像音声入力端子5は、音声信号をアナ
ログあるいはデジタルにて入力するための端子である。
符号量指示手段6は、GOP構成指示手段7、及び画
像タイプ指示手段8は、動画像あるいは静止画像の圧縮
処理における動作形態の変更を指示するものである。記
録再生装置100は、DVDやCD-R/RWのような光ディスク装
置、磁気ディスク記憶装置、磁気テープ記録装置、半導
体メモリなどの情報記録装置である。図1では、光ディ
スク140を使う例を示し、図示しないが記録再生装置100
に記録手段、記録情報管理形態制御手段、一時蓄積手段
から記録手段への記録の失敗を検出する記録失敗検出手
段、及び記録が失敗であった場合に再度記録を行う再度
記録手段が含まれる。バッファ16は圧縮された画像情
報と音声情報を一時的に蓄積するもので、例えばRAM、
フラッシュカメモリ等の半導体メモリにより構成され
る。入力バッファ19は、入力されたディジタル映像信
号and/or ディジタル音声信号を一時的に貯えておくメ
モリである。記録期間指示入力端子18は、記憶再生装
置への情報記録の指示する。
The video / audio input terminal 5 is a terminal for inputting an audio signal in an analog or digital manner.
The code amount instructing means 6 is a GOP configuration instructing means 7 and the image type instructing means 8 is for instructing a change of an operation mode in the compression processing of a moving image or a still image. The recording / reproducing device 100 is an information recording device such as an optical disk device such as a DVD or a CD-R / RW, a magnetic disk storage device, a magnetic tape recording device, and a semiconductor memory. FIG. 1 shows an example in which the optical disc 140 is used, and although not shown, the recording / reproducing apparatus 100 is used.
Includes a recording unit, a recording information management mode control unit, a recording failure detecting unit that detects a failure in recording from the temporary storage unit to the recording unit, and a re-recording unit that performs recording again when the recording has failed. The buffer 16 temporarily stores the compressed image information and audio information.
It is composed of a semiconductor memory such as a flash memory. The input buffer 19 is a memory for temporarily storing the input digital video signal and / or digital audio signal. The recording period instruction input terminal 18 instructs recording of information to the storage / reproduction device.

【0024】次に、本実施例の信号処理装置の動作の一
例を説明する。動画像音声入力端子5から入力された動
画像は、入力バッファ19を通してGOP構成指示手段
7が定めるGOP構成となるように、画像タイプ指示手
段8から指示された画像タイプで圧縮される。入力バッ
ファ19を省略することも可能である。GOP構成指示
手段7は、GOP構成制御動作期間指示入力端子3から
の信号及び動作形態指示入力端子1からの信号に応じ
て、以下に説明する様にGOPを構成する。
Next, an example of the operation of the signal processing device of the present embodiment will be described. The moving image input from the moving image audio input terminal 5 is compressed through the input buffer 19 according to the image type specified by the image type specifying unit 8 so as to have the GOP configuration determined by the GOP configuration specifying unit 7. The input buffer 19 can be omitted. The GOP configuration instructing means 7 configures a GOP according to a signal from the GOP configuration control operation period instruction input terminal 3 and a signal from the operation mode instruction input terminal 1 as described below.

【0025】GOP構成指示手段7の動作例を示すタイ
ムチャート例を図2に示す。21はGOP構成制御動作
期間指示入力端子3から入力される信号、22は動作形
態指示入力端子1から入力される信号、23はGOP構
成指示手段7から出力されるGOP構成指示信号であ
る。本タイムチャートの例では、本記録開始事象指示が
ある前はclosed GOPとして圧縮するよう指示
がなされ、本記録開始事象指示以降はGOP構成を制限
しない構成又はGOP無し構成として圧縮される。この
ようなGOP構成となるように、画像タイプ指示手段8
にて各画像の画像タイプを指示する。
FIG. 2 shows an example of a time chart showing an operation example of the GOP configuration instructing means 7. 21 is a signal input from the GOP configuration control operation period instruction input terminal 3, 22 is a signal input from the operation mode instruction input terminal 1, and 23 is a GOP configuration instruction signal output from the GOP configuration instruction means 7. In the example of this time chart, an instruction is given to compress as a closed GOP before the main recording start event instruction is issued, and after the main recording start event instruction, compression is performed as a configuration that does not limit the GOP configuration or a configuration without a GOP. The image type indicating means 8 is provided so as to have such a GOP structure.
Indicates the image type of each image.

【0026】画像タイプ指示手段8の動作の一例につい
て、図3を用いて説明する。図3には、closed
GOP及びGOP構成をclosed GOPと制限し
ないGOPの中の画像タイプ構成例を示す。同図中、3
1は入力画像順でみた各画像の画像タイプ構成例を表し
ている。同図中、I、P、BB、BDは、それぞれI画
像タイプ、P画像タイプ、時間的に前の画像を参照画像
としないB画像タイプ、時間的に前後両方向の画像を参
照画像とするB画像タイプを表している。closed
GOPは画像1、2、3、4より構成されている。こ
のGOPの先頭のB画像は時間的に前の画像である画像
0を参照画像としないB画像であるため、closed
GOPとなり得る。closed GOPに対して
は、GOPヘッダ中にclosed GOPであること
を示すフラグが付加される。このフラグが、先頭のB画
像が前方参照を行わないB画像であることを保証してい
る。
An example of the operation of the image type indicating means 8 will be described with reference to FIG. FIG. 3 shows the closed
The following shows an example of a GOP and a picture type configuration in a GOP in which the GOP configuration is not limited to a closed GOP. In the figure, 3
Reference numeral 1 denotes an image type configuration example of each image viewed in the order of input images. In the figure, I, P, BB, and BD denote an I image type, a P image type, a B image type that does not use a temporally preceding image as a reference image, and a B image that uses temporally forward and backward images as reference images. Represents the image type. closed
The GOP is composed of images 1, 2, 3, and 4. Since the leading B image of this GOP is a B image that does not use image 0, which is the previous image in time, as a reference image, it is closed.
Can be a GOP. For the closed GOP, a flag indicating the closed GOP is added to the GOP header. This flag guarantees that the leading B image is a B image for which forward reference is not performed.

【0027】一方、GOP構造をclosed GOP
と制限しないGOPは、画像5、6、7、8より構成さ
れている。このGOPの先頭の画像5は時間的に前の画
像4を参照するため、closed GOPとならな
い。
On the other hand, the GOP structure is defined as a closed GOP
The GOP which is not limited to is composed of images 5, 6, 7, and 8. The leading image 5 of this GOP does not become a closed GOP because it refers to the temporally preceding image 4.

【0028】closed GOPにおける他の画像構
成例を図4に示す。I、P、BD等の記号は図3と同様
の意味を示す。この例では、入力画像順でclosed
GOPの先頭を構成する画像にI画像を用いている。
この例でも、2、3、4からなるGOPは前のGOPの
画像を参照画像として用いていないため、closed
GOPとなり得る。これらの例のように、本記録開始
事象指示が入力される前の画像はclosed GOP
として圧縮を行う事により、任意のGOP境界から伸長
を始めても正常に伸長する事が出来る。
FIG. 4 shows another example of the image configuration in the closed GOP. Symbols such as I, P, and BD have the same meaning as in FIG. In this example, it is closed in input image order.
The I-picture is used as the picture constituting the head of the GOP.
Also in this example, the GOP composed of 2, 3, and 4 does not use the image of the previous GOP as a reference image, and thus is closed.
Can be a GOP. As in these examples, the image before the recording start event instruction is input is a closed GOP.
By performing the compression as described above, it is possible to perform normal expansion even if expansion is started from an arbitrary GOP boundary.

【0029】GOP構成指示手段7の動作例を示す他の
タイムチャート例を図5に示す。同図中の記号は図2と
同等の意味を有する。この図では、本記録開始事象指示
以前はclosed GOPと同様に、所定のI画像か
ら伸長した場合に注目するI画像より時間的に前の画像
を参照する画像がビットストリーム中に含まれないよう
な構成となるよう画像タイプが配置されている。この途
中伸長可能期間における画像構成例を図6に示す。同図
中の記号は図3の例と同等の意味を示す。同図中途中伸
長可能構成(1)で示した構成は、構成中にB画像を含
むものの、入力画像順でI画像に先立つB画像が存在し
ない例であり、closed GOPとしてのフラグが
付加されていなくても正常に伸長することが可能であ
る。また、同図中途中伸長可能構成(2)で示した構成
は、I画像のみで構成されている例である。このような
構成では、たとえGOPヘッダがclosed GOP
を示すフラグを有していなくても、これらのI画像から
伸長を開始する事が可能である。これらの画像がclo
sed GOPであるフラグを有するGOPヘッダに先
導されたGOP構成を取る場合、図4の例と同一とな
る。以下、これらの画像構成を総称して、途中伸長可能
構成と称する。
FIG. 5 shows another example of a time chart showing an operation example of the GOP configuration instructing means 7. The symbols in the figure have the same meaning as in FIG. In this figure, as in the case of the closed GOP, before the main recording start event instruction, an image that refers to an image temporally earlier than the I image of interest when the image is expanded from a predetermined I image is not included in the bit stream. The image types are arranged so as to have a simple configuration. FIG. 6 shows an example of an image configuration in the halfway extension period. The symbols in the figure have the same meaning as in the example of FIG. The configuration shown as the configuration (1) that can be decompressed halfway in the figure is an example in which the B image is included in the configuration but the B image preceding the I image does not exist in the input image order, and a flag as a closed GOP is added. It is possible to extend normally even if it is not. In addition, the configuration shown in the drawing in the middle (2) which can be decompressed in the middle is an example in which only the I image is configured. In such a configuration, even if the GOP header is a closed GOP
It is possible to start decompression from these I images without having a flag indicating. These images are clo
In the case of taking a GOP configuration led by a GOP header having a flag that is a second GOP, the configuration is the same as the example of FIG. Hereinafter, these image configurations are collectively referred to as an intermediately expandable configuration.

【0030】GOP構成指示手段7の動作例を示す他の
タイムチャート例を図7に示す。同図中の記号は図2と
同等の意味を有する。この図では、本記録開始事象指示
前の少なくとも一部のGOPがclosed GOP構
成を持っている。このclosed GOPから伸長す
ることにより、正常に伸長することが可能である。
FIG. 7 shows another example of a time chart showing an operation example of the GOP configuration instructing means 7. The symbols in the figure have the same meaning as in FIG. In this figure, at least a part of the GOP before the recording start event instruction has a closed GOP configuration. By extending from this closed GOP, it is possible to extend normally.

【0031】GOP構成指示手段7の動作例を示す他の
タイムチャート例を図8に示す。同図中の記号は図2と
同等の意味を有する。この図では、本記録開始事象指示
前の少なくとも一部の画像構成が図5の例と同様に途中
伸長可能な画像構成を持つ構成となっている。この区間
の画像構成は図6の例と同等である。この途中伸長可能
な期間から伸長を開始することにより、正常に伸長する
ことが出来る。
FIG. 8 shows another example of a time chart showing an operation example of the GOP configuration instructing means 7. The symbols in the figure have the same meaning as in FIG. In this figure, at least a part of the image configuration before the main recording start event instruction is configured to have an image configuration that can be expanded halfway as in the example of FIG. The image configuration in this section is equivalent to the example in FIG. By starting the extension from a period in which the extension can be performed halfway, normal extension can be performed.

【0032】以上のような方式で定められた画像タイプ
構成に応じて、動きベクトル探索手段9では、圧縮しよ
うとするマクロブロックの画像と似た画像の領域を参照
画像から探索する。まず、圧縮単位構成手段10にて、
入力画像を16×16画素の矩形領域(マクロブロッ
ク)に分割する。各マクロブロックに対して、参照画像
の中から、輝度レベルが近い領域を探索して、この領域
と対象とするマクロブロックの間の空間的位置のずれ量
を動きベクトルとする。探索する範囲は、参照画像全体
とすることが望ましいが、この探索範囲では処理量が多
くなるため、通常は範囲を絞り込んだ探索を行う。絞り
込む範囲としては、画像中の物体は等速運動をしている
ことが多いことから、前回探索された動きベクトルと同
じ方向、大きさのベクトル、及び近い方向、大きさのベ
クトルの中から探索する手法(テレスコピック探索)が
取られる。以下、動きベクトルを探索する範囲の中心を
探索中心と称する。
In accordance with the image type configuration determined by the above method, the motion vector search means 9 searches the reference image for an area of an image similar to the macroblock image to be compressed. First, in the compression unit constituting means 10,
The input image is divided into rectangular areas (macroblocks) of 16 × 16 pixels. For each macroblock, an area having a similar luminance level is searched from the reference image, and a shift amount of a spatial position between this area and the target macroblock is set as a motion vector. The search range is desirably the entire reference image. However, since the amount of processing is large in this search range, a search in which the range is narrowed is usually performed. As the narrowing-down range, since the objects in the image are often moving at a constant speed, the vector is searched from the vector having the same direction and the same size as the motion vector searched last time, and the vector having the close direction and the size. (Telescopic search). Hereinafter, the center of the range for searching for a motion vector is referred to as a search center.

【0033】テレスコピック探索の概略を図9に示す。
同図において、51、52、53は順次圧縮される動画
像の各画像であり、52は51を参照画像として圧縮さ
れ、53は52を参照画像として圧縮される。画像52
中の領域55は、画像51中の領域54と似た情報を有
しており、画像53中の領域56は画像52中の領域5
5と似た情報を有している。領域55を圧縮する場合に
は、まず、画面51の中から領域55に似た領域である
54がどこにあるかを探索し、探索の結果得られた動き
ベクトル57、及び領域55と領域54の情報の差分を
用いて圧縮を行う。同様に、領域56に対しては、領域
55からの動きベクトル58、及び領域56と領域55
の情報の差分を用いて圧縮を行う。ここで、動画中の物
体は等速運動している場合が多いため、動きベクトル5
7と動きベクトル58は方向、大きさが似ている可能性
が高い。そのため、動きベクトル57が探索の結果判明
しているならば、動きベクトル58の探索を画面全体に
渡って行うのではなく、動きベクトル57と同じ方向、
大きさのベクトルの近傍領域59のみを探索するだけで
も、正しい動きベクトルを導き出す事が出来る可能性が
高い。このように探索範囲を絞り込む事により、回路規
模、消費電力を大幅に削減することが出来る。処理開始
画像では前画像の動きベクトルが無いため、ベクトル長
0を中心とする所定の範囲で行うが、後続の画像では前
回の探索結果から前記のようにして次の探索範囲を決定
し、より少ない探索範囲の探索のみで的確なベクトル探
索を行う。
FIG. 9 shows an outline of the telescopic search.
In the figure, reference numerals 51, 52, and 53 denote moving images that are sequentially compressed. 52 is compressed using 51 as a reference image, and 53 is compressed using 52 as a reference image. Image 52
The area 55 in the image has information similar to the area 54 in the image 51, and the area 56 in the image 53 is the area 5 in the image 52.
5 has similar information. In the case of compressing the area 55, first, the screen 51 is searched for where the area 54 similar to the area 55 is located, and the motion vector 57 obtained as a result of the search and the area 55 and the area 54 are searched. Compression is performed using the information difference. Similarly, for the area 56, the motion vector 58 from the area 55 and the area 56 and the area 55
Is compressed using the difference between the pieces of information. Here, since the object in the moving image often moves at a constant speed, the motion vector 5
7 and the motion vector 58 are likely to be similar in direction and size. Therefore, if the motion vector 57 is found as a result of the search, the search for the motion vector 58 is not performed over the entire screen, but in the same direction as the motion vector 57.
It is highly likely that a correct motion vector can be derived simply by searching only the neighborhood region 59 of a vector having a size. By narrowing the search range in this way, the circuit scale and power consumption can be significantly reduced. In the processing start image, since there is no motion vector of the previous image, the process is performed in a predetermined range centered on the vector length 0, but in the subsequent image, the next search range is determined from the previous search result as described above, and An accurate vector search is performed only by searching a small search range.

【0034】本実施例では、動きベクトル探索期間指示
入力4を記録処理を行う画像よりも前の画像から入力
し、先行して動きベクトル探索を開始する。本実施例で
の動きベクトル探索手段9の探索中心の推移を示した図
を図10に示す。同図中61は動きベクトル探索期間指
示入力端子4から入力される信号、22は動作形態指示
入力端子1から入力される信号、63は動きベクトル探
索手段9の探索中心である。64は動きベクトル探索開
始画像での探索中心、65は後続の画像での探索中心、
66は記録期間指示入力端子18から入力される信号を
示す。動きベクトル探索開始直後は、探索中心はベクト
ル長0であるが、以降は前回の動きベクトル探索の結果
得られたベクトルを探索中心として、その周囲の探索を
行う。本実施例によれば、動きベクトル探索を本記録開
始事象よりも先行して開始することが出来るため、本記
録開始事象時では最適な探索範囲で探索する事が可能と
なる。また、本記録開始事象に先行して仮記録を開始す
る場合でも、図10中に示したように、記録期間指示入
力端子18の信号よりも先行させて動きベクトル探索期
間指示入力端子4の信号を入力することにより、記録開
始時点では適切なベクトルを探索中心として動きベクト
ル探索を行うことが出来る。
In the present embodiment, the motion vector search period instruction input 4 is input from an image before the image on which the recording processing is to be performed, and the motion vector search is started in advance. FIG. 10 shows the transition of the search center of the motion vector search means 9 in this embodiment. In the figure, 61 is a signal input from the motion vector search period instruction input terminal 4, 22 is a signal input from the operation mode instruction input terminal 1, and 63 is a search center of the motion vector search means 9. 64 is a search center in a motion vector search start image, 65 is a search center in a subsequent image,
Reference numeral 66 denotes a signal input from the recording period instruction input terminal 18. Immediately after the start of the motion vector search, the search center has a vector length of 0. Thereafter, a search around the vector obtained as a result of the previous motion vector search is performed. According to the present embodiment, since the motion vector search can be started prior to the main recording start event, it is possible to search in the optimum search range at the main recording start event. Further, even when the temporary recording is started prior to the main recording start event, as shown in FIG. 10, the signal of the motion vector search period instruction input terminal 4 is set earlier than the signal of the recording period instruction input terminal 18. By inputting, at the start of recording, a motion vector search can be performed with an appropriate vector as a search center.

【0035】以上のような方式で算出された動きベクト
ルを用いて、動き補償手段11で動き補償を行う。動き
補償とは圧縮対象のマクロブロックと、参照画像動きベ
クトルによって指示された領域を切り出した画像との間
で、輝度レベルの差分情報を算出する処理である。さら
に、この差分情報、動きベクトル情報に対して、圧縮手
段12にて直交変換、量子化、可変長符号化などの圧縮
を行う。直交変換処理では、マクロブロックを8×8画
素単位に区切り、それぞれに2次元DCTを行う事によ
り、空間周波数成分に直交変換を行う。この処理で、自
然画像の特性より空間周波数の低い成分が振幅が大き
く、空間周波数が高い成分が振幅が小さい様な振幅分布
を持つ信号列が得られる。量子化処理では、これらの信
号列を空間周波数毎に定められた値で除算し、さらに量
子化係数と呼ばれるマクロブロック毎に指定される定数
値で除算することにより、信号の振幅を小さくする。量
子化係数の値によって圧縮率を制御する事が出来る。量
子化係数を大きくする事により、より大きい値で除算す
るため、除算後の信号は小さくなり圧縮率は向上する
が、量子化による歪みは大きくなる。量子化係数を小さ
くする事により、より小さい値で除算するため、除算後
の信号は大きいままで圧縮率は低下するが、量子化によ
る歪みは小さくなる。圧縮の結果得られたビットストリ
ームを伸長して得られる画像は、量子化の過程で空間周
波数が高い成分を中心に情報量を削減された画像である
ため、元々の入力画像とは異なる画像となっている。こ
の画像を参照画像として用いるため、圧縮器側でもビッ
トストリームを伸長した結果得られる画像を作成してお
く必要がある。そのため、局所復号手段14にてビット
ストリームを伸長した画像を作成する。局所復号手段で
参照画像を作成するために使用するデータは可変長符号
化後のビットストリームでも良いが、可変長符号化を施
す前の量子化済みデータでも良い。符号量の目標値は、
符号量指示手段6によって指示される。この符号量目標
値を算出する手法としては、前述した文献に記された方
法がある。この方法によれば、圧縮開始前にI、P、B
画像の符号量配分を仮に決めておき、1GOP圧縮する
毎に実際の圧縮の結果得られた符号量と圧縮の程度を示
す係数(量子化係数)から次のGOPの符号量配分を決
定していく。
The motion compensation means 11 performs motion compensation using the motion vector calculated in the above-described manner. The motion compensation is processing for calculating difference information of a luminance level between a macroblock to be compressed and an image obtained by cutting out an area specified by a reference image motion vector. Further, the difference information and the motion vector information are subjected to compression such as orthogonal transformation, quantization, and variable length coding by the compression means 12. In the orthogonal transform processing, a macroblock is divided into 8 × 8 pixel units, and two-dimensional DCT is performed on each of the macroblocks to perform orthogonal transform on spatial frequency components. By this processing, a signal sequence having an amplitude distribution such that a component having a low spatial frequency has a large amplitude and a component having a high spatial frequency has a small amplitude due to the characteristics of a natural image is obtained. In the quantization process, these signal sequences are divided by a value determined for each spatial frequency, and further divided by a constant value called a quantization coefficient, which is specified for each macro block, to reduce the signal amplitude. The compression ratio can be controlled by the value of the quantization coefficient. By increasing the quantization coefficient to divide by a larger value, the signal after division becomes smaller and the compression ratio improves, but the distortion due to quantization increases. By reducing the quantization coefficient to divide by a smaller value, the compression ratio decreases while the signal after division remains large, but the distortion due to quantization decreases. The image obtained by decompressing the bit stream obtained as a result of the compression is an image in which the amount of information has been reduced centering on components having a high spatial frequency during the quantization process. Has become. Since this image is used as a reference image, it is necessary for the compressor to create an image obtained as a result of expanding the bit stream. Therefore, an image in which the bit stream is expanded by the local decoding unit 14 is created. The data used to create the reference image by the local decoding means may be a bit stream after variable-length coding, or may be quantized data before variable-length coding. The target code amount is
Instructed by the code amount instructing means 6. As a method of calculating the code amount target value, there is a method described in the above-mentioned document. According to this method, I, P, B
The code amount distribution of the image is temporarily determined, and each time one GOP compression is performed, the code amount distribution of the next GOP is determined from the code amount obtained as a result of actual compression and a coefficient (quantization coefficient) indicating the degree of compression. Go.

【0036】本実施例での符号量指示手段6の動作タイ
ミング例を図11に示す。同図中、70は符号量制御動
作期間指示入力端子2から入力される信号、22は動作
形態指示入力端子1から入力される信号、71は符号量
指示手段6から出力される符号量配分である。72は符
号量制御動作期間指示直後のGOPでのI、P、B画像
の符号量配分、73は、後続のGOPでの符号量配分を
表し、66は記録期間指示入力端子18から入力される
信号を表している。符号量制御動作期間指示直後は、
I、P、B画像の符号量配分は所定の初期値で定められ
るが、その後は実際に圧縮処理を行って得られた符号量
と量子化係数から所定の演算により求められた符号量配
分で圧縮処理を行う。本実施例によれば、符号量制御を
本記録開始事象よりも先行して開始することが出来るた
め、本記録開始事象では最適な符号量配分で圧縮する事
が可能となる。また、本記録開始事象に先行して仮記録
をする場合でも、図11中に示したように、記録期間指
示入力端子18の信号よりも先行させて符号量制御を開
始しておくことにより、記録開始時点では適切な符号量
配分で圧縮処理を行う事が可能となる。
FIG. 11 shows an example of the operation timing of the code amount indicating means 6 in this embodiment. In the figure, 70 is a signal input from the code amount control operation period instruction input terminal 2, 22 is a signal input from the operation form instruction input terminal 1, and 71 is a code amount distribution output from the code amount instruction means 6. is there. Reference numeral 72 denotes the code amount distribution of the I, P, and B images in the GOP immediately after the code amount control operation period instruction, 73 denotes the code amount distribution in the subsequent GOP, and 66 denotes the input from the recording period instruction input terminal 18. Represents a signal. Immediately after the code amount control operation period instruction,
The code amount distribution of the I, P, and B images is determined by a predetermined initial value. After that, the code amount distribution obtained by a predetermined calculation from the code amount and the quantization coefficient obtained by actually performing the compression process is used. Perform compression processing. According to the present embodiment, since the code amount control can be started prior to the main recording start event, it is possible to perform compression with an optimal code amount distribution in the main recording start event. Even in the case where the temporary recording is performed prior to the main recording start event, as shown in FIG. 11, by starting the code amount control before the signal of the recording period instruction input terminal 18, At the start of recording, compression processing can be performed with an appropriate code amount distribution.

【0037】本実施例での符号量指示手段6の他の動作
例を図12に示す。同図中、70は符号量制御動作期間
指示入力端子2から入力される信号、22は動作形態指
示入力端子1から入力される信号、74は符号量指示手
段から出力される符号量が示す圧縮率である。75は本
記録開始事象入力前の圧縮率、76は本記録開始事象入
力後の圧縮率を示す。本例では、本記録開始事象入力前
は高い圧縮率で圧縮処理を行い、本記録開始事象入力後
は所定の圧縮率で圧縮処理を行う例である。符号量指示
手段6は、このように本記録開始事象入力前後の圧縮率
が変化するように画像毎の符号量を指示する。その結
果、本記録開始事象入力前は多少画質が劣化してもかま
わないがより長い期間のデータを保存しておく必要があ
り、本記録開始事象入力後は劣化の少ない圧縮方法で圧
縮処理を行う必要がある場合に、最適な圧縮率で圧縮処
理を行うことが出来る。ここで、本記録開始事象入力前
の記録画像は圧縮率が大きいため、MPEG1、H.2
61規格等のより圧縮率が高い条件で圧縮処理を行う手
法を用いることにより、圧縮率に応じた最適な圧縮処理
を行うことも可能である。
FIG. 12 shows another operation example of the code amount designating means 6 in this embodiment. In the figure, 70 is a signal input from the code amount control operation period instruction input terminal 2, 22 is a signal input from the operation form instruction input terminal 1, and 74 is a compression indicated by the code amount output from the code amount instruction means. Rate. Reference numeral 75 denotes a compression ratio before the main recording start event is input, and reference numeral 76 denotes a compression ratio after the main recording start event is input. In this example, the compression process is performed at a high compression ratio before the main recording start event is input, and the compression process is performed at a predetermined compression ratio after the main recording start event is input. The code amount instructing means 6 instructs the code amount for each image such that the compression ratio before and after the input of the main recording start event changes in this way. As a result, the image quality may be slightly degraded before the main recording start event is input, but it is necessary to store data for a longer period. When it is necessary to perform the compression processing, the compression processing can be performed at an optimal compression ratio. Here, the recorded image before the input of the main recording start event has a large compression ratio, and thus is recorded in MPEG1, H.264 or MPEG. 2
By using a method of performing compression processing under a condition having a higher compression rate, such as the 61 standard, it is also possible to perform optimal compression processing according to the compression rate.

【0038】本実施例での符号量指示手段6の他の動作
例を図13に示す。同図中、70は符号量制御動作期間
指示入力端子2から入力される信号、22は動作形態指
示入力端子1から入力される信号、77は圧縮手段12
で圧縮対象となる画像の性質であり、その中で、78は
本記録開始事象入力前の圧縮対象となる画像の性質、7
9は本記録開始事象入力後の圧縮対象となる画像の性質
を表している。本例は、本記録開始事象入力前は時間的
に変化の大きい画像のみを静止画として圧縮対象とし、
その他の画像は圧縮せずに破棄し、本記録開始事象入力
後は全ての画像を圧縮対象としている。本記録開始事象
入力前は大まかな動きの傾向さえ記録されればよいよう
な利用形態では、このように本記録開始事象入力前後に
おいて圧縮対象となる画像の選択方法を変えることによ
り、最適な圧縮を行うことが出来る。ここで、本記録開
始事象入力前の記録画像は静止画として扱うことも可能
であるから、JPEG等の静止画圧縮手法を用いて圧縮
することにより、1枚1枚の画像の取り扱いが簡単にな
る。
FIG. 13 shows another example of the operation of the code amount indicating means 6 in this embodiment. In the figure, 70 is a signal input from the code amount control operation period instruction input terminal 2, 22 is a signal input from the operation mode instruction input terminal 1, 77 is a compression unit 12
Is the property of the image to be compressed, and 78 is the property of the image to be compressed before inputting the main recording start event;
Reference numeral 9 denotes a property of an image to be compressed after the main recording start event is input. In this example, before inputting the main recording start event, only images having a large temporal change are compressed as still images,
The other images are discarded without being compressed, and all the images are to be compressed after the main recording start event is input. In a usage mode in which only a general trend of movement is required to be recorded before the main recording start event is input, by changing the method of selecting an image to be compressed before and after the main recording start event is input, optimal compression is performed. Can be performed. Here, since the recorded image before the input of the main recording start event can be handled as a still image, it is possible to easily handle each image by compressing using a still image compression method such as JPEG. Become.

【0039】以上のようにして生成されたビットストリ
ームは、バッファ16にてタイミング調整が行われ、出
力端子13から出力、又は記録再生装置100で記録さ
れる。記録期間は、記録期間指示入力端子18より指示
される。
The bit stream generated as described above is subjected to timing adjustment in the buffer 16 and output from the output terminal 13 or recorded by the recording / reproducing apparatus 100. The recording period is instructed from the recording period instruction input terminal 18.

【0040】一方、動画像音声入力端子5から入力され
た音声信号は、音声圧縮手段17にてMPEGの定める
音声圧縮を行い、画像信号と同様にバッファ16にてタ
イミング調整が行われ、出力端子13から出力、又は記
録再生装置100で記録される。この音声圧縮において
も、図12で説明したように本記録開始事象入力前後の
圧縮率が変化するように制御する事も可能であり、動画
像圧縮において図12で説明した効果と同等の効果を得
る事が出来る。
On the other hand, the audio signal input from the moving image audio input terminal 5 is subjected to audio compression defined by MPEG by the audio compression means 17, and the timing is adjusted by the buffer 16 like the image signal. 13 or recorded by the recording / reproducing apparatus 100. Also in this audio compression, it is possible to control so that the compression ratio before and after the main recording start event is input is changed as described in FIG. 12, and the same effect as the effect described in FIG. You can get it.

【0041】記録再生装置100では、本記録開始事象
指示入力1に応じて、記録領域を分けて記録する。図1
4は、記録再生装置100の記録形態を示した一例であ
る。光ディスク記録媒体140は、内周から外周にわた
って複数の記録領域を有し、そこには仮記録情報を記録
するための第1の記録section 141と本記録情報を記録す
るための第2の記録section 142が割り当てられている。
81はこれら、141と142の詳細を説明した図であり、記
録領域名をA〜C、Zで表したものであり、第1の記録s
ection 141にはA,B,Cの3つの領域(データブロック or
セクター)、第2の記録section 142には連続した一つ
の長い領域Zが含まれる。91〜96はこれらの領域の
記録過程を時系列的に表したもので、1〜5で示された
本記録開始事象前のデータ、及び6で示した本記録開始
事象以後のデータを順に所定の領域に記録していく例で
ある。同図中、A〜Cは本記録開始事象前のビットスト
リームを記録する領域であり、Zは本記録開始事象以後
のビットストリームを記録する領域である。これらの領
域の大きさは任意である。同図中、95で指示された状
態が本記録開始事象が指示された時点でのデータ配置例
である。本記録開始事象が入力されるまでは、データは
A、B、Cの領域に、巡回する形で順次書き込まれる。
その際、A、B、Cの各領域は、個別に書き換え可能で
あるように制御され、それぞれにGOP単位など伸長開
始可能単位毎に記録されている。本記録開始事象指示が
入力された以降は、領域Zにビットストリームを書き込
む。ビットストリームはGOP単位である必要は無く、
また領域ZはA〜CのようにGOP単位などで書き換え
可能である必要は無い。このような記録を行った結果、
媒体上には、3〜6のビットストリームが残される。こ
のストリームは、本記録開始事象前のストリーム3〜5
と本記録開始事象後のストリーム6を有し、それらは連
続した動画像を圧縮した結果得られている。
In the recording / reproducing apparatus 100, the recording area is divided and recorded according to the recording start event instruction input 1. FIG.
4 is an example showing a recording mode of the recording / reproducing apparatus 100. The optical disc recording medium 140 has a plurality of recording areas from the inner circumference to the outer circumference, in which a first recording section 141 for recording temporary recording information and a second recording section for recording main recording information. 142 has been assigned.
81 is a diagram for explaining the details of these 141 and 142, in which recording area names are represented by A to C and Z, and the first recording s
Section 141 contains three areas A, B, and C (data blocks or
Sector), the second recording section 142 includes one continuous long area Z. Reference numerals 91 to 96 depict the recording process of these areas in a time series. The data before the main recording start event shown by 1 to 5 and the data after the main recording start event shown by 6 are sequentially specified. This is an example in which recording is performed in the area of FIG. In the figure, A to C are areas for recording the bit stream before the main recording start event, and Z is an area for recording the bit stream after the main recording start event. The size of these regions is arbitrary. In the figure, the state designated by 95 is an example of data arrangement at the time when the main recording start event is designated. Until this recording start event is input, data is sequentially written in the areas A, B, and C in a circular manner.
At this time, each of the areas A, B, and C is controlled so as to be individually rewritable, and each area is recorded for each decompression startable unit such as a GOP unit. After the recording start event instruction is input, the bit stream is written to the area Z. The bit stream need not be in GOP units,
The area Z does not need to be rewritable in GOP units or the like as in A to C. As a result of making such a record,
Three to six bit streams are left on the medium. These streams are streams 3 to 5 before the main recording start event.
And a stream 6 after the main recording start event, which are obtained as a result of compressing a continuous moving image.

【0042】ディスク媒体には、媒体に格納してあるデ
ータの配置を示す情報が記録される。この情報は、たと
えばFAT(File Allocation Table)と呼ばれるものであ
り、データの名称、性質、アクセス権などが、媒体上の
定められた位置、たとえば図14中143に記録される。F
AT143には、仮記録領域、本記録領域、仮記録の中の上
書き領域、記録順序などの情報が含まれ、記録時には、
これから記録する領域の決定、再生時には、再生順序の
決定に用いることが可能である。
Information indicating the arrangement of data stored on the disk medium is recorded on the disk medium. This information is called, for example, a FAT (File Allocation Table), and the name, nature, access right, and the like of the data are recorded at a predetermined position on the medium, for example, 143 in FIG. F
AT143 includes information such as a temporary recording area, a main recording area, an overwrite area in the temporary recording, and a recording order.
It can be used for determining the area to be recorded and for determining the order of reproduction at the time of reproduction.

【0043】記録再生装置100の記録形態を示した他
の例を図15に示す。83は記録領域名をA〜Zで表し
ている。この記録領域数は任意でよい。101〜106
は記録過程を時系列的に表した図であり、1〜5で示さ
れた本記録開始事象前のビットストリーム、及び6で示
した本記録開始事象後のビットストリームを順に所定の
領域に記録していく例である。同図中、105で指示さ
れた状態が本記録開始事象が指示された時点でのデータ
配置例である。本例では、本記録開始事象前後のストリ
ームを記録する領域を分離すること無く、A〜Zの領域
に順次書き込む。本記録開始事象が発生する前のビット
ストリーム1〜5のうち、1,2は本記録開始事象が発
生するよりも所定時間以上以前の画像を圧縮したビット
ストリームで保存の必要が無いビットストリーム、3〜
5は保存の必要があるビットストリームとする。本記録
開始事象後のビットストリームは、本記録開始事象発生
時の空き領域であるZおよび消去可能領域であるA,B
に記録される。このような記録を行った結果、媒体上に
は、3〜6のビットストリームが残される。このストリ
ームは、本記録開始事象前のストリーム3〜5と本記録
開始事象後のストリーム6を有し、それらは連続した動
画像を圧縮した結果得られている。A〜Zは、GOP単
位で書き換え可能である。これらの情報は、FAT143に付
加情報として記録される。記録時には、領域A,B,Cは仮
記録領域であることがFAT143に記録され、領域Zが本記
録領域であることが記録される。さらに、データの再生
順序に関する情報も含まれ、たとえば、図14の96の状態
では、再生順序が、領域C,A,B,Zの順である旨の情報がF
AT143に記録される。
FIG. 15 shows another example of the recording mode of the recording / reproducing apparatus 100. Reference numeral 83 denotes recording area names A to Z. The number of recording areas may be arbitrary. 101-106
Is a diagram showing the recording process in chronological order. The bit stream before the main recording start event indicated by 1 to 5 and the bit stream after the main recording start event indicated by 6 are sequentially recorded in a predetermined area. It is an example of doing. In the figure, the state designated at 105 is an example of data arrangement at the time when the main recording start event is designated. In the present example, the streams before and after the main recording start event are sequentially written into the areas A to Z without separating the areas for recording. Of the bit streams 1 to 5 before the occurrence of the main recording start event, 1 and 2 are bit streams that do not need to be stored as bit streams obtained by compressing an image at least a predetermined time before the occurrence of the main recording start event, 3 ~
5 is a bit stream that needs to be stored. The bit stream after the main recording start event includes Z, which is an empty area at the time of the main recording start event, and A, B, which are erasable areas.
Will be recorded. As a result of performing such recording, 3 to 6 bit streams are left on the medium. This stream has streams 3 to 5 before the main recording start event and a stream 6 after the main recording start event, and they are obtained as a result of compressing a continuous moving image. AZ can be rewritten in GOP units. These pieces of information are recorded in the FAT 143 as additional information. At the time of recording, the fact that the areas A, B, and C are temporary recording areas is recorded in the FAT 143, and that the area Z is the main recording area. Further, information on the data reproduction order is also included. For example, in the state of 96 in FIG. 14, information indicating that the reproduction order is the order of the regions C, A, B, and Z is F.
Recorded in AT143.

【0044】記録再生装置100の記録形態を示した他
の例を図16に示す。84は記録領域名をA〜C、Zで
表し、111〜118は記録過程を時系列的に表し、1
〜5で示された本記録開始事象前のビットストリーム、
及び6〜7で示した本記録開始事象後のビットストリー
ム、及びそれ以降のデータを順に所定の領域に記録して
いく例である。同図中、115で指示された状態が本記
録開始事象が指示された時点でのデータ配置例である。
A〜Cはバッファ16内に構成されている記録領域であ
り、本記録開始事象が指示された時点では、それ前のビ
ットストリームが蓄積されている。領域Zは記録再生装
置100上に構成されている記録領域であり、本記録開
始事象が指示された以降に、バッファ16から転送され
るデータを逐次記録する。その結果、本記録開始事象が
指示される前のビットストリーム1〜5が順次バッファ
に蓄積され、本記録開始事象が指示された時点ではビッ
トストリーム3〜5がバッファに残り、これらのビット
ストリーム3〜5及び6〜7が記録媒体に記録される。
バッファ16から記録再生装置100への転送速度が十
分早い場合は、記録再生装置100での記録の成否を判
定し、記録に失敗したならば再び同じビットストリーム
をバッファ16から記録再生装置100に記録し、記録
に成功したならばバッファ16中の該当するビットスト
リームを格納した領域を新しいビットストリームで上書
きするような処理も可能である。このような処理を行う
事により、記録再生装置100でより確実に記録を行う
事が出来る。この例では、FAT143には、仮記録期間は
A、B、C、は仮記録であることと、再生順序情報が記録
され、本記録時には、領域Zが本記録領域である事が記
録される。
FIG. 16 shows another example of the recording mode of the recording / reproducing apparatus 100. Reference numeral 84 denotes recording area names represented by A to C and Z, and 111 to 118 represent recording processes in chronological order.
A bit stream before the main recording start event indicated by 5;
In this example, the bit stream after the main recording start event shown in FIGS. 6 and 7 and the subsequent data are sequentially recorded in a predetermined area. In the figure, the state designated at 115 is an example of data arrangement at the time when the main recording start event is designated.
A to C are recording areas configured in the buffer 16, and at the time when this recording start event is instructed, the previous bit stream is accumulated. An area Z is a recording area configured on the recording / reproducing apparatus 100, and sequentially records data transferred from the buffer 16 after the main recording start event is instructed. As a result, the bit streams 1 to 5 before the main recording start event is instructed are sequentially accumulated in the buffer, and at the time when the main recording start event is instructed, the bit streams 3 to 5 remain in the buffer. To 5 and 6 to 7 are recorded on the recording medium.
If the transfer speed from the buffer 16 to the recording / reproducing apparatus 100 is sufficiently high, it is determined whether or not the recording in the recording / reproducing apparatus 100 is successful. If the recording fails, the same bit stream is recorded from the buffer 16 to the recording / reproducing apparatus 100 again. If the recording is successful, it is also possible to overwrite the area of the buffer 16 in which the corresponding bit stream is stored with a new bit stream. By performing such processing, recording can be performed more reliably by the recording / reproducing apparatus 100. In this example, the provisional recording period is
A, B, and C are provisional recordings, and reproduction order information is recorded. At the time of main recording, it is recorded that the area Z is a main recording area.

【0045】以上の説明では、図16中のバッファを、
図1中のバッファ16内に設ける例を説明したが、図1
中の入力バッファ19を図16中のバッファとし、図1
6中のバッファには圧縮前の動画像を巡回する形で順次
書き込み、古いデータを順次圧縮して記録再生装置10
0に送り、本記録開始事象指示が入力された以降のデー
タを記録再生装置100に記録することによっても、同
等の効果を得る事が出来る。
In the above description, the buffer in FIG.
Although the example in which it is provided in the buffer 16 in FIG. 1 has been described, FIG.
The input buffer 19 in FIG.
6 is sequentially written in a buffer in a form of moving images before compression in a cyclic manner, and old data is sequentially compressed to record and reproduce data.
The same effect can also be obtained by recording the data after the recording start event instruction is input to the recording / reproducing apparatus 100 and sending the data to the recording / reproducing apparatus 100.

【0046】ここで、本実施例における動画像の記録手
順を、図20のフローチャートで説明する。
Here, the procedure for recording a moving image in this embodiment will be described with reference to the flowchart of FIG.

【0047】まず、図19(1)で説明した画像取込開始1
93があると第1のモード(仮記録モード)での画像の記
録条件を設定する。設定する内容は、符号量、GOP構
成、画像タイプ指示、動きベクトル探索、圧縮単位構成
などである。この際に画像を一時バッファに貯えるか、
光ディスク等の媒体に記録するかも設定する(ステップ
201)。次に、設定された条件で入力画像をMPEG符号
化し、設定された媒体に記録するとともに、この記録が
仮記録である事をFAT143に記録する(ステップ20
2)。次に、図19(1)で説明した記録開始指示194があ
ったかどうかを判断し、なければステップ202の処理
を繰り返す(ステップ203)。記録開始指示194があ
ったら、第2の記録条件を設定する(ステップ20
4)。設定する内容は第1のモードの場合と基本的に同
じである。そして、設定された条件で入力画像をMPEG符
号化し、光ディスク等の媒体に記録するとともに、この
記録が本記録である事をFAT143に記録する(ステップ2
05)。そして、記録終了指示195があるまでステップ2
05を繰り返す(ステップ206)。なお、たとえば図3
の入力画像#3のように、BD画像を記録中に記録終了指
示195があったら、その次の#4のP画像まで録画してか
ら終了させるので、必ずしも記録終了指示195があった
ら直ちに録画動作が終了するわけではない。
First, image capture start 1 described with reference to FIG.
If there is 93, the recording condition of the image in the first mode (temporary recording mode) is set. The contents to be set include a code amount, a GOP configuration, an image type instruction, a motion vector search, a compression unit configuration, and the like. At this time, store the image in a temporary buffer,
It is also set whether to record on a medium such as an optical disk (step 201). Next, the input image is MPEG-encoded under the set conditions and recorded on the set medium, and the fact that this recording is temporary recording is recorded in the FAT 143 (step 20).
2). Next, it is determined whether or not the recording start instruction 194 described with reference to FIG. 19A has been issued, and if not, the process of step 202 is repeated (step 203). If there is a recording start instruction 194, a second recording condition is set (step 20).
4). The contents to be set are basically the same as those in the first mode. Then, the input image is MPEG-encoded under the set conditions and recorded on a medium such as an optical disk, and the fact that this recording is a real recording is recorded on the FAT 143 (step 2).
05). Step 2 until there is a recording end instruction 195
05 is repeated (step 206). For example, FIG.
As in the case of the input image # 3, if the recording end instruction 195 is received during the recording of the BD image, the recording is completed after the recording to the next P image of # 4. The operation does not end.

【0048】次に、図21を用いて記録媒体に記録され
た情報動画像の再生手順を説明する。ここでは、光記録
媒体に第1のモード及び第2のモードの両方の画像が記
録されているものとする。まず、 FAT143を読み取り、
第1のモードで記録された領域と第2のモードで記録さ
れた領域を認識する。次に、認識された情報を元に第1
のモードで記録された画像を読み取る(ステップ21
0)。これは、第2のモードの開始時点の画像圧縮に第
1のモードで記録された画像を参照するためである。読
み取られた画像は、デコードされる(ステップ21
1)。この際デコードされた画像は、第2のモードで記
録された画像の参照用なので、表示装置に表示する必要
はない(もちろん、ユーザの要求に応じて表示すること
も可能である)。次に、第2のモードの開始点を示す記
録開始指示194が検出されたかどうかを判断し、検出さ
れなかったらステップ210に戻る。検出されたら第2
のモードの条件下で記録媒体から所定のデータを読み取
る(ステップ213)。読み取られた画像は、デコード
され(ステップ214)、CRTディスプレイ等の表示装
置に表示される(ステップ215)。このようにして、
画像が記録されている最後まで再生するか、あるいは、
ユーザからの再生停止指示があったら再生を停止する
(ステップ216)。
Next, a procedure for reproducing an information moving image recorded on a recording medium will be described with reference to FIG. Here, it is assumed that images in both the first mode and the second mode are recorded on the optical recording medium. First, read FAT143,
The area recorded in the first mode and the area recorded in the second mode are recognized. Next, based on the recognized information, the first
(Step 21)
0). This is because the image recorded in the first mode is referred to for the image compression at the start of the second mode. The read image is decoded (step 21).
1). At this time, the decoded image is for reference to the image recorded in the second mode, and therefore does not need to be displayed on the display device (of course, it can be displayed in response to a user request). Next, it is determined whether the recording start instruction 194 indicating the start point of the second mode has been detected, and if not detected, the process returns to step 210. Second if detected
The predetermined data is read from the recording medium under the conditions of the mode (step 213). The read image is decoded (step 214) and displayed on a display device such as a CRT display (step 215). In this way,
Play back to the end of the recorded image, or
If there is a reproduction stop instruction from the user, the reproduction is stopped (step 216).

【0049】以上説明したように、本実施例のような記
録を行う結果、本記録開始事象前後のビットストリーム
を記録媒体上に残す事が可能となる。
As described above, as a result of performing recording as in this embodiment, it is possible to leave the bit stream before and after the main recording start event on the recording medium.

【0050】次に、信号処理装置の応用例として、撮像
装置を説明する。この撮像装置は、例えばHitachi M2 m
ultimedia recorder model MP-EG10W (製品名:日立製
作所)であり、図18に示すように、CCD(電荷結合
素子)221、AD222、前処理器223、ビデオ符
号器231、システム多重化符号器241、蓄積装置2
51、システム多重化復号器261、ビデオ復号器27
1、後処理器281、DA291等を具備している。シ
ステム多重化符号器241は、ビデオソース符号器24
2、ビデオ多重化符号器243、バッファ244からな
り、また、システム多重化復号器271は、ビデオソー
ス復号器272、ビデオ多重化復号器273、バッファ
274からなる。CCD221で得られた画像データ
は、AD222でA/D変換され、前処理器223で輝
度(Y)、色差(Cr、Cb)からなるフォーマットに
変換され、ビデオ符号器231でデータ量の圧縮処理が
なされ、システム多重化符号器241で再生時の同期を
とれるよう多重化され、蓄積装置251に蓄積される。
再生時に、蓄積装置251に蓄積された画像データは、
システム多重化復号器261で同期をとりながら分離さ
れ、ビデオ復号器271でデータ量を戻し、後処理器2
81で出力手段の仕様に変化され、DA291でD/A
変換されて、画像データとなる。この撮像装置も記録手
段を備えており、本記録指示手段等を有することによ
り、先に説明した信号処理装置と同様な効果を奏するこ
とが可能である。
Next, an imaging device will be described as an application example of the signal processing device. This imaging device is, for example, Hitachi M2 m
ultimedia recorder model MP-EG10W (product name: Hitachi, Ltd.), as shown in FIG. 18, CCD (charge coupled device) 221, AD222, preprocessor 223, video encoder 231, system multiplex encoder 241, Storage device 2
51, system multiplex decoder 261, video decoder 27
1. It is provided with a post-processor 281 and a DA 291. The system multiplexing encoder 241 includes a video source encoder 24.
2. It comprises a video multiplex encoder 243 and a buffer 244, and the system multiplex decoder 271 comprises a video source decoder 272, a video multiplex decoder 273 and a buffer 274. The image data obtained by the CCD 221 is A / D converted by the AD 222, converted into a format including luminance (Y) and color difference (Cr, Cb) by the preprocessor 223, and compressed by the video encoder 231 to reduce the data amount. The data is multiplexed by the system multiplexing encoder 241 so as to be synchronized at the time of reproduction, and is stored in the storage device 251.
At the time of reproduction, the image data stored in the storage device 251 is:
The data is separated while being synchronized by the system multiplexing decoder 261, the data amount is returned by the video decoder 271,
At 81, it is changed to the specification of the output means, and at DA291, D / A
It is converted into image data. This imaging apparatus also includes a recording unit, and by having the recording instruction unit and the like, it is possible to achieve the same effects as those of the signal processing device described above.

【0051】以上説明したように、本実施例の信号処理
装置及び撮像装置によれば、MPEG2では、clos
ed GOPと呼ばれるGOP構成があり、この構成
は、GOPに入力画像順でI画像に先行するB画像が含
まれる場合でも、このB画像が時間的に前の画像を参照
すること無く圧縮されている事を特徴としているGOP
構成であり、そして、GOPヘッダには、closed
GOPであることを示すフラグが付加されるので、本
記録開始事象を動作形態指示として、その前後において
GOP構成を変える、すなわち、圧縮において画像間の
相関を利用する形態を変える事により、事象に先行する
記録はclosed GOP構成であり、任意のGOP
境界で切断したビットストリームを作成しても、時間的
に前の画像を参照していないビットストリームを構成す
る事が可能である。
As described above, according to the signal processing device and the image pickup device of the present embodiment, the MPEG2
There is a GOP structure called an ed GOP. In this structure, even when a GOP includes a B image preceding an I image in the order of an input image, the B image is compressed without referring to a temporally previous image. GOP that is characterized by
And the GOP header contains closed
Since a flag indicating a GOP is added, the recording start event is set as an operation mode instruction, and the GOP configuration is changed before and after the recording start event. The preceding record is a closed GOP configuration, and any GOP
Even if a bit stream cut at the boundary is created, it is possible to configure a bit stream that does not refer to a temporally previous image.

【0052】また、このようにして作成されたビットス
トリームを、本記録開始事象の前後で記録形態を変え
て、さらに記録情報管理形態を変えながら、記録媒体に
記録することにより、事象先行記録を実現する、具体的
には、本記録開始事象前のビットストリームは、GOP
が独立に書き換え可能な記録単位の大きさとなる記録形
態となる様に動作形態指示手段による指示を行って記録
媒体に記録し、本記録開始事象後のビットストリームは
より大きな単位で書き換え可能な記録形態となる様に動
作形態指示手段による指示を行って記録媒体に記録する
ことができる。
The bit stream created in this way is recorded on a recording medium by changing the recording mode before and after the main recording start event and further changing the recording information management mode, so that the event preceding recording can be performed. To be specific, the bit stream before the recording start event is a GOP
The recording is performed on the recording medium by giving an instruction by the operation form instruction means so that the recording form becomes a recording form having a size of an independently rewritable recording unit, and the bit stream after the main recording start event is rewritable recording in a larger unit. An instruction can be given by the operation form instruction means so as to form a recording medium on the recording medium.

【0053】そして、このような記録形態で本記録開始
事象前のビットストリームを逐次記録し、記録領域が不
足するならば必要に応じて古い記録データを上書きし、
また、本記録開始事象が生じたならば、以降のビットス
トリームを媒体に記録し、その際、事象前のビットスト
リームを記録してある領域に対しては、事象より所定の
期間以前のビットストリームは新しいビットストリーム
で上書き可能となるように、記録情報管理形態制御手段
によって制御を行うことにより、本記録開始事象よりも
所定期間先行した時刻からの画像からなるビットストリ
ームを得ることが出来る。
Then, the bit stream before the main recording start event is sequentially recorded in such a recording mode, and if the recording area is insufficient, the old recording data is overwritten as necessary.
If this recording start event occurs, the subsequent bit stream is recorded on the medium. At this time, the bit stream before the event for a predetermined period is recorded in the area where the bit stream before the event is recorded. By performing control by the recording information management mode control means so that overwriting can be performed with a new bit stream, it is possible to obtain a bit stream composed of images from a time preceding a main recording start event by a predetermined period.

【0054】さらに、事象に先行する画像、音声の圧縮
形態を変えることにより、様々な用途に応じた圧縮を行
うことが可能となる。例えば、事象に先行する画像、音
声は圧縮による歪みが多少多くても問題の無い用途で
は、事象に先行する画像、音声に対する圧縮は高い圧縮
率で圧縮を行い、事象が発生した後の画像、音声に対す
る圧縮は低い圧縮率で行う事により、記録媒体の大きさ
が限られている場合でもより長時間の事象先行記録を行
う事が可能となる。または、事象に先行する画像は、変
化の大きい画像だけを選択して静止画として圧縮して記
録し、事象が発生した後の画像、音声は動画像として全
て圧縮して記録する事により、さらに長時間の事象先行
記録を行う事が可能となる。
Further, by changing the compression mode of the image and the sound prior to the event, it is possible to perform compression according to various uses. For example, in applications where there is no problem even if the image and sound prior to the event have a little distortion due to compression, the image and sound prior to the event are compressed at a high compression rate, and the image after the event occurs, By performing compression on audio at a low compression rate, even when the size of the recording medium is limited, it is possible to perform event-precedence recording for a longer time. Alternatively, for the image preceding the event, only the image with a large change is selected and compressed and recorded as a still image, and the image and sound after the event has occurred are all compressed and recorded as a moving image. It is possible to perform long-term event preceding recording.

【0055】そして、本記録開始事象に先行して圧縮処
理を開始する事には、次のような利点もある。前記文献
2にある従来手法では、I、P、B画像の符号量配分の
初期値として固定値を採用しているため、入力動画像に
よっては必ずしも最適な符号量配分とはなっていない。
しかし、記録開始に先行してI、P、B画像の符号量配
分を算出するための入力画像特徴抽出を始めておくこと
により、記録開始時であっても、入力画像の特徴に応じ
た最適な符号量配分で圧縮することが可能となる。
Starting the compression processing prior to the recording start event also has the following advantages. In the conventional method described in Document 2, since a fixed value is adopted as an initial value of the code amount distribution of the I, P, and B images, the optimum code amount distribution is not always optimum depending on the input moving image.
However, by starting the input image feature extraction for calculating the code amount distribution of the I, P, and B images prior to the start of the recording, even at the start of the recording, the optimum image feature corresponding to the characteristics of the input image is obtained. Compression can be performed by code amount distribution.

【0056】また、動きベクトル探索についても同様な
処理を行うことが出来る。動きベクトル探索において、
全方向の動きを検証するのではなく、前画像での動きの
方向から次の画像での動きの方向を予測し、その方向周
辺だけを探索し、回路規模や消費電力を削減する手法
(テレスコピック探索)がある。この手法も、やはり圧
縮開始時には前の動きベクトルが無いため探索方向を定
める事が出来ず、動き量0の周辺を探索する事となる。
しかし、圧縮開始に先行して動きベクトル探索を開始し
ておくことにより、圧縮開始画像から適切な探索範囲を
設定することが出来る。
The same processing can be performed for the motion vector search. In the motion vector search,
Rather than verifying motion in all directions, a technique that predicts the direction of motion in the next image based on the direction of motion in the previous image, searches only around that direction, and reduces circuit size and power consumption (telescopic Search). Also in this method, the search direction cannot be determined because there is no previous motion vector at the start of compression, and a search around the motion amount 0 is performed.
However, by starting the motion vector search prior to the start of compression, an appropriate search range can be set from the compression start image.

【図面の簡単な説明】[Brief description of the drawings]

【図1】実施例における動画像圧縮機能を持つ信号処理
装置のブロック図である。
FIG. 1 is a block diagram of a signal processing device having a moving image compression function in an embodiment.

【図2】実施例におけるGOP構成指示手段の動作例を
示すタイムチャートである。
FIG. 2 is a time chart illustrating an operation example of a GOP configuration instruction unit in the embodiment.

【図3】実施例におけるclosed GOP等の画像
タイプ構成例である。
FIG. 3 is an example of an image type configuration such as a closed GOP in the embodiment.

【図4】実施例におけるclosed GOPにおける
他の画像構成例である。
FIG. 4 is another image configuration example in a closed GOP in the embodiment.

【図5】実施例におけるGOP構成指示手段の動作例を
示す他のタイムチャートである。
FIG. 5 is another time chart showing an operation example of the GOP configuration instructing means in the embodiment.

【図6】実施例における画像構成例である。FIG. 6 is an example of an image configuration in the embodiment.

【図7】実施例におけるGOP構成指示手段の動作例を
示す他のタイムチャートである。
FIG. 7 is another time chart showing an operation example of the GOP configuration instructing means in the embodiment.

【図8】実施例におけるGOP構成指示手段の動作例を
示す他のタイムチャートである。
FIG. 8 is another time chart showing an operation example of the GOP configuration instructing means in the embodiment.

【図9】テレスコピック探索の概略説明図である。FIG. 9 is a schematic explanatory diagram of a telescopic search.

【図10】実施例における動きベクトル探索手段の探索
中心の推移例の説明図である。
FIG. 10 is an explanatory diagram of an example of transition of a search center of a motion vector search unit in the embodiment.

【図11】実施例における符号量指示手段が指示する画
像タイプ毎の符号量配分の推移例の説明図である。
FIG. 11 is an explanatory diagram of a transition example of code amount distribution for each image type instructed by a code amount instructing unit in the embodiment.

【図12】実施例における符号量指示手段の他の動作例
である圧縮率の推移例の説明図である。
FIG. 12 is an explanatory diagram of a transition example of a compression ratio, which is another operation example of the code amount instruction unit in the embodiment.

【図13】実施例における圧縮手段の圧縮対象画像の推
移例の説明図である。
FIG. 13 is an explanatory diagram of a transition example of a compression target image of a compression unit in the embodiment.

【図14】実施例における記録媒体の記録形態を示した
一例の説明図である。
FIG. 14 is an explanatory diagram of an example showing a recording form of a recording medium in the embodiment.

【図15】実施例における記録媒体の記録形態を示した
他の例の説明図である。
FIG. 15 is an explanatory diagram of another example showing a recording form of a recording medium in the embodiment.

【図16】実施例における記録媒体及びバッファの記録
形態を示した他の例の説明図である。
FIG. 16 is an explanatory diagram of another example showing the recording form of the recording medium and the buffer in the embodiment.

【図17】GOPの中の画像タイプ構成例の説明図であ
る。
FIG. 17 is an explanatory diagram of a configuration example of an image type in a GOP.

【図18】撮像装置の一例のMPEGカメラの説明図で
ある。
FIG. 18 is an explanatory diagram of an MPEG camera as an example of an imaging device.

【図19】本実施例における動画像記録のしかたの概念
とその用途の例を示す図である。
FIG. 19 is a diagram illustrating a concept of how to record a moving image and an example of its use in the present embodiment.

【図20】実施例における動画像の記録手順を示すフロ
ーチャートである。
FIG. 20 is a flowchart illustrating a moving image recording procedure in the embodiment.

【図21】実施例における記録された動画像の再生手順
を示すフローチャートである。
FIG. 21 is a flowchart illustrating a playback procedure of a recorded moving image in the embodiment.

【符号の説明】[Explanation of symbols]

1 動作形態指示入力端子 2 符号量制御動作期間指示入力端子 3 GOP構成制御動作期間指示入力端子 4 動きベクトル探索期間指示入力端子 5 動画像、音声入力端子 6 符号量指示手段 7 GOP構成指示手段 8 画像タイプ指示手段 9 動きベクトル探索手段 10 圧縮単位構成手段 11 動き補償手段 12 圧縮手段 13 圧縮信号出力端子 14 局所復号手段 16 バッファ 17 音声圧縮手段 18 記録期間指示入力端子 19 入力バッファ 100 記録再生装置 140 光ディスク DESCRIPTION OF SYMBOLS 1 Operation form instruction input terminal 2 Code amount control operation period instruction input terminal 3 GOP configuration control operation period instruction input terminal 4 Motion vector search period instruction input terminal 5 Video and audio input terminal 6 Code amount instruction means 7 GOP configuration instruction means 8 Image type indicating means 9 Motion vector searching means 10 Compression unit composing means 11 Motion compensating means 12 Compressing means 13 Compressed signal output terminal 14 Local decoding means 16 Buffer 17 Audio compression means 18 Recording period instruction input terminal 19 Input buffer 100 Recording / reproducing device 140 optical disk

───────────────────────────────────────────────────── フロントページの続き (72)発明者 西村 崇 東京都小平市上水本町五丁目20番1号 株式会社日立製作所システムLSI開発 センタ内 (72)発明者 田中 英一 東京都小平市上水本町五丁目20番1号 株式会社日立製作所システムLSI開発 センタ内 (72)発明者 本巣 聰 東京都小平市上水本町五丁目20番1号 株式会社日立製作所システムLSI開発 センタ内 (72)発明者 奥 万寿男 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所デジタルメディア開 発本部内 (56)参考文献 特開 平8−237600(JP,A) 特開 平8−242423(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/91 - 5/956 H04N 7/24 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Takashi Nishimura 5-2-1, Josuihonmachi, Kodaira-shi, Tokyo Inside the System LSI Development Center, Hitachi, Ltd. (72) Eiichi Tanaka Josui, Kodaira-shi, Tokyo 5-2-1, Honcho, Hitachi, Ltd. System LSI Development Center (72) Inventor Satoshi Motosu 5-2-1, Kamisumihonmachi, Kodaira-shi, Tokyo Hitachi, Ltd. System LSI Development Center (72) Inventor Masuo Oku 292 Yoshida-cho, Totsuka-ku, Yokohama-shi, Kanagawa Prefecture Inside Digital Media Development Headquarters, Hitachi, Ltd. (56) References JP-A 8-237600 (JP, A) JP-A 8-242423 (JP, A) ( 58) Field surveyed (Int.Cl. 7 , DB name) H04N 5/91-5/956 H04N 7/24

Claims (12)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】入力された動画像信号を、時間的に前後の
画像を参照画像として符号化して記録する動画像記録装
置において、 仮記録開始の指示があったら、入力された動画像情報を
第1のモードにて符号化して記録媒体に記録し、 本記録開始の指示があったら、本記録開始以前の画像を
参照画像として利用し、入力された動画像情報を第2の
モードにて符号化し、 第2のモードで符号化された画像を記録媒体に記録し、 前記記録媒体に第1のモードから第2のモードへの移行
タイミング信号を併せて記録することを特徴とする動画
像記録装置における画像記録方法。
1. A moving image recording apparatus for recording an inputted moving image signal by encoding a preceding or succeeding image as a reference image and recording the inputted moving image signal. Encode in the first mode and record it on the recording medium. If there is an instruction to start the main recording, the image before the start of the main recording is
Utilizing as a reference image, the input moving image information is encoded in a second mode, and the image encoded in the second mode is recorded on a recording medium. An image recording method in a moving image recording apparatus, further comprising recording a transition timing signal to a mode of (i).
【請求項2】前記符号化の方法はMPEGであり、前記
移行タイミング信号は前記第1および第2のモードにて
符号化されて記録される領域とは別の領域に記録するこ
とを特徴とする請求項1の画像記録方法。
2. The method according to claim 1, wherein said encoding method is MPEG, and said transition timing signal is transmitted in said first and second modes.
2. The image recording method according to claim 1, wherein the image is recorded in an area different from an encoded area.
【請求項3】前記第1のモードと第2のモードは、符号
化処理における動作形態、記録形態又は記録情報の管理
形態のいずれか一つ以上が相違し、第2のモードの記録
開始時には第1のモードで符号化されたデータを参照し
て符号化を行うことを特徴とする請求項2の画像記録方
法。
3. The first mode and the second mode are different from each other in at least one of an operation mode, a recording mode, and a recording information management mode in an encoding process, and at the start of recording in the second mode. 3. The image recording method according to claim 2, wherein the encoding is performed with reference to the data encoded in the first mode.
【請求項4】動画像記録装置の電源の投入信号を第1の
モードでの記録開始の指示とし、外部からの起動指示信
号を受信したら第2のモードでの記録開始の指示とする
ことを特徴とする請求項3の画像記録方法。
4. A method according to claim 1, wherein a power-on signal of the moving image recording apparatus is an instruction to start recording in a first mode, and an instruction to start recording in a second mode is received when an external start instruction signal is received. 4. The image recording method according to claim 3, wherein:
【請求項5】前記第1及び第2のモードにて符号化して
記録する記録媒体は光ディスク装置であることを特徴と
する請求項4の画像記録方法。
5. The image recording method according to claim 4, wherein the recording medium for encoding and recording in the first and second modes is an optical disk device.
【請求項6】前記第1のモードにて符号化して記録する
記録媒体は半導体メモリ装置であり、該半導体メモリの
記録エリアが記録されたデータでいっぱいになったら、
最も古い記録済データから上書きすることを特徴とする
請求項1の画像記録方法。
6. A recording medium for encoding and recording in the first mode is a semiconductor memory device, and when a recording area of the semiconductor memory is full of recorded data,
2. The image recording method according to claim 1, wherein the oldest recorded data is overwritten.
【請求項7】前記第2のモードにて符号化して記録する
記録媒体は光ディスク媒体であり、前記本記録開始の指
示があったら、前記移行タイミングとともに、前記半導
メモリに格納されたデータを前記光ディスク媒体に記
録することを特徴とする請求項6の画像記録方法。
7. A recording medium for recording encoded by the second mode is an optical disk medium, wherein when prompted for the recording start, together with the shift timing, the semiconductor
7. The image recording method according to claim 6, wherein data stored in a body memory is recorded on said optical disk medium.
【請求項8】入力された動画像信号を、圧縮して記録媒
体に記録し、該記録された信号を再生する動画像記録再
生方法であって、 記録時には、入力された動画像情報を第1のモードで圧
縮して仮記録情報を作成して、前記記録媒体に格納し、 本記録開始の指示があったら、スタート識別子を前記記
録媒体に記録するとともに、入力された動画像情報を第
2のモードで圧縮して前記仮記録情報を利用して圧縮処
理し、圧縮された画像信号を記録媒体に記録する、 記録媒体に記録された情報を再生するときは、前記第1
のモードで記録された情報を利用することによって第2
のモードで記録された情報を伸長処理することにより前
記スタート識別子時点からの情報の再生を開始すること
を特徴とする動画像記録再生方法。
8. A moving image recording and reproducing method for compressing an input moving image signal and recording the compressed signal on a recording medium, and reproducing the recorded signal. In the first mode, temporary recording information is created by compression, stored in the recording medium, and when there is an instruction to start the main recording, a start identifier is recorded on the recording medium, and the input moving image information is recorded in the Compression in the second mode, the compression processing using the temporary recording information, and recording of the compressed image signal on a recording medium. When reproducing the information recorded on the recording medium, the first
By using the information recorded in the second mode,
Wherein the reproduction of the information from the start identifier is started by expanding the information recorded in the mode.
【請求項9】前記第1および第2の圧縮形式はMPEG
であり、第1のモードと第2のモードでの圧縮形態が異
なることを特徴とする請求項8の動画像記録再生方法。
9. The first and second compression formats are MPEG.
9. The moving image recording / reproducing method according to claim 8, wherein a compression mode is different between the first mode and the second mode.
【請求項10】前記スタート識別子は、前記第1のモー
ドおよび第2のモードで圧縮して記録される画像信号と
別の領域に記録されることを特徴とする請求項9の動画
像記録再生方法。
10. The moving image recording / reproducing apparatus according to claim 9, wherein said start identifier is recorded in a different area from an image signal recorded by compression in said first mode and said second mode. Method.
【請求項11】入力された動画像情報が第1のモードで
圧縮された仮記録情報と、本記録開始位置を示すスター
ト識別子と、第1のモードとは圧縮形態が異なる第2の
モードで圧縮された本記録画像が記録された記録媒体を
再生する動画像再生方法であって、 前記第1のモードで記録された情報を利用することによ
って第2のモードで記録された情報を伸長処理すること
により前記スタート識別子時点からの情報の再生を開始
することを特徴とする動画像記録再生方法。
11. Temporary recording information in which input moving image information is compressed in a first mode, a start identifier indicating a main recording start position , and a second mode having a compression mode different from that of the first mode. A moving image reproducing method for reproducing a recording medium on which a compressed main recording image is recorded, wherein the information recorded in the second mode is decompressed by using the information recorded in the first mode. moving image recording and reproducing method characterized by initiating playback of the information from the start identifier when by.
【請求項12】前記第1および第2の圧縮形式はMPE
Gであり、前記移行タイミング信号は前記第1および第
2のモードで記録される領域とは別の領域に記録されて
いることを特徴とする請求項11の動画像記録再生方
法。
12. The first and second compression formats are MPE
12. The moving image recording / reproducing method according to claim 11, wherein the transition timing signal is G, and the transition timing signal is recorded in an area different from an area recorded in the first and second modes .
JP23784499A 1998-08-28 1999-08-25 Moving image recording / playback method Expired - Fee Related JP3196764B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23784499A JP3196764B2 (en) 1998-08-28 1999-08-25 Moving image recording / playback method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-243222 1998-08-28
JP24322298 1998-08-28
JP23784499A JP3196764B2 (en) 1998-08-28 1999-08-25 Moving image recording / playback method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000263237A Division JP3939907B2 (en) 1998-08-28 2000-08-28 Signal processing device

Publications (2)

Publication Number Publication Date
JP2000138900A JP2000138900A (en) 2000-05-16
JP3196764B2 true JP3196764B2 (en) 2001-08-06

Family

ID=26533402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23784499A Expired - Fee Related JP3196764B2 (en) 1998-08-28 1999-08-25 Moving image recording / playback method

Country Status (1)

Country Link
JP (1) JP3196764B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3938019B2 (en) 2002-11-22 2007-06-27 キヤノン株式会社 Recording apparatus and recording method
CN101889450A (en) * 2007-12-06 2010-11-17 松下电器产业株式会社 Image coder, video camera, integrated circuit, and image coding method
KR20200110213A (en) * 2019-03-12 2020-09-23 현대자동차주식회사 Method and Apparatus for Encoding and Decoding Video

Also Published As

Publication number Publication date
JP2000138900A (en) 2000-05-16

Similar Documents

Publication Publication Date Title
KR100219748B1 (en) Optical disk recording and reproducing device and method
JPH10164492A (en) Image-pickup device
JP3932546B2 (en) MPEG video editing apparatus and MPEG video editing method
US6466732B1 (en) Information recording system and information recording method
JP3147792B2 (en) Video data decoding method and apparatus for high-speed playback
US6643453B1 (en) Motion picture recording/reproduction apparatus
JPH08154230A (en) Method for storing moving image coded data on medium
JP2004015580A (en) Recorder
US6373905B1 (en) Decoding apparatus and decoding method
JP3196764B2 (en) Moving image recording / playback method
US6040862A (en) Coding method and recording and reproducing apparatus
JP4320738B2 (en) Audio video signal recording apparatus and audio video signal recording method
JP2001103429A (en) Signal processor
JP2001160947A (en) Image recorder and method
JP3291392B2 (en) Method and apparatus for reproducing compressed image data
JP4573166B2 (en) Information recording apparatus, information reproducing apparatus, information recording method, and information reproducing method
JPH11289513A (en) Video recording and reproducing device
JP3235917B2 (en) Image recording and playback device
JP3787468B2 (en) Image recording device
JP4305392B2 (en) Audio video signal recording apparatus and audio video signal recording method
JP3645254B2 (en) Image data recording system and image data recording method
JP2000209529A (en) Video server device
JPH03272289A (en) Electronic still camera
JPH08130715A (en) Picture reproducing device
JP4419142B2 (en) Audio video signal recording apparatus and audio video signal recording method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080608

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080608

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090608

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees