JPH10271508A - Moving image interpolation device - Google Patents

Moving image interpolation device

Info

Publication number
JPH10271508A
JPH10271508A JP9071296A JP7129697A JPH10271508A JP H10271508 A JPH10271508 A JP H10271508A JP 9071296 A JP9071296 A JP 9071296A JP 7129697 A JP7129697 A JP 7129697A JP H10271508 A JPH10271508 A JP H10271508A
Authority
JP
Japan
Prior art keywords
frame
interpolation
motion
moving image
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9071296A
Other languages
Japanese (ja)
Inventor
Norikazu Sasaki
規和 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP9071296A priority Critical patent/JPH10271508A/en
Publication of JPH10271508A publication Critical patent/JPH10271508A/en
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize a moving image interpolation device at a receiver side by which a missing frame is accurately recovered. SOLUTION: A moving image interpolation device is provided with a transmitter 1 that consists of a frame interleave section 11 conducting frame interleaving in matching with a transmission rate and a frame interpolation capability of a receiver, of a motion detection section 12 obtaining a motion vector from interleaved image data, of a coder 13 applying compression coding to moving image information, and of a buffer 14 storing image data and moving vector data, and with a receiver 2 that consists of a buffer 21, of a decoder 22 decoding compressed image data, and of a frame interpolation section 23 interpolating an interpolation frame with a received motion vector. Then the frame interpolation section 23 re-configures an proper interpolation frame between adjacent transmission frames from a motion vector to conduct interpolation processing to the frame.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、動画像圧縮処理等
に用いられる動画像補間装置に係わり、詳細には、送信
側で間引きフレームに対する動き情報を送信し、受信側
で欠落したフレームを動き情報により正確に再生するこ
とのできる動画像補間装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture interpolating apparatus used for moving picture compression processing and the like. More specifically, the present invention relates to a method for transmitting motion information for a thinned-out frame on a transmitting side and moving a lost frame on a receiving side. The present invention relates to a moving image interpolation device that can accurately reproduce information based on information.

【0002】[0002]

【従来の技術】動画像補間装置は、主にテレビ会議など
で使用することが考えられている。従来の動画像処理装
置では、受信側で欠落したフレームを再生する動画像内
挿装置が用いられる。従来のフレーム内挿方式を用いた
装置では、受信したフレーム毎に動きを検出し、内挿す
べきフレームと受信した前後のフレームとの距離の比に
基づいて内挿すべき補間フレームを再構成していた。公
知例として、フレーム間の動きを検出して、この動き情
報を非線形近似して、予測補間し補間フレームを再構成
する特開平7−177514動画像圧縮装置がある。
2. Description of the Related Art A moving image interpolation apparatus is considered to be mainly used in a video conference or the like. In a conventional moving image processing apparatus, a moving image interpolation apparatus that reproduces a frame that has been lost on the receiving side is used. In a device using the conventional frame interpolation method, motion is detected for each received frame, and an interpolation frame to be interpolated is reconstructed based on a ratio of a distance between the frame to be interpolated and a frame before and after the received frame. Was. As a known example, there is a moving image compression apparatus disclosed in Japanese Patent Application Laid-Open No. Hei 7-177514 which detects motion between frames, nonlinearly approximates the motion information, and predictively interpolates to reconstruct an interpolated frame.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画像処理装置にあっては、動きベクトルの
検出は、直線または非線形近似による内挿方式であるた
め、移動物体は機械的な動きになり、変則的な動きにな
らない。これは、近似することに起因する。本発明は、
欠落したフレームを正確に再生することのできる動画像
補間装置を提供することを目的とする。
However, in such a conventional moving image processing apparatus, since the detection of a motion vector is performed by an interpolation method using a straight line or a non-linear approximation, the moving object has a mechanical motion. And does not move irregularly. This is due to the approximation. The present invention
It is an object of the present invention to provide a moving image interpolation device capable of accurately reproducing a missing frame.

【0004】[0004]

【課題を解決するための手段】本発明は、上記目的を達
成するため、複数のフレーム画像情報と共に各フレーム
間に間引きされたフレームに対する動き情報からなる動
画像情報から各フレーム間のフレーム画像を予測補間す
る動画像補間装置において、動き情報として伝送レート
と受信側のフレーム内挿処理能力に合わせて、間引きさ
れた補間されるべきフレームに対する動きベクトルを内
挿フレーム数分もつことにより、近似処理を行わないよ
うにしている。
According to the present invention, in order to achieve the above object, a frame image between each frame is obtained from moving image information including a plurality of pieces of frame image information and motion information for frames thinned out between the frames. In a video interpolating apparatus that performs predictive interpolation, approximation processing is performed by having as many motion vectors as the number of interpolated frames for thinned frames to be interpolated according to the transmission rate and the frame interpolation processing capability of the receiving side as motion information. Not to do.

【0005】例えば、テレビ会議等における低レートの
動画像圧縮では、低レートになる要因が通信能力にある
ことが多く、一般的に動画像処理能力は通信能力を上回
る。このような場合、本発明では、送信側で、伝送レー
トと受信側のフレーム内挿処理能力に合わせて、間引か
れたフレームに対して動き情報を構成することにより、
受信側で、動き情報に基づいて間引かれたフレームを再
構成される。したがって、動きに対する近似処理を行わ
ないため、自然な動きを正確に再生することが可能にな
る。
[0005] For example, in low-rate moving image compression in a video conference or the like, the cause of the low rate is often the communication capability, and the moving image processing capability generally exceeds the communication capability. In such a case, in the present invention, by configuring the motion information on the decimated frame in accordance with the transmission rate and the frame interpolation processing capability of the receiving side on the transmission side,
On the receiving side, the thinned frames are reconstructed based on the motion information. Therefore, since the approximation process for the motion is not performed, natural motion can be accurately reproduced.

【0006】[0006]

【発明の実施の形態】以下、本発明を図面に基づいて説
明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below with reference to the drawings.

【0007】図1〜図3は、本発明に係わる動画像補間
装置の一実施例を示す図である。
FIGS. 1 to 3 show an embodiment of a moving picture interpolation apparatus according to the present invention.

【0008】図1は、本発明に係わる動画像補間装置の
構成を示すブロック図であり、この図において、動画像
補間装置は伝送器1と受信器2からなる。
FIG. 1 is a block diagram showing the configuration of a video interpolator according to the present invention. In FIG. 1, the video interpolator comprises a transmitter 1 and a receiver 2.

【0009】図1において、動画像補間装置の伝送器1
は、フレーム間引き部11、動き検出部12、符号化器
13、バッファ14等から構成される。
In FIG. 1, a transmitter 1 of a moving picture interpolation apparatus is shown.
Is composed of a frame thinning unit 11, a motion detecting unit 12, an encoder 13, a buffer 14, and the like.

【0010】フレーム間引き部11は、伝送レートと受
信器2のフレーム内挿能力に合わせてフレーム間引きを
行い、伝送フレームの画像データを符号化器13に出力
する。一方、入力された画像データのうち、受信器2に
おいて再生すべきフレームの画像データは動き検出部1
2に出力される。
[0010] The frame thinning section 11 performs frame thinning according to the transmission rate and the frame interpolation capability of the receiver 2, and outputs image data of the transmission frame to the encoder 13. On the other hand, among the input image data, the image data of the frame to be reproduced by the receiver 2 is
2 is output.

【0011】動き検出部12は、再生すべきフレームに
対する動きベクトルを検出し、符号化器に出力する。同
様に複数フレーム間引きされることも可能であり、動き
ベクトルは内挿フレーム数分検出する。これらの動き情
報をバッファに出力する。
The motion detecting section 12 detects a motion vector for a frame to be reproduced and outputs the motion vector to an encoder. Similarly, a plurality of frames can be thinned out, and the motion vectors are detected by the number of interpolation frames. The motion information is output to a buffer.

【0012】符号化器13は、伝送フレームの画像デー
タと動き検出部12で出力された動きベクトルに基づい
て画像データを符号化し、バッファ14に出力する。
[0012] The encoder 13 encodes the image data based on the image data of the transmission frame and the motion vector output by the motion detection unit 12, and outputs the image data to the buffer 14.

【0013】バッファ14は、符号化器13および動き
検出部12から出力された画像データと動き情報データ
を伝送レートに合わせて伝送する。
The buffer 14 transmits the image data and the motion information data output from the encoder 13 and the motion detector 12 in accordance with the transmission rate.

【0014】動画像補間装置の受信器2は、バッファ2
1、復号化器22、フレーム内挿部23等で構成され
る。
[0014] The receiver 2 of the video interpolator includes a buffer 2
1, a decoder 22, a frame interpolation unit 23 and the like.

【0015】伝送されたデータは、バッファ21に格納
され、符号化された画像データは復号化器22に出力さ
れる。
The transmitted data is stored in a buffer 21, and the encoded image data is output to a decoder 22.

【0016】復号化器22は、符号化された画像データ
を復号化して、フレーム内挿部23に出力する。
The decoder 22 decodes the encoded image data and outputs it to the frame interpolator 23.

【0017】フレーム内挿部23は、バッファ21から
動き情報として取得した動きベクトルと復号化器22か
ら出力された画像データを基づいて隣接伝送フレーム間
に適切な補間フレームを再構成し、フレームの内挿処理
を行う。
The frame interpolation unit 23 reconstructs an appropriate interpolation frame between adjacent transmission frames based on the motion vector obtained as the motion information from the buffer 21 and the image data output from the decoder 22. Performs interpolation.

【0018】図2は、本実施例で説明した補間の方法を
示したものである。図中の点線部分は、補間により再構
成された部分を示している。画像データは、円が不規則
に動くものであり、フレームI1が伝送された後、動き
ベクトルV11、V12とフレームP1が伝送される。
動きベクトルV11とフレームI1およびフレームP1
から内挿フレームB11を再構成する。同様に、動きベ
クトルV11、V12を使用して、内挿フレームB12
を再構成する。さらに、動きベクトルV21、V22と
フレーム12が伝送される。動きベクトルV21とフレ
ームP1およびフレームI1から内挿フレームB21を
再構成する。同様に、動きベクトルV21、V22を使
用して、内挿フレームB22を再構成する。以上のよう
に、不規則に動く円を正確に再生することが可能であ
る。
FIG. 2 shows the interpolation method described in this embodiment. The dotted line part in the figure indicates a part reconstructed by interpolation. In the image data, the circle moves irregularly. After the frame I1 is transmitted, the motion vectors V11 and V12 and the frame P1 are transmitted.
Motion vector V11, frame I1 and frame P1
To reconstruct the interpolation frame B11. Similarly, using the motion vectors V11 and V12, the interpolation frame B12
Reconfigure. Further, the motion vectors V21 and V22 and the frame 12 are transmitted. An interpolated frame B21 is reconstructed from the motion vector V21 and the frames P1 and I1. Similarly, the interpolation frame B22 is reconstructed using the motion vectors V21 and V22. As described above, it is possible to accurately reproduce an irregularly moving circle.

【0019】図3は、上記図2で説明した内容をフレー
ムで表したものである。伝送レートが低レートであるた
め、途中のB11、B12、B21、B22のフレーム
データを伝送できない場合を示している。フレームP1
を伝送するときに、間引きされたフレームB11、B1
2に対するそれぞれの動きベクトルを動き情報としてフ
レームP1の画像データと共に伝送する。それぞれの動
きベクトルに基づいてフレームB11、B12を再構成
し内挿する。同様に、フレームI1を伝送するときに、
間引きされたフレームB21、B22に対するそれぞれ
の動きベクトルを動き情報としてフレーム12の画像デ
ータと共に伝送する。それぞれの動きベクトルに基づい
てフレームB21、B22を再構成し内挿する。
FIG. 3 shows the contents described in FIG. 2 in a frame. Since the transmission rate is low, frame data of B11, B12, B21, and B22 in the middle cannot be transmitted. Frame P1
Are transmitted, the decimated frames B11, B1
2 are transmitted together with the image data of the frame P1 as motion information. The frames B11 and B12 are reconstructed and interpolated based on the respective motion vectors. Similarly, when transmitting frame I1,
The respective motion vectors for the decimated frames B21 and B22 are transmitted together with the image data of the frame 12 as motion information. The frames B21 and B22 are reconstructed and interpolated based on the respective motion vectors.

【0020】図4は、公知例として挙げた特開平7−1
77514動画像圧縮装置の技術を使用して、上記図2
で示した動きをする動画像を再構成した場合を図示した
ものである。点線で示したB11、B12、B21、B
22が動きベクトルV1、V2を使用して非線形近似し
内挿したフレームである。動きに対して近似処理を行う
ため、実際の不規則な動きを表現することができず、滑
らかな曲線運動になる。
FIG. 4 shows Japanese Patent Application Laid-Open No. Hei 7-1 as a known example.
Using the technology of the 77514 video compression device, FIG.
3 illustrates a case in which a moving image having the motion indicated by. B11, B12, B21, B indicated by dotted lines
Reference numeral 22 denotes a frame that is nonlinearly approximated and interpolated using the motion vectors V1 and V2. Since the approximation process is performed on the motion, the actual irregular motion cannot be expressed, and the motion becomes a smooth curved motion.

【0021】図2および図3で使用した例は、MPEG
圧縮技術を使用した動画像情報と良く似ている。MPE
G技術では、一般にすべての画像データをもつIフレー
ム、1つ前のIフレームの情報を利用して画像を構成す
るPフレーム、1つの前のIフレームと1つ後のPフレ
ーム、または、1つ前のPフレームと1つ後のIフレー
ムの情報を利用して画像を構成するBフレームからな
る。通常、MPEG技術を使用してファイル化された画
像データを低レートで再生する場合、Bフレームを間引
くことが多い。つまり、上記図3で説明したように、フ
レームI1、P1、I2の画像データを伝送し再生す
る。しかし、動画像補間処理を利用することにより、間
引きされたBフレームを再構成することを考えてみる。
BフレームおよびPフレームは、前後のフレームを利用
するため、動きベクトルを情報として持っている。本発
明では、このBフレーム、Pフレームが持つ動きベクト
ルを内挿フレームの再構成時に利用する。つまり、フレ
ームI1を伝送後、フレームB11、B12を間引きす
る際、フレームP1の情報に、B11およびB12が持
つ動きベクトルの情報を付加して伝送する。同様に、フ
レームB21、B22を間引きする際、フレームI1の
情報に、B21およびB22が持つ動きベクトルの情報
を付加して伝送する。以上のように、MPEG技術によ
り、ファイル化された画像データを伝送レートするとき
も、本発明が利用できる。
The example used in FIGS. 2 and 3 is MPEG
It is very similar to video information using compression technology. MPE
In the G technology, generally, an I-frame having all image data, a P-frame constituting an image using information of the immediately preceding I-frame, one preceding I-frame and one succeeding P-frame, or It consists of a B frame that constitutes an image using information of the immediately preceding P frame and the immediately succeeding I frame. Normally, when image data filed using the MPEG technology is reproduced at a low rate, B frames are often thinned out. That is, as described with reference to FIG. 3, the image data of the frames I1, P1, and I2 is transmitted and reproduced. However, suppose that the thinned B frame is reconstructed by using the moving image interpolation processing.
The B frame and the P frame have motion vectors as information in order to use preceding and succeeding frames. In the present invention, the motion vectors of the B frame and the P frame are used when reconstructing the interpolation frame. That is, when the frames B11 and B12 are thinned out after the transmission of the frame I1, the information of the motion vector of the frames P11 and B12 is added to the information of the frame P1 and transmitted. Similarly, when thinning out the frames B21 and B22, the information of the frame I1 is added with the information of the motion vectors of the frames B21 and B22 and transmitted. As described above, the present invention can be used even when the transmission rate of image data filed by the MPEG technology is increased.

【0022】[0022]

【発明の効果】本発明によれば、伝送時に間引きされた
フレームに対する動きベクトルを伝送フレームに付加
し、フレーム内挿時に間引きされたフレームに対する動
きベクトルに基づいて補間フレームを予測再構成するこ
とができるため、変則的な動きについても正確に再生す
ることが可能になる。
According to the present invention, it is possible to add a motion vector for a frame decimated at the time of transmission to a transmission frame and predictively reconstruct an interpolation frame based on the motion vector for the frame decimated at the time of frame interpolation. Therefore, it is possible to accurately reproduce even irregular movements.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係わる実施例の機能ブロック図であ
る。
FIG. 1 is a functional block diagram of an embodiment according to the present invention.

【図2】実施例のフレーム内挿説明図である。FIG. 2 is an explanatory diagram of frame interpolation according to the embodiment.

【図3】実施例のフレーム内挿説明図である。FIG. 3 is an explanatory diagram of frame interpolation according to the embodiment;

【図4】従来の技術でのフレーム内挿説明図である。FIG. 4 is an explanatory diagram of frame interpolation in a conventional technique.

【符号の説明】[Explanation of symbols]

1…伝送器、 2…受信器、11…フレーム間引き
部、12…動き検出部、13…符号化器、14、21…
バッファ、 22…復号化器、23…フレ
ーム内挿部。
DESCRIPTION OF SYMBOLS 1 ... Transmitter, 2 ... Receiver, 11 ... Frame thinning part, 12 ... Motion detection part, 13 ... Encoder, 14, 21 ...
Buffer, 22: decoder, 23: frame interpolation unit.

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】複数のフレーム画像情報と共に各フレーム
間の動き情報からなる動画像情報から各フレーム間のフ
レームを予測補間する動画像補間装置において、上記各
フレーム間に複数の間引きされたフレームに対する動き
情報に従って予測補間することを特徴とする動画像補間
装置。
1. A moving image interpolating apparatus for predictively interpolating a frame between frames from moving image information comprising motion information between frames together with a plurality of frame image information. A video interpolating apparatus for performing predictive interpolation according to motion information.
【請求項2】上記フレーム間の動き情報は、伝送レート
と受信器ののフレーム内挿処理能力に合わせて、間引き
された補間されるべきフレームに対する動きベクトルを
内挿フレーム数分もつことを特徴とする請求項1に記載
の動画像補間装置。
2. The motion information between frames has motion vectors for the frames to be interpolated, which are thinned out, in accordance with the transmission rate and the frame interpolation processing capability of the receiver. The moving image interpolation device according to claim 1, wherein
JP9071296A 1997-03-25 1997-03-25 Moving image interpolation device Pending JPH10271508A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9071296A JPH10271508A (en) 1997-03-25 1997-03-25 Moving image interpolation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9071296A JPH10271508A (en) 1997-03-25 1997-03-25 Moving image interpolation device

Publications (1)

Publication Number Publication Date
JPH10271508A true JPH10271508A (en) 1998-10-09

Family

ID=13456574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9071296A Pending JPH10271508A (en) 1997-03-25 1997-03-25 Moving image interpolation device

Country Status (1)

Country Link
JP (1) JPH10271508A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062623A1 (en) * 2003-12-18 2005-07-07 Nec Corporation Moving image reproducing method, apparatus and program
JP2011030034A (en) * 2009-07-28 2011-02-10 Nippon Telegr & Teleph Corp <Ntt> Video coding prefiltering method, and apparatus and program therefor
JP2011259448A (en) * 2004-08-18 2011-12-22 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
KR20130026380A (en) * 2011-09-05 2013-03-13 삼성전자주식회사 Image based virtual dressing system and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062623A1 (en) * 2003-12-18 2005-07-07 Nec Corporation Moving image reproducing method, apparatus and program
JP2011259448A (en) * 2004-08-18 2011-12-22 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
JP2014042289A (en) * 2004-08-18 2014-03-06 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
US8861601B2 (en) 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
US9503739B2 (en) 2004-08-18 2016-11-22 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
JP2011030034A (en) * 2009-07-28 2011-02-10 Nippon Telegr & Teleph Corp <Ntt> Video coding prefiltering method, and apparatus and program therefor
KR20130026380A (en) * 2011-09-05 2013-03-13 삼성전자주식회사 Image based virtual dressing system and method

Similar Documents

Publication Publication Date Title
RU2120702C1 (en) Method for decoding of single received current signal from sequence of two-channel encoded video signals and device which implements said method
US4723161A (en) Method and arrangement of coding digital image signals utilizing interframe correlation
KR950005665B1 (en) High efficiency encoding system
US6055274A (en) Method and apparatus for compressing multi-view video
JPH04177992A (en) Picture coder having hierarchical structure
JP4208098B2 (en) Progressive image signal transmitting device and progressive image signal receiving device
JPH01253382A (en) Method of encoding digital video signal and encoder and its decoder
EP0771117A3 (en) Method and apparatus for encoding and decoding a video signal using feature point based motion estimation
JPS61118085A (en) Coding system and device for picture signal
JP2006254456A (en) Method of controlling error resilience in compression data transmitting system, system, and medium or waveform
KR100202538B1 (en) Mpeg video codec
JPH10271508A (en) Moving image interpolation device
JPS63267080A (en) Video signal transmission system
US4972261A (en) Motion compensation image signal encoding system
JPH07177514A (en) Dynamic image compressor
JPS58133088A (en) Adaptive encoding and decoding device for television signal
JPH05501944A (en) Transmission system
JPH03139083A (en) Dynamic image encoding device
JP3896635B2 (en) Image data conversion apparatus and method, prediction coefficient generation apparatus and method
JP2828096B2 (en) Image signal encoding apparatus and image signal encoding method
JPS62260492A (en) Picture signal band compression system
JP2832949B2 (en) High-efficiency code decoding device
KR100235357B1 (en) Pyramidal decoding apparatus for the concealment of cell loss in progressive transmission
JPH01213088A (en) Picture encoding/transmitting method
JP3401273B2 (en) Encoding device

Legal Events

Date Code Title Description
A977 Report on retrieval

Effective date: 20040423

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20040511

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040929

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20071015

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20081015

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 5

Free format text: PAYMENT UNTIL: 20091015

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20101015

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20111015

LAPS Cancellation because of no payment of annual fees