KR20000035719A - 영상 신호 기록 재생 방법 및 장치 - Google Patents

영상 신호 기록 재생 방법 및 장치 Download PDF

Info

Publication number
KR20000035719A
KR20000035719A KR1019990052911A KR19990052911A KR20000035719A KR 20000035719 A KR20000035719 A KR 20000035719A KR 1019990052911 A KR1019990052911 A KR 1019990052911A KR 19990052911 A KR19990052911 A KR 19990052911A KR 20000035719 A KR20000035719 A KR 20000035719A
Authority
KR
South Korea
Prior art keywords
picture
recording
recorded
image
pictures
Prior art date
Application number
KR1019990052911A
Other languages
English (en)
Other versions
KR100666287B1 (ko
Inventor
와타나베류지
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20000035719A publication Critical patent/KR20000035719A/ko
Application granted granted Critical
Publication of KR100666287B1 publication Critical patent/KR100666287B1/ko

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B15/00Driving, starting or stopping record carriers of filamentary or web form; Driving both such record carriers and heads; Guiding such record carriers or containers therefor; Control thereof; Control of operating function
    • G11B15/02Control of operating function, e.g. switching from recording to reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B15/00Driving, starting or stopping record carriers of filamentary or web form; Driving both such record carriers and heads; Guiding such record carriers or containers therefor; Control thereof; Control of operating function
    • G11B15/18Driving; Starting; Stopping; Arrangements for control or regulation thereof
    • G11B15/1808Driving of both record carrier and head
    • G11B15/1875Driving of both record carrier and head adaptations for special effects or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

MPEG 영상신호를 기록매체에 기록 재생하는 장치에서 편집을 행하는 경우, 1GOP 내의 도중의 화상으로부터 편집 가능하고, 또한 간이한 구성의 영상 신호 기록 재생 장치를 실현한다.
연결 촬영을 할 때, 하지의 화상은 I 픽처 또는 P 픽처와 그것들을 후방 참조하고 있는 B 픽처를 남기도록 한다. 기록의 화상은 원칙 I 픽처로부터 하고, 그 I 픽처를 후방 참조하고 있는 B 픽처가 있으면 그것들도 기록한다.

Description

영상 신호 기록 재생 방법 및 장치{A METHOD AND APPARATUS FOR RECORDING AND REPRODUCEING IMAGE SIGNAL}
본 발명은 영상 신호 기록 재생 장치에 관한 것으로, 더욱 상세하게는, MPEG 영상신호를 기록 또는 재생하는 동시에, 연결 촬영 등의 편집도 행하는 영상 신호 기록 재생 장치에 관한 것이다.
MPEG(Moving Picture Experts Group) 영상신호는 몇 매인가의 화상을 모은 GOP(Group 0f Pictures)라고 불리는 그룹을 하나의 단위로서 압축, 부호화되어 있다. 1GOP를 구성하는 화상에는 I 픽처, P 픽처, B 픽처가 있다. I 픽처는 프레임 또는 필드내에서 닫혀 있는 화상이고, 1매의 화상으로 완결한다. P 픽처는 전방의 I 픽처 또는 P 픽처를 참조하여 완결하는 화상이며, B 픽처는 전방 및 후방의 I 픽처 또는 P 픽처를 참조하여 완결하는 화상이다.
MPEG 영상신호는 고 능률로 압축화되어 있고, 영상신호를 MPEG 영상신호, 즉 MPEG 비트 스트림으로 변환하면 1GOP 중에서 영상신호의 시간적 순서가 역전하는 경우가 있다. 그러므로, 1GOP 내에서 연결 촬영 등의 편집 동작을 행하는 경우에, 단순히 연결하는 것으로는 화상의 순서가 역전하고, 이음매에서 정확하게 복호화되지 않아 화상이 흐트러지거나 노이즈가 발생하는 경우가 있다,
따라서, MPEG 영상신호를 기록하고, 재생하는 영상 신호 기록 재생 장치에서 편집을 행하는 경우, GOP를 단위로서 취급하는 것이 일반적이다. 그러나, GOP를 구성하는 화상의 매수가 많은 경우, 편집자의 감성에 따른 편집을 하기 위해서는, 1GOP 내의 도중에서도 편집 가능한 것이 바람직하다.
본 발명은 MPEG 영상신호를 기록매체에 기록 및 재생하는 장치에서 연결 촬영 편집을 행하는 경우, 1GOP 내의 도중의 화상으로부터 편집 가능하고, 간단한 구성의 영상 신호 기록 재생 장치를 실현하는 것을 과제로 한다.
도 1은 카메라에서 촬영된 화상을 MPEG 영상신호로서 테이프에 기록하는 영상 신호 기록 재생 장치의 블록도.
도 2는 MPEG 부호화되기 전의 화상과, MPEG 부호화된 후의 MPEG 비디오 비트 스트림의 시간적인 관계를 도시하는 도면.
도 3은 MPEG 부호화한 화상 데이터를 헬리컬 스캔 방식에 의해 테이프상에 기록한 경우의, 트랙의 배치에 대한 데이터의 배치예를 도시한 도면.
도 4는 I(b12)로부터 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면.
도 5는 I(b12)로부터 연결 촬영을 행하였을 때의, 테이프상의 데이터 배치의 상태를 도시하는 도면.
도 6은 I(b6)로부터 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면.
도 7은 I(b6)로부터 연결 촬영을 행하였을 때의, 테이프상의 데이터 배치의 상태를 도시하는 도면.
도 8은 I(b7)로부터 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면.
도 9는 I(b7)로부터 연결 촬영을 행하였을 때의, 테이프상의 데이터 배치의 상태를 도시하는 도면.
도 10은 I(b8)로부터 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면.
도 11은 I(b8)로부터 연결 촬영을 행하였을 때의, 테이프상의 데이터 배치의 상태를 도시하는 도면.
도 12는 기록상태로부터 기록 일시 정지상태, 또한 기록상태의 동작에 의해 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면.
도 13은 기록상태로부터 기록 일시 정지상태로 하였을 때의, 테이프상의 데이터 배치의 상태를 도시하는 도면.
도 14는 기록상태로부터 기록 일시 정지상태, 또한 기록상태의 동작에 의해 연결 촬영을 행하였을 때의, 테이프상의 데이터 배치의 상태를 도시하는 도면.
※도면의 주요부분에 대한 부호 설명※
1: 마이크 2: 마이크 앰플리파이어
3: A/D 변환기 4: MPEG 오디오 인코더
5: 멀티플렉서 6: CCD
7: A/D 변환기 8: 카메라 신호 처리부
9: MPEG 비디오 인코더 10: D/A 변환기
11: 기록 앰플리파이어 12: 기록 헤드
13: 테이프 14: 재생 헤드
15: 재생 앰플리파이어 16: A/D 변환기
17: 디멀티플렉서 18: MPEG 오디오 디코더
19: D/A 변환기 20: MPEG 비디오 디코더
21: D/A 변환기 22: 시스템 제어 블록
23: 캡스턴 모터 24: 드럼 모터
S1: MPEG 오디오 비트 스트림 S2: MPEG 비디오 비트 스트림
S3: MPEG 오디오 비트 스트림 S4: MPEG 비디오 비트 스트림
S5: 아날로그 오디오 신호 S6: 아날로그 비디오 신호
S7: 키 입력 신호 S8: 재생하고 있는 테이프상의 트랙의 번호
S11: 드럼 모터 회전정보 S12: 출력화 제어 정보
S13: 인코드화의 픽처 종류 제어 정보 S14: 캡스턴 모터 제어 정보
S15: 드럼 모터 제어 정보 T1 내지 T12: 트랙
(과제를 해결하기 위한 수단)
상기 과제를 달성하기 위해서, 청구항 1의 영상 신호 기록 재생 장치는, MPEG 방식으로 부호화된 영상신호를 기록매체로 기록 및 재생하는 영상 신호 기록 재생 장치로서, 연결 촬영의 단위를 I 픽처 및 P 픽처의 어느 한쪽이 나타나는 단위로 하는 것을 특징으로 한다.
청구항 2의 영상 신호 기록 재생 장치는, 연결 촬영은, I 픽처로부터 기록을 개시하고, 이 I 픽처를 후방 참조하여 부호화된 B 픽처가 있다면, 이 I 픽처에 더하여 이 B 픽처 전부를 기록하는 것을 특징으로 한다.
청구항 3의 영상 신호 기록 재생 장치는, 연결 촬영은, 기록 매체에 기록되어 있는 화상 중, 남기는 최후의 화상으로서 지정된 화상이 I 픽처일 때, 이 I 픽처와, 이 I 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록매체에 남기고, 기록매체에 기록되어 있는 화상 중, 남기는 최후의 화상으로서 지정된, 화상이 P 픽처일 때, 이 P 픽처와, 이 P 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록매체에 남기고, 기록매체에 기록되어 있는 화상 중, 남기는 최후의 화상으로서 지정된 화상이 B 픽처일 때, 이 B 픽처와, 이 B 픽처에 연속하는 B 픽처 전부를 기록매체에 남기고, 연결 촬영을 하는 화상을 기록하는 것을 특징으로 한다.
청구항 4의 영상 신호 기록 재생 장치는, 연결 촬영은, 연결 촬영에서 기록을 하는 화상 중, 최후의 화상으로서 지정된 화상이 I 픽처일 때, 이 I 픽처와 이 I 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록한 후, 기록을 종료하고, 연결 촬영에서 기록을 하는 화상 중, 최후의 화상으로서 지정된 화상이 P 픽처일 때, 이 P 픽처와, 이 P 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록한 후, 기록을 종료하고, 연결 촬영에서 기록을 하는 화상 중, 최후의 화상으로서 지정된 화상이 B 픽처일 때, 이 B 픽처와, 이 B 픽처에 연속하는 B 픽처 전부를 기록한 후, 기록을 종료하는 것을 특징으로 한다.
상술한 수단에 의한 작용으로서는, 연결 촬영의 단위를 I 픽처 및 P 픽처의 어느 한쪽이 나타나는 단위로 함으로써, GOP 내의 연결 촬영을 가능하게 하고, 연결 촬영을 한 장소를 재생하였을 때, 어떠한 화상이라도 정확하게 복원할 수 있게 된다.
또한, 연결 촬영을 원칙으로서 I 픽처로부터 기록하고, 이 I 픽처를 후방 참조하여 부호화된 B 픽처가 있으면, 이 I 픽처에 더하여 이 B 픽처 전부를 기록함으로써, 나중에 기록한 화상을 재생하였을 때, 연결 촬영 개시화로부터 정확하게 복원하는 것이 가능하고, 더욱이 화상이 빠지는 일이 없다.
또한, 연결 촬영에서 기록 매체의 하지(下地)의 화상 중, 남겨지는 최후의 화상이 I 픽처 또는 P 픽처이면, 그것들을 참조하는 B 픽처 전부를 남기고, 남겨지는 최후의 화상이 B 픽처이면, 이 B 픽처에 연속하는 B 픽처 전부를 남기기 때문에 연결 촬영을 한 후 하지 부분을 재생하였을 때, 연결 촬영 직전의 화상까지 정확하게 복원하는 것이 가능해지며, 더욱이 화상이 빠지는 일이 없다.
또한, 연결 촬영 기록을 한 화상 중, 최후의 화상으로서 지정된 화상이 I 픽처 또는 P 픽처이면, 그것들을 참조하는 B 픽처 전부까지 기록하고, 최후의 화상으로서 지정된 화상이 B 픽처이면, 이 B 픽처에 연속하는 B 픽처 전부까지 기록하기 때문에, 연속하여 연결 촬영을 하였을 때도, 최후의 화상까지 정확하게 복원하는 것이 가능하게 되며, 더욱이 화상이 빠지는 일이 없다.
(발명의 실시 형태)
본 발명의 실시 형태 예를 도 1 내지 도 14를 참조하여 설명한다.
또한, 도면 중에서 I 픽처를 I, P 픽처를 P, B 픽처를 B로서 나타내기로 한다. 또한, I, P, B에 계속되는 괄호내의 a, b는 연속 화상의 타이틀, 괄호내의 a 또는 b의 뒤의 숫자는 픽처번호이고, MPEG 부호화되기 전의 화상의 순서를 나타내고 있다. 즉, 작은 번호부터 순차로 화면에 표시되는 것으로 한다. 또한, 각 픽처는 프레임 단위로 한다.
도 1은 카메라에서 촬영된 화상을 MPEG 영상신호로서 테이프에 기록하는 영상 신호 기록 재생 장치의 블록도이다.
먼저, 기록측으로부터 설명한다.
마이크(1)에서 음압으로부터 아날로그 음성신호로 변환된 오디오 신호는, 마이크 앰플리파이어(2)에서 증폭되고, A/D 변환기(3)에서 디지털 데이터가 된다. 그 후, MPEG 오디오 인코더(4)에서 MPEG 오디오 비트 스트림(S1)으로 변환되고, 멀티플렉서(5)에 입력된다.
카메라 화상 신호는 CCD(6)에서 광전변환되고, A/D 변환기(7)에서 디지털 데이터가 된다. 그 후, 카메라 신호 처리부(8)에서 신호처리되며, 또한, MPEG 비디오 인코더(9)에서 MPEG 비디오 비트 스트림(S2)으로 변환되고, 멀티플렉서(5)에 입력된다.
멀티플렉서(5)는 입력된 MPEG 오디오 비트 스트림(S1)과 MPEG 비디오 비트 스트림(S2)을 다중화한다. 다중화된 비트 스트림은 D/A 변환기(10)에서 아날로그 신호로 변환되며, 기록 앰플리파이어(11)에서 증폭되고, 기록 헤드(12)를 통하여 테이프(13)상에 MPEG 오디오/비디오 데이터가 기록된다.
다음에 재생측을 설명한다.
테이프(13)상에 기록된 MPEG 오디오/비디오 데이터는 재생 헤드(14)에 의해서 추출되고, 재생 앰플리파이어(15)에서 증폭되어 재생 RF 신호가 되며, A/D 변환기(16)에서 디지털 데이터가 된다.
이 디지털 데이터는 디멀티플렉서(17)에서 MPEG 오디오 비트 스트림(S3)과 MPEG 비디오 비트 스트림(S4)으로 분리된다.
MPEG 오디오 비트 스트림(S3)은 MPEG 오디오 디코더(18)에서 MPEG 부호화전의 신호로 복원되고, D/A변환기(19)에 의해 아날로그 오디오 신호(S5)에서 변환되며, 출력된다.
MPEG 비디오 비트 스트림(S4)은 MPEG 비디오 디코더(20)에서 MPEG 부호화전의 신호로 복원되고, D/A변환기(21)에 의해 아날로그 비디오 신호(S6)로 변환된다.
다음에, 시스템 제어 블록(22)을 상세히 설명한다.
입력으로서는, 이하의 것이 있다.
1) 이용자로부터의 키 입력 정보(S7)
2) 재생하고 있는 테이프상의 트랙의 번호(S8)
3) 재생하고 있는 테이프상의 트랙에 포함되는 화상의 MPEG 픽처의 종류와 픽처번호(S9)
4) 캡스턴 모터 회전 정보(S10)
5) 드럼 모터 회전 정보(S11)
출력으로서는, 이하의 것이 있다.
1) 출력화 제어 정보(S12)
2) 인코드화의 픽처 종류 제어 정보(S13)
3) 캡스턴 모터 제어 정보(S14)
4) 드럼 모터 제어 정보(S15)
이 시스템 제어 블록(22)의 동작의 개략을 설명한다.
이용자로부터의 키 입력 정보(S7)에 따라서, 본 장치의 상태를, 예를 들면 통상 재생상태, 통상 기록상태, 재생 일시 정지상태, 기록 일시 정지상태 등으로 변화시킨다. 그러므로, 캡스턴 모터 회전 정보(S10)에 근거하여 캡스턴 모터(23)를 캡스턴 모터 제어 정보(S14)에서 제어하고, 드럼 모터 회전정보(S11)에 근거하여 드럼 모터(24)를 드럼 모터 제어 정보(S15)에서 제어한다. 또한, 드럼 모터 회전정보(S11)에는 회전 속도와 회전 위상 정보가 포함된다.
또한, 통상 재생 상태 등 각 상태에 따라서, 디멀티플렉서(17)에서 검출된 재생하고 있는 테이프상의 트랙의 번호(S8), 재생하고 있는 테이프상의 트랙에 포함되는 화상의 MPEG 픽처의 종류와 픽처번호(S9)를 기초로, 출력화 제어 정보(S12)를 MPEG 비디오 디코더(20)로 보내고, 또는 인코드화의 픽처 종류 제어 정보(S13)를 MPEG 비디오 인코더(9)로 보낸다.
다음에, MPEG 비디오 인코더(9)에서 MPEG 부호화되기 전의 NTSC(National Television System Comitee) 방식 등의 화상과, MPEG 부호화된 후의 MPEG 비디오 비트 스트림의 시간적인 관계를 도 2를 참조하여 설명한다.
또한, 1GOP에 포함되는 픽처수를 9로 하고, I 픽처 또는 P 픽처의 출현 간격을 3 프레임으로 한다.
도 2에서 도시하는 바와 같이, 어떤 화상을 B 픽처로서 부호화하기 위해서는, 그것보다 시간적으로 뒤에 표시하는 화상을 먼저 I 픽처로서 부호화한 후, B 픽처를 부호화한다. 그러므로, 부호화 후의 데이터열은 표시순서와 다르다.
예를 들면, a0의 화상을 B 픽처로서 부호화하기 위해서는, 시간적으로 2개 뒤의 a2의 화상을 I 픽처로서 부호화한 후에 부호화한다.
MPEG 부호화한 화상 데이터를 헬리컬 스캔 방식에 의해 테이프(13)상에 기록한 경우의, 트랙의 배치에 대한 데이터의 배치예를 도 3에 도시한다. 또한, 헬리컬 스캔 방식의 경우, 트랙은 비스듬하게 되지만, 간단히 하기 위해서 직각으로 나타내고 있다. 도 3에서 굵은 선이 픽처의 커트 라인이다.
최초의 트랙인 트랙(T1)에는 I(a2)가 기록되고, 트랙(T2)에는 I(a2)의 나머지와 B(a0)가 기록되며, 트랙(T3)에는 B(a0)의 나머지와 B(a1), P(a5)가 기록된다. 각 픽처의 데이터의 길이가 다른 것은 MPEG 방식에 의한 각 픽처의 부호화의 특징이다.
MPEG 비트 스트림을 그대로 테이프상에 기록하기 때문에, I(a2), B(a0), B(a1)의 순이 되고, 여기서도 원래의 영상의 순서와 데이터의 순서는 다르다.
다음에, 연결 촬영의 예로서, 도 3과 같이 기록된 테이프에 대하여, 재생으로부터 어떤 다른 영상을 중복 기재할 때의 시스템 제어 블록(22)의 동작을 설명한다.
이용자로부터의 키 입력 정보(S7)에 의해, 먼저 테이프를 재생하고, 중복 기재하고자 하는 최초의 화상의 부분에서 재생 일시 정지상태로 함으로써 편집점을 지정하고, 다음에 기록 일시 정지상태로 한다. 그리고, 입력되어 있는 화상을 보고, 기록을 개시하고자 하는 화상으로부터 기록상태로 한다.
테이프의 하지의 화상(a)에 화상(b)을 후 기재하는 예에 대해서, 재생 일시 정지로 되어 있는 상태가 하지의 화상(a)의 I 픽처후인 경우, P 픽처후인 경우, B 픽처후인 2개의 경우의, 계 4개의 경우로 나눠 상세히 설명한다.
〈I(a11)후에서 재생 일시 정지로 되어 있는 경우〉
도 4와 도 5를 참조하여 설명한다. 도 4는 I(a11)후에 화상(b)을 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면이고, 도 5는 그 때의 테이프상의 데이터 배치의 상태를 도시하는 도면이다.
남기고자 하는 화상(a)의 최후의 화상은 I(a11)이다. 남기고자 하는 최후의 화상이 I 픽처일 때는, I 픽처와 이 I 픽처를 후방 참조하고 있는 B 픽처를 모두 남긴 후에, 다음의 기록을 한다. 화상순으로는 I(a11)는 B(a9), B(a10)보다 뒤이지만, 도 4에 도시하는 바와 같이, 테이프상에서는 I(a11)는 B(a9), B(a10)보다 앞에 기록되어 있기 때문이다.
그래서, I(a11), B(a9), B(a10)의 데이터를 모두 남기고, 테이프상 그 후에 I(b12)로부터 화상(b)을 기록한다.
도 5에서 도시하는 바와 같이, 테이프상에는 하지의 화상의 B(a10)가 트랙(T8)에 기록되어 있기 때문에, 트랙(T9)으로부터 I(b12), P(b15), B(b13)의 순으로 기록해 간다. B(b10), B(b11)는 불필요하기 때문에 기록하지 않는다.
또한, 트랙(T8)에서 P(a14)가 남아 있다. 이 부분은 불필요하기 때문에 여기에서 I(b12)를 기록해도 된다.
기록후에, 연결부를 재생하였을 때의 화상의 보이는 방법은, 도 4에 도시하는 바와 같이, B(a10), I(a11), I(b12), B(b13), B(b14)의 순이 되고, 정확하게 연결 촬영이 되어 있다. 화상의 전환은 I(a11)와 I(b12)의 사이이고, 편집 정밀도는 ±0프레임이다.
〈P(a5)후에서 재생 일시 정지로 되어 있는 경우〉
도 6과 도 7을 참조하여 설명한다. 도 6은 P(a5)후에 I(b6)로부터 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면이고, 도 7은 그 때의 테이프상의 데이터 배치의 상태를 도시하는 도면이다.
남기고자 하는 화상(a)의 최후의 화상은 P(a5)이다. 남기고자 하는 최후의 화상이 P 픽처일 때는, P 픽처와 이 P 픽처를 후방 참조하고 있는 B 픽처를 전부 남긴 후에, 다음의 기록을 한다. 화상순으로는 P(a5)는 B(a3), B(a4)보다 뒤이지만, 도 6에 도시하는 바와 같이, 테이프상에서는 P(a5)는 B(a3), B(a4)보다 앞에 기록되어 있기 때문이다.
그래서, P(a5), B(a3), B(a4)의 데이터를 모두 남기고, 테이프상 그 후에 I(b6)로부터 화상(b)을 기록한다.
도 7에서 도시하는 바와 같이, 테이프상에는 하지의 화상의 B(a4)가 트랙(T4)에 기록되어 있기 때문에, 트랙(T5)으로부터 I(b6), P(b9), B(b7)의 순으로 기록해 간다.
또한, 트랙(T4)에서 P(a8)가 남아 있다. 이 부분은 불필요하기 때문에, 여기에서 I(b6)를 기록해도 된다.
기록후에, 연결부를 재생하였을 때의 화상의 보이는 방법은, 도 6에 도시하는 바와 같이, B(a4), P(a5), I(b6), B(b7), B(b8)의 순이 되고, 정확하게 연결 촬영이 되고 있다. 화상의 전환은 P(a5)와 I(b6)의 사이이고, 편집 정밀도는 ±0 프레임이다.
〈B(a6)후에서 재생 일시 정지로 되어 있는 경우〉
도 8과 도 9를 참조하여 설명한다. 도 8은 B(a6)후에 화상(b)을 연결 촬영하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면이고, 도 9는 그 때의 테이프상의 데이터 배치의 상태를 도시하는 도면이다.
남기고자 하는 화상(a)의 최후의 화상은 B(a6)이다. 남기고자 하는 최후의 화상이 B 픽처일 때는, B 픽처와 이 B 픽처에 연속하는 B 픽처를 모두 남긴 후에, 다음의 기록을 한다. B(a6)는 P(a8)가 없으면 완전하게는 복원할 수 없고, P(a8)까지 출력하기 위해서는 B(a7)가 없으면 화상이 빠지기 때문이다.
그래서 도 8에 도시하는 바와 같이, B(a6), B(a7)의 데이터를 모두 남기고, 테이프상 그 후에 I(b11)로부터 화상(b)을 기록한다. 영상의 순서로는 B(b9), B(b10), I(b11)의 순서이지만, MPEG 비트 스트림의 순서로는 I(b11)의 쪽이 B(b9)보다 앞이기 때문이다.
도 9에서 도시하는 바와 같이, 테이프상에는 하지의 화상의 B(a7)가 트랙(T6)에 기록되어 있기 때문에, 트랙(T7)으로부터 I(b11), B(b9), B(b10)의 순으로 기록해 간다.
또한, 트랙(T6)에서 I(a11)가 남아 있다. 이 부분은 불필요하기 때문에 여기에서 I(b11)를 기록해도 된다.
기록후에, 연결부를 재생하였을 때의 화상은, 도 8에 도시하는 바와 같이, B(a7), P(a8), B(b9), B(b10), I(b11)의 순이 된다. 화상의 전환은 P(a8)와 B(b9)의 사이이며, 편집 정밀도는 +2 프레임이다. 이 +란 편집점에 대하여 지연 방향임을 나타내는 것이다.
〈B(a7)후에서 재생 일시 정지로 되어 있는 경우〉
도 10과 도 11을 참조하여 설명한다. 도 10은 B(a7)후에 화상(b)을 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면이고, 도 11은 그 때의 테이프상의 데이터 배치의 상태를 도시하는 도면이다.
남기고자 하는 화상(a)의 최후의 화상은 B(a7)이다. 남기고자 하는 최후의 화상이 B 픽처일 때는, B 픽처와 이 B 픽처에 연속하는 B 픽처를 모두 남긴 후에, 다음의 기록을 한다.
따라서 B(a7)까지의 데이터를 모두 남기고, 테이프상 그 후에 I(b11)로부터 화상(b)을 기록한다. 영상의 순서로는 B(b9), B(b10), I(b11)의 순서이지만, 도 10에 도시하는 바와 같이, MPEG 비트 스트림의 순서로는 I(b11)의 쪽이 B(b9)보다 앞이기 때문이다.
도 11에서 도시하는 바와 같이, 테이프상에는 하지의 화상의 B(a7)가 트랙(T6)에 기록되어 있기 때문에, 트랙(T7)으로부터 I(b11), B(b9), B(b10)의 순으로 기록해 가고, 도 9와 같은 결과가 된다.
또한, 트랙(T6)에서 I(a11)가 남아 있다. 이 부분은 불필요하기 때문에 여기에서 I(b11)를 기록해도 된다.
기록후에, 연결부를 재생하였을 때의 화상은, 도 10에 도시하는 바와 같이, B(a7), P(a8), B(b9), B(b10), I(b11)의 순이 된다. 화상의 전환은 P(a8)와 B(b 9)의 사이이고, 편집 정밀도는 +1프레임이다. 이 +는 편집점에 대하여 지연 방향임을 나타내는 것이다.
이상과 같이, 연결 촬영은, 원칙으로서 I 픽처로부터 기록을 개시하고, I 픽처를 후방 참조하여 부호화된 B 픽처가 있으면, 그것들의 B 픽처 전부를 기록함으로써, 빠짐이 없는 연속 화상을 기록할 수 있다.
또한, 연결 촬영의 단위는 I 픽처 또는 P 픽처가 나타나는 단위로 된다. 이 단위는 통상 3 프레임이다.
다음에, 연결 촬영의 예로서, 기록상태로부터 기록일시 정지상태로 하고, 또한, 기록상태, 기록일시 정지상태로 바꿔가는 경우를 도 12 내지 도 14를 참조하여 설명한다.
도 12는 기록상태로부터 기록일시 정지상태, 또한, 기록상태의 동작에 의해 연결 촬영을 행하였을 때의, 재생시의 화상의 보이는 방법을 설명하는 도면이며, 도 13은 기록 상태로부터 기록일시 정지상태로 하였을 때의, 테이프상의 데이터 배치의 상태를 도시하는 도면이고, 도 14는 기록상태로부터 기록 일시 정지상태, 또한 기록 상태의 동작에 의해 연결 촬영을 행하였을 때의 테이프상의 데이터 배치의 상태를 도시하는 도면이다.
상술한 한번 재생 일시 정지상태 편집점을 지정하고, 그 후 연결 촬영 기록을 개시하는 경우와 동일하지만, 편집점의 위치가 기록상태로부터 기록일시 정지상태로 될 때에 자동적으로 지정된다.
기록상태에서, 기록 일시 정지 상태로의 키 입력 정보(S7)가 도 12에서 도시하는 B(a6)의 화상을 표시하고 있을 때에 있었을 때, 2매의 화상을 기록한 후에 기록 일시 정지 상태로 하는 것을 목표로 한다. B(a6)는 P(a8)를 참조하여 부호화되어 있기 때문에, P(a8)의 데이터까지 남기면 완전히 복원할 수 있기 때문이다.
따라서, B(a6)로부터 2매후의 화상인 P(a8)까지 테이프에 기록한다.
도 13에 도시하는 바와 같이, P(a8)의 화상까지 기록하기 때문에, B(a6)와 B(a7)를 기록한 후에 기록을 종료한다. 즉, 트랙(T6)까지 기록된다.
또한, 트랙(T6)에서 I(a11)의 처음의 부분까지 기록되어 있지만, 이 부분은 불필요하기 때문에, 무효 데이터를 기록해도 되고, 무효 데이터임을 알 수 있도록 기록을 해두어도 된다.
그 후, 화상(b)을 B(b9)로부터 기록한다. 최초의 2매는 후방 참조만의 B 픽처이고 다음에 I 픽처이다.
도 14에서 도시하는 바와 같이, 테이프상에는 하지의 화상의 B(a7)가 트랙(T6)에 기록되어 있기 때문에, 트랙(T7)으로부터 I(b11), B(b9), B(b10)의 순으로 기록해 간다.
기록후, 연결부를 재생하였을 때의 화상은, 도 12에 도시하는 바와 같이, B(a7), P(a8), B(b9), B(b10), I(b11)의 순이 된다. 화상이 전환되는 P(a8)와 B(b9)의 사이에서, 편집 정밀도는 ±0프레임이다.
키 입력의 타이밍에 의해, 목표로 하는 최후의 화상에 대한 실제로 기록되는 화상의 어긋남은, 상술한 한번 재생 일시정지 상태 편집점을 지정하고, 그 후 연결 촬영 기록을 개시하는 경우와 같이, ±0 프레임, +1 프레임, +2 프레임의 어느 하나가 된다.
또한, 실제로는, 표시하고 있는 화상이 테이프에 기록될 때까지는 지연시간이 존재하기 때문에, 이 지연시간을 맞추어서 생각하여 상술한 처리를 실현하게 된다.
이상과 같이, 연결 촬영 기록을 하는 화상 중, 최후의 화상으로서 지정된 화상이 B 픽처일 때는, B 픽처와, B 픽처에 연속하는 B 픽처 전부를 기록함으로써 기록을 종료한다.
여기서, 최후의 화상으로서 지정된 화상이 I 픽처일 때는, I 픽처와, 이 I 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록한다. 이 B 픽처는 I 픽처보다 앞의 화상이기 때문이다.
예를 들면, I(a11)가 지정되었으면, I(a11)를 참조하고 있는 B(a9), B(a10)도 기록한다.
마찬가지로, 최후의 화상으로서 지정된 화상이 P 픽처일 때는, P 픽처와, 이 P 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록한다. 이 B 픽처는 P 픽처보다 앞의 화상이기 때문이다.
예를 들면, P(a8)가 지정되었다면, P(a8)를 참조하고 있는 B(a6), B(a7)도 기록한다.
이상, 테이프에 기록하는 기록 재생 장치를 예로 설명하였지만, 테이프 뿐만아니라 디스크형 기록매체에 기록하는 기록 재생 장치에서도 가능하다. 디스크형 기록매체로의 기록에서는, 헬리컬 스캔으로 기록된 테이프의 1트랙이, 1섹터 또는 트랙의 디스크 1주 등에 상당하기 때문에, 트랙을 섹터 등으로 바꿔 놓고 생각하면 된다.
본 발명의 영상 신호 기록 재생 장치에 의하면, MPEG 영상신호를 1GOP 내의 단위로 연결 촬영할 때, 하지의 화상을 디코드하고, 다시 인코드할 필요가 없기 때문에, 장치의 구성을 간략화할 수 있다.
또한, 실제의 후기록 연결 촬영 기록의 기록 개시 위치와, 하지 테이프상에서 기록을 개시하려고 지정한 위치와의 어긋남을, 표시화면에서 생각하고, 하지 테이프상의 I 픽처 또는 P 픽처가 나타나는 간격 이하로 할 수 있다. 예를 들면, 하지 테이프상의 I 픽처 또는 P 픽처가 나타나는 간격이 3 프레임 단위일 때, 상기의 어긋남은 0프레임, +1 프레임 또는 +2 프레임으로 할 수 있다.
이것은, 편집의 IN 포인트의 정밀도를 0 프레임, 1 프레임 또는 2 프레임으로 하는 것이 가능한 것도 의미한다,
또한, 기록의 종료시에, 이 화상까지 기록하고자 지정한 화상과 실제로 테이프상에 기록되는 면과의 어긋남을, 표시화면에서 생각하고, MPEG 부호화된 화상의 I 픽처 또는 P 픽처가 나타나는 간격 이하로 할 수 있다. 예를 들면, I 픽처 또는 P 픽처가 나타나는 간격이 3 프레임 간격일 때, 어긋남 량은 0 프레임, 11 프레임 또는 12 프레임의 어느 하나로 하는 것이 가능해진다.

Claims (8)

  1. MPEG 방식으로 부호화된 영상신호를 기록매체로 기록 및 재생하는 영상 신호 기록 재생 장치에 있어서,
    연결 촬영의 단위를 I 픽처 및 P 픽처의 어느 한쪽이 나타나는 단위로 하는 것을 특징으로 하는 영상 신호 기록 재생 장치.
  2. 제 1 항에 있어서,
    상기 연결 촬영은,
    I 픽처로부터 기록을 개시하고,
    상기 I 픽처를 후방 참조하여 부호화된 B 픽처가 있으면, 상기 I 픽처에 더하여 상기 B 픽처 전부를 기록하는 것을 특징으로 하는 영상 신호 기록 재생 장치.
  3. 제 1 항에 있어서,
    상기 연결 촬영은,
    상기 기록매체에 기록되어 있는 화상 중, 남기는 최후의 화상으로서 지정된 화상이 I 픽처일 때, 상기 I 픽처와, 상기 I 픽처를 후방 참조하여 부호화된 B 픽처 전부를 상기 기록매체에 남기고,
    상기 기록매체에 기록되어 있는 화상 중, 남기는 최후의 화상으로서 지정된 화상이 P 픽처일 때, 상기 P 픽처와, 상기 P 픽처를 후방 참조하여 부호화된 B 픽처 전부를 상기 기록매체에 남기며,
    상기 기록매체에 기록되어 있는 화상 중, 남기는 최후의 화상으로서 지정된 화상이 B 픽처일 때, 상기 B 픽처와, 상기 B 픽처에 연속하는 B 픽처 전부를 상기 기록매체에 남기고,
    연결 촬영을 하는 화상을 기록하는 것을 특징으로 하는 영상 신호 기록 재생 장치.
  4. 제 1 항에 있어서,
    상기 연결 촬영은,
    상기 연결 촬영에서 기록을 하는 화상 중, 최후의 화상으로서 지정된 화상이 I 픽처일 때, 상기 I 픽처와, 상기 I 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록한 후, 기록을 종료하고,
    상기 연결 촬영에서 기록을 하는 화상중, 최후의 화상으로서 지정된 화상이 P 픽처일 때, 상기 P 픽처와, 상기 P 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록한 후, 기록을 종료하고,
    상기 연결 촬영에서 기록을 하는 화상중, 최후의 화상으로서 지정된 화상이 B 픽처일 때, 상기 B 픽처와, 상기 B 픽처에 연속하는 B 픽처 전부를 기록한 후, 기록을 종료하는 것을 특징으로 하는 영상 신호 기록 재생 장치.
  5. MPEG 방식으로 부호화된 영상신호를 기록매체로 기록 및 재생하는 영상 신호 기록 재생 방법에 있어서,
    연결 촬영의 단위를 I 픽처 및 P 픽처의 어느 한쪽이 나타나는 단위로 하는 것을 특징으로 하는 영상신호 기록 재생 방법.
  6. 제 5 항에 있어서,
    상기 연결 촬영은,
    I 픽처로부터 기록을 개시하는 스텝과,
    상기 I 픽처를 후방 참조하여 부호화된 B 픽처가 있으면, 상기 I 픽처에 더하여 상기 B 픽처 전부를 기록하는 스텝으로 이루어지는 것을 특징으로 하는 영상신호 기록 재생 방법.
  7. 제 5 항에 있어서,
    상기 연결 촬영은,
    상기 기록매체에 기록되어 있는 화상중, 남기는 최후의 화상으로서 지정된 화상이 I 픽처일 때, 상기 I 픽처와, 상기 I 픽처를 후방 참조하여 부호화된 B 픽처전부를 상기 기록매체에 남기고,
    상기 기록매체에 기록되어 있는 화상중, 남기는 최후의 화상으로서 지정된 화상이 P 픽처일 때, 상기 P 픽처와, 상기 P 픽처를 후방 참조하여 부호화된 B 픽처전부를 상기 기록매체에 남기며,
    상기 기록매체에 기록되어 있는 화상중, 남기는 최후의 화상으로서 지정된 화상이 B 픽처일 때, 상기 B 픽처와, 상기 B 픽처에 연속하는 B 픽처 전부를 상기 기록매체에 남기고,
    연결 촬영을 하는 화상을 기록하는 것을 특징으로 하는 영상신호 기록 재생 방법.
  8. 제 5 항에 있어서,
    상기 연결 촬영은,
    상기 연결 촬영에서 기록을 하는 화상중, 최후의 화상으로서 지정된 화상이 I 픽처일 때, 상기 I 픽처와, 상기 I 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록한 후, 기록을 종료하고,
    상기 연결 촬영에서 기록을 하는 화상중, 최후의 화상으로서 지정된 화상이 P 픽처일 때, 상기 P 픽처와, 상기 P 픽처를 후방 참조하여 부호화된 B 픽처 전부를 기록한 후, 기록을 종료하며,
    상기 연결 촬영에서 기록을 하는 화상중, 최후의 화상으로서 지정된 화상이 B 픽처일 때, 상기 B 픽처와, 상기 B 픽처에 연속하는 B 픽처 전부를 기록한 후, 기록을 종료하는 것을 특징으로 하는 영상신호 기록 재생 방법.
KR1019990052911A 1998-11-26 1999-11-26 영상 신호 기록 재생 방법 및 장치 KR100666287B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP98-336282 1998-11-26
JP10336282A JP2000165803A (ja) 1998-11-26 1998-11-26 映像信号記録再生装置

Publications (2)

Publication Number Publication Date
KR20000035719A true KR20000035719A (ko) 2000-06-26
KR100666287B1 KR100666287B1 (ko) 2007-01-11

Family

ID=18297507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990052911A KR100666287B1 (ko) 1998-11-26 1999-11-26 영상 신호 기록 재생 방법 및 장치

Country Status (4)

Country Link
EP (1) EP1005042A3 (ko)
JP (1) JP2000165803A (ko)
KR (1) KR100666287B1 (ko)
CN (1) CN1114211C (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6707778B1 (en) 1999-11-10 2004-03-16 Thomson Licensing S.A. Edit to picture without decoding and re-encoding of MPEG bit stream for recordable DVD
JP3938019B2 (ja) 2002-11-22 2007-06-27 キヤノン株式会社 記録装置及び記録方法
US9715898B2 (en) * 2003-12-16 2017-07-25 Core Wireless Licensing S.A.R.L. Method and device for compressed-domain video editing
JP4203756B2 (ja) * 2004-11-05 2009-01-07 ソニー株式会社 撮像装置および記録制御方法
US8904426B2 (en) * 2008-06-30 2014-12-02 Rgb Networks, Inc. Preconditioning ad content for digital program insertion
JP5241865B2 (ja) * 2011-01-21 2013-07-17 日立コンシューマエレクトロニクス株式会社 ビデオカメラ
CN104243920B (zh) * 2014-09-04 2017-09-26 浙江宇视科技有限公司 一种基于基本流视频数据封装的图像拼接方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557331A (en) * 1993-03-11 1996-09-17 Matsushita Electric Industrial Co., Ltd. Image encoding method, an image encoding circuit, an image encoding apparatus, and an optical disk
JPH07212766A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
US5771081A (en) * 1994-02-28 1998-06-23 Korea Telecommunication Authority Bit system for transmitting digital video data
US5534944A (en) * 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video
GB2294173B (en) * 1994-10-11 1998-12-09 Mitsubishi Electric Corp Disk media, and method of and device for recording and playing back information on or from a disk media
JPH08214265A (ja) * 1995-01-31 1996-08-20 Sony Corp 符号化データの再生方法および再生装置
US5774593A (en) * 1995-07-24 1998-06-30 University Of Washington Automatic scene decomposition and optimization of MPEG compressed video

Also Published As

Publication number Publication date
CN1255706A (zh) 2000-06-07
JP2000165803A (ja) 2000-06-16
EP1005042A3 (en) 2002-06-12
KR100666287B1 (ko) 2007-01-11
EP1005042A2 (en) 2000-05-31
CN1114211C (zh) 2003-07-09

Similar Documents

Publication Publication Date Title
EP1230795B1 (en) Eliminating picture format artifacts in mpeg trick modes
EP0689364A3 (en) Recording and playback of image signals
JP2010178124A (ja) 記録装置及び記録方法
US5802226A (en) Method and apparatus for video fade effect with a single video source
KR100666287B1 (ko) 영상 신호 기록 재생 방법 및 장치
US20030021583A1 (en) Changing a playback speed for video presentation recorded in a field structure format
JP3394102B2 (ja) 光ディスクの再生方法及び再生装置
JP2685901B2 (ja) ディジタル信号の信号処理装置
JPH0918830A (ja) 映像編集装置
JP2735289B2 (ja) ディジタル信号の信号処理装置
JPH1013783A (ja) 圧縮画像データのインサート編集方式
JP2638642B2 (ja) ディジタル信号の信号処理装置
KR20000023399A (ko) 디지털 신호의 자기 기록장치 및 방법, 디지털 신호의자기 재생장치 및 방법과 테이프 형상 기록매체
JPH10276395A (ja) 画像処理装置および画像処理方法、並びに記録媒体
US7203012B2 (en) Signal processing apparatus
JP4120056B2 (ja) 再生装置及び再生方法
JP3478130B2 (ja) 情報記録媒体
JP3849646B2 (ja) 映像信号記録再生装置
JP2678063B2 (ja) ディジタル信号の信号処理装置
JPH11177934A (ja) 再生方法及び再生装置及び記録再生方法及び記録再生装置
JP2001211420A (ja) ディスク記録媒体における圧縮符号化ストリームの編集方法および編集装置
JP3885525B2 (ja) 符号化信号記録装置
JP2786481B2 (ja) ディジタル信号の信号処理装置
JP3476149B2 (ja) 記録再生装置
JP2635768B2 (ja) ディジタル信号の信号処理方法およびその信号処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee