KR100363733B1 - Multi-chennel image encoding system using synch priority detection - Google Patents

Multi-chennel image encoding system using synch priority detection Download PDF

Info

Publication number
KR100363733B1
KR100363733B1 KR1020000006982A KR20000006982A KR100363733B1 KR 100363733 B1 KR100363733 B1 KR 100363733B1 KR 1020000006982 A KR1020000006982 A KR 1020000006982A KR 20000006982 A KR20000006982 A KR 20000006982A KR 100363733 B1 KR100363733 B1 KR 100363733B1
Authority
KR
South Korea
Prior art keywords
channel
input
priority
channels
synchronization signal
Prior art date
Application number
KR1020000006982A
Other languages
Korean (ko)
Other versions
KR20010083460A (en
Inventor
한기만
Original Assignee
주식회사 훠엔시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 훠엔시스 filed Critical 주식회사 훠엔시스
Priority to KR1020000006982A priority Critical patent/KR100363733B1/en
Priority to US10/203,822 priority patent/US7050496B2/en
Priority to PCT/KR2001/000228 priority patent/WO2001061999A1/en
Priority to AU72077/01A priority patent/AU7207701A/en
Publication of KR20010083460A publication Critical patent/KR20010083460A/en
Application granted granted Critical
Publication of KR100363733B1 publication Critical patent/KR100363733B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동기신호에 의해 입력채널의 입력 순서 및 시간이 결정되는 다채널 비디오 신호를 인코딩하기 위한 다채널 영상 인코딩 시스템은, 각 채널의 비디오 신호로부터 동기신호를 분리하는 수단과, 입력채널들의 동기신호의 위상에 따라 입력채널의 우선순위를 결정하는 수단과, 검출된 우선 순위에 따라 다채널 입력 신호를 한 채널씩 차례대로 제공하는 수단과, 제공된 입력 신호를 인코딩하는 수단을 포함한다. 다채널 영상 인코딩 시스템은 안정된 인코딩 프레임율을 얻을 수 있다. 종래에는 시간의 변화 및 입력채널 수의 변화에 따라 인코딩 프레임율이 변하였으나, 본 발명에서는 입력채널간 동기신호의 위상을 이용하여 입력채널을 정렬함으로써, 시간의 변화 및 입력채널 수의 변화와 관계없이 일정한 영상 프레임율을 얻을 수 있다.A multichannel video encoding system for encoding a multichannel video signal whose input order and time of an input channel is determined by a synchronization signal includes means for separating a synchronization signal from a video signal of each channel, and a phase of the synchronization signal of the input channels. And means for determining the priority of the input channel according to the first priority, means for sequentially providing the multi-channel input signal by one channel according to the detected priority, and means for encoding the provided input signal. The multichannel video encoding system can obtain a stable encoding frame rate. In the related art, although the encoding frame rate is changed according to a change in time and a change in the number of input channels, in the present invention, the input channels are aligned using the phase of the synchronization signal between input channels, and thus the relationship between the change in time and the number of input channels is related. A constant image frame rate can be obtained without.

Description

동기신호 우선순위 검출을 이용한 다채널 영상 인코딩 시스템{MULTI-CHENNEL IMAGE ENCODING SYSTEM USING SYNCH PRIORITY DETECTION}MULTI-CHENNEL IMAGE ENCODING SYSTEM USING SYNCH PRIORITY DETECTION}

본 발명은 다채널 영상 인코딩 시스템에 관한 것으로, 특히 입력채널의 동기신호들간의 위상을 이용한 우선 순위 검출을 통하여 안정된 프레임율(frame rate)을 얻을 수 있는 영상 인코딩 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multi-channel video encoding system, and more particularly, to a video encoding system capable of obtaining a stable frame rate through priority detection using phases between synchronization signals of an input channel.

디지털 감시 시스템, 원격 영상회의 시스템, 다채널 원격 기계화 시스템, 원격 모니터링 시스템 등 다수의 신호원을 갖는 디지털 영상 시스템의 사용이 증가하고 그 응용 분야는 더욱 확장되고 있다. 예를 들면, 은행의 감시 시스템은 은행의 입구, 내부, 금고, 그리고 현금인출기 등의 장소에 설치된 카메라로부터 비디오 신호를 입력받게 된다.The use of digital video systems with multiple signal sources, such as digital surveillance systems, remote video conferencing systems, multi-channel remote mechanization systems, remote monitoring systems, is increasing and their applications are expanding. For example, a bank's surveillance system receives video signals from cameras installed at bank entrances, interiors, safes, and atm machines.

일반적으로, 다채널 신호원으로부터 입력된 영상을 하나의 스트림으로 인코딩하는 영상 인코딩 시스템에서, 입력되는 디지털 비디오 신호의 동기신호는 아날로그 비디오 신호원이 발생시키는 동기신호에 의하여 결정된다. 아날로그 비디오 신호원들이 발생시키는 동기신호들은 서로 정확한 주기를 갖지 않는다. 예를 들어, 다채널 감시 시스템의 경우, 비록 동일한 제품의 감시 카메라를 사용하여도, 각 카메라가 출력하는 동기신호는 약간씩 다르다. 따라서, 입력채널의 동기신호의 위상차는 시간에 따라 조금씩 변하게 되고, 이에 의해 인코딩된 프레임율도 조금씩 변화한다. 또한, 특정 시간에서 영상 인코딩을 하는 경우에도, 어느 채널의 위상을 기준으로 하는가에 따라 인코딩된 프레임율이 다를 수 있다.In general, in an image encoding system for encoding an image input from a multi-channel signal source into one stream, the synchronization signal of the input digital video signal is determined by the synchronization signal generated by the analog video signal source. Synchronization signals generated by analog video signal sources do not have accurate periods. For example, in the case of a multi-channel surveillance system, even when using the surveillance cameras of the same product, the synchronization signal output from each camera is slightly different. Therefore, the phase difference of the synchronization signal of the input channel changes little by time, and thereby the encoded frame rate also changes little by little. In addition, even when image encoding is performed at a specific time, the encoded frame rate may vary depending on which channel's phase is referenced.

전술한 프레임율의 변화 문제는 입력채널의 수가 증가할수록 심해진다. 입력채널의 수가 증가하면 각 입력채널간 위상의 변화폭이 증가하며, 따라서 프레임율의 변화도 심화된다.The problem of changing the frame rate described above becomes worse as the number of input channels increases. As the number of input channels increases, the change in phase of each input channel increases, and thus the change in frame rate is intensified.

따라서, 다채널 입력을 갖는 영상 인코딩 시스템에서는 안정적인 프레임율을 얻는 방법, 즉 입력채널 개수의 증감 및 시간의 변화에 관계없이 일정한 프레임율을 얻는 방법이 요구되고 있다.Therefore, in a video encoding system having a multi-channel input, a method of obtaining a stable frame rate, that is, a method of obtaining a constant frame rate regardless of increase or decrease of the number of input channels and change of time is required.

본 발명은 전술한 다채널 영상 인코딩 시스템이 갖고 있는 프레임율의 변화 문제를 해결하고, 입력채널의 개수 및 시간의 변화와 관계없이 일정한 프레임율을 갖는 영상 인코딩 시스템을 제공하고자 하는 것을 목적으로 한다.An object of the present invention is to solve the problem of changing the frame rate of the multi-channel video encoding system described above, and to provide a video encoding system having a constant frame rate regardless of the number and time of input channels.

본 발명의 목적을 달성하기 위하여, 하나의 입력채널의 동기신호를 기준으로 입력데이타를 정렬하고, 정렬된 채널 데이터를 순차적으로 사용하여 영상 인코딩을 수행한다. 이와 같은 방법에 의해, 안정된 프레임율을 얻을 수 있게 된다.In order to achieve the object of the present invention, the input data is aligned based on the synchronization signal of one input channel, and the image encoding is performed using the aligned channel data sequentially. By such a method, a stable frame rate can be obtained.

도 1은 본 발명에 의한 다채널 영상 인코딩 시스템의 일 실시예의 블록도.1 is a block diagram of one embodiment of a multichannel video encoding system according to the present invention;

도 2는 정렬되지 않은 4개 채널의 동기신호간의 위상을 나타내는 도면.2 is a diagram showing phases between synchronization signals of four channels that are not aligned.

도 3은 도 2에 도시된 4개 채널의 동기신호를 본 발명에 의해 정렬하는 경우, 4개 채널의 동기신호간의 위상을 나타내는 도면.FIG. 3 is a diagram showing phases between four channels of synchronization signals when the synchronization signals of the four channels shown in FIG. 2 are aligned in accordance with the present invention. FIG.

도 4는 본 발명에 따른 채널 정렬 방법을 나타내는 흐름도.4 is a flow chart illustrating a channel alignment method in accordance with the present invention.

<도면의 주요부분에 대한 부호설명><Code Description of Main Parts of Drawing>

13 : 우선 순위 검출 및 채널 스위칭기13: priority detection and channel switcher

15 : MPEG 인코더15: MPEG encoder

17 : 메모리 블록 스위칭기17: memory block switch

19 : 사용자 코드 삽입기19: user code inserter

23 : 레지스터23: register

본 발명에 의한 동기신호에 의해 입력채널의 입력 순서 및 시간이 결정되는 다채널 비디오 신호를 인코딩하기 위한 다채널 영상 인코딩 시스템은,The multi-channel video encoding system for encoding a multi-channel video signal in which the input order and time of the input channel is determined by the synchronization signal according to the present invention,

각 채널의 비디오 신호로부터 동기신호를 분리하는 수단과,Means for separating a synchronization signal from the video signal of each channel;

입력채널들의 동기신호의 위상에 따라 입력채널의 우선순위를 결정하는 수단과,Means for determining the priority of the input channel according to the phase of the synchronization signal of the input channels;

검출된 우선 순위에 따라, 다채널 입력 신호를 한 채널씩 차례대로 제공하는 수단과.Means for providing a multi-channel input signal one channel at a time in accordance with the detected priority.

제공된 입력 신호를 인코딩하는 수단Means for encoding the provided input signal

을 포함한다.It includes.

전술한 바와 같이, 다채널 영상 인코딩 시스템은 입력채널의 개수 및 시간의 변화에 따라 프레임율이 변화하는 문제를 갖고 있다. 이러한 문제들을 해결하기 위하여, 본 발명에서는 입력채널의 동기신호의 순서를 검출하고, 검출된 동기신호의 순서에 따라 인코딩을 수행하여 안정적인 프레임율을 얻을 수 있다.As described above, the multi-channel video encoding system has a problem in that the frame rate changes according to the change in the number and time of input channels. In order to solve these problems, the present invention can detect a sequence of the synchronization signal of the input channel, and perform encoding according to the sequence of the detected synchronization signal to obtain a stable frame rate.

이하 첨부된 도면을 참조하여 본 발명에 따라 동기신호 우선순위 검출을 이용한 다채널 MPEG 인코딩 시스템을 상세히 설명하기로 한다.Hereinafter, a multi-channel MPEG encoding system using synchronization signal priority detection will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 영상 인코딩 시스템의 일 실시예의 구성을 나타내는 블록도이다. 실시예에서, 16개의 채널로부터 비디오 신호를 입력받는다. 도 1에서는 다중 비트율, 범용성, 다양한 규격, 그리고 규모의 조절(scalability)등을 특징으로 하는 대표적인 영상압축 기술인 MPEG 영상 압축 시스템을 본 발명의 일시예로 도시하였다.1 is a block diagram showing the configuration of an embodiment of a video encoding system according to the present invention. In an embodiment, a video signal is received from sixteen channels. In FIG. 1, an MPEG image compression system, which is a representative image compression technology characterized by multiple bit rates, versatility, various specifications, and scalability, is illustrated as an example of the present invention.

입력채널들은 채널 선택기, 즉 멀티플렉서(1), 비디오 디코더(3), 그리고 비디오 데이터 멀티플렉서(9)를 거치는데, 이 과정을 통하여 인코더(15)에서 인코딩될 하나의 채널이 선택된다.The input channels pass through a channel selector, i.e., a multiplexer 1, a video decoder 3, and a video data multiplexer 9. In this process, one channel to be encoded in the encoder 15 is selected.

멀티플렉서(1)는 복수개의 채널을 통하여 입력되는 아날로그 신호 중 일부를 선택한다. 멀티플렉서(1)에서, 16개의 입력채널 중 4개의 입력채널이 선택된다. 멀티플렉서(1)에서 일차적으로 선택된 신호는 비디오 디코더(3)로 입력된다.The multiplexer 1 selects some of the analog signals input through a plurality of channels. In the multiplexer 1, four input channels of the sixteen input channels are selected. The signal primarily selected by the multiplexer 1 is input to the video decoder 3.

비디오 디코더(3)는 4개의 입력 아날로그 비디오 신호 중 하나를 선택하여, Y-U-V 형태의 디지털 비디오 신호를 출력한다. 비디오 디코더(3)는 NTSC 및 PAL 방식의 데이터를 해석할 수 있으며, CCIR601 16 비트 형태의 MPEG 구문을 출력한다. 본 발명의 실시예에서, 비디오 디코더(3)는 복합 NTSC(composit NTSC) 신호를 입력받는다. CCIR601 구문에는 프레임(frame), 라인(line), 그리고 필드(field)에 대한 동기화 신호가 포함되며, 밝기(Y)와 색차(UV)에 대한 정보가 포함된다. 사용되는 비디오 디코더(3)에 따라서 스케일링(scaling) 기능을 구비한 것도 있다.The video decoder 3 selects one of four input analog video signals and outputs a Y-U-V type digital video signal. The video decoder 3 can interpret NTSC and PAL data and outputs CCIR601 16-bit MPEG syntax. In the embodiment of the present invention, the video decoder 3 receives a composite NTSC signal. The CCIR601 syntax includes synchronization signals for frames, lines, and fields, and includes information about brightness (Y) and color difference (UV). Some have a scaling function, depending on the video decoder 3 used.

본 발명의 실시예에서, 두 개의 비디오 디코더(3)를 사용한다. 두 개의 비디오 디코더(3)를 사용하면 프레임율을 높일 수 있다. 입력되는 두 개의 비디오 신호를 감시하면서, 현재 MPEG 인코딩에 적합한 채널을 선택할 수 있기 때문이다. 현재 MPEG 인코딩에 적합한 채널은 입력채널들의 동기신호의 위상을 비교하여 결정된다. 채널의 입력 및 처리 순서의 결정방법에 대해서는 도 4를 참조하여 상세하게 설명하기로 한다.In the embodiment of the present invention, two video decoders 3 are used. Using two video decoders 3 can increase the frame rate. This is because it is possible to monitor two incoming video signals and select a channel suitable for the current MPEG encoding. A channel suitable for current MPEG encoding is determined by comparing the phases of the synchronization signals of the input channels. A method of determining channel input and processing order will be described in detail with reference to FIG. 4.

비디오 데이터 멀티플렉서(9)는 두 개의 비디오 디코더(3)가 출력한 디지털 비디오 신호 중 하나를 선택한다.The video data multiplexer 9 selects one of the digital video signals output from the two video decoders 3.

채널의 선택과정에 참여하는 멀티플렉서(1), 비디오 디코더(3), 그리고 비디오 데이터 멀티플렉서(9)는 비디오 디코더 제어기(21)에 의하여 제어된다. 비디오 디코더 제어기(21)가 출력하는 채널 선택 신호는 레지스터(23)와 우선 순위 검출 및 채널 스위칭부(13)로부터 제공되는 입력채널에 대한 정보에 근거하여 결정된다.The multiplexer 1, the video decoder 3, and the video data multiplexer 9 participating in the channel selection process are controlled by the video decoder controller 21. The channel selection signal output by the video decoder controller 21 is determined based on the register 23 and the information on the input channel provided from the priority detection and channel switching unit 13.

선택된 채널의 디지털 비디오 신호는 필드 단위로 메모리(27)에 저장된다. 디지털 비디오 신호를 메모리(27)에 저장하고, MPEG 인코더(15)가 저장된 비디오 신호를 출력하여 MPEG 인코딩을 수행하는데 있어, 메모리 블록 스위칭 방식을 사용한다. 메모리 블록 스위칭 방식을 사용하면, 각 채널간 메모리의 효과적인 공유가 가능해진다. 메모리 블록 스위칭을 위한 메모리 블록을 지정하는 주소는 메모리 블록 스위칭기(17)에 의해 발생된다.The digital video signal of the selected channel is stored in the memory 27 in units of fields. The memory block switching method is used to store the digital video signal in the memory 27 and to perform MPEG encoding by outputting the stored video signal. By using a memory block switching scheme, efficient sharing of memory between channels is possible. An address specifying a memory block for memory block switching is generated by the memory block switch 17.

MPEG 인코더(15)에서는 메모리(27)에 저장된 디지털 비디오 신호를 판독하여 MPEG 인코딩을 수행한다. 본 발명의 바람직한 실시예에서는 MPEG 인코더(15)로서 예컨대, 티오시스(TIOSYS)의 VICA 1000TM을 사용한다. MPEG 인코딩에 사용되는 디지털 비디오 신호는 예를 들면, MPEG1인 경우 352×230, MPEG2인 경우 352×480의 크기를 갖는다.The MPEG encoder 15 reads the digital video signal stored in the memory 27 to perform MPEG encoding. In the preferred embodiment of the present invention, for example, the VICA 1000 of TIOSYS is used as the MPEG encoder 15. The digital video signal used for MPEG encoding has, for example, a size of 352 × 230 for MPEG1 and 352 × 480 for MPEG2.

MPEG 인코더(15)의 입력데이터에 대한 동기신호는 생성기(11)에 의해 발생되어 MPEG 인코더(15)에 입력된다. 이때, 입력 데이터에 대한 동기신호를 발생시키지 않을 수도 있는데, 이러한 경우에는 입력데이터에 대한 MPEG 인코딩이 수행되지 않는다.The synchronization signal for the input data of the MPEG encoder 15 is generated by the generator 11 and input to the MPEG encoder 15. At this time, the synchronization signal for the input data may not be generated. In this case, MPEG encoding for the input data is not performed.

전술한 바와 같이, MPEG 인코더(15)는 복수개의 채널로부터 입력되는 비디오 신호를 스위칭하며 MPEG 인코딩을 수행한다. 따라서, MPEG 인코더(15)가 출력하는 MPEG 인코딩된 프레임은 여러 입력채널들로 섞이게 된다. 따라서, 이러한 MPEG 인코딩된 프레임들을 단일 채널용 비디오 인코더를 사용하여 재생하기 위해서는 채널별로 인코딩된 프레임을 분리해야 한다. 이를 위해, 사용자 코드 삽입기(19)는 현재 입력채널에 대한 정보를 입력 비디오 데이터에 기록한다.As described above, the MPEG encoder 15 switches video signals input from a plurality of channels and performs MPEG encoding. Therefore, the MPEG encoded frame output by the MPEG encoder 15 is mixed into several input channels. Therefore, in order to reproduce these MPEG encoded frames using a single channel video encoder, the encoded frames must be separated for each channel. To this end, the user code inserter 19 writes information about the current input channel into the input video data.

CPU(25)는 레지스터(23)를 초기화하는 역할을 한다. 그리고, 채널 스위칭부(13)와 사용자 코드 삽입기(19)가 발생시키는 인터럽트(intrupt)를 수신하여 필요한 정보를 레지스터(23)에 기록한다. 채널 스위칭기(13)의 인터럽트를 수신하면, 현 시점에서 인코딩할 채널정보, 인코딩 모드(예컨대, P-프레임 또는 I-프레임의 생성)등을 기록한다. 사용자 코드 삽입기(19)의 인터럽트를 수신하면, 현재 인코딩할 채널정보와 동기 정보를 기록한다.The CPU 25 serves to initialize the register 23. Then, an interrupt generated by the channel switching unit 13 and the user code inserter 19 is received and the necessary information is recorded in the register 23. Upon receiving the interrupt of the channel switcher 13, channel information to be encoded at this point, an encoding mode (for example, generation of a P-frame or an I-frame) and the like are recorded. Upon receiving the interrupt of the user code inserter 19, the channel information and synchronization information to be currently encoded are recorded.

전술한 바와 같이, 다채널 MPEG 인코딩 시스템은 일정한 프레임율을 유지하는 것이 바람직하다. 이를 위하여, 비디오 디코더(3)가 출력하는 디지털 비디오 신호를 동기신호의 우선순위에 따라 정렬한다. 입력채널의 우선순위의 결정은 우선순위 검출 및 채널 스위칭기(13)와 동기신호 분리기(7)에 의하여 수행된다.As mentioned above, it is desirable for a multichannel MPEG encoding system to maintain a constant frame rate. To this end, the digital video signal output by the video decoder 3 is aligned in accordance with the priority of the synchronization signal. Determination of the priority of the input channel is performed by priority detection and the channel switch 13 and the synchronization signal separator 7.

우선순위 검출기(13)는 동기신호 분리기(7)로부터 출력되는 각 입력채널의 동기신호를 관찰한다. 각 입력채널의 동기신호는 비디오 디코더(3)의 출력 신호로부터도 검출이 가능하다. 그러나, 동기신호 분리기(7)는 아날로그 비디오 신호를 직접 사용하여 동기신호를 분리하므로, 비디오 디코더(3)에서 동기 신호가 정상적으로 출력되기 전에 동기 신호를 얻는 것이 가능하다.The priority detector 13 observes the synchronization signal of each input channel output from the synchronization signal separator 7. The synchronization signal of each input channel can also be detected from the output signal of the video decoder 3. However, since the synchronization signal separator 7 separates the synchronization signal using the analog video signal directly, it is possible to obtain the synchronization signal before the synchronization signal is normally output from the video decoder 3.

일단 우선순위 검출기(13)가 입력 채널의 동기 신호를 관찰하여 우선순위가 결정되면, 채널 스위칭기(13)는 비디오 데이터 멀티플렉서(9) 및 비디오 디코더(3)에 결정된 채널의 우선 순위를 전송하여, 채널별 비디오 입력 데이타가 결정된 우선 순위에 따라 선택되어 MPEG 인코더(15)에 입력되도록 한다.Once the priority detector 13 determines the priority by observing the synchronization signal of the input channel, the channel switcher 13 sends the priority of the determined channel to the video data multiplexer 9 and the video decoder 3 by For example, the video input data for each channel are selected according to the determined priority and inputted to the MPEG encoder 15.

도 2는 우선순위 검출기(13)가 4개 채널의 동기신호의 우선순위를 검출하는 경우, 정렬되지 않은 4개 채널의 동기신호들의 위상을 도시하고 있다.FIG. 2 shows the phases of the synchronization signals of the four channels which are not aligned when the priority detector 13 detects the priority of the synchronization signals of the four channels.

도 2에서 하나의 입력채널의 동기신호를 살펴볼 때, 동기신호의 흐름은 홀수 필드의 동기신호(201)와 짝수 필드의 동기신호(203)로 구성되어 있음을 알 수 있다. 동기신호 사이에 검은 사선으로 표시된 부분은 입력 데이터인 필드 데이터(205)를 나타낸다. 실제로 모든 동기신호의 사이에 필드 데이터가 존재하는데, 본 발명의 일실시예에서는 하나의 프레임을 구성하는 홀수 필드와 짝수 필드를 모두 사용하지 않고, 한 종류의 필드만을 사용하여 MPEG 인코딩을 수행하므로, MPEG 인코더(15)가 실제 사용하는 필드 데이터들만을 검은 사선으로 표시하였다. MPEG 인코더(15)에서는 하나의 채널에서 최초로 입력되는 필드와 같은 종류의 필드만을 계속적으로 입력받아야 한다는 사실에 주목하여야 한다. 즉, 한 채널에서 홀수 필드를 먼저 인코딩하였다면, 다음에도 홀수 필드를 인코딩하여야 한다. 만일 짝수 필드와 홀수 필드를 번갈아 인코딩한다면, 영상에 불연속적인 결함이 발생하게 된다. 도 2를 살펴보면, MPEG 인코더(15)가 실제로 사용하는 필드 데이터(205)를 구분하기 위하여 각각의 입력채널의 홀수 필드에 해당하는 부분을 검은 선으로 표시하고 있다.Referring to the synchronization signal of one input channel in FIG. 2, it can be seen that the flow of the synchronization signal includes the synchronization signal 201 in the odd field and the synchronization signal 203 in the even field. The portion indicated by the black diagonal lines between the synchronization signals represents the field data 205 which is input data. In fact, field data exists between all synchronization signals. In one embodiment of the present invention, since MPEG encoding is performed using only one type of field without using both odd and even fields constituting one frame, Only field data actually used by the MPEG encoder 15 is indicated by black diagonal lines. It should be noted that the MPEG encoder 15 should continuously receive only the same type of field as the field first input in one channel. That is, if the odd field is encoded first in one channel, the odd field should be encoded next. If the even and odd fields are encoded alternately, discontinuous defects may occur in the image. Referring to FIG. 2, in order to distinguish field data 205 actually used by the MPEG encoder 15, portions corresponding to odd fields of each input channel are indicated by black lines.

도 2에 도시된 동기신호를 갖는 입력 데이터를 제 1 채널로부터 제 4 채널의 순으로 MPEG 인코딩을 하면, 4개의 채널로부터의 필드 데이타들을 인코딩하는데 4개의 프레임에 해당하는 시간이 소요된다. 먼저, 제 1 채널의 홀수 필드에 대한 MPEG 인코딩을 수행한 후, 제 2 채널에 대한 동기신호를 찾는다. 제 2 채널에 대한 가장 가까운 동기신호는 홀수 필드 동기신호이고, 홀수 필드 데이터(검은색 사선으로 표시됨)를 받아 들여 MPEG 인코딩을 수행한다. 제 3 및 제 4 채널에 대해서도 가장 가까운 동기신호를 찾아 MPEG 인코딩하는 과정을 반복한다. 제 4 채널에 대한 MPEG 인코딩 후, 제 1 채널에 대한 MPEG 인코딩을 수행하기 위해, 마찬가지로 제일 가까운 필드의 동기신호를 찾는다. 이때, 제 1 채널은 홀수 필드 데이터를 사용하여 MPEG 인코딩을 수행하므로, 가장 가까운 홀수 필드의 동기신호를 찾게 된다. 제 1 채널의 홀수 필드 데이터를 입력받아 다음 홀수 필드 데이터를 입력받는데까지, 모두 4개의 프레임(도 2에서 8개의 필드 동기신호에 해당함)에 해당하는 시간이 걸림을 알 수 있다.When MPEG encoding the input data having the synchronization signal shown in FIG. 2 in the order of the first channel to the fourth channel, it takes time corresponding to four frames to encode the field data from the four channels. First, after performing MPEG encoding on an odd field of a first channel, a synchronization signal for a second channel is found. The closest synchronization signal for the second channel is an odd field synchronization signal, and receives odd field data (indicated by black diagonal lines) to perform MPEG encoding. The process of finding the closest synchronization signal and encoding the MPEG for the third and fourth channels is repeated. After MPEG encoding for the fourth channel, the synchronization signal of the nearest field is likewise found to perform MPEG encoding for the first channel. In this case, since the first channel performs MPEG encoding using odd field data, the first channel finds a synchronization signal of the closest odd field. It can be seen that it takes time corresponding to all four frames (corresponding to eight field synchronization signals in FIG. 2) to receive odd field data of the first channel and receive next odd field data.

결국, 입력채널을 정렬하지 않는 상태에서 MPEG 인코딩을 수행하면, 입력채널의 동기신호간의 위상에 따라 MPEG 인코딩 수행시간이 결정된다. 따라서, MPEG 인코딩을 수행하는 입력채널의 순서를 변화시키면 프레임율이 변화하게 된다. 또한, 각 채널의 동기신호의 주기는 정확히 동일하지 않으므로, 시간의 경과에 따라 각 입력채널간의 위상이 변화하고, 결과적으로 시간의 경과에 따라 프레임율이 변하게 된다.As a result, when MPEG encoding is performed while the input channels are not aligned, the MPEG encoding execution time is determined according to the phase between the synchronization signals of the input channels. Therefore, when the order of input channels for MPEG encoding is changed, the frame rate is changed. In addition, since the period of the synchronization signal of each channel is not exactly the same, the phase between each input channel changes over time, and as a result, the frame rate changes over time.

전술한 프레임율의 변화는 입력채널의 개수가 증가하면 더욱 심각해진다. 왜냐하면, 입력채널의 개수가 증가에 따라 입력채널간의 위상변화의 폭도 증가하기 때문이다. 만일 n개의 입력채널이 있는 경우, n개의 입력채널에 대한 MPEG 인코딩을 수행하는데 걸리는 시간의 폭은 n/2 프레임까지 차이가 발생할 수 있다. 전술한 프레임율의 변화 문제는 이하에서 설명하는 것과 같이 동기신호의 위상에 따라 입력채널을 정렬함으로써 해결할 수 있다.The above-mentioned change in frame rate becomes more serious as the number of input channels increases. This is because, as the number of input channels increases, the width of phase change between input channels also increases. If there are n input channels, the width of the time taken to perform MPEG encoding on the n input channels may vary by n / 2 frames. The problem of changing the frame rate described above can be solved by aligning the input channels according to the phase of the synchronization signal as described below.

도 3은 본 발명에 따라 도 2에 도시된 입력채널들을 정렬한 경우, 각 채널간의 동기신호의 위상을 나타낸다.3 illustrates phases of synchronization signals between channels when the input channels illustrated in FIG. 2 are aligned according to the present invention.

본 발명에 의한 입력채널의 정렬은 다음과 같다. 임의의 특정 채널을 최초 입력 채널인 첫번째 입력채널로 결정한다. 첫번째 입력채널과 가장 근접한 위상을 갖는 채널을 두번째 입력채널로 결정하고, 동일한 과정을 정렬되지 않은 입력 채널에 반복하면, 모든 채널에 대한 우선순위가 결정된다.The arrangement of the input channels according to the present invention is as follows. Determines a particular channel as the first input channel that is the first input channel. If the channel having the closest phase to the first input channel is determined as the second input channel, and the same process is repeated for the unaligned input channels, the priority for all channels is determined.

도 3을 참조하여 전술한 입력채널 정렬 방법을 설명하면 다음과 같다. 먼저, 제 1 채널을 첫번째 입력채널로 결정한다(첫번째 입력채널의 결정은 임의로 정해진다). 이제, 나머지 3개의 채널과 제 1 채널을 비교하는데, 제 1 채널의 동기신호와 가장 근접한 동기신호의 위상을 갖는 채널을 검색한다. 검색결과, 제 4 채널이 두번째 입력채널로 결정된다. 이제 두번째 입력채널에 대하여, 첫번째 입력채널로부터 두번째 입력채널을 검색하는 방법과 동일한 방법을 사용하여 세번째 입력채널을 검색한다. 전술한 과정을 반복하여, 모든 채널에 대한 입력 순서는 제 1 채널, 제 4 채널, 제 3 채널, 그리고 제 2 채널이 된다. 도면에 도시한 바와 같이, 제 3 채널만 MPEG 인코딩에 짝수필드를 사용하고, 나머지 채널들은 홀수 필드를 MPEG 인코딩에 사용한다. 제 2 채널의 입력 후, 다시 제 1 채널의 입력을 받아야 한다. 비록 제 2 채널의 MPEG 인코딩에 사용되는 필드의 종료시점으로부터 가장 가까운 제 1 채널의 동기신호는 짝수 필드의 동기신호(207)이지만, 제 1 채널은 홀수 필드를 사용하므로, 짝수 필드의 동기신호 다음에 발생하는 홀수 필드의 동기신호(209)를 찾아 필드 데이터를 입력 받는다.The above-described input channel alignment method will be described with reference to FIG. 3. First, the first channel is determined as the first input channel (the determination of the first input channel is arbitrarily determined). Now, comparing the remaining three channels with the first channel, the channel having the phase of the synchronization signal closest to the synchronization signal of the first channel is searched. As a result of the search, the fourth channel is determined as the second input channel. Now, for the second input channel, search for the third input channel using the same method as for searching for the second input channel from the first input channel. By repeating the above process, the input order for all channels is a first channel, a fourth channel, a third channel, and a second channel. As shown in the figure, only the third channel uses an even field for MPEG encoding, and the remaining channels use an odd field for MPEG encoding. After the input of the second channel, the input of the first channel must be received again. Although the synchronization signal of the first channel closest to the end of the field used for MPEG encoding of the second channel is the synchronization signal 207 of the even field, since the first channel uses the odd field, the synchronization signal of the even field is To find the synchronization signal 209 of the odd field generated in the field to receive the field data.

전술한 과정을 통하여 MPEG 인코딩을 하는 경우, 4개의 입력채널을 한번씩 인코딩하는데 3개 프레임에 해당하는 시간(동기 신호(201)부터 동기 신호(209) 바로 이전까지)이 걸림을 알 수 있다. 결국, 도 2의 정렬되지 않은 입력채널의 순서로 MPEG 인코딩하는 경우에 비하여, 한 프레임만큼의 시간이 덜 걸린다.In the case of MPEG encoding through the above-described process, it can be seen that the time corresponding to three frames (from sync signal 201 to just before sync signal 209) takes time to encode four input channels once. As a result, it takes less time by one frame than in MPEG encoding in the order of the unaligned input channels of FIG. 2.

일단 채널의 입력 순서가 결정되었다 하더라도, 각 입력채널의 동기신호는 서로 다른 주기를 갖기 때문에, 시간의 경과에 따라 위상의 변화가 발생한다. 따라서, 채널간 동기신호의 위상변화에 따라 입력 순서를 다시 정렬해야 한다.Even if the input order of the channels is determined, the phase change occurs over time because the synchronization signals of the respective input channels have different periods. Therefore, the input order must be rearranged according to the phase change of the synchronization signal between channels.

본 발명의 실시예에서는 MPEG 인코딩 시스템의 동작 시간 중 계속적으로 입력채널의 우선순위를 검출한다. 그러나, 매번 검출되는 입력채널의 우선순위에 대한 정보는 즉시 채널 입력의 정렬에 사용되는 것이 아니라, 먼저 우선순위 검출 테이블에 기록된다. 또한, 우선순위 검출 테이블은 입력채널들이 한번씩 입력되는 주기마다 갱신될 필요는 없다. 이는, 각 입력채널의 위상변화의 속도는 각 채널의 프레임율보다 상대적으로 느리기 때문에, 입력채널의 일 주기보다 긴 시간을 갖는 일정 주기마다 우선순위 검출 테이블을 갱신하면 된다. 본 발명의 실시예에서, 우선순위 검출 테이블은 레지스터(23) 또는 우선순위 검출 및 채널 스위칭부(13)에 마련될 수도 있다. 테이블에 저장된 우선 순위 정보를 비디오 디코더 제어기(21)가 판독하고 이를 이용하여, MPEG 인코더(15)로 입력되는 채널을 선택하는 신호를 발생함으로써 채널의 순서를 결정한다.In the embodiment of the present invention, the priority of the input channel is continuously detected during the operation time of the MPEG encoding system. However, the information on the priority of the input channel detected every time is not immediately used for the alignment of the channel input, but is first recorded in the priority detection table. In addition, the priority detection table does not need to be updated for each period in which input channels are input once. Since the rate of phase change of each input channel is relatively slower than the frame rate of each channel, the priority detection table may be updated for each period having a time longer than one period of the input channel. In the embodiment of the present invention, the priority detection table may be provided in the register 23 or the priority detection and channel switching unit 13. The video decoder controller 21 reads the priority information stored in the table and uses this to generate a signal for selecting a channel input to the MPEG encoder 15 to determine the order of the channels.

도 4는 본 발명에 의한 입력채널 정렬 방법의 일실시예를 나타내는 흐름도이다.4 is a flowchart illustrating an embodiment of an input channel alignment method according to the present invention.

기준채널 설정 단계(401)에서, 입력채널들 중 하나의 입력채널을 기준채널로 설정한다. 어느 채널을 기준채널로 설정하는가에 따라서, 초기 프레임율의 변화는 있겠지만, 시간의 경과에 따라서 일정한 프레임율로 수렴할 것이다. 본 발명의 실시예에서 기준 채널은 가장 낮은 채널 번호를 갖는 것으로 할 수 있다.In the reference channel setting step 401, one input channel among the input channels is set as the reference channel. Depending on which channel is set as the reference channel, there will be a change in the initial frame rate, but will converge at a constant frame rate over time. In an embodiment of the present invention, the reference channel may be the one with the lowest channel number.

최근접 동기위상 검색 단계(402)에서, 이미 정렬된 채널을 제외한 나머지 입력채널들 중에서, 기준채널의 입력 필드가 종료되는 시점으로부터 가장 가까이 위치하는 동기신호를 갖는 채널을 검색한다. 최근접 동기위상을 갖는 채널이 두 번째로 입력되는 채널이 된다.In the closest synchronization phase search step 402, a channel having a synchronization signal located closest to the point from which the input field of the reference channel is terminated is searched among the remaining input channels except for the channels that are already aligned. The channel having the closest synchronization phase becomes the second input channel.

채널 정렬 완료 판단 단계(403)에서, 모든 입력채널에 대한 정렬이 수행되었는지 판단한다.In a channel alignment completion determination step 403, it is determined whether alignment has been performed for all input channels.

모든 입력채널에 대한 정렬이 완료되지 않은 경우, 최근접 동기 위상 검색 단계(402)로 리턴(return)하여 나머지 입력 채널에 정렬을 계속한다.If the alignment for all input channels is not complete, return to the nearest synchronous phase search step 402 to continue alignment to the remaining input channels.

모든 입력채널에 대한 정렬이 완료된 경우, 입력채널의 정렬과정을 종료하고 입력채널의 정렬 순서를 기록하는 우선순위 테이블을 갱신한다(단계(404)).When the sorting for all input channels is completed, the sorting process of the input channels is terminated, and the priority table for recording the sorting order of the input channels is updated (step 404).

그 후, 기준채널을 재설정할 필요가 있는지 판단하는 단계(405)에서는, 현재 기준 채널에 문제가 있는지(예를 들어, 해당채널의 카메라 입력에 에러가 있거나, 해당 채널이 인코딩 대상에서 제외된 경우) 여부를 판단하여, 재설정 필요가 있는 경우는 기준채널 설정 단계(401)로 리턴한다. 이와달리, 재설정 필요가 없는 경우는 다시 최근접 동기 위상 검색 단계(402)로 리턴하여 전술한 단계들을 반복하여 실행한다.Then, in step 405 of determining whether the reference channel needs to be reset, if there is a problem with the current reference channel (for example, if there is an error in the camera input of the channel or the channel is excluded from encoding) If it is necessary to reset, the process returns to the reference channel setting step 401. On the other hand, if there is no need for resetting, the process returns to the nearest synchronous phase search step 402 and repeats the above-described steps.

전술한 바와 같이, 본 발명에 따라 동기신호 우선순위 검출을 이용한 다채널 영상 인코딩 시스템에 대해 설명하였으나, 본 발명의 범위는 이상의 실시예에 국한되는 것이 아니고, 다양한 형태의 변형 및 수정을 포함할 수 있다.As described above, the multi-channel video encoding system using the synchronization signal priority detection according to the present invention has been described, but the scope of the present invention is not limited to the above embodiments, and may include various forms of modification and modification. have.

본 발명에 따른 다채널 MPEG 인코딩 시스템은 안정된 MPEG 인코딩 프레임율을 얻을 수 있다. 종래에는 시간의 변화 및 입력채널 수의 변화에 따라 MPEG 인코딩 프레임율이 변하였으나, 본 발명에서는 입력채널간 동기신호의 위상을 이용하여 입력채널을 정렬함으로써, 시간의 변화 및 입력채널 수의 변화와 관계없이 일정한 MPEG 프레임율을 얻을 수 있다.The multichannel MPEG encoding system according to the present invention can obtain a stable MPEG encoding frame rate. In the related art, the MPEG encoding frame rate is changed according to the change of time and the number of input channels. However, in the present invention, the input channels are aligned using the phase of the synchronization signal between input channels, thereby changing the time and the number of input channels. Regardless, a constant MPEG frame rate can be obtained.

Claims (5)

동기신호에 의해 입력채널의 입력 순서와 시간이 결정되는 다채널 비디오 신호를 인코딩하기 위한 다채널 영상 인코딩 시스템에 있어서,A multichannel video encoding system for encoding a multichannel video signal in which an input order and a time of an input channel are determined by a synchronization signal, 채널 각각의 비디오 신호로부터 동기신호를 분리하는 수단과,Means for separating a synchronization signal from the video signal of each channel; 분리된 입력채널 각각의 동기신호 위상에 따라 입력채널의 우선순위를 결정하는 수단과,Means for determining the priority of the input channel according to the synchronization signal phase of each of the separated input channels; 상기 우선순위 결정 수단에서 검출된 우선 순위에 근거하여, 다채널 입력 신호를 한 채널씩 차례대로 제공하는 수단과.Means for sequentially providing a multi-channel input signal by one channel based on the priority detected by said priority determining means. 상기 제공 수단으로부터 제공된 입력 신호를 인코딩하는 수단Means for encoding an input signal provided from said providing means 을 포함하는 다채널 영상 인코딩 시스템.Multi-channel video encoding system comprising a. 제 1 항에 있어서,The method of claim 1, 상기 우선순위 결정 수단은 결정된 우선순위를 저장하기 위한 메모리 수단을 더 포함하고,The priority determining means further comprises memory means for storing the determined priority, 상기 제공 수단은 상기 메모리 수단에 저장되어 있는 우선순위에 따라 다채널 입력 신호를 한 채널씩 차례대로 제공하는 다채널 영상 인코딩 시스템.And the providing means sequentially provides the multichannel input signals one channel at a time according to the priority stored in the memory means. 다채널 영상 인코딩 시스템에서 인코딩하는 입력채널의 우선순위를 결정하는 방법에 있어서,In the method of determining the priority of the input channel to encode in a multi-channel video encoding system, (a) 모든 입력채널들 중 하나의 입력채널을 제 1 입력채널로 결정하는 단계와,(a) determining one of the input channels as the first input channel; (b) 입력 순서가 결정된 채널을 제외한 나머지 입력채널 중, 상기 제 1 입력 채널의 동기 신호와 가장 근접한 위상의 동기 신호를 갖는 채널을 다음 입력 채널로 결정하는 단계와,(b) determining, as a next input channel, a channel having a synchronization signal having a phase closest to that of the first input channel among the remaining input channels except for the channel whose input order is determined; (c) 모든 채널에 대한 순서가 결정될 때까지 상기 단계 (b)를 반복하여 수행하는 단계(c) repeating step (b) until the order for all channels is determined 를 포함하는 입력채널 우선순위 결정 방법.Input channel priority determination method comprising a. 제 3 항에 있어서,The method of claim 3, wherein 결정된 입력채널의 순서를 우선순위 테이블로서 저장하는 단계를 더 포함하는 입력채널 우선순위 결정 방법.And storing the determined order of the input channels as a priority table. 제 4 항에 있어서,The method of claim 4, wherein 상기 우선순위 테이블에 저장된 입력채널의 순서를 주기적으로 갱신하는 단계를 더 포함하는 입력채널 우선순위 결정 방법.And periodically updating the order of the input channels stored in the priority table.
KR1020000006982A 2000-02-15 2000-02-15 Multi-chennel image encoding system using synch priority detection KR100363733B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020000006982A KR100363733B1 (en) 2000-02-15 2000-02-15 Multi-chennel image encoding system using synch priority detection
US10/203,822 US7050496B2 (en) 2000-02-15 2001-02-15 Multi-channel image encoding method and system
PCT/KR2001/000228 WO2001061999A1 (en) 2000-02-15 2001-02-15 Multi-channel image encoding method and system
AU72077/01A AU7207701A (en) 2000-02-15 2001-02-15 Multi-channel image encoding method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000006982A KR100363733B1 (en) 2000-02-15 2000-02-15 Multi-chennel image encoding system using synch priority detection

Publications (2)

Publication Number Publication Date
KR20010083460A KR20010083460A (en) 2001-09-01
KR100363733B1 true KR100363733B1 (en) 2002-12-05

Family

ID=19646465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000006982A KR100363733B1 (en) 2000-02-15 2000-02-15 Multi-chennel image encoding system using synch priority detection

Country Status (1)

Country Link
KR (1) KR100363733B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100929073B1 (en) 2005-10-14 2009-11-30 삼성전자주식회사 Apparatus and method for receiving multiple streams in portable broadcasting system
JP2008153760A (en) * 2006-12-14 2008-07-03 Samsung Electronics Co Ltd Information encoding device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274179A (en) * 1994-03-31 1995-10-20 Victor Co Of Japan Ltd Dynamic image encoder
JPH0998396A (en) * 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd Image communication terminal equipment
JPH11187368A (en) * 1997-12-19 1999-07-09 Kyocera Corp Multi-spot television conference controller

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274179A (en) * 1994-03-31 1995-10-20 Victor Co Of Japan Ltd Dynamic image encoder
JPH0998396A (en) * 1995-09-29 1997-04-08 Matsushita Electric Ind Co Ltd Image communication terminal equipment
JPH11187368A (en) * 1997-12-19 1999-07-09 Kyocera Corp Multi-spot television conference controller

Also Published As

Publication number Publication date
KR20010083460A (en) 2001-09-01

Similar Documents

Publication Publication Date Title
EP0707775B1 (en) Apparatus for providing compressed non-interlaced scanned video signal
EP0661888B1 (en) Multiplexing/demultiplexing method for superimposing sub- images on a main image
US5734443A (en) Method and device for performing source transitions in a video system which performs entropy encoding
US20160044320A1 (en) Method and Apparatus for Manipulating MPEG Video
CN101663897A (en) Dynamic image encoding device, method, program, and integrated circuit
US7050496B2 (en) Multi-channel image encoding method and system
KR100269111B1 (en) Video decoding and display timing control method and apparatus therefor
KR100363733B1 (en) Multi-chennel image encoding system using synch priority detection
US7421026B2 (en) Multiplexing video decoding apparatus and method
US6636563B2 (en) Decoder and decoding method for information signal
JPH09149332A (en) Device for generating multi-screen
JP3238571B2 (en) Variable length decoding device
US8724695B2 (en) Determination of a type of picture encoding of a decompressed video signal
KR100328199B1 (en) Multi-channel image encoding system and method for operating memory blocks therein
EP1126724A2 (en) Decoding apparatus, and synchronous reproduction control method
WO2001013647A1 (en) Method and apparatus for telecine detection
JPH1013825A (en) Multi-screen display system
JP2002057986A (en) Decoder and decoding method, and recording medium
JP4109879B2 (en) Image distribution system, communication apparatus, distribution apparatus, control method thereof, and storage medium
JP4947192B2 (en) Information reproducing apparatus and information reproducing method
JP2001339722A (en) Multi-channel image encoding apparatus, decode displaying apparatus, encoding method and decode displaying method
JP3006544B2 (en) Image signal encoding device
JPH04291892A (en) Multi-point video conference controller
KR0148143B1 (en) The multiple method and apparatus of packet data
JPH05207444A (en) Motion detector

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20071123

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee