KR0153978B1 - A time transformer for parallel processing the 3-dimension color stereoscopic - Google Patents

A time transformer for parallel processing the 3-dimension color stereoscopic

Info

Publication number
KR0153978B1
KR0153978B1 KR1019950007309A KR19950007309A KR0153978B1 KR 0153978 B1 KR0153978 B1 KR 0153978B1 KR 1019950007309 A KR1019950007309 A KR 1019950007309A KR 19950007309 A KR19950007309 A KR 19950007309A KR 0153978 B1 KR0153978 B1 KR 0153978B1
Authority
KR
South Korea
Prior art keywords
image data
color image
dimensional color
sub
affine
Prior art date
Application number
KR1019950007309A
Other languages
Korean (ko)
Other versions
KR960036816A (en
Inventor
최한호
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950007309A priority Critical patent/KR0153978B1/en
Publication of KR960036816A publication Critical patent/KR960036816A/en
Application granted granted Critical
Publication of KR0153978B1 publication Critical patent/KR0153978B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/48Analysis of texture based on statistical description of texture using fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/99Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals involving fractal coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 3차원 컬러 그래픽 병렬처리를 위한 아핀변환 장치에 관한 것으로, 3차원 컬러 영상데이타가 전처리부에서 3차원 좌표 및 색신호로 전환되어 16개의 부블럭으로 분할된 다음 순차적으로 16개의 AT연산부에서 AT연산이 병렬처리되고, 16개의 AT연산부로부터 출력되는 각각의 부블럭 3차원 컬러 영상데이타가 모두 기설정된 종료조건에 만족되면, 연산종료부로부터 종료신호가 발생되어 16개의 버퍼에 각각 저장되어 있는 부블럭의 3차원 컬러 영상데이타가 출력되고, 제1후처리부와 제2후처리부에서 스테레오 스코픽으로 처리한 다음 2차원 컬러 이미지로서 좌표변환되어 디스플레이되므로써, 애니메이션 풍경용 3차원 컬러 스테레오 스코픽 처리를 고속으로 자연스럽게 처리할 수 있도록 한 것이다.The present invention relates to an affine transformation apparatus for parallel processing of 3D color graphics, wherein 3D color image data is converted into 3D coordinates and color signals in a preprocessor, divided into 16 subblocks, and sequentially in 16 AT operations units. When the AT operation is processed in parallel and all of the sub-block 3D color image data outputted from the 16 AT operators are satisfied with the preset termination condition, the termination signal is generated from the operation termination unit and stored in the 16 buffers, respectively. Three-dimensional color image data of the sub-block is output, and the first and second post-processing units are stereoscopically processed and then converted and displayed as a two-dimensional color image, thereby speeding up the three-dimensional color stereoscopic processing for the animated landscape. It is to be processed naturally.

Description

3차원 컬러 스테레오 스코픽 병렬처리를 위한 아핀변환 장치Affine Converter for 3D Color Stereoscopic Parallel Processing

제1도는 본 발명의 바람직한 실시예에 따른 3차원 컬러 스테레오 스코픽 병렬처리를 위한 아핀변환 장치의 개략적인 블럭구성도.1 is a schematic block diagram of an affine transform apparatus for three-dimensional color stereoscopic parallel processing according to a preferred embodiment of the present invention.

제2도는 제1도의 AT연산부의 상세도.2 is a detailed view of the AT operator of FIG.

제3도는 본 발명의 일예로서 프레임별 3차원 컬러 영상데이타를 4×4의 부블럭으로 분할한 것을 도시한 도면.3 is a diagram illustrating division of three-dimensional color image data for each frame into subblocks of 4x4 as an example of the present invention.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

200 : 전처리부 300, 310, 320 : 선택부200: pretreatment unit 300, 310, 320: selection unit

400, 700, 800 : AT연산부 410, 415, 420, 425, 430, 433 : 승산부400, 700, 800: AT calculation unit 410, 415, 420, 425, 430, 433: multiplication unit

435, 440, 445, 450, 455, 460 : 가산기435, 440, 445, 450, 455, 460: adder

500 : 연산종료부 600, 610, 620 : 버퍼500: Completion of operation 600, 610, 620: Buffer

900, 950 : 후처리부900, 950: post-processing unit

본 발명은 3차원 컬러 스테레오 스코픽(STEREO SCOPIC) 병렬처리를 위한 아핀변환(AFFINE TRANSFORMATION : 이하 AT라 약칭함) 장치에 관한 것으로, 보다 상세하게는 3차원 컬러 영상데이타를 스테레오 스코픽으로 고속처리할 수 있도록 한 3차원 컬러 스테레오 스코픽 병렬처리를 위한 AT 장치에 관한 것이다.The present invention relates to an AFFINE TRANSFORMATION device for three-dimensional color stereoscopic parallel processing, and more specifically, to three-dimensional color image data can be processed at high speed in stereoscopic. The present invention relates to an AT device for three-dimensional color stereoscopic parallel processing.

최근의 정보화 시대에 발맞추어 방대한 양의 영상데이타를 제한된 대역폭을 갖는 통신채널을 통해 전송하기 위한 디지탈 영상 압축기법이 이와 관련된 여러분야에서 계속적으로 연구되고 있다.In line with the recent information age, the digital image compressor method for transmitting a large amount of image data through a communication channel having a limited bandwidth has been continuously studied in this field.

영상 압축기법에서의 영상신호는 크게 정지영상과 동영상으로 구분할 수가 있으며, 정지영상에서의 영상데이타 압축기법은 화소간의 공간적인 중복성을 제거함으로써 영상데이타를 압축하는 것으로, 이러한 압축기법으로 주파수 영역에서 수행되는 변환 부호화(TRANSFORM CODING) 기법과, 벡터 양자화(VECTOR QUANTIZATION) 기법이 널리 알려져 있다.The video signal in the video compression method can be largely divided into a still image and a video. The video data compression method in a still image compresses image data by removing spatial redundancy between pixels. TRANSFORM CODING and VECTOR QUANTIZATION are widely known.

그리고, 화상전화기나 디지탈 텔레비젼 등에서 사용되는 동영상에서의 영상데이타 압축기법은 정지영상의 기법에 연속되는 화면 사이의 시간적(TEMPORAL) 중복성을 제거하기 위한 화면간, 프레임간 부호화 기법이 주로 사용된다.In the video data compression method for moving pictures used in video telephones, digital televisions, and the like, inter-screen and inter-frame coding methods are mainly used to remove temporal redundancy between pictures that are continuous to the still picture technique.

한편, 자연계에 존재하는 대부분의 물체는 강한 자기 닮음성, 즉 그들 자신 각각의 변환된 복사본에 의해 구성된다는 특성을 갖고 있으므로, 이런 물체의 영상데이타를 압축하는 경우, 영상의 중복성을 이용하여 효율적으로 영상데이타를 압축할 수 있다고 가정하는 이른바 프랙탈(FRACTAL) 기법을 이용한 영상압축에 관한 연구가 최근들어 진행되고 있다.On the other hand, most objects in nature have a strong magnetic similarity, that is, they are composed of their own converted copies. Therefore, when compressing the image data of such objects, it is possible to efficiently use the image redundancy. Recently, research on image compression using a so-called FRACTAL technique, which assumes that image data can be compressed, has been recently conducted.

이 기술분야에 잘 알려진 바와 같이, 프랙탈 기법은 1970년대 중반 BENOIT MANDELBROT에 의해 그 이름이 명명된 것으로, 자연계의 대부분의 물체가 자기유사성(SELF-SIMILARITY)과, 부분적인 차원(FRACTIONAL DIMENSION)을 갖고 있으므로, 해안선, 눈송이, 구름, 낙엽, 산봉우리 등을 프랙탈 기법에 의해 자연스럽게 표현할 수 있다는 것이다.As is well known in the art, the fractal technique was named by BENOIT MANDELBROT in the mid-1970s, and most objects in nature have self-similarity (SELF-SIMILARITY) and partial dimension (FRACTIONAL DIMENSION). Therefore, the shoreline, snowflakes, clouds, fallen leaves, mountain peaks, etc. can be expressed naturally by the fractal technique.

다른 한편, 애니메이션 제작에 있어서 숲이나 나무, 도시 등의 풍경에 대한 3차원 컬러 영상데이타를 입체적인 이미지, 즉 스테레오 스코픽으로 처리하고자 하는 연구가 진행되고 있으며, 상술한 바와 같은 프랙탈 기법에 관한 알고리즘 및 방법은 이미 널리 알려진 바이지만, 프랙탈 기법을 이용하여 3차원 컬러 영상데이타를 스테레오 스코픽으로 수행하기 위한 장치, 특히 AT 장치는 구체적으로 제시된 바 없다.On the other hand, in the production of animation, studies are being conducted to process three-dimensional color image data of a landscape such as a forest, a tree, or a city as a three-dimensional image, that is, a stereoscopic, and the algorithm and method for the fractal technique as described above. Although is already well known, a device for performing stereoscopic 3D color image data using a fractal technique, in particular an AT device has not been specifically described.

따라서, 본 발명은 자연스러운 풍경에 대한 3차원 컬러 영상데이타를 스테레오 스코픽으로 고속처리할 수 있는 3차원 컬러 스테레오 스코픽 병렬처리를 위한 AT 장치를 제공하는데 그 목적이 있다.Accordingly, an object of the present invention is to provide an AT device for three-dimensional color stereoscopic parallel processing capable of high-speed processing three-dimensional color image data for a natural landscape in stereoscopic.

상기 목적을 달성하기 위하여 본 발명은, 3차원 컬러 영상데이타를 스테레오 스코픽으로 처리하는 아핀변환 장치에 있어서, 상기 3차원 컬러 영상데이타를 3차원 좌표 및 RGB 색신호로 전환하고 설정된 소정수의 부블럭으로 분할하기 위한 전처리수단과, 상기 전처리수단에서 부블럭으로 분할되어 순차적으로 입력되는 초기 3차원 컬러 영상데이타와 복수개의 아핀변환수단에서 아핀변환된 각 3차원 컬러 영상데이타를 외부로부터의 클럭에 의한 선택신호에 의거하여 선택적으로 출력하기 위한 복수개의 선택수단과, 상기 복수개의 선택수단에 각각 대응하며 상기 복수개의 선택수단으로부터 출력되는 각 3차원 컬러 영상데이타를 아핀변환하기 위한 상기 복수개의 아핀변환수단과, 상기 복수개의 아핀변환수단에 각각 대응하며 상기 각 아핀변환수단에서 아핀변환된 부블럭의 3차원 컬러 영상데이타들을 각각 저장한 다음 연산종료수단으로부터의 종료신호에 의거하여 상기 저장된 부블럭의 3차원 컬러 영상데이타를 각각 출력하는 복수개의 메모리수단과, 상기 복수개의 아핀변환수단으로부터 출력되는 상기 각 부블럭의 3차원 컬러 영상데이타를 각각 체크하여 기설정된 연산종료조건에 모두 만족되면 상기 종료신호를 상기 복수개의 메모리수단으로 각각 제공하는 상기 연산종료수단과, 상기 복수개의 메모리수단으로부터 출력되는 부블럭의 3차원 컬러 영상데이타를 각각 입력하여 스테레오 스코픽으로 처리한 다음 좌표변환하여 2차원 컬러 이미지로서 디스플레이될 수 있도록 처리하기 위한 후처리수단으로 이루어진 것을 특징으로 하는 3차원 컬러 스테레오 스코픽 병렬처리를 위한 아핀변환 장치를 제공한다.In order to achieve the above object, the present invention, in the affine conversion apparatus for processing three-dimensional color image data in stereoscopic, the three-dimensional color image data is converted into a three-dimensional coordinates and RGB color signal to a predetermined number of sub-blocks Pre-processing means for dividing, initial three-dimensional color image data divided into sub-blocks in the pre-processing means and sequentially input, and each of the three-dimensional color image data affine transformed by a plurality of affine conversion means by a clock from the outside A plurality of selection means for selectively outputting on the basis of a signal, the plurality of affine conversion means for affining each three-dimensional color image data respectively corresponding to the plurality of selection means and output from the plurality of selection means; Corresponding to the plurality of affine converting means, respectively, A plurality of memory means for storing the three-dimensional color image data of the sub-blocks which have been affine-transformed, respectively and then outputting the three-dimensional color image data of the stored sub-blocks based on an end signal from the operation terminating means; The operation termination means for checking the three-dimensional color image data of each sub-block output from the affine conversion means and providing the end signal to the plurality of memory means, respectively, when all of the predetermined operation termination conditions are satisfied; Three-dimensional color image data of the sub-blocks output from the two memory means respectively processed by stereoscopic, and then converted to a coordinate processing to be displayed as a two-dimensional color image, characterized in that the three-dimensional Affine Transform for Color Stereoscopic Parallel Processing Provide value.

본 발명의 기타 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.Other objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

제1도는 본 발명의 바람직한 실시예에 따른, 3차원 컬러 스테레오 스코픽 병렬처리를 위한 AT 장치의 개략적인 블럭구성도이다. 동도면을 참조하면 알 수 있듯이, 본 발명의 AT 장치는 전처리부(200), 16개의 선택부(300,310,320), 16개의 AT연산부(400,700,800), 연산종료부(500), 16개의 버퍼(600,610,620), 제1후처리부(900), 제2후처리부(950)로 구성된다.1 is a schematic block diagram of an AT device for three-dimensional color stereoscopic parallel processing according to a preferred embodiment of the present invention. As can be seen from the drawings, the AT device of the present invention includes a preprocessor 200, 16 selectors 300, 310, 320, 16 AT operators 400, 700, 800, arithmetic termination 500, and 16 buffers 600, 610, 620. The first post-processing unit 900 and the second post-processing unit 950 are configured.

동도면에 있어서, 전처리부(200)는 복수개의 형태, 예를 들면 GIF(GRAPHIC INTERCHANGE FORMAT), BMP(BIT MAP), TIFF(TAGGED IMAGE FILE FORMAT) 등, 로 입력되는 3차원 컬러 영상데이타를 3차원 좌표(x, y, z) 및 RGB 색신호로 전환하고 설정된 소정수, 예를 들면 4×4, 즉 16개의 부블럭으로 분할하여 순차적으로 출력하며, 16개의 선택부(300,310,320)는 외부로부터의 클럭에 의한 선택신호(S)에 의거하여 전처리부(200)로부터 출력되는 부블럭의 3차원 컬러 영상데이타와 16개의 AT연산부(400,700,800)에서 각각 AT연산되어 출력되는 부블럭의 3차원 컬러 영상데이타(w0, w1, w2, w3, w4, w5)를 선택적으로 출력한다.In the drawing, the preprocessing unit 200 outputs three-dimensional color image data input in a plurality of forms, for example, GIF (GRAPHIC INTERCHANGE FORMAT), BMP (BIT MAP), TIFF (TAGGED IMAGE FILE FORMAT), etc. It switches to the dimensional coordinates (x, y, z) and RGB color signals and divides them into a predetermined number, for example, 4 × 4, that is, 16 sub-blocks and sequentially outputs them. The 16 selectors 300, 310, and 320 are output from the outside. Based on the selection signal S by the clock, the 3D color image data of the subblock output from the preprocessor 200 and the subblock 3D color image data output by the AT operation are output from the 16 AT operators 400, 700, and 800, respectively. Optionally output (w 0 , w 1 , w 2 , w 3 , w 4 , w 5 ).

또한, 16개의 AT연산부(400,700,800)는 각각 제2도에 도시된 바와 같이, 제1승산부(410), 제2승산부(415), 제3승산부(420), 제4승산부(425), 제5승산부(430), 제6승산부(433) 및 제1가산기(435), 제2가산기(440), 제3가산기(445), 제4가산기(450), 제5가산기(455), 제6가산기(460)로 구성되며, 각 승산부(410,415,420,425,430,433)는 6×6의 제1변환계수(A)를 입력받아 16개의 선택부(300,310,320)로부터 출력되는 부블럭의 3차원 컬러 영상데이타와 제1변환계수(A)를 승산하고, 각 가산기(435,440,445,450,455,460)는 6×1의 제2변환계수(B)를 입력받아 각 승산부(410,415,420,425, 430,433)로부터 출력되는 부블럭의 3차원 컬러 영상데이타와 제2변환계수(B)를 가산한다.In addition, the sixteen AT operators 400, 700, and 800 each include a first multiplier 410, a second multiplier 415, a third multiplier 420, and a fourth multiplier 425, as shown in FIG. ), A fifth multiplier 430, a sixth multiplier 433, a first adder 435, a second adder 440, a third adder 445, a fourth adder 450, and a fifth adder ( 455) and a sixth adder 460, and each of the multipliers 410, 415, 420, 425, 430, and 433 receives the first transform coefficient A of 6 × 6 and outputs the three-dimensional color of the sub-block outputted from the 16 selectors 300, 310, and 320. The image data is multiplied by the first transform coefficient (A), and each adder (435, 440, 445, 450, 455, 460) receives a second transform coefficient (B) of 6 × 1 and outputs three sub-blocks output from the multipliers (410, 415, 420, 425, 430, 433). The color image data and the second transform coefficient B are added.

그리고, 연산종료부(500)는 16개의 AT연산부(400,700,800)로부터 출력되는 부블럭의 3차원 컬러 영상데이타를 체크하여 종료조건, 예를 들면 제1변환계수(A)의 고유치가 0.01 이하로 되는 승산횟수, 을 만족하면 종료신호(E)를 출력하고, 16개의 버퍼(600,610,620)는 16개의 AT연산부(400,700,800)에 각각 대응하며 16개의 AT연산부(400,700,800)에서 AT연산된 부블럭의 3차원 컬러 영상데이타를 저장하고 있다가 연산종료부(500)로부터의 종료신호(E)에 의거하여 저장되어 있는 부블럭의 3차원 컬러 영상데이타를 출력한다.The operation terminator 500 checks the three-dimensional color image data of the sub-blocks output from the 16 AT operators 400, 700, and 800 so that the end condition, for example, the eigen value of the first transform coefficient A becomes 0.01 or less. When the multiplication count is satisfied, the end signal E is outputted, and the 16 buffers 600, 610, and 620 correspond to the 16 AT operators 400, 700, and 800, respectively, and the three-dimensional color of the sub-blocks AT-operated by the 16 AT operators 400, 700, and 800. After storing the image data, the 3D color image data of the sub-block stored based on the end signal E from the operation terminator 500 is output.

또한, 제1후처리부(900)는 16개의 버퍼(600,610,620)로부터 출력되는 부블럭의 3차원 컬러 영상데이타를 입력하여 좌측시각에 대한 위상으로 초리한 다음 좌표변환하여 2차원 컬러 이미지로서 디스플레이될 수 있도록 처리하고, 제2후처리부(950)는 16개의 버퍼(600,610,620)로부터 출력되는 부블럭의 3차원 컬러 영상데이타를 입력하여 우측시각에 대한 위상으로 처리한 다음 좌표변환하여 2차원 컬러 이미지로서 디스플레이될 수 있도록 처리한다.In addition, the first post-processing unit 900 may input three-dimensional color image data of sub-blocks output from the sixteen buffers 600, 610, and 620, and then transform the coordinates into phases with respect to the left eye, and then display the two-dimensional color images. The second post-processing unit 950 inputs the 3D color image data of the sub-blocks output from the 16 buffers 600, 610, and 620, processes them as phases for the right eye, and then converts the coordinates and displays them as 2D color images. To be processed.

상기한 바와 같은 구성부재로 이루어진 본 발명의 3차원 컬러 스테레오 스코픽 병렬처리를 위한 AT 장치의 동작과정에 대하여 제1도와 제2를 참조하여 보다 상세하게 설명하기로 한다.The operation process of the AT device for the three-dimensional color stereoscopic parallel processing of the present invention composed of the above-described constituent members will be described in more detail with reference to FIGS. 1 and 2.

먼저, 본 발명에서는 프레임 단위로 입력되는 3차원 컬러 영상신호를 N×N 블럭으로 분할하여 병렬처리할 수 있으나, 일예로서 제3도에 도시된 바와 같이, 4×4 블럭단위로 분할하고, 이에 따라 AT연산부(400,700,800)도 16개로 하여 설명하기로 한다.First, in the present invention, the three-dimensional color image signal input in units of frames may be divided into N × N blocks for parallel processing. As an example, as shown in FIG. 3, the 3D color image signal is divided into 4 × 4 block units. Accordingly, a description will be made with 16 AT calculation units 400, 700, and 800.

일반적으로, AT 연산은 하기 식(1)에 의해 수행된다.In general, the AT operation is performed by the following equation (1).

여기에서, W는 16개의 AT연산부(400,700,800)의 각각에서 상기 식(1)에 의해 AT연산되어 출력되는 3차원 컬러 영상데이타, A는 3차원 컬러 영상데이타의 선형 확대 및 축소, 형태변환(DEFORMATION) 등을 구현하기 위한 제1변환계수, D는 입력되는 부블럭의 3차원 컬러 영상데이타, 그리고 B는 입력되는 3차원 컬러 영상데이타(D)의 선형 이동 등을 구현하기 위한 제2변환계수를 나타낸다.Here, W denotes three-dimensional color image data that is AT-calculated by Equation (1) in each of the sixteen AT computation units 400, 700, and 800, and A denotes linear enlargement and reduction of the three-dimensional color image data, and shape conversion. A first transform coefficient for implementing the second transform coefficient, D is a three-dimensional color image data of the input sub-block, and B is a second transform coefficient for implementing a linear movement of the input three-dimensional color image data (D), etc. Indicates.

통상적으로, W와 A는 N×N개의 매트릭스 형태이고, D와 B는 N×1의 매트릭스 형태이나, 본 발명에서는 일예로서 W와 A는 6×6 매트릭스 형태, 그리고 D와 B는 6×1 형태의 매트릭스 형태로 하여 설명한다.Typically, W and A are in the form of N × N matrices, D and B are in the form of N × 1 matrices, but in the present invention, W and A are in the form of 6 × 6 matrices, and D and B are 6 × 1 matrices. The description will be given in the form of a matrix.

따라서, 상기 식(1)은 다음과 같이 나타낼 수 있다.Therefore, Equation (1) can be expressed as follows.

이때, x, y, z는 입력되는 부블럭의 3차원 컬러 영상데이타의 위치를 나타내는 좌표값이며, RGB는 3차원 컬러 영상데이타의 3차원 좌표(x, y, z)에 대한 RGB 색신호이다.At this time, x, y, z are coordinate values indicating the position of the three-dimensional color image data of the input sub-block, RGB is an RGB color signal for the three-dimensional coordinates (x, y, z) of the three-dimensional color image data.

다음에, 여러 형태의 컬러 이미지를 갖는 3차원 컬러 영상데이타가 전처리부(200)를 통해 3차원 좌표(x, y, z) 및 RGB 색신호로 전환되고, 4×4, 즉 16개의 부블럭으로 분할되어 순차적으로 16개의 선택부(300,310,320)로 각각 입력되면(제2도의 x, y, z, R, G, B), 외부로부터의 클럭에 의한 선택신호(S)에 의해 부블럭의 초기 3차원 컬러 영상데이타(x, y, z, RGB)가 선택되어 16개의 AT연산부(400,700,800)로 순차적으로 각각 제공된다.Next, the 3D color image data having various types of color images is converted into 3D coordinates (x, y, z) and RGB color signals through the preprocessor 200, and then converted into 4x4, that is, 16 subblocks. When divided and sequentially input to the 16 selectors 300, 310, and 320, respectively (x, y, z, R, G, and B in FIG. 2), the initial 3 of the sub-blocks is selected by the selection signal S by a clock from the outside. The dimensional color image data (x, y, z, RGB) is selected and provided to the 16 AT operators 400, 700, and 800 sequentially.

보다 상세히 설명하면, 제3도에 도시된 바와 같이 프레임(C) 단위의 3차원 컬러 영상데이타가 4×4, 즉 16개의 부블럭으로 분할된 다음, #1은 제1선택부(300)로 입력되어 외부로부터의 클럭에 의해 제1 AT연산부(400)로 제공되고, #2는 제2선택부(310)로 입력되어 외부로부터의 클럭에 의해 제2 AT연산부(700)로 제공되며, #16은 제16선택부(320)로 입력되어 외부로부터의 클럭에 의해 제16 AT연산부(800)로 제공된다.In more detail, as shown in FIG. 3, the 3D color image data in the unit of frame C is divided into 4 × 4, that is, 16 sub-blocks, and then # 1 is transferred to the first selector 300. The input is provided to the first AT operator 400 by a clock from the outside, # 2 is input to the second selector 310 and provided to the second AT operator 700 by a clock from the outside, 16 is input to the sixteenth selector 320 and provided to the sixteenth AT operator 800 by a clock from the outside.

이때, 16개의 AT연산부(400,700,800)는 동일한 기능을 수행하므로, 제1 AT연산부(400)의 동작과정에 대하여 설명하고 중복기재를 피하기 위해 나머지 15개의 AT연산부(제2 AT연산부(700)부터 제16 AT연산부(800))의 동작과정은 생략하기로 한다.In this case, since the sixteen AT operators 400, 700, and 800 perform the same function, the operation procedure of the first AT operator 400 is described and the remaining 15 AT operator (second AT operator 700 from the second AT operator 700 to avoid the redundant description). The operation process of the 16 AT operator 800 will be omitted.

따라서, 제1선택부(300)로부터 출력되는 부블럭의 3차원 컬러 영상데이타(#1)가 제1 AT연산부(400)의 제1, 제2, 제3, 제4, 제5, 제6승산부(410,415,420,425,430,433)에서 제1변환계수(A)와 승산되고, 승산 결과로 얻어진 부블럭의 3차원 컬러 영상데이타가 제1, 제2, 제3, 제4, 제5, 제6가산기(435,440,445,450,455,460)에서 제2변환계수(B)와 가산된다.Accordingly, the 3D color image data # 1 of the sub-block output from the first selector 300 is the first, second, third, fourth, fifth, and sixth of the first AT operator 400. The first, second, third, fourth, fifth, and sixth adders (435, 440, 445, 450, 455, 460) are multiplied by the first transform coefficient (A) by the multipliers (410, 415, 420, 425, 430, 433), and the three-dimensional color image data of the sub-blocks obtained as a result of the multiplication. ) Is added to the second transform coefficient (B).

보다 상세히 설명하면, 제1승산부(410)에서 제1변환계수(A)의 제1행(a0, a1, a2, a3, a4, a5)이 선택부(300)로부터 출력되는 부블럭의 3차원 컬러 영상데이타(#1)의 x와, 제2승산부(415)에서 제1변환계수(A)의 제2행(a6, a7, a8, a9, a10, a11)이 선택부(300)로부터 출력되는 부블럭의 3차원 컬러 영상데이타(#1)의 y와, 제3승산부(420)에서 제1변환계수(A)의 제3행(a12, a13, a14, a15, a16, a17)이 선택부(300)로부터 출력되는 부블럭의 3차원 컬러 영상데이타(#1)의 z와, 제4승산부(425)에서 제1변환계수(A)의 제4행(a18, a19, a20, a21, a22, a23)이 선택부(300)로부터 출력되는 부블럭의 3차원 컬러 영상데이타(#1)의 색신호 R과, 제5승산부(430)에서 제1변환계수(A)의 제5행(a24, a25, a26, a27, a28, a29)이 선택부(300)로부터 출력되는 부블럭의 3차원 컬러 영상데이타(#1)의 색신호 G와, 제6승산부(433)에서 제1변환계수(A)의 제6행(a30, a31, a32, a33, a34, a35)이 선택부(300)로부터 출력되는 부블럭의 3차원 컬러 영상데이타(#1)의 색신호 B와 승산된다.In more detail, the first row (a 0 , a 1 , a 2 , a 3 , a 4 , a 5 ) of the first transform coefficient A in the first multiplier 410 is selected from the selection unit 300. X of the 3D color image data # 1 of the subblock to be output, and a second row of the first transform coefficient A by the second multiplier 415 (a 6 , a 7 , a 8 , a 9 , a 10 , a 11 ) is the y of the three-dimensional color image data # 1 of the sub-block outputted from the selector 300, and the third row of the first transform coefficient A in the third multiplier 420. (a 12 , a 13 , a 14 , a 15 , a 16 , a 17 ) are z of the 3D color image data # 1 of the sub-block outputted from the selector 300, and the fourth multiplier 425. ), The fourth row (a 18 , a 19 , a 20 , a 21 , a 22 , a 23 ) of the first transform coefficient A is a three-dimensional color image data (3) of the sub-block outputted from the selector 300. The color signal R of # 1 and the fifth row (a 24 , a 25 , a 26 , a 27 , a 28 , a 29 ) of the first transform coefficient A in the fifth multiplication unit 430 are selected by the selection unit ( 300 of the 3D color image data (# 1) of the sub-block output from The color signal G and the sixth row (a 30 , a 31 , a 32 , a 33 , a 34 , a 35 ) of the first transform coefficient A in the sixth multiplier 433 are output from the selector 300. Multiplied by the color signal B of the three-dimensional color image data # 1 of the subblock.

그 다음, 제1, 제2, 제3, 제4, 제5, 제6승산부(410,415,420,425,430,433)에서 승산 결과로 얻어진 부블럭의 3차원 컬러 영상데이타가 제1, 제2, 제3, 제4, 제5, 제6가산기(435,440,445,450,455, 460)로 각각 출력되면, 승산결과로 얻어진 부블럭의 3차원 컬러 영상데이타와 제2변환계수(b0, b1, b2, b3, b4, b5)가 가산되어 버퍼(600)에 저장된다.Then, the first, second, third, fourth, fifth, and sixth multipliers 410, 415, 420, 425, 430, 433, the three-dimensional color image data of the sub-blocks obtained as a result of multiplication are first, second, third, fourth. , The fifth and sixth adders 435, 440, 445, 450, 455, and 460 respectively output three-dimensional color image data and second transform coefficients b 0 , b 1 , b 2 , b 3 , b 4 , b 5 ) is added and stored in the buffer 600.

한편, 나머지 15개의 선택부(310,320)로부터 출력되는 부블럭의 3차원 컬러 영상데이타(#2부터 #16)도 나머지 15개의 AT연산부(700,800)에서 상술한 바와 같은 AT연산이 동시 다발적으로 처리되고, 나머지 15개의 버퍼(610,620)에 저장된다.On the other hand, the three-dimensional color image data (# 2 to # 16) of the sub-blocks output from the remaining 15 selectors 310 and 320 are also simultaneously processed by the AT operations as described above by the remaining 15 AT operators 700 and 800. And the remaining 15 buffers 610 and 620.

이때, AT연산이 한번 수행된 상태이고, 그 수렴여부에 따라 16개의 AT연산부(400,700, 800)에서 각각 AT연산된 부블럭의 3차원 컬러 영상데이타가 16개의 선택부(300,310,320)로 각각 궤환(FEED BACK)되거나, 또는 16개의 버퍼(600,610,620)에 저장되어 있는 부블럭의 3차원 컬러 영상데이타가 출력되기도 하는데, 이에 대해 보다 상세히 설명하면 다음과 같다.At this time, the AT operation is performed once, and the three-dimensional color image data of the subblocks AT-operated by each of the 16 AT operators 400, 700, and 800 are fed back to the 16 selectors 300, 310, and 320, respectively, depending on whether convergence is performed. FEED BACK) or sub-block 3D color image data stored in 16 buffers 600, 610, and 620 may be output. This will be described in detail below.

16개의 AT연산부(400,700,800)에서 AT연산되어 출력되는 부블럭의 3차원 컬러 영상데이타가 각각 연산종료부(500)로 입력되면, 연산종료부(500)는 부블럭의 3차원 컬러 영상데이타의 종료여부를 각각 체크하여, 16개의 AT연산부(400,700,800)로부터 출력되는 부블럭의 3차원 컬러 영상데이타 중 어느 하나라도 종료조건, 예를 들면 제1변환계수(A)의 고유치가 0.01 이하로 되는 승산횟수, 을 만족하지 않으면 16개의 AT연산부(400,700,800)로부터 출력되는 부블럭의 3차원 컬러 영상데이타가 16개의 선택부(300,310,320)로 각각 궤환되어 외부로부터의 클럭에 의한 선택신호(S)에 의해 16개의 AT연산부(400,700,800)로 다시 입력되어 상술한 바와 같은 AT연산이 반복수행된다.When the three-dimensional color image data of the sub-blocks that are AT-operated by the sixteen AT operators 400, 700, and 800 are input to the operation terminator 500, the operation terminator 500 ends the three-dimensional color image data of the sub-blocks. The number of multiplications for which the end condition, for example, the eigenvalue of the first transform coefficient A, is smaller than 0.01 for any one of the three-dimensional color image data of the sub-blocks output from the 16 AT operators 400, 700, and 800, respectively. If not satisfied, the three-dimensional color image data of the sub-blocks output from the 16 AT operators 400, 700, and 800 are fed back to the 16 selectors 300, 310, and 320, respectively, and 16 are selected by the selection signal S by an external clock. It is inputted back into the AT operation unit 400, 700, and 800, and the above-described AT operation is repeatedly performed.

한편, 연산종료부(500)는 16개의 AT연산부(400,700,800)에서 각각 AT연산되어 출력되는 부블럭의 3차원 컬러 영상데이타를 계속적으로 체크하여, 16개의 부블럭 3차원 컬러 영상데이타가 모두 상기한 종료조건을 만족하면, AT연산을 종료하기 위한 종료신호(E)를 발생하고, 연산종료부(500)로부터의 종료신호(E)에 의거하여 16개의 버퍼(600,610,620)에 각각 저장되어 있는 부블럭의 3차원 컬러 영상데이타가 출력된다.Meanwhile, the operation terminator 500 continuously checks the three-dimensional color image data of the sub-blocks that are AT-operated by the sixteen AT operators 400, 700, and 800, respectively, so that all sixteen sub-block three-dimensional color image data are described above. When the end condition is satisfied, the end signal E for terminating the AT operation is generated, and the sub-blocks are stored in the 16 buffers 600, 610, and 620 based on the end signal E from the operation end unit 500, respectively. 3D color image data is output.

그 다음, 16개의 버퍼(600,610,620)로부터 출력되는 부블럭의 3차원 컬러 영상데이타가 제1후처리부(900)와 제2후처리부(950)로 입력되고, 제1후처리부(900)로 입력된 3차원 컬러 영상데이타는 좌측시각에 대한 위상으로 처리한 다음 2차원 컬러 이미지로서 좌표변환되어 디스플레이되며, 제2후처리부(950)로 입력된 3차원 컬러 영상데이타는 우측시각에 대한 위상으로 처리된 다음 2차원 컬러 이미지로서 좌표변환되어 디스플레이된다.Subsequently, the 3D color image data of the sub-blocks output from the 16 buffers 600, 610, and 620 is input to the first post-processor 900 and the second post-processor 950, and then input to the first post-processor 900. The 3D color image data is processed by a phase with respect to the left eye and then coordinate-converted and displayed as a 2D color image. The 3D color image data input to the second post-processing unit 950 is processed with a phase with respect to the right eye. The coordinates are displayed as the next two-dimensional color image.

상술한 바와 같이, 3차원 컬러 영상데이타가 전처리부(200)에서 3차원 좌표 및 색신호로 전환되어 16개의 부블럭으로 분할된 다음 순차적으로 16개의 AT연산부(400,700,800)에서 AT연산이 병렬처리되고, 16개의 AT연산부(400,700,800)로부터 출력되는 각각의 부블럭 3차원 컬러 영상데이타가 모두 기설정된 종료조건에 만족되면, 연산종료부(500)로부터 종료신호(E)가 발생되어 16개의 버퍼(600,610,620)에 각각 저장되어 있는 부블럭의 3차원 컬러 영상데이타가 출력되고, 제1후처리부(900)와 제2후처리부(950)에서 스테레오 스코픽으로 처리된 다음 2차원 컬러 이미지로서 좌표변환되어 디스플레이된다.As described above, the three-dimensional color image data is converted into three-dimensional coordinates and color signals in the preprocessing unit 200, divided into 16 sub-blocks, and AT operations are sequentially processed in sixteen AT operations 400, 700, and 800 sequentially. When all the sub-block 3D color image data output from the 16 AT operators 400, 700, and 800 satisfy all preset termination conditions, an end signal E is generated from the operation terminator 500, and 16 buffers 600, 610, and 620 are generated. Three-dimensional color image data of the sub-blocks stored in each is output, and the first post-processing unit 900 and the second post-processing unit 950 are processed stereoscopically, and then converted and displayed as coordinates as a two-dimensional color image.

한편, 본 발명에서는 3차원 컬러 영상데이타를 4×4 블럭으로 분할되어 병렬처리하는 것을 일예로서 설명하였으나, 이 기술분야의 숙련자는 N×N(4×4 블럭단위 이상) 블럭으로 분할하여 병렬처리하면 3차원 컬러 영상데이타를 보다 고속으로 처리할 수 있다는 것을 쉽게 알 수 있을 것이다.Meanwhile, in the present invention, the three-dimensional color image data is divided into 4 × 4 blocks and processed as an example. However, those skilled in the art divide the N-N (4 × 4 block or more) blocks into parallel processing. It will be readily understood that 3D color image data can be processed at a higher speed.

따라서, 본 발명을 이용하면, 애니메이션 풍경용 3차원 컬러 스테레오 스코픽 처리를 고속으로 자연스럽게 처리할 수 있는 효과가 있다.Therefore, using the present invention, there is an effect that the three-dimensional color stereoscopic processing for animated landscapes can be naturally processed at high speed.

Claims (4)

3차원 컬러 영상데이타를 스테레오 스코픽으로 처리하는 아핀변환 장치에 있어서, 상기 3차원 컬러 영상데이타를 3차원 좌표 및 RGB 색신호로 전환하고 설정된 소정수의 부블럭으로 분할하기 위한 전처리수단 ; 상기 전처리수단에서 부블럭으로 분할되어 순차적으로 입력되는 초기 3차원 컬러 영상데이타와 복수개의 아핀변환수단에서 아핀변환된 각 3차원 컬러 영상데이타를 외부로부터의 클럭에 의한 선택신호에 의거하여 선택적으로 출력하기 위한 복수개의 선택수단 ; 상기 복수개의 선택수단에 각각 대응하며 상기 복수개의 선택수단으로부터 출력되는 각 3차원 컬러 영상데이타를 아핀변환하기 위한 상기 복수개의 아핀변환수단 ; 상기 복수개의 아핀변환수단에 각각 대응하며 상기 각 아핀변환수단에서 아핀변환된 부블럭의 3차원 컬러 영상데이타들을 각각 저장한 다음 연산종료수단으로부터의 종료신호에 의거하여 상기 저장된 부블럭의 3차원 컬러 영상데이타를 각각 출력하는 복수개의 메모리수단 ; 상기 복수개의 아핀변환수단으로부터 출력되는 상기 각 부블럭의 3차원 컬러 영상데이타를 각각 체크하여 기설정된 연산종료조건에 모두 만족되면 상기 종료신호를 상기 복수개의 메모리수단으로 각각 제공하는 상기 연산종료수단 ; 상기 복수개의 메모리수단으로부터 출력되는 부블럭의 3차원 컬러 영상데이타를 각각 입력하여 스테레오 스코픽으로 처리한 다음 좌표변환하여 2차원 컬러 이미지로서 디스플레이될 수 있도록 처리하기 위한 후처리수단으로 이루어진 것을 특징으로 하는 3차원 컬러 스테레오 스코픽 병렬처리를 위한 아핀변환 장치.An affine conversion apparatus for processing three-dimensional color image data in stereoscopic, comprising: preprocessing means for converting the three-dimensional color image data into three-dimensional coordinates and an RGB color signal and dividing the three-dimensional color image data into a predetermined number of subblocks; Optionally output initial 3D color image data divided into sub-blocks by the preprocessing means and sequentially inputted on the 3D color image data affine converted by a plurality of affine conversion means based on a selection signal by a clock from the outside. A plurality of selection means for performing; A plurality of affine converting means corresponding to the plurality of selecting means, respectively, for affining each three-dimensional color image data output from the plurality of selecting means; Three-dimensional color image data of the sub-blocks respectively corresponding to the plurality of affine conversion means and affine-transformed by each of the affine conversion means are stored, and then the three-dimensional color of the stored sub-blocks is based on an end signal from the operation termination means. A plurality of memory means for outputting image data, respectively; The operation termination means for checking the three-dimensional color image data of each sub-block output from the plurality of affine conversion means and providing the end signal to the plurality of memory means, respectively, when all of the predetermined operation termination conditions are satisfied; And a post-processing means for inputting three-dimensional color image data of the sub-blocks output from the plurality of memory means, processing them into stereoscopic and then transforming them to be displayed as a two-dimensional color image. Affine transformation device for 3-D color stereoscopic parallel processing. 제1항에 있어서, 상기 전처리수단에서 설정된 소정수의 부블럭은, N×N(여기서, N4)의 블럭인 것을 특징으로 하는 3차원 컬러 스테레오 스코픽 병렬처리를 위한 아핀변환 장치.The predetermined number of sub-blocks set by the preprocessing means is N x N (where N An affine transformation device for three-dimensional color stereoscopic parallel processing, characterized in that the block of 4). 제1항에 있어서, 상기 아핀변환수단은, 상기 복수개의 선택수단으로부터 각각 출력되는 부블럭의 3차원 컬러 영상데이타와 제1변환계수를 승산하기 위한 복수개의 승산기 ; 상기 각 승산기에 연결되며 상기 승산기에서 승산된 부블럭의 3차원 컬러 영상데이타와 제2변환계수를 가산하기 위한 복수개의 가산기로 구성된 것을 특징으로 하는 3차원 컬러 스테레오 스코픽 병렬처리를 위한 아핀변환 장치.2. The apparatus of claim 1, wherein the affine converting means comprises: a plurality of multipliers for multiplying three-dimensional color image data of a sub-block output from the plurality of selecting means and a first transform coefficient; And a plurality of adders connected to each of the multipliers and configured to add 3D color image data of the sub-blocks multiplied by the multiplier and a second transform coefficient, wherein the affine transformation apparatus for 3D color stereoscopic parallel processing is performed. 제1항에 있어서, 상기 후처리수단은, 상기 복수개의 메모리수단으로부터 출력되는 3차원 컬러 영상데이타를 각각 입력하여 좌측시각에 대한 위상으로 스코픽 처리하기 위한 제1후처리수단 ; 상기 복수개의 메모리수단으로부터 출력되는 3차원 컬러 영상데이타를 각각 입력하여 우측시각에 대한 위상으로 스코픽 처리하기 위한 제2후처리수단으로 구성된 것을 특징으로 하는 3차원 컬러 스테레오 스코픽 병렬처리를 위한 아핀변환 장치.The apparatus of claim 1, wherein the post-processing means comprises: first post-processing means for inputting three-dimensional color image data output from the plurality of memory means, respectively, and for scoping in phase with respect to the left eye; Affine conversion apparatus for three-dimensional color stereoscopic parallel processing, characterized in that the second post-processing means for inputting each of the three-dimensional color image data output from the plurality of memory means for the scopic processing to the phase for the right view .
KR1019950007309A 1995-03-31 1995-03-31 A time transformer for parallel processing the 3-dimension color stereoscopic KR0153978B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950007309A KR0153978B1 (en) 1995-03-31 1995-03-31 A time transformer for parallel processing the 3-dimension color stereoscopic

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950007309A KR0153978B1 (en) 1995-03-31 1995-03-31 A time transformer for parallel processing the 3-dimension color stereoscopic

Publications (2)

Publication Number Publication Date
KR960036816A KR960036816A (en) 1996-10-28
KR0153978B1 true KR0153978B1 (en) 1998-11-16

Family

ID=19411122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950007309A KR0153978B1 (en) 1995-03-31 1995-03-31 A time transformer for parallel processing the 3-dimension color stereoscopic

Country Status (1)

Country Link
KR (1) KR0153978B1 (en)

Also Published As

Publication number Publication date
KR960036816A (en) 1996-10-28

Similar Documents

Publication Publication Date Title
US5703965A (en) Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening
CN1146242C (en) Motion compensation method for decoding moving image and its device
CN103220545B (en) Hardware implementation method of stereoscopic video real-time depth estimation system
US12020461B2 (en) Method and apparatus for Haar-based point cloud coding
CN111612878B (en) Method and device for making static photo into three-dimensional effect video
GB2575514A (en) Method and system for compressing and decompressing digital three-dimensional point cloud data
KR0153978B1 (en) A time transformer for parallel processing the 3-dimension color stereoscopic
US6526178B1 (en) Picture mapping apparatus and picture mapping method, and picture generation apparatus and picture generation method
KR0154014B1 (en) Affine transformer for parallel processing the 3-dimension color graphics
KR0181049B1 (en) Affine transformer for parallel processing the stereoscopic
JP4277987B2 (en) Sampling conversion / resolution conversion apparatus for transform coding coefficient
KR0185834B1 (en) An adaptive vector quantizer using a vector interpolater
KR0159384B1 (en) Affine transformer for processing the 3-dimension stereo scopic
KR0153994B1 (en) Affine transformer for parallel processing the color graphics
KR0154950B1 (en) Affine transformation for 3-dimensional graphic parallel processing
KR0181058B1 (en) Affine transformer for parallel processing the 3-dimension graphics
KR0181053B1 (en) Affine transformer for parallel processing the 3-dimension color graphics
KR0154009B1 (en) Affine transformer for parallel- processing of the color graphics
KR0154947B1 (en) Affine transformation for three-dimensional color stereoscopic parallel processing
KR0153977B1 (en) Affine transfer for processing the 3-dimension graphics
KR0181035B1 (en) Affine transformer for processing the stereoscopic
KR0154006B1 (en) Affine transformer for processing the 3-dimension color graphics
KR0181057B1 (en) Affine transformer for processing the 3-dimension graphics
KR0153992B1 (en) Affine transformer for parallel processing the color graphics
KR0154937B1 (en) Affine transformation apparatus for treating three-dimensional color graphic

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120702

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee