KR20050107707A - Apparatus for restorating data of holographic system and method therefor - Google Patents

Apparatus for restorating data of holographic system and method therefor Download PDF

Info

Publication number
KR20050107707A
KR20050107707A KR1020040032808A KR20040032808A KR20050107707A KR 20050107707 A KR20050107707 A KR 20050107707A KR 1020040032808 A KR1020040032808 A KR 1020040032808A KR 20040032808 A KR20040032808 A KR 20040032808A KR 20050107707 A KR20050107707 A KR 20050107707A
Authority
KR
South Korea
Prior art keywords
data
image
pixel
unit
binning
Prior art date
Application number
KR1020040032808A
Other languages
Korean (ko)
Other versions
KR100589590B1 (en
Inventor
김낙영
Original Assignee
주식회사 대우일렉트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 대우일렉트로닉스 filed Critical 주식회사 대우일렉트로닉스
Priority to KR1020040032808A priority Critical patent/KR100589590B1/en
Publication of KR20050107707A publication Critical patent/KR20050107707A/en
Application granted granted Critical
Publication of KR100589590B1 publication Critical patent/KR100589590B1/en

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B7/00Recording or reproducing by optical means, e.g. recording using a thermal beam of optical radiation by modifying optical properties or the physical structure, reproducing using an optical beam at lower power by sensing optical properties; Record carriers therefor
    • G11B7/004Recording, reproducing or erasing methods; Read, write or erase circuits therefor
    • G11B7/0065Recording, reproducing or erasing by using optical interference patterns, e.g. holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208Individual components other than the hologram
    • G03H2001/0224Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/18Particular processing of hologram record carriers, e.g. for obtaining blazed holograms
    • G03H2001/186Swelling or shrinking the holographic record or compensation thereof, e.g. for controlling the reconstructed wavelength
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2260/00Recording materials or recording processes
    • G03H2260/50Reactivity or recording processes
    • G03H2260/54Photorefractive reactivity wherein light induces photo-generation, redistribution and trapping of charges then a modification of refractive index, e.g. photorefractive polymer

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명은 홀로그래픽 시스템의 데이터 복원장치 및 방법에 관한 것으로, 개시된 복원장치는 이미지를 페이지 단위로 캡쳐하는 이미지 캡쳐부와, 캡쳐된 이미지에서 데이터 이미지를 추출하여 원 데이터의 이미지 크기와 비교해 구간화 크기를 결정한 후 픽셀들의 광강도를 기준으로 하여 구간화 위치가 결정되면 캡쳐된 이미지를 픽셀 구간화하는 픽셀 구간화부와, 캡쳐된 이미지의 구간화에 의한 단위 픽셀 구간을 인식하여 1:1 픽셀 매칭을 이용한 오버 샘플링을 수행하는 오버 샘플링부와, 오버 샘플링으로부터 추출되어진 엔코딩된 데이터 이미지를 엔코딩 전의 원 데이터로 디코딩하는 변조 디코딩부를 포함하며, 캡쳐된 이미지의 픽셀 구간화를 통해 1:1 픽셀 매칭을 구현함으로써 오버 샘플링 시간을 단축시켜 궁극적으로는 데이터 복원 속도를 향상시키는 이점이 있다.The present invention relates to an apparatus and method for restoring data of a holographic system. The disclosed restoration apparatus includes an image capture unit for capturing an image in units of pages, and extracting a data image from the captured image to compare the image data with the original size of the data. After determining the size and determining the segmentation position based on the light intensity of the pixels, 1: 1 pixel matching is performed by recognizing the pixel segmentation unit for pixel-capturing the captured image and the unit pixel section by the segmentation of the captured image. And an oversampling unit for performing oversampling using the oversampling unit, and a modulation decoding unit for decoding the encoded data image extracted from the oversampling into raw data before encoding, and performing 1: 1 pixel matching through pixel segmentation of the captured image. Implementation reduces oversampling time and ultimately speeds up data recovery. There is an advantage that phase.

Description

홀로그래픽 시스템의 데이터 복원장치 및 방법{APPARATUS FOR RESTORATING DATA OF HOLOGRAPHIC SYSTEM AND METHOD THEREFOR}Apparatus and method for restoring data of holographic system {APPARATUS FOR RESTORATING DATA OF HOLOGRAPHIC SYSTEM AND METHOD THEREFOR}

본 발명은 홀로그래픽 시스템의 데이터 복원장치 및 방법에 관한 것으로, 더욱 상세하게는 캡쳐된 이미지의 픽셀 구간화(Binning)를 통해 1:1 픽셀 매칭을 구현하는 홀로그래픽 시스템의 데이터 복원장치 및 방법에 관한 것이다.The present invention relates to a data restoration apparatus and method of a holographic system, and more particularly, to a data restoration apparatus and method of a holographic system that implements 1: 1 pixel matching through pixel binning of a captured image. It is about.

현재 데이터 저장용 메모리의 대용량 및 고속 처리를 위해 광 기록매체로 수∼수백 Gbytes를 저장할 수 있는 홀로그래픽 기록 매체와 그 기록/재생 장치에 대한 연구 및 개발이 활발히 진행 중에 있다.Currently, research and development of holographic recording media capable of storing hundreds to hundreds of Gbytes as optical recording media and their recording / reproducing apparatuses are being actively conducted for large-capacity and high-speed processing of data storage memories.

홀로그래픽 데이터의 기록은 대상 물체로부터 반사된 신호광의 강도와 방향을 기록함으로써 이루어진다. 대상 물체의 빛의 강도와 방향은 신호광과 기준광의 간섭으로 이루어져 간섭 무늬를 만들게 되고, 이렇게 형성된 간섭 무늬는 간섭 무늬의 강도에 반응하는 물질로 이루어진 홀로그래픽 저장매체 속에 기록된다. 저장매체에 기록된 홀로그래픽 데이터는 기록 과정에서 사용된 기준광으로만 읽어 낼 수 있고, 기록시에 사용된 기준광과 파장 또는 위상이 다른 기준광은 저장매체에 기록된 홀로그래픽 데이터를 통과하여 읽어 내지 못한다.The recording of the holographic data is made by recording the intensity and direction of the signal light reflected from the object. The intensity and direction of the light of the object is composed of the interference of the signal light and the reference light to form an interference fringe, and the interference fringe is formed in a holographic storage medium made of a material that responds to the intensity of the interference fringe. The holographic data recorded on the storage medium can be read only by the reference light used in the recording process, and reference light having a different wavelength or phase from the reference light used during recording cannot be read through the holographic data recorded on the storage medium. .

이와 같은 홀로그래픽 성질을 이용하여 각각 다른 기준광으로 기록 매체의 같은 장소에 많은 홀로그래픽 데이터를 기록함으로써 작은 기록 매체 내부에 방대한 데이터를 저장하는 것이 가능해 진다.By using this holographic property, it is possible to store a large amount of data inside a small recording medium by recording a lot of holographic data in the same place of the recording medium with different reference light.

전형적인 홀로그래픽 디지털 저장 및 재생 시스템은, 홀로그래픽 데이터를 저장매체에 기록하는 기록모드 시에 광원에서 발생한 레이저광을 기준광과 신호광으로 분기시키고, 신호광을 외부 입력 데이터(즉, 저장하고자 하는 입력 데이터)에 따라 픽셀들이 명암을 이루는 한 페이지 단위의 2진 데이터로 변조하며, 변조된 신호광과 분기되어 기 설정된 편향 각으로 반사시킨 기록용 기준광을 서로 간섭시킴으로서 얻어지는 간섭 무늬를 입력 데이터에 대응하는 홀로그래픽 데이터로써 저장매체에 기록한다.A typical holographic digital storage and reproducing system splits a laser light generated from a light source into a reference light and a signal light in a recording mode in which holographic data is recorded on a storage medium, and splits the signal light into external input data (ie, input data to be stored). And the holographic data corresponding to the input data, the interference fringes obtained by modulating the pixel-contrast binary data of one page unit and interfering with the modulated signal light and the recording reference light reflected by a predetermined deflection angle. Write to a storage medium.

이때, 저장매체에 기록되는 A×A(예컨대, 240×240)의 홀로그래픽 데이터는 일련의 전처리(예를 들면, 픽셀 데이터를 엔코딩하고 에러 정정 코드(패리티 비트) 등을 삽입하는 엔코딩 처리, 디코딩에서의 오버 샘플링을 위한 테두리 생성 처리 등) 과정을 통해 엔코딩된 후 공간 광 변조기(SLM)를 통해 신호광으로 변조되어 저장매체에 기록되며, 저장매체로부터 재생되는 A×A(예를 들면, 240×240)의 홀로그래픽 데이터(즉, 간섭무늬 형상 이미지)는 CCD(Charge Coupled Device) 등을 통해 조사되어 (A+B)×(A+B)의 사이즈를 갖는 데이터 이미지(예를 들면, 1024×1024의 데이터 이미지)로 변환되고, 오버 샘플링 과정을 통해 엔코딩 전의 데이터, 즉 A×A 사이즈를 갖는 데이터 이미지(예를 들면, 240×240이 데이터 이미지)로 변환되며, 이후 ECC 디코딩 등의 과정을 통해 엔코딩 전의 원래 데이터로 복원된다.At this time, the A × A (eg, 240 × 240) holographic data recorded on the storage medium is encoded and decoded by a series of preprocessing (e.g., encoding pixel data and inserting an error correction code (parity bit)). AXA (for example, 240 ×) that is encoded by a frame generation process for oversampling, and then modulated into a signal light by a spatial light modulator (SLM) and reproduced on a storage medium. The holographic data (ie, an interference fringe shape image) of 240 is irradiated through a Charge Coupled Device (CCD) or the like, and has a data image (eg, 1024 ×) having a size of (A + B) × (A + B). 1024 data images), and the data before encoding through the oversampling process, that is, the data image having an A × A size (for example, 240 × 240 is a data image), and then the ECC decoding process is performed. Circle before encoding via It is restored to the data.

아울러, 저장매체로부터 CCD에 의해 검출되는 한 페이지 단위의 이미지 데이터는 (A+B)×(A+B)의 사이즈, 예를 들면 1024×1024의 사이즈를 갖는데, 이러한 페이지 이미지에는 띠 모양의 테두리와 테두리 안에 720×720의 사이즈를 갖는 데이터 이미지를 포함하고 있다.In addition, the image data of one page unit detected by the CCD from the storage medium has a size of (A + B) × (A + B), for example, 1024 × 1024. It contains a data image with a size of 720 x 720 within the border.

따라서, (A+B)×(A+B) 사이즈의 데이터 이미지에서 원래의 데이터 크기인 A×B 데이터 이미지를 추출하기 위해서는 먼저 (A+B)×(A+B) 사이즈의 데이터 이미지에서 테두리를 검출하는 것이 필요한데, 이를 위한 하나의 방법으로서 각 행 라인의 픽셀 총 합과 각 열 라인의 픽셀 총 합을 구하는 방식을 이용할 수 있다. 즉 각 행 라인의 픽셀 총 합과 각 열 라인의 픽셀 총 합을 구하면 양쪽에 유난히 큰 값을 가지는 라인이 존재하며, 이 라인들이 양쪽의 테두리 위치가 되는 것이다. 여기서, 테두리를 이루는 픽셀 라인의 총 합이 큰 값으로 나타나는 것은 실제 데이터 이미지 영역의 픽셀들은 "1"과 "0"의 픽셀 데이터 값들이 랜덤에게 혼재하는 형태를 갖는 반면에, 테두리의 형성하는 픽셀들이 모두 동일한 픽셀 데이터 값(예컨대, "1")으로 되어 있기 때문이다.Therefore, in order to extract the A × B data image, which is the original data size, from the (A + B) × (A + B) size data image, the edges of the (A + B) × (A + B) size data image must be used. It is necessary to detect, and as one method for this, a method of obtaining the total pixel sum of each row line and the total pixel sum of each column line may be used. In other words, if the total sum of pixels of each row line and the sum of pixels of each column line are found, there is an extraordinarily large line on each side, and these lines become the edge positions of both sides. Here, the total sum of the pixel lines constituting the border is represented by a large value, whereas pixels in the actual data image region have a form in which pixel data values of "1" and "0" are randomly mixed, while the pixels forming the border are formed. This is because they all have the same pixel data value (for example, "1").

다음에, 전술한 일련의 과정들을 통해 테두리를 검출한 후에 예컨대 테두리 안의 왼쪽 상단 모서리 부분에서부터 시작하여 오른쪽 상단 모서리 부분으로 순차적으로 이동해 가면서 각 라인별로 픽셀을 추출한다. 예를 들어, 원래의 데이터 이미지가 240×240 사이즈이고, 재생 측에서 CCD를 통해 얻은 데이터 이미지가 720×720 사이즈라고 가정할 때, 각 라인별로 두 개의 픽셀을 건너뛰어 픽셀을 선택하는 방식으로 240×240 사이즈의 데이터 이미지를 추출하며, 이와 같이 추출된 240×240 사이즈의 데이터 이미지는 디코더 측으로 전달되어 엔코딩 전의 원래 데이터로 디코딩 된다.Next, after detecting the edge through a series of processes described above, for example, pixels are extracted for each line, starting from the upper left corner of the edge and sequentially moving to the upper right corner. For example, assuming that the original data image is 240 × 240 size and that the data image obtained through the CCD on the playback side is 720 × 720 size, 240 pixels are selected by skipping two pixels for each line. A 240 x 240 size data image is extracted. The 240 x 240 size data image is transferred to the decoder and decoded into original data before encoding.

특히, 오버 샘플링 과정은 현재 3*3이나 2*2 오버 샘플링을 이용하지만 궁극적인 목적은 1:1 픽셀 매칭이라 할 것이다. 1:1 픽셀 매칭은 더 많은 데이터를 저장하고 더 빨리 오버 샘플링을 할 수 있기 때문이다. 여기서 1:1 매칭을 사용하려면 픽셀 내부에 비교적 정확하게 광점이 맺혀야 한다. 그러나 CCD를 통해 캡쳐되는 이미지는 이미지마다 광점의 위치가 약간씩 변하고 또한 확대, 축소, 회전 등의 문제로 인해 광점의 위치가 약간씩 틀어지게 된다. 따라서 광점이 두 픽셀 사이에 걸치는 경우가 발생한다. 이러한 문제를 해결하기 위해 기존에는 더 작은 단위의 세부 픽셀로 나누어서 3*3이나 2*2로 분석하여 데이터를 추출하였다.In particular, the oversampling process currently uses 3 * 3 or 2 * 2 oversampling, but the ultimate goal is 1: 1 pixel matching. 1: 1 pixel matching saves more data and allows faster oversampling. In order to use 1: 1 matching, light spots must be formed relatively accurately inside a pixel. However, in the image captured by the CCD, the position of the light spot changes slightly for each image, and the position of the light spot is slightly distorted due to problems such as enlargement, reduction, and rotation. Hence, a light spot may span between two pixels. In order to solve this problem, conventionally, data was extracted by dividing it into smaller pixels in 3x3 or 2 * 2.

디코딩 과정은 오버 샘플링으로부터 추출되어진 엔코딩된 데이터 이미지를 엔코딩 전의 원 데이터로 디코딩, 예를 들어 6:4, 8:6, 12:8 등 데이터 변환 방식으로 픽셀 데이터를 디코딩하고, 재생 데이터 이미지에 삽입된 에러 정정 코드를 이용하는 에러 정정 디코딩을 통해 재생 데이터 이미지의 ECC 에러를 정정하며, 이와 같이 에러 정정을 수행한 한 페이지의 데이터 이미지는 재생 측으로 전달된다.The decoding process decodes the encoded data image extracted from the oversampling into the original data before encoding, for example, decodes the pixel data by data conversion method such as 6: 4, 8: 6, 12: 8, and inserts it into the playback data image. The ECC error of the reproduced data image is corrected through error correction decoding using the corrected error correction code, and the data image of one page on which error correction is performed is transferred to the reproduction side.

그러나, 전술한 바와 같은 종래의 홀로그래픽 시스템은 앞에서 설명한 바와 같이 3*3이나 2*2 오버 샘플링을 수행함에 따라 1:1 픽셀 매칭에 비하여 오버 샘플링의 소요 시간이 늘어나서 결과적으로는 데이터 복원 속도를 저하시키는 문제점이 있었다.However, the conventional holographic system as described above increases the time required for oversampling compared to 1: 1 pixel matching, as a result of performing 3 * 3 or 2 * 2 oversampling as described above. There was a problem of deterioration.

본 발명은 이와 같은 종래의 문제점을 해결하기 위하여 제안한 것으로, 캡쳐된 이미지의 픽셀 구간화를 통해 1:1 픽셀 매칭을 구현함으로써 오버 샘플링 시간을 단축시켜 궁극적으로는 데이터 복원 속도를 향상시키는 데 그 목적이 있다.The present invention has been proposed to solve such a conventional problem. The object of the present invention is to shorten the oversampling time by realizing 1: 1 pixel matching through pixel segmentation of the captured image, and ultimately to improve data recovery speed. There is this.

이와 같은 목적을 실현하기 위한 본 발명의 한 견지로서 홀로그래픽 시스템의 데이터 복원장치는, 홀로그래픽 저장매체로부터 검출한 이미지를 원 데이터로 복원하는 홀로그래픽 시스템의 데이터 복원장치로서, 이미지를 페이지 단위로 캡쳐하는 이미지 캡쳐부와, 캡쳐된 이미지에서 데이터 이미지를 추출하여 원 데이터의 이미지 크기와 비교해 구간화 크기를 결정한 후 픽셀들의 광강도를 기준으로 하여 구간화 위치가 결정되면 캡쳐된 이미지를 픽셀 구간화하는 픽셀 구간화부와, 캡쳐된 이미지의 구간화에 의한 단위 픽셀 구간을 인식하여 1:1 픽셀 매칭을 이용한 오버 샘플링을 수행하는 오버 샘플링부와, 오버 샘플링으로부터 추출되어진 엔코딩된 데이터 이미지를 엔코딩 전의 원 데이터로 디코딩하는 변조 디코딩부를 포함한다.In accordance with one aspect of the present invention for realizing the above object, a data restoring apparatus of a holographic system is a data restoring apparatus of a holographic system that restores an image detected from a holographic storage medium to original data. After capturing the image capture unit and the data image from the captured image to determine the binning size by comparing with the image size of the original data, if the binning position is determined based on the light intensity of the pixels, the captured image is pixel binned. An oversampling unit which performs oversampling using 1: 1 pixel matching by recognizing a unit pixel section by binning the captured image, and an encoded data image extracted from the oversampling before And a modulation decoding section for decoding the data.

본 발명의 다른 견지로서 홀로그래픽 시스템의 데이터 복원방법은, 홀로그래픽 저장매체로부터 검출한 이미지를 원 데이터로 복원하는 홀로그래픽 시스템의 데이터 복원방법으로서, 이미지를 페이지 단위로 캡쳐하여 캡쳐된 이미지에서 데이터 이미지를 추출한 후 원 데이터의 이미지 크기와 비교해 구간화 크기를 결정하는 단계와, 데이터 이미지의 픽셀별 광강도를 기준으로 하여 구간화 위치를 결정하는 단계와, 캡쳐된 이미지를 결정된 구간화 크기 및 위치에 따라 픽셀 구간화하는 단계와, 구간화에 의한 단위 픽셀 구간을 인식하여 1:1 픽셀 매칭을 이용한 오버 샘플링을 수행하는 단계와, 오버 샘플링으로부터 추출되어진 엔코딩된 데이터 이미지를 엔코딩 전의 원 데이터로 디코딩하는 단계를 포함한다.According to another aspect of the present invention, a data restoration method of a holographic system is a data restoration method of a holographic system that restores an image detected from a holographic storage medium to original data. Extracting the image and comparing the image size of the original data to determine the segmentation size; determining the segmentation position based on the light intensity of each pixel of the data image; and determining the segmented size and position of the captured image. Sectioning the pixels according to the pixel section, recognizing the unit pixel section by the sectioning, and performing oversampling using 1: 1 pixel matching, and decoding the encoded data image extracted from the oversampling into the original data before encoding. It includes a step.

이하에서는 첨부한 도면을 참조하여 바람직한 실시예에 대하여 상세히 설명하기로 한다. 이 실시예를 통해 본 발명의 목적, 특징 및 이점들을 보다 잘 이해할 수 있게 된다. 그러나 본 발명은 이러한 실시예로 제한되는 것은 아니다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. This embodiment allows for a better understanding of the objects, features and advantages of the present invention. However, the present invention is not limited to this embodiment.

본 발명의 요지는, CCD를 통해 캡쳐된 이미지의 픽셀 구간화를 통해 1:1 픽셀 매칭을 구현하는 것이다. 종래 기술에서 1:1 픽셀 매칭을 사용할 수 없었던 이유는 각각의 이미지마다 광점이 맺히는 위치가 변하기 때문이었으나 픽셀 구간화를 통해 픽셀 크기를 적당히 조절하면 각각의 이미지 광점이 벗어나는 정도가 그다지 크지 않기 때문에 광점이 벗어나도 에러를 피할 수 있는 것이다.The subject matter of the present invention is to implement 1: 1 pixel matching through pixel segmentation of an image captured via a CCD. The reason why 1: 1 pixel matching could not be used in the prior art was because the location of light spots in each image was changed, but if the pixel size was properly adjusted through pixel segmentation, the light spots would not be so large that each image light spot would not be so large. You can avoid this error even if you deviate.

본 발명에 따른 홀로그래픽 시스템 데이터 복원장치는 도 1의 구성도에 나타낸 바와 같이, 저장매체로부터 CCD에 의해 검출되는 이미지를 페이지 단위로 캡쳐하는 이미지 캡쳐부(101)와, 캡쳐된 이미지에서 데이터 이미지를 추출하여 공간 광 변조기(SLM)의 이미지 크기와 비교해 구간화 크기를 결정한 후 최대 광강도를 갖는 픽셀을 기준으로 하여 구간화 위치가 결정되면 캡쳐된 이미지를 픽셀 구간화하는 픽셀 구간화부(103)와, 캡쳐된 이미지의 단위 픽셀 구간을 인식하여 1:1 픽셀 매칭을 이용한 오버 샘플링을 수행하는 오버 샘플링부(105)와, 오버 샘플링으로부터 추출되어진 엔코딩된 데이터 이미지를 엔코딩 전의 원 데이터로 디코딩하는 변조 디코딩부(107)와, 디코딩된 데이터 이미지에 삽입된 에러 정정 코드를 이용하는 에러 정정 디코딩을 통해 재생 데이터 이미지의 ECC 에러를 정정하는 ECC 디코딩부(109)를 포함하여 구성된다.The holographic system data restoration apparatus according to the present invention includes an image capture unit 101 for capturing an image detected by a CCD from a storage medium in units of pages, as shown in the configuration diagram of FIG. 1, and a data image from the captured image. The pixel segmentation unit 103 for determining the segmentation size by comparing with the image size of the spatial light modulator (SLM) and then pixel-capturing the captured image when the segmentation position is determined based on the pixel having the maximum light intensity. And an oversamping unit 105 for recognizing the unit pixel section of the captured image to perform oversampling using 1: 1 pixel matching, and decoding for decoding the encoded data image extracted from the oversampling into original data before encoding. Playback through the error correction decoding using the decoding unit 107 and the error correction code embedded in the decoded data image And an ECC decoding unit 109 for correcting an ECC error of the data image.

이와 같이 구성된 본 발명의 홀로그래픽 시스템 데이터 복원장치에 의한 홀로그픽 데이터 복원과정을 도 1 내지 도 3을 참조하여 아래에서 상세히 설명하기로 한다.The holographic data restoration process by the holographic system data restoration apparatus of the present invention configured as described above will be described in detail below with reference to FIGS. 1 to 3.

먼저, 이미지 캡쳐부(101)는 저장매체로부터 CCD에 의해 검출되는 이미지를 페이지 단위로 캡쳐하여 픽셀 구간화부(103)로 전달하며, 픽셀 구간화부(103)는 캡쳐된 이미지에서 테두리를 제외한 데이터 이미지를 추출한다.First, the image capturing unit 101 captures the image detected by the CCD from the storage medium in units of pages and delivers the image to the pixel binning unit 103, and the pixel binning unit 103 extracts the data image from the captured image except for the edge. Extract

데이터 이미지의 추출을 위해 먼저 테두리를 검출하는 것이 필요한데, 이를 위해 각 행 라인의 픽셀 총 합과 각 열 라인의 픽셀 총 합을 구하는 방식을 이용한다. 즉 각 행 라인의 픽셀 총 합과 각 열 라인의 픽셀 총 합을 구하면 양쪽에 유난히 큰 값을 가지는 라인이 존재하며, 이 라인들이 양쪽의 테두리 위치가 되는 것이다. 여기서, 테두리를 이루는 픽셀 라인의 총 합이 큰 값으로 나타나는 것은 실제 데이터 이미지 영역의 픽셀들은 "1"과 "0"의 픽셀 데이터 값들이 랜덤에게 혼재하는 형태를 갖는 반면에, 테두리의 형성하는 픽셀들이 모두 동일한 픽셀 데이터 값(예컨대, "1")으로 되어 있기 때문이다.In order to extract the data image, it is necessary to first detect an edge. For this, a method of obtaining a total sum of pixels of each row line and a total sum of pixels of each column line is used. In other words, if the total sum of pixels of each row line and the sum of pixels of each column line are found, there is an extraordinarily large line on each side, and these lines become the edge positions of both sides. Here, the total sum of the pixel lines constituting the border is represented by a large value, whereas pixels in the actual data image region have a form in which pixel data values of "1" and "0" are randomly mixed, while the pixels forming the border are formed. This is because they all have the same pixel data value (for example, "1").

이와 같이 테두리가 검출되면 캡쳐된 이미지에서 실제 데이터 이미지를 추출할 수 있으며, 추출된 데이터 이미지의 크기와 공간 광 변조기의 이미지 크기와 비교해 구간화 크기를 결정한다. 일예로, 공간 광 변조기의 원래 이미지 X축×Y축 크기가 240×240이고, 추출된 데이터 이미지의 X축×Y축 크기가 960×960일 경우에는 추출된 데이터 이미지 크기를 원래 이미지 크기로 나누어서 구간화 X축×Y축 크기가 4×4(∵ 960/240 = 4)로 결정된다(S202).When the edge is detected as described above, the actual data image can be extracted from the captured image, and the binning size is determined by comparing the size of the extracted data image with the image size of the spatial light modulator. For example, if the original image X-axis × Y-axis size of the spatial light modulator is 240 × 240, and the X-axis × Y-axis size of the extracted data image is 960 × 960 divided by the original image size The binning X-axis x Y-axis size is determined to be 4x4 (# 960/240 = 4) (S202).

이후, 픽셀 구간화부(103)는 도 3에 나타낸 바와 같이 여러 장의 캡쳐 이미지에 대해 테두리 검출을 수행하여 실제 데이터 이미지들(311, 321)을 추출하며, 추출된 데이터 이미지의 좌측 상단 영역에서 광강도가 최대인 픽셀들(312, 322)의 위치를 찾는다. 이후 최대 광강도 픽셀들(312, 322)을 정방형 픽셀 영역(2×2)으로 묶은 후 정방형 픽셀 영역의 좌측 상단에 위치한 픽셀(340)을 구간화의 시작 위치로 하여 픽셀 구간화 위치(350)를 결정한다(S204).Thereafter, the pixel binning unit 103 extracts the actual data images 311 and 321 by performing edge detection on the plurality of captured images, as shown in FIG. 3, and the light intensity in the upper left region of the extracted data image. Find the location of pixels 312 and 322 where is max. Thereafter, the maximum light intensity pixels 312 and 322 are grouped into a square pixel region 2 × 2, and then the pixel segmentation position 350 is made by using the pixel 340 located at the upper left of the square pixel region as the start position of the segmentation. Determine (S204).

이와 같이 픽셀 구간화의 위치가 결정되면 이미지 캡쳐부(101)는 CCD를 통해 캡쳐된 이미지를 연속적으로 픽셀 구간화부(103)에 제공하며, 픽셀 구간화부(103)는 단계 S204에서 결정된 구간화 위치와 단계 S202에서 결정된 구간화 크기에 의거하여 페이지 단위의 이미지 데이터들을 픽셀 구간화한다(S206∼S208).When the pixel binning position is determined as described above, the image capturing unit 101 continuously provides the image captured by the CCD to the pixel binning unit 103, and the pixel binning unit 103 determines the binning position determined in step S204. And pixel segmenting the image data in units of pages based on the segmentation size determined in step S202 (S206 to S208).

그리고, 오버 샘플링부(105)는 단계 S208에서 구간화된 단위 픽셀 구간의 광량을 합산하여 1:1 픽셀 매칭을 이용한 오버 샘플링을 수행한다(S210).In operation S210, the oversampling unit 105 adds up the amount of light in the unit pixel section sectioned in step S208 to perform oversampling using 1: 1 pixel matching.

이어서, 변조 디코딩부(107)는 단계 S210의 오버 샘플링으로부터 추출되어진 엔코딩된 데이터 이미지를 엔코딩 전의 원 데이터로 디코딩한다. 예를 들어 6:4, 8:6, 12:8 등 데이터 변환 방식으로 픽셀 데이터를 디코딩하는 것이다(S212).Subsequently, the modulation decoding unit 107 decodes the encoded data image extracted from the oversampling of step S210 into the original data before encoding. For example, the pixel data is decoded by a data conversion method such as 6: 4, 8: 6, 12: 8 (S212).

다음으로, ECC 디코딩부(109)는 디코딩된 데이터 이미지에 삽입된 에러 정정 코드를 이용하는 에러 정정 디코딩을 통해 재생 데이터 이미지의 ECC 에러를 정정하며, 이와 같이 에러 정정을 수행한 한 페이지의 데이터 이미지는 재생 측으로 전달된다(S214).Next, the ECC decoding unit 109 corrects the ECC error of the reproduced data image through error correction decoding using an error correction code inserted in the decoded data image. It is transmitted to the reproduction side (S214).

여기서, ECC 디코딩 과정 중에 ECC 에러가 발생할 수 있다. 각각의 이미지가 동일한 디바이스에서 기록되었을 경우에는 각각의 이미지 광점이 벗어나는 정도가 그다지 크지 않으나 다른 디바이스에서 기록된 경우에는 많이 벗어난 위치에서 광점이 맺힐 수 있기 때문이다. 따라서 ECC 에러가 발생하면 ECC 디코딩부(109)는 ECC 에러 신호를 생성하여 픽셀 구간화부(103)로 전달하며, 픽셀 구간화부(103)는 ECC 에러 신호가 입력되면 단계 S204에서 수행하였던 픽셀 구간화의 위치 결정 과정을 다시 수행한 후에 갱신된 구간화 위치에 의거하여 이후의 픽셀 구간화를 수행한다(S216).Here, an ECC error may occur during the ECC decoding process. When each image is recorded on the same device, the degree of deviation of each image light spot is not very large, but when the image is recorded on another device, light spots may be formed at much out of position. Therefore, when an ECC error occurs, the ECC decoding unit 109 generates an ECC error signal and transmits the generated ECC error signal to the pixel binning unit 103. When the ECC error signal is input, the pixel binning unit 103 performs the pixel binning performed in step S204. After performing the positioning process again, subsequent pixel segmentation is performed based on the updated segmentation position (S216).

앞의 설명에서는 본 발명의 일 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.Although the foregoing description has been limited to one embodiment of the present invention, it is obvious that the technology of the present invention can be easily modified by those skilled in the art. Such modified embodiments should be included in the technical spirit described in the claims of the present invention.

전술한 바와 같이 본 발명은 캡쳐된 이미지의 픽셀 구간화를 통해 1:1 픽셀 매칭을 구현함으로써 오버 샘플링 시간을 단축시켜 궁극적으로는 데이터 복원 속도를 향상시키는 효과가 있다.As described above, the present invention implements 1: 1 pixel matching through pixel segmentation of the captured image, thereby reducing oversampling time and ultimately improving data recovery speed.

도 1은 본 발명에 따른 홀로그래픽 시스템 데이터 복원장치의 구성도,1 is a block diagram of a holographic system data recovery apparatus according to the present invention,

도 2는 본 발명에 따른 홀로그래픽 시스템 데이터 복원방법을 보인 흐름도,2 is a flowchart illustrating a holographic system data restoration method according to the present invention;

도 3은 본 발명에 따른 홀로그래픽 시스템 데이터 복원방법 중의 하나인 픽셀 구간화 과정의 개념도.3 is a conceptual diagram of a pixel segmentation process, which is one of holographic system data restoration methods according to the present invention;

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

101 : 이미지 캡쳐부 103 : 픽셀 구간화부101: image capture unit 103: pixel sectioning unit

105 : 오버 샘플링부 107 : 변조 디코딩부105: oversampling unit 107: modulation decoding unit

109 : ECC 디코딩부109: ECC decoding unit

Claims (10)

홀로그래픽 저장매체로부터 검출한 이미지를 원 데이터로 복원하는 홀로그래픽 시스템의 데이터 복원장치로서,A data restoration apparatus of a holographic system for restoring an image detected from a holographic storage medium to original data, 상기 이미지를 페이지 단위로 캡쳐하는 이미지 캡쳐부와,An image capture unit for capturing the image on a page basis; 상기 캡쳐된 이미지에서 데이터 이미지를 추출하여 상기 원 데이터의 이미지 크기와 비교해 구간화 크기를 결정한 후 픽셀들의 광강도를 기준으로 하여 구간화 위치가 결정되면 상기 캡쳐된 이미지를 픽셀 구간화하는 픽셀 구간화부와,A pixel binning unit for extracting a data image from the captured image to determine the binning size by comparing with the image size of the original data, and then binning the captured image when the binning position is determined based on the light intensity of the pixels. Wow, 상기 캡쳐된 이미지의 상기 구간화에 의한 단위 픽셀 구간을 인식하여 1:1 픽셀 매칭을 이용한 오버 샘플링을 수행하는 오버 샘플링부와,An oversampling unit that recognizes a unit pixel section by the sectioning of the captured image and performs oversampling using 1: 1 pixel matching; 오버 샘플링으로부터 추출되어진 엔코딩된 데이터 이미지를 엔코딩 전의 원 데이터로 디코딩하는 변조 디코딩부Modulation decoding unit for decoding the encoded data image extracted from the oversampling into the original data before encoding 를 포함하는 홀로그래픽 시스템의 데이터 복원장치.Data restoration device of the holographic system comprising a. 제 1 항에 있어서,The method of claim 1, 상기 디코딩된 데이터 이미지에 삽입된 에러 정정 코드를 이용하는 에러 정정 디코딩을 통해 재생 데이터 이미지의 ECC 에러를 정정하는 ECC 디코딩부를 더 포함하며,And an ECC decoding unit configured to correct an ECC error of a reproduced data image through error correction decoding using an error correction code inserted in the decoded data image. 상기 ECC 디코딩부는 상기 ECC 에러가 발생하면 ECC 에러 신호를 생성하여 상기 픽셀 구간화부로 전달하며, 이를 전달받은 상기 픽셀 구간화부는 상기 픽셀 구간화의 위치를 다시 결정하는 것을 특징으로 한 홀로그래픽 시스템의 데이터 복원장치.The ECC decoding unit generates an ECC error signal when the ECC error occurs and transmits the ECC error signal to the pixel binning unit, and the received pixel binning unit determines the position of the pixel binning again. Data Restoration Device. 제 1 항에 있어서,The method of claim 1, 상기 픽셀 구간화부는 상기 캡쳐된 이미지에서 데이터 이미지를 제외한 실제 데이터 이미지를 추출한 후에 상기 추출된 데이터의 이미지 크기를 상기 원 데이터의 이미지 크기로 나누어 상기 구간화 크기를 결정하는 것을 특징으로 한 홀로그래픽 시스템의 데이터 복원장치.The pixel binning unit extracts an actual data image excluding the data image from the captured image and then determines the binning size by dividing the image size of the extracted data by the image size of the original data. Data recovery device. 제 1 항에 있어서,The method of claim 1, 상기 픽셀 구간화부는 여러 장의 캡쳐 이미지에 대해 테두리 검출을 수행하여 데이터 이미지들을 추출하며, 추출된 데이터 이미지의 좌측 상단 영역에서 광강도가 최대인 픽셀들의 위치를 찾으며, 상기 최대 광강도 픽셀들을 정방형 픽셀 영역으로 묶은 후 상기 정방형 픽셀 영역의 좌측 상단에 위치한 픽셀을 구간화의 시작 위치로 하여 픽셀 구간화 위치를 결정하는 것을 특징으로 한 홀로그래픽 시스템의 데이터 복원장치.The pixel binning unit extracts data images by performing edge detection on a plurality of captured images, finds positions of pixels having maximum light intensity in the upper left region of the extracted data image, and sets the maximum light intensity pixels to square pixels. And a pixel binning position is determined by using a pixel located at the upper left of the square pixel area as a start position of binning after grouping the regions. 제 1 항에 있어서,The method of claim 1, 상기 오버 샘플링부는 상기 단위 픽셀 구간의 광량을 합산하여 1:1 픽셀 매칭을 수행하는 것을 특징으로 한 홀로그래픽 시스템의 데이터 복원장치.And the over-sampling unit performs 1: 1 pixel matching by summing the amount of light in the unit pixel section. 홀로그래픽 저장매체로부터 검출한 이미지를 원 데이터로 복원하는 홀로그래픽 시스템의 데이터 복원방법으로서,A data restoration method of a holographic system for restoring an image detected from a holographic storage medium to original data, 상기 이미지를 페이지 단위로 캡쳐하여 캡쳐된 이미지에서 데이터 이미지를 추출한 후 상기 원 데이터의 이미지 크기와 비교해 구간화 크기를 결정하는 단계와,Capturing the image on a page-by-page basis, extracting a data image from the captured image, and determining the binning size by comparing with the image size of the original data; 상기 데이터 이미지의 픽셀별 광강도를 기준으로 하여 구간화 위치를 결정하는 단계와,Determining a binning position based on the light intensity of each pixel of the data image; 상기 캡쳐된 이미지를 상기 결정된 구간화 크기 및 위치에 따라 픽셀 구간화하는 단계와,Pixel binning the captured image according to the determined binning size and position; 상기 구간화에 의한 단위 픽셀 구간을 인식하여 1:1 픽셀 매칭을 이용한 오버 샘플링을 수행하는 단계와,Recognizing the unit pixel section by the sectioning and performing oversampling using 1: 1 pixel matching; 상기 오버 샘플링으로부터 추출되어진 엔코딩된 데이터 이미지를 엔코딩 전의 원 데이터로 디코딩하는 단계Decoding the encoded data image extracted from the oversampling into the original data before encoding 를 포함하는 홀로그래픽 시스템의 데이터 복원방법.Data restoration method of the holographic system comprising a. 제 6 항에 있어서,The method of claim 6, 상기 디코딩된 데이터 이미지에 삽입된 에러 정정 코드를 이용하는 에러 정정 디코딩을 통해 재생 데이터 이미지의 ECC 에러를 정정하는 단계를 더 포함하며,Correcting the ECC error of the reproduction data image by error correction decoding using an error correction code embedded in the decoded data image, 상기 ECC 에러 정정단계에서 상기 ECC 에러가 발생하면 상기 픽셀 구간화의 위치를 다시 결정하는 것을 특징으로 한 홀로그래픽 시스템의 데이터 복원방법.And re-determining the position of the pixel segmentation when the ECC error occurs in the ECC error correcting step. 제 6 항에 있어서,The method of claim 6, 상기 구간화 크기 결정단계는 상기 캡쳐된 이미지에서 데이터 이미지를 제외한 실제 데이터 이미지를 추출한 후에 상기 추출된 데이터의 이미지 크기를 상기 원 데이터의 이미지 크기로 나누어 상기 구간화 크기를 결정하는 것을 특징으로 한 홀로그래픽 시스템의 데이터 복원방법.In the determining the binning size, the binning size may be determined by dividing the image data of the extracted data by the image size of the original data after extracting an actual data image excluding the data image from the captured image. How to restore data on graphics systems 제 6 항에 있어서,The method of claim 6, 상기 구간화 위치 결정단계는 여러 장의 캡쳐 이미지에 대해 테두리 검출을 수행하여 데이터 이미지들을 추출하며, 추출된 데이터 이미지의 좌측 상단 영역에서 광강도가 최대인 픽셀들의 위치를 찾으며, 상기 최대 광강도 픽셀들을 정방형 픽셀 영역으로 묶은 후 상기 정방형 픽셀 영역의 좌측 상단에 위치한 픽셀을 구간화의 시작 위치로 하여 픽셀 구간화 위치를 결정하는 것을 특징으로 한 홀로그래픽 시스템의 데이터 복원방법.The segmentation positioning step extracts data images by performing edge detection on a plurality of captured images, finds the positions of pixels having the maximum light intensity in the upper left region of the extracted data image, and selects the maximum light intensity pixels. And delimiting the pixel segmentation position using a pixel located at the upper left of the square pixel region as a start position of the segmentation after grouping it into a square pixel region. 제 6 항에 있어서,The method of claim 6, 상기 오버 샘플링 단계는 상기 단위 픽셀 구간의 광량을 합산하여 1:1 픽셀 매칭을 수행하는 것을 특징으로 한 홀로그래픽 시스템의 데이터 복원방법.The oversampling step includes performing a 1: 1 pixel matching by summing the amount of light in the unit pixel section.
KR1020040032808A 2004-05-10 2004-05-10 Apparatus for restorating data of holographic system and method therefor KR100589590B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040032808A KR100589590B1 (en) 2004-05-10 2004-05-10 Apparatus for restorating data of holographic system and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040032808A KR100589590B1 (en) 2004-05-10 2004-05-10 Apparatus for restorating data of holographic system and method therefor

Publications (2)

Publication Number Publication Date
KR20050107707A true KR20050107707A (en) 2005-11-15
KR100589590B1 KR100589590B1 (en) 2006-06-14

Family

ID=37284075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040032808A KR100589590B1 (en) 2004-05-10 2004-05-10 Apparatus for restorating data of holographic system and method therefor

Country Status (1)

Country Link
KR (1) KR100589590B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100676871B1 (en) * 2005-12-22 2007-02-02 주식회사 대우일렉트로닉스 Apparatus for detecting optical information, method of detecting for optical information using the same
KR100676870B1 (en) * 2005-12-22 2007-02-02 주식회사 대우일렉트로닉스 Method for detecting optical information and optical information detector
KR100794026B1 (en) * 2006-11-21 2008-01-10 주식회사 대우일렉트로닉스 Method for recording optical information, method for detection optical information and apparatus for detection optical information
WO2009084845A2 (en) * 2007-12-27 2009-07-09 Daewoo Electronics Corporation Method for detecting pattern of over-sampling image and an optical information processing apparatus and method using the same

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100676871B1 (en) * 2005-12-22 2007-02-02 주식회사 대우일렉트로닉스 Apparatus for detecting optical information, method of detecting for optical information using the same
KR100676870B1 (en) * 2005-12-22 2007-02-02 주식회사 대우일렉트로닉스 Method for detecting optical information and optical information detector
KR100794026B1 (en) * 2006-11-21 2008-01-10 주식회사 대우일렉트로닉스 Method for recording optical information, method for detection optical information and apparatus for detection optical information
WO2009084845A2 (en) * 2007-12-27 2009-07-09 Daewoo Electronics Corporation Method for detecting pattern of over-sampling image and an optical information processing apparatus and method using the same
WO2009084845A3 (en) * 2007-12-27 2009-09-11 Daewoo Electronics Corporation Method for detecting pattern of over-sampling image and an optical information processing apparatus and method using the same
US7933187B2 (en) 2007-12-27 2011-04-26 Daewoo Electronics Ltd. Method for detecting pattern of over-sampling image and an optical information processing apparatus and method using the same
KR101456297B1 (en) * 2007-12-27 2014-11-04 메이플 비젼 테크놀로지스 인크. methood for pattern detecting of over-sampling image, apparatus for optical information processing by using same and method for optical information processing by using same

Also Published As

Publication number Publication date
KR100589590B1 (en) 2006-06-14

Similar Documents

Publication Publication Date Title
EP1981025B1 (en) Method and apparatus for compensating data image reproduced from holographic system
US5694488A (en) Method and apparatus for processing of reconstructed holographic images of digital data patterns
KR100589590B1 (en) Apparatus for restorating data of holographic system and method therefor
EP1531463B1 (en) Apparatus and method for processing holographic data reproduced from a holographic medium
JPH11272151A (en) Digital signal recording and reproducing method
KR100999099B1 (en) Method for recording data in holography optical memory system
KR100601283B1 (en) Apparatus and method for detecting align mark for over-sampling in hologram data reproducing system
KR100252968B1 (en) Data processing method of a hologram data saver
KR100569480B1 (en) Holography data encoding/decoding method
KR100589589B1 (en) Apparatus for restorating data of holographic system and method therefor
KR100579627B1 (en) Apparatus and method for controlling focusing in hologram data reproducing system
KR100589620B1 (en) Holography data encoding/decoding method
KR100551374B1 (en) Hologram data encoding/decoding system and method
KR100589588B1 (en) Hologram data encoding/decoding system and method
KR100589594B1 (en) Holography data encoding/decoding method
KR100588966B1 (en) Hologram data encoding/decoding system and method
KR100555920B1 (en) Method for over-sampling distortion image on reproducing holographic data in a hdds
KR100551384B1 (en) Holography data decoding method
KR101084093B1 (en) Method for detecting rotation of image in hdds system
KR100717588B1 (en) Method and apparatus for detecting optical information and optical information processing apparatus
CN101193247B (en) Detection and damaged pixel compensation method in full image optical storage system
KR100794026B1 (en) Method for recording optical information, method for detection optical information and apparatus for detection optical information
KR100682259B1 (en) Method for optimally detecting frame on ccd image in a hdds
KR101632207B1 (en) Holograpic data signal detection method, appratus and data decoding apparatus
JP2007279430A (en) Data recording reproducing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110601

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee