KR20030088837A - Microarray copy image creation system and method thereof - Google Patents

Microarray copy image creation system and method thereof Download PDF

Info

Publication number
KR20030088837A
KR20030088837A KR1020020050552A KR20020050552A KR20030088837A KR 20030088837 A KR20030088837 A KR 20030088837A KR 1020020050552 A KR1020020050552 A KR 1020020050552A KR 20020050552 A KR20020050552 A KR 20020050552A KR 20030088837 A KR20030088837 A KR 20030088837A
Authority
KR
South Korea
Prior art keywords
spot
image
microarray
generating
gene
Prior art date
Application number
KR1020020050552A
Other languages
Korean (ko)
Other versions
KR100437253B1 (en
Inventor
김진혁
이용성
이영식
김혜영
Original Assignee
학교법인 한양학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 한양학원 filed Critical 학교법인 한양학원
Publication of KR20030088837A publication Critical patent/KR20030088837A/en
Application granted granted Critical
Publication of KR100437253B1 publication Critical patent/KR100437253B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

PURPOSE: A system for generating microarray facsimile image and a method thereof are provided to divide accurate areas of spots and generate a facsimile image close to an actual image. CONSTITUTION: A mathematical model generating module(40) derives a mathematical model related to gene distribution in spots of a gene solution dropped on a slide glass. An image storing module(50) stores various image information including the primitive image of a microarray chip. An image converting module(60) converts the primitive image into an image for a test, and constructs an overlap image from the image for a test. An edge detecting module(70) detects edges at the spot and a background area by dividing the spot in segment shapes for measuring revelation of genes corresponding to each spot. A spot template generating module(80) applies coordinates of pixels in the spot to the mathematical mode for generating spot templates. A random characteristic generating module(30) generates random characteristic values representing fluorescence intensity of the spots. A spot facsimile image generating module(90) applies the random characteristic values to the spot templates for generating a spot facsimile image. A microarray facsimile image generating module(100) reconstructs a whole microarray image by using the generated spot facsimile image.

Description

마이크로어레이 모사 이미지 생성 시스템 및 그 방법{MICROARRAY COPY IMAGE CREATION SYSTEM AND METHOD THEREOF}MICROARRAY COPY IMAGE CREATION SYSTEM AND METHOD THEREOF}

본 발명은 마이크로어레이 모사 이미지 생성 시스템 및 그 방법에 관한 것으로, 마이크로어레이 칩의 제작 및 실험 과정을 모사에 포함시켜 실제 마이크로어레이 이미지의 에지 검출로부터 얻어진 템플릿(Template)을 토대로 이미지를 재건하는 마이크로어레이 모사 이미지 생성 시스템 및 그 방법에 관한 것이다.The present invention relates to a microarray simulated image generating system and method thereof, comprising: a microarray for reconstructing an image based on a template obtained from edge detection of an actual microarray image by including a fabrication and an experimental process of a microarray chip in a simulation. A simulated image generation system and method thereof are provided.

마이크로어레이 칩은 수천에서 수만 개의 DNA를 슬라이드 글라스 위에 지름이 약 200㎛ 정도인 스팟(Spot)으로 집적시켜 찍어 낸 고밀도의 실험 도구로서, 비교하고자 하는 두 가지 군 즉, 실험군 및 대조군의 mRNA를 형광 표지한 후에 이를 경합적으로 칩에 결합시켜 각각의 형광 강도(Fluorescence Intensity)를 측정함으로써 동시에 수천에서 수만 개 유전자의 상대적인 발현 양상을 알아볼 수 있다.Microarray chip is a high-density experimental tool in which thousands to tens of thousands of DNA are integrated onto a slide glass with spots of about 200 μm in diameter. Fluorescence of mRNA of two groups, namely, experimental and control groups, to be compared After labeling, it is competitively bound to the chip and the respective fluorescence intensity (Fluorescence Intensity) can be measured to determine the relative expression patterns of thousands to tens of thousands of genes at the same time.

이렇게 만들어진 마이크로어레이 칩은 특정 세포나 특정 조직에서만 발현되는 독특한 유전자들을 분석하는데 크게 기여하게 된다. 또한, 유전자발현 대량분석, 인체질환 진단 및 감시, 환경인자에 대한 생물학적 반응 연구, 식품안정성 검사, 신약개발, 임상병리학 및 동식물 검역 등에 이용될 수 있다.The microarray chip thus made greatly contributes to the analysis of unique genes expressed only in specific cells or tissues. In addition, it can be used for mass gene analysis, diagnosis and monitoring of human disease, research on biological response to environmental factors, food stability test, new drug development, clinical pathology and animal and plant quarantine.

이러한 마이크로어레이 칩의 제작 방법은 다음과 같다.The manufacturing method of such a microarray chip is as follows.

먼저 테스트용 DNA들을 슬라이드 글라스 위에 일정한 크기의 스팟 형태로 찍어 수천에서 수만개의 스팟으로 이루어진 어레이(Array)를 생성한다. 또한 대조군및 실험군의 표본들로부터 mRNA를 추출하여 이들 mRNA를 반전사(Reverse Transcription)시키는데, 이때 각각 빨간색(Cy5)이나 녹색(Cy3)의 형광물질을 띤 염기를 집어넣어 mRNA 자체에 태깅(Tagging)시킨다.The test DNAs are first spotted on a slide glass into uniform sized spots to create an array of thousands to tens of thousands of spots. In addition, the mRNA is extracted from the control and experimental groups, and the reverse transcription of these mRNAs is carried out, at which time, the fluorescent (nucleotide) bases of red (Cy5) and green (Cy3) are inserted, and tagging is performed on the mRNA itself. Let's do it.

이때, 노란색으로 발현되는 유전자들은 녹색과 빨간색의 중첩에 의하여 나타나는 것으로서 이러한 유전자들은 두 환경에서 서로 비슷한 양이 발현되는 것을 알 수 있다.At this time, the genes expressed in yellow are represented by the overlap of green and red, and these genes can be seen that similar amounts are expressed in two environments.

이와 같이 합성된 두 표본의 mRNA를 동일한 양으로 섞어서 어레이칩에 결합시키는데, 여기서 결합이 안된 유전자들은 씻겨나가고, 결합된 유전자들만이 남아 마이크로어레이 칩이 생성된다.The two mRNAs thus synthesized are mixed in the same amount and bound to the array chip, where the unbound genes are washed away, and only the bound genes remain, resulting in a microarray chip.

이렇게 제작된 마이크로어레이 칩은 레이저 형광 스캐너에 의하여 읽혀지는데, 이때 스캐너의 종류에 따라 직경 5㎛ 또는 10㎛의 픽셀(Pixel) 단위로 마이크로어레이 칩의 형광 이미지를 읽어들인다.The manufactured microarray chip is read by a laser fluorescence scanner. At this time, the fluorescent image of the microarray chip is read in a pixel unit having a diameter of 5 μm or 10 μm according to the type of the scanner.

이 형광 이미지는 대개 언사인드(Unsigned) 16 비트 이미지로 컴퓨터에 저장되고, 각각 유전자의 형광 정도는 그 유전의 발현정도를 알려주는 것으로 이들 정보는 컴퓨터 소프트웨어 상에서 분석된다. 따라서 마이크로어레이 이미지가 나타낼 수 있는 형광 강도의 범위는 0에서부터 (216-1), 즉 65535까지 나타낼 수 있다.This fluorescence image is usually stored on a computer as an unsigned 16-bit image, where each gene's fluorescence indicates its gene expression, and this information is analyzed on computer software. Therefore, the range of fluorescence intensity that the microarray image can represent may range from 0 to (2 16 -1), that is, to 65535.

그런데 대부분의 실험에서, 스팟의 형광 강도가 65535에 가까울 정도로 유전자의 발현 정도가 높은 유전자는 전체 유전자 중 매우 일부에 불과하며, 대부분의 유전자의 발현 정도는 이보다 매우 낮은 수준이므로 스팟의 형광 강도 역시 매우낮다.However, in most experiments, genes with a high expression level of the fluorescence intensity of the spot close to 65535 are only a few of the genes, and since the expression level of most genes is much lower than this, the fluorescence intensity of the spot is also very high. low.

또한 마이크로어레이 이미지의 한 픽셀은 직경 10㎛ 정도일 때 직경이 200㎛ 정도인 스팟은 약 20개의 픽셀로 이루어져 있다. 따라서 마이크로어레이 이미지는 육안으로 관찰하였을 때 매우 흐릿한 이미지로 보이게 된다. 그런데 현재까지의 마이크로어레이 이미지 분석 시스템은 이러한 이미지에서 스팟 영역과 백그라운드(Background) 영역을 분리해내는데 한계를 가지고 있다.In addition, one pixel of the microarray image has a diameter of about 10 μm, and a spot having a diameter of about 200 μm includes about 20 pixels. Therefore, the microarray image looks very blurry when viewed with the naked eye. However, the microarray image analysis system to date has a limitation in separating the spot region and the background region from such an image.

한편 유전자 정보 분석시, 마이크로어레이 칩은 슬라이드 글라스 위에 각기 다른 유전자의 cDNA가 직경 200㎛ 정도의 스팟 형태로 심어진 것이므로 각 유전자의 발현 정도를 측정하기 위해 각 스팟을 세그먼트 형태로 분리한다.On the other hand, when analyzing the genetic information, the microarray chip is a cDNA of a different gene is planted in a spot shape of about 200㎛ diameter on the slide glass, so each spot is separated into segments to measure the expression level of each gene.

이때, 스팟의 에지를 탐지해 스팟의 이미지를 분리하여 분석하는 일부의 시스템을 제외하고는 대부분이 유효한 스팟을 추출하기 위해 일정한 크기의 기준원을 세그먼트의 중심에 위치시켜 기준원 내부를 스팟의 영역으로 간주하여 분석하는 방법을 사용하는데, 스팟에 비해 기준원의 크기가 크게 되면 스팟 뿐만 아니라 백그라운드(Background)가 기준원 안에 포함된다. 따라서 스팟의 형광강도의 평균값, 중앙값 및 최빈값 중 하나 또는 그 이상을 사용하는 마이크로어레이 이미지 분석방법에서 데이터 평균값에 오류가 발생하는 문제점이 있다.In this case, except for some systems that detect the edge of the spot and separate and analyze the image of the spot, in order to extract the effective spot, most of the spots are located in the center of the segment by placing a reference circle of a constant size in the center of the segment. When the size of the reference circle becomes larger than the spot, the background as well as the spot is included in the reference circle. Therefore, in the microarray image analysis method using one or more of the average value, the median value, and the mode value of the fluorescence intensity of the spot, an error occurs in the data average value.

또는, 세그먼트 중심이 스팟의 중심측에 위치하지 않고 한쪽으로 치우쳐 있는 경우에 기준원과 스팟의 위치가 어긋나게 되므로 기준원에 포함되어 있는 스팟의 일부만이 유효정보로 사용되고, 스팟의 나머지 부분은 백그라운드로 처리되어 데이터 에러율이 증대되는 문제점이 있다.Alternatively, when the center of the segment is not located at the center of the spot but is shifted to one side, the position of the reference circle and the spot is shifted, so only a part of the spot included in the reference circle is used as valid information, and the rest of the spot is in the background. There is a problem in that the data error rate is increased.

또한 마이크로어레이 이미지는 스팟 내부의 형광 강도의 분포가 특정 패턴을 갖는 것으로 관찰되는데, 대부분의 스팟에서 가장자리 쪽의 형광 강도는 높으며 스팟의 중심쪽으로 갈수록 강도가 낮은 양상을 보인다. 따라서 스팟의 정확한 영역을 분리해 내지 못하면 평균값, 중앙값, 또는 최빈값 모두에 영향을 주게 된다.In addition, the microarray image shows that the distribution of fluorescence intensity inside the spot has a specific pattern. In most spots, the fluorescence intensity at the edge is high and the intensity is lower toward the center of the spot. Thus, failure to isolate the exact area of the spot affects both the mean, median, or mode values.

그러므로, 본 발명이 이루고자 하는 기술적 과제는 마이크로어레이의 실제 이미지 특성을 가능한 한 모두 포함하고 있는 이미지를 소프트웨어적으로 모사하여 이 모사 이미지 값과, 마이크로어레이 이미지 분석 시스템을 통하여 분석한 데이터 값을 비교하여 마이크로어레이 모사 이미지를 형성하는 마이크로어레이 모사 이미지 생성 시스템 및 그 방법을 제공하고자 하는 데 있다.Therefore, the technical problem to be achieved by the present invention is to simulate the software that includes all the actual image characteristics of the microarray as possible by comparing the simulated image value and the data value analyzed through the microarray image analysis system It is an object of the present invention to provide a microarray simulation image generation system and method for forming a microarray simulation image.

도 1은 본 발명의 실시예에 따른 모사 이미지 생성 시스템의 구성이 도시된 블록도이다.1 is a block diagram showing the configuration of a simulation image generating system according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 랜덤 특성값 생성 모듈이 도시된 블록도이다.2 is a block diagram illustrating a random characteristic value generation module according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 스팟 템플릿 생성 모듈이 도시된 도이다.3 is a diagram illustrating a spot template generation module according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 모사 이미지 생성 방법이 도시된 순서도이다.4 is a flowchart illustrating a method of generating a simulated image according to an embodiment of the present invention.

도 5는 본 발명의 실시예에 따른 모사 이미지 생성 방법 중 이미지 처리 과정이 도시된 순서도이다.5 is a flowchart illustrating an image processing process in a method of generating a simulated image according to an embodiment of the present invention.

***도면의 주요 부분에 대한 부호의 설명****** Description of the symbols for the main parts of the drawings ***

30 : 랜덤 특성값 생성 모듈30: random characteristic value generation module

40 : 수학적 모델 생성 모듈40: mathematical model generation module

70 : 에지 검출 모듈70 edge detection module

80 : 스팟 템플릿 생성 모듈80: Spot template generation module

90 : 스팟 모사 이미지 생성 모듈90: spot simulation image generation module

100 : 마이크로어레이 모사 이미지 생성모듈100: microarray simulation image generation module

이러한 기술적 과제를 달성하기 위한, 본 발명의 특징에 따른 마이크로어레이 모사 이미지 생성 시스템은, 슬라이드 글라스에 적하한 유전자 용액의 스팟(Spot) 내 유전자 분포에 대한 수학적 모델을 도출하는 수학적 모델 생성 모듈; 서로 다른 색깔의 형광 염기들에 의해 태깅(tagging)된 실험군과 대조군의 표본에서 추출한 유전자 집합으로 이루어진 마이크로어레이 칩에 대한 원시 이미지(Image)를 포함한 각종 이미지 정보를 저장하는 이미지저장 모듈; 상기 이미지 저장모듈에 저장된 마이크로어레이 칩의 원시 이미지를 테스트용 이미지로 변환하고, 상기 테스트용 이미지로부터 오버랩(Overlap) 이미지를 구성한 후 각 이미지들을 상기 이미지 저장모듈에 저장하는 이미지변환 모듈; 상기 이미지 저장모듈에저장된 테스트용 이미지에서 각 스팟(Spot)에 해당하는 유전자의 발현 정도를 측정하기 위해 스팟을 세그먼트 형태로 분리하여 스팟 영역에서 에지를 검출하는 에지검출 모듈; 상기 에지 검출 모듈에서 검출된 스팟 에지 템플릿을 토대로 설정한 스팟 내 픽셀의 좌표를 상기 수학적 모델에 적용하여 스팟 템플릿을 생성하는 스팟 템플릿 생성 모듈; 상기 실험군 및 대조군 mRNA의 잡종화(Hybridization) 후 스팟의 형광 강도를 나타내는 랜덤 특성값을 생성하는 랜덤 특성값 생성 모듈; 상기 스팟 템플릿 생성 모듈에서 생성된 스팟 템플릿에 상기 랜덤 특성값을 적용하여 스팟 모사 이미지를 생성하는 스팟 모사 이미지 생성 모듈; 및 상기 스팟 모사 이미지 생성 모듈에서 생성된 스팟 모사 이미지를 전체 마이크로어레이 이미지로 재건하는 마이크로어레이 모사 이미지 생성 모듈을 포함한다.In order to achieve this technical problem, a microarray simulation image generation system according to a feature of the present invention, a mathematical model generation module for deriving a mathematical model for the distribution of the gene (Spot) in the spot (Spot) of the dropping gene solution on the slide glass; An image storage module for storing various image information including a raw image (Image) for a microarray chip composed of a gene set extracted from a sample of a test group and a control group tagged by fluorescent bases of different colors; An image conversion module for converting an original image of the microarray chip stored in the image storage module into a test image, constructing an overlap image from the test image, and storing each image in the image storage module; An edge detection module that detects an edge in the spot area by separating the spot into segments to measure the expression level of a gene corresponding to each spot in the test image stored in the image storage module; A spot template generation module generating a spot template by applying the coordinates of a pixel in a spot set based on the spot edge template detected by the edge detection module to the mathematical model; Random characteristic value generation module for generating a random characteristic value indicating the fluorescence intensity of the spot after hybridization of the experimental group and the control mRNA; A spot simulation image generation module generating a spot simulation image by applying the random characteristic value to the spot template generated by the spot template generation module; And a microarray simulation image generation module for reconstructing the spot simulation image generated by the spot simulation image generation module into the entire microarray image.

수학적 모델 생성 모듈에서 도출된 수학적 모델은 하기 수학식을 만족하는 것이 바람직하다.The mathematical model derived from the mathematical model generation module preferably satisfies the following equation.

위의 식에서 P(r)은 슬라이드 글라스 위의 스팟 내 유전자 분포이고, C(0)는 초기 액적의 농도이고, KC는 농도상수이고, KV는 체적상수이고, r0은 초기 액적의 반경이고, rt는 시간이 t일 때 액적의 반경이다.Where P (r) is the gene distribution in the spot on the slide glass, C (0) is the initial droplet concentration, K C is the concentration constant, K V is the volume constant, and r 0 is the radius of the initial droplet And r t is the radius of the droplet when time t.

스팟 템플릿 생성 모듈에서 생성된 스팟 템플릿은 하기 수학식을 만족하는것이 바람직하다.The spot template generated by the spot template generating module preferably satisfies the following equation.

위의 식에서 Pij는 스팟 내 픽셀(xij,yij)의 유전자 고착량이고, C(0)는 초기 액적의 농도이고, KC는 농도상수이고, KV는 체적상수이고, ζi는 스팟의 에지 상의 점(ξii)에서 스팟의 중심(Cx,Cy)까지의 거리이고, rij는 스팟의 중심에서 스팟 내 픽셀(xij,yij)까지의 거리이다.In the above equation, P ij is the amount of gene fixation of the pixels in the spot (x ij , y ij ), C (0) is the initial droplet concentration, K C is the concentration constant, K V is the volume constant, and ζ i is The distance from the point (ξ i , η i ) on the edge of the spot to the center of the spot (C x , C y ), r ij is the distance from the center of the spot to the pixels (x ij , y ij ) in the spot.

랜덤 특성값 생성 모듈에서 도출된 랜덤 특성값은 하기 수학식을 만족하는 것이 바람직하다.The random characteristic value derived from the random characteristic value generation module preferably satisfies the following equation.

위의 식에서 dn은 n번째 스팟의 표적 유전자량이고, C0는 초기 액적의 농도이고, KV는 체적상수이고, ζi는 스팟의 에지 상의 점(ξii)에서 스팟의 중심(Cx,Cy)까지의 거리이다.Where d n is the target gene mass of the nth spot, C 0 is the initial droplet concentration, K V is the volume constant, ζ i is the center of the spot at the point on the edge of the spot (ξ i , η i ) Is the distance to (C x , C y ).

또한, 스팟 모사 이미지 생성 모듈에서 생성된 스팟 모사 이미지는 하기 수학식을 만족하는 것이 바람직하다.In addition, the spot simulation image generated by the spot simulation image generation module preferably satisfies the following equation.

위의 식에서 Smn은 실험군 및 대조군의 n번째 스팟의 형광강도 값이고, am은실험군 및 대조군의 총 mRNA량이고, θmn은 발현된 총 mRNA량 중 n번째 유전자가 차지하는 비율이고, dn은 n번째 스팟의 표적 유전자량이고, KC는 농도상수이고, KV는 체적상수이고, ζi는 스팟의 에지 상의 점(ξii)에서 스팟의 중심(Cx,Cy)까지의 거리이고, rij는 스팟의 중심에서 스팟 내 픽셀(xij,yij)까지의 거리이다.In the above formula, S mn is the fluorescence intensity value of the n-th spot of the experimental group and the control group, a m is the total mRNA amount of the experimental group and the control group, θ mn is the ratio of the nth gene of the total mRNA amount expressed, d n Is the target gene quantity of the nth spot, K C is the concentration constant, K V is the volume constant, ζ i is the center of the spot (C x , C y ) at the point on the edge of the spot (ξ i , η i ) R ij is the distance from the center of the spot to the pixels in the spot (x ij , y ij ).

또한 본 발명에 따른 마이크로어레이 모사 이미지 생성 시스템은 백그라운드 형광강도 및 백그라운드 노이즈를 통하여 백그라운드 이미지를 생성하는 백그라운드 이미지 생성모듈을 더 포함할 수 있고, 상기 스팟 모사 이미지와 상기 백그라운드 이미지를 결합하여 전체 마이크로어레이 이미지로 재건할 수 있다.In addition, the microarray simulation image generating system according to the present invention may further include a background image generating module for generating a background image through the background fluorescence intensity and background noise, the entire microarray by combining the spot simulation image and the background image Can be rebuilt with an image.

또한, 본 발명의 특징에 따른 마이크로어레이 모사 이미지 생성방법은, 슬라이드 글라스에 적하한 유전자 용액의 스팟(Spot) 내 유전자 분포에 대한 수학적 모델을 도출하는 제1단계; 서로 다른 색깔의 형광 염기들에 의해 태깅(tagging)된 실험군과 대조군의 표본에서 추출한 유전자 집합으로 이루어진 마이크로어레이 칩에 대한 원시 이미지(Image)를 포함한 각종 이미지 정보를 저장하는 제2단계; 상기 원시 이미지를 테스트용 이미지로 변환하고, 상기 테스트용 이미지로부터 오버랩(Overlap) 이미지를 구성한 후 각 이미지들을 상기 이미지 저장모듈에 저장하는 제3단계; 상기 테스트용 이미지에서 각 스팟(Spot)에 해당하는 유전자의 발현 정도를 측정하기 위해 스팟을 세그먼트 형태로 분리하고, 각 세그먼트로부터 스팟 영역을 탐지하여 스팟 에지를 검출하는 제4단계; 상기 검출된 스팟 에지 템플릿을 수학적 모델에 적용하여 스팟 템플릿을 생성하는 제5단계; 상기 실험군 및 대조군mRNA의 잡종화(Hybridization) 후의 스팟의 형광 강도를 나타내는 랜덤 특성값을 생성하는 제6단계; 상기 스팟 템플릿에 상기 랜덤 특성값을 적용하여 스팟 모사 이미지를 생성하는 제7단계; 및 상기 스팟 모사 이미지를 전체 마이크로어레이 이미지로 재건하는 제8단계를 포함한다.In addition, the method of generating a microarray simulation image according to a feature of the present invention, the first step of deriving a mathematical model for the distribution of the gene (Spot) in the spot (Spot) of the gene solution dropped on the slide glass; A second step of storing various image information including a raw image (Image) for a microarray chip consisting of a set of genes extracted from a sample of a test group and a control group tagged with fluorescent bases of different colors; Converting the original image into a test image, constructing an overlap image from the test image, and storing each image in the image storage module; A fourth step of separating spots into segments in order to measure the expression level of a gene corresponding to each spot in the test image, and detecting spot edges by detecting spot regions from each segment; Generating a spot template by applying the detected spot edge template to a mathematical model; Generating a random characteristic value representing the fluorescence intensity of the spot after hybridization of the experimental and control mRNAs; A seventh step of generating a spot simulation image by applying the random characteristic value to the spot template; And an eighth step of reconstructing the spot simulation image into a full microarray image.

상기 제5단계는, 상기 스팟의 에지상의 점과 스팟의 중심을 구하여 스팟 내 픽셀의 새로운 좌표를 설정하는 단계; 및 상기 스팟 내 픽셀의 좌표를 수학적 모델에 적용하여 스팟 템플릿을 생성하는 단계를 포함한다.The fifth step may include: setting new coordinates of a pixel in the spot by obtaining the center of the spot and the point on the edge of the spot; And generating a spot template by applying a coordinate of a pixel in the spot to a mathematical model.

상기 제6단계는, 실험군 또는 대조군의 총 mRNA량을 구하는 단계; 발현된 유전자의 총 mRNA량 중 n번째 유전자가 차지하는 비율을 구하는 단계; n번째 스팟에 해당하는 표적 유전자량을 구하는 단계; 상기 총 mRNA량과 n번째 유전자가 차지하는 비율로부터 n번째 스팟에 잡종화될 수 있는 탐침의 양을 구하는 단계; 및 상기 탐침의 양과 표적 DNA량으로부터 잡종화 후 n번째 스팟의 형광 강도를 구하는 단계를 포함한다.The sixth step is to obtain the total mRNA amount of the experimental group or control group; Obtaining a ratio occupied by the n th gene in the total mRNA amount of the expressed gene; obtaining a target gene amount corresponding to the nth spot; Obtaining an amount of the probe capable of hybridizing to the nth spot from the total mRNA amount and the ratio of the nth gene; And obtaining the fluorescence intensity of the nth spot after hybridization from the amount of the probe and the amount of target DNA.

상기 제8단계는, 스팟 모사 이미지에 위치정보를 결합하여 스팟 어레이 이미지를 생성하는 단계; 및 상기 스팟 어레이 이미지에 백그라운드 이미지를 결합하여 마이크로어레이 모사 이미지를 형성하는 단계를 포함한다.The eighth step may include: generating a spot array image by combining location information with a spot simulation image; And combining the background image with the spot array image to form a microarray simulation image.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings the most preferred embodiment that can be easily carried out by those of ordinary skill in the art as follows.

도 1에 본 발명의 실시예에 따른 마이크로어레이 모사 이미지 생성 시스템의구성이 도시되어 있다.1 shows a configuration of a microarray simulated image generating system according to an embodiment of the present invention.

첨부한 도 1에 도시되어 있듯이, 본 발명의 실시예에 따른 마이크로어레이 모사이미지 생성 시스템은, 백그라운드 형광강도 및 백그라운드 노이즈를 통하여 백그라운드 이미지를 형성하는 백그라운드 이미지 생성 모듈(20),As shown in FIG. 1, the microarray simulated image generation system according to an embodiment of the present invention includes a background image generation module 20 for forming a background image through background fluorescence intensity and background noise,

실험군 및 대조군 mRNA의 잡종화(Hybridization) 후 스팟의 형광 강도를 나타내는 랜덤 특성값을 생성하는 랜덤 특성값 생성 모듈(30),Random characteristic value generation module 30 for generating a random characteristic value representing the fluorescence intensity of the spot after hybridization of the experimental group and the control mRNA,

마이크로어레이 칩 생성 과정에서 슬라이드 글라스에 적하한 유전자 용액의 스팟(Spot) 내 유전자 분포에 대한 수학적 모델을 도출하는 수학적 모델 생성 모듈(40),Mathematical model generation module 40 for deriving a mathematical model of the distribution of genes in the spot of the gene solution loaded on the slide glass during the microarray chip generation process,

cDNA 마이크로어레이 이미지를 스캐닝하여 16비트 TIFF(Tag Image File Format) 형태로 하드디스크(10)에 저장된 원시 이미지와, 원시 이미지로부터 생성되는 각종 변환된 이미지 정보를 저장하는 이미지 저장모듈(50),an image storage module 50 for scanning the cDNA microarray image and storing the raw image stored in the hard disk 10 in the form of 16-bit TIFF (Tag Image File Format), and various converted image information generated from the raw image;

이미지 저장모듈(50)에 저장되어 있는 원시 이미지를 테스트용 이미지로 변환하고, 테스트용 이미지로부터 오버랩 이미지를 구성한 후 이미지 저장모듈(50)에 저장하는 이미지 변환모듈(60),An image conversion module 60 for converting the raw image stored in the image storage module 50 into a test image, constructing an overlap image from the test image, and then storing the overlap image in the image storage module 50;

이미지 저장모듈(50)에 저장되어 있는 오버랩 이미지의 각 스팟에 해당하는 유전자의 발현 정도를 측정하기 위해 스팟을 세그먼트 형태로 나누고, 각 세그먼트에서 스팟 영역의 에지를 검출하는 에지검출 모듈(70),Edge detection module 70 for dividing the spot into segments in order to measure the expression level of the gene corresponding to each spot of the overlap image stored in the image storage module 50, and detecting the edge of the spot area in each segment,

에지 검출 모듈(70)에서 검출된 스팟 에지 템플릿을 토대로 설정한 스팟 내 픽셀의 좌표를 수학적 모델에 적용하여 스팟 템플릿을 생성하는 스팟 템플릿 생성모듈(80),Spot template generation module 80 for generating a spot template by applying the coordinates of the pixel in the spot based on the spot edge template detected by the edge detection module 70 to the mathematical model,

스팟 템플릿 생성 모듈(80)을 통하여 생성된 스팟 템플릿에 랜덤 특성값을 적용하여 스팟 모사 이미지를 생성하는 스팟 모사 이미지 생성 모듈(90) 및Spot simulation image generation module 90 for generating a spot simulation image by applying a random characteristic value to the spot template generated by the spot template generation module 80 and

스팟 모사 이미지 생성 모듈(90)을 통하여 생성된 스팟 모사 이미지와 백그라운드 이미지 형성 모듈(20)에서 생성된 백그라운드 이미지를 전체 마이크로어레이 이미지로 재건하는 마이크로어레이 모사 이미지 생성 모듈(100)을 포함한다.And a microarray simulation image generation module 100 for reconstructing the spot simulation image generated by the spot simulation image generation module 90 and the background image generated by the background image forming module 20 into a full microarray image.

수학적 모델 생성 모듈(40)은 실제 마이크로어레이 칩의 슬라이드 글라스 위의 스팟 내 DNA의 분포를 구하는 것으로, 마이크로어레이 칩의 제작 과정에서 발생하는 물리적, 화학적 현상을 수학적으로 모델링(modeling)한다.The mathematical model generation module 40 calculates the distribution of DNA in the spot on the slide glass of the actual microarray chip, and mathematically models the physical and chemical phenomena occurring during the fabrication of the microarray chip.

일반적인 마이크로어레이 칩의 제작 과정을 살펴보면, 먼저 DNA 라이브러리를 슬라이드 글라스 위에 프린트하기 전에 DNA와 유리판과의 결합을 용이하게 하기 위해 슬라이드 글라스를 먼저 알데히드(또는 아민)기를 함유하는 기질로 코팅한다.Looking at the fabrication process of a general microarray chip, the slide glass is first coated with a substrate containing an aldehyde (or amine) group to facilitate the binding of the DNA and the glass plate before printing the DNA library onto the slide glass.

또한 각 DNA 분자에는 합성 프라이머를 이용하여 지방족 아민(또는 알데히드)을 붙인다. 이렇게 아민(또는 알데히드)이 붙은 DNA는 중합효소연쇄반응(Polymerase Chain Reaction ; PCR) 과정을 통해 이중나선구조를 가진 DNA로 합성되고, 지방족 아민(또는 알데히드)은 탈수작용을 거치면서 유리판 표면의 기질에 있는 알데히드(또는 아민)기와 결합함으로써 DNA가 슬라이드 글라스에 고착될 수 있게 한다. 이러한 과정은 DNA 용액이 기질의 표면에서 건조되는 동안 일어난다.In addition, each DNA molecule is attached to an aliphatic amine (or aldehyde) using synthetic primers. The amine (or aldehyde) -attached DNA is synthesized into a double-stranded DNA through a polymerase chain reaction (PCR) process, and the aliphatic amine (or aldehyde) is dehydrated to provide a substrate on the surface of the glass plate. By binding to an aldehyde (or amine) group in the DNA, the DNA can be fixed to the slide glass. This process occurs while the DNA solution dries on the surface of the substrate.

이후, 백그라운드 형광 강도를 최소화하기 위해 슬라이드 글라스에 반응하지않고 남아있는 알데히드(또는 아민)기를 없앤다.Thereafter, the aldehyde (or amine) group remaining without reacting to the slide glass is removed to minimize the background fluorescence intensity.

이러한 내용을 수학적으로 모델링하면 다음과 같다.The mathematical modeling of this content is as follows.

DNA 용액을 슬라이드 글라스에 적하했을 때의 부피 V와 표면적 S를 액적의 반경 r의 함수로 나타내면 다음과 같다.The volume V and surface area S when the DNA solution is added to the slide glass as a function of the radius r of the droplet are as follows.

(수학식 1)(Equation 1)

여기서 KV는 체적상수이고, KS는 면적상수이며, t는 시간이다.Where K V is the volume constant, K S is the area constant, and t is the time.

이때, 수분의 증발에 의한 체적의 감소율이 표면적에 비례한다고 가정하면, 이것을 다음의 수학식2와 같이 나타낼 수 있다.At this time, assuming that the rate of decrease in volume due to evaporation of water is proportional to the surface area, this can be expressed as Equation 2 below.

(수학식 2)(Equation 2)

여기서 k는 비례상수이다.Where k is the proportionality constant.

그러면, 위의 수학식1과 수학식2로부터 다음의 수학식3을 얻을 수 있다.Then, the following equation (3) can be obtained from the above equations (1) and (2).

(수학식 3)(Equation 3)

여기서 KR은 반경상수이고, r0는 t=0일 때 액적의 반경이다.Where K R is the radius constant and r 0 is the radius of the droplet when t = 0.

위의 수학식3을 통하여 DNA 용액이 건조과정을 거치면서 액적의 반경은 선형적으로 감소함을 알 수 있다.Through Equation 3, the radius of the droplet decreases linearly as the DNA solution is dried.

한편, 액적의 반경이 r이고 시간이 t일 때 액적의 표면에서 수분이 증발하여 슬라이드 글라스에 고착되는 DNA의 양 P(r)이 액적의 농도 C(t)에 비례한다고 가정하면, 다음의 수학식4를 구할 수 있다.On the other hand, if the radius of the droplet is r and the time is t, it is assumed that the amount of DNA P (r) adhered to the slide glass by the evaporation of moisture from the surface of the droplet is proportional to the concentration C (t) of the droplet. Equation 4 can be obtained.

(수학식 4)(Equation 4)

여기서 KC는 농도상수이다.Where K C is the concentration constant.

따라서, 액적에 남아있는 DNA의 농도는 아래의 수학식5와 같다.Therefore, the concentration of DNA remaining in the droplets is expressed by Equation 5 below.

(수학식 5)(Equation 5)

그러므로, 위의 수학식4와 수학식5로부터 수학식6과 같이 슬라이드 글라스 위의 스팟 내 DNA의 분포를 나타내는 수학적 모델을 도출할 수 있다.Therefore, a mathematical model representing the distribution of DNA in the spot on the slide glass as shown in Equation 6 can be derived from Equations 4 and 5 above.

(수학식 6)(Equation 6)

한편, 랜덤 특성값 생성 모듈(30)은 실험군 및 대조군 mRNA의 잡종화 과정에서 추가되는 물리적 특성값들을 생성하는 것으로, 이 과정이 도 2에 도시되어 있다.Meanwhile, the random characteristic value generation module 30 generates physical characteristic values added in the hybridization process of the experimental group and the control mRNA, which is illustrated in FIG. 2.

도 2에 도시된 바와 같이, 우선 마이크로어레이 칩의 제작 후 실험군 및 대조군의 샘플에서 취한 mRNA를 칩 상의 DNA 라이브러리와 경합적으로 잡종화시킨다. 즉, 실험군 및 대조군을 m(m = 1, 2), 스팟의 일련 번호를 n(n = 1, 2,…,l)이라고 했을 때, am을 실험군 또는 대조군의 총 mRNA량, θmn을 발현된 유전자의 총 mRNA량 중 n번째 유전자가 차지하는 비율이라고 하면, amθmn은 n번째 스팟에 잡종화될 수 있는 탐침(Probe)의 양이 된다. 여기에 n번째 스팟에 해당하는 표적 DNA량을 dn이라고 하면, amθmndn은 잡종화 후의 n번째 스팟의 형광 강도가 된다.As shown in FIG. 2, first, the mRNA taken from the samples of the experimental and control groups after the preparation of the microarray chip is competitively hybridized with the DNA library on the chip. That is, when the experimental group and the control group is m (m = 1, 2) and the serial number of the spot is n (n = 1, 2, ..., l), a m is the total mRNA amount of the experimental group or the control group, θ mn If the ratio of the nth gene to the total mRNA amount of the expressed gene, a m θ mn is the amount of probe (Probe) that can be hybridized to the n-th spot. If the target DNA amount corresponding to the n-th spot is d n , a m θ mn d n becomes the fluorescence intensity of the n-th spot after hybridization.

실험 상에서는 실험군과 대조군의 mRNA를 동량으로 섞는 것을 원칙으로 하고 있으나, 실험 상의 오차 등에 의해 정확히 동량이 섞이지 않는 경우가 많다. 이로 인해 실험군 또는 대조군에서 상대적인 유전자 발현 정도가 실제보다 높게 나타나는 양상이 나타난다. 따라서 이를 보정하기 위해 이미지 분석 시 정규화(Normalization) 과정이 필요하며, am값을 적절히 조절함으로써 이미지 분석 시스템의 정규화 성능을 평가하거나 적절한 정규화 방법을 찾을 줄 수 있다.In the experiment, it is a rule to mix the same amount of mRNA of the experimental group and the control group, but in many cases, the exact amount is not mixed due to experimental errors. As a result, the relative gene expression in the experimental or control group appears to be higher than it actually is. Therefore, in order to correct this, normalization is required for image analysis. By properly adjusting the a m value, the normalization performance of the image analysis system can be evaluated or a proper normalization method can be found.

한편, 마이크로어레이 이미지 분석에서 최종적으로 얻고자 하는 값은 대조군에 대한 실험군의 유전자 발현 비율, 즉 θ2n /θ1n이다. 그런데 이미지 분석 시스템에서는 형광 강도의 비율로써 유전자의 발현 비율을 간접적으로 확인하는 방법을 사용하기 때문에 실제 값과 분석 결과에는 오차가 발생한다. 따라서 본 발명의 시스템에서는 가우스 백색 노이즈(Gaussian White Noise)와 무작위 수를 이용하여 θmn을 생성하였다. 이것을 식으로 나타내면 다음과 같다.Meanwhile, the final value to be obtained in the microarray image analysis is the ratio of gene expression of the experimental group to the control group, that is, θ 2n / θ 1n . However, since the image analysis system uses a method of indirectly confirming the expression ratio of genes as a ratio of fluorescence intensity, an error occurs in the actual value and the analysis result. Therefore, in the system of the present invention, θ mn is generated using Gaussian White Noise and a random number. This is expressed as follows.

(수학식 7)(Equation 7)

여기서 σ1은 가우스 백색잡음의 표준편차이며, σ2는 무작위 수의 표준편차이다. 이 σ1과 σ2을 사용하여 유의한 유전자를 적절하게 생성한 후, 이미지 분석 시스템에서 분석해 낸 결과와 비교하여 시스템의 성능을 평가할 수 있으며, 각종 잡음이 시스템에 미치는 영향을 분석하여 보다 효율적이고 정확한 이미지 분석 시스템을 개발하는 데 도움을 줄 수 있다.Where σ 1 is the standard deviation of Gaussian white noise and σ 2 is the random number of standard deviations. Using σ 1 and σ 2, we can generate significant genes appropriately, and then evaluate the performance of the system by comparing them with the results analyzed by the image analysis system. It can help develop an accurate image analysis system.

dn은 실험군 및 대조군의 mRNA가 잡종화되는 표적 DNA량으로서, 이것은 마이크로어레이 칩의 스팟에 고착된 DNA량과 일치하며, DNA 액적이 건조되기 전 DNA의 농도에 액적의 체적을 곱한 값과도 일치한다. 그러므로 이것을 식으로 나타내면 다음과 같다.d n is the target DNA amount at which the mRNA of the experimental group and the control group is hybridized, which corresponds to the amount of DNA stuck to the spot of the microarray chip, and also the DNA concentration multiplied by the volume of the droplet before the DNA droplet is dried. do. Therefore, this can be expressed as

(수학식 8)(Equation 8)

한편, 이미지 변환모듈(60)은 이미지 처리 속도를 증가시키고 사용자에게 적절한 시점에 제시하기 위해 Cy3 및 Cy5에 의한 16 비트의 원시 이미지를 8비트의 테스트용 이미지, 오버랩 이미지로 변환한다.Meanwhile, the image conversion module 60 converts the 16-bit raw image by Cy3 and Cy5 into an 8-bit test image and an overlap image in order to increase the image processing speed and present it to the user at an appropriate point in time.

대개, cDNA 마이크로어레이 칩은 두가지 다른 파장의 레이저로 Cy3 및 Cy5형광 염기를 탐지하기 위해 2회 스캐닝되는데, 스캐닝된 두 개의 이미지에서 칩의 위치는 여러 요인에 의해 불일치되기 쉽다.Usually, cDNA microarray chips are scanned twice with two different wavelengths of laser to detect Cy3 and Cy5 fluorescence bases, where the position of the chip in the two scanned images is likely to be inconsistent by a number of factors.

따라서, 이미지 변환모듈(60)은 이미지 처리에 앞서 두 이미지의 스팟의 위치를 일치시키는 자동화된 위치 보정 과정을 수행한 후에 두 이미지의 오버랩 이미지를 생성한다.Accordingly, the image conversion module 60 generates an overlap image of the two images after performing an automated position correction process that matches the positions of the spots of the two images prior to the image processing.

따라서, 에지검출 모듈(70)은 각 스팟에 해당하는 유전자의 발현 정도를 측정하기 위해 각 스팟을 세그먼트 형태로 나누는 세그멘테이션 과정을 수행하고, 각 세그먼트에서 스팟 영역을 탐지하여 스팟 에지를 검출한다.Therefore, the edge detection module 70 performs a segmentation process of dividing each spot into segments in order to measure the expression level of a gene corresponding to each spot, and detects spot edges by detecting spot regions in each segment.

이때, 스팟의 세그먼트 좌표는 어레이 형태로 저장되고 각각 세그먼트에 대한 인덱스 정보가 입력된다.At this time, the segment coordinates of the spot are stored in an array form, and index information for each segment is input.

스팟 템플릿 생성 모듈(80)은 에지 검출 모듈(70)에서 획득한 스팟 에지 템플릿(Edge Template)을 이용하여 스팟의 에지 상의 점들(Points on the Contour)과 스팟의 중심(Centoid of the Image)을 구하여 스팟 내부에 새로운 좌표를 설정한 후 이것을 수학적 모델 생성 모듈(40)에 적용하여 스팟 템플릿을 생성한다.The spot template generation module 80 obtains the points on the contour and the center of the spot by using the spot edge template acquired by the edge detection module 70. After setting the new coordinates inside the spot, it is applied to the mathematical model generation module 40 to generate the spot template.

도 3에 스팟 템플릿 생성 모듈(80)이 도시되어 있다.The spot template generation module 80 is shown in FIG. 3.

도 3에 도시된 바와 같이, 스팟의 에지 상의 한 점(ξi, ηi)으로부터 스팟의 중심(Cx, Cy)까지의 거리 ζi는 다음의 수학식9와 같다.As shown in FIG. 3, the distance ζ i from a point ξ i , η i on the edge of the spot to the center Cx, Cy of the spot is expressed by Equation 9 below.

(수학식 9)(Equation 9)

또한, 스팟 내 픽셀의 좌표(xij, yij)와 스팟의 중심으로부터 각 픽셀까지의 거리 rij는 다음의 수학식10과 같다.Further, the coordinates (x ij , y ij ) of the pixels in the spot and the distance r ij from the center of the spot to each pixel are as shown in Equation 10 below.

(수학식 10)(Equation 10)

위의 수학식9, 수학식10 및 수학식6의 수학적 모델을 토대로 다음의 수학식11과 같이 스팟 내부의 각 픽셀에 대한 DNA의 고착량을 나타내는 스팟 템플릿을 구할 수 있다.Based on the mathematical models of Equations 9, 10 and 6 above, a spot template representing the amount of DNA fixation for each pixel in the spot can be obtained as shown in Equation 11 below.

(수학식 11)(Equation 11)

또한, 위의 수학식 11에 실험군 및 대조군의 mRNA 잡종화 표적 DNA량을 나타내는 수학식8을 대입하면 다음의 수학식12와 같이 n번째 스팟 내 픽셀의 유전자고착량을 구할 수 있다.In addition, by substituting Equation 8 representing the mRNA hybridization target DNA amount of the experimental group and the control group in Equation 11 above, the gene fixation amount of the pixel in the nth spot can be obtained as in Equation 12 below.

(수학식 12)(Equation 12)

스팟 모사 이미지 생성 모듈(90)은 랜덤 특성값 생성 모듈(30)에서 생성한 랜덤 특성값을 스팟 템플릿 생성 모듈(80)에서 획득한 스팟 템플릿에 적용하여 다음의 수학식 13과 같이 실험군 및 대조군의 각 스팟의 형광강도 값을 나타내는 스팟 모사 이미지를 생성한다.The spot simulation image generation module 90 applies the random characteristic value generated by the random characteristic value generation module 30 to the spot template obtained by the spot template generation module 80 to determine the experimental group and the control group as shown in Equation 13 below. A spot simulation image representing the fluorescence intensity values of each spot is generated.

(수학식 13)(Equation 13)

한편, 마이크로어레이 모사 이미지 생성 모듈(100)은 스팟 템플릿으로부터 생성된 스팟 모사 이미지에 위치정보를 더하여 스팟 어레이 이미지를 생성하고, 백그라운드 이미지 형성 모듈(20)은 백그라운드 형광 강도 bm와 백그라운드 노이즈 bm'을 더하여 백그라운드 이미지를 생성한다.Meanwhile, the microarray simulation image generation module 100 generates a spot array image by adding location information to the spot simulation image generated from the spot template, and the background image forming module 20 generates the background fluorescence intensity b m and the background noise b m. 'To create a background image.

여기서 백그라운드 형광 강도 bm은 실제 이미지의 로컬 백그라운드의 평균값을 사용하거나 임의의 값을 발생시켜 사용한다. 또한 백그라운드 노이즈 bm'은 실제 이미지에서 스팟 영역이 제거된 이미지 중 형광강도가 높은 부분만을 추출하여 얻어낸다. 이렇게 생성된 스팟 어레이 이미지와 백그라운드 이미지를 더하여 마이크로어레이 모사 이미지를 생성한다.Here, the background fluorescence intensity b m is used by using an average value of the local background of the actual image or generating an arbitrary value. In addition, the background noise b m ′ is obtained by extracting only a portion of the fluorescence intensity of the image from which the spot region is removed from the actual image. The spot array image and the background image thus generated are added to generate a microarray simulation image.

상기와 같이 구성되는 마이크로어레이 모사 이미지 생성 시스템의 동작을 첨부한 도면을 참조하여 설명하면 다음과 같다.The operation of the microarray simulation image generation system configured as described above will be described with reference to the accompanying drawings.

도 4는 본 발명의 실시예에 따른 마이크로어레이 모사 이미지 생성 방법의 순서도이다.4 is a flowchart of a method of generating a microarray simulated image according to an embodiment of the present invention.

도 4에 도시되어 있듯이, 먼저 슬라이드 글라스 위의 스팟 내 DNA의 분포를나타내는 수학적 모델을 도출하고, 실험군 및 대조군 mRNA의 잡종화 과정에서 추가되는 물리적 특성값인 랜덤 특성값을 생성한다(S1).As shown in FIG. 4, first, a mathematical model representing a distribution of DNA in a spot on a slide glass is derived, and a random characteristic value, which is a physical characteristic value added during the hybridization of experimental and control mRNAs, is generated (S1).

또한 하드디스크(10)에서 16비트 TIFF 형태로 이루어진 Cy3와 Cy5에 의한 원시 이미지들을 추출하여 이미지 저장모듈(50)에 저장한다(S2).In addition, raw images extracted by Cy3 and Cy5 having a 16-bit TIFF form are extracted from the hard disk 10 and stored in the image storage module 50 (S2).

그리고, 이미지 변환모듈(60)은 두 원시 이미지를 8비트의 테스트용 이미지로 변환한다(S3).The image conversion module 60 converts the two original images into 8-bit test images (S3).

에지검출 모듈(70)은 각 스팟에 해당하는 유전자의 발현 정도를 측정하기 위해 8비트의 테스트용 이미지에서 스팟을 세그먼트 형태로 나누고 각 스팟의 세그먼트 좌표를 어레이 형태로 저장한다(S4).The edge detection module 70 divides the spot into segments in the 8-bit test image to measure the expression level of the gene corresponding to each spot and stores the segment coordinates of each spot in an array form (S4).

그리고, 각 세그먼트에서 스팟 영역을 탐지하여 스팟의 에지를 검출한다(S5).Then, the spot area is detected in each segment to detect the edge of the spot (S5).

스팟 템플릿 생성 모듈(80)은 에지검출 모듈(70)을 통해 얻은 스팟 에지 템플릿을 수학적 모델에 적용하여 스팟 템플릿을 생성한다(S6).The spot template generation module 80 generates a spot template by applying the spot edge template obtained through the edge detection module 70 to a mathematical model (S6).

스팟 모사 이미지 생성 모듈(90)은 위에서 획득한 스팟 템플릿 및 랜덤 특성값을 토대로 스팟 모사 이미지를 생성한다(S7).The spot simulation image generation module 90 generates a spot simulation image based on the spot template and the random characteristic value obtained above (S7).

마이크로어레이 모사 이미지 생성 모듈(100)은 이 스팟 모사 이미지에 위치정보를 추가하여 스팟 어레이 이미지를 생성하고(S8), 백그라운드 형광강도와 백그라운드 노이즈를 결합하여 생성한 백그라운드 이미지와 스팟 어레이 이미지를 결합하여 최종적으로 마이크로어레이 모사 이미지를 생성한다(S9).The microarray simulation image generation module 100 generates a spot array image by adding location information to the spot simulation image (S8), and combines the background image and the spot array image generated by combining the background fluorescence intensity and the background noise. Finally, a microarray simulation image is generated (S9).

도 5에 본 발명의 실시예에 따른 마이크로어레이 모사 이미지 생성 방법의이미지 처리 과정이 상세히 도시되어 있다.5 is a detailed image processing process of the method for generating a microarray simulation image according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 백그라운드 이미지 생성 모듈(20)은 백그라운드 이미지를 위해 백그라운드 형광강도 및 백그라운드 노이즈를 검출한다(S11-1).As shown in FIG. 5, the background image generation module 20 detects background fluorescence intensity and background noise for the background image (S11-1).

그리고 에지검출 모듈(70)은 스팟 어레이 이미지 및 백그라운드 이미지를 위해 8비트 크기의 공백으로 이루어진 제1 및 제2 템플릿을 준비하고(S11-2, S11-5), 이미지 저장모듈(50)에서 8비트의 오버랩 이미지와 세그멘테이션에 의한 스팟의 세그먼트 좌표 데이터를 불러들인다(S11-3, S11-4).The edge detection module 70 prepares the first and second templates of 8-bit spaces for the spot array image and the background image (S11-2 and S11-5). The segment coordinate data of the spot by the overlap image of the bit and segmentation is retrieved (S11-3, S11-4).

또한 수학적 모델 생성 모듈(40)은 스팟 템플릿을 위한 수학적 모델을 생성하고(S11-6), 랜덤 특성값 생성 모듈(30)은 랜덤 특성값을 생성한다(S11-7).In addition, the mathematical model generation module 40 generates a mathematical model for the spot template (S11-6), and the random characteristic value generation module 30 generates a random characteristic value (S11-7).

그리고, 에지검출 모듈(70)은 스팟의 세그먼트 좌표와 8비트 오버랩 이미지를 이용해 n번째 스팟 세그먼트를 추출한다(S12).The edge detection module 70 extracts the n-th spot segment using the segment coordinates of the spot and the 8-bit overlap image (S12).

위에서 추출된 스팟 세그먼트에서 스팟 에지를 생성한다(S13).A spot edge is generated from the spot segment extracted from the above (S13).

위의 스팟 에지로부터 스팟 내부의 좌표를 구하고 위에서 추출된 수학적 모델을 적용하여 스팟 템플릿을 형성하고(S14), 여기에 랜덤 특성값을 적용하여 스팟 모사 이미지를 생성한다(S15).A spot template is obtained by obtaining coordinates within a spot from the spot edges above, and applying a mathematical model extracted from the above (S14), and generating a spot simulation image by applying random characteristic values thereto (S15).

이렇게 하여 스팟 모사 이미지가 생성되면, 스팟 어레이 이미지를 위해 준비한 제1 템플릿에 위치정보를 포함한 스팟 모사 이미지를 이식하고(S16-1), 백그라운드 이미지를 위해 준비한 제2 템플릿에 백그라운드 이미지 생성 모듈(20)로 부터 구한 백그라운드 형광강도 및 백그라운드 노이즈를 이식하여 백그라운드 이미지를 형성한다(S16-2).When the spot simulation image is generated in this way, the spot simulation image including the location information is implanted into the first template prepared for the spot array image (S16-1), and the background image generation module 20 is mounted on the second template prepared for the background image. A background image is formed by implanting the background fluorescence intensity and the background noise obtained from) (S16-2).

최종적으로 마이크로어레이 모사 이미지 생성 모듈(80)은 백그라운드 이미지와 스팟 어레이 이미지를 더하여 마이크로어레이 모사 이미지를 생성한다(S17).Finally, the microarray simulation image generation module 80 generates a microarray simulation image by adding the background image and the spot array image (S17).

상기 도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.The drawings and detailed description of the invention are merely exemplary of the invention, which are used for the purpose of illustrating the invention only and are not intended to limit the scope of the invention as defined in the appended claims or claims.

그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

이상에서와 같이 본 발명의 마이크로어레이 모사 이미지 생성 시스템에 따라 마이크로어레이 칩의 유전자 정보를 분석시, 2차원 어레이 형태의 스팟 그룹으로 이루어진 유전자 칩에서 스팟의 세그먼트 좌표를 생성한 후 각 스팟과 백그라운드 에지를 검출하고 각 세그먼트의 인덱스와 데이터를 연계하여 사용자에게 유용한 정보를 제공할 수 있는 효과가 있다.As described above, when analyzing the genetic information of the microarray chip according to the microarray simulation image generation system of the present invention, after generating the segment coordinates of the spot in the gene chip consisting of a spot group in the form of a two-dimensional array, each spot and the background edge Is detected and the index and data of each segment can be linked to provide useful information to the user.

또한, 본 발명은 실제 마이크로어레이 이미지의 에지 검출로부터 얻어진 템플릿을 토대로 이미지를 재건함으로써 스팟의 정확한 영역을 분리해낼 수 있으며, 실제 이미지에 가까운 모사 이미지를 생성할 수 있어서 데이터 에러율은 현저히 감소시키면서 유효한 정보만을 추출할 수 있는 효과가 있다.In addition, the present invention can separate the exact region of the spot by reconstructing the image based on the template obtained from the edge detection of the actual microarray image, and can generate a simulated image close to the actual image, thereby effectively reducing the data error rate and effectively Only extract the effect.

게다가, 본 발명은 모사 이미지의 실제 값과 마이크로어레이 이미지 분석 시스템을 통해 얻은 데이터 값을 비교하여 분석 시스템의 정확도를 평가할 수 있다.In addition, the present invention can evaluate the accuracy of the analysis system by comparing the actual values of the simulated images with data values obtained through the microarray image analysis system.

Claims (11)

슬라이드 글라스에 적하한 유전자 용액의 스팟(Spot) 내 유전자 분포에 대한 수학적 모델을 도출하는 수학적 모델 생성 모듈;A mathematical model generation module for deriving a mathematical model of a gene distribution in a spot of a gene solution loaded on a slide glass; 서로 다른 색깔의 형광 염기들에 의해 태깅(tagging)된 실험군과 대조군의 표본에서 추출한 유전자 집합으로 이루어진 마이크로어레이 칩에 대한 원시 이미지(Image)를 포함한 각종 이미지 정보를 저장하는 이미지저장 모듈;An image storage module for storing various image information including a raw image (Image) for a microarray chip composed of a gene set extracted from a sample of a test group and a control group tagged by fluorescent bases of different colors; 상기 이미지 저장모듈에 저장된 마이크로어레이 칩의 원시 이미지를 테스트용 이미지로 변환하고, 상기 테스트용 이미지로부터 오버랩(Overlap) 이미지를 구성한 후 각 이미지들을 상기 이미지 저장모듈에 저장하는 이미지변환 모듈;An image conversion module for converting an original image of the microarray chip stored in the image storage module into a test image, constructing an overlap image from the test image, and storing each image in the image storage module; 상기 이미지 저장모듈에 저장된 테스트용 이미지에서 각 스팟(Spot)에 해당하는 유전자의 발현 정도를 측정하기 위해 스팟을 세그먼트 형태로 분리하여 스팟 및 백그라운드 (Background) 영역에서 에지를 검출하는 에지검출 모듈;An edge detection module for detecting edges in the spot and the background area by separating the spot into segments to measure the expression level of a gene corresponding to each spot in the test image stored in the image storage module; 상기 에지 검출 모듈에서 검출된 스팟 에지 템플릿을 토대로 설정한 스팟 내 픽셀의 좌표를 상기 수학적 모델에 적용하여 스팟 템플릿을 생성하는 스팟 템플릿 생성 모듈;A spot template generation module generating a spot template by applying the coordinates of a pixel in a spot set based on the spot edge template detected by the edge detection module to the mathematical model; 상기 실험군 및 대조군 mRNA의 잡종화(Hybridization) 후 스팟의 형광 강도를 나타내는 랜덤 특성값을 생성하는 랜덤 특성값 생성 모듈;Random characteristic value generation module for generating a random characteristic value indicating the fluorescence intensity of the spot after hybridization of the experimental group and the control mRNA; 상기 스팟 템플릿 생성 모듈에서 생성된 스팟 템플릿에 상기 랜덤 특성값을 적용하여 스팟 모사 이미지를 생성하는 스팟 모사 이미지 생성 모듈; 및A spot simulation image generation module generating a spot simulation image by applying the random characteristic value to the spot template generated by the spot template generation module; And 상기 스팟 모사 이미지 생성 모듈에서 생성된 스팟 모사 이미지를 이용하여 전체 마이크로어레이 이미지로 재건하는 마이크로어레이 모사 이미지 생성 모듈Microarray simulation image generation module for reconstructing the entire microarray image using the spot simulation image generated by the spot simulation image generation module 을 포함하는 마이크로어레이 모사 이미지 생성 시스템.Microarray simulation image generation system comprising a. 제1항에 있어서,The method of claim 1, 상기 수학적 모델 생성 모듈에서 도출된 수학적 모델은 하기 수학식을 만족하는 것을 특징으로 하는 마이크로어레이 모사 이미지 생성 시스템.And a mathematical model derived from the mathematical model generating module satisfies the following equation. 상기 식에서 P(r)은 슬라이드 글라스 위의 스팟 내 유전자 분포이고,Where P (r) is the gene distribution in the spot on the slide glass, C(0)는 초기 액적의 농도이고,C (0) is the initial droplet concentration, KC는 농도상수이고,K C is the concentration constant KV는 체적상수이고,K V is the volume constant, r0은 초기 액적의 반경이고,r 0 is the radius of the initial droplet, rt는 시간이 t일 때 액적의 반경임.r t is the radius of the droplet when time t. 제1항에 있어서,The method of claim 1, 상기 스팟 템플릿 생성 모듈에서 생성된 스팟 템플릿은 하기 수학식을 만족하는 것을 특징으로 하는 마이크로어레이 모사 이미지 생성 시스템.The spot template generated by the spot template generating module satisfies the following equation. 상기 식에서 Pij는 스팟 내 픽셀(xij,yij)의 유전자 고착량이고,In the above formula, P ij is a gene fixation amount of pixels (x ij , y ij ) in the spot, C(0)는 초기 액적의 농도이고,C (0) is the initial droplet concentration, KC는 농도상수이고,K C is the concentration constant KV는 체적상수이고,K V is the volume constant, ζi는 스팟의 에지 상의 점(ξii)에서 스팟의 중심(Cx,Cy)까지의 거리이고,ζ i is the distance from the point on the edge of the spot (ξ i , η i ) to the center of the spot (C x , C y ), rij는 스팟의 중심에서 스팟 내 픽셀(xij,yij)까지의 거리임.r ij is the distance from the center of the spot to the pixels in the spot (x ij , y ij ). 제1항에 있어서,The method of claim 1, 상기 랜덤 특성값 생성 모듈에서 도출된 랜덤 특성값은 하기 수학식을 만족하는 것을 특징으로 하는 마이크로어레이 모사 이미지 생성 시스템.And a random characteristic value derived from the random characteristic value generation module satisfies the following equation. 상기 식에서 dn은 n번째 스팟의 표적 유전자량이고,Wherein d n is the target gene mass of the nth spot, C0는 초기 액적의 농도이고,C 0 is the concentration of the initial droplet, KV는 체적상수이고,K V is the volume constant, ζi는 스팟의 에지 상의 점(ξii)에서 스팟의 중심(Cx,Cy)까지의 거리임.ζ i is the distance from the point on the edge of the spot (ξ i , η i ) to the center of the spot (C x , C y ). 제1항에 있어서,The method of claim 1, 상기 스팟 모사 이미지 생성 모듈에서 생성된 스팟 모사 이미지는 하기 수학식을 만족하는 것을 특징으로 하는 마이크로어레이 모사 이미지 생성 시스템.The spot simulation image generated by the spot simulation image generating module satisfies the following equation. 상기 식에서 Smn은 실험군 및 대조군의 n번째 스팟의 형광강도 값이고,In the formula S mn is the fluorescence intensity value of the n-th spot of the experimental and control group, am은 실험군 및 대조군의 총 mRNA량이고,a m is the total mRNA amount of the experimental group and the control group, θmn은 발현된 총 mRNA량 중 n번째 유전자가 차지하는 비율이고,θ mn is the ratio of the n th gene of the total amount of mRNA expressed, dn은 n번째 스팟의 표적 유전자량이고,d n is the target gene mass of the nth spot, KC는 농도상수이고,K C is the concentration constant KV는 체적상수이고,K V is the volume constant, ζi는 스팟의 에지 상의 점(ξii)에서 스팟의 중심(Cx,Cy)까지의 거리이고,ζ i is the distance from the point on the edge of the spot (ξ i , η i ) to the center of the spot (C x , C y ), rij는 스팟의 중심에서 스팟 내 픽셀(xij,yij)까지의 거리임.r ij is the distance from the center of the spot to the pixels in the spot (x ij , y ij ). 제1항에 있어서,The method of claim 1, 백그라운드 형광강도 및 백그라운드 노이즈를 통하여 백그라운드 이미지를 생성하는 백그라운드 이미지 생성모듈을 더 포함하는 마이크로어레이 모사 이미지 생성 시스템.And a background image generating module for generating a background image through the background fluorescence intensity and the background noise. 제6항에 있어서,The method of claim 6, 상기 스팟 모사 이미지와 상기 백그라운드 이미지를 결합하여 전체 마이크로어레이 이미지로 재건하는 것을 특징으로 하는 마이크로어레이 모사 이미지 생성 시스템.And reconstructing the entire microarray image by combining the spot simulation image and the background image. 슬라이드 글라스에 적하한 유전자 용액의 스팟(Spot) 내 유전자 분포에 대한 수학적 모델을 도출하는 제1단계;A first step of deriving a mathematical model of a gene distribution in a spot of a gene solution loaded on a slide glass; 서로 다른 색깔의 형광 염기들에 의해 태깅(tagging)된 실험군과 대조군의 표본에서 추출한 유전자 집합으로 이루어진 마이크로어레이 칩에 대한 원시 이미지(Image)를 포함한 각종 이미지 정보를 저장하는 제2단계;A second step of storing various image information including a raw image (Image) for a microarray chip consisting of a set of genes extracted from a sample of a test group and a control group tagged with fluorescent bases of different colors; 상기 원시 이미지를 테스트용 이미지로 변환하고, 상기 테스트용 이미지로부터 오버랩(Overlap) 이미지를 구성한 후 각 이미지들을 상기 이미지 저장모듈에 저장하는 제3단계;Converting the original image into a test image, constructing an overlap image from the test image, and storing each image in the image storage module; 상기 테스트용 이미지에서 각 스팟(Spot)에 해당하는 유전자의 발현 정도를측정하기 위해 스팟을 세그먼트 형태로 분리하고, 각 세그먼트로부터 스팟 영역을 탐지하여 스팟 에지를 검출하는 제4단계;A fourth step of separating spots into segments in order to measure the expression level of a gene corresponding to each spot in the test image, and detecting spot edges by detecting spot regions from each segment; 상기 검출된 스팟 에지 템플릿을 수학적 모델에 적용하여 스팟 템플릿을 생성하는 제5단계;Generating a spot template by applying the detected spot edge template to a mathematical model; 상기 실험군 및 대조군 mRNA의 잡종화(Hybridization) 후의 스팟의 형광 강도를 나타내는 랜덤 특성값을 생성하는 제6단계;Generating a random characteristic value representing the fluorescence intensity of the spot after hybridization of the experimental group and the control mRNA; 상기 스팟 템플릿에 상기 랜덤 특성값을 적용하여 스팟 모사 이미지를 생성하는 제7단계; 및A seventh step of generating a spot simulation image by applying the random characteristic value to the spot template; And 상기 스팟 모사 이미지를 전체 마이크로어레이 이미지로 재건하는 제8단계Eighth step of reconstructing the spot simulation image into a full microarray image 를 포함하는 마이크로어레이 모사 이미지 생성 방법.Microarray simulation image generation method comprising a. 제8항에 있어서,The method of claim 8, 상기 제5단계는,The fifth step, 상기 스팟의 에지상의 점과 스팟의 중심을 구하여 스팟 내 픽셀의 새로운 좌표를 설정하는 단계; 및Setting a new coordinate of a pixel in the spot by finding the center of the spot and the point on the edge of the spot; And 상기 스팟 내 픽셀의 좌표를 수학적 모델에 적용하여 스팟 템플릿을 생성하는 단계Generating a spot template by applying a coordinate of a pixel in the spot to a mathematical model 를 포함하는 마이크로어레이 모사 이미지 생성 방법.Microarray simulation image generation method comprising a. 제8항에 있어서,The method of claim 8, 상기 제6단계는,The sixth step, 실험군 또는 대조군의 총 mRNA량을 구하는 단계;Obtaining a total mRNA amount of an experimental group or a control group; 발현된 유전자의 총 mRNA량 중 n번째 유전자가 차지하는 비율을 구하는 단계;Obtaining a ratio occupied by the n th gene in the total mRNA amount of the expressed gene; n번째 스팟에 해당하는 표적 유전자량을 구하는 단계;obtaining a target gene amount corresponding to the nth spot; 상기 총 mRNA량과 n번째 유전자가 차지하는 비율로부터 n번째 스팟에 잡종화될 수 있는 탐침의 양을 구하는 단계; 및Obtaining an amount of the probe capable of hybridizing to the nth spot from the total mRNA amount and the ratio of the nth gene; And 상기 탐침의 양과 표적 DNA량으로부터 잡종화 후 n번째 스팟의 형광 강도를 구하는 단계Obtaining fluorescence intensity of n-th spot after hybridization from the amount of probe and the amount of target DNA 를 포함하는 마이크로어레이 모사 이미지 생성 방법.Microarray simulation image generation method comprising a. 제8항에 있어서,The method of claim 8, 상기 제8단계는,The eighth step, 스팟 모사 이미지에 위치정보를 결합하여 스팟 어레이 이미지를 생성하는 단계; 및Generating a spot array image by combining location information with a spot simulation image; And 상기 스팟 어레이 이미지에 백그라운드 이미지를 결합하여 마이크로어레이 모사 이미지를 형성하는 단계Combining a background image with the spot array image to form a microarray simulation image 를 포함하는 마이크로어레이 모사 이미지 생성 방법.Microarray simulation image generation method comprising a.
KR10-2002-0050552A 2002-05-13 2002-08-26 Microarray copy image creation system and method thereof KR100437253B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020026219 2002-05-13
KR1020020026219 2002-05-13

Publications (2)

Publication Number Publication Date
KR20030088837A true KR20030088837A (en) 2003-11-20
KR100437253B1 KR100437253B1 (en) 2004-06-23

Family

ID=32382569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0050552A KR100437253B1 (en) 2002-05-13 2002-08-26 Microarray copy image creation system and method thereof

Country Status (1)

Country Link
KR (1) KR100437253B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220110589A (en) 2019-12-17 2022-08-08 어플라이드 머티어리얼스, 인코포레이티드 Systems and Methods for Acquisition and Processing of Multiple Fluorescence In Situ Hybridization Images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6245517B1 (en) * 1998-09-29 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Ratio-based decisions and the quantitative analysis of cDNA micro-array images
KR100463336B1 (en) * 2001-10-11 2004-12-23 (주)가이아진 System for image analysis of biochip and method thereof
KR20030037315A (en) * 2001-11-01 2003-05-14 (주)다이아칩 Method for analyzing image of biochip
KR100435833B1 (en) * 2001-11-29 2004-06-10 (주)가이아진 System for image analysis of biochip and method thereof

Also Published As

Publication number Publication date
KR100437253B1 (en) 2004-06-23

Similar Documents

Publication Publication Date Title
US11262307B2 (en) System and method with reflective fiducials for locating or registering locations receiving biological samples in successive cycles of fluorescent imaging
US11308640B2 (en) Image analysis useful for patterned objects
US6980677B2 (en) Method, system, and computer code for finding spots defined in biological microarrays
WO2021067514A1 (en) Systems and methods for identifying morphological patterns in tissue samples
US20030182066A1 (en) Method and processing gene expression data, and processing programs
US11896944B2 (en) System and method with fiducials responding to multiple excitation frequencies
Qin et al. Spot detection and image segmentation in DNA microarray data
Sauer et al. Quick and simple: quality control of microarray data
US11427868B2 (en) System and method with fiducials of non-closed shapes
KR100437253B1 (en) Microarray copy image creation system and method thereof
US11835460B2 (en) System and method with fiducials having offset layouts
EP3577440B1 (en) System and method with fiducials in non-rectilinear layouts
KR100463336B1 (en) System for image analysis of biochip and method thereof
US7085404B2 (en) Image analysis system and method of biochip
KR100435833B1 (en) System for image analysis of biochip and method thereof
US11361411B2 (en) Neighbor influence compensation
Maziarz Spotting error in cDNA microarray data
Ramakrishnan et al. DNA microarray data classification via Haralick’s parameters
KR20050048727A (en) System and method for bochip image analysis
DATA A thesis submitted in conformity with the requirements for the degree of Master of Science Graduate Department of Computer Science
ANTONIOS Optimization of cDNA microarray image analysis methods
Khojasteh Lakelayeh Quality filtering and normalization for microarray-based CGH data
Bajcsy DNA Microarray Image Analysis
KR20050048729A (en) System and method for bochip image quality analysis
CA2268695A1 (en) Apparatus and method for analyzing information in arrays of information sites

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080307

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee