KR102075454B1 - Web-based system and method for providing 3d brain neural circuit image - Google Patents
Web-based system and method for providing 3d brain neural circuit image Download PDFInfo
- Publication number
- KR102075454B1 KR102075454B1 KR1020180007393A KR20180007393A KR102075454B1 KR 102075454 B1 KR102075454 B1 KR 102075454B1 KR 1020180007393 A KR1020180007393 A KR 1020180007393A KR 20180007393 A KR20180007393 A KR 20180007393A KR 102075454 B1 KR102075454 B1 KR 102075454B1
- Authority
- KR
- South Korea
- Prior art keywords
- images
- brain
- image
- color
- information
- Prior art date
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 121
- 230000001537 neural effect Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000009877 rendering Methods 0.000 claims abstract description 26
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 claims description 8
- 102000013455 Amyloid beta-Peptides Human genes 0.000 claims description 5
- 108010090849 Amyloid beta-Peptides Proteins 0.000 claims description 5
- 101800001718 Amyloid-beta protein Proteins 0.000 claims description 5
- 108090000623 proteins and genes Proteins 0.000 claims description 5
- 102000004169 proteins and genes Human genes 0.000 claims description 5
- 101000609762 Gallus gallus Ovalbumin Proteins 0.000 claims description 4
- 238000013518 transcription Methods 0.000 claims description 4
- 230000035897 transcription Effects 0.000 claims description 4
- 238000011144 upstream manufacturing Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 abstract description 2
- 210000002569 neuron Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 208000024827 Alzheimer disease Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 230000002490 cerebral effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 210000005155 neural progenitor cell Anatomy 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 101150059254 Cux1 gene Proteins 0.000 description 1
- 101150051240 DLX2 gene Proteins 0.000 description 1
- 102000004648 Distal-less homeobox proteins Human genes 0.000 description 1
- 101150070666 Dlx1 gene Proteins 0.000 description 1
- 108700024394 Exon Proteins 0.000 description 1
- 101710087964 Forkhead box protein G1 Proteins 0.000 description 1
- 101100445103 Mus musculus Emx2 gene Proteins 0.000 description 1
- 101150111110 NKX2-1 gene Proteins 0.000 description 1
- 102000008730 Nestin Human genes 0.000 description 1
- 108010088225 Nestin Proteins 0.000 description 1
- 102000007354 PAX6 Transcription Factor Human genes 0.000 description 1
- 101150081664 PAX6 gene Proteins 0.000 description 1
- 102100026459 POU domain, class 3, transcription factor 2 Human genes 0.000 description 1
- 108091008730 RAR-related orphan receptors β Proteins 0.000 description 1
- 101100247004 Rattus norvegicus Qsox1 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 210000005055 nestin Anatomy 0.000 description 1
- 238000007481 next generation sequencing Methods 0.000 description 1
- 101150027852 pou3f2 gene Proteins 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G06T3/0056—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 발명의 실시예는 웹페이지를 통해 웹 기반으로 삼차원(3D) 뇌 신경회로 이미지를 제공하는 시스템으로서, 사용자로부터 복수의 이차원(2D) 브레인 이미지들을 입력받고 입력된 이미지들의 타입에 따라 전 처리를 수행하는 전 처리 모듈, 전 처리된 이미지들을 3D 이미지로 렌더링하는 렌더링 모듈, 렌더링된 최종 3D 이미지를 저장하는 데이터베이스, 저장된 3D 이미지를 영역별로 검색할 수 있게 하는 브레인 영역별 검색 모듈을 포함하고, 상기 전 처리 모듈은, 입력된 2D 브레인 이미지들이 제 1 타입의 파일인 경우, 브레인 이미지들 사이의 오버랩 영역 정보를 수신하고, 수신된 오버랩 영역 정보에 기초하여 복수의 2D 브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 동작을 수행하고, 입력된 2D 브레인 이미지들이 제 2 타입의 파일인 경우, 사용자로부터 이미지들 사이의 오버랩 영역 정보, 브레인 이미지들에서 주요관찰 대상으로 지정되는 색에 대한 정보 및 지정된 색에 의해 나타나는 발현정보에 대한 기준 값을 수신하고, 지정된 색으로 표시된 영역들의 색의 강도를 분석하여, 상기 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 2D 브레인 이미지들을 다운사이징하고, 상기 수신된 오버랩 영역 정보에 기초하여 다운사이징된 브레인 이미지들을 시프팅시키고 스티칭시키는 동작을 수행하도록 구성되는 것을 특징으로 한다.An embodiment of the present invention is a system for providing a three-dimensional (3D) brain neural circuit image on a web basis through a web page, and receives a plurality of two-dimensional (2D) brain images from a user and performs preprocessing according to the type of the input images. A pre-processing module to perform, a rendering module to render the pre-processed images as a 3D image, a database to store the final rendered 3D image, and a brain-area search module to search the stored 3D image by region, wherein If the input 2D brain images are files of a first type, the preprocessing module receives overlap region information between the brain images, shifts and stitches the plurality of 2D brain images based on the received overlap region information. stitching), and if the input 2D brain images are files of a second type, use Receives overlap region information between images, information on color designated as the main object of observation in brain images, and reference values for expression information represented by the designated color, and analyzes the intensity of colors of the regions indicated by the designated color. Thus, downsizing each 2D brain images such that only an area equal to or greater than the intensity of color corresponding to the reference value of the expression information remains and the capacity of the image file is minimum, and downsizes the brain based on the received overlap area information. And perform the operation of shifting and stitching the images.
Description
본 발명의 실시예들은 웹-기반 삼차원 뇌 신경회로 이미지를 제공하는 시스템 및 방법에 관한 것이다. Embodiments of the present invention relate to systems and methods for providing web-based three-dimensional brain neural circuit images.
생물학 연구 분야에 있어서 차세대 시퀀싱 기술의 발전으로 다양한 영상 및 이미지 데이터, 활성 데이터, 분자(후성유전체, 전사체, 단백질체 등) 데이터가 생성되고 있으며, 이들 데이터들은 고해상도가 요구되는 등의 특성으로 인해 대용량 데이터라는 특징을 갖는다.The development of next-generation sequencing technology in the field of biological research is generating a variety of image and image data, active data, and molecular data (e.g. epigenetics, transcripts, protein bodies, etc.). It is called data.
기존 시스템 장치에서는 제한된 특정 이미지 데이터의 활성 및 분자 등 영역별 세그먼테이션 데이터 확보 및 추출이 어려웠고, 특정 시스템은 특정 타입의 이미지 데이터만 입력 받아 처리하도록 설계되어 있어, 여러 타입의 이미지 데이터를 입력 받기에는 제한이 있었다. In the existing system device, it is difficult to acquire and extract segmentation data for each area such as limited activity and specific molecular data, and the specific system is designed to receive and process only certain types of image data. There was this.
또한, 볼륨 렌더링을 위해 2D 이미지 데이터들을 3D 데이터화하기 위해서는 시프팅과 스티칭 처리 과정이 필요하다. 이러한 처리 기능들은 특정 프로그램에 의존하는 시스템적 제한 요소가 있으며, 대규모 데이터 같은 경우 렌더링 처리 시 슈퍼컴퓨터를 사용해야만 하는 한계가 존재한다.In addition, shifting and stitching processes are required to convert the 2D image data into 3D data for volume rendering. These processing functions have a system limitation that depends on a specific program, and in the case of large data, there is a limitation that a supercomputer must be used for rendering processing.
이에 따라, 2D 이미지 데이터들을 3D 데이터화하기 위한 장비 및 프로그램을 용이하게 이용할 수 없는 해당 분야의 연구자들은 연구를 위해 필요한 3D 이미지를 쉽게 생성하여 활용할 수 없는 문제를 경험하고 있고, 이는 뇌(Brain) 연구의 발달을 저해시키는 요인이 되고 있다.Accordingly, researchers in the field who cannot easily use equipment and programs for converting 2D image data into 3D data are experiencing a problem in that they cannot easily generate and utilize 3D images necessary for research. It becomes the factor which hinders development.
한편, 종래 기술에서는 이하의 특허와 같이 2D 이미지로부터 3D 이미지를 제공하는 시스템에 대한 기술은 공개되어 있으나, 브레인 이미지와 같이 고해상도가 요구되어 대용량을 갖는 생체 정보에 대한 이미지들을 처리하는데 최적화된 방법은 개시하고 있지 못하며, 공개된 기술만으로는 이미지 처리 속도가 느리고 작업 정확성이 낮아 생물학 연구 분야에서는 실질적으로 적용할 수 없는 문제점이 있다.Meanwhile, in the related art, a technique for providing a 3D image from a 2D image is disclosed as in the following patent, but a method optimized for processing images for biometric information having a large capacity because a high resolution is required, such as a brain image, There is a problem that cannot be practically applied in the field of biological research due to the slow image processing speed and the low working accuracy with the disclosed technology alone.
등록특허: 제10-1630257호Registered Patent: No. 10-1630257
본 발명은 상기한 문제점을 해결하기 위해 창안된 것으로, 본 발명에서 도달하고자 하는 목적은, 이미지 데이터를 획득한 연구자가 이미지 데이터의 타입에 관계 없이 웹페이지와 같은 온라인 플랫폼을 통해 웹 기반으로 2D 이미지 데이터를 3D 데이터화할 수 있는 솔루션을 제공하는 것이다. The present invention was devised to solve the above problems, and an object of the present invention is to obtain a 2D image based on a web through an online platform such as a web page, regardless of the type of the image data. It is to provide a solution to 3D data.
또한, 본 발명을 통해 연구자는 장비 및 프로그램으로의 접근이 제한되는 경우에도 온라인 플랫폼을 통해 웹 기반으로 2D 이미지 데이터를 3D 데이터화할 수 있게 되며, 본 발명의 시스템은 최소한의 리소스를 사용해서 연구자가 필요로 하는 정보가 누락되지 않는 상태의 이미지 정보를 제공한다. In addition, the present invention enables the researcher to 3D data 2D image data on a web basis through the online platform even when access to equipment and programs is restricted. It provides image information in a state where necessary information is not missing.
본 발명의 3D 브레인 이미지 제공 시스템 및 방법을 통해 브레인 회로망의 이미징 데이터, 구조 데이터, 분자 데이터의 저장, 추출 및 분석 기술과 가시화 기술을 제공할 수 있고, 브레인 회로망 분야의 3차원의 분석 기술을 만들 수 있다.Through the 3D brain image providing system and method of the present invention, it is possible to provide the imaging, structural data, molecular data storage, extraction and analysis technology and visualization technology of brain network, and to create 3D analysis technology in the field of brain network. Can be.
또한, 본 발명의 시스템에 의해 획득되는 브레인 정보 빅데이터 DB 활용을 통해 인문, 사회, 산업, 공학, 의료 등 전 산업 분야의 학술연구, R&D 사업 등에서 브레인 회로망을 활용한 연구를 더욱 활발하게 만드는 효과를 기대할 수 있다.In addition, through the use of the brain information big data DB obtained by the system of the present invention, the effect of making the research using the brain network more active in academic research and R & D projects in all industries such as humanities, society, industry, engineering, and healthcare You can expect.
아울러, 본 발명을 통해 바이오 정보 분석 관련 소프트웨어, 분석 서비스, DB를 포함한 바이오 정보 분석 시장을 확대시킬 뿐만 아니라 본 발명의 산출물인 고성능의 브레인 회로망 이미징 데이터 분석 및 가시화 플랫폼을 기반으로 바이오 정보 분석, 분자 진단, 의료 영상 소프트웨어 솔루션 등 고부가가치 산업의 활성화와 신산업 창출을 기대할 수 있다.In addition, the present invention not only expands the bioinformatics market including bioinformatics related software, analysis services, and DB, but also based on high performance brain network imaging data analysis and visualization platform. We can expect high value-added industries, such as diagnostics and medical imaging software solutions, and creation of new industries.
상기 목적들을 달성하기 위한 본 발명의 일 실시예는, 온라인 플랫폼을 통해 웹-기반으로 삼차원(3D) 뇌 신경회로 이미지를 제공하는 시스템으로서, 사용자로부터 복수의 이차원(2D) 브레인 이미지들을 입력받고 입력된 이미지들의 타입에 따라 전 처리를 수행하는 전 처리 모듈; 전 처리된 이미지들을 3D 이미지로 렌더링하는 렌더링 모듈; 렌더링된 최종 3D 이미지를 저장하는 데이터베이스; 저장된 3D 이미지를 영역별로 검색할 수 있게 하는 브레인 영역별 검색 모듈을 포함하고, 상기 전 처리 모듈은, 입력된 2D 브레인 이미지들이 제 1 타입의 파일인 경우, 브레인 이미지들 사이의 오버랩 영역 정보를 수신하고, 수신된 오버랩 영역 정보에 기초하여 복수의 2D 브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 동작을 수행하고, 입력된 2D 브레인 이미지들이 제 2 타입의 파일인 경우, 사용자로부터 이미지들 사이의 오버랩 영역 정보, 브레인 이미지들에서 주요관찰 대상으로 지정되는 색에 대한 정보 및 지정된 색에 의해 나타나는 발현정보에 대한 기준 값을 수신하고, 지정된 색으로 표시된 영역들의 색의 강도를 분석하여, 상기 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 2D 브레인 이미지들을 다운사이징하고, 상기 수신된 오버랩 영역 정보에 기초하여 다운사이징된 브레인 이미지들을 시프팅시키고 스티칭시키는 동작을 수행하도록 구성되는 것을 특징으로 한다.One embodiment of the present invention for achieving the above object is a system for providing a three-dimensional (3D) brain neural circuit image on a web-based through an online platform, the input and receive a plurality of two-dimensional (2D) brain images from a user A preprocessing module to perform a preprocessing according to the type of the captured images; A rendering module that renders the preprocessed images into 3D images; A database for storing the final rendered 3D image; And a brain region search module for searching a stored 3D image by region, wherein the preprocessing module receives overlap region information between brain images when the input 2D brain images are a first type of file. Perform an operation of shifting and stitching a plurality of 2D brain images based on the received overlap area information, and if the input 2D brain images are files of a second type, overlap between images from a user Receive the reference value of the area information, the information on the color designated as the main observation object in the brain images and the expression information represented by the designated color, and analyze the intensity of the color of the areas indicated by the designated color, Keep only the area above the intensity of the color corresponding to the reference value, and keep the image file to a minimum. Of downsizing the brain 2D image, and being configured to shift the downsizing of brain images based on the received overlap area information and performs the operation of stitching.
보다 구체적으로, 상기 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 2D 브레인 이미지들을 다운사이징하는 것은, 지정된 색으로 표시된 영역들의 색의 강도를 분석하여 각 영역이 가진 색의 강도 순서대로 영역들을 리스팅하고 상기 발현정보의 기준 값에 대응하는 강도 이상인 색의 강도를 가지는 최초의 영역을 하나의 픽셀로 표현하도록 이미지의 해상도를 조절하는 동작을 포함할 수 있다.More specifically, downsizing each of the 2D brain images such that only an area greater than or equal to the intensity of the color corresponding to the reference value of the expression information remains and the capacity of the image file is minimal, the intensity of the color of the regions represented by the designated color is determined. Analyzing and listing the regions in the order of the intensity of the colors of each region, and adjusting the resolution of the image to represent the first region having the intensity of color that is greater than or equal to the reference value of the expression information as one pixel. can do.
또한, 상기 지정된 색은 그린, 블루, 레드 중 하나이고, 그린은 Ctip2(chicken ovalbumin upstream promoter transcription factor-interacting protein 2)의 발현정보를 나타내고, 블루는 Dapi(4',6-diamidino-2-phenylindole)의 발현정보를 나타내고, 레드는 A-beta(Amyloid beta)의 발현정보를 나타낼 수 있다.In addition, the designated color is one of green, blue, and red, and green represents expression information of Ctip2 (chicken ovalbumin upstream promoter transcription factor-interacting protein 2), and blue represents Dapi (4 ', 6-diamidino-2-phenylindole). ) May represent expression information, and red may represent expression information of A-beta (Amyloid beta).
한편, 브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 동작은 스티칭되는 2개의 이미지 파일에 대해 아래 식 1) 값을 통해 이미지들을 시프팅시킬 정도를 계산하여 시프팅시키고, 시프팅된 이미지들을 스티칭할 수 있다.Meanwhile, the operation of shifting and stitching the brain images is performed by calculating the amount of shifting the images by shifting the image through the following Equation 1) value for the two image files to be stitched, and stitching the shifted images. Can be.
식 1) Equation 1)
여기서, FI1(u, v), FI2(u, v)는 서로 시프팅되는 2개의 이미지 I1(x, y), I2(x, y)를 푸리에 변환 결과이다.Here, FI 1 (u, v) and FI 2 (u, v) are Fourier transform results of two images I 1 (x, y) and I 2 (x, y) shifted from each other.
또한, 상기 전 처리 모듈은, 브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 동작 이후에, 이미지들의 겹쳐진 영역에 대해 아래 식2)를 통해 상관계수 r값을 계산하고, r 값이 0.8 미만인 경우는 스티칭이 불가능하다는 메세지를 생성할 수 있다. 상관계수 값은 하기의 식 이외에도 통상적으로 알려진 방식들을 통해 계산될 수도 있다.In addition, the preprocessing module calculates a correlation coefficient r through Equation 2) below for the overlapping areas of the images after the shifting and stitching of the brain images, and when the r value is less than 0.8, Can generate a message that stitching is not possible. The correlation coefficient value may be calculated through conventionally known methods in addition to the following equation.
식 2)Equation 2)
또 다른 실시예에 있어서, 본 발명은 웹페이지와 같은 온라인 플랫폼을 통해 웹 기반으로 삼차원(3D) 뇌 신경회로 이미지를 제공하는 방법으로서, 사용자로부터 복수의 이차원(2D) 브레인 이미지들을 입력받고 입력된 이미지들의 타입에 따라 전 처리를 수행하는 전 처리 단계; 전 처리된 이미지들을 3D 이미지로 렌더링하는 렌더링 단계; 및 렌더링된 최종 3D 이미지를 데이터베이스에 저장하는 저장 단계를 포함하고, 상기 전 처리 단계는, 입력된 2D 브레인 이미지들이 제 1 타입의 파일인 경우, 브레인 이미지들 사이의 오버랩 영역 정보를 수신하는 단계; 및 수신된 오버랩 영역 정보에 기초하여 복수의 2D 브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 단계를 포함하고, 입력된 2D 브레인 이미지들이 제 2 타입의 파일인 경우, 사용자로부터 이미지들 사이의 오버랩 영역 정보, 브레인 이미지들에서 주요관찰 대상으로 지정되는 색에 대한 정보 및 지정된 색에 의해 나타나는 발현정보에 대한 기준 값을 수신하는 단계; 지정된 색으로 표시된 영역들의 색의 강도를 분석하여, 상기 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 2D 브레인 이미지들을 다운사이징하는 단계; 및 상기 수신된 오버랩 영역 정보에 기초하여 다운사이징된 브레인 이미지들을 시프팅시키고 스티칭시키는 단계를 포함할 수 있다.In another embodiment, the present invention provides a three-dimensional (3D) brain neural circuit image on the web through an online platform, such as a web page, a plurality of two-dimensional (2D) brain images received from the user A preprocessing step of performing preprocessing according to the types of images; A rendering step of rendering the preprocessed images as a 3D image; And a storing step of storing the rendered final 3D image in a database, wherein the preprocessing step comprises: receiving overlap area information between the brain images if the input 2D brain images are a file of a first type; And shifting and stitching the plurality of 2D brain images based on the received overlap region information, and if the input 2D brain images are a second type of file, overlap regions between the images from the user Receiving reference information on information, information on a color designated as a main object of observation in brain images, and expression information represented by the designated color; Analyzing the intensity of the color of the areas indicated by the designated color, downsizing the respective 2D brain images such that only the area of the color corresponding to the reference value of the expression information is greater than the intensity of the image file remains; And shifting and stitching downsized brain images based on the received overlap area information.
도 1은 본 발명의 일 실시예에 따른 온라인 플랫폼을 통해 웹 기반으로 3D 브레인 이미지를 제공하는 시스템을 도시한다.
도 2는 본 발명의 일 실시예에 따른 3D 브레인 이미지 제공 시스템에 입력되는 이미지들의 예시이다.
도 3은 본 발명의 일 실시예에 따른 전 처리 모듈 및 전 처리 모듈과 통신하는 수신 모듈들을 도시한다.
도 4는 본 발명의 일 실시예에 따른 온라인 플랫폼을 통해 웹 기반으로 3D 브레인 이미지를 제공하는 방법을 도시한다.
도 5는 도 3의 전 처리 모듈을 통해 도 2의 이미지들이 결합된 결과를 도시한다.1 illustrates a system for providing a 3D brain image on a web basis through an online platform according to an embodiment of the present invention.
2 is an example of images input to the 3D brain image providing system according to an embodiment of the present invention.
3 illustrates a preprocessing module and receiving modules in communication with the preprocessing module according to an embodiment of the invention.
4 illustrates a method of providing a 3D brain image on a web basis through an online platform according to an embodiment of the present invention.
5 shows the result of combining the images of FIG. 2 through the preprocessing module of FIG.
다음의 설명에서, 설명을 위한 목적으로, 하나 이상의 양상들에 대한 충분한 이해를 제공하기 위해 여러가지 특정한 세부사항들이 제시된다. 그러나, 이러한 양상들이 이하에서 예시적으로 제시되는 특정한 세부사항들 없이도 실시될 수 있다는 것은 명백할 수 있다.In the following description, for purposes of explanation, numerous specific details are set forth in order to provide a thorough understanding of one or more aspects. It may be evident, however, that such aspects may be practiced without the specific details set forth below by way of example.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다. On the other hand, each component expressed below is only an example for implementing the present invention. Thus, other implementations may be used in other implementations of the invention without departing from the spirit and scope of the invention.
또한, 어떤 구성요소들을 '포함'한다는 표현은, 개방형의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression "comprising" certain components merely refers to the presence of the components as an open expression, and should not be understood as excluding additional components.
본 개시에서 사용되는 용어들 "컴포넌트", "모듈" 및 "시스템" 등은 하드웨어, 펌웨어, 하드웨어 및 소프트웨어의 결합, 소프트웨어 또는 실행 소프트웨어와 같은, 그러나 이에 한정되지는 않는, 컴퓨터-관련 엔티티들을 포함하도록 의도된다. 예를 들어, 컴포넌트는 프로세서 상에 실행되는 프로세스, 프로세서, 오브젝트, 실행가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있으나, 이에 한정되지는 않는다. 설명을 위해, 컴퓨팅 디바이스 상에서 실행되는 애플리케이션 및 컴퓨팅 디바이스 모두는 컴포넌트일 수 있다. 하나 이상의 컴포넌트들은 프로세스 및/또는 실행 스레드 내에 존재할 수 있으며, 컴포넌트는 하나의 컴퓨터 상에 로컬화되거나(localized) 둘 이상의 컴퓨터들 사이에 분산될 수 있다. 또한, 이러한 컴포넌트들은 저장된 다양한 데이터 구조들을 가지는 다양한 컴퓨터 판독가능 매체로부터 실행될 수 있다. 상기 컴포넌트들은 하나 이상의 데이터 패킷들을 가지는 신호에 따른 로컬 및/또는 원격 프로세스들에 의해 로컬 시스템에서, 분산 시스템에서 또는 상기 신호에 의한 다른 시스템들과의 인터넷과 같은 네트워크를 통해 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터를 통신할 수 있다.The terms "component", "module", "system", etc., as used in the present disclosure, include computer-related entities, such as, but not limited to, hardware, firmware, a combination of hardware and software, software or executable software, and the like. Intended to. For example, a component may be, but is not limited to being, a process running on a processor, a processor, an object, an executable, a thread of execution, a program, and / or a computer. For purposes of illustration, both an application running on a computing device and the computing device can be a component. One or more components can reside within a process and / or thread of execution and a component can be localized on one computer or distributed between two or more computers. In addition, these components can execute from various computer readable media having various data structures stored thereon. The components interact with other components in a local system, in a distributed system or via a network such as the Internet with other systems by the signal by local and / or remote processes in accordance with a signal having one or more data packets. It can communicate data from one component.
또한, 본 교시들이 다양한 실시예들과 관련하여 기술되지만, 본 교시들이 그러한 실시예들로 한정되도록 의도되지 않는다. 오히려, 본 기술분야의 통상의 기술자들에 의해 이해되는 바와 같이, 본 교시들은 다양한 대안들, 수정들, 및 동등물들을 포함한다.In addition, while the present teachings are described in connection with various embodiments, the present teachings are not intended to be limited to such embodiments. Rather, as understood by those skilled in the art, the present teachings include various alternatives, modifications, and equivalents.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대하여 설명한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention.
도 1은 본 발명의 일 실시예에 따른 온라인 플랫폼을 통해 웹 기반으로 3D 브레인 이미지를 제공하는 시스템을 도시한다.1 illustrates a system for providing a 3D brain image on a web basis through an online platform according to an embodiment of the present invention.
3D 브레인 이미지 제공 시스템은 연구자가 사용할 수 있는 사용자 단말(100), 연구자가 입력한 2D 이미지들을 처리하여 3D 이미지로 제공하는 브레인 3D 렌더링 서버(200)를 포함한다. 도 1에 도시된 바와 같이 사용자 단말(100)과 브레인 3D 렌더링 서버(200)는 로컬 네트워크(500) 또는 인터넷(700)을 통해 연결될 수 있다.The 3D brain image providing system includes a
브레인 3D 렌더링 서버(200)는 입력된 이미지가 렌더링되기 전에 사전 처리를 수행하는 전 처리 모듈(220), 전 처리 모듈(200)을 위한 리소스 할당을 수행하는 런쳐 모듈(230), 전 처리를 거친 2D 이미지들을 3D로 렌더링하는 렌더링 모듈(240), 3D 렌더링된 이미지를 저장하는 데이터베이스(250)를 포함할 수 있다.The brain
또한, 브레인 3D 렌더링 서버(200)는 저장된 3D 브레인 이미지를 영역별로 검색할 수 있게 하는 브레인 영역별 검색 모듈(260)과 브레인 영역별 검색을 위해 필요한 리소스를 할당하는 3D 데이터 재조합 에디터(270)를 포함할 수 있다.In addition, the brain
연구자는 Confocal 현미경 또는 LaVision 현미경 등으로 획득한 브레인 이미지들을 가지고 있다는 것을 전제로 하며, 이러한 이미지들은 복수의 2D 이미지들이고 렌더링을 통해 3D 데이터화되는 것을 필요로 한다.The researchers assume that they have brain images acquired with a Confocal microscope or LaVision microscope, which are multiple 2D images and require 3D data to be rendered through rendering.
본 발명의 일 실시예에 따른 3D 브레인 이미지 제공 시스템을 통해 연구자는 획득한 2D 브레인 이미지들을 단말을 사용하여 웹사이트를 통해 브레인 3D 렌더링 서버로 전달하고 서버로부터 필요한 3D 브레인 이미지를 제공받을 수 있게 된다. Through the 3D brain image providing system according to an embodiment of the present invention, the researcher can transfer the acquired 2D brain images to the brain 3D rendering server through a website using a terminal and receive the necessary 3D brain images from the server. .
도 2는 본 발명의 일 실시예에 따른 3D 뇌 신경회로 이미지 제공 시스템에 입력되는 이미지들의 예시이다.2 is an example of images input to the 3D brain neural circuit image providing system according to an embodiment of the present invention.
도 2의 (a), (b), (c), (d) 이미지들은 마우스 브레인(mouse brain)의 특정 단면에서의 일부를 나타내는 이미지들로서, (a)는 마우스 브레인의 좌상측 이미지로 (0, 1)의 좌표가 부여되어질 수 있고, (b)는 마우스 브레인의 우상측 이미지로 (1, 1)의 좌표가 부여되어질 수 있고, (c)는 마우스 브레인의 좌하측 이미지로 (0, 0)의 좌표가 부여되어질 수 있고, (d)는 마우스 브레인의 우하측 이미지로 (1, 0)의 좌표가 부여되어질 수 있다. 각각의 이미지에 부여되는 좌표들은 임의적인 것으로 각각의 이미지가 전체 이미지에서 차지하는 위치를 알 수 있게 해준다. (A), (b), (c), and (d) of FIG. 2 are images representing a part of a specific cross section of the mouse brain, and (a) is an upper left image of the mouse brain. , 1) can be given, (b) can be given the right upper image of the mouse brain (1, 1), and (c) is the lower left image of the mouse brain (0, 0 Can be given, and (d) can be given a coordinate of (1, 0) as the lower right image of the mouse brain. The coordinates given to each image are arbitrary and allow us to know where each image occupies in the whole image.
Confocal 현미경 또는 LaVision 현미경 등은 고해상도의 파일로 용량이 매우 큰 이미지 파일들을 산출하고, 관찰의 대상이 되는 브레인의 전체 영역을 한 장으로 포착하는 것이 곤란하다는 제한 조건이 존재한다. 따라서, 현미경으로부터 획득되는 이미지 각각은 전체 영역의 일부를 나타내는 이미지이다.Confocal microscope, LaVision microscope, etc. have a limitation condition that it is difficult to produce very large image files with high resolution files and to capture the whole area of the brain to be observed in one sheet. Thus, each image obtained from the microscope is an image representing a portion of the entire area.
상술된 바와 같은 제한 조건으로 인해 연구자는 마우스 브레인의 전체 이미지를 표현하는 하나의 이미지 파일이 아니라 도 2와 같이 조각난 복수의 이미지들을 가지고 브레인 3D 렌더링 서버에 제출하게 된다.Due to the constraints described above, the researcher submits to the brain 3D rendering server a plurality of fragmented images as shown in FIG. 2 instead of a single image file representing the entire image of the mouse brain.
한편, 각각의 이미지들은 이후에 다시 결합되어야 하므로, 연구자들은 이미지들이 서로 오버랩되는 영역이 있도록 촬영을 수행한다. 각각의 이미지에서 다른 이미지의 일부와 오버랩되는 부분은 이미지들이 정확히 결합되도록 가이드해주는 기능을 수행하게 된다. On the other hand, since each image must be recombined later, the researchers take a picture so that the images overlap with each other. In each image, the overlapping part of the other image serves to guide the images to be combined correctly.
예를 들어, 연구자들은 도 2의 (a) 이미지와 (b) 이미지가 서로 25~30% 오버랩되는 부분이 있을 수 있도록 마우스 브레인의 좌상측과 우상측을 촬영할 수 있다. 바람직하게는 30%이며, 이러한 오버랩 수치는 데이터 손실 및 샘플의 손상으로 인해 잡음 시그널이 생기는 경우에도 필터 및 오버랩의 좀 더 넓은 영역을 확보하여 스티칭시 에러율을 줄이고 정확도를 높일 수 있도록 한다.For example, the researchers may photograph the upper left and upper right sides of the mouse brain so that there may be a portion where the (a) and (b) images overlap with each other by 25 to 30% in FIG. 2. It is preferably 30%, and this overlap value allows a wider area of filter and overlap to be obtained even when a noise signal is generated due to data loss and sample damage, thereby reducing error rate and increasing accuracy when stitching.
연구자는 웹사이트 또는 웹페이지와 같은 온라인 플랫폼을 통해 복수의 2D 이미지들의 파일을 브레인 3D 렌더링 서버(200)로 입력시킨다. 입력된 2D 이미지들은 타입에 따라 적합하게 전 처리되고, 전 처리가 완료된 이미지들은 렌더링 모듈(240)을 통해 3D 이미지 데이터화된다. The researcher inputs a file of a plurality of 2D images to the brain
렌더링이 완료된 3D 이미지 데이터는 데이터베이스(250)에 저장되고, 연구자는 자신이 촬영한 대상에 대해 3D 형식으로 관찰을 수행할 수 있게 된다. 연구자는 웹사이트에서 제공되는 브레인 영역별 검색 툴을 사용하여 자신이 입력한 2D 브레인 이미지들로부터 생성된 3D 브레인 이미지의 원하는 영역을 검색할 수 있게 된다.The rendered 3D image data is stored in the
본 개시에서는 3D 브레인 이미지 제공 시스템에서 수행되는 전반적인 내용을 설명하지만, 특히, 고용량의 이미지를 효과적으로 처리하기 위해 수행되는 전 처리 모듈 및 전 처리 모듈에서 이루어지는 프로세스를 중심으로 본 발명의 특징을 설명한다.Although the present disclosure describes the overall content performed in the 3D brain image providing system, in particular, features of the present invention will be described centering on the process performed in the pre-processing module and the pre-processing module performed to effectively process the high capacity image.
도 3은 본 발명의 일 실시예에 따른 전 처리 모듈 및 전 처리 모듈과 통신하는 수신 모듈들을 도시한다.3 illustrates a preprocessing module and receiving modules in communication with the preprocessing module according to an embodiment of the invention.
전 처리 모듈(220)은 연구자에 의해 입력된 이미지의 타입을 판별하기 위한 이미지 타입 판별 모듈(221), 입력된 이미지가 최소한의 리소스를 사용하여 처리될 수 있도록 이미지 용량을 감소시키는 이미지 다운사이징 모듈(223), 다운사이징된 이미지들이 스티칭을 위해 시프팅되도록 하는 이미지 시프팅 모듈(225), 시프팅된 이미지들을 스티칭시키는 이미지 스티칭 모듈(227), 스티칭된 이미지 결과물의 품질을 검토하는 스티칭 결과 검토 모듈(229)을 포함할 수 있다.The
한편, 도 3에서 도시된 바와 같이 전 처리 모듈(220)로 입력되는 이미지들은 이미지 수신 모듈(217)을 통해 제공될 수 있고, 이미지에 대한 메타 데이터들은 메타 정보 수신 모듈(215)을 통해 전 처리 모듈(220)로 제공될 수 있다.Meanwhile, as illustrated in FIG. 3, images input to the
이미지에 대한 메타 데이터들은 각각의 이미지가 가지는 다른 이미지와 오버랩되는 영역의 퍼센트, 이미지 파일의 타입, 이미지 파일을 생성하는데 사용된 도구, 브레인 이미지에서 연구자가 관심 가지는 발현정보, 누락되지 않아야 하는 이미지 영역에 대한 연구자의 선택 등 이미지에 대한 정보 및 이미지 처리를 위한 다른 기타 정보를 포함할 수 있다.Metadata for an image includes the percentage of area that each image overlaps with the other image, the type of image file, the tool used to create the image file, the expression information of interest to the brain in the brain image, and the image area that should not be missing. Information about the image, such as the researcher's choice for the image, and other information for image processing.
전 처리 모듈(220)에 포함되는 모듈들에서 수행되는 동작들에 대해서는 도 4를 참고로 하여 이하에서 보다 상세하게 설명한다.Operations performed in the modules included in the
도 4는 본 발명의 일 실시예에 따른 온라인 플랫폼을 통해 3D 뇌 신경회로 이미지를 제공하는 방법을 도시한다.4 illustrates a method for providing a 3D brain neural circuit image via an online platform according to one embodiment of the invention.
이하의 방법들은 컴퓨터 또는 서버 내에서 프로세서에 의해 수행되는 것으로 각각의 모듈은 소프트웨어 또는 하드웨어적인 방법으로 구현될 수 있다.The following methods are performed by a processor in a computer or server, and each module can be implemented in a software or hardware method.
전 처리 모듈(220)은 연구자 또는 시스템의 사용자로부터 복수의 이차원(2D) 브레인 이미지들을 입력받고 입력된 이미지들의 타입에 따라 전 처리를 수행한다. The
전 처리 모듈(220)의 이미지 타입 판별 모듈(221)은 입력된 이미지들의 타입을 분석하여, 예를 들어, Confocal 현미경으로부터 생성된 이미지 파일인지, LaVision 현미경으로부터 생성된 이미지 파일인지를 판단한다(300).The image
입력된 이미지들이 Confocal 현미경으로부터 생성된 이미지 파일인 경우(제 1 타입의 파일이라고 지칭될 수 있다), 예를 들어, 파일의 확장자가 nd2일 수 있고, 이를 tiff 로 변환하는 단계가 수행될 수 있다(312). If the input images are image files generated from a Confocal microscope (may be referred to as files of the first type), for example, the extension of the file may be nd2 and a step of converting it to tiff may be performed. (312).
상기 단계 이후, 브레인 이미지들 사이의 오버랩 영역 정보가 수신될 수 있다(314). 오버랩 영역 정보는 사전에 수집된 이미지에 대한 메타 정보에 포함되어 있을 수도 있고, 이미지 타입 판별 이후에 연구자에게 입력을 요청하는 윈도우가 생성되어 연구자로부터 오버랩 영역 정보를 입력받을 수도 있다.After the step, overlap region information between brain images may be received (314). The overlap region information may be included in meta information about previously collected images, or after determining the image type, a window for requesting input from the researcher may be generated to receive overlap region information from the researcher.
예를 들어, 4등분으로 촬영한 마우스 브레인 이미지들을 합치기 위해서 그리드 사이즈가 결정될 수 있고, 그리드 사이즈는 해당 매트릭스 값에 따라 설정될 수 있다. 예를 들어, 도 2와 같은 경우 본 개시에서는 로컬 maxima (2*2*n neighborhood)로 설정되고, 위상상관방식을 통해 2개 이미지의 위상상관 매트릭스 Q값을 계산하여 시프팅 정도를 계산할 수 있다. For example, a grid size may be determined to combine mouse brain images taken in quarters, and the grid size may be set according to a corresponding matrix value. For example, as shown in FIG. 2, in the present disclosure, local maxima (2 * 2 * n neighborhood) is set, and the degree of shifting may be calculated by calculating a phase correlation matrix Q value of two images through a phase correlation method. .
수신된 오버랩 영역 정보에 기초하여 브레인의 일부를 표시하는 각각의 이미지들이 시프팅되어 스티칭될 수 있다(316). 예를 들어, 먼저 2개의 이미지 파일이 정확한 위치로 서로 시프팅되어 결합될 수 있으며, 스티칭되는 2개의 이미지 파일을 푸리에 변환을 통해 주파수 영역으로 표현하고, 이를 기초로 아래의 위상상관방식(Phase Correlation Mehthod)인 수학식 1을 통해 이미지들을 x, y 방향으로 시프팅(shifting)시킬 정도를 계산하여 이미지들을 시프팅시킬 수 있다.Each image representing a portion of the brain may be shifted and stitched based on the received overlap area information (316). For example, two image files may first be shifted to each other in the correct position and combined, and the two image files that are stitched are expressed in a frequency domain through Fourier transform, and based on the phase correlation Mehthod (Equation 1) can be used to shift the images by calculating the degree of shifting the images in the x and y directions.
[수학식 1][Equation 1]
여기서, I1(x, y), I2(x, y)는 서로 스티칭되는 대상인 2개의 이미지들이고, FI1(u, v), FI2(u, v)는 2개의 이미지를 푸리에 변환시킨 결과이다. Here, I 1 (x, y) and I 2 (x, y) are two images that are stitched to each other, and FI 1 (u, v) and FI 2 (u, v) are Fourier transformed two images. The result is.
상기 식에 기초한 시프팅을 통해 서로 스티칭될 2개의 이미지들이 정확한 위치로 시프팅되면 2개의 이미지가 겹쳐지는 영역에 대해서 상관계수를 아래의 수학식 2를 이용해 계산하고 겹쳐진 이미지들이 얼마나 유사한지에 대해 측정할 수 있다. 상관계수 값은 하기의 식 이외에도 통상적으로 알려진 방식들을 통해 계산될 수도 있다.When the two images to be stitched with each other are shifted to the correct position through the shifting based on the above equation, the correlation coefficient is calculated by using Equation 2 below for the overlapping area of the two images and measured how similar the overlapping images are. can do. The correlation coefficient value may be calculated through conventionally known methods in addition to the following equation.
[수학식 2][Equation 2]
상기 식에서 r값은 -1 에서 1 사이이며, 측정된 r 값이 1에 근접할수록 상관관계가 높아지므로, 시프팅 및/또는 스티칭 후에 r값을 계산함으로써, 시프팅 및/또는 스티칭의 정확도를 측정할 수 있다.In the above formula, the r value is between -1 and 1, and as the measured r value approaches 1, the correlation increases, so that the accuracy of the shifting and / or stitching is measured by calculating the r value after shifting and / or stitching. can do.
만약, 이미지들이 3차원이고, 스티칭되는 이미지를 3차원으로 평가하여 상관계수를 구한다면, 아래의 수학식 3 및 4가 사용될 수도 있다.If the images are three-dimensional and the stitched image is evaluated in three dimensions to obtain a correlation coefficient, Equations 3 and 4 below may be used.
[수학식 3][Equation 3]
[수학식 4][Equation 4]
수학식 4에서 A, B는 각각의 이미지를 의미한다.In Equation 4, A and B mean each image.
이미지 결합에 있어서 보다 높은 정확성을 확보할 수 있도록 r 값이 일정 값(바람직하게는 0.8) 미만인 경우에는 스티칭이 불가능하다는 메세지를 생성하여 이미지를 입력한 연구자 또는 사용자에게 전달될 수 있다. In order to ensure higher accuracy in image combining, if the r value is less than a predetermined value (preferably 0.8), a message indicating that stitching is impossible may be generated and transmitted to the researcher or user who inputs the image.
불가 메세지를 수신한 연구자 또는 사용자는 이미지들의 오버랩 영역, 해상도 등을 수정하여 다시 이미지를 촬영하거나 동일한 이미지에 대해서 이미지의 메타 정보만을 수정해서 다시 입력할 수도 있다.The researcher or the user who received the impossible message may retake the image again by modifying the overlapping area, resolution, etc. of the images, or may reenter only the meta information of the image for the same image.
r 값이 일정 값 이상인 경우에는 시프팅/스티칭 동작이 올바르게 수행되었음을 안내하는 메세지가 생성되어 연구자 또는 사용자에게 전달될 수도 있다.If the value of r is greater than or equal to a certain value, a message may be generated to inform the researcher or user that the shifting / stitching operation has been correctly performed.
이러한 r 값의 계산(시프팅 및/또는 스티칭의 정확성 검토) 및 불가/가능 메세지 전달(330)은 도 4에서는 이미지의 올바른 위치로의 시프팅 및 스티칭 이후에 수행되는 것으로 도시되어 있으나, 이미지의 시프팅 이후, 스티칭 동작 이전에 이루어질 수도 있고, 시프팅 및 스티칭 동작이 완료된 이후에 이루어질 수도 있다.This calculation of r value (reviewing the correctness of shifting and / or stitching) and impossible /
전체 단면을 형성하기 위해 올바른 위치로 시프팅된 후 스티칭된 단면들은 깊이 축, 예를 들어, z축으로 정렬되어 3D 렌더링될 수 있도록 준비된다. 즉, 슬라이싱된 2D 이미지들은 x, y 축을 중심으로 단면을 맞추고 z 축으로 rigid transformation으로 이미지들을 정렬처리한다. 여기서 rigid transformation이란 정사각형의 형태는 유지하고 안의 feature 내용만 회전해서 단면 이미지 1과 단면 이미지 2의 특징으로 이미지들을 정합하는 것을 의미한다. 예를 들어, 단면 1의 특징적 feature와 단면 2의 특징적 feature 가 연속되도록 단면 1 및 단면 2를 정렬하는 것이다. 이에 따라, 스티칭된 단면들끼리 단면 1의 feature와 단면 2의 feature가 연속되는지 판단하는 단계, 이러한 판단에 따라 단면 1 및 2 를 정렬하는 단계가 추가될 수 있다. 정렬된 단면들은 3D 렌더링을 통해 3D 이미지화 된다.After being shifted to the correct position to form the entire cross section, the stitched cross sections are ready for 3D rendering aligned to the depth axis, for example the z axis. In other words, the sliced 2D images align the cross section around the x and y axes and align the images with rigid transformation on the z axis. In this case, rigid transformation means maintaining the square shape and rotating only the content of the feature inside to match the images with the characteristics of the cross-sectional image 1 and the cross-sectional image 2. For example, the cross-section 1 and cross-section 2 are aligned such that the cross-sectional feature 1 and the cross-sectional feature 2 are continuous. Accordingly, the step of determining whether the stitched cross-section features of the cross-section 1 and the cross-section 2 is continuous, the step of aligning the cross-sections 1 and 2 according to this determination can be added. Aligned sections are 3D imaged through 3D rendering.
이미지 타입 판별 후 LaVision으로부터의 파일(제2타입의 파일이라고 지칭될 수 있다)인 것으로 판단되는 경우(320)에는, 오버랩 영역 정보를 수신하고(321), 다운사이징 여부에 대한 선택 정보를 수신한다(322). 상술된 바와 같이 오버랩 영역 정보는 이전에 입력된 메타 정보에 저장되어 있을 수도 있고, 오버랩 영역 정보의 수신은 다운사이징 여부가 선택된 이후에 이루어질 수도 있다.If it is determined that the file is a file from LaVision (which may be referred to as a second type of file) after image type determination (320), overlap area information is received (321), and selection information on whether to downsize is received. (322). As described above, the overlap region information may be stored in previously input meta information, and the reception of the overlap region information may be performed after downsizing is selected.
다운사이징을 원하지 않는다고 지시받는 경우에는 다운사이징 수행 없이 수신된 오버랩 영역 정보에 기초하여 이미지들을 시프팅시키고 스티칭시킨다. If it is indicated that no downsizing is desired, the images are shifted and stitched based on the received overlap area information without performing downsizing.
다운사이징 여부에 대한 선택 정보는 선택 요청창을 띄움으로써 연구자 또는 사용자로부터 입력받을 수도 있지만, 입력된 이미지 파일의 용량에 따라 자동으로 선택될 수도 있다. 예를 들어, 상기 방법은 입력된 이미지 파일의 용량이 일정 크기 미만인 경우에는 다운사이징을 수행하지 않고, 일정 크기 이상인 경우에만 다운사이징이 수행되도록 구성될 수 있다.The selection information on whether to downsize may be input from the researcher or the user by opening a selection request window, but may be automatically selected according to the size of the input image file. For example, the method may be configured such that downsizing is performed only when the size of the input image file is less than a predetermined size, but not when the size is larger than a predetermined size.
서버(200)는 사용자로부터 이미지들 사이의 오버랩 영역 정보, 브레인 이미지들에서 주요관찰 대상으로 지정되는 색에 대한 정보 및 지정된 색에 의해 나타나는 발현정보에 대한 기준 값 중 적어도 하나 이상을 수신할 수 있다. The
브레인 이미지의 수집에서 세포들의 위치를 관찰하기 위해 브레인에는 세포 마커가 사용될 수 있고, 마커는 각각 현미경으로 촬영되었을 때 고유의 색을 발현하게 된다.Cell markers can be used in the brain to observe the location of the cells in the collection of brain images, each of which will have its own color when taken under a microscope.
브레인 세포 마커의 예는, 대뇌 세포에서 발현하는 FoxG1 (별칭 Bf1), 대뇌 신경 전구 세포에서 발현하는 Sox2 및 네스틴, 배측 대뇌 신경 전구 세포에서 발현하는 Pax6 및 Emx2, 복측 대뇌 신경 전구 세포에서 발현하는 Dlx1, Dlx2 및 Nkx2.1, 뉴런 전구 세포에서 발현하는 Tbr2, Nex, Svet1, 제6층 뉴런에서 발현하는 Tbr1, 제5층 뉴런(신경 세포)에서 발현하는 Ctip2(chicken ovalbumin upstream promoter transcription factor-interacting protein 2), 제4층 뉴런에서 발현하는 RORβ, 제3층 뉴런 또는 제2층 뉴런에서 발현하는 Cux1 또는 Brn2, 제1층 뉴런에서 발현하는 Reelen, 세포 핵(nucleous)에서 발현하는 Dapi(4',6-diamidino-2-phenylindole), 알츠하이머 병(Alzheimer Disease; AD)의 plaque(셀 세포)에서 발현하는 A-beta(Amyloid beta) 등을 포함한다.Examples of brain cell markers include FoxG1 (alias Bf1) expressed in cerebral cells, Sox2 and Nestin expressed in cerebral neural progenitor cells, Pax6 and Emx2 expressed in ventral cerebral neural progenitor cells, expressed in ventral cerebral neural progenitor cells Dlx1, Dlx2 and Nkx2.1, Tbr2 expressed in neuronal progenitor cells, Nex, Svet1, Tbr1 expressed in layer 6 neurons, Ctip2 (chicken ovalbumin upstream promoter transcription factor-interacting expressed in layer 5 neurons (nerve cells) protein 2), RORβ expressed in layer 4 neurons, Cux1 or Brn2 expressed in layer 3 neurons or layer 2 neurons, Reelen expressed in layer 1 neurons, and Dapi (4 ′) expressed in cell nuclei. , 6-diamidino-2-phenylindole), and A-beta (Amyloid beta) expressed in plaque (cell cells) of Alzheimer's Disease (AD).
도 2에서 발현된 색은 그린, 블루, 레드 중 하나이고, 그린은 Ctip2의 발현정보를 나타내고, 블루는 Dapi의 발현정보를 나타내고, 레드는 A-beta(Amyloid beta)의 발현정보를 나타낸다.The color expressed in FIG. 2 is one of green, blue, and red, green represents expression information of Ctip2, blue represents expression information of Dapi, and red represents expression information of A-beta (Amyloid beta).
서버(200)는 연구자 또는 사용자에게 자신이 입력한 이미지에서 주요관찰하기 원하는 대상(예를 들어, 세포 핵, 제5층 뉴런, 알츠하이머 병의 plaque 등)을 지정하도록 유도하거나, 주요관찰하기 원하는 대상에서 발현되는 색을 선택하도록 유도할 수 있다.The
예를 들어, 서버(200)는 연구자 또는 사용자에게서 주요관찰 대상으로 AD의 plaque를 지정받을 수 있고, 서버는 미리 설정된 데이터베이스 등을 통해 자체적으로, AD의 plaque에서 발현되는 색은 레드임을 이해할 수 있고, 지정된 색에 의해 나타나는 발현정보에 대한 기준 값을 입력받을 수 있으며, 레드로 발현된 부분을 중심으로 이후의 다운사이징이 수행되도록 할 수 있다.For example, the
또 다른 실시예에서, 서버(200)는 연구자 또는 사용자에게서 주요관찰 대상에서 발현되는 색인 레드를 지정받을 수 있고, 지정된 색에 의해 나타나는 발현정보에 대한 기준 값을 입력받을 수 있으며, 이를 기초로 레드로 발현된 부분을 중심으로 이후의 다운사이징이 수행되도록 할 수 있다.In another embodiment, the
이미지 다운사이징 모듈(223)에서는 지정된 색(예를 들어, 레드)으로 표시된 영역들을 모두 인지하고 각각의 영역에서 레드 색의 강도를 분석하여 각 영역이 가진 레드 색의 강도 순서대로 영역들을 리스팅하여 최고 강도를 가진 영역부터 최저 강도를 가진 영역을 순차적으로 파악할 수 있다. The
이미지 다운사이징 모듈(223)은 리스트에서 발현정보의 기준 값에 대응하는 강도 이상인 색의 강도를 가지는 최초의 영역이 사라지지 않는 정도에서 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 이미지들을 다운사이징할 수 있다.The
다운사이징은 다양한 형태로 수행될 수 있으며, 일 예로는 한 픽셀이 표현하는 영역을 조정하여 해상도를 조절하는 방식으로 이미지 파일의 크기를 줄이도록 할 수 있다. 예를 들어, 다운사이징은 발현정보의 기준 값에 대응하는 강도 이상인 색의 강도를 가지는 최초의 영역이 하나의 픽셀로 표현되도록 이미지의 해상도를 조절하는 방식으로 이루어질 수 있다.Downsizing may be performed in various forms. For example, the size of an image file may be reduced by adjusting a resolution by adjusting an area represented by one pixel. For example, the downsizing may be performed by adjusting the resolution of the image such that the first area having the intensity of color that is greater than or equal to the reference value of the expression information is represented by one pixel.
다운사이징된 이후의 올바른 위치로의 시프팅 및 스티칭 동작은 제1타입의 파일인 경우에서와 동일하게 수행될 수 있다. 시프팅 및 스티칭 이후에는 제1타입의 파일에서와 같이 r 값을 계산하여 스티칭 결과가 검토되고 스티칭 불가 및 가능 메세지가 생성될 수 있다. 다만, 스티칭 결과 검토(330)의 판단은 스티칭 동작 이전, 시프팅 동작 이후에 수행되어 시프팅 결과 검토로 수행될 수도 있다.The shifting and stitching operation to the correct position after downsizing may be performed in the same manner as in the case of the file of the first type. After the shifting and stitching, as in the file of the first type, the r value may be calculated to examine the stitching results and generate a stitching impossible and possible message. However, the determination of the
이러한 다운사이징을 통해 고해상도 고용량인 브레인 이미지의 처리가 제한된 리소스만으로도 이루어질 수 있다. 상술된 방식을 통해 2D 브레인 이미지를 3D 이미지화하는데 소요되는 전체 리소스(장비, 시간, 프로그램)가 크게 절감될 수 있다.Through this downsizing, processing of a brain image having a high resolution and high capacity can be performed with only limited resources. In the above-described manner, the overall resources (equipment, time, and program) required to 3D image the 2D brain image can be greatly reduced.
전체 단면을 형성하기 위해 올바른 위치로 시프팅된 후 스티칭된 단면들은 깊이 축, 예를 들어, z축으로 정렬되어 3D 렌더링될 수 있도록 준비된다. 즉, 슬라이싱된 2D 이미지들은 x, y 축을 중심으로 단면을 맞추고 z 축으로 rigid transformation으로 이미지들을 정렬처리한다. 여기서 rigid transformation이란 정사각형의 형태는 유지하고 안의 feature 내용만 회전해서 단면 이미지 1과 단면 이미지 2의 특징으로 이미지들을 정합하는 것을 의미한다. 예를 들어, 단면 1의 특징적 feature와 단면 2의 특징적 feature 가 연속되도록 단면 1 및 단면 2를 정렬하는 것이다. 이에 따라, 스티칭된 단면들끼리 단면 1의 feature와 단면 2의 feature가 연속되는지 판단하는 단계, 이러한 판단에 따라 단면 1 및 2 를 정렬하는 단계가 추가될 수 있다. 정렬된 단면들은 3D 렌더링을 통해 3D 이미지화 된다.After being shifted to the correct position to form the entire cross section, the stitched cross sections are ready for 3D rendering aligned to the depth axis, for example the z axis. In other words, the sliced 2D images align the cross section around the x and y axes and align the images with rigid transformation on the z axis. In this case, rigid transformation means maintaining the square shape and rotating only the content of the feature inside to match the images with the characteristics of the cross-sectional image 1 and the cross-sectional image 2. For example, the cross-section 1 and cross-section 2 are aligned such that the cross-sectional feature 1 and the cross-sectional feature 2 are continuous. Accordingly, the step of determining whether the stitched sections of the feature of the cross-section 1 and the cross-section 2 is continuous, the step of aligning the cross-sections 1 and 2 according to this determination can be added. Aligned sections are 3D imaged through 3D rendering.
도 5는 도 2에서 입력되는 이미지들이 상술된 전 처리 모듈을 통과하여 결합된 결과를 도시한다.FIG. 5 shows a result of combining the images input in FIG. 2 through the above-described preprocessing module.
결합된 2D 브레인 이미지들은 도 1에서 도시된 바와 같이 렌더링 모듈로 전달되고 3D 이미지화 되어 연구자가 원하는 3차원 브레인 이미지가 제공되게 된다. The combined 2D brain images are transferred to a rendering module and 3D imaged as shown in FIG. 1 to provide a 3D brain image desired by the researcher.
본 발명의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 발명의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.One of ordinary skill in the art would appreciate that the various illustrative logical blocks, modules, processors, means, circuits and algorithm steps described in connection with the embodiments disclosed herein may be implemented in electronic hardware, It will be appreciated that for purposes of the present invention, various forms of program or design code, or combinations thereof, may be implemented. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the particular application and design constraints imposed on the overall system. One of ordinary skill in the art may implement the described functionality in various ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present invention.
또한, 제시된 실시예들에 대한 설명은 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.In addition, the description of the presented embodiments is provided to enable those skilled in the art to make or use the present invention. Various modifications to these embodiments will be apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the invention. Thus, the present invention should not be limited to the embodiments set forth herein but should be construed in the broadest scope consistent with the principles and novel features set forth herein.
100: 사용자 단말
200: 브레인 3D 렌더링 서버
215: 메타 정보 수신 모듈
217: 이미지 수신 모듈
220: 전 처리 모듈
230: 런쳐 모듈
240: 렌더링 모듈
250: 데이터베이스
260: 브레인 영역별 검색 모듈
270: 3D 데이터 재조합 에디터
500: 로컬 네트워크
700: 인터넷100: user terminal
200: Brain 3D Rendering Server
215: Meta information receiving module
217: image receiving module
220: preprocessing module
230: Launcher Module
240: rendering module
250: database
260: search module by brain area
270: 3D data recombination editor
500: local network
700: the Internet
Claims (10)
사용자로부터 복수의 이차원(2D) 브레인 이미지들을 입력받고 입력된 이미지들의 타입에 따라 전 처리를 수행하는 전 처리 모듈;
전 처리된 이미지들을 3D 이미지로 렌더링하는 렌더링 모듈;
렌더링된 최종 3D 이미지를 저장하는 데이터베이스;
저장된 3D 이미지를 영역별로 검색할 수 있게 하는 브레인 영역별 검색 모듈을 포함하고,
상기 전 처리 모듈은,
입력된 2D 브레인 이미지들이 제 1 타입의 파일인 경우, 브레인 이미지들 사이의 오버랩 영역 정보를 수신하고, 수신된 오버랩 영역 정보에 기초하여 복수의 2D 브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 동작을 수행하고,
입력된 2D 브레인 이미지들이 제 2 타입의 파일인 경우, 사용자로부터 이미지들 사이의 오버랩 영역 정보, 브레인 이미지들에서 주요관찰 대상으로 지정되는 색에 대한 정보 및 지정된 색에 의해 나타나는 발현정보에 대한 기준 값을 수신하고, 지정된 색으로 표시된 영역들의 색의 강도를 분석하여, 상기 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 2D 브레인 이미지들을 다운사이징하고, 상기 수신된 오버랩 영역 정보에 기초하여 다운사이징된 브레인 이미지들을 시프팅시키고 스티칭시키는 동작을 수행하도록 구성되고,
상기 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 2D 브레인 이미지들을 다운사이징하는 것은, 지정된 색으로 표시된 영역들의 색의 강도를 분석하여 각 영역이 가진 색의 강도 순서대로 영역들을 리스팅하고 상기 발현정보의 기준 값에 대응하는 강도 이상인 색의 강도를 가지는 최초의 영역을 하나의 픽셀로 표현하도록 이미지의 해상도를 조절하는 동작을 포함하는,
3D 뇌 신경회로 이미지 제공 시스템.A system for providing three-dimensional (3D) brain neural circuit images on a web basis,
A preprocessing module which receives a plurality of two-dimensional (2D) brain images from a user and performs preprocessing according to the type of the input images;
A rendering module that renders the preprocessed images into 3D images;
A database for storing the final rendered 3D image;
Includes a Brain Region Search module that allows you to search for saved 3D images by region,
The preprocessing module,
When the input 2D brain images are files of the first type, the operation of receiving overlap region information between the brain images and shifting and stitching the plurality of 2D brain images based on the received overlap region information is performed. Doing,
When the input 2D brain images are files of the second type, reference values for overlap region information between the images from the user, color information designated as the main observation target in the brain images, and expression information represented by the designated color Receives and analyzes the intensity of the color of the areas indicated by the designated color, downsizing each 2D brain images so that only the area that is greater than or equal to the intensity of the color corresponding to the reference value of the expression information remains and the capacity of the image file is minimal And shifting and stitching downsized brain images based on the received overlap area information,
Downsizing each of the 2D brain images such that only an area greater than or equal to the intensity of the color corresponding to the reference value of the expression information remains and the capacity of the image file is minimal, the color intensity of each of the regions indicated by the designated color is analyzed. And adjusting the resolution of the image to list the regions in the order of the intensity of the color and express the first region having the intensity of the color that is greater than or equal to the reference value of the expression information as one pixel.
3D brain neural circuit image providing system.
상기 지정된 색은 그린, 블루, 레드 중 하나이고, 그린은 Ctip2(chicken ovalbumin upstream promoter transcription factor-interacting protein 2)의 발현정보를 나타내고, 블루는 Dapi(4',6-diamidino-2-phenylindole)의 발현정보를 나타내고, 레드는 A-beta(Amyloid beta)의 발현정보를 나타내는,
3D 뇌 신경회로 이미지 제공 시스템.The method of claim 1,
The designated color is one of green, blue, and red, and green represents expression information of Ctip2 (chicken ovalbumin upstream promoter transcription factor-interacting protein 2), and blue represents Dapi (4 ', 6-diamidino-2-phenylindole). Represents the expression information, red represents the expression information of A-beta (Amyloid beta),
3D brain neural circuit image providing system.
브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 동작은 스티칭되는 2개의 이미지 파일에 대해 아래 식 1) 값을 통해 이미지들을 시프팅시킬 정도를 계산하여 시프팅시키고, 시프팅된 이미지들을 스티칭하는,
3D 뇌 신경회로 이미지 제공 시스템.
식 1)
여기서, FI1(u, v), FI2(u, v)는 서로 시프팅되는 2개의 이미지 I1(x, y), I2(x, y)를 푸리에 변환 결과임.The method of claim 1,
The operation of shifting and stitching the brain images is performed by calculating and shifting the degree of shifting the images through the following Equation 1) value for the two image files to be stitched, and stitching the shifted images.
3D brain neural circuit image providing system.
Equation 1)
Here, FI 1 (u, v) and FI2 (u, v) are Fourier transform results of two images I 1 (x, y) and I 2 (x, y) shifted from each other.
상기 전 처리 모듈은, 브레인 이미지들을 시프팅시키는 동작 이후에, 이미지들의 겹쳐진 영역에 대해 아래 식2)를 통해 상관계수 r값을 계산하고, r 값이 0.8 미만인 경우는 스티칭이 불가능하다는 메세지를 생성하는,
3D 뇌 신경회로 이미지 제공 시스템.
식 2)
After the shifting of the brain images, the preprocessing module calculates a correlation coefficient r value through Equation 2) for the overlapped areas of the images, and generates a message that stitching is impossible when the r value is less than 0.8. doing,
3D brain neural circuit image providing system.
Equation 2)
사용자로부터 복수의 이차원(2D) 브레인 이미지들을 입력받고 입력된 이미지들의 타입에 따라 전 처리를 수행하는 전 처리 단계;
전 처리된 이미지들을 3D 이미지로 렌더링하는 렌더링 단계; 및
렌더링된 최종 3D 이미지를 데이터베이스에 저장하는 저장 단계를 포함하고,
상기 전 처리 단계는,
입력된 2D 브레인 이미지들이 제 1 타입의 파일인 경우,
브레인 이미지들 사이의 오버랩 영역 정보를 수신하는 단계; 및
수신된 오버랩 영역 정보에 기초하여 복수의 2D 브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 단계를 포함하고,
입력된 2D 브레인 이미지들이 제 2 타입의 파일인 경우,
사용자로부터 이미지들 사이의 오버랩 영역 정보, 브레인 이미지들에서 주요관찰 대상으로 지정되는 색에 대한 정보 및 지정된 색에 의해 나타나는 발현정보에 대한 기준 값을 수신하는 단계;
지정된 색으로 표시된 영역들의 색의 강도를 분석하여, 상기 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 2D 브레인 이미지들을 다운사이징하는 단계; 및
상기 수신된 오버랩 영역 정보에 기초하여 다운사이징된 브레인 이미지들을 시프팅시키고 스티칭시키는 단계를 포함하고,
상기 발현정보의 기준 값에 대응하는 색의 강도 이상인 영역만이 남고 이미지 파일의 용량은 최소가 되도록 각각의 2D 브레인 이미지들을 다운사이징하는 것은, 지정된 색으로 표시된 영역들의 색의 강도를 분석하여 각 영역이 가진 색의 강도 순서대로 영역들을 리스팅하고 상기 발현정보의 기준 값에 대응하는 강도 이상인 색의 강도를 가지는 최초의 영역을 하나의 픽셀로 표현하도록 이미지의 해상도를 조절하는 동작을 포함하는,
3D 뇌 신경회로 이미지 제공 방법.As a method of providing a three-dimensional (3D) brain neural circuit image on a web basis,
A preprocessing step of receiving a plurality of two-dimensional (2D) brain images from a user and performing preprocessing according to the type of the input images;
A rendering step of rendering the preprocessed images as a 3D image; And
A storage step of storing the final rendered 3D image in a database,
The pretreatment step,
If the input 2D brain images are files of the first type,
Receiving overlap region information between brain images; And
Shifting and stitching the plurality of 2D brain images based on the received overlap area information,
If the input 2D brain images are files of the second type,
Receiving, from a user, overlap area information between images, information on a color designated as a main object of observation in brain images, and reference values for expression information represented by the designated color;
Analyzing the intensity of the color of the areas indicated by the designated color, downsizing the respective 2D brain images such that only the area of the color corresponding to the reference value of the expression information is greater than the intensity of the image file remains; And
Shifting and stitching downsized brain images based on the received overlap area information;
Downsizing each of the 2D brain images such that only an area greater than or equal to the intensity of the color corresponding to the reference value of the expression information remains and the capacity of the image file is minimal, the color intensity of each of the regions indicated by the designated color is analyzed. And adjusting the resolution of the image to list the regions in the order of the intensity of the color and express the first region having the intensity of the color that is greater than or equal to the reference value of the expression information as one pixel.
How to provide 3D brain neural circuit images.
상기 지정된 색은 그린, 블루, 레드 중 하나이고, 그린은 Ctip2(chicken ovalbumin upstream promoter transcription factor-interacting protein 2)의 발현정보를 나타내고, 블루는 Dapi(4',6-diamidino-2-phenylindole)의 발현정보를 나타내고, 레드는 A-beta(Amyloid beta)의 발현정보를 나타내는,
3D 뇌 신경회로 이미지 제공 방법.The method of claim 6,
The designated color is one of green, blue, and red, and green represents expression information of Ctip2 (chicken ovalbumin upstream promoter transcription factor-interacting protein 2), and blue represents Dapi (4 ', 6-diamidino-2-phenylindole). Represents the expression information, red represents the expression information of A-beta (Amyloid beta),
How to provide 3D brain neural circuit images.
상기 브레인 이미지들을 시프팅시키고 스티칭(stitching)시키는 단계는, 스티칭되는 2개의 이미지 파일에 대해 아래 식 1) 값을 통해 이미지들을 시프팅시킬 정도를 계산하여 시프팅시키고, 시프팅된 이미지들을 스티칭하는 단계를 포함하는,
3D 뇌 신경회로 이미지 제공 방법.
식 1)
여기서, FI1(u, v), FI2(u, v)는 서로 시프팅되는 2개의 이미지 I1(x, y), I2(x, y)를 푸리에 변환 결과임.The method of claim 6,
The shifting and stitching of the brain images includes calculating and shifting the degree of shifting the images through the following Equation 1) value for the two image files to be stitched, and stitching the shifted images. Comprising the steps,
How to provide 3D brain neural circuit images.
Equation 1)
Here, FI 1 (u, v) and FI2 (u, v) are Fourier transform results of two images I 1 (x, y) and I 2 (x, y) shifted from each other.
상기 브레인 이미지들을 시프팅시키는 단계 이후에,
이미지들의 겹쳐진 영역에 대해 아래 식2)를 통해 상관계수 r값을 계산하고, r 값이 0.8 미만인 경우는 스티칭이 불가능하다는 메세지를 생성하는 단계를 더 포함하는,
3D 뇌 신경회로 이미지 제공 방법.
식 2)
The method of claim 9,
After the shifting the brain images,
Computing the correlation coefficient r value through the following expression 2) for the overlapped areas of the images, and if the r value is less than 0.8, further comprising generating a message that stitching is impossible,
How to provide 3D brain neural circuit images.
Equation 2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180007393A KR102075454B1 (en) | 2018-01-19 | 2018-01-19 | Web-based system and method for providing 3d brain neural circuit image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180007393A KR102075454B1 (en) | 2018-01-19 | 2018-01-19 | Web-based system and method for providing 3d brain neural circuit image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190088835A KR20190088835A (en) | 2019-07-29 |
| KR102075454B1 true KR102075454B1 (en) | 2020-02-10 |
Family
ID=67480714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180007393A KR102075454B1 (en) | 2018-01-19 | 2018-01-19 | Web-based system and method for providing 3d brain neural circuit image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102075454B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102619707B1 (en) * | 2021-02-16 | 2023-12-28 | 재단법인대구경북과학기술원 | Method and system for processing bio data based on distributed parallel processing |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101588935B1 (en) * | 2013-11-21 | 2016-01-26 | 오테리 테크놀러지스 인코포레이티드 | A method using 3d geometry data for virtual reality image presentation and control in 3d space |
-
2018
- 2018-01-19 KR KR1020180007393A patent/KR102075454B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| ChloéMurtin, "Image processing for precise three-dimensional registration and stitching of thick high-resolution laser-scanning microscopy image stacks", Computers in Biology and Medicine Volume 92* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190088835A (en) | 2019-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10810735B2 (en) | Method and apparatus for analyzing medical image | |
| US8605972B2 (en) | Automatic image alignment | |
| KR101628276B1 (en) | System and method for pathological analysis based on cloud | |
| CN111028242A (en) | Automatic tumor segmentation system and method and electronic equipment | |
| JP7449869B2 (en) | Automatic analysis of descriptive rock slice images using advanced machine learning techniques | |
| CN106530320B (en) | End-to-end image segmentation processing method and system | |
| CN111462264B (en) | Medical image reconstruction method, medical image reconstruction network training method and device | |
| CN112651979A (en) | Lung X-ray image segmentation method, system, computer equipment and storage medium | |
| US8582810B2 (en) | Detecting potential changed objects in images | |
| CN111161269B (en) | Image segmentation method, computer device, and readable storage medium | |
| CN111027343B (en) | Bar code region positioning method and device | |
| CN113724185B (en) | Model processing method, device and storage medium for image classification | |
| CN112515653B (en) | Brain network construction method based on nuclear magnetic resonance image | |
| CN111067522A (en) | Brain addiction structural map assessment method and device | |
| CN112037146A (en) | Medical image artifact automatic correction method and device and computer equipment | |
| WO2020035514A1 (en) | Generating annotation data of tissue images | |
| WO2021184195A1 (en) | Medical image reconstruction method, and medical image reconstruction network training method and apparatus | |
| CN112102259A (en) | Image segmentation algorithm based on boundary guide depth learning | |
| CN114155232A (en) | Intracranial hemorrhage area detection method and device, computer equipment and storage medium | |
| KR102075454B1 (en) | Web-based system and method for providing 3d brain neural circuit image | |
| Gyawali et al. | Accurate cryo-EM protein particle picking by integrating the foundational AI image segmentation model and specialized U-Net | |
| Qi et al. | Blind image quality assessment for MRI with a deep three-dimensional content-adaptive hyper-network | |
| CN112991388B (en) | Line segment feature tracking method based on optical flow tracking prediction and convex geometric distance | |
| CN111753722B (en) | Fingerprint identification method and device based on feature point type | |
| CN115115900A (en) | Training method, device, equipment, medium and program product of image reconstruction model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |