KR102253320B1 - 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 - Google Patents
집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 Download PDFInfo
- Publication number
- KR102253320B1 KR102253320B1 KR1020190174710A KR20190174710A KR102253320B1 KR 102253320 B1 KR102253320 B1 KR 102253320B1 KR 1020190174710 A KR1020190174710 A KR 1020190174710A KR 20190174710 A KR20190174710 A KR 20190174710A KR 102253320 B1 KR102253320 B1 KR 102253320B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- parallax
- integrated
- imaging microscope
- generating
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000001000 micrograph Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Microscoopes, Condenser (AREA)
Abstract
본 발명은 집적영상 현미경을 포함하는 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법에 관한 것으로서, 집적영상 현미경을 통해 시료에 대한 집적영상과 2차원 영상을 획득하는 단계, 상기 집적영상을 다수의 시점 영상으로 구성된 라이트필드 영상으로 재구성하는 단계, 상기 라이트필드 영상에서 시차 정보를 포함하는 시차 영상을 생성하는 단계, 상기 시차 영상의 시차 정보를 상기 2차원 영상에 적용하여 3차원 모델을 생성하는 단계를 포함한다.
본 발명에 의하면, 집적영상 현미경에 의해 획득된 집적영상에 대하여 고화질의 3차원 영상을 가시화할 수 있는 효과가 있다.
본 발명에 의하면, 집적영상 현미경에 의해 획득된 집적영상에 대하여 고화질의 3차원 영상을 가시화할 수 있는 효과가 있다.
Description
본 발명은 집적영상 현미경 시스템에 관한 것으로서, 더욱 상세하게는 집적영상 현미경 영상에 대한 고화질 3차원 영상을 가시화하는 기술에 관한 것이다.
광학 현미경은 시료에 대해 대물 렌즈(Objective lens)와 튜브 렌즈(Tube lens)를 거처 중간 면(intermediate plane)에 맺힌 상을 카메라 혹은 접안렌즈를 통해 다시 확대하는 장치이다.
그리고, 집적영상 현미경은 광학 현미경 구조에서 중간 면과 카메라 사이에 마이크로 렌즈 어레이를 두어 집적영상을 획득할 수 있도록 고안된 장치이다.
광학 현미경은 고배율을 대물렌즈의 사용함에 따른 화각 및 초점의 심도범위가 부족할 수밖에 없는 단점을 가지고 있는데, 기존 광학현미경에 대해 집적영상 기술을 적용함으로써, 이러한 단점을 극복할 수 있다.
집적영상 기술은 여러 개의 렌즈로 구성된 렌즈 어레이를 이용하여 3차원 물체 정보를 2차원 영상으로 저장하고, 저장된 2차원 영상을 처리하여 3차원 물체 정보를 획득하는 기술이다. 이러한 집적영상 기술은 3차원 영상으로 표현할 수 있는 수직시차와 수평시차가 모두 제공되며, 깊이방향으로의 복원이 가능하다.
집적영상 기술은 렌즈 어레이를 사용하기 때문에, 렌즈 어레이를 이루는 각 기초 렌즈들의 광학적 특성이 복원 혹은 디스플레이 영상의 품질에 많은 영향을 끼친다. 이는 특히 기초 렌즈의 초점거리와 밀접한 관계가 있다.
집적영상 기술에서는 여러 개의 렌즈로 구성된 렌즈 어레이를 사용하기 때문에, 하나의 렌즈를 사용하는 경우와 비교하여 큰 구경의 렌즈를 사용할 수 없는 단점이 있으며, 이로 인해 초점거리가 매우 짧은 거리를 갖는다. 그러나, 획득된 집적영상을 이용하여 3차원 디스플레이가 아니 2차원 초점별 영상을 복원한다면 다양한 초점거리별 2차원 영상을 획득할 수 있고, 각각의 초점거리별 2차원 영상을 합하여 긴 초점 심도를 얻을 수 있다.
집적영상 현미경은 기존 광학현미경에 대해 카메라 장창 부분 앞에 마이크로 렌즈 어레이를 추가하여 집적영상을 획득하고, 획득된 영상을 복원하는 방법으로 초점의 심도범위를 늘릴 수 있다.
일반적인 환경에서 획득된 집적영상은 수평 및 수직 시차를 동시에 제공하는 완전 시차(full parallax) 방식의 무안경 3차원 영상을 디스플레이 할 수 있다.
그러나, 현미경 영상에 대한 집적영상의 경우 열악한 조명환경, 렌즈 왜곡 , 해상도의 한계 등의 문제로 집적영상을 디스플레이 했을 때 매우 좁은 시야각과 저화질의 3차원 영상이 디스플레이 된다. 이러한 이유로 획득된 현미경 집적영상에 대해 재구성하는 방법으로 여러 방향의 뷰 영상을 제공하거나, 초점 거리에 따른 깊이방향의 영상정보를 제공하는 것이 있다. 따라서, 디스플레이 방법에서 집적영상 현미경을 통해 획득된 집적영상에 대한 고화질의 3차원 영상을 디스플레이하는 방법이 필요하다.
이처럼 집적영상은 안경이 필요 없고, 수평 및 수직 방향에 대한 연속적인 시차를 제공해 주는 3차원 영상표현 방법이고, 집적영상 현미경을 통해 획득된 집적영상 또한 수평 및 수직 방향에 대한 연속적인 시차를 획득할 수 있다. 그러나, 디스플레이 장치를 통해 현미경 집적영상을 디스플레이 했을 때, 많은 시점 수에 따른 해상도 저하 및 중앙에 집중된 조명의 영향으로 균일한 영상을 표시할 수 없다는 문제점이 있다. 이러한 이유로 현재 획득된 현미경 집적영상은 다양한 시점 방향으로의 재구성 혹은 다양한 초점 거리에 따른 재구성 방법을 통해 디스플레이 하고 있는 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 집적영상 현미경 영상에 대한 고화질의 3차원 영상을 가시화할 수 있는 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 집적영상 현미경을 포함하는 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법에서, 집적영상 현미경을 통해 시료에 대한 집적영상과 2차원 영상을 획득하는 단계, 상기 집적영상을 다수의 시점 영상으로 구성된 라이트필드 영상으로 재구성하는 단계, 상기 라이트필드 영상에서 시차 정보를 포함하는 시차 영상을 생성하는 단계, 상기 시차 영상의 시차 정보를 상기 2차원 영상에 적용하여 3차원 모델을 생성하는 단계를 포함한다.
상기 시차 영상을 생성하는 단계는, 상기 라이트필드 영상에서 관심영역(Region of Interest, ROI)을 설정하는 단계, 상기 관심영역의 시점 영상에 대해 히스토그램 매칭을 실시하는 단계, 상기 히스토그램 매칭 후, 시점 영상의 각 방향에 대한 시차값을 계산하는 단계 및 각 방향에 대한 시차값을 취합하여 그 평균값으로 시차 영상을 생성하는 단계를 포함하여 이루어질 수 있다.
상기 3차원 모델을 생성하는 단계는, 상기 시차 영상을 포인트 클라우드로 변환하는 단계, 상기 포인트 클라우드로 변환 후, 상기 2차원 영상의 크기로 조정하는 단계 및 상기 2차원 영상의 크기로 조정된 포인트 클라우드를 상기 2차원 영상에 매핑하여 3차원 모델을 생성하는 단계를 포함하여 이루어질 수 있다.
상기 2차원 영상에 매핑하여 생성된 3차원 모델의 데이터에 대해 보간법을 실시하는 단계를 더 포함할 수 있다.
본 발명의 집적영상 현미경 시스템은 시료의 상을 설정된 배율만큼 확대하기 위한 대물 렌즈, 상기 대물 렌즈에 의해 확대된 시료의 상을 초점거리에 맞춰 하나의 광축에 모으기 위한 튜브 렌즈, 상기 튜브 렌즈를 거쳐 상이 맺히는 면인 중간 면과 이미지 센서 사이에 위치하여, 집적영상을 생성하기 위한 마이크로 렌즈 어레이, 상기 마이크로 렌즈 어레이를 통과한 상을 촬영하기 위한 이미지 센서 및 상기 이미지 센서를 통해 시료에 대한 집적영상과 2차원 영상을 획득하고, 상기 집적영상을 다수의 시점 영상으로 구성된 라이트필드 영상으로 재구성하고, 상기 라이트필드 영상에서 시차 정보를 포함하는 시차 영상을 생성하고, 상기 시차 영상의 시차 정보를 상기 2차원 영상에 적용하여 3차원 모델을 생성하는 컴퓨터를 포함한다.
상기 컴퓨터는 상기 라이트필드 영상에서 관심영역(Region of Interest, ROI)을 설정하고, 상기 관심영역의 시점 영상에 대해 히스토그램 매칭을 실시하고, 상기 히스토그램 매칭 후, 시점 영상의 각 방향에 대한 시차값을 계산하고, 각 방향에 대한 시차값을 취합하여 그 평균값으로 시차 영상을 생성할 수 있다.
상기 컴퓨터는 상기 시차 영상을 포인트 클라우드로 변환하고, 이를 상기 2차원 영상의 크기로 조정하고, 상기 2차원 영상의 크기로 조정된 포인트 클라우드를 상기 2차원 영상에 매핑하여 3차원 모델을 생성할 수 있다.
상기 컴퓨터는 상기 2차원 영상에 매핑하여 생성된 3차원 모델의 데이터에 대해 보간법을 실시할 수 있다.
상기 컴퓨터는 동일한 시료에 대하여 상기 마이크로 렌즈 어레이가 있는 상태에서 상기 이미지 센서에 촬영된 집적 영상을 획득하고, 상기 마이크로 렌즈 어레이가 없는 상태에서 상기 이미지 센서에 촬영된 2차원 영상을 획득할 수 있다.
본 발명에 의하면, 집적영상 현미경에 의해 획득된 집적영상에 대하여 고화질의 3차원 영상을 가시화할 수 있는 효과가 있다. 따라서, 본 발명에 의하면, 종래 집적영상 현미경의 열악한 조명 환경, 렌즈 왜곡, 해상도의 한계 등의 문제로 집적영상 디스플레이시 매우 좁은 시야각과 저화질의 3차원 영상이 디스플레이되는 문제를 해결할 수 있다.
또한, 본 발명을 통해 얻은 시료에 대한 3차원 모델에 대하여 확대 또는 회전 시에 왜곡없는 선명한 영상을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 집적영상 현미경의 광학계 구조를 포함하는 집적영상 현미경 시스템의 구성을 도시한 것이다.
도 2는 집적 영상을 시점 영상으로 가시화하는 과정을 개념적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 집적영상 현미경 시스템에서 3차원 영상 디스플레이 방법을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 시차 영상 생성 과정을 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 시점 영상에 대한 히스토그램 매칭 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 모델 생성 과정을 보여주는 흐름도이다.
도 2는 집적 영상을 시점 영상으로 가시화하는 과정을 개념적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 집적영상 현미경 시스템에서 3차원 영상 디스플레이 방법을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 시차 영상 생성 과정을 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 시점 영상에 대한 히스토그램 매칭 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 모델 생성 과정을 보여주는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 집적영상 현미경의 광학계 구조를 포함하는 집적영상 현미경 시스템의 구성을 도시한 것이다.
본 발명의 집적영상 현미경의 광학계 구조를 포함하는 집적영상 현미경 시스템은, 대물 렌즈(Objective lens)(110), 튜브 렌즈(Tube lens)(120), 마이크로 렌즈 어레이(Micro lens array)(130), 이미지 센서(Image sensor)(140), 컴튜터(150)를 포함한다.
대물 렌즈(110)는 시료(Specimen)의 상을 설정된 배율만큼 확대하는 역할을 한다.
튜브 렌즈(120)는 대물 렌즈(110)에 의해 확대된 시료의 상을 초점거리에 맞춰 하나의 광축에 모으는 역할을 한다.
마이크로 렌즈 어레이(130)는 튜브 렌즈(120)를 거쳐 상이 맺히는 면인 중간 면(Intermediate plane)과 이미지 센서(140) 사이에 위치하여, 집적영상을 생성하는 역할을 한다.
이미지 센서(140)는 마이크로 렌즈 어레이(130)를 통과한 상을 촬영하는 역할을 한다.
컴퓨터(150)는 이미지 센서(140)를 통해 시료에 대한 집적영상과 고화질의 2차원 영상을 획득하고, 집적영상을 다수의 시점 영상으로 구성된 라이트필드(light field) 영상(image)으로 재구성하고, 라이트필드 영상에서 시차 정보를 포함하는 시차 영상을 생성하고, 시차 영상의 시차 정보를 2차원 영상에 적용하여 3차원 모델을 생성하는 방식으로 고화질의 3차원 영상을 시각화한다.
도 2는 집적 영상을 시점 영상으로 가시화하는 과정을 개념적으로 도시한 것이다.
라이트 필드(light field) 영상은 장면에 대해 일정한 범위 내의 모든 방향의 정보를 갖고 있는 영상을 말한다. 즉, 한 장면에 대해 다양한 방향의 영상정보를 포함하고 있는 다발 영상을 의미한다.
컴퓨터(150)는 라이트필드 영상에서 관심영역(Region of Interest, ROI)을 설정하고, 관심영역의 시점 영상에 대해 히스토그램(Histogram) 매칭(matching)을 실시하고, 히스토그램 매칭 후, 시점 영상의 각 방향에 대한 시차값을 계산하고, 각 방향에 대한 시차값을 취합하여 그 평균값으로 시차 영상을 생성할 수 있다.
본 발명에서 컴퓨터(150)는 시차 영상을 포인트 클라우드(Point cloud)로 변환하고, 이를 2차원 영상의 크기로 조정하고, 2차원 영상의 크기로 조정된 포인트 클라우드를 2차원 영상에 매핑(Mapping)하여 3차원 모델을 생성할 수 있다.
그리고, 컴퓨터(150)는 2차원 영상에 매핑하여 생성된 3차원 모델의 데이터에 대해 보간법(Interpolation)을 실시하여 보다 선명한 3차원 영상을 생성할 수 있다.
본 발명에서 컴퓨터(150)는 동일한 시료에 대하여 마이크로 렌즈 어레이(130)가 있는 상태에서 이미지 센서(140)에 촬영된 집적 영상을 획득하고, 마이크로 렌즈 어레이(130)가 없는 상태에서 이미지 센서(140)에 촬영된 2차원 영상을 획득하는 방식으로, 집적 영상과 고화질의 2차원 영상을 획득할 수 있다.
도 3은 본 발명의 일 실시예에 따른 집적영상 현미경을 포함하는 집적영상 현미경 시스템에서 3차원 영상 디스플레이 방법을 보여주는 도면이다.
도 3을 참조하면, 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법은, 먼저 집적영상 현미경을 통해 시료에 대한 집적영상과 2차원 영상을 획득한다(S100).
그리고, 집적영상을 다수의 시점 영상으로 구성된 라이트필드 영상으로 재구성(reconstruction)한다(S200).
그리고, 라이트필드 영상에서 시차 정보를 포함하는 시차 영상을 생성한다(S300).
그리고, 시차 영상의 시차 정보를 2차원 영상에 적용하여 3차원 모델을 생성한다(S400).
도 4는 본 발명의 일 실시예에 따른 시차 영상 생성 과정을 보여주는 흐름도이다.
도 4를 참조하면, 본 발명에서 시차 영상을 생성하는 단계(S300)는, 먼저 집적영상(10)을 라이트필드 영상을 재구성한다(S310).
그리고, 라이트필드 영상에서 관심영역(Region of Interest, ROI)을 설정한다(S320). 예를 들어, 전체 시점 영상에서 가로, 세로, 대각 방향의 총 네 방향에 대한 시점영상을 선택하여 관심영역으로 설정할 수 있다.
본 발명에서 전체 시점영상을 모두 이용하여 시차정보를 계산하는 것은 많은 시간과 계산 용량을 필요로 하기 때문에, 전체 시점영상에서 가로, 세로 대각의 네 방향에 대한 시점영상을 선택하여 관심 영역으로 설정한다.
그리고, 관심영역의 시점 영상에 대해 히스토그램 매칭을 실시한다(S330). 시점영상 간 영상의 밝기가 균일해야 상관도(Correlation) 계산의 정확성을 높일 수 있으므로, 본 발명에서는 시점 영상에 대해 히스토그램 매칭을 실시한다.
재구성된 전체 시점 영상을 분석하면, 현미경 조명의 특성 상 보통 중앙 부분의 시점 영상이 가장 밝고 가장자리 부분의 시점 영상일수록 어둡다. 따라서, 본 발명에서는 중앙 부분의 시점 영상의 기준 영상으로 정하여 히스토그램을 계산하고, 이를 가장자리 부분의 시점 영상의 히스토그램과 매칭시킬 수 있다.
히스토그램 매칭 후, 시점 영상의 각 방향에 대한 시차값을 계산한다(Cross Correlaton)(S340). 예를 들어, 가로, 세로, 대각 방향의 네 방향에 대한 각각의 시차값을 계산한다.
그리고, 각 방향에 대한 시차값을 취합하여 그 평균값으로 시차 영상을 생성한다(S350). 예를 들어, 가로, 세로, 대각 방향의 네 방향에 대한 시차값의 평균값을 이용하여 시차 영상을 생성할 수 있다.
본 발명에서 집적영상을 구성하는 요소영상 개수는 마이크로 렌즈 어레이의 요소렌즈의 수와 동일하다.
도 5는 본 발명의 일 실시예에 따른 시점 영상에 대한 히스토그램 매칭 과정을 보여주는 도면이다.
도 5에서 (a)는 원본 직교 뷰 영상(Original orthographic-view image)이고, (b)는 (a)의 영상에 대해 관심 영역(ROI)을 설정하고, 별 모양으로 지향성 뷰 이미지(directional-view image)를 선택한 것이다.
그리고, (c)는 히스토그램 매칭 과정을 보여주는 것으로서, 입력 영상(Input)에 기준 영상(Reference)의 히스토그램을 매칭하여 출력한다(Output).
도 6은 본 발명의 일 실시예에 따른 3차원 모델 생성 과정을 보여주는 흐름도이다.
도 6을 참조하면, 본 발명의 3차원 모델을 생성하는 단계(S400)는, 먼저 시차 영상(20)을 포인트 클라우드로 변환한다(S410).
그리고, 포인트 클라우드로 변환 후, 2차원 영상의 크기로 조정한다(S420).
그리고, 2차원 영상의 크기로 조정된 포인트 클라우드를 2차원 영상에 매핑하여 3차원 모델을 생성한다(S430).
그리고, 2차원 영상에 매핑하여 생성된 3차원 모델의 데이터에 대해 보간법을 실시한다(S440).
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
110 대물렌즈 120 튜브렌즈
130 마이크로 렌즈 어레이 140 이미지 센서
150 컴퓨터
130 마이크로 렌즈 어레이 140 이미지 센서
150 컴퓨터
Claims (9)
- 집적영상 현미경을 포함하는 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법에서,
집적영상 현미경을 통해 시료에 대한 집적영상과 2차원 영상을 획득하는 단계;
상기 집적영상을 다수의 시점 영상으로 구성된 라이트필드 영상으로 재구성하는 단계;
상기 라이트필드 영상에서 시차 정보를 포함하는 시차 영상을 생성하는 단계;
상기 시차 영상의 시차 정보를 상기 2차원 영상에 적용하여 3차원 모델을 생성하는 단계를 포함하며,
상기 시차 영상을 생성하는 단계는,
상기 라이트필드 영상에서 관심영역(Region of Interest, ROI)을 설정하는 단계;
상기 관심영역의 시점 영상에 대해 히스토그램 매칭을 실시하는 단계;
상기 히스토그램 매칭 후, 시점 영상의 각 방향에 대한 시차값을 계산하는 단계; 및
각 방향에 대한 시차값을 취합하여 그 평균값으로 시차 영상을 생성하는 단계
를 포함하여 이루어지는 것을 특징으로 하는 3차원 영상 디스플레이 방법.
- 삭제
- 청구항 1에 있어서,
상기 3차원 모델을 생성하는 단계는,
상기 시차 영상을 포인트 클라우드로 변환하는 단계;
상기 포인트 클라우드로 변환 후, 상기 2차원 영상의 크기로 조정하는 단계; 및
상기 2차원 영상의 크기로 조정된 포인트 클라우드를 상기 2차원 영상에 매핑하여 3차원 모델을 생성하는 단계
를 포함하여 이루어지는 것을 특징으로 하는 3차원 영상 디스플레이 방법.
- 청구항 3에 있어서,
상기 2차원 영상에 매핑하여 생성된 3차원 모델의 데이터에 대해 보간법을 실시하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 디스플레이 방법.
- 시료의 상을 설정된 배율만큼 확대하기 위한 대물 렌즈;
상기 대물 렌즈에 의해 확대된 시료의 상을 초점거리에 맞춰 하나의 광축에 모으기 위한 튜브 렌즈;
상기 튜브 렌즈를 거쳐 상이 맺히는 면인 중간 면과 이미지 센서 사이에 위치하여, 집적영상을 생성하기 위한 마이크로 렌즈 어레이;
상기 마이크로 렌즈 어레이를 통과한 상을 촬영하기 위한 이미지 센서; 및
상기 이미지 센서를 통해 시료에 대한 집적영상과 2차원 영상을 획득하고, 상기 집적영상을 다수의 시점 영상으로 구성된 라이트필드 영상으로 재구성하고, 상기 라이트필드 영상에서 시차 정보를 포함하는 시차 영상을 생성하고, 상기 시차 영상의 시차 정보를 상기 2차원 영상에 적용하여 3차원 모델을 생성하는 컴퓨터를 포함하며,
상기 컴퓨터는 상기 라이트필드 영상에서 관심영역(Region of Interest, ROI)을 설정하고, 상기 관심영역의 시점 영상에 대해 히스토그램 매칭을 실시하고, 상기 히스토그램 매칭 후, 시점 영상의 각 방향에 대한 시차값을 계산하고, 각 방향에 대한 시차값을 취합하여 그 평균값으로 시차 영상을 생성하는 것을 특징으로 하는 집적영상 현미경 시스템.
- 삭제
- 청구항 5에 있어서,
상기 컴퓨터는 상기 시차 영상을 포인트 클라우드로 변환하고, 이를 상기 2차원 영상의 크기로 조정하고, 상기 2차원 영상의 크기로 조정된 포인트 클라우드를 상기 2차원 영상에 매핑하여 3차원 모델을 생성하는 것을 특징으로 하는 집적영상 현미경 시스템.
- 청구항 7에 있어서,
상기 컴퓨터는 상기 2차원 영상에 매핑하여 생성된 3차원 모델의 데이터에 대해 보간법을 실시하는 것을 특징으로 하는 집적영상 현미경 시스템.
- 청구항 5에 있어서,
상기 컴퓨터는 동일한 시료에 대하여 상기 마이크로 렌즈 어레이가 있는 상태에서 상기 이미지 센서에 촬영된 집적 영상을 획득하고, 상기 마이크로 렌즈 어레이가 없는 상태에서 상기 이미지 센서에 촬영된 2차원 영상을 획득하는 것을 특징으로 하는 집적영상 현미경 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190174710A KR102253320B1 (ko) | 2019-12-26 | 2019-12-26 | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 |
| PCT/KR2020/009566 WO2021132824A1 (ko) | 2019-12-26 | 2020-07-21 | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190174710A KR102253320B1 (ko) | 2019-12-26 | 2019-12-26 | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102253320B1 true KR102253320B1 (ko) | 2021-05-17 |
Family
ID=76158194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190174710A KR102253320B1 (ko) | 2019-12-26 | 2019-12-26 | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102253320B1 (ko) |
| WO (1) | WO2021132824A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763301A (zh) * | 2021-09-08 | 2021-12-07 | 北京邮电大学 | 一种减小错切概率的三维图像合成方法和装置 |
| CN114923669A (zh) * | 2022-04-08 | 2022-08-19 | 北京邮电大学 | 三维显示系统的显示质量检测方法、装置、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090010775A (ko) * | 2007-07-24 | 2009-01-30 | 광운대학교 산학협력단 | 집적 영상 방식에 의해 얻어진 3차원 영상을 홀로그램기법을 이용하여 재생하는 방법 및 장치 |
| KR101203699B1 (ko) | 2011-04-04 | 2012-11-22 | 한국과학기술연구원 | 디지털 홀로그램 현미경 시스템 및 이를 이용한 3차원 영상 획득 방법 |
| KR101293576B1 (ko) * | 2013-01-08 | 2013-08-16 | 동서대학교산학협력단 | 3차원 집적 영상디스플레이의 깊이조절시스템 |
| KR20140101559A (ko) * | 2013-02-12 | 2014-08-20 | 동서대학교산학협력단 | 3차원 집적영상의 가려짐 문제 해결방법 |
| KR20140115128A (ko) * | 2013-03-20 | 2014-09-30 | 충북대학교 산학협력단 | 집적영상 카메라와 이를 이용한 홀로그램 합성 기법 |
| JP2015084055A (ja) * | 2013-10-25 | 2015-04-30 | 株式会社キーエンス | 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム |
| JP2016009983A (ja) * | 2014-06-24 | 2016-01-18 | オリンパス株式会社 | 顕微鏡 |
| KR101900254B1 (ko) * | 2017-04-25 | 2018-09-19 | 충북대학교 산학협력단 | 홀로그램 광학소자 마이크로 렌즈 어레이를 이용한 집적영상 현미경 시스템 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100730406B1 (ko) * | 2005-11-16 | 2007-06-19 | 광운대학교 산학협력단 | 중간 요소 영상을 이용한 입체 영상 표시 장치 |
| KR101600681B1 (ko) * | 2014-04-16 | 2016-03-09 | 광운대학교 산학협력단 | 집적 영상시스템의 3차원 영상 표시깊이변환방법 |
-
2019
- 2019-12-26 KR KR1020190174710A patent/KR102253320B1/ko active IP Right Grant
-
2020
- 2020-07-21 WO PCT/KR2020/009566 patent/WO2021132824A1/ko active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090010775A (ko) * | 2007-07-24 | 2009-01-30 | 광운대학교 산학협력단 | 집적 영상 방식에 의해 얻어진 3차원 영상을 홀로그램기법을 이용하여 재생하는 방법 및 장치 |
| KR101203699B1 (ko) | 2011-04-04 | 2012-11-22 | 한국과학기술연구원 | 디지털 홀로그램 현미경 시스템 및 이를 이용한 3차원 영상 획득 방법 |
| KR101293576B1 (ko) * | 2013-01-08 | 2013-08-16 | 동서대학교산학협력단 | 3차원 집적 영상디스플레이의 깊이조절시스템 |
| KR20140101559A (ko) * | 2013-02-12 | 2014-08-20 | 동서대학교산학협력단 | 3차원 집적영상의 가려짐 문제 해결방법 |
| KR20140115128A (ko) * | 2013-03-20 | 2014-09-30 | 충북대학교 산학협력단 | 집적영상 카메라와 이를 이용한 홀로그램 합성 기법 |
| JP2015084055A (ja) * | 2013-10-25 | 2015-04-30 | 株式会社キーエンス | 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム |
| JP2016009983A (ja) * | 2014-06-24 | 2016-01-18 | オリンパス株式会社 | 顕微鏡 |
| KR101900254B1 (ko) * | 2017-04-25 | 2018-09-19 | 충북대학교 산학협력단 | 홀로그램 광학소자 마이크로 렌즈 어레이를 이용한 집적영상 현미경 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763301A (zh) * | 2021-09-08 | 2021-12-07 | 北京邮电大学 | 一种减小错切概率的三维图像合成方法和装置 |
| CN113763301B (zh) * | 2021-09-08 | 2024-03-29 | 北京邮电大学 | 一种减小错切概率的三维图像合成方法和装置 |
| CN114923669A (zh) * | 2022-04-08 | 2022-08-19 | 北京邮电大学 | 三维显示系统的显示质量检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021132824A1 (ko) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7043085B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
| US9679360B2 (en) | High-resolution light-field imaging | |
| US11169367B2 (en) | Three-dimensional microscopic imaging method and system | |
| JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
| TWI510086B (zh) | 數位重對焦方法 | |
| US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
| JP2017063414A (ja) | ライト・フィールドを表すデータを生成する方法および装置 | |
| KR102253320B1 (ko) | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 | |
| US20190355101A1 (en) | Image refocusing | |
| JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
| JP6971084B2 (ja) | ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置 | |
| JP2016225811A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2012084105A (ja) | 立体像生成装置およびそのプログラム | |
| JP2015188251A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| US11967096B2 (en) | Methods and apparatuses of depth estimation from focus information | |
| CN109923854B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| CN109661817B (zh) | 一种用于生成像素光束的数据表示的装置和方法 | |
| CN108353120B (zh) | 用于生成表示像素束的数据的装置和方法 | |
| CN112835192B (zh) | 一种面向手术显微镜的立体图像互补增强装置及方法 | |
| JP6684454B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP6310418B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP7075892B2 (ja) | ピクセルビームを表すデータを生成する装置および方法 | |
| JP6297965B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| Averkin et al. | Using the method of depth reconstruction from focusing for microscope images | |
| US20240169492A1 (en) | Selective extended depth-of-field correction for image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |