KR102095723B1 - 이미지 프로세싱에서 또는 이미지 프로세싱에 관한 개선들 - Google Patents
이미지 프로세싱에서 또는 이미지 프로세싱에 관한 개선들 Download PDFInfo
- Publication number
- KR102095723B1 KR102095723B1 KR1020157021710A KR20157021710A KR102095723B1 KR 102095723 B1 KR102095723 B1 KR 102095723B1 KR 1020157021710 A KR1020157021710 A KR 1020157021710A KR 20157021710 A KR20157021710 A KR 20157021710A KR 102095723 B1 KR102095723 B1 KR 102095723B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- blood vessel
- digital blood
- clusters
- images
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 148
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 89
- 210000001525 retina Anatomy 0.000 claims description 39
- 230000004256 retinal image Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 23
- 210000000056 organ Anatomy 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 8
- 210000001557 animal structure Anatomy 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 241001465754 Metazoa Species 0.000 claims 1
- 230000002792 vascular Effects 0.000 abstract description 42
- 210000005166 vasculature Anatomy 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000009499 grossing Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
이미지 프로세싱 장치는 두 개의 이미지들을 정합하기 위하여 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터를 사용한다. 두 개의 이미지들은 상이한 이미징 모드들로부터 발생할 수 있다. 제 1 이미지 및 제 2 이미지는 각각 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기의 크기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 클러스터들을 생성하는 효과를 가진 2차원 방향성 필터(500)로 프로세싱된다. 추후, 공통 클러스터들은 코너 검출 알고리즘(600)을 사용하여 제 1 이미지 데이터 및 제 2 이미지 데이터 사이가 식별된다. 방향성 필터는 "스텝핑(stepping)" 피처들을 생성하고, 여기서 혈관 피처들은 다르게 부드러운 에지들로 나타난다. 이들 다수의 피처들은 코너 검출 알고리즘에 의해 식별되고 제 1 이미지 데이터 및 제 2 이미지 데이터 사이의 공통 클러스터들을 정합하기 위하여 사용된다(1000). 필터는 이미지들에서 혈관 피처들에 매칭되는 회전하는 가보 필터(gabor filter)일 수 있다.
Description
본 발명은 이미지 프로세싱에서 또는 이미지 프로세싱에 관한 개선들, 구체적으로 배타적이지 않게 망막(retinal) 이미지들 같은 혈관계 이미지(vasculature image)들의 쌍들 또는 시퀀스들을 정합하기 위한 방법 및 장치에 관한 것이다.
SLO(scanning laser ophthalmoscope)들 같은 이미징 시스템들은 하나 또는 그 초과의 디지털 이미지 센서들을 사용하여 망막 이미지 데이터를 캡처하기 위하여 알려져 있다. SLO들에 대한 디지털 이미지 센서들은 보통, 2D 이미지로 동기화될 수 있는 단일 데이터 스트림을 생성하기 위하여 광 강도 신호가 스캐닝 포지션 신호와 동기화되는 단일 센서이다. 디지털 이미지 센서들은 통상적으로 2차원 픽셀 어레이들이고 디지털 망막 이미지들이라 지칭되는, 대안적으로 SLO들 또는 안저 디지털 카메라(fundus camera)들 같은 다른 망막 이미징 장치들에 의해 생성된 광 감지 픽처 엘리먼트들(픽셀들) 망막 이미지들의 어레이를 포함한다.
픽셀 어레이로부터 유도된 강도 값들의 세트는 이미지 데이터로서 알려져 있다. 픽셀 어레이에 의해 출력된 "로우(raw)" 이미지 데이터는 인간에 의해 뷰잉(viewing)하거나 머신에 의해 프로세싱하기 위한 이미지를 재생하기 위하여 다양한 포스트-프로세싱(post-processing) 기술들을 겪을 수 있다. 망막 이미지들의 포스트-프로세싱 기술들은 망막 이미지들의 이미지 분석 및 상기 망막 이미지들의 쌍들 또는 시퀀스들의 정합을 위한 다양한 통계적인 방법들을 포함한다.
망막 이미지들의 쌍들 또는 시퀀스들을 정합하는 것은 일반적으로 이미지를 베이스 이미지와 정렬("정합")하기 위하여 베이스 이미지에 관하여 하나 또는 그 초과의 이미지들의 스케일링(scaling), 회전 및 병진에 관한 것이다. 정합된 망막 이미지들은 통상적으로 이미지들 사이의 비교들을 가능하게 하기 위하여 기준 망막 이미지와 중첩된다.
망막 이미지들의 쌍들 또는 시퀀스들의 아핀 정합(affine registration)을 가능하게 하는 알고리즘이 알려져 있다. 그런 알고리즘은 혈관계를 맵핑 및 추출하기 위하여 반복 탐색들 및 판단 트리(decision tree)들을 수반하는 "혈관계 추적"을 수반할 수 있다. 특히, 그런 접근법들은 보통 혈관계 분기 연결 지점(vasculature branching junction)들 같은 특정 특성 피처들을 탐색한다. 그런 알고리즘이 합리적인 정도의 정합 정확도를 제공하지만, 그런 알고리즘은 계산적으로 비효율적, 즉 계산적으로 값비싸다. 게다가, 그런 알려진 알고리즘은 단지 공통 이미징 모드들로부터 얻어진 이미지들만이 정합되게 한다. 즉, 그런 알려진 알고리즘은 반사율 또는 자동-형광(auto-fluorescence) 같은 상이한 이미징 모드들로부터 얻어진 이미지들이 정합되게 허용하지 않는다.
그런 알려진 알고리즘의 예들은 하기 공개물들에서 발견될 수 있다: US 2012/0195481A; Can 등에 의한, "A feature based, Robust, Hierarchical Algorithm for Registering Pairs of Images of the Curved Human Retina", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 24, No, 3 (2002 3월); Zana & Klein에 의한, "A Multimodal Registration Algorithm of Eye Fundus Images Using Vessels Detection and Hough Transform", IEEE Transactions on Medical Imaging, Vol 18, No 5 (1999년 5월); 및 Hu 등에 의한 "Multimodal Retinal Vessel Segmentation From Spectral-Domain Optical Coherence Tomography and Fundus Photography", IEEE Transactions on Medical Imaging, Vol 31, No 10 (2012 10월).
EP 2 064 988 A (Kowa Company, Ltd.)는 매칭 확률 스코어에 기초하여 둘 또는 그 초과의 안저 이미지들을 중첩함으로써 망막 안저 "맵들"을 생성하기 위한 디바이스 및 방법을 제안한다. 매칭은 혈관 추출 이미지에서 식별된 코너 이미지 데이터(corner image data)에 기초하여 수행된다. 그러나, 본 발명자들은, EP'988에서 제안된 기술이 특히 상이한 이미징 모드들 사이에서의 이미지들의 신뢰성 있는 매칭 및 정합을 가능하게 하기 위하여 통상적인 망막 이미지에서 혈관계의 충분한 코너 피처들을 발견하지 못할 것이라 믿는다. 망막 이미지들은 매우 가변하는 조명을 겪고, 현대의 SLO들에 의해 생성된 고해상도 망막 이미지들에서, 혈관 피처들은 비교적 부드러운-면을 가진 피처들이다. 그러므로 코너 추출은 매칭을 위하여 매우 큰 수의 후보 포인트들을 생성하지 못할 것거나, 그렇지 않으면 다양한 타입들의 노이즈에 의해 심하게 영향을 받을 것이다.
본 발명의 제 1 양상에 따라, 디지털 혈관 이미지들을 프로세싱하는 방법이 제공되고, 상기 방법은:
제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터를 제공하는 단계;
각각 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기의 크기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 클러스터들을 생성하는 효과를 가진 방향성 2차원 필터를 사용하여 제 1 이미지 데이터 및 제 2 이미지 데이터를 프로세싱하는 단계;
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 각각에서 클러스터들을 식별하는 단계;
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계; 및
제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 정합하는 단계를 포함한다.
디지털 혈관 이미지들은 망막 이미지들일 수 있다. 디지털 혈관 이미지들은 망막의 혈관계의 상세를 포함할 수 있다. 망막의 혈관계는 망막의 혈관들, 동맥들 및 정맥들을 포함한다. 망막의 혈관계는 망막의 순환계(circulatory system)를 포함한다.
디지털 혈관 이미지들은 인간 또는 동물의 장기 또는 몸의 기관의 혈관 이미지들일 수 있다. 디지털 혈관 이미지들은 장기 또는 몸의 기관의 혈관계의 상세를 포함할 수 있다. 장기 또는 몸의 기관의 혈관계는 그 내부의 혈관들, 동맥들 및 정맥들을 포함한다. 장기 또는 몸의 기관의 혈관계는 이들의 순환계를 포함한다.
제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터는 이미지 데이터를 생성하기 위하여 사용된 하나 또는 그 초과의 픽셀들 상에 입사되는 조명의 강도를 포함할 수 있다. 제 1 이미지 및 제 2 이미지는 상이한 이미징 모드들에 의해 얻어질 수 있다.
필터는 매치드 필터(matched filter)일 수 있다. 필터는 혈관 이미지 데이터의 혈관 피처들의 형태 또는 형상에 매칭되는 형태 또는 형상을 가질 수 있다.
필터는 가우시안 필터(Gaussian filter)일 수 있다. 필터는 가버 필터(Gabor filter)일 수 있다.
하나 또는 그 초과의 필터들은 동일한 필터이거나 상이한 필터들일 수 있다. 상이한 배향들에서 상이한 2차원 필터 커널(kernel)들을 사용하는 것은 혈관계가 방향에 몇몇 형상 민감성을 가지는 경우들에서 유용할 수 있다.
커널은 매치드 커널일 수 있다. 커널은 혈관 이미지 데이터의 형태 또는 형상에 매칭되는 형태 또는 형상을 가질 수 있다. 직교하여 인접한 이미지 데이터 포인트들의 클러스터들은 각각의 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기가 미리 결정된 값보다 작은 임의의 수 또는 구성의 직교하여 인접한 이미지 데이터를 포함할 수 있다.
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 각각에서 클러스터들을 식별하는 단계는 코너 검출 알고리즘의 사용을 포함할 수 있다. 코너 검출 알고리즘은 하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들을 식별하기 위하여 사용될 수 있다. 코너 검출 알고리즘은 두 개의 직교 방향들에서 하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 동시에 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들을 식별하기 위하여 사용될 수 있다. 즉, 코너 검출 알고리즘은 미리 결정된 임계치를 초과하는 두 개의 직교 방향들에서 동시에 발생하는 강도 기울기들의 변화들을 찾을 수 있다. 미리 결정된 값은 예를 들어 최대 가능한 기울기 값의 10% 내지 50%일 수 있다.
코너 검출 알고리즘은 해리스(Harris) 코너 검출 알고리즘일 수 있다. 코너 검출 알고리즘은 모라벡(Moravec) 코너 검출 알고리즘 또는 시-토마스(Shi-Thomas) 코너 검출 알고리즘일 수 있다.
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계는 컨벌빙된(convolve) 제 1 이미지 데이터 및 제 2 이미지 데이터를 상호 상관시키는 단계를 포함할 수 있다.
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계는 제 1 이미지 데이터 및 제 2 이미지 데이터에서 식별된 클러스터들을 상호 상관시키는 단계를 포함할 수 있다.
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계는 컨벌빙된 제 1 이미지 데이터 및 제 2 이미지 데이터의 다수의 상호 상관들을 포함할 수 있다. 컨벌빙된 제 1 이미지 데이터 및 제 2 이미지 데이터의 다수의 상호 상관들에 대해, 각각의 연속적인 상호 상관은 마지막 상호 상관으로부터 증가하여 회전될 수 있다. 다수의 상호 상관들은 대략 40도, 또는 그 초과까지 회전될 수 있다. 다수의 상호 상관들은 실질적으로 망막의 시신경 유두(optic disc) 포인트 둘레에 위치된 피봇 포인트 둘레를 대략 20도 또는 그 초과까지 단계적으로 회전될 수 있다.
컨벌빙된 제 1 이미지 데이터 및 제 2 이미지 데이터를 상호 상관시키는 단계는 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 식별된 공통 클러스터들 사이의 포지션의 차이들을 결정하는 추가 단계를 포함할 수 있다. 클러스터의 포지션은 상기 클러스터의 각도 포지션 및/또는 병진 포지션을 포함할 수 있다. 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 식별된 공통 클러스터들 사이의 포지션의 차이들은 병진 파라미터들로 지칭될 수 있다.
제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 정합하는 단계는 제 1 이미지 데이터 및 제 2 이미지 데이터를 정렬하기 위하여 결정된 병진 파라미터들을 사용한다. 제 2 이미지 데이터는 제 1 이미지 데이터와 정합될 수 있거나 제 1 이미지 데이터는 제 2 이미지 데이터와 정합될 수 있다. 정합된 이미지 데이터는 중첩될 수 있다.
방법은 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터의 사이즈를 감소시키는 부가적인 초기 단계를 포함할 수 있다. 이것은 이미지 데이터의 하나 또는 그 초과의 부분들을 제거하는 단계를 포함할 수 있다. 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터의 사이즈를 감소시키는 단계는 이미지 데이터를 필터링하는 단계, 평활화(smoothing)하는 단계, 샘플링하는 단계 또는 서브 샘플링하는 단계들을 포함할 수 있다. 이미지 데이터를 필터링하는 단계, 평활화하는 단계, 샘플링하는 단계 또는 서브 샘플링하는 단계는 임의의 횟수 반복될 수 있다.
방법은 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터를 다운 샘플링(down sampling)하는 부가적인 초기 단계를 포함할 수 있다. 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터를 다운 샘플링하는 단계는 하나 또는 그 초과의 이미지 데이터 스케일링 계산들을 포함할 수 있다. 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터를 다운 샘플링하는 단계는 하나 또는 그 초과의 이미지 데이터 피라미드 스케일링 계산들을 포함할 수 있다.
방법은 혈관계와 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터의 백그라운드(backgroud) 사이의 콘트래스트를 증가시키는 부가적인 초기 단계를 포함할 수 있다. 방법은 혈관계와 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터의 백그라운드 사이의 콘트래스트를 최적화하는 부가적인 초기 단계를 포함할 수 있다. 혈관계와 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터의 백그라운드 사이의 콘트래스트를 최적화하는 단계는 히스토그램 균등화를 사용하는 단계를 포함할 수 있다. 혈관계와 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터의 백그라운드 사이의 콘트래스트를 최적화하는 단계는 적응성 히스토그램 균등화를 사용하는 단계를 포함할 수 있다.
방법은 혈관계와 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터의 백그라운드 사이의 콘트래스트를 증가시키는 단계 이후 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터로부터 노이즈를 제거하는 부가적인 단계를 포함할 수 있다. 제 1 디지털 혈관 이미지 데이터 및/또는 제 2 디지털 혈관 이미지 데이터로부터 노이즈를 제거하는 단계는 저역-통과 필터의 사용을 포함할 수 있다.
방법은 하나 또는 그 초과의 인접 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들을 함께 병합, 또는 링킹하는 부가적인 단계를 포함할 수 있다. 클러스터들은 클러스터들 사이의 강도 데이터를 증가시킴으로써 "병합"될 수 있다. 단일 통과 평균화 필터, 또는 커널은 클러스터들 사이의 이미지 데이터의 강도 값을 해당 구역 내 클러스터들의 평균 강도 값으로 조절하기 위하여 사용될 수 있다. 이것의 효과는, 두 개의 클러스터들이 함께 만나서 사실상 하나의 클러스터가 되도록 주어진 구역 내의 강도 값들을 블러(blur)하거나, 평균화하는 것이다.
방법은 제 1 병합된 클러스터 이미지 데이터 및/또는 제 2 병합된 클러스터 이미지 데이터의 사이즈를 감소시키는 부가적인 단계를 포함할 수 있다. 이것은 이미지 데이터의 하나 또는 그 초과의 부분들을 제거하는 단계를 포함할 수 있다. 제 1 병합된 클러스터 이미지 데이터 및/또는 제 2 병합된 클러스터 이미지 데이터의 사이즈를 감소시키는 단계는 이미지 데이터를 필터링, 평활화, 샘플링 또는 서브 샘플링하는 단계들을 포함할 수 있다. 이미지 데이터를 필터링, 평활화, 샘플링 또는 서브 샘플링하는 단계들은 임의의 횟수 반복될 수 있다.
방법은 제 1 병합된 클러스터 이미지 데이터 및/또는 제 2 병합된 클러스터 이미지 데이터를 다운 샘플링하는 부가적인 초기 단계를 포함할 수 있다. 제 1 병합된 클러스터 이미지 데이터 및/또는 제 2 병합된 클러스터 이미지 데이터를 다운 샘플링하는 단계는 하나 또는 그 초과의 이미지 데이터 스케일링 계산들을 포함할 수 있다. 제 1 병합된 클러스터 이미지 데이터 및/또는 제 2 병합된 클러스터 이미지 데이터를 다운 샘플링하는 단계는 하나 또는 그 초과의 이미지 데이터 피라미드 스케일링 계산들을 포함할 수 있다.
방법은 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터로부터 제 1 디지털 혈관 이미지 및/또는 제 2 디지털 혈관 이미지를 생성하는 부가적인 단계를 포함할 수 있다.
방법은 각각의 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 제 1 클러스터 및/또는 제 2 클러스터의 디지털 이미지를 생성하는 부가적인 단계를 포함할 수 있다.
방법은 하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및/또는 제 2 이미지 데이터에서 식별된 클러스터들의 디지털 이미지를 생성하는 부가적인 단계를 포함할 수 있다.
방법은 하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이의 식별된 공통 클러스터들의 디지털 이미지를 생성하는 부가적인 단계를 포함할 수 있다.
방법은 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 정합된 공통 클러스터들의 디지털 이미지를 생성하는 부가적인 단계를 포함할 수 있다.
방법은 복수의 디지털 혈관 이미지 데이터를 제공하는 단계 및 모든 이미지 데이터 사이의 모든 공통 클러스터들을 정합하기 위하여 본 발명의 제 1 양상에 따라 각각의 디지털 이미지 데이터를 프로세싱하는 단계를 포함할 수 있다.
본 발명의 제 2 양상에 따라 이미지 프로세싱 장치가 제공되고, 이미지 프로세싱 장치는:
제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터를 제공하도록 배열된 디지털 혈관 이미지 제공 모듈; 및
프로세서를 포함하고, 프로세서는:
각각의 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기의 크기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 클러스터들을 생성하는 효과를 가진 2차원 방향성 필터를 사용하여 제 1 이미지 데이터 및 제 2 이미지 데이터를 프로세싱하고;
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들을 식별하고;
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하고; 그리고
제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 정합하도록 배열된다.
본 발명의 제 3 양상에 따라 이미지 프로세싱 장치를 가진 SLO(scanning laser ophthalmoscope)가 제공되고, 이미지 프로세싱 장치는:
제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터를 제공하도록 배열된 디지털 혈관 이미지 제공 모듈; 및
프로세서를 포함하고, 프로세서는:
각각의 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기의 크기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 클러스터들을 생성하는 효과를 가진 2차원 방향성 필터를 사용하여 제 1 이미지 데이터 및 제 2 이미지 데이터를 프로세싱하고;
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들을 식별하고;
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하고; 그리고
제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 정합하도록 배열된다.
본 발명의 제 4 양상에 따라, 컴퓨터상에서 실행될 때, 컴퓨터로 하여금 이미지 데이터를 수신하고 디지털 혈관 이미지들을 프로세싱하는 방법을 수행하게 하는 명령들이 인코딩된 컴퓨터 프로그램 물건이 제공되고, 디지털 혈관 이미지들을 프로세싱하는 방법은:
제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터를 제공하는 단계;
각각 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기의 크기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 클러스터들을 생성하는 효과를 가진 2차원 방향성 필터를 사용하여 제 1 이미지 데이터 및 제 2 이미지 데이터를 프로세싱하는 단계;
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 각각에서 클러스터들을 식별하는 단계;
하나 또는 그 초과의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계; 및
제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들을 정합하는 단계를 포함한다.
컴퓨터 프로그램 물건은 하나 또는 그 초과의 명령들 또는 코드로서 컴퓨터-판독가능 매체상에 저장되거나 컴퓨터-판독가능 매체를 통해 전송될 수 있다. 컴퓨터-판독가능 미디어는 컴퓨터 스토리지 미디어, 및 하나의 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 가능하게 하는 임의의 매체를 포함하는 통신 미디어 둘 다를 포함한다. 스토리지 미디어는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능 미디어일 수 있다. 예에 의해 그런 컴퓨터-판독가능 미디어는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 명령들 또는 데이터 구조들의 형태의 원하는 프로그램 코드를 운반하거나 저장하기 위하여 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결은 적당하게 컴퓨터-판독가능 매체로 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 꼬임 쌍선, 디지털 가입자 회선(DSL: digital subscriber line), 또는 무선 기술들(이를테면, 적외선(IR), 라디오 및 마이크로파)을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 전송된다면, 동축 케이블, 광섬유 케이블, 꼬임 쌍선, DSL 또는 무선 기술들(이를테면, 적외선, 라디오 및 마이크로파)이 매체의 정의에 포함된다. 본원에 사용되는 디스크(disk 및 disc)는 컴팩트 disc(CD), 레이저 disc, 광학 disc, 디지털 다용도 디스크(disc)(DVD), 플로피 디스크(disk) 및 Blu-rayTM 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하는 한편, 디스크(disc)들은 데이터를 레이저들을 이용하여 광학적으로 재생한다. 상기의 결합들은 또한 컴퓨터-판독가능 매체의 범위 내에 포함되어야 한다. 컴퓨터 프로그램 물건의 컴퓨터-판독가능 매체와 연관된 명령들 또는 코드는 컴퓨터에 의해, 예를 들어 하나 또는 그 초과의 프로세서들, 이를테면 하나 또는 그 초과의 디지털 신호 프로세서(DSP)들, 범용 마이크로프로세서들, ASIC들, FPGA들, 또는 다른 등가의 집적 또는 이산 로직 회로에 의해 실행될 수 있다.
본 발명의 실시예는 이제 단지 예에 의해, 첨부 도면들을 참조하여 설명될 것이다.
도 1은 디지털 혈관 이미지들을 프로세싱하는 방법을 상세하는 흐름도 도표이다.
도 2a 및 도 2b는 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지이다.
도 3a 및 도 3b는 다운 샘플링, 균등화 및 필터링 후 도 2a 및 도 2b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지이다.
도 4a 및 도 4b는 회전하는 가버 커널을 사용한 컨벌루션(convolution) 후 도 3a 및 도 3b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지이다.
도 5a 및 도 5b는 코너 검출 알고리즘을 사용한 프로세싱, 블러링 및 다운 샘플링 후 도 4a 및 도 4b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지이다.
도 6은 마이크로-코너 스텝핑(stepping) 구조의 식별 및 마킹 후 도 5a의 제 1 디지털 혈관 이미지이다.
도 7은 도 5a 및 도 5b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지의 상호 상관을 상세하는 개략도이다.
도 8은 프로세싱 방법 동안 생성된 디지털 혈과 이미지들 및 정합된 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지를 예시한다.
도 1은 디지털 혈관 이미지들을 프로세싱하는 방법을 상세하는 흐름도 도표이다.
도 2a 및 도 2b는 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지이다.
도 3a 및 도 3b는 다운 샘플링, 균등화 및 필터링 후 도 2a 및 도 2b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지이다.
도 4a 및 도 4b는 회전하는 가버 커널을 사용한 컨벌루션(convolution) 후 도 3a 및 도 3b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지이다.
도 5a 및 도 5b는 코너 검출 알고리즘을 사용한 프로세싱, 블러링 및 다운 샘플링 후 도 4a 및 도 4b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지이다.
도 6은 마이크로-코너 스텝핑(stepping) 구조의 식별 및 마킹 후 도 5a의 제 1 디지털 혈관 이미지이다.
도 7은 도 5a 및 도 5b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지의 상호 상관을 상세하는 개략도이다.
도 8은 프로세싱 방법 동안 생성된 디지털 혈과 이미지들 및 정합된 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지를 예시한다.
도 1은 망막 이미지들의 쌍들 또는 시퀀스들의 아핀 정합을 위한 정합 알고리즘의 방법 단계들을 상세하는 흐름도이다. 도 1은 디지털 망막 이미지 데이터를 프로세싱하는 방법 단계들을 예시한다. 제 1 이미지는 "베이스 이미지"라 지칭되고, 각각의 추후 이미지는 "입력" 이미지라 지칭된다.
도 1, 도 2a 및 도 2b를 참조하여, 방법의 제 1 단계(100)는 제 1 디지털 망막 이미지 데이터 및 제 2 디지털 망막 이미지 데이터를 제공하는 것이다. 제 1 디지털 망막 이미지 데이터 및 제 2 디지털 망막 이미지 데이터는 제 1 디지털 망막 이미지 및 제 2 디지털 망막 이미지(10a, 10b)에 의해 표현된다. 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터는 이미지 데이터를 생성하기 위하여 사용된 하나 또는 그 초과의 픽셀들 상에 입사하는 조명의 강도를 포함한다. 본원에 예시된 제 1 디지털 망막 이미지 및 제 2 디지털 망막 이미지(10a, 10b)는 기술에서 알려진 바와 같이, 시야가 넓은 SLO(scanning laser ophthalmoscope)에 의해 얻어진다. 도 2a 및 도 2b에 예시된 바와 같이, 제 1 망막 이미지 및 제 2 망막 이미지(10a, 10b)는 망막(3)의 시신경 유두(1) 및 혈관계(2)를 도시한다.
방법의 제 2 단계(200)는 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터의 사이즈를 감소시키는 것이다. 이것은 데이터를 다운 샘플링함으로써 달성된다. 본원에 설명된 본 발명의 실시예에서, 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터는 피라미드 스케일링 계산을 통해 다운 샘플링된다. 그러나, 다른 알려진 필터링, 평활화, 샘플링 또는 서브 샘플링 계산 방법이 사용될 수 있다는 것이 인식되어야 한다.
제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터의 사이즈를 감소시키는 것은 추후 계산들의 속도를 증가시키고 공진의 최적 정도가 추후 컨벌루션 동작들(이후 설명됨) 동안 발생하도록 혈관계 피처들을 스케일링한다. 다운 샘플링은 통상적인 곡률, 및 따라서 마이크로-코너들이 관심 영역 내에 있도록, 즉 최상의 "공진"이 코너 검출 필터, 또는 커널로 달성되도록 혈관계를 스케일링한다.
방법의 제 3 단계(300)는 혈관계와 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터의 백그라운드 사이의 콘트래스트를 최적화하는 것이다. 이것은 히스토그램 균등화 계산의 사용을 통해 달성된다. 본원에 설명된 본 발명의 실시예에서 적응성 히스토그램 균등화는 혈관계와 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터의 백그라운드 사이의 콘트래스트를 최적화하기 위하여 사용된다. 적응성 히스토그램 균등화는 로컬 콘트래스트를 증가시키면서 이미지 데이터에서 일반 조명의 변동들을 감쇠시킨다. 이것은 이미지 백그라운드에 관하여 혈관계를 강조하는 효과를 가진다. 이 효과는 그렇지 않으면 편광 효과들이 혈관계 정보를 뒤덮는 경향이 있을 구역들에서 가장 현저하다.
방법의 제 4 단계(400)는 적응성 히스토그램 균등화의 사용을 통하여 나타나는 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터로부터 노이즈를 제거하는 것이다. 이 노이즈의 제거는 추후 컨벌루션 동작들(이후 설명됨) 동안 거짓 "코너 히트(corner hit)들"을 레코딩하는 기회들을 감소시킨다. 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터로부터 노이즈를 제거하는 단계는 LP(low pass) 노이즈 필터에 의해 달성된다.
도 3a 및 도 3b는 다운 샘플링(단계 200), 균등화(단계 300) 및 노이즈 감소(단계 400) 후 도 2a 및 도 2b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지(10a, 10b)이다. 도 3a 및 도 3b로부터 볼 수 있는 바와 같이, 망막의 혈관계(2)와 백그라운드(4) 사이의 콘트래스트는 초기 제 1 디지털 망막 이미지 및 제 2 디지털 망막 이미지(2a, 2b)에 비교하여 강화되었다. 망막의 백그라운드(4)에 관련하여 혈관계(2)의 강화는 추후 컨벌루션 동작들(이후 설명됨)의 결과들을 개선시킨다.
방법의 제 5 단계(500)는 각각의 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 클러스터들을 생성하는 효과를 가진 방향성 필터를 사용하여 제 1 이미지 데이터 및 제 2 이미지 데이터를 프로세싱하는 것이다. 본원에 설명된 본 발명의 실시예에서 방향성 필터를 사용한 제 1 이미지 데이터 및 제 2 이미지 데이터를 프로세싱하는 단계(500)는 회전하는 가버 커널(또는 필터)을 사용하여 제 1 이미지 데이터 및 제 2 이미지 데이터를 컨벌빙함으로써 수행된다. 직교하여 인접한 이미지 데이터 포인트들은 픽셀 데이터의 어레이에서 서로 직접 인접한 이미지 데이터 포인트들, 즉 어레이의 임의의 주어진 행 또는 열에서 서로 인접한 이미지 데이터 포인트들을 의미하는 것으로 고려된다. 클러스터들이 임의의 수 또는 구성의 직교하여 인접한 이미지 데이터를 포함할 수 있다는 것이 인식되어야 한다. 즉, 클러스터들은 배열 1×1, 1×2, 2×1, 2×2, 3×2, 2×3 이미지 데이터 포인트들 등일 수 있다.
가버 커널은 본 경우에 혈관계, 즉 혈관계 단면을 가로질러 이미지 데이터의 강도의 형태 또는 형상에 매칭되는 프로파일을 가진 2차원 가우시안 필터 커널의 형태이다. 가버 커널의 가우시안 형상은 혈관계의 프로파일에 "맞거나" "공진하도록" 허용하여, 혈관계를 강조하지만, 또한 다른(백그라운드) 구역들에 맞지 않고, 따라서 이들 구역들을 감쇠시킨다.
가버 커널은 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각을 사용하여 다수 번 컨벌빙된다. 각각의 연속적인 컨벌루션에 대해 가버 커널은 이미지 데이터에 관하여 상이하게 배향된다. 본원에 설명된 실시예에서 가버 커널은 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각을 사용하여 효과적으로 8회 컨벌빙되고, 가버 커널은 각각의 연속적인 컨벌루션에 대한 이미지 데이터에 관하여 45도 회전된다. 그러므로 가버 커널은 8회 컨벌루션들을 통하여 이미지 데이터에 관하여 360도까지 회전된다. 가버 커널은 혈관계 단면들의 특성들과 공진하는데 특히 효과적인 것으로 발견되었다. 커널이 대칭인 실시예에서, 360 도를 걸쳐 8회 컨벌루션들의 효과는 실제로 180도를 걸쳐 이격된 단지 4회의 컨벌루션들을 사용하여 달성될 수 있다.
회전하는 가버 커널을 사용한 컨벌루션 후 제 1 디지털 망막 이미지 데이터 및 제 2 디지털 망막 이미지 데이터는 도 4a 및 도 4b에 표현된다. 도 4a 및 도 4b는 모두 8회의 컨벌루션들의 평균 출력을 표현한다. 예시된 바와 같이, 상기 설명된 회전하는 가버 커널을 사용하여 제 1 디지털 망막 이미지 데이터 및 제 2 디지털 망막 이미지 데이터를 컨벌빙하는 효과는 각각 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기의 크기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 클러스터들(12)을 생성하는 것이다. 다른 말로 컨벌루션은 유사한 강도 값들을 가진 직교하여 인접한 이미지 데이터 포인트들의 그룹들을 생성한다. [데이비드: 나는 코너 검출을 설명하는 선택에 임계치 미만을 세팅하는 것에 관하여 이 절을 옮겼다. 나는 그레이그의 설명에서 임계치 "미만" 및 임계치 "초과"가 동일하다고 생각한다. 그러나, 우리의 미팅에서 논의된 바와 같이, 임계치는 명시적으로 코너 검출 단계에서만 적용된다. 그러므로 코너 검출 단계의 맥락에서 임계치의 세팅을 논의하는 것이 보다 말이 된다(DAVID: I have moved this paragraph about setting the threshold down to the section describing the corner detection. I think in Craig’s description the “less than” threshold and the “greater than” threshold are the same. As discussed at our meeting, however, the threshold is only explicitly applied in the corner detection step. Therefore it makes more sense to discuss the setting of the threshold in the context of the corner detection step).]
도 4a 내지 도 6을 참조하여, 회전하는 가버 커널을 사용한 컨벌루션 후 제 1 디지털 망막 이미지 데이터 및 제 2 디지털 망막 이미지 데이터는 망막(3)의 혈관계(2)를 추적하는 코너(또는 "마이크로-코너") 피처들이 보여질 수 있는 클러스터들(12)의 라인을 포함한다. 이는 클러스터들(12)의 코너(또는 마이크로-코너) 피처들을 생성하는 이미지 데이터에 관하여 가버 커널의 회전이다. 특히, 이는 클러스터들(12)의 코너(또는 마이크로-코너) 피처들을 생성하는 적어도 90 도를 통한 가버 커널의 회전이다.
따라서 망막(3)의 혈관계(2)는 로컬 레벨에서, 망막(3)의 클러스터들(12)과 백그라운드(4) 사이의 클러스터들(12)의 코너(또는 마이크로-코너) 피처들의 고강도 기울기 "스텝핑" 구조의 형태로 강화되었다. 클러스터들(12)의 코너 피처들은 상기 설명된 바와 같이, 이미지 데이터의 어레이의 임의의 코너일 수 있다. 용어 "마이크로-코너"는 1×2 또는 2×1 이미지 데이터 포인트들로 이루어진 클러스터(12)르 지칭할 수 있다.
방법의 제 6 단계(600)는 하나 또는 그 초과의 인접 클러스터들(12) 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들(12)을 식별(또는 추출)하는 것이다. 따라서 제 6 단계(600)는 망막(3)의 혈관계(2)와 백그라운드(4) 사이의 경계상에 대략적으로 놓이는 클러스터들(12)을 식별한다. 도 4a 내지 도 6에 예시된 바와 같이, 클러스터들(12)은 백그라운드(4)보다 높은 강도를 가진다. 따라서 방법의 단계(600)는 망막(3)의 혈관계(2)를 추적하는 클러스터들(12)을 식별한다.
본원에 설명된 본 발명의 실시예에서 하나 또는 그 초과의 인접한 클러스터들(12) 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들(12)을 식별하는 단계(600)는 코너 검출 알고리즘을 사용하여 수행된다. 본원에 설명된 실시예에서 해리스 코너 검출 알고리즘은, 하나 또는 그 초과의 인접한 클러스터들(12) 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들(12)을 식별하기 위하여 사용된다. 그러나, 임의의 다른 적당한 코너 검출 알고리즘이 사용될 수 있다는 것이 인식되어야 한다.
코너 검출 알고리즘은 컨벌빙된 제 1 및 제 2 디지털 망막 이미지에서 직교 에지 포인트들을 찾는다. 특히, 기울기가 동시에 두 개의 방향들에서 임계치를 초과하는 포인트들을 찾을 것이다. 알고리즘은 요구된 바와 같이, 특정 감도 및 품질 임계치들로 구성 가능하다. 도 6은 코너 검출 알고리즘에 의해 식별된 포인트들(+)을 예시한다.
코너 검출 알고리즘은 통상적으로, 코너 포인트들의 존재가 보통 발견되지 않기 때문에, 망막 이미지들과 함께 사용되지 않는다. 그러나, 회전하는 가버 커널 같은 방향성 필터를 사용한 이미지 데이터의 프리-프로세싱(pre-processing)은 혈관계(2)가 로컬 레벨에서 높은 강도 기울기 "스텝핑 구조"의 형태로 강화된 이미지 데이터, 또는 혈관계(2) 전체에 걸쳐 코너(또는 마이크로-코너) 피처들의 라인들을 초래한다. 이는 망막(3)의 혈관계(2)를 표시하는 클러스터들(12)을 식별하기 위하여 코너 검출 알고리즘의 사용을 가능하게 하는 회전 가버 커널을 사용한 이런 프리-프로세싱이다. 알려진 추적 알고리즘의 사용에 의해 혈관계를 맵핑하고 추출하는 것과 비교할 때 이 방법의 장점은 계산 로딩의 상당한 감소이다.
이미지 데이터가 히스토그램 균등화되었기 때문에, 관심 있는 강도 기울기 임계치들은 전체 이미지 데이터에 걸쳐 대략 동일할 것이다. 미리 결정된 임계치의 값은 균등화에 사용된 관심 영역의 사이즈에 의존할 것이다. 실제 값을 세팅하는 것은 임의의 분석적 방법에 의해 수행될 필요가 있는 것이 아니라, 시험 및 에러 경험 수단에 의해 간단히 행해질 수 있다. 몇몇 실시예들에서, 임계치는 예를 들어 최대 가능한 기울기의 10% 내지 50%일 수 있다. 예를 들어, 최대 기울기가 255인 실시예에서, 50의 임계 기울기가 설정될 수 있고, 이는 가능한 최대치의 약 20%를 나타낸다.
방법의 제 7 단계(700)는 하나 또는 그 초과의 인접한 클러스터들(12) 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 클러스터들(12)을 함께 병합하는 것이다. 따라서 제 7 단계(700)는 혈관계(2)를 추가로 강조하기 위하여 클러스터들(12)을 블러링하거나 함께 병합한다. 이미지 데이터가 이미지에 표현될 때, 제 7 단계(700)의 효과는 혈관계(2)를 따른 클러스터들(12)의 "점들을 연결"하는 것이다. 방법의 단계(700)는 각각의 이미지 데이터에서 클러스터들(12)의 포지셔닝이 약간 다를 수 있기 때문에 유용하고, 그러므로 클러스터들(12)을 병합하는 것은 보다 많은 클러스터들(12)이 특성 포지션들에서 오버랩하는 기회를 증가시킨다. 이미지로부터 "임계화된" 혈관계 코너 포인트들은 여전히 그레이스케일(greyscale) 형태로 있고, 즉 각각의 데이터 포인트는, 비록 모두가 임계값 초과이지만 여전히 상이한 강도 값을 가질 수 있다. 그러므로 방법은 "임계화된" 이미지 데이터를, 모든 "코너" 클러스터들이 1의 값을 가지며 모든 다른 이미지 데이터 포인트들이 0의 값을 가진 이진 이미지로 컨버팅하는 추가 단계를 포함할 수 있다.
방법의 제 8 단계(800)는 속눈썹들 같은 비-관련 피처들에 첨부될 수 있는 이미지 주변의 클러스터들(12)을 마스킹(mask)하는 것이다.
방법의 제 9 단계(900)는 제 1 및 제 2 병합된 클러스터 이미지 데이터의 사이즈를 감소시키는 것이다. 이것은 데이터를 다운 샘플링함으로써 달성된다. 본원에 설명된 본 발명의 실시예에서 제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터는 피라미드 스케일링 계산을 통해 다운 샘플링된다. 그러나, 다른 알려진 필터링, 평활화, 샘플링 또는 서브 샘플링 계산 방법이 사용될 수 있다는 것이 인식되어야 한다.
병합(단계 700), 마스킹(800) 및 다운 샘플링(900) 후 제 1 망막 이미지 데이터 및 제 2 망막 이미지 데이터는 도 5a 및 도 5b에 표현된다.
방법의 제 10 단계(1000)는 하나 또는 그 초과의 인접 클러스터들(12) 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들(12)을 식별하는 것이다. 따라서 제 10 단계(1000)는 제 1 망막 이미지 데이터 및 제 2 망막 이미지 데이터 각각 사이에서 공통 클러스터들(12)을 식별한다. 본원에 설명된 실시예에서 단계(1000)는 도 5a 및 도 5b의 이미지 데이터를 상호 상관시키는 단계를 수반한다.
도 5a 및 도 5b의 이미지 데이터의 상호 상관은 도 7 및 도 1에 예시된다. 본원에 설명된 실시예에서 도 5b의 제 2 이미지 데이터는 도 5a의 제 1 이미지 데이터와 다수 번 상호 상관된다. 각각의 추후 상호 상관에 의해 제 2 이미지 데이터는 마지막 이미지 데이터에 관하여 증가하여 회전된다. 다수의 상호 상관들은 대략 40 도까지 회전될 수 있다. 다수의 상호 상관들은 실질적으로 망막의 시신경 유두 둘레에 위치된 피봇 포인트 둘레를 대략 20도까지 회전될 수 있다. 물론, 다수의 상호 상관들은 실질적으로 망막의 시신경 유두 둘레에 위치된 피봇 포인트 둘레를 대략적으로 임의의 적당한 각도까지 회전될 수 있다.
데이터는 정상화된 상호 상관으로서 출력된다. 각각의 상관 각도에 대해 상호 상관의 피크(즉, 이미지 데이터 사이의 최상의 매칭)가 레코딩되고 각각의 상관 각도에 대해 상관 표면(5) 내의 피크 분리부(isolation)의 측정치로부터 신뢰가 추론된다. 보다 구체적으로, 신뢰 계수는 상관 표면(5)의 나머지 평균(즉, 피크 구역을 제외함)에 의해 나눈 피크 "벽들"의 총 기울기에 의해 곱해진 피크 높이의 가중으로서 계산된다. 이 메트릭(metric)의 높은 값은 밀접 상관 특성 및 그러므로 정합 정확도에서 높은 신뢰인 날카롭고, 높고, 분리된 피크를 가리킨다. 신뢰가 임의의 하나의 분리된 상관 피크의 부재로서 관찰될 수 있는 낮은(low)으로 토글링(toggle)되는 임계치는 1보다 작은 값들이 낮은 신뢰를 가리키도록 신뢰 측정을 가중함으로써 수립된다.
방법의 제 10 단계(1000)는 또한 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 식별된 공통 클러스터들(12) 사이의 포지션의 차이를 결정하는 단계를 포함한다. 클러스터(12)의 포지션은 자신의 각도 및 병진 포지션(회전 각도 및 x 및 y 병진들)을 포함한다. 제 1 이미지 데이터 및 제 2 이미지 데이터의 각각에서 식별된 공통 클러스터들(12) 사이의 포지션의 차이들은 병진 파라미터들로 지칭된다.
방법의 제 11 단계(1100)는 제 1 이미지 데이터 및 제 2 이미지 데이터 사이에서 공통 클러스터들(12)을 정합하는 것이다. 여기서 단계(1000)로부터 결정된 병진 파라미터들은, 알려진 방식으로 제 2 이미지 데이터를 제 1 이미지 데이터에 정렬하기 위하여 사용되거나, 제 1 디지털 망막 이미지 및 제 2 디지털 망막 이미지(10a, 10b)을 정렬하기 위하여 사용된다.
도 8은 프로세싱 방법 동안 생성된 디지털 혈관 이미지들 및 정합된 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지(10a, 10b)을 예시한다. 도 8의 좌상부 및 우상부는 다운 샘플링(단계 200), 균등화(단계 300) 및 노이즈 감소(단계 400) 후도 2a 및 도 2b의 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지(10a, 10b)(도 3a 및 도 3b)을 예시한다. 도 8의 중간 좌측 및 중간 우측은 회전하는 가버 커널을 사용하여 컨벌루션 후 제 1 디지털 망막 이미지 데이터 및 제 2 디지털 망막 이미지 데이터(도 4a 및 도 4b)를 예시한다. 도 8의 좌측 하부 및 우측 하부는 정합된 포지션들에서 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지(10a, 10b)을 예시한다. 도 8의 상부 중앙은 도 7의 상관 표면(5)이다. 도 8의 중앙 중간은 각각의 상관 각도에 대한 상호 상관에서 피크를 예시한다. 도 8의 중앙 하부는 정합되고 오버레이된 제 1 디지털 혈관 이미지 및 제 2 디지털 혈관 이미지(10a, 10b)를 예시한다.
본 발명의 방법은 프로세서의 계산 요건들을 크게 감소시키고, 정확도를 증가시키고 다수의 이미징 모드들에 걸쳐 얻어진 이미지들에 대한 정합을 허용한다. 본 발명의 방법에 의해 제공된 계산 효율성은, 혈관계가 혈관계를 추적하는 이미지 데이터 클러스터들의 고강도 기울기 "스텝핑" 구조를 제공하도록 수정된 이미지 데이터를, 회전하는 가버 커널을 사용하는 이미지 데이터 컨벌빙이 생성하는 실현의 결과이다. 이미지 데이터에서 이들 코너(또는 마이크로-코너) 피처들의 생성은 비교 및 정합을 위하여 클러스터들의 포지션을 추출하기 위하여 알려진 코너 검출 알고리즘의 사용을 가능하게 한다. 회전하는 가버 커널을 사용하는 이미지 데이터 컨벌빙 및 이런 방식으로 코너 검출 알고리즘을 사용하는 것은 방법의 계산 요건들을 감소시킨다. 게다가, 코너 검출 알고리즘을 사용하는 것은, 코너들(및 혈관계)이 알려진 망막 이미지 정합 기술들과 비교하여 정확하게 결정될 수 있기 때문에, 정합 프로세스의 정확도를 증가시킨다.
또한, 방법이 상이한 망막 이미징 모드들(예를 들어, 반사율, 자동-형광 등)에 걸쳐 공통인 피처 세트들(혈관계 포인트들 사이의 거리들)을 사용하기 때문에, 인터-모드 정합(즉, 자동-형광 대 반사율 이미지들)이 가능하다.
수정들 및 개선들은 본 발명의 범위에서 벗어남이 없이 상기에 대해 이루어질 수 있다. 예를 들어, 비록 방법이 망막 이미지들의 사용과 함께 설명 및 예시되었지만, 인간 또는 동물의 장기 또는 몸의 기관의 혈관 이미지들 같은 다른 디지털 혈관 이미지들이 사용될 수 있다는 것이 인식되어야 한다. 장기 또는 몸의 기관의 혈관계는 그 내부에 혈관 동맥들 및 정맥들을 포함할 수 있다. 장기 또는 몸의 기관의 혈관계는 또한 상기 혈관계의 순환계를 포함할 수 있다.
게다가, 비록 방법이 가버 커널의 사용과 함께 설명되었지만, 임의의 적당한 형상의 커널, 필터, 필터 매트릭스, 윈도우, 템플릿(template) 또는 마스크가 사용될 수 있다는 것이 인식되어야 한다. 예를 들어 가우시안 필터 또는 커널이 사용될 수 있다. 또한, 비록 360 도까지 회전하는(8회 컨벌루션들을 사용함) 회전하는 가버 커널이 설명되었지만, 커널이 "회전할" 필요가 없고, 두 개의 직교 차원들에서 이미지 데이터가 컨벌빙되는 것만이 필요하다(즉, 제 1 컨벌루션 및 그 다음 제 1 컨벌루션으로부터 90도의 각도로 제 2 컨벌루션)는 것이 인식되어야 한다. 그러나, 360 도까지 커널을 회전하는 것은 상기 설명된 바와 같이 혈관계의 강화를 개선하고 바람직하다. 게다가, 방법이 이미지 데이터를 사용하여 다수 번 컨벌빙된 단일 커널을 사용하는 것으로 상기 설명되었지만, 임의의 수의 상이한 커널들이 상기 커널들에 관하여 임의의 수의 각도들로 이미지 데이터를 사용하여 컨벌빙될 수 있다는 것이 인식되어야 한다.
또한, 방법이 두 개의 망막 이미지들을 정합하는 것으로 상기 설명 및 예시되었지만, 방법이 복수의 디지털 혈관 이미지 데이터(및 복수의 디지털 혈관 이미지들)를 제공하는 단계 및 모든 이미지 데이터 및 이미지들을 정합하기 위하여 상기 설명된 방법에 따라 각각의 디지털 이미지를 프로세싱하는 단계를 포함할 수 있다는 것이 인식되어야 한다.
Claims (25)
- 디지털 혈관 이미지들을 프로세싱하는 방법으로서,
제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터를 제공하는 단계;
각각 직교하여 인접한 이미지 데이터 포인트 사이의 강도 기울기(gradient)의 크기가 미리 결정된 값보다 작은 직교하여 인접한 이미지 데이터 포인트들의 클러스터(cluster)들을 생성하는 효과를 갖는 2차원 방향성 필터를 사용하여 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터를 프로세싱하는 단계;
하나 이상의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터 각각에서 클러스터들을 식별하는 단계;
상기 하나 이상의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값보다 큰 경우, 상기 제 1 이미지 데이터와 상기 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계; 및
상기 제 1 이미지 데이터와 상기 제 2 이미지 데이터 사이의 상기 공통 클러스터들을 정합(register)하는 단계
를 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 방향성 필터를 사용하여 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터를 프로세싱하는 단계는 하나 이상의 필터 커널(kernel)들을 사용하는 이미지 데이터의 다수의 컨벌루션(convolution)들을 포함하고, 상기 필터 커널(들)은 각각의 컨벌루션에 대해 상이하게 배향되는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 2 항에 있어서,
상기 필터는 각각의 연속적인 컨벌루션에 대해 상기 이미지 데이터에 관하여 증가하여(incrementally) 회전되는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 2 항에 있어서,
상기 필터는 다수의 컨벌루션들을 통하여 상기 이미지 데이터에 관하여 360 도까지 사실상 회전되는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 방향성 필터는 가버 필터(Gabor filter)인,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 하나 이상의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터의 각각에서 클러스터들을 식별하는 단계는, 코너 검출 알고리즘(corner detection algorithm)의 사용을 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 6 항에 있어서,
상기 코너 검출 알고리즘은, 두 개의 직교 방향들에서 상기 하나 이상의 인접한 클러스터들 사이의 강도 기울기의 크기가 동시에 상기 미리 결정된 값을 초과하는 경우, 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터의 각각에서 클러스터들을 식별함으로써 동작하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 6 항에 있어서,
상기 미리 결정된 값은 최대 가능한 기울기 값의 10% 내지 50%인,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 하나 이상의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 상기 제 1 이미지 데이터와 상기 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계는 컨벌빙된(convolved) 제 1 및 제 2 이미지 데이터를 상호 상관시키는 단계를 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 하나 이상의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 상기 제 1 이미지 데이터와 상기 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계는, 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터에서 식별된 클러스터들을 상호 상관시키는 단계를 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 하나 이상의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 상기 제 1 이미지 데이터와 상기 제 2 이미지 데이터 사이에서 공통 클러스터들을 식별하는 단계는, 상이한 배향들을 갖는 컨벌빙된 제 1 및 제 2 이미지 데이터의 다수의 상호 상관들을 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 11 항에 있어서,
상기 다수의 상호 상관들은 실질적으로 망막의 시신경 유두(optic disc) 포인트 둘레에 위치된 피봇(pivot) 포인트 둘레를 20도 또는 그 초과까지 단계적으로 회전되는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 10 항에 있어서,
컨벌빙된 제 1 및 제 2 이미지 데이터를 상호 상관시키는 단계는 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터의 각각에서 식별된 공통 클러스터들 사이의 포지션의 차이들을 결정하는 추가 단계를 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 13 항에 있어서,
상기 클러스터의 포지션은 상기 클러스터의 각도 포지션 및/또는 상기 클러스터의 병진 포지션을 포함하고, 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터의 각각에서 식별된 공통 클러스터들 사이의 포지션의 차이들은 병진 파라미터들로 지칭되고, 상기 제 1 이미지 데이터와 상기 제 2 이미지 데이터 사이의 공통 클러스터들을 정합하는 단계는 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터를 정렬하기 위하여 결정된 병진 파라미터들을 사용하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 디지털 혈관 이미지들을 프로세싱하는 방법은, 상기 하나 이상의 인접한 클러스터들 사이의 강도 기울기의 크기가 미리 결정된 값을 초과하는 경우, 상기 제 1 이미지 데이터 및 상기 제 2 이미지 데이터의 각각에서 클러스터들을 병합(merge)하는 단계를 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
클러스터들 사이의 이미지 데이터의 강도 값을 해당 구역에서 상기 클러스터들의 평균 강도 값으로 조정하기 위하여 평균화 필터가 사용되는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 디지털 혈관 이미지들을 프로세싱하는 방법은, 상기 제 1 디지털 혈관 이미지 데이터 및 상기 제 2 디지털 혈관 이미지 데이터로부터 제 1 디지털 혈관 이미지 및/또는 제 2 디지털 혈관 이미지를 생성하는 단계를 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 디지털 혈관 이미지들을 프로세싱하는 방법은, 상기 제 1 이미지 데이터와 상기 제 2 이미지 데이터 사이의 정합된 공통 클러스터들의 디지털 이미지를 생성하는 단계를 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 디지털 혈관 이미지들을 프로세싱하는 방법은, 복수의 디지털 혈관 이미지 데이터를 제공하는 단계 및 모든 이미지 데이터 사이의 모든 공통 클러스터들을 정합하기 위하여 제 1 항의 방법에 따라 각각의 디지털 이미지 데이터를 프로세싱하는 단계를 포함하는,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 디지털 혈관 이미지들은 인간 또는 동물의 장기 또는 몸의 기관의 혈관 이미지들인,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 1 항에 있어서,
상기 디지털 혈관 이미지들은 인간 또는 동물의 망막 이미지들인,
디지털 혈관 이미지들을 프로세싱하는 방법. - 제 20 항에 있어서,
상기 디지털 혈관 이미지들은 상이한 모드들의 이미징을 사용하여 획득되는 이미지들인,
디지털 혈관 이미지들을 프로세싱하는 방법. - 이미지 프로세싱 장치로서,
제 1 디지털 혈관 이미지 데이터 및 제 2 디지털 혈관 이미지 데이터를 제공하도록 배열된 디지털 혈관 이미지 제공 모듈; 및
제 1 항의 방법을 수행하도록 구성된 프로세서
를 포함하는,
이미지 프로세싱 장치. - 제 23 항의 이미지 프로세싱 장치를 포함하는, SCO(scanning laser ophthalmoscope).
- 명령들을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체로서,
상기 명령들은, 컴퓨터 상에서 실행될 때, 상기 컴퓨터로 하여금 이미지 데이터를 수신하게 하고 그리고 제 1 항에 따라 디지털 혈관 이미지들을 프로세싱하는 방법을 수행하게 하는,
비-일시적 컴퓨터-판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB201302887A GB201302887D0 (en) | 2013-02-19 | 2013-02-19 | Improvements in or relating to image processing |
| GB1302887.3 | 2013-02-19 | ||
| PCT/GB2014/050480 WO2014128456A1 (en) | 2013-02-19 | 2014-02-19 | Improvements in or relating to image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150119860A KR20150119860A (ko) | 2015-10-26 |
| KR102095723B1 true KR102095723B1 (ko) | 2020-04-01 |
Family
ID=48048612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157021710A KR102095723B1 (ko) | 2013-02-19 | 2014-02-19 | 이미지 프로세싱에서 또는 이미지 프로세싱에 관한 개선들 |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US9454817B2 (ko) |
| EP (1) | EP2959455B1 (ko) |
| JP (1) | JP6446374B2 (ko) |
| KR (1) | KR102095723B1 (ko) |
| CN (1) | CN104919491B (ko) |
| AU (1) | AU2014220480B2 (ko) |
| BR (1) | BR112015014769A2 (ko) |
| CA (1) | CA2895297C (ko) |
| DK (1) | DK2959455T3 (ko) |
| ES (1) | ES2800627T3 (ko) |
| GB (1) | GB201302887D0 (ko) |
| HK (1) | HK1218984A1 (ko) |
| WO (1) | WO2014128456A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016189946A (ja) * | 2015-03-31 | 2016-11-10 | 富士フイルム株式会社 | 医用画像位置合わせ装置および方法並びにプログラム |
| JP6572615B2 (ja) * | 2015-04-30 | 2019-09-11 | 株式会社ニデック | 眼底画像処理装置、および眼底画像処理プログラム |
| WO2017123128A1 (en) * | 2016-01-14 | 2017-07-20 | Prismatic Sensors Ab | A measurement circuit for an x-ray detector, and a corresponding method and x-ray imaging system |
| JP2018061622A (ja) | 2016-10-11 | 2018-04-19 | オプトス ピーエルシー | 眼底観察装置 |
| WO2019034231A1 (en) | 2017-08-14 | 2019-02-21 | Optos Plc | TRACKING RETINAL POSITION |
| US11523736B2 (en) | 2017-11-16 | 2022-12-13 | Victor X. D. YANG | Systems and methods for performing gabor optical coherence tomographic angiography |
| CN109166124B (zh) * | 2018-11-20 | 2021-12-14 | 中南大学 | 一种基于连通区域的视网膜血管形态量化方法 |
| JP7410481B2 (ja) | 2019-12-10 | 2024-01-10 | 国立大学法人 筑波大学 | 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体 |
| CN110960187A (zh) * | 2019-12-16 | 2020-04-07 | 天津中医药大学第二附属医院 | 不同中医证型高血压视网膜血管病变的评价方法 |
| CN111110332B (zh) * | 2020-01-19 | 2021-08-06 | 汕头市超声仪器研究所股份有限公司 | 一种穿刺针显影增强图像优化方法 |
| CN114393895B (zh) * | 2022-01-21 | 2024-05-17 | 山东晶创新材料科技有限公司 | 一种基于聚丙烯长丝非织造布的复合防水卷材tpo制备方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005504595A (ja) | 2001-10-03 | 2005-02-17 | レティナリゼ・ダンマーク・アクティーゼルスカブ | 画像内の病変の評定 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5080944B2 (ja) * | 2007-11-08 | 2012-11-21 | 興和株式会社 | パノラマ眼底画像合成装置及び方法 |
| JP4909378B2 (ja) * | 2009-06-02 | 2012-04-04 | キヤノン株式会社 | 画像処理装置及びその制御方法、コンピュータプログラム |
| JP5694161B2 (ja) * | 2010-02-26 | 2015-04-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 瞳孔検出装置及び瞳孔検出方法 |
| JP5701024B2 (ja) * | 2010-11-26 | 2015-04-15 | キヤノン株式会社 | 画像処理装置及び方法 |
| AU2012207076A1 (en) * | 2011-01-20 | 2013-08-15 | University Of Iowa Research Foundation | Automated determination of arteriovenous ratio in images of blood vessels |
| US8355544B2 (en) | 2011-02-01 | 2013-01-15 | Universidade Da Coruna-Otri | Method, apparatus, and system for automatic retinal image analysis |
| JP2012254164A (ja) * | 2011-06-08 | 2012-12-27 | Canon Inc | 眼科情報処理システム、眼科情報処理方法及びプログラム |
-
2013
- 2013-02-19 GB GB201302887A patent/GB201302887D0/en not_active Ceased
-
2014
- 2014-02-19 BR BR112015014769A patent/BR112015014769A2/pt not_active IP Right Cessation
- 2014-02-19 EP EP14706670.8A patent/EP2959455B1/en active Active
- 2014-02-19 CN CN201480004739.8A patent/CN104919491B/zh active Active
- 2014-02-19 WO PCT/GB2014/050480 patent/WO2014128456A1/en active Application Filing
- 2014-02-19 DK DK14706670.8T patent/DK2959455T3/da active
- 2014-02-19 JP JP2015557523A patent/JP6446374B2/ja active Active
- 2014-02-19 CA CA2895297A patent/CA2895297C/en active Active
- 2014-02-19 US US14/654,249 patent/US9454817B2/en active Active
- 2014-02-19 ES ES14706670T patent/ES2800627T3/es active Active
- 2014-02-19 AU AU2014220480A patent/AU2014220480B2/en active Active
- 2014-02-19 KR KR1020157021710A patent/KR102095723B1/ko active IP Right Grant
-
2016
- 2016-06-16 HK HK16106959.8A patent/HK1218984A1/zh unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005504595A (ja) | 2001-10-03 | 2005-02-17 | レティナリゼ・ダンマーク・アクティーゼルスカブ | 画像内の病変の評定 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014128456A1 (en) | 2014-08-28 |
| CA2895297C (en) | 2020-09-22 |
| HK1218984A1 (zh) | 2017-03-17 |
| GB201302887D0 (en) | 2013-04-03 |
| AU2014220480A1 (en) | 2015-07-02 |
| US20150324966A1 (en) | 2015-11-12 |
| EP2959455A1 (en) | 2015-12-30 |
| DK2959455T3 (da) | 2020-06-22 |
| JP2016514974A (ja) | 2016-05-26 |
| CA2895297A1 (en) | 2014-08-28 |
| US9454817B2 (en) | 2016-09-27 |
| BR112015014769A2 (pt) | 2017-07-11 |
| AU2014220480B2 (en) | 2019-05-23 |
| CN104919491B (zh) | 2018-05-04 |
| ES2800627T3 (es) | 2021-01-04 |
| JP6446374B2 (ja) | 2018-12-26 |
| KR20150119860A (ko) | 2015-10-26 |
| CN104919491A (zh) | 2015-09-16 |
| EP2959455B1 (en) | 2020-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102095723B1 (ko) | 이미지 프로세싱에서 또는 이미지 프로세싱에 관한 개선들 | |
| Nasr-Esfahani et al. | Melanoma detection by analysis of clinical images using convolutional neural network | |
| EP1918852B1 (en) | Image processing method and image processor | |
| Su et al. | A new method for linear feature and junction enhancement in 2D images based on morphological operation, oriented anisotropic Gaussian function and Hessian information | |
| Wang et al. | A fast method for automated detection of blood vessels in retinal images | |
| Kang et al. | The biometric recognition on contactless multi-spectrum finger images | |
| Mudassar et al. | Extraction of blood vessels in retinal images using four different techniques | |
| Vlachos et al. | Finger vein segmentation from infrared images based on a modified separable mumford shah model and local entropy thresholding | |
| Meng et al. | A framework for retinal vasculature segmentation based on matched filters | |
| Singh et al. | A new morphology based approach for blood vessel segmentation in retinal images | |
| Ng et al. | An effective segmentation method for iris recognition system | |
| Noah Akande et al. | Implementation of a framework for healthy and diabetic retinopathy retinal image recognition | |
| Kumar et al. | An efficient registration-based approach for retinal blood vessel segmentation using generalized Pareto and fatigue pdf | |
| Avey et al. | An FPGA-based hardware accelerator for iris segmentation | |
| Parekar et al. | Automatic retinal image registration using fully connected vascular tree | |
| Almotiri et al. | An automated region-of-interest segmentation for optic disc extraction | |
| Ng et al. | Iris recognition algorithms based on texture analysis | |
| CN115409765B (zh) | 一种基于眼底视网膜图像的血管提取方法及装置 | |
| Sivaranjani et al. | A Study on Retinal Image Segmentation and Registration Methods | |
| Shahbeig et al. | Automatic Optic Disc and Macula Extraction in Retinal Images Using Curvelet Transform-based Enhancement and Multi-Directional Functors | |
| Vlachos et al. | A Region Growing Method Based on Statistical Attributes of Infrared Images for Finger Vein Pattern Extraction | |
| Cao et al. | A two-stage framework for optical coherence tomography angiography image quality improvement | |
| Zhang | Multi-Modal Retinal Image Registration via Deep Neural Networks | |
| Patankar et al. | Directional gradient based registration of retinal images | |
| Marrugo | Effect of Speckle Filtering in the Performance of Segmentation of Ultrasound Images Using CNNs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |