KR20220076507A - 망막 혈관 동정맥 구분 방법 및 장치, 기기 - Google Patents

망막 혈관 동정맥 구분 방법 및 장치, 기기 Download PDF

Info

Publication number
KR20220076507A
KR20220076507A KR1020227015077A KR20227015077A KR20220076507A KR 20220076507 A KR20220076507 A KR 20220076507A KR 1020227015077 A KR1020227015077 A KR 1020227015077A KR 20227015077 A KR20227015077 A KR 20227015077A KR 20220076507 A KR20220076507 A KR 20220076507A
Authority
KR
South Korea
Prior art keywords
blood vessel
vessel
arteriovenous
image
segment
Prior art date
Application number
KR1020227015077A
Other languages
English (en)
Inventor
리밍 다이
홍양 지앙
동동 장
레이 위
Original Assignee
베이징 젠헬스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 젠헬스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 젠헬스 테크놀로지 컴퍼니 리미티드
Publication of KR20220076507A publication Critical patent/KR20220076507A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/005
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 망막 혈관 동정맥 구분 방법 및 장치, 기기를 개시하였고, 방법에는 혈관추출영상, 안저영상 및 시신경유두의 중심좌표를 획득하고, 혈관추출영상, 안저영상 및 시신경유두의 중심좌표에 의해 메인 혈관을 추출하여 메인 혈관 영상을 획득하고, 메인 혈관 영상을 기반으로 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 획득하고, 복수의 단일 혈관 세그먼트에 대해 관경을 측정하여 각 단일 혈관 세그먼트의 관경너비를 획득하고, 각 관경너비에 따라 복수의 동정맥혈관쌍을 선택하여 얻는다. 실제 장면의 안저 망막 컬러 영상에서 테스트 효과가 우수하고 다른 유형, 다른 브랜드, 다른 등급의 영상 품질의 안저영상에 모두 좋은 효과가 있으며 알고리즘의 강인성과 보편성이 비교적 강하고, 망막 혈관 동정맥의 구분 및 관경 측정 알고리즘의 실제 장면에서의 실시를 가능하게 하였다.

Description

망막 혈관 동정맥 구분 방법 및 장치, 기기
본 출원은 망막 혈관 동적맥 구분 기술에 관한 것이다.
안저 망막 혈관 동정맥 관경비 지표는 의사가 동맥경화 질환을 진단 시 중요한 참조지표이다. 그러나 의사가 실제로 영상을 판독할 때, 여전히 육안으로 검출하는 방법에 따라 1/2 초과, 1/3 초과 및 1/2 미만, 1/3 미만 등 동정맥 관경비의 대략적인 비율을 제공한다. 육안으로 검출하는 방법에는 비교적 큰 오차가 존재하고, 특히 신 안과 의사나 일반 안과 의사의 경우, 영상을 판독하는 과정에서 잘못 판단하는 등 상황이 있을 수 있다. 따라서 컴퓨터를 통해 망막 메인 혈관 동정맥 관경비의 비율을 정확히 측정하는 것은 의사가 동맥경화를 임상적으로 진단하는 데 있어서 큰 도움이 되며, 의사가 영상을 판독하는 효율을 높이는 데 효과적이다. 또한, 컴퓨터로 동맥경화증과 같은 비정상적인 혈관 형태를 가진 질병을 보조적으로 진단하는 것을 진일보로 구현하는 데에도 큰 의의가 있다.
기계학습방법에 기반한 망막 혈관 동정맥 구분 방법은 알고리즘의 보편성과 강인성이 떨어지는 문제가 있다.
이러한 점을 감안하여, 본 개시는 망막 혈관 동정맥 구분 방법을 제안하였다.
망막 혈관 동정맥 구분 방법에 있어서,
혈관 추출 영상, 안저 영상, 시신경유두의 중심 좌표를 획득하고;
상기 혈관 추출 영상, 상기 안저 영상 및 상기 시신경유두의 중심좌표에 의거하여 메인 혈관을 추출하여 메인 혈관 영상을 얻고, 상기 메인 혈관 영상을 기반으로 상기 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 얻고;
복수의 상기 단일 혈관 세그먼트에 대해 관경을 측정하여 각 상기 단일 혈관 세그먼트의 관경너비를 획득하고, 각 상기 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 획득하고;
복수의 상기 동정맥혈관쌍에서 불합격 동정맥 혈관쌍을 제거하고 합격된 동정맥혈관쌍을 보류하는 단계를 포함하고;
그 중에서, 불합격 동정맥 혈관을 제거하는 데는:
각각의 상기 동정맥혈관쌍 중 단일 혈관 세그먼트의 평균 영상 밝기를 얻고, 상기 평균 영상 밝기에 따라 복수의 상기 동정맥혈관쌍에서 상기 불합격 동정맥혈관쌍을 제거하는 것을 포함한다.
하나의 가능한 구현형태에서, 복수의 상기 동정맥 혈관쌍에서 불합격 동정맥 혈관쌍을 제거하고 합격된 동정맥 혈관쌍을 보류하는 단계를 더 포함하고;
그 중에서, 불합격 동정맥 혈관을 제거하는 데는:
각각의 상기 동정맥 혈관쌍 중 단일 혈관 세그먼트의 평균 영상 밝기를 얻고, 상기 평균 영상 밝기에 따라 복수의 상기 동정맥 혈관쌍에서 상기 불합격 동정맥 혈관쌍을 제거하는 것을 포함한다.
하나의 가능한 구현방식에서, 상기 혈관 추출 영상, 상기 안저 영상 및 상기 시신경유두의 중심좌표에 의거하여 메인 혈관을 추출하는 데는:
상기 혈관 추출 영상에서 끊어진 혈관을 제거하여 가장 큰 연통된 혈관을 얻고;
상기 연통된 혈관에 의거하여 혈관 골격을 추출하고;
상기 혈관 골격에 의거하여 혈관의 교차점을 추출하되 상기 교차점을 제거하고;
상기 시신경유두의 중심좌표 및 상기 안저영상에 의거하여 상기 혈관 골격의 미세 혈관 세그먼트 및 비메인 혈관가지를 제거하여 메인 혈관을 얻는 것을 포함하고;
그 중에서, 상기 연통된 혈관에 의것하여 혈관 골격을 추출할 경우, Opencv의 골격 추출 함수를 사용하여 상기 연통된 혈관에서 상기 혈관 골격을 추출한다.
하나의 가능한 구현방식에서, 불합격 동정맥 혈관쌍을 제거하는 데는:
각각의 상기 동정맥 혈관쌍에서 단일 혈관쌍 중 동맥혈관과 정맥혈관 사이의 끼인각을 얻고, 상기 끼인각에 의해 복수의 상기 동정맥 혈관쌍에서 상기 불합격 동정맥 혈관쌍을 제거하고;
각각의 상기 동정맥 혈관쌍에서 단일 혈관쌍 중 동맥혈관과 정맥혈관 사이의 거리를 얻고, 상기 거리에 의해 복수의 상기 동정맥 혈관쌍에서 상기 불합격 동정맥 혈관쌍을 제거하는 것을 포함한다.
하나의 가능한 구현방식에서, 상기 혈관 골격에 의거하여 혈관의 교차점을 추출하되 상기 교차점을 제거하는 데는:
상기 혈관 골격을 이진화하여 그레이 스케일 영상을 얻고;
3x3 템플릿을 사용하여 상기 그레이 스케일 영상을 순회하고 매거법으로 상기 그레이 스케일 영상에서 상기 교차점을 추출하고;
상기 교차점을 원심으로 하고, 반경인 4픽셀 이내의 픽셀 값을 0으로 설정하는 것을 포함한다.
하나의 가능한 구현방식에서, 상기 시신경유두의 중심좌표 및 상기 안저영상에 의거하여 상기 혈관 골격의 미세 혈관 세그먼트 및 비메인 혈관가지를 제거하여 메인 혈관을 얻는 데는:
상기 시신경유두의 중심좌표 및 상기 안저영상의 황반영역 연결선을 정반축으로 하고;
상기 정반축의 시계 방향으로 110° 및 상기 정반축의 반시계 방향으로 110°의 영역을 보류하고;
3X3ELLIPSE를 사용하여 상기 그레이 스케일 영상에 대해 세분화하여 메인 혈관을 얻는 것을 포함한다.
하나의 가능한 구현방식에서, 상기 메인 혈관 영상을 기반으로 상기 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 획득하는 데는:
상기 시신경유두의 중심좌표를 원심으로 하여 예정된 반경 내에서 예정된 스텝 사이즈로 바깥쪽으로 상기 메인 혈관을 순회 및 절취하여 복수의 소혈관 세그먼트를 얻고;
복수의 상기 소혈관 세그먼트에 대해 볼록 껍질 검출을 수행하여 복수의 매끄러운 혈관 세그먼트를 얻고;
복수의 상기 매끄러운 혈관 세그먼트 중 예정된 굴곡률 역치보다 큰 상기 매끄러운 혈관 세그먼트를 제거하여 직선 혈관 세그먼트를 얻고;
Opencv에서의 직사각형 검출 API를 사용하여 상기 직선 혈관 세그먼트에 대하여 검출하여 혈관 각도를 얻고;
예정된 각도 구간에 의거하여 복수의 상기 단일 혈관 세그먼트가 획득되는 것을 포함한다.
하나의 가능한 구현방식에서, 복수의 상기 단일 혈관 세그먼트에 대해 관경을 측정하여 각 상기 단일 혈관 세그먼트의 관경너비를 획득하고, 각 상기 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 획득하는 데는:
각 상기 단일 혈관 세그먼트의 중선을 취하고, 상기 중선의 중심점을 상기 단일 혈관 세그먼트의 양단으로 예정된 픽셀만큼 연신하여 중선 라인 세그먼트를 얻고;
상기 중선 세그먼트의 양단의 끝점의 수직선 방정식을 계산하고;
상기 수직선 방정식 사이의 상기 단일 혈관 세그먼트의 하나의 윤곽선에 대해 직선 피팅하여 제1직선을 얻고;
상기 제1 직선의 기울기에 기반하여, 최소 이승법을 사용하여 다른 한 윤곽선에 대해 직선 피팅함으로써 제2 직선을 얻고;
상기 제1직선과 제2직선 사이의 거리를 계산하여 혈관 관경을 얻고;
복수의 상기 단일 혈관 세그먼트 중 관경이 가장 큰 것을 선택하여 정맥으로 하고;
상기 정맥과 기타 단일 혈관 세그먼트 사이의 거리를 계산하고 상기 정맥에 가장 가까운 상기 단일 혈관 세그먼트를 선택하여 동맥으로 하는 것이 포함된다.
본 발명의 다른 한 측면에 따르면, 망막 혈관 동정맥 구분 장치를 제공한 것으로서, 데이터 획득 모듈, 혈관 스크리닝 모듈 및 동정맥 혈관쌍 선택 모듈을 포함하고;
상기 데이터 획득 모듈은 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표를 획득하는 것으로 구성되고;
상기 혈관 스크리닝 모듈은 상기 혈관 추출 영상, 상기 안저 영상 및 상기 시신경유두의 중심좌표에 의거하여 메인 혈관을 추출하여 메인 혈관 영상을 얻고, 상기 메인 혈관 영상을 기반으로 상기 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 얻는 것으로 구성되고;
상기 동정맥 혈관쌍 선택 모듈은 복수의 상기 단일 혈관 세그먼트에 대해 관경을 측정하여 각 상기 단일 혈관 세그먼트의 관경너비를 획득하고, 각 상기 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 획득하는 것으로 구성되고;
복수의 상기 동정맥 혈관쌍에서 불합격 동정맥혈관쌍을 제거하고 합격된 동정맥혈관쌍을 보류하는 단계를 포함하고;
그 중에서, 불합격 동정맥혈관쌍을 제거하는 데는:
각각의 상기 동정맥 혈관쌍 중 단일 혈관 세그먼트의 평균 영상 밝기를 얻고, 상기 평균 영상 밝기에 따라 복수의 상기 동정맥 혈관쌍에서 상기 불합격 동정맥 혈관쌍을 제거하는 것을 포함한다.
본 발명의 다른 한 측면에 따르면, 망막 혈관 동정맥 구분 기기를 제공하는 것으로서,
프로세서;
프로세서 실행 가능 명령어를 저장하기 위한 메모리를 포함하고;
그중에서, 상기 프로세서는 상기 실행 가능 명령어를 실행할 때 상기 임의의 방법을 구현하도록 구성된다.
혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표를 획득하는 것을 통해 혈관추출영상, 안저영상 및 시신경유두의 중심좌표에 의거하여 메인 혈관을 추출하여 메인 혈관 영상을 획득하고, 메인 혈관 영상을 기반으로 메인 혈관에 대하여 절취하여 복수의 단일 혈관 세그먼트를 획득하고, 복수의 단일 혈관 세그먼트의 관경을 측정하여 각 단일 혈관 세그먼트의 관경너비를 획득하고, 각 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 얻는다. 실제 장면의 안저 망막 컬러 영상에서 테스트 효과가 우수하고 다른 유형, 다른 브랜드, 다른 등급의 영상 품질의 안저 영상에 모두 좋은 효과가 있으며 알고리즘의 강인성과 보편성이 비교적 강하고, 망막 혈관 동정맥의 구분 및 관경 측정 알고리즘의 실제 장면에서의 실시를 가능하게 하였다.
다음으로 도면을 참조하여 예시적인 실시예를 상세히 설명하는 것에 의해 본 개시의 기타 특징 및 측면이 명백해질 것이다.
본 명세서에 포함되어 본 명세서의 일부를 구성하는 도면과 명세서는 함께 본 개시의 예시적인 실시예, 특징 및 측면을 나타내고, 본 개시의 원리를 해석하는 역할을 한다.
도 1은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 흐름도를 도시하였고;
도 2는 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 512Х512 크기의 안저 영상 개략도를 도시하였고;
도 3은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 512Х512 크기의 혈관 추출 영상 개략도를 도시하였고;
도 4는 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 혈관 추출 테스트 영상 개략도를 도시하였고;
도 5는 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 혈관 추출 테스트 결과 영상 개략도를 도시하였고;
도 6은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 다른 하나의 흐름도를 도시하였고;
도 7은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 안저 영상 개략도를 도시하였고;
도 8은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 시신경유두 검출의 테스트 영상 개략도를 도시하였고;
도 9는 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 시신경유두 검출의 테스트 결과 영상 개략도를 도시하였고;
도 10은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 혈관 방향 개략도를 도시하였고;
도 11은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 황반 영역 개략도를 도시하였고;
도 12는 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 링 템플릿 개략도를 도시하였고;
도 13은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 소혈관 세그먼트의 개략도를 도시하였고;
도 14는 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 윤곽 직선 피팅 개략도를 도시하였고;
도 15는 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 관경 개략도를 도시하였고;
도 16은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 장치의 블록도를 도시하였고;
도 17은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 기기의 블록도를 도시하였다.
이하, 도면을 참조하여 본 개시의 여러 예시적인 실시예, 특징 및 측면에 대하여 상세히 설명한다. 도면에서 동일한 도면 부호는 기능이 동일하거나 유사한 소자를 나타낸다. 실시 예의 여러 측면을 도면에 나타났지만 특별히 설명되지 않는 한 도면은 반드시 비례에 따라 작성된 것은 아니다.
여기서, 용어 "예시적인"은 "예시, 실시예 또는 설명적”인 것으로 사용된다. 여기서, "예시적인" 것으로 설명된 임의의 실시예는 반드시 다른 실시예 보다 바람직하거나 우수한 것으로 해석되어서는 아니된다.
또한, 본 개시내용을 보다 잘 설명하기 위해, 다음의 구체적인 실시형태에서 많은 구체적인 세부 사항이 제공된다. 당업자는 본 개시내용은 특정된 구체적인 세부사항이 없어도 실시될 수 있다는 것을 이해해야 한다. 일부 실시예에서, 당업자에 의해 숙지된 방법, 수단, 소자 및 회로에 대하여 본 개시내용의 주제를 두드러지게 하기 위해 상세하게 설명하지 않았다.
도 1은 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 흐름도를 도시하였다. 도 1에 도시한 바와 같이, 해당 망막 혈관 동정맥 구분 방법은,
혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표를 획득하는 단계S100와, 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표에 의해 메인 혈관을 추출하여 메인 혈관 영상을 획득하고, 메인 혈관 영상을 기반으로 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 획득하는 단계S200와, 복수의 단일 혈관 세그먼트에 대하여 관경을 측정하여 각 단일 혈관 세그먼트의 관경너비를 획득하고, 각 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 얻는 단계S300를 포함한다.
상기 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표를 획득하고 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표에 의해 메인 혈관을 추출하는 것을 통해 메인 혈관 영상을 획득하고, 메인 혈관 영상을 기반으로 메인 혈관에 대하여 절취하여 복수의 단일 혈관 세그먼트를 획득하고, 복수의 단일 혈관 세그먼트에 대해 관경을 측정하여 각 단일 혈관 세그먼트의 관경너비를 획득하고, 각 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 얻는다. 따라서, 실제 장면의 안저 망막 컬러 도면에서 테스트 효과가 우수하게 나타나고 각종 유형, 각종 브랜드, 각종 등급의 영상 품질의 안저영상에 대하여 모두 좋은 효과가 있으며 알고리즘의 강인성과 보편성이 비교적 강하고, 망막 혈관 동정맥의 구분 및 관경 측정 알고리즘의 실제 장면에서의 실시를 가능하게 하였다.
우선, 본 출원의 실시예에서 망막 혈관 동정맥 구분 방법은 기계 학습을 기반으로 구현된다는 점에 유의해야 한다. 여기서, 본 출원의 실시예에 따른 망막 혈관 동정맥 구분 방법에서, 혈관 추출 영상 및 시신경유두의 중심좌표의 획득은 대응되는 네트워크 모델을 사용하여 구현할 수 있다.
구체적으로, U-net 네트워크 구조를 사용하여 혈관 추출 영상을 구현할 수 있고, 시신경유두의 중심좌표도 마찬가지로U-net 네트워크 구조를 사용하여 구현할 수 있다.
U-net 네트워크 구조를 사용하여 혈관 추출 영상과 시신경유두의 중심좌표를 얻기 전에 먼저 사용되는 네트워크 모델에 대해 트레이닝시켜 최종적으로 수렴된 네트워크 구조를 얻어야 한다.
여기서, 사용되는 네트워크 모델에 대하여 트레이닝 시, 먼저 혈관 추출과 시신경유두 검출에 대한 트레이닝 데이터 세트를 구축하고, 혈관 추출용 트레이닝 데이터 세트 구축에서 DRIVE 퍼블릭 데이터 세트로부터 20장 의 트레이닝 세트 및 18장의 테스트 세트를 사용하고, 데이터 증폭 후, 합계 3004장이고 테스트 세트는 2장으로서 합계 2장이며 그 중에서 도면은 모두 565Х584픽셀이며, 시신경유두 검출에 대한 트레이닝 데이터 세트 구축에서 트레이닝 세트는 refuge2018 트레이닝 세트 및 검증 세트로서 800장, drishti-gsl 트레이닝 데이터 세트 50장, rim-one-r3 트레이닝 데이터 세트 159장이며, 데이터 증폭 후 합계 4036장이고 테스트 세트에는 refuge2018 테스트 세트 400장, drishti-gsl 테스트 세트 51장, 합계 451장이 포함되며, 진일보로, 혈관 추출층에서 먼저 트레이닝 데이터 세트에 대해 검은 에지를 클리핑한 다음 G채널을 추출한 다음 CLAHE를 사용하여 (콘트라스트 제한 적응 히스토그램 균등화) 영상 보강을 수행하고, 이어서 정규화하고, 영상에 대해 수평 반전, 콘트라스트 조정 및 랜덤 클리핑을 수행하고 트레이닝 데이터 세트를 3004 장으로 증폭하며, 그 중에서 혈관 추출층의 모델 트레이닝의 네트워크 구조는 U-Net이며, 입력 사이즈는 512Х512이며, 최적화 방법은 아담(Adam)이고, 학습 속도는 0.0001이고, 배치 사이즈(Batch_size)는 2이며, 손실 함수는 dice_loss이고, 트레이닝 횟수는 150에폭(epoch)이고, 조기 정지(early_stopping) 메커니즘이 추가되고, 모델 테스트 영상은 도 6을 참조하고, 모델 결과 영상은 도 7을 참조한다. 마찬가지로, 시신경유두 검출층에서, 우선, 트레이닝 세트 데이터 영상에 대하여 검은 에지를 클리핑하고, 다음에 중앙 값 필터를 수행하고, 영상을 512Х512의 사이즈로 확대한 다음, G채널을 추출하고, 다음으로 CLAHE를 사용하여 (콘트라스트 제한 적응 히스토그램 균등화) 영상 보강을 수행하고 이어서 정규화하고, 화상에 대해 수평 반전, 콘트라스트 조정하고, 트레이닝 데이터 세트를 4036장으로 증폭하며, 시신경유두 검출층의 모델 트레이닝의 네트워크 구조는 U-Net이고, 입력 사이즈는 512Х512이며, 최적화 방법은 Adam이고, 학습률은 0.0001이며, 배치 사이즈(Batch_size)는 4이고, 손실 함수는 dice_loss이고, 트레이닝 횟수는 150에폭(epoch)이며, 조기 정지(early_stopping) 메카니즘을 추가하고, 모델 테스트 영상은 도 8을 참조하고, 테스트 결과 영상은 도 9를 참조한다.
네트워크 모델에 대한 트레이닝이 완료된 다음 트레이닝된 네트워크 모델을 사용하여 혈관 추출 영상과 시신경유두의 중심좌표를 얻을 수 있다. 즉, 도 1을 참조하면, S100 단계를 수행하여 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표를 획득한다.
하나의 가능한 실시형태에서, 먼저 하나의 안저 망막의 컬러 영상을 입력하고, 도 3을 참조하여 이에 대한 전처리 작업을 수행한 다음 각각 혈관 추출 및 시신경유두 검출을 수행하여 혈관 추출 결과 및 시신경유두 검출 결과를 얻고, 상기 작업이 모두 끝나면 전처리된 컬러 안저 영상, 망막 혈관 추출 영상, 시신경유두의 좌표를 동정맥 구분 모듈로 입력하여 정동맥을 구분하고, 예를 들어, 도 2를 참조할 경우, S100단계를 수행하고, 도 4 및 도 5를 참조할 경우, 혈관 추출 결과 및 시신경유두 검출 결과에서 직접 512Х512 사이즈인 검은 에지를 클리핑한 컬러 혈관 추출 영상, 512Х512 사이즈인 혈관 추출 영상 및 512Х512 사이즈인 영상을 기반으로 하는 시신경유두의 중심좌표를 얻을수 있다.
진일보로, 도 1을 참조할 경우, S200단계를 수행하여, 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표에 의거하여 메인 혈관에 대해 추출하여 메인 혈관 영상을 얻고, 메인 혈관 영상을 기반으로 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 얻는다.
하나의 가능한 실시형태에서, 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표에 의해 메인 혈관을 추출하는 단계는: 도2를 참조할 경우, 혈관 추출 영상에서 끊어진 혈관을 제거하여 최대로 연통된 혈관을 얻는 S200a단계, 연통된 혈관에 의거하여 혈관 골격을 추출하는 S200b단계, 혈관 골격에 의거하여 혈관의 교차점을 추출하되 교차점을 제거하고, 시신경유두의 중심좌표 및 안저 영상에 의거하여 혈관 골격의 미세 혈관 세그먼트 및 비메인 혈관가지를 제거하여 메인 혈관을 얻는 S200c단계, S200d단계 및 S200e단계를 수행하는 단계를 포함하며, 그중에서, 연통된 혈관에 의거하여 혈관가지를 추출하는 경우, Opencv의 골격 추출 함수를 사용하여 연통된 혈관에서 혈관 골격을 추출한다.
구체적으로, 혈관 골격에 의거하여 혈관의 교차점을 추출하되 교차점을 제거하는 단계는 혈관 골격을 이진화하여 그레이 스케일 영상을 얻고, 3x3 템플릿으로 그레이 스케일 영상을 순회하고 매거법으로 그레이 스케일 영상에서 교차점을 추출하고, 교차점을 원심으로 하고, 반경인 4픽셀 내의 픽셀 값을 0으로 설정하는 것을 포함한다.
진일보로, 시신경유두의 중심좌표 및 안저 영상에 의거하여 혈관 골격의 미세 혈관 세그먼트와 비메인 혈관가지를 제거하여 메인 혈관을 얻는 단계는: 시신경유두의 중심좌표 및 안저 영상의 황반영역의 연결선을 정반축으로 하고, 정반축의 시계 방향으로 110° 및 정반축의 반시계 방향으로 110°의 영역을 보류하고, 3X3ELLIPSE를 사용하여 그레이 스케일 영상을 세분화하여 메인 혈관을 얻는 것을 포함한다.
진일보로, 메인 혈관 영상을 기반으로 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 얻는 단계는: 도 2를 참조할 경우, 시신경유두의 중심 좌표를 원심으로 하여 예정된 반경 내에서 예정된 스텝 사이즈로 바깥쪽으로 메인 혈관에 대해 순회 및 절취하여 복수의 소혈관 세그먼트를 얻는 S200f단계를 수행하는 것과, 정교한 제거를 확보하기 위하여, 소혈관 세그먼트를 상부 아치 및 하부 아치로 나누는 S200g단계를 수행하는 것과, 복수의 소혈관 세그먼트에 대해 볼록 껍질 검출을 수행하여 복수의 매끄러운 혈관 세그먼트를 얻고, 복수의 매끄러운 혈관 세그먼트 중에서 예정된 굴곡률 역치보다 큰 매끄러운 혈관 세그먼트를 제거하여 직선 혈관 세그먼트를 얻고, Opencv에서의 직사각형 검출 API를 사용하여 직선 혈관 세그먼트에 대하여 검출하여 혈관 각도를 얻고, 예정된 각도 구간에 의거하여 복수의 단일 혈관 세그먼트를 획득하는 S200h단계를 진일보로 수행하는 것을 포함한다.
예시적으로, 메인 혈관을 추출할 경우, 먼저 혈관 추출 영상에서 최대의 연통 혈관을 보류하고, 다음 점차적으로 미세 혈관의 가지를 제거하며, 그 중에서, Opencv의 형태학적 작업에 의해 형태학(morphology) 라이브러리에서 골격 추출 함수 skeletonize()에 의해 혈관 골격에 대한 추출이 구현되고, 3Х3 템플릿을 사용하여 전체 혈관 골격의 그레이 스케일을 순회하고, 도 10을 참조할 경우, 교차점은 3Х3 영역에서 세 가지 유형 및 네 가지 방향의 상태, 합계 12가지 유형을 나타냄으로서, 혈관 골격에서 모든 교차점의 추출은 매거법에 의해 구현될 수 있으며, 3Х3 ELLIPSE 유형의 형태학 작업 핵심(Kernel)을 이용하여 그레이 스케일 영상(혈관 이진 영상)에 대해 미세화할 수 있고, 미세화 후 미세 혈관가지 상태는 완전히 부식되고 불연속적이다. 이 때, 작은 영역을 제거하는 작업과 결합함으로써, 미세 혈관가지의 초기 제거를 구현할 수 있다. 진일보로, 상기 작업으로 미세 혈관가지를 완전히 제거할 수 없기 때문에, 여기서는 메인 혈관의 교차점을 순회하고 교차점을 원심으로 하고, 반경이 4픽셀인 원형 템플릿이 메인 혈관 이진 영상의 교차점 위치의 원형 영역내의 픽셀을 0으로 설정하고, 이 링형 영역의 그레이 스케일 영상 (혈관 이진 영상)을 보류하며 작은 영역을 제거하는 작업을 통해 잔류된 미세 혈관 세그먼트 가지의 2 차 제거를 구현한 다음, 보류된 혈관 교차점 위치의 원형 영역 내의 영상을 초기 위치에 충전하여 혈관 영상 교차점 위치의 영상 복원을 구현한다. 다음으로, 도 11을 참조할 경우, 시신경유두의 중심좌표를 선택하고, 시신경유두의 중심좌표와 황반영역의 연결선을 횡축의 정반축으로 하고, 상하로 0~110° 영역의 혈관을 절취하고, 진일보로 잔류된 시신경유두 측의 비메인 혈관의 가지를 제거하면 메인 혈관이 얻어지고, 다음 시신경유두의 중심좌표를 원심으로 하여 고정 스텝 크기의 링형 영역을 바깥쪽으로 순회하여 교차점을 제거한 후 메인 혈관에서 소혈관 세그먼트를 절취한다. 링형의 절취 범위 전부는 도 12의 링형으로 둘러싸인 영역을 참조하며, 여기서 큰 링형은 링형 절취 범위의 하한을 나타내고, 작은 링형은 링형 절취 범위의 상한을 나타내며, 링형의 순회하는 과정에서 절취된 소혈관 세그먼트는 도 13을 참조한다. 진일보로, 소혈관 세그먼트에 대한 볼록 껍질의 검출을 수행하고, 즉 추출된 소혈관 세그먼트에 대해 볼록 껍질을 계산하고, 볼록 껍질 윤곽의 픽셀 및 해당 혈관 세그먼트의 픽셀 수를 각각 통계하고, 양자 사이의 차이 값을 계산하고 역치를 설정하여 불규칙한 혈관 세그먼트를 제거하여 매끄러운 혈관 세그먼트를 얻었다. 그 중에서 불규칙한 혈관 세그먼트에는, 분기점의 위치, 버가 존재하는 위치, 혈관 형상이 극히 불규칙하는 등 상황이 포함된다. 이어서 볼록 껍질 검출에 합격된 소혈관 세그먼트, 즉 매끄러운 혈관 세그먼트에 대하여 중심선을 추출하고, 직선 피팅 작업을 수행하며, 중심선 위의 픽셀과 피팅 직선 사이의 거리의 누적 합과 편차를 계산하고 역치를 설정하여, 과도하게 구부러진 소혈관 세그먼트를 제거하여 직선 혈관 세그먼트를 얻는다. 다음 혈관 세그먼트의 방향의 조건 제한을 통해, 메인 혈관에 있는 메인 혈관의 전체적인 방향과 반대되는 직선 혈관 세그먼트를 제거하고, 구체적으로, 혈관 세그먼트 각도의 측정은 Opencv의 직사각형 검출 API를 통해 구현되며, 소혈관 세그먼트가 5~85도 구간 범위내에 있을 경우 보류되도록 제한하여, 단일 혈관 세그먼트를 얻는다. 또한, 혈관 세그먼트의 길이를 제한함으로서 링 템플릿에 따라 절취된, 교차점을 제거하는 작업으로 인한 불완전한 소혈관 세그먼트를 제거하는것도 가능하다.
진일보로, 복수의 단일 혈관 세그먼트에 대하여 관경을 측정하여 각 단일 혈관 세그먼트의 관경너비를 얻고, 각 관경의 너비에 근거하여 복수의 동정맥 혈관쌍을 선택하여 얻는 S300단계를 수행한다.
하나의 가능한 구현 방식에서, 도 2를 참조할 경우, 복수의 단일 혈관 세그먼트에 대하여 관경을 측정하여 각 단일 혈관 세그먼트의 관경너비를 얻는 S300a단계를 수행하고, 진일보로 S300b단계를 수행하며, 각 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 얻는 것은:
각 단일 혈관 세그먼트의 중선을 취하고, 중선의 중심점을 단일 혈관 세그먼트의 양단으로 예정된 픽셀만큼 연신하여 중선 라인 세그먼트를 얻고, 중선 라인 세그먼트의 양단의 끝점의 수직선 방정식을 계산하고; 수직선 방정식 사이의 단일 혈관 세그먼트의 하나의 윤곽선에 대해 직선 피팅하여 제1직선을 얻고, 제1 직선의 기울기에 기초하여, 최소 이승법을 사용하여 다른 하나의 윤곽선에 대해 직선 피팅함으로써 제2 직선을 얻으며, 제1직선 및 제2직선 사이의 거리를 계산하여 혈관 관경을 얻고, 복수의 단일 혈관 세그먼트 중 관경이 가장 큰 것을 선택하여 정맥으로 하고, 정맥과 기타 단일 혈관 세그먼트 사이의 거리를 계산하고 정맥에 가장 가까운 단일 혈관 세그먼트를 선택하여 동맥으로 선택하는 것이 포함된다. 예를 들면, 그레이 스케일 영상을 템플릿으로 하여, 메인 혈관에서 해당 단일 혈관 세그먼트의 중선을 절취하고, 그에 대하여 직선 피팅 작업을 진행한 다음, 해당 혈관 세그먼트의 중선의 중심점의 위치 좌표를 위치 결정하여 양측으로 연장시키고, 도 14를 참조하면, 5 픽셀의 중선 세그먼트를 보류하고, 혈관 중선 세그먼트의 두 끝점에서 각각 혈관 세그먼트의 수직선 방정식을 계산하고, 혈관 세그먼트의 수직선 방정식에서 특정 길이의 수직선 세그먼트를 절취하여 도면에 실제 효과를 나타내고, 진일보로, 도 15를 참조할 경우, 두 개의 수직선 세그먼트를 통해 단일 혈관 세그먼트의 윤곽 픽셀을 절취하고, 다음에 절취된 2개의 혈관 윤곽에서 하나를 선택하여 직선 피팅하고, 상기 단일 윤곽 직선을 피팅한 후의 기울기를 고정하고, 최소 이승법을 사용하여, 해당 단일 혈관 세그먼트의 2 개의 수직선 세그먼트 사이의 다른 한 윤곽의 직선 피팅을 구현하고, 두 개의 직선 사이의 거리를 계산하여 관경을 측정할 수 있며, 이어서 단일 혈관 세그먼트의 순회를 순환하여, 관경 값을 각각 계산하여 가장 큰 관경값을 선택하여 이를 정맥혈관이라고 가정하고, 해당 정맥 혈관 세그먼트의 중심점에서 기타 혈관 세그먼트의 중심점까지의 거리를 계산하고, 정맥 혈관 세그먼트에 가장 가까운 단일 혈관 세그먼트를 선택하여 이를 동맥으로 가정하면, 두 개의 혈관 세그먼트는 한 쌍의 동정맥 혈관쌍을 구성하고 관련된 데이터를 저장한다.
상기 5개의 픽셀 포인트의 중선 라인 세그먼트를 선택하는 이유는 실제 혈관 세그먼트에 기반하여 절취하는 길이를 설정하는 것은 실제 혈관 세그먼트의 길이에 따라 수정할 수 있기 때문이다.
또한, 도 2를 참조할 경우, S300c단계의 다시 리콜 메커니즘(Recall Mechanism)의 수행은 복수의 동정맥 혈관쌍으로부터 부합격 동정맥 혈관쌍을 제거하고, 합격된 동정맥 혈관쌍을 보류하는 단계를 포함하고, 그 중에서, 불합격한 동정맥 혈관쌍을 제거하는 데는, 각각의 동정맥 혈관쌍 중 단일 혈관 세그먼트의 평균 영상 밝기를 얻고, 평균 영상 밝기에 따라 복수의 동정맥 혈관쌍에서 불합격한 동정맥 혈관쌍을 제거하는 것을 포함한다. 예를 들면, 계산 알고리즘에 의해 식별된 동정맥 혈관쌍 중의 단일 혈관 세그먼트의 평균 영상 밝기를 통해, 동맥 혈관의 밝기가 정맥 혈관의 밝기보다 높을 경우, 해당 동정맥 혈관쌍을 보류한다.
밝기의 계산 알고리즘은 선행 기술을 사용하여 계산할 수 있으며 여기에서 더 설명하지 않는다.
하나의 가능한 구현방식에서, 불합격한 동정맥 혈관쌍을 제거하는 데는: 각각의 동정맥 혈관쌍에서 단일 혈관쌍중 동맥 혈관과 정맥 혈관 사이의 끼인각을 얻고, 끼인각에 의해 복수의 동정맥 혈관쌍에서 불합격 동정맥 혈관쌍을 제거하고, 각각의 동정맥 혈관쌍에서 단일 혈관쌍중 동맥혈관과 정맥혈관 사이의 거리를 얻고, 거리에 의해 복수의 동정맥 혈관쌍에서 불합격 동정맥 혈관쌍을 제거하는 것을 포함한다. 예를 들면, 각도 역치를 30도로 설정하여 알고리즘이 메인 혈관과 그의 가지혈관을 한 쌍의 동정맥 혈관쌍으로 잘못 판단하는 경우를 제거하는 상황에서, 즉, 동정맥 혈관쌍에서 동맥혈관과 정맥혈관사이의 끼인각이 30도보다 클 경우, 이 한 쌍의 동정맥 혈관쌍을 제거하고, 진일보로, 알고리즘에 의해 식별된 한 쌍의 동정맥 혈관쌍 중 동맥 혈관 세그먼트와 정맥 혈관 세그먼트 사이의 거리가 비교적 크면, 해당 동정맥 혈관 세그먼트가 최대 확율로 한 쌍의 동정맥혈관이 아니될 경우, 해당 동정맥혈관쌍을 제거하고, S300d단계를 수행하여, 나머지의 동정맥혈관쌍을 보류한다.
상기 각 단계를 예시로 상기 망막 혈관 동정맥 구분 방법에 대해 설명했지만, 본 기술 분야의 통상의 지식을 가진 자라면 본 개시는 이로서 제한되지 않음에 유의해야 한다. 실제 상황에서, 사용자는 필요한 기능이 달성되는 한, 개인 취향 및/또는 실제 적용 장면에 따라 망막 혈관 동정맥 구분 방법을 유연하게 설정할 수 있다.
이와 같이, 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표를 획득하는 것을 통해 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표에 의해 메인 혈관을 추출하여 메인 혈관 영상을 획득하고, 메인 혈관 영상을 기반으로 메인 혈관을 절취하여 복수의 단일 혈관 세그먼트를 획득하고, 복수의 단일 혈관 세그먼트에 대해 관경을 측정하여 각 단일 혈관 세그먼트의 관경너비를 획득하고, 각 관경의 너비에 따라 복수의 동정맥 혈관쌍을 선택하여 얻는다. 실제 장면의 안저 망막 컬러 영상에서 테스트 효과가 우수하고 다른 유형, 다른 브랜드, 다른 등급의 영상 품질의 안저영상에 대해 모두 좋은 효과가 있으며 알고리즘의 강인성과 보편성이 비교적 강하고, 망막 혈관의 동정맥의 구분 및 관경 측정 알고리즘의 실제 장면에서의 실시를 가능하게 하였다.
진일보로, 본 개시의 다른 한 측면에 따르면, 망막 혈관 동정맥 구분 장치(100)를 더 제공하였다. 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 장치(100)의 작업 원리는 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법의 원리와 동일 또는 유사하므로, 반복되는 부분은 더이상 설명하지 않는다. 도 16을 참조할 경우, 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 장치(100)는, 데이터 획득 모듈(110), 혈관 스크리닝 모듈(120) 및 동정맥 혈관쌍 선택 모듈(130)을 포함하고,
데이터 획득 모듈(110)은 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표를 획득하는 것으로 구성되고,
혈관 스크리닝 모듈(120)은 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표에 의거하여 메인 혈관을 추출하여 메인 혈관 영상을 얻고, 메인 혈관 영상을 기반으로 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 얻는 것으로 구성되고,
동정맥 혈관쌍 선택 모듈(130)은 복수의 단일 혈관 세그먼트에 대해 관경을 측정하여 각 단일 혈관 세그먼트의 관경너비를 획득하고, 각 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 획득하는 것으로 구성된다.
더 진일보로, 본 개시의 다른 한 측면에 따르면, 망막 혈관 동정맥 구분 기기(200)를 더 제공하였다. 도 17을 참조할 경우, 본 개시의 실시예에 따른 망막 혈관 구분 기기(200)는 프로세서(210) 및 프로세서(210)에 의해 실행 가능한 명령어를 저장하는 메모리(220)를 포함한다. 여기서, 프로세서(210)는 실행 가능한 명령어를 실행할 때 상기 임의의 망막 혈관 동정맥 구분 방법을 구현하도록 구성된다.
여기서, 프로세서(210)의 개수는 하나 또는 복수개일 수 있음에 유의해야 한다. 동시에, 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 기기(200)는, 입력 장치(230) 및 출력 장치(240)를 더 포함할 수 있다. 여기서, 프로세서(210), 메모리(220), 입력 장치(230) 및 출력 장치(240) 사이는 버스를 통해 연결될 수도 있고, 다른 방식으로 연결될 수도 있으며, 여기서 구체적으로 한정하지 않는다.
메모리(220)는 컴퓨터 판독 저장 매체로서 소프트웨어 프로그램, 컴퓨터 실행 가능한 프로그램 및 다양한 모듈, 예를 들면: 본 개시의 실시예에 따른 망막 혈관 동정맥 구분 방법에 대응하는 프로그램 또는 모듈에 사용할 수 있다. 프로세서(210)는 메모리(220)에 저장된 소프트웨어 프로그램 또는 모듈을 실행하여 망막 혈관 동정맥 구분 기기(200)의 다양한 기능적 어플리케이션 및 데이터 처리를 실행한다.
입력 장치(230)는 입력된 숫자 또는 신호를 수신하기 위해 사용될 수 있다. 여기서, 신호는 기기/단말기/서버에서의 사용자 설정 및 기능 제어와 관련되는 키 신호일 수 있다. 출력 장치(240)는 디스플레이 화면과 같은 디스플레이 기기를 포함할 수 있다.
본 공개의 다른 한 측면에 따르면, 컴퓨터 프로그램 명령이 저장되고, 프로세서(210)에 의해 컴퓨터 프로그램 명령이 실행되는 경우, 상기 임의의 망막 혈관 동정맥 구분 방법을 구현하는 비휘발성 컴퓨터 판독 저장 매체가 더 제공된다.
이상으로, 본 발명의 다양한 실시예에 대해 설명하였지만, 상기 설명은 예시적이며, 전부가 아니며, 개시된 각 실시예에 의해 한정되지 않는다. 설명된 각 실시예의 범위와 정신을 벗어나지 않은 상황하에, 많은 수정과 변경은 본 기술 분야의 통상의 기술자에게 있어서는 자명한 것이다. 본 명세서에서 사용되는 용어의 선택은 각 실시 예의 원리, 실제 적용 또는 시장에서의 기술 개선을 해석하고자 하거나 본 기술 영역의 기타 당업자들이 본 명세서에서 밝힌 각 실시예들을 이해할 수 있도록 하기 위한 것이다.

Claims (9)

  1. 망막 혈관 동정맥 구분 방법에 있어서,
    혈관 추출 영상, 안저 영상, 시신경유두의 중심좌표를 획득하는 단계;
    상기 혈관 추출 영상, 상기 안저 영상 및 상기 시신경유두의 중심좌표에 의거하여 메인 혈관을 추출하여 메인 혈관 영상을 얻고, 상기 메인 혈관 영상을 기반으로 상기 메인 혈관을 절취하여 복수의 단일 혈관 세그먼트를 얻는 단계;
    복수의 상기 단일 혈관 세그먼트에 대해 관경을 측정하여 각 상기 단일 혈관 세그먼트의 관경너비를 획득하고, 각 상기 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 획득하는 단계; 및
    복수의 상기 동정맥 혈관쌍에서 불합격 동정맥 혈관쌍을 제거하고 합격된 동정맥 혈관쌍을 보류하는 단계;
    를 포함하되,
    상기 불합격 동정맥 혈관쌍을 제거하는 것은,
    각각의 상기 동정맥 혈관쌍 중 단일 혈관 세그먼트의 평균 영상 밝기를 얻고, 상기 평균 영상 밝기에 따라 복수의 상기 동정맥 혈관쌍에서 상기 불합격 동정맥혈관쌍을 제거하는 것을 포함하는 것을 특징으로 하는 망막 혈관 동정맥 구분 방법.
  2. 제1항에 있어서,
    상기 혈관 추출 영상, 상기 안저 영상 및 상기 시신경유두의 중심좌표에 의거하여 메인 혈관을 추출하는 것은,
    상기 혈관 추출 영상에서 끊어진 혈관을 제거하여 가장 큰 연통된 혈관을 얻고,
    상기 연통된 혈관에 의거하여 혈관 골격을 추출하고,
    상기 혈관 골격에 의거하여 혈관의 교차점을 추출하되 상기 교차점을 제거하고,
    상기 시신경유두의 중심좌표 및 상기 안저영상에 의거하여 상기 혈관 골격의 미세 혈관 세그먼트 및 비메인 혈관가지를 제거하여 메인 혈관을 얻는 것을 포함하고,
    상기 연통된 혈관에 의거하여 혈관 골격을 추출할 경우, Opencv의 골격 추출 함수를 사용하여 상기 연통된 혈관에서 상기 혈관 골격을 추출하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    불합격 동정맥 혈관을 제거하는 것은,
    각각의 상기 동정맥 혈관쌍에서 단일 혈관쌍중 동맥혈관과 정맥혈관 사이의 끼인각을 얻고, 상기 끼인각에 의해 복수의 상기 동정맥혈관쌍에서 상기 불합격 동정맥혈관쌍을 제거하고,
    각각의 상기 동정맥혈관쌍에서 단일 혈관쌍중 동맥혈관과 정맥혈관 사이의 거리를 얻고, 상기 거리에 의해 복수의 상기 동정맥혈관쌍에서 상기 불합격 동정맥혈관쌍을 제거하는 것을 포함하는 것을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 혈관 골격에 따라 혈관의 교차점을 추출하되 상기 교차점을 제거하는 것은,
    상기 혈관 골격에 대하여 이진화하여 그레이 스케일 영상을 얻고,
    3x3 템플릿을 사용하여 그레이 스케일 영상을 순회하고 매거법으로 상기 그레이 스케일 영상에서 상기 교차점을 추출하고,
    상기 교차점을 원심으로 하고, 반경인 4픽셀 이내의 픽셀 값을 0으로 설정하는 것을 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 시신경유두의 중심좌표 및 상기 안저영상에 의거하여 상기 혈관 골격의 미세 혈관 세그먼트 및 비메인 혈관 가지를 제거하여 메인 혈관을 얻는 것은,
    상기 시신경유두의 중심좌표와 상기 안저영상의 황반영역의 연결선을 정반축으로 하고,
    상기 정반축의 시계 방향으로 110° 및 상기 정반축의 반시계 방향으로 110°의 영역을 보류하고,
    3X3ELLIPSE를 사용하여 상기 그레이스케일 영상에 대하여 세분화하여 메인 혈관을 얻는 것을 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 메인 혈관 영상을 기반으로 상기 메인 혈관에 대해 절취하여 복수개의 단일 혈관 세그먼트를 획득하는 데는,
    상기 시신경유두의 중심좌표를 원심으로 하여 예정된 반경 내에서 예정된 스텝 사이즈로 바깥쪽으로 상기 메인 혈관을 순회 및 절취하여 복수의 소혈관 세그먼트를 얻고,
    복수의 상기 소혈관 세그먼트에 대해 볼록 껍질 검출을 수행하여 복수의 매끄러운 혈관 세그먼트를 얻고,
    복수의 상기 매끄러운 혈관 세그먼트 중 예정된 굴곡률 역치보다 큰 상기 매끄러운 혈관 세그먼트를 제거하여 직선 혈관 세그먼트를 얻고,
    Opencv에서의 직사각형 검출 API를 사용하여 상기 직선 혈관 세그먼트에 대해 검출하여 혈관 각도를 얻고,
    예정된 각도 구간에 의거하여 복수의 상기 단일 혈관 세그먼트가 획득되는 것을 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    복수의 상기 단일 혈관 세그먼트에 대하여 관경을 측정하여 각 상기 단일 혈관 세그먼트의 관경너비를 획득하고, 각 상기 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 획득하는 것은,
    각 상기 단일 혈관 세그먼트의 중선을 취하고, 상기 중선의 중심점을 상기 단일 혈관 세그먼트의 양단으로 예정된 픽셀만큼 연신하여 중선 라인 세그먼트를 얻고,
    상기 중선 라인 세그먼트의 양단의 끝점의 수직선 방정식을 계산하고,
    상기 수직선 방정식 사이의 상기 단일 혈관 세그먼트의 하나의 윤곽선에 대해 직선 피팅하여 제1직선을 얻고,
    상기 제1 직선의 기울기에 기반하여, 최소 이승법을 사용하여 다른 한 상기 윤곽선에 대해 직선 피팅함으로써 제2 직선을 얻고,
    상기 제1직선 및 제2직선 사이의 거리를 계산하여 혈관 관경을 얻고,
    복수의 상기 단일 혈관 세그먼트 중 관경이 가장 큰 것을 선택하여 정맥으로 하고,
    상기 정맥과 기타 단일 혈관 세그먼트 사이의 거리를 계산하여 상기 정맥에 가장 가까운 상기 단일 혈관 세그먼트를 선택하여 동맥으로 하는 것을 포함하는 것을 특징으로 하는 방법.
  8. 망막 혈관 동정맥 구분 장치에 있어서,
    데이터 획득 모듈, 혈관 스크리닝 모듈 및 동정맥 혈관쌍 선택 모듈을 포함하고,
    상기 데이터 획득 모듈은 혈관 추출 영상, 안저 영상 및 시신경유두의 중심좌표를 획득하는 것으로 구성되고,
    상기 혈관 스크리닝 모듈은 상기 혈관추출영상, 상기 안저영상 및 상기 시신경유두의 중심좌표에 의거하여 메인 혈관을 추출하여 메인 혈관 영상을 얻고, 상기 메인 혈관 영상을 기반으로 상기 메인 혈관에 대해 절취하여 복수의 단일 혈관 세그먼트를 얻는 것으로 구성되고,
    상기 동정맥 혈관쌍 선택 모듈은 복수의 상기 단일 혈관 세그먼트의 관경에 대하여 측정하여 각 상기 단일 혈관 세그먼트의 관경너비를 획득하고, 각 상기 관경너비에 따라 복수의 동정맥 혈관쌍을 선택하여 획득하는 것으로 구성되는 것을 특징으로 하는 망막 혈관 동정맥 구분 장치.
  9. 망막 혈관 동정맥 구분 기기에 있어서,
    프로세서; 및
    프로세서 실행 가능 명령어를 저장하기 위한 메모리;
    를 포함하고,
    상기 프로세서는, 상기 실행 가능 명령어를 실행할 때 제1항 내지 제7항 중 어느 한 항에 따른 방법을 구현하도록 구성되는 것을 특징으로 하는 망막 혈관 동정맥 구분 기기.
KR1020227015077A 2020-08-14 2021-08-13 망막 혈관 동정맥 구분 방법 및 장치, 기기 KR20220076507A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010815698.8 2020-08-14
CN202010815698.8A CN111681242B (zh) 2020-08-14 2020-08-14 视网膜血管动静脉区分方法和装置、设备
PCT/CN2021/112487 WO2022033580A1 (zh) 2020-08-14 2021-08-13 视网膜血管动静脉区分方法和装置、设备

Publications (1)

Publication Number Publication Date
KR20220076507A true KR20220076507A (ko) 2022-06-08

Family

ID=72438772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227015077A KR20220076507A (ko) 2020-08-14 2021-08-13 망막 혈관 동정맥 구분 방법 및 장치, 기기

Country Status (5)

Country Link
US (1) US20240177299A1 (ko)
JP (1) JP7333465B2 (ko)
KR (1) KR20220076507A (ko)
CN (1) CN111681242B (ko)
WO (1) WO2022033580A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681242B (zh) * 2020-08-14 2020-11-17 北京至真互联网技术有限公司 视网膜血管动静脉区分方法和装置、设备
CN111932535A (zh) * 2020-09-24 2020-11-13 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN112652011B (zh) * 2020-12-25 2023-04-14 北京阅影科技有限公司 目标血管的提取方法、提取装置与计算机可读存储介质
CN115969310A (zh) * 2020-12-28 2023-04-18 深圳硅基智能科技有限公司 高血压性视网膜病变的病变特征的测量系统及测量方法
CN113269737B (zh) * 2021-05-17 2024-03-19 北京鹰瞳科技发展股份有限公司 一种眼底视网膜动静脉血管直径计算方法及系统
CN113344897B (zh) * 2021-06-24 2022-01-11 推想医疗科技股份有限公司 肺部图像的管径测量方法及装置、图像处理方法及装置
CN114973207B (zh) * 2022-08-01 2022-10-21 成都航空职业技术学院 一种基于目标检测的路标识别方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243924A (ja) * 1997-03-05 1998-09-14 Nippon Telegr & Teleph Corp <Ntt> 眼底の動静脈径比の計測方法
US7122007B2 (en) * 2003-05-12 2006-10-17 Caritas St. Elizabeth Medical Center Of Boston, Inc. Methods of and systems and devices for assessing intracranial pressure non-invasively
JP2007097740A (ja) 2005-10-03 2007-04-19 Hitachi Omron Terminal Solutions Corp 眼底画像診断支援装置
JP2008022928A (ja) 2006-07-19 2008-02-07 Gifu Univ 画像解析装置及び画像解析プログラム
US8080593B2 (en) * 2006-11-29 2011-12-20 University Of Southern California Reversible thermoresponsive adhesives for implants
SG191664A1 (en) * 2008-04-08 2013-07-31 Univ Singapore Retinal image analysis systems and methods
CN101999885B (zh) * 2010-12-21 2011-12-21 中国人民解放军国防科学技术大学 一种自动分离动静脉血管的内源光学成像方法
FR2970858B1 (fr) 2011-02-01 2013-02-08 Imagine Eyes Methode et dispositif d'imagerie retinienne a haute resolution
WO2012136079A1 (en) * 2011-04-07 2012-10-11 The Chinese University Of Hong Kong Method and device for retinal image analysis
JP6215555B2 (ja) 2013-03-29 2017-10-18 株式会社ニデック 眼底画像処理装置および眼底画像処理プログラム
JP6469387B2 (ja) 2014-08-26 2019-02-13 株式会社トプコン 眼底解析装置
CN108073918B (zh) * 2018-01-26 2022-04-29 浙江大学 眼底视网膜的血管动静脉交叉压迫特征提取方法
CN108765418A (zh) * 2018-06-14 2018-11-06 四川和生视界医药技术开发有限公司 视网膜动静脉等效管径比检测方法及检测装置
CN110874597B (zh) * 2018-08-31 2023-03-24 福州依影健康科技有限公司 一种眼底图像血管特征提取方法、设备、系统和存储介质
CN109166124B (zh) * 2018-11-20 2021-12-14 中南大学 一种基于连通区域的视网膜血管形态量化方法
CN110956107B (zh) * 2019-11-21 2023-05-30 佛山科学技术学院 一种基于oct扫描系统的三维血管类型区分方法
CN111000563B (zh) * 2019-11-22 2020-12-11 北京理工大学 一种视网膜动脉静脉直径比自动测量方法及装置
CN111681242B (zh) * 2020-08-14 2020-11-17 北京至真互联网技术有限公司 视网膜血管动静脉区分方法和装置、设备

Also Published As

Publication number Publication date
US20240177299A1 (en) 2024-05-30
CN111681242A (zh) 2020-09-18
JP7333465B2 (ja) 2023-08-24
CN111681242B (zh) 2020-11-17
WO2022033580A1 (zh) 2022-02-17
JP2022550669A (ja) 2022-12-05

Similar Documents

Publication Publication Date Title
KR20220076507A (ko) 망막 혈관 동정맥 구분 방법 및 장치, 기기
Almazroa et al. Optic disc and optic cup segmentation methodologies for glaucoma image detection: a survey
Lau et al. Simultaneously identifying all true vessels from segmented retinal images
US9098743B2 (en) Fundus image processing apparatus, fundus image processing method, and recording medium
GB2467840A (en) Detecting disease in retinal images
CN107564048A (zh) 基于分叉点特征配准方法
JP2008022928A (ja) 画像解析装置及び画像解析プログラム
Fang et al. Reconstruction of vascular structures in retinal images
JP6734475B2 (ja) 画像処理装置及びプログラム
CN108846827B (zh) 一种基于多圆快速分割眼底视盘的方法
JP7355434B2 (ja) 眼底画像認識方法及び装置並びに設備
Tan et al. Automatic notch detection in retinal images
Wang et al. Interactive retinal vessel extraction by integrating vessel tracing and graph search
Prabhu et al. Diabetic retinopathy screening using machine learning for hierarchical classification
Ahamed et al. Automated system for retinal vessel segmentation
JP2008022929A (ja) 画像解析装置及び画像解析プログラム
Mittal et al. Optic disk and macula detection from retinal images using generalized motion pattern
CN110021016B (zh) 一种钙化检测方法
Khatter et al. Retinal vessel segmentation using Robinson compass mask and fuzzy c-means
Firdausy et al. Segmentation of optic disc using dispersive phase stretch transform
CN107346543B (zh) 血管中心线的处理方法及装置、终端及存储介质
Bhuiyan et al. Vessel segmentation from color retinal images with varying contrast and central reflex properties
CN105069791B (zh) 一种从肺ct图像中分割出肺结节图像的处理方法
Ghadiri et al. Vessel segmentation based on Sobel operator and fuzzy reasoning
CN117876801B (zh) 基于眼底血管特征和人工智能预测糖尿病肾病的方法