KR20200026135A - 달팽이관에서의 미세 혈류 측정 방법 및 장치 - Google Patents

달팽이관에서의 미세 혈류 측정 방법 및 장치 Download PDF

Info

Publication number
KR20200026135A
KR20200026135A KR1020190106563A KR20190106563A KR20200026135A KR 20200026135 A KR20200026135 A KR 20200026135A KR 1020190106563 A KR1020190106563 A KR 1020190106563A KR 20190106563 A KR20190106563 A KR 20190106563A KR 20200026135 A KR20200026135 A KR 20200026135A
Authority
KR
South Korea
Prior art keywords
image
blood flow
cochlea
measuring
micro
Prior art date
Application number
KR1020190106563A
Other languages
English (en)
Other versions
KR102267509B1 (ko
Inventor
서영준
Original Assignee
연세대학교 원주산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 원주산학협력단 filed Critical 연세대학교 원주산학협력단
Publication of KR20200026135A publication Critical patent/KR20200026135A/ko
Application granted granted Critical
Publication of KR102267509B1 publication Critical patent/KR102267509B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • G06T5/002
    • G06T5/004
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Cardiology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

달팽이관에서의 미세 혈류 측정 방법 및 그 장치가 개시된다. 본 발명의 미세 혈류 측정 방법은 혈류 흐름을 추출하는 단계와, 이동 평균 필터 (Moving average filter), 가장자리 강조 필터(edge enhancement filter), 가우시안 필터(gaussian filter) 중 어느 하나 이상을 사용하여 전처리 과정을 통해 혈관 영역을 추출하는 단계, 상기 프레임 영상의 변화율을 통해 뼈 영역 및 배경 잡음 영역을 추출하는 단계, 영상 픽셀별 속도를 추출하는 단계 및 미세순환의 동역학 분석 및 시각화하는 단계로 이루어지게 함으로써, 달팽이관 주위의 미세 혈관의 혈류속도를 측정할 수 있는 진단도구의 개발뿐만 아니라, 약에 따른 미세 혈류의 변화를 측정할 수 있어 신약 개발 연구에 중요한 약물학적 도구로 사용될 수 있다.

Description

달팽이관에서의 미세 혈류 측정 방법 및 장치{THE METHOD FOR MEASURING MICROCIRCULATION IN COCHLEA AND THE APPARATUS THEREOF}
본 발명은 미세 혈류 측정 방법에 관한 것으로, 보다 상세하게는 달팽이관의 정맥 속에서의 미세 혈류의 속도를 측정하여 돌발성 난청, 메니에르 병, 어지러움 증상 등을 진단할 수 있는 달팽이관에서의 미세 혈류 측정 방법 및 그 장치에 관한 것이다.
내시경 검사란 카메라와 불빛이 달린 유연한 관을 인체 안에 삽입하여 기체 또는 액체로 내강을 부풀게 하면서 들여다보는 검사법으로, 의사가 직접 출혈 부위와 병변의 표면을 관찰하고 조직상태를 파악하므로 가장 정확하게 진단을 내릴 수 있으며 병변을 발견하면 즉시 제거가 가능하고 조직검사도 동시에 가능하다는 이점으로 적극적으로 활용되고 있다.
Moor instruments사(영국)에서 상용화한 레이저 스페클 기반의 혈류 영상화 장치(Laser speckle contrast imager)의 경우, 이비인후과 적용을 위해서는 대폭적인 기술 개선이 필요하다.
즉, 이비인후과 영역에서 달팽이관의 미세 혈류의 계측을 위해 전기 신호를 이용한 “Otic microprobe for neuro-cochlear monitoring”과 도플러 효과를 이용한 “Fiberoptic laser Doppler probe” 연구가 시도되었으나, 현실적으로 의료 현장에서 사용이 불가능한 것으로 알려져 있다.
한편, 생체에 있어서의 혈류측정의 방법은 침습적 방법과 체외에서 비침습적으로 측정하는 방법으로 구별된다.
침습적인 방법으로서는 체적법, 동압법, 차압법, 열식유량측정법, 그리고 전자유량계 등이 있다.
비침습적 방법으로서는 초음파혈류도플러법, 핵자기공명법, 레이저혈류계 등이 있다.
최근 말초 혈관 질환 발생률의 증가와 더불어 노인 인구 증가로 인해 혈류측정 장치에 대한 시장의 규모가 점차 커지는 추세이다.
미국 질병관리본부(CDC)의 통계자료에 따르면 2012년 미국 시민의 8백만명이 말초 혈관 질환으로 고통을 받았으며, 그 중 12~20%의 환자가 60세 이상의 노인층으로 조사되었다.
따라서, 임상에 적용하기 위한 혈류 측정 장치 시장이 동반 성장 하는 추세이며, 점차 비침습적이고 소형화된 혈류측정장치가 요구되어지고 있다.
KR 공개특허공보 제10-2018-0067025호(2018.06.20.)
이러한 과제를 해결하기 위한 본 발명은 미세순환 영상화를 위한 이비인후과용 내시경 시스템을 이용하여 달팽이관 주위의 미세 혈관을 시각화 및 혈류속도를 측정함으로써, 돌발성 난청, 메니에르 병, 어지러움 증상 등을 진단할 수 있도록 하는 달팽이관에서의 미세 혈류 측정 방법 및 그 장치를 제공하는 것을 목적으로 한다.
이러한 과제를 해결하기 위한 본 발명의 미세순환 영상화를 위한 이비인후과용 내시경 시스템을 이용하여 달팽이관 주위의 미세 혈관을 시각화 및 혈류속도를 측정할 수 있는 달팽이관에서의 미세 혈류 측정 방법은, (a)순차적으로 획득한 프레임 영상의 정합 및 평균화 과정을 통해 혈류 흐름을 추출하는 단계와, (b)이동 평균 필터 (Moving average filter), 가장자리 강조 필터(edge enhancement filter), 가우시안 필터(gaussian filter) 중 어느 하나 이상을 사용하여 전처리 과정을 통해 혈관 영역을 추출하는 단계, (c)상기 프레임 영상의 변화율을 통해 뼈 영역 및 배경 잡음 영역을 추출하는 단계, (d)영상 픽셀별 속도를 추출하는 단계;및 (e)미세순환의 동역학 분석 및 시각화하는 단계로 이루어지게 하여 미세혈관에서 발생하는 적혈구의 속도와 혈류량을 측정할 수 있게 함으로써 달성될 수 있다.
(a)단계는 수집된 복수의 영상 프레임으로부터 N개의 ROI(관심영역)를 복수의 영상 프레임을 비교하여 변화가 많은 부분으로 설정하고, 추출된 N개의 ROI(관심영역)의 이미지를 병합하되 적혈구에 대한 이미지가 부각될 수 있도록 발생된 노이즈를 제거하는 단계를 포함할 수 있다.
또한, (b)단계는 노이즈가 제거된 ROI(관심영역)의 이미지에 Histogram Equalization(히스토그램 평활화)를 수행하여 이미지를 확대하고, 확대가 완료된 이미지는 적혈구 알고리즘을 적용하여 적혈구를 선택적으로 강조하는 단계를 포함한다.
그리고 본 발명의 내시경 시스템은 일단부가 달팽이관의 미세혈관에 밀착되며, 미세혈관에 광을 조사하고 반사된 광을 렌즈를 통해 수집하는 내시경 프로브와, 상기 내시경 프로브의 타단에 연결되며, 상기 내시경 프로브로부터 전달받은 광을 통해 혈류량을 촬영하여 환자의 상태를 측정할 수 있도록 하는 본체를 포함하며, 상기 본체는, 촬영된 영상을 통해 미세혈류의 속도 및 혈관 내 혈류의 밀도를 측정하여 정량화하도록 동작한다.
한편, 달팽이관 주위의 미세 혈관을 시각화 및 혈류속도를 측정할 수 있는 달팽이관에서의 미세순환 영상화를 위한 달팽이관에서의 미세혈류측정장치는, 일단부가 달팽이관의 미세혈관에 밀착되며, 미세혈관에 광을 조사하고 반사된 광을 렌즈를 통해 수집하는 내시경 프로브와 상기 내시경 프로브의 타단에 연결되며, 상기 내시경 프로브로부터 전달받은 광을 통해 혈류량을 촬영하여 환자의 상태를 측정할 수 있도록 하는 본체를 포함하며,
상기 본체는, 촬영된 영상을 통해 미세혈류의 속도 및 혈관 내 혈류의 밀도를 측정하여 정량화하게 구성함으로써 달성될 수 있다.
또한, 상기 내시경 본체에서 촬영된 영상을 통해 미세 혈류의 속도 및 혈류의 밀도를 측정하여 환자의 상태를 직관적으로 파악할 수 있도록 영상처리하는 것을 특징으로 한다.
따라서 본 발명의 달팽이관에서의 미세 혈류 측정 방법 및 그 장치에 의하면, 이비인후과 분야에서 달팽이관 주위의 미세 혈관의 혈류속도를 측정할 수 있는 진단도구의 개발뿐만 아니라, 약에 따른 미세 혈류의 변화를 측정할 수 있어 신약 개발 연구에 중요한 약물학적 도구로 사용될 수 있다.
또한, 본 발명의 달팽이관에서의 미세 혈류 측정 방법 및 그 장치에 의하면, 뼈로 둘러싸인 달팽이관 주위의 미세 혈관을 비침습적인 방법으로 시각화 할 수 있으므로, 병에 따른 달팽이관 주위의 미세 혈관의 혈류 속도의 변화를 시각적으로 확인할 수 있다.
또한, 본 발명의 달팽이관에서의 미세 혈류 측정 방법 및 그 장치에 의하면, 난청 혹은 어지러움 병에서 특정 미세 혈관의 혈류 속도를 측정함으로써, 병의 진단을 가능하게 하는 효과가 있다.
또한, 본 발명의 달팽이관에서의 미세 혈류 측정 방법 및 그 장치에 의하면, 약물에 따른 달팽이관 미세 혈류의 변화 측정으로, 이독성 약물의 반응을 신속히 측정할 수 있고, 손상 정도를 예측할 수 있는 효과가 있다.
또한, 본 발명의 달팽이관에서의 미세 혈류 측정 방법 및 그 장치에 의하면, 내시경만으로 관을 측정하는 기술은 귀의 질환뿐만 아니라, 미세 혈관이 존재하는 망막 등에 연속적으로 사용될 수 있다.
또한, 본 발명의 달팽이관에서의 미세 혈류 측정 방법 및 그 장치에 의하면, 당뇨병 환자에서 미세 혈관의 변화를 계측하여, 당뇨병 합병증을 사전에 미리 예방할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 의한 내시경 구성도,
도 2는 본 발명의 일실시예에 의한 내시경 본체의 구성도,
도 3은 본 발명의 일실시예에 의한 영상처리부의 구성도,
도 4는 영상처리의 참고 도면,
도 5는 광파장에 따른 피부침투깊이(좌)와 광흡수계수율(우)의 상관관계를 예시한 도면,
도 6은 결상광학계로부터 받은 영상을 전기신호로 변환하는 CMOS 카메라 모듈이 예시도면,
도 7은 내시경 프로브 구성도 예시 도면,
도 8은 내시경을 이용한 광분포도의 모델링을 위한 기하학적 모델과 LED모델을 도시한 도면,
도 9는 광분포도 시뮬레이션 결과를 예시한 도면,
도 10은 FPGA 기반한 영상 획득 장치 블록다이어그램,
도 11은 청각기관과 전정기관을 시각화한 도면,
도 12는 내시경 시제품의 성능평가를 설명하기 위한 흐름도,
도 13은 본 발명의 달팽이관에서의 미세 혈류 측정 방법을 설명하기 위한 흐름도,
도 14는 혈관 흐름 측정 알고리즘 구성을 예시한 도면,
도 15는 45초동안 획즉한 1350프레임 영상을 정합하여 적혈구 속도를 평가한 결과표,
도 16은 혈류밀도 추출 및 혈류속도 추출 알고리즘을 적용한 참고도면
도 17은 일반적인 심혈류와 다른 달팽이관의 미세혈류 시스템 모식도,
도 18은 히스토그램 조정에 따른 혈관 명암비 변화 도면,
도 19와 도 20은 표준 편차 σs가 각각 0.5, 1.0, 2.0인 경우의 가우시안 분포 그래프,
도 21은 가우시안 필터를 수행한 결과 영상
도 22는 샤프한 이미지를 만들 수 있다는 것을 보여주고 있다.
도 23은 실제 샤프니스 증가 변화를 비교한 도면
도 24는 히스토그램 이퀄라이제이션 진행 상태 원본 영상을 비교한 도면,
도 25는 히스토그램 이퀄라이제이션 진행한 결과 RBC 샤프니스 진행 상태를 원본 영상과 비교한 도면,
도 26은 ROI 영역에 2배에 해당하는 영역만큼 확대 검색한 도면이 예시도면,
도 27은 라인 페어 차트를 촬영 후 1픽셀이 해당하는 사이즈를 확인하는 도면,
도 28은 ROI 영역에 영상 처리 후 RBC 이동 방향 및 모형도,
그리고
도 29는 설정된 ROI를 노랑색으로 표시한 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 제1, 제2 또는 제3 항목 뿐만아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
명세서 전체에서 각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 한정하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하, 도면을 참고하여 본 발명의 일실시예에 대하여 설명한다.
도 1은 본 발명의 일실시예에 의한 내시경 프로브 구성도로서, 도시된 바와 같이 본 발명의 달팽이관에서의 미세 혈류 측정 방법은 초소형 삽입관 프로브에 혈관 흐름 측정 알고리즘을 적용한 이비인후과용 내시경 시스템을 이용하여, 달팽이관의 미세순환 영상화를 통해 임상학적 유효성을 검증하는 기술을 개발하는 연구를 수행하는 것을 특징으로 한다.
도면을 참고하면, 본 발명의 내시경 프로브는 조명장치, 광학장치, 카메라 모듈, 영상획득장치, 기구부를 포함한 내시경 서브 시스템으로 설계되고 제작된다.
먼저 조명 및 광학장치를 설계하고 제작한다.
모세동맥이나 모세혈관 등의 미세혈관 영역에서 볼 수 있는 미세순환 영상화를 위한 최적의 광원을 선정하고, 광파장에 따른 피부침투깊이와 광흡수계수율의 상관관계를 이용하여 영상의 신호대잡음비를 최적화한 광파장 대역을 선정한다.
도 5의 광파장에 따른 피부침투깊이(좌)와 광흡수계수율(우)의 상관관계를 예시한 도면을 참고하면, 피부침투깊이(좌)와 광흡수계수율(우)의 상관관계를 확인할 수 있다.
특히 암영역을 최소화하고 미세혈류에서 반사된 광 신호 획득을 방해하지 않도록 동심원 형태로의 광 화이버 조명을 설계하여야 하고, 광원의 기하학적인 크기 및 개수에 따른 조명 장치의 성능을 예측하고, 미세순환 영상화를 위한 최적의 조명장치를 구성한다.
WHITE/GREEN LED 출력광량을 조절하고, 다양한 광원 색깔을 재현할 수 있는 조명장치 제어회로를 구성한다.
다음으로 카메라 모듈의 구성에 대하여 알아본다.
렌즈는 최적의 상이 카메라에 촬상될 수 있는 복합 구성의 렌즈로 설계하고, 대물렌즈의 수차 보정 및 초점거리가 조절되어야 하고, 결상광학계로부터 받은 영상을 전기신호로 변환하는 CMOS 카메라 모듈을 사용한다.
도 6에 결상광학계로부터 받은 영상을 전기신호로 변환하는 CMOS 카메라 모듈이 예시되어 있다.
이후, 내시경 프로브에 광원, 렌즈 및 영상획득부 등이 삽입된 프로브 기구물을 제작한다.
도 7의 내시경 프로브 구성도 예시 도면을 참고하면, 피부 표면과 접촉하는 부분에 위생상의 안전을 고려한 환자용 1회용 캡을 구성하고, 인체 공학적 측면을 고려하여 사용자의 시술 편의성을 고려한 손잡이가 구성되도록 한다.
이상의 구성을 참고하여 조명 및 광학 장치, 카메라 모듈, 기구부, 그리고 영상 획득 장치를 통합한 프로브 내시경의 일례가 도 1에 예시되어 있다.
도 1의 본 발명의 일실시예에 의한 내시경 구성도를 참고하면, 본 발명의 미세혈류 측정 장치는 내시경 프로브를 포함하는 내시경 본체(100)와, 내시경 본체(100)의 일단에 연결되는 영상처리부(200)와 광원부(300)를 포함한다.
본 발명의 실시예에 따른 내시경 본체(100)는 내시경 프로브(110), 그리고 내시경 프로브(110)의 상부에 결합되며 렌즈(130)를 구비한 가이드 관체(120)를 포함한다. 내시경 프로브(110)는 조명 광학계를 형성하며, 가이드관체(120)는 결상 광학계를 형성한다.
내시경 프로브(110)는 별도의 조명장치(미도시함)를 통해 광을 유입하여 환부에 제공된다. 그리고, 환부로부터 반사된 광은 다시 렌즈(130)를 통해 수집된 후 광가이드 역할을 하는 가이드 관체(120)의 내부공간을 따라 이동하여 이미지센서에 제공되도록 구성되고, 이미지 센서에 의해 이미지화 된 영상은 영상처리부(210)에 제공된다.
내시경 본체(100)는 달팽이관의 모세 혈관에 밀착되어, 미세혈관을 촬영하고, 촬영된 영상은 영상처리부(200)에 전달되어 혈류량을 산출하는데 필요한 정보로 제공된다.
또한, 내시경 본체(100)의 내시경 프로브(110)는 압설자 형태로 형성되어 모세혈관을 누르거나 들어올리는데 편리할 수 있도록 하며, 필요에 따라 1회용 보호(위생) 커버를 씌워 사용할 수 있도록 한다.
또한, 내시경 프로브(110)는 직접 환부에 대고 검사할 경우에는 빛의 간섭
(포화), 스코프와 혈관의 압력 등에 의해 모세혈관이 사라져 관찰되지 않거나 세포
등의 검진이 어려울 수 있다. 예를 들어, 내시경 프로브(110)의 단부를 직접 환부
에 갖다 댈 경우 환부에 손상이 가해지는 위험도 있지만, 혈관에 압력이 가해져 혈
관이 사라져 관찰이 불가한 상황이 발생할 수 있다. 이는 손가락으로 피부를 눌렀 을 때 피부가 하얗게 되면서 핏줄이 사라지는 현상과 유사하다.
영상처리부(200)는 내시경 본체(100)에서 촬영된 영상을 통해 미세 혈류의 속도 및 혈류의 밀도를 측정하여 환자의 상태를 직관적으로 파악할 수 있도록 한다.
도 2의 본 발명의 일실시예에 의한 내시경 본체의 구성도를 참고하면, 영상처리부(200)는 내시경 본체(100)의 타단에 연결되며, 검시자가 파지한 상태에서 측정된 혈류량을 체크할 수 있도록 본체(200)의 후면에는 측정된 혈류량에 따라 서로 다른 색상의 LED가 발광되는 인디게이터(220)가 형성될 수 있다.
본 발명의 실시예에 따른 영상처리부(200)는 도 2의 본 발명의 일실시예에 의한 내시경 본체의 구성도를 참고하면, 촬영된 영상을 통해 미세혈류의 속도 및 혈관 내 혈류의 밀도를 측정하여 정량화하는 것으로, 측정모듈(210), 인디게이터(220), 영상송수신부(230)을 포함할 수 있다.
구체적으로 도 3의 본 발명의 일실시예에 의한 영상처리부의 구성도를 참고하면, 측정모듈(210)은 내시경 프로브로부터 전달받은 영상을 이용하여 혈류량을 측정하는 것으로, 영상수집부(211), 영상추출부(212), 필터링부(213), 알고리즘 적용부(214), 탐색부(215), 밀도측정부(216) 및 판단부(217)를 포함한다.
영상수집부(211)는 내시경 본체(100)의 이미지센서(140)로부터 전달받은 영상을 수집한다. 수집된 영상은 지정된 시간 동안 환부를 촬영한 것으로, 복수개의 프레임을 포함한다.
영상추출부(212)는 영상수집부(211)에 수집된 복수의 영상 프레임으로부터 N
개의 ROI(관심영역)을 추출한다. ROI(관심영역)은 도 4에 나타낸 바와 같이, 복수의 영상 프레임을 비교하여 변화가 많은 부분으로 설정한다.
필터링부(213)는 추출된 N개의 ROI(관심영역)의 이미지를 병합하게 되면 노이즈가 발생하므로, 적혈구에 대한 이미지가 부각될 수 있도록 발생된 노이즈를 제거한다.
알고리즘 적용부(214)는 노이즈가 제거된 ROI(관심영역)의 이미지에 Histogram Equalization(히스토그램 평활화)를 수행하여 이미지를 확대한다. 확대가 완료된 이미지는 적혈구 알고리즘을 적용하여 적혈구를 선택적으로 강조한다.
이를 다시 설명하면, 노이즈가 제거된 ROI(관심영역)의 이미지의 픽셀값 전
체에 최소값 및 최대값을 검색하고, 검색된 최소값 및 최대값을 이용하여 이미지를 스트레칭한다. 이미지를 스트레칭하게 되면, 잘 보이지 않는 적혈구의 구분이 가능해진다.
적혈구의 구분이 가능하게 되면, 알고리즘 적용부(214)는 Unsharp maskig(언
샤프 마스크 필터링) 알고리즘 진행한다.
Unsharp maskig(언샤프 마스크 필터링) 알고리즘은 스트레칭된 이미지의 샤프니스를 강조하기 위한 것으로, 적혈구의 작은 영역에 테두리가 강조되어 적혈구를 좀더 구분하기 쉬운 장점이 있다.
탐색부(215)는 적혈구 형상 강조 알고리즘이 적용된 이미지를 통해 적혈구의 이동 패턴을 탐색한다.
탐색부(215)는 ROI(관심영역)을 좌우로 n픽셀씩 이동하여 적혈구의 이동 상태를 확인한다. 적혈구의 이동 상태를 확인하여 특정패턴이 있다고 판단된 다음에, 탐색부(215)는 ROI(관심영역)의 주변 역역을 스캔하여 특정 패턴의 이동을 탐색한다.
밀도측정부(216)는 탐색이 완료된 적혈구의 이동 패턴에 따라 측정값을 산출
하여 적혈구의 밀도를 측정한다.
적혈구의 밀도는 ROI(관심영역)을 좌우로 n픽셀씩 이동한다고 하였을 때, 해당 영역에 적혈구로 확인되는 픽셀의 개수에 의해 산출된다. 즉, 프레임의 면적에 대비 확인된 픽셀의 개수를 이용해 밀도를 계산한다.
이때, 1픽셀을 1μm으로 환산하여 적용한다.
판단부(217)는 밀도 측정부에서 측정된 적혈구의 밀도가 혈류의 속도에 대비
하여 정상인지를 판단하며, 판단된 결과는 인디게이터(220)에 송신한다.
한편, 판단부(217)는 혈류량에 대해 정상으로 판단할 수 있는 범위를 설정하
고, 산출된 혈류량 값이 정상범위보다 작으면 혈류량이 적다고 판단하고, 산출된 혈류량 값이 정상범위보다 크면 혈류량이 많다고 판단한다.
인디케이터(220)는 측정모듈에서 측정된 적혈구량에 따라 서로 다른 색상의
led를 발광하여 검시자로 하여금 측정된 혈류량을 즉시 인식하게 한다.
예를 들어, 인디케이터(220)는 판단부(217)에서 측정된 혈류량이 정상범위에
있다 판단하고 이에 대한 신호를 송신하였을 경우에는 녹색의 led를 발광하고, 판단부(217)에서 혈류량이 많다고 판단하여 신호를 송신하였을 경우에는 빨간색의 led를 발광하며, 판단부(217)에서 혈류량이 적다고 판단하여 신호를 송신하였을 경
우에는 파란색의 led를 발광하게 할 수 있다.
따라서, 검시자는 인디게이터(220)를 통해 현장에서 혈류량이 많고 적음을 즉시 확인하고, 그에 맞는 적절한 응급조치가 이루어질 수 있도록 한다.
영상송수신부(230)는 내시경 본체(100)로부터 전달받은 영상을 수집하고,
수집된 영상을 유선 또는 무선을 통해 외부 서버로 송신한다.
이러한 서브시스템을 통합할 경우에는 삽입부 외경(Φ), 유효시야 직경(Φ), 해상도, 프레임 레이트, 결상 광학계 배율, 조명계 조도, 측정 가능한 혈관 직경 등을 예측하여 구성하여야 함은 당연하다.
이러한 내시경을 이용한 광분포도의 모델링을 위한 기하학적 모델과 LED모델이 도 8에 예시되어 있다.
도면을 참고하면, 광원의 과포화 또는 과부족에 따른 영상 화질 저하를 개선하기 위해, 영상의 유효시야에 조명 분포의 균일성을 평가할 수 있는 광분포도 시뮬레이션 모델이 필요함을 알 수 있다.
ZEMAX, DETECT2000, GATE 등 널리 사용되는 광학 시뮬레이션 방법에 기반한 내시경용 광분포도 시뮬레이션 방법을 구현하고, 광원의 세기, LED 개수, 광학 필터, 조명 가이드 사용 등에 따른 광분포도 개선정도를 예측하고 최적의 광학 설계를 위한 가이드 라인 툴 구현할 필요가 있다.
도 9에 광분포도 시뮬레이션 결과를 예시한 도면을 참고하면, (좌)그림은 4개의 LED 사용한 경우이고 (우)도면은 조명 가이드 LED를 사용한 경우의 광분포도 시뮬레이션 결과이다.
이후, 영상 획득 장치를 구성한다.
본 발명의 영상 획득 장치는 CCU에서 처리된 디지털 신호를 영상신호로 변환하는 FPGA 기반한 영상 저장하고 출력할 수 있어야 하며, 영상신호를 모니터에 출력하거나 메모리에 저장 혹은 외부로 전송할 수 있는 영상처리부로 구성한다.
이를 위하여 전임상 연구를 위한 돌발성 난청 동물 모델로 "Kanamycin + Furosemide" 주입을 통한 돌발성 난청 동물 모델을 제작한다.
도 10에 FPGA 기반한 영상 획득 장치 블록다이어그램이 예시되어 있다.
또한, 전임상 연구를 위한 메니에르 병 동물 모델을 확립하고 이를 시각화할 수 있도록 한다.
현재까지 메니에르 병을 설명해 줄 수 있는 동물 모델이 정립되어 있지 않고, 적당한 동물 모델이 없어, 메니에르 병에 대한 기전연구 및 치료연구가 제대로 이루어지지 않기 때문에 기니아 피그를 이용하여 이석기관의 변화를 일으켜, 새로운 메니에르 병의 동물 모델을 확립할 수 있도록 구성한다.
구체적으로 기니아 피그에서 피부 절개를 통해 Temporo-occipital suture부위를 drilling하여 내림프낭을 노출시킨후 절제하면, 12주 후 청력감소 및 조직학적으로 내림프수종을 보이는 것을 확인할 수 있다.
기존의 내림프수종 동물 모델은 4주 이상의 시간이 소요되지만, 본 발명에서 제안하는 micro-pump를 수술과 동시에 이식한 동물 모델은 1주일만에 급성 증상을 나타내는 만성 동물 모델이 제작 가능하다는 것을 확인할 수 있다.
기존에 동물 모델에서 내림프수종을 확인하는 방법은 동물의 사체 고정을 통해 1달 이상 처치 후에 조직학적인 소견으로 확인할 수 있었으나, Micro-CT 기술은 동물의 미세 구조까지 관찰이 가능하고 in vitro에서 3일간의 고정 후에 시행할 수 있으며, 촬영 직후 내림프수종의 존재를 시각화 가능하다.
향후 동물을 죽이지 않고, in vivo에서 조영제의 주입에 따라 내림프액 공간을 확인할 수 있게 할 계획이며, 동물을 죽인지 않고, 메니에르 병을 가진 채로 동물을 연속적으로 촬영 가능하여, 치료 전후의 내림프액 공간의 변화 및 청력 기관, 전정 기관의 세부 기관의 변화까지 시각화할 수 있어 보다 임상 연구에 획기적인 도움을 줄 수 있을 것으로 예상된다.
도 11의 청각기관과 전정기관을 시각화한 도면이 예시되어 있다.
도면은 Micro-CT를 이용하여 내이의 청각기관 및 전정기관을 시각화한 예시도면으로 pendrin mouse에서 hydrops를 시각화한 도면이다.
이러한 장치를 이용하여 시스템 시험/평가용 지그를 구성한 일례가 도 12에 예시되어 있다.
도면을 참고하면, 체계적이고 정량적인 내시경 성능 검사를 위한 시스템 시험/평가용 지그로 구성되어야 한다.
이러한 내시경 성능 검사용 지그는 표 1과 같이 8개의 주요 구성품을 결합한 장치로 구성하는 것이 바람직하다.
구성품 주요 기능
광학 테스트 벤치 시스템 내시경 성능 검사장치의 기본적인 뼈대
다축 모터 제어 장치 내시경 위치 제어 및 광학 테스트 벤치 구동
조명 장치 성능 평가를 위한 다양한 광원 공급
DC전압공급장치 내시경, 조명장치, 모터 제어를 위한 전원 공급
PC 성능 분석, 결과 저장
모니터 분석 결과 디스플레이
성능 평가용 소프트웨어 내시경 장치의 정량적인 성능 평가를 위한 핵심 기술
어댑터 기타 부속 기구물
또한 표 2와 같이 내시경 시제품의 성능을 자동으로 주기적 QC 가능한 소프트웨어를 구현하여 내시경 성능 검사 장치의 주요 평가 항목이 예시되어 있다.
평가항목 정의
1 시야각 Field of View (FOV) 관찰 광학계의 최전면의 위를 정점으로 한 시야의 범위(각)
2 시야방향 Direction of View (DOV) 내시경의 정상축에 대한 관찰 대상 물체의 중심의 위치
3 유효시야각 Apparent field of View (AFOV) 관찰 대상 물체와의 거리에 따른 실제적인 시야각
4 공간분해능 Modulation Transfer Function (MTF) 영상의 선명도
5 왜곡 Distortion 고장에 의해 발생하는 영상의 불완전성
6 광투과율 Transmission 광학계의 변형에 의한 렌즈의 광전송정도의 변화
7 비네팅 Vignetting 영상의 외곽부분이 어두워지는 현상
8 착색 Coloration (TVC) 광원의 이상에 의한 색감의 저하
9 굴절율 오차 Eyepiece diopter error 렌즈 위치 변화에 따른 굴절율 변화
10 광분포도 illumination distribution 광학계의 변형에 의한 조명 분포도 변화
11 광조사밝기 illumination brightness 광학계의 변형에 의한 조명 밝기 변화
또한, 도 13의 내시경 시제품의 성능평가를 설명하기 위한 흐름도를 참고하면, 전송된 적색광을 이용한 평가영상을 획득하여 저장하고, 전송된 녹색광을 이용한 평가영상을 획득하여 저장하고, 전송된 청색광을 이용한 평가영상을 획득하여 저장하고, 전송된 백색광을 이용한 평가영상을 획득하여 저장한 다음, 내시경의 광량을 확인하고, 표준 영상과의 품질을 비교하고, 광령을 증가시키면서 표준영상과 동등한 평가영상을 얻을 수 있는 지 확인하고 광발생장치의 교체를 고지할 수 있도록 동작시키게 하는 것이 바람직하다.
이하, 상술한 장치를 이용하여 본 발명의 혈관 흐름 측정 알고리즘에 대하여 설명한다.
도 14는 본 발명의 달팽이관에서의 미세 혈류 측정 방법을 설명하기 위한 흐름도로서, 도시된 바와 같이 본 발명의 혈류속도 측정 방법은 미세순환 영상화를 위한 이비인후과용 내시경 시스템을 이용하여 달팽이관 주위의 미세 혈관을 시각화 및 혈류속도를 측정할 수 있도록 하는 것을 하나의 특징으로 한다.
본 발명의 실시예에 따른 프로브 본체(100)는 비침습적으로 혈류량을 측정할 수 있는 것으로, 먼저, 달팽이관의 미세 혈관에 접촉된 상태에서 미세 혈관을 촬영하는 것으로 먼저 일반적인 방법에 대하여 설명한다.
촬영된 영상은 복수개의 프레임으로 나뉘어 영상수집부(211)에 수집되며, 영상수집부(211)는 수집된 복수개의 프레임을 서로 비교하여 혈류의 이동이 발생된 프레임을 추출한다.
영상추출부(212)는 영상수집부(211)에서 추출된 영상을 이용하여 ROI을 설정한다.
관심영역으로 설정된 ROI는 필터링부(213)에 의해 노이즈를 제거하고, 적혈구의 추적이 용이하도록 협소한 영역을 확대한다.
따라서, 노이즈가 제거된 이미지에 Histogram Equalization수행하여 영역을 확대함으로서 잘 보이지 않는 적혈구의 판별이 용이하게 한다.
상기와 같이 ROI영역의 이미지 확대가 완료되면 알고리즘 적용부(214)는 적혈구 형상 알고리즘을 적용한다(S930)
적혈구 형상 알고리즘은 ROI영역의 이미지 확대를 하면서 적혈구의 판별은 용이해졌으나, 적혈구의 경계가 뚜렷지 않는 문제점이 발생하므로 이를 해결하기 위하여 적용한다. 따라서, Unsharp maskig(언샤프 마스크 필터링) 알고리즘 진행하
여 적혈구의 테두리를 더욱 강조하는 것이다.
적혈구의 테두리를 강조한 다음에는 적혈구의 이동 패턴을 확인한다. 즉, 탐색부(215)는 적혈구의 이동상태를 확인하고 특정 패턴을 추출하고, 이동 패턴에 따른 적혈구의 밀도를 측정한다.
먼저, 탐색부(215)는 ROI(관심영역)를 좌우로 n픽셀씩 이동하여 적혈구의 이동을 탐색하며, 탐색의 완료된 다음에는 프레임의 면적 대비 이동된 ROI(관심영역)의 픽셀 개수를 산출한다.
이를 다시 설명하면, 밀도측정부(216)는 ROI(관심영역)을 좌우로 n픽셀씩 이동하면서 적혈구로 확인되는 픽셀의 개수를 산출하고, 산출된 픽셀의 개수는 프레임 전체 면적에 대비하여 밀도를 측정할 수 있다.
혈류량에 대한 밀도가 측정된 다음에는 밀도 측정으로 인해 산출된 값을 판
단부(217)에 제공하고, 판단부(217)는 ROI영역에서 측정된 적혈구의 밀도/속도 값을 연산하여 혈류량을 산출한다.
산출된 혈류량을 이용하여 환자의 상태를 판단하기 위해서, 판단부(217)는 일반적으로 정상범위에 포함되는 혈류량값을 기 설정하고, 설정된 혈류량값과 판단부(217)에서 산출된 혈류량값을 이용하여 환자의 상태를 판단한다.
따라서 판단부(217)는 산출된 혈류량 값을 기 설정된 혈류량의 정상범위에 적용하여 혈류량의 많고 적음을 판단하며, 판단된 결과는 인디게이터(220)에 송신한다.
이상과 같은 본 발명에 따른 미세혈류 측정장치에 따르면, 비 침습형으로 광학적인 방법으로 혈류량을 측정하고, 측정된 결과를 본체에 포함된 인디게이터를 통해 표시하여 검시자가 환자의 상태를 즉시 확인할 수 있는 효과를 지닌다
보다 구체적으로 도면을 참고하면, (a)순차적으로 획득한 프레임 영상의 정합 및 평균화 과정을 통해 혈류 흐름을 추출하는 단계와 (b)이동 평균 필터 (Moving average filter), 가장자리 강조 필터(edge enhancement filter), 가우시안 필터(gaussian filter) 중 어느 하나 이상을 사용하여 전처리 과정을 통해 혈관 영역을 추출하는 단계, (c)상기 프레임 영상의 변화율을 통해 뼈 영역 및 배경 잡음 영역을 추출하는 단계, (d)영상 픽셀별 속도를 추출하는 단계, 및 (e)미세순환의 동역학 분석 및 시각화하는 단계로 이루어지게 하여 미세혈관에서 발생하는 적혈구의 속도와 혈류량을 측정하는 것이다.
도 14의 혈관 흐름 측정 알고리즘 구성을 예시한 도면과 도 15의 45초동안 획득한 1350프레임 영상을 정합하여 적혈구 속도를 평가한 결과표를 참고하면, 획득한 영상프레임마다 영상처리 기법을 적용하고, 연속된 프레임에서 앞뒤 프레임을 차이를 정량화함으로써 혈류속도를 추출하도록 동작한다.
도 16은 혈류밀도 추출 및 혈류속도 추출 알고리즘을 적용한 참고도면이다.
특히 본 발명에서의 혈관 밀도 추출은 각 영상프레임에서 ROI(관심영역)설정 후 쉽게 추출가능하나 본 발명은 혈관밀도 + 혈류속도를 측정하기 위한 영상처리기법을 이용하는 것을 또 하나의 특징으로 한다.
달팽이관의 미세혈류 변화와 청력은 밀접한 상관 관계를 가지고 있고, 대부분 난청을 연구하는 분야에서 난청의 상관 원인 인자로 미세혈류의 변화를 꼽아 연구를 하고 있다. 난청이 발생하면 달팽이관의 미세 혈류 구조인 stria vascularis에서 세포 밀도 및 구조가 파괴되고, 달팽이관의 미세 혈류 속도가 급격히 감소할 수 있음을 지적하고 있다.
도 17에 일반적인 심혈류와 다른 달팽이관의 미세혈류 시스템 모식도가 개시되어 있다.
심혈관의 혈류 감소와 달팽이관 미세 혈류 변화에 따른 난청은 전혀 다른 질병 관계로, 심혈관계에 따른 전체 혈류량의 변화와는 다른 개념으로 달팽이관 내에는 미세 모세 혈관들이 있으며, 이독성 난청 및 메니에르 병은 난청을 발생하고, 이에 따른 sencondary effect로 유모 세포의 감소 및 stria vascularis 구조의 파괴 등을 가져와 궁극적으로 난청과 함께 미세혈류의 감소가 발생한다는 것을 알 수 있다.
이를 위하여 본 발명에서는 이미지 명암도 개성을 위하여 히스토 그램 스트레칭기법을 이용하여 영상을 처리한다.
히스토그램 스트레칭은 영상의 히스토그램이 그레이 스케일 전 구간에서 골고루 나타나도록 변경하는 선형 변환 기법으로, 보통 명암비가 낮은 영상은 히스토그램이 특정 구간에 집중되어 나타나게 되는데, 마치 고무줄을 늘이듯이 히스토그램을 잡아 펼쳐서 그레이 스케일 전 구간에서 히스토그램 그래프가 나타나도록 변환하는 기법이 히스토그램 스트레칭이다. 결과적으로 히스토그램 스트레칭을 수행한 영상은 명암비가 높아져서 일반적으로 보기 좋은 사진 형태로 바뀌게 된다.
히스토그램 스트레칭을 수식으로 표현하면 다음 수학식 1과 같다.
Figure pat00001
위 식에서 f(x, y)와 g(x, y)는 각각 입력 영상과 출력 영상을 나타낸다. 그리고 Gmin과 Gmax는 입력 영상의 픽셀 값 중에서 가장 낮은 그레이 스케일 값과 가장 큰 그레이 스케일 값을 의미한다.
도 18에 히스토그램 조정에 따른 혈관 명암비 변화 도면이 예시되어 있다.
다음으로 영상 샤프니스 증가를 위하여 선처리를 진행한다.
이러한 선처리를 위하여 본 발명에서는 가우시안 블러링을 실행한 다음 가우시안 블러링을 이용한 샤프니스 증대를 실행한다.
먼저 가우시안 블러링은 가우시안 분포는 자연 현상을 가장 잘 표현하는 이상적인 확률 모형이다. 가우시안 분포는 평균을 중심으로 좌우 대칭의 종 모양 형태로 분포가 줄어드는 형태를 갖는다. 평균이 0이고, 표준 편차가 σs인 1차원 가우시안 분포를 함수 식으로 나타내면 다음 수학식 2와 같다.
Figure pat00002
표준 편차 σs가 각각 0.5, 1.0, 2.0인 경우의 가우시안 분포 그래프를 도 19와 도 20에 도시한다. 도 19와 도 20는 표준 편차 σs가 각각 0.5, 1.0, 2.0인 경우의 가우시안 분포 그래프로서, 평균이 0인 가우시안 함수이기 때문에 x=0에서 함수 값이 가장 크게 나타나며, 0에서 멀어질수록 함수 값이 감소하게 된다. 그리고 표준 편차 값이 작을수록 뾰족한 곡선을 이루고, 표준 편차가 증가할수록 완만한 곡선을 구성한다. 가우시안 분포에서 함수 값들은 x 값이 -4σs부터 +4σs 사이인 경우에 전체 분포의 99.99%가 존재한다.
σ=1인 경우의 가우시안 필터 마스크는 표 3과 같다.
Figure pat00003
표준 편차 값이 각각 1.0, 2.0, 3.0, 4.0, 5.0인 가우시안 필터를 수행한 결과 영상이다. 표준 편차의 값이 커질수록 결과 영상이 더욱 많이 부드러워지는 것을 볼 수 있다. 그러나 표준 편차의 값이 커지면 영상의 엣지 정보 또한 많이 뭉개지기 때문에 적절한 표준 편차의 값을 선택하여 사용하는 것이 좋다.
도 21에 가우시안 필터를 수행한 결과 영상이 예시되어 있다.
다음은 이러한 가우시안 블러링을 이용한 샤프니스 증대 방법에 대하여 설명한다.
언샤프 마스크 필터는 영상을 날카롭게 만드는 방법 중 하나이다. 언샤프 마스크라는 용어는 이 필터가 말 그대로 날카롭지 않은 영상을 사용하기 때문에 붙여진 이름이다. 여기서 날카롭지 않은 영상이란 위에 가우시안 블러로 부드러워진 영상을 의미한다. 언샤프 마스크 필터링에서는 다음과 같은 수식을 사용하여 영상의 엣지가 강조된 영상을 만들어 사용한다.
Figure pat00004
수학식 3에서 f(x, y)는 입력 영상을 의미하고, ㅁ(x, y)는 입력 영상을 부드럽게 변환한 영상이다. 결과 영상 g(x, y)는 입력 영상에서 엣지 부분에 해당하는 픽셀에서만 큰 양수 또는 음수 값을 가지며, 평탄한 영역에서는 0에 가까운 값을 갖는다. 이를 이용하여 최종적으로 날카로운 부분만 강조한 영상을 만들기 위해서는 원래 영상에 g(x, y)를 더해주는 연산이 필요하다. 결과적으로 날카로운 영상을 만드는 최종 수식은 다음 수학식 4와 같다.
Figure pat00005
수학식 4를 이용한 영상 처리 도면이 도 22과 도 23에 도시되어 있다.
도 22는 추출된 g(x, y)*f 에 가중치를 주고 연산을 한 경우로 더욱 샤프한 이미지를 만들 수 있다는 것을 보여주고 있다.
도 23은 실제 샤프니스 증가 변화를 비교한 도면이다.
실제 영상 처리단계에서의 혈류영상 변화가 도 24와 도 25에 예시되어 있다.
도 24는 히스토그램 이퀄라이제이션 진행 상태 원본 영상을 비교한 도면이고, 도 25는 히스토그램 이퀄라이제이션 진행한 결과 RBC 샤프니스 진행 상태를 원본 영상과 비교한 도면이다.
히스토그램 스트레칭과 가우시안 블러링을 이용한 샤프니스 증대 과정이 종료되면 다음으로 혈류속도를 측정하기 위하여 이동 방향 및 거리를 측정한다.
즉 이동 방향 및 거리 측정 단계에서는 먼저 촬영된 이미지에 ROI 영역을 설정하고, 설정된 ROI 영역에 2배에 해당하는 영역만큼 확대 검색한다.
도 26에 ROI 영역에 2배에 해당하는 영역만큼 확대 검색한 도면이 예시되어 있다.
도면에서 중앙의 빨강색은 설정 ROI 영역을, 빨강색과 파란색은 RBC 이동 검색 영역을 표시한 것이다.
ROI 영역이 빨강색 부분이며 실제 RBC에 이동을 방향 및 거리를 검색하기 위해 빨강색을 포함한 파랑색 부분을 스캔한다.
각 프레임을 비교하며 가장 유사한 이미지에 이동 방향과 이동 거리( 픽셀 )를 찾아 속도를 계산한다.
도 27에 라인 페어 차트를 촬영 후 1픽셀이 해당하는 사이즈를 확인하는 도면이 예시되어 있다. 도면에서는 1픽셀이 해당하는 사이즈가 약 1마이크로미터임을 알 수 있다.
따라서
거리가 "1픽셀 = 약 1마이크로미터"이고,
시간은 "1sec/ 30fps = 0.03sec( 1프레임 )"이므로,
속도는 33.3 μm/srk 되는 것이다.
도 28의 ROI 영역에 영상 처리 후 RBC 이동 방향 및 모형도를 보면 UI 구성은 이동 거리에 따라 모양의 그림이 중앙을 기준으로 다르게 이동하므로 이동 방향 및 거리 확인이 가능하다.
이를 위하여 먼저 1차원 밀도를 측정한다.
ROI 영역에서 나타낼 수 있는 디지털(1byte) 최대 값을 기준으로 판단( 영역 전체 )
즉, 촬영된 이미지에 영상 처리된 ROI 영역을 설정하고 ROI 영역 사이즈에 표현할 수 있는 디지털 최대 값을 확인한다.
도 29는 설정된 ROI를 노랑색으로 표시한 도면으로 노랑색 부분 픽셀 4*4픽셀 만큼 ROI 영역임을 알 수 있다.
따라서 16(픽셀개수) * 255( 1byte 표현 최대값 ) = 4080 으로 이것 값을 100%로 판단한다. 참고로 1byte는 표현 범위가 0 - 255이다.
즉, 촬영된 영상에 ROI 값을 확인하여 이 값이 2040이면 밀도는 50%라고 판단하는 것이다.
두번째로 RBC 밀도는 특정 값 이상의 픽셀만 추출 개수로 판단한다.
즉, 촬영된 이미지에 영상 처리된 ROI영역을 설정하고, ROI영역에 픽셀 값을 확인한다. 즉, 기준이 240이 넘는 픽셀을 확인하는 것이다.
개수가 확인되면 노란 부분(도34참고)에 240이 넘는 픽셀이 3개로 확인되면 18%로 판단하는 것이다.
상술한 바와 같이 본 발명의 달팽이관에서의 미세 혈류 측정 방법에 의하면, 의료기기 산업은 전세계적으로 경제성장, 고령화, 건강에 대한 관심 증가에 따라 고성장세를 유지하는 유망 산업 분야로서, 국가 차원에서 전략적으로 집중 육성하는 신성장 핵심동력으로 각광받고 있기 때문에 지속적인 고성장이 전망되는 고부가가치 산업으로 고용창출력이 높고 IT, BT, NT 등 국내 기반기술을 활용하면 성공 가능성이 높은 산업분야이다.
따라서 신기술이 접목된 혈류 영상화 내시경 기술을 확보하여 창조 경제 구축에 이바지하고, 급격하게 증가하는 국내 내시경 수요에 대하여 약 96%를 수입에 의존하고 있는 상황에서, 정부 지원을 바탕으로 국제 경쟁력 갖춘 내시경 요소 기술 및 시스템 기술 개발에 기여할 수 있다.
이상에서 본 발명은 기재된 구체예에 대하여 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허 청구범위에 속함은 당연한 것이다.
100 : 내시경 본체 110 : 내시경 프로브
120 : 가이드 관체 130 : 렌즈(120)
200 : 영상처리부 210 : 측정모듈
220 : 인디게이터 230 : 영상송수신부
300 ; 광원부

Claims (12)

  1. 미세순환 영상화를 위한 미세혈류측정장치를 이용하여 달팽이관 주위의 미세 혈관을 시각화 및 혈류속도를 측정할 수 있는 달팽이관에서의 미세 혈류 측정 방법에 있어서,
    (a)순차적으로 획득한 프레임 영상의 정합 및 평균화 과정을 통해 혈류 흐름을 추출하는 단계;
    (b)이동 평균 필터 (Moving average filter), 가장자리 강조 필터(edge enhancement filter), 가우시안 필터(gaussian filter) 중 어느 하나 이상을 사용하여 전처리 과정을 통해 혈관 영역을 추출하는 단계;
    (c)상기 프레임 영상의 변화율을 통해 뼈 영역 및 배경 잡음 영역을 추출하는 단계;
    (d)영상 픽셀별 속도를 추출하는 단계;및
    (e)미세순환의 동역학 분석 및 시각화하는 단계;
    로 이루어지게 하여 미세혈관에서 발생하는 적혈구의 속도와 혈류량을 측정할 수 있는 달팽이관에서의 미세 혈류 측정 방법.
  2. 제 1항에 있어서,
    상기 (a)단계는
    수집된 복수의 영상 프레임으로부터 N개의 ROI(관심영역)를 복수의 영상 프레임을 비교하여 변화가 많은 부분으로 설정하고, 추출된 N개의 ROI(관심영역)의 이미지를 병합하되 적혈구에 대한 이미지가 부각될 수 있도록 발생된 노이즈를 제거하는 단계를 포함하는 달팽이관에서의 미세 혈류 측정 방법.
  3. 제 1항에 있어서,
    상기 (b)단계는
    노이즈가 제거된 ROI(관심영역)의 이미지에 Histogram Equalization(히스토그램 평활화)를 수행하여 이미지를 확대하고, 확대가 완료된 이미지는 적혈구 알고리즘을 적용하여 적혈구를 선택적으로 강조하는 단계를 포함하는 달팽이관에서의 미세 혈류 측정 방법.
  4. 제 3항에 있어서,
    상기 히스토그램 평활화는
    노이즈가 제거된 ROI(관심영역)의 이미지의 픽셀값 전체에 최소값 및 최대값을 검색하고, 검색된 최소값 및 최대값을 이용하여 이미지를 스트레칭하고, 스트레칭된 이미지에 Unsharp maskig(언샤프 마스크 필터링) 알고리즘 진행하는 달팽이관에서의 미세 혈류 측정 방법.
  5. 제 4항에 있어서,
    상기 언샤프 마스크 필터링은 다음의 수학식으로 표현되는 것을 특징으로 하는 달팽이관에서의 미세 혈류 측정 방법.
    Figure pat00006

    여기서 f(x, y)는 입력 영상을 의미하고, ㅁ(x, y)는 입력 영상을 부드럽게 변환한 영상이며, 결과 영상 g(x, y)는 입력 영상에서 엣지 부분에 해당하는 픽셀에서만 큰 양수 또는 음수 값을 가지며, 평탄한 영역에서는 0에 가까운 값을 갖는다.
  6. 청구항 5에 있어서,
    상기 수학식에 의하여 추출된 영상에 날카로운 부분만 강조한 영상을 만들기 위하여 f(x,y)의 원래 영상에 결과 영상인 g(x, y)의 연산이 추가되는 달팽이관에서의 미세 혈류 측정 방법.
    Figure pat00007

  7. 달팽이관 주위의 미세 혈관을 시각화 및 혈류속도를 측정할 수 있는 달팽이관에서의 미세순환 영상화를 위한 달팽이관에서의 미세혈류측정장치에 있어서,
    상기 미세혈류 측정장치는
    일단부가 달팽이관의 미세혈관에 밀착되며, 미세혈관에 광을 조사하고 반사된 광을 렌즈를 통해 수집하는 내시경 프로브와 상기 내시경 프로브의 타단에 연결되며, 상기 내시경 프로브로부터 전달받은 광을 통해 혈류량을 촬영하여 환자의 상태를 측정할 수 있도록 하는 본체;
    를 포함하며,
    상기 본체는,
    촬영된 영상을 통해 미세혈류의 속도 및 혈관 내 혈류의 밀도를 측정하여 정량화하는 달팽이관에서의 미세 혈류 측정 장치.
  8. 제 7항에 있어서,
    상기 내시경 본체에서 촬영된 영상을 통해 미세 혈류의 속도 및 혈류의 밀도를 측정하여 환자의 상태를 직관적으로 파악할 수 있도록 영상처리하는 영상처리부;
    를 더 포함하는 달팽이관에서의 미세 혈류 측정 장치.
  9. 청구항 8에 있어서,
    상기 내시경 본체는
    내시경 프로브의 조명장치를 통해 광을 유입하여 환부에 제공되며, 환부로부터 반사된 광은 다시 렌즈를 통해 수집된 후 광가이드 역할을 하는 가이드 관체의 내부공간을 따라 이동하여 이미지센서에 제공되도록 구성되고, 이미지 센서에 의해 이미지화된 영상은 영상처리부로 제공하는 달팽이관에서의 미세 혈류 측정 장치.
  10. 제 8항에 있어서,
    상기 측정모듈은
    내시경 본체(100)의 이미지센서(140)로부터 전달받은 영상을 수집하는 영상수집부;
    상기 영상수집부에 수집된 복수의 영상 프레임으로부터 N개의 ROI(관심영역)을 추출하는 영상추출부;
    상기 영상추출부에서 추출된 N개의 ROI(관심영역)의 이미지를 병합시 발생하는 노이즈를 제거하여 적혈구에 대한 이미지가 부각되도록 영상처리하는 필터링부;
    상기 노이즈가 제거된 ROI(관심영역)의 이미지에 Histogram Equalization(히스토그램 평활화)를 수행하여 이미지를 확대하고, 확대가 완료된 이미지에 적혈구 형상 강조 알고리즘을 적용하여 적혈구를 선택적으로 강조하는 알고리즘 적용부;
    상기 적혈구 형상 강조 알고리즘이 적용된 이미지를 통해 적혈구의 이동 패턴을 탐색하는 탐색부;
    상기 탐색부에서 탐색이 완료된 적혈구의 이동 패턴에 따라 측정값을 산출하여 적혈구의 밀도를 측정하는 밀도측정부;및
    상기 밀도 측정부에서 측정된 적혈구의 밀도가 혈류의 속도에 대비하여 정상인지를 판단하며, 판단된 결과는 인디게이터에 송신하는 판단부;
    를 포함하는 달팽이관에서의 미세 혈류 측정 장치.
  11. 청구항 10에 있어서,
    상기 영상처리부는
    상기 측정모듈에서 측정된 적혈구량에 따라 서로 다른 색상의 led를 발광하여 검시자로 하여금 측정된 혈류량을 인식하게 하는 인디게이터;
    를 더 포함하는 달팽이관에서의 미세 혈류 측정 장치.
  12. 청구항 10에 있어서,
    상기 영상처리부는
    내시경 본체로부터 전달받은 영상을 수집하고, 수집된 영상을 유선 또는 무선을 통해 외부 서버로 송신하는 영상송수신부;
    를 더 포함하는 달팽이관에서의 미세 혈류 측정 장치.


















KR1020190106563A 2018-08-29 2019-08-29 달팽이관에서의 미세 혈류 측정 방법 및 장치 KR102267509B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180102327 2018-08-29
KR1020180102327 2018-08-29

Publications (2)

Publication Number Publication Date
KR20200026135A true KR20200026135A (ko) 2020-03-10
KR102267509B1 KR102267509B1 (ko) 2021-06-21

Family

ID=69801235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190106563A KR102267509B1 (ko) 2018-08-29 2019-08-29 달팽이관에서의 미세 혈류 측정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102267509B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177613A1 (ko) 2020-03-02 2021-09-10 주식회사 엘지에너지솔루션 용접 상태 검사 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102578312B1 (ko) * 2021-10-27 2023-09-15 (주) 큐빅셀 홀로그램 기반 대상체 3차원 계측 장치 및 방법
KR102482425B1 (ko) 2022-08-11 2022-12-28 (주)헬스케어다온 혈관 및 혈류 관련 정보를 측정하는 장치
KR102497398B1 (ko) 2022-11-30 2023-02-08 (주)헬스케어다온 복수의 발광부를 포함하는 혈관 및 혈류 관련 정보를 측정하는 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510112A (ja) * 1999-09-23 2003-03-18 ジー.ナドウ リチャード 直交偏光スペクトルイメージングの医学的応用
JP2008017961A (ja) * 2006-07-12 2008-01-31 Image One Co Ltd 血流速度の測定方法及び装置
KR20150092694A (ko) * 2014-02-03 2015-08-13 연세대학교 원주산학협력단 필터변환장치를 이용한 다목적 피부 영상화장치
KR20180067025A (ko) 2016-12-12 2018-06-20 광주과학기술원 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510112A (ja) * 1999-09-23 2003-03-18 ジー.ナドウ リチャード 直交偏光スペクトルイメージングの医学的応用
JP2008017961A (ja) * 2006-07-12 2008-01-31 Image One Co Ltd 血流速度の測定方法及び装置
KR20150092694A (ko) * 2014-02-03 2015-08-13 연세대학교 원주산학협력단 필터변환장치를 이용한 다목적 피부 영상화장치
KR20180067025A (ko) 2016-12-12 2018-06-20 광주과학기술원 이미지로부터 실시간으로 혈류변화를 측정하기 위한 방법, 장치 및 컴퓨터-판독가능 저장 매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177613A1 (ko) 2020-03-02 2021-09-10 주식회사 엘지에너지솔루션 용접 상태 검사 장치

Also Published As

Publication number Publication date
KR102267509B1 (ko) 2021-06-21

Similar Documents

Publication Publication Date Title
KR102267509B1 (ko) 달팽이관에서의 미세 혈류 측정 방법 및 장치
JP6890184B2 (ja) 医療画像処理装置及び医療画像処理プログラム
US9445713B2 (en) Apparatuses and methods for mobile imaging and analysis
JP6831463B2 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
KR20160037834A (ko) 의료 이미징 장치 및 사용 방법
JP7308258B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
WO2016098474A1 (ja) 血流計測装置
WO2017145531A1 (ja) 医療用画像処理装置、システム、方法及びプログラム
JP6671946B2 (ja) 情報取得装置、撮像装置及び情報取得方法
JPWO2020036121A1 (ja) 内視鏡システム
JP5935498B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6289462B2 (ja) 画像処理装置及び画像処理方法
JP4751689B2 (ja) 眼球表面解析システム
JP2024028448A (ja) スリットランプ顕微鏡
US20230320584A1 (en) Image processing method, image processing program, image processing device, image display device, and image display method
JP2023164610A (ja) 画像処理装置、画像処理方法および画像処理システム
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
JP6774550B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
DE112015002614T5 (de) Bildbearbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
US20210015362A1 (en) Control device and method, and surgical microscope system
CN114364306A (zh) 裂隙灯显微镜、眼科信息处理装置、眼科系统、裂隙灯显微镜的控制方法以及记录介质
US20230206445A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
CN114041737B (zh) 应用于内窥镜的成像装置
JP2022090759A (ja) 医用画像処理システム、医用画像処理システムの作動方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant