KR101749211B1 - 모바일 기기 연동형 적외선 기반 혈관 시각화 장치 및 방법 - Google Patents

모바일 기기 연동형 적외선 기반 혈관 시각화 장치 및 방법 Download PDF

Info

Publication number
KR101749211B1
KR101749211B1 KR1020160051386A KR20160051386A KR101749211B1 KR 101749211 B1 KR101749211 B1 KR 101749211B1 KR 1020160051386 A KR1020160051386 A KR 1020160051386A KR 20160051386 A KR20160051386 A KR 20160051386A KR 101749211 B1 KR101749211 B1 KR 101749211B1
Authority
KR
South Korea
Prior art keywords
image
blood vessel
infrared
image processing
monochrome image
Prior art date
Application number
KR1020160051386A
Other languages
English (en)
Inventor
송용호
김회율
김성록
최건우
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Application granted granted Critical
Publication of KR101749211B1 publication Critical patent/KR101749211B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 장치는 카메라에 의해 촬영된 적외선 영상을 획득하는 영상 획득부; 상기 적외선 영상을 그레이스케일 변환(grayscale conversion)하여 흑백 영상을 생성하고, 상기 흑백 영상 내 피부와 혈관 사이의 명암 차이를 극대화시키기 위해, 명암 대비 스트레칭(contrast stretching)을 이용하여 상기 흑백 영상을 제1 영상 처리하는 제1 영상 처리부; 및 LoG(Laplacian of Gaussian)를 이용하여 상기 제1 영상 처리된 흑백 영상을 제2 영상 처리하고, 상기 제2 영상 처리된 흑백 영상으로부터 혈관을 검출하는 제2 영상 처리부를 포함한다.

Description

모바일 기기 연동형 적외선 기반 혈관 시각화 장치 및 방법{MOBILE DEVICE LINKABLE DEVICE FOR VISUALIZING BLOOD VESSEL BASED ON INFRARED RAY AND METHOD FOR THE SAME}
본 발명의 실시예들은 모바일 기기 연동형 적외선 기반 혈관 시각화 장치 및 방법에 관한 것이다.
정맥 주사는 병원에서 빈번히 접할 수 있는 일이다. 연구 결과에 의하면, 병원에 내원하는 환자들 중 90%는 정맥 주사를 받는다. 정맥 주사는 대부분 첫 번째 시도에 성공을 하지만 특정한 집단의 경우에는 많게는 11번까지 시도를 해야 성공을 한다. 여러 번에 걸친 정맥 주사 시도의 원인은 다양하지만, 육안으로 정맥을 확인하기 어려움이 제일 비중이 크다.
여러 번에 걸친 정맥 주사 시도는 환자에게 스트레스, 고통, 초조함 등을 유발한다. 또한, 영유아 및 노인들은 혈관이 연약하여 자칫 혈관을 손상시켜 혈관질환을 유발할 수 있다.
이러한 이유 때문에 피하에 존재하는 혈관을 시각화 시키는 연구가 진행되어 왔으며, 현재 상용화된 정맥 시각화 장치들로는 AccuVein, VeinViewer, VascuLuminator 등이 있다. 하지만 이런 정맥 시각화 장치들은 고가의 장비여서 소수의 병원만이 사용하고 있다.
고가의 장비라는 단점을 해결하여 널리 보급하기 위해 저가의 적외선 영상장치를 활용한 저가 정맥 시각화 장치의 개발이 필요한 실정이다.
관련 선행기술로는 대한민국 공개특허공보 제2013-0028534호(발명의 명칭: 혈관 인식 장치, 그 방법 및 기록 매체, 공개일자: 2013년 03월 19일)가 있다.
본 발명의 일 실시예는 혈관을 검출하는 데 적합한 적외선 조사부와 촬영 장치를 스마트폰, 태블릿 등의 모바일 기기에 애드온 형태로 연동시켜 저가의 장비와 적은 연산으로도 혈관을 검출 및 시각화할 수 있는, 모바일 기기 연동형 적외선 기반 혈관 시각화 장치 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 장치는 카메라에 의해 촬영된 적외선 영상을 획득하는 영상 획득부; 상기 적외선 영상을 그레이스케일 변환(grayscale conversion)하여 흑백 영상을 생성하고, 상기 흑백 영상 내 피부와 혈관 사이의 명암 차이를 극대화시키기 위해, 명암 대비 스트레칭(contrast stretching)을 이용하여 상기 흑백 영상을 제1 영상 처리하는 제1 영상 처리부; 및 LoG(Laplacian of Gaussian)를 이용하여 상기 제1 영상 처리된 흑백 영상을 제2 영상 처리하고, 상기 제2 영상 처리된 흑백 영상으로부터 혈관을 검출하는 제2 영상 처리부를 포함한다.
상기 제1 영상 처리부는 상기 생성된 흑백 영상에 존재하는 노이즈를 제거하기 위해 가우시안 블러링(Gaussian Blurring)을 수행할 수 있다.
상기 제1 영상 처리부는 상기 노이즈가 제거된 흑백 영상에서 배경을 제거할 수 있다.
상기 제1 영상 처리부는 상기 노이즈가 제거된 흑백 영상 내 팔과 배경 사이에 존재하는 임계치 이상의 강한 에지(strong edge)를 검출하고, 상기 검출된 강한 에지를 활용하여 상기 흑백 영상 내 팔에 해당하는 부분 전체를 하나의 관심 영역으로 추출하며, 상기 추출된 관심 영역에 대하여 상기 명암 대비 스트레칭을 수행할 수 있다.
상기 제2 영상 처리부는 상기 LoG의 세로 성분을 이용하여 상기 제2 영상 처리를 수행함으로써, 상기 제1 영상 처리된 흑백 영상에서 가로 방향의 주름은 미검출하고 세로 방향의 혈관만을 검출할 수 있다.
상기 제2 영상 처리부는 상기 LoG의 세로 성분을 상기 제1 영상 처리된 흑백 영상과 컨볼루션(convolution)하여 에지 영상을 획득하고, 상기 에지 영상으로부터 혈관을 검출할 수 있다.
상기 LoG는 하기 수학식에 기초하여 산출되고, 상기 LoG의 세로 성분은 하기 수학식에서 dxx 성분일 수 있다.
Figure 112016040463637-pat00001
여기서, σ는 가우시안 표준 편차, x와 y는 각각 영상의 가로 방향과 세로 방향의 픽셀 값을 나타냄.
상기 제1 및 제2 영상 처리부는 모바일 기기에 모듈 형태로 탑재되어 구현될 수 있다.
상기 모바일 기기는 상기 혈관이 검출된 흑백 영상을 화면에 디스플레이할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 장치는 상기 모바일 기기를 거치할 수 있는 거치대를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 방법은 카메라에 의해 촬영된 적외선 영상을 획득하는 단계; 상기 적외선 영상을 그레이스케일 변환(grayscale conversion)하여 흑백 영상을 생성하는 단계; 상기 흑백 영상 내 피부와 혈관 사이의 명암 차이를 극대화시키기 위해, 명암 대비 스트레칭(contrast stretching)을 이용하여 상기 흑백 영상을 제1 영상 처리하는 단계; LoG(Laplacian of Gaussian)를 이용하여 상기 제1 영상 처리된 흑백 영상을 제2 영상 처리하는 단계; 및 상기 제2 영상 처리된 흑백 영상으로부터 혈관을 검출하는 단계를 포함한다.
상기 제1 영상 처리하는 단계는 상기 생성된 흑백 영상에 존재하는 노이즈를 제거하기 위해 가우시안 블러링(Gaussian Blurring)을 수행하는 단계를 포함할 수 있다.
상기 제1 영상 처리하는 단계는 상기 노이즈가 제거된 흑백 영상에서 배경을 제거하는 단계를 더 포함할 수 있다.
상기 배경을 제거하는 단계는 상기 노이즈가 제거된 흑백 영상 내 팔과 배경 사이에 존재하는 임계치 이상의 강한 에지(strong edge)를 검출하는 단계; 및 상기 검출된 강한 에지를 활용하여 상기 흑백 영상 내 팔에 해당하는 부분 전체를 하나의 관심 영역으로 추출하는 단계를 포함하고, 상기 제1 영상 처리하는 단계는 상기 추출된 관심 영역에 대하여 상기 명암 대비 스트레칭을 수행하는 단계를 포함할 수 있다.
상기 제2 영상 처리하는 단계는 상기 LoG의 세로 성분을 이용하여 상기 제2 영상 처리를 수행함으로써, 상기 제1 영상 처리된 흑백 영상에서 가로 방향의 주름은 미검출하고 세로 방향의 혈관만을 검출하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 혈관을 검출하는 데 적합한 적외선 조사부와 촬영 장치를 스마트폰, 태블릿 등의 모바일 기기에 애드온 형태로 연동시켜 저가의 장비와 적은 연산으로도 혈관을 검출 및 시각화할 수 있다.
본 발명의 일 실시예에 따르면, 혈관 검출 및 시각화에 모바일 기기를 활용함으로써, 소형의 애드온 장치와 이를 제어할 수 있는 앱(APP) 형태의 프로그램만 구입하여 사용할 수 있어 예산 절감 및 기기 보급이 용이하다.
도 1은 본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 장치를 설명하기 위해 도시한 블록도이다.
도 2는 도 1의 영상 획득부의 상세 구성을 도시한 도면이다.
도 3은 도 1의 영상 획득부와 모바일 기기가 결합된 상태를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 장치가 거치대에 거치된 상태를 도시한 도면이다.
도 5는 배경을 제거한 영상을 나타낸 도면이다.
도 6은 도 5의 영상에 대해 Contrast stretching을 한 도면이다.
도 7은 Contrast stretching 기법에 대해 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 방법을 설명하기 위해 도시한 흐름도이다.
도 9 내지 도 14는 본 발명의 혈관 검출에 대한 실험 및 그 결과에 대해서 설명하기 위해 도시한 도면이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 장치를 설명하기 위해 도시한 블록도이고, 도 2는 도 1의 영상 획득부(110)의 상세 구성을 도시한 도면이며, 도 3은 도 1의 영상 획득부(110)와 모바일 기기(140)가 결합된 상태를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 장치가 거치대에 거치된 상태를 도시한 도면이다.
도 1 내지 도 4를 참조하면, 본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 장치(100)는 영상 획득부(110)와, 제1 영상 처리부(120) 및 제2 영상 처리부(130)를 포함하는 모바일 기기(140)를 포함하여 구성될 수 있다.
상기 영상 획득부(110)는 카메라에 의해 촬영된 적외선 영상을 획득한다. 여기서, 상기 카메라는 단안 카메라인 것이 바람직하다.
구체적으로, 상기 영상 획득부(110)는 외부 전원 입력 단자(210), 조명 밝기 조절 아날로그 다이얼 스위치(220), 복수의 적외선 엘이디(IR LED)(230), 카메라 렌즈(240), USB 케이블(250), 및 USB OTG 젠더(260)를 포함하여 구성될 수 있다.
상기 외부 전원 입력 단자(210)는 외부로부터 전원이 입력되는 단자로서, 예컨대 5볼트(V)의 외부 전원을 입력받을 수 있다.
상기 조명 밝기 조절 아날로그 다이얼 스위치(220)는 조명의 밝기를 조절하는 기능을 하며, 조명의 온/오프(On/Off) 기능을 겸할 수도 있다. 즉, 사용자는 상기 조명 밝기 조절 아날로그 다이얼 스위치(220)를 오른쪽으로 돌려 조명을 온 시킨 후, 오른쪽 또는 왼쪽으로 돌려 조명 밝기를 조절할 수 있으며, 왼쪽으로 돌려 조명을 오프 시킬 수도 있다.
상기 복수의 적외선 엘이디(230)는 적외선 광을 피사체인 환자의 팔에 조사한다. 상기 복수의 적외선 엘이디(230)는 도면에서와 같이 4개로 구성될 수 있으며, 이와 달리 그 이상 또는 그 이하의 개수로 구성될 수도 있다.
상기 카메라 렌즈(240)는 상기 복수의 적외선 엘이디(230)로부터 조사된 적외선 광을 이용하여 피사체인 환자의 팔, 특히 혈관 주사를 놓는 부위를 촬영하여 적외선 영상을 얻을 수 있다.
상기 USB 케이블(250)은 상기 영상 획득부(110)를 상기 모바일 기기(140)와 통신 연결시켜 주며, 이때 상기 USB OTG 젠더(260)를 통해 상기 모바일 기기(140)와 물리적으로 접속할 수 있다. 상기 USB 케이블(250)이 상기 모바일 기기(140)와 통신 연결되면, 상기 카메라 렌즈(240)에 의해 촬영된 적외선 영상은 상기 모바일 기기(140)의 제1 영상 처리부(120)로 전송될 수 있다.
상기 영상 획득부(110)는 도 3에 도시된 바와 같이 상기 모바일 기기(140)와 결합될 수 있다. 이를 위해, 상기 영상 획득부(110)는 상기 조명 밝기 조절 아날로그 다이얼 스위치(220)이 위치한 면과 그 반대 면에 장착부를 더 포함할 수 있다. 상기 영상 획득부(110)는 상기 장착부를 통해 상기 모바일 기기(140)와 결합할 수 있다. 즉, 사용자는 상기 장착부에 상기 모바일 기기(140)를 끼움으로써 상기 영상 획득부(110)에 상기 모바일 기기(140)를 결합시킬 수 있다.
상기 제1 영상 처리부(120)는 상기 영상 획득부(110)에 의해 획득된 상기 적외선 영상을 전송받아 그레이스케일 변환(grayscale conversion)하여 흑백 영상을 생성할 수 있다. 이때, 상기 제1 영상 처리부(120)는 상기 그레이스케일 변환뿐만 아니라 다른 방식으로 상기 적외선 영상을 변환할 수도 있다. 예를 들어, 상기 제1 영상 처리부(120)는 반전 처리를 통해 상기 적외선 영상에서 어두운 부분은 밝게, 밝은 부분은 어둡게 변환할 수도 있다.
상기 제1 영상 처리부(120)는 상기 흑백 영상에 존재하는 노이즈를 제거하기 위해 가우시안 블러링(Gaussian Blurring)을 수행할 수 있다. 또한, 상기 제1 영상 처리부(120)는 상기 노이즈가 제거된 흑백 영상에서 배경을 제거할 수 있다. 도 5는 배경을 제거한 영상을 나타낸 도면이다. 도 5에서와 같이 배경을 제거한 영상은 피부와 혈관 간의 명암 차이가 적어 구별하기 어렵다. 따라서, 피부와 혈관 간의 명암 차이를 극대화할 필요가 있다.
이를 위해, 상기 제1 영상 처리부(120)는 명암 대비 스트레칭(contrast stretching)을 이용하여 상기 흑백 영상을 제1 영상 처리한다. 구체적으로, 상기 제1 영상 처리부(120)는 상기 노이즈가 제거된 흑백 영상 내 팔과 배경 사이에 존재하는 임계치 이상의 강한 에지(strong edge)를 검출할 수 있다. 상기 제1 영상 처리부(120)는 상기 검출된 강한 에지를 활용하여 상기 흑백 영상 내 팔에 해당하는 부분 전체를 하나의 관심 영역으로 추출할 수 있다. 상기 제1 영상 처리부(120)는 상기 추출된 관심 영역에 대하여 상기 명암 대비 스트레칭을 수행할 수 있다.
이로써, 상기 제1 영상 처리부(120)는 도 6과 같이 상기 흑백 영상에서 피부와 혈관 사이의 명암 차이를 극대화시킬 수 있다. 참고로, 도 6은 도 5의 영상에 대해 Contrast stretching을 한 도면이다.
Contrast Stretching은 픽셀이 표현할 수 있는 색의 범위를 최대한 활용할 수 있도록 해주는 영상 처리 기법이다. 예를 들어, 도 7에 도시된 바와 같이, Contrast Stretching은 픽셀 값들이 84~153 사이에 분포할 때 이 분포를 확장시켜 0~255로 늘려준다. 이를 수식으로 표현하면 다음의 수학식 1과 같다.
[수학식 1]
명암대비 스트레칭한 값 = [(기존 픽섹값 - 기존 분포 최소값) / (기존 분포 최대값 - 기존 분포 최소값)] * 255
상기 제2 영상 처리부(130)는 LoG(Laplacian of Gaussian)를 이용하여 상기 제1 영상 처리된 흑백 영상을 제2 영상 처리한다. 상기 제2 영상 처리부(130)는 상기 제2 영상 처리된 흑백 영상으로부터 혈관을 검출한다.
이때, 상기 제2 영상 처리부(130)는 상기 LoG의 세로 성분을 이용하여 상기 제2 영상 처리를 수행함으로써, 상기 제1 영상 처리된 흑백 영상에서 가로 방향의 주름은 미검출하고 세로 방향의 혈관만을 검출할 수 있다.
구체적으로, 상기 제2 영상 처리부(130)는 상기 LoG의 세로 성분을 상기 제1 영상 처리된 흑백 영상과 컨볼루션(convolution)하여 에지 영상을 획득할 수 있다. 상기 제2 영상 처리부(130)는 상기 에지 영상으로부터 혈관을 검출할 수 있다. 여기서, 상기 LoG는 하기 수학식 2에 기초하여 산출될 수 있다. 상기 LoG의 세로 성분은 하기 수학식 2에서 dxx 성분을 나타낼 수 있다.
[수학식 2]
Figure 112016040463637-pat00002
여기서, σ는 가우시안 표준 편차, x와 y는 각각 영상의 가로 방향과 세로 방향의 픽셀 값을 나타낸다.
아래에서는 상기 LoG에 대해 보다 구체적으로 설명한다.
상기 LoG는 에지 추출에 사용되며 Laplacian과 Gaussian으로 나눌 수 있다. Laplacian은 2차 미분식이다. 2차 미분식을 활용하여 이미지의 픽셀값의 2차변화량을 관찰하여 에지를 찾는 방법이다. 2차 미분식을 활용하는 이유는, 에지를 판별함에 있어서 더 세밀하게 표현을 해주기 때문이다. 2차 미분식을 활용하여 에지를 판별하는 방법은 2차 미분 값이 +에서 - 혹은 -에서 +로 변하는 제로 크로싱(zero crossing)이 있을 때 에지로 판별한다.
Laplacian 수식은 다음의 수학식 3과 같다.
[수학식 3]
Figure 112016040463637-pat00003
여기서, I(x,y)는 픽셀값을 나타낸다.
Laplacian만 사용할 경우, 2차 변화량을 사용하므로 노이즈에 매우 민감하게 되는데 이를 억제하기 위해 Gaussian Blurring을 한다. 이미지에 필터를 가하기 위해서는 이미지와 필터 커널을 convolution을 해야 한다. 아래의 수학식 4에서와 같이, convolution은 결합법칙이 성립을 하므로, 우선 필터 커널인 Laplacian 커널과 Gaussian 커널을 convolution시킨 뒤 이미지와 convolution 시킨다. 이때, Laplacian과 Gaussian 커널을 convolution시킨 것이 Laplacian of Gaussian이다.
[수학식 4]
영상 * Laplacian kernel * Gaussian kernel
= 영상 * (Laplacian kernel * Gaussian kernel)
= 영상 * LoG
여기서, 기호 '*'은 convolution을 나타낸다.
Gaussian kernel의 크기는 노이즈의 강도에 따라 변화한다. 노이즈가 심할수록 블러링을 심하게 해야 하기 때문에 그 크기가 커진다.
본 실시예에서는 LoG의 가로방향 이차 미분성분(dxx)만 사용을 한다. 그 이유는 팔에 존재하는 혈관의 대부분이 도 5에서 나타나듯이 한쪽방향으로만 존재하며, 세로방향 이차 미분성분(dyy)까지 고려를 할 경우 팔에 혈관과 수직방향으로 존재하는 주름들 또한 검출이 되어 혼란을 주기 때문이다.
dxx성분만 활용하기 때문에 팔의 방향과 카메라의 촬영 위치가 일직선으로 놓이는 것이 바람직하다. 즉, 도 5처럼 팔의 방향이 카메라 사진의 y축 방향으로 놓여있는 것이 바람직하다.
한편, 상기 제1 및 제2 영상 처리부(120, 130)는 모바일 기기(140)에 모듈 형태로 탑재되어 구현될 수 있다. 상기 모바일 기기(140)는 상기 혈관이 검출된 흑백 영상을 화면에 디스플레이할 수 있다. 이로써, 사용자는 상기 모바일 기기(140)의 화면을 통해 혈관이 어디에 있는지를 확인하여 정맥 주사를 보다 정확히 시행할 수 있다. 또한, 휴대성을 강화하여 보다 편리하게 혈관의 위치를 확인할 수 있다.
상기 모바일 기기는 도 4에 도시된 바와 같이 거치대에 거치될 수 있다. 사용자는 상기 모바일 기기를 도 4의 거치대에 거치함으로써, 상기 혈관 시각화 장치(100)를 들고 있을 필요가 없게 하고, 주사를 시행하는 데 불편함이 없도록 할 수 있다.
도 8은 본 발명의 일 실시예에 따른 모바일 기기 연동형 적외선 기반 혈관 시각화 방법을 설명하기 위해 도시한 흐름도이다.
도 8을 참조하면, 단계(810)에서 혈관 시각화 장치는 카메라에 의해 촬영된 적외선 영상을 획득한다.
다음으로, 단계(820)에서 상기 혈관 시각화 장치는 상기 적외선 영상을 그레이스케일 변환(grayscale conversion)하여 흑백 영상을 생성한다.
다음으로, 단계(830)에서 상기 혈관 시각화 장치는 상기 생성된 흑백 영상에 존재하는 노이즈를 제거하기 위해 가우시안 블러링(Gaussian Blurring)을 수행한다.
다음으로, 단계(840)에서 상기 혈관 시각화 장치는 상기 노이즈가 제거된 흑백 영상에서 배경을 제거한다.
다음으로, 단계(850)에서 상기 혈관 시각화 장치는 상기 흑백 영상 내 피부와 혈관 사이의 명암 차이를 극대화시키기 위해, 명암 대비 스트레칭(contrast stretching)을 이용하여 상기 흑백 영상을 제1 영상 처리한다.
다음으로, 단계(860)에서 상기 혈관 시각화 장치는 LoG(Laplacian of Gaussian)를 이용하여 상기 제1 영상 처리된 흑백 영상을 제2 영상 처리한다.
이하에서는 도 9 내지 도 14를 참조하여 본 발명의 혈관 검출에 대한 실험 및 그 결과에 대해서 설명한다.
본 발명에서 실험으로 사용한 장비는 Logitech 사의 C920 모델을 개조하여 사용하였으며, 적외선 필터는 Kodak 사의 No.87 gelatin filter을, 광원은 850nm 파장의 적외선 LED를 사용하였다. 또한, 어느 정도 균일하게 빛을 입사시키기 위해 디퓨젼 필터를 광원 위에 부착하였다. 참고로, 900nm 아래 파장의 빛을 사용하였을 때 헤모글로빈은 다른 조직에 비해 더 흡수율이 높다.
적외선의 광원의 밝기 및 피부 표면으로부터의 반사된 빛의 영향을 최소화하기 위해 카메라의 노출 및 감도(gain)를 조절하는 과정에서 입력 영상의 잡음이 심한 것을 관찰할 수 있었다.
기존의 연구에서 사용한 전역 고정 이진화 방식은 적외선 빛이 균일하게 조사되어야 한다는 제한이 있다. 그렇기에 관심 영역을 작게 잡음으로써 관심 영역 내에서는 빛이 대체적으로 균일하게 조사되도록 하였다. 하지만, 관심 영역을 작게 설정할 경우, 현재 팔의 어느 부분을 촬영하는지 직관적으로 알기 어렵다. 그러므로, 본 발명에서는 관심 영역을 지정하지 않고 팔 전체의 사진을 그대로 보여줌으로써 더 직관적으로 팔의 어떤 부위를 찍는지 알 수 있게 하였다.
기존의 다른 연구에서 사용한 지역 가변 이진화는 빛이 균일하게 조사되지 않아도 혈관을 잘 찾을 수 있었다. 하지만, 정맥 주사 부위에 존재하는 팔의 주름 또한 검출이 되어 혈관과 혼동이 될 수 있었다. 따라서, 본 발명에서는 주름 또한 검출이 되는 것을 막기 위해 세로 방향 에지 필터만을 적용시켰다.
도 9 내지 도 11은 동일한 지역을 각각 기존의 지역가변 이진화, 및 본 발명의 제안 방식으로 처리한 영상이다. 도 9의 원본에서 손목과 팔꿈치 부분에 가로 방향의 주름이 있는 것을 볼 수 있다. 이 주름은, 기존의 지역 가변 이진화 방식을 적용한 도 10에서는 검출이 되었지만, 본 발명에서 제안한 방식을 적용한 도 11에서는 검출이 되지 않은 것을 볼 수 있다.
도 12의 원본에서 세로 방향의 에지만을 검출하기 때문에 도 13에서 가로 방향의 혈관이 추출되지 않은 것을 볼 수 있다. 하지만, 정맥 주사는 세로 방향의 혈관에 시술하기 때문에 본 발명의 목적인 정맥 주사용 시각화 방법에 매우 적합하다.
본 발명에서 제안한 방식인 도 14에서 동그라미 쳐진 부분에 혈관이 있다고 표시가 되지만, 기존 방식인 도 13에서는 주름과 노이즈의 영향으로 혈관이 없는 것처럼 보인다. 하지만, 실제 팔에는 혈관이 존재하며 본 발명에서 제안한 방식이 더 노이즈에 강인한 것을 볼 수 있다.
본 발명에서 제안한 방식이 기존 방식에 비해 노이즈에 덜 영향을 받은 이유는, LoG을 적용할 때 Gaussian 커널 크기를 크게 하였기 때문이다. Gaussian 커널 크기를 크게 할 경우 블러링이 많이 되기 때문에 노이즈가 더 많이 줄어들지만, 혈관과 피부 간의 대비 또한 블러링이 되기 때문에 혈관 검출이 되지 않을 수 있다. 하지만, Laplacian의 특성상 변화량에 민감하기 때문에 블러링이 심하게 되어도 혈관이 잘 검출된다.
반면, 지역 가변 이진화의 경우에는 윈도우마다 가변적으로 설정하기 때문에 블러링을 심하게 할 경우 노이즈가 줄어드는 대신 혈관의 굵기가 얇아지며 끊겨서 추출이 된다.
Visual Studio 2013, Windows 7 64bit, 4GB, Intel i5-2500의 환경에서 제안한 방식은 320x320해상도의 이미지 한 장당 8ms가 소요되었고, 지역 가변 이진화를 사용한 기존 방식은 4ms가 소요되었다. 안드로이드 기기가 성능이 더 낮은 것을 감안하더라도 장당 8ms는 탑재하기 충분한 성능이다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110: 영상 획득부
120: 제1 영상 처리부
130: 제2 영상 처리부
140: 모바일 기기
210: 외부 전원 입력 단자
220: 조명 밝기 조절 아날로그 다이얼 스위치
230: 복수의 적외선 엘이디(IR LED)
240: 카메라 렌즈
250: USB 케이블
260: USB OTG 젠더

Claims (15)

  1. 카메라에 의해 촬영된 적외선 영상을 획득하는 영상 획득부;
    상기 적외선 영상을 그레이스케일 변환(grayscale conversion)하여 흑백 영상을 생성하고, 상기 흑백 영상 내 피부와 혈관 사이의 명암 차이를 극대화시키기 위해, 명암 대비 스트레칭(contrast stretching)을 이용하여 상기 흑백 영상을 제1 영상 처리하는 제1 영상 처리부; 및
    LoG(Laplacian of Gaussian)를 이용하여 상기 제1 영상 처리된 흑백 영상을 제2 영상 처리하고, 상기 제2 영상 처리된 흑백 영상으로부터 혈관을 검출하는 제2 영상 처리부
    를 포함하고,
    상기 제2 영상 처리부는
    상기 LoG의 세로 성분을 이용하여 상기 제2 영상 처리를 수행함으로써, 상기 제1 영상 처리된 흑백 영상에서 가로 방향의 주름은 미검출하고 세로 방향의 혈관만을 검출하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
  2. 제1항에 있어서,
    상기 제1 영상 처리부는
    상기 생성된 흑백 영상에 존재하는 노이즈를 제거하기 위해 가우시안 블러링(Gaussian Blurring)을 수행하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
  3. 제2항에 있어서,
    상기 제1 영상 처리부는
    상기 노이즈가 제거된 흑백 영상에서 배경을 제거하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
  4. 제3항에 있어서,
    상기 제1 영상 처리부는
    상기 노이즈가 제거된 흑백 영상 내 팔과 배경 사이에 존재하는 임계치 이상의 강한 에지(strong edge)를 검출하고, 상기 검출된 강한 에지를 활용하여 상기 흑백 영상 내 팔에 해당하는 부분 전체를 하나의 관심 영역으로 추출하며, 상기 추출된 관심 영역에 대하여 상기 명암 대비 스트레칭을 수행하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 제2 영상 처리부는
    상기 LoG의 세로 성분을 상기 제1 영상 처리된 흑백 영상과 컨볼루션(convolution)하여 에지 영상을 획득하고, 상기 에지 영상으로부터 혈관을 검출하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
  7. 제1항에 있어서,
    상기 LoG는
    하기 수학식에 기초하여 산출되고,
    상기 LoG의 세로 성분은
    하기 수학식에서 dxx 성분인 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
    Figure 112017005205925-pat00004

    여기서, σ는 가우시안 표준 편차, x와 y는 각각 영상의 가로 방향과 세로 방향의 픽셀 값을 나타냄.
  8. 제1항에 있어서,
    상기 제1 및 제2 영상 처리부는
    모바일 기기에 모듈 형태로 탑재되어 구현되는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
  9. 제8항에 있어서,
    상기 모바일 기기는
    상기 혈관이 검출된 흑백 영상을 화면에 디스플레이하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
  10. 제8항에 있어서,
    상기 모바일 기기를 거치할 수 있는 거치대
    를 더 포함하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 장치.
  11. 카메라에 의해 촬영된 적외선 영상을 획득하는 단계;
    상기 적외선 영상을 그레이스케일 변환(grayscale conversion)하여 흑백 영상을 생성하는 단계;
    상기 흑백 영상 내 피부와 혈관 사이의 명암 차이를 극대화시키기 위해, 명암 대비 스트레칭(contrast stretching)을 이용하여 상기 흑백 영상을 제1 영상 처리하는 단계;
    LoG(Laplacian of Gaussian)를 이용하여 상기 제1 영상 처리된 흑백 영상을 제2 영상 처리하는 단계; 및
    상기 제2 영상 처리된 흑백 영상으로부터 혈관을 검출하는 단계
    를 포함하고,
    상기 제2 영상 처리하는 단계는
    상기 LoG의 세로 성분을 이용하여 상기 제2 영상 처리를 수행함으로써, 상기 제1 영상 처리된 흑백 영상에서 가로 방향의 주름은 미검출하고 세로 방향의 혈관만을 검출하는 단계
    를 포함하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 방법.
  12. 제11항에 있어서,
    상기 제1 영상 처리하는 단계는
    상기 생성된 흑백 영상에 존재하는 노이즈를 제거하기 위해 가우시안 블러링(Gaussian Blurring)을 수행하는 단계
    를 포함하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 방법.
  13. 제12항에 있어서,
    상기 제1 영상 처리하는 단계는
    상기 노이즈가 제거된 흑백 영상에서 배경을 제거하는 단계
    를 더 포함하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 방법.
  14. 제13항에 있어서,
    상기 배경을 제거하는 단계는
    상기 노이즈가 제거된 흑백 영상 내 팔과 배경 사이에 존재하는 임계치 이상의 강한 에지(strong edge)를 검출하는 단계; 및
    상기 검출된 강한 에지를 활용하여 상기 흑백 영상 내 팔에 해당하는 부분 전체를 하나의 관심 영역으로 추출하는 단계
    를 포함하고,
    상기 제1 영상 처리하는 단계는
    상기 추출된 관심 영역에 대하여 상기 명암 대비 스트레칭을 수행하는 단계
    를 포함하는 것을 특징으로 하는 모바일 기기 연동형 적외선 기반 혈관 시각화 방법.
  15. 삭제
KR1020160051386A 2016-02-18 2016-04-27 모바일 기기 연동형 적외선 기반 혈관 시각화 장치 및 방법 KR101749211B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160019000 2016-02-18
KR1020160019000 2016-02-18

Publications (1)

Publication Number Publication Date
KR101749211B1 true KR101749211B1 (ko) 2017-06-21

Family

ID=59281670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160051386A KR101749211B1 (ko) 2016-02-18 2016-04-27 모바일 기기 연동형 적외선 기반 혈관 시각화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101749211B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522522A (ja) * 2001-02-07 2004-07-29 エピックス メディカル， インコーポレイテッド 磁気共鳴心血管撮影法データの視覚化を向上させる方法
JP2005509472A (ja) * 2001-11-13 2005-04-14 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ブラックブラッド血管造影法及び装置
JP2011509768A (ja) * 2008-01-25 2011-03-31 ノバダック テクノロジーズ インコーポレイテッド 心筋組織におけるブラッシュを評価する方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522522A (ja) * 2001-02-07 2004-07-29 エピックス メディカル， インコーポレイテッド 磁気共鳴心血管撮影法データの視覚化を向上させる方法
JP2005509472A (ja) * 2001-11-13 2005-04-14 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ブラックブラッド血管造影法及び装置
JP2011509768A (ja) * 2008-01-25 2011-03-31 ノバダック テクノロジーズ インコーポレイテッド 心筋組織におけるブラッシュを評価する方法

Similar Documents

Publication Publication Date Title
US10719954B2 (en) Method and electronic device for extracting a center position of an infrared spot
CN106774863B (zh) 一种基于瞳孔特征实现视线追踪的方法
US7912252B2 (en) Time-of-flight sensor-assisted iris capture system and method
Kolar et al. Hybrid retinal image registration using phase correlation
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
JP7300199B2 (ja) 画像を処理するための方法およびシステム
JP6048844B2 (ja) 眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラム
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
Leli et al. Near-infrared-to-visible vein imaging via convolutional neural networks and reinforcement learning
CN114937024A (zh) 图像评估方法、装置和计算机设备
Uribe-Valencia et al. Automated Optic Disc region location from fundus images: Using local multi-level thresholding, best channel selection, and an Intensity Profile Model
Borgen et al. Visible-spectrum biometric retina recognition
Nowara et al. Combining magnification and measurement for non-contact cardiac monitoring
Mahfouz et al. Ultrafast localization of the optic disc using dimensionality reduction of the search space
CN112861588B (zh) 一种活体检测的方法、装置
Tavakoli et al. Effect of two different preprocessing steps in detection of optic nerve head in fundus images
KR101749211B1 (ko) 모바일 기기 연동형 적외선 기반 혈관 시각화 장치 및 방법
Shahnazi et al. Wavelet based retinal recognition
Ahmed et al. Enhanced Vein Detection from Video Sequences
Iacoviello et al. Parametric characterization of the form of the human pupil from blurred noisy images
Koukounis et al. Retinal image registration based on multiscale products and optic disc detection
JP2010057682A (ja) 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
Dewan et al. Automatic extraction of features from retinal fundus image
Nikhil et al. Visualization of the Veins of the Upper limb with the aid of a cost effective vein viewer for medical diagnosis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant