KR101881661B1 - 모바일 분광 이미징 시스템 및 방법 - Google Patents

모바일 분광 이미징 시스템 및 방법 Download PDF

Info

Publication number
KR101881661B1
KR101881661B1 KR1020160152852A KR20160152852A KR101881661B1 KR 101881661 B1 KR101881661 B1 KR 101881661B1 KR 1020160152852 A KR1020160152852 A KR 1020160152852A KR 20160152852 A KR20160152852 A KR 20160152852A KR 101881661 B1 KR101881661 B1 KR 101881661B1
Authority
KR
South Korea
Prior art keywords
spectral
image
spectroscopic
spectral image
reference target
Prior art date
Application number
KR1020160152852A
Other languages
English (en)
Other versions
KR20180055244A (ko
Inventor
황재윤
황민주
김세웅
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020160152852A priority Critical patent/KR101881661B1/ko
Publication of KR20180055244A publication Critical patent/KR20180055244A/ko
Application granted granted Critical
Publication of KR101881661B1 publication Critical patent/KR101881661B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0272—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer

Abstract

일 실시예에 따른 모바일 분광 이미징 시스템은, 촬영 대상에 대하여 빛을 조사하는 광원 및 상기 촬영 대상에 대한 이미지를 촬영하는 촬영부를 포함하는 사용자 단말기; 및 상기 사용자 단말기에 장착되어, 상기 광원으로부터 방출된 빛에 의해 상기 촬영 대상에 대한 분광 이미지를 획득하는 분광 이미징 디바이스;를 포함하고, 상기 분광 이미징 디바이스는 상기 촬영 대상과 접촉하는 프로브를 포함하고, 상기 프로브에는 참조 타겟이 장착되어, 상기 촬영 대상에 대한 분광 이미지 및 상기 참조 타겟에 대한 분광 이미지가 동시에 획득될 수 있다.

Description

모바일 분광 이미징 시스템 및 방법{MOBILE SPECTRAL IMAGING SYSTEM AND METHOD}
본 발명은 모바일 분광 이미징 시스템 및 방법에 관한 것으로서, 보다 상세하게는 프로브에 참조 타겟이 장착되어 촬영 대상 및 참조 타겟에 대한 분광 이미지가 동시에 획득될 수 있는 모바일 분광 이미징 시스템 및 방법에 관한 것이다.
분광 이미징 및 분석 기술들은 다양한 생의학 분야에서 정량적 광학 이미징 도구로서 폭넓게 활용되고 있다. 이러한 기술들은 분광 이미지 내에 각각의 픽셀에서 분광 지표(spectral signature)를 얻을 수 있게 한다. 그 결과, 공간적 정보뿐만 아니라 분광을 포함하는 이미지 큐브(image cube)가 획득될 수 있다.
특히, 분광 정보는 기존의 모노크롬 및 RGB 컬러 이미징 방법들로 차별화될 수 없는 배경으로부터 관심 있는 생물학적 견본을 정량적으로 분별하기 위해 적용될 수 있으며, 이는 서로 다른 생물학적 성분들은 일반적으로 분별 가능한 분광 지표들을 반영하기 때문이다.
분광 분석에서, 거리 측정에 기반한 다양한 방법들은 이미지 큐브 내 관심 영역을 정량적으로 견고하게 분할하는 데 적용될 수 있다. 게다가, 선형 비조합(linear de-combination) 또는 주성분 분석과 같은 분광 분류법들은 매우 근접한 분광 지표들을 분리할 수 있는 것으로 나타났다.
따라서 분광 이미징 및 분석 기술은 위암, 유방암, 및 피부 질환 같은 다양한 질병을 비침습적으로 진단하는 데 사용되고 있다. 특히, 다양한 악성 및 비악성 피부 질병들의 진단 동안 미리 정의된 분광 반사 특성들을 활용하는 것에 의해 식별할 수 없는 특징들 중에서 공간적으로 및 분광적으로 이질적인 피부 병변들을 분별할 수 있다는 점에서 유용하다. 예를 들어, 분광 이미징 및 분석 기술들은 초기 단계에서 이형성 모반 및 색소세포성 모반으로부터, 악성 피부 질병들 중 하나인, 악성 흑색종을 구별할 수 있는 것으로 발견되었다. 이 방법은 또한 선형 판별 함수들의 조합을 적용하는 것에 의해 여드름 병변들의 심각성을 평가하는 데 적용될 수 있다. 분광 이미징 및 선형 판별 함수 분류자를 이용하여, 다양한 여드름 병변들이 성공적으로 추출되고 분류될 수 있다.
게다가, 가시 및 근적외 파장 범위에서 분광 이미징 및 분석 방법은 부종 병리학에서 유용한 비침습적 도구로 사용되고 있다.
또한 분광 이미징 및 분석 기술들은 피부의 자가면역 질병, 건선의 정량적 진단을 위해 활용된다.
최근, 스마트 폰에 기반한 다양한 사용자 단말기들이 개인 헬스 케어 정보를 획득할 수 있다는 점에서 각광을 받고 있다. 이에 따라 스마트 폰 기반 디바이스들이 개발되고 있으며, 특히, 피부 병변들의 초기 탐지를 위한 몇몇의 휴대용 피부 진단 시스템들이 개발되었다.
그러나, 대부분의 디바이스들은 기존 이미지 처리 기술들뿐만 아니라 RGB 컬러 이미징을 기반으로 하는데, 기존 단색 또는 RGB 컬러 이미징은 피부 병변의 초기 감지 및 검사와 관련하여 다양한 피부 질병을 진단할 때 분광 해상도가 낮고 융통성이 낮다는 한계점이 있다. 이러한 한계점들을 극복하기 위해, 높은 정량적 특성들을 갖는 더욱 개선된 모바일 피부 진단 시스템이 개발될 필요성이 있다.
예를 들어, 2014년 7월 22일에 출원된 KR 10-2016-7004141에는 '피부병의 광학 검출'에 대하여 개시되어 있다.
일 실시예에 따른 목적은 프로브에 참조 타겟이 장착되어 촬영 대상 및 참조 타겟에 대한 분광 이미지가 동시에 획득될 수 있고, 참조 타겟에 대한 분광 이미지로부터 보정 정보를 획득할 수 있는 모바일 분광 이미징 시스템 및 방법을 제공하는 것이다.
일 실시예에 따른 목적은 Autoblance, autocontrast 등과 같은 스마트폰에 장착되어 있는 RGB 카메라 전처리 과정과 상관 없이 신뢰성 있는 분광 지표를 생성할 수 있고, 광원으로부터의 빛의 세기(예를 들어, LED 세기) 또는 사용자 단말기의 종류에 상관 없이 신뢰성 있는 분광 지표를 생성할 수 있으며, 이종 사용자 단말기 간 반복성(Interphone repeatability)을 향상시킬 수 있는 모바일 분광 이미징 시스템 및 방법을 제공하는 것이다.
일 실시예에 따른 목적은 휴대성 및 정확성이 향상되고, 피부 진단 및 정량적 관리에 매우 유용하며, 질병 증상을 나타내는 환자가 병원에 가지 않고도 가정에서 저비용으로 피부 질병에 대한 정량적/지속적인 모니터링을 수행할 수 있고 피부 질병들의 조기 감지를 수행할 수 있는 모바일 분광 이미징 시스템 및 방법을 제공하는 것이다.
일 실시예에 따른 목적은 유비쿼터스 환경 내에서 자궁 경부 종양 및 악성 흑색종 같은 다른 환부 영역들의 감지에 적용될 수 있는 모바일 분광 이미징 시스템 및 방법을 제공하는 것이다.
일 실시예에 따른 목적은 정상 피부 및 점 영역에 대한 분광 이미징 및 분석을 수행할 수 있고, 비율계량적 분광 분석 기술을 적용하여 여드름 영역의 심각성에 대하여 정량적인 진단을 수행할 수 있으며, 여드름 치료를 위해 적용된 약물의 치료 효과를 효과적으로 모니터링할 수 있는 모바일 분광 이미징 시스템 및 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 일 실시예에 따른 모바일 분광 이미징 시스템은, 촬영 대상에 대하여 빛을 조사하는 광원 및 상기 촬영 대상에 대한 이미지를 촬영하는 촬영부를 포함하는 사용자 단말기; 및 상기 사용자 단말기에 장착되어, 상기 광원으로부터 방출된 빛에 의해 상기 촬영 대상에 대한 분광 이미지를 획득하는 분광 이미징 디바이스;를 포함하고, 상기 분광 이미징 디바이스는 상기 촬영 대상과 접촉하는 프로브를 포함하고, 상기 프로브에는 참조 타겟이 장착되어, 상기 촬영 대상에 대한 분광 이미지 및 상기 참조 타겟에 대한 분광 이미지가 동시에 획득될 수 있다.
일 측에 의하면, 상기 프로브는, 링 형상으로 마련된 고정 부재;를 포함하고, 상기 고정 부재에는 상기 참조 타겟이 장착되도록 홈이 형성될 수 있다.
일 측에 의하면, 상기 참조 타겟은 복수 개의 참조 구획을 포함하고, 상기 복수 개의 참조 구획은 상기 고정 부재의 내주면을 따라 방사상 방향으로 이격 배치될 수 있다.
일 측에 의하면, 상기 참조 타겟은 링 형상으로 마련되고, 상기 참조 타겟은 상기 고정 부재의 내주면으로부터 내측을 향하여 돌출되도록 장착될 수 있다.
일 측에 의하면, 상기 분광 이미징 디바이스에서 획득된 분광 이미지를 가공하는 분광 이미지 처리 서버;를 더 포함하고, 상기 분광 이미지 처리 서버는, 상기 사용자 단말로부터 상기 분광 이미지가 전송되고, 상기 분광 이미지를 무채색으로 변환하는 색상 변환부; 상기 색상 변환부에서 무채색으로 변환된 분광 이미지를 음영 처리하는 음영 처리부; 및 상기 음영 처리부에서 음영 처리된 분광 이미지를 보정하는 분광 보정부;를 포함할 수 있다.
일 측에 의하면, 상기 색상 변환부에서 상기 분광 이미지는 다음의 식에 의해 무채색으로 변환되고,
Figure 112016111987413-pat00001
이때, R은 상기 분광 이미지 내 빨간색 픽셀들의 강도이고,
G는 상기 분광 이미지 내 녹색 픽셀들의 강도이고,
B는 상기 분광 이미지 내 파란색 픽셀들의 강도이며,
I는 무채색으로 변환된 분광 이미지의 강도이다.
일 측에 의하면, 상기 분광 보정부에서 상기 분광 이미지는 다음의 식에 의해 보정되고,
Figure 112016111987413-pat00002
이때, x 및 y는 분광 이미지 내 관심 영역의 x축 및 y축 좌표이고,
λ는 분광 이미지를 측정한 빛의 파장이고,
Figure 112016111987413-pat00003
는 x, y 및 λ에서 분광 이미지의 보정된 강도이고,
Figure 112016111987413-pat00004
는 x, y 및 λ에서 분광 이미지의 원래 강도이고,
Figure 112016111987413-pat00005
는 λ에서 분광 이미지의 보정 계수고,
Figure 112016111987413-pat00006
는 λ에서 측정된 분광 이미지 내 참조 영역의 최대 강도이고,
Figure 112016111987413-pat00007
는 x, y 및 λ에서 측정된 분광 이미지 내 참조 영역의 강도이다.
일 측에 의하면, 상기 분광 이미징 디바이스는 서로 다른 파장에 대한 복수 개의 분광 이미지를 획득하고, 상기
Figure 112016111987413-pat00008
는 상기 복수 개의 분광 이미지에 각각 포함된 참조 영역의 평균 강도 중 최대값을 특정 파장에서 측정된 분광 이미지에 포함된 참조 영역의 평균 강도로 나눔으로써 산출될 수 있다.
상기 목적을 달성하기 위한 일 실시예에 따른 분광 이미징 방법은, 사용자 단말기, 상기 사용자 단말기에 장착되어 촬영 대상에 대한 분광 이미지를 획득하는 분광 이미징 디바이스 및 상기 획득된 분광 이미지를 가공하는 분광 이미지 처리 서버를 포함하는 분광 이미징 시스템이 제공되는 단계; 상기 분광 이미징 디바이스에 의해 촬영 대상에 대한 분광 이미지가 획득되는 단계; 상기 획득된 분광 이미지가 상기 분광 이미지 서버에 전송되는 단계; 상기 전송된 분광 이미지가 무채색으로 변환되는 단계; 상기 무채색으로 변환된 분광 이미지가 음영 처리되는 단계; 상기 음영 처리된 분광 이미지가 보정되는 단계; 및 상기 보정된 분광 이미지가 분광 분류되는 단계;를 포함하고, 상기 분광 이미징 디바이스에 의해 촬영 대상에 대한 분광 이미지가 획득되는 단계에서, 상기 분광 이미지의 중앙에는 적어도 하나의 관심 영역이 배치되고, 상기 관심 영역의 외측에는 참조 영역이 배치될 수 있다.
일 측에 의하면, 상기 음영 처리된 분광 이미지가 보정되는 단계는, 상기 참조 영역 및 상기 관심 영역의 분광 지표가 각각 추출되는 단계; 상기 추출된 참조 영역의 분광 지표로부터 보정 계수가 산출되는 단계; 및 상기 추출된 관심 영역의 분광 지표에 상기 보정 계수가 곱해지는 단계;를 포함할 수 있다.
일 실시예에 따른 모바일 분광 이미징 시스템 및 방법에 의하면, 프로브에 참조 타겟이 장착되어 촬영 대상 및 참조 타겟에 대한 분광 이미지가 동시에 획득될 수 있고, 참조 타겟에 대한 분광 이미지로부터 보정 정보를 획득할 수 있다.
일 실시예에 따른 모바일 분광 이미징 시스템 및 방법에 의하면, Autoblance, autocontrast 등과 같은 스마트폰에 장착되어 있는 RGB 카메라 전처리 과정과 상관 없이 신뢰성 있는 분광 지표를 생성할 수 있고, 광원으로부터의 빛의 세기(예를 들어, LED 세기) 또는 사용자 단말기의 종류에 상관 없이 신뢰성 있는 분광 지표를 생성할 수 있으며, 이종 사용자 단말기 간 반복성(Interphone repeatability)을 향상시킬 수 있다.
일 실시예에 따른 모바일 분광 이미징 시스템 및 방법에 의하면, 휴대성 및 정확성이 향상되고, 피부 진단 및 정량적 관리에 매우 유용하며, 질병 증상을 나타내는 환자가 병원에 가지 않고도 가정에서 저비용으로 피부 질병에 대한 정량적/지속적인 모니터링을 수행할 수 있고 피부 질병들의 조기 감지를 수행할 수 있다.
일 실시예에 따른 모바일 분광 이미징 시스템 및 방법에 의하면, 유비쿼터스 환경 내에서 자궁 경부 종양 및 악성 흑색종 같은 다른 환부 영역들의 감지에 적용될 수 있다.
일 실시예에 따른 모바일 분광 이미징 시스템 및 방법에 의하면, 정상 피부 및 점 영역에 대한 분광 이미징 및 분석을 수행할 수 있고, 비율계량적 분광 분석 기술을 적용하여 여드름 영역의 심각성에 대하여 정량적인 진단을 수행할 수 있으며, 여드름 치료를 위해 적용된 약물의 치료 효과를 효과적으로 모니터링할 수 있다.
도 1a는 일 실시예에 따른 모바일 분광 이미징 시스템의 개략도이고, 도 1b는 일 실시예에 따른 모바일 분광 이미징 시스템의 사진 이미지이다.
도 2a는 분광 이미징 디바이스의 개략도이고, 도 2b는 분광 이미징 디바이스의 사진 이미지이다.
도 3a는 복수 개의 광학 필터에 대한 빛의 투과를 도시한다.
도 3b는 광원의 고유 스펙트럼을 도시한다.
도 4a 및 4b는 참조 타겟이 복수 개의 참조 구획으로 마련된 경우를 도시한다.
도 5a 및 5b는 참조 타겟이 링 형상으로 마련된 경우를 도시한다.
도 6은 인터페이스 회로의 구성을 도시한다.
도 7은 분광 이미지 처리 서버의 구성을 도시한다.
도 8은 분광 이미지 처리 서버에서 분광 이미지가 처리되는 과정을 개략적으로 도시한다.
도 9a 및 9b는 분광 이미지가 보정되는 과정을 개략적으로 도시한다.
도 10은 일 실시예에 따른 분광 이미징 방법을 나타내는 순서도이다.
도 11a 내지 11c는 분광 이미지의 분해능에 대한 실험 결과를 도시한다.
도 12a 및 12b는 재현성 또는 반복성에 대한 실험 결과를 도시한다.
도 13a 및 13b는 다중 분광 이미징 및 분석에 의해 획득된 결과들 사이의 비교를 도시한다.
도 14a 내지 14c는 점 영역의 분광 분류를 도시한다.
도 15a 내지 15c는 여드름 영역들에 대한 비율계량적 분광 이미징 및 분석을 도시한다.
이하, 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재한 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1a는 일 실시예에 따른 모바일 분광 이미징 시스템의 개략도이고, 도 1b는 일 실시예에 따른 모바일 분광 이미징 시스템의 사진 이미지이고, 도 2a는 분광 이미징 디바이스의 개략도이고, 도 2b는 분광 이미징 디바이스의 사진 이미지이고, 도 3a는 복수 개의 광학 필터에 대한 빛의 투과를 도시하고, 도 3b는 광원의 고유 스펙트럼을 도시하고, 도 4a 및 4b는 참조 타겟이 복수 개의 참조 구획으로 마련된 경우를 도시하고, 도 5a 및 5b는 참조 타겟이 링 형상으로 마련된 경우를 도시하고, 도 6은 인터페이스 회로의 구성을 도시하고, 도 7은 분광 이미지 처리 서버의 구성을 도시하고, 도 8은 분광 이미지 처리 서버에서 분광 이미지가 처리되는 과정을 개략적으로 도시하고, 도 9a 및 9b는 분광 이미지가 보정되는 과정을 개략적으로 도시한다.
도 1a 및 1b를 참조하여, 일 실시예에 따른 모바일 분광 이미징 시스템(10)은 사용자 단말기(100), 분광 이미징 디바이스(200) 및 분광 이미지 처리 서버(300)를 포함할 수 있다.
상기 사용자 단말기(100)는 예를 들어 스마트폰으로 마련될 수 있고, 사용자가 휴대하기 편리한 모바일 디바이스라면 어느 것이든지 가능하다.
도 2a를 참조하여, 사용자 단말기(100)는 광원(102) 및 촬영부(104)를 포함할 수 있다.
상기 광원(102)은 LED 광원으로 마련되어, 촬영 대상에 대하여 빛을 조사할 수 있다. 그리고 상기 촬영부(104)는 예를 들어 CMOS 카메라로 마련되어, 촬영 대상에 대한 이미지를 촬영할 수 있다. 이와 같이 피부 상의 관심 영역에 대한 조명 및 이미지 획득을 위해 사용자 단말기(100)에 구비된 광원(102) 및 촬영부(104)를 각각 사용할 수 있다.
사용자 단말기(100) 내에는 어플리케이션(A) 또는 앱(app)이 구동될 수 있다.
상기 어플리케이션(A)은 분광 이미징 디바이스(200)의 작동을 제어하여, 피부 병변들에 대한 분광 이미징을 수행하고, WiFi 또는 LTE 통신 중 하나를 통해 사용자 단말기(100)로부터 분광 이미지 처리 서버(300)에 분광 이미지를 전송하고, 사용자 단말기(100)의 스크린 상에 최종 이미지들 또는 분광 지표들을 디스플레이 할 수 있다.
전술된 사용자 단말기(100)에는 분광 이미징 디바이스(200)가 장착될 수 있다.
상기 분광 이미징 디바이스(200)는 사용자 단말기(100)의 광원(102)으로부터 방출된 빛에 의해 촬영 대상에 대한 분광 이미지를 획득할 수 있다.
이때, 분광 이미지는 서로 다른 파장의 빛에 의해 획득된 복수 개의 분광 이미지로 마련될 수 있다.
도 2a를 참조하여, 분광 이미징 디바이스(200)는, 필터 휠(210), 수직 편광계(220), 평면 오목 렌즈(230), 미러(240), ND 필터(250), 수평 편광계(260) 및 확대경(270)을 포함할 수 있다.
상기 필터 휠(210)은 복수 개의 광학 필터(212)를 포함할 수 있다.
상기 복수 개의 광학 필터(212)는 선형 가변 필터의 다이싱(dicing)에 의해 생성될 수 있다.
이때, 필터 휠(210)은 인터페이스 회로(110)에 구비된 서보 모터(113, 도 6 참조)에 의해 복수 개의 광학 필터(212) 중 하나가 광원(102)과 일직선 상에 배치되도록 회전될 수 있다.
특히, 도 3a를 참조하여, 복수 개의 광학 필터(212)는 제1 광학 필터(212a), 제2 광학 필터(212b), 제3 광학 필터(212c), 제4 광학 필터(212d), 제5 광학 필터(212e), 제6 광학 필터(212f), 제7 광학 필터(212g), 제8 광학 필터(212h) 및 제9 광학 필터(212i)를 포함할 수 있고, 이때, 추가적인 광학 필터를 더 포함할 수 있음은 당연하다.
이때, 제1 광학 필터(212a), 제2 광학 필터(212b), 제3 광학 필터(212c), 제4 광학 필터(212d), 제5 광학 필터(212e), 제6 광학 필터(212f), 제7 광학 필터(212g), 제8 광학 필터(212h) 및 제9 광학 필터(212i)는 모두 동일한 크기, 예를 들어 3.5 mm (width) x 4 mm (height)로 마련될 수 있다.
또한, 제1 광학 필터(212a)의 중심 파장은 ~ 440 (FWHM: 9 nm)이고, 제2 광학 필터(212b)의 중심 파장은 ~ 460 (FWHM: 9 nm)이고, 제3 광학 필터(212c)의 중심 파장은 ~ 480 (FWHM: 10 nm)이고, 제4 광학 필터(212d)의 중심 파장은 ~ 515 (FWHM: 12 nm)이고, 제5 광학 필터(212e)의 중심 파장은 ~ 550 nm (FWHM: 14 nm)이고, 제6 광학 필터(212f)의 중심 파장은 ~ 585 nm (FWHM: 15 nm)이고, 제7 광학 필터(212g)의 중심 파장은 ~ 620 nm (FWHM: 18 nm)이고, 제8 광학 필터(212h)의 중심 파장은 ~ 655 nm (FWHM: 18 nm)이고, 제9 광학 필터(212i)의 중심 파장은 ~ 690 nm (FWHM: 19 nm)이다. 그러나, 광학 필터(212)의 중심 파장은 이에 국한되지 아니하며, 선형 필터의 다이싱 구역 또는 형태에 따라서 자유롭게 선택될 수 있음은 당연하다.
복수 개의 광학 필터(212)는 440 nm 내지 690 nm 파장범위 내에서 서로 다른 파장의 빛을 투과시킬 수 있고, 하나의 광원(102)을 사용하여 하나의 측정 대상에 대하여 440 nm 내지 690 nm 파장범위 내에서 연속적으로 9개의 분광 이미지를 획득할 수 있다. 또한 추가적인 광학 필터를 장착하여 9개 이상의 분광 이미지를 획득할 수 있다.
도 3b를 참조하여, 사용자 단말기(100)에 구비된 광원(102)의 고유 스펙트럼은 다음과 같다.
파장에 따른 정규화된 강도의 변이가 연속적으로 발생되고, 예를 들어 파장이 440 nm, 460 nm 및 554 nm일 때 정규화된 강도의 변이에 대한 변곡점이 형성되는 것을 확인할 수 있다.
전술된 복수 개의 광학 필터(212) 중 하나를 투과한 빛은 수직 편광계(220)에 전달될 수 있다.
상기 수직 편광계(220)는 빛을 수직 방향으로 편광시킬 수 있다.
또한, 수직 편광계(220)에는 평면 오목 렌즈(230)가 광학적으로 결합될 수 있다.
상기 평면 오목 렌즈(230)는 광원(102)으로부터 방출된 빛, 특히 수직 편광계(220)에서 수직방향으로 편광된 빛을 촬영 대상에 대하여 발산시킬 수 있다.
이때, 촬영 대상은 피부(S)가 될 수 있다. 그러나, 촬영 대상은 이에 국한되지 아니하며, 병변 진단이 필요한 신체 부위라면 어느 곳이든지 가능하다.
또한, 평면 오목 렌즈(230)가 촬영 대상에 대하여 발산시킬 수 있도록, 평면 오목 렌즈(230) 및 촬영 대상 사이에는 미러(240)가 추가적으로 배치될 수 있다. 미러(240)는 평면 오목 렌즈(230)로 전달된 빛이 촬영 대상에 반사되게 할 수 있다.
평면 오목 렌즈(230) 및 미러(240)에 의해 촬영 대상, 특히 피부(S) 상에 폭넓은 조명을 제공할 수 있다. 이때, 피부(S) 상에 전달된 빛은 피부와 상호작용하여 반사되거나 산란될 수 있다.
ND 필터(neutral density filter; 250)는 촬영 대상으로부터 이격 배치되어, 촬영 대상으로부터 반사된 빛을 수신할 수 있다.
상기 ND 필터(250)에는 수평 편광계(260)가 광학적으로 결합될 수 있다.
수평 편광계(260)는 빛을 수평 방향으로 편광시킬 수 있고, 촬영 대상으로부터 분광 반사광을 감소시켜 촬영 대상으로부터 산란된 빛을 선택적으로 수집하게 할 수 있다.
상기 수평 편광계(260)에는 확대경(270)이 광학적으로 결합될 수 있다.
상기 확대경(270)은 예를 들어 10x로 될 수 있다.
이와 같이 확대경(270)에 수집된 빛은 사용자 단말기(100)의 촬영부(104)에 기록될 수 있다.
이때, 분광 이미징 디바이스(200) 내 광로가 서로 평행하게 형성되어, 분광 이미징 디바이스(200)는 소형화될 수 있으며, 사용자 단말기(100)의 촬영부(104)로부터 촬영 대상 사이의 거리는 예를 들어 27mm가 될 수 있고, 초점거리는 확대경(270)의 종류에 따라서 달라질 수 있다.
특히, 도 2b를 참조하여, 분광 이미징 디바이스(200)는 촬영 대상과 접촉하는 프로브(P)를 포함할 수 있다.
상기 프로브(P)에는 참조 타겟(WT)이 장착될 수 있다.
참조 타겟(WT)은 예를 들어 백색 타겟으로 마련될 수 있으며, 다른 색의 타겟들도 참조 타겟으로 사용될 수 있음은 당연하다. 참조 타겟(WT)에 대한 분광 이미지의 분광 지표 또는 강도는 분광 이미지의 보정 시 보정 계수를 결정하는 데 활용될 수 있다.
이때, 프로브(P)에 참조 타겟(WT)이 장착됨으로써, 참조 타겟(WT)이 항상 분광 이미징 디바이스(200)의 시야 내에 위치되므로, 촬영 대상에 대한 분광 이미지 획득 시 참조 타겟에 대한 분광 이미지가 동시에 획득될 수 있다. 다시 말해서 한 번의 촬영을 통하여 촬영 대상에 대한 분광 이미지 및 참조 타겟에 대한 분광 이미지가 동시에 획득될 수 있다.
또한, 분광 이미징 디바이스(200)는 광-기밀 인클로져에 의해 둘러싸일 수 있다. 이에 의해 피부에 대한 분광 이미지를 획득하기 위해 프로브(P)가 피부와 접촉할 때 주위 환경으로부터의 빛이 차단될 수 있다.
특히, 도 4a 및 4b를 참조하여, 프로브(P)는 링 형상으로 마련된 고정 부재(202)를 포함할 수 있다. 이때, 고정 부재(202)에는 참조 타겟(WT)이 장착되도록 홈(미도시)이 형성될 수 있다.
구체적으로, 참조 타겟(WT)은 복수 개의 참조 구획(WT1, WT2, WT3, WT4)을 포함할 수 있다. 상기 복수 개의 참조 구획(WT1, WT2, WT3, WT4)은 고정 부재(202)의 내주면에 형성된 홈(미도시)에 장착될 수 있으며, 고정 부재(202)의 내주면을 따라 방사상 방향으로 이격 배치될 수 있다.
이와 같이 참조 타겟(WT)이 프로브(P)에 장착됨으로써, 사용자 단말기(100)의 광원(102)으로부터 빛의 일부는 피부를 향하여 조명되고, 사용자 단말기(100)의 광원(102)으로부터 빛의 나머지 일부는 참조 타겟(WT)을 향하여 조명될 수 있다.
분광 이미징 디바이스(200)에 의해 획득된 분광 이미지의 중앙에는 피부에 대한 분광 이미지가 나타나고, 피부에 대한 분광 이미지의 외측에는 참조 타겟(WT)에 대한 분광 이미지가 나타날 수 있다. 이때, 피부에 대한 분광 이미지에는 적어도 하나의 관심 영역이 배치되고, 참조 타겟(WT)에 대한 분광 이미지는 참조 영역이 배치될 수 있다.
특히, 참조 타겟(WT)이 복수 개의 참조 구획(WT1, WT2, WT3, WT4)을 포함하므로, 분광 이미징 디바이스(200)에 의해 획득된 분광 이미지 내에 참조 타겟(WT)에 대한 분광 이미지가 단속적으로 나타나게 될 수 있다.
또한, 도 5a 및 5b를 참조하여, 참조 타겟(WT)은 다양한 모양의 링 형상으로 마련될 수 있다. 이때, 고정 부재(202)에는 참조 타겟(WT)이 장착되도록 홈(2022)이 형성될 수 있다.
구체적으로, 링 형상으로 마련된 고정 부재(202)와 링 형상으로 마련된 참조 타겟(WT)이 서로 결합됨으로써, 참조 타겟(WT)이 고정 부재(202)의 내주면으로부터 내측을 향하여 돌출될 수 있다.
이와 같이 참조 타겟(WT)이 프로브(P)에 장착됨으로써, 사용자 단말기(100)의 광원(102)으로부터 빛의 일부는 피부를 향하여 조명되고, 사용자 단말기(100)의 광원(102)으로부터 빛의 나머지 일부는 참조 타겟(WT)을 향하여 조명될 수 있다.
분광 이미징 디바이스(200)에 의해 획득된 분광 이미지의 중앙에는 피부에 대한 분광 이미지가 나타나고, 피부에 대한 분광 이미지의 외측에는 참조 타겟(WT)에 대한 분광 이미지가 나타날 수 있다. 이때, 피부에 대한 분광 이미지에는 적어도 하나의 관심 영역이 배치되고, 참조 타겟(WT)에 대한 분광 이미지는 참조 영역이 배치될 수 있다.
특히, 참조 타겟(WT)이 다양한 형태의 링 형상으로 마련됨으로써, 피부에 대한 분광 이미지의 외측에 원형, 사각형 등 링 형상에 따라서 참조 타겟(WT)에 대한 분광 이미지가 다양하게 나타나게 될 수 있다.
도 1a 및 6을 참조하여, 사용자 단말기(100) 및 분광 이미징 디바이스(200)는 인터페이스 회로(110)에 의해 연결될 수 있다.
상기 인터페이스 회로(110)는 사용자 단말기(100) 및 분광 이미징 디바이스(200)의 동기화하고, 필터 휠(210, 도 2a 참조)의 구동을 제어한다.
구체적으로, 인터페이스 회로(110)는 MCU(microcontroller unit; 111), 블루투스 저-에너지 모듈(BLE module; 112), 서보 모터(113), 배터리(114), 스텝-업 조정기(115) 및 저-드롭아웃 조정기(116)를 포함할 수 있다.
상기 MCU(111)는 사용자 단말기(100)로부터 블루투스 저-에너지 모듈(112)에 의한 BLE 통신을 통해 명령 신호를 수신하고, 모터로 구동되는 필터 휠(210)의 회전을 위해 ART 통신을 통해 서보 모터(113)에 명령 신호를 전달한다.
또한, 배터리(114)는 3.7 V 리튬-폴리머 배터리로 마련될 수 있으며, 인터페이스 회로(110)에 전원을 공급하기 위해 사용된다.
또한, 스텝-업 조정기(115) 및 저-드롭아웃 조정기(low-dropout regulator; 116)는 전압을 조정하기 위한 것으로서, 스텝-업 조정기(115)는 서보 모터(113)에 장착된 필터 휠(210)을 제어하기 위해 서보 모터(113)에 7.4 V의 정압을 제공하고, 저-드롭아웃 조정기(116)는 MCU(111) 및 블루투스 저-에너지 모듈(112)에 전원을 공급하기 위해 입력 전압을 3.3 V로 낮춘다.
다시, 도 1을 참조하여, 사용자 단말기(100)에는 분광 이미지 처리 서버(300)가 유무선 통신에 의해 연결될 수 있다.
상기 분광 이미지 처리 서버(300)는 분광 이미징 디바이스(200)에서 획득된 분광 이미지의 분광 분류 및 데이터 저장을 위해 구축되었다.
이때, 분광 이미징 디바이스(200)에서 획득된 분광 이미지의 분광 분류를 효과적으로 하기 위해 분광 이미징 디바이스(200)에서 획득된 분광 이미지가 미리 가공할 수 있다.
특히, 도 7을 참조하여, 분광 이미지 처리 서버(300)는 색상 변환부(310), 음영 처리부(320), 분광 보정부(330) 및 분광 분류부(340)를 포함할 수 있다.
상기 색상 변환부(310)는 사용자 단말기(100)로부터 전송된 분광 이미지를 수신할 수 있고, 분광 이미지를 무채색으로 변환할 수 있다. 상기 음영 처리부(320)는 색상 변환부(310)에서 무채색으로 변환된 분광 이미지를 음영(shading) 처리할 수 있다. 그리고 상기 분광 보정부(330)는 음영 처리부(320)에서 음영 처리된 분광 이미지를 보정할 수 있다.
구체적으로, 도 1 및 8을 참조하여, 피부 병변들의 분석 및 분광 이미징을 위해 어플리케이션(A)이 개발되었다.
어플리케이션(A)은 사용자 단말기(100) 내에서 구동되며, 블루투스 연결 하에서 인터페이스 회로(110)를 통해 필터 휠을 제어하는 것에 의해 참조 타겟에 대한 하나의 백색광 이미지 및 440 nm 내지 690 nm 범위의 다른/연속적인 파장들에서 9개의 분광 이미지들(또는 이미지 큐브)을 획득할 수 있다.
이와 같이 획득된 분광 이미지들 중에서 선택되고, WiFi 또는 LTE 통신을 통해 분광 이미지 처리 서버(300)에 전송된다. 분광 이미지 처리 서버(300)는 선택된 분광 이미지를 수신한 후에, 무채색 변환, 음영 처리 및 보정, 정규화(normalization) 및 SAM(spectral angle measure)을 이용한 분류 과정이 순차적으로 진행된다. 즉, SAM(spectral angle measure)을 이용한 분류 과정 전에 무채색 변환, 음영 처리 및 보정 및 정규화(normalization) 과정을 통해 분광 이미지가 가공될 수 있다.
예를 들어, 분광 이미지는 RGB 컬러 이미지로 마련될 수 있고, 색상 변환부(310)에서 다음의 등식에 의해 무채색 변환이 수행될 수 있다.
Figure 112016111987413-pat00009
이때, R은 상기 분광 이미지 내 빨간색 픽셀들의 강도이고,
G는 상기 분광 이미지 내 녹색 픽셀들의 강도이고,
B는 상기 분광 이미지 내 파란색 픽셀들의 강도이며,
I는 무채색으로 변환된 분광 이미지의 강도이다.
또한, 음영 처리 및 보정은 피부 상에 불균일한 조명에 의해 생성된 아티팩트를 감소시키기 위한 것으로서, 음영 처리부(320) 및 분광 보정부(330)에서는 다음의 등식에 의해 음영 처리 및 보정이 수행될 수 있다.
Figure 112016111987413-pat00010
이때, x 및 y는 분광 이미지 내 관심 영역의 x축 및 y축 좌표이고,
λ는 분광 이미지를 측정한 빛의 파장이고,
Figure 112016111987413-pat00011
는 x, y 및 λ에서 분광 이미지의 보정된 강도이고,
Figure 112016111987413-pat00012
는 x, y 및 λ에서 분광 이미지의 원래 강도이고,
Figure 112016111987413-pat00013
는 λ에서 분광 이미지의 보정 계수고,
Figure 112016111987413-pat00014
는 λ에서 측정된 분광 이미지 내 참조 영역의 최대 강도이고,
Figure 112016111987413-pat00015
는 x, y 및 λ에서 측정된 분광 이미지 내 참조 영역의 강도이다.
특히,
Figure 112016111987413-pat00016
및
Figure 112016111987413-pat00017
는 프로브에 장착된 참조 타겟에 의해 촬영된 참조 영역과 관련된 것으로서, 프로브에 참조 타겟이 장착됨으로써 한 번의 촬영을 통해 분광 이미지의 강도 및 참조 영역의 강도를 용이하게 측정할 수 있다.
또한,
Figure 112016111987413-pat00018
는 복수 개의 분광 이미지에 각각 포함된 참조 영역의 평균 강도 중 최대값을 특정 파장에서 측정된 분광 이미지에 포함된 참조 영역의 평균 강도로 나눔으로써 산출될 수 있다.
도 9a 및 9b를 참조하여, 복수 개의 분광 이미지(IC) 내에는 하나의 참조 영역(R1) 및 복수 개의 관심 영역(I1, I2)이 나타날 수 있다. 이때, 하나의 참조 영역(R1)은 참조 타겟(WT)에 의해 촬영된 영역이고, 복수 개의 관심 영역(I1, I2)은 정상 피부에 의해 촬영된 영역이다.
우선, 분광 이미지의 보정을 위하여, 참조 타겟의 분광 지표를 추출한다.
이때, 참조 타겟의 분광 지표는 강도(intensity)로 나타내질 수 있으며, 각각의 파장에 따른 참조 타겟의 강도가 추출될 수 있다.
그런 다음, 각각의 파장에 대한 보정 계수가 추출된다.
이때, 각각의 파장에 대한 보정 계수는 전술된
Figure 112016111987413-pat00019
에 대응되는 것으로서, 복수 개의 분광 이미지에 각각 포함된 참조 영역의 평균 강도 중 최대값을 특정 파장에서 측정된 분광 이미지에 포함된 참조 영역의 평균 강도로 나눔으로써 산출될 수 있다.
예를 들어, 제1 분광 이미지에 포함된 참조 영역의 평균 강도가 100이고, 제2 분광 이미지에 포함된 참조 영역의 평균 강도가 150이고, 제3 분광 이미지에 포함된 참조 영역의 평균 강도가 50인 경우, 이 중 최대값은 150이 된다.
이때, 제1 파장에 대한 보정 계수는 150을 제1 분광 이미지에 포함된 참조 영역의 평균 강도인 100으로 나눈 1.5이고, 제2 파장에 대한 보정 계수는 1이고, 제3 파장에 대한 보정 계수는 150을 제3 분광 이미지에 포함된 참조 영역의 평균 강도인 50으로 나눈 3이 될 수 있다.
그런 다음, 특정 파장에서 측정된 분광 이미지에 포함된 참조 영역의 평균 강도에 보정 계수를 곱하게 되면, 전 파장에서 분광 이미지의 강도가 150으로 동일하게 될 수 있다.
이와 같이 참조 타겟(WT)에 대한 분광 지표로부터 보정 계수가 추출되고, 추출된 보정 계수를 사용하여 측정 대상에 대한 분광 이미지, 특히 측정 대상에 대한 분광 지표를 보정할 수 있다.
예를 들어, 정상 피부 및 점에 대한 분광 지표가 선택된 경우, 각각의 분광 지표에 보정 계수를 곱함으로써 보정된 분광 지표를 획득할 수 있다.
구체적으로, 제1 파장에 대한 보정 계수가 1.5이므로, 제1 파장에서 측정된 정상 피부 및 점에 대한 분광 지표에는 각각 1.5가 곱해지고, 제3 파장에 대한 보정 계수가 3이므로, 제3 파장에서 측정된 정상 피부 및 점에 대한 분광 지표에는 각각 3이 곱해질 수 있다.
이와 같이 분광 이미지 내에 포함된 모든 픽셀에서 피부 영역들의 보정된 분광 지표들이 획득될 수 있다. 그리고 이러한 보정 절차들은 분광 이미지 내에 포함된 모든 픽셀에서 보정된 분광 지표를 획득하기 위해 분광 이미징이 수행될 때마다 실시될 수 있다.
이러한 사전 처리가 실시된 후에, 분광 분류부(340)에서는 미리 정의된 참조 분광 지표들에 의해 분광 이미지의 분광 분류가 수행될 수 있다.
분광 분류를 위해 분광 각도 측정법(SAM)이 활용될 수 있다.
SAM에서, 모든 픽셀에서 측정된 분광 지표들 및 참조 분광 지표들 사이의 분광 각도들은 다음의 등식에 의해 계산될 수 있다.
Figure 112016111987413-pat00020
이때, si는 i-th 픽셀의 분광 지표이고, μj는 j-th 참조 분광 지표이고, L은 분광 이미지의 개수이다.
분광 각도의 측정 후에, 측정된 분광 지표와 최소 각도를 갖는 참조 지표에 대하여 미리 정의된 컬러가 대응하는 픽셀에 할당된다.
마지막으로, 분광 분류된 이미지는 사용자 단말기(100)의 어플리케이션(A)에 전달되고, 최종 분류된 이미지 및 이 분류를 위해 사용된 대응하는 분광 지표들이 어플리케이션(A)에서 디스플레이된다.
이상 일 실시예에 따른 모바일 분광 이미징 시스템에 대하여 설명되었으며, 이하에서는 일 실시예에 따른 분광 이미징 방법에 대하여 설명된다.
도 10은 일 실시예에 따른 분광 이미징 방법을 나타내는 순서도이다.
도 10을 참조하여, 분광 이미징은 다음과 같이 수행될 수 있다.
우선, 사용자 단말기, 상기 사용자 단말기에 장착되어 촬영 대상에 대한 분광 이미지를 획득하는 분광 이미징 디바이스 및 상기 획득된 분광 이미지를 가공하는 분광 이미지 처리 서버를 포함하는 분광 이미징 시스템이 제공된다(S10).
이때, 분광 이미징 시스템은 일 실시예에 따른 모바일 분광 이미징 시스템과 동일하다.
이어서, 분광 이미징 디바이스에 의해 촬영 대상에 대한 분광 이미지가 획득된다(S20).
이때, 분광 이미지는 서로 다른 파장의 빛에 의해 획득된 복수 개의 분광 이미지이고, 분광 이미징 디바이스에서 획득된 분광 이미지의 중앙에는 적어도 하나의 관심 영역이 배치되고, 관심 영역의 외측에는 참조 영역이 배치될 수 있다.
이는 전술된 바와 같이 분광 이미징 디바이스의 프로브에 참조 타겟이 장착되기 때문이며, 참조 타겟이 촬영된 이미지가 참조 영역이 되고, 참조 타겟이 아닌 촬영 대상, 예를 들어 피부 등이 촬영된 이미지가 관심 영역이 될 수 있다.
이어서, 상기 획득된 분광 이미지가 상기 분광 이미지 서버에 전송된다(S30).
이는 분광 이미징 디바이스에서 획득된 분광 이미지를 가공 또는 분류하기 위한 것이다.
특히, 다음과 같이 분광 이미지가 가공 또는 사전 처리될 수 있다.
상기 전송된 분광 이미지가 무채색으로 변환되고(S40), 상기 무채색으로 변환된 분광 이미지가 음영 처리되고(S50), 상기 음영 처리된 분광 이미지가 보정된다(S60).
특히, 분광 이미지의 보정은 다음과 같이 수행될 수 있다.
분광 이미지 내에서 참조 영역 및 관심 영역의 분광 지표가 각각 추출되고(S61), 상기 추출된 참조 영역의 분광 지표로부터 보정 계수가 산출되며(S62), 추출된 관심 영역의 분광 지표에 상기 보정 계수가 곱해진다(S63).
이때, 복수 개의 분광 이미지는 개별적으로 가공될 수 있다.
그런 다음, 보정된 분광 이미지가 분광 분류된다(S70).
분광 분류는 전술된 바와 같이 SAM 방법에 의해 될 수 있으며, 분광 분류된 이미지 또는 분광 분류 결과는 어플리케이션(A)에 전달되고, 어플리케이션(A)에서 저장 및 디스플레이될 수 있다.
이와 같이 일 실시예에 따른 모바일 분광 이미징 시스템 및 방법은 촬영 대상 및 참조 타겟에 대한 분광 이미지가 동시에 획득될 수 있고, 참조 타겟에 대한 분광 이미지로부터 보정 정보를 획득할 수 있으며, Autoblance, autocontrast 등과 같이 스마트폰에 장착된 RGB 카메라의 전처리 과정과 상관 없이 신뢰성 있는 분광 지표를 생성할 수 있고, 광원으로부터의 빛의 세기(예를 들어, LED 세기) 또는 사용자 단말기의 종류에 상관없이 일정한 분광 지표를 생성할 수 있으며, 이종 사용자 단말기 간 반복성(Interphone repeatability)을 향상시킬 수 있다.
또한, 휴대성 및 정확성이 향상되고, 피부 진단 및 정량적 관리에 매우 유용하며, 질병 증상을 나타내는 환자가 병원에 가지 않고도 가정에서 저비용으로 피부 질병에 대한 정량적/지속적인 모니터링을 수행할 수 있고 피부 질병들의 조기 감지를 수행할 수 있다.
이하에서는 일 실시예에 따른 모바일 분광 이미징 시스템 및 방법을 적용하여 실험한 결과에 대하여 설명된다.
도 11a 내지 11c는 분광 이미지의 분해능에 대한 실험 결과를 도시하고, 도 12a 및 12b는 재현성 또는 반복성에 대한 실험 결과를 도시하고, 도 13a 및 13b는 분광 이미징 및 분석에 의해 획득된 결과들 사이의 비교를 도시하고, 도 14a 내지 14c는 점 영역의 분광 분류를 도시하고, 도 15a 내지 15c는 여드름 영역들에 대한 비율계량적 분광 이미징 및 분석을 도시한다.
도 11a 내지 11c를 참조하여, 일 실시예에 따른 모바일 분광 이미징 시스템의 성능(분해능) 평과 결과는 다음과 같다.
일 실시예에 따른 모바일 분광 이미징 시스템의 광학 분해능을 시험하기 위해, 분해할 수 있는 가장 높은 주파수 라인 세트가 측정된다.
특히, 도 11a에는 분해능 타겟의 이미지가 도시되고, 도 11b 및 11c에는 51 cycles/mm을 가리키는 51인 주파수 라인 세트에서 수직 및 수평 실선들을 따른 강도들의 프로파일들이 도시된다.
강도 프로파일들에서, 수직 및 수평 방향들에서 선들은 명확하게 구별된다. 총 5개의 선들이 51의 주파수 세트에서 수직 및 수평 방향으로 구별될 수 있다. 따라서 이러한 결과들은 시스템이 51 cycles per millimeter를 분해할 수 있다는 것을 나타낸다.
도 12a 및 12b를 참조하여, 일 실시예에 따른 모바일 분광 이미징 시스템의 재현성 또는 반복성에 대한 실험 결과는 다음과 같다.
이를 위해, 참조 타겟을 위한 총 15개의 분광 지표들이 고정 및 자동 백색 밸런스 세팅을 통해 반복적으로 획득되고, 그런 다음 평균 분광 지표들 및 그것들의 표준 편차들이 분광기를 사용하여 획득된 결과값과 비교된다.
특히, 도 12a 및 12b는 일 실시예에 따른 모바일 분광 이미징 시스템에서 고정 및 자동 백색 밸런스 세팅을 구비하는 경우와 분광기에 의해 획득된 경우 평균 분광 지표들을 도시한다.
이때, 일 실시예에 따른 모바일 분광 이미징 시스템을 사용하여 획득된 참조 타겟에 대한 평균 분광 지표들이 지정된 파장들에서 유사한 강도들을 나타낸다는 것을 알 수 있다. 게다가, 일 실시예에 따른 모바일 분광 이미징 시스템을 사용하여 획득된 평균 분광 지표들의 프로파일들은 분광기를 사용하여 획득된 평균 분광 지표의 프로파일과 매우 유사하다. 이는 일 실시예에 따른 모바일 분광 이미징 시스템을 사용함으로써 분광 지표의 구성에서 우수한 재현성 또는 반복성을 나타낸다는 것을 나타낸다.
도 13a 및 13b를 참조하여, 일 실시예에 따른 모바일 분광 이미징 시스템 및 liquid-crystal tunable filter(LCTF) 기반 분광 이미징 시스템을 사용하여 획득된 결과들은 비교함으로써 일 실시예에 따른 모바일 분광 이미징 시스템의 성능이 평가될 수 있다.
LCTF-기반 다중 분광 이미징 시스템은 대물렌즈, 액정 조정 필터, 12개의 고강도 백색 발광 다이오드, 및 모노크롬 CMOS 카메라를 포함한다.
이때, LEDs에서 방출된 빛은 편광기를 통과한 후에 촬영 대상에 조명된다. 촬영 대상에서 반사된 빛은 대물렌즈에 의해 수집되고 액정 조정 필터를 통과한다. 마지막으로 CMOS camera에 의해 최종적으로 기록된다.
성능 비교를 위해, 세 개의 문자들 'M', 'S', 및 'I'이 각각 파란색, 녹색 및 녹색으로 흰 종이 상에 인쇄된다. 지정된 파장들에서 문자 이미지들을 획득하기 위해 문자들의 분광 이미징이 수행되고, 개발된 프로그램을 이용하여 분광 이미지들의 분광 분류가 수행된다. 지정된 파장들에서 문자 이미지들 중 'M' 및 'S'는 440 nm 및 515 nm에서 가장 높은 강도를 나타낸 반면, 'I'는 620 nm을 초과하여 높은 강도를 나타내어, 흰 종이로부터 구별되지 않았다.
이와 같이, 일 실시예에 따른 모바일 분광 이미징 시스템을 사용하여 획득된 분광 분류된 이미지는 liquid-crystal tunable filter(LCTF) 기반 분광 이미징 시스템을 사용하여 획득된 분광 분류된 이미지와 비슷했다.
그러나, liquid-crystal tunable filter(LCTF) 기반 분광 이미징 시스템을 사용하여 획득된 분광 분류된 이미지에서 미분류된 픽셀들이 많이 발견되었다. 'M' 분류에서, liquid-crystal tunable filter(LCTF) 기반 분광 이미징 시스템을 사용하여 획득된 분광 분류된 이미지는 11.5 % 이내의 미분류 비율이 나타난 반면, 일 실시예에 따른 모바일 분광 이미징 시스템을 사용하여 획득된 분광 분류된 이미지는 단지 0.07 %의 미분류 비율이 나타났다.
또한, 'S' 분류에서, liquid-crystal tunable filter(LCTF) 기반 분광 이미징 시스템을 사용하여 획득된 분광 분류된 이미지는 0.8 % 이내의 미분류 비율이 나타난 반면, 일 실시예에 따른 모바일 분광 이미징 시스템을 사용하여 획득된 분광 분류된 이미지는 0 %의 미분류 비율이 나타났다.
그러므로, 이러한 결과들은 분광 이미징 및 분석 동안 일 실시예에 따른 분광 이미징 시스템이 liquid-crystal tunable filter(LCTF) 기반 분광 이미징 시스템보다 훨씬 낫거나 비슷하게 높은 성능을 제공한다는 것을 나타낸다.
그러나, liquid-crystal tunable filter(LCTF) 기반 분광 이미징 시스템은 상대적으로 부피가 크고 비싸고, 높은 조도의 조명을 요구한다는 단점이 있다.
도 14a 내지 14c를 참조하여, 일 실시예에 따른 모바일 분광 이미징 시스템은 점 영역의 분광 이미징 및 분석이 수행될 수 있다.
이전에 점 영역들은 초기 단계에서 악성 흑색종의 경우들로부터 거의 구별될 수 있었다. 점 영역의 분광 이미징 및 분석을 위해, SpectroVision system을 사용하여 다른 파장들(440, 460, 480, 515, 550, 585, 620, 655, and 690 nm)에서 9개의 점 이미지들이 획득되었다. 이미지들은 분광 이미지 처리 서버에 전송되고, 점 및 정상 피부에 대한 참조 분광 지표들에 의해 분광 분류가 수행된다.
특히, 도 14a는 원래 RGB 점 이미지이고, 도 14b는 음영 처리된 이미지이고, 도 14c는 점 및 정상 피부에 대하여 분광 분류된 이미지와 정규화된 참조 분광 지표들을 나타낸다.
이때, 정상 피부에 대한 분광 지표는 점에 대한 분광 지표에 비해 460 내지 585 nm 범위에서 더 높은 강도를 갖는다.
또한, 분광 분류된 이미지에서 녹색은 정상 피부를 나타내는 반면, 빨강색은 점 영역을 나타내어, 점 영역은 정상 영역들로부터 명백히 분리되는 것을 확인할 수 있다.
이와 같이 일 실시예에 따른 모바일 분광 이미징 시스템은 점 영역에 대하여도 분광 분류된 이미지를 획득할 수 있다.
또한, 도 15a 내지 15c를 참조하여, 여드름 영역들에 대한 비율계량적 분광 이미징 및 분석에 대한 실험 결과는 다음과 같다.
이때, 일 실시예에 따른 모바일 분광 이미징 시스템에는 비율계량적 분광 분석 기술이 적용될 수 있고, 여드름 영역에 대하여 정량적으로 모니터될 수 있다.
특히, 도 15a 및 15b는 기존의 분광 분류된 이미지이고, 도 15c는 비율계량적 분광 분류된 이미지 및 대응되는 분광 지표들을 도시한다.
기존의 분광 분류된 이미지에서, 빨강색은 여드름 영역들을 가리키고, 녹색은 정상 피부 영역들을 가리킨다.
반면, 비율계량적 분광 분류된 이미지에서 빨강색 및 녹색은 각각 심각한 여드름 및 정상 피부를 각각 나타낸다. 그리고 파랑색, 노란색, 주황색은 정상 영역들에 대한 여드름 영역들의 심각성 수준들을 나타낸다.
이러한 결과는 비율계량적 분광 이미징 및 분석이 여드름 영역들을 정량적으로 정밀하게 진단할 수 있고, 여드름 영역들에 적용된 약물의 치료 효과를 효과적으로 모니터링할 수 있다는 것을 나타낸다.
이상과 같이 본 발명의 실시예에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10: 모바일 분광 이미징 시스템
100: 사용자 단말기
102: 광원
104: 촬영부
200: 분광 이미징 디바이스
210: 필터 휠
220: 수직 편광계
230: 평면 오목 렌즈
240: 미러
250: ND 필터
260: 수평 편광계
270: 확대경
P: 프로브
WT: 참조 타겟
300: 분광 이미지 처리 서버
310: 색상 변환부
320: 음영 처리부
330: 분광 보정부
340: 분광 분류부

Claims (10)

  1. 촬영 대상에 대하여 빛을 조사하는 광원 및 상기 촬영 대상에 대한 이미지를 촬영하는 촬영부를 포함하는 사용자 단말기; 및
    상기 사용자 단말기에 장착되어, 상기 광원으로부터 방출된 빛에 의해 상기 촬영 대상에 대한 분광 이미지를 획득하는 분광 이미징 디바이스;
    를 포함하고,
    상기 분광 이미징 디바이스는 상기 촬영 대상과 접촉하는 프로브를 포함하고, 상기 프로브에는 참조 타겟이 장착되어, 상기 촬영 대상에 대한 분광 이미지 및 상기 참조 타겟에 대한 분광 이미지가 동시에 획득되고,
    상기 분광 이미징 디바이스에서 획득된 분광 이미지가 무채색 변환 및 음영 처리된 후에 상기 촬영 대상에 대한 분광 이미지 및 상기 참조 타겟에 대한 분광 이미지로부터 상기 촬영 대상에 대한 분광 지표 및 상기 참조 타겟에 대한 분광 지표가 각각 추출되고,
    상기 참조 타겟에 대한 분광 지표로부터 보정 계수가 산출되어, 상기 촬영 대상에 대한 분광 지표에 상기 보정 계수가 각각 곱해짐으로써 상기 촬영 대상에 대한 분광 이미지가 보정되는 모바일 분광 이미징 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 프로브는,
    링 형상으로 마련된 고정 부재;
    를 포함하고,
    상기 고정 부재에는 상기 참조 타겟이 장착되도록 홈이 형성되고,
    상기 참조 타겟은 복수 개의 참조 구획을 포함하고,
    상기 복수 개의 참조 구획은 상기 고정 부재의 내주면을 따라 방사상 방향으로 이격 배치되는 모바일 분광 이미징 시스템.
  4. 제3항에 있어서,
    상기 참조 타겟은 링 형상으로 마련되고,
    상기 참조 타겟은 상기 고정 부재의 내주면으로부터 내측을 향하여 돌출되도록 장착되는 모바일 분광 이미징 시스템.
  5. 촬영 대상에 대하여 빛을 조사하는 광원 및 상기 촬영 대상에 대한 이미지를 촬영하는 촬영부를 포함하는 사용자 단말기; 및
    상기 사용자 단말기에 장착되어, 상기 광원으로부터 방출된 빛에 의해 상기 촬영 대상에 대한 분광 이미지를 획득하는 분광 이미징 디바이스;
    를 포함하고,
    상기 분광 이미징 디바이스는 상기 촬영 대상과 접촉하는 프로브를 포함하고, 상기 프로브에는 참조 타겟이 장착되어, 상기 촬영 대상에 대한 분광 이미지 및 상기 참조 타겟에 대한 분광 이미지가 동시에 획득되고,
    상기 분광 이미징 디바이스에서 획득된 분광 이미지를 가공하는 분광 이미지 처리 서버;
    를 더 포함하고,
    상기 분광 이미지 처리 서버는,
    상기 사용자 단말로부터 상기 분광 이미지가 전송되고, 상기 분광 이미지를 무채색으로 변환하는 색상 변환부;
    상기 색상 변환부에서 무채색으로 변환된 분광 이미지를 음영 처리하는 음영 처리부; 및
    상기 음영 처리부에서 음영 처리된 분광 이미지를 보정하는 분광 보정부;
    를 포함하는 모바일 분광 이미징 시스템.
  6. 제5항에 있어서,
    상기 색상 변환부에서 상기 분광 이미지는 다음의 식에 의해 무채색으로 변환되고,
    Figure 112016111987413-pat00021

    이때, R은 상기 분광 이미지 내 빨간색 픽셀들의 강도이고,
    G는 상기 분광 이미지 내 녹색 픽셀들의 강도이고,
    B는 상기 분광 이미지 내 파란색 픽셀들의 강도이며,
    I는 무채색으로 변환된 분광 이미지의 강도인 모바일 분광 이미징 시스템.
  7. 제5항에 있어서,
    상기 음영 처리부 및 상기 분광 보정부에서 상기 분광 이미지는 다음의 식에 의해 음영 처리 및 보정되고,
    Figure 112018007302364-pat00022

    이때, x 및 y는 분광 이미지 내 관심 영역의 x축 및 y축 좌표이고,
    λ는 분광 이미지를 측정한 빛의 파장이고,
    Figure 112018007302364-pat00023
    는 x, y 및 λ에서 분광 이미지의 보정된 강도이고,
    Figure 112018007302364-pat00024
    는 x, y 및 λ에서 분광 이미지의 원래 강도이고,
    Figure 112018007302364-pat00025
    는 λ에서 분광 이미지의 보정 계수고,
    Figure 112018007302364-pat00026
    는 λ에서 측정된 분광 이미지 내 참조 영역의 최대 강도이고,
    Figure 112018007302364-pat00027
    는 x, y 및 λ에서 측정된 분광 이미지 내 참조 영역의 강도인 모바일 분광 이미징 시스템.
  8. 제7항에 있어서,
    상기 분광 이미징 디바이스는 서로 다른 파장에 대한 복수 개의 분광 이미지를 획득하고,
    상기
    Figure 112016111987413-pat00028
    는 상기 복수 개의 분광 이미지에 각각 포함된 참조 영역의 평균 강도 중 최대값을 특정 파장에서 측정된 분광 이미지에 포함된 참조 영역의 평균 강도로 나눔으로써 산출되는 모바일 분광 이미징 시스템.
  9. 사용자 단말기, 상기 사용자 단말기에 장착되어 촬영 대상에 대한 분광 이미지를 획득하는 분광 이미징 디바이스 및 상기 획득된 분광 이미지를 가공하는 분광 이미지 처리 서버를 포함하는 분광 이미징 시스템이 제공되는 단계;
    상기 분광 이미징 디바이스에 의해 촬영 대상에 대한 분광 이미지가 획득되는 단계;
    상기 획득된 분광 이미지가 상기 분광 이미지 서버에 전송되는 단계;
    상기 전송된 분광 이미지가 무채색으로 변환되는 단계;
    상기 무채색으로 변환된 분광 이미지가 음영 처리되는 단계;
    상기 음영 처리된 분광 이미지가 보정되는 단계; 및
    상기 보정된 분광 이미지가 분광 분류되는 단계;
    를 포함하고,
    상기 분광 이미징 디바이스에 의해 촬영 대상에 대한 분광 이미지가 획득되는 단계에서, 상기 분광 이미지의 중앙에는 적어도 하나의 관심 영역이 배치되고, 상기 관심 영역의 외측에는 참조 영역이 배치되는 분광 이미징 방법.
  10. 제9항에 있어서,
    상기 음영 처리된 분광 이미지가 보정되는 단계는,
    상기 참조 영역 및 상기 관심 영역의 분광 지표가 각각 추출되는 단계;
    상기 추출된 참조 영역의 분광 지표로부터 보정 계수가 산출되는 단계; 및
    상기 추출된 관심 영역의 분광 지표에 상기 보정 계수가 곱해지는 단계;
    를 포함하는 분광 이미징 방법.
KR1020160152852A 2016-11-16 2016-11-16 모바일 분광 이미징 시스템 및 방법 KR101881661B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160152852A KR101881661B1 (ko) 2016-11-16 2016-11-16 모바일 분광 이미징 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160152852A KR101881661B1 (ko) 2016-11-16 2016-11-16 모바일 분광 이미징 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180055244A KR20180055244A (ko) 2018-05-25
KR101881661B1 true KR101881661B1 (ko) 2018-07-24

Family

ID=62299844

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160152852A KR101881661B1 (ko) 2016-11-16 2016-11-16 모바일 분광 이미징 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101881661B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013195243A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 色標、色計測プログラム及び色計測方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718517B1 (ko) * 2015-04-03 2017-04-05 재단법인대구경북과학기술원 피부 헬스케어를 위한 모바일 다중 분광 이미징 디바이스, 사용자 모바일 기기 연결, 이미지 분석 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013195243A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 色標、色計測プログラム及び色計測方法

Also Published As

Publication number Publication date
KR20180055244A (ko) 2018-05-25

Similar Documents

Publication Publication Date Title
US11931164B2 (en) System and method for optical detection of skin disease
Kim et al. Smartphone-based multispectral imaging: system development and potential for mobile skin diagnosis
JP6672406B2 (ja) 単一センサのハイパースペクトル撮像デバイス
US8315692B2 (en) Multi-spectral imaging spectrometer for early detection of skin cancer
US9551613B2 (en) Mobile phone hyperspectral imager with single-frame spatial, spectral and polarization information
KR102036040B1 (ko) 광학식 피부질환 진단장치
KR20190070672A (ko) 분광 이미징 디바이스, 분광 이미징을 이용한 피부 분석 시스템 및 분광 이미징을 이용한 화장품 추천 방법
KR102036043B1 (ko) 스마트기기 기반의 피부질환 진단이 가능한 광학식 피부질환 진단장치
Yi et al. Real-time multispectral imager for home-based health care
US20110304820A1 (en) Method and device for imaging a target
KR102036045B1 (ko) 가변파장의 피부 영상 정보를 이용한 휴대용 피부질환 진단장치
KR101881661B1 (ko) 모바일 분광 이미징 시스템 및 방법
US20200060548A1 (en) Diagnostic Device Using Near Infrared Light
KR102036048B1 (ko) 스마트기기 기반의 가변파장의 피부 영상 정보를 이용한 휴대용 피부질환 진단장치
Spigulis et al. Snapshot multi-spectral-line imaging for applications in dermatology and forensics
Setiadi et al. Design and characterization of a LED-based multispectral imaging system applied to dermatology
JP2020193928A (ja) ２次元分光測定システム及びデータの処理方法
US20230371885A1 (en) Smartphone-based multispectral dermascope
Kim Development of a portable optical imaging system based on a smartphone and image classification using a learning algorithm

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant