KR102648059B1 - 모바일 오토스코프 시스템 - Google Patents
모바일 오토스코프 시스템 Download PDFInfo
- Publication number
- KR102648059B1 KR102648059B1 KR1020210049885A KR20210049885A KR102648059B1 KR 102648059 B1 KR102648059 B1 KR 102648059B1 KR 1020210049885 A KR1020210049885 A KR 1020210049885A KR 20210049885 A KR20210049885 A KR 20210049885A KR 102648059 B1 KR102648059 B1 KR 102648059B1
- Authority
- KR
- South Korea
- Prior art keywords
- autoscope
- mobile
- light
- user terminal
- terminal device
- Prior art date
Links
- 230000003595 spectral effect Effects 0.000 claims abstract description 45
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 14
- 230000005284 excitation Effects 0.000 claims abstract description 5
- 230000001678 irradiating effect Effects 0.000 claims abstract description 5
- 239000000523 sample Substances 0.000 claims description 45
- 230000006854 communication Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 22
- 239000013307 optical fiber Substances 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000004611 spectroscopical analysis Methods 0.000 description 6
- 239000000758 substrate Substances 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000017520 skin disease Diseases 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000005141 Otitis Diseases 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 208000032625 disorder of ear Diseases 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 208000006454 hepatitis Diseases 0.000 description 1
- 231100000283 hepatitis Toxicity 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00105—Constructional details of the endoscope body characterised by modular construction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00108—Constructional details of the endoscope body characterised by self-sufficient functionality for stand-alone use
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/32—Devices for opening or enlarging the visual field, e.g. of a tube of the body
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Networks & Wireless Communication (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
모바일 오토스코프 시스템이 개시된다. 본 모바일 오토스코프 시스템은 촬영 대상에 대한 이미지를 촬영하는 카메라를 포함하는 사용자 단말장치, 및 사용자 단말장치에 탈부착 가능하게 장착되며, 분광, UV 광 및 백색 광을 순차적으로 촬영 대상에 순차적으로 조사하는 모바일 오토스코프를 포함하고, 사용자 단말장치는 분광, UV 광 및 백색 광의 조사 중에 대상을 촬영하여 분광 이미지, UV 여기(excitation) 형광 이미지 및 3차원 형상 이미지를 순차적으로 생성하는 모바일 오토스코프 시스템.
Description
본 개시는 모바일 오토스코프 시스템에 관한 것으로, 보다 구체적으로는 사용자 단말장치에 탈부착 가능한 모바일 오토스코프를 이용하여 다양한 광원에 대한 영상을 획득할 수 있는 모바일 오토스코프 시스템에 관한 것이다.
오토스코프(또는 검이경)는 외이도에 삽입하여 귀를 검사하거나 청진하는 기구이다. 최근에는 귀 염증 및 간염의 진단의 도움이 되도록 분광 영상 촬영 및 3차원 영상이 가능한 오토스코프가 제안되고 있다.
그러나 기존의 오토스코프는 휴대성이 떨어지며, 귀 내부의 화학적 상태 및 3차원 구조 등을 관찰하기 어려운 문제가 있었다.
따라서, 본 개시의 목적은 사용자 단말장치에 탈부착 가능한 모바일 오토스코프를 이용하여 다양한 광원에 대한 영상을 획득할 수 있는 모바일 오토스코프 시스템을 제공하는 데 있다.
이상과 같은 목적을 달성하기 위한 본 개시에 따른 모바일 오토스코프 시스템은 촬영 대상에 대한 이미지를 촬영하는 카메라를 포함하는 사용자 단말장치, 및 상기 사용자 단말장치에 탈부착 가능하게 장착되며, 분광, UV 광 및 백색 광을 순차적으로 상기 촬영 대상에 순차적으로 조사하는 모바일 오토스코프를 포함하고, 상기 사용자 단말장치는, 상기 분광, 상기 UV 광 및 상기 백색 광의 조사 중에 상기 촬영 대상을 촬영하여 분광 이미지, UV 여기(excitation) 형광 이미지 및 3차원 형상 이미지를 순차적으로 생성한다.
이 경우, 상기 모바일 오토스코프는 상기 촬영 대상과 접촉하는 프로브, 상기 프로브의 끝단과 상기 사용자 단말장치 사이에 배치되며, 상기 프로브 외부의 빛을 상기 카메라에 집광하는 복수의 렌즈, 분광 광원, UV 광원 및 백색 광원을 포함하는 조명 모듈, 및 상기 분광 광원 및 상기 UV 광원에서 조사된 빛을 상기 프로브의 끝단으로 전달하는 광 섬유를 포함할 수 있다.
이 경우, 상기 UV 광원은 UV 대역의 빛을 조사하는 UV LED를 포함하고, 상기 모바일 오토스코프는, 상기 UV LED에서 조사된 빛을 밴드패스 필터링하여 상기 광 섬유에 제공하는 제1 광학 필터 및 상기 UV LED에서 발생되는 형광 빛을 필터링하여 카메라에 전달하는 제2 광학필터;를 더 포함할 수 있다.
한편, 상기 분광 광원은 서로 다른 중심 파장을 갖는 복수의 협대역 LED를 포함할 수 있다.
한편, 상기 백색 광원은 상기 프로브의 끝 단에 배치되는 복수의 백색 LED를 포함할 수 있다.
한편, 상기 모바일 오토스코프는 사용자가 파지할 수 있는 손잡이 영역을 포함하는 하우징, 복수의 돌출 부재의 간격을 조정하여 선택적으로 상기 사용자 단말장치를 파지 부재 및 상기 복수의 돌출 부재의 간격을 제어하는 서보모터를 더 포함할 수 있다.
한편, 상기 모바일 오토스코프는 대상 객체에 대해 촬영 명령을 입력받는 버튼, 및 상기 입력된 촬영 명령을 상기 사용자 단말장치에 전송하는 통신 장치를 더 포함할 수 있다.
한편, 상기 모바일 오토스코프는 상기 사용자 단말장치로부터 촬영 명령을 입력받는 통신 장치, 및 상기 촬영 명령이 상기 사용자 단말장치로부터 수신되면, 상기 분광, 상기 UV 광 및 상기 백색 광이 순차적으로 조사되도록 상기 조명 모듈을 제어할 수 있다.
한편, 상기 사용자 단말장치는 서로 다른 광원에 대한 복수의 이미지를 표시할 수 있다.
한편, 상기 사용자 단말장치는 서로 다른 광원에 대한 복수의 이미지가 생성되면, 상기 생성된 복수의 이미지를 외부 서버에 전송하고, 상기 외부 서버로부터 상기 복수의 이미지에 대한 평가 정보가 수신되면, 상기 평가 정보를 표시할 수 있다.
상술한 바와 같이 본 개시의 다양한 실시 예에 따르면, 형광, 분광, 3차원 영상을 이용하여 귀 내부의 화학적, 구조적 정보의 확인이 가능한바 보다 정확한 진단이 가능하다. 특히, 사용자 단말장치에 부착하여 동작하는바 휴대하기 용이하다.
도 1은 본 개시의 일 실시 예에 따른 모바일 오토스코프 시스템의 구성을 나타내는 도면,
도 2는 도 1의 사용자 단말장치의 구성을 도시한 도면,
도 3은 도 1의 모바일 오토스코프의 구체적인 구성을 도시한 도면,
도 4는 도 1의 모바일 오토스코프의 형상을 도시한 도면,
도 5는 본 개시의 일 실시 예에 따른 모바일 오토스코프와 사용자 단말장치 간의 배치 형태 및 모바일 오토스코프의 구체적인 광학 구성을 도시한 도면,
도 6은 본 개시의 일 실시 예에 따른 프로브의 끝단의 형태를 도시한 도면,
도 7은 도 1의 모바일 오토스코프의 동작을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 영상 생성 방법을 설명하기 위한 도면, 그리고,
도 9는 본 개시의 일 실시 예에 따른 사용자 단말장치와 모바일 오토스코프 간의 동작을 설명하기 위한 시퀀스도이다.
도 2는 도 1의 사용자 단말장치의 구성을 도시한 도면,
도 3은 도 1의 모바일 오토스코프의 구체적인 구성을 도시한 도면,
도 4는 도 1의 모바일 오토스코프의 형상을 도시한 도면,
도 5는 본 개시의 일 실시 예에 따른 모바일 오토스코프와 사용자 단말장치 간의 배치 형태 및 모바일 오토스코프의 구체적인 광학 구성을 도시한 도면,
도 6은 본 개시의 일 실시 예에 따른 프로브의 끝단의 형태를 도시한 도면,
도 7은 도 1의 모바일 오토스코프의 동작을 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 영상 생성 방법을 설명하기 위한 도면, 그리고,
도 9는 본 개시의 일 실시 예에 따른 사용자 단말장치와 모바일 오토스코프 간의 동작을 설명하기 위한 시퀀스도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 모바일 오토스코프 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 모바일 오토스코프 시스템(1000)은 사용자 단말장치(100) 및 모바일 오토스코프(200)를 포함할 수 있다.
사용자 단말장치(100)는 카메라를 포함하며, 카메라를 이용하여 영상을 촬영할 수 있다. 이와 같은 사용자 단말장치는 스마트폰, 노트북, 카메라 등 사용자가 휴대할 수 있는 다양한 전자 기기일 수 있다.
그리고 사용자 단말장치(100)는 촬영된 영상을 표시할 수 있으며, 촬영된 영상에 대해 분석을 수행하여 대상 물체의 상태를 판단할 수 있다.
이와 같은 판단은 사용자 단말장치(100) 자체적으로 수행하거나, 외부 장치의 도움을 받아 수행할 수 있다. 예를 들어, 자체적으로 수행하는 경우, 사용자 단말장치(100)는 학습 모델에 생성된 영상 데이터를 입력하여 분석을 수행하고, 분석 결과를 표시할 수 있다.
외부 장치를 이용하는 경우, 사용자 단말장치(100)는 생성된 영상 데이터를 외부 장치에 제공할 수 있으며, 외부 장치에서 분석된 결과를 수신하여 표시할 수 있다.
한편, 사용자 단말장치(100)는 영상의 분석 전에 생성한 영상에 대하 이미지 처리를 수행할 수 있다. 예를 들어, 백색 광원을 통하여 촬영된 영상에 대해서는 photometric 알고리즘을 이용하여 3D 형태를 재구성하는 작업을 수행할 수 있으며, 분광 광원을 통하여 촬영된 영상에 대해서는 무채색 변환, 음영 처리 등의 이미지 처리를 수행할 수도 있다.
사용자 단말장치(100)의 구체적인 구성 및 동작에 대해서는 도 2를 참조하여 후술한다.
모바일 오토스코프(200)는 사용자 단말장치(100)에 탈부착 가능하게 장착될 수 있다. 그리고 촬영 명령(또는 광 조사 명령)이 입력되면, 모바일 오토스코프(200)는 촬영 대상에 대해서 분광, UV 광, 백색 광을 순차적으로 조사할 수 있다.
여기서 촬영 명령은 모바일 오토스코프(200)에 구비된 버튼을 통하여 입력될 수 있으며, 사용자 단말장치(100)에 장착된 버튼 또는 UI 아이콘의 선택을 통하여 입력될 수 있다. 구체적으로, 모바일 오토스코프(200)에 구비된 버튼을 통하여 촬영 명령이 입력되면, 모바일 오토스코프(200)는 사용자 단말장치(100)에 촬영 명령이 입력되었다는 정보를 통지할 수 있다. 반대로, 사용자 단말장치(100)로부터 촬영 명령이 입력된 경우, 사용자 단말장치(100)는 순차적으로 빛을 조사하라는 광 조사 명령을 모바일 오토스코프(200)에 전송할 수 있다.
여기서 분광은 서로 다른 파장의 빛을 조사하는 것으로, 설명을 손쉽게 하기 위하여, 분광의 조사를 하나의 광원을 이용한 조사인 것으로 취급하여 설명하나, 분광 이미지의 생성은 서로 다른 대역의 빛을 이용하여 복수의 이미지를 생성하는 것인바, 실질적으로는 서로 다른 대역이 빛을 복수회 조사하는 과정이다.
그리고 구현시에는 상술한 순서와 다른 순서로 빛을 조사할 수 있으며, 분광이 서로 다른 대역의 빛을 조사하는 것이라는 점에서, 그 사이의 과정에서 UV 광을 이용한 조사, 백색 광원을 이용한 조사가 수행될 수도 있다.
모바일 오토스코프(200)의 구체적인 구성 및 동작에 대해서는 도 3 내지 도 7을 참조하여 후술한다.
이상과 같이 본 개시의 일 실시 예에 따른 모바일 오토스코프 시스템은 백색 광원뿐만 아니라 UV 광 및 분광을 이용하여 촬영 대상에 대한 영상을 생성하는바, 귀 내부의 조직의 형태학적 정보뿐만 아니라 생물학적/생리학적 상태에 대한 정량적 정보도 획득하는 것이 가능하다. 또한, 사용자 휴대하고 다니는 사용자 단말장치에 부착되어 동작하는 방식이라는 점에서, 휴대가 용이하며 전문 의료인이 부족한 지역에서도 손쉽게 활용이 가능하다.
도 2는 도 1의 사용자 단말장치의 구성을 도시한 도면이다.
도 2를 참조하면, 사용자 단말장치(100)는 통신 장치(110), 메모리(120), 터치 스크린(130), 카메라(140) 및 프로세서(150)를 포함할 수 있다. 여기서 사용자 단말장치는 사용자가 휴대하여 가지고 다닐 수 있으며, 카메라를 포함하는 전자 기기로, 스마트폰, 노트북, 태블릿, 디지털 카메라 등일 수 있다.
통신 장치(110)는 모바일 오토스코프(200)와 연결되며, 영상 촬영 중에 필요한 제어 명령을 송수신할 수 있다. 구체적으로, 통신 장치(110)는 사용자 단말장치(100)를 외부 장치와 연결하기 위해 형성되고, 근거리 통신망(LAN: Local Area Network), 인터넷망, 블루투스 등을 통해 다른 전자 장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트를 통하여 접속되는 형태도 가능하다. 한편, 구현시에는 블루투스 방식 이외에 WiFi direct 등 다른 P2P 통신 방식을 이용하여 모바일 오토스코프(200)와 통신하는 것도 가능하다.
그리고 통신 장치(110)는 후술하는 과정에서 생성된 다양한 영상을 외부 장치에 전송하고, 외부 장치에서 해당 영상에 대한 분석 결과를 수신할 수 있다.
메모리(120)는 사용자 단말장치(100)를 구동하기 위한 O/S나 음성 인식/자막 동기화를 수행하기 위한 소프트웨어, 데이터 등을 저장하기 위한 구성요소이다. 메모리(120)는 RAM이나 ROM, 플래시 메모리, HDD, 외장 메모리, 메모리 카드 등과 같은 다양한 형태로 구현될 수 있으며, 어느 하나로 한정되는 것은 아니다.
그리고 메모리(120)는 다양한 기능 수행을 위한 어플리케이션을 저장할 수 있으며, 이중 하나의 어플리케이션은 상술한 바와 같은 모바일 오토스코프(200)를 이용하여 촬영 및 분석을 위한 검사 어플리케이션일 수 있다.
메모리(120)는 촬영된 영상을 저장할 수 있다. 여기서 영상은 서로 다른 대역 대의 빛으로 촬영된 분광 이미지, UV 광의 조사 과정에서 촬영된 UV 여기 형광 이미지, 백색 광원의 빛으로 촬영된 3차원을 포함하는 형상 이미지를 포함할 수 있다. 여기서, UV 여기 형광 이미지는 UV 광원의 조사에 의하여 촬영 대상(구체적으로, 고막)에서 여기되는 형광 이미지이다.
메모리(120)는 생성된 영상에 대해 분석을 위한 학습 모델을 저장할 수 있다. 여기서 학습 모델은 UV 여기 형광 이미지, 분광 이미지 및 3차원 형상 이미지를 이용하여 특정 질환 등을 검출하는 학습 모델이다. 하나의 학습 모델이 하나의 질환만을 검출할 수 있는 경우, 메모리(120)는 복수의 학습 모델을 포함할 수 있다. 이와 같은 학습 모델은 외부 서버로부터 수신하여 메모리(120)에 저장될 수 있다.
터치 스크린(130)은 사용자 단말장치(100)가 지원하는 기능을 선택받기 위한 사용자 인터페이스 창을 표시할 수 있다. 구체적으로, 터치 스크린(130)은 사용자 단말장치(100)가 제공하는 각종 기능을 선택받기 위한 사용자 인터페이스 창을 표시할 수 있으며, 촬영된 영상 및/또는 해당 영상에 대한 분석 결과를 표시할 수 있다.
카메라(140)는 촬영 영상을 촬영하여 영상 이미지를 생성할 수 있다. 구체적으로, 카메라(140)는 이미지 센서와 이미지 센서에 빛을 결상시키는 복수의 렌즈로 구성될 수 있다. 만약, 사용자 단말장치에 복수의 카메라가 구비되는 경우, 근접 촬영에 유리하거나, 해상도가 가장 높은 카메라를 선택하여 촬영을 수행할 수 있다.
프로세서(150)는 사용자 단말장치(100) 내의 각 구성에 대한 제어를 수행한다. 구체적으로, 프로세서(150)는 사용자로부터 부팅 명령이 입력되면, 메모리(120)에 저장된 운영체제를 이용하여 부팅을 수행할 수 있다.
프로세서(150)는 검사 어플리케이션이 실행되면, 해당 검사 어플리케이션의 구동에 따른 각종 동작을 수행할 수 있다. 상술한 검사 어플리케이션은 모바일 오토스코프(200)의 연결을 위한 페어링 동작, 사용자 단말장치(100)와 모바일 오토스코프(200)의 정확한 부탁을 위한 장착 동작, 장착 이후에 사용자 촬영 명령에 따른 광원 모듈의 제어 및 카메라 제어 동작, 생성된 영상에 대한 이미지 처리 동작 및 분석 동작등을 수행할 수 있다. 이하에서는 각 동작별로 자세히 설명한다.
프로세서(150)는 모바일 오토스코프(200)와 통신 연결이 되어 있지 않거나, 블루투스 통신 기능이 꺼져 있는 경우, 통신 연결을 사용자에게 연결을 요청할 수 있다. 그리고 모바일 오토스코프(200)와 사용자 단말장치(100) 간에 무선 연결 이력이 있는 경우, 프로세서(150)는 상술한 검사 애플리케이션의 실행에 대응하여 모바일 오토스코프(200)와의 자동 연결을 수행할 수 있다.
프로세서(150)는 사용자 단말장치(100)가 모바일 오토스코프(200)에 장착된 경우, 카메라(140)의 렌즈와 모바일 오토스코프(200)의 프로브 사이에 정렬이 되어 있는지를 판단할 수 있다. 구체적으로, 프로세서(150)는 촬영된 영상을 분석하여 프로브와 카메라 사이에 정렬이되어 있는지를 판단할 수 있다.
판단 결과 정렬되어 있지 않다고 판단되면, 프로세서(150)는 사용자에게 모바일 오토스코프(200)와 사용자 단말장치(100)의 정렬을 요청 또는 자동으로 할 수 있다.
한편, 모바일 오토스코프(200)의 파지 부재가 x, y 축 이동이 가능하여 모바일 오토스코프(200)와 사용자 단말장치(100) 간의 배치 위치를 조정할 수 있는 경우, 프로세서(150)는 모바일 오토스코프(200)와 사용자 단말장치(100)가 정렬되도록 하는 이동 명령이 모바일 오토스코프(200)에 전송되도록 통신 장치(110)를 제어할 수 있다. 예를 들어, 모바일 오토스코프(200)의 프로브와 카메라 사이에 좌측 또는 우측으로 5mm 정도의 치우침이 확인되면, 프로세서(150)는 상술한 치우침을 보상하기 위한 이동 명령을 모바일 오토스코프(200)에 전송할 수 있다. 한편, 구현시에는 모바일 오토스코프(200)와 사용자 단말장치(100) 사이의 위치가 아니라, 오토스코프(200)의 하우징 상의 프로브의 위치가 조정될 수 있다. 구체적으로, 하우징 상에서 프로브의 위치가 조정 가능한 형태로 구현되거나, 프로브를 포함하는 프로브 하우징(또는 프로브 모듈)이 교체 가능한 형태로 구현될 수 있다.
사용자로부터 촬영 명령이 입력되면, 프로세서(150)는 기정의된 순서로 빛을 조사하도록 하는 명령을 모바일 오토스코프(200)에 전송할 수 있다. 예를 들어, 프로세서(150)는 명령 이후 기설정된 시간 단위로 제1 대역의 분광, 제2 대역의 분광, 제3 대역의 분광, 제4 대역의 분광, UV 광, 백색 광의 순서로 빛을 조사하도록 하는 명령을 모바일 오토스코프(200)에 전송할 수 있다.
한편, 구현시에는 단계별로 명령을 송신할 수 있다. 예를 들어, 제1 대역의 분광을 조사하는 명령을 모바일 오토스코프(200)에 전송하고, 해당 제1 대역의 분광을 조사한다는 답변을 모바일 오토스코프(200)로부터 수신하면, 제1 대역의 분광에 대한 이미지가 생성되도록 카메라(140)를 제어하고, 촬영 동작이 완료되면 제2 대역의 분광을 조사하는 명령을 모바일 오토스코프(200)에 전송을 반복적으로 수행할 수도 있다. 자세한 동작은 도 9를 참조하여 후술한다.
영상에 대한 촬영이 완료되면, 프로세서(150)는 선택적으로 자체적으로 해당 영상에 대한 분석을 수행하거나 생성된 영상을 외부 서버에 전송하여 분석을 수행할 수 있다.
그리고 상술한 분석 과정 전에 프로세서(150)는 해당 영상에 대한 이미지 처리 등을 수행할 수 있다. 예를 들어, 프로세서(150)는 분광 영상에 대해서는 무채색 변환, 음영 처리, 보정 등의 이미지 처리를 수행할 수 있으며, 3차원 형상 이미지(백색 광원을 이용한 이미지)에 대해서는 3차원 복원 알고리즘을 이용한 3D 형태 재구성 동작을 수행할 수 있다.
그리고 프로세서(150)는 분석 결과가 표시되도록 터치 스크린(130)을 제어할 수 있다.
이와 같이 본 실시 예에 따른 사용자 단말장치(100)는 백색 광원뿐만 아니라 UV 광 및 분광을 이용한 영상 이미지를 생성하는바, 귀 내부의 조직의 형태학적 정보뿐만 아니라 생물학적/생리학적 상태에 대한 정량적 정보도 획득하는 것이 가능하다.
한편, 도 2를 도시하고 설명함에 있어서, 사용자 단말장치(100) 터치 스크린만을 포함하는 것으로 도시하고 설명하였지만, 구현시에 터치 스크린은 디스플레이와 조작 장치(예를 들어, 키보드, 마우스, 복수의 버튼 등)으로 구현될 수 있다. 또한, 상술한 구성 이외에 다른 구성 예를 들어, 전원 버튼 및 음량 조절 버튼 등을 더 포함할 수 있으며, 상술한 전원 버튼 또는 음량 조절 버튼은 상술한 검사 애플리케이션 동작시에 촬영 명령을 입력받기 위한 버튼으로 이용될 수 있다.
도 3은 도 1의 모바일 오토스코프의 구체적인 구성을 도시한 도면이다.
도 3을 참조하면, 모바일 오토스코프(200)는 통신 장치(210), 전원 장치(220), 서보모터(230), 조명 모듈(240), 버튼(250) 및 MCU(260)을 포함할 수 있다.
통신 장치(210)는 사용자 단말장치(100)와 연결되어, 영상 촬영 중에 필요한 각종 제어 명령을 송신 또는 수신할 수 있다. 구체적으로, 통신 장치(210)는 블루투스 모듈을 포함할 수 있으며, 블루투스 방식으로 사용자 단말장치(100)와 연결될 수 있다. 구현시에는 블루투스 모듈 이외에 WiFi Direct 등과 같은 P2P 통신 방식을 이용할 수 있을 뿐만 아니라, 유선 방식(예를 들어, USB)으로도 연결될 수도 있다.
전원 장치(220)는 모바일 오토스코프(200) 내의 각종 전자 구성에 대한 전원을 공급할 수 있다. 예를 들어, 모바일 오토스코프(200)가 유선 케이블을 통하여 사용자 단말장치(100)와 연결되는 경우, 해당 유선 케이블을 통하여 사용자 단말장치(100)로부터 전원을 제공받을 수 있으며, 제공받은 전원을 내부의 각 구성에 맞는 전압 크기로 변환하여 각 구성에 제공할 수 있다.
또는 전원 장치(220)는 배터리를 포함하고, 배터리 전원을 각 구성에 맞는 전압 크기로 변환하여 각 구성에 제공할 수도 있다.
서보모터(230)는 파지 부재 내의 복수의 돌출 부재 간의 간격을 조정할 수 있다. 예를 들어, 복수의 돌출 부재 사이의 거리 조정이 가능한 경우, 서보모터(230)는 둘 사이에 거리만을 조정할 수 있으며, 복수의 돌출 부재 각각의 위치를 조정할 수 있는 경우, 서보모터(230)는 복수의 돌출 부재 각각의 위치를 조정하기 위한 구동력을 제공할 수 있다. 예를 들어, 복수의 돌출 부재의 x, y 좌표 조정이 가능한 경우, 서보모터(230)는 사용자 단말장치(100)의 카메라와 프로브 사이의 위치 정렬을 수행할 수 있다. 한편, 이상에서는 서보모터(230)를 이용하여 간격을 조정하는 것으로 설명하였지만, 구현시에는 서보모터 이외에 DC 모터, 스텝 모터 등 다양한 다른 모터를 이용할 수도 있다.
여기서 돌출 부재는 사용자 단말장치(100)를 고정하기 위한 구성으로, 두개의 돌출 부재의 간격을 조정하여 선택적으로 사용자 단말장치(100)를 고정하거나, 분리할 수 있다. 만약 돌출 부재가 상호 간의 간격만 조정되는 경우가 아니라, 두 개의 돌출 부재 각각의 위치를 개별적으로 조정될 수 있는 경우에는 상술한 바와 같이 카메라와 프로브의 정렬에 이용될 수 있다.
조명 모듈(240)은 복수의 광원을 이용하여 촬영 대상에 빛을 조사하는 구성으로, 분광 광원, UV 광원 및 백색 광원을 포함할 수 있다.
분광 광원은 서로 다른 중심 파장을 갖는 복수의 협대역 LED로 구성될 수 있다. 여기서 각 협대역 LED는 440 nm의 중심 파장을 갖는 제1 LED, 460 nm의 중심 파장을 갖는 제2 LED, 480 nm의 중심 파장을 갖는 제3 LED, 515 nm의 중심 파장을 갖는 제4 LED, 550 nm의 중심 파장을 갖는 제5 LED, 585 nm의 중심 파장을 갖는 제6 LED, 620 nm의 중심 파장을 갖는 제7 LED, 655 nm의 중심 파장을 갖는 제8 LED, 690 nm의 중심 파장을 갖는 제9 LED를 포함할 수 있다. 이때, 각 협대역 LED는 9~19nm의 대역을 가질 수 있다. 한편, 상술한 중심 대역 및 협대역 LED의 개수는 일 예이며, 구현시에는 상술한 중심 대역과 다른 대역이 이용될 수 있으며, 개수 역시 다르게 적용될 수 있다. 이와 같이 9개의 협대역 LED로 분광 광원이 구성되는 경우, 9개의 분광 이미지가 획득될 수 있다.
한편, 이상에서는 복수의 협대역 LED를 이용하여 분광 광원을 구현하였지만, 구현시에는 하나의 광원과 복수의 광학 필터를 이용하여 분광 광원을 구성할 수도 있다.
UV 광원은 UV 대역의 빛을 조사하는 UV LED로 구성될 수 있다. 여기서 UV LED는 가시광선보다 짧은 파장대의 자외선 대역의 빛을 조사할 수 있는 광원으로, 해당 UV 광원을 이용하여 자외선 및 형광 이미지를 획득할 수 있다. 자외선 이미지의 경우, 맨 눈으로 잘 보이지 않는 피부 질환 진단에 용이하다는 점에서, 귀 내부의 피부 질환 검진에 유용하게 사용될 수 있다. 또한, UV 광원에 의하여 귀 조직에서 여기되어 발생하는 형광 이미지를 통해 귀 질환 검진에 유용하게 사용될 수 있다. 구현시에는 UV 광원을 이용하여 형광 이미지를 획득하기 위하여, 카메라에 유입되는 빛 중 UV 광을 필터링하고, UV 보다 긴 형광 빛만을 전달하는 형광 필터가 프로브와 카메라 상이에 배치될 수 있다.
백색 광원은 복수의 백색 LED로 구성될 수 있다. 여기서 백색 LED는 동일한 파장대를 갖는 복수의 LED로 구성할 수도 있으며, 서로 파장대의 빛을 출력하는 LED를 조합하여 구성할 수도 있다. 이와 같은 백색 광원은 프로브의 끝단에 배치될 수 있다. 이와 같은 배치 구조에 대해서는 도 6을 참조하여 후술한다.
버튼(250)은 사용자의 조작 명령을 입력받는바, 이와 같은 버튼은 후술하는 MCU(260)에 연결되면, 사용자가 모바일 오토스코프(200)를 파지한 경우 손쉽게 조작할 수 있는 위치에 배치될 수 있다.
MCU(260)는 모바일 오토스코프(200) 내의 각 구성에 대한 제어를 수행한다. 구체적으로, MCU(260)는 버튼(250)을 통하여 사용자 명령이 입력되면, 입력된 명령이 사용자 단말장치(100)에 전송되도록 통신 장치(210)를 제어할 수 있다.
그리고 통신 장치(210)를 통하여 광원의 동작 명령이 입력되면, 기설정된 순서 또는 해당 명령에 대응되는 광원의 빛이 조사되도록 조명 모듈(240)을 제어할 수 있다.
또한, 통신 장치(210)를 통하여 파지 명령 또는 위치 조정 명령이 수신되면, MCU(260)는 해당 명령에 따라 돌출 부재가 이동하도록 서보모터(230)를 제어할 수 있다.
이와 같이 본 실시 예에 따른 모바일 오토스코프(200)는 백색 광원뿐만 아니라 UV 광 및 분광을 조사할 수 있는바, 귀 내부의 조직의 형태학적 정보뿐만 아니라 생물학적/생리학적 상태에 대한 정량적 정보 분석에 용이한 UV 이미지 및 분광 이미지 생성을 가능케 한다.
한편, 도 1 내지 도 3을 도시하고 설명함에 있어서, 모바일 오토스코프의 프로브와 사용자 단말장치의 카메라를 정렬을 사용자 단말장치와 모바일 오토스코프 간의 장착 위치를 조정하여 수행하는 것으로 설명하였지만, 구현시에는 장착 위치는 고정으로 하고, 프로브의 위치를 조정하는 방식으로 구현될 수 있다. 이와 같은 경우, 상술한 서보 모터는 프로브의 x, y 위치를 조정할 수 있다.
도 4는 도 1의 모바일 오토스코프의 형상을 도시한 도면이다.
도 4를 참조하면, 모바일 오토스코프(200)는 사용자가 파지할 수 있는 손잡이 영역을 포함하는 하우징(201)을 갖는다.
이와 같은 하우징 내의 손잡이 영역에서는 배터리가 배치될 수 있으며, 전면 방향에 프로브(202)가 위치할 수 있으며, 반대 면에 사용자 단말장치(100)와의 결합을 위한 파지 부재(203)가 배치될 수 있다.
프로브(202)와 사용자 단말장치(100) 내의 카메라를 정렬하기 위하여, 파지 부재(203)의 돌출 부재의 위치를 이동하여 정렬하거나, 프로브(202)의 위치를 조정하여 정렬을 수행할 수도 있다.
이와 같이 본 개시에 따른 모바일 오토스코프(200)는 사용자가 손쉽게 파지할 수 있는 형상를 갖는바 휴대하기 용이하다.
도 5는 본 개시의 일 실시 예에 따른 모바일 오토스코프와 사용자 단말장치 간의 배치 형태 및 모바일 오토스코프의 구체적인 광학 구성을 도시한 도면이다.
도 5를 참조하면, 모바일 오토스코프(200)는 전원 장치(220), 제1 기판(204), 조명 모듈(240), 복수의 렌즈 및 광학 필터(249)을 포함한다.
제1 기판(204)은 전원 장치(220)로부터 전원을 공급받으면, 도 3과 관련하여 설명한 MCU(260), 통신 장치(210)가 배치될 수 있다.
복수의 렌즈 및 광학 필터(249)는 프로브 외부의 빛을 사용자 단말장치(100)의 카메라에 결상한다. 여기서 광학 필터 중 하나는 제2 광학 필터(즉, 형광 필터)일 수 있다. 구체적으로, 형광 필터는 프로브를 통하여 입사된 빛 중 UV 광을 제거하고, UV 보다 긴 파장의 형광 빛만을 전달하는 광학 필터이다. 구체적으로, 형광 필터가 UV 광만을 제거하는 것이 아니라, 가시광선 대역의 빛도 필터링하는 경우에는 제2 광학 필터는 이동 부재에 의하여 위치가 조정될 수 있다. 예를 들어, 분광 및 백색 광의 조사에 의한 분광 이미지 및 3차원 형상 이미지의 생성 과정에서는 카메라와 프로브 사이를 벗어난 위치에 위치하고, UV 광을 이용한 UV 여기 형광 이미지 생성 과정 시에는 카메라와 프로브 사이에 배치될 수 있다. 이와 같은 광학 필터의 배치 위치는 모터와 같은 구동 부재에 의하여 이동될 수 있다.
조명 모듈(240)은 제2 기판(241), 복수의 광원(246, 245), LED 멀티플렉서(242), 복수의 광 섬유(244)을 포함할 수 있다.
제2 기판(241)은 중앙에 홀을 포함하며, 홀과 이격된 위치에 복수의 광원이 배치될 수 있다. 여기서 복수의 광원은 분광을 위한 복수의 협대역 LED, UV LED를 포함할 수 있다.
LED 멀티플렉서(242)는 프리즘 형태의 빛이 내부적으로 전반사 될 수 있도록 되어 있는 구조물로, 일 측에 광 섬유(244)와 연결되며, 해당 광 섬유로 빛이 향하도록 상부는 기울어진 형상을 가지며, 내부에는 반사 코팅 물질이 코딩되어 있을 수 있다.
복수의 광 섬유(244)는 제2 기판(241)에 배치된 광원의 빛을 프로브(202)의 끝단으로 전달한다.
프로브(202)의 끝단의 형태에 대해서는 도 6을 참조하여 이하에서 설명한다.
도 6은 본 개시의 일 실시 예에 따른 프로브의 끝단의 형태를 도시한 도면이다.
도 6을 참조하면, 프로브(202)의 끝단은 이중 원통 형태를 가지며, 내부 원통은 프로브 외부의 빛이 렌즈 쪽으로 이동하는 통로이고, 두 원통 사이의 공간은 광원의 빛을 프로브 외부로 조사하는 영역이다. 구체적으로, 모바일 오토스코프 내에 배치된 LED의 빛을 전달하는 광 섬유(244)의 끝단이 해당 영역에 배치되며, 백색 광원(245) 또한, 해당 영역에 배치될 수 있다.
이와 같이 백색 광원(245)은 음역을 최소화하기 위하여 4개의 LED로 구성될 수 있으며, 5개 이상의 LED로 구성될 수도 있다. 한편, 구현시에는 백색 LED도 프로브의 끝단이 아닌 제2 기판에 배치되고, 광 섬유를 통하여 빛을 외부로 조사할 수도 있다.
도 7은 도 1의 모바일 오토스코프의 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 인터페이스 회로는 통신 장치(210) 및 MCU(260)가 배치되어, 사용자 단말장치(100)로부터 광원 조사 명령을 입력받을 수 있다. 광원 조사 명령이 입력되면, 순차적으로 LED 멀티플렉서를 제어하여 분광을 조사하고, 이후에 UV LED를 제어하여 UV가 조사되도록 하고, 복수의 백색 LED를 제어하여 백색 광원이 조사되도록 할 수 있다. UV 광원의 경우 제1 광학 필터(구체적으로, 광학 밴드 패스 필터)(248)를 통하여 UV LED에서 조사된 빛을 필터링하여 외부로 조사할 수도 있다. 도 7은 조명 모듈의 광원 조사와 관련한 도면이라 도시하지 않았지만, UV 광원에서 조사된 UV 빛에 의하여 샘플에서 여기된 형광 빛은 카메라와 프로브 사이에 배치되는 제2 광학 필터(즉, 형광 필터)에 의하여 UV 광이 제거되어, UV 광보다 긴 파장의 형광 빛만이 카메라로 전달될 수 있다.
도 8은 본 개시의 일 실시 예에 따른 영상 생성 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 먼저 UV 광원, 분광 광원, 백색 광원을 이용하여 촬영 대상에 빛을 조사할 수 있다(S810). 구체적으로, UV 광원을 이용한 자외선 조사를 수행하고, 이후에 서로 다른 대역의 분광을 조사하고, 이후에 자외선을 조사할 수 있다. 구현시에는 상술한 조사 순서는 변경될 수 있으며, 9개의 분광 조사 사이에 UV 광원을 위한 조사와 백색 광원의 조사가 수행될 수도 있다. 한편, 구현시에는 UV 광원 조사시 렌즈 전면부에 형광 이미지 획득을 위한 광학 필터(구체적으로, 형광 필터)를 배치할 수 있다. 이러한 광학 필터는 UV LED에서 발생되는 형광 빛을 필터링하여 카메라에 전달할 수 있다.
상술한 빛의 조사에 대응하여 촬영 대상에 대한 촬영을 수행하여 복수의 이미지를 생성할 수 있다(S820). 예를 들어, 분광을 9개 서로 다른 대역으로 수행하는 경우, 총 11개의 이미지를 생성할 수 있다.
그리고 생성된 복수의 이미지 중 백색 광원을 이용하여 생성한 3차원 형상 이미지를 3차원 복원 알고리즘을 이용하여 3D 재구성 동작 등 영상에 대한 이미지 처리를 수행할 수 있다(S830).
그리고 이미지 처리된 영상에 대해 분석을 통하여 대상 객체에 대한 분석을 수행할 수 있다. 이와 같은 분석은 사용자 단말장치(100) 자체적으로 수행할 수 있으며, 외부 장치에 이미지를 전송하여 외부 장치에서 수행할 수도 있다.
그리고 분석이 완료되면 분석 결과를 사용자에게 표시할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 사용자 단말장치와 모바일 오토스코프 간의 동작을 설명하기 위한 시퀀스도이다.
도 9를 참조하면, 사용자로부터 촬영 명령을 입력받는다(S905). 이와 같은 촬영 명령은 사용자 단말장치(100)에 표시된 UI의 선택을 통하여 입력받을 수도 있고, 모바일 오토스코프(200)에 구비된 버튼을 통하여 입력받을 수도 있다.
촬영 명령이 입력되면, 사용자 단말장치(100)는 제1 광원에 대한 조사 명령을 모바일 오토스코프(200)에 전송할 수 있다(S910). 여기서 제1 광원에 대한 조사 명령을 UV 광원, 분광 광원, 백색 광원 중 하나에 대한 조사 명령일 수 있다. 이하에서는 설명을 용이하게 하기 위하여 분광 광원에 대한 조사 명령인 것으로 한다.
조사 명령을 수신한 모바일 오토스코프(200)는 분광 광원이 빛을 조사하도록 조명 모듈을 제어할 수 있다(S915). 빛의 조사가 시작되면, 모바일 오토스코프(200)는 해당 명령에 따른 동작을 수행하였음을 사용자 단말장치(100)에 알릴 수 있으며, 그에 대응하여 사용자 단말장치(100)는 분광 이미지를 생성할 수 있다. 한편, 이상에서는 용이하게 설명하기 위하여 하나의 과정으로 분광 이미지를 생성하는 것으로 설명하였지만, 상술한 바와 같이 분광은 서로 다른 복수의 대역에 빛의 조사 및 해당 빛에 대한 이미지 생성 과정인바, 상술한 과정은 해당 시스템에 대응되는 분광 개수에 대응되게 수행될 수 있다. 예를 들어, 9개의 협대역 LED로 분광 광원이 구성된 경우, 총 9개의 상술한 동작이 반복될 수 있다.
분광 이미지의 생성이 완료되면, 동일한 방식으로 UV 여기(excitation) 형광 이미지에 대한 생성 과정이 수행될 수 있다(S930, S935, S940, S945).
그리고 UV 여기 형광 이미지의 생성이 완료되면, 동일한 방식으로 3차원 형상 이미지에 대한 생성 과정이 수행될 수 있다(S950, S955, S960, S965).
이와 같은 각 광원을 이용하여 이미지의 생성이 완료되면, 사용자 단말장치(100)는 동작이 완료되었음을 모바일 오토스코프(200)에 통지하고, 생성된 이미지를 이용하여 3D 이미지를 재구성할 수 있다(S980).
한편, 도 9를 도시하고 설명함에 있어서, 각 이미지 생성 과정이 조사 명령/조사 시작 알림/ 이미지 생성과 같은 복수의 통신 과정을 통하여 수행되는 것으로 설명하였지만, 구현시에는 최초에만 통신을 수행하고, 이후에는 두 장치가 알고 있는 알고리즘에 따라 빛의 조사와 촬영 동작이 수행될 수 있다. 예를 들어, 모바일 오토스코프(200)는 0.1초 단위로 기설정된 순서의 빛의 조사/유휴 과정을 수행하고, 사용자 단말장치도 위에 방식에 대응되게 0.2초 단위로 영상의 촬영을 수행할 수도 있다.
따라서, 본 실시 예에 따른 영상 촬영 방법은 UV 광원 및 분광 광원을 이용한 영상 촬영을 수행하는바 형태적 특징뿐만 아니라, 생리학적/생물학적 정보도 확인할 수 있는 UV 이미지 및 분광 이미지도 획득할 수 있다. 또한, UV 이미지 및 분광 이미지를 활용하여 분석을 수행할 수 있는바 보다 정확하고 높은 검진이 가능하다.
도 8 또는 도 9와 같은 동작은 도 2의 구성을 가지는 사용자 단말장치 또는 도 3의 구성을 가지는 모바일 오토스코프에서 실행될 수 있으며, 다른 구성을 갖는 장치에서도 실행될 수 있다.
또한, 상술한 바와 같은 영상 생성 방법은 컴퓨터에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상술한 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
1000: 모바일 오토스코프 시스템 100: 사용자 단말장치
110: 통신 장치 120: 메모리
130: 터치 스크린 140: 카메라
150: 프로세서 200: 모바일 오토스코프
210: 통신 장치 220: 전원 장치
230: 서브모터 240: 조명 모듈
250: 버튼 260: MCU
110: 통신 장치 120: 메모리
130: 터치 스크린 140: 카메라
150: 프로세서 200: 모바일 오토스코프
210: 통신 장치 220: 전원 장치
230: 서브모터 240: 조명 모듈
250: 버튼 260: MCU
Claims (10)
- 모바일 오토스코프 시스템에 있어서,
촬영 대상에 대한 이미지를 촬영하는 카메라를 포함하는 사용자 단말장치; 및
상기 사용자 단말장치에 탈부착 가능하게 장착되며, 분광, UV 광 및 백색 광을 순차적으로 상기 촬영 대상에 순차적으로 조사하는 모바일 오토스코프;를 포함하고,
상기 사용자 단말장치는, 상기 분광, 상기 UV 광 및 상기 백색 광의 조사 중에 상기 촬영 대상을 촬영하여 분광 이미지, UV 여기(excitation) 형광 이미지 및 3차원 형상 이미지를 순차적으로 생성하며,
상기 모바일 오토스코프는, 전원 장치, 상기 촬영 대상과 접촉하는 프로브; 상기 프로브의 끝단과 상기 사용자 단말장치 사이에 배치되며, 상기 프로브 외부의 빛을 상기 카메라에 집광하는 복수의 렌즈; 분광 광원, UV 광원 및 백색 광원을 포함하는 조명 모듈; 복수의 광학 필터; 및 상기 분광 광원 및 상기 UV 광원에서 조사된 빛을 상기 프로브의 끝단으로 전달하는 광 섬유;를 포함하고,
상기 UV 광원은, UV 대역의 빛을 조사하는 UV LED를 포함하고
상기 복수의 광학 필터는 상기 UV LED에서 조사된 빛을 밴드패스 필터링하여 상기 광 섬유에 제공하는 제1 광학 필터 및 UV LED에서 발생되는 형광 빛을 필터링하여 카메라에 전달하며, 이동할 수 있는 제2 광학 필터;를 더 포함하고,
상기 모바일 오토스코프는, 상기 제2 광학 필터의 배치 위치를 이동할 수 있는 구동 부재를 더 포함하고,
상기 프로브의 끝단은 내부원통 및 외부원통을 포함하는 이중 원통 형태를 구비하고,
상기 내부원통은 상기 프로브 외부의 빛이 상기 렌즈 쪽으로 이동하는 통로이고,
상기 내부원통 및 상기 외부원통 사이의 공간은 광원의 빛을 상기 프로브 외부로 조사하는 영역이고,
상기 광섬유의 일 단은 상기 내부원통 및 상기 외부원통 사이의 공간에 배치되는, 모바일 오토스코프 시스템. - 삭제
- 삭제
- 제1항에 있어서,
상기 분광 광원은 서로 다른 중심 파장을 갖는 복수의 협대역 LED를 포함하는 모바일 오토스코프 시스템. - 제1항에 있어서,
상기 백색 광원은,
상기 프로브의 끝 단에 배치되는 복수의 백색 LED를 포함하는 모바일 오토스코프 시스템. - 제1항에 있어서,
상기 모바일 오토스코프는,
사용자가 파지할 수 있는 손잡이 영역을 포함하는 하우징;
복수의 돌출 부재의 간격을 조정하여 선택적으로 상기 사용자 단말장치를 파지 부재; 및
상기 복수의 돌출 부재의 간격을 제어하는 서보모터;를 더 포함하는 모바일 오토스코프 시스템. - 제1항에 있어서,
상기 모바일 오토스코프는,
대상 객체에 대해 촬영 명령을 입력받는 버튼; 및
상기 입력된 촬영 명령을 상기 사용자 단말장치에 전송하는 통신 장치;를 더 포함하는 모바일 오토스코프 시스템. - 제1항에 있어서,
상기 모바일 오토스코프는,
상기 사용자 단말장치로부터 촬영 명령을 입력받는 통신 장치; 및
상기 촬영 명령이 상기 사용자 단말장치로부터 수신되면, 상기 분광, 상기 UV 광 및 상기 백색 광이 순차적으로 조사되도록 상기 조명 모듈을 제어하는 모바일 오토스코프 시스템. - 제1항에 있어서,
상기 사용자 단말장치는,
서로 다른 광원에 대한 복수의 이미지를 표시하는 모바일 오토스코프 시스템. - 제1항에 있어서,
상기 사용자 단말장치는,
서로 다른 광원에 대한 복수의 이미지가 생성되면, 상기 생성된 복수의 이미지를 외부 서버에 전송하고, 상기 외부 서버로부터 상기 복수의 이미지에 대한 평가 정보가 수신되면, 상기 평가 정보를 표시하는 모바일 오토스코프 시스템.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210049885A KR102648059B1 (ko) | 2021-04-16 | 2021-04-16 | 모바일 오토스코프 시스템 |
| US18/555,414 US20240197152A1 (en) | 2021-04-16 | 2022-04-15 | Mobile autoscope system |
| PCT/KR2022/005456 WO2022220639A1 (ko) | 2021-04-16 | 2022-04-15 | 모바일 오토스코프 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210049885A KR102648059B1 (ko) | 2021-04-16 | 2021-04-16 | 모바일 오토스코프 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220143409A KR20220143409A (ko) | 2022-10-25 |
| KR102648059B1 true KR102648059B1 (ko) | 2024-03-18 |
Family
ID=83640848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210049885A KR102648059B1 (ko) | 2021-04-16 | 2021-04-16 | 모바일 오토스코프 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240197152A1 (ko) |
| KR (1) | KR102648059B1 (ko) |
| WO (1) | WO2022220639A1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101450120B1 (ko) * | 2014-05-30 | 2014-10-13 | 리스광시스템(주) | 복수의 광원에 따른 이미지들을 동시에 획득하는 형광이미지 획득장치 |
| KR102036043B1 (ko) | 2018-11-15 | 2019-10-24 | 주식회사 에프앤디파트너스 | 스마트기기 기반의 피부질환 진단이 가능한 광학식 피부질환 진단장치 |
| KR102036048B1 (ko) * | 2018-11-19 | 2019-10-24 | 주식회사 에프앤디파트너스 | 스마트기기 기반의 가변파장의 피부 영상 정보를 이용한 휴대용 피부질환 진단장치 |
| KR102113203B1 (ko) | 2018-11-30 | 2020-05-21 | 재단법인대구경북과학기술원 | 광 멀티플렉서 및 이를 포함하는 분광 이미징 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG10201809839SA (en) | 2014-05-05 | 2018-12-28 | Helen Of Troy Ltd | Otoscope and otoscopic method based on spectral analysis |
| KR101751969B1 (ko) * | 2015-09-09 | 2017-07-03 | 재단법인대구경북과학기술원 | 모바일 기반 분광 이미징 검이경 장치, 제어 장치, 중이염 진단 시스템 및 모바일 기반 분광 이미징을 이용한 중이염 진단 방법 |
| KR101799184B1 (ko) * | 2016-03-07 | 2017-11-20 | 재단법인대구경북과학기술원 | 피부 다중 분광 이미징을 위한 모바일 기기 부착형 조명 장치 |
| US11096627B2 (en) * | 2016-04-25 | 2021-08-24 | Welch Allyn, Inc. | Medical examination system enabling interchangeable instrument operating modes |
| CN206178826U (zh) * | 2016-09-08 | 2017-05-17 | 合肥诺曼信息技术有限公司 | 移动式诊疗系统 |
| KR101769268B1 (ko) * | 2017-05-18 | 2017-08-21 | 재단법인대구경북과학기술원 | 검이경 장치 및 그 동작 방법 |
| AU2020209518A1 (en) * | 2019-01-17 | 2021-08-26 | Sbi Alapharma Canada, Inc. | Modular endoscopic system for visualization of disease |
-
2021
- 2021-04-16 KR KR1020210049885A patent/KR102648059B1/ko active IP Right Grant
-
2022
- 2022-04-15 WO PCT/KR2022/005456 patent/WO2022220639A1/ko active Application Filing
- 2022-04-15 US US18/555,414 patent/US20240197152A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101450120B1 (ko) * | 2014-05-30 | 2014-10-13 | 리스광시스템(주) | 복수의 광원에 따른 이미지들을 동시에 획득하는 형광이미지 획득장치 |
| KR102036043B1 (ko) | 2018-11-15 | 2019-10-24 | 주식회사 에프앤디파트너스 | 스마트기기 기반의 피부질환 진단이 가능한 광학식 피부질환 진단장치 |
| KR102036048B1 (ko) * | 2018-11-19 | 2019-10-24 | 주식회사 에프앤디파트너스 | 스마트기기 기반의 가변파장의 피부 영상 정보를 이용한 휴대용 피부질환 진단장치 |
| KR102113203B1 (ko) | 2018-11-30 | 2020-05-21 | 재단법인대구경북과학기술원 | 광 멀티플렉서 및 이를 포함하는 분광 이미징 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022220639A1 (ko) | 2022-10-20 |
| US20240197152A1 (en) | 2024-06-20 |
| KR20220143409A (ko) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200336630A1 (en) | Cellscope apparatus and methods for imaging | |
| JP4608684B2 (ja) | 皮膚疾患の光学診断および治療のための装置および光源システム | |
| US10524647B2 (en) | Smartphone endoscope system | |
| JP2016522004A (ja) | パノラマ臓器イメージング | |
| WO2016011611A1 (zh) | 内窥式光学分子影像导航系统和多光谱成像方法 | |
| EP3435831A1 (en) | Imaging apparatus, imaging method, and medical observation equipment | |
| US11960072B2 (en) | Multi-modal microscopic imaging | |
| KR101769268B1 (ko) | 검이경 장치 및 그 동작 방법 | |
| KR102648059B1 (ko) | 모바일 오토스코프 시스템 | |
| JP2014228851A5 (ko) | ||
| CN107105991B (zh) | 摄像系统 | |
| KR20130049704A (ko) | 스마트폰을 이용한 검이경, 및 이에 사용되는 스페큘러 구조 | |
| WO2016061754A1 (zh) | 一种手持式分子影像导航系统 | |
| US20200060548A1 (en) | Diagnostic Device Using Near Infrared Light | |
| KR101751969B1 (ko) | 모바일 기반 분광 이미징 검이경 장치, 제어 장치, 중이염 진단 시스템 및 모바일 기반 분광 이미징을 이용한 중이염 진단 방법 | |
| JP6573965B2 (ja) | 眼底撮影システム | |
| US20200257185A1 (en) | Motion stabilized laser speckle imaging | |
| FI114198B (fi) | Menetelmä ja järjestelmä elimen kuvaamiseksi | |
| CN114081424A (zh) | 内窥镜成像系统及其控制方法 | |
| KR101798215B1 (ko) | 3d 형광 이미지 분석 시스템 및 방법 | |
| US20240115344A1 (en) | Multi-modal microscopic imaging | |
| US20240207011A1 (en) | Multi-modal microscopic imaging | |
| RU206470U1 (ru) | Устройство с возможностью видеофлуоресцентного и спектроскопического анализа для контроля и оценки распределения фотосенсибилизаторов в биотканях | |
| WO2022130667A1 (ja) | ダーモスコープ、ダーモアダプタ、およびプログラム | |
| Spigulis | In vivo skin imaging prototypes “made in Latvia” |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |