KR20230024234A - 증강 현실 및 가상 현실을 이용하여 원격으로 피부 질환을 진단하는 진단 방법 및 장치 - Google Patents
증강 현실 및 가상 현실을 이용하여 원격으로 피부 질환을 진단하는 진단 방법 및 장치 Download PDFInfo
- Publication number
- KR20230024234A KR20230024234A KR1020220100605A KR20220100605A KR20230024234A KR 20230024234 A KR20230024234 A KR 20230024234A KR 1020220100605 A KR1020220100605 A KR 1020220100605A KR 20220100605 A KR20220100605 A KR 20220100605A KR 20230024234 A KR20230024234 A KR 20230024234A
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- terminal
- data
- skin lesion
- server
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 31
- 208000017520 skin disease Diseases 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims description 22
- 206010040882 skin lesion Diseases 0.000 claims abstract description 185
- 231100000444 skin lesion Toxicity 0.000 claims abstract description 185
- 238000002405 diagnostic procedure Methods 0.000 claims abstract 6
- 238000003745 diagnosis Methods 0.000 claims description 56
- 230000003902 lesion Effects 0.000 claims description 16
- 201000010099 disease Diseases 0.000 claims description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 14
- 230000037311 normal skin Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000008961 swelling Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005713 exacerbation Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computer Graphics (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Geometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Dermatology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
증강 현실 및 가상 현실을 이용하여 원격으로 피부 질환을 진단하는 진단 방법 및 장치가 개시된다. 서버에서 수행되는 원격으로 피부 질환을 진단하는 진단 방법은 대상자의 단말로부터 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 수신하는 단계, 수신한 3차원 데이터 및 영상 데이터에 기초하여 피부 병변 부위에 대한 3D 콘텐츠를 생성하는 단계, 생성된 3D 콘텐츠를 진단자의 단말에 전송하는 단계, 진단자의 단말로부터 피부 병변 부위에 대한 진단 데이터를 수신하는 단계 및 진단 데이터를 대상자의 단말로 전송하는 단계를 포함할 수 있다.
Description
아래 실시예들은 증강 현실 및 가상 현실을 이용하여 원격으로 피부 질환을 진단하는 기술에 관한 것이다.
요즘과 같이 전염병이 유행하는 경우, 촉진이 중요시되는 피부과에서 대면 진료가 어렵다. 이에 따라 X-Ray 나 CT(computerized tomography) 같은 고가의 장비가 필요하지 않은 피부과 진료의 특성 때문에 비대면 진료의 수요가 증가하는 추세이다.
이미 원격진료가 허용된 국가에서 시행 중인 피부과 진료의 경우를 참조하면, 사용자(환자)가 카메라로 사진을 찍어 피부과 웹사이트나 휴대전화 어플리케이션을 통해 업로드 하면 의사가 사진을 분석하여 진단하는 방식으로 이루어지고 있다. 사진을 통한 병변의 분석은 촬영 환경이나 카메라의 기종에 따라서 편차가 심하기 때문에 정확한 진단을 내리기에 어려운 점들이 많다. 또한, 진단 결과를 글로 전달하기 때문에, 사용자가 실제로 진료를 받았다는 느낌을 얻기가 힘들다. 따라서, 원격진료임에도 불구하고 진단의 정확도를 향상시키고 제대로 된 진단이 이루어질 수 있도록 하는 연구가 필요한 실정이다.
일 실시예에 따른 서버에서 수행되는 원격으로 피부 질환을 진단하는 진단 방법은 대상자의 단말로부터 상기 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 수신하는 단계; 상기 수신한 3차원 데이터 및 영상 데이터에 기초하여 상기 피부 병변 부위에 대한 3D 콘텐츠(three dimensional contents)를 생성하는 단계; 상기 생성된 3D 콘텐츠를 진단자의 단말에 전송하는 단계; 상기 진단자의 단말로부터 상기 피부 병변 부위에 대한 진단 데이터를 수신하는 단계; 및 상기 진단 데이터를 상기 대상자의 단말로 전송하는 단계를 포함할 수 있다.
일 실시예에 따른 서버는 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 서버가, 대상자의 단말로부터 상기 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 수신하고, 상기 수신한 3차원 데이터 및 영상 데이터에 기초하여 상기 피부 병변 부위에 대한 3D 콘텐츠를 생성하고, 상기 생성된 3D 콘텐츠를 진단자의 단말에 전송하고, 상기 진단자의 단말로부터 상기 피부 병변 부위에 대한 진단 데이터를 수신하고, 상기 진단 데이터를 상기 대상자의 단말로 전송하도록 상기 서버를 제어할 수 있다.
일 실시예에 따른 대상자의 단말은 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 대상자의 단말이, 상기 대상자의 단말에 구비된 카메라를 이용하여, 상기 대상자의 피부 병변 부위를 촬영하고, 상기 대상자의 피부 병변 부위가 촬영된, 상기 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 서버에 전송하고, 상기 전송에 응답하여 상기 서버로부터 진단 데이터를 수신하고, 상기 진단 데이터를 출력하도록 상기 대상자의 단말을 제어할 수 있다.
도 1은 일 실시예에 따른 진단 시스템의 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 서버에서 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 대상자의 단말에서 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 각 개체들 간에 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 서버의 구성을 도시하는 도면이다.
도 6은 일 실시예에 따른 대상자의 단말의 구성을 도시하는 도면이다.
도 7은 일 실시예에 따른 피부 병변 부위에 대한 3차원 데이터를 획득하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 가상 현실에 기반하여 피부 병변에 대한 추적 결과 정보를 제공하는 것을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 서버에서 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 대상자의 단말에서 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 각 개체들 간에 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 서버의 구성을 도시하는 도면이다.
도 6은 일 실시예에 따른 대상자의 단말의 구성을 도시하는 도면이다.
도 7은 일 실시예에 따른 피부 병변 부위에 대한 3차원 데이터를 획득하는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 가상 현실에 기반하여 피부 병변에 대한 추적 결과 정보를 제공하는 것을 설명하기 위한 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 진단 시스템의 개요를 도시하는 도면이다.
본 명세서에서 설명하는 원격으로 피부 질환을 진단하는 진단 시스템은 피부 질환자를 위한 증강현실(augmented reality; AR) 및/또는 가상현실(virtual reality; VR)기반의 원격 진료 시스템을 제공할 수 있다. 일 실시예에서, 진단 시스템은 대상자의 단말에 의해 수집된 영상을 서버에서 3D 콘텐츠(three dimensional contents)로 변환하고 3D 콘텐츠를 진단자의 단말에 전송하며, 진단자의 단말에 입력된 진단 데이터에 기초하여 대상자의 피부 병변의 진단 결과와 경과를 제공할 수 있다. 진단 시스템은 대상자(또는 환자, 피진료자, 수진자 및 피진단자)의 단말을 통해 수집된, 대상자의 피부 병변 부위가 촬영된 영상 데이터 및 3차원 데이터에 기초하여 3D 콘텐츠를 생성하고, 3D 콘텐츠를 진단자(또는 의사, 진료자 및 의료진)의 단말에 전송할 수 있다. 여기서 대상자의 단말은 예를 들어 대상자가 소지하고 있는 모바일 단말(예: 스마트폰, 태블릿 PC, 노트북, PDA)일 수 있고, 진단자의 단말은 AR 글래스 또는 HMD(head mounted display)일 수 있다.
본 명세서에서 설명하는 진단 시스템은, 종래에 피부과 방문 시 이루어지는 진단 과정을 모바일 디바이스 애플리케이션 및 AR/VR 프로그램으로 대체함으로써 환자들은 장소 및 시간에 구애 받지 않고 진단을 받을 수 있고, 3차원으로 구현된 피부 병변을 포함하는 3D 콘텐츠에 기초하여 대상자에게 보다 정확한 진단 결과를 제공할 수 있다.
의사는 가상 현실 또는 증강 현실에 기반하여 피부 병변을 관찰함으로써, 실제와 가까운 원격 진료 환경을 구현할 수 있고, 진료의 정확성을 향상시킬 수 있으며, 환자의 만족도를 향상시킬 수 있다.
도 1을 참조하면, 대상자는 대상자의 단말(110)을 통해 대상자의 피부 병변 부위(115)를 촬영할 수 있다. 본 실시예에서는 피부 병변 부위(115)가 예를 들어 피부 병변이 발생한 팔이라고 가정하나, 실시예의 범위가 이에 제한되는 것은 아니다. 대상자의 단말(110)은 피부 병변 부위(115)를 촬영 및 스캔하고, 촬영 및 스캔한 결과의 피부 병변 데이터를 서버(120)에 전송할 수 있다. 대상자의 단말(110)은 피부 병변 부위(115)의 촬영 및 스캔을 통해 영상 데이터 및 3차원 데이터를 생성하고, 영상 데이터 및 3차원 데이터를 포함하는 피부 병변 데이터를 서버(120)에 전송할 수 있다. 영상 데이터는 피부 병변에 대한 텍스쳐(texture) 데이터를 포함하고, 3차원 데이터는 피부 병변을 포함한 피부 병변 부위(115)에 대한 기하학적 데이터를 포함할 수 있다. 일 실시예에서, 영상 데이터는 대상자의 단말(110)에 구비된 컬러 카메라에 의해 획득될 수 있고, 3차원 데이터는 대상자의 단말(110)에 구비된 라이다(Lidar) 센서 및/또는 깊이 센서(예: ToF 센서)에 의해 획득될 수 있다. 대상자의 단말(110)은 가상현실 기술을 기반으로 피부 병변 부위(115)의 3차원 데이터를 생성하여 서버(120)를 통해 진단자의 단말(130)에 제공할 수 있다.
도 7은 일 실시예에 따른 피부 병변 부위에 대한 3차원 데이터를 획득하는 과정을 설명하기 위한 도면으로서, 도 7을 참고하면 대상자의 단말(110)에 의해 획득된 피부 병변 부위(115)에 대한 텍스쳐 데이터를 포함하는 영상 데이터(710)와 피부 병변 부위(115)를 3D 메쉬(mesh) 및 텍스쳐로 재구성한 3차원 데이터(720)의 일례가 도시되어 있다. 대상자의 단말(110)은 3D 메쉬 데이터와 텍스쳐 데이터를 분리하여 저장하고, 서버(120)로 전송할 수 있다.
도 1로 돌아오면, 대상자의 단말(110)은 피부 병변 데이터를 획득할 때 신체 부위별로 3차원 데이터의 획득을 위한 촬영 가이드를 대상자에게 제공할 수도 있다. 일 실시예에서, 피부 질환의 진단 대상이 되는 신체 부위가 미리 설정된 개수(예: 35개)로 구분될 수 있고, 대상자는 피부 병변 진단을 위한 신체 부위를 선택할 수 있다. 각각의 신체 부위는 자신의 신체 부위에 대한 고유의 골격 구조 데이터와 메쉬 프리셋(mesh preset) 데이터를 가질 수 있다. 대상자의 단말(110)은 이러한 골격 구조 데이터와 메쉬 프리셋 데이터를 기반으로 피부 병변 부위(115)에 대한 촬영 가이드를 제공할 수 있다. 또한, 대상자의 단말(110)은 3차원 데이터의 획득과 관련하여 스캔 해상도를 위한 다양한 동작 모드(예: 근접 스캔 모드, 원거리 스캔 모드)를 제공할 수 있다. 대상자의 단말(110)은 획득한 피부 병변 데이터에서 피부 병변 부위(115)를 제외한 배경 영역의 제거, 명암/채도/컬러 중 적어도 하나의 조정 및 피부 병변 부위(115)에 대한 크롭핑(cropping) 또는 와핑(warping) 등의 영상 전처리를 수행할 수도 있다.
서버(120)는 영상 데이터 및 3차원 데이터에 기초하여 3D 콘텐츠를 생성하고, 생성한 3D 콘텐츠를 진단자가 착용한 진단자의 단말(130)에 전송할 수 있다. 서버(120)는 대상자의 단말(110)로부터 수신한 영상 데이터 및 3차원 데이터에 기반하여 대상자의 피부 병변을 3D콘텐츠로 재구성하고, 피부 병변을 분석할 수 있다. 서버(120)는 이미지 분석을 통해 대상자의 피부 병변 영역을 추출할 수 있다. 서버(120)는 영상 데이터에 나타난 피부 병변 부위(115)의 텍스쳐 및 3차원 데이터에 나타난 피부 병변 부위(115)의 3차원적 형상을 기초로 피부 표면의 붓기, 돌기 등의 3차원적 비정형성을 추출할 수 있다. 서버(120)는 피부 병변 영역과 주변의 정상 피부 영역 간의 색조 및 패턴 등에서의 차이점을 이용하여 피부 병변을 구별할 수 있다. 서버(120)는 뼈 중심에서 메쉬 포인트까지의 벡터 차이, 주변 메쉬들 간의 좌표 위치 격차 차이 등에 기초하여 피부 병변 영역을 구별할 수도 있다.
어떤 실시예에서는, 서버(120)를 거치는 것 없이 대상자의 단말(110)로부터 진단자의 단말(130)로 영상 데이터 및 3차원 데이터가 전달되고, 진단자의 단말(130)이 영상 데이터 및 3차원 데이터에 기초하여 3D 콘텐츠를 생성할 수도 있다.
진단자의 단말(130)은 수신한 3D 콘텐츠를 출력하고, 진단자의 입력을 입력받아 진단 데이터를 생성할 수 있다. 진단자의 단말(130)은 증강현실 콘텐츠 및/또는 가상현실 콘텐츠를 재생 및 제어할 수 있는 프로그램이나 애플리케이션을 통해 3D 콘텐츠를 진단자에게 제공할 수 있다. 진단자의 단말(130)은 VR 기기나 AR 기기를 통해 대상자의 피부 병변에 대한 3D 콘텐츠를 실감나게 진단자에게 제공할 수 있고, 3D 콘텐츠를 통해 증강된 3차원 형태의 피부 병변을 기초로 진단을 수행할 수 있다. 진단자의 단말(130)은 3차원 형태의 피부 병변을 진단자가 360도로 관찰 가능한 기능 및 피부 병변 영역에 대한 확대/회전/이동/추출 기능을 제공할 수 있다. 이러한 기능들을 통해 진단자는 대상자의 3차원 병변을 자세히 관찰할 수 있게 된다. 일 실시예에서, 진단자는 별도의 컨트롤러나 또는 제스쳐 인식을 통해 3차원 병변에 적용 가능한 기능을 선택 및 제어할 수 있다.
진단자는 진단 결과에 기초하여 진단 데이터를 입력할 수 있다. 진단 데이터는 대상자의 피부 병변에 대한 진단 내용을 포함할 수 있다. 진단자의 단말(130)은 서버(120)에 진단 데이터를 전송할 수 있다. 예를 들어, 진단자는 피부 병변을 진단하여 피부 병변에 대한 후보 질환 정보 및 피부 병변의 진행 과정에 대한 정보를 입력할 수 있고, 입력된 정보들은 진단 데이터로서 서버(120)에 전송될 수 있다. 진단 데이터는 예를 들어 피부 병변에 대한 병명, 중증도, 피부 병변의 진행 단계별(예: 완화, 진행, 악화, 완치)로 시뮬레이션될 수 있는 3차원 증강 데이터를 포함할 수 있다.
서버(120)는 진단 데이터를 대상자의 단말(110)에 전송할 수 있고, 대상자의 단말(110)은 수신한 진단 데이터를 출력할 수 있다. 어떤 실시예에서, 진단 데이터는 서버(120)를 거치는 것 없이 진단자의 단말(130)에서 대상자의 단말(110)로 전송될 수도 있다. 대상자의 단말(110)은 진단 데이터를 기초로, 증강현실 기술을 통해 대상자의 단말(110)에 피부 질환에 대한 자세한 정보를 제공할 수 있다. 예를 들어, 대상자의 단말(110)은 피부 병변에 대한 후보 질환 정보를 대상자에게 제공하거나 또는 피부 병변의 진행 과정에 대한 정보를 증강현실 기술을 통해 실감나게 대상자에게 제공할 수 있다.
도 8은 일 실시예에 따른 가상 현실에 기반하여 피부 병변에 대한 추적 결과 정보를 제공하는 것을 설명하기 위한 도면으로, 도 8을 참조하면 대상자의 단말(110)을 통해 대상자에게 제공되는 3차원 증강 병변 데이터의 일례가 도시되어 있다. 3차원 증강 병변 데이터(810)는 사용자의 실제 피부 병변 부위(115)에서 실제 피부 병변(812)을 구별하여 표시하고, 피부 병변(812)과 관련된 정보(예: 진단 날짜, 피부 질환 진단명, 피부 병변 크기(너비))(814)를 피부 병변(812)에 인접한 영역에 표시할 수 있다. 또한, 대상자의 단말(110)은 시간이 흐른 뒤에, 피부 병변(822)의 진행 과정에 대한 정보(824)를 포함하는 3차원 증강 병변 데이터(820)를 대상자에게 증강현실 기술에 기반하여 제공할 수도 있다. 이와 같이, 진단 시스템은 3차원 증강 병변 데이터를 대상자에게 제공할 수 있고, 대상자는 3차원 증강 병변 데이터를 기초로 향후 병변의 진행 단계를 예측하고 자가 모니터링을 수행할 수 있다. 대상자의 단말(110)은 정상 피부 상태와 피부 질환에 의한 3차원적인 변화를 분석하여 분석 결과를 대상자에게 제공할 수 있다. 실시예에 따라, 대상자의 단말(110)이 3차원 증강 병변 데이터를 제공할 때, 대상자의 단말(110)과 대상자의 병변 신체 부위 간의 거리, 위치 관계에 따른 증강 컨텐츠의 크기 및 형태 변경을 위해 대상자는 기준 물체(예: 동전)나 식별 마크(예: 미리 정의된 QR 코드)를 피부 병변 부위(115)와 함께 촬영할 수 있다. 대상자의 단말(110)은 식별된 기준 물체/식별 마크의 크기나 형태를 기초로 피부 병변의 크기 및 위치를 추정할 수 있다.
다시 도 1로 돌아오면, 대상자의 단말(110)은 수신한 진단 데이터에 기초하여 피부 병변에 대한 잠정적인 진단 결과와 이전 진단 데이터와의 비교 분석 결과를 대상자에게 제공할 수 있다. 어떤 실시예에서 피부 병변에 대한 잠정적인 진단 결과는 진단자에 의해 진단되거나 또는 별도의 피부 질환 진단 서버에서 동작하는 피부 질환 진단 알고리즘에 의해 결정될 수 있다. 피부 질환 진단 서버는 실시예에 따라 서버(120)에 포함되어 동작할 수 있다. 일 실시예에서, 대상자의 단말(110)은 피부 병변의 증상이 심해지고 있는 것으로 결정된 경우에는 대상자에게 병원에 대한 방문을 추천하거나 적절한 치료를 받는 것을 유도하기 위한 가이드를 제공할 수 있다. 대상자의 단말(110)은 또한 피부 병변의 증상이 점차 완화되고 있는 것으로 결정된 경우에는 대상자에게 완치되었을 때의 모습에 대한 예상 이미지나 3차원 증강 데이터를 제공할 수 있다.
위와 같이, 진단 시스템은 대상자의 단말(110), 서버(120) 및 진단자의 단말(130)은 대면 진단 및 대면 진료와 근접한 양질의 원격 진료 환경을 제공할 수 있다. 대상자의 단말(110)은 피부 병변에 대한 증강 데이터를 대상자에게 제공하고, 수신한 증강 데이터와 대상자의 피부를 합성하여 향후 피부 병변의 변화 양상에 대한 예측 결과를 대상자에게 제공할 수 있다. 또한, 진단자의 단말(130)은 대상자의 피부 병변에 대한 현실감 있는 3차원 데이터를 진단자에게 제공함으로써 원격 진료 시 피부 병변에 대한 보다 정확한 진단을 가능하게 한다.
도 2는 일 실시예에 따른 서버에서 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계(210)에서 서버(예: 도 1의 서버(120))는 대상자의 단말(예: 도 1의 대상자의 단말(110))로부터 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 수신할 수 있다. 대상자의 단말은 대상자의 단말에 구비된 라이다(Lidar), 컬러 센서(color sensor) 및 깊이 카메라(Depth Camera) 중 적어도 하나를 이용하여 환부 및 피부 병변 부위를 3차원 스캔하여 3차원 데이터를 생성할 수 있다. 여기서 피부 병변 부위는 피부 병변을 포함하는 부위일 수 있고, 3차원 데이터는 피부 병변 부위를 포함하는 3차원의 영상 또는 이미지일 수 있다. 영상 데이터는 피부 병변 부위를 포함하는 2차원의 영상 또는 이미지일 수 있다.
서버는 단계(220)에서 수신한 3차원 데이터 및 영상 데이터에 기초하여 피부 병변 부위에 대한 3D 콘텐츠를 생성할 수 있다. 서버는 3차원의 메쉬(mesh) 및 텍스처를 구성하여 피부 병변 부위에 대한 3D 콘텐츠를 생성할 수 있다. 3D 콘텐츠는 영상 데이터 및 3차원 데이터에 포함된 대상자의 피부 병변을 분석하고 재구성하여 생성된 콘텐츠로, 가상 현실 콘텐츠 및 증강 현실 콘텐츠 중 적어도 하나일 수 있다. 서버는, 3차원 데이터 및 영상 데이터에 기초하여, 3차원 데이터 및 영상 데이터에 포함된 피부 병변 부위로부터, 정상 피부 영역과 병변 피부 영역을 구분할 수 있다. 예를 들어, 서버는 피부 병변 부위에 포함된 붓기, 돌기 등의 3차원적 비정형성이 나타난 부분을 추출하고, 3차원적 비정형성이 나타난 부분과, 정상 피부 영역 간의 색조 및 패턴의 차이에 기초하여, 3차원 데이터 및 영상 데이터에 포함된 피부 병변 부위로부터, 정상 피부 영역과 병변 피부 영역을 구분할 수 있다.
서버는 또한, 구분된 정상 피부 영역과 병변 피부 영역의 데이터 상에서 피부 표면의 3차원적 비정형성, 색조의 차이 및 3차원의 메쉬를 증폭시킬 수 있다. 예를 들어 서버는 정상 피부 영역과 병변 피부 영역의 밝기 차이를 증폭시켜 정상 피부 영역과 병변 피부 영역이 명확하게 구분된 3D 콘텐츠를 생성할 수 있다.
서버는 단계(230)에서 생성된 3D 콘텐츠를 진단자의 단말(예: 도 1의 진단자의 단말(130))에 전송할 수 있다. 진단자의 단말은 서버로부터 3D 콘텐츠를 수신한 후에, 3D 콘텐츠를 출력하고, 3D 콘텐츠에 기초하는 진단자의 입력을 입력받고, 진단자의 입력에 기초하여 진단 데이터를 생성하고, 진단 데이터를 서버에 전송할 수 있다. 예를 들어, 진단자의 단말은 증강 현실에 기반한 디스플레이 및 가상 현실에 기반한 디스플레이 중 적어도 하나를 통해 3D 콘텐츠를 출력할 수 있다. 진단자는 증강 현실 환경 또는 가상 현실 환경에 기초하여 출력된 3D 콘텐츠에 기초하여 대상자의 피부 질환을 진단하고 진단한 내용에 기초하여 진단자의 단말에 진단자의 입력을 입력할 수 있다.
단계(240)에서 서버는 진단자의 단말로부터 피부 병변 부위에 대한 진단 데이터를 수신할 수 있다. 단계(250)에서 서버는 진단 데이터를 대상자의 단말로 전송할 수 있다. 대상자의 단말은 서버로부터 수신한 진단 데이터에 포함된 피부 병변의 후보 질환명, 피부 병변의 후보 원인, 피부 병변의 중증도 및 피부 병변의 후보 질환에 대한 정보 중 적어도 하나를 출력할 수 있다. 여기서 후보 질환명은 대상자의 피부 병변에 대응할 수 있는 질환명의 후보들을 포함할 수 있고, 피부 병변의 후보 원인은 피부 병변을 유발시킨 원인이 될 수 있는 후보들을 포함할 수 있다. 피부 병변의 후보 질환에 대한 정보는 후보 질환의 증상 및 치료 방법 중 적어도 하나를 포함할 수 있다.
서버는 3D 콘텐츠에 기초하여 피부 병변의 경과 데이터를 생성할 수도 있다. 서버는 피부 병변의 경과 데이터를 대상자의 단말에 전송할 수 있다. 대상자의 단말은 피부 병변의 경과 데이터를 수신하고, 수신한 피부 병변의 경과 데이터를 출력할 수 있다. 피부 병변의 경과 데이터는 서버에 누적된, 즉 그동안 서버가 대상자의 단말로부터 수신한 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터에 기초하여 생성될 수 있다. 피부 병변의 경과 데이터는 대상자의 피부 병변이 그동안 변화해온 상태를 나타낼 수 있다. 경과 데이터는 피부 병변에 대해 완치, 완화, 진행 및 악화의 단계로 구분하여 현재 대상자의 피부 병변에 대해 각 단계 별로 시뮬레이션한 3차원 데이터를 포함할 수도 있다. 대상자의 단말은 피부 병변 부위를 촬영하고 있는 화면에서, 피부 병변 부위 상에 경과 데이터를 증강 현실로 각 영상 데이터를 중첩시켜 출력함으로써, 피부 병변의 각 단계의 진행 상황을 제공할 수도 있다.
도 3은 일 실시예에 따른 대상자의 단말에서 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 대상자의 단말(예: 도 1의 대상자의 단말(110))은 단계(310)에서 대상자의 단말에 구비된 카메라를 이용하여, 대상자의 피부 병변 부위를 촬영할 수 있다. 대상자의 단말은 대상자의 피부 병변 부위에 대한 선택을 입력 받기 위한 화면을 출력하고, 대상자의 피부 병변 부위에 대한 선택을 입력 받을 수 있다. 대상자의 피부 병변 부위에 대한 선택을 입력 받기 위한 화면은 예를 들어, 신체 부위가 미리 정해진 기준에 기초하여 분할된 이미지를 포함할 수 있다. 대상자는 미리 정해진 기준에 기초하여 분할된 신체 부위에 대한 이미지 중에서 대상자의 피부 병변 부위에 대응하는 신체 부위를 터치 또는 클릭 중 적어도 하나의 방법으로 선택을 입력할 수 있다. 대상자의 단말은 대상자의 피부 병변 부위에 대한 선택에 대응하는 대상자의 피부 병변 부위를 촬영할 수 있다. 또한, 대상자의 단말은 대상자의 피부 병변 부위에 선택을 입력 받은 후에 대상자의 피부 병변 부위를 촬영하는 것에 대한 가이드라인을 출력할 수 있다. 예를 들어, 대상자의 단말은 3D 콘텐츠 생성에 적절한 영상 데이터 및 3차원 데이터를 수집하기 위하여, 대상자가 피부 병변 부위를 촬영하는 것에 대한 가이드를 제공하는 가이드라인을 출력할 수 있다. 대상자의 단말은 근접 모드 및 원근 모드로 대상자의 피부 병변 부위를 촬영할 수 있다. 근접 모드는 피부 병변을 10센치미터(cm) 이내에서 촬영하는 것이고, 원근 모드는 신체의 전반적인 형태를 촬영하는 것이다. 근접 모드는 피부 표면의 형태적 변화를 좀 더 면밀하게 촬영할 수 있다. 근접 모드에서 촬영된 영상 데이터 및 3차원 데이터는 메쉬 포인트를 기준으로 원근 모드에서 촬영된 영상 데이터 및 3차원 데이터보다 더 많은 양의 데이터를 포함하고 있을 수 있다. 근접 모드를 통해 영상 데이터 및 3차원 데이터에 피부 병변 부위를 제외한 배경과 같은 불필요한 부분이 포함되는 것을 방지할 수 있고, 텍스처 구성을 위한 프리셋(preset)을 설정하여 3D 콘텐츠의 크기가 과도하게 커지는 것을 방지할 수 있다. 대상자의 단말은 촬영의 진행 상황을 대상자에게 직관적으로 제공하기 위하여 증강 현실에 기반하여 촬영이 완료된 부분과 완료되지 않은 부분을 구분하여 출력할 수 있다.
실시예에 따라 대상자의 단말은 피부 병변에 대한 기본적인 문진 데이터를 생성할 수도 있다. 대상자의 단말은 문진을 위한 대상자의 입력을 입력 받을 수 있고, 대상자의 입력에 기초하여 문진 데이터를 생성할 수 있다. 이 경우, 대상자의 단말은 서버에 문진 데이터도 전송할 수 있고, 서버도 진단자의 단말에 문진 데이터를 전송할 수 있다. 진단자의 단말은 3D 콘텐츠와 함께 문진 데이터도 출력할 수 있다.
단계(320)에서 대상자의 단말은 대상자의 피부 병변 부위가 촬영된, 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 서버(예: 도 1의 서버(120))에 전송할 수 있다. 서버는 3차원 데이터 및 영상 데이터에 기초하여 3차원 콘텐츠를 생성하고 진단자의 단말(예: 도 1의 진단자의 단말(130))에 전송할 수 있다. 진단자의 단말은 3차원 콘텐츠에 기초하는 진단 데이터를 생성하고 서버에 전송할 수 있다. 서버는 진단 데이터를 대상자의 단말에 전송할 수 있고, 대상자의 단말은, 3차원 데이터 및 영상 데이터의 전송에 응답하여, 단계(330)에서 서버로부터 진단 데이터를 수신할 수 있다. 여기서 진단 데이터는 피부 병변의 후보 질환명, 피부 병변의 후보 원인, 피부 병변의 중증도 피부 병변의 후보 질환에 대한 정보, 피부 병변의 진행 경과 및 피부 병변의 예상 경과 중 적어도 하나를 포함할 수 있다. 또한 진단 데이터는 피부 표면의 돌기, 붓기 중 적어도 하나의 증상이 나타난 부위를 확대하여, 정상 피부 상태와 대상자의 피부 병변과의 차이점을 포함할 수 있다.
단계(340)에서 대상자의 단말은 진단 데이터를 출력할 수 있다. 대상자의 단말은 또한 서버로부터 피부 병변의 경과 데이터를 수신하고, 피부 병변의 경과 데이터를 출력할 수도 있다. 피부 병변의 경과 데이터는 대상자의 피부 병변 부위에 대한 누적된 3D 콘텐츠가 중첩되거나 나열되어 출력될 수 있다. 또한, 대상자의 단말은 경과 데이터를 대상자의 피부 병변 부위에 합성하여 출력할 수도 있다. 대상자는 출력된 피부 병변의 경과 데이터에 기초하여 대상자의 피부 병변의 변화 및 경과를 2D 및 3D 중 적어도 하나로 확인할 수 있다. 피부 병변의 경과 데이터는 증강 현실 콘텐츠 및 가상 현실 콘텐츠 중 적어도 하나일 수 있다.
도 4는 일 실시예에 따른 각 개체들 간에 수행되는 진단 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 대상자의 단말(405)(예: 도 1의 대상자의 단말(110))은 단계(420)에서 대상자의 피부 병변 부위를 촬영할 수 있다. 대상자의 단말(405)은 환부가 포함된 부위를 촬영하여 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 생성할 수 있다. 단계(425)에서 대상자의 단말(405)은 서버(410)(예: 도 1의 서버(120))에 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 전송할 수 있다. 서버(410)는 단계(430)에서, 3차원 데이터 및 영상 데이터에 기초하여 3D 콘텐츠를 생성할 수 있다. 단계(435)에서 서버(410)는 진단자의 단말(415)(예: 도 1의 진단자의 단말(130))에 3D 콘텐츠를 전송할 수 있다. 진단자의 단말(415)은 단계(440)에서 3D 콘텐츠를 출력할 수 있다. 진단자의 단말(415)은 HMD로 스마트 글래스(예: AR 글래스) 또는 VR(virtual reality) 기기일 수 있다. 진단자의 단말(415)은 증강 현실 디스플레이 또는 가상 현실 디스플레이를 통해 증강 현실로 또는 가상 현실로 3D 콘텐츠를 출력할 수 있다. 출력된 3D 콘텐츠는 진단자의 조작에 의해 3D 콘텐츠 상에서의 대상자의 피부 병변 부위가 회전, 이동 및 확대가 되거나 피부 병변을 강조하기 위한 필터가 적용될 수 있다.
단계(445)에서 진단자의 단말(415)은 진단 데이터를 생성할 수 있다. 진단자의 단말(415)은 진단자의 단말(415)의 내장된 또는 외장의 입력 인터페이스를 통해 진단 데이터에 대한 진단자의 입력을 입력받고, 진단자의 입력에 기초하여 진단 데이터를 생성할 수 있다. 예를 들어, 진단자의 단말(415)은 콘트롤러 또는 카메라를 통해 진단자의 제스처, 움직임 및 모션 중 적어도 하나를 인식하여 진단자의 입력을 입력 받을 수 있고, 진단자의 단말(415)에 연결된 컴퓨팅 장치, 스마트 기기, 마이크 및 물리적 입력 장치 중 적어도 하나를 통해 진단자의 입력을 입력 받을 수도 있다.
단계(450)에서 진단자의 단말(415)은 서버(410)에 진단 데이터를 전송할 수 있다. 서버(410)는 단계(455)에서 경과 데이터를 생성할 수 있다. 경과 데이터는 대상자가 진단을 받는 기간에 생성된 3D 콘텐츠가 누적된 데이터와 미래의 피부 병변의 변화를 예측하는 데이터를 포함할 수 있다. 단계(460)에서 서버(410)는 대상자의 단말(405)에 경과 데이터 및 진단 데이터를 전송할 수 있다. 대상자의 단말(405)은 단계(465)에서 진단 데이터 및 경과 데이터를 출력할 수 있다. 대상자의 단말(405)은 진단 데이터 및 경과 데이터를 2D 기반의 디스플레이 및 3D 기반의 디스플레이 중 적어도 하나에 출력할 수도 있다. 대상자의 단말(405)은 진단 데이터 및 경과 데이터를 증강 현실 또는 가상 현실 기반의 디스플레이를 통해 출력할 수도 있다. 대상자의 단말(405)은 경과 데이터를 대상자의 실제 피부 병변 부위에 증강하여 대상자가 피부 병변 부위의 경과 및 진행 과정을 보다 확실하게 관찰할 수 있도록 할 수 있다.
도 4에 도시된 순서는 도시된 순서에 한정되지 않고 다른 순서로 수행되거나 병렬적으로도 수행될 수 있다. 실시예에 따라 대상자의 단말(405)과 진단자의 단말(415)은 서로 간에 화상 진료 기능을 제공할 수도 있다.
도 5는 일 실시예에 따른 서버의 구성을 도시하는 도면이다.
도 5를 참조하면, 서버(500) (예: 도 1의 서버(120))는 본 명세서에서 설명된 서버에 대응할 수 있다. 서버(500)는 통신기(510), 프로세서(520) 및 메모리(530)를 포함할 수 있다. 또한, 실시예에 따라 서버(500)는 데이터베이스(540)를 포함할 수도 있다.
메모리(530)는 프로세서(520)에 연결되고, 프로세서(520)에 의해 실행가능한 인스트럭션들, 프로세서(520)가 연산할 데이터 또는 프로세서(520)에 의해 처리된 데이터를 저장할 수 있다. 메모리(530)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
통신기(510)는 외부 장치(예를 들어, 진단자의 단말 및 대상자의 단말)와 통신하기 위한 인터페이스를 제공한다. 데이터베이스(540)는 서버(500)가 진단 방법을 수행하는 데 있어서 필요한 데이터를 저장할 수 있다. 예를 들어 데이터베이스(540)는 대상자의 단말로부터 수신한 영상 데이터 및 3차원 데이터를 저장할 수 있다. 또한, 데이터베이스(540)는 영상 데이터 및 3차원 데이터에 기초하여 생성된 3D 콘텐츠를 저장할 수 있고, 3D 콘텐츠가 누적되고, 미래의 피부 병변을 예상하는 경과 데이터를 저장할 수 있다.
프로세서(520)는 본 명세서에서 설명된 서버의 동작과 관련된 하나 이상의 동작을 서버(500)가 수행할 수 있도록 서버(500)를 제어할 수 있다. 예를 들어, 프로세서(520)는 서버(500)가 대상자의 단말로부터 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 수신하고, 수신한 3차원 데이터 및 영상 데이터에 기초하여 피부 병변 부위에 대한 3D 콘텐츠를 생성하도록 서버(500)를 제어할 수 있다. 프로세서(520)는 서버(500)가, 3차원 데이터 및 영상 데이터에 기초하여, 3차원 데이터 및 영상 데이터에 포함된 피부 병변 부위로부터, 정상 피부 영역과 병변 피부 영역을 구분하도록 서버(500)를 제어할 수 있다. 또한, 프로세서(520)는 서버(500)가 생성된 3D 콘텐츠를 진단자의 단말에 전송하고, 진단자의 단말로부터 피부 병변 부위에 대한 진단 데이터를 수신하며, 진단 데이터를 대상자의 단말로 전송하도록 서버(500)를 제어할 수 있다.
도 6은 일 실시예에 따른 대상자의 단말의 구성을 도시하는 도면이다.
도 6를 참조하면, 대상자의 단말(600)(예: 도 1의 대상자의 단말(110))은 본 명세서에서 설명된 대상자의 단말에 대응할 수 있다. 대상자의 단말(600)은 프로세서(610), 메모리(620) 및 통신기(630)를 포함할 수 있다. 또한 실시예에 따라, 대상자의 단말(600)은 센서(640) 및 디스플레이(650)를 더 포함할 수 있다.
메모리(620)는 프로세서(610)에 연결되고, 프로세서(610)에 의해 실행가능한 인스트럭션들, 프로세서(610)가 연산할 데이터 또는 프로세서(610)에 의해 처리된 데이터를 저장할 수 있다. 메모리(620)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
통신기(630)는 외부 장치(예를 들어, 서버)와 통신하기 위한 인터페이스를 제공한다. 디스플레이(650)는 진단 데이터 및 경과 데이터를 출력할 수 있다. 디스플레이(650)은 2차원 기반의 영상 또는 이미지를 출력하기 위한 디스플레이와, 증강 현실, 가상 현실 및 3차원 기반의 영상 또는 이미지를 출력하기 위한 디스플레이를 포함할 수 있다.
센서(640)는 대상자의 피부 병변 부위를 촬영할 수 있다. 센서(640)는 예를 들어, 라이다(Lidar), 컬러 센서(color sensor) 및 깊이 카메라(Depth Camera) 중 적어도 하나를 포함할 수 있다.
프로세서(610)는 본 명세서에서 설명된 대상자의 단말의 동작과 관련된 하나 이상의 동작을 대상자의 단말(600)이 수행할 수 있도록 대상자의 단말(600)을 제어할 수 있다. 예를 들어, 프로세서(610)는 대상자의 단말(600)이 대상자의 단말에 구비된 카메라를 이용하여, 대상자의 피부 병변 부위를 촬영하도록 대상자의 단말(600)을 제어할 수 있다. 프로세서(610)는 대상자의 단말(600)이 대상자의 피부 병변 부위에 대한 선택을 입력받고, 대상자의 피부 병변 부위에 대한 선택에 대응하는 대상자의 피부 병변 부위를 촬영하도록 대상자의 단말(600)을 제어할 수 있다.
프로세서(610)는 대상자의 단말(600)이 대상자의 피부 병변 부위가 촬영된, 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 서버에 전송하고, 전송에 응답하여 서버로부터 진단 데이터를 수신하고, 진단 데이터를 출력하도록 대상자의 단말(600)을 제어할 수 있다. 프로세서(610)는 대상자의 단말(600)이 서버로부터 피부 병변의 경과 데이터를 수신하고, 피부 병변의 경과 데이터를 출력하도록 대상자의 단말(600)을 제어할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (13)
- 서버에서 수행되는 원격으로 피부 질환을 진단하는 진단 방법에 있어서,
대상자의 단말로부터 상기 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 수신하는 단계;
상기 수신한 3차원 데이터 및 영상 데이터에 기초하여 상기 피부 병변 부위에 대한 3D 콘텐츠(3 dimensional contents)를 생성하는 단계;
상기 생성된 3D 콘텐츠를 진단자의 단말에 전송하는 단계;
상기 진단자의 단말로부터 상기 피부 병변 부위에 대한 진단 데이터를 수신하는 단계; 및
상기 진단 데이터를 상기 대상자의 단말로 전송하는 단계
를 포함하는 진단 방법. - 제1항에 있어서,
상기 생성하는 단계는,
상기 3차원 데이터 및 영상 데이터에 기초하여, 상기 3차원 데이터 및 영상 데이터에 포함된 상기 피부 병변 부위로부터, 정상 피부 영역과 병변 피부 영역을 구분하는 단계
를 포함하는 진단 방법. - 제1항에 있어서,
상기 대상자의 단말은,
상기 대상자의 단말에 구비된 라이다(Lidar), 컬러 센서(color sensor) 및 깊이 카메라(Depth Camera) 중 적어도 하나를 이용하여 상기 피부 병변 부위를 3차원 스캔하여 상기 3차원 데이터를 생성하는, 진단 방법. - 제1항에 있어서,
상기 3D 콘텐츠는,
가상 현실 콘텐츠 및 증강 현실 콘텐츠 중 적어도 하나이고,
상기 진단자의 단말은,
상기 서버로부터 상기 3D 콘텐츠를 수신한 후에, 상기 3D 콘텐츠를 출력하고, 상기 3D 콘텐츠에 기초하는 진단자의 입력을 입력받고, 상기 진단자의 입력에 기초하여 진단 데이터를 생성하고, 상기 진단 데이터를 상기 서버에 전송하는, 진단 방법. - 제1항에 있어서,
상기 대상자의 단말은,
상기 서버로부터 수신한 진단 데이터에 포함된 피부 병변의 후보 질환명, 상기 피부 병변의 후보 원인, 상기 피부 병변의 중증도 및 상기 피부 병변의 후보 질환에 대한 정보 중 적어도 하나를 출력하는, 진단 방법. - 제1항에 있어서,
상기 3D 콘텐츠에 기초하여 피부 병변의 경과 데이터를 생성하는 단계; 및
상기 피부 병변의 경과 데이터를 상기 대상자의 단말에 전송하는 단계
를 더 포함하는 진단 방법. - 서버에 있어서,
메모리 및 프로세서를 포함하고,
상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고,
상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 서버가,
대상자의 단말로부터 상기 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 수신하고,
상기 수신한 3차원 데이터 및 영상 데이터에 기초하여 상기 피부 병변 부위에 대한 3D 콘텐츠를 생성하고,
상기 생성된 3D 콘텐츠를 진단자의 단말에 전송하고,
상기 진단자의 단말로부터 상기 피부 병변 부위에 대한 진단 데이터를 수신하고,
상기 진단 데이터를 상기 대상자의 단말로 전송하도록 상기 서버를 제어하는, 서버. - 제7항에 있어서,
상기 프로세서는 상기 서버가,
상기 3차원 데이터 및 영상 데이터에 기초하여, 상기 3차원 데이터 및 영상 데이터에 포함된 상기 피부 병변 부위로부터, 정상 피부 영역과 병변 피부 영역을 구분하도록 상기 서버를 제어하는, 서버. - 제7항에 있어서,
상기 진단자의 단말은,
상기 서버로부터 상기 3D 콘텐츠를 수신한 후에, 상기 3D 콘텐츠를 출력하고, 상기 3D 콘텐츠에 기초하는 진단자의 입력을 입력받고, 상기 진단자의 입력에 기초하여 진단 데이터를 생성하고, 상기 진단 데이터를 상기 서버에 전송하는, 서버. - 대상자의 단말에 있어서,
메모리 및 프로세서를 포함하고,
상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고,
상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 대상자의 단말이,
상기 대상자의 단말에 구비된 카메라를 이용하여, 상기 대상자의 피부 병변 부위를 촬영하고,
상기 대상자의 피부 병변 부위가 촬영된, 상기 대상자의 피부 병변 부위에 대한 3차원 데이터 및 영상 데이터를 서버에 전송하고,
상기 전송에 응답하여 상기 서버로부터 진단 데이터를 수신하고,
상기 진단 데이터를 출력하도록 상기 대상자의 단말을 제어하는, 대상자의 단말. - 제10항에 있어서,
상기 프로세서는 상기 대상자의 단말이,
상기 대상자의 피부 병변 부위에 대한 선택을 입력받고,
상기 대상자의 피부 병변 부위에 대한 선택에 대응하는 상기 대상자의 피부 병변 부위를 촬영하도록 상기 대상자의 단말을 제어하는, 대상자의 단말. - 제10항에 있어서,
상기 진단 데이터는,
피부 병변의 후보 질환명, 상기 피부 병변의 후보 원인, 상기 피부 병변의 중증도, 상기 피부 병변의 후보 질환에 대한 정보, 상기 피부 병변의 진행 경과 및 상기 피부 병변의 예상 경과 중 적어도 하나를 포함하는, 대상자의 단말. - 제10항에 있어서,
상기 프로세서는 상기 대상자의 단말이,
상기 서버로부터 피부 병변의 경과 데이터를 수신하고,
상기 피부 병변의 경과 데이터를 출력하도록 상기 대상자의 단말을 제어하는, 대상자의 단말.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210106137 | 2021-08-11 | ||
| KR1020210106137 | 2021-08-11 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230024234A true KR20230024234A (ko) | 2023-02-20 |
Family
ID=85200142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220100605A KR20230024234A (ko) | 2021-08-11 | 2022-08-11 | 증강 현실 및 가상 현실을 이용하여 원격으로 피부 질환을 진단하는 진단 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230024234A (ko) |
| WO (1) | WO2023018259A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101812406B1 (ko) * | 2016-03-16 | 2017-12-27 | 동국대학교 산학협력단 | 피부질환 진단 방법 및 피부질환 진단 시스템 |
| KR101846230B1 (ko) * | 2016-12-01 | 2018-04-06 | 주식회사 에프앤디파트너스 | 피부의 3차원 영상을 이용한 진료와 증강현실기반의 복약 지도를 활용한 원격진료시스템 |
| KR101864614B1 (ko) * | 2017-03-29 | 2018-06-05 | 안동과학대학교 산학협력단 | 아토피 오토케어 장치 및 그 방법 |
| JP6966953B2 (ja) * | 2018-02-21 | 2021-11-17 | ヤーマン株式会社 | 撮像システム、撮像方法及びプログラム |
| KR102516563B1 (ko) * | 2019-08-26 | 2023-03-31 | 주식회사 글로브포인트 | 환자 치료를 위한 vr콘텐츠 제공 시스템과 서버 그리고 그 서버의 동작방법 |
-
2022
- 2022-08-11 KR KR1020220100605A patent/KR20230024234A/ko unknown
- 2022-08-11 WO PCT/KR2022/012039 patent/WO2023018259A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023018259A1 (ko) | 2023-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102013866B1 (ko) | 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치 | |
| JP6595474B2 (ja) | 創傷アセスメントおよびマネジメントのための方法およびシステム | |
| JP2021106887A (ja) | 医用画像表示装置、方法およびプログラム | |
| US20200058098A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2019519257A (ja) | 画像処理して解剖学的部分の三次元（３ｄ）ビューを生成するシステム及び方法 | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| CN111080583A (zh) | 医学图像检测方法、计算机设备和可读存储介质 | |
| JPWO2020085336A1 (ja) | 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 | |
| KR102476957B1 (ko) | 의료 영상 기반 홀로그램 제공 장치 및 방법 | |
| KR20200116278A (ko) | 치과 영상으로부터 피검체의 성별 및 연령을 판정하는 방법 및 이를 이용한 장치 | |
| US10102638B2 (en) | Device and method for image registration, and a nontransitory recording medium | |
| JP6967983B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR20230024234A (ko) | 증강 현실 및 가상 현실을 이용하여 원격으로 피부 질환을 진단하는 진단 방법 및 장치 | |
| Karner et al. | Single-shot deep volumetric regression for mobile medical augmented reality | |
| JP2020174861A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN115311191A (zh) | 使用深度学习估计的扫描方案遮罩来生成三维解剖结构扫描的重新格式化视图 | |
| JP7048760B2 (ja) | 領域修正装置、方法およびプログラム | |
| KR102394757B1 (ko) | 복수의 축 상에서 오브젝트를 탐색하여 결합하는 결합 인공지능 세그먼테이션 방법 및 그 장치 | |
| JP2007090072A (ja) | 放射線画像データを神経解剖学座標系内に描出する方法 | |
| JP7376715B2 (ja) | 経過予測装置、経過予測装置の作動方法および経過予測プログラム | |
| US11369440B2 (en) | Tactile augmented reality for medical interventions | |
| US20230145531A1 (en) | Systems and methods for registering visual representations of a surgical space | |
| EP4300414A1 (en) | Transferring marker locations from a reference image to a follow-up medical image | |
| EP4128145B1 (en) | Combining angiographic information with fluoroscopic images | |
| JP7098835B2 (ja) | マッチング装置、方法およびプログラム |