KR102492692B1 - 머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램 - Google Patents

머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102492692B1
KR102492692B1 KR1020200165518A KR20200165518A KR102492692B1 KR 102492692 B1 KR102492692 B1 KR 102492692B1 KR 1020200165518 A KR1020200165518 A KR 1020200165518A KR 20200165518 A KR20200165518 A KR 20200165518A KR 102492692 B1 KR102492692 B1 KR 102492692B1
Authority
KR
South Korea
Prior art keywords
information
skin
image
analysis
skin image
Prior art date
Application number
KR1020200165518A
Other languages
English (en)
Other versions
KR20220076730A (ko
Inventor
홍두영
함익기
조은규
Original Assignee
(주)와이즈콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)와이즈콘 filed Critical (주)와이즈콘
Priority to KR1020200165518A priority Critical patent/KR102492692B1/ko
Publication of KR20220076730A publication Critical patent/KR20220076730A/ko
Application granted granted Critical
Publication of KR102492692B1 publication Critical patent/KR102492692B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Nursing (AREA)
  • Dermatology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

피부 이미지 분석 시스템은, 사용자 장치로부터 하나 이상의 피부 이미지를 수신하도록 구성된 통신부; 피부 병변에 관련된 학습 이미지를 이용하여 생성된 머신러닝(machine learning) 분석 모델을 저장하며, 상기 머신러닝 분석 모델을 이용하여 상기 피부 이미지에 대한 분류 결과를 생성하도록 구성된 머신러닝부; 상기 분류 결과를 이용하여 상기 피부 이미지에 대한 분석정보를 생성하도록 구성된 분석정보 생성부; 및 상기 사용자 장치를 이용하는 사용자가 상기 피부 이미지 및 상기 분석정보를 열람할 수 있는 사용자 인터페이스를 제공하는 사용자 관리부를 포함할 수 있다. 상기 피부 이미지 분석 시스템을 이용하면, 피부과 병원 및 동물 병원 등에서 획득된 이미지를 데이터베이스화하고, 데이터베이스화된 이미지에 대해 딥러닝(deep learning) 등 머신러닝(machine learning)을 통한 학습을 수행할 수 있으며, 개별 병변 이미지 및/또는 이에 대한 학습 결과를 다수의 사용자 간에 서로 공유하면서 분석 결과를 누적함으로써 진단의 정확도를 향상시킬 수 있는 이점이 있다.

Description

머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램{SYSTEM AND METHOD FOR ANALYSIS OF SKIN IMAGE USING DEEP LEARNING AND COMPUTER PROGRAM FOR THE SAME}
실시예들은 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램에 관한 것이다. 보다 상세하게는, 실시예들은 피부 병원 및 동물 병원 등에서 획득된 이미지를 데이터베이스화하고 피부 이미지 및 이에 대한 머신러닝(machine learning) 기반의 학습 결과 등을 공유함으로써 진단의 정확도를 향상시킬 수 있는 플랫폼에 관련된 기술에 대한 것이다.
피부는 직접적 외부 요인으로부터 인체를 보호하는 중요한 기관 중 하나이며, 표피와 진피로 구성되어 있다. 표피는 신체를 감싸고 있는 가장 바깥층으로 물리적, 화학적 요인에 상시 노출되어 있다. 진피는 피부의 탄력에 영향을 미치며, 모세혈관, 림프관, 신경 등을 포함하고 있기에 인체의 보호막으로 매우 중요한 역할을 한다.
피부 질환은 세균, 진균, 바이러스 등에 의해 발생하며 대상포진, 수두, 종두증, 습진, 피부명, 흑색종 등 헤아릴 수 없이 다양한데, 표피층 뿐만 아니라 진피층에도 발생된다. 또한 사람의 경우는 피부암은 특히 백인종 서양 국가에서 빈번한 질병으로 관련 해외 의료 시장이 매우 크다. 피부암의 치료를 위해서는 조기 발견이 매우 중요한데, 특히 피부암 중에서 가장 악성이며 예후가 좋지 않은 흑색종(melanoma)의 경우 조기 발견이 매우 중요하다.
피부 질환의 조기 진단을 위해서는 진단시 조직을 떼어내지 않고 정밀 진단이 필요하다. 예를 들어, 암 조직의 경우 암 조직을 떼어 냈을 경우 암이 더 빠른 속도로 성장하는 문제가 있으므로, 피부암 및 색소성 병변에 대해 피부 조직을 떼어내지 않고 이미지를 기반으로 검사할 수 있는 시스템의 도입이 시급하다. 그러나, 현재까지의 피부 이미지 처리 기술은 피부의 색상 정보를 룰(rule) 기반으로 처리하는 정도에 불과하여 진단의 정확성이 떨어지는 한계를 갖는다.
공개특허공보 제10-2018-0109676호
본 발명의 일 측면에 따르면, 피부 병원이나 동물 병원 등에서 획득된 개별 병변 이미지를 데이터베이스화하고, 피부 이미지 및 이에 대한 머신러닝(machine learning) 기반의 학습 결과를 서로 공유할 수 있도록 함으로써 진단의 정확도를 향상시킬 수 있는 피부 이미지 분석 시스템과 방법을 제공할 수 있다.
본 발명의 일 측면에 따른 피부 이미지 분석 시스템은, 사용자 장치로부터 하나 이상의 피부 이미지를 수신하도록 구성된 통신부; 피부 병변에 관련된 학습 이미지를 이용하여 생성된 머신러닝(machine learning) 분석 모델을 저장하며, 상기 머신러닝 분석 모델을 이용하여 상기 피부 이미지에 대한 분류 결과를 생성하도록 구성된 머신러닝부; 상기 분류 결과를 이용하여 상기 피부 이미지에 대한 분석정보를 생성하도록 구성된 분석정보 생성부; 및 상기 사용자 장치를 이용하는 사용자가 상기 피부 이미지 및 상기 분석정보를 열람할 수 있는 사용자 인터페이스를 제공하는 사용자 관리부를 포함한다.
일 실시예에 따른 피부 이미지 분석 시스템은, 정상 상태 또는 병변을 포함하는 상태의 피부에 관련된 하나 이상의 비교 이미지를 저장하도록 구성된 데이터베이스를 더 포함한다. 이때 상기 분석정보 생성부는, 상기 머신러닝부에 의해 생성된 분류 결과와 상기 비교 이미지를 포함하여 상기 분석정보를 생성하도록 더 구성된다.
일 실시예에서, 상기 통신부는 상기 피부 이미지에 연관된 환자의 신체 정보를 상기 사용자 장치로부터 수신하도록 더 구성된다. 이때 피부 이미지 분석 시스템은, 상기 신체 정보를 이용하여 상기 환자에 상응하는 3차원 모델을 생성하도록 구성된 모델링부를 더 포함한다. 또한, 상기 분석정보 생성부는, 상기 머신러닝부에 의해 생성된 분류 결과를 상기 3차원 모델 상에 표시하도록 상기 분석정보를 생성하도록 더 구성된다.
일 실시예에 따른 피부 이미지 분석 시스템은, 미리 설정된 기준 정보에 상응하는 하나 이상의 기준 모델을 저장하도록 구성된 데이터베이스를 더 포함한다. 이때 상기 모델링부는, 상기 신체 정보를 상기 기준 정보와 비교한 결과에 기초하여 상기 기준 모델을 조정함으로써 상기 3차원 모델을 생성하도록 더 구성된다.
일 실시예에서, 상기 분석정보 생성부는, 상기 분석정보를, 이미지 정보를 포함하지 않으며 피부 병변에 관련된 특징 정보를 포함하는 수치정보로 변환하도록 구성된 수치화부; 및 상기 수치정보를, 상기 피부 이미지 분석 시스템에 저장되어 있거나 상기 통신부에 수신된 템플릿(template) 이미지 상에 이미지로 합성함으로써 공유정보를 생성하도록 구성된 이미지 처리부를 포함한다.
일 실시예에서, 상기 통신부는, 상기 공유정보를 다른 사용자 장치에 제공하고, 상기 다른 사용자 장치로부터 상기 공유정보에 대한 피드백 정보를 수신하도록 더 구성된다. 이때 상기 사용자 관리부는, 상기 사용자 인터페이스를 통해 상기 피드백 정보를 상기 사용자 장치에 제공하도록 더 구성된다.
일 실시예에서, 상기 수치정보는, 피부 내 또는 피부 상의 미리 설정된 하나 이상의 기준점에 관련된 특성값과 상기 피부 이미지의 평균 특성값 사이의 편차 정보, 및 상기 피부 이미지의 병변에 해당하는 영역에 연관된 위치 및 특성값 정보를 포함한다.
본 발명의 일 측면에 따른 피부 이미지 분석 방법은, 피부 이미지 분석 시스템에 피부 병변에 관련된 학습 이미지를 이용하여 생성된 머신러닝 분석 모델을 저장하는 단계; 상기 피부 이미지 분석 시스템이 사용자 장치로부터 하나 이상의 피부 이미지를 수신하는 단계; 상기 피부 이미지 분석 시스템이, 상기 머신러닝 분석 모델을 이용하여 상기 피부 이미지에 대한 분류 결과를 생성하는 단계; 상기 피부 이미지 분석 시스템이, 상기 분류 결과를 이용하여 상기 피부 이미지에 대한 분석정보를 생성하는 단계; 및 상기 피부 이미지 분석 시스템이, 상기 사용자 장치를 이용하는 사용자가 상기 피부 이미지 및 상기 분석정보를 열람할 수 있는 사용자 인터페이스를 제공한다.
일 실시예에 따른 피부 이미지 분석 방법은, 상기 분석정보를 생성하는 단계 전에, 상기 피부 이미지 분석 시스템에 정상 상태 또는 병변을 포함하는 상태의 피부에 관련된 하나 이상의 비교 이미지를 저장하는 단계를 더 포함한다. 이때, 상기 분석정보를 생성하는 단계는, 상기 피부 이미지 분석 시스템이, 머신러닝 분석 모델에 의해 생성된 분류 결과와 상기 비교 이미지를 포함하여 상기 분석정보를 생성하는 단계를 포함한다.
일 실시예에 따른 피부 이미지 분석 방법은, 상기 분석정보를 생성하는 단계 전에, 상기 피부 이미지 분석 시스템이, 상기 피부 이미지에 연관된 환자의 신체 정보를 상기 사용자 장치로부터 수신하는 단계를 더 포함한다. 또한, 상기 분석정보를 생성하는 단계는, 상기 피부 이미지 분석 시스템이, 상기 신체 정보를 이용하여 상기 환자에 상응하는 3차원 모델을 생성하는 단계; 및 상기 피부 이미지 분석 시스템이, 상기 머신러닝 분석 모델에 의해 생성된 분류 결과를 상기 3차원 모델 상에 표시하도록 상기 분석정보를 생성하는 단계를 포함한다.
일 실시예에 따른 피부 이미지 분석 방법은, 상기 분석정보를 생성하는 단계 전에, 미리 설정된 기준 정보에 상응하는 하나 이상의 기준 3차원 모델을 상기 피부 이미지 분석 시스템에 저장하는 단계를 더 포함한다. 이때 상기 3차원 모델을 생성하는 단계는, 상기 피부 이미지 분석 시스템이, 상기 신체 정보를 상기 기준 정보와 비교한 결과에 기초하여 상기 기준 모델을 조정함으로써 상기 3차원 모델을 생성하는 단계를 포함한다.
일 실시예에서, 상기 분석정보를 생성하는 단계는, 상기 피부 이미지 분석 시스템이, 상기 분석정보를, 이미지 정보를 포함하지 않으며 피부 병변에 관련된 특징 정보를 포함하는 수치정보로 변환하는 단계; 및 상기 피부 이미지 분석 시스템이, 상기 수치정보를, 상기 피부 이미지 분석 시스템에 저장되어 있거나 상기 통신부에 수신된 템플릿 이미지 상에 이미지로 합성함으로써 공유정보를 생성하는 단계를 포함한다.
일 실시예에 따른 피부 이미지 분석 방법은, 상기 피부 이미지 분석 시스템이, 상기 공유정보를 다른 사용자 장치에 제공하는 단계; 상기 피부 이미지 분석 시스템이, 상기 다른 사용자 장치로부터 상기 공유정보에 대한 피드백 정보를 수신하는 단계; 및 상기 피부 이미지 분석 시스템이, 상기 사용자 인터페이스를 통해 상기 피드백 정보를 상기 사용자 장치에 제공하는 단계를 더 포함한다.
본 발명의 일 측면에 컴퓨터 프로그램은, 하드웨어와 결합되어 전술한 실시예들에 따른 피부 이미지 분석 방법을 실행하기 위한 것으로서 컴퓨터로 판독 가능한 기록매체에 저장될 수 있다.
본 발명의 일 측면에 따른 피부 이미지 분석 시스템 및 방법은, 피부과 병원 및 동물 병원 등에서 획득된 피부 이미지를 데이터베이스화할 수 있는 플랫폼을 제공한다. 이러한 플랫폼을 이용하면, 데이터베이스화된 피부 이미지에 대해 딥러닝(deep learning) 등 머신러닝(machine learning)을 통한 학습을 수행할 수 있고, 개별 병변 이미지 및/또는 이에 대한 학습 결과를 다수의 사용자 간에 서로 공유하면서 분석 결과를 누적함으로써 진단의 정확도를 향상시킬 수 있는 이점이 있다.
도 1은 일 실시예에 따른 피부 이미지 분석 시스템의 개략적인 블록도이다.
도 2는 일 실시예에 따른 피부 이미지 분석 시스템에 의한 통신 인터페이스를 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 피부 이미지 분석 방법의 각 단계를 나타내는 순서도이다.
도 4는 일 실시예에 따른 피부 이미지 분석 시스템에 의한 피부 이미지 학습 및 분류 과정을 나타내는 개념도이다.
도 5는 또 다른 실시예에 따른 피부 이미지 분석 방법에서 분석정보를 공유하는 과정을 나타내는 순서도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따른 피부 이미지 분석 시스템의 개략적인 블록도이다.
도 1을 참조하면, 실시예들에 따른 피부 이미지 분석 시스템(3)은 유선 및/또는 무선 네트워크를 통하여 하나 이상의 사용자 장치(1, 2)와 통신하며 동작하도록 구성된다. 사용자 장치(1, 2)는 피부과 병원이나 동물 병원 등 환자나 병든 동물을 직접 접하는 기관에서 전문의와 같은 사용자가 사용하는 장치이며, 피부 이미지 분석 시스템(3)은 유선 및/또는 무선 네트워크를 통하여 하나 이상의 사용자 장치(1, 2)로부터 피부 이미지를 수신할 수 있다.
본 명세서에서, 피부 이미지 분석 시스템(3)과 하나 이상의 사용자 장치(1, 2) 사이의 통신 방법은 유선 및/또는 무선 네트워크를 통하여 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 혹은 그 이외의 방법으로 제한되지 않는다.
예를 들어, 본 명세서의 유선 및/또는 무선 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.
또한, 피부 이미지 분석 시스템(3)은 피부 이미지 분석 시스템(3)의 데이터베이스(database; DB)(33)에 저장된 피부 이미지 및/또는 이에 대한 분석정보를 사용자 장치(1, 2)에서 열람 가능하게 제공할 수 있다. 나아가, 일 실시예에서 피부 이미지 분석 시스템(3)은 특정 사용자의 공유 요청에 따라 생성된 공유정보를 다른 사용자에게 전달함으로써, 사용자 간에 피부 이미지 및 이에 대한 분석 결과를 공유할 수 있게 할 수 있다.
이상의 동작을 위하여, 피부 이미지 분석 시스템(3)은 하나 이상의 사용자 장치(1, 2)와 통신하며 동작하는 서버일 수 있다. 예를 들어, 피부 이미지 분석 시스템(3)은 적어도 부분적으로 사용자 장치(1, 2)상에서 실행되는 애플리케이션(또는, 앱(app))과 통신함으로써 애플리케이션의 기능 수행을 가능하게 하는 애플리케이션 서버의 기능을 수행할 수 있다. 또는/또한, 피부 이미지 분석 시스템(3) 적어도 부분적으로 사용자 장치(1, 2)상에서 실행되는 웹 브라우저(web browser) 등을 통하여 접속 가능한 소정의 웹 페이지(web page)를 제공하는 웹 서버(web server)의 기능을 수행할 수도 있다.
일 실시예에서, 사용자 장치(1)는 촬영부(11) 및 통신부(12)를 포함할 수 있다. 촬영부(11)는 사람 또는 동물의 피부를 촬영하여 피부 이미지를 획득하기 위한 장치이다. 촬영부(11)는 예를 들어 정밀광학렌즈 및 광원을 구비하여 피부 혈관의 구조나 색소성병변 등을 촬영하기 위한 더마토스코프(dermatoscope) 장치일 수 있으나, 이에 한정되는 것은 아니다. 통신부(12)는 유선 및/또는 무선 네트워크를 통하여 피부 이미지 분석 시스템(3)과 통신함으로써 사용자가 피부 이미지를 전송하거나 피부 이미지 분석 시스템(3)이 제공하는 정보를 열람할 수 있게 하는 기능을 한다. 또한, 통신부(12)는 암호화된 접속을 통하여 피부 이미지 분석 시스템(3)과 통신하도록 구성될 수 있다.
도 1에 도시된 실시예에서는 사용자 장치(1) 내에 촬영부(11) 및 통신부(12)가 구비되는 것으로 도시하였으나, 이는 예시적인 것으로서, 다른 실시예에서 촬영부(11)와 통신부(12)는 서로 별개의 하드웨어로 구성될 수도 있다. 예를 들어, 통신부(12)는 사용자가 사용하는 스마트폰(smartphone) 등 이동 통신 단말기, 개인용 컴퓨터(personal computer), 노트북(notebook) 컴퓨터, PDA(personal digital assistant), 태블릿(tablet) 컴퓨터, IPTV(Internet Protocol Television) 등을 위한 셋톱박스(set-top box) 또는 네트워크 서버 등 임의의 컴퓨팅 장치일 수 있으며, 촬영부(11)는 이러한 컴퓨팅 장치에 피부 이미지를 전송할 수 있도록 유선 및/또는 무선 통신 연결된 더마토스코프 장치일 수 있다.
또한, 도 1에 도시된 사용자 장치(1, 2)의 개수는 단지 예시적인 것으로서, 피부 이미지 분석 시스템(3)을 이용하는 사용자 또는 피부 이미지 분석 시스템(3)과 연관되어 동작하는 장치의 수를 한정하는 것이 아니라는 점이 통상의 기술자에게 용이하게 이해될 것이다.
일 실시예에서, 피부 이미지 분석 시스템(3)은 통신부(31), 머신러닝(machine learning)부(35), 분석정보 생성부(34) 및 사용자 관리부(36)를 포함한다. 통신부(31)는 하나 이상의 사용자 장치(1, 2)와 통신함으로써 피부 이미지를 수신하거나 분석정보를 제공하는 역할을 하며, 사용자 관리부(33)는 사용자가 피부 이미지를 업로드하거나 분석정보를 열람할 수 있는 사용자 인터페이스(User Interface; UI)를 제공한다. 머신러닝부(35)는 피부 병변에 관련된 학습 이미지를 이용하여 생성된 머신러닝 분석 모델을 저장하며, 머신러닝 분석 모델을 이용하여 피부 이미지에 대한 분류 결과를 생성할 수 있다. 분석정보 생성부(34)는, 머신러닝부(35)에 의해 생성된 분류 결과를 이용하여 피부 이미지에 대한 분석정보를 생성할 수 있다.
일 실시예에서, 피부 이미지 분석 시스템(3)은 피부 이미지, 이에 대한 비교 이미지 및/또는 피부 이미지에 대한 분석정보 등이 저장되는 DB(33)를 더 포함한다. 나아가 일 실시예에서, 피부 이미지 분석 시스템(3)은 사용자의 신체를 3차원 형상 정보로 모델링하기 위한 모델링부(32)를 더 포함한다.
본 명세서에 기재된 장치들은 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 피부 이미지 분석 시스템(3)에 포함된 각 부(unit) 및 이들의 하위 부는, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈", "서버", "시스템", "플랫폼", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 본 명세서에서 피부 이미지 분석 시스템(3)을 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 즉, 도 1에서 피부 이미지 분석 시스템(3)의 각 부(31-36)는 서로 구분되는 별개의 블록으로 도시되었으나, 이는 피부 이미지 분석 시스템(3)을 이에 의해 실행되는 동작에 의해 기능적으로 구분한 것이다. 실시예에 따라서는 전술한 각 부(31-36) 중 일부 또는 전부가 동일한 하나의 장치 내에 집적화될 수 있으며, 또는 하나 이상의 부가 다른 부와 물리적으로 구분되는 별개의 장치로 구현될 수도 있다. 예컨대, 피부 이미지 분석 시스템(3)의 각 부는 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결된 컴포넌트들일 수도 있다.
도 2는 일 실시예에 따른 피부 이미지 분석 시스템에 의한 통신 인터페이스를 설명하기 위한 블록도이다.
도 2를 참조하면, 피부 이미지 분석 시스템(3)의 통신부(31)는 암호화된 통신 방식으로 사용자 장치의 촬영부(11) 및 사용자 장치의 통신부(12)와 데이터를 송수신하도록 구성될 수 있다. 사용자 장치의 통신부(12)는 SSL 인증서 기능이 구비된 웹 브라우저 등을 이용하여 데이터를 송수신할 수 있으며, 자바스크립트(JavaScript) 등 웹 해석을 위한 엔진부(121) 및 해석된 웹 페이지를 XML, CSS 등의 형식으로 표시하기 위한 레이아웃 생성부(122)를 포함할 수 있다.
사용자 장치의 촬영부(11)는 정밀광학렌즈 및 광원을 구비하여 피부 이미지 촬영이 가능한 광학모듈(112)과, 피부 이미지를 전송하기 위한 통신모듈(111)을 포함할 수 있다. 사용자 장치의 통신부(12)는, 기가넷(Giganet) 또는 Wifi 등의 무선 통신 네트워크를 통하여 촬영부(11)의 통신 모듈(111)과 통신 가능하게 구성되어, 통신 모듈(111)로부터 피부 이미지를 수신하고 이를 피부 이미지 분석 시스템(3)의 통신부(31)에 전송할 수 있다. 그러나 이는 예시적인 것으로서, 다른 실시예에서는 촬영부(11)의 통신모듈(111) 자체가 SSL 인증서 등을 이용한 암호화된 통신이 가능하도록 구성되어, 피부 이미지 분석 시스템(3)의 통신부(31)와 직접 데이터를 송수신할 수도 있다.
통신부(31)는 사용자 장치로부터 수신된 피부 이미지와 이에 대한 분석정보 등을 DB(33)에 저장할 수 있다. 또한, 통신부(31)는 DB(33)에 저장된 정보를 사용자 장치의 촬영부(11) 또는 통신부(12)에서 열람 가능하도록 제공할 수 있다. 이때, 통신부(31)와 DB(33) 사이의 통신은 암호화된 통신 방식으로 이루어질 수도 있다.
DB(33)는 하드디스크 드라이브(HDD) 또는 고체상태 드라이브(SSD)와 같은 저장 장치(335)를 구비하며, 이를 이용하여 피부 이미지에 관련된 정보를 데이터베이스화하도록 구성된 저장부(330)를 포함한다. 도 1에 도시된 DB(33)에 포함된 이미지 DB(331) 및 모델링 DB(332) 등은 저장 장치(335)와 암호화된 통신 방식으로 데이터를 송수신하는 저장부(330)에 의하여 구현될 수 있다. 저장부(330)는 몽고DB(Mongo DB)일 수 있으나, 이에 한정되는 것은 아니며 예를 들어 다른 상이한 종류의 NoSQL DB 또는 관계형 DB가 저장부(330)로 이용될 수도 있다.
도 3은 일 실시예에 따른 피부 이미지 분석 방법의 각 단계를 나타내는 순서도이다. 본 실시예에 따른 피부 이미지 분석 방법은, 실시예들에 따른 피부 이미지 분석 시스템을 이용하여 수행될 수 있다. 이하에서는, 설명의 편의를 위하여 도 1 및 도 3을 참조하여 본 실시예에 따른 피부 이미지 분석 방법에 대하여 설명한다.
먼저, 피부 이미지 분석 시스템(3)의 머신러닝부(35)는, 정상 피부인지 또는 병변을 가진 피부인지 여부가 사전에 라벨링(labeling)되어 있는 학습 데이터를 이용한 학습을 수행함으로써, 머신러닝 분석 모델을 생성하고 이를 저장할 수 있다(S11). 피부 이미지 분석 시스템(3)은 다양한 사용자들로부터 피부 이미지를 수신하고 이를 데이터베이스화하여 저장하므로, 진단 결과가 정해져 있는 이미지들을 이용한 학습을 통해 분석 모델의 정확도와 정밀도를 향상시킬 수 있다.
본 명세서에서, 머신러닝부(35)에 의한 머신러닝 기반의 분석은 딥러닝(deep learning)을 포함하는 의미로 의도되며, 본 명세서의 실시예에서는 피부 이미지에 컨볼루션 신경망(Convolution Neural Network; CNN) 알고리즘을 적용하여 정상 피부 또는 병변을 분류하는 것을 예시로 하여 설명된다. 그러나 실시예들에 따른 피부 이미지 분석 시스템(3)이 이용할 수 있는 분석 모델은 CNN에 한정되는 것은 아니다.
일 실시예에서, 피부 이미지 분석 시스템(3)의 사용자 관리부(33)는 피부 이미지 분석 시스템(3)을 이용하고자 하는 사용자의 사용자 장치(1, 2)와의 통신을 통해 피부 이미지 분석 시스템(3)이 제공하는 서비스에 대한 회원 가입 절차를 수행할 수 있다(S12). 이는 피부과 병원이나 동물 병원의 전문의와 같은 사용자들이 피부 이미지 분석 시스템(3)이 제공하는 플랫폼을 이용하여 환자의 생성, 수정, 삭제 등을 수행할 수 있고 환자별 진단 내용 및 방문 이력 등을 기록하는 등 환자 관리를 수행할 수 있도록 하기 위한 부분이다.
피부 이미지 분석 시스템(3)의 통신부(31)는, 피부 이미지 분석 시스템(3)을 이용하는 하나 이상의 사용자의 사용자 장치(1, 2)로부터 피부 이미지를 수신할 수 있다(S13). 피부과 병원이나 동물 병원의 사용자는, 환자 또는 동물을 진료하면서 피부를 촬영한 이미지를, 진료 기록의 관리, 이미지에 대한 머신러닝 기반의 분석, 및 타 전문가들과의 정보 공유 등의 목적으로 피부 이미지 분석 시스템(3)에 업로드할 수 있다.
피부 이미지 분석 시스템(3)은, 하나 이상의 사용자 장치(1, 2)로부터 수신된 피부 이미지를 데이터베이스화하여 DB(33)에 저장할 수 있다(S14). 이를 위하여, DB(33)는 하나 또는 복수의 사용자로부터 업로드된 피부 이미지들이 업로드한 각 사용자별, 일자별, 및/또는 대상 환자 또는 동물별로 저장되는 이미지 DB(331)를 포함할 수 있고, 피부 이미지 분석 시스템(3)은 사용자가 요청하는 진단 일시, 환자명, 담당자명 등을 파라미터로 이용하여 이미지 DB(331)에 저장된 이미지를 검색한 결과를 사용자에게 제공함으로서 사용자가 피부 이미지 분석 시스템(3)을 플랫폼으로 이용하여 진료 기록의 관리가 가능하도록 할 수 있다.
일 실시예에서, 피부 이미지 분석 시스템(3)은 사용자 장치(1, 2)로부터 피부 이미지와 함께 환자의 신체 정보를 더 수신하고, 모델링부(32)에 의하여 환자의 신체 정보에 상응하는 3차원 형상 정보, 즉, 3차원 모델을 생성할 수 있다. 신체 정보란 예컨대, 키, 체중, 머리 둘레, 허리 둘레, 가슴 둘레, 엉덩이 둘레, 팔/다리 길이, 손/발목 둘레 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 이 경우, 피부 이미지 분석 시스템(3)은 환자 또는 동물의 피부 이미지를 이에 상응하는 3차원 모델의 특정 위치에 매칭시켜 저장하고, 사용자가 진료 기록 등을 통하여 피부 이미지 분석 시스템(3)에 저장된 이미지를 열람하는 경우 이미지를 3차원 모델 상에 매핑(mapping)하여 표시함으로써 전문의의 환부 및 진료 이력 파악이 용이하도록 할 수 있다.
또한 일 실시예에서, 피부 이미지 분석 시스템(3)의 DB(33)는 미리 설정된 신체 기준 정보에 상응하는 기준 모델이 저장된 모델링 DB(332)를 포함하며, 모델링부(32)는 기준 모델을 사용자 장치(1, 2)로부터 수신된 신체 정보에 맞게 미세 조정함으로써 환자 또는 동물의 3차원 모델을 생성할 수도 있다. 기준 모델이란, 사전에 설정된 키, 체중, 신체 각 부위 둘레 등 표준 신체 정보에 의해 생성된 3차원 모델을 의미한다.
모델링부(32)는, 환자 또는 동물의 신체 정보와 표준 신체 정보의 편차에 따라 기준 모델을 조정함으로써 환자 또는 동물의 실제 신체에 대응되는 3차원 모델을 생성할 수 있다. 이때 기준 모델을 조정한다는 것은, 환자 또는 동물의 신체 정보에 맞게 기준 모델 전체를 비례적으로 늘리거나 줄이는 것을 의미하거나, 또는/또한 신체 정보에 맞게 기준 모델의 머리 둘레, 가슴 둘레, 허리 둘레, 엉덩이 둘레, 팔/다리 길이, 손/발목 둘레 등 기준 모델의 일 부분의 길이 또는 둘레를 변경하는 것을 의미할 수 있다.
다음으로, 피부 이미지 분석 시스템(3)의 머신러닝부(35)는, 이미지 DB(331)에 저장된 피부 이미지들을 머신러닝 기반의 분석 모델에 의해 피부 이미지의 분류 결과를 생성할 수 있다(S15). 이는 CNN 등의 알고리즘에 의하여 미지의 피부 이미지를 정상 또는 병변 이미지로 분류하고 병변에 해당하는 영역을 특정하는 과정을 지칭하며, 이를 위하여 일 실시예에서 머신러닝부(35)는 전처리부(351), 필터링부(352), 학습부(353) 및 출력부(354)를 포함할 수 있다.
도 4는 일 실시예에 따른 피부 이미지 분석 시스템에 의한 피부 이미지 학습 및 분류 과정을 나타내는 개념도이다.
도 1 및 도 4를 참조하면, 머신러닝부(35)는 피부 이미지(401)를 머신러닝 분석 모델에 대한 입력 이미지로 이용하여 분류 결과를 생성할 수 있다. 이때, 피부 이미지(401)는 사용자 장치(1, 2)로부터 수신된 이미지 그대로를 의미하는 것일 수도 있고, 또는 사용자 장치(1, 2)로부터 수신된 이미지를 머신러닝 분석 모델에 대한 입력 이미지로 사용하기에 적절한 크기로 분할하는 등의 이미지 처리를 거친 것일 수도 있다.
한편, 머신러닝부(35)의 전처리부(351)는 피부 이미지(401)의 밝기, 대비 및/또는 채도 등을 수정하여 피부 상의 병변 등이 더 두드러지도록 피부 이미지(401)를 변경함으로써 처리된 이미지(402)를 생성할 수 있다. 또한, 머신러닝부(35)의 필터링부(352)는 처리된 이미지(402)를 대상으로 관심 영역에 해당하는 부분을 검출함으로써 필터링된 이미지(403)를 생성하고, 이를 머신러닝 분석 모델에 대한 입력 이미지로 이용할 수도 있다. 필터 이미지(403)는 머신러닝을 통해 분석하고자 하는 병변 등에 해당하는 특징값을 갖는 부분을 분리하거나 활성화하기 위해 이미지의 특징값(예컨대, 각 픽셀의 밝기, 색상, 채도 등)을 이용하여 이미지의 관심 영역을 필터링함으로써 생성될 수 있다.
머신러닝부(35)의 학습부(353)는, 피부 이미지(401) 및 이로부터 필터링된 이미지(403) 각각을 입력 이미지로 이용하여, 입력 이미지로부터 특징(feature)을 추출하고, 신경망을 통해 해당 특징을 정상 피부 또는 병변을 가진 피부로 분류(classification)하는 과정을 수행할 수 있다. 구체적으로, 학습부(353)에 의한 머신러닝 분석 모델은 입력 이미지를 대상으로 필터로 합성곱 연산을 수행함으로써 특징맵을 추출하는 은닉층(407)과 추출된 특징값에 신경망을 적용하는 완전 연결 계층(fully connected layer)(408)으로 이루어질 수 있다.
구체적으로, 은닉층(407)은 피부 이미지(401) 및 필터링된 이미지(403)의 일부로부터 각각 생성되는 입력 이미지(404)로부터 합성곱을 통해 특징맵을 추출하는 컨볼루션 레이어(405)와, 컨볼루션 레이어(405)의 출력 데이터를 입력으로 받아서 출력 데이터의 크기를 줄이거나 특정 데이터를 강조하는 풀링(pooling) 레이어(406)가 사용될 수 있다. 도면에는 각각 하나의 컨볼루션 레이어(405)와 풀링 레이어(406)가 도시되었으나 컨볼루션 레이어(405)와 풀링 레이어(406)가 교대로 복수 회 사용될 수 있다.
이상의 과정은 공지된 CNN 알고리즘으로부터 통상의 기술자에게 잘 알려져 있으므로, 발명의 요지를 명확하게 하기 위하여 이에 대한 상세한 설명은 생략한다.
특징값이 추출되면, 신경망을 통해 완전 연결 계층(408)을 형성하고 이로부터 피부 이미지에 대한 분류 결과를 생성할 수 있다. 이때, 학습부(353)는 원본 피부 이미지(401)를 이용하여 생성된 특징맵(F1)과 필터링된 이미지(403)를 이용하여 생성된 특징맵(F2)을 신경망에 대한 입력으로 함께 이용하는 완전 연결 계층(408)에 의하여 최종 특징 벡터를 결정할 수 있다.
다음으로, 학습부(353)는 완전 연결 계층(408)을 통해 얻어진 특징 벡터에 서포트 벡터 머신(Support Vector Machine; SVM)과 같은 분류기(409)를 적용함으로써 피부 이미지(401)에 대한 분류 결과(410)를 생성할 수 있다. 머신러닝부(35)의 출력부(354)는, 이러한 분류 결과(410)를 분석정보 생성부(341)에 전달하여 분류 결과(410)가 사용자에게 제공될 분석정보로 가공될 수 있도록 한다.
다시 도 1 및 도 3을 참조하면, 분석정보 생성부(34)는 머신러닝부(35)에 의해 생성된 분류 결과를 이용하여 사용자에게 제공되기 위한 분석정보를 생성할 수 있다(S17). 분석정보는 머신러닝 분석 모델을 통하여 피부 이미지를 피부에 존재하는 병변에 따라 분류하고 병변의 위치를 탐지한 것을 의미하며, 예를 들어 피부 상에 위치하는 편평세포암, 흑색종, 기저세포암, 모반, 지루각화증 등 각종 병변에 해당하는 영역을 검출한 결과를 의미할 수 있고, 또는 현재 병변 영역이 분명하게 존재하지 않더라도 학습 결과를 토대로 한 병변의 진행 가능성에 대한 예측 정보를 포함할 수도 있다.
일 실시예에서 분석정보 생성부(34)는 피부 이미지에 대한 분류 결과를 사용자에게 제공함에 있어서 모델링 데이터 또는 비교 이미지와 함께 제공할 수도 있다(S16). 예를 들어, 분석정보 생성부(34)의 이미지 처리부(341)는 사용자의 신체정보에 상응하는 3차원 모델상에 피부 이미지 및 피부 이미지에 대한 분류 결과를 매핑한 것을 분석정보로 제공할 수 있다. 또는, 피부 이미지 분석 시스템(3)의 이미지 DB(331)에는 피부의 각 부위 별로 정상 상태 또는 특정 병변을 가진 상태를 대표할 수 있는 이미지가 비교 이미지로서 저장되며, 분석정보 생성부(34)의 이미지 처리부(341)는 분석 대상인 피부 이미지 및 이에 대한 분류 결과를 동일한 피부 부위에 상응하는 비교 이미지와 함께 합성한 것을 분석정보로 제공할 수도 있다.
사용자 관리부(36)는 사용자가 분석정보를 열람할 수 있도록 분석정보를 사용자 장치(1, 2)에 제공할 수 있다(S18). 사용자는 사용자 장치(1, 2)를 이용하여 피부 이미지 분석 시스템(3)에 접속함으로써, 사용자 관리부(36)가 제공하는 UI를 이용하여 환자 검색, 피부 이미지 검색, 분석정보 열람 등을 수행할 수 있다
도 5는 또 다른 실시예에 따른 피부 이미지 분석 방법에서 분석정보를 공유하는 과정을 나타내는 순서도이다.
도 1 및 도 5를 참조하면, 피부 이미지 분석 시스템(3)은 머신러닝 분석 모델에 의한 분류 결과를 이용한 분석정보를 생성할 수 있다(S21). 이는 도 3을 참조하여 전술한 실시예의 단계(S17)와 동일하므로 설명의 중복을 피하기 위하여 자세한 설명은 생략한다.
이때, 분석 대상인 피부 이미지를 제공한 사용자는, 분석정보에 대해 다른 전문가들의 의견을 참고하기 위하여 피부 이미지 분석 시스템(3)에 분석정보의 공유를 요청할 수 있다(S22). 그러나, 환자의 피부를 촬영한 이미지를 그대로 공유하게 되면 환자의 개인정보를 침해하게 되는 문제가 있으므로, 사용자 장치(1)로부터 분석정보의 공유 요청을 수신한 피부 이미지 분석 시스템(3)에서는, 분석정보 생성부(34)의 수치화부(342)에 의하여 분석정보를 해당 환자를 식별할 수 없으며 병변에 대한 정보만을 포함하는 수치화된 데이터를 생성할 수 있다.
구체적으로, 수치화부(342)는 분석정보의 공유가 요청된 피부 이미지를 대상으로 피부 이미지의 하나 또는 복수의 특성값(예컨대, 픽셀 밝기, 색상, 채도 등)에 대해 이미지 전체에 걸친 평균값을 산출하며(S23), 또한 머신러닝부(35)에 의하여 병변으로 분류된 영역의 위치 정보 및 특성값을 산출할 수 있다(S24). 이때 병변으로 분류된 영역의 위치 정보란 이미지 내의 픽셀의 절대 좌표를 의미하는 것이 아니라, 피부의 외곽선이나 피부 내부 또는 피부 상의 특정 구조물로 정의되는 기준점(예컨대, 눈, 코, 입 등)에 대한 상대적인 위치 정보를 의미한다. 다음으로, 수치화부(342)는 피부 이미지의 평균 특성값을 사전에 설정된 기준 특성값과 비교하여, 양 값의 차이를 편차 정보로서 수치화할 수 있다(S25).
이상의 과정에 의해 생성된 수치정보는, 피부 이미지의 평균 특성값과 기준 특성값의 편차, 및 병변으로 분류된 영역의 특징 정보(즉, 위치 및 특성값)만을 포함하고, 환자의 외형을 특정할 수 있는 피부 이미지 자체나 신체 윤곽선 또는 피부 구조물의 위치나 색상 정보 등은 포함하지 않으므로, 분석정보의 공유를 통하여 환자의 개인정보가 침해되는 것을 피할 수 있다.
다음으로, 분석정보 생성부(34)의 이미지 처리부(341)는 위와 같이 수치화된 정보를 템플릿(template) 이미지 상에 합성함으로써(S26), 다른 사용자와 공유되기 위한 공유정보를 생성할 수 있다. 이때 템플릿 이미지는 피부 이미지 분석 시스템(3)의 이미지 DB(331)에 사전에 저장된 대표 이미지일 수도 있고, 또는 분석정보의 공유를 요청하는 사용자의 사용자 장치(1) 또는 분석정보를 공유받게 될 다른 사용자의 사용자 장치(2)로부터 업로드된 것일 수도 있다.
구체적인 합성 과정으로서, 이미지 처리부(341)는 수치정보에 포함되어 있는 피부 이미지의 평균 특성값과 기준 특성값의 편차 정보를 토대로, 템플릿 이미지의 밝기, 색상, 채도 등의 특성을 전체적으로 조절할 수 있다. 이는, 이미지 상의 픽셀의 밝기, 색상, 채도 등의 절대값은 이미지가 촬영된 환경이나 사람별로 상이한 피부 톤 등에 영향을 받기 때문에, 환경이나 개인별 피부 톤 차이가 진단에 영향을 미치는 것을 가능한 한 배제하기 위한 것이다.
다음으로, 이미지 처리부(341)는 밝기, 색상, 채도 등의 특성이 조절된 템플릿 이미지 상에, 병변으로 분류된 영역의 위치와 특성값을 이용하여 분석정보를 매핑할 수 있다. 수치화부(342)에 의해 수치화된 정보에는 병변으로 분류되는 영역이 피부 상의 기준 구조물(외곽선, 눈, 코, 입 등)에 대해 어디에 배치되는지를 알 수 있는 상대적인 위치 정보를 포함하며, 병변으로 분류된 영역의 밝기, 색상, 채도 등 특성값을 포함하므로, 이를 이용하여 템플릿 이미지 상의 일부 픽셀 영역을 상기 수치화된 정보로 대체함으로써 합성된 이미지를 포함하는 공유정보를 생성할 수 있다.
일 실시예에서, 공유정보는 피부 이미지를 제공한 환자 또는 동물의 신체정보에 상응하는 3차원 모델상에 매핑될 수도 있으며, 또는 공유정보는 분석정보 상의 병변에 해당하는 비교 이미지와 함께 합성될 수도 있다.
피부 이미지 분석 시스템(3)의 사용자 관리부(36)는 정보의 공유를 요청한 전문가의 제1 사용자 장치(1)로부터 수신된 피부 이미지에 대한 분석을 거쳐 생성된 공유정보를 하나 이상의 다른 전문가의 제2 사용자 장치(2)에 전송하여, 제2 사용자 장치(2)로부터 공유정보에 대한 피드백을 수신하고(S27), 이를 제1 사용자 장치(1)에 제공함으로써(S28), 정보의 공유를 요청한 전문가가 환자 또는 동물의 피부 상태 및 이에 대한 머신러닝 기반의 분석 결과에 대해 다른 전문가들의 의견을 참고하는 것이 가능하도록 할 수 있다.
이상에서 설명한 실시예들에 따른 피부 이미지 분석 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다.

Claims (15)

  1. 사용자 장치로부터 하나 이상의 피부 이미지를 수신하도록 구성된 통신부;
    피부 병변에 관련된 학습 이미지를 이용하여 생성된 머신러닝 분석 모델을 저장하며, 상기 머신러닝 분석 모델을 이용하여 상기 피부 이미지에 대한 분류 결과를 생성하도록 구성된 머신러닝부;
    상기 분류 결과를 이용하여 상기 피부 이미지에 대한 분석정보를 생성하도록 구성된 분석정보 생성부; 및
    상기 사용자 장치를 이용하는 사용자가 상기 피부 이미지 및 상기 분석정보를 열람할 수 있는 사용자 인터페이스를 제공하는 사용자 관리부를 포함하며,
    상기 통신부는 상기 피부 이미지에 연관된 환자의 신체 정보를 상기 사용자 장치로부터 수신하도록 더 구성되며,
    상기 신체 정보는 사용자의 키, 체중, 머리 둘레, 허리 둘레, 가슴 둘레, 엉덩이 둘레, 팔 및 다리 길이, 손 및 발목 둘레 중 적어도 하나를 포함하며,
    상기 신체 정보에 따라 상기 환자에 대응하는 3차원 모델을 새롭게 생성하거나,
    사전에 설정된 키, 체중, 신체 각 부위 둘레와 같은 표준 신체 정보에 의해 생성된 기준 모델에 상기 신체 정보를 반영하여 조정함으로써 3차원 모델을 생성하는 모델링부를 더 포함하며,
    상기 분석정보 생성부는, 상기 머신러닝부에 의해 생성된 분류 결과를 상기 3차원 모델 상에 표시하도록 상기 분석정보를 생성하고,
    상기 분석정보 생성부는,
    해당 환자를 식별할 수 없으며 병변에 대한 정보만을 포함하도록, 상기 분석정보를, 이미지 정보를 포함하지 않으며 피부 병변에 관련된 특징 정보를 포함하는 수치정보로 변환하도록 구성된 수치화부; 및
    상기 수치정보를, 상기 피부 이미지 분석 시스템에 저장되어 있거나 상기 통신부에 수신된 템플릿 이미지 상에 이미지로 합성함으로써 공유정보를 생성하도록 구성된 이미지 처리부를 포함하고,
    상기 수치화부는,
    분석정보의 공유가 요청된 피부 이미지를 대상으로 피부 이미지의 하나 또는 복수의 특성값에 대해 이미지 전체에 걸친 평균 특성값을 산출하고,
    상기 머신러닝부에 의해 병변으로 분류된 영역의 위치 정보 및 특성값을 산출하고,
    상기 피부 이미지의 평균 특성값을 사전에 설정된 기준 특성값과 비교하여 양 값의 차이를 편차 정보로서 수치화하되,
    상기 병변으로 분류된 영역의 위치정보는 피부의 외곽선이나 피부 내부 또는 피부 상의 특정 구조물로 정의되는 기준점에 대한 상대적인 위치정보이고,
    상기 이미지 처리부는,
    상기 수치정보에 포함된 피부 이미지의 평균 특성값과 기준 특성값의 편차 정보를 토대로, 상기 템플릿 이미지의 밝기, 색상, 채도의 특성을 조절하고,
    상기 특성이 조절된 템플릿 이미지 상에, 병변으로 분류된 영역의 위치정보와 특성값을 이용하여 분석정보를 매핑하는 피부 이미지 분석 시스템.
  2. 제1항에 있어서,
    정상 상태 또는 병변을 포함하는 상태의 피부에 관련된 하나 이상의 비교 이미지를 저장하도록 구성된 데이터베이스를 더 포함하며,
    상기 분석정보 생성부는, 상기 머신러닝부에 의해 생성된 분류 결과와 상기 비교 이미지를 포함하여 상기 분석정보를 생성하도록 더 구성된 피부 이미지 분석 시스템.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 통신부는, 상기 공유정보를 다른 사용자 장치에 제공하고, 상기 다른 사용자 장치로부터 상기 공유정보에 대한 피드백 정보를 수신하도록 더 구성되며,
    상기 사용자 관리부는, 상기 사용자 인터페이스를 통해 상기 피드백 정보를 상기 사용자 장치에 제공하도록 더 구성된 피부 이미지 분석 시스템.
  7. 삭제
  8. 피부 이미지 분석 시스템에 피부 병변에 관련된 학습 이미지를 이용하여 생성된 머신러닝 분석 모델을 저장하는 단계;
    상기 피부 이미지 분석 시스템이 사용자 장치로부터 하나 이상의 피부 이미지를 수신하는 단계;
    상기 피부 이미지 분석 시스템이, 상기 머신러닝 분석 모델을 이용하여 상기 피부 이미지에 대한 분류 결과를 생성하는 단계;
    상기 피부 이미지 분석 시스템이, 상기 분류 결과를 이용하여 상기 피부 이미지에 대한 분석정보를 생성하는 단계; 및
    상기 피부 이미지 분석 시스템이, 상기 사용자 장치를 이용하는 사용자가 상기 피부 이미지 및 상기 분석정보를 열람할 수 있는 사용자 인터페이스를 제공하는 단계를 포함하며,
    상기 분석정보를 생성하는 단계 전에, 상기 피부 이미지 분석 시스템이, 상기 피부 이미지에 연관된 환자의 신체 정보를 상기 사용자 장치로부터 수신하는 단계를 더 포함하며,
    상기 신체 정보는 사용자의 키, 체중, 머리 둘레, 허리 둘레, 가슴 둘레, 엉덩이 둘레, 팔 및 다리 길이, 손 및 발목 둘레 중 적어도 하나를 포함하며,
    상기 신체 정보에 따라 상기 환자에 대응하는 3차원 모델을 새롭게 생성하거나,
    사전에 설정된 키, 체중, 신체 각 부위 둘레와 같은 표준 신체 정보에 의해 생성된 기준 모델에 상기 신체 정보를 반영하여 조정함으로써 상기 3차원 모델을 생성하는 단계를 더 포함하며,
    상기 분석정보를 생성하는 단계는,
    상기 피부 이미지 분석 시스템이, 상기 머신러닝 분석 모델에 의해 생성된 분류 결과를 상기 3차원 모델 상에 표시하도록 상기 분석정보를 생성하는 단계를 포함하고,
    상기 분석정보를 생성하는 단계는,
    해당 환자를 식별할 수 없으며 병변에 대한 정보만을 포함하도록, 상기 분석정보를, 이미지 정보를 포함하지 않으며 피부 병변에 관련된 특징 정보를 포함하는 수치정보로 변환하는 단계; 및
    상기 수치정보를, 상기 피부 이미지 분석 시스템에 저장되어 있거나 템플릿 이미지 상에 이미지로 합성함으로써 공유정보를 생성하는 단계를 포함하고,
    상기 수치정보로 변환하는 단계는,
    분석정보의 공유가 요청된 피부 이미지를 대상으로 피부 이미지의 하나 또는 복수의 특성값에 대해 이미지 전체에 걸친 평균 특성값을 산출하고,
    상기 머신러닝 분석 모델에 의해 병변으로 분류된 영역의 위치 정보 및 특성값을 산출하고,
    상기 피부 이미지의 평균 특성값을 사전에 설정된 기준 특성값과 비교하여 양 값의 차이를 편차 정보로서 수치화하되,
    상기 병변으로 분류된 영역의 위치정보는 피부의 외곽선이나 피부 내부 또는 피부 상의 특정 구조물로 정의되는 기준점에 대한 상대적인 위치정보이고,
    상기 템플릿 이미지 상에 이미지로 합성함으로써 공유정보를 생성하는 단계는,
    상기 수치정보에 포함된 피부 이미지의 평균 특성값과 기준 특성값의 편차 정보를 토대로, 상기 템플릿 이미지의 밝기, 색상, 채도의 특성을 조절하고,
    상기 특성이 조절된 템플릿 이미지 상에, 병변으로 분류된 영역의 위치정보와 특성값을 이용하여 분석정보를 매핑하는 단계를 포함하는 피부 이미지 분석 방법.
  9. 제8항에 있어서,
    상기 분석정보를 생성하는 단계 전에, 상기 피부 이미지 분석 시스템에 정상 상태 또는 병변을 포함하는 상태의 피부에 관련된 하나 이상의 비교 이미지를 저장하는 단계를 더 포함하며,
    상기 분석정보를 생성하는 단계는, 상기 피부 이미지 분석 시스템이, 머신러닝 분석 모델에 의해 생성된 분류 결과와 상기 비교 이미지를 포함하여 상기 분석정보를 생성하는 단계를 포함하는 피부 이미지 분석 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제8항에 있어서,
    상기 피부 이미지 분석 시스템이, 상기 공유정보를 다른 사용자 장치에 제공하는 단계;
    상기 피부 이미지 분석 시스템이, 상기 다른 사용자 장치로부터 상기 공유정보에 대한 피드백 정보를 수신하는 단계; 및
    상기 피부 이미지 분석 시스템이, 상기 사용자 인터페이스를 통해 상기 피드백 정보를 상기 사용자 장치에 제공하는 단계를 더 포함하는 피부 이미지 분석 방법.
  14. 삭제
  15. 하드웨어와 결합되어 청구항 제8항, 제9항, 제13항 중 어느 한 항에 따른 피부 이미지 분석 방법을 실행하도록 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020200165518A 2020-12-01 2020-12-01 머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램 KR102492692B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200165518A KR102492692B1 (ko) 2020-12-01 2020-12-01 머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200165518A KR102492692B1 (ko) 2020-12-01 2020-12-01 머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20220076730A KR20220076730A (ko) 2022-06-08
KR102492692B1 true KR102492692B1 (ko) 2023-01-27

Family

ID=81981189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200165518A KR102492692B1 (ko) 2020-12-01 2020-12-01 머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102492692B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240013598A (ko) 2022-07-22 2024-01-30 보리 주식회사 카메라를 통해서 피부상태 분석, 얼굴감정 분석, 대화 생성 방법 및 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102175348B1 (ko) * 2014-04-03 2020-11-09 주식회사 엘지생활건강 피부 진단 방법 및 장치
KR101822404B1 (ko) * 2015-11-30 2018-01-26 임욱빈 Dnn 학습을 이용한 세포이상 여부 진단시스템
KR20180109676A (ko) 2017-03-27 2018-10-08 (주)아모레퍼시픽 2차원 피부 이미지 분석 시스템 및 분석 방법
SG10201706752XA (en) * 2017-08-17 2019-03-28 Iko Pte Ltd Systems and methods for analyzing cutaneous conditions
KR102311654B1 (ko) * 2019-02-01 2021-10-08 장현재 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템

Also Published As

Publication number Publication date
KR20220076730A (ko) 2022-06-08

Similar Documents

Publication Publication Date Title
Kong et al. Automatic detection of acromegaly from facial photographs using machine learning methods
Rahane et al. Lung cancer detection using image processing and machine learning healthcare
Saba Computer vision for microscopic skin cancer diagnosis using handcrafted and non‐handcrafted features
US10971263B2 (en) Methods and apparatus for recording anonymized volumetric data from medical image visualization software
CN106164929B (zh) 用于创面评估与管理的方法和系统
KR101918119B1 (ko) 얼굴에 관한 해부학적 레이어를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US8438182B2 (en) Patient identification
US20180279943A1 (en) System and method for the analysis and transmission of data, images and video relating to mammalian skin damage conditions
US10586330B2 (en) Detection of outlier lesions based on extracted features from skin images
JP2004209245A (ja) 舌映像からの関心領域の抽出方法及び舌映像を利用した健康モニタリング方法及び装置
Nejati et al. Smartphone and mobile image processing for assisted living: Health-monitoring apps powered by advanced mobile imaging algorithms
Eslami et al. Automatic vocal tract landmark localization from midsagittal MRI data
CN110598722A (zh) 多模态神经影像数据自动信息融合系统
US20220008001A1 (en) System and method of determining an accurate enhanced lund and browder chart and total body surface area burn score
KR102492692B1 (ko) 머신러닝을 이용한 피부 이미지 분석 시스템 및 방법과 이를 위한 컴퓨터 프로그램
KR101653505B1 (ko) 이미지를 기반으로 건강상태에 대한 진단을 보조하는 컴퓨팅 장치 및 방법
CN107832478A (zh) 医疗移动终端及其应用推荐方法及装置、存储介质
US10176612B2 (en) System and method for retrieval of similar findings from a hybrid image dataset
US20220415459A1 (en) Information processing apparatus, information processing method, and information processing program
KR102445752B1 (ko) 주름 검출을 통해 질환을 예측하는 방법 및 장치
KR20200129633A (ko) 두부경부 컴퓨터 단층 촬영 영상에서 안와뼈 평균형상 모델링 방법 및 장치
US20220391760A1 (en) Combining model outputs into a combined model output
Begum et al. Automatic detection and classification of oral cancer from photographic images using attention maps and deep learning
Kumar et al. Automatic brain tumor detection using machine learning and mixed supervision
Cazzolato et al. A DBMS-Based framework for content-based retrieval and analysis of skin ulcer images in medical practice

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)