KR102304370B1 - 딥러닝 기반 상처 변화 및 상태 분석 장치 및 방법 - Google Patents
딥러닝 기반 상처 변화 및 상태 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR102304370B1 KR102304370B1 KR1020200120611A KR20200120611A KR102304370B1 KR 102304370 B1 KR102304370 B1 KR 102304370B1 KR 1020200120611 A KR1020200120611 A KR 1020200120611A KR 20200120611 A KR20200120611 A KR 20200120611A KR 102304370 B1 KR102304370 B1 KR 102304370B1
- Authority
- KR
- South Korea
- Prior art keywords
- wound
- deep learning
- image data
- data
- information
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/447—Skin evaluation, e.g. for skin disorder diagnosis specially adapted for aiding the prevention of ulcer or pressure sore development, i.e. before the ulcer or sore has developed
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Dermatology (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Nursing (AREA)
- Business, Economics & Management (AREA)
- Physiology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 환자가 가이드 라인에 따라 제공하는 상처 부위 이미지 및 영상을 딥러닝 모델을 이용하여 분석함에 따라 환자의 상처 부위를 시각화 함에 따라 상처에 대한 변화 및 상태에 따른 추이 변화를 제공하여 의사들의 상처에 대한 진단을 보조하는 기술에 관한 것으로, 본 발명은 환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집하는 데이터 수집부, 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하도록 상기 수집된 적어도 하나의 데이터를 분석 처리하는 인공지능 처리부 및 상기 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공하는 분석결과 제공부를 포함하는 기술이다.
Description
본 발명은 딥러닝 모델을 이용하여 환자의 상처에 대한 변화 및 상태를 분석하여 진단 보조 도구로 활용하는 기술적 사상에 관한 것으로, 보다 상세하게는 환자가 가이드 라인에 따라 제공하는 상처 부위 관련 이미지 및 영상을 딥러닝 모델을 이용하여 분석함에 따라 환자의 상처 부위를 구분하여 시각화하고, 상처에 대한 변화 및 상태에 따른 추이 변화를 다양한 보조 정보와 함께 제공하여 의사들의 상처 부위에 대한 진단을 보조하는 기술에 관한 것이다.
환자가 병원을 오가며 진단을 받고 환자에게 발생된 상처의 크기와 깊이에 따라서 치료를 진행해야 하기 때문에 거동이 불편함에도 불구하고 병원까지 통원치료를 해야하는 수고스러움이 존재한다.
여기서, 환자에게 발생될 수 있는 상처는 사고 및 질병에 의한 피부 상에 발생될 수 있는 모든 상처를 포함한다.
대표적으로, 욕창은 몸이 압박되는 상황에서 체위를 스스로 바꾸지 못하거나, 지속적인 눌림에 의해 피의 이동이 원활하지 않는 상황에서 발생하는 피부 상처이고, 일반적으로 욕창은 발생 원인의 특성상 거동이 불편한 분들에게서 많이 나타난다.
진단에 있어서 환자가 이동할 수 없다는 문제점이 생겨 병원을 직접 방문하지 않고 진단을 받는 원격 관리를 도입하기 위해, 환자가 직접 촬영한 욕창 이미지를 수집해 원격으로 진단하는 시스템이 개발되고 있다.
종래의 진단 기술로는 사용자 단말기를 통해서 환자의 욕창 상태를 물어보는 형식의 설문조사가 있는데, 이는 고열이 심한지, 상처가 깊은지, 부종이 심한지 같은 정보를 환자의 판단 하에 점수로 응답하게 되고, 이 점수가 합해져 점수 구간에 따라 어떠한 형식의 드레싱을 사용하면 좋은지에 대해 알려주는 방식으로 진단이 이루어지고 있다.
해당 기술의 단점으로는 환자가 드레싱을 제외한 부분에서 어떤 방식으로 대처를 해야 하는지 모른다는 점과 환자가 자신의 상태를 잘 몰라 적절한 응답을 하지 못하게 되면 올바른 드레싱 방법을 얻지 못한다는 등의 단점이 존재한다.
또한, 기존에 존재하는 욕창 부위 촬영 방식에는 욕창의 상처부위의 가로, 세로 길이를 직접 입력해서 설정을 해 주는 방식이 사용되었는데, 이렇게 입력을 한 상처부위의 크기 정보는 단순히 의료 정보를 저장하는 곳에만 사용이 되었다.
또한, 기존의 원격진료 서비스는 의사의 소견을 직접 진단을 받는 것에 가깝기 때문에 환자의 상태에 대한 즉각적인 답변을 받기 어렵고, 시간 제약을 받아 언제든지 진단을 받을 수 있다고 확언할 수가 없다는 단점이 있다.
담당 의료진이 배정되지 않는다면 작동이 되지 않는 원격 진단 프로그램이라고 도 볼 수 있기 때문에 사용성에 있어 한계점이 존재한다.
또한, 환자가 직접 찍은 사진은 눈으로 보는 것과는 달리 양안 시차에 의한 입체감을 얻지 못하기 때문에 상처 깊이에 대한 정보를 알아내기 힘들다는 문제가 있다.
또한, 기존에 욕창발생위험을 예측하는 시스템이 존재하지만 환자의 기본정보(성별, 나이, 입원 기간, 욕창이 발생한 시점, 병명, 다른 질환 동반 여부 - 당뇨와 마비 여부 등)가 담겨있는 전자 건강 기록(Electronic Health Record, EHR) 데이터만을 사용해서 데이터 정확성이 떨어진다.
또한, 상처 부위만을 구분하며 상처 깊이, 크기의 추이 변화를 파악할 수는 없다는 단점이 존재한다.
본 발명은 거동이 불편한 환자가 병원을 내원 하지 않아도 환자가 가이드 이미지에 따라 촬영된 이미지 또는 영상을 수신하고, 수신된 이미지 또는 영상을 딥러닝 모델을 이용하여 기계학습함에 따라 분석 결과를 생성하고, 생성된 분석 결과를 원격 진료 도구 및 보조 진단 도구로서 제공하는 것을 목적으로 한다.
본 발명은 환자가 가이드 이미지에 따라 촬영한 이미지 또는 영상을 분석하여 환자의 상처 깊이, 크기 및 추이 변화를 파악하고, 이에 따라 환자의 내원 시기를 조정하는 것을 목적으로 한다.
본 발명은 환자의 상처 부위 분석에 따라 환자에게 치료 효과를 제공하기 위한 시간간격을 교정하고, 교정된 시간 간격에 따른 알림을 제공하는 것을 목적으로 한다.
본 발명은 환자의 상처 부위 분석에 따른 텍스트 정보를 추가적으로 제공함에 따라 환자 또는 의사의 상처 부위에 대한 인식률을 높이는 것을 목적으로 한다.
본 발명은 환자가 제공하는 영상 또는 이미지뿐 만 아니라, 의료센터의 데이터 베이스에 저장된 환자의 전자건강기록(electronic health record, EHR) 데이터를 함께 분석함에 따라 상처 부위에 대한 정확한 구분하면서, 환자의 정확한 내원 시기도 결정하는 것을 목적으로 한다.
본 발명은 의료데이터베이스에 저장된 환자 관련 영상, 이미지 및 전자건강기록 중 적어도 하나 이상을 인공지능 학습하여 상처 관련 치료 효과를 제공할 수 있는 환자의 치료 가이드 정보를 제공하는 것을 목적으로 한다.
본 발명은 상처와 관련된 환자의 직접적 데이터 입력 없이도, 상처 부위의 크기 및 깊이를 분석하고, 분석 결과에 따른 내원 시기 조정, 텍스트 정보 및 자세 교정 정보 중 적어도 하나를 제공하는 것을 목적으로 한다.
본 발명의 일실시예에 따르면 원격 진단을 보조하는 딥러닝 기반 상처 변화 및 상태 분석 장치는 환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집하는 데이터 수집부, 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하도록 상기 수집된 적어도 하나의 데이터를 분석 처리하는 인공지능 처리부 및 상기 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공하는 분석결과 제공부를 포함할 수 있다.
상기 인공지능 처리부는 상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각의 픽셀 위치에 따른 거리를 보정하여 복수의 이미지 크기를 동일하게 변경하고, 상기 동일하게 크기가 변경된 복수의 이미지에 분수령(watershed) 알고리즘을 적용하여 픽셀 값을 기준으로 픽셀을 군집화시켜 일반 피부를 나타내는 픽셀 값들의 극소점을 기준으로 평균화하고, 상기 상처 부위를 나타내는 픽셀 값들의 극소점을 기준으로 평균화여 상기 딥러닝 알고리즘의 데이터 수를 증가시킬 수 있다.
상기 인공지능 처리부는 상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각에 대하여 이미지의 특성을 구체화시킬 수 있는 구조인 U자형으로 이루어진 복수의 콘볼루션 블록(Conv Block)을 이용하여 상기 상처 부위와 관련된 형태와 색상을 포함하는 특성 정보를 추출하고, 상기 추출된 특성 정보를 이용하여 상기 복수의 이미지 각각에서 상기 상처 부위와 일반 부위를 구분할 수 있다.
상기 인공지능 처리부는 상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각에 복수의 채널 집중 블록(channel attention block)과 복수의 공간 집중 블록(spatial attention block)을 적용하여 상기 복수의 이미지에서 상기 일반 부위로부터 상기 상처 부위를 효과적으로 구분할 수 있다.
상기 인공지능 처리부는 상기 복수의 콘볼루션 블록(Conv Block), 상기 복수의 채널 집중 블록(channel attention block) 및 상기 복수의 공간 집중 블록(spatial attention block)으로 구성된 집중 U-Net 모델을 복수로 포함하는 앙상블 집중 U-Net 구조에 해당하는 상기 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분할 수 있다.
상기 인공지능 처리부는 상기 상처 부위를 깊이 별로 서로 다른 색상, 패턴, 및 수치 중 적어도 하나의 구분 정보로 구분할 수 있다.
상기 인공지능 처리부는 상기 전자건강기록(electronic health record, EHR) 데이터 중 상처 이미지와 관련된 의사 기록 데이터를 상기 상처 이미지와 연계 딥러닝 학습하고, 상기 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분할 시, 상기 구분된 상처 부위가 상기 상처 이미지와 관련될 경우 상기 의사 기록 데이터에 상응하는 텍스트 정보를 결정할 수 있다.
상기 인공지능 처리부는 상기 전자건강기록(electronic health record, EHR) 데이터 중 상기 환자의 내원 시기 관련 데이터와 상기 상처 추이 변화 결과를 연계 딥러닝 학습하고, 상기 환자의 내원 시기를 조정할 수 있다.
상기 분석결과 제공부는 상기 조정된 내원 시기와 관련되 상기 내원 시기 정보를 상기 보조 정보로 제공할 수 있다.
상기 분석결과 제공부는 상기 적어도 하나의 결과 정보와 상기 적어도 하나의 보조 정보를 웹페이지를 통해 시각화할 수 있다.
상기 분석결과 제공부는 상기 상처 부위의 위치와 관련하여 상기 환자의 자세교정과 관련된 피드백 정보로 상기 자세 교정 정보를 알림 정보, 텍스트 정보 및 이미지 정보 중 적어도 하나의 정보로 제공할 수 있다.
상기 이미지 데이터 및 상기 영상 데이터는 상기 환자의 사용자 단말 장치 상에 표시되면서 상기 상처 부위와 관련되어 상기 사용자 단말 장치의 어플(application) 기반하여 제공되는 가이드 라인에 따라 촬영되어서 의료 기관 데이터 베이스로 전달되어 상기 의료 기관 데이터 베이스에 저장될 수 있다.
상기 전자건강기록(electronic health record, EHR) 데이터는 상기 의료 기관 데이터 베이스에 저장될 수 있다.
상기 딥러닝 알고리즘은 분수령(watershed) 알고리즘, U-Net 알고리즘 모델에 집중 블록(attention block)이 추가된 집중 U-Net 알고리즘 및 복수의 집중 U-Net 알고리즘을 이용하는 앙상블 집중 U-Net 알고리즘 중 적어도 하나의 딥러닝 알고리즘을 포함할 수 있다.
본 발명의 일실시예에 따르면 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법은 데이터 수집부에서, 환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집하는 단계, 인공지능 처리부에서, 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하도록 상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계 및 분석결과 제공부에서, 상기 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공하는 단계를 포함할 수 있다.
상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계는 상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각의 픽셀 위치에 따른 거리를 보정하여 복수의 이미지 크기를 동일하게 변경하는 단계 및 상기 동일하게 크기가 변경된 복수의 이미지에 분수령(watershed) 알고리즘을 적용하여 픽셀 값을 기준으로 픽셀을 군집화시켜 일반 피부를 나타내는 픽셀 값들의 극소점을 기준으로 평균화하고, 상기 상처 부위를 나타내는 픽셀 값들의 극소점을 기준으로 평균화여 상기 딥러닝 알고리즘의 데이터 수를 증가시키는 단계를 포함할 수 있다.
상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계는 상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각에 대하여 이미지의 특성을 구체화시킬 수 있는 구조인 U자형으로 이루어진 복수의 콘볼루션 블록(Conv Block)을 이용하여 상기 상처 부위와 관련된 형태와 색상을 포함하는 특성 정보를 추출하고, 상기 추출된 특성 정보를 이용하여 상기 복수의 이미지 각각에서 상기 상처 부위와 일반 부위를 구분하는 단계 및 상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각에 복수의 채널 집중 블록(channel attention block)과 복수의 공간 집중 블록(spatial attention block)을 적용하여 상기 복수의 이미지에서 상기 일반 부위로부터 상기 상처 부위를 효과적으로 구분하는 단계를 포함할 수 있다.
상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계는 상기 전자건강기록(electronic health record, EHR) 데이터 중 상처 이미지와 관련된 의사 기록 데이터를 상기 상처 이미지와 연계 딥러닝 학습하는 단계 및 상기 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분할 시, 상기 구분된 상처 부위가 상기 상처 이미지와 관련될 경우 상기 의사 기록 데이터에 상응하는 텍스트 정보를 결정하는 단계를 포함할 수 있다.
본 발명은 거동이 불편한 환자가 병원을 내원 하지 않아도 환자가 가이드 이미지에 따라 촬영된 이미지 또는 영상을 수신하고, 수신된 이미지 또는 영상을 딥러닝 모델을 이용하여 기계학습함에 따라 분석 결과를 생성하고, 생성된 분석 결과를 원격 진료 도구 및 보조 진단 도구로서 제공할 수 있다.
본 발명은 환자가 가이드 이미지에 따라 촬영한 이미지 또는 영상을 분석하여 환자의 상처 깊이, 크기 및 추이 변화를 파악하고, 이에 따라 환자의 내원 시기를 조정할 수 있다.
본 발명은 환자의 상처 부위 분석에 따라 환자에게 치료 효과를 제공하기 위한 시간간격을 교정하고, 교정된 시간간격에 따른 알림을 제공할 수 있다.
본 발명은 환자의 상처 부위 분석에 따른 텍스트 정보를 추가적으로 제공함에 따라 환자 또는 의사의 상처 부위에 대한 인식률을 높일 수 있다.
본 발명은 환자가 제공하는 영상 또는 이미지뿐 만 아니라, 의료센터의 데이터 베이스에 저장된 환자의 전자건강기록(electronic health record, EHR) 데이터를 함께 분석함에 따라 상처 부위에 대한 정확한 구분하면서, 환자의 정확한 내원 시기도 결정할 수 있다.
본 발명은 의료데이터베이스에 저장된 환자 관련 영상, 이미지 및 전자건강기록 중 적어도 하나 이상을 인공지능 학습하여 상처 관련 치료 효과를 제공할 수 있는 환자의 치료 가이드 정보를 제공할 수 있다.
본 발명은 상처와 관련된 환자의 직접적 데이터 입력 없이도, 상처 부위의 크기 및 깊이를 분석하고, 분석 결과에 따른 내원 시기 조정, 텍스트 정보 및 자세 교정 정보 중 적어도 하나를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 시스템을 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 상처 부위 구분 동작을 설명하는 도면이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 인공지능 처리부가 이용하는 딥러닝 알고리즘을 설명하는 도면이다.
도 6a 및 도 6b는 본 발명의 일실시예에 따른 인공지능 처리부가 상처의 깊이를 구분하는 동작을 설명하는 도면이다.
도 7a 및 도 7b는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 상처 부위의 크기 및 깊이를 구분하고, 구분된 상처 부위에 따른 보조 정보를 제공하는 동작을 설명하는 도면이다.
도 8은 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 환자에게 피드백 정보를 제공하는 동작을 설명하는 도면이다.
도 9는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법을 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 상처 부위 구분 동작을 설명하는 도면이다.
도 4 및 도 5는 본 발명의 일실시예에 따른 인공지능 처리부가 이용하는 딥러닝 알고리즘을 설명하는 도면이다.
도 6a 및 도 6b는 본 발명의 일실시예에 따른 인공지능 처리부가 상처의 깊이를 구분하는 동작을 설명하는 도면이다.
도 7a 및 도 7b는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 상처 부위의 크기 및 깊이를 구분하고, 구분된 상처 부위에 따른 보조 정보를 제공하는 동작을 설명하는 도면이다.
도 8은 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 환자에게 피드백 정보를 제공하는 동작을 설명하는 도면이다.
도 9는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법을 설명하는 도면이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
이하 사용되는 '..부', '..기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 시스템을 설명하는 도면이다.
도 1은 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 시스템의 구성 요소를 예시한다.
도 1을 참고하면, 본 발명의 일실시예에 따르면 딥러닝 기반 상처 변화 및 상태 분석 시스템(100)은 환자 단말 장치(110), 딥러닝 기반 상처 변화 및 상태 분석 장치(120) 및 의료진 단말 장치(130)로 구성될 수 있다.
일례로, 딥러닝 기반 상처 변화 및 상태 분석 시스템(100)은 환자의 상처 부위 이미지 및 영상을 수집하여 딥러닝 모델을 이용하여 수집된 데이터를 분석한 후, 분서처리에 따라 상처 부위를 일반 피부로부터 구분하고, 구분된 상처 부위를 깊이 별로 더 구분하며, 상처 부위와 관련된 텍스트 설명하고, 상처 추이 변화를 제공한다.
본 발명의 일실시예에 따르면 환자 단말 장치(110)는 환자가 상처 부위를 찍을 수 있도록 가이드 라인이 생성된 어플을 제공하고, 환자가 가이드 라인에 따라 상처 이미지 및 영상을 촬영할 수 있도록 보조한다.
일례로, 환자 단말 장치(110)는 촬영된 상처 이미지 및 영상 데이터를 딥러닝 기반 상처 변화 및 상태 분석 장치(120)로 제공한다.
본 발명의 일실시예에 따르면 딥러닝 기반 상처 변화 및 상태 분석 장치(120)는 데이터 수집부(121), 인공지능 처리부(122) 및 분석결과 제공부(123)를 포함할 수 있다.
일례로, 딥러닝 기반 상처 변화 및 상태 분석 장치(120)는 데이터 수집부(121)가 의료 기관 데이터 베이스로부터 환자의 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터를 수집하고, 인공지능 처리부(122)에서 딥러닝 모델을 이용하여 수집 데이터를 분석 처리하고, 분석결과 제공부(123)에서 분석 처리된 데이터에 대한 상처부위 구분, 상처 부위에 대한 텍스트 설명, 상처 부위 추이 변화 등을 결과 정보 및 보조 정보로서 의료진 단말 장치(130)로 제공한다.
예를 들어, 전자건강기록 데이터는 환자의 기본정보(성별, 나이, 입원 기간, 욕창이 발생한 시점, 병명, 다른 질환 동반 여부 - 당뇨와 마비 여부 등)를 포함하고 있다.
본 발명의 일실시예에 따르면 의료진 단말 장치(130)는 딥러닝 기반 상처 변화 및 상태 분석 장치(120)로부터 전달된 결과 정보 및 보조 정보를 이용하여 환자의 상처 부위에 대한 진단을 보다 빠르게 결정할 수 있다.
또한, 의료진 단말 장치(130)는 환자의 상처 부위에 대한 추가 진단 정보를 텍스트 정보로 입력할 경우, 의료기관 데이터 베이스에 관련 내용이 저장되고, 딥러닝 기반 상처 변화 및 상태 분석 장치(120)는 구분된 상처 부위와 연관하여 추가 입력된 텍스트 정보가 연계 처리될 수 있다.
도 2는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치의 구성요소를 예시한다.
도 2를 참고하면, 본 발명의 일실시예에 따라 원격 진단을 보조하는 딥러닝 기반 상처 변화 및 상태 분석 장치(200)는 데이터 수집부(210), 인공지능 처리부(220) 및 분석결과 제공부(230)를 포함한다.
일례로, 상처 변화 및 상태 분석 장치(200)는 환자에게 가이드 라인이 잡힌 어플로 쉽고 간편하게 상처부위를 촬영할 수 있도록 보조하고, 환자의 상처 부위와 관련하여 현재 상태, 상처 추이 변화의 확인을 통해 환자가 처음 방문한 시기에 따라 적절한 내원 시기를 조정하여 치료 시간 단축과 상처 악화를 방지할 수 있다.
또한, 상처 변화 및 상태 분석 장치(200)는 상처 부위를 효과적으로 구분하고, 상처 부위의 깊이 별로도 시각화해줌에 따라 의사들이 빠른 진단을 지원하고, 상처 부위와 관련된 설명 정보를 텍스트 정보로 제공함에 따라 의사들에게 진단 보조 기능을 제공할 수 있다.
상술한 기능 구현을 위하여 상처 변화 및 상태 분석 장치(200)의 각 구성요소 별 특징을 아래와 같이 설명할 수 있다.
본 발명의 일실시예에 따르면 데이터 수집부(210)는 환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집할 수 있다.
예를 들어, 이미지 데이터 및 상기 영상 데이터는 환자의 사용자 단말 장치 상에 표시되고, 상처 부위와 관련된 가이드 라인에 따라 촬영되어서 의료 기관 데이터 베이스로 전달되어 저장될 수 있다.
여기서, 상처 부위의 촬영과 관련하여 고화질의 카메라 촬영을 요구하지 않고, 환자가 일반적으로 사용하는 사용자 단말 장치의 카메라를 이용하여 촬영 가능하다는 장점이 존재한다.
또한, 전자건강기록(electronic health record, EHR) 데이터는 의료진이 이용하는 단말 장치를 이용하여 기록되거나, 환자가 사용자 단말 장치를 이용하여 기록한 의료 기록 정보로서, 의료 기관 데이터 베이스에 저장될 수 있다.
즉, 데이터 수집부(210)는 의료 기관 데이터 베이스로부터 환자 및 의료진이 등록 또는 제공하는 상처 부위 분석을 위한 데이터를 수집할 수 있다.
본 발명의 일실시예에 따르면 인공지능 처리부(220)는 딥러닝 알고리즘을 이용하여 이미지 데이터 및 영상 데이터에서 상처 부위를 구분하고, 구분된 상처 부위의 크기 및 깊이에 따라 상처 부위를 깊이 별로 더 구분하도록 수집된 적어도 하나의 데이터를 분석 처리할 수 있다.
예를 들어, 딥러닝 알고리즘은 분수령(watershed) 알고리즘, U-Net 알고리즘 모델에 집중 블록(attention block)이 추가된 집중 U-Net 알고리즘 및 복수의 집중 U-Net 알고리즘을 이용하는 앙상블 집중 U-Net 알고리즘 중 적어도 하나의 딥러닝 알고리즘을 포함할 수 있다.
본 발명의 일실시예에 따르면 인공지능 처리부(220)는 이미지 데이터 및 영상 데이터에 포함된 복수의 이미지 각각의 픽셀 위치에 따른 거리를 보정하여 복수의 이미지 크기를 동일하게 변경할 수 있다.
또한, 인공지능 처리부(220)는 동일하게 크기가 변경된 복수의 이미지에 분수령(watershed) 알고리즘을 적용하여 픽셀 값을 기준으로 픽셀을 군집화시켜 일반 피부를 나타내는 픽셀 값들의 극소점을 기준으로 평균화하고, 상처 부위를 나타내는 픽셀 값들의 극소점을 기준으로 평균화여 상기 딥러닝 알고리즘의 데이터 수를 증가시킬 수 있다.
일례로, 인공지능 처리부(220)는 딥러닝 모델로 환자의 EHR(electronic health record) 데이터, 이미지 데이터 및 영상 데이터를 분석하는데, 이때 상처 부위를 정확하게 구분하기 위해 상처 이미지에 대하여 데이터 전처리 과정을 수행할 수 있다.
인공지능 처리부(220)는 양선형 보간법으로 이미지 크기를 재 조정하는데, 크기가 다른 상처 이미지를 동일한 크기로 바꾸는 과정에 사용한다.
다음으로, 인공지능 처리부(220)는 학습 데이터 수를 늘리기 위해서 전처리된 이미지에 대하여 분수령 알고리즘을 적용하여 학습 데이터 수를 증가시킨다.
본 발명의 일실시예에 따르면, 인공지능 처리부(220)는 이미지 데이터 및 영상 데이터에 포함된 복수의 이미지 각각에 대하여 이미지의 특성을 구체화시킬 수 있는 구조인 U자형으로 이루어진 복수의 콘볼루션 블록(Conv Block)을 이용하여 상처 부위와 관련된 형태와 색상을 포함하는 특성 정보를 추출하고, 추출된 특성 정보를 이용하여 복수의 이미지 각각에서 상처 부위와 일반 부위를 구분할 수 있다.
또한, 인공지능 처리부(220)는 U자형으로 이루어진 복수의 콘볼루션 블록(Conv Block)을 이용하여 복수의 이미지 각각에 대하여 상처 부위와 관련된 형태와 색상과 관련 이미지의 특성을 구체화 시킬 수 있다.
예를 들어, 영상 데이터는 약 5초간 촬영된 복수의 이미지에 대한 집합 데이터일 수 있고, 이에 따라 복수의 이미지로 구성될 수 있다.
일례로, 인공지능 처리부(220)는 이미지 데이터 및 영상 데이터에 포함된 복수의 이미지 각각에 복수의 채널 집중 블록(channel attention block)과 복수의 공간 집중 블록(spatial attention block)을 적용하여 복수의 이미지에서 일반 부위로부터 상처 부위를 효과적으로 구분할 수 있다.
즉, 인공지능 처리부(220)는 복수의 채널 집중 블록(channel attention block)과 복수의 공간 집중 블록(spatial attention block)을 추가적으로 이용함에 따라 일반 부위로부터 상처 부위를 보다 정확하고 효과적으로 구분한다.
다시 말해, 인공지능 처리부(220)는 복수의 채널 집중 블록(channel attention block)과 복수의 공간 집중 블록(spatial attention block)을 적용하여 복수의 이미지에서 일반 부위로부터 상처 부위를 추가적으로 구분함에 상처 부위를 효과적으로 구분할 수 있다.
본 발명의 일실시예에 따르면 인공지능 처리부(220)는 복수의 콘볼루션 블록(Conv Block), 복수의 채널 집중 블록(channel attention block) 및 복수의 공간 집중 블록(spatial attention block)으로 구성된 집중 U-Net 모델을 복수로 포함하는 앙상블 집중 U-Net 구조에 해당하는 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상처 부위를 구분하고, 구분된 상처 부위의 크기 및 깊이에 따라 상처 부위를 깊이 별로 더 구분할 수 있다.
일례로, 인공지능 처리부(220)는 상처 부위를 깊이 별로 서로 다른 색상, 패턴, 및 수치 중 적어도 하나의 구분 정보로 구분하여 시각적으로 상처 부위의 깊이를 식별되도록 구분할 수 있다.
본 발명의 일실시예에 따르면, 인공지능 처리부(220)는 전자건강기록(electronic health record, EHR) 데이터 중 상처 이미지와 관련된 의사 기록 데이터를 상처 이미지와 연계 딥러닝 학습한다.
또한, 인공지능 처리부(220)는 딥러닝 알고리즘을 이용하여 이미지 데이터 및 영상 데이터에서 상처 부위를 구분할 시, 구분된 상처 부위가 상처 이미지와 관련될 경우 의사 기록 데이터에 상응하는 텍스트 정보를 결정할 수 있다.
따라서, 본 발명은 환자의 상처 부위 분석에 따른 텍스트 정보를 추가적으로 제공함에 따라 환자 또는 의사의 상처 부위에 대한 인식률을 높일 수 있다.
또한, 본 발명은 의료데이터베이스에 저장된 환자 관련 영상, 이미지 및 전자건강기록 중 적어도 하나 이상을 인공지능 학습하여 상처 관련 치료 효과를 제공할 수 있는 환자의 치료 가이드 정보를 제공할 수 있다.
본 발명의 일실시예에 따르면 인공지능 처리부(220)는 전자건강기록(electronic health record, EHR) 데이터 중 환자의 내원 시기 관련 데이터와 상처 추이 변화 결과를 연계 딥러닝 학습하고, 환자의 내원 시기를 조정할 수 있다.
따라서, 본 발명은 상처와 관련된 환자의 직접적 데이터 입력 없이도, 상처 부위의 크기 및 깊이를 분석하고, 분석 결과에 따른 내원 시기 조정, 텍스트 정보 및 자세 교정 정보 중 적어도 하나를 제공할 수 있다.
본 발명의 일실시예에 따르면 분석결과 제공부(230)는 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공할 수 있다.
일례로, 분석결과 제공부(230)는 인공지능 처리부(220)에서 조정된 내원 시기와 관련되 내원 시기 정보를 보조 정보로 제공할 수 있다.
본 발명의 일실시예에 따르면 분석결과 제공부(230)는 상처 부위의 위치와 관련하여 환자의 자세교정과 관련된 피드백 정보로 자세 교정 정보를 알림 정보, 텍스트 정보 및 이미지 정보 중 적어도 하나의 정보로 제공할 수 있다.
본 발명은 거동이 불편한 환자가 병원을 내원 하지 않아도 환자가 가이드 이미지에 따라 촬영된 이미지 또는 영상을 수신하고, 수신된 이미지 또는 영상을 딥러닝 모델을 이용하여 기계학습함에 따라 분석 결과를 생성하고, 생성된 분석 결과를 원격 진료 도구 및 보조 진단 도구로서 제공할 수 있다.
또한, 본 발명은 환자가 가이드 이미지에 따라 촬영한 이미지 또는 영상을 분석하여 환자의 상처 깊이, 크기 및 추이 변화를 파악하고, 이에 따라 환자의 내원 시기를 조정할 수 있다.
더불어, 본 발명은 환자의 상처 부위 분석에 따라 환자에게 치료 효과를 제공하기 위한 시간간격을 교정하고, 교정된 시간간격에 따른 알림을 제공할 수 있다.
도 3은 본 발명의 일실시예에 따른 상처 부위 구분 동작을 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 인공지능 처리부가 상처 부위 구분 동작을 수행함에 있어서, 딥러닝 모델을 이용하여 처리되는 데이터에 대한 전처리 과정으로서 분수령(watershed) 알고리즘을 이미지 데이터 및 영상 데이터에 적용하여 이미지를 변형 시킴에 따라 딥러닝 모델에서 활용하게될 데이터 수를 증가시키는 동작과 관련된 이미지를 예시한다.
도 3을 참고하면, 이미지(300)는 환자에 의해 가이드 라인에 따라 촬영되고, 상처 부위를 포함하고 있는 이미지 데이터 또는 영상 데이터 일 수 있고, 이미지(310)는 분수령 알고리즘이 적용된 이미지일 수 있다.
본 발명의 일실시예에 따르면 인공지능 처리부는 학습 데이터 수를 증가시키기 위해서 이미지(300)에 분수령 알고리즘을 적용하고, 분수령 알고리즘을 이용하여 이미지(300)에서 비슷한 픽셀 값을 군집화시켜 상처부위와 일반 피부를 구분한다.
이미지(300)와 이미지(310)을 비교하면 분수령 알고리즘이 적용된 이미지(310)는 일반 피부의 색을 나타내는 RGB 픽셀 값들의 극소점을 기준으로 평균화되고, 상처 부위의 RGB 픽셀 값들의 극소점을 기준으로 평균화된다.
따라서, 인공지능 처리부는 분수령 알고리즘을 원래 상처 이미지(300)에 적용시킨 후 이미지(310)로 변형시켜, 데이터 수를 증가시킨다.
또한, 인공지능 처리부는 원래 상처 이미지 데이터(300)와 증가된 이미지 데이터(310)와 함께 딥러닝 모델을 학습시킬 수 있다.
도 4 및 도 5는 본 발명의 일실시예에 따른 인공지능 처리부가 이용하는 딥러닝 알고리즘을 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 인공지능 처리부가 이용하는 집중 U-Net모델에 해당하는 딥러닝 알고리즘을 예시한다.
도 4를 참고하면, 본 발명의 일실시예에 따른 집중 U-Net모델(400)은 이미지 데이터(410)를 입력 받으면, 복수의 콘볼루션 블록(420)과 복수의 집중 블록(430)을 이용하여 이미지 데이터(410)에서 상처 부위를 구분하면서, 상처 부위의 깊이 별로 더 구분할 수 있다.
예를 들어, 복수의 집중 블록(430)은 일반 피부 이미지에서 상처 부위에 보다 높은 가중치를 둬서 구분하고자하는 픽셀에 집중하는 딥러닝 기법에 이용되는 블록이다.
일례로, 집중 U-Net모델(400)은 이미지의 상처 부위만을 좀 더 집중할 수 있게끔 만든 딥러닝 모델이며, 이미지의 구분, 일반피부와 상처부위 구분(segmentation)에 특화된 모델을 지칭할 수 있다.
본 발명의 일실시예에 따르면 집중 U-Net모델(400)은 이미지 데이터(410)에서 U자형의 앞부분 복수의 콘볼루션 블록(420)은 이미지에서의 특성(색깔, 상처부위의 형태)을 추출할 수 있게끔 작동하는 부분이며 이러한 복수의 콘볼루션 블록(420)이 계속 연결되어 이미지의 특성을 좀 더 구체화 시켜서 추출할 수 있다.
일례로, 집중 U-Net모델(400)은 복수의 집중 블록(430)을 더 포함하는데, 복수의 집중 블록(430)은 채널 집중 블록(channel attention block)과 복수의 공간 집중 블록(spatial attention block)을 포함하고, 채널 집중 블록(channel attention block)은 이미지에서의 각 픽셀들이 상처 부위인지 또는 일반피부인지에 대해서 집중하여 구분하는 역할을 수행한다.
공간 집중 블록(spatial attention block)은 이미지에서의 각 픽셀들의 위치(가운데, 모서리, 왼쪽, 오른쪽 등)에 대해서 집중하여 구분하는 역할을 수행한다.
복수의 콘볼루션 블록(420)은 앞 단에서 이미지 사이즈를 축소시키고, 뒷 단에서 축소된 이미지 사이즈를 축소 이전의 사이즈에 맞도록 늘릴 수 있다.
또한, 복수의 집중 블록(430)은 이미지의 사이즈를 축소시키지는 않고, 복수의 콘볼루션 블록(420)의 앞 단에서 축소된 이미지 사이즈를 원래의 이미지 사이즈에 맞도록 늘릴 수 있다.
또한, 인공지능 처리부는 복수의 콘볼루션 블록(420)에서 처리된 데이터를 복수의 집중 블록(430)으로 전달할 시, 상호 블록들 간에 처리된 데이터를 연쇄(concatenate)시켜 처리할 수 있다.
도 5는 본 발명의 일실시예에 따른 인공지능 처리부가 이용하는 앙상블 집중 U-Net모델에 해당하는 딥러닝 알고리즘을 예시한다.
도 5를 참고하면, 본 발명의 일실시예에 따른 인공지능 처리부(500)는 앙상블 집중 U-Net모델(520)을 이용하여 환자의 상처 부위와 관련된 이미지(510)을 분석 처리하여 환자의 상처 부위만을 구분한 이미지(530)를 생성할 수 있다.
본 발명의 일실시예에 따르면 앙상블 집중 U-Net모델(520)은 도 4에서 설명된 집중 U-Net모델을 복수로 포함한다.
예를 들어, 앙상블 집중 U-Net모델(520)은 제1 집중 U-Net모델(521), 제2 집중 U-Net모델(522) 및 제3 집중 U-Net모델(523)을 포함한다.
본 발명의 일실시예에 따르면 인공지능 처리부(500)는 앙상블 집중 U-Net모델(520)을 이용함에 따라 이미지(510)에서 환자의 상처 부위만을 보다 정확하게 구분한 이미지(530)를 생성할 수 있다.
일례로, 인공지능 처리부(500)는 이미지 데이터에 대하여 회전 및 대칭과 같은 데이터 증강기법을 사용하여 학습을 위한 데이터 수를 확장하는데, 확장된 데이터에 대하여 복수의 집중 U-Net모델을 이용하는 앙상블 집중 U-Net모델(520)을 이용함에 따라 상처 부위의 구분 정확도를 증가시킬 수 있다.
도 6a 및 도 6b는 본 발명의 일실시예에 따른 인공지능 처리부가 상처의 깊이를 구분하는 동작을 설명하는 도면이다.
도 6a는 본 발명의 일실시예에 따른 인공지능 처리부가 이미지 데이터와 영상 데이터에 딥러닝 알고리즘을 적용하여 상처 부위의 크기 및 깊이를 함께 구분하는 실시예를 예시한다.
도 6a을 참고하면, 본 발명의 일실시예에 따른 인공지능 처리부(610)는 환자의 상처 부위와 관련된 분석 대상 데이터(600)를 수집하고, 수집된 분석 대상 데이터(600)를 딥러닝 알고리즘을 이용하여 분석 처리한 후, 상처 부위를 구분하고, 구분된 상처 부위에서 상처 깊이 별로 추가 구분하여 상처 부위, 크기 및 깊이가 모두 식별 가능한 결과 정보(620)를 제공한다.
일례로, 인공지능 처리부(610)는 분석 대상 데이터(600)로 이미지 데이터와 영상 데이터를 함께 분석할 수 있다.
예를 들어, 영상 데이터는 이미지 데이터의 분석 결과에 대한 보정용도로 활용될 수 있으며, 짧은 테이크로 촬영되므로 메모리 상에 문제점을 유발하지 않는다.
예를 들어, 이미지 데이터는 환자가 사진을 찍는 각도에 따라서 상처 깊이가 달라질 수 있다.
따라서, 인공지능 처리부(610)는 영상 데이터를 함께 분석함에 따라 상처 깊이 구분 정확도가 향상시킬 수 있다.
결과 정보(620)는 상처의 크기, 깊이 및 위치에 대하여 정확하게 구분된 정보로, 출력 값이 의사에게 제공되어 상처 깊이에 따른 진단 정확도가 증가될 수 있다.
도 6b는 본 발명의 일실시예에 따른 인공지능 처리부가 이미지 데이터와 영상 데이터에 딥러닝 알고리즘을 적용하여 상처 부위의 크기 및 깊이를 함께 구분한 후, 구분된 이미지에 대한 설명 텍스트 정보를 제공하는 실시예를 예시한다.
도 6b를 참고하면, 본 발명의 일실시예에 따른 인공지능 처리부(640)는 환자의 상처 부위와 관련된 분석 대상 데이터(630)를 수집하고, 수집된 분석 대상 데이터(630)를 딥러닝 알고리즘을 이용하여 분석 처리한 후, 상처 부위를 구분하고, 구분된 상처 부위에서 상처 깊이 별로 추가 구분하여 상처 부위, 크기 및 깊이가 모두 식별 가능한 결과 정보(650)를 제공한다.
결과 정보(650)는 상처의 크기, 깊이 및 위치에 대하여 정확하게 구분된 이미지 정보(651)와 함께 구분된 상처 부위와 관련한 텍스트 정보(652)를 함께 제공한다.
인공지능 처리부(640)는 텍스트 정보도 같이 제공하기 위해 상처 이미지 데이터, 영상 데이터, 의사들이 작성한 상처 이미지에 대한 텍스트 데이터를 함께 딥러닝 모델을 학습시킨다.
인공지능 처리부(640)는 같이 새로운 상처 이미지, 영상 데이터가 들어왔을 때 실제 의사들이 진단하는 것처럼 상처에 대한 간략한 설명을 생성한다.
예를 들어, 인공지능 처리부(640)는 새살이 돋아나는 빨간색 조직이 존재한다거나 검은색 괴사 조직이 있는지에 대한 설명을 생성한다.
결과 정보(650)는 텍스트 정보도 함께 제공해 줌으로써 시각적으로 파악할 수 없는 정보(빨간색 부분은 새살, 검은색 부분은 괴사조직 등)를 알 수 있게 한다.
또한, 결과 정보(650) 중 텍스트 정보(652)가 의사들에게도 제공됨에따라 보조 진단 역할도 수행할 수 있다.
따라서, 본 발명은 환자의 상처 부위 분석에 따른 텍스트 정보를 추가적으로 제공함에 따라 환자 또는 의사의 상처 부위에 대한 인식률을 높일 수 있다.
구체적으로, 본 발명은 상처 부위에 대한 간략한 설명을 생성할 수 있는 딥러닝 모델을 개발함으로써 시각적으로 파악할 수 없는 상처에 대한 설명을 줄 수 있다. 이러한 정보는 환자에게는 상처에 대한 정보를 자세히 제공해 줄 수 있으며 의사들에게는 보조 진단 역할을 하게할 수 있다.
도 7a 및 도 7b는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 상처 부위의 크기 및 깊이를 구분하고, 구분된 상처 부위에 따른 보조 정보를 제공하는 동작을 설명하는 도면이다.
도 7a를 참고하면, 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 구분한 상처 원본 이미지(700), 상처 부위 구분 이미지(701), 상처 깊이 구분 이미지(702)를 예시한다.
상처 원본 이미지(700), 상처 부위 구분 이미지(701), 상처 깊이 구분 이미지(702)는 환자의 상처면적이 이전 상처 이미지보다 얼마나 호전되었는지 추이 변화도 보여줄 수 있다.
도 7b를 참고하면, 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 구분한 상처 원본 이미지(710), 제1 상처 깊이 구분 이미지(711) 및 제2 상처 깊이 구분 이미지(712)를 예시한다.
제1 상처 깊이 구분 이미지(711) 및 제2 상처 깊이 구분 이미지(712)는 상처 깊이 변화를 보여준다.
제1 상처 깊이 구분 이미지(711) 및 제2 상처 깊이 구분 이미지(712)는 상의 수치는 상처 깊이의 변화를 색 및 수치로 나타낸다.
이렇게 상처 부위만을 부각, 상처 깊이 별로 구분시킴으로써 의사들의 보조 진단으로 사용될 수 있도록 한다.
상처 면적이 이전 상처이미지와의 추이 변화도 보여줌으로써 진단에 도움되도록 한다.
이러한 딥러닝을 통한 추이 변화 판단을 통해서 환자의 적절한 내원시기 조정해줄 수 있다.
또한 딥러닝기반 텍스트 생성 기술을 이용하여 상처 원본 이미지(710)처럼 상처 이미지에 대한 간략한 설명도 제공해줄 수 있다.
본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 텍스트 생성 과정은 상처 이미지와 의사들이 기록한 상처 이미지에 대한 설명(예를 들어 상처 오른쪽 부근에 검은색 괴사 조직 존재)을 딥러닝으로 학습시키는 단계, 새로운 상처 이미지가 입력값으로 들어왔을 때, 학습된 딥러닝 모델로 일반피부와 상처부위를 구분하고 상처부위에 대한 설명을 생성하는 단계 및 이러한 단계로 상처 이미지에 대한 설명이 생성하는 단계를 포함할 수 있다.
예를 들어, 상처 원본 이미지(710)는 일반 피부와 상처 부위가 구분된 이미지와 상처 부위 안이 어떤 상태를 가지는지 설명한다.
따라서, 상처 원본 이미지(710)는 새살이 돋아나는 빨간색 조직이 존재한다거나 검은색 괴사 조직이 있는지에 대한 정보를 제공하며, 상처가 검을수록 괴사조직이라는 정보를 제공함으로써 시각적으로 파악할 수 없는 정보를 제공할 수 있다.
도 8은 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치가 환자에게 피드백 정보를 제공하는 동작을 설명하는 도면이다.
도 8을 참고하면, 딥러닝 기반 상처 변화 및 상태 분석 장치(800)는 의료기관 데이터베이스(810)로부터 환자의 상처 부위 분석을 위한 데이터를 수집하고, 수집된 데이터를 인공지능 처리부(820)에서 분석 처리하여 분석결과 제공부(미도시)를 통해 환자 단말 장치(830)로 피드백 정보를 제공한다.
본 발명의 일실시예에 따르면 분석결과 제공부(미도시)는 환자의 상처 부위 이미지가 촬영된 일자를 함께 제공하여, 상처 부위의 추이 변화에 대한 이중 검증 데이터를 제공할 수 있다.
본 발명의 일실시예에 따르면 딥러닝 기반 상처 변화 및 상태 분석 장치(800)는 의료기관 데이터베이스(810)에 저장된 환자의 EHR데이터, 상처부위 이미지, 영상 데이터를 딥러닝으로 분석해 환자의 상처 추이 변화를 시각화해서 보여주고 상처 이미지에 대해 텍스트 정보도 생성해준다.
또한, 딥러닝 기반 상처 변화 및 상태 분석 장치(800)는 환자의 상처 추이 변화를 보면서 적정한 내원시기를 예측해줌으로써 환자의 의료기관 접근성을 높이도록 한다.
따라서, 환자는 병원을 가지 않고도 상처 부위 사진을 찍어 의료기관 데이터 베이스에 저장함으로써 적절한 내원시기 파악이 가능하다.
부가적으로, 환자가 의료기관 데이터베이스(810)에 사용될 사진을 찍기 전 상처 발생 부위를 입력하게 되면, 의료기관 데이터베이스(810)에 환자의 상처 위치(엉덩이 부근, 허리 부근, 팔, 다리 등) 또한 기록이 될 수 있다.
딥러닝 기반 상처 변화 및 상태 분석 장치(800)는 환자 단말 장치(830)로 프로그램의 자체적인 진단을 통해 환자가 상처의 위치에 따라서 취해야 하는 올바른 자세를 안내해주기 때문에, 환자의 상처 위치 데이터는 환자의 자세교정 피드백을 제공할 수 있다.
예를 들어, 딥러닝 기반 상처 변화 및 상태 분석 장치(800)는 환자 단말 장치(830)로 시간간격으로 자세교정하라는 피드백 줄 수 있다.
자세교정에는 크게 세 가지 왼쪽으로 눕기 똑바로 눕기 오른쪽으로 눕기가 있는데, 이러한 자세교정을 시간간격으로 바꿀수 있게끔 알림으로 정보 제공 가능에 도움을 주는 데 이용될 수 있다.
또한, 환자 단말 장치(830)를 이용하는 환자는 상처부위 촬영 시에 상처 크기의 기준이 될 수 있는 도구와 함께 사진을 찍을 수 있다.
따라서, 딥러닝 기반 상처 변화 및 상태 분석 장치(800)는 도구와 비교해 상처의 크기를 측정할 수 있어 상처부위가 얼마나 호전되고 있는지, 또는 오히려 상처가 커졌는지에 관한 정보를 추이로 나타내서 알려줄 수 있게 되어 더 정확하게 분석할 수 있다.
도 9는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법을 설명하는 도면이다.
도 9는 본 발명의 일실시예에 따른 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법이 딥러닝 알고리즘을 이용하여 구분한 상처 변화 및 상태에 따라 의료 진단 및 치료를 보조하는 실시예를 예시한다.
도 9를 참고하면, 단계(901)에서 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법은 환자의 상처 부위와 관련된 데이터를 수집한다.
즉, 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법은 환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집할 수 있다.
다시 말해, 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법은 환자가 상처 부위를 가이드 라인에 따라 편리하게 촬영한 이미지 및 영상 데이터와 의료 기관 데이터 베이스에 저장된 전자건강기록 데이터를 수집한다.
단계(902)에서 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법은 딥러닝 알고리즘을 이용하여 상처 부위와 관련된 데이터를 분석 처리한다.
즉, 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법은 딥러닝 알고리즘을 이용하여 이미지 데이터 및 영상 데이터에서 상처 부위를 구분하고, 구분된 상처 부위의 크기 및 깊이에 따라 상처 부위를 깊이 별로 더 구분하도록 수집된 적어도 하나의 데이터를 분석 처리할 수 있다.
단계(903)에서 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법은 분석처리에 따른 분석결과 정보와 보조 정보를 제공한다.
즉, 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법은 단계(902)에서의 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공할 수 있다.
따라서, 본 발명은 거동이 불편한 환자가 병원을 내원 하지 않아도 환자가 가이드 이미지에 따라 촬영된 이미지 또는 영상을 수신하고, 수신된 이미지 또는 영상을 딥러닝 모델을 이용하여 기계학습함에 따라 분석 결과를 생성하고, 생성된 분석 결과를 원격 진료 도구 및 보조 진단 도구로서 제공할 수 있다.
또한, 본 발명은 환자의 현재 상태, 상처 추이 변화를 제공함에 따라 환자가 처음 방문한 시기에 따라서 2달 내, 1달 내 방문 요망 등 적절한 내원 시기를 조정할 수 있고, 이에 따라 내원 시기를 조정해 줌으로써 시간 단축과 상처 악화를 막을 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
200: 딥러닝 기반 상처 변화 및 상태 분석 장치
210: 데이터 수집부 220: 인공지능 처리부
230: 분석결과 제공부
210: 데이터 수집부 220: 인공지능 처리부
230: 분석결과 제공부
Claims (16)
- 원격 진단을 보조하는 딥러닝 기반 상처 변화 및 상태 분석 장치에 있어서,
환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집하는 데이터 수집부;
딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하도록 상기 수집된 적어도 하나의 데이터를 분석 처리하는 인공지능 처리부; 및
상기 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공하는 분석결과 제공부를 포함하고,
상기 인공지능 처리부는
상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각의 픽셀 위치에 따른 거리를 보정하여 복수의 이미지 크기를 동일하게 변경하고, 상기 동일하게 크기가 변경된 복수의 이미지에 분수령(watershed) 알고리즘을 적용하여 픽셀 값을 기준으로 픽셀을 군집화시켜 일반 피부를 나타내는 픽셀 값들의 극소점을 기준으로 평균화하고, 상기 상처 부위를 나타내는 픽셀 값들의 극소점을 기준으로 평균화여 상기 딥러닝 알고리즘의 데이터 수를 증가시키는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 삭제
- 원격 진단을 보조하는 딥러닝 기반 상처 변화 및 상태 분석 장치에 있어서,
환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집하는 데이터 수집부;
딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하도록 상기 수집된 적어도 하나의 데이터를 분석 처리하는 인공지능 처리부; 및
상기 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공하는 분석결과 제공부를 포함하고,
상기 인공지능 처리부는
상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각에 대하여 이미지의 특성을 구체화시킬 수 있는 구조인 U자형으로 이루어진 복수의 콘볼루션 블록(Conv Block)을 이용하여 상기 상처 부위와 관련된 형태와 색상을 포함하는 특성 정보를 추출하고, 상기 추출된 특성 정보를 이용하여 상기 복수의 이미지 각각에서 상기 상처 부위와 일반 부위를 구분하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 제3항에 있어서,
상기 인공지능 처리부는
상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각에 복수의 채널 집중 블록(channel attention block)과 복수의 공간 집중 블록(spatial attention block)을 적용하여 상기 복수의 이미지에서 상기 일반 부위로부터 상기 상처 부위를 효과적으로 구분하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 제4항에 있어서,
상기 인공지능 처리부는
상기 복수의 콘볼루션 블록(Conv Block), 상기 복수의 채널 집중 블록(channel attention block) 및 상기 복수의 공간 집중 블록(spatial attention block)으로 구성된 집중 U-Net 모델을 복수로 포함하는 앙상블 집중 U-Net 구조에 해당하는 상기 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 제1항에 있어서,
상기 인공지능 처리부는
상기 상처 부위를 깊이 별로 서로 다른 색상, 패턴, 및 수치 중 적어도 하나의 구분 정보로 구분하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 제1항에 있어서,
상기 인공지능 처리부는
상기 전자건강기록(electronic health record, EHR) 데이터 중 상처 이미지와 관련된 의사 기록 데이터를 상기 상처 이미지와 연계 딥러닝 학습하고, 상기 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분할 시, 상기 구분된 상처 부위가 상기 상처 이미지와 관련될 경우 상기 의사 기록 데이터에 상응하는 텍스트 정보를 결정하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 제1항에 있어서,
상기 인공지능 처리부는
상기 전자건강기록(electronic health record, EHR) 데이터 중 상기 환자의 내원 시기 관련 데이터와 상기 상처 추이 변화 결과를 연계 딥러닝 학습하고, 상기 환자의 내원 시기를 조정하고,
상기 분석결과 제공부는
상기 조정된 내원 시기와 관련되 상기 내원 시기 정보를 상기 보조 정보로 제공하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 제1항에 있어서,
상기 분석결과 제공부는 상기 적어도 하나의 결과 정보와 상기 적어도 하나의 보조 정보를 웹페이지를 통해 시각화하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 제1항에 있어서,
상기 분석결과 제공부는 상기 상처 부위의 위치와 관련하여 상기 환자의 자세교정과 관련된 피드백 정보로 상기 자세 교정 정보를 알림 정보, 텍스트 정보 및 이미지 정보 중 적어도 하나의 정보로 제공하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 제1항에 있어서,
상기 이미지 데이터 및 상기 영상 데이터는 상기 환자의 사용자 단말 장치 상에 표시되고, 상기 상처 부위와 관련된 가이드 라인에 따라 촬영되어서 의료 기관 데이터 베이스로 전달 되는
상기 전자건강기록(electronic health record, EHR) 데이터는 상기 의료 기관 데이터 베이스에 저장되는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 원격 진단을 보조하는 딥러닝 기반 상처 변화 및 상태 분석 장치에 있어서,
환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집하는 데이터 수집부;
딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하도록 상기 수집된 적어도 하나의 데이터를 분석 처리하는 인공지능 처리부; 및
상기 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공하는 분석결과 제공부를 포함하고,
상기 딥러닝 알고리즘은
분수령(watershed) 알고리즘, U-Net 알고리즘 모델에 집중 블록(attention block)이 추가된 집중 U-Net 알고리즘 및 복수의 집중 U-Net 알고리즘을 이용하는 앙상블 집중 U-Net 알고리즘 중 적어도 하나의 딥러닝 알고리즘을 포함하는
딥러닝 기반 상처 변화 및 상태 분석 장치. - 원격 진단을 보조하는 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법에 있어서,
데이터 수집부에서, 환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집하는 단계;
인공지능 처리부에서, 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하도록 상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계; 및
분석결과 제공부에서, 상기 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공하는 단계를 포함하고,
상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계는
상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각의 픽셀 위치에 따른 거리를 보정하여 복수의 이미지 크기를 동일하게 변경하는 단계; 및
상기 동일하게 크기가 변경된 복수의 이미지에 분수령(watershed) 알고리즘을 적용하여 픽셀 값을 기준으로 픽셀을 군집화시켜 일반 피부를 나타내는 픽셀 값들의 극소점을 기준으로 평균화하고, 상기 상처 부위를 나타내는 픽셀 값들의 극소점을 기준으로 평균화여 상기 딥러닝 알고리즘의 데이터 수를 증가시키는 단계를 포함하는
딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법. - 삭제
- 원격 진단을 보조하는 딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법에 있어서,
데이터 수집부에서, 환자의 상처 부위와 관련하여 이미지 데이터, 영상 데이터 및 전자건강기록(electronic health record, EHR) 데이터 중 적어도 하나의 데이터를 수집하는 단계;
인공지능 처리부에서, 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분하고, 상기 구분된 상처 부위의 크기 및 깊이에 따라 상기 상처 부위를 깊이 별로 더 구분하도록 상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계; 및
분석결과 제공부에서, 상기 분석처리에 따른 분석결과에 기반하여 상처 부위 구분 결과, 상처 깊이 시각화 결과 및 상처 추이 변화 결과 중 적어도 하나의 결과 정보와 상기 적어도 하나의 결과 정보와 관련된 텍스트 정보, 내원 시기 정보 및 자세 교정 정보 중 적어도 하나의 보조 정보를 함께 제공하는 단계를 포함하고,
상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계는
상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각에 대하여 이미지의 특성을 구체화시킬 수 있는 구조인 U자형으로 이루어진 복수의 콘볼루션 블록(Conv Block)을 이용하여 상기 상처 부위와 관련된 형태와 색상을 포함하는 특성 정보를 추출하고, 상기 추출된 특성 정보를 이용하여 상기 복수의 이미지 각각에서 상기 상처 부위와 일반 부위를 구분하는 단계; 및
상기 이미지 데이터 및 상기 영상 데이터에 포함된 복수의 이미지 각각에 복수의 채널 집중 블록(channel attention block)과 복수의 공간 집중 블록(spatial attention block)을 적용하여 상기 복수의 이미지에서 상기 일반 부위로부터 상기 상처 부위를 효과적으로 구분하는 단계를 포함하는
딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법. - 제13항에 있어서,
상기 수집된 적어도 하나의 데이터를 분석 처리하는 단계는
상기 전자건강기록(electronic health record, EHR) 데이터 중 상처 이미지와 관련된 의사 기록 데이터를 상기 상처 이미지와 연계 딥러닝 학습하는 단계; 및
상기 딥러닝 알고리즘을 이용하여 상기 이미지 데이터 및 상기 영상 데이터에서 상기 상처 부위를 구분할 시, 상기 구분된 상처 부위가 상기 상처 이미지와 관련될 경우 상기 의사 기록 데이터에 상응하는 텍스트 정보를 결정하는 단계를 포함하는
딥러닝 기반 상처 변화 및 상태 분석 장치의 동작 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200120611A KR102304370B1 (ko) | 2020-09-18 | 2020-09-18 | 딥러닝 기반 상처 변화 및 상태 분석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200120611A KR102304370B1 (ko) | 2020-09-18 | 2020-09-18 | 딥러닝 기반 상처 변화 및 상태 분석 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102304370B1 true KR102304370B1 (ko) | 2021-09-24 |
Family
ID=77914666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200120611A KR102304370B1 (ko) | 2020-09-18 | 2020-09-18 | 딥러닝 기반 상처 변화 및 상태 분석 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102304370B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023054768A1 (ko) * | 2021-09-30 | 2023-04-06 | 주식회사 피플앤드테크놀러지 | 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법 |
| WO2023106679A1 (ko) * | 2021-12-06 | 2023-06-15 | 연세대학교 산학협력단 | 욕창에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
| KR20230149228A (ko) | 2022-04-19 | 2023-10-26 | 주식회사 에이아이트릭스 | 전자 건강 기록 데이터 분석 장치 및 방법 |
| CN117174274A (zh) * | 2023-11-03 | 2023-12-05 | 四川省医学科学院·四川省人民医院 | 一种糖尿病足介入手术后患者智能访问系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160001252A (ko) * | 2014-06-27 | 2016-01-06 | 이화여자대학교 산학협력단 | 상처 관리 장치 및 방법 |
| KR20160092013A (ko) * | 2013-12-03 | 2016-08-03 | 칠드런스 내셔널 메디컬 센터 | 상처의 평가 및 관리를 위한 방법 및 시스템 |
| KR20190060606A (ko) * | 2017-11-24 | 2019-06-03 | 삼성전자주식회사 | 의료 영상 진단 장치 및 방법 |
| KR20200000539A (ko) | 2018-06-25 | 2020-01-03 | 주식회사 슈가브릭스 | 사용자 단말을 이용한 객체 상태 분석 결과 제공 시스템 및 방법 |
| KR20200046162A (ko) | 2018-10-16 | 2020-05-07 | 주식회사 큐티티 | 딥러닝과 빅데이터를 이용한 치주질환관리시스템 |
| KR20200049250A (ko) | 2018-10-31 | 2020-05-08 | 박해유 | 상처 인식 및 진단을 통한 맞춤형 의료 서비스 제공 시스템 |
| KR20200066732A (ko) | 2017-11-30 | 2020-06-10 | 난토믹스, 엘엘씨 | 딥 러닝을 사용한 병리 슬라이드 이미지에서의 분자 아형의 종양내 이질성 검출 |
-
2020
- 2020-09-18 KR KR1020200120611A patent/KR102304370B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160092013A (ko) * | 2013-12-03 | 2016-08-03 | 칠드런스 내셔널 메디컬 센터 | 상처의 평가 및 관리를 위한 방법 및 시스템 |
| KR20160001252A (ko) * | 2014-06-27 | 2016-01-06 | 이화여자대학교 산학협력단 | 상처 관리 장치 및 방법 |
| KR20190060606A (ko) * | 2017-11-24 | 2019-06-03 | 삼성전자주식회사 | 의료 영상 진단 장치 및 방법 |
| KR20200066732A (ko) | 2017-11-30 | 2020-06-10 | 난토믹스, 엘엘씨 | 딥 러닝을 사용한 병리 슬라이드 이미지에서의 분자 아형의 종양내 이질성 검출 |
| KR20200000539A (ko) | 2018-06-25 | 2020-01-03 | 주식회사 슈가브릭스 | 사용자 단말을 이용한 객체 상태 분석 결과 제공 시스템 및 방법 |
| KR20200046162A (ko) | 2018-10-16 | 2020-05-07 | 주식회사 큐티티 | 딥러닝과 빅데이터를 이용한 치주질환관리시스템 |
| KR20200049250A (ko) | 2018-10-31 | 2020-05-08 | 박해유 | 상처 인식 및 진단을 통한 맞춤형 의료 서비스 제공 시스템 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023054768A1 (ko) * | 2021-09-30 | 2023-04-06 | 주식회사 피플앤드테크놀러지 | 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법 |
| WO2023106679A1 (ko) * | 2021-12-06 | 2023-06-15 | 연세대학교 산학협력단 | 욕창에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
| KR20230149228A (ko) | 2022-04-19 | 2023-10-26 | 주식회사 에이아이트릭스 | 전자 건강 기록 데이터 분석 장치 및 방법 |
| CN117174274A (zh) * | 2023-11-03 | 2023-12-05 | 四川省医学科学院·四川省人民医院 | 一种糖尿病足介入手术后患者智能访问系统 |
| CN117174274B (zh) * | 2023-11-03 | 2024-02-02 | 四川省医学科学院·四川省人民医院 | 一种糖尿病足介入手术后患者智能访问系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102304370B1 (ko) | 딥러닝 기반 상처 변화 및 상태 분석 장치 및 방법 | |
| JP6595474B2 (ja) | 創傷アセスメントおよびマネジメントのための方法およびシステム | |
| JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
| KR101887194B1 (ko) | 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치 | |
| KR102243830B1 (ko) | 통합 의료 진단 서비스 제공 시스템 및 그 방법 | |
| US10049457B2 (en) | Automated cephalometric analysis using machine learning | |
| US9445713B2 (en) | Apparatuses and methods for mobile imaging and analysis | |
| KR101874348B1 (ko) | 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치 | |
| US20210174505A1 (en) | Method and system for imaging and analysis of anatomical features | |
| US9710907B2 (en) | Diagnosis support system using panoramic radiograph and diagnosis support program using panoramic radiograph | |
| WO2019141106A1 (zh) | 基于c/s架构的牙齿美化ar智能辅助方法及装置 | |
| WO2016069463A2 (en) | A system and method for the analysis and transmission of data, images and video relating to mammalian skin damage conditions | |
| JP6830082B2 (ja) | 歯科分析システムおよび歯科分析ｘ線システム | |
| EP4134981A1 (en) | Method for acquiring side image for eye protrusion analysis, image capture device for performing same, and recording medium | |
| US20230230232A1 (en) | Machine Learning for Detection of Diseases from External Anterior Eye Images | |
| US20190125306A1 (en) | Method of transmitting a medical image, and a medical imaging apparatus performing the method | |
| KR20200058316A (ko) | 인공지능 기술을 활용한 치과용 두부 계측점 자동 추적 방법 및 그를 이용한 서비스 시스템 | |
| Hu et al. | Contactless blood oxygen estimation from face videos: A multi-model fusion method based on deep learning | |
| KR101431745B1 (ko) | 생체 중의 특정 부위에 대한 분석정보 출력방법 및 장치 | |
| CN112862752A (zh) | 一种图像处理显示方法、系统电子设备及存储介质 | |
| US20230284968A1 (en) | System and method for automatic personalized assessment of human body surface conditions | |
| US20230012806A1 (en) | Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor | |
| US20230144621A1 (en) | Capturing diagnosable video content using a client device | |
| CN115295110A (zh) | 一种术后并发症预测系统及方法 | |
| Chakravarty et al. | An assistive annotation system for retinal images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |