KR102500378B1 - 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템 - Google Patents

자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템 Download PDF

Info

Publication number
KR102500378B1
KR102500378B1 KR1020200047990A KR20200047990A KR102500378B1 KR 102500378 B1 KR102500378 B1 KR 102500378B1 KR 1020200047990 A KR1020200047990 A KR 1020200047990A KR 20200047990 A KR20200047990 A KR 20200047990A KR 102500378 B1 KR102500378 B1 KR 102500378B1
Authority
KR
South Korea
Prior art keywords
disease
medical
model
disease model
size
Prior art date
Application number
KR1020200047990A
Other languages
English (en)
Other versions
KR20210058622A (ko
Inventor
최병관
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to PCT/KR2020/012907 priority Critical patent/WO2021096054A1/ko
Publication of KR20210058622A publication Critical patent/KR20210058622A/ko
Application granted granted Critical
Publication of KR102500378B1 publication Critical patent/KR102500378B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 자동 의료그림 생성시스템 및 이를 이용한 자동 의료그림 생성 방법에 관한 것이다. 이 시스템을 통해 환자의 상태를 구체적인 그림으로 생성하여, 텍스트만으로 확인했던 기존의 진료 기록에 비해 정확하고 상세하게 의료진이 확인할 수 있으며 환자는 질병에 대하여 더 깊이 이해할 수 있다. 또한, 구조화된 데이터를 짧은 시간에 입력할 수 있어 의료진의 업무 효율성을 높이고 데이터의 정확도를 높이는데 도움이 된다. 또한 여러 번 진료된 증상의 경우 가중치를 두어 표현하고, 기계가 추출해낸 질병모형을 사용자가 확인·수정하여 환자 증상의 신뢰도를 높인다. 이러한 이미지를 여러 병원을 거치며 수정, 보완할 수도 있게 하여 신뢰도를 더하며 이를 병원 혹은 의료진끼리 공유할 수 있게 하여 환자의 질병에 대해 보다 정확한 소통을 가능하게 한다.
본 발명에 따른 자동 의료그림 생성 시스템은 진료 중 작성된 문자 데이터(130)와 및 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출부(100); 상기 정보추출부(100)에서 추출된 정보를 질병의 종류와 상태를 표현하도록 기호 및 이미지로 형상화 하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성부(200); 진료 중 동일한 질병에 대해 여러 번 언급되어 상기 모양생성부(200)에 의해 상기 질병모형(220)이 여러 번 형성된 경우, 가장 많이 중첩된 영역에 높은 신뢰도의 가중치를 적용하고, 시스템이 추출한 질병모형(220)을 사용자가 확인·수정하여 신뢰도를 책정하는 신뢰도적용부(500); 상기 모양생성부(200)와 신뢰도적용부(500)를 거쳐 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시할 수 있는 디스플레이부(600)를 포함한다.

Description

자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템{AUTOMATIC MEDICAL DRAWING GENERATOR, THE METHOD FOR GENERATING AUTOMATIC MEDICAL DRAWING THEREOF AND MACHINE LEARNING BASED AUTOMATIC MEDICAL DRAWING GENERATOR}
본 발명은 자동 의료그림 생성시스템과, 이를 이용한 의료그림 생성에 관한 것이다. 이 시스템은 환자의 상태가 어떠한지를 그림으로 구체화한다. 따라서 이전에는 텍스트만으로 확인했던 진료 기록에 비해 정확하고 상세하게 의료진이 확인할 수 있으며 환자는 질병에 대하여 더 쉽고 깊게 이해할 수 있다.
의료 그림은 텍스트를 대신해서 환자의 상태를 표현하는 것이다. 의료 그림은 텍스트 진료 기록에 비해 간략하지만 증상의 위치, 종양의 모양과 크기 등을 텍스트 기록보다 정확하게 전달할 수 있다. 또한, 의학 용어가 익숙하지 않은 일반 환자에게 질병의 크기나 모양을 정확하게 전달하여 치료에 대한 동기를 부여하고 진료에 더 잘 협조 할 수 있도록 한다.
종래의 의료 그림은 사람이 직접 그려서 만들었다. 전자차트가 사용되기 전에는 수술이 끝나면 외과의가 수술에 대한 간단한 그림을 그려서 수술과정을 기록하기도 했었고, 혹은 전신이 그려진 간단한 그림 위에 증상의 위치를 표시하기도 했다. 의료그림은 의사가 의료 활동을 위해 메모를 남기던 수단이기도 했지만 환자에게 설명을 하기 위한 수단이기도 하였다. 이 의료 그림이 현대에는 전자 차트 시스템에 그려진 기본 인체 그림을 배경으로 의료진이 직접 마우스로 표시를 하고, 색깔을 입히는 형태로 발전하였다. 그러나 종이와 펜이 아닌 마우스로 모니터에 그림을 그리는 것은 많은 시간이 필요하며 의료진이 환자를 상담함과 동시에 한정된 시간에 그려내야 했다. 따라서 의료 그림은 자세한 정보를 표시하기 힘들었으며, 부정확한 의료 그림이 만들어질 가능성이 높았다.
뿐만 아니라 의료 그림은 동일한 의료 정보에 대하여 의료진, 혹은 신체부위에 따라 다양한 모양으로 그려질 가능성이 크다. 그렇기 때문에 질병의 종류나 신체 부위를 표현하는 방법에 대한 원칙을 정할 수 있다면 그림을 다른 의료기관에 보내거나 환자에게 증상을 설명할 때, 의료인이 전달하고자 하는 정보의 정확성과 재활용성을 높이는데 도움이 될 수 있다.
또한, 혈액 검사나 호르몬 수치와 같이 환자의 상태를 알려 주는 여러 가지 지표(parameter)들도 그 수치를 색깔이나 밝기, 투명도 등의 속성값을 통해 정확하게 표현할 수 있다면 환자에 대한 이해에 큰 도움이 될 수 있다.
또한, 환자가 병원을 옮겨 진료할 때마다 추가된 의료 그림의 요소가 자동으로 추가될 수 있다. 이처럼 추가된 그림에 따라 환자 증상의 악화, 완화와 같이 치료과정의 추이를 살펴볼 수 있으며 이러한 결과를 각 병원끼리 공유할 수 있기도 하다.
한편, 의료 빅데이터 구축을 위해서 각국의 정부는 여러 기술과 법적인 정비를 서두르고 있다. 빅데이터 플랫폼을 구축하여 병원과 건강보험의 연계, 혹은 병원 간의 연계를 통해 데이터를 모으려 하고 있으며 특히 대형 병원들은 병원에서 만들어지는 데이터를 표준화하기 위해서 노력을 기울이고 있다. 따라서 의료기관 간 표준화된 의료 그림 데이터의 교환이 가능해진다면 의료 빅데이터 구축에 큰 도움이 될 것이다.
한국 공개특허 제2018-0098869호
본 발명은 상기의 문제점을 해결하기 위해서 안출된 것이다. 본 발명의 목적은 이전까지 문자로 표현되거나 부정확하게 표현되던 그림 의료 정보를 정량화되고 구체화된 이미지(image) 혹은 그림(drawing)으로 바꾸는 것이다. 이를 통해 기존의 데이터가 가지는 단점을 피하고, 상세하고도 정확한 정보를 전달하는 자동 의료그림 생성 시스템을 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명이 속하는 기술 분야에서 전문 지식을 가진 자에게 명확하게 이해될 것이다.
본 발명에 따른 자동 의료그림 생성 시스템은,
진료 중 작성된 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출부(100);
상기 정보추출부(100)에서 추출된 정보로 만들어진 의료정보를 표현하도록 의료그림으로 형상화 하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성부(200);
모양생성부(200);에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이부(600);를 포함하되,
상기 기본모형(210)은,
전신이나 신체의 일부분을 나타낸 모형일 수 있으며, 장기, 혈관, 뇌 등과 같은 모형일 수 있으며,
상기 질병모형(220)은,
종양, 혹 등과 같이 형태를 가지는 모형이 될 수도 있으며, 염증이나 화상, 암이 전이된 부위 등과 같이 범위를 가지는 모형이 될 수도 있으며,
장기, 혹은 장기와 닮은 형태를 가지는 모형이 될 수도 있으며,
의료정보의 특성에 따라 질병의 위치, 크기, 모양, 색깔, 투명도, 텍스쳐 중 어느 하나 이상을 표현할 수 있도록 마련되고,
상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산부(300); 및
상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 이용해서 상기 기본모형(210)에서의 크기를 계산하는 크기계산부(400);에 의해 상기 질병모형(220)을 표현하는 것을 특징으로 한다.
또한, 본 발명에 따른 자동 의료그림 생성 방법은,
진료 중 작성된 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출단계(S100);
상기 정보추출단계에서 추출된 정보로 만들어진 의료정보를 표현하도록 의료그림으로 형상화하여 질병모형(220)을 생성하는 모양생성단계(S200);
상기 모양생성단계에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이단계(S600);를 포함하되,
상기 질병모형(220)은,
의료정보의 특성에 따라 질병을 위치, 크기, 모양, 색깔 및 투명도, 텍스쳐 중 어느 하나 이상을 달리하여 표현 할 수 있도록 마련되고,
상기 모양생성단계(S200)는,
상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산단계(S300); 및
상기 의료영상(110)에서 장기의 크기와 질병이 발생한 병변의 크기의 비율을 측정해서 상기 기본모형(210)에서의 크기를 계산하는 크기계산단계(S400);에 의해 상기 질병모형(220)을 표현하는 것을 특징으로 한다.
상기 과제의 해결 수단에 의해, 본 발명은 자동으로 의료 그림을 생성할 수 있어 의료진이 그림을 그리는 시간을 절약할 수 있다.
또한, 본 발명은 의사를 포함한 의료진이 환자의 상태를 파악함에 있어서 시간을 절약할 수 있다.
또한, 본 발명은 상세하고 정확한 의료 그림의 생성이 가능해진다.
또한, 본 발명은 환자가 질병에 대한 이해도를 더 가질 수 있게 되며 치료에 적극적으로 협조할 수 있게 한다.
또한, 본 발명은 구조화된 데이터를 짧은 시간에 입력할 수 있어 의료진의 업무 효율성을 높이고 데이터의 정확도를 높이는데 도움이 된다.
또한, 본 발명은 수치 형태로 된 데이터를 이전보다 정확하게 표현할 수 있다.
또한, 본 발명은 정량화 및 표준화된 의료그림의 공유를 통해 다른 의료기관끼리의 정보 공유를 원활하게 한다.
도 1은 본 발명인 자동 의료그림 생성 시스템(1)의 구성을 나타낸 구성도이다.
도 2는 전자의무기록(EMR,2)에서 문자 데이터(130)를 수신하여 2차원의 기본모형(210)에 질병모형(220)을 생성하는 것을 나타낸 일실시예이다.
도 3은 모양생성부(200)에서 전신 기본모형(210)에 간 질병모형(220)을 삽입할 수 있음을 보여주는 일실시예이다.
도 4는 기본모형(210)에 다양한 질병모형(220)을 2차원 및 3차원으로 생성하여 나타낸 일실시예이다.
도 5는 진료 중 동일한 질병의 시기 및 상황에 따른 의료정보가 여러 번에 걸쳐서 다르게 언급된 경우, 신뢰도적용부(500)에 의해 질병모형(220)의 중요도 혹은 신뢰도에 대한 가중치를 선정하는 것을 나타낸 일실시예이다
도 6은 위치계산부(300)에 의해 의료영상(110)에서 신체의 어떤 부위와 병변의 위치 사이의 거리를 측정하여 기본모형(210)에서의 질병모형의 위치를 수정한 뒤 의료영상(110)을 의료그림으로 변환한 실시례이다.
도 7은 동일하게 추출된 척추골절(Spine fracture) 의료 정보가 디스플레이부(600)에서 의사와 환자에게 각각 다른 의료그림이 제시된 일실시예이다
도 8은 머신 러닝을 통해 본 발명인 자동 의료그림 생성 시스템(1) 및 이를 이용한 자동 의료그림 생성 방법을 적용하여 질병의 위치와 크기를 나타낸 일실시예이다.
도 9는 의료영상(110)의 일부를 질병모형(220)으로 활용한 일실시예이다.
도 10은 디스플레이부(600)가 의사 단말에 전자의무기록 시스템(Electronic Medical System) 화면을 연동하여 의료 그림을 제공하는 일례를 도시한 것이다.
도 11은 질병모형(220)의 생성 중 둥근무늬(a), 얇은사선무늬(b), 굵은사선무늬(c) 및 점선사선무늬(d), 하트무늬(e), 문자를 이용한 무늬(f), 로고(g), 로고를 이용한 무늬(h)를 나타낸 일실시예이다.
도 12는 의료 영상에서 직접 추출한 이미지, 해부병리 소견 및 피부병 사진 등을 질병모형(220)의 텍스쳐로 사용할 수 있는 일실시예를 나타낸 사진이다.
도 13는 본 발명인 자동 의료그림 생성 방법의 구성을 나타낸 구성도이다.
도 14는 각 의료기관에서 진료된 의료 정보가 하나로 조합되는 것을 나타내는 일실시예이다.
도 15는 질병모형에 저장된 의료정보를 GUI인터페이스를 통해 나타내는 실시예이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 해당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예를 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 사용할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.
도 1에 나타난 바와 같이, 본 발명인 자동 의료그림 생성시스템은 정보추출부(100), 모양생성부(200), 위치계산부(300), 크기계산부(400), 신뢰도적용부(500), 디스플레이부(600)로 구성된다.
먼저, 상기 정보추출부(100)는 진료 중 작성된 문자 데이터(130) 및 의료영상(110) 중, 하나 이상에서 정보를 송수신하고 추출한다. 상기 정보추출부(100)는 도 1에 나타난 바와 같이, 전자의무기록(EMR, 2) 및 의료기관서버(3)로부터 자료를 수신 받는다.
상기 의료영상(110)은 엑스레이, MRI, CT 및 초음파 촬영 및 핵의학 영상, 진료실에서 찍는 사진을 포함하는 핵의학 검사인 PET(positron emission tomography) 이미지 등이 될 수 있다.
또한, 추출이 되는 의료정보 소스(source)는 각 의료진들에게 USB나 메일로 전달 받은 임상문서나, 병원에 저장된 전자차트자료일 수 있다. 이러한 자료들은 구조화가 되어 필드나 칼럼 형태로 구분이 되어 있을 수 있으나, 단순 문서형태로 저장될 수 있으며 데이터베이스에 구조화 된 자료로 저장이 되어 있을 수도 있다.
한편, 환자가 여러 번 외래를 방문하거나 입원을 할 경우에는 의료 정보도 여러 번 작성된다. 상기 정보추출부(100)는 이처럼 여러 번 작성된 자료에 대해서 의료 그림을 만드는데 필요한 데이터를 추출하는 역할을 하기도 한다. 또한 상기 정보추출부(100)는 다른 의료기관에서 받은 자료, 혹은 병원 외부 서버에 저장된 자료, 보험회사에 저장된 자료, 개인의 스마트 폰이나 개인 의료 기기에 저장된 자료, 각종 의료기기에서 전달 받은 자료 등에서도 데이터를 추출할 수 있다.
여기서, 상기 전자의무기록(EMR, 2)은 환자의 인적사항, 병력, 진료 기록 및 입·퇴원 기록 중 적어도 하나의 의료 정보를 전산화하여 저장하고, 환자가 정보 제공에 동의한 의료기관으로부터의 요청에 따라 환자의 의료 정보를 전자 차트 형태로 해당 의료기관의 서버에 제공하는 시스템을 지칭할 수도 있다.
상기 문자 데이터(130)는, 도 2에 나타난 바와 같이, 상기 전자의무기록(EMR, 2)외에도 다양한 건강기록 문서(health record), 즉 경과기록지, 수술기록지, 퇴원요약지 등에서 쓰이는 의료용어를 포함할 수 있다. 이외에도 수많은 문자형 혹은 숫자형으로 표시된 의료데이터 중에서 추출 된 데이터로, 병명 또는 진단명, 증상, 혈액 검사결과, 판독지, 수술명, 간호기록, 간호처치, 동의서, 근전도, 심전도 등의 각종 검사 기록과 같이 의료데이터라는 범주에 포함되는 문자형의 데이터를 말한다.
상기 문자 데이터(130)는 비단 진단명에 국한되지 않으며, 해부학적 부위, 시술명, 측정된 혈압수치를 나타낼 수도 있다. 혹은 의료인 뿐 아니라 재활치료사나 의료보조인, 환자 등의 활동에 의해 작성되는 데이터이거나, “위중하다”, “가볍다”, “크다”, “작다” 등의 환자의 상태를 나타내는 다양한 문자형 자료가 포함될 수 있다. 일례로, 상기 문자 데이터(130)는 ‘지방간’, ‘ankle pain’, ‘heart failure’과 같은 세계 각국의 문자(알파벳) 또는 영문과 같은 문자이거나, 숫자 혹은 문자와 숫자의 조합인 ‘K76.0’, ‘61515’, ‘N05’, ‘M51.0’과 같은 표준화된 데이터 혹은 의료 용어 코드일 수 있다. 상기 표준화된 의료 용어 코드는 의료개념을 SNOMED-CT, ICD-9, ICD-10, ICD-11, LOINC, CPT, ATC, RxNorm, ICNP, NMDS 등에서 제시하는 데이터를 말한다. 또한, 혈색소 수치 10.3 gram/deciliter와 같은 검사결과로, 숫자로 표현되는 데이터일 수 있다.
또한, 상기 문자 데이터(130)는 데이터의 구조가 별도로 지정되지 않거나 정형화되어 있지 않은 자유 진술형의 문자열일 수 있다. 이 경우에는 문자 데이터(130)에서 필요한 값만을 추출 해서 사용할 수 있다. 상기 정보추출부(100)는 여러 병원에 흩어져 있거나 외부 서버에 분산된 데이터로부터도 정보를 모을 수 있도록 구성된다.
일례로, 상기 정보추출부(100)는 어떤 환자의 EMR 진료 화면에서 사용자에 의한 어떤 이벤트(event) 즉, 병력 조회, 처방(처방전 작성)에 관한 메뉴가 선택되거나, 입원이나 수술, 검사 등의 조치(order)가 입력되거나, 여러 명의 환자 리스트에서 한 환자를 선택함으로써 진료를 개시하는 경우에, 시스템에서 상기 의료그림이 요청된 것으로 인지할 수 있다.
상기 정보추출부(100)는 상기 전자의무기록(EMR, 2)에 환자의 진료 기록을 검색하여, 요청된 시점을 기준으로 이전에 환자에게 발생된 모든 질환(질병)을 불러올 수 있다.
이 때, 상기 정보추출부(100)는 환자가 현재 방문한 의료기관 뿐만 아니라, 과거 방문한 타 의료기관(검진기관 포함)에서의 진료 기록(검진 기록 포함)을 모두 검색할 수 있다.
또 하나의 일례로, 상기 정보추출부(100)는 환자의 진료 기록으로부터, 감기, 복통, 두통 등과 같이 중증도가 낮은 질환을 제외하고, 갑상선 질환, 심장 질환, 폐 질환 등과 같이 중증도가 높은 질환을 선별해서 식별할 수 있다.
또한, 상기 정보추출부(100)는 환자의 진료 기록으로부터, 특정 질환(예, '뇌출혈')을 선별해서 식별할 수도 있고, 서로 연관 관계가 있는 질환(예, '당뇨병'과 '당뇨병성 신장질환' 등)들을 선별해서 식별할 수도 있고, 사용자가 관심 영역으로 지정한 특정 신체 부위(예, '폐', ‘뇌“)에서 발생한 질환을 식별하거나, '응급실에 실려 와서 약제 투여한 시점 이후'와 같이 특정 시점에 발생된 질환을 선별해서 식별할 수도 있다.
또한, 상기 정보추출부(100)는 환자의 진료 기록으로부터 의료데이터 식별 시, 질환의 발생 시점, 완치 시점, 발생 부위, 크기와 형상, 투여 약품과 수술, 입원, 각종 검사결과, 간호 기록 등의 치료 과정에 관한 데이터 또한 식별할 수 있다.
예를 들어, 도 10을 참조하면, 상기 정보추출부(100)는 임의의 시점에 상기 전자의무기록(EMR, 2)으로부터 환자의 진료 기록을 검색하여 이 환자에게 발생된 과거 질환들을 식별할 수 있다.
또한, 상기 정보추출부(100)는 환자 정보가 등록 되었을 때나 환자의 외래 진료가 신청이 되었을 때, 또는 매일 지정된 시점에 상기 전자의무기록(EMR, 2)으로부터 환자의 진료 기록을 검색하여 이 환자에게 발생된 과거 질환들을 식별할 수도 있다.
또한, 상기 정보추출부(100)는 환자를 진료하는 의사의 단말에서 출력되는 상기 전자의무기록(EMR, 2) 화면에서 '처방' 메뉴가 선택되면 상기 전자의무기록(EMR, 2)으로부터 환자의 진료 기록을 검색하고 이 환자에게 발생된 과거 질환들을 식별할 수도 있다.
한편, 상기 의료영상(110)은 엑스레이, MRI, CT, 초음파, 핵의학, PET(positron emission tomography)일 수 있고 혹은 피부과, 성형외과에서 환자 상태를 확인하기 위해 피부나 얼굴을 찍은 일반 카메라 사진(camera picture) 혹은 병리조직검사를 하기 위해서 만든 슬라이드를 촬영한 이미지일 수 있다.
상기 문자 데이터(130)와 의료영상(110)은 의료그림의 기본적인 소스(source)가 된다. 그러나 상기 문자 데이터(130)만으로는 증상의 정확한 위치, 병변의 범위 등을 표현함에 있어 한계가 있으며 어떠한 의료영상이 해당 의료그림의 소스가 되었는지를 사용자가 알 필요가 있을 수 있다. 따라서 소스로 쓰인 문자 데이터(130)와 의료영상(110)은 사용자가 만들어낸 의료그림과 함께 저장되며 사용자가 원할 경우 조회가 가능하다.
다음으로, 상기 모양생성부(200)는 상기 정보추출부(100)에서 추출된 의료데이터의 종류와 상태를 적합한 기호 및 질병을 상징하는 그림으로 형상화 하여 기본모형(210)과 질병모형(220)을 생성한다. 상기 기본모형(210)과 질병모형(220)은 2D 또는 3D 데이터이면서 장기 혹은 장기의 일부를 형상화 한 것일 수 있다.
상기 기본모형(210)은 신체의 일부 또는 전체를 나타낸 모형이다. 도 2 및 도 3에 나타난 바와 같이, 상기 기본모형(210)은 인체의 전신이거나, 소화기계 혹은 호흡기계와 같은 인체의 일부 시스템만을 나타낸 것일 수도 있고, 좌측 다리 혹은 머리 등과 같이 신체의 일정 영역만을 표현 하는 것일 수도 있다.
상기 질병모형(220)은 예를 들어 ‘폐암’과 같은 질병이 발생한 모양의 윤곽(boundary)을 가져와서 만들어낼 수 있고 의료정보의 특징과 환자 상태에 따라 외형디자인이나 크기, 위치, 모양, 색깔, 투명도, 밝기, 텍스처 중 하나 이상이 달라지는 모형 일 수 있다.
또한, 상기 질병모형(220)은 질병의 종류와 상태, 혹은 의료정보를 표현하는 모형일 수 있다. 도 4에 나타난 바와 같이, 질병을 확인할 수 있는 장기 뿐만 아니라 시술 또는 수술부위, 간호 관찰 부위, 간호 중재 부위, 재활 치료를 받은 부위, 조직 검사를 시행 받은 부위, 영상 검사를 받은 장기 및 환자의 증상이 있는 위치, 의료진이 관심이 있는 위치 등을 나타낸다.
또한, 상기 질병모형(220)은 상기 모양생성부(200)에서 추출 할 수 있을 뿐만 아니라, 사용자가 직접 추가하거나 그려서 이미지화 할 수 있다. 상기 질병모형(220)은 환자나 의료진이 해당 정보를 직접 그려서 반점이 있는 자리, 가려운 자리, 혈압을 잰 자리, 수술을 받은 장기, 각종 간호를 받은 신체부위, 재활치료를 받은 신체부위 및 주사를 맞은 자리 등을 표현할 수 있다. 예를 들어, 환자가 지방간이 있을 때 의료진이 상기 전자의무기록(EMR, 2)에 기록을 하지 않고 직접 기본모형(210)을 배경으로 지방간의 모습을 그릴 수 있다. 또는 의료진이나 환자가 사전에 저장되어 있는 질병모형(220) 중 어느 하나를 선택하여 질병상태를 표현할 수 있다.
상기 질병모형(220)은 2차원 또는 3차원 이미지로 나타나고, 위치, 크기, 모양, 색깔 및 투명도, 텍스쳐 중 하나 이상을 조절할 수 있도록 마련된다.
상기 질병모형(220)은 인체의 전체, 일부 및 단면(예를 들어, CT 또는 MRI로 촬영한 인체 절단면 이미지)을 나타내는 이미지로 구현될 수 있다. 또한, 도9에 나타난 바와 같이, 상기 질병모형(220)은 환자를 촬영한 하나 이상의 의료 영상을 편집해서 구성될 수도 있다.
상기 모양생성부(200)에서 상기 질병모형(220)을 생성할 때, 질병의 이름, 질병의 중증도, 빈도, 급·만성 정도 및 악성유무, 각종 임상검사, 혈액 검사 수치, 치료의 종결 유무, 질병의 빈도 등 의료정보에 따라 상기 이미지의 위치, 모양, 크기, 색깔, 밝기 또는 투명도, 무늬 중 하나 이상을 달리하여 생성할 수 있다. 일실시예로, 환자의 전경골근(tibialis anterior)의 마비가 왔을 때, 상기 질병모형(220)의 색깔을 붉은색, 초록색, 푸른색 중 어느 하나 이상의 색을 선택 혹은 조합하여 근육의 근력(muscle strength)을 표현할 수 있다.
예를 들어, 해당 근육의 근력(muscle strength)이 정상의 20%이고 근육의 힘을 표현하는 색깔을 붉은 색이라고 한다면, 붉은색 채널의 최댓값이 255일 경우 255(붉은 채널의 최댓값) X 0.2(근력) = 51(디스플레이부에 나타나는 붉은색의 정도)로 표현할 수 있다. 한편, 신장의 기능을 표현할 경우에는 혈액 검사의 하나인 eGFR(estimated glomerular filtration rate)의 수치를 녹색의 값을 나타내는 G값을 연동하여 표현할 수 있다. eGFR이 100인 경우 255(초록 채널의 최댓값) X 1(eGFR) =255(디스플레이부에 나타나는 초록색의 정도), eGFR이 50인 경우 255(초록 채널의 최댓값) X 0.5(eGFR) =255/2(디스플레이부에 나타나는 초록색의 정도), eGFR이 0인 경우 G값을 0으로 표시되게 할 수 있다. 즉 어떤 혈액 검사의 결과 값을 인자로 하는 함수에 의해서 색깔, 밝기, 투명도, 무늬와 같은 이미지의 속성을 하나 이상 변동하여 표현함으로써 환자의 상태를 나타낼 수 있다. 단지 혈액 검사뿐만 아니라 의료데이터를 인자로 하는 모든 함수에 의해 색깔을 정할 수 있다. 예를 들면, 폐에 보이는 종양이 악성인 경우는 빨간색을, 양성인 경우는 초록색으로 표시할 수 있고, 치료가 끝난 질병은 회색으로, 치료중인 상병은 붉은 색으로 표시할 수도 있다.
또한, 상기 질병모형(220)은 색깔, 밝기, 투명도와 같은 일반적인 이미지의 특징 외에 텍스쳐(texture)를 추가하여 완성할 수 있다. 즉, 상기 질병모형(220)은 질병의 종류, 급·만성도, 위중도, 악성도, 빈도, 치료의 종료 유무 등을 표현하기 위해 상기 텍스쳐를 이용하는 것이다. 예를 들어, 도 11에 제시된 무늬들을 사용하여 협착증(stenosis)에 대해서는 둥근무늬(a)로 표현할 수 있고, 상피암(squamous cell carcinoma)에 대해서는 얇은사선무늬(b)로 표현할 수 있고, 혈관종(hemangioma)에 대해서는 굵은사선무늬(c)로 표현할 수 있으며, 근육마비(paralysis)에 대해서는 점선사선무늬(d)로 표현할 수 있다. 여기서 제시한 무늬는 단지 몇 가지 예를 제시한 것으로, 상기 텍스쳐는 여기에 한정되지 않고 다양하게 표현 될 수 있다. 또한 사람이 그린 그림(figure)이나 심장질환을 표현하기 위해 하트모양(e)을 이용할 수 있고 무늬의 일부에 문자를 넣어서 표현(f)할 수도 있으며, 허혈성 심장실환(ischemic heart disease)을 표현하기 특별히 디자인 된 질병을 표현하는 로고(logo)(g)나 아이콘(icon), 알파벳, 숫자 혹은 이들을 조합(h)하여 매우 다양한 질병 모형의 텍스쳐를 만들 수 있다.
추가로, 상기 의료영상(110)에서 추출한 이미지, 또는 해부병리 소견을 나타낸 사진이나 이미지, 피부병 사진 등과 같이 촬영하거나 추출된 이미지를 상기 텍스쳐로 바로 변환할 수 있도록 마련된다. 즉, 모든 의료 영상을 상기 질병모형(220)에 모형이나 텍스쳐로 적용할 수 있다. 예를 들어, 도 12(a)에서 현미경 병리조직 소견을 상기 텍스쳐로 사용할 수 있으며, 도 9에서와 같이 뇌출혈에서 보이는 뇌출혈의 형태를 혈종 모양을 따라 윤곽선만을 선택해서 질병 모형의 윤곽선으로 활용할 수 있다. 혹은 병리학 교과서에서 나오는 전형적인 병리 소견을 편집한 것이거나 해당 환자를 촬영한 사진을 편집한 것일 수 있다. 도 12(b)는 환자의 피부 병변을 직접 촬영한 이미지로, 상기 이미지를 해당 부위에 상기 텍스쳐로 활용할 수 있다. 도 12(c)는 MRI에서 촬영된 이미지의 일부이다. 또한, 도 9는 뇌출혈이 있던 환자의 질병 모형에서 텍스쳐를 만들기 위해 CT 이미지의 일부를 가져오는 경우를 보여주는 그림으로 이렇게 함으로써 더 다양한 임상 데이터를 이미지화 할 수 있다.
상기 기본모형(210)과 질병모형(220)은 2차원 또는 3차원으로 형성될 수 있고 상기 질병모형(220)은 상기 기본모형(210)에 하나 이상 표현되어 여러 질병을 가진 환자의 상태를 표현할 수 있다.
또한 의료그림 생성 시스템은 기계 학습(Machine learning)이 가능하다. 이 머신 러닝 시스템은 문자 데이터나 의료 이미지중 하나 이상이 입력되면 의료그림을 예측 할 수 있다. 또한 상기 의료그림에서의 그 질병모형(220)의 위치나 모양(shape), 크기, 색깔, 무늬, 투명도, 질병 모형의 무늬 중 하나 이상을 예측하도록 훈련될 수 있다.
도 3에 나타난 바와 같이, 상기 모양생성부(200)는 상기 기본모형(210)에 간(Liver)을 나타낸 질병모형(220)을 결합하여 생성 할 수 있다. 또한 도 4에 나타난 바와 같이, 다양한 의료정보를 표현하기 위해 상기 모양생성부(200)에서는 상기 기본모형(210)의 특정 위치에서 다양한 상기 질병모형(220)을 결합하여 의료 그림을 생성 할 수 있다.
한편 상기 모양생성부(200)의 기능은 머신 러닝으로 수행될 수도 있고, 상기 질병모형(220)이 실제 병변의 모양을 따라서 만들어지도록 훈련될 수 있다. 도 8에서 나타난 바와 같이, 환자의 종양 모양이 둥근 모양인 경우는 둥근 모양의 둥근 모양의 질병 모형이(A), 별 모양인 경우는 별모양의 질병 모형을 생성하도록 할 수 있다(B).
다음으로, 상기 위치계산부(300)는 상기 의료영상(110)에서 장기와 질병 병변의 위치 사이의 거리를 측정하고 의료그림에서의 상대적인 거리를 계산하여 상기 질병모형(220)의 위치를 계산한다. 상기 기본모형(210)의 위치는 상기 의료영상(110)에서 좌푯값으로 나타내어 확인할 수도 있다
도 6에 나타난 바와 같이, 상기 위치계산부(300)는 환자의 X-ray 사진의 장기 일부분과 질병 위치 사이의 거리를 측정할 수 있다. 이를 상기 기본모형(210)에서는 상대적인 거리로 변환하여 상기 질병모형(220)의 위치를 계산할 수 있다. 상기 위치계산부(300)의 도 6의 의료영상(110)에서는 심장의 첨부(apex)가 기준점 (0,0)으로 설정되고 상기 질병모형(220)의 좌표를 추출한 뒤, 질병 위치의 좌표 (x, y)를 추출하고, 우측 폐의 가장자리와 거리와의 거리 가로값(x1)과 좌측 심장 첨부에서 거리 세로값(y1)을 계산한다. 다음으로, 상기 의료영상(110)의 크기와 상기 기본모형(210)의 상대적인 이미지 크기를 측정한 뒤 상기 기본모형(210)에서도 동일한 기준점을 설정하고 상대적인 가로값(x2)와 상대적인 세로값(y1)을 계산한 뒤 상기 질병모형(220)의 위치값을 (x’, y’)로 생성한다. 이때 기준점은 구조에 따라 폐 첨부(lung apex)나, 늑골횡격막각(costophrenic angle) 등으로 다양하게 선택이 될 수 있다. 이렇게 영상에서 측정된 거리를 이용한 상대적인 길이는 거리를 이용한 다양한 함수에 의해서 산출이 가능하다. 예를 들어 둘 이상의 구조물과의 거리를 구할 때, 그 거리가 측정을 실시할 경우에 따라 다를 수 있다. 이때에는 여러 측정치의 평균치를 채택해 질병모델의 위치를 선정할 수도 있다.
다음으로, 상기 크기계산부(400)는 상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 이용하여 상기 기본모형(210)에서의 상기 질병모형(220)의 상대적인 크기를 계산한다. 예를 들면 상기 크기계산부(400)는 상기 의료영상(110)에서 어떤 장기의 크기와 질병 병변의 크기의 비율을 측정해서 상기 기본모형(210)에서의 질병모형의 상대적인 크기를 계산할 수 있다. 또한 이때 병변의 크기를 비교하기 위해 선택되는 장기는 둘 이상일 수 있으며 두 개 이상 선택된 장기에서 측정된 비율이 다를 경우 비율들의 평균을 채택해서 상기 질병모형(220)의 크기를 결정할 수 있다. 한편, 상기 위치계산부(300)와 크기계산부(400)는 상기 모양생성부(200)와 마찬가지로 머신 러닝 시스템에 의해 수행이 가능하다.
의료 영상에서 질병이미지의 병변부위에 대한 영역의 라벨링(labeling)을 시행하여 학습을 진행한 다음, 머신 러닝에 의해 의료 그림이 자동 생성되도록 할 수 있다. 이를 통해 질병 모형의 위치, 크기, 색깔 중 하나 이상이 학습되어서 영상 자료가 입력되었을 때 질병모형의 크기와 위치가 예측 되도록 할 수 있다.
다음으로, 상기 신뢰도적용부(500)는 질병모형의 신뢰도를 설정한다. 신뢰도란 의료그림에 나타난 질병모형의 속성값 중 하나로, 예를 들면, 질병모형의 정확도를 0부터 1까지의 수치로 나타낸 값이다. 신뢰도의 설정이 필요한 이유는 다음과 같다.
상기 기본모형(210) 위에 그려지는 상기 질병모형(220)은 시스템에 입력된 문자나 이미지, 영상 등과 같은 의료 데이터가 될 수 있으며 사용자가 임의로 그린 의료 그림에서 자동으로 추출될 수도 있다. 그러나 머신 러닝으로 추출하는 그림이기 때문에 그림이 실제와 다를 가능성이 있으며, 상기 질병모형(220)의 위치나 크기에 대한 정보가 정확하지 않을 가능성이 있기 때문에 신뢰도 설정이 필요하다.
또한 머신 러닝으로 추출한 상기 질병모형(220)의 근거가 되는 소스(SOURCE)도 함께 저장된다. 이때 저장되는 소스는 의료코드, 병명, X-RAY사진, CT영상, EMR을 통해 사용자가 직접 그린 그림 등이 될 수 있을 것이며, 이에 국한 되는 것이 아니라 기계가 질병모형을 그려내기 위한 근거가 되는 모든 의료 정보가 될 수 있다.
이렇게 저장된 신뢰도 정보나 소스는 사용자가 GUI인터페이스 등을 이용해 그림을 클릭하면 나타날 수 있다.
또한 이 과정을 통해 상기 질병모형(220)에 신뢰도를 적용할 수 있다. 같은 환자에게 동일한 부위에 질병이 반복하여 발생하는 경우, 비슷한 질병모형(220)이 여러 번 형성되었으므로 신뢰도를 적용할 수 있는 것이다.
예를 들어 환자가 동일한 불편 증상으로 인해 여러 병원에서 진료를 받아 자료가 축적되는 경우, 각 병원에서의 데이터를 기준으로 다수의(multiple) 의료 모형이 만들어질 것이다. 이 경우 각 병원에서 입력하는 질병모형(220)은 크기나 모양에 차이가 있을 수 있으며, 상기 질병모형(220)들이 중첩 되어 가중치가 적용될 수 있다. 또 다른 예로 환자가 맹장염으로 내원을 했을 경우, 입원 중에도 복통의 위치와 크기는 시간에 따라 변할 수 있다. 이 때 복부 전체가 아프다가, 아랫배만 아프다가, 나중에는 맹장이 있는 부위로 초점화(localizing)하는 경과를 보일 수 있다. 이와 같이 환자가 동일한 상병에 대해서 여러 가지의 질병모형(220)을 필요로 하는 경우에는 시점에 따른 변화를 표시할 필요가 있다. 이때에는 상기 질병모형(220) 여러 개로 증상들을 각각 표현하거나, 상기 질병모형(220)을 하나로 두되 가장 많이 중첩된 영역에 더 높은 신뢰도의 가중치를 둘 수 있다. 또한, 과거의 상태보다는 최근의 상태가 더 중요하다고 판단되는 질병정보에 대해서는 상기 신뢰도적용부(500)에서 상기 기본모형(210) 위에 상기 질병모형(220)을 해당 질환의 발생과 치료 과정에 따라 변화시켜 표현할 수 있다.
상기 신뢰도적용부(500)에서는 질병모형(220) 위에 중첩된 영역이 생길 때 각 영역에 대한 임상적 중요도 등에 따라 상기 질병모형(220)의 신뢰도가 설정된다. 그 중요도나 신뢰도 등에 따라 질병모형의 속성값인 밝기, 색깔, 투명도, 텍스쳐 등 하나 이상이 표현될 수 있도록 신뢰도를 설정할 수 있는 것이 바람직하다. 예를 들어 가장 연한 영역의 중요도는 30, 가장 진한 영역의 중요도는 70 으로 표현되어 의료진에게 각 영역의 중요도에 대한 정보를 시각적으로 제공한다.
상기 신뢰도적용부(500)는 질병의 발생 시점에 따라 신뢰도를 적용할 수 있다. 예를 들면 최근에 발생한 소견일수록 중요성이 더 클 수 있다. 혹은 반대로 최초의 증상일수록 증상이 더 중요할 수 있다. 이런 경우는, 중요도에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 다르게 생성하는 것이 바람직하다. 일례로, 도 5에 나타난 바와 같이, 시간에 따라 (a)에서 (c)순으로 증상의 위치와 크기가 변화된 경우(질병의 발생이 생성된 경우), 병변의 위치가 중첩된다. 이렇게 중첩되는 정도에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 진하게 설정함으로써 임상적으로 더 중요하다고 여겨지는 위치를 의료인이 확인할 수 있다.
또한, 상기 신뢰도적용부(500)에서는 도5와 같이 색이나 무늬 등을 통해 상기 기본모형(210) 위에 질환이 진행되는 시점의 변화를 나타낼 수 있다.
아래에는 본 발명인 의료그림 시스템을 일실시예를 통해 보다 자세하게 설명하고자 한다.
도 14는 각 의료기관에서 진료한 의료 정보가 하나의 의료그림으로 조합될 수 있음을 나타내는 일실시예이다. 예를 들어 환자 한 명이 뇌졸중을 앓아 A병원에서 치료를 받은 경험이 있다고 하자. 이 치료를 통해 A병원에서 만들어진 뇌졸중 질병모형(221)이 A병원의 의료기관서버(3-1)에 저장된다. 이는 환자의 개인단말기에서 확인할 수 있으며, 다른 병원의 의료진들과도 공유가 가능하다.
시간이 지나 이 환자는 신장염이 발생하여 B병원에서 치료를 받는다. 이 때 A병원에서 치료받았던 기록을 B병원에서 받아볼 수 있다. 기존 A병원에서 환자의 뇌졸중은 일부 치료되었지만, 후유증이 남은 상태라면 상기 뇌졸중 질병모형(221)의 뇌 부분이 노란색 등으로 표시될 수 있으며, 신장염은 치료를 계속 받고 있는 상태이므로 신장염 질병모형(222)이 빨간색 등으로 표시할 수 있다. 상기 신장염 질병모형(222)은 B병원의 의료기관서버(3-2)에 저장된다.
B병원에서 추출된 신장염 질병모형(222)은 증상의 추이에 따라 변화하는 과정을 나타낼 수 있다. 이 때, 혈액검사결과를 연동하여 색깔의 특성을 조정할 수도 있다. 예를 들면 신장 기능을 나타내는 혈중 크레아티닌(creatinnine) 수치를 인자로 하는 함수에 의해서 변환된 값에 색깔을 정하는 알고리즘을 추가하여 rgb 투명도 값을 결정함으로써 질병모형의 색깔을 결정하는 것이다.
다시 이 환자는 간염이 발생하여 C병원에 방문하게 되고, C병원 역시 이전의 A, B병원에서 환자의 진료 기록들을 전송받는다. 환자는 C병원에서 진료를 받으며 이 과정에서 간염 질병모형(223)이 만들어지고 상기 간염 질병모형(223)이 C병원의 의료기관서버(3-3), 혹은 개인 단말기에 저장된다.
이후, 환자는 좌측 다리의 골절 치료를 위해 D병원에서 입원 치료를 받은 뒤 퇴원하게 된다. D병원에서는 B병원에서 치료받던 환자의 신장염이 완치되었음을 확인하고 정보를 업데이트한다. 이로써 단말기의 전신 기본모형(210) 의료그림에서 ‘치료 중’이라는 뜻으로 빨갛게 표시되어있던 상기 신장염 질병모형(222)은 사라진다. 한편, 이제 지속적인 관찰이 필요할 좌측 다리 골절 질병모형(224)은 초록색 등으로 표시될 수 있다.
상기 실시예와 마찬 가지로 질병모형과 이와 관련된 추가적인 정보 즉, 뇌졸중, 간염 등과 같은 질병의 이름, 치료 경과, 치료 중인 약물, 해당 질병과 관련된 혈액검사, 각종 기능 검사 결과 등이 저장되어 한꺼번에 관찰할 수 있는데, 의료 모형들은 하나 이상의 의료 기관, 혹은 네트워크에 존재하는 서버에서 수집되어 디스플레이 될 수 있다. 이렇게 함으로써 이를 공유 받은 각 병원에서는 해당 병원에서 일어난 치료에 관한 사항이나 전에 있던 증상들의 추이 등을 업데이트하여 질병의 치료나 악화 등을 살펴볼 수 있다.
또한, 이렇게 여러 병원에서 데이터를 수집하는 방법은 진료그림이 만들어지기 전에 의료정보가 추출되는 단계에서도 적용될 수 있는데, 의료 그림을 생성하는데 필요한 정보를 하나 이상의 병원에서 추출해서 그림을 생성하는 방법이다. 또한 이러한 의료정보는 네트워크에 존재하는 되거나 하나 이상의 서버에서 추출되어 그림이 생성될 수 있다. 혹은 이러한 정보는 환자가 소유하고 있는 데이터가 저장된 하나 이상의 개인 기기에서도 추출되어 의료그림이 생성될 수 있다.
다음으로, 상기 디스플레이부(600)에서는 상기 신뢰도적용부(500)까지 거쳐 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 모형을 제시 할 수 있다. 이는 상기 기본모형(210)과 질병모형(220)을 보는 사람의 의료정보 이해도에 따라서 전달되는 정보의 전문성을 다르게 할 수 있는 장점이 있다. 예를 들어 전문적인 의료인에게는 구체적이고도 직접적인 이미지가 제시될 수 있고, 환자에게는 간단하면서도 비교적 자신의 질환 및 증상이 알기 쉽게 제시될 수 있다. 예를 들어 도 7에 나타난 바와 같이, 상기 디스플레이부(600)에서 척추골절(Spine fracture)모형이 의사와 환자에게 각각 달리 제시될 수 있다. 즉, 의사에게는 해부학적인 정보를 더 제공하는 뼈가 기본모형(210)으로 선택되었고 골절의 위치도 척추의 분절(vertebral segment)에 구체적으로 표현된 반면 환자에게는 사람의 뒷모습이 기본모형(210)이 선택되었고 골절의 위치도 피부를 배경으로 간략하게만 표현되었다.
상기 디스플레이부(600)는
또한, 질병의 발생 시점에 따라 GUI 인터페이스의 조작을 통해 상기 디스플레이부(600)에서 구현하는 상기 의료그림의 시점을 전환 할 수 있다. 예를 들면 GUI의 조작에 따라 1년 전 혹은 5년 전의 질병상태를 확인할 수 있고 특정 질환의 발생 시점을 GUI의 조작에 의해 찾을 수도 있다. 여기서 GUI 컨트롤은 의료 그림의 시점을 선택할 수 있는 수단을 사용자에게 제공한다.
상기 디스플레이부(600)는 윈도우창, 아이콘, 스크롤바 등의 GUI요소 중 적어도 하나의 형태로 출력될 수 있고, 인체 이미지 및 GUI 메뉴(일례로 ‘스크롤 바’) 등을 포함하여 구성될 수 있다. 또한, 상기 디스플레이부(600)는 상기 GUI 컨트롤이 지시하는 시점이나 시간의 흐름을 나타내기 위한 시계, 달력, 날짜, 그래프, 좌표, 프로그레스 바, 시점 표시란 등을 더 포함할 수 있다.
여기서, 상기 GUI 컨트롤은 환자 상태 조회 화면에 대한 사용자의 조작을 인식하기 위한 부분으로서, 예를 들어 마우스, 중력, 진동, 터치 센서, 마이크, 카메라 중의 하나 이상의 조합을 입력시켜서 조작할 수 있게 구성될 수 있다. 추가적으로 상기 디스플레이부(600)는 상기 GUI 컨트롤이 지시하는 시간의 흐름이나 시점을 화면 내에 그래프의 형태로 길이, 각도, 부피, 숫자 혹은 텍스트를 이용해 표현하여 사용자에게 알려 줄 수 있다.
예를 들어, 상기 GUI 컨트롤은 의료그림의 시점을 전환하는 기능의 스크롤 바 형태로 구현될 수 있으며, 이 밖에도 각종 버튼(플레이 버튼, 뒤로 가기 버튼, 빨리 가기 버튼, 세팅 버튼, 라디오 버튼), 체크박스, 드롭다운 메뉴, 슬라이더, 프로그레스 바, 터치, 클릭 및 커서의 움직임 중 적어도 하나를 인식하는 화면 영역 등으로 구현될 수 있다.
또한, 상기 디스플레이부(600)는 상기 기본모형(210) 내 질환 발생 위치에서 GUI 인터페이스가 실행되었을 경우, 상기 질환 발생 위치와 연관시켜 말풍선을 표시하고, 말풍선을 통해 질환명, 발생시점, 중증도, 현재 상태 등에 관한 정보를 텍스트 형태로 시각화 할 수도 있다. 여기서 상기 GUI 이벤트는 사용자가 상기 환자 상태 조회 화면을 마우스 클릭, 마우스 오버, 마우스 휠, 마우스 떠남(leave), GUI 포커싱, 키보드 입력, 손가락 터치, 소리 인식, 인체 동작 인식 등에 의해 발생되는 입력 이벤트일 수 있다.
예를 들어, 상기 디스플레이부(600)는, 도 15에 나타난 바와 같이, 상기 인체 이미지에서 사용자가 터치하거나 마우스 커서가 위치하는 영역과 연관시켜 말풍선을 출력하고, 말풍선을 통해 해당 영역에서 발생된 질환에 관한 상세 정보를 텍스트 형태로 시각화 할 수 있다.
일례로, 상기 디스플레이부(600)는 인체 이미지 상에서 마우스 포커싱, 클릭, 터치 등과 같은 GUI 인터페이스의 실행이 발생할 경우, 상기 디스플레이부(600)를 요청한 의사의 단말에서 구동하는 EMR(2) 진료 화면을 전환할 수 있다. 이처럼, 상기 디스플레이부(600)는 별도의 컨텍스트 메뉴를 제공하지 않아도 표시되는 화면을 통해 EMR(2) 진료 화면을 전환하는 기능을 제공할 수 있다.
도 1에 나타난 바와 같이, 의료그림은 상기 의료기관서버(3)를 경유하여 해당 환자를 진료하는 의사의 단말 내 전자의무기록(EMR, 2) 진료 화면의 일부에 출력되도록 하거나 상기 전자의무기록(EMR, 2) 진료 화면을 대체하여 출력되도록 할 수 있다.
아래는, 도 13에 나타난 바와 같이, 본 발명인 자동 의료그림 생성시스템을 이용하여 자동 의료그림을 생성하는 방법을 설명하고자 한다.
먼저, 제1단계(S100)는 정보추출단계로 진료 중 작성된 문자 데이터(130), 및 의료영상(110) 중 하나 이상에서 정보를 추출한다. 상기 정보추출단계는, 도 13에 나타난 바와 같이, 전자의무기록(EMR, 2) 및 의료기관서버(3)로부터 자료를 수신 받는다.
상기 의료영상(110)은 엑스레이, MRI, CT 및 초음파 촬영 및 핵의학 영상, 진료실에서 찍는 사진을 포함하는 핵의학 검사인 PET(positron emission tomography) 등에서 추출된 이미지이다. 또한, 상기 문자 데이터(130)는 환자 상태를 나타내는 문자형 데이터를 말한다.
다음으로, 제2단계(S200)는 모양생성단계로 여기서는 상기 정보추출단계에서 추출된 정보가 질병의 종류와 상태를 표현하도록 기호나 이미지로 형상화하여 상기 기본모형(210)과 질병모형(220)을 생성한다. 상기 기본모형(210)과 질병모형(220)은 2차원 또는 3차원 이미지로 생성된다. 상기 기본모형(210)은 전신, 신체의 일부, 장기, 혈관 등이 될 수 있으며, 상기 질병모형(220)은 위치, 크기, 모양, 색깔 및 투명도, 텍스처 중 하나 이상을 달리하여 선택할 수 있도록 마련된다.
다음으로, 제3단계(S300)는 위치계산단계로 상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 질병모형(220)의 위치를 계산한다. 상기 기본모형(210)에서의 위치 계산은 상기 의료영상(110)에서 2차원 혹은 3차원의 좌푯값으로 표현되거나 계산 될 수 있다.
다음으로, 제4단계(S400)는 크기계산단계로 상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 이용해서 상기 기본모형(210)에서의 상대적인 크기를 계산한다.
다음으로, 제5단계(S500)는 신뢰도적용단계로 진료 중 동일한 질병이 여러 번 의료 기록에 언급되어 상기 질병모형(220)이 여러 번 형성된 경우, 각 질병모형의 신뢰도나 발생의 빈번함에 따라 가중치를 적용한다. 상기 신뢰도적용단계에서는 상기 질병모형(220)의 신뢰도와, 모형들이 중첩된 횟수에 따라 가중치가 설정된다. 상기 신뢰도적용단계는 질병의 발생 시점에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 달리 생성한다.
또한, 상기 신뢰도적용단계는 상기 기본모형(210) 내 질환 발생 위치의 색상을 변경하거나 질병모형의 크기, 모양, 밝기, 투명도, 텍스쳐 중 하나 이상을 사용자가 조절하여, 질환의 발생 및 치료 과정에 따른 장기의 변화 양상을 시각화할 수 있다.
또한, 상기 신뢰도적용단계는 과거부터 현시점까지 환자에게 발생된 복수의 질환에 대해, 질환의 발생 시점에 따라 순번(번호, 숫자)을 부여하고, 부여한 순번을 상기 기본모형(210) 내 질환의 발생 위치에 상기 발생 시점에 따라 순차적으로 시각화 하여, 각 질환의 발생과 발생 위치 및 발생 순서를 안내할 수 있다.
다음으로, 제6단계(S600)는 디스플레이단계로 상기 모양생성단계와 신뢰도적용단계를 거쳐 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시할 수 있다. 질병의 발생 시점에 따라 GUI 컨트롤 등의 조작에 의해 상기 디스플레이단계에서 구현하는 상기 의료그림의 시점이 전환된다. 질병의 발생 시점에 따라 GUI 컨트롤 등의 조작에 의해, 상기 디스플레이단계에서 구현하는 상기 질병모형(220)의 크기 또는 방향이 전환 될 수 있다.
또한, 본 발명인 자동 의료그림 생성 시스템(1) 및 이를 이용한 자동 의료그림 생성 방법은 기계학습(machine learning-이하 머신 러닝)에 적용하여 실행될 수 있다. 이는 서포트 벡터 머신(Support vector machine), 합성곱 신경망(convolutional neural network), generative adversarial neural network, generative model 등 통상 머신 러닝으로 분류할 수 있는 알고리즘을 포함한다. 머신 러닝 시스템은 문자 데이터(130)와 의료영상(110) 중 하나 이상을 입력 데이터로 학습을 수행하고 예측을 할 수 있으며 의료그림을 예측하는 시스템을 구성할 수 있다. 상기 머신 러닝 시스템은 질병 모형을 학습하여 모양, 밝기, 투명도, 위치 및 텍스쳐, 크기중 하나 이상을 예측할 수 있다.
일례로, 도 8에 나타난 바와 같이, 머신 러닝을 통해 상기 기본모형(210) 및 질병모형(220) 중 하나 이상을 생성할 수 있다.
또한, 본 발명인 머신 러닝 기반의 자동 의료그림 생성 시스템(1)은 자동 의료그림 생성 시스템(1)과 동일한 구성이다. 진료 중 작성된 상기 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 상기 정보추출부(100)에 데이터가 입력되면 상기 기본모형(210)에 상기 질병모형(220)을 예측하여 표현 할 수 있도록 한다.
상기 질병모형(220)은 질병을 위치, 크기, 모양, 색깔, 투명도, 텍스쳐 및 크기 중 어느 하나 이상을 의료정보의 특성에 따라 예측하는 것을 특징으로 하여 머신러닝이 하나 이상의 역할을 수행할 수 있도록 만들어질 수 있다.
상기 과제의 해결 수단에 의해, 본 발명은 자동으로 의료 그림을 생성할 수 있어 의사가 그림을 그리는 시간을 절약할 수 있다.
또한, 본 발명은 의사를 포함한 의료진이 텍스트로 된 진료 기록보다 환자의 상태 파악에 소요되는 시간을 절약할 수 있다.
또한, 본 발명은 상세하고 정확한 의료 그림의 생성이 가능해진다.
또한, 본 발명은 환자가 질병에 대한 이해도를 더 가질 수 있게 되고 치료에 적극적으로 협조할 수 있다.
또한, 본 발명은 구조화된 데이터를 짧은 시간에 입력할 수 있어 의료진의 업무 효율성을 높이고 데이터의 정확도를 높이는데 도움이 된다.
또한, 본 발명은 수치 형태로 된 데이터를 정량화하여 의료그림에 통합적으로 표현할 수 있다.
또한, 본 발명은 자동생성된 의료이미지를 사용자가 확인하고 수정하여 의료그림의 신뢰도를 높인다.
또한, 본 발명은 여러 번 진료된 증상의 경우 가중치를 표현하여 환자 증상을 나타내는 의료그림의 신뢰도를 높인다.
또한, 본 발명은 이러한 질병 이미지를 여러 병원에서 수정, 보완할 수 있게 하여 환자 증상의 신뢰도를 높인다.
또한, 본 발명은 이러한 질병 이미지를 병원 혹은 의료진끼리 공유할 수 있게 하여 환자의 질병에 대한 병원 간의 의사소통을 원활하게 한다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 기술한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1. 자동 의료그림 생성 시스템
100. 정보추출부
110. 의료영상
130. 문자 데이터
200. 모양생성부
210. 기본모형
220. 질병모형
300. 위치계산부
400. 크기계산부
500. 신뢰도적용부
600. 디스플레이부
2. 전자의무기록(EMR)
3. 의료기관서버
S100. 진료 중 작성된 문자 데이터(130) 및 의료영상(110)에서 정보를 추출하는 정보추출단계
S200. 상기 정보추출단계에서 추출된 정보를 질병의 종류와 상태를 표현하도록 기호 및 이미지로 형상화하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성단계
S300. 상기 의료영상(110)에서 장기와 질병 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산단계
S400. 상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 측정해서 상기 기본모형(210)에서의 상대적인 크기를 계산하는 크기계산단계
S500. 진료 중 동일한 질병에 대해 여러 번 언급되어 상기 질병모형(220)이 여러 번 형성된 경우, 가장 많이 중첩된 영역에 상기 질병모형(220)의 위치를 선정하고, 기계가 자동으로 추출해낸 질병모형(220)의 신뢰도를 사용자가 확인하고 수정하여 신뢰도를 부과하는 신뢰도적용단계
S600. 상기 신뢰도적용단계에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이단계

Claims (19)

  1. 진료 중 작성된 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출부(100);
    상기 정보추출부(100)에서 추출된 정보로 만들어진 의료정보를 표현하도록 의료그림으로 형상화 하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성부(200);
    모양생성부(200);에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이부(600);를 포함하되,
    상기 기본모형(210)은,
    전신이나 신체의 일부분을 나타낸 모형일 수 있으며, 장기, 혈관, 뇌 등과 같은 모형일 수 있으며,
    상기 질병모형(220)은,
    종양, 혹 등과 같이 형태를 가지는 모형이 될 수도 있으며, 염증이나 화상, 암이 전이된 부위 등과 같이 범위를 가지는 모형이 될 수도 있으며,
    장기, 혹은 장기와 닮은 형태를 가지는 모형이 될 수도 있으며,
    의료정보의 특성에 따라 질병의 위치, 크기, 모양, 색깔, 투명도, 텍스쳐 중 어느 하나 이상을 표현할 수 있도록 마련되고,
    상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산부(300); 및
    상기 의료영상(110)에서 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상을 이용해서 상기 기본모형(210)에서의 크기를 계산하는 크기계산부(400);에 의해 상기 질병모형(220)을 표현하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  2. 제 1항에 있어서,
    진료 중 동일한 질병에 대해 여러 번 언급되어 상기 질병모형(220)이 여러 번 형성된 경우 가중치를 적용하는 신뢰도적용부(500);를 더 포함하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  3. 제 2항에 있어서,
    상기 신뢰도적용부(500)는,
    상기 질병모형(220)에 대해 질병의 중요도 혹은 신뢰도에 대한 가중치가 설정된 것을 특징으로 하는 자동 의료그림 생성시스템.
  4. 제 1항에 있어서,
    상기 위치계산부(300)에서 상기 기본모형(210)에서의 위치 계산은,
    상기 의료영상(110)에서 장기와 질병의 위치 사이의 거리의 비율을 측정하여 질병모형(220)의 위치를 계산하는 자동 의료그림 생성시스템.
  5. 제 1항에 있어서,
    상기 질병모형(220)은
    의료정보의 특징과 환자 상태에 따라 외형디자인이나 크기, 위치, 모양, 색깔, 투명도, 밝기, 텍스쳐 중 하나 이상이 달라지는 의료그림 생성시스템.
  6. 제 1항에 있어서,
    상기 질병모형(220)의 텍스쳐는
    실제 환자의 의료영상(110)의 일부를 그대로 혹은 편집해서 사용하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  7. 제 1항에 있어서,
    상기 위치계산부(300)에서 상기 기본모형(210)에서의 위치 계산은,
    상기 의료영상(110)에서 좌푯값으로 나타내는 것을 특징으로 하는 자동 의료그림 생성시스템.
  8. 제 1항에 있어서,
    상기 크기계산부(400)에서 상기 질병모형(220)은,
    상기 의료영상(110)에서 어떤 장기와 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상의 비율을 측정해서 상기 기본 모형(210)에서의 상대적인 크기를 계산하는 크기계산부(400)를 특징으로 하는 자동 의료그림 생성시스템.
  9. 제 2항에 있어서,
    상기 신뢰도적용부(500)는,
    질병의 발생 시점에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 달리 생성하는 것을 특징으로 하는 자동 의료그림 생성시스템.
  10. 제 1항에 있어서,
    질병의 발생 시점에 따라 GUI 컨트롤의 조작에 의해,
    상기 디스플레이부(600)에서 구현하는 상기 질병모형(220)의 크기 또는 방향이 전환되는 것을 특징으로 하는 자동 의료그림 생성시스템.
  11. 진료 중 작성된 문자 데이터(130)와 의료영상(110) 중 하나 이상에서 정보를 추출하는 정보추출단계;
    상기 정보추출단계에서 추출된 정보로 만들어진 의료정보를 표현하도록 의료그림으로 형상화하여 기본모형(210)과 질병모형(220)을 생성하는 모양생성단계;
    상기 모양생성단계에 의해 표현된 상기 기본모형(210)과 질병모형(220)을 시각화하되, 보는 사람에 따라 선택적으로 달리 제시하는 디스플레이단계;를 포함하되,
    상기 질병모형(220)은,
    의료정보의 특성에 따라 질병을 위치, 크기, 모양, 색깔 및 투명도, 텍스쳐 중 어느 하나 이상을 달리하여 표현 할 수 있도록 마련되고,
    상기 모양생성단계는,
    상기 의료영상(110)에서 장기와 질병 위치 사이의 거리를 측정하여 상기 기본모형(210)에서의 상기 질병모형(220)의 위치를 계산하는 위치계산단계; 및
    상기 의료영상(110)에서 장기의 크기와 질병이 발생한 병변의 크기의 비율을 측정해서 상기 기본모형(210)에서의 크기를 계산하는 크기계산단계;에 의해 상기 질병모형(220)을 표현하는 것을 특징으로 하는 자동 의료그림 생성 방법.
  12. 제 11항에 있어서,
    진료 중 동일한 질병에 대해 여러 번 언급되어 상기 모양생성단계에 의해 상기 질병모형(220)이 여러 번 형성된 경우 가중치를 적용하는 신뢰도적용단계;를 더 포함하는 것을 특징으로 하는 자동 의료그림 생성 방법.
  13. 제 12항에 있어서,
    상기 신뢰도적용단계는,
    상기 질병모형(220)에 대해 질병의 중요도 혹은 신뢰도에 대한 가중치가 설정된 것을 특징으로 하는 자동 의료그림 생성 방법.
  14. 제 11항에 있어서,
    상기 위치계산단계에서 상기 기본모형(210)에서의 위치 계산은,
    상기 의료영상(110)에서 장기와 질병의 위치 사이의 거리의 비율을 측정하여 질병모형(220)의 위치를 계산하는 것을 특징으로 하는 자동 의료그림 생성 방법.
  15. 제 11항에 있어서,
    상기 질병모형(220)의 텍스쳐는
    실제 환자의 의료영상(110)의 일부를 그대로 혹은 편집해서 사용하는 것을 특징으로 하는 자동 의료그림 생성 방법.
  16. 제 11항에 있어서,
    상기 위치계산단계에서 상기 기본모형(210)에서의 위치 계산은,
    상기 의료영상(110)에서 좌푯값으로 나타내는 것을 특징으로 하는 자동 의료그림 생성 방법.
  17. 제 11항에 있어서,
    상기 크기계산단계에서 상기 질병모형(220)은,
    상기 의료영상(110)에서 어떤 장기와 질병이 발생한 병변의 길이, 크기, 부피 중 하나 이상의 비율을 측정해서 상기 기본 모형(210)에서의 상대적인 크기를 계산하는 것을 특징으로 하는 자동 의료그림 생성 방법.
  18. 제 12항에 있어서,
    상기 신뢰도적용단계는,
    질병의 발생 시점에 따라 상기 질병모형(220)의 명도 또는 채도를 단계적으로 달리 생성하는 것을 특징으로 하는 자동 의료그림 생성 방법.
  19. 제 12항에 있어서,
    질병의 발생 시점에 따라 GUI 컨트롤의 조작에 의해,
    상기 디스플레이단계에서 구현하는 상기 의료그림의 시점을 전환하는 것을 특징으로 하는 자동 의료그림 생성 방법.
KR1020200047990A 2019-11-13 2020-04-21 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템 KR102500378B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/012907 WO2021096054A1 (ko) 2019-11-13 2020-09-23 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190144777 2019-11-13
KR20190144777 2019-11-13

Publications (2)

Publication Number Publication Date
KR20210058622A KR20210058622A (ko) 2021-05-24
KR102500378B1 true KR102500378B1 (ko) 2023-02-15

Family

ID=76153023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200047990A KR102500378B1 (ko) 2019-11-13 2020-04-21 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템

Country Status (1)

Country Link
KR (1) KR102500378B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5355257B2 (ja) 2009-07-01 2013-11-27 株式会社東芝 医用画像表示装置および医用画像表示方法
KR101470411B1 (ko) 2012-10-12 2014-12-08 주식회사 인피니트헬스케어 가상 환자 모델을 이용한 의료 영상 디스플레이 방법 및 그 장치
KR101837952B1 (ko) 2016-12-16 2018-03-13 (주)칼리스토 환자 맞춤형 수술치료 애니메이션 디스플레이 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890498B1 (en) * 2001-11-26 2011-02-15 Koninklijke Philips Electronics N.V. User interface for a medical informatics system that incorporates an examination timeline
KR101748019B1 (ko) * 2015-02-03 2017-06-15 부산대학교 산학협력단 의료정보 제공 장치 및 의료정보 제공 방법
KR101981583B1 (ko) 2017-02-27 2019-05-23 재단법인 아산사회복지재단 의료영상 내 정보처리방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5355257B2 (ja) 2009-07-01 2013-11-27 株式会社東芝 医用画像表示装置および医用画像表示方法
KR101470411B1 (ko) 2012-10-12 2014-12-08 주식회사 인피니트헬스케어 가상 환자 모델을 이용한 의료 영상 디스플레이 방법 및 그 장치
KR101837952B1 (ko) 2016-12-16 2018-03-13 (주)칼리스토 환자 맞춤형 수술치료 애니메이션 디스플레이 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Alireza Norouzi 외, Medical Image Segmentation Methods, Algorithms, and Applications, IETE Technical Review, 2014.06.23., Vol.31, No.3, pp.199-213.
Brian Teixeira 외, Generating Synthetic X-ray Images of a Person from the Surface Geometry, arXiv, 2018.05.14., pp.1-9.

Also Published As

Publication number Publication date
KR20210058622A (ko) 2021-05-24

Similar Documents

Publication Publication Date Title
CN109964256B (zh) 用于可视化有风险的心脏组织的方法和系统
US10169543B2 (en) Systems and methods for reporting blood flow characteristics
US10842568B2 (en) Method and system for providing information from a patient-specific model of blood flow
US9122773B2 (en) Medical information display apparatus and operation method and program
US11393587B2 (en) Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
JP6490985B2 (ja) 医用画像処理装置および医用画像処理システム
US10585849B2 (en) Medical information providing apparatus and medical information providing method
US10607122B2 (en) Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US11562587B2 (en) Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
CN112740285A (zh) 在虚拟环境中对医学图像的叠加和操纵
KR102366290B1 (ko) 의료기계 학습 시스템
KR20180092797A (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
JP6230708B2 (ja) 撮像データセットの間の所見のマッチング
US20190148015A1 (en) Medical information processing device and program
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
KR102500378B1 (ko) 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
CN112215969A (zh) 一种基于虚拟现实的用户数据处理方法及装置
JP6426144B2 (ja) 医療システムに対する聴覚に関する機能強化
KR20210000103A (ko) 건강기록 시스템
WO2021096054A1 (ko) 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
CN115249527A (zh) 用于产生医学检查信息并对其进行结构化的方法和系统
US11003342B1 (en) Smart scrolling system
CN111863179B (zh) 医用信息处理装置、医用信息处理方法及程序
KR102481236B1 (ko) 진료용 그림 편집 시스템 및 이를 이용한 진료용 그림 편집 방법
KR20240033342A (ko) 의료데이터 컴퓨팅 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right