KR101748019B1 - 의료정보 제공 장치 및 의료정보 제공 방법 - Google Patents

의료정보 제공 장치 및 의료정보 제공 방법 Download PDF

Info

Publication number
KR101748019B1
KR101748019B1 KR1020150016667A KR20150016667A KR101748019B1 KR 101748019 B1 KR101748019 B1 KR 101748019B1 KR 1020150016667 A KR1020150016667 A KR 1020150016667A KR 20150016667 A KR20150016667 A KR 20150016667A KR 101748019 B1 KR101748019 B1 KR 101748019B1
Authority
KR
South Korea
Prior art keywords
image
medical information
lesion
medical
human body
Prior art date
Application number
KR1020150016667A
Other languages
English (en)
Other versions
KR20160095426A (ko
Inventor
최병관
김상완
서성현
박계영
성원석
임경호
정호영
손성문
김병용
김지은
유지욱
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020150016667A priority Critical patent/KR101748019B1/ko
Priority to US15/548,291 priority patent/US10585849B2/en
Priority to PCT/KR2016/001013 priority patent/WO2016126056A1/ko
Publication of KR20160095426A publication Critical patent/KR20160095426A/ko
Application granted granted Critical
Publication of KR101748019B1 publication Critical patent/KR101748019B1/ko

Links

Images

Classifications

    • G06F19/321
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • G06F17/30244
    • G06F17/3028
    • G06K9/6201
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Abstract

본 발명은 의료 영상에서 추출된 영역에 대한 의료정보를 표시하는 의료정보 제공 장치 및 의료정보 제공 방법에 관한 것이다. 본 발명에 따른 의료정보 제공 장치는, 병의원 서버에서 의료 영상을 획득하는 획득부와, 상기 의료 영상으로부터 병변 이미지를 추출하는 추출부, 상기 병변 이미지를, 인체지도에 정합하는 정합부 및 상기 병변 이미지가 정합되는, 상기 인체지도 내 정합 영역에 대응하는 의료정보를 표시하는 처리부를 포함할 수 있다.

Description

의료정보 제공 장치 및 의료정보 제공 방법{DEVICE AND METHOD FOR PROVIDING OF MEDICAL INFORMATION}
의료 영상에서 추출된 영역에 대한 의료정보를 표시하는 의료정보 제공 장치 및 의료정보 제공 방법에 관한 것이다.
환자의 병변을 추적하기 위하여 다양한 의료 영상 장치가 사용되어 오고 있다. 예를 들면, 컴퓨터 단층촬영(CT, Computed Tomography) 장치를 이용하여 인체를 가로로 자른 횡단면상을 통하여, 병변 및 구조물을 파악할 수 있다. 또한, 자기공명영상(MRI, Magnetic Resonance Imaging) 장치를 이용하여 횡단영상(transverse imaging), 관상영상(coronal imaging), 시상영상(sagittal imaging) 등 원하는 단면의 의료 영상을 통하여 병변 및 구조물을 파악할 수 있다.
최근에는, 촬영된 의료 영상에서 병변을 나타내는 영역만을 오려낼 수 있는 기술이 개발됨으로써, 병변 영역만을 추출하여 면밀하게 분석할 수 있게 되었다. 예를 들면, 뇌에서 혈관 또는 종양만을 추출하는 것, 머리 뼈만 나타내는 영상을 합성해서 보여 주는 것 등이 있다.
그러나 종래의 의료 영상은 단순히 인체의 특정 영역이 표시된 것으로서, 의료 영상 상 추출된 병변 영역에 대한 판독은 의료진에 의해 일일이 수행되어 오고 있다. 그러나, 이러한 판독 과정은 의료진마다 서로 다른 판독 결과를 도출하여, 판독 결과가 일정하지 못하는 문제점이 있다. 또한, 판독 결과를 기록할 때 일일이 진단명 코드를 찾아서 입력해야 하는데, 진단명 코드의 양이 방대할 뿐만 아니라 시간이 지남에 따라 용어 체계가 업데이트되는 경향이 있어, 그 속에서 진단명 코드를 찾고 갱신하는 일은 많은 시간과 노력이 소모될 수 밖에 없다.
더욱이, 의료 영상 장비 및 컴퓨팅 기술의 발전으로 3차원 이미지로 된 의료 영상의 활용이 높아지고 있는 시점에서, 3차원 이미지로 된 의료 영상 및 병변 이미지에 대응하는 진단명 및 진단명 코드를 매칭하는 기술의 개발은 아직 미흡한 실정이다.
그러므로, 2차원 이미지 또는 3차원 이미지로 된 의료 영상에서 추출된 병변에 대하여 자동으로 진단명 및 진단명 코드를 표시할 수 있는 장치 및 방법의 개발이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 속성 노드가 매핑된 인체지도에 정합되는 병변 이미지와 상기 병변 이미지에서 도출된 의료정보를 나타내고 저장함으로써, 병변 이미지에 대한 진단명 및 진단명 코드를 포함한 의료정보를 보다 정확하고 간편하게 찾아 나타내는 것을 목적으로 한다.
또한, 본 발명의 일실시예에 따르면, 병변 이미지에 매칭된 의료정보와 상기 병변 이미지를 저장함으로써, 차후 저장된 병변 이미지가 매칭된 의료정보를 바탕으로 보다 정확한 의료정보를 표시할 수 있는 데이터베이스를 구축하는 것을 목적으로 한다.
상기의 목적을 이루기 위한 의료정보 제공 장치로서, 병의원 서버에서 의료 영상을 획득하는 획득부와, 상기 의료 영상으로부터 병변 이미지를 추출하는 추출부, 상기 병변 이미지를, 인체지도에 정합하는 정합부 및 상기 병변 이미지가 정합되는, 상기 인체지도 내 정합 영역에 대응하는 의료정보를 표시하는 처리부를 포함할 수 있다.
또한, 상기의 목적을 달성하기 위한 의료정보 제공 방법은, 병의원 서버에서 의료 영상을 획득하는 단계와, 상기 의료 영상으로부터 병변 이미지를 추출하는 단계, 상기 병변 이미지를, 인체지도에 정합하는 단계 및 상기 병변 이미지가 정합되는, 상기 인체지도 내 정합 영역에 대응하는 의료정보를 표시하는 단계를 포함하여 구성할 수 있다.
본 발명의 일실시예에 따르면, 속성 노드가 매핑된 2차원 또는 3차원의 병변 이미지에 대한 의료정보를 표시함으로써, 병변 이미지에 대한 진단명 및 진단명 코드를 포함한 의료정보를 검색 및 기록하는 시간을 단축시킬 수 있다.
또한, 본 발명의 일실시예에 따르면, 병변 이미지와 상기 병변 이미지에 매칭된 의료정보를 저장함으로써, 저장된 병변 이미지를 바탕으로 차후 보다 객관화되고 정확한 의료정보를 표시할 수 있는 데이터베이스를 구축할 수 있다.
도 1은 본 발명의 일실시예에 따른 의료정보 제공 장치의 구체적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 정합 과정의 개념을 설명하기 위한 도면이다.
도 3 및 도 4는 인체지도의 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 병변 이미지를 추출하여 인체지도와 정합하는 과정을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일실시예에 따른 병변 이미지를 변형하는 과정을 설명하기 위한 도면이다.
도 8 은 병변 이미지를 여러 영역으로 나누어서 정합하는 보기이다.
도 9 및 도 10은 속성 노드가 매핑된 인체지도의 일례를 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른 속성 노드가 불규칙적으로 매핑되는 인체지도의 일례를 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 병변 이미지가 정합된 인체지도 상에서의 속성 노드를 통한 의료정보 표시 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 일실시예에 따른 병변 이미지가 정합된 인체지도 상에서의 속성 노드 및 환부 영역을 통한 의료정보 표시의 일례를 설명하기 위한 도면이다.
도 14는 본 발명의 일실시예에 따른 속성 노드별로 의료 정보의 신뢰도의 가중치를 달리 두는 일례를 설명하기 위한 도면이다.
도 15는 본 발명의 일실시예에 따른 의료정보를 표시하는 일례를 설명하기 위한 도면이다.
도 16은 본 발명의 일실시예에 따른 병변의 명암에 따른 의료정보를 표시하는 과정을 설명하기 위한 도면이다.
도 17은 본 발명의 일실시예에 따른 복수의 의료 영상을 이용하여 병변 이미지를 추출하는 과정을 설명하기 위한 도면이다.
도 18은 본 발명의 일실시예에 따른 의료 영상을 정합하는 과정에서 사용자가 도움을 주는 일례를 설명하기 위한 도면이다.
도 19 및 도 20은 본 발명의 일실시예에 따른 의료 영상에서 병변 이미지를 추출하는 일례를 설명하기 위한 도면이다.
도 21 및 도 22는 본 발명의 일실시예에 따른 정형화된 문서를 출력하는 일례를 설명하기 위한 도면이다.
도 23은 본 발명의 일실시예에 따른 병변 이미지의 모양을 예측하는 일례를 설명하기 위한 도면이다.
도 24는 본 발명의 일실시예에 따른 인체지도를 선택하는 일례를 설명하기 위한 도면이다.
도 25는 본 발명의 일실시예에 따른 속성 노드를 통한 의료정보 표시 일례를 설명하기 위한 도면이다.
도 26은 본 발명의 일실시예에 따른 의료정보 제공 장치의 운용 방법을 구체적으로 도시한 작업 흐름도이다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 명세서에서 설명되는 의료정보는 의료용어 체계(Medical Terminology System) 중 적어도 하나를 포함하는 것일 수 있다. 의료용어 체계는, SNOMED(Systematized Nomenclature of Medicine), ICD(International Classification of Diseases), CPT (Current Procedural Terminology) system, UMLS(Unified Medical Language System), ICNP(International Classification for Nursing Practice), LOINC(Logical Observation Identifiers Names and Codes) 등 일 수 있다. 이하에서 설명하는 의료정보는 'SNOMED code'를 포함하는 것을 예로서 설명하나, 이에 한정된 것은 아니다.
본 명세서에서 설명되는 의료정보 제공 장치 및 의료정보 제공 방법은, 추출된 병변 이미지와 정합된 인체지도를 통하여 의료정보를 표시함으로써, 방대한 의료정보 중 병변에 필요한 의료정보를 간편하게 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 의료정보 제공 장치의 구체적인 구성을 나타내는 도면이다.
본 발명의 의료정보 제공 장치(100)는 획득부(110), 추출부(120), 정합부(130) 및 처리부(140)를 포함하여 구성할 수 있다. 또한, 실시예에 따라, 의료정보 제공 장치(100)는 저장부(150)를 추가하여 구성할 수 있다.
우선, 획득부(110)는 병의원 서버에서 의료 영상을 획득한다. 여기서, 의료 영상은 병의원 서버에 저장되어 있는 데이터이거나, 적어도 하나 이상의 의료 영상 장비로부터 획득된 영상일 수 있고 2차원적으로 혹은 3차원적으로 표현된 그림일 수도 있다. 예컨대, 의료 영상 장비로부터 획득된 영상은 X선 촬영(X-ray), 컴퓨터 단층촬영(CT, Computed Tomography), 자기공명영상(MRI, Magnetic Resonance Imaging), 단일광자 단층촬영(SPECT, Single Photon Emission Computed Tomography), 양전자 단층촬영(PET, Positron Emission Tomography), 중 적어도 하나로 촬영된 영상일 수 있으나, 이에 한정된 것은 아니다.
다음으로, 추출부(120)는 상기 의료 영상으로부터 병변 이미지를 추출한다. 즉, 추출부(120)는 의료 영상에서 정상 이미지가 아닌 병변으로 의심되는 이미지를 추출할 수 있다.
이때, 추출부(120)는 상기 병변 이미지를, 이차원 이미지 및 삼차원 이미지 중 적어도 하나로 추출할 수 있다. 즉, 의료 영상은 이차원 이미지 또는 삼차원 이미지일 수 있는데, 추출부(120)는 병변 이미지를 이차원 이미지이거나 삼차원 이미지인 것으로 추출할 수 있다.
또한, 추출부(120)는 인체 조직 중 선택된 조직에 한하여, 병변 이미지를 추출할 수 있다. 예를 들면, 두상을 촬영한 의료 영상에서 뼈에 관한 병변 이미지만을 추출하도록 선택된 경우, 추출부(120)는 인체 조직 중 뼈에 관한 병변 이미지만을 추출할 수 있다.
병변 이미지를 추출하는 일례에 대한 설명은 후술하는 도 17, 도 19 및 도 20의 설명으로 갈음하고, 여기서는 생략한다.
다음으로, 정합부(130)는 상기 병변 이미지를, 인체지도에 정합한다. 이때, 정합부(130)는 상기 병변 이미지가 속하는 인체장기와 관련되는, 인체지도에 상기 병변 이미지를 정합할 수 있다. 먼저, 인체지도에 대하여 설명하기에 앞서, 정합부(130)의 개념을 도 2를 참조하여 간단하게 설명한다.
도 2는 본 발명의 일실시예에 따른 정합 과정의 개념을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 정합부(130)는 인체지도(210)의 해부학 영역 위에, 해부학 영역이 대응되도록 의료 영상(220) 또는 병변 이미지를 정합할 수 있다. 즉, 정합부(130)는 도 2에 도시된 정합 영역(230)과 같이, 해부학적으로 일치하는 영역끼리 정합되도록 할 수 있다. 또는, 정합부(130)는 점, 선, 영역, 공간 중 적어도 하나 이상이 조합된 기준을 바탕으로 인체지도(210)와, 의료 영상(220) 또는 병변 이미지를 정합되도록 할 수 있다.
이때, 정합부(130)는 정합 영역(230)을 좌표로 표현할 수 있다. 인체지도(210)와 병변 이미지가 정합되기 전, 추출된 병변 이미지는 의료 영상(220) 상에서의 좌표로 표현될 수 있다. 정합이 된 후, 정합 영역(230)이 생성되면 상기 병변 이미지가 의료 영상(220) 상에서 갖고 있던 좌표는 인체지도(210) 상의 좌표 또는 좌표계로 표현이 가능할 수 있다. 그러므로, 정합부(130)는 정합이 완료된 병변 이미지를 인체지도(210)상에서 좌표로 나타낼 수 있다.
다음으로, 인체지도에 대하여 설명한다.
인체지도는 신체의 해부학적인 영역이 도시된 이차원 이미지 또는 삼차원 이미지로서, 각 영역에 해당하는 여러 가지 의료정보가 포함된 것일 수 있다. 인체지도는 임의의 점, 선, 면 또는 공간이 분포된 영역에 대하여, 상기 분포된 영역이 어떤 해부학적 영역에 포함되는지를 나타낼 수 있다. 이때, 임의의 점, 선, 면 또는 공간은 신체 내 병이 존재하는 영역을 나타내는 병변 이미지일 수 있다.
또한, 인체지도는 해당 해부학적 영역에서 발생할 수 있는 질병에 관한 의료정보가 포함된 것일 수 있다. 여기서, 의료정보는 진단명, 진단명 코드, 치료 약물 등 질병을 치료하기 위한 정보가 포함된 것일 수 있다. 의료정보에 관한 보다 상세한 설명은 후술하는 도 12를 참조하여 설명한다.
또한, 인체지도는 인체지도에 정합되는 의료 영상을 포함하는 것일 수 있다. 예컨대, 인체지도는 해부학적 영역이 나누어진 좌표계에 입혀진 의료 영상일 수 있다. 또한, 인체지도는 어떤 이미지가 텍스쳐(texture)로서 입혀진 의료 영상일 수 있다. 이는, 정합부(130)가 의료 영상을 정합할 때 기준이 되거나, 사용자로 하여금 인체지도를 쉽게 이해하는 역할을 할 수 있다. 인체지도의 일례에 관한 설명은 도 3 및 도 4를 참조하여 설명한다.
도 3 및 도 4는 인체지도의 일례를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 인체지도(310)는 뇌의 횡단면을 나타내는 이차원 이미지일 수 있다. 인체지도(310)는 해부학적인 구조물이 표시된 것일 수 있고, 진단명 및 진단명 코드가 등록된 'Medical Diagnosis Code'(320)와 연관되어 표시할 수 있다. 'Medical Diagnosis Code'(320)는 인체지도(310)로부터 식별될 수 있는 진단명 및 진단명 코드를 나타낸 것일 수 있다. 상기 'Medical Diagnosis Code'(320)에서 진단명은 'Disease A, Disease B, Disease C, ... Disease F'일 수 있고, 그 각각으로 진단명 코드(예, 451037005 등)가 매칭되어 등록될 수 있다.
이미지 A(330) 및 이미지 B(331)는 의료 영상일 수 있다.
인체지도를 활용하여 이미지로부터 의료정보를 획득하는 일례는 다음과 같을 수 있다.
먼저, 본 발명의 의료정보 제공 장치(100)는 인체지도(310)와 이미지 A(330)가 어떤 의료 영상에 대해서 정합되는 영역에 관한 의료정보를 추출할 수 있다. 또한, 이미지 A(330)는 인체지도(310)와 같이 좌표에 따라 해부학적인 공간이 구분된 것일 수 있고, 진단명 및 진단명 코드가 포함된 의료 영상일 수 있다.
이미지 B(331)는 해부학적 영역, 좌표 및 의료정보를 포함하고 있지 않은 의료 영상일 수 있다. 즉, 이미지 B(331)는 이미지 B(331)만으로 어떤 영역에 대한 병변 이미지를 추출할 수 없는 의료 영상일 수 있다. 따라서, 의료정보 제공 장치(100)는 이미지 B(331)에 대해, 인체지도(310) 또는 이미지 A(330) 중 적어도 하나와의 정합을 통해 필요한 의료정보를 추출할 수 있다. 즉, 의료정보 제공 장치(100)는 이미지 B(331)를 인체지도(310) 또는 이미지 A(330) 중 적어도 하나와 정합한 후, 이미지 B(331) 상의 병변 이미지에 대하여 인체지도(310) 또는 이미지 A(330)에 포함되어 있는 의료정보를 추출할 수 있다. 또한, 의료정보 제공 장치(100)는 상기 병변 이미지의 각 픽셀을 인체지도(310) 또는 이미지 A(330) 상에 나타낼 수 있다. 참고로, 인체지도(310) 및 이미지 A(330)의 차이점은 사용자가 인지하기 쉬운 정도일 수 있다. 즉, 인체지도(310)는 2차원 그림으로 나타낸 것이고, 이미지 A(330)는 의료 영상인 것으로서, 사용자는 사용자가 인지하기 쉬운 영상을 선택적으로 사용할 수 있다. 이와 같이, 이미지 A 및 B(330, 331)는 의료정보를 포함하는 이미지 또는 의료 영상일 수 있고, 인체지도(310)와 정합될 수 있는 의료 영상일 수 있다.
실시예에 따라, 인체지도(310)는 적어도 하나 이상의 이미지 또는 의료 영상을 포함하여 구성될 수도 있다. 예를 들면, 인체지도(310)는 X축, Y축 또는 Z축 상의 좌표에 배열되거나 수직으로 나열되는 복수의 의료 영상 및 이미지로 이루어진 것일 수 있다.
도 4에 도시된 바와 같이, 인체지도는 3차원 이미지로 표현한 것일 수 있다.
예를 들면, 의료정보 제공 장치(100)는 인체지도로서, 3차원 정보로 표현된 부피 정보(voxel) 또는 3차원 메시(mesh)로 영역을 구분한 것이나, 사용자가 인지하기 쉬운 텍스쳐를 입힌 의료 영상을 포함할 수 있다.
도 4의 (a)에서는 각각의 해부학적 영역을 3차원 이미지로 표현하는 인체지도를 예시하고 있다.
도 4의 (b)에서는 상기 도 4의 (a)와 같은 3차원 이미지에서 가로 단면 또는 세로 단면으로 발췌된 인체지도를 예시하고 있다.
도 5는 본 발명의 일실시예에 따른 병변 이미지를 추출하여 인체지도와 정합하는 과정을 설명하기 위한 도면이다.
이하에서, 좌측 뇌의 기저핵(basal ganglia) 부위에 출혈성 병변이 있는 의료 영상을 예시로 설명한다.
추출부(120)는 의료 영상(510, 520) 상에서 하얀색 영역을 병변 이미지(T)로서 추출할 수 있다. 정합부(130)는 인체지도(530)에, 상기 추출된 병변 이미지(T)의 해부학적 영역에 해당하는 영역과 정합할 수 있다. 즉, 정합부(130)는 검은색으로 표현된 병변 이미지(T)를, 인체지도(530)의 기저핵 부위 위에 놓이도록 함으로써 병변 이미지(T)를 정합한 인체지도(540)를 작성할 수 있다. 또한, 정합부(130)는 병변 이미지(T)를 인체지도 상의 좌표로 표현할 수 있다.
또한, 상기 추출된 병변 이미지(T)가 선정된 기준에 따라, 왜곡되거나 필요없는 것으로 판단되는 경우, 정합부(130)는 상기 병변 이미지(T)를 변형하거나, 또는 상기 병변 이미지(T)에서, 상기 왜곡되거나 또는 상기 필요없다고 판단되는 부분을 분리할 수 있다. 즉, 정합부(130)는 병변 이미지(T) 내에 필요없는 것으로 판단된 부분을 분리하거나, 왜곡된 부분을 변형하여, 인체지도(530)에 정합되도록 할 수 있다.
정합부(130)는 다음과 같은 경우에서 병변 이미지가 왜곡되거나 필요없는 것으로 판단하여, 병변 이미지를 변형하거나 분리할 수 있다. 예를 들면, 추출된 병변 이미지가 병변을 잘 표현하지 못하는 경우, 병변 이미지 내에 정상 조직이 함께 추출된 경우, 치료 후의 변화된 병변 이미지가 치료 전의 병변 이미지와 중복되어 추출된 경우, 병변 이미지가 너무 작거나 크게 추출된 경우에 정합부(130)는 병변 이미지를 변형하거나 분리할 수 있다. 이때, 정합부(130)는 병변 이미지를 분리할 때, 여러 영역으로 분리한 후 분리된 각 영역과 개별적으로 정합할 수 있다. 그러나 상기 기준은 이에 한정되지 않고, 운영자에 의해 기준이 선정 및 변경될 수 있다. 병변 이미지를 변형하는 과정에 대한 일례는 하기 도 6 내지 도 8을 참조하여 설명한다.
도 6 및 도 7은 본 발명의 일실시예에 따른 병변 이미지를 변형하는 과정을 설명하기 위한 도면이다.
먼저, 추출부(120)는 도 6의 (a)와 같은 의료 영상으로부터 병변 이미지를 추출할 수 있다(도 6의 (b) 참조). 추출된 병변 이미지는 도 6의 (c)와 같이, 정합부(130)에 의해 인체지도와 정합될 수 있다. 이때, 정합부(130)는 인체지도 상, 병변 이미지와 부합되는 해부학 영역에 병변 이미지를 대응시킬 수 있다.
실시예에 따라, 병변 이미지가 정상적인 뇌 조직에 대한 영역을 포함하는 경우, 정합부(130)에 의한 정합 처리는 불가능하거나 병변이 틀리게 표현됨으로써 잘못된 의료정보를 추출할 수도 있다. 이 경우, 정합부(130)는 병변 이미지를 변형한 후 정합할 수 있다. 예컨대, 도 6의 (d)와 같이, 정합부(130)는 병변 이미지를 인체지도 상 해당 해부학 영역에 맞게 변형한 후 정합할 수 있다.
또한, 정합부(130)는 병변 영역을 선택 및 조정할 수 있는 인터페이스(700)를 표시하도록 할 수 있다. 그러면, 정합부(130)는 인터페이스(700)를 통해 입력된 병변 이미지의 조정값에 따라 병변 이미지의 크기를 변형할 수 있다. 예컨대, 도 7에 도시된 바와 같이, 정합부(130)는 해당 영역에 대한 해부학적 명칭(용어)을 선택하도록 하는 인터페이스(700)를 표시하도록 할 수 있다.
참고로, 추출부(120) 및 정합부(130)는 병변 이미지가 정밀하게 추출되고 인체지도에 병변 이미지가 적합하게 정합될 때까지, 추출 및 정합 과정을 반복적으로 수행할 수 있다. 정합은 병변 이미지를 인체지도 상에 놓는 과정뿐 아니라 인체지도를 병변 이미지에 맞추는 과정을 포함할 수 있다. 또한, 추출부(120) 및 정합부(130)의 수행 순서는 정해진 것이 아니며, 추출부(120) 및 정합부(130)는 의료 영상을 인체지도에 정합한 후에 병변 이미지를 추출하거나 병변 이미지를 추출한 후 인체지도에 정합할 수 있다.
도 8 은 병변 이미지를 조각 조각 내어서 정합하는 보기이다.
즉, 도 8은 정합부(130)에 의해 병변 이미지가 분리되는 과정을 설명하기 위한 도면일 수 있다. 도 8은 '뇌'를 예로서 설명하나 이에 한정된 것은 아니다.
도 8의 (a)는 병변 이미지를 추출하기 위하여 해부학적으로 나뉜 뇌 영역(810)이 오버랩되는 것을 나타낸 것이다. 이때, 해부학적으로 넓은 영역에 걸쳐서 정합이 되면, 부분적으로 일치하지 않은 영역이 발생할 수 있다. 그러므로 도 8의 (b)에 도시된 바와 같이, 정합부(130)는 뇌 영역(810)을 뇌 구성물 별로 분리한 후 정합을 할 수 있다. 이러한, 분리 과정을 통하여 차후 병변 이미지에 대한 의료정보를 표시할 때 오차율을 감소시킬 수 있다.
다시 도 1을 설명하면, 처리부(140)는 상기 병변 이미지가 정합되는, 상기 인체지도 내 정합 영역에 대응하는 의료정보를 표시한다. 즉, 처리부(140)는 병변 이미지가 인체지도에 대응되는 영역에 대하여, 해당 영역이 포함하고 있는 의료정보를 표시할 수 있다.
이때, 처리부(140)는 상기 병변 이미지와 연관하여, 상기 의료정보를 표시할 수 있다. 즉, 처리부(140)는 추출된 병변 이미지에서 발생할 수 있는 질병에 대하여 연관된 의료정보를 표시할 수 있다.
처리부(140)는 상기 병변 이미지에 관한 해부학적 명칭, 진단명, 진단명 코드 및 치료 약물 중 적어도 하나의 의학 정보를 포함하는 상기 의료정보를 표시할 수 있다.
도 9 및 도 10은 속성 노드가 매핑된 인체지도의 일례를 설명하기 위한 도면이다.
인체지도(900)에는 복수의 속성 노드(910)가 매핑될 수 있다.
처리부(140)는 인체지도(900)로 정합되는 정합 영역에 포함되어 매핑되는 속성 노드(910)를 확인하고, 상기 확인된 속성 노드(910)에 의해, 데이터베이스에서 리드되는 의료정보를 표시할 수 있다. 다시 말해, 처리부(140)는 복수의 속성 노드(910)가 매핑되어 있는 인체지도(900)를 활용하여 정합 영역에 대한 의료정보를 표시할 수 있다.
도 9에 도시된 바와 같이, 복수의 속성 노드(910)는 2차원 이미지에 매핑될 수 있으며, 각각의 속성 노드(910)는 해당 해부학 영역에 대한 의료정보를 포함하고 있을 수 있다.
복수의 속성 노드(910) 각각은 속성들을 가지고 있고, 이를 통해 장기위치, 진단명 등의 의료정보 추출에 활용될 수 있다.
예를 들어, 뇌를 나타내는 2차원 이미지의 인체지도(900)에 속성 노드(910)가 매핑될 수 있고, 각각의 속성 노드(910)는 해부학 영역에 따른 의료정보로서 '해부학 명칭' 및 'SNOMED Code'를 포함할 수 있다. 먼저, 속성 노드 중 'Frontal lobe'의 해부학 명칭을 가진 영역은 '74298007'의 'SNOMED Code'를 나타낼 수 있으며, 'Thalamus'의 해부학 명칭을 가진 영역은 '244433007'의 'SNOMED Code'를 나타낼 수 있으며, 'Occipital lobe'의 해부학 명칭을 가진 영역은 '180923002'의 'SNOMED Code'를 나타낼 수 있다. 이 외에도 속성 노드(910)는 장기 위치, 진단명 등의 의료정보가 포함된 것일 수 있다.
도 9에서 속성 노드(910)는 원으로 도시하였으나, 이외에 점, 선, 면, 다각형, 수학 공식, 3차원의 도형 및 부피의 개념 중 적어도 하나 이상의 조합으로 구성된 것일 수 있다.
도 10은 3차원 이미지에서의 속성 노드가 매핑된 인체지도의 일례일 수 있다.
도 10에 도시된 바와 같이, 3차원 이미지의 인체지도(1000)는 2차원 이미지의 인체지도(1010)에, 복수의 속성 노드(1020)를 3차원적으로 매핑하여 형성될 수 있다. 이때, 속성 노드(1020)는 규칙적이거나 불규칙적으로 분포되는 속성 노드일 수 있다.
예컨대 속성 노드(1020)는 추출된 3차원 이미지의 병변 이미지(1040)에 일정한 간격으로 매핑된 속성 그리드(1030)가 분포될 수 있다. 병변 이미지(1040)에 매핑된 속성 노드(1020)는 의료정보를 추출하는 데 사용될 수 있다.
즉, 3차원 이미지의 인체지도(1000)에는 속성 노드가 적용된 인체지도로서 형성될 수 있고, 병변의 내부에 속하는 속성 그리드의 값들을 이용한 의료정보의 추출에 활용될 수 있다.
도 11은 본 발명의 일실시예에 따른 속성 노드가 불규칙적으로 매핑되는 인체지도의 일례를 설명하기 위한 도면이다.
속성 노드(1110)는 중요도에 따라 불규칙하게 인체지도(1100)에 매핑된 것일 수 있다. 예를 들면, 속성 노드(1110)는 중요도가 높은 영역일수록 밀도를 높게 하여 인체지도(1100) 상에 매핑될 수 있고, 중요도가 낮은 영역일수록 밀도를 낮게 분포시켜 매핑될 수 있다. 이때, 속성 노드(1110)는 적어도 하나 이상이 인체지도(1110) 상에 매핑될 수 있다.
본 명세서 상에서 속성 노드는 점, 선, 면, 부피 등 중 적어도 하나 이상으로 구성 또는 조합된 것일 수 있으며, 모양이 한정된 것은 아니다. 도 9에서 속성 노드가 '구'인 것으로 설명하였으나, 원, 사각형, 정육면체, 별 등 중 어느 하나일 수 있으며 그 모양이 한정된 것은 아니다. 또한, 속성 노드는 모양이 일정하지 않거나 속성 노드마다 모양이 서로 다른 것일 수 있다.
다음으로, 도 12을 참조하여 처리부(140)에서 정합 영역에 포함된 속성 노드를 확인하고 의료정보를 표시하는 일례를 설명하고자 한다.
도 12는 본 발명의 일실시예에 따른 병변 이미지가 정합된 인체지도 상에서의 속성 노드를 통한 의료정보 표시 과정을 설명하기 위한 도면이다.
먼저, 추출부(120)는 의료 영상에서 병변 이미지를 추출할 수 있다(단계 1). 예컨대, 추출부(120)는 뇌의 단면을 촬영한 의료 영상 내에 하얀색 영역을 병변 이미지로서 추출할 수 있다.
다음으로, 정합부(130)는 추출된 병변 이미지를 인체지도(뇌 영상 모델)에 정합할 수 있다(단계 2). 예컨대, 정합부(130)는 추출된 병변 이미지를 인체지도 상의 해부학 영역 위에서 정합할 수 있다.
다음으로, 처리부(140)는 정합 영역에 매핑되어 있는 속성 노드를 확인하고, 속성 노드에 해당하는 의료정보를 데이터베이스로부터 리드해올 수 있다(단계 3). 도 12에는 4개의 속성 노드가 정합 영역에 매핑되는 것이 예시하고 있다. 처리부(140)는 그 중 어느 한 속성 노드, 또는 복수의 속성 노드가 포함하고 있는 의료정보를 도 12의 표와 같이 나타낼 수 있다. 이때, 의료정보로서 '진단명' 및 'SNOMED code', 또는 '해부학명칭' 및 'SNOMED code'가 나타날 수 있다. 특히, 처리부(140)는 적어도 'SNOMED code'를 포함하는 하나 이상의 의료정보를 나타낼 수 있다.
이러한, 본 발명의 의료정보 제공 장치(100)에 따르면, 속성 노드가 매핑된 2차원 또는 3차원의 병변 이미지에 대한 의료정보를 표시함으로써, 병변 이미지에 대한 진단명 및 진단명 코드를 포함한 의료정보를 검색 및 기록하는 시간을 단축시킬 수 있다.
도 13은 본 발명의 일실시예에 따른 병변 이미지가 정합된 인체지도 상에서의 속성 노드 및 환부 영역을 통한 의료정보 표시의 일례를 설명하기 위한 도면이다.
상기 인체지도에는 복수의 속성 노드와 함께, 상기 복수의 속성 노드 각각을 둘러싸는 환부 영역이 매핑되고, 처리부(140)는 상기 정합 영역과, 적어도 오버랩되어 매핑되는 환부 영역과, 상기 환부 영역이 갖는 속성 노드를 확인하고, 상기 확인된 속성 노드에 의해, 데이터베이스에서 리드되는 의료정보를 표시할 수 있다.
도 13의 회색 영역은 정합된 병변 이미지를 나타내는 것이다. 정합 영역과 오버랩되어 매핑된 다각형의 영역이 속성 노드 a, 속성 노드 b 및 속성 노드 c를 둘러싸는 환부 영역일 수 있다. 즉, 도 12의 정합 영역은 3개의 속성노드에 오버랩되어 있는 것일 수 있다. 여기서, 환부 영역은 해부학 영역에 따라 설정된 것일 수 있다. 예컨대, 속성 노드 b를 포함하는 환부 영역은 담창구(Globus Pallidus)를 나타내는 것일 수 있다.
처리부(140)는 정합 영역과 매핑되는 속성 노드를 확인할 수 있는데, 속성 노드 a, 속성 노드 b 및 속성 노드 c는 정합 영역과 매핑되어 있는 것을 확인할 수 있다. 그러나 처리부(140)는 환부 노드 d가 정합 영역에 매핑되어 있지 않아 속성 노드 d에 대한 의료정보를 표시할 수 없다. 그러므로, 처리부(140)는 속성 노드 a, 속성 노드 b 및 속성 노드 c를 모두 확인하고, 각각의 속성 노드에 해당하는 의료정보를 표시할 수 있다.
이때, 처리부(140)는 상기 정합 영역과 오버랩되는 면적을 고려하여, 상기 의료정보에 대한 표시 위치 및 표시 크기를 결정할 수 있다. 즉, 처리부(140)는 의료정보가 표시될 화면 상에서 의료정보에 대한 표시 위치 및 표시 크기를 적절하게 조정할 수 있다.
또한, 처리부(140)는 상기 표시된 의료정보에 대한 선택에 연동하여, 상기 선택된 의료정보에 관련되는 세부 의료정보를, 데이터베이스에서 검색하여 표시할 수 있다.
도 13에 도시된 바와 같이, 처리부(140)는 속성 노드 a에 관한 의료정보를 표시할 수 있다. 이때, 처리부(140)는 표 'Medical diagnosis Code'와 같이 진단명 및 진단명 코드를 표시할 수 있다. 또한, 처리부(140)는 표 'Event', 'Doctor' 및 '논문'에 관한 의료정보 및 세부 의료정보를 표시할 수도 있다.
예컨대, 표 'Event'의 항목 중 'Call doctor'가 선택되면, 처리부(140)는 이에 연동된 담당 의사의 연락처 또는 의사를 부를 수 있는 프로그램을 표시할 수 있다. 예를 들면, 처리부(140)는 '의사 핸드폰으로 메시지 보내기', '의사 핸드폰으로 전화하기', '의사 메일로 메시지 보내기', '의사 SNS로 메시지 보내기' 등과 같은 선택사항을 표시할 수 있으며, 상기 선택사항 중 적어도 하나로 응급 상황 등에 대한 메시지를 전달할 수 있다.
또 다른 예로서, 처리부(140)는 'Prepare operation'이 선택되면, 수술을 준비할 수 있는 세부 의료정보를 표시할 수 있다. 또 다른 예로서, 처리부(140)는 의료정보의 논문이 선택되면 관련된 논문에 대한 링크 정보 등을 세부 의료정보로서 표시할 수 있다. 또 다른 예로서, 처리부(140)는 복수의 진단명을 추출하여 표시하고, 보다 정확한 진단명이 선택되면 그에 대한 세부 의료정보를 표시할 수 있다.
또 다른 예로서, 처리부(140)는 환자의 투약 정보를 바탕으로 처방이 필요한 약물에 대한 정보를 의료정보로서 표시할 수 있다. 또한, 처리부(140)는 표시된 상기 약물에 대한 정보를 병원 내 약국으로 전송하거나 처방전을 출력하도록 할 수 있다. 또한, 처리부(140)는 병변의 특징(밝기, 부피, 직경의 크기 등)값으로 연산한 결과에 따라, 응급 환자로 분류되는 경우 응급 환자임을 알리는 표식을 의료정보로서 표시할 수 있다. 또한, 처리부(140)는 상기 응급 환자에 대하여, 병원 내에 응급 상황을 알리는 수단(예컨대, 방송, 발광등, 모니터 등)을 통하여 알람할 수 있다.
도 14는 본 발명의 일실시예에 따른 속성 노드별로 의료 정보의 신뢰도의 가중치를 달리 두는 일례를 설명하기 위한 도면이다.
즉, 도 14는 본 발명의 일실시예에 따른 위치에 따라 리드된 의료정보의 신뢰도를 달리 평가하는 속성 노드를 통한 의료정보 표시의 일례를 설명하기 위한 도면일 수 있다.
도 14의 (a)는 환부 영역(1410)와 정합 영역(1420)이 오버랩된 상태로서, 뇌의 일부를 나타내는 도면이다. 구체적으로, 환부 영역(1410)은 뇌를 해부학적으로 나눈 영역일 수 있다.
도 14의 (b)는 인체지도의 일부인 뇌의 시상(thalamus)이란 부분을 나타내는 도면이다. 이때, 인체지도내부 어떤 해부학적인 구조물 내부의 중심점으로부터 복수의 속성 노드(1430)가 이격되어 매핑될 수 있다. 예를 들면, 환부 영역(1411)은 4개의 속성 노드(1430)를 가질 수 있는데, 중심점에서 가장 가까운 속성 노드 d, 속성 노드 d로부터 일정한 간격으로 이격되는 속성 노드 c, 속성 노드 d 및 속성 노드 a가 환부 영역(1411)에 매핑될 수 있다.
상기 의료정보가 복수일 경우, 처리부(140)는, 상기 환부 영역이 갖는 신뢰도의 가중치를 고려하여, 상기 복수의 의료정보를 순차적으로 리드하여 표시할 수 있다. 즉, 처리부(140)는 정합 영역(1420)에 포함되어 매핑되는 속성 노드(1430)를, 상기 중심점 기준으로 일정 간격으로 나눈 환부 영역(1411)의 세부 영역 별로 가중치를 설정하여 확인하고, 속성 노드(1430)에 의해, 데이터베이스에서 리드되는 의료정보를 표시하되, 상기 가중치가 높은 순으로 즉, 신뢰도가 높은 순으로 표시할 수 있다.
다시 설명하면, 처리부(140)는 속성 노드 a, 속성 노드 b, 속성 노드 c 및 속성 노드 d는 동일한 환부 영역(1411)에 속하므로 동일한 의료정보를 표시할 수 있다. 그러나 도 14의 (c)에 도시된 바와 같이, 처리부(140)는 환부 영역(1411)을 중심점을 기준으로 동심원(세부 영역)으로 나누어, 속성 노드 a, 속성 노드 b, 속성 노드 c 및 속성 노드 d는 서로 다른 동심원에 포함되는 것으로 간주할 수 있다. 이때, 처리부(140)는 중심점에 가까운 동심원일수록 가중치를 높게 부여할 수 있다. 즉, 도 14의 (c)에서는 속성 노드 d가 가중치가 가장 높고, 속성 노드 a가 가중치가 가장 낮을 수 있다. 만일, 정합 영역(1420)이 속성 노드 d 및 속성 노드 a를 포함한다면, 처리부(140)는 속성 노드 d에 대한 의료정보를 속성 노드 a에 대한 의료정보보다 정확성이 높은 정보로 간주하여 표시할 수 있다.
도 15는 본 발명의 일실시예에 따른 의료정보를 표시하는 일례를 설명하기 위한 도면이다.
처리부(140)는 의료정보로서, 병변 이미지의 형태(예컨대, 영상적 특징, 모양 등)에 대한 코드를 표시할 수 있다. 먼저, 처리부(140)는 병변 이미지의 형태가 어떤지 확인할 수 있다. 예컨대, 처리부(140)는 '병변 이미지가 밝다 - 246649003', '가장자리가 불규칙하다 - 129736006', '부피가 00이다 - 118565006' 및 '밝음과 어두움이 섞여 있다'를 확인할 수 있다. 다음으로, 처리부(140)는 병변 이미지의 형태에 대한 코드를 의료정보로서 표시할 수 있다. 즉, 처리부(140)는 병변 이미지가 밝을 때의 코드인 '246649003'을 의료정보로서 표시할 수 있다.
또한, 처리부(140)는 상기 병변 이미지와 기설정된 병변 표준 이미지와의, 명암, 크기, 및 유사성 중 적어도 하나를 비교하고, 상기 비교에 따른 매칭 확률이 가장 높은 의료정보를 표시할 수 있다. 즉, 처리부(140)는 병변 이미지에 대응되는 속성 노드가 복수의 진단명을 포함하는 경우, 보다 높은 매칭 확률을 갖는 의료정보를 표시하기 위하여 병변 표준 이미지와 비교할 수 있다.
여기서, 병변 표준 이미지는 해당 병변에 대해 의학적으로 통용되는 모양, 색 등의 특징으로 구성된 병변 이미지를 의미하는 것일 수 있다. 예를 들면, 병변 표준 이미지는 병변을 설명하는 의학 교과서나 도감(illustration)에 포함된 이미지일 수 있다. 또한, 병변 표준 이미지는 인체지도에 포함되는 것일 수 있다.
또한, 처리부(140)는 병변의 밝기, 병변의 모양, 병변의 테두리 경계의 매끈한 정도, 의료 영상 하나 이상의 픽셀 밝기 값을 인자 또는 변수로 이용하는 연산 및 하나의 픽셀과 주변 픽셀의 공간적 관계에 의해서 결정되는 연산 등에 의해서 사전에 선정된 기준, 혹은 사용자가 선택하는 기준과 비교할 수 있다. 이때, 처리부(140)는 컴퓨터 비전 기술 또는 영상처리 기술을 이용하여 상기 비교를 수행할 수 있다.
도 16은 본 발명의 일실시예에 따른 병변의 명암에 따른 의료정보를 표시하는 과정을 설명하기 위한 도면이다.
도 16에 도시된 바와 같이, 처리부(140)는 두 개의 서로 다른 병변 이미지가 동일한 속성 노드 a가 매핑되어 있음을 확인할 수 있다. 의료 영상을 보면, 좌측 의료 영상의 병변 이미지는 밝은 색이지만, 우측 의료 영상의 병변 이미지는 보다 어두운 색임을 확인할 수 있다. 즉, 처리부(140)는 표준 병변 이미지(미도시)와 각각의 병변 이미지를 비교할 수 있고, 좌측의 병변 이미지는 밝음을, 우측의 병변 이미지는 어두움을 확인할 수 있다.
그러면, 처리부(140)는 표준 병변 이미지 상 밝은 색상은 '뇌출혈'일 확률이 높을 경우, 좌측의 병변 이미지에 대하여 '뇌출혈'에 관한 의료정보를 표시할 수 있다. 예컨대, 처리부(140)는 '뇌출혈'의 진단명인 'Hemorrhage in globus pallidus' 및 진단명 코드 '451037005'를 표시할 수 있다. 또한, 처리부(140)는 표준 병변 이미지 상 어두운 색상은 '뇌경색'일 확률이 높을 경우, 우측의 병변 이미지에 대하여 '뇌경색'에 관한 의료정보를 표시할 수 있다. 예컨대, 처리부(140)는 '뇌경색'의 진단명인 'Infarction of basal ganglia' 및 진단명 코드 '413102000'을 표시할 수 있다.
다시 도 1을 설명하면, 저장부(150)는 상기 병변 이미지와 상기 의료정보를 매칭하여, 데이터베이스에 저장할 수 있다. 실시예에서 저장부(150)는 상기 인체지도와 정합 전의 병변 이미지, 및 상기 인체지도와 정합 후의 병변 이미지 각각을, 상기 의료정보에 매칭하여 데이터베이스에 저장할 수 있다. 여기서, 상기 인체지도와 정합 후의 이미지는, 인체지도 상의 좌표로 표현될 수 있다.
즉, 저장부(150)는 속성 노드에 포함될 의료정보를 저장할 수 있다. 예를 들면, 저장부(150)는 처리부(140)에 의해 '뇌출혈' 및 '451037005'의 의료정보를 갖는 병변 이미지가 표시된 후, 병변 이미지와 의료정보를 매칭하여 데이터베이스에 저장할 수 있다. 이때, 저장부(150)는 병변 이미지가 속성 노드 a에 의해 의료정보가 표시된 것이라면, 속성 노드 a에 해당 의료정보인 '뇌출혈' 및 '451037005'를 포함하여 저장할 수 있다. 저장된 병변 이미지 및 의료정보는 추후 해당 병변 이미지에 대한 의료정보가 표시될 때 사용될 수 있다.
이때, 저장된 병변 이미지는 정합에 사용된 인체지도를 기준으로 동일하거나 유사하게 구성된 좌표, 크기 및 모양 중 적어도 하나를 포함하는 것일 수 있으며, 그 크기나 모양, 좌표 등에서 원본 의료 영상과는 차이가 날 수 있다. 예를 들면, 상기 병변 이미지는 원본 의료 영상과 다른 좌표로 구성된 것이거나 2차원의 병변 이미지가 3차원의 인체지도를 정합함으로써 3차원의 좌표로 구성된 것일 수 있다. 또한, 상기 병변 이미지는 복수의 인체지도가 정합된 것일 수 있다. 예를 들면, 상기 병변 이미지는 사용자의 전공, 치료 목적, 환자의 나이, 환자의 인종, 질병 등 중 적어도 하나 이상의 필요에 따라 하나 이상의 인체지도가 정합된 것일 수 있다.
또한, 저장부(150)는 상기 병변 이미지와 상기 인체지도를 정합하기 전 또는 후 중 적어도 하나 이상을 상기 의료정보와 매칭하여 저장할 수 있다. 즉, 저장부(150)는 정합 전 병변 이미지, 정합 후 병변 이미지 및 추출된 의료정보를 모두 저장할 수 있다. 이로 인해, 저장부(150)는 저장된 병변 이미지가 병변의 원래 크기 또는 모양을 표현하는 데 제한이 없도록 할 수 있다.
또한, 저장부(150)는 상기 정합 영역에 대한 상기 병변 이미지 및 상기 속성 노드와 관련된 번호 중 적어도 하나 이상을 저장할 수 있다. 여기서, 번호는, 상기 병변 이미지 또는 상기 인체지도에 매핑되는 속성 노드를 식별하기 위한 것으로 문자나 숫자, 기호, 특수문자로 조합 된 것 일 수 있다.
이러한, 본 발명의 의료정보 제공 장치(100)에 따르면, 병변 이미지에 매칭된 의료정보를 저장함으로써, 차후 저장된 병변 이미지가 매칭된 의료정보를 바탕으로 보다 객관화되고 정확한 의료정보를 표시할 수 있는 데이터베이스를 구축할 수 있다. 또한, 정합이 완료된 병변 이미지를 저장함으로써, 차후 코드 체계가 업그레이드됨에 따라 추출부 및 정합부를 거치지 않고 간소하게 의료정보를 갱신할 수 있다.
도 17은 본 발명의 일실시예에 따른 복수의 의료 영상을 이용하여 병변 이미지를 추출하는 과정을 설명하기 위한 도면이다.
의료정보 제공 장치(100)는 복수의 영상을 이용하여 병변 이미지를 추출할 수 있다. 예를 들면, 동일한 환자에 대해 획득된 의료 영상은 복수일 수 있다. 즉, 획득부(110)는 CT를 촬영한 뒤 조영제를 넣고 다시 CT를 촬영한 환자에 대한 두 벌의 의료 영상을 획득할 수 있다. 이에 더해, 상기 환자가 MRI를 찍는다면, 획득부(110)는 적어도 셋 이상의 의료 영상을 획득할 수 있다.
이때, 촬영한 의료 영상에서 나타나는 병변의 크기 및 의미는 서로 상이할 수 있다. 예컨대, CT에서 추출되는 병변의 크기와 MRI 영상에서 추출되는 병변의 크기 또는 의미가 다를 수 있다. 즉, 추출된 병변이미지가 영상의 특징에 따라 일치하지 않을 수 있을 뿐 아니라 각 영상에서 추출된 환부는 각각 다른 의미를 가질 수 있다. 즉, 병변의 크기 및 의미는 경우에 따라 다른 의료정보가 추출될 필요인 것으로 해석될 수 있다.
도 17은 뇌종양 환자의 의료 영상으로서, 도 17의 (a) 영상에서 하얀색 영역은 이상이 있는 전체 영역을 나타내는 것이고, 도 17의 (b) 영상에서 하얀색 영역은 종양을 나타내는 것일 수 있다.
도 17의 (a) 영상에서 병변은 종양이 존재하는 영역뿐 아니라, 주위에 부어 있는(부종이 있는) 병변을 모두 나타내기 때문에 도 17의 (a) 영상만으로는 종양 자체의 크기나 모양을 추정하기 어려울 수 있다. 또한, 이 환자에서 부종이 있는 영역의 병변 이미지를 추출하려면 도 17의 (a) 영상과 도 17의 (b) 영상의 두 가지 영상이 모두 필요하며, 부종이 있는 영역은 도 17의 (a) 영상에서 도 17의 (b) 영상을 뺀 영역이 될 수 있다.
따라서, 추출부(120)는 어떤 특징 영역을 찾기 위해서 하나 이상의 의료 영상에서 연산적 기법을 적용하여, A 영상에서 분할된 병변 이미지에서, B 영상에서 분할된 병변 이미지를 빼고, C 영상에서 분할된 병변 이미지를 더하는 '(A - B + C)' 등의 처리를 통하여 병변 이미지를 추출할 수 있다.
이러한, 본 발명의 의료정보 제공 장치(100)에 따르면, 병변의 특징에 따라 여러 개의 진단명 또는 의료정보가 나타날 수 있지만 병변 이미지를 명확하게 하되 가능성 있는 병변 이미지를 모두 찾을 수 있도록 할 수 있다. 즉, 본 발명의 의료정보 제공 장치(100)에 의해서는, 민감도(sensitivity)을 높이거나 반대로 특이도(specificity)를 높이는 방향으로 병변 이미지가 추출될 수 있도록 할 수 있으며, 그 정도를 사용자가 지정할 수 있다.
또한, 추출부(120)는 병변의 위치는 도 17의 (b) 영상으로 찾고, 병변 영역의 범위는 도 17의 (a) 영상으로 찾아 추출할 수 있다. 또한, 추출부(120)는 시간적 간격을 두고 촬영한 동일 검사에서, 병변이 자란 부분을 이전 영상의 병변에서 '빼기' 연산을 함으로써 이미지를 추출할 수 있다. 또한, 추출부(120)는 치료 후에 줄어든 크기를 '빼기' 연산으로 구해 시간 경과 분에 따른 차이에 대한 병변 이미지를 추출할 수도 있다. 또한, 추출부(120)는 둘 이상의 영상에서 겹치는 부분만을 병변 이미지로 채택하거나 'A-B'로 하는 연산을 통하여 여러 가지 방식을 조합하여 병변 이미지를 추출할 수 있다.
또한, 의료정보 제공 장치(100)는 의료 영상으로서, 동일한 환자에 대해, 정합 전 좌표를 중심으로 생성되는 이전 의료 영상과, 정합이 된 좌표를 중심으로 생성되는 최근 의료 영상을 비교하면서 병변 이미지를 정합하거나 추출할 수 있다. 이때, 저장부(150)는 동일한 환자의 이전 의료 영상을 저장하거나 불러올 수 있다. 또한, 의료정보 제공 장치(100)는 정합 과정에서 필요한 변수(배율)이나 위치, 밝기 등을 기록을 저장부(150)에 저장하고, 저장한 기록을 바탕으로 새로운 영상을 촬영하면서 활용할 수 있다.
도 18은 본 발명의 일실시예에 따른 의료 영상을 정합하는 과정에서 사용자가 도움을 주는 일례를 설명하기 위한 도면이다.
인체지도와 병변 이미지 또는 의료 영상이 정확하게 정합되지 않을 경우, 의료정보 제공 장치(100)는 정합될 수 있는 기준이 선정되면, 인체지도와 의료 영상 또는 병변 이미지를 정합할 수 있다. 이때, 정합될 수 있는 기준은 사용자(의료진)에 의해 선택된 것일 수 있다. 예를 들면, 복수의 의료 영상이 있다면, 어느 영상을 기준으로 정합을 해야 하는지 사용자가 선택할 수 있으며, 의료정보 제공 장치(100)는 선정된 기준에 따라 정합할 수 있다. 이때, 병변 전체가 한번에 정합되지 않는 경우, 부분적으로 나누어 정합하도록 사용자가 선택할 수 있다.
도 18의 (C)에는 사용자가 촬영된 의료 영상(a)의 크기나 위치 등을 맞추거나, 또는 인체지도(b)의 크기나 위치를 바꿔가면서 정합이 시도될 수 있도록 하는 인터페이스의 일례를 도시한다. 또한, 의료정보 제공 장치(100)는 병변 이미지가 추출된 뒤에 정합에 도움을 주기 위해 환부의 좌표를 입력하거나 인체지도에서 위치를 표시할 수 있는 인터페이스를 제공할 수 있다.
도 19 및 도 20은 본 발명의 일실시예에 따른 의료 영상에서 병변 이미지를 추출하는 일례를 설명하기 위한 도면이다.
도 19의 (a)와 (b)는 사용자가 ROI(region of interest)를 설정해주는 일례일 수 있다. 의료정보 제공 장치(100)는 ROI를 설정할 수 있는 인터페이스를 제공할 수 있다. 이때, 병변 이미지는 다른 부위를 제외하고 ROI가 설정된 영역에서만 추출될 수 있다(도 19의 (b)의 원 참조).
도 20에서는, 촬영된 의료 영상(a)에 대해, 마우스 등을 통해 병변이 있는 영역(b)의 일부를 선택하고, 그 중의 한 부분을 병변으로 특정(c)하는 일례를 설명하고 있다. 이때, 스포이드 모양은 선택된 영역의 정보를 추출한다는 의미로서, 의료정보 제공 장치(100)는 선택된 영역의 밝기 정보를 받아 들이고 병변 이미지를 추출하기 위해서, 비슷한 밝기를 갖고 지정된 부분과 끊어지지 않고 연결되어 있는 영역을 찾아 추출할 수 있다.
또한, 의료정보 제공 장치(100)는 어떤 병변에 대하여 정상 조직(인체지도)에 비교하여 비교 정도가 차이가 없거나 또는 뚜렷하지 않은 영상특징을 갖는 병변에 대하여 병변 이미지를 직접 만들어서 병변의 예상 위치 정보를 등록하도록 할 수 있다. 즉, 의료정보 제공 장치(100)는 인체 내 어떠한 영역에 어떤 모양으로 있을 것으로 추정되는 차원에서 병변 이미지를 등록하도록 할 수 있다. 이때, 의료정보 제공 장치(100)는 점, 선, 면, 삼각형, 다각형, 공식 및 종래의 해부학적인 구조 중 적어도 하나 이상의 조합을 통하여 병변 이미지를 만들 수 있도록 할 수 있다.
예컨대, 사용자는 의료정보 제공 장치(100)에서 제공된 인터페이스를 통하여 'globus pallidus'란 해부학적인 구조물 전체를 병변으로 선택하고(병변 1), 인체지도에서 (3,19,20)의 좌표, 반지름 3인 크기의 공간을 병변으로 선택할 수 있다(병변 2). 또한, 사용자는 병변 1과 병변 2의 조합에 의해 병변 3을 정의하도록 할 수 있는데, 즉 병변 1과 병변 2를 더한 영역을 생성하도록 할 수 있다(병변 3). 또는, 병변 1에서 병변 2를 뺀 영역을 병변 4로서 생성하도록 할 수 있다. 이때, 의료정보 제공 장치(100)는 진단명이나 진단명 코드를 의료정보에서 선택을 하거나 직접 입력을 할 수 있도록 하는 인터페이스를 제공할 수 있다.
도 21 및 도 22는 본 발명의 일실시예에 따른 정형화된 문서를 출력하는 일례를 설명하기 위한 도면이다.
도 21에 도시된 바와 같이, 의료정보 제공 장치(100)는 의료 영상을 이용해서 의료정보를 추출한 후, 그 정보를 이용해서 구조화된 문서를 저장할 수 있다. 예컨대, 구조화된 문서는 판독지일 수 있다.
의료 영상의 판독지의 내용은 병변을 기록하는 묘사(description)가 있고 이후에 결론(conclusion, 혹은 impression)으로 이어질 수 있다. 특히, 판독지는 사람이 직접 작성하지 않게 되더라도 다른 병원에 소견서를 제출할 때나 전원을 가게 되면 전자차트의 한 부분으로 반드시 존재해야 하는 부분일 수 있다.
도 22에 도시된 바와 같이, 뇌 CT를 촬영한 후 판독지의 작성, 진단명의 추출 또는 코드의 추출은 영상을 찍은 직후가 아닌 다른 시점에 이루어질 수도 있다. 따라서, 의료정보 제공 장치(100)는 병변 이미지를 저장할 수 있으며, 의료정보의 추출이 필요한 시점에 기저장된 병변 이미지를 불러올 수 있다. 또한, 의료정보 제공 장치(100)는 정합 전 병변 이미지 및 정합 후 병변 이미지 중 적어도 하나 이상을 저장하고, 의료정보를 추출할 수 있다. 예를 들면, 의료정보 제공 장치(100)는 확인된 병변 이미지에 대한 의료정보를 데이터베이스에 여러 가지 형식(예컨대, XML이나 JSON형식 등)으로 저장할 수 있으며, 출력 시에 문서 형태로 출력할 수도 있다.
도 23은 본 발명의 일실시예에 따른 병변 이미지의 모양을 예측하는 일례를 설명하기 위한 도면이다.
의료정보 제공 장치(100)는 병변 이미지를 추출한 후, 병변에 따라 이후에 변하게 될 모양을 어느 정도 예측할 수 있다. 이는, 병변의 경계가 애매한 경우, 병변 이미지를 추출할 때 도움을 줄 수 있다. 예를 들면, 뇌에 출혈이 있었던 병변이라면 2주일 정도 지나게 되면 출혈부위가 많이 줄게 되어 출혈 부위가 표시가 나지 않을 수 있다. 또한, 이 시기에는 혈액의 흡수가 많이 되므로 병변 크기가 작아지게 될 가능성이 높을 수 있다. 이때, 의료정보 제공 장치(100)는 병변 이미지를 추출하면서 이전보다는 부피를 줄이는 쪽으로 병변 이미지를 추출할 수 있다.
도 23의 (a)에 도시된 의료 영상은, 이전에 뇌출혈이 있던 사람이 출혈 병변으로 도관을 삽입하는 수술을 받고 촬영된 영상일 수 있다. 이때, 수술 이후에 촬영된 도 23의 (b)의 의료 영상에는, 삽입된 도관(밝게 보이는 부분)이 있는데, 미리 수술 받은 사실이 입력이 되지 않았다면 배액관이 있어 밝게 보이는 부분이나 공기가 들어 있는 부분을 틀린 정보로 추출할 수 있다. 그렇지만, 의료정보 제공 장치(100)는 예측 모델에 의해서 도관 수술 후에 보이는 공기의 위치, 밝은 도관에 대한 값들을 예측하여 정확한 병변 이미지를 추출할 수 있다. 또 다른 예로서, 뇌종양을 촬영한 의료 영상에서, 의료정보 제공 장치(100)는 방사선 치료나 항암 요법을 받고 나서 촬영을 하게 되면 부피가 줄 것이라는 예측을 할 수 있다.
이러한, 본 발명의 의료정보 제공 장치(100)에 따르면, 일반적인 뇌 수술 후에 보이는 공기 음영 등을 예측하여 오류를 일으키는 부분들을 걸러내고 더욱 정확하게 병변 이미지를 추출할 수 있다.
도 24는 본 발명의 일실시예에 따른 인체지도를 선택하는 일례를 설명하기 위한 도면이다.
인체는 개인마다 그 크기가 다를 수 있다. 예를 들면, 뇌실이 큰 사람 또는 작은 사람, 뇌 기저핵이 큰 사람 또는 작은 사람 등의 개인적 특징이 존재할 수 있다. 이때, 의료정보 제공 장치(100)는 개인의 개별 장기의 크기에 따른 인체지도를 선정하여 정합되도록 할 수 있다.
예를 들면, 도 24의 (a)와 같이 뇌실이 작은 사람의 인체지도에 대해, 의료정보 제공 장치(100)는 도 24의 (b)와 같이 뇌실이 큰 사람의 인체지도를 이용해서 정합할 수 있다.
여기서, 영상을 전체적으로 정합을 해서 정보를 추출할 때 보다는 뇌를 부분 별로 나누어 정합을 하게 된다면 훨씬 정밀도를 높일 수 있다. 의료정보 제공 장치(100)는 뇌의 구조물 별로 정합이 가능하도록 할 수 있으며, 또한 이미지를 여러 조각으로 나누어서 각 구조물 별로 따로따로 정합을 할 수 있다.
도 25는 본 발명의 일실시예에 따른 속성 노드를 통한 의료정보 표시 일례를 설명하기 위한 도면이다.
의료정보 제공 장치(100)는 환부가 발생하게 된 원인에 대한 코드가 입력되는 인터페이스를 제공할 수 있다. 예를 들면, 환자가 추락에 의하여 종아리 뼈에 골절이 있는 경우, 다음과 같이 의료정보가 표시될 수 있다.
먼저, 사용자(의료진)는 '길거리 교통사고'에 해당하는 코드 '242089005'를 의료정보 제공 장치(100)에 입력할 수 있다. 또한, 사용자는 환자의 다리에 개방창이 없는 것을 확인 하고 'closed wound'에 해당하는 '125194009'를 의료정보 제공 장치(100)에 입력할 수 있다. 환자의 종아리를 촬영한 의료 영상(b)에는 뼈 중간에 날카롭게 금이 간 골절 선이 났음을 확인할 수 있다. 의료정보 제공 장치(100)는 환자 다리를 촬영한 의료 영상(b)를 인체지도(a)에 길이를 맞추고 이미지를 회전 시켜서, 도 25의 (c)와 같은 영상으로 정합할 수 있다. 그런 다음, 의료정보 제공 장치(100)는 병변 이미지에 오버랩되는 속성 노드(병변 node)를 확인할 수 있다.
의료정보 제공 장치(100)는 속성 노드가 가지고 있는 의료정보 중 해부학적 위치에 해당하는 값을 데이터베이스로부터 리드할 수 있다. 예컨대, 의료정보 제공 장치(100)는 '정강이뼈의 중간부분'에 해당되는 '60613003'의 코드값을 리드할 수 있다. 즉, 의료정보 제공 장치(100)는 의료 영상에서 추출된 병변 이미지를 '60613003'의 코드 값으로 표시할 수 있다.
의료정보 제공 장치(100)는 진단명을 표시함에 있어서, 속성 노드가 포함하는 진단명이 모두 고려될 수 있다. 즉, 의료정보 제공 장치(100)는 정강이뼈가 골절일 때 추출이 가능한 진단명 및 코드인 '개방성 정강이뼈 골절 - 6628008', '비개방성 정강이뼈 골절 - 26442006' 및 '개방성이 확인되지 않은 정강이뼈 골절 - 54441004' 중 적어도 하나 이상을 진단명으로 표시할 수 있다. 이때, 의료정보 제공 장치(100)는 입력된 '길거리 교통사고'와 '비개방성 상처' 등의 기입력된 코드를 근거로 가장 확률이 높은 진단명을 의료정보로 표시할 수 있다. 즉, 의료정보 제공 장치(100)는 진단명을 '비개방성 정강이뼈 골절 - 26442006'로 표시할 수 있으며, 이에 대한 세부 의료정보를 표시할 수 있다.
예를 들면, 의료정보 제공 장치(100)는 '개방성 정강이뼈 골절'일 때 치료적 처치로 추출 가능한 코드인 '안정하도록 교육함 - 38588507', '통증 조절 - 408950005' 및 '긴다리 깁스(캐스트) - 118397005' 중 적어도 하나 이상을 처방하는 것으로 표시할 수 있다. 또한, 의료정보 제공 장치(100)는 상기 처방에 대한 처방전이 발급되도록 할 수 있다. 즉, 의료정보 제공 장치(100)는 '비개방성 정강이뼈 골절'에 대한 처방으로서, '도수 정복법(closed manual reduction)'에 해당되는 값이 저장되어 있는 것을 데이터베이스로부터 리드한 후, '439217005'를 처방하는 것으로 표시할 수 있다.
도 26은 본 발명의 일실시예에 따른 의료정보 제공 장치의 운용 방법을 구체적으로 도시한 작업 흐름도이다.
본 실시예에 따른 의료정보 제공 방법은 의료정보 제공 장치(100)에 의해 수행될 수 있다.
우선, 병의원 서버에서 의료 영상을 획득한다(2610). 여기서, 의료 영상은 병의원 서버에 저장되어 있는 데이터이거나, 적어도 하나 이상의 의료 영상 장비로부터 획득된 영상일 수 있다. 예컨대, 의료 영상 장비로부터 획득된 영상은 X선 촬영(X-ray), 컴퓨터 단층촬영(CT, Computed Tomography), 자기공명영상(MRI, Magnetic Resonance Imaging), 단일광자 단층촬영(SPECT, Single Photon Emission Computed Tomography), 양전자 단층촬영(PET, Positron Emission Tomography) 중 적어도 하나로 촬영된 영상일 수 있으나, 이에 한정된 것은 아니다.
다음으로, 상기 의료 영상으로부터 병변 이미지를 추출한다(2620). 즉, 의료 영상에서 정상 이미지가 아닌 병변으로 의심되는 이미지를 추출할 수 있다. 이때, 병변 이미지는 이차원 이미지 및 삼차원 이미지 중 적어도 하나일 수 있다.
다음으로, 상기 병변 이미지를, 인체지도에 정합한다(2630). 이때, 단계(2430)에서 의료정보 제공 장치(100)는 상기 병변 이미지가 속하는 인체장기와 관련되는, 인체지도에 상기 병변 이미지를 정합할 수 있다.
이때, 단계(2620) 및 단계(2630)을 수행하는 순서는 정해진 것이 아니며, 단계(2620) 및 단계(2630)은 반복적으로 수행될 수 있다. 즉, 의료정보 제공 장치(100)는 단계(2620) 다음 단계(2630)을 수행하거나 단계(2630) 다음 단계(2620)을 수행할 수 있으며, 정밀도를 높이기 위해 이 과정을 반복적으로 수행할 수 있다.
다음으로, 상기 병변 이미지가 정합되는, 상기 인체지도 내 정합 영역에 대응하는 의료정보를 표시한다(2640). 즉, 단계(2640)에서 의료정보 제공 장치(100)는 병변 이미지가 인체지도에 대응되는 영역에 대하여, 해당 영역이 포함하고 있는 의료정보를 표시할 수 있다.
또한, 상기 인체지도에는 복수의 속성 노드가 매핑되고, 단계(2640)에서 의료정보 제공 장치(100)는 상기 정합 영역에 포함되어 매핑되는 속성 노드를 확인하고, 상기 확인된 속성 노드에 의해, 데이터베이스에서 리드되는 의료정보를 표시할 수 있다. 다시 말해, 단계(2640)에서 의료정보 제공 장치(100)는 복수의 속성 노드가 매핑되어 있는 인체지도를 활용하여 정합 영역에 대한 의료정보를 표시할 수 있다.
또한, 상기 인체지도에는 복수의 속성 노드와 함께, 상기 복수의 속성 노드 각각을 둘러싸는 환부 영역이 매핑되고, 단계(2640)에서 의료정보 제공 장치(100)는 상기 정합 영역과, 적어도 오버랩되어 매핑되는 환부 영역과, 상기 환부 영역이 갖는 속성 노드를 확인하고, 상기 확인된 속성 노드에 의해, 데이터베이스에서 리드되는 의료정보를 표시할 수 있다.
또한, 단계(2640)에서 의료정보 제공 장치(100)는 상기 정합 영역과 오버랩되는 면적을 고려하여, 상기 의료정보에 대한 표시 위치 및 표시 크기를 결정할 수 있다. 즉, 단계(2640)에서 의료정보 제공 장치(100)는 의료정보가 표시될 화면 상에서 의료정보에 대한 표시 위치 및 표시 크기를 적절하게 조정할 수 있다.
또한, 상기 환부 영역에 대하여, 상기 환부 영역의 중심점으로부터 복수의 속성 노드가 이격되어 매핑될 수 있다. 이때, 단계(2640)에서 의료정보 제공 장치(100)는 상기 정합 영역에 포함되어 매핑되는 상기 속성 노드를, 상기 중심점 기준으로 상기 환부 영역의 세부 영역 별로 가중치를 설정하여 확인하고, 상기 속성 노드에 의해, 데이터베이스에서 리드되는 의료정보를 표시하되, 상기 가중치가 높은 순으로 표시할 수 있다.
실시예에 따라, 의료정보 제공 장치(100)는 상기 표시된 의료정보에 대한 선택에 연동하여, 상기 선택된 의료정보에 관련되는 세부 의료정보를, 데이터베이스에서 검색하여 표시할 수 있다. 예컨대, 의료정보 제공 장치(100)는 'Prepare operation'이 선택되면, 수술을 준비할 수 있는 세부 의료정보를 표시할 수 있다. 또 다른 예로서, 의료정보 제공 장치(100)는 의료정보의 논문이 선택되면 관련된 논문에 대한 링크 정보 등을 세부 의료정보로서 표시할 수 있다. 또 다른 예로서, 의료정보 제공 장치(100)는 복수의 진단명을 추출하여 표시하고, 보다 정확한 진단명이 선택되면 그에 대한 세부 의료정보를 표시할 수 있다. 또 다른 예로서, 의료정보 제공 장치(100)는 환자의 투약 정보를 바탕으로 약물에 대한 정보를 의료정보로서 표시할 수 있다. 또한, 의료정보 제공 장치(100)는 병변의 특징(밝기, 부피, 직경의 크기 등)값으로 연산한 결과에 따라, 응급 환자로 분류되는 경우 응급 환자임을 알리는 표식을 의료정보로서 표시할 수 있다.
이러한, 본 발명의 의료정보 제공 방법에 따르면, 속성 노드가 매핑된 2차원 또는 3차원의 병변 이미지에 대한 의료정보를 표시함으로써, 병변 이미지에 대한 진단명 및 진단명 코드를 포함한 의료정보를 검색 및 기록하는 시간을 단축시킬 수 있다.
이러한, 본 발명의 의료정보 제공 방법에 따르면, 속성 노드가 매핑된 인체지도에 정합되는 병변 이미지에서의 의료정보를 나타냄으로써, 병변 이미지에 대한 진단명 및 진단명 코드를 포함한 의료정보를 보다 정확하고 간편하게 찾아 나타낼 수 있다.
또한, 본 발명의 의료정보 제공 방법에 따르면, 병변 이미지에 매칭된 의료정보를 저장함으로써, 차후 저장된 병변 이미지가 매칭된 의료정보를 바탕으로 보다 객관화되고 정확한 의료정보를 표시할 수 있는 데이터베이스를 구축할 수 있다. 또한, 정합이 완료된 병변 이미지를 저장함으로써, 차후 코드 체계가 업그레이드됨에 따라 추출부 및 정합부를 거치지 않고 간소하게 의료정보를 갱신할 수 있다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100 : 의료정보 제공 장치
110 : 획득부
120 : 추출부
130 : 정합부
140 : 처리부
150 : 저장부

Claims (16)

  1. 병의원 서버에서 의료 영상을 획득하는 획득부;
    상기 의료 영상으로부터 병변 이미지를 추출하는 추출부;
    상기 병변 이미지를, 인체지도에 정합하는 정합부 -상기 인체지도에는 속성 노드와 함께, 상기 속성 노드를 둘러싸는 환부 영역이 매핑됨-; 및
    상기 병변 이미지가 정합되는, 상기 인체지도 내 정합 영역과 오버랩되어 매핑되는 환부 영역이 갖는 복수의 속성 노드를 확인하고, 상기 환부 영역의 중심점으로부터 이격되는 간격에 따라, 상기 복수의 속성 노드 각각에 대해 가중치를 설정하여 확인하는 처리부
    를 포함하고,
    상기 처리부는,
    상기 가중치가 높은 순으로, 상기 복수의 속성 노드에 의해, 데이터베이스에서 리드되는 복수의 의료정보를 순차적으로 표시하되,
    상기 정합 영역과 오버랩되는, 상기 환부 영역의 면적을 고려하여, 상기 복수의 의료정보에 대한 표시 위치 및 표시 크기를 결정하는
    의료정보 제공 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 처리부는,
    상기 표시된 의료정보에 대한 선택에 연동하여,
    상기 선택된 의료정보에 관련되는 세부 의료정보를, 상기 데이터베이스에서 검색하여 표시하는
    의료정보 제공 장치.
  7. 제1항에 있어서,
    상기 추출부는,
    상기 의료 영상과 기설정된 병변 표준 이미지와의, 명암, 크기, 및 유사성 중 적어도 하나를 비교하고,
    상기 비교에 따른 매칭 확률이 가장 높은, 상기 의료 영상의 일부를, 상기 병변 이미지로 추출하는
    의료정보 제공 장치.
  8. 제1항에 있어서,
    상기 처리부는,
    상기 병변 이미지와 연관하여, 상기 의료정보를 표시하는
    의료정보 제공 장치.
  9. 제1항에 있어서,
    상기 정합부는,
    상기 병변 이미지가 속하는 인체장기와 관련되는, 인체지도에 상기 병변 이미지를 정합하는
    의료정보 제공 장치.
  10. 제1항에 있어서,
    상기 추출된 병변 이미지가 선정된 기준에 따라, 왜곡되거나 필요없는 것으로 판단되는 경우,
    상기 정합부는,
    상기 병변 이미지를 변형하거나, 또는
    상기 병변 이미지에서, 상기 왜곡되거나 또는 상기 필요없다고 판단되는 부분을 분리하는
    의료정보 제공 장치.
  11. 제1항에 있어서,
    상기 인체지도와 정합 전의 병변 이미지, 및 상기 인체지도와 정합 후의 병변 이미지 중 적어도 하나를 상기 데이터베이스에 저장하는 저장부
    를 더 포함하는 의료정보 제공 장치.
  12. 제11항에 있어서,
    상기 저장부는,
    상기 인체지도와 정합 전의 병변 이미지와, 상기 인체지도와 정합 후의 병변 이미지 각각을 의료 정보에 매칭하여 상기 데이터베이스에 저장하는
    의료정보 제공 장치.
  13. 제11항에 있어서,
    상기 인체지도와 정합 후의 이미지는,
    인체지도 상의 좌표로 표현되는
    의료정보 제공 장치.
  14. 제1항에 있어서,
    상기 병변 이미지 또는 상기 인체지도에 매핑되는 속성 노드를 식별하기 위한 번호를 저장하는 저장부
    를 더 포함하는 의료정보 제공 장치.
  15. 제1항에 있어서,
    상기 추출부는,
    상기 병변 이미지를, 이차원 이미지 및 삼차원 이미지 중 적어도 하나로 추출하는
    의료정보 제공 장치.
  16. 제1항에 있어서,
    상기 처리부는,
    상기 병변 이미지에 관한 해부학적 명칭, 진단명, 진단명 코드 및 치료 약물 중 적어도 하나의 의학 정보를 포함하는 상기 의료정보를 표시하는
    의료정보 제공 장치.
KR1020150016667A 2015-02-03 2015-02-03 의료정보 제공 장치 및 의료정보 제공 방법 KR101748019B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150016667A KR101748019B1 (ko) 2015-02-03 2015-02-03 의료정보 제공 장치 및 의료정보 제공 방법
US15/548,291 US10585849B2 (en) 2015-02-03 2016-01-29 Medical information providing apparatus and medical information providing method
PCT/KR2016/001013 WO2016126056A1 (ko) 2015-02-03 2016-01-29 의료정보 제공 장치 및 의료정보 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150016667A KR101748019B1 (ko) 2015-02-03 2015-02-03 의료정보 제공 장치 및 의료정보 제공 방법

Publications (2)

Publication Number Publication Date
KR20160095426A KR20160095426A (ko) 2016-08-11
KR101748019B1 true KR101748019B1 (ko) 2017-06-15

Family

ID=56564335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150016667A KR101748019B1 (ko) 2015-02-03 2015-02-03 의료정보 제공 장치 및 의료정보 제공 방법

Country Status (3)

Country Link
US (1) US10585849B2 (ko)
KR (1) KR101748019B1 (ko)
WO (1) WO2016126056A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101856867B1 (ko) * 2016-10-26 2018-05-10 고려대학교 산학협력단 구강 병변의 진단 시스템 및 방법
KR101865275B1 (ko) * 2016-12-27 2018-06-08 아주대학교 산학협력단 질환 중심 의료 영상을 위한 템플릿 기반 정보 제공 방법 및 그 장치
US20190019304A1 (en) * 2017-07-11 2019-01-17 Fujifilm Corporation Medical image processing apparatus, method, and program
US11893729B2 (en) * 2017-11-22 2024-02-06 GE Precision Healthcare LLC Multi-modal computer-aided diagnosis systems and methods for prostate cancer
EP3714461A1 (en) * 2017-11-22 2020-09-30 General Electric Company Multi-modal computer-aided diagnosis systems and methods for prostate cancer
KR102001398B1 (ko) * 2018-01-25 2019-07-18 재단법인 아산사회복지재단 기계학습을 통한 뇌질환 상태변화 예측방법, 장치 및 프로그램
KR102255401B1 (ko) * 2019-01-30 2021-05-24 (주)비주얼터미놀로지 3d 의료정보 입력 방법 및 시스템
CN110163928B (zh) * 2019-05-22 2021-07-09 数坤(北京)网络科技股份有限公司 基于血管分段与病灶的影像联动方法、装置及存储设备
CN110136253B (zh) * 2019-05-22 2022-08-23 珠海横琴圣澳云智科技有限公司 一种结节三维立体展示装置及设备
WO2021096054A1 (ko) * 2019-11-13 2021-05-20 부산대학교 산학협력단 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
KR102500378B1 (ko) * 2019-11-13 2023-02-15 부산대학교 산학협력단 자동 의료그림 생성시스템, 이를 이용한 자동 의료그림 생성 방법 및 머신 러닝 기반의 자동 의료그림 생성 시스템
KR102227735B1 (ko) * 2020-01-03 2021-03-15 국립암센터 장기의 3d 모델링 방법 및 3d 장기 모델
DE112021001411T5 (de) * 2020-03-05 2023-04-13 Fujifilm Corporation Verarbeitungsvorrichtung für medizinische bilder, verarbeitungsverfahren für medizinische bilder, programm und anzeigesystem für medizinische bilder
CN111462203B (zh) * 2020-04-07 2021-08-10 广州柏视医疗科技有限公司 Dr病灶演化分析装置和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061839A (ja) 1999-08-27 2001-03-13 Toshiba Corp 超音波診断装置及び超音波画像処理装置
JP5355257B2 (ja) * 2009-07-01 2013-11-27 株式会社東芝 医用画像表示装置および医用画像表示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5159242B2 (ja) 2007-10-18 2013-03-06 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびそのプログラム
US20110007954A1 (en) * 2009-07-07 2011-01-13 Siemens Corporation Method and System for Database-Guided Lesion Detection and Assessment
KR101241060B1 (ko) 2011-03-29 2013-03-11 주식회사 인피니트헬스케어 의료 영상 정보 저장과 표시 방법 및 그 장치
KR101805624B1 (ko) 2011-08-29 2017-12-08 삼성전자주식회사 장기 모델 영상 생성 방법 및 장치
EP2764468A4 (en) 2011-10-05 2015-11-18 Cireca Theranostics Llc PROCESS FOR ANALYZING BIOLOGICAL SAMPLES BY SPECTRAL IMAGING
KR101287382B1 (ko) * 2012-07-19 2013-07-19 주식회사 인피니트헬스케어 속성 정보와 영상 특성 정보를 활용하는 의료 영상 처리 및 디스플레이 장치 및 방법
KR20140049137A (ko) 2012-10-12 2014-04-25 삼성전자주식회사 의료영상 분석장치 및 방법
KR101684998B1 (ko) 2013-07-09 2016-12-12 주식회사바텍 의료영상을 이용한 구강병변의 진단방법 및 진단시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061839A (ja) 1999-08-27 2001-03-13 Toshiba Corp 超音波診断装置及び超音波画像処理装置
JP5355257B2 (ja) * 2009-07-01 2013-11-27 株式会社東芝 医用画像表示装置および医用画像表示方法

Also Published As

Publication number Publication date
US20180024995A1 (en) 2018-01-25
US10585849B2 (en) 2020-03-10
WO2016126056A1 (ko) 2016-08-11
KR20160095426A (ko) 2016-08-11

Similar Documents

Publication Publication Date Title
KR101748019B1 (ko) 의료정보 제공 장치 및 의료정보 제공 방법
JP7225295B2 (ja) 医用画像表示装置、方法およびプログラム
JP6220310B2 (ja) 医用画像情報システム、医用画像情報処理方法及びプログラム
US9662083B2 (en) Medical image display apparatus and medical image display system
US20190021677A1 (en) Methods and systems for classification and assessment using machine learning
US10268802B2 (en) Medical image processing apparatus and medical image processing system
US9922268B2 (en) Image interpretation report creating apparatus and image interpretation report creating system
US11364002B2 (en) Medical-image processing apparatus and medical-image diagnostic apparatus
CN107106043A (zh) 椎体特征识别
WO2012138871A2 (en) Image analysis for specific objects
WO2008093057A1 (en) Tools for aiding in the diagnosis of neurodegenerative diseases
CN106659424A (zh) 医用图像显示处理方法、医用图像显示处理装置及程序
CN109215104B (zh) 一种用于经颅刺激治疗的脑结构图像显示方法及装置
CN113826140B (zh) 血管造影数据分析
Saito et al. Surgical simulation of cerebrovascular disease with multimodal fusion 3-dimensional computer graphics
JP2019126654A (ja) 画像処理装置、画像処理方法、及びプログラム
US20110242096A1 (en) Anatomy diagram generation method and apparatus, and medium storing program
Pipolo et al. Virtual preoperative planning and 3D tumoral reconstruction with Horos open-source software
US20220044052A1 (en) Matching apparatus, matching method, and matching program
US20210353360A1 (en) Craniotomy simulation device, method, and program
US20230223138A1 (en) Medical information processing system, medical information processing method, and storage medium
WO2022070528A1 (ja) 医用画像処理装置、方法およびプログラム
WO2022054541A1 (ja) 画像処理装置、方法およびプログラム
JP2024044922A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2023047909A (ja) 医用画像表示装置、方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant