KR102476957B1 - 의료 영상 기반 홀로그램 제공 장치 및 방법 - Google Patents

의료 영상 기반 홀로그램 제공 장치 및 방법 Download PDF

Info

Publication number
KR102476957B1
KR102476957B1 KR1020200173764A KR20200173764A KR102476957B1 KR 102476957 B1 KR102476957 B1 KR 102476957B1 KR 1020200173764 A KR1020200173764 A KR 1020200173764A KR 20200173764 A KR20200173764 A KR 20200173764A KR 102476957 B1 KR102476957 B1 KR 102476957B1
Authority
KR
South Korea
Prior art keywords
image
hologram
region
suspected lesion
neural network
Prior art date
Application number
KR1020200173764A
Other languages
English (en)
Other versions
KR20220083477A (ko
Inventor
김광기
백정흠
김영재
Original Assignee
가천대학교 산학협력단
(의료)길의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단, (의료)길의료재단 filed Critical 가천대학교 산학협력단
Priority to KR1020200173764A priority Critical patent/KR102476957B1/ko
Priority to PCT/KR2021/018211 priority patent/WO2022124705A1/ko
Publication of KR20220083477A publication Critical patent/KR20220083477A/ko
Application granted granted Critical
Publication of KR102476957B1 publication Critical patent/KR102476957B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745—Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

본 발명의 실시예에 따른 의료 영상 기반 홀로그램 제공 장치 및 방법이 제공된다. 본 발명의 실시예에 의료 영상 기반 홀로그램 제공 장치는, 데이터를 송수신하도록 구성된 통신부; 및 상기 통신부와 연결하도록 구성된 제어부를 포함하고, 상기 제어부는, 상기 통신부를 통해 피검자의 목적 부위를 촬영한 의료 영상을 획득하고, 상기 획득된 의료 영상을 기초로 상기 목적 부위 및 상기 목적 부위에서 병변으로 의심되는 병변 의심 영역을 예측하도록 학습된 인공신경망 모델을 이용하여 상기 의료 영상으로부터 상기 목적 부위 및 상기 병변 의심 영역을 예측한 결과 데이터를 획득하고, 상기 결과 데이터에 기반하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하고, 상기 생성된 3차원 영상을 이용하여 홀로그램을 생성하기 위해 사용되는 홀로그램용 영상을 생성하고, 홀로그램 장치가 상기 홀로그램을 생성하도록 상기 생성된 홀로그램용 영상을 상기 홀로그램 장치로 제공하도록 구성된다.

Description

의료 영상 기반 홀로그램 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING HOLOGRAM BASED ON MEDICAL IMAGE}
본 발명은 의료 영상 기반 홀로그램 제공 장치 및 방법에 관한 것이다.
일반적으로 병원 진료는 환자가 내원하여 전문의를 만나 진료를 받거나, 질병 진단을 위한 검사를 받고, 전문의로부터 이에 대한 결과를 전달받는 방식으로 이루어진다. 예를 들어, 환자에 대한 영상 의학 검사(예: 엑스레이(X-ray), CT(Computer Tomography), 혈관조영 촬영검사(Angiography), 양전자 방출 단층 촬영 검사(PET-CT) 또는 MRI(Magnetic Resonance Imaging) 검사 등)가 이루어진 경우 전문의는 환자의 목적 부위(예: 폐 또는 대장 등)를 촬영한 엑스레이, CT 영상, 혈관조영 영상, PET-CT 영상 또는 MRI 영상 등과 같은 의료 영상을 환자에게 보여주면서 진단 또는 검사 결과 등을 전달한다.
이러한 경우 전문의는 정해진 진료 시간에 많은 환자들에게 진단 또는 검사 결과, 질환의 설명 및 치료 계획 등을 효율적으로 전달할 필요가 있다.
한편, 의료 영상은 전문의가 수술실에서 환자를 수술하기 위해 이용될 수 있다. 이처럼 의료 영상을 확인하기 위해 모니터링하기 위한 의료 보조인력이 요구되거나, 전문의가 수술 도중에 의료 영상을 확인하기 위해 의료 영상을 표시하는 모니터링 장치로 이동해야 하는 문제점이 있다.
최근에는 증강현실(AR)을 이용하여 의료 영상을 확인할 수 있는 방법이 이용되고 있으나, 증강현실을 이용하기 위해서는 증강현실용 글라스(또는 고글) 등과 같은 별도의 장치를 착용해야 하는 불편함이 있다.
따라서, 전문의가 환자의 의료 영상을 편리하게 확인하고, 환자에게 진단 또는 검사 결과를 보다 용이하게 전달하기 위한 의료 영상 기반 홀로그램 제공 장치 및 방법이 요구된다.
대한민국 등록특허공보 10-2245693호(2021년 04월 29일)
본 발명의 발명자들은 전문의가 제시하는 의료 영상이, 의료진이 아닌 환자가 이해하기 어렵고, 환자의 이해를 위해 의료 영상 이외에 참고할 수 있는 추가적인 수단이 존재하지 않아 전문의의 설명만으로 환자를 이해시키기 어렵다는 사실을 인식하였다.
또한, 본 발명의 발명자들은 수술실에서 의료 영상을 모니터링하는 보조 인력이 필요하거나, 전문의가 수술 도중에 모니터링 장치로 이동해야 하는 문제점이 있다는 사실을 인식하였다.
뿐만 아니라, 본 발명의 발명자들은 의료 영상을 확인하기 위해 증강 현실을 이용하더라도 전문의가 수술실에서 별도의 장치를 착용해야 하는 불편함이 있다는 사실을 인식하였다.
이에, 본 발명이 해결하고자 하는 과제는 의료 영상 기반 홀로그램 제공 장치 및 방법을 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 환자에게 진단 또는 검사 결과 등을 용이하게 전달하기 위해 의료 영상 기반 홀로그램 제공 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 의료 영상을 확인하기 위한 보조 인력이 필요하거나, 전문의가 수술 도중에 모니터링 장치로 이동할 필요 없이 환자의 의료 영상을 편리하게 확인하기 위한 의료 영상 기반 홀로그램 제공 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 전문의가 별도의 장치를 착용할 필요 없이 환자의 의료 영상을 손쉽게 확인하기 위한 의료 영상 기반 홀로그램 제공 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 의료 영상 기반 홀로그램 제공 장치 및 방법이 제공된다.
본 발명의 실시예에 의료 영상 기반 홀로그램 제공 장치는, 데이터를 송수신하도록 구성된 통신부; 및 상기 통신부와 연결하도록 구성된 제어부를 포함하고, 상기 제어부는, 상기 통신부를 통해 피검자의 목적 부위를 촬영한 의료 영상을 획득하고, 상기 획득된 의료 영상을 기초로 상기 목적 부위 및 상기 목적 부위에서 병변으로 의심되는 병변 의심 영역을 예측하도록 학습된 인공신경망 모델을 이용하여 상기 의료 영상으로부터 상기 목적 부위 및 상기 병변 의심 영역을 예측한 결과 데이터를 획득하고, 상기 결과 데이터에 기반하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하고, 상기 생성된 3차원 영상을 이용하여 홀로그램을 생성하기 위해 사용되는 홀로그램용 영상을 생성하고, 홀로그램 장치가 상기 홀로그램을 생성하도록 상기 생성된 홀로그램용 영상을 상기 홀로그램 장치로 제공하도록 구성된다.
본 발명의 실시예에 따른 의료 영상 기반 홀로그램 제공 장치의 제어부에 의해서 수행되는 의료 영상 기반 홀로그램 제공 방법에 있어서, 피검자의 목적 부위를 촬영한 의료 영상을 획득하는 단계; 상기 획득된 의료 영상을 기초로 상기 목적 부위 및 상기 목적 부위에서 병변으로 의심되는 병변 의심 영역을 예측하도록 학습된 인공신경망 모델을 이용하여 상기 의료 영상으로부터 상기 목적 부위 및 상기 병변 의심 영역을 예측한 결과 데이터를 획득하는 단계; 상기 결과 데이터에 기반하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하는 단계; 상기 생성된 3차원 영상을 이용하여 홀로그램을 생성하기 위해 사용되는 홀로그램용 영상을 생성하는 단계; 및 홀로그램 장치가 상기 홀로그램을 생성하도록 상기 생성된 홀로그램용 영상을 상기 홀로그램 장치로 제공하는 단계를 포함한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 의료 영상을 기반으로 한 홀로그램을 제공함으로써, 전문의가 환자에게 진단 또는 검사 결과를 보다 용이하게 전달할 수 있다.
또한, 본 발명은 전문의와 환자가 함께 의료 영상을 기초로 한 홀로그램을 보면서 환자가 전문의의 진단 또는 검사 결과에 대한 설명을 들을 수 있으므로, 정해진 진료 시간 동안 진단 또는 검사 결과에 대한 환자의 이해도를 높일 수 있다.
또한, 본 발명은 전문의가 정해진 진료 시간 동안 많은 환자들을 진료하더라도 외래 진료에 대한 환자의 만족도를 향상시킬 수 있다.
또한, 본 발명은 전문의가 정해진 진료 시간 내에 환자에게 진단 또는 검사 결과, 질환의 설명 및 치료 계획 등을 효율적으로 전달할 수 있어 환자에게 보다 높은 의료 서비스를 제공할 수 있다.
또한, 본 발명은 수술실에서 의료 영상을 모니터링하기 위한 보조 인력을 추가하지 않고, 전문의가 환자의 의료 영상을 손쉽게 확인할 수 있다.
또한, 본 발명은 전문의가 수술실에서 별도의 장치를 착용하거나, 의료 영상을 확인하기 위한 불필요한 이동 없이 환자의 의료 영상을 편리하게 확인할 수 있다.
본 발명에 따른 효과는 이상에서 예시한 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 홀로그램 제공 시스템을 설명하기 위한 개략도들이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 3은 본 발명의 실시예에 따라 인공신경망 모델을 이용하여 홀로그램용 영상을 생성하는 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따라 홀로그램 장치에서 생성한 홀로그램을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따라 다양한 부위에 대해서 기 저장된 표준 모델링 영상 및 판독문을 이용하여 홀로그램용 영상을 생성하는 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따라 홀로그램 장치에서 생성한 홀로그램을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 전자 장치에서 의료 영상 기반 홀로그램을 제공하기 위한 방법을 설명하는 흐름도이다.
도 8은 본 발명의 실시예에 따른 인공신경망 모델을 이용하여 홀로그램용 영상을 제공하기 위한 인터페이스 화면을 나타내는 예시도이다.
도 9는 본 발명의 실시예에 따른 기 저장된 표준 모델링 영상 및 판독문을 이용하여 홀로그램용 영상을 제공하기 위한 인터페이스 화면을 나타내는 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서에서 영상(image)은 정지 화상(still image) 및/또는 동영상(video)일 수 있으나, 이에 한정되지 않는다.
본 명세서에서 홀로그램(Hologram)은 유사 홀로그램 및 플로팅(Floating) 홀로그램 중 적어도 하나를 의미할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 홀로그램 제공 시스템을 설명하기 위한 개략도들이다.
도 1을 참조하면, 홀로그램 제공 시스템(100)은 피검자의 의료 영상을 이용하여 홀로그램을 제공하기 위한 시스템으로서, 피검자의 의료 영상을 이용하여 홀로그램을 구현하기 위해 사용되는 홀로그램용 영상을 생성하는 전자 장치(110) 및 홀로그램용 영상을 이용하여 홀로그램을 생성하는 홀로그램 장치(120)를 포함한다. 여기서, 의료 영상은 피검자의 목적 부위를 촬영한 영상으로, CT(Computer Tomography), 엑스레이(x-ray), 혈관조영(Angiography), 양전자 방출 단층 촬영(PET-CT) 및/또는 MRI(Magnetic Resonance Imaging) 영상 등일 수 있으나, 이에 한정되지 않는다. 목적 부위는 질환의 유무 등의 상태를 예측하고자 하는 피검자의 특정 신체 부위로서, 척수, 신장, 입, 입술, 인후, 구강, 비강, 소장, 결장, 부갑상선, 담낭, 두경부, 유방, 골, 담관, 자궁경부, 심장, 하인두선, 폐, 기관지, 간, 피부, 요관, 요도, 고환, 질, 항문, 후두선, 난소, 갑상선, 식도, 비인두선, 뇌하수체, 타액선, 전립선, 췌장, 부신, 림프절, 비장, 뇌, 정맥류, 및/또는 근골격계 등일 수 있으나, 이에 한정되지 않으며, CT 장치, 엑스레이 장치, 혈관조영 촬영장치, 양전자 방출 단층 촬영 장치 및/또는 MRI 장치 등에 의해서 영상으로 획득될 수 있는 다양한 부위일 수 있다.
먼저, 전자 장치(110)는 피검자의 의료 영상을 이용하여 홀로그램용 영상을 생성하는 태블릿 PC, 노트북 및/또는 PC 등 중 적어도 하나일 수 있다. 다양한 실시예에서 전자 장치(110)는 의료 영상 기반 홀로그램을 제공하기 위한 사용자 인터페이스를 제공할 수도 있다.
전자 장치(110)는 피검자의 목적 부위를 촬영하는 촬영 장치로부터 의료 영상을 획득하고, 획득된 의료 영상으로부터 목적 부위 및 병변 의심 영역을 인식하여 인식된 목적 부위 및 병변 의심 영역을 포함하는 홀로그램용 영상을 생성할 수 있다.
의료 영상으로부터 목적 부위 및 병변 의심 영역을 인식하기 위해 전자 장치(110)는 피검자의 목적 부위 및/또는 병변 의심 영역을 분할하도록 학습된 적어도 하나의 인공신경망 모델을 이용할 수 있다. 전자 장치(110)는 이러한 인공신경망 모델을 통해서 획득된 결과 데이터를 이용하여 홀로그램용 영상을 생성할 수 있다.
다양한 실시예에서 홀로그램용 영상을 생성하기 위해 전자 장치(110)는 목적 부위에 관련하여 기 저장된 표준 모델링 영상, 및 전문의의 진단서, 소견서 등과 같은 판독문을 이용할 수도 있다. 예를 들어, 전자 장치(110)는 자연어 처리 알고리즘(natural language processing, NLP)을 이용하여 병변 의심 영역의 위치를 결정하고, 표준 모델링 영상 및 병변 의심 영역의 위치를 기반으로 홀로그램용 영상을 생성할 수 있다.
전자 장치(110)는 생성된 홀로그램용 영상을 홀로그램 구현 장치(120)로 전달하여 홀로그램 장치(120)가 홀로그램을 구현하도록 할 수 있다.
다음으로, 홀로그램 장치(120)는 홀로그램용 영상을 이용하여 홀로그램을 구현하기 위한 장치로서, 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)을 표시하는 표시부(122) 및 표시부(122)를 통해 표시되는 콘텐츠를 반사시켜 홀로그램을 생성하는 반사부(124)를 포함한다.
구체적으로, 표시부(122)는 홀로그램을 구현하기 위해 목적 부위 및 병변 의심 영역을 나타내는 다방향의 3차원 객체들이 포함된 홀로그램용 영상을 표시할 수 있다.
반사부(124)는 표시부(122)를 통해서 표시되는 홀로그램용 영상을 반사 또는 굴절시켜 사용자에게 투영되어 화상이 맺히도록 하는 반사 미러(Reflection glass) 또는 아크릴 등과 같은 투명 재질의 광학 유리가 다각뿔 형태로 이루어질 수 있으나, 이에 한정되지 않으며, 구현 방식에 따라 원통형으로 이루어질 수도 있다. 이러한 반사부(124)를 구성하는 광학 유리는 표시부(122)를 기준으로 특정 각도로 경사지도록 설치될 수 있다. 여기서, 특정 각도는 광학 유리가 홀로그램용 영상에 포함된 다방향의 3차원 객체 각각을 반사시켜 홀로그램을 생성하기에 적합한 각도일 수 있으며, 예를 들어 45도 내지 60도 일 수 있으나, 이에 한정되지 않는다.
이러한 홀로그램 장치(120)는 표시부(122)를 통해서 표시되는 홀로그램용 영상의 다방향의 3차원 객체들을 반사부(124)를 통해 반사시켜 홀로그램으로 형성(또는 구현)되도록 할 수 있다.
다양한 실시예에서 홀로그램 제공 시스템(100)는 홀로그램 장치(120)를 제어하기 위한 별도의 컨트롤러(controller)(미도시)를 더 포함할 수 있다. 이러한 컨트롤러를 이용하여 사용자는 홀로그램 장치(120)에서 생성된 홀로그램을 줌인(zoom-in) 또는 줌아웃(zoom-out)하거나, 다양한 각도로 회전시켜 표시되도록 할 수 있다. 이러한 경우 홀로그램 장치(120)는 컨트롤러로부터 지시를 수신하고, 수신된 지시에 따라 홀로그램의 줌인, 줌아웃, 및/또는 다양한 각도로의 회전 등을 수행할 수 있으며, 이를 위해 전자 장치(110)로 홀로그램용 영상을 요청할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서 홀로그램 장치(120)는 홀로그램 장치(120)의 동작을 제어하기 위한 센서(미도시)를 더 구비할 수도 있다. 여기서, 센서는 사용자의 움직임을 감지하기 위한 동작 감지 센서 또는 카메라 등일 수 있으나, 이에 한정되지 않는다. 예를 들어, 센서를 통해 특정 움직임이 감지되면 홀로그램 장치(120)는 감지된 움직임에 대응하는 동작(예: 줌인, 줌아웃, 및/또는 다양한 각도로의 회전 등)을 수행할 수 있다.
이를 통해서 본 발명은 전문의 등과 같은 의료진이 홀로그램을 이용하여 의료 영상을 손쉽고 편리하게 확인할 수 있고, 환자에게 진단 또는 검사 결과 등을 보다 용이하게 전달할 수 있다.
하기에서는 도 2를 참조하여 전자 장치(110)에 대해서 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 2를 참조하면, 전자 장치(200)는 통신부(210), 저장부(220), 표시부(230), 및 제어부(240)를 포함한다. 다양한 실시예에서 표시부(230)는 선택적으로 구비될 수 있다. 제시된 실시예에서 전자 장치(200)는 도 1의 전자 장치(110)를 의미할 수 있다.
통신부(210)는 전자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 홀로그램 생성 장치(120) 또는 의료 영상을 촬영하는 촬영 장치(예: CT 장치, 엑스레이 장치, 혈관조영 촬영장치, 양전자 방출 단층 촬영 장치 및/또는 MRI 장치 등)(미도시)와 연결되어 의료 영상 기반 홀로그램을 제공하기 위한 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부(210)는 촬영 장치로부터 의료 영상을 수신하고, 홀로그램용 영상을 홀로그램 생성 장치(120)로 전달할 수 있다.
저장부(220)는 의료 영상 기반 홀로그램을 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부(220)는 각종 목적 부위에 대한 표준 모델링 영상을 저장할 수 있다.
다양한 실시예에서 저장부(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 장치(200)는 인터넷(internet)상에서 상기 저장부(220)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
표시부(230)는 사용자에게 각종 콘텐츠를 표시할 수 있다. 예를 들어, 표시부(230)는 의료 영상 기반 홀로그램을 제공하기 위한 다양한 인터페이스 화면을 표시할 수 있다.
다양한 실시예에서 표시부(230)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.
제어부(240)는 통신부(210), 저장부(220), 및 표시부(230)와 동작 가능하게 연결되며, 의료 영상 기반 홀로그램을 제공하기 위한 다양한 명령들을 수행할 수 있다.
제어부(240)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 어플리케이션 프로세서(AP), 디지털 신호 처리 장치(DSP), 산술 논리 연산 장치(ALU) 및 인공신경망 프로세서(NPU) 중 적어도 하나를 포함하도록 구성될 수 있다.
구체적으로, 제어부(240)는 통신부(210)를 통해 촬영 장치로부터 의료 영상을 획득하고, 획득된 의료 영상을 기초로 피험자의 목적 부위 및 목적 부위에서 병변으로 의심되는 병변 의심 영역을 예측(또는 인식, 분류)하도록 학습된 적어도 하나의 영상 분할(image segmentation) 모델을 이용하여 의료 영상으로부터 목적 부위 및/또는 병변 의심 영역을 예측한 결과 데이터를 획득할 수 있다. 제어부(240)는 획득된 결과 데이터를 이용하여 목적 부위 및 병변 의심 영역을 나타내는 3차원 영상을 생성하고, 생성된 3차원 영상을 이용하여 홀로그램을 생성하기 위해 사용되는 홀로그램용 영상을 생성한 후 통신부(210)를 통해 홀로그램 장치(120)로 전달할 수 있다.
하기에서는 인공신경망 모델을 이용하여 홀로그램용 영상을 생성하는 제어부(240)의 동작에 대해서 도 3을 참조하여 구체적으로 설명하도록 한다.
도 3은 본 발명의 실시예에 따라 인공신경망 모델을 이용하여 홀로그램용 영상을 생성하는 방법을 설명하기 위한 예시도이다. 제시된 실시예에서 후술하는 동작들은 도 2의 제어부(240)에 의해서 수행될 수 있다.
도 3은 참조하면, 제어부(240)는 의료 영상(300)을 입력으로 하여 목적 부위 및/또는 병변 의심 영역을 예측하도록 학습된 분할 모델(310)을 이용하여 의료 영상(300)으로부터 목적 부위 및/또는 병변 의심 영역을 예측한 결과 데이터인 분할 데이터(320)를 획득할 수 있다.
분할 모델(310)은 의료 영상(300)을 기초로 목적 부위를 예측하도록 학습된 제1 인공신경망 모델 및 의료 영상(300)을 기초로 병변 의심 영역을 예측하도록 학습된 제2 인공신경망 모델을 포함할 수 있다. 다양한 실시예에서 분할 모델(310)은 의료 영상(300)을 기초로 목적 부위 및 병변 의심 영역을 예측하도록 학습된 단일 인공신경망 모델일 수 있다. 다양한 실시예에서 분할 모델(310)은 의료 영상(300)을 기초로 목적 부위를 예측하도록 학습된 제1 인공신경망 모델 및 제1 인공신경망의 결과 데이터를 기초로 병변 의심 영역을 예측하도록 학습된 제2 인공신경망 모델을 포함할 수도 있다. 이처럼 분할 모델(310)은 단일 인공신경망 또는 복수의 인공신경망의 조합으로 이루어질 수 있으나, 이에 한정되지 않는다.
한편, 분할 모델(310)은 복수의 참조 영상을 미리 학습하고, 새롭게 입력되는 의료 영상으로부터 목적 부위에 해당하는 영역 및/또는 병변 의심 영역을 예측하도록 구성된 인공신경망 모델일 수 있다. 여기서, 복수의 참조 영상은 다양한 피검자의 목적 부위를 촬영한 의료 영상 및/또는 다양한 피검자의 병변 의심 영역을 촬영한 의료 영상 등을 포함할 수 있으나, 이에 한정되지 않는다.
이러한 분할 모델(310)은 미리 학습된 합성곱 신경망(CNN: Convolutional Neural Network)일 수 있으나, 이에 한정되지 않는다. 미리 학습된 합성곱 신경망은 입력된 입력 값에 대해 합성곱(convolution) 연산들을 수행하는 하나 이상의 계층들로 구성될 수 있으며, 입력값으로부터 합성곱 연산을 수행하여 출력값을 추론할 수 있다. 예를 들어, 미리 학습된 합성곱 신경망은 복수의 인공신경망 스테이지에서 객체(즉, 목적 부위, 및/또는 병변 의심 영역)로 예측된 영역을 분할(또는 분류)하기 위한 영상 분할(image segmentation) 동작을 수행하는 FCN(Fully Convolutional Network), U-net, DeepLab 및 Mask R-CNN(Regions with Convolutional Neural Network)일 수 있으나, 이에 한정되지 않으며, 영상 분할을 위한 다양한 인공신경망 모델이 이용될 수 있다. 이러한 인공신경망 모델의 성능을 향상시키기 위해 다이스 계수(dice coefficient)를 이용한 성능 평가가 수행될 수 있다.
분할 모델(310)을 통해서 출력된 분할 데이터(320)는 목적 부위로 예측된 화소 영역을 마스킹(masking)한 제1 분할 영역 및 병변 의심 영역으로 예측된 화소 영역을 마스킹한 제2 분할 영역을 포함하는 이미지일 수 있으나, 이에 한정되지 않는다. 여기서, 제1 분할 영역 및 제2 분할 영역은 서로 구분되도록 표현될 수 있다. 다양한 실시예에서 분할 데이터(320)는 제1 분할 영역 및 제2 분할 영역 각각에 대한 예측 정확도를 나타내는 데이터를 더 포함할 수 있다.
제어부(240)는 이러한 분할 데이터(320)에 기반하여 목적 부위 및/또는 병변 의심 영역을 나타내는 3차원 영상(330)을 생성하고, 생성된 3차원 영상(330)에 기반하여 홀로그램용 영상(340)을 생성할 수 있다.
구체적으로, 제어부(240)는 분할 데이터(320)에 기반하여 의료 영상(300)으로부터 목적 부위 및/또는 병변 의심 영역을 추출하고, 추출된 목적 부위 및/또는 병변 의심 영역을 나타내는 3차원 영상(330)을 생성할 수 있다. 예를 들어, 분할 데이터를 기반으로 3차원 영상을 생성하기 위해 표면 질감을 표현하기 위한 렌더링 기법(surface rendering)이 이용될 수 있다. 또한, 3차원 영상에서 목적 부위와 병변 의심 영역은 서로 구분되도록 표현될 수 있으며, 예를 들어 서로 다른 색상으로 구분되도록 표현될 수 있다.
제어부(240)는 3차원 영상(330)을 이용하여 홀로그램 장치(120)의 반사부(124)에 대응하도록 다방향으로 배치된 3차원 객체(342, 344, 346, 348)를 나타내는 홀로그램용 영상(340)을 생성할 수 있다. 예를 들어, 홀로그램용 영상(340)은 3차원 모델링된 객체(즉, 3차원 객체)(예: 폐)가 중심축을 기준으로 0°, 90°, 180°, 및 270° 만큼 회전시킨 형태로 한 쌍의 객체들이 서로 마주보도록 상하좌우에 배치된 영상일 수 있으나, 이에 한정되지 않는다. 다시 말해서, 3차원 객체는 홀로그램용 영상(340)의 일 방향을 이등분하는 중심선을 기준으로 좌우에 배치되고, 홀로그램용 영상(340)의 일 방향과 다른 타 방향을 이등분하는 중심선을 기준으로 상하에 배치될 수 있다. 상하에 배치되는 3차원 객체들(342, 346)은 서로 대칭을 이루고, 좌우에 배치되는 3차원 객체들(344, 348) 또한 서로 대칭을 이룰 수 있다. 이러한 3차원 객체들의 개수, 배치 방향, 및 위치 등은 반사부(124)를 이루는 광학 유리의 배치 형태 및 개수 등에 의해 결정될 수 있으나, 이에 한정되지 않는다.
제어부(240)는 생성된 홀로그램용 영상(340)을 홀로그램 장치(120)로 제공할 수 있다. 하기에서는 홀로그램용 영상을 수신한 홀로그램 장치(120)가 생성한 홀로그램을 도 4를 참조하여 설명하도록 한다.
도 4는 본 발명의 실시예에 따라 홀로그램 장치에서 생성한 홀로그램을 나타낸 도면이다.
도 4를 참조하면, 홀로그램 장치(120)는 전자 장치(200)로부터 제공된 홀로그램용 영상(340)을 표시부(122)를 통해 표시하고, 홀로그램용 영상(340)이 반사부(124)를 통해서 반사되어 도면부호 400과 같이 홀로그램을 생성할 수 있다.
한편, 인공신경망 모델은 의료 영상에 나타나는 목적 부위의 상태, 모양, 및/또는 주변 부위 등에 따라 등에 따라 목적 부위 및/또는 병변 의심 영역을 정확하게 인식(또는 예측)하기 어려울 수 있다. 예를 들어, 목적 부위 중 폐의 경우 인공신경망 모델을 이용하여 인식되기에 적합할 수 있지만, 대장의 경우 주변에 위치한 다른 장기들이나, 대장의 모양 등에 의해 인공신경망 모델을 이용하여 인식되기 어려울 수 있다.
이처럼 피험자의 목적 부위를 촬영한 의료 영상에서 목적 부위 및/또는 병변 의심 영역을 인식하기 어려운 경우 제어부(240)는 다양한 목적 부위에 대하여 기 저장된 표준 모델링 영상 및 전문의의 진단서 또는 소견서 등의 판독문을 이용하여 홀로그램용 영상을 생성할 수 있다.
하기에서는 다양한 부위에 대해서 기 저장된 표준 모델링 영상 및 판독문을 이용하여 홀로그램용 영상을 생성하는 제어부(240)의 동작에 대해서 도 5를 참조하여 구체적으로 설명하도록 한다.
도 5는 본 발명의 실시예에 따라 다양한 부위에 대해서 기 저장된 표준 모델링 영상 및 판독문을 이용하여 홀로그램용 영상을 생성하는 방법을 설명하기 위한 예시도이다. 제시된 실시예에서 후술하는 동작들은 도 2의 제어부(240)에 의해서 수행될 수 있다.
도 5를 참조하면, 제어부(240)는 목적 부위가 인공신경망 모델을 이용하여 의료 영상(500)으로부터 예측 가능한 부위인지 결정하고, 목적 부위가 인공신경망 모델을 이용하여 의료 영상(500)으로부터 예측 가능한 부위인 경우 도 3에서 설명한 동작을 수행할 수 있다.
목적 부위가 인공신경망 모델을 이용하여 의료 영상(500)으로부터 예측 가능한 부위가 아닌 경우 제어부(240)는 해당 목적 부위에 관련하여 기 저장된 표준 모델링 영상 및 해당 목적 부위의 병변 의심 영역에 관련하여 전문의가 작성한 판독문(예: 진단서 및/또는 소견서 등)을 이용하여 홀로그램용 영상을 생성할 수 있다.
목적 부위가 인공신경망 모델을 이용하여 의료 영상으로부터 예측 가능한 부위인지 결정하는 제어부(240)의 동작은 의료 영상을 획득한 이후에 수행되거나, 인공신경망 모델을 이용하여 의료 영상으로부터 목적 부위를 예측된 결과 데이터가 출력된 이후에 수행될 수 있다.
일 실시예에 있어서, 제어부(240)는 의료 영상(500)이 획득되면 획득된 의료 영상(500)의 목적 부위가, 인공신경망을 이용하여 예측 가능한 제1 부위 또는 인공신경망을 이용하여 예측하기 어려운 제2 부위인지를 결정할 수 있다. 예를 들어, 제1 부위 및 제2 부위에 대해서 미리 결정된 기준 데이터가 저장부(220)에 기 저장될 수 있다. 여기서, 제1 부위는 인공신경망을 이용하여 목적 부위를 예측한 결과 데이터의 정확도가 기 설정된 임계 정확도 이상에 해당한다고 결정된 부위(예: 폐 등)이고, 제2 부위는 결과 데이터의 정확도가 임계 정확도 미만에 해당한다고 결정된 부위(예: 대장 등)일 수 있다.
제어부(240)는 이러한 기준 데이터에 기반하여 의료 영상에 관련된 목적 부위가 제1 부위 또는 제2 부위인지를 결정할 수 있다.
의료 영상(500)의 목적 부위가 제1 부위에 해당하는 경우 제어부(240)는 도 3에서 설명한 바와 같은 동작을 수행하고, 의료 영상(500)이 제1 부위에 해당하는 경우 제어부(240)는 의료 영상(500)을 기초로 병변 의심 영역에 관련하여 전문의가 작성한 판독문(520)을 획득하고, 목적 부위에 대하여 기 저장된 표준 모델링 영상(510) 및 획득된 판독문(520)을 이용하여 3차원 영상(530)을 생성할 수 있다.
구체적으로, 제어부(240)는 판독문을 구성하는 적어도 하나의 문장을 분석하여 적어도 하나의 문장으로부터 병변 의심 영역에 관련된 키워드를 추출할 수 있다. 이를 위해 제어부(240)는 자연어 처리 알고리즘을 이용할 수 있으나, 이에 한정되지 않는다.
제어부(240)는 추출된 키워드에 기반하여 병변 의심 영역 및 해당 병변 의심 영역의 위치를 결정하고, 이를 기반으로 병변 의심 영역을 나타내는 병변 모델링 영상을 생성할 수 있다.
제어부(240)는 표준 모델링 영상 및 병변 모델링 영상을 결합하여 3차원 영상(530)을 생성할 수 있다. 결합을 위해 제어부(240)는 병변 의심 영역의 결정된 위치를 이용할 수 있다.
다른 실시예에 있어서, 제어부(240)는 도 3에서 설명한 바와 같이 분할 모델(310)의 결과 데이터인 분할 데이터(320)에서 목적 부위에 해당하는 제1 분할 영역의 예측 정확도가 기 설정된 임계값 이상인지를 결정할 수 있다.
제1 분할 영역의 예측 정확도가 임계값 이상이면 제어부(240)는 도 3에서 설명한 3차원 영상 생성 동작을 수행할 수 있다.
제1 분할 영역의 예측 정확도가 임계값 미만이면 제어부(240)는 목적 부위에 대한 표준 모델링 영상(510) 및 전문의가 작성한 판독문(520)을 이용하여 3차원 영상(530)을 생성할 수 있다.
다양한 실시예에서 제어부(240)는 분할 모델의 성능을 평가하여 평가 결과에 따라 3차원 영상을 생성할 수 있다. 예를 들어, 평가 결과(예: 정확도, 정밀도, 재현율, ROC(Receiver Operating Characteristic) 커브, 및/또는 AUC(Area Under Curve)값 등)가 기 설정된 임계값 이상인 경우 제어부(240)는 도 3에서 설명한 3차원 영상 생성 동작을 수행할 수 있다. 평가 결과가 임계값 미만인 경우 제어부(240)는 목적 부위에 대한 표준 모델링 영상(510) 및 전문의가 작성한 판독문(520)을 이용하여 3차원 영상(530)을 생성할 수 있다.
다양한 실시예에서 인공신경망 모델을 이용하여 3차원 영상에 대한 생성을 요청하거나, 표준 모델링 영상 및 판독문을 이용하여 3차원 영상에 대한 생성을 요청할 경우 제어부(240)는 해당 요청에 따라 인공신경망 모델을 이용한 3차원 영상을 생성하거나, 표준 모델링 영상 및 판독문을 이용한 3차원 영상을 생성하는 동작을 수행할 수 있다.
이와 같이 3차원 영상(530)이 생성되면 제어부(240)는 3차원 영상(530)을 이용하여 홀로그램 장치(120)의 반사부(124)에 대응하도록 다방향으로 배치된 3차원 객체(542, 544, 546, 548)를 나타내는 홀로그램용 영상(540)을 생성할 수 있다. 홀로그램용 영상(540)을 생성하는 제어부(240)의 동작은 도 3에서 설명한 제어부(240)의 동작과 유사하므로, 자세한 설명은 생략하도록 한다.
제어부(240)는 생성된 홀로그램용 영상(540)을 홀로그램 장치(120)로 제공할 수 있다. 하기에서는 홀로그램용 영상을 수신한 홀로그램 장치(120)가 생성한 홀로그램을 도 6을 참조하여 설명하도록 한다.
도 6은 본 발명의 실시예에 따라 홀로그램 장치에서 생성한 홀로그램을 나타낸 도면이다.
도 6을 참조하면, 홀로그램 장치(120)는 전자 장치(200)로부터 제공된 홀로그램용 영상(540)을 표시부(122)를 통해 표시하고, 홀로그램용 영상이 반사부(124)를 통해서 반사되어 도면부호 600과 같이 홀로그램을 생성할 수 있다.
다양한 실시예에서 제어부(240)는 인공신경망 모델을 이용하여 의료 영상으로부터 목적 부위를 예측하고, 전문의가 작성한 진단서 또는 소견서 등의 판독문을 이용하여 병변 의심 영역 및 병변 의심 영역의 위치를 결정한 후 이를 기반으로 3차원 영상을 생성할 수도 있다.
다양한 실시예에서 제어부(240)는 인공신경망 모델을 이용하여 의료 영상으로부터 병변 의심 영역을 예측하고, 목적 부위에 관련하여 기 저장된 표준 모델링 영상 및 예측된 병변 의심 영역을 기반으로 3차원 영상을 생성할 수도 있다.
다양한 실시예에서 제어부(240)는 의료 영상 기반 홀로그램을 제공하기 위한 다양한 인터페이스 화면을 표시부(230)를 통해서 표시할 수 있다. 다양한 인터페이스 화면은 의료 영상을 획득하고, 인공신경망 모델을 이용하여 3차원 영상을 생성하고, 기 저장된 표준 모델링 영상 및 전문의가 작성한 판독문을 이용하여 3차원 영상을 생성하고, 홀로그램용 영상을 생성 및 제공하는 등의 다양한 동작들을 위한 인터페이스 화면을 포함할 수 있다.
이를 통해서 본 발명은 의료진이 홀로그램을 이용하여 환자에게 진단 또는 검사 결과 등에 대한 설명을 할 수 있으므로, 정해진 진료 시간 내에 진단 또는 검사 결과 등에 대한 환자의 이해도를 높일 수 있다.
또한, 본 발명은 전문의가 수술 도중 의료 영상을 확인하기 위한 불필요한 이동을 하거나, 별도의 장치를 작용할 필요 없이 홀로그램을 이용하여 의료 영상을 손쉽고 편리하게 확인할 수 있다.
하기에서는 도 7을 참조하여 전자 장치에서 의료 영상 기반 홀로그램을 제공하기 위한 방법을 설명하도록 한다.
도 7은 본 발명의 실시예에 따른 전자 장치에서 의료 영상 기반 홀로그램을 제공하기 위한 방법을 설명하는 흐름도이다. 하기에서 서술하는 동작들은 도 2의 제어부(240)에 의해서 수행될 수 있다.
도 7을 참조하면, 제어부(240)는 피검자의 목적 부위를 촬영한 의료 영상을 획득한다(S700). 여기서, 의료 영상은 엑스레이 영상, CT 영상, 혈관조영 영상, 양전자 방출 단층 영상 및 MRI 영상 등 중 적어도 하나일 수 있다.
제어부(240)는 획득된 의료 영상을 기초로 목적 부위 및 목적 부위에서 병변으로 의심되는 병변 의심 영역을 인식하도록 학습된 인공신경망 모델을 이용하여 의료 영상으로부터 목적 부위 및 병변 의심 영역을 인식한 결과 데이터를 획득한다(S710). 여기서, 인공신경망 모델은 목적 부위 및/또는 병변 의심 영역을 예측하도록 학습된 분할 모델로서, 분할 모델을 이용하여 의료 영상으로부터 예측된 목적 부위 및/또는 병변 의심 영역을 나타내는 분할 데이터를 결과 데이터로서 출력할 수 있다.
제어부(240)는 결과 데이터에 기반하여 목적 부위 및 병변 의심 영역을 나타내는 3차원 영상을 생성한다(S720). 예를 들어, 제어부(240)는 의료 영상으로부터 목적 부위 및 병변 의심 영역을 추출하고, 추출된 목적 부위 및 병변 의심 영역에 해당하는 부분 영상을 3차원 렌더링하여 3차원 영상을 생성할 수 있으나, 이에 한정되지 않는다.
제어부(240)는 생성된 3차원 영상을 이용하여 홀로그램을 생성하기 위해 사용되는 홀로그램용 영상을 생성하고(S730), 홀로그램 장치(120)가 홀로그램을 생성하도록 생성된 홀로그램용 영상을 홀로그램 장치(120)로 제공한다(S740).
하기에서는 도 8 및 도 9를 참조하여 의료 영상 기반 홀로그램을 제공하기 위한 다양한 인터페이스 화면을 설명하도록 한다.
도 8은 본 발명의 실시예에 따른 인공신경망 모델을 이용하여 홀로그램용 영상을 제공하기 위한 인터페이스 화면을 나타내는 예시도이다. 제시된 실시예에서 인터페이스 화면은 도 2의 표시부(230)를 통해 표시될 수 있다.
도 8을 참조하면, 제어부(240)는 인공신경망 모델을 이용하여 홀로그램용 영상을 제공하기 위한 인터페이스 화면(800)을 표시부(230)를 통해서 표시할 수 있다.
인터페이스 화면(800)은 적어도 하나의 의료 영상에 대한 표시를 요청하기 위한 제1 그래픽 객체(805), 적어도 하나의 의료 영상을 표시하기 위한 표시 영역(즉, 제1 표시 영역(810), 제2 표시 영역(815), 제3 표시 영역(820)), 인공신경망 모델을 이용한 3차원 영상의 생성을 요청하기 위한 제2 그래픽 객체(825), 3차원 영상을 표시하기 위한 제4 표시 영역(830) 및 홀로그램 제공을 위한 제3 그래픽 객체(835)를 포함할 수 있다. 이러한 인터페이스 화면(800)은 판독문을 입력하기 위한 입력 영역(840) 및 입력된 판독문을 저장하기 위한 제4 그래픽 객체(845)을 더 포함할 수 있다.
제1 그래픽 객체(805)가 선택되면 제어부(240)는 홀로그램을 제공하기 위한 적어도 하나의 의료 영상을 표시 영역(810, 815, 820)에 표시할 수 있다. 예를 들어, 제1 그래픽 객체(805)가 선택되면 제어부(240)는 촬영 장치로 의료 영상을 요청하여 촬영 장치로부터 의료 영상을 수신하고, 수신된 의료 영상을 표시 영역(810, 815, 820)에 표시할 수 있다. 다양한 실시예에서 의료 영상이 저장부(220)에 기 저장된 경우 제어부(240)는 저장된 의료 영상을 의료 영상을 표시 영역(810, 815, 820)에 표시할 수 있다.
제2 그래픽 객체(825)가 선택되면 제어부(240)는 인공신경망 모델을 이용하여 목적 부위 및 병변 의심 영역을 예측한 결과 데이터를 획득하고, 획득된 결과 데이터에 기반하여 3차원 영상을 생성할 수 있다. 이와 같이 생성된 3차원 영상은 제4 표시 영역(830)에 표시될 수 있다.
홀로그램을 제공하기 위해 제3 그래픽 객체(835)가 선택되면 제어부(240)는 3차원 영상을 이용하여 홀로그램용 영상을 생성하고, 생성된 홀로그램용 영상을 홀로그램 장치(120)로 전달할 수 있다. 홀로그램용 영상을 수신한 홀로그램 장치(120)는 도 4에서 설명한 바와 같이 홀로그램을 생성할 수 있다.
다양한 실시예에서 입력 영역(840)을 통해 판독문이 입력되고, 입력된 판독문에 대한 저장을 요청하기 위한 제4 그래픽 객체(845)가 선택되면 제어부(240)는 입력된 판독문을 저장부(220)에 저장할 수 있다.
다양한 실시예에서 제어부(240)는 병변 의심 영역이 예측되면 이를 나타내는 그래픽 객체를 알림창 형태로 표시할 수도 있으나, 이에 한정되지 않는다.
다양한 실시예에서 사용자의 입력 장치(미도시)(또는 컨트롤러) 등의 조작에 의해 3차원 영상에 대한 업데이트가 이루어지면 제어부(240)는 업데이트된 3차원 영상을 이용하여 홀로그램용 영상을 생성하고, 생성된 홀로그램용 영상을 홀로그램 장치(120)로 전달함으로써, 홀로그램 장치(120)가 업데이트된 정보를 실시간으로 홀로그램에 반영하도록 할 수 있다.
도 9는 본 발명의 실시예에 따른 기 저장된 표준 모델링 영상 및 판독문을 이용하여 홀로그램용 영상을 제공하기 위한 인터페이스 화면을 나타내는 예시도이다. 제시된 실시예에서 인터페이스 화면은 도 2의 표시부(230)를 통해 표시될 수 있다.
도 9를 참조하면, 제어부(240)는 표준 모델링 영상 및 판독문을 이용하여 홀로그램용 영상을 제공하기 위한 인터페이스 화면(900)을 표시부(230)를 통해서 표시할 수 있다.
인터페이스 화면(900)은 적어도 하나의 의료 영상에 대한 표시를 요청하기 위한 제1 그래픽 객체(905), 적어도 하나의 의료 영상을 표시하기 위한 표시 영역(즉, 제1 표시 영역(910), 제2 표시 영역(915), 제3 표시 영역(920)), 표준 모델링 영상에 대한 표시를 요청하기 위한 제2 그래픽 객체(925), 판독문을 입력하기 위한 입력 영역(930), 입력된 판독문을 저장하기 위한 제3 그래픽 객체(935), 3차원 영상을 표시하기 위한 제4 표시 영역(940) 및 홀로그램 제공을 위한 제4 그래픽 객체(945)를 포함할 수 있다.
제1 그래픽 객체(905)가 선택되면 제어부(240)는 홀로그램을 제공하기 위한 적어도 하나의 의료 영상을 표시 영역(910, 915, 920)에 표시할 수 있다. 예를 들어, 표시된 의료 영상이 대장을 촬영한 의료 영상인 경우 사용자에 의해 표준 모델링 영상 및 판독문을 이용한 3차원 영상을 생성하기 위한 제2 그래픽 객체(925)의 선택이 이루어질 수 있다.
이처럼 표준 모델링 영상 및 판독문을 이용한 3차원 영상을 생성하기 위해 사용자로부터 입력 영역(930)을 통해 판독문이 입력되고, 입력된 판독문에 대한 저장을 요청하기 위한 제3 그래픽 객체(935)가 선택될 수 있다. 제3 그래픽 객체가 선택되면 제어부(240)는 입력된 판독문을 저장부(220)에 저장할 수 있다.
제2 그래픽 객체(925)가 선택되면 제어부(240)는 판독문을 구성하는 적어도 하나의 문장을 분석하여 적어도 하나의 문장으로부터 병변 의심 영역에 관한 키워드를 추출하고, 추출된 키워드에 기반하여 병변 의심 영역 및 병변 의심 영역의 위치를 결정할 수 있다. 제어부(240)는 병변 의심 영역 및 병변 의심 영역의 위치를 기반으로 병변 의심 영역을 나타내는 병변 모델링 영상을 생성하고, 저장부(220)에 기 저장된 폐에 대한 표준 모델링 영상 및 병변 모델링 영상을 결합하여 3차원 영상을 생성할 수 있다. 예를 들어, 제어부(240)는 표준 모델링 영상에서 결정된 위치에 대응하도록 병변 모델링 영상을 결합할 수 있다. 이와 같이 생성된 3차원 영상은 제4 표시 영역(940)에 표시될 수 있다.
다양한 실시예에서 제어부(240)는 병변 의심 영역 및 병변 의심 영역의 위치가 결정되면 이를 나타내는 그래픽 객체를 알림창 형태로 표시할 수도 있으나, 이에 한정되지 않는다.
홀로그램을 제공하기 위해 제4 그래픽 객체(945)가 선택되면 제어부(240)는 3차원 영상을 이용하여 홀로그램용 영상을 생성하고, 생성된 홀로그램용 영상을 홀로그램 장치(120)로 전달할 수 있다. 홀로그램용 영상을 수신한 홀로그램 장치(120)는 도 6에서 설명한 바와 같이 홀로그램을 생성할 수 있다.
다양한 실시예에서 인공신경망 모델을 이용한 홀로그램용 영상을 제공하기 위한 인터페이스 화면 및 표준 모델링 영상 및 판독문을 이용하여 홀로그램용 영상을 제공하기 위한 인터페이스 화면은 하나의 인터페이스 화면으로 제공될 수도 있으며, 이에 한정되지 않는다.
제시된 실시예에서 의료 영상 기반 홀로그램 제공에 관련된 다양한 인터페이스 화면 및 그래픽 객체의 구성은 상술한 내용으로 한정되지 않으며, 각 인터페이스 화면, 및 그래픽 객체들은 다양하게 구성될 수 있다.
이를 통해서 본 발명은 의료진이 외래 진료에 대한 높은 서비스를 제공할 수 있고, 의료진이 정해진 시간 동안 많은 환자들을 진료하더라도 환자의 만족도를 높일 수 있다.
또한, 본 발명은 수술실에서 전문의가 수술에 집중할 수 있고, 환자의 의료 영상을 손쉽고 편리하게 확인할 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 홀로그램 시스템
110, 200: 전자 장치
120: 홀로그램 장치
210: 통신부
220: 저장부
230: 표시부
240: 제어부

Claims (18)

  1. 데이터를 송수신하도록 구성된 통신부; 및
    상기 통신부와 연결하도록 구성된 제어부를 포함하고,
    상기 제어부는,
    상기 통신부를 통해 피검자의 목적 부위를 촬영한 의료 영상을 획득하고,
    상기 획득된 의료 영상을 기초로 상기 목적 부위 및 상기 목적 부위에서 병변으로 의심되는 병변 의심 영역을 예측하도록 학습된 인공신경망 모델을 이용하여 상기 의료 영상으로부터 상기 목적 부위 및 상기 병변 의심 영역을 예측한 결과 데이터를 획득하고,
    상기 결과 데이터에 기반하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하고,
    상기 생성된 3차원 영상을 이용하여 홀로그램을 생성하기 위해 사용되는 홀로그램용 영상을 생성하고,
    홀로그램 장치가 상기 홀로그램을 생성하도록 상기 생성된 홀로그램용 영상을 상기 홀로그램 장치로 제공하도록 구성되는, 의료 영상 기반 홀로그램 제공 장치.
  2. 제1항에 있어서, 상기 인공신경망 모델은,
    상기 의료 영상을 기초로 상기 목적 부위를 예측하도록 미리 학습된 제1 인공신경망 모델, 및 상기 의료 영상을 기초로 상기 병변 의심 영역을 예측하도록 미리 학습된 제2 인공신경망 모델을 포함하는, 의료 영상 기반 홀로그램 제공 장치.
  3. 제1항에 있어서, 상기 결과 데이터는,
    상기 목적 부위로 예측된 영역을 마스킹(masking)한 제1 분할 영역 및 상기 병변 의심 영역으로 예측된 영역을 마스킹한 제2 분할 영역을 나타내는, 의료 영상 기반 홀로그램 제공 장치.
  4. 제3항에 있어서, 상기 제어부는,
    상기 결과 데이터에 기반하여 상기 의료 영상으로부터 상기 목적 부위 및 상기 병변 의심 영역에 해당하는 부분 영상을 추출하고,
    상기 추출된 부분 영상을 3차원 렌더링(rendering)하여 상기 3차원 영상을 생성하도록 구성되는, 의료 영상 기반 홀로그램 제공 장치.
  5. 제1항에 있어서, 상기 제어부는,
    상기 목적 부위가 상기 인공신경망 모델을 이용하여 예측 가능한 부위인지를 결정하고,
    상기 목적 부위가 상기 인공신경망 모델을 이용하여 예측 가능한 부위인 경우 상기 인공신경망 모델을 이용하여 상기 목적 부위를 예측하도록 구성되는, 의료 영상 기반 홀로그램 제공 장치.
  6. 제5항에 있어서, 상기 제어부는,
    상기 목적 부위가 상기 인공신경망을 이용하여 예측된 결과 데이터의 정확도가 기 설정된 임계 정확도 이상인 제1 부위 또는 상기 인공신경망을 이용하여 예측된 결과 데이터의 정확도가 상기 임계 정확도 미만인 제2 부위인지를 결정하도록 구성되는, 의료 영상 기반 홀로그램 제공 장치.
  7. 제5항에 있어서, 상기 목적 부위에 관련하여 기 저장된 표준 모델링 영상을 저장하도록 구성되는 저장부를 더 포함하고,
    상기 제어부는,
    상기 목적 부위가 상기 인공신경망 모델을 이용하여 예측 가능한 부위가 아닌 경우 상기 병변 의심 영역에 관련하여 전문의가 작성한 판독문을 획득하고,
    상기 표준 모델링 영상 및 상기 획득된 판독문을 이용하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하도록 구성되는, 의료 영상 기반 홀로그램 제공 장치.
  8. 제7항에 있어서, 상기 제어부는,
    상기 판독문을 구성하는 적어도 하나의 문장을 분석하여 상기 적어도 하나의 문장으로부터 상기 병변 의심 영역에 관련된 키워드를 추출하고,
    상기 추출된 키워드에 기반하여 상기 병변 의심 영역 및 상기 병변 의심 영역의 위치를 결정하고,
    상기 병변 의심 영역 및 상기 병변 의심 영역의 위치를 기반으로 상기 병변 의심 영역을 나타내는 병변 모델링 영상을 생성하고,
    상기 표준 모델링 영상 및 상기 병변 모델링 영상을 결합하여 상기 3차원 영상을 생성하도록 구성되는, 의료 영상 기반 홀로그램 제공 장치.
  9. 제1항에 있어서, 상기 제어부는,
    상기 의료 영상으로부터 상기 목적 부위를 예측한 결과 데이터의 예측 정확도가 미리 설정된 임계값 이상인지를 결정하고,
    상기 예측 정확도가 상기 임계값 이상이면 상기 3차원 영상을 생성하고,
    상기 예측 정확도가 상기 임계값 미만이면 상기 병변 의심 영역에 관련하여 전문의가 작성한 판독문을 획득하고,
    상기 목적 부위에 관련하여 기 저장된 표준 모델링 영상 및 상기 획득된 판독문을 이용하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하도록 구성되는, 의료 영상 기반 홀로그램 제공 장치.
  10. 의료 영상 기반 홀로그램 제공 장치의 제어부에 의해서 수행되는 의료 영상 기반 홀로그램 제공 방법에 있어서,
    피검자의 목적 부위를 촬영한 의료 영상을 획득하는 단계;
    상기 획득된 의료 영상을 기초로 상기 목적 부위 및 상기 목적 부위에서 병변으로 의심되는 병변 의심 영역을 예측하도록 학습된 인공신경망 모델을 이용하여 상기 의료 영상으로부터 상기 목적 부위 및 상기 병변 의심 영역을 예측한 결과 데이터를 획득하는 단계;
    상기 결과 데이터에 기반하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하는 단계;
    상기 생성된 3차원 영상을 이용하여 홀로그램을 생성하기 위해 사용되는 홀로그램용 영상을 생성하는 단계; 및
    홀로그램 장치가 상기 홀로그램을 생성하도록 상기 생성된 홀로그램용 영상을 상기 홀로그램 장치로 제공하는 단계를 포함하는, 의료 영상 기반 홀로그램 제공 방법.
  11. 제10항에 있어서, 상기 인공신경망 모델은,
    상기 의료 영상을 기초로 상기 목적 부위를 예측하도록 미리 학습된 제1 인공신경망 모델, 및 상기 의료 영상을 기초로 상기 병변 의심 영역을 예측하도록 미리 학습된 제2 인공신경망 모델을 포함하는, 의료 영상 기반 홀로그램 제공 방법.
  12. 제10항에 있어서, 상기 결과 데이터는,
    상기 목적 부위로 예측된 영역을 마스킹(masking)한 제1 분할 영역 및 상기 병변 의심 영역으로 예측된 영역을 마스킹한 제2 분할 영역을 나타내는, 의료 영상 기반 홀로그램 제공 방법.
  13. 제12항에 있어서, 상기 3차원 영상을 생성하는 단계는,
    상기 결과 데이터에 기반하여 상기 의료 영상으로부터 상기 목적 부위 및 상기 병변 의심 영역에 해당하는 부분 영상을 추출하는 단계; 및
    상기 추출된 부분 영상을 3차원 렌더링(rendering)하여 상기 3차원 영상을 생성하는 단계를 포함하는, 의료 영상 기반 홀로그램 제공 방법.
  14. 제10항에 있어서,
    상기 의료 영상이 획득되면 상기 목적 부위가 상기 인공신경망 모델을 이용하여 예측 가능한 부위인지를 결정하는 단계; 및
    상기 목적 부위가 상기 인공신경망 모델을 이용하여 예측 가능한 부위인 경우 상기 인공신경망 모델을 이용하여 상기 목적 부위를 예측하는 단계를 더 포함하는, 의료 영상 기반 홀로그램 제공 방법.
  15. 제14항에 있어서, 상기 목적 부위가 상기 인공신경망 모델을 이용하여 예측 가능한 부위인지를 결정하는 단계는,
    상기 목적 부위가, 상기 인공신경망을 이용하여 예측된 결과 데이터의 정확도가 기 설정된 임계 정확도 이상인 제1 부위, 또는 상기 인공신경망을 이용하여 예측된 결과 데이터의 정확도가 상기 임계 정확도 미만인 제2 부위인지를 결정하는 단계인, 의료 영상 기반 홀로그램 제공 방법.
  16. 제14항에 있어서,
    상기 목적 부위가 상기 인공신경망 모델을 이용하여 예측 가능한 부위가 아닌 경우 상기 병변 의심 영역에 관련하여 전문의가 작성한 판독문을 획득하는 단계; 및
    상기 목적 부위에 관련하여 기 저장된 표준 모델링 영상 및 상기 획득된 판독문을 이용하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하는 단계를 포함하는, 의료 영상 기반 홀로그램 제공 방법.
  17. 제16항에 있어서, 상기 표준 모델링 영상 및 상기 획득된 판독문을 이용하여 상기 3차원 영상을 생성하는 단계는,
    상기 판독문을 구성하는 적어도 하나의 문장을 분석하여 상기 적어도 하나의 문장으로부터 상기 병변 의심 영역에 관련된 키워드를 추출하는 단계;
    상기 추출된 키워드에 기반하여 상기 병변 의심 영역 및 상기 병변 의심 영역의 위치를 결정하는 단계;
    상기 병변 의심 영역 및 상기 병변 의심 영역의 위치를 기반으로 상기 병변 의심 영역을 나타내는 병변 모델링 영상을 생성하는 단계; 및
    상기 표준 모델링 영상 및 상기 병변 모델링 영상을 결합하여 상기 3차원 영상을 생성하는 단계를 포함하는, 의료 영상 기반 홀로그램 제공 방법.
  18. 제10항에 있어서, 상기 결과 데이터에 기반하여 상기 3차원 영상을 생성하는 단계는,
    상기 의료 영상으로부터 상기 목적 부위를 예측한 결과 데이터의 예측 정확도가 미리 설정된 임계값 이상인지를 결정하는 단계;
    상기 예측 정확도가 상기 임계값 이상이면 상기 3차원 영상을 생성하는 단계;
    상기 예측 정확도가 상기 임계값 미만이면 상기 병변 의심 영역에 관련하여 전문의가 작성한 판독문을 획득하는 단계; 및
    상기 목적 부위에 관련하여 기 저장된 표준 모델링 영상 및 상기 획득된 판독문을 이용하여 상기 목적 부위 및 상기 병변 의심 영역을 나타내는 3차원 영상을 생성하는 단계를 포함하는, 의료 영상 기반 홀로그램 제공 방법.
KR1020200173764A 2020-12-11 2020-12-11 의료 영상 기반 홀로그램 제공 장치 및 방법 KR102476957B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200173764A KR102476957B1 (ko) 2020-12-11 2020-12-11 의료 영상 기반 홀로그램 제공 장치 및 방법
PCT/KR2021/018211 WO2022124705A1 (ko) 2020-12-11 2021-12-03 의료 영상 기반 홀로그램 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200173764A KR102476957B1 (ko) 2020-12-11 2020-12-11 의료 영상 기반 홀로그램 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220083477A KR20220083477A (ko) 2022-06-20
KR102476957B1 true KR102476957B1 (ko) 2022-12-12

Family

ID=81974735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173764A KR102476957B1 (ko) 2020-12-11 2020-12-11 의료 영상 기반 홀로그램 제공 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102476957B1 (ko)
WO (1) WO2022124705A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240020388A (ko) * 2022-08-08 2024-02-15 주식회사 빔웍스 초음파 영상을 기반으로 병변을 예측하는 방법
CN116309591B (zh) * 2023-05-19 2023-08-25 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237759A1 (en) 2008-03-20 2009-09-24 Michael Maschke Display system for reproducing medical holograms
US20100020926A1 (en) 2008-07-25 2010-01-28 Jan Boese Method for representing interventional instruments in a 3d data set of an anatomy to be examined as well as a reproduction system for performing the method
JP2015163968A (ja) 2008-07-10 2015-09-10 リアル ビュー イメージング リミテッド 広視野角ディスプレイおよびユーザインタフェース
JP2019537481A (ja) 2016-11-16 2019-12-26 テラリコン インコーポレイテッド 医用画像処理からの三次元プリンティング、ホログラフィ及び仮想現実レンダリングのためのシステム及び方法
JP2020508828A (ja) 2017-02-21 2020-03-26 ノバラッド コーポレーション 医療処置のための拡張現実表示とタグ付け

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178119B2 (ja) * 2007-09-28 2013-04-10 キヤノン株式会社 画像処理装置および画像処理方法
KR102010000B1 (ko) * 2017-05-23 2019-08-12 아주대학교산학협력단 캡슐내시경의 촬영 제어 방법 및 시스템
KR102153920B1 (ko) * 2018-02-26 2020-09-09 (주)헬스허브 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
KR102155271B1 (ko) * 2018-02-27 2020-09-11 한국광기술원 홀로그래픽 머신비전 장치를 이용한 비 절제 생검 시스템
KR102245693B1 (ko) 2018-09-18 2021-04-29 서울대학교산학협력단 3차원 영상 재구성 장치 및 그 방법
KR20200109093A (ko) * 2019-03-12 2020-09-22 삼성메디슨 주식회사 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237759A1 (en) 2008-03-20 2009-09-24 Michael Maschke Display system for reproducing medical holograms
JP2015163968A (ja) 2008-07-10 2015-09-10 リアル ビュー イメージング リミテッド 広視野角ディスプレイおよびユーザインタフェース
US20100020926A1 (en) 2008-07-25 2010-01-28 Jan Boese Method for representing interventional instruments in a 3d data set of an anatomy to be examined as well as a reproduction system for performing the method
JP2019537481A (ja) 2016-11-16 2019-12-26 テラリコン インコーポレイテッド 医用画像処理からの三次元プリンティング、ホログラフィ及び仮想現実レンダリングのためのシステム及び方法
JP2020508828A (ja) 2017-02-21 2020-03-26 ノバラッド コーポレーション 医療処置のための拡張現実表示とタグ付け

Also Published As

Publication number Publication date
KR20220083477A (ko) 2022-06-20
WO2022124705A1 (ko) 2022-06-16

Similar Documents

Publication Publication Date Title
JP5312801B2 (ja) 医用画像ビューイングプロトコル
JP2008529578A5 (ko)
TW202018586A (zh) 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用
Hong et al. 3D reconstruction of virtual colon structures from colonoscopy images
TW202001929A (zh) 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法
KR102476957B1 (ko) 의료 영상 기반 홀로그램 제공 장치 및 방법
JP2010142498A (ja) 眼底画像表示装置及びその制御方法、コンピュータプログラム
KR102530010B1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
US20210117009A1 (en) Gesture control of medical displays
KR20220147957A (ko) 생체 이미지 조직 표시 방법 및 장치
KR20160115269A (ko) 건강검진 정보 제공 애플리케이션 및 시스템
JP6671747B2 (ja) 医用画像処理装置、その制御方法、及びプログラム
US10839299B2 (en) Non-leading computer aided detection of features of interest in imagery
JP7265805B2 (ja) 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体
US11062447B2 (en) Hypersurface reconstruction of microscope view
EP3829443B1 (en) Determining a consensus plane for imaging a medical device
CN113409386A (zh) 用于基于图像的定位的方法、系统和介质
CA3139933A1 (en) Deformity-weighted registration of medical images
KR102485930B1 (ko) 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
WO2022270150A1 (ja) 画像処理装置、方法およびプログラム
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
JP2007090072A (ja) 放射線画像データを神経解剖学座標系内に描出する方法
KR20230061670A (ko) 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치
KR20230024234A (ko) 증강 현실 및 가상 현실을 이용하여 원격으로 피부 질환을 진단하는 진단 방법 및 장치
KR20220129144A (ko) 패치 영상을 기반으로 목적 부위의 질환을 결정하기 위한 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant