KR102470875B1 - 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램 - Google Patents

3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램 Download PDF

Info

Publication number
KR102470875B1
KR102470875B1 KR1020220058973A KR20220058973A KR102470875B1 KR 102470875 B1 KR102470875 B1 KR 102470875B1 KR 1020220058973 A KR1020220058973 A KR 1020220058973A KR 20220058973 A KR20220058973 A KR 20220058973A KR 102470875 B1 KR102470875 B1 KR 102470875B1
Authority
KR
South Korea
Prior art keywords
image
coordinates
medical image
generating
medical
Prior art date
Application number
KR1020220058973A
Other languages
English (en)
Inventor
홍내영
Original Assignee
주식회사 쓰리디오엔에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리디오엔에스 filed Critical 주식회사 쓰리디오엔에스
Priority to KR1020220058973A priority Critical patent/KR102470875B1/ko
Application granted granted Critical
Publication of KR102470875B1 publication Critical patent/KR102470875B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Pulmonology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

3D 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 3D 의료 영상 상의 기준 좌표를 획득하는 단계 및 상기 획득된 기준 좌표를 이용하여 상기 3D 의료 영상으로부터 목표 영상을 생성하는 단계를 포함한다.

Description

3D 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR GENERATING TARGET IMAGE BASED ON 3D MEDICAL IMAGE}
본 발명의 다양한 실시예는 3D 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램에 관한 것이다.
3차원(three dimension, 3D) 전산화 단층 촬영(computed tomography; CT) 영상을 이용한 3D 두부 계측 분석(Cephalometry)은 해부학적 구조의 정확한 식별, 이미지의 기하학적 왜곡 회피 및 복잡한 얼굴 구조를 평가하는 기능을 포함하여 주요 장점을 가지고 있는 바, 다양한 의료 기술 분야에 적용되어 활용되고 있으며, 대표적으로는 치과 분야가 있다.
일반적으로, 3차원 치아 CT 영상을 처리하는 소프트웨어 및 장치의 사용자는 파노라마 재구성 및 단면을 관찰하기 위해서 크게 두 단계의 과정을 거쳐야 한다.
먼저, 디스플레이에 표현된 영상에 기초하여, 다수의 CT 슬라이스로 구성된 3차원 CT 볼륨 영상으로부터 직선 또는 커브를 그리기 위한 CT 슬라이스를 입력 인터페이스로 선택해야 하고, 그 다음으로, 디스플레이에 표현된 해당 CT 슬라이스로부터 기준이 되는 점을 하나씩 입력하여야 한다. 이렇게 입력된 점들을 기준으로, 소프트웨어가 해당 점들을 이음으로써 '직선' 또는 '커브'가 생성된다.
한편, 이러한 종래의 방식 즉, 진단에 유용하도록 파노라마 영상 및 단면 재구성을 위한 직선 또는 커브를 생성하는 방법은 전적으로 사용자의 숙련도에 의존하고 있으며, 숙련되지 않은 사용자의 경우에는 진단을 위한 이상적인 영상을 표현하기 위하여 많은 시간과 노력이 소요되는 문제가 있다.
한국공개특허 제10-2016-0127690호
본 발명이 해결하고자 하는 과제는 상술된 종래의 문제점을 해소하기 위한 목적으로, 기 학습된 인공지능 모델 또는 사전에 정의된 랜드마크의 위치를 이용하여 3D 의료 영상으로부터 파노라마 영상 또는 단면 영상을 획득함으로써, 3D 의료 영상을 기반으로 진단을 위한 목표 영상을 보다 쉽고 빠르게 획득할 수 있는 3D 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성방법은 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 3D 의료 영상 상의 기준 좌표를 획득하는 단계 및 상기 획득된 기준 좌표를 이용하여 상기 3D 의료 영상으로부터 목표 영상을 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 기준 좌표를 획득하는 단계는, 상기 3D 의료 영상이 두경부 영상이고, 생성하고자 하는 영상이 치아 파노라마 영상인 경우, 상기 두경부 영상에 포함된 치아 영역에 대한 최소 높이 좌표 및 최대 높이 좌표를 획득하는 단계, 상기 획득된 최소 높이 좌표 내지 상기 획득된 최대 높이 좌표 범위 내에 위치하는 기준 평면에 대한 높이 좌표를 획득하는 단계 및 상기 기준 평면 상의 평면 좌표를 획득하는 단계를 포함하며, 상기 목표 영상을 생성하는 단계는, 상기 획득된 최대 높이 좌표, 상기 획득된 최소 높이 좌표, 상기 획득된 기준 평면의 높이 좌표 및 상기 평면 좌표를 이용하여 상기 치아 파노라마 영상을 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 평면 좌표를 획득하는 단계는, 상기 기준 평면을 이용하여 상기 두경부 영상에 대한 단면 영상을 획득하는 단계 및 상기 획득된 단면 영상에서, 치열의 형태를 정의하는 스플라인(Spline) 곡선 상의 복수의 평면 좌표를 획득하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 기준 좌표를 획득하는 단계는, 상기 두경부 영상의 상악(upper jaw) 영역에 대한 제1 기준 좌표를 획득하는 단계 및 상기 두경부 영상의 하악(lower jaw) 영역에 대한 제2 기준 좌표를 획득하는 단계를 더 포함하며, 상기 치아 파노라마 영상을 생성하는 단계는, 상기 획득된 제1 기준 좌표를 이용하여 상기 상악 영역에 대한 제1 파노라마 영상을 생성하고, 상기 획득된 제2 기준 좌표를 이용하여 상기 하악 영역에 대한 제2 파노라마 영상을 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 기준 좌표를 획득하는 단계는, 상기 3D 의료 영상이 두경부 영상인 경우, 상기 두경부 영상에서 관심 영역을 설정하는 단계 및 상기 설정된 관심 영역을 복셀(voxel) 단위로 분할하여 복수의 복셀을 생성하고, 기준 좌표로서 상기 생성된 복수의 복셀 각각에 대한 복셀 좌표를 획득하는 단계를 포함하며, 상기 목표 영상을 생성하는 단계는, 상기 3D 의료 영상으로부터 상기 획득된 복셀 좌표 각각에 대응하는 복셀 값을 추출하는 단계 및 상기 생성된 복수의 복셀 각각에 상기 추출된 복셀 값을 설정하여 상기 두경부 영상으로부터 목표 영상을 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 기준 좌표를 획득하는 단계는, 상기 3D 의료 영상이 두경부 영상이고, 생성하고자 하는 영상이 턱관절 단면 영상인 경우, 상기 두경부 영상에 포함된 턱관절 영역에 대한 최소 높이 좌표 및 최대 높이 좌표를 획득하는 단계, 상기 획득된 최소 높이 좌표 내지 상기 획득된 최대 높이 좌표 범위 내에 위치하는 기준 평면에 대한 높이 좌표를 획득하는 단계 및 상기 기준 평면 상의 평면 좌표를 획득하는 단계를 포함하는, 상기 목표 영상을 생성하는 단계는, 상기 획득된 최대 높이 좌표, 상기 획득된 최소 높이 좌표, 상기 획득된 기준 평면의 높이 좌표 및 상기 평면 좌표를 이용하여 상기 턱관절 단면 영상을 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 평면 좌표를 획득하는 단계는, 상기 기준 평면을 이용하여 상기 두경부 영상에 대한 단면 영상을 획득하는 단계 및 상기 획득된 단면 영상에서, 턱관절 영역의 위치를 정의하는 복수의 평면 좌표를 획득하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 기준 좌표를 획득하는 단계는, 기 학습된 인공지능 모델 - 상기 기 학습된 인공지능 모델은 기준 좌표가 레이블링된 3D 의료 영상을 학습 데이터로 하여 학습된 모델임 - 을 통해 상기 3D 의료 영상을 분석함에 따라 기준 좌표로서 제1 좌표를 추출하는 단계 및 상기 3D 의료 영상 상에 기 설정된 하나 이상의 랜드마크에 대응하는 제2 좌표를 이용하여 상기 추출된 제1 좌표를 보정하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 기준 좌표를 획득하는 단계는, 상기 3D 의료 영상을 출력하는 사용자 인터페이스를 통해 획득된 사용자 입력에 기초하여 상기 3D 의료 영상 상에 복수의 랜드마크의 위치를 설정하는 단계, 기준 좌표로서 상기 설정된 복수의 랜드마크 중 적어도 하나의 랜드마크에 대응하는 제2 좌표를 추출하는 단계 및 기 학습된 인공지능 모델 - 상기 기 학습된 인공지능 모델은 기준 좌표가 레이블링된 3D 의료 영상을 학습 데이터로 하여 학습된 모델임 - 을 통해 상기 3D 의료 영상을 분석함에 따라 제1 좌표를 추출하고, 상기 추출된 제1 좌표를 이용하여 상기 추출된 제2 좌표를 보정하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성장치는 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 3D 의료 영상 상의 기준 좌표를 획득하는 인스트럭션(instruction) 및 상기 획득된 기준 좌표를 이용하여 상기 3D 의료 영상으로부터 목표 영상을 생성하는 인스트럭션을 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터프로그램은 컴퓨팅 장치와 결합되어, 3D 의료 영상 상의 기준 좌표를 획득하는 단계 및 상기 획득된 기준 좌표를 이용하여 상기 3D 의료 영상으로부터 목표 영상을 생성하는 단계를 포함하는 3D 의료 영상 기반의 목표 영상 생성방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 기 학습된 인공지능 모델 또는 사전에 정의된 랜드마크의 위치를 이용하여 3D 의료 영상으로부터 파노라마 영상 또는 단면 영상을 획득함으로써, 3D 의료 영상을 기반으로 진단을 위한 목표 영상을 보다 쉽고 빠르게 획득할 수 있다는 이점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성시스템을 도시한 도면이다.
도 2는 다양한 실시예에서, 3D 의료 영상 기반의 목표 영상 생성장치가 제공하는 사용자 인터페이스를 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성장치의 하드웨어 구성도이다.
도 4는 본 발명의 또 다른 실시예에 따른 의료 영상의 랜드마크 위치 설정 가이드 방법의 순서도이다.
도 5는 다양한 실시예에서, 3D 의료 영상 기반의 목표 영상 생성장치가 제공하는 랜드마크 위치 설정 사용자 인터페이스의 초기 화면을 도시한 도면이다.
도 6은 다양한 실시예에서, 랜드마크의 위치 정보에 따라 시점이 변환된 3D 의료 영상을 출력하는 사용자 인터페이스를 도시한 도면이다.
도 7은 다양한 실시예에서, 랜드마크의 위치 정보에 따라 속성이 변환된 3D 의료 영상의 형태를 도시한 도면이다.
도 8 및 도 9는 다양한 실시예에서, 3D 두개골 영상과 3D 얼굴 영상이 정합된 형태를 도시한 도면이다.
도 10은 다양한 실시예에서, 단면 영상을 추출하는 방법을 설명하기 위한 순서도이다.
도 11은 다양한 실시예에서, 기준점이 설정된 3D 의료 영상을 도시한 도면이다.
도 12는 다양한 실시예에서, 기준점을 이용하여 생성된 평면과 이를 기반으로 설정된 축을 도시한 도면이다.
도 13은 다양한 실시예에서, 축을 기반으로 추출된 단면 영상을 도시한 도면이다.
도 14 및 도 15는 다양한 실시예에서, 단면 영상을 출력하는 사용자 인터페이스를 도시한 도면이다.
도 16 내지 도 18은 다양한 실시예에서, 인공지능 모델을 통해 랜드마크의 위치를 설정하는 과정을 설명하기 위한 도면이다.
도 19 및 도 20은 다양한 실시예에서, 인공지능 모델을 통해 결정된 추천 위치가 표시된 3D 의료 영상을 출력하는 사용자 인터페이스를 도시한 도면이다.
도 21은 다양한 실시예에서 적용 가능한 랜드마크에 관한 정보가 사전에 정의된 표이다.
도 22는 다양한 실시예에서, 설정하고자 하는 랜드마크와 연관된 다른 랜드마크의 위치가 표시된 3D 의료 영상을 출력하는 사용자 인터페이스를 도시한 도면이다.
도 23은 본 발명의 또 다른 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성방법의 순서도이다.
도 24 내지 도 26은 다양한 실시예에서, 3D 의료 영상을 기반으로 치아 파노라마 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 27 및 도 28은 다양한 실시예에서, 상악 영역과 하악 영역에 대한 파노라마 영상을 개별적으로 생성하는 과정을 설명하기 위한 도면이다.
도 29는 다양한 실시예에서, 이미지 프로빙(image probing)을 이용하여 3D 의료 영상으로부터 치아 파노라마 영상을 추출하는 과정을 설명하기 위한 도면이다.
도 30 내지 도 32는 다양한 실시예에서, 3D 의료 영상을 기반으로 턱관절 단면 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 33은 다양한 실시예에서, 이미지 프로빙(image probing)을 이용하여 3D 의료 영상으로부터 턱관절 단면 영상을 추출하는 과정을 설명하기 위한 도면이다.
도 34 내지 도 36은 본 발명의 또 다른 실시예에 따른 인공지능 모델을 이용하여 의료 영상에서 특정 신체 조직의 밀도 값을 찾는 과정을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성시스템은 목표 영상 생성장치(100), 사용자 단말(200), 외부 서버(300) 및 네트워크(400)를 포함할 수 있다.
여기서, 도 1에 도시된 3D 의료 영상 기반의 목표 영상 생성시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 목표 영상 생성장치(100)(이하, "컴퓨팅 장치(100)")는 사용자가 3D 의료 영상(예: CT 영상 또는 MRI 영상 등) 상에 랜드마크를 설정할 수 있는 환경을 제공할 수 있다.
보다 구체적으로, 컴퓨팅 장치(100)는 컴퓨팅 장치(100)와 연결된 디스플레이 장치를 통해 랜드마크 위치 설정을 위한 사용자 인터페이스(User Interface, UI)(예: 도 2의 10)를 출력할 수 있다.
먼저, 컴퓨팅 장치(100)가 제공하는 UI(10)는 사용자의 요청에 따라 Bone 모드(예: 3D 뼈 영상을 출력하는 모드), Soft Tissue 모드(예: 3D 연조직 영상을 출력하는 모드), Transparent 모드(예: 내부가 투영된 3D 뼈 영상을 출력하는 모드), 클리핑 단면 모드(예: 특정 부위에 대한 단면 영상을 출력하는 모드) 및 3D face 모드(예: 3D 얼굴 영상과 정합된 3D 뼈 영상 또는 3D 연조직 영상을 출력하는 모드) 중 어느 하나의 모드를 기반으로, 랜드마크의 위치를 설정하고자 하는 3D 의료 영상(예: 복수의 3D 의료 영상 중 사용자로부터 선택된 3D 의료 영상이나 사용자로부터 업로드된 3D 의료 영상)을 출력할 수 있다.
이때, UI(10)를 통해 출력되는 3D 의료 영상은 사용자의 요청에 따라 3D 의료 영상의 전체 또는 적어도 일부 영역의 색상을 변경할 수 있다.
또한, 컴퓨팅 장치(100)가 제공하는 UI(10)는 UI(10)를 통해 사용자로부터 획득된 사용자 입력, 예컨대 마우스를 통해 3D 의료 영상 상에 특정 위치를 지정 및 선택하는 입력(예: 클릭버튼 입력)이나 키보드를 통해 특정 위치에 지정 및 선택된 랜드마크의 위치를 이동시키는 입력(예: 방향키 입력)에 따라 3D 의료 영상 상의 특정 위치에 랜드마크를 설정하거나, 특정 단축키 입력에 따라 기 설정된 랜드마크를 제거할 수 있다.
여기서, 컴퓨팅 장치(100)는 UI(10)를 통한 사용자 입력에 기초하여 3D 의료 영상 상에 랜드마크의 위치를 설정하는 것으로 설명하고 있으나, 이에 한정되지 않고, 경우에 따라 사용자로부터 업로드된 3D 의료 영상 또는 사용자로부터 선택된 3D 의료 영상을 분석하여 3D 의료 영상 상에 복수의 랜드마크의 위치를 자동적으로 설정하는 형태로 구현될 수 있다.
또한, 컴퓨팅 장치(100)가 제공하는 UI(10)는 사용자가 설정하고자 하는 랜드마크에 대한 특성 정보를 획득할 수 있고, 랜드마크의 특성 정보에 기초하여 랜드마크의 위치를 보다 쉽고 정확하게 설정할 수 있도록 보조하기 위한 가이드 정보를 제공할 수 있다.
통상적으로, 3D 의료 영상 상에 사용자가 설정하고자 하는 랜드마크의 위치가 3D 의료 영상의 외부에 위치하는 경우 예컨대, 3D 의료 영상이 대상의 두경부 영역을 볼륨 렌더링함에 따라 생성된 3D 볼륨 데이터이고 사용자가 설정하고자 하는 랜드마크의 위치가 두개골 표면 상에 위치하는 경우, 사용자가 랜드마크의 위치를 정확하게 설정함에 있어서 큰 어려움이 없으나, 두개골 내부에 위치하거나, 두경부 영역의 특정 단면 상에 위치하거나 또는 연조직 상에 위치하는 경우에는 사용자가 랜드마크의 위치를 정확하게 설정하기 어려우며, 정확한 위치에 랜드마크를 설정하기 위하여 UI(10) 상에 출력된 3D 의료 영상의 속성을 수동으로 설정해야 하는 불편함이 있다.
이러한 점을 고려하여, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 위치적 특성을 고려하여, 랜드마크의 위치를 설정하고자 하는 3D 의료 영상의 형태를 변환하거나, 랜드마크 위치 설정을 위한 추가 정보를 포함하는 가이드 정보를 제공함으로써, 사용자가 보다 정확하게 랜드마크의 위치를 설정할 수 있는 환경을 제공할 수 있다.
또한, 컴퓨팅 장치(100)가 제공하는 UI(10)는 사용자의 요청에 따라 3D 의료 영상을 가공함으로써, 3D 의료 영상으로부터 목표 영상, 예컨대 특정 영역에 대한 파노라마 영상이나 특정 영역에 대한 단면 영상을 생성하고, 생성된 목표 영상을 출력할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)가 수행하는 의료 영상의 랜드마크 위치 설정 가이드 방법 및 3D 의료 영상 기반의 목표 영상 생성방법은 응용 소프트웨어 프로그램 형태로 구현되어, 네트워크(400)를 통해 외부의 컴퓨팅 장치 또는 사용자 단말(200)로 제공될 수 있고, 사용자가 외부의 컴퓨팅 장치 또는 사용자 단말(200)을 통해 응용 프로그램이 실행함에 따라 외부의 컴퓨팅 장치 또는 사용자 단말(200)을 통해 의료 영상의 랜드마크 위치 설정 가이드 방법 및 3D 의료 영상 기반의 목표 영상 생성방법을 수행하는 형태로 구현될 수 있다.
또한, 컴퓨팅 장치(100)는 네트워크(400)를 통해 사용자 단말(200)과 연결되어, 사용자 단말(200)로부터 3D 의료 영상을 획득할 수 있고, 의료 영상의 랜드마크 위치 설정 가이드 방법 및 3D 의료 영상 기반의 목표 영상 생성방법을 통해 3D 의료 영상을 가공함에 따라 생성된 목표 영상을 사용자 단말(200)로 제공할 수 있다.
여기서, 사용자 단말(200)은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 태블릿 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크(400)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함할 수 있다.
또한, 여기서, 무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함할 수 있으나, 이에 한정되지는 않는다.
일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 컴퓨팅 장치(100)와 연결될 수 있으며, 컴퓨팅 장치(100)가 의료 영상의 랜드마크 위치 설정 가이드 방법을 수행하기 위해 필요한 각종 정보 및 데이터(예: 사전에 정의된 랜드마크에 관한 정보(예: 도 21 등)를 저장 및 관리하거나, 컴퓨팅 장치(100)가 의료 영상의 랜드마크 위치 설정 가이드 방법을 제공함에 따라 생성된 각종 정보 및 데이터(예: 랜드마크의 위치가 설정된 3D 의료 영상 등)를 수집하여 저장 및 관리할 수 있다.
다양한 실시예에서, 외부 서버(300)는 컴퓨팅 장치(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 3을 참조하여 의료 영상의 랜드마크 위치 설정 가이드 방법 및 3D 의료 영상 기반의 목표 영상 생성방법을 수행하는 컴퓨팅 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.
도 3은 본 발명의 다른 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성장치의 하드웨어 구성도이다.
도 3을 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 의료 영상의 랜드마크 위치 설정 가이드 프로세스 및 3D 의료 영상 기반의 목표 영상 생성 프로세스를 수행하는 경우, 스토리지(150)는 의료 영상의 랜드마크 위치 설정 가이드 프로세스 및 3D 의료 영상 기반의 목표 영상 생성 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 3D 의료 영상 상에 설정하고자 하는 랜드마크의 특성 정보를 획득하는 단계 및 획득된 랜드마크의 특성 정보에 기초하여, 설정하고자 하는 랜드마크의 위치 설정을 위한 가이드 정보를 제공하는 단계를 포함하는 의료 영상의 랜드마크 위치 설정 가이드 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
다른 실시예에서, 컴퓨터 프로그램(151)은 3D 의료 영상 상의 기준 좌표를 획득하는 단계 및 획득된 기준 좌표를 이용하여 3D 의료 영상으로부터 목표 영상을 생성하는 단계를 포함하는 3D 의료 영상 기반의 목표 영상 생성방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 4 내지 23을 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 의료 영상의 랜드마크 위치 설정 가이드 방법에 대해 설명하도록 한다.
도 4는 본 발명의 또 다른 실시예에 따른 의료 영상의 랜드마크 위치 설정 가이드 방법의 순서도이다.
도 4를 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 랜드마크 위치 설정을 위한 UI(예: 도 5의 10)을 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자의 요청에 따라 소프트웨어를 실행함으로써, 컴퓨팅 장치(100)와 연결된 디스플레이 장치를 통해 랜드마크의 위치를 설정하고자 하는 3D 의료 영상을 출력하는 UI(10)를 제공할 수 있다.
여기서, 3D 의료 영상은 대상의 두경부 영역에 대한 3차원 이미지(예: CT 영상 또는 MRI 영상 등)를 볼륨 렌더링함에 따라 생성된 3D 두경부 영상일 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자로부터 업로드된 3D 의료 영상을 UI(10)를 통해 출력할 수 있으나, 이에 한정되지 않고, 경우에 따라 기 저장된 복수의 3D 의료 영상 중 사용자로부터 선택된 어느 하나의 3D 의료 영상을 출력할 수 있다. 또한, 컴퓨팅 장치(100)는 UI(10)를 통해 특정 3D 의료 영상에 대한 랜드마크 위치 설정 작업 수행 이력이 있는 경우, 사용자로부터 UI(10) 제공 요청을 획득함에 따라 이전에 작업 중 이였던 특정 3D 의료 영상을 자동으로 출력할 수 있다.
S120 단계에서, 컴퓨팅 장치(100)는 3D 의료 영상 상에 설정하고자 하는 랜드마크의 특성 정보를 획득할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 의료 영상 상에 설정하고자 하는 랜드마크의 특성 정보로서, 설정하고자 하는 랜드마크가 위치하는 부위에 관한 정보 및 설정하고자 하는 랜드마크의 위치 좌표 중 적어도 하나를 포함하는 위치 정보 즉, 3D 의료 영상 상에 설정하고자 하는 랜드마크의 위치적 특성을 획득할 수 있다. 그러나, 이에 한정되지 않는다.
S130 단계에서, 컴퓨팅 장치(100)는 S120 단계를 거쳐 획득된 랜드마크의 특성 정보(예: 위치 정보)에 기초하여, 사용자가 설정하고자 하는 랜드마크의 위치 설정을 위한 가이드 정보를 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 위치 정보를 기준으로, 3D 의료 영상의 시점을 변환하고, UI(10)를 통해 시점이 변환된 3D 의료 영상을 출력할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 위치가 측면에 위치하는 경우 도 6의 (A)에 도시된 바와 같이 3D 의료 영상의 시점을 측면으로 변환하여 출력할 수 있다. 또한, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 위치가 하단면에 위치하는 경우 도 6의 (B)에 도시된 바와 같이 3D 의료 영상의 시점을 하단면으로 변환하여 출력할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 위치 정보에 기초하여 3D 의료 영상의 속성을 변환하고, UI(10)를 통해 속성이 변환된 3D 의료 영상을 출력할 수 있다.
보다 구체적으로, 컴퓨팅 장치(100)는 3D 의료 영상이 대상의 두경부 영역을 볼륨 렌더링함에 따라 생성된 3D 볼륨 데이터이고, 사용자가 설정하고자 하는 랜드마크의 위치가 두개골 표면 상에 위치하는 경우, Bone 모드를 기반으로 3D 볼륨 데이터를 제공함으로써, 사용자가 두개골 표면 상에 랜드마크의 위치를 보다 정확하게 설정할 수 있도록 가이드할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 7의 (A)에 도시된 바와 같이, 설정하고자 하는 랜드마크의 위치가 두개골 표면 상에 위치할 경우, 3D 볼륨 데이터의 불투명도를 조절하여 3D 두개골 영상을 생성하고, UI(10)를 통해 3D 두개골 영상을 출력할 수 있다.
또한, 컴퓨팅 장치(100)는 3D 의료 영상이 대상의 두경부 영역을 볼륨 렌더링함에 따라 생성된 3D 볼륨 데이터이고, 사용자가 설정하고자 하는 랜드마크의 위치가 연조직 표면 상에 위치하는 경우, Soft Tissue 모드를 기반으로 3D 볼륨 데이터를 제공함으로써, 사용자가 연조직 표면 상에 랜드마크의 위치를 보다 정확하게 설정할 수 있도록 가이드할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 7의 (B)에 도시된 바와 같이 설정하고자 하는 랜드마크의 위치가 연조직 표면 상에 위치할 경우, 3D 볼륨 데이터의 불투명도를 조절하여 3D 연조직 영상을 생성하고, UI(10)를 통해 3D 연조직 영상을 출력할 수 있다.
또한, 컴퓨팅 장치(100)는 3D 의료 영상이 대상의 두경부 영역을 볼륨 렌더링함에 따라 생성된 3D 볼륨 데이터이고, 사용자가 설정하고자 하는 랜드마크의 위치가 두경부 내부에 위치하는 경우, Transparent 모드를 기반으로 3D 볼륨 데이터를 제공함으로써, 사용자가 두경부 내부의 위치에 랜드마크의 위치를 보다 정확하게 설정할 수 있도록 가이드할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 7의 (C)에 도시된 바와 같이 설정하고자 하는 랜드마크의 위치가 두경부 내부에 위치할 경우, 3D 두개골 영상의 투명도를 조절함에 따라 내부가 투영된 3D 두개골 영상을 생성할 수 있고, UI(10)를 통해 내부가 투영된 3D 두개골 영상을 출력할 수 있다.
또한, 컴퓨팅 장치(100)는 3D 의료 영상이 대상의 두경부 영역을 볼륨 렌더링함에 따라 생성된 3D 볼륨 데이터이고, 사용자가 설정하고자 하는 랜드마크의 위치가 두경부 내부에 위치하는 경우, 클리핑 단면 모드를 기반으로, 3D 볼륨 데이터의 단면 영상을 제공함으로써, 사용자가 두경부 내부의 위치에 랜드마크의 위치를 보다 정확하게 설정할 수 있도록 가이드할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 7의 (D)에 도시된 바와 같이 설정하고자 하는 랜드마크의 위치가 두경부 내부에 위치할 경우, 설정하고자 하는 랜드마크의 위치에 기초하여 3D 볼륨 데이터(또는 3D 두개골 영상)로부터 단면 영상을 추출하고, UI(10)를 통해 단면 영상을 출력할 수 있다.
또한, 컴퓨팅 장치(100)는 3D 의료 영상이 대상의 두경부 영역을 볼륨 렌더링함에 따라 생성된 3D 볼륨 데이터이고, 사용자가 설정하고자 하는 랜드마크의 위치가 피부 표면 상에 위치하는 경우, 3D face 모드를 기반으로 3D 볼륨 데이터를 제공함으로써, 사용자가 피부 표면 상에 랜드마크의 위치를 보다 정확하게 설정할 수 있도록 가이드할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 8에 도시된 바와 같이 설정하고자 하는 랜드마크의 위치가 피부 표면 상에 위치할 경우, 3D 볼륨 데이터(또는 3D 두개골 영상)와 대상의 얼굴 이미지를 기반으로 생성된 3D 얼굴 영상을 정합하고, UI(10)를 통해 정합된 영상을 출력할 수 있다.
이때, 3D 볼륨 데이터를 생성하기 위해 활용되는 의료 영상의 경우 예컨대, CT 영상의 경우, 도 9의 (A)에 도시된 바와 같이 CT 영상을 촬영하기 위해 대상의 얼굴을 고정하는 고정 기구(예: 턱받이)를 사용하기 때문에, 고정 기구에 의해 형태가 훼손되어 랜드마크의 위치를 정확하게 설정하기 어려울 수 있다. 예를 들어, 고정 기구에 의해 턱 부분의 형태가 훼손되기 때문에 목과 턱의 경계에 위치하는 랜드마크(예: CNJ)를 정확하게 설정하기 어려울 수 있다.
이러한 점을 고려하여, 컴퓨팅 장치(100)는 얼굴 표면 구조 및 위치의 변형이 자유로운 3D 사진 모델(폴리곤)을 이용하여 3D 볼륨 데이터(또는 3D 두개골 영상)와 정합함으로써, 형태가 훼손되는 위치하는 랜드마크가 정확한 위치에 설정될 수 있도록 할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 위치가 특정 단면 상에 위치하는 경우, 사용자가 설정하고자 하는 랜드마크의 위치를 이용하여 3D 의료 영상으로부터 단면 영상을 추출하고, UI(10)를 통해, 추출된 단면 영상을 출력할 수 있다. 이하, 도 10을 참조하여 보다 구체적으로 설명하도록 한다.
도 10은 다양한 실시예에서, 단면 영상을 추출하는 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 위치를 이용하여 단면 영상 생성을 위한 기준점을 설정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 위치를 기준으로 3D 의료 영상의 시점을 변환하고, UI(10)를 통해 시점이 변환된 3D 의료 영상을 출력할 수 있으며, 3D 의료 영상 상에 하나 이상의 기준점을 가리키는 사용자 입력(예: 특정 위치를 선택하는 사용자 입력)을 획득함으로써, 3D 의료 영상 상에 하나 이상의 기준점을 선택할 수 있다.
이때, 컴퓨팅 장치(100)는 사용자가 보다 정확한 위치에 기준점을 설정할 수 있도록, 기준점 설정을 위한 가이드 정보를 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 복수의 랜드마크에 대한 정보를 사전에 정의할 수 있고(예: 도 21), 사전에 정의된 복수의 랜드마크에 관한 정보에 기초하여, 단면 영상 생성을 위해, 사용자가 설정하고자 하는 랜드마크에 관한 설명 또는 해당 랜드마크 위치 설정을 위해 필요한 기준점에 대한 설명을 UI(10)를 통해 출력할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델(예: 제1 인공지능 모델)을 이용하여 3D 의료 영상을 분석함에 따라 단면 영상 생성을 위한 기준점을 자동적으로 설정할 수 있다.
여기서, 제1 인공지능 모델은 복수의 랜드마크별로 복수의 랜드마크 각각에 대응하는 하나 이상의 기준점이 레이블링(Labeling)된 복수의 3D 의료 영상 각각을 학습 데이터로 하여 학습된 모델 즉, 특정 랜드마크와 특정 랜드마크에 대응하는 기준점 간의 상관관계를 학습함에 따라 3D 의료 영상 및 설정하고자 하는 랜드마크에 관한 정보를 입력으로 하여 해당 랜드마크와 상관관계를 가지는 하나 이상의 기준점을 추출하는 모델일 수 있다.
제1 인공지능 모델(예: 신경망)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.
제1 인공지능 모델 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 제1 인공지능 모델이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
전술한 바와 같이, 제1 인공지능 모델은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 제1 인공지능 모델 내에서 입력 노드 및 출력 노드 관계를 형성한다. 제1 인공지능 모델 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 제1 인공지능 모델의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 제1 인공지능 모델이 존재하는 경우, 두 개의 제1 인공지능 모델들은 서로 상이한 것으로 인식될 수 있다.
제1 인공지능 모델을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 제1 인공지능 모델 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 제1 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 제1 인공지능 모델 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 제1 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 제1 인공지능 모델을 구성하는 노드들을 의미할 수 있다. 본 발명의 일 실시예에 따른 제1 인공지능 모델은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 제1 인공지능 모델일 수 있다.
제1 인공지능 모델은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.
다양한 실시예에서, 제1 인공지능 모델은 딥러닝(Deep learning) 모델일 수 있다.
딥러닝 모델(예: 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 제1 인공지능 모델을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다.
딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 네트워크 함수는 오토 인코더를 포함할 수도 있다. 여기서, 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다.
오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 차원 감소 레이어와 차원 복원 레이어의 노드는 대칭일 수도 있고 아닐 수도 있다. 또한, 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.
뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 및 반교사학습(semi supervised learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 출력의 오류를 최소화하기 위한 것이다. 보다 구체적으로, 뉴럴 네트워크의 학습은 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다.
먼저, 교사 학습의 경우 각각의 학습 데이터에 정답이 레이블링 되어있는 학습 데이터를 사용하며(즉, 레이블링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 레이블링 되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 레이블링 된 데이터 일 수 있다. 레이블링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 레이블을 비교함으로써 오류(error)가 계산될 수 있다.
다음으로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다. 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션(regularization), 학습의 과정에서 네트워크의 노드 일부를 생략하는 드롭아웃(dropout) 등의 방법이 적용될 수 있다.
S220 단계에서, 컴퓨팅 장치(100)는 S210 단계를 거쳐 설정된 기준점을 이용하여 축을 설정할 수 있다.
보다 구체적으로, 도 11 및 도 12를 참조하면, 먼저, 컴퓨팅 장치(100)는 3D 의료 영상 상에 제1 기준점(11) 및 제2 기준점(12)이 생성된 경우, 제1 기준점(11)과 제2 기준점(12)을 연결하는 선을 포함하며, 3D 의료 영상의 수평면과 수직인 제1 평면(14)을 생성할 수 있다.
이후, 컴퓨팅 장치(100)는 제1 기준점(11)과 제2 기준점(12) 사이의 중심점(13)을 설정하고, 중심점(13)을 포함하며 제1 평면(14) 및 3D 의료 영상의 수평면과 수직인 제2 평면(15)을 생성할 수 있다.
이후, 컴퓨팅 장치(100)는 중심점(13)을 포함하며, 3D 의료 영상의 수평면과 수평인 제3 평면(16)을 생성할 수 있다.
이후, 컴퓨팅 장치(100)는 제1 평면(14)과 제2 평면(15)의 교선, 제1 평면(14)과 제3 평면(16)의 교선 및 제2 평면(15)과 제3 평면(16)의 교선 각각을 축으로 설정함으로써, 3개의 축을 설정할 수 있다. 그러나, 이에 한정되지 않는다.
여기서, 컴퓨팅 장치(100)에 의해 생성되는 축 설정 과정은 3D 의료 영상 상에 2개의 기준점이 설정된 것을 기반으로 설명하고 있으나, 이에 한정되지 않고, 경우에 따라 다양한 방식이 적용될 수 있다. 예컨대, 컴퓨팅 장치(100)는 3D 의료 영상 상에 하나의 기준점이 설정된 경우, 하나의 기준점을 원점으로 하고, 기준점을 중심으로 서로 다른 방향 및 상호 직교하는 임의의 3개의 축을 생성할 수 있다.
S230 단계에서, 컴퓨팅 장치(100)는 S220 단계를 거쳐 설정된 3개의 축을 이용하여 3D 의료 영상으로부터 단면 영상을 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 3D 의료 영상 상에 설정된 3개의 축을 이용하여 3D 의료 영상의 정면 방향의 단면인 관상 단면(Coronal plane)(예: 도 13의 (A)), 3D 의료 영상의 측면 방향의 단면인 시상 단면(Sagittal plane)(예: 도 13의 (B)) 및 3D 의료 영상의 하단면 방향의 단면인 축 단면(Axial plane)(예: 도 13의 (C))을 생성할 수 있다.
이후, 컴퓨팅 장치(100)는 도 14 및 도 15에 도시된 바와 같이, UI(10)를 통해 3D 의료 영상과 상기의 과정(예: S210 단계 내지 S230 단계)를 거쳐 생성된 복수의 단면 영상을 함께 출력함으로써, 사용자가 단면 영상을 통해 랜드마크의 위치를 보다 정확하게 설정하도록 가이드할 수 있다.
이때, 컴퓨팅 장치(100)는 사용자가 3개의 단면 영상 중 어느 하나의 단면 영상을 기반으로 특정 랜드마크의 위치를 설정할 경우, 설정된 특정 랜드마크의 위치에 기초하여 나머지 영상들(예: 2개의 단면 영상과 3D 의료 영상) 상에도 설정된 랜드마크의 위치를 표시해줌으로써, 사용자가 랜드마크의 위치가 정확하게 설정되었는지를 즉시 확인 가능하도록 할 수 있다.
다양한 실시예에서, 도 16 내지 도 18을 참조하면, 컴퓨팅 장치(100)는 사용자가 설정하고자 하는 랜드마크의 특성 정보(예: 위치 정보)에 기초하여, 기 학습된 인공지능 모델(예: 제2 인공지능 모델)을 3D 의료 영상을 분석함에 따라 하나 이상의 특징점을 추출할 수 있고, 추출된 하나 이상의 특징점을 이용하여 설정하고자 하는 랜드마크의 위치를 설정할 수 있다.
여기서, 제2 인공지능 모델은 랜드마크에 관한 정보 및 위치가 레이블링된 3D 의료 영상을 학습 데이터로 하여 기 학습됨에 따라, 랜드마크에 관한 정보 및 특정 3D 의료 영상을 입력으로 하여 특정 3D 의료 영상 상에 랜드마크의 위치를 가리키는 좌표를 추출하는 모델일 수 있다. 또한, 여기서, 제2 인공지능 모델은 제1 인공지능 모델과 동일한 구조 및 형태로 구현되되, 상이한 종류의 학습 데이터로 학습된 모델일 수 있다.
보다, 구체적으로, 도 16을 참조하면, 제2 인공지능 모델은 다운 샘플링(Down sampling) 모듈, 업 샘플링(Up sampling) 모듈 및 스킵 레이어(Skip layer)를 포함하여 구성될 수 있다.
먼저, 다운 샘플링 모듈은 입력된 3D 의료 영상으로부터 특징을 추출하고, 추출된 특징을 동일한 크기의 이미지로 출력해주는 컨볼루션(Convolution) 레이어와 3D 의료 영상으로부터 대표 특징만을 추출하여 더 작은 이미지로 출력하는 Maxpooling 레이어를 포함할 수 있다. 다운 샘플링 모듈은 도 16에 도시된 바와 같이 여러 단계의 컨볼루션 레이어와 Maxpooling 레이어를 거치며 3D 의료 영상에 포함된 대표 특징을 작은 이미지로 축약할 수 있다.
다음으로, 업 샘플링 모듈은 Nearest neighbor(예: 이미지의 크기를 키우기 위해 원본의 복셀(3D 의료 영상의 최소 단위) 사이에 원본의 복셀과 같은 값의 복셀을 추가로 채워넣는 것)와 컨볼루션 레이어를 포함하며, 다운 샘플링 모듈을 통해 축약된 대표 특징을 큰 사이즈의 이미지로 키워 출력할 수 있다. 업 샘플링 모듈은 이미지의 크기가 입력 이미지 즉, 3D 의료 영상의 크기와 동일할 때까지 반복되며, 이를 위해 다운 샘플링 모듈의 다운 샘플링 과정과 동일한 횟수를 가질 수 있다.
마지막으로, 스킵 레이어는 다운 샘플링 과정의 각 단계에서 컨볼루션 레이어를 통과하기 직전의 이미지를 따로 추출하여 별도의 컨볼루션 레이어를 통과시킨 후, 이를 통해 추출된 특징들 이미지로 출력하고, 출력된 이미지를 업 샘플링 과정의 각 단계에 제공하여 업 샘플링된 이미지들과 합쳐줄 수 있다. 이때, 이미지를 합쳐주는 방법은 이미지 상에 같은 인덱스 값의 복셀 간의 값을 더해주는 방식일 수 있으나, 이에 한정되지 않는다. 즉, 스킵 레이어는 특징을 추출함에 있어서 Maxpooling이나 Nearest neighbor을 쓰지 않기 때문에 복셀들의 위치정보를 유지하며 전달 할 수 있다.
이때, Cone Beam CT 또는 CT 영상과 같은 3D 의료 영상의 경우 용량이 크기 때문에 인공지능 모델이 복수의 3D 의료 영상을 한 번에 처리하기에는 하드웨어의 연산량 부담이 크다는 문제가 있다.
이러한 점을 고려하여, 컴퓨팅 장치(100)는 도 17에 도시된 바와 같이, 원본의 3D 의료 영상(예: 도 17의 (A))의 해상도를 떨어뜨려 저해상도의 3D 의료 영상(예: 도 17의 (B))을 생성하고, 생성된 저해상도의 3D 의료 영상을 제2 인공지능 모델이 입력함으로써, 하나 이상의 특징점을 추출(예: 도 17의 (C))하며, 추출된 하나 이상의 특징점을 포함하는 영역 예컨대, 하나 이상의 특징점 주변 영역(예: 도 17의 (D))을 추출하고, 추출한 영역에 대한 해상도를 원본 해상도로 복원(예: 도 17의 (E))하며, 원본 해상도로 복원된 영역을 다시 제2 인공지능 모델에 입력하여 특징을 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 도 18에 도시된 바와 같이 상호 연관된 둘 이상의 랜드마크에 관한 정보가 레이블링된 3D 의료 영상을 학습 데이터를 이용하여 인공지능 모델을 학습시킴으로써, 둘 이상의 랜드마크 간의 위치적 상관 관계가 학습된 인공지능 모델을 구축할 수 있다.
인공지능 모델이 위치적 상관 관계를 학습할 경우, 3D 의료 영상으로부터 추출된 특징점들 간의 위치를 고려하여, 보다 정확하게 특징점을 추출하거나, 기 추출된 특정점의 위치를 고려하여 새롭게 추출된 특징점을 검증함으로써, 보다 정확한 특징점 추출이 가능하다는 이점이 있다.
또한, 컴퓨팅 장치(100)는 서로 다른 3D 의료 영상 생성 장치를 이용하여 생성된 서로 다른 종류의 3D 의료 영상 예컨대, 밀도 값이 상이한 3D 의료 영상을 학습 데이터로 이용하여 인공지능 모델을 학습시킴으로써, 3D 의료 영상 생성 장치의 종류에 상관없이 3D 의료 영상으로부터 특징점을 추출하는 인공지능 모델을 구축할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제2 인공지능 모델을 통해 설정된 랜드마크의 위치가 3차원 상에 위치하는 점인 경우 즉, 랜드마크의 위치에 대응하는 좌표가 3차원 좌표인 경우, 가이드 정보로서 3차원 좌표를 이용하여 3D 의료 영상 상에 랜드마크의 위치를 설정할 수 있다.
한편, 컴퓨팅 장치(100)는 제2 인공지능 모델을 통해 설정된 랜드마크의 위치가 특정 평면 상의 점인 경우 즉, 랜드마크의 위치에 대응하는 좌표가 2차원 좌표인 경우, 2차원 좌표를 이용하여 3D 의료 영상 상에 랜드마크의 위치를 임시 설정 예컨대, X, Y좌표를 가지는 랜드마크의 위치 좌표에 대하여 임의의 Z값을 부여함으로써 3D 의료 영상 상에 랜드마크의 위치를 임시 설정할 수 있다.
이후, 컴퓨팅 장치(100)는 3D 의료 영상 상에 하나 이상의 다른 랜드마크의 위치가 설정됨에 따라 특정 평면이 정의되는 경우, 예컨대 3D 의료 영상 상에 기준점이 설정됨에 따라 기준점을 포함하며 3D 의료 영상의 수평면과 수평인 평면이 정의되는 경우, 임시 설정된 랜드마크의 위치를 특정 평면 상에 투영함으로써, 특정 평면 상에 랜드마크의 위치를 설정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자로부터 설정된 3D 의료 영상 기반의 진단 유형에 기초하여, 진단 유형에 대응하는 랜드마크의 위치만을 설정할 수 있다.
일례로, 컴퓨팅 장치(100)는 복수의 진단 유형 각각에 대하여, 진단에 필수적으로 필요한 복수의 랜드마크들을 분류 및 그룹화 함으로써, 진단 유형별로 분류된 복수의 랜드마크 그룹을 사전에 정의할 수 있다.
이후, 컴퓨팅 장치(100)는 사용자로부터 설정된 3D 의료 영상 기반의 진단 유형을 설정받는 경우, 진단 유형별로 사전에 정의된 복수의 랜드마크 그룹 중 진단 유형에 대응되는 랜드마크 그룹을 선택하고, 제2 인공지능 모델을 이용하여 진단 유형에 대응되는 랜드마크 그룹에 포함된 적어도 하나의 랜드마크에 대한 위치만을 3D 의료 영상 상에 설정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 제2 인공지능 모델을 통해 3D 의료 영상을 분석함에 따라 3D 의료 영상 상에 설정 가능한 복수의 랜드마크의 추천 위치를 결정하여 UI(10)를 통해 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 19 및 20에 도시된 바와 같이, 기 학습된 인공지능 모델(예: 제2 인공지능 모델)을 3D 의료 영상을 분석함에 따라 하나 이상의 특징점을 추출할 수 있고, 추출된 하나 이상의 특징점을 이용하여 설정하고자 하는 랜드마크의 추천 위치(17)를 결정할 수 있으며, UI(10)를 통해 추천 위치(17)가 표시된 3D 의료 영상을 출력함으로써, 사용자가 보다 쉽게 랜드마크의 위치를 설정하도록 가이드할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 의료 영상을 출력하는 UI(10)를 통해 획득된 사용자 입력에 기초하여, 3D 의료 영상 상에 제1 랜드마크의 위치를 설정할 수 있다. 이때, 컴퓨팅 장치(100)는 제1 랜드마크의 위치 정보에 기초하여, 제2 인공지능 모델을 통해 3D 의료 영상을 분석함에 따라 하나 이상의 특징점을 추출할 수 있고, 추출된 하나 이상의 특징점을 이용하여 제1 랜드마크의 위치를 조정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자 입력에 기초하여 설정된 제1 랜드마크의 위치 좌표와 제2 인공지능 모델을 통해 추출된 하나 이상의 특징점에 대한 위치 좌표를 비교하여 오차를 산출할 수 있고, 산출된 오차가 기 설정된 값을 초과하는 경우, 사용자 입력에 기초하여 설정된 제1 랜드마크의 위치를 하나 이상의 특징점에 대한 위치로 조정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 의료 영상 상에 기 설정된 복수의 랜드마크 중 사용자가 설정하고자 하는 랜드마크와 연관된 적어도 하나의 랜드마크를 선택하고, 선택된 적어도 하나의 랜드마크의 위치가 표시된 3D 의료 영상을 출력할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 22에 도시된 바와 같이, 사용자가 설정하고자 하는 제1 랜드마크의 위치가 하나 이상의 제2 랜드마크와 인접한 위치와 인접한 위치인 경우, 제1 랜드마크의 위치를 설정하고자 하는 사용자에게 하나 이상의 제2 랜드마크에 관한 정보(18)가 표시된 3D 의료 영상을 출력하는 UI(10)를 제공함으로써, 사용자가 하나 이상의 제2 랜드마크에 관한 정보(18)를 이용하여 보다 정확하게 제1 랜드마크의 위치를 설정할 수 있도록 가이드할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 UI(10)를 통해 복수의 랜드마크의 위치가 설정된 3D 의료 영상을 이용하여, 사용자가 대상에 대한 진단 및 분석을 보다 수월하게 진행할 수 있도록 가이드하기 위한 목표 영상을 생성할 수 있다. 이하, 도 23 내지 32를 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 3D 의료 영상 기반의 목표 영상 생성방법에 대해 설명하도록 한다.
도 23은 본 발명의 또 다른 실시예에 따른 3D 의료 영상 기반의 목표 영상 생성방법의 순서도이다.
도 23을 참조하면, S310 단계에서, 컴퓨팅 장치(100)는 3D 의료 영상 상의 기준 좌표를 획득할 수 있다.
여기서, 기준 좌표는 목표 영상을 생성하기 위한 기준이 되는 지점에 대응하는 위치 좌표로서, 예컨대, 목표 영상의 최대 높이 좌표, 최소 높이 좌표, 기준 평면의 높이 좌표 및 기준 평면 상의 좌표를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 여기서, 목표 영상은 특정 영역에 대한 파노라마 영상 및 특정 영역에 대한 단면 영상일 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델(예: 제3 인공지능 모델)을 통해 목표 영상 생성을 위한 기준 좌표를 추출할 수 있다.
여기서, 제3 인공지능 모델은 목표 영상별로 복수의 기준 좌표가 레이블링된 3D 의료 영상을 학습 데이터로 하여 기 학습됨에 따라 생성하고자 하는 목표 영상 및 3D 의료 영상을 입력으로 하여, 3D 의료 영상 상에, 생성하고자 하는 목표 영상에 대응하는 복수의 기준 좌표를 추출하는 모델일 수 있다. 또한, 여기서 제3 인공지능 모델은 제1 인공지능 모델 및 제2 인공지능 모델과 동일한 구조 및 형태로 구현되되, 상이한 종류의 학습 데이터로 학습된 모델일 수 있다.
일례로, 컴퓨팅 장치(100)는 3D 의료 영상이 두경부 영상이고, 목표 영상이 치아 파노라마 영상일 때, 치아 파노라마 생성을 위하여 치아 영역에 대한 복수의 기준 좌표가 레이블링된 복수의 3D 두경부 영상을 학습 데이터로 하여 기 학습된 제3 인공지능 모델을 통해 3D 두경부 영상을 분석함으로써, 3D 두경부 영상으로부터 치아 영역에 대응하는 기준 좌표를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 의료 영상을 출력하는 UI(10)를 제공할 수 있고, UI(10)를 통해 획득된 사용자 입력에 기초하여 3D 의료 영상 상에 기준 좌표를 직접 설정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 의료 영상을 출력하는 UI(10)를 통해 획득된 사용자 입력에 기초하여 3D 의료 영상 상에 복수의 랜드마크의 위치를 설정할 수 있고, 기준 좌표로서 복수의 랜드마크 중 적어도 하나의 랜드마크에 대응하는 좌표를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 3D 의료 영상이 두경부 영상이고, 목표 영상이 치아 파노라마 영상일 때, 복수의 랜드마크 중 치아 영역을 정의하는 적어도 하나의 랜드마크를 선택할 수 있고, 선택된 적어도 하나의 랜드마크의 위치 좌표를 기준 좌표로 추출할 수 있다.
여기서, 컴퓨팅 장치(100)에 의해 수행되는 기준 좌표 추출 방법은 제3 인공지능 모델을 이용하는 방법, 사용자로부터 직접 설정받는 방법 및 기 설정된 랜드마크를 이용하는 방법 중 어느 하나의 방법을 선택적으로 이용하는 것으로 설명하고 있으나, 이에 한정되지 않고, 경우에 따라 둘 이상의 방법을 상호 보완적으로 이용하여 기준 좌표를 획득할 수 있다.
일례로, 컴퓨팅 장치(100)는 제3 인공지능 모델을 통해 3D 의료 영상을 분석함에 따라 기준 좌표로서 제1 좌표를 추출할 수 있고, 3D 의료 영상 상에 기 설정된 하나 이상의 랜드마크에 대응하는 제2 좌표를 이용하여 제1 좌표를 보정할 수 있다.
다른 예로, 컴퓨팅 장치(100)는 3D 의료 영상 상에 기 설정된 복수의 랜드 마크 중 적어도 하나의 랜드마크에 대한 제2 좌표를 기준 좌표로서 추출할 수 있고, 제3 인공지능 모델을 통해 3D 의료 영상을 분석함에 따라 추출된 제1 좌표를 이용하여 제2 좌표를 보정할 수 있다.
또 다른 예로, 컴퓨팅 장치(100)는 UI(10)를 통해 사용자로부터 기준 좌표를 직접 입력받을 수 있고, 제3 인공지능 모델을 통해 3D 의료 영상을 분석함에 따라 추출된 좌표 또는 기 설정된 복수의 랜드 마크 중 적어도 하나의 랜드마크에 대한 좌표를 기준으로 사용자로부터 직접 설정된 기준 좌표를 보정할 수 있다.
또 다른 예로, 컴퓨팅 장치(100)는 제3 인공지능 모델을 통해 3D 의료 영상을 분석함에 따라 기준 좌표로서 추출된 제1 좌표와 3D 의료 영상 상에 기 설정된 복수의 랜드 마크 중 적어도 하나의 랜드마크에 대한 제2 좌표의 평균 좌표를 산출하고, 산출된 평균 좌표를 기준 좌표로서 추출할 수 있다.
S320 단계에서, 컴퓨팅 장치(100)는 S310 단계를 거쳐 획득한 기준 좌표를 이용하여 목표 영상을 생성할 수 있다. 이하, 도 24 내지 도 32를 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 목표 영상 생성 과정에 대하여 보다 구체적으로 설명하도록 한다.
도 24 내지 도 26은 다양한 실시예에서, 3D 의료 영상을 기반으로 치아 파노라마 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 24 내지 도 26을 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 두경부 영상을 이용하여 치아 파노라마 영상을 생성할 수 있다.
먼저, 컴퓨팅 장치(100)는 두경부 영상으로부터 치아 파노라마 영상의 생성을 위한 기준 좌표를 획득할 수 있다.
보다 구체적으로, 컴퓨팅 장치(100)는 도 24에 도시된 바와 같이, 두경부 영상에 포함된 치아 영역에 대한 최소 높이 좌표(Zmin) 및 최대 높이 좌표(Zmax)와 최소 높이 좌표(Zmin) 내지 최대 높이 좌표(Zmin) 범위 내에 위치하는 기준 평면에 대한 높이 좌표(Zref)를 획득할 수 있다.
또한, 컴퓨팅 장치(100)는 도 25에 도시된 바와 같이, 기준 평면 상의 평면 좌표(Xsurf, Ysurf)를 획득할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 기준 평면을 이용하여 두경부 영상에 대한 단면 영상을 획득할 수 있고, 획득된 단면 영상에서, 치열의 형태를 정의하는 스플라인(Spline) 곡선 상의 복수의 평면 좌표(예: 13개의 평면 좌표)를 획득할 수 있다.
여기서, 기준 좌표를 획득하는 방법은 상기와 같이 제3 인공지능 모델을 이용하는 방법, 사용자로부터 직접 설정받는 방법, 기 설정된 랜드마크를 이용하는 방법 및 둘 이상의 방법을 상호 보완적으로 이용하는 방법 중 어느 하나의 방법에 따라 획득될 수 있으나, 이에 한정되지 않는다.
이후, 컴퓨팅 장치(100)는 최소 높이 좌표(Zmin), 최대 높이 좌표(Zmax), 기준 평면에 대한 높이 좌표(Zref) 및 13개의 평면 좌표(Xsurf, Ysurf) 즉, 총 16개의 좌표를 이용하여 치아 파노라마 영상(예: 도 26)을 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 두경부 영상을 이용하여 치아 파노라마 영상을 생성하되, 상악(upper jaw) 영역과 하악(lower jaw) 영역 각각에 대응하는 파노라마 영상을 개별적으로 생성할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 도 27 및 도 28에 도시된 바와 같이, 두경부 영상의 상악 영역에 대한 제1 기준 좌표와 두경부 영상의 하악 영역에 대한 제2 기준 좌표를 각각 획득함으로써 2개의 기준 좌표 세트를 획득할 수 있고, 제1 기준 좌표 및 제2 기준 좌표 각각을 이용하여 치아 파노라마 영상을 생성함으로써, 상악 영역에 대응하는 제1 파노라마 영상과 하악 영역에 대응하는 제2 파노라마 영상을 각각 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 의료 영상에 대한 이미지 프로빙(image probing)을 이용하여 치아 파노라마 영상을 생성할 수 있다.
보다 구체적으로, 도 29를 참조하면, 먼저, 컴퓨팅 장치(100)는 3D 의료 영상이 두경부 영상이고, 생성하고자 하는 영상이 치아 파노라마 영상인 경우, 두경부 영상에 포함된 치아 영역에 대응하는 관심 영역을 설정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 3D 두경부 영상의 YZ 평면을 기준으로 관심 영역의 높이(Z축 값)를 정의할 수 있고, 정의된 높이에 대응하는 XY 평면 상의 치아의 위치에 기초하여 관심 영역을 설정할 수 있다.
이후, 컴퓨팅 장치(100)는 설정된 관심 영역을 복셀(voxel) 단위로 분할함으로써, 복수의 복셀을 포함하는 복셀 집합 형태의 관심 영역을 생성할 수 있고, 기준 좌표로서 복수의 복셀 각각에 대한 복셀 좌표를 획득할 수 있다.
이후, 컴퓨팅 장치(100)는 3D 두경부 영상으로부터 복셀 좌표 각각에 대응하는 복셀 값을 추출할 수 있고, 추출된 복셀 값을 복셀 집합에 포함된 복수의 복셀 각각에 설정함으로써 치아 파노라마 영상을 생성할 수 있다.
도 30 내지 도 32는 다양한 실시예에서, 3D 의료 영상을 기반으로 턱관절 단면 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 30 내지 도 32를 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 두경부 영상을 이용하여 턱관절 단면 영상을 생성할 수 있다.
먼저, 컴퓨팅 장치(100)는 두경부 영상으로부터 턱관절 단면 영상의 생성을 위한 기준 좌표를 획득할 수 있다.
보다 구체적으로, 컴퓨팅 장치(100)는 도 30에 도시된 바와 같이, 두경부 영상에 포함된 턱관절 영역에 대한 최소 높이 좌표(Zmin) 및 최대 높이 좌표(Zmax)와 최소 높이 좌표(Zmin) 내지 최대 높이 좌표(Zmin) 범위 내에 위치하는 기준 평면에 대한 높이 좌표(Zref)를 획득할 수 있다.
또한, 컴퓨팅 장치(100)는 도 31에 도시된 바와 같이, 기준 평면 상의 평면 좌표(Xsurf, Ysurf)를 획득할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 기준 평면을 이용하여 두경부 영상에 대한 단면 영상을 획득할 수 있고, 획득된 단면 영상에서, 턱관절 영역의 위치를 정의하는 복수의 평면 좌표(예: 4개의 평면 좌표)를 획득할 수 있다.
여기서, 기준 좌표를 획득하는 방법은 상기와 같이 제3 인공지능 모델을 이용하는 방법, 사용자로부터 직접 설정받는 방법, 기 설정된 랜드마크를 이용하는 방법 및 둘 이상의 방법을 상호 보완적으로 이용하는 방법 중 어느 하나의 방법에 따라 획득될 수 있으나, 이에 한정되지 않는다.
이후, 컴퓨팅 장치(100)는 최소 높이 좌표(Zmin), 최대 높이 좌표(Zmax), 기준 평면에 대한 높이 좌표(Zref) 및 4개의 평면 좌표(Xsurf, Ysurf) 즉, 총 7개의 좌표를 이용하여 턱관절 단면 영상(예: 도 32)을 생성할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 3D 의료 영상에 대한 이미지 프로빙을 이용하여 턱관절 단면 영상을 생성할 수 있다.
보다 구체적으로, 도 33을 참조하면, 먼저, 컴퓨팅 장치(100)는 3D 의료 영상이 두경부 영상이고, 생성하고자 하는 영상이 턱관절 단면 영상인 경우, 두경부 영상에 포함된 턱관절 영역에 대응하는 관심 영역을 설정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 3D 두경부 영상의 YZ 평면을 기준으로 관심 영역의 높이(Z축 값)를 정의할 수 있고, 정의된 높이에 대응하는 XY 평면 상의 턱관절의 위치에 기초하여 관심 영역을 설정할 수 있다.
이후, 컴퓨팅 장치(100)는 설정된 관심 영역을 복셀(voxel) 단위로 분할함으로써, 복수의 복셀을 포함하는 복셀 집합 형태의 관심 영역을 생성할 수 있고, 기준 좌표로서 복수의 복셀 각각에 대한 복셀 좌표를 획득할 수 있다.
이후, 컴퓨팅 장치(100)는 3D 두경부 영상으로부터 복셀 좌표 각각에 대응하는 복셀 값을 추출할 수 있고, 추출된 복셀 값을 복셀 집합에 포함된 복수의 복셀 각각에 설정함으로써 턱관절 단면 영상을 생성할 수 있다.
전술한 의료 영상의 랜드마크 위치 설정 가이드 방법 및 3D 의료 영상 기반의 목표 영상 생성방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 의료 영상의 랜드마크 위치 설정 가이드 방법 및 3D 의료 영상 기반의 목표 영상 생성방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다. 이하, 도 34 내지 도 36을 참조하여, 본 발명의 또 다른 실시예에 따른 인공지능 모델을 이용하여 의료 영상에서 특정 신체 조직의 밀도값을 찾는 과정에 대해 설명하도록 한다.
도 34 내지 도 36은 본 발명의 또 다른 실시예에 따른 인공지능 모델을 이용하여 의료 영상에서 특정 신체 조직의 밀도 값을 찾는 과정을 설명하기 위한 도면이다.
도 34 내지 도 36을 참조하면, 컴퓨팅 장치(100)는 인공지능 모델(예: 제4 인공지능 모델)을 이용하여 의료 영상에서 특정 신체 조직의 밀도 값을 찾을 수 있다. 여기서, 제4 인공지능 모델은 3차원 CNN(Convolutional Neural Network)일 수 있으나, 이에 한정되지 않는다.
3D 의료 영상을 분석하는 과정에서, 분석에 필요한 각종 정보들을 보다 용이하게 찾아내기 위해서는 특정 조직의 밀도 값 예컨대, 특정 두경부 조직의 밀도 값을 추론하는 과정이 필요한데, 통상적으로, 3D 의료 영상(Cone Beam CT 또는 CT)의 경우 장치의 제조사마다 서로 다른 밀도 분포를 가지고 있기 때문에 이를 일반화 시키기 어렵다는 문제가 있다.
이러한 점을 고려하여, 컴퓨팅 장치(100)는 장치의 종류와 관계없이, 제4 인공지능 모델을 이용하여 3D 의료 영상의 특정 조직에 대한 밀도 값을 추론할 수 있다.
먼저, 도 34를 참조하면, 컴퓨팅 장치(100)는 서로 다른 장비(Cone Beam CT or CT)에서 출력된 데이터를 밀도에 따라 단계별로 이미지화하여 추출함으로써, 복수의 3D 이미지를 생성하는 전처리 과정을 수행할 수 있다.
3D Cone Beam CT 또는 CT 장치에서 출력된 데이터에서는 특정 조직(도표에서는 뼈)의 밀도 값을 알 수 없기 때문에, 컴퓨팅 장치(100)는 데이터의 밀도 값(구간)들에 대하여 사용 가능한 최소 최대값으로 지정, 예컨대, 데이터에서 가장 작은 밀도 값에서부터 순차적으로 검사하여 갑자기 밀도 수치가 증가하는 부분을 최소값으로 지정하고, 데이터에서 가장 큰 밀도 값에서 역순으로 검사하여 밀도 수치가 일정 개수를 넘는 구간을 최대값으로 지정함으로써, 각 구간별로 이미지(Volume Rendering)화 할 수 있다.
이와 같이 이미지화된 데이터들은 사람이 보았을 때에도 확인이 가능할 정도의 품질을 가질 수 있으며, 이미지화된 데이터들을 생성할 때 낮은 밀도부터 높은 밀도까지 순서대로 출력되므로 각각 순서에 의해서 밀도 값을 알 수 있다.
이후, 컴퓨팅 장치(100)는 이미지화된 데이터들을 제3 인공지능 모델의 입력 데이터로 사용하기 위하여, 이미지화된 데이터들을 순차적으로 병합함으로써 3차원 이미지 데이터를 생성할 수 있다. 이와 같이 생성된 3차원 이미지 데이터는 깊이 축을 기준으로 데이터들이 전후에서 맥락관계를 형성하게 됨으로써, 좀 더 정확한 추론이 가능하게 된다는 이점이 있다.
다음으로, 도 35를 참조하면, 컴퓨팅 장치(100)는 전처리 과정을 통해 생성된 3차원 이미지 데이터에 포함된 복수의 2차원 이미지 중 특정 2차원 이미지의 위치 값(예: 깊이 값)을 추정할 수 있다. 이를 위해, 제4 인공지능 모델은 3차원 이미지 데이터로부터 특정 수치 값을 추정하는 3D CNN regression 구조가 적용될 수 있다.
여기서, 제4 인공지능 모델을 통해 추정되는 특정 수치 값은 깊이 값에 대응되는 것으로, 역추적 과정을 통해 특정 밀도 값으로 환산될 수 있다.
또한, 3차원 이미지 데이터는 전처리 과정을 통해 복수의 2차원 이미지가 밀도 값 별로 순차적으로 병합된 형태로 출력되는 것인 바, 제4 인공지능 모델을 통해 위치 값을 0~1 범위의 값으로 도출하게 되면, 해당 값을 기반으로 역추적하여 밀도 값을 찾아낼 수 있다.
여기서, 역추적 과정은 제4 인공지능 모델이 도출한 위치 값을 밀도의 최대(max) 최소(min)값에 맵핑하여 연산하는 것일 수 있이며, 역추적 공식은 ((max-min) * (AI 추론 값)) + min일 수 있으나, 이에 한정되지 않는다.
또한, 동일한 원리로 뼈뿐만 아니라 치아나 피부 등 원하는 조직의 밀도를 찾아내도록 제4 인공지능 모델을 학습시키면, 특정 신체 조직 밀도를 찾아내는 기능이 구현될 수 있다.
다음으로, 도 36을 참조하면, 컴퓨팅 장치(100)는 관심 이미지 선별모델을 이용하여 밀도 값 구간별로 나누어진 순차적인 이미지를 입력으로 받아 0~1사이의 수치 값으로 출력할 수 있다.
여기서, 관심 이미지 선별 모델은 입력으로 받은 이미지를 Convolution layer와 Maxpooling layer로 이루어진 다수의 layer를 통과하면서 필요한 특징들을 추출하고, 추출된 특징들은 Fully connected layer가 받아서 0~1 사이의 특징 값으로 추출하도록 설계될 수 있다.
Convolution layer와 Maxpooling layer로 이루어진 특징 추출부는 수치 추출부인 Fully connected layer가 적합한 수치를 판단하도록 돕기 위해 최적화된 특징 추출 과정이 학습될 수 있다.
이와 같이, 최적화된 특징들을 입력으로 받은 수치 추출부의 Fully connected layer는 최종적으로 0~1사이의 값 중 어떤 수치를 추출할 것인지를 판단하도록 학습하게 되며, 이러한 특징 추출부와 수치 추출부 간의 연결을 통해 이미지를 적절한 수치로 추출할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 목표 영상 생성장치(컴퓨팅 장치)
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크

Claims (11)

  1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    3D 의료 영상 상의 기준 좌표를 획득하는 단계; 및
    상기 획득된 기준 좌표를 이용하여 상기 3D 의료 영상으로부터 목표 영상을 생성하는 단계를 포함하며,
    상기 기준 좌표를 획득하는 단계는,
    기 학습된 인공지능 모델 - 상기 기 학습된 인공지능 모델은 기준 좌표가 레이블링된 3D 의료 영상을 학습 데이터로 하여 학습된 모델임 - 을 통해 상기 3D 의료 영상을 분석함에 따라 기준 좌표로서 제1 좌표를 추출하는 단계; 및
    상기 3D 의료 영상 상에 기 설정된 하나 이상의 랜드마크에 대응하는 제2 좌표를 이용하여 상기 추출된 제1 좌표를 보정하는 단계를 포함하는,
    3D 의료 영상 기반의 목표 영상 생성방법.
  2. 제1항에 있어서,
    상기 기준 좌표를 획득하는 단계는,
    상기 3D 의료 영상이 두경부 영상이고, 생성하고자 하는 영상이 치아 파노라마 영상인 경우, 상기 두경부 영상에 포함된 치아 영역에 대한 최소 높이 좌표 및 최대 높이 좌표를 획득하는 단계;
    상기 획득된 최소 높이 좌표 내지 상기 획득된 최대 높이 좌표 범위 내에 위치하는 기준 평면에 대한 높이 좌표를 획득하는 단계; 및
    상기 기준 평면 상의 평면 좌표를 획득하는 단계를 포함하며,
    상기 목표 영상을 생성하는 단계는,
    상기 획득된 최대 높이 좌표, 상기 획득된 최소 높이 좌표, 상기 획득된 기준 평면의 높이 좌표 및 상기 평면 좌표를 이용하여 상기 치아 파노라마 영상을 생성하는 단계를 포함하는,
    3D 의료 영상 기반의 목표 영상 생성방법.
  3. 제2항에 있어서,
    상기 평면 좌표를 획득하는 단계는,
    상기 기준 평면을 이용하여 상기 두경부 영상에 대한 단면 영상을 획득하는 단계; 및
    상기 획득된 단면 영상에서, 치열의 형태를 정의하는 스플라인(Spline) 곡선 상의 복수의 평면 좌표를 획득하는 단계를 포함하는,
    3D 의료 영상 기반의 목표 영상 생성방법.
  4. 제2항에 있어서,
    상기 기준 좌표를 획득하는 단계는,
    상기 두경부 영상의 상악(upper jaw) 영역에 대한 제1 기준 좌표를 획득하는 단계; 및
    상기 두경부 영상의 하악(lower jaw) 영역에 대한 제2 기준 좌표를 획득하는 단계를 더 포함하며,
    상기 치아 파노라마 영상을 생성하는 단계는,
    상기 획득된 제1 기준 좌표를 이용하여 상기 상악 영역에 대한 제1 파노라마 영상을 생성하고, 상기 획득된 제2 기준 좌표를 이용하여 상기 하악 영역에 대한 제2 파노라마 영상을 생성하는 단계를 포함하는,
    3D 의료 영상 기반의 목표 영상 생성방법.
  5. 제1항에 있어서,
    상기 기준 좌표를 획득하는 단계는,
    상기 3D 의료 영상이 두경부 영상인 경우, 상기 두경부 영상에서 관심 영역을 설정하는 단계; 및
    상기 설정된 관심 영역을 복셀(voxel) 단위로 분할하여 복수의 복셀을 생성하고, 기준 좌표로서 상기 생성된 복수의 복셀 각각에 대한 복셀 좌표를 획득하는 단계를 포함하며,
    상기 목표 영상을 생성하는 단계는,
    상기 3D 의료 영상으로부터 상기 획득된 복셀 좌표 각각에 대응하는 복셀 값을 추출하는 단계; 및
    상기 생성된 복수의 복셀 각각에 상기 추출된 복셀 값을 설정하여 상기 두경부 영상으로부터 목표 영상을 생성하는 단계를 포함하는,
    3D 의료 영상 기반의 목표 영상 생성방법.
  6. 제1항에 있어서,
    상기 기준 좌표를 획득하는 단계는,
    상기 3D 의료 영상이 두경부 영상이고, 생성하고자 하는 영상이 턱관절 단면 영상인 경우, 상기 두경부 영상에 포함된 턱관절 영역에 대한 최소 높이 좌표 및 최대 높이 좌표를 획득하는 단계;
    상기 획득된 최소 높이 좌표 내지 상기 획득된 최대 높이 좌표 범위 내에 위치하는 기준 평면에 대한 높이 좌표를 획득하는 단계; 및
    상기 기준 평면 상의 평면 좌표를 획득하는 단계를 포함하는,
    상기 목표 영상을 생성하는 단계는,
    상기 획득된 최대 높이 좌표, 상기 획득된 최소 높이 좌표, 상기 획득된 기준 평면의 높이 좌표 및 상기 평면 좌표를 이용하여 상기 턱관절 단면 영상을 생성하는 단계를 포함하는,
    3D 의료 영상 기반의 목표 영상 생성방법.
  7. 제6항에 있어서,
    상기 평면 좌표를 획득하는 단계는,
    상기 기준 평면을 이용하여 상기 두경부 영상에 대한 단면 영상을 획득하는 단계; 및
    상기 획득된 단면 영상에서, 턱관절 영역의 위치를 정의하는 복수의 평면 좌표를 획득하는 단계를 포함하는,
    3D 의료 영상 기반의 목표 영상 생성방법.
  8. 삭제
  9. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
    3D 의료 영상 상의 기준 좌표를 획득하는 단계; 및
    상기 획득된 기준 좌표를 이용하여 상기 3D 의료 영상으로부터 목표 영상을 생성하는 단계를 포함하며,
    상기 기준 좌표를 획득하는 단계는,
    상기 3D 의료 영상을 출력하는 사용자 인터페이스를 통해 획득된 사용자 입력에 기초하여 상기 3D 의료 영상 상에 복수의 랜드마크의 위치를 설정하는 단계;
    기준 좌표로서 상기 설정된 복수의 랜드마크 중 적어도 하나의 랜드마크에 대응하는 제2 좌표를 추출하는 단계; 및
    기 학습된 인공지능 모델 - 상기 기 학습된 인공지능 모델은 기준 좌표가 레이블링된 3D 의료 영상을 학습 데이터로 하여 학습된 모델임 - 을 통해 상기 3D 의료 영상을 분석함에 따라 제1 좌표를 추출하고, 상기 추출된 제1 좌표를 이용하여 상기 추출된 제2 좌표를 보정하는 단계를 포함하는,
    3D 의료 영상 기반의 목표 영상 생성방법.
  10. 프로세서;
    네트워크 인터페이스;
    메모리; 및
    상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
    상기 프로세서는,
    상기 컴퓨터 프로그램에 포함된 하나 이상의 인스트럭션을 수행함에 따라 제1항 또는 제9항의 방법을 수행하는,
    3D 의료 영상 기반의 목표 영상 생성장치.
  11. 컴퓨팅 장치와 결합되어,
    제1항 또는 제9항의 방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장된, 컴퓨터프로그램.
KR1020220058973A 2022-05-13 2022-05-13 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램 KR102470875B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220058973A KR102470875B1 (ko) 2022-05-13 2022-05-13 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220058973A KR102470875B1 (ko) 2022-05-13 2022-05-13 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램

Publications (1)

Publication Number Publication Date
KR102470875B1 true KR102470875B1 (ko) 2022-11-25

Family

ID=84237333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220058973A KR102470875B1 (ko) 2022-05-13 2022-05-13 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램

Country Status (1)

Country Link
KR (1) KR102470875B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160127690A (ko) 2015-04-27 2016-11-04 주식회사바텍 파노라마 영상 생성 장치 및 방법
US20200035351A1 (en) * 2018-07-27 2020-01-30 Ye Hyun Kim Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same
US20200279371A1 (en) * 2017-11-17 2020-09-03 Koninklijke Philips N.V. Artificial intelligence-enabled localization of anatomical landmarks
KR20210071188A (ko) * 2019-12-05 2021-06-16 울산대학교 산학협력단 해부학적 랜드마크의 추정장치 및 이의 추정방법
KR20220039677A (ko) * 2020-02-03 2022-03-29 (주)어셈블써클 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160127690A (ko) 2015-04-27 2016-11-04 주식회사바텍 파노라마 영상 생성 장치 및 방법
US20200279371A1 (en) * 2017-11-17 2020-09-03 Koninklijke Philips N.V. Artificial intelligence-enabled localization of anatomical landmarks
US20200035351A1 (en) * 2018-07-27 2020-01-30 Ye Hyun Kim Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same
KR20210071188A (ko) * 2019-12-05 2021-06-16 울산대학교 산학협력단 해부학적 랜드마크의 추정장치 및 이의 추정방법
KR20220039677A (ko) * 2020-02-03 2022-03-29 (주)어셈블써클 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Janghoon Ahn et al, Reseach Square, 2021.08.13., pp.1-26.* *
Janghoon Ahn 외, Reseach Square, 2021.08.13., pp.1-26.*

Similar Documents

Publication Publication Date Title
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
CN111680447B (zh) 血流特征预测方法、装置、计算机设备和存储介质
Enokiya et al. Automatic liver segmentation using U-Net with Wasserstein GANs
US20190130565A1 (en) Method of processing medical image, and medical image processing apparatus performing the method
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
CN114359205B (zh) 头颈血管分析方法、装置、存储介质及电子设备
CN112785562B (zh) 一种基于神经网络模型进行评估的系统和相关产品
CN114972211B (zh) 图像分割模型的训练方法、分割方法、装置、设备和介质
CN110599444B (zh) 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质
CN115587924A (zh) 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法
US20230290132A1 (en) Object recognition neural network training using multiple data sources
KR102470875B1 (ko) 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램
KR102473828B1 (ko) 의료 영상의 랜드마크 위치 설정 가이드 방법, 장치 및 컴퓨터프로그램
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品
EP4111420A1 (en) Face mesh deformation with detailed wrinkles
KR102596666B1 (ko) 의료 영상 기반 통합 의료 서비스 제공 시스템 및 방법
KR102463627B1 (ko) 3차원 데이터를 세그멘테이션 하는 방법, 장치 및 프로그램
CN114359207B (zh) 颅内血管分割方法、装置、存储介质及电子设备
KR102711266B1 (ko) 콘텐츠 환경에 따른 캐릭터 변환방법, 장치 및 컴퓨터프로그램
US20240203093A1 (en) Image processing apparatus, method, and program
KR102599633B1 (ko) 동물의 질병 진단을 위한 의료 영상 분석 서비스 제공방법 및 장치
KR102711265B1 (ko) 콘텐츠 환경에 따른 구매 아이템 변환방법, 장치 및 컴퓨터프로그램
KR102608777B1 (ko) 사용자의 프로필 이미지에 대한 자동화된 보정 서비스 제공방법, 장치 및 컴퓨터프로그램
KR102683718B1 (ko) 수의영상처리 기법을 활용한 대퇴골 탈구 판독 장치 및 방법
WO2023220888A1 (en) Modeling graph-structured data with point grid convolution

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant