KR102400525B1 - 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램 - Google Patents
2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램 Download PDFInfo
- Publication number
- KR102400525B1 KR102400525B1 KR1020200082192A KR20200082192A KR102400525B1 KR 102400525 B1 KR102400525 B1 KR 102400525B1 KR 1020200082192 A KR1020200082192 A KR 1020200082192A KR 20200082192 A KR20200082192 A KR 20200082192A KR 102400525 B1 KR102400525 B1 KR 102400525B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- axis
- lesion
- electronic device
- acquiring
- Prior art date
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003902 lesion Effects 0.000 claims abstract description 123
- 210000003205 muscle Anatomy 0.000 claims description 23
- 210000000062 pectoralis major Anatomy 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 16
- 210000002445 nipple Anatomy 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 10
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 22
- 238000012549 training Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 238000012795 verification Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 11
- 238000009607 mammography Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 238000001356 surgical procedure Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000002976 pectoralis muscle Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001113 umbilicus Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
- A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
- A61B90/13—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
- A61B2090/3908—Soft tissue, e.g. breast tissue
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Gynecology & Obstetrics (AREA)
- Dentistry (AREA)
- Robotics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
전자 장치 및 디스플레이 장치를 포함하는 병변부의 3차원 위치정보를 획득하기 위한 시스템의 제어 방법이 제공된다. 상기 제어 방법은, 상기 전자 장치가, 유방 영상에 대한 제1 영상 및 제2 영상을 획득하는 단계; 상기 전자 장치가, 상기 제1 영상 및 상기 제2 영상의 기준점을 획득하는 단계; 상기 전자 장치가, 상기 기준점을 바탕으로 3차원 위치 정보를 획득하기 위한 제1축을 획득하는 단계; 상기 전자 장치가, 상기 제1축을 바탕으로 상기 제1 영상의 제2축 및 제3축을 결정하고, 상기 제1축을 바탕으로, 상기 제2 영상의 제4축 및 제5축을 결정하는 단계; 상기 전자 장치가, 상기 제4축 및 제5축을 포함하는 상기 제2 영상을 상기 제2 축 및 상기 제3축에 대응되도록 회전시켜 상기 제1축, 상기 제2축 및 상기 제3축을 포함하는 제3 영상을 획득하는 단계; 및 상기 전자 장치가, 상기 제1 영상 및 상기 제3 영상을 바탕으로 상기 제1축, 상기 제2축 및 상기 제3축을 포함하는 3차원 공간 상에 병변부의 위치 정보를 획득하는 단계; 를 포함한다.
Description
본 발명은 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램에 관한 것이다.
유방촬영술은 보편적인 유방의 기본 검사 방법이다. 유방촬영술에서 확인되는 병변의 수술적 제거를 위해서는 병변부에 대한 3차원적 위치에 대한 이해가 우선되어야 한다. 즉, 유방촬영술은 상하사진(craniocaudal view) 및 내외사위 사진(mediolateral oblique view)와 같이 다양한 각도에서 촬영된 2차원 사진이며, 의사들은 이러한 2차원 영상에 의존하여 반복된 학습으로 훈련된 인간의 두뇌 속에서 3차원적 위치를 재구성하게 된다. 따라서, 실제 수술 당시의 병변의 위치는 유방촬영술 사진과 차이가 존재할 가능성이 높다.
종래에는 유방촬영술에서 입체적인 병변부의 위치를 파악하기 어려웠기 때문에, 초음파 영상, 자기공명 영상의 정보까지 이용하여야 하는 경우가 대부분이었다. 따라서, 환자는 복수의 방법을 통해 획득된 영상들을 바탕으로도 정확한 병변부의 위치를 판단하는 것을 확신할 수 없어, 많은 시간과 비용이 투입되는 것에 비하여 병변부 위치 판단의 정확도는 떨어지는 실정이다.
이에, 유방촬영술을 통해 획득한 2차원 영상을 바탕으로 병변부의 정확한 3차원적 위치를 판단하는 방법의 필요성이 대두되고 있다.
본 발명이 해결하고자 하는 과제는 2차원 유방촬영술 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 전자 장치 및 디스플레이 장치를 포함하는 병변부의 3차원 위치정보를 획득하기 위한 시스템의 제어 방법은, 상기 전자 장치가, 유방 영상에 대한 제1 영상 및 제2 영상을 획득하는 단계; 상기 전자 장치가, 상기 제1 영상 및 상기 제2 영상의 기준점을 획득하는 단계; 상기 전자 장치가, 상기 기준점을 바탕으로 3차원 위치 정보를 획득하기 위한 제1축을 획득하는 단계; 상기 전자 장치가, 상기 제1축을 바탕으로 상기 제1 영상의 제2축 및 제3축을 결정하고, 상기 제1축을 바탕으로, 상기 제2 영상의 제4축 및 제5축을 결정하는 단계; 상기 전자 장치가, 상기 제4축 및 제5축을 포함하는 상기 제2 영상을 상기 제2 축 및 상기 제3축에 대응되도록 회전시켜 상기 제1축, 상기 제2축 및 상기 제3축을 포함하는 제3 영상을 획득하는 단계; 및 상기 전자 장치가, 상기 제1 영상 및 상기 제3 영상을 바탕으로 상기 제1축, 상기 제2축 및 상기 제3축을 포함하는 3차원 공간 상에 병변부의 위치 정보를 획득하는 단계; 를 포함한다.
이때, 상기 제1 영상은 상하 영상(Craniocaudal view)이고, 상기 제2 영상은 내외사위 영상(Mediolateral Oblique view)이고, 상기 제3 영상을 획득하는 단계는, 상기 제2 영상을 촬영한 전자 장치로부터 촬영 각도를 획득하는 단계; 상기 제4축을 상기 촬영 각도에 대응되게 회전 이동하여 상기 제2축으로 변경하는 단계; 상기 제5축을 상기 촬영 각도에 대응되게 회전 이동하여 상기 제3축으로 변경하는 단계; 및 상기 제4축 및 상기 제5축의 변경에 대응되게 상기 제2 영상을 보정하여 상기 제3 영상을 획득하는 단계; 를 포함할 수 있다.
이때, 상기 제어 방법은, 상기 전자 장치가, 상기 제3 영상에 포함된 대흉근(Pectoralis Major Muscle)의 형태 및 위치 정보를 획득하는 단계; 상기 전자 장치가, 상기 대흉근의 형태 및 위치 정보를 바탕으로, 상기 제2 영상에서의 유방 변화 파라미터를 획득하는 단계; 및 상기 유방 변화 파라미터를 바탕으로, 상기 제3 영상을 보정한 제4 영상을 획득하는 단계; 를 포함할 수 있다.
이때, 상기 3차원 공간 상에 병변부의 위치 정보를 획득하는 단계는, 상기 제1 영상 및 상기 제4 영상을 바탕으로 상기 제1축, 상기 제2축 및 상기 제3축을 포함하는 3차원 공간 상에 병변부의 위치 정보를 획득하는 단계; 를 포함할 수 있다.
이때, 상기 제어 방법은, 상기 전자 장치의 카메라를 통해, 상기 유방 영상에 대응되는 인체 이미지를 획득하는 단계; 상기 전자 장치가, 획득된 상기 인체 이미지 및 상기 병변부의 위치 정보를 바탕으로, 상기 인체 이미지 상의 병변부를 획득하는 단계; 상기 디스플레이가, 상기 인체 이미지 상의 병변부를 3차원 증강현실로 표시하는 단계; 및 상기 전자 장치가, 상기 획득된 인체 이미지 상의 병변부에 대응되는 위치를 레이저로 조사하는 단계; 를 포함할 수 있다.
이때, 상기 인체 이미지 상의 병변부를 획득하는 단계는, 상기 병변부와 관련된 2차원 이미지 및 상기 인체 이미지를 바탕으로, 상기 병변부와 관련된 2차원 이미지에서의 상기 유방의 형태와 상기 인체 이미지에서의 유방의 형태를 획득하는 단계; 상기 상기 병변부와 관련된 2차원 이미지에서의 상기 유방의 형태 및 상기 병변부와 관련된 2차원 이미지로부터 판단된 병변부를 기초로, 상기 유방의 형태와 상기 인체 이미지에서의 유방의 형태에 대응되는 상기 인체 이미지에서의 병변부를 획득하는 단계; 를 포함할 수 있다.
이때, 상기 인체 이미지에서의 유방의 형태를 획득하는 단계는, 상기 병변부와 관련된 2차원 이미지 상에 포함된 흉골상절흔의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제1 기준점 정보를 획득하는 단계; 상기 인체 이미지 상에 포함된 흉골상절흔의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제2 기준점 정보를 획득하는 단계; 및 상기 제1 기준점 정보 및 상기 제2 기준점 정보를 바탕으로 상기 상기 인체 이미지에서의 유방의 형태를 획득하는 단계;를 포함할 수 있다.
이때, 상기 레이저로 조사하는 단계는, 상기 유방 내 병변부의 깊이를 판단하기 위한 제1 레이저를 조사하는 단계; 및 상기 유방 내 병변부의 위치를 판단하기 위한 제2 레이저를 조사하는 단계; 를 포함하고, 상기 제1 레이저는 링형태로 조사되고, 상기 제2 레이저는 점형태로 조사될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상술한 본 발명의 다양한 실시예에 따라, 2차원 유방 영상을 바탕으로 정확한 병변부의 위치를 3차원적으로 표현할 수 있는 효과가 존재한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 예시도이다.
도 2는 종래의 유방촬영술 시행하는 예시도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 획득된 상하 영상 및 내외사위 영상을 동일한 공간상에 일치 시키는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 대흉근을 바탕으로 보정된 내외사위 영상 획득 방법을 설명하기 위한 예시도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 병변부를 판단하는 방법을 설명하기 위한 예시도이다.
도 8는 본 발명의 일 실시예에 따른 레이저의 조사 방법을 설명하기 위한 예시도이다.
도 9은 본 발명의 일 실시예에 따른 장치의 구성도이다.
도 2는 종래의 유방촬영술 시행하는 예시도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 획득된 상하 영상 및 내외사위 영상을 동일한 공간상에 일치 시키는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 대흉근을 바탕으로 보정된 내외사위 영상 획득 방법을 설명하기 위한 예시도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 병변부를 판단하는 방법을 설명하기 위한 예시도이다.
도 8는 본 발명의 일 실시예에 따른 레이저의 조사 방법을 설명하기 위한 예시도이다.
도 9은 본 발명의 일 실시예에 따른 장치의 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 유방 영상에 의해 획득된 병변부 판단 시스템은 전자 장치(100) 및 디스플레이 장치(200)를 포함할 수 있다. 아울러, 본 실시예에 따른 전자 장치(100)는, 전자 장치(100) 서버(미도시)로 구분될 수 있음은 물론이다. 이 경우, 서버에 탑재된 인공지능 모델에 의해 병변부의 위치를 판단하고, 전자 장치(100)에 포함된 레이저로 레이저의 조사 위치를 결정함과 함께, 디스플레이(200) 장치로 병변부의 위치를 판단하기 위한 증강현실 화면을 전송할 수 있다.
본 발명에 따른 전자 장치(100)는 카메라, 프로세서, 디스플레이, 입력부, 마이크, 스피커, 메모리, 통신부 및 레이저를 포함할 수 있다
카메라는 영상을 촬영할 수 있다. 구체적으로 카메라는 수술 대상 환자의 수술 부위를 촬영할 수 있다. 후술하는 바와 같이, 전자 장치(100)는 촬영된 영상 및 기 촬영된 유방 영상등을 비교하여 병변부를 판단하고, 증강현실을 표시할 수 있다.
카메라는 상술한 바와 같이 이미지를 촬영할 수 있는 구성이다. 카메라는 렌즈, 셔터, 조리개, 이미지 센서, AFE(Analog Front End), TG(Timing Generator)를 포함할 수 있다.
구체적으로, 렌즈(미도시)는, 피사체에 반사된 광이 입사하는 구성으로, 줌 렌즈 및 포커스 렌즈 중 적어도 하나의 렌즈를 포함할 수 있다. 셔터(미도시)는 빛이 전자 장치(100)로 들어오는 시간을 조절한다. 셔터 스피드에 따라 이미지 센서의 노광된 픽셀에 축적되는 광량이 결정된다. 조리개(미도시)는 렌즈를 통과하여 전자 장치(100) 내부로 입사되는 광의 양을 조절하는 구성이다. 이미지 센서(미도시)는 렌즈를 통과한 피사체의 상이 결상되는 구성이다.
이미지 처리부는 카메라에 의해 촬영된 로우 이미지 데이터를 처리하여 YCbCr 데이터로 만들 수 있다. 또한, 이미지 블랙 레벨을 결정하며, 색상별 감도비를 조정할 수 있다. 그 외에도 이미지 처리부는 화이트 밸런스를 조정하고, 감마 보정, 색 보간, 색 보정, 해상도 변환을 수행할 수 있다.
프로세서는 전자 장치(100)의 전반적인 동작을 제어한다.
프로세서는 RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스, 버스를 포함할 수 있다. 이때, RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU는 메모리에 액세스하여, 메모리에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메인 CPU는 메모리에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
디스플레이는 다양한 형태의 디스플레이 패널로 구현될 수 있다. 예를 들어, 디스플레이 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다. 또한, 디스플레이는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(100)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다.
입력부는 사용자 명령을 입력 받을 수 있다. 입력부는 다양한 형태로 구성될 수 있다. 예를 들어 입력부는 디스플레이 및 터치 감지부(미도시)와 결합하여 터치 스크린으로 구현될 수 있다. 그러나 이러한 구성에 한정되는 것은 아니며, 입력부는 버튼을 포함하거나, 외부 리모컨으로 구성될 수 있으며, 음성 입력을 위한 마이크로 구성될 수도 있으며, 카메라와 결합하여 모션 입력을 수행할 수도 있다.
특히, 입력부는 제품 이미지를 편집하기 위한 사용자 명령을 입력받을 수 있다. 이때, 입력된 사용자 명령은 롱프레스 명령, 더블 탭 명령, 스와이프 명령 등 일 수 있다.
메모리는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 어플리케이션이 저장될 수도 있다. 메모리는 프로그램 또는 어플리케이션의 실행 중에 입력되거나 설정 또는 생성되는 각종 데이터 등과 같은 다양한 정보가 저장될 수 있다.
또한, 메모리는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈을 포함할 수 있으며, 프로세서는 메모리에 저장된 각종 소프트웨어 모듈을 실행하여 본 개시의 다양한 실시 예들에 따른 전자 장치(100)의 동작을 수행할 수 있다.
또한, 메모리는 카메라에 의해 촬영된 공간 이미지 및 외부로부터 수신한 다양한 이미지를 저장할 수 있다. 이를 위해, 메모리(150)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
통신부는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 특히, 통신부는 외부 장치(예를 들어, 제품 이미지를 제공하는 컨텐츠 서버 등)로부터 다양한 정보를 수신할 수 있다. 예를 들어, 통신부는 외부 장치로부터 다양한 실내 이미지 및 제품 정보, 제품 이미지를 수신하고 수신된 정보를 메모리에 저장할 수 있다.
레이저는 병변부를 가이드하기 위한 구성이다. 구체적으로 레이저는 점(포인트) 형태의 레이저 및 링 형태의 레이저를 포함할 수 있다. 다만, 본 발명의 다양한 실시예에 따라, 레이저는 전자 장치(100)와 독립된 장치로 구현될 수 있음은 물론이다.
디스플레이 장치(200)는 병변부와 관련된 2차원 이미지가 변환된 3차원 증강현실을 표시하기 위한 구성이다. 구체적으로, 디스플레이 장치(200)는 전자 장치(100)로부터 증강현실에 관한 영상을 수신하여 표시할 수 있다.
이하에서는 도 3, 도 4 내지 도 5를 이용하여 병변부의 위치를 판단하는 구체적인 방법을 설명한다.
먼저, 전자 장치(100)는, 유방 영상에 대한 제1 영상 및 제2 영상을 획득할 수 있다.
일 실시예에 따라, 제1 영상은 상하 영상(Craniocaudal view)이고, 제2 영상은 내외사위 영상(Mediolateral Oblique view)일 수 있다. 이때, 상하 영상이란 유방을 상하에서 압착하여 촬영한 영상을 의미하고, 내외사위 영상이란 유방을 기울인 상태로 압착하여 촬영한 영상을 의미할 수 있다.
즉, 제1 영상 및 제2 영상은 서로 다른 각도에서 촬영된 2차원 영상으로, 서로 다른 단면에 대한 정보를 포함하고 있다. 기존에는 서로 다른 각도에서 촬영된 2차원 영상을 바탕으로 훈련된 인간의 두뇌 속에서 3차원으로 재구성되었으나, 이러한 인간의 판단은 부정확할 가능성이 높았다.
따라서, 전자 장치(100)는 서로 다른 단면을 가지는 제1 영상 및 제2 영상을 분석하여 3차원 공간 상에 병변부의 위치를 획득하여 보다 정확한 수술을 가능하게 할 수 있다.
이후, 전자 장치(100)는, 제1 영상 및 제2 영상의 기준점을 획득할 수 있다. 이때, 기준점이란, 제1 영상 및 제2 영상에서의 동일한 축을 설정하기 위한 것으로서, 예를 들어, 기준점은 유두(nipple)로 설정될 수 있다.
이후, 전자 장치(100)는, 기준점을 바탕으로 3차원 위치 정보를 획득하기 위한 제1축을 획득할 수 있다.
일 실시예에 따라, 제1축은 기준점을 포함하는 축을 의미할 수 있다. 구체적으로, 도 3 및 도 4에 도시된 바와 같이, 제1 축은 유두를 포함하는 Z 축으로 설정될 수 있다.
이후, 전자 장치(100)는, 제1축을 바탕으로 제1 영상의 제2축 및 제3축을 결정하고, 제1축을 바탕으로, 제2 영상의 제4축 및 제5축을 결정할 수 있다.
일 실시예로, 제2 축 및 제4축은 영상 촬영 시 광원의 방향에 대응되게 설정될 수 있다. 구체적으로, 도 3 및 도 4에 도시된 바와 같이, 제2 축은 도 3의 Y축, 제4축은 도 4의 Y'축으로 설정될 수 있다.
이후, 전자 장치(100)는, 제4축 및 제5축을 포함하는 제2 영상을 제2 축 및 제3축에 대응되도록 회전시켜 제1축, 제2축 및 제3축을 포함하는 제3 영상을 획득할 수 있다.
구체적으로, 상기 제3 영상을 획득하는 단계는, 전자 장치(100)가 제2 영상을 촬영한 전자 장치(100)로부터 촬영 각도를 획득하는 단계, 제4축을 촬영 각도에 대응되게 회전 이동하여 제2축으로 변경하는 단계, 제5축을 촬영 각도에 대응되게 회전 이동하여 제3축으로 변경하는 단계 및 제4축 및 제5축의 변경에 대응되게 제2 영상을 보정하여 제3 영상을 획득하는 단계를 수행하여 획득될 수 있다.
즉, 제1 영상의 제2축 및 제3축, 제2 영상의 제4축 및 제5축은 서로 다른 방향을 향하는 축이므로, 하나의 3차원 공간상에 표함될 수 없다. 따라서, 전자 장치(100)는 제1 영상의 제2 축 및 제3축을 기준으로 제2 영상의 제4축 및 제5축을 회전시켜, 제4축 및 제5축이 각각 제2축 및 제3축과 동일한 축이 되도록 조정할 수 있다.
이때, 제4축 및 제5축이 회전하는 회전각(도 4의 
참조)은, 제2 영상이 촬영될 때 함께 생성되어 전자 장치(100)는 회전각 정보를 제2 영상과 함께 수신할 수 있다. 예를 들어, 제2 영상이 제1 영상과 비교할 때, 60도 회전시켜 촬영된 영상인 경우, 회전각은 60도일 수 있다.
전자 장치(100)는 제4축(도 4의 Y'축) 및 제5축(도 4의 X'축)을 제2축(도 4의 Y축) 및 제5축(도 4의 X축)의 방향으로 회전각만큼 회전시킬 수 있다. 이때, 제4축 및 제5축에 회전에 대응되게 제2 영상이 함께 회전됨은 물론이다.
전자 장치(100)는 회전된 제2 영상을 제2축 및 제3축에 사영시켜 제3 영상을 획득할 수 있다.
이후, 전자 장치(100)는, 제1 영상 및 제3 영상을 바탕으로 제1축, 제2축 및 제3축을 포함하는 3차원 공간 상에 병변부의 위치 정보를 획득할 수 있다.
한편, 내외사위 영상인 제2 영상은, 상하 영상인 제1 영상과 비교할 때, 영상 촬영 방법에 차이점이 존재한다. 구체적으로, 제2 영상의 경우, 유방 바깥쪽의 대흉근(Pectoralis Major Muscle)을 촬영하기 위하여 유방을 안쪽으로 잡아당겨 제2 영상이 대흉근을 포함하도록 제2 영상을 촬영한다.
따라서, 제2 영상은 제1 영상과 달리 대흉근을 더 포함하고 있으므로, 상술한 축의 회전만을 고려하는 경우, 제1 영상 및 제2 영상만으로 정확한 병변부의 위치를 판단할 수 없게 된다.
따라서, 전자 장치(100)는 제2 영상에 포함된 대흉근 정보를 바탕으로, 제3 영상을 보정하여 제4 영상을 획득하고, 제1 영상 및 제4 영상을 바탕으로 3차원 공간상의 병변부의 위치를 획득할 수 있다.
구체적으로, 전자 장치(100)는, 제3 영상에 포함된 대흉근(Pectoralis Major Muscle)의 형태 및 위치 정보를 획득할 수 있다.
즉, 도 5의 오른쪽 사진에 도시된 바와 같이, 대흉근부는 우측 상단의 제1 영역(510)에 존재하며, 전자 장치(100)는 제1 영역(510)을 대흉근부 위치로 판단할 수 있다.
이후, 전자 장치(100)는, 대흉근의 형태 및 위치 정보를 바탕으로, 제2 영상에서의 유방 변화 파라미터를 획득할 수 있다.
일 실시예에 따라, 유방 변화 파라미터는 대흉근을 기준으로 설정된 각도(도 5의 
)를 의미할 수 있다. 이때, 
는 다양한 방법으로 결정될 수 있다.
예를 들어, 도 5의 우측에 도시된 제2 영상을 살펴보면 제2 영상의 우측 상단에 대흉근의 일부가 촬영되어 있다. 전자 장치(100)는 영상에 나타난 대흉근의 가로 끝지점(521) 및 세로 끝지점(522)를 획득하고, 해당 선과 세로축의 각도(
)를 대흉근을 기준으로 설정된 각도로 판단할 수 있다.
즉, 제2 영상은 대흉근 촬영을 위해 유방이 일 방향으로 힘이 가해져 촬영된 것이므로, 전자 장치(100)는 해당 힘에 따른 유방의 위치 변화를 대흉근을 기준으로 설정된 각도를 바탕으로 획득할 수 있다.
이후, 전자 장치(100)는, 유방 변화 파라미터를 바탕으로, 제3 영상을 보정한 제4 영상을 획득할 수 있다. 일 실시예에 따라, 제4 영상은 제3 영상을 대흉근을 기준으로 설정된 각도만큼 회전시킨 영상일 수 있다.
이후, 전자 장치(100)는, 제1 영상 및 제4 영상을 바탕으로 제1축, 제2축 및 제3축을 포함하는 3차원 공간 상에 병변부의 위치 정보를 획득할 수 있다.
이하에서는 도 5를 이용하여 전자 장치(100)가 병변부의 위치를 판단하는 구체적인 실시예를 살펴본다. 이때, 도 5의 좌측은 제1 영상, 우측은 제2 영상을 의미한다. 전자 장치(100)는 제1 축의 유두에 대응되는 기준점에서부터 병변부까지의 너비(제3축에 대응되는 방향) X, 기준점에서부터 병변부까지의 높이(제2축에 대응되는 방향) Y 및 대흉근으로부터 병변부까지의 깊이(제1축에 대응되는 방향) Z를 하기 수학식으로부터 도출할 수 있다.
[수학식 1]
이때, x는 제1 영상에서 기준점으로부터 병변부까지의 너비(531), y'는 제2 영상에서 기준점으로부터 병변부까지의 높이(532), z는 제2 영상에서의 병변부로부터 대흉근부까지의 깊이(533)을 의미할 수 있다.
즉, 제1 영상은 X축 및 Z축에 대한 정보를 포함하고, 제2 영상은 Y축 및 Z축에 대한 정보를 포함하는 2차원 영상이므로, X축에 대응되는 X는 제1 영상으로부터, Y축에 대응되는 Y는 제2 영상으로부터 획득할 수 있다.
나아가, Z축에 대응되는 Z의 경우, 제1 영상 및 제2 영상 중 제2 영상에서 획득하는 것이 바람직하다. 즉, 제1 영상의 경우, 대흉근이 촬영되지 않아 정확항 깊이를 파악할 수 없으므로, Z의 경우 대흉근에 대한 정보가 포함된 제2 영상으로부터 획득하는 것이 더욱 정확한 결과를 도출할 수 있다.
구체적으로, 전자 장치(100)는, 카메라를 통해 인체 이미지를 획득할 수 있다.
이 경우, 전자 장치(100)는 인체 이미지를 바탕으로 자세 변화(유방 영상을 촬영할 때의 자세 및 수술시 자세의 변화) 및 중력 방향 변화에 대한 정보를 획득하여, 유방의 이동 위치를 판단한 후, 이동된 유방의 위치를 바탕으로 예상되는 병변부의 위치를 디스플레이 장치(200)에 표시할 수 있다.
구체적으로, 전자 장치(100)는, 획득된 인체 이미지 및 병변부에 대한 정보를 바탕으로, 인체 이미지 상의 병변부를 획득할 수 있다.
구체적으로, 기존의 유방촬영술의 경우, 유방을 압박한 후 촬영이 진행되기 때문에, 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보에 포함된 유방의 모양 및 형태와 인체 이미지에 포함된 유방의 모양 및 형태가 상이할 수 있으며, 이에 따라, 병변부의 위치 또한 차이가 존재하게 된다.
따라서, 전자 장치(100)는, 실제 수술 대상 환자를 촬영하여 인체 이미지를 획득하고, 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보를 이용하여 인체 이미지 상에서 정확한 병변부의 위치를 판단하는 과정을 수행할 수 있다.
구체적으로, 전자 장치(100)는 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보 및 인체 이미지를 바탕으로, 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보에서의 유방의 형태와 인체 이미지에서의 유방의 형태를 획득할 수 있다.
전자 장치(100)는, 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보에서의 유방의 형태 및 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보로부터 판단된 병변부를 기초로, 유방의 형태와 인체 이미지에서의 유방의 형태에 대응되는 인체 이미지에서의 병변부를 획득할 수 있다.
또 다른 실시예로, 전자 장치(100)는 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보 및 인체 이미지에서 변하지 않는 위치에 대한 정보를 바탕으로 인체 이미지 상의 병변부를 판단할 수 있다. 구체적으로, 전자 장치(100)는, 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보 상에 포함된 흉골상절흔의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제1 기준점 정보를 획득하고, 인체 이미지 상에 포함된 흉골상절흔의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제2 기준점 정보를 획득할 수 있다. 이를 위해, 전자 장치(100)는 도 7에 도시된 바와 같이, 흉골상절흔, 유두 및 배꼽에 기 표시된 마커를 바탕으로 제2 기준점 정보를 획득할 수 있다.
이후, 전자 장치(100)는 제1 기준점 정보 및 제2 기준점 정보를 바탕으로 인체 이미지에서의 유방의 형태를 획득할 수 있다.
즉, 흉골상절흔 또는 배꼽에 대한 위치 정보는 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보 및 인체 이미지 상에서 변경되지 않으므로, 전자 장치(100)는 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보 및 인체 이미지 상에서 흉골상절흔의 위치 정보 및 배꼽의 위치 정보를 획득할 수 있다. 나아가, 여성의 유방의 경우, 유두를 중심으로 혈관이 분포하고 있으므로, 전자 장치(100)는 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보 상의 유두의 위치 정보 및 병변부의 위치를 기초로, 인체 이미지 상의 유두의 위치 정보에 대응되는 실제 병변부의 위치를 판단할 수 있다.
결론적으로, 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보와 인체 이미지 각각에서 표시된 환자의 신체 크기 정보가 다르므로, 전자 장치(100)는 흉골상절흔 또는 배꼽에 대한 위치 정보를 기초로 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보 및 인체 이미지간의 비율 정보를 획득하여 보정하고, 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보 상의 유두의 위치 정보 및 병변부의 위치 정보. 인체 이미지 상의 유두의 위치 정보를 바탕으로 실제 병변부의 위치를 판단할 수 있다.
이후, 디스플레이 장치(200)는, 인체 이미지 상의 병변부를 3차원 증강현실로 표시할 수 있다.
구체적으로, 전자 장치(100)는 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보를 전처리 과정, 합성 과정, 배경 투사 과정 그리고 후처리 과정을 통해 3차원 의료 영상으로 생성할 수 있다. 여기서, 생성된 3차원 의료 영상은 수술 대상 장기의 크기, 장기의 위치, 주변 조직과의 위치, 병변 위치와 병변의 크기, 혈관 위치 등 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보가 포함하는 정보를 동일하게 포함할 수 있다.
즉, 전자 장치(100)는 입력된 수술 대상 장기의 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보에서 노이즈를 제거하고 영상 품질을 향상시키고, 편이 보정(Bias Correction) 등의 전처리 작업을 수행하여 3차원 의료 영상으로 변환하기 적합한 상태의 전처리된 의료 영상을 생성할 수 있다. 전자 장치(100)는 전처리된 의료 영상을 합성하고 배경을 투사하여 3차원 의료 영상으로 생성할 수 있다.
전자 장치(100)가 생성한 3차원 의료 영상을 통해 의사는 수술 대상 장기의 전체 외관, 내부 혈관 조직, 병변 조직, 주변 기관이나 장기의 위치, 주변 기관이나 장기의 구조 등을 파악할 수 있다. 그리고 전자 장치(100)는 수술 대상 장기에 있는 병변, 수술 대상 장기의 내부 혈관 조직 등이 수술 대상 장기의 표면으로부터 얼마만큼의 깊이에 위치하는지 나타내는 위치 정보를, 3차원 좌표계를 이용하여 생성하여 3차원 의료 영상에 포함시킬 수 있다.
전자 장치(100)가 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보를 전처리하고, 합성, 배경을 투사하는 방법, 그리고 3차원 좌표계를 이용하여 깊이 정보를 추출하고 이를 함께 제공하는 것은 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정되지 않는다.
일 실시예에 따라, 전자 장치(100)는 생성한 3차원 의료 영상으로부터 필터링을 위해 사용될 임계값을 계산할 수 있다. 여기서 필터링에 사용되는 임계값은 3차원 의료 영상을 나타내는 그레이 스케일(gray scale)의 특정 값을 의미할 수 있다.
예를 들어, CT 영상인 제1 영상 및 제2 영상을 바탕으로 획득된 병변부의 위치 정보에서 뼈는 밝게 나타나고, 기타 조직(상피조직, 결합조직, 근육조직, 신경조직)들은 어둡게 나타난다. 그리고 혈관의 밝기와 병변의 밝기가 뼈의 밝기와 기타 조직의 밝기 사이의 밝기로 보인다면, 뼈와 기타 조직, 혈관, 병변 등의 밝기를 숫자로 표현할 수 있다.
그러므로, 전자 장치(100)는 혈관과 병변의 밝기에 해당하는 수치를 기준으로 그레이 스케일의 임계값을 설정할 수 있다. 본 발명의 실시예에서는 전자 장치(100)가 임계값을 계산하는 것을 예로 하여 설명하나 반드시 이와 같이 한정되는 것은 아니다. 또한, 3차원 의료 영상으로부터 임계값을 계산하는 방법을 어느 하나의 방법으로 한정하지 않는다.
이후, 전자 장치(100)는, 획득된 인체 이미지 상의 병변부에 대응되는 위치를 레이저로 조사할 수 있다.
구체적으로, 전자 장치(100)는, 유방 내 병변부의 깊이를 판단하기 위한 제1 레이저를 조사하고, 유방 내 병변부의 위치를 판단하기 위한 제2 레이저를 조사할 수 있다.
이때, 제1 레이저는 링형태로 조사되고, 제2 레이저는 점형태로 조사될 수 있다. 구체적으로, 도 8에 도시된 바와 같이, 제1 레이저는 링 형태의 폐곡선을 가지는 레이저로서, 폐곡선에 의해 생성된 단면 상에 병변부가 위치하도록 조사될 수 있다. 한편, 제2 레이저는 병변부의 위치를 판단하기 위한 레이저로서, 레이저가 조사된 포인트를 기준으로 수직한 중력방향 상에 병변부가 위치되도록 조사될 수 있다. 다만, 다양한 실시예에 따라, 제2 레이저가 비스듬히 조사되는 경우, 제2 레이저의 조사 방향의 연장선 상에 병변부가 위치하도록 제2 레이저가 조사될 수 있음은 물론이다.
한편, 전자 장치(100)는는 병변부에 관한 정보 및 병변부의 위치를 판단하기 위하여, 인공지능 모델에 유방 영상 이미지를 입력하여, 인공지능 모델을 학습시킬 수 있다. 이를 위해, 전자 장치(100)는 이미지 획득부, 데이터 생성부, 데이터 전처리부, 학습부 및 판단부를 포함할 수 있다. 다만, 전자 장치(100)의 구성이 앞서 개시된 것들로 한정되는 것은 아니다. 예를 들어, 전자 장치(100)는 정보를 저장하기 위한 데이터베이스를 더 포함할 수 있다.
이미지 획득부는 복수의 유방 영상 이미지를 획득할 수 있다.
데이터 생성부는 데이터 세트를 생성할 수 있다. 이때 데이터 세트는 동일한 병명에 대응되는 복수의 유방 영상 이미지를 그루핑한 세트를 의미할 수 있다.
또는, 데이터 세트는 유방 영상 이미지에 대응되는 환자에 대한 정보를 매칭한 세트를 의미할 수 있다. 이 경우, 환자 정보는 환자의 성별, 나이, 키, 몸무게, 가족력 등의 다양한 정보를 포함할 수 있다. 환자 정보는 이하 설명되는 학습부에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터일 수 있으며, 유방 영상 이미지 외의 정보를 인공신경망을 입력으로 함으로써 보다 정확도를 향상시키는 효과가 존재할 수 있다
또한, 데이터 생성부는 딥러닝 알고리즘 적용을 위한 학습용 데이터 세트 및 검증용 데이터 세트를 생성할 수 있다. 데이터 세트를 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다. 일 실시예로, 데이터 생성부는 이미지 획득부로부터 획득된 유방 영상 이미지 중 랜덤하게 학습용 데이터 세트에 활용될 이미지 및 검증용 데이터 세트에 활용된 이미지를 분류할 수 있다. 또한, 데이터 생성부는 검증용 데이터 세트를 선택한 나머지를 데이터 세트를 학습용 데이터 세트로 사용할 수 있다. 검증용 데이터 세트는 랜덤하게 선택될 수 있다. 검증용 데이터 세트 및 학습용 데이터 세트의 비율은 미리 설정된 기준값에 의해 결정될 수 있다. 이때, 미리 설정된 기준값은 검증용 데이터 세트의 비율이 10%, 학습용 데이터 세트의 비율이 90%로 설정될 수 있으나, 이에 한정되는 것은 아니다.
데이터 생성부는 과적합 상태를 방지하기 위해 학습용 데이터 세트 및 검증용 데이터 세트를 구분하여 데이터 세트를 생성할 수 있다. 예를 들어, 신경망 구조의 학습 특성상 학습용 데이터 세트는 과적합 상태가 될 수 있기 때문에, 데이터 생성부는 검증용 데이터 세트를 활용하여, 인공신경망의 과적합 상태가 되는 것을 방지할 수 있다.
이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다. 검증용 데이터는 인공신경망 구축에 사용되지 않은 데이터이므로, 검증 작업 시에 인공신경망에서 처음 접하는 데이터일 수 있다. 따라서 검증용 데이터 세트는 새로운 이미지(학습에 사용되지 않은 신규 이미지)가 입력으로 들어올 경우, 인공신경망의 성능 평가에 적절한 데이터 세트일 수 있다.
전처리부는 딥러닝 알고리즘에 적용 가능하도록 데이터 세트를 전처리할 수 있다. 전처리부는 딥러닝 알고리즘에서 인식 성능을 높이고 환자 간 영상과의 유사성을 최소화하기 위해 데이터 세트를 전처리할 수 있다. 딥러닝 알고리즘은 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어질 수 있다.
한편, 본원의 일 실시예에 따르면, 전처리부는 5단계의 전처리 과정을 수행할 수 있다. 유방 영상 이미지를, 자르기, 평행 이동, 색상 조정, 뒤집기 중 적어도 하나의 전처리 과정을 수행할 수 있다.
전처리부는 미리 설정된 기준값에 대응되도록 전처리 과정을 수행할 수 있다. 미리 설정된 기준값은 사용자가 임의로 지정한 값일 수 있다. 또한, 미리 설정된 기준값을 획득된 유방 영상 이미지의 평균값에 의해 결정된 값을 수 있다. 전처리부를 거친 데이터 세트는 학습부로 제공될 수 있다.
학습부는 전처리 과정을 거친 데이터 세트를 입력으로 하고 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망을 구축할 수 있다.
본원의 일 실시예에 따르면, 학습부는 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어진 딥러닝 알고리즘을 적용하여 병변 분류 결과를 출력으로 할 수 있다. 완전연결 심층 신경망은 노드 간에 횡적/종적으로 2차원적 연결을 이루고, 서로 같은 층에 위치한 노드 간에는 연결 관계가 존재하지 않으며, 바로 인접한 층에 위치한 노드들 간에만 연결 관계가 존재할 수 있다는 것을 특징으로 하는 신경망이다.
학습부는 전처리 과정을 거친 학습용 데이터 세트를 입력으로 하는 합성곱신경망과, 합성곱신경망의 출력을 완전연결 심층 신경망의 입력으로 하는 학습을 통한 훈련 모델을 구축할 수 있다.
본원의 일 실시예에 따르면 합성곱신경망은 유방 영상 이미지를 분석하는 복수의 특정 특징 패턴을 추출할 수 있다. 이때, 추출된 특정 특징 패턴은 완전연결 심층 신경망에서 최종 분류를 하는데 사용될 수 있다.
합성곱신경망(Convolutional Neural Networks)은 음성 인식이나 이미지 인식에서 주로 사용되는 신경망의 한 종류이다. 다차원 배열 데이터를 처리하도록 구성되어 있어, 컬러 이미지와 같은 다차원 배열 처리에 특화되어 있다. 따라서 이미지 인식 분야에서 딥러닝을 활용한 기법은 대부분 합성곱신경망을 기초로 할 수 있다.
합성곱신경망(CNN)은 이미지를 하나의 데이터가 아닌, 여러 개로 분할하여 처리할 수 있다. 이렇게 하면 이미지가 왜곡되더라도 이미지의 부분적 특성을 추출할 수 있어 올바른 성능을 낼 수 있다.
합성곱신경망은 복수의 층 구조로 이루어질 수 있다. 각각의 층을 구성하는 요소는 합성곱 층, 활성화 함수, max pooling 층, 활성화 함수, dropout 층으로 구성될 수 있다. 합성곱 층은 kernel이라 불리는 필터 역할을 하여 전체 이미지(또는 생성된 새로운 특징 패턴)를 부분적으로 처리한 것들이 이미지와 같은 크기의 새로운 특징 패턴(feature pattern)을 추출할 수 있다. 합성곱 층은 특징 패턴에서 활성화 함수를 통해 특징 패턴의 값들을 처리하기 편하게 보정할 수 있다. max pooling 층은 일부 유방 영상 이미지를 샘플링(sampling) 하여 크기를 조절하여 이미지의 크기를 줄일 수 있다. 합성곱신경망은 합성곱 층 및 max pooling 층을 거쳐, 특징 패턴(feature pattern)의 크기는 줄어들게 되지만, 복수의 kernel 활용을 통해 복수의 특징 패턴(feature pattern)을 추출할 수 있다. dropout층은 합성곱신경망의 가중치들을 훈련할 때 효율적인 훈련을 위해 일부 가중치들을 의도적으로 고려하지 않는 방법일 수 있다. 한편, dropout층은 훈련된 모델을 통해 실제 테스트를 하는 경우에는 적용하지 않을 수 있다.
합성곱신경망에서 추출된 복수의 특징 패턴(feature pattern)은 다음 단계인 완전연결 심층 신경망으로 전달되어 분류 작업을 하는 데 활용될 수 있다. 합성곱신경망은 층의 개수를 조절할 수 있다. 합성곱신경망은 층의 개수는 모델 훈련을 위한 훈련용 데이터의 양에 맞추어 조절함으로써 보다 안정된 모델을 구축할 수 있다.
또한, 학습부는 전처리 과정을 거친 학습용 데이터 세트를 합성곱신경망의 입력으로 하고, 합성곱신경망의 출력 및 환자 정보를 완전연결 심층 신경망의 입력으로 하는 학습을 통한 판단(훈련) 모델을 구축할 수 있다. 달리 말해, 학습부는 전처리 과정을 거친 이미지 데이터가 우선적으로 합성곱신경망으로 들어가도록 하고, 합성곱신경망을 거치고 나온 결과물이 완전연결 심층 신경망에 들어가도록 할 수 있다. 또한, 학습부는 임의로 추출된 특징(feature)들은 합성곱신경망을 거치지 않고, 곧바로 완전연결 심층 신경망으로 들어가도록 할 수 있다.
학습부는 트레이닝 데이터를 딥러닝 알고리즘 구조(합성곱신경망을 거쳐 완전연결 심층 신경망으로 형성된 구조)에 적용시켜 도출되는 결과와 실제 결과와의 오차를 비교하여 해당 오차에 해당하는 만큼 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되어 학습될 수 있다. 역전파(backpropagation) 알고리즘은 결과의 오차(실제값과 결과값이 차이)를 줄이기 위해 각 노드에서 다음 노드로 이어지는 가중치를 조절하는 것일 수 있다. 학습부는 학습용 데이터 세트와 검증용 데이터 세트를 이용하여 신경망을 학습시켜 가중치 매개 변수를 구하여 최종 판단 모델을 도출하는 것일 수 있다.
판단부는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 병변부 판단을 수행할 수 있다. 달리 말해, 판단부는 앞서 설명된 학습부에서 도출된 최종 판단 모델을 이용하여 신규 데이터에 대한 판단을 도출할 수 있다. 신규 데이터는 사용자가 판단하고자 하는 유방 영상 이미지를 포함하는 데이터 일 수 있다. 신규 데이터 세트는 신규 유방 영상 이미지를 환자 정보와 연계하여 생성된 데이터 세트일 수 있다. 신규 데이터 세트는 전처리부의 전처리 과정을 거쳐 딥러닝 알고리즘에 적용 가능한 상태로 전처리될 수 있다. 이후 전처리된 신규 데이터 세트는 학습부에 입력되어, 학습 파라미터를 기반으로 유방 영상 이미지가 판단될 수 있다.
상술한 과정을 바탕으로, 전자 장치(100)는 유방 영상 이미지를 인공지능 모델에 입력하여 병변부를 판단할 수 있다. 나아가, 전자 장치(100)는, 병변부를 판단하기 이전에, 제 이미지를 바탕으로 병의 유무를 판단하는 단계, 판단된 병이 실제의 질병인지에 대한 확률 정보를 획득하는 단계 및 병변부의 위치를 주변 색상과 다르게 표시하는 단계의 과정을 더 수행할 수 있음은 물론이다.
한편, 수술이 시작되고, 의사가 병변부를 정확히 찾아낸 경우, 병변부에 대한 3차원 증강현실을 더 이상 필요하지 않은 경우가 존재할 수 있다. 이 경우, 디스플레이 장치(200)는 증강현실을 표시하는 대신, 수술 영상을 실시간으로 표시할 수 있다.
구체적으로, 차원 증강현실로 표시된 병변부를 바탕으로 수술 집도가 시작된 경우, 전자 장치(100)는, 인체 이미지를 실시간으로 촬영하여 디스플레이 장치(120)를 통해 표시할 수 있다.
이 경우, 전자 장치(100)는, 집도의의 음성 신호를 분석하여, 집도의에게 도움이 되는 영상을 표시하도록 디스플레이 장치를 제어할 수 있다. 일 실시예로, 전자 장치(100)는, 수술의 집도의의 음성 신호를 수신하고, 전자 장치(100)는, 음성 신호을 분석하여 디스플레이 장치(200)에 표시된 실시간 이미지를 확대 또는 축소하도록 디스플레이 장치(200)를 제어할 수 있다.
구체적으로, 전자 장치(100)는, 음성 신호에 기초하여 신호 세기 정보를 획득하고, 세기 정보가 기 설정된 값 이상인 경우 실시간 이미지를 확대할 수 있다. 즉, 음성 신호의 세기가 큰 경우 다급한 상황으로 판단하고, 전자 장치(100)는 실시간 영상을 확대하여 정밀한 수술이 가능하도록 보조할 수 있다.
다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 음성 신호의 세기 정보와 기본 세기 정보의 비율 정보를 바탕으로 확대 정도를 결정할 수 있음은 물론이다.
구체적으로, 전자 장치(100)는 집도의의 평균 음성 신호 세기 정보와, 수술 중 발생하는 음성 신호 세기 정보의 비율에 대응되게 실시간 영상을 확대할 수 있다.
이때, 평균 음성 신호 세기 정보는 집도의의 음성 신호를 분석하여 획득될 수 있다. 구체적으로, 평균 음성 신호 세기 정보는 집도의의 과거 동일 또는 유사한 수술에서의 음성 신호를 수집하고, 수집된 음성 신호의 평균 음성 신호 세기 정보를 산출함으로서 획득될 수 있다.
또는, 전자 장치(100)는 음성 신호의 음절 간격 정보를 획득하고, 음절 간격 정보가 기 설정된 간격 미만인 경우, 실시간 이미지를 확대할 수 있다. 다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 음절 간격 정보와 기본 음절 간격 정보의 비율 정보를 바탕으로 확대 정도를 결정할 수 있음은 물론이다.
구체적으로, 전자 장치(100)는 음성 신호에 포함된 음절 중에서 어느 하나의 음절의 종료 시점과 어느 하나의 음절의 다음 음절의 시작 시점 간에 제1 시간차를 산출하고, 복수의 제1 시간차의 평균 시간차를 음절 간격 정보로 생성할 수 있다.
이후, 전자 장치(100)는 기준 시간차 대비 음절 간격 정보가 나타내는 평균 시간차의 시간차 비율을 산출하고, 기본 확대 비율도에 시간차 비율을 적용하여 실시간 영상의 확대 정도를 산출할 수 있다.
예를 들어, 전자 장치(100)는 평균 시간차가 "12msec"이고, 기준 시간차가 "10msec"이며, 기본 확대 배율이 "1배 확대"인 경우, 시간차 비율을 "120%"로 산출하고, 기본 확대 배율 "1배 확대"에 시간차 비율 "120%"를 적용하여 확대 비율을 속도 정보를 "1.2배 확대"로 산출할 수 있다.
이때, 평균 시간차는 집도의의 음성 신호를 분석하여 획득될 수 있다. 구체적으로, 평균 시간차는 집도의의 과거 동일 또는 유사한 수술에서의 음성 신호를 수집하고, 수집된 음성 신호의 평균 음절 간격 정보를 산출함으로서 획득될 수 있다.
도 9는 일 실시 예에 따른 장치의 구성도이다.
프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 8과 관련하여 설명된 방법을 수행한다.
예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다.
한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 전자 장치
200 : 디스플레이 장치
200 : 디스플레이 장치
Claims (10)
- 전자 장치 및 디스플레이 장치를 포함하는 병변부의 3차원 위치정보를 획득하기 위한 시스템의 제어 방법에 있어서,
상기 전자 장치가, 유방 영상에 대한 제1 영상 및 제2 영상을 획득하는 단계;
상기 전자 장치가, 상기 제1 영상 및 상기 제2 영상의 기준점을 획득하는 단계;
상기 전자 장치가, 상기 기준점을 바탕으로 3차원 위치 정보를 획득하기 위한 제1축을 획득하는 단계;
상기 전자 장치가, 상기 제1축을 바탕으로 상기 제1 영상의 제2축 및 제3축을 결정하고, 상기 제1축을 바탕으로, 상기 제2 영상의 제4축 및 제5축을 결정하는 단계;
상기 전자 장치가, 상기 제4축 및 제5축을 포함하는 상기 제2 영상을 상기 제2 축 및 상기 제3축에 대응되도록 회전시켜 상기 제1축, 상기 제2축 및 상기 제3축을 포함하는 제3 영상을 획득하는 단계; 및
상기 전자 장치가, 상기 제1 영상 및 상기 제3 영상을 바탕으로 상기 제1축, 상기 제2축 및 상기 제3축을 포함하는 3차원 공간 상에 병변부의 위치 정보를 획득하는 단계; 를 포함하고,
상기 제1 영상은 상하 영상(Craniocaudal view)이고, 상기 제2 영상은 내외사위 영상(Mediolateral Oblique view)이고,
상기 제3 영상을 획득하는 단계는,
상기 제2 영상을 촬영한 전자 장치로부터 촬영 각도를 획득하는 단계;
상기 제4축을 상기 촬영 각도에 대응되게 회전 이동하여 상기 제2축으로 변경하는 단계;
상기 제5축을 상기 촬영 각도에 대응되게 회전 이동하여 상기 제3축으로 변경하는 단계;
상기 제4축 및 상기 제5축의 변경에 대응되게 상기 제2 영상을 보정하여 상기 제3 영상을 획득하는 단계; 를 포함하고,
상기 제어 방법은,
상기 전자 장치가, 상기 제3 영상에 포함된 대흉근(Pectoralis Major Muscle)의 형태 및 위치 정보를 획득하는 단계;
상기 전자 장치가, 상기 대흉근의 형태 및 위치 정보를 바탕으로, 상기 제2 영상에서의 유방 변화 파라미터를 획득하는 단계; 및
상기 유방 변화 파라미터를 바탕으로, 상기 제3 영상을 보정한 제4 영상을 획득하는 단계; 를 포함하는 제어 방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 3차원 공간 상에 병변부의 위치 정보를 획득하는 단계는,
상기 제1 영상 및 상기 제4 영상을 바탕으로 상기 제1축, 상기 제2축 및 상기 제3축을 포함하는 3차원 공간 상에 병변부의 위치 정보를 획득하는 단계; 를 포함하는 제어 방법. - 제1항에 있어서,
상기 제어 방법은,
상기 전자 장치의 카메라를 통해, 상기 유방 영상에 대응되는 인체 이미지를 획득하는 단계;
상기 전자 장치가, 획득된 상기 인체 이미지 및 상기 병변부의 위치 정보를 바탕으로, 상기 인체 이미지 상의 병변부를 획득하는 단계;
상기 디스플레이가, 상기 인체 이미지 상의 병변부를 3차원 증강현실로 표시하는 단계; 및
상기 전자 장치가, 상기 획득된 인체 이미지 상의 병변부에 대응되는 위치를 레이저로 조사하는 단계; 를 포함하는 제어 방법. - 제5항에 있어서,
상기 인체 이미지 상의 병변부를 획득하는 단계는,
상기 병변부와 관련된 2차원 이미지 및 상기 인체 이미지를 바탕으로, 상기 병변부와 관련된 2차원 이미지에서의 상기 유방의 형태와 상기 인체 이미지에서의 유방의 형태를 획득하는 단계;
상기 병변부와 관련된 2차원 이미지에서의 상기 유방의 형태 및 상기 병변부와 관련된 2차원 이미지로부터 판단된 병변부를 기초로, 상기 유방의 형태와 상기 인체 이미지에서의 유방의 형태에 대응되는 상기 인체 이미지에서의 병변부를 획득하는 단계; 를 포함하는 제어 방법. - 제6항에 있어서,
상기 인체 이미지에서의 유방의 형태를 획득하는 단계는,
상기 병변부와 관련된 2차원 이미지 상에 포함된 흉골상절흔의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제1 기준점 정보를 획득하는 단계;
상기 인체 이미지 상에 포함된 흉골상절흔의 위치 정보, 유두의 위치 정보 및 배꼽의 위치 정보를 포함하는 제2 기준점 정보를 획득하는 단계; 및
상기 제1 기준점 정보 및 상기 제2 기준점 정보를 바탕으로 상기 인체 이미지에서의 유방의 형태를 획득하는 단계;를 포함하는 제어 방법. - 제6항에 있어서,
상기 레이저로 조사하는 단계는,
상기 유방 내 병변부의 깊이를 판단하기 위한 제1 레이저를 조사하는 단계; 및
상기 유방 내 병변부의 위치를 판단하기 위한 제2 레이저를 조사하는 단계; 를 포함하고,
상기 제1 레이저는 링형태로 조사되고, 상기 제2 레이저는 점형태로 조사되는 것을 특징으로 하는 제어 방법. - 하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
제1 항의 방법을 수행하는, 장치. - 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082192A KR102400525B1 (ko) | 2020-07-03 | 2020-07-03 | 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082192A KR102400525B1 (ko) | 2020-07-03 | 2020-07-03 | 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220004404A KR20220004404A (ko) | 2022-01-11 |
| KR102400525B1 true KR102400525B1 (ko) | 2022-05-19 |
Family
ID=79355792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200082192A KR102400525B1 (ko) | 2020-07-03 | 2020-07-03 | 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102400525B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100726028B1 (ko) * | 2005-12-14 | 2007-06-08 | 한양대학교 산학협력단 | 환자환부의 증강현실영상 투영시스템 및 그 방법 |
| KR101859675B1 (ko) * | 2017-03-10 | 2018-05-18 | 스페클립스 주식회사 | 색소 병변의 진단 장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5579360A (en) * | 1994-12-30 | 1996-11-26 | Philips Electronics North America Corporation | Mass detection by computer using digital mammograms of the same breast taken from different viewing directions |
| KR20080069307A (ko) * | 2007-01-23 | 2008-07-28 | 재단법인서울대학교산학협력재단 | 유방 병변의 3차원 도시 시스템 및 그 방법 |
| KR20130059733A (ko) | 2011-11-29 | 2013-06-07 | 에스케이플래닛 주식회사 | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체 |
-
2020
- 2020-07-03 KR KR1020200082192A patent/KR102400525B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100726028B1 (ko) * | 2005-12-14 | 2007-06-08 | 한양대학교 산학협력단 | 환자환부의 증강현실영상 투영시스템 및 그 방법 |
| KR101859675B1 (ko) * | 2017-03-10 | 2018-05-18 | 스페클립스 주식회사 | 색소 병변의 진단 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220004404A (ko) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102018565B1 (ko) | 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램 | |
| JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
| JP7125700B2 (ja) | Ｘ線透視装置およびｘ線透視方法 | |
| JP6629094B2 (ja) | 超音波診断装置、医用画像処理装置及び医用画像処理プログラム | |
| KR101926123B1 (ko) | 수술영상 분할방법 및 장치 | |
| JP7413147B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR20120111871A (ko) | 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치 | |
| KR20210051141A (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| CN109512464A (zh) | 一种疾病筛查和诊断系统 | |
| CN108629845B (zh) | 手术导航装置、设备、系统和可读存储介质 | |
| KR102433473B1 (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| KR101862359B1 (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| JP7332463B2 (ja) | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム | |
| JP6038438B2 (ja) | 眼底画像解析装置、眼底画像解析方法及びプログラム | |
| CN111466952B (zh) | 一种超声内镜与ct三维图像实时转化方法和系统 | |
| KR102400525B1 (ko) | 2차원 유방 영상을 바탕으로 3차원 위치 정보를 획득하기 위한 시스템의 제어 방법, 장치 및 프로그램 | |
| KR102446345B1 (ko) | 유방 영상에 의해 획득된 병변부 판단 시스템의 제어 방법, 장치 및 프로그램 | |
| JP7439990B2 (ja) | 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法 | |
| CN110022772B (zh) | X射线装置及其获取医学图像的方法 | |
| CN115311317A (zh) | 一种基于Scaleformer类算法的腹腔镜图像分割方法及系统 | |
| KR20190088419A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 | |
| WO2021020419A1 (ja) | 医療画像処理装置および医療画像処理プログラム | |
| WO2022030142A1 (ja) | 情報処理装置、プログラム、学習モデル及び学習モデルの生成方法 | |
| WO2022054498A1 (ja) | 医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラム | |
| KR20190133423A (ko) | 수술 시뮬레이션 정보 생성방법 및 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |