KR20230012091A - 개인 맞춤형 유방 보형물을 모델링하는 방법 및 프로그램 - Google Patents
개인 맞춤형 유방 보형물을 모델링하는 방법 및 프로그램 Download PDFInfo
- Publication number
- KR20230012091A KR20230012091A KR1020230004346A KR20230004346A KR20230012091A KR 20230012091 A KR20230012091 A KR 20230012091A KR 1020230004346 A KR1020230004346 A KR 1020230004346A KR 20230004346 A KR20230004346 A KR 20230004346A KR 20230012091 A KR20230012091 A KR 20230012091A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- breast
- modeling
- breast implant
- region
- Prior art date
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 148
- 239000007943 implant Substances 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 57
- 210000003205 muscle Anatomy 0.000 claims description 30
- 210000005075 mammary gland Anatomy 0.000 claims description 10
- 210000000038 chest Anatomy 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 9
- 210000002976 pectoralis muscle Anatomy 0.000 claims description 6
- 230000008569 process Effects 0.000 description 23
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000000062 pectoralis major Anatomy 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 206010040102 Seroma Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002316 cosmetic surgery Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/02—Prostheses implantable into the body
- A61F2/12—Mammary prostheses and implants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2240/00—Manufacturing or designing of prostheses classified in groups A61F2/00 - A61F2/26 or A61F2/82 or A61F9/00 or A61F11/00 or subgroups thereof
- A61F2240/001—Designing or manufacturing processes
- A61F2240/002—Designing or making customized prostheses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Robotics (AREA)
- Cardiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Transplantation (AREA)
- Vascular Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 컴퓨터에서 수행되는 개인 맞춤형 유방 보형물 모델링 방법에 관한 것으로, 의료영상데이터 및 신체스캔데이터를 획득하는 단계; 상기 의료영상데이터를 3D모델링하여 제1영상데이터를 획득하는 단계; 상기 신체스캔데이터를 3D모델링하여 제2영상데이터를 획득하는 단계; 상기 제1영상데이터 및 상기 제2영상데이터를 병합하여 제3영상데이터를 생성하는 단계; 및 상기 제3영상데이터를 기초로 유방 보형물 외형정보를 생성하는 단계; 를 포함할 수 있다.
Description
본 발명은 개인 맞춤형 유방 보형물을 모델링하는 방법, 프로그램 및 시스템에 관한 것이다.
일반적으로 인공 유방 보형물은 유방암과 같은 질병 및 사고로 인한 유방 결손에 대한 재건과 미용 및 기형으로 인한 성형을 목적으로 사용되며, 유방암 발생률 및 생존률의 증가로 그 수요가 증가하고 있다.
그러나 유방의 모양 및 크기는 개인마다 차이가 있고, 개인의 양측 유방 역시 비대칭이기 때문에 개인의 특성을 반영한 맞춤형이 아닌 기존의 사이즈만 다르게 제공되는 유방 보형물을 사용하여 유방재건수술을 하는 경우, 수술 후 종래의 유방 모양을 갖추기 어렵고, 불편감이 발생하는 문제점이 있었다.
또한, 유방의 내부 경계면과 결합되는 보형물의 경계면 및 절제된 유방 형태/부피와 보형물의 형태/부피가 일치하지 않아 유방 내부에 빈 공간의 형성 및 보형물과 연조기과의 마찰로 인한 피부천공, 장액종 등의 합병증이 발생하는 문제점이 있었다.
본 발명이 해결하고자 하는 과제는 특정 환자의 의료영상데이터와 신체스캔데이터를 병합하여 개인 맞춤형 유방 보형물을 모델링하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 과제를 해결하기 위한 개인 맞춤형 유방 보형물을 모델링하는 방법은, 의료영상데이터 및 신체스캔데이터를 획득하는 단계; 상기 의료영상데이터를 3D모델링하여 제1영상데이터를 획득하는 단계; 상기 신체스캔데이터를 3D모델링하여 제2영상데이터를 획득하는 단계; 상기 제1영상데이터 및 상기 제2영상데이터를 병합하여 제3영상데이터를 생성하는 단계; 및 상기 제3영상데이터를 기초로 유방 보형물 외형정보를 생성하는 단계; 를 포함할 수 있다.
또한, 상기 외형정보를 생성하는 단계는 머신러닝 모델을 이용하여 수행되며, 상기 머신러닝 모델을 위한 학습 데이터는 상기 의료영상데이터, 상기 제1영상데이터, 상기 신체스캔데이터, 상기 제2영상데이터 및 상기 제3영상데이터로 구성될 수 있다.
또한, 상기 병합은 영상 정합을 통해 수행되며, 상기 영상 정합은 특징 요소 정합 기법 및 템플릿 기반 정합 기법을 적어도 하나를 포함할 수 있다.
또한, 상기 제3영상데이터는 왼쪽 유방과 오른쪽 유방에대하여 서로 다르게 생성될 수 있다.
또한, 상기 제1영상데이터는 가슴 근육에 대한 정보를 포함하고, 상기 제2영상데이터는 가슴의 모양, 크기 및 부피에 대한 정보를 포함할 수 있다.
본 발명의 과제를 해결하기 위한 유방 보형물 모델링 장치는, 의료영상데이터를 획득하는 의료영상획득부; 신체스캔데이터를 획득하는 신체영상획득부; 및 상기 의료영상데이터를 3D모델링하여 제1영상데이터를 획득하고, 상기 신체스캔데이터를 3D모델링하여 제2영상데이터를 획득하고, 상기 제1영상데이터 및 상기 제2영상데이터를 병합하여 제3영상데이터를 생성하며, 상기 제3영상데이터를 기초로 유방 보형물 외형정보를 생성하는 프로세서; 를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기 본 발명에 의하면, 환자가 개인 맞춤형 유방 보형물을 제작하기 위해 별도의 의료영상 추가촬영을 하지 않고도 기존의 의료영상데이터를 활용하여 환자의 가슴 근육 영역의 3D 영상정보를 획득하고, 선 자세에서 간단한 3D스캐닝을 통해 환자의 유방 외형의 3D영상정보를 생성하여 병합함으로써, 개인 맞춤형 유방 보형물을 모델링할 수 있다.
또한, 상기 본 발명에 의하여 모델링된 개인 맞춤형 유방 보형물에 의하면, 유방절제수술 후에도 수술 전의 상기 환자의 일상적인 상황에서의 유방 외형을 재현할 수 있으며, 특정 환자의 가슴 근육 경계면에 정확하게 매칭되고 부피가 일치함으로써 보형물과 환자 유방의 절단면의 마찰에 의한 피부 천공, 장액종 등의 합병증 발생을 최소화할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 유방 보형물 모델링 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 유방 보형물 제작의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 유방 보형물을 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 유방 보형물 제작의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 유방 보형물을 나타낸 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제 1", "제 2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.
"예시적인"이라는 단어는 본 명세서에서 "예시 또는 예증으로서 사용된"의 의미로 사용된다. 본 명세서에서 "예시적인"것으로 설명된 임의의 실시예는 반드시 바람직한 것으로서 해석되거나 다른 실시예들보다 이점을 갖는 것으로 해석되어서는 안된다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 엘리먼트를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 엘리먼트들, 객체지향 소프트웨어 엘리먼트들, 클래스 엘리먼트들 및 태스크 엘리먼트들과 같은 엘리먼트들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 엘리먼트들과 "부"들 안에서 제공되는 기능은 더 작은 수의 엘리먼트들 및 "부"들로 결합되거나 추가적인 엘리먼트들과 "부"들로 더 분리될 수 있다.
또한, 본 명세서의 모든 “부”는 적어도 하나의 프로세서에 의해 제어될 수 있으며 본 개시의 “부”가 수행하는 동작을 적어도 하나의 프로세서가 수행할 수도 있다.
본 개시의 실시예들은 기능 또는 기능을 수행하는 블록의 관점에서 설명될 수 있다. 본 개시의 '부' 또는 '모듈' 등으로 지칭될 수 있는 블록은 논리 게이트, 집적 회로, 마이크로 프로세서, 마이크로 컨트롤러, 메모리, 수동 전자 부품, 능동 전자 부품, 광학 컴포넌트, 하드와이어드 회로(hardwired circuits) 등과 같은 아날로그 또는 디지털 회로에 의해 물리적으로 구현되고, 선택적으로 펌웨어 및 소프트웨어에 의해 구동될 수 있다.
본 개시의 실시예는 적어도 하나의 하드웨어 디바이스 상에서 실행되는 적어도 하나의 소프트웨어 프로그램을 사용하여 구현될 수 있고 엘리먼트를 제어하기 위해 네트워크 관리 기능을 수행할 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여 질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 '의료영상데이터'는 자기공명영상(Magnetic Resonance Imaging; MRI), 컴퓨터단층촬영(Computerized Tomography; CT), 양전자단층촬영(Positron Emission Tomography; PET), 초음파촬영(Ultrasonography) 또는 유방엑스선촬영(Mammography)을 포함하나, 이에 제한되지 않고 의료용으로 환자의 신체를 촬영한 모든 영상데이터를 포함한다.
본 명세서에서 '신체스캔데이터'는 환자의 신체 외부를 스캐닝(Scanning)한 모든 영상데이터를 포함한다.
본 명세서에서 '제1영상데이터'는 3D모델링한 유방 영역의 의료영상데이터로부터 근육 영역을 획득한 영상데이터이다.
본 명세서에서 '제2영상데이터'는 상기 신체스캔데이터의 유방 영역을 3D모델링한 영상데이터이다.
본 명세서에서 '제3영상데이터'는 상기 제1영상데이터 및 상기 제2영상데이터를 병합(Merge)한 영상데이터이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 유방 보형물 모델링 장치의 블록도이다.
본 발명의 일 실시예에 따르면, 유방 보형물 모델링 장치(100)는 의료영상획득부(110), 신체영상획득부(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.
유방 보형물 모델링 장치(100)는 예를 들어, 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), PMP(portable multimedia player) 같은 전자 장치 중 하나로서, 일 실시예와 관련된 어플리케이션의 설치 및 실행이 가능한 모든 전자 장치를 포함할 수 있다. 전자 장치는 어플리케이션의 제어 하에 예를 들어, 서비스 화면의 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등과 같은 서비스 전반의 동작을 수행할 수 있다.
유방 보형물 모델링 장치(100)는 의료영상획득부(110)를 통해 의료영상데이터를 획득할 수 있다. 여기서, 상기 의료영상데이터는 MRI 또는 CT 촬영 영상을 포함할 수 있다.
또한, 유방 보형물 모델링 장치(100)는 신체영상획득부(120)를 통해 신체를 스캔한 신체스캔데이터를 획득할 수 있다. 여기서, 상기 신체스캔데이터는 환자의 신체 외부를 스캐닝(Scanning)한 모든 영상데이터를 포함할 수 있다.
본 발명의 메모리(130)는 의료영상데이터, 신체스캔데이터 및 프로세서(140)에 의해 추출된 제1영상데이터, 제2영상데이터 및 제3영상데이터를 저장할 수 있는 로컬 저장 매체이다. 필요한 경우 프로세서(140)는 메모리(130)에 저장된 데이터를 이용할 수 있다. 또한, 본 발명의 메모리(130)는 프로세서(140)가 동작하기 위한 인스트럭션 등을 저장할 수 있다.
또한, 본 발명의 메모리(130)는 유방 보형물 모델링 장치에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(Writable Rom)로 구비될 수 있다. 즉, 메모리(130)는 플래쉬메모리(Flash Memory) 또는 EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다. 본 발명에서 설명의 편의를 위해 하나의 메모리(130)에 모든 인스트럭션 정보가 저장되는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 유방 보형물 모델링 장치(100)는 복수의 메모리를 구비할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(140)는 의료영상데이터를 3D 모델링하고 3D 영상데이터로부터 근육 영역을 분할하여 제1영상데이터를 획득 (또는 추출)할 수 있다. 일 실시예에서, 상기 근육 영역은 유선 또는 지방을 포함하는 가슴 영역과 결합되는 근육 영역을 포함할 수 있다.
또한, 프로세서(140)는 신체스캔데이터를 3D 모델링하고 제2영상데이터를 획득할 수 있다. 이 경우, 프로세서(140)가 획득하는 제2영상데이터는 환자가 선 자세에서 스캐닝된 영상데이터를 3D 모델링한 것으로 신체 부위 중 유방 영역을 포함할 수 있다. 따라서, 제2영상데이터는 유방의 전체적인 모양, 크기 및 부피 등을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 신체스캔데이터가 3D스캐닝 (3D Scanning)에 의하여 획득된 데이터인 경우, 별도의 3D모델링 과정은 생략될 수 있다.
제1영상데이터 및 제2영상데이터가 획득되면, 프로세서(140)는 제1영상데이터 및 제2영상데이터를 병합(Merge)하여 제3영상데이터를 획득할 수 있다. 이 경우, 제3영상데이터는 유선 또는 지방을 포함하는 가슴 영역과 결합되는 근육 영역과 유방의 전체적인 모양, 크기 및 부피 등을 포함하는 데이터일 수 있다.
제3영상데이터를 획득하면, 프로세서(140)는 제3영상데이터를 기초로 유방 보형물 외형정보를 생성할 수 있다.
본 명세서에서는 프로세서가 제1영상데이터 및 제2영상데이터를 획득하는 것으로 기재하였으나 이에 제한적인 것은 아니다. 일 실시예에서, 제1영상데이터는 의료영상획득부(110)에서 획득되고 제2영상데이터는 신체영상획득부(120)에서 획득되어 프로세서(140)는 제1영상데이터 및 제2영상데이를 병합함으로써 제3데이터를 획득하여 개인 맞춤형 유방 보형물을 모델링할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 유방 보형물 제작의 예시도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예들에 따르면 유방 보형물(210)과 같이 개인 맞춤형 유방 보형물 제작이 가능하다.
프로세서(140)가 제3영상데이터에 기초하여 유방 보형물 외형정보를 생성하는 경우 제작과정(220)을 통해 개인 맞춤형 유방 보형물(230)을 제작할 수 있다.
도 3은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
일반적으로 유방 보형물이 필요한 환자의 경우 보형물 제작을 위해 MRI를 포함한 의료영상 촬영을 수행한다. 마찬가지로, 유방암 진단을 받은 환자의 경우에도 병변의 범위를 정밀하게 확인하고 수술 계획 수립을 위해 의료영상 촬영을 수행한다. 이 경우, 상기 MRI 촬영은 그림(310)과 같이 누운 자세로 수행되게 되는데, 이로 인해 일상적인 상황(예를 들어, 환자가 서 있는 상황)에서의 유방 모습을 확인하기 어려운 문제점이 있다.
즉, 유방 보형물 모델링 장치(100)와 같은 전자 장치가 MRI 촬영을 포함한 의료영상데이터만을 기초로 유방 보형물 제작을 위한 3D모델링을 수행하는 경우, 가슴근육과 같은 유방 내부 정보를 포함하는 환자의 영상데이터 확보가 용이하다는 장점이 있으나, 의료영상데이터는 누워서 촬영한 이미지가 대부분이므로 일상적인 상황에서의 유방을 재현하기가 어렵다. 따라서, 개인 맞춤형 유방 보형물을 제작하기 위해서는 다수의 추가 촬영이 필요하고, 촬영시간과 촬영비용 등이 많이 필요하게 되어 촬영조건이 까다로운 단점이 있다.
이와 달리, 그림(320)과 같이 신체스캔데이터만을 기초로 보형물을 모델링하는 경우, 선 자세에서 빠르고 쉽게 신체를 촬영할 수 있으며 일상적인 상황에서의 유방을 재현하기 용이하다는 장점이 있으나, 유방 내부 정보를 알 수 없다는 단점이 있다. 예를 들어, 신체스캔데이터를 통해서는 유방의 전체적인 모양, 크기 및 부피등을 알 순 있지만 내부 근육의 위치 및 구조를 알 순 없으므로 개인 맞춤형 유방 보형물을 제작하기가 어렵게된다.
그림(330)과 같이, 여성의 신체 중 유방은 뼈와 근육을 덮고 있는 유선 또는 지방을 포함하여, 신체의 가장 외부인 피부로 구성되어 있다. 사람마다 유방의 모양, 크기 또는 내부의 구조가 상이하다. 또한, 사람의 왼쪽 유방과 오른쪽 유방의 모양, 크기 또는 내부의 구조가 상이할 수 있다. 본 발명의 실시예들에 따르면, 사람마다 서로 다른 모습을 갖는 유방에 대해 개인 맞춤형 유방 보형물 제공이 가능할 수 있다.
그림(340)은 일반적인 상용 유방 보형물이 삽입된 모습일 수 있다. 그림(340)에 도시된 바와 같이, 상용 유방 보형물은 대흉근 라인과 같은 근육 영역을 유방 보형물에 제대로 반영하지 못할뿐만 아니라 유방의 외형을 제대로 반영하지 못해 환자의 유방에 적합한 보형물을 제공하지 못하는 문제가 있다.
본 발명은 제1영상데이터 및 제2영상데이터를 병합함으로써 유선 또는 지방을 포함하는 가슴 영역과 결합되는 근육 영역과 유방의 전체적인 모양, 크기 및 부피 등을 고려하여 그림(350)과 같이 개인 맞춤형 유방 보형물을 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
MRI 촬영 영상(410)은 유방의 외형, 내부 근육 영역 및 유선 또는 지방을 포함할 수 있다. 이 경우, MRI 촬영 영상(410)은 누운 자세로 촬영되는 것이 일반적이므로 MRI 촬영 영상(410)에 기초한 3D 모델링 영상(420)은 도시된 바와 같이 유방의 외형을 정확하게 반영하지 못하는 단점이 있다. 반면에, 신체스캔은 선 자세로 수행되므로 신체스캔데이터에 기초한 3D 모델링 영상(430)은 일상적인 환경에서의 유방 외형을 반영할 수 있다. 따라서, 상술한 바와 같이 의료영상데이터로부터 근육 영역을 획득한 제1영상데이터와 신체스캔데이터의 유방 영역을 3D모델링한 제2영상데이터를 병합하는 과정이 필요하다.
도 5는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 흐름도이다.
본 발명의 유방 보형물 모델링 방법의 각 단계들은 의료영상획득부(110), 신체영상획득부(120), 메모리(130) 및 프로세서(140)를 포함하는 다양한 형태의 전자 장치에 의해 수행될 수 있다.
이하에서는 도 5를 참조하여 프로세서(140)가 본 발명에 따른 개인 맞춤형 유방 보명물 모델링하는 과정을 중심으로 상세히 설명한다.
유방 보형물 모델링 장치(100)에 대해 설명된 실시예들은 유방 보형물 모델링 방법의 적어도 일부 또는 모두에 적용이 가능하고, 반대로 유방 보형물 모델링 방법에 대해 설명된 실시예들은 유방 보형물 모델링 장치(100)에 대한 실시예들에 적어도 일부 또는 모두 적용이 가능하다. 또한, 개시된 실시예들에 따른 유방 보형물 모델링 방법은 본 명세서에 개시된 유방 보형물 모델링 장치(100)에 의해 수행되는 것으로 그 실시 예가 한정되지 않고, 다양한 형태의 전자장치에 의해 수행될 수 있다.
먼저 프로세서(140)는 의료영상획득부(110) 및 신체영상획득부(120)를 통해 의료영상데이터 및 신체스캔데이터를 획득할 수 있다[S100].
상기 의료영상데이터는 MRI 또는 CT 촬영 영상을 포함할 수 있다. 또한, 상기 신체스캔데이터는 환자의 신체 외부를 스캐닝한 모든 영상데이터를 포함할 수 있다.
다음으로, 프로세서(140)는 의료영상데이터를 3D 모델링하고 3D 영상데이터로부터 근육 영역을 분할하여 제1영상데이터를 획득 (또는 추출)할 수 있다[S200].
본 발명의 일 실시예에 따르면, 프로세서(140)는 환자의 의료영상데이터에서 유방 영역을 분할(Segmentation)하여 3D모델링하고, 모델링된 3D 영상데이터로부터 근육 영역을 분할할 수 있다. 본 발명에서 영상 분할(Segmentation) 또는 3D모델링 방법은 제한되지 않는다.
다음으로, 프로세서(140)는 신체스캔데이터를 3D 모델링하고 제2영상데이터를 획득할 수 있다[S300].
일 실시예에서, 상기 제2영상데이터는 상기 신체스캔데이터의 유방 영역을 의미할 수 있다. 또한, 상기 신체스캔데이터가 3D스캐닝에 의하여 획득된 데이터인 경우, 별도의 3D모델링 과정은 생략될 수 있다.
다음으로, 프로세서(140)는 제1영상데이터 및 제2영상데이터를 병합하여 제3영상데이터를 생성할 수 있다[S400].
제1영상데이터 및 제2영상데이터를 병합하는 과정에 대해서는 도 8을 참조하여 상세히 후술한다.
다음으로, 프로세서(140)는 제3영상데이터에 기초하여 유방 보형물 외형정보를 생성할 수 있다[S500].
이 경우, 제1영상데이터가 유방 내부의 근육에 대한 정보를 포함하고 있고 제2영상데이터는 모양, 크기 및 부피 등에 대한 정보를 포함하고 있으므로, 프로세서(140)는 그림(350)과 같이 근육 (구체적으로, 대흉근 라인)에 맏닿고 유방의 모양과 대응되는 개인 맞춤형 유방 보형물 모형의 모델링이 가능할 수 있다.
도 6은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 5의 S200에서 설명한 바와 같이, 프로세서(140)는 의료영상데이터를 3D 모델링하고 3D 영상데이터로부터 근육 영역(610)을 분할하여 제1영상데이터를 획득할 수 있다. 일 실시예에서, 상기 근육 영역(610)은 유방내의 대흉근 라인을 포함할 수 있다. 또한, 본 발명의 실시예들에 따라 모델링된 유방 보형물은 근육 영역(610)과 맏닿을 수 있다. 이를 통해, 환자는 가슴 근육 경계면에 정확하게 매칭된 유방 보형물을 제공받을 수 있다.
또한, 도 5의 S300에서 설명한 바와 같이, 프로세서(140)는 신체스캔데이터를 3D 모델링하고 가슴 영역(620)에 대한 제2영상데이터를 획득할 수 있다. 일 실시예에서, 상기 가슴 영역(620)은 신체스캐닝을 통해 획득된 것이므로 제2영상데이터는 가슴의 모양, 크기 및 부피 등에 대한 정보를 포함할 수 있다.
도 5의 S400에서 설명한 바와 같이, 프로세서(140)는 그림(630)과 같이 제3영상데이터를 생성하기 위해 제1영상데이터와 제2영상데이터를 병합할 수 있다.
또한, 도 5의 S500에서 설명한 바와 같이, 프로세서(140)는 제3영상데이터를 기초로 유방 보형물 외형정보를 생성할 수 있다. 생성된 외형정보에 기초하여 개인 맞춤형 유방 보형물(640a)이 환자에게 제공될 수 있다. 도 6에 도시된 바와 같이 유방 보형물은 유방 내부의 가슴 근육(640b, 640c)와 맏닿을 수 있다.
도 7은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
도 7에 도시된 일련의 과정은 도 5의 유방 보형물 모델링 과정을 시각적으로 설명하기 위한 것이므로, 자세한 설명은 생략한다.
도 8은 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
프로세서(140)는 제1영상데이터와 제2영상데이터를 병합하여 제3영상데이터를 생성한다. 구체적으로, 프로세서(140)는 영상 정합(Image Registration)을 통해 제3영상데이터를 생성할 수 있다.
상기 영상 정합은 서로 다른 촬영장치로 획득한 영상내용 중 관심부위의 단면형상을 얻어 하나의 참조좌표로 이동시켜 겹쳐보는 기술을 의미한다.
본 발명의 일 실시예에 따르면, 영상 정합은 영상의 주요 특징점을 추출하여 정합하는 특징 요소 정합 기법 또는 영상에서 일정 영역을 지정된 템플릿과 비교하여 가장 유사도가 높은 영역을 판별하는 템플릿 기반 정합 기법(Template-based Registration)을 포함할 수 있다.
상기 특징 요소 정합 기법은 특징요소 추출(feature extraction), 특징 요소 간 정합(feature matching), 변환모델 구성(transformation model estimation), 그리고 기하보정(image registration)의 네 단계로 구성될 수 있다.
또한, 상기 특징 요소 정합 방법으로는 CC(Cross-Correlation), MI(Mutual Information) 또는 LSM(Least-Squares Matching) 등의 강도기반 정합기법(intensity-based matching method)과 SIFT(Scale-Invariant Feature Transform)나 SURF(Speeded Up Robust Features)등의 특징 기반 정합기법(feature-based matching method) 등이 있다.
본 발명의 일 실시예에 따르면, 상기 영상 정합(Image Registration) 방법으로 특징 기반 정합기법을 이용하는 경우, 상기 제1영상데이터(810) 및 제2영상데이터(820)의 축을 정렬한다. 일 실시예에서, 상기 영상데이터의 축은 3차원 공간에서의 x, y, z축을 의미한다.
그리고, 상기 제1영상데이터(810) 및 제2영상데이터(820)로부터 복수의 특징점을 추출하여 매칭함으로써 각 영상의 크기 및 위치를 조절할 수 있다. 일 실시예에서, 상기 특징점은 환자의 상태 변화(예를 들어, 호흡)에 따라 3차원 공간에서의 위치가 변화하지 않는 특정 지점을 포함한다.
일 실시예에서, 상기 특징점 추출은 머신러닝(Machine Learning) 또는 딥러닝(Deep Learning)을 포함하는 인공지능 알고리즘에 의해 구현될 수 있다.
상기 복수의 특징점이 추출되면, 복수의 특징점 사이의 거리 또는 위치를 기초로 제1영상데이터(810) 및 제2영상데이터(820)의 크기 및 위치를 일치시킨 후 병합하여 제3영상데이터를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 유방 보형물 모델링 과정을 설명하기 위한 예시도이다.
유방은 주로 유선 및 지방으로 이루어지는 제1 가슴 영역(910)과 대흉근을 포함하는 제2 가슴 영역(920)을 포함하는데, 전술한 실시예와 같이 환자가 누워서 의료영상(예를 들어, MRI)을 촬영하는 경우, 상기 제1 가슴 영역(910)의 모양은 자세에 따라 크게 변화하지만 제2 가슴 영역(920)의 모양은 자세(선 자세 및 누운 자세)에 따라 크게 변화하지 않는다. 따라서, 제1영상데이터에 포함된 정보를 이용하여 보형물에서 근육 영역과 맞닿는 부분을 모델링할 수 있다. 또한, 신체스캔데이터로부터 획득된 제2영상데이터(930)에 포함된 정보를 이용해 보형물의 크기와 모양 등의 모델링이 가능할 수 있다.
도 10은 본 발명의 일 실시예에 따른 유방 보형물을 나타낸 예시도이다.
동일한 사람이라고 하더라도 왼쪽 유방과 오른쪽 유방의 모양, 크기 또는 내부의 구조가 상이할 수 있다. 본 발명에 개시된 실시예들에 따르면 오른쪽 유방용 보형물(1010a)과 왼쪽 유방용 보형물(1010b) 모델링이 모두 가능할 수 있다. 이를 통해 환자는 개인 맞춤형 유방 보형물을 제공받을 수 있다. 따라서, 환자는 본인의 가슴 근육 경계면에 정확하게 매칭되고 부피가 일치함으로써 보형물과 환자 유방의 절단면의 마찰에 의한 피부 천공, 장액종 등의 합병증 발생을 최소화할 수 있는 효과가 누릴 수 있게된다.
본 발명에서, 프로세서(140)를 통한 다양한 실시예들은 머신러닝 모델을 이용하여 구현될 수도 있다. 일 예로, 본 발명의 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 포함할 수 있다.
상기 심층신경망은 컨볼루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다.
상기 컨볼루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성될 수 있다.
상기 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다.
다른 예로, 본 발명의 심층신경망의 전체적인 구조는 컨볼루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.
본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)이 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)과 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수도 있다.
상기 특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘볼루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.
상기 콘볼루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킨다.
상기 통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘볼루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 상기 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 상기 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.
이와 같이, 콘볼루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 기계학습을 위한 학습 데이터는 U-Net-dhSgement 모델에 기초하여 생성될 수 있다. 여기서, U-Net-dhSgement 모델은 종단 간(end-to-end)의 완전 연결 컨벌루션 네트워크 (Fully Convolutional Networks. FCN)를 기초로, 확장(expansive) 경로를 수축(contracting) 경로와 대칭(symmetric)으로 설정하여 각 레벨에 대한 스킵(skip) 연결이 있는 U 자형 아키텍처를 생성한 모델일 수 있다.
또한, 머신러닝 모델을 위한 학습 데이터는 의료영상데이터, 제1영상데이터, 신체스캔데이터, 제2영상데이터 및 제3영상데이터로 구성될 수 있다.
따라서, 프로세서(140)는 학습 데이터를 통해 학습한 머신러닝 모델을 이용하여, 도 5 및 도 8에서 상술한, 개인 맞춤형 유방 보형물을 모델링 하는 과정을 수행할 수 있다.
본 발명의 다양한 실시예들은 기기(machine)(예를 들어, 유방 보형물 맞춤 장치(100) 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(140))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 명세서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 유방 보형물 맞춤 장치
Claims (10)
- 컴퓨터에서 수행되는 개인 맞춤형 유방 보형물 모델링 방법에 있어서,
의료영상데이터 및 신체스캔데이터를 획득하는 단계;
상기 의료영상데이터를 3D 모델링하여 제1영상데이터를 획득하는 단계;
상기 신체스캔데이터를 3D 모델링하여 제2영상데이터를 획득하는 단계;
획득된 상기 제1영상데이터의 관심부위와 획득된 상기 제2영상데이터의 관심부위의 단면형상을 얻어 하나의 참조좌표로 병합하여 제3영상데이터를 생성하는 단계; 및
상기 제3영상데이터를 기초로 유방 보형물 외형정보를 생성하는 단계;를 포함하고,
상기 제1영상데이터는 상기 의료영상데이터에서 유선 또는 지방을 포함하는 가슴 영역과 결합되는 근육 영역을 분할하여 획득하는, 유방 보형물 모델링 방법. - 제1항에 있어서,
상기 외형정보를 생성하는 단계;는 머신러닝 모델을 이용하여 수행되며,
상기 머신러닝 모델을 위한 학습 데이터는 상기 의료영상데이터, 상기 제1영상데이터, 상기 신체 스캔데이터, 상기 제2영상 데이터 및 상기 제3영상데이터로 구성되는, 유방 보형물 모델링 방법. - 제1항에 있어서,
상기 병합은 영상 정합을 통해 수행되며,
상기 영상 정합은 특징 요소 정합 기법 및 템플릿 기반 정합 기법을 적어도 하나를 포함하는, 유방 보형물 모델링 방법. - 제1항에 있어서,
상기 제3영상데이터는 왼쪽 유방과 오른쪽 유방에 대하여 모양, 크기 또는 내부의 구조 중 적어도 하나가 다르게 생성되는, 유방 보형물 모델링 방법. - 제1항에 있어서,
상기 제1영상데이터는 가슴 근육에 대한 정보를 포함하고, 상기 제2영상데이터는 가슴의 모양, 크기 및 부피에 대한 정보를 포함하고, 상기 제3영상데이터는, 상기 유선 또는 지방을 포함하는 가슴 영역과 결합되는 근육 영역과 유방의 모양, 크기 및 부피에 대한 정보를 포함하는, 유방 보형물 모델링 방법. - 제1항에 있어서,
의료영상데이터를 획득하는 의료영상획득부;
신체스캔데이터를 획득하는 신체영상획득부; 및
상기 의료영상데이터를 3D 모델링하여 제1영상데이터를 획득하고,
상기 신체스캔데이터를 3D 모델링하여 제2영상데이터를 획득하고,
상기 제1영상데이터는 상기 의료영상데이터에서 유선 또는 지방을 포함하는 가슴 영역과 결합되는 근육 영역을 분할하여 획득하고,
획득된 상기 제1영상데이터의 관심부위와 획득된 상기 제2영상데이터의 관심부위의 단면형상을 얻어 하나의 참조좌표로 병합하여 제3영상데이터를 생성하고,
상기 제3영상데이터를 기초로 유방 보형물 외형정보를 생성하는 프로세서;를 포함하는, 유방 보형물 모델링 장치. - 제6항에 있어서,
상기 병합은 영상 정합을 통해 수행되며,
상기 영상 정합은 특징 요소 정합 기법 및 템플릿 기반 정합 기법을 적어도 하나를 포함하는, 유방 보형물 모델링 장치. - 제6항에 있어서,
상기 제3영상데이터는 왼쪽 유방과 오른쪽 유방에 대하여 모양, 크기 또는 내부의 구조 중 적어도 하나가 다르게 생성되는, 유방 보형물 모델링 장치. - 제6항에 있어서,
상기 제1영상데이터는 가슴 근육에 대한 정보를 포함하고, 상기 제2영상데이터는 가슴의 모양, 크기 및 부피에 대한 정보를 포함하고, 제3영상데이터는, 상기 유선 또는 지방을 포함하는 가슴 영역과 결합되는 근육 영역과 유방의 모양, 크기 및 부피에 대한 정보를 포함하는, 유방 보형물 모델링 장치. - 제1항에 기재된 유방 보형물 모델링 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190171953 | 2019-12-20 | ||
| KR20190171953 | 2019-12-20 | ||
| KR1020200176976A KR20210080232A (ko) | 2019-12-20 | 2020-12-17 | 개인 맞춤형 유방 보형물을 모델링하는 방법 및 프로그램 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200176976A Division KR20210080232A (ko) | 2019-12-20 | 2020-12-17 | 개인 맞춤형 유방 보형물을 모델링하는 방법 및 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230012091A true KR20230012091A (ko) | 2023-01-25 |
| KR102535865B1 KR102535865B1 (ko) | 2023-05-26 |
Family
ID=76477904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230004346A KR102535865B1 (ko) | 2019-12-20 | 2023-01-11 | 개인 맞춤형 유방 보형물을 모델링하는 방법 및 프로그램 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220395329A1 (ko) |
| KR (1) | KR102535865B1 (ko) |
| WO (1) | WO2021125851A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4235572A1 (en) * | 2022-02-28 | 2023-08-30 | Imagoworks Inc. | Automated registration method of 3d facial scan data and 3d volumetric medical image data using deep learning and computer readable medium having program for performing the method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190046465A (ko) | 2017-10-26 | 2019-05-07 | 영남대학교 산학협력단 | 맞춤형 유방보형물 제조방법, 이를 수행하는 제조시스템, 이를 위한 컴퓨터 프로그램과 컴퓨터 판독가능한 기록매체, 맞춤형 유방보형물, 및 맞춤형 보정 브래지어 |
| EP3513761A2 (en) * | 2013-02-07 | 2019-07-24 | Crisalix SA | 3d platform for aesthetic simulation |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7058439B2 (en) * | 2002-05-03 | 2006-06-06 | Contourmed, Inc. | Methods of forming prostheses |
| JP2015054089A (ja) * | 2013-09-12 | 2015-03-23 | 株式会社エクシールコーポレーション | 乳房再建用フォーミングカップの作製方法及び乳房再建用フォーミングカップ |
| KR102078159B1 (ko) * | 2018-04-27 | 2020-02-17 | 한림대학교 산학협력단 | 3d 프린터를 이용한 유방 보형물 제작 시스템 |
-
2020
- 2020-12-17 WO PCT/KR2020/018592 patent/WO2021125851A1/ko active Application Filing
-
2022
- 2022-06-20 US US17/844,577 patent/US20220395329A1/en active Pending
-
2023
- 2023-01-11 KR KR1020230004346A patent/KR102535865B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3513761A2 (en) * | 2013-02-07 | 2019-07-24 | Crisalix SA | 3d platform for aesthetic simulation |
| KR20190046465A (ko) | 2017-10-26 | 2019-05-07 | 영남대학교 산학협력단 | 맞춤형 유방보형물 제조방법, 이를 수행하는 제조시스템, 이를 위한 컴퓨터 프로그램과 컴퓨터 판독가능한 기록매체, 맞춤형 유방보형물, 및 맞춤형 보정 브래지어 |
Non-Patent Citations (1)
| Title |
|---|
| 정영진 외 2인, 유방결손 환자의 유방 재건용 3D프린팅 인공보형물 제작을 위한 의료영상(MRI) 및 3D스케닝 데이터를 활용한 segmentation/modeling 알고리즘 개발(2018.12.19.) 1부.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220395329A1 (en) | 2022-12-15 |
| KR102535865B1 (ko) | 2023-05-26 |
| WO2021125851A1 (ko) | 2021-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | U-net plus: Deep semantic segmentation for esophagus and esophageal cancer in computed tomography images | |
| EP3102154B1 (en) | Method for manufacturing a surgical kit for cartilage repair | |
| CN107563434B (zh) | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 | |
| US20220012890A1 (en) | Model-Based Deep Learning for Globally Optimal Surface Segmentation | |
| EP3100236A1 (en) | Method and system for constructing personalized avatars using a parameterized deformable mesh | |
| CN109741343A (zh) | 一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法 | |
| Dimas et al. | Intelligent visual localization of wireless capsule endoscopes enhanced by color information | |
| US9508144B2 (en) | Determining an anatomical atlas | |
| CN109512464A (zh) | 一种疾病筛查和诊断系统 | |
| KR102535865B1 (ko) | 개인 맞춤형 유방 보형물을 모델링하는 방법 및 프로그램 | |
| Yousefi et al. | Esophageal tumor segmentation in CT images using a dilated dense attention Unet (DDAUnet) | |
| CN110739049A (zh) | 图像勾画方法、装置、存储介质及计算机设备 | |
| CN107424162A (zh) | 一种图像分割方法及系统 | |
| Zhai et al. | Application of image segmentation technique in tongue diagnosis | |
| WO2018201437A1 (zh) | 一种图像分割方法及系统 | |
| CN116167990B (zh) | 基于图像的目标识别、神经网络模型处理方法 | |
| CN107230211A (zh) | 一种图像分割方法及系统 | |
| Medi et al. | Skinaid: a gan-based automatic skin lesion monitoring method for iomt frameworks | |
| Fang et al. | Superpixel/voxel medical image segmentation algorithm based on the regional interlinked value | |
| KR20210080232A (ko) | 개인 맞춤형 유방 보형물을 모델링하는 방법 및 프로그램 | |
| Ren et al. | Three-dimensional reconstruction of abdominal aortic aneurysm based on compressive sensing with iterative optimization and its application in 3D printing | |
| US20220392076A1 (en) | Device and method for modeling three-dimensional organ by image segmentation | |
| CN113962957A (zh) | 医学图像处理方法、骨骼图像处理方法、装置、设备 | |
| KR102409464B1 (ko) | 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법 | |
| De Oliveira | An affordable and practical 3d solution for the aesthetic evaluation of breast cancer conservative treatment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |