KR102409464B1 - 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법 - Google Patents

Abstract

본 발명은 장치에의해 수행되는 영상 분할을 통한 기관의 3차원 모델링 방법이 제공된다. 영상 분할을 통한 기관의 3차원 모델링 방법은 대상체의 특정 신체 기관에 대한 의료영상데이터를 입력받는 단계, 상기 의료영상데이터를 기반으로, 상기 신체 기관에 관한 관심영역을 설정하는 단계, 상기 관심영역에 대응하는 하나 이상의 블록을 형성하는 단계, 상기 블록 각각에 대한 세그먼테이션 알고리즘을 설정하는 단계, 상기 블록 각각에 설정된 알고리즘을 기초로, 상기 블록 각각에 포함된 일부분들을 3차원 모델링각각의 제1영상데이터를 생성하는 단계 및 상기 각각의 제1영상데이터를 병합하여 상기 신체 기관 전체에 대한 3차원 형태의 제2영상데이터를 생성하는 단계를 포함한다.

Description

영상 분할을 통한 기관의 3차원 모델링 장치 및 방법{DEVICE AND METHOD FOR MODELING THREE-DIMENSIONAL ORGAN BY IMAGE SEGMENTATION}

본 발명은 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법에 관한 것이다.

생체장기모사기술은 심장, 폐 간 등의 인체 내부의 장기를 모방하는 기술이다. 생체장기모사기술은 배양된 세포나 동물실험에 의존하는 기존의 임상시험의 단점을 보완할 수 있는 기술로 주목받고 있다. 생체장기모사기술을 통해 인체 내부 장기를 실제와 유사하게 제작하고 주변 환경을 재현하여 실제 장기가 작동하는 시스템을 구현하여 임상시험을 진행하면 안전성은 물론 실제 인체장기가 작동하는 생리환경을 보다 정확하게 반영할 수 있고, 동물실험에서 발생하는 윤리적 문제와 비용, 시간, 결과의 부정확함 등을 해결할 수 있는 장점이 있다.

장기모형은 장기의 실제 형상과 유사하게 제작된 3D 형상으로서 정밀한 모사를 위해 모델링(Modeling) 및 렌더링(Rendering) 기술이 요구된다. 모델링(Modeling)은 컴퓨터 그래픽을 이용하여 컴퓨터 내부의 가상공간에 3차원 모형을 만들어내는 행위를 의미하며 주로 3D 그래픽 툴을 이용한다. 모델링된 3차원 모형을 현실의 물체가 아닌 데이터로 저장한다. 렌더링(Rendering)은 컴퓨터 프로그램을 사용하여 모델로부터 영상을 만들어내는 과정을 의미한다.

영상 분할(Image segmentation)은 디지털 영상을 복수의 픽셀 또는 복셀 집합으로 나누는 과정을 의미한다. 분할의 목적은 영상의 표현을 좀 더 의미있고 해석하기 쉬운 것으로 단순화하거나 변환하는 것이다. 영상 분할은 영상에서 물체와 경계를 찾는데 사용된다. 분할의 결과는 전체 영상을 집합적으로 포함하는 영역의 집합이거나, 영상으로부터 추출된 윤곽의 집합이다.

등록특허공보 제10-1986571호, 2019.05.31

본 발명이 해결하고자 하는 과제는 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법을 제공하는 것이다.

보다 상세하게는 생체 기관 모델링 과정에서 요구되는 수작업 영역 및 후처리 작업을 최소화하고 컴퓨터 프로그램을 이용하여 빠르게 처리할 수 있도록 하는 3차원 기관 형상을 모델링하는 방법 및 프로그램을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는 생체 장기 모델링 과정에서 장기의 부위별 차이를 최소화하고, 장기의 세세한 부분들까지 실제 장기와 유사하도록 정확하게 모델링할 수 있는 3차원 기관 형상을 모델링하는 방법 및 프로그램을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 영상 분할을 통한 기관의 3차원 모델링 방법은, 장치에 의해 수행되는 방법으로, 대상체의 특정 신체 기관에 대한 의료영상데이터를 입력받는 단계, 상기 의료영상데이터를 기반으로, 상기 신체 기관에 관한 관심영역을 설정하는 단계, 상기 관심영역에 대응하는 하나 이상의 블록을 형성하는 단계-상기 블록 각각은, 상기 관심영역에 해당하는 상기 신체 기관의 일부분을 포함함-, 상기 블록 각각에 대한 세그먼테이션 알고리즘을 설정하는 단계, 상기 블록 각각에 설정된 알고리즘을 기초로, 상기 블록 각각에 포함된 일부분들을 3차원 모델링한 각각의 제1영상데이터를 생성하는 단계 및 상기 각각의 제1영상데이터를 병합하여 상기 신체 기관 전체에 대한 3차원 형태의 제2영상데이터를 생성하는 단계를 포함한다.

본 발명의 일부 실시예에서, 상기 관심영역을 설정하는 단계는, 딥러닝 기반의 제1 모델을 기초로, 상기 신체 기관의 유형을 인식하여, 상기 신체 기관의 유형에 상응하는 관심영역을 자동 생성하는 것일 수 있다.

본 발명의 일부 실시예에서, 상기 병합은 영상 정합을 통해 수행되며, 상기 영상 정합은 특징 요소 정합 기법 및 템플릿 기반 정합 기법을 적어도 하나를 통해 수행될 수 있다.

본 발명의 일부 실시예에서, 상기 제1영상데이터를 생성하는 단계는, 상기 블록 간에 중복 영역이 존재하는 경우, 상기블록 각각에 설정된 세그멘테이션 알고리즘을 기반으로, 상기 중복 영역에 포함되는 상기 신체 부위를 탐색하는 것을 특징으로 할 수 있다.

본 발명의 일부 실시예에서, 상기 관심 영역을 설정하는 단계는, 상기 신체 기관의 혈영 영역에 상응하는 제1 영역과 상기 신체 기관의 근육 영역에 상응하는 제2 영역으로 분할하는 단계와 상기 제1 영역과 제2 영역을 상기 신체 기관에 관한 관심영역으로 설정하는 단계를 더 포함하고, 상기 분할하는 단계는, 상기 의료영상데이터를 기반으로, 상기 신체 기관에 관한 명암값이 기 설정된 제1 값 이상인 경우 상기 혈액 영역에 상응하는 제1 영역으로 식별하고, 명암값이 기 설정된 제2 값 미만인 경우 상기 근육 영역에 상응하는 제2 영역으로 식별하여 분할하는 것일 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 영상 분할을 통한 기관의 3차원 모델링하는 장치는, 의료영상데이터를 획득하는 수집부 및 상기 의료영상데이터를 기반으로, 상기 신체 기관에 관한 관심영역을 설정하고, 상기 관심영역에 대응하는 하나 이상의 블록을 형성하고, 상기 블록 각각에 대한 세그먼테이션 알고리즘을 설정하고, 상기 블록 각각에 설정된 알고리즘을 기초로, 상기 블록 각각에 포함된 일부분들을 3차원 모델링한 각각의 제1영상데이터를 생성하고, 상기 각각의 제1영상데이터를 병합하여 상기 신체 기관 전체에 대한 3차원 형태의 제2영상데이터를 생성하되, 상기 블록 각각은, 상기 관심영역에 해당하는 상기 신체 기관의 일부분을 포함한다.

본 발명의 일부 실시예에서, 상기 블록 간에 중복 영역이 존재하는 경우, 상기블록 각각에 설정된 세그멘테이션 알고리즘을 기반으로, 상기 중복 영역에 포함되는 상기 신체 부위를 탐색하는 것을 특징으로 할 수 있다.

본 발명의 일부 실시예에서, 상기 관심영역을 설정하는 것은, 딥러닝 기반의 제1 모델을 기초로, 상기 신체 기관의 유형을 인식하여, 상기 신체 기관의 유형에 상응하는 관심영역을 자동 생성하는 것일 수 있다.

본 발명의 일부 실시예에서, 상기 영상 정합은 특징 요소 정합 기법 및 템플릿 기반 정합 기법을 적어도 하나를 통해 수행될 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 영상 분할을 통한 기관의 3차원 모델링하는 프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 영상 분할을 통한 기관의 3차원 모델링 방법을 실행시키기 위하여 매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기 본 발명에 의하면, 기관을 구성하는 관심영역들에 대해 하나 이상의 블록을 지정하고 각각의 블록에 최적화된 알고리즘을 적용함으로써, 수작업 및 후처리를 줄이고, 복수의 관심영역에 대하여 동시에 세그먼테이션을 진행할 수 있게 되어 기관 모델링 작업을 더 빠르게 수행할 수 있다.

또한, 상기 본 발명에 의하면, 장기를 구성하는 관심영역들 각각에 배치된 블록마다 차별화된 알고리즘을 적용하여 세그먼테이션을 진행할 수 있게 되어 복잡한 기관에 대해서도 정밀하고 정확한 기관 모델링 작업이 가능하다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 영상 분할을 통한 기관의 3차원 모델링 장치 의 블록도이다.
도 2은 본 발명의 일 실시예에 따른 영상 분할을 통한 기관의 3차원 모델링 방법의 과정을 개략적으로 나타내는 흐름도이다.
도 3는 본 발명의 일 실시예에 따른 3차원 기관 형상을 모델링하는 프로그램의 기본 화면을 나타내는 예시도이다.
도 4은 본 발명의 일 실시예에 따른, 관심 영역을 포함하는 하나 이상의 블록을 형성하여 출력한 것을 나타낸 예시도이다.
도 5는 대상 기관인 심장에 대해 전체 촬영 이미지를 대상으로 3차원 모델링을 수행하는 예시도이다..
도 6은 본 발명의 일 실시예에 따른 블록 각각에 대하여 설정된 세그먼테이션 알고리즘을 기반으로, 블록 각각에 포함된 일부분들을 3차원 모델링한 각각의 제1영상데이터를 생성하는 모습을 나타내는 예시도이다.
도 7은 각각의 제1영상데이터를 병합하여 심장 기관 전체에 대한 3차원 형태의 제2 영상데이터를 생성하는 것을 나타낸 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제 1", "제 2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.

"예시적인"이라는 단어는 본 명세서에서 "예시 또는 예증으로서 사용된"의 의미로 사용된다. 본 명세서에서 "예시적인"것으로 설명된 임의의 실시예는 반드시 바람직한 것으로서 해석되거나 다른 실시예들보다 이점을 갖는 것으로 해석되어서는 안된다.

또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 엘리먼트를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 엘리먼트들, 객체지향 소프트웨어 엘리먼트들, 클래스 엘리먼트들 및 태스크 엘리먼트들과 같은 엘리먼트들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 엘리먼트들과 "부"들 안에서 제공되는 기능은 더 작은 수의 엘리먼트들 및 "부"들로 결합되거나 추가적인 엘리먼트들과 "부"들로 더 분리될 수 있다.

또한, 본 명세서의 모든 “부”는 적어도 하나의 프로세서에 의해 제어될 수 있으며 본 개시의 “부”가 수행하는 동작을 적어도 하나의 프로세서가 수행할 수도 있다.

본 개시의 실시예들은 기능 또는 기능을 수행하는 블록의 관점에서 설명될 수 있다. 본 개시의 ‘부’ 또는 ‘모듈’ 등으로 지칭될 수 있는 블록은 논리 게이트, 집적 회로, 마이크로 프로세서, 마이크로 컨트롤러, 메모리, 수동 전자 부품, 능동 전자 부품, 광학 컴포넌트, 하드와이어드 회로(hardwired circuits) 등과 같은 아날로그 또는 디지털 회로에 의해 물리적으로 구현되고, 선택적으로 펌웨어 및 소프트웨어에 의해 구동될 수 있다.

본 개시의 실시예는 적어도 하나의 하드웨어 디바이스 상에서 실행되는 적어도 하나의 소프트웨어 프로그램을 사용하여 구현될 수 있고 엘리먼트를 제어하기 위해 네트워크 관리 기능을 수행할 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여 질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 "기관"은 심장, 위, 간, 폐, 림프절, 치아, 안구, 갑상선, 난소, 피부, 뇌 등을 포함하나 이에 한정되는 것은 아니다. 특정 대상체, 예를 들어 사람 또는 동물의 몸을 구성하는 임의의 기관의 일부분 또는 전체 부분이다.

본 명세서에서 "세그먼테이션(Segmetation)"은 영상 내에서 물체 및 경계를 찾는 작업을 의미한다. 예를 들어, 세그먼테이션은 밝기값을 조절하여 대상 부위 및 경계를 찾고 시각적으로 구별되도록 처리하는 작업을 포함할 수 있으나 이에 한정되는 것은 아니다.

본 명세서에서 '의료영상데이터'는 자기공명영상(Magnetic Resonance Imaging; MRI), 컴퓨터단층촬영(Computerized Tomography; CT), 양전자단층촬영(Positron Emission Tomography; PET), 초음파촬영(Ultrasonography)을 포함하나, 이에 제한되지 않고 의료용으로 환자의 신체를 촬영한 모든 영상데이터를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 분할을 통한 기관의 3차원 모델링 장치 의 블록도이다.

본 발명의 일 실시예에 따르면, 영상 분할을 통한 기관의 3차원 모델링 장치(100)는 수집부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.

영상 분할을 통한 기관의 3차원 모델링 장치(100)는 예를 들어, 컴퓨터, UMPC(Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), PMP(portable multimedia player) 같은 전자 장치 중 하나로서, 일 실시예와 관련된 어플리케이션의 설치 및 실행이 가능한 모든 전자 장치를 포함할 수 있다. 전자 장치는 어플리케이션의 제어 하에 예를 들어, 서비스 화면의 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등과 같은 서비스 전반의 동작을 수행할 수 있다.

영상 분할을 통한 기관의 3차원 모델링 장치(100)는 통신부(110)를 통해 의료영상데이터를 획득할 수 있다. 여기서, 상기 의료영상데이터는 MRI 또는 CT 촬영 영상을 포함할 수 있다.

본 발명의 메모리(120)는 의료영상데이터 및 프로세서(130)에 의해 추출된 제1영상데이터와 제2영상데이터를 저장할 수 있는 로컬 저장 매체이다. 필요한 경우 프로세서(130)는 메모리(120)에 저장된 데이터를 이용할 수 있다. 또한, 본 발명의 메모리(120)는 프로세서(130)가 동작하기 위한 인스트럭션, 프로그램 또는 어플리케이션 등을 저장할 수 있다.

또한, 본 발명의 메모리(120)는 영상 분할을 통한 기관의 3차원 모델링 장치에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(Writable Rom)로 구비될 수 있다. 즉, 메모리(120)는 플래쉬메모리(Flash Memory) 또는 EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다. 본 발명에서 설명의 편의를 위해 하나의 메모리(120)에 모든 인스트럭션 정보가 저장되는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 영상 분할을 통한 기관의 3차원 모델링 장치(100)는 복수의 메모리를 구비할 수 있다.

본 발명의 일 실시예에 따르면, 프로세서(130)는 상술한 통신부(110)를 통해 획득한 또는 메모리(120)에 저장된 의료영상데이터를 기반으로, 의료영상데이터에 포함되어 있는, 특정 기관을 3차원 모델링한다. 이에 대해서는 자세히 후술하도록 한다.

한편, 본 발명의 일 실시예로, 프로세서(130)은 각각의 블록에 포함되는 심체 기관에 대한 3차원 모델링 통해 생성된 복수의 제1영상데이터를 병합(Merge)하여 제2영상데이터를 획득할 수 있다. 이 경우, 제2영상데이터는 상기 의료영상데이터에 포함되는 기관에 대한 관심영역의 전체를 포함하는 데이터일 수 있다.

영상 분할을 통한 기관의 3차원 모델링 장치(100)에 대해 설명된 실시예들은 영상 분할을 통한 기관의 3차원 모델링 방법의 적어도 일부 또는 모두에 적용이 가능하고, 반대로 영상 분할을 통한 기관의 3차원 모델링 방법에 대해 설명된 실시예들은 영상 분할을 통한 기관의 3차원 모델링 장치(100)에 대한 실시예들에 적어도 일부 또는 모두 적용이 가능하다. 또한, 개시된 실시예들에 따른 영상 분할을 통한 기관의 3차원 모델링 방법은 본 명세서에 개시된 영상 분할을 통한 기관의 3차원 모델링 장치(100)에 의해 수행되는 것으로 그 실시 예가 한정되지 않고, 다양한 형태의 전자장치에 의해 수행될 수 있다.

이하, 도 2 내지 도 7을 참조하여, 본 발명에 따른 영상 분할을 통한 기관의 3차원 모델링 과정에 대해 상세히 설명한다. 이하에서 설명되는 장치(100)의 모든 동작은 장치(100)의 전반적인 동작을 제어하는 프로세서(130)에서도 동일하게 수행 가능하다.

도 2은 본 발명의 일 실시예에 따른 영상 분할을 통한 기관의 3차원 모델링 방법의 과정을 개략적으로 나타내는 흐름도이다. 도 3는 본 발명의 일 실시예에 따른 3차원 기관 형상을 모델링하는 프로그램의 기본 화면을 나타내는 예시도이다.

도 3을 참조하면, 기본 화면은 대상체의 신체 기관의 전체 형상이 표시되는 레이어와 3가지 평면(Axial plane, coronal plane, sagittal plane) 각각의 이미지를 표시하는 레이어를 포함할 수 있다.

먼저 도 2를 참조하면, 프로세서(130)는 대상체의 특정 신체 기관에 대한 의료영상데이터를 입력받는다(S210).

여기서 의료영상데이터는 CT(Computed tomography) 촬영 데이터 또는 MRI(Magnetic resonance imaging) 촬영 데이터를 포함한다. 그러나 이에 제한되는 것은 아니다.

CT 촬영 데이터는 CT 스캐너를 이용한 컴퓨터단층촬영법(Computed tomography; CT)으로 인체 내부 단면의 모습을 촬영한 데이터이다.

MRI 촬영 데이터는 자기공명영상법(Magnetic resonance imaging; MRI), 즉, 자력에 의하여 발생하는 자기장을 이용하여 생체의 임의의 첨단의학기계 또는 그 기계로 만든 영상법으로 촬영한 데이터이다.

CT 촬영 데이터 또는 MRI 촬영 데이터는 신체 기관을 3차원 모델링하는 과정의 기초 데이터로 활용된다. 즉, 입력된 CT 촬영 데이터 또는 MRI 촬영 데이터를 기초로 세그먼테이션 및 렌더링 작업을 수행하여 기관 형상을 3차원 모델링한다.

다시 도 2를 참조하면, 장치의 수집부(110)를 통해 입력받은 의료영상데이터를 기반으로, 프로세서(130)는 상기 신체 기관에 관한 관심영역을 설정한다(S220).

관심영역(Region of interest; ROI)은 영상처리상의 방법으로서, 측정하고자 하는 기관, 장기, 조직 등이나 부위의 범위를 설정하는 것이다. 관심영역은 2차원 상의 영역 또는 3차원 상의 영역(Volume of interest; VOI)으로 설정될 수 있다.

S220 단계를 통해, 상기 프로세서(130)는 신체 기관에 관한 관심영역이 설정되면, 관심영역에 대응하는 하나 이상의 블록을 형성하여 출력한다(S230). 이때, 본 발명의 일 실시예로, 상기 블록 각각은, 상기 관심영역에 해당하는 상기 신체 기관의 일부분을 포함한다.

도 4은 본 발명의 일 실시예에 따른, 관심 영역을 포함하는 하나 이상의 블록을 형성하여 출력한 것을 나타낸 예시도이다.

S230 단계는 프로세서(130)가 S220 단계에서 설정된 하나 이상의 관심영역 각각에 대응하는 블록을 형성하여 관심영역을 시각적으로 표시하는 단계이다.

도 4를 참조하면, 본 발명의 일 실시예로, 블록(Block)은 큐브(직육면체) 형상으로 구성될 수 있다. 그러나 이에 한정되는 것은 아니고 곡선을 포함하는 형상(예를 들어, 구형 또는 직육면체의 일부 면만 곡면으로 구성된 형상 등)으로 구성되는 것도 가능하다. 도 4에는 심장의 CT 촬영 데이터를 입력받고 복수의 관심영역을 설정하여 각각의 관심영역에 대하여 4개의 블록(200a, 200b, 200c, 200d)을 형성하여 출력된 모습이 도시되어 있다. 도면에는 편의상 4개의 큐브 형태의 블록을 도시하였지만, 블록의 형태 및 개수에는 제한이 없다.

예를 들어, 설정된 관심 영역이 인간의 심장이라고 가정하였을 때, 상기 심장에 대응하는 하나 이상의 큐브 형상의 블록을 사용자의 디바이스로 출력한다. 이때, 큐브 형상의 각각의 블록은 심장 기관의 전체 또는 일부분을 포함하게 된다. 구체적으로 각각의 블록이 심장의 좌심방, 좌심실, 우심방, 우심실, 대동맥, 폐동맥, 정맥, 대동맥판막, 폐동맥판막, 삼천판, 승모판, 관상동맥 등을 각각 포함되도록 형성될 수 있을 것이다.

본 발명의 일 실시예로 장치는 사용자에게 관심영역을 포함하도록 블록의 크기 및 위치를 조절할 수 있는 인터페이스를 제공할 수도 있다. 한편, 블록은 개수에 제한이 없으며 복수의 관심영역 각각에 대하여 복수의 블록이 형성될 수 있다. 또한, 형성된 복수의 블록 각각의 크기, 각도 및 위치는 상이할 수 있다.

도 4를 참조하면, 각각의 블록은 3개의 평면(Axial plane, coronal plane, sagittal plane)에 대한 축을 기준으로 크기가 조절될 수 있다. 또한, 상술한 바와 같이 블록간 겹치는 영역이 존재하거나 필요에 따라 블록을 이동 및 회전시키는 것이 가능하다.

다른 실시예로, 블록은 다른 블록과 겹치는 영역이 존재하도록 생성 및 배치될 수 있다. 대부분의 기관에 포함되는 부위들은 일단면을 기준으로 완벽하게 분리되도록 구성되어 있지 않고, 다양한 형태 및 결합으로 구성되어 있다. 따라서, 관심영역으로 설정된 각각의 부위에 대해 블록을 형성할 경우 겹치는 영역이 발생할 수 있다. 본 발명의 블록은 겹쳐서 형성되는 것이 가능하므로 보다 정확하게 부위별 관심영역 설정 및 블록 형성이 가능하다. 또한, 각 부위의 경계면에 위치하는 조직(예를 들어, 심장의 판막)을 보다 정확하고 세밀하게 파악할 수 있다.

또 다른 실시예로, 블록은 회전이 가능하도록 구성될 수 있다. 즉, 블록은 시스템의 조작에 따라 특정 축을 기준으로 회전할 수 있도록 구성될 수 있다. 이를 통해 복잡한 형상의 기관의 각 부위에 대하여 보다 정확하게 관심영역을 설정할 수 있다.

이때, 본 발명의 일 실시예로 블록은 각각의 관심영역에 대하여 인공지능 기술을 이용하여 자동으로 생성될 수 있다. 각 기관에 따라 주로 관심영역으로 설정되는 부위들에 대해 입력받을 수 있다. 또는 머신 러닝(Machine learning) 및 딥 러닝(Deep learning) 기술을 통해 의료영상데이터를 기초로, 신체 기관의 유형을 식별하고, 상기 신체 기관의 유형에 상응하는 관심영역을 자동으로 설정하고, 해당 관심영역에 대한 블록을 자동으로 형성하여 표시할 수 있다.

구체적으로, 의료영상데이터를 딥러닝 기반의 제1 모델에 입력하였을 때, 상기 의료영상데이터에 포함되는 대상체의 신체 기관을 식별하여, 관심영역을 설정하고, 해당 관심영역에 따른 복수의 블록을 형성하도록 출력할 수 있을 것이다. 대상 기관이 심장인 경우, 좌심방, 좌심실, 우심방, 우심실, 대동맥, 폐동맥, 정맥, 대동맥판막, 폐동맥판막, 삼천판, 승모판, 관상동맥등을 등의 부위에 대한 관심영역을 자동으로 설정하고, 해당 관심영역들에 대한 블록을 자동으로 형성하여 표시할 수 있다.

한편, 본 발명의 일 실시예로, 상기 신체 기관이 심장 기관인 경우, 프로세서(130)는 상기 심장 기관의 판막의 위치 정보를 추출하고, 상기 판막의 위치 정보에 기반하여 관심영역을 설정할 수 있다.

구체적으로 프로세서(130)는 심장 기관의 삼천판(Tricuspid), 폐동맥판(Pulmonary Valve), 승모판(Mitral Valve)과 대동맥 판막(Aortic valve)의 식별하고, 각각의 판막의 위치 정보를 추출한다. 그리고 각각의 판막의 위치 정보에 기반하여 4개의 관심영역을 설정한다. 이때, 4개의 관심영역은 각각 좌심방, 좌심실, 우심방 및 우심실에 상응하여 설정될 수 있다.

한편, 도면에 명확히 도시되지는 않았으나, 본 발명의 일 실시예로, 프로세서(130)는 관심 영역을 설정하는데 있어, 상기 신체 기관을 혈영 영역에 상응하는 제1 영역과 상기 신체 기관의 근육 영역에 상응하는 제2 영역으로 분할하고, 상기 제1 영역과 제2 영역을 상기 신체 기관에 관한 관심영역으로 각각 설정할 수 있다. 이때, 제1 영역과 제2 영역을 분할하는 단계는, 상기 의료영상데이터를 기반으로, 상기 신체 기관에 관한 명암값이 기 설정된 제1 값 이상인 경우 상기 혈액 영역에 상응하는 제1 영역으로 식별하고, 명암값이 기 설정된 제2 값 미만인 경우 상기 근육 영역에 상응하는 제2 영역으로 식별하여 분할하는 것일 수 있다. 이때, 제1 값은 제2 값보다 높은 값으로 설정될 수 있다. 그러나 이에 제한되는 것은 아니며, 제1 값과 제2 값은 동일한 값을 설정될 수도 있을 것이다.

예를 들어, 상기 신체 기관이 심장이고, 상기 의료영상데이터가 심장이 대한 CT촬영데이터라고 가정하였을 때, 상기 심장 내 혈액(Lumen)영역은, CT 촬영을 위해, 조영제를 주입한 상태로 촬영된다. 따라서, 의료영상데이터 내에서 상기 혈액 영역은 근육 영역보다 상대적으로 밝은, 즉 높은 명암값을 갖게 된다. 따라서, 명암 값이 기 설정된 제1 값 이상인 경우에는, 심장 기관의 혈액 영역으로 식별하고, 명암 값이 기 설정된 제2 값 이상인 경우에는, 심장 기관의 근육 영역으로 식별하여 각각 분할할 수 있다. 그리고 분활된 혈액 영역(제1 영역)과 근육 영역(제2 영역)을 각각 심장 기관의 관심 영역으로 설정할 수 있을 것이다. 이때, 본 발명의 일 실시예로, 상기 심장 기관의 제2 영역인, 근육 영역은 상술한 바와 같이 판막의 위치 정보를 기반으로 4개의 관심영역으로 재설정될 수 있다.

다시 도 2를 참조하면, S230 단계 이후, 장치는 상기 블록 각각에 대한 세그먼테이션 알고리즘을 설정한다(S240).

세그먼테이션 알고리즘(Segmentation algorithm)은 촬영 데이터의 특정한 변수(예를 들어, Hounsfield un(HU), 명암값, 밝기값 등)를 설정된 기준값을 기준으로 조절하는 알고리즘을 의미한다. 세그먼테이션 알고리즘은 각각의 관심영역에 대한 블록에 포함하는 신체 기관의 일부분의 경계를 탐색하거나 부각시키는데 이용된다.

한편 본 발명의 일 실시예로 상기 제1 영상데이터를 생성하는 단계는, 상기 블록에 설정된 세그먼테이션 알고리즘을 기초로, 상기 블록 각각에 포함되는 상기 신체 기관을 동시에 3차원 모델링할 수 있다. 즉, 본 발명은 각 블록에 포함되는 신체 기관의 일부분에 적용되는 세그먼테이션 알고리즘의 변수, 명암 값 등을 설정하여 각각의 블록에 최적화된 3차원 모델링 환경을 설정한 후 각각의 블록에 포함되는 신체 기관의 일부분에 대한 3차원 모델링을 동시에 수행함으로써, 전체 신체 기관의 정확하고 신속한 모델링이 가능하도록 한다.

또한 본 발명의 일 실시예로 각 블록에 따라서 세그먼테이션 알고리즘은 상이하게 설정되어 적용될 수 있다. 즉, 복수의 블록이 형성된 경우, 블록들은 각각에 설정된 세그먼테이션 알고리즘을 기반으로 해당 블록에 포함된 관심영역에 대한 세그먼테이션 작업을 수행한다. 이를 통해 동일한 기관이라도 부위별로 최적화된 세그먼테이션 알고리즘을 적용할 수 있게 되어 보다 빠르고 정확하게 3차원 기관 형상을 모델링할 수 있다.

예를 들어, 대상체의 기관이 인간의 심장이라고 가정한다면, 심장은 수축기 및 이완기에 따라서 심장의 모양 및 형상에 변화가 발생된다. 또한 심장의 수축 및 이완은 심장 내의 혈액의 배치 및 혈류량을 달라지게 한다. 뿐만 아니라 검사나 시술 시 특정 조직이나 혈관이 잘 보이도록 인체에 투여되는 조영제의 이동에 따라 심자의 부위별로 밝기가 다르게 촬영될 수 있다.

도 5는 대상 기관인 심장에 대해 전체 촬영 이미지를 대상으로 3차원 모델링을 수행하는 예시도이다..

도 5를 참조하면, 전체 촬영 이미지에 대하여 하나의 세그먼테이션 알고리즘을 적용하였기 때문에 심장의 각 부위별로 정확한 세그먼테이션 작업이 수행되지 않았음을 확인할 수 있다.

즉, 전체 심장을 3차원 모델링 하기 위하여, 하나의 알고리즘을 적용하는 경우에는, 심장 전체에 대한 정확한 모델링이 어렵다. 이러한 문제점을 해결하기 위하여 종래 기술은 심장 내 혈액 부분을 추출하고, 심장을 부위별, 즉 좌심방, 좌심실, 우심방, 우심실, 대동맥, 폐동맥, 정맥, 대동맥판막, 폐동맥판막, 삼천판, 승모판, 관상동맥등을 등으로 분리한 후 3차원 모델링을 수행하였다. 특히, 의료영상데이터 내에서 식별이 어려운 부위의 3차원 모델링을 위해서는 수작업 및 후처리하는 과정이 필요했다. 이러한 종래 개술은 개인의 능숙도에 따라 결과의 품질이 상이하게 되고, 무엇보다 많은 시간이 소요되는 문제가 발생하였다.

이러한 문제점을 해결하기 위하여 본 발명은 기관의 부위 별로(예를 들어, 심장의 경우, 좌심방, 좌심실, 우심방, 우심실, 대동맥, 폐동맥, 정맥, 대동맥판막, 폐동맥판막, 삼천판, 승모판, 관상동맥 등) 각각의 블록을 형성하고, 각각의 블록에 적용되는 세그먼트 알고리즘을 설정하여 동시에 복수의 부위에 대하여 세그멘테이션 작업을 수행한다. 이를 통해 정확하고 신속하게 기관의 3차원 형상을 모델링할 수 있는 효과를 발휘한다.

한편 본 발명의 일 실시예로, 상기 제1영상데이터를 생성하는 단계는, 상기 블록 간에 중복 영역이 존재하는 경우, 상기블록 각각에 설정된 세그멘테이션 알고리즘을 기반으로, 상기 중복 영역에 포함되는 상기 신체 부위를 탐색하는 것을 특징으로 할 수 있다.

구체적으로 장치에 의해 생성된 블록들 간에 겹치는 영역이 존재하는 경우, 각각의 블록에 설정된 세그먼테이션 알고리즘을 적용하여 대상 부위를 탐색한다. 또한, 각각의 블록으로부터 획득한 데이터들에 대하여 불리언 처리(Boolean operationl)을 활용하여 블록이 겹치는 영역에 위치한 부위들에 대해 정확한 분석이 가능하다. 즉, 각각의 블록에서 획득한 데이터들에 대하여 불리언 연산자(예를 들어, AND, OR, NOT, XOR 등)를 적용하여 겹쳐진 영역에 위치한 부위들을 논리적으로 분석 및 탐색할 수 있다.

구체적인 예로, 대상 기관이 심장인 경우, 심방 및 심실에 형성된 블록이 겹치는 영역에 존재하는 판막을 정확하게 모델링 할 수 있게 된다. 구체적인 다른 예로, 관심영역의 경계가 영역별로 상이한 두께의 근육으로 구성된 경우, 해당 근육으로 구성된 경계가 블록의 겹치는 영역에 위치하도록 블록을 형성하고, 각각의 블록에 특화된 알고리즘을 적용하여 실제 기관과 동일하게 모델링할 수 있다.

다시 도 2를 참조하면, 장치는 블록 각각에 설정된 알고리즘을 기초로, 상기 블록 각각에 포함된 일부분들을 3차원 모델링한 각각의 제1영상데이터를 생성한다(S250).

이때, 제1영상데이터를 생성하기 위하여, 각각의 블록에 포함되는 신체 기관의 일부분에 대한 부피 렌더링(Volume Rendring) 과정 및 표면 렌더링(Surface Rendering)과정을 수행한다. 상술한 렌더링 기법은 공지된 기술인 바 자세한 설명은 생략하도록 한다.

도 6은 본 발명의 일 실시예에 따른 블록 각각에 대하여 설정된 세그먼테이션 알고리즘을 기반으로, 블록 각각에 포함된 일부분들을 3차원 모델링한 각각의 제1영상데이터를 생성하는 모습을 나타내는 예시도이다.

도 6에는 대상 기관의 복수의 관심영역에 형성된 4개의 블록(200a, 200b, 200c, 200d) 각각에 대하여 동시에 세그먼테이션 작업을 수행하는 모습이 도시되어 있다.

각각의 블록들은 블록 내 포함되는 관심영역에 대한 촬영 데이터에 최적화된 세그먼테이션 알고리즘이 설정된다. 블록들에 설정되는 세그먼테이션 알고리즘은 동일하거나 상이할 수 있다.

각각의 블록은 설정된 세그먼테이션 알고리즘을 기반으로 세그먼테이션 작업이 수행된다. 즉, 설정된 세그먼테이션 알고리즘에 따라 조절하는 변수 또는 기준값 등이 상이하게 적용될 수 있다. 이에 따라 각각의 부위를 분리하여 별도로 작업할 필요없이 동일한 기관이라도 부위에 따라 차별화된 알고리즘을 적용하여 동시에 세그먼테이션 작업을 수행하여 보다 빠르고 정확하게 3차원 기관 형상 모델링 작업을 수행할 수 있다.

도 2를 참조하면, 블록 각각에 포함된 신체 기관의 일부분들을 각각 3차원 모델링하여 복수의 제1영상데이터를 생성하면, 각각의 제1영상데이터를 병합하여 상기 신체 기관 전체에 대한 3차원 형태의 제2영상데이터를 생성한다(S260).

도 7은 각각의 제1영상데이터를 병합하여 심장 기관 전체에 대한 3차원 형태의 제2 영상데이터를 생성하는 것을 나타낸 예시도이다.

도 6 및 7을 참조하면, 프로세서(140)는 4개의 블록(200a, 200b, 200c, 200d) 각각에 대해 생성된 4개의 제1영상데이터를 병합하여 심장 기관 전체에 대한 3차원 형태의 제2 영상데이터를 생성한다.

구체적으로 프로세서(120)는 복수의 제2영상데이터를 병합하여 제2영상데이터를 생성한다. 구체적으로, 프로세서(140)는 영상 정합(Image Registration)을 통해 제2영상데이터를 생성할 수 있다.

상기 영상 정합은 제1영상데이터중 관심부위의 단면형상을 얻어 하나의 참조 좌표로 이동시켜 겹쳐보는 기술을 의미한다.

본 발명의 일 실시예에 따르면, 영상 정합은 영상의 주요 특징점을 추출하여 정합하는 특징 요소 정합 기법 또는 영상에서 일정 영역을 지정된 템플릿과 비교하여 가장 유사도가 높은 영역을 판별하는 템플릿 기반 정합 기법(Template-based Registration)을 포함할 수 있다.

상기 특징 요소 정합 기법은 특징요소 추출(feature extraction), 특징 요소 간 정합(feature matching), 변환모델 구성(transformation model estimation), 그리고 기하보정(image registration)의 네 단계로 구성될 수 있다.

또한, 상기 특징 요소 정합 방법으로는 CC(Cross-Correlation), MI(Mutual Information) 또는 LSM(Least-Squares Matching) 등의 강도기반 정합기법(intensity-based matching method)과 SIFT(Scale-Invariant Feature Transform)나 SURF(Speeded Up Robust Features)등의 특징 기반 정합기법(feature-based matching method) 등이 있다.

본 발명의 일 실시예에 따르면, 상기 영상 정합(Image Registration) 방법으로 특징 기반 정합기법을 이용하는 경우, 상기 제1영상데이터의 축을 정렬한다. 일 실시예에서, 상기 영상데이터의 축은 3차원 공간에서의 x, y, z축을 의미한다.

그리고, 복수의 제1영상데이터로부터 복수의 특징점을 추출하여 매칭함으로써 각 영상의 크기 및 위치를 조절할 수 있다. 일 실시예에서, 상기 특징점은 환자의 상태 변화(예를 들어, 호흡)에 따라 3차원 공간에서의 위치가 변화하지 않는 특정 지점을 포함한다.

일 실시예에서, 상기 특징점 추출은 머신러닝(Machine Learning) 또는 딥러닝(Deep Learning)을 포함하는 인공지능 알고리즘에 의해 구현될 수 있다.

상기 복수의 특징점이 추출되면, 복수의 특징점 사이의 거리 또는 위치를 기초로 각각의 제1영상데이터의 크기 및 위치를 일치시킨 후 병합하여 제2영상데이터를 생성할 수 있다.

한편, 상술한 본 발명의 일 실시예에 따라서 생성된 기관의 3차원 모델링 데이터는, 3차원 프린터 또는 3차원 프린팅 기법에 따라서 실체화되어 출력될 수 있다. 이와 같이 출력된 결과물은 시술훈련 및 수술 시뮬레이션 등에 이용될 수 있다.

본 발명에서, 프로세서(130)를 통한 다양한 실시예들은 머신러닝 모델을 이용하여 구현될 수도 있다. 일 예로, 본 발명의 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 포함할 수 있다.

상기 심층신경망은 컨볼루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다.

상기 컨볼루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성될 수 있다.

상기 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다.

다른 예로, 본 발명의 심층신경망의 전체적인 구조는 컨볼루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.

본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)이 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)과 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수도 있다.

상기 특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘볼루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.

상기 콘볼루션 층은 입력 영상의 각 패치에 대하여 필터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킨다.

상기 통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘볼루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 상기 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 상기 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.

이와 같이, 콘볼루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 기계학습을 위한 학습 데이터는 U-Net-dhSgement 모델에 기초하여 생성될 수 있다. 여기서, U-Net-dhSgement 모델은 종단 간(end-to-end)의 완전 연결 컨벌루션 네트워크 (Fully Convolutional Networks. FCN)를 기초로, 확장(expansive) 경로를 수축(contracting) 경로와 대칭(symmetric)으로 설정하여 각 레벨에 대한 스킵(skip) 연결이 있는 U 자형 아키텍처를 생성한 모델일 수 있다.

또한, 머신러닝 모델을 위한 학습 데이터는 의료영상데이터, 제1영상데이터 및 제2영상데이터로 구성될 수 있다.

따라서, 프로세서(140)는 학습 데이터를 통해 학습한 머신러닝 모델을 이용하여, 도 2 및 도 7에서 상술한, 영상 분할을 통한 기관의 3차원 모델링하는 과정을 수행할 수 있다.

본 발명의 다양한 실시예들은 기기(machine)(예를 들어, 영상 분할을 통한 기관의 3차원 모델링 장치(100) 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(140))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 명세서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 영상 분할을 통한 기관의 3차원 모델링 장치
110 : 수집부
120 : 메모리
130 : 프로세서

Claims (10)

1. 장치에 의해 수행되는 방법에 있어서,
   대상체의 특정 신체 기관에 대한 적어도 하나 이상의 의료영상데이터를 입력받는 단계;
   상기 의료영상데이터를 기반으로, 상기 신체 기관에 관한 관심영역을 설정하는 단계;
   상기 관심영역에 대응하는 하나 이상의 블록을 형성하는 단계;
   상기 블록 각각에 대한 세그먼테이션 알고리즘을 설정하는 단계;
   상기 블록 각각에 설정된 알고리즘을 기초로, 상기 블록 각각에 포함된 일부분들을 3차원 모델링한 각각의 제1영상데이터를 생성하는 단계; 및
   상기 각각의 제1영상데이터를 병합하여 상기 신체 기관 전체에 대한 3차원 형태의 제2영상데이터를 생성하는 단계를 포함하고,
   상기 블록 각각은 상기 관심영역에 해당하는 상기 신체 기관의 일부를 포함하고,
   상기 블록 각각은 서로 간에 겹치는 중복 영역이 존재하도록 생성 및 배치 가능하고,
   상기 제1영상데이터를 생성하는 단계는,
   상기 블록 간에 중복 영역이 존재하는 경우, 상기 블록 각각에 설정된 세그멘테이션 알고리즘을 기반으로, 상기 중복 영역에 포함되는 신체 부위를 식별하는 것을 특징으로 하는,
   영상 분할을 통한 기관의 3차원 모델링 방법.
2. 제 1 항에 있어서,
   상기 관심영역을 설정하는 단계는,
   딥러닝 기반의 제1 모델을 기초로, 상기 신체 기관의 유형을 인식하여, 상기 신체 기관의 유형에 상응하는 관심영역을 자동 생성하는 것인,
   영상 분할을 통한 기관의 3차원 모델링 방법.
3. 제 1 항에 있어서,
   상기 병합은 영상 정합을 통해 수행되며,
   상기 영상 정합은 특징 요소 정합 기법 및 템플릿 기반 정합 기법 중 적어도 하나를 통해 수행되는,
   영상 분할을 통한 기관의 3차원 모델링 방법.
4. 제1항에 있어서,
   상기 장치는,
   상기 관심영역을 포함하도록 상기 블록의 크기 및 위치를 조절할 수 있는 인터페이스를 제공하고,
   상기 블록은 시스템의 조작에 따라 특정 축을 기준으로 회전 가능하도록 구성된 것을 특징으로 하는,
   영상 분할을 통한 기관의 3차원 모델링 방법.
5. 제 1 항에 있어서,
   상기 관심 영역을 설정하는 단계는,
   상기 신체 기관의 혈액 영역에 상응하는 제1 영역과 상기 신체 기관의 근육 영역에 상응하는 제2 영역으로 분할하는 단계와
   상기 제1 영역과 제2 영역을 상기 신체 기관에 관한 관심영역으로 설정하는 단계를 더 포함하고,
   상기 분할하는 단계는,
   상기 의료영상데이터를 기반으로, 상기 신체 기관에 관한 명암값이 기 설정된 제1 값 이상인 경우 상기 혈액 영역에 상응하는 제1 영역으로 식별하고, 명암값이 기 설정된 제2 값 미만인 경우 상기 근육 영역에 상응하는 제2 영역으로 식별하여 분할하는 것인,
   영상 분할을 통한 기관의 3차원 모델링 방법.
6. 대상체의 특정 신체 기관에 대한 적어도 하나 이상의 의료영상데이터를 획득하는 수집부; 및
   프로세서;를 포함하고,
   상기 프로세서는,
   상기 의료영상데이터를 기반으로, 상기 신체 기관에 관한 관심영역을 설정하고, 상기 관심영역에 대응하는 하나 이상의 블록을 형성하고, 상기 블록 각각에 대한 세그먼테이션 알고리즘을 설정하고, 상기 블록 각각에 설정된 알고리즘을 기초로, 상기 블록 각각에 포함된 일부분들을 3차원 모델링한 각각의 제1영상데이터를 생성하고, 상기 각각의 제1영상데이터를 병합하여 상기 신체 기관 전체에 대한 3차원 형태의 제2영상데이터를 생성하되,
   상기 블록 각각은 상기 관심영역에 해당하는 상기 신체 기관의 일부분을 포함하고,
   상기 블록 각각은 서로 간에 겹치는 중복 영역이 존재하도록 생성 및 배치 가능하고,
   상기 프로세서는,
   상기 블록 간에 중복 영역이 존재하는 경우, 상기 블록 각각에 설정된 세그멘테이션 알고리즘을 기반으로, 상기 중복 영역에 포함되는 신체 부위를 식별하는 것을 특징으로 하는,
   영상 분할을 통한 기관의 3차원 모델링 장치.
7. 제6항에 있어서,
   상기 프로세서는,
   상기 관심영역을 포함하도록 상기 블록의 크기 및 위치를 조절할 수 있는 인터페이스를 제공하고,
   상기 블록은 시스템의 조작에 따라 특정 축을 기준으로 회전할 수 있도록 구성된 것을 특징으로 하는,
   영상 분할을 통한 기관의 3차원 모델링 장치.
8. 제 6 항에 있어서,
   상기 관심영역을 설정하는 것은,
   상기 프로세서가 상기 의료영상데이터를 딥러닝 기반의 제1 모델을 기초로, 상기 신체 기관의 유형을 인식하여, 상기 신체 기관의 유형에 상응하는 관심영역을 자동 생성하는 것인,
   영상 분할을 통한 기관의 3차원 모델링 장치.
9. 제 6 항에 있어서,
   상기 병합은 영상 정합을 통해 수행되며,
   상기 영상 정합은 특징 요소 정합 기법 및 템플릿 기반 정합 기법 중 적어도 하나를 통해 수행되는,
   영상 분할을 통한 기관의 3차원 모델링 장치.
10. 컴퓨터와 결합하여 제1항 내지 제5항 중 어느 하나의 항의 영상 분할을 통한 기관의 3차원 모델링 방법을 수행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.

Images