KR101993381B1 - 장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템 - Google Patents

장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템 Download PDF

Info

Publication number
KR101993381B1
KR101993381B1 KR1020120131956A KR20120131956A KR101993381B1 KR 101993381 B1 KR101993381 B1 KR 101993381B1 KR 1020120131956 A KR1020120131956 A KR 1020120131956A KR 20120131956 A KR20120131956 A KR 20120131956A KR 101993381 B1 KR101993381 B1 KR 101993381B1
Authority
KR
South Korea
Prior art keywords
organ
model
long
subject
deformation
Prior art date
Application number
KR1020120131956A
Other languages
English (en)
Other versions
KR20130079987A (ko
Inventor
강나협
이태현
김경환
김도균
김상욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/733,333 priority Critical patent/US9092666B2/en
Publication of KR20130079987A publication Critical patent/KR20130079987A/ko
Application granted granted Critical
Publication of KR101993381B1 publication Critical patent/KR101993381B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템에 따르면, 장기 변형모델을 추정하는 방법은 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 장기 형상모델에 따라 생성된 변형공간을 이용하여, 피검자의 실시간 의료영상에 대한 3차원 장기 변형모델을 추정한다.

Description

장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템{Method, apparatus and medical imaging system for estimating organ deformation model}
장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템이 개시된다.
인체의 장기는 다른 장기들과 지속적인 접촉, 호흡, 심장박동, 인체의 움직임 등으로 인한 변형이 발생한다. 장기의 변형상태를 파악하기 위한 고비용의 고해상도 의료영상은 실시간으로 제공되기 어렵고, 실시간 의료영상을 위한 의료영상장치는 가시화 영역의 한계에 따라 변형정보가 누락될 수 있다.
실시간으로 정확한 장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템을 제공하는데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기 기술적 과제를 해결하기 위한 장기 변형모델을 추정하는 방법은 피검자의 장기(organ)의 변형(deformation)상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 상기 피검자의 장기에 대한 적어도 하나 이상의 3차원 장기 형상모델을 생성하는 단계; 상기 생성된 적어도 하나 이상의 장기 형상모델 및 상기 장기에 대한 사전지식(prior knowledge)을 이용하여, 상기 피검자의 장기에 대한 변형공간(deformation space)을 생성하는 단계; 및 상기 피검자의 장기에 대한 실시간 의료영상과 상기 생성된 변형공간을 이용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 단계;를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 상기된 장기 변형모델을 추정하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위한 장기 변형모델 추정장치는 피검자의 장기(organ)의 변형(deformation)상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 상기 피검자의 장기에 대한 적어도 하나 이상의 3차원 장기 형상모델을 생성하는 3차원 장기 형상모델 생성부; 상기 생성된 적어도 하나 이상의 장기 형상모델 및 상기 장기에 대한 사전지식(prior knowledge)을 이용하여, 상기 피검자의 장기에 대한 변형공간(deformation space)을 생성하는 변형공간 생성부; 및 상기 피검자의 장기에 대한 실시간 의료영상과 상기 생성된 변형공간을 이용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 3차원 장기 변형모델 추정부;를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 의료영상시스템은 피검자의 장기에 대한 실시간 의료영상을 생성하는 실시간 의료영상 생성장치; 상기 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 장기 형상모델 및 상기 장기에 대한 사전지식에 따라 생성된 변형공간을 이용하여, 상기 피검자의 실시간 의료영상에 대한 3차원 장기 변형모델을 추정하는 장기 변형모델 추정장치; 및 상기 추정된 3차원 장기 변형모델을 표시하는 표시부;를 포함한다.
상기된 바에 따르면, 인체의 장기에 대한 실시간 의료영상에 기초하여, 인체의 장기의 변형결과를 반영한 3차원 장기 변형모델을 실시간으로 정확하게 추정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 장기 변형모델 생성장치 일 예를 도시한 도면이다.
도 2는 도 1에 도시된 장기 변형모델 추정장치의 다른 예를 도시한 도면이다.
도 3은 본 실시예에 따른 3차원 장기 변형모델이 생성되는 과정의 일 예를 도시한 도면이다.
도 4는 본 실시예에 따른 의료영상시스템의 일 예를 도시한 도면이다.
도 5는 본 실시예에 따른 장기 변형모델을 추정하는 방법을 나타낸 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 장기(organ) 변형(deformation)모델 추정장치(100)의 일 예를 도시한 도면이다. 도 1을 참조하면, 장기 변형모델 추정장치(100)는 3차원 장기 형상모델 생성부(110), 변형공간 생성부(120) 및 3차원 장기 변형모델 추정부(130)로 구성된다.
도 1에 도시된 장기 변형모델 추정장치(100)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 도 1에 도시된 장기 변형모델 추정장치(100)는 하나 또는 복수 개의 프로세서에 해당할 수 있다
장기 변형모델 추정장치(100)는 피검자의 장기에 대한 3차원 장기 변형모델을 추정한다. 이때, 피검자의 장기는 호흡, 심장박동, 피검자의 자세 및 피검자의 움직임 중 적어도 어느 하나에 의하여 형상이 변화하는 인체의 모든 장기들을 포함할 수 있다. 예를 들어 설명하면, 피사체의 장기는 심장, 간, 폐, 췌장, 신장 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 본 실시예에 따른 피검자는 환자가 될 수 있으나, 이에 한정되지 않는다.
본 실시예에 따른 피검자의 장기는 논-리지드(non-rigid)한 특성을 가지기에, 피검자의 호흡, 심장박동, 피검자의 자세 또는 피검자의 움직임 등에 의하여 형태나 크기 등이 변형될 수 있고, 또한, 다른 장기들과의 접촉으로 인하여 형태나 크기 등이 변형될 수도 있다.
이에 따라, 본 실시예에 따른 장기 변형모델 추정장치(100)는 피검자의 장기에 대한 비실시간 의료영상에 기초하여, 피검자의 장기 변형상태를 반영한 장기 변형모델을 정확하게 추정할 수 있다.
또한, 장기 변형모델 추정장치(100)는 전처리 과정을 통하여 기생성된 피검자의 장기에 대한 변형공간을 이용하여, 실시간 처리 과정을 통하여 피검자의 장기로부터 획득되는 실시간 의료영상에 대한 3차원 장기 변형모델을 추정할 수 있다.
이에 따라, 장기 변형모델 추정장치(100)의 3차원 장기 형상모델 생성부(110), 변형공간 생성부(120)는 전처리 과정에서 사용될 수 있고, 장기 변형모델 추정장치(100)의 3차원 장기 변형모델 추정부(130)는 실시간 처리 과정에서 사용될 수 있다. 예를 들어 설명하면, 전처리 과정은 피검자의 수술 이전, 실시간 처리 과정은 피검자가 수술중인 경우가 될 수 있으나, 이에 한정되지 않는다.
따라서, 장기 변형모델 추정장치(100)는 수술 중과 같이 실시간으로 장기의 변형상태를 반영한 3차원 장기 변형모델을 빠르고 정확하게 추정할 수 있다.
3차원 장기 형상모델 생성부(110)는 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 피검자의 장기에 대한 적어도 하나 이상의 3차원 장기 형상모델을 생성한다. 이때, 본 실시예에 따른 비실시간 의료영상은 고해상도 3차원 의료영상이 될 수 있다. 예를 들어 설명하면, 비실시간 의료영상은 CT(Computed Tomography) 영상 또는 MRI(Magnetic Resonance Imaging) 영상이 될 수 있으나, 이에 한정되지 않는다.
피검자의 장기의 변형상태에 관하여 예를 들어 설명하면, 피검자의 호흡, 심장박동, 피검자의 자세 또는 피검자의 움직임 등으로 인하여 피검자의 장기에 크기나 형태 등의 변화를 나타낼 수 있다. 이러한 경우, 피검자의 호흡은 들숨, 날숨을 모두 포함할 수 있다.
또한, 3차원 장기 형상모델 생성부(110)는 피검자의 장기에 대한 3차원 장기 형상모델을 생성하기 위하여, 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상을 획득한다.
본 실시예에 따른 3차원 장기 형상모델 및 비실시간 의료영상은 모두 동일한 피검자에 대한 동일한 장기를 나타낼 수 있다. 예를 들어 설명하면, 3차원 장기 형상모델 생성부(110)는 피검자 1의 심장의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 피검자 1의 심장에 대한 적어도 하나 이상의 3차원 장기 형상모델을 생성한다.
이러한 경우, 심장의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상은 심장의 수축기에 대한 비실시간 의료영상 및 심장의 이완기에 대한 비실시간 의료영상을 모두 포함할 수 있으나, 이에 한정되지 않고, 심장의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상은 심장의 수축기에 대한 비실시간 의료영상 또는 심장의 이완기에 대한 비실시간 의료영상 중 어느 하나만을 포함하거나, 또는, 심장의 수축기에 대한 비실시간 의료영상 및 심장의 이완기에 대한 비실시간 의료영상 외에 심장의 다양한 상태에 대한 비실시간 의료영상을 더 포함할 수도 있다.
또한, 본 실시예에 따른 3차원 장기 형상모델 생성부(110)는 피검자 2의 심장의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 피검자 1의 심장에 대한 적어도 하나 이상의 3차원 장기 형상모델을 생성할 수도 있다.
3차원 장기 형상모델 생성부(110)는 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상을 획득한다. 이때, 3차원 장기 형상모델 생성부(110)에서 획득되는 적어도 하나 이상의 비실시간 의료영상은 피검자의 장기를 나타내는 3차원 볼륨데이터가 될 수 있으나, 이에 한정되지 않는다. 이때, 3차원 볼륨데이터는 2차원 영상을 복수 개 축적하여 획득될 수 있다.
이처럼, 3차원 장기 형상모델 생성부(110)는 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 3차원 볼륨데이터를 이용하여, 피검자의 장기에 대한 적어도 하나 이상의 3차원 장기 형상모델을 생성한다. 예를 들어 설명하면, 3차원 장기 형상모델은 3차원 볼륨데이터에 대응하는 장기의 형상을 나타내는 3차원 모델을 나타내는 데이터가 될 수 있으나, 이에 한정되지 않는다.
3차원 장기 형상모델 생성부(110)는 피검자의 장기를 나타내는 3차원 볼륨데이터로부터 장기의 경계의 좌표정보 및 내부구조의 좌표정보를 획득하여 3차원 장기 형상모델을 생성할 수 있다.
이때, 장기의 경계는 3차원 볼륨데이터에서 밝기가 급변하는 지점이 될 수 있기에, 3차원 장기 형상모델 생성부(110)는 DTFT(Discrete Time Fourier Transform) 알고리즘 등을 이용하여 주파수 값이 가장 큰 지점의 좌표를 장기의 경계에 대한 좌표정보로 획득하거나, 또는, 장기 변형모델 추정장치(100)의 사용자로부터 장기의 경계에 대한 정보를 입력받아 좌표정보를 획득할 수도 있다.
또한, 장기의 내부구조의 좌표정보는 3차원 볼륨데이터에 포함된 2차원 영상으로부터 추출된 2차원 좌표(예를 들면, x축, y축에 대한 좌표정보)에 3차원 볼륨데이터를 생성하기 위하여 2차원 영상이 축적되는 방향에 대한 좌표(예를 들면, z축에 대한 좌표)를 추가하여, 장기의 내부구조에 대한 좌표를 획득할 수 있다.
본 실시예에 따른 3차원 장기 형상모델 생성부(110)는 특정 장기에 대하여 동일한 위상(topology)으로 구성되는 3차원 장기 형상모델들을 생성할 수 있다. 즉, 3차원 장기 형상모델 생성부(110)에서 생성되는 3차원 장기 형상모델들은 동일한 위상으로 구성되고, 이때, 동일한 위상으로 구성된다 함은 적어도 하나 이상의 3차원 장기 형상모델 각각을 구성하는 정점(vertex)들과 정점들을 연결하는 간선(edge)들의 연결관계가 동일함을 나타낸다. 이에 따라, 3차원 장기 형상모델 생성부(110)에서 생성되는 특정 장기에 대한 3차원 장기 형상모델들 간의 대응관계(correspondence)를 빠르고 효율적으로 파악할 수 있다. 다만, 다른 장기들에 대한 3차원 장기 형상 모델들은 다른 위상들을 가질 수 있다. 예를 들면, 심장에 대한 3차원 장기 형상모델은 간에 대한 3차원 장기 형상모델과 다른 위상을 가질 수 있다.
예를 들어 설명하면, 3차원 장기 형상모델 생성부(110)에서 생성되는 제1 3차원 장기 형상모델이 제1 정점 내지 제5 정점으로 구성되고, 제1 정점과 제2 정점이 제1 간선으로 연결되는 경우, 제2 3차원 장기 형상모델도 제1 정점 내지 제5 정점으로 구성되고, 제1 정점과 제2 정점도 제1 간선으로 연결된다.
이러한 경우, 제1 3차원 장기 형상모델을 구성하는 각 정점들의 위치는 서로 다를 수 있다. 즉, 제1 정점은 제2 3차원 장기 형상모델을 구성하는 제1 정점과 다른 좌표를 가질 수 있고, 제1 3차원 장기 형상모델을 구성하는 제2 정점은 제2 3차원 장기 형상모델을 구성하는 제2 정점과 다른 좌표를 가질 수 있고, 이러한 형식으로 제3 정점 내지 제5 정점들 각각은 제1 3차원 장기 형상모델 및 제2 3차원 장기 형상모델 각각에서 서로 다른 좌표를 가질 수 있다.
그러하기에, 3차원 장기 형상모델들 각각은 동일한 장기의 서로 다른 변형형태를 표현할 수 있다.
변형공간 생성부(120)는 3차원 장기 형상모델 생성부(110)에서 생성된 적어도 하나 이상의 장기 형상모델 및 장기에 대한 사전지식을 이용하여, 피검자의 장기에 대한 변형공간(deformation space)을 생성한다. 이때, 변형공간은 변형공간 생성부(120)에 의하여 정의되는 데이터 기반 물리적공간이 될 수 있으나, 이에 한정되지 않는다.
예를 들어 설명하면, 장기에 대한 사전지식(prior knowledge)는 대상 장기에 대하여 장기 변형모델 추정장치(100)의 사용자가 이미 알고 있는 지식, 또는 대상 장기의 특징에 대하여 축적되어 정리된 지식을 나타낼 수 있다. 좀 더 상세히 설명하면, 장기에 대한 사전지식은 간에 변형이 발생한 경우에도 간의 부피는 동일하다는 특징, 뼈와 같은 일부 장기는 변형이 거의 발생하지 않는 리지드(rigid)하다는 특징 등이 될 수 있다. 이처럼, 본 실시예에 따른 사전지식은 다양한 장기들에 대하여 미리 알려진 정보를 포함할 수 있다.
이에 따라, 변형공간 생성부(120)는 사전지식을 변형공간에 대한 제약조건을 설정함에 따라, 피검자의 장기에 대한 변형공간의 정확도가 향상될 수 있다.
좀 더 상세히 설명하면, 변형공간 생성부(120)는 사전지식을 제약조건으로 활용하여, 적어도 하나 이상의 장기 형상모델에 따라 정의된 변형공간에 대한 보간작업을 수행하여, 피검자의 장기에 대한 변형공간을 생성할 수 있다.
변형공간 생성부(120)는 기 정의된 데이터 기반 물리적 공간에 장기 형상모델 생성부(110)에서 생성된 장기 형상모델들 각각을 투영시킴에 따라, 피검자의 장기에 대한 변형공간을 정의할 수 있다. 예를 들어, 기 정의된 데이터 기반 물리적 공간은 다양한 장기들 각각에 대하여 미리 마련될 수 있고, 기 정의된 데이터 기반 물리적 공간의 각 점들은 빈(empty) 상태로 존재하다가 장기 형상모델들 각각이 투영됨에 따라 특정 데이터를 가질 수 있다. 그러하기에, 변형공간 생성부(120)에서 생성된 변형공간의 각 점들은 장기 형상모델들의 투영데이터들에 대응할 수 있다.
이처럼, 변형공간 생성부(120)에서 생성된 변형공간은 3차원 장기 형상모델 생성부(110)에서 생성된 장기 형상모델들 각각이 투영(projection)된 투영데이터로 구성될 수 있고, 또한, 변형공간은 이에 한정되지 않고 상기와 같은 투영데이터들 간의 보간작업에 따른 보간데이터를 더 포함할 수 있다.
예를 들어 설명하면, 변형공간 생성부(120)는 least-squares 최적화 기법에 따라 에러를 최소화하여 기 정의된 변형공간에 투영작업을 수행함에 따라 변형공간을 생성할 수 있으나, 이에 한정되지 않는다. 즉, 변형공간 생성부(120)에서 least-squares 최적화 기법을 사용함에 따라, 에러를 글로벌 영역에 분산시켜, 일부 지역에 에러가 집중되는 현상을 방지할 수 있고, 이에 따라, 변형공간의 전체적인 정밀도를 향상시킬 수 있다.
또한, 변형공간 생성부(120)는 사전지식을 제약조건으로 활용하여 투영작업 결과에 대한 보간작업을 수행하여, 변형공간을 생성할 수 있다. 예를 들어 설명하면, 변형공간이 제1 3차원 장기 형상모델을 투영한 결과에 따른 제1 투영데이터 및 제2 3차원 장기 형상모델을 투영한 결과에 따른 제2 투영데이터를 포함하는 경우, 변형공간 생성부(120)는 제1 투영데이터 및 제2 투영데이터를 이용하여 보간작업을 수행할 수 있다.
이때, 변형공간 생성부(120)는 제1 투영데이터 및 제2 투영데이터를 이용하여 보간작업을 수행함에 있어서, 사전지식을 제약조건으로 활용할 수 있다. 피검자의 장기가 간이고, 간에 변형이 발생한 경우에도 간의 부피는 동일하다는 사전지식을 예로 들어 좀 더 상세히 설명하면, 제1 투영데이터 및 제2 투영데이터에 대한 보간작업을 수행함에 따라 생성된 제3 보간데이터는 제1 투영데이터 및 제2 투영데이터와 동일한 부피를 가진다는 제약조건을 가지게 된다.
또한, 변형공간 생성부(120)는 뼈와 같은 장기는 리지드하기에, 변형이 거의 발생하지 않는다와 같은 사전지식을 활용하여, 투영작업 결과에 대한 보간작업을 수행할 수 있다.
이처럼, 변형공간 생성부(120)에서 생성된 변형공간은 투영작업 결과에 따른 적어도 하나 이상의 투영데이터 및 보간작업 결과에 따른 적어도 하나 이상의 보간데이터를 포함할 수 있고, 보간데이터를 생성함에 있어서 사전지식을 제약조건으로 활용하였기에, 투영데이터 및 보간데이터는 모두 회전(rotation) 및 이동(translation)만으로 표현이 가능하게 된다. 즉, 변형공간 내에 존재하는 데이터들(투영데이터 및 보간데이터)은 상호간의 회전연산 및 이동연산에 의하여 정의될 수 있다. 예를 들어, 제1 투영데이터 및 제2 투영데이터가 동일한 변형공간 내에 존재하는 경우, 제2 투영데이터는 제1 투영데이터에 회전연산 및 이동연산 중 적어도 어느 하나를 적용함에 따라 정의될 수 있다.
또한, 본 실시예에 따른 변형공간 생성부(120)는 이에 한정되지 않고, 표면적보전(Isometric), 체적보전(Isochoric) 등의 특징이나, 장기의 탄성도, 밀도 등의 물리정보를 참조하여, 연속체 역학의 지배방정식을 제약조건으로 더 활용할 수 있음을 알 수 있다.
이처럼, 본 실시예에 따른 변형공간 생성부(120)에서 생성된 변형공간에 따라, 피검자의 장기의 변형결과에 따른 대부분의 변형상태들이 변형공간에 존재하게 된다. 이처럼, 장기의 변형결과가 변형공간, 즉, 데이터 기반 물리적공간에 존재함에 따라, 피검자의 장기에 대한 정확한 변형모델을 추정할 수 있다.
또한, 변형공간 생성부(120)는 3차원 장기 형상모델들 간의 기하학적 변형 차와 대상 장기에 대한 사전지식을 결합하여, 변형공간을 생성하기에, 피검자의 장기에 특화된 변형공간을 생성함에 따라, 변형공간의 정확도를 향상시킬 수 있다.
추가적으로, 변형공간 생성부(120)는 복수의 장기 형상모델들 및 장기에 관한 사전지식에 기초하여, 상기 장기에 대한 변형공간을 생성할 수 있다. 예를 들면, 변형공간 생성부(120)는 복수의 장기 형상모델들 중 어느 하나를 기본 모델(base model)로 결정하고, 기본 모델과 다른 장기 형상모델들 간의 변형 매트릭스(deformation matrix)들을 산출하고, 산출된 변형 매트릭스들 각각에 polar decomposition을 수행한다. 변형 매트릭스가 F라고 하면, polar decomposition의 수행에 따라 변형 매트릭스 F는 F=RS가 될 수 있다. 이때, R은 unitary matrix가 될 수 있고, S는 positive-semidefinite matrix가 될 수 있다. R 및 S는 각각 구별하여 독립적으로 보간되고, 이러한 R 및 S의 쌍들에 의하여 변형공간이 정의될 수 있고, 이때, 사전지식이 적용될 수 있다. 예를 들어, 장기가 체적보전(isochoric)을 만족할 경우, 사전지식이 제약조건으로 활용됨에 따라, det(F)=1으로 제한될 수 있다. 이에 따라, 변형공간 생성부(120)는 특정 장기에 대한 변형공간을 생성할 수 있고, 이때, 생성된 변형공간은 비선형 변형공간이 될 수 있다.
3차원 장기 변형모델 추정부(130)는 피검자의 장기에 대한 실시간 의료영상과 변형공간 생성부(120)에서 생성된 변형공간을 이용하여, 피검자의 장기에 대한 3차원 장기 변형모델을 추정한다. 이때, 본 실시예에 따른 실시간 의료영상은 저비용, 저해상도, 좁은 가시영역을 가진 의료영상이 될 수 있다. 예를 들어 설명하면, 실시간 의료영상은 2차원 초음파 영상, 3차원 초음파 영상, 3차원 초음파 볼륨데이터 등이 될 수 있으나, 이에 한정되지 않는다.
3차원 장기 변형모델 추정부(130)에서 획득되는 실시간 의료영상은 치료과정을 실시간으로 모니터링할 수 있도록 즉각적인 상황변화를 빠르게 보여줄 수 있으나, 비실시간 의료영상에 비하여 낮은 해상도를 가지게 된다.
따라서, 3차원 장기 변형모델 추정부(130)는 피검자의 장기에 대한 실시간 의료영상을 변형공간에 매칭(matching)시킴에 따라, 피검자의 장기에 대한 3차원 장기 변형모델을 추정할 수 있다.
예를 들어 설명하면, 3차원 장기 변형모델 추정부(130)는 실시간 의료영상을 변형공간에 매칭시킴에 따라, 변형공간에 대응점이 존재하는 경우 대응점에 해당하는 데이터를 3차원 장기 변형모델로 추정한다.
다른 예를 들어 설명하면, 3차원 장기 변형모델 추정부(130)는 실시간 의료영상을 변형공간에 매칭시킴에 따라, 변형공간에 대응점이 존재하지 않는 경우에는, 만약 대응점이 변형공간 내에 존재하였다면 대응점이 존재하였을 위치와 인접한 지점에 대한 데이터를 3차원 장기 변형모델로 추정할 수 있다. 즉, 변형공간 상에서 인접한 대응점들 간에는 유사성이 크기에, 3차원 장기 변형모델 추정부(130)는 변형공간에 대응점이 존재하지 않는 경우에는, 대응점과 인접한 지점에 대한 데이터를 3차원 장기 변형모델로 추정할 수 있다.
이때, 대응점과 인접한 지점에 대한 데이터는 변형공간에 기존재하는 대응점들에 대하여 사전지식을 제약조건으로 활용한 보간작업에 의하여 생성될 수 있고, 이러한 보간작업은 변형공간 생성부(120)에서 수행될 수 있으나, 이에 한정되지 않고, 3차원 장기 변형모델 추정부(130)에서 수행될 수도 있다.
이에 따라, 장기 변형모델 추정장치(100)는 피검자의 장기에 대한 실시간 의료영상을 이용하여, 피검자의 장기에 대한 3차원 장기 변형모델을 빠르고 정확하게 추정할 수 있다. 그러하기에, 장기 변형모델 추정장치(100)는 피검자의 장기에 대하여 3차원 장기 변형모델을 실시간으로 추정하고, 추정된 3차원 장기 변형모델을 장기 변형모델 추정장치(100)의 사용자에게 실시간으로 제공할 수 있다.
도 2는 도 1에 도시된 장기 변형모델 추정장치(100)의 다른 예를 도시한 도면이다. 도 2를 참조하면, 장기 변형모델 추정장치(100)는 비실시간 의료영상 획득부(105), 3차원 장기 형상모델 생성부(110), 사전지식 데이터베이스(115), 변형공간 생성부(120), 실시간 의료영상 획득부(122), 특징점 추출부(124), 뉴트럴(neutral) 모델 생성부(126) 및 3차원 장기 변형모델 추정부(130)로 구성된다.
도 2에 도시된 장기 변형모델 추정장치(100)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
또한, 도 2에 도시된 장기 변형모델 추정장치(100)는 도 1에 도시된 장기 변형모델 추정장치(100)의 일 예에 해당한다. 따라서, 도 1에서 장기 변형모델 추정장치(100)와 관련하여 기재된 설명은 도 2의 장기 변형모델 추정장치(100)에도 적용이 가능하기에, 중복되는 설명은 생략한다.
도 1에서 설명한 바와 같이, 장기 변형모델 추정장치(100)는 전처리 과정을 통하여 기생성된 피검자의 장기에 대한 변형공간을 이용하여, 실시간 처리 과정을 통하여 피검자의 장기로부터 획득되는 실시간 의료영상에 대한 3차원 장기 변형모델을 추정할 수 있다.
이에 따라, 장기 변형모델 추정장치(100)의 비실시간 의료영상 획득부(105), 3차원 장기 형상모델 생성부(110), 사전지식 데이터베이스(115), 변형공간 생성부(120)는 전처리 과정에서 사용될 수 있고, 장기 변형모델 추정장치(100)의 사전지식 데이터베이스(115), 실시간 의료영상 획득부(122), 특징점 추출부(124), 뉴트럴 모델 생성부(126) 및 3차원 장기 변형모델 추정부(130)는 실시간 처리 과정에서 사용될 수 있다.
비실시간 의료영상 획득부(105)는 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상을 획득한다. 이때, 비실시간 의료영상 획득부(105)는 비실시간 의료영상 생성부(미도시)로부터 생성된 적어도 하나 이상의 비실시간 의료영상을 획득할 수 있으나, 이에 한정되지 않고, 기 측정되어 저장된 비실시간 의료영상을 획득할 수도 있다.
3차원 장기 형상모델 생성부(110)는 비실시간 의료영상 획득부(105)로부터 획득된 적어도 하나 이상의 비실시간 의료영상에 기초하여, 피검자의 장기에 대한 적어도 하나 이상의 3차원 장기 형상모델을 생성한다.
사전지식 데이터베이스(115)는 장기 변형모델 추정장치(100)의 사용자가 이미 알고 있는 정보, 또는 대상 장기의 특징에 대하여 축적되어 정리된 정보를 저장한다.
예를 들어 설명하면, 사전지식 데이터베이스(115)는 다양한 장기들에 대하여 미리 알려진 정보를 데이터베이스화하여 저장할 수 있다. 이에 따라, 사전지식 데이터베이스(115)는 다양한 장기들의 물리적 특성에 대한 정보, 다양한 장기들의 변형상태에 대한 정보 등을 저장한다. 또한, 사전지식 데이터베이스(115)는 이에 한정되지 않고, 장기들의 특성에 대한 다양한 정보를 포함할 수 있다.
이에 따라, 장기 변형모델 추정장치(100)는 사전지식 데이터베이스(115)에 기저장된 다양한 장기들의 특성을 참조하여, 피검자의 장기에 대한 정확한 장기 변형모델을 추정할 수 있다.
변형공간 생성부(120)는 3차원 장기 형상모델 생성부(110)에서 생성된 적어도 하나 이상의 장기 형상모델 및 사전지식 데이터베이스(115)에 저장된 장기에 대한 사전지식을 이용하여, 피검자의 장기에 대한 변형공간을 생성한다.
이때, 변형공간 생성부(120)는 3차원 장기 형상모델 생성부(110)에서 생성된 적어도 하나 이상의 장기 형상모델을 참조하여, 사전지식 데이터베이스(115)에 저장된 장기에 대한 사전지식들 중 적어도 하나 이상의 장기 형상모델에 대응하는 장기에 대한 사전지식을 추출하고, 추출된 사전지식을 이용하여 피검자의 장기에 대한 변형공간을 생성할 수 있다.
이하에서, 변형공간 생성부(120)에서 간에 대한 변형공간을 생성하는 과정에 대하여 예를 들어 설명한다. 사전지식 데이터베이스(115)는 간의 경우 체적이 보존되는 특징이 있고, 탄성초음파(elastography) 등을 이용하여 측정된 탄성도에 기초한 연속체 역학기반 물리 변형 지배방정식을 포함하고 있을 수 있다.
이에 따라, 변형공간 생성부(120)는 체적보존과 지배방정식을 제약조건으로 설정하여 변형공간을 생성할 수 있다.
예를 들어 설명하면, 연속체 역학기반 운동량 보존 법칙은 수학식 1으로 정의될 수 있다.
Figure 112012095704349-pat00001
수학식 1에서,
Figure 112012095704349-pat00002
는 간의 밀도,
Figure 112012095704349-pat00003
는 간의 변위,
Figure 112012095704349-pat00004
는 간의 stress(Newton/m2)이 될 수 있다.
또한, 간의 stress
Figure 112012095704349-pat00005
는 수학식 2로 정의될 수 있다.
Figure 112012095704349-pat00006
수학식 2에서,
Figure 112012095704349-pat00007
는 간의 탄성도(Newton/m2),
Figure 112012095704349-pat00008
는 간의 형상 변형률이 될 수 있다.
이에 따라, 체적 보존을 나타내는 제약조건을 수학식 3과 같이 정의할 수 있다.
Figure 112012095704349-pat00009
수학식 1 및 2에 정의된 바와 같은 연속체 역학기반 운동량 보존법칙과 수학식 3에 정의된 바와 같은 부피 보존 방정식을 제약조건으로 설정하여, 변형공간 생성부(120)는 피검자에 개인화된 장기 형상모델 및 사전지식을 통한 제약조건을 만족하는 변형공간을 생성할 수 있다.
이에 따라, 장기 변형모델 추정장치(100)는 비실시간 의료영상 획득부(105), 3차원 장기 형상모델 생성부(110), 사전지식 데이터베이스(115) 및 변형공간 생성부(120)를 이용하여, 전처리 과정을 수행할 수 있다.
실시간 의료영상 획득부(122)는 피검자의 장기에 대한 실시간 의료영상을 획득한다. 이때, 실시간 의료영상 획득부(122)는 실시간 의료영상 생성부(미도시)로부터 생성된 실시간 의료영상을 획득할 수 있으나, 이에 한정되지 않는다.
특징점 추출부(124)는 피검자의 장기에 대한 실시간 의료영상으로부터 적어도 하나 이상의 특징점(feature points)을 추출한다. 본 실시예에 따른 특징점은 장기의 변형에 영향을 미치는 특징점이 될 수 있다. 또한, 본 실시예에 따른 특징점은 실시간 의료영상을 구성하는 하나의 픽셀 또는 복셀이 될 수 있다. 예를 들어 특징점은 장기의 특징을 나타내는 점, 장기의 변형에 의하여 영향을 받게 되는 지점, 장기의 변형에 영향을 받아 움직이게 되는 지점 등을 포함할 수 있다.
또한, 본 실시예에 따른 특징점 추출부(124)는 사전지식 데이터베이스(115)로부터 대상 장기에 있어서 장기의 변형에 영향을 미치는 특징점에 대한 정보를 추출하고, 추출된 정보를 참조하여 실시간 의료영상으로부터 적어도 하나 이상의 특징점을 추출할 수 있다.
3차원 장기 변형모델 추정부(130)는 특징점 추출부(124)에서 추출된 특징점과 변형공간 생성부(120)에서 생성된 변형공간을 이용하여, 피검자의 장기에 대한 3차원 장기 변형모델을 추정한다.
특징점 추출부(134)에서 추출된 특징점이 신뢰할만한 정밀도를 가진 경우, 3차원 장기 변형모델 추정부(130)는 변형공간으로부터 특징점을 만족하는 3차원 장기 형상모델을 검출한다. 이때, 특징점 추출부(134)에서 추출된 특징점이 신뢰할만한 정밀도를 가진 경우는 사전지식 데이터베이스(115)로부터 획득된 특징점에 대한 정보가 정확한 경우, 특징점의 수가 충분한 경우 등이 될 수 있으나, 이에 한정되지 않는다.
예를 들어 설명하면, 3차원 장기 변형모델 추정부(130)는 변형공간에 존재하는 3차원 장기 형상모델들로부터 특징점에 대응하는 지점들을 검출하여, 검출된 지점들 중 특징점과 가장 유사한 지점을 포함하는 3차원 장기 형상모델을 특징점을 만족하는 3차원 장기 형상모델로서 검출할 수 있다.
특징점 추출부(124)에서 제1 특징점 및 제2 특징점이 검출된 경우를 예로 들어 좀 더 상세히 설명하면, 3차원 장기 변형모델 추정부(130)는 변형공간에 존재하는 3차원 장기 형상모델들 각각으로부터 제1 특징점 및 제2 특징점에 대응하는 지점들을 검출한다. 이때, 제1 특징점 및 제2 특징점에 대응하는 지점들은 3차원 장기 형상모델들 각각을 구성하는 복셀이 될 수 있다.
3차원 장기 변형모델 추정부(130)는 변형공간에 존재하는 3차원 장기 형상모델들 각각으로부터 검출된 지점들 중 제1 특징점 및 제2 특징점과 가장 유사한 지점들을 포함하는 3차원 장기 형상모델을 특징점을 만족하는 3차원 장기 형상모델로 검출한다.
이때, 제1 특징점 및 제2 특징점과 가장 유사한 지점들은 제1 특징점 및 제2 특징점과 가장 유사한 위치관계를 가지는 지점들, 또는 가장 유사한 상관도를 가지는 지점들이 될 수 있으나, 이에 한정되지 않는다.
3차원 장기 변형모델 추정부(130)는 변형공간에 존재하는 3차원 장기 형상모델들 중 특징점을 만족하는 3차원 장기 형상모델에 특징점을 적용하여, 피검자의 장기에 대한 3차원 장기 변형모델을 추정한다.
이때, 특징점을 만족하는 3차원 장기 형상모델에 특징점을 적용한다 함은 특징점을 만족하는 3차원 장기 형상모델을 구성하는 지점들 중 제1 특징점 및 제2 특징점에 대응하는 지점들이 제1 특징점 및 제2 특징점과 동일한 위치관계를 가지도록 변형시키는 것을 의미하나, 이에 한정되지 않는다.
예를 들어 설명하면, 가장 유사한 3차원 장기 형상모델을 구성하는 지점들 중 제1 특징점 및 제2 특징점에 대응하는 제3 지점 및 제4 지점의 위치관계가 제1 특징점 및 제2 특징점과 동일하도록 변형시키는 것을 의미하나, 이에 한정되지 않는다. 이때, 제3 지점 및 제4 지점의 위치관계를 변형시킴에 따라, 가장 유사한 3차원 장기 형상모델을 구성하는 지점들 전체가 실시간 의료영상과 유사해지도록 변형될 수 있다.
이에 따라, 3차원 장기 변형모델 추정부(130)는 변형공간에 존재하는 3차원 장기 형상모델들 중 특징점을 만족하는 3차원 장기 형상모델에 특징점을 적용하여, 피검자의 장기에 대한 3차원 장기 변형모델을 빠르고 정확하게 추정할 수 있다.
이처럼, 특징점 추출부(124)에서 추출된 특징점이 신뢰할만한 정밀도를 가지는 경우, 도 2에 도시된 뉴트럴 모델 생성부(126)는 동작하지 않을 수 있다.
다만, 특징점 추출부(124)에서 추출된 특징점이 신뢰할만한 정밀도를 가지지 않는 경우, 뉴트럴 모델 생성부(126)가 동작할 수 있다. 이때, 특징점이 신뢰할만한 정밀도를 가지지 않는 경우는 특징점의 수가 충분하지 않거나, 또는, 특징점에 노이즈가 존재하는 경우가 될 수 있다.
뉴트럴 모델 생성부(126)는 특징점 추출부(124)에서 추출된 특징점을 피검자의 장기에 대한 형상모델에 매칭하여, 실시간 의료영상에 대한 뉴트럴 모델을 생성한다. 이때, 피검자의 장기에 대한 형상모델은 3차원 장기 형상모델 생성부(110)에서 생성된 적어도 하나의 3차원 장기 형상모델 중 어느 하나가 될 수 있다.
좀 더 상세히 설명하면, 3차원 장기 형상모델 생성부(110)에서 생성된 적어도 하나의 3차원 장기 형상모델은 모두 동일한 위상을 가질 것이기에, 뉴트럴 모델 생성부(126)는 3차원 장기 형상모델 생성부(110)에서 생성된 적어도 하나의 3차원 장기 형상모델 중 임의의 형상모델을 선택하여 사용할 수 있다.
예를 들어 설명하면, 뉴트럴 모델 생성부(126)는 피검자의 장기에 대한 형상모델에 대하여, 특징점 추출부(124)에서 추출된 적어도 하나 이상의 특징점을 매칭시킴에 따라 뉴트럴 모델을 생성할 수 있다.
좀 더 상세히 설명하면, 뉴트럴 모델 생성부(126)는 피검자의 장기에 대한 형상모델로부터 특징점 추출부(124)에서 추출된 적어도 하나 이상의 특징점에 대응하는 적어도 하나 이상의 지점을 검출하고, 피검자의 장기에 대한 형상모델로부터 검출된 적어도 하나 이상의 지점을 특징점 추출부(124)에서 추출된 적어도 하나 이상의 특징점에 따라 변형시킨다.
특징점 추출부(124)에서 제1 특징점 및 제2 특징점을 추출한 경우를 예로 들어 설명하면, 뉴트럴 모델 생성부(126)는 피검자의 장기에 대한 형상모델로부터 제1 특징점 및 제2 특징점에 대응하는 제3 지점 및 제4 지점을 검출하고, 검출된 제3 지점 및 제4 지점을 제1 특징점 및 제2 특징점에 따른 위치관계로 변형시킴에 따라 뉴트럴 모델을 생성할 수 있다. 이때, 제3 지점 및 제4 지점의 위치관계를 변형시킴에 따라, 뉴트럴 모델을 구성하는 지점들 전체가 실시간 의료영상과 유사해지도록 변형될 수 있다.
3차원 장기 변형모델 추정부(130)는 뉴트럴 모델 생성부(126)에서 생성된 뉴트럴 모델과 변형공간 생성부(120)에서 생성된 변형공간을 이용하여, 피검자의 장기에 대한 3차원 장기 변형모델을 추정한다.
뉴트럴 모델 생성부(126)에서 생성된 뉴트럴 모델과 변형공간 생성부(120)에 존재하는 3차원 장기 형상모델들은 동일한 위상을 가지고 있기에, 서로간의 대응관계를 쉽게 인지할 수 있다.
그러하기에, 3차원 장기 변형모델 추정부(130)는 뉴트럴 모델 생성부(126)에서 생성된 뉴트럴 모델과 변형공간 생성부(120)에 존재하는 3차원 장기 형상모델들간의 대응관계를 참조하여, 동일하거나 또는 가장 유사한 3차원 장기 형상모델을 피검자의 장기에 대한 3차원 장기 변형모델로서 추정할 수 있다.
좀 더 상세히 설명하면, 3차원 장기 변형모델 추정부(130)는 뉴트럴 모델을 변형공간에 투영하여, 피검자의 장기에 대한 3차원 장기 변형모델을 추정할 수 있다.
즉, 3차원 장기 변형모델 추정부(130)는 뉴트럴 모델을 변형공간에 투영하여, 변형공간 상에서 뉴트럴 모델에 대응하는 대응점을 검출하고, 검출된 대응점에 대응하는 3차원 장기 형상모델을 3차원 장기 변형모델로서 추정한다.
예를 들어 설명하면, 3차원 장기 변형모델 추정부(130)는 뉴트럴 모델을 변형공간에 투영시킴에 따라, 변형공간에 대응점이 존재하는 경우 대응점에 해당하는 데이터를 3차원 장기 변형모델로 추정한다.
다른 예를 들어 설명하면, 3차원 장기 변형모델 추정부(130)는 뉴트럴 모델을 변형공간에 투영시킴에 따라, 변형공간에 대응점이 존재하지 않는 경우에는, 대응점과 인접한 지점에 대한 데이터를 3차원 장기 변형모델로 추정할 수 있다. 이때, 대응점과 인접한 지점에 대한 데이터는 변형공간에 기존재하는 대응점들에 대하여 사전지식을 제약조건으로 활용한 보간작업에 의하여 생성될 수 있고, 이러한 보간작업은 변형공간 생성부(120)에서 수행될 수 있으나, 이에 한정되지 않고, 3차원 장기 변형모델 추정부(130)에서 수행될 수도 있다.
이에 따라, 장기 변형모델 추정장치(100)는 피검자의 장기에 대한 뉴트럴 모델을 이용하여, 피검자의 장기에 대한 3차원 장기 변형모델을 빠르고 정확하게 추정할 수 있다. 또한, 특징점의 수가 적거나 노이즈가 문제되는 경우에도, 변형공간을 활용하여 3차원 장기 변형모델을 추정할 수 있다.
이처럼, 장기 변형모델 추정장치(100)는 사전지식 데이터베이스(115), 실시간 의료영상 획득부(122), 특징점 추출부(124), 뉴트럴 모델 생성부(126) 및 3차원 장기 변형모델 추정부(130)를 이용하여, 실시간 처리 과정을 수행할 수 있다.
그러하기에, 장기 변형모델 추정장치(100)는 고해상도를 가지는 비실시간 의료영상으로부터 피검자의 장기에 특화된 변형공간을 생성하는 전처리 단계를 수행하고, 저해상도를 가지는 실시간 의료영상이 입력되면 전처리 단계에서 생성된 변형공간을 활용하여 피검자의 장기로부터 획득된 실시간 의료영상에 대응하는 3차원 장기 변형모델을 생성하는 실시간 처리 단계를 수행할 수 있다.
도 3은 본 실시예에 따른 3차원 장기 변형모델이 생성되는 과정의 일 예를 도시한 도면이다.
도 1 내지 도 3을 참조하면, 3차원 장기 형상모델 생성부(110)는 피검자의 장기의 변형상태를 나타내는 비실시간 의료영상에 기초하여, 피검자의 장기에 대한 3차원 장기 형상모델을 생성한다.
예를 들어 설명하면, 3차원 장기 형상모델 생성부(110)는 제1 비실시간 의료영상(111)에 기초하여 제1 3차원 장기 형상모델(114)을 생성하고, 제2 비실시간 의료영상(112)에 기초하여 제2 3차원 장기 형상모델(115)을 생성하고, 제3 비실시간 의료영상(113)에 기초하여 제3 3차원 장기 형상모델(116)을 생성한다.
이때, 제1 비실시간 의료영상(111) 내지 제3 비실시간 의료영상(113) 각각은 피검자의 장기의 변형상태를 나타낼 수 있다. 또한, 본 실시예에 따른 제1 비실시간 의료영상(111) 내지 제3 비실시간 의료영상(113) 각각은 3차원 의료영상이 될 수 있다.
변형공간 생성부(120)는 적어도 하나 이상의 장기 형상모델 및 장기에 대한 사전지식을 이용하여, 피검자의 장기에 대한 변형공간(121)을 생성한다.
예를 들어 설명하면, 변형공간 생성부(120)에서 생성된 변형공간은 제1 3차원 장기 형상모델(114)에 대응하는 제1 투영데이터(122), 제2 3차원 장기 형상모델(115)에 대응하는 제2 투영데이터(123), 제3 3차원 장기 형상모델(115)에 대응하는 제3 투영데이터(124)로 구성될 수 있다.
또한, 추가적으로, 변형공간 생성부(120)에서 생성된 변형공간(121)은 제1 투영데이터(122), 제2 투영데이터(123) 및 제3 투영데이터(124)를 이용하여 보간작업을 수행한 보간데이터들을 더 포함할 수도 있다.
실시간 의료영상 획득부(122)는 피검자의 장기에 대한 실시간 의료영상(123)을 획득하고, 특징점 추출부(124)는 피검자의 장기에 대한 실시간 의료영상(125)으로부터 적어도 하나 이상의 특징점(1251)을 추출한다.
뉴트럴 모델 생성부(126)는 특징점 추출부(124)에서 추출된 특징점(1251)을 피검자의 장기에 대한 형상모델에 매칭하여, 실시간 의료영상(125)에 대한 뉴트럴 모델(127)을 생성한다.
3차원 장기 변형모델 추정부(130)는 뉴트럴 모델(127)과 변형공간(121)을 이용하여, 피검자의 장기에 대한 3차원 장기 변형모델(131)을 추정한다.
예를 들어 설명하면, 3차원 장기 변형모델 추정부(130)는 뉴트럴 모델(127)을 변형공간(121)에 투영하여, 변형공간(121) 상에서 뉴트럴 모델(127)에 대응하는 대응점(128)을 검출하고, 검출된 대응점(128)에 대응하는 3차원 장기 형상모델을 3차원 장기 변형모델(131)로서 추정한다.
따라서, 장기 변형모델 추정장치(100)는 실시간 의료영상(123)을 입력받으면, 실시간 의료영상(123)에 대응하는 3차원 장기 변형모델(131)을 빠르고 정확하게 추정할 수 있다.
도 4는 본 실시예에 따른 의료영상시스템(400)의 일 예를 도시한 도면이다. 도 4를 참조하면, 의료영상시스템(400)은 장기 변형모델 추정장치(100), 비실시간 의료영상 생성장치(410), 실시간 의료영상 생성장치(420), 저장부(430), 표시부(440) 및 출력부(450)로 구성된다.
도 4에 도시된 의료영상시스템(400)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 4에 도시된 장기 변형모델 추정장치(100)는 도 1 내지 도 2에 도시된 장기 변형모델 추정장치(100)의 일 실시예에 해당한다. 이에 따라, 도 1 내지 도 2와 관련하여 기재된 내용은 도 4에 도시된 장기 변형모델 추정장치(100)에도 적용이 가능하기에 중복되는 설명은 생략한다.
장기 변형모델 추정장치(100)는 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 장기 형상모델 및 장기에 대한 사전지식에 따라 생성된 변형공간을 이용하여, 피검자의 실시간 의료영상에 대한 3차원 장기 변형모델을 추정한다.
비실시간 의료영상 생성장치(410)는 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상을 획득한다. 이때, 비실시간 의료영상은 CT 영상, MRI 영상 등이 될 수 있고, 이에 따라, 비실시간 의료영상 생성장치(410)는 CT 영상 생성장치, MRI 영상 생성장치 등이 될 수 있다.
또한, 도 4에서는 비실시간 의료영상 생성장치(410)가 의료영상시스템(400)에 포함된 것으로 도시되었으나, 사용환경에 따라, 비실시간 의료영상 생성장치(410)는 의료영상시스템(400) 외부에 존재할 수도 있다.
실시간 의료영상 생성장치(420)는 피검자의 장기에 대한 실시간 의료영상을 획득한다. 이때, 실시간 의료영상은 초음파 영상 등이 될 수 있고, 이에 따라, 실시간 의료영상 생성장치(420)는 초음파 영상 생성장치 등이 될 수 있다.
저장부(430)는 장기 변형모델 추정장치(100)에서 추정된 장기 변형모델을 저장하고, 표시부(440)는 장기 변형모델 추정장치(100)에서 추정된 장기 변형모델을 표시한다. 다만, 본 실시예에 따른 의료영상시스템(400)은 표시부(440)를 구비하지 않고, 장기 변형모델 추정장치(100)에서 추정된 장기 변형모델을 외부의 표시장치(미도시)로 출력하기 위한 출력부(450)를 구비할 수도 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 알 수 있다
출력부(450)는 장기 변형모델 추정장치(100)에서 추정된 장기 변형모델을 유, 무선 네트워크 또는 유선 직렬 통신 등을 통하여 외부장치로 출력한다. 이때, 출력부(450)는 유, 무선 네트워크 또는 유선 직렬 통신 등을 통하여 외부장치와 데이터를 송수신할 수 있고, 본 실시예에 따른 네트워크(network)는 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등을 포함하나 이에 한정되지 않고 정보를 송수신할 수 있는 다른 종류의 네트워크가 될 수도 있음을 알 수 있다.
이에 따라, 또한, 본 실시예에 따른 저장부(430) 및 출력부(450)는 영상 판독 및 검색 기능을 더 포함시켜 PACS(Picture Archiving Communication System)와 같은 형태로 일체화될 수도 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 알 수 있다.
따라서, 의료영상시스템(400)은 피검자의 장기에 대한 실시간 의료영상에 대하여 빠르고 정확하게 추정된 3차원 장기 변형모델을 표시하고, 저장하고, 출력할 수 있다.
도 5는 본 실시예에 따른 장기 변형모델을 추정하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 장기 변형모델을 추정하는 방법은 도 1 내지 도 2 및 도 4에 도시된 장기 변형모델 추정장치(100) 및 의료영상시스템(400)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 내지 도 2 및 도 4에 도시된 장기 변형모델 추정장치(100) 및 의료영상시스템(400)에 관하여 이상에서 기술된 내용은 도 5의 장기 변형모델을 추정하는 방법에도 적용됨을 알 수 있다.
501 단계에서 3차원 장기 형상모델 생성부(110)는 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 상기 피검자의 장기에 대한 적어도 하나 이상의 3차원 장기 형상모델을 생성한다.
502 단계에서 변형공간 생성부(120)는 상기 501 단계에서 생성된 적어도 하나 이상의 장기 형상모델 및 장기에 대한 사전지식을 이용하여, 피검자의 장기에 대한 변형공간을 생성한다.
503 단계에서 3차원 장기 변형모델 추정부(130)는 피검자의 장기에 대한 실시간 의료영상과 상기 502 단계에서 생성된 변형공간을 이용하여, 피검자의 장기에 대한 3차원 장기 변형모델을 추정한다.
이처럼, 장기 변형모델을 추정하는 방법에 따르면, Image-guided Surgery로 수술을 진행하는 경우, 호흡이나 심장 박동 등으로 인하여 장기의 위치와 형상이 시간에 따라 지속적으로 변화하게 되는 경우에도, 환부를 추적하여 병변을 치료할 수 있다.
또한, 피검자의 장기에 특화된 변형공간을 생성할 수 있기에, 실시간 의료영상으로 이종 의료영상(예를 들면, 다양한 종류의 의료영상 중 어느 하나)이 입력되는 경우에도 장기에 대한 3차원 장기 변형모델을 정확하게 추정할 수 있고, 제한적인 실시간 의료영상(예를 들면, 제한적인 해상도 및 제한적인 조회 가능한(visible) 영역을 가지는 실시간 의료영상)만으로도 3차원 장기 변형모델을 추정할 수 있기에, 환자 질환의 진단, 수술, 치료, 예방 등에 활용할 수 있다.
추가적으로, 본 실시예에 따른 장기 변형모델 추정장치(100)를 이용함에 따라, 논-리지드(non-rigid)한 특성을 가지는 환자 장기의 네비게이션(navigation) 또는 수술 등에 있어서, 환자 장기에 대한 실시간 3차원 장기변형 결과를 정확하게 추정할 수 있다.
또한, Image-guided Surgery와 같이 의사에게 제한된 의료영상만이 제공되는 경우, 치료영역의 인식 한계(예를 들어, 낮은 해상도로 인하여 치료영역을 명확하게 인식할 수 없는 경우)가 발생할 수 있는바, 본 실시예에 따른 장기 변형모델 추정장치(100)를 이용하여 환자 장기를 3차원 장기 변형모델로 재구성하여 사용자에게 제공함에 따라, 수술의 정확도를 향상시킬 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등), PC 인터페이스(PC Interface)(예를 들면, PCI, PCI-express, Wifi 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 ... 장기 변형모델 추정장치
110 ... 3차원 장기 형상모델 생성부
120 ... 변형공간 생성부
130 ... 3차원 장기 변형모델 추정부

Claims (20)

  1. 피검자의 장기(organ)의 변형(deformation)상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 상기 피검자의 장기에 대하여 위상(topology)이 동일한 적어도 하나 이상의 3차원 장기 형상모델을 생성하는 단계;
    상기 생성된 적어도 하나 이상의 장기 형상모델 및 상기 장기에 대한 사전지식(prior knowledge)을 이용하여, 상기 피검자의 장기에 대한 변형공간(deformation space)을 생성하는 단계; 및
    상기 피검자의 장기에 대한 실시간 의료영상과 상기 생성된 변형공간을 이용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 단계;를 포함하는 장기 변형모델을 추정하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 위상이 동일한 적어도 하나 이상의 3차원 장기 형상모델 각각을 구성하는 정점(vertex)들과 정점들을 연결하는 간선(edge)들의 연결관계가 동일한 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 변형공간을 생성하는 단계는 상기 사전지식을 제약조건으로 활용하여, 상기 적어도 하나 이상의 장기 형상모델에 따라 정의된 변형공간에 대한 보간작업을 수행하여, 변형공간을 생성하는 방법.
  5. 제 1 항에 있어서,
    상기 3차원 장기 변형모델을 추정하는 단계는 상기 피검자의 장기에 대한 실시간 의료영상을 변형공간에 매칭(matching)시킴에 따라, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 방법.
  6. 제 1 항에 있어서,
    상기 피검자의 장기에 대한 실시간 의료영상으로부터 적어도 하나 이상의 특징점을 추출하는 단계;를 더 포함하고,
    상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 단계는 상기 추출된 특징점과 상기 생성된 변형공간을 이용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 방법.
  7. 제 6 항에 있어서,
    상기 3차원 장기 변형모델을 추정하는 단계는 상기 생성된 변형공간으로부터 상기 추출된 특징점을 만족하는 3차원 장기 형상모델을 검출하고, 상기 검출된 3차원 장기 형상모델에 상기 추출된 특징점을 적용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 방법.
  8. 제 1 항에 있어서,
    상기 피검자의 장기에 대한 실시간 의료영상으로부터 적어도 하나 이상의 특징점을 추출하는 단계; 및
    상기 추출된 특징점을 상기 피검자의 장기에 대한 형상모델에 매칭하여, 상기 실시간 의료영상에 대한 뉴트럴 모델을 생성하는 단계;를 더 포함하고,
    상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 단계는 상기 생성된 뉴트럴 모델과 상기 생성된 변형공간을 이용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 방법.
  9. 제 8 항에 있어서,
    상기 뉴트럴 모델을 생성하는 단계는 상기 피검자의 장기에 대한 형상모델로부터 상기 추출된 적어도 하나 이상의 특징점에 대응하는 적어도 하나 이상의 지점을 검출하고, 상기 검출된 적어도 하나 이상의 지점을 상기 추출된 적어도 하나 이상의 특징점에 따라 변형시킴에 따라, 상기 실시간 의료영상에 대한 뉴트럴 모델을 생성하는 방법.
  10. 제 8 항에 있어서,
    상기 3차원 장기 변형모델을 추정하는 단계는 상기 뉴트럴 모델을 상기 변형공간에 투영하여, 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 방법.
  11. 제 1 항, 제 3 항 내지 제 10 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
  12. 피검자의 장기(organ)의 변형(deformation)상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 상기 피검자의 장기에 대하여 위상이 동일한 적어도 하나 이상의 3차원 장기 형상모델을 생성하는 3차원 장기 형상모델 생성부;
    상기 생성된 적어도 하나 이상의 장기 형상모델 및 상기 장기에 대한 사전지식(prior knowledge)을 이용하여, 상기 피검자의 장기에 대한 변형공간(deformation space)을 생성하는 변형공간 생성부; 및
    상기 피검자의 장기에 대한 실시간 의료영상과 상기 생성된 변형공간을 이용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 3차원 장기 변형모델 추정부;를 포함하는 장기 변형모델 추정장치.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 변형공간 생성부는 상기 사전지식을 제약조건으로 활용하여, 상기 적어도 하나 이상의 장기 형상모델에 따라 정의된 변형공간에 대한 보간작업을 수행하여, 변형공간을 생성하는 장기 변형모델 추정장치.
  15. 제 12 항에 있어서,
    상기 3차원 장기 변형모델 추정부는 상기 피검자의 장기에 대한 실시간 의료영상을 변형공간에 매칭(matching)시킴에 따라, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 장기 변형모델 추정장치.
  16. 제 12 항에 있어서,
    상기 피검자의 장기에 대한 실시간 의료영상으로부터 적어도 하나 이상의 특징점을 추출하는 특징점 추출부;를 더 포함하고,
    상기 3차원 장기 변형모델 추정부는 상기 추출된 특징점과 상기 생성된 변형공간을 이용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 장기 변형모델 추정장치.
  17. 제 12 항에 있어서,
    상기 피검자의 장기에 대한 실시간 의료영상으로부터 적어도 하나 이상의 특징점을 추출하는 특징점 추출부; 및
    상기 추출된 특징점을 상기 피검자의 장기에 대한 형상모델에 매칭하여, 상기 실시간 의료영상에 대한 뉴트럴 모델을 생성하는 뉴트럴 모델 생성부;를 더 포함하고,
    상기 3차원 장기 변형모델 추정부는 상기 생성된 뉴트럴 모델과 상기 생성된 변형공간을 이용하여, 상기 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 장기 변형모델 추정장치.
  18. 제 17 항에 있어서,
    상기 3차원 장기 변형모델 추정부는 상기 뉴트럴 모델을 상기 변형공간에 투영하여, 피검자의 장기에 대한 3차원 장기 변형모델을 추정하는 장기 변형모델 추정장치.
  19. 피검자의 장기에 대한 실시간 의료영상을 생성하는 실시간 의료영상 생성장치;
    상기 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 3차원 장기 형상모델 및 상기 장기에 대한 사전지식에 따라 생성된 변형공간을 이용하여, 상기 피검자의 실시간 의료영상에 대한 3차원 장기 변형모델을 추정하는 장기 변형모델 추정장치; 및
    상기 추정된 3차원 장기 변형모델을 표시하는 표시부;를 포함하고,
    상기 장기 변형모델 추정 장치는 상기 피검자의 장기의 변형상태를 나타내는 적어도 하나 이상의 비실시간 의료영상에 기초하여, 상기 피검자의 장기에 대하여위상이 동일한 적어도 하나 이상의 상기 3차원 장기 형상모델을 생성하는 의료영상시스템.
  20. 제 19 항에 있어서,
    상기 실시간 의료영상은 초음파 영상인 의료영상시스템.
KR1020120131956A 2012-01-03 2012-11-20 장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템 KR101993381B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/733,333 US9092666B2 (en) 2012-01-03 2013-01-03 Method and apparatus for estimating organ deformation model and medical image system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120000644 2012-01-03
KR1020120000644 2012-01-03

Publications (2)

Publication Number Publication Date
KR20130079987A KR20130079987A (ko) 2013-07-11
KR101993381B1 true KR101993381B1 (ko) 2019-06-26

Family

ID=48992272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120131956A KR101993381B1 (ko) 2012-01-03 2012-11-20 장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템

Country Status (1)

Country Link
KR (1) KR101993381B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101645369B1 (ko) * 2015-09-07 2016-08-04 사회복지법인 삼성생명공익재단 의료용 맞춤 애니메이션 제공 시스템 및 방법
KR102342990B1 (ko) * 2020-02-04 2021-12-24 (주)헬스허브 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치 및 그 방법
KR102615185B1 (ko) * 2022-07-04 2023-12-19 메디컬아이피 주식회사 인체장기모델 생성방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007159933A (ja) 2005-12-15 2007-06-28 Hitachi Medical Corp 画像表示方法、プログラム、及び装置
US20080262814A1 (en) * 2007-04-23 2008-10-23 Yefeng Zheng Method and system for generating a four-chamber heart model
JP2009011628A (ja) 2007-07-06 2009-01-22 Hitachi Medical Corp 画像診断支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007159933A (ja) 2005-12-15 2007-06-28 Hitachi Medical Corp 画像表示方法、プログラム、及び装置
US20080262814A1 (en) * 2007-04-23 2008-10-23 Yefeng Zheng Method and system for generating a four-chamber heart model
JP2009011628A (ja) 2007-07-06 2009-01-22 Hitachi Medical Corp 画像診断支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Said Benameur, et al., ‘3D/2D registration and segmentation of scoliotic vertebrae using statistical models’, Computerized Medical Imaging and Graphics 27, (2003) 321-337*

Also Published As

Publication number Publication date
KR20130079987A (ko) 2013-07-11

Similar Documents

Publication Publication Date Title
KR101267759B1 (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
JP6537981B2 (ja) 複数の三次元ビューからの大きな対象のセグメンテーション
US8265363B2 (en) Method and apparatus for automatically identifying image views in a 3D dataset
US9035941B2 (en) Image processing apparatus and image processing method
US10102622B2 (en) Processing apparatus, processing method, and non-transitory computer-readable storage medium
JP5474342B2 (ja) ３−ｄ画像および表面マッピングによる解剖学的モデル化
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
US10426414B2 (en) System for tracking an ultrasonic probe in a body part
JP2009273597A (ja) 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
JP2002306483A (ja) 医用画像診断装置及びその方法
US20140294263A1 (en) Synchronized Navigation of Medical Images
KR20150118484A (ko) 의료 영상 정합 방법 및 장치
JP6131161B2 (ja) 画像位置合わせ装置、方法、およびプログラム、並びに３次元変形モデル生成方法
JP5591309B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US9092666B2 (en) Method and apparatus for estimating organ deformation model and medical image system
KR101993381B1 (ko) 장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템
Jandt et al. Automatic generation of time resolved motion vector fields of coronary arteries and 4D surface extraction using rotational x-ray angiography
Krishnaswamy et al. A semi-automated method for measurement of left ventricular volumes in 3D echocardiography
zu Berge et al. Ultrasound Decompression for Large Field-of-View Reconstructions.
KR20140105103A (ko) 장기의 움직임을 추적하는 방법, 장치 및 의료 영상 시스템
JP5706933B2 (ja) 処理装置および処理方法、プログラム
EP2725546B1 (en) Display processing method and apparatus
JP7419037B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2020138136A1 (ja) 画像処理装置、画像処理方法及びプログラム
Lasowski et al. Adaptive visualization for needle guidance in RF liver ablation: taking organ deformation into account

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant