KR101900679B1 - Method for 3d coronary registration based on vessel feature, recording medium and device for performing the method - Google Patents
Method for 3d coronary registration based on vessel feature, recording medium and device for performing the method Download PDFInfo
- Publication number
- KR101900679B1 KR101900679B1 KR1020160178108A KR20160178108A KR101900679B1 KR 101900679 B1 KR101900679 B1 KR 101900679B1 KR 1020160178108 A KR1020160178108 A KR 1020160178108A KR 20160178108 A KR20160178108 A KR 20160178108A KR 101900679 B1 KR101900679 B1 KR 101900679B1
- Authority
- KR
- South Korea
- Prior art keywords
- matching
- blood vessel
- dimensional
- vessel
- rigid body
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/503—Clinical applications involving diagnosis of heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
Abstract
혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법은, 동일한 환자의 시간차를 두고 촬영한 적어도 두 개의 3D CT(Computed Tomography) 심혈관 조영 영상에 대하여, 전역적(Global) 이동 변위를 보정하기 위해 바운딩 박스(Bounding Box)를 이용한 초기 정합을 수행하는 단계; 상기 각 3D CT 심혈관 조영 영상에서 혈관의 중심선을 기준으로 주변 인접 영역에 대한 지역적(Local) 거리 전파를 수행하여, 3차원 거리 맵(Distance Map)을 생성하는 단계; 상기 3차원 거리 맵에서 혈관의 특징 정보를 이용한 유사도 비교를 통해, 혈관 간 매칭을 수행하는 단계; 및 획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용하여, 비강체 정합을 진행하는 단계를 포함한다. 이에 따라, 움직임이 큰 심장의 3D CT 심혈관 대해서도 정확하고 신속한 자동 정합이 가능하다.The three-dimensional cardiovascular matching method based on the vascular feature information is a method for correcting a global movement displacement of at least two 3D CT (Computed Tomography) cardiovascular images taken at the same patient's time difference in a bounding box Performing initial matching using a Bounding Box; Generating a three-dimensional distance map by performing local distance propagation to a neighboring region based on a center line of the blood vessel in each 3D CT cardiogram image; Performing inter-vessel matching through a similarity comparison using feature information of a blood vessel in the three-dimensional distance map; And performing non-rigid body matching using point sampling based on the obtained inter-vessel matching information. As a result, accurate and rapid automatic matching of 3D CT cardiovascular large-motion heart is possible.
Description
본 발명은 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 동일한 환자의 시간차를 두고 촬영한 3D CT(Computed Tomography) 심혈관 조영 영상 간의 정합을 자동으로 수행하기 위한 기술에 관한 것이다.The present invention relates to a three-dimensional cardiovascular matching method based on vascular feature information, a recording medium and apparatus for performing the same, and more particularly, to a 3D cardiovascular image matching method in which a 3D CT (Computed Tomography) And more particularly,
최근 서구식 식생활, 평균수명의 연장, 운동부족 등의 원인으로 관상동맥 질환 환자가 급격하게 증가하면서, 이 질환의 진단 및 치료 과정에 도움을 주는 컴퓨터 보조 기술의 필요성도 증가하고 있다. 관상동맥 질환은 관상동맥에 노폐물이 생겨 혈관이 좁아지거나 폐쇄되어 심근에 대사요구를 충족시키지 못하여 발생하는 질환이다. Recently, the number of patients with coronary artery disease has been rapidly increasing due to western eating habits, life expectancy and lack of exercise, and the need for computer assisted technology for the diagnosis and treatment of this disease is increasing. Coronary artery disease is a disease caused by the formation of wastes in the coronary arteries and narrowing or closure of blood vessels and failing to meet the metabolic demand in myocardium.
관상동맥 질환에 대한 대표적 치료방법으로, 금속 그물망인 스텐트를 병변에 삽입하여 전개시킴으로써 협착을 완화시키는 스텐트 삽입술이 이용되고 있다. 스텐트 삽입술은 비수술적 치료방법으로 최소한의 절개와 마취, 침습적 조작을 이용하기 때문에 환자가 느끼는 육체적, 정신적, 경제적 부담이 적다는 장점이 있다. As a representative treatment for coronary artery disease, stent implantation is used to relieve stenosis by inserting a metal mesh network into a lesion. Stent implantation is a non - invasive treatment modality that uses minimal incision, anesthesia, and invasive manipulation, so it has the advantage of less physical, mental, and economic burden on the patient.
이 경우, 시술 후 외래에서 주기적으로 CT 촬영을 시행하여 치료 효과를 판정하고 새로운 병변 유무를 검사하게 된다. 이를 위하여 동일 환자의 시간차를 두고 촬영한 3D CT 심혈관 조영 영상 간 분석이 효율적으로 이루어져야 한다. 하지만 CT 촬영 프로토콜, 환자의 자세 변화 등에 따른 영상 간 차이로 인해 분석을 수작업으로 하는데 어려움이 있다.In this case, the CT scan is periodically performed from the outpatient clinic to determine the therapeutic effect and check for new lesions. To do this, 3D CT cardiograms should be analyzed efficiently. However, it is difficult to perform the analysis manually because of the difference between the images due to the CT photographing protocol and the change of the posture of the patient.
이러한 단점을 보완하기 위하여 동일 환자의 시간차를 두고 촬영된 일련의 3D CT 심혈관 조영 영상과 같이 많은 정보를 자동으로 처리하고, 이를 활용하는 진단 보조 기술에 대한 연구가 필요하다. 이와 관련된 종래 기술로는 간, 뇌 등의 움직임이 적거나 거의 없는 장기들의 혈관 정합 기술들이 있다. In order to compensate for these drawbacks, it is necessary to study the diagnostic assistive technology that automatically processes and uses a lot of information like a series of 3D CT cardiograms taken at the time of the same patient. Conventional techniques related to this are blood vessel matching techniques of organs with little or no movement of the liver, brain, and the like.
종래 기술들은 움직임이 적은 장기들의 3D 혈관 정합에 초점이 맞춰져 있다. 이들은 주된 정합 기법으로 ICP(Iterative Closest Point) 정합 기법을 채택하여 지역적 오류에 빠지질 위험이 있다.The prior art focuses on 3D vessel alignment of organs with low motion. They have adopted the ICP (Iterative Closest Point) matching technique as the dominant matching technique and are at risk of falling into local errors.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 제공하는 것이다.Accordingly, it is an object of the present invention to provide a three-dimensional cardiovascular matching method based on vascular characteristic information.
본 발명의 다른 목적은 상기 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.It is another object of the present invention to provide a recording medium on which a computer program for performing a three-dimensional cardiovascular matching method based on the blood vessel characteristic information is recorded.
본 발명의 또 다른 목적은 상기 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합을 수행하기 위한 장치를 제공하는 것이다.It is still another object of the present invention to provide an apparatus for performing three-dimensional cardiovascular matching based on the blood vessel characteristic information.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법은, 동일한 환자의 시간차를 두고 촬영한 적어도 두 개의 3D CT(Computed Tomography) 심혈관 조영 영상에 대하여, 전역적(Global) 이동 변위를 보정하기 위해 바운딩 박스(Bounding Box)를 이용한 초기 정합을 수행하는 단계; 상기 각 3D CT 심혈관 조영 영상에서 혈관의 중심선을 기준으로 주변 인접 영역에 대한 지역적(Local) 거리 전파를 수행하여, 3차원 거리 맵(Distance Map)을 생성하는 단계; 상기 3차원 거리 맵에서 혈관의 특징 정보를 이용한 유사도 비교를 통해, 혈관 간 매칭을 수행하는 단계; 및 획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용하여, 비강체 정합을 진행하는 단계를 포함한다.According to an embodiment of the present invention for realizing the object of the present invention, a three-dimensional cardiovascular matching method based on vascular characteristic information includes at least two 3D CT (Computed Tomography) cardiogram images taken at a time difference of the same patient Performing initial matching using a bounding box to correct a global movement displacement; Generating a three-dimensional distance map by performing local distance propagation to a neighboring region based on a center line of the blood vessel in each 3D CT cardiogram image; Performing inter-vessel matching through a similarity comparison using feature information of a blood vessel in the three-dimensional distance map; And performing non-rigid body matching using point sampling based on the obtained inter-vessel matching information.
본 발명의 실시예에서, 상기 획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용하여, 비강체 정합을 진행하는 단계는, 각 혈관 구조에 대한 지역적 정합을 반복적으로 수행하는 단계를 더 포함할 수 있다.In the embodiment of the present invention, the step of performing non-rigid body matching using point sampling based on the acquired inter-vessel matching information may include performing repeatedly local matching on each blood vessel structure .
본 발명의 실시예에서, 상기 획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용하여, 비강체 정합을 진행하는 단계는, 혈관의 상위 레벨부터 하위 레벨 순으로 비강체 정합을 수행할 수 있다.In the embodiment of the present invention, the step of performing non-rigid body matching using point sampling based on the acquired inter-vessel matching information may be performed by performing non-rigid body matching from the upper level to the lower level of the blood vessel can do.
본 발명의 실시예에서, 상기 전역적(Global) 이동 변위를 보정하기 위해 바운딩 박스(Bounding Box)를 이용한 초기 정합을 수행하는 단계는, 상기 각 3D CT 심혈관 조영 영상에서 혈관의 최대 이동 변위의 3차원 좌표에 소정의 이동 변위(d)만큼 확장된 바운딩 박스를 설정하는 단계를 포함할 수 있다.In an exemplary embodiment of the present invention, performing the initial matching using a bounding box to correct the global motion displacement may include performing an initial matching using a Bounding Box, And setting a bounding box expanded by a predetermined displacement d in the dimensional coordinates.
본 발명의 실시예에서, 상기 각 3D CT 심혈관 조영 영상에서 혈관의 중심선을 기준으로 주변 인접 영역에 대한 지역적(Local) 거리 전파를 수행하여, 3차원 거리 맵(Distance Map)을 생성하는 단계는, 상기 3차원 거리 맵에서 상기 혈관의 중심선 간 최소의 값을 갖는 거리차이 절대값의 평균이 최소가 되는 최적화 기법을 적용할 수 있다.According to an embodiment of the present invention, the step of generating a three-dimensional distance map by performing local distance propagation to a neighboring region based on a center line of a blood vessel in each 3D CT cardiogram image, An optimization technique can be applied in which the average of the absolute values of the distance differences having the minimum values between the centerlines of the blood vessels is minimized in the three-dimensional distance map.
본 발명의 실시예에서, 상기 3차원 거리 맵에서 혈관의 특징 정보를 이용한 유사도 비교를 통해, 혈관 간 매칭을 수행하는 단계는, 변환될 영상의 혈관 세그먼트(Segment)를 중심으로 일정 영역 이내에 포함되는 기준 영상의 혈관 세그먼트들을 매칭 후보군으로 설정하는 단계; 상기 변환될 영상의 혈관 세그먼트와 후보군으로 선정된 세그먼트들 간의 혈관 특징 정보를 추출하는 단계; 상기 혈관 특징 정보를 기반으로 혈관 간 유사도를 측정하는 단계; 및 상기 유사도 측정 결과를 이용하여 두 영상의 혈관 간 매칭 관계를 성립하는 단계를 포함할 수 있다.In the embodiment of the present invention, performing the inter-vessel matching through the similarity comparison using the feature information of the blood vessel in the three-dimensional distance map may include a step of, Setting blood vessel segments of a reference image as a matching candidate group; Extracting vessel characteristic information between a vessel segment of the image to be converted and a segment selected as a candidate group; Measuring blood vessel similarity based on the blood vessel characteristic information; And establishing a matching relationship between blood vessels of two images using the similarity measurement result.
본 발명의 실시예에서, 상기 혈관 특징 정보는 세그먼트들 간의 두께, 기울기 중 적어도 하나를 포함할 수 있다.In an embodiment of the present invention, the vascular feature information may include at least one of a thickness and a slope between segments.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다. According to another aspect of the present invention, there is provided a computer-readable storage medium storing a computer program for performing a three-dimensional cardiovascular matching method based on the blood vessel characteristic information.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치는, 동일한 환자의 시간차를 두고 촬영한 적어도 두 개의 3D CT(Computed Tomography) 심혈관 조영 영상에 대하여, 전역적(Global) 이동 변위를 보정하기 위해 바운딩 박스(Bounding Box)를 이용한 초기 정합을 수행하는 초기 정합부; 상기 각 3D CT 심혈관 조영 영상에서 혈관의 중심선을 기준으로 주변 인접 영역에 대한 지역적(Local) 거리 전파를 수행하여, 3차원 거리 맵(Distance Map)을 생성하는 강체 정합부; 상기 3차원 거리 맵에서 혈관의 특징 정보를 이용한 유사도 비교를 통해, 혈관 간 매칭을 수행하는 유사도 비교부; 및 획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용하여, 비강체 정합을 수행하는 비강체 정합부를 포함한다.According to another aspect of the present invention, there is provided a three-dimensional cardiovascular matching apparatus based on blood vessel characteristic information, comprising at least two 3D CT (Computed Tomography) cardiogram images An initial matching unit for performing initial matching using a bounding box to correct a global moving displacement, A rigid body matching unit for generating a three-dimensional distance map by performing local distance propagation to a neighboring region based on a center line of the blood vessel in each 3D CT cardiogram image; A similarity comparison unit for performing inter-vessel matching through a similarity comparison using the feature information of the blood vessel in the three-dimensional distance map; And a non-rigid body matching unit that performs non-rigid body matching using point sampling based on the obtained inter-artery matching information.
본 발명의 실시예에서, 상기 비강체 정합부는, 혈관의 상위 레벨부터 하위 레벨 순으로, 각 혈관 구조에 대한 지역적 정합을 반복적으로 수행할 수 있다.In an embodiment of the present invention, the non-rigid body matching unit may repeatedly perform local matching on each blood vessel structure in order from the upper level to the lower level of the blood vessel.
본 발명의 실시예에서, 상기 초기 정합부는, 상기 각 3D CT 심혈관 조영 영상에서 혈관의 최대 이동 변위의 3차원 좌표에 소정의 이동 변위(d)만큼 확장된 바운딩 박스를 설정할 수 있다.In the embodiment of the present invention, the initial matching unit may set a bounding box expanded by a predetermined displacement d in three-dimensional coordinates of a maximum displacement displacement of a blood vessel in each 3D CT cardiogram image.
본 발명의 실시예에서, 상기 강체 정합부는, 상기 3차원 거리 맵에서 상기 혈관의 중심선 간 최소의 값을 갖는 거리차이 절대값의 평균이 최소가 되는 최적화 기법을 적용할 수 있다.In the embodiment of the present invention, the rigid body matching unit may apply an optimization technique in which the average of the absolute values of the distance differences having the minimum value between the centerlines of the blood vessels in the three-dimensional distance map is minimized.
본 발명의 실시예에서, 상기 유사도 비교부는, 변환될 영상의 혈관 세그먼트(Segment)를 중심으로 일정 영역 이내에 포함되는 기준 영상의 혈관 세그먼트들을 매칭 후보군으로 설정하는 후보군 설정부; 상기 변환될 영상의 혈관 세그먼트와 후보군으로 선정된 세그먼트들 간의 두께, 기울기 중 적어도 하나를 포함하는 혈관 특징 정보를 추출하는 특징 추출부; 상기 혈관 특징 정보를 기반으로 혈관 간 유사도를 측정하는 유사도 측정부; 및 상기 유사도 측정 결과를 이용하여 두 영상의 혈관 간 매칭 관계를 성립하는 매칭부를 포함할 수 있다.In an embodiment of the present invention, the similarity comparison unit may include: a candidate group setting unit that sets, as a matching candidate group, vascular segments of a reference image included within a certain region around a segment of a video to be converted; A feature extraction unit for extracting vascular feature information including at least one of a thickness and a slope between a segment of the image to be converted and a segment selected as a candidate group; A similarity measuring unit for measuring the similarity of blood vessels based on the blood vessel characteristic information; And a matching unit for establishing a matching relationship between blood vessels of two images using the similarity measurement result.
이와 같은 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법에 따르면, 시간차를 두고 촬영된 동일 환자의 3D CT 심혈관 조영 영상 간의 유사성 비교를 통해 자동 정합을 수행한다. 본 발명은, 움직임이 큰 심장의 3D CT 심혈관 모델 정합에 특화되어있으며, 두께, 기울기 등 혈관 특징 정보를 활용한 정합을 통해 빠른 수행시간을 보장함과 동시에 지역적 오류에 빠질 위험을 줄였다.According to the three-dimensional cardiovascular matching method based on the blood vessel characteristic information, automatic matching is performed by comparing the similarity between 3D CT cardiogram images of the same patient photographed with a time difference. The present invention is specialized in 3D cardiovascular model matching of a large heart, and it guarantees fast execution time through matching using blood vessel characteristic information such as thickness and slope, and reduces the risk of falling into local error.
또한, 3D CT 심혈관 조영 영상 간의 CT 촬영 프로토콜, 환자의 자세 변화 등에 따른 차이로 인한 수작업 분석의 어려움을 개선함과 동시에 자동화 기술 도입을 통한 다량의 데이터 처리가 용이한 진단 보조 기술로서 유용하게 활용될 수 있다. It is also useful as a diagnostic assistant technology to improve the difficulty of manual analysis due to the difference in the CT protocol between the 3D CT cardiograms and the patient's attitude change and to easily process a large amount of data through the introduction of the automation technology .
또한, 환자의 병변 진행상황이나 시술 후 경과를 확인하기 위한 추적 연구(Follow-up Study) 기술로서 활용될 수 있다. 나아가, 4D(3D+ t) 데이터 생성 시 인접 시점 사이의 보간 모델 생성 기술로서 활용될 수 있다.It can also be used as a follow-up study technique to confirm the progress of the lesion or the progress of the procedure. Furthermore, it can be utilized as an interpolation model generation technique between neighboring points when 4D (3D + t) data is generated.
도 1은 본 발명의 일 실시예에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법의 흐름도이다.
도 2는 혈관 간 매칭을 수행하는 단계의 상세한 흐름도이다.
도 3은 바운딩 박스를 통한 전역적 이동 변위 보정을 설명하기 위한 도면이다.
도 4는 3차원 거리 맵 생성을 설명하기 위한 도면이다.
도 5는 3차원 CT 심혈관 조영 영상의 혈관 매칭 정보 기반 샘플링을 설명하기 위한 도면이다.
도 6은 도 5의 일부를 확대한 도면이다.
도 7 및 도 8은 비강체 정합을 설명하기 위한 예시 도면들이다.
도 9는 본 발명의 일 실시예에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치의 블록도이다.
도 10은 도 9의 유사도 비교부의 상세 블록도이다.FIG. 1 is a flowchart of a three-dimensional cardiovascular matching method based on blood vessel characteristic information according to an embodiment of the present invention.
2 is a detailed flowchart of a step of performing inter-vessel matching.
3 is a diagram for explaining the global movement displacement correction through the bounding box.
4 is a diagram for explaining generation of a three-dimensional distance map.
FIG. 5 is a view for explaining sampling based on blood vessel matching information of a 3-dimensional CT cardiogram image.
Fig. 6 is an enlarged view of a part of Fig. 5. Fig.
Figs. 7 and 8 are illustrative drawings for explaining non-rigid body matching. Fig.
9 is a block diagram of a three-dimensional cardiovascular matching apparatus based on blood vessel characteristic information according to an embodiment of the present invention.
10 is a detailed block diagram of the similarity comparing unit of FIG.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법의 흐름도이다. 도 2는 혈관 간 매칭을 수행하는 단계의 상세한 흐름도이다.FIG. 1 is a flowchart of a three-dimensional cardiovascular matching method based on blood vessel characteristic information according to an embodiment of the present invention. 2 is a detailed flowchart of a step of performing inter-vessel matching.
본 발명에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법은, 시간차를 두고 촬영한 3차원(이하, 3D) CT(Computed Tomography) 심혈관 조영 영상 간 수작업 분석의 어려움을 개선하기 위해 3D CT 심혈관 조영 영상 간의 자동 정합을 수행하는 기법이다.The three-dimensional cardiovascular matching method based on the vascular feature information according to the present invention is used to improve the difficulty of hand-operation analysis between three-dimensional (3D) computed tomography (CT) It is a technique to perform automatic matching between images.
본 발명에서는 3D CT 심혈관 조영 영상 간의 자동 정합을 위해 시간차를 두고 촬영한 적어도 두 개의 3D CT 심혈관 조영 영상을 강체 정합, 혈관 간 혈관 특징 정보를 활용한 유사성 비교, 비강체 정합을 수행하는 단계로 이루어진다. 이를 통해, 본 발명은 동일한 환자의 시간차를 두고 촬영한 두 개의 3D CT 심혈관 조영 영상 간의 정합을 자동으로 수행한다. 이하, 도면을 참고하여 보다 구체적으로 설명한다.In the present invention, at least two 3D CT cardiograms taken at different time intervals for automatic matching between 3D CT cardiogram images are subjected to rigid body matching, similarity comparison using non-blood vessel vessel characteristic information, and non-rigid body matching . Thus, the present invention automatically performs matching between two 3D CT cardiogram images taken at the same patient's time difference. Hereinafter, a more detailed description will be given with reference to the drawings.
본 발명에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법은, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.The three-dimensional cardiovascular matching method based on the vascular characteristic information according to the present invention can be executed by software (application) for performing three-dimensional cardiovascular matching based on the vascular characteristic information.
도 1을 참조하면, 본 발명에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법은, 동일한 환자의 시간차를 두고 촬영한 적어도 두 개의 3D CT 심혈관 조영 영상에 대하여, 전역적(Global) 이동 변위를 보정하기 위해 바운딩 박스(Bounding Box)를 이용한 초기 정합을 수행한다(단계 S10).Referring to FIG. 1, the 3D cardiovascular matching method based on the vascular feature information according to the present invention is characterized in that, for at least two 3D CT cardiograms taken at a time difference of the same patient, An initial matching using a bounding box is performed (step S10).
동일 환자의 시간차를 두고 촬영된 3D CT 심혈관 조영 영상에서 심혈관의 위치는 CT 촬영 프로토콜, 환자의 자세 변화 등에 따라 많은 영향을 받는다. 따라서, 초기정합을 통한 전역적 보정이 필요하다. The location of the cardiovascular system in the 3D CT coronary angiograms taken at the time of the same patient is influenced by the CT protocol and the patient 's postural changes. Therefore, global correction through initial matching is required.
본 발명에서는 초기 정합 과정과 정밀 정합 과정의 두 단계의 강체 정합을 수행한다. 먼저, 정합의 수행시간을 단축하고 전역적 이동 변위를 보정하기 위해 바운딩 박스를 이용한 초기 정합을 수행한다.In the present invention, the two-stage rigid body matching is performed in an initial matching process and an accurate matching process. First, initial matching using a bounding box is performed to shorten the matching execution time and to correct the global movement displacement.
도 3을 참조하면, 정합 과정에서의 기하학적 변환을 고려한 소정의 이동 변위(d)만큼 거리적으로 확장된 바운딩 박스를 설정한다. 예를 들어, 바운딩 박스는 상기 각 3D CT 심혈관 조영 영상에서 혈관의 최대 이동 변위의 3차원 좌표에 소정의 이동 변위(d)만큼 확장된다. Referring to FIG. 3, a bounding box expanded by a predetermined displacement d considering a geometric transformation in the matching process is set. For example, the bounding box is expanded by a predetermined displacement (d) in three-dimensional coordinates of the maximum displacement displacement of the blood vessel in each 3D CT cardiogram image.
다시 말해, 바운딩 박스는 최대 이동 변위의 3차원 좌표(xmax, ymax, zmax)에 소정의 이동 변위(d)를 각각 더한 좌표들(xmax+d, ymax+d, zmax+d) 및 최소 이동 변위의 3차원 좌표(xmin, ymin, zmin)에 소정의 이동 변위(d)를 각각 뺀 좌표들(xmin-d, ymin-d, zmin-d)로 생성될 수 있다.In other words, the bounding box is the three-dimensional coordinates of the maximum displacement (x max, y max, z max), respectively obtained by adding the coordinates of a predetermined displacement (d) to (x max + d, y max + d, z max + in d), and three-dimensional coordinates of the minimum displacement (x min, y min, z min) each obtained by subtracting the coordinates of the predetermined displacement (d) to (x min -d, -d min y, z -d min) Lt; / RTI >
상기 3D CT 심혈관 조영 영상에 바운딩 박스가 설정되면, 정밀 정합을 수행한다. 구체적으로, 상기 각 3D CT 심혈관 조영 영상에서 혈관의 중심선을 기준으로 주변 인접 영역에 대한 지역적(Local) 거리 전파를 수행하여, 3차원 거리 맵(Distance Map)을 생성한다(단계 S30).When a bounding box is set on the 3D CT cardiogram image, precision matching is performed. More specifically, local distance propagation is performed on neighboring regions around the center line of the blood vessel in each 3D CT cardiogram image to generate a three-dimensional distance map (Step S30).
도 4를 참조하면, 단계 S10에서 설정한 바운딩 박스 내에서, 거리 맵 생성을 위해 심혈관의 중심선을 기준으로, 주변 인접 영역에 대하여 지역적 거리 전파를 수행한다. 이때, 초기 정합을 통해 전역적 이동 변위를 보정하기 때문에 전체 영상 영역에 대한 거리 맵 생성이 불필요하고, 이는 거리 맵 생성 시간을 단축할 수 있음을 의미한다.Referring to FIG. 4, within the bounding box set in step S10, regional distance propagation is performed with respect to a neighboring area on the basis of a center line of a cardiovascular for generating a distance map. In this case, since the global moving displacement is corrected through the initial matching, it is unnecessary to generate the distance map for the entire image area, which means that the distance map generation time can be shortened.
도 4에 도시된 바와 같이, 혈관의 이동 변위는 그 깊이에 따라 단계적인 명암도 차이로 구별할 수 있다.As shown in FIG. 4, the movement displacement of the blood vessel can be distinguished by the stepwise intensity difference according to the depth.
이때, 생성된 거리 맵을 활용하여 혈관 중심선 간 최소의 값을 갖는 거리차이 절대값의 평균이 최소가 되도록 최적화 기법을 적용한 강체 변환을 수행함으로써 정밀 정합을 수행할 수 있다.At this time, precision matching can be performed by performing the rigid transformation using the optimization technique so that the average of the absolute values of the distance differences having the minimum value between the center lines of the blood vessels is minimized by using the generated distance map.
상기 3차원 거리 맵이 완성되면, 상기 거리 맵에서 혈관의 특징 정보를 이용한 유사도 비교를 통해, 혈관 간 매칭을 수행한다(단계 S50).When the three-dimensional distance map is completed, inter-vessel matching is performed through the similarity comparison using the feature information of the blood vessel in the distance map (step S50).
본 발명에서는 명암도 변화에 강건하면서도 빠른 수행속도를 위해 혈관 특징 정보를 활용한 특징 기반 유사성 비교 방법을 사용하여, 두 3D CT 심혈관 조영 영상의 혈관 간 유사도를 비교한다.The present invention compares the similarity of blood vessels between two 3D CT cardiograms using a feature-based similarity comparison method that utilizes the vascular feature information for robustness and fast performance of the contrast change.
동일 환자의 시간차를 두고 촬영한 두 3D CT 심혈관 조영 영상을 강체 정합하면, 매칭되어야 하는 세그먼트(Segment)들은 서로 인접하다고 가정한다. 따라서, 변환될 영상의 혈관 세그먼트를 중심으로 일정 영역 이내에 들어오는 기준 영상의 혈관 세그먼트들을 매칭 후보군으로 설정한다. Assuming that two 3D CT cardiograms taken at time intervals of the same patient are rigidly matched, the segments to be matched are adjacent to each other. Therefore, the blood vessel segments of the reference image coming within a certain region around the blood vessel segment of the image to be converted are set as the matching candidate group.
단순히 인접 정보만을 사용하면 불필요한 후보군이 존재할 수 있으므로, 후보군을 선별하는 과정이 필요하다. 이를 위해 변환될 영상의 혈관 세그먼트와 후보군으로 선정된 세그먼트들 간의 두께, 기울기 등 혈관 특징 정보 기반 유사도 비교를 진행한다. 이렇게 측정된 유사도 비교 결과를 이용하여 두 영상의 혈관 간 매칭 관계를 성립한다.If only the adjacent information is used, an unnecessary candidate group may exist, so it is necessary to select a candidate group. For this purpose, the similarity comparison based on the vascular feature information such as the thickness and slope between the segment of the image to be converted and the segment selected as the candidate group is performed. Using these similarity comparison results, the matching relationship between the two images is established.
도 2를 참조하여, 혈관 간 매칭을 수행 단계(단계 S50)를 구체적으로 설명하면, 변환될 영상의 혈관 세그먼트(Segment)를 중심으로 일정 영역 이내에 포함되는 기준 영상의 혈관 세그먼트들을 매칭 후보군으로 설정하는 단계(단계 S51), 상기 변환될 영상의 혈관 세그먼트와 후보군으로 선정된 세그먼트들 간의 혈관 특징 정보를 추출하는 단계(단계 S53), 상기 혈관 특징 정보를 기반으로 혈관 간 유사도를 측정하는 단계(단계 S55) 및 상기 유사도 측정 결과를 이용하여 두 영상의 혈관 간 매칭 관계를 성립하는 단계(단계 S57)를 포함한다.Referring to FIG. 2, the step of performing the inter-vessel matching (step S50) will be described in detail. The vein segments of a reference image included within a certain region around a blood vessel segment of an image to be converted are set as a matching candidate group (Step S51), extracting vascular feature information between the segment of the image to be converted and the segment selected as the candidate group (step S53), measuring the similarity of the blood vessels based on the vascular feature information And establishing a matching relationship between the blood vessels of the two images using the similarity measurement result (step S57).
상기 혈관 간 매칭(단계 S50)이 완료되면, 3D CT 심혈관 조영 영상 간의 비강체 정합을 진행한다(단계 S70). 이러한 비강체 정합은 각 혈관 구조에 대해 지역적으로 계층적 또한 반복적으로 진행될 수 있다(단계 S90).When the inter-artery matching (step S50) is completed, non-rigid body matching between 3D CT cardiovascular images is performed (step S70). This non-rigid body alignment can be performed locally hierarchically and repeatedly for each blood vessel structure (step S90).
이때, 도 5 및 도 6에 도시된 바와 같이, 단계 S50를 통해 획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용할 수 있다. 이에 따라, 두 3D CT 심혈관 조영 영상 간의 비강체 정합 정확도를 유지하며 수행 속도를 향상시킬 수 있다.At this time, as shown in FIG. 5 and FIG. 6, point sampling may be used based on the inter-vessel matching information acquired in step S50. Thus, the non-rigid body matching accuracy between two 3D CT cardiograms can be maintained and the speed of execution can be improved.
도 7 및 도 8을 참조하면, 본 발명은 혈류 방향에 따른 자연스러운 형태의 비강체 정합을 위해 혈관의 상위 레벨부터 하위 레벨 순으로 비강체 정합을 진행할 수 있다. Referring to FIGS. 7 and 8, non-rigid body matching can be performed from the upper level to the lower level of the blood vessel in order to achieve a natural non-rigid body alignment according to the blood flow direction.
이때, 상위 레벨에서 진행된 혈관의 비강체 변형을 하위 레벨에 전파하여 전체적인 비강체 정합 과정이 실제 혈관의 토폴로지(Topology) 정보를 유지할 수 있도록 한다. 또한, 혈관의 변형을 정확하고 자연스럽게 수행하기 위하여 각 혈관 구조에 대해 반복적으로 지역적(Local) 정합을 수행한다.At this time, the non-rigid body modification of the blood vessel advanced at the upper level is propagated to the lower level, so that the overall non-rigid body matching process can maintain the topology information of the actual blood vessel. In addition, local matching is repeatedly performed for each blood vessel structure in order to perform the deformation of the blood vessel accurately and naturally.
이에 따라, 본 발명은 움직임이 큰 심장의 3D CT 심혈관 모델 정합에 특화되어있으며, 두께, 기울기 등 혈관 특징 정보를 활용한 정합을 통해 빠른 수행시간을 보장함과 동시에 지역적 오류에 빠질 위험을 줄일 수 있다.Accordingly, the present invention is specialized in 3D cardiovascular model matching of a large-motion heart, and it is possible to ensure quick execution time by matching using the feature information of the blood vessel such as thickness and slope, and to reduce the risk of falling into local error have.
또한, 3D CT 심혈관 조영 영상 간의 CT 촬영 프로토콜, 환자의 자세 변화 등에 따른 차이로 인한 수작업 분석의 어려움을 개선함과 동시에 자동화 기술 도입을 통한 다량의 데이터 처리가 용이한 진단 보조 기술로서 유용하게 활용될 수 있으며, 환자의 병변 진행상황이나 시술 후 경과를 확인하기 위한 추적 연구(Follow-up Study) 기술로서 활용될 수 있다.It is also useful as a diagnostic assistant technology to improve the difficulty of manual analysis due to the difference in the CT protocol between the 3D CT cardiograms and the patient's attitude change and to easily process a large amount of data through the introduction of the automation technology And can be used as a follow-up study technique for confirming the progress of the lesion or the progress of the procedure.
이와 같은, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such a three-dimensional cardiovascular matching method based on the vascular feature information may be implemented in an application or may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. The program instructions recorded on the computer-readable recording medium may be ones that are specially designed and configured for the present invention and are known and available to those skilled in the art of computer software.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.
도 9는 본 발명의 일 실시예에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치의 블록도이다. 도 10은 도 9의 유사도 비교부의 상세 블록도이다.9 is a block diagram of a three-dimensional cardiovascular matching apparatus based on blood vessel characteristic information according to an embodiment of the present invention. 10 is a detailed block diagram of the similarity comparing unit of FIG.
본 발명에 따른 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치(10, 이하 장치)는 시간차를 두고 촬영한 3차원(이하, 3D) CT(Computed Tomography) 심혈관 조영 영상 간 수작업 분석의 어려움을 개선하기 위해 3D CT 심혈관 조영 영상 간의 자동 정합을 수행한다. A three-dimensional cardiovascular matching apparatus 10 (hereinafter, referred to as a device) based on the blood vessel characteristic information according to the present invention improves the difficulty of manual analysis between three-dimensional (3D) computed tomography (CT) We perform automatic matching between 3D CT cardiogram images.
도 9를 참조하면, 본 발명에 따른 장치(10)는 초기 정합부(100), 강체 정합부(300), 유사도 비교부(500) 및 비강체 정합부(700)를 포함한다.Referring to FIG. 9, the
본 발명의 상기 장치(10)는 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 초기 정합부(100), 상기 강체 정합부(300), 상기 유사도 비교부(500) 및 상기 비강체 정합부(700)의 구성은 상기 장치(10)에서 실행되는 상기 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합을 수행하기 위한 소프트웨어에 의해 제어될 수 있다. The
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 상기 초기 정합부(100), 상기 강체 정합부(300), 상기 유사도 비교부(500) 및 상기 비강체 정합부(700)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.The
상기 장치(10)는 이동성을 갖거나 고정될 수 있다. 상기 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다. The
상기 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.The
상기 초기 정합부(100)는 동일한 환자의 시간차를 두고 촬영한 적어도 두 개의 3D CT(Computed Tomography) 심혈관 조영 영상에 대하여, 전역적(Global) 이동 변위를 보정하기 위해 바운딩 박스(Bounding Box)를 이용한 초기 정합을 수행한다,The
동일 환자의 시간차를 두고 촬영된 3D CT 심혈관 조영 영상에서 심혈관의 위치는 CT 촬영 프로토콜, 환자의 자세 변화 등에 따라 많은 영향을 받는다. 따라서, 초기정합을 통한 전역적 보정이 필요하다. The location of the cardiovascular system in the 3D CT coronary angiograms taken at the time of the same patient is influenced by the CT protocol and the patient 's postural changes. Therefore, global correction through initial matching is required.
본 발명에서는 초기 정합 과정과 정밀 정합 과정의 두 단계의 강체 정합을 수행한다. 먼저, 정합의 수행시간을 단축하고 전역적 이동 변위를 보정하기 위해 바운딩 박스를 이용한 초기 정합을 수행한다.In the present invention, the two-stage rigid body matching is performed in an initial matching process and an accurate matching process. First, initial matching using a bounding box is performed to shorten the matching execution time and to correct the global movement displacement.
도 3을 참조하면, 정합 과정에서의 기하학적 변환을 고려한 소정의 이동 변위(d)만큼 거리적으로 확장된 바운딩 박스를 설정한다. 예를 들어, 바운딩 박스는 상기 각 3D CT 심혈관 조영 영상에서 혈관의 최대 이동 변위의 3차원 좌표에 소정의 이동 변위(d)만큼 확장된다. Referring to FIG. 3, a bounding box expanded by a predetermined displacement d considering a geometric transformation in the matching process is set. For example, the bounding box is expanded by a predetermined displacement (d) in three-dimensional coordinates of the maximum displacement displacement of the blood vessel in each 3D CT cardiogram image.
다시 말해, 바운딩 박스는 최대 이동 변위의 3차원 좌표(xmax, ymax, zmax)에 소정의 이동 변위(d)를 각각 더한 좌표들(xmax+d, ymax+d, zmax+d) 및 최소 이동 변위의 3차원 좌표(xmin, ymin, zmin)에 소정의 이동 변위(d)를 각각 뺀 좌표들(xmin-d, ymin-d, zmin-d)로 생성될 수 있다.In other words, the bounding box is the three-dimensional coordinates of the maximum displacement (x max, y max, z max), respectively obtained by adding the coordinates of a predetermined displacement (d) to (x max + d, y max + d, z max + in d), and three-dimensional coordinates of the minimum displacement (x min, y min, z min) each obtained by subtracting the coordinates of the predetermined displacement (d) to (x min -d, -d min y, z -d min) Lt; / RTI >
상기 강체 정합부(300)는 상기 각 3D CT 심혈관 조영 영상에서 혈관의 중심선을 기준으로 주변 인접 영역에 대한 지역적(Local) 거리 전파를 수행하여, 3차원 거리 맵(Distance Map)을 생성한다.The rigid
도 4를 참조하면, 단계 S10에서 설정한 바운딩 박스 내에서, 거리 맵 생성을 위해 심혈관의 중심선을 기준으로, 주변 인접 영역에 대하여 지역적 거리 전파를 수행한다. 이때, 초기 정합을 통해 전역적 이동 변위를 보정하기 때문에 전체 영상 영역에 대한 거리 맵 생성이 불필요하고, 이는 거리 맵 생성 시간을 단축할 수 있음을 의미한다.Referring to FIG. 4, within the bounding box set in step S10, regional distance propagation is performed with respect to a neighboring area on the basis of a center line of a cardiovascular for generating a distance map. In this case, since the global moving displacement is corrected through the initial matching, it is unnecessary to generate the distance map for the entire image area, which means that the distance map generation time can be shortened.
도 4에 도시된 바와 같이, 혈관의 이동 변위는 그 깊이에 따라 단계적인 명암도 차이로 구별할 수 있다.As shown in FIG. 4, the movement displacement of the blood vessel can be distinguished by the stepwise intensity difference according to the depth.
이때, 생성된 거리 맵을 활용하여 혈관 중심선 간 최소의 값을 갖는 거리차이 절대값의 평균이 최소가 되도록 최적화 기법을 적용한 강체 변환을 수행함으로써 정밀 정합을 수행할 수 있다.At this time, precision matching can be performed by performing the rigid transformation using the optimization technique so that the average of the absolute values of the distance differences having the minimum value between the center lines of the blood vessels is minimized by using the generated distance map.
상기 유사도 비교부(500)는 상기 3차원 거리 맵에서 혈관의 특징 정보를 이용한 유사도 비교를 통해, 혈관 간 매칭을 수행한다.The
본 발명에서는 명암도 변화에 강건하면서도 빠른 수행속도를 위해 혈관 특징 정보를 활용한 특징 기반 유사성 비교 방법을 사용하여, 두 3D CT 심혈관 조영 영상의 혈관 간 유사도를 비교한다.The present invention compares the similarity of blood vessels between two 3D CT cardiograms using a feature-based similarity comparison method that utilizes the vascular feature information for robustness and fast performance of the contrast change.
동일 환자의 시간차를 두고 촬영한 두 3D CT 심혈관 조영 영상을 강체 정합하면, 매칭되어야 하는 세그먼트(Segment)들은 서로 인접하다고 가정한다. 따라서, 변환될 영상의 혈관 세그먼트를 중심으로 일정 영역 이내에 들어오는 기준 영상의 혈관 세그먼트들을 매칭 후보군으로 설정한다. Assuming that two 3D CT cardiograms taken at time intervals of the same patient are rigidly matched, the segments to be matched are adjacent to each other. Therefore, the blood vessel segments of the reference image coming within a certain region around the blood vessel segment of the image to be converted are set as the matching candidate group.
단순히 인접 정보만을 사용하면 불필요한 후보군이 존재할 수 있으므로, 후보군을 선별하는 과정이 필요하다. 이를 위해 변환될 영상의 혈관 세그먼트와 후보군으로 선정된 세그먼트들 간의 두께, 기울기 등 혈관 특징 정보 기반 유사도 비교를 진행한다. 이렇게 측정된 유사도 비교 결과를 이용하여 두 영상의 혈관 간 매칭 관계를 성립한다.If only the adjacent information is used, an unnecessary candidate group may exist, so it is necessary to select a candidate group. For this purpose, the similarity comparison based on the vascular feature information such as the thickness and slope between the segment of the image to be converted and the segment selected as the candidate group is performed. Using these similarity comparison results, the matching relationship between the two images is established.
도 10을 참조하면, 상기 유사도 비교부(500)는 변환될 영상의 혈관 세그먼트(Segment)를 중심으로 일정 영역 이내에 포함되는 기준 영상의 혈관 세그먼트들을 매칭 후보군으로 설정하는 후보군 설정부(510), 상기 변환될 영상의 혈관 세그먼트와 후보군으로 선정된 세그먼트들 간의 두께, 기울기 중 적어도 하나를 포함하는 혈관 특징 정보를 추출하는 특징 추출부(530), 상기 혈관 특징 정보를 기반으로 혈관 간 유사도를 측정하는 유사도 측정부(550) 및 상기 유사도 측정 결과를 이용하여 두 영상의 혈관 간 매칭 관계를 성립하는 매칭부(570)를 포함할 수 있다.Referring to FIG. 10, the
상기 비강체 정합부(700)는 획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용하여, 비강체 정합을 수행한다. 이러한 비강체 정합은 각 혈관 구조에 대해 지역적으로 계층적 또한 반복적으로 진행될 수 있다. The non-rigid
이때, 도 5 및 도 6에 도시된 바와 같이, 단계 S50를 통해 획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용할 수 있다. 이에 따라, 두 3D CT 심혈관 조영 영상 간의 비강체 정합 정확도를 유지하며 수행 속도를 향상시킬 수 있다.At this time, as shown in FIG. 5 and FIG. 6, point sampling may be used based on the inter-vessel matching information acquired in step S50. Thus, the non-rigid body matching accuracy between two 3D CT cardiograms can be maintained and the speed of execution can be improved.
도 7 및 도 8을 참조하면, 본 발명은 혈류 방향에 따른 자연스러운 형태의 비강체 정합을 위해 혈관의 상위 레벨부터 하위 레벨 순으로 비강체 정합을 진행할 수 있다. Referring to FIGS. 7 and 8, non-rigid body matching can be performed from the upper level to the lower level of the blood vessel in order to achieve a natural non-rigid body alignment according to the blood flow direction.
이때, 상위 레벨에서 진행된 혈관의 비강체 변형을 하위 레벨에 전파하여 전체적인 비강체 정합 과정이 실제 혈관의 토폴로지(Topology) 정보를 유지할 수 있도록 한다. 또한, 혈관의 변형을 정확하고 자연스럽게 수행하기 위하여 각 혈관 구조에 대해 반복적으로 지역적(Local) 정합을 수행한다.At this time, the non-rigid body modification of the blood vessel advanced at the upper level is propagated to the lower level, so that the overall non-rigid body matching process can maintain the topology information of the actual blood vessel. In addition, local matching is repeatedly performed for each blood vessel structure in order to perform the deformation of the blood vessel accurately and naturally.
이에 따라, 본 발명은 움직임이 큰 심장의 3D CT 심혈관 모델 정합에 특화되어있으며, 두께, 기울기 등 혈관 특징 정보를 활용한 정합을 통해 빠른 수행시간을 보장함과 동시에 지역적 오류에 빠질 위험을 줄일 수 있다.Accordingly, the present invention is specialized in 3D cardiovascular model matching of a large-motion heart, and it is possible to ensure quick execution time by matching using the feature information of the blood vessel such as thickness and slope, and to reduce the risk of falling into local error have.
또한, 3D CT 심혈관 조영 영상 간의 CT 촬영 프로토콜, 환자의 자세 변화 등에 따른 차이로 인한 수작업 분석의 어려움을 개선함과 동시에 자동화 기술 도입을 통한 다량의 데이터 처리가 용이한 진단 보조 기술로서 유용하게 활용될 수 있으며, 환자의 병변 진행상황이나 시술 후 경과를 확인하기 위한 추적 연구(Follow-up Study) 기술로서 활용될 수 있다.It is also useful as a diagnostic assistant technology to improve the difficulty of manual analysis due to the difference in the CT protocol between the 3D CT cardiograms and the patient's attitude change and to easily process a large amount of data through the introduction of the automation technology And can be used as a follow-up study technique for confirming the progress of the lesion or the progress of the procedure.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims. You will understand.
본 발명은 3D CT 심혈관 조영 영상 간의 CT 촬영 프로토콜, 환자의 자세 변화 등에 따른 차이로 인한 수작업 분석의 어려움을 개선함과 동시에 자동화 기술 도입을 통한 다량의 데이터 처리가 용이한 진단 보조 기술로서 유용하게 활용될 수 있다. 또한, 환자의 병변 진행상황이나 시술 후 경과를 확인하기 위한 추적 연구(Follow-up Study) 기술로서 활용될 수 있다. 나아가, 4D(3D+t) 데이터 생성 시 인접 시점 사이의 보간 모델 생성 기술로서 활용될 수 있다.The present invention improves the difficulty of manual analysis due to the difference in the CT protocol between the 3D CT cardiograms and the change of the attitude of the patient, and is useful as a diagnostic assistant technology which facilitates the processing of a large amount of data through the introduction of the automation technology . It can also be used as a follow-up study technique to confirm the progress of the lesion or the progress of the procedure. Furthermore, it can be utilized as an interpolation model generation technique between neighboring points when 4D (3D + t) data is generated.
10: 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치
100: 초기 정합부
300: 강체 정합부
500: 유사도 비교부
700: 비강체 정합부
510: 후보군 설정부
530: 특징 추출부
550: 유사도 측정부
570: 매칭부10: Three-dimensional cardiovascular matching device based on blood vessel characteristic information
100: initial matching section
300: Rigid body matching portion
500:
700: non-rigid body matching portion
510: candidate group setting unit
530: Feature extraction unit
550:
570:
Claims (13)
상기 각 3D CT 심혈관 조영 영상에서 혈관의 중심선을 기준으로 주변 인접 영역에 대한 지역적(Local) 거리 전파를 수행하여, 3차원 거리 맵(Distance Map)을 생성하는 단계;
상기 3차원 거리 맵에서 혈관의 특징 정보를 이용한 유사도 비교를 통해, 혈관 간 매칭을 수행하는 단계; 및
획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용하여, 비강체 정합을 진행하는 단계를 포함하고,
상기 전역적(Global) 이동 변위를 보정하기 위해 바운딩 박스(Bounding Box)를 이용한 초기 정합을 수행하는 단계는,
상기 각 3D CT 심혈관 조영 영상에서 혈관의 최대 이동 변위의 3차원 좌표에 소정의 이동 변위(d)만큼 확장된 바운딩 박스를 설정하는 단계를 포함하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
At least two 3D CT (Computed Tomography) cardiograms taken at the same time interval in the three-dimensional cardiovascular matching device were used for initial matching using the Bounding Box to correct the global displacement ;
Generating a three-dimensional distance map by performing local distance propagation to a neighboring region based on a center line of the blood vessel in each 3D CT cardiogram image;
Performing inter-vessel matching through a similarity comparison using feature information of a blood vessel in the three-dimensional distance map; And
And performing non-rigid body matching using point sampling based on the obtained inter-vessel matching information,
The step of performing initial matching using a bounding box to correct the global movement displacement comprises:
And setting a bounding box extended by a predetermined displacement (d) in three-dimensional coordinates of a maximum displacement displacement of the blood vessel in each of the 3D CT cardiogram images, based on the vessel characteristic information, based on the three-dimensional cardiovascular matching method A computer program stored on a medium for execution.
각 혈관 구조에 대한 지역적 정합을 반복적으로 수행하는 단계를 더 포함하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
2. The method of claim 1, wherein the step of performing non-rigid body matching using point sampling based on the acquired inter-
The computer program stored on a medium for executing a three-dimensional cardiovascular matching method based on vascular feature information, the method further comprising: iteratively performing a local matching on each vascular structure.
혈관의 상위 레벨부터 하위 레벨 순으로 비강체 정합을 수행하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
2. The method of claim 1, wherein the step of performing non-rigid body matching using point sampling based on the acquired inter-
A computer program stored on a medium for performing a three-dimensional cardiovascular matching method based on vascular feature information, wherein non-rigid body matching is performed from the upper level to the lower level of the blood vessel.
상기 3차원 거리 맵에서 상기 혈관의 중심선 간 최소의 값을 갖는 거리차이 절대값의 평균이 최소가 되는 최적화 기법을 적용하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
[2] The method of claim 1, wherein generating a 3D distance map by performing local distance propagation to a neighboring area based on a center line of a blood vessel in each 3D CT cardiogram image,
Dimensional space map, and applying an optimization technique that minimizes an average of distance difference absolute values having a minimum value between the centerlines of the blood vessels in the three-dimensional distance map. Computer program.
변환될 영상의 혈관 세그먼트(Segment)를 중심으로 일정 영역 이내에 포함되는 기준 영상의 혈관 세그먼트들을 매칭 후보군으로 설정하는 단계;
상기 변환될 영상의 혈관 세그먼트와 후보군으로 선정된 세그먼트들 간의 혈관 특징 정보를 추출하는 단계;
상기 혈관 특징 정보를 기반으로 혈관 간 유사도를 측정하는 단계; 및
상기 유사도 측정 결과를 이용하여 두 영상의 혈관 간 매칭 관계를 성립하는 단계를 포함하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
2. The method of claim 1, wherein performing the inter-vessel matching through the similarity comparison using the feature information of the blood vessel in the three-
Setting blood vessel segments of a reference image included in a predetermined region around a blood vessel segment of an image to be converted as a matching candidate group;
Extracting vessel characteristic information between a vessel segment of the image to be converted and a segment selected as a candidate group;
Measuring blood vessel similarity based on the blood vessel characteristic information; And
And establishing a matching relationship between blood vessels of two images using the similarity measurement result. The computer program stored in the medium for executing the three-dimensional cardiovascular matching method based on the blood vessel characteristic information.
상기 혈관 특징 정보는 세그먼트들 간의 두께, 기울기 중 적어도 하나를 포함하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
The method according to claim 6,
Wherein the vascular feature information comprises at least one of a thickness and a slope between segments, wherein the vascular feature information is based on vascular feature information.
상기 각 3D CT 심혈관 조영 영상에서 혈관의 중심선을 기준으로 주변 인접 영역에 대한 지역적(Local) 거리 전파를 수행하여, 3차원 거리 맵(Distance Map)을 생성하는 강체 정합부;
상기 3차원 거리 맵에서 혈관의 특징 정보를 이용한 유사도 비교를 통해, 혈관 간 매칭을 수행하는 유사도 비교부; 및
획득한 혈관 간 매칭 정보를 기반으로 포인트 샘플링(Point Sampling)을 이용하여, 비강체 정합을 수행하는 비강체 정합부를 포함하고,
상기 초기 정합부는,
상기 각 3D CT 심혈관 조영 영상에서 혈관의 최대 이동 변위의 3차원 좌표에 소정의 이동 변위(d)만큼 확장된 바운딩 박스를 설정하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치.
At least two 3D CT (Computed Tomography) cardiograms taken at the same patient's time difference are used to perform initial matching using the Bounding Box to correct the global displacement, ;
A rigid body matching unit for generating a three-dimensional distance map by performing local distance propagation to a neighboring region based on a center line of the blood vessel in each 3D CT cardiogram image;
A similarity comparison unit for performing inter-vessel matching through a similarity comparison using the feature information of the blood vessel in the three-dimensional distance map; And
And a non-rigid body matching unit that performs non-rigid body matching using point sampling based on the acquired inter-vessel matching information,
The initial matching unit includes:
And sets a bounding box expanded by a predetermined displacement (d) in three-dimensional coordinates of a maximum displacement displacement of the blood vessel in each of the 3D CT cardiogram images based on the vessel characteristic information.
혈관의 상위 레벨부터 하위 레벨 순으로, 각 혈관 구조에 대한 지역적 정합을 반복적으로 수행하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치.
10. The non-rigid body matching apparatus according to claim 9,
A three-dimensional cardiovascular matching device based on vascular feature information, which repeatedly performs local matching for each blood vessel structure from the upper level to the lower level of the blood vessel.
상기 3차원 거리 맵에서 상기 혈관의 중심선 간 최소의 값을 갖는 거리차이 절대값의 평균이 최소가 되는 최적화 기법을 적용하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치.
The apparatus according to claim 9, wherein the rigid-
And applying an optimization technique that minimizes an average of distance difference absolute values having a minimum value between centerlines of the blood vessels in the three-dimensional distance map.
변환될 영상의 혈관 세그먼트(Segment)를 중심으로 일정 영역 이내에 포함되는 기준 영상의 혈관 세그먼트들을 매칭 후보군으로 설정하는 후보군 설정부;
상기 변환될 영상의 혈관 세그먼트와 후보군으로 선정된 세그먼트들 간의 두께, 기울기 중 적어도 하나를 포함하는 혈관 특징 정보를 추출하는 특징 추출부;
상기 혈관 특징 정보를 기반으로 혈관 간 유사도를 측정하는 유사도 측정부; 및
상기 유사도 측정 결과를 이용하여 두 영상의 혈관 간 매칭 관계를 성립하는 매칭부를 포함하는, 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 장치.
10. The apparatus according to claim 9,
A candidate group setting unit that sets, as a matching candidate group, vascular segments of a reference image included within a certain region around a segment of the image to be converted;
A feature extraction unit for extracting vascular feature information including at least one of a thickness and a slope between a segment of the image to be converted and a segment selected as a candidate group;
A similarity measuring unit for measuring the similarity of blood vessels based on the blood vessel characteristic information; And
And a matching unit for establishing a matching relationship between blood vessels of two images using the result of the similarity measurement, based on the blood vessel characteristic information.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160163404 | 2016-12-02 | ||
| KR20160163404 | 2016-12-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180063773A KR20180063773A (en) | 2018-06-12 |
| KR101900679B1 true KR101900679B1 (en) | 2018-09-20 |
Family
ID=62622351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160178108A KR101900679B1 (en) | 2016-12-02 | 2016-12-23 | Method for 3d coronary registration based on vessel feature, recording medium and device for performing the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101900679B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102242127B1 (en) * | 2019-05-07 | 2021-04-21 | 울산대학교 산학협력단 | Apparatus and method for guidewire navigation |
| KR102154335B1 (en) * | 2019-10-18 | 2020-09-09 | 연세대학교 산학협력단 | Method and Apparatus for Diagnosing Disease by Pre-Processing Bio Extracted Data |
| KR102296478B1 (en) * | 2019-11-12 | 2021-09-01 | 울산대학교 산학협력단 | Apparatus and Method to control guide wire delivering device |
| KR102350998B1 (en) * | 2020-03-04 | 2022-01-14 | 숭실대학교 산학협력단 | Method of non-rigid registration for multi-modality based on features of blood vessel, recording medium and device for performing the method |
| KR102629331B1 (en) * | 2021-08-05 | 2024-01-29 | 숭실대학교 산학협력단 | Method for coronary arteries non-rigid registration using hierarchical deformation in computed tomography angiography images recording medium and device for performing the method |
| KR102542972B1 (en) * | 2022-07-04 | 2023-06-15 | 재단법인 아산사회복지재단 | Method and apparatus for generating three-dimensional blood vessel structure |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010510859A (en) | 2006-11-30 | 2010-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Visualization of blood vessel structure |
| KR101655910B1 (en) | 2015-05-06 | 2016-09-09 | 재단법인 아산사회복지재단 | Method and program for angiograph image registration |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2131212A3 (en) | 2008-06-05 | 2011-10-05 | Medison Co., Ltd. | Non-Rigid Registration Between CT Images and Ultrasound Images |
| KR101121396B1 (en) * | 2009-07-31 | 2012-03-05 | 한국과학기술원 | System and method for providing 2-dimensional ct image corresponding to 2-dimensional ultrasound image |
| KR102367133B1 (en) * | 2015-02-24 | 2022-02-24 | 삼성전자주식회사 | Medical image apparatus and method for processing medical image |
-
2016
- 2016-12-23 KR KR1020160178108A patent/KR101900679B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010510859A (en) | 2006-11-30 | 2010-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Visualization of blood vessel structure |
| KR101655910B1 (en) | 2015-05-06 | 2016-09-09 | 재단법인 아산사회복지재단 | Method and program for angiograph image registration |
Non-Patent Citations (1)
| Title |
|---|
| 수술 중 촬영된 2D XA 영상과 수술 전 촬영된 3D CTA 영상의 고속 강체 정합 기법 (박태용 외 3명, 멀티미디어학회논문지 제16권 제12호, 2013.12, 1454-1464 ) |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180063773A (en) | 2018-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101900679B1 (en) | Method for 3d coronary registration based on vessel feature, recording medium and device for performing the method | |
| US11816837B2 (en) | Vascular characteristic determination with correspondence modeling of a vascular tree | |
| US11615894B2 (en) | Diagnostically useful results in real time | |
| US8582854B2 (en) | Method and system for automatic coronary artery detection | |
| JP2022169579A (en) | Diagnostically useful results in real time | |
| Groher et al. | Deformable 2D-3D registration of vascular structures in a one view scenario | |
| JP6878439B2 (en) | 3D model of the body | |
| Worz et al. | Segmentation and quantification of human vessels using a 3-D cylindrical intensity model | |
| KR102114415B1 (en) | Method and Apparatus for medical image registration | |
| US9292917B2 (en) | Method and system for model-based fusion of computed tomography and non-contrasted C-arm computed tomography | |
| CN111612743B (en) | CT image-based coronary artery central line extraction method | |
| US20150141818A1 (en) | Vascular imaging method and device | |
| KR20190084380A (en) | Method for extracting vascular structure in 2d x-ray angiogram, computer readable medium and apparatus for performing the method | |
| CN107787203B (en) | Image registration | |
| KR101785293B1 (en) | Method for automatic analysis of vascular structures in 2d xa images using 3d cta images, recording medium and device for performing the method | |
| Toth et al. | 3D/2D Registration with superabundant vessel reconstruction for cardiac resynchronization therapy | |
| CN111260704B (en) | Vascular structure 3D/2D rigid registration method and device based on heuristic tree search | |
| CN109717932A (en) | The determination of vascular puncture position | |
| KR102372046B1 (en) | Method of vessel structures extraction using artificial intelligence technique, recording medium and device for performing the method | |
| CN115511997A (en) | Angiography image processing method and system | |
| CN116664635B (en) | Method, computing device and medium for constructing multi-dimensional dynamic model of target object | |
| KR101957605B1 (en) | Method of rigid registration for cardic vessels in 3d follow-up cardiac cta images, computer readable medium for performing the method and apparatus | |
| Shiffman et al. | Semiautomated editing of computed tomography sections for visualization of vasculature | |
| KR102350998B1 (en) | Method of non-rigid registration for multi-modality based on features of blood vessel, recording medium and device for performing the method | |
| CN114209344A (en) | Collateral circulation state evaluation method and device, storage medium and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |