KR20140128136A - Method of comparing preoperative respiratory level with intraoperative respiratory level - Google Patents
Method of comparing preoperative respiratory level with intraoperative respiratory level Download PDFInfo
- Publication number
- KR20140128136A KR20140128136A KR1020130046936A KR20130046936A KR20140128136A KR 20140128136 A KR20140128136 A KR 20140128136A KR 1020130046936 A KR1020130046936 A KR 1020130046936A KR 20130046936 A KR20130046936 A KR 20130046936A KR 20140128136 A KR20140128136 A KR 20140128136A
- Authority
- KR
- South Korea
- Prior art keywords
- image template
- image
- comparison line
- surgical
- breathing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Abstract
Description
본 개시(Disclosure)는 전체적으로 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 관한 것으로, 특히 의료용 이미지를 이용하여 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 관한 것이다.Disclosure relates generally to a method of comparing preoperative and postoperative breathing levels, and more particularly, to a method of comparing preoperative breathing levels to surgical ventilation breathing levels using medical images.
여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).Herein, the background art relating to the present disclosure is provided, and these are not necessarily meant to be known arts.
컴퓨터 그래픽스(Computer Graphics)는 객체(object)의 2차원적 또는 3차원적 그래픽 표현을 2차원 디스플레이 스크린 상에 나타내는데 주로 이용된다. 볼륨 그래픽스(Volume Graphics)는 컴퓨터 그래픽스의 한 분야로서, 3차원 또는 그 이상의 차원을 가지는 샘플 데이터로 표현되는 객체(object)를 시각화하는 것을 다룬다. 이 샘플들은 볼륨 구성요소(volume elements) 또는 복셀(voxels)이라 불리우며, 객체의 물리적 특징을 표현하는 디지털 정보를 포함한다. 예를 들어, 특정 물체의 복셀 데이터는 밀도, 물질의 유형, 온도, 속도, 또는 다른 특성을, 이산적 점들(discrete points)로, 공간에서, 그 객체의 내부 및 주변 전체에 걸쳐 표현할 수 있다.Computer Graphics is mainly used to represent a two-dimensional or three-dimensional graphical representation of an object on a two-dimensional display screen. Volume Graphics is a field of computer graphics that deals with the visualization of objects represented by sample data with three or more dimensions. These samples are called volume elements or voxels and contain digital information representing the physical characteristics of the object. For example, voxel data of a particular object can represent density, type of material, temperature, velocity, or other characteristics, in discrete points, in space, within and around the object.
근래에, 볼륨 렌더링(Volume Rendering)이라 불리는 볼륨 그래픽스 방법이 도입되었으며, 이는 디지털 신호 프로세싱(digital signal processing)의 한 형태로서, 복셀기반 표현의 각각의 복셀에 색상(color) 및 투명도를 부여하는 방법이다. 이렇게 색상과 투명도가 부여된 각 복셀들은 컴퓨터 스크린과 같은 2차원의 표시 화면(viewing surface)에 투사되며(projected), 이 때 백그라운드(background)의 복셀들은 포어그라운드(foreground)의 불투명한 복셀들에 의해 가려지는 형태로 된다. 이러한 투사된 복셀들의 축적이 객체의 시각적 이미지(visual image)를 결과한다.Recently, a volume graphics method called Volume Rendering has been introduced, which is a form of digital signal processing, in which a method of assigning color and transparency to each voxel of a voxel-based representation to be. Each color and transparency voxel is projected onto a two-dimensional viewing surface, such as a computer screen, where the background voxels are placed on opaque voxels in the foreground As shown in FIG. The accumulation of these projected voxels results in a visual image of the object.
정리하면, 볼륨 렌더링(Volume Rendering)은 볼륨(volume) 또는 볼륨 데이터 세트(volume data set)를 렌더링하는 것으로, 볼륨 데이터 세트는 볼륨 구성요소(volume elements) 또는 복셀(voxels)이라 불리는 데이터 포인트들의 3차원 배열(3-D array of data points)로 이루어지고, 복셀은 픽셀(pixel)의 3차원적 대응물로서 색상과 투명도 정보를 포함하고 있으며, 특정 복셀의 데이터 값인 색상과 투명도를 변경함으로써 객체의 외부 및 내부를 다른 형태로 볼 수 있는데, 예를 들어 수술에 앞서 무릎의 인대, 힘줄 및 뼈를 살펴 보고자 하는 의사는 무릎의 단층 스캔에서, 피, 피부 및 근육을 완전히 투명하게 보이도록 할 수 있다.In summary, Volume Rendering renders a volume or a volume data set, and a volume data set consists of three volume elements called volume elements or voxels. Dimensional array of data points. Voxels are three-dimensional correspondences of pixels and contain color and transparency information. By changing color and transparency, which are data values of a specific voxel, The outside and inside can be viewed in different forms, for example, a doctor who wishes to look at the ligaments, tendons and bones of the knee prior to surgery can make blood, skin and muscles appear completely transparent in a single scan of the knee .
다른 관점에서, 의료 분야에 있어서, CT 이미지, MRI 이미지, PET 이미지 등의 3차원 볼륨 데이터 세트 또는 3차원 볼륨 데이터가 이러한 볼륨 렌더링 기법을 이용하여(볼륨 렌더링에 한정될 필요는 없지만 볼륨 렌더링 기법이 유용하게 사용되고 있다.), 모니터 상에 디스플레이되고, 이 디스플레이된 이미지를 이용하여, 수술을 준비하거나 수술을 계획하거나, 수술용 항법 장치에 이용하거나, 수술 중에 이용하는 등 다양하게 이용할 수 있게 된다.In another aspect, in the medical field, a three-dimensional volume data set, such as a CT image, an MRI image, a PET image, or three-dimensional volume data, is generated using this volume rendering technique (although not necessarily limited to volume rendering, It is usefully used), and it is displayed on a monitor, and the displayed image can be used in various ways, such as preparation for surgery, planning of surgery, use in a surgical navigation apparatus, or use during surgery.
생검(Biopsy)과 같이 수술용 도구(Surgical instrument)의 인체 삽입을 필요로 하는 수술을 계획할 때도, 의료용 3차원 이미지의 도움이 필요하다. 그러나 이러한 의료용 3차원 이미지는 환자의 특정 호흡 상태에서 획득되므로, 환자가 호흡이 계속되는 수술장 내에서 이 의료용 3차원 이미지를 이용하는데, 몇 가지 프로세스의 도움이 필요하다.When planning surgery that requires the insertion of a surgical instrument, such as Biopsy, the help of a medical 3D image is needed. However, since these medical three-dimensional images are acquired in a patient's specific breathing state, some process help is needed for the patient to use this medical three-dimensional image in a breathing surgical field.
도 1 및 도 2는 종래의 중재 시술(intervention surgery)의 일 예를 설명하는 도면으로서, 먼저 수술전의 환자의 특정 호흡 레벨(A; 예: 환자가 숨을 최대한 들이쉰 상태 또는 숨을 최대한 내쉰 상태)에서 수술전 환자의 3차원 이미지(100)를 획득한다(S100). 3차원 이미지(100)의 획득에는, CT 장치, Cone-beam CT(CBCT) 장치, MRI 장치와 같은 의료용 3차원 이미지 획득 장치가 이용될 수 있다. 다음으로, 획득된 3차원 이미지(100)를 이용하여 수술을 계획한다(S200). 생검의 경우에, 환자의 환부(Target; 200)로 생검 바늘(Needle)을 삽입할 경로(300)를 계획하게 된다. 다음으로, 환자가 수술장에 들어와서, 수술이 시작되면, 수술장에 놓인 이미지 획득 장치(예: Fluoroscopy 장치, CBCT 장치; 400)를 단계(S200)에서 계획된 경로(300), 즉 생검 바늘(500)이 삽입될 방위(300)와 동일한 방위로 맞춘다(S300). 환부가 환자의 호흡에 영향을 받는 경우에, 수술이 계획대로 진행되려면, 수술전 3차원 이미지(100)를 획득할 때의 환자의 호흡 레벨(A)이, 현재 수술장에서의 환자의 호흡 레벨과 동일해야 하므로, 환자를 특정 호흡 레벨(A: 환자가 숨을 최대한 들이쉰 상태 또는 숨을 최대한 내쉰 상태)로 호흡하게 한 다음, 수술장 내의 이미지 획득 장치(400)를 이용하여, 환부를 포함하는 환자의 이미지(600)를 획득하여, 환자의 호흡 레벨(B)을 수술전 3차원 이미지를 획득할 때의 환자의 호흡 레벨(A)과 맞추어야 한다(S400). 이때 의사의 직관이 사용된다. 의사의 직관에 의존하지 않는 방법으로, 수술전 3차원 이미지(100)를 획득할 때의 호흡 레벨(A)을 컴퓨터에 기록한 다음, 수술장에서도 연속적으로 환자의 호흡 레벨을 기록하고, 양자를 비교하여 환자의 호흡 레벨(B)이 호흡 레벨(A)과 동일할 때, 경보음으로 알려주거나, 생검 바늘(500)이 자동으로 작동되도록 구성할 수 있다. 호흡 레벨(A,B)의 측정에는 종래의 호흡 측정 방법(예: 압력 벨트식, InfraRed 마커를 이용한 호흡 측정기 등)이 적용될 수 있다. 이러한 상태에서, 생검 바늘(500)을 인체에 삽입함으로써, 계획된 방위(300)로 수술용 도구를 인체에 삽입할 수 있게 된다(S500). 도 2에서 사용된 3차원 이미지(100)와 환자의 이지미(600)는 설명을 위한 것으로, 서로 일치하지 않는 점을 당업자는 쉽게 알 수 있을 것이다. 호흡 레벨 측정에 관한 종래 기술로서, 미국 등록특허공보 제5,368,844호를 들 수 있다.1 and 2 are diagrams for explaining an example of conventional intervention surgery. First, a specific breathing level A (for example, a state in which a patient is maximally breathed or a breathing state is maximized
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.This will be described later in the Specification for Implementation of the Invention.
여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).SUMMARY OF THE INVENTION Herein, a general summary of the present disclosure is provided, which should not be construed as limiting the scope of the present disclosure. of its features).
본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계;로서, 그리고, 수술전 이미지 템플릿에 구비된 비교선과 수술장 이미지 템플릿에 구비된 비교선을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법이 제공된다.According to one aspect of the present disclosure, there is provided a method comprising: obtaining a three-dimensional image including a Surgical Target; Setting at least one reference path in a three-dimensional image; Generating a preoperative image template corresponding to at least one reference path from the three-dimensional image; The method comprising the steps of: generating an intra-operative image template continuously provided in accordance with at least one reference path in accordance with the passage of time; Comparing the breathing level in the step of acquiring the three-dimensional image with the breathing level in the surgical field using the comparison line, and comparing the pre-operation breathing level and the surgical long-term breathing level, / RTI >
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.This will be described later in the Specification for Implementation of the Invention.
도 1 및 도 2는 종래의 중재 시술(intervention surgery)의 일 예를 설명하는 도면,
도 3 및 도 4는 본 개시에 따른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법의 일 예를 설명하는 도면,
도 5는 수술전 이미지 템플릿을 만드는 방법의 일 예를 나타내는 도면,
도 6은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면,
도 7은 수술전 이미지 템플릿과 수술장 이미지 템플릿을 비교하는 방법의 일 예를 나타내는 도면,
도 8은 수술장 이미지 템플릿에서 비교선을 생성하는 방법의 일 예를 나타내는 도면,
도 9는 본 개시에 따른 Edge Detection 방법의 일 예를 나타내는 도면.Figures 1 and 2 are diagrams illustrating an example of conventional intervention surgery,
FIGS. 3 and 4 are diagrams for explaining an example of a method for comparing preoperative and postoperative respiration levels according to the present disclosure;
5 is a view showing an example of a method of creating a pre-operative image template,
6 is a diagram showing an example of a display screen according to the present disclosure;
7 is a view showing an example of a method of comparing a pre-operative image template and a surgical field image template,
8 is a diagram showing an example of a method of generating a comparison line in a surgical field image template,
9 is a diagram illustrating an example of an Edge Detection method according to the present disclosure;
이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)). The present disclosure will now be described in detail with reference to the accompanying drawings.
도 3 및 도 4는 본 개시에 따른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법의 일 예를 설명하는 도면으로서, 먼저, 환부(20)를 포함하는 3차원 이미지(10)를 획득한다(S10). 다음으로, 3차원 이미지(10)에서 적어도 하나의 기준 경로(30,31)를 설정한다(S20). 다음으로, 3차원 이미지(10)로부터 적어도 하나의 기준 경로(30,31)에 대응하는 수술전 이미지 템플릿(11; Preoperative Image Template)을 생성한다(S30). 다음으로, 수술장에서 적어도 하나의 기준 경로(30,31)에 맞추어 수술장 이미지 템플릿(12; Intraoperative Image Template)을 생성한다(S40). 다음으로, 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 이용하여, 3차원 이미지(10)를 획득하는 단계(S10)에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교한다(S50).FIGS. 3 and 4 are diagrams for explaining an example of a method for comparing the pre-operation breathing level and the surgical long-term breathing level according to the present disclosure. First, a three-
환부(20)는 사람에 제한되지 않고, 호흡을 하는 동물로 확장될 수 있다.The affected
3차원 이미지(10)는 CT 이미지, MRI 이미지, PET 이미지, 3차원 초음파 이미지 등일 수 있다. 해당 장치를 통해, 사전에 획득되어, 컴퓨터(70)에 저장되고, 모니터(71)를 통해 디스플레이되고, 컴퓨터(70)를 통해 사용자에 의해 이용될 수 있다. 바람직하게는, 3차원 이미지(10)로 CT 이미지, CBCT 이미지가 이용된다. CT 이미지가 호흡과 함께 연동되는 내부 장기의 촬영에 적합하기 때문이다. 수술전이라는 개념은 상대적인 시간 개념으로, 이는 수술장에 환자가 들어가기 이전에 획득될 수 있지만, 수술장 내에서, CT 장치, CBCT 장치 등을 두고 획득되어, 수술 계획이 이루어질 수 있음은 물론이다. 또한 수술장에 들어가기 전에 하나의 볼륨 데이터 세트(Volume Data Set)가 만들어지고, 수술장에서도 또 하나의 볼륨 데이터 세트가 만들어질 수도 있다. The three-
기준 경로(30,31)는 수술을 계획하는 과정에서 설정된다. 기준 경로(30,31)는 예를 들어, 수술용 도구(예: 생검 바늘; 도 2 참조)의 삽입 경로일 수 있다. 이 경우에, 수술용 도구가 환자의 몸으로 진입하는 시작점(32; entry point)과 방위(수술용 도구의 진행방향, 벡터)를 설정함으로써, 기준 경로(30,31)가 결정될 수 있다. 본 개시는 수술용 도구가 인체에 삽입되지 않는 수술에도 적용될 수 있다. 예를 들어, 시작점(32)으로서, 수술용 도구로 환자를 절개할 지점이 설정되고, 이 지점과 환부를 있는 선을 설정함으로써 기준 경로(30,31)가 결정될 수 있다. 또한 외과적 수술 및 외과적 중재 시술이 아니라, 진단적인 의료행위 및 레이저 치료 등에도 본 개시가 적용될 수 있다. 예를 들어, 수술전 3차원 이미지(10)에서 레이저가 조사될 방위를 설정하고, 수술장에서 환자의 호흡 레벨을 체크하기 위해 본 개시의 방법이 적용될 수 있다. 따라서 본 개시에 있어서, 수술이라는 의미는 외과적 수술, 외과적 중재 시술, 진단 행위 등을 포함하는 포괄적 의료행위로 이해되어야 한다. 기준 경로(30,31)를 복수 개 설정하는 경우에, 호흡 레벨 비교의 정확성을 한층 높일 수 있게 된다. 또한 수술전에 설정한 기준 경로(30)로 수술중 이미지를 촬영하였을 때, 환부가 잘 보이지 않는 경우에 대비하여, 잘 보이는 기준 경로(31)를 이용하는 것도 가능해지는 등 다양한 이점을 가질 수 있게 된다.The
수술전 이미지 템플릿(11)은 적어도 하나의 기준 경로(30,31)에 대응하는 적어도 하나의 의료용 이미지를 포함하게 된다. 또한 수술전 이미지 템플릿(11)은 하나의 기준 경로(30)로부터 얻어지는 복수 개의 의료용 이미지를 포함할 수 있다. 수술전 이미지 템플릿(11)은 이미지 획득 장치(40)에 의해 취득되는 형태와 유사한 형태를 가지는 것이 바람직하다. 예를 들어, 이미지 획득 장치(40)에 의해 취득되는 이미지가 2차원 형광 투시 이미지이고, 3차원 이미지(10)가 CT 이미지인 경우에, 패러렐(Parallel) 또는 퍼스펙티브(Perspective) 레이 섬 알고리즘(Ray Sum Algorithm) Maximum Intensity Projection(MIP), 또는 Minimum Intensity Projection(MinIP) 등을 이용하여, 적어도 하나의 기준 경로(30,31) 대하여 투시 영상과 유사한 영상을 얻을 수 있으며, 이러한 기술은 기지의 기술이다. The
수술장 이미지 템플릿(12)도 적어도 하나의 기준 경로(30,31)에 대응하는 적어도 하나의 의료용 이미지를 포함하게 된다. 수술장 이미지 획득 장치(40)를 적어도 하나의 기준 경로(30,31)에 맞추기 위해, C-arm, Cone-beam과 같은 장치가 사용될 수 있으며, 이것에 제한되지 않고, 환자에 대해 방위를 조절할 수 있는 장치라면 어떠한 장치가 사용되어도 좋다. 바람직하게는, 연속적 2차원 이미지의 생성이 가능한 형광 투시(Fluoroscopy) 이미지가 사용된다. 수술장 이미지 템플릿(12)은 이미지 획득 장치(40)에 의해 얻어지는 이미지(13)이거나, 이미지(13)를 필요에 따라 가공함으로써 생성될 수 있다. 이미지(13) 또는 수술장 이미지 템플릿(12)은 이미지 획득 장치(40)에 의해 획득되어, 컴퓨터(80)에 저장되고 처리되며, 모니터(81)를 통해 디스플레이된다. 컴퓨터(80)와 컴퓨터(70)는 연동할 수 있다. 이 경우에, 컴퓨터(80)에 수술전 이미지 템플릿(11)을 별도로 저장하지 않아도 이를 이용할 수 있게 된다. 또한 컴퓨터(80)는 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 비교하는 기능을 수행한다. 이러한 과정이 모니터(81)에 디슬플레이될 수 있다. 또한 두 템플릿(11,12)이 어느 정도 일치하는 경우에 경보음을 내거나, 일치의 정도를 수치로 표시하는 것도 가능하다. 단순히 이미지라는 표현을 사용해도 좋지만, 두 이미지가 비교된다는 의미에서, 이 비교에 두 이미지가 기준이 된다는 의미에서, 그리고 복수의 이미지가 포함될 수 있다는 의미에서, 이미지 템플릿이라는 용어를 사용한다. 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)의 유사성을 판단하는 방법으로는 Mean Squares Difference, Normalized Correlation, Pattern Intensity, Mutual Information 등의 방법이 사용될 수 있다.The surgical
도 5는 수술전 이미지 템플릿을 만드는 방법의 일 예를 나타내는 도면으로서, 수술전 이미지 템플릿(11)이 5개의 의료용 이미지(11a,11b,11c,11d,11e)로 되어 있다. 5개의 의료용 이미지(11a,11b,11c,11d,11e)는 적어도 하나의 실제 의료용 이미지와 적어도 하나의 예측 의료용 이미지로 이루어진다. 예를 들어, 의료용 이미지(11a)를 실제 촬영된 3차원 이미지(10)로부터 기준 경로(30)를 따라 생성하고, 나머지 의료용 이미지(11b,11c,11d,11e)를 의료용 이미지(11a)를 바탕으로 의사의 경험을 바탕으로 호흡에 따른 환부(20)의 움직임을 예측하여 생성할 수 있다. 이러한 수술전 이미지 템플릿(11)을 통해, 수술장에서 수술장 이미지 템플릿(12)과 함께 사용할 때, 환자의 호흡 레벨을 보다 용이하게 파악할 수 있게 된다. 또한, 예를 들어, 2개의 의료용 이미지(11a,11e)를 실제 의료용 이미지로부터 생성할 수 있다. 이때, 2개의 3차원 이미지(30)가 필요하며, 한번은 완전히 들이쉰 상태에서 CT 촬영을 하고, 한번은 완전히 내쉰 상태에서 CT 촬영을 함으로써, 2개의 3차원 이미지(30)를 얻을 수 있다. 이들 각각으로부터 기준 경로(30)를 따라 2개의 의료용 이미지(11a,11e)를 얻을 수 있다. 2개의 실제 촬영된 의료용 이미지(11a,11e)를 이용함으로써, 즉, 적어도 2개 이상의 실제 촬영된 의료용 이미지(11a,11e)를 이용함으로써, 예측 의료용 이미지(11b,11c,11d)의 정확도를 높일 수 있게 된다. 특히, 호흡 레벨의 상한과 하한에 대한 의료용 이미지(11a,11e)를 얻는 경우에, 예측의 정확성을 더욱 높일 수 있게 된다. 필요에 따라, 의료용 이미지(11c) 등도 실제 촬영을 통해 생성할 수 있다. 예를 들어, 수술전 이미지 템플릿(11)에 20개 정도의 실제 및 예측 의료용 이미지를 포함함으로써, 호흡 레벨에 따른 환부(20)의 움직임을 매우 정확하게 표현할 수 있으며, 수술장 이미지 템플릿(12)이 연속적으로 움직이는 환부를 나타내는 이미지인 경우에, 상호 간의 비교를 더욱 용이하게 할 수 있게 된다. 예를 들어, 수술전 이미지 템플릿(11) 내의 모든 이미지를 백그라운드 이미지로 나타낸 다음, 수술장 이미지 템플릿(12)을 나타내는 것도 가능하다. 이것도 또한 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12) 비교의 한 예라 할 수 있다. 또한, 특정한 수술장 이미지 템플릿(12)에 가장 유사한 이미지를 Mutual Information 등을 이용하여 컴퓨터의 내적 과정으로 수술전 이미지 템플릿(12)에서 찾아 함께 디스플레이하는 것도 가능하다. 또한 수술전 이미지 템플릿(11)은 thin plate warping, bspline warping 등을 이용해서 만들 수 있다. FIG. 5 is a diagram showing an example of a method of creating a pre-operative image template. The
도 6은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면으로서, 하나의 GUI(Graphic User Interface)로 이해될 수 있다. 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 동시적으로 디스플레이하는 것이 가능하지만, 컴퓨터의 성능에 따라, 그리고 시간 소비의 관점에서, 어렵거나 불필요한 경우가 있다. 도 6에서와 같이, 수술장 이미지 템플릿(12)만을 도시한 상태에서, 수술전 이미지 템플릿(11)과의 유사도는 컴퓨터 내적 과정으로 계산하고, 디스플레이 상에는 유사도가 증가함에 따라, 화면의 색을 짙게 하거나, 붉은 색으로 표시하는 등의 방법으로 색을 통해 표현하거나, 깜빡거림을 주어 표현하거나 하는 등의 방법으로 시각적, 청각적인 방법으로 직관적으로 알려줄 수 있게 된다. 또한, 수술전 이미지 템플릿(11)으로부터 비교의 대상이 될 수 있는 부분을 선택하여 이를 비교선(L1,L2,L3,L4,L5)으로 표시함으로써, 양자의 유사도를 직관적으로 이해하는데 도움을 줄 수 있다. 유사도가 높아짐에 따라, 비교선(L1,L2,L3,L4,L5)의 색에 변화를 주어 직관력을 높이는 것도 가능하다. 수술전 이미지 템플릿(11)을 디스플레이하고, 수술장 이미지 템플릿(12)에서 필요한 부분을 얻어 나타내는 것도 가능하다. 비교의 대상이 될 수 있는 부분으로서, 횡경막과 같은 장기를 이용하는 것도 가능하다. 또한 방위를 나타내는 나침반(1000), 시작점(32), 기준 경로(30) 중의 적어도 하나를 도시하여 시술자를 돕는 것이 가능하다. 또한 본 개시에 따른 방법에 의하면, 환자가 스스로 호흡 레벨을 맞출 수 있게 된다. 마스터-슬레이브 시스템을 이용하는 의료용 로봇을 이용하는 수술 또는 중재 시술(예: 생검, 내시경 시술)의 경우 의사가 수술장에 부재하게 되지만, 이러한 경우에도 본 개시에 따른 방법을 이용함으로써, 환자가 스스로 호흡 레벨을 맞출 수 있는 이점을 가지게 된다.6 is a diagram showing an example of a display screen according to the present disclosure, which can be understood as one GUI (Graphic User Interface). Although it is possible to display the
도 7은 수술전 이미지 템플릿과 수술장 이미지 템플릿을 비교하는 방법의 일 예를 나타내는 도면으로서, 수술전 이미지 템플릿에서 취해진 비교선(11-1)이 표시되어 있고, 수술장 이미지 템플릿(12) 상에서 비교선(12-1)이 표시되어 있다. 20은 환부이다. 비교선(11-1)과 비교선(12-1)을 이용함으로써, 수술장 이미지 템플릿(12)으로 연속적인 이미지가 제공되는 경우에, 환자가 호흡을 진행함에 따라 양자의 비교를 보다 용이하게 할 수 있게 된다. 비교선(11-1)은 수술전 이미지 템플릿을 형성하는 과정에서, 자동 또는 매뉴얼로 생성하는 것이 가능하다. 환자의 호흡 신호를 함께 디스플레이함으로써, 양자의 비교를 도울 수 있다. 비교선(11-1)과 비교선(12-1)으로 횡경막을 사용할 수 있다.7 is a view showing an example of a method of comparing a pre-operation image template and a surgical field image template, in which a comparison line 11-1 taken from an image template before surgery is displayed, And a comparison line 12-1 is displayed. 20 is the affected part. By using the comparison line 11-1 and the comparison line 12-1, when a continuous image is provided to the surgical
도 8은 수술장 이미지 템플릿에서 비교선을 생성하는 방법의 일 예를 나타내는 도면으로서, 수술장 이미지 템플릿(12)으로서 C-arm 형광 투시(Fluoroscopy) 이미지가 도시되어 있다. 비교선(12-1)으로 횡경막이 사용되고 있다. 횡경막의 경계를 강화해서 나타내기 위해, 예를 들어, 도 9에 도시된 것과 같은 Edge Detection 방법(예: Hessian Matrix를 이용한 강화법)을 이용하여 Edge를 강화하고 횡경막이 있을 만한 부분의 확률맵을 이용하여 횡경막 Edge 부분을 찾아서 검출하여 횡경막 전체를 찾는 방법이 사용될 수 있다. 이는 컴퓨터의 내적 과정으로 이루어진다 이는 컴퓨터의 내적 과정으로 이루어진다. 비교선(12-1)으로서, 횡경막 이외에, 조영 증강된 신장, 폐혈관, 기관지, 뼈 등을 사용하는 것도 가능하다. 이렇게 형성된 수술장 이미지 템플릿(12)은 수술전 이미지 템플릿(12)의 도움없이 수술장 내에서 환자의 호흡 레벨을 파악하는데 이용할 수 있음은 물론이다. 또한 수술장 이미지 템플릿(12) 상의 비교선(12-1)의 움직임을 파악함으로써, 비교선(12-1) 인근의 환부 내지는 장기의 움직임을 예측할 수 있음은 물론이다.8 shows an example of a method of generating a comparison line in the surgical field image template, wherein a C-arm Fluoroscopy image is shown as the surgical
도 6 내지 도 9에 기술된 예는, 서로 통합하여 사용될 수 있다. 예를 들어, 수술전 이미지 템플릿(11)에서 얻어진 비교선(11-1)을 목표 호흡 레벨로 하고, 수술장 이미지 템플릿(12)에 비교선(12-1)으로 횡경막을 추출하여, 디스플레이 상에 나타내어, 환자가 이 디스플레이를 보면서, 색 농도의 변화, 깜박임의 정도 변화, 경보음 등을 직감하면서, 자신의 호흡 레벨을 맞추게 할 수 있다. 더욱 바람직하게는, 시각 및/또는 청각을 이용해 직감적으로 호흡 레벨을 맞추는 것에 더해, Mutual Information 등을 통해 평가된 유사도를 정량화해서 표시해줌으로써, 환자가 보다 편안하게 호흡 레벨을 맞출 수 있게 된다(도 7 참조).The examples described in Figs. 6 to 9 can be used integrally with each other. For example, the comparison line 11-1 obtained in the
이하 본 개시의 다양한 실시 형태에 대하여 설명한다.Various embodiments of the present disclosure will be described below.
(1) 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계;로서, 그리고, 수술전 이미지 템플릿에 구비된 비교선과 수술장 이미지 템플릿에 구비된 비교선을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법. 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿의 예로 Fluoroscopy 영상을 들 수 있으며, 실시간적으로 영상을 형태의 것이라면 어떠한 형태의 영상이어도 좋다.(1) acquiring a three-dimensional image including a Surgical Target; Setting at least one reference path in a three-dimensional image; Generating a preoperative image template corresponding to at least one reference path from the three-dimensional image; The method comprising the steps of: generating an intra-operative image template continuously provided in accordance with at least one reference path in accordance with the passage of time; Comparing the breathing level in the step of acquiring the three-dimensional image with the breathing level in the surgical field using the comparison line, and comparing the pre-operation breathing level and the surgical long-term breathing level. Fluoroscopy images can be given as an example of a surgical field image template that is continuously provided according to the passage of time, and any type of images may be used as long as the images are in real time.
(2) 비교하는 단계에서, 수술장 이미지 템플릿에 구비된 비교선의 수술전 이미지 템플릿에 구비된 비교선에 대한 근접도를 시각적으로 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(2) In the step of comparing, the proximity to the comparison line provided in the pre-operation image template of the comparison line provided in the operation field image template is visually displayed. How to.
(3) 수술장 이미지 템플릿에 구비된 비교선은 경계(Edge) 강화된 환자의 내부물인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법. 여기서 내부물은 비교에 용이한 것이라면 어떠한 것이라도 좋으며, 횡경막, 조영 증강된 신장, 폐혈관, 기관지, 뼈 등을 예로 들 수 있다.(3) The method of comparing the preoperative and postoperative breathing levels, wherein the comparison line provided in the surgical field image template is an interior of the patient reinforced by an edge. Herein, the internal water may be any one that is easily comparable, and examples thereof include diaphragm, contrast enhanced kidney, pulmonary blood vessel, bronchus, bone and the like.
(4) 수술장 이미지 템플릿에 구비된 비교선은 횡경막인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(4) The method for comparing the preoperative and postoperative breathing levels, wherein the comparison line provided in the surgical field image template is a diaphragm.
(5) 비교하는 단계에서, 호흡 신호가 함께 디스플레이되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(5) In a comparing step, a breathing signal is displayed together.
(6) 수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방(6) The surgical field image template is a fluoroscopic image that is continuously provided. A method for comparing the preoperative and postoperative breathing levels
(7) 수술장 이미지 템플릿에 구비된 비교선은 경계(Edge) 강화된 환자의 내부물인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(7) The method of comparing the preoperative and postoperative breathing levels, wherein the comparison line provided in the surgical field image template is an interior of a patient enhanced by an edge.
(8) 비교하는 단계에서, 수술장 이미지 템플릿에 구비된 비교선의 수술전 이미지 템플릿에 구비된 비교선에 대한 근접도를 청각적으로 알려주는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(8) In the comparing step, the degree of proximity to the comparison line provided in the pre-operation image template of the comparison line provided in the operation field image template is audibly informed, and the preoperative and postoperative breathing levels How to compare.
(9) 적어도 하나의 기준 경로는 복수 개인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.(9) A method for comparing preoperative and postoperative respiration levels, wherein at least one reference path is a plurality.
본 개시에 따른 하나의 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 별도의 호흡 측정 장치의 도움없이 의료용 이미지를 이용하여 환자의 호흡 레베을 가이드할 수 있게 된다. According to the method of comparing the preoperative and postoperative breathing levels according to the present disclosure, it is possible to guide the patient's breathing lever using a medical image without the aid of a separate breathing apparatus.
또한 본 개시에 따른 다른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 수술장에 시술자가 없는 경우(예: master-slave 시스템을 이용한 의료용 로봇에 의한 수술, 중재술, 진단 등)에도 환자가 쉽게 자신을 호흡 레벨을 맞출 수 있게 된다.In addition, according to the method of comparing the pre-operation breathing level and the operation long-term respiration level according to the present disclosure, when there is no operator in the operation field (for example, operation by a medical robot using a master-slave system, Patients can easily adjust their breathing levels.
또한 본 개시에 따른 다른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 환자의 내부 장기 등을 이용하여 호흡 레벨을 가이드함으로써, 보다 쉽게 환자가 호흡 레벨을 맞출 수 있게 된다.According to the method of comparing the preoperative and postoperative breathing levels according to the present disclosure, the breathing level is guided using the internal organs of the patient, so that the patient can adjust the breathing level more easily.
3차원 이미지: 10 기준 경로: 30,31 수술장 이미지 템플릿: 12 Three-dimensional image: 10 Reference path: 30,31 Surgical chapter image template: 12
Claims (10)
3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계;
3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;
적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계;로서, 그리고,
수술전 이미지 템플릿에 구비된 비교선과 수술장 이미지 템플릿에 구비된 비교선을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.Obtaining a three-dimensional image including a Surgical Target;
Setting at least one reference path in a three-dimensional image;
Generating a preoperative image template corresponding to at least one reference path from the three-dimensional image;
Generating an Intraoperative Image Template that is continuously provided in accordance with at least one reference path in accordance with the passage of time,
And comparing the breathing level in the step of acquiring the three-dimensional image with the breathing level in the surgical field using the comparison lines provided in the pre-surgery image template and the comparison line provided in the surgical field image template To compare the preoperative and postoperative breathing levels.
비교하는 단계에서, 수술장 이미지 템플릿에 구비된 비교선의 수술전 이미지 템플릿에 구비된 비교선에 대한 근접도를 시각적으로 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The method according to claim 1,
Wherein the proximity of the comparison line to the comparison line provided in the pre-operative image template of the comparison line provided in the operation field image template is visually displayed in the comparing step.
수술장 이미지 템플릿에 구비된 비교선은 경계(Edge) 강화된 환자의 내부물인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The method according to claim 1,
Wherein the comparison line provided in the surgical field image template is an interior of the patient enhanced by an edge.
수술장 이미지 템플릿에 구비된 비교선은 횡경막인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The method according to claim 1,
Wherein the comparison line provided in the surgical field image template is a diaphragm.
비교하는 단계에서, 호흡 신호가 함께 디스플레이되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The method according to claim 1,
Comparing the preoperative and postoperative breathing levels, wherein the respiratory signals are displayed together in the comparing step.
수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방Claim 1
Wherein the surgical field image template is a fluoroscopic image that is continuously provided.
수술장 이미지 템플릿에 구비된 비교선은 경계(Edge) 강화된 환자의 내부물인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The method of claim 6,
Wherein the comparison line provided in the surgical field image template is an interior of the patient enhanced by an edge.
수술장 이미지 템플릿에 구비된 비교선은 횡경막인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The method of claim 7,
Wherein the comparison line provided in the surgical field image template is a diaphragm.
비교하는 단계에서, 수술장 이미지 템플릿에 구비된 비교선의 수술전 이미지 템플릿에 구비된 비교선에 대한 근접도를 청각적으로 알려주는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.The method according to claim 1,
Comparing the pre-operation breathing level with the surgical long-term breathing level, wherein the degree of proximity to the comparison line provided in the pre-operation image template of the comparison line provided in the operation field image template is audibly informed .
적어도 하나의 기준 경로는 복수 개인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
The method according to claim 1,
Wherein the at least one reference path has a plurality of reference pathways.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130046936A KR101513229B1 (en) | 2013-04-26 | 2013-04-26 | Method of comparing preoperative respiratory level with intraoperative respiratory level |
PCT/KR2014/003431 WO2014175608A1 (en) | 2013-04-26 | 2014-04-18 | Method for comparing preoperative respiratory level with intraoperative respiratory level |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130046936A KR101513229B1 (en) | 2013-04-26 | 2013-04-26 | Method of comparing preoperative respiratory level with intraoperative respiratory level |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140128136A true KR20140128136A (en) | 2014-11-05 |
KR101513229B1 KR101513229B1 (en) | 2015-04-20 |
Family
ID=52452086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130046936A KR101513229B1 (en) | 2013-04-26 | 2013-04-26 | Method of comparing preoperative respiratory level with intraoperative respiratory level |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101513229B1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7182083B2 (en) | 2002-04-03 | 2007-02-27 | Koninklijke Philips Electronics N.V. | CT integrated respiratory monitor |
GB2441550A (en) | 2006-09-05 | 2008-03-12 | Vision Rt Ltd | Surface-imaging breathing monitor |
JP5575022B2 (en) | 2011-03-18 | 2014-08-20 | 三菱重工業株式会社 | Radiotherapy apparatus control apparatus, processing method thereof, and program |
-
2013
- 2013-04-26 KR KR1020130046936A patent/KR101513229B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR101513229B1 (en) | 2015-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11652971B2 (en) | Image-guided surgery with surface reconstruction and augmented reality visualization | |
US11883118B2 (en) | Using augmented reality in surgical navigation | |
JP2023015398A (en) | Aligning image data of patient with actual views of patient using optical code affixed to patient | |
EP3602180A1 (en) | Augmenting real-time views of a patent with three-dimensional data | |
JP2015083040A (en) | Image processing apparatus, method, and program | |
JPH11104072A (en) | Medical support system | |
KR101464330B1 (en) | Method of comparing preoperative respiratory level with intraoperative respiratory level | |
US11771508B2 (en) | Robotically-assisted surgical device, robotically-assisted surgery method, and system | |
IL293951A (en) | 3d pathfinder visualization | |
IL293957A (en) | 2d pathfinder visualization | |
KR101513229B1 (en) | Method of comparing preoperative respiratory level with intraoperative respiratory level | |
KR101529659B1 (en) | Method of comparing preoperative respiratory level with intraoperative respiratory level | |
WO2014175608A1 (en) | Method for comparing preoperative respiratory level with intraoperative respiratory level |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20190614 Year of fee payment: 5 |