KR20140128137A - 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법 - Google Patents

수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법 Download PDF

Info

Publication number
KR20140128137A
KR20140128137A KR1020130046939A KR20130046939A KR20140128137A KR 20140128137 A KR20140128137 A KR 20140128137A KR 1020130046939 A KR1020130046939 A KR 1020130046939A KR 20130046939 A KR20130046939 A KR 20130046939A KR 20140128137 A KR20140128137 A KR 20140128137A
Authority
KR
South Korea
Prior art keywords
image
template
image template
medical
surgical
Prior art date
Application number
KR1020130046939A
Other languages
English (en)
Other versions
KR101464330B1 (ko
Inventor
서준범
박창민
김남국
Original Assignee
서울대학교병원
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원, 재단법인 아산사회복지재단 filed Critical 서울대학교병원
Priority to KR1020130046939A priority Critical patent/KR101464330B1/ko
Priority to PCT/KR2014/003431 priority patent/WO2014175608A1/ko
Publication of KR20140128137A publication Critical patent/KR20140128137A/ko
Application granted granted Critical
Publication of KR101464330B1 publication Critical patent/KR101464330B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

본 개시는 수술장에서 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고, 수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하며, 비교하는 단계에서, 수술전 이미지 템플릿의 복수 개의 의료용 이미지 중에서 수술장 이미지 템플릿에 가장 근접한 의료용 이미지를 찾고 이 의료용 이미지상의 환부를 수술장 이미지 템플릿과 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 관한 것이다.

Description

수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법{METHOD OF COMPARING PREOPERATIVE RESPIRATORY LEVEL WITH INTRAOPERATIVE RESPIRATORY LEVEL}
본 개시(Disclosure)는 전체적으로 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 관한 것으로, 특히 의료용 이미지를 이용하여 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 관한 것이다.
여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).
컴퓨터 그래픽스(Computer Graphics)는 객체(object)의 2차원적 또는 3차원적 그래픽 표현을 2차원 디스플레이 스크린 상에 나타내는데 주로 이용된다. 볼륨 그래픽스(Volume Graphics)는 컴퓨터 그래픽스의 한 분야로서, 3차원 또는 그 이상의 차원을 가지는 샘플 데이터로 표현되는 객체(object)를 시각화하는 것을 다룬다. 이 샘플들은 볼륨 구성요소(volume elements) 또는 복셀(voxels)이라 불리우며, 객체의 물리적 특징을 표현하는 디지털 정보를 포함한다. 예를 들어, 특정 물체의 복셀 데이터는 밀도, 물질의 유형, 온도, 속도, 또는 다른 특성을, 이산적 점들(discrete points)로, 공간에서, 그 객체의 내부 및 주변 전체에 걸쳐 표현할 수 있다.
근래에, 볼륨 렌더링(Volume Rendering)이라 불리는 볼륨 그래픽스 방법이 도입되었으며, 이는 디지털 신호 프로세싱(digital signal processing)의 한 형태로서, 복셀기반 표현의 각각의 복셀에 색상(color) 및 투명도를 부여하는 방법이다. 이렇게 색상과 투명도가 부여된 각 복셀들은 컴퓨터 스크린과 같은 2차원의 표시 화면(viewing surface)에 투사되며(projected), 이 때 백그라운드(background)의 복셀들은 포어그라운드(foreground)의 불투명한 복셀들에 의해 가려지는 형태로 된다. 이러한 투사된 복셀들의 축적이 객체의 시각적 이미지(visual image)를 결과한다.
정리하면, 볼륨 렌더링(Volume Rendering)은 볼륨(volume) 또는 볼륨 데이터 세트(volume data set)를 렌더링하는 것으로, 볼륨 데이터 세트는 볼륨 구성요소(volume elements) 또는 복셀(voxels)이라 불리는 데이터 포인트들의 3차원 배열(3-D array of data points)로 이루어지고, 복셀은 픽셀(pixel)의 3차원적 대응물로서 색상과 투명도 정보를 포함하고 있으며, 특정 복셀의 데이터 값인 색상과 투명도를 변경함으로써 객체의 외부 및 내부를 다른 형태로 볼 수 있는데, 예를 들어 수술에 앞서 무릎의 인대, 힘줄 및 뼈를 살펴 보고자 하는 의사는 무릎의 단층 스캔에서, 피, 피부 및 근육을 완전히 투명하게 보이도록 할 수 있다.
다른 관점에서, 의료 분야에 있어서, CT 이미지, MRI 이미지, PET 이미지 등의 3차원 볼륨 데이터 세트 또는 3차원 볼륨 데이터가 이러한 볼륨 렌더링 기법을 이용하여(볼륨 렌더링에 한정될 필요는 없지만 볼륨 렌더링 기법이 유용하게 사용되고 있다.), 모니터 상에 디스플레이되고, 이 디스플레이된 이미지를 이용하여, 수술을 준비하거나 수술을 계획하거나, 수술용 항법 장치에 이용하거나, 수술 중에 이용하는 등 다양하게 이용할 수 있게 된다.
생검(Biopsy)과 같이 수술용 도구(Surgical instrument)의 인체 삽입을 필요로 하는 수술을 계획할 때도, 의료용 3차원 이미지의 도움이 필요하다. 그러나 이러한 의료용 3차원 이미지는 환자의 특정 호흡 상태에서 획득되므로, 환자가 호흡이 계속되는 수술장 내에서 이 의료용 3차원 이미지를 이용하는데, 몇 가지 프로세스의 도움이 필요하다.
도 1 및 도 2는 종래의 중재 시술(intervention surgery)의 일 예를 설명하는 도면으로서, 먼저 수술전의 환자의 특정 호흡 레벨(A; 예: 환자가 숨을 최대한 들이쉰 상태 또는 숨을 최대한 내쉰 상태)에서 수술전 환자의 3차원 이미지(100)를 획득한다(S100). 3차원 이미지(100)의 획득에는, CT 장치, Cone-beam CT(CBCT) 장치, MRI 장치와 같은 의료용 3차원 이미지 획득 장치가 이용될 수 있다. 다음으로, 획득된 3차원 이미지(100)를 이용하여 수술을 계획한다(S200). 생검의 경우에, 환자의 환부(Target; 200)로 생검 바늘(Needle)을 삽입할 경로(300)를 계획하게 된다. 다음으로, 환자가 수술장에 들어와서, 수술이 시작되면, 수술장에 놓인 이미지 획득 장치(예: Fluoroscopy 장치, CBCT 장치; 400)를 단계(S200)에서 계획된 경로(300), 즉 생검 바늘(500)이 삽입될 방위(300)와 동일한 방위로 맞춘다(S300). 환부가 환자의 호흡에 영향을 받는 경우에, 수술이 계획대로 진행되려면, 수술전 3차원 이미지(100)를 획득할 때의 환자의 호흡 레벨(A)이, 현재 수술장에서의 환자의 호흡 레벨과 동일해야 하므로, 환자를 특정 호흡 레벨(A: 환자가 숨을 최대한 들이쉰 상태 또는 숨을 최대한 내쉰 상태)로 호흡하게 한 다음, 수술장 내의 이미지 획득 장치(400)를 이용하여, 환부를 포함하는 환자의 이미지(600)를 획득하여, 환자의 호흡 레벨(B)을 수술전 3차원 이미지를 획득할 때의 환자의 호흡 레벨(A)과 맞추어야 한다(S400). 이때 의사의 직관이 사용된다. 의사의 직관에 의존하지 않는 방법으로, 수술전 3차원 이미지(100)를 획득할 때의 호흡 레벨(A)을 컴퓨터에 기록한 다음, 수술장에서도 연속적으로 환자의 호흡 레벨을 기록하고, 양자를 비교하여 환자의 호흡 레벨(B)이 호흡 레벨(A)과 동일할 때, 경보음으로 알려주거나, 생검 바늘(500)이 자동으로 작동되도록 구성할 수 있다. 호흡 레벨(A,B)의 측정에는 종래의 호흡 측정 방법(예: 압력 벨트식, InfraRed 마커를 이용한 호흡 측정기 등)이 적용될 수 있다. 이러한 상태에서, 생검 바늘(500)을 인체에 삽입함으로써, 계획된 방위(300)로 수술용 도구를 인체에 삽입할 수 있게 된다(S500). 도 2에서 사용된 3차원 이미지(100)와 환자의 이지미(600)는 설명을 위한 것으로, 서로 일치하지 않는 점을 당업자는 쉽게 알 수 있을 것이다. 호흡 레벨 측정에 관한 종래 기술로서, 미국 등록특허공보 제5,368,844호를 들 수 있다.
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.
여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).
본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;로서, 수술전 이미지 템플릿은 복수 개의 의료용 이미지를 구비하는, 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 수술장에서 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고, 수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하며, 비교하는 단계에서, 수술전 이미지 템플릿의 복수 개의 의료용 이미지 중에서 수술장 이미지 템플릿에 가장 근접한 의료용 이미지를 찾고 이 의료용 이미지상의 환부를 수술장 이미지 템플릿과 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법이 제공된다.
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.
도 1 및 도 2는 종래의 중재 시술(intervention surgery)의 일 예를 설명하는 도면,
도 3 및 도 4는 본 개시에 따른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법의 일 예를 설명하는 도면,
도 5는 수술전 이미지 템플릿을 만드는 방법의 일 예를 나타내는 도면,
도 6은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면,
도 7은 수술전 이미지 템플릿과 수술장 이미지 템플릿을 비교하는 방법의 일 예를 나타내는 도면,
도 8은 수술장 이미지 템플릿에서 비교선을 생성하는 방법의 일 예를 나타내는 도면,
도 9는 본 개시에 따른 Edge Detection 방법의 일 예를 나타내는 도면,
도 10은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면.
이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)).
도 3 및 도 4는 본 개시에 따른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법의 일 예를 설명하는 도면으로서, 먼저, 환부(20)를 포함하는 3차원 이미지(10)를 획득한다(S10). 다음으로, 3차원 이미지(10)에서 적어도 하나의 기준 경로(30,31)를 설정한다(S20). 다음으로, 3차원 이미지(10)로부터 적어도 하나의 기준 경로(30,31)에 대응하는 수술전 이미지 템플릿(11; Preoperative Image Template)을 생성한다(S30). 다음으로, 수술장에서 적어도 하나의 기준 경로(30,31)에 맞추어 수술장 이미지 템플릿(12; Intraoperative Image Template)을 생성한다(S40). 다음으로, 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 이용하여, 3차원 이미지(10)를 획득하는 단계(S10)에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교한다(S50).
환부(20)는 사람에 제한되지 않고, 호흡을 하는 동물로 확장될 수 있다.
3차원 이미지(10)는 CT 이미지, MRI 이미지, PET 이미지, 3차원 초음파 이미지 등일 수 있다. 해당 장치를 통해, 사전에 획득되어, 컴퓨터(70)에 저장되고, 모니터(71)를 통해 디스플레이되고, 컴퓨터(70)를 통해 사용자에 의해 이용될 수 있다. 바람직하게는, 3차원 이미지(10)로 CT 이미지, CBCT 이미지가 이용된다. CT 이미지가 호흡과 함께 연동되는 내부 장기의 촬영에 적합하기 때문이다. 수술전이라는 개념은 상대적인 시간 개념으로, 이는 수술장에 환자가 들어가기 이전에 획득될 수 있지만, 수술장 내에서, CT 장치, CBCT 장치 등을 두고 획득되어, 수술 계획이 이루어질 수 있음은 물론이다. 또한 수술장에 들어가기 전에 하나의 볼륨 데이터 세트(Volume Data Set)가 만들어지고, 수술장에서도 또 하나의 볼륨 데이터 세트가 만들어질 수도 있다.
기준 경로(30,31)는 수술을 계획하는 과정에서 설정된다. 기준 경로(30,31)는 예를 들어, 수술용 도구(예: 생검 바늘; 도 2 참조)의 삽입 경로일 수 있다. 이 경우에, 수술용 도구가 환자의 몸으로 진입하는 시작점(32; entry point)과 방위(수술용 도구의 진행방향, 벡터)를 설정함으로써, 기준 경로(30,31)가 결정될 수 있다. 본 개시는 수술용 도구가 인체에 삽입되지 않는 수술에도 적용될 수 있다. 예를 들어, 시작점(32)으로서, 수술용 도구로 환자를 절개할 지점이 설정되고, 이 지점과 환부를 있는 선을 설정함으로써 기준 경로(30,31)가 결정될 수 있다. 또한 외과적 수술 및 외과적 중재 시술이 아니라, 진단적인 의료행위 및 레이저 치료 등에도 본 개시가 적용될 수 있다. 예를 들어, 수술전 3차원 이미지(10)에서 레이저가 조사될 방위를 설정하고, 수술장에서 환자의 호흡 레벨을 체크하기 위해 본 개시의 방법이 적용될 수 있다. 따라서 본 개시에 있어서, 수술이라는 의미는 외과적 수술, 외과적 중재 시술, 진단 행위 등을 포함하는 포괄적 의료행위로 이해되어야 한다. 기준 경로(30,31)를 복수 개 설정하는 경우에, 호흡 레벨 비교의 정확성을 한층 높일 수 있게 된다. 또한 수술전에 설정한 기준 경로(30)로 수술중 이미지를 촬영하였을 때, 환부가 잘 보이지 않는 경우에 대비하여, 잘 보이는 기준 경로(31)를 이용하는 것도 가능해지는 등 다양한 이점을 가질 수 있게 된다.
수술전 이미지 템플릿(11)은 적어도 하나의 기준 경로(30,31)에 대응하는 적어도 하나의 의료용 이미지를 포함하게 된다. 또한 수술전 이미지 템플릿(11)은 하나의 기준 경로(30)로부터 얻어지는 복수 개의 의료용 이미지를 포함할 수 있다. 수술전 이미지 템플릿(11)은 이미지 획득 장치(40)에 의해 취득되는 형태와 유사한 형태를 가지는 것이 바람직하다. 예를 들어, 이미지 획득 장치(40)에 의해 취득되는 이미지가 2차원 형광 투시 이미지이고, 3차원 이미지(10)가 CT 이미지인 경우에, 패러렐(Parallel) 또는 퍼스펙티브(Perspective) 레이 섬 알고리즘(Ray Sum Algorithm) Maximum Intensity Projection(MIP), 또는 Minimum Intensity Projection(MinIP) 등을 이용하여, 적어도 하나의 기준 경로(30,31) 대하여 투시 영상과 유사한 영상을 얻을 수 있으며, 이러한 기술은 기지의 기술이다.
수술장 이미지 템플릿(12)도 적어도 하나의 기준 경로(30,31)에 대응하는 적어도 하나의 의료용 이미지를 포함하게 된다. 수술장 이미지 획득 장치(40)를 적어도 하나의 기준 경로(30,31)에 맞추기 위해, C-arm, Cone-beam과 같은 장치가 사용될 수 있으며, 이것에 제한되지 않고, 환자에 대해 방위를 조절할 수 있는 장치라면 어떠한 장치가 사용되어도 좋다. 바람직하게는, 연속적 2차원 이미지의 생성이 가능한 형광 투시(Fluoroscopy) 이미지가 사용된다. 수술장 이미지 템플릿(12)은 이미지 획득 장치(40)에 의해 얻어지는 이미지(13)이거나, 이미지(13)를 필요에 따라 가공함으로써 생성될 수 있다. 이미지(13) 또는 수술장 이미지 템플릿(12)은 이미지 획득 장치(40)에 의해 획득되어, 컴퓨터(80)에 저장되고 처리되며, 모니터(81)를 통해 디스플레이된다. 컴퓨터(80)와 컴퓨터(70)는 연동할 수 있다. 이 경우에, 컴퓨터(80)에 수술전 이미지 템플릿(11)을 별도로 저장하지 않아도 이를 이용할 수 있게 된다. 또한 컴퓨터(80)는 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 비교하는 기능을 수행한다. 이러한 과정이 모니터(81)에 디슬플레이될 수 있다. 또한 두 템플릿(11,12)이 어느 정도 일치하는 경우에 경보음을 내거나, 일치의 정도를 수치로 표시하는 것도 가능하다. 단순히 이미지라는 표현을 사용해도 좋지만, 두 이미지가 비교된다는 의미에서, 이 비교에 두 이미지가 기준이 된다는 의미에서, 그리고 복수의 이미지가 포함될 수 있다는 의미에서, 이미지 템플릿이라는 용어를 사용한다. 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)의 유사성을 판단하는 방법으로는 Mean Squares Difference, Normalized Correlation, Pattern Intensity, Mutual Information 등의 방법이 사용될 수 있다.
도 5는 수술전 이미지 템플릿을 만드는 방법의 일 예를 나타내는 도면으로서, 수술전 이미지 템플릿(11)이 5개의 의료용 이미지(11a,11b,11c,11d,11e)로 되어 있다. 5개의 의료용 이미지(11a,11b,11c,11d,11e)는 적어도 하나의 실제 의료용 이미지와 적어도 하나의 예측 의료용 이미지로 이루어진다. 예를 들어, 의료용 이미지(11a)를 실제 촬영된 3차원 이미지(10)로부터 기준 경로(30)를 따라 생성하고, 나머지 의료용 이미지(11b,11c,11d,11e)를 의료용 이미지(11a)를 바탕으로 의사의 경험을 바탕으로 호흡에 따른 환부(20)의 움직임을 예측하여 생성할 수 있다. 이러한 수술전 이미지 템플릿(11)을 통해, 수술장에서 수술장 이미지 템플릿(12)과 함께 사용할 때, 환자의 호흡 레벨을 보다 용이하게 파악할 수 있게 된다. 또한, 예를 들어, 2개의 의료용 이미지(11a,11e)를 실제 의료용 이미지로부터 생성할 수 있다. 이때, 2개의 3차원 이미지(30)가 필요하며, 한번은 완전히 들이쉰 상태에서 CT 촬영을 하고, 한번은 완전히 내쉰 상태에서 CT 촬영을 함으로써, 2개의 3차원 이미지(30)를 얻을 수 있다. 이들 각각으로부터 기준 경로(30)를 따라 2개의 의료용 이미지(11a,11e)를 얻을 수 있다. 2개의 실제 촬영된 의료용 이미지(11a,11e)를 이용함으로써, 즉, 적어도 2개 이상의 실제 촬영된 의료용 이미지(11a,11e)를 이용함으로써, 예측 의료용 이미지(11b,11c,11d)의 정확도를 높일 수 있게 된다. 특히, 호흡 레벨의 상한과 하한에 대한 의료용 이미지(11a,11e)를 얻는 경우에, 예측의 정확성을 더욱 높일 수 있게 된다. 필요에 따라, 의료용 이미지(11c) 등도 실제 촬영을 통해 생성할 수 있다. 예를 들어, 수술전 이미지 템플릿(11)에 20개 정도의 실제 및 예측 의료용 이미지를 포함함으로써, 호흡 레벨에 따른 환부(20)의 움직임을 매우 정확하게 표현할 수 있으며, 수술장 이미지 템플릿(12)이 연속적으로 움직이는 환부를 나타내는 이미지인 경우에, 상호 간의 비교를 더욱 용이하게 할 수 있게 된다. 예를 들어, 수술전 이미지 템플릿(11) 내의 모든 이미지를 백그라운드 이미지로 나타낸 다음, 수술장 이미지 템플릿(12)을 나타내는 것도 가능하다. 이것도 또한 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12) 비교의 한 예라 할 수 있다. 또한, 특정한 수술장 이미지 템플릿(12)에 가장 유사한 이미지를 Mutual Information 등을 이용하여 컴퓨터의 내적 과정으로 수술전 이미지 템플릿(12)에서 찾아 함께 디스플레이하는 것도 가능하다. 또한 수술전 이미지 템플릿(11)은 thin plate warping, bspline warping 등을 이용해서 만들 수 있다.
도 6은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면으로서, 하나의 GUI(Graphic User Interface)로 이해될 수 있다. 수술전 이미지 템플릿(11)과 수술장 이미지 템플릿(12)을 동시적으로 디스플레이하는 것이 가능하지만, 컴퓨터의 성능에 따라, 그리고 시간 소비의 관점에서, 어렵거나 불필요한 경우가 있다. 도 6에서와 같이, 수술장 이미지 템플릿(12)만을 도시한 상태에서, 수술전 이미지 템플릿(11)과의 유사도는 컴퓨터 내적 과정으로 계산하고, 디스플레이 상에는 유사도가 증가함에 따라, 화면의 색을 짙게 하거나, 붉은 색으로 표시하는 등의 방법으로 색을 통해 표현하거나, 깜빡거림을 주어 표현하거나 하는 등의 방법으로 시각적, 청각적인 방법으로 직관적으로 알려줄 수 있게 된다. 또한, 수술전 이미지 템플릿(11)으로부터 비교의 대상이 될 수 있는 부분을 선택하여 이를 비교선(L1,L2,L3,L4,L5)으로 표시함으로써, 양자의 유사도를 직관적으로 이해하는데 도움을 줄 수 있다. 유사도가 높아짐에 따라, 비교선(L1,L2,L3,L4,L5)의 색에 변화를 주어 직관력을 높이는 것도 가능하다. 수술전 이미지 템플릿(11)을 디스플레이하고, 수술장 이미지 템플릿(12)에서 필요한 부분을 얻어 나타내는 것도 가능하다. 비교의 대상이 될 수 있는 부분으로서, 횡경막과 같은 장기를 이용하는 것도 가능하다. 또한 방위를 나타내는 나침반(1000), 시작점(32), 기준 경로(30) 중의 적어도 하나를 도시하여 시술자를 돕는 것이 가능하다. 또한 본 개시에 따른 방법에 의하면, 환자가 스스로 호흡 레벨을 맞출 수 있게 된다. 마스터-슬레이브 시스템을 이용하는 의료용 로봇을 이용하는 수술 또는 중재 시술(예: 생검, 내시경 시술)의 경우 의사가 수술장에 부재하게 되지만, 이러한 경우에도 본 개시에 따른 방법을 이용함으로써, 환자가 스스로 호흡 레벨을 맞출 수 있는 이점을 가지게 된다.
도 7은 수술전 이미지 템플릿과 수술장 이미지 템플릿을 비교하는 방법의 일 예를 나타내는 도면으로서, 수술전 이미지 템플릿에서 취해진 비교선(11-1)이 표시되어 있고, 수술장 이미지 템플릿(12) 상에서 비교선(12-1)이 표시되어 있다. 20은 환부이다. 비교선(11-1)과 비교선(12-1)을 이용함으로써, 수술장 이미지 템플릿(12)으로 연속적인 이미지가 제공되는 경우에, 환자가 호흡을 진행함에 따라 양자의 비교를 보다 용이하게 할 수 있게 된다. 비교선(11-1)은 수술전 이미지 템플릿을 형성하는 과정에서, 자동 또는 매뉴얼로 생성하는 것이 가능하다. 환자의 호흡 신호를 함께 디스플레이함으로써, 양자의 비교를 도울 수 있다. 비교선(11-1)과 비교선(12-1)으로 횡경막을 사용할 수 있다.
도 8은 수술장 이미지 템플릿에서 비교선을 생성하는 방법의 일 예를 나타내는 도면으로서, 수술장 이미지 템플릿(12)으로서 C-arm 형광 투시(Fluoroscopy) 이미지가 도시되어 있다. 비교선(12-1)으로 횡경막이 사용되고 있다. 횡경막의 경계를 강화해서 나타내기 위해, 예를 들어, 도 9에 도시된 것과 같은 Edge Detection 방법(예: Hessian Matrix를 이용한 강화법)을 이용하여 Edge를 강화하고 횡경막이 있을 만한 부분의 확률맵을 이용하여 횡경막 Edge 부분을 찾아서 검출하여 횡경막 전체를 찾는 방법이 사용될 수 있다. 이는 컴퓨터의 내적 과정으로 이루어진다 이는 컴퓨터의 내적 과정으로 이루어진다. 비교선(12-1)으로서, 횡경막 이외에, 조영 증강된 신장, 폐혈관, 기관지, 뼈 등을 사용하는 것도 가능하다. 이렇게 형성된 수술장 이미지 템플릿(12)은 수술전 이미지 템플릿(12)의 도움없이 수술장 내에서 환자의 호흡 레벨을 파악하는데 이용할 수 있음은 물론이다. 또한 수술장 이미지 템플릿(12) 상의 비교선(12-1)의 움직임을 파악함으로써, 비교선(12-1) 인근의 환부 내지는 장기의 움직임을 예측할 수 있음은 물론이다.
도 6 내지 도 9에 기술된 예는, 서로 통합하여 사용될 수 있다. 예를 들어, 수술전 이미지 템플릿(11)에서 얻어진 비교선(11-1)을 목표 호흡 레벨로 하고, 수술장 이미지 템플릿(12)에 비교선(12-1)으로 횡경막을 추출하여, 디스플레이 상에 나타내어, 환자가 이 디스플레이를 보면서, 색 농도의 변화, 깜박임의 정도 변화, 경보음 등을 직감하면서, 자신의 호흡 레벨을 맞추게 할 수 있다. 더욱 바람직하게는, 시각 및/또는 청각을 이용해 직감적으로 호흡 레벨을 맞추는 것에 더해, Mutual Information 등을 통해 평가된 유사도를 정량화해서 표시줌으로써, 환자가 보다 편안하게 호흡 레벨을 맞출 수 있게 된다(도 7 참조).
도 10은 본 개시에 따른 디스플레이 화면의 일 예를 나타내는 도면으로서, 수술장 이미지 템플릿(12)에 수술전 이미지 템플릿으로부터 얻어진(segumented) 환부(20)가 함께 디스플레이되어 있다. 수술장에서, 수술장 내에 여러 기구물이나, 시술자의 손 등에 의해, 수술장 이미지 템플릿(12)에 환부(20)가 반영되지 않는 등의 문제점이 있을 수 있으나, 이와 같은 방법을 통해 문제점을 개선할 수 있게 된다. 수술장 이미지 템플릿(12)이 실시간으로 변경되는 경우(시간의 흐름에 따라 연속적으로 제공되는 경우)에도, 컴퓨터 내적 과정을 통해, 복수로 마련된 수술전 이미지 템플릿(11)을 현재 호흡 레벨에서의 수술장 이미지 템플릿(12)과 매칭할 수 있으며, 수술전 이미지 템플릿(11) 내의 각각의 이미지에 대해, 수동 또는 자동으로, 환부(20)를 구분해둠으로써, 필요에 따라 수술전 이미지 템플릿(11)에서 얻어진 환부(20)를 수술장 이미지 템플릿(12) 상에 디스플레이할 수 있게 된다. 바람직하게는 환부(20)는 주지의 볼륨 렌더링 기술을 이용하여, 특정의 색으로 표현되는 등 시각적으로 잘 띠도록 증강되어 표현될 수 있다. 환부(20)를 수술전 이미지 템플릿(11) 내의 각각의 이미지에서 얻는 것이 아니라, 3차원 이미지(10)로부터 직접 얻을 수도 있지만, 바람직하지는 않다.
이하 본 개시의 다양한 실시 형태에 대하여 설명한다.
(1) 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계; 3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계; 3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;로서, 수술전 이미지 템플릿은 복수 개의 의료용 이미지를 구비하는, 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계; 수술장에서 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고, 수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하며, 비교하는 단계에서, 수술전 이미지 템플릿의 복수 개의 의료용 이미지 중에서 수술장 이미지 템플릿에 가장 근접한 의료용 이미지를 찾고 이 의료용 이미지상의 환부를 수술장 이미지 템플릿과 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법. 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿의 예로 Fluoroscopy 영상을 들 수 있으며, 실시간적으로 영상을 형태의 것이라면 어떠한 형태의 영상이어도 좋다.
(2) 적어도 하나의 기준 경로는 복수 개이며, 복수 개의 기준 경로에 대한 복수 개의 수술전 이미지 템플릿이 생성되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
(3) 적어도 하나의 기준 경로는 생검 바늘의 삽입 경로인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
(4) 수술전 이미지 템플릿은 3차원 이미지로부터 생성된 적어도 하나의 실제 의료용 이미지와 이 적어도 하나의 실제 의료용 이미지로부터 예측되어 생성되는 적어도 하나의 예측 의료용 이미지를 구비하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
(5) 적어도 하나의 실제 의료용 이미지는 완전히 들이쉰 상태의 의료용 이미지 및 완전히 내쉰 상태의 의료용 이미지를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
(6) 수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
(7) 수술전 이미지 템플릿은 CT 이미지인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
본 개시에 따른 하나의 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 별도의 호흡 측정 장치의 도움없이 의료용 이미지를 이용하여 환자의 호흡 레베을 가이드할 수 있게 된다.
또한 본 개시에 따른 다른 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 수술장에 시술자가 없는 경우(예: master-slave 시스템을 이용한 의료용 로봇에 의한 수술, 중재술, 진단 등)에도 환자가 쉽게 자신을 호흡 레벨을 맞출 수 있게 된다.
본 개시에 따른 또 다른 하나의 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법에 의하면, 증강현실 시각화된 수술장 이미지를 제공할 수 있게 된다.
3차원 이미지: 10 기준 경로: 30,31 수술장 이미지 템플릿: 12

Claims (10)

  1. 환부(Surgical Target)를 포함하는 3차원 이미지를 획득하는 단계;
    3차원 이미지에서 적어도 하나의 기준 경로를 설정하는 단계;
    3차원 이미지로부터 적어도 하나의 기준 경로에 대응하는 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;로서, 수술전 이미지 템플릿은 복수 개의 의료용 이미지를 구비하는, 수술전 이미지 템플릿(Preoperative Image Template)을 생성하는 단계;
    수술장에서 적어도 하나의 기준 경로에 맞추어 시간의 흐름에 따라 연속적으로 제공되는 수술장 이미지 템플릿(Intraoperative Image Template)을 생성하는 단계; 그리고,
    수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여, 3차원 이미지를 획득하는 단계에서의 호흡 레벨과 수술장에서의 호흡 레벨을 비교하는 단계;를 포함하며,
    비교하는 단계에서, 수술전 이미지 템플릿의 복수 개의 의료용 이미지 중에서 수술장 이미지 템플릿에 가장 근접한 의료용 이미지를 찾고 이 의료용 이미지상의 환부를 수술장 이미지 템플릿과 함께 디스플레이하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  2. 청구항 1에 있어서,
    적어도 하나의 기준 경로는 복수 개이며,
    복수 개의 기준 경로에 대한 복수 개의 수술전 이미지 템플릿이 생성되는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  3. 청구항 1에 있어서,
    적어도 하나의 기준 경로는 생검 바늘의 삽입 경로인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  4. 청구항 1에 있어서,
    수술전 이미지 템플릿은 3차원 이미지로부터 생성된 적어도 하나의 실제 의료용 이미지와 이 적어도 하나의 실제 의료용 이미지로부터 예측되어 생성되는 적어도 하나의 예측 의료용 이미지를 구비하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  5. 청구항 4에 있어서,
    적어도 하나의 실제 의료용 이미지는 완전히 들이쉰 상태의 의료용 이미지 및 완전히 내쉰 상태의 의료용 이미지를 포함하는 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  6. 청구항 1에 있어서
    수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  7. 청구항 1에 있어서,
    수술전 이미지 템플릿은 CT 이미지인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  8. 청구항 4에 있어서,
    수술장 이미지 템플릿은 연속적으로 제공되는 형광 투시 영상인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  9. 청구항 8에 있어서,
    수술전 이미지 템플릿은 CT 이미지인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.
  10. 청구항 9에 있어서,
    적어도 하나의 기준 경로는 생검 바늘의 삽입 경로인 것을 특징으로 하는 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법.

KR1020130046939A 2013-04-26 2013-04-26 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법 KR101464330B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130046939A KR101464330B1 (ko) 2013-04-26 2013-04-26 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
PCT/KR2014/003431 WO2014175608A1 (ko) 2013-04-26 2014-04-18 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130046939A KR101464330B1 (ko) 2013-04-26 2013-04-26 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Publications (2)

Publication Number Publication Date
KR20140128137A true KR20140128137A (ko) 2014-11-05
KR101464330B1 KR101464330B1 (ko) 2014-11-24

Family

ID=52291375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130046939A KR101464330B1 (ko) 2013-04-26 2013-04-26 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Country Status (1)

Country Link
KR (1) KR101464330B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043924A1 (ko) * 2015-09-09 2017-03-16 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
WO2017043926A1 (ko) * 2015-09-09 2017-03-16 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467282B1 (ko) 2019-12-31 2022-11-17 주식회사 코어라인소프트 의료 영상을 이용하는 중재시술 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7182083B2 (en) * 2002-04-03 2007-02-27 Koninklijke Philips Electronics N.V. CT integrated respiratory monitor
US8229068B2 (en) * 2005-07-22 2012-07-24 Tomotherapy Incorporated System and method of detecting a breathing phase of a patient receiving radiation therapy
GB2441550A (en) * 2006-09-05 2008-03-12 Vision Rt Ltd Surface-imaging breathing monitor
JP5575022B2 (ja) * 2011-03-18 2014-08-20 三菱重工業株式会社 放射線治療装置制御装置、その処理方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043924A1 (ko) * 2015-09-09 2017-03-16 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
WO2017043926A1 (ko) * 2015-09-09 2017-03-16 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템

Also Published As

Publication number Publication date
KR101464330B1 (ko) 2014-11-24

Similar Documents

Publication Publication Date Title
US11652971B2 (en) Image-guided surgery with surface reconstruction and augmented reality visualization
US20230073041A1 (en) Using Augmented Reality In Surgical Navigation
JP2017536860A (ja) 医用イメージングのために患者をポジショニングするためのガイドシステム
JP6643362B2 (ja) ロボット手術中に更新された患者画像を供給するための方法および装置
KR101464330B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
US11771508B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
IL293951A (en) Visualization of route finding in three dimensions
IL293957A (en) Visualization of route finding in two dimensions
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR101529659B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
US20240163411A1 (en) Augmented reality guidance for spinal surgery with stereoscopic displays and magnified views
WO2014175608A1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
AU2017261554A1 (en) Visualization of distances to walls of anatomical cavities

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 5

R401 Registration of restoration