KR20200026851A - 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법 - Google Patents

복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법 Download PDF

Info

Publication number
KR20200026851A
KR20200026851A KR1020200023746A KR20200023746A KR20200026851A KR 20200026851 A KR20200026851 A KR 20200026851A KR 1020200023746 A KR1020200023746 A KR 1020200023746A KR 20200023746 A KR20200023746 A KR 20200023746A KR 20200026851 A KR20200026851 A KR 20200026851A
Authority
KR
South Korea
Prior art keywords
points
point
reference point
coordinate system
image processing
Prior art date
Application number
KR1020200023746A
Other languages
English (en)
Other versions
KR102233585B1 (ko
Inventor
박종현
최선홍
Original Assignee
(주)레벨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)레벨소프트 filed Critical (주)레벨소프트
Priority to KR1020200023746A priority Critical patent/KR102233585B1/ko
Publication of KR20200026851A publication Critical patent/KR20200026851A/ko
Application granted granted Critical
Publication of KR102233585B1 publication Critical patent/KR102233585B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

대상체 상에서 센싱된 기준점을 이용하여 대상체의 적어도 일부를 나타내는 출력 영상 데이터를 생성하는 영상 처리 장치가 개시된다. 영상 처리 장치는 대상체 상에서 센싱된 복수의 지점을 제1 좌표계(coordinate system) 상에 정의하는, 제1 기준점 세트(fiducial points set)를 획득하고, 대상체에 대응하는 영상 데이터는 제2 좌표계에서 정의되고, 제1 기준점 세트가 나타내는 복수의 제1 기준점 중에서 어느 하나에 매핑(mapping)되는 제2 기준점을 기초로 복수의 후보 대응점을 획득하고, 제1 기준점 세트 및 복수의 후보 대응점을 기초로, 대상체 상에서 센싱된 지점의 제1 좌표계 상의 위치 정보를 제2 좌표계 상의 위치 정보로 변환하는 정합 파라미터를 결정하고, 결정된 정합 파라미터를 기초로 센서를 통해 센싱된 지점과 대상체 사이의 상대적인 위치(relative positions)를 나타내는 출력 영상 데이터를 생성하는 프로세서를 포함한다.

Description

복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법 {IMAGE REGISTRATION APPARATUS AND METHOD USING MULTIPLE CANDIDATE POINTS}
본 개시는 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 하나의 기준점에 대응하는 복수의 후보 대응점을 사용하여 영상 데이터를 정합하는 장치 및 방법에 관한 것이다.
수술 시 환자의 절개 부위를 최소화하는 최소 침습 수술이 널리 사용되고 있다. 최소 침습 수술은 절개 부위를 최소화하고 그에 따른 실혈(blood loss)과 회복기간을 최소화할 수 있는 장점이 있으나, 의사의 시야가 제한되어 일부 수술들의 경우 뇌수막 손상, 안구 손상 등의 위험 요인을 갖고 있다. 의사의 시야가 제한되는 최소 침습 수술의 단점을 극복하기 위한 도구의 하나로써, 의료용 항법 장치(또는, 수술 항법 장치)가 사용되고 있다. 의료용 항법 장치는 사전에 확보된 환자의 의료 영상을 기준으로 환자의 환부에 삽입된 기구의 위치 정보를 실시간으로 추적하여 제공한다. 또한, 이러한 의료용 항법 장치는 내시경과 결합하여 사용될 수도 있다.
의료용 항법 장치에서 삽입된 시술 기구의 실시간 위치 추적을 위해 광학식 또는 전자기식 위치 추적 장치가 사용될 수 있다. 시술 기구의 위치 추적을 위한 일 예로, 적외선 방출 장치와 패시브 형태의 이미지 센서를 포함하는 광학식 위치 추적 장치가 사용될 수 있다. 광학식 위치 추적 장치는 적외선 방출 장치를 통해 기준 광을 방사하고, 복수의 마커들에 의해 반사되는 이미지를 이미지 센서를 통해 수집한다. 해당 위치 추적 장치는 복수의 마커들의 위치를 기초로 시술 기구의 위치 정보를 획득할 수 있다. 한편, 시술 기구의 위치 추적을 위한 다른 예로, 자기장 생성기 및 전도성 금속 물체를 포함하는 전자기식 위치 추적 장치가 사용될 수 있다. 전자기식 위치 추적 장치는 자기장 생성기에 의해 생성된 자기장 내에서 전도성 금속 물체에 발생하는 맴돌이 전류를 측정하여 시술 기구의 위치 정보를 획득할 수 있다. 위치 추적 장치에서 시술 기구와 신체 부위의 위치 관계를 정확하게 표시하기 위해, 환자의 신체 부위에 대한 의료 데이터와 시술 기구간의 위치 관계를 정의하는 정합 과정이 필요할 수 있다.
도 1은 의료용 항법 장치의 출력 영상의 일 실시예를 도시한다. 의료용 항법 장치는 신체 부위에 대한 수평면(horizontal), 시상면(sagittal) 및 관상면(coronal)의 영상들 중 적어도 하나를 디스플레이 할 수 있다. 시술자(또는, 의사)는 각 영상들을 해석하여 시술 기구의 3차원적 위치를 판단하고, 인접한 위험 요소 등을 파악한다. 그러나 이러한 단면 영상들은 신체 부위 내에서의 시술 기구의 위치를 직관적으로 표현할 수 없다. 따라서, 복수의 단면 영상들을 대조하여 시술 기구의 정확한 위치를 판단하기 위해서 시술자의 숙련도가 필요할 뿐만 아니라 많은 시간이 소요될 수 있다. 또한, 시술 기구의 위치 파악을 위해 의료용 항법 장치의 모니터를 주시하는 시간이 길어질 경우, 전체적인 시술 기간이 길어져 시술자와 환자 모두의 피로를 증가시킬 수 있다.
공개특허공보 제10-2014-0105101호 일본 특허공보 특허 제5283157호 일본 공개특허공보 특개2018-038609호 일본 특허공보 특허 제5486182호
본 개시의 일 실시예에 따른 영상 처리 장치 및 방법은 대상체에 대응하는 출력 영상 데이터를 제공하는 것을 목적으로 한다. 구체적으로, 본 개시의 일 실시예에 따른 영상 처리 장치 및 방법은 대상체에 대응하는 영상 데이터를 기초로 정합된 출력 영상 데이터를 제공하는 것을 목적으로 한다. 또한, 본 개시의 일 실시예에 따른 영상 처리 장치 및 방법은 기준점 지정 시 발생하는 오차를 감소시켜 정합 오차를 개선시키는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위한 본 개시의 실시예에 따르면, 대상체 상에서 센싱된 복수의 지점을 제1 좌표계(coordinate system) 상에 정의하는, 제1 기준점 세트(fiducial points set)를 획득하고, 상기 대상체에 대응하는 영상 데이터는 제2 좌표계에서 정의되고, 상기 제1 기준점 세트가 나타내는 복수의 제1 기준점 중에서 어느 하나에 매핑(mapping)되는 제2 기준점을 기초로 복수의 후보 대응점을 획득하고, 상기 제1 기준점 세트 및 상기 복수의 후보 대응점을 기초로, 상기 대상체 상에서 센싱된 지점의 상기 제1 좌표계 상의 위치 정보를 상기 제2 좌표계 상의 위치 정보로 변환하는 정합 파라미터를 결정하고, 상기 결정된 정합 파라미터를 기초로 센서를 통해 센싱된 지점과 상기 대상체 사이의 상대적인 위치(relative positions)를 나타내는 출력 영상 데이터를 생성하는 프로세서를 포함하는 영상 처리 장치를 제공할 수 있다.
또한 본 개시의 일 실시예에 따른 방법은, 대상체 상에서 센싱된 복수의 지점을 제1 좌표계 상에 정의하는, 제1 기준점 세트를 획득하는 단계, 상기 대상체에 대응하는 영상 데이터는 제2 좌표계에서 정의되고, 상기 제1 기준점 세트가 나타내는 복수의 제1 기준점 중에서 어느 하나에 매핑되는 제2 기준점을 기초로 복수의 후보 대응점을 획득하는 단계, 상기 제1 기준점 세트 및 상기 복수의 후보 대응점을 기초로, 상기 대상체 상에서 센싱된 지점의 상기 제1 좌표계 상의 위치 정보를 상기 제2 좌표계 상의 위치 정보로 변환하는 정합 파라미터를 결정하는 단계 및 상기 결정된 정합 파라미터를 기초로 센서를 통해 센싱된 지점과 상기 대상체 사이의 상대적인 위치를 나타내는 출력 영상 데이터를 생성하는 단계를 포함할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 처리 장치 및 방법에 따르면, 기준점 지정 시 발생하는 오차를 감소시킬 수 있다. 또한, 본 개시의 일 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 대상체 내에 삽입된 의료용 기기의 위치로 센싱된 지점의 위치를 정밀하게 나타내는 출력 영상 데이터를 제공할 수 있다.
도 1은 의료용 항법 장치의 출력 영상의 일 실시예를 도시한다.
도 2는 본 개시의 일 실시예에 따른 영상 처리 장치의 동작을 보여주는 개략도이다.
도 3은 본 개시의 일 실시예에 따른 기준점 지정 오차 및 기준점 정합 오차를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 영상 처리 장치의 동작 방법을 도시하는 흐름도이다.
도 5는 본 개시의 일 실시예에 따라 생성된 출력 영상 데이터의 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 복수의 후보 대응점을 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 영상 처리 장치의 블록도이다.
본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
명세서 전체에서, 어떤 구성이 다른 구성과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결”되어 있는 경우 뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 또한 어떤 구성이 특정 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 이에 더하여, 특정 임계값을 기준으로 “이상” 또는 “이하”라는 한정 사항은 실시예에 따라 각각 “초과” 또는 “미만”으로 적절하게 대체될 수 있다.
이하, 각 도면을 참조로 본 개시의 실시예에 따른 영상 처리 장치 및 영상 처리 방법을 설명하도록 한다. 본 개시의 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 인체 및 동물체를 포함하는 대상체에 대응하는 영상 데이터에 적용될 수 있다. 영상 데이터는 X-ray 영상, 컴퓨터 단층 촬영(Computed Tomography, CT) 영상, 양전자 방출 단층 촬영(Positron Emission Tomography, PET) 영상, 초음파 영상 및 자기 공명 영상(Magnetic Resonance Imaging, MRI)을 포함하며, 본 개시는 이에 한정되지 않는다. 예를 들어, 대상체에 대응하는 영상 데이터는 해당 대상체를 상기 다양한 촬영 방식으로 촬영하여 획득한 영상 데이터를 의미할 수 있다. 또한, 본 명세서에서 영상 데이터는 영상 자체 뿐만 아니라 영상을 렌더링하여 생성된 다양한 형태의 데이터를 포함하는 넓은 의미의 용어로 사용된다. 일 실시예에 따르면, 영상 데이터는 영상을 볼륨 렌더링한 데이터를 가리킬 수 있다. 또한, 영상 데이터는 2차원의 의료 영상들의 그룹으로 구성된 3차원 데이터 세트를 가리킬 수도 있다. 이와 같이 구성된 3차원 데이터 세트의 정규 격자 단위의 값을 복셀(voxel)이라고 한다.
본 개시의 일 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 센서를 통해 센싱된 지점과 대상체 사이의 상대적인 위치를 나타내는 출력 영상 데이터를 제공할 수 있다. 예를 들어, 영상 처리 장치는 대상체에 삽입된 의료용 기기의 위치를 사전에 획득한 대상체의 영상 데이터 상에 표시할 수 있다. 이를 통해, 시술자는 출력 영상에 표시되는 의료용 기기의 위치를 이용하여 대상체 내에서의 의료용 기기의 위치를 파악하고 시술에 있어 인접한 위험 요소를 파악할 수 있다.
상기와 같이, 대상체에 대응하는 영상 데이터 상에 의료용 기기의 위치를 표시하려는 경우, 영상 처리 장치는 대상체 상에서 의료용 기기의 위치로 센싱된 지점의 위치 정보를 영상 데이터 상의 위치 정보로 변환해야 할 수 있다. 센서를 통해 센싱된 지점의 위치 정보는 영상 데이터를 나타내는 좌표계와 상이한 좌표계를 통해 정의될 수 있기 때문이다. 이때, 영상 처리 장치는 제1 좌표계에서 정의되는 지점의 위치 정보를 제2 좌표계에서 정의되는 위치 정보로 정합(registration)할 수 있다. 여기에서, 정합이란 서로 다른 좌표 시스템 상에서 정의된 위치 정보 사이의 관계를 이용하여 하나의 좌표 시스템으로 조정(align)하는 것을 의미할 수 있다. 제1 좌표계는 대상체 상에서 센싱된 지점의 위치 정보를 나타내는 좌표계일 수 있다. 또한, 제2 좌표계는 대상체에 대응하는 영상 데이터 상의 지점을 나타내는 좌표계일 수 있다. 예를 들어, 영상 처리 장치는 대상체 상에서 의료용 기기의 위치로 센싱된 지점의 위치를 나타내는 제1 좌표계 상의 위치 정보를 제2 좌표계 상의 위치 정보로 정합하여, 대상체에 대응하는 영상 데이터 상에서 의료용 기기의 위치를 표시할 수 있다.
이하에서는, 본 개시의 일 실시예에 따른 영상 처리 장치가 센서를 통해 센싱된 지점의 위치를 나타내는 제1 좌표계(coordinate system)와 대상체에 대응하는 영상 데이터를 나타내는 제2 좌표계를 정합하는 방법에 대해 도 2를 참조하여 설명한다. 도 2는 본 개시의 일 실시예에 따른 영상 처리 장치(100)의 동작을 보여주는 개략도이다.
일 실시예에 따라, 영상 처리 장치(100)는 점 기반 정합(point-based registration)을 이용하여 제1 좌표계와 제2 좌표계를 정합할 수 있다. 여기에서, 점 기반 정합이란, 서로 다른 좌표계에서 각각 정의되는 기준점 세트(fiducial points set)를 이용하여 서로 다른 좌표계를 정합하는 것을 의미할 수 있다.
예를 들어, 영상 처리 장치(100)는 대상체 상에서 센싱된 제1 기준점 세트 및 대상체에 대응하는 영상 데이터 상에서 지정된 제2 기준점 세트를 이용하여 제1 좌표계와 제2 좌표계를 정합할 수 있다. 이때, 제1 기준점 세트가 포함하는 복수의 기준점과 제2 기준점 세트가 포함하는 복수의 기준점은 서로 일대일 매핑(mapping) 관계에 있을 수 있다. 또한, 기준점(fiducial point)은 점 기반 정합을 통해 서로 다른 좌표계를 정합하기 위해 이용되는 점을 의미할 수 있다.
도 2의 실시예에서, 영상 처리 장치(100)는 대상체(300) 상에서 센싱된 복수의 기준점(21, 22, 23)을 포함하는 제1 기준점 세트를 획득할 수 있다. 여기에서, 제1 기준점 세트는 신 포인트 세트(Scene point set)로 지칭될 수 있다. 또한, 신 포인트 세트는 환자 랜드마크(patient landmark)를 포함할 수 있다. 구체적으로, 제1 기준점 세트가 포함하는 제1 기준점(21), 제2 기준점(22), 제3 기준점(23)은 제1 좌표계 상의 3차원 좌표일 수 있다. 제1 좌표계는 대상체 상에서 센싱된 지점의 위치 정보를 나타내는 좌표 시스템일 수 있다. 또한, 제1 기준점(21), 제2 기준점(22), 제3 기준점(23)은 위치 추적 장치(200)에 의해 대상체(300) 상에서 센싱된 각각의 지점의 위치 정보를 나타낼 수 있다. 도 2에 도시된 바와 같이, 영상 처리 장치(100)는 위치 추적 장치(200)로부터 제1 기준점(21), 제2 기준점(22), 제3 기준점(23)을 수신할 수 있다. 예를 들어, 영상 처리 장치(100)는 위치 추적 장치(200)로부터 위치 추적 장치(200)를 통한 사용자 입력에 기초하여 지정된 제1 기준점(21), 제2 기준점(22), 제3 기준점(23)을 획득할 수 있다.
또한, 영상 처리 장치(100)는 대상체에 대응하는 영상 데이터(400) 상에서 지정된 복수의 기준점(11, 12, 13)을 포함하는 제2 기준점 세트를 획득할 수 있다. 여기에서, 제2 기준점 세트는 모델 포인트 세트(model point set)로 지칭될 수 있다. 또한, 모델 포인트 세트는 이미지 랜드마크(image landmark)를 포함할 수 있다. 구체적으로, 제2 기준점 세트가 포함하는 제4 기준점(11), 제5 기준점(12), 제6 기준점(13)은 제2 좌표계 상의 3차원 좌표일 수 있다. 제2 좌표계는 대상체에 대응하는 영상 데이터를 나타내는 좌표 시스템일 수 있다. 또한, 영상 처리 장치(100)는 사용자 입력에 기초하여 제4 기준점(11), 제5 기준점(12), 제6 기준점(13)을 획득할 수 있다. 구체적으로, 영상 처리 장치(100)는 CT 등의 3D 영상 데이터에서 가시화(Visualization) 소프트웨어를 사용하여 지정된 제2 기준점 세트를 획득할 수 있다.
다음으로, 영상 처리 장치(100)는 제1 기준점 세트 및 제2 기준점 세트를 기초로 정합 파라미터(registration parameter)를 획득할 수 있다. 예를 들어, 정합 파라미터는 센서를 통해 센싱된 지점의 제1 좌표계 상의 위치 정보를 제2 좌표계 상의 위치 정보로 변환하는 제1 파라미터일 수 있다. 또는 정합 파라미터는 제2 좌표계 상의 위치 정보를 제1 좌표계 상의 위치 정보로 변환하는 제2 파라미터일 수도 있다. 이때, 제1 파라미터와 제2 파라미터는 역수 관계일 수 있다. 본 개시의 이하에서, 정합 파라미터는 설명의 편의를 위해 제1 파라미터로 가정하여 설명될 수 있으며, 이에 제한되는 것은 아니다.
도 2의 실시예에서, 제1 기준점(21)은 제4 기준점(11)에, 제2 기준점(22)은 제5 기준점(12)에, 제3 기준점(23)은 제6 기준점(13)에 각각 매핑(mapping)된다. 본 개시에서, 매핑 관계에 있는 한 쌍의 기준점은 페어링된 기준점(paired fiducial points)으로 지칭될 수 있다. 영상 처리 장치(100)는 복수의 페어링된 기준점 사이의 위치 관계를 기초로 정합 파라미터를 획득할 수 있다. 영상 처리 장치(100)는 제1 좌표계 상의 제1 기준점(21), 제2 기준점(22), 제3 기준점(23)을 제2 좌표계 상의 점으로 변환할 수 있다. 예를 들어, 영상 처리 장치(100)는 제1 좌표계 상의 제1 기준점 세트를 회전 및 평행 이동하여, 제2 좌표계 상의 점으로 변환할 수 있다.
또한, 영상 처리 장치(100)는 변환된 제1 기준점(21), 제2 기준점(22), 제3 기준점(23)과 매핑 관계에 있는 제4 기준점(11), 제5 기준점(12), 제6 기준점(13) 사이의 오차를 계산할 수 있다. 이때, 변환 후 페어링된 기준점 사이의 오차는 기준점 정합 오차(fiducial registration error, FRE) 또는 정합 오차로 지칭될 수 있다. 영상 처리 장치(100)는 정합 오차를 최적화하는 정합 파라미터를 획득할 수 있다. 구체적으로, 영상 처리 장치(100)는 변환된 제1 기준점(21)과 제4 기준점(11) 사이의 거리, 제2 기준점(22)과 제5 기준점(12) 사이의 거리 및 제3 기준점(23)과 제6 기준점(13) 사이의 거리를 기초로 정합 오차를 결정할 수 있다. 또한, 영상 처리 장치(100)는 정합 오차를 기초로 정합 파라미터의 갱신 여부를 결정할 수 있다. 예를 들어, 기준점 정합 오차가 수렴하는 경우, 영상 처리 장치(100)는 정합 파라미터를 갱신하지 않을 수 있다. 이 경우, 영상 처리 장치(100)는 결정된 정합 파라미터를 기초로 전술한 출력 영상 데이터를 생성할 수 있다. 한편, 기준점 정합 오차가 수렴하지 않는 경우, 영상 처리 장치(100)는 정합 파라미터를 갱신할 수 있다.
영상 처리 장치(100)는 정합 파라미터를 획득하기 위해 기준점 정합 오차를 최적화하는 다양한 최적화 알고리즘을 이용할 수 있다. 구체적으로, 영상 처리 장치(100)는 반복 최근점(iterative closest points, ICP) 방법을 이용할 수 있다. ICP 방법은 페어링된 기준점 사이의 거리의 총합을 최소화시키는 정합 파라미터를 구하는 최적화 알고리즘이다. 영상 처리 장치(100)는 기준점 정합 오차가 기 설정된 문턱치(threshold) 이하가 될 때까지 정합 파라미터를 갱신하는 ICP 방법을 통해 정합 파라미터를 획득할 수 있다.
한편, 도 2의 실시예에서, 영상 처리 장치(100)는 페어링된 3쌍의 기준점을 기초로 제1 좌표계와 제2 좌표계를 정합하는 것으로 설명하였으나, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 영상 처리 장치(100)는 도 2에 도시된 6쌍의 기준점을 기초로 제1 좌표계와 제2 좌표계를 정합할 수도 있다.
전술한 바와 같이, 영상 처리 장치(100)는 위치 추적 장치(200)로부터 제1 기준점 세트를 수신할 수 있다. 이때, 위치 추적 장치(200)는 대상체(300) 상에서 특정 위치를 센싱하는 프로브(probe)를 포함할 수 있다. 위치 추적 장치(200)는 대상체(300) 상에서 특정한 하나의 지점(point)에 접촉된 프로브의 위치를 나타내는 위치 정보를 생성할 수 있다. 또한, 위치 추적 장치(200)는 생성된 위치 정보를 영상 처리 장치(100)로 전송할 수 있다. 위치 추적 장치(200)는 영상 처리 장치(100)와 연결된 유/무선 인터페이스를 통해 생성된 위치 정보를 영상 처리 장치(100)로 전송할 수 있다.
본 개시의 일 실시예에 따른 위치 추적 장치(200)는 대상체(300)에 삽입되는 의료용 기기를 포함할 수도 있다. 위치 추적 장치(200)는 다양한 종류의 시술 기능을 포함할 수 있다. 위치 추적 장치(200)는 광학식 위치 추적 방법 또는 전자기식 위치 추적 방법을 사용하여 센싱된 지점의 위치 정보를 생성할 수 있으나, 본 발명은 이에 한정되지 않는다. 구체적으로, 위치 추적 장치(200)는 자기 추적 시스템을 포함할 수 있다. 이때, 위치 추적 장치(200)는 자기 추적 시스템에서 정의되는 좌표계에서 하나의 접촉 점의 위치를 나타내는 위치 정보를 생성할 수 있다. 또한, 위치 추적 장치(200)는 자기장을 발생시키는 자기장 생성부 및 대상체 상에 접촉하는 프로브를 포함할 수 있다. 위치 추적 장치(200)는 자기장 생성부에 의해 생성된 자기장 내에서 대상체(300)에 접촉된 프로브에서 발생하는 맴돌이 전류를 측정하여 대상체(300)와 접촉된 지점의 위치 정보를 생성할 수 있다.
한편, 도 2에서 위치 추적 장치(200)는 영상 처리 장치(100)와 별도의 장치인 것으로 설명하였으나, 이에 제한되는 것은 아니다. 예를 들어, 영상 처리 장치(100)는 위치 추적 기능을 탑재할 수 있다. 구체적으로 영상 처리 장치(100)는 위치 추적 기능을 이용하여 대상체 상에서 센싱되는 제1 기준점 세트를 획득할 수도 있다.
전술한 바와 같이, 대상체에 대응하는 영상 데이터 상에 대상체에 삽입된 의료용 기기의 위치를 표시하려는 경우, 영상 처리 장치(100)는 점 기반 정합을 이용할 수 있다. 이때, 사용자가 정합에 이용되는 기준점을 지정하면서 발생하는 오차(error)로 인해 의료용 기기의 위치가 실제와 다르게 표시될 수 있다. 정합에 이용되는 기준점을 지정하면서 발생하는 오차를 기준점 지정 오차(fiducial localization error, FLE)라고 지칭할 수 있다.
도 3은 본 개시의 일 실시예에 따른 기준점 지정 오차 및 기준점 정합 오차를 나타내는 도면이다. 도 3의 블록 31을 참조하면, 영상 처리 장치(100)가 사용자 입력에 기초하여 기준점 세트를 획득하는 경우, 사용자가 지정한 기준점 세트(실선으로 표시된 원)는 실제로 지정되었어야 하는 기준점 세트(점선으로 표시된 원)와 다를 수 있다. 예를 들어, 대상체에 대응하는 영상 데이터 상에서 사용자에 의해 지정된 제2 기준점은 대상체 상에서 센싱된 제1 기준점과 대상체를 기준으로 일치하는 지점이 아닐 수 있다. 반대로, 영상 데이터 상의 2기준점이 미리 지정된 경우, 대상체 상에서 센싱된 제1 기준점은 제2 기준점과 일치하는 지점이 아닐 수 있다. 이러한 기준점 지정 오차로 인해, 도 3의 블록 32에서와 같이 정합 오차가 발생할 수 있다.
도 3의 블록 32는 앞서 설명한 기준점 정합 오차(FRE)를 나타낸다. 블록 32의 'x'는 제1 좌표계 상의 기준점을 제2 좌표계 상의 점으로 변환된 변환점을 나타낸다. 예를 들어, 영상 처리 장치(100)가 사용자 입력에 기초하여 전술한 제1 기준점 세트 및/또는 제2 기준점 세트를 획득하는 경우, 영상 처리 장치(100)는 기준점 지정 시 발생한 오류가 반영된 정합 파라미터를 획득할 수 있다. 영상 데이터 상의 의료용 기기의 위치가 실제 대상체 내에서의 위치와 다르게 표시되는 경우, 시술 오류가 발생하거나 시술 시간이 지연될 수 있다.
본 개시의 일 실시예에 따라, 영상 처리 장치(100)는 대상체 상에서 센싱된 제1 좌표계 상의 하나의 기준점에 매핑되는 복수의 후보 대응점을 이용하여 제1 좌표계와 제2 좌표계를 정합할 수 있다. 이때, 복수의 후보 대응점은 제2 좌표계에서 정의되는 기준점일 수 있다. 또한, 복수의 후보 대응점은 영상 데이터에 대한 사용자 입력을 기초로 지정된 기준점 외에 기준점에 인접하는 적어도 하나의 대응점을 더 포함할 수 있다. 즉, 대상체 상에서 센싱된 각각의 기준점은 적어도 둘 이상의 후보 대응점과 매핑될 수 있다. 이를 통해, 영상 처리 장치(100)는 기준점 지정 오차를 줄일 수 있다.
이하에서는, 본 개시의 일 실시예에 따른 영상 처리 장치(100)가 복수의 후보 대응점을 이용하여 정합 파라미터를 획득하는 방법에 대해 도 4를 참조하여 설명한다. 도 4는 본 개시의 일 실시예에 따른 영상 처리 장치(100)의 동작 방법을 도시하는 흐름도이다. 도 4는 영상 처리 장치(100)의 동작을 단계 별로 나누어 도시하고 있으나, 본 개시는 이에 제한되지 않는다. 예를 들어, 도 4에 개시된 영상 처리 장치(100)의 각각의 단계별 동작은 오버랩되거나 병렬적으로 수행될 수 있다. 또한, 영상 처리 장치(100)는 도 4에 개시된 순서와 다른 순서로 각각의 단계별 동작을 수행할 수도 있다.
단계 S402에서, 영상 처리 장치(100)는 대상체 상에서 센싱된 복수의 지점을 제1 좌표계 상에 정의하는 제1 기준점 세트를 획득할 수 있다. 여기에서, 제1 좌표계는 도 2를 통해 설명한 바와 같이 대상체 상에서 센싱된 지점의 위치를 나타내는 좌표 시스템일 수 있다. 즉, 제1 좌표계는 물리적인 공간에서 센싱된 지점의 위치를 나타내는 좌표 시스템일 수 있다. 구체적으로, 영상 처리 장치(100)는 도 2에서 설명된 위치 추적 장치(200)로부터 제1 기준점 세트를 수신할 수 있다.
단계 S404에서, 영상 처리 장치(100)는 제2 좌표계 상의 복수의 후보 대응점을 획득할 수 있다. 여기에서, 제2 좌표계는 도 2를 통해 설명한 바와 같이 대상체에 대응하는 영상 데이터를 나타내는 좌표 시스템일 수 있다. 일 실시예에 따라, 영상 처리 장치(100)는 제1 기준점 세트가 나타내는 복수의 제1 기준점 중에서 어느 하나에 매핑되는 제2 기준점을 기초로 복수의 후보 대응점을 획득할 수 있다. 제2 기준점은 제2 좌표계 상의 기준점일 수 있다. 이때, 복수의 후보 대응점은 하나의 제2 기준점 및 하나의 제2 기준점에 인접한 적어도 하나의 대응점을 포함할 수 있다. 구체적으로, 복수의 제2 기준점 각각에 인접한 대응점은 대상체에 대응하는 영상 데이터에서 대상체의 표면(surface)에 위치된 좌표 중에서, 제2 기준점으로부터 기 설정된 영역 내에 포함되는 적어도 하나의 좌표일 수 있다. 복수의 제2 기준점 각각에 인접한 대응점은 제2 기준점과 등위면(iso-surface) 상에 위치된 좌표일 수 있다. 예를 들어, 복수의 제2 기준점 중 어느 하나가 환자의 눈꼬리 지점을 나타내는 경우, 영상 처리 장치(100)는 환자의 피부면에 위치하는 좌표 중에서, 눈꼬리 지점을 중심으로 일정 거리 내에 위치하는 적어도 하나의 좌표일 수 있다. 예를 들어, 영상 처리 장치(100)는 복수의 제1 기준점 각각과 일대일 매핑 관계에 있는 복수의 제2 기준점을 획득할 수 있다. 이 경우, 영상 처리 장치(100)는 복수의 제2 기준점 별로 복수의 제2 기준점 각각에 대한 적어도 하나의 대응점을 획득할 수 있다. 또한, 복수의 제2 기준점은 영상 데이터 상에 기 지정된 점일 수 있다. 또는 복수의 제2 기준점은 영상 데이터에 대한 사용자 입력을 기초로 지정된 점일 수 있다.
일 실시예에 따라, 영상 처리 장치(100)는 사용자 입력을 기초로 복수의 제2 기준점을 획득할 수 있다. 예를 들어, 영상 처리 장치(100)는 영상 데이터를 기준으로 하는 사용자 입력을 기초로 복수의 제2 기준점을 획득할 수 있다. 영상 처리 장치(100)는 사용자 입력을 기초로 영상 데이터 상에 지정된 복수의 점을 획득할 수 있다. 이때, 영상 처리 장치(100)는 복수의 점 각각을 복수의 제1 기준점 각각에 매핑시킬 수 있다. 영상 처리 장치(100)는 복수의 제1 기준점을 인덱싱(indexing)하고, 복수의 제1 기준점 각각에 대해 할당된 인덱스(index) 정보를 사용자에게 제공할 수 있다. 이때, 영상 처리 장치(100)는 인덱스 정보 및 사용자 입력을 기초로 영상 데이터 상에 지정된 복수의 점 각각을 복수의 제1 기준점 각각에 매핑시켜 복수의 제2 기준점을 획득할 수 있다. 구체적으로 인덱스는 기 설정된 기준점의 개수를 기초로 설정된 정수일 수 있다. 또는 인덱스는 대상체 상에서 해당 지점에 대응하는 특징을 나타내는 텍스트일 수 있다. 예를 들어, 영상 처리 장치(100)는 기준점을 매핑하기 위해 'eyeLeftOuter', 'eyeLeftInner', 'NoseTip', 'mouthRight'와 같은 인덱스를 이용할 수 있다.
또한, 영상 처리 장치(100)는 복수의 제2 기준점 각각을 기초로 복수의 후보 대응점을 획득할 수 있다. 예를 들어, 하나의 제1 기준점은, 하나의 제2 기준점 및 제2 기준점을 기준으로 기 설정된 거리 이내에 위치하는 적어도 하나의 대응점과 매핑될 수 있다. 일 실시예에 따라, 영상 데이터에서 대상체의 우측 눈꼬리에 위치한 좌표가 제2 기준점으로 지정되는 경우, 영상 처리 장치(100)는 주변의 3차원 좌표 K개를 후보 대응점으로 획득할 수 있다. 예를 들어, 제1 기준점 세트가 N개의 제1 기준점을 포함하는 경우, 영상 처리 장치(100)는 영상 데이터 상에서 N개의 제1 기준점에 각각 매핑되는 K개의 후보 대응점을 획득할 수 있다. 즉, 영상 처리 장치(100)는 제2 좌표계에서 정의되는 총 KxN개의 후보 대응점을 사용하여 제1 좌표계과 제2 좌표계를 정합할 수 있다. 예를 들어, 후보 대응점 개수가 4개이고, 대상체 상에서 센싱된 기준점의 개수가 4개인 경우, 전체 후보 대응점의 개수는 16개일 수 있다. 이때, 후보 대응점 개수는 사용자 입력을 기초로 설정된 값이거나 디폴트(default) 값일 수 있다. 영상 처리 장치(100)가 제2 기준점에 인접한 대응점을 획득하는 방법에 관해서는 도 6에서 상세히 설명한다.
전술한 방법을 통해, 영상 처리 장치(100)는 사용자의 입력을 기초로 지정된 기준점 외에 추가적인 3D 좌표를 좌표계 정합을 위한 기준점으로 사용할 수 있다. 이를 통해, 영상 처리 장치(100)는 기준점 지정 시 발생하는 오차를 감소시킬 수 있다.
단계 S406에서, 영상 처리 장치(100)는 제1 기준점 세트 및 후보 대응점을 기초로 정합 파라미터를 결정할 수 있다. 예를 들어, 영상 처리 장치(100)는 복수의 페어링된 기준점을 기초로 초기 정합 파라미터를 결정할 수 있다. 이때, 페어링된 기준점은 복수의 제1 기준점 및 복수의 제2 기준점 중에서 매핑 관계에 있는 한 쌍의 제1 기준점 및 제2 기준점을 나타낼 수 있다. 영상 처리 장치(100)는 초기 정합 파라미터를 기초로 복수의 제1 기준점을 제2 좌표계 상의 복수의 변환점(transfomred points)으로 변환할 수 있다.
또한, 영상 처리 장치(100)는 복수의 변환점과 복수의 후보 대응점 사이의 정합 오차를 기초로 정합 파라미터의 갱신 여부를 결정할 수 있다. 여기에서, 정합 오차는 복수의 변환점 각각에 대해, 하나의 변환점과 하나의 변환점에 매핑되는 복수의 후보 대응점 사이의 거리를 산정한 결과에 기초하여 결정될 수 있다. 이때, 하나의 변환점과 복수의 후보 대응점 사이의 매핑 관계는 제1 좌표계 상의 제1 기준점과 제2 좌표계 상의 제2 기준점 사이의 매핑 관계를 기초로 결정될 수 있다. 예를 들어, 제1 변환점이 복수의 제1 기준점 중에서 하나의 특정 제1 기준점으로부터 변환된 것이고, 제1 후보 대응점 및 제2 후보 대응점이 하나의 특정 제1 기준점에 매핑되는 제2 기준점을 기초로 획득된 경우, 제1 후보 대응점 및 제2 후보 대응점은 제1 변환점에 매핑될 수 있다.
구체적으로, 각각의 변환점에 매핑된 후보 대응점이 2개인 경우, 영상 처리 장치(100)는 제1 변환점에 매핑된 제1 후보 대응점과 제1 변환점 사이의 거리 및 제1 변환점에 매핑된 제2 후보 대응점과 제1 변환점 사이의 거리를 기초로 정합 오차를 결정할 수 있다. 또한, 영상 처리 장치(100)는 제2 변환점에 매핑된 제3 후보 대응점과 제2 변환점 사이의 거리 및 제2 변환점에 매핑된 제4 후보 대응점과 제2 변환점 사이의 거리를 기초로 정합 오차를 결정할 수 있다.
예를 들어, 영상 처리 장치(100)는 제1 변환점에 매핑된 제1 후보 대응점과 제2 후보 대응점 중에서, 제1 변환점과의 거리가 더 가까운 제1 후보 대응점을 획득할 수 있다. 또한, 영상 처리 장치(100)는 제2 변환점에 매핑된 제3 후보 대응점과 제4 후보 대응점 중에서, 제2 변환점과의 거리가 더 가까운 제4 후보 대응점을 획득할 수 있다. 영상 처리 장치(100)는 제1 변환점과 제1 후보 대응점 사이의 거리 및 제2 변환점과 제4 후보 대응점 사이의 거리를 기초로 정합 오차를 결정할 수 있다. 이러한 방법으로, 영상 처리 장치(100)는 정합 오차를 최소화 시키는 후보 대응점 세트를 획득할 수 있다. 이때, 후보 대응점 세트는 변환점 별로 매핑된 복수의 후보 대응점 중에서 선택된 후보 대응점을 포함할 수 있다.
일 실시예에 따라, 정합 오차가 수렴하는 경우, 영상 처리 장치(100)는 정합 파라미터를 갱신하지 않을 수 있다. 이때, 영상 처리 장치(100)는 해당 라운드(round)에서의 정합 파라미터를 기초로 출력 영상 데이터를 생성할 수 있다. 구체적으로, 영상 처리 장치(100)는 이전 루프(loop)에서의 제1 정합 오차와 현재 루프에서의 제2 정합 오차 사이의 차이를 기 설정된 문턱치(threshold)와 비교할 수 있다. 영상 처리 장치(100)는 제1 정합 오차와 제2 정합 오차 사이의 차이가 기 설정된 문턱치 보다 작은 경우, 정합 오차가 수렴하는 것으로 판단할 수 있다. 반면, 정합 오차가 수렴하지 않는 경우, 영상 처리 장치(100)는 정합 파라미터를 갱신할 수 있다. 영상 처리 장치(100)는 복수의 제1 기준점을 변환점으로 갱신할 수 있다. 또한, 영상 처리 장치(100)는 정합 오차가 수렴할 때까지, 전술한 동작을 반복할 수 있다.
일 실시예에 따라, 정합 파라미터는 제1 좌표계 상의 위치 정보를 회전 이동시키는 로테이션 매트릭스(rotation matrix, 이하 'R') 및 제1 좌표계 상의 위치 정보를 평행 이동시키는 트랜스레이션 매트릭스(translation matrix, 이하 'T')를 포함할 수 있다. 영상 처리 장치(100)는 제1 기준점 세트 및 복수의 후보 대응점을 기초로 로테이션 매트릭스 및 트랜스레이션 매트릭스를 결정할 수 있다.
일 실시예에서, 복수의 제1 기준점의 개수가 N개 이고, 복수의 제1 기준점 중에서 어느 하나에 매핑되는 복수의 후보 대응점의 개수는 K개일 수 있다. 이때, 영상 처리 장치(100)는 로테이션 매트릭스 및 트랜스레이션 매트릭스를 기초로 복수의 제1 기준점을 제2 좌표계에서 정의되는 N개의 변환점으로 변환할 수 있다. 또한, 영상 처리 장치(100)는 복수의 변환점 각각과 복수의 변환점 각각에 매핑된 후보 대응점 사이의 거리를 기초로 정합 오차를 산정할 수 있다. 예를 들어, 영상 처리 장치(100)는 N개의 변환점 각각에 대해, 상기 N개의 변환점 중에서 어느 하나의 변환점과 어느 하나의 변환점에 매핑되는 K개의 후보 대응점 사이의 거리를 계산할 수 있다. 영상 처리 장치(100)는 계산 결과를 기초로, N개의 변환점과 (N x K)개의 복수의 후보 대응점 사이의 정합 오차를 산정할 수 있다.
또한, 영상 처리 장치(100)는 산정된 정합 오차를 기초로 로테이션 매트릭스 및 트랜스레이션 매트릭스를 갱신할 수 있다. 이때, 영상 처리 장치(100)는 정합 파라미터의 갱신과 관련하여 앞서 설명한 방법으로 로테이션 매트릭스 및 트랜스레이션 매트릭스를 갱신할 수 있다.
구체적으로, 영상 처리 장치(100)는 수학식 1에 기초하여 획득되는 정합 오차를 기초로 로테이션 매트릭스 및 트랜스레이션 매트릭스를 결정할 수 있다.
Figure pat00001
상기 수학식 1에서, N은 복수의 제1 기준점의 개수를 나타내고, K는 N개의 제1 기준점 중에서 어느 하나에 매핑되는 복수의 후보 대응점의 개수를 나타내고,
Figure pat00002
는 복수의 제1 기준점 중에서 i번째 제1 기준점을 나타내고,
Figure pat00003
는 i번째 제1 기준점에 매핑되는 복수의 후보 대응점 중에서 k번째 후보 대응점을 나타낼 수 있다. 또한, 수학식 1에서 min(x)는 함수 'x'의 최소값을 나타낼 수 있다. 또한,
Figure pat00004
는 상기 i번째 제1 기준점에 로테이션 매트릭스를 적용하여 획득한 결과 값을 나타내고,
Figure pat00005
는 트랜스레이션 매트릭스를 나타낼 수 있다.
구체적으로, 영상 처리 장치(100)는 수학식 1에서 i번째 기준점에 매핑되는 K개의 후보 대응점 중에서 i번째 제1 기준점으로부터 변환된 변환점과 거리가 가장 가까운
Figure pat00006
를 결정할 수 있다. 또한, 영상 처리 장치(100)는 결정된
Figure pat00007
및 수학식 1을 기초로 정합 오차를 획득할 수 있다. 또한, 영상 처리 장치(100)는 전술한 방법으로 정합 오차가 수렴할 때 까지
Figure pat00008
, 로테이션 매트릭스, 및 트랜스레이션 매트릭스를 갱신할 수 있다. 또한, 영상 처리 장치(100)는 정합 오차가 수렴하는 경우, 해당 라운드에서의
Figure pat00009
, 로테이션 매트릭스 및 트랜스레이션 매트릭스를 기초로 출력 영상 데이터를 생성할 수 있다.단계 S408에서, 영상 처리 장치(100)는 정합 파라미터를 기초로 출력 영상 데이터 생성할 수 있다. 예를 들어, 영상 처리 장치(100)는 정합 파라미터를 기초로 센서를 통해 센싱된 지점과 대상체 사이의 상대적인 위치(relative positions)를 나타내는 출력 영상 데이터를 생성할 수 있다. 이때, 영상 처리 장치(100)는 센서를 통해 센싱된 지점을 제1 좌표계 상에 정의하는 좌표를 획득할 수 있다. 또한, 영상 처리 장치(100)는 단계 S406에서 획득한 정합 파라미터를 기초로 센서를 통해 센싱된 지점과 대상체 사이의 상대적인 위치를 영상 데이터 상에 표시할 수 있다. 예를 들어, 영상 처리 장치(100)는 위치 추적 장치(200)에서 센싱된 좌표를 영상 데이터 상의 제2 좌표계 상의 점으로 표시할 수 있다.
일 실시예에 따라, 영상 처리 장치(100)는 정합 결과를 적용하여 대상체 내에 삽입된 의료용 기기의 위치를 영상 데이터 상에 표시할 수 있다. 영상 처리 장치(100)는 대상체 내에서 대상체에 삽입된 의료용 기기의 위치로 센싱된 지점의 위치 정보를 획득할 수 있다. 또한, 영상 처리 장치(100)는 위치 정보 및 정합 파라미터를 기초로, 대상체에 삽입된 의료용 기기의 위치를 나타내는 마커(marker)를 포함하는 출력 영상 데이터를 생성할 수 있다.
구체적으로, 도 5에서와 같이, 영상 처리 장치(100)는 영상 가이드 시술(Image Guided Surgery) 환경에서 사전 획득한 환자 영상(CT 등)에 대상체 내에 삽입된 의료용 기기의 위치를 표시할 수 있다. 예를 들어, 영상 처리 장치(100)는 대상체 내에 삽입된 의료용 기기의 위치를 특정 속성을 가지는 도형으로 표시할 수 있다. 이때, 특정 속성은 도형의 크기, 색, 패턴과 같이 의료용 기기의 위치를 나타내는 방법을 의미할 수 있다.
이하에서는, 본 개시의 일 실시예에 따른 영상 처리 장치(100)가 후보 대응점을 획득하는 방법에 관하여 도 6을 참조하여 설명한다.
일 실시예에 따라, 영상 처리 장치(100)는 후보 대응점의 개수를 나타내는 후보 대응점 개수 정보를 기초로 복수의 후보 대응점을 획득할 수 있다. 여기에서, 후보 대응점 개수 정보는 대상체 상에서 센싱된 하나의 기준점에 대응하는 후보 대응점의 개수를 나타낼 수 있다. 예를 들어, 영상 처리 장치(100)는 대상체에 대응하는 영상 데이터와 관련된 정보를 기초로 후보 대응점 개수를 결정할 수 있다. 이때, 영상 데이터와 관련된 정보는 영상 데이터의 해상도, 영상 데이터의 이미지 사이즈, 영상 데이터의 압축 방식 중 적어도 하나를 포함할 수 있으며, 이에 제한되지 않는다. 예를 들어, 영상 처리 장치(100)는 영상 데이터의 해상도를 기초로 후보 대응점 개수를 결정할 수 있다. 영상 데이터의 해상도가 낮을수록 기준점 지정 오차가 클 수 있기 때문이다.
또한, 영상 처리 장치(100)는 영상 처리 장치(100)의 정합 프로세싱 성능을 기초로 후보 대응점 개수를 결정할 수 있다. 후보 대응점의 개수가 증가할수록 정합 프로세싱을 위한 연산량이 증가할 수 있기 때문이다. 여기에서, 영상 처리 장치(100)의 정합 프로세싱 성능은 영상 처리 장치(100)가 포함하는 프로세서의 처리 속도를 포함할 수 있다. 정합 프로세싱을 위한 연산에 할당 가능한 자원은 프로세서의 처리 속도에 따라 제한될 수 있기 때문이다. 또한, 정합 프로세싱 성능은 프로세서가 이용하는 정합 알고리즘에 따라 달라질 수도 있다. 또한, 영상 처리 장치(100)의 정합 프로세싱 성능은 영상 처리 장치(100)가 포함하는 메모리 또는 GPU의 연산 능력을 포함할 수도 있다. 일 실시예에 따라, 영상 처리 장치(100)는 영상 처리 장치(100)가 포함하는 프로세서의 연산 능력을 기초로 정합에 이용되는 전체 후보 대응점의 개수를 결정할 수 있다. 이 경우, 영상 처리 장치(100)는 페어링된 기준점의 개수를 기초로 하나의 페어링된 기준점에게 할당 가능한 후보 대응점 개수를 결정할 수 있다. 전술한 바와 같이, 페어링된 기준점의 개수는 대상체에 대응하는 영상 데이터의 해상도에 따라 결정될 수 있다.
도 6은 본 개시의 일 실시예에 따른 복수의 후보 대응점을 나타내는 도면이다. 도 6에서, 'x'는 변환점을 나타내고, 각각의 변환점에 매핑되는 'o'는 복수의 후보 대응점을 나타낸다. 도 6은, 대상체에 대응하는 영상 데이터를 나타내는 제2 좌표계(60) 상에서 각각의 변환점과 복수의 후보 대응점 사이의 관계를 나타낸다. 도 6은, 대상체 상에서 센싱된 제1 좌표계 상의 기준점의 개수가 '3'이고, 후보 대응점의 개수가 '5'인 경우이며, 본 개시가 이에 제한되는 것은 아니다. 또한, 도 6에서, 각각의 점들은 제1 그룹(61), 제2 그룹(62), 제3 그룹(63)으로 구분될 수 있다.
도 6의 실시예에서, 영상 처리 장치(100)는 후보 대응점 개수 정보에 기초하여, 제1 좌표계 상의 복수의 기준점 각각에 매핑되는 복수의 후보 대응점을 획득할 수 있다. 제1 그룹(61), 제2 그룹(62), 제3 그룹(63) 각각에서 실선으로 표시된 'o'는 제2 좌표계(60) 상에서 사용자에 의해 지정되거나 대상체의 특징점을 기초로 기 지정된 기준점일 수 있다. 이하에는, 설명의 편의를 위해 제1 그룹(61), 제2 그룹(62), 제3 그룹(63) 각각에서 실선으로 표시된 'o'를 제1 지정점(601), 제2 지정점(602) 및 제3 지정점(603)으로 지칭한다.
일 실시예에 따라, 영상 처리 장치(100)는 제2 좌표계(60)에서 지정점의 위치로부터 기 설정된 영역을 기초로 복수의 후보 대응점을 획득할 수 있다. 예를 들어, 도 6에서 제1 지정점(601)은 제2 좌표계(60) 상에서 사용자에 의해 지정된 점일 수 있다. 이때, 영상 처리 장치(100)는 제1 지정점(601)을 기준으로 기 설정된 영역 내에 위치하는 제1 그룹(61) 내의 4개의 대응점을 획득할 수 있다. 또한, 영상 처리 장치(100)는 제1 지정점(601) 및 4개의 대응점을 포함하는 5개의 후보 대응점을 획득할 수 있다.
일 실시예에 따라, 기 설정된 영역은 도 6에서와 같이 하나의 지정점을 기준으로 기 설정된 거리를 반지름으로 하는 원(circle) 또는 구(sphere)일 수 있다. 구체적으로, 기 설정된 영역은 영상 데이터의 수평면, 시상면 및 관상면 중 적어도 하나를 기준으로, 하나의 지정점으로부터 기 설정된 거리 이내의 영역일 수 있다. 영상 처리 장치(100)는 하나의 지정점을 기준으로 기 설정된 거리 이내의 영역을 기초로 복수의 후보 대응점을 획득할 수 있다.
일 실시예에 따라, 기 설정된 거리는 복수의 지정점 중에서 적어도 두개의 지정점 사이의 거리에 기초하여 결정될 수 있다. 예를 들어, 기 설정된 거리는 적어도 제1 지정점(601)과 제2 지정점(602) 사이의 거리를 기초로 결정될 수 있다. 영상 처리 장치(100)는 제1 지정점(601)을 기준으로 적어도 제1 지정점(601)과 제2 지정점(602) 사이의 거리 보다 짧은 거리 이내의 영역에 위치하는 복수의 후보 대응점을 획득할 수 있다. 기준점 지정 시, 지정점 사이의 거리보다 짧은 거리 이내에서 기준점 지정 오차가 발생할 수 있기 때문이다. 또한, 기 설정된 거리는 대상체에 대응하는 영상 데이터와 관련된 정보를 기초로 결정될 수도 있다. 예를 들어, 기 설정된 거리는 영상 데이터의 이미지 사이즈를 기초로 결정된 거리일 수 있다. 영상 데이터의 이미지 사이즈에 따라 기준점 지정 오차의 범위가 달라질 수 있기 때문이다.
일 실시예에 따라, 영상 처리 장치(100)는 하나의 지정점을 기초로 일정한 거리에 위치하는 복수의 대응점을 획득할 수 있다. 예를 들어, 영상 처리 장치(100)는 영상 데이터의 수평면, 시상면 및 관상면 각각을 기준으로 하나의 지정점으로부터 기 설정된 동일한 거리에 위치하는 복수의 대응점을 획득할 수 있다. 또한, 영상 처리 장치(100)는 하나의 지정점을 기준으로 제2 좌표계(60)에서 표현 가능한 최소 단위 거리를 기초로 복수의 후보 대응점을 획득할 수도 있다. 예를 들어, 도 6에서 제1 지정점(601)을 중심으로 인접한 4개의 점은 제1 지정점(601)으로부터 최소 단위 거리에 위치된 4개의 좌표를 나타낼 수 있다. 또한, 복수의 후보 대응점은 대상체에 대응하는 영상 데이터 상에서 대상체의 표면을 나타내는 복수의 좌표 중에서 선택된 대응점을 포함할 수 있다. 이때, 대상체의 표면은 제1 지정점(601)의 등위면을 의미할 수 있다.예를 들어, 영상 처리 장치(100)는 영상 데이터 상에서 대상체의 표면을 나타내는 복수의 점 중에서, 하나의 지정점으로부터 기 설정된 거리 이내의 영역을 기초로 복수의 후보 대응점을 획득할 수 있다. 도 6에서, 제2 좌표계(60)는 설명의 편의를 위해 2차원 평면으로 표현하였으나, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 제2 좌표계(60)는 3차원 좌표 공간일 수 있다.
본 개시의 일 실시예에 따라, 영상 처리 장치(100)는 전술한 방법을 통해 획득한 복수의 후보 대응점을 이용하여 기준점 지정 오차(FLE)를 감소시킬 수 있다. 이를 통해, 영상 처리 장치(100)는 대상체 내에 삽입된 의료용 기기의 위치를 영상 데이터 상의 가상의 공간에 정밀하게 표시하는 정합 성능을 개선시킬 수 있다. 예를 들어, 도 6을 참조하면, 제1 그룹에서 제1 변환점은 제1 지정점(601)을 기준으로 왼쪽에 위치된 제1 대응점과 가장 가까운 거리에 있다. 또한, 제2 그룹에서 제2 변환점은 제2 지정점(602)을 기준으로 아래쪽에 위치된 제2 대응점과 가장 가까운 거리에 있다. 또한, 제3 그룹에서 제3 변환점은 제3 지정점(603)과 가장 가까운 거리에 있다. 이와 같이, 복수의 제1 기준점 각각에 대해 동일한 정합 파라미터를 적용하여 변환된 제1 내지 제3 변환점 각각은 제1 내지 제3 변환점 각각에 매핑되는 제1 내지 제3 지정점(601, 602, 603)과 가장 가까운 거리에 위치하지 않을 수 있다. 이에 따라, 영상 처리 장치(100)는 복수의 후보 대응점을 이용하여 기준점 지정 오차(FLE)를 감소시킬 수 있다.
한편, 본 개시의 다른 일 실시예에 따라, 영상 처리 장치(100)는 대상체에 대해 미리 결정된 특징점(feature points)을 기준으로 페어링된 기준점을 획득할 수도 있다. 예를 들어, 도 4의 단계 S402 및 단계 S404에서, 영상 처리 장치(100)는 기 설정된 특징점을 기초로 제1 및 제2 좌표계 각각에서 기준점을 획득할 수 있다. 이때, 기 설정된 특징점은 영상 데이터의 복셀 값을 기초로 기 지정된 점일 수 있다. 예를 들어, 영상 처리 장치(100)는 영상 데이터에 포함된 복셀 값을 기초로 영상 데이터 상의 대상체의 특징점을 추출할 수 있다. 영상 처리 장치(100)는 추출된 특징점을 기초로 복수의 제2 기준점을 획득할 수 있다. 이 경우, 영상 처리 장치(100)는 획득된 복수의 제2 기준점을 출력 장치를 통해 디스플레이할 수 있다. 이를 통해, 영상 처리 장치(100)는 복수의 제1 기준점을 지정하는 사용자 입력을 가이드할 수 있다. 영상 처리 장치(100)는 가이드에 따라 사용자 입력에 기초하여 지정된 복수의 제1 기준점을 획득할 수 있다. 또한, 영상 처리 장치(100)는 도 4의 단계 S404에서 설명한 방법으로 복수의 후보 대응점을 획득할 수 있다.
이하에서는, 본 개시의 일 실시예에 따른 영상 처리 장치(100)의 구성에 관하여 도 7을 참조하여 설명한다. 도 7은 본 개시의 일 실시예에 따른 영상 처리 장치(100)의 블록도이다. 도 7에 도시된 바와 같이, 본 개시의 일 실시예에 따른 영상 처리 장치(100)는 프로세서(110), 입력부(120) 및 출력부(130)를 포함할 수 있다. 그러나, 도 7에 도시된 구성 요소 모두가 영상 처리 장치(100)의 필수 구성 요소인 것은 아니다. 예를 들어, 영상 처리 장치(100)는 도 7에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라 도 7에 도시된 영상 처리 장치(100)의 구성 요소 중 적어도 일부가 생략될 수도 있다.
일 실시예에 따라, 입력부(120)는 영상 처리 장치(100)에 대한 사용자 입력을 수신하기 위한 인터페이스를 포함할 수 있다. 예를 들어, 입력부(120)는 영상 데이터 상의 기준점을 지정하는 사용자의 입력을 수신할 수 있다. 예를 들어, 입력부(120)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등을 포함할 수 있다. 또한, 입력부(120)는 대상체에 대응하는 영상 데이터를 수신할 수도 있다. 예를 들어, 입력부(120)는 키보드, 마우스, 카메라, 마이크, 포인터, USB, 외부 장치와의 연결 포트를 포함할 수 있으며, 본 개시는 이에 한정되지 않는다.
일 실시예에 따라, 출력부(130)는 후술할 프로세서(110)에서 생성된 출력 영상 데이터를 출력할 수 있다. 예를 들어, 출력부(130)는 생성된 영상 데이터를 출력하는 디스플레이를 포함할 수 있다. 또한, 출력부(130)는 오디오 신호 또는 징도 신호를 출력할 수 있다. 출력부(130)는 영상 처리 장치(100)가 아닌 외부의 비디오/ 오디오 출력 장치를 통해 출력 영상 데이터를 출력하기 위한 유/무선 포트를 포함할 수 있다. 이때, 출력부(130)는 유/무선 포트를 통해 외부의 비디오/ 오디오 출력 장치와 연결될 수 있다. 또한, 출력부(130)는 입력부(120)로부터 수신된 영상 데이터 상에, 대상체 내에 삽입된 의료용 기기의 위치를 나타내는 출력 영상 데이터를 출력할 수 있다.
일 실시예에 따라, 프로세서(110)는 하나 이상의 프로세서를 구비하여, 영상 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(110)는 적어도 하나의 프로그램들을 실행함으로써 도 2 내지 도 6을 통해 전술한 영상 처리 장치(100)의 동작을 수행할 수 있다. 프로세서(110)는 대상체 상에서 센싱된 기준점을 이용하여 대상체를 포함하는 출력 영상 데이터를 생성할 수 있다. 프로세서(110)는 대상체에 대응하는 영상 데이터 및 정합 파라미터를 기초로 출력 영상 데이터를 생성할 수 있다.
일 실시예에 따라, 프로세서(110)는 대상체에 대응하는 영상 데이터를 기초로 출력 영상 데이터를 생성할 수 있다. 이때, 프로세서(110)는 대상체에 대응하는 영상 데이터를 획득할 수 있다. 예를 들어, 프로세서(110)는 영상 처리 장치(100) 내의 메모리(미도시)에 저장된 영상 데이터를 이용할 수 있다. 또는 프로세서(110)는 통신부(미도시)를 통해 외부의 장치로부터 대상체에 대응하는 영상 데이터를 수신할 수도 있다. 또는 프로세서(110)는 입력부(120)를 통해 영상 데이터를 수신할 수도 있다. 또한, 프로세서(110)는 대상체에 대응하는 복수의 영상 데이터를 획득할 수도 있다. 예를 들어, 프로세서(110)는 대상체에 대응하는 수평면(horizontal), 시상면(sagittal) 및 관상면(coronal)의 영상들 중 적어도 하나를 획득할 수 있다. 대상체에 대응하는 영상 데이터가 복수인 경우, 프로세서(110)는 사용자 입력에 기초하여 복수의 영상 데이터 중 적어도 하나를 처리 대상으로 결정할 수 있다. 또한, 프로세서(110)는 복수의 2차원 영상을 3차원 샘플 데이터 세트에 투영하는 볼륨 렌더링을 이용하여 처리 대상이 되는 영상 데이터를 생성할 수도 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 본 명세서에서, ““부””는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 대상체 상에서 센싱된 기준점을 이용하여 대상체의 적어도 일부를 나타내는 출력 영상 데이터를 생성하는 영상 처리 장치에 있어서,
    상기 대상체 상에서 센싱된 복수의 지점을 제1 좌표계(coordinate system) 상에 정의하는, 제1 기준점 세트(fiducial points set)를 획득하고,
    상기 대상체에 대응하는 영상 데이터는 제2 좌표계에서 정의되고, 상기 제1 기준점 세트가 나타내는 복수의 제1 기준점 중에서 어느 하나에 매핑(mapping)되는 제2 기준점을 기초로 복수의 후보 대응점을 획득하고,
    상기 제1 기준점 세트 및 상기 복수의 후보 대응점을 기초로, 상기 대상체 상에서 센싱된 지점의 상기 제1 좌표계 상의 위치 정보를 상기 제2 좌표계 상의 위치 정보로 변환하는 정합 파라미터를 결정하고,
    상기 결정된 정합 파라미터를 기초로 센서를 통해 센싱된 지점과 상기 대상체 사이의 상대적인 위치(relative positions)를 나타내는 출력 영상 데이터를 생성하는 프로세서를 포함하는, 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 영상 데이터를 기준으로 하는 사용자 입력을 기초로 상기 제2 좌표계 상에 정의되는 상기 제2 기준점을 획득하는, 영상 처리 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 제2 기준점으로부터 기 설정된 거리 이내의 영역을 기초로 상기 복수의 후보 대응점을 획득하는, 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 기 설정된 거리는 적어도 상기 제2 기준점과 제3 기준점 사이의 거리에 기초하여 결정되고,
    상기 제3 기준점은 상기 복수의 제1 기준점 중에서 상기 제2 기준점에 대응하는 제1 기준점과 다른 어느 하나에 대응하고, 상기 제2 좌표계 상의 점인, 영상 처리 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 영상 데이터의 해상도를 기초로 후보 대응점의 개수를 나타내는 후보 대응점 개수 정보를 생성하고,
    상기 후보 대응점 개수 정보를 기초로 상기 복수의 후보 대응점을 획득하는, 영상 처리 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 프로세서의 정합 프로세싱 성능을 기초로 후보 대응점 개수 정보를 생성하고,
    상기 후보 대응점의 개수를 나타내는 후보 대응점 개수 정보를 기초로 상기 복수의 후보 대응점을 획득하는, 영상 처리 장치.
  7. 제 1 항에 있어서,
    상기 복수의 후보 대응점은 상기 제2 기준점을 포함하고,
    상기 프로세서는,
    정합 파라미터를 기초로 상기 복수의 제1 기준점을 상기 제2 좌표계 상의 복수의 변환점(transformed points)으로 변환하고,
    상기 복수의 변환점과 상기 복수의 후보 대응점 사이의 정합 오차를 기초로 정합 파라미터를 갱신하고,
    상기 갱신된 정합 파라미터를 기초로 상기 출력 영상 데이터를 생성하는, 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 정합 파라미터는 상기 제1 좌표계 상의 위치 정보를 회전 이동시키는 로테이션 매트릭스(rotation matrix) 및 상기 제1 좌표계 상의 위치 정보를 평행 이동 시키는 트랜스레이션 매트릭스(translation matrix)를 포함하는, 영상 처리 장치.
  9. 제 8 항에 있어서,
    상기 복수의 제1 기준점의 개수가 N개 이고, 상기 복수의 제1 기준점 중에서 어느 하나에 매핑되는 상기 복수의 후보 대응점의 개수는 K개이고,
    상기 프로세서는,
    상기 로테이션 매트릭스 및 상기 트랜스레이션 매트릭스를 기초로 상기 복수의 제1 기준점을 상기 제2 좌표계에서 정의되는 N개의 변환점으로 변환하고,
    상기 N개의 변환점 각각에 대한, 상기 N개의 변환점 중에서 어느 하나의 변환점과 상기 어느 하나의 변환점에 매핑되는 K개의 후보 대응점 사이의 거리를 기초로 상기 N개의 변환점과 (N x K)개의 복수의 후보 대응점 사이의 정합 오차를 산정하고,
    상기 정합 오차를 기초로 상기 로테이션 매트릭스 및 상기 트랜스레이션 매트릭스를 갱신하고,
    상기 갱신된 로테이션 매트릭스 및 트랜스레이션 매트릭스를 기초로 상기 출력 영상 데이터를 생성하는, 영상 처리 장치.
  10. 제 9 항에 있어서,
    상기 정합 오차는 다음 수학식에 기초하여 결정되고,
    Figure pat00010

    상기 수학식에서, N은 상기 복수의 제1 기준점의 개수, K는 N개의 제1 기준점 중에서 어느 하나에 매핑되는 복수의 후보 대응점의 개수,
    Figure pat00011
    는 상기 복수의 제1 기준점 중에서 i번째 제1 기준점,
    Figure pat00012
    는 상기 i번째 제1 기준점에 매핑되는 상기 복수의 후보 대응점 중에서 k번째 후보 대응점을 나타내고,
    Figure pat00013
    은
    Figure pat00014
    의 최소값을 나타내며,
    Figure pat00015
    는 상기 i번째 제1 기준점에 상기 로테이션 매트릭스를 적용하여 획득한 결과 값을 나타내며,
    Figure pat00016
    는 상기 트랜스레이션 매트릭스를 나타내는 것인, 영상 처리 장치.
  11. 제 1 항에 있어서,
    상기 프로세서는,
    상기 대상체 내에서 상기 대상체에 삽입된 의료용 기기의 위치로 상기 센싱된 지점의 위치 정보를 획득하고,
    상기 대상체에 삽입된 의료용 기기의 위치로 센싱된 지점의 위치 정보 및 상기 정합 파라미터를 기초로, 상기 대상체에 삽입된 의료용 기기의 위치를 나타내는 마커(marker)를 포함하는 상기 출력 영상 데이터를 생성하는, 영상 처리 장치.
  12. 대상체 상에서 센싱된 기준점을 이용하여 대상체의 적어도 일부를 나타내는 출력 영상 데이터를 생성하는 영상 처리 장치의 동작 방법에 있어서,
    상기 대상체 상에서 센싱된 복수의 지점을 제1 좌표계 상에 정의하는, 제1 기준점 세트를 획득하는 단계;
    상기 대상체에 대응하는 영상 데이터는 제2 좌표계에서 정의되고, 상기 제1 기준점 세트가 나타내는 복수의 제1 기준점 중에서 어느 하나에 매핑되는 제2 기준점을 기초로 복수의 후보 대응점을 획득하는 단계;
    상기 제1 기준점 세트 및 상기 복수의 후보 대응점을 기초로, 상기 대상체 상에서 센싱된 지점의 상기 제1 좌표계 상의 위치 정보를 상기 제2 좌표계 상의 위치 정보로 변환하는 정합 파라미터를 결정하는 단계; 및
    상기 결정된 정합 파라미터를 기초로 센서를 통해 센싱된 지점과 상기 대상체 사이의 상대적인 위치를 나타내는 출력 영상 데이터를 생성하는 단계를 포함하는, 영상 처리 방법.
  13. 제 12 항의 방법을 컴퓨터에서 실행시키는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020200023746A 2020-02-26 2020-02-26 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법 KR102233585B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200023746A KR102233585B1 (ko) 2020-02-26 2020-02-26 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200023746A KR102233585B1 (ko) 2020-02-26 2020-02-26 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034330A Division KR102084256B1 (ko) 2018-03-26 2018-03-26 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200026851A true KR20200026851A (ko) 2020-03-11
KR102233585B1 KR102233585B1 (ko) 2021-03-30

Family

ID=69810107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200023746A KR102233585B1 (ko) 2020-02-26 2020-02-26 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102233585B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113616350A (zh) * 2021-07-16 2021-11-09 元化智能科技(深圳)有限公司 标记点选取位置的验证方法、装置、终端设备和存储介质
KR20210138553A (ko) * 2020-04-01 2021-11-19 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
KR102394921B1 (ko) * 2021-02-26 2022-05-06 가톨릭관동대학교산학협력단 의료 영상의 정합 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283157A (en) 1993-03-22 1994-02-01 Minnesota Mining And Manufacturing Company Diffusion transfer printing plate
US5486182A (en) 1991-11-05 1996-01-23 Wilk & Nakao Medical Technology Inc. Polyp retrieval assembly with separable web member
JP5283157B2 (ja) * 2007-03-20 2013-09-04 国立大学法人静岡大学 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
JP5486182B2 (ja) * 2008-12-05 2014-05-07 キヤノン株式会社 情報処理装置および情報処理方法
KR20140105101A (ko) 2013-02-21 2014-09-01 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
JP2018038609A (ja) 2016-09-07 2018-03-15 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5486182A (en) 1991-11-05 1996-01-23 Wilk & Nakao Medical Technology Inc. Polyp retrieval assembly with separable web member
US5283157A (en) 1993-03-22 1994-02-01 Minnesota Mining And Manufacturing Company Diffusion transfer printing plate
JP5283157B2 (ja) * 2007-03-20 2013-09-04 国立大学法人静岡大学 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
JP5486182B2 (ja) * 2008-12-05 2014-05-07 キヤノン株式会社 情報処理装置および情報処理方法
KR20140105101A (ko) 2013-02-21 2014-09-01 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
JP2018038609A (ja) 2016-09-07 2018-03-15 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210138553A (ko) * 2020-04-01 2021-11-19 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
KR102394921B1 (ko) * 2021-02-26 2022-05-06 가톨릭관동대학교산학협력단 의료 영상의 정합 장치 및 방법
CN113616350A (zh) * 2021-07-16 2021-11-09 元化智能科技(深圳)有限公司 标记点选取位置的验证方法、装置、终端设备和存储介质

Also Published As

Publication number Publication date
KR102233585B1 (ko) 2021-03-30

Similar Documents

Publication Publication Date Title
US11759261B2 (en) Augmented reality pre-registration
US20230016227A1 (en) Medical augmented reality navigation
US9498132B2 (en) Visualization of anatomical data by augmented reality
US6379302B1 (en) Navigation information overlay onto ultrasound imagery
EP2951779B1 (en) Three-dimensional image segmentation based on a two-dimensional image information
KR102233585B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
US20080071141A1 (en) Method and apparatus for measuring attributes of an anatomical feature during a medical procedure
KR102084256B1 (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
US20180249953A1 (en) Systems and methods for surgical tracking and visualization of hidden anatomical features
JP2020036708A (ja) 手術支援装置及び手術ナビゲーションシステム
US20220249174A1 (en) Surgical navigation system, information processing device and information processing method
US20220370147A1 (en) Technique of Providing User Guidance For Obtaining A Registration Between Patient Image Data And A Surgical Tracking System
EP3703012A1 (en) Map of body cavity
KR102184001B1 (ko) 수술용 네비게이션을 위한 영상 정합 장치 및 영상 정합 방법
EP3944254A1 (en) System for displaying an augmented reality and method for generating an augmented reality
US20230237711A1 (en) Augmenting a medical image with an intelligent ruler
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
US11389250B2 (en) Position detection system by fiber Bragg grating based optical sensors in surgical fields
US20230030273A1 (en) System for Monitoring a Clinical Scenario
US20220087750A1 (en) Technique For Guiding Acquisition of One More Registration Points On A Patient's Body
CN116725663A (zh) 坐标的确定方法及相关装置
CN116509543A (zh) 一种复合型手术导航装置、方法以及系统
CN113648073A (zh) 对增强现实和/或虚拟现实的调整
KR20230108198A (ko) 메쉬 모델 및 트래킹 데이터 간의 좌표 변환을 통한 정합을 위한 변환 행렬 결정 방법 및 장치
IL310322A (en) Determining the level of the spine using augmented reality

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant