KR102144012B1 - 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치 - Google Patents

유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치 Download PDF

Info

Publication number
KR102144012B1
KR102144012B1 KR1020190009981A KR20190009981A KR102144012B1 KR 102144012 B1 KR102144012 B1 KR 102144012B1 KR 1020190009981 A KR1020190009981 A KR 1020190009981A KR 20190009981 A KR20190009981 A KR 20190009981A KR 102144012 B1 KR102144012 B1 KR 102144012B1
Authority
KR
South Korea
Prior art keywords
point
medical image
camera
image points
point cloud
Prior art date
Application number
KR1020190009981A
Other languages
English (en)
Other versions
KR20200092715A (ko
Inventor
문정환
유학제
김태형
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020190009981A priority Critical patent/KR102144012B1/ko
Publication of KR20200092715A publication Critical patent/KR20200092715A/ko
Application granted granted Critical
Publication of KR102144012B1 publication Critical patent/KR102144012B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Genetics & Genomics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법은, 수술 대상에 대한 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 획득하는 단계, 상기 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하는 단계, 및 상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색하는 단계를 포함한다.

Description

유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치{METHODS AND APPARATUSES FOR SURFACE REGISTRATION OF SURGICAL NAVIGATION USING GENETIC ALGORITHM}
본 발명은 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치에 관한 것이다.
수술용 내비게이션에서 사용되는 표면정합은 수술 전(preoperation) 획득한 환자의 CT 데이터와 수술 중(intraoperation)에 획득하는 카메라 데이터로 구성된다. 표면정합 시 사용되는 카메라 데이터와 CT 데이터는 서로 다른 분포도를 갖고 있으며 이는 표면정합의 정합 정확도에 영향을 미치는 주요 요인이다. 그리고 CT 데이터와 정합될 수술 중의 카메라 데이터는 수술자의 수행방식에 따라 다양한 형태로 획득하게 된다.
카메라 데이터의 다양성은 수술자가 어느 부위에서 더욱 많은 데이터를 취하느냐 어떤 방향으로 환자얼굴 표면 데이터를 획득하느냐에 따라 달라지는지를 의미한다. 수술자의 의해서 획득된 카메라 데이터는 각각이 갖고 있는 차이로 인해 CT 데이터와의 정합에서 정합 정확도의 차이를 발생시킨다.
본 발명의 실시 예들은 수술용 내비게이션에서 사용되는 표면정합 방법 시, 의료영상(예컨대, CT) 데이터와 카메라 데이터 간 상이한 데이터 형태에서 발생하는 정합 정확도의 저하를 극복하기 위해, 최소 제곱 프로젝션 방법을 통한 최적 정합점의 성능을 향상하여 카메라 포인트 클라우드에 대응하는 CT 포인트 클라우드(개선된 최적 정합점)를 정확하게 산출할 수 있는, 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치를 제공하고자 한다.
본 발명의 실시 예들은 카메라 포인트 데이터와 CT 포인트 데이터 간 상이한 데이터 형태에서 발생하는 정합 정확도 저하의 문제를 극복할 뿐만 아니라, 각 카메라 포인트에 대응하는 참고(reference) 포인트 클라우드의 개수를 각 카메라 포인트에 맞는 최적의 개수로 산출함으로써, 종례의 기술의 문제점을 극복할 수 있는, 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치를 제공하고자 한다.
본 발명의 일 실시 예에 따르면, 수술용 내비게이션의 표면 정합 장치에 의해 수행되는 표면 정합 방법에 있어서, 수술 대상에 대한 카메라 포인트 클라우드(Camera point cloud) 및 의료영상 포인트 클라우드를 획득하는 단계; 상기 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘(Genetic algorithm)을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하는 단계; 및 상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색하는 단계를 포함하는, 수술용 내비게이션의 표면 정합 방법이 제공될 수 있다.
상기 획득하는 단계는, 광학 카메라 또는 3차원 포인트 클라우드 획득 장비를 통해 수술 대상에 대한 카메라 포인트 클라우드를 획득할 수 있다.
상기 의료영상 포인트의 점군집을 산출하는 단계는, 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집 개수를 결정하고, 상기 결정된 의료영상 포인트의 점군집 개수에 따라 의료영상 포인트의 점군집을 산출할 수 있다.
상기 의료영상 포인트의 점군집을 산출하는 단계는, 상기 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 최소화하기 위한 의료영상 포인트의 점군집 개수를 산출할 수 있다.
상기 의료영상 포인트의 점군집을 산출하는 단계는, 유클리디안 거리 함수(Euclidean distance function), 카이제곱(Chi-square) 및 맨해튼 거리(Manhattan distance) 중에서 어느 하나의 목적 함수를 이용하여 상기 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 산출할 수 있다.
상기 의료영상 포인트의 점군집을 산출하는 단계는, 기설정된 의료영상 포인트의 점군집 개수 및 의료영상 포인트의 점군집 반경에 대한 제한 범위에 따라 의료영상 포인트의 점군집 개수를 산출할 수 있다.
상기 의료영상 포인트의 점군집을 산출하는 단계는, 상기 의료영상 포인트의 점군집 개수에 대한 우성 인자를 획득하기 위해, 교배와 변이를 반복 진행하여 의료영상 포인트의 점군집 개수를 산출할 수 있다.
상기 정합점을 탐색하는 단계는, 상기 카메라 포인트 클라우드에서의 각 카메라 포인트와 각 카메라 포인트에 대응하도록 상기 산출된 의료영상 포인트의 점군집을 최소 제곱 프로젝션(Least square projection, LSP) 알고리즘에 적용하여 정합점을 탐색할 수 있다.
상기 정합점을 탐색하는 단계는, 상기 산출된 의료영상 포인트의 점군집에 프로젝션될 각 카메라 포인트로부터의 프로젝션 방향을 산출할 수 있다.
상기 정합점을 탐색하는 단계는, 상기 산출된 각 카메라 포인트로부터의 프로젝션 방향을 이용하여, 각 카메라 포인트와 대응하고 최단 거리가 되는 의료영상 포인트를 상기 의료영상 포인트의 점군집 내에서 생성하고, 상기 생성된 의료영상 포인트를 정합점으로 설정할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 적어도 하나의 프로그램을 저장하는 메모리; 및 상기 메모리와 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 프로그램을 실행함으로써, 수술 대상에 대한 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 획득하고, 상기 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하고, 상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색하는, 수술용 내비게이션의 표면 정합 장치가 제공될 수 있다.
상기 프로세서는, 광학 카메라 또는 3차원 포인트 클라우드 획득 장비를 통해 수술 대상에 대한 카메라 포인트 클라우드를 획득할 수 있다.
상기 프로세서는, 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집 개수를 결정하고, 상기 결정된 의료영상 포인트의 점군집 개수에 따라 의료영상 포인트의 점군집을 산출할 수 있다.
상기 프로세서는, 상기 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 최소화하기 위한 의료영상 포인트의 점군집 개수를 산출할 수 있다.
상기 프로세서는, 유클리디안 거리 함수(Euclidean distance function), 카이제곱(Chi-square) 및 맨해튼 거리(Manhattan distance) 중에서 어느 하나의 목적 함수를 이용하여 상기 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 산출할 수 있다.
상기 프로세서는, 기설정된 의료영상 포인트의 점군집 개수 및 의료영상 포인트의 점군집 반경에 대한 제한 범위에 따라 의료영상 포인트의 점군집 개수를 산출할 수 있다.
상기 프로세서는, 상기 의료영상 포인트의 점군집 개수에 대한 우성 인자를 획득하기 위해, 교배와 변이를 반복 진행하여 의료영상 포인트의 점군집 개수를 산출할 수 있다.
상기 프로세서는, 상기 카메라 포인트 클라우드에서의 각 카메라 포인트와 각 카메라 포인트에 대응하도록 상기 산출된 의료영상 포인트의 점군집을 최소 제곱 프로젝션(Least square projection, LSP) 알고리즘에 적용하여 정합점을 탐색할 수 있다.
상기 프로세서는, 상기 산출된 의료영상 포인트의 점군집에 프로젝션될 각 카메라 포인트로부터의 프로젝션 방향을 산출할 수 있다.
상기 프로세서는, 상기 산출된 각 카메라 포인트로부터의 프로젝션 방향을 이용하여, 각 카메라 포인트와 대응하고 최단 거리가 되는 의료영상 포인트를 상기 의료영상 포인트의 점군집 내에서 생성하고, 상기 생성된 의료영상 포인트를 정합점으로 설정할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 프로세서에 의해 실행 가능한 적어도 하나의 프로그램을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 적어도 하나의 프로그램은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 수술 대상에 대한 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 획득하고, 상기 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하고, 상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색하게 하는 명령어들을 포함하는, 비일실적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
본 발명의 실시 예들은 카메라 포인트 데이터에 대응하는 CT 포인트 클라우드를 일대일로 매칭하여 획득함으로써, 두 데이터 군집 간 상이함을 극복할 수 있다.
또한, 본 발명의 실시 예들은 각 카메라 포인트 데이터에 대응하는 참고 포인트 클라우드(CT 포인트 클라우드)의 개수를 일차적으로 획득함으로써, 각 카메라 포인트에 적합한 최적 정합점을 산출하고 이를 통해 정합 정확도를 향상시키고 최적 정합점 획득의 속도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 장치의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에 CT 포인트 클라우드를 적용한 예시를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에서 사용되는 카메라 포인트 클라우드 및 CT 포인트 클라우드를 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 유전 알고리즘을 이용한 최적의 점군집 탐색 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시 예에서 사용되는 k-NN 기반의 적합도 함수를 설명하기 위한 흐름도이다.
도 8 및 도 9는 본 발명의 일 실시 예에 사용되는 유전 알고리즘을 이용한 CT 점군집의 실제 결과 출력 내용을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 최적의 점군집을 이용한 최적 정합점 생성 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시 예에서 K개의 CT 포인트를 산출하는 과정을 설명하기 위한 흐름도이다.
도 12는 본 발명의 일 실시 예에 사용되는 최소 제곱 프로젝션 알고리즘을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시 예에서 사용되는 최소 제곱 프로젝션 알고리즘에 따라 최적 정합점을 생성하는 과정을 설명하기 위한 흐름도이다.
도 14는 본 발명의 일 실시 예와 종래 방법 간의 비교 결과를 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템의 구성을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템(100)은 카메라 영상 장치(110), 의료영상 장치(120) 및 표면 정합 장치(130)를 포함한다.
이하, 도 1의 수술용 내비게이션 시스템(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
카메라 영상 장치(110)는 광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나일 수 있다. 카메라 영상 장치(110)는 카메라 영상 데이터를 획득하여 표면 정합 장치(130)로 전달한다.
여기서, 카메라 영상 데이터는, 광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나로부터 촬영되는 카메라 영상 데이터일 수 있다.
의료영상 장치(120)는 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나일 수 있다. 의료영상 장치(120)는 의료영상 데이터를 획득하여 표면 정합 장치(130)로 전달한다.
여기서, 의료영상 데이터는, 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영되는 의료영상 데이터일 수 있다.
표면 정합 장치(130)는 표면 정합 시 필요로 하는 의료영상(예컨대, CT) 포인트 데이터를 개선하고, 그 개선된 의료영상 포인트 데이터와 광학 카메라 포인트 데이터를 이용함으로써, 정합 결과를 확인하기 위한 가상의 병변 위치를 정확하게 산출할 수 있다.
일례로, 표면 정합 장치(130)는 수술용 내비게이션에서 사용되는 표면 정합 방법 시, CT 포인트 데이터와 광학 카메라의 포인트 데이터 간 상이한 데이터 형태에서 발생하는 정합 정확도의 저하를 극복하기 위해 CT 포인트 데이터의 문제점을 해결하고, 문제점이 해결된 CT 포인트 데이터와 카메라 포인트 데이터 간 최적 정합점을 탐색할 수 있다.
이를 위해, 표면 정합 장치(130)는 유전알고리즘을 이용해 카메라 포인트에 대응하는 최적의 CT 점군집을 탐색하여, 최적 대응점을 산출할 수 있다. 표면 정합 장치(130)는 크게 2단계로 구성된 알고리즘을 수행할 수 있다. 첫 번째 단계에서, 표면 정합 장치(130)는 기본적인 카메라 포인트 클라우드(Camera point cloud) 및 CT 포인트 클라우드(CT point cloud)를 기반으로 각 카메라 포인트에 대한 k개의 최적 CT 포인트를 산출할 수 있다. 여기서, 표면 정합 장치(130)는 k개의 최적 CT 포인트를 산출하기 위해 유전 알고리즘(Genetic algorithm, GA)을 사용할 수 있다. 두번째 단계에서, 표면 정합 장치(130)는 최소 제곱 프로젝션(Least square projection) 알고리즘을 이용해 n번째 카메라 포인트를 최적화된 k개의 CT 포인트 클라우드에 프로젝션시켜 새로운 정합점을 생성할 수 있다. 여기서, 새로운 정합점 생성 동작은 모든 카메라 포인트에 대해 수행된다.
본 발명의 일 실시 예에서는 광학 카메라를 통해 획득되는 카메라 포인트 클라우드와 CT를 통해 획득되는 CT 포인트 클라우드가 사용된다. CT 포인트 클라우드는 CT를 통해 획득된 2차원 슬라이스 이미지(slice image)를 3차원으로 재구성(reconstruction) 시킨 후 마칭 큐브(marching cube)를 통해 포인트 클라우드로 변화하게 된다. 본 발명의 일 실시 예에서 사용되는 공학적 기술로는 두가지 기술이 적용된다. 유전 알고리즘(genetic algorithm, GA)은 각 카메라 포인트에 대응하는 최적 개수의 CT 포인트 클라우드(참고 포인트 클라우드)를 산출하기 위해 사용된다. 최소 제곱 프로젝션은 각 카메라 포인트에 대하여 산출된 참고 포인트 클라우드(Reference point cloud)에서 최적 정합점(Optimal registration point)을 생성하는데 사용되어진다.
이와 같이, 본 발명의 일 실시 예는 외과용 내비게이션 수술 시 CT 포인트 클라우드와 카메라 포인트 클라우드의 정합 정확도를 향상시키기 위한 것이다. CT 포인트 클라우드에서 카메라 포인트 클라우드에 대응되는 최적 정합점을 획득하는데 있어서, 본 발명의 일 실시 예는 각 카메라 포인트에 대응하는 CT 포인트 클라우드의 개수를 인공지능(예컨대, GA 등) 알고리즘을 통해 결정할 수 있다. 이를 통해, 본 발명의 일 실시 예는 최적 정합점을 산출하고 정합 정확도를 향상시킬 수 있다.
도 2는 본 발명의 일 실시 예에 따른 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 장치의 구성을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 장치(130)는 메모리(210) 및 프로세서(220)를 포함한다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 수술용 내비게이션의 표면 정합 장치(130)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 수술용 내비게이션의 표면 정합 장치(130)는 구현될 수 있다.
이하, 도 2의 수술용 내비게이션의 표면 정합 장치(130)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
메모리(210)는 적어도 하나의 프로그램을 저장한다. 메모리(210)는 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 저장할 수 있다.
프로세서(220)는 메모리(210)와 연결된다. 프로세서(220)는, 적어도 하나의 프로그램을 실행함으로써, 수술 대상에 대한 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 획득하고, 그 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하고, 상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색한다.
다양한 실시 예에 따르면, 프로세서(220)는 광학 카메라 또는 3차원 포인트 클라우드 획득 장비를 통해 수술 대상에 대한 카메라 포인트 클라우드를 획득할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집 개수를 결정하고, 그 결정된 의료영상 포인트의 점군집 개수에 따라 의료영상 포인트의 점군집을 산출할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 간의 거리를 최소화하기 위한 의료영상 포인트의 점군집 개수를 산출할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 유클리디안 거리 함수(Euclidean distance function), 카이제곱(Chi-square) 및 맨해튼 거리(Manhattan distance) 중에서 어느 하나의 목적 함수를 이용하여 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 산출할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 기설정된 의료영상 포인트의 점군집 개수 및 의료영상 포인트의 점군집 반경에 대한 제한 범위에 따라 의료영상 포인트의 점군집 개수를 산출할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 의료영상 포인트의 점군집 개수에 대한 우성 인자를 획득하기 위해, 교배와 변이를 반복 진행하여 의료영상 포인트의 점군집 개수를 산출할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 카메라 포인트 클라우드에서의 각 카메라 포인트와 각 카메라 포인트에 대응하도록, 그 산출된 의료영상 포인트의 점군집을 최소 제곱 프로젝션(Least square projection, LSP) 알고리즘에 적용하여 정합점을 탐색할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 산출된 의료영상 포인트의 점군집에 프로젝션될 각 카메라 포인트로부터의 프로젝션 방향을 산출할 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 산출된 각 카메라 포인트로부터의 프로젝션 방향을 이용하여, 각 카메라 포인트와 대응하고 최단 거리가 되는 의료영상 포인트를 의료영상 포인트의 점군집 내에서 생성하고, 그 생성된 의료영상 포인트를 정합점으로 설정할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합을 설명하기 위한 흐름도이다.
단계 S101에서, 본 발명의 일 실시 예에 따른 표면 정합 장치(130)는 수술 대상에 대한 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 획득한다.
단계 S102에서, 표면 정합 장치(130)는 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출한다.
단계 S103에서, 표면 정합 장치(130)는 카메라 포인트 클라우드와 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색한다.
도 4는 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에 CT 포인트 클라우드를 적용한 예시를 설명하기 위한 흐름도이다.
단계 S201에서, 본 발명의 일 실시 예에 따른 표면 정합 장치(130)는 기본 데이터로서 카메라 포인트 클라우드 및 CT 포인트 클라우드를 획득한다.
단계 S202에서, 표면 정합 장치(130)는 유전 알고리즘을 통해 각 카메라 포인트에 대응하는 최적 CT 포인트의 점군집을 산출한다. 여기서, 표면 정합 장치(130)는 최적 CT 포인트의 점군집을 k개만큼 결정할 수 있다.
표면 정합 장치(130)는 최적 CT 포인트의 점군집을 산출하기 위해, 각 포인트들 간의 거리(d 값)를 산출한다. 클라우드 포인트들 간의 거리를 산출하기 위해, 표면 정합 장치(130)는 변수로 집합군의 점 개수, 유닛 벡터(Unit vector), k-NN의 k 값, k-NN의 반경(radius) 값, 가중치(Weight), 거리 가중치 함수, K 교차 검증(K-Cross-validation) 값을 이용하여 거리를 산출할 수 있다. 여기서, 유닛 벡터는 직교(Orthogonal) 또는 비직교(not orthogonal)일 수 있다. 각 포인트와 포인트 사이 거리 계산식 타입에는 유클리디안 거리(Euclidean distance), 맨하튼(Manhattan), 또는 카이제곱(Chi-square) 중 어느 하나가 될 수 있다. 일례로, k-NN의 k값 범위는 2~10으로 미리 설정될 수 있고, k-NN의 반경(radius) 값 범위는 2~10이 설정될 수 있다. 가중치(Weight)는 랜덤(random)으로 설정될 수 있다. 거리 가중치 함수는 카이 제곱에 대해서만 동일 또는 반대 또는 기타일 수 있다(Distance weight function = equal or inverse or etc (only for chi-square)). K 교차 검증(K-Cross-validation) 값은 k 값으로 설정될 수 있다.
유클리디안 거리 함수(Euclidean distance function)는 3차원(Three dimension)으로 하기의 [수학식 1]과 같이 나타낼 수 있다.
Figure 112019009304370-pat00001
카이 제곱은 j 차원(j dimension)으로, 하기의 [수학식 2]와 같이 나타낼 수 있다.
Figure 112019009304370-pat00002
맨하튼 차원(Manhattan dimension)은 하기의 [수학식 3]과 같이 나타낼 수 있다.
Figure 112019009304370-pat00003
여기서, p, q는 각각 카메라 포인트와 CT 포인트를 나타내며, p1~p3은 카메라 포인트에 대한 x축, y축, z축 좌표를 나타내며, q1~q3은 CT 포인트에 대한 x축, y축, z축 좌표 값을 나타낸다. pj 및 qj(j=1~J)는 각 j축에 대한 카메라 포인트 및 CT 포인트의 좌표 값을 나타낸다.
그리고 표면 정합 장치(130)는 유전 알고리즘에 따라 포인트 클라우드들 간의 거리를 최소화하기 위한 적합도 함수(Fitness function)를 이용하여 최적의 점군집을 산출할 수 있다. 일례로, 변수 설정을 다음의 예시로 살펴보면, 변수의 개수(Number of variables)는 2~3일 수 있고, 최대 반복(Maximum iteration)은 500일 수 있고, 하한값(Lower boundary value)은 볼륨의 최소 값(minimum value of volume)일 수 있고, 상한값(Upper boundary value)은 볼륨의 최대 값일 수 있고, 초기 집단 크기(Initial population size)는 50, 세대수(Number of generation)는 100일 수 있고, 교배 확률(probability)은 0.9, 변이 확률(probability)은 0.9일 수 있다.
단계 S203에서, 표면 정합 장치(130)는 n번째 카메라 포인트와 획득된 n번째 카메라에 대응하는 최적의 k개 CT 포인트 클라우드에 최소 제곱 프로젝션을 적용한다.
단계 S204에서, 표면 정합 장치(130)는 최적 정합점 산출 및 표면정합 진행한다.
단계 S202 내지 S203과 관련하여 최소 제곱 프로젝션 알고리즘에 대해서 설명하기로 한다. 최적 정합점을 획득하기 위한 방법으로 최소 제곱 프로젝션 알고리즘을 사용하여 카메라의 포인트 클라우드에 대응하는 최적의 CT의 포인트 클라우드를 생성하는 방법이 본 발명의 일 실시 예에 사용된다. 최소 제곱 프로젝션 알고리즘은 카메라의 각 한 포인트를 CT의 n개의 정해진 포인트들에 LSP를 적용하여 최적 정합점을 산출할 수 있다. 하지만, 이러한 방법에서 새롭게 생성되는 최적 정합점은 참고 포인트 클라우드를 특정 개수로 정하고 LSP를 적용했기 때문에, 모든 카메라 포인트에 대한 최적의 참고 포인트 클라우드라고 판단하는데 한계가 있을 수 있다. 이를 극복하기 위해, 본 발명의 일 실시 예에서는 카메라 포인트에 대응하는 최적의 참고 포인트 클라우드의 개수를 유전 알고리즘을 이용하여 산출할 수 있다.
도 5는 본 발명의 일 실시 예에서 사용되는 카메라 포인트 클라우드 및 CT 포인트 클라우드를 설명하기 위한 흐름도이다.
도 5의 (a)에는 광학 카메라(Optical camera) 또는 다른 3차원 포인트 클라우드 장비를 통해 획득되는 카메라 포인트 클라우드가 도시되어 있다.
도 5의 (b)에는 의료영상(예컨대, CT)에서 획득된 얼굴표면의 포인트 클라우드 데이터가 도시되어 있다.
도 4의 단계 S202에서 사용되는 데이터는 광학 카메라 또는 다른 3차원 포인트 클라우드 획득 장비를 통해 획득된 포인트 클라우드와 의료영상(CT)에서 획득된 얼굴표면의 포인트 클라우드가 기본적으로 사용된다. 즉, 카메라 포인트 클라우드(광학 카메라에서 획득)와 CT 포인트 클라우드(CT를 통해 획득하고 3차원 재구성 후 마칭 큐브를 통해 포인트 클라우드화)가 사용될 수 있다. 여기서, 광학 카메라 또는 다른 3차원 포인트 클라우드 획득 장비를 통해 획득된 포인트 클라우드를 카메라 포인트 클라우드로 지칭하기로 한다. 또한, 의료영상(CT)에서 획득된 얼굴표면의 포인트 클라우드에 대한 데이터를 CT 포인트 클라우드로 지칭하기로 한다.
도 4의 단계 S202에서 데이터의 형태는 도 5와 같으며, 이를 기반으로 유전 알고리즘이 수행된다.
도 6은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 유전 알고리즘을 이용한 최적의 점군집 탐색 방법을 설명하기 위한 흐름도이다.
단계 S301에서, 본 발명의 일 실시 예에 따른 표면 정합 장치(130)는 랜덤 초기 집단을 생성한다.
단계 S302에서, 표면 정합 장치(130)는 K-NN 기반 적합도 함수를 생성한다. 여기서, 3개 변수들이 사용될 수 있다.
단계 S303에서, 표면 정합 장치(130)는 목적(적합도) 함수를 평가한다.
여기서, 표면 정합 장치(130)는 카메라 포인트와 CT 포인트 k 집단 간의 거리를 최소화하기 위한 최적의 CT 점군집을 유전 알고리즘을 통해서 찾을 수 있다. 목적 함수는 유클리디안, 맨하튼, 또는 카이 제곱 거리 방법이 사용될 수 있다. 3가지 제약(constrain) 값이 사용될 수 있다. 멀티 목적(Multi objective) 개념을 도입하기 위해, 표면 정합 장치(130)는 k개의 선택 집단을 2~10개의 멀티 목적(multi objective)으로 설정할 수 있다. 표면 정합 장치(130)는 반경(Radius) 값을 2~10으로 설정하여 다양한 군집화 조건을 설정할 수 있다. 표면 정합 장치(130)는 가중치(Weight) 값을 랜덤(random)으로 선택하여 k개 결정 시 제한된 결정을 회피할 수 있다.
단계 S304에서, 표면 정합 장치(130)는 정지 기준을 만족하는지를 확인한다.
단계 S305에서, 표면 정합 장치(130)는 정지 기준을 만족하지 않으면, 집단으로부터 부모들 선택한다.
단계 S306에서, 표면 정합 장치(130)는 유전 알고리즘에 따라 교배 동작을 수행한다.
단계 S307에서, 표면 정합 장치(130)는 유전 알고리즘에 따라 변이 동작을 수행한다.
단계 S308에서, 표면 정합 장치(130)는 유전 알고리즘에 따른 수행 과정에서 최대 생성인지를 확인한다.
단계 S309에서, 표면 정합 장치(130)는 최대 생성이면, 유전 알고리즘에 따라 최적의 점군집 탐색 방법을 정지 및 최적화된 파라미터들 산출한다. 반면, 표면 정합 장치(130)는 최대이 아니면, 단계 S303을 수행한다.
표면 정합 장치(130)는 최적의 점군집을 획득하기 위해 카메라 포인트와 k개의 CT 포인트의 점군집의 중심값 간 거리를 계산하여 CT 포인트에 대한 점군집 개수를 선택할 수 있다.
표면 정합 장치(130)는 점군집의 개수에 대한 더 좋은 우성 인자를 획득하기 위해 교배(Crossover)와 변이(Mutation)를 반복 진행할 수 있다. 표면 정합 장치(130)는 교배를 통해 현재 인자와 분명한 차이가 발생하는 인자를 산출하고, 변이를 통해 교배로 생성된 인자에서 미세한 변화를 진행하여 추가 인자를 산출할 수 있다.
이와 같이, 본 발명의 일 실시 예에서는 GA 알고리즘을 이용해 각 포인트 클라우드에 대해 대응되는 참고 포인트 클라우드를 선택할 수 있다. 여기서, 각 포인트 클라우드에 대응하는 포인트 클라우드의 최소 거리가 이용될 수 있다.
도 7은 본 발명의 일 실시 예에서 사용되는 k-NN 기반의 적합도 함수를 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따른 표면 정합 장치(130)는 CT 포인트 클라우드에서의 후보 세모군(310)에 바이너리 코드(binary code)를 부여하고, 카메라 포인트 클라우드에서의 동그라미(320)에 대한 최적의 세모 점군집을 획득할 수 있다. 여기서, 표면 정합 장치(130)는 목적 함수를 만족하는 세모군의 교배와 변이를 진행할 수 있다.
본 발명의 일 실시 예에 사용되는 유전 알고리즘에 대해 설명하기로 한다.
인코딩(encoding)은 변수들을 진화 연산이 용이한 형태로 변환하는 것을 나타낸다. 여기서, 바이너리(Binary) 형태인 0, 1로 변환될 수 있다.
초기 집단(population) 생성 과정은 변환된 데이터의 여러 개의 후배를 생성하고, 값을 초기화한다.
적합도 함수(fitness function)는 최적화를 하고자 하는 목적 함수를 나타낸다.
유전 알고리즘 연산자를 살펴보면, 선택(selection) 연산자는 집단 중에서 적응도에 따라 단계로 교배를 행하는 객체의 생존 분포를 결정한다.
교배(crossover) 연산자는 부모로부터 유전자를 받아 새로운 객체를 생성한다.
변이(mutation) 연산자는 유전자의 어떠한 부분을 강제적으로 변화시킬 수 있다. 이를 통해 다양성이 유지될 수 있다.
도 8 및 도 9는 본 발명의 일 실시 예에 사용되는 유전 알고리즘을 이용한 CT 점군집의 실제 결과 출력 내용을 설명하기 위한 흐름도이다.
도 8에는 함수 실행 횟수와 최소 목적 간의 관계가 그래프로 나타나 있다.
일례로, 카메라 포인트 30번에서의 최적화 결과는 다음과 같다.
최대 반복(Max Iteration)은 30이고, 거리 함수(Distance function)는 체비쇼프(chebychev)가 사용된다. k 값은 2이고, 버킷(Bucket) 값은 50이고, 거리(Distance)는 2.3626 에서 1.2923로 감소하였다. CT 포인트 클라우드에서의 인덱스(index)는 2870번과 2922번 점이될 수 있다.
도 9에는 유전 알고리즘을 이용하여 산출된 유전 알고리즘을 이용한 CT 점군집의 실제 결과 출력 내용이 도시되어 있다.
도 10은 본 발명의 일 실시 예에 따른 수술용 내비게이션의 표면 정합 방법에서 최적의 점군집을 이용한 최적 정합점 생성 방법을 설명하기 위한 흐름도이다.
단계 S401에서, 본 발명의 일 실시 예에 따른 표면 정합 장치(130)는 유전 알고리즘으로 산출된 k개의 최적 CT 데이터 포인트 점군집에 프로젝션될 카메라 포인트_n의 프로젝션 방향(np)을 산출한다.
단계 S402에서, 표면 정합 장치(130)는 2차적으로 LSP 알고리즘의 후반 작업으로서, 주어진 P와 P*의 거리가 최단거리가될 수 있는 최적의 P*를 산출한다.
여기서, 표면 정합 장치(130)는 하기의 [수학식 4]와 같이 새로 생성된 P*와 Pi의 거리의 최적화를 통해 P*에 값을 선정할 수 있다.
Figure 112019009304370-pat00004
표면 정합 장치(130)는 하기의 [수학식 5]와 같이 P, t, np를 이용하여 P*를 새로 생성한다.
Figure 112019009304370-pat00005
여기서, P는 코어스 폴리곤 모델(Coarse polygon model)을 구성하는 포인트 중 어느 한 개를 나타낸다. P*는 CT 포인트를 개선할 수 있는 추가 포인트 데이터를 나타낸다. t는 P와 새로 생성되는 P* 간의 거리를 나타낸다. np는 LSP 알고리즘을 이용해 CT 포인트의 주변 집단으로의 프로젝션 벡터를 계산한 것이다.
단계 S403에서, 표면 정합 장치(130)는 모든 카메라 데이터 포인트에 대해서 완료되는지를 확인한다.
단계 S404에서, 표면 정합 장치(130)는 모든 카메라 데이터 포인트에 대해서 완료되면, 최적 정합점을 산출한다. 반면, 표면 정합 장치(130)는 모든 카메라 데이터 포인트에 대해서 완료되지 않으면, 단계 S401을 수행한다.
도 11은 본 발명의 일 실시 예에서 K개의 CT 포인트를 산출하는 과정을 설명하기 위한 흐름도이다.
도 11에 도시된 바와 같이, 카메라 포인트_n에 대해서 K개의 CT 포인트를 산출하는 예시가 나타나 있다.
도 12는 본 발명의 일 실시 예에 사용되는 최소 제곱 프로젝션 알고리즘을 설명하기 위한 흐름도이다.
도 12에 도시된 바와 같이, 주어진 P와 P*의 거리가 최단거리가 될 수 있는 최적의 P*를 최소 제곱 프로젝션 알고리즘에 따라 산출하는 예시가 나타나 있다. 본 발명의 일 실시 예에서는 모든 카메라 포인트의 참고 포인트 클라우드를 산출하고 LSP를 산출된 참고 포인트 클라우드와 카메라 포인트에 적용하여 최적 정합점을 산출할 수 있다. 이후, 본 발명의 일 실시 예는 카메라 데이터와 가장 근접한 CT 데이터 군집들을 이용하여 표면정합을 진행한다.
도 13은 본 발명의 일 실시 예에서 사용되는 최소 제곱 프로젝션 알고리즘에 따라 최적 정합점을 생성하는 과정을 설명하기 위한 흐름도이다.
도 13에 도시된 바와 같이, 표면 정합 장치(130)는 산출된 참고 포인트 클라우드(CT 포인트 클라우드)(410)에 n번째 카메라 포인트(420)를 최소 제곱 포인트 알고리즘으로 프로젝션시켜 최적 정합점(430)을 생성한다. n' 카메라 포인트, n' 카메라 포인트의 참고 포인트 클라우드, 참고 포인트 클라우드에서의 최적 정합 포인트가 나타나 있다.
도 14는 본 발명의 일 실시 예와 종래 방법 간의 비교 결과를 설명하기 위한 흐름도이다.
도 14에는 종래 방법과 본 발명의 일 실시 예를 통한 ICP 결과 비교가 나타나 있다. 일례로, 150개의 병변위치를 얼굴 표면 뒤쪽에 만들어 타겟 정합 에러(Target registration error)의 분석 결과가 나타나 있다.
도 14의 (a)에는 종래 CT 포인트 클라우드 VS 카메라 포인트 클라우드 간의 비교 결과가 나타나 있다. 비교 결과는 2.81±1.20이다.
도 14의 (b)에는 k를 10으로 고정시킨 후 LSP를 통한 생성 VS 카메라 포인트 클라우드 간의 비교 결과가 나타나 있다. 비교 결과는 2.13±0.81이다.
도 14의 (c)에는 본 발명의 일 실시 예에 따른 인공지능 알고리즘으로 최적 k개의 점군집을 결정한 후, LSP를 통한 생성한 CT 포인트 클라우드와 카메라 포인트 클라우드 간의 비교 결과가 나타나 있다. 비교 결과는 1.31±0.51이다.
이와 같이, 본 발명의 일 실시 예는 최적 정합점을 산출하는 과정에서, 각 카메라 포인트에 가장 적합한 참고 포인트 클라우드를 정확하게 산출할 수 있기 때문에, 각 포인트에 적합한 최적 정합점을 생성하고 이를 통해 정합 정확도의 향상시킬 수 있다.
또한, 본 발명의 일 실시 예는 종래의 표면정합 알고리즘에서 발생하는 카메라 포인트 클라우드와 CT 포인트 클라우드 간 대응관계를 명확하게 정할 수 있기 때문에 회전 오차 또한 감소시킬 수 있다.
이러한 결과를 기반으로, 본 발명의 일 실시 예는 종래의 표면정합의 문제점인 낮은 정확도의 문제점과 회전 오차를 극복하고 정확도 높은 표면정합 알고리즘을 통한 향상된 제품 개발에 활용할 수 있다.
상술한 본 발명의 실시 예들에 따른 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 본 발명의 실시 예들에 따른 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
프로세서에 의해 실행 가능한 적어도 하나의 프로그램을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 적어도 하나의 프로그램은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금: 수술 대상에 대한 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 획득하고, 상기 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하고, 상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색하게 하는 명령어들을 포함하는, 비일실적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
구체적으로, 설명된 특징들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 또는 그들의 조합들 내에서 실행될 수 있다. 특징들은 예컨대, 프로그래밍 가능한 프로세서에 의한 실행을 위해, 기계 판독 가능한 저장 디바이스 내의 저장장치 내에서 구현되는 컴퓨터 프로그램 제품에서 실행될 수 있다. 그리고 특징들은 입력 데이터 상에서 동작하고 출력을 생성함으로써 설명된 실시예들의 함수들을 수행하기 위한 지시어들의 프로그램을 실행하는 프로그래밍 가능한 프로세서에 의해 수행될 수 있다. 설명된 특징들은, 데이터 저장 시스템으로부터 데이터 및 지시어들을 수신하기 위해, 및 데이터 저장 시스템으로 데이터 및 지시어들을 전송하기 위해, 결합된 적어도 하나의 프로그래밍 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함하는 프로그래밍 가능한 시스템 상에서 실행될 수 있는 하나 이상의 컴퓨터 프로그램들 내에서 실행될 수 있다. 컴퓨터 프로그램은 소정 결과에 대해 특정 동작을 수행하기 위해 컴퓨터 내에서 직접 또는 간접적으로 사용될 수 있는 지시어들의 집합을 포함한다. 컴퓨터 프로그램은 컴파일된 또는 해석된 언어들을 포함하는 프로그래밍 언어 중 어느 형태로 쓰여지고, 모듈, 소자, 서브루틴(subroutine), 또는 다른 컴퓨터 환경에서 사용을 위해 적합한 다른 유닛으로서, 또는 독립 조작 가능한 프로그램으로서 포함하는 어느 형태로도 사용될 수 있다.
지시어들의 프로그램의 실행을 위한 적합한 프로세서들은, 예를 들어, 범용 및 특수 용도 마이크로프로세서들 둘 모두, 및 단독 프로세서 또는 다른 종류의 컴퓨터의 다중 프로세서들 중 하나를 포함한다. 또한 설명된 특징들을 구현하는 컴퓨터 프로그램 지시어들 및 데이터를 구현하기 적합한 저장 디바이스들은 예컨대, EPROM, EEPROM, 및 플래쉬 메모리 디바이스들과 같은 반도체 메모리 디바이스들, 내부 하드 디스크들 및 제거 가능한 디스크들과 같은 자기 디바이스들, 광자기 디스크들 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 비휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 ASIC들(application-specific integrated circuits) 내에서 통합되거나 또는 ASIC들에 의해 추가될 수 있다.
이상에서 설명한 본 발명은 일련의 기능 블록들을 기초로 설명되고 있지만, 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
전술한 실시 예들의 조합은 전술한 실시 예에 한정되는 것이 아니며, 구현 및/또는 필요에 따라 전술한 실시예들 뿐 아니라 다양한 형태의 조합이 제공될 수 있다.
전술한 실시 예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
전술한 실시 예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
100; 수술용 내비게이션 시스템
110; 카메라 영상 장치
120; 의료영상 장치
130; 표면 정합 장치
210; 메모리
220; 프로세서

Claims (21)

  1. 수술용 내비게이션의 표면 정합 장치에 의해 수행되는 표면 정합 방법에 있어서,
    수술 대상에 대한 카메라 포인트 클라우드(Camera point cloud) 및 의료영상 포인트 클라우드를 획득하는 단계;
    상기 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘(Genetic algorithm)을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하는 단계; 및
    상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색하는 단계를 포함하는, 수술용 내비게이션의 표면 정합 방법.
  2. 제1항에 있어서,
    상기 획득하는 단계는,
    광학 카메라 또는 3차원 포인트 클라우드 획득 장비를 통해 수술 대상에 대한 카메라 포인트 클라우드를 획득하는, 수술용 내비게이션의 표면 정합 방법.
  3. 제1항에 있어서,
    상기 의료영상 포인트의 점군집을 산출하는 단계는,
    유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집 개수를 결정하고, 상기 결정된 의료영상 포인트의 점군집 개수에 따라 의료영상 포인트의 점군집을 산출하는, 수술용 내비게이션의 표면 정합 방법.
  4. 제1항에 있어서,
    상기 의료영상 포인트의 점군집을 산출하는 단계는,
    상기 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 최소화하기 위한 의료영상 포인트의 점군집 개수를 산출하는, 수술용 내비게이션의 표면 정합 방법.
  5. 제1항에 있어서,
    상기 의료영상 포인트의 점군집을 산출하는 단계는,
    유클리디안 거리 함수(Euclidean distance function), 카이제곱(Chi-square) 및 맨해튼 거리(Manhattan distance) 중에서 어느 하나의 목적 함수를 이용하여 상기 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 산출하는, 수술용 내비게이션의 표면 정합 방법.
  6. 제1항에 있어서,
    상기 의료영상 포인트의 점군집을 산출하는 단계는,
    기설정된 의료영상 포인트의 점군집 개수 및 의료영상 포인트의 점군집 반경에 대한 제한 범위에 따라 의료영상 포인트의 점군집 개수를 산출하는, 수술용 내비게이션의 표면 정합 방법.
  7. 제1항에 있어서,
    상기 의료영상 포인트의 점군집을 산출하는 단계는,
    상기 의료영상 포인트의 점군집 개수에 대한 우성 인자를 획득하기 위해, 교배와 변이를 반복 진행하여 의료영상 포인트의 점군집 개수를 산출하는, 수술용 내비게이션의 표면 정합 방법.
  8. 제1항에 있어서,
    상기 정합점을 탐색하는 단계는,
    상기 카메라 포인트 클라우드에서의 각 카메라 포인트와 각 카메라 포인트에 대응하도록 상기 산출된 의료영상 포인트의 점군집을 최소 제곱 프로젝션(Least square projection, LSP) 알고리즘에 적용하여 정합점을 탐색하는, 수술용 내비게이션의 표면 정합 방법.
  9. 제1항에 있어서,
    상기 정합점을 탐색하는 단계는,
    상기 산출된 의료영상 포인트의 점군집에 프로젝션될 각 카메라 포인트로부터의 프로젝션 방향을 산출하는, 수술용 내비게이션의 표면 정합 방법.
  10. 제9항에 있어서,
    상기 정합점을 탐색하는 단계는,
    상기 산출된 각 카메라 포인트로부터의 프로젝션 방향을 이용하여, 각 카메라 포인트와 대응하고 최단 거리가 되는 의료영상 포인트를 상기 의료영상 포인트의 점군집 내에서 생성하고, 상기 생성된 의료영상 포인트를 정합점으로 설정하는, 수술용 내비게이션의 표면 정합 방법.
  11. 적어도 하나의 프로그램을 저장하는 메모리; 및
    상기 메모리와 연결된 프로세서를 포함하고,
    상기 프로세서는, 상기 적어도 하나의 프로그램을 실행함으로써,
    수술 대상에 대한 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 획득하고,
    상기 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하고,
    상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색하는, 수술용 내비게이션의 표면 정합 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    광학 카메라 또는 3차원 포인트 클라우드 획득 장비를 통해 수술 대상에 대한 카메라 포인트 클라우드를 획득하는, 수술용 내비게이션의 표면 정합 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집 개수를 결정하고, 상기 결정된 의료영상 포인트의 점군집 개수에 따라 의료영상 포인트의 점군집을 산출하는, 수술용 내비게이션의 표면 정합 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 최소화하기 위한 의료영상 포인트의 점군집 개수를 산출하는, 수술용 내비게이션의 표면 정합 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    유클리디안 거리 함수(Euclidean distance function), 카이제곱(Chi-square) 및 맨해튼 거리(Manhattan distance) 중에서 어느 하나의 목적 함수를 이용하여 상기 카메라 포인트 클라우드 및 상기 의료영상 포인트 클라우드 간의 거리를 산출하는, 수술용 내비게이션의 표면 정합 장치.
  16. 제11항에 있어서,
    상기 프로세서는,
    기설정된 의료영상 포인트의 점군집 개수 및 의료영상 포인트의 점군집 반경에 대한 제한 범위에 따라 의료영상 포인트의 점군집 개수를 산출하는, 수술용 내비게이션의 표면 정합 장치.
  17. 제11항에 있어서,
    상기 프로세서는,
    상기 의료영상 포인트의 점군집 개수에 대한 우성 인자를 획득하기 위해, 교배와 변이를 반복 진행하여 의료영상 포인트의 점군집 개수를 산출하는, 수술용 내비게이션의 표면 정합 장치.
  18. 제11항에 있어서,
    상기 프로세서는,
    상기 카메라 포인트 클라우드에서의 각 카메라 포인트와 각 카메라 포인트에 대응하도록 상기 산출된 의료영상 포인트의 점군집을 최소 제곱 프로젝션(Least square projection, LSP) 알고리즘에 적용하여 정합점을 탐색하는, 수술용 내비게이션의 표면 정합 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    상기 산출된 의료영상 포인트의 점군집에 프로젝션될 각 카메라 포인트로부터의 프로젝션 방향을 산출하는, 수술용 내비게이션의 표면 정합 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 산출된 각 카메라 포인트로부터의 프로젝션 방향을 이용하여, 각 카메라 포인트와 대응하고 최단 거리가 되는 의료영상 포인트를 상기 의료영상 포인트의 점군집 내에서 생성하고, 상기 생성된 의료영상 포인트를 정합점으로 설정하는, 수술용 내비게이션의 표면 정합 장치.
  21. 프로세서에 의해 실행 가능한 적어도 하나의 프로그램을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 적어도 하나의 프로그램은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    수술 대상에 대한 카메라 포인트 클라우드 및 의료영상 포인트 클라우드를 획득하고,
    상기 획득된 카메라 포인트 클라우드 및 의료영상 포인트 클라우드 기반의 유전 알고리즘을 이용하여 각각의 카메라 포인트에 대응하는 의료영상 포인트의 점군집을 산출하고,
    상기 획득된 카메라 포인트 클라우드와 상기 산출된 의료영상 포인트의 점군집을 이용하여 정합점을 탐색하게 하는 명령어들을 포함하는, 비일실적 컴퓨터 판독 가능한 저장 매체.
KR1020190009981A 2019-01-25 2019-01-25 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치 KR102144012B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190009981A KR102144012B1 (ko) 2019-01-25 2019-01-25 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190009981A KR102144012B1 (ko) 2019-01-25 2019-01-25 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200092715A KR20200092715A (ko) 2020-08-04
KR102144012B1 true KR102144012B1 (ko) 2020-08-12

Family

ID=72038952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190009981A KR102144012B1 (ko) 2019-01-25 2019-01-25 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102144012B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102442090B1 (ko) * 2022-06-30 2022-09-13 주식회사 비엠이코리아 수술용 내비게이션 시스템에서의 점정합 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102428572B1 (ko) * 2020-12-10 2022-08-03 한국전자기술연구원 유전자 알고리즘을 이용한 경량 인공지능 알고리즘의 하이퍼 파라미터 최적화 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150138185A1 (en) * 2013-11-20 2015-05-21 Institute For Information Industry Method for building a three-dimensional model and apparatus thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150138185A1 (en) * 2013-11-20 2015-05-21 Institute For Information Industry Method for building a three-dimensional model and apparatus thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102442090B1 (ko) * 2022-06-30 2022-09-13 주식회사 비엠이코리아 수술용 내비게이션 시스템에서의 점정합 방법

Also Published As

Publication number Publication date
KR20200092715A (ko) 2020-08-04

Similar Documents

Publication Publication Date Title
Sakinis et al. Interactive segmentation of medical images through fully convolutional neural networks
US20180260531A1 (en) Training random decision trees for sensor data processing
Camposeco et al. Hybrid scene compression for visual localization
EP3295374B1 (en) Method and system for landmark detection in medical images using deep neural networks
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
US11188738B2 (en) System and method associated with progressive spatial analysis of prodigious 3D data including complex structures
KR102098929B1 (ko) 수술용 내비게이션의 표면 정합 방법 및 장치
US20120207359A1 (en) Image Registration
KR102144012B1 (ko) 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치
CN109584357B (zh) 基于多轮廓线的三维建模方法、装置、系统及存储介质
JP6595263B2 (ja) 医用画像処理装置および医用画像処理方法
WO2015188445A1 (zh) 点云三维模型重建方法及系统
Modrzejewski et al. An in vivo porcine dataset and evaluation methodology to measure soft-body laparoscopic liver registration accuracy with an extended algorithm that handles collisions
CN112837391B (zh) 坐标转换关系获取方法、装置、电子设备及存储介质
CN112862813A (zh) 标记点提取方法、装置、电子设备及计算机存储介质
Sahillioğlu A genetic isometric shape correspondence algorithm with adaptive sampling
JP2021511128A (ja) 画像セグメンテーションを評価するためのスペクトルマッチング
US11636175B2 (en) Selection of Pauli strings for Variational Quantum Eigensolver
CN111260704B (zh) 基于启发式树搜索的血管结构3d/2d刚性配准方法及装置
US10152651B2 (en) Medical image processing apparatus and medical image processing method
CN116113986A (zh) 用于病理器官分割的用户交互快速标注的用户引导域自适应
WO2018220461A1 (en) Surface-based object identification
EP3308354B1 (en) Selection of a subset of atlases from a set of candidate atlases
JPH10247204A (ja) 多次元検索方法及び装置
CN111242915B (zh) 基于蒙特卡洛树搜索的血管3d/2d配准方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant