KR102475727B1 - 신경망 모델을 이용한 표면 정합 방법 및 장치 - Google Patents

신경망 모델을 이용한 표면 정합 방법 및 장치 Download PDF

Info

Publication number
KR102475727B1
KR102475727B1 KR1020210037511A KR20210037511A KR102475727B1 KR 102475727 B1 KR102475727 B1 KR 102475727B1 KR 1020210037511 A KR1020210037511 A KR 1020210037511A KR 20210037511 A KR20210037511 A KR 20210037511A KR 102475727 B1 KR102475727 B1 KR 102475727B1
Authority
KR
South Korea
Prior art keywords
information
neural network
matching
network model
surface matching
Prior art date
Application number
KR1020210037511A
Other languages
English (en)
Other versions
KR20220132727A (ko
Inventor
심태용
유학제
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020210037511A priority Critical patent/KR102475727B1/ko
Publication of KR20220132727A publication Critical patent/KR20220132727A/ko
Application granted granted Critical
Publication of KR102475727B1 publication Critical patent/KR102475727B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 신경망 모델을 이용한 표면 정합 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 신경망 모델을 이용한 표면 정합 방법은, 의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하는 단계, 상기 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키는 단계, 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 이용한 표면 정합 알고리즘에 따라 표면 정합하는 단계, 및 상기 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시키는 단계를 포함한다.

Description

신경망 모델을 이용한 표면 정합 방법 및 장치{METHOD AND APPARATUS FOR IMPROVING SURFACE REGISTRATION USING NEURAL NETWORK MODEL}
본 발명은 신경망 모델을 이용한 표면 정합 방법 및 장치에 관한 것이다.
수술용 내비게이션에서 사용되는 표면정합은 수술 전 획득한 환자의 의료영상 정보(CT, Computed Tomography)와 수술 중 획득하는 환자공간 정보(광학식 카메라 정보(OTS, Optical Tracking System))로 구성된다. 수술 중 획득이 필요한 환자공간 정보는 적외선 카메라와 적외선 마커가 달린 수술 도구를 이용해 획득되게 된다. 의료영상 정보는 CT에서 획득한 단층영상을 3차원으로 재구축한 뒤 마칭 큐브 알고리즘을 통해 획득되어진다. 환자공간 정보는 광학식 카메라 시스템으로 4개의 마커가 부착된 수술도구의 3차원 마커 정보를 획득하여 끝단의 위치를 예측하는 방법으로 획득한다.
그러나, 서로 다른 두 시스템에서 획득한 점군집 정보의 형태는 개수나 모양이 상이하다는 문제점이 존재한다. 또한, 환자공간 정보는 시술자의 경험에 따라 매번 점군집 형태가 변화하며 점군집의 형태의 차이는 정합 결과의 편차를 발생시키는 문제를 초래한다.
표면 정합은 의료영상 정보(CT)와 환자공간 정보(광학식 카메라 시스템(OTS)으로 획득)에서 획득한 두 정보(두 개의 점군집)를 하나로 일치시키는 방법이다. 종래 방법의 문제는 서로 다른 시간대에서 획득하며 서로 다른 시스템에서 획득하는 정보이기 때문에 두 정보가 정확히 일치하지 않는다는 문제점이 있다.
이를 해결하기 위해, 본 발명의 실시예들은 수술용 내비게이션에서 사용되는 표면정합의 정확도를 향상시키기 위한, 신경망 모델을 이용한 표면 정합 방법 및 장치를 제공하고자 한다.
본 발명의 실시예들은 수술용 내비게이션에 사용되는 핵심 기술인 표면 정합에 사용되는 의료영상 정보와 환자공간 정보간 획득 시스템 차이로 발생하는 점군집 형태의 차이를 극복하여 병변 정합 정확도를 향상시키기 위한, 신경망 모델을 이용한 표면 정합 방법 및 장치를 제공하고자 한다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 표면 정합 정확도 향상 장치에 의해 수행되는 표면 정합 정확도 향상 방법에 있어서, 의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하는 단계; 상기 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키는 단계; 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 이용한 표면 정합 알고리즘에 따라 표면 정합하는 단계; 및 상기 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시키는 단계를 포함하는, 신경망 모델을 이용한 표면 정합 방법이 제공될 수 있다.
상기 제1 얼굴 표면 정보는, 상기 의료영상 정보에서 2차원 CT(Computed Tomography) 슬라이스를 이용하여 3차원으로 재구축한 뒤 최외곽 점군집으로 획득되고 2차원 영상에서 원하는 타겟점에 대한 위치를 사용자가 탐색하여 3차원 값으로 획득될 수 있다.
상기 제2 얼굴 표면 정보는, 광학식 카메라를 통해 수술 도구에 부착된 광학식 마커의 3차원 위치 정보로 획득되고 상기 획득된 3차원 위치 정보를 기반으로 상기 수술 도구의 끝단을 예측하여 획득될 수 있다.
상기 감소시키는 단계는, 오토 인코더 기반의 신경망 모델의 차원 축소를 통해 상기 획득된 제1 얼굴 표면 정보의 차원을 감소시킬 수 있다.
상기 표면 정합하는 단계는, 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 표면 정합 알고리즘인 ICP(Iterative closest points) 알고리즘을 통해 표면 정합할 수 있다.
상기 정합 정확도를 향상시키는 단계는, 상기 표면 정합된 결과를 이용하여 상기 의료영상 정보와 상기 환자공간 정보에 대한 타겟 정합 오차(TRE, target registration error)를 타겟의 정합 정확도로 계산할 수 있다.
상기 정합 정확도를 향상시키는 단계는, 상기 계산된 타겟 정합 오차를 최소화하기 위해 상기 신경망 모델의 제1 하이퍼 파라미터를 갱신하거나, 상기 표면 정합 알고리즘의 제2 하이퍼 파라미터를 갱신할 수 있다.
상기 정합 정확도를 향상시키는 단계는, 상기 계산된 타겟 정합 오차를 최소화하기 위한 상기 신경망 모델의 제1 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제1 하이퍼 파라미터를 갱신할 수 있다.
상기 정합 정확도를 향상시키는 단계는, 은닉층의 개수(Number of hidden layers), 뉴런의 개수(Number of neurons), L2 가중치 정규화(weight regularization), 희소성 정규화(Sparse regularization), 희소성 비율(Sparsity proportion), 및 활성화 함수(Activation functions) 중에서 적어도 하나의 하이퍼 파라미터를 갱신할 수 있다.
상기 정합 정확도를 향상시키는 단계는, 상기 계산된 타겟 정합 오차를 최소화하기 위한 상기 표면 정합 알고리즘의 제2 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제2 하이퍼 파라미터를 갱신할 수 있다.
상기 정합 정확도를 향상시키는 단계는, 메트릭 타입(Metric types), 인라이어 비율(Inlier ratio), 및 반복 횟수(Number of iterations) 중에서 적어도 하나의 제2 하이퍼 파라미터를 갱신할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 신경망 모델을 이용한 표면 정합과 관련된 하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하고, 상기 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키고, 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 이용한 표면 정합 알고리즘에 따라 표면 정합하고, 상기 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시키는, 신경망 모델을 이용한 표면 정합 장치가 제공될 수 있다.
상기 제1 얼굴 표면 정보는, 상기 의료영상 정보에서 2차원 CT(Computed Tomography) 슬라이스를 이용하여 3차원으로 재구축한 뒤 최외곽 점군집으로 획득되고 2차원 영상에서 원하는 타겟점에 대한 위치를 사용자가 탐색하여 3차원 값으로 획득될 수 있다.
상기 제2 얼굴 표면 정보는, 광학식 카메라를 통해 수술 도구에 부착된 광학식 마커의 3차원 위치 정보로 획득되고 상기 획득된 3차원 위치 정보를 기반으로 상기 수술 도구의 끝단을 예측하여 획득될 수 있다.
상기 프로세서는, 오토 인코더 기반의 신경망 모델의 차원 축소를 통해 상기 획득된 제1 얼굴 표면 정보의 차원을 감소시킬 수 있다.
상기 프로세서는, 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 표면 정합 알고리즘인 ICP(Iterative closest points) 알고리즘을 통해 표면 정합할 수 있다.
상기 프로세서는, 상기 표면 정합된 결과를 이용하여 상기 의료영상 정보와 상기 환자공간 정보에 대한 타겟 정합 오차(TRE, target registration error)를 타겟의 정합 정확도로 계산할 수 있다.
상기 프로세서는, 상기 계산된 타겟 정합 오차를 최소화하기 위해 상기 신경망 모델의 제1 하이퍼 파라미터를 갱신하거나, 상기 표면 정합 알고리즘의 제2 하이퍼 파라미터를 갱신할 수 있다.
상기 프로세서는, 상기 계산된 타겟 정합 오차를 최소화하기 위한 상기 신경망 모델의 제1 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제1 하이퍼 파라미터를 갱신할 수 있다.
상기 프로세서는, 은닉층의 개수(Number of hidden layers), 뉴런의 개수(Number of neurons), L2 가중치 정규화(weight regularization), 희소성 정규화(Sparse regularization), 희소성 비율(Sparsity proportion), 및 활성화 함수(Activation functions) 중에서 적어도 하나의 제1 하이퍼 파라미터를 갱신할 수 있다.
상기 프로세서는, 상기 계산된 타겟 정합 오차를 최소화하기 위한 상기 표면 정합 알고리즘의 제2 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제2 하이퍼 파라미터를 갱신할 수 있다.
상기 프로세서는, 메트릭 타입(Metric types), 인라이어 비율(Inlier ratio), 및 반복 횟수(Number of iterations) 중에서 적어도 하나의 제2 하이퍼 파라미터를 갱신할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하는 단계; 상기 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키는 단계; 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 이용한 표면 정합 알고리즘에 따라 표면 정합하는 단계; 및 상기 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시키는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 실시예들은 수술용 내비게이션에서 사용되는 표면정합의 정확도를 향상시킬 수 있다.
본 발명의 실시예들은 수술용 내비게이션에 사용되는 핵심 기술인 표면 정합에 사용되는 의료영상 정보와 환자공간 정보간 획득 시스템 차이로 발생하는 점군집 형태의 차이를 극복하여 병변 정합 정확도를 향상시킬 수 있다.
본 발명의 실시예들은 오토 인코더 기반의 신경망 모델을 사용하여 CT로 획득한 고차원의 의료영상 정보를 OTS로 획득한 환자공간 정보에 매칭되는 새로운 저차원의 포인트 클라우드를 생성함으로써, 환자공간 정보에 대응되는 의료영상(CT) 정보를 획득할 수 있다.
본 발명의 실시예들은 의료영상 정보와 환자공간 정보의 상이함으로 인해 발생하는 병변 정합 정확도의 저하 문제를 극복할 수 있다.
이와 더불어, 본 발명의 실시예들은 사용자의 숙련도에 따라 매번 변화하는 점군집의 형태에 종속적으로 변화하는 병변 정합 정확도의 감소 현상을 극복할 수 있다.
또한, 본 발명의 실시예들은 정확한 대응점을 확보하기 위해 오토 인코더 기반의 신경망 모델의 하이퍼 파라미터 또는 표면 정합 알고리즘의 하이퍼 파라미터를 최적화하여 수술용 내비게이션에서 사용할 수 있는 새로운 정합 모델을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 신경망 모델을 이용한 표면 정합 장치의 구성도이다.
도 2 및 도 3은 본 발명의 일 실시예에 사용되는 의료영상의 표면 정보 및 타겟 정보를 나타낸 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 사용되는 환자공간의 표면 정보 및 타겟 정보를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 신경망 모델을 이용한 표면 정합 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 신경망 모델을 이용한 표면 정합 방법에 대한 동작 흐름도이다.
도 8은 본 발명의 일 실시예에 사용되는 하이퍼 파라미터와 제약조건을 나타낸 도면이다.
도 9는 본 발명의 일 실시예와 종래 기술 간의 병변 정합 정확도 결과를 비교한 도면이다.
도 10은 본 발명의 일 실시예에 사용되는 신경망 모델 및 ICP 알고리즘의 최적 하이퍼 파라미터 값을 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
우선, 본 발명의 일 실시예에 사용되는 정보는 의료영상 정보(CT)와 환자공간 정보(OTS)이다. 그리고 각 정보에는 얼굴 표면 정보와 병변 역할을 하는 타겟 정보가 존재한다. 본 발명의 일 실시예는 의료영상과 환자공간의 타겟 정보들 간 정합 정확도를 최소화시킨다. 이를 달성하기 위해 사용되는 것이 환자공간의 얼굴 표면 정보에 대응되는 의료영상의 최적 얼굴 표면 정보를 획득하는 것이다. 따라서, 오토 인코더 기반의 신경망 모델에 입력되는 입력 정보는 얼굴 표면 정보가 사용되고, 신경망 모델의 파라미터 최적화를 위한 기준 정보는 타겟 정보 간 오차 값 (의료정보와 환자공간 정보의 거리 값)이 된다.
다음으로 본 발명의 일 실시예는 환자공간 정보에 대응되는 의료영상 정보 내의 대응점을 생성하기 위해 오토 인코더 기반의 신경망 모델을 이용한다. 오토 인코더 기반 신경망 모델은 고차원의 정보를 저차원으로 줄일 수 있는 모델로서, 고차원의 의료영상 정보에서 환자공간 정보를 기반으로 차원 축소를 통해 의료영상 정보를 환자공간 정보의 차원으로 감소시키는 역할을 한다. 차원 감소를 통해 획득한 최적 의료영상 표면 정보는 ICP 알고리즘에 적용하여 타겟 정보에 대한 오차를 확인하고 모델 갱신 여부를 확인한다. 본 발명의 일 실시예의 최종 목적은 타겟 정보에 대한 정확도를 향상시키는 것이다. 이를 위해, 본 발명의 일 실시예는 베이시안 최적화 방법을 통해 내부 파라미터를 반복적으로 갱신하여 신경망 모델을 최적화한다.
이와 같이, 본 발명의 일 실시예는 수술용 내비게이션의 병변 정합 정확도를 향상시키기 위한 것이다. 본 발명의 일 실시예는 의료영상 정보에서 환자공간 정보에 대응하는 대응점을 확보하기 위해 오토 인코더 기반의 신경망 모델을 통해 차원 축소를 수행하여 정확한 대응점을 생성한다. 본 발명의 일 실시예에서 사용한 오토 인코더 기반의 신경망 모델은 딥러닝에서 차원 축소를 통해 고차원의 정보를 저차원의 유의미한 특징으로 획득한다. 본 발명의 일 실시예에서는 오토 인코더 기반의 신경망 모델의 내부 하이퍼 파라미터를 표면 정합에 적합하도록 최적화했다는 것에 종래 기술과 그 차별화된 기술이 있다. 본 발명의 일 실시예에 대한 검증은 Iterative closest points (ICP)를 이용해 최적 의료영상 정보와 환자 공간 정보를 정합하고, 이에 따른 병변 정합 정확도의 계산하여 종래 기술과 본 발명의 일 실시예에서 제시한 방법 간 결과 값의 차이를 비교함으로써 수행하였다.
도 1은 본 발명의 일 실시예에 따른 신경망 모델을 이용한 표면 정합 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 신경망 모델을 이용한 표면 정합 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 표면 정합 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 표면 정합 장치(100)가 구현될 수 있다.
우선, 표면 정합 장치(100)는 의료 영상 기기(101)로부터 환자 공간의 점군집을 획득한다. 의료 영상 기기(101)는 의료 영상 모듈을 통해 수술 대상 내부를 촬영하여 환자 공간의 점군집을 획득한다. 의료 영상 모듈에는 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나가 될 수 있다. 의료 영상 기기(101)는 환자 공간의 점군집을 획득하여 표면 정합 장치(100)로 전달한다.
그리고 표면 정합 장치(100)는 표면 영상 기기(102)로부터 환자 공간의 점군집을 획득한다. 일례로, 표면 영상 기기(102)는 광학 카메라 시스템을 통해 수술 대상 표면을 촬영하여 환자 공간의 점군집을 획득한다. 표면 영상 기기(102)는 환자 공간의 점군집을 획득하여 표면 정합 장치(100)로 전달한다.
이와 같이, 본 발명의 일 실시예에서는 의료 영상 기기(101)에서 획득되는 의료 영상 공간의 점군집과 표면 영상 기기(102)로 획득되는 환자 공간의 점군집이 사용되게 된다.
표면 정합 장치(100)는 의료 영상 기기(101)로부터 전달된 환자 공간의 점군집과 표면 영상 기기(102)로부터 전달된 환자 공간의 점군집을 이용하여 신경망 모델 기반으로 표면 정합의 병변 정확도를 향상시킬 수 있다.
이하, 도 1의 표면 정합 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
메모리(110)는 신경망 모델을 기반으로 표면 정합의 병변 정확도를 향상시키기 위한 하나 이상의 프로그램을 저장한다. 메모리(110)는 의료 영상 기기(101)로부터 전달된 의료영상 정보, 표면 영상 기기(102)로부터 전달된 환자공간 정보, 오토 인코더 기반의 신경망 모델 등을 저장한다.
프로세서(120)는 메모리(110)에 저장된 하나 이상의 프로그램을 실행한다. 프로세서(120)는 의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하고, 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키고, 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 이용한 표면 정합 알고리즘에 따라 표면 정합하고, 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시킨다.
실시예들에 따르면, 제1 얼굴 표면 정보는 의료영상 정보에서 2차원 CT(Computed Tomography) 슬라이스를 이용하여 3차원으로 재구축한 뒤 최외곽 점군집으로 획득되고 2차원 영상에서 원하는 타겟점에 대한 위치를 사용자가 탐색하여 3차원 값으로 획득될 수 있다.
실시예들에 따르면, 제2 얼굴 표면 정보는 광학식 카메라를 통해 수술 도구에 부착된 광학식 마커의 3차원 위치 정보로 획득되고 획득된 3차원 위치 정보를 기반으로 상기 수술 도구의 끝단을 예측하여 획득될 수 있다.
실시예들에 따르면, 프로세서(120)는 오토 인코더 기반의 신경망 모델의 차원 축소를 통해 상기 획득된 제1 얼굴 표면 정보의 차원을 감소시킬 수 있다.
실시예들에 따르면, 프로세서(120)는 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 표면 정합 알고리즘인 ICP(Iterative closest points) 알고리즘을 통해 표면 정합할 수 있다.
실시예들에 따르면, 프로세서(120)는 표면 정합된 결과를 이용하여 의료영상 정보와 환자공간 정보에 대한 타겟 정합 오차(TRE, target registration error)를 타겟의 정합 정확도로 계산할 수 있다.
실시예들에 따르면, 프로세서(120)는 계산된 타겟 정합 오차를 최소화하기 위해 상기 신경망 모델의 제1 하이퍼 파라미터를 갱신하거나, 표면 정합 알고리즘의 제2 하이퍼 파라미터를 갱신할 수 있다.
실시예들에 따르면, 프로세서(120)는 계산된 타겟 정합 오차를 최소화하기 위한 신경망 모델의 제1 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제1 하이퍼 파라미터를 갱신할 수 있다.
실시예들에 따르면, 프로세서(120)는 은닉층의 개수(Number of hidden layers), 뉴런의 개수(Number of neurons), L2 가중치 정규화(weight regularization), 희소성 정규화(Sparse regularization), 희소성 비율(Sparsity proportion), 및 활성화 함수(Activation functions) 중에서 적어도 하나의 제1 하이퍼 파라미터를 갱신할 수 있다.
실시예들에 따르면, 프로세서(120)는 계산된 타겟 정합 오차를 최소화하기 위한 표면 정합 알고리즘의 제2 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제2 하이퍼 파라미터를 갱신할 수 있다.
실시예들에 따르면, 프로세서(120)는 메트릭 타입(Metric types), 인라이어 비율(Inlier ratio), 및 반복 횟수(Number of iterations) 중에서 적어도 하나의 제2 하이퍼 파라미터를 갱신할 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 사용되는 의료영상의 표면 정보 및 타겟 정보를 나타낸 도면이다.
본 발명의 일 실시예에 사용되는 의료영상 정보는 CT 정보이다. 의료영상 정보는 얼굴 표면과 병변 역할을 하는 타겟으로 구성된다. 얼굴 표면 정보는 획득한 2차원 CT 슬라이스를 이용하여 3차원으로 재구축한 뒤, 최외곽 점군집을 획득함으로써 획득되어진다. 그리고 타겟 정보는 프로그램을 통해 축력된 2차원의 영상에서 원하는 타겟점에 대한 위치를 사용자가 탐색하여 3차원 (x,y,z)값을 확보한다.
도 4 및 도 5는 본 발명의 일 실시예에 사용되는 환자공간의 표면 정보 및 타겟 정보를 나타낸 도면이다.
본 발명의 일 실시예에 사용되는 환자공간 정보는 광학 추적 시스템(optical tracking system, OTS) 정보이다. 환자공간 정보는 광학식 카메라 시스템을 기반으로 획득된다. 광학식 카메라를 통해 수술도구에 부착된 광학식 마커의 3차원 위치 정보를 획득하고 이를 기반으로 수술도구의 끝단을 예측함으로써 획득되어진다.
환자공간 정보도 의료영상과 동일하게 얼굴 표면과 병변 역할을 하는 타겟 정보로 구성된다. 환자공간의 얼굴표면은 수술도구로 두상 팬텀의 얼굴을 아래와 같이 문지르듯이 움직임으로써 확보한다. 또한, 타겟 정보는 수술 도구로 타겟 점을 선택하고 끝단의 정보를 산출하여 획득한다.
도 6은 본 발명의 일 실시예에 따른 신경망 모델을 이용한 표면 정합 방법에 대한 흐름도이다.
도 6에는 CT와 OTS를 각각 이용해 획득된 두 개의 얼굴 표면 정보를 오토 인코더 기반의 신경망(딥러닝) 모델에 입력하여 최적 의료영상 정보를 획득하고 신경망 모델을 최적화하는 과정이 나타나 있다.
단계 S101에서, 표면 정합 장치(100)는 CT와 OTS를 이용하여 환자에 대한 의료영상과 환자공간의 표면정보를 획득한다.
단계 S102에서, 표면 정합 장치(100)는 오토 인코더 기반의 신경망 모델을 사용하여 고차원의 의료영상 정보(CT)를 저차원의 환자공간 정보(OTS) 수준까지 하기 [수학식 1]과 같이 차원 축소한다.
Figure 112021034113335-pat00001
여기서
Figure 112021034113335-pat00002
는 CT 스캔으로 획득한 안면의 포인트-클라우드 정보로써 입력변수를,
Figure 112021034113335-pat00003
는
Figure 112021034113335-pat00004
로부터 추출된 특징점으로써 Latent 변수를 각각 나타낸다.
Figure 112021034113335-pat00005
는
Figure 112021034113335-pat00006
로부터
Figure 112021034113335-pat00007
를 추출하는 변환을 의미하며, 이 변환에 사용되는 σ, ω와 b는 활성화 함수, 가중치 행렬과 편향 벡터를 각각 나타낸다.
신경망 모델의 하이퍼 파라미터(
Figure 112021034113335-pat00008
)에는 은닉층의 개수(Number of hidden layers), 뉴런의 개수(Number of neurons), L2 가중치 정규화(weight regularization), 희소성 정규화(Sparse regularization), 희소성 비율(Sparsity proportion), 및 활성화 함수(Activation functions) 중에서 적어도 하나의 하이퍼 파라미터가 포함될 수 있다.
단계 S103에서, 표면 정합 장치(100)는 차원이 축소되어 새롭게 생성된 포인트 클라우드와 타겟이 되는 환자공간 정보(OTS) 를 이용하여 ICP를 하기 [수학식 2]와 같이 수행한다.
Figure 112021034113335-pat00009
여기서,
Figure 112021034113335-pat00010
는 CT로부터 추출된 특징점(
Figure 112021034113335-pat00011
)과 OTS에 의해 획득된 포인트-클라우드(
Figure 112021034113335-pat00012
, 타겟 변수)간 정합을 수행하는 함수로써 두 정보간 오차를 최소화하는 변환을 찾는다. 이 함수에 사용되는
Figure 112021034113335-pat00013
와
Figure 112021034113335-pat00014
는 각각 회전변환과 병진변환을 의미한다.
ICP 알고리즘의 제1 하이퍼 파라미터에는 메트릭 타입(Metric types), 인라이어 비율(Inlier ratio), 및 반복 횟수(Number of iterations) 중에서 적어도 하나의 제2 하이퍼 파라미터가 포함될 수 있다.
단계 S104에서, 표면 정합 장치(100)는 ICP 결과를 이용하여 의료영상 정보와 환자공간 정보에 대한 타겟의 정합 정확도 오차(i.e. TRE)를 하기 [수학식 3]과 같이 계산한다.
Figure 112021034113335-pat00015
여기서, TRE는 정합도 오차를,
Figure 112021034113335-pat00016
는
Figure 112021034113335-pat00017
로부터 계산된 정합변환을,
Figure 112021034113335-pat00018
와
Figure 112021034113335-pat00019
는 OTS와 CT 스캔으로부터 획득한 포인트-클라우드를 나타낸다.
단계 S105에서, 표면 정합 장치(100)는 정합 정확도 오차를 최소화하기 위한 신경망 모델 및 ICP 알고리즘의 모든 하이퍼 파라미터를 학습을 통해 결정한다.
Figure 112021034113335-pat00020
결국, 정합도 오차(TRE)를 최소화하는
Figure 112021034113335-pat00021
을 찾아내는 것이다.
표면 정합 장치(100)는 높은 정합 정확도와 효율적인 학습이 보장된 신경망 모델과 ICP 알고리즘을 결정하기 위해서는 이 과정에서 사용되는 하이퍼 파라미터들을 하기 [수학식 5]와 같이 최적화할 수 있다.
Figure 112021034113335-pat00022
여기서,
Figure 112021034113335-pat00023
는 최적화된 하이퍼-파라미터,
Figure 112021034113335-pat00024
는 최적화 대상이 되는 하이퍼-파라미터를 나타낸다. 결국, 정합도 오차(TRE)를 최소화하는 하이퍼-파라미터를 탐색하는 것이다.
이를 위해 표면 정합 장치(100)는 TRE를 최소화 하는 것을 목적함수로 하는 예측된 개선을 갖는 베이시안 최적화를 사용한다. 베이시안 최적화는 가우시안 프로세스 (분포)(Gaussian process (distribution))를 이용하여 사전지식 기반으로 미지의(unknown) 목적함수를 최소화하는 최적의 해를 탐색하는 방법이다.
Figure 112021034113335-pat00025
여기서,
Figure 112021034113335-pat00026
는 데이터 집합
Figure 112021034113335-pat00027
에 대해 표준화된 하이퍼-파라미터들(
Figure 112021034113335-pat00028
)의 베이시안 최적화 결과를 나타내며,
Figure 112021034113335-pat00029
와
Figure 112021034113335-pat00030
는 하이퍼-파라미터들을 최적화하기 위해 사용된 확률모델에서의 사후 평균과 표준편차를 의미한다. 또한
Figure 112021034113335-pat00031
와
Figure 112021034113335-pat00032
는 각각 누적 분포 함수와 활률 밀도 함수를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 표면 정합 방법에서 신경망 모델의 구조와 이에 대한 동작 흐름도이다.
단계 S201 및 S202에서, 표면 정합 장치(100)는 의료영상(CT)과 환자공간 정보(광학식카메라 시스템(OTS))에서 얼굴 표면 정보 즉, 얼굴 점군집(Facial point cloud)를 획득한다.
단계 S203에서, 표면 정합 장치(100)는 의료영상(CT) 정보를 차원 축소하여 환자공간 정보(광학식카메라 시스템(OTS))에 대응되는 차원으로 감소시킨다.
단계 S204에서, 표면 정합 장치(100)는 ICP 알고리즘을 이용하여 표면 정합을 수행한다.
단계 S205에서, 표면 정합 장치(100)는 정합 정확도 오차(TRE)가 최소화되는지를 확인한다. 여기서, 목적 함수(Objective function)는 의료영상 정보와 환자공간 정보에 대한 타겟의 정합 정확도 간의 차이를 최소화시키는 것이다. 즉, 표면 정합 장치(100)는 의료영상(CT)과 환자공간(OTS)의 병변 정합 정확도가 수렴되었는지를 확인한다.
단계 S206에서, 표면 정합 장치(100)는 정합 정확도 오차(TRE)가 최소화되지 않으면 베이시안 최적화(Beysian optimization)를 수행한다.
단계 S207에서, 표면 정합 장치(100)는 신경망 모델의 하이퍼 파라미터를 최적화한다. 이와 같이, 표면 정합 장치(100)는 정합 정확도 오차(TRE)가 최소화되지 않으면 ICP 알고리즘 및 신경망 모델의 하이퍼 파라미터를 갱신한다.
한편, 단계 S208에서, 표면 정합 장치(100)는 정합 정확도 오차(TRE)가 최소화되면 표면 정합을 향상시키기 위한 동작을 종료한다. 즉, 표면 정합 장치(100)는 정합 정확도 오차(TRE)가 최소화되는 ICP 알고리즘 및 신경망 모델의 하이퍼 파라미터를 결정한다.
도 8은 본 발명의 일 실시예에 사용되는 하이퍼 파라미터와 제약조건을 나타낸 도면이다.
본 발명의 일 실시예에 사용되는 하이퍼 파라미터와 제약조건을 살펴보기로 한다.
본 발명의 일 실시예에 사용되는 신경망 모델의 하이퍼 파라미터에는 은닉층의 개수(Number of hidden layers), L2 가중치 정규화(L2 Weight Regularization), 희소 정규화(Sparse regularization), 희소성 비율(Sparsity Proportion) 및 활성화 함수(Activation function) 중에서 적어도 하나의 제1 하이퍼 파라미터가 포함될 수 있다. 각 하이퍼 파라미터에 대한 제약 조건은 도 8에 나타나 있다.
본 발명의 일 실시예에 사용되는 ICP 알고리즘의 하이퍼 파라미터에는 메트릭 계산 타입(Metric calculation types), 인라이어 비율(Inlier ratio), 및 반복 횟수(Number of iterations) 중에서 적어도 하나의 제2 하이퍼 파라미터가 포함될 수 있다. 각 하이퍼 파라미터에 대한 제약 조건은 도 8에 나타나 있다.
도 9는 본 발명의 일 실시예와 종래 기술 간의 병변 정합 정확도 결과를 비교한 도면이다.
본 발명(Present invention)의 일 실시예는 표면 정합의 병변 정합 정확도 향상을 위한 것이다. 본 발명의 일 실시예에 따른 표면 정합 향상 방법의 효과를 검증하고자 두상 모형을 대상으로 종래 기술(Conventional)과 본 발명의 일 실시예에 따른 표면 정합 향상 방법의 결과값을 비교하였다. 표면 정합의 병변 정합 정확도는 로봇 수술의 핵심 기술인 수술용 내비게이션의 성능을 평가할 수 있는 지표이다. 본 발명의 일 실시예의 결과는 종래의 통상적으로 사용되는 방법의 결과와 비교하여 1mm이상 정확도를 향상시킬 수 있었다. 이러한 결과는 수술용 내비게이션 시스템의 성능 고도화에 사용할 수 있는 기술임을 시사하며 높은 정확도를 요구하는 신경계 수술에 활용 가능할 것으로 판단된다.
도 10은 본 발명의 일 실시예에 사용되는 신경망 모델 및 ICP 알고리즘의 최적 하이퍼 파라미터 값을 나타낸 도면이다.
도 10에는 본 발명의 일 실시예에 사용되는 신경망 모델의 하이퍼 파라미터인 은닉층의 개수(Number of hidden layers), 뉴런의 개수(Number of neurons), L2 가중치 정규화(weight regularization), 희소성 정규화(Sparse regularization), 희소성 비율(Sparsity proportion), 및 인코더 함수(Encoder functions)에 대해 팬텀(Phantom) 별로 최적 하이퍼 파라미터 값이 나타나 있다.
또한, 도 10에는 본 발명의 일 실시예에 사용되는 ICP 알고리즘의 하이퍼 파라미터인 메트릭 계산(Metric calculation), 인라이어 비율(Inlier ratio), 및 반복 횟수(Number of iterations)에 대해 팬텀(Phantom) 별로 최적 하이퍼 파라미터 값이 나타나 있다.
한편, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하는 단계; 상기 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키는 단계; 차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 이용한 표면 정합 알고리즘에 따라 표면 정합하는 단계; 및 상기 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시키는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100; 표면 정합 장치
110: 메모리
120: 프로세서
101: 의료 영상 기기
102: 표면 영상 기기

Claims (23)

  1. 표면 정합 정확도 향상 장치에 의해 수행되는 표면 정합 정확도 향상 방법에 있어서,
    의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하는 단계;
    상기 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키는 단계;
    차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보-획득된 후 차원 축소되지 않음-를 이용한 표면 정합 알고리즘에 따라 표면 정합하는 단계; 및
    상기 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시키는 단계를 포함하는, 신경망 모델을 이용한 표면 정합 방법.
  2. 제1항에 있어서,
    상기 제1 얼굴 표면 정보는,
    상기 의료영상 정보에서 2차원 CT(Computed Tomography) 슬라이스를 이용하여 3차원으로 재구축한 뒤 최외곽 점군집으로 획득되고 2차원 영상에서 원하는 타겟점에 대한 위치를 사용자가 탐색하여 3차원 값으로 획득되는, 신경망 모델을 이용한 표면 정합 방법.
  3. 제1항에 있어서,
    상기 제2 얼굴 표면 정보는,
    광학식 카메라를 통해 수술 도구에 부착된 광학식 마커의 3차원 위치 정보로 획득되고 상기 획득된 3차원 위치 정보를 기반으로 상기 수술 도구의 끝단을 예측하여 획득되는, 신경망 모델을 이용한 표면 정합 방법.
  4. 제1항에 있어서,
    상기 감소시키는 단계는,
    오토 인코더 기반의 신경망 모델의 차원 축소를 통해 상기 획득된 제1 얼굴 표면 정보의 차원을 감소시키는, 신경망 모델을 이용한 표면 정합 방법.
  5. 제1항에 있어서,
    상기 표면 정합하는 단계는,
    차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 표면 정합 알고리즘인 ICP(Iterative closest points) 알고리즘을 통해 표면 정합하는, 신경망 모델을 이용한 표면 정합 방법.
  6. 제1항에 있어서,
    상기 정합 정확도를 향상시키는 단계는,
    상기 표면 정합된 결과를 이용하여 상기 의료영상 정보와 상기 환자공간 정보에 대한 타겟 정합 오차(TRE, target registration error)를 타겟의 정합 정확도로 계산하는, 신경망 모델을 이용한 표면 정합 방법.
  7. 제6항에 있어서,
    상기 정합 정확도를 향상시키는 단계는,
    상기 계산된 타겟 정합 오차를 최소화하기 위해 상기 신경망 모델의 제1 하이퍼 파라미터를 갱신하거나, 상기 표면 정합 알고리즘의 제2 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 방법.
  8. 제7항에 있어서,
    상기 정합 정확도를 향상시키는 단계는,
    상기 계산된 타겟 정합 오차를 최소화하기 위한 상기 신경망 모델의 제1 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제1 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 방법.
  9. 제6항에 있어서,
    상기 정합 정확도를 향상시키는 단계는,
    은닉층의 개수(Number of hidden layers), 뉴런의 개수(Number of neurons), L2 가중치 정규화(weight regularization), 희소성 정규화(Sparse regularization), 희소성 비율(Sparsity proportion), 및 활성화 함수(Activation functions) 중에서 적어도 하나의 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 방법.
  10. 제7항에 있어서,
    상기 정합 정확도를 향상시키는 단계는,
    상기 계산된 타겟 정합 오차를 최소화하기 위한 상기 표면 정합 알고리즘의 제2 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제2 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 방법.
  11. 제10항에 있어서,
    상기 정합 정확도를 향상시키는 단계는,
    메트릭 타입(Metric types), 인라이어 비율(Inlier ratio), 및 반복 횟수(Number of iterations) 중에서 적어도 하나의 제2 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 방법.
  12. 신경망 모델을 이용한 표면 정합과 관련된 하나 이상의 프로그램을 저장하는 메모리; 및
    상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하고,
    상기 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키고,
    차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보-획득된 후 차원 축소되지 않음-를 이용한 표면 정합 알고리즘에 따라 표면 정합하고,
    상기 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시키는, 신경망 모델을 이용한 표면 정합 장치.
  13. 제12항에 있어서,
    상기 제1 얼굴 표면 정보는,
    상기 의료영상 정보에서 2차원 CT(Computed Tomography) 슬라이스를 이용하여 3차원으로 재구축한 뒤 최외곽 점군집으로 획득되고 2차원 영상에서 원하는 타겟점에 대한 위치를 사용자가 탐색하여 3차원 값으로 획득되는, 신경망 모델을 이용한 표면 정합 장치.
  14. 제12항에 있어서,
    상기 제2 얼굴 표면 정보는,
    광학식 카메라를 통해 수술 도구에 부착된 광학식 마커의 3차원 위치 정보로 획득되고 상기 획득된 3차원 위치 정보를 기반으로 상기 수술 도구의 끝단을 예측하여 획득되는, 신경망 모델을 이용한 표면 정합 장치.
  15. 제12항에 있어서,
    상기 프로세서는,
    오토 인코더 기반의 신경망 모델의 차원 축소를 통해 상기 획득된 제1 얼굴 표면 정보의 차원을 감소시키는, 신경망 모델을 이용한 표면 정합 장치.
  16. 제12항에 있어서,
    상기 프로세서는,
    차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보를 표면 정합 알고리즘인 ICP(Iterative closest points) 알고리즘을 통해 표면 정합하는, 신경망 모델을 이용한 표면 정합 장치.
  17. 제12항에 있어서,
    상기 프로세서는,
    상기 표면 정합된 결과를 이용하여 상기 의료영상 정보와 상기 환자공간 정보에 대한 타겟 정합 오차(TRE, target registration error)를 타겟의 정합 정확도로 계산하는, 신경망 모델을 이용한 표면 정합 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 계산된 타겟 정합 오차를 최소화하기 위해 상기 신경망 모델의 제1 하이퍼 파라미터를 갱신하거나, 상기 표면 정합 알고리즘의 제2 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 계산된 타겟 정합 오차를 최소화하기 위한 상기 신경망 모델의 제1 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제1 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    은닉층의 개수(Number of hidden layers), 뉴런의 개수(Number of neurons), L2 가중치 정규화(weight regularization), 희소성 정규화(Sparse regularization), 희소성 비율(Sparsity proportion), 및 활성화 함수(Activation functions) 중에서 적어도 하나의 제1 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 장치.
  21. 제18항에 있어서,
    상기 프로세서는,
    상기 계산된 타겟 정합 오차를 최소화하기 위한 상기 표면 정합 알고리즘의 제2 하이퍼 파라미터를 학습하고 학습된 결과에 따라 제2 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 장치.
  22. 제21항에 있어서,
    상기 프로세서는,
    메트릭 타입(Metric types), 인라이어 비율(Inlier ratio), 및 반복 횟수(Number of iterations) 중에서 적어도 하나의 제2 하이퍼 파라미터를 갱신하는, 신경망 모델을 이용한 표면 정합 장치.
  23. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
    의료영상 정보에서 제1 얼굴 표면 정보를 획득하고, 환자공간 정보에서 제2 얼굴 표면 정보를 획득하는 단계;
    상기 획득된 제1 얼굴 표면 정보를 신경망 모델의 차원 축소를 통해 상기 환자공간 정보에 대응되는 차원으로 감소시키는 단계;
    차원이 감소된 제1 얼굴 표면 정보와 상기 획득된 제2 얼굴 표면 정보-획득된 후 차원 축소되지 않음-를 이용한 표면 정합 알고리즘에 따라 표면 정합하는 단계; 및
    상기 표면 정합된 결과를 학습하고 학습된 결과를 이용하여 타겟의 정합 정확도를 향상시키는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
KR1020210037511A 2021-03-23 2021-03-23 신경망 모델을 이용한 표면 정합 방법 및 장치 KR102475727B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210037511A KR102475727B1 (ko) 2021-03-23 2021-03-23 신경망 모델을 이용한 표면 정합 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210037511A KR102475727B1 (ko) 2021-03-23 2021-03-23 신경망 모델을 이용한 표면 정합 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220132727A KR20220132727A (ko) 2022-10-04
KR102475727B1 true KR102475727B1 (ko) 2022-12-09

Family

ID=83600213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037511A KR102475727B1 (ko) 2021-03-23 2021-03-23 신경망 모델을 이용한 표면 정합 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102475727B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102683018B1 (ko) 2024-04-15 2024-07-10 주식회사 비엠이코리아 수술용 내비게이션 시스템에서 초기 정합 정확도를 개선하기 위한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640143A (zh) * 2020-04-12 2020-09-08 复旦大学 一种基于PointNet的神经导航快速面配准方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102078737B1 (ko) * 2018-02-08 2020-02-19 성균관대학교산학협력단 수술용 내비게이션의 표면 정합 방법 및 수술용 내비게이션 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640143A (zh) * 2020-04-12 2020-09-08 复旦大学 一种基于PointNet的神经导航快速面配准方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yasuhiro Aoki 외 3인, PointNetLK: Robust & Efficient Point Cloud Registration using PointNet(2019.04.04.) 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102683018B1 (ko) 2024-04-15 2024-07-10 주식회사 비엠이코리아 수술용 내비게이션 시스템에서 초기 정합 정확도를 개선하기 위한 방법

Also Published As

Publication number Publication date
KR20220132727A (ko) 2022-10-04

Similar Documents

Publication Publication Date Title
EP3093821B1 (en) Method and system for anatomical object pose detection using marginal space deep neural networks
US9668699B2 (en) Method and system for anatomical object detection using marginal space deep neural networks
US10467495B2 (en) Method and system for landmark detection in medical images using deep neural networks
KR20240069802A (ko) 3차원 객체 재구성
WO2018189541A1 (en) Recist assessment of tumour progression
CN110866864A (zh) 人脸姿态估计/三维人脸重构方法、装置及电子设备
CN109102490A (zh) 自动图像注册质量评估
Hontani et al. Robust nonrigid ICP using outlier-sparsity regularization
KR102450931B1 (ko) 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치
US20090324041A1 (en) Apparatus for real-time 3d biopsy
US11562493B2 (en) Method and apparatus for generating a universal atlas database
US20080310760A1 (en) Method, a System and a Computer Program for Volumetric Registration
CN112884820B (zh) 一种影像初始配准及神经网络的训练方法、装置和设备
KR102284532B1 (ko) 분자 활성도 예측 방법 및 이를 위한 장치
CN112884819A (zh) 一种影像配准及神经网络的训练方法、装置和设备
CN114359642A (zh) 基于一对一目标查询Transformer的多模态医学图像多器官定位方法
EP4156096A1 (en) Method, device and system for automated processing of medical images to output alerts for detected dissimilarities
Tseng et al. Few-shot viewpoint estimation
KR102098929B1 (ko) 수술용 내비게이션의 표면 정합 방법 및 장치
US20240005650A1 (en) Representation learning
CN109559296B (zh) 基于全卷积神经网络和互信息的医学图像配准方法及系统
KR102475727B1 (ko) 신경망 모델을 이용한 표면 정합 방법 및 장치
KR102144012B1 (ko) 유전 알고리즘을 이용한 수술용 내비게이션의 표면 정합 방법 및 장치
CA3196850A1 (en) Deep magnetic resonance fingerprinting auto-segmentation
WO2024024495A1 (ja) 臓器変形推定装置、治療装置、治療支援装置、臓器変形推定方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant