KR20220096157A - 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치 - Google Patents

마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치 Download PDF

Info

Publication number
KR20220096157A
KR20220096157A KR1020200188364A KR20200188364A KR20220096157A KR 20220096157 A KR20220096157 A KR 20220096157A KR 1020200188364 A KR1020200188364 A KR 1020200188364A KR 20200188364 A KR20200188364 A KR 20200188364A KR 20220096157 A KR20220096157 A KR 20220096157A
Authority
KR
South Korea
Prior art keywords
image
coordinates
feature point
dimensional
point
Prior art date
Application number
KR1020200188364A
Other languages
English (en)
Other versions
KR102580750B9 (ko
KR102580750B1 (ko
Inventor
이원진
최시은
최민혁
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020200188364A priority Critical patent/KR102580750B1/ko
Publication of KR20220096157A publication Critical patent/KR20220096157A/ko
Application granted granted Critical
Publication of KR102580750B1 publication Critical patent/KR102580750B1/ko
Publication of KR102580750B9 publication Critical patent/KR102580750B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치에 관한 것으로, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서, 사용자의 의료 영상에 기초하여 생성한 2차원 연조직 영상을 학습된 특징점 추출 모델에 입력하여 해부학적 위치에 기초한 하나 이상의 제1 특징점을 추출하고, 의료 영상에 기초하여 제1 특징점을 3차원 좌표로 재구성하는 단계, 깊이 인식 카메라로 사용자를 촬영한 촬영 영상을 학습된 특징점 추출 모델에 입력하여 해부학적 위치에 기초한 하나 이상의 제2 특징점을 추출하고, 촬영 영상의 깊이 정보를 적용하여 상기 제2 특징점을 3차원 좌표로 재구성하는 단계, 그리고 제1 특징점의 3차원 좌표와 제2 특징점의 3차원 좌표를 서로 매칭하여 의료 영상과 촬영 영상을 정합하는 단계를 포함한다.

Description

마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치{3D IMAGE REGISTRATION METHOD BASED ON MARKERLESS, METHOD FOR TRACKING 3D OBJECT AND APPARATUS IMPLEMENTING THE SAME METHOD}
마커리스 기반의 3차원 영상을 정합하여 추적하는 기술이 제공된다.
최근에는 치과, 이비인후과, 정형/신경외과 등의 의료 수술 분야에서 절개 부위를 최소화하여 수술을 진행하는 최소침습 수술(MIS, minimally invasive surgery)이 개발되어 적용되고 있다.
최소침습 수술은 손상되는 부위가 적어 통증과 합병증의 발생률이 적고, 회복이 빨라 일상생활로의 복귀가 빠르지만, 일반적인 개복 수술에 비해 수술 기술이 복잡하다. 특히, 최소침습 수술은 제한된 시야 확보로 인해 환부나 구조물의 정확한 위치 정위가 어렵기 때문에, 3차원 위치추적 장치를 결합한 영상가이드 수술 항법 시스템(surgical navigation system, 내비게이션 수술)이 활용된다.
특히, MRI/CT/초음파 등의 3차원 의료영상을 이용한 증강현실 기반 영상가이드 수술 항법 시스템은 환자의 수술 전 촬영된 의료 영상 좌표계와 수술 중 촬영 영상에 기초한 물리적 좌표계간의 정합 단계와, 정합 단계 이후에도 위치추적장치를 도구에 부착하여 물리적 좌표계에서 움직이는 도구의 위치를 추적하는 기술이 필수적으로 필요하다.
이에 따라 기존의 정합 방법으로는 환자의 신체에 장착된 특정 기구(maker) 또는 실제 환자 신체 부위에 하나 이상의 지점을 긁는 방식으로 접촉하여, 접촉 지점을 기준으로 의료 영상 좌표계와 물리적 좌표계를 정합한다.
이러한 경우, 별도로 사용되는 특정 기구의 부피로 인해 수술 부위 등이 가려지며, 기술자의 숙련도에 따라 정합의 정확도가 결정되어 오차 발생으로 인한 수술 준비시간이 증가되고, 환자의 정합 부위에 접촉하는 환자간에 교차 감염이 발생할 가능성이 있다.
그러므로 별도의 도구 없이도 비접촉적으로 자동으로 영상 좌표계와 물리적 좌표계간의 정합이 가능하며, 정합된 좌표에서 고정밀하게 고속적으로 환자를 추적하는 기술이 요구된다.
본 발명의 한 실시예는 마커와 같은 별도 장비 없이 의료 영상과 촬영 영상에서 기계학습 기반의 모델을 통해 해부학적인 특징점의 좌표를 추출하고, 추출된 특징점의 좌표에 기초하여 의료 영상과 촬영 영상을 정합하며, 연속적인 촬영 영상에 기초하여 해당 특징점 좌표들을 통해 영상 내의 객체를 추적하는 방법을 제공하는 것이다.
본 발명의 한 실시예는 기계학습 모델과 광학추적 알고리즘을 함께 이용하여 고속으로 정확한 객체 추적을 수행하는 3차원 객체 추적 방법 및 장치를 제공하는 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시예가 사용될 수 있다.
본 발명의 실시예에 따르면, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서, 사용자의 의료 영상에 기초하여 생성한 2차원 연조직 영상을 학습된 특징점 추출 모델에 입력하여 해부학적 위치에 기초한 하나 이상의 제1 특징점을 추출하고, 의료 영상에 기초하여 상기 제1 특징점을 3차원 좌표로 재구성하는 단계, 깊이 인식 카메라로 사용자를 촬영한 촬영 영상을 특징점 추출 모델에 입력하여 해부학적 위치에 기초한 하나 이상의 제2 특징점을 추출하고, 촬영 영상의 깊이 정보를 적용하여 제2 특징점을 3차원 좌표로 재구성하는 단계, 그리고 제1 특징점의 3차원 좌표와 제2 특징점의 3차원 좌표를 서로 매칭하여 의료 영상과 상기 촬영 영상을 정합하는 단계를 포함한다.
특징점 추출 모델은, 입력받은 영상에 대해 기울기 정보 기반의 영상으로 전환한 후, 기울기 정보 기반의 영상에서 미리 라벨링된 특징점의 2차원 좌표를 출력할 수 있다.
특징점 추출 모델은, 얼굴을 포함한 영상인 경우에, 얼굴 위치에 따른 움직임이 최소화된 눈 외측 끝점, 눈 내측 끝점, 입꼬리 점, 코 시작점 중에서 하나 이상의 지점을 특징점으로 선정하여 라벨링할 수 있다.
제1 특징점을 3차원 좌표로 재구성하는 단계는, 의료 영상에 기초하여 3차원 연조직 모델로 렌더링(rendering)하고, 3차원 연조직 모델에서 관상 평면(Coronal Plane)방향으로 투영한 2차원 연조직 영상을 생성하여 특징점 추출 모델에 입력할 수 있다.
제1 특징점을 3차원 좌표로 재구성하는 단계는, 2차원 연조직 영상에 대한 제1 특징점의 2차원 좌표를 획득하여, 제1 특징점의 2차원 좌표를 기준점으로 3차원 연조직 모델과 접점을 가지는 3차원 좌표를 추출할 수 있다.
촬영 영상을 정합하는 단계는, 제1 특징점의 3차원 좌표와 제2 특징점의 3차원 좌표에서 라벨링이 일치하는 특징점간에 점대점(point-to-point) 매칭을 수행하고, 매칭된 특징점간의 좌표 변환값을 산출할 수 있다.
촬영 영상을 정합하는 단계는, 좌표 변환값을 의료 영상에 적용하여 의료 영상의 좌표계를 상기 촬영 영상에 대한 좌표계로 변환할 수 있다.
본 발명의 실시예에 따르면, 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서, 깊이 인식 카메라를 통해 사용자를 연속적으로 촬영한 촬영 영상들 수집하는 단계, 촬영 영상들에서 학습된 특징점 추출 모델과 광학 추적 알고리즘을 선택적으로 이용하여 각 촬영 영상마다 하나 이상의 라벨링된 특징점 좌표를 추출하는 단계, 그리고 촬영 영상마다의 깊이 정보에 기초하여 라벨링된 특징점 좌표를 각각 3차원 좌표로 재구성하고, 수집 순서에 따라 인접한 촬영 영상들간의 라벨링된 특징점의 3차원 좌표들을 매칭하여 촬영 영상에서 특징점을 갖는 객체를 추적하는 단계를 포함한다.
촬영 영상들을 미리 설정된 단위에 기초하여 순차적으로 그룹핑하는 단계를 더 포함하고, 특징점 좌표를 추출하는 단계는, 촬영 영상들 중에서 첫번째 촬영 영상에 대해서는 학습된 특징점 추출 모델을 이용하여 특징점 좌표를 추출하고, 두번째 촬영 영상에서부터는 직전 촬영 영상에서 추출된 특징점 좌표에 기초하여 광학 추적 알고리즘을 이용하여 특징점 좌표를 추출할 수 있다.
특징점 추출 모델은, 입력받은 영상에 대해 기울기 정보 기반의 영상으로 전환한 후, 기울기 정보 기반의 영상에서 해부학적 위치에 기초하여 미리 라벨링된 특징점의 2차원 좌표를 출력할 수 있다.
특징점을 갖는 객체를 추적하는 단계는, 수집 순서에 따라 인접한 촬영 영상들간의 동일한 라벨링을 갖는 특징점의 3차원 좌표를 점대점(point-to-point) 매칭을 수행하고, 매칭된 3차원 좌표간의 3차원 변화량을 산출할 수 있다.
해부학적 위치에 기초하여 추출된 특징점을 갖는 사용자의 의료 영상을 수집하고, 촬영 영상의 좌표계로 정합하는 단계, 그리고 산출된 3차원의 변화량을 의료 영상에 적용하여 해당 촬영 영상에 대응하는 의료 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따르면, 통신장치, 메모리, 그리고 메모리에 로드된 프로그램의 명령들(instructions)을 실행하는 적어도 하나의 프로세서를 포함하고, 프로그램은 사용자의 의료 영상과 깊이 인식 카메라로 촬영한 사용자의 촬영 영상을 학습된 특징점 추출 모델에 입력하여 각각 해부학적 위치에 기초하여 라벨링된 하나 이상의 제1 특징점의 좌표와 제2 특징점의 좌표를 획득하면, 제1 특징점의 좌표와 제2 특징점의 좌표간에 매칭을 통해 의료 영상과 상기 촬영 영상을 정합하고, 수집된 연속적인 촬영 영상들에서 특징점 추출 모델과 광학 추적 알고리즘을 선택적으로 이용하여 각 촬영 영상마다 하나 이상의 특징점 좌표를 추출하면, 연속되는 촬영 영상간에 특징점 좌표를 매칭하고, 매칭된 특징점 좌표들의 변화량을 산출하여 촬영 영상에서의 객체를 추적하도록 기술된 명령들(Instrutctions)을 포함한다.
프로그램은, 의료 영상에 기초하여 3차원 연조직 모델로 렌더링(rendering)하고, 3차원 연조직 모델에서 관상 평면(Coronal Plane)방향으로 투영한 2차원 연조직 영상을 생성하고, 특징점 추출 모델을 이용하여 2차원 연조직 영상에 대한 제1 특징점의 2차원 좌표를 획득하여, 제1 특징점의 2차원 좌표를 기준점으로 3차원 연조직 모델과 접점을 가지는 3차원 좌표를 추출하도록 기술된 명령들(Instrutctions)을 포함할 수 있다.
프로그램은, 촬영 영상의 깊이 정보를 적용하여 재구성된 제2 특징점의 3차원 좌표와 제1 특징점의 3차원 좌표에서 라벨링이 일치하는 특징점간에 점대점(point-to-point) 매칭을 수행하고, 매칭된 특징점간의 좌표 변환값을 산출하도록 기술된 명령들(Instrutctions)을 포함할 수 있다.
프로그램은, 연속적인 촬영 영상들을 미리 설정된 단위에 기초하여 순차적으로 그룹핑하고, 그룹 내 첫번째 촬영 영상에 대해서는 학습된 특징점 추출 모델을 이용하여 특징점 좌표를 추출하고, 두번째 촬영 영상에서부터는 직전 촬영 영상에서 추출된 특징점 좌표에 기초하여 광학 추적 알고리즘을 이용하여 특징점 좌표를 추출하도록 기술된 명령들(Instrutctions)을 포함할 수 있다.
본 발명의 한 실시예에 따르면 마커를 사용하지 않으면서 해부학적 특징점을 이용한 무구속적 방식으로 3차원 영상간에 정합을 수행하고, 객체를 추적함으로써, 마커와 같은 추가적인 장비 없이도 최소화된 계산량으로 빠르고 정확한 정합 결과와 추적 데이터를 확보할 수 있다.
본 발명의 한 실시예에 따르면 실시간으로 의료영상과 깊이 영상의 정합이 자동으로 수행되기 때문에 3차원 영상 정합을 위한 기술자의 기술 숙련도에 영향을 받지 않으므로 숙련도 차이에 따른 오류를 최소화하여 일정하게 정확도가 높은 정합결과를 획득할 수 있다.
본 발명의 한 실시예에 따르면 추적하는 객체의 해부학적 특징점에 기초하여 기계학습 모델과 광학 추적 알고리즘을 동시에 사용하여 객체를 추적함으로써 누적 오차 발생을 방지하면서 고속으로 객체를 추적할 수 있다.
본 발명의 한 실시예에 따르면 환자의 해부학적 특징점에 기초하여 빠르고 정확하게 영상간의 정합 및 영상에서의 객체 추적을 제공함으로써 영상 가이드 수술에서 수술의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 한 실시예에 따른 3차원 영상 정합 및 객체를 추적하는 컴퓨팅 장치를 나타낸 구성도이다.
도 2는 본 발명의 한 실시예에 따른 컴퓨팅 장치의 동작 방법을 나타낸 순서도이다.
도 3은 본 발명의 다른 실시예에 따른 컴퓨팅 장치의 동작 방법을 나타낸 순서도이다.
도 4는 본 발명의 한 실시예에 따른 특징점 추출 모델의 동작을 설명하기 위한 예시도이다.
도 5는 본 발명의 한 실시예에 따른 의료 영상에서의 추출한 특징점 좌표를 3차원으로 재구성하는 과정을 나타내기 위한 예시도이다.
도 6은 본 발명의 한 실시예에 따른 촬영 영상에서의 추출한 특징점 좌표를 3차원으로 재구성하는 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 한 실시예에 따른 연속적인 촬영 영상에서의 특징점 좌표 추출하는 과정을 설명하기 위한 예시도 이다.
도 8은 본 발명의 한 실시예에 따른 특징점 좌표의 매칭을 통한 추적하는 과정을 설명하기 위한 예시도이다.
도 9는 본 발명의 한 실시예에 컴퓨팅 장치의 하드웨어 구성도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명에서 설명하는 장치는 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다.
본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.
본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 도면을 참고하여 설명한 실시예들에서, 임의의 실시예로 단독 구현될 수도 있고, 여러 실시예가 병합되거나 분할될 수도 있고, 각 실시예에서 특정 동작은 수행되지 않을 수 있다.
도 1은 본 발명의 한 실시예에 따른 3차원 영상 정합 및 객체를 추적하는 컴퓨터 장치를 나타낸 구성도이다.
도 1에 도시한 바와 같이, 컴퓨터 장치(100)는 영상 정합 모듈(110), 객체 추적 모듈(120)을 포함하며, 이외에도 학습 모듈(130)을 더 포함할 수 있다.
설명을 위해, 영상 정합 모듈(110), 객체 추적 모듈(120) 그리고 학습 모듈(130)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치이다. 여기서, 영상 정합 모듈(110), 객체 추적 모듈(120) 그리고 학습 모듈(130)은 하나의 컴퓨팅 장치에 구현되거나, 별도의 컴퓨팅 장치에 분산 구현될 수 있다. 별도의 컴퓨팅 장치에 분산 구현된 경우, 영상 정합 모듈(110), 객체 추적 모듈(120) 그리고 학습 모듈(130)은 통신 인터페이스를 통해 서로 통신할 수 있다. 컴퓨팅 장치는 본 발명을 수행하도록 작성된 소프트웨어 프로그램을 실행할 수 있는 장치이면 충분하고, 예를 들면, 서버, 랩탑 컴퓨터 등일 수 있다.
설명의 편의상 영상 정합 모듈(110)과 객체 추적 모듈(120)로 분류해서 설명하지만, 각 모듈에서 동일한 기능을 수행하는 구성요소는 별도로 구비되지 않고 하나의 구성 요소가 서로 공유될 수 있다.
영상 정합 모듈(110)은 의료 영상(A)과 깊이 인식 카메라를 통해 촬영된 촬영 영상(B)을 수집한다.
영상 정합 모듈(110)은 의료 영상을 생성하는 기기 또는 의료 영상이 저장된 데이터베이스에 접속하여 사용자의 ID에 연동되는 의료 영상을 수집할 수 있다.
여기서, 의료 영상은 자기공명영상 (magnetic resonance imaging MRI), 컴퓨터 단층 촬영(Computed Tomography, CT), 양전자 단층 촬영(positron emission tomography, PET), 초음파 영상 등과 같이 의료 기기를 통해 촬영된 3차원 영상을 나타낸다.
영상 정합 모듈(110)은 깊이 인식 카메라 또는 깊이 인식 카메라의 저장 장치에 연동되어 실시간으로 사용자를 촬영하는 촬영 영상을 수집할 수 있다.
여기서, 깊이 인식 카메라(미도시함)는 삼각측량 방식의 3차원 레이저 스캐너, 내시경 장치, 구조 광선패턴을 이용한 깊이 카메라, 적외선(IR: Infra-Red)의 반사 시간 차이를 이용한 TOF(Time-Of-flight) 방식의 깊이 카메라, 씨암(C-arm) 장치, 광간섭단층촬영장치(optical coherence tomography)등을 포함한다.
깊이 인식 카메라는 영상을 촬영할 때 컬러 영상과 깊이 영상을 동시에 생성하므로 촬영 영상은 컬러 영상과 깊이 영상을 포함한다.
영상 정합 모듈(110)은 수집된 영상마다 미리 설정된 라벨링된 특징점을 추출한다.
여기서, 라벨링된 특징점은 미리 설정된 특정 지점으로 연조직 상 위에 위치하지만, 해부학적 구조 또는 분석에 의해 움직임이 최소화된 지점을 의미한다.
예를 들어, 얼굴의 연조직 위치에서 움직임이 최소화된 지점으로 눈 외측 끝점(Exocanthion(좌, 우)), 눈 내측 끝점(Endocanthion(좌, 우)), 입꼬리점(Cheilion(좌, 우)) 그리고 코 시작점(Pronasale)과 같이 7개의 지점을 특정하여 라벨링(Labelling)하여 설정할 수 있다.
이에 영상 정합 모듈(110)은 수집된 영상에서 라벨링된 지점을 특징점으로 추출할 수 있다.
한편 영상 정합 모듈(110)은 학습된 특징점 추출 모델을 이용하여 의료 영상 또는 촬영 영상에서 특징점을 추출할 수 있으며, 연속적인 촬영 영상에서 특징점을 추출할 때, 학습된 특징점 추출 모델과 광학 추적 알고리즘을 동시에 사용할 수 있다.
영상 정합 모듈(110)은 의료 영상 또는 촬영 영상에서 추출된 각각의 특징점을 적용하여 의료 영상에 대한 특징점 좌표를 재구성하고, 촬영 영상에 대한 특징점 좌표를 재구성한다.
다시 말해, 영상 정합 모듈(110)은 특징점들이 2차원 위치로 추출되기 때문에 3차원 위치 정보로 변환한다.
상세하게는 영상 정합 모듈(110)은 의료 영상에서는 추출된 특징점을 기준점으로 설정하고 해당 기준점과 접점을 가지는 의료 영상의 좌표를 추출하고, 촬영 영상에서는 포함되는 깊이 정보를 이용하여 해당 2차원 위치에 깊이 정보를 적용하여 3차원 좌표로 변환할 수 있다.
영상 정합 모듈(110)은 재구성된 의료 영상의 특징점 좌표와 재구성된 촬영 영상의 특징점 좌표를 매칭하여 정합을 수행한다.
여기서, 영상 정합 모듈(110)은 특징점 좌표간의 매칭을 통해 의료 영상의 좌표계를 촬영 영상의 좌표계로 변환하도록 정합을 수행할 수 있다.
객체 추적 모듈(120)은 깊이 인식 카메라 또는 깊이 인식 카메라의 저장 장치에 연동되어 연속하는 촬영 영상(B)들을 수집한다.
객체 추적 모듈(120)은 미리 설정된 단위에 기초하여 촬영 영상들을 그룹핑하면서 실시간 촬영 영상들을 수집할 수 있다.
객체 추적 모듈(120)은 그룹핑된 촬영 영상들의 순서에 기초하여 학습된 특징점 추출 모델과 광학 추적 알고리즘을 선택적으로 적용하여 각 촬영 영상마다 미리 설정된 라벨링된 특징점의 2차원 좌표를 추출한다.
그리고 객체 추적 모듈(120)은 촬영 영상마다 포함되는 깊이 정보를 이용하여 해당 2차원 위치에 깊이 정보를 적용하여 3차원 좌표로 변환한다.
객체 추적 모듈(120)은 연속하는 촬영영상들에 대해서 시간의 순서에 따른 촬영 영상간에 특징점의 3차원 좌표를 매칭하여 3차원 위치 변화량을 계산한다. 이때, 객체 추적 모듈(120)은 계산된 3차원 위치 변화량을 정합된 의료 영상에 적용하여 실시간 촬영 영상 내의 객체를 추적한 결과를 의료 영상에 반영할 수 있다.
그리고 학습 모듈(130)은 입력된 영상에서 미리 설정된 해부학적 특징점(라벨링된 특징점)을 추출하는 특징점 추출 모델을 학습시킨다.
특징점 추출 모델은 입력 영상에 대해 기울기 정보 기반 영상으로 전환한 후, 기울기 정보 기반으로 라벨링된 특징점의 좌표를 추출하는 기계학습 모델이다.
특징점 추출 모델은 서포트 백신 머신(Support Vector Machine, SVM), 랜덤 포레스트 모델(Random Forest, RF), 콘볼루션 신경망(Convolution Neural Network, CNN)등과 같은 기계학습 알고리즘으로 구현이 가능하다.
이처럼 학습 모듈(130)은 컴퓨팅 장치(100) 내부에서 특징점 추출 모델을 학습시킬 수 있으나, 학습 모듈(130)은 별도의 장치에서 학습이 완료된 특징점 추출 모델을 컴퓨팅 장치(100)에 제공할 수 있다.
한편, 특징점 추출 모델은 2차원 영상에서 미리 라벨링된 특징점의 위치를 추출하는 것으로 영상 정합 모듈(110)과 객체 추적 모듈(120)에 동일한 특징점 추출 모델이 사용될 수 있으나, 입력되는 영상의 종류에 따라 의료 영상에 대한 특징점 추출 모델과 촬영 영상에 대한 특징점 추출 모델로 구분될 수 있다.
이하에서는 도 2와 도 3을 이용하여 컴퓨팅 장치가3차원 영상간에 정합을 수행하는 방법과 3차원 영상에서의 객체를 추적하는 방법에 대해 상세하게 설명한다.
도 2는 본 발명의 한 실시예에 따른 컴퓨팅 장치의 동작 방법을 나타낸 순서도이다.
도 2에 도시한 바와 같이, 컴퓨팅 장치(100)는 사용자의 의료 영상을 수집한다(S110). 그리고 컴퓨팅 장치(100)는 의료 영상에 기초하여 2차원 연조직 영상을 생성한다(S120).
컴퓨팅 장치(100)는 3차원 의료 영상을 3차원 렌더링을 수행하여 3차원 연조직 모델을 생성하고, 생성한 3차원 연조직 모델로부터 2차원 연조직 영상을 생성할 수 있다.
여기서, 연조직 모델과 연조직 영상은, 얼굴 모델이나 얼굴 영상과 같이 단단한 정도가 낮은 특성을 가지는 연조직에 대한 모델과 영상을 의미한다.
상세하게는 컴퓨팅 장치(100)는 마칭 큐브(marching cube) 등의 표면 랜더링 알고리즘을 이용하여 의료 영상의 3차원 연조직 모델 생성한다. 그리고 컴퓨팅 장치(100)는 3차원 연조직 모델을 XZ 평면(관상 평면)으로 투영하여 2차원 연조직 영상을 생성한다.
여기서, 컴퓨팅 장치(100)가 생성한 3차원 연조직 모델과 2차원 연조직 영상은 모두 의료 영상 기반으로 의료 영상의 좌표계(의료 영상 기기의 좌표계)와 동일하다.
의료 영상 기기의 좌표계는 전역 수평과 정렬되어 있기 때문에, 컴퓨팅 장치(100)는 연조직이 얼굴 영역인 경우, 얼굴의 전면부가 표현되도록 관상 평면 방향인 XZ평면으로 투영한다.
이때, 도 2에서는 의료 영상을 수집하고 2차원 연조직 영상을 생성하는 것으로 도시하였지만, 컴퓨팅 장치(100)는 사용자의 의료 영상 자체만을 수집하거나, 사용자에 대한 3차원 의료 영상, 3차원 연조직 모델 그리고 2차원 연조직 영상 중에서 하나 이상의 의료 영상을 수집할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 다른 기기로부터 3차원 의료 영상에 기초하여 생성된3차원 연조직 모델 또는 2차원 연조직 영상을 수집할 수 있다.
다음으로 컴퓨팅 장치(100)는 학습된 특징점 추출 모델을 이용하여 2차원 특징점을 추출한다(S130).
컴퓨팅 장치(100)는 의료 영상에 대해서는 2차원 연조직 영상을 입력받으면, 특징점을 추출하기 위한 학습된 특징점 추출 모델에 입력한다. 그리고 컴퓨팅 장치(100)는 학습된 특징점 추출 모델로부터 제1 특징점의 2차원 좌표(Pi n)를 추출한다. (Pi n 은 2차원 연조직 영상에서 특징점의 2차원 좌표이고, n은 특징점 개수, i는 의료 영상을 나타냄)
상세하게는 컴퓨팅 장치(100)는 학습된 특징점 추출 모델을 통해 2차원 연조직 영상을 기울기 정보 기반 영상으로 전환하고, 기울기 정보 기반 영상에서 라벨링된 제1 특징점을 추출한다.
그리고 컴퓨팅 장치(100)는 촬영 영상의 컬러 영상에 대해서 학습된 특징점 추출 모델을 통해 2차원 연조직 영상을 기울기 정보 기반 영상으로 전환하고, 기울기 정보 기반 영상에서 라벨링된 제1 특징점을 추출한다.
여기서, 학습된 특징점 추출 모델의 출력값은 각각 라벨링된 특징점들의 좌표이다.
다음으로 컴퓨팅 장치(100)는 광선 투사 기반으로 추출된 특징점의 2차원 좌표를 3차원 좌표로 재구성한다(S140).
컴퓨팅 장치(100)는 2차원 연조직 영상에서의 제1 특징점 좌표를 2차원 연조직 모델에 투영하여 3차원 좌표로 재구성한다.
이때, 컴퓨팅 장치(100)는 광선 투사 알고리즘을 이용하여 각 특징점 좌표들에서 광선을 투사한 후, 접점을 이루는 3차원 연조직 모델의 3차원 좌표를 추출할 수 있다.
다시 말해, 컴퓨팅 장치(100)는 제1 특징점의 2차원 좌표(Pi n)를 기준점으로 하여 2차원 연조직 영상에서 3차원 연조직 모델로 광선을 투사하고, 투사된 광선의 첫 접점을 이루는 3차원 연조직 모델의 3차원 좌표f(Pi n)를 추출한다. (f는 광선 투사 알고리즘을 나타냄)
이를 통해 컴퓨팅 장치(100)는 제1 특징점의 2차원 좌표(Pi n)에서 제1 특징점의 3차원 좌표 f(Pi n)로 재구성할 수 있다.
한편, 앞서 설명한 S110단계에서부터 S140 단계는 실시간으로 진행되거나 이전 시점에 각 단계를 수행하고 수행된 결과를 저장한 후,컴퓨팅 장치(100)는 영상간의 정합을 수행하기 전에 저장된 3차원 좌표를 수집할 수 있다.
다시 말해, S110 단계에서부터 S140 단계는 반드시 실시간으로 진행되는 것은 아니며, 적용되는 환경에 따라 수행 시점을 달리할 수 있다.
다음으로 컴퓨팅 장치(100)는 사용자의 촬영 영상 수집한다(S150).
여기서 촬영 영상은 깊이 영상 카메라의 촬영 영상으로 2차원 컬러 영상과 깊이 영상을 포함한다.
그리고 컴퓨팅 장치(100)는 학습된 특징점 추출 모델을 이용하여 2차원 특징점을 추출한다(S160).
컴퓨팅 장치(100)는 학습된 특징점 추출 모델을 통해 촬영 영상의 컬러 영상을 기울기 정보 기반 영상으로 전환하고, 기울기 정보 기반 영상에서 라벨링된 특징점을 추출한다.
다시 말해 컴퓨팅 장치(100)는 학습된 특징점 추출 모델에 2차원 컬러 영상을 입력하여 2차원 컬러 영상에서 제2 특징점의 2차원 좌표(Pc n)를 추출한다. (Pc n 은 2차원 컬러 영상에서 특징점의 2차원 좌표이고, n은 특징점 개수, c는 촬영 영상을 나타냄)
다음으로 컴퓨팅 장치(100)는 깊이 정보 기반으로 추출된 특징점의 2차원 좌표를 3차원 좌표로 재구성한다(S170).
컴퓨팅 장치(100)는 제2특징점의 2차원 좌표(Pn c)의 깊이 영상 정보를 이용하여 3차원 좌표p (Pn c )재구성한다. (p는 핀홀 카메라 모델을 나타냄)
이를 다음 수학식 1과 같이 나타낼 수 있다.
[수학식 1]
Figure pat00001
여기서, p (Pc n)는 제2특징점의 3차원 좌표를 나타내고 fx, fy는 깊이 영상 카메라의 초점거리(focal length), cx, cy는 카메라 주점 위치(principal point)로, 카메라 내부 파라미터를 의미한다.
다음으로 컴퓨팅 장치(100)는 재구성된 특징점의 3차원 좌표에 기초하여 정합 수행한다(S180).
컴퓨팅 장치(100)는 의료 영상에 대한 제2 특징점의3차원 좌표 f(Pi n)와 촬영 영상에 대한 제2 특징점의3차원 좌표 p(Pc n)를 점대점(point-to-point) 매칭을 수행하여 3차원 정합을 수행한다.
예를 들어, 컴퓨팅 장치(100)는 의료 영상에서 추출된 7개의 라벨링된 제1 특징점들의 3차원 좌표와 촬영 영상에서 추출된 7개의 라벨링된 제2 특징점들의 3차원 좌표를 동일한 라벨링을 기준으로 점대점 매칭을 수행한다.
컴퓨팅 장치(100)는 제1 특징점의 3차원 좌표와 제2 특징점의 3차원 좌표를 점대점 매칭을 수행한다.
그리고 컴퓨팅 장치(100)는 의료 영상에서 촬영 영상으로의 좌표 변환 정보를 산출한다(S190).
컴퓨팅 장치(100)는 특징점 좌표들 간의 정합을 통해 의료 영상의 3차원 좌표계를 촬영 영상의 3차원 좌표계로 변환하기 위한 변환값을 산출한다. 이를 통해 컴퓨팅 장치(100)는 변환값을 의료 영상의 전체 영상에 적용하여 의료 영상과 촬영 영상을 정합할 수 있다.
이를 통해 컴퓨팅 장치(100)는 7개의특징점의 3차원 좌표들을 점대점 매칭을 수행하면서, 의료 영상의 좌표계로부터 촬영 영상의 좌표계로의 변환값(Tc i)을 연산한다.
이를 수학식으로 나타내면 다음 수학식 2와 같다.
[수학식 2]
p(Pc n )= Tc i * f(Pi n)
컴퓨팅 장치(100)는 의료 영상의 전체 영상에 대해서 변환값(Tc i)을 이용하여 촬영 영상의 좌표계로 변환할 수 있으며, 해당 변환값(Tc i)을 저장한다.
도 3은 본 발명의 다른 실시예에 따른 컴퓨팅 장치의 동작 방법을 나타낸 순서도이다.
도 3에 도시한 바와 같이, 컴퓨팅 장치(100)는 연속적인 촬영 영상을 수집하며 순서에 기초하여 일정한 단위로 그룹핑한다(S210).
컴퓨팅 장치(100)는 실시간으로 촬영 영상들을 수집하면서 일정한 단위로 촬영 영상들을 그룹핑할 수 있다.
예를 들어, 8개의 프레임으로 설정된 경우, 컴퓨팅 장치(100)는 8개의 프레임 단위로 연속적으로 수집되는 촬영 영상들을 그룹핑한다.
이때, 그룹핑된 촬영 영상들의 순서에 기초하여 학습된 특징점 추출 모델과 광학 추적 알고리즘을 선택적으로 적용하기 위해서 컴퓨팅 장치는 연속적인 촬영 영상에 대해 순서에 기초하여 그룹핑을 수행한다.
다음으로 컴퓨팅 장치(100)는 그룹내 위치에 기초하여 첫번째 촬영 영상에 대해 특징점 추출 모델을 이용하여 특징점의 2차원 좌표를 추출한다(S220).
컴퓨팅 장치(100)는 첫번째 영상에 대해서 특징점 추출 모델을 이용하여 특징점의 2차원 좌표(PcMn)를 추출한다. (PcMn는 M번째 획득된 컬러 영상의 특징점의 2차원 좌표를 나타냄, M은 자연수)
컴퓨팅 장치(100)는 미리 설정된 라벨링된 특징점들을 모두 촬영 영상에서 추출하는 것이 바람직하지만, 사용자의 움직임에 의해 촬영 영상 내에 형상이 변경되기 때문에 촬영 영상에 위치하는 라벨링된 특징점들을 적어도 셋 이상 추출한다. 여기서, 세 개의 라벨링된 특징점은 3차원 변환을 적용하기 위한 최소 특징점의 개수로 반드시 이에 한정하는 것은 아니다.
여기서, 촬영 영상을 특징점 추출 모델에 입력하여 특징점을 추출하는 단계로 S160단계와 동일하므로 중복되는 설명은 생략한다.
다음으로 컴퓨팅 장치(100)는 두번째 촬영 영상에서부터 그룹내 마지막 촬영 영상까지 직전 촬영의 특징점 2차원 좌표에 기초하여 광학 추적 알고리즘을 통해 각각 특징점의 2차원 좌표를 추출한다(S230).
컴퓨팅 장치(100)는 그룹내 첫번째 촬영영상 이후의 촬영영상들에 대해서는 직전 영상에서 추출된 2차원 좌표에 기초하여 광학 추적 알고리즘을 통해 2차원 특징점(PcM+1n = O(PcMn))을 추출한다. (PcMn는 M번째 획득된 컬러 영상의 특징점의 2차원 좌표, PcM+1n 는 M+1번째 획득된 컬러 영상의 특징점의 2차원 좌표, O는 광학 추적 알고리즘을 나타냄)
컴퓨팅 장치(100)는 촬영 영상마다 깊이 정보 기반으로 추출된 특징점의 2차원 좌표를 3차원 좌표로 재구성한다(S240).
그리고 컴퓨팅 장치(100)는 S170단계와 동일한 방법으로 촬영 영상에 대해 깊이 영상 정보 및 핀홀 카메라 모델 기반으로 특징점의 2차원 좌표(PcMn)에서 3차원 좌표p (PcMn)로 재구성한다.
다음으로 컴퓨팅 장치(100)는 순서에 따라 재구성된 특징점의 3차원 좌표들을 매칭하여 촬영 영상 내 객체를 위치를 추적한다(S250).
컴퓨터 장치(100)는 연속되는 촬영 영상간에 동일하게 라벨링된 특징점들의 3차원 좌표를 매칭하여 추적한다.
상세하게는 눈 외측 끝점으로 라벨링된 특징점간의 3차원 좌표를 매칭함으로써 7개의 특징점들을 라벨링에 기초하여 점대점으로 각각 매칭한다.
그리고 컴퓨팅 장치(100)는 촬영 영상간 특징점의 3차원 좌표들에 대한 변화량을 산출한다(S260).
이를 수학식으로 나타내면 다음 수학식 3과 같다.
[수학식 3]
p(PcM+1n)= TM M+1 * p(PcMn)
컴퓨팅 장치(100)는 M번째 촬영 영상에 대해서 변화량 (TM M+1)을 적용하여 M+1번째 촬영 영상에 대응되도록 변환할 수 있으며, 해당 변화량(TM M+1)을 저장한다.
컴퓨팅 장치(100)는 연속되는 2개의 촬영 영상에 대해서7개 특징점의 3차원 좌표들을 점대점 매칭 및 변화량(TM M+1) 연산을 수행하면서, 정합 변환값(Tc i)을 3차원 촬영 영상에 적용하여 촬영 영상마다 대응되는 3차원 의료 영상을 제공할 수 있다.
이를 수학식으로 나타내면 다음 수학식 4과 같다.
[수학식 4]
f(PiM+1n)= (Tc i)-1 * TM M+1 * p(PcMn)
다시 말해, 카메라 좌표계에서 추적 점의 변화량, 정합 변화량을 적용하여 촬영 영상간의 특징점 좌표의 변화가 적용된 의료 영상을 제공할 수 있다.
수학식 4는 m번째 촬영 영상의 특징점으로부터 m+1번재 의료 영상내 특징점을 추측하는 식으로, 그 역도 성립이 가능하다.
도 4는 본 발명의 한 실시예에 따른 특징점 추출 모델의 동작을 설명하기 위한 예시도이다.
도 4에 도시한 바와 같이, 컴퓨팅 장치(100)는 입력된 영상을 기울기 정보 영상(HOG feature, Histogram of Oriented Gradients)으로 변환하고, 변환된 기울기 정보 영상에서 특징점들을 추출하는 특징점 추출 모델(SVM 과 Random forest)을 이용한다.
예를 들어, 컴퓨팅 장치(100)는 입력받은 2차원 영상에 대해 필수적이지 않은 정보(예를 들어 일정한 색상의 배경)를 제거하고 윤곽선들이 강조되는 그라디언트 이미지로 변환하고 조명 변화의 영향을 최소화하기 위해 정규화를 수행하여 최종 기울기 정보 영상을 생성할 수 있다.
이에 컴퓨팅 장치(100)는 기울기 정보 영상을 특징점 추출 모델에 입력하여 미리 라벨링된 특징점들을 해당 기울기 정보 영상에서 추출할 수 있다.
도 5 본 발명의 한 실시예에 따른 의료 영상에서의 추출한 특징점 좌표를 3차원으로 재구성하는 과정을 나타내기 위한 예시도이다.
도 6의 (a)는 의료 영상(A-1)에서 추출된 특징점의 2차원 좌표(A-4)를 나타내고 (b)에서는 추출된 특징점의 2차원 좌표를 3차원 좌표로 변환한다.
도 6의 (a)에 도시한 바와 같이, 의료 기기에서 촬영된 의료 영상(A-1)에서 특징점 추출 모델에 입력하기 위해 컴퓨팅 장치(100)는 의료 영상(A-1)을 3차원 렌더링하여 3차원 연조직 모델(A-2)을 생성한 후, XZ 평면으로 투영하여 2차원 연조직 영상(A-3)을 생성할 수 있다.
다만, 앞에서 설명한 바와 같이, 컴퓨팅 장치(100)는 의료 영상(A-1), 3차원 연조직 모델(A-2), 2차원 연조직 영상(A-3) 중에서 하나 이상의 의료 영상을 수집할 수 있으며, 수집되는 의료 영상의 종류에 따라 영상 생성 과정을 거치거나 제외하고 바로 특징점 추출 모델에 입력할 수 있다.
그리고 도 5의 (b)와 같이, 컴퓨팅 장치(100)는 특징점의 2차원 좌표(A-4)에서 3차원 연조직 모델(A-2)로 광선을 투사하여 첫 접점에 대한 3차원 좌표로 재구성할 수 있다. 이러한 과정을 통해 의료 영상에서 추출된 특징점의 2차원 좌표를 3차원 좌표로 변환한다.
도 6은 본 발명의 한 실시예에 따른 촬영 영상에서의 추출한 특징점 좌표를 3차원으로 재구성하는 과정을 설명하기 위한 예시도이다.
도 6에 도시한 바와 같이, 촬영 영상(B)은 2차원 컬러 영상과 2차원 깊이 영상을 가지며, 컴퓨팅 장치(100)는 2차원 컬러 영상에서 라벨링된 특징점의 2차원 좌표를 추출한다.
2차원 컬러 영상과 2차원 깊이 영상은 같은 좌표계를 가지므로, 컴퓨팅 장치(100)는 2차원 깊이 영상에서 특징점의 2차원 좌표를 추출하면 해당 깊이 정보를 획득할 수 있다.
이에 따라 컴퓨팅 장치(100)는 7개의 특징점의 2차원 좌표에 대해 해당 촬영 영상의 2차원 깊이 영상에 기초하여 해당 지점의 깊이 정보를 적용함에 따라, 특징점의 3차원 좌표로 재구성할 수 있다.
이하에서는 도 7 내지 도 8를 이용하여 연속적인 촬영 영상에서 객체를 추적하는 과정에 대해서 상세하게 설명한다.
도 7은 본 발명의 한 실시예에 따른 연속적인 촬영 영상에서의 특징점 좌표 추출하는 과정을 설명하기 위한 예시도 이다.
도 7에 도시한 바와 같이, 컴퓨팅 장치(100)는 시간에 따라 수집되는 연속적인 촬영 영상에 대해 기계학습 모델과 과학 추적 알고리즘을 함께 사용하여 촬영 영상에 대해서 특징점을 추출한다.
도 7에는 #1부터 #M까지의 프레임(예를 들어 8개 프레임)을 하나의 그룹으로 가정하고 그룹 내에서 수집된 프레임에 대해 특징점을 추출하는 과정을 시간에 기초하여 설명한다. (M은 자연수)
설명의 편의상 각 시점마다 하나의 프레임을 수신한다고 하면, t0 시점에서 컴퓨팅 장치(100)는 #1 프레임을 수신하면 기계학습 모델(Machine learning)인 학습된 특징점 추출 모델을 통해 특징점(Landmark)을 추출한다. 여기서 특징점은 앞서 설명한 바와 같이, 해부학적 구조에 기초하여 움직임이 최소화되는 지점을 의미한다.
컴퓨팅 장치(100)는 #1 프레임에 대한 특징점 좌표를 추출과 동시에 저장할 수 있다.
그룹핑되는 프레임의 개수에 대해서 8개로 가정하였으므로, 컴퓨팅 장치(100)는 t0 시점부터 t7 시점까지 연속적인 프레임들을 수신하면 버퍼(save buffer)에 임시 저장한다.
이에 컴퓨팅 장치(100)는 t8이 되는 시점에서 저장하였던 #1 프레임에서 추출한 특징점(#1 Landmark)을 기초하여 광학 추적 알고리즘(Optical flow)을 이용하여 #2 프레임에서 특징점(#2 Landmark)을 추출하여 저장한다.
그리고 t9 시점부터 t14 시점까지 이전 프레임에서 추출한 특징점에 기초하여 광학 추적 알고리즘을 이용하여 해당 프레임에 대한 특징점을 추출하여 저장한다.
한편, 도 7에서는 하나의 그룹에 대해서 설명하지만, 실시간 촬영 영상에 적용함에 있어서, 연속되는 촬영 영상에서 임의의 단위로 그룹핑을 수행하여 복수개의 그룹에 대해 앞서 설명한 바와 같이 특징점을 추출할 수 있다.
이때, 실시간성을 위해 하나의 그룹에 대한 특징점 추출 과정과 동시에 다른 그룹에 속하는 촬영 영상들을 수집하고 특징점을 추출할 수 있다.
예를 들어, t0에서 t7 시점에서 하나의 그룹에 대한 프레임을 수신한 후, t8시점에서 두번째 프레임에 대한 특징점 좌표를 추출함과 동시에 다른 그룹에서 첫번째 프레임을 수신할 수 있다.
이러한 구성에 대해서 다음 표 1과 같이 표시할 수 있다.
Current Image M M+1 M+2 M+3 M+4 M+5 M+6 M+7
Machine learning M
Optical flow M-7 M-6 M-5 M-4 M-3 M-2 M-1
Save buffer M M+1 M+2 M+3 M+4 M+5 M+6 M+7
Display M-8 M-7 M-6 M-5 M-4 M-3 M-2 M-1
표 1에서는 M-8이 첫번째 프레임으로 그룹핑된 제1 그룹(M-8,…,M-1) M이 첫번째 프레임으로 그룹핑된 제2 그룹(M,…M+7)으로 제1 그룹과 제2 그룹의 프레임들을 처리하는 과정을 나타낸다.
상세하게는 프레임 번호(Current Image)에 기재된 순서에 따라 프레임들을 수집하는 과정에서 특징점 추출 모델(machine learning)을 통해 특징점을 추출하는 프레임 번호, 광학 추적 알고리즘(optical flow)을 통해 특징점을 추출하는 프레임 번호, 버퍼(Save buffer)에 임시 저장된 프레임 번호, 그리고 연동되는 화면(Display)에 표시하는 프레임 번호를 나타낸다.
예를 들어, 수집되는 프레임의 번호에 기초하여 제2 그룹의 첫번째 프레임(M 프레임)을 수집하면, 수집된 M 프레임을 특징점 추출 모델(Machine learning)에 입력하여 추출된 특징점들을 저장하면서 해당 M 프레임도 버퍼에 임시 저장한다. 그리고 M-8 프레임을 수집할 때, 추출된 M-8 프레임의 특징점들에 기초하여 버퍼에 임시 저장된 제1 그룹의 M-7 프레임에 대해 광학적 알고리즘으로 특징점들을 추출한다. 그리고 디스플레이 화면에는 제1 그룹의 첫번째 프레임인 M-8 프레임을 표시한다.
다음으로 제2 그룹의 M+1 프레임을 수집하여 버퍼에 임시 저장함과 동시에 M-7 프레임의 추출된 특징점들에 기초하여 제1 그룹의 M-6 프레임에서 광학적 알고리즘으로 특징점들을 추출한다. 그리고 M-7 프레임을 디스플레이 화면에 표시한다.
이러한 과정을 반복하면 표 1과 같이 제2 그룹을 수집하는 동안 제2 그룹의 첫번째 프레임과 제1 그룹의 두번째 프레임에서부터 마지막 프레임까지 특징점들을 추출함으로써, 디스플레이 화면에는 끊기지 않도록 프레임들을 표시할 수 있다.
이와 같이, 컴퓨팅 장치(100)는 실시간으로 수집되는 연속적인 촬영 영상에 대해 특징점들을 추출함으로써, 끊김 없이 고속으로 특징점을 추출한다.
다시 말해, 높은 정확도를 가지는 특징점들을 추출할 수 있지만, 시간 다소 오래 소요되는 기계학습 모델과 고속으로 추적이 가능하지만 누적 오차 발생이 되는 광학 추적 알고리즘을 함께 사용함으로써 컴퓨팅 장치(100)는 높은 정확도를 가지는 특징점들을 추출하면서 고속으로 영상 내 객체의 추적이 가능하다.
도 8은 본 발명의 한 실시예에 특징점 좌표의 매칭을 통한 추적하는 과정을 설명하기 위한 예시도이다.
도 8에 도시한 바와 같이, 컴퓨팅 장치(100)는 그룹에 속하는 M번째 컬러 영상과 연속적인 M+1 번째 컬러 영상에서 재구성된 3차원 좌표를 기반으로 영상 내 객체를 추적할 수 있다.
컴퓨팅 장치(100)는 각각 컬러영상(촬영영상)에서 특징점의 2차원 좌표를 추출하면 컬러 영상의 깊이 정보를 투영하거나 핀홀 카메라 모델을 통해 특징점의 3차원 좌표로 재구성한다.
이에 컴퓨팅 장치(100)는 재구성된 특징점의 3차원 좌표를 점대점 매칭을 수행하여 영상 내 객체(특징점 좌표들)를 추적한다.
순서에 기초하여 M번째 컬러 영상의 재구성된 특징점의 3차원 좌표에서 M+1번째 컬러 영상의 재구성된 3차원 좌표로의 3차원 변화량을 계산할 수 있다.
그리고 컴퓨팅 장치(100)는 3차원 변화량을 정합된 의료 영상에 적용하여 촬영 영상의 변화에도 지속적으로 객체의 추적이 가능하도록 할 수 있다.
도 9는 본 발명의 한 실시예에 컴퓨팅 장치의 하드웨어 구성도이다.
도 9을 참고하면, 영상 정합 모듈(110), 객체 추적 모듈(120) 그리고 학습 모듈(130)은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(300)에서, 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행한다.
컴퓨팅 장치(300)의 하드웨어는 적어도 하나의 프로세서(310), 메모리(320), 스토리지(330), 통신 인터페이스(340)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(300)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.
프로세서(310)는 컴퓨팅 장치(300)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(310)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. 메모리(320)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(410)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(320)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(330)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(340)는 유/무선 통신 모듈일 수 있다.
본 발명에 따르면 마커를 사용하지 않으면서 해부학적 특징점을 이용한 무구속적 방식으로 3차원 영상간에 정합을 수행하고, 객체를 추적함으로써, 마커와 같은 추가적인 장비 없이도 최소화된 계산량으로 빠르고 정확한 정합 결과와 추적 데이터를 확보할 수 있다.
본 발명에 따르면 실시간으로 의료영상과 깊이 영상의 정합이 자동으로 수행되기 때문에 3차원 영상 정합을 위한 기술자의 기술 숙련도에 영향을 받지 않으므로 숙련도 차이에 따른 오류를 최소화하여 일정하게 정확도가 높은 정합결과를 획득할 수 있다.
본 발명에 따르면 추적하는 객체의 해부학적 특징점에 기초하여 기계학습 모델과 광학 추적 알고리즘을 동시에 사용하여 객체를 추적함으로써 누적 오차 발생을 방지하면서 고속으로 객체를 추적할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (16)

  1. 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서,
    사용자의 의료 영상에 기초하여 생성한 2차원 연조직 영상을 학습된 특징점 추출 모델에 입력하여 해부학적 위치에 기초한 하나 이상의 제1 특징점을 추출하고, 상기 의료 영상에 기초하여 상기 제1 특징점을 3차원 좌표로 재구성하는 단계,
    깊이 인식 카메라로 상기 사용자를 촬영한 촬영 영상을 상기 특징점 추출 모델에 입력하여 상기 해부학적 위치에 기초한 하나 이상의 제2 특징점을 추출하고, 상기 촬영 영상의 깊이 정보를 적용하여 상기 제2 특징점을 3차원 좌표로 재구성하는 단계, 그리고
    상기 제1 특징점의 3차원 좌표와 상기 제2 특징점의 3차원 좌표를 서로 매칭하여 상기 의료 영상과 상기 촬영 영상을 정합하는 단계
    를 포함하는, 동작 방법.
  2. 제1항에서,
    상기 특징점 추출 모델은,
    입력받은 영상에 대해 기울기 정보 기반의 영상으로 전환한 후, 상기 기울기 정보 기반의 영상에서 미리 라벨링된 특징점의 2차원 좌표를 출력하는 동작 방법.
  3. 제1항에서,
    상기 특징점 추출 모델은,
    얼굴을 포함한 영상인 경우에, 얼굴 위치에 따른 움직임이 최소화된 눈 외측 끝점, 눈 내측 끝점, 입꼬리 점, 코 시작점 중에서 하나 이상의 지점을 특징점으로 선정하여 라벨링하는 동작 방법.
  4. 제2항에서,
    상기 제1 특징점을 3차원 좌표로 재구성하는 단계는,
    상기 의료 영상에 기초하여 3차원 연조직 모델로 렌더링(rendering)하고, 상기 3차원 연조직 모델에서 관상 평면(Coronal Plane)방향으로 투영한 2차원 연조직 영상을 생성하여 상기 특징점 추출 모델에 입력하는 동작 방법.
  5. 제4항에서,
    상기 제1 특징점을 3차원 좌표로 재구성하는 단계는,
    상기2차원 연조직 영상에 대한 제1 특징점의 2차원 좌표를 획득하여, 상기 제1 특징점의 2차원 좌표를 기준점으로 상기 3차원 연조직 모델과 접점을 가지는 3차원 좌표를 추출하는 동작 방법.
  6. 제5항에서,
    상기 촬영 영상을 정합하는 단계는,
    상기 제1 특징점의 3차원 좌표와 상기 제2 특징점의 3차원 좌표에서 라벨링이 일치하는 특징점간에 점대점(point-to-point) 매칭을 수행하고, 매칭된 특징점간의 좌표 변환값을 산출하는 동작 방법.
  7. 제6항에서,
    상기 촬영 영상을 정합하는 단계는,
    상기 좌표 변환값을 상기 의료 영상에 적용하여 상기 의료 영상의 좌표계를 상기 촬영 영상에 대한 좌표계로 변환하는 동작 방법.
  8. 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서,
    깊이 인식 카메라를 통해 사용자를 연속적으로 촬영한 촬영 영상들 수집하는 단계,
    상기 촬영 영상들에서 학습된 특징점 추출 모델과 광학 추적 알고리즘을 선택적으로 이용하여 각 촬영 영상마다 하나 이상의 라벨링된 특징점 좌표를 추출하는 단계, 그리고
    촬영 영상마다의 깊이 정보에 기초하여 상기 라벨링된 특징점 좌표를 각각 3차원 좌표로 재구성하고, 수집 순서에 따라 인접한 촬영 영상들간의 상기 라벨링된 특징점의 3차원 좌표들을 매칭하여 상기 촬영 영상에서 상기 특징점을 갖는 객체를 추적하는 단계
    를 포함하는, 동작 방법.
  9. 제8항에서,
    상기 촬영 영상들을 미리 설정된 단위에 기초하여 순차적으로 그룹핑하는 단계를 더 포함하고,
    상기 특징점 좌표를 추출하는 단계는,
    상기 촬영 영상들 중에서 첫번째 촬영 영상에 대해서는 학습된 특징점 추출 모델을 이용하여 특징점 좌표를 추출하고, 두번째 촬영 영상에서부터는 직전 촬영 영상에서 추출된 특징점 좌표에 기초하여 광학 추적 알고리즘을 이용하여 특징점 좌표를 추출하는 동작 방법.
  10. 제8항에서,
    상기 특징점 추출 모델은,
    입력받은 영상에 대해 기울기 정보 기반의 영상으로 전환한 후, 상기 기울기 정보 기반의 영상에서 해부학적 위치에 기초하여 미리 라벨링된 특징점의 2차원 좌표를 출력하는 동작 방법.
  11. 제10항에서,
    상기 특징점을 갖는 객체를 추적하는 단계는,
    수집 순서에 따라 인접한 촬영 영상들간의 동일한 라벨링을 갖는 특징점의 3차원 좌표를 점대점(point-to-point) 매칭을 수행하고, 매칭된 3차원 좌표간의 3차원 변화량을 산출하는 동작 방법.
  12. 제11항에서,
    상기 해부학적 위치에 기초하여 추출된 특징점을 갖는 상기 사용자의 의료 영상을 수집하고, 상기 촬영 영상의 좌표계로 정합하는 단계, 그리고
    산출된 상기 3차원의 변화량을 상기 의료 영상에 적용하여 해당 촬영 영상에 대응하는 의료 영상을 생성하는 단계를 더 포함하는 동작 방법.
  13. 통신장치,
    메모리, 그리고
    상기 메모리에 로드된 프로그램의 명령들(instructions)을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로그램은
    사용자의 의료 영상과 깊이 인식 카메라로 촬영한 상기 사용자의 촬영 영상을 학습된 특징점 추출 모델에 입력하여 각각 해부학적 위치에 기초하여 라벨링된 하나 이상의 제1 특징점의 좌표와 제2 특징점의 좌표를 획득하면, 상기 제1 특징점의 좌표와 상기 제2 특징점의 좌표간에 매칭을 통해 상기 의료 영상과 상기 촬영 영상을 정합하고,
    수집된 연속적인 촬영 영상들에서 상기 특징점 추출 모델과 광학 추적 알고리즘을 선택적으로 이용하여 각 촬영 영상마다 하나 이상의 특징점 좌표를 추출하면, 연속되는 촬영 영상간에 특징점 좌표를 매칭하고, 매칭된 특징점 좌표들의 변화량을 산출하여 상기 촬영 영상에서의 객체를 추적하도록 기술된 명령들을 포함하는, 컴퓨팅 장치.
  14. 제13항에서,
    상기 프로그램은,
    상기 의료 영상에 기초하여 3차원 연조직 모델로 렌더링(rendering)하고, 상기 3차원 연조직 모델에서 관상 평면(Coronal Plane)방향으로 투영한 2차원 연조직 영상을 생성하고,
    특징점 추출 모델을 이용하여 상기2차원 연조직 영상에 대한 제1 특징점의 2차원 좌표를 획득하여, 상기 제1 특징점의 2차원 좌표를 기준점으로 상기 3차원 연조직 모델과 접점을 가지는 3차원 좌표를 추출하도록 기술된 명령들(Instrutctions)을 포함하는, 컴퓨팅 장치.
  15. 제14항에서,
    상기 프로그램은,
    상기 촬영 영상의 깊이 정보를 적용하여 재구성된 상기 제2 특징점의 3차원 좌표와 상기 제1 특징점의 3차원 좌표에서 라벨링이 일치하는 특징점간에 점대점(point-to-point) 매칭을 수행하고, 매칭된 특징점간의 좌표 변환값을 산출하도록 기술된 명령들(Instrutctions)을 포함하는, 컴퓨팅 장치.
  16. 제13항에서,
    상기 프로그램은,
    상기 연속적인 촬영 영상들을 미리 설정된 단위에 기초하여 순차적으로 그룹핑하고, 그룹 내 첫번째 촬영 영상에 대해서는 학습된 특징점 추출 모델을 이용하여 특징점 좌표를 추출하고, 두번째 촬영 영상에서부터는 직전 촬영 영상에서 추출된 특징점 좌표에 기초하여 광학 추적 알고리즘을 이용하여 특징점 좌표를 추출하도록 기술된 명령들(Instrutctions)을 포함하는, 컴퓨팅 장치.
KR1020200188364A 2020-12-30 2020-12-30 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치 KR102580750B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200188364A KR102580750B1 (ko) 2020-12-30 2020-12-30 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200188364A KR102580750B1 (ko) 2020-12-30 2020-12-30 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치

Publications (3)

Publication Number Publication Date
KR20220096157A true KR20220096157A (ko) 2022-07-07
KR102580750B1 KR102580750B1 (ko) 2023-09-19
KR102580750B9 KR102580750B9 (ko) 2024-02-08

Family

ID=82397365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200188364A KR102580750B1 (ko) 2020-12-30 2020-12-30 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102580750B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102561109B1 (ko) * 2023-01-03 2023-07-27 서울대학교산학협력단 3차원 영상 정합 장치 및 이를 이용한 3차원 영상 정합 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020616A (ja) * 2011-07-07 2013-01-31 Ricoh Co Ltd オブジェクト追跡方法及びオブジェクト追跡装置
KR20150019311A (ko) * 2013-08-13 2015-02-25 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
KR20200013984A (ko) * 2018-07-31 2020-02-10 서울대학교산학협력단 3d 영상 정합 제공 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020616A (ja) * 2011-07-07 2013-01-31 Ricoh Co Ltd オブジェクト追跡方法及びオブジェクト追跡装置
KR20150019311A (ko) * 2013-08-13 2015-02-25 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
KR20200013984A (ko) * 2018-07-31 2020-02-10 서울대학교산학협력단 3d 영상 정합 제공 장치 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Christina Gsaxner 등, Markerless Image-to-Face Registration for Untethered Augmented Reality in Head and Neck Surgery, MICCAI 2019(2019.10.13.) *
주수빈 등 스테레오 비전을 이용한 마커리스 정합: 특징점 추출 방법과 스테레오 비전의 위치에 따른 정합 정확도 평가, 전자공학회논문지(2016.01.31.) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102561109B1 (ko) * 2023-01-03 2023-07-27 서울대학교산학협력단 3차원 영상 정합 장치 및 이를 이용한 3차원 영상 정합 방법

Also Published As

Publication number Publication date
KR102580750B9 (ko) 2024-02-08
KR102580750B1 (ko) 2023-09-19

Similar Documents

Publication Publication Date Title
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
CN111772792B (zh) 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
US7561733B2 (en) Patient registration with video image assistance
Mirota et al. A system for video-based navigation for endoscopic endonasal skull base surgery
US20110282151A1 (en) Image-based localization method and system
Wu et al. Three-dimensional modeling from endoscopic video using geometric constraints via feature positioning
US11628012B2 (en) Patient positioning using a skeleton model
EP3789965A1 (en) Method for controlling a display, computer program and mixed reality display device
CN109146931A (zh) 一种三维图像处理方法、系统、装置及存储介质
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
KR102580750B1 (ko) 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치
Li et al. A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery
CN117323002A (zh) 一种基于混合现实技术的神经内镜手术可视化系统
US11954887B2 (en) Artificial-intelligence based reduction support
US20230123621A1 (en) Registering Intra-Operative Images Transformed from Pre-Operative Images of Different Imaging-Modality for Computer Assisted Navigation During Surgery
Speidel et al. Intraoperative surface reconstruction and biomechanical modeling for soft tissue registration
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
KR102561109B1 (ko) 3차원 영상 정합 장치 및 이를 이용한 3차원 영상 정합 방법
Truppe et al. Interventional video tomography
Lin et al. Optimization model for the distribution of fiducial markers in liver intervention
JP7407831B2 (ja) 介入装置追跡
TWI836493B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
CN114270408A (zh) 用于控制显示器的方法、计算机程序和混合现实显示设备
Shao et al. Facial augmented reality based on hierarchical optimization of similarity aspect graph

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]