KR20190065754A - 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치 - Google Patents

내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치 Download PDF

Info

Publication number
KR20190065754A
KR20190065754A KR1020170165245A KR20170165245A KR20190065754A KR 20190065754 A KR20190065754 A KR 20190065754A KR 1020170165245 A KR1020170165245 A KR 1020170165245A KR 20170165245 A KR20170165245 A KR 20170165245A KR 20190065754 A KR20190065754 A KR 20190065754A
Authority
KR
South Korea
Prior art keywords
virtual image
image
distortion
endoscopic
virtual
Prior art date
Application number
KR1020170165245A
Other languages
English (en)
Inventor
최현석
홍재성
이성풍
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170165245A priority Critical patent/KR20190065754A/ko
Publication of KR20190065754A publication Critical patent/KR20190065754A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법은, (a) 가상 이미지를 왜곡시키는 단계; 및 (b) 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키는 단계를 포함하여, 내시경 이미지의 크기와 품질을 손상시키지 않고 가상 이미지를 추가할 수 있다.

Description

내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치{METHOD AND APPARATUS FOR CORRECTING IMAGE DISTORTION FOR VIRTUAL REALITY FOR ENDOSCOPE}
본 발명은 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치에 관한 것이다.
최소침습수술(Minimally Invasive Surgery)을 위해 내시경은 다방면으로 사용되어 왔으며 시술자에게 쉽게 접근할 수 없는 영역을 모니터를 통해 보여준다. 수술 내비게이션의 개발과 더불어 내비게이션으로부터 얻은 정보를 내시경의 영상과 함께 보여줄 수 있는 방법들이 개발되어 왔으며 그 중 증강현실을 사용한 방법이 대표적이다.
내시경을 통해 증강현실을 구현할 경우 영상에서는 보이지 않는 환자의 체내 조직이나 수술 도구의 위치 등을 내시경 영상에 중첩시켜 나타낼 수 있다. 많은 연구에서는 주로 혈관이나 조직을 정확히 중첩하고자 하였다. 이렇게 증강현실을 구현하기 위해서는 환자를 기준으로 한 내시경 카메라의 위치를 정확히 알아야 하며 이때 내시경의 캘리브레이션(calibration) 정확도가 큰 영향을 미친다.
내시경(Endoscope)을 포함한 대부분의 카메라 시스템은 렌즈 왜곡(lens distortion)을 가지고 있는데 이 왜곡을 제대로 보상해 줘야 정확한 중첩을 할 수 있다. 이미지의 왜곡을 보상하게 되면 이미지상에서 배럴 이펙트(barrel effect)와 같은 비선형 기하학 변형(non-linear geometric deformation)을 제거할 수 있다.
내시경을 통해 증강현실을 구현할 때, 왜곡을 보상하기 위한 방법으로 일반적으로는 내시경 카메라의 이미지 프레임을 왜곡보정(undistortion)하고, 도 1에 도시된 바와 같이 기존의 가상 환경을 통해 획득한 해당 가상 3D 객체를 왜곡보정된 내시경 이미지에 중첩시킨다. 참조번호 100은 가상 카메라이고, 참조번호 102는 가상 객체이며, 참조번호 104는 가상 이미지 평면이다. 가상공간을 렌더링하여 얻어낸 3D 장면(scene)은 왜곡이 없으며 이렇게 이상적인 이미지는 왜곡을 제거한 내시경 이미지에 중첩하여 증강현실을 구현할 수 있게 된다.
하지만, 이렇게 내시경 이미지를 왜곡보정(undistortion)할 경우 발생하는 문제점은 도 2에 도시된 바와 같이, 도 2a의 내시경 이미지(200)가 스트레칭(stretching)되어 도 2b에 도시된 바와 같이 왜곡보정된 내시경 이미지(202)가 화면(204) 밖으로 퍼지게 되고, 왜곡보정된 내시경 이미지(202)의 주변부(206)가 화면(204) 밖을 벗어나서 내시경 이미지의 손실이 발생하기 때문에, 화면상에서 보이는 유효 화각(FOV: field of view)이 상대적으로 줄어든다는 점이다.
특히, 도 3에 도시된 바와 같이 왜곡이 클수록 해당 내시경 이미지를 왜곡보정했을 때 왜곡보정된 내시경 이미지(300)의 주변부(302)가 화면(304) 밖을 벗어나서 내시경 이미지의 손실은 커지게 된다. 광각 내시경(wide lens endoscope)을 사용하는 이유는 더 넓은 장면을 보기 위함인데 이렇게 내시경 이미지의 주변부가 손실되면 광각 내시경을 사용하는 이점이 줄어들게 된다.
또한, 내시경 카메라를 통해 촬영된 내시경 이미지의 왜곡을 펼 경우 보간(interpolation)을 사용함에도 불구하고 이미지 품질의 손실이 발생하게 된다. 그리고 여전히 많은 의사들은 기존의 내시경 이미지에 익숙해져 있기 때문에 왜곡을 제거한 이미지보다 원본 이미지를 선호한다.
따라서 내시경 이미지의 크기와 품질을 손상시키지 않고 가상 이미지를 추가할 수 있는 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치에 대한 요구가 존재한다.
KR 10-2011-0103724 A
본 발명이 해결하고자 하는 과제는 내시경 이미지의 크기와 품질을 손상시키지 않고 가상 이미지를 추가할 수 있는 내시경용 증강현실을 위한 이미지 왜곡 보정 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 내시경 이미지의 크기와 품질을 손상시키지 않고 가상 이미지를 추가할 수 있는 내시경용 증강현실을 위한 이미지 왜곡 보정 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법은,
(a) 가상 이미지를 왜곡시키는 단계; 및
(b) 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키는 단계를 포함한다.
본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법에 있어서, 상기 단계 (a)는,
(a-1) 확장된 화각으로 가상 이미지를 형성하는 단계; 및
(a-2) 상기 가상 이미지를 왜곡시키는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법에 있어서, 상기 단계 (a-1)은,
(a1-1) 내시경 이미지의 경계 원을 결정하는 단계;
(a1-2) 상기 경계 원의 중심과 내시경 렌즈의 광학점 중심점인 주점을 지나는 직선과 상기 경계 원의 교차점의 좌표를 계산하는 단계;
(a1-3) 상기 교차점의 좌표를 왜곡보정하여 화각 마진 좌표를 계산하는 단계; 및
(a1-4) 상기 화각 마진 좌표와 상기 주점을 잇는 선분을 반지름으로 하는 원을 포함하는 정사각형 영역에 가상 이미지를 렌더링하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법에 있어서, 상기 단계 (b)는, 상기 가상 이미지의 중심이 상기 주점에 위치하도록 상기 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법에 있어서, 상기 단계 (a-2)는, 상기 가상 이미지를 상기 내시경 렌즈의 왜곡 정도만큼 왜곡시키는 단계를 포함할 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 장치는,
가상 이미지를 왜곡시키기 위한 가상 이미지 왜곡부; 및
내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키기 위한 가상 이미지 중첩부를 포함한다.
본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 장치에 있어서, 상기 가상 이미지 왜곡부는,
확장된 화각으로 가상 이미지를 형성하기 위한 가상 이미지 형성부; 및
상기 가상 이미지를 왜곡시키기 위한 왜곡부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 장치에 있어서, 상기 가상 이미지 형성부는,
내시경 이미지의 경계 원을 결정하기 위한 경계 원 결정부;
상기 경계 원의 중심과 내시경 렌즈의 광학점 중심점인 주점을 지나는 직선과 상기 경계 원의 교차점의 좌표를 계산하기 위한 교차점 좌표 계산부;
상기 교차점의 좌표를 왜곡보정하여 화각 마진 좌표를 계산하기 위한 화각 마진 좌표 계산부; 및
상기 화각 마진 좌표와 상기 주점을 잇는 선분을 반지름으로 하는 원을 포함하는 정사각형 영역에 가상 이미지를 렌더링하기 위한 가상 이미지 렌더링부를 포함할 수 있다.
본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 장치에 있어서, 상기 가상 이미지 중첩부는, 상기 가상 이미지의 중심이 상기 주점에 위치하도록 상기 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시킬 수 있다.
본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 장치에 있어서, 상기 왜곡부는, 상기 가상 이미지를 상기 내시경 렌즈의 왜곡 정도만큼 왜곡시킬 수 있다.
본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치에 의하면, 내시경 이미지의 크기와 품질을 손상시키지 않고 가상 이미지를 추가할 수 있다.
도 1은 기존의 증강현실을 설명하기 위한 도면.
도 2는 기존의 내시경용 증강현실에서의 문제점을 설명하기 위한 도면.
도 3은 왜곡이 클 경우 기존의 내시경용 증강현실에서의 문제점을 설명하기 위한 도면.
도 4는 가상 이미지를 왜곡시키는 것을 설명하기 위한 도면.
도 5는 가상 이미지를 왜곡시켜 내시경 이미지에 중첩시킬 때 해결해야 할 문제점을 설명하기 위한 도면.
도 6의 좌측은 가상 이미지를 왜곡시키지 않은 경우의 화면, 우측은 가상 이미지를 왜곡시킨 경우의 화면을 도시한 도면.
도 7은 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법의 흐름도.
도 8은 도 7의 왜곡된 가상 이미지를 형성하는 단계의 상세 흐름도.
도 9는 내시경 이미지에서 경계 원을 결정하는 것을 설명하기 위한 도면.
도 10은 경계 원의 중심과 주점을 지나는 직선과 경계 원의 교차점의 좌표를 계산하는 것을 설명하기 위한 도면.
도 11은 화각 마진 좌표를 계산하는 것을 설명하기 위한 도면.
도 12는 가상 이미지 렌더링 영역을 결정하는 것을 설명하기 위한 도면.
도 13a는 내시경 이미지, 도 13b는 렌더링된 가상 이미지, 도 13c는 도 13b의 이미지를 왜곡시킨 이후의 모습을 도시한 도면.
도 14a는 가상 이미지에 왜곡을 적용하지 않고 내시경 이미지에 중첩시켰을 때의 중첩 화면을 도시한 도면.
도 14b는 가상 이미지에 왜곡을 적용하고 내시경 이미지에 중첩시켰을 때의 중첩 화면을 도시한 도면.
도 15는 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 장치의 블록도.
도 16은 도 15에 도시된 가상 이미지 왜곡부의 상세 블록도.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치에서는 내시경 카메라를 통해 촬영된 내시경 이미지는 변형시키지 않고 렌더링하여 얻어낸 가상 3D 장면(scene)을 왜곡시켜 내시경 이미지에 중첩시킨다.
본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치에서는 기존의 내시경 카메라의 이미지를 왜곡보정(undistortion)하는 것이 아니라, 도 4에 도시된 바와 같이 가상 카메라를 통해 획득된 가상 이미지를 왜곡시킨다. 도 4a는 가상공간의 이미지를 나타낸 도면이고, 도 4b는 도 4a의 이미지를 왜곡시킨 것이다.
하지만, 내시경 이미지의 해상도와 동일한 크기의 가상공간(virtual space)을 렌더링하여 내시경 이미지에 중첩시킬 경우, 도 5에 도시된 바와 같이 가상 이미지의 크기가 왜곡되어 수축하게 되므로 내시경 이미지에 가상 이미지를 중첩시켰을 때 가상 이미지가 내시경 이미지에 정확히 매칭이 되지 않는다. 즉 도 6에 도시된 바와 같이 가상 이미지의 영역이 실제 이미지의 영역보다 작아져 내시경 이미지의 가장자리에서는 중첩된 가상 이미지가 잘려나가게 된다.
도 6의 좌측은 가상 이미지를 왜곡시키지 않은 경우의 화면이고, 도 6의 우측은 가상 이미지를 왜곡시킨 경우의 화면이다. 도면에는 도시되지 않았지만, 도 6의 우측에서 가상 이미지(600)가 내시경 이미지(602)의 가장자리로 이동하는 경우, 가상 이미지(600)가 잘리게 된다.
이를 해결하기 위하여, 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치에서는 적절한 영역의 가상공간을 렌더링하여 가상 이미지를 획득한다. 따라서 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치는 내시경 이미지의 상황에 맞는 가장 적절한 가상공간의 크기를 얻는 방법도 제시한다.
도 15에 도시된 본 발명의 일 실시예에 의한 내시경용 증강현실을 위한 이미지 왜곡 보정 장치는, 가상 이미지를 왜곡시키기 위한 가상 이미지 왜곡부(1500) 및 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키기 위한 가상 이미지 중첩부(1502)를 포함한다.
또한, 도 16을 참조하면, 상기 가상 이미지 왜곡부(1500)는, 확장된 화각으로 가상 이미지를 형성하기 위한 가상 이미지 형성부(1600) 및 상기 가상 이미지를 왜곡시키기 위한 왜곡부(1602)를 포함한다.
또한, 도 16을 참조하면, 상기 가상 이미지 형성부(1600)는, 내시경 이미지의 경계 원을 결정하기 위한 경계 원 결정부(1604), 상기 경계 원의 중심과 내시경 렌즈의 광학점 중심점인 주점을 지나는 직선과 상기 경계 원의 교차점의 좌표를 계산하기 위한 교차점 좌표 계산부(1606), 상기 교차점의 좌표를 왜곡보정하여 화각 마진 좌표를 계산하기 위한 화각 마진 좌표 계산부(1608), 및 상기 화각 마진 좌표와 주점을 잇는 선분을 반지름으로 하는 원을 포함하는 정사각형 영역에 가상 이미지를 렌더링하기 위한 가상 이미지 렌더링부(1610)를 포함한다.
도 7 및 도 15를 참조하면, 단계 S700에서, 가상 이미지 왜곡부(1500)는, 가상 카메라를 통해 획득된 가상 이미지를 왜곡시킨다. 단계 S702에서, 가상 이미지 중첩부(1502)는 내시경 카메라를 통해 촬영된 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시켜, 왜곡된 가상 이미지가 중첩된 증강현실 내시경 이미지를 출력한다.
도 8, 도 9, 및 도 16을 참조하면, 단계 S800에서, 경계 원 결정부(1604)는 내시경 이미지의 경계 원(boundary circle)을 결정한다. 경계 원은 허프 변환(Hough transform)을 사용하여 결정할 수 있다.
도 10을 참조하면, 단계 S802에서, 교차점 좌표 계산부(1606)는 수학식 1에 기반하여 상기 결정된 경계 원의 중심(e0)과 내시경 렌즈의 광학점 중심점인 주점(c)(Principal point)을 지나는 직선(l)과 상기 경계 원의 교차점(e1)의 좌표(e1(x,y))를 계산한다.
Figure pat00001
상기에서 l=norm(e0-c)+r, norm(e0-c)는 경계 원의 중심(e0)과 주점(c) 간의 거리이다.
도 11을 참조하면, 단계 S804에서, 화각 마진 좌표 계산부(1608)는 상기 교차점의 좌표(e1(x,y))를 왜곡보정(undistortion)하여 화각 마진 좌표(eu1(x,y))를 계산한다.
도 12를 참조하면, 단계 S806에서, 가상 이미지 렌더링부(1610)는 상기 화각 마진 좌표(eu1(x,y))와 주점(c)을 잇는 선분을 반지름으로 하는 원(1200)을 포함하는 노란색으로 표시된 정사각형 영역(1202)에 가상 이미지를 렌더링하여, 확장된 화각으로 가상 이미지를 형성한다.
도 11 및 도 12에 도시된 바와 같이, 교차점의 좌표(e1(x,y))를 왜곡보정(undistortion)하면 화각 마진 좌표(eu1(x,y)를 계산할 수 있고 이에 기반하여 오프-스크린 렌더링을 위한 화각(FOV)을 찾을 수 있다. 즉 화각 마진 좌표(eu1(x,y))가 새로운 화각의 마진이 된다.
단계 S808에서, 왜곡부(1602)는 상기 렌더링된 가상 이미지를 내시경 렌즈의 왜곡 정도만큼 왜곡시킨다.
새로운 화각으로 렌더링된 가상 이미지는 이미지 버퍼에서 (0,0) 좌표로부터 시작하게 된다. 따라서, 렌더링된 가상 이미지를 내시경 이미지에 중첩시키기 위하여 가상 이미지의 중심을 내시경 렌즈의 광학점 중심점인 주점에 위치하도록 이동시킨다.
도 13a는 내시경 이미지, 도 13b는 렌더링된 가상 이미지, 도 13c는 도 13b의 이미지를 왜곡시킨 이후의 모습을 도시한 도면이다.
도 14a는 가상 이미지에 왜곡을 적용하지 않고 내시경 이미지에 중첩시켰을 때 중첩 화면을 도시한 도면이고, 도 14b는 가상 이미지에 왜곡을 적용하고 내시경 이미지에 중첩시켰을 때의 중첩 화면을 도시한 도면이다.
도 14b에 도시된 바와 같이, 가상 이미지 영역(1404)이 내시경 이미지(1402)를 포함하는 형태로 형성되어 있기 때문에, 가상 이미지(1400)가 내시경 이미지(1402)의 가장자리로 가게 되더라도, 가상 이미지(1400)가 잘리지 않는 것을 확인할 수 있다.
이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.
100 : 가상 카메라 102 : 가상 객체
104 : 가상 이미지 평면 200, 602, 1402 : 내시경 이미지
202, 300 : 왜곡 보정된 내시경 이미지
204, 304 : 화면
206, 302 : 왜곡 보정된 내시경 이미지의 주변부
600, 1400 : 가상 이미지 1200 : 원
1202 : 정사각형 영역 1404 : 가상 이미지 영역
1500 : 가상 이미지 왜곡부 1502 : 가상 이미지 중첩부
1600 : 가상 이미지 형성부 1602 : 왜곡부
1604 : 경계 원 결정부 1606 : 교차점 좌표 계산부
1608 : 화각 마진 좌표 계산부 1610 : 가상 이미지 렌더링부

Claims (10)

  1. (a) 가상 이미지를 왜곡시키는 단계; 및
    (b) 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키는 단계를 포함하는, 내시경용 증강현실을 위한 이미지 왜곡 보정 방법.
  2. 청구항 1에 있어서,
    상기 단계 (a)는,
    (a-1) 확장된 화각으로 가상 이미지를 형성하는 단계; 및
    (a-2) 상기 가상 이미지를 왜곡시키는 단계를 포함하는, 내시경용 증강현실을 위한 이미지 왜곡 보정 방법.
  3. 청구항 2에 있어서,
    상기 단계 (a-1)은,
    (a1-1) 내시경 이미지의 경계 원을 결정하는 단계;
    (a1-2) 상기 경계 원의 중심과 내시경 렌즈의 광학점 중심점인 주점을 지나는 직선과 상기 경계 원의 교차점의 좌표를 계산하는 단계;
    (a1-3) 상기 교차점의 좌표를 왜곡보정하여 화각 마진 좌표를 계산하는 단계; 및
    (a1-4) 상기 화각 마진 좌표와 상기 주점을 잇는 선분을 반지름으로 하는 원을 포함하는 정사각형 영역에 가상 이미지를 렌더링하는 단계를 포함하는, 내시경용 증강현실을 위한 이미지 왜곡 보정 방법.
  4. 청구항 3에 있어서,
    상기 단계 (b)는,
    상기 가상 이미지의 중심이 상기 주점에 위치하도록 상기 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키는 단계를 포함하는, 내시경용 증강현실을 위한 이미지 왜곡 보정 방법.
  5. 청구항 2에 있어서,
    상기 단계 (a-2)는,
    상기 가상 이미지를 상기 내시경 렌즈의 왜곡 정도만큼 왜곡시키는 단계를 포함하는, 내시경용 증강현실을 위한 이미지 왜곡 보정 방법.
  6. 가상 이미지를 왜곡시키기 위한 가상 이미지 왜곡부; 및
    내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키기 위한 가상 이미지 중첩부를 포함하는, 내시경용 증강현실을 위한 이미지 왜곡 보정 장치.
  7. 청구항 6에 있어서,
    상기 가상 이미지 왜곡부는,
    확장된 화각으로 가상 이미지를 형성하기 위한 가상 이미지 형성부; 및
    상기 가상 이미지를 왜곡시키기 위한 왜곡부를 포함하는, 내시경용 증강현실을 위한 이미지 왜곡 보정 장치.
  8. 청구항 6에 있어서,
    상기 가상 이미지 형성부는,
    내시경 이미지의 경계 원을 결정하기 위한 경계 원 결정부;
    상기 경계 원의 중심과 내시경 렌즈의 광학점 중심점인 주점을 지나는 직선과 상기 경계 원의 교차점의 좌표를 계산하기 위한 교차점 좌표 계산부;
    상기 교차점의 좌표를 왜곡보정하여 화각 마진 좌표를 계산하기 위한 화각 마진 좌표 계산부; 및
    상기 화각 마진 좌표와 상기 주점을 잇는 선분을 반지름으로 하는 원을 포함하는 정사각형 영역에 가상 이미지를 렌더링하기 위한 가상 이미지 렌더링부를 포함하는, 내시경용 증강현실을 위한 이미지 왜곡 보정 장치.
  9. 청구항 8에 있어서,
    상기 가상 이미지 중첩부는,
    상기 가상 이미지의 중심이 상기 주점에 위치하도록 상기 내시경 이미지에 상기 왜곡된 가상 이미지를 중첩시키는, 내시경용 증강현실을 위한 이미지 왜곡 보정 장치.
  10. 청구항 7에 있어서,
    상기 왜곡부는,
    상기 가상 이미지를 상기 내시경 렌즈의 왜곡 정도만큼 왜곡시키는, 내시경용 증강현실을 위한 이미지 왜곡 보정 장치.
KR1020170165245A 2017-12-04 2017-12-04 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치 KR20190065754A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170165245A KR20190065754A (ko) 2017-12-04 2017-12-04 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165245A KR20190065754A (ko) 2017-12-04 2017-12-04 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20190065754A true KR20190065754A (ko) 2019-06-12

Family

ID=66845739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165245A KR20190065754A (ko) 2017-12-04 2017-12-04 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190065754A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102171994B1 (ko) 2020-07-02 2020-10-30 그린스펙(주) 이미지 변환테이블을 구비한 내시경기기
KR20220037892A (ko) 2020-09-18 2022-03-25 그린스펙(주) 이미지의 밝기정보와 색깔정보의 보정기능을 갖춘 내시경기기

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110103724A (ko) 2010-03-15 2011-09-21 한국과학기술원 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110103724A (ko) 2010-03-15 2011-09-21 한국과학기술원 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102171994B1 (ko) 2020-07-02 2020-10-30 그린스펙(주) 이미지 변환테이블을 구비한 내시경기기
KR20220003943A (ko) 2020-07-02 2022-01-11 그린스펙(주) 광섬유 배열오차 보정기능을 구비한 내시경기기.
KR20220037892A (ko) 2020-09-18 2022-03-25 그린스펙(주) 이미지의 밝기정보와 색깔정보의 보정기능을 갖춘 내시경기기

Similar Documents

Publication Publication Date Title
EP3426127B1 (en) Image processing device, image processing method and recording medium
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
Mellor Realtime camera calibration for enhanced reality visualization
JP6125379B2 (ja) 動きのアーティファクトを自動補正する方法およびシステム
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP7280188B2 (ja) 医療用拡大高解像度撮像方法及び撮像システム
US8052598B2 (en) Systems and methods for calibrating an endoscope
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
KR100726028B1 (ko) 환자환부의 증강현실영상 투영시스템 및 그 방법
Lee et al. Automatic distortion correction of endoscopic images captured with wide-angle zoom lens
US20180342079A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
WO2015190319A1 (ja) 画像処理装置、画像処理方法、プログラム、および内視鏡システム
JP2019533232A (ja) パターン検出
Goncalves et al. Perspective shape from shading for wide-FOV near-lighting endoscopes
KR20190065754A (ko) 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치
CN115311405A (zh) 一种双目内窥镜的三维重建方法
WO2016157923A1 (ja) 情報処理装置及び情報処理方法
KR20160022704A (ko) 수술 내비게이션에 의해 수술도구를 표시하는 방법
Zenteno et al. 3D Cylinder Pose Estimation by Maximization of Binary Masks Similarity: A simulation Study for Multispectral Endoscopy Image Registration.
CN113645396B (zh) 图像叠加方法、装置、设备及存储介质
JP7163913B2 (ja) 医療用システム及び制御ユニット
US11963658B2 (en) Distortion correction of endoscopic images in computer-assisted tele-operated surgery
CN111240464B (zh) 眼球追踪的校正方法和其装置
Hussain et al. 3D landmark detection for augmented reality based otologic procedures
Lourenço et al. Continuous zoom calibration by tracking salient points in endoscopic video