KR101372496B1 - 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법 - Google Patents

스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법 Download PDF

Info

Publication number
KR101372496B1
KR101372496B1 KR1020120103485A KR20120103485A KR101372496B1 KR 101372496 B1 KR101372496 B1 KR 101372496B1 KR 1020120103485 A KR1020120103485 A KR 1020120103485A KR 20120103485 A KR20120103485 A KR 20120103485A KR 101372496 B1 KR101372496 B1 KR 101372496B1
Authority
KR
South Korea
Prior art keywords
image
stereo
camera
laryngoscope
matching
Prior art date
Application number
KR1020120103485A
Other languages
English (en)
Inventor
송복득
신범주
전계록
박희준
박경혜
김윤영
김진동
Original Assignee
유메디칼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유메디칼 주식회사 filed Critical 유메디칼 주식회사
Priority to KR1020120103485A priority Critical patent/KR101372496B1/ko
Application granted granted Critical
Publication of KR101372496B1 publication Critical patent/KR101372496B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법에 관한 것으로, 후두내시경의 촬영부에 한 쌍의 전/후측 카메라로 이루어진 스테레오 카메라를 장착하고 스테레오 비전(Stereo Vision)을 이용하여 환자의 후두영역을 3차원 영상으로 획득함으로써, 후두 내 성대(Vocal Cords)의 정밀 진단을 위한 성대 높이(level)차 측정을 효과적으로 할 수 있다.

Description

스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법{APPARATUS FOR ACQUIRING THREE-DIMENSIONAL IMAGE INFORMATION OF LARYNGOSCOPE USING STEREO CAMERA AND A METHOD THEREOF}
본 발명은 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법에 관한 것으로, 보다 상세하게는 후두내시경의 촬영부에 한 쌍의 전/후측 카메라로 이루어진 스테레오 카메라를 장착하고 스테레오 비전(Stereo Vision)을 이용하여 환자의 후두영역을 3차원 영상으로 획득함으로써, 후두 내 성대(Vocal Cords)의 정밀 진단을 위한 성대 높이(level)차 측정을 효과적으로 할 수 있도록 한 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법에 관한 것이다.
일반적으로, 성대(Vocal Cords)의 마비증상은 후두내시경을 이용하여 성대를 위에서 보면 양측 성대의 높이차이가 나고, 특히 피열 연골의 성대돌기는 발성 혹은 호흡 시 높이 차이를 관찰할 수 있다.
마비된 성대의 위치는 대부분 일정한 양상을 보이지 않으며 환자 및 마비의 종류에 따라 단일 카메라가 장착된 후두내시경을 이용하여 검사자 또는 의사가 육안으로 성대 높이(level) 차를 구별한다.
이러한 종래의 단일 카메라 시스템인 후두내시경은 2차원 영상을 제공하기 때문에 3차원 정보에서 제공되는 성대 높이 차이 변화에 대한 정보를 저장할 수 없으며, 시간에 따라 환자의 마비된 성대 높이 변화에 대한 정보를 획득할 수 없는 문제점이 있다.
이와 같이 후두내시경을 통한 3차원 정보를 획득 및 측정하는 것은 성대마비의 정밀 진단에 필수적이다. 즉, 성대마비가 있을 때 양측 성대의 위치의 차이를 3 차원적으로 정확하게 측정이 가능하다면 성대 마비의 수술적 치료에 획기적인 도움이 된다.
한편, 단일 카메라의 경우 다중 시점(View)에서 측정한 영상을 이용하여 3차원 정보를 획득하는 종래 기술로는, 서로 다른 시점의 영상의 좌표계를 이용하여 물체와 카메라간의 거리 정보를 구하는 방법으로 연속으로 촬영된 영상 정보를 정합하여 각 영상에서 서로 일치하는 물체를 찾은 후 사형식(projection)을 이용하여 물체의 거리정보를 추출한다. 따라서, 다른 센서에 비해 3차원 정보를 처리하는데 어려움이 존재하고 계산량이 많아지는 단점이 있다.
즉, 단일 카메라에 레이저 센서를 사용하여 거리정보를 추출하는 종래의 방법은 연속으로 촬영된 영상 정보를 정합하여 각 영상에서 서로 일치하는 물체를 찾은 후 사형식(projection)을 이용하여 물체의 거리정보를 추출한다. 레이저 센서의 경우 다른 광원들에 비해 단색상과 직진성이 띄어나고 밝기 또한 강하여 간섭을 최소화 할 수 있는 장점이 있다.
그러나, 단일 카메라와 레이저 센서를 이용한 종래의 3차원 측정 방법을 후두내시경에 사용하기 위해서는 여러 가지 고려되어야 할 부분이 있다.
첫째는 후두 위치가 입이나 코를 통하여 영상을 촬영을 할 경우 카메라와 후두와의 거리가 최소 10cm∼20cm 내의 짧은 거리 내에 위치한다. 그리고, 카메라 기구의 면적이 약 2.5 평방cm 이내여야 구강을 이용하여 측정이 가능하여 카메라가 움직일 수 있는 거리가 협소함으로 다중 시점의 영상을 이용한 단일 카메라 시스템의 경우 카메라와 물체간의 거리계산이 어려운 문제가 발생한다.
둘째는 레이저 센서를 이용한 3차원 측정의 경우 사람의 내부에 사용되기 때문에 안정성이 고려야 되어야 하며 동일한 속도로 레이저 라인이 움직여서 카메라가 라인 영상을 측정해야 함으로 기구 설계 제작에 어려운 점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 후두내시경의 촬영부에 한 쌍의 전/후측 카메라로 이루어진 스테레오 카메라를 장착하고 스테레오 비전(Stereo Vision)을 이용하여 환자의 후두영역을 3차원 영상으로 획득함으로써, 후두 내 성대(Vocal Cords)의 정밀 진단을 위한 성대 높이(level)차 측정을 효과적으로 할 수 있도록 한 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 후두를 관찰할 수 있는 촬영부를 구비하는 후두내시경; 상기 후두내시경의 촬영부에 설치되며, 환자의 후두영역을 촬영하여 한 쌍의 아날로그 스테레오 영상을 획득하기 위한 전/후측 카메라로 이루어진 스테레오 카메라; 상기 스테레오 카메라로부터 획득된 한 쌍의 아날로그 스테레오 영상을 디지털 스테레오 영상으로 변환한 후, 변환된 디지털 스테레오 영상에 대한 스테레오 영상 정합을 수행하는 영상 처리부; 상기 영상 처리부로부터 정합된 스테레오 영상을 제공받아 시각의 변위차를 이용하여 변위맵(Disparity Map)을 생성하는 변위맵 생성부; 및 상기 변위맵 생성부로부터 생성된 변위맵을 이용하여 3차원 깊이 값을 추출한 후 3차원 영상 및 위치 정보데이터를 획득하는 3차원 영상획득부를 포함하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치를 제공하는 것이다.
여기서, 상기 3차원 영상획득부로부터 획득된 3차원 영상 및 위치 정보데이터를 이용하여 사용자가 시각적으로 볼 수 있도록 표시하는 디스플레이부를 더 포함함이 바람직하다.
바람직하게, 상기 스테레오 카메라의 전/후측 카메라에 구비된 렌즈의 방사왜곡 및 접선왜곡을 제거하고, 상기 전/후측 카메라 사이의 각도와 거리를 조절하여 출력 영상이 행-정렬되도록 하는 카메라 보정 및 조정부를 더 포함할 수 있다.
바람직하게, 상기 영상 처리부는, 변환된 디지털 스테레오 영상 내의 특징점 추출 및 분할에 의한 대응점의 위치를 검출하고, 검출된 대응점의 위치를 기반으로 스테레오 영상 정합을 수행할 수 있다.
바람직하게, 상기 영상 처리부의 스테레오 영상 정합은, 블록 정합(Block Matching), 영상 특징점 추출을 이용한 특징기반 정합(Feature Based Matching) 또는 영상 에지 기반의 정합 기법 중 어느 하나를 이용하여 수행될 수 있다.
바람직하게, 상기 3차원 영상획득부는, 추출된 3차원 깊이 값을 거리 값으로 환산하여 상기 스테레오 카메라로부터 촬영된 후두영역 내의 양측 성대의 높이(level)차를 측정할 수 있다.
본 발명의 제2 측면은, 후두를 관찰할 수 있는 후두내시경에 설치되며, 환자의 후두영역을 촬영하여 한 쌍의 아날로그 스테레오 영상을 획득하기 위한 전/후측 카메라로 이루어진 스테레오 카메라를 포함하는 장치를 이용하여 3차원 영상을 획득하는 방법으로서, (a) 상기 스테레오 카메라를 통해 획득된 한 쌍의 아날로그 스테레오 영상을 디지털 스테레오 영상으로 변환하는 단계; (b) 상기 단계(a)에서 변환된 디지털 스테레오 영상에 대한 스테레오 영상 정합을 수행하는 단계; (c) 상기 단계(b)에서 정합된 스테레오 영상에 대해 시각의 변위차를 이용하여 변위맵(Disparity Map)을 생성하는 단계; 및 (d) 상기 단계(c)에서 생성된 변위맵을 이용하여 3차원 깊이 값을 추출한 후 3차원 영상 및 위치 정보데이터를 획득하는 단계를 포함하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 방법을 제공하는 것이다.
여기서, 상기 단계(a) 이전에, 상기 스테레오 카메라의 전/후측 카메라에 구비된 렌즈의 방사왜곡 및 접선왜곡을 제거하고, 상기 전/후측 카메라 사이의 각도와 거리를 조절하여 출력 영상이 행-정렬되도록 카메라 보정 및 조정하는 단계를 더 포함함이 바람직하다.
바람직하게, 상기 단계(d)에서 획득된 3차원 영상 및 위치 정보데이터를 이용하여 사용자가 시각적으로 볼 수 있도록 디스플레이 화면에 표시하는 단계를 더 포함할 수 있다.
바람직하게, 상기 단계(b)는, 상기 단계(a)에서 변환된 디지털 스테레오 영상 내의 특징점 추출 및 분할에 의한 대응점의 위치를 검출하고, 검출된 대응점의 위치를 기반으로 스테레오 영상 정합을 수행할 수 있다.
바람직하게, 상기 단계(b)의 스테레오 영상 정합은, 블록 정합(Block Matching), 영상 특징점 추출을 이용한 특징기반 정합(Feature Based Matching) 또는 영상 에지 기반의 정합 기법 중 어느 하나를 이용하여 수행할 수 있다.
바람직하게, 상기 단계(d)에서 추출된 3차원 깊이 값을 거리 값으로 환산하여 상기 스테레오 카메라로부터 촬영된 후두영역 내의 양측 성대의 높이(level)차를 측정하는 단계를 더 포함할 수 있다.
이상에서 설명한 바와 같은 본 발명의 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법에 따르면, 후두내시경의 촬영부에 한 쌍의 전/후측 카메라로 이루어진 스테레오 카메라를 장착하고 스테레오 비전(Stereo Vision)을 이용하여 환자의 후두영역을 3차원 영상으로 획득함으로써, 후두 내 성대(Vocal Cords)의 정밀 진단을 위한 성대 높이(level)차 측정을 효과적으로 할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치를 설명하기 위한 전체적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 방법을 설명하기 위한 전체적인 흐름도이다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
도 1은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치를 설명하기 위한 전체적인 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치는, 크게 후두내시경(100), 스테레오 카메라(200), 영상 처리부(300), 변위맵 생성부(400) 및 3차원 영상획득부(500) 등을 포함하여 이루어진다.
여기서, 후두내시경(100)은 후두를 관찰할 수 있도록 구성된 것으로서, 크게 인체의 내부기관에 삽입되는 가이드관(110)과, 가이드관(110)의 후단부에 형성된 손잡이부(120)로 이루어진다.
검사자가 손잡이부(120)를 잡고 가이드관(110)을 피검자의 내부, 예를 들어 목 안으로 삽입하여 후두의 상태를 관찰할 수 있다. 일반적으로 후두내시경(100)은 컴퓨터와 모니터에 연결되고, 가이드관(110)의 말단에서 촬영된 영상을 모니터를 통해 보고 저장할 수 있다.
그리고, 가이드관(110)의 내부에는 후두를 관찰할 수 있는 촬영부(111)를 비롯하여 도면에 도시되진 않았지만, 신체 내부를 밝히기 위한 광원, 반사판 및 레이저 다이오드 등의 구성요소들이 구비될 수 있다. 이때, 촬영부(111)에는 병변을 촬영하기 위한 것으로, 후술하는 스테레오 카메라(200)가 장착되어 있다.
이러한 후두내시경(100)은 통상적으로, 경성(rigid, 강직형이라고도 함) 또는 연성(flexible, 굴곡형이라고도 함)의 후두내시경을 적용할 수 있다. 즉, 통상의 후두내시경에는 형태에 따라 크게 두 종류가 있는데 경성 후두내시경과 연성(굴곡형) 후두내시경이다. 상기 경성 후두내시경은 얇은 막대 형태의 내시경으로 입을 벌린 채 후두내시경을 삽입해 후두를 관찰한다. 반면, 상기 연성(굴곡형) 후두내시경은 위내시경처럼 잘 구불어지는 줄 형태로 검사는 코 혹은 입으로 삽입하여 시행하기 때문에 약간의 불편감이 있을 수 있으나 대부분의 경우 마취도 필요 없이 간단히 검사를 시행 받을 수 있다.
스테레오 카메라(200)는 후두내시경(100)의 촬영부(111)에 설치되어 있으며, 환자의 후두영역을 촬영하여 한 쌍의 아날로그 스테레오 영상을 획득하기 위한 한 쌍의 전/후측(또는 좌/우측) 카메라(200a 및 200b)로 이루어진다.
이러한 스테레오 카메라(200)는, 일반적인 모노 카메라와는 달리 획득된 영상의 픽셀마다 3차원 좌표 데이터를 얻을 수 있기 때문에, 실제 관찰영역을 임의의 3차원 공간으로 정의할 수 있으며, 이에 따라 실제 관찰영역 내의 물체에 대한 3차원 좌표 데이터를 얻을 수 있다.
한편, 본 발명의 일 실시예에서는 스테레오 카메라(200)를 적용함이 바람직하지만, 이에 국한하지 않으며, 깊이(Depth) 카메라, 적외선 카메라, 레이저 스캐너 등 물체에 대한 3차원 좌표 데이터를 얻을 수 있으면 어느 것이든 적용가능하다.
영상 처리부(300)는 스테레오 카메라(200)로부터 획득된 한 쌍의 아날로그 스테레오 영상을 디지털 스테레오 영상으로 변환한 후, 변환된 디지털 스테레오 영상에 대한 스테레오 영상 정합(stereo image matching)을 수행하는 기능을 수행한다.
즉, 영상 처리부(300)는, 변환된 디지털 스테레오 영상 내의 특징점 추출 및 분할에 의한 대응점의 위치를 검출하고, 검출된 대응점의 위치를 기반으로 스테레오 영상 정합을 수행함이 바람직하다.
여기서, 「스테레오 영상 정합」이란 서로 다른 위치에서 획득된 두 영상을 적절히 정합함으로써 거리 정보를　얻는 영상 처리기법으로, 초음파와 레이저를 광원으로 사용하여 빛의　비행 시간과 속도의 함수로써 거리를 측정하는 것보다 효과적이고 실제 응용 환경의 제약을　적게 받는다는 장점 때문에 다양한 분야에서 널리 사용되고 있다.
즉, 영상 처리부(300)의 스테레오 영상 정합은 예컨대, 블록 정합(Block Matching), 영상 특징점 추출을 이용한 특징기반 정합(Feature Based Matching) 또는 영상 에지 기반의 그래프 컷(Grapy Cut) 정합 기법 중 어느 하나를 이용하여 수행될 수 있다.
변위맵 생성부(400)는 영상 처리부(300)로부터 정합된 스테레오 영상을 제공받아 시각의 변위차를 이용하여 변위맵(Disparity Map)을 생성하는 기능을 수행한다.
3차원 영상획득부(500)는 변위맵 생성부(400)로부터 생성된 변위맵을 이용하여 3차원 깊이 값을 추출한 후 3차원 영상 및 위치 정보데이터를 획득하는 기능을 수행한다.
또한, 3차원 영상획득부(500)는, 추출된 3차원 깊이 값을 거리 값으로 환산하여 스테레오 카메라(200)로부터 촬영된 후두영역 내의 양측 성대의 높이(level)차를 측정할 수 있다.
추가적으로, 3차원 영상획득부(500)로부터 획득된 3차원 영상 및 위치 정보데이터를 이용하여 사용자가 시각적으로 볼 수 있도록 표시하는 디스플레이부(600)를 더 포함할 수 있다.
더욱이, 스테레오 카메라(200)의 전/후측 카메라(200a 및 200b)에 구비된 렌즈의 고유 왜곡 예컨대, 방사왜곡(radial distortion) 및 접선왜곡(tangential distortion)을 제거하고, 전/후측 카메라(200a 및 200b) 사이의 각도와 거리를 조절하여 출력 영상이 행-정렬되도록 하는 카메라 보정 및 조정부(700)를 더 포함할 수도 있다.
이하에는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치를 이용하여 3차원 영상을 획득하는 방법에 대하여 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 방법을 설명하기 위한 전체적인 흐름도이다.
도 2를 참조하면, 먼저, 영상처리부(300)를 통해 스테레오 카메라(200)의 전/후측 카메라(200a 및 200b)로부터 획득된 한 쌍의 아날로그 스테레오 영상을 디지털 스테레오 영상으로 변환한 후(S100), 상기 단계S100서 변환된 디지털 스테레오 영상에 대한 스테레오 영상 정합을 수행한다(S200).
이때, 상기 단계S200에서는, 상기 단계S100에서 변환된 디지털 스테레오 영상 내의 특징점 추출 및 분할에 의한 대응점의 위치를 검출하고, 검출된 대응점의 위치를 기반으로 스테레오 영상 정합을 수행함이 바람직하다.
한편, 상기 단계S200의 스테레오 영상 정합은 예컨대, 블록 정합(Block Matching), 영상 특징점 추출을 이용한 특징기반 정합(Feature Based Matching) 또는 영상 에지 기반의 그래프 컷(Grapy Cut) 정합 기법 중 어느 하나를 이용하여 수행할 수 있다.
본 발명의 일 실시예에 적용되는 스테레오 영상 정합에 대하여 좀 더 상세하게 살펴보면, 스테레오 비전(Stereo Vision)의 정확한 변위맵(Disparity Map)을 추출하기 위해서는 두 개의 카메라가 동일한 지점을 보는 것이 가장 중요하다. 두 개의 영상에서 동일한 점을 찾는 방법을 대응(Correspondence)이라고 한다. 동일한 지점을 대응점이라고 하는데 대응점 검출에는 국부적 방법(local method)과 전역적 방법(global method)으로 나뉜다.
본 발명에서는 국부적 방법으로 블록-정합(Block Matching)과 영상 특징기반의 대응점을 획득하는 방법(Feature Based Matching)을 적용함이 바람직하며, 전역적 방법으로 영상 에지 기반의 그래프 컷(Graph Cut) 방법을 적용함이 바람직하다.
상기 국부적 방법은 정합 창(Matching Window)을 사용하여 참조 영상에서 제한된 영역에 대해 값을 비교하고, 이를 근거로 변이를 추정하는 방식으로, 비교적 실행속도가 빠르고 시스템 자원이 적게 드는 장점이 있다.
이러한 국부적 방법의 대표적인 기법으로는 블록 정합(Block Matching), 특징기반 정합(Feature Based Matching) 및 기울기기반 최적화 기법(Gradient based Optimization) 등이 있다.
이후에, 변위맵 생성부(400)를 통해 상기 단계S200에서 정합된 스테레오 영상에 대해 시각의 변위차를 이용하여 변위맵(Diparity Map)을 생성한다(S300).
이때, 오른쪽, 왼쪽의 두 장의 스테레오 영상을 이용하여 시각의 변위차를 이용하여 3차원 거리를 측정하는 방식은 도 3에 도시된 바와 같이, 삼각형 공식을 이용하여 깊이 값을 측정한다.
예를 들어, 왜곡이 전혀 없고, 두 카메라의 영상 평면은 동일 평면상에 존재하고, 두 개의 광축(optical axis)은 적당한 거리를 두고 떨어져서 완전히 평행하게 위치해 있다고 가정한다. 영상평면이 완벽하게 정렬되어 있다면, 영상센서의 중심과 주점이 동일하다고 가정할 수 있다. 이러한 가정은 실제로 거의 불가능하지만, 매우 기본적인 이론에 대한 설명을 위한 것이므로 행-정렬이 되어 있다고 가정하고 문제를 해결하는 방법을 제시해 줄 수 있다.
Ol과 Or은 투영 중심, 투영 중심간 거리는 T, 투영중심과 주점을 지나는 직선은 주선, 주선과 영상 평면이 만나는 점은 주점, 투영중심에서 영상 평면까지 거리는 초점거리 f이다. 실세계의 한 점 P는 두 영상에서 각각 pl과 pr로 검출될 수 있고, 이 두 점의 x좌표 값은 xl과 xr이다.
주점이 각 평면의 원점이고, 주점에서 영상이 맺히는 xl과 xr까지의 거리를 xl과 xr로 나타낸다. 이 때, xl과 xr사이의 거리를 변위(disparity)라고 부르고, d=xl-xr 형태로 정의된다.
카메라를 통해 보이는 모든 실세계 점들은 에피폴라 평면상에 존재한다. 이 평면과 영상 평면이 만나는 직선이 에피폴라 직선이다. 한 쪽 영상에서 발견된 특징점은 다른 영상에서 에피폴라 직선상에 나타나므로 한 쪽 영상에서의 특징점과 대응되는 점을 다른 쪽 영상에서 찾을 때, 2차원 검색 대신 에피폴라 직선을 따라 1차원 검색을 수행하게 되어 더 효율적이다. 따라서, 에피폴의 구조에 대해 이해를 하게 되면 대응점들을 찾아 처리하는 방법에 대해 알아볼 수 있다.
다음으로, 3차원 영상획득부(500)를 통해 상기 단계S300에서 생성된 변위맵을 이용하여 3차원 깊이 값을 추출한 후 3차원 영상 및 위치 정보데이터를 획득한다(S400).
추가적으로, 디스플레이부(600)를 통해 상기 단계S400에서 획득된 3차원 영상 및 위치 정보데이터를 이용하여 사용자가 시각적으로 볼 수 있도록 디스플레이 화면에 표시하는 단계를 더 포함할 수 있다.
또한, 3차원 영상획득부(500)를 통해 상기 단계S400에서 추출된 3차원 깊이 값을 거리 값으로 환산하여 스테레오 카메라(200)로부터 촬영된 후두영역 내의 양측 성대의 높이(level)차를 측정하는 단계를 더 포함할 수도 있다.
더욱이, 상기 단계S100 이전에, 카메라 보정 및 조정부(700)를 통해 스테레오 카메라(200)의 전/후측 카메라(200a 및 200b)에 구비된 렌즈의 고유 왜곡 즉, 방사왜곡 및 접선왜곡을 제거하고, 전/후측 카메라(200a 및 200b) 사이의 각도와 거리를 조절하여 출력 영상이 행-정렬되도록 카메라 보정 및 조정하는 단계를 더 포함할 수도 있다.
한편, 스테레오 카메라(200)는 카메라에 투영된 영상을 해석하여 물체의 형상, 거리 또는 깊이 등의 3차원 정보를 얻을 수 있도록 구성되어져야 한다. 두 개의 전/후측 카메라(200a 및 200b)에서 획득된 좌우 영상으로부터 대응하는 점의 변이를 구하고, 이 변이에 간단한 삼각측량법을 이용하여 3차원 정보를 검출한다.
상기 3차원 정보는 변이 또는 변위(Disparity)맵 이라고 일반적으로 표현하며, 스테레오 비전에 관한 기술은 이러한 변위맵의 정확성을 높이는 것에 초점을 맞추고 있다. 그러므로, 스테레오 카메라의 구성은 아주 중요한 역할을 담당하고 있다.
우선, 스테레오 카메라(200)를 구축하기 위해서는 두 대의 전/후측 카메라(200a 및 200b)가 필요하고, 각 카메라에 대한 보정 작업이 필요하다.
카메라의 보정은 카메라의 기하학적 모델과 렌즈의 왜곡(distortion) 모델을 알려주는 기능을 한다. 또한, 카메라의 내부 파라미터를 정의하고 렌즈의 왜곡을 제거한다. 즉, 렌즈의 왜곡을 제거하고 카메라의 내부 파라미터를 얻을 수 있는 단계가 카메라 보정이다.
즉, 카메라 보정(calibration)은 핀홀 카메라 모델에서 일어나는 부적절한 영향들을 제거할 수 있다. 뿐만 아니라 카메라 보정은 실제 3차원 세계와 카메라에 의해 획득된 영상 사이의 관계를 규명하는데 중요한 역할을 담당한다. 보정을 통해서 카메라의 내부 파라미터와 외부 파라미터를 얻을 수 있다. 카메라의 외부 파라미터는 카메라 위치에 관한 값들이고, 내부 파라미터는 카메라 자체 내부의 초점 길이(focal length) 등에 관한 정보이다.
실제 렌즈는 완벽할 수 없으며 왜곡이 존재한다. 수학적으로 이상적인 포물선 렌즈보다 구면 렌즈를 만드는 것이 훨씬 쉬우며, 렌즈와 영상센서를 완벽하게 정렬하는 것도 쉬운 일이 아니므로 왜곡 없는 렌즈를 사용할 수가 없다. 렌즈의 왜곡에는 크게, 방사왜곡(radial distortion)과 접선왜곡(tangential distortion)이 있다.
상기 방사왜곡은 렌즈의 모양에 의해서 발생하는 왜곡으로 일반적으로 카메라들의 영상센서 가장자리 부근에서 픽셀의 위치가 볼록하게 왜곡되는 현상을 말한다. 이러한 볼록 현상은 '술통 왜곡'이라고도 하며, 어안 효과의 원인이 되기도 한다. 중심에서 먼 곳을 지나가는 광선은 중심에서 가까운 곳을 지나는 광선보다 더 많이 휘어져서 지나간다. 따라서, 정사각형 객체가 렌즈를 거쳐 영상평면에 투영되면 볼록한 형태로 나타난다. 일반적으로 중저가의 렌즈일수록 이러한 왜곡현상이 더 많이 발생하며, 반면에 이러한 효과를 얻기 위해 만들어진 어안렌즈도 존재한다.
상기 접선왜곡은 카메라 제조 과정에서 생기는 왜곡으로 카메라 제조시 영상센서를 카메라 안쪽에 붙이는데 저가 카메라의 경우 정밀하지 않으므로 렌즈와 영상의 평면이 평행을 이루지 않아서 발생하는 왜곡이다.
그리고, 스테레오 카메라의 보정 및 조정 과정은 전술한 바와 같이 카메라 보정이 되어 있다면, 실세계의 한 점을 영상 위의 한 점으로 제대로 투영(projection)할 수 있다. 일반적으로, 투영이란 그림자처럼 비춰지는 것을 말하는데, 여기서 좁은 의미로 투시투영은 하나의 투영면에 물체를 중심투영하여 얻는 투영으로 3차원 실세계의 한 점을 2차원 영상 평면 위의 점으로 매핑(Mapping)하는 작업을 의미한다.
상기 2차원 영상 평면 위의 점이란 실세계의 점(object)들이 투영중심(centre of projection)을 향하는 직선 형태로 이동할 때 영상 평면과 만나는 점을 말한다.
카메라 렌즈의 왜곡을 제거하고 카메라의 내부 파라미터를 얻을 수 있는 단계로, 스테레오 보정을 위해서는 각각의 카메라에 대한 회전 및 이동 파라미터를 구하고 수식을 이용해 두 카메라 사이의 회전 행렬(R)과 이동벡터(T)를 구한다. 결과적으로 회전행렬은 전측 카메라(200a)와 후측 카메라(200b)가 동일한 평면에 위치하도록 하고, 스테레오 조정에서 행-정렬을 맞추게 된다.
두 대의 전/후측 카메라(200a 및 200b)에서 촬영된 영상에서 대응점(corresponding point)들을 찾고, 이 대응점 정보와 두 카메라 사이의 기준선 분리(baseline separation) 정보를 이용하여 실제 객체의 3차원 위치 정보를 계산할 수 있다.
즉, 두 대의 전/후측 카메라(200a 및 200b)에서 영상 평면을 재투영하여 동일 평면에 위치하도록 만들고, 영상의 행들이 정확하게 정면 평행한 구성으로 정렬되도록 만든다. 따라서 쉽고 신뢰할 수 있는 대응점을 찾는 연산이 가능하다.
한편, 본 발명의 실제적인 구현 예를 살펴보면, 양측 성대 레벨 차이 측정을 위하여 3차원 영상 정보를 획득할 수 있는 경성 후두 내시경 타입의 스테레오 카메라 시스템을 설계하고 구현할 수 있다.
즉, 연성 후두 내시경에 사용되는 두 개의 소형 카메라를 경성 후두 내시경 기구부에 고정을 한 후 카메라 신호 처리 제어 보드를 통하여 NTSC 신호로 변환한 후 컴포지트(Composite) 케이블을 사용하여 자체 개발한 소프트웨어를 이용하여 영상을 획득한다.
본 시스템은 PCI 타입의 영상 캡쳐 보드 또는 휴대용 USB 영상 캡쳐 케이블을 이용하여 개인용 퍼스널 컴퓨터 또는 노트북에서도 성대 영상을 획득할 수 있다.
그리고, 카메라 시스템은 'Omni Vision'사의 'OV7690/OV7191'모델로 CMOS 센서를 사용하고 해상도는 640x480이며 1초당 30프레임의 영상을 전송한다. 카메라가 장착된 보드의 핀 맵 구성은 R,G,B 컬러 정보를 출력하기 위하여 각각의 8bit의 데이터를 전송하도록 제작할 수 있다.
그리고, CMOS 센서로부터 영상을 획득하는데 획득한 영상 데이터를 제로 지연 성능과 양방향 제어 채널을 통합한 텍사스 인스트루먼트사의 시리얼라이저/디시리얼라이저(SerDe) 제품군인 DS92LX1621, DS92LX1622 칩으로 탑재할 수 있다. 이미지 센서로부터 데이터를 획득하여 처리하는 과정을 보여주는 블록도로 본 발명에서 사용된 카메라 시스템은 시리얼라이저/디시리얼라이저로 영상을 획득할 수 있는 기능을 제공한다. 이러한 기능은 다양한 비디오 소스 중에 원하는 소스를 선택할 수 있는 유연성을 가지며 산업용 비디오, 이미징 프로그램에서 연결 부품의 크기와 무게, 소요 비용 등을 낮추게 하는 장점이 있다.
카메라 시스템에서 획득한 데이터를 NTSC 신호 및 시리얼라이저 신호로 변환해주는 데이터 처리 보드를 설계하고 제작할 수 있으며, 보드에 장착한 영상 변환 칩은 'Chrontel'사에서 제작한 CH7025/CH7026 칩으로 TV 신호 및 다양한 컬러 포맷을 제공한다. 그리고, 입력 해상도의 사이즈에 따라서 변경이 가능하며 기존 영상 해상도를 확대해주는 기능을 제공한다.
전술한 본 발명에 따른 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
100 : 후두내시경,
200a 및 200b : 전/후측 카메라,
200 : 스테레오 카메라,
400 : 변위맵 생성부,
500 : 3차원 영상획득부.
600 : 디스플레이부,
700 : 카메라 보정 및 조정부

Claims (12)

  1. 삭제
  2. 삭제
  3. 후두를 관찰할 수 있는 촬영부를 구비하는 후두내시경;
    상기 후두내시경의 촬영부에 설치되며, 환자의 후두영역을 촬영하여 한 쌍의 아날로그 스테레오 영상을 획득하기 위한 전/후측 카메라로 이루어진 스테레오 카메라;
    상기 스테레오 카메라로부터 획득된 한 쌍의 아날로그 스테레오 영상을 디지털 스테레오 영상으로 변환한 후, 변환된 디지털 스테레오 영상에 대한 스테레오 영상 정합을 수행하는 영상 처리부;
    상기 영상 처리부로부터 정합된 스테레오 영상을 제공받아 시각의 변위차를 이용하여 변위맵(Disparity Map)을 생성하는 변위맵 생성부; 및
    상기 변위맵 생성부로부터 생성된 변위맵을 이용하여 3차원 깊이 값을 추출한 후 3차원 영상 및 위치 정보데이터를 획득하는 3차원 영상획득부를 포함하되,
    상기 스테레오 카메라의 전/후측 카메라에 구비된 렌즈의 방사왜곡 및 접선왜곡을 제거하고, 상기 전/후측 카메라 사이의 각도와 거리를 조절하여 출력 영상이 행-정렬되도록 하는 카메라 보정 및 조정부를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치.
  4. 제3 항에 있어서,
    상기 영상 처리부는, 변환된 디지털 스테레오 영상 내의 특징점 추출 및 분할에 의한 대응점의 위치를 검출하고, 검출된 대응점의 위치를 기반으로 스테레오 영상 정합을 수행하는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치.
  5. 제3 항에 있어서,
    상기 영상 처리부의 스테레오 영상 정합은, 블록 정합(Block Matching), 영상 특징점 추출을 이용한 특징기반 정합(Feature Based Matching) 또는 영상 에지 기반의 정합 기법 중 어느 하나를 이용하여 수행되는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치.
  6. 제3 항에 있어서,
    상기 3차원 영상획득부는, 추출된 3차원 깊이 값을 거리 값으로 환산하여 상기 스테레오 카메라로부터 촬영된 후두영역 내의 양측 성대의 높이(level)차를 측정하는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치.
  7. 삭제
  8. 후두를 관찰할 수 있는 후두내시경에 설치되며, 환자의 후두영역을 촬영하여 한 쌍의 아날로그 스테레오 영상을 획득하기 위한 전/후측 카메라로 이루어진 스테레오 카메라를 포함하는 장치를 이용하여 3차원 영상을 획득하는 방법으로서,
    (a) 상기 스테레오 카메라를 통해 획득된 한 쌍의 아날로그 스테레오 영상을 디지털 스테레오 영상으로 변환하는 단계;
    (b) 상기 단계(a)에서 변환된 디지털 스테레오 영상에 대한 스테레오 영상 정합을 수행하는 단계;
    (c) 상기 단계(b)에서 정합된 스테레오 영상에 대해 시각의 변위차를 이용하여 변위맵(Disparity Map)을 생성하는 단계; 및
    (d) 상기 단계(c)에서 생성된 변위맵을 이용하여 3차원 깊이 값을 추출한 후 3차원 영상 및 위치 정보데이터를 획득하는 단계를 포함하되,
    상기 단계(a) 이전에, 상기 스테레오 카메라의 전/후측 카메라에 구비된 렌즈의 방사왜곡 및 접선왜곡을 제거하고, 상기 전/후측 카메라 사이의 각도와 거리를 조절하여 출력 영상이 행-정렬되도록 카메라 보정 및 조정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 방법.
  9. 제8 항에 있어서,
    상기 단계(d)에서 획득된 3차원 영상 및 위치 정보데이터를 이용하여 사용자가 시각적으로 볼 수 있도록 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 방법.
  10. 제8 항에 있어서,
    상기 단계(b)는, 상기 단계(a)에서 변환된 디지털 스테레오 영상 내의 특징점 추출 및 분할에 의한 대응점의 위치를 검출하고, 검출된 대응점의 위치를 기반으로 스테레오 영상 정합을 수행하는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 방법.
  11. 제8 항에 있어서,
    상기 단계(b)의 스테레오 영상 정합은, 블록 정합(Block Matching), 영상 특징점 추출을 이용한 특징기반 정합(Feature Based Matching) 또는 영상 에지 기반의 정합 기법 중 어느 하나를 이용하여 수행하는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 방법.
  12. 제8 항에 있어서,
    상기 단계(d)에서 추출된 3차원 깊이 값을 거리 값으로 환산하여 상기 스테레오 카메라로부터 촬영된 후두영역 내의 양측 성대의 높이(level)차를 측정하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 방법.
KR1020120103485A 2012-09-18 2012-09-18 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법 KR101372496B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120103485A KR101372496B1 (ko) 2012-09-18 2012-09-18 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120103485A KR101372496B1 (ko) 2012-09-18 2012-09-18 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101372496B1 true KR101372496B1 (ko) 2014-03-11

Family

ID=50648197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120103485A KR101372496B1 (ko) 2012-09-18 2012-09-18 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101372496B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117427A1 (ko) * 2016-12-21 2018-06-28 주식회사 인트로메딕 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
CN113518911A (zh) * 2019-01-14 2021-10-19 汉莎技术股份公司 用于内孔窥视仪检查的方法和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100724889B1 (ko) * 2006-02-21 2007-06-04 삼성전자주식회사 이동통신 단말기에서 스테레오 영상을 이용한 거리 및3차원 영상 제공 장치 및 방법
JP2009537251A (ja) * 2006-05-17 2009-10-29 ムーア，ケント 立体ビデオ内視鏡及びその使用方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100724889B1 (ko) * 2006-02-21 2007-06-04 삼성전자주식회사 이동통신 단말기에서 스테레오 영상을 이용한 거리 및3차원 영상 제공 장치 및 방법
JP2009537251A (ja) * 2006-05-17 2009-10-29 ムーア，ケント 立体ビデオ内視鏡及びその使用方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117427A1 (ko) * 2016-12-21 2018-06-28 주식회사 인트로메딕 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
KR101921268B1 (ko) * 2016-12-21 2018-11-22 주식회사 인트로메딕 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
CN109952054A (zh) * 2016-12-21 2019-06-28 (株)英特麦迪 再现3d图像的胶囊内窥镜设备，其操作方法，接收器，将接收器与其联合的方法，及系统
CN113518911A (zh) * 2019-01-14 2021-10-19 汉莎技术股份公司 用于内孔窥视仪检查的方法和设备
CN113518911B (zh) * 2019-01-14 2024-05-03 汉莎技术股份公司 用于内孔窥视仪检查的方法和设备

Similar Documents

Publication Publication Date Title
WO2019015154A1 (zh) 基于单目三维扫描系统的三维重构方法和装置
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
US8032327B2 (en) Auto-referenced sensing method for three-dimensional scanning
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
JP6429772B2 (ja) ３ｄ走査および位置決めシステム
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
US20020137986A1 (en) Endoscope apparatus
AU2021273241B2 (en) Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
US9367914B2 (en) Imaging system and method for use of same to determine metric scale of imaged bodily anatomy
CN110740687B (zh) X射线照相装置
KR101921268B1 (ko) 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
CN113240726B (zh) 一种内窥镜下光学目标尺寸实时测量方法
CN109091099A (zh) 双目视觉的高清微型电子内窥镜系统
KR101372496B1 (ko) 스테레오 카메라를 이용한 후두내시경의 3차원 영상 획득 장치 및 그 방법
CN110705487B (zh) 掌纹采集设备、方法及其图像采集装置
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP6652263B2 (ja) 口領域検出装置及び口領域検出方法
ES2734676T3 (es) Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra
KR102313801B1 (ko) 의료 영상 시스템의 자세 교정 가이드 장치 및 그 방법
JP2013240590A (ja) 立体内視鏡画像からの３次元形状取得装置
Zhou et al. Three-dimensional measurement approach in small FOV and confined space using an electronic endoscope
CN111860275B (zh) 手势识别数据采集系统、方法
US20230355319A1 (en) Methods and systems for calibrating instruments within an imaging system, such as a surgical imaging system
US20230394707A1 (en) Methods and systems for calibrating and/or verifying a calibration of an imaging system such as a surgical imaging system
US20180168487A1 (en) Measurement device and measurement method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170216

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180212

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190213

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 7