KR20190055362A - ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템 - Google Patents

ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템 Download PDF

Info

Publication number
KR20190055362A
KR20190055362A KR1020170151979A KR20170151979A KR20190055362A KR 20190055362 A KR20190055362 A KR 20190055362A KR 1020170151979 A KR1020170151979 A KR 1020170151979A KR 20170151979 A KR20170151979 A KR 20170151979A KR 20190055362 A KR20190055362 A KR 20190055362A
Authority
KR
South Korea
Prior art keywords
image
light
capsule endoscope
distance
sensor
Prior art date
Application number
KR1020170151979A
Other languages
English (en)
Inventor
김광섭
오정범
Original Assignee
주식회사 인트로메딕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인트로메딕 filed Critical 주식회사 인트로메딕
Priority to KR1020170151979A priority Critical patent/KR20190055362A/ko
Publication of KR20190055362A publication Critical patent/KR20190055362A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

본 발명의 일 양태는 캡슐 내시경 장치를 개시하고 있다. 상기 장치는, 특정 발광 주기로 빛을 발광하는 발광부, 상기 발광부에서 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하는 깊이 센서, 상기 깊이 센서에서 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하는 거리 산출부, 상기 대상부위를 촬영하는 이미지 센서 및 상기 이미지 센서에서 촬영된 영상과 관련된 정보 및 상기 거리 산출부에서 산출된 거리와 연관된 정보를 수신기로 전송하는 전송부를 포함한다.

Description

ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템{CAPSULE ENDOSCOPE APPARATUS USING ToF SENSOR, OPERATION METHOD OF SAID APPARATUS AND CAPSULE ENDOSCOPE SYSTEM}
본 발명은 캡슐 내시경 장치에 관한 것으로, 보다 상세하게는, 다양한 영상 센서를 조합하여 사용함으로써 인체 내 병종에 대한 보다 정확한 영상 처리가 수행될 수 있도록 하는 캡슐 내시경 장치에 관한 것이다.
인체 내부의 정보, 특히 의학적 정보를 획득하기 위해 피검사자의 입 또는 항문을 통해 케이블에 부착된 내시경을 삽입하는 방법이 이용되고 있다. 이 방법에 의하며, 도선 또는 광섬유로 이루어진 케이블을 통해 내시경을 직접 제어할 수 있으므로, 인체 내부의 데이터를 확보하기 용이하지만 피검사자에게는 큰 고통이 따른다. 또한, 소장과 같은 장기는 피검사자의 입 또는 항문으로부터 멀리 떨어져 있을뿐더러, 장기의 체강 직경이 작아서 상술한 내시경 방법으로 검사하기 곤란하다는 문제가 있다.
이를 고려하여, 캡슐형 내시경이 이용되고 있다. 피검사자가 캡슐형 내시경을 구강을 통해 삼키면, 캡슐형 내시경은 인체 내에서 카메라 등으로 필요한 데이터를 획득하고, 획득한 데이터를 인체 외부의 수신기(receiver)로 전송하여 출력할 수 있도록 한다.
하지만, 캡슐 내시경은 하나의 이미지 센서를 통해 2차원 영상만을 제공하기 때문에, 실제 인체 내 장기의 입체적인 형상이 어떠한지 판단하기 어렵다는 문제점이 있다. 또한, 입체적인 형상을 파악하기 어렵기 때문에 영상 내의 특정 병증에 대한 정확한 크기 파악도 어렵다는 문제점이 존재한다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 거리측정 센서와 이미지 센서를 기반으로 3차원 영상을 생성할 수 있도록 지원하는 캡슐 내시경 장치 및 상기 장치의 동작 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 캡슐 내시경 장치는, 특정 발광 주기로 빛을 발광하는 발광부, 상기 발광부에서 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하는 깊이 센서, 상기 깊이 센서에서 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하는 거리 산출부, 상기 대상부위를 촬영하는 이미지 센서 및 상기 이미지 센서에서 촬영된 영상과 관련된 정보 및 상기 거리 산출부에서 산출된 거리와 연관된 정보를 수신기로 전송하는 전송부를 포함할 수 있다.
상기 깊이 센서는 상기 대상부위에 반사되어 돌아오는 빛을 감지하는 제 1 리셉터(receptor) 및 제 2 리셉터를 포함하고, 상기 제 1 및 제 2 리셉터는 서로 다른 위상을 가지고 활성화될 수 있다.
상기 제 1 리셉터는 상기 발광부의 발광 주기와 동기화되어 활성화되며, 상기 제 2 리셉터는 상기 발광부의 발광 주기와 180도의 위상차를 가지고 활성화될 수 있다.
상기 제 1 리셉터의 활성화에 따라 상기 대상부위에 반사되어 돌아오는 빛의 수신되는 양과 상기 제 2 리셉터의 활성화에 따라 상기 대상부위에 반사되어 돌아오는 빛의 수신되는 양을 비교하여 상기 대상부위까지의 거리를 측정할 수 있다.
상기 이미지 센서와 상기 깊이 센서는 동시에 구동될 수 있다.
상기 이미지 센서와 상기 깊이 센서는 광학적으로 정렬(aligned)되어 있을 수 있다.
상기 깊이 센서는 정방형 또는 비정방형으로 복수 개의 픽셀을 포함하여 구성되며, 하나의 픽셀은 제 1 리셉터 및 제 2 리셉터를 포함할 수 있다.
상기 이미지 센서와 상기 깊이 센서는 통합되어 하나의 센서로써 구현될 수 있다.
상기 이미지 센서와 상기 깊이 센서는 별도로 분리되어 존재할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 캡슐 내시경 장치의 동작 방법은 발광부가 특정 발광 주기로 빛을 발광하는 단계, 깊이 센서에서, 상기 발광부에서 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하는 단계, 상기 깊이 센서에서 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하는 단계, 이미지 센서에서, 상기 대상부위를 촬영하는 단계 및 상기 이미지 센서에서 촬영된 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신기로 전송하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기는 상기 캡슐 내시경의 이미지 센서로에서 인체 내의 대상부위를 촬영하여 생성한 영상 정보와 상기 캡슐 내시경의 깊이 센서에서 특정 주기로 발광하는 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 산출한 상기 대상부위까지의 거리와 관련된 정보를 캡슐 내시경으로부터 수신하는 수신부, 상기 영상 정보와 상기 거리와 관련된 정보를 기반으로 깊이 맵을 생성하는 스테레오 영상 처리부 및 상기 영상 정보와 상기 깊이 맵을 이용하여 3D 영상을 재생하는 사용자 인터페이스(GUI: Graphical User Interface)를 포함하는 캡슐 내시경과 연동하여 3D 영상을 재생할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 3D 영상 재생을 위한 캡슐 내시경 시스템은 특정 발광 주기로 빛을 발광시키고, 상기 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하며, 상기 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하고, 상기 대상부위를 촬영하며, 상기 촬영된 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신기로 전송하는 캡슐 내시경 및 상기 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신하여 깊이 맵을 생성하고, 상기 영상과 관련된 정보와 상기 깊이 맵을 이용하여 3D 영상을 재생하는 수신기를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 3D 영상 재생을 위한 캡슐 내시경 시스템은 특정 발광 주기로 빛을 발광시키고, 상기 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하며, 상기 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하고, 상기 대상부위를 촬영하며, 상기 촬영된 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신기로 전송하는 캡슐 내시경, 상기 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신하여 영상 처리 장치로 제공하는 수신기 및 상기 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신하여 깊이 맵을 생성하고, 상기 영상과 관련된 정보와 상기 깊이 맵을 이용하여 3D 영상을 재생하는 영상 처리 장치를 포함할 수 있다.
본 발명의 ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템에 따르면, 거리측정을 통해 생성되는 깊이 맵과 영상 데이터를 기반으로 인체 내의 대상부위에 대한 정확한 입체적인 모양을 형상화한 3차원(3D) 영상을 제공하여 영상 내 객체의 실제 크기 측정의 정확도를 높이고 원본 영상의 화질을 현저하게 개선시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 캡슐 내시경 시스템을 나타낸 도면,
도 2는 캡슐 내시경 장치와 수신기의 동작을 개략적으로 설명한 흐름도,
도 3은 본 발명의 일 실시예에 따른 캡슐 내시경 장치의 구성을 개략적으로 나타낸 블록도,
도 4는 본 발명의 일 실시예에 따른 캡슐 내시경 장치의 제어부의 구성을 구체적으로 나타낸 상세블록도,
도 5는 본 발명의 일 실시예에 따른 깊이 센서의 구성을 구체적으로 나타낸 도면,
도 6a 내지 6c는 도 5의 깊이 센서의 동작을 설명하기 위한 개념도,
도 7은 깊이 센서가 거리를 계산하는 원리를 설명하기 위한 개념도,
도 8은 본 발명의 일 실시예에 따라 이미지 센서와 깊이 센서를 분리하여 구현하는 캡슐내시경을 나타낸 도면,
도 9는 본 발명의 다른 실시예에 따라 이미지 센서와 깊이 센서를 통합하여 구현하는 캡슐내시경을 나타낸 도면,
도 10은 본 발명의 일 실시예에 따른 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기를 개략적으로 나타낸 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
캡슐 내시경 시스템
도 1은 본 발명의 일 실시예에 따른 캡슐 내시경 시스템을 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 시스템은 캡슐 내시경 장치(120), 수신전극(130a, 130b) 및 수신기(150)를 포함할 수 있다.
도 1을 참조하면, 피검사자의 인체 내부(100)의 장기(110), 예컨대 소장 또는 대장 등을 캡슐형 내시경(120)이 지나가면서 해당 장기의 정보를 획득한다. 캡슐형 내시경(120)이 획득할 수 있는 정보는 소정의 영상 정보, 음향 정보 및/또는 인체 내 매질의 분석 정보 등을 포함할 수 있다. 이때, 캡슐 내시경(120)은 적어도 하나의 카메라 및/또는 이미지 센서를 가지고 인체 내부(110)의 장기(110)를 촬영하여 영상 데이터를 생성할 수 있다. 또한, 깊이 센서(여기서, 깊이 센서는 ToF(time of flight) 센서를 나타낼 수 있음)를 이용하여 거리정보를 획득할 수 있다. 이미지 센서와 깊이 센서는 서로 정렬(align)되어 동시에 구동될 수 있다.
획득한 정보는 캡슐 내시경(120)에서 전기적 신호로 변환되고, 피검사자의 인체에 부착된 수신 전극(130a, 130b)에서 감지된다. 수신 전극(130a, 130b)은 수신한 전기적 신호를 도선(140a, 140b)을 통해서 수신기(150)에 전달한다.
또는, 획득한 정보는 캡슐형 내시경(120)에서 전기적 신호로 변환되어 무선 주파수(Radio Frequency; RF) 또는 인체 통신(Human Body Communication; HBC) 등을 이용하여 직접 수신기(150)에 전달될 수도 있다. 무선 주파수를 이용하는 방법은 인체에 무해한 주파수 영역을 이용하여 상기 변환된 전기적 신호를 수신기(150)로 전달한다. 인체 통신을 이용하는 방법은 인체 내부(100)의 장기(110)의 연동 운동에 따라 캡슐형 내시경(120)의 외면에 구비된 전극이 인체와 접촉하면 전류가 발생하고, 이러한 전류를 이용하여 상기 변환된 전기적 신호를 수신기(150)로 전달한다.
캡슐 내시경(120)으로부터 영상 정보 및 거리 정보를 수신하는 수신기(150)는 인체 내 영상에 깊이 맵을 입혀 3D 영상으로 생성할 수 있다. 그리고는, 생성된 3D 영상을 사용자 인터페이스(GUI)를 통해 재생할 수 있다.
본 발명의 실시예에 따르면, 수신기(150)는 단순히 영상 정보 및 거리 정보를 수신하고, 수신된 영상을 다른 영상 처리 장치(160)(예컨대, 수신기(150)와 유선 또는 무선으로 연결된 다른 PC, 노트북, 스마트 폰 등의 장치)로 전송하여 별도의 영상 처리 장치(160)에서 깊이 맵 생성 및 깊이 맵을 입혀 3D 영상을 생성하는 등의 과정들을 처리하도록 함으로써 3D 영상으로 재생할 수 있다.
도 2는 캡슐 내시경 장치와 수신기의 동작을 개략적으로 설명한 흐름도이다.
도 2를 참조하면, 캡슐 내시경(200)은 LED(Light Emitting Diode)와 같은 발광소자를 구동시킨다(S210). 이때, LED뿐만 아니라 다른 조명이 사용되어도 무방하다. LED는 특정 주기를 가지고 구동될 수 있다.
LED가 구동되면, 깊이 센서는 LED 구동에 의해 발광된 빛이 인체 내 장치와 같은 대상부위에 반사되어 돌아오는 빛을 감지한다(S220). 이때, 깊이 센서는 적어도 두 개의 리셉터(receptor)(여기서, 리셉터는 수광소자를 의미할 수 있음)를 포함하며, 두 개의 리셉터는 서로 다른 주기로 동작하는 것이 바람직하다. 깊이 센서는 LED와 동기화되어 구동되는 리셉터와 위상 차를 가지고 동작하는 리셉터를 기반으로 반사광을 감지하여 감지된 빛의 양과 관련된 정보를 획득한다.
그리고는, 거리 산출부는 상기 두 리셉터에서 감지된 반사광의 빛의 양을 비교하여 대상부위까지의 거리 정보를 산출한다(S230). 또한, 캡슐 내시경(200)은 거리 산출부에서 산출된 거리 정보를 종합하여 하나의 깊이 맵을 생성한 후, 깊이 맵 정보를 수신기(205)로 전송할 수도 있다.
그리고, 이미지 센서는 대상부위를 촬영하여 영상 정보를 획득한다(S240). 이미지 센서는 CCD(charge coupled device) 센서 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 센서를 포함할 수 있다.
깊이 센서를 통한 거리 정보 획득 및 산출과 이미지 센서를 통한 영상 획득은 선후관계 제약 없이 수행되어도 무방하다. 또한, 이는 하나의 통합 센서로 이루어질 수도 있고, 두 개의 별도 센서를 통해 이루어질 수도 있다(도 8 및 도 9의 실시예 참조).
영상과 거리 정보가 생성되면, 캡슐 내시경(200)은 영상 정보와 거리 정보를 수신기(205)로 인체통신 및/또는 무선통신을 통해 전송한다.
수신기(205)는 영상 및 거리 정보를 수신하여(S260), 깊이 맵을 생성할 수 있다(S270). 그리고는, 대상 부위에 대한 영상 정보와 대상부위에 대한 거리에 따른 깊이 맵을 이용하여 3D 영상을 생성한 후, 재생할 수 있다(S280). 이때, 캡슐 내시경(200)에서 깊이 맵을 생성한 경우, 별도의 깊이 맵 생성 과정 없이 캡슐 내시경(200)에서 생성한 깊이 맵을 대상부위 영상에 입혀 3D 영상으로 재생할 수도 있다.
캡슐 내시경 장치
도 3은 본 발명의 일 실시예에 따른 캡슐 내시경 장치의 구성을 개략적으로 나타낸 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐 내시경 장치(300)는 제어부(310), 이미지 센서(320), 발광부(330), 깊이 센서(340), 필터(350) 및 전송부(360)를 포함할 수 있다.
도 3을 참조하면, 제어부(310)는 이미지 센서(320), 발광부(330), 깊이 센서(340), 필터(350) 및 전송부(360) 등을 제어할 수 있다.
제어부(310)는 하드웨어 프로세서로써 구현가능하며, 복수 개의 지시어를 포함하는 메모리(미도시)를 기반으로 프로그래밍될 수 있다.
제어부(310)는 발광부(330)와 깊이 센서(340)의 동기화를 위한 트리거 신호를 생성할 수 있다. 제어부(310)는 발광부(330)와 깊이 센서(340)의 일정 부분은 동기화시켜서 활성화되도록 제어하고, 깊이 센서(340)의 다른 일정 부분은 발광부(330)와 일정 위상차를 갖도록 하여 활성화되도록 제어할 수 있다. 이를 통해 발광부(330)를 통해 발광된 빛이 대상부위에 반사되어 돌아오는 시간이 깊이 센서(340)의 활성화 시기에 따라 달라지는 특성을 비교분석하여 대상부위까지의 거리를 산출할 수 있다.
제어부(310)는 이미지 센서(320)로부터 영상을 획득하고 영상 처리를 수행할 수 있다. 영상 처리는 압축 및 인코딩을 포함한다. 제어부(310)는 이미지 센서(320)의 구동을 제어할 수 있다. 기본적으로 설정된 프레임 레이트로 이미지 센서(320)가 동작하도록 제어한다. 다만, 캡슐 내시경(300)의 이동속도에 따라 대응되는 프레임 레이트로 변경하도록 제어할 수 있다. 예컨대, 이동속도를 측정하는 센서(미도시)로부터 획득된 이동속도를 기준값과 비교하여 기준값보다 빠른 경우, 프레임 레이트를 높이고, 반대의 경우, 프레임 레이트를 낮추도록 제어할 수 있다.
또한, 깊이 센서(340) 및/또는 필터(350)로부터 수신되는 수광된 빛의 양 또는 시간과 같은 거리 관련 정보를 기반으로 대상부위까지의 거리를 산출할 수 있다.
제어부(310)는 발광부(330)와 깊이 센서(340)의 활성화 시점과 연동하여 이미지 센서(320)에서 설정된 특정 프레임 레이트로 촬영되는 영상 정보를 함께 관리할 수 있다. 즉, 특정 시점에 발광부(330)와 깊이 센서(340)가 활성화되는 경우, 해당 시점의 이미지 센서(320)로부터 획득되는 영상 정보를 깊이 센서(340)로부터 획득된 거리정보와 함께 패키지로 묶어서 취급할 수 있다. 이때, 정확한 시간정보도 필요하기 때문에, 타임스탬프 정보와 함께 관리될 수 있다.
본 발명의 일 실시예에 따르면, 제어부(320)는 영상 정보와 거리 정보의 동기를 맞추기 위해, 동일한 시점에 트리거 신호를 이미지 센서(320)와 발광부(330) 및 깊이 센서(340)로 동시에 제공할 수도 있다. 트리거 신호는 10ms 이내의 오차로 도달하는 것이 바람직하다. 제어부(310)는 클럭 주파수를 참조하여 동시에 트리거 신호를 이미지 센서(320)와 발광부(330) 및 깊이 센서(340)로 제공한다.
이미지 센서(320)는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서, CCD(Charge-Coupled Device) 이미지 센서 등의 촬상 소자를 포함한다. 촬상 소자에 의해 획득된 영상은 전기적 데이터 또는 전기적 신호로 변환될 수 있다.
이미지 센서(320)는 추후 거리 정보와 연계하여 3D 영상 생성을 위한 구성요소이기에, 사전에 미리 깊이 센서(340)와 광학적으로 정렬이 되는 것이 바람직하다. 즉, 카메라 캘리브레이션이 수행되어 있는 것이 바람직하다.
수신기에서의 캘리브레이션과 연관하여 촬영이 이루어지도록 이미지 센서(320)에 사용되는 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적인 부분은 미리 사용자가 정의하는 바대로 캘리브레이션이 되어 있는 것이 바람직할 수 있다. 이때, 캘리브레이션과 관련된 정보는 수신기와 공유될 수 있다. 이미지 센서(320)는 제어부(310)로부터 제공되는 트리거 신호에 반응하여 인체 내 대상부위를 촬영한다.
경우에 따라 이미지 센서(320)는 복수 개 구비되어 좌영상 및 우영상을 생성하여 3D 영상을 생성하도록 구현될 수 있다.
발광부(330)는 하나 이상의 LED 등의 발광 소자를 포함한다. 발광부(330)는 이미지 센서(320) 및 깊이 센서(340)의 주위에 배치되어 대상부위를 조명할 수 있다.
발광부(330)는 피검사자에게서 검사할 대상이 무엇인지, 예컨대 암을 검사할 것인지, 암을 검사한다면 어떤 암을 검사할 것인지, 어떤 부위를 검사할 것인지, 단순히 조직의 상태만을 검사할 것인지 등에 따라서 특정 파장의 발광 소자를 사용할 수도 있다. 또한, 촬상 소자로 어떤 소자가 사용되는지에 따라서, 해당 촬상 소자에 적합한 파장의 발광 소자를 사용할 수도 있다.
깊이 센서(340)는 발광부(330)와 동기가 맞는 제 1 리셉터와 발광부(330)와 일정 위상차를 가지고 활성화되는 제 2 리셉터를 포함한다. 제 1 및 제 2 리셉터는 제어부(310)의 활성화 신호에 의해 동작하며, 발광부(330)에서 발광된 빛이 대상부위에 맞고 반사되는 광을 수광한다.
필터(350)는 깊이 센서(340)에서 수광된 빛 중 외부에서 들어오는 외광을 제거한다. 즉, 노이즈 필터링을 한다고 볼 수 있다. 깊이 센서(340)에서 대상부위를 거쳐 반사되는 빛은 일정 파장으로 일정한 형상을 나타내는 형태로 수신이 될 것인데, 외부에서 들어오는 빛(즉, 대상부위를 맞고 반사된 빛이 아닌 빛)은 위와 같은 일정 파장 및/또는 일정 형상에서 벗어나 있는 빛일 가능성이 높기 때문에, 이러한 외부로부터의 노이즈를 제거하는 기능을 수행한다. 필터링된 제 1 리셉터 및 제 2 리셉터에서 수광된 광 관련 정보는 제어부(310)로 제공된다.
제어부(310)는 전술한 바와 같이, 두 리셉터 간의 반사광의 양 및/또는 시간을 비교분석하여 대상부위까지의 거리를 산출할 수 있다. 그리고는 깊이 맵을 생성할 수 있다. 거리 산출과 관련된 상세 프로세스는 이하 도 6a 내지 도 6c 및 도 7을 통해 설명한다.
전송부(360)는 제어부(310)에서 생성된 영상 프레임을 외부 장치, 예컨대 수신기(도 1의 150)로 전송한다. 예컨대, 전송부(360)는 영상 데이터를 RF 통신 또는 인체 통신 등을 통해 외부 장치로 전송할 수 있으며, 압축된 영상 데이터 이외의 정보(예를 들어, 음향 정보, 조직 정보, PH 정보, 온도 정보, 전기적 임피던스 정보 등)도 전송할 수 있다.
또한, 별도의 수신부(미도시)를 통해 외부장치로부터의 제어신호를 수신할 수 있다. 외부장치로부터의 제어신호는 이미지 센서(320)의 프레임 레이트와 관련된 구동신호, 발광부(330)의 활성화 관련 신호, 깊이 센서(340)의 활성화 관련 신호를 포함하고, 외부의 사용자는 이러한 캡슐 내시경의 각종 피제어대상 구성요소를 리모컨과 같은 외부 컨트롤러를 통해 제어할 수 있다.
도 4는 본 발명의 일 실시예에 따른 캡슐 내시경 장치의 제어부의 구성을 구체적으로 나타낸 상세블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 캡슐내시경의 제어부(400)는 활성화 제어부(410), 거리 산출부(420) 및 영상 처리부(430)를 포함할 수 있다.
도 4를 참조하면, 활성화 제어부(410)는 발광부, 깊이 센서 및 이미지 센서의 활성화를 제어한다. 특히, 발광부의 발광소자와 깊이 센서의 제 1 리셉터(인 페이스 리셉터(in-phase receptor)라고도 부를 수 있음)는 동기화되어 동작하도록 제어한다. 깊이 센서의 제 2 리셉터(아웃 오브 페이스 리셉터(out of phase receptor)라고도 부를 수 있음)는 발광소자와 위상차를 가지고 동작하도록 제어할 수 있다. 이러한 활성화 제어 신호는 기본적으로 제어부(400)에 설정된 대로 생성되지만, 외부로부터의 제어신호를 수신하여 생성될 수도 있다.
거리 산출부(420)는 깊이 센서 및/또는 필터로부터 수신되는 반사광과 관련된 정보를 기반으로 대상부위까지의 거리를 산출한다. 거리 산출부(420)는 산출된 거리 정보를 통합하여 깊이 맵을 생성할 수도 있다.
영상 처리부(430)는 이미지 센서로부터 획득된 영상 정보를 기반으로 영상 처리를 수행한다.
제어부(400)는 영상 처리부(430)와 거리 산출부(420)를 통해 생성된 거리 정보 및 영상 정보는 특정 시점을 기준으로 하나로 묶어 패키지로 처리되도록 한다. 또한, 제어부(400)는 이미지 센서와 깊이 센서의 광학적 정렬과 관련된 정보를 기반으로 영상 정보와 거리 정보의 정렬을 수행하여 패키지로 생성한 후, 하나의 프레임 패킷으로 생성할 수 있다. 예컨대, 제어부(400)는 영상 정보의 제 1 좌표와 거리 정보의 제 2 좌표가 서로 광학적으로 정렬되어 있다는 정보를 수신기로 전송하는 프레임 패킷에 넣어서 수신기에서의 3D 재생이 용이하게 진행되도록 지원할 수 있다.
도 5는 본 발명의 일 실시예에 따른 깊이 센서의 구성을 구체적으로 나타낸 도면이다.
도 5를 참조하면, 깊이 센서(500)는 복수 개의 픽셀로 구성된다. 도 5의 실시예에서는, 가로 160개, 세로 120개로 구성된 픽셀들을 포함하는 깊이 센서를 나타내고 있다. 그리고, 하나의 픽셀(510)에는 2개의 리셉터(512, 514)가 리셉터 쌍으로 구성된다.
본 발명의 일 실시예에 따른 깊이 센서(500)의 기본적인 원리는 ToF 카메라의 원리와 유사한데, 발광부로부터 강한 빛을 전방을 향해 쏜 후에 반사되어 돌아오는 빛을 리셉터에서 감지하여 거리를 측정하는 방식이다.
각 리셉터(512, 514)들은 인페이스 리셉터(512) 및 아웃오브페이스 리셉터(514)라고 부를 수 있는 쌍으로 구성되어 있는데, 제 1 리셉터(512)는 인-페이스(in-phase), 즉, 발광부와 동일한 활성화 구간에서만 활성화되어 빛을 감지하고, 제 2 리셉터(514)는 아웃-페이스(out-phase), 즉, 발광부가 활성화되지 않는 구간에서만 활성화되어 빛을 감지한다. 여기서 LED를 켜는 동안은 인-페이스(in-phase)라 부르고 LED를 끄는 동안은 아웃-페이스(out-phase)라 부를 수 있다.
즉, TOF 방식의 핵심적인 원리는 LED 발광부에서는 빛을 쏠 때 굉장히 빠른 간격으로 점멸을 시키면서 즉, 모듈레이션(modulation)을 시키면서 쏘고, 깊이 센서(500)에서는 이 모듈레이션 간격과 동기화하여 리셉터들을 활성화시키는 것이다.
도 6a 내지 6c는 도 5의 깊이 센서의 동작을 설명하기 위한 개념도이다.
도 6a는 발광부와 인페이스 리셉터 및 아웃페이스 리셉터의 활성화 구간을 나타낸 도면이다. 좌측하향 방향의 해칭은 발광부의 광이 미활성화된 구간을 나타내고, 우측하향 방향의 해칭은 발광부의 광이 활성화된 구간을 나타낸다. 도 6a를 참조하면, LED를 켜는 동안에는 인페이스 리셉터들만을 활성화시키고, LED를 끌 동안에는 아웃 페이스 리셉터들만을 활성화시킨다.
이와 같이, 인페이스 리셉터들과 아웃 페이스 리셉터들을 시간차를 두고 서로 다르게 활성화시키면 사물과의 거리에 따라서 수신되는(누적되는) 빛의 양에 차이가 발생하게 된다. 이 차이, 즉, 인페이스 리셉터에서 수신된 빛의 양과 아웃 페이스 리셉터에 수신된 빛의 양의 차이를 비교하여 사물과의 거리를 측정할 수 있다.
도 6b는 사물이 깊이 센서 바로 앞에 있는 경우(거리 = 0)의 발광부와 인페이스 리셉터 및 아웃페이스 리셉터의 활성화 구간에 따른 반사광을 나타낸 도면이다. 도 6b에 도시된 바와 같이, 빛이 갔다가 반사되어 오는 시간이 없기 때문에 LED의 점멸 주기가 그대로 빛의 수신(returning light) 주기가 된다. 따라서, 이 경우에는 인페이스 리셉터들만 빛을 수신하게 되고 아웃페이스 리셉터들은 전혀 빛을 수신하지 못하게 된다.
도 6c는 사물이 깊이 센서로부터 어느 정도 떨어져 있는 경우(거리 = 9.32nsec)의 발광부와 인페이스 리셉터 및 아웃페이스 리셉터의 활성화 구간에 따른 반사광을 나타낸 도면이다. 도 6c에 도시된 바와 같이, 빛이 갔다가 되돌아오는 시간이 있기 때문에 수신부에 도달하는 빛은 LED 점별 주기와 시간차가 발생하게 e된다. 그런데, 인페이스와 아웃 페이스를 활성화시키는 주기는 LED 점멸 주기와 일치하기 때문에 도 6c와 같이, 인페이스 리셉터와 아웃페이스 리셉터에 누적되는 빛의 양(점으로 표현된 해칭 부분)에 차이가 발생하게 된다. 이러한 차이를 기반으로 사물까지의 거리를 측정할 수 있다.
즉, 거리가 0인 경우에는 인페이스 리셉터에만 빛이 수신(누적)되고, 사물과의 거리가 점점 멀어지면 인페이스 리셉터에 수신(누적)되는 빛의 양은 줄어들고 아웃페이스 리셉터에 수신(누적)되는 빛의 양은 증가한다. 그러다가 어느 순간에는 아웃페이스 리셉터에서만 빛이 수신될 것이다.
즉, 깊이 센서의 기본 감지 거리(one light pulse distance의 2분의 1)를 d라 하고 리셉터들에 수신되는 빛의 총합을 1이라 했을 때, 카메라와 사물과의 거리에 따라 리셉터에 수신되는 빛의 양은 다음 표와 같다.
거리 0 0.5d d 1.5d 2d
인페이스 리셉터 1 0.5 0 0.5 1
아웃페이스 리셉터 0 0.5 1 0.5 0
여기서, d는 한 펄스 동안 빛이 이동하는 거리의 1/2로서, d = 빛의 속도 x 모듈레이션 간격/2로 계산할 수 있다(빛은 사물까지 갔다가 되돌아오기 때문에 실제 사물까지의 거리는 빛의 이동거리/2임).
본 발명의 실시예에 따르면, 위와 같은 측정 원리에 여러 다른 기법들이 추가적으로 적용될 수 있다. 예를 들어, 거리 d를 전후로 수신 특성이 대칭되는 모호성(ambiguity) 문제를 해결하기 위해 리셉터 활성화 주기를 LED 점멸 주기와 약간 어긋나게(shift) 하거나 수신 특성이 2d를 주기로 반복되는 문제를 해결하기 위해 한 영상 프레임을 획득하는 동안 서로 다른 두 종류의 점멸주기를 사용하는 등의 애플리케이션을 적용할 수 있다.
또한, 본 발명의 깊이 센서와 관련된 센서 시스템에서, 발광부에서는 특정 주파수(f)의 신호로 변조된 빛을 보내고, 수신부에서는 물체에 반사되어 되돌아오는 빛을 감지한다. 여기서, 신호는 펄스파 또는 연속파(CW, continuous-wave)로 변조된 것이 바람직하다. 신호(빛)가 물체까지 왕복하는 시간에 의한 위상 변화를 감지하여 다음과 같이 센서와 물체 사이의 거리를 계산할 수 있다.
Figure pat00001
여기서 d는 측정거리, c는 빛의 속도, f는 변조된 신호의 주파수, n은 위상 주기가 반복되면서 생기는 상수, θ는 수신된 빛의 위상을 나타낸다.
그런데 d의 최대 거리가 명백하게 정해져 있을 때 n은 0(zero)으로 가정할 수 있다. 그러면, 간단한 계산으로 다음의 식을 나타낼 수 있다.
Figure pat00002
이때, 변조 주파수 와 최대 측정거리 와의 관계는 또 다음과 같다.
Figure pat00003
본 발명의 일 실시예에 따른 깊이 센서를 이용하여 반사된 빛을 수신할 때, 아날로그 신호를 디지털 신호로 변환하기 위하여 샘플링(Sampling)을 해야 되는데 변조된 신호의 주파수와 동일한 주파수로 하는 경우(이를 Homodyne 방식이라 함)를 고려할 수 있고, 다른 주파수로 샘플링 하는 경우(이를 Heterodyne 방식이라 함)도 고려할 수 있다.
그리고 시간 간격을 두어 여러 번의 샘플링을 하는 것이 바람직하다. 왜냐하면 신호를 한 번만 샘플링하면 위상이동, 물체의 색이나 표면 특성으로 인한 반사율, 배경 등의 여러 가지 이유로 인해 빛의 강도를 구분할 수 없기 때문이다.
또한, 신호의 위상(θ)에 따라 대상물의 깊이 정보가 틀려지므로 반드시 반사된 빛의 위상 변화를 알아야 한다. 따라서, 깊이 센서에서는 픽셀 강도(pixel intensity) 데이터가 들어오는데 이를 이용하여 위상 변화에 대한 사인(sine)과 코사인(cosine) 데이터를 얻을 수 있다. 그리고는, 이 두 가지 데이터를 아크탄젠트(arctangent) 연산을 통해 위상을 계산할 수 있고, 그 후에는 간단한 연산을 통해 원하는 깊이 정보를 얻을 수 있다.
도 7은 깊이 센서가 거리를 계산하는 원리를 설명하기 위한 개념도이다.
도 7을 참조하면, 발광부가 활성화되는 시간을 ton이라고 하고, 턴오프되어 있는 시간을 toff라고 하고, 빛이 대상물체까지 날아갔다가 반사되어 돌아오는 시간은 ToF 또는 t라고 나타낼 수 있다.
이때, 대상물체까지의 거리가 d이고, 빛이 리셉터에 감지되기 시작하는 시간이 t라면 "2d = ct, t = ToF = 2d/c"라고 표현할 수 있다. 여기서 c는 빛의 속도를 나타낸다.
그리고, 인페이스 리셉터에서 수신된 신호를 a라고 하고, 아웃 페이스 리셉터에서 수신된 신호를 b라고 하면, 이를 다음과 같이 표현할 수 있다.
a = In Phase Signal = Signal@( ton - ToF ) ~ k * ( ton - ToF )
b = Out Phase Signal = Signal @ToF ~ k * ToF
그리고, 신호 a와 신호 b를 비교분석하여 다음과 같은 분석 데이터를 얻을 수 있다.
a/b = k * ( ton - ToF ) / k * ToF = (ton - ToF ) / ToF
( a + b ) * ToF = b * ton
ToF = (b/(a + b)) * ton
여기서, 깊이 센서의 기본 감지가능한 최대 거리를 dmax라고 하면, 이는 다음과 같이 나타낼 수 있다.
ton = 2*(dmax)/c
dmax = ton * c /2
위와 같은 수학식을 통해 사물과의 거리 d를 산출할 수 있다.
도 8은 본 발명의 일 실시예에 따라 이미지 센서와 깊이 센서를 분리하여 구현하는 캡슐내시경을 나타낸 도면이다.
도 8을 참조하면, 이미지센서(810)와 깊이 센서(820)는 캡슐 내시경의 돔 형태의 투명막 하부에 서로 분리되어 구현가능하다. 이때, 렌즈(802, 804)는 각 센서(810, 820)마다 별도로 구비될 수 있다. 다만, 이때에도 이미지 센서(810)와 깊이 센서(820)는 동시에 구동되는 것이 바람직하다. 또한, 앞서 설명한 바와 같이, 렌즈(802, 804)를 통해 광학적으로 정렬되는 것이 바람직하다. 그래야 병증 영상에 깊이 맵을 정합시킬 수 있다. 특히 캡슐 내시경의 내부 메모리에는 이미지 센서(810)와 깊이 센서(820) 간의 정렬과 관련된 정보가 저장되어 있을 수 있다. 예컨대, 이미지 센서(810)의 몇 번째 행이 깊이 센서(820)의 몇 번째 행과 정렬되어 있고, 이미지 센서(810)의 몇 번째 열이 깊이 센서(820)의 몇 번째 열과 정렬되어 있는지에 대한 정보가 저장되어 있을 수 있다.
이에 따라, 이미지 센서(810)를 통해 획득된 영상 정보의 특정 픽셀이 각각 깊이 센서(820)를 통해 획득되는 깊이 맵의 특정 픽셀에 대응될 수 있도록 한다.
도 9는 본 발명의 다른 실시예에 따라 이미지 센서와 깊이 센서를 통합하여 구현하는 캡슐내시경을 나타낸 도면이다.
도 9를 참조하면, 이미지 센서와 깊이 센서가 하나의 통합 센서(910)로써 구현되고, 그 위에 렌즈(902) 및 투명의 돔이 존재하는 형태로 구현될 수 있다. 통합센서는 복수 개의 가로, 세로 픽셀들로 구성될 수 있다. 이는 정방향 또는 비정방형으로 구성될 수 있다.
이때, 하나의 픽셀(또는 셀)은 세 개의 리셉터(912, 914, 916)로 구성될 수 있다. 하나(912)는 이미지 센서의 단일 픽셀이고, 다른 하나(914)는 제 1 리셉터, 즉, 인페이스 리셉터이며, 마지막 하나(916)는 제 2 리셉터, 아웃 페이스 리셉터이다. 특히, 이미지 센서의 단일 픽셀(912)은 R, G 및 B 픽셀을 포함하여 3개로 구성될 수 있고, 여기에 두 개의 리셉터(914, 916)까지 더하여 5개의 픽셀로 구현될 수도 있다. 이와 같이, 하나의 셀이 이미지 센서의 픽셀과 깊이 센서의 리셉터들로 통합 구현되면, 동일한 렌즈(902)를 통해 자동정렬되기 때문에, 별도로 정렬을 수행할 필요도 없고, 정렬과 관련된 데이터를 가지고 있을 필요가 없어 용이하게 깊이 맵을 영상과 매칭시킬 수 있다.
캡슐내시경과 연동하는 수신기
도 10은 본 발명의 일 실시예에 따른 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기를 개략적으로 나타낸 블록도이다. 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수신기(1000)는 수신부(1010), 스테레오 영상 처리부(1020) 및 사용자 인터페이스(1030)를 포함할 수 있다.
도 10을 참조하면, 수신부(1010)는 캡슐 내시경으로부터 전송되는 영상 정보 및 거리 정보(또는 깊이 맵 정보)를 수신한다. 상기 수신된 프레임 내의 데이터는 동일한 피사체에 대해 촬영된 영상 및 거리 정보 패키지를 포함하는 인코딩된 데이터이며, 그 외 다른 정보(예를 들어, 음향 정보, 조직 정보, PH 정보, 온도 정보, 전기적 임피던스 정보 등)도 포함할 수 있다. 한편, 수신부(1010)는 캡슐 내시경 피검사자의 신체에 부착되는 전극 또는 패드 형태로 구성될 수도 있다.
스테레오 영상 처리부(1020)는 수신부(1010)가 수신한 영상, 거리 정보 및 동기 정보를 추출하여 디코딩하고, 거리 정보를 기반으로 깊이 맵을 생성할 수 있다. 깊이 맵은 캘리브레이션, 스테레오 조정, 스테레오 매칭 및 재투영 과정을 수행하여 생성될 수 있다. 이는 캡슐 내시경의 제어부 또는 스테레오 영상 처리부(520)에서 선택적으로 수행될 수 있다. 그리고는, 깊이 맵과 영상의 각 픽셀과 정렬 관계를 기반으로 3D 영상을 생성할 수 있다.
스테레오 영상 처리부(1020)에서는 디블러링 필터 및 초해상도(Super-Resolution) 기법을 적용하여 화질이 보다 선명하게 개선된 영상을 생성할 수 있다.
그리고, 사용자 인터페이스(1030: GUI)는 영상 정보과 깊이 맵을 기반으로 생성된 3D 영상을 재생할 수 있다. 보다 바람직하게는, 화질 개선된 영상과 깊이 맵을 기반으로 3D 영상을 재생하는 것이 좋다. 그리고, 영상을 디스플레이하는 중에, 사용자 입력을 수신하여 사용자가 가리키는 객체의 실제 크기를 카메라 캘리브레이션 정보를 기반으로 산출하여 표시할 수 있다.
본 발명의 실시예에 따르면, 수신부(1010)만 수신기(1000)의 구성요소로 포함되고, 스테레오 영상 처리부(1020) 및 사용자 인터페이스(1030)는 별도의 영상 처리 장치로 구현될 수 있다. 또는, 수신기(1000)는 수신부(1010)와 스테레오 영상 처리부(1020)를 포함하고, 사용자 인터페이스(1030)가 별도의 영상 처리 장치로 구현될 수 있다.
본 발명의 실시예에 따르면, 수신된 스테레오 영상 프레임을 파싱하여 영상과 거리 정보의 패키지를 추출한다. 이때, 동기 정보를 파싱하여 어느 시점의 영상인지 파악하고, 영상 정보는 디코딩한다. 그리고는, 3D 비전(3D vision)과 관련된 절차가 수행된다.
거리 정보와 영상 정보를 기반으로 깊이 맵을 생성하는 과정은 다음과 같다.
캘리브레이션 수행부(미도시)는 3D 공간좌표와 2D 영상 좌표 사이의 변환관계 또는 이 변환관계를 설명하는 파라미터를 산출한다. 캡슐 내시경의 이미지 센서에서 촬영된 체스 보드판 영상 M 장(M은 자연수)을 기반으로 내부 파라미터(Intrinsic Parameter)와 외부 파라미터(Extrinsic Parameter)를 산출한다.
내부 파라미터는 초점거리, 주점(principal point) 및 비대칭 계수(skew coefficient) 등이 사용될 수 있다. 초점거리는 렌즈 중신과 이미지 센서와의 거리를 의미하고, 이는 픽셀 단위로 산출될 수 있다. 주점은 카메라 렌즈의 중심, 즉, 핀홀(pin hole)에서 이미지 센서에 내린 수선의 발의 영상 좌표를 의미하는 것으로써, 역시 픽셀 단위로 산출될 수 있다. 비대칭 계수는 이미지 센서의 셀 어레이(cell array)와 y축이 기울어진 정도를 의미한다.
외부 파라미터는 카메라 좌표계와 월드(world) 좌표계 사이의 변환 관계를 설명하는 파라미터로써 두 좌표계 사이의 회전(rotation) 및 평행이동(translation) 변환으로 표현될 수 있다.
그리고는 내외부 파라미터 외에, 각 카메라에 대한 왜곡 파라미터(Distortion Parameter), 캘리브레이션된 카메라의 위치관계를 나타내는 필수 행렬(Essential Matrix) 및 영상과 거리 기반의 깊이 맵 간의 대응점과 관련된 정보를 나타내는 기본 행렬(Fundamental Matrix)을 산출할 수 있다.
스테레오 조정부(미도시)는 캘리브레이션 수행부에서 획득된 정보(예컨대, 내부 파라미터, 외부 파라미터 등)을 가지고 깊이 맵과 영상 간의 행-정렬된(Row-aligned) 영상을 생성한다. 스테레오 조정부는 캘리브레이션 정보를 가지고 영상과 깊이 맵을 교정하여 행-정렬된 하나의 카메라에서 촬영된 것처럼 조정한다.
스테레오 매칭부(미도시)는 영상과 깊이 맵에서 동일한 점을 찾아 매칭한다. 스테레오 매칭은 두 정보에서 겹치는 장면에서만 계산이 가능하다. 이를 통해 디스패리티 맵을 생성할 수 있다.
재투영부(미도시)는 삼각법을 이용하여 디스패리티 맵을 거리로 환산함으로써 깊이 맵(depth map)을 생성한다.
깊이 맵 생성 이후에는, 영상 정에서 각 지점의 깊이(앞으로 튀어나와 있는지 또는 뒤로 들어가 있는지 여부)를 명확히 알 수 있기 때문에, 영상 데이터와 조합하여 3D 영상을 생성가능하고, 특정 병증의 입체적인 형상 또는 해당 형상의 정확한 크기 등을 파악할 수 있다.
본 발명의 다른 실시예에 있어서, 두 개의 이미지 센서를 통해 좌영상과 우영상을 획득하는 경우, 좌영상과 우영상 중 영상 화질이 좋은 영상 하나를 선택한다. 이때, 영상 한 장을 선택할 수도 있고, 대칭점을 알고 있는 상태에서 픽셀 단위로 화질이 더 좋은 것을 고르는 방법을 이용하여 원 영상 두 장 모두의 화질을 개선시킬 수도 있다. 그리고는, 깊이 맵을 이용한 디블러링 필터를 통해 한 장 또는 두 장의 영상의 화질을 개선한다. 즉, 디블러링 필터를 깊이 맵을 통해 생성하고, 이를 영상 화질 개선에 사용한다.
그리고는, 초해상도 기법을 수행하여 화질 개선을 완료할 수 있다.
스테레오 영상 처리부(1020)는 사용자 인터페이스(예컨대, 키보드, 마우스, 터치 스크린, 디스플레이부 등으로 구현됨)를 통해 영상 내의 객체 크기 산출을 요청받은 경우, 해당 객체의 픽셀 데이터와, 카메라 캘리브레이션 정보를 조합하여 실제 크기를 산출하고 이를 사용자 인터페이스로 제공할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (13)

  1. 캡슐 내시경 장치에 있어서,
    특정 발광 주기로 빛을 발광하는 발광부;
    상기 발광부에서 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하는 깊이 센서;
    상기 깊이 센서에서 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하는 거리 산출부;
    상기 대상부위를 촬영하는 이미지 센서; 및
    상기 이미지 센서에서 촬영된 영상과 관련된 정보 및 상기 거리 산출부에서 산출된 거리와 연관된 정보를 수신기로 전송하는 전송부를 포함하는 캡슐 내시경 장치.
  2. 제 1 항에 있어서,
    상기 깊이 센서는 상기 대상부위에 반사되어 돌아오는 빛을 감지하는 제 1 리셉터(receptor) 및 제 2 리셉터를 포함하고,
    상기 제 1 및 제 2 리셉터는 서로 다른 위상을 가지고 활성화되는 캡슐 내시경 장치.
  3. 제 1 항에 있어서,
    상기 제 1 리셉터는 상기 발광부의 발광 주기와 동기화되어 활성화되며,
    상기 제 2 리셉터는 상기 발광부의 발광 주기와 180도의 위상차를 가지고 활성화되는 캡슐 내시경 장치.
  4. 제 1 항에 있어서,
    상기 제 1 리셉터의 활성화에 따라 상기 대상부위에 반사되어 돌아오는 빛의 수신되는 양과 상기 제 2 리셉터의 활성화에 따라 상기 대상부위에 반사되어 돌아오는 빛의 수신되는 양을 비교하여 상기 대상부위까지의 거리를 측정하는 캡슐 내시경 장치.
  5. 제 1 항에 있어서,
    상기 이미지 센서와 상기 깊이 센서는 동시에 구동되는 캡슐 내시경 장치.
  6. 제 1 항에 있어서,
    상기 이미지 센서와 상기 깊이 센서는 광학적으로 정렬(aligned)되어 있는 캡슐 내시경 장치.
  7. 제 1 항에 있어서,
    상기 깊이 센서는 정방형 또는 비정방형으로 복수 개의 픽셀을 포함하여 구성되며,
    하나의 픽셀은 제 1 리셉터 및 제 2 리셉터를 포함하는 캡슐 내시경 장치.
  8. 제 1 항에 있어서,
    상기 이미지 센서와 상기 깊이 센서는 통합되어 하나의 센서로써 구현되는 캡슐 내시경 장치.
  9. 제 1 항에 있어서,
    상기 이미지 센서와 상기 깊이 센서는 별도로 분리되어 존재하는 캡슐 내시경 장치.
  10. 캡슐 내시경 장치의 동작 방법에 있어서,
    발광부가 특정 발광 주기로 빛을 발광하는 단계;
    깊이 센서에서, 상기 발광부에서 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하는 단계;
    상기 깊이 센서에서 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하는 단계;
    이미지 센서에서, 상기 대상부위를 촬영하는 단계; 및
    상기 이미지 센서에서 촬영된 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신기로 전송하는 단계를 포함하는 캡슐 내시경 장치의 동작 방법.
  11. 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기에 있어서,
    상기 캡슐 내시경의 이미지 센서로에서 인체 내의 대상부위를 촬영하여 생성한 영상 정보와 상기 캡슐 내시경의 깊이 센서에서 특정 주기로 발광하는 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 산출한 상기 대상부위까지의 거리와 관련된 정보를 캡슐 내시경으로부터 수신하는 수신부;
    상기 영상 정보와 상기 거리와 관련된 정보를 기반으로 깊이 맵을 생성하는 스테레오 영상 처리부; 및
    상기 영상 정보와 상기 깊이 맵을 이용하여 3D 영상을 재생하는 사용자 인터페이스(GUI: Graphical User Interface)를 포함하는 캡슐 내시경과 연동하여 3D 영상을 재생하는 수신기.
  12. 3D 영상 재생을 위한 캡슐 내시경 시스템에 있어서,
    특정 발광 주기로 빛을 발광시키고, 상기 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하며, 상기 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하고, 상기 대상부위를 촬영하며, 상기 촬영된 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신기로 전송하는 캡슐 내시경; 및
    상기 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신하여 깊이 맵을 생성하고, 상기 영상과 관련된 정보와 상기 깊이 맵을 이용하여 3D 영상을 재생하는 수신기를 포함하는 3D 영상 재생을 위한 캡슐 내시경 시스템.
  13. 3D 영상 재생을 위한 캡슐 내시경 시스템에 있어서,
    특정 발광 주기로 빛을 발광시키고, 상기 발광된 빛이 인체 내의 대상부위에 반사되어 돌아오는 빛을 감지하며, 상기 감지한 빛이 상기 대상부위에 반사되어 돌아오는 시간을 기반으로 상기 대상부위까지의 거리를 산출하고, 상기 대상부위를 촬영하며, 상기 촬영된 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신기로 전송하는 캡슐 내시경;
    상기 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신하여 영상 처리 장치로 제공하는 수신기; 및
    상기 영상과 관련된 정보 및 상기 대상부위까지의 거리와 연관된 정보를 수신하여 깊이 맵을 생성하고, 상기 영상과 관련된 정보와 상기 깊이 맵을 이용하여 3D 영상을 재생하는 영상 처리 장치를 포함하는 3D 영상 재생을 위한 캡슐 내시경 시스템.

KR1020170151979A 2017-11-15 2017-11-15 ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템 KR20190055362A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170151979A KR20190055362A (ko) 2017-11-15 2017-11-15 ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170151979A KR20190055362A (ko) 2017-11-15 2017-11-15 ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20190055362A true KR20190055362A (ko) 2019-05-23

Family

ID=66681208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170151979A KR20190055362A (ko) 2017-11-15 2017-11-15 ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20190055362A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141253A1 (ko) * 2020-01-10 2021-07-15 주식회사 인트로메딕 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141253A1 (ko) * 2020-01-10 2021-07-15 주식회사 인트로메딕 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR102377728B1 (ko) 이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기
KR101921268B1 (ko) 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템
US6587183B1 (en) Range finder and camera
JP6480441B2 (ja) 飛行時間型カメラシステム
US10402992B2 (en) Method and apparatus for endoscope with distance measuring for object scaling
JP2019523064A5 (ko)
US20040127785A1 (en) Method and apparatus for size analysis in an in vivo imaging system
US20170112360A1 (en) Observation system
EP2549226A1 (en) Endoscope and endoscope system
JP2003075137A (ja) 撮影システム並びにそれに用いられる撮像装置および３次元計測用補助ユニット
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
KR20190136560A (ko) 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치
JP2015231498A (ja) 内視鏡装置
JP2020536221A (ja) 表面トポロジおよび関連する色を決定するための装置および方法
KR20190055362A (ko) ToF 센서를 이용한 캡슐 내시경 장치, 상기 장치의 동작 방법 및 시스템
JP2018130537A (ja) オブジェクトのスケーリングに対する距離測量機能付き内視鏡に用いられる方法および装置
JP6868167B1 (ja) 撮像装置および撮像処理方法
CN114119696A (zh) 深度图像的获取方法及装置、系统、计算机可读存储介质
TWI428855B (zh) The Method of Restoring Three Dimensional Image of Capsule Endoscopy
JP6868168B1 (ja) 撮像装置および撮像処理方法
KR20200029740A (ko) 3d 영상을 재생을 위한 구강 카메라, 3d 영상을 재생하는 방법, 및 그 장치
JP2021150882A (ja) 撮像装置および撮像処理方法
JP2021150880A (ja) 撮像装置および撮像処理方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application