KR20180004001A - 영상처리를 이용한 외부조종 무선 내시경의 자율 주행방법 - Google Patents

영상처리를 이용한 외부조종 무선 내시경의 자율 주행방법 Download PDF

Info

Publication number
KR20180004001A
KR20180004001A KR1020170080417A KR20170080417A KR20180004001A KR 20180004001 A KR20180004001 A KR 20180004001A KR 1020170080417 A KR1020170080417 A KR 1020170080417A KR 20170080417 A KR20170080417 A KR 20170080417A KR 20180004001 A KR20180004001 A KR 20180004001A
Authority
KR
South Korea
Prior art keywords
capsule endoscope
euclidean distance
endoscope
target point
camera module
Prior art date
Application number
KR1020170080417A
Other languages
English (en)
Other versions
KR101923404B1 (ko
Inventor
손영돈
강창기
김행근
김재승
조현
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Publication of KR20180004001A publication Critical patent/KR20180004001A/ko
Application granted granted Critical
Publication of KR101923404B1 publication Critical patent/KR101923404B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 외부조종이 이루어지는 무선 내시경의 영상처리를 이용한 자율 주행방법에 관한 것으로, 영상 정보를 얻을 수 있는 카메라 모듈을 포함하고 임의 방향으로 자화된 캡슐형 내시경과, 3차원 상의 임의 방향으로 자기장을 생성하여 상기 캡슐형 내시경을 무선 조종하게 되는 제어유닛을 포함하는 무선 내시경의 자율 주행방법으로서, (a) 상기 카메라 모듈로부터 수신된 입력 영상의 중심점(Xc, Yc)을 추출하는 단계(S110)와; (b) 상기 입력 영상에 대해 경사 하강 탐색 알고리즘을 이용하여 목표점(XT, YT)을 추출하는 단계(S131)(S132)와; (c) 상기 중심점과 상기 목표점 사이의 유클리디언 거리(D)를 산출(S141)하고, 유클리디언 거리(D)와 설정된 임계값(T)을 비교(S142)하여 상기 캡슐형 내시경의 병진 또는 조향 구동하기 위한 구동신호를 출력(S150)(S160)하는 단계;를 포함한다.

Description

영상처리를 이용한 외부조종 무선 내시경의 자율 주행방법{Autonomous driving method of externally powered wireless endoscope system using image process}
본 발명은 외부조종이 이루어지는 무선 내시경의 영상처리를 이용한 자율 주행방법에 관한 것이다.
내시경은 내장장기 또는 체강 내부를 직접 볼 수 있게 만든 의료기구로서 종래의 유선형 내시경은 입이나 항문을 통해 삽입이 이루어져 그 시술에 어려움이 있고, 환자의 고통을 수반하게 된다. 이러한 문제점을 해결하기 위하여 최근 캡슐형 내시경이 개발되고 있으며, 캡슐형 내시경은 캡슐형상으로 된 내시경을 입으로 삼켜 소화기관의 연동운동에 의해 소화기관 내부를 이동하면서 진단이 이루어진다.
현재 상용화되고 있는 캡슐형 내시경은 별도의 자체 구동기능이 없어서 소화기관의 연동운동을 통해 이동이 이루어지게 되며, 따라서 수동적인 관찰만이 가능하여 병변 관찰에 많은 문제점이 있다.
한편, 이러한 문제점을 개선하기 위하여 자화 방향을 갖는 캡슐형 내시경과, 이 캡슐형 내시경에 전자기장을 형성하여 캡슐형 내시경의 조향 구동하기 위한 전자기장생성수단으로 구성된 마이크로로봇 시스템이 제안되어 있다.
예를 들어, 공개특허공보 제10-2013-0022547호(공개일자: 2013.03.07), 공개특허공보 제10-2013-0024246호(공개일자: 2013.03.08), 및 공개특허공보 제10-2013-0024401호(공개일자: 2013.03.08)에서는 자화 방향을 갖는 캡슐형 내시경과, 이 캡슐형 내시경의 구동을 위한 자기장을 생성하기 위한 코일유닛으로 구성되며, 코일유닛의 인가되는 전류의 제어를 통해 코일유닛의 3차원 상에서 임의 방향으로 캡슐형 내시경을 조향 구동하거나 병진 운동의 제어가 이루어진다.
이러한 마이크로로봇 시스템에서는 캡슐형 내시경의 위치를 모니터링하면서 코일유닛에 인가되는 전류를 제어하여 캡슐형 내시경의 원격 조작이 이루어질 수 있다.
한편 이러한 외부에서 조종이 이루어지는 무선 내시경은 시술자가 지속적으로 모니터링하면서 수동 제어를 해야 하는 불편함이 있다.
공개특허공보 제10-2013-0022547호(공개일자: 2013.03.07) 공개특허공보 제10-2013-0024246호(공개일자: 2013.03.08) 공개특허공보 제10-2013-0024401호(공개일자: 2013.03.08)
본 발명은 이러한 문제점을 개선하기 위한 것으로, 외부조종이 이루어지는 무선 내시경에서 촬영된 영상정보를 활용하여 자율 주행이 가능한 방법을 제공하고자 하는 것이다.
이러한 목적을 달성하기 위한 본 발명의 외부조종 무선 내시경의 자율 주행방법은, 영상 정보를 얻을 수 있는 카메라 모듈을 포함하고 임의 방향으로 자화된 캡슐형 내시경과, 3차원 상의 임의 방향으로 자기장을 생성하여 상기 캡슐형 내시경을 무선 조종하게 되는 제어유닛을 포함하는 무선 내시경의 자율 주행방법으로서, (a) 상기 카메라 모듈로부터 수신된 입력 영상의 중심점(Xc, Yc)을 추출하는 단계와; (b) 상기 입력 영상에 대해 경사 하강 탐색 알고리즘을 이용하여 목표점(XT, YT)을 추출하는 단계와; (c) 상기 중심점과 상기 목표점 사이의 유클리디언 거리(D)를 산출하고, 유클리디언 거리(D)와 설정된 임계값(T)을 비교하여 상기 캡슐형 내시경의 병진 또는 조향 구동하기 위한 구동신호를 출력하는 단계를 포함한다.
바람직하게는, (c) 단계는 상기 유클리디언 거리(D)가 설정된 임계값(T) 보다 작은 경우에 상기 캡슐형 내시경의 병진 구동을 위한 구동신호를 출력한다.
보다 바람직하게는, 상기 (c) 단계는 캡슐형 내시경에 내장된 거리검출센서부를 이용하여 거리 정보를 수신하여 3차원의 목표점(XT, YT, Zt)을 추출하고 이동벡터(△X, △Y, △Z)를 산출하여 이동벡터에 따라서 구동신호를 출력하는 단계를 더 포함한다.
바람직하게는, (c) 단계는 상기 유클리디언 거리(D)가 설정된 입계값(T) 보다 큰 경우에 상기 캡슐형 내시경의 조향 구동을 위한 구동신호를 출력하며, 상기 (b) 단계 전에 상기 입력 영상에 대한 전처리 단계를 더 포함한다.
본 발명에 따른 무선 내시경의 영상처리를 이용한 자율 주행방법은, 캡슐형 내시경에 마련된 카메라 모듈을 통해 얻은 영상 정보를 이용하여 캡슐형 내시경의 목표지점을 추출하여 자율 주행이 가능하여 비교적 긴 내시경 검사 동안에 노동력 소모가 큰 의사와 사용자의 전반적인 시술 개입 시간을 단축하여 시술의 편의성을 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 무선 내시경 자율주행 방법을 위한 시스템의 전체 구성도,
도 2는 무선 캡슐형 내시경의 바람직한 실시예를 보여주는 도면,
도 3은 본 발명의 제1실시예에 따른 무선 내시경 자율주행 방법을 보여주는 흐름도,
도 4는 도 3에서 캡슐형 내시경의 조향 구동 단계를 보여주는 흐름도,
도 5는 본 실시예에 따른 무선 내시경 자율주행 방법의 항로 동선을 산출하는 원리를 설명하기 위한 도면,
도 6은 2차원 영상에서 획득되는 화소 당 밝기 값을 근거로 유도할 수 있는 3차원의 경사 하강점 분포 중, 최소값을 포함하는 단면을 보여주는 그래프,
도 7은 본 발명의 제2실시예에 따른 무선 내시경 자율주행 방법을 보여주는 흐름도.
본 발명의 실시예에서 제시되는 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있다. 또한 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 되며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소들과 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않는 범위 내에서, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떠한 구성요소가 다른 구성요소에 "연결되어"있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 또는 "직접 접촉되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하기 위한 다른 표현들, 즉 "~사이에"와 "바로 ~사이에"또는 "~에 인접하는"과 "~에 직접 인접하는"등의 표현도 마찬가지로 해석되어야 한다.
본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함한다" 또는 "가지다"등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부 도면을 참고하여 상세히 설명하도록 한다.
도 1은 본 발명에 따른 무선 내시경 자율주행 방법을 위한 시스템의 전체 구성도이다.
도 1을 참고하면, 본 실시예에 따른 시스템은, 캡슐형 내시경(100)과, 캡슐형 내시경(100)을 구동하기 위한 전자기장을 생성하기 위한 코일유닛(200)과, 캡슐형 내시경(100)에서 전달된 영상정보를 수신하고 코일유닛(200)에 인가되는 전원(전류)을 제어하기 위한 제어유닛(300)을 포함한다.
도 2를 참고하면, 캡슐형 내시경(100)은 외관을 구성하고 복수의 구성들이 수납되는 하우징이 마련되며, 예를 들어, 영구자석(110)과, 영상정보를 얻기 위한 카메라 모듈(120)과, 카메라 모듈(120)을 통해 취득한 영상정보를 외부로 전송하기 위한 데이터 전송 모듈(130)과, 카메라 모듈(120)과 데이터 전송 모듈(130)의 구동에 필요한 전원을 공급하기 위한 배터리와 같은 전원공급 모듈(140)을 포함할 수 있다.
영구자석(110)은 캡슐형 내시경(100)의 전자기 구동에 의한 무선 조정을 위한 것으로, 임의 방향으로 자화되어 외부에서 인가되는 자기장에 의해 조향 또는 추진이 이루어질 수 있다.
카메라 모듈(120)은 하우징의 전방에 배치되어 영상 촬영이 이루어질 수 있으며, 촬영 방향으로 조명을 위한 조명기구가 마련될 수 있을 것이다.
캡슐형 내시경(100)은 거리 정보를 검출할 수 있는 거리검출센서부(150)를 더 포함할 수 있으며, 거리검출센서부(150)는 주지의 초음파센서가 사용될 수 있다.
다시 도 1을 참고하면, 코일유닛(200)은 캡슐형 내시경(100)을 3차원 상에서 조향(회전)시키기 위하여 균일 자기장을 발생시킬 수 있는 균일 자기장생성모듈(210)(220)(230)을 포함한다.
본 실시예에서 균일 자기장생성모듈(210)(220)(230)은 서로 직각방향으로 배치되는 한 쌍의 새들코일부(210)(220)와 헬름홀츠코일부(230)를 예시하고 있으나, 이에 한정되는 것은 아니고 다양한 주지의 코일들이 조합되어 사용될 수 있다.
한편, 코일유닛(200)은 캡슐형 내시경(100)을 일정 방향으로 추진시킬 수 있도록 경사 자기장을 발생시킬 수 있는 경사코일을 더 포함할 수 있다.
제어유닛(300)은 수신부(310), 구동제어부(320), 및 전원공급부(330)를 포함할 수 있다.
수신부(310)는 캡슐형 내시경(100)으로부터 전송되는 영상정보를 수신한다.
구동제어부(320)는 수신부(310)를 통해 수신된 영상 정보를 바탕으로 캡슐형 내시경(100)의 위치를 파악할 수 있으며, 캡슐형 내시경(100)을 구동하기 위하여 코일유닛(200)에 인가되는 전원(전류)의 제어가 이루어질 수 있다.
전원공급부(330)는 구동제어부(320)에서 전달되는 구동 신호에 따라서 코일유닛(200)에 인가되는 전원(전류)을 공급하는 역할을 한다.
도시되지 않았으나, 제어유닛(300)은 작업자가 직접 캡슐형 내시경의 방향 또는 위치 조작을 위한 주지의 입력수단과, 수신부(310)를 통해 수신된 영상 정보를 디스플레이할 수 있는 주지의 출력수단이 마련될 수 있을 것이다.
이와 같이 구성된 시스템에서 구동제어부(320)는 캡슐형 내시경(100)의 전면에 마련된 카메라 모듈(120)에서 획득한 영상 정보를 이용하여 외부에서 별도의 오퍼레이터에 의한 수동 조작이 없이 자율주행이 이루어질 수 있다.
구동제어부(320)는 수신된 영상 정보를 판별하여 카메라 모듈(120)이 지속적으로 진행해야할 방향을 결정하여 전원공급부(330)를 제어함으로써 캡슐형 내시경(100)의 자율주행이 이루어질 수 있을 것이다.
예를 들어, 구동제어부(320)에서 수신된 영상에서의 중심영역은 카메라 모듈(120)이 현재 바라보고 있는 시점이 되며, 이후 진행 방향의 목표점은 위장관의 특징상 어둡고 더 깊어지는 영역으로 설정할 수 있다. 따라서, 구동제어부(320)는 영상정보에서 해당 목표 영역을 영상 처리 기술로 탐색이 이루어지며, 2차원 영상에서의 경사 하강점을 적절히 추출하여 이루어질 수 있다.
3차원 경사 하강점 지도는 목표 영역과 유사한 극값을 함께 표현하므로 본 발명에서 적용되는 영상처리 기술은 도메인 축소 및 유사 극값 필터링 처리로 단일 극값만을 추출해낼 수 있다. 이 극값이 나타나는 영상 영역은 2차원 영상에서 좌표로 나타낼 수 있다.
도 3은 본 발명의 제1실시예에 따른 무선 내시경 자율주행 방법을 보여주는 흐름도이다.
도 3을 참고하면, 본 발명의 제1실시예에 의한 방법은, 영상 정보를 얻을 수 있는 카메라 모듈을 포함하고 임의 방향으로 자화된 캡슐형 내시경과, 3차원 상의 임의 방향으로 자기장을 생성하여 상기 캡슐형 내시경을 무선 조종하게 되는 제어유닛을 포함하는 무선 내시경의 자율 주행방법으로서, (a) 상기 카메라 모듈로부터 수신된 입력 영상의 중심점(Xc, Yc)을 추출하는 단계(S110)와; (b) 상기 입력 영상에 대해 경사 하강 탐색 알고리즘을 이용하여 목표점(XT, YT)을 추출하는 단계(S131)(S132)와; (c) 상기 중심점과 상기 목표점 사이의 유클리디언 거리(D)를 산출(S141)하고, 유클리디언 거리(D)와 설정된 임계값(T)을 비교(S142)하여 상기 캡슐형 내시경을 구동하기 위한 구동신호를 출력하는 단계(S150)(S160)을 포함한다.
바람직하게는, (b) 단계 전에 입력 영상에 대한 필터링 등의 전처리 단계(S120)를 더 포함할 수 있다.
구체적으로, (c) 단계는 중심점(Xc, Yc)과 목표점(XT, YT) 사이의 유클리디언 거리(D)를 산출하며, 이때 유클리디언 거리(D)는 다음의 [수학식 1]과 같다.
[수학식 1]
Figure pat00001
이와 같이 계산된 유클리디언 거리(D)는 기설정된 임계값(T)과 비교하게 되며, 유클리디언 거리(D)와 설정된 임계값(D) 사이의 크기에 따라서 캡슐형 내시경의 병진 또는 조향 구동이 이루어진다. 본 발명에서 유클리디언 거리(D)에 사용되는 임계값(T)은 최적화를 통해 얻을 수 있는 임의의 값일 수 있다.
바람직하게는, 유클리디언 거리(D)가 설정된 임계값(T) 보다 작은 경우에 캡슐형 내시경의 병진 구동을 위한 구동신호를 출력(S150)하며, 이때 병진 구동은 전진 운동일 수 있다.
한편, 유클리디언 거리(D)가 설정된 입계값(T) 보다 큰 경우에는 캡슐형 내시경의 조향(회전) 구동을 위한 구동신호를 출력한다(S160).
구체적으로 도 4를 참고하면, 조향 구동을 위하여 목표점이 중심점으로부터 어느 방향에 속하는지를 중심점과 목표점 사이의 방향벡터(ux,uy)를 구하여 알 수 있으며, 다음의 [수학식 2]을 이용하여 방향벡터를 추출한다(S161).
[수학식 2]
Figure pat00002
방향벡터의 파라미터는 좌우방향(θ)과 상하방향(
Figure pat00003
)의 두 가지 파라미터를 가질 수 있다. 구해진 방향벡터로 초기값(θ,
Figure pat00004
)으로 회전한 뒤 현재의 방향벡터를 저장한다. 이는 조향 이후 방향벡터를 다시 구하는 과정에서 조향 이전과 가리키는 방향이 같은지를 확인하기 위함이다. 만일 다른 경우, 초기값에서 증가된 값으로 같은 방향으로 조향을 유지함으로써 목표점과 중앙점의 일치가 효과적으로 이루어질 수 있다.
초기값의 업데이트 방식은 다음과 같다.
이전 조향의 방향벡터와 새로이 구해진 방향벡터를 비교함으로써 업데이트가 이루어질 수 있으며, (1) 좌우의 방향만 다른 경우; (2) 상하의 방향만 다른 경우; (3) 좌우, 상하의 방향이 모두 다른 경우; (4) 좌우, 상하의 방향이 모두 일치하는 경우;로 나누어서 진행된다. 여기서 좌우 조향에 대한 업데이트 단위를 α, 상하 조향에 대한 업데이트 단위를 β로 정의한다.
(1)의 경우, 현재 방향벡터가 가리키는 좌우 방향과 반대 방향(-α)으로 업데이트를 시켜준다. 이때, 상하의 방향은 맞기 때문에 이전 각도와 동일한 방향 (+β)만큼 업데이트해준다(S162).
(2)의 경우, 현재 방향벡터가 가리키는 상하 방향과 반대 방향(-β)으로 업데이트를 해준다. 이때, 좌우의 방향은 일치하기 때문에 이전 각도와 동일한 방향(+α)만큼 업데이트해준다(S163).
(3)의 경우, 현재 가리키는 방향과 반대 방향으로 좌우, 상하 모두 반대방향(-α, -β)으로 업데이트를 해준다(S164).
(4)의 경우, 맞게 조향을 진행 중이므로 각각의 방향에 가중치(+α, +β)를 더해준다(S165).
이렇게 각각의 경우로 조향 파라미터를 업데이트한 후 현재의 방향벡터(ux, uy)를 다음의 단위벡터(upx, upy)로 업데이트(S166)하며, 이때 병진운동에 필요한 값(Z)을 줄여주는 방향으로 업데이트 시켜주는 것이 바람직하며, 이는 다소 많은 횟수의 조향 운동 시 파라미터들의 업데이트가 이루어진 후 병진 운동을 했을 때, 과도한 병진 운동이 이루어지지 않게 방지하기 위함이다. 하지만, 극단적인 예로 조향운동을 무한히 한다고 하였을 때도 병진운동 스텝(Z)은 '0'이 되면 안 되기 때문에 최대한 이전의 값을 유지하면서 점차 줄여나가고 '0'은 되지 않는 업데이트 계수를 '0.9'로 정한다.
조향운동에 대한 파라미터들의 업데이트가 더 이상 필요하지 않을 때(CHECKs==false)는 방향벡터에 최종 업데이트가 된 좌우, 상하값(θ,
Figure pat00005
)을 곱해 조향을 마무리한다.
다시 도 3을 참고하면, 이와 같은 조향 구동에 의해 유클리디안 거리(D)가 임계값(T)보다 작을 경우, 즉 조향 운동이 충분히 이루어졌다고 판단할 때에는 병진 운동을 진행한다. 병진 운동의 경우, 거리검출 센서가 없을 때, 그 깊이를 가늠하기가 불가능하기 때문에, 초기값(Z)으로 병진 운동이 이루어지고 난 뒤, 다음 이미지에서도 병진 운동이 필요할 때, 이전의 병진 운동의 값보다 증가된 값(+γ)으로 동작하는 것으로 병진 속도를 효과적으로 조절할 수 있다.
도 5는 본 실시예에 따른 무선 내시경 자율주행 방법의 항로 동선을 산출하는 원리를 설명하기 위한 도면이다.
도 5를 참고하면, 캡슐 내시경의 전방에 설치된 카메라 모듈의 시점은 영상의 정중앙으로서 'Point B'로 표시되어 있으며, 캡슐 내시경이 진행해야 하는 소화관의 심부, 즉 진행 목표점이 되는 영역은 영상처리 기법으로 탐지되어 'Point A'로 표시되어 있다. 따라서, 2차원 영상에서 획득된 두 점 A, B간의 좌표로서 벡터 및 거리, 각도가 확보될 수 있으며, 이 정보는 캡슐 내시경을 구동하기 위한 전원공급부(330)에 구동신호로서 전달되어 의도하는 방향으로의 정렬을 유도하게 된다.
도 6은 2차원 영상에서 획득되는 화소 당 밝기 값을 근거로 유도할 수 있는 3차원의 경사 하강점 분포 중, 최소값을 포함하는 단면을 보여주는 그래프이다. 위장관 공간에서 캡슐 내시경의 목표점이 될 지점은 지속적으로 어둡게 나타나며, 이 부분만을 탐색하기 위하여 이에 해당하는 정보가 아닌 경사 하강 극값은 필터링을 통해 둔화시킬 수 있다. 도 6에서 여러 극 값 중, 흐릿해진 극 값들을 제외한 목표점이 가지는 극 값을 향하서 경사 하강 알고리즘을 수행하여야 하며, 이외에도, 수치해석론에 사용되는 뉴턴법 등 다른 알고리즘으로도 경사 하강 알고리즘이 수행 가능하다.
도 7은 본 발명의 제2실시예에 따른 무선 내시경 자율주행 방법을 보여주는 흐름도이다.
도 7을 참고하면, 본 발명의 제2실시예에 의한 방법은, 영상 정보를 얻을 수 있는 카메라 모듈과 거리를 검출할 수 있는 거리검출센서부를 포함하고 임의 방향으로 자화된 캡슐형 내시경과; 3차원 상의 임의 방향으로 자기장을 생성하여 상기 캡슐형 내시경을 무선 조종하게 되는 제어유닛을 포함하는 무선 내시경의 자율 주행방법으로서, (a) 카메라 모듈로부터 수신된 입력 영상의 중심점(Xc, Yc)을 추출하는 단계(S210)와; (b) 입력 영상에 대해 경사 하강 탐색 알고리즘을 이용하여 2차원 평면상의 목표점(XT, YT)을 추출하는 단계(S231)(S232)와; (c) 중심점과 목표점 사이의 유클리디언 거리(D)를 산출하고, 유클리디언 거리(D)와 설정된 임계값(T)을 비교하는 과정(S241)(242)은 앞서 설명한 제1실시예와 동일하다.
특히 제2실시예는 (c) 단계에서 유클리디언 거리(D)가 설정된 임계값(T) 보다 작은 경우에 캡슐형 내시경의 병진 구동을 수행함에 있어서, 캡슐형 내시경에 내장된 거리검출센서부(150)를 이용하여 거리 정보를 수신하여 3차원의 목표점(XT, YT,Zt)을 추출하고 이동벡터(△X, △Y, △Z)를 산출하여 이동벡터에 따라서 구동신호를 출력하는 것을 특징으로 한다.
바람직하게는, 거리검출센서를 통하여 캡슐내시경의 현재 위치에서 3차원상의 목표점까지의 실거리(△Z)를 추출한 후에 체내 벽면과의 충돌을 방지하기 위하여 실거리의 절반(△Z/2)만큼 병진 운동을 진행한다. 그 후 다음 이미지에서 또 다시 거리검출센서를 통하여 실거리 측정을 하고 그 거리의 절반만큼 병진 운동을 진행하며, 이 과정은 영상의 중심점에서 목표점까지의 2차원 상의 거리(D)가 임계값(T)을 넘어설 때까지 진행된다.
한편, 본 실시예에서 유클리디언 거리(D)가 설정된 임계값(T) 보다 큰 경우에 캡슐형 내시경의 조향 구동은 앞서 설명한 것(도 4 참고)과 실질적으로 동일하므로 중복되는 설명은 생략한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다.
100 : 캡슐형 내시경 110 : 영구자석
120 : 카메라 모듈 130 : 데이터 전송 모듈
140 : 전원공급 모듈 150 : 거리검출센서부
200 : 코일유닛 210, 220 : 새들코일부
230 : 헬름홀츠코일부 300 : 제어유닛
310 : 수신부 320 : 구동제어부
330 : 전원공급부

Claims (5)

  1. 영상 정보를 얻을 수 있는 카메라 모듈을 포함하고 임의 방향으로 자화된 캡슐형 내시경과, 3차원 상의 임의 방향으로 자기장을 생성하여 상기 캡슐형 내시경을 무선 조종하게 되는 제어유닛을 포함하는 무선 내시경의 자율 주행방법으로서,
    (a) 상기 카메라 모듈로부터 수신된 입력 영상의 중심점(Xc, Yc)을 추출하는 단계와;
    (b) 상기 입력 영상에 대해 경사 하강 탐색 알고리즘을 이용하여 목표점(XT, YT)을 추출하는 단계와;
    (c) 상기 중심점과 상기 목표점 사이의 유클리디언 거리(D)를 산출하고, 유클리디언 거리(D)와 설정된 임계값(T)을 비교하여 상기 캡슐형 내시경의 병진 또는 조향 구동하기 위한 구동신호를 출력하는 단계;를 포함하는 외부조종 무선 내시경의 자율 주행방법.
  2. 제1항에 있어서, (c) 단계는 상기 유클리디언 거리(D)가 설정된 임계값(T) 보다 작은 경우에 상기 캡슐형 내시경의 병진 구동을 위한 구동신호를 출력하는 것을 특징으로 하는 외부조종 무선 내시경의 자율 주행방법.
  3. 제2항에 있어서, 상기 (c) 단계는 캡슐형 내시경에 내장된 거리검출센서부를 이용하여 거리 정보를 수신하여 3차원의 목표점(XT,YT,Zt)을 추출하고 이동벡터(△X, △Y, △Z)를 산출하여 이동벡터에 따라서 구동신호를 출력하는 단계;를 포함하는 외부조종 무선 내시경의 자율 주행방법.
  4. 제1항에 있어서, (c) 단계는 상기 유클리디언 거리(D)가 설정된 입계값(T) 보다 큰 경우에 상기 캡슐형 내시경의 조향 구동을 위한 구동신호를 출력하는 것을 특징으로 하는 외부조종 무선 내시경의 자율 주행방법.
  5. 제1항에 있어서, 상기 (b) 단계 전에 상기 입력 영상에 대한 전처리 단계를 더 포함하는 외부조종 무선 내시경의 자율 주행방법.
KR1020170080417A 2016-07-01 2017-06-26 영상처리를 이용한 외부조종 무선 내시경의 자율 주행방법 KR101923404B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160083354 2016-07-01
KR20160083354 2016-07-01

Publications (2)

Publication Number Publication Date
KR20180004001A true KR20180004001A (ko) 2018-01-10
KR101923404B1 KR101923404B1 (ko) 2018-11-29

Family

ID=60998521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170080417A KR101923404B1 (ko) 2016-07-01 2017-06-26 영상처리를 이용한 외부조종 무선 내시경의 자율 주행방법

Country Status (1)

Country Link
KR (1) KR101923404B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199125A1 (ko) * 2018-04-12 2019-10-17 주식회사 이지엔도서지컬 자율 주행 내시경 시스템 및 그 제어 방법
KR20190119541A (ko) 2018-04-12 2019-10-22 한국과학기술원 자율 주행 내시경 시스템 및 그 제어 방법
WO2020171403A3 (ko) * 2019-02-19 2020-10-29 전남대학교산학협력단 소화기관 내 재구성이 가능한 모듈형 캡슐내시경
CN112089388A (zh) * 2019-06-17 2020-12-18 深圳硅基智控科技有限公司 胶囊内窥镜的运动控制方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199125A1 (ko) * 2018-04-12 2019-10-17 주식회사 이지엔도서지컬 자율 주행 내시경 시스템 및 그 제어 방법
KR20190119541A (ko) 2018-04-12 2019-10-22 한국과학기술원 자율 주행 내시경 시스템 및 그 제어 방법
US11172950B2 (en) 2018-04-12 2021-11-16 Easyendo Surgical, Inc. Autonomous endoscopic system and control method therefor
US11986197B2 (en) 2018-04-12 2024-05-21 Roen Surgical, Inc. Autonomous endoscopic system and control method therefor
WO2020171403A3 (ko) * 2019-02-19 2020-10-29 전남대학교산학협력단 소화기관 내 재구성이 가능한 모듈형 캡슐내시경
US11998175B2 (en) 2019-02-19 2024-06-04 Industry Foundation Of Chonnam National University Modular capsule endoscope reconfigurable in digestive organ
CN112089388A (zh) * 2019-06-17 2020-12-18 深圳硅基智控科技有限公司 胶囊内窥镜的运动控制方法
CN112089388B (zh) * 2019-06-17 2024-06-07 深圳硅基智控科技有限公司 胶囊内窥镜的运动控制方法

Also Published As

Publication number Publication date
KR101923404B1 (ko) 2018-11-29

Similar Documents

Publication Publication Date Title
KR101923404B1 (ko) 영상처리를 이용한 외부조종 무선 내시경의 자율 주행방법
KR102558061B1 (ko) 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
JP5548318B2 (ja) カプセル型医療装置及び医療システム
JP4796275B2 (ja) 生体内の装置を制御するためのシステムおよび方法
JP5841695B2 (ja) カプセル型内視鏡システム
JP5085662B2 (ja) 内視鏡システム
CN103370001A (zh) 基于体内捕捉的图像流自动导航胶囊的系统和方法
US20110237934A1 (en) Biopsy support system
US20230072879A1 (en) Systems and methods for hybrid imaging and navigation
JP2009213613A (ja) カプセル誘導システム
JP7150997B2 (ja) 情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラム
JP7270658B2 (ja) 画像記録装置、画像記録装置の作動方法および画像記録プログラム
US8795157B1 (en) Method and system for navigating within a colon
JP2020014711A (ja) 検査支援装置、方法およびプログラム
US20220218180A1 (en) Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded
US11950868B2 (en) Systems and methods for self-alignment and adjustment of robotic endoscope
WO2021048925A1 (ja) 内視鏡制御装置、内視鏡制御装置の作動方法及びプログラム
WO2021005582A1 (en) System for the magnetic localization and locomotion of an endoscopic capsule
CN114521860A (zh) 胶囊内窥镜控制方法、装置、介质及内窥镜
JP6199267B2 (ja) 内視鏡画像表示装置、その作動方法およびプログラム
US20170020375A1 (en) Capsule medical device guide system
US20240062471A1 (en) Image processing apparatus, endoscope apparatus, and image processing method
KR102294089B1 (ko) 내시경장치
KR20180004346A (ko) 가상현실기기를 통해 직관성을 향상시킨 외부조종 무선 내시경의 조향 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right