KR20220130495A - 캡슐내시경의 이동 상태 탐지 방법 및 장치 - Google Patents

캡슐내시경의 이동 상태 탐지 방법 및 장치 Download PDF

Info

Publication number
KR20220130495A
KR20220130495A KR1020210035473A KR20210035473A KR20220130495A KR 20220130495 A KR20220130495 A KR 20220130495A KR 1020210035473 A KR1020210035473 A KR 1020210035473A KR 20210035473 A KR20210035473 A KR 20210035473A KR 20220130495 A KR20220130495 A KR 20220130495A
Authority
KR
South Korea
Prior art keywords
capsule endoscope
image
movement state
motion vector
moving
Prior art date
Application number
KR1020210035473A
Other languages
English (en)
Other versions
KR102536750B1 (ko
Inventor
이정원
장현웅
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020210035473A priority Critical patent/KR102536750B1/ko
Publication of KR20220130495A publication Critical patent/KR20220130495A/ko
Application granted granted Critical
Publication of KR102536750B1 publication Critical patent/KR102536750B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 방법은 캡슐내시경으로부터 내부영상정보를 수신하는 단계; 상기 내부영상정보에 포함된 제1 이미지 및 상기 제1 이미지보다 이전 시점의 제2 이미지를 이용하여 SSD(sum of squared direction)값을 산출하는 단계; 상기 SSD값이 소정의 기준치 이상이면, 상기 제1 이미지 및 상기 제2 이미지로부터 도출된 모션 벡터의 크기와 소정의 크기기준치를 이용하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계; 및 상기 SSD값이 상기 기준치 미만이면, 상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계를 포함한다.

Description

캡슐내시경의 이동 상태 탐지 방법 및 장치{APPRATUS AND METHOD FOR DETECTING MOVEMENT STATUS OF CAPSULE ENDOSCOPE}
본 발명은 영상분석을 통해 캡슐내시경의 이동 상태를 탐지하는 방법 및 장치에 관한 것이다.
최근, 영상 처리 분야에서 기계학습 및 심층학습으로 개발된 모델들의 성능이 두각을 보임에 따라서 다양한 분야에서 적용하려는 시도가 늘어나고 있다. 다양한 분야 중 캡슐내시경 분야에서는 병변을 찾거나 위치를 추적하는데 주로 적용되고 있다.
캡슐내시경의 특성상 오랜 시간(약 10시간 이상)동안 동영상을 촬영하는데, 긴 촬영시간 때문에 여러 문제점이 발생하게 된다. 그 중 캡슐내시경 정체 현상은 2주 이상 캡슐의 배출이 확인되지 않는 현상을 의미한다. 정체현상의 발생확률은 낮지만 발생할 시 합병증 확률이 높아 수술까지 고려되는 상황이 발생한다.
또한 이러한 정체현상뿐만 아니라 일시적인 정체현상도 문제가 될 수 있다. 시술자의 경우에는 캡슐내시경이 위장관(위장, 소장)에 오래 정체돼 있다면, 캡슐내시경 시술의 주목적인 소장에 대해 정상적으로 촬영을 마칠 수 없게 되며, 시술받는 환자들은 정체현상이 일어나는 것을 걱정해 시술자에게 시술 현황을 물어보는 경우가 많다.
한편, 현재로서는 정체현상을 확인하기 위해서는 시술이 끝난 후 캡슐의 배출 여부를 확인하는 방법을 통해서만 알 수 있다. 촬영되는 모든 영상을 확인하고 있을 수 없을뿐더러, 지속적으로 영상을 보고 판단해야 하기 때문이다.
따라서, 캡슐내시경의 영상을 분석하여 정체현상의 발생 여부를 정확하게 판단하고, 현재 캡슐내시경이 머무는 위장관의 위치를 분석하는 방법과, 그 분석 정보를 외부단말기에 전송하는 방법 및 장치에 관한 필요성이 대두되고 있다.
본 발명은 캡슐내시경이 촬영한 영상을 분석하여 정체현상이 발생하였는지 여부를 분석하며, 현재 캡슐내시경이 위치한 위장관의 위치에 대한 정보를 제공하는 캡슐내시경의 이동 상태 탐지 방법 및 장치를 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 방법은 캡슐내시경으로부터 내부영상정보를 수신하는 단계; 상기 내부영상정보에 포함된 제1 이미지 및 상기 제1 이미지보다 이전 시점의 제2 이미지를 이용하여 SSD(sum of squared direction)값을 산출하는 단계; 상기 SSD값이 소정의 기준치 이상이면, 상기 제1 이미지 및 상기 제2 이미지로부터 도출된 모션 벡터의 크기와 소정의 크기기준치를 이용하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계; 및 상기 SSD값이 상기 기준치 미만이면, 상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계;를 포함한다.
바람직하게는, 상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계는 상기 제1 이미지 또는 상기 제2 이미지에서 홀(hole)을 검출하는 단계; 상기 홀이 검출되면, 상기 홀을 기준으로 상기 모션 벡터의 분포를 분석하는 단계; 상기 홀이 검출되지 않으면, 상기 제1 이미지 또는 상기 제2 이미지의 중심을 기준으로 상기 모션 벡터의 분포를 분석하는 단계; 및 상기 모션 벡터의 분포를 분석한 결과에 따라, 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계;를 포함할 수 있다.
바람직하게는, 상기 캡슐내시경으로부터 내부영상정보를 수신하는 단계의 이후에, CNN기반의 랜드마크 분류 모델을 이용하여, 상기 제1 이미지에 나타난 상기 캡슐내시경의 체내 위치를 검출하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계의 이후에, 상기 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 포함하는 캡슐내시경진단정보를 미리 등록된 외부단말기로 전송하는 단계를 더 포함할 수 있다.
바람직하게는, 상기 외부단말기는 상기 캡슐내시경진단정보에 포함된 상기 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 출력할 수 있다.
바람직하게는, 상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계는 상기 모션 벡터의 위치 및 방향을 분석하여, 상기 캡슐내시경의 이동 상태를 후진 이동, 전진 이동 및 회전 정체 중의 하나로 결정할 수 있다.
또한, 본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 장치는 캡슐내시경으로부터 내부영상정보를 수신하는 수신부; 상기 내부영상정보에 포함된 제1 이미지 및 상기 제1 이미지보다 이전 시점의 제2 이미지를 이용하여 SSD(sum of squared direction)값을 산출하는 연산부; 및 상기 SSD값이 소정의 기준치 이상이면, 상기 제1 이미지 및 상기 제2 이미지로부터 도출된 모션 벡터의 크기와 소정의 크기기준치를 이용하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하고, 상기 SSD값이 상기 기준치 미만이면, 상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 판단부를 포함한다.
바람직하게는, 상기 판단부는 상기 SSD값이 상기 기준치 미만이면, 상기 제1 이미지 또는 상기 제2 이미지에서 홀을 검출하고, 상기 홀이 검출되면, 상기 홀을 기준으로 상기 모션 벡터의 분포를 분석하고, 상기 홀이 검출되지 않으면, 상기 제1 이미지 또는 상기 제2 이미지의 중심을 기준으로 상기 모션 벡터의 분포를 분석하고, 상기 모션 벡터의 분포를 분석한 결과에 따라, 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정할 수 있다.
바람직하게는, CNN기반의 랜드마크 분류 모델을 이용하여, 상기 제1 이미지에 나타난 상기 캡슐내시경의 체내 위치를 검출하는 검출부를 더 포함할 수 있다.
바람직하게는, 상기 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 포함하는 캡슐내시경진단정보를 미리 등록된 외부단말기로 전송하는 전송부를 더 포함할 수 있다.
바람직하게는, 상기 외부단말기는 상기 캡슐내시경진단정보에 포함된 상기 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 출력할 수 있다.
바람직하게는, 상기 판단부는 상기 SSD값이 상기 기준치 이상이면, 상기 모션 벡터의 위치 및 방향을 분석하여, 상기 캡슐내시경의 이동 상태를 후진 이동, 전진 이동 및 회전 정체 중의 하나로 결정할 수 있다.
본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 방법 및 장치는 캡슐내시경이 촬영한 영상을 분석하여 정체현상이 발생하였는지 여부를 분석하며, 현재 캡슐내시경이 위치한 위장관의 위치에 대한 정보를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 캡슐내시경의 이동 상태 탐지 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 모션 벡터의 분포를 분석하여 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 장치를 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 시스템을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 외부단말기의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 외부단말기의 정보 표시 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 SSD를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 모션 벡터를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 방법을 설명하기 위한 흐름도이다.
단계 S110에서는, 이동 상태 탐지 장치가 캡슐내시경으로부터 내부영상정보를 수신한다.
예컨대, 이동 상태 탐지 장치는 캡슐내시경으로부터 1초에 2장씩 체내의 영상을 포함하는 내부영상정보를 수신할 수 있다. 또한, 이동 상태 탐지 장치는 미리 저장된 내부영상정보를 유선 또는 무선의 네트워크를 통해서, 또는 저장장치를 통해서 수신할 수 있다.
이때, 이동 상태 탐지 장치는 캡슐내시경으로부터 외부단말기를 통해 내부영상정보를 수신하도록 구성될 수 있음은 통상의 기술자에게 자명할 것이다.
단계 S120에서는, 이동 상태 탐지 장치가 내부영상정보에 포함된 제1 이미지 및 그 제1 이미지보다 이전 시점의 제2 이미지를 이용하여 SSD(sum of squared direction)값을 산출한다.
여기서, 제2 이미지는 이동 상태 탐지 장치가 제1 이미지를 수신하기 직전에 수신한 이미지일 수 있다. 즉, 이동 상태 탐지 장치는 가장 최근에 수신한 2개의 이미지인 제1 이미지와 제2 이미지를 이용하여 SSD값을 산출할 수 있다.
한편, 이동 상태 탐지 장치는 SSD값을 아래의 수학식 1을 이용하여 산출할 수 있다. 또한, 도 8을 참조하면, SSD값 산출에 이용되는 8개 방향에 대한 정보가 나타나 있다.
[수학식 1]
Figure pat00001
여기서, d(x,y)는 제2 이미지의 픽셀(x,y)에 대하여 제1 이미지에서의 좌표를 이용해 계산한 이동방향을 8개의 방향 중 하나로 결정하는 함수이고, i는 그 8개 방향 중 하나를 나타내는 값이다.
즉, 이동 상태 탐지 장치는 SSD값이 작을수록 여러 방향의 모션 벡터가 동시에 존재하므로 캡슐내시경이 회전 혹은 이동한 것으로 판단할 수 있고, SSD값이 클수록 한 방향의 모션 벡터가 많이 존재하므로 캡슐내시경이 한 방향으로 이동한 것으로 판단할 수 있다. 한편, SSD값은 총 8개 방향을 가정할 때, 최소값 0.125이고, 최대값 1이다.
단계 S130에서는, 이동 상태 탐지 장치가 SSD값이 소정의 기준치 이상이면, 그 제1 이미지 및 제2 이미지로부터 도출된 모션 벡터의 크기와 소정의 크기기준치를 이용하여 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정한다.
즉, 이동 상태 탐지 장치는 SSD값이 기준치 이상인 경우에, 캡슐내시경이 특정한 한 방향으로 이동한 것으로 판단할 수 있다. 다시 말하면, 이동 상태 탐지 장치는 SSD값이 기준치 이상인 경우에 캡슐내시경이 시계방향 또는 반시계방향으로 회전하거나, 전진 이동 또는 후진 이동하지 않은 것으로 판단할 수 있다. 예컨대, 도 8(c)를 참조하면, 모션 벡터가 특정한 방향으로만 존재하는 것을 확인할 수 있다.
따라서, 이동 상태 탐지 장치는 SSD값이 기준치 이상인 경우에, 그 제1 이미지 및 제2 이미지로부터 도출된 모션 벡터의 크기의 평균값과 크기기준치를 이용하여 캡슐내시경의 이동 상태를 결정할 수 있다.
보다 구체적으로, 이동 상태 탐지 장치는 모션 벡터의 크기의 평균값이 크기기준치 이상이면, 캡슐내시경이 특정한 한 방향으로 이동한 것으로 판단할 수 있다. 또한, 이동 상태 탐지 장치는 모션 벡터의 크기의 평균값이 크기기준치 미만이면, 캡슐내시경이 제 자리에서 잠시 흔들리거나, 매우 조금 이동한 것으로 보아 정체된 것으로 판단할 수 있다.
마지막으로 단계 S140에서는, 이동 상태 탐지 장치가 SSD값이 그 기준치 미만이면, 모션 벡터의 분포를 분석하여 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정한다.
즉, 이동 상태 탐지 장치는 SSD값이 기준치 미만인 경우에, 캡슐내시경이 캡슐내시경이 시계방향 또는 반시계방향으로 회전하거나, 전진 이동 또는 후진 이동한 것으로 판단할 수 있다.
다른 실시예에서는, 이동 상태 탐지 장치가 모션 벡터의 위치 및 방향을 분석하여, 캡슐내시경의 이동 상태를 후진 이동, 전진 이동 및 회전 정체 중의 하나로 결정할 수 있다.
예컨대, 이동 상태 탐지 장치는 모션 벡터의 분포를 분석하여 도 8(a)과 같이 특정 지점의 외부를 향하는 벡터가 많이 존재하는 경우에 캡슐내시경이 전진 이동하는 것으로 판단할 수 있다.
또한, 이동 상태 탐지 장치는 모션 벡터의 분포를 분석하여 도 8(b)과 같이 시계 방향의 회전을 구성하는 벡터가 많이 존재하는 경우에 캡슐내시경이 시계방향으로 회전하면서 정체된 것으로 판단할 수 있다.
또한, 이동 상태 탐지 장치는 모션 벡터의 분포를 분석하여 도 8(d)과 같이 특정 지점을 향하는 벡터가 많이 존재하는 경우에 캡슐내시경이 후진 이동하는 것으로 판단할 수 있다.
또한, 이동 상태 탐지 장치는 모션 벡터의 분포를 분석하여 도 8(e)와 같이 반시계 방향의 회전을 구성하는 벡터가 많이 존재하는 경우에 캡슐내시경이 반시계방향으로 회전하면서 정체된 것으로 판단할 수 있다.
또 다른 실시예에서는, 이동 상태 탐지 장치가 캡슐내시경의 이동 상태가 정체와 이동의 사이에서 빈번하게 변경되는 경우 발생하는 혼선을 방지하기 위하여, 정체에서 이동으로 변경되거나 이동에서 정체로 변경될 때, 정체의심 상태를 거쳐 변경되도록 할 수 있다.
또한, 이동 상태 탐지 장치는 SSD값이 기준치 이상인 경우에, 모션 벡터의 크기의 평균값이 크기기준치와 미리 설정된 범위 내인 경우에 캡슐내시경의 이동 상태를 정체의심으로 설정할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 캡슐내시경의 이동 상태 탐지 방법을 설명하기 위한 흐름도이다.
단계 S210에서는, 이동 상태 탐지 장치가 캡슐내시경으로부터 내부영상정보를 수신한다.
단계 S220에서는, 이동 상태 탐지 장치가 내부영상정보에 포함된 제1 이미지 및 그 제1 이미지보다 이전 시점의 제2 이미지를 이용하여 SSD(sum of squared direction)값을 산출한다.
단계 S230에서는, 이동 상태 탐지 장치가 SSD값이 소정의 기준치 이상이면, 그 제1 이미지 및 제2 이미지로부터 도출된 모션 벡터의 크기와 소정의 크기기준치를 이용하여 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정한다.
단계 S240에서는, 이동 상태 탐지 장치가 SSD값이 그 기준치 미만이면, 모션 벡터의 분포를 분석하여 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정한다.
단계 S250에서는, 이동 상태 탐지 장치가 CNN기반의 랜드마크 분류 모델을 이용하여, 제1 이미지에 나타난 캡슐내시경의 체내 위치를 검출한다.
이때, CNN기반의 랜드마크 분류 모델은 입력된 이미지에 대응되는 위장관(위장, 소장, 대장)을 분류하도록 미리 학습된 모델일 수 있다.
즉, 이동 상태 탐지 장치는 CNN기반의 랜드마크 분류 모델에 제1 이미지를 입력하여, 캡슐내시경의 위장관 내에서의 체내 위치를 검출할 수 있다.
단계 S260에서는, 이동 상태 탐지 장치가 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 포함하는 캡슐내시경진단정보를 미리 등록된 외부단말기로 전송한다.
여기서, 이동 상태 탐지 장치는 캡슐내시경의 위장관 내에서의 체내 위치와 함께 정체/이동에 관한 이동 상태정보를 포함하는 캡슐내시경진단정보를 생성하여, 미리 등록된 외부단말기에 전송할 수 있다.
예컨대, 캡슐내시경진단정보는 캡슐내시경의 체내 위치는 위장이고, 시계방향으로 회전하는 정체 상태라는 정보를 포함할 수 있다. 나아가, 캡슐내시경진단정보는 캡슐내시경이 얼마동안 그 체내 위치(즉, 위장)에 머무르고 있는지에 대한 정보와 그 체내 위치를 지나는 진행도가 어느 정도인지에 대한 정보를 더 포함할 수 있다.
이때, 미리 등록된 외부단말기는 캡슐내시경진단정보를 출력하기 위한 전용단말기이거나, 스마트폰, 태블릿PC, 노트북PC 및 데스크탑PC등이 해당할 수 있다.
또 다른 실시예에서는, 외부단말기는 캡슐내시경진단정보에 포함된 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 출력할 수 있다.
예컨대, 도 6을 참조하면, 외부단말기는 디스플레이부에 캡슐내시경의 체내 위치를 위장, 소장, 대장 중 하나로 표시할 수 있으며, LED를 이용해 이동 상태를 이동, 정체, 정체의심 상태 중 하나로 표시할 수 있다. 또한, 외부단말기는 캡슐내시경이 미리 설정된 시간 정체되는 등의 위험한 상황에 의료진이 즉각 대비할 수 있도록 경고음을 출력할 수 있다.
또한, 도 7을 참조하면, 외부단말기는 캡슐내시경의 이동 상태가 이동인 경우에 초록색 LED를 점등하고, 정체인 경우에 빨간색 LED를 점등하고, 정체의심인 경우에 노란색 LED를 점등할 수 있다. 또한, 외부단말기는 캡슐내시경이 특정한 위장관(예, 위장)으로 이동하게 되면 비프음을 출력하고, 이동 상태가 정체의심이거나 정체인 경우 추가적으로 비프음을 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 모션 벡터의 분포를 분석하여 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서는, 이동 상태 탐지 장치가 그 제1 이미지 또는 제2 이미지에서 홀(hole)을 검출한다.
즉, 이동 상태 탐지 장치는 제1 이미지 또는 제2 이미지를 분석하여 그 이미지 내에 위장관을 구성하는 구멍이 존재하는지 검출할 수 있다.
단계 S320에서는, 이동 상태 탐지 장치가 홀이 검출되면, 그 홀을 기준으로 모션 벡터의 분포를 분석한다.
여기서, 이동 상태 탐지 장치는 만일 홀이 검출되면, 캡슐내시경이 그 홀을 향해 움직일 것이므로, 그 홀을 기준으로 모션 벡터의 분포를 분석할 수 있다.
단계 S330에서는, 이동 상태 탐지 장치가 홀이 검출되지 않으면, 제1 이미지 또는 제2 이미지의 중심을 기준으로 모션 벡터의 분포를 분석한다.
여기서, 이동 상태 탐지 장치는 만일 홀이 검출되지 않으면, 캡슐내시경이 움직이는 방향을 예측하기 어려우므로, 제1 이미지 또는 제2 이미지의 중심을 기준으로 모션 벡터의 분포를 분석할 수 있다.
마지막으로 단계 S340에서는, 이동 상태 탐지 장치가 모션 벡터의 분포를 분석한 결과에 따라, 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정한다.
예컨대, 이동 상태 탐지 장치는 그 홀 또는 이미지의 중심을 중심으로 도 8에 나타난 다양한 형태의 모션 벡터의 분포가 존재하는지 분석하여, 캡슐내시경의 이동 상태를 시계방향의 회전 정체, 반시계방향의 회전 정체, 후진 이동, 전진 이동 등으로 결정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 장치를 설명하기 위한 블록도이다.
도 4를 참조하면 본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 장치(400)는 수신부(410), 연산부(420), 판단부(430)를 포함한다. 또한, 선택적으로 검출부(440), 전송부(450)를 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 캡슐내시경의 이동 상태 탐지 장치(400)는 서버컴퓨터, 데스크탑PC, 노트북PC, 스마트폰 및 태블릿 등의 컴퓨팅 장치에 탑재될 수 있다.
수신부(410)는 캡슐내시경으로부터 내부영상정보를 수신한다.
연산부(420)는 내부영상정보에 포함된 제1 이미지 및 그 제1 이미지보다 이전 시점의 제2 이미지를 이용하여 SSD(sum of squared direction)값을 산출한다.
판단부(430)는 그 SSD값이 소정의 기준치 이상이면, 제1 이미지 및 제2 이미지로부터 도출된 모션 벡터의 크기와 소정의 크기기준치를 이용하여 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하고, 그 SSD값이 그 기준치 미만이면, 모션 벡터의 분포를 분석하여 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정한다.
다른 실시예에서는, 판단부(430)는 그 SSD값이 기준치 미만이면, 제1 이미지 또는 제2 이미지에서 홀을 검출하고, 홀이 검출되면, 그 홀을 기준으로 모션 벡터의 분포를 분석하고, 홀이 검출되지 않으면, 제1 이미지 또는 제2 이미지의 중심을 기준으로 모션 벡터의 분포를 분석하고, 모션 벡터의 분포를 분석한 결과에 따라, 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정할 수 있다.
또 다른 실시예에서는, 판단부(430)는 SSD값이 상기 기준치 이상이면, 모션 벡터의 위치 및 방향을 분석하여, 캡슐내시경의 이동 상태를 후진 이동, 전진 이동 및 회전 정체 중의 하나로 결정할 수 있다.
검출부(440)는 CNN기반의 랜드마크 분류 모델을 이용하여, 제1 이미지에 나타난 캡슐내시경의 체내 위치를 검출한다.
마지막으로 전송부(450)는 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 포함하는 캡슐내시경진단정보를 미리 등록된 외부단말기로 전송한다.
다른 실시예에서는, 외부단말기는 캡슐내시경진단정보에 포함된 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 출력할 수 있다.
전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
이상에서 본 명세서에 개시된 실시예들을 첨부된 도면들을 참조로 설명하였다. 이와 같이 각 도면에 도시된 실시예들은 한정적으로 해석되면 아니되며, 본 명세서의 내용을 숙지한 당업자에 의해 서로 조합될 수 있고, 조합될 경우 일부 구성 요소들은 생략될 수도 있는 것으로 해석될 수 있다.
여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 명세서에 개시된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 명세서에 개시된 일 실시예에 불과할 뿐이고, 본 명세서에 개시된 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

Claims (12)

  1. 캡슐내시경으로부터 내부영상정보를 수신하는 단계;
    상기 내부영상정보에 포함된 제1 이미지 및 상기 제1 이미지보다 이전 시점의 제2 이미지를 이용하여 SSD(sum of squared direction)값을 산출하는 단계;
    상기 SSD값이 소정의 기준치 이상이면, 상기 제1 이미지 및 상기 제2 이미지로부터 도출된 모션 벡터의 크기와 소정의 크기기준치를 이용하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계; 및
    상기 SSD값이 상기 기준치 미만이면, 상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 방법.
  2. 제1항에 있어서,
    상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계는
    상기 제1 이미지 또는 상기 제2 이미지에서 홀(hole)을 검출하는 단계;
    상기 홀이 검출되면, 상기 홀을 기준으로 상기 모션 벡터의 분포를 분석하는 단계;
    상기 홀이 검출되지 않으면, 상기 제1 이미지 또는 상기 제2 이미지의 중심을 기준으로 상기 모션 벡터의 분포를 분석하는 단계; 및
    상기 모션 벡터의 분포를 분석한 결과에 따라, 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 방법.
  3. 제1항에 있어서,
    상기 캡슐내시경으로부터 내부영상정보를 수신하는 단계의 이후에,
    CNN기반의 랜드마크 분류 모델을 이용하여, 상기 제1 이미지에 나타난 상기 캡슐내시경의 체내 위치를 검출하는 단계
    를 더 포함하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 방법.
  4. 제3항에 있어서,
    상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계의 이후에,
    상기 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 포함하는 캡슐내시경진단정보를 미리 등록된 외부단말기로 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 방법.
  5. 제4항에 있어서,
    상기 외부단말기는
    상기 캡슐내시경진단정보에 포함된 상기 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 출력하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 방법.
  6. 제1항에 있어서,
    상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 단계는
    상기 모션 벡터의 위치 및 방향을 분석하여, 상기 캡슐내시경의 이동 상태를 후진 이동, 전진 이동 및 회전 정체 중의 하나로 결정하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 방법.
  7. 캡슐내시경으로부터 내부영상정보를 수신하는 수신부;
    상기 내부영상정보에 포함된 제1 이미지 및 상기 제1 이미지보다 이전 시점의 제2 이미지를 이용하여 SSD(sum of squared direction)값을 산출하는 연산부; 및
    상기 SSD값이 소정의 기준치 이상이면, 상기 제1 이미지 및 상기 제2 이미지로부터 도출된 모션 벡터의 크기와 소정의 크기기준치를 이용하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하고, 상기 SSD값이 상기 기준치 미만이면, 상기 모션 벡터의 분포를 분석하여 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 판단부
    를 포함하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 장치.
  8. 제7항에 있어서,
    상기 판단부는
    상기 SSD값이 상기 기준치 미만이면,
    상기 제1 이미지 또는 상기 제2 이미지에서 홀을 검출하고,
    상기 홀이 검출되면, 상기 홀을 기준으로 상기 모션 벡터의 분포를 분석하고,
    상기 홀이 검출되지 않으면, 상기 제1 이미지 또는 상기 제2 이미지의 중심을 기준으로 상기 모션 벡터의 분포를 분석하고,
    상기 모션 벡터의 분포를 분석한 결과에 따라, 상기 캡슐내시경의 이동 상태를 정체 또는 이동으로 결정하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 장치.
  9. 제7항에 있어서,
    CNN기반의 랜드마크 분류 모델을 이용하여, 상기 제1 이미지에 나타난 상기 캡슐내시경의 체내 위치를 검출하는 검출부
    를 더 포함하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 장치.
  10. 제9항에 있어서,
    상기 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 포함하는 캡슐내시경진단정보를 미리 등록된 외부단말기로 전송하는 전송부
    를 더 포함하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 장치.
  11. 제10항에 있어서,
    상기 외부단말기는
    상기 캡슐내시경진단정보에 포함된 상기 캡슐내시경의 체내 위치 및 이동 상태에 관한 정보를 출력하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 장치.
  12. 제7항에 있어서,
    상기 판단부는
    상기 SSD값이 상기 기준치 이상이면,
    상기 모션 벡터의 위치 및 방향을 분석하여, 상기 캡슐내시경의 이동 상태를 후진 이동, 전진 이동 및 회전 정체 중의 하나로 결정하는 것을 특징으로 하는 캡슐내시경의 이동 상태 탐지 장치.
KR1020210035473A 2021-03-18 2021-03-18 캡슐내시경의 이동 상태 탐지 방법 및 장치 KR102536750B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210035473A KR102536750B1 (ko) 2021-03-18 2021-03-18 캡슐내시경의 이동 상태 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210035473A KR102536750B1 (ko) 2021-03-18 2021-03-18 캡슐내시경의 이동 상태 탐지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220130495A true KR20220130495A (ko) 2022-09-27
KR102536750B1 KR102536750B1 (ko) 2023-05-26

Family

ID=83451908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210035473A KR102536750B1 (ko) 2021-03-18 2021-03-18 캡슐내시경의 이동 상태 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102536750B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075919A (ko) * 2016-12-27 2018-07-05 아주대학교산학협력단 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법
KR20190046530A (ko) * 2017-10-26 2019-05-07 아주대학교산학협력단 캡슐내시경의 위치 추적 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075919A (ko) * 2016-12-27 2018-07-05 아주대학교산학협력단 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법
KR20190046530A (ko) * 2017-10-26 2019-05-07 아주대학교산학협력단 캡슐내시경의 위치 추적 방법 및 장치

Also Published As

Publication number Publication date
KR102536750B1 (ko) 2023-05-26

Similar Documents

Publication Publication Date Title
US10796543B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
US8594365B2 (en) Gauge monitoring methods, devices and systems
US20190069757A1 (en) Endoscopic image processing apparatus
US8472669B2 (en) Object localization using tracked object trajectories
US11367330B2 (en) Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not using histogram
US20110128374A1 (en) Detection of abnormal behaviour in video objects
US10127456B2 (en) Information processing apparatus that corrects image distortion to set a passage detection line, information processing method, and medium
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
US20220058821A1 (en) Medical image processing method, apparatus, and device, medium, and endoscope
US20210118145A1 (en) Diagnostic imaging support system and diagnostic imaging apparatus
WO2017107647A1 (zh) 一种基于摄像机的监控方法、装置及系统
US10185886B2 (en) Image processing method and image processing apparatus
US11763935B2 (en) Care system for predicting bed exit and patient management system including the same
JP6462528B2 (ja) 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム
CN109684944B (zh) 障碍物检测方法、装置、计算机设备和存储介质
WO2020054604A1 (ja) 情報処理装置、制御方法、及びプログラム
US20180314893A1 (en) Information processing device, video image monitoring system, information processing method, and recording medium
KR102536750B1 (ko) 캡슐내시경의 이동 상태 탐지 방법 및 장치
US10916016B2 (en) Image processing apparatus and method and monitoring system
US11120554B2 (en) Image diagnosis apparatus, image diagnosis method, and program
CN113837987A (zh) 舌部图像采集方法、装置及计算机设备
WO2021093744A1 (zh) 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN108416273A (zh) 一种快速人脸识别系统及其识别方法
CN111582242B (zh) 滞留检测方法、装置、电子设备和存储介质
CN111582243B (zh) 逆流检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant