KR101900683B1 - 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법 - Google Patents

캡슐 내시경의 영상 시퀀스 분할 장치 및 방법 Download PDF

Info

Publication number
KR101900683B1
KR101900683B1 KR1020160179873A KR20160179873A KR101900683B1 KR 101900683 B1 KR101900683 B1 KR 101900683B1 KR 1020160179873 A KR1020160179873 A KR 1020160179873A KR 20160179873 A KR20160179873 A KR 20160179873A KR 101900683 B1 KR101900683 B1 KR 101900683B1
Authority
KR
South Korea
Prior art keywords
subsequence
congestion state
frames
congestion
state
Prior art date
Application number
KR1020160179873A
Other languages
English (en)
Other versions
KR20180075919A (ko
Inventor
구형일
조범근
김소연
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020160179873A priority Critical patent/KR101900683B1/ko
Publication of KR20180075919A publication Critical patent/KR20180075919A/ko
Application granted granted Critical
Publication of KR101900683B1 publication Critical patent/KR101900683B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

본 실시예들은 낮은 프레임 레이트에서 동작하는 캡슐 내시경으로부터 획득한 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하고, 복수의 프레임을 이동 구간 및 정체 구간으로 분할함으로써, 별도의 추가 장비 없이 캡슐 내시경의 정체 상태를 신속 정확하게 판별할 수 있는 영상 시퀀스 분할 방법 및 장치를 제공한다.

Description

캡슐 내시경의 영상 시퀀스 분할 장치 및 방법 {Method and Apparatus for Segmenting Image Sequence of Capsule Endoscope}
본 실시예가 속하는 기술 분야는 소화기관 내에 위치한 캡슐 내시경의 정체 또는 이동 상태를 판별하는 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
캡슐 내시경 검사는 알약 크기의 캡슐을 섭취하고 장 운동에 따라 캡슐을 이동시킨다. 캡슐에 설치된 카메라는 소화기관을 통과하면서 소화기관의 내부를 촬영하고, 캡슐은 무선통신을 통하여 영상을 외부로 전송한다. 캡슐 내시경 검사는 수신 영상을 분석하여 검진한다.
캡슐 내시경이 체내에 장시간 정체하면, 합병증을 발생시키거나 고통을 유발한다. 캡슐 내시경이 정체되면 약물 투여 등의 조속한 조치가 필요하지만 현재로는 캡슐 내시경이 체내에서 장시간 배출되지 않을 때에 비로소 정체 상태를 파악하게 되는 문제가 있다.
특허문헌 1은 캡슐 내시경에서 발생시킨 초음파, 자기장, RF(Radio Frequency)를 이용하여 캡슐 내시경의 위치를 추정한다. 이러한 방식은 검사 대상자마다 다른 인체 특성으로 인해 발생하는 오차 또는 체내로 방사될 때 초음파, 자기장, RF 등이 지닌 고유의 측정 오차로 인해 정확한 판별이 어려운 문제가 있다. 캡슐 내시경은 정체 상태에서 조금씩 전후로 움직이거나 회전하는 특성을 갖는다. 결국, 측정 오차와 캡슐 내시경의 미세한 움직임으로 인한 오차로 인하여, 정체 상태에서도 캡슐 내시경이 이동 상태로 관측되는 문제점이 있다.
연속된 영상의 특징점 매칭을 통해 모션을 추정하는 방식은 캡슐 내시경에 곧바로 적용하기 곤란한 문제가 있다. 캡슐 내시경은 내장된 배터리의 전력 소모를 최소화하기 위해, 프레임 레이트가 낮게 설정된다. 예컨대, 소장 캡슐 내시경은 1초에 2장의 이미지를 획득한다. 즉, 낮은 프레임 레이트에서는 캡슐 내시경이 이동하거나 회전하며 촬영한 영상 변화가 커서, 영상 간에 대응점을 연결하는 것이 쉽지 않다. 결국, 캡슐 내시경의 정체 상태 및 이동 상태를 판별하기 위해서는 새로운 방식이 필요하다.
한국 공개특허공보 제10-2008-0043921호.
본 발명의 실시예들은 낮은 프레임 레이트에서 동작하는 캡슐 내시경으로부터 획득한 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하고, 복수의 프레임을 이동 구간 및 정체 구간으로 분할함으로써, 별도의 추가 장비 없이 캡슐 내시경의 정체 상태를 신속 정확하게 판별하는 데 발명의 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 영상 시퀀스 분할 방법에 있어서, 캡슐 내시경으로부터 영상을 획득하는 단계, 및 상기 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하고, 상기 복수의 프레임을 이동 구간 및 정체 구간으로 분할하여, 상기 캡슐 내시경의 정체 상태를 판별하는 단계를 포함하는 영상 시퀀스 분할 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 캡슐 내시경으로부터 영상을 획득하는 영상 획득부, 및 상기 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하고, 상기 복수의 프레임을 이동 구간 및 정체 구간으로 분할하여, 상기 캡슐 내시경의 정체 상태를 판별하는 정체 상태 판별부를 포함하는 영상 시퀀스 분할 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 낮은 프레임 레이트에서 동작하는 캡슐 내시경으로부터 획득한 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하고, 복수의 프레임을 이동 구간 및 정체 구간으로 분할함으로써, 별도의 추가 장비 없이 캡슐 내시경의 정체 상태를 신속 정확하게 판별할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 캡슐 내시경의 움직임을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 구분하는 정체 상태 및 이동 상태에 관한 유형을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치의 정체 상태 판별부를 예시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 제1 정체 상태를 검출하는 동작을 나타낸 것이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 검출하는 제2 정체 상태 및 이동 상태를 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 연속하는 복수의 프레임을 그룹화한 것이다.
도 9는 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 검출하는 이동 상태에 관한 모션 벡터 방향의 범위를 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 정체 구간 및 이동 구간을 분할하는 동작을 나타낸 것이다.
도 11 및 도 12는 본 발명의 다른 실시예들에 따른 영상 시퀀스 분할 방법을 예시한 흐름도이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 캡슐 내시경의 움직임을 예시한 도면이다. 캡슐 내시경은 소장의 연동운동에 의해 움직인다. 도 1에 도시된 바와 같이 캡슐 내시경은 소장의 특정 영역에 머무르다 움직이고 다시 머무르는 과정을 반복한다. 캡슐 내시경이 특정 영역에서 장시간 정체된 상태를 신속하게 파악하기 위해서, 본 실시예들은 캡슐 내시경이 촬영하여 전송하는 영상을 서브 시퀀스 단위로 분석하여, 서브 시퀀스들을 정체 상태와 이동 상태로 구분한다.
도 2는 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치를 예시한 블록도이다. 도 2에 도시한 바와 같이, 영상 시퀀스 분할 장치(200)는 영상 획득부(210) 및 정체 상태 판별부(220)를 포함한다. 영상 시퀀스 분할 장치(200)는 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
영상 획득부(200)는 캡슐 내시경(100)으로부터 영상을 획득한다. 캡슐 내시경(100)은 하나 이상의 렌즈를 포함하며, 하나 이상의 렌즈는 캡슐 내시경(100)의 본체의 전방 또는 후방에 위치할 수 있다.
정체 상태 판별부(220)는 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하고, 복수의 프레임을 이동 구간 및 정체 구간으로 분할하여, 캡슐 내시경의 정체 상태를 판별한다. 여기서, 서브 시퀀스는 제1 정체 상태 서브 시퀀스, 제2 정체 상태 서브 시퀀스, 이동 상태 서브 시퀀스로 구분될 수 있다.
도 3는 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 구분하는 정체 상태 및 이동 상태에 관한 유형을 예시한 도면이다. 영상 시퀀스 분할 장치는 영상 시퀀스에서 세 가지의 유형, 즉, 제1 정체 상태(310), 제2 정체 상태(320), 및, 이동 상태(330)를 추정한다.
제1 정체 상태(310)는 캡슐 내시경이 정체해있고, 캡슐내시경의 회전과 소장 벽면의 움직임도 모두 작아서 인접한 영상과 비교했을 때 변화가 적은 유형이다. 제2 정체 상태(320)는 캡슐내시경이 이동하지는 않았지만 연속된 영상에서 소장의 벽면이 크게 변화하거나 캡슐내시경이 크게 회전한 유형으로 연속된 영상 간의 차이가 큰 유형이다. 이동 상태(330)는 캡슐 내시경이 소장을 따라 이동하는 유형이다.
도 4는 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치의 정체 상태 판별부를 예시한 블록도이다.
도 4를 참조하면, 정체 상태 판별부(220)는 제1 정체 상태 서브 시퀀스 검출부(410), 제2 정체 상태 서브 시퀀스 검출부(420), 이동 상태 서브 시퀀스 검출부(430), 및 정체 상태 서브 시퀀스 결합부(440)를 포함한다.
제1 정체 상태 서브 시퀀스 검출부(410)는 제1 정체 상태가 갖는 특징인 영상의 유사도를 판단하여, 영상 시퀀스로부터 제1 정체 상태 서브 시퀀스를 검출한다.
제2 정체 상태 서브 시퀀스 검출부(420)는 연속하는 영상에서의 모션 벡터의 특징 및 홀 검출 결과에 기반하여, 영상 시퀀스로부터 제2 정체 상태 서브 시퀀스를 검출한다.
이동 상태 서브 시퀀스 검출부(430)는 연속하는 영상에서의 모션 벡터의 특징 및 홀 검출 결과에 기반하여, 영상 시퀀스로부터 이동 상태 서브 시퀀스를 검출한다.
정체 상태 서브 시퀀스 결합부(440)는 연속하는 제1 정체 상태 서브 시퀀스 및/또는 제2 정체 상태 서브 시퀀스들을 결합한다.
영상 시퀀스 분할 장치가 제1 정체 상태 서브 시퀀스를 검출하는 동작을 설명한다. 도 5는 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 제1 정체 상태를 검출하는 동작을 나타낸 것이다.
정체 상태 판별부는 영상의 복수의 프레임 중 연속하는 프레임 간에 유사도를 측정하여, 영상의 복수의 프레임으로부터 제1 정체 상태 서브 시퀀스를 검출한다. 정체 상태 판별부는 측정한 유사도가 기 설정된 임계치보다 크고, 기 설정된 개수 이상 연속하는 프레임들을 제1 정체 상태 서브 시퀀스로 검출한다.
도 5의 (a)를 참조하면, 정체 상태 판별부는 연속된 두 이미지 간의 유사도를 산출한다. 정체 상태 판별부는 Cross Correlation, NCC(Normalized Cross Correlation), SSD(Sum of Squared Differences) 값 등을 이용하여 유사도를 산출하거나 SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient) 등과 같은 특징점 대응 개수를 이용하여 유사도를 산출할 수도 있다.
정체 상태 판별부는 유사도가 임계치 이상인 이미지들이 일정 개수 이상 연속하면 정체 상태로 판단한다. 도 5의 (b) 및 (c)에서는 제1 정체 상태 서브 시퀀스들(510, 515, 520, 525)이 도시되어 있다. 즉, 캡슐 내시경의 이동이 없었던 이미지들이 하나의 서브 시퀀스로 결합된다.
영상 시퀀스 분할 장치가 제2 정체 상태 서브 시퀀스 및 이동 상태 서브 시퀀스를 검출하는 동작을 설명한다. 도 6 및 도 7은 본 발명의 일 실시예에 따른 영상 시퀀스 분할 장치가 검출하는 제2 정체 상태 및 이동 상태를 예시한 도면이다.
도 6은 연속된 이미지에서 특징점을 대응시켜 모션 벡터를 추정한 영상에 해당하고, 도 7은 촬영한 원통 영상의 구조를 고려하여 이미지 좌표를 변환(Image Unrolling)한 영상에서 모션 벡터 방향을 도시한 것이다. 도 6의 (a) 및 도 7의 (a)를 참조하면, 이동 상태일 때는 영상의 정면이 열려있는 상태, 다시 말해 영상에 홀(Hole, 615)이 존재하고 모션 벡터의 방향이 홀을 향한다는 특징을 파악할 수 있다. 도 6의 (b) 및 도 7의 (b)를 참조하면, 정체 상태인 경우에는 정면이 소장 벽면으로 막혀있어 홀이 검출되는 영상이 적고, 모션 벡터의 방향이 일정하지 않다는 특징을 파악할 수 있다.
캡슐내시경 영상에서 이미지 간의 변화는 캡슐내시경의 이동 외에도 소장 벽면의 움직임에 영향을 받기 때문에 연속한 두 이미지만을 관찰하여 영상 단위로 상태를 판별하기는 곤란한 문제가 있다. 따라서 본 실시예들은 정확도가 낮은 이미지 단위 상태를 판별 방법이 아닌 연속된 이미지들을 결합한 서브 시퀀스 단위로 캡슐의 정체 상태를 판별한다. 서브 시퀀스에 속한 이미지들의 경향을 분석하여 상태를 판별하기 때문에 영상 단위 상태 판별 방법보다 정확한 결과를 얻을 수 있는 효과가 있다.
정체 상태 판별부는 모션 벡터의 방향 검출 및 홀 검출 중 적어도 하나를 이용하여, 제1 정체 상태 서브 시퀀스들 간에 위치하는 복수의 프레임(이하, ' 중간 프레임', 530)으로부터 제2 정체 상태 서브 시퀀스 또는 이동 상태 서브 시퀀스를 검출한다.
정체 상태 판별부는 중간 프레임(530) 중에서 두 개 이상의 프레임을 그룹화한다. 예컨대, 서브 시퀀스의 연속하는 두 이미지를 쌍(Pairwise)으로 묶는다. 도 8에서는 P1 내지 P8과 같이 이미지 쌍들이 도시되어 있다.
정체 상태 판별부는 그룹화된 프레임에서 산출된 모션 벡터의 방향이 기 설정된 범위 내에 존재할 확률 및 중간 프레임에서 상기 홀이 존재하는 비율에 기반하여, 중간 프레임을 제2 정체 상태 서브 시퀀스 및 이동 상태 서브 시퀀스로 분류한다.
정체 상태 판별부는 서브 시퀀스의 연속하는 두 영상을 쌍으로 묶고, i번 째 쌍에서 캡슐 내시경의 전진 확률 Pi를 산출한다. 전진 확률은 대응점 벡터의 개수, 분포, 위치, 거리, 각도, 또는 이들의 조합을 기준으로 산출된다. 캡슐 내시경이 전진할 확률은 수학식 1과 같이 표현된다.
Figure 112016127873122-pat00001
Ntotal은 전체 대응점 벡터의 수를 나타내고, Nf는 수직 방향에 포함된 벡터의 수를 의미한다. 도 7을 참조하면, 캡슐 내시경이 전진하여 움직이는 경우에는 수직 방향으로 이동하는 모션 벡터(710, 720, 730)가 많고, 벽면이 움직이는 경우는 모션 벡터(740)의 방향이 일정하지 않다. 도 8에서 캡슐 내시경이 전진할 때, 모션 벡터의 수직 방향 범위가 예시적으로 도시되어 있다. 예컨대, 모션 벡터의 각도가 홀을 기준으로 67.5도 내지 112.5도에서 형성될 수 있다.
다음으로 정체 상태 판별부는 각 쌍의 확률 Pi로부터 서브 시퀀스의 평균 전진 확률 Pavg를 구한다. 서브 시퀀스의 평균 전진 확률은 수학식 2와 같이 표현된다.
Figure 112016127873122-pat00002
실제 이동 상태 구간인 경우에는 평균 전진 확률의 값이 소정의 임계치보다 크게 측정된다.
캡슐 내시경이 이동할 경우에는 정면이 소장 벽면에 의해 막혀있지 않고 열려있어 홀이 존재하는 이미지가 다수 존재한다. 캡슐 내시경이 정체한 경우에는 정면의 소장 벽면이 수축하여 막혀있고 홀이 검출되는 이미지가 적다. 후보 시퀀스에서 홀이 존재하는 영상의 비율 R은 수학식 3과 표현된다.
Figure 112016127873122-pat00003
도 9에서는, nFrametotal은 서브 시퀀스의 전체 이미지 수, nFramef는 홀이 존재하는 이미지의 수이다. 홀의 모양, 크기, 구조, 텍스처, 색깔, 또는 이들의 조합을 기준으로 홀의 존재여부를 판별한다. 앞에서 산출한 Pavg 및 R 값을 이용하여 서브 시퀀스의 상태를 판별하기 위한 가장 간단한 방법의 예로는 두 값을 이용한 선형 분류기를 설계하는 방법이 있다.
도 10을 참조하면, 정체 상태 판별부는 정체 상태인 서브 시퀀스들이 연속되는 경우에는 하나의 시퀀스로 결합하여 전체 입력 시퀀스를 정체 상태 또는 이동 상태인 서브 시퀀스로 분할한다.
정체 상태 판별부는, (i) 제1 정체 상태 서브 시퀀스 및 제2 정체 상태 서브 시퀀스가 연속하거나 (ii) 제2 정체 상태 서브 시퀀스가 복수이면서 연속하면, 연속하는 제1 정체 상태 서브 시퀀스 및 제2 정체 상태 서브 시퀀스들을 결합하여, 복수의 프레임을 이동 구간 또는 정체 구간으로 분할한다.
본 실시예들에 의하면, (i) 캡슐내시경이 빠르게 이동하는 경우 및 (ii) 캡슐내시경이 회전하거나 소장 벽면이 움직이는 경우를 정확하게 구별할 수 있는 효과가 있다.
영상 시퀀스 분할 장치에 포함된 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
영상 시퀀스 분할 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
영상 시퀀스 분할 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 11 및 도 12는 본 발명의 다른 실시예들에 따른 영상 시퀀스 분할 방법을 예시한 흐름도이다. 영상 시퀀스 분할 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 영상 시퀀스 분할 장치와 동일한 방식으로 동작한다.
과정 S1110에서, 컴퓨팅 디바이스는 캡슐 내시경으로부터 영상을 획득한다. 캡슐 내시경은 하나 이상의 렌즈를 포함하며, 하나 이상의 렌즈는 캡슐 내시경의 본체의 전방 또는 후방에 위치한다.
과정 S1120에서, 컴퓨팅 디바이스는 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하고, 복수의 프레임을 이동 구간 및 정체 구간으로 분할하여, 캡슐 내시경의 정체 상태를 판별한다. 서브 시퀀스는 제1 정체 상태 서브 시퀀스, 제2 정체 상태 서브 시퀀스, 이동 상태 서브 시퀀스로 구분된다.
도 12를 참조하면, 과정 S1210에서, 컴퓨팅 디바이스는 캡슐 내시경으로부터 영상을 획득한다.
과정 S1220에서, 컴퓨팅 디바이스는 영상의 복수의 프레임 중 연속하는 프레임 간에 유사도를 측정하여, 영상의 복수의 프레임으로부터 제1 정체 상태 서브 시퀀스를 검출한다. 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하는 것은, 영상의 복수의 프레임 중 연속하는 프레임 간에 유사도를 측정하여, 영상의 복수의 프레임으로부터 제1 정체 상태 서브 시퀀스를 검출한다. 제1 정체 상태 서브 시퀀스를 검출하는 것은, 측정한 유사도가 기 설정된 임계치보다 크고, 기 설정된 개수 이상 연속하는 프레임들을 제1 정체 상태 서브 시퀀스로 검출한다.
과정 S1230에서, 컴퓨팅 디바이스는 모션 벡터의 방향 검출 및 홀 검출 중 적어도 하나를 이용하여, 제1 정체 상태 서브 시퀀스들 간에 위치하는 복수의 프레임(이하, '중간 프레임')으로부터 제2 정체 상태 서브 시퀀스 또는 이동 상태 서브 시퀀스를 검출한다. 영상의 복수의 프레임을 서브 시퀀스 단위로 분석하는 것은, 모션 벡터의 방향 검출 및 홀 검출 중 적어도 하나를 이용하여, 검출한 제1 정체 상태 서브 시퀀스들 간에 위치하는 복수의 프레임으로부터 제2 정체 상태 서브 시퀀스 또는 이동 상태 서브 시퀀스를 검출한다.
제2 정체 상태 서브 시퀀스 또는 상기 이동 상태 서브 시퀀스를 검출하는 것은, (i) 중간 프레임 중에서 두 개 이상의 프레임을 그룹화하고, 그룹화된 프레임에서 산출된 모션 벡터의 방향이 기 설정된 범위 내에 존재할 확률 및 (ii) 중간 프레임에서 홀이 존재하는 비율에 기반하여, 중간 프레임을 제2 정체 상태 서브 시퀀스 및 상기 이동 상태 서브 시퀀스로 분류한다.
과정 S1240에서, 컴퓨팅 디바이스는 (i) 제1 정체 상태 서브 시퀀스 및 제2 정체 상태 서브 시퀀스가 연속하거나 (ii) 제2 정체 상태 서브 시퀀스가 복수이면서 연속하면, 연속하는 제1 정체 상태 서브 시퀀스 및 제2 정체 상태 서브 시퀀스들을 결합하여, 복수의 프레임을 이동 구간 또는 정체 구간으로 분할한다.
본 실시예들에 의하면, 캡슐 내시경에 위치 추적을 위한 별도의 추가 장비를 설치할 필요가 없으며, 캡슐 내시경의 정체 상태를 신속 정확하게 판별할 수 있는 효과가 있다.
도 11 및 도 12에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 11 및 도 12에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 캡슐 내시경 200: 영상 시퀀스 분할 장치
210: 영상 획득부 220: 정체 상태 판별부
410: 제1 정체 상태 서브 시퀀스 검출부
420: 제2 정체 상태 서브 시퀀스 검출부
430: 이동 상태 서브 시퀀스 검출부
440: 정체 상태 서브 시퀀스 결합부

Claims (16)

  1. 컴퓨팅 디바이스에 의한 영상 시퀀스 분할 방법에 있어서,
    캡슐 내시경으로부터 영상을 획득하는 단계; 및
    상기 영상의 복수의 프레임을 (i) 제1 정체 상태 서브 시퀀스, (ii) 제2 정체 상태 서브 시퀀스, (iii) 이동 상태 서브 시퀀스로 구분되는 서브 시퀀스 단위로 분석하고, 상기 복수의 프레임을 이동 구간 및 정체 구간으로 분할하여, 상기 캡슐 내시경의 정체 상태를 판별하는 단계를 포함하며,
    상기 서브 시퀀스 단위로 분석하는 것은 상기 영상의 복수의 프레임 중 연속하는 프레임 간에 유사도를 측정하여, 상기 영상의 복수의 프레임으로부터 상기 측정한 유사도가 기 설정된 임계치보다 크고, 기 설정된 개수 이상 연속하는 프레임들을 상기 제1 정체 상태 서브 시퀀스로 검출하며,
    상기 서브 시퀀스 단위로 분석하는 것은 상기 제1 정체 상태 서브 시퀀스들 간에 위치하는 복수의 프레임(이하, '중간 프레임') 중에서 두 개 이상의 프레임을 그룹화하여 (i) 상기 그룹화된 중간 프레임에서 산출된 모션 벡터의 방향이 기 설정된 범위 내에 존재할 확률 및 (ii) 상기 중간 프레임에서 홀이 존재하는 비율에 기반하여, 상기 중간 프레임을 상기 제2 정체 상태 서브 시퀀스 또는 상기 이동 상태 서브 시퀀스로 분류하는 것을 특징으로 하는 영상 시퀀스 분할 방법.
  2. 제1항에 있어서,
    상기 캡슐 내시경은 하나 이상의 렌즈를 포함하며, 상기 하나 이상의 렌즈는 상기 캡슐 내시경의 본체의 전방 또는 후방에 위치하는 것을 특징으로 하는 영상 시퀀스 분할 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 복수의 프레임을 상기 이동 구간 및 상기 정체 구간으로 분할하는 것은,
    (i) 상기 제1 정체 상태 서브 시퀀스 및 상기 제2 정체 상태 서브 시퀀스가 연속하거나 (ii) 상기 제2 정체 상태 서브 시퀀스가 복수이면서 연속하면, 상기 연속하는 제1 정체 상태 서브 시퀀스 및 제2 정체 상태 서브 시퀀스들을 결합하여, 상기 복수의 프레임을 상기 이동 구간 또는 상기 정체 구간으로 분할하는 것을 특징으로 하는 영상 시퀀스 분할 방법.
  9. 캡슐 내시경으로부터 영상을 획득하는 영상 획득부; 및
    상기 영상의 복수의 프레임을 (i) 제1 정체 상태 서브 시퀀스, (ii) 제2 정체 상태 서브 시퀀스, (iii) 이동 상태 서브 시퀀스로 구분되는 서브 시퀀스 단위로 분석하고, 상기 복수의 프레임을 이동 구간 및 정체 구간으로 분할하여, 상기 캡슐 내시경의 정체 상태를 판별하는 정체 상태 판별부를 포함하며,
    상기 정체 상태 판별부는 상기 영상의 복수의 프레임 중 연속하는 프레임 간에 유사도를 측정하여, 상기 영상의 복수의 프레임으로부터 상기 측정한 유사도가 기 설정된 임계치보다 크고, 기 설정된 개수 이상 연속하는 프레임들을 상기 제1 정체 상태 서브 시퀀스로 검출하며,
    상기 정체 상태 판별부는 상기 제1 정체 상태 서브 시퀀스들 간에 위치하는 복수의 프레임(이하, '중간 프레임') 중에서 두 개 이상의 프레임을 그룹화하여 (i) 상기 그룹화된 중간 프레임에서 산출된 모션 벡터의 방향이 기 설정된 범위 내에 존재할 확률 및 (ii) 상기 중간 프레임에서 홀이 존재하는 비율에 기반하여, 상기 중간 프레임을 상기 제2 정체 상태 서브 시퀀스 또는 상기 이동 상태 서브 시퀀스로 분류하는 것을 특징으로 하는 영상 시퀀스 분할 장치.
  10. 제9항에 있어서,
    상기 캡슐 내시경은 하나 이상의 렌즈를 포함하며, 상기 하나 이상의 렌즈는 상기 캡슐 내시경의 본체의 전방 또는 후방에 위치하는 것을 특징으로 하는 영상 시퀀스 분할 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제9항에 있어서,
    상기 정체 상태 판별부는,
    (i) 상기 제1 정체 상태 서브 시퀀스 및 상기 제2 정체 상태 서브 시퀀스가 연속하거나 (ii) 상기 제2 정체 상태 서브 시퀀스가 복수이면서 연속하면, 상기 연속하는 제1 정체 상태 서브 시퀀스 및 제2 정체 상태 서브 시퀀스들을 결합하여, 상기 복수의 프레임을 상기 이동 구간 또는 상기 정체 구간으로 분할하는 것을 특징으로 하는 영상 시퀀스 분할 장치.
KR1020160179873A 2016-12-27 2016-12-27 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법 KR101900683B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160179873A KR101900683B1 (ko) 2016-12-27 2016-12-27 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160179873A KR101900683B1 (ko) 2016-12-27 2016-12-27 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180075919A KR20180075919A (ko) 2018-07-05
KR101900683B1 true KR101900683B1 (ko) 2018-09-20

Family

ID=62920207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160179873A KR101900683B1 (ko) 2016-12-27 2016-12-27 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101900683B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102536750B1 (ko) * 2021-03-18 2023-05-26 아주대학교 산학협력단 캡슐내시경의 이동 상태 탐지 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100808A1 (ja) * 2005-03-22 2006-09-28 Osaka University カプセル内視鏡画像表示制御装置
JP2007068763A (ja) 2005-09-07 2007-03-22 Fujinon Corp カプセル内視鏡システム
JP2010176569A (ja) 2009-01-30 2010-08-12 Olympus Corp シーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法
WO2014061553A1 (ja) 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006100808A1 (ja) * 2005-03-22 2006-09-28 Osaka University カプセル内視鏡画像表示制御装置
JP2007068763A (ja) 2005-09-07 2007-03-22 Fujinon Corp カプセル内視鏡システム
JP2010176569A (ja) 2009-01-30 2010-08-12 Olympus Corp シーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法
WO2014061553A1 (ja) 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR20180075919A (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
US10664968B2 (en) Computer aided diagnosis apparatus and method based on size model of region of interest
US9674447B2 (en) Apparatus and method for adaptive computer-aided diagnosis
US9662040B2 (en) Computer-aided diagnosis apparatus and method
US10762630B2 (en) System and method for structures detection and multi-class image categorization in medical imaging
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
US8837771B2 (en) Method and system for joint multi-organ segmentation in medical image data using local and global context
CN105266845B (zh) 用于基于探头速度支持计算机辅助诊断的设备和方法
US8749630B2 (en) Method and system for automatic objects localization
Chen et al. Automatic X-ray landmark detection and shape segmentation via data-driven joint estimation of image displacements
US20120274781A1 (en) Marginal space learning for multi-person tracking over mega pixel imagery
WO2016161115A1 (en) System and methods for automatic polyp detection using convolutional neural networks
Blanco et al. A robust, multi-hypothesis approach to matching occupancy grid maps
Rafael-Palou et al. Re-identification and growth detection of pulmonary nodules without image registration using 3D Siamese neural networks
CN110782483A (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
Krotosky et al. Person surveillance using visual and infrared imagery
Jafari et al. U-land: uncertainty-driven video landmark detection
KR101900683B1 (ko) 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법
US10390799B2 (en) Apparatus and method for interpolating lesion detection
WO2022140960A1 (zh) 一种卵泡跟踪方法和系统
US10390798B2 (en) Computer-aided tracking and motion analysis with ultrasound for measuring joint kinematics
Mondal et al. 3D-SIFT feature based brain atlas generation: An application to early diagnosis of Alzheimer's disease
Mhatre et al. Early detection of lung cancer using computer aided tomography images
Ismail et al. CE Video Summarization Using Relational Motion Histogram Descriptor
Charisis et al. Detecting and locating mushroom clusters by a Mask R-CNN model in farm environment
Ameer et al. Human action recognition based on bag-of-words

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)