KR102163108B1 - 영상에서 관심 대상 실시간 검출 방법 및 시스템 - Google Patents

영상에서 관심 대상 실시간 검출 방법 및 시스템 Download PDF

Info

Publication number
KR102163108B1
KR102163108B1 KR1020190155957A KR20190155957A KR102163108B1 KR 102163108 B1 KR102163108 B1 KR 102163108B1 KR 1020190155957 A KR1020190155957 A KR 1020190155957A KR 20190155957 A KR20190155957 A KR 20190155957A KR 102163108 B1 KR102163108 B1 KR 102163108B1
Authority
KR
South Korea
Prior art keywords
interest
image
detection
frame
unit
Prior art date
Application number
KR1020190155957A
Other languages
English (en)
Inventor
이준협
김광기
김영재
Original Assignee
가천대학교 산학협력단
(의료)길의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단, (의료)길의료재단 filed Critical 가천대학교 산학협력단
Priority to KR1020190155957A priority Critical patent/KR102163108B1/ko
Application granted granted Critical
Publication of KR102163108B1 publication Critical patent/KR102163108B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상에서 관심 대상을 실시간으로 검출하는 방법 및 시스템에 관한 것으로, 본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 방법은 영상을 입력받는 단계; 상기 영상에서 필요한 프레임을 추출하는 단계; 학습된 인공신경망을 통해 각 프레임별 상기 관심 대상을 검출하는 제1 검출 단계; 상기 제1 검출 단계에서 M(M은 자연수)개 프레임 연속으로 상기 관심 대상이 검출된 경우 검출 방법을 전환하는 단계; 이전 프레임과의 유사도를 평가하여 각 프레임별 상기 관심 대상을 검출하는 제2 검출 단계; 및 상기 제1 검출 단계 또는 상기 제2 검출 단계에서 검출된 상기 관심 대상 영역을 해당 프레임에 표시하는 단계;를 포함한다. 본 발명에 따르면 영상에서 관심 대상을 실시간으로 검출할 수 있다.

Description

영상에서 관심 대상 실시간 검출 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING IN REAL TIME AN OBJECT OF INTEREST IN IMAGE}
본 발명은 영상에서 관심 대상을 실시간으로 검출하는 방법 및 시스템에 관한 것으로, 보다 상세하게는 수술 영상에서 부갑상선 등 장기나 인체 조직같은 관심 대상을 실시간으로 검출하고 이를 표시할 수 있는 방법 및 시스템에 관한 것이다.
근래 갑상선 암의 발명이 증가하는 추세에 있어 종양을 갑상선과 함께 제거하는 갑상선 절제술이 많이 시술되고 있다. 갑상선 종양을 제거하기 위한 갑상선 절제술에서는 우리 몸의 칼슘 항상성을 유지하는 부갑상선을 보존하는 것이 매우 중요하다. 부갑상선이 분비하는 부갑상선 호르몬은 직접적으로 뼈와 신장에 작용하는데 혈중 칼슘이 감소하면 부갑상선 호르몬이 증가하여 뼈에서는 칼슘을 빼내고 신장에서는 칼슘의 재흡수를 증가시켜 혈중 칼슘을 증가시킨다. 부갑상선은 갑상선 뒤에 위치하며 총 4개로 구성되는데, 좌측 상·하부에 각 1개, 우측 상·하부에 각 1개가 있다. 종양 제거를 위한 갑상선 절제술 시에는 암의 전이 가능성을 고려하여 주변 림프 절을 동시에 절제하게 되는데, 이 때 림프 절이 포함되어 있는 지방조직이나 결체조직을 함께 제거한다. 그러나 부갑상선은 무게가 35~45 mg, 크기가 5x3x1 cm 정도의 대단히 작고 섬세한 장기이기 때문에 육안으로 부갑상선을 주위의 지방조직이나 결체조직과 구별하는 것이 쉽지 않다. 따라서 수술자가 갑상선 절제술을 시행할 때 부갑상선을 안전하게 남겨놓고 시술할 수 있도록 부갑상선의 위치를 용이하게 파악할 수 있는 방안이 요구된다.
영상에서 관심 대상을 실시간으로 검출하는 방법 및 시스템을 제안한다.
본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 방법은 영상을 입력받는 단계; 상기 영상에서 필요한 프레임을 추출하는 단계; 학습된 인공신경망을 통해 각 프레임별 상기 관심 대상을 검출하는 제1 검출 단계; 상기 제1 검출 단계에서 M(M은 자연수)개 프레임 연속으로 상기 관심 대상이 검출된 경우 검출 방법을 전환하는 단계; 이전 프레임과의 유사도를 평가하여 각 프레임별 상기 관심 대상을 검출하는 제2 검출 단계; 및 상기 제1 검출 단계 또는 상기 제2 검출 단계에서 검출된 상기 관심 대상 영역을 해당 프레임에 표시하는 단계;를 포함한다.
상기 방법은 상기 제2 검출 단계에서 검출 실패시 상기 제1 검출 단계로 검출 방법을 전환하는 단계;를 더 포함한다.
상기 방법은 상기 제2 검출 단계에서 N(N은 자연수)개의 프레임 연속 부갑상선 검출시 상기 제1 검출 단계로 검출 방법을 전환하는 단계;를 더 포함한다.
상기 제2 검출 단계는 이전 프레임에서 검출된 관심 대상 영역과의 유사도가 기준치 이상인 영역 중 가장 높은 영역을 추출한다.
상기 추출하는 단계는 상기 영상에서 단위 시간당 상기 L개의 프레임을 추출하는 단계; 추출된 상기 각 프레임에 대하여 사이즈를 변환하는 단계; 및 상기 각 프레임의 픽셀 값의 범위를 조정하는 단계;를 포함한다.
상기 표시하는 단계는 각 프레임에서 검출된 관심 대상 영역을 원본 사이즈에 매칭시키는 단계; 및 원본 영상에 상기 관심 대상 영역을 표시하는 단계;를 포함한다.
본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 시스템은 영상을 입력받는 영상 입력부; 상기 영상에서 필요한 프레임을 추출하는 전처리부; 상기 각 프레임에 대하여 인공신경망과 프레임간 유사도 분석을 선택적으로 적용하여 상기 관심 대상을 검출하는 검출부; 및 검출된 상기 관심 대상 영역을 상기 영상에 표시하는 표시부;를 포함한다.
상기 검출부는 컨볼루션 신경망 타입의 딥러닝 다층 인공신경망을 통해 상기 관심 대상을 검출하는 제1 검출부; 및 상기 제1 검출부에서 검출한 관심 대상 정보를 기초로 이전 프레임과의 유사도 분석을 통해 상기 관심 대상을 검출하는 제2 검출부; 및 상기 제1 검출부 및 상기 제2 검출부 중 하나를 선택하여 상기 관심 대상을 검출하도록 제어하되, 상기 제1 검출부에서 M(M은 자연수)개 프레임 연속 상기 관심 대상이 검출하면 상기 제2 검출부로 선택을 변경하고, 상기 제2 검출부를 N(N은 자연수)개 프레임에 대해 적용한 후에는 상기 제1 검출부로 선택 변경하는 선택부;를 포함한다.
상기 전처리부는 상기 영상에서 단위 시간당 L(L은 자연수)개의 프레임을 추출하는 샘플링부; 추출된 상기 각 프레임에 대하여 사이즈를 변환하는 사이징부; 및 상기 각 프레임의 픽셀 값 범위를 조정하는 레인지 조정부;를 포함한다.
상기 표시부는 각 프레임에서 검출된 관심 대상 영역을 원본 사이즈에 매칭시켜 원본 영상에 표시한다.
본 발명에 따르면 영상에서 관심 대상을 검출할 수 있다.
또한, 인공신경망을 이용하여 검출 정확도를 높이면서도 비교적 낮은 컴퓨팅 파워를 요구한다.
또한, 다양한 검출 방법을 선택적으로 적용하여 보다 정확하고 신속하게 검출할 수 있다.
이에 따라 저렴한 비용으로 관심 대상을 실시간으로 검출할 수 있다.
도 1은 본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 시스템을 나타낸다.
도 2는 도 1에 도시된 제1 검출부의 일실시예를 나타낸다.
도 3은 도 1에 도시된 제2 검출부의 일실시예를 나타낸다.
도 4는 도 1에 도시된 전처리부의 일실시예를 나타낸다.
도 5는 본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 시스템의 검출 동작을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 방법의 일실시예를 나타낸다.
도 7은 본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 방법의 다른 실시예를 나타낸다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제안하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상내에서 제2 구성요소일 수도 있음은 물론이다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하에서는 도면을 참조하여 본 발명에 대하여 보다 상세히 설명하기로 한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다.
도 1은 본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 시스템을 나타낸다.
도 1을 참조하면, 본 발명에 따른 영상에서 관심 대상을 검출하는 시스템(100)은 영상 입력부(110), 전처리부(Pre-processor, 120), 검출부(130) 및 표시부(140)를 포함한다.
영상 입력부(110)는 영상을 입력받는다. 영상은 수술 중에 실시간으로 촬영되는 영상일 수 있다.
전처리부(Pre-processor, 120)는 입력받은 영상을 검출부(130)에서 처리하는데 필요한 형식으로 변환한다. 전처리부(Pre-processor, 120)는 입력받은 영상에서 필요한 프레임을 추출할 수 있다.
검출부(130)는 전처리부(Pre-processor, 120)로부터 입력받은 각 프레임에 대하여 인공신경망(Artifical Neural Network)과 유사도 분석을 선택적으로 적용하여 관심 대상을 검출할 수 있다.
검출부(130)는 제1 검출부(132), 제2 검출부(134) 및 선택부(136)를 포함할 수 있다.
제1 검출부(132)는 인공신경망을 통해 관심 대상을 검출한다. 구체적으로 제1 검출부(132)는 컨볼루션 신경망(CNN)에 기반을 둔 딥러닝 다층 인공신경망을 통해 분석 대상 프레임에서 관심 대상을 검출할 수 있다. 구체적으로 제1 검출부(132)는 학습된 인공신경망으로서 관심 대상에 대한 이미지 데이터들에 대한 사전 딥러닝 학습을 통해 데이터로부터 스스로 특징을 파악함으로써 관심 대상을 검출하기에 적절한 모델 파라미터가 설정되어 있다. 제1 검출부(132)는 개별 프레임 단위로 관심 대상을 검출한다. 즉, 분석 대상 프레임에 대하여 기존 학습으로 설정된 모델 파라미터를 통해 관심 대상을 검출한다.
제2 검출부(134)는 유사도 분석을 통해 관심 대상을 검출한다. 구체적으로 제2 검출부(134)는 상기 제1 검출부(134)에서 검출한 관심 대상 정보를 기초로 이전 프레임과의 유사도 분석을 통해 분석 대상 프레임에서 관심 대상을 검출할 수 있다. 제2 검출부(134)는 제1 검출부(132)와 달리 개별 프레임 단위가 아닌 프레임간 비교를 통하여 관심 대상을 검출한다. 구체적으로 제2 검출부(134)는 이전 프레임에서 검출된 관심 대상 영역을 중심으로 가장 유사도가 높은 영역을 찾아 동일 대상으로 추정한다. 이러한 방식을 통해 보다 신속하게 관심 대상을 추적할 수 있게 된다. 이전 프레임에서 검출된 관심 대상은 제1 검출부(132)에서 검출한 결과일 수 있다.
선택부(136)는 전처리부(120)에서 받은 분석 대상 프레임을 제1 검출부(132) 및 제2 검출부(134) 중 어느 하나로 제공할 수 있다. 즉, 선택부(136)는 제1 검출부(132) 및 제2 검출부(134) 중 하나를 선택하여 관심 대상을 검출하도록 제어할 수 있다. 구체적으로 선택부(136)는 제1 검출부(132)에서 M(M은 자연수)개 프레임 연속으로 관심 대상이 검출되면 제2 검출부(134)부로 선택을 변경할 수 있다. 예를 들어 제1 검출부(132)가 5개 프레임 연속으로 부갑상선을 검출하면, 선택부(136)는 이후 제2 검출부(134)를 통해 부갑상선 검출을 수행하도록 제어한다. 이는 검출 오류를 최소화하기 위하여 제1 검출부(132)에서 연속적으로 검출된 경우에 제2 검출부(134)를 적용하기 위함이다.
본 발명에 따른 관심 대상 검출 시스템(100)은 개별 프레임 단위로 비교적 정확하게 관심 대상 검출이 가능한 제1 검출부(132)와 프레임간 유사도 분석을 통해 신속하게 관심 대상을 검출하는 제2 검출부(134)를 선택적으로 결합하여 보다 정확하고 신속하게 관심 대상을 검출할 수 있다. 또한, 제1 검출부(132)는 인공신경망을 통해 단일 프레임에서만 검출을 수행하므로 잡음에 의한 검출 실패 확률이 높아질 수 있다. 제2 검출부(134)는 프레임간의 유사도를 분석하여 검출을 수행하므로 제1 검출부(134)를 보완할 수 있다. 제2 검출부(134)는 동영상 내 연속 프레임을 이용하여 프레임간의 정보를 활용한다. 또한, 제1 검출부(132)는 학습 데이터에 기반을 두어 관심 대상을 검출하기 때문에 학습 데이터와 다른 환경에서 촬영된 영상에 대해서는 성능이 떨어질 수 있다. 제2 검출부(134)는 연속 프레임 간의 관심 대상의 움직임 정보를 반영하여 검출 성능을 높일 수 있다.
표시부(140)는 검출부(130)를 통해 검출된 관심 대상 영역 예를 들어 부갑상선으로 판단되는 영역을 영상과 함께 표시할 수 있다. 부갑상선으로 판단되는 영역은 박스 형태로 표시될 수 있다. 일실시예로 갑상선 수술 중 촬영된 화면(142)에는 검출부(130)를 통해 검출된 부갑상선 영역이 청색 박스(142_2)로 표시되고 있다. 참고로 녹색 박스(142_4)는 실제 부갑상선 영역을 나타내는데, 본 발명에 따른 시스템의 검출 성능을 참고하기 위해 표시하였다. 화면(142)을 참조하면, 본 발명에 따른 시스템이 판단한 청색 박스(142_2)와 사람이 판단한 녹색 박스(142_4)가 거의 오버랩되는 것을 볼 수 있다.
본 발명에 따른 관심 대상 검출 시스템(100)은 입력 영상에 대하여 실시간으로 관심 대상을 검출하여 그 결과를 표시할 수 있다. 예를 들어 갑상선 제거 수술시 표시되는 수술 영상에 부갑상선의 위치를 추가로 표시하여 수술자가 부갑상선의 위치를 용이하게 확인할 수 있도록 돕는다.
도 2는 도 1에 도시된 전처리부의 일실시예를 나타낸다.
도 2를 참조하면, 전처리부(220)는 입력받은 영상을 검출부(230)에서 처리하는데 필요한 형식으로 변환한다. 이를 위해 전처리부(220)는 샘플링부(222), 사이징부(224)를 포함할 수 있다.
샘플링부(220)는 영상에서 단위 시간당 L(L은 자연수)개의 프레임을 추출할 수 있다. 예를 들어 샘플링부(220)는 초당 30 프레임을 추출할 수 있다. 인접 프레임간에는 유의미한 차이가 발생하지 않는 점을 고려하여 필요한 프레임을 추출하여 분석함으로써 검출 속도를 개선할 수 있다.
사이징부(222)는 추출된 각 프레임에 대하여 사이즈를 변환한다. 즉, 입력된 원본 영상을 검출부(230)에서 처리하는데 필요한 사이즈로 변환한다. 화면에 표시되는 입력 영상은 대부분 식별력을 고려하여 높은 해상도를 가진다. 그러나 검출부(230)에서 분석하는데 필요한 해상도는 그보다 낮더라도 분석이 가능하다. 따라서, 사이징부(222)는 원본 영상을 검출부(230)에서 필요한 사이즈로 축소하여 분석에 필요한 데이터를 줄일 수 있어 검출부(230)의 분석 속도를 향상시킬 수 있다. 예를 들어 사이징부(222)는 1920x1080 사이즈의 원본 영상을 검출부(230)에서 요구하는 512x512 사이즈로 변환할 수 있다.
전처리부(220)는 레인지 조정부(226)를 더 포함할 수 있다.
레인지 조정부(224)는 각 프레임의 픽셀 값의 범위를 조정한다. 이는 검출부(230)에서 인식하는 픽셀 값의 범위로 조정하기 위함이다. 예를 들어 픽셀이 가질 수 있는 값의 범위가 0 ~ +255인 경우, 이를 -128 ~ +128로 쉬프트할 수 있다.
도 3은 도 1에 도시된 제1 검출부의 일실시예를 나타낸다.
도 3을 참조하면, 제1 검출부(320) 전처리부(310)로부터 프레임을 수신하고 이를 분석하여 관심 대상을 검출하고, 이를 표시부(320)에 전달한다. 관심 대상은 사각형의 바운딩 박스에 의해 표시될 수 있다.
제1 검출부(320)는 미리 학습된 인공신경망이다. 인공신경망은 여러 노드가 연결된 네트워크이며, 이 노드를 어떻게 연결하는지에 따라서 다양한 형태의 네트워크를 만들 수 있다.
제1 검출부(320)는 딥러닝으로 미리 학습된 인공신경망일 수 있다. 딥러닝은 심층 신경망을 이용한 기계 학습 방법이다. 딥러닝은 데이터의 특징을 스스로 학습한다. 이를 위해서 필요한 것은 그저 많은 데이터뿐이다.
제1 검출부(320)는 CNN(Convolution Neurla Network) 또는 이에 기반을 둔 개량형 CNN일 수 있다. 컨볼루션 신경망인 CNN은 뇌의 시각 피질이 이미지를 처리하고 인식하는 원리를 이용한 신경망이다. 주로 영상 인식 분야에서 적용되면 여러 분야에서 탁월한 성능을 보여주고 있다.
제1 검출부(320)는 딥러닝 기반 CNN기반 네트워크로 잘 알려진 R-CNN(Region CNN), Fasr R-CNN, Faster R-CNN, Mask R-CNN, Feature Pyraminnetwork(FPN), RetinaNet, SSD(Single Shot Multi-box Detector). YOLO 등과 같이 알려진 네트워크를 이용하여 전이 학습을 통해 구현할 수 있다. 제1 검출부(320)는 이렇게 이미 학습된 모델을 재사용하여 다른 영역의 데이터를 추가로 학습시켜 구현될 수 있다. RetinaNet의 경우, 이미지넷 데이터를 통해, 점, 선, 모양 등의 이미지를 인식하는 기본적인 능력이 학습되어 있을 것이므로, 여기에 관심 대상 예를 들어 부갑상선 판독을 추가로 학습시키는 것이 용이하다. 따라서, 제1 검출부(320)는 RetinaNet 모델에 학습 데이터를 전이 학습시켜서 구현한 인공신경망일 수 있다.
도 4는 도 1에 도시된 제2 검출부의 일실시예를 나타낸다.
도 4를 참조하면, 제2 검출부(430)는 전처리부(410)로부터 프레임을 수신하고 이를 분석하여 관심 대상을 검출하며, 그 결과를 표시부(440)에 전달한다. 관심 대상은 사각형의 바운딩 박스에 의해 표시될 수 있다. 이를 위해 제2 검출부(430)는 검출영역 획득부(432), 유사도 판단부(434) 및 관심대상 추출부(436)를 포함할 수 있다.
검출영역 획득부(432)는 제1 검출부(420)가 검출한 결과를 수신하고 유사도 판단부(434)에 제공한다. 구체적으로 제1 검출부(420)가 검출한 관심 대상 영역에 대한 정보를 획득하고, 유사도 판단부(434)에서 이를 참조하여 관심 대상을 검출하도록 한다. 영상에서 인접 프레임들 사이에는 시공간적 유사성(영상 내 대상의 위치, 크기, 형태 등이 유사)이 존재하기 때문에 이를 활용한다.
유사도 판단부(434)는 제1 검출부(420)로부터 획득한 결과에 기초하여 프레임간 유사도를 판단한다. 구체적으로 유사도 판단부(422)는 현재 프레임에서 다양한 분석 영역을 설정하고, 각 영역과 이전 프레임에서 제1 검출부(420)에 의해 검출된 관심 대상을 비교하여 유사도를 계산한다. 유사도 판단부(434)는 상관 필터(Correlation Filter)를 포함할 수 있다.
관심대상 추출부(424)는 유사도 판단부(434)에서 분석한 결과 중 유사도가 가장 높은 영역을 추출하여 동일 대상으로 추정한다. 따라서, 이전 프레임에서의 관심 대상과 가장 유사한 부분을 현재 프레임에서의 관심 대상으로 검출한다.
도 5는 본 발명의 일실시예에 따른 관심 대상 검출 시스템이 부갑상선을 관심 대상으로 검출하는 동작을 설명하기 위한 도면이다. 이하, 도 5(a) 내지 도 5(g)를 참조하여 구체적으로 설명한다.
도 5(a)는 Scope로 촬영된 수술 영상에서 부갑상선을 검출하여 청색 박스가 정상적으로 표시되고 있다. 참고로 녹색 박스는 시스템의 검출 성능을 확인하기 위한 정답 영역이다. 녹색 박스와 시스템이 검출한 청색 박스의 위치가 서로 일치하는 것을 볼 수 있다.
도 5(b)는 수술 도구가 부갑상선 일부를 가리는 상황을 나타낸다. 일부가 가려진 상황에서도 청색 박스가 부갑상선 위치에 정상적으로 표시되고 있다.
도 5(c)는 수술 도구가 부갑상선 전부를 가리는 상황을 나타낸다. 도 5(b)에서와 달리 부갑상선이 검출되지 않음에 따라 청색 박스가 표시되고 있지 않다.
도 5(d)는 부갑상선이 수술 도구에 의해 가려졌다가 다시 드러났을 때 부갑상선을 오검출한 상황을 나타낸다. 청색 박스가 녹색 박스와는 다른 위치에 위치하고 있다.
도 5(e)는 부갑상선이 수술 도구에 의해 가려졌다가 다시 드러났을 때 부갑상선을 검출하지 못한 경우를 나타낸다. 화면에 부갑상선이 있음에도 불구하고 청색 박스가 표시되지 않고 있다. 검출했어야 했는데 검출하지 못한 경우로 FN(False Negative) 케이스에 해당된다.
도 5(f)는 부갑상선이 수술 도구에 의해 가려졌다가 다시 드러났을 때 부갑상선을 정상적으로 검출하는 경우를 나타낸다. 청색 박스가 녹색 박스와 거의 오버랩되어 표시되고 있다. 관심 대상을 정상적으로 검출한 경우로 TP(True Positive) 케이스에 해당된다.
본 발명에 따른 영상에서의 관심 대상 검출 시스템은 인공신경망으로만 검출한 경우에 비하여 아래 표와 같이 민감도(Sensitivity)가 약 22% 정도 개선된 성능을 보였다. 민감도는 부갑상선을 정확하게 판단한 비율이다.
Figure 112019123148036-pat00001
도 6은 본 발명에 따른 영상에서 관심 대상을 검출하는 방법의 일실시예를 나타낸다. 본 발명에 따른 영상에서 관심 대상을 검출하는 방법은 소프트웨어 모듈로 구현되어 인공신경망과 연결되거나 이를 포함하는 컴퓨터 시스템에서 수행될 수 있다.
도 6을 참조하면, 본 발명에 따른 영상에서 관심 대상을 검출하는 방법은 영상을 입력받는 단계(S610), 분석에 필요한 프레임을 추출하는 단계(S620), 인공신경망을 통해 관심 대상을 검출하는 제1 검출 단계(S630), L(L은 자연수)개 프레임 연속 관심 대상 검출시 검출 방법을 전환하는 단계(S640), 유사도 분석을 통해 관심 대상을 검출하는 제2 검출 단계(S650)를 포함한다.
영상을 입력받는 단계(S610)에서는 카메라나 스코프를 통해 획득한 영상을 수신한다.
프레임을 추출하는 단계(S620)는 입력받은 영상에서 관심 대상을 검출하는데 필요한 프레임을 추출한다. 단위 시간당 N(N은 자연수)개의 프레임을 추출한다. 예를 들어 초당 30 프레임을 추출할 수 있다. 인접 프레임간에는 유의미한 차이가 발생하지 않는 점을 고려하여 필요한 프레임만을 추출하여 분석함으로써 데이터량을 줄이고 검출 속도를 개선할 수 있다. 프레임을 추출하는 단계(S620)에서는 추출된 각 프레임에 대하여 사이즈를 변환할 수 있다. 입력된 원본 영상을 인공신경망이나 유사도 분석에 적합한 사이즈로 변환한다. 화면에 표시되는 입력 영상은 대부분 사용자의 식별력을 높이기 위해 비교적 높은 해상도를 가진다. 그러나 컴퓨터가 관심 대상 검출하는데 필요한 해상도는 그보다 낮을 수 있다. 따라서 원본 영상 분석에 적절한 사이즈로 축소하여 분석에 필요한 데이터량을 줄이고 검출 속도를 개선할 수 있다. 예를 들어 1920x1080 사이즈의 원본 영상을 분석하기 위해 512x512 사이즈로 변환할 수 있다. 프레임을 추출하는 단계(S620)는 각 프레임의 픽셀 값의 범위를 조정할 수 있다. 예를 들어 원본 영상에서 픽셀이 가질 수 있는 값의 범위가 0 ~ +255인 경우, 이를 -128 ~ +128로 변환할 수 있다.
제1 검출 단계(S630)에서는 미리 학습된 인공신경망을 이용하여 관심 대상을 검출한다. 각 프레임 단위로 딥러닝 학습을 통해 설정된 매개 변수에 따라 관심 대상을 검출한다. 인공신경망에 대하여는 앞에서 자세히 다루었으므로 자세한 설명은 생략한다.
검출 방법을 전환하는 단계(S640)는 제1 검출 단계(S630)에서 제2 검출 단계(S650)로 전환하는 단계이다. 구체적으로 검출 방법을 전환하는 단계(S640)에서는 인공신경망에서 유사도 분석으로 검출 방법을 전환한다. 분석 대상 프레임이 인공신경망이 아닌 유사도 분석을 수행하는 검출부로 전달되도록 한다.
제2 검출 단계(S650)에서는 이전 프레임에서 검출된 관심 대상을 기준으로 현재 프레임에서 가장 유사도가 높은 영역을 검출한다. 이 때, 유사도가 기준치보다 높은 영역만을 고려할 수 있다. 유사도 분석에 대하여는 앞에서 자세히 다루었으므로 자세한 설명은 생략한다.
도 7은 본 발명에 따른 영상에서 관심 대상을 실시간으로 검출하는 방법의 다른 실시예를 나타낸다. 본 발명에 따른 영상에서 관심 대상을 검출하는 방법은 소프트웨어 모듈로 구현되어 인공신경망과 연결되거나 이를 포함하는 컴퓨터 시스템에서 수행될 수 있다.
도 7를 참조하면, 본 발명에 따른 영상에서 관심 대상을 검출하는 방법은 영상을 입력받는 단계(S710), 분석에 필요한 프레임을 추출하는 단계(S720), 인공신경망을 통하여 관심 대상을 검출하는 제1 검출 단계(S730), L(L은 자연수)개 프레임 연속으로 관심 대상이 검출된 경우 검출 방법을 전환하는 제1 전환 단계(S740), 유사도 분석을 통하여 관심 대상을 검출하는 제2 검출 단계(S750), 유사도 분석을 통한 검출 실패시 검출 방법을 전환하는 제2 전환 단계(S760) 및 M(M은 자연수)개 프레임에 대하여 유사도 분석 후에는 검출 방법을 전환하는 제3 전환 단계(S770)를 포함할 수 있다.
영상을 입력받는 단계(S710)에서는 카메라나 스코프를 통해 획득한 영상을 수신한다.
프레임을 추출하는 단계(S720)에서는 입력받은 영상에서 관심 대상을 검출하는데 필요한 프레임을 추출한다. 단위 시간당 N(N은 자연수)개의 프레임을 추출할 수 있다. 예들 들어 총당 30 프레임을 추출할 수 있다. 프레임을 추출하는 단계(S720)에서는 추출된 각 프레임에 대하여 사이즈를 변환할 수 있다. 입력된 원본 영상을 인공신경망이나 유사도 분석에 적합한 사이즈로 변환한다. 예를 들어 1920x1080 사이즈의 원본 영상을 분석하기 위해 512x512 사이즈로 변환할 수 있다. 프레임을 추출하는 단계(S620)는 각 프레임의 픽셀 값의 범위를 조정할 수 있다. 예를 들어 원본 영상에서 픽셀이 가질 수 있는 값의 범위가 0 ~ +255인 경우, 이를 -128 ~ +128로 변환할 수 있다.
제1 검출 단계(S730)에서는 관심 대상에 대하여 미리 학습된 인공신경망을 이용하여 추출된 프레임을 분석하여 관심 대상을 검출한다. 인공신경망에 대하여는 앞에서 자세히 다루었으므로 자세한 설명은 생략한다.
제1 전환 단계(S740)는 제1 검출 단계(S730)에서 제2 검출 단계(S750)로 전환하는 단계이다. 구체적으로 제1 전환 단계(S740)에서는 인공신경망에서 프레임간 유사도 분석으로 검출 방법을 전환한다. 분석 대상 프레임이 인공신경망이 아닌 유사도 분석을 수행하는 검출부로 전달되도록 한다.
제2 검출 단계(S750)에서는 이전 프레임에서 검출된 관심 대상을 기준으로 가장 유사도가 높은 영역을 검출한다. 이 때, 유사도가 기준치보다 높은 영역만을 고려할 수 있다. 유사도 분석에 대하여는 앞에서 자세히 다루었으므로 자세한 설명은 생략한다.
제2 전환 단계(S760)는 제2 검출 단계(S750)에서 제1 검출 단계(S730)로 전환하는 단계이다. 구체적으로 제2 전환 단계(S760)에서는 유사도 분석으로 관심 대상을 검출하지 못한 경우 인공신경망을 통한 검출 방법으로 전환한다. 분석 대상 프레임이 유사도 분석을 수행하는 검출부가 아닌 인공신경망으로 전달되도록 한다.
제3 전환 단계(S770)는 제2 검출 단계(S750)에서 제1 검출 단계(S730)로 전환하는 단계이다. 구체적으로 제3 전환 단계(S770)에서는 유사도 분석이 M(M은 자연수)개의 프레임에 대하여 진행된 경우 인공신경망을 통한 검출 방법으로 전환한다. 분석 대상 프레임이 유사도 분석을 수행하는 검출부가 아닌 인공신경망으로 전달되도록 한다. 예를 들어 30개의 프레임에 대하여 유사도 분석 방법이 적용된 후에는 인공신경망을 통한 검출 방법으로 전환한다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스트, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능한 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
110: 영상 입력부 120: 전처리부(Pre-processor)
130: 검출부 132: 제1 검출부
134: 제2 검출부 136: 선택부
140: 표시부

Claims (10)

  1. 영상에서 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상을 실시간으로 검출하는 방법에 있어서,
    영상을 입력받는 단계;
    상기 영상에서 필요한 프레임을 추출하는 단계;
    학습된 인공신경망을 통해 각 프레임별 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상을 검출하는 제1 검출 단계;
    상기 제1 검출 단계에서 L(L은 자연수)개 프레임 연속으로 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상이 검출된 경우 검출 방법을 전환하는 단계;
    이전 프레임과의 유사도를 평가하여 각 프레임별 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상을 검출하는 제2 검출 단계; 및
    상기 제1 검출 단계 또는 상기 제2 검출 단계에서 검출된 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상 영역을 해당 프레임에 표시하는 단계;를 포함하며,
    상기 제2 검출 단계에서 검출 실패시 상기 제1 검출 단계로 검출 방법을 전환하는 단계;를 더 포함하고,
    상기 제2 검출 단계에서 M(M은 자연수)개의 프레임 연속 부갑상선 검출시 상기 제1 검출 단계로 검출 방법을 전환하는 단계;를 더 포함하며,
    상기 제1 검출 단계의 학습된 인공신경망은 RetinaNet 모델에 학습 데이터를 전이 학습시켜서 구현한 인공신경망인 영상에서의 관심 대상 실시간 검출 방법.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서, 상기 제2 검출 단계는
    이전 프레임에서 검출된 관심 대상 영역과의 유사도가 기준치 이상인 영역 중 가장 높은 영역을 추출하는 영상에서의 관심 대상 실시간 검출 방법.
  5. 제1 항에 있어서, 상기 추출하는 단계는
    상기 영상에서 단위 시간당 N(N은 자연수)개의 프레임을 추출하는 단계;
    추출된 상기 각 프레임에 대하여 사이즈를 변환하는 단계; 및
    상기 각 프레임의 픽셀 값의 범위를 조정하는 단계;를 포함하는 영상에서의 관심 대상 실시간 검출 방법.
  6. 제5 항에 있어서, 상기 표시하는 단계는
    각 프레임에서 검출된 관심 대상 영역을 원본 사이즈에 매칭시키는 단계; 및
    원본 영상에 상기 관심 대상 영역을 표시하는 단계;를 포함하는 영상에서의 관심 대상 실시간 검출 방법.
  7. 영상에서 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상을 실시간으로 검출하는 시스템에 있어서,
    영상을 입력받는 영상 입력부;
    상기 영상에서 필요한 프레임을 추출하는 전처리부;
    상기 각 프레임에 대하여 인공지능망 및 프레임간 유사도 분석을 선택적으로 적용하여 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상을 검출하는 검출부; 및
    검출된 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상 영역을 상기 영상에 표시하는 표시부;를 포함하며,
    상기 검출부는
    RetinaNet 모델에 학습 데이터를 전이 학습시켜서 구현한 인공신경망을 통해 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상을 검출하는 제1 검출부;
    상기 제1 검출부에서 검출한 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상 영역을 기초로 이전 프레임과의 유사도 분석을 통해 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상을 검출하는 제2 검출부; 및
    상기 제1 검출부 및 상기 제2 검출부 중 하나를 선택하여 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상을 검출하도록 제어하되, 상기 제1 검출부에서 L(L은 자연수)개 프레임 연속 상기 부갑상선을 포함하는 장기 또는 인체 조직 중 어느 하나 이상의 관심 대상이 검출되면 상기 제2 검출부로 선택을 변경하고, 상기 제2 검출부를 M(M은 자연수)개 프레임에 대해 적용한 후에는 상기 제1 검출부로 선택 변경하는 선택부;를 포함하는 영상에서의 관심 대상 실시간 검출 시스템.
  8. 삭제
  9. 제7 항에 있어서, 상기 전처리부는
    상기 영상에서 단위 시간당 N(N은 자연수)개의 프레임을 추출하는 샘플링부;
    추출된 상기 각 프레임에 대하여 사이즈를 변환하는 사이징부; 및
    상기 각 프레임의 픽셀 값 범위를 조정하는 레인지 조정부;를 포함하는 영상에서의 관심 대상 실시간 검출 시스템.
  10. 제9 항에 있어서, 상기 표시부는
    각 프레임에서 검출된 관심 대상 영역을 원본 사이즈에 매칭시켜 원본 영상에 표시하는 영상에서의 관심 대상 실시간 검출 시스템.
KR1020190155957A 2019-11-28 2019-11-28 영상에서 관심 대상 실시간 검출 방법 및 시스템 KR102163108B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190155957A KR102163108B1 (ko) 2019-11-28 2019-11-28 영상에서 관심 대상 실시간 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190155957A KR102163108B1 (ko) 2019-11-28 2019-11-28 영상에서 관심 대상 실시간 검출 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102163108B1 true KR102163108B1 (ko) 2020-10-08

Family

ID=72897297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155957A KR102163108B1 (ko) 2019-11-28 2019-11-28 영상에서 관심 대상 실시간 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102163108B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991280A (zh) * 2021-03-03 2021-06-18 望知科技(深圳)有限公司 视觉检测方法、系统及电子设备
CN113327239A (zh) * 2021-06-10 2021-08-31 温州大学 一种增强注意力区域生成网络的小样本目标检测方法
KR20220055379A (ko) * 2020-10-26 2022-05-03 주식회사 인피닉스 인공지능을 이용한 방광 종양의 악성도 검출 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP2018112839A (ja) * 2017-01-10 2018-07-19 富士通株式会社 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP2018112839A (ja) * 2017-01-10 2018-07-19 富士通株式会社 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
딥런닝 기반의 프레임 유사성을 이용한 화재 오탐 검출 개선 연구, 전기전자학회논문지 23(1), 2019.03.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220055379A (ko) * 2020-10-26 2022-05-03 주식회사 인피닉스 인공지능을 이용한 방광 종양의 악성도 검출 장치 및 방법
KR102420051B1 (ko) * 2020-10-26 2022-07-12 주식회사 인피닉스 인공지능을 이용한 방광 종양의 악성도 검출 장치 및 방법
CN112991280A (zh) * 2021-03-03 2021-06-18 望知科技(深圳)有限公司 视觉检测方法、系统及电子设备
CN112991280B (zh) * 2021-03-03 2024-05-28 望知科技(深圳)有限公司 视觉检测方法、系统及电子设备
CN113327239A (zh) * 2021-06-10 2021-08-31 温州大学 一种增强注意力区域生成网络的小样本目标检测方法

Similar Documents

Publication Publication Date Title
KR102163108B1 (ko) 영상에서 관심 대상 실시간 검출 방법 및 시스템
WO2020103676A1 (zh) 图像识别方法、装置、系统及存储介质
US12062251B2 (en) Device and method with image matching
CN108292366B (zh) 在内窥镜手术中检测可疑组织区域的系统和方法
US9576359B2 (en) Context based algorithmic framework for identifying and classifying embedded images of follicle units
US7003135B2 (en) System and method for rapidly tracking multiple faces
US20220125280A1 (en) Apparatuses and methods involving multi-modal imaging of a sample
JP5072655B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
JP2010103980A (ja) 画像処理方法、画像処理装置及びシステム
US11132532B1 (en) System and method for facial recognition accuracy
US11315360B2 (en) Live facial recognition system and method
Lee et al. An automated video-based system for iris recognition
JP4729188B2 (ja) 視線検出装置
US10990817B2 (en) Method of detecting fraud during iris recognition
CN117710323A (zh) 内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
CN110321782B (zh) 一种检测人体特征信号的系统
KR20080037303A (ko) 촬영장치 및 이의 대상 추적제어방법
CN110321781B (zh) 一种用于无接触式测量的信号处理方法及装置
JP3980464B2 (ja) 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置
KR101910843B1 (ko) 오목점과 슈퍼픽셀 정보를 이용한 깊이 기반 근접 돼지 구분 방법
Muddamsetty et al. Spatio-temporal saliency detection in dynamic scenes using local binary patterns
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
KR101327482B1 (ko) 이파리 영상의 잎맥 검출 및 특징 추출 방법 및 장치

Legal Events

Date Code Title Description
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant