KR20180071532A - 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치 - Google Patents

지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치 Download PDF

Info

Publication number
KR20180071532A
KR20180071532A KR1020160174249A KR20160174249A KR20180071532A KR 20180071532 A KR20180071532 A KR 20180071532A KR 1020160174249 A KR1020160174249 A KR 1020160174249A KR 20160174249 A KR20160174249 A KR 20160174249A KR 20180071532 A KR20180071532 A KR 20180071532A
Authority
KR
South Korea
Prior art keywords
image
still image
still
blur
stored
Prior art date
Application number
KR1020160174249A
Other languages
English (en)
Other versions
KR102669621B1 (ko
Inventor
장민혜
강동구
진승오
배영민
신기영
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020160174249A priority Critical patent/KR102669621B1/ko
Priority claimed from KR1020160174249A external-priority patent/KR102669621B1/ko
Priority to PCT/KR2017/013898 priority patent/WO2018117468A1/ko
Publication of KR20180071532A publication Critical patent/KR20180071532A/ko
Application granted granted Critical
Publication of KR102669621B1 publication Critical patent/KR102669621B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치에 관한 것으로서, 본 발명의 영상 제공 장치는, 영상 처리를 위한 영상 처리 장치; 상기 영상 처리 장치가 영상 획득 장치에서 획득되는 동영상 중 소정의 시간 단위의 정지 영상을 저장하기 위한 영상 버퍼; 및 정지 영상 캡쳐 요청에 대응되는 정지 영상을 저장하기 위한 저장 장치를 포함하고, 상기 영상 버퍼 또는 상기 저장 장치에 저장된 영상 중 하나 이상의 영상에 대하여, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 것을 특징으로 한다.

Description

지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치{Method and Apparatus for Capturing and Storing High Resolution Endoscope Image}
본 발명은 동영상 촬영 중 정지 영상 캡쳐를 제공하기 위한 방법 및 장치에 관한 것으로서, 내시경 영상 등의 촬영 중 정지영상 캡쳐 요청 시 사용자가 직접 원하는 영상을 재촬영할 수 있도록 블러 유무를 판단하고 사용자에게 알리는 기능을 제공할 수 있는 지능형 고해상도 내시경 영상의 획득과 저장이 가능한 영상 제공 방법 및 장치에 관한 것이다.
내시경 영상과 같은 비디오 영상 촬영 중 사용자는 정지 영상 캡쳐를 희망할 수 있다. 그러나 어두운 실내와 같은 광량이 부족한 상황에서 카메라를 이용해 정지 영상을 캡쳐할 경우 또는 내시경 영상을 촬영할 때 위장관과 같은 장기 일부가 움직이는 경우 또는 촬영시 손떨림 현상 등으로 인해, 전역적 또는 국부적 블러(blur) 현상이 발생할 수 있다.
일반적인 영상에서 흐려진 영상을 보정하기 위해 다양한 디블러링(De-Blurring) 기술이 개발되었지만, 내시경과 같은 의료 영상에서는 영상 처리 과정에서 진단에 오류를 유발할 수 있는 정보가 추가될 수 있으므로, 기존의 디블러링 기술은 의료 영상에 적용될 수 없다.
이를 해결하기 위해 종래의 영상 처리 장치는 비디오 영상 촬영 중 정지 영상을 계속해서 영상 버퍼에 저장하고, 영상 캡쳐 요청이 들어오면 사용자의 의도와 상관없이 자동으로 일정 시간 이전에 저장된 모든 정지 영상 중 하나를 대표 영상으로 선택한다.최근 개발된 대부분의 종래의 영상 처리 장치는 도 1과 같이 소정의 시간(△t) 동안 버퍼에 미리 정지 영상들을 저장하고, 정지 영상 캡쳐 요청이 들어오면 그 중 가장 선명한 영상을 자동으로 선택하여 저장한다. 이때, 카메라에서 모션 블러가 발생했을 경우 캡쳐 요청 전 저장된 정지 영상들에도 블러가 발생했을 수 있고, 따라서 기 저장된 영상 중 가장 선명한 영상을 선택함에도 불구하고 전혀 의미 없는 영상이 선택될 수 있다.
따라서, 종래의 영상 처리 장치는 사용자의 의도가 반영되지 않고 사용자가 직접 선택하지 않은 캡쳐 영상을 제공하므로, 블러가 있는 영상을 캡쳐 영상으로 제공할 수 있는 문제점이 있다.
관련 선행 문헌으로서 미국공개특허 US 2014/0132746 A1(Image Capture Stabilization) 등이 참조될 수 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 내시경 영상 등의 촬영 중 정지영상 캡쳐 요청 시 사용자의 의도와 상관없이 자동으로 대표 영상을 선택하는 종래 방식과 달리, 블러 여부에 대한 알람을 제공함으로써 사용자가 블러 여부를 확인하고 필요시 재촬영 여부를 스스로 결정해 재촬영할 수 있도록 보조할 수 있는 영상 제공 방법 및 장치를 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 영상 제공 장치는, 영상 처리를 위한 영상 처리 장치; 상기 영상 처리 장치가 영상 획득 장치에서 획득되는 동영상 중 소정의 시간 단위의 정지 영상을 저장하기 위한 영상 버퍼; 및 정지 영상 캡쳐 요청에 대응되는 정지 영상을 저장하기 위한 저장 장치를 포함하고, 상기 영상 버퍼 또는 상기 저장 장치에 저장된 영상 중 하나 이상의 영상에 대하여, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 것을 특징으로 한다.
상기 정지 영상 캡쳐 요청에 대하여, 상기 영상 처리 장치가 상기 영상 버퍼에 저장된 하나 이상의 정지 영상 중 블러가 적다고 판단되는 하나 이상의 영상을 캡쳐 정지 영상으로 제공될 영상으로 선택하여 상기 저장 장치에 저장할 수 있다.
상기 정지 영상 캡쳐 요청에 대하여, 상기 정지 영상 캡쳐 요청에 대응되는 정지 영상으로서 상기 영상 버퍼에 저장된 하나 이상의 정지 영상과 상기 저장 장치에 저장된 하나 이상의 정지 영상 중 하나 이상의 영상을 알람의 유무와 상관 없이 상기 저장 장치에 저장할 수도 있다.
상기 영상 처리 장치는, 재촬영 요청에 따라 상기 영상 획득 장치를 통해 재촬영된 정지 영상을 상기 저장 장치에 저장하되, 상기 영상 획득 장치를 통해 새로이 획득되어 상기 영상 버퍼에 저장된 하나 이상의 정지 영상을 이용하여 상기 블러 유무 또는 블러 위치를 다시 판단하여 상기 재촬영된 정지 영상을 상기 저장 장치에 저장하거나 다시 재촬영하는 과정을 반복 수행할 수 있다.
상기 영상 처리 장치는, 상기 블러 유무 또는 블러 위치를 판단하기 위하여 테스트 대상 영상에 대하여, 소정의 블록으로 분할된 영역별로 수행하는 제1방식, 전체 영역에서 먼저 관심 영역을 검출한 후 해당 관심 영역에 대해 분할된 영역별로 수행하는 제2방식, 제1방식과 제2방식을 결합하여 상기 분할된 영역별로 수행하되 상기 관심 영역에 더 많은 가중치를 주는 제3방식, 또는 상기 정지영상 캡쳐 요청이 발생할 당시에 상기 영상 버퍼에 저장된 정지 영상과 해당 정지영상 캡쳐 요청이 있기 이전에 상기 영상 버퍼에 저장된 하나 이상의 정지 영상을 참조하여, 시간적으로 인접한 영상들을 정합하고 비교하는 제4방식중 어느 하나 이상을 이용할 수 있다.
상기 영상 처리 장치는, 제공될 정지 영상이 블러가 없는 정상 영상인지, 또는 제공될 정지 영상이 블러가 있는 블러 영상인지 여부를 영상의 가장자리 색상을 다르게 표시하는 방법 또는 하이라이트하는 방법으로 시각적 알람을 제공하거나, 제공될 정지 영상이 블러 영상인 경우, 전체 동영상 중 해당 정지 영상의 위치과 함께 해당 정지 영상 내에서 블러가 검출된 위치에 대한 영역을 소정의 색상으로 표시하여 블러 위치에 대해 시각적 알람을 제공할 수 있다.
상기 영상 처리 장치는, 연속적으로 블러 검출에 의해 재촬영이 이루어지고, 재촬영 요청 횟수 또는 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 정지 영상의 수가, 미리 결정된 수 이상인 경우, 알람 모드를 종료하고 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 영상 중 가장 블러가 적은 깨끗한 영상을 선택하여 상기 캡쳐 정지 영상으로 제공될 영상으로 상기 저장 장치에 저장할 수 있다.
상기 영상 처리 장치는, 연속적으로 블러 검출에 의해 재촬영이 이루어지고, 재촬영 요청 횟수 또는 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 정지 영상의 수가, 미리 결정된 수 이상인 경우, 알람 모드를 종료하고, 사용자 요청에 따라 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 상기 캡쳐 정지 영상으로 제공될 복수의 영상을 하나의 그룹으로 식별하여 제공할 수 있다.
그리고, 본 동영상 촬영 중 영상 처리 장치에서 캡쳐 정지 영상을 제공하는 영상 제공 방법은, 영상 획득 장치에서 동영상 촬영 중 정지 영상 캡쳐 요청에 대하여, 상기 영상 처리 장치가 영상 버퍼에 저장된 하나 이상의 정지 영상 중 블러가 적다고 판단되는 하나 이상의 영상을 캡쳐 정지 영상으로 제공될 영상으로 선택하여 저장 장치에 저장하는 단계; 및 상기 영상 처리 장치가 상기 캡쳐 정지 영상으로 제공될 영상에 대하여, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 단계를 포함한다.
본 발명에 따른 영상 제공 방법 및 장치에 따르면, 내시경 영상 등의 촬영 중 정지영상 캡쳐 요청 시 블러 여부에 대한 알람을 제공함으로써 사용자가 블러 여부를 확인하고 필요시 재촬영 여부를 스스로 결정해 재촬영할 수 있도록 보조함으로써, 사용자의 의도와 상관없는 영상이 저장되거나 정보가 없는 블러 영상이 저장될 수 있는 종래 기술의 한계점을 극복하고, 나아가 의미 있는 정보만을 효율적으로 생성하여 제공할 수 있다.
도 1은 종래의 영상 처리 장치에서의 정지 영상 캡쳐 방식을 설명하기 위한도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치의 블록도이다.
도 3은 본 발명에서 분할된 영역별 블러 테스트 수행 방식을 설명하기 위한 도면이다.
도 4는 본 발명에서 관심 영역 검출에 기초한 블러 테스트 수행 방식을 설명하기 위한 도면이다.
도 5는 본 발명에서 시간적 대조 방법을 이용해 블러를 검출하는 방식을 설명하기 위한 도면이다.
도 6은 본 발명에서 카메라 움직임 속도에 대한 영상 버퍼에 저장된 시간적 대조 대상 영상들의 획득 속도 간의 관계를 설명하기 위한 도면이다.
도 7은 본 발명에서 정상 영상과 블러 영상의 시각적 알람 방법을 설명하기 위한 예이다.
도 8은 본 발명에서 블러 위치의 시각적 알람 방법을 설명하기 위한 예이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치(100)의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 디지털 카메라, 내시경 카메라 등과 같은 영상 획득 장치(110), 영상 처리의 전반적인 기능을 수행하는 영상 처리 장치(120), 최근 소정의 시간 동안의 정지 영상 또는 이전 정지영상 캡쳐 요청에 의해 저장 장치(140)에 저장된 정지 영상(데이터)을 저장하는 영상 버퍼(130), 및 메모리와 같은 저장 장치(140)를 포함한다. 영상 처리 장치(120), 영상 버퍼(130), 및 저장 장치(140)는 반도체 프로세서와 같은 하드웨어, 응용 프로그램과 같은 소프트웨어, 또는 이들의 결합으로 구현될 수 있다.
본 발명에서는, 영상 획득 장치(110)가 동영상(비디오) (데이터)을 획득하며, 영상 처리 장치(120)는 동영상을 디스플레이 장치에 표시되도록 제어할 수 있고, 소정의 시간 단위로 정지 영상 (데이터)을 영상 버퍼(130)에 저장한다. 영상 처리 장치(120)는 최근 소정의 시간 동안의 정지 영상을 영상 버퍼(130)에 저장 유지시키며 시간의 경과에 따라 소정의 용량을 초과하는 영상은 삭제할 수 있다.
영상 획득 장치(110)가 동영상을 촬영하는 동안, 사용자 등으로부터 정지영상 캡쳐 요청이 발생하면, 영상 처리 장치(120)는, 영상 버퍼(130)에 저장된 하나 이상의 정지 영상으로부터 영상 버퍼(130)에 저장된 하나 이상의 정지 영상 중 블러가 가장 적은 깨끗한 영상을 선택하여 저장 장치(140)에 저장하고, 사용자 등의 요청에 따라 디스플레이 장치를 통해 제공될 수 있도록 한다. 또는, 하기하는 바와 같이, 정지영상 캡쳐 요청이 발생하면, 해당 정지 영상 캡쳐 요청에 대응되는 정지 영상으로서 영상 버퍼(130)에 저장된 하나 이상의 정지 영상과 저장 장치(140)에 저장된 하나 이상의 정지 영상 중 하나 이상의 영상을 알람의 유무와 상관 없이 상기 저장 장치에 저장할 수도 있다,
이 때 영상 처리 장치(120)는, 가속도 센서 및 자이로(Gyro) 센서로 획득한 정보를 참조해, 블러가 가장 적은 깨끗한 영상을 선택할 수 있다. 또한, 이때 영상 처리 장치(120)는, 블러 유무 또는 블러 위치를 판단하여, 블러 영상 또는 정상 영상인지 여부의 판단 결과, 블러 위치 등의 정보를 디스플레이 장치를 통해 시각적 알람 정보로 출력하거나, 스피커 등을 통해 청각적 알람 정보로 출력해 사용자가 재촬영 여부를 결정할 수 있도록 보조한다. 사용자는 풋 스위치, 버튼, 스피치, 조이스틱, 뇌파나 안전도와 같은 생체 신호 등을 통하여 영상 캡쳐 요청을 영상 처리 장치(120)에 입력할 수 있다.
다만, 사용자는 위와 같은 시각적 또는 청각적 알람 정보를 확인하고 블러 등으로 인하여 만족하지 못하는 경우 재촬영을 결정하고 재촬영을 요청할 수 있으며, 사용자 등의 재촬영 요청에 따라 재촬영된 정지 영상이 저장 장치(140)에 저장되게 할 수 있다. 즉, 영상 처리 장치(120)는, 사용자 등의 재촬영 요청에 따라 영상 획득 장치(110)에 의해 획득되어 영상 버퍼(130)에 새로이 저장된 하나 이상의 정지 영상(이전에 저장된 정지 영상 활용 가능)으로부터 블러 유무 또는 블러 위치를 다시 판단하여 해당 재촬영된 정지 영상을 저장 장치(140)에 저장하거나 또 다시 재촬영하는 과정을 반복 수행할 수 있다.
한편, 영상 처리 장치(120)는, 블러 유무 또는 블러 위치를 판단하기 위한 대상 정지 영상에 대하여 영상 전체 영역 또는 소정의 블록(예, 128*128 픽셀 등)으로 분할된 영역별로 블러 테스트를 수행하여 블러 영상 또는 정상 영상인지 여부를 결정할 수 있다. 블러 테스트에서는 각 픽셀에서 주변 픽셀과의 계조값 변화도 차이 등의 핸드 크레프트(Hand-crafted) 특징을 이용한 방법, 또는 패치 영상과 커널(kernel)들과의 컨볼루션(Convolution)값을 계산하는 딥 러닝(Deep learning) 방법을 이용해 수행할 수 있다. 관련된 선행 연구로써 "Blur detection for digital images using wavelet transform", Hanghang Tong, Mingjing Li, Hongjinang Zhang, Changshui Zhang, 2004 IEEE International Conference on Multimedia and Expo (ICME), June 2004, "Convolutional Neural Networks for No-Reference Image Quality Assessment", 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2014 등이 참조될 수 있다. 또한, 영상 처리 장치(120)는, 영상 획득 장치에 포함된 가속도 센서 및 자이로 센서로부터 획득한 신호를 참조하여 블러 테스트를 수행할 수 있다.
도 3은 본 발명에서 분할된 영역별 블러 테스트 수행 방식을 설명하기 위한 도면이다. 예를 들어, 테스트 대상 영상에 대하여 소정의 블록(예, 128*128 픽셀 등)으로 분할된 영역별로 블러 테스트를 수행하는 경우에, 도 3과 같이, 각 픽셀에서 주변 픽셀과의 계조값 변화도 차이 등을 기초로 블러 정도를 산출하여 기준치를 초과하는 블록들의 수에 따라 블러 영상 여부를 판단할 수 있다.
한편, 분할된 영역별 블러 테스트를 수행하여 카메라 움직임에 의한 전역 움직임과 일부 장기 움직임에 의한 국부 움직임을 구분할 수 있다.
도 4는 본 발명에서 관심 영역 (Region of interest) 검출에 기초한 블러 테스트 수행 방식을 설명하기 위한 도면이다. 관심 영역은 의학적으로 이상(Abnormal) 소견을 보이는 영역을 포함할 수 있다. 관심 영역은 영상 처리 장치 (120) 에서, 핸드 크레프트(Hand-crafted) 특징을 이용한 방법 또는 딥 러닝 (Deep learning) 을 이용한 방법 또는 사용자의 시선 추적 정보 등을 이용하여 검출할 수 있다. 예를 들어, 영상 처리 장치(120)는, 대상 정지 영상 전체 영역에서 먼저 도 4와 같이 대칭적인 객체의 좌우에서 계조값 변화도에 차이가 있는 부분을 찾는 방식, 또는 형태 및 기하학적 정보를 확인하는 방식, 또는 관심 영역이 포함된 많은 수의 영상들로 학습된 깊은 신경망 (Deep neural network) 등을 이용하여 해당 부분을 포함하는 관심 영역을 검출한 후 해당 관심 영역에만 위의 분할 영역에서의 블러 테스트 방식을 적용하여 블러 영상 여부를 판단할 수 있다.
또는, 도 4와 같이 관심 영역을 먼저 검출한 후, 다른 영역에 대하여 도 3과 같이 소정의 블록(예, 128*128 픽셀 등)으로 분할된 영역별로 블러 테스트를 수행하되, 관심 영역의 하나 이상의 블록에는 더 많은 가중치를 주어 블러 영상 여부를 판단할 수도 있다.
도 5는 본 발명에서 시간적 대조 (temporal matching) 방법을 이용해 블러를 검출하는 방식을 설명하기 위한 도면이다.
예를 들어, 영상 처리 장치(120)는, 도 5와 같이 영상 버퍼(130)에 저장된 다수의 영상을 참조하여 시간적 대조 (temporal matching) 방법을 이용해 블러를 검출할 수도 있다. 즉, 영상 버퍼(130)에 저장된 시간적으로 인접한 다수의 영상에 포함된 하나 이상의 객체에 대한 좌표 등을 정합하고 에지(edge)에서의 계조값이나 그 변화도 등을 비교하는 방법으로 해당 부분의 선명도를 판단하고 블러 영상 여부를 판단할 수도 있다. 이때 영상 버퍼(130)에 저장된 시간적 대조 대상 영상들은, 정지영상 캡쳐 요청이 발생할 당시에 영상 버퍼(130)에 저장된 정지 영상, 해당 정지영상 캡쳐 요청이 있기 이전에 영상 버퍼(130)에 저장된 하나 이상의 정지 영상, 및 이전 정지영상 캡쳐 요청에 의해 저장 장치(140)에 저장된 하나 이상의 정지 영상을 포함할 수 있다.
도 6은 본 발명에서 카메라 움직임 속도에 대한 영상 버퍼에 저장된 시간적 대조 대상 영상들의 획득 속도 간의 관계를 설명하기 위한 도면이다.
영상 버퍼(130)에는 소정의 시간 단위로 정지 영상들이 저장된다. 도 6과 같이, 영상 획득 장치(110)에서 전달되어 영상 버퍼(130)에 저장되는 정지 영상의 획득 속도는 카메라(110) 움직임의 속도에 따라 다를 수 있다. 예를 들어, 카메라(110) 움직임 속도가 빠를 경우 같은 시간에 적은 수의 유사한 정지 영상만을 영상 버퍼(130)에 저장하고, 카메라 움직임 속도가 느릴 경우 정지 같은 시간에 많은 수의 유사 정지 영상을 영상 버퍼(130)에 전달하여 저장한다. 영상 처리 장치(120)는 최근 소정의 시간 동안의 정지 영상을 영상 버퍼(130)에 저장 유지시키며 시간의 경과에 따라 소정의 용량을 초과하는 영상은 삭제할 수 있다.
도 7은 본 발명에서 정상 영상과 블러 영상의 시각적 알람 방법을 설명하기 위한 예이다. 도 8은 본 발명에서 블러 위치의 시각적 알람 방법을 설명하기 위한 예이다.
위와 같이 다양한 방식으로 블러를 검출하면, 영상 처리 장치(120)는, 블러 유무, 블러 위치 등 블러 검출 결과를 시각적 또는 청각적 알람을 통해 제공하며, 시각적 알람의 경우 도 7과 같이 영상의 가장자리 색상을 다르게 표시하는 방법 등을 이용하여 해당 정지영상 캡쳐 요청에 대한, 제공될 정지 영상이 블러가 없는 정상 영상(예, 초록색)인지, 또는 제공될 정지 영상이 블러가 있는 블러 영상(예, 빨강색)인지 여부를 사용자가 알 수 있도록 할 수 있다. 또한, 도 8과 같이, 해당 정지영상 캡쳐 요청에 대한 제공될 정지 영상이 블러 영상인 경우, 전체 비디오 영상(동영상) 중 해당 정지 영상의 위치(예, 시간 정보 등)과 함께 해당 정지 영상 내에서 블러가 검출된 위치에 대한 영역을 소정의 색상(예, 빨강색) 등으로 표시하여 블러 위치에 대한 시각적 알람을 제공할 수 있다. 이와 같은 색상 대신에 같은 하이라이트(예, 블러 영상을 정지 영상 보다 더 밝게 표시함)하는 방법으로도 블러 영상 여부를 표시할 수도 있다.
사용자는 위와 같은 시각적 또는 청각적 알람 정보를 확인하고 블러 등으로 인하여 만족하지 못하는 경우 재촬영을 결정하고 재촬영을 요청할 수 있으며, 재촬영된 정지 영상이 저장 장치(140)에 저장되게 할 수 있다. 즉, 사용자 등의 재촬영 요청에 따라 영상 처리 장치(120)는, 영상 획득 장치(110)에 의해 획득되어 영상 버퍼(130)에 새로이 저장된 하나 이상의 정지 영상(이전에 저장된 정지 영상 활용 가능)으로부터 블러 유무 또는 블러 위치를 다시 판단하여 해당 정지 영상을 저장하거나 또 다시 재촬영하는 과정을 수행할 수 있다.
경우에 따라, 영상 처리 장치(120)는, 블러 여부를 검출하기 위해, 블러 영상 및 블러 되지 않은 영상을 구분하여 저장한 데이터베이스 정보를 저장 장치(140) 또는 별도의 메모리 등 저장 수단에 저장하고, 위와 같이 새로이 업데이트되는 블러 영상으로 판단된 영상들과 정상 영상들로 판단된 영상들의 특징점, 계조값 등을 분석하여, 기계 학습(예, Deep Learning)을 수행함으로써 시간이 지날수록 더욱 사용자의 의도가 반영되어 블러 영상의 검출 정확도를 향상시킬 수 있다.
다만, 환자의 내시경 영상을 촬영하는 경우 등과 같이, 촬영 대상체나 피사체의 연속적인 움직임 등으로 여러 번 재촬영시에도 연속적으로 블러 검출이 될 경우에는, 재촬영 요청 횟수 또는 정지영상 캡쳐 요청 이후 저장 장치(140)에 저장된 정지 영상(프레임)의 수가, 미리 결정된 수 이상인 경우, 위와 같이 블러 검출(블러 유무 또는 블러 위치)을 판단하는 알람 모드를 종료하고, 정지영상 캡쳐 요청 이후 저장 장치(140)에 저장된 영상 중 가장 블러가 적은 깨끗한 영상을 선택하여 캡쳐 정지 영상으로 제공될 영상으로 저장 장치(140)에 저장하고 디스플레이 장치에 제공할 수 있다. 또는, 위와 같이 알람 모드를 종료하는 경우, 연속적으로 블러 검출이 되어 연속적인 알람에 의해 정지영상 캡쳐 요청 이후 저장 장치(140)에 캡쳐 정지 영상으로 제공될 영상으로서 복수의 정지 영상이 저장된 경우, 사용자 등의 요청에 따라 콘솔(console)에서 이를 하나의 그룹으로 식별하여 해당 전체 영상을 디스플레이 장치를 통해 제공될 수 있게 할 수 있다.
이와 같은 본 발명의 일 실시예에 따른 영상 처리 장치(120)에서 입출력 데이터 처리에 사용되는 기능은 컴퓨터 등 장치로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하며, 이와 같은 기록 매체와 컴퓨터 등 장치의 결합으로 기능 수행에 필요한 데이터나 정보를 입력하거나 출력하고 디스플레이하도록 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드 디스크, 이동형 저장장치 등이 있으며 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크(예, 인터넷, 이동통신 네트워크 등)로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장된 형태가 가능하며 네트워크를 통해 실행될 수도 있다.
상술한 바와 같이, 본 발명에 따른 영상 제공 장치(100)에 따르면, 내시경 영상 등의 촬영 중 정지영상 캡쳐 요청 시 블러 여부에 대한 알람을 제공함으로써 사용자가 블러 여부를 확인하고 필요시 재촬영 여부를 스스로 결정해 재촬영할 수 있도록 보조함으로써, 사용자의 의도와 상관없는 영상이 저장되거나 정보가 없는 블러 영상이 저장될 수 있는 종래 기술의 한계점을 극복하고, 나아가 의미 있는 정보만을 효율적으로 생성하여 제공할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
영상 획득 장치(110)
영상 처리 장치(120)
영상 버퍼(130)
저장 장치(140)

Claims (9)

  1. 영상 처리를 위한 영상 처리 장치;
    상기 영상 처리 장치가 영상 획득 장치에서 획득되는 동영상 중 소정의 시간 단위의 정지 영상을 저장하기 위한 영상 버퍼; 및
    정지 영상 캡쳐 요청에 대응되는 정지 영상을 저장하기 위한 저장 장치를 포함하고,
    상기 영상 버퍼 또는 상기 저장 장치에 저장된 영상 중 하나 이상의 영상에 대하여, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 것을 특징으로 하는 영상 제공 장치.
  2. 제1항에 있어서,
    상기 정지 영상 캡쳐 요청에 대하여, 상기 영상 처리 장치가 상기 영상 버퍼에 저장된 하나 이상의 정지 영상 중 블러가 적다고 판단되는 하나 이상의 영상을 캡쳐 정지 영상으로 제공될 영상으로 선택하여 상기 저장 장치에 저장하는 것을 특징으로 하는 영상 제공 장치.
  3. 제1항에 있어서,
    상기 정지 영상 캡쳐 요청에 대하여, 상기 정지 영상 캡쳐 요청에 대응되는 정지 영상으로서 상기 영상 버퍼에 저장된 하나 이상의 정지 영상과 상기 저장 장치에 저장된 하나 이상의 정지 영상 중 하나 이상의 영상을 알람의 유무와 상관 없이 상기 저장 장치에 저장하는 것을 특징으로 하는 영상 제공 장치.
  4. 제1항에 있어서,
    상기 영상 처리 장치는, 재촬영 요청에 따라 상기 영상 획득 장치를 통해 재촬영된 정지 영상을 상기 저장 장치에 저장하되,
    상기 영상 획득 장치를 통해 새로이 획득되어 상기 영상 버퍼에 저장된 하나 이상의 정지 영상을 이용하여 상기 블러 유무 또는 블러 위치를 다시 판단하여 상기 재촬영된 정지 영상을 상기 저장 장치에 저장하거나 다시 재촬영하는 과정을 반복 수행하는 것을 특징으로 하는 영상 제공 장치.
  5. 제1항에 있어서,
    상기 영상 처리 장치는, 상기 블러 유무 또는 블러 위치를 판단하기 위하여 테스트 대상 영상에 대하여,
    소정의 블록으로 분할된 영역별로 수행하는 제1방식,
    전체 영역에서 먼저 관심 영역을 검출한 후 해당 관심 영역에 대해 분할된 영역별로 수행하는 제2방식,
    제1방식과 제2방식을 결합하여 상기 분할된 영역별로 수행하되 상기 관심 영역에 더 많은 가중치를 주는 제3방식, 또는
    상기 정지영상 캡쳐 요청이 발생할 당시에 상기 영상 버퍼에 저장된 정지 영상과 해당 정지영상 캡쳐 요청이 있기 이전에 상기 영상 버퍼에 저장된 하나 이상의 정지 영상을 참조하여, 시간적으로 인접한 영상들을 정합하고 비교하는 제4방식
    중 어느 하나 이상을 이용하는 것을 특징으로 하는 영상 제공 장치.
  6. 제1항에 있어서,
    상기 영상 처리 장치는,
    제공될 정지 영상이 블러가 없는 정상 영상인지, 또는 제공될 정지 영상이 블러가 있는 블러 영상인지 여부를 영상의 가장자리 색상을 다르게 표시하는 방법 또는 하이라이트하는 방법으로 시각적 알람을 제공하거나,
    제공될 정지 영상이 블러 영상인 경우, 전체 동영상 중 해당 정지 영상의 위치과 함께 해당 정지 영상 내에서 블러가 검출된 위치에 대한 영역을 소정의 색상으로 표시하여 블러 위치에 대해 시각적 알람을 제공하는 것을 특징으로 하는 영상 제공 장치.
  7. 제1항에 있어서,
    상기 영상 처리 장치는,
    연속적으로 블러 검출에 의해 재촬영이 이루어지고, 재촬영 요청 횟수 또는 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 정지 영상의 수가, 미리 결정된 수 이상인 경우, 알람 모드를 종료하고 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 영상 중 가장 블러가 적은 깨끗한 영상을 선택하여 상기 캡쳐 정지 영상으로 제공될 영상으로 상기 저장 장치에 저장하는 것을 특징으로 하는 영상 제공 장치.
  8. 제7항에 있어서,
    상기 영상 처리 장치는,
    연속적으로 블러 검출에 의해 재촬영이 이루어지고, 재촬영 요청 횟수 또는 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 정지 영상의 수가, 미리 결정된 수 이상인 경우, 알람 모드를 종료하고, 사용자 요청에 따라 상기 정지영상 캡쳐 요청 이후 상기 저장 장치에 저장된 상기 캡쳐 정지 영상으로 제공될 복수의 영상을 하나의 그룹으로 식별하여 제공하는 것을 특징으로 하는 영상 제공 장치.
  9. 동영상 촬영 중 영상 처리 장치에서 캡쳐 정지 영상을 제공하는 영상 제공 방법에 있어서,
    영상 획득 장치에서 동영상 촬영 중 정지 영상 캡쳐 요청에 대하여, 상기 영상 처리 장치가 영상 버퍼에 저장된 하나 이상의 정지 영상 중 블러가 적다고 판단되는 하나 이상의 영상을 캡쳐 정지 영상으로 제공될 영상으로 선택하여 저장 장치에 저장하는 단계; 및
    상기 영상 처리 장치가 상기 캡쳐 정지 영상으로 제공될 영상에 대하여, 블러 유무 또는 블러 위치에 대한 판단 결과에 대한 알람 정보를 시각적 또는 청각적으로 제공하여 사용자가 재촬영 여부를 결정할 수 있도록 보조하는 단계
    를 포함하는 것을 특징으로 하는 영상 제공 방법.
KR1020160174249A 2016-12-20 2016-12-20 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치 KR102669621B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160174249A KR102669621B1 (ko) 2016-12-20 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치
PCT/KR2017/013898 WO2018117468A1 (ko) 2016-12-20 2017-11-30 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160174249A KR102669621B1 (ko) 2016-12-20 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180071532A true KR20180071532A (ko) 2018-06-28
KR102669621B1 KR102669621B1 (ko) 2024-05-28

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642555A (zh) * 2021-07-29 2021-11-12 深圳市芯成像科技有限公司 一种图像处理方法、计算机可读介质和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642555A (zh) * 2021-07-29 2021-11-12 深圳市芯成像科技有限公司 一种图像处理方法、计算机可读介质和系统
CN113642555B (zh) * 2021-07-29 2022-08-05 深圳市芯成像科技有限公司 一种图像处理方法、计算机可读介质和系统

Also Published As

Publication number Publication date
WO2018117468A1 (ko) 2018-06-28

Similar Documents

Publication Publication Date Title
US10758119B2 (en) Automatic fundus image capture system
KR102237441B1 (ko) 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
US20090208062A1 (en) Method and a handheld device for capturing motion
US20100091135A1 (en) Image capturing apparatus, method of determining presence or absence of image area, and recording medium
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
CN110059666B (zh) 一种注意力检测方法及装置
US9183634B2 (en) Image processing apparatus and image processing method
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
US11283987B2 (en) Focus region display method and apparatus, and storage medium
KR20140039939A (ko) 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
KR20160050671A (ko) 움직임 영역 검출 장치 및 방법
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
US10455144B2 (en) Information processing apparatus, information processing method, system, and non-transitory computer-readable storage medium
JP2007281555A (ja) 撮像装置
JP6091172B2 (ja) 特徴点検出装置およびプログラム
JP2009123081A (ja) 顔検出方法及び撮影装置
JP7266599B2 (ja) 患者の身体運動を検知するためのデバイス、システム及び方法
JP4926450B2 (ja) 画像処理装置
KR20180071532A (ko) 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치
KR102669621B1 (ko) 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치
JP2015233202A (ja) 画像処理装置および画像処理方法、並びにプログラム
CN111064864A (zh) 设置畸变校正参数的方法、装置和内窥镜系统
JP4052348B2 (ja) 画像処理装置、及び画像処理方法
JP2021105850A (ja) 画像処理装置及び方法、及び撮像装置
CN111835968B (zh) 图像清晰度还原方法及装置、图像拍摄方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant