KR20130036514A - 영상에서 물체 검출 장치 및 방법 - Google Patents

영상에서 물체 검출 장치 및 방법 Download PDF

Info

Publication number
KR20130036514A
KR20130036514A KR1020110100635A KR20110100635A KR20130036514A KR 20130036514 A KR20130036514 A KR 20130036514A KR 1020110100635 A KR1020110100635 A KR 1020110100635A KR 20110100635 A KR20110100635 A KR 20110100635A KR 20130036514 A KR20130036514 A KR 20130036514A
Authority
KR
South Korea
Prior art keywords
image
area
input image
inpainting
similarity
Prior art date
Application number
KR1020110100635A
Other languages
English (en)
Other versions
KR101704830B1 (ko
Inventor
정지훈
유상원
이재영
최성록
유원필
박승환
크리스티안
이유철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110100635A priority Critical patent/KR101704830B1/ko
Priority to US13/644,529 priority patent/US20130083965A1/en
Publication of KR20130036514A publication Critical patent/KR20130036514A/ko
Application granted granted Critical
Publication of KR101704830B1 publication Critical patent/KR101704830B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 획득 장치에서 획득한 영상에서 물체를 검출함에 있어서, 획득한 영상에 대해 열영상을 이용하여 물체의 위치를 검출하고, 검출된 물체의 영역을 영상 인페인팅 영역으로 지정한 후, 주변 정보를 통해 해당 영역을 복원하고 복원된 영상과 원본 영상의 차이를 검사하여 원본 영상내 물체 영역을 분할함으로서 보다 정확하게 물체를 검출할 수 있다.

Description

영상에서 물체 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING OBJECT IN IMAGE}
본 발명은 영상에서 물체를 검출하는 시스템에 관한 것으로, 특히 카메라 등의 영상 획득 장치에서 획득한 영상에서 물체를 검출함에 있어서, 획득한 영상에 대해 열영상을 이용하여 물체의 위치를 검출하고, 검출된 물체의 영역을 영상 인페인팅 영역으로 지정한 후, 주변 정보를 통해 해당 영역을 복원하고 복원된 영상과 원본 영상의 차이를 검사하여 원본 영상내 물체 영역을 분할함으로서 보다 정확하게 물체를 검출할 수 있도록 하는 영상에서 물체 검출 장치 및 방법에 관한 것이다.
일반적으로, 카메라 등의 영상 획득 장치에서 물체를 검출하고자 하는 경우 물체 검출 알고리즘에서 가장 중요한 성능 지표는 검출속도 즉, 얼마나 빨리 검출 가능한가와 얼마나 많이 검출하는가를 나타내는 검출율, 또한 얼마나 적게 잘못 검출하는가를 나타내는 오검출율과 얼마나 잘 검출된 물체의 영역을 정확히 표현하는가 등이 있다
이때, 물체의 검출에 있어서 열영상을 이용한 물체 검출의 경우 물체의 온도 대역이 좁아 검출속도가 낮고 오검출율이 높다. 따라서 열영상을 이용한 물체 검출의 경우 검출속도를 높이고 오검출율을 낮출 수 있도록 하는 물체 검출 방법이 필요하다.
또한, 물체 검출 결과를 바탕으로 실제 물리적 하드웨어(hardware)가 동작하는 경우, 예를 들어 얼굴 인식 후 사진 찍기, 로봇이 물체 인식 후 물체 집기, 무인 자동차에서 사람 검출 후 회피 또는 정지하기 등의 경우에 물체에 대한 오검출율의 향상은 전체적인 시스템의 안정적인 운용을 위해 필수적이다.
대한민국 공개특허번호 10-2010-0083498호 공개일자 2010년 07월 22일에는 이미지 복원 요청에 따라 복원할 타겟 이미지 영역의 일부분을 우선적으로 복원할 복원 이미지 영역으로 설정하는 방식을 이용하는 이미지 복원 장치 및 방법에 관한 기술이 개시되어 있다.
따라서, 본 발명은 영상 획득 장치에서 획득한 영상에서 물체를 검출함에 있어서, 획득한 영상에 대해 열영상을 이용하여 물체의 위치를 검출하고, 검출된 물체의 영역을 영상 인페인팅 영역으로 지정한 후, 주변 정보를 통해 해당 영역을 복원하고 복원된 영상과 원본 영상의 차이를 검사하여 원본 영상내 물체 영역을 분할함으로서 보다 정확하게 물체를 검출할 수 있도록 하는 영상에서 물체 검출 장치 및 방법을 제공하고자 한다.
상술한 본 발명은 영상에서 물체 검출 장치로서, 입력 영상으로부터 열영상을 이용하여 물체를 검출하는 물체 검출부와, 상기 물체 검출부의 물체 검출 결과를 바탕으로 인페인팅 영역을 설정하는 인페인팅 영역 설정부와, 상기 입력 영상내 상기 인페인팅 영역의 주변 정보를 이용하여 상기 인페인팅 영역을 복원하는 복원부와, 상기 인페인팅 영역을 복원한 복원 영상과 상기 입력 영상과의 유사도를 비교하여 상기 입력 영상내 물체의 실존 여부를 판단하는 유사도 비교부와, 상기 물체가 실존하는 것으로 판단되는 경우, 상기 복원 영상과 입력 영상과의 차이를 구해 상기 물체의 영역을 추출하는 물체영역 분할부를 포함한다.
또한, 상기 물체 검출부는, 슬라이딩 윈도우 방식으로 고정된 크기의 영역을 상기 입력 영상내에서 순차적으로 이동시키면서 열영상을 이용하여 상기 물체를 검출하는 것을 특징으로 한다.
또한, 상기 물체 검출부는, 상기 열영상을 이용하여 상기 영역내 찾고자 하는 물체의 온도를 가지는 픽셀의 수를 카운트한 카운트값을 산출하여 상기 카운트값이 일정 기준값 이상인 경우 상기 영역에 대해 물체 검증 알고리즘을 적용하여 상기 물체의 존재를 검사하는 것을 특징으로 한다.
또한, 상기 물체 검출부는, 상기 카운트값이 일정 기준값 이하인 경우 상기 영역에 대해 물체 검증 알고리즘을 적용하지 않는 것을 특징으로 한다.
또한, 상기 영역은, 직사각형 또는 기본 도형으로 설정되는 것을 특징으로 한다.
또한, 상기 인페인팅 영역 설정부는, 상기 인페인팅 영역의 설정 시 상기 인페인팅 영역의 모양을 상기 물체의 형상에 대응되게 변형시키는 것을 특징으로 한다.
또한, 상기 유사도 비교부는, 상기 복원 영상과 입력 영상간 유사도 측정을 통해 산출된 유사도의 값이 기 설정된 일정 기준값 이상인 경우 상기 인페인팅 영역내 상기 물체가 실존하는 것을 판단하는 것을 특징으로 한다.
또한, 상기 유사도 측정은, 상기 원본 영상과 입력 영상간 히스토그램을 이용한 유사도 비교 방법 또는 다이나믹 타임 워핑(dynamic time warping)을 이용한 유사도 비교 방법 또는 두 영상의 차이를 제곱하여 더하는 방법 또는 두 영상의 차이를 구하고 그 차이가 일정 수치 이상인 픽셀을 카운트하는 방법을 통해 수행되는 것을 특징으로 한다.
또한, 상기 물체영역 분할부는, 상기 복원 영상과 입력 영상간 비교를 통해 상기 물체의 전경 정보를 추출하고, 상기 물체 위치의 사전 확률과 상기 입력 영상에 대한 영상 분할 결과를 상기 전경 정보에 반영하여 상기 입력 영상으로부터 상기 물체의 영역을 분할하는 것을 특징으로 한다.
또한, 본 발명은 입력 영상으로부터 열영상을 이용하여 물체를 검출하는 단계와, 상기 물체 검출부의 물체 검출 결과를 바탕으로 인페인팅 영역을 설정하는 단계와, 상기 입력 영상내 상기 인페인팅 영역의 주변 정보를 이용하여 상기 인페인팅 영역을 복원하는 단계와, 상기 인페인팅 영역을 복원한 복원 영상과 상기 입력 영상과의 유사도를 비교하여 물체가 실존하는지 판단하는 단계와, 상기 물체가 실존하는 것으로 판단되는 경우, 상기 복원 영상과 입력 영상과의 차이를 구해 상기 물체의 영역을 추출하는 단계를 포함한다.
또한, 상기 물체를 검출하는 단계에서, 슬라이딩 윈도우 방식으로 고정된 크기의 영역을 상기 입력 영상내에서 순차적으로 이동시키면서 열영상을 이용하여 상기 물체를 검출하는 것을 특징으로 한다.
또한, 상기 물체를 검출하는 단계는, 상기 열영상을 이용하여 상기 영역내 찾고자 하는 물체의 온도를 가지는 픽셀의 수를 카운트한 카운트값을 산출하는 단계와, 상기 카운트값이 일정 기준값 이상인 경우 상기 영역에 대해 물체 검증 알고리즘을 적용하여 상기 물체의 존재를 검사하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 카운트값이 일정 기준값 이하인 경우 상기 영역에 대해 물체 검증 알고리즘을 적용하지 않는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 영역은, 직사각형 또는 기본 도형으로 설정되는 것을 특징으로 한다.
또한, 상기 인페인팅 영역은, 상기 물체의 형상에 대응되게 여러 가지 도형의 모양으로 변형되어 설정되는 것을 특징으로 한다.
또한, 상기 물체의 실존을 판단하는 단계는, 상기 복원 영상과 입력 영상간 유사도 측정을 통해 유사도 값을 산출하는 단계와, 상기 산출된 유사도 값이 기 설정된 일정 기준값 이상인 경우 상기 인페인팅 영역내 상기 물체가 실존하는 것을 판단하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 유사도 측정은, 상기 원본 영상과 입력 영상간 히스토그램을 이용한 유사도 비교 방법 또는 다이나믹 타임 워핑(dynamic time warping)을 이용한 유사도 비교 방법 또는 두 영상의 차이를 제곱하여 더하는 방법 또는 두 영상의 차이를 구하고 그 차이가 일정 수치 이상인 픽셀을 카운트하는 방법을 통해 수행되는 것을 특징으로 한다.
또한, 상기 물체영역을 분할하는 단계는, 상기 복원 영상과 입력 영상간 비교를 통해 상기 물체의 전경 정보를 추출하는 단계와, 상기 물체 위치의 사전 확률과 상기 입력 영상에 대한 영상 분할 결과를 상기 전경 정보에 반영하여 상기 입력 영상으로부터 상기 물체의 영역을 분할하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 영상 획득 장치에서 획득한 영상에서 물체를 검출함에 있어서, 획득한 영상에 대해 열영상을 이용하여 물체의 위치를 검출하고, 검출된 물체의 영역을 영상 인페인팅 영역으로 지정한 후, 주변 정보를 통해 해당 영역을 복원하고 복원된 영상과 원본 영상의 차이를 검사하여 원본 영상내 물체 영역을 분할함으로서 보다 정확하게 물체를 검출할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 영상에서 물체 검출 장치의 상세 블록 구성도,
도 2는 본 발명의 실시예에 따른 슬라이딩 윈도우 방식의 물체 검출 예시도,
도 3은 본 발명의 실시예에 따른 인페인팅 영역 설정 예시도,
도 4는 본 발명의 실시예에 따른 물체 검출 결과에 인페인팅을 적용한 결과 예시도,
도 5는 본 발명의 실시예에 따른 복원 영상과 원본 영상간 유사도 비교 후 물체의 실존 여부 판단 개념도,
도 6은 본 발명의 실시예에 따른 원본 영상에서 물체 영역 분할 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따른 영상에서 물체 검출 장치의 상세 블록 구성을 도시한 것으로, 본 발명의 물체 검출 장치(100)는 물체 검출부(102), 인페인팅(inpainting) 영역 설정부(104), 복원부(106), 유사도 비교부(108), 물체영역 분할부(110) 등을 포함한다.
이하, 도 1을 참조하여 본 발명의 물체 검출 장치(100)의 각 구성요소에서의 동작을 상세히 설명하기로 한다.
먼저, 물체 검출부(102)는 입력 영상에 대해 열영상을 이용하여 영상내 물체(object)를 검출한다. 이때, 물체 검출부(102)에서 물체를 검출하기 위한 방법으로는 도 2에서 보여지는 바와 같이 대부분 고정된 크기의 직사각형 또는 기본 도형 영역을 이동하며 해당 영역에 물체가 있는지의 여부를 판단하는 슬라이딩 윈도우(sliding window) 방식을 사용한다.
즉, 열영상에서 슬라이딩 윈도우(sliding window) 방식으로 물체를 검출하고자 하는 경우 도 2에서 보여지는 바와 같이 직사각형 영역 안에 찾고자 하는 물체의 온도를 갖는 픽셀(pixel)의 개수를 세어 픽셀의 수가 기준 개수 이하인 경우 해당 영역에 물체 검증 알고리즘을 적용하지 않고, 픽셀의 수가 기준 개수 이상인 경우에만 물체 검증 알고리즘을 적용하여 물체를 검출한다.
이때, 직사각형 영역 안의 특정 온도를 갖는 픽셀의 개수를 빠른 시간에 셀 수 있기 위해 입력 영상에서 특정 온도 대역의 픽셀에 대해서는 픽셀값을 "1"로 변환하고, 그렇지 않은 경우에는 픽셀값을 "0"으로 변환하여 이것을 적분 영상으로 만들어 물체 검출에 사용한다.
인페인팅 영역 설정부(104)는 물체 검출부(102)로부터 입력 영상내 물체 존재에 대한 정보를 입력받는 경우, 물체가 존재하는 것으로 검출된 영역에 대해 해당 영역을 포함하는 이미지 인페인팅을 위한 인페인팅 영역을 설정한다. 이미지 인페인팅(image inpainting)은 카메라 등의 영상 획득 장치에서 획득된 영상 즉, 예를 들어, 사진 또는 비디오에 대해 손실되거나 삭제하고 싶은 영역을 주변 정보를 이용하여 해당 영역을 주변 환경과 일관성 있게 복원하는 기술로, 인페인팅 영역 설정부(104)는 복원부(106)에서 이미지 인페인팅 기술을 이용하여 영상을 복원할 수 있도록 물체 검출부(102)로부터의 물체 검출 결과를 바탕으로 인페인팅 영역을 설정하여 제공한다.
도 3은 인페인팅 영역 설정부(104)에서 물체 검출부(102)로부터의 물체 검출 결과를 바탕으로 인페인팅 영역을 설정하는 것을 예시한 도면으로, 인페인팅 영역 설정부(104)는 물체 검출 결과에 인페인팅 영역을 지정할 때 그 형상을 찾고자 하는 물체에 맞게 사각형, 사다리꼴형, 원형 등으로 영역의 모양을 변형하여 설정할 수 있다.
복원부(106)는 인페인팅 영역 설정부(104)에서 설정된 인페인팅 영역에 대해 주변 정보를 이용하여 해당 영역을 주변 환경과 일관성 있게 복원시킨다.
도 4는 복원부(106)에서 인페인팅 영역 설정부(104)를 통해 설정된 인페인팅 영역에 대해 주변 정보를 이용하여 해당 영역을 주변 환경과 일관성 있게 복원시키는 예를 도시한 것이다.
도 4의 (a)는 영상내 사람 등의 물체가 존재하는 위치를 포함하도록 설정된 인페인팅 영역(400)에 대해 복원부(106)에서 사람이 위치한 주변의 도로와 나무 등의 영상 즉, 주변 정보를 이용하여 인페인팅 영역의 영상을 주변 환경과 일관성 있게 복원시킨 것을 보여준다.
도 4의 (b)는 영상내 박스형의 물체가 존재하는 위치를 포함하도록 설정된 인페인팅 영역(402)에 대해 복원부(106)에서 박스형의 물체가 위치한 나무 등의 영상 즉, 주변 정보를 이용하여 인페인팅 영역의 영상을 주변 환경과 일관성 있게 복원시킨 것을 보여준다.
도 4의 (c)는 영상내 자동차가 존재하는 위치를 포함하도록 설정된 인페인팅 영역(404)에 대해 복원부(106)에서 사람이 위치한 주변의 도로와 나무 등의 영상 즉, 주변 정보를 이용하여 인페인팅 영역의 영상을 주변 환경과 일관성 있게 복원시킨 것을 보여준다.
유사도 비교부(108)는 복원부(106)로부터 복원된 영상과 원본 영상을 비교하여 유사도 값을 산출하고, 유사도 값이 물체의 존재를 판단할 수 있도록 미리 설정된 기준값 이상이 되는지 또는 이하가 되는지를 판단하여 물체가 실존하는지 여부를 판단한다.
이때, 유사도 비교부(108)는 복원된 영상과 원본 영상간 유사도를 비교하는 방법으로, 히스토그램(histogram)을 이용한 유사도 비교 방법, 다이나믹 타임 워핑(dynamic time warping)을 사용하는 방법, 두 영상의 차이를 제곱하여 더하는 방법 등을 사용할 수 있다. 즉, 유사도 비교부(108)는 도 5에 보여지는 바와 같이, 복원 영상(502)과 원본 영상(500)간 차이를 구하고 그 차이가 미리 설정된 임계값 이상인 픽셀을 카운트(count)하여 유사도 값을 구하고, 구해된 유사도 값이 기준값 이하인 경우 인페인팅 영역에 물체가 실존하는 것으로 판단할 수 있다.
물체영역 분할부(110)는 유사도 비교부(108)에서 인페인팅 설정 영역에 물체가 실존하는 것으로 판단되는 경우, 복원부(106)에서 복원된 영상과 원본 영상간 비교를 통해 인페인팅 영역에 존재하는 물체 영역을 분리한다.
즉, 복원부(106)에서 복원된 영상은 물체(전경)를 제외한 배경 정보만 담고 있다고 판단할 수 있으므로, 이 복원된 영상과 원본 영상 사이의 차이를 구해 차이가 명확한 픽셀 부분을 전경 정보로 판단하여 물체의 영역을 추출할 수 있다.
도 6은 물체영역 분할부(110)에서 원본 영상에 존재하는 물체 영역을 분리하는 개념을 예시한 도면이다.
도 6을 참조하면, 물체영역 분할부(110)는 복원 영상(600)과 원본 영상(602)간 비교를 통해 원본 영상(602)에 존재하는 물체 즉, 전경을 추출하고, 추출된 전경 영상(604)에 대해 물체 위치의 사전 확률(606)과 영상 분할 결과(608)를 반영한 물체영역 분할 결과(610)를 산출하여 원본 영상으로부터 물체 영역을 추출하게 된다.
상기한 바와 같이, 본 발명은 영상 획득 장치에서 획득한 영상에서 물체를 검출함에 있어서, 획득한 영상에 대해 열영상을 이용하여 물체의 위치를 검출하고, 검출된 물체의 영역을 영상 인페인팅 영역으로 지정한 후, 주변 정보를 통해 해당 영역을 복원하고 복원된 영상과 원본 영상의 차이를 검사하여 원본 영상내 물체 영역을 분할함으로서 보다 정확하게 물체를 검출할 수 있다.
한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
102 : 물체 검출부 104 : 인페인팅 영역 설정부
106 : 복원부 108 : 유사도 비교부
110 : 물체영역 분할부

Claims (18)

  1. 입력 영상으로부터 열영상을 이용하여 물체를 검출하는 물체 검출부와,
    상기 물체 검출부의 물체 검출 결과를 바탕으로 인페인팅 영역을 설정하는 인페인팅 영역 설정부와,
    상기 입력 영상내 상기 인페인팅 영역의 주변 정보를 이용하여 상기 인페인팅 영역을 복원하는 복원부와,
    상기 인페인팅 영역을 복원한 복원 영상과 상기 입력 영상과의 유사도를 비교하여 상기 입력 영상내 물체의 실존 여부를 판단하는 유사도 비교부와,
    상기 물체가 실존하는 것으로 판단되는 경우, 상기 복원 영상과 입력 영상과의 차이를 구해 상기 물체의 영역을 추출하는 물체영역 분할부
    를 포함하는 영상에서 물체 검출 장치.
  2. 제 1 항에 있어서,
    상기 물체 검출부는,
    슬라이딩 윈도우 방식으로 고정된 크기의 영역을 상기 입력 영상내에서 순차적으로 이동시키면서 열영상을 이용하여 상기 물체를 검출하는 것을 특징으로 하는 영상에서 물체 검출 장치.
  3. 제 2 항에 있어서,
    상기 물체 검출부는,
    상기 열영상을 이용하여 상기 영역내 찾고자 하는 물체의 온도를 가지는 픽셀의 수를 카운트한 카운트값을 산출하여 상기 카운트값이 일정 기준값 이상인 경우 상기 영역에 대해 물체 검증 알고리즘을 적용하여 상기 물체의 존재를 검사하는 것을 특징으로 하는 영상에서 물체 검출 장치.
  4. 제 3 항에 있어서,
    상기 물체 검출부는,
    상기 카운트값이 일정 기준값 이하인 경우 상기 영역에 대해 물체 검증 알고리즘을 적용하지 않는 것을 특징으로 하는 영상에서 물체 검출 장치.
  5. 제 2 항에 있어서,
    상기 영역은,
    직사각형 또는 기본 도형으로 설정되는 것을 특징으로 하는 영상에서 물체 검출 장치.
  6. 제 1 항에 있어서,
    상기 인페인팅 영역 설정부는,
    상기 인페인팅 영역의 설정 시 상기 인페인팅 영역의 모양을 상기 물체의 형상에 대응되게 변형시키는 것을 특징으로 하는 영상에서 물체 검출 장치.
  7. 제 1 항에 있어서,
    상기 유사도 비교부는,
    상기 복원 영상과 입력 영상간 유사도 측정을 통해 산출된 유사도의 값이 기 설정된 일정 기준값 이상인 경우 상기 인페인팅 영역내 상기 물체가 실존하는 것을 판단하는 것을 특징으로 하는 영상에서 물체 검출 장치.
  8. 제 7 항에 있어서,
    상기 유사도 측정은,
    상기 원본 영상과 입력 영상간 히스토그램을 이용한 유사도 비교 방법 또는 다이나믹 타임 워핑(dynamic time warping)을 이용한 유사도 비교 방법 또는 두 영상의 차이를 제곱하여 더하는 방법 또는 두 영상의 차이를 구하고 그 차이가 일정 수치 이상인 픽셀을 카운트하는 방법을 통해 수행되는 것을 특징으로 하는 영상에서 물체 검출 장치.
  9. 제 1 항에 있어서,
    상기 물체영역 분할부는,
    상기 복원 영상과 입력 영상간 비교를 통해 상기 물체의 전경 정보를 추출하고, 상기 물체 위치의 사전 확률과 상기 입력 영상에 대한 영상 분할 결과를 상기 전경 정보에 반영하여 상기 입력 영상으로부터 상기 물체의 영역을 분할하는 것을 특징으로 하는 영상에서 물체 검출 장치.
  10. 입력 영상으로부터 열영상을 이용하여 물체를 검출하는 단계와,
    상기 물체 검출부의 물체 검출 결과를 바탕으로 인페인팅 영역을 설정하는 단계와,
    상기 입력 영상내 상기 인페인팅 영역의 주변 정보를 이용하여 상기 인페인팅 영역을 복원하는 단계와,
    상기 인페인팅 영역을 복원한 복원 영상과 상기 입력 영상과의 유사도를 비교하여 물체가 실존하는지 판단하는 단계와,
    상기 물체가 실존하는 것으로 판단되는 경우, 상기 복원 영상과 입력 영상과의 차이를 구해 상기 물체의 영역을 추출하는 단계
    를 포함하는 영상에서 물체 검출 방법.
  11. 제 10 항에 있어서,
    상기 물체를 검출하는 단계에서,
    슬라이딩 윈도우 방식으로 고정된 크기의 영역을 상기 입력 영상내에서 순차적으로 이동시키면서 열영상을 이용하여 상기 물체를 검출하는 것을 특징으로 하는 영상에서 물체 검출 방법.
  12. 제 11 항에 있어서,
    상기 물체를 검출하는 단계는,
    상기 열영상을 이용하여 상기 영역내 찾고자 하는 물체의 온도를 가지는 픽셀의 수를 카운트한 카운트값을 산출하는 단계와,
    상기 카운트값이 일정 기준값 이상인 경우 상기 영역에 대해 물체 검증 알고리즘을 적용하여 상기 물체의 존재를 검사하는 단계
    를 포함하는 것을 특징으로 하는 영상에서 물체 검출 방법.
  13. 제 12 항에 있어서,
    상기 카운트값이 일정 기준값 이하인 경우 상기 영역에 대해 물체 검증 알고리즘을 적용하지 않는 단계를 더 포함하는 것을 특징으로 하는 영상에서 물체 검출 방법.
  14. 제 11 항에 있어서,
    상기 영역은,
    직사각형 또는 기본 도형으로 설정되는 것을 특징으로 하는 영상에서 물체 검출 방법.
  15. 제 10 항에 있어서,
    상기 인페인팅 영역은,
    상기 물체의 형상에 대응되게 여러 가지 도형의 모양으로 변형되어 설정되는 것을 특징으로 하는 영상에서 물체 검출 방법.
  16. 제 10 항에 있어서,
    상기 물체의 실존을 판단하는 단계는,
    상기 복원 영상과 입력 영상간 유사도 측정을 통해 유사도 값을 산출하는 단계와,
    상기 산출된 유사도 값이 기 설정된 일정 기준값 이상인 경우 상기 인페인팅 영역내 상기 물체가 실존하는 것을 판단하는 단계
    를 포함하는 것을 특징으로 하는 영상에서 물체 검출 방법.
  17. 제 16 항에 있어서,
    상기 유사도 측정은,
    상기 원본 영상과 입력 영상간 히스토그램을 이용한 유사도 비교 방법 또는 다이나믹 타임 워핑(dynamic time warping)을 이용한 유사도 비교 방법 또는 두 영상의 차이를 제곱하여 더하는 방법 또는 두 영상의 차이를 구하고 그 차이가 일정 수치 이상인 픽셀을 카운트하는 방법을 통해 수행되는 것을 특징으로 하는 영상에서 물체 검출 방법.
  18. 제 10 항에 있어서,
    상기 물체영역을 분할하는 단계는,
    상기 복원 영상과 입력 영상간 비교를 통해 상기 물체의 전경 정보를 추출하는 단계와,
    상기 물체 위치의 사전 확률과 상기 입력 영상에 대한 영상 분할 결과를 상기 전경 정보에 반영하여 상기 입력 영상으로부터 상기 물체의 영역을 분할하는 단계를 포함하는 것을 특징으로 하는 영상에서 물체 검출 방법.








KR1020110100635A 2011-10-04 2011-10-04 영상에서 물체 검출 장치 및 방법 KR101704830B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110100635A KR101704830B1 (ko) 2011-10-04 2011-10-04 영상에서 물체 검출 장치 및 방법
US13/644,529 US20130083965A1 (en) 2011-10-04 2012-10-04 Apparatus and method for detecting object in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110100635A KR101704830B1 (ko) 2011-10-04 2011-10-04 영상에서 물체 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130036514A true KR20130036514A (ko) 2013-04-12
KR101704830B1 KR101704830B1 (ko) 2017-02-09

Family

ID=47992632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110100635A KR101704830B1 (ko) 2011-10-04 2011-10-04 영상에서 물체 검출 장치 및 방법

Country Status (2)

Country Link
US (1) US20130083965A1 (ko)
KR (1) KR101704830B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111826A1 (ko) * 2014-01-24 2015-07-30 에스케이플래닛 주식회사 참조 영역 분할을 이용한 인페인팅 장치 및 방법
KR20210086487A (ko) * 2019-12-30 2021-07-08 세종대학교산학협력단 동영상내의 이상 물체 탐지 방법 및 그 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5673550B2 (ja) * 2009-11-20 2015-02-18 日本電気株式会社 画像修復システム、画像修復方法及び画像修復プログラム
US8827552B2 (en) * 2011-09-14 2014-09-09 K-Jump Health Co., Ltd. Method for displaying temperature measured by an electronic thermometer by picture
KR102130316B1 (ko) 2013-09-30 2020-07-08 한국전자통신연구원 영상 인식 장치 및 방법
US10062155B2 (en) * 2013-11-19 2018-08-28 Lg Display Co., Ltd. Apparatus and method for detecting defect of image having periodic pattern
CN108989604B (zh) * 2018-07-20 2020-05-05 京东方科技集团股份有限公司 图像加密方法、图像传输方法、电子设备、可读存储介质
US11526967B2 (en) 2019-11-25 2022-12-13 Samsung Electronics Co., Ltd. System and method for precise image inpainting to remove unwanted content from digital images
CN113874909A (zh) * 2020-04-03 2021-12-31 深圳市大疆创新科技有限公司 图像处理方法及设备、摄像装置、可移动设备、计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100083498A (ko) 2009-01-14 2010-07-22 삼성전자주식회사 이미지 복원 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778445B2 (en) * 2006-06-07 2010-08-17 Honeywell International Inc. Method and system for the detection of removed objects in video images
JP5673550B2 (ja) * 2009-11-20 2015-02-18 日本電気株式会社 画像修復システム、画像修復方法及び画像修復プログラム
US8620093B2 (en) * 2010-03-15 2013-12-31 The United States Of America As Represented By The Secretary Of The Army Method and system for image registration and change detection
US20120141045A1 (en) * 2010-12-01 2012-06-07 Sony Corporation Method and apparatus for reducing block artifacts during image processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100083498A (ko) 2009-01-14 2010-07-22 삼성전자주식회사 이미지 복원 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Background-aware pedestrian/vehicle detection system for driving environments *
Optical flow or image subtraction in human detection from infrared camera on mobile robot *
Simultaneous cartoon and texture image inpainting using morphological component analysis *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111826A1 (ko) * 2014-01-24 2015-07-30 에스케이플래닛 주식회사 참조 영역 분할을 이용한 인페인팅 장치 및 방법
US9922404B2 (en) 2014-01-24 2018-03-20 Sk Planet Co., Ltd. Inpainting device and method using segmentation of reference region
US10127643B2 (en) 2014-01-24 2018-11-13 Sk Planet Co., Ltd. Inpainting device and method using segmentation of reference region
KR20210086487A (ko) * 2019-12-30 2021-07-08 세종대학교산학협력단 동영상내의 이상 물체 탐지 방법 및 그 장치

Also Published As

Publication number Publication date
KR101704830B1 (ko) 2017-02-09
US20130083965A1 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
KR20130036514A (ko) 영상에서 물체 검출 장치 및 방법
US10810440B2 (en) Methods and apparatus to count people in images
US10289699B2 (en) Vehicle inspection methods and systems
US9292736B2 (en) Methods and apparatus to count people in images
US9465999B2 (en) Methods and apparatus to count people in images
WO2016199244A1 (ja) 物体認識装置及び物体認識システム
US9275285B2 (en) Methods and apparatus to count people in images
JP2015062121A5 (ko)
KR101921610B1 (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
EP2731052A2 (en) Spectral scene simplification through background substraction
CN113971784A (zh) 一种客流统计方法、装置、计算机设备及存储介质
US10230946B2 (en) Method of detecting tilt of image capturing direction and apparatus of detecting tilt of image capturing direction
US20080247615A1 (en) Two-Way Scanning Fingerprint Sensor
CN109479118A (zh) 对象检测方法、对象检测装置以及电子设备
KR101412369B1 (ko) 영상의 객체 검출 방법 및 장치
EP3264329A1 (fr) Procede et dispositif de detection de fraude par examen a deux focales distinctes lors d'une reconnaissance automatique d'un visage
CN108334811B (zh) 一种人脸图像处理方法及装置
KR101437584B1 (ko) 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 결과 표시 장치
US20190019026A1 (en) Method of detecting fraud during iris recognition
Padmashini et al. Vision based algorithm for people counting using deep learning
CN113947795A (zh) 口罩佩戴检测方法、装置、设备及存储介质
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
CN108629806B (zh) 一种基于图像对比度的图像显著性物体检测方法及系统
Kulikov et al. Method of abandoned object detection based on a sequence of depth images
KR101430258B1 (ko) 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant