KR20180122831A - 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 - Google Patents

객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20180122831A
KR20180122831A KR1020170056912A KR20170056912A KR20180122831A KR 20180122831 A KR20180122831 A KR 20180122831A KR 1020170056912 A KR1020170056912 A KR 1020170056912A KR 20170056912 A KR20170056912 A KR 20170056912A KR 20180122831 A KR20180122831 A KR 20180122831A
Authority
KR
South Korea
Prior art keywords
information
detection information
detection
detected
alarm
Prior art date
Application number
KR1020170056912A
Other languages
English (en)
Other versions
KR102486986B1 (ko
Inventor
이영현
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020170056912A priority Critical patent/KR102486986B1/ko
Priority to US15/675,400 priority patent/US10679377B2/en
Publication of KR20180122831A publication Critical patent/KR20180122831A/ko
Priority to KR1020230001317A priority patent/KR102628413B1/ko
Application granted granted Critical
Publication of KR102486986B1 publication Critical patent/KR102486986B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G06K9/6201
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Debugging And Monitoring (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체가 개시된다. 본 발명의 일 실시예에 따른 객체 검출 시스템은 오검출 정보를 저장하는 오검출 저장부, 입력 영상으로부터 객체를 검출하고, 상기 객체에 대응하는 객체 검출 정보와 상기 오검출 정보를 비교하여, 비교 결과 일치하는 오검출 정보가 존재하지 않는 객체 검출 정보에 대응하는 알람을 출력하는 객체 검출부 및 상기 알람에 대한 사용자 응답을 수신하고, 상기 알람에 대해 검출 오류 응답이 수신되면, 상기 알람에 대응하는 객체 검출 정보를 상기 오검출 저장부에 오검출 정보로 저장하는 피드백 수신부를 포함하고, 상기 객체 검출부는 상기 오검출 저장부에 저장된 오검출 정보에 상응하는 객체가 검출되는 경우에는 알람을 출력하지 않는 객체 검출 시스템.

Description

객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체{OBJECTS DETECTING SYSTEM, METHOD AND COMPUTER READABLE RECORDING MEDIUM}
본 발명은 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것으로, 보다 구체적으로는 오검출 결과를 저장하고 지속적으로 업데이트 함으로써 사용자에게 정확한 검출 결과를 제공하는 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체에 관한 것이다.
보안과 방범에 대한 수요와 관심이 증가하면서 CCTV 카메라의 보급 또한 이 추세에 맞추어 증가하고 있다. 감시하고자 하는 지역에 필요한 기능을 수행하기 적합한 형태의 CCTV 카메라를 설치하고, 이를 통해 해당 지역 영상을 촬영하고 이를 실시간으로 관찰함으로써 범죄를 예방할 수 있다.
또한, 영상 녹화를 통해 지난 사건에 대해서도 녹화된 영상을 관찰함으로써 사건 해결에 대한 단서를 찾을 수도 있다.
보안과 방범을 위한 CCTV 카메라뿐만 아니라 최근에는 가정용 CCTV 카메라도 보급이 증가하는 추세로 이를 통해 보안, 엔터테인먼트, 통화 등 다양한 기능을 수행하기도 한다.
한편, 촬영되는 영상에서 객체를 검출하는 것은 CCTV 카메라를 활용한 다양한 솔루션 시스템의 핵심 기술 중 하나인데, 빠르고 정확하게 객체를 검출하기 위한 기술 개발과 연구가 활발히 진행되고 있다.
본 발명은 영상에서 객체를 검출함에 있어서, 보다 정확한 검출 결과를 제공하는 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 객체 검출 시스템은, 오검출 정보를 저장하는 오검출 저장부, 입력 영상으로부터 객체를 검출하고, 상기 객체에 대응하는 객체 검출 정보와 상기 오검출 정보를 비교하여, 비교 결과 일치하는 오검출 정보가 존재하지 않는 객체 검출 정보에 대응하는 알람을 출력하는 객체 검출부 및 상기 알람에 대한 사용자 응답을 수신하고, 상기 알람에 대해 검출 오류 응답이 수신되면, 상기 알람에 대응하는 객체 검출 정보를 상기 오검출 저장부에 오검출 정보로 저장하는 피드백 수신부를 포함하고, 상기 객체 검출부는 상기 오검출 저장부에 저장된 오검출 정보에 상응하는 객체가 검출되는 경우에는 알람을 출력하지 않는다.
또한, 상기 객체 검출 정보는 상기 객체가 검출된 위치에 대응하는 좌표 정보와, 상기 객체에 대응하는 픽셀의 영상 정보를 포함할 수 있다.
상기 객체 검출부는 검출된 객체에 대응하는 상기 객체 검출 정보와 상기 오검출 저장부에 저장된 상기 오검출 정보를 비교하되, 상기 객체 검출 정보의 좌표 정보와 상기 오검출 정보의 좌표 정보 사이의 위치 유사도를 판단하고, 상기 위치 유사도가 미리 설정된 값 이상인 경우 상기 객체 검출 정보의 영상 정보와 상기 오검출 정보의 영상 정보 사이의 영상 유사도를 판단하고, 상기 영상 유사도가 미리 설정된 값 이상인 경우 상기 알람을 출력하지 않을 수 있다.
또한, 상기 객체 검출부는 상기 오검출 정보와 상기 객체 검출 정보의 좌표 정보와 영상 정보가 모두 유사한 것으로 판단되는 경우, 상기 오검출 정보의 좌표 정보와 영상 정보를 상기 객체 검출 정보의 좌표 정보와 영상 정보로 업데이트 할 수 있다.
또한, 상기 객체 검출 정보는 이에 대응하는 객체가 검출된 시간 정보를 더 포함하고, 상기 객체 검출부는 상기 오검출 저장부에 저장된 오검출 정보 중에서, 검출된 객체의 시간 정보에 상응하는 시간 정보를 포함하는 오검출 정보와 상기 검출된 객체의 객체 검출 정보를 비교함으로써, 상기 알람의 출력 여부를 결정할 수 있다.
또한, 상기 오검출 저장부는 저장된 오검출 정보 중 미리 설정된 시간 동안 업데이트 되지 않는 오검출 정보를 삭제할 수 있다.
또한, 미리 설정된 시간 동안 상기 객체 검출부에서 검출된 객체를 표시하는 표시부를 더 포함하고, 상기 피드백 수신부는 표시된 객체에 대한 상기 사용자 응답을 수신할 수 있다.
또한, 상기 입력 영상은 검출 대상 객체를 포함하지 않는 배경 영상일 수 있다.
또한, 상기 입력 영상은 고정된 위치에 설치되는 촬상 장치로부터 획득되는 것일 수 있다.
한편, 본 발명의 일 실시예에 따른 객체 검출 방법은, 입력 영상으로부터 객체를 검출하는 단계, 검출된 객체에 대응하는 객체 검출 정보와 메모리에 저장된 오검출 정보를 비교하는 단계, 상기 비교하는 단계에서의 비교 결과 상응하지 않는 객체 검출 정보에 대응하는 알람을 출력하는 단계, 상기 알람에 대한 사용자 응답을 수신하는 단계 및 상기 알람에 대해 검출 오류 응답이 수신되면, 상기 알람에 대응하는 객체 검출 정보를 상기 메모리에 오검출 정보로 저장하는 단계를 포함하고, 상기 비교하는 단계에서의 비교 결과 상기 메모리에 저장된 오검출 정보에 상응하는 객체 검출 정보를 갖는 객체가 검출되는 경우에는 알람을 출력하지 않는다.
또한, 상기 객체 검출 정보는 상기 객체가 검출된 위치에 대응하는 좌표 정보와, 상기 객체에 대응하는 픽셀의 영상 정보를 포함할 수 있다.
또한, 상기 비교하는 단계에서는 상기 객체 검출 정보의 좌표 정보와 상기 오검출 정보의 좌표 정보 사이의 위치 유사도를 판단하고, 상기 위치 유사도가 미리 설정된 값 이상인 경우 상기 객체 검출 정보의 영상 정보와 상기 오검출 정보의 영상 정보 사이의 영상 유사도를 판단하고, 상기 영상 유사도가 미리 설정된 값 이상인 경우 상기 알람을 출력하지 않을 수 있다.
또한, 상기 오검출 정보와 상기 객체 검출 정보의 좌표 정보와 영상 정보가 모두 유사한 것으로 판단되는 경우, 상기 오검출 정보의 좌표 정보와 영상 정보를 상기 객체 검출 정보의 좌표 정보와 영상 정보로 업데이트 하는 단계를 더 포함할 수 있다.
또한, 상기 객체 검출 정보는 이에 대응하는 객체가 검출된 시간 정보를 더 포함하고, 상기 비교하는 단계에서는 상기 메모리에 저장된 오검출 정보 중에서, 검출된 객체의 시간 정보에 상응하는 시간 정보를 포함하는 오검출 정보와 상기 검출된 객체의 객체 검출 정보를 비교함으로써, 상기 알람의 출력 여부를 결정할 수 있다.
또한, 상기 메모리에 저장된 오검출 정보 중 미리 설정된 시간 동안 업데이트 되지 않은 오검출 정보를 삭제하는 단계를 더 포함할 수 있다.
또한, 미리 설정된 시간 동안 상기 검출하는 단계에서 검출된 객체를 표시하는 단계를 더 포함하고, 상기 수신하는 단계에서는 상기 표시하는 단게에서 표시된 객체에 대한 상기 사용자 응답을 수신할 수 있다.
또한, 상기 입력 영상은 검출 대상 객체를 포함하지 않는 배경 영상일 수 있다.
또한, 상기 입력 영상은 고정된 위치에 설치되는 촬상 장치로부터 생성되는 것일 수 있다.
한편, 본 발명에 따른 객체 검출 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공될 수 있다.
본 발명은 영상에서 객체를 검출함에 있어서, 보다 정확한 검출 결과를 제공하는 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 잘못된 객체 검출 결과를 예시적으로 나타내는 도면이다.
도 3은 본 발명의 다른 실시예에 따른 객체 검출 시스템의 구성을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 또 다른 실시예에 따른 객체 검출 시스템의 구성을 개략적으로 나타내는 도면이다.
도 5는 검출된 객체의 좌표 정보와 오검출 저장부에 저장된 오검출 정보의 좌표 정보를 비교하는 과정을 예시적으로 나타내는 도면이다.
도 6은 검출된 객체의 영상 정보를 생성하는 방법을 예시적으로 나타내는 도면이다.
도 7은 오검출 저장부에 저장되는 오검출 정보를 업데이트 하는 과정을 예시적으로 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 객체 검출 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 객체 검출 방법의 흐름을 개략적으로 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 검출 시스템(100)은 오검출 저장부(110), 객체 검출부(120) 및 피드백 수신부(130)를 포함한다. 오검출 저장부(110)는 오검출 정보를 저장하며, 상기 오검출 정보는 객체 검출부(120)에 의해 잘못 검출된 객체에 대한 정보를 의미한다.
객체 검출부(120)는 입력 영상으로부터 객체를 검출하고, 상기 객체에 대응하는 객체 검출 정보와 상기 오검출 정보를 비교하여, 비교 결과 일치하는 오검출 정보가 존재하지 않는 객체 검출 정보에 대응하는 알람을 출력한다.
상기 입력 영상은 고정된 위치에 설치되는 촬상 장치로부터 획득될 수 있는데, 예컨대 상기 촬상 장치는 주택의 현관이나 발코니 등 외부인이 출입 가능한 장소를 촬영하기에 적합한 위치에 설치될 수 있다.
또한, 객체 검출부(120)는 상기 입력 영상에서 객체를 검출하는데, 상기 객체는 사람 또는 동물이 될 수 있으며, 객체 검출부(120)에 의한 검출 대상 객체는 사용자의 필요에 의하여 다르게 설정될 수 있다.
객체 검출부(120)는 다양한 방법을 이용하여 상기 입력 영상에서 객체를 검출할 수 있는데, 예컨대, 배경 영상을 학습함으로써 현재 입력되는 영상과의 차영상을 통해 객체를 검출하는 방법을 이용할 수 있다. 또 다른 실시예에서는 하라이크(Haar-like) 특징점을 이용하여 분류기를 생성하고, 입력 영상에서 객체를 검출하는 방법을 이용할 수도 있다.
객체 검출부(120)가 객체를 검출하는 방법은 특정한 방법으로 제한되지 않으며, 상기 촬상 장치로부터 입력되는 영상에서 검출 대상이 되는 객체를 구분할 수 있는 방법이라면, 어떠한 방법도 사용될 수 있다.
한편, 객체 검출부(120)는 검출된 객체에 대응하는 상기 객체 검출 정보와 오검출 저장부(110)에 저장된 상기 오검출 정보를 비교하여 두 정보 간의 유사도를 판단할 수 있다. 상기 유사도가 높을수록 상기 객체 검출 정보와 상기 오검출 정보가 서로 유사한 것으로 볼 수 있고, 이는 상기 검출된 객체가 적절하게 검출되지 않은 것으로 판단될 수 있다.
상기 유사도가 높은 경우에는 검출 결과에 대한 신뢰도가 떨어지므로 이때에는 검출된 객체에 대응하는 상기 객체 검출 정보는 오검출 저장부(110)에 오검출 정보로 저장된다.
이와 반대로, 상기 객체 검출 정보와 상기 오검출 정보 사이의 유사도가 낮은 경우, 또는 상기 객체 검출 정보에 대응하는 오검출 정보가 존재하지 않는 경우에 객체 검출부(120)는 객체가 검출되었음을 알리는 알람을 출력한다.
피드백 수신부(130)는 상기 알람에 대한 사용자 응답을 수신하고, 상기 알람에 대해 검출 오류 응답이 수신되면, 상기 알람에 대응하는 객체 검출 정보를 오검출 저장부(110)에 저장한다.
객체 검출부(120)에 의해 알람이 출력되면, 사용자는 객체가 검출되었는지 여부를 직접 확인할 수 있으며, 확인 결과에 따라 검출 오류 응답을 입력할 수 있으며, 또는 아무런 동작을 취하지 않을 수 있다. 이때, 상기 검출 오류 응답이 입력되는 피드백 수신부(130)는 상기 알람에 대해 검출 오류 응답이 수신되면, 해당 알람이 잘못된 객체 검출에 의해 출력된 것으로 판단하고, 해당 객체 검출 정보를 오검출 저장부(110)에 저장하는데, 이때 저장되는 상기 객체 검출 정보는 잘못된 검출 결과에 따른 것이므로 오검출 정보로 저장된다. 따라서, 오검출 저장부(110)에 저장되는 상기 오검출 정보는 객체 검출부(120)의 검출 결과, 그리고 이에 대한 사용자의 응답에 의해 생성되는 것으로 이해할 수 있다.
한편, 상기 객체 검출 정보와 상기 오검출 정보는 이에 대응하는 객체의 특성을 나타내며, 특히 상기 오검출 정보는 잘못 검출된 객체의 특성을 나타내는 것으로 이해할 수 있다.
한편, 상기 알람은 사용자로부터 객체 검출 결과에 대한 피드백을 수신하기 위한 인터페이스를 제공할 수 있다. 예를 들어, 상기 객체 검출 정보에 대하여 오류 또는 정상 등의 피드백을 입력할 수 있는 도형 내지는 버튼을 표시함으로써 상기 사용자로 하여금 상기 객체 검출 결과에 대한 피드백 입력을 유도할 수 있다.
도 2는 잘못된 객체 검출 결과를 예시적으로 나타내는 도면이다.
도 2는 도 1을 참조로 하여 설명한 객체 검출부(120)에 의한 객체 검출 결과를 예시적으로 나타내는데, 도 2에 사각형으로 표시된 영역에 객체가 존재하는 경우를 나타낸다.
도 2를 참조하면, 상기 사각형 영역에는 객체가 존재하지 않으므로, 객체 검출부(120)에 의한 검출 결과에 오류가 있음을 알 수 있다. 사용자로부터 검출 결과에 대한 응답이 수신되면 피드백 수신부(130)는 상기 사각형 영역에 대응하는 정보, 즉 객체 검출 정보를 오검출 저장부(110)에 오검출 정보로 저장할 수 있다.
상기 객체 검출 정보는 객체 검출부(120)에 의해 검출된 객체의 위치에 대응하는 좌표 정보와 상기 객체에 대응하는 픽셀의 영상 정보를 포함할 수 있다. 예를 들어, 도 2의 경우 오검출 저장부(110)에 저장되는 좌표 정보는 상기 사각형 영역의 꼭지점에 대응하는 좌표 정보 및 상기 사각형 영역의 크기에 관한 정보를 포함할 수 있다.
그리고, 오검출 저장부(110)에는 상기 좌표 정보와 함께 상기 사각형 영역에 대응하는 영상 정보가 저장될 수 있으며, 상기 영상 정보는 검출된 객체에 대응하는 픽셀의 영상 정보를 포함할 수 있다.
한편, 본 발명의 다른 실시예에서 객체 검출부(120)는 미리 설정된 시간 동안 획득된 입력 영상에서 객체를 검출하여 이를 표시하고, 피드백 수신부(130)는 상기 시간 동안 검출된 객체에 대한 사용자 응답을 수신할 수 있다.
예컨대, 도 2에 도시되는 화면은 상기 미리 설정된 시간 동안 획득된 상기 입력 영상에서 검출된 객체가 표시되는 화면일 수 있다. 본 발명에 따른 객체 검출 시스템(100)이 주택, 사무실 등에 설치된 이후, 사용자는 상기 객체 검출 시스템(100)의 정상 동작 여부를 확인하고, 오검출 결과를 저장하기 위하여 일정 시간 동안 상기 객체 검출 시스템(100)으로 하여금 객체를 검출하도록 할 수 있다.
상기 일정 시간 동안 검출된 객체가 표시되면, 피드백 수신부(130)는 상기 사용자로부터 객체 검출 결과에 대한 응답을 수신할 수 있고, 상기 사용자의 응답에 대응하여 오검출 정보를 오검출 저장부(110)에 저장할 수 있다.
이때, 상기 입력 영상은 검출 대상 객체를 포함하지 않도록 할 수 있다. 예를 들어, 상기 검출 대상 객체가 사람으로 설정되어 있는 경우, 상기 입력 영상은 사람을 포함하지 않도록 하여 객체 검출부(120)에서 객체가 검출되면 해당 객체 검출 결과는 모두 오검출로 판단되며, 이에 대응하는 객체 검출 정보는 모두 오검출 저장부(110)에 오검출 정보로 저장될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 객체 검출 시스템의 구성을 개략적으로 나타내는 도면이다.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 객체 검출 시스템(200)은 오검출 저장부(210), 객체 검출부(220), 피드백 수신부(230) 및 임시 저장부(240)를 포함한다.
임시 저장부(240)는 객체 검출부(220)에서 검출된 객체에 대응하는 객체 검출 정보를 저장한다. 임시 저장부(240)는 사용자로부터 검출 결과에 대한 피드백을 수신하기 전에 상기 객체 검출 정보를 임시로 저장한다.
피드백 수신부(230)에 검출 오류에 대응하는 응답이 수신되면, 해당 객체 검출 정보는 오검출 저장부(210)에 오검출 정보로 저장된다. 그리고, 정상 검출에 대응하는 응답이 수신되면 해당 객체 검출 정보는 임시 저장부(240)에서 삭제될 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 객체 검출 시스템의 구성을 개략적으로 나타내는 도면이다.
도 4를 참조하면, 본 발명의 또 다른 실시예에 따른 객체 검출 시스템(300)은 오검출 저장부(310), 객체 검출부(320), 피드백 수신부(330) 및 표시부(340)를 포함한다.
표시부(340)는 객체 검출부(320)에서 검출된 객체를 표시한다. 이때, 표시부(340)는 디스플레이 장치(미도시)를 이용할 수 있고, 사용자는 상기 디스플레이 장치에 표시된 객체 검출 결과를 확인하고, 사용자 응답을 입력할 수 있다.
또한, 표시부(340)는 도 2를 참조로 하여 설명한 바와 같이, 미리 설정된 시간 동안 획득된 입력 영상으로부터 객체 검출부(320)가 검출한 객체를 표시할 수 있다. 또한, 표시부(340)는 피드백 수신부(330)가 제공하는 인터페이스를 표시함으로써 상기 사용자로 하여금 사용자 응답을 입력하도록 유도할 수 있다.
도 5는 검출된 객체의 좌표 정보와 오검출 저장부에 저장된 오검출 정보의 좌표 정보를 비교하는 과정을 예시적으로 나타내는 도면이다.
도 5를 참조하면, 서로 중첩되는 두 개의 영역은 오검출 저장부(110)에 저장된 오검출 정보에 포함된 좌표 정보와, 객체 검출부(120)에서 검출된 객체의 객체 검출 정보에 포함된 좌표 정보를 의미한다.
객체 검출부(120)는 검출된 객체에 대응하는 객체 검출 정보와, 오검출 저장부(110)에 저장된 오검출 정보를 비교하여, 상기 객체 검출 정보와 상기 오검출 정보가 유사한 것으로 판단되면, 알람을 출력하지 않고 상기 객체 검출 정보를 오검출 저장부(110)에 오검출 정보로 저장한다.
이때, 객체 검출부(120)는 상기 객체 검출 정보의 좌표 정보와, 오검출 저장부(110)에 저장된 상기 오검출 정보의 좌표 정보 사이의 위치 유사도를 판단하고, 상기 위치 유사도가 미리 설정된 값 - 예컨대, 제1 기준 값 - 이상인 경우 상기 객체의 영상 정보와 상기 오검출 정보에 포함된 영상 정보 사이의 영상 유사도를 판단할 수 있다.
도 5는 상기 오검출 정보의 좌표 정보와, 상기 객체 검출 정보의 좌표 정보 사이의 위치 유사도를 판단하는 과정을 도시하는 것으로, 도 5(a)를 참조하면, 상기 오검출 정보의 좌표 정보와 상기 객체 검출 정보의 좌표 정보는 80%의 위치 유사도를 갖고, 도 5(b)에서는 20%의 위치 유사도를 갖는 것으로 도시된다.
상기 제1 기준 값이 80%로 설정되어 있는 경우에는 도 5(a)의 오검출 정보와 객체 검출 정보의 좌표 정보는 유사한 것으로 판단될 수 있으며, 객체 검출부(120)는 상기 오검출 정보와 객체 검출 정보에 대하여 영상 정보의 유사도를 판단할 수 있다.
오검출 저장부(110)에는 서로 다른 특성을 갖는 객체에 대응하는 복수 개의 오검출 정보가 저장되어 있을 수 있으며, 객체 검출부(120)는 오검출 저장부(110)에 저장된 복수 개의 오검출 정보 중 상기 객체 검출 정보에 포함된 좌표 정보와 상기 제1 기준 값 이상의 위치 유사도를 갖는 좌표 정보를 포함하는 오검출 정보가 존재하는 경우에는 영상 정보의 유사도를 판단하는 것으로 이해할 수 있다.
한편, 도 5(b)의 경우에는 오검출 정보의 좌표 정보와 객체 검출 정보의 좌표 정보가 비유사한 것으로 판단되므로, 객체 검출부(120)는 상기 오검출 정보와 객체 검출 정보에 대하여 영상 정보의 유사도를 판단하지 않고, 알람을 출력할 수 있다. 즉, 도 5(b)의 경우에는 객체 검출부(120)에 의해 검출된 객체에 대응하는 오검출 정보가 오검출 저장부(110)에 저장되어 있지 않은 것으로 볼 수 있으므로, 객체 검출부(120)는 사용자로부터 피드백을 수신하기 위하여 알람을 출력하는 것으로 이해할 수 있다.
한편, 객체 검출부(120)의 동작이 상기 위치 유사도를 판단한 이후 상기 영상 유사도를 판단하는 것으로 제한되는 것은 아니며, 검출된 객체의 영상 정보와 유사한 영상 정보를 포함하는 오검출 정보의 존재 유무를 판단한 이후, 상기 위치 유사도를 판단할 수도 있다.
도 6은 검출된 객체의 영상 정보를 생성하는 방법을 예시적으로 나타내는 도면이다.
먼저, 객체 검출부(120)는 객체가 검출된 영역을 검출 후보 영역으로 설정하고, 상기 검출 후보 영역에 대응하는 영상을 추출하여 정규화된 크기로 변환한다. 도 6에서는 정규화 영상의 크기를 32 x 64 로 가정하여 설명하도록 하며, 최초 객체가 검출된 상기 검출 후보 영역의 크기와 무관하게 32 x 64 의 크기를 갖는 정규화 영상으로 변환되는 것으로 이해할 수 있다.
객체 검출부(120)는 상기 정규화 영상을 RGB 색공간에서 LAB 색공간으로 변환한다. 그리고, LAB 색공간 각각(L 채널, A 채널, B 채널)에서 Gradient Magnitude(GM)를 구한 뒤, 각 화소 위치에서 Magnitude 값이 큰 값을 선택하여 하나의 GM 영상을 생성할 수 있다. 이 과정을 거치면 L 채널, A 채널, B 채널 및 GM 채널, 총 4개의 영상이 추출되며, 각 영상의 화소 값은 0~255 범위의 8bit 값을 가질 수 있다.
객체 검출부(120)는 이후 각각의 채널에서 히스토그램을 생성할 수 있는데, 각 채널 영상의 히스토그램은 0~255 사이의 x 축 범위와 32 x 64=2,048 개의 도수 합을 갖는다. 마지막으로 4개의 히스토그램을 하나로 연결하여 0~1023 사이의 x 축 범위와 2,048 x 4=8,192 개의 도수 합을 갖는 히스토그램이 생성된다.
도 6에 도시되는 최종적으로 생성되는 히스토그램의 x 축은 벡터의 차원, y 축은 해당 차원의 벡터 값으로 이해할 수 있으며, 결과적으로는 하나의 검출 후보 영역 영상에서 1,024 차원의 벡터를 추출할 수 있게 된다.
객체 검출부(120)는 도 5를 참조로 하여 설명한 바와 같이, 검출 후보 영역의 객체 검출 정보에 포함된 좌표 정보와 오검출 저장부(110)에 저장된 오검출 정보의 좌표 정보 사이의 위치 유사도를 판단하고, 상기 위치 유사도가 미리 설정된 값 이상인 경우에 영상 유사도를 판단한다.
상기 영상 유사도는 검출 후보 영역의 객체 검출 정보에 포함된 영상 정보와 오검출 저장부(110)에 저장된 오검출 정보의 영상 정보 사이의 유사도를 의미하며, 도 5를 참조로 하여 설명한 위치 유사도와 상기 영상 유사도가 모두 미리 설정된 값 이상인 경우에는 상기 검출 후보 영역에 존재하는 객체는 오검출된 것으로 판단될 수 있다. 따라서, 이때에는 상기 검출 후보 영역(에 존재하는 객체)에 대한 알람을 출력하지 않는다.
한편, 상기 영상 유사도는 Weighted Hamming Distance (WHD) 정보를 이용하여 산출될 수 있는데, Hamming Distance (HD)는 두 벡터 사이에서 같은 차원에 있는 벡터 값의 차이의 절대값을 구하고 모든 차원에 대해 그 차이의 절대값을 더하는 방법으로 얻을 수 있다.
WHD는 HD에 가중치를 적용한 것으로, 상기 L 채널, A 채널, B 채널 및 GM 채널에 각각 가중치가 적용되며, 각각의 채널에 적용되는 가중치의 합은 1이 될 수 있다.
두 벡터의 WHD가 작을수록 두 벡터는 서로 유사하다는 의미를 갖고, 따라서 WHD에 대한 기준 값을 정하고, 두 벡터의 WHD가 상기 기준 값 보다 작으면 서로 유사한 것으로 판단할 수 있다.
여기서, 상기 두 벡터는 객체 검출부(120)에 의해 검출된 객체에 대응하는 화소의 영상 정보와 오검출 저장부(110)에 저장된 오검출 정보에 포함되는 영상 정보에 대응될 수 있다.
도 7은 오검출 저장부에 저장되는 오검출 정보를 업데이트 하는 과정을 예시적으로 나타내는 도면이다.
도 1을 참조로 하여 설명한 바와 같이, 오검출 저장부(110)는 오검출된 객체의 객체 검출 정보를 오검출 정보로 저장하며, 상기 오검출 정보는 좌표 정보와 영상 정보를 포함할 수 있다. 상기 좌표 정보는 객체 검출부(120)에 의해 검출된 객체의 위치에 관한 정보를 의미하고, 상기 영상 정보는 상기 객체에 대응하는 화소의 영상 정보를 의미한다. 한편, 도 7에 예시적으로 도시된 영상 정보는 도 6을 참조로 하여 설명한 벡터를 코드화한 것으로 이해할 수 있다.
도 7을 참조하면, 상기 좌표 정보는 오검출된 객체에 대응하는 영역(예를 들어, 사각형 영역)을 구성하는 꼭지점의 좌표를 의미할 수 있다.
한편, 도 7(a)에서 최근에 저장된 오검출 정보일수록 낮은 순번에 저장되어 있는 것을 알 수 있다. 상기 오검출 정보는 이에 대응하는 객체가 검출된 시간 정보를 더 포함할 수 있는데, 도 7의 최초 저장 시각 및 최근 갱신 시각은 상기 시간 정보에 대응한다.
그리고, 도 7(a)는 업데이트가 이루어지기 이전의 오검출 저장부(110)의 오검출 정보를 예시적으로 나타내는데, 따라서 상기 최초 저장 시각과 상기 최근 갱신 시각은 서로 동일한 것을 알 수 있다.
한편, 도 7(a)에서 순번 1의 오검출 정보와 순번 5의 오검출 정보는 서로 좌표 정보와 영상 정보가 유사하여 상기 순번 1 및 5의 오검출 정보는 서로 유사한 것으로 판단될 수 있다.
도 7(b)를 참조하면, 도 7(a)의 순번 1의 오검출 정보가 도 7(a)의 순번 5의 오검출 정보로 업데이트된 것을 알 수 있다. 즉, 오검출 저장부(110)에 저장된 오검출 정보와 유사한 객체 검출 정보를 갖는 객체가 객체 검출부(120)에 의해 검출되면, 오검출 저장부(110)는 최근에 획득된 객체 검출 정보로 기존의 오검출 정보를 갱신할 수 있다.
한편, 객체 검출부(120)는 오검출 저장부(110)에 저장된 오검출 정보 중에서, 검출된 객체의 시간 정보에 상응하는 시간 정보를 포함하는 오검출 정보와 상기 검출된 객체의 객체 검출 정보를 비교함으로써, 상기 검출된 객체에 대한 알람 출력 여부를 결정할 수 있다.
예를 들어, 객체 검출부(120)가 낮 시간에 동작하여 객체를 검출한 경우에는 오검출 저장부(110)에 저장된 오검출 정보 중에서 낮 시간에 검출된 객체에 대응하는 오검출 정보와 상기 객체의 객체 검출 정보가 비교될 수 있다. 따라서, 상기 검출된 객체의 객체 검출 정보와 유사한 오검출 정보가 오검출 저장부(110)에 존재한다 하더라도, 오검출 저장부(110)에 저장된 오검출 정보가 밤 시간에 검출된 객체에 대응하는 경우에는 객체 검출부(120)는 두 개의 정보가 비유사한 것으로 판단할 수 있다.
한편, 도 7(a)의 순번 2의 오검출 정보가 업데이트 이후 순번 4로 갱신된 것을 확인할 수 있다. 오검출 저장부(110)는 오검출 정보의 갱신 시점을 기준으로 최근에 갱신된 오검출 정보가 최상단에 오도록 오검출 정보를 정렬할 수 있다.
또한, 오검출 저장부(110)는 저장된 오검출 정보 중에서 미리 설정된 시간 동안 업데이트 되지 않는 오검출 정보를 삭제함으로써, 데이터 비교에 따른 처리 속도 저하를 방지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 객체 검출 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 객체 검출 방법은, 객체 검출 단계(S110), 오검출 정보와 비교 단계(S120), 알람 출력 단계(S130), 사용자 응답 수신 단계(S140) 및 오검출 정보로 저장하는 단계(S150)를 포함한다.
객체 검출 단계(S110)에서는 입력 영상으로부터 객체를 검출한다. 상기 입력 영상은 고정된 위치에 설치되는 촬상 장치로부터 생성될 수 있으며, 예컨대 상기 촬상 장치는 주택의 현관이나 발코니 등 외부인이 출입 가능한 장소를 촬영하기에 적합한 위치에 설치될 수 있다.
또한, 객체 검출 단계(S110)에서 검출되는 객체는 사람 또는 동물이 될 수 있으며, 검출 대상 객체는 사용자의 필요에 따라 다양하게 설정될 수 있다.
한편, 객체 검출 단계(S110)에서는 다양한 방법을 이용하여 상기 입력 영상에서 객체를 검출할 수 있는데, 예컨대, 배경 영상을 학습함으로써 현재 입력되는 영상과의 차영상을 통해 객체를 검출하는 방법을 이용할 수 있다. 또 다른 실시예에서는 하라이크(Haar-like) 특징점을 이용하여 분류기를 생성하고, 입력 영상에서 객체를 검출하는 방법을 이용할 수도 있다.
객체 검출 단계(S110)에서 객체를 검출하는 방법은 특정한 방법으로 제한되지 않으며, 촬상 장치로부터 입력되는 영상에서 검출 대상이 되는 객체를 구분할 수 있는 방법이라면 어떠한 방법이라도 사용될 수 있다.
오검출 정보와 비교 단계(S120)에서는 검출된 객체에 대응하는 객체 검출 정보와 메모리에 저장된 오검출 정보를 비교한다. 이 단계에서는 상기 검출된 객체에 대응하는 상기 객체 검출 정보와 상기 메모리에 저장된 상기 오검출 정보를 비교하여 두 정보 간의 유사도를 판단할 수 있다. 상기 유사도가 높을수록 상기 객체 검출 정보와 상기 오검출 정보가 서로 유사한 것으로 볼 수 있고, 이는 상기 검출된 객체가 적절하게 검출되지 않은 것으로 판단될 수 있다.
한편, 상기 메모리에 저장되는 상기 오검출 정보는 잘못 검출된 객체의 특성을 나타내는 정보를 의미하며, 상기 유사도가 낮은 경우에는 검출 결과에 대한 신뢰도가 높은 것으로 이해할 수 있다.
상기 객체 검출 정보와 상기 오검출 정보는 각각 객체가 검출된 위치에 대응하는 좌표 정보와 상기 객체에 대응하는 픽셀의 영상 정보를 포함할 수 있는데, 비교 단계(S120)에서는 상기 객체 검출 정보의 좌표 정보와 상기 오검출 정보의 좌표 정보 사이의 위치 유사도를 판단하고, 상기 위치 유사도가 미리 설정된 값 - 예컨대, 제1 기준 값 - 이상인 경우, 상기 객체 검출 정보의 영상 정보와 상기 오검출 정보의 영상 정보 사이의 영상 유사도를 판단할 수 있다.
그리고, 상기 영상 유사도가 미리 설정된 값 - 예컨대, 제2 기준 값 - 이상인 경우 상기 알람 출력 단계(S130)에서는 알람을 출력하지 않는다.
알람 출력 단계(S130)에서는 상기 비교 단계(S120)에서의 비교 결과 상응하지 않는 객체 검출 정보에 대응하는 알람을 출력한다. 상기 비교 단계(S120)에서의 비교 결과 상응하지 않는 객체 검출 정보는 상기 유사도가 낮아 상기 객체 검출 정보에 대응하는 오검출 정보를 상기 메모리에서 찾을 수 없음을 의미한다.
이때, 알람 출력 단계(S130)에서는 상기 입력 영상에서 객체가 검출된 것으로 판단하고 이를 알리기 위해 상기 알람을 출력한다. 상기 알람은 사용자에게 객체가 검출되었음을 알리고, 사용자로부터 검출 결과에 대한 피드백을 수신하기 위해 출력될 수 있다.
또한, 알람 출력 단계(S130)에서는 디스플레이 장치를 통해 검출된 객체를 표시할 수 있다. 검출된 객체의 표시는 도 2에 도시되는 바와 같이 검출된 객체를 입력 영상 위에 표시할 수 있으며, 상기 입력 영상, 상기 검출된 객체 및 상기 알람은 상기 디스플레이 장치를 통해 사용자에게 제공될 수 있다.
한편, 알람 출력 단계(S130)에서는 상기 비교 단계(S120)에서의 비교 결과 상기 검출된 객체의 객체 검출 정보에 상응하는 오검출 정보가 상기 메모리에 저장되어 있는 경우에는 알람을 출력하지 않는다.
사용자 응답 수신 단계(S140)에서는 상기 알람에 대한 사용자 응답을 수신한다. 상기 알람 출력 단계(S130)에서 출력되는 상기 알람을 통해 사용자는 객체가 검출되었는지 여부를 직접 확인할 수 있으며, 확인 결과에 따라 검출 오류 응답을 입력할 수 있으며, 또는 아무런 동작을 취하지 않을 수 있다.
한편, 상기 알람 출력 단계(S130)에서 출력되는 상기 알람은 사용자로부터 객체 검출 결과에 대한 피드백을 수신하기 위한 인터페이스를 제공할 수 있다. 예를 들어, 상기 객체 검출 정보에 대하여 오류 또는 정상 등의 피드백을 입력할 수 있는 도형 내지는 버튼을 표시함으로써 상기 사용자로 하여금 상기 객체 검출 결과에 대한 피드백 입력을 유도할 수 있다.
오검출 정보로 저장하는 단계(S150)에서는 상기 알람에 대해 검출 오류 응답이 수신되면, 상기 알람에 대응하는 객체 검출 정보를 상기 메모리에 오검출 정보로 저장한다.
상기 검출 오류 응답은 상기 객체 검출 단계(S110)에서의 검출 결과가 잘못되었음을 의미하므로, 검출된 객체의 객체 검출 정보 또한 오류 정보를 포함하고 있는 것으로 이해할 수 있다. 따라서, 이때 상기 객체 검출 정보는 오검출 정보로 저장된다.
한편, 본 발명의 일 실시예에서 객체 검출 방법은, 미리 설정된 시간 동안 기 객체 검출 단계(S110)에서 검출된 객체를 표시하는 단계를 더 포함하고, 상기 사용자 응답을 수신하는 단계(S140)에서는 상기 표시하는 단계에서 표시된 객체에 대한 상기 사용자 응답을 수신할 수 있다.
예컨대, 도 2에 도시되는 화면은 상기 미리 설정된 시간 동안 획득된 상기 입력 영상에서 검출된 객체가 표시되는 화면일 수 있다. 상기 표시하는 단계에서는 일정 시간 동안 검출된 객체를 모두 표시하고, 상기 사용자 응답을 수신하는 단계(S140)에서는 표시된 객체 각각에 대하여 사용자로부터 피드백을 수신할 수 있다.
한편, 이때 상기 입력 영상은 검출 대상을 포함하지 않는 것일 수 있으며, 예를 들어, 상기 검출 대상 객체가 사람으로 설정되어 있는 경우, 상기 입력 영상은 사람을 포함하지 않도록 하여 상기 객체 검출 단계(S110)에서 객체가 검출되면 해당 객체 검출 결과는 모두 오검출로 판단되며, 이에 대응하는 객체 검출 정보는 모두 상기 메모리에 오검출 정보로 저장될 수 있다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 객체 검출 방법의 흐름을 개략적으로 나타내는 순서도이다.
먼저, 도 9를 참조하면, 본 발명의 다른 실시예에 따른 객체 검출 방법은, 오검출 정보 업데이트 단계(S240)를 더 포함한다.
오검출 정보 업데이트 단계(S240)에서는 상기 메모리에 저장된 오검출 정보를 업데이트 한다. 도 8을 참조로 하여 설명한 바와 같이, 상기 오검출 정보와 비교하는 단계(S220)에서는 상기 객체 검출 정보와 상기 오검출 정보를 비교하는데, 이때, 상기 객체 검출 정보와 상기 오검출 정보의 좌표 정보 및 영상 정보가 모두 유사한 것으로 판단되면, 오검출 정보 업데이트 단계(S240)에서는 상기 오검출 정보의 좌표 정보와 영상 정보를 상기 객체 검출 정보의 좌표 정보와 영상 정보로 업데이트 할 수 있다.
한편, 상기 객체 검출 정보와 오검출 정보는 이에 대응하는 객체가 검출된 시간 정보를 더 포함할 수 있는데, 상기 비교하는 단계(S220)에서는 상기 메모리에 저장된 오검출 정보 중에서, 검출된 객체의 시간 정보에 상응하는 시간 정보를 포함하는 오검출 정보와 상기 검출된 객체의 객체 검출 정보를 비교할 수 있다.
예를 들어, 낮 시간에 검출된 객체의 객체 검출 정보는 상기 메모리에 저장된 오검출 정보 중에서, 낮 시간에 검출된 객체에 대응하는 오검출 정보와 유사도가 비교될 수 있다. 따라서, 객체 검출 정보와 오검출 정보 사이의 좌표 정보 및 영상 정보가 유사하더라도 두 정보 간의 시간 정보가 서로 상응하지 않는 경우에는 두 정보가 서로 비유사한 것으로 판단될 수 있다.
마지막으로 도 10을 참조하면, 본 발명의 다른 실시예에 따른 객체 검출 방법은, 오검출 정보를 삭제하는 단계(S360)를 더 포함한다. 오검출 정보를 삭제하는 단계(S360)에서는 상기 메모리에 저장된 오검출 정보 중 미리 설정된 시간 동안 업데이트 되지 않은 오검출 정보를 삭제한다.
도 9를 참조로 하여 설명한 바와 같이, 상기 메모리에 저장된 오검출 정보에 포함되는 좌표 정보 및 영상 정보와 유사한 좌표 정보 및 영상 정보를 포함하는 객체가 검출되면, 해당 객체에 대응하는 객체 검출 정보로 기존의 오검출 정보가 업데이트 될 수 있다.
객체 검출 단계(S310)에서 객체가 검출되면, 비교 단계(S320)에서는 검출된 객체의 객체 검출 정보와 상기 메모리에 저장된 오검출 정보의 유사 여부가 판단되는데, 상기 메모리에 저장된 오검출 정보의 양이 많을수록 정보 비교에 더 많은 시간이 소요될 수 밖에 없다.
또한, 상기 메모리에 저장된 오검출 정보는 유사한 좌표 정보, 영상 정보를 포함하는 객체가 검출되지 않으면 새로운 정보로 업데이트 되지 않으므로, 일정 시간 이상 업데이트 되지 않는 오검출 정보는 검출된 객체에 대한 알람 출력 여부를 결정함에 있어서 활용되지 않을 확률이 높은 것으로 예상할 수 있다.
따라서, 오검출 정보를 삭제하는 단계(S360)에서는 연산 처리 속도를 향상시키기 위하여 상기 미리 설정된 시간 동안 업데이트 되지 않는 오검출 정보를 삭제할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다.
본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한 해당 기술 분야의 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라, 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100, 200, 300: 객체 검출 시스템
110, 210, 310: 오검출 저장부
120, 220, 320: 객체 검출부
130, 230, 330: 피드백 수신부
240: 임시 저장부
340: 표시부

Claims (19)

  1. 오검출 정보를 저장하는 오검출 저장부;
    입력 영상으로부터 객체를 검출하고, 상기 객체에 대응하는 객체 검출 정보와 상기 오검출 정보를 비교하여, 비교 결과 일치하는 오검출 정보가 존재하지 않는 객체 검출 정보에 대응하는 알람을 출력하는 객체 검출부; 및
    상기 알람에 대한 사용자 응답을 수신하고, 상기 알람에 대해 검출 오류 응답이 수신되면, 상기 알람에 대응하는 객체 검출 정보를 상기 오검출 저장부에 오검출 정보로 저장하는 피드백 수신부;
    를 포함하고,
    상기 객체 검출부는 상기 오검출 저장부에 저장된 오검출 정보에 상응하는 객체가 검출되는 경우에는 알람을 출력하지 않는 객체 검출 시스템.
  2. 제1항에 있어서,
    상기 객체 검출 정보는 상기 객체가 검출된 위치에 대응하는 좌표 정보와, 상기 객체에 대응하는 픽셀의 영상 정보를 포함하는 객체 검출 시스템.
  3. 제2항에 있어서,
    상기 객체 검출부는 검출된 객체에 대응하는 상기 객체 검출 정보와 상기 오검출 저장부에 저장된 상기 오검출 정보를 비교하되,
    상기 객체 검출 정보의 좌표 정보와 상기 오검출 정보의 좌표 정보 사이의 위치 유사도를 판단하고, 상기 위치 유사도가 미리 설정된 값 이상인 경우 상기 객체 검출 정보의 영상 정보와 상기 오검출 정보의 영상 정보 사이의 영상 유사도를 판단하고,
    상기 영상 유사도가 미리 설정된 값 이상인 경우 상기 알람을 출력하지 않는 객체 검출 시스템.
  4. 제3항에 있어서,
    상기 객체 검출부는 상기 오검출 정보와 상기 객체 검출 정보의 좌표 정보와 영상 정보가 모두 유사한 것으로 판단되는 경우, 상기 오검출 정보의 좌표 정보와 영상 정보를 상기 객체 검출 정보의 좌표 정보와 영상 정보로 업데이트 하는 객체 검출 시스템.
  5. 제2항에 있어서,
    상기 객체 검출 정보와 상기 오검출 정보는 이에 대응하는 객체가 검출된 시간 정보를 더 포함하고,
    상기 객체 검출부는 상기 오검출 저장부에 저장된 오검출 정보 중에서, 검출된 객체의 시간 정보에 상응하는 시간 정보를 포함하는 오검출 정보와 상기 검출된 객체의 객체 검출 정보를 비교함으로써, 상기 알람의 출력 여부를 결정하는 객체 검출 시스템.
  6. 제1항에 있어서,
    상기 오검출 저장부는 저장된 오검출 정보 중 미리 설정된 시간 동안 업데이트 되지 않는 오검출 정보를 삭제하는 객체 검출 시스템.
  7. 제1항에 있어서,
    미리 설정된 시간 동안 상기 객체 검출부에서 검출된 객체를 표시하는 표시부를 더 포함하고,
    상기 피드백 수신부는 표시된 객체에 대한 상기 사용자 응답을 수신하는 객체 검출 시스템.
  8. 제7항에 있어서,
    상기 입력 영상은 검출 대상 객체를 포함하지 않는 객체 검출 시스템.
  9. 제1항에 있어서,
    상기 입력 영상은 고정된 위치에 설치되는 촬상 장치로부터 획득되는 객체 검출 시스템.
  10. 입력 영상으로부터 객체를 검출하는 단계;
    검출된 객체에 대응하는 객체 검출 정보와 메모리에 저장된 오검출 정보를 비교하는 단계;
    상기 비교하는 단계에서의 비교 결과 상응하지 않는 객체 검출 정보에 대응하는 알람을 출력하는 단계;
    상기 알람에 대한 사용자 응답을 수신하는 단계; 및
    상기 알람에 대해 검출 오류 응답이 수신되면, 상기 알람에 대응하는 객체 검출 정보를 상기 메모리에 오검출 정보로 저장하는 단계;
    를 포함하고,
    상기 비교하는 단계에서의 비교 결과 상기 검출된 객체의 객체 검출 정보에 상응하는 오검출 정보가 상기 메모리에 저장되어 있는 경우에는 알람을 출력하지 않는 객체 검출 방법.
  11. 제10항에 있어서,
    상기 객체 검출 정보는 상기 객체가 검출된 위치에 대응하는 좌표 정보와, 상기 객체에 대응하는 픽셀의 영상 정보를 포함하는 객체 검출 방법.
  12. 제11항에 있어서,
    상기 비교하는 단계에서는 상기 객체 검출 정보의 좌표 정보와 상기 오검출 정보의 좌표 정보 사이의 위치 유사도를 판단하고, 상기 위치 유사도가 미리 설정된 값 이상인 경우 상기 객체 검출 정보의 영상 정보와 상기 오검출 정보의 영상 정보 사이의 영상 유사도를 판단하고,
    상기 영상 유사도가 미리 설정된 값 이상인 경우 상기 알람을 출력하지 않는 객체 검출 방법.
  13. 제12항에 있어서,
    상기 오검출 정보와 상기 객체 검출 정보의 좌표 정보와 영상 정보가 모두 유사한 것으로 판단되는 경우, 상기 오검출 정보의 좌표 정보와 영상 정보를 상기 객체 검출 정보의 좌표 정보와 영상 정보로 업데이트 하는 단계를 더 포함하는 객체 검출 방법.
  14. 제12항에 있어서,
    상기 객체 검출 정보와 상기 오검출 정보는 이에 대응하는 객체가 검출된 시간 정보를 더 포함하고,
    상기 비교하는 단계에서는 상기 메모리에 저장된 오검출 정보 중에서, 검출된 객체의 시간 정보에 상응하는 시간 정보를 포함하는 오검출 정보와 상기 검출된 객체의 객체 검출 정보를 비교하는 객체 검출 방법.
  15. 제10항에 있어서,
    상기 메모리에 저장된 오검출 정보 중 미리 설정된 시간 동안 업데이트 되지 않은 오검출 정보를 삭제하는 단계를 더 포함하는 객체 검출 방법.
  16. 제10항에 있어서,
    미리 설정된 시간 동안 상기 검출하는 단계에서 검출된 객체를 표시하는 단계를 더 포함하고,
    상기 수신하는 단계에서는 상기 표시하는 단계에서 표시된 객체에 대한 상기 사용자 응답을 수신하는 객체 검출 방법.
  17. 제16항에 있어서,
    상기 입력 영상은 검출 대상 객체를 포함하지 않는 객체 검출 방법.
  18. 제10항에 있어서,
    상기 입력 영상은 고정된 위치에 설치되는 촬상 장치로부터 생성되는 객체 검출 방법.
  19. 제10항 내지 제18항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020170056912A 2017-05-04 2017-05-04 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 KR102486986B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170056912A KR102486986B1 (ko) 2017-05-04 2017-05-04 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
US15/675,400 US10679377B2 (en) 2017-05-04 2017-08-11 Object detection system and method, and computer readable recording medium
KR1020230001317A KR102628413B1 (ko) 2017-05-04 2023-01-04 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170056912A KR102486986B1 (ko) 2017-05-04 2017-05-04 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230001317A Division KR102628413B1 (ko) 2017-05-04 2023-01-04 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20180122831A true KR20180122831A (ko) 2018-11-14
KR102486986B1 KR102486986B1 (ko) 2023-01-10

Family

ID=64014782

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170056912A KR102486986B1 (ko) 2017-05-04 2017-05-04 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR1020230001317A KR102628413B1 (ko) 2017-05-04 2023-01-04 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230001317A KR102628413B1 (ko) 2017-05-04 2023-01-04 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Country Status (2)

Country Link
US (1) US10679377B2 (ko)
KR (2) KR102486986B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321205B1 (ko) * 2021-06-10 2021-11-03 주식회사 스누아이랩 인공지능 서비스장치 및 그 장치의 구동방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200056186A (ko) * 2018-11-14 2020-05-22 현대자동차주식회사 얼굴 인식 장치 및 방법
FR3115888B1 (fr) * 2020-10-30 2023-04-14 St Microelectronics Grenoble 2 Procédé de détection d’une présence d’un objet dans un champ de vision d’un capteur temps de vol
JP2022102947A (ja) * 2020-12-25 2022-07-07 富士通株式会社 検知プログラム、検知方法、および検知装置
DE102021133407A1 (de) 2021-12-16 2023-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum ermitteln einer fehldetektionsinformation, verfahren zum betreiben eines fahrassistenzsystems, computerprogrammprodukt, fahrassistenzsystem, fahrzeug und anordnung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160097690A (ko) * 2015-02-09 2016-08-18 한화테크윈 주식회사 물체 검출 방법 및 이 방법을 채용한 감시 시스템
KR20170034607A (ko) * 2015-09-21 2017-03-29 한화테크윈 주식회사 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098844A1 (en) 2004-11-05 2006-05-11 Huitao Luo Object detection utilizing a rotated version of an image
GB2471036B (en) 2008-03-03 2012-08-22 Videoiq Inc Object matching for tracking, indexing, and search
KR101077312B1 (ko) 2009-07-01 2011-10-26 삼성전기주식회사 하라이크 특징점을 이용한 사람 검출 장치 및 그 방법
KR101618814B1 (ko) * 2012-10-09 2016-05-09 에스케이텔레콤 주식회사 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
JP5438861B1 (ja) * 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
KR20160109885A (ko) 2015-03-13 2016-09-21 한국전자통신연구원 영상 데이터 처리 방법 및 장치
KR20160125803A (ko) 2015-04-22 2016-11-01 국방과학연구소 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
KR101600617B1 (ko) 2015-11-05 2016-03-07 주식회사 센텍 영상내 사람 검출 방법
KR102410268B1 (ko) * 2015-11-20 2022-06-20 한국전자통신연구원 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160097690A (ko) * 2015-02-09 2016-08-18 한화테크윈 주식회사 물체 검출 방법 및 이 방법을 채용한 감시 시스템
KR20170034607A (ko) * 2015-09-21 2017-03-29 한화테크윈 주식회사 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321205B1 (ko) * 2021-06-10 2021-11-03 주식회사 스누아이랩 인공지능 서비스장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
KR20230009523A (ko) 2023-01-17
US10679377B2 (en) 2020-06-09
US20180322652A1 (en) 2018-11-08
KR102486986B1 (ko) 2023-01-10
KR102628413B1 (ko) 2024-01-23

Similar Documents

Publication Publication Date Title
KR102628413B1 (ko) 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR101434768B1 (ko) 이동 물체 추적 시스템 및 이동 물체 추적 방법
US7778445B2 (en) Method and system for the detection of removed objects in video images
KR101546137B1 (ko) 인물 인식 장치 및 방법
US9922423B2 (en) Image angle variation detection device, image angle variation detection method and image angle variation detection program
JP5355446B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
JP5388829B2 (ja) 侵入物体検知装置
US20160004935A1 (en) Image processing apparatus and image processing method which learn dictionary
WO2010101227A1 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
US10762372B2 (en) Image processing apparatus and control method therefor
US9934576B2 (en) Image processing system, image processing method, and recording medium
CN109815787B (zh) 目标识别方法、装置、存储介质及电子设备
CN107005655A (zh) 图像处理方法
US20100002142A1 (en) System and method for video-processing algorithm improvement
KR102481995B1 (ko) 딥러닝 기반으로 이상 행동을 자동으로 감지하는 온디바이스 ai 장치 및 이의 동작 방법
JP2009027393A (ja) 映像検索システムおよび人物検索方法
KR20170038144A (ko) 어텐션 검출 장치 및 어텐션 검출 방법
JP4999794B2 (ja) 静止領域検出方法とその装置、プログラム及び記録媒体
JP2020149641A (ja) 物体追跡装置および物体追跡方法
KR102366522B1 (ko) 물체 검출 방법 및 이 방법을 채용한 감시 시스템
CN113869110A (zh) 物品检测方法、装置、终端及计算机可读存储介质
KR102527771B1 (ko) Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법
CN106355137B (zh) 检测反复游荡的方法和反复游荡检测装置
KR102516172B1 (ko) 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR102402883B1 (ko) 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant