KR101681282B1 - 대상체 검출 장치 및 방법 - Google Patents

대상체 검출 장치 및 방법 Download PDF

Info

Publication number
KR101681282B1
KR101681282B1 KR1020150171419A KR20150171419A KR101681282B1 KR 101681282 B1 KR101681282 B1 KR 101681282B1 KR 1020150171419 A KR1020150171419 A KR 1020150171419A KR 20150171419 A KR20150171419 A KR 20150171419A KR 101681282 B1 KR101681282 B1 KR 101681282B1
Authority
KR
South Korea
Prior art keywords
image
background image
brightness
region
value
Prior art date
Application number
KR1020150171419A
Other languages
English (en)
Inventor
박강령
이지훈
김영곤
간바야르
김종현
울럭벡
전은솜
최종석
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020150171419A priority Critical patent/KR101681282B1/ko
Application granted granted Critical
Publication of KR101681282B1 publication Critical patent/KR101681282B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 대상체 검출 장치 및 방법에 관한 것으로서, 구체적으로는 열화상 영상에서 퍼지 시스템을 이용한 대상체 검출 장치 및 방법에 관한 것이다. 본 발명은 다양한 조명 환경 및 다양한 환경적인 조건 및 밝기(오전, 낮, 밤, 새벽, 비, 어두운 환경 등)에서 대상체를 정확하게 검출할 수 있다. 또한, 본 발명은 배경 영상이 주어지지 않은 영상들을 활용하여 배경 영상을 생성하고 차 영상을 이용하여 대상체에 대한 사전 정보 없이 대상체를 보다 쉽게 검출할 수 있다. 또한, 본 발명은 배경과 입력 영상의 조건을 고려한 퍼지 시스템을 통하여 적응적인 임계 치를 적용하여 다양한 조건에서도 효과적으로 대상체를 검출 할 수 있다.

Description

대상체 검출 장치 및 방법{APPARATUS AND METHOD FOR OBJECT DETECTION}
본 발명은 대상체 검출 장치 및 방법에 관한 것으로서, 구체적으로는 열화상 영상에서 퍼지 시스템을 이용한 대상체 검출 장치 및 방법에 관한 것이다.
영상에서 대상체를 검출하는 것은 보안, 감시 등의 다양한 목적으로 사용된다. 하지만, 가시광선 카메라에서 취득한 가시광선 영상은 그림자가 많이 드리우는 부분과 같이 제한이 있는 환경에서 또는 캄캄한 밤, 조명이 균일하지 환경에서 대상체를 정확하게 검출하기 어렵다.
본 발명의 배경기술은 대한민국 공개특허 제2013-0101873호 (2013.09.16 공개, 열화상 카메라를 이용한 산불 감시 장치 및 그 방법)에 개시되어 있다.
따라서, 본 발명은 영상에서 환경의 영향을 받지 않고 대상체를 검출하는 대상체 검출 장치 및 방법을 제공한다.
또한, 본 발명은 배경 영상이 없는 열화상 영상에서 배경을 생성하여 다양한 날씨 환경에서 대상체를 검출하는 대상체 검출 장치 및 방법을 제공한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 대상체 검출 장치가 제공된다.
본 발명의 일 실시예에 따른 대상체 검출 장치는 입력된 열화상 영상에서 배경 영상을 생성하는 배경 영상 생성부, 배경 영상과 입력된 열화상 영상에 대해 퍼지 시스템을 통하여 산출한 임계 치를 이용하여 관심 영역이 포함된 차 영상을 생성하는 관심 영역 추출부 및 관심 영역에서 대상체의 크기, 대상체의 가로 대 세로 비율 및 대상체 간 거리 중 적어도 하나를 고려하여 대상체를 검출하는 대상체 확인부를 포함할 수 있다.
본 발명의 일 측면에 따르면, 대상체 검출 방법 및 이를 실행하는 컴퓨터 프로그램이 제공된다.
본 발명의 일 실시예에 따른 대상체 검출 방법 및 이를 실행하는 컴퓨터 프로그램은 입력된 열화상 영상에서 배경 영상을 생성하는 단계, 배경 영상과 입력된 열화상 영상에 대해 퍼지 시스템을 통하여 산출한 임계 치를 이용하여 관심 영역이 포함된 차 영상을 생성하는 단계; 및 관심 영역에서 대상체의 크기, 대상체의 가로 대 세로 비율 및 대상체 간 거리 중 적어도 하나를 고려하여 대상체를 검출하는 단계를 포함할 수 있다.
본 발명은 다양한 조명 환경 및 다양한 환경적인 조건 및 밝기(오전, 낮, 밤, 새벽, 비, 어두운 환경 등)에서 대상체를 정확하게 검출할 수 있다.
또한, 본 발명은 배경 영상이 주어지지 않은 영상들을 활용하여 배경 영상을 생성하고 차 영상을 이용하여 대상체에 대한 사전 정보 없이 대상체를 보다 쉽게 검출할 수 있다.
또한, 본 발명은 배경과 입력 영상의 조건을 고려한 퍼지 시스템을 통하여 적응적인 임계 치를 적용하여 다양한 조건에서도 효과적으로 대상체를 검출 할 수 있다.
또한, 본 발명은 세로축 및 가로축 기준의 히스토그램을 활용하고 분할하여 대상체 후보 영역을 분할하고 대상체의 영역을 연결하는 재정의 과정을 통해 검출된 대상체의 수와 크기, 좌표 등을 판단할 수 있으므로 본 발명은 대상체 검출의 성능이 우수하다.
도 1는 본 발명의 일 실시예에 따른 대상체 검출 장치를 설명하기 위한 도면들.
도 2는 본 발명의 일 실시예에 따른 배경 영상 생성부를 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 관심 영역 추출부를 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 대상체 확인부를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 대상체 검출 방법을 설명하기 위한 도면.
도 6 내지 도 7은 본 발명의 일 실시예에 따른 배경 영상을 생성하는 방법을 설명하기 위한 도면들.
도 8 내지 도 12는 본 발명의 일 실시 예에 따른 관심 영역을 분리하는 방법을 설명하기 위한 도면들.
도 13 내지 도 18은 본 발명의 일 실시예에 따른 대상체를 분리하는 방법을 설명하기 위한 도면들.
도 19는 본 발명의 일 실시 예에 따른 최종적으로 검출한 대상체 영상을 예시한 도면.
도 20은 본 발명의 일 실시 예에 따른 대상체 검출 방법의 성능을 실험한 결과를 나타내는 도면.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명하도록 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1는 본 발명의 일 실시예에 따른 대상체 검출 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 대상체 검출 장치는 영상 입력부(100), 배경 영상 생성부(200), 관심 영역 추출부(300) 및 대상체 확인부(400)를 포함한다.
영상 입력부(100)는 열화상 카메라로 대상체 검출을 위한 열화상 영상을 입력한다. 여기서, 열화상 영상은 열화상 카메라에서 감지한 열에너지를 밝기 값으로 표현되어 나타낼 수 있다. 열화상 영상은 예를 들면, 8비트로 0부터 255까지 밝기 값으로 표현될 수 있다.
배경 영상 생성부(200)는 취득된 영상에서 현재 대상체를 검출할 입력 영상을 제외한 취득 영상들의 중간 값(Median Value)를 활용하여 1차적인 배경 영상을 생성한다. 배경 영상 생성부(200)는 즉, 현재 영상은 제외하고 현재 영상의 취득 이전 또는 이후에 취득된 영상들의 중간 값을 활용하여 배경 영상을 생성한다.
관심 영역 추출부(300)는 생성된 배경 영상과 입력된 열화상 영상에 대해 퍼지 시스템을 통해 산출한 임계 치를 활용하여 관심 영역이 포함된 차 영상을 생성한다. 여기서, 임계 치는 퍼지 시스템을 통하여 배경 영상과 입력 영상의 조건에 의해 적응적으로 결정된다. 관심 영역 추출부(300)는 배경 영상과 입력 영상의 같은 영역에서 밝기 값의 차이가 임계 치보다 클 경우 대상체가 속해있는 관심 영역으로 판단할 수 있다.
대상체 확인부(400)는 관심 영역에서 대상체의 크기, 대상체의 가로 대 세로 비율 및 대상체 간 거리 중 적어도 하나를 고려하여 대상체를 확인한다. 대상체 확인부(400)는 차 영상 결과에서 노이즈를 제거하고 영상의 밝기, 환경 및 검출할 대상체의 크기, 비율 등에 따라 최적의 한계 값을 적용하여 대상체를 검출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 배경 영상 생성부를 설명하기 위한 도면이다.
도 2를 참조하면, 배경 영상 생성부(200)는 배경 영상 필터링부(210), 배경 영상 이진화부(220) 및 배경 영상 노이즈 제거부(230)를 포함한다.
배경 영상 필터링부(210)는 미리 설정된 수의 프레임 수 N(N은 복수인 자연수) 각각 열화상 영상에 대해 필터링을 적용하여 노이즈를 제거한다. 여기서, 필터링은 취득한 영상에서 현재 대상체를 검출할 입력 영상을 제외한 취득 영상들의 중간 값(Median)를 이용한 필터링(filtering) 일 수 있으며, 이를 통하여 픽셀 값이 주변 픽셀 값에 대하여 튀는 노이즈, 예를 들면 고우스트(ghost) 노이즈 등을 제거하고 영상의 노이즈 부분을 부드럽게 만들 수 있다.
배경 영상 이진화부(220)는 필터링된 각각의 열화상 영상에 미리 설정된 한계 값을 이용하여 이진화된 영상을 생성한다.
배경 영상 노이즈 제거부(230)는 이진화된 영상에서 라벨링을 통하여 어느 위치에 노이즈가 있는지 표시하고, 크기 필터링을 통하여 일정 크기 이상의 노이즈를 제거할 수 있다. 또한, 배경 영상 노이즈 제거부(230)는 노이즈가 없는 영역의 값을 활용하는 선형 보간법 등의 노이즈 제거 방법을 통해 움직임이 없는 대상을 제거하여 움직임이 없었던 대상체의 영역에 대해서도 효과적으로 배경 영상을 생성할 수 있다. 배경 영상 노이즈 제거부(230)는 상술의 과정들을 거친 후 영상의 가장자리 부분에서 노이즈를 제거하고 영상의 크기가 취득했던 영상들과 동일한 크기를 갖도록 처리하여 배경 영상을 생성한다.
도 3은 본 발명의 일 실시예에 따른 관심 영역 추출부를 설명하기 위한 도면이다.
도 3을 참조하면, 관심 영역 추출부(300)는 퍼지 입력값 산출부(310), 퍼지 시스템 적용부(320) 및 관심 영역 검출부(330)를 포함한다.
퍼지 입력값 산출부(310)는 배경 영상의 밝기 평균 값을 산출한다. 퍼지 입력값 산출부(310)는 배경 영상과 입력 영상의 밝기 차의 합 값을 산출한다. 퍼지 입력값 산출부(310)는 또한, 배경 영상과 입력 영상의 밝기 차이가 미리 설정된 임계 값 이상인 경우, 차이 값을 모두 합할 수 있다.
퍼지 시스템 적용부(320)는 산출된 배경 영상의 밝기 평균 값과 배경 영상과 입력 영상의 밝기 차의 합 값을 이용하여 임계 치를 결정한다. 퍼지 시스템 적용부(320)는 최종 배경 영상의 밝기 평균 값의 단계를 낮음(Low), 중간(Medium), 높음(High) 단계로 구분할 수 있다. 퍼지 시스템 적용부(320)는 또한, 최종 배경 영상과 입력 영상의 밝기 차의 합 값의 단계를 낮음(Low) 및 높음(High) 단계로 구분할 수 있다. 퍼지 시스템 적용부(320)는 이 두 값의 단계를 고려하여 결과 값의 단계를 결정할 수 있다. 퍼지 시스템 적용부(320)는 예를 들어, 배경 영상의 밝기 평균 값의 단계의 결과가 낮음(Low)이고, 배경 영상과 입력 영상의 밝기 차의 합 값의 단계의 결과가 낮음(Low)인 경우 출력 값은 낮음(Low) 단계에서 결정될 수 있다. 퍼지 시스템 적용부(320)는 또한, 예를 들어, 배경 영상의 밝기 평균 값의 단계의 결과가 낮음(Low)이고, 배경 영상과 입력 영상의 밝기 차의 합 값의 단계의 결과가 높음(High)인 경우 출력 값은 매우 높음(very High)단계에서 결정될 수 있다. 퍼지 시스템 적용부(320)는 즉, 배경 영상의 밝기와 배경 영상과 입력 영상의 관계에 의해서 각 상황에 적응적인 임계 치가 결정될 수 있다. 따라서 본 발명은 적응적 이진화를 통해 대상체 영역을 검출할 수 있으므로 다양한 환경적인 조건과 밝기(낮, 밤, 눈, 어두운 장소, 실내, 실외 등)에서 대상체 검출 및 추적의 성능 저하를 방지할 수 있다.
관심 영역 검출부(330)는 배경 영상과 입력 영상의 같은 영역에서 밝기 값 차이가 결정된 임계 치보다 클 경우 대상체가 속해있는 관심 영역으로 검출한다. 관심 영역 검출부(330)는 관심 영역을 나타내는 영상을 생성한다.
도 4는 본 발명의 일 실시예에 따른 대상체 확인부를 설명하기 위한 도면이다.
도 4를 참조하면, 대상체 확인부(400)는 대상체 노이즈 제거부(410), 대상체 분리부(420), 대상체 크기 필터링부(430), 대상체 영역 재정의부(440) 및 대상체 영역 확인부(450)를 포함한다.
대상체 노이즈 제거부(410)는 분리된 관심 영역에 대하여 영역 노이즈가 제거된다. 여기서, 영역 노이즈는 모폴로지 연상(팽창 및 침식) 및 라벨링 방법 등을 통하여 제거될 수 있다.
대상체 분리부(420)는 세로 축 및 가로 축 기준의 픽셀 누적 수를 나타내는 히스토그램 정보를 활용하여 대상체를 분리한다. 여기서, 픽셀 수 누적 히스토그램을 사용하는 이유는 여러 대상체가 겹쳐 있는 경우에도 대상체의 수를 판단하는 데 용이하여 검출 정확성을 높일 수 있기 때문이다. 대상체 분리부(420)는 분리할 영역을 판단하기 위해 픽셀 누적 수와 대상 후보 영역의 크기 및 비율이 활용하고 미리 설정된 기준 값을 활용하여 하나의 대상체 후보인 영역을 두 개 이상의 영역으로 분리 할 수 있다. 여기서, 관심 영역의 분리는 입력되는 열화상 영상에서 근거리의 대상체는 크게 취득되고, 원거리의 대상체는 작게 취득되므로, 대상체의 가로 및 세로의 비율을 고려할 수 있다.
대상체 크기 필터링부(430)는 대상체의 크기가 기준 값 조건에 부합하는 경우 노이즈로 간주되어 제거된다.
대상체 영역 재정의부(440)는 히스토그램 분리 후 대상체의 크기, 가로 대 세로 비율를 고려한 대상체 영역을 재정의할 수 있다. 또한, 대상체 영역 재정의부(440)는 대상체 후보들 간의 거리와 크기를 고려하여 대상체 영역을 재정의할 수 있다. 대상체 영역 재정의부(440)는 대상체 영역 재정의를 통하여 차 영상에서 정확하게 취득하지 못한 대상체 영역 또는 분리 과정에 발생 했던 오류들을 보완할 수 있다. 예를 들면, 대상체 영역 재정의부(440)는 대상체 후보들 간의 거리와 크기가 미리 설정된 거리 값 이하이면 두 대상체는 원래 하나의 대상체로부터 검출된 결과라 간주할 수 있다. 따라서 대상체 영역 재정의부(440)는 거리와 조건에 만족하는 두 대상체를 하나의 대상체로 영역을 정의할 수 있다.
대상체 영역 확인부(450)는 대상체 영역을 재정의하여 최종적으로 검출할 대상들의 크기와 좌표 정보를 검출한다.
도 5는 본 발명의 일 실시예에 따른 대상체 검출 방법을 설명하기 위한 도면이다.
도 5을 참조하면, 단계 S510에서 대상체 검출 장치는 열화상 카메라에서 취득한 열화상 영상에서 배경 영상을 생성한다.
단계 S520에서 대상체 검출 장치는 생성된 배경 영상과 취득한 영상을 이용하여 관심 영역을 분리한다.
단계 S530에서 대상체 검출 장치는 관심 영역에서 대상체의 크기, 대상체의 가로 대 세로 비율 및 대상체 간 거리 중 적어도 하나를 고려하여 대상체를 분리한다.
도 6 내지 도 7은 본 발명의 일 실시예에 따른 배경 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 6 및 도 7을 참조하면, 단계 S610에서 대상체 검출 장치는 열화상 카메라에서 원하는 만큼의 N(N은 자연수) 프레임의 영상을 취득한다.
단계 S620에서 대상체 검출 장치는 취득한 영상에서 현재 대상체를 검출할 입력 영상을 제외한 취득 영상들의 중간 값(Median Value)를 활용하여 1차 배경 영상(710)을 생성한다.
단계 S630에서 대상체 검출 장치는 1차 배경 영상의 노이즈를 제거한다. 대상체 검출 장치는 노이즈로 추정되는 부분이 돋보이도록 하기 위해 예를 들면, 맥스 필터링(Max filtering) 등과 같은 방법이 활용될 수 있다.
단계 S640에서 대상체 검출 장치는 미리 설정된 한계 값을 이용하여 이진화 영상(720)을 생성한다.
단계 S650에서 대상체 검출 장치는 크기 필터링 및 라벨링을 통하여 노이즈가 제거(730)된다. 대상체 검출 장치는 대상체의 크기로 추정되는 부분을 검출하고 1차 배경 영상의 노이즈에 보간법 등의 방법을 적용하여 노이즈를 제거할 수 있다. 대상체 검출 장치는 노이즈가 없는 영역의 값을 활용하는 선형 보간법 등의 노이즈 제거 방법을 통해 움직임이 없는 대상을 제거하여 효과적인 배경 영상을 생성할 수 있다.
단계 S660에서 대상체 검출 장치는 영상의 가장자리의 노이즈를 제거하고 영상의 크기가 취득했던 영상들과 동일한 크기를 갖도록 처리하여 최종 배경 영상(740)을 생성한다.
도 8 내지 도 12는 본 발명의 일 실시 예에 따른 관심 영역을 분리하는 방법을 설명하기 위한 도면들이다.
단계 S810에서 대상체 검출 장치는 배경 영상(910) 픽셀의 밝기 평균 값을 산출한다.
단계 S820에서 대상체 검출 장치는 배경 영상(910) 및 입력 영상(920) 픽셀 밝기 차의 합 값을 산출한다.
단계 S830에서 대상체 검출 장치는 산출한 배경 영상(910)의 밝기 평균 값 및 배경 영상(910) 및 입력 영상(920)의 밝기 차의 합 값을 입력 값을 퍼지 시스템에 적용하여 임계 치를 결정한다. 여기서, 퍼지 시스템은 퍼지화기, 퍼지 추론기, 퍼지규칙베이스 및 비퍼지화기를 포함한다.
도 10을 참조하면, 제1 입력 멤버십 함수는 최종 배경 영상(910) 픽셀의 밝기 평균 값을 0부터 1까지 표준화하고, 낮음(Low), 중간(Medium) 및 높음(High) 값을 가질 수 있다.
도 11을 참조하면, 제2 입력 멤버십 함수는 최종 배경 영상(910) 및 입력 영상(920)의 픽셀 밝기 차의 합 값을 0부터 1까지 표준화하고, 낮음(Low) 및 높음(High) 값을 가질 수 있다.
퍼지 추론기를 위한 If-then 규칙은 다음과 같이 예를 들어 나타낼 수 있다.
규칙 1: 최종 배경 영상 픽셀의 밝기 평균 값이 낮음 이고 최종 배경 영상 및 입력 영상의 픽셀 밝기 차의 합 값이 낮음 이면, 출력 값은 낮음.
규칙 2: 최종 배경 영상 픽셀의 밝기 평균 값이 낮음 이고 최종 배경 영상 및 입력 영상의 픽셀 밝기 차의 합 값이 높음 이면, 출력 값은 매우 높음.
규칙 3: 최종 배경 영상 픽셀의 밝기 평균 값이 중간 이면, 출력 값은 중간.
규칙 4: 최종 배경 영상 픽셀의 밝기 평균 값이 높음 이고 최종 배경 영상 및 입력 영상의 픽셀 밝기 차의 합 값이 낮음 이면, 출력 값은 높음.
규칙 5: 최종 배경 영상 픽셀의 밝기 평균 값이 높음 이고 최종 배경 영상 및 입력 영상의 픽셀 밝기 차의 합 값이 높음 이면, 출력 값은 낮음.
도 12를 참조하면, 출력 멤버십 함수는 매우 낮음, 낮음, 중간, 높음, 매우 높음 등 5가지의 값을 포함한다. 여기서, 출력 값을 퍼지화 파라미터라 하며, 이 퍼지화 파라미터는 퍼지 멤버십 함수에서 실험적으로 설정될 수 있다.
비퍼지화기는 무게 중심(center of gravity)을 이용하여 퍼지화 파라미터를 산출할 수 있다.
임계 치는 퍼지화 파라미터를 이용하여 다음 수식 (1)에 의하여 산출될 수 있다.
Figure 112015118421906-pat00001
(1)
여기서, p는 퍼지화 파라미터, α 및 β는 실험적으로 미리 설정된 상수, Θth는 임계 치이고 그 범위는 α부터 α+β까지임.
단계 S840에서 대상체 검출 장치는 배경 영상과 입력 영상의 같은 영역에서 밝기 값 차이가 결정된 임계 치보다 클 경우 대상체가 속해 있는 관심 영역으로 검출한다. 즉, 대상체 검출 장치는 관심 영역을 나타내는 영상(930)을 생성한다. 대상체 검출 장치는 다음 수식 (2)를 이용하여 관심 영역을 검출할 수 있다.
Figure 112015118421906-pat00002
(2)
여기서, Rk(i, j) 는 관심 영역을 나타내는 이진화 영상, Ik(i, j) 및Bk(i, j) 는 생성된 최종 배경 영상 및 입력 영상의 픽셀 밝기 값이고, Θth는 퍼지 시스템 기반에서 적응적으로 설정되는 임계 치임.
도 13 내지 도 18은 본 발명의 일 실시예에 따른 대상체를 분리하는 방법을 설명하기 위한 도면들이다.
도 13을 참조하면, 단계 S1310에서 대상체 검출 장치는 생성된 관심 영역을 나타내는 영상에서 노이즈를 제거한다. 여기서, 노이즈는 모폴로지 연산(팽창 및 침식), 라벨링, 크기 필터링 및 다양한 방법에 의해 제거될 수 있다.
단계 S1320에서 대상체 검출 장치는 노이즈 제거 후 세로 축 및 가로축 기준으로 관심 영역에서 대상체를 분리한다. 여기서, 대상체 분리는 세로 축 및 가로축 기준의 픽셀 누적 수를 나타내는 히스토그램 정보를 이용할 수 있다.
대상체 검출 장치는 세로 축 히스토그램은 다음 수식 (3)에 의해 산출할 수 있다.
Figure 112015118421906-pat00003
(3)
여기서, I(x, y) 는 관심 영역 내의 위치 (x, y)의 픽셀 강도(intensity)이고 I(x, y) 가 참값이면 P 값은 1, 참값이 아니면 0이고, Iy 는 관심 영역의 높이임.
도 14를 참조하면, 대상체 검출 장치는 세로 축 히스토그램(Hx)의 최소 값이 제1 한계 값보다 낮으면, 관심 영역은 위치 x에서 수직적으로 2 부분으로 나누어질 수 있다.
대상체 검출 장치는 가로 축 히스토그램은 다음 수식 (4)에 의해 산출할 수 있다.
Figure 112015118421906-pat00004
(4)
여기서, I(x, y) 는 관심 영역 내의 위치 (x, y)의 픽셀 강도(intensity), I(x, y) 가 참값이면 P 값은 1, 참값이 아니면 0이고, Ix 는 관심 영역의 너비임.
도 15를 참조하면, 대상체 검출 장치는 가로 축 히스토그램(Hy)의 최소 값이 제2 한계 값보다 낮으면, 관심 영역은 위치 y에서 수평적으로 2 부분으로 나누어질 수 있다.
단계 S1330에서 대상체 검출 장치는 대상체의 크기, 가로 대 세로 비율을 고려하여 대상체 영역을 재정의한다.
대상체 검출 장치는 관심 영역의 크기 또는 높이 대 너비 비율이 파라미터보다 크면, 관심 영역 내에 사람들이 둘 이상 있는 것으로 판단하고, 그 관심 영역을 2개의 부분으로 나눌 수 있다.
도 16을 참조하면, 대상체 검출 장치는 점선으로 나타낸 관심 영역의 중간 위치에서 수평적으로 대상체를 분리할 수 있다.
단계 S1340에서 대상체 검출 장치는 크기가 미리 설정된 기준 값을 넘는 경우 노이즈로 간주되어 제거될 수 있다.
도 17을 참조하면, 대상체 검출 장치는 관심 영역의 크기가 너무 작거나 크면 관심 영역을 노이즈로 간주할 수 있고, 좌측 상부의 여러 작은 부분들은 제거하고, 단지 인간이 있는 대상체 영역만 분리할 수 있다.
단계 S1350에서 대상체 검출 장치는 대상체 후보들 간의 거리와 크기를 고려하여 대상체 영역을 재정의한다. 대상체 검출 장치는 대상체 후보들 간의 거리와 크기가 미리 설정된 기준 값 이하이면 두 대상체는 원래 하나의 대상체로부터 검출된 결과라 간주하고 거리와 조건에 만족하는 두 대상체를 하나의 대상체로 영역을 정의할 수 있다.
도 18을 참조하면, 대상체 검출 장치는 원 내에 있는 2개 이상의 분리된 부분들간의 거리가 미리 설정된 기준 값 이하이므로 2개 이상의 분리된 부분들을 하나의 대상체 영역으로 정의할 수 있다.
단계 S1360에서 대상체 검출 장치는 최종적으로 대상체들의 크기와 좌표 정보를 검출한다.
도 19는 본 발명의 일 실시 예에 따른 최종적으로 검출한 대상체 영상을 예시한 도면이다.
도 19를 참조하면, 1910 내지 1940의 도면들은 서로 다른 환경과 조건에서 대상체를 검출한 최종 결과 영상의 예시이며, 대상체들은 서로 다른 행동을 하고 있다. 1910 내지 1940의 도면들은 열 화상 카메라를 사용하여 영상들을 취득하였으므로 환경에 따라 대상체와 배경 영역의 밝기는 다르다. 그러나 본 발명에 따른 대상체 검출 장치는 배경과 입력 영상의 조건을 고려하고 퍼지 시스템을 통하여 적응적인 임계 치를 적용할 수 있으므로 다양한 조건에서도 효과적으로 대상체를 검출 할 수 있다. 또한 본 발명은 이진화와 여러 노이즈 제거 방법, 검출 방법 등을 활용하여 성공적으로 대상체를 검출하게 되었음을 볼 수 있다. 따라서 본 발명은 배경 영상이 주어지지 않은 영상들을 활용하여 배경 영상을 생성하므로 기존에 배경 영상과 같은 사전정보가 있어야 가능했던 기술과 차이가 있다. 더불어, 본 발명은 다양한 노이즈 제거 방법을 이용하므로 다양한 환경적인 조건 및 밝기(오전, 낮, 밤, 새벽, 비, 어두운 환경 등)에서 대상체 검출의 정확성을 높일 수 있다. 본 발명의 일 실시예에 따르면, 세로축 및 가로축 기준의 히스토그램을 활용하고 분할하여 대상체 후보 영역을 분할하고 대상체의 영역을 연결하고 재정의 하는 과정을 통해 검출된 대상체의 수와 크기, 좌표 등을 판단할 수 있으므로 본 발명은 대상체 검출의 성능 또한 강인하다.
도 20은 본 발명의 일 실시 예에 따른 대상체 검출 방법의 성능을 실험한 결과를 나타내는 도면이다.
도 20을 참조하면, 7가지 종류의 데이터베이스를 이용하여 본 발명에 따른 대상체 검출 방법의 성능을 나타내었다. 표에 나타낸 1, 2, 3, 4는 걷는 활동, 뛰는 활동, 서 있는 활용 및 앉은 활동을 나타낸다. 또한, #TP 및 #FP 는 true positive 및 false positive cases의 각각의 수를 나타낸다. true positive 및 false positive에 기반하여, 민감도(sensitivity) 및 PPV 가 정확도를 평가하기 위하여 다음 수식 5 및 수식 6을 이용하여 계산되었다.
Figure 112015118421906-pat00005
(5)
Figure 112015118421906-pat00006
(6)
또한, 민감도(sensitivity) 및 PPV 의 형평성을 위하여 다음 수식 7을 이용하여 F1 점수가 계산되었다.
Figure 112015118421906-pat00007
(7)
도 20에서 나타난 바와 같이, 본 발명에 따른 대상체 검출 방법은 실험 결과, 민감도, PPV 및 F1 점수가 각각 98.42%, 96.68%, and 97.54%로 평가되어 매우 우수함을 알 수 있었다.
본 발명의 다양한 실시예에 따른 대상체 검출방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 통신 단말기에서 구현되는 애플리케이션 형태로 구현될 수 있다. 또한, 본 발명에 따른 대상체 검출 방법을 실행하는 프로그램 및 애플리케이션은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
200: 배경 영상 생성부
300: 관심 영역 분리부
400: 대상체 확인부

Claims (17)

  1. 대상체 검출 장치에 있어서,
    입력된 열화상 영상에서 배경 영상을 생성하는 배경 영상 생성부;
    상기 배경 영상과 입력된 열화상 영상에 대해 퍼지 시스템을 통하여 산출한 임계 치를 이용하여 관심 영역이 포함된 차 영상을 생성하는 관심 영역 추출부; 및
    상기 관심 영역에서 대상체의 크기, 대상체의 가로 대 세로 비율 및 대상체 간 거리 중 적어도 하나를 고려하여 대상체를 검출하는 대상체 확인부를 포함하되,
    상기 관심 영역 추출부는
    상기 배경 영상의 밝기 평균 값과, 상기 배경 영상과 입력 영상의 밝기 차의 합 값을 산출하는 퍼지 입력값 산출부;
    산출된 상기 배경 영상의 밝기 평균 값과, 상기 배경 영상과 입력 영상의 밝기 차의 합 값을 이용하여 임계 치를 결정하는 퍼지 시스템 적용부;
    상기 배경 영상과 입력된 열화상 영상의 같은 영역에서 밝기 값 차이가 결정된 임계 치보다 클 경우 대상체가 속해있는 관심 영역으로 검출하는 관심 영역 검출부를 포함하는 대상체 검출 장치.
  2. 제1 항에 있어서,
    상기 배경 영상 생성부는
    미리 설정된 수의 프레임 수 N(N은 복수인 자연수) 각각 열화상 영상에 대해 필터링을 적용하여 노이즈를 제거하는 배경 영상 필터링부;
    필터링된 각각의 열화상 영상에 미리 설정된 한계 값을 이용하여 이진화된 영상을 생성하는 배경 영상 이진화부; 및
    이진화된 영상에서 라벨링을 통하여 어느 위치에 노이즈가 있는지 표시하고, 크기 필터링을 통하여 일정 크기 이상의 노이즈를 제거하여 배경 영상을 생성하는 배경 영상 노이즈 제거부를 포함하는 대상체 검출 장치.
  3. 제2 항에 있어서,
    상기 배경 영상 필터링부는
    입력 영상을 제외한 취득 영상들의 중간 값(Median)을 이용한 중간 값 필터링을 적용하여 상기 노이즈를 제거하는 대상체 검출 장치.
  4. 제2 항에 있어서,
    상기 배경 영상 노이즈 제거부는
    노이즈가 없는 영역의 값을 활용하는 선형 보간법을 이용하여 움직임이 없는 대상체의 영역에 대해서 배경 영상을 생성하는 대상체 검출 장치.
  5. 삭제
  6. 제1 항에 있어서,
    상기 퍼지 시스템 적용부는
    상기 배경 영상의 밝기와 상기 배경 영상과 입력 영상의 관계에 의해서 다양한 환경적인 조건과 밝기에 적응적인 임계 치가 결정되는 대상체 검출 장치.
  7. 제1 항에 있어서,
    상기 대상체 확인부는
    분리된 관심 영역에 대하여 영역 노이즈가 제거되는 대상체 노이즈 제거부;
    대상체의 크기가 기준 값 조건에 부합하는 경우 노이즈로 간주되어 제거하는 대상체 크기 필터링부; 및
    대상체 영역의 크기 및 좌표 정보를 검출하는 대상체 영역 확인부를 포함하는 대상체 검출 장치.
  8. 제7항에 있어서,
    상기 대상체 확인부는
    세로 축 및 가로 축 기준의 픽셀 누적 수를 나타내는 히스토그램 정보를 활용하여 대상체를 분리하는 대상체 분리부를 더 포함하는 대상체 검출 장치.
  9. 제7 항에 있어서,
    상기 대상체 확인부는
    대상체의 크기, 가로 대 세로 비율 및 대상체 후보들 간 거리 중 적어도 하나에 의해 대상체 영역을 재정의하는 대상체 영역 재정의부를 더 포함하는 대상체 검출 장치.
  10. 대상체 검출 장치에서 대상체를 검출하는 방법에 있어서,
    입력된 열화상 영상에서 배경 영상을 생성하는 단계;
    상기 배경 영상과 입력된 열화상 영상에 대해 퍼지 시스템을 통하여 산출한 임계 치를 이용하여 관심 영역이 포함된 차 영상을 생성하는 단계; 및
    상기 관심 영역에서 대상체의 크기, 대상체의 가로 대 세로 비율 및 대상체 간 거리 중 적어도 하나를 고려하여 대상체를 검출하는 단계를 포함하되,
    상기 배경 영상과 입력된 열화상 영상에 대해 퍼지 시스템을 통하여 산출한 임계 치를 이용하여 관심 영역이 포함된 차 영상을 생성하는 단계는
    상기 배경 영상의 밝기 평균 값과, 상기 배경 영상과 입력 영상의 밝기 차의 합 값을 산출하는 단계;
    산출된 상기 배경 영상의 밝기 평균 값과, 상기 배경 영상과 입력 영상의 밝기 차의 합 값을 이용하여 임계 치를 결정하는 단계;
    상기 배경 영상과 입력된 열화상 영상의 같은 영역에서 밝기 값 차이가 결정된 임계 치보다 클 경우 대상체가 속해있는 관심 영역으로 검출하는 단계를 포함하는 대상체 검출 방법.
  11. 제10항에 있어서,
    상기 입력된 열화상 영상에서 배경 영상을 생성하는 단계는
    취득한 영상에서 대상체를 검출할 입력 영상을 제외한 취득 영상들의 중간 값(Median Value)를 활용하여 1차 배경 영상을 생성하는 단계;
    상기 1차 배경 영상에서 크기 필터링 및 라벨링을 통하여 노이즈를 제거하는 단계; 및
    가장자리의 노이즈를 제거하고 영상의 크기가 취득했던 영상들과 동일한 크기를 갖도록 처리하여 최종적으로 배경 영상을 생성하는 단계를 포함하는 대상체 검출 방법.
  12. 삭제
  13. 제10 항에 있어서,
    상기 산출된 상기 배경 영상의 밝기 평균 값과, 상기 배경 영상과 입력 영상의 밝기 차의 합 값을 이용하여 임계 치를 결정하는 단계는
    상기 배경 영상 픽셀의 밝기 평균 값을 0부터 1까지 표준화하고, 낮음(Low), 중간(Medium) 및 높음(High) 값으로 분류하여 제1 멤버십 함수를 설정하는 단계;
    상기 밝기 차의 합 값을 0부터 1까지 표준화하고, 낮음(Low) 및 높음(High) 값으로 분류하여 제2 멤버십 함수를 설정하는 단계;
    상기 제1 멤버십 함수 및 상기 제2 멤버십 함수에 대해 퍼지 추론을 위한 규칙을 설정하는 단계;
    상기 설정된 규칙을 상기 제1 멤버십 함수 및 상기 제2 멤버십 함수에 적용하여 출력 멤버십 함수를 설정하는 단계; 및
    상기 출력 멤버십 함수를 이용하여 산출된 퍼지화 파라미터를 활용하여 임계 치를 산출하는 단계를 포함하는 대상체 검출 방법.
  14. 제13 항에 있어서,
    상기 퍼지 추론을 위한 규칙은
    규칙 1: 최종 배경 영상 픽셀의 밝기 평균 값이 낮음 이고 최종 배경 영상 및 입력 영상의 픽셀 밝기 차의 합 값이 낮음 이면, 출력 값은 낮음,
    규칙 2: 최종 배경 영상 픽셀의 밝기 평균 값이 낮음 이고 최종 배경 영상 및 입력 영상의 픽셀 밝기 차의 합 값이 높음 이면, 출력 값은 매우 높음,
    규칙 3: 최종 배경 영상 픽셀의 밝기 평균 값이 중간 이면, 출력 값은 중간,
    규칙 4: 최종 배경 영상 픽셀의 밝기 평균 값이 높음 이고 최종 배경 영상 및 입력 영상의 픽셀 밝기 차의 합 값이 낮음 이면, 출력 값은 높음 및
    규칙 5: 최종 배경 영상 픽셀의 밝기 평균 값이 높음 이고 최종 배경 영상 및 입력 영상의 픽셀 밝기 차의 합 값이 높음 이면, 출력 값은 낮음
    중 적어도 하나의 규칙을 포함하는 대상체 검출 방법.
  15. 제10 항에 있어서,
    상기 관심 영역에서 대상체의 크기, 대상체의 가로 대 세로 비율 및 대상체 간 거리 중 적어도 하나를 고려하여 대상체를 검출하는 단계는
    생성된 관심 영역을 나타내는 영상에서 노이즈를 제거하는 단계;
    세로 축 및 가로축 기준으로 관심 영역에서 대상체를 분리하는 단계;
    대상체의 크기, 가로 대 세로 비율을 고려하여 대상체 영역을 재정의하는 단계;
    크기가 미리 설정된 기준 값을 넘는 경우 노이즈로 간주되어 제거하는 단계;
    대상체 후보들 간의 거리와 크기를 고려하여 대상체 영역을 재정의하는 단계; 및
    대상체들의 크기와 좌표 정보를 검출하는 단계를 포함하는 대상체 검출 방법.
  16. 제15 항에 있어서,
    상기 세로 축 및 가로 축 기준으로 관심 영역에서 대상체를 분리하는 단계는
    세로 축 히스토그램의 최소 값이 미리 설정된 제1 한계 값보다 낮으면, 관심 영역의 대상체를 수직적으로 분리하는 단계; 및
    가로 축 히스토그램의 최소 값이 미리 설정된 제2 한계 값보다 낮으면, 관심 영역의 대상체를 수평적으로 분리하는 단계를 포함하는 대상체 검출 방법.
  17. 제10항, 제11항 및 제13항 내지 제16항 중 어느 한 항의 대상체 검출 방법을 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
KR1020150171419A 2015-12-03 2015-12-03 대상체 검출 장치 및 방법 KR101681282B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150171419A KR101681282B1 (ko) 2015-12-03 2015-12-03 대상체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150171419A KR101681282B1 (ko) 2015-12-03 2015-12-03 대상체 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101681282B1 true KR101681282B1 (ko) 2016-12-02

Family

ID=57571621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150171419A KR101681282B1 (ko) 2015-12-03 2015-12-03 대상체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101681282B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125388B1 (ko) * 2019-08-12 2020-06-22 (주)임펙 엔터프라이즈 기판의 절단위치를 자동으로 보정하는 기판절단장비 및 이를 위한 보정 방법
KR20210157194A (ko) * 2020-06-19 2021-12-28 대한민국(농촌진흥청장) 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법
KR20230080946A (ko) * 2021-11-30 2023-06-07 경북대학교 산학협력단 3차원 이미지 장비를 이용한 물체 부피 측정 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227527A (ja) * 2003-01-27 2004-08-12 Fujitsu Ltd 画像処理方法、その方法をコンピュータに行わせるプログラム、そのプログラムを記録する記録媒体
JP2005354597A (ja) * 2004-06-14 2005-12-22 Honda Motor Co Ltd 車両周辺監視装置
KR101583776B1 (ko) * 2014-10-29 2016-01-11 동국대학교 산학협력단 대상체 검출 장치, 방법 및 컴퓨터프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227527A (ja) * 2003-01-27 2004-08-12 Fujitsu Ltd 画像処理方法、その方法をコンピュータに行わせるプログラム、そのプログラムを記録する記録媒体
JP2005354597A (ja) * 2004-06-14 2005-12-22 Honda Motor Co Ltd 車両周辺監視装置
KR101583776B1 (ko) * 2014-10-29 2016-01-11 동국대학교 산학협력단 대상체 검출 장치, 방법 및 컴퓨터프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
퍼지기법을 이용한 영상분할 및 물체추적에 관한 연구* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125388B1 (ko) * 2019-08-12 2020-06-22 (주)임펙 엔터프라이즈 기판의 절단위치를 자동으로 보정하는 기판절단장비 및 이를 위한 보정 방법
KR20210157194A (ko) * 2020-06-19 2021-12-28 대한민국(농촌진흥청장) 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법
KR102470873B1 (ko) * 2020-06-19 2022-11-29 대한민국 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법
KR20230080946A (ko) * 2021-11-30 2023-06-07 경북대학교 산학협력단 3차원 이미지 장비를 이용한 물체 부피 측정 장치 및 그 방법
KR102650686B1 (ko) * 2021-11-30 2024-03-22 경북대학교 산학협력단 3차원 이미지 장비를 이용한 물체 부피 측정 장치 및 그 방법

Similar Documents

Publication Publication Date Title
WO2021120867A1 (zh) 高空抛物的监测方法、装置、电子设备及存储介质
CN103069434B (zh) 用于多模式视频事件索引的方法和系统
US8285046B2 (en) Adaptive update of background pixel thresholds using sudden illumination change detection
Habiboglu et al. Real-time wildfire detection using correlation descriptors
KR101891225B1 (ko) 배경 모델을 업데이트하기 위한 방법 및 장치
US20060195199A1 (en) Monitoring device
JP5388829B2 (ja) 侵入物体検知装置
US8553086B2 (en) Spatio-activity based mode matching
Hati et al. Intensity range based background subtraction for effective object detection
WO2022078182A1 (zh) 抛出位置获取方法、装置、计算机设备及存储介质
US20190114753A1 (en) Video Background Removal Method
CN105046719B (zh) 一种视频监控方法及系统
JP2010003177A (ja) 画像処理装置
CN109034038B (zh) 一种基于多特征融合的火灾识别装置
JP7125843B2 (ja) 障害検知システム
KR101681282B1 (ko) 대상체 검출 장치 및 방법
KR100659781B1 (ko) 씨씨디 영상에서의 연기 검출방법 및 장치
US9443150B2 (en) Device and method for detecting objects from a video signal
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
CN109118546A (zh) 一种基于单帧图像的景深等级估计方法
KR102161212B1 (ko) 움직임 검출 시스템 및 방법
Zhu et al. Detection and recognition of abnormal running behavior in surveillance video
KR101583776B1 (ko) 대상체 검출 장치, 방법 및 컴퓨터프로그램
KR101617428B1 (ko) 디지털 영상에서 손상 영역을 검출하는 방법 및 장치
CN103177237A (zh) 一种基于在线激光的视频监测方法和装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151203

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160823

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20161123

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161124

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20191030

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20201028

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221104

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20231102

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20241101

Start annual number: 9

End annual number: 9