KR20210000612A - 유기 상황 검출 방법 및 이의 감시 장치 - Google Patents

유기 상황 검출 방법 및 이의 감시 장치 Download PDF

Info

Publication number
KR20210000612A
KR20210000612A KR1020190075975A KR20190075975A KR20210000612A KR 20210000612 A KR20210000612 A KR 20210000612A KR 1020190075975 A KR1020190075975 A KR 1020190075975A KR 20190075975 A KR20190075975 A KR 20190075975A KR 20210000612 A KR20210000612 A KR 20210000612A
Authority
KR
South Korea
Prior art keywords
organic
movement line
map
reliability
area
Prior art date
Application number
KR1020190075975A
Other languages
English (en)
Other versions
KR102238027B1 (ko
Inventor
단병규
김영준
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020190075975A priority Critical patent/KR102238027B1/ko
Publication of KR20210000612A publication Critical patent/KR20210000612A/ko
Application granted granted Critical
Publication of KR102238027B1 publication Critical patent/KR102238027B1/ko

Links

Images

Classifications

    • G06K9/00771—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Abstract

유기 상황 검출 방법 및 이의 감시 장치가 개시된다. 유기 상황 검출 방법은, (a) 영상에서 유기 주체를 검출한 후 상기 유기 주체의 동선에 대응하는 동선맵을 생성하는 단계; (b) 상기 영상에서 에지 기울기 배경 모델을 이용하여 움직임 영역을 검출하는 단계; (c) 상기 동선맵과 상기 움직임 영역을 이용하여 신뢰도맵을 생성하는 단계; 및 (d) 상기 신뢰도맵에서 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출하는 단계를 포함한다.

Description

유기 상황 검출 방법 및 이의 감시 장치{Abandonment situation detection method and monitoring device thereof}
본 발명은 카메라를 이용한 유기 상황 검출 방법 및 이의 감시 장치에 관한 것이다.
종래에는 프레임 간의 차분 영상을 이용하여 유기 물체를 검출하는 방법이 이용되었다. 이러한 방법은 깃발이나 나뭇가지, 그림자와 같이 환경에 의해 일시적으로 발생하는 움직임을 유기 물체로 오검출하는 한계를 지니고 있다.
딥러닝 등을 이용한 사람 검출 기술이 발달함에 따라 최근에는 사람과의 상대적 위치를 이용하여 유기를 검출하는 방법이 제안되었다(등록번호 10-1893875, 등록번호 10-1907442). 하지만 유기 물체는 형태와 크기가 지정되어있지 않기 때문에 그림자 등의 오검출이나 예상 크기 범위를 벗어난 물체의 미검출이 발생하는 한계가 있다. 대표적으로 쓰레기 봉투의 경우 봉투의 크기와 색상, 투명도, 내용물의 종류와 충만 정도, 카메라로부터의 거리 등에 따라 다양한 크기와 형태, 색상, 텍스쳐를 가질 수 있다.
(01) 대한민국등록특허공보 제10-1425505호(2014.07.25)
본 발명은 카메라를 이용한 유기 상황 검출 방법 및 이의 감시 장치를 제공하기 위한 것이다.
또한, 본 발명은 영상내에서 발생하는 변화는 추적하며, 사람 동선에서 발생하는 유기 상황을 검출할 수 있는 카메라를 이용한 유기 상황 검출 방법 및 이의 감시 장치를 제공하기 위한 것이다.
또한, 본 발명은 텍스처 변화에 기반하여 예측된 유기 객체가 실제 유기 객체인지 여부를 검증할 수 있는 카메라를 이용한 유기 상황 검출 방법 및 이의 감시 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 유기 상황 검출 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 영상에서 유기 주체를 검출한 후 상기 유기 주체의 동선에 대응하는 동선맵을 생성하는 단계; (b) 상기 영상에서 에지 기울기 배경 모델을 이용하여 움직임 영역을 검출하는 단계; (c) 상기 동선맵과 상기 움직임 영역을 이용하여 신뢰도맵을 생성하는 단계; 및 (d) 상기 신뢰도맵에서 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출하는 단계를 포함하는 유기 상황 검출 방법이 제공될 수 있다.
상기 (a) 단계는, 상기 유기 주체로부터 소정 영역을 유기 행위 발생 가능 영역으로 설정하며, 상기 유기 행위 발생 가능 영역을 동선 픽셀값으로 설정하여 동선맵을 생성하되, 상기 동선맵은 비동선 픽셀값으로 초기 설정된다.
상기 (b) 단계는, 단기간 에지 기울기 배경 모델과 장기간 에지 기울기 배경 모델을 각각 생성하는 단계; 및 상기 단기간 에지 기울기 배경 모델과 상기 장기간 에지 기울기 배경 모델의 차이를 도출하여 상기 움직임 영역을 검출하는 단계를 포함할 수 있다.
상기 (c) 단계는, 상기 신뢰도맵의 각각의 픽셀값을 제1 신뢰도값으로 초기화하는 단계; 및 상기 검출된 움직임 영역 중 상기 동선맵을 참조하여 상기 유기 주체의 비동선에 해당하는 움직임 영역의 신뢰도값을 지정된 크기만큼 감소시키는 단계를 포함할 수 있다.
상기 (d) 단계는, 상기 동선맵을 참조하여 동선 영역에 해당하는 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출할 수 있다.
상기 (d) 단계는, 상기 에지 기울기 배경 모델과의 텍스처 변화를 더 이용하여 유기 물체를 검출할 수 있다.
상기 텍스처 변화는 Local binary patterns(LBP)을 이용하여 도출될 수 있다.
(e) 상기 검출된 유기 물체가 일정 시간 이상 유기 주체와 떨어져 있는 경우, 유기 상황이 발생한 것으로 판단하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 유기 상황 검출이 가능한 감시 장치가 제공된다.
본 발명의 일 실시예에 따르면, 특정 장소의 영상을 촬영하는 카메라; 상기 영상에서 유기 주체를 검출한 후 상기 유기 주체의 동선에 대응하는 동선맵을 생성하는 동선 분석부; 상기 영상에서 에지 기울기 배경 모델을 이용하여 움직임 영역을 검출하는 움직임 분석부; 상기 동선맵과 상기 움직임 영역을 이용하여 신뢰도맵을 생성하는 신뢰도 분석부; 및 상기 신뢰도맵에서 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출하는 유기 물체 검출부를 포함하는 감시 장치가 제공될 수 있다.
상기 동선 분석부는, 상기 유기 주체로부터 소정 영역을 유기 행위 발생 가능 영역으로 설정하며, 상기 유기 행위 발생 가능 영역을 동선 픽셀값으로 설정하여 동선맵을 생성하되, 상기 동선맵은 비동선 픽셀값으로 초기 설정될 수 있다.
상기 움직임 분석부는, 단기간 에지 기울기 배경 모델과 장기간 에지 기울기 배경 모델을 각각 생성하고, 상기 단기간 에지 기울기 배경 모델과 상기 장기간 에지 기울기 배경 모델의 차이를 도출하여 상기 움직임 영역을 검출할 수 있다.
상기 신뢰도맵의 각각의 픽셀값이 제1 신뢰도값으로 초기화된 상태에서, 상기 신뢰도 분석부는, 상기 검출된 움직임 영역 중 상기 동선맵을 참조하여 상기 유기 주체의 비동선에 해당하는 움직임 영역의 신뢰도값을 지정된 크기만큼 감소시킬 수 있다.
상기 유기 물체 검출부는, 상기 동선맵을 참조하여 동선 영역에 해당하는 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출할 수 있다.
상기 유기 물체 검출부는, 상기 에지 기울기 배경 모델과의 텍스처 변화를 더 이용하여 유기 물체를 검출할 수 있다.
상기 유기 물체 검출 이후 소정 시간 동안 유기 주체가 검출되지 않으면 유기 상황이 발생한 것으로 판단하는 유기 상황 판단부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 카메라를 이용한 유기 상황 검출 방법 및 이의 감시 장치를 제공함으로써, 영상내에서 발생하는 변화는 추적하며, 사람 동선에서 발생하는 유기 상황을 검출할 수 있다.
또한, 본 발명은 텍스처 변화에 기반하여 예측된 유기 객체가 실제 유기 객체인지 여부를 검증할 수 있다.
도 1은 본 발명의 일 실시예에 따른 유기 상황 감지 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 유기 행위 발생 가능 영역을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 동선맵을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 유기 주체의 이동 영상.
도 5는 본 발명의 일 실시예에 따른 움직임 정보를 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 신뢰도맵을 도시한 도면.
도 7 및 도 8은 본 발명의 일 실시예에 따른 텍스처 변화를 이용한 유기 물체 검출을 설명하기 위해 도시한 도면.
도 9는 본 발명의 일 실시예에 따른 감시 장치의 내부 구성을 개략적으로 도시한 블록도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 유기 상황 감지 방법을 나타낸 순서도이며, 도 2는 본 발명의 일 실시예에 따른 유기 행위 발생 가능 영역을 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 동선맵을 설명하기 위해 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 유기 주체의 이동 영상을 나타내며, 도 5는 본 발명의 일 실시예에 따른 움직임 정보를 설명하기 위해 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 신뢰도맵을 도시한 도면이며, 도 7 및 도 8은 본 발명의 일 실시예에 따른 텍스처 변화를 이용한 유기 물체 검출을 설명하기 위해 도시한 도면이다.
단계 110에서 감시 장치(100)는 특정 장소에 대한 영상을 획득한다.
단계 115에서 감시 장치(100)는 영상을 분석하여 유기 주체를 검출한다. 본 발명의 일 실시예에서 유기 주체는 유기를 행하는 주체로 정의하기로 한다. 즉, 본 발명의 일 실시예에서는 유기를 행하는 유기 주체가 사람인 것을 가정하여 설명하기로 한다. 그러나, 유기 주체는 반드시 사람으로 제한되는 것은 아니며 특정 상황 및 환경에 따라 유기 주체는 다르게 적용될 수 있다.
예를 들어, 사람이 자전거, 차량, 오토바이 등과 같은 이동 수단을 이용하여 유기하는 행위 또한 빈번하게 발생하므로, 유기 주체는 특정 상황 및 환경을 고려하여 자전거, 차량, 오토바이 등과 같은 이동 수단으로 적용될 수도 있다.
예를 들어, 영상의 각 프레임에서 유기 주체의 검출은 딥러닝을 이용하여 검출될 수 있다. 이외에도, 영상에서 객체를 검출하는 공지된 방법에 의해 검출될 수 있음은 당연하다. 딥 러닝을 비롯한 각각의 영상 프레임에서 특정 객체를 검출하는 방법은 이미 공지되어 있으므로, 이에 대해서는 별도의 설명은 생략하기로 한다.
단계 120에서 감시 장치(100)는 검출된 유기 주체의 동선을 분석한다.
예를 들어, 감시 장치(100)는 유기 주체가 도 2의 210과 같이 검출되었다고 가정하기로 한다. 이와 같이 유기 주체가 검출되면, 유기 행위는 유기 주체로부터 일정 범위 이내에서 행해지므로, 검출된 유기 주체를 중심으로 유기 행위가 발생 가능한 소정의 영역을 유기 행위 발생 가능 영역으로 설정할 수 있다.
이러한 유기 행위 발생 가능 영역을 이용하여 동선맵을 생성할 수 있다. 동선맵은 비동선 픽셀값(제1 픽셀값, 예를 들어, 255)으로 초기화되어 있다. 이후, 유기 행위 발생 가능 영역에 해당하는 영역을 동선 픽셀값(제2 픽셀값, 예를 들어, 0)으로 설정할 수 있다.
동선맵은 시계열적 흐름에 따라 각 프레임에서 검출된 유기 행위 발생 가능 영역에 해당하는 영역이 동선 픽셀값으로 설정될 수 있다. 이러한 동선맵은 시간 흐름에 따라 동선 픽셀값이 비동선 픽셀값으로 단계적으로 변화되거나 일정 시간 경과후 비동선 픽셀값으로 리셋 될 수 있다.
도 3에는 동선맵이 예시되어 있다. 도 3에서 보여지는 바와 같이, 가장 최근 프레임에서 검출된 유기 주체에 상응하는 유기 행위 발생 가능 영역이 가장 선명한 동선 픽셀값을 가지며, 상대적으로 시간이 많이 지난 프레임에서 검출된 유기 주체에 상응하는 유기 행위 발생 가능 영역은 상대적으로 비동선 픽셀값에 근접하게 변경되어 있는 것을 알 수 있다.
단계 125에서 감시 장치(100)는 영상내의 움직임 분석을 수행한다.
예를 들어, 유기된 물체는 배경을 완전히 투과하는 투명한 물체가 아니므로, 유기된 물체는 배경과 경계선(contour)을 가진다. 이러한 특성을 기반으로, 감시 장치(100)는 단시간 에지 기울기 배경 모델과 장시간 에지 기울기 배경 모델을 각각 생성한다.
예를 들어, 감시 장치(100)는 현재 프레임을 기준으로 단시간 에지 기울기 배경 모델을 생성할 수 있다. 영상 프레임에서 에지를 디텍션하는 방법 자체는 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
또한, 감시 장치(100)는 현재 프레임을 기준으로 소정 시간 동안의 프레임들의 에지 디텍션을 통해 장시간 에지 기울기 배경 모델을 생성할 수 있다. 감시 장치(100)는 단시간 에지 기울기 배경 모델과 장시간 에지 기울기 배경 모델을 이용하여 유기 물체의 움직임 영역을 검출할 수 있다.
도 4는 유기 주체의 이동 영상을 도시한 도면이며, 도 5는 도 4를 이용한 장시간 에지 기울기 배경 모델과 단시간 에지 기울기 배경 모델을 이용하여 도출된 움직임 특성값의 일 예를 도시한 도면이다.
단계 130에서 감시 장치(100)는 검출된 움직임 영역과 동선맵을 이용하여 신뢰도맵을 생성한다.
신뢰도맵의 각 픽셀은 제1 신뢰도값으로 초기화되어 있을 수 있다. 여기서, 제1 신뢰도값은 예를 들어, 제1 픽셀값(255)일 수 있다. 이는 각 n비트 영상인 것을 가정하여 255로 설명하고 있으나, 영상 해상도가 달라지는 경우 제1 신뢰도값은 달라질 수 있음은 당연하다.
감시 장치(100)는 동선맵을 참조하여 비동선 영역에서의 감지된 움직임 영역은 비유기 물체로 판단하여 해당 움직임 영역의 신뢰도값을 단계적으로 감소시킨다. 여기서, 각 픽셀의 최저 신뢰도값은 예를 들어, 제2 픽셀값(0)일 수 있다.
즉, 감시 장치(100)는 동선맵을 참조하여 동선 영역에서 벗어난 곳에서 감지된 움직임 영역은 깃발, 나뭇가지, 그림자와 같은 비유기 물체에 의한 움직임으로 판단할 수 있다. 따라서, 해당 비유기 물체의 움직임 영역에 대해서는 신뢰도값을 단계적으로 감소시킬 수 있다.
신뢰도맵의 각 픽셀의 신뢰도값은 시간이 지남에 따라 낮아진 신뢰도값이 단계적으로 증가하도록 설정되거나 일정 시간 경과후 초기값으로 초기화될 수도 있다.
도 4의 유기 주체의 이동 영상에 상응하여 생성된 신뢰도맵이 도 6에 예시되어 있다.
단계 135에서 감시 장치(100)는 신뢰도맵을 이용하여 유기 물체를 검출한다. 예를 들어, 감시 장치(100)는 신뢰도맵에서 각 픽셀의 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출할 수 있다. 이때, 감시 장치(100)는 동선맵을 더 참조할 수 있다. 즉, 동선맵을 참조하여 유기 주체의 동선 영역에 해당하는 영역에서 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출할 수 있다.
또한, 감시 장치(100)는 유기 물체를 검출함에 있어, 에지 기울기 배경 모델과의 텍스처 변화를 비교하여 최종 유기 물체를 검출할 수도 있다. 여기서, 텍스처 변화는 Local binary patterns(LBP)을 이용하여 정량화될 수 있다. 이는 일 예일 뿐이며, LBP 이외에도 다양한 공지된 방법을 이용하여 텍스처 변화가 정량화될 수 있음은 당연하다.
또한, 단시간 에지 기울기 배경 모델의 텍스처와 장시간 에지 기울기 배경 모델의 텍스처가 유사한 경우, 해당 유기 물체 영역은 실제 유기 물체가 아니라 조명이나 그림자일 수 있다. 따라서, 감시 장치(100)는 단시간 에지 기울기 배경 모델의 텍스처와 장시간 에지 기울기 배경 모델의 텍스처가 유사한 유기 물체 영역을 최종 유기 물체 검출시 제외시킬 수 있다.
또한, 감시 장치(100)는 현재 프레임의 에지 기울기 텍스처와 이전 프레임의 에지 기울기 텍스처가 유사한 경우, 배경 모델에서 발생할 수 있는 잔상이 아닌 실제 유기 ㅁ루체로 검출할 수 있다.
도 7 및 도 8은 텍스처를 이용한 유기 물체 검출의 일 예를 도시한 도면이다.
단계 140에서 감시 장치(100)는 유기 물체가 검출된 이후 일정 시간 동안 유기 주체가 검출되지 않는 경우, 유기 상황이 발생하여 유시 상황을 시청각 형태로 출력할 수 있다.
구현 방법에 따라 감시 장치(100)는 유기 상황을 푸시 메시지를 긴급 메시지로 브로드캐스트할 수도 있다.
도 9는 본 발명의 일 실시예에 따른 감시 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 감시 장치(100)는 카메라(910), 유기 주체 검출부(915), 동선 분석부(920), 움직임 분석부(925), 신뢰도 분석부(930), 유기 물체 검출부(935), 유기 상황 판단부(940), 메모리(945) 및 프로세서(950)를 포함하여 구성된다.
카메라(910)는 소정 장소에 설치되어 특정 장소를 촬영하기 위한 수단이다.
유기 주체 검출부(915)는 카메라(910)에 의해 촬영된 영상에서 유기 주체를 검출하기 위한 수단이다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
동선 분석부(920)는 유기 주체의 동선에 상응하는 동선맵을 생성한다.
이미 전술한 바와 같이 검출된 유기 주체를 이용하여 유기 행위 발생이 가능한 영역을 유기 행위 발생 가능 영역으로 설정할 수 있다. 이후, 유기 행위 발생 가능 영역을 이용하여 동선맵을 생성할 수 있다. 이는 이미 전술한 바와 같으므로 중복되는 설명은 생략하기로 한다.
움직임 분석부(925)는 영상내에서 움직임 영역을 검출하기 위한 수단이다.
예를 들어, 움직임 분석부(925)는 영상내에서 움직임 영역을 검출하기 위한 수단이다. 여기서, 움직임 분석부(925)는 에지 기울기 배경 모델을 생성한 후 이를 이용하여 움직임 영역을 검출할 수 있다. 즉, 움직임 분석부(925)는 단시간 에지 기울기 배경 모델과 장시간 에지 기울기 배경 모델을 각각 생성한 후 이들의 차이를 도출하여 움직임 영역을 검출할 수 있다.
신뢰도 분석부(930)는 동선맵과 움직임 영역을 이용하여 신뢰도맵을 생성하기 위한 수단이다.
예를 들어, 신뢰도 분석부(930)는 동선맵에 기초하여 비동선 영역에 해당하는 움직임 영역의 신뢰도값을 단계적으로 감소시켜 신뢰도맵을 생성/갱신할 수 있다.
유기 물체 검출부(935)는 신뢰도맵에서 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출한다.
이때, 유기 물체 검출부(935)는 동선맵을 더 이용하여 동선 영역에서의 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출할 수 있다. 또한, 이미 전술한 바와 같이, 유기 물체 검출부(935)는 에지 기울기 배경 모델과의 텍스처 변화를 더 이용하여 유기 물체를 검출할 수 있다. 이는 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
유기 상황 판단부(940)는 유기 물체가 검출된 이후 소정 시간 동안 유기 주체가 검출되지 않는 경우 유기 상황이 발생한 것으로 판단하여 시청각 형태의 유기 상황 정보를 출력한다.
메모리(945)는 카메라를 이용한 유기 상황 검출 방법을 수행하기 위한 다양한 프로그램 코드들(명령어들), 이 과정에서 파생된 다양한 데이터 등을 저장하기 위한 수단이다.
프로세서(950)는 본 발명의 일 실시예에 따른 감시 장치(100)의 내부 구성 요소들(예를 들어, 카메라(910), 유기 주체 검출부(915), 동선 분석부(920), 움직임 분석부(925), 신뢰도 분석부(930), 유기 물체 검출부(935), 유기 상황 판단부(940), 메모리(945) 등)을 제어하기 위한 수단이다.
도 9에는 도시되어 있지 않으나, 감시 장치(100)는 통신 모듈(미도시)을 더 포함할 수도 있다. 따라서, 프로세서(950)의 제어에 따라 유기 상황이 발생한 것으로 판단되는 경우, 통신 모듈을 통해 유기 상황 정보를 푸시 메시지의 형태로 브로드캐스트할 수도 있다.
본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 감시 장치
910: 카메라
915: 유기 주체 검출부
920: 동선 분석부
925: 움직임 분석부
930: 신뢰도 분석부
935: 유기 물체 검출부
940: 유기 상황 판단부
945: 메모리
950: 프로세서

Claims (16)

  1. (a) 영상에서 유기 주체를 검출한 후 상기 유기 주체의 동선에 대응하는 동선맵을 생성하는 단계;
    (b) 상기 영상에서 에지 기울기 배경 모델을 이용하여 움직임 영역을 검출하는 단계;
    (c) 상기 동선맵과 상기 움직임 영역을 이용하여 신뢰도맵을 생성하는 단계; 및
    (d) 상기 신뢰도맵에서 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출하는 단계를 포함하는 유기 상황 검출 방법.
  2. 제1 항에 있어서,
    상기 (a) 단계는,
    상기 유기 주체로부터 소정 영역을 유기 행위 발생 가능 영역으로 설정하며, 상기 유기 행위 발생 가능 영역을 동선 픽셀값으로 설정하여 동선맵을 생성하되,
    상기 동선맵은 비동선 픽셀값으로 초기 설정되어 있는 것을 특징으로 하는 유기 상황 검출 방법.
  3. 제1 항에 있어서,
    상기 (b) 단계는,
    단기간 에지 기울기 배경 모델과 장기간 에지 기울기 배경 모델을 각각 생성하는 단계; 및
    상기 단기간 에지 기울기 배경 모델과 상기 장기간 에지 기울기 배경 모델의 차이를 도출하여 상기 움직임 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 유기 상황 검출 방법.
  4. 제1 항에 있어서,
    상기 (c) 단계는,
    상기 신뢰도맵의 각각의 픽셀값을 제1 신뢰도값으로 초기화하는 단계; 및
    상기 검출된 움직임 영역 중 상기 동선맵을 참조하여 상기 유기 주체의 비동선에 해당하는 움직임 영역의 신뢰도값을 지정된 크기만큼 감소시키는 단계를 포함하는 유기 상황 검출 방법.
  5. 제1 항에 있어서,
    상기 (d) 단계는,
    상기 동선맵을 참조하여 동선 영역에 해당하는 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출하는 것을 특징으로 하는 유기 상황 검출 방법.
  6. 제1 항에 있어서,
    상기 (d) 단계는,
    상기 에지 기울기 배경 모델과의 텍스처 변화를 더 이용하여 유기 물체를 검출하는 것을 특징으로 하는 유기 상황 검출 방법.
  7. 제6 항에 있어서,
    상기 텍스처 변화는 Local binary patterns(LBP)을 이용하여 도출되는 것을 특징으로 하는 유기 상황 검출 방법.
  8. 제1 항에 있어서,
    (e) 상기 검출된 유기 물체가 일정 시간 이상 유기 주체와 떨어져 있는 경우, 유기 상황이 발생한 것으로 판단하는 단계를 더 포함하는 유기 상황 검출 방법.
  9. 제1 항 내지 제8 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
  10. 특정 장소의 영상을 촬영하는 카메라;
    상기 영상에서 유기 주체를 검출한 후 상기 유기 주체의 동선에 대응하는 동선맵을 생성하는 동선 분석부;
    상기 영상에서 에지 기울기 배경 모델을 이용하여 움직임 영역을 검출하는 움직임 분석부;
    상기 동선맵과 상기 움직임 영역을 이용하여 신뢰도맵을 생성하는 신뢰도 분석부; 및
    상기 신뢰도맵에서 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출하는 유기 물체 검출부를 포함하는 감시 장치.
  11. 제10 항에 있어서,
    상기 동선 분석부는,
    상기 유기 주체로부터 소정 영역을 유기 행위 발생 가능 영역으로 설정하며, 상기 유기 행위 발생 가능 영역을 동선 픽셀값으로 설정하여 동선맵을 생성하되,
    상기 동선맵은 비동선 픽셀값으로 초기 설정되어 있는 것을 특징으로 하는 감시 장치.
  12. 제10 항에 있어서,
    상기 움직임 분석부는,
    단기간 에지 기울기 배경 모델과 장기간 에지 기울기 배경 모델을 각각 생성하고, 상기 단기간 에지 기울기 배경 모델과 상기 장기간 에지 기울기 배경 모델의 차이를 도출하여 상기 움직임 영역을 검출하는 것을 특징으로 하는 감시 장치.
  13. 제10 항에 있어서,
    상기 신뢰도맵의 각각의 픽셀값이 제1 신뢰도값으로 초기화된 상태에서, 상기 신뢰도 분석부는,
    상기 검출된 움직임 영역 중 상기 동선맵을 참조하여 상기 유기 주체의 비동선에 해당하는 움직임 영역의 신뢰도값을 지정된 크기만큼 감소시키는 것을 특징으로 하는 감시 장치.
  14. 제10 항에 있어서,
    상기 유기 물체 검출부는,
    상기 동선맵을 참조하여 동선 영역에 해당하는 신뢰도값이 기준치 이상인 영역을 유기 물체로서 검출하는 것을 특징으로 하는 감시 장치.
  15. 제10 항에 있어서,
    상기 유기 물체 검출부는,
    상기 에지 기울기 배경 모델과의 텍스처 변화를 더 이용하여 유기 물체를 검출하는 것을 특징으로 하는 감시 장치.
  16. 제10 항에 있어서,
    상기 유기 물체 검출 이후 소정 시간 동안 유기 주체가 검출되지 않으면 유기 상황이 발생한 것으로 판단하는 유기 상황 판단부를 더 포함하는 감시 장치.
KR1020190075975A 2019-06-25 2019-06-25 유기 상황 검출 방법 및 이의 감시 장치 KR102238027B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190075975A KR102238027B1 (ko) 2019-06-25 2019-06-25 유기 상황 검출 방법 및 이의 감시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190075975A KR102238027B1 (ko) 2019-06-25 2019-06-25 유기 상황 검출 방법 및 이의 감시 장치

Publications (2)

Publication Number Publication Date
KR20210000612A true KR20210000612A (ko) 2021-01-05
KR102238027B1 KR102238027B1 (ko) 2021-04-07

Family

ID=74141090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190075975A KR102238027B1 (ko) 2019-06-25 2019-06-25 유기 상황 검출 방법 및 이의 감시 장치

Country Status (1)

Country Link
KR (1) KR102238027B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210106627A (ko) * 2020-02-20 2021-08-31 한국기술교육대학교 산학협력단 조도 변화시 유기된 물체의 감시 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010099178A (ja) * 2008-10-22 2010-05-06 Osaka Univ 画像処理装置及び画像処理方法
KR101425505B1 (ko) 2013-10-25 2014-08-13 홍승권 객체인식기술을 이용한 지능형 경계 시스템의 감시 방법
KR20150060032A (ko) * 2013-11-25 2015-06-03 삼성테크윈 주식회사 움직임 검출 시스템 및 방법
KR20160056107A (ko) * 2014-11-11 2016-05-19 한국과학기술연구원 지정된 사물 및 영역에 대한 감시시스템 및 감시방법
KR101893875B1 (ko) * 2018-03-26 2018-08-31 주식회사 다누시스 유기 행위 검출 시스템 및 유기 행위 검출 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010099178A (ja) * 2008-10-22 2010-05-06 Osaka Univ 画像処理装置及び画像処理方法
KR101425505B1 (ko) 2013-10-25 2014-08-13 홍승권 객체인식기술을 이용한 지능형 경계 시스템의 감시 방법
KR20150060032A (ko) * 2013-11-25 2015-06-03 삼성테크윈 주식회사 움직임 검출 시스템 및 방법
KR20160056107A (ko) * 2014-11-11 2016-05-19 한국과학기술연구원 지정된 사물 및 영역에 대한 감시시스템 및 감시방법
KR101893875B1 (ko) * 2018-03-26 2018-08-31 주식회사 다누시스 유기 행위 검출 시스템 및 유기 행위 검출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210106627A (ko) * 2020-02-20 2021-08-31 한국기술교육대학교 산학협력단 조도 변화시 유기된 물체의 감시 방법

Also Published As

Publication number Publication date
KR102238027B1 (ko) 2021-04-07

Similar Documents

Publication Publication Date Title
CN111488789B (zh) 用于基于图像分析的监视的行人检测方法及装置
Hsu et al. Robust license plate detection in the wild
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
US20190122329A1 (en) Face Replacement and Alignment
KR102095152B1 (ko) 상황 인지 방법 및 이를 수행하는 장치
JP7031685B2 (ja) モデル学習装置、モデル学習方法及びコンピュータプログラム
KR102104548B1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
KR20220075273A (ko) 다중 객체 추적 방법 및 이를 위한 장치
KR102238027B1 (ko) 유기 상황 검출 방법 및 이의 감시 장치
KR101406334B1 (ko) 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
KR102420462B1 (ko) 디지털 트윈을 이용하는 협력 학습 방법
KR20140142554A (ko) 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US20210357763A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
CN113269038B (zh) 一种基于多尺度的行人检测方法
US20200108773A1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
KR102323671B1 (ko) 동영상내의 이상 물체 탐지 방법 및 그 장치
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
KR102462733B1 (ko) 샴 네트워크를 활용하는 강인한 다중 객체 검출 장치 및 방법
KR20220098677A (ko) 교통사고 예측 방법 및 시스템
WO2021261141A1 (ja) 物体検出装置および物体検出方法
US20230186611A1 (en) System, method, and computer program for retraining a pre-trained object classifier
Ayman Mounir et al. Accident detection and road monitoring in real time using deep learning and lane detection algorithms
KR20100124949A (ko) 원거리 얼굴 추적 장치 및 이를 이용한 얼굴 추적 방법
Kuhn et al. Improving Multimodal Object Detection with Individual Sensor Monitoring
KR20240044330A (ko) 자율 주행 차량에서 동적 객체 인지 오류를 자동 검출하기 위한 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant