KR102249654B1 - 도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법 - Google Patents

도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법 Download PDF

Info

Publication number
KR102249654B1
KR102249654B1 KR1020200152242A KR20200152242A KR102249654B1 KR 102249654 B1 KR102249654 B1 KR 102249654B1 KR 1020200152242 A KR1020200152242 A KR 1020200152242A KR 20200152242 A KR20200152242 A KR 20200152242A KR 102249654 B1 KR102249654 B1 KR 102249654B1
Authority
KR
South Korea
Prior art keywords
vector information
image analysis
rotation
standard deviation
stored
Prior art date
Application number
KR1020200152242A
Other languages
English (en)
Inventor
강전성
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Priority to KR1020200152242A priority Critical patent/KR102249654B1/ko
Application granted granted Critical
Publication of KR102249654B1 publication Critical patent/KR102249654B1/ko

Links

Images

Classifications

    • G06K9/00785—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따라 도로 영상에서 이상 검지를 위한 영상 분석 장치가 제안되며, 상기 영상 분석 장치는 도로 영상에서 검출된 이동 객체의 벡터 정보를 획득하고 저장부에 저장하는 객체 검출부; 및 상기 저장부에 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보 간의 방향각 차이가 미리 설정된 각도를 초과하는지 여부를 판단하고, 상기 방향각 차이가 상기 미리 설정된 각도를 초과하면, 상기 객체의 이동에 대해 이상 검지 이벤트를 발생하는 제어부를 포함할 수 있다.

Description

도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법{Apparatus, system and method for detecting abnormality based on turn}
본 발명은 도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법에 관한 것으로서, 좀더 상세하게는 도로 영상 내 객체의 회전 검출에 따라 이상 검지를 수행하기 위한 발명에 관한 것이다.
종래에 영상 분석을 통한 객체 추적, 검지 장치, 시스템 등에서는, 정상적으로 주행하는 객체의 이동 패턴의 데이터를 진입, 진출 경로마다 누적 학습하고, 학습된 데이터 정보와 현재 주행하는 객체의 정보를 비교하여 정상 주행 여부를 판단하는 방법을 사용하였다.
종래 기술의 가장 큰 단점은 정상 주행 경로의 이동 패턴 데이터를 학습해야 한다는 것이다. 모수가 부족하면 부정확한 데이터로 학습할 가능성이 있고, 통행량이 적은 장소에서는 학습하기 어려울 수 있다. 즉, 정확한 정상 주행 여부를 판단하기 위해서는, 학습 데이터 양이 많아야 하거나 학습 시간이 절대적으로 많이 필요하다.
또한, 객체 감지가 필요한 장소마다 학습을 해야 하고, 영상 촬영 수단의 화각 또는 위치가 변경 될 때 재학습이 필요하다. 학습 중에는 정상 주행 여부를 판단 할 수 없는 문제가 있다.
위와 같은 문제점을 해결하기 위해, 객체의 회전 검출을 통해 정상 주행 여부, 즉 이상 검지를 위한 장치, 시스템 및 방법을 제안하고자 한다.
본 발명에서 이루고자 하는 해결하고자 하는 과제들은 상기 해결하고자 하는 과제로 제한되지 않으며, 언급하지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따라 도로 영상에서 이상 검지를 위한 영상 분석 장치가 제안되며, 상기 영상 분석 장치는 도로 영상에서 검출된 이동 객체의 벡터 정보를 획득하고 저장부에 저장하는 객체 검출부; 및 상기 저장부에 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보 간의 방향각 차이가 미리 설정된 각도를 초과하는지 여부를 판단하고, 상기 방향각 차이가 상기 미리 설정된 각도를 초과하면, 상기 객체의 이동에 대해 이상 검지 이벤트를 발생하는 제어부를 포함할 수 있다.
추가로 또는 대안으로, 상기 객체 검출부는 획득된 벡터 정보의 크기에 따라 이동 객체를 식별할 수 있다.
추가로 또는 대안으로, 상기 객체 검출부는 상기 도로 영상의 미리 설정된 시간 간격을 갖는 두 영상 프레임을 이용하여 벡터 정보를 획득할 수 있다.
추가로 또는 대안으로, 상기 객체 검출부는 상기 객체의 새롭게 획득된 벡터 정보와, 그 직전에 획득하여 저장하고 있는 벡터 정보의 방향각의 차이가 미리 결정된 각도를 초과하면, 상기 새롭게 획득된 벡터 정보를 저장하지 않을 수 있다.
추가로 또는 대안으로, 상기 객체 검출부는 상기 객체의 새롭게 획득된 벡터 정보와, 그 직전에 획득하여 저장하고 있는 벡터 정보의 방향각의 차이가 미리 결정된 각도 이하이면, 상기 새롭게 획득된 벡터 정보를 상기 저장부에 저장할 수 있다.
추가로 또는 대안으로, 상기 영상 분석 장치는 상기 방향각 차이가 상기 미리 설정된 각도를 초과하지 않으면, 상기 저장된 벡터 정보의 방향각에 대한 표준 편차를 계산하는 표준 편차 계산부; 및 상기 표준 편차에 기반하여 상기 객체가 회전했는지 여부를 검출하고, 상기 객체의 회전이 검출되면 상기 회전의 방향을 저장하는 회전 검출부를 더 포함하고, 상기 객체의 회전이 미리 결정된 수 이상 검출되고, 상기 회전의 방향이 서로 다른 방향인 경우, 상기 제어부는 상기 객체에 대해 이상 검지 이벤트를 발생할 수 있다.
추가로 또는 대안으로, 상기 객체의 회전이 미리 결정된 수 미만 검출되거나, 상기 회전의 방향이 서로 다른 방향이 아닌 경우, 상기 제어부는 상기 도로 영상에서 추가로 획득된 벡터 정보를 이용하여 상기 이상 검지를 위한 절차를 반복 수행하도록 할 수 있다.
추가로 또는 대안으로, 상기 표준 편차 계산부는 상기 저장된 벡터 정보가 미리 결정된 수 이상인 경우에, 상기 객체의 방향각에 대한 표준 편차를 계산할 수 있다.
추가로 또는 대안으로, 상기 표준 편차 계산부는 상기 객체의 회전이 검출되면, 상기 표준 편차를 계산하기 위해 사용된 벡터 정보를 상기 표준 편차 계산을 위해 더 이상 사용하지 않을 수 있다.
추가로 또는 대안으로, 상기 표준 편차 계산부는 상기 객체의 회전이 검출되지 않으면, 상기 표준 편차를 계산하기 위해 사용된 벡터 정보를 상기 객체의 회전 검출을 위해 새롭게 획득되어 저장되는 벡터 정보와 함께 표준 편차 계산에 사용할 수 있다.
추가로 또는 대안으로, 상기 제어부는 상기 객체의 주변의 일정한 범위 내에서 다른 객체가 없는 것으로 검출되는 경우, 상기 이상 검지 이벤트를 발생하며, 상기 일정한 범위는 상기 객체의 크기에 의존하며, 객체의 종류에 따라 설정될 수 있다.
본 발명에 따라 도로 영상에서 이상 검지를 위한 영상 분석 시스템이 제안되며, 상기 영상 분석 시스템은 도로 영상에서 검출된 이동 객체의 벡터 정보를 획득하고 저장하고, 저장된 벡터 정보 중 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보 간의 방향각 차이가 미리 설정된 각도를 초과하는지 여부를 판단하고, 상기 방향각 차이가 상기 미리 설정된 각도를 초과하면, 상기 객체의 이동에 대해 이상 검지 이벤트를 발생하는 영상 분석 장치; 및 상기 이상 검지 이벤트를 수신하여 표시하는 운영 장치를 포함할 수 있다.
추가로 또는 대안으로, 상기 객체 검출부는 레이더 센서를 포함하는 객체 검출 장치와 연동하여 동작할 수 있다.
추가로 또는 대안으로, 상기 영상 분석 시스템은 상기 도로 영상을 촬영하기 위한 촬영 장치를 더 포함할 수 있다.
추가로 또는 대안으로, 상기 운영 장치는 상기 객체 검출부로부터 이동 객체에 대한 정보를 제공받아 교통 정보, 불법주정차 정보, 속도위반 정보 및 생활방범 정보 중 적어도 하나를 생성하여 표시할 수 있다.
본 발명에 따라 도로 영상에서 이상 검지를 위한 영상 분석 방법이 제안되며, 상기 영상 분석 방법은 도로 영상에서 검출된 이동 객체의 벡터 정보를 획득하고 저장하는 단계; 및 저장된 벡터 정보 중 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보 간의 방향각 차이가 미리 설정된 각도를 초과하는지 여부를 판단하고, 상기 방향각 차이가 상기 미리 설정된 각도를 초과하면, 상기 객체에 대해 이상 검지 이벤트를 발생하는 단계를 포함할 수 있다.
상기 과제 해결방법들은 본 발명의 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따르면, 이동 패턴 누적 데이터를 사용하지 않기 때문에 학습할 수 없거나 학습이 잘못되는 경우의 오류를 줄일 수 있고, 객체의 각 벡터(방향, 이동거리) 및 위치정보, 회전방향, 회전각 등을 사용하여 학습 데이터에 의존하지 않고, 객체의 정상 주행 여부를 판단하여 성능을 향상시킬 수 있다.
또한, 어느 장소든 학습 없이 바로 사용 가능하며, 영상의 화각 또는 위치가 변경되어도 감시할 영역만 재설정하면 사용할 수 있다.
또한, 학습과 데이터 비교가 필요 없기 때문에 메모리를 효율적으로 사용할 수 있고, 진입, 진출 경로 파악 단계를 생략할 수 있어서 정상 주행 여부 판단 속도가 향상될 수 있다.
또한, 영상 내 객체 오검출을 대비하여, 객체의 벡터 또는 방향각 정보를 획득함으로써, 이상 검지 검출의 신뢰도를 높일 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명과 관련된 영상 분석 시스템의 전체적인 구성을 도시한다.
도 2는 본 발명과 관련된 도로 영상과 객체의 정상적인 이동 경로를 도시한다.
도 3은 본 발명과 관련된 객체 이동에 따른 벡터를 획득하기 위한 방법을 도시한다.
도 4는 본 발명과 관련된 도로 영상과 객체의 비정상적인 이동 경로를 도시한다.
도 5는 본 발명과 관련된 도로 영상과 객체의 비정상적인 이동 경로를 도시한다.
도 6은 본 발명과 관련된 영상 분석 장치의 블록도를 도시한다.
도 7은 본 발명과 관련된 도로 영상 내의 객체 주변의 범위를 도시한다.
도 8은 본 발명과 관련된 영상 분석 방법의 순서도를 도시한다.
이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
도 1은 본 발명과 관련된 영상 분석 시스템의 전체적인 구성을 도시한다. 영상 분석 시스템에는, 교통 상황을 촬영하여 영상을 생성하기 위한 카메라 등의 촬영 장치(1)와 그와 관련된 부속 장치들, 촬영 장치(1)와 유선 또는 무선으로 연결되는 영상 분석 장치(2), 그리고 상기 영상을 전달받아 실시간 관제하거나 영상을 저장하고 관리하는 등의 작업을 수행하는 각종 지방자치단체, 도로공사, 시설공단, 경찰청 등이 운영하고 있는 교통 관제실과 같은 운영 장치(3)를 포함할 수 있다. 또한, 영상 분석 시스템은 다양한 객체 검출 장치(예컨대, 전자기적 센서, 레이더 센서, 영상 센서 중 적어도 하나)를 더 포함할 수 있으며, 이 경우 영상 분석 장치(2)는 객체 검출 장치와 연동하여 동작할 수 있다. 본 발명에 따른 영상 분석 장치는 촬영 장치(1) 또는 운영 장치(3)에 포함되거나, 또는 촬영 장치(1) 및 운영 장치(3)와 통신하는 별도의 장치나 시스템 등으로 존재할 수 있다.
도 2는 본 발명과 관련된 도로 영상과 객체의 정상적인 이동 경로를 도시한다. 도 2에서 정상적으로 주행하는 객체의 이동 경로를 파란색 화살표로 도시한다. 이들을 관찰하면, 정상적으로 주행하는 객체는 회전을 한쪽 방향으로만 또는 회전 없이 이동하는 것을 확인할 수 있다.
교차로에서 좌회전하는 객체의 이동 경로(A)는 교차로에 진입한 지점부터 진출하는 지점까지 누적하여 그 경로를 관찰하면, 계속해서 반시계 방향으로 객체의 회전이 이루어짐을 확인할 수 있다.
영상 내의 정보를 이용하여 객체의 회전 및 그 방향을 식별하기 위해서, 객체의 이동 경로에 따른 벡터를 활용하도록 한다.
도 3은 본 발명과 관련된 객체 이동에 따른 벡터를 얻기 위한 방법을 도시한다.
객체의 각 프레임에서의 위치는 점으로 나타낼 수 있다. 두 프레임에서의 객체의 위치에 해당하는 두 점 간의 이동을 벡터로 획득할 수 있다. 도로 영상에서, 각 벡터의 방향각을 상대적으로 살펴보면, 각 점에서 수평축과 수직축을 이용하여 각 벡터의 방향각을 획득할 수 있으며, 방향각은 0도 내지 360도(또는 -180도 내지 180도)의 값을 가질 수 있다.
예를 들어, 벡터의 방향각은, P1의 좌표가 (x1, y1)이고 P2의 좌표가 (x2, y2)인 경우, arctan((y2-y1)/(x2-x1))으로 결정되며, arctan는 삼각함수인 탄젠트 함수의 역함수이며, 그 값은 -180도 내지 180도를 가질 수 있다.
그러나, 촬영 장치(1)를 통해 획득되는 교차로 영상이 초당 프레임 수(fps)가 예를 들어 30이라고 하면, 두 개의 연속된 프레임은 1/30초의 시간 간격을 갖게 되므로, 교차로 내 통행 환경을 고려했을 때 각 프레임에서의 객체의 위치의 변화는 크지 않을 수 있다.
따라서, 도 3에 도시된 바와 같이, 미리 설정된 시간 간격을 갖는 두 프레임을 이용하여 하나의 벡터를 획득할 수 있다. 예를 들어, 프레임 n과 프레임 n+k의 객체의 위치에서 벡터 vn을 획득하고, 프레임 n+1와 프레임 n+1+k의 객체의 위치에서 벡터 vn+1를 획득하는 등의 k개의 프레임 간격을 갖는 2개의 프레임에서 벡터를 획득하는 방식을 이용할 수 있다. 이에 따라, k는 프레임 간 시간 간격을 고려하여 결정될 수 있으며, 획득된 교차로 영상의 초당 프레임 수가 1을 초과한다면, k는 1보다 큰 자연수에서 선택될 수 있다. 예를 들어, fps가 10인 경우에, 벡터 획득을 위한 두 프레임이 1초 간격을 갖도록 설정하면, k=10이 될 수 있다.
두 개의 프레임의 객체의 위치를 통해 획득된 벡터는 크기(길이)와 각도를 갖는 값이고, 이하의 설명에서 벡터 정보라 지칭할 수 있다.
도 4는 본 발명과 관련된 객체가 비정상적으로 주행하는 이동 경로를 도시한다. 도 4에서 객체의 이동 경로는 빨간 화살표로 도시된다. 이들을 관찰하면, 비정상적으로 주행하는 객체는 회전을 두 방향(시계, 반시계 방향)으로 하거나(①의 경우), 또는 한 방향으로 큰 회전 각도로 이동(②의 경우)하는 것을 확인할 수 있다.
교차로에서 차선을 변경하며 이동하는 객체의 이동 경로(D)는 교차로에 진입한 지점부터 진출하는 지점까지 누적하여 그 경로를 관찰하면, 반시계 방향으로 회전을 하다가 다시 시계방향으로 회전한 것을 확인할 수 있다.
이 때에도, 영상 내의 정보를 이용하여 객체의 회전 및 그 방향을 식별하기 위해서, 객체의 이동 경로에 따른 벡터 정보를 활용하도록 한다.
비정상적으로 주행하는 객체의 경우도, 도 3에 도시된 것처럼, 각 프레임에서의 객체의 위치를 점으로써 누적 기록하고, 각 점을 잇는 벡터 정보가 획득될 수 있다. 이 때, 벡터 정보의 방향각 역시 함께 획득될 수 있다.
이동 경로(D)와 같은 경로의 객체는, 난폭 운전 또는 음주 운전 등의 예비적 판단이 이루어질 수 있으며, 이러한 객체가 검출된 경우에 이상검지 이벤트를 발생하여, 이들과 연동된 운영 장치에 이벤트를 알림으로써 해당 객체를 계속해서 검출 또는 추적할 수 있게 하거나 교통 법규 단속 등을 위한 경찰차를 호출하는 등의 작업이 이루어질 수 있도록 할 수 있다.
한편, 도 5는 도 4의 ②의 경우만 도시된 도이다. 교차로에서 상대적으로 큰 회전각도를 가지며 이동하는 객체의 이동 경로(F)은 교차로에 진입한 지점부터 진출하는 지점까지 누적하여 그 경로를 관찰하면, 거의 회전 없이 이동하다가 시계 방향으로 큰 회전을 한 것을 확인할 수 있다. 이러한 이동 경로(F) 역시 정상적인 경로는 아니지만, 도 4의 ①과는 차이가 있다. 이러한 객체의 이동은, 통행이 방해되는 물체(예컨대, 도로 상에서 고장 차량이 있거나 교통 사고 등이 발생한 경우, 차량들)가 교차로 진입로 부근에 있는 경우에 발생할 가능성이 있다.
이처럼, 교차로 내의 이상검지 이벤트 검출을 위해, 객체의 이동 경로의 벡터 정보를 획득하고, 획득된 벡터 정보 중 방향각을 이용하는 영상 분석 장치 또는 방법 등에 대해 제안하고자 한다.
도 6은 본 발명과 관련된 영상 분석 장치의 블록도를 도시한다. 영상 분석 장치(2)는 객체 검출부(210), 표준 편차 계산부(220), 회전 검출부(230), 제어부(240), 통신부(250) 및 저장부(260)를 포함할 수 있다. 구성요소(210 내지 260) 중 일부가 하나로 통합되어 본 발명을 실시할 수 있고, 또는 상기 구성요소 중 일부가 분할되어 본 발명을 실시할 수도 있다.
객체 검출부(210)는 도로 영상 내 일정 영역(예, 교차로)에 설정된 관심 영역(Region of Interest)으로 진입한 객체를 검출하여, 관심 영역에서 진출할 때까지 객체의 이동 경로를 추적하며, 미리 설정된 시간 간격(예, 1초)으로 객체의 이동 경로에 따른 벡터 정보를 실시간 획득할 수 있다. 이를 위해, 객체 검출부(210)는 레이더 센서를 포함하는 객체 검출 장치와 연동하여 동작할 수 있다.
예를 들어, 벡터 정보는 도 3과 관련하여 앞서 설명한 바와 같이 미리 설정된 수의 영상 프레임 간격을 갖는 두 프레임에서 획득될 수 있다.
객체 검출부(210)는 벡터 정보를 이용하여 도로 영상 내 이동 객체를 식별할 수 있다. 이동 객체라 함은, 이동하는 객체를 의미하며, 영상에 기반하여 획득된 객체의 벡터 정보의 크기(길이)가 미리 결정된 수의 픽셀을 초과하는 크기인 객체를 의미한다. 즉, 이동 객체는 둘 이상의 프레임에서의 이동이 미리 결정된 수의 픽셀을 초과하는 객체가 이동하는 객체에 해당한다.
한편, 도로 영상에서 검출된 객체는 객체 흔들림 현상으로 인해 객체의 검출 위치가 순간적으로 다르게 인식될 수 있다. 이에 따라, 검출된 객체의 위치를 결정하고 벡터 정보를 획득한다면, 객체의 방향각 정보에 오류가 있을 수 있다. 따라서, 이를 객체의 회전 검출에 사용하지 않기 위해, 객체 검출부(210)는 이동 객체의 순차적으로 획득된 연속된 벡터 정보, 즉 새롭게 획득된 벡터 정보와 그 직전에 획득하여 저장하고 있는 벡터 정보의 방향각의 차이가 미리 결정된 각도를 초과하거나 또는 미리 결정된 범위를 벗어나면, 둘 중 상기 새롭게 획득된 벡터 정보를 저장부(260)에 저장하지 않을 수 있다. 즉, 객체 검출부(210)는 이동 객체의 순차적으로 획득된 벡터 정보의 방향각의 차이가 미리 결정된 각도 이하거나 또는 미리 결정된 범위 이내이면, 상기 새롭게 획득된 벡터 정보를 저장부(260)에 저장할 수 있다.
좀더 상세하게 설명하면, 상기 새롭게 획득된 벡터 정보(vn)를 획득하기 위해 두 개의 영상 프레임（예컨대，　n　그리고　n+k번　프레임）이 이용되며, 상기 새롭게 획득된 벡터 정보(vn)와 그 직전에 획득하여 저장하고 있는 벡터 정보(vn-1)의 방향각의 차이가 미리 결정된 각도 이하이거나 또는 미리 결정된 범위 이내이면, 상기 새롭게 획득된 벡터 정보(vn)는 사용하지 않고, 그 다음으로 새롭게 획득된 벡터 정보(vn+1)과 vn-1을 비교할 수 있다. 객체 검출부(210)는 새롭게 획득된 벡터 정보(vn+1）를 획득하기 위해, n+1번 프레임과 n+1+k번 프레임을 사용할 수 있다. 만약, 앞서 말한 오류로 인한 순간적인 객체의 위치 변경이 사라졌다면, 새롭게 획득된 벡터 정보（vn+1）의 방향각은 n-1번 프레임과 n-1+k번 프레임의 객체의 위치에 기반하여 획득된 벡터 정보(vn-1)의 방향각과의 차이가 미리 결정된 각도를 초과하지 않거나 또는 미리 결정된 범위를 벗어나지 않을 것이다. 만약, vn+1과 vn-1 의 방향각 차이도 미리 결정된 각도를 초과하거나 또는 미리 결정된 범위를 벗어나면, n+2번 프레임 및 n+2+k번 프레임의 검출된 객체의 위치를 이용하여 벡터 정보(vn+2)를 획득하고, 이를 다시 vn-1과 비교하는 방식이 수행될 수 있다. 한편, 여기서 k는 미리 결정된 자연수에 해당하며, 앞서 도 3과 관련하여 설명했듯이, 미리 설정된 시간 간격에 대응하는 수로 결정될 수 있다.
한편, 객체 검출부(210)가 획득하고 저장부(260)에 저장하는 벡터 정보의 수는 미리 결정된 수 또는 그 이상으로 설정될 수 있다. 이는 적어도 미리 결정된 수보다 많은 수(예컨대, 미리 결정된 수의 2배)의 영상 프레임에 걸쳐 이동 객체의 이동 경로를 추적함을 의미하며, 그 결과 객체의 회전 여부를 판단하기 위한 충분한 수의 모데이터(벡터 정보의 수)를 확보할 수 있으므로, 좀더 신뢰성 높은 추적 결과를 얻을 수 있을 것이다.
위와 같이, 객체의 벡터 정보를 획득하기 위해서, 객체 검출부(210)는 객체 검출 장치와 연동하여 객체를 검출하고 인식할 수 있다.
한편, 객체 검출부(210)는 사람이나 차량, 차량 번호판 등의 객체를 구분하여 검출 및 인식할 수 있다. 이는 다양한 목적을 위한 용도로서 활용되기 위함이며, 구체적으로는 객체 검출부(210)는 감시 목적 및 대상에 따라 교통정보 수집 시스템, 불법 주·정차 단속 시스템, 무인 도로 방범 시스템, 생활 방범 시스템, 지능형 사물 추적 시스템, 무인 신호·과속 단속 시스템, 주차 관리 시스템으로 분류되는 CCTV 시스템들과 연동하여 동작할 수 있다. 이를 위해, 객체 검출부(210)는 교통정보 수집, 불법주정차, 속도위반 또는 생활 방범에 필요한 객체를 검출 및 인식하고, 상기 검출 및 인식된 객체에 대한 정보를 각종 지방자치단체, 도로공사, 시설공단, 경찰청 등이 운영하고 있는 교통 관제실과 같은 운영 장치(3)로 제공할 수 있다.
표준 편차 계산부(220)는 저장부(260)에 저장된 이동 객체의 벡터 정보의 방향각에 대한 표준 편차를 계산할 수 있다. 표준 편차 계산부(220)는 상기 저장된 이동 객체의 벡터 정보가 미리 결정된 수 이상인 경우에, 상기 객체의 방향각에 대한 표준 편차를 계산할 수 있다.
표준 편차는 널리 알려진 수학식에 기초하여 결정되며, 예시하면 다음과 같다.
Figure 112020121971849-pat00001
여기서，ｎ은　벡터 정보（방향각）의　수，　평균은　방향각의　평균　값이다．
미리 결정된 수 이상의 벡터 정보를 이용하여 표준 편차를 계산하는 이유는 순간적인 오검출 또는 오추적의 결과에 대한 영향을 줄이기 위함이다. 도로 영상에는 수많은 객체가 존재하며, 이들은 서로 다른 크기, 종류, 방향, 속도를 가질 수 있고, 이에 따라, 도로 영상 내에서 둘 이상의 객체가 겹칠 수 있으며, 이러한 이유에 따라서 객체의 이동 경로의 추적이 순간적으로 잘못될 가능성도 있다. 여러 벡터 정보를 이용하여 방향각의 표준 편차 계산에 따르면, 이러한 순간적인 오검출 또는 오추적에도 불구하고, 어느 정도 그 영향이 제거된 결과를 획득할 수 있다.
예를 들어, 객체 검출부(210)가 획득하고 저장부(260)에 저장하는 이동 객체의 벡터 정보의 미리 결정된 수가 9인 경우, 다음과 같이 벡터 정보에 따라 9개의 방향각 정보를 획득했다고 가정한다.
방향각(도) 회전각(도)
v1 20 N/A
v2 20 0
v3 20 0
v4 41 -21
v5 40 -20
v6 20 0
v7 20 0
v8 20 0
v9 20 0
앞서 설명했듯이, 이동 객체의 연속된 벡터 정보의 방향각 차이가 미리 결정된 각도(예컨대, 45도)를 초과하거나 미리 결정된 범위를 벗어나면, 본 발명에서는 해당 벡터 정보를 저장하지 않는다
만약, 표준 편차를 사용하지 않고, 연속된 2개의 벡터 정보의 방향각의 차이를 계산하면, v3와 v4의 방향각 차이가 21도에 해당하므로, 임의의 이벤트로서 저장할 수 있을 것이다.
그러나, v1 내지 v9의 데이터를 보면, v4와 v5가 일시적으로 오검출된 데이터임을 확인할 수 있다. 이에 따라, v1 내지 v9의 방향각에 대한 표준 편차를 계산하면, 8.53이므로, 후술할 것처럼 표준 편차의 임계치(예를 들어, 10)보다 작으므로, v1 내지 v9에 대해서는 이동 객체의 회전이 발생하지 않은 것으로 판단할 수 있다.
미리 결정된 수의 벡터 정보에 대한 표준 편차 계산의 결과, 임계치를 초과하지 않으면, 표준 편차 계산부(220)는 그 다음 저장된 벡터 정보들을 추가적으로 표준 편차 계산에 이용할 수 있다. 즉, v1 내지 v9 뿐만 아니라, v10 이후의 벡터 정보들을 표준 편차 계산에 이용한다.
아래 표 2를 참조하여, 표준 편차 계산의 결과, 임계치를 초과하는 경우에 대해 설명하도록 한다.
방향각(도) 회전각(도)
v10 23 -3
v11 32 -12
v12 45 -25
v13 50 -30
표 1과 2를 참조하면, v1 내지 v13으로 계산된 방향각의 표준 편차가 임계치(예컨대, 10)보다 큰 11.15에 해당한다.
또한, 표준 편차 계산부(220)는 회전 검출부(230)에 의해 이동 객체의 회전이 검출되면, 상기 표준 편차를 계산하기 위해 사용된 벡터 정보는 더 이상 사용하지 않을 수 있다. 즉, 앞서 v1 내지 v13에 대한 표준 편차를 계산하여, 계산된 표준 편차가 임계치를 초과해서, 이동 객체의 회전을 판단했다면, v1 내지 v13은 더 이상 객체의 회전 수 검출을 위한 표준 편차 연산에는 사용하지 않는다. 즉, 그 다음의 표준 편차 연산 시에는, 표준 편차 계산부(230)는 v14 이후의 벡터 정보를 이용할 수 있다.
회전 검출부(230)는 표준 편차 계산부(220)에 의해 계산된 표준 편차에 기반하여 이동 객체가 회전했는지 여부를 검출할 수 있다. 상세하게는, 계산된 표준 편차의 값이 임계치를 초과하는 경우, 이동 객체가 회전했다고 판단될 수 있다.
또한, 회전 검출부(230)는 이동 객체의 회전이 검출되면 상기 회전의 방향을 저장할 수 있다. 회전 방향을 저장하는 것은, 앞서 설명했듯이, 객체의 이상검지를 위해서 회전 방향을 고려하기 때문이다.
회전의 방향은 회전 각도의 부호(양 또는 음)로서 결정될 수 있다. 회전 각도는 저장부(260)에 저장된 표준 편차의 계산의 대상이 된 벡터 정보의 방향각의 차이를 통해 계산되는데, 예를 들어, 회전 각도는 첫번째로 저장된 벡터 정보의 방향각에서 마지막으로 저장된 벡터 정보의 방향각을 뺀 값에 해당한다.
표 1과 2를 참조하면, v1에서 v13의 방향각을 빼면, -30이 도출되고, 이는 부호가 음이므로, 좌회전을 했다고 판단될 수 있다. 부호가 양이면, 우회전을 한 것으로 판단될 수 있다. 다만, 뺄셈 연산 방식에 따라 부호가 지시하는 회전 방향은 다를 수 있다. 즉, 회전 각도를 마지막으로 저장된 벡터의 방향각에서 첫번째로 저장된 벡터의 방향각을 뺀 값으로 정의하면, 결과 값의 음의 부호는 우회전, 양의 부호는 좌회전을 지시할 수 있다.
제어부(240)는 회전 검출부(230)를 통해 이동 객체의 회전이 미리 결정된 수 이상 검출되고, 미리 결정된 수 이상의 회전이 서로 다른 방향의 회전인 경우, 이동 객체의 이동에 대해 이상 검지 이벤트를 발생할 수 있다. 즉, 제어부(240)는 이동 객체의 회전 수 그리고 회전의 방향에 기반하여 객체의 이동에 대해 이상 검지 이벤트를 발생할 수 있다.
한편, 앞서 설명했듯이, 도 4의 ②의 경우도 검출할 수 있어야 한다. 이는 표준 편차의 계산과는 별개로, 저장부(260)에 저장된 이동 객체의 벡터 정보 중 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보 간의 방향각 차이(즉, 회전 각도)를 기초로 이동 객체의 이동에 대한 이상 검지 이벤트가 결정될 수 있다. 즉, 제어부(240)는 객체의 회전 각도가 미리 설정된 각도를 초과하는지 여부를 판단하고, 상기 회전 각도가 상기 미리 설정된 각도를 초과하면, 이동 객체의 이동에 대해 이상 검지 이벤트를 발생할 수 있다. 아래 표 3을 참조하여 이를 설명하도록 한다.
방향각(도) 회전각(도)
v1 20 0
v2 22 -2
v3 20 0
v4 31 -11
v5 39 -19
v6 60 -40
v7 100 -80
v8 132 -112
v9 160 -140
즉, 표 3에 나타낸 벡터 정보의 방향각에서처럼, v1와 v9의 방향각의 차이(즉, 회전 각도)가 미리 설정된 값(예컨대, 130)를 초과하면, 제어부(240)는 이상 검지 이벤트를 발생할 수 있다.
한편, 위와 같이 조건이 만족하더라도 추가적인 조건을 부가하여, 제어부(240)가 이상 검지 이벤트를 발생하도록 설정될 수도 있다.
일예로, 객체 검출부(210)에 의해 이동 객체의 주변의 일정한 범위 내에서 다른 객체가 없는 것으로 검출되는 경우, 제어부(240)는 상기 이상 검지 이벤트를 발생할 수 있다. 이 때, 일정한 범위는 객체의 크기에 의존하며, 객체의 종류에 따라 설정될 수 있다. 도 7을 참조하여 일정한 범위에 대해 설명하도록 한다.
이동 객체의 크기는 영상 내에서 검출된 객체의 크기에 해당하며, 이에 따라 상기 일정한 범위는 rect함수로 나타낼 수 있으며, rect 함수는 rect(x, y, w, h)로 표현될 수 있으며, 이는 영상의 좌상단이 좌표 (0, 0)이라 했을 때, 기준점 (x, y)에서, 폭 w, 높이 h 만큼의 사각형 범위를 의미한다.
기본적으로, 상기 일정한 범위는 rect(x, y, w, h)로 지정될 수 있고, 이는 영상에서 검출된 객체의 크기라 지칭할 수 있다. 한편, 검출된 객체의 종류에 따라서 상기 일정한 범위의 크기가 결정될 수 있다. 객체의 종류라 함은, 객체가 차량인 경우, 크게 승용차, 화물차, 버스로 그 종류를 나눌 수 있으며, 이들 중 일부는 차량의 크기에 대응하여 상기 범위의 크기를 설정할 수 있고, 일부는 차량의 크기에 비례한 크기로 상기 범위의 크기를 설정할 수 있다.
일례로, 객체가 대형 버스나 화물차인 경우 상기 일정한 범위는 rect(x, y, w, h)로 설정되며, 객체가 승용차 또는 대형 버스, 화물차가 아닌 경우, 상기 일정한 범위는 rect(x-0.5w, y-0.5h, 2w, 2h)로 결정될 수 있다.
이동 객체의 주변의 일정한 범위 내에 다른 객체가 없는 경우에만 이상 검지 이벤트를 발생하는 이유는, 영상 내 객체의 겹침으로 인한 추적 오류로 벡터 정보 획득에 오류가 있을 수 있으므로, 방향각 표준 편차의 계산에 따른 조건이 만족되었더라도, 객체의 주변에 또다른 객체가 있다면 이상 검지 이벤트 발생을 억제하는 것이다.
또한, 객체의 종류에 따라 상기 일정한 범위의 크기를 조절하는 것은, 상대적으로 객체의 이상 이동에 따른 위험도가 높은 객체일수록 이상 검지 이벤트 발생이 상대적으로 쉽게 되도록 하고, 그렇지 않은 객체는 상대적으로 이상 검지 이벤트 발생이 어렵게 설정하기 위함이다. 본 명세서에서, “객체의 종류”를 설명하였지만, 객체의 주변의 일정한 범위는 다른 기준을 기초로 가변할 수 있다.
또한, 제어부(240)는 영상 분석 장치(200)의 구성 요소들, 예컨대 객체 검출부(210), 표준 편차 계산부(220), 회전 검출부(230), 통신부(250) 및 저장부(260)를 제어하며, 좀더 상세하게는 해당 구성 요소가 본 명세서에서 기술된 특징을 구현하도록 지시/명령을 전달하고, 그에 따른 결과를 수신할 수 있으며, 하나의 구성 요소로부터 다른 구성 요소로 정보, 메시지, 데이터 등을 전달할 수 있다.
통신부(250)는 외부의 시스템(예컨대, 운영 장치(3))으로 영상 분석의 결과를 전송할 수 있다. 또한, 저장부(260)는 도로 영상을 저장하거나, 이동 객체의 벡터 정보, 벡터 정보로부터 획득된 방향각 또는 회전 각도, 검출된/추적된 객체에 대한 정보 등을 저장할 수 있다.
운영 장치(3)는 도로 영상을 제공받아 저장 또는 표시할 수 있고, 객체 추적의 결과를 수신하여 표시할 수 있다. 또한, 운영 장치(3)는 제어부(240)로부터 이상 검지 이벤트를 수신하여 표시할 수 있다.
또한, 운영 장치(3)는 객체 검출부(210)로부터 검출 및 인식된 객체에 대한 정보를 제공받아 교통 정보, 불법주정차 정보, 속도위반 정보 또는 생활방범 정보 등을 생성하고 표시할 수 있다.
도 8은 본 발명과 관련된 방법의 순서도를 도시한다. 도 8은 도로 영상 분석을 위한 방법에 관한 것으로서, 본 발명에 따른 영상 분석 장치(2), 또는 영상 분석 장치 내의 특정의 구성요소(예컨대, 제어부(240)) 등에 의해 수행될 수 있고, 상기 구성요소의 명칭이나 이름은 해당 내용의 권리범위를 제약하지 않는다. 또한, 본 명세서에서 설명의 간략함과 명확함을 위해, 도 8의 순서도를 참조하여 검출되는 객체 하나에 대해서만 설명하지만, 본 발명은 영상 프레임에서 검출되는 여러 객체들에 대해서도 수행될 수 있음은 당연하다.
영상 분석 장치(2)는 획득된 영상 프레임에서 객체 검출을 시도할 수 있다(S811). 획득된 영상 프레임에서 객체가 검출되지 않는 경우, 본 발명에 따른 도로 영상 분석을 위한 방법은 더 이상 진행되지 않는다.
획득된 영상 프레임에서 객체 검출이 이루어지면, 영상 분석 장치(2)는 검출된 객체의 벡터 정보를 획득할 수 있다(S812). 하나의 벡터 정보를 획득하기 위해서는 적어도 두 개의 영상 프레임이 필요하다. 이 때, 하나의 벡터 정보를 획득하기 위한 두 개의 영상 프레임은 미리 설정된 시간 간격(예컨대, 1초)을 가질 수 있다. 한편, 후술할 것처럼, S813, S814, S816, S819, S821, S822 등에서 “아니오”로 판정된 경우, 본 발명에 따른 절차는 S811로 회귀하며, 그리고나서 S811에서 객체 검출이 이뤄지는 경우 S812가 실행된다. 이 때엔, 새롭게 획득되는 벡터 정보는 그 직전에 벡터 정보가 획득된 두 개의 영상 프레임(예컨대, 영상 프레임 n과 n+k) 각각의 다음 영상 프레임 두 개(예컨대, 영상 프레임 n+1과 n+k+1)로부터 획득될 수 있다.
영상 분석 장치(2)는 획득된 벡터 정보를 이용하여 영상 내 이동 객체의 식별을 시도할 수 있다(S813). 이동 객체라 함은, 이동하는 객체를 의미하며, 영상에 기반하여 획득된 객체의 벡터 정보의 크기(길이)가 미리 결정된 수의 픽셀을 초과하는 크기인 객체를 의미한다. 즉, 이동 객체는 둘 이상의 프레임에서의 이동이 미리 결정된 수의 픽셀을 초과하는 객체가 이동하는 객체에 해당한다. 이에 따라, 영상 분석 장치(2)는 벡터 정보의 크기가 상기 미리 결정된 수의 픽셀을 초과하는지 여부를 판단할 수 있다. 영상 분석 장치(2)는 벡터 정보의 크기가 상기 미리 결정된 수의 픽셀을 초과하는 객체에 대한 벡터 정보를 유효한 데이터로 취급할 수 있다. 벡터 정보의 크기가 상기 미리 결정된 수의 픽셀을 초과하는 객체에 대한 벡터 정보에 대해서 S814로 절차를 진행할 수 있다. 벡터 정보의 크기가 상기 미리 결정된 수의 픽셀 이하인 객체는, 이동 객체로 식별되지 않으며, S811로 회귀하여 그 다음 획득된 영상 프레임에서 객체 검출을 시도하는 등의 반복 절차가 수행될 수 있다.
그리고나서, 영상 분석 장치(2)는 획득된 벡터 정보에 기반하여 연속된 벡터 정보, 즉 새롭게 획득된 벡터 정보와 그 직전에 획득하여 저장하고 있는 벡터 정보의 방향각의 차이가 미리 결정된 각도 이하이거나 미리 결정된 범위 이내 인지 여부를 확인할 수 있다(S814).
새롭게 획득된 벡터 정보와 그 직전에 획득하여 저장하고 있는 벡터 정보의 방향각의 차이가 미리 결정된 각도를 초과하거나 미리 결정된 범위 이내 이면, 영상 분석 장치(2)는 새롭게 획득된 벡터 정보를 저장하지 않는다. 그리고나서, 영상 분석 장치(2)는 S811로 돌아가서 추가 영상 프레임을 이용하여 본 발명의 절차를 수행할 수 있다.
한편, S814는 이동 객체의 방향각의 차이를 비교할 벡터 정보가 저장되어 있는 경우에 수행된다. 저장된 벡터 정보가 없는 경우엔, 본 발명은 S814를 수행하지 않고, S815로 진행할 수 있다.
영상 분석 장치(2)는 연속된 벡터 정보의 방향각의 차이가 미리 결정된 각도 이하이거나, 미리 결정된 범위를 벗어나지 않으면, 상기 연속된 벡터 정보 중 새롭게 획득된 벡터 정보를 저장부(260)에 저장할 수 있다(S815). 자세히는, 도 6을 참조하여 설명한 객체 검출부(210)에 대한 설명을 참조하도록 한다.
영상 분석 장치(2)는 저장된 벡터 정보가 미리 결정된 수(예컨대, 10개)를 초과하는지 여부를 확인할 수 있다(S816). 이는 앞서 설명했듯이, 미리 결정된 수 이상의 벡터 정보를 이용하여 표준 편차를 계산하는 이유는 순간적인 오검출 또는 오추적의 결과에 대한 영향을 줄이기 위함이다. 여기서, 저장된 벡터 정보라 함은 후술할 S818에 대한 설명에서 언급할 것처럼, 표준 편차 계산의 대상이 되는 벡터 정보이며, 한번도 표준 편차의 계산에 이용되지 않았거나, 표준 편차의 계산이 이용되었더라도, 계산된 표준 편차가 임계치를 초과하지 못한 저장된 벡터 정보를 포함한다.
상기한 S816의 확인 결과, 저장된 벡터 정보가 미리 결정된 수를 초과하는 경우, 영상 분석 장치(2)는 저장된 벡터 정보에서 이동 객체의 회전 각도가 미리 설정된 각도 초과인지 여부를 확인할 수 있다(S817). 앞서 설명했듯이, 이동 객체의 회전 각도는 저장된 벡터 정보 중 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보의 방향각의 차이를 의미할 수 있다. 이동 객체의 회전 각도가 미리 설정된 각도를 초과하면, 영상 분석 장치(2)는 이상 검지 발생을 결정할 수 있다(S823).
이동 객체의 회전 각도가 미리 설정된 각도를 초과하지 않으면, 영상 분석 장치(2)는 이동 객체의 저장된 벡터 정보의 방향각에 대한 표준 편차를 계산할 수 있다(S818). 여기서, 표준 편차 계산의 대상이 되는 저장된 벡터 정보는, 이동 객체의 저장된 벡터 정보 중에서 표준 편차 계산에 이용되어 계산된 표준 편차가 임계치를 초과하게 된 벡터 정보는 제외된다. 즉, 후술할 S819 단계를 통해 표준 편차가 임계치를 초과하게 된 벡터 정보는 S818 단계에서의 표준 편차 계산시 제외된다.
한편, 저장된 벡터 정보가 표준 편차의 계산이 이용되었더라도, 계산된 표준 편차가 임계치를 초과하지 못하였다면, 그 다음 표준 편차의 계산에도 이용되어야 한다. 즉, 표준 편차 계산의 대상이 되는 저장된 벡터 정보는, 한번도 표준 편차의 계산에 이용되지 않았거나, 표준 편차의 계산이 이용되었더라도, 계산된 표준 편차가 임계치를 초과하지 못한 저장된 벡터 정보를 포함한다.
영상 분석 장치(2)는 계산된 표준 편차가 임계치를 초과하는지 여부를 확인할 수 있고(S819), 계산된 표준 편차가 임계치를 초과하면, 객체가 회전했다고 판단하여 회전 횟수 카운트의 값을 증가(예컨대, 1만큼 증가)시키고, 회전의 방향을 저장할 수 있다(S820).
또한, S819를 통한 확인의 결과, 계산된 표준 편차가 임계치 이하이면, 영상 분석 장치(2)는 S811로 다시 돌아가 추가 영상 프레임을 이용하여 본 발명의 절차를 수행할 수 있다.
회전 횟수 카운트 값이 증가되고 나면, 영상 분석 장치(2)는 총 회전 횟수가 2 이상인지 여부를 확인할 수 있다(S821). 총 회전 횟수가 2 미만이면, 영상 분석 장치(2)는 다시 S811로 돌아가서 본 발명을 수행할 수 있다.
총 회전 횟수가 2 이상이면, 영상 분석 장치(2)는 2 이상의 회전의 방향이 서로 상이한지 여부를 확인할 수 있다(S822). 2 이상의 회전의 방향이 상이하지 않으면, 영상 분석 장치(2)는 다시 S811로 돌아가서 본 발명을 수행할 수 있다.
2 이상의 회전의 방향이 상이하면, 영상 분석 장치(2)는 이상 검지 이벤트를 발생할 수 있다(S823). 그리고나서, 영상 분석 장치(2)는 상기 회전 횟수 카운트 값을 초기화(예컨대, 그 값을 0으로 설정)할 수 있고, 저장된 벡터 정보를 삭제할 수 있다.
앞선 설명에서처럼, 영상 분석 장치(2)는 이상 검지 이벤트를 발생하기 전에, 이동 객체의 주변의 일정한 범위 내에 다른 객체가 있는지 여부를 확인할 수 있다. 만약, 이동 객체의 주변의 일정한 범위 내에 다른 객체가 없는 경우, 이상 검지 이벤트를 발생할 수 있다(S823). 만약, 이동 객체의 주변의 일정한 범위 내에 다른 객체가 있는 경우, 영상 분석 장치(2)는 다시 S811로 돌아가서 본 발명을 수행할 수 있다.
본 발명에서 영상에서 객체의 회전 방향을 검출하는 방법을 통해서 예를 들어, 도로의 코너를 돌 때 차량의 운전대를 돌린 것보다 더 많이 회전해서 발생하는 오버스티어 현상, 우천 시에 수막현상으로 인해 차량이 브레이크 작동시에도 미끄러지는 현상, 기온 급하강으로 인한 블랙아이스로 인해 차량이 미끄러지는 현상 등을 검출할 수 있고, 이에 대한 이상 검지 이벤트 발생이 가능하다.
한편, 앞선 설명에서, 예를 들어 도 8의 S814, S816, S817, S819, S821 등에서와 같이 두 값의 크기를 비교하는데, 두 값의 비교시 대소 관계에는 등호가 포함될 수도 있다. 즉, 명세서에서, "초과" 대신 "이상", 그리고 "미만" 대신 "이하"가 적용될 수도 있고, 그 반대도 마찬가지이며, 이는 본 발명의 권리범위를 제약하지는 않는다.
이상의 명세서에서, "장치" 또는 “시스템”과 그에 속한 구성들(가시거리 객체 검출부(210), 표준 편차 계산부(220), 회전 검출부(230), 제어부(240), 통신부(250) 및/또는 저장부(260) 등)이 해당 방법 또는 절차 등을 수행하는 것으로 설명하였으나, "장치"와 그에 속한 구성들은 명칭일 뿐 권리범위가 그에 종속되는 것은 아니다. 즉, 장치 외에도 시스템 등으로서도 해당 방법 또는 절차가 수행될 수 있으며, 그뿐만 아니라 영상 분석을 위한 소프트웨어 또는 컴퓨터 또는 그 밖의 기계, 장치 등으로 판독가능한 코드에 의해 상기 방법 또는 방식이 수행될 수 있다.
아울러, 본 발명의 또다른 양태(aspect)로서, 앞서 설명한 제안 또는 발명의 동작이 "컴퓨터"(시스템 온 칩(system on chip; SoC) 또는 (마이크로) 프로세서 등을 포함하는 포괄적인 개념)에 의해 구현, 실시 또는 실행될 수 있는 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품(product) 등으로도 제공될 수 있고, 본 발명의 권리범위가 상기 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품으로 확장가능하다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

Claims (16)

  1. 도로 영상에서 이상 검지를 위한 영상 분석 장치로서,
    도로 영상에서 검출된 이동 객체의 벡터 정보를 획득하고 저장부에 저장하는 객체 검출부;
    상기 저장부에 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보 간의 방향각 차이가 미리 설정된 각도를 초과하는지 여부를 판단하는 제어부;
    상기 방향각 차이가 상기 미리 설정된 각도를 초과하지 않으면, 상기 저장된 벡터 정보의 방향각에 대한 표준 편차를 계산하는 표준 편차 계산부; 및
    상기 표준 편차에 기반하여 상기 객체가 회전했는지 여부를 검출하고, 상기 객체의 회전이 검출되면 상기 회전의 방향을 저장하는 회전 검출부를 포함하고,
    상기 제어부는 상기 객체의 회전이 미리 결정된 수 이상 검출되고, 상기 회전의 방향이 서로 다른 방향인 경우, 상기 객체에 대해 이상 검지 이벤트를 발생하는, 영상 분석 장치.
  2. 제1항에 있어서,
    상기 객체 검출부는 획득된 벡터 정보의 크기에 따라 이동 객체를 식별하는, 영상 분석 장치.
  3. 제1항에 있어서, 상기 객체 검출부는:
    상기 도로 영상의 미리 설정된 시간 간격을 갖는 두 영상 프레임을 이용하여 벡터 정보를 획득하는, 영상 분석 장치.
  4. 제1항에 있어서, 상기 객체 검출부는:
    상기 객체의 새롭게 획득된 벡터 정보와, 그 직전에 획득하여 저장하고 있는 벡터 정보의 방향각의 차이가 미리 결정된 각도를 초과하면, 상기 새롭게 획득된 벡터 정보를 저장하지 않는, 영상 분석 장치.
  5. 제1항에 있어서, 상기 객체 검출부는:
    상기 객체의 새롭게 획득된 벡터 정보와, 그 직전에 획득하여 저장하고 있는 벡터 정보의 방향각의 차이가 미리 결정된 각도 이하이면, 상기 새롭게 획득된 벡터 정보를 상기 저장부에 저장하는, 영상 분석 장치.
  6. 제1항에 있어서, 상기 방향각 차이가 상기 미리 설정된 각도를 초과하면, 상기 제어부는 상기 객체의 이동에 대해 이상 검지 이벤트를 발생하는, 영상 분석 장치.
  7. 제1항에 있어서, 상기 객체의 회전이 미리 결정된 수 미만 검출되거나, 상기 회전의 방향이 서로 다른 방향이 아닌 경우,
    상기 제어부는 상기 도로 영상에서 추가로 획득된 벡터 정보를 이용하여 상기 이상 검지를 위한 절차를 반복 수행하도록 하는, 영상 분석 장치.
  8. 제1항에 있어서, 상기 표준 편차 계산부는:
    상기 저장된 벡터 정보가 미리 결정된 수 이상인 경우에, 상기 객체의 방향각에 대한 표준 편차를 계산하는, 영상 분석 장치.
  9. 제1항에 있어서,
    상기 표준 편차 계산부는 상기 객체의 회전이 검출되면, 상기 표준 편차를 계산하기 위해 사용된 벡터 정보를 상기 표준 편차 계산을 위해 더 이상 사용하지 않는, 영상 분석 장치.
  10. 제1항에 있어서,
    상기 표준 편차 계산부는 상기 객체의 회전이 검출되지 않으면, 상기 표준 편차를 계산하기 위해 사용된 벡터 정보를 상기 객체의 회전 검출을 위해 새롭게 획득되어 저장되는 벡터 정보와 함께 표준 편차 계산에 사용하는, 영상 분석 장치.
  11. 제1항에 있어서, 상기 제어부는:
    상기 객체의 주변의 일정한 범위 내에서 다른 객체가 없는 것으로 검출되는 경우, 상기 이상 검지 이벤트를 발생하며,
    상기 일정한 범위는 상기 객체의 크기에 의존하며, 객체의 종류에 따라 설정되는, 영상 분석 장치.
  12. 도로 영상에서 이상 검지를 위한 영상 분석 시스템으로서,
    도로 영상에서 검출된 이동 객체의 벡터 정보를 획득하고 저장하며, 저장된 벡터 정보 중 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보 간의 방향각 차이가 미리 설정된 각도를 초과하는지 여부를 판단하고, 상기 방향각 차이가 상기 미리 설정된 각도를 초과하지 않으면, 상기 저장된 벡터 정보의 방향각에 대한 표준 편차를 계산하며, 상기 표준 편차에 기반하여 상기 객체가 회전했는지 여부를 검출하고, 상기 객체의 회전이 검출되면 상기 회전의 방향을 저장하고, 상기 객체의 회전이 미리 결정된 수 이상 검출되고, 상기 회전의 방향이 서로 다른 방향인 경우, 상기 객체에 대해 이상 검지 이벤트를 발생하는 영상 분석 장치; 및
    상기 이상 검지 이벤트를 수신하여 표시하는 운영 장치를 포함하는, 영상 분석 시스템.
  13. 제12항에 있어서,
    상기 영상 분석 장치는 레이더 센서를 포함하는 객체 검출 장치와 연동하여 동작하는, 영상 분석 시스템
  14. 제12항에 있어서,
    상기 도로 영상을 촬영하기 위한 촬영 장치를 더 포함하는, 영상 분석 시스템.
  15. 제12항에 있어서, 상기 운영 장치는 상기 영상 분석 장치로부터 이동 객체에 대한 정보를 제공받아 교통 정보, 불법주정차 정보, 속도위반 정보 및 생활방범 정보 중 적어도 하나를 생성하여 표시하는, 영상 분석 시스템.
  16. 도로 영상에서 이상 검지를 위한 영상 분석 방법으로서,
    영상 분석 장치에 의해, 도로 영상에서 검출된 이동 객체의 벡터 정보를 획득하고 저장하는 단계; 및
    상기 영상 분석 장치에 의해, 저장된 벡터 정보 중 첫번째로 저장된 벡터 정보와 마지막으로 저장된 벡터 정보 간의 방향각 차이가 미리 설정된 각도를 초과하는지 여부를 판단하는 단계;
    상기 영상 분석 장치에 의해, 상기 방향각 차이가 상기 미리 설정된 각도를 초과하지 않으면, 상기 저장된 벡터 정보의 방향각에 대한 표준 편차를 계산하는 단계;
    상기 영상 분석 장치에 의해, 상기 표준 편차에 기반하여 상기 객체가 회전했는지 여부를 검출하고, 상기 객체의 회전이 검출되면 상기 회전의 방향을 저장하는 단계; 및
    상기 영상 분석 장치에 의해, 상기 객체의 회전이 미리 결정된 수 이상 검출되고, 상기 회전의 방향이 서로 다른 방향인 경우, 상기 객체에 대해 이상 검지 이벤트를 발생하는 단계를 포함하는, 영상 분석 방법.
KR1020200152242A 2020-11-13 2020-11-13 도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법 KR102249654B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200152242A KR102249654B1 (ko) 2020-11-13 2020-11-13 도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200152242A KR102249654B1 (ko) 2020-11-13 2020-11-13 도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법

Publications (1)

Publication Number Publication Date
KR102249654B1 true KR102249654B1 (ko) 2021-05-10

Family

ID=75918081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200152242A KR102249654B1 (ko) 2020-11-13 2020-11-13 도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR102249654B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150050224A (ko) * 2013-10-31 2015-05-08 한국전자통신연구원 비정상 배회 탐지 장치 및 방법
KR101889085B1 (ko) * 2017-12-07 2018-08-16 렉스젠(주) 차량 궤적을 이용한 통행 정보 생성 장치 및 그 방법
KR102008263B1 (ko) * 2018-06-25 2019-08-07 주식회사 유니시큐 융복합형 검지기 및 이를 이용한 교통 단속시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150050224A (ko) * 2013-10-31 2015-05-08 한국전자통신연구원 비정상 배회 탐지 장치 및 방법
KR101889085B1 (ko) * 2017-12-07 2018-08-16 렉스젠(주) 차량 궤적을 이용한 통행 정보 생성 장치 및 그 방법
KR102008263B1 (ko) * 2018-06-25 2019-08-07 주식회사 유니시큐 융복합형 검지기 및 이를 이용한 교통 단속시스템

Similar Documents

Publication Publication Date Title
JP7499256B2 (ja) ドライバの挙動を分類するためのシステムおよび方法
KR102267335B1 (ko) 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
US9260059B2 (en) False warning reduction using location data
US9704391B2 (en) Traffic accident detection device and method of detecting traffic accident
US20190172345A1 (en) System and method for detecting dangerous vehicle
CN114332153A (zh) 一种车辆速度检测、撞车预警方法及电子设备
KR101446546B1 (ko) 위치기반 실시간 차량정보 표시시스템
US20220177005A1 (en) Method for checking a surroundings detection sensor of a vehicle and method for operating a vehicle
KR101852057B1 (ko) 영상 및 열화상을 이용한 돌발 상황 감지시스템
JP4154335B2 (ja) ロールオーバー識別用装置
KR101852058B1 (ko) 듀얼 카메라를 이용한 돌발 상황 감지방법
CN112367475B (zh) 一种交通事件检测方法、系统及电子设备
EP3364336B1 (en) A method and apparatus for estimating a range of a moving object
CN111369708A (zh) 车辆行驶的信息记录方法及装置
CN111767851A (zh) 突发事件的监控方法、装置、电子设备和介质
CN103886763A (zh) 一种利用视频跟踪技术实现超速违法行为拍照方法及系统
KR20190087276A (ko) 영상 기반 교통량 측정 시스템 및 그 방법
KR20160069685A (ko) 주차차단기의 번호인식시스템
CN111767850A (zh) 突发事件的监控方法、装置、电子设备和介质
KR20050095807A (ko) 번호판 인식을 이용한 속력위반차량 검색시스템 및 그 방법
US9625402B2 (en) Method and apparatus for detection of defective brakes
KR102484688B1 (ko) 카메라와 레이더를 이용한 구간 단속 방법 및 구간 단속 시스템
KR102249654B1 (ko) 도로 영상에서 이상 검지를 위한 영상 분석 장치, 시스템 및 이를 위한 방법
CN113674311A (zh) 异常行为检测方法、装置、电子设备、存储介质
KR101403936B1 (ko) 차량촬영시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant