KR102617846B1 - 영상 내 움직임이 있는 객체 검출 방법 및 시스템 - Google Patents

영상 내 움직임이 있는 객체 검출 방법 및 시스템 Download PDF

Info

Publication number
KR102617846B1
KR102617846B1 KR1020230009290A KR20230009290A KR102617846B1 KR 102617846 B1 KR102617846 B1 KR 102617846B1 KR 1020230009290 A KR1020230009290 A KR 1020230009290A KR 20230009290 A KR20230009290 A KR 20230009290A KR 102617846 B1 KR102617846 B1 KR 102617846B1
Authority
KR
South Korea
Prior art keywords
bounding box
correction
current frame
frame
coordinate information
Prior art date
Application number
KR1020230009290A
Other languages
English (en)
Inventor
김동기
Original Assignee
주식회사 핀텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀텔 filed Critical 주식회사 핀텔
Application granted granted Critical
Publication of KR102617846B1 publication Critical patent/KR102617846B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 내 움직임이 있는 객체 검출 방법 및 시스템에 관한 것으로서, 객체를 촬영한 영상 중 현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 상기 객체를 포함하는 4개의 꼭지점을 갖는 바운딩박스를 도출하고, 프레임마다 상기 바운딩박스의 크기 및 위치가 변하는 것에 따라 객체의 오검지가 발생하는 것을 방지하기 위해 과거프레임의 바운딩박스 및 현재프레임의 바운딩박스를 통해 보정된 바운딩박스를 도출하고, 과거프레임의 보정바운딩박스, 현재프레임의 보정바운딩박스 및 복수의 기설정된 기준에 기반하여 움직이는 객체를 판별하는, 영상 내 움직임이 있는 객체 검출 방법 및 시스템에 관한 것이다.

Description

영상 내 움직임이 있는 객체 검출 방법 및 시스템{Method and System for Detecting Moving Object in Video}
본 발명은 영상 내 움직임이 있는 객체 검출 방법 및 시스템에 관한 것으로서, 객체를 촬영한 영상 중 현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 상기 객체를 포함하는 4개의 꼭지점을 갖는 바운딩박스를 도출하고, 프레임마다 상기 바운딩박스의 크기 및 위치가 변하는 것에 따라 객체의 오검지가 발생하는 것을 방지하기 위해 과거프레임의 바운딩박스 및 현재프레임의 바운딩박스를 통해 보정된 바운딩박스를 도출하고, 과거프레임의 보정바운딩박스, 현재프레임의 보정바운딩박스 및 복수의 기설정된 기준에 기반하여 움직이는 객체를 판별하는, 영상 내 움직임이 있는 객체 검출 방법 및 시스템에 관한 것이다.
현재 차량의 수와 이동거리가 늘어나면서 충돌사고 또한 해마다 점점 늘어나는 추세이다. 특히 차종에 따라 운전자의 시야에 사각지대가 발생하여 다른 차량을 미처 발견하지 못하고 사고로 이어지는 경우가 잦아지고 있다. 그러므로 늘어나는 차량 충돌사고를 줄이기 위해 차량충돌을 예측하고, 방지할 수 있는 기술의 개발이 필요한 상황이다.
영상 객체의 검출 및 추적이란 입력 영상으로부터 의미 있는 단일 혹은 다중 영상 객체의 영역을 배경으로부터 분리하여 의미를 부여하는 과정을 의미한다. 이러한 영상 객체의 검출 추적 방법은 영상처리와 컴퓨터 비전 분야에서는 기본적이고, 지능형 감시시스템, 내용기반의 검색 시스템, 자세인식 시스템 등 다양한 기술분야에 활용된다.
종래의 차량의 충돌을 예측하는 기술로는, 대한민국 등록특허 제10-2445972호와 같이, 주차 관제 시스템에서 차량이 포함된 바운딩박스를 검출하여 차량의 충돌을 예측하고 방지하는 기술 등이 있다. 그러나 이 경우, 영상 촬영 중 다른 객체가 나타나 상기 차량이 포함된 바운딩박스를 가리거나, 원거리에서 촬영되는 차량의 경우 검출되는 바운딩박스가 불안정할 수 있다. 바운딩박스가 불안정해지면 상기 바운딩박스 내의 기준점이 급격하게 변화하여 해당 차량의 움직임 검출에 대한 신뢰성이 낮아진다.
또한, 주정차가 금지된 구간에서 차량이 움직이고 있지만 상기 차량을 포함하는 바운딩박스 검출의 불안정으로 인해 상기 차량이 정지했다고 판단되는 경우 등으로 불법주정차 차량 검거에 대한 신뢰성 또한 낮아진다.
따라서 이러한 문제점을 해결할 수 있는 영상 내 움직임이 있는 객체를 판별하는 기술의 개발이 요구되고 있다.
대한민국 등록특허 제10-2445972호 (2022.09.19.)
본 발명은 영상 내 움직임이 있는 객체 검출 방법 및 시스템에 관한 것으로서, 객체를 촬영한 영상 중 현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 상기 객체를 포함하는 4개의 꼭지점을 갖는 바운딩박스를 도출하고, 프레임마다 상기 바운딩박스의 크기 및 위치가 변하는 것에 따라 객체의 오검지가 발생하는 것을 방지하기 위해 과거프레임의 바운딩박스 및 현재프레임의 바운딩박스를 통해 보정된 바운딩박스를 도출하고, 과거프레임의 보정바운딩박스, 현재프레임의 보정바운딩박스 및 복수의 기설정된 기준에 기반하여 움직이는 객체를 판별하는, 영상 내 움직임이 있는 객체 검출 방법 및 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템에서 수행되는 영상 내 움직임이 있는 객체 검출 방법으로서, 현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 검출된 객체에 대한 적어도 4개의 꼭지점을 갖는 검출바운딩박스를 도출하는 검출박스도출단계; 상기 검출된 객체에 대해 현재프레임 이전의 과거프레임에서의 해당 객체의 보정바운딩박스를 도출하는 과거보정박스도출단계; 상기 현재프레임의 검출바운딩박스에서의 꼭지점의 좌표정보에 제1가중치를 적용하고, 상기 과거프레임의 보정바운딩박스에서의 꼭지점의 좌표정보에 제2가중치를 적용하여, 적어도 4개의 꼭지점을 갖는 현재프레임의 보정바운딩박스를 도출하는 현재보정박스도출단계; 상기 과거프레임의 보정바운딩박스와 상기 현재프레임의 보정바운딩박스의 꼭지점의 위치변화가 기설정된 제1기준을 초과하는지 여부를 판별하는 1차객체움직임판단단계; 및 상기 과거프레임의 보정바운딩박스에서의 객체와 상기 현재프레임의 보정바운딩박스의 객체의 위치변화가 기설정된 제2기준을 초과하였는지 여부를 판별하는 2차객체움직임판단단계;를 포함하는, 영상 내 움직임이 있는 객체 검출 방법을 제공한다.
본 발명의 일 실시예에서는, 상기 현재보정박스도출단계는, 상기 현재프레임의 검출바운딩박스에서의 4개의 꼭지점의 좌표정보 및 상기 과거프레임의 보정바운딩박스에서의 4개의 꼭지점의 좌표정보에 기반하여 상기 현재프레임의 보정바운딩박스에서의 4개의 꼭지점의 좌표정보를 산출하고, 상기 제2가중치가 상기 제1가중치보다 큰 값에 해당할 수 있다.
본 발명의 일 실시예에서는, 상기 1차객체움직임판단단계는, 상기 보정바운딩박스에서 4개의 꼭지점 중 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준을 초과하는지 판단하고, 상기 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준보다 이하면 상기 객체를 정지객체라고 판단할 수 있다.
본 발명의 일 실시예에서는, 상기 2차객체움직임판단단계는, 상기 1차객체움직임판단단계의 수행결과 4개의 꼭지점 중 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준을 초과하는 경우 수행되고, 상기 과거프레임의 보정바운딩박스에서의 밑변의 중심점과 상기 현재프레임의 보정바운딩박스에서의 밑변의 중심점 간의 위치변화가 상기 기설정된 제2기준을 초과하면 객체가 움직인다고 판단하고, 상기 중심점의 위치변화가 상기 기설정된 제2기준보다 이하면 상기 객체를 정지객체라고 판단할 수 있다.
본 발명의 일 실시예에서는, 상기 현재보정박스도출단계는, 기설정된 간격의 프레임마다 반복적으로 수행되고, 상기 현재프레임의 보정바운딩박스 좌표정보를 새로 업데이트할 때, 상기 현재프레임의 보정바운딩박스 좌표정보 값을 상기 과거프레임의 보정바운딩박스 좌표정보 값으로 대체하여 새로운 현재프레임의 보정바운딩박스 좌표정보를 산출할 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하고, 영상 내 움직임이 있는 객체 검출 방법을 수행하는 컴퓨팅시스템으로서, 현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 검출된 객체에 대한 적어도 4개의 꼭지점을 갖는 검출바운딩박스를 도출하는 검출박스도출부; 상기 검출된 객체에 대해 현재프레임 이전의 과거프레임에서의 해당 객체의 보정바운딩박스를 도출하는 과거보정박스도출부; 상기 현재프레임의 검출바운딩박스에서의 꼭지점의 좌표정보에 제1가중치를 적용하고, 상기 과거프레임의 보정바운딩박스에서의 꼭지점의 좌표정보에 제2가중치를 적용하여, 적어도 4개의 꼭지점을 갖는 현재프레임의 보정바운딩박스를 도출하는 현재보정박스도출부; 상기 과거프레임의 보정바운딩박스와 상기 현재프레임의 보정바운딩박스의 꼭지점의 위치변화가 기설정된 제1기준을 초과하는지 여부를 판별하는 1차객체움직임판단부; 및 상기 과거프레임의 보정바운딩박스에서의 객체와 상기 현재프레임의 보정바운딩박스의 객체의 위치변화가 기설정된 제2기준을 초과하였는지 여부를 판별하는 2차객체움직임판단부;를 포함하는, 영상 내 움직임이 있는 객체 검출 방법을 수행하는 컴퓨팅시스템을 제공한다.
본 발명의 일 실시예에서는, 원거리에 있는 객체에 대한 검출의 불안정으로 인해 발생하는 바운딩박스의 흔들림을 복수의 바운딩박스 및 보정과정을 통해 해결하고 객체 검출에 대한 정확성을 높이는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 객체가 또 다른 객체에 의해 가려져 있을 경우, 가려짐 또는 반대상황으로 인해 발생하는 객체의 바운딩박스의 불안정성 문제점을 두 번의 검출단계를 통해 해결하고 객체 검출에 대한 정확성을 높이는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 정확성이 높아진 객체 검출방법을 통해 도출된 차량의 위치 및 이동속도에 기반하여 차량의 충돌을 예측하고 방지하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 정확성이 높아진 객체 검출방법을 통해 검출된 움직이는 차량에 대해서만 충돌예측을 수행하여 컴퓨팅 연산량을 낮추는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 정확성이 높아진 객체 검출방법을 통해 주정차가 금지된 구간에서 차량의 움직임을 식별하여 불법주정차 차량을 용이하게 찾는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 내 움직임이 있는 객체 검출 방법의 수행단계를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 내에 검출된 객체의 불안정한 바운딩박스를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 검출된 객체의 검출바운딩박스의 구성을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 영상 내 움직임이 있는 객체를 검출하기 위한 구성을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 현재보정박스도출단계를 수행하는 구성을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 1차객체움직임판단단계 및 2차객체움직임판단단계의 수행단계를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 1차객체움직임판단단계의 수행단계를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 2차객체움직임판단단계의 수행단계를 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나 이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 내 움직임이 있는 객체 검출 방법의 수행단계를 개략적으로 도시한다.
도 1에 도시된 바와 같이, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템에서 수행되는 영상 내 움직임이 있는 객체 검출 방법으로서, 현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 검출된 객체에 대한 적어도 4개의 꼭지점을 갖는 검출바운딩박스를 도출하는 검출박스도출단계(S100); 상기 검출된 객체에 대해 현재프레임 이전의 과거프레임에서의 해당 객체의 보정바운딩박스를 도출하는 과거보정박스도출단계(S200); 상기 현재프레임의 검출바운딩박스(100)에서의 꼭지점의 좌표정보에 제1가중치를 적용하고, 상기 과거프레임의 보정바운딩박스(200)에서의 꼭지점의 좌표정보에 제2가중치를 적용하여, 적어도 4개의 꼭지점을 갖는 현재프레임의 보정바운딩박스(300)를 도출하는 현재보정박스도출단계(S300); 상기 과거프레임의 보정바운딩박스(200)와 상기 현재프레임의 보정바운딩박스(300)의 꼭지점의 위치변화가 기설정된 제1기준을 초과하는지 여부를 판별하는 1차객체움직임판단단계(S400); 및 상기 과거프레임의 보정바운딩박스(200)에서의 객체와 상기 현재프레임의 보정바운딩박스(300)의 객체의 위치변화가 기설정된 제2기준을 초과하였는지 여부를 판별하는 2차객체움직임판단단계(S500);를 포함한다.
구체적으로, 상기 검출박스도출단계(S100)는 검출박스도출부에 의해 수행되고, 객체에 대하여 촬영된 영상의 현재프레임에서 상기 학습된 인공신경망 기반의 객체검출모델을 이용하여 상기 객체를 검출하고, 상기 검출된 객체를 포함하는 적어도 4개의 꼭지점을 갖는 상기 검출바운딩박스를 도출한다.
상기 과거보정박스도출단계(S200)는 과거보정박스도출부에 의해 수행되고, 상기 검출된 객체에 대해 현재프레임의 검출바운딩박스(100)를 보정하기 위해 과거프레임의 바운딩박스를 도출한다. 상기 현재프레임과 상기 과거프레임은 촬영된 영상에 포함되는 모든 프레임에 해당하지 않고, 기설정된 간격으로 분류된 프레임에 해당한다. 첫 현재프레임의 보정바운딩박스는 상기 검출박스도출단계(S100)에서 도출된 첫 현재프레임의 검출바운딩박스이고, 이후로는 현재프레임의 보정바운딩박스(300)가 과거프레임의 보정바운딩박스(200)가 되어 새로운 현재프레임의 검출바운딩박스와 함께 기반이 되어 상기 현재프레임의 보정바운딩박스(300)를 도출한다.
상기 현재보정박스도출단계(S300)는 현재보정박스도출부에 의해 수행되고, 상기 과거프레임의 보정바운딩박스(200)에서의 꼭지점의 좌표정보에 상기 제2가중치를 적용하고, 상기 현재프레임의 검출바운딩박스(100)에서의 꼭지점의 좌표정보에 상기 제1가중치를 적용하여 상기 현재프레임의 보정바운딩박스(300)에서의 꼭지점의 좌표정보를 도출한다. 이 때, 상기 제2가중치가 상기 제1가중치보다 크기 때문에, 상기 현재프레임의 보정바운딩박스(300)는 상기 현재프레임의 검출바운딩박스(100)보다 상기 과거프레임의 보정바운딩박스(200)에 가까운 위치좌표로 도출된다.
상기 1차객체움직임판단단계(S400)는 1차객체움직임판단부에 의해 수행되고, 상기 과거프레임의 보정바운딩박스(200)에서의 꼭지점, 상기 현재프레임의 보정바운딩박스(300)에서의 꼭지점 및 상기 기설정된 제1기준을 통해 상기 객체의 움직임을 판별한다. 전술하였듯이 바운딩박스는 4개의 꼭지점을 포함하고, 상세하게는, 상기 1차객체움직임판단단계를 통해 과거프레임의 보정바운딩박스(200)와 상기 현재프레임의 보정바운딩박스(300)에서의 동일한 포지션의 4개의 꼭지점 중 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준을 초과하는 것이 판단되면, 이후 2차객체움직임판단부에 의하여 상기 2차객체움직임판단단계(S500)가 수행된다.
상기 2차객체움직임판단단계(S500)는 2차객체움직임판단부에 의해 수행되고, 상기 과거프레임의 보정바운딩박스(200)에서의 기준점, 상기 현재프레임의 보정바운딩박스(300)에서의 기준점 및 상기 기설정된 제2기준을 통해 상기 객체의 움직임을 판별한다. 상기 2차객체움직임판단단계(S500)는 상기 기준점을 바운딩박스 밑변의 중심점으로 설정하고, 상기 과거프레임의 보정바운딩박스(200)에서의 기준점과 상기 현재프레임의 보정바운딩박스(300)에서의 기준점의 위치변화가 상기 기설정된 제2기준을 초과하면 상기 객체를 움직이는 객체로 판별한다. 반면에 상기 기준점 간의 위치변화가 상기 기설정된 제2기준 이하면 상기 객체를 정지객체로 판별한다.
도 2는 본 발명의 일 실시예에 따른 영상 내에 검출된 객체의 불안정한 바운딩박스를 개략적으로 도시한다.
도 2에 도시된 바와 같이, 카메라로 원거리에 있는 객체를 촬영할 때, 영상 내의 객체에 대한 검지의 불안정으로 인해서 근거리에 있는 객체에 비해 원거리에 있는 객체의 바운딩박스는 크게 흔들릴 수 있다. 상기 객체의 바운딩박스의 위치변화에 기초하여 상기 객체의 움직임을 판단하기 때문에 영상 내에서 상기 객체를 포함하는 불안정한 바운딩박스에 대한 보정이 필요하다. 한편, 상기 학습된 인공신경망 기반의 객체검출모델의 성능에 따라 객체 검지를 할 수 있는 성능이 달라지므로, 본 발명의 다른 실시예에서는, 원거리객체에 한정하지 아니하고, 상기 바운딩박스가 불안정하게 흔들리는 객체 전체를 보정 대상으로 포함할 수 있다. 즉, 상기 다른 실시예에 따르면, 성능이 떨어지는 촬영장비로 촬영된 영상이라도, 본 발명을 통해 보다 정확하게 객체를 검지 할 수 있어, 설치비용을 줄일 수 있고, 저장되는 영상 전체의 데이터 크기를 감소시키는 효과를 발휘할 수 있으며, 어둡거나 악천후 상황에서도 보다 정확하게 객체를 검지 할 수 있다.
전술한 바와 같이 상기 객체를 포함하는 바운딩박스가 불안정하여 검출되는 객체의 위치가 계속해서 변한다면 해당 객체에 대한 부정확한 위치 검출로 인해 차량충돌 예측 등 정확한 객체 검출이 필요한 곳에서 혼란이 야기될 수 있다. 그러므로 영상의 프레임마다 불안정하게 바뀌는 복수의 바운딩박스를 이용하여, 상기 객체를 포함하는 바운딩박스를 보정하고 해당 객체의 정확한 위치정보를 획득하는 방법에 대해 후술하도록 한다.
도 3은 본 발명의 일 실시예에 따른 검출된 객체의 검출바운딩박스의 구성을 개략적으로 도시한다.
도 3에 도시된 바와 같이, 영상 내 움직임이 있는 객체 검출 방법은, 현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 검출된 객체에 대한 적어도 4개의 꼭지점을 갖는 검출바운딩박스를 도출하는 검출박스도출단계(S100);를 포함한다.
구체적으로, 촬영된 영상 중 객체를 포함하는 현재프레임을 상기 학습된 인공신경망 기반의 객체검출모델을 이용하여, 상기 객체를 검출하고 상기 객체를 포함하는 바운딩박스를 도출한다. 이 때, 본 발명의 일 실시예에서는, 상기 객체검출모델은 YOLO(You Only Look Once)기반의 알고리즘을 사용할 수 있고, 본 발명의 다른 실시예에서는, CNN(Convolutional Neural Networks)기반의 알고리즘을 사용할 수 있고, 본 발명의 또 다른 실시예에서는, 객체를 검출할 수 있는 1 이상의 알고리즘을 사용할 수 있다.
상기 학습된 인공신경망 기반의 객체검출모델을 통해 검출되는 바운딩박스는 사각형의 형태로 4개의 꼭지점(a, b, c, d)을 포함한다. 상기 객체가 움직이면 상기 객체를 포함하는 바운딩박스의 꼭지점의 위치좌표도 움직이게 되므로, 상기 4개의 꼭지점의 좌표정보 변화에 기초하여 해당 객체의 움직임이 판별된다.
도 4는 본 발명의 일 실시예에 따른 영상 내 움직임이 있는 객체를 검출하기 위한 구성을 개략적으로 도시한다.
도 4에 도시된 바와 같이, 영상 내 움직임이 있는 객체 검출 방법은, 상기 검출된 객체에 대해 현재프레임 이전의 과거프레임에서의 해당 객체의 보정바운딩박스를 도출하는 과거보정박스도출단계(S200);를 포함한다.
구체적으로, 영상 내 객체의 움직임을 판별할 때, 불안정한 바운딩박스에 대한 보정을 하기 위해서는 4개의 꼭지점을 포함하는 과거프레임 및 현재프레임의 바운딩박스가 필요하다. 상기 과거프레임 및 현재프레임의 바운딩박스는 촬영된 영상에서 기설정된 간격으로 분류되는 복수의 프레임 중 인접한 두 프레임에서의 바운딩박스에 해당한다. 한편, 상기 인접한 두 프레임은 상기 촬영한 영상 전체의 비트스트림 상에서 인접할 필요는 없으며, 상기 비트스트림에서 기설정된 규칙에 따라 추출된 복수의 프레임 중 인접한 두 프레임에 해당할 수 있다. 상기 촬영된 영상 내에서 객체의 움직임을 판별하기 위해서는, 과거프레임에서 객체를 포함하는 바운딩박스 및 현재프레임에서 객체를 포함하는 바운딩박스가 필요하고, 각 바운딩박스의 4개의 꼭지점의 좌표정보에 기반하여 영상 내 객체의 움직임을 판별한다.
도 4에 도시된 바와 같이, 영상 내 객체를 검지 할 때 첫번째 프레임으로 분류된 프레임을 제1현재프레임이라 하고, 두번째 프레임으로 분류된 프레임을 제2현재프레임이라 한다면, 상기 제1현재프레임의 보정바운딩박스(300)에서의 꼭지점의 좌표정보는 제1현재프레임의 검출바운딩박스(100)에서의 꼭지점의 좌표정보와 같다. 이후에, 제1현재프레임의 보정바운딩박스(300)는 제1과거프레임의 보정바운딩박스(200)가 되고, 상기 제1과거프레임의 보정바운딩박스(200)에서의 꼭지점의 좌표정보 및 제2 현재프레임의 검출바운딩박스(100)에서의 꼭지점의 좌표정보에 기반하여 제2현재프레임의 보정바운딩박스(300)를 도출하는 과정을 반복수행한다. 즉, 과거프레임의 보정바운딩박스(200)의 꼭지점의 좌표정보를 산출하는 방식은 현재프레임의 보정바운딩박스(300)의 꼭지점의 좌표정보를 산출하는 방식과 동일하고, 이에 대한 더욱 자세한 설명은 도 5에서 후술하도록 한다.
도 5는 본 발명의 일 실시예에 따른 현재보정박스도출단계(S300)를 수행하는 구성을 개략적으로 도시한다.
도 5에 도시된 바와 같이, 상기 현재보정박스도출단계(S300)는, 상기 현재프레임의 검출바운딩박스(100)에서의 4개의 꼭지점의 좌표정보 및 상기 과거프레임의 보정바운딩박스(200)에서의 4개의 꼭지점의 좌표정보에 기반하여 상기 현재프레임의 보정바운딩박스(300)에서의 4개의 꼭지점의 좌표정보를 산출하고, 상기 제2가중치가 상기 제1가중치보다 큰 값에 해당한다.
또한, 상기 현재보정박스도출단계(S300)는, 기설정된 간격의 프레임마다 반복적으로 수행되고, 상기 현재프레임의 보정바운딩박스(300) 좌표정보를 새로 업데이트할 때, 상기 현재프레임의 보정바운딩박스(300) 좌표정보 값을 상기 과거프레임의 보정바운딩박스(200) 좌표정보 값으로 대체하여 새로운 현재프레임의 보정바운딩박스(300) 좌표정보를 산출한다.
구체적으로, 과거프레임의 보정바운딩박스(200)에서의 4개의 꼭지점의 좌표정보; 및 현재프레임의 검출바운딩박스(100)에서의 4개의 꼭지점의 좌표정보;에 기초하여 현재프레임의 보정바운딩박스(300)에서의 4개의 꼭지점의 좌표정보가 도출된다. 상기 4개의 꼭지점은 바운딩박스의 상단좌측, 상단우측, 하단좌측, 하단우측에 위치한 꼭지점들로 구성되어, 상기 4개의 꼭지점의 좌표정보가 각각 별도로 산출된다. 상기 4개의 꼭지점 각각의 좌표정보는 x좌표 및 y좌표를 포함하고, 상기 x좌표 및 y좌표의 좌표정보는 하기 [수학식 1]의 pt'값으로 각각 산출된다.
상기 [수학식 1]을 보듯이, 상기 현재프레임의 보정바운딩박스(300)에서의 꼭지점의 좌표정보(pt')는 복수의 과거프레임의 검출바운딩박스에서의 꼭지점의 좌표정보; 상기 현재프레임의 검출바운딩박스(100)에서의 꼭지점의 좌표정보; 제1가중치(1-r); 및 제2가중치(r);에 기초하여 산출된다.
구체적으로, 촬영된 영상에서 상기 학습된 인공신경망 기반의 객체검출모델에 의해 객체가 처음 검지 될 때는, 상기 현재프레임의 보정바운딩박스(300)에서의 꼭지점의 좌표정보(p1')는 하기 [수학식 2]와 같이 상기 현재프레임의 검출바운딩박스(100)에서의 꼭지점의 좌표정보(p1)와 동일하다.
이후 두번째부터 해당하는 현재프레임의 보정바운딩박스(300)에서의 꼭지점의 좌표정보(pt')는 상기 [수학식 1]에 의해 산출되고, 상기 [수학식 1]에 해당하는 산출과정이 반복수행되며 영상 내 객체에 대한 복수의 바운딩박스가 보정된다. 상기 반복수행의 과정을 상기 [수학식 1]이 포함하는 하기 [수학식 3]을 통해 예로 들면,
상기 [수학식 3]은, 세번째에 해당하는 프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(p3')를 구하는 식이다. 구체적으로, 상기 세번째에 해당하는 프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(p3')를 첫번째에 해당하는 프레임의 검출바운딩박스에서의 꼭지점의 좌표정보(p1)에 제2가중치(r)를 두 번 곱한 값; 두번째에 해당하는 프레임의 검출바운딩박스에서의 꼭지점의 좌표정보(p2)에 제1가중치(1-r) 및 제2가중치(r)를 한 번씩 곱한 값; 및 세번째에 해당하는 프레임의 검출바운딩박스에서의 꼭지점의 좌표정보(p3)에 제1가중치(1-r)를 한 번 곱한 값을 서로 더한 값으로 산출한다. 한편, 상기 [수학식 3]을 간단하게 하기 [수학식 4]와 같이 표현할 수 있다.
상기 [수학식 4]를 보듯이, 상기 [수학식 1 내지 3]에 의해 세번째에 해당하는 프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(p3')를 두번째에 해당하는 프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(p2')에 제2가중치(r)를 곱한 값;과 세번째에 해당하는 프레임의 검출바운딩박스에서의 꼭지점의 좌표정보(p3)에 제1가중치(1-r)를 곱한 값;을 더한 값으로 산출할 수 있다.
구체적으로, 세번째에 해당하는 프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(p3')를 산출할 때, 상기 [수학식 3]과 달리, 바로 이전에 산출된 두번째에 해당하는 프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(p2') 및 세번째에 해당하는 프레임의 검출바운딩박스에서의 꼭지점의 좌표정보(p3)만 필요하다. 이러한 과정이 반복되므로 상기 현재프레임의 보정바운딩박스(300)에서의 꼭지점의 좌표정보(pt')에 대하여 하기 [수학식 5]와 같은 계산식이 도출된다.
상기 [수학식 5]에서 상기 pt'는 현재프레임의 보정바운딩박스(300)에서의 꼭지점의 좌표정보고, 상기 pt-1'는 과거프레임의 보정바운딩박스(200)에서의 꼭지점의 좌표정보고, pt는 현재프레임의 검출바운딩박스(100)에서의 꼭지점의 좌표정보다. 상기 꼭지점의 좌표정보는 x좌표와 y좌표로 구성되어 상기 [수학식 5]를 통해 따로 산출된다. 상기 제1가중치(1-r) 및 제2가중치(r)는 0보다 크고 1보다 작으며, 상기 제2가중치는 상기 제1가중치보다 큰 값에 해당한다. 본 발명의 일 실시예로, 상기 제2가중치가 0.9에 해당하는 경우 상기 제1가중치는 0.1이 되고, 상기 현재프레임의 보정바운딩박스(300)는 상기 과거프레임의 보정바운딩박스(200)의 90% 정도만큼 유사하게 도출된다. 한편 본 발명의 다른 실시예에서는, 상기 현재프레임의 보정바운딩박스(300)가 도출될 때, 상기 제2가중치가 0.85이상 0.9미만에 해당되어 상기 과거프레임의 보정바운딩박스(200) 및 상기 현재프레임의 검출바운딩박스(100)의 비중이 변화될 수 있다.
구체적으로, 전술하였듯이 상기 제2가중치가 상기 제1가중치보다 크기 때문에, 상기 현재프레임의 보정바운딩박스(300)는 상기 현재프레임의 검출바운딩박스(100)보다 상기 과거프레임의 보정바운딩박스(200)에 가깝게 도출되어, 객체 오검지로 인한 바운딩박스의 급격한 변화로 발생하는 해당 객체의 충돌예측 오작동을 방지하는 효과를 발휘할 수 있다.
또한, 전술한 현재프레임의 보정바운딩박스(300)에서의 꼭지점의 좌표정보를 산출하는 과정은 영상 내 모든 프레임을 대상으로 수행하지 않고, 기설정된 간격의 프레임을 대상으로 수행하여 컴퓨팅 연산량을 낮추는 효과를 발휘할 수 있다.
도 6은 본 발명의 일 실시예에 따른 1차객체움직임판단단계(S400) 및 2차객체움직임판단단계(S500)의 수행단계를 개략적으로 도시한다.
도 6에 도시된 바와 같이, 영상 내 움직임이 있는 객체를 판별하는 방법은, 상기 과거프레임의 보정바운딩박스(200)와 상기 현재프레임의 보정바운딩박스(300)의 꼭지점의 위치변화가 기설정된 제1기준을 초과하는지 여부를 판별하는 1차객체움직임판단단계(S400); 및 상기 과거프레임의 보정바운딩박스(200)에서의 객체와 상기 현재프레임의 보정바운딩박스(300)의 객체의 위치변화가 기설정된 제2기준을 초과하였는지 여부를 판별하는 2차객체움직임판단단계(S500);를 포함한다.
구체적으로, 상기 1차객체움직임판단단계(S400)는, 과거프레임의 보정바운딩박스(200)에서의 4개의 꼭지점, 현재프레임의 보정바운딩박스(300)에서의 4개의 꼭지점 및 기설정된 제1기준에 기반하여 객체의 움직임을 판별한다. 상기 4개의 꼭지점은 상기 보정바운딩박스의 상단좌측, 상단우측, 하단좌측, 하단우측에 위치한 꼭지점들로 구성되고, 상기 과거프레임의 보정바운딩박스(200) 및 상기 현재프레임의 보정바운딩박스(300)에서 동일한 포지션에 위치한 각 꼭지점 간의 위치변화를 산출한다. 상기 1차객체움직임판단단계(S400)를 통해 산출된 위치변화가 기설정된 제1기준을 초과하면 상기 2차객체움직임판단부는 상기 2차객체움직임판단단계(S500)를 수행한다.
상기 2차객체움직임판단단계(S500)는, 상기 과거프레임의 보정바운딩박스(200)에서의 밑변의 중심점, 상기 현재프레임의 보정바운딩박스(300)에서의 밑변의 중심점 및 기설정된 제2기준에 기반하여 객체의 움직임을 판별한다. 이 때, 상기 밑변의 중심점 간의 위치변화가 상기 기설정된 제2기준을 초과하면 해당 객체는 움직이는 객체로 판단되고, 상기 기설정된 제2기준의 이하면 해당 객체는 정지객체로 판단된다.
종래기술에서는, 영상 내 검지 된 상기 차량의 바운딩박스의 위치좌표를 도출할 때, 상기 바운딩박스 내의 중앙점 하나를 사용하여 문제점이 생기곤 한다. 예를 들어, 제2차량이 제1차량의 앞에 서서 상기 제1차량의 모습이 가려져 상기 제1차량의 바운딩박스가 작아지는 경우; 또는 상기 제2차량이 상기 제1차량의 앞에 서있다가 옆으로 빠져서 상기 제1차량의 바운딩박스가 커지는 경우;와 같이, 차량의 가려짐 및 드러남으로 인해 상기 차량의 바운딩박스의 위치 및 크기가 불안정해져서 상기 바운딩박스에서의 중앙점의 위치가 급격하게 변화할 수 있다. 이러한 경우, 상기 중앙점의 위치가 변하면서 멈춰 있는 객체가 움직이는 객체로 판단되어 상기 객체의 움직임에 대한 검출의 신뢰성이 낮아지게 된다.
한편 본 발명의 실시예에서는, 과거프레임의 바운딩박스를 이용하여 현재프레임의 바운딩박스를 보정하여 객체에 대한 안정적인 바운딩박스를 도출하고, 과거프레임의 보정바운딩박스(200) 및 현재프레임의 보정바운딩박스(300)에서의 각각 4개의 꼭지점의 좌표정보 변화에 기초하여 1차적으로 영상 내 객체의 움직임을 판단하고, 상기 과거프레임의 보정바운딩박스(200) 및 상기 현재프레임의 보정바운딩박스(300)에서의 밑변의 중심점 간의 좌표정보 변화에 기초하여 2차적으로 영상 내 객체의 움직임을 판단하여, 객체의 움직임에 대한 검출의 신뢰성을 높이는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 현재프레임의 보정바운딩박스(300)를 통해 도출되는 해당 차량의 위치 및 해당 차량의 이동속도에 기반하여 충돌예측시스템에 활용하고, 정확성이 높아진 객체 검출방법을 통해 검출된 움직이는 차량에 대해서만 충돌예측을 수행하여 컴퓨팅 연산량을 낮추는 효과를 발휘할 수 있다.
추가적으로 본 발명의 일 실시예에서는, 주정차가 금지된 구간에서 차량들의 바운딩박스를 도출하고, 상기 1차객체움직임판단단계(S400) 및 상기 2차객체움직임판단단계(S500)를 통해 정지차량으로 판단되는 불법주정차 차량을 용이하게 검거하는 효과를 발휘할 수 있다.
도 7은 본 발명의 일 실시예에 따른 1차객체움직임판단단계(S400)의 수행단계를 개략적으로 도시한다.
도 7에 도시된 바와 같이, 상기 1차객체움직임판단단계(S400)는, 상기 보정바운딩박스에서 4개의 꼭지점 중 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준을 초과하는지 판단하고, 상기 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준보다 이하면 상기 객체를 정지객체라고 판단한다.
구체적으로, 상기 1차객체움직임판단단계(S400)는, 상기 과거프레임의 보정바운딩박스(200)에서의 4개의 꼭지점(a1, b1, c1, d1) 및 상기 현재프레임의 보정바운딩박스(300)에서의 4개의 꼭지점(a2, b2, c2, d2)과 같이 동일한 포지션에 해당하는 각각 4개의 꼭지점(a1-a2, b1-b2, c1-c2, d1-d2) 간의 위치변화 중 3개 이상의 꼭지점의 위치변화가 기설정된 제1기준을 초과하는지의 여부를 확인한다. 상기 3개 이상의 꼭지점 간의 위치변화가 상기 기설정된 제1기준을 초과한다면, 상기 2차객체움직임판단부는 상기 과거프레임의 보정바운딩박스(200) 및 상기 현재프레임의 보정바운딩박스(300)에 대해 상기 2차객체움직임판단단계(S500)를 수행한다. 반면에 4개의 꼭지점 간의 위치변화 중 2개의 꼭지점 간의 위치변화가 기설정된 제1기준을 크게 초과하더라도 해당 객체는 정지객체로 판단된다.
도 8은 본 발명의 일 실시예에 2차객체움직임판단단계(S500)의 수행단계를 개략적으로 도시한다.
도 8에 도시된 바와 같이, 상기 2차객체움직임판단단계(S500)는, 상기 1차객체움직임판단단계의 수행결과 4개의 꼭지점 중 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준을 초과하는 경우 수행되고, 상기 과거프레임의 보정바운딩박스(200)에서의 밑변의 중심점과 상기 현재프레임의 보정바운딩박스(300)에서의 밑변의 중심점 간의 위치변화가 상기 기설정된 제2기준을 초과하면 객체가 움직인다고 판단하고, 상기 중심점의 위치변화가 상기 기설정된 제2기준보다 이하면 상기 객체를 정지객체라고 판단한다.
구체적으로, 상기 2차객체움직임판단단계(S500)는, 상기 과거프레임의 보정바운딩박스(200) 및 상기 현재프레임의 보정바운딩박스(300)의 기준점을 각각 해당 보정바운딩박스의 밑변의 중심점으로 설정한다. 상기 과거프레임의 보정바운딩박스(200)에서의 밑변의 중심점 m1(x1, y1)이 상기 현재프레임의 보정바운딩박스(300)에서의 밑변의 중심점 m2(x2, y2)로 이동하였을 경우, 밑변의 중심점 간의 위치변화가 기설정된 제2기준을 초과하면 상기 2차객체움직임판단단계(S500)는, 상기 객체를 움직이는 객체로 판단하고, 상기 밑변의 중심점 간의 위치변화가 기설정된 제2기준의 이하면 상기 객체를 정지객체로 판단한다.
한편 본 발명의 다른 실시예에서는, 상기 보정바운딩박스의 기준점을 상기 보정바운딩박스의 밑변의 중심점으로 설정하지 않고, 상기 보정바운딩박스 내의 임의의 점을 사용할 수 있다.
도 9은 본 발명의 일 실시예에 따른 컴퓨팅장치(11000)의 내부 구성을 예시적으로 도시한다.
도 1에 대한 설명에서 언급된 컴퓨팅시스템은 후술하는 도 9에 도시된 컴퓨팅장치(11000)의 구성요소를 포함할 수 있다.
도 9에 도시한 바와 같이, 컴퓨팅장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다.
구체적으로, 상기 메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리(11200)는 상기 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.
이때, 상기 프로세서(11100)나 상기 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 상기 메모리(11200)에 액세스하는 것은 상기 프로세서(11100)에 의해 제어될 수 있다. 상기 프로세서(11100)은 단일 혹은 복수로 구성될 수 있고, 연산처리속도 향상을 위하여 GPU 및 TPU 형태의 프로세서를 포함할 수 있다.
상기 주변장치 인터페이스(11300)는 상기 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 상기 프로세서(11100) 및 상기 메모리 (11200)에 결합시킬 수 있다. 상기 프로세서(11100)는 상기 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 상기 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
상기 입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 상기 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 상기 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 상기 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 상기 입/출력 주변장치들은 상기 입/출력 서브시스템(11400)을 거치지 않고 상기 주변장치 인터페이스(11300)에 결합될 수도 있다.
상기 전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 상기 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
상기 통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다. 또는, 상술한 바와 같이 필요에 따라 상기 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 9의 실시예는, 상기 컴퓨팅장치(11000)의 일례일 뿐이고, 상기 컴퓨팅장치(11000)는 도 9에 도시된 일부 컴포넌트가 생략되거나, 도 9에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2 개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 9에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 상기 통신 회로(1160)에 다양한 통신방식(Wi-Fi, 3G, LTE, 5G, 6G, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 상기 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 표준편차되어서, 표준편차된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 일 실시예에서는, 원거리에 있는 객체에 대한 검출의 불안정으로 인해 발생하는 바운딩박스의 흔들림을 복수의 바운딩박스 및 보정과정을 통해 해결하고 객체 검출에 대한 정확성을 높이는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 객체가 또 다른 객체에 의해 가려져 있을 경우, 가려짐 또는 반대상황으로 인해 발생하는 객체의 바운딩박스의 불안정성 문제점을 두 번의 검출단계를 통해 해결하고 객체 검출에 대한 정확성을 높이는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 정확성이 높아진 객체 검출방법을 통해 도출된 차량의 위치 및 이동속도에 기반하여 차량의 충돌을 예측하고 방지하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 정확성이 높아진 객체 검출방법을 통해 검출된 움직이는 차량에 대해서만 충돌예측을 수행하여 컴퓨팅 연산량을 낮추는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 정확성이 높아진 객체 검출방법을 통해 주정차가 금지된 구간에서 차량의 움직임을 식별하여 불법주정차 차량을 용이하게 찾는 효과를 발휘할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템에서 수행되는 영상 내 움직임이 있는 객체 검출 방법으로서,
현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 검출된 객체에 대한 적어도 4개의 꼭지점을 갖는 검출바운딩박스를 도출하는 검출박스도출단계;
상기 검출된 객체에 대해 현재프레임 이전의 과거프레임에서의 해당 객체의 보정바운딩박스를 도출하는 과거보정박스도출단계;
상기 현재프레임의 검출바운딩박스에서의 꼭지점의 좌표정보에 제1가중치를 적용하고, 상기 과거프레임의 보정바운딩박스에서의 꼭지점의 좌표정보에 상기 제1가중치보다 높은 제2가중치를 적용하여, 적어도 4개의 꼭지점을 갖는 현재프레임의 보정바운딩박스를 도출하는 현재보정박스도출단계;
상기 과거프레임의 보정바운딩박스와 상기 현재프레임의 보정바운딩박스의 꼭지점의 위치변화가 기설정된 제1기준을 초과하는지 여부를 판별하는 1차객체움직임판단단계; 및
상기 과거프레임의 보정바운딩박스에서의 객체와 상기 현재프레임의 보정바운딩박스의 객체의 위치변화가 기설정된 제2기준을 초과하였는지 여부를 판별하는 2차객체움직임판단단계;를 포함하고,
상기 현재보정박스도출단계는 기설정된 간격의 인접한 프레임마다 반복적으로 수행되고,
상기 인접한 프레임은, 기설정된 규칙에 따라 추출된 복수의 프레임 중 인접한 두 프레임에 해당하고,
상기 현재보정박스도출단계는 하기 식 (1)과 같이, 상기 과거프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(pt-1')에 제2가중치(r)를 곱한 값과 상기 현재프레임의 검출바운딩박스에서의 꼭지점의 좌표정보(pt)에 제1가중치(1-r)를 곱한 값을 더하여 상기 현재프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(pt')를 산출하고,
- 식 (1)
상기 1차객체움직임판단단계는 상기 보정바운딩박스에서 4개의 꼭지점 중 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준을 초과하는지 판단하고, 상기 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준보다 이하면 상기 객체를 정지객체라고 판단하는, 영상 내 움직임이 있는 객체 검출 방법.
청구항 1에 있어서,
상기 현재보정박스도출단계는,
상기 현재프레임의 검출바운딩박스에서의 4개의 꼭지점의 좌표정보 및 상기 과거프레임의 보정바운딩박스에서의 4개의 꼭지점의 좌표정보에 기반하여 상기 현재프레임의 보정바운딩박스에서의 4개의 꼭지점의 좌표정보를 산출하는, 영상 내 움직임이 있는 객체 검출 방법.
삭제
청구항 1에 있어서,
상기 2차객체움직임판단단계는,
상기 1차객체움직임판단단계의 수행결과 4개의 꼭지점 중 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준을 초과하는 경우 수행되고,
상기 과거프레임의 보정바운딩박스에서의 밑변의 중심점과 상기 현재프레임의 보정바운딩박스에서의 밑변의 중심점 간의 위치변화가 상기 기설정된 제2기준을 초과하면 객체가 움직인다고 판단하고, 상기 중심점의 위치변화가 상기 기설정된 제2기준보다 이하면 상기 객체를 정지객체라고 판단하는, 영상 내 움직임이 있는 객체 검출 방법.
청구항 1에 있어서,
상기 현재보정박스도출단계는,
상기 현재프레임의 보정바운딩박스 좌표정보를 새로 업데이트할 때, 상기 현재프레임의 보정바운딩박스 좌표정보 값을 상기 과거프레임의 보정바운딩박스 좌표정보 값으로 대체하여 새로운 현재프레임의 보정바운딩박스 좌표정보를 산출하는, 영상 내 움직임이 있는 객체 검출 방법.
1 이상의 프로세서 및 1 이상의 메모리를 포함하고, 영상 내 움직임이 있는 객체 검출 방법을 수행하는 컴퓨팅시스템으로서,
현재프레임에서 학습된 인공신경망 기반의 객체검출모델을 이용하여, 검출된 객체에 대한 적어도 4개의 꼭지점을 갖는 검출바운딩박스를 도출하는 검출박스도출부;
상기 검출된 객체에 대해 현재프레임 이전의 과거프레임에서의 해당 객체의 보정바운딩박스를 도출하는 과거보정박스도출부;
상기 현재프레임의 검출바운딩박스에서의 꼭지점의 좌표정보에 제1가중치를 적용하고, 상기 과거프레임의 보정바운딩박스에서의 꼭지점의 좌표정보에 상기 제1가중치보다 높은 제2가중치를 적용하여, 적어도 4개의 꼭지점을 갖는 현재프레임의 보정바운딩박스를 도출하는 현재보정박스도출부;
상기 과거프레임의 보정바운딩박스와 상기 현재프레임의 보정바운딩박스의 꼭지점의 위치변화가 기설정된 제1기준을 초과하는지 여부를 판별하는 1차객체움직임판단부; 및
상기 과거프레임의 보정바운딩박스에서의 객체와 상기 현재프레임의 보정바운딩박스의 객체의 위치변화가 기설정된 제2기준을 초과하였는지 여부를 판별하는 2차객체움직임판단부;를 포함하고,
상기 현재보정박스도출부는 기설정된 간격의 인접한 프레임마다 반복적으로 수행하고,
상기 인접한 프레임은, 기설정된 규칙에 따라 추출된 복수의 프레임 중 인접한 두 프레임에 해당하고,
상기 현재보정박스도출부는 하기 식 (1)과 같이, 상기 과거프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(pt-1')에 제2가중치(r)를 곱한 값과 상기 현재프레임의 검출바운딩박스에서의 꼭지점의 좌표정보(pt)에 제1가중치(1-r)를 곱한 값을 더하여 상기 현재프레임의 보정바운딩박스에서의 꼭지점의 좌표정보(pt')를 산출하고,
- 식 (1)
상기 1차객체움직임판단부는 상기 보정바운딩박스에서 4개의 꼭지점 중 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준을 초과하는지 판단하고, 상기 3개 이상의 꼭지점의 위치변화가 상기 기설정된 제1기준보다 이하면 상기 객체를 정지객체라고 판단하는, 영상 내 움직임이 있는 객체 검출 방법을 수행하는 컴퓨팅시스템.
KR1020230009290A 2022-12-22 2023-01-25 영상 내 움직임이 있는 객체 검출 방법 및 시스템 KR102617846B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220182028 2022-12-22
KR1020220182028 2022-12-22

Publications (1)

Publication Number Publication Date
KR102617846B1 true KR102617846B1 (ko) 2023-12-27

Family

ID=89377592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230009290A KR102617846B1 (ko) 2022-12-22 2023-01-25 영상 내 움직임이 있는 객체 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102617846B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130094488A (ko) * 2012-02-16 2013-08-26 부경대학교 산학협력단 영상 기반 이상 동작 감시 시스템 및 방법
KR102085910B1 (ko) * 2018-10-19 2020-03-06 한국교통대학교산학협력단 객체 인식 알고리즘 향상을 위한 고정객체와 이동객체의 구분 장치 및 방법
KR20200039547A (ko) * 2018-10-05 2020-04-16 주식회사 스트라드비젼 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
KR102141296B1 (ko) * 2019-01-30 2020-08-04 건국대학교 산학협력단 객체 추적 방법 및 이를 수행하는 장치
JP2022529414A (ja) * 2019-04-23 2022-06-22 オッポ広東移動通信有限公司 誤動作のない動き検出のための方法及びシステム
KR102445972B1 (ko) 2022-02-24 2022-09-22 주식회사 파로스 차량 충돌 방지 방법 및 주차 관제 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130094488A (ko) * 2012-02-16 2013-08-26 부경대학교 산학협력단 영상 기반 이상 동작 감시 시스템 및 방법
KR20200039547A (ko) * 2018-10-05 2020-04-16 주식회사 스트라드비젼 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
KR102085910B1 (ko) * 2018-10-19 2020-03-06 한국교통대학교산학협력단 객체 인식 알고리즘 향상을 위한 고정객체와 이동객체의 구분 장치 및 방법
KR102141296B1 (ko) * 2019-01-30 2020-08-04 건국대학교 산학협력단 객체 추적 방법 및 이를 수행하는 장치
JP2022529414A (ja) * 2019-04-23 2022-06-22 オッポ広東移動通信有限公司 誤動作のない動き検出のための方法及びシステム
KR102445972B1 (ko) 2022-02-24 2022-09-22 주식회사 파로스 차량 충돌 방지 방법 및 주차 관제 시스템

Similar Documents

Publication Publication Date Title
US9524562B2 (en) Object tracking method and device
US8447069B2 (en) Apparatus and method for moving object detection
CN110263713B (zh) 车道线检测方法、装置、电子设备及存储介质
US9652857B2 (en) Object detection apparatus detection method and program
US20120020523A1 (en) Information creation device for estimating object position and information creation method and program for estimating object position
CN112200131A (zh) 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质
KR102587046B1 (ko) 레이더데이터 및 영상이미지를 이용한 차량번호 식별 및 속도를 검출하는 방법 및 시스템
CN110232368B (zh) 车道线检测方法、装置、电子设备及存储介质
US20180204333A1 (en) Object detection device and object detection method
US9613272B2 (en) Image analyzing device, image analyzing method, and recording medium storing image analyzing program
Tang et al. Multiple-kernel adaptive segmentation and tracking (MAST) for robust object tracking
US8552862B2 (en) System and method for detecting multi-level intrusion events and computer program product thereof
KR102547768B1 (ko) 영상 감시 시스템에서의 실시간 이상 상황 탐지 방법 및 장치
Azimi et al. PKS: A photogrammetric key-frame selection method for visual-inertial systems built on ORB-SLAM3
KR102617846B1 (ko) 영상 내 움직임이 있는 객체 검출 방법 및 시스템
CN117893468A (zh) 一种快速3d孔洞检测方法、系统、计算机设备及介质
US11461597B2 (en) Object likelihood estimation device, method, and program
KR102540678B1 (ko) 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템
JP7361342B2 (ja) 学習方法、学習装置、及び、プログラム
Batista et al. A probabilistic approach for fusing people detectors
CN109325962B (zh) 信息处理方法、装置、设备以及计算机可读存储介质
KR102677270B1 (ko) 주차장 혼잡도 산출방법
KR102704485B1 (ko) 포인트 기반 주차 판단 방법 및 장치
KR102540676B1 (ko) 카메라이미지를 이용하여 객체의 위치를 도출하는 방법 및 그 시스템
Dai Semantic Detection of Vehicle Violation Video Based on Computer 3D Vision

Legal Events

Date Code Title Description
GRNT Written decision to grant