KR20220119824A - 딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법 - Google Patents

딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20220119824A
KR20220119824A KR1020210023143A KR20210023143A KR20220119824A KR 20220119824 A KR20220119824 A KR 20220119824A KR 1020210023143 A KR1020210023143 A KR 1020210023143A KR 20210023143 A KR20210023143 A KR 20210023143A KR 20220119824 A KR20220119824 A KR 20220119824A
Authority
KR
South Korea
Prior art keywords
detected
deep learning
tracker
interest
region
Prior art date
Application number
KR1020210023143A
Other languages
English (en)
Inventor
팔 싱 붕가 카란
아와스치 아르피트
쿠머 신프 지테쉬
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020210023143A priority Critical patent/KR20220119824A/ko
Publication of KR20220119824A publication Critical patent/KR20220119824A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝을 이용한 객체 추적 장치 및 방법에 관한 것으로, 이미지 프레임에서 딥러닝 알고리즘을 이용하여 객체를 검출하고 이를 추적하는데 있어서 검출이나 예측이 실패하더라도 미리 설정한 관심영역을 이용하여 다시 객체를 검출함으로써 검출 실패시에도 객체를 다시 탐색하는 시간과 연산량을 줄일 수 있는 효과가 있다.

Description

딥러닝 모델 ROI를 이용한 객체 추적 장치 및 그 방법{APPARATUS AND METHOD FOR OBJECT TRACKING USING DEEP LEARNING MODEL REGION OF INTEREST}
본 발명은 이미지 내의 객체를 추적하는 기술에 관한 것으로, 특히 딥러닝 모델을 이용하여 객체를 추적하는 기술에 관한 것이다.
첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance Systems)은 운전자가 운전 중 마주할 수 있는 다양한 상황들에 대해 운전자 대신 미리 위험을 감지하여 차량을 제어하거나 운전자를 보조함으로써 사고를 예방하게 해 주는 장치이다. 전방 충돌방지나 차선 유지 시스템이 ADAS의 한 예이다.
ADAS 구현을 위해서는 전방의 객체를 검출하고 이를 추적하여 검출한 물체의 미래 경로를 예측해야 할 필요가 있다. 그런데 종래 기술의 검출이기(Detector)는 프레임 내의 필요한 객체 주변으로 사각의 박스만 생성할 수 있다. 따라서 연속된 여러 프레임에서 동일한 물체를 연결하기 위해서는 해당 물체에 트래커 ID(Identification)를 부여할 수 있는 추적기(Tracker)가 필요하다.
그런데 종래 기술의 검출이기는 연속적인 프레임에서 일관적인 객체의 검출이 어려워 물체를 검출하고 추적하는 데 오류가 발생하는 경우 이를 보완하는 데 한계가 있다.
본 발명의 발명자들은 이러한 종래 기술의 객체 추적 기술의 문제점을 해결하기 위해 연구 노력해 왔다. 객체 검출과 추적이 상호 보완하여 보다 안정적이고 일관성있는 ADAS를 구현하기 위한 객체 추적 장치 및 그 방법을 완성하기 위해 많은 노력 끝에 본 발명을 완성하기에 이르렀다.
본 발명의 목적은 프레임 내의 객체를 검출하는데 실패하더라도 이를 보완하여 객체 추적 ID를 부여할 수 있는 객체 추적기를 제공하는 데 있다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론 할 수 있는 범위 내에서 추가적으로 고려될 것이다.
본 발명에 따른 딥러닝을 이용한 객체 추적 장치는,
이미지 프레임에서 딥러닝 알고리즘을 이용하여 객체를 검출하는 검출부; 상기 검출부에서 검출한 객체의 위치정보와 트래커 ID를 저장하는 트래커 저장부; 상기 검출된 객체의 다음 프레임 위치를 예측하는 예측부; 상기 검출된 객체의 다음 프레임에서의 예상 위치를 생성하는 관심영역 생성부; 및 상기 예측부에서 예측한 객체의 위치와 상기 트래커 저장부에 저장된 객체의 이전 프레임의 위치를 비교하는 비교부;를 포함하되, 상기 비교부는 상기 비교 결과 상기 예측한 위치에서 객체가 검출되지 않으면 상기 관심영역 생성부에서 생성한 상기 관심영역에서 새로운 객체를 탐색하는 것을 특징으로 한다.
상기 비교부는 상기 관심영역에서 새로운 객체를 탐색한 결과 상기 트래커 저장부에 저장된 이전 프레임의 객체와 일치하는 객체가 검출되면 상기 트래커 저장부에 저장된 객체의 위치정보를 새로운 객체의 위치정보로 갱신하는 것을 특징으로 한다.
상기 비교부는 상기 관심영역에서 새로운 객체를 탐색한 결과 상기 트래커 저장부에 저장된 이전 프레임의 객체와 일치하는 객체가 검출되지 않으면 상기 트래커 저장부에 저장된 객체의 트래커 ID 및 위치정보를 삭제하는 것을 특징으로 한다.
상기 비교부는 상기 비교 결과 상기 예측한 위치에서 검출된 객체와 상기 저장된 객체가 일치하지 않으면 상기 예측한 위치에서 검출된 객체에 새로운 트래커 ID를 생성하여 위치정보와 함께 상기 트래커 저장부에 저장하는 것을 특징으로 한다.
상기 검출부는 CNN(Convolution Neural Network)을 이용하여 객체를 검출하는 것을 특징으로 한다.
상기 검출부는 상기 딥러닝 연산 결과 최적의 덴스 레이어(Dense Layer) 출력을 행렬 형태로 제공하는 것을 특징으로 한다.
상기 예측부는 상기 검출된 객체의 현재위치, 이동방향 및 속도를 이용하여 상기 객체의 다음 위치를 예측하는 것을 특징으로 한다.
상기 검출부는 상기 검출된 객체의 종류를 구분하고, 상기 관심영역 생성부는 상기 객체의 종류에 따라 관심영역의 크기를 설정하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 딥러닝을 이용한 객체 추적 방법은,
(a) 이미지 프레임에서 딥러닝 알고리즘을 이용하여 객체를 검출하는 단계; (b) 상기 검출한 객체의 위치정보와 트래커 ID를 트래커 저장부에 저장하는 단계; (c) 상기 검출된 객체의 다음 프레임 위치를 예측하는 단계; (d) 상기 검출된 객체의 다음 프레임에서의 예상 위치인 관심영역을 생성하는 단계; 및 (e) 상기 예측한 객체의 위치와 상기 트래커 저장부에 저장된 객체의 이전 프레임의 위치를 비교하는 단계;를 포함하되, 상기 (e) 단계는 상기 비교 결과 상기 예측한 위치에서 객체가 검출되지 않으면 상기 (d)단계에서 생성한 상기 관심영역에서 새로운 객체를 탐색하는 것을 특징으로 한다.
상기 (e)단계는 상기 관심영역에서 새로운 객체를 탐색한 결과 상기 트래커 저장부에 저장된 이전 프레임의 객체와 일치하는 객체가 검출되면 상기 트래커 저장부에 저장된 객체의 위치정보를 상기 검출된 새로운 객체의 위치정보로 갱신하는 것을 특징으로 한다.
상기 (e)단계는 상기 관심영역에서 새로운 객체를 탐색한 결과 상기 트래커 저장부에 저장된 이전 프레임의 객체와 일치하는 객체가 검출되지 않으면 상기 트래커 저장부에 저장된 객체의 트래커 ID 및 위치정보를 삭제하는 것을 특징으로 한다.
상기 (e)단계는 상기 비교 결과 상기 예측한 위치에서 검출된 객체와 상기 저장된 객체가 일치하지 않으면 상기 예측한 위치에서 검출된 객체에 새로운 트래커 ID를 생성하여 위치정보와 함께 상기 트래커 저장부에 저장하는 것을 특징으로 한다.
상기 (a)단계는 CNN(Convolution Neural Network)을 이용하여 객체를 검출하는 것을 특징으로 한다.
상기 (a)단계는 상기 딥러닝 연산 결과 최적의 덴스 레이어(Dense Layer) 출력을 행렬 형태로 제공하는 것을 특징으로 한다.
상기 (c)단계는 상기 검출된 객체의 현재위치, 이동방향 및 속도를 이용하여 상기 객체의 다음 위치를 예측하는 것을 특징으로 한다.
상기 (a)단계는 상기 검출된 객체의 종류를 구분하고, 상기 (d)단계는 상기 객체의 종류에 따라 관심영역의 크기를 설정하는 것을 특징으로 한다.
본 발명에 따르면 연속된 프레임 내에서 객체 검출에 실패하더라도 일정한 ROI(Region of Interest) 내에서만 다시 객체를 검출함으로써 안정적으로 객체의 추적을 유지할 수 있으며 또한 프레임 내의 전체 영역에서 객체를 검출하는 것보다 연산 시간을 줄일 수 있는 효과가 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 바람직한 어느 실시예에 따른 객체 추적 장치의 구조도이다.
도 2 내지 도 6은 본 발명에 따른 객체 박스 예측 및 검출의 예를 나타낸다.
도 7은 본 발명의 바람직한 어느 실시예에 따른 객체 추적 방법의 흐름도이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다
이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다. 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.
이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다.
도 1은 본 발명의 바람직한 어느 실시예에 따른 객체 추적 장치의 개략적인 구조도이다.
본 발명에 따른 객체 추적 장치(1)는 검출부(10), 트래커 저장부(20), 예측부(30), 관심영역 생성부(40) 및 비교부(50)로 구성된다.
이를 위해 객체 추적 장치(1)는 하나 이상의 프로세서 및 메모리를 포함할 수 있다. 프로세서는 객체를 검출하고 예측하여 비교하기 위한 명령어들을 수행하고 메모리에는 프로세서를 구동하기 위한 명령어 코드들과 필요한 데이터들이 저장될 수 있다.
객체 추적 장치(1)는 카메라 시스템에 포함된 이미지 프로세서로도 구현이 가능하다. 카메라 시스템에 포함된 이미지 프로세서로 구현된 객체 추적 장치(1)에 의해 수행된 객체 추적 결과는 카메라 시스템 내의 컨트롤러(ECU: Electric Controller Unit)나 카메라 시스템 상위의 통합 제어기(Domain Controller)에 전달될 수 있다.
검출부(Detector, 10)는 이미지에서 필요한 객체를 검출한다.
예를 들어 ADAS에서 전방 충돌 방지를 위해 전방의 차량이나 보행자를 검출하기 위해 검출부(10)가 사용된다.
검출부(10)는 프레임 단위로 구분된 이미지를 입력으로 받아 객체(Object)를 검출한다. 객체 검출에는 CNN(Convolution Neural Network) 등의 딥러닝 알고리즘이 사용될 수 있다. 검출부(10)는 검출된 객체에 대한 박스 좌표, 클래스(Class)를 출력하게 된다.
도 2는 본 발명의 객체 추적 장치(1)에 의해 이용되는 이미지 프레임의 한 예를 나타낸다.
검출부(10)에서는 프레임 내에서 객체인 보행자(100)에 대해 박스(110)로 검출을 할 수 있고, 박스의 좌표는 (x, y, w, h)의 형태로 나타날 수 있다. (x, y)는 박스의 위치를 나타내고, w는 박스의 폭, h는 박스의 높이를 나타낸다.
본 발명의 검출부(10)는 추가로 딥러닝의 최적의 덴스 레이어(Dense Layer) 출력을 행렬의 형태로 제공한다. 이는 해당 프레임에서 객체의 특징(Feature) 세트로 사용될 수 있고 이를 이용하여 객체를 검출할 수 있다.
트래커 저장부(20)는 트래커 저장소(Tracker Repository)로 사용될 수 있다. 트래커 저장부(20)에는 검출부(10)에서 검출한 객체에 대한 박스의 정보들이 저장된다. 객체에 대한 박스의 트래커 ID와 좌표 정보 등이 함께 저장될 수 있을 것이다.
예측부(30)는 검출부(10)에서 검출된 객체의 다음 위치를 예측한다. 예측부(30)는 이전 프레임들에서의 객체의 위치와 움직임 방향을 이용하여 다음 위치를 예측한다.
도 2의 예에서 객체(100)인 보행자는 횡단보도를 따라 우측으로 이동중인 것으롤 보인다. 따라서 예측부는 검출된 객체(100)의 다음 위치(120)를 현재 위치와 이동 방향, 속도 등을 고려하여 예측할 수 있는 것이다.
관심영역 생성부(40)는 객체의 다음 위치를 검출하거나 예측할 수 있는 관심 영역(Region of Interest)을 생성한다. 이는 검출부(10)에서 검출한 객체의 주변에서 생성하게 된다.
검출부(10)에서 객체를 검출하기 위해서 이미지 프레임의 전 영역을 검색하는 경우 시간과 연산량이 많이 소모되는 단점이 있다. 이는 순간적인 판단을 요하는 ADAS에는 치명적일 수 있다. 따라서 객체 검출에 소요되는 시간을 단축하기 위해 객체가 검출될 수 있는 관심 영역을 미리 설정해 두는 것이다.
도 3은 본 발명의 바람직한 어느 실시예에 따라 예측된 관심영역의 예를 나타낸다.
관심영역(130)은 객체(100)의 현재 프레임에서의 위치(110)를 기준으로 이동방향과 속도를 고려하여 설정하게 된다. 관심영역(130)이 너무 넓으면 관심영역(130)을 검색하는데 시간이 너무 많이 소요되는 문제가 있고, 관심영역(130)이 너무 좁으면 객체(100)가 검색되지 않을 가능성이 높아지므로 관심영역(130)의 크기는 객체(100)의 특성을 잘 고려해야 한다.
예를 들면 검출된 객체(100)가 고정된 박스와 같은 장애물인지 사람이나 강아지 등 비교적 느린 물체인지, 자전거나 자동차와 같이 빠른 장애물인지 판단하여 관심영역(130)의 크기를 결정할 수 있다.
다시 도 1로 돌아와서 비교부(50)는 이상에서 생성된 정보들을 이용하여 딥러닝 방식에 의해 검출한 또는 예측한 객체와 트래커 저장부(20)에 저장된 객체와의 일치 여부를 판단한다.
본 발명의 비교부(50)는 단순히 객체들의 일치 여부를 판단하는 것이 아니라 일치 여부를 세 가지로 구분하여 판단하고 이를 트래커 저장부(20)에 업데이트 하게 된다.
이를 위해 비교부(50)는 검출되거나 예측된 박스들의 특징들과 이전 프레임의 박스들과의 IOU(Intersection over Union)를 이용하여 딥러닝 연산으로 일치 여부를 판단할 수 있다. 일치 여부는 다음과 같이 세 가지로 구분될 수 있다.
우선 일치하는 것으로 판단하는 경우는 트래커 저장부(20)에 저장된 이전 프레임의 박스와 현재 프레임에서 검출된 혹은 예측된 박스가 동일한 박스로 판단하는 것이다.
도 4에서 이전 프레임의 객체(100)의 박스(110)와 현재 프레임의 박스(140)는 동일 객체가 이동한 것으로 일치하는 것으로 판단할 수 있다.
따라서 동일한 박스로 판단된다면 트래커 저장부(20)에 이미 저장되어 있던 동일한 트래커 ID의 박스의 좌표들을 업데이트 하게 된다. 트래커 저장부(20)에 저장되어 있던 이전 박스(110)의 좌표를 현재 프레임의 새로운 박스(140)의 좌표로 업데이트 할 수 있다.
다음으로는 현재 프레임에서 검출된 박스가 이전 프레임의 박스와 일치하지 않는 경우이다. 이경우에는 새로운 객체가 검출된 것일 수 있다.
도 5에서 이전 프레임의 객체(100)는 현재 프레임에서 진행방향과 반대방향으로 이동하여 새로운 박스(115)를 형성하였고 진행방향에서 검출된 객체의 박스(150)는 새로운 보행자인 것을 확인할 수 있다.
따라서 새로 검출된 객체의 박스(150)는 트래커 저장부(20)에 저장되어 있지 않던 박스이므로 새로운 트래커 ID가 할당되어 트래커 저장부(20)에 저장되고 다음 프레임들에서 객체 추적을 위해 사용될 수 있다.
마지막으로 예측한 위치에서 객체가 검출되지 않는 경우이다.
예측부(30)에서 이전 프레임의 객체(100)의 위치(110)와 이동방향을 이용하여 현재 프레임의 객체의 위치(160)를 예측하는데 이 위치에서 객체(100)가 검출되지 않는 경우이다. 도 6의 예에서와 같이 현재 프레임의 예측 위치의 박스(160)에서 객체(100)가 검출되지 않은 상황이다. 보행자가 예측보다 빨리 움직이거나 하는 이유로 예측이 빗나간 경우이다.
이 경우 예측부(30)는 관심영역 생성부(40)에서 생성한 관심 영역(130)에서 다시 객체를 검출하게 된다. 관심영역(130) 내의 다른 위치의 박스(170)에서 객체가 검출되면 트래커 저장부(20)의 동일한 트래커 ID에 대한 정보들을 업데이트 하게 된다. 만일 관심영역(130) 내의 다른 위치에서도 객체가 발견되지 않으면 객체는 이미지 프레임 밖으로 사라진 것으로 판단하여 해당 트래커 ID에 대한 정보를 삭제할 수 있다.
도 7은 본 발명의 바람직한 다른 실시예에 따른 객체 추적 방법의 흐름도이다.
본 발명에 따른 객체 추적 방법은 하나 이상의 프로세서 및 메모리를 포함하는 제어부에 의해 수행될 수 있다.
객체 추적을 위해 우선 이미지 프레임에서 객체를 검출한다(S10).
객체 검출에는 딥러닝 알고리즘이 사용될 수 있다. 딥러닝 알고리즘의 예로 CNN 등이 있다. 검출된 객체의 박스에는 트래커 ID가 부여되고 박스의 좌표가 함께 저장된다.
또한 객체 검출 단계에서 객체에 대한 딥러닝의 최적의 덴스 레이어 출력을 행렬의 형태로 제공할 수 있다. 덴스 레이어 출력은 해당 프레임에서 검출된 객체의 특징 세트로 사용될 수 있다.
검출된 객체의 박스 정보는 트래커 저장부(Tracker Repository)에 저장된다(S20). 저장된 정보들은 이후 프레임들의 객체 검출 및 추적을 위해 사용된다.
다음으로 검출된 객체의 다음 프레임에서의 위치를 예측한다(S30). 위치 예측은 이전 프레임들에서의 객체의 위치와 이동 방향, 속도 등을 고려하여 수행된다.
위치를 예측한 다음 추가로 객체가 검출될 수 있는 후보 영역인 관심영역을 생성하게 된다(S40).
관심영역은 검출한 객체의 주변에 설정되게 된다. 검출된 객체의 현재 위치에서 이동방향과 속도를 고려하여 그 크기를 조절하게 된다. 관심영역의 생성은 객체의 속도 등 객체의 특징 정보를 이용할 수 있을 것이다.
예측한 위치에서 이전 프레임의 객체가 검출되는지 판단한다(S50).
판단 결과 예측한 위치에서 이전 프레임의 객체가 검출되었다면 트래커 저장부에 저장된 객체의 박스 정보를 갱신하게 된다(S70).
동일한 트래커 ID를 가지는 객체가 이동한 것이므로 객체의 박스 좌표 정보를 업데이트 하게 된다.
만일 예측한 위치에서 검출된 객체가 이전 다른 객체가 검출된 것이라면 새로 검출된 객체에는 새로운 트래커 ID를 할당하고 이를 트래커 저장부에 저장한다(S60). 저장된 객체의 박스는 이후 프레임에서 객체 추적에 이용될 것이다.
예측한 위치에서 아무것도 검출이 되지 않았다면 앞의 단계에서 생성된 관심영역에서 다시 객체를 탐색하게 된다(S80).
다시 탐색하여 검출된 객체가 이전 프레임의 객체와 일치하는지 판단하여(S82) 일치한다고 판단되면 트래커 저장부에 저장된 객체의 박스 정보를 갱신하게 된다(S70).
하지만 관심영역에서 이전 프레임의 객체가 검출되지 않는다면 해당 객체는 프레임 밖으로 사라진 것으로 판단할 수 있으므로 해당 트래커 ID를 가지는 박스 정보를 삭제할 수 있다(S84).
이상과 같은 본 발명의 객체 추적 장치 및 방법에 따르면 객체 예측이나 탐색에 실패한 경우에도 관심영역을 효과적으로 설정하여 재탐색 함으로써 객체 탐색과 추적에 필요한 시간 및 연산량을 줄일 수 있는 효과가 있다.
본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (16)

  1. 이미지 프레임에서 딥러닝 알고리즘을 이용하여 객체를 검출하는 검출부;
    상기 검출부에서 검출한 객체의 위치정보와 트래커 ID를 저장하는 트래커 저장부;
    상기 검출된 객체의 다음 프레임 위치를 예측하는 예측부;
    상기 검출된 객체의 다음 프레임에서의 예상 위치를 생성하는 관심영역 생성부; 및
    상기 예측부에서 예측한 객체의 위치와 상기 트래커 저장부에 저장된 객체의 이전 프레임의 위치를 비교하는 비교부;를 포함하되,
    상기 비교부는 상기 비교 결과 상기 예측한 위치에서 객체가 검출되지 않으면 상기 관심영역 생성부에서 생성한 상기 관심영역에서 새로운 객체를 탐색하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 장치.
  2. 제1항에 있어서,
    상기 비교부는 상기 관심영역에서 새로운 객체를 탐색한 결과 상기 트래커 저장부에 저장된 이전 프레임의 객체와 일치하는 객체가 검출되면 상기 트래커 저장부에 저장된 객체의 위치정보를 새로운 객체의 위치정보로 갱신하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 장치.
  3. 제1항에 있어서,
    상기 비교부는 상기 관심영역에서 새로운 객체를 탐색한 결과 상기 트래커 저장부에 저장된 이전 프레임의 객체와 일치하는 객체가 검출되지 않으면 상기 트래커 저장부에 저장된 객체의 트래커 ID 및 위치정보를 삭제하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 장치.
  4. 제1항에 있어서,
    상기 비교부는 상기 비교 결과 상기 예측한 위치에서 검출된 객체와 상기 저장된 객체가 일치하지 않으면 상기 예측한 위치에서 검출된 객체에 새로운 트래커 ID를 생성하여 위치정보와 함께 상기 트래커 저장부에 저장하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 장치.
  5. 제1항에 있어서,
    상기 검출부는 CNN(Convolution Neural Network)을 이용하여 객체를 검출하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 장치.
  6. 제1항에 있어서,
    상기 검출부는 상기 딥러닝 연산 결과 최적의 덴스 레이어(Dense Layer) 출력을 행렬 형태로 제공하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 장치.
  7. 제1항에 있어서,
    상기 예측부는 상기 검출된 객체의 현재위치, 이동방향 및 속도를 이용하여 상기 객체의 다음 위치를 예측하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 장치.
  8. 제1항에 있어서,
    상기 검출부는 상기 검출된 객체의 종류를 구분하고,
    상기 관심영역 생성부는 상기 객체의 종류에 따라 관심영역의 크기를 설정하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 장치.
  9. 하나 이상의 프로세서 및 메모리를 포함하는 제어부에 의해 수행되는 딥러닝을 이용한 객체 추적 방법에 있어서:
    (a) 이미지 프레임에서 딥러닝 알고리즘을 이용하여 객체를 검출하는 단계;
    (b) 상기 검출한 객체의 위치정보와 트래커 ID를 트래커 저장부에 저장하는 단계;
    (c) 상기 검출된 객체의 다음 프레임 위치를 예측하는 단계;
    (d) 상기 검출된 객체의 다음 프레임에서의 예상 위치인 관심영역을 생성하는 단계; 및
    (e) 상기 예측한 객체의 위치와 상기 트래커 저장부에 저장된 객체의 이전 프레임의 위치를 비교하는 단계;를 포함하되,
    상기 (e) 단계는 상기 비교 결과 상기 예측한 위치에서 객체가 검출되지 않으면 상기 (d)단계에서 생성한 상기 관심영역에서 새로운 객체를 탐색하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 방법.
  10. 제9항에 있어서,
    상기 (e)단계는 상기 관심영역에서 새로운 객체를 탐색한 결과 상기 트래커 저장부에 저장된 이전 프레임의 객체와 일치하는 객체가 검출되면 상기 트래커 저장부에 저장된 객체의 위치정보를 상기 검출된 새로운 객체의 위치정보로 갱신하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 방법.
  11. 제9항에 있어서,
    상기 (e)단계는 상기 관심영역에서 새로운 객체를 탐색한 결과 상기 트래커 저장부에 저장된 이전 프레임의 객체와 일치하는 객체가 검출되지 않으면 상기 트래커 저장부에 저장된 객체의 트래커 ID 및 위치정보를 삭제하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 방법.
  12. 제9항에 있어서,
    상기 (e)단계는 상기 비교 결과 상기 예측한 위치에서 검출된 객체와 상기 저장된 객체가 일치하지 않으면 상기 예측한 위치에서 검출된 객체에 새로운 트래커 ID를 생성하여 위치정보와 함께 상기 트래커 저장부에 저장하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 방법.
  13. 제9항에 있어서,
    상기 (a)단계는 CNN(Convolution Neural Network)을 이용하여 객체를 검출하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 방법.
  14. 제9항에 있어서,
    상기 (a)단계는 상기 딥러닝 연산 결과 최적의 덴스 레이어(Dense Layer) 출력을 행렬 형태로 제공하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 방법.
  15. 제9항에 있어서,
    상기 (c)단계는 상기 검출된 객체의 현재위치, 이동방향 및 속도를 이용하여 상기 객체의 다음 위치를 예측하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 방법.
  16. 제9항에 있어서,
    상기 (a)단계는 상기 검출된 객체의 종류를 구분하고,
    상기 (d)단계는 상기 객체의 종류에 따라 관심영역의 크기를 설정하는 것을 특징으로 하는, 딥러닝을 이용한 객체 추적 방법.
KR1020210023143A 2021-02-22 2021-02-22 딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법 KR20220119824A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210023143A KR20220119824A (ko) 2021-02-22 2021-02-22 딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210023143A KR20220119824A (ko) 2021-02-22 2021-02-22 딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220119824A true KR20220119824A (ko) 2022-08-30

Family

ID=83114428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210023143A KR20220119824A (ko) 2021-02-22 2021-02-22 딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220119824A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102543836B1 (ko) * 2022-09-15 2023-06-20 주식회사 위씨 객체를 추적하기 위한 방법 및 이를 이용한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102543836B1 (ko) * 2022-09-15 2023-06-20 주식회사 위씨 객체를 추적하기 위한 방법 및 이를 이용한 장치

Similar Documents

Publication Publication Date Title
US11415994B2 (en) Method and apparatus for planning travelling path, and vehicle
CN111164529B (zh) 环境信息更新装置、环境信息更新方法以及程序
US11816585B2 (en) Machine learning models operating at different frequencies for autonomous vehicles
US11645916B2 (en) Moving body behavior prediction device and moving body behavior prediction method
US20180113234A1 (en) System and method for obstacle detection
WO2017144350A1 (en) Method for motion planning for autonomous moving objects
CN113376650A (zh) 移动机器人定位方法及装置、电子设备及存储介质
US20210158544A1 (en) Method, Device and Computer-Readable Storage Medium with Instructions for Processing Sensor Data
JP2019518932A (ja) 物体の動作を予測する方法
BR112021017728B1 (pt) Veículo e método para operar um sistema de detecção de colisão de veículo
KR20220119824A (ko) 딥러닝 모델 roi를 이용한 객체 추적 장치 및 그 방법
JP2011191894A (ja) 運転支援装置及びプログラム
CN112964267B (zh) 自主避障导航方法及其系统和设备
CN112327848A (zh) 机器人避障方法及装置、存储介质和电子设备
CN115908498B (zh) 一种基于类别最优匹配的多目标跟踪方法及装置
CN115583258A (zh) 自动驾驶车辆会车控制方法、装置、车辆控制设备和介质
CN114326462A (zh) 机器人系统、方法、计算机设备及存储介质
JP2010235062A (ja) 車両制御装置、車両、及び車両制御プログラム
JP7094411B1 (ja) センサデータ処理システム
CN117719500B (zh) 车辆碰撞检测方法、装置、电子设备及存储介质
JP2989617B2 (ja) 移動車の環境認識装置
JP2012247933A (ja) 周辺監視装置および周辺監視方法、並びに運転支援装置
US20230234580A1 (en) Computationally efficient trajectory representation for traffic participants
US20240119353A1 (en) Training data generation method and training data generation system
GB2594079A (en) A method for tracking at least one object in the surroundings of an autonomous motor vehicle with a Frenet frame, as well as an assistance system