KR20230146877A - 객체 추적 장치 및 방법 - Google Patents

객체 추적 장치 및 방법 Download PDF

Info

Publication number
KR20230146877A
KR20230146877A KR1020220045849A KR20220045849A KR20230146877A KR 20230146877 A KR20230146877 A KR 20230146877A KR 1020220045849 A KR1020220045849 A KR 1020220045849A KR 20220045849 A KR20220045849 A KR 20220045849A KR 20230146877 A KR20230146877 A KR 20230146877A
Authority
KR
South Korea
Prior art keywords
detected
controller
weight
detected object
estimated
Prior art date
Application number
KR1020220045849A
Other languages
English (en)
Inventor
이세정
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220045849A priority Critical patent/KR20230146877A/ko
Priority to US17/970,140 priority patent/US20230334692A1/en
Publication of KR20230146877A publication Critical patent/KR20230146877A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 추적 장치 및 방법에 관한 것으로, 본 발명의 실시 예에 의한 객체 추적 장치는 차량의 외부 영상을 획득하는 카메라 및 외부 영상에서 검출 객체를 추출하고, 검출 객체의 차기 위치를 예측하여 추정 객체를 생성하며, 추정 객체 및 검출 객체의 IOU에 기초하여 검출 객체에 ID를 부여하고, ID들 각각의 검출 빈도를 바탕으로 가중치를 부여하고, 가중치를 바탕으로 추정 객체를 생성하는 프로세서를 포함할 수 있다.

Description

객체 추적 장치 및 방법{APPARATUS AND METHOD FOR OBJECT TRACKING}
본 발명은 객체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 객체 추적을 보다 정확하게 할 수 있는 기술에 관한 것이다.
자동차는 사용되는 원동기의 종류에 따라, 내연기관(internal combustion engine) 자동차, 외연기관(external combustion engine) 자동차, 가스터빈(gas turbine) 자동차 또는 전기자동차(electric vehicle) 등으로 분류될 수 있다.
자율주행 자동차(Autonomous Vehicle)란 운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차를 말하며, 자율주행시스템(Automated Vehicle & Highway Systems)은 이러한 자율주행자동차가 스스로 운행될 수 있도록 모니터링하고 제어하는 시스템을 말한다.
자율주행 자동차뿐만 아니라, 운전자의 운전 보조를 위해서 차량의 외부를 모니터링하고, 모니터링 된 차량 외부 환경을 바탕으로 다양한 운전 보조 수단을 동작하는 기술들이 제안되고 있다.
차량의 외부 환경을 모니터링하는 수단으로 외부 영상에서 객체를 검출하고, 검출된 객체를 추적하기 위한 다양한 기술들이 제안되고 있다. 대표적으로 칼만 필터(Kalman Filter)를 기반으로 객체를 추적하는 방법을 이용하는데, 종래의 객체 추적 기술은 영상 입력을 전송받는 간격이 일정하지 않거나, 추적하던 객체가 인식되지 못하여 객체의 추적 성능이 저하되는 경우가 발생할 수 있다.
본 발명은 객체의 추적 성능을 향상시킬 수 있는 객체 추적 장치 및 방법을 제공하기 위한 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 의한 객체 추적 장치는 차량의 외부 영상을 획득하는 카메라 및 외부 영상에서 검출 객체를 추출하고, 검출 객체의 차기 위치를 예측하여 추정 객체를 생성하며, 추정 객체 및 검출 객체의 IOU에 기초하여 검출 객체에 ID를 부여하고, ID들 각각의 검출 빈도를 바탕으로 가중치를 부여하고, 가중치를 바탕으로 추정 객체를 생성하는 프로세서를 포함할 수 있다.
본 발명의 실시 예에 의한 상기 제어기는 차량의 전방 영상을 획득하고, 상기 전방 영상을 탑 뷰 영상으로 변환할 수 있다.
본 발명의 실시 예에 의한 상기 제어기는 상기 IOU가 미리 설정된 임계값을 초과하는 것을 바탕으로 상기 검출 객체를 추적 객체로 분류하고, 추적 대상이 되는 객체의 ID를 계승하도록 상기 추적 객체에 상기 ID를 부여할 수 있다.
본 발명의 실시 예에 의한 상기 제어기는 상기 추적 객체에 대해서 가중치를 증가시킬 수 있다.
본 발명의 실시 예에 의한 상기 제어기는 상기 IOU가 0보다 크고 미리 설정된 임계값 이하인 것을 바탕으로, 상기 검출 객체를 신규 객체로 분류하고, 상기 신규 객체에 새로운 ID를 부여할 수 있다.
본 발명의 실시 예에 의한 상기 제어기는 상기 신규 객체에 대해서 상기 가중치를 증가시킬 수 있다.
본 발명의 실시 예에 의한 상기 제어기는 상기 IOU가 0인 것을 바탕으로 상기 검출 객체를 미인식 객체로 분류하고, 추적 대상이 되는 객체의 ID를 계승하도록 상기 미인식 객체의 상기 ID를 부여할 수 있다.
본 발명의 실시 예에 의한 상기 제어기는 상기 가중치 및 상기 검출 객체의 검출 위치를 바탕으로, 상기 추정 객체를 생성하는 프로세스에 대한 품질 지수를 산출할 수 있다.
본 발명의 실시 예에 의한, 상기 제어기는 상기 가중치가 증가하는 것에 따라 상기 품질 지수를 증가시킬 수 있다.
본 발명의 실시 예에 의한 상기 제어기는 상기 검출 객체가 관심 영역을 벗어난 경우, 상기 품질 지수를 감소시킬 수 있다.
본 발명의 실시 예에 의한 객체 추적 방법은 영상에서 검출 객체를 추출하는 단계, 상기 검출 객체의 차기 위치를 예측하여 추정 객체를 생성하고, 상기 추정 객체 및 상기 검출 객체의 IOU에 기초하여 상기 검출 객체에 ID를 부여하는 단계, 상기 ID들 각각의 검출 빈도를 바탕으로 가중치를 부여하는 단계, 및 상기 가중치를 바탕으로 상기 추정 객체를 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의한 상기 검출 객체를 추출하는 단계는 차량의 전방 영상을 획득하는 단계, 상기 전방 영상을 탑 뷰 영상으로 변환하는 단계, 및 상기 탑 뷰 영상에서 상기 검출 객체를 추출하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의한 상기 검출 객체에 상기 ID를 부여하는 단계는 상기 IOU가 미리 설정된 임계값을 초과하는 것을 바탕으로, 상기 검출 객체를 추적 객체로 분류하는 단계, 및 추적 대상이 되는 객체의 ID를 계승하도록 상기 추적 객체에 상기 ID를 부여하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의한 상기 가중치를 부여하는 단계는 상기 추적 객체에 대해서 가중치를 증가시키는 단계를 포함할 수 있다.
본 발명의 실시 예에 의한 상기 검출 객체에 상기 ID를 부여하는 단계는 상기 IOU가 0보다 크고 미리 설정된 임계값 이하인 것을 바탕으로, 상기 검출 객체를 신규 객체로 분류하는 단계 및 상기 신규 객체에 새로운 ID를 부여하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의한 상기 가중치를 부여하는 단계는 상기 신규 객체에 대해서 상기 가중치를 증가시키는 단계를 포함할 수 있다.
본 발명의 실시 예에 의한 상기 검출 객체에 상기 ID를 부여하는 단계는 상기 IOU가 0인 것을 바탕으로, 상기 검출 객체를 미인식 객체로 분류하는 단계 및 추적 대상이 되는 객체의 ID를 계승하도록 상기 미인식 객체의 상기 ID를 부여하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의한 객체 추적 방법은 상기 가중치 및 상기 검출 객체의 검출 위치를 바탕으로, 상기 추정 객체를 생성하는 프로세스에 대한 품질 지수를 산출하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 의한 상기 품질 지수를 산출하는 단계는 상기 가중치가 증가하는 것에 따라 상기 품질 지수를 증가시키는 단계를 포함할 수 있다.
본 발명의 실시 예에 의한 상기 품질 지수를 산출하는 단계는 상기 검출 객체가 관심 영역을 벗어난 경우, 상기 품질 지수를 감소시키는 단계를 포함할 수 있다.
본 발명의 실시 예에 의하면, 객체가 인식되는 비율에 따라 가중치를 달리 함으로써 객체의 추적 성능을 높일 수 있다.
본 발명의 실시 예에 의하면, 객체의 가중치를 바탕으로 품질 지수를 산출함으로써, 객체 추적 알고리즘의 성능을 보장할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 객체 추적 장치를 포함하는 차량을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 의한 객체 추적 장치를 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 의한 객체 추적 방법을 설명하는 순서도이다.
도 4는 탑 뷰 영상을 설명하는 도면이다.
도 5는 IOU(Intersection Over Union)를 설명하는 도면이다.
도 6 내지 도 8은 IOU값에 따라 객체의 ID를 부여하는 방법을 설명하는 도면들이다.
도 9 내지 도 11은 프로세서가 ID들 각각에 가중치를 부여하는 실시 예를 설명하는 도면들이다.
도 12 내지 도 14는 본 발명의 실시 예에 의한 품질 지수를 산출하는 방법을 설명하는 도면들이다.
도 15는 본 발명의 다른 실시 예에 따른 차량 제어 방법을 설명하기 위한 순서도이다.
도 16은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 나타내는 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 16을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 객체 추적 장치를 포함하는 차량을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 의한 차량(1)은 외관을 형성하는 본체(2), 차량(1)을 이동시키는 차륜(61, 62), 차륜(61, 62)을 회전시키는 구동 장치(60), 차량(1) 내부를 외부로부터 차폐시키는 도어(71), 차량(1) 내부의 사용자에게 차량(1) 전방의 시야를 제공하는 전면 유리(80), 사용자에게 차량(1)의 측, 후방 시야를 제공하는 사이드미러(81, 82)을 포함할 수 있다.
차륜(61, 62)은 차량의 전방에 마련되는 전륜(61), 차량의 후방에 마련되는 후륜(62)을 포함하며, 구동 장치(60)는 본체(2)가 전방 또는 후방으로 이동하도록 전륜(61) 또는 후륜(62)에 회전력을 제공할 수 있다.
도어(71)는 본체(2)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 탑승자가 차량(1)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(1)의 내부를 외부로부터 차폐시킬 수 있다.
윈드 스크린의 일종인 전면 유리(80)는 본체(2)의 전방 상측에 마련되어 차량(1) 내부의 운전자 또는 사용자에게 차량(1) 전방의 시야 정보를 제공할 수 있다.
사이드미러(81, 82)는 본체(2)의 좌측에 마련되는 좌측 사이드미러(81) 및 우측에 마련되는 우측 사이드미러(82)를 포함하며, 차량(1) 내부의 운전자가 차량(1) 측, 후방의 시야 정보를 제공할 수 있다.
차량(1)은 전기자동차(Electric Vehicle, EV), 하이브리드차량(Hybrid Electric Vehicle, HEV), 플러그인 하이브리드 차량(Plug-in Hybrid Electric Vehicle, PHEV), 또는 수소전기차 (Fuel Cell Electric Vehicle, FCEV) 등의 전동화 기반의 차량일 수 있다. 전동화 기반의 차량일 경우, 구동 장치(60)는 구동 모터일 수 있다.
도 2는 본 발명의 실시 예에 의한 객체 추적 장치를 나타내는 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 의한 객체 추정 장치는 센서부(10) 및 제어기(100)를 포함할 수 있다.
센서부(10)는 차량 주위의 객체를 추출하기 위한 센싱 데이터를 획득하기 위한 것으로, 카메라(11), 라이다(LIDAR)(12), 및 레이더(Rada)(13) 등을 포함할 수 있다. 카메라(11), 라이다(12), 및 레이더(13)가 형성되는 위치는 도 1에 한정되지 않을 수 있다.
카메라(11)는 차량 전방에서 가시광선 영역의 빛을 감지한 것을 바탕으로 영상 데이터를 획득할 수 있다.
라이다(12)는 레이저 펄스를 송출하고, 송출된 레이저 펄스가 반사되는 시간을 측정하여 객체를 판별할 수 있다. 라이다(12)는 3차원 정보를 제공할 수 있다.
레이더(13)는 전자기파를 송출하고, 되돌아오는 전자파를 분석하여 객체를 분석할 수 있다. 레이더(13)는 2차원 정보를 제공할 수 있으며, 객체에 대한 정보를 빠르게 제공할 수 있다.
제어기(100)는 센서부(10)가 획득한 센싱 데이터를 바탕으로 객체를 추출하고, 추출된 객체를 추적할 수 있다. 이하, 본 발명의 실시 예는 카메라가 획득한 영상 데이터를 바탕으로 객체를 추출하고, 객체를 추적하는 것을 중심으로 설명하기로 한다.
제어기(100)는 객체를 추출하는 객체 검출부(110) 및 추출된 객체를 추적하는 객체 추적부(120)를 포함할 수 있다.
객체 검출부(110)는 외부 영상에서 검출 객체를 추출할 수 있다. 실시 예에 의한 객체 검출부(110)는 전방 영상을 탑 뷰(top view) 영상을 변환하고, 변환된 탑 뷰 영상에서 검출 객체를 추출할 수 있다.
객체 추적부(120)는 검출 객체의 차기 위치를 예측하여 추정 객체를 생성할 수 있다. 객체 추적부(120)는 추정 객체 및 검출 객체의 IOU에 기초하여 검출 객체에 ID를 부여할 수 있다. 객체 추적부(120)는 ID들 각각의 검출 빈도를 바탕으로 가중치를 부여하고, 가중치를 바탕으로 추정 객체를 생성할 수 있다.
저장부(200)는 객체 검출을 위한 객체 검출 알고리즘 및 객체 추적을 위한 객체 추적 알고리즘을 저장할 수 있다.
객체 검출 알고리즘 및 객체 추적 알고리즘 중에서 적어도 어느 하나는 인공지능 기반으로 수행될 수 있고, 이를 위해서, 제어부(110)는 인공지능(artificial intelligence; 이하, AI) 프로세서를 포함할 수 있다. AI 프로세서는 미리 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함할 수 있다.
저장부(200)는 제어기(100) 내에 구비 될 수 있고, 별도의 메모리가 될 수 있다. 따라서, 저장부(200)는 하드 디스크 드라이브, 플래시 메모리, EEPROM(Electrically erasable programmable read-only memory), SRAM(Static RAM), FRAM (Ferro-electric RAM), PRAM (Phase-change RAM), MRAM(Magnetic RAM) 등과 같은 비휘발성 메모리 및/또는 DRAM(Dynamic Random Access Memory), SDRAM(Synchronous Dynamic Random Access Memory), DDR-SDRAM(Double Date Rate-SDRAM) 등 과 같은 휘발성 메모리의 조합으로 구성될 수 있다.
도 3은 본 발명의 실시 예에 의한 객체 추적 방법을 설명하는 순서도이다.
도 3을 참조하여, 본 발명의 실시 예에 의한 객체 추적 방법을 살펴보면 다음과 같다.
S310에서, 제어기(100)의 객체 검출부(110)는 영상에서 객체를 검출할 수 있다.
객체 검출부(110)는 카메라(11)가 획득한 영상에서 객체를 검출할 수 있다. 이를 위해서, 객체 검출부(110)는 도 4에서와 같이, 카메라(11)가 획득한 어안 뷰(fisheye view) 형태의 전방 영상을 탑-뷰(top view) 영상으로 변환할 수 있다.
도 4는 탑 뷰 영상을 설명하는 도면이다.
도 4의 (a)에서와 같이, 어안 뷰 영상에서는 하나의 객체(ob)에서도 인식 위치에 따라 객체(ob)의 사이즈 및 형상의 변화가 클 수 있다. 이에 반해서, 도 4의 (b)에서와 같이 탑-뷰 영상에서의 객체(ob)는 인식 위치가 다를지라도 사이즈 및 형상의 변화가 거의 없기 때문에, 객체(ob)를 판단하고, 객체(ob)의 위치를 추정하는 데에 유리할 수 있다.
객체 검출부(110)는 탑-뷰 영상에서 객체를 검출함으로써, 객체의 크기, 형상 및 위치를 보다 정확하게 판단할 수 있다.
객체 검출부(110)는 앞서 설명한 AI 기반으로 객체를 검출할 수 있다.
실시 예에 의한 객체 검출부(110)는 도로의 노면 표시를 객체로 검출할 수 있다. 예를 들어, 객체 검출부(110)는 실선, 점선, 사선, 색상 등을 바탕으로 차선의 종류를 객체로 검출할 수 있다. 또한, 객체 검출부(110)는 "천천히", "정지"와 같이 텍스트 형태로 표시된 노면 표시를 객체로 검출할 수 있다. 또한, 객체 검출부(110)는 차로 내에서 차량의 진행 방향을 안내하는 노면 표시를 객체로 검출할 수 있다.
본 발명의 실시 예에 의한 객체 검출부(110)는 검출된 객체의 경계 박스(Bounding Box)를 설정할 수 있다. 이하 설명하는 객체 추적부(120)는 경계 박스 내부 영역을 객체로 판단할 수 있다.
S320에서, 제어기(100)의 객체 추적부(120)는 검출된 객체에 ID 부여할 수 있다.
제어기(100)는 검출된 객체에 ID를 부여할 수 있다.
제어기(100)는 검출된 객체가 신규 객체일 경우, 새로운 ID를 부여할 수 있다.
또는, 제어기(100)는 이전에 추적 중이던 추정 객체이거나, 인식되지 못한 미인식 객체일 경우, 기존 ID를 유지할 수 있다.
제어기(100)는 IOU의 크기를 임계값과 비교한 것을 바탕으로, 검출된 객체를 신규 객체 또는 추정 객체 또는 미인식 객체인지 판단할 수 있다.
도 5는 IOU(Intersection Over Union)를 설명하는 도면이다.
IOU는 도 5에서 보는 바와 같이, 검출 객체(Br)와 추정 객체(Ba)들의 전체 영역 크기에 대비한 검출 객체(Br)와 추정 객체(Ba)들 간의 교집합 영역 크기로 산출될 수 있다. 검출 객체(Br)는 영상 프레임에서 검출된 객체를 의미할 수 있다. 또한, 추정 객체(Ba)는 이전 프레임에서 검출된 검출 객체를 바탕으로 예측된 객체를 의미할 수 있다. 따라서, IOU값은 객체 추정의 정확도를 1차적으로 판별할 수 있는 기준을 제공할 수 있다.
검출 객체(Br)와 추정 객체(Ba)의 크기가 서로 동일할 경우, 두 개의 객체들이 2/3 이상 중첩되어야 IOU가 0.5 이상이 될 수 있다. 본 발명의 실시 예는 임계값을 0.5설정할 수 있고, 이를 바탕으로 신규 객체인지, 추정 객체 또는 미인식 객체로 판단할 수 있다.
도 6 내지 도 8은 IOU값에 따라 객체의 ID를 부여하는 방법을 설명하는 도면들이다.
도 6 내지 도 8을 참조하면, 제어기(100)의 객체 검출부(110)는 n(n은 2 이상의 자연수)번째 프레임의 영상에서 객체들(ob1, ob2)을 검출할 수 있다. 도면들에서와 같이, 객체 검출부(110)는 차선(ob1) 및 진행 방향 안내 표시(ob2) 등을 객체로 검출할 수 있다.
도 6은 영상 프레임에서 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 초과인 경우, ID를 부여하는 방법을 설명하는 도면이다.
도 6에서와 같이, n번째 프레임의 영상에서 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 초과인 경우, 제어기(100)는 n번째 프레임에서의 객체가 추적 중인 객체로 판단할 수 있다.
검출 객체(Br)가 추정 객체(Ba)로 판별될 경우, 제어기(100)는 추정 객체(Ba)의 ID를 계승하도록 검출 객체(Br)의 ID를 설정할 수 있다. 즉, 도 6에서 0에 해당하는 검출 객체(Br)의 ID는 이전 프레임에서 추정 객체(Ba)의 대상이 되는 객체의 ID를 계승할 수 있다.
도 7 및 도 8은 영상 프레임에서 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 이하인 경우 ID를 부여하는 방법을 설명하는 도면들이다.
도 7 및 도 8에서와 같이, 영상 프레임에서 검출 객체(Br)와 추정 객체(Ba)의 IOU가 임계값 미만일 경우, 제어기(100)는 검출 객체(Br)를 신규 객체 또는 미인식 객체로 판단할 수 있다.
보다 구체적으로, 도 7에서와 같이, 검출 객체(Br)는 임의의 영상 프레임에서 최초 검출될 수 있다. 제어기(100)는 검출 객체(Br)와 추정 객체 간의 IOU가 임계값 이하인 객체들을 신규 객체로 판단할 수 있다. 즉, 제어기(100)는 검출 객체와 추정 객체 간의 IOU가 0인 경우, 검출 객체(Br)를 신규 객체로 판단할 수 있다.
검출 객체(Br)가 신규 객체로 판별될 경우, 제어기(100)는 검출 객체(Br)에 새로운 ID를 부여할 수 있다. 즉, 도 7에서와 같이, 객체 추적부(120)는 검출 객체(Br)에 신규 ID에 해당하는 1을 부여할 수 있다.
또는, 도 8에서와 같이, 검출 객체(Br)는 임의의 영상 프레임에서 최초 검출된 객체가 아니지만, 추정 객체(Ba)와의 IOU가 임계값 이하일 수 있다. 즉, 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 이하이면서 0 보다 큰 경우가 발생할 수 있다. 제어기(100)는 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 이하이면서 0 보다 클 경우, 제어기(100)는 해당 객체들을 미인식 객체로 판단할 수 있다. 즉, 임의의 영상 프레임에서 미인식 객체로 검출된 객체는 객체 추적이 부정확하여 해당 영상 프레임에서 객체의 위치 추정이 제대로 수행되지 못한 것을 의미할 수 있다.
검출 객체(Br)가 추정 객체로 판별되지 않았지만, 새롭게 등장한 신규 객체도 아닐 경우, 제어기(100)는 추정 객체(Ba)의 ID를 계승하도록 검출 객체(Br)의 ID를 설정할 수 있다. 즉, 제어기(100)는 추정 객체(Ba)의 대상이 되는 객체의 ID에 해당하는 0을 검출 객체(Br)에 계승시킬 수 있다.
S330에서, 제어기(100)의 객체 추적부(120)는 ID들 각각에 검출 빈도에 따라 가중치 부여할 수 있다.
도 9 내지 도 11은 프로세서가 ID들 각각에 가중치를 부여하는 실시 예를 설명하는 도면들이다. 가중치를 부여하기 위해서 제어기(100)는 검출 객체(Br)와 추정 객체(Ba) 간의 IOU를 산출할 수 있다.
도 9는 영상 프레임에서 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 초과인 예를 나타내는 도면이다.
도 9를 참조하면, 영상 프레임에서 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값을 초과할 경우, 제어기(100)는 검출 객체(Br)에 대해서 가중치를 증가시킬 수 있다. 즉, 객체 추적부(120)는 추적 객체로 판별된 검출 객체(Br)의 가중치를 W1 에서 W2로 증가시킬 수 있다.
가중치는 미리 설정된 크기로 가산되거나 감산될 수 있고, 예를 들어 1의 크기로 가산되거나 감산될 수 있다.
도 10 및 도 11은 영상 프레임에서 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 이하인 예를 나타내는 도면이다.
도 10을 참조하면, 제어기(100)는 신규 객체에 대해서 가중치를 부여할 수 있다. 검출 객체(Br)와 추정 객체 간의 IOU가 0인 경우, 제어기(100)는 해당 검출 객체(Br)를 신규 객체로 판단하면서 가중치를 부여할 수 있다. 신규 객체로 판단된 검출 객체(Br)는 가중치를 최초로 부여받을 수 있다. 즉, 객체 추적부(120)는 신규 객체에 대해서 W1이라는 최초의 가중치를 부여할 수 있다.
도 11을 참조하면, 제어기(100)는 미인식 객체에 대해서 가중치를 감소시킬 수 있다.
즉, 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 이하이면서 0 보다 클 경우, 제어기(100)는 해당 검출 객체(Br)의 가중치를 감소시킬 수 있다. 예를 들어, (n-1) 번째 영상프레임에서 W2의 가중치를 갖는 객체가 n번째 프레임에서 미인식 객체로 판별될 경우, 제어기(100)는 해당 객체의 가중치를 W1로 감산시킬 수 있다.
도 3에 도시된 객체 추적 방법은 품질 지수(Quality Index; QI)를 산출하는 절차를 더 포함할 수 있다.
본 발명의 실시 예에 의하면, 제어기(100)는 가중치 및 검출 객체의 검출 영역을 바탕으로 품질 지수를 산출할 수 있다. 검출 객체의 검출 영역은 검출 객체와 관심영역(Region Of Interest; 이하, ROI) 간의 중첩 영역의 크기를 바탕으로 선정될 수 있다. 품질 지수는 객체 추적부(120)가 추정 객체를 생성하는 절차의 신뢰도를 평가하는 항목일 수 있다.
검출 객체의 가중치가 증가하는 것은 영상 프레임에서 객체 추적을 정확하게 하였다는 것을 의미할 수 있다. 따라서, 실시 예에 의한 제어기(100)는 검출 객체의 가중치가 증가하는 것을 바탕으로 품질 지수를 높일 수 있다.
또한, 검출 객체의 가중치가 감소하는 것은 영상 프레임에서 객체 추적의 정확도가 낮다는 것을 의미할 수 있다. 따라서, 실시 예에 의한 제어기(100)는 검출 객체의 가중치가 감소하는 경우 품질 지수를 낮출 수 있다.
품질 지수를 산출하는 실시 예는 다음과 같다.
도 12 내지 도 14는 본 발명의 실시 예에 의한 품질 지수를 산출하는 방법을 설명하는 도면들이다.
도 12는 검출 객체의 가중치가 증가하는 상태에서 검출 객체가 관심 영역 밖에 있는 경우를 나타내는 도면이다.
도 12를 참조하면, 제어기(100)는 검출 객체(Br)의 가중치가 증가하는 것을 바탕으로, 검출 알고리즘의 품질 지수를 높일 수 있다. 즉, 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값을 초과 것을 바탕으로, 제어기(100)는 검출 알고리즘의 품질 지수를 높일 수 있다.
또한, 제어기(100)는 검출 객체가 관심 영역 밖에서 검출된 것을 바탕으로 검출 알고리즘의 품질 지수를 감소시킬 수 있다.
도 13은 검출 객체의 가중치가 감소하는 상태를 나타내는 도면이다.
도 13을 참조하면, 제어기(100)는 검출 객체(Br)가 미인식 객체일 경우 품질 지수를 감소시킬 수 있다. 즉, 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 이하이면서 검출 객체(Br)가 신규 객체가 아닌 경우, 제어기(100)는 검출 알고리즘의 품질 지수를 감소시킬 수 있다.
도 14는 검출 객체의 가중치가 증가하는 상태에서 검출 객체가 관심 영역 내에 있는 경우를 나타내는 도면이다.
도 14를 참조하면, 제어기(100)는 검출 객체(Br)의 가중치가 증가하는 것을 바탕으로, 검출 알고리즘의 품질 지수를 높일 수 있다. 즉, 검출 객체(Br)와 추정 객체(Ba) 간의 IOU가 임계값 이상인 것을 바탕으로, 제어기(100)는 검출 알고리즘의 품질 지수를 높일 수 있다.
또한, 제어기(100)는 검출 객체(Br)가 관심 영역 내에서 검출된 것을 바탕으로 검출 알고리즘의 품질 지수를 감소시킬 수 있다. 제어기(100)는 검출 객체(Br)와 관심 영역 간의 중첩 영역이 일정 영역 이상인 것을 바탕으로, 검출 객체(Br)가 관심 영역 내에 위치한다고 판단할 수 있다.
그리고, 제어기(100)는 품질 지수를 바탕으로, 본 발명의 실시 예에 의한 객체 추적 방법의 신뢰도를 평가할 수 있다.
또한, 도 3에 도시된 본 발명의 실시 예에 의한 객체 추적 방법은 차기 위치를 추정하는 절차를 더 포함할 수 있다.
제어기(100)는 차량 속도 및 영상의 프레임 레이트를 바탕으로 객체의 위치를 추정할 수 있다. 제어기(100)는 CAN 통신 방식을 통해서 차량의 속도 정보를 제공받을 수 있다. 본 명세서에서, 영상의 프레임 레이트는 카메라(11)가 제어기(100)로 전송하는 영상 프레임의 전송 속도를 의미할 수 있다. 카메라(11)가 촬영한 모든 영상이 제어기(100)로 전송될 경우, 영상의 프레임 레이트는 카메라(11)의 촬영 속도일 수 있다. 예를 들어, 프레임 레이트가 60Hz일 경우, 제어기(100)는 초당 60개의 영상 프레임을 전송받을 수 있다.
실시 예에 의하면, 제어기(100)는 프레임 레이트를 바탕으로 서로 연속적인 영상 프레임들 간의 전송 간격을 산출할 수 있다. 예를 들어, 프레임 레이트가 60Hz일 경우, 서로 연속적인 영상 프레임은 1/60(초)일 수 있다.
제어기(100)는 차량의 속도를 바탕으로 영상 프레임들 간의 전송 간격 단위로 객체의 이동거리를 산출할 수 있다.
그리고, 제어기(100)는 산출된 이동거리에 따라 추정 객체를 표시할 수 있다. 추정 객체를 표시하는 절차에서, 제어기(100)는 차량의 이동 방향을 고려할 수도 있다.
이하, 도 15를 참조하여 본 발명의 다른 실시 예에 따른 차량 제어 방법을 구체적으로 설명하기로 한다. 도 15는 본 발명의 다른 실시 예에 따른 차량 제어 방법을 설명하기 위한 순서도이다. 도 15에 도시된 절차는 도 2에 도시된 제어기(100)에 의해서 수행될 수 있다.
S1501에서, 제어기(100)의 객체 검출부(110)는 영상 프레임에서 객체를 검출할 수 있다.
영상 프레임은 차량의 카메라(11)가 획득한 영상일 수 있다. 본 발명의 실시 예에 의한 제어기(100)는 도 4에서와 같이 카메라(11)가 획득한 영상을 탑 뷰 형태의 영상 프레임으로 변환하고, 탑 뷰 형태의 영상 프레임에서 객체를 검출할 수 있다.
객체는 도로 주변의 건물이거나, 도로에 주행하는 차량 또는 도로 주변의 움직이는 물체일 수 있다.
또는 객체는 차량 운전자들에게 주행을 안내하기 위한 신호등 또는 안내표지판과 같은 도로 시설물일 수 있다.
또는 객체는 도로의 차선 또는 차선의 안내를 위한 노면 표시일 수 있다.
S1502에서, 제어기(100)의 객체 추적부(120)는 검출 객체와 추정 객체 간의 IOU를 산출할 수 있다.
검출 객체는 영상 프레임에서 객체 검출부(110)에 의해서 검출된 객체일 수 있다. 추정 객체는 이전 영상 프레임에서 검출된 검출 객체를 바탕으로 예측된 객체일 수 있다.
S1503에서, 객체 추적부(120)는 검출 객체와 추정 객체의 IOU값을 임계값과 비교할 수 있다. 임계값은 추정 객체의 신뢰도를 인정할 수 있는 수준으로 설정될 수 있고, 실시 예에 의하면 임계값은 0.5로 설정될 수 있다.
S1504에서, 검출 객체와 추정 객체 간의 IOU가 임계값 초과인 것을 바탕으로, 객체 추적부(120)는 검출 객체를 추적 객체로 판단할 수 있다. 추적 객체는 이전 영상 프레임에서 획득된 검출 객체로써, 검출 객체의 타겟이 되는 객체를 의미할 수 있다.
S1505에서, 제어기(100)는 추적 객체로 판별된 검출 객체의 ID를 유지할 수 있다. 검출 객체가 추적 객체로 판별된 경우는 검출 객체의 추적 과정이 원활하게 진행되는 중이라고 간주될 수 있다. 따라서, 제어기(100)는 검출 객체와 추정 객체 간의 IOU가 임계값을 초과할 경우, 추적 대상이 되는 객체의 ID를 검출 객체의 ID로 계승할 수 있다.
S1506에서, 제어기(100)는 추적 객체로 판별된 검출 객체에 대해서 가중치를 증가할 수 있다. 검출 객체가 추적 객체로 판별된 경우는 검출 객체의 추적 과정이 원활하게 진행되는 중이라고 간주될 수 있다. 따라서, 제어기(100)는 검출 객체와 추정 객체 간의 IOU가 임계값을 초과할 경우, 추적 대상이 되는 객체의 가중치를 부여할 수 있다.
S1503에서 검출 객체와 추정 객체의 IOU값을 임계값과 비교한 결과에 따라 검출 객체와 추정 객체의 IOU값이 임계값 이하일 경우, 제어기(100)는 S1507 및 S1508 절차를 통해서 검출 객체가 신규 객체인지를 판단할 수 있다.
제어기(100)는 IOU값이 0인 것으로 산출되는 검출 객체를 신규 객체로 판단할 수 있다.
S1509에서, 검출 객체가 신규 객체일 경우, 제어기(100)는 검출 객체에 새로운 ID를 부여할 수 있다.
또한, S1510에서, 검출 객체가 신규 객체일 경우, 제어기(100)는 신규 객체에 가중치를 부여할 수 있다. 즉, 검출 객체가 신규 객체로 판별되는 영상 프레임에서, 신규 객체는 최초 가중치를 부여받을 수 있다.
S1511에서, 검출 객체가 신규 객체가 아닐 경우, 제어기(100)는 검출 객체에 ID를 유지할 수 있다. S1511 단계에서의 검출 객체는 추적 객체가 아니면서 신규 객체도 아닌 객체를 의미할 수 있다. S1511 단계에서의 검출 객체는 추적이 원활하게 진행되는 추적 객체로 판별받지 못한다고 할지라도, 이전 영상 프레임에서부터 추적을 진행 중인 객체에 해당하기 때문에 기존의 ID를 계승할 수 있다.
S1512에서, 검출 객체가 신규 객체가 아닐 경우, 제어기(100)는 객체의 ID를 유지하면서 가중치를 감소시킬 수 있다. 신규 객체에 해당하지 않는 검출 객체가 추적 객체로 판별되지 않는 경우는 해당 객체에 대한 추적 알고리즘의 신뢰도가 낮다는 것을 의미할 수 있다. 따라서, 제어기(100)는 검출 객체가 추적 객체로 판별되지 않으면서 신규 객체가 아닌 것으로 판별되는 미인식 객체에 대한 가중치를 감소시킬 수 있다.
S1513에서, 제어기(100)는 ID들 각각에 부여되는 가중치를 바탕으로 품질 지수를 판단할 수 있다. 가중치는 연속적인 영상 프레임에서 누적되어 가산되거나 감산 될 수 있다.
제어기(100)는 각각의 영상 프레임마다 품질 지수를 산출할 수 있다. 또는 제어기(100)는 일정 시간 단위로 영상 프레임의 품질 지수를 산출할 수 있다.
실시 예에 의하면, 제어기(100)는 가중치에 비례하여 영상 프레임의 품질 지수를 산출할 수 있다.
또한 실시 예에 의하면, 검출 객체와 ROI 영역 간의 중첩 부분이 임계 영역 이상일 경우, 제어기(100)는 검출 객체의 품질 지수를 유지시킬 수 있다. 또는 검출 객체와 ROI 영역 간의 중첩 부분이 임계 영역 미만일 경우, 제어기(100)는 검출 객체의 품질 지수를 감소시킬 수 있다.
S1514에서, 제어기(100)는 차량의 이동 속도 및 영상 수신부가 획득하는 영상 데이터들의 전송 간격을 바탕으로 검출 객체의 차기 위치를 추정할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 나타내는 도면이다.
도 16을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 도 15에 도시된 프로세서(1100)는 도 2에 도시된 제어기(100)를 포함하는 구성일 수 있고, 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 차량의 외부 영상을 획득하는 카메라; 및
    상기 외부 영상에서 검출 객체를 추출하고, 상기 검출 객체의 차기 위치를 예측하여 추정 객체를 생성하며, 상기 추정 객체 및 상기 검출 객체의 IOU에 기초하여 상기 검출 객체에 ID를 부여하고, 상기 ID들 각각의 검출 빈도를 바탕으로 가중치를 부여하고, 상기 가중치를 바탕으로 상기 추정 객체를 생성하는 프로세서;
    를 포함하는 객체 추적 장치.
  2. 제 1 항에 있어서,
    상기 제어기는
    차량의 전방 영상을 획득하고, 상기 전방 영상을 탑 뷰 영상으로 변환하는 것을 특징으로 하는 객체 추적 장치.
  3. 제 1 항에 있어서,
    상기 제어기는
    상기 IOU가 미리 설정된 임계값을 초과하는 것을 바탕으로 상기 검출 객체를 추적 객체로 분류하고, 추적 대상이 되는 객체의 ID를 계승하도록 상기 추적 객체에 상기 ID를 부여하는 것을 특징으로 하는 객체 추적 장치.
  4. 제 3 항에 있어서,
    상기 제어기는
    상기 추적 객체에 대해서 가중치를 증가시키는 것을 특징으로 하는 객체 추적 장치.
  5. 제 1 항에 있어서,
    상기 제어기는
    상기 IOU가 0보다 크고 미리 설정된 임계값 이하인 것을 바탕으로, 상기 검출 객체를 신규 객체로 분류하고, 상기 신규 객체에 새로운 ID를 부여하는 것을 특징으로 하는 객체 추적 장치.
  6. 제 5 항에 있어서,
    상기 제어기는
    상기 신규 객체에 대해서 상기 가중치를 증가시키는 것을 특징으로 하는 객체 추적 장치.
  7. 제 1 항에 있어서,
    상기 제어기는
    상기 IOU가 0인 것을 바탕으로 상기 검출 객체를 미인식 객체로 분류하고, 추적 대상이 되는 객체의 ID를 계승하도록 상기 미인식 객체의 상기 ID를 부여하는 것을 특징으로 하는 객체 추적 장치.
  8. 제 1 항에 있어서,
    상기 제어기는
    상기 가중치 및 상기 검출 객체의 검출 위치를 바탕으로, 상기 추정 객체를 생성하는 프로세스에 대한 품질 지수를 산출하는 것을 특징으로 하는 객체 추적 장치.
  9. 제 8 항에 있어서,
    상기 제어기는
    상기 가중치가 증가하는 것에 따라 상기 품질 지수를 증가시키는 것을 특징으로 하는 객체 추적 장치.
  10. 제 8 항에 있어서,
    상기 제어기는
    상기 검출 객체가 관심 영역을 벗어난 경우, 상기 품질 지수를 감소시키는 것을 특징으로 하는 객체 추적 장치.
  11. 영상에서 검출 객체를 추출하는 단계;
    상기 검출 객체의 차기 위치를 예측하여 추정 객체를 생성하고, 상기 추정 객체 및 상기 검출 객체의 IOU에 기초하여 상기 검출 객체에 ID를 부여하는 단계;
    상기 ID들 각각의 검출 빈도를 바탕으로 가중치를 부여하는 단계; 및
    상기 가중치를 바탕으로 상기 추정 객체를 생성하는 단계;
    를 포함하는 객체 추적 방법.
  12. 제 11 항에 있어서,
    상기 검출 객체를 추출하는 단계는
    차량의 전방 영상을 획득하는 단계;
    상기 전방 영상을 탑 뷰 영상으로 변환하는 단계; 및
    상기 탑 뷰 영상에서 상기 검출 객체를 추출하는 단계;
    를 포함하는 것을 특징으로 하는 객체 추적 방법.
  13. 제 11 항에 있어서,
    상기 검출 객체에 상기 ID를 부여하는 단계는
    상기 IOU가 미리 설정된 임계값을 초과하는 것을 바탕으로, 상기 검출 객체를 추적 객체로 분류하는 단계; 및
    추적 대상이 되는 객체의 ID를 계승하도록 상기 추적 객체에 상기 ID를 부여하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  14. 제 13 항에 있어서,
    상기 가중치를 부여하는 단계는
    상기 추적 객체에 대해서 가중치를 증가시키는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  15. 제 11 항에 있어서,
    상기 검출 객체에 상기 ID를 부여하는 단계는
    상기 IOU가 0보다 크고 미리 설정된 임계값 이하인 것을 바탕으로, 상기 검출 객체를 신규 객체로 분류하는 단계; 및
    상기 신규 객체에 새로운 ID를 부여하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  16. 제 15 항에 있어서,
    상기 가중치를 부여하는 단계는
    상기 신규 객체에 대해서 상기 가중치를 증가시키는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  17. 제 11 항에 있어서,
    상기 검출 객체에 상기 ID를 부여하는 단계는
    상기 IOU가 0인 것을 바탕으로, 상기 검출 객체를 미인식 객체로 분류하는 단계; 및
    추적 대상이 되는 객체의 ID를 계승하도록 상기 미인식 객체의 상기 ID를 부여하는 단계를 포함하는 것을 특징으로 하는 객체 추적 방법.
  18. 제 11 항에 있어서,
    상기 가중치 및 상기 검출 객체의 검출 위치를 바탕으로, 상기 추정 객체를 생성하는 프로세스에 대한 품질 지수를 산출하는 단계;
    를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  19. 제 18 항에 있어서,
    상기 품질 지수를 산출하는 단계는
    상기 가중치가 증가하는 것에 따라 상기 품질 지수를 증가시키는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  20. 제 18 항에 있어서,
    상기 품질 지수를 산출하는 단계는
    상기 검출 객체가 관심 영역을 벗어난 경우, 상기 품질 지수를 감소시키는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
KR1020220045849A 2022-04-13 2022-04-13 객체 추적 장치 및 방법 KR20230146877A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220045849A KR20230146877A (ko) 2022-04-13 2022-04-13 객체 추적 장치 및 방법
US17/970,140 US20230334692A1 (en) 2022-04-13 2022-10-20 Device and method for tracking an object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220045849A KR20230146877A (ko) 2022-04-13 2022-04-13 객체 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230146877A true KR20230146877A (ko) 2023-10-20

Family

ID=88307800

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220045849A KR20230146877A (ko) 2022-04-13 2022-04-13 객체 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US20230334692A1 (ko)
KR (1) KR20230146877A (ko)

Also Published As

Publication number Publication date
US20230334692A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
RU2767955C1 (ru) Способы и системы для определения компьютером наличия динамических объектов
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
US8812226B2 (en) Multiobject fusion module for collision preparation system
US8098889B2 (en) System and method for vehicle detection and tracking
CN112242069B (zh) 一种确定车速的方法和装置
US11555927B2 (en) System and method for providing online multi-LiDAR dynamic occupancy mapping
CN110490217B (zh) 用于改进对象检测和对象分类的方法和系统
CN106291506A (zh) 基于单线点云数据机器学习的车辆目标识别方法及装置
Dey et al. VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles
RU2769921C2 (ru) Способы и системы для автоматизированного определения присутствия объектов
EP3842760B1 (en) Methods of and system for generating trajectory for self-driving car (sdc)
Liu et al. Vehicle detection and ranging using two different focal length cameras
CN111103587A (zh) 用于预测同时并线车辆的方法和设备及包括其的车辆
US20230282000A1 (en) Multi-object tracking
EP4064127A1 (en) Methods and electronic devices for detecting objects in surroundings of a self-driving car
EP3674972A1 (en) Methods and systems for generating training data for neural network
EP4009228A1 (en) Method for determining a semantic free space
JP7418476B2 (ja) 運転可能な領域情報を決定するための方法及び装置
Lim et al. Gaussian process auto regression for vehicle center coordinates trajectory prediction
KR20230146877A (ko) 객체 추적 장치 및 방법
Sanberg et al. Asteroids: A stixel tracking extrapolation-based relevant obstacle impact detection system
CN114889608A (zh) 一种基于注意力机制的车辆换道预测方法
KR20230014008A (ko) 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치
Qasemabadi et al. A Novel Model for Driver Lane Change Prediction in Cooperatice Adaptive Cruise Control Systems
US20240078814A1 (en) Method and apparatus for modeling object, storage medium, and vehicle control method