KR20200064411A - 객체 추적 장치 및 방법 - Google Patents

객체 추적 장치 및 방법 Download PDF

Info

Publication number
KR20200064411A
KR20200064411A KR1020180150516A KR20180150516A KR20200064411A KR 20200064411 A KR20200064411 A KR 20200064411A KR 1020180150516 A KR1020180150516 A KR 1020180150516A KR 20180150516 A KR20180150516 A KR 20180150516A KR 20200064411 A KR20200064411 A KR 20200064411A
Authority
KR
South Korea
Prior art keywords
reference point
extension line
tracking
processor
nth
Prior art date
Application number
KR1020180150516A
Other languages
English (en)
Inventor
정은경
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020180150516A priority Critical patent/KR20200064411A/ko
Publication of KR20200064411A publication Critical patent/KR20200064411A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 추적 장치 및 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 객체 추적 방법은, 프로세서에 의한 객체 추적 방법으로서, (a) 제N(N=1) 객체 발생에 대응하여 제N+1 객체 발생 예상 영역 도출하는 단계와, (b) 제N+1 객체 발생 예상 영역에 제N 객체와 동일한 객체로서의 제N+1 객체가 발생한 경우, 제N 객체 및 제N+1 객체를 잇는 연장선을 생성하는 단계와, (c) 제N+1 객체에 대응하여 제N+2 객체 발생 예상 영역 도출하는 단계와, (d) 제N+2 객체 발생 예상 영역에 제N+1 객체와 동일 객체로서의 제N+2 객체가 발생하였는지 판단하는 단계와, (e) 제N+2 객체가 연장선 상에 존재하지 않는 경우, 제N+2 객체의 위치를 보간하여 제N 객체, 제N+1 객체, 위치가 보간된 제N+2 객체를 잇는 보간 연장선을 생성하는 단계와, (f) 보간 연장선 상에 생성한 제N 객체, 제N+1 객체, 위치가 보정된 제N+2 객체의 추적 결과를, 객체 추적을 이용하는 소정의 어플리케이션으로 출력하는 단계를 포함한다.

Description

객체 추적 장치 및 방법{APPARATUS AND METHOD FOR TRACKING AN OBJECT}
본 발명은 객체 추적 장치 및 방법에 관한 것이다.
최근, 차량의 안전성, 편리성 및 지능화를 위하여 카메라를 이용하여 도로, 차량, 보행자 등을 검출하는 연구가 진행되고 있다.
이와 같은 차량용 비전 기술은, 차선 이탈 경고와 같이 간단한 정보를 제공하는 시스템에서부터 조명, 날씨, 배경 등과 같은 복잡한 환경에서도 차량, 보행자, 교통 표지판등 다양한 객체를 인지하는 시스템으로 발전되고 있다.
이러한 비전 기술에서 실시간으로 객체를 인식하는 경우, 처리 장치가 카메라로부터 이미지를 읽고, 객체를 인식하며, 최종적으로 객체를 디스플레이 하기까지의 속도가 차량의 속도에 따른 환경 변화를 따라가지 못하여 검출된 객체가 정확한 위치에 디스플레이 되지 않는 문제점이 발생한다
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
국내 공개특허공보 제2018-0060860호
본 발명은 전술한 문제점 및/또는 한계를 해결하기 위해 안출된 것으로, 일 측면에 따른 본 발명의 목적은 차량 속도에 따른 환경 변화에 대응하여 객체를 추적하고 위치를 보정하여 객체가 정확한 위치에 디스플레이 되도록 하는데 있다.
본 발명의 일 실시 예에 따른 객체 추적 방법은, 프로세서에 의한 객체 추적 방법으로서, (a) 제N(N=1) 객체 발생에 대응하여 제N+1 객체 발생 예상 영역 도출하는 단계; (b) 상기 제N+1 객체 발생 예상 영역에 상기 제N 객체와 동일한 객체로서의 제N+1 객체가 발생한 경우, 상기 제N 객체 및 상기 제N+1 객체를 잇는 연장선을 생성하는 단계; (c) 상기 제N+1 객체에 대응하여 제N+2 객체 발생 예상 영역 도출하는 단계; (d) 상기 제N+2 객체 발생 예상 영역에 상기 제N+1 객체와 동일 객체로서의 제N+2 객체가 발생하였는지 판단하는 단계; (e) 상기 제N+2 객체가 연장선 상에 존재하지 않는 경우, 상기 제N+2 객체의 위치를 보간하여 상기 제N 객체, 상기 제N+1 객체, 위치가 보간된 제N+2 객체를 잇는 보간 연장선을 생성하는 단계; 및 (f) 상기 보간 연장선 상에 생성한 상기 제N 객체, 상기 제N+1 객체, 상기 위치가 보정된 제N+2 객체의 추적 결과를, 객체 추적을 이용하는 소정의 어플리케이션으로 출력하는 단계;를 포함할 수 있다.
상기 (a)단계 이전에, 카메라가 촬영한 영상 프레임으로부터 전경 및 배경을 분리하고, 상기 전경에 포함된 상기 제N 객체를 검출하는 단계;를 더 포함할 수 있다.
상기 (a) 단계에서, 상기 제N+1 객체 발생 예상 영역은 상기 제N 객체를 포함하면서 상기 제N 객체보다 소정 배수 더 클 수 있다.
상기 (c) 단계에서, 상기 제N+2 객체 발생 예상 영역은 상기 제N+1 객체를 포함하면서 상기 제N+1 객체보다 소정 배수 더 크고 방향성을 가질 수 있다.
상기 (e)단계는, (e-1) 상기 제N+2 객체가 연장선 상에 존재하지 않는 경우, 상기 제N+2 객체의 기준점을 산출하는 단계; (e-2) 상기 연장선 상에서 상기 제N+2 객체의 기준점과 동일한 어느 한 위치정보를 포함하는 가상의 기준점을 생성하는 단계; (e-3) 상기 제N+2 객체의 기준점과 상기 가상의 기준점에 소정의 가중치를 부여하고 상기 제N+2 객체의 기준점과 상기 가상의 기준점의 중심점을 상기 제N+2 객체의 보간된 기준점으로 산출하는 단계; 및 (e-3) 상기 제N 객체, 상기 제N+1 객체, 상기 제N+2 객체의 보간된 기준점을 잇는 상기 보간 연장선을 생성하는 단계;를 포함할 수 있다.
본 발명의 일 실시 예에 따른 객체 추적 장치는, 객체 검출 및 객체 추적을 제공하기 위한 프로그램이 저장된 메모리; 및 상기 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 제N(N=1) 객체 발생에 대응하여 제N+1 객체 발생 예상 영역 도출하고, 상기 제N+1 객체 발생 예상 영역에 상기 제N 객체와 동일한 객체로서의 제N+1 객체가 발생한 경우, 상기 제N 객체 및 상기 제N+1 객체를 잇는 연장선을 생성하고, 상기 제N+1 객체에 대응하여 제N+2 객체 발생 예상 영역 도출하고, 상기 제N+2 객체 발생 예상 영역에 상기 제N+1 객체와 동일 객체로서의 제N+2 객체가 발생하였는지 판단하고, 상기 제N+2 객체가 연장선 상에 존재하지 않는 경우, 상기 제N+2 객체의 위치를 보간하여 상기 제N 객체, 상기 제N+1 객체, 위치가 보간된 제N+2 객체를 잇는 보간 연장선을 생성하며, 상기 보간 연장선 상에 생성한 상기 제N 객체, 상기 제N+1 객체, 상기 위치가 보정된 제N+2 객체의 추적 결과를, 객체 추적을 이용하는 소정의 어플리케이션으로 출력할 수 있다.
상기 프로세서는, 카메라가 촬영한 영상 프레임으로부터 전경 및 배경을 분리하고, 상기 전경에 포함된 상기 제N 객체를 검출할 수 있다.
상기 프로세서에 의해, 상기 제N+1 객체 발생 예상 영역은 상기 제N 객체를 포함하면서 상기 제N 객체보다 소정 배수 더 크게 도출할 수 있다.
상기 프로세서에 의해, 상기 제N+2 객체 발생 예상 영역은 상기 제N+1 객체를 포함하면서 상기 제N+1 객체보다 소정 배수 더 크고 방향성을 갖도록 도출할 수 있다.
상기 프로세서는, 상기 제N+2 객체가 연장선 상에 존재하지 않는 경우, 상기 제N+2 객체의 기준점을 산출하고, 상기 연장선 상에서 상기 제N+2 객체의 기준점과 동일한 어느 한 위치정보를 포함하는 가상의 기준점을 생성하고, 상기 제N+2 객체의 기준점과 상기 가상의 기준점에 소정의 가중치를 부여하고 상기 제N+2 객체의 기준점과 상기 가상의 기준점의 중심점을 상기 제N+2 객체의 보간된 기준점으로 산출하며, 상기 제N 객체, 상기 제N+1 객체, 상기 제N+2 객체의 보간된 기준점을 잇는 상기 보간 연장선을 생성할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
실시 예들에 따르면, 차량 속도에 따른 환경 변화에 대응하여 객체를 추적하고 위치를 보정하여 객체가 정확한 위치에 디스플레이 되도록 할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 객체 추적 장치를 개략적으로 설명하기 위하여 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 영상 프레임에서 객체 추적을 개략적으로 설명하기 위하여 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 객체 추적 장치를 개략적으로 설명하기 위하여 도시한 도면이다. 도 1을 참조하면, 객체 추적 장치(1)는 카메라(100), 메모리(200) 및 프로세서(300)를 포함할 수 있다.
카메라(100)는 차량에 구비되어 차량 주변의 영상 프레임을 촬영하여 프로세서(300)로 출력할 수 있다. 여기서, 카메라(100)는 예컨대 COMS(complementary metal-oxide semiconductor) 모듈(미도시) 또는 CCD(charge coupled device) 모듈(미도시) 등을 이용하여 촬영영역 내의 피사체를 촬영할 수 있으며, 입력되는 영상 프레임은 렌즈(미도시)를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호로 변환하여 출력할 수 있다. 이와 같은 카메라(100) 내부에는 영상 신호 처리부(미도시)가 구비되어 있어서, 촬영한 영상 프레임에 대하여 노이즈를 저감하고, 감마 보정(gamma correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 영상 신호 처리부는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 수행할 수 있다.
메모리(200)는 카메라(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램을 저장할 수 있다. 메모리(200)에는 객체를 검출하고 객체를 추적하는 프로그램을 포함할 수 있다. 메모리(200)에 저장된 프로그램은 프로세서(300)에 의해 액세스 되어 실행될 수 있다.
메모리(200)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
프로세서(300)는 객체 추적 장치(1)의 전반적인 동작 상태를 제어할 수 있다. 이러한 프로세서(300)는 일종의 중앙처리장치로서 내부 메모리(미도시)에 탑재된 제어 소프트웨어를 구동하여 다양한 기능을 제공할 수 있다. 여기서, '프로세서(processor, 240)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다
본 실시 예에서 프로세서(300)는 메모리(200)에 저장된 객체 검출 및 객체 추적 프로그램을 실행하여, 카메라(100)로부터 수신한 차량 주변의 영상 프레임으로부터 객체를 검출하고 객체를 추적하여 그 결과를 메모리(200)에 저장하거나, 객체 추적 결과를 이용하는 어플리케이션(예를 들어, 충돌 회피 시스템, 블랙 박스, 네비게이션 등)에서 사용할 수 있도록 출력할 수 있다.
본 실시 예에서 프로세서(300)는 객체 검출부(310), 객체 추적부(320) 및 갱신부(330)를 포함할 수 있다.
객체 검출부(310)는 카메라(100)가 촬영한 영상 프레임으로부터 전경 및 배경을 분리하고, 전경에 포함된 객체를 검출할 수 있다. 전경 및 배경을 분리하여 객체를 검출하는 내용은 공지 기술이므로 구체적인 내용은 생략하기로 한다.
객체 추적부(320)는 카메라(100)가 촬영한 영상 프레임으로부터 검출한 객체에 대하여 영상 프레임 별로 추적을 수행할 수 있다.
갱신부(330)는 객체 추적 결과 연장선에 포함되지 않는 객체의 위치를 보간하고, 이전 영상 프레임에서 생성한 객체의 위치 및 보간된 객체의 위치를 포함하는 보간 연장선을 생성하며, 이전 연장선을 보간 연장선으로 갱신할 수 있다.
이러한 객체 검출부(310), 객체 추적부(320) 및 갱신부(330)는 서로 유기적으로 동작하며, 도 2 및 도 3을 참조하여 프로세서(300)의 동작으로 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일 실시 예에 따른 영상 프레임에서 객체 추적을 개략적으로 설명하기 위하여 도시한 도면이다. 이하의 설명에서 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 2를 참조하면, S201단계 및 S203단계에서, 프로세서(300)는 카메라(100)가 촬영한 제N 영상 프레임으로부터 제N 객체 발생(N=1)을 판단하고, 제N+1 객체 발생 예상 영역을 도출한다.
프로세서(300)는 카메라(100)가 촬영한 제N 영상 프레임으로부터 전경 및 배경을 분리하고, 전경에 포함된 제N 객체를 검출할 수 있다. 도 3a를 참조하면, 프로세서(300)는 제N 객체(301-1)가 검출되면, 제N 객체를 포함하는 제N 바운딩 박스(302-1)를 생성하고, 제N 바운딩 박스(302-1) 내의 제N 객체(301-1)에 대한 중심점으로서의 제N 기준점(303-1)을 생성할 수 있다. 여기서 기준점은 객체의 중심점 이거나 바운딩 박스 내의 어느 한 점일 수 있다. 또한 프로세서(300)는 제N 바운딩 박스(302-1)를 포함하면서 제N 바운딩 박스(302-1) 보다 소정 배수 더 큰(예를 들어, 1.5배) 제N+1 객체 발생 예상 영역(304-1)을 도출할 수 있다.
S205단계에서, 프로세서(300)는 카메라(100)가 촬영한 제N+1 영상 프레임으로부터 제N+1 객체 발생 예상 영역에 제N 객체와 동일한 객체로서의 제N+1 객체가 발생하였는지 판단한다.
프로세서(300)는 카메라(100)가 촬영한 제N+1 영상 프레임으로부터 전경 및 배경을 분리하고, 전경에 포함된 제N+1 객체를 검출할 수 있다. 여기서 제N+1 객체의 크기는 제N 객체의 크기 보다 더 클 수 있다. 도 3b를 참조하면, 프로세서(300)는 제N+1 영상 프레임으로부터 제N+1 객체(301-2)가 검출되면, 제N+1 객체(301-2)를 포함하는 제N+1 바운딩 박스(302-2)를 생성하고, 제N+1 바운딩 박스(302-2) 내의 제N+1 객체(301-2)에 대한 중심점으로서의 제N+1 기준점(303-2)을 생성할 수 있다. 프로세서(300)는 제N+1 객체 발생 예상 영역(304-1) 내에 제N+1 기준점(303-2)이 존재하는 경우, 제N 객체(301-1) 및 제N+1 객체(301-2)가 동일한 객체임을 판단하고 추적을 개시할 수 있다.
S207단계에서, 프로세서(300)는 카메라(100)가 촬영한 제N+1 영상 프레임으로부터 제N 객체 및 제N+1 객체를 잇는 연장선을 생성한다.
도 3c를 참조하면, 프로세서(300)는 제N+1 영상 프레임으로부터 제N 바운딩 박스(302-1) 내의 제N 객체(301-1)에 대한 제N 기준점(303-1)과, 제N+1 바운딩 박스(302-2) 내의 제N+1 객체(301-2)에 대한 제N+1 기준점(303-2)을 잇는 연장선(305)을 생성할 수 있다. 프로세서(300)는 제N+1 영상 프레임을 4개의 영역으로 분할할 수 있는데, 도 3c를 참조하면, 프로세서(300)는 제1 영역(306-1) 내지 제4 영역(306-4)으로 분할할 수 있다. 여기서 영역을 분할하는 이유는 이후 프로세서(300)가 보간 수행 시에 보간의 방향성을 지정해 주기 위한 것으로, 제1 영역(306-1) 및 제2 영역(306-2)에 위치하는 보간할 객체는 횡방향은 그대로 두고 종방향 보간을 수행하고, 제3 영역(306-3) 및 제4 영역(306-4)에 위치하는 보간할 객체는 종방향은 그대로 두고 횡방향 보간을 수행할 수 있다.
S209단계에서, 프로세서(300)는 카메라(100)가 촬영한 제N+1 영상 프레임으로부터 제N+2 객체 발생 예상 영역을 도출한다.
도 3d를 참조하면, 프로세서(300)는 제N+1 영상 프레임으로부터 제N 바운딩 박스(302-1)의 일부와, 제N+1 바운딩 박스(302-2)의 전체를 포함하면서 제N+1 바운딩 박스(302-2) 보다 소정 배수 더 큰(예를 들어, 1.5배) 제N+2 객체 발생 예상 영역(304-2)을 도출할 수 있다. 여기서 제N+2 객체 발생 예상 영역(304-2)은 연장선(305)에 의해 방향성을 고려하여 도출되는데, 도 3d의 경우 연장선(305)이 오른쪽 위 대각선 방향으로 도시되어 있으므로, 제N+2 객체 발생 예상 영역(304-2)은 왼쪽 아래 대각선 방향으로 확장되지 않고 오른쪽 위 대각선 방향으로 도출될 수 있다.
S211단계에서, 프로세서(300)는 제N+2 객체 발생 예상 영역이 제N+1 영상 프레임을 벗어났는지 판단하여, 제N+2 객체 발생 예상 영역이 제N+1 영상 프레임을 벗어난 경우 종료한다.
S213단계에서, 제N+2 객체 발생 예상 영역이 제N+1 영상 프레임 내에 있는 경우, 프로세서(300)는 카메라(100)가 촬영한 제N+2 영상 프레임으로부터 제N+2 객체 발생 예상 영역에 동일 객체로서의 제N+2 객체가 발생하였는지 판단한다.
도 3e를 참조하면, 프로세서(300)는 카메라(100)가 촬영한 제N+2 영상 프레임으로부터 전경 및 배경을 분리하고, 전경에 포함된 제N+2 객체(미도시)를 검출할 수 있다. 프로세서(300)는 제N+2 영상 프레임으로부터 제N+2 객체가 검출되면, 제N+2 객체를 포함하는 제N+2 바운딩 박스(302-3)를 생성하고, 제N+2 바운딩 박스(302-3) 내의 제N+2 객체에 대한 중심점으로서의 제N+2 기준점(303-3)을 생성할 수 있다. 또한 프로세서(300)는 제N+2 영상 프레임으로부터 제N+2 바운딩 박스(302-2) 보다 소정 배수 더 큰(예를 들어, 1.5배) 제N+3 객체 발생 예상 영역(304-3)을 도출할 수 있다.
S215단계에서, 제N+2 객체 발생 예상 영역에 동일 객체로서의 제N+2 객체가 발생한 경우, 프로세서(300)는 제N+2 객체가 연장선 상에 존재하는지 판단한다.
프로세서(300)는 제N 바운딩 박스(302-1) 내의 제N 객체(301-1)에 대한 제N 기준점(303-1)과, 제N+1 바운딩 박스(302-2) 내의 제N+1 객체(301-2)에 대한 제N+1 기준점(303-2)을 잇는 연장선(305) 상에 제N+2 바운딩 박스(302-3) 내의 제N+2 객체에 대한 제N+2 기준점(303-3)이 존재하는 경우, 제N 객체(301-1), 제N+1 객체(301-2) 및 제N+2 객체에 대한 추적 결과를, 객체 추적을 이용하는 소정의 어플리케이션으로 출력할 수 있다.
S217단계에서, 제N+2 객체가 연장선 상에 존재하지 않는 경우, 프로세서(300)는 제N+2 객체의 위치를 보간하고, 제N 객체, 제N+1 객체, 보간된 제N+2 객체를 잇는 보간 연장선을 생성한다.
도 3e를 참조하면, 제N 바운딩 박스(302-1) 내의 제N 객체(301-1)에 대한 제N 기준점(303-1)과, 제N+1 바운딩 박스(302-2) 내의 제N+1 객체(301-2)에 대한 제N+1 기준점(303-2)은 연장선(305) 상에 존재하지만, 제N+2 바운딩 박스(302-3) 내의 제N+2 객체에 대한 제N+2 기준점(303-3)은 연장선(305)에 존재하지 않는다.
이와 같은 경우 프로세서(300)는 연장선(305) 상에 제N+2 기준점(303-3)과 동일한 어느 한 위치정보를 포함하는 가상의 기준점(307)을 생성한다. 여기서 가상의 기준점(307)은 횡축 위치 정보 및 종축 위치 정보를 포함하며, 가상의 기준점(307)의 횡축 위치정보와, 제N+2 기준점(303-3)의 횡축 위치정보는 동일할 수 있다. 이는 제N+2 기준점(303-3)이 제1 영역(306-1)에 위치하는데 기인한 것이며, 제1 영역(306-1)에 위치하는 보간할 제N+2 기준점(303-3)은 횡방향은 그대로 두고 종방향 보간을 수행할 수 있다. 프로세서(300)는 보간할 제N+2 기준점(303-3)과 가상의 기준점(307) 각각에 소정의 가중치를 부여하고, 보간할 제N+2 기준점(303-3)과 가상의 기준점(307)의 중심점을 제N+2 객체의 보간된 기준점(308)으로 산출할 수 있다. 여기서, 가중치 대신 보간할 제N+2 기준점(303-3)과 가상의 기준점(307)의 평균점을 제N+2 객체의 보간된 기준점(308)으로 산출할 수도 있다. 이후 프로세서(300)는 도 3f를 참조하면, 제N 바운딩 박스(302-1) 내의 제N 객체(301-1)에 대한 제N 기준점(303-1)과, 제N+1 바운딩 박스(302-2) 내의 제N+1 객체(301-2)에 대한 제N+1 기준점(303-2)과, 보간된 기준점(308)을 잇는 보간 연장선(309)을 생성하고, 이전 연장선(305)을 보간 연장선(309)으로 갱신할 수 있다.
S219단계에서, 프로세서(300)는, 보간 연장선(309) 상의 제N 객체(301-1), 제N+1 객체(301-2) 및 제N+2 객체에 대한 추적 결과를, 객체 추적을 이용하는 소정의 어플리케이션으로 출력한다.
S221단계에서, 프로세서는 N=N+1(N=1)을 수행하고 S209단계로 피드백하여 계속해서 객체 검출 및 추적을 수행한다. 즉, 프로세서(300)는 제N 기준점(303-1)과, 제N+1 기준점(303-2)과, 보간된 제N+2 기준점(308)이 포함된 보간 연장선(309) 상에서 제N+3 객체 발생 예상 영역을 도출하고 동일 객체로서의 제N+3 객체가 발생하였는지 판단하여 상술한 바와 같은 처리를 수행할 수 있으며, 객체 발생 예상 영역이 영상 프레임 밖으로 완전히 나가기 전까지 반복하며, 동일한 객체가 검출되지 않으면 종료될 수 있다.
실시간 객체 인식의 경우, 프로세서(300)가 카메라(100)로부터 영상 프레임을 수신하여 객체를 인식하고, 최종적으로 객체를 디스플레이 하기까지의 속도가 차량의 속도에 따른 환경 변화를 따라가지 못하였다. 그에 따라 검출된 객체에 따른 바운딩 박스가 객체 위에 정확히 표출되지 못하고 객체 주위로 바운딩 박스가 흩날리며 정확한 픽셀 좌표를 읽어오지 못하였다. 이렇게 되면 바운딩 박스의 픽셀을 기준으로 객체의 위치를 레퍼런스 삼아 활용하는 모든 개발에서 오류를 범하게 된다. 이를 방지하기 위하여 객체를 추적하여 다음 영상 프레임이 들어와도 동일한 객체임을 판별하여 해당 객체의 바운딩 박스를 일정한 범위 내에 위치하도록 보간하여 객체와 바운딩 박스의 위치를 정확하게 할 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1: 객체 추적 장치
100: 카메라
200: 메모리
300: 프로세서
310: 객체 검출부
320: 객체 추적부
330: 갱신부

Claims (11)

  1. 프로세서에 의한 객체 추적 방법으로서,
    (a) 제N(N=1) 객체 발생에 대응하여 제N+1 객체 발생 예상 영역 도출하는 단계;
    (b) 상기 제N+1 객체 발생 예상 영역에 상기 제N 객체와 동일한 객체로서의 제N+1 객체가 발생한 경우, 상기 제N 객체 및 상기 제N+1 객체를 잇는 연장선을 생성하는 단계;
    (c) 상기 제N+1 객체에 대응하여 제N+2 객체 발생 예상 영역 도출하는 단계;
    (d) 상기 제N+2 객체 발생 예상 영역에 상기 제N+1 객체와 동일 객체로서의 제N+2 객체가 발생하였는지 판단하는 단계;
    (e) 상기 제N+2 객체가 연장선 상에 존재하지 않는 경우, 상기 제N+2 객체의 위치를 보간하여 상기 제N 객체, 상기 제N+1 객체, 위치가 보간된 제N+2 객체를 잇는 보간 연장선을 생성하는 단계; 및
    (f) 상기 보간 연장선 상에 생성한 상기 제N 객체, 상기 제N+1 객체, 상기 위치가 보정된 제N+2 객체의 추적 결과를, 객체 추적을 이용하는 소정의 어플리케이션으로 출력하는 단계;를 포함하는, 객체 추적 방법.
  2. 제 1항에 있어서, 상기 (a)단계 이전에,
    카메라가 촬영한 영상 프레임으로부터 전경 및 배경을 분리하고, 상기 전경에 포함된 상기 제N 객체를 검출하는 단계;를 더 포함하는, 객체 추적 방법.
  3. 제 1항에 있어서, 상기 (a) 단계에서,
    상기 제N+1 객체 발생 예상 영역은 상기 제N 객체를 포함하면서 상기 제N 객체보다 소정 배수 더 큰 것을 특징으로 하는, 객체 추적 방법.
  4. 제 1항에 있어서, 상기 (c) 단계에서,
    상기 제N+2 객체 발생 예상 영역은 상기 제N+1 객체를 포함하면서 상기 제N+1 객체보다 소정 배수 더 크고 방향성을 갖는 것을 특징으로 하는, 객체 추적 방법.
  5. 제 1항에 있어서, 상기 (e)단계는,
    (e-1) 상기 제N+2 객체가 연장선 상에 존재하지 않는 경우, 상기 제N+2 객체의 기준점을 산출하는 단계;
    (e-2) 상기 연장선 상에서 상기 제N+2 객체의 기준점과 동일한 어느 한 위치정보를 포함하는 가상의 기준점을 생성하는 단계;
    (e-3) 상기 제N+2 객체의 기준점과 상기 가상의 기준점에 소정의 가중치를 부여하고 상기 제N+2 객체의 기준점과 상기 가상의 기준점의 중심점을 상기 제N+2 객체의 보간된 기준점으로 산출하는 단계; 및
    (e-3) 상기 제N 객체, 상기 제N+1 객체, 상기 제N+2 객체의 보간된 기준점을 잇는 상기 보간 연장선을 생성하는 단계;를 포함하는, 객체 추적 방법.
  6. 컴퓨터를 이용하여 제 1항 내지 제 5항의 방법 중 어느 한 항의 방법을 실행시키기 위하여 상기 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  7. 객체 검출 및 객체 추적을 제공하기 위한 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라,
    제N(N=1) 객체 발생에 대응하여 제N+1 객체 발생 예상 영역 도출하고,
    상기 제N+1 객체 발생 예상 영역에 상기 제N 객체와 동일한 객체로서의 제N+1 객체가 발생한 경우, 상기 제N 객체 및 상기 제N+1 객체를 잇는 연장선을 생성하고,
    상기 제N+1 객체에 대응하여 제N+2 객체 발생 예상 영역 도출하고,
    상기 제N+2 객체 발생 예상 영역에 상기 제N+1 객체와 동일 객체로서의 제N+2 객체가 발생하였는지 판단하고,
    상기 제N+2 객체가 연장선 상에 존재하지 않는 경우, 상기 제N+2 객체의 위치를 보간하여 상기 제N 객체, 상기 제N+1 객체, 위치가 보간된 제N+2 객체를 잇는 보간 연장선을 생성하며,
    상기 보간 연장선 상에 생성한 상기 제N 객체, 상기 제N+1 객체, 상기 위치가 보정된 제N+2 객체의 추적 결과를, 객체 추적을 이용하는 소정의 어플리케이션으로 출력하는 것을 특징으로 하는, 객체 추적 장치.
  8. 제 7항에 있어서, 상기 프로세서는,
    카메라가 촬영한 영상 프레임으로부터 전경 및 배경을 분리하고, 상기 전경에 포함된 상기 제N 객체를 검출하는 것을 특징으로 하는, 객체 추적 장치.
  9. 제 7항에 있어서,
    상기 프로세서에 의해, 상기 제N+1 객체 발생 예상 영역은 상기 제N 객체를 포함하면서 상기 제N 객체보다 소정 배수 더 크게 도출하는 것을 특징으로 하는, 객체 추적 장치.
  10. 제 7항에 있어서,
    상기 프로세서에 의해, 상기 제N+2 객체 발생 예상 영역은 상기 제N+1 객체를 포함하면서 상기 제N+1 객체보다 소정 배수 더 크고 방향성을 갖도록 도출하는 것을 특징으로 하는, 객체 추적 장치.
  11. 제 7항에 있어서, 상기 프로세서는,
    상기 제N+2 객체가 연장선 상에 존재하지 않는 경우, 상기 제N+2 객체의 기준점을 산출하고,
    상기 연장선 상에서 상기 제N+2 객체의 기준점과 동일한 어느 한 위치정보를 포함하는 가상의 기준점을 생성하고,
    상기 제N+2 객체의 기준점과 상기 가상의 기준점에 소정의 가중치를 부여하고 상기 제N+2 객체의 기준점과 상기 가상의 기준점의 중심점을 상기 제N+2 객체의 보간된 기준점으로 산출하며,
    상기 제N 객체, 상기 제N+1 객체, 상기 제N+2 객체의 보간된 기준점을 잇는 상기 보간 연장선을 생성하는 것을 특징으로 하는, 객체 추적 장치.
KR1020180150516A 2018-11-29 2018-11-29 객체 추적 장치 및 방법 KR20200064411A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180150516A KR20200064411A (ko) 2018-11-29 2018-11-29 객체 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180150516A KR20200064411A (ko) 2018-11-29 2018-11-29 객체 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200064411A true KR20200064411A (ko) 2020-06-08

Family

ID=71089566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180150516A KR20200064411A (ko) 2018-11-29 2018-11-29 객체 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20200064411A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229287A1 (ko) * 2022-05-23 2023-11-30 김한익 충돌 후보 객체 결정 방법 및 장치, 컴퓨터 판독 가능한 저장 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060860A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 객체들 간의 충돌을 방지하는 충돌 방지 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060860A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 객체들 간의 충돌을 방지하는 충돌 방지 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229287A1 (ko) * 2022-05-23 2023-11-30 김한익 충돌 후보 객체 결정 방법 및 장치, 컴퓨터 판독 가능한 저장 매체

Similar Documents

Publication Publication Date Title
US11409303B2 (en) Image processing method for autonomous driving and apparatus thereof
US11816585B2 (en) Machine learning models operating at different frequencies for autonomous vehicles
US20210213961A1 (en) Driving scene understanding
EP3757890A1 (en) Method and device for image processing, method and device for training object detection model
US8050459B2 (en) System and method for detecting pedestrians
US9947077B2 (en) Video object tracking in traffic monitoring
JP6230751B1 (ja) 物体検出装置および物体検出方法
JP7185419B2 (ja) 車両のための、対象物を分類するための方法および装置
US20150054955A1 (en) Image processing method of vehicle camera and image processing apparatus using the same
US9747507B2 (en) Ground plane detection
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
CN110399823B (zh) 主体跟踪方法和装置、电子设备、计算机可读存储介质
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
WO2019001698A1 (en) ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD
CN112581481B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR20200064411A (ko) 객체 추적 장치 및 방법
KR101877741B1 (ko) 영상 블러를 고려한 윤곽선 검출 장치
KR101555876B1 (ko) 영상 합성을 위한 객체 추적 방법 및 시스템
US11107197B2 (en) Apparatus for processing image blurring and method thereof
CN112784817B (zh) 车辆所在车道检测方法、装置、设备及存储介质
CN111325075B (zh) 一种视频序列目标检测方法
CN110736991B (zh) 车辆雷达控制装置和方法
US11157755B2 (en) Image processing apparatus
KR102112250B1 (ko) 오브젝트 검출 방법 및 장치
CN113657137A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal