KR20190062635A - 객체 추적 장치 및 객체 추적 방법 - Google Patents

객체 추적 장치 및 객체 추적 방법 Download PDF

Info

Publication number
KR20190062635A
KR20190062635A KR1020170152561A KR20170152561A KR20190062635A KR 20190062635 A KR20190062635 A KR 20190062635A KR 1020170152561 A KR1020170152561 A KR 1020170152561A KR 20170152561 A KR20170152561 A KR 20170152561A KR 20190062635 A KR20190062635 A KR 20190062635A
Authority
KR
South Korea
Prior art keywords
dimensional information
unit
information
boundary
road
Prior art date
Application number
KR1020170152561A
Other languages
English (en)
Inventor
황영배
윤주홍
박민규
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170152561A priority Critical patent/KR20190062635A/ko
Priority to PCT/KR2017/013064 priority patent/WO2019098422A1/ko
Publication of KR20190062635A publication Critical patent/KR20190062635A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/00791—
    • G06K9/00208—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

전방 영상, 깊이 맵, 및 도로 프로파일을 이용하여 객체를 추적하는 객체 추적 장치 및 객체 추적 방법을 제공한다.
개시된 발명의 일 실시예에 따른 객체 추적 장치는, 미리 정해진 프레임 레이트에 따라 전방 영상, 및 깊이 맵 중 적어도 하나로부터 도로 프로파일을 획득하는 도로 프로파일 획득부; 상기 깊이 맵을 이용하여 상기 전방 영상 중 관심 영역 내에 존재하는 객체와 도로의 경계를 검출하고, 상기 검출된 경계에 상기 도로 프로파일을 매핑하여 매 프레임마다 상기 객체의 3차원 정보를 측정하는 영상 처리부; 및 미리 정해진 속도 모델을 이용하여 다음 프레임에서의 상기 객체의 3차원 정보를 예측하고, 상기 예측된 3차원 정보를 상기 다음 프레임에서 측정된 3차원 정보에 따라 보상하여 상기 객체를 추적하는 객체 추적부; 를 포함할 수 있다.

Description

객체 추적 장치 및 객체 추적 방법{OBJECT TRACKING APPARATUS AND OBJECT TRACKING METHOD}
전방의 객체를 검출하고, 검출된 객체를 추적하는 객체 추적 장치 및 객체 추적 방법에 관한 것이다.
운전자 보조 시스템(Advanced Driver Assistance System; ADAS) 또는 자율주행 시스템(Autonomous Driving System; ADS)은 주행 중인 차량의 주변 환경에 따라 차량 제어를 수행하므로, 차량의 주변 환경 정보를 감지하는 것이 중요하다.
차량의 주변 환경 정보는 전방, 후방, 및/또는 측방 차량의 존재 정보, 속도 정보, 거리 정보와, 보행자, 교통신호, 주행 도로 등과 같은 인접 차량 이외의 정보 등을 포함할 수 있다.
다수의 운전자 보조 시스템이나 자율 주행 시스템은 실시간으로 주변 환경을 반영하여 동작하므로, 연속적으로 주변 환경을 인식하기 위해서는 차량 전방에 존재하는 차량이나 사람 등과 같은 객체를 추적하는 객체 추적 장치가 필수적으로 활용될 수 있다.
일반적으로 3차원 객체 추적 장치는 스테레오 카메라 또는 카메라-깊이 측정 센서(레이더, 라이다)의 조합 구성을 이용하여 영상 정보와 깊이 정보를 동시에 획득함으로써 객체의 3차원 정보를 연속적으로 추정할 수 있다. 이러한 객체 추적 장치는 영상 기반 객체 검출기(Object Detector)로부터 획득한 측정치(2차원 박스)를 기반으로 깊이 정보를 가공하여 객체의 상태를 추정하는 장치가 대부분이다.
그러나, 상술한 방법은 2차원 영상에서 객체의 상태를 추정하기에는 효과적이지만, 3차원 객체 추적에 적용할 때에는 객체 추적의 정확도가 저하될 수 있다. 구체적으로, 깊이 맵 에러, 및 센서의 3차원 정보 획득의 한계로 객체의 3차원 위치 측정의 정확도가 저하될 수 있고, 스테레오 카메라의 구조적 문제, 및 라이다의 거리에 따른 측정의 한계로 원거리 객체 측정의 어려움이 발생할 수 있다.
개시된 발명의 일 측면은 전방 영상, 깊이 맵, 및 도로 프로파일을 이용하여 객체를 추적하는 객체 추적 장치 및 객체 추적 방법을 제공한다.
개시된 발명의 일 실시예에 따른 객체 추적 장치는, 미리 정해진 프레임 레이트에 따라 전방 영상, 및 깊이 맵 중 적어도 하나로부터 도로 프로파일을 획득하는 도로 프로파일 획득부; 상기 깊이 맵을 이용하여 상기 전방 영상 중 관심 영역 내에 존재하는 객체와 도로의 경계를 검출하고, 상기 검출된 경계에 상기 도로 프로파일을 매핑하여 매 프레임마다 상기 객체의 3차원 정보를 측정하는 영상 처리부; 및 미리 정해진 속도 모델을 이용하여 다음 프레임에서의 상기 객체의 3차원 정보를 예측하고, 상기 예측된 3차원 정보를 상기 다음 프레임에서 측정된 3차원 정보에 따라 보상하여 상기 객체를 추적하는 객체 추적부; 를 포함할 수 있다.
또한, 상기 영상 처리부는, 상기 전방 영상 상에서 상기 객체의 위치를 검출함으로써 상기 관심 영역을 설정하는 관심 영역 설정부; 상기 설정된 관심 영역 내에서 상기 깊이 맵 및 상기 전방 영상의 변화도(Gradient) 정보를 이용하여 상기 객체와 상기 도로의 경계를 검출하는 경계선 검출부; 및 상기 검출된 경계에 상기 도로 프로파일을 매핑하여 상기 객체의 상기 3차원 정보를 측정할 수 있다.
또한, 상기 3차원 정보 측정부는, 상기 전방 영상으로부터 확인된 상기 객체 정보를 이용하여, 상기 검출된 경계로부터 상기 객체의 높이를 결정할 수 있다.
또한, 상기 영상 처리부는, 상기 도로 프로파일이 매핑된 경계의 깊이 정보를 이용하여 상기 객체의 3차원 위치 및 상기 객체의 크기를 포함하는 상기 3차원 정보를 측정할 수 있다.
또한, 상기 객체 추적부는, 상기 측정된 객체의 3차원 정보에 상기 미리 정해진 속도 모델을 적용하여 상기 다음 프레임에서의 상기 객체의 3차원 정보를 예측하는 3차원 정보 예측부; 상기 예측된 3차원 정보와 상기 다음 프레임에서 측정된 복수의 3차원 정보의 연관도를 확인하고, 상기 연관도가 가장 높은 상기 측정된 3차원 정보를 상기 객체에 할당하는 연관도 확인부; 및 상기 객체에 할당된 상기 3차원 정보에 따라 상기 예측된 3차원 정보를 보상하는 3차원 정보 갱신부; 를 포함할 수 있다.
또한, 상기 객체 추적부는, 상기 객체에 할당되지 않은 3차원 정보에 신규 생성 객체를 할당하거나, 미리 정해진 프레임 이상 상기 측정된 3차원 정보가 할당되지 않은 객체를 삭제하는 초기화부; 를 더 포함할 수 있다.
개시된 발명의 일 실시 예에 따른 객체 추적 방법은, 미리 정해진 프레임 레이트에 따라 전방 영상, 및 깊이 맵 중 적어도 하나로부터 도로 프로파일을 획득하는 단계; 상기 깊이 맵을 이용하여 상기 전방 영상 중 관심 영역 내에 존재하는 객체와 도로의 경계를 검출하는 단계; 상기 검출된 경계에 상기 도로 프로파일을 매핑하여 매 프레임마다 상기 객체의 3차원 정보를 측정하는 단계; 및 미리 정해진 속도 모델을 이용하여 다음 프레임에서의 상기 객체의 3차원 정보를 예측하고, 상기 예측된 3차원 정보를 상기 다음 프레임에서 측정된 3차원 정보에 따라 보상하여 상기 객체를 추적하는 단계; 를 포함할 수 있다.
또한, 상기 객체와 도로의 경계를 검출하는 단계는, 상기 전방 영상 상에서 상기 객체의 위치를 검출함으로써 상기 관심 영역을 설정하는 단계; 및 상기 설정된 관심 영역 내에서 상기 깊이 맵 및 상기 전방 영상의 변화도(Gradient) 정보를 이용하여 상기 객체와 상기 도로의 경계를 검출하는 단계; 를 포함할 수 있다.
또한, 상기 객체의 3차원 정보를 측정하는 단계는, 상기 전방 영상으로부터 확인된 상기 객체 정보를 이용하여, 상기 검출된 경계로부터 상기 객체의 높이를 결정할 수 있다.
또한, 상기 객체의 3차원 정보를 측정하는 단계는, 상기 도로 프로파일이 매핑된 경계의 깊이 정보를 이용하여 상기 객체의 3차원 위치 및 상기 객체의 크기를 포함하는 상기 3차원 정보를 측정할 수 있다.
또한, 상기 객체를 추적하는 단계는, 상기 측정된 객체의 3차원 정보에 상기 미리 정해진 속도 모델을 적용하여 상기 다음 프레임에서의 상기 객체의 3차원 정보를 예측하는 단계; 상기 예측된 3차원 정보와 상기 다음 프레임에서 측정된 복수의 3차원 정보의 연관도를 확인하고, 상기 연관도가 가장 높은 상기 측정된 3차원 정보를 상기 객체에 할당하는 단계; 및 상기 객체에 할당된 상기 3차원 정보에 따라 상기 예측된 3차원 정보를 보상하는 단계; 를 포함할 수 있다.
또한, 상기 객체에 할당되지 않은 3차원 정보에 신규 생성 객체를 할당하는 단계; 및 미리 정해진 프레임 이상 상기 측정된 3차원 정보가 할당되지 않은 객체를 삭제하는 단계; 를 더 포함할 수 있다.
개시된 발명의 일 측면에 따른 객체 추적 장치, 및 객체 추적 방법에 따르면, 도로 프로파일을 이용하여 객체를 추적하므로, 객체의 3차원 정보 획득이 용이할 수 있다. 또한, 원거리 객체 추적의 정확도를 개선할 수 있어, 고속도로와 같은 고속의 주행환경에도 적용이 가능하다. 나아가, 도로 프로파일을 제약 정보로 활용함으로써 객체의 3차원 정보를 강건하게 추정할 수 있고, 그 결과 충돌 회피, 충돌 경고와 같은 운전자 보조 시스템에서의 활용성이 높아질 수 있다.
도 1은 개시된 발명의 일 실시 예에 따른 객체 추적 장치의 제어 블록도이다.
도 2는 개시된 발명의 일 실시 예에 따른 전방 영상 획득부에 의해 획득된 전방 영상을 나타내는 도면이다.
도 3은 개시된 발명의 일 실시 예에 따른 깊이 맵 획득부에 의해 획득된 깊이 맵을 나타내는 도면이다.
도 4는 개시된 발명의 일 실시 예에 따른 도로 프로파일 획득부에 의해 획득된 도로 프로파일을 나타내는 도면이다.
도 5는 개시된 발명의 일 실시 예에 따른 영상 처리부의 상세 제어 블록도이다.
도 6은 개시된 발명의 일 실시 예에 따른 영상 처리부에 의한 객체 검출 단계를 설명하기 위한 도면이다.
도 7은 개시된 발명의 일 실시 예에 따른 객체 추적부의 상세 제어 블록도이다.
도 8은 개시된 발명의 일 실시 예에 따른 객체 추적 방법의 흐름도이다.
본 명세서에 기재된 실시 예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다.
예를 들어, 본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합이 존재함을 표현하고자 하는 것이며, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합의 추가적인 존재 또는 부가 가능성을 배제하지 않는다.
또한, "제1", "제2" 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위하여 사용되며, 상기 하나의 구성요소들을 한정하지 않는다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA (field-programmable gate array)/ ASIC (application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시 예를 상세하게 설명한다. 첨부된 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낼 수 있다.
도 1은 개시된 발명의 일 실시 예에 따른 객체 추적 장치의 제어 블록도이고, 도 2는 개시된 발명의 일 실시 예에 따른 전방 영상 획득부에 의해 획득된 전방 영상을 나타내고, 도 3은 개시된 발명의 일 실시 예에 따른 깊이 맵 획득부에 의해 획득된 깊이 맵을 나타내고, 도 4는 개시된 발명의 일 실시 예에 따른 도로 프로파일 획득부에 의해 획득된 도로 프로파일을 나타내는 도면이다.
도 1을 참조하면, 개시된 발명의 일 실시예에 따른 객체 추적 장치(1)는, 전방 영상, 깊이 맵, 및 도로 프로파일을 획득하는 획득부(100); 획득부(100)에 의해 획득된 전방 영상, 깊이 맵, 및 도로 프로파일을 이용하여 객체를 검출하는 영상 처리부(200); 및 검출된 객체를 추적하는 객체 추적부(300); 를 포함할 수 있다.
획득부(100)는 객체를 검출하는데 이용되는 전방 영상, 깊이 맵, 및 도로 프로파일을 획득할 수 있다. 이를 위해, 일 실시 예에 따른 획득부(100)는, 전방 영상을 획득하는 전방 영상 획득부(110); 전방에 대한 깊이 맵을 획득하는 깊이 맵 획득부(120); 및 도로 프로파일을 획득하는 도로 프로파일 획득부(130); 를 포함할 수 있다.
전방 영상 획득부(110)는 전방 영상을 획득할 수 있다. 여기서, 전방 영상이란 차량의 진행 방향 상에 존재하는 복수의 객체를 포함하는 영상을 의미할 수 있다. 도 2를 참조하면, 전방 영상은 주행 도로를 주행하는 복수의 선행 차량과 같은 복수의 객체를 포함할 수 있다.
전방 영상을 획득하기 위해, 전방 영상 획득부(110)는 CMOS(Complementary Metal-Oxide Semiconductor) 또는 CCD(Charge Coupled Device) 등의 이미지 센서를 포함하는 카메라로 구현될 수 있다. 카메라의 이미지 센서는 전방으로부터 감지되는 가시광선을 전기적 신호로 변환함으로써 전방 영상을 획득할 수 있다. 카메라로 구현되는 전방 영상 획득부(110)는 차량의 전방을 향하도록 차량의 내부 또는 외부에 설치될 수 있다.
또한, 전방 영상 획득부(110)는 미리 정해진 프레임 레이트에 따라 연속적으로 전방 영상을 획득할 수 있다. 즉, 전방 영상 획득부(110)는 매 프레임마다 전방 영상을 주기적으로 획득할 수 있다.
또한, 카메라로 구현되는 전방 영상 획득부(110)는 단안 카메라 일 수 있으며, 이와는 달리 스테레오 카메라일 수도 있다. 만약, 전방 영상 획득부(110)가 스테레오 카메라로 구현되는 경우, 전방 영상 획득부(110)가 획득한 스테레오 영상은 후술할 깊이 맵 획득부(120)가 깊이 맵을 획득하는데 이용될 수 있다.
깊이 맵 획득부(120)는 전방에 대한 깊이 맵을 획득하는 기술적 사상 안에서 다양하게 구현될 수 있다. 예를 들어, 깊이 맵 획득부(120)는 스테레오 카메라로 구현되는 전방 영상 획득부(110)가 획득한 스테레오 영상을 정합함으로써 깊이 맵을 획득할 수 있다. 이와는 달리, 깊이 맵 획득부(120)는 레이더 또는 라이다 와 같은 깊이 측정 센서를 포함하고, 전방 영상 획득부(110)가 획득한 전방 영상과 깊이 측정 센서가 획득한 센싱값을 이용하여 깊이 맵을 획득할 수도 있다. 도 3은 도 2의 전방 영상을 이용하여 획득한 깊이 맵을 예시한다.
깊이 맵 획득부(120)는 전방 영상 획득부(110)에 동기화하여 미리 정해진 프레임 레이트에 따라 깊이 맵을 획득할 수 있다. 즉, 깊이 맵 획득부(120)는 매 프레임마다 깊이 맵을 주기적으로 획득할 수 있다.
도로 프로파일 획득부(130)는 전방의 주행 도로에 대한 도로 프로파일을 획득할 수 있다. 여기서, 도로 프로파일이란 도로 노면의 구조 정보로서, 도로의 3차원 정보를 포함할 수 있고, 함수로서 표현 가능할 수 있다.
도로 프로파일 획득부(130)는 도로 프로파일을 획득하는 기술적 사상 안에서 다양하게 구현될 수 있다. 예를 들어, 도로 프로파일 획득부(130)는 깊이 맵 획득부(120)가 획득한 깊이 맵을 이용하여 전방의 주행 도로에 대한 도로 프로파일을 획득할 수 있다.
도로 프로파일 획득부(130)는 전방 영상 획득부(110) 및 깊이 맵 획득부(120)에 동기화하여 미리 정해진 프레임 레이트에 따라 도로 프로파일을 획득할 수 있다. 즉, 도로 프로파일 획득부(130)는 매 프레임마다 도로 프로파일을 주기적으로 획득할 수 있다.
다시 도 1을 참조하면, 영상 처리부(200)는 획득부(100)에 의해 획득된 전방 영상, 깊이 맵 및 도로 프로파일을 이용하여 객체를 검출할 수 있다. 이하에서는 도 5 및 6을 참조하여 영상 처리부(200)의 동작을 상세히 설명한다.
도 5는 개시된 발명의 일 실시 예에 따른 영상 처리부의 상세 제어 블록도이고, 도 6은 개시된 발명의 일 실시 예에 따른 영상 처리부에 의한 객체 검출 단계를 설명하기 위한 도면이다.
도 5를 참조하면, 개시된 발명의 일 실시 예에 따른 영상 처리부(200)는, 전방 영상 상에서 관심 영역을 설정하는 관심 영역 설정부(210); 관심 영역 내에서 객체와 도로의 경계를 검출하는 경계선 검출부(220); 및 검출된 경계로부터 객체의 3차원 정보를 측정하는 3차원 정보 측정부(230); 를 포함할 수 있다.
관심 영역 설정부(210)는 전방 영상 상에서 객체의 위치를 검출할 수 있다. 즉, 관심 영역 설정부(210)는 영상 기반 객체검출기(Object Detector)로서 동작할 수 있다. 예를 들어, 관심 영역 설정부(210)는 배경 추정 알고리즘을 이용하여 객체의 위치를 검출할 수 있고, 이와는 달리 특징점(Feature)을 활용해 학습 알고리즘을 이용하여 객체의 위치를 검출할 수도 있다.
이와 같은 영상 기반 객체 검출의 결과, 관심 영역 설정부(210)는 객체의 위치로서 2차원 박스 형태의 사각형 영역을 검출할 수 있다. 관심 영역 설정부(210)는 검출된 사각형 영역을 관심 영역으로 설정할 수 있다.
도 6의 을 참조하면, 관심 영역 설정부(210)는 선행 차량을 객체로서 검출하여두 개의 노란색의 사각형 영역을 검출하였으며, 이를 관심 영역으로 설정하였음을 확인할 수 있다.
경계선 검출부(220)는 설정된 관심 영역 내에서 객체와 도로의 경계를 검출할 수 있다. 이를 위해, 경계선 검출부(220)는 깊이 맵과 전방 영상의 변화도(Gradient) 정보를 이용할 수 있다.
도 6의 를 참조하면, 경계선 검출부(220)는 깊이 맵 상에서 각각의 관심 영역 내의 선행 차량의 외곽 경계를 붉은 실선으로서 검출할 수 있다. 이 때, 경계선 검출부(220)는 전방 영상의 변화도를 함께 이용할 수 있다.
3차원 정보 측정부(230)는 검출된 경계에 도로 프로파일을 매핑하여 객체의 3차원 정보를 측정할 수 있다. 구체적으로, 3차원 정보 측정부(230)는 도 6의 에서 검출된 선행 차량의 경계에 과 같은 도로 프로파일을 매핑함으로써 와 같은 결과를 획득할 수 있다.
특히, 3차원 정보 측정부(230)는 도로와 객체 사이의 경계상에 도로 프로파일을 매핑하여, 객체의 3차원 정보를 측정할 수 있다. 구체적으로, 3차원 정보 측정부(230)는 매핑된 경계의 깊이 정보를 이용하여 객체의 3차원 위치 및 객체의 크기를 포함하는 3차원 정보를 측정할 수 있다.
이 때, 3차원 정보 측정부(230)는 전방 영상으로부터 확인된 객체의 정보를 이용하여, 객체와 도로의 경계로부터 객체의 높이를 결정할 수 있다. 도 6의 를 참조하면, 전방 영상으로부터 확인된 높이 만큼 하단의 선행 차량과 도로의 경계로부터 연장된 선행 차량의 3차원 정보가 확인된다.
다시 도 1을 참조하면, 객체 추적부(300)는 검출된 객체를 다음 프레임에서 추적할 수 있다. 이하에서는, 도 7을 참조하여, 객체 추적부(300)의 동작을 상세히 설명한다.
도 7은 개시된 발명의 일 실시 예에 따른 객체 추적부의 상세 제어 블록도이다.
도 7을 참조하면, 개시된 발명의 일 실시 예에 따른 객체 추적부(300)는 다음 프레임에서의 객체의 3차원 정보를 예측하는 3차원 정보 예측부(310); 다음 프레임에서 측정된 3차원 정보 중 예측된 3차원 정보와 가장 연관도가 높은 어느 하나를 해당 객체에 할당하는 연관도 확인부(320); 할당된 3차원 정보에 따라 예측된 3차원 정보를 보상하는 3차원 정보 갱신부(330); 및 할당되지 않은 3차원 정보에 신규 객체를 할당하거나, 미리 정해진 프레임 이상 측정된 3차원 정보가 할당되지 않은 객체를 삭제하는 초기화부(340); 를 포함할 수 있다.
3차원 정보 예측부(310)는 측정된 3차원 정보를 이용하여 다음 프레임에서의 객체의 3차원 정보를 예측할 수 있다. 구체적으로, 3차원 정보 예측부(310)는 측정된 3차원 정보에 미리 정해진 동역학 모델을 이용하여 다음 프레임에서의 3차원 정보를 예측할 수 있다. 여기서, 동역학 모델은 객체의 움직임을 나타내는 모델로서, 등속 모델(Constant Velocity Model) 및 등가속 모델(Constant Accelerator Model) 을 포함할 수 있다.
연관도 확인부(320)는 다음 프레임에서 측정된 복수의 3차원 정보와 특정 객체의 예측된 3차원 정보의 연관도를 확인할 수 있다. 또한, 연관도 확인부(320)는 가장 연관도가 높은 측정된 3차원 정보를 특정 객체에 할당할 수 있다.
3차원 정보 갱신부(330)는 할당된 3차원 정보와 예측된 3차원 정보를 비교하여, 할당된 3차원 정보를 이용하여 특정 객체의 3차원 정보를 보상할 수 있다. 즉, 3차원 정보 갱신부(330)는 지난 프레임에서 예측했던 현재 프레임에서 특정 객체의 위치 및 속도를 현재 프레임에서 측정한 값으로 갱신할 수 있다.
이 과정에서, 3차원 정보 갱신부(330)는 칼만필터, Alpha-Beta-Gamma 필터 등 다양한 확률 기반 필터링 방법을 채택할 수 있다.
마지막으로, 초기화부(340)는 객체를 할당 받지 못한 측정된 3차원 정보에 신규 객체를 할당할 수 있다. 그 결과, 신규 객체에 대하여는 다음 프레임부터 상술한 3차원 정보 예측, 연관도 확인, 및 3차원 정보 갱신의 단계가 적용될 수 있다.
또한, 초기화부(340)는 미리 정해진 프레임 이상 측정된 3차원 정보가 할당되지 않은 객체를 삭제할 수 있다. 이를 통해, 객체 추적부(300)는 해당 객체에 대한 추적을 중단할 수 있다.
다시 도 1을 참조하면, 이렇게 검출되어 추적되는 객체는 디스플레이부(D)에 의해 사용자에게 제공될 수 있다. 도 1에서는 객체 추적 장치가 디스플레이부(D)와 독립적으로 마련되는 경우를 예시하나, 디스플레이부(D)가 객체 추적 장치의 일 구성으로서 마련될 수도 있다.
도 8은 개시된 발명의 일 실시 예에 따른 객체 추적 방법의 흐름도이다.
먼저, 획득부(100)에 의해, 미리 정해진 프레임 레이트에 따라 전방 영상 및 깊이 영상 중 적어도 하나로부터 도로 프로파일을 획득할 수 있다.(S100) 여기서, 도로 프로파일이란 도로 노면의 구조 정보로서, 도로의 3차원 정보를 포함할 수 있고, 함수로서 표현 가능할 수 있다. 예를 들어, 도로 프로파일은 도로의 3차원 정보로서 차량, 예를 들어 전방 영상 획득부(110)로부터 노면까지의 거리 정보를 포함할 수 있다.
도로 프로파일을 획득하는 방법은 다양하게 구현될 수 있다. 예를 들어, 획득부(100)에 의해, 깊이 맵을 이용하여 전방의 주행 도로에 대한 도로 프로파일을 획득할 수 있다.
도로 프로파일이 획득되면, 영상 처리부(200)에 의해, 깊이 맵을 이용하여 전방 영상 중 관심 영역 내에 존재하는 객체와 도로의 경계를 검출할 수 있다.(S110) 이 때, 관심 영역은 영상 기반 객체 검출 방법에 의해 설정될 수 있고, 객체와 도로의 경계를 검출하는데 깊이 맵과 전방 영상의 변화도(Gradient) 정보가 이용될 수 있다.
그 다음, 영상 처리부(200)에 의해, 검출된 경계에 도로 프로파일을 매핑하여 매 프레임마다 객체의 3차원 정보를 측정할 수 있다.(S120) 특히, 3차원 정보 측정부(230)는 도로와 객체 사이의 경계상에 도로 프로파일을 매핑하여, 객체의 3차원 정보를 측정할 수 있다. 구체적으로, 3차원 정보 측정부(230)는 매핑된 경계의 깊이 정보를 이용하여 객체의 3차원 위치, 속도 및 크기를 포함하는 3차원 정보를 측정할 수 있다.
3차원 정보가 측정되면, 객체 추적부(300)에 의해, 미리 정해진 동역학 모델을 이용하여 다음 프레임에서의 객체의 3차원 정보를 예측할 수 있다.(S130) 여기서, 동역학 모델은 객체의 움직임을 나타내는 모델을 의미할 수 있다. 구체적으로, 객체 추적부(300)에 의해, 등속 모델 또는 등가속 모델에 따라 다음 프레임에서의 객체의 3차원 정보를 예측할 수 있다.
마지막으로, 객체 추적부(300)에 의해, 예측된 3차원 정보를 다음 프레임에서 측정된 3차원 정보에 따라 보상하여 객체를 추적할 수 있다.(S140)
상술한 바와 같이, 개시된 발명의 일 측면에 따른 객체 추적 장치(1), 및 객체 추적 방법에 따르면, 도로 프로파일을 이용하여 객체를 추적하므로, 객체의 3차원 정보 획득이 용이할 수 있다. 또한, 원거리 객체 추적의 정확도를 개선할 수 있어, 고속도로와 같은 고속의 주행환경에도 적용이 가능하다. 나아가, 도로 프로파일을 제약 정보로 활용함으로써 객체의 3차원 정보를 강건하게 추정할 수 있고, 그 결과 충돌 회피, 충돌 경고와 같은 운전자 보조 시스템에서의 활용성이 높아질 수 있다.
이상의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 개시된 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 개시된 발명의 등가적 범위 내에서의 모든 변경은 개시된 발명의 범위에 포함된다.
1: 객체 추적 장치
100: 획득부
110: 전방 영상 획득부
120: 깊이 맵 획득부
130: 도로 프로파일 획득부
200: 영상 처리부
210: 관심 영역 설정부
220: 경계선 검출부
230: 3차원 정보 측정부
300: 객체 추적부
310: 3차원 정보 예측부
320: 연관도 확인부
330: 3차원 정보 갱신부
340: 초기화부
400: 제어부
500: 구동부
510: 게이트 구동부
520: 데이터 구동부
530: 백라이트 구동부

Claims (12)

  1. 미리 정해진 프레임 레이트에 따라 전방 영상, 및 깊이 맵 중 적어도 하나로부터 도로 프로파일을 획득하는 도로 프로파일 획득부;
    상기 깊이 맵을 이용하여 상기 전방 영상 중 관심 영역 내에 존재하는 객체와 도로의 경계를 검출하고, 상기 검출된 경계에 상기 도로 프로파일을 매핑하여 매 프레임마다 상기 객체의 3차원 정보를 측정하는 영상 처리부; 및
    객체의 움직임을 나타내는 동역학 모델을 이용하여 다음 프레임에서의 상기 객체의 3차원 정보를 예측하고, 상기 예측된 3차원 정보를 상기 다음 프레임에서 측정된 3차원 정보에 따라 보상하여 상기 객체를 추적하는 객체 추적부; 를 포함하는 객체 추적 장치.
  2. 제 1 항에 있어서,
    상기 영상 처리부는,
    상기 전방 영상 상에서 상기 객체의 위치를 검출함으로써 상기 관심 영역을 설정하는 관심 영역 설정부;
    상기 설정된 관심 영역 내에서 상기 깊이 맵 및 상기 전방 영상의 변화도(Gradient) 정보를 이용하여 상기 객체와 상기 도로의 경계를 검출하는 경계선 검출부; 및
    상기 검출된 경계에 상기 도로 프로파일을 매핑하여 상기 객체의 상기 3차원 정보를 측정하는 3차원 정보 측정부; 를 포함하는 객체 추적 장치.
  3. 제 2 항에 있어서,
    상기 3차원 정보 측정부는,
    상기 전방 영상으로부터 확인된 상기 객체 정보를 이용하여, 상기 검출된 경계로부터 상기 객체의 높이를 결정하는 객체 추적 장치.
  4. 제 1 항에 있어서,
    상기 영상 처리부는,
    상기 도로 프로파일이 매핑된 경계의 깊이 정보를 이용하여 상기 객체의 3차원 위치 및 상기 객체의 크기를 포함하는 상기 3차원 정보를 측정하는 객체 추적 장치.
  5. 제 1 항에 있어서,
    상기 객체 추적부는,
    상기 측정된 객체의 3차원 정보에 상기 미리 정해진 속도 모델을 적용하여 상기 다음 프레임에서의 상기 객체의 3차원 정보를 예측하는 3차원 정보 예측부;
    상기 예측된 3차원 정보와 상기 다음 프레임에서 측정된 복수의 3차원 정보의 연관도를 확인하고, 상기 연관도가 가장 높은 상기 측정된 3차원 정보를 상기 객체에 할당하는 연관도 확인부; 및
    상기 객체에 할당된 상기 3차원 정보에 따라 상기 예측된 3차원 정보를 보상하는 3차원 정보 갱신부; 를 포함하는 객체 추적 장치.
  6. 제 5 항에 있어서,
    상기 객체 추적부는,
    상기 객체에 할당되지 않은 3차원 정보에 신규 생성 객체를 할당하거나, 미리 정해진 프레임 이상 상기 측정된 3차원 정보가 할당되지 않은 객체를 삭제하는 초기화부; 를 더 포함하는 객체 추적 장치.
  7. 미리 정해진 프레임 레이트에 따라 전방 영상, 및 깊이 맵 중 적어도 하나로부터 도로 프로파일을 획득하는 단계;
    상기 깊이 맵을 이용하여 상기 전방 영상 중 관심 영역 내에 존재하는 객체와 도로의 경계를 검출하는 단계;
    상기 검출된 경계에 상기 도로 프로파일을 매핑하여 매 프레임마다 상기 객체의 3차원 정보를 측정하는 단계; 및
    객체의 움직임을 나타내는 동역학 모델을 이용하여 다음 프레임에서의 상기 객체의 3차원 정보를 예측하고, 상기 예측된 3차원 정보를 상기 다음 프레임에서 측정된 3차원 정보에 따라 보상하여 상기 객체를 추적하는 단계; 를 포함하는 객체 추적 방법.
  8. 제 7 항에 있어서,
    상기 객체와 도로의 경계를 검출하는 단계는,
    상기 전방 영상 상에서 상기 객체의 위치를 검출함으로써 상기 관심 영역을 설정하는 단계; 및
    상기 설정된 관심 영역 내에서 상기 깊이 맵 및 상기 전방 영상의 변화도(Gradient) 정보를 이용하여 상기 객체와 상기 도로의 경계를 검출하는 단계; 를 포함하는 객체 추적 방법.
  9. 제 7 항에 있어서,
    상기 객체의 3차원 정보를 측정하는 단계는,
    상기 전방 영상으로부터 확인된 상기 객체 정보를 이용하여, 상기 검출된 경계로부터 상기 객체의 높이를 결정하는 객체 추적 방법.
  10. 제 7 항에 있어서,
    상기 객체의 3차원 정보를 측정하는 단계는,
    상기 도로 프로파일이 매핑된 경계의 깊이 정보를 이용하여 상기 객체의 3차원 위치 및 상기 객체의 크기를 포함하는 상기 3차원 정보를 측정하는 객체 추적 방법.
  11. 제 7 항에 있어서,
    상기 객체를 추적하는 단계는,
    상기 측정된 객체의 3차원 정보에 상기 미리 정해진 속도 모델을 적용하여 상기 다음 프레임에서의 상기 객체의 3차원 정보를 예측하는 단계;
    상기 예측된 3차원 정보와 상기 다음 프레임에서 측정된 복수의 3차원 정보의 연관도를 확인하고, 상기 연관도가 가장 높은 상기 측정된 3차원 정보를 상기 객체에 할당하는 단계; 및
    상기 객체에 할당된 상기 3차원 정보에 따라 상기 예측된 3차원 정보를 보상하는 단계; 를 포함하는 객체 추적 방법.
  12. 제 11 항에 있어서,
    상기 객체에 할당되지 않은 3차원 정보에 신규 생성 객체를 할당하는 단계; 및
    미리 정해진 프레임 이상 상기 측정된 3차원 정보가 할당되지 않은 객체를 삭제하는 단계; 를 더 포함하는 객체 추적 방법.

KR1020170152561A 2017-11-15 2017-11-15 객체 추적 장치 및 객체 추적 방법 KR20190062635A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170152561A KR20190062635A (ko) 2017-11-15 2017-11-15 객체 추적 장치 및 객체 추적 방법
PCT/KR2017/013064 WO2019098422A1 (ko) 2017-11-15 2017-11-17 객체 추적 장치 및 객체 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170152561A KR20190062635A (ko) 2017-11-15 2017-11-15 객체 추적 장치 및 객체 추적 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190127751A Division KR102189502B1 (ko) 2019-10-15 2019-10-15 객체 추적 장치 및 객체 추적 방법

Publications (1)

Publication Number Publication Date
KR20190062635A true KR20190062635A (ko) 2019-06-07

Family

ID=66540279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170152561A KR20190062635A (ko) 2017-11-15 2017-11-15 객체 추적 장치 및 객체 추적 방법

Country Status (2)

Country Link
KR (1) KR20190062635A (ko)
WO (1) WO2019098422A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060778A1 (ko) * 2019-09-27 2021-04-01 (주)서울로보틱스 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434927A (en) * 1993-12-08 1995-07-18 Minnesota Mining And Manufacturing Company Method and apparatus for machine vision classification and tracking
EP2481012A2 (en) * 2009-12-02 2012-08-01 Tata Consultancy Services Limited Cost-effective system and method for detecting, classifying and tracking the pedestrian using near infrared camera
FR2986646B1 (fr) * 2012-02-03 2016-07-01 Renault Sas Procede de determination du positionnement d'un vehicule dans un couloir de circulation d'une voie, et methodes de detection d'alignement et de risque de collision entre deux vehicules
CN104424648B (zh) * 2013-08-20 2018-07-24 株式会社理光 对象跟踪方法和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060778A1 (ko) * 2019-09-27 2021-04-01 (주)서울로보틱스 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법
KR20210037469A (ko) * 2019-09-27 2021-04-06 (주)서울로보틱스 3차원 공간에 대응되는 맵을 생성하는 차량 및 방법
JP2022545213A (ja) * 2019-09-27 2022-10-26 ソウル ロボティクス カンパニー リミテッド 三次元空間に対応するマップを生成する車両、及びその方法
AU2020356082B2 (en) * 2019-09-27 2023-11-09 Seoul Robotics Co., Ltd. Vehicle and method for generating map corresponding to three-dimensional space

Also Published As

Publication number Publication date
WO2019098422A1 (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
EP3732657B1 (en) Vehicle localization
US10466714B2 (en) Depth map estimation with stereo images
US10024965B2 (en) Generating 3-dimensional maps of a scene using passive and active measurements
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN102317954B (zh) 检测对象的方法
EP3057063B1 (en) Object detection device and vehicle using same
JP6440411B2 (ja) 物体検出装置
US8964031B2 (en) Method and system for measuring the speed of a vehicle
US9042639B2 (en) Method for representing surroundings
JP5353455B2 (ja) 周辺監視装置
US9594966B2 (en) Obstacle detection device and obstacle detection method
JP2004531424A5 (ko)
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR20190059894A (ko) 카메라 영상에서 대상의 감지
JP2011134207A (ja) 運転記録装置および地図作成システム
Janda et al. Road boundary detection for run-off road prevention based on the fusion of video and radar
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
KR101491305B1 (ko) 장애물 검출 장치 및 방법
KR20190062635A (ko) 객체 추적 장치 및 객체 추적 방법
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
CN104931024B (zh) 障碍物检测装置
KR102189502B1 (ko) 객체 추적 장치 및 객체 추적 방법
JP6789440B2 (ja) 物体同定装置
JP2005148784A (ja) 路面走行レーン検出装置
JP2017016172A (ja) 走路境界推定装置及び走路境界推定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment