KR20220034798A - 객체를 식별하는 방법 및 시스템 - Google Patents

객체를 식별하는 방법 및 시스템 Download PDF

Info

Publication number
KR20220034798A
KR20220034798A KR1020227002630A KR20227002630A KR20220034798A KR 20220034798 A KR20220034798 A KR 20220034798A KR 1020227002630 A KR1020227002630 A KR 1020227002630A KR 20227002630 A KR20227002630 A KR 20227002630A KR 20220034798 A KR20220034798 A KR 20220034798A
Authority
KR
South Korea
Prior art keywords
discrete
data
statistical model
format data
model format
Prior art date
Application number
KR1020227002630A
Other languages
English (en)
Inventor
치엔샨 리
맥시밀리언 도엠링
웬신 티엔
Original Assignee
바이에리쉐 모토렌 베르케 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이에리쉐 모토렌 베르케 악티엔게젤샤프트 filed Critical 바이에리쉐 모토렌 베르케 악티엔게젤샤프트
Publication of KR20220034798A publication Critical patent/KR20220034798A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 예는 객체를 식별하는 방법 및 장치를 설명한다. 상기 방법은, 제1 시각에서 차량에 설치된 카메라에 의해 출력되는 원시 데이터를 취득하는 단계로서, 상기 출력 원시 데이터는 연속 모델에 대한 연속 데이터 출력 형식 또는 이산 모델에 대한 이산 데이터 출력 형식 중 하나를 포함하는, 상기 원시 데이터를 취득하는 단계; 상기 원시 데이터를 이산 통계 모델에 공급하여 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 형성하는 단계로서, 상기 이산 통계 모델 형식 데이터는 상기 연속 데이터 출력 형식을 갖는 연속 부분 및 상기 이산 데이터 출력 형식을 갖는 이산 부분을 포함하는, 상기 원시 데이터를 이산 통계 모델에 공급하여 제1 시각에서의 이산 통계 모델 형식 데이터를 형성하는 단계; 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 업데이트하기 위해 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하는 단계; 및 상기 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터로부터 상기 객체를 식별하는 단계로서, 상기 객체는 곡선을 특징으로 하는 차선 표시를 포함하는, 상기 객체를 식별하는 단계를 포함한다.

Description

객체를 식별하는 방법 및 시스템
본 발명은 일반적으로 객체를 식별하는 것에 관한 것으로, 보다 상세하게는 이산 통계 모델을 사용하여 객체를 식별하는 것에 관한 것이다.
자율 주행 차량(무인 자동차, 자가 주행 자동차, 로봇 자동차라고도 함)은 사람의 입력 없이 환경을 감지하고 내비게이션할 수 있는 종류의 차량이다. 자율 주행 차량(이하 ADV)은 레이더, 레이저 광, GPS, 주행 거리 측정(odometry) 및 컴퓨터 비전과 같은 다양한 기술을 사용하여 주변 환경을 검출한다. 고급 제어 시스템은 감지된 정보를 해석하여 적절한 내비게이션 경로와 장애물 및 관련 표지판을 식별한다.
보다 구체적으로, ADV는 비전형 센서(예를 들어, 카메라), 레이더형 거리 측정 센서(예를 들어, 레이저 레이더, 밀리미터파 레이더, 초음파 레이더) 등과 같은 다양한 온보드 센서로부터 센서 데이터를 수집한다. 카메라는 일반적으로 도로의 실시간 이미지를 캡처하는 데 사용된다. 예를 들어, 실시간 이미지를 처리하여 이미지 시퀀스로부터 차선 표시(lanemarking) 가장자리 곡선을 추출하여 차선 표시를 식별할 수 있다. 차선 표시를 식별하는 것은 차선 이탈을 판단하는 기준이 되며, 차선 식별 품질은 차량 경고의 적시성과 정확성에 직접적인 영향을 미친다.
다른 제조업체에서 만든 카메라는 다른 형식의 데이터를 사용하여 객체를 나타낼 수 있다. 예를 들어, 일부 카메라는 이산 점을 사용하여 객체를 나타낼 수 있는 반면, 다른 카메라는 다항식 수식을 사용하여 객체를 나타낼 수 있다. 현재 다른 데이터 형식에 대해 저장 및 처리하는 데 별도의 데이터 모델을 구축해야 한다. 동시에 다수의 다른 데이터 형식을 지원할 수 있는 모델은 없다.
또한 단일 시각에서 획득된 단일 프레임 카메라 데이터는 불안정하고 신뢰성이 없다. 이 시각에서의 카메라 데이터를 이전의 다수의 시각에서의 다수의 프레임 카메라 데이터와 융합시켜 데이터를 맞춤으로써 차선 표시를 식별하는 것이 바람직하다.
따라서, 전술한 단점을 극복하기 위해서는 다수의 데이터 형식을 동시에 지원할 수 있는 모델을 사용하여 실시간으로 차선 표시를 식별하는 솔루션을 제공하는 것이 바람직하다.
본 발명은 객체를 식별하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 제1 예시적인 실시형태에 따르면, 객체를 식별하기 위한 방법이 제공된다. 상기 방법은, 제1 시각에서 차량에 설치된 카메라에 의해 출력되는 원시 데이터를 취득하는 단계로서, 상기 출력 원시 데이터는 연속 모델에 대한 연속 데이터 출력 형식 또는 이산 모델에 대한 이산 데이터 출력 형식 중 하나를 포함하는, 상기 원시 데이터를 취득하는 단계; 상기 원시 데이터를 이산 통계 모델에 공급하여 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 형성하는 단계로서, 상기 이산 통계 모델 형식 데이터는 상기 연속 데이터 출력 형식을 갖는 연속 부분 및 상기 이산 데이터 출력 형식을 갖는 이산 부분을 포함하는, 상기 이산 통계 모델 형식 데이터를 형성하는 단계; 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 업데이트하기 위해 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하는 단계; 및 상기 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터로부터 상기 객체를 식별하는 단계로서, 상기 객체는 곡선을 특징으로 하는 차선 표시를 포함하는, 상기 객체를 식별하는 단계를 포함한다.
본 발명의 제2 예시적인 실시형태에 따르면, 객체를 식별하기 위한 장치가 개시된다. 상기 장치는, 차량에 설치된 카메라에 의해 출력되는 원시 데이터를 제1 시각에서 취득하도록 구성된 데이터 취득 모듈로서, 상기 출력 원시 데이터는 연속 모델에 대한 연속 데이터 출력 형식 또는 이산 모델에 대한 이산 데이터 출력 형식 중 하나를 포함하는, 상기 데이터 취득 모듈; 상기 원시 데이터를 이산 통계 모델에 공급하여 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 형성하도록 구성된 데이터 공급 모듈로서, 상기 이산 통계 모델 형식 데이터는 상기 연속 데이터 출력 형식을 갖는 연속 부분 및 상기 이산 데이터 출력 형식을 갖는 이산 부분을 포함하는, 상기 데이터 공급 모듈; 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하여 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 업데이트하도록 구성된 데이터 융합 모듈; 및 상기 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터로부터 상기 객체를 식별하도록 구성된 객체 식별 모듈로서, 상기 객체는 곡선을 특징으로 하는 차선 표시를 포함하는, 상기 객체 식별 모듈을 포함한다.
본 발명의 제3 예시적인 실시형태에 따르면, 차량으로서, 하나 이상의 카메라 및 전술한 제2 예시적인 실시형태에 따른 장치를 포함하고, 상기 카메라는 연속 모델 또는 이산 모델 중 하나를 사용하여 객체를 표현하고, 상기 객체는 곡선을 특징으로 하는 차선 표시를 포함하는, 차량이 제공된다.
본 발명의 내용란은 아래의 상세한 설명에서 추가로 설명된 내용 중 선택된 개념을 단순화된 형식으로 소개하기 위해 제공된 것이다. 본 발명의 내용란은 청구된 주제의 핵심 특징 또는 필수 특징을 식별하기 위해 의도된 것도 아니고, 청구된 주제의 범위를 제한하는 데 사용하려고 의도된 것도 아니다. 실시형태의 추가 양태, 특징 및/또는 장점은 부분적으로는 이하 상세한 설명에서 설명될 것이고, 부분적으로는 상세한 설명으로부터 명백할 것이고, 또는 본 발명을 실시하는 것에 의해 학습될 수 있을 것이다.
본 발명의 상기 및 다른 양태 및 장점은, 예로서, 본 발명의 원리를 예시하는 첨부 도면과 함께 취해진 예시적인 실시형태의 이하의 상세한 설명으로부터 명백해질 것이다. 도면은 반드시 축척에 맞게 그려진 것은 아니다.
도 1은 본 발명의 하나 이상의 실시형태에 따라 도로를 주행하는 자율 주행 차량(100)의 개략도를 도시한다.
도 2는 본 발명의 하나 이상의 실시형태에 따라 연속 모델을 사용하는 카메라에 의해 표현되는 객체(201), 및 이산 모델을 사용하는 카메라에 의해 표현되는 객체(201')를 도시한다.
도 3은 본 발명의 하나 이상의 실시형태에 따라 객체를 식별하기 위한 예시적인 방법(300)의 흐름도이다.
도 4는 본 발명의 하나 이상의 실시형태에 따라 이산 통계 모델 형식 데이터를 융합시키기 위한 개략도(401 및 402)를 도시한다.
도 5는 도 3의 실시형태에 따라 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하기 위한 방법(500)의 흐름도를 도시한다.
도 6은 본 발명의 일 실시형태에 따라 객체를 식별하기 위한 장치(600)의 블록도이다.
도 7은 본 발명의 예시적인 실시형태에 따라 본 발명이 적용될 수 있는 일반적인 하드웨어 환경을 도시한다.
이하의 상세한 설명에서, 설명된 예시적인 실시형태의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 제시된다. 그러나, 이 기술 분야에 통상의 지식을 가진 자라면 설명된 실시형태는 이들 특정 세부사항의 일부 또는 전부 없이 실시될 수 있다는 것을 명백히 이해할 수 있을 것이다. 다른 예시적인 실시형태에서, 본 발명의 개념을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조 또는 처리 단계는 상세히 설명되지 않았다.
본 명세서에서 사용되는 "차량"이라는 용어는 자동차, 비행기, 헬리콥터, 선박 등을 지칭한다. 간결함을 위해, 본 발명은 "자동차"에 대해 설명되지만, 본 명세서에서 설명되는 실시형태는 "자동차"에만 제한되지 않고, 다른 종류의 차량에도 적용될 수 있다. 본 명세서에서 사용되는 "A 또는 B"라는 용어는, 달리 명시되지 않는 한, A와 B를 배제한다는 것을 의미하는 것이 아니라 "A와 B" 및 "A 또는 B"를 의미한다.
이산 통계 모델
자가 주행 차량이 도로를 주행할 때는 실시간 도로 상황을 알아야 한다. 이를 위해 다양한 유형의 센서가 차량에 탑재되어 차량의 '눈' 역할을 한다. 현재 널리 사용되는 센서는 비전형 센서(예를 들어, 카메라)와 레이더형 거리 측정 센서(예를 들어, 레이저 레이더, 밀리미터파 레이더, 및 초음파 레이더)를 포함한다. 이들 중 카메라는 가격이 저렴하고, 다른 객체를 식별할 수 있으며, 객체 높이 및 폭 측정 정확도, 차선 인식, 보행자 인식 정확도 등에서 장점이 있으며, 차선 이탈 경고 및 교통 표지 인식을 구현하는 데 없어서는 안 될 센서이다.
도 1을 참조하면, 도로를 주행하는 자율 주행 차량(100)의 개략도가 도시되어 있다. 예시의 목적을 위해, 도 1의 차량(100)은 객체를 식별하기 위해 카메라(101), 밀리미터파 레이더(102) 및 레이저 레이더(103)를 사용하지만, 이 기술 분야에 통상의 지식을 가진 자라면 본 발명의 기술 솔루션은 더 많거나 더 적은 센서를 사용할 수 있다는 것을 이해할 수 있을 것이다. 본 발명의 일 실시형태에 따르면, 객체는 차선 표시(104)를 포함한다. 그러나, 이 기술 분야에 통상의 지식을 가진 자라면 곡선을 특징으로 하는 다른 객체도 본 발명의 범위 내에 있다는 것을 충분히 이해할 수 있을 것이다.
일반적으로, 다른 카메라 제조업체에서 제공하는 카메라 데이터의 형식은 다르다. 일반적으로, 센서 데이터의 각 형식마다 센서 데이터를 기록하는 데 하나 이상의 모델이 사용된다. 예를 들어, 다른 카메라 데이터 형식을 사용하는 다른 제조업체의 카메라가 차량에 탑재된 경우 다른 카메라 데이터 형식의 다수의 모델을 미리 정의할 필요가 있고, 이에 따라 다량의 데이터를 처리할 때 데이터 형식 간의 상호 변환으로 인해 데이터 처리 속도가 지연될 수 있다. 또한, 실제로는 미리 설치된 카메라를 다른 출력 형식을 사용하는 카메라로 교체해야 할 가능성(예를 들어, 미리 설치된 카메라가 손상된 경우, 사용자가 특정 브랜드의 카메라를 선호하는 경우 등)이 높다. 이 경우, 카메라 데이터의 모델을 재정의할 필요가 있다. 이것은 종종 사용자에게 불편하고 나중에 사용할 때 프로그램 문제를 일으킬 수 있다.
본 발명은 연속 모델과 이산 모델을 모두 지원할 수 있는 이산 통계 모델을 정의한다. 연속 모델은 다항식 형식의 데이터에 사용된다. 예를 들어, 다항식 형식의 데이터는 일반적으로 다항식 수식(y=c0+c1x+c2x2+c3x3+ ... +cnxn}으로 객체(예를 들어, 차선 표시(104))를 기술하고, 카메라는 연속 모델{[c0, c1, c2, c3, ..., cn], [시작, 종료]})을 사용하여 다항식 형식으로 데이터를 출력하며, 출력 데이터는 연속 데이터 출력 형식을 갖는 것으로 간주된다. 여기서 "시작"은 다항식 수식으로 묘사된 곡선의 시작점을 나타내고, "종료"는 다항식 수식으로 묘사된 곡선의 종료점을 나타낸다. 도 2는 연속 모델을 사용하는 카메라에 의해 표현된 객체(201)를 도시한다.
이산 모델은 이산 형식의 데이터에 사용된다. 예를 들어, 이산 형식 데이터는 일반적으로 다수의 이산 점이 있는 객체(예를 들어, 차선 표시(104))를 기술하고, 카메라는 이산 모델({(x1, y1), (x2, y2), ...., (xm, ym)})을 사용하여 이산 형식으로 데이터를 출력한다. 출력 데이터는 이산 데이터 출력 형식을 갖는 것으로 간주된다. 도 2는 이산 모델을 사용하는 카메라에 의해 표현된 객체(201')를 나타낸다.
본 발명의 이산 통계 모델은 위의 연속 모델과 이산 모델을, 시각(t)에서 카메라에 의해 출력된 카메라 데이터를 나타내는 다음 형식, 즉 {t, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]} 형식으로 통합한다. 여기서 "[c0, c1, c2, c3, ..., cn], [시작, 종료]"는 연속 부분이고, "[(x1, y1), (x2, y2), ...., (xm, ym)]"는 이산 부분이다. 이 두 부분의 데이터는 동일한 객체를 기술한다.
위의 이산 통계 모델을 사용함으로써, 단 하나의 모델로 두 가지 다른 형식의 카메라 데이터를 지원하여, 데이터 처리를 보다 효율적으로 수행하고, 존재할 수 있는 프로그래밍 압력을 줄일 수 있다.
구현예
도 3은 객체를 식별하기 위한 예시적인 방법(300)의 흐름도이다. 예를 들어, 방법(300)은 온보드 컴퓨터 시스템, 원격 서버, 또는 이들의 조합에 위치될 수 있는 적어도 하나의 프로세서(예를 들어, 도 7의 프로세서(704)) 내에서 구현될 수 있다. 물론, 본 발명의 다양한 양태에서, 방법(300)은 또한 연관된 동작을 수행할 수 있는 임의의 적절한 수단에 의해 구현될 수 있다.
방법(300)은 단계(310)에서 시작한다. 단계(310)에서, 제1 시각(이하의 설명에서 "제1 시각"은 "실시간"으로 이해됨)에서, 제1 시각에서 차량에 탑재된 카메라에 의해 출력된 제1 데이터를 취득한다. 출력되는 제1 데이터는 전술된 연속 모델에 대한 연속 데이터 형식 또는 전술된 이산 모델에 대한 이산 데이터 형식 중 하나를 갖는다. 즉, 제1 데이터는 다항식을 사용하여 객체를 기술하거나 이산 점을 사용하여 객체를 기술한다.
단계(320)에서, 취득된 제1 데이터를 이산 통계 모델에 공급하여 제1 시각에서의 이산 통계 모델 형식 데이터를 형성한다. 즉, 시간 정보(예를 들어, 타임 스탬프, 예를 들어, tFTI(제1 시각))와 제1 데이터를 이산 통계 모델({t, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]})에 공급하여 이산 통계 모델을 인스턴스화한다.
본 발명의 일 실시형태에 따르면, 제1 데이터가 연속 데이터 출력 형식(즉, {[c0, c1, c2, c3, ..., cn], [시작, 종료]} 형식)을 갖는 경우, 제1 데이터를 이산 통계 모델의 "[c0, c1, c2, c3, ..., cn], [시작, 종료]" 부분에 배치함으로써 제1 데이터는 이산 통계 모델 형식 데이터의 연속 부분으로 사용된다. 다음으로, 제1 데이터에 대응하는 다항식에 기초하여, 제1 데이터에 의해 기술되는 곡선 상의 복수의 이산 점이 계산된다. 계산된 이산 점의 수는 임의적일 수 있다. 이 기술 분야에 통상의 지식을 가진 자라면 계산될 이산 점의 수는 차량의 프로세서 능력에 따라 선택될 수 있다는 것을 이해할 수 있을 것이다. 물론, 계산될 이산 점의 수는 다른 기준에 따라 결정될 수도 있다. 다음으로, 계산된 이산 점은 이산 통계 모델 형식 데이터의 이산 부분으로 이산 통계 모델의 "[(x1, y1), (x2, y2), ...., (xm, ym)]" 부분에 배치된다.
본 발명의 일 실시형태에 따르면, 제1 데이터가 이산 데이터 출력 형식(즉, {(x1, y1), (x2, y2), ...., (xm, ym)} 형식)을 갖는 경우 제1 데이터를 이산 통계 모델의 "[(x1, y1), (x2, y2), ...., (xm, ym)]" 부분에 배치함으로써 제1 데이터는 이산 통계 모델 형식 데이터의 이산 부분으로 사용된다. 다음으로, 제1 데이터에 대응하는 다항식이 제1 데이터에 기초하여 계산된다. 이 기술 분야에 통상의 지식을 가진 자라면 이산 점이 다항식으로 표현되는 곡선을 획득하기 위해 보간 또는 곡선 맞춤(curve fitting)을 사용하여 수학적으로 처리될 수 있다는 것을 이해할 수 있을 것이다. 다음으로, 계산된 다항식은 이산 통계 모델 형식 데이터의 연속 부분으로 이산 통계 모델의 "[c0, c1, c2, c3, ..., cn], [시작, 종료]" 부분에 배치된다.
알 수 있는 바와 같이, 단계(320) 이후에, 이산 통계 모델 형식 데이터의 연속 부분과 이산 부분은 동일한 객체를 기술하기 위한 데이터를 포함한다.
단계(330)에서, 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하여 제1 시각에서의 이산 통계 모델 형식 데이터를 업데이트한다. 실제로, 단일 시각에서 취득된 실시간 센서 데이터는 객체를 정확히 묘사하지 않는다. 특히, 차선 표시 등과 같이 연속성이 있는 객체의 경우 차선 표시를 기술하기 위해 다수의 연속 시각에서의 센서 데이터를 융합하는 것이 필요하다.
본 발명의 일 실시형태에 따르면, 차량에 탑재된 카메라는 특정 시간 간격으로 카메라 데이터를 출력하는 것으로 가정한다. 시간 간격은 필요에 따라 다를 수 있고, 예를 들어, 0.1초, 0.2초, 0.5초, 1초 등이다. 물론, 다른 시간 간격도 본 발명의 범위 내에 있다. 본 발명의 하나 이상의 실시형태에 따르면, 과거 이산 통계 모델 형식 데이터는 제1 시각 이전의 다수의 연속 시각에서 형성될 수 있고, 차량의 메모리에 저장되거나 빠른 판독을 위해 캐시될 수 있다. 이해되는 바와 같이, 과거 이산 통계 모델 형식 데이터는 제1 시각에서의 이산 통계 모델 형식 데이터와 동일한 데이터 형식을 갖고, 제1 시각에서의 이산 통계 모델 형식 데이터와 동일한 방식으로 제1 시각 이전의 하나 이상의 시각에 형성된다.
본 발명의 일 실시형태에 따르면, 융합 후, 융합된 이산 통계 모델 형식 데이터의 이산 부분은 복수의 이산 통계 모델 형식 데이터의 모든 이산 부분의 데이터를 포함한다. 예를 들어, 융합 동안, 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터의 이산 부분과 과거 이산 통계 모델 형식 데이터의 모든 이산 부분이 집계된다. 따라서, 융합 후, 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터의 이산 부분은 제1 시각에서의 초기 이산 통계 모델 형식 데이터의 이산 부분의 데이터와, 과거 이산 통계 모델 형식 데이터의 모든 이산 부분의 데이터를 포함한다. 본 발명의 일 실시형태에 따르면, 계산 부담 및 메모리 능력을 고려하여, 융합 동안, 집계된 이산 데이터에서 중복 데이터 또는 비정상 데이터를 제거하거나 필터링한다. 예를 들어, 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터의 이산 부분에서 중복 데이터 또는 이상(outlier) 이산 점을 제거할 수 있다.
본 발명의 일 실시형태에 따르면, 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 기초하여, 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 대응하는 곡선에 대한 연속 데이터 출력 형식 데이터는 융합된 이산 통계 모델 형식 데이터의 연속 부분으로 계산된다. 예를 들어, 제1 시각에서의 업데이트된 (즉, 융합된) 이산 통계 모델 형식 데이터의 위의 이산 부분에 기초하여, 제1 시각에서의 업데이트된 (즉, 융합된) 이산 통계 모델 형식 데이터에 대응하는 다항식은 제1 시각에서의 업데이트된 (즉, 융합된) 이산 통계 모델 형식 데이터의 연속 부분으로 계산된다.
도 4는 본 발명의 하나 이상의 실시형태에 따라 이산 통계 모델 형식 데이터를 융합하기 위한 개략도(401 및 402)를 도시한다. 특히, 다이어그램(401)은 단일 융합을 보여주고, 다이어그램(402)은 반복 융합을 보여준다.
다이어그램(401)은 제1 시각 이전의 임계 시간 기간 내의 복수의 이전 시각에서의 복수의 이산 통계 모델 형식 데이터를 포함하는 과거 이산 통계 모델 형식 데이터와 제1 시각에서의 이산 통계 모델 형식 데이터를 융합하는 것을 예시하는 다이어그램이다. 즉, {tFTI, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}는 이전의 다수의 연속 시각에서의 {tFTI-1, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}, {tFTI-2, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]} …… {tFTI-n, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}와 융합되어 {tFTI, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}를 업데이트한다. 여기서 "FTI"는 "제1 시각"을 나타낸다. 여기서, 2개의 인접한 시각 사이, 예를 들어, tFTI와 tFTI-1 사이의 시간 간격은 전술한 바와 같이 미리 결정될 수 있고, tFTI-n과 tFTI 사이에 경과된 임계 시간 기간은 또한 요구에 따라 선택될 수 있다. 예를 들어, 미리 결정된 시간 간격이 0.1초인 경우, 임계 시간 기간은 1초로 선택될 수 있고, 이에 의해 융합을 위해 제1 시각 이전 1초 내에 10개(즉, 이 경우 n은 10)의 과거 일반 통계 모델 형식 데이터를 선택할 수 있다. {tFTI, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}를 다수의 이전의 과거 일반 통계 모델 형식 데이터와 융합한 후, {tFTI, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}은 {tFTI, [c0, c1, c2, c3, ..., cn]', [시작, 종료]', [(x1, y1)', (x2, y2)', ...., (xm, ym)']}로 업데이트된다. 따라서, 다이어그램(401)의 방식은 {tFTI, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}를 과거 통계 모델 형식 데이터와 융합함으로써 {tFTI, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}를 업데이트하는 것이다.
다이어그램(402)은 제1 시각 이전의 임계 시간 기간 내의 복수의 이전의 시각에서의 복수의 통계 모델 형식 데이터를 반복적으로 융합하는 것을 예시하는 다이어그램이다. 위의 예에 계속해서, 임계 시간 기간은 1초이고, 2개의 인접한 시각 사이의 미리 결정된 시간 간격은 0.1초라고 가정한다. 제1 시각 이전의 임계 시간 기간 내의 복수의 이전의 시각에 대해, 제1 시각에서의 이산 통계 모델 형식 데이터가 업데이트될 때까지 다음 단계, 즉 각각의 시각에서의 이산 통계 모델 형식 데이터를 미리 결정된 시간 간격 후의 후기 시각에서의 이산 통계 모델 형식 데이터와 융합하여, 후기 시각에서의 이산 통계 모델 형식 데이터를 업데이트하는 단계를 반복적으로 수행한다.
예를 들어, 먼저, {tFTI -n, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}은 {tFTI -n+1, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}와 융합되어, 업데이트된 {tFTI-n+1, [c0, c1, c2, c3, ..., cn]', [시작, 종료]', [(x1, y1), (x2, y2), ...., (xm, ym)]'}을 획득한다. 다음으로, {tFTI-n+1, [c0, c1, c2, c3, ..., cn]', [시작, 종료]', [(x1, y1), (x2, y2), ...., (xm, ym)]'}는 {tFTI-n+2, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}과 융합되어, 업데이트된 {tFTI-n+2, [c0, c1, c2, c3, ..., cn]', [시작, 종료]', [(x1, y1), (x2, y2), ...., (xm, ym)]'}을 획득한다. 다음으로, {tFTI-n+2, [c0, c1, c2, c3, ..., cn]', [시작, 종료]', [(x1, y1), (x2, y2), ...., (xm, ym)]'}는 {tFTI-n+3, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}과 융합되어, 업데이트된 {tFTI-n+3, [c0, c1, c2, c3, ..., cn]', [시작, 종료]', [(x1, y1), (x2, y2), ...., (xm, ym)]'}을 획득한다. 마지막으로, {tFTI-1, [c0, c1, c2, c3, ..., cn]', [시작, 종료]', [(x1, y1), (x2, y2), ...., (xm, ym)]'}는 {tFTI, [c0, c1, c2, c3, ..., cn], [시작, 종료], [(x1, y1), (x2, y2), ...., (xm, ym)]}과 융합되어, 업데이트된 {tFTI, [c0, c1, c2, c3, ..., cn]', [시작, 종료]', [(x1, y1), (x2, y2), ...., (xm, ym)]'}을 획득한다. 따라서, 이 과정은 "반복적 융합"이라고 간주될 수 있다.
융합된 데이터를 보다 정확하게 만들기 위해 융합하는 데 다음 수학적 방법을 사용할 수 있다. 도 5는 도 3의 실시형태에 따라 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하기 위한 방법(500)의 흐름도를 도시한다. 단계(510)에서, 과거 이산 통계 모델 형식 데이터를 획득하고, 과거 이산 통계 모델 형식 데이터는 제1 시각 이전의 임계 시간 기간 내의 복수의 이전의 시각에서의 복수의 이산 통계 모델 형식 데이터를 포함한다.
단계(520)에서, 제1 시각에서의 이산 통계 모델 형식 데이터와 과거 이산 통계 모델 형식 데이터를 동일한 좌표계로 변환한다. 예를 들어, 차량이 로컬 좌표계의 원점이고, 차량의 주행 방향을 로컬 좌표계의 x축으로 취하고, 차량의 진행 방향에 수직인 방향을 로컬 좌표계의 y축으로 취한다고 가정한다. 그러면, 차량이 진행 방향으로 tFTI-1에서 tFTI까지 거리(L)를 주행함에 따라, tFTI에서의 로컬 좌표계의 원점은 tFTI-1에서의 로컬 좌표계의 원점에 비해 이동(Lx, Ly)된 것으로 이해될 수 있다. 좌표 변환을 통해, 모든 과거 이산 통계 모델 형식 데이터는 tFTI에서 로컬 좌표계로 변환되어, 융합할 데이터는 동일한 좌표계에 있게 된다.
본 발명의 다른 실시형태에 따르면, 과거 이산 통계 모델 형식 데이터에 사용되고 제1 시각에서의 이산 통계 모델 형식 데이터에 사용된 다양한 유형의 좌표계는 세계 좌표계로 균일하게 변환되어, 융합할 데이터를 동일한 좌표계에 있게 한다. 다양한 좌표 변환 방법은 2차원 공간에서 좌표의 병진 및 회전, 3차원 공간에서 좌표의 병진 및 회전 등을 포함하지만 이들로 제한되지 않는다.
단계(530)에서, 도 4에 도시된 2개의 융합 모드(401 및 402) 중 임의의 모드를 사용함으로써, 동일한 좌표계에서 제1 시각에서의 이산 통계 모델 형식 데이터와 과거 이산 통계 모델 형식 데이터를 융합하여, 제1 시각에서의 이산 통계 모델 형식 데이터를 업데이트한다.
일 실시형태에서, 융합하는 데 가중 평균화 알고리즘을 더 사용할 수 있다. 예를 들어, 융합 시, 제1 시각에 더 인접하여 기록된 과거 이산 통계 모델 형식 데이터에는 더 높은 가중치가 부여되고, 제1 시각에서 더 멀리 떨어져 기록된 과거 이산 통계 모델 형식 데이터에는 더 낮은 가중치가 부여된다. 물론 다른 가중치 부여 방법도 생각할 수 있다.
도 3을 다시 참조하면, 단계(340)에서, 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터에 기초하여 객체를 식별한다. 일 실시형태에서, 수학적 알고리즘을 사용하여, 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터에서 이산 데이터 출력 형식(즉, 이산 점)을 갖는 데이터로부터 차선 표시를 나타내는 곡선을 식별할 수 있으며, 여기서 수학적 알고리즘은 회귀 알고리즘, 보간 알고리즘 및 맞춤 알고리즘 중 하나를 포함한다.
따라서, 본 발명의 솔루션을 사용함으로써, 상이한 유형의 데이터를 통합 데이터 모델에 배치함으로써, 데이터 세트는 보다 신속하게 처리될 수 있다. 표시의 연속 모델과 이산 모델을 모두 지원하는 데이터 모델을 사용함으로써 차량 시스템은 두 종류의 카메라와 호환될 수 있다. 그리고, 과거 정보를 고려하였으므로 차선 표시의 식별이 더욱 정확해졌다.
도 6은 본 발명의 일 실시형태에 따라 객체를 식별하기 위한 장치(600)의 블록도이다. 장치(600)의 모든 기능 블록(장치(600)의 다양한 유닛을 포함함)은 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 이 기술 분야에 통상의 지식을 가진 자라면 도 6에 도시된 기능 블록이 단일 기능 블록으로 결합되거나 또는 다수의 하위 기능 블록으로 분할될 수 있다는 것을 이해할 수 있을 것이다.
장치(600)는 데이터 취득 모듈(610)을 포함하고, 데이터 취득 모듈은 차량에 설치된 카메라에 의해 출력된 원시 데이터를 제1 시각에서 취득하도록 구성되고, 출력된 원시 데이터는 연속 모델에 대한 연속 데이터 출력 형식 또는 이산 모델에 대한 이산 데이터 출력 형식 중 하나를 포함한다. 장치(600)는 데이터 공급 모듈(620)을 포함하고, 데이터 공급 모듈(620)은 원시 데이터를 이산 통계 모델에 공급하여 제1 시각에서의 이산 통계 모델 형식 데이터를 형성하도록 구성되고, 이산 통계 모델 형식 데이터는 연속 데이터 출력 형식을 갖는 연속 부분, 및 이산 데이터 출력 형식을 갖는 이산 부분을 포함한다. 장치(600)는 데이터 융합 모듈(630)을 포함하고, 데이터 융합 모듈(630)은 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하여 제1 시각에서의 이산 통계 모델 형식 데이터를 업데이트하도록 구성된다. 그리고, 장치(600)는 객체 식별 모듈(640)을 더 포함하고, 객체 식별 모듈(640)은 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터로부터 객체를 식별하도록 구성되고, 여기서 객체는 곡선을 특징으로 하는 차선 표시를 포함한다.
도 7을 참조하여, 본 발명의 양태에 적용될 수 있는 하드웨어 디바이스의 일례인 컴퓨팅 디바이스(700)를 이제 설명한다. 컴퓨팅 디바이스(700)는 처리 및/또는 계산을 수행하도록 구성된 임의의 기계일 수 있고, 워크 스테이션, 서버, 데스크탑 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 개인용 휴대 정보 단말기, 스마트 폰, 차량용 컴퓨터 또는 이들의 조합일 수 있지만 이들로 제한되지 않는다. 전술한 시스템은 컴퓨팅 디바이스(700) 또는 유사한 디바이스 또는 시스템에 의해 전체적으로 또는 적어도 부분적으로 구현될 수 있다.
컴퓨팅 디바이스(700)는 가능하게는 하나 이상의 인터페이스를 통해 버스(702)와 연결되거나 버스와 통신하는 요소를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(700)는 버스(702), 및 하나 이상의 프로세서(704), 하나 이상의 입력 디바이스(706) 및 하나 이상의 출력 디바이스(708)를 포함할 수 있다. 하나 이상의 프로세서(704)는 임의의 종류의 프로세서일 수 있으며, 하나 이상의 범용 프로세서 및/또는 하나 이상의 특수 목적 프로세서(예를 들어, 특수 처리 칩)를 포함할 수 있지만 이들로 제한되지 않는다. 입력 디바이스(706)는 컴퓨팅 디바이스에 정보를 입력할 수 있는 임의의 종류의 디바이스일 수 있고, 마우스, 키보드, 터치 스크린, 마이크로폰 및/또는 원격 제어부를 포함할 수 있지만 이들로 제한되지 않는다. 출력 디바이스(708)는 정보를 표시할 수 있는 임의의 종류의 디바이스일 수 있으며, 디스플레이, 스피커, 비디오/오디오 출력 단자, 진동기 및/또는 프린터를 포함할 수 있지만 이들로 제한되지 않는다. 또한 컴퓨팅 디바이스(700)는, 비일시적이며 데이터 저장소를 구현할 수 있는 임의의 저장 디바이스일 수 있는 비일시적인 저장 디바이스(710)를 포함하거나 저장 디바이스와 연결될 수 있고, 이 저장 디바이스는 디스크 드라이브, 광 저장 디바이스, 솔리드 스테이트 저장 매체, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프 또는 기타 자기 매체, 컴팩트 디스크 또는 기타 광학 매체, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), 캐시 메모리 및/또는 기타 메모리 칩 또는 카트리지, 및/또는 컴퓨터가 데이터, 명령어 및/또는 코드를 판독할 수 있는 기타 매체를 포함할 수 있지만 이들로 제한되지 않는다. 비일시적인 저장 디바이스(710)는 인터페이스로부터 분리될 수 있다. 비일시적인 저장 디바이스(710)는 위에서 설명된 방법 및 단계를 구현하기 위한 데이터/명령어/코드를 가질 수 있다. 컴퓨팅 디바이스(700)는 또한 통신 디바이스(712)를 포함할 수 있다. 통신 디바이스(712)는 외부 장치 및/또는 네트워크와 통신할 수 있는 임의의 종류의 디바이스 또는 시스템일 수 있으며, 모뎀, 네트워크 카드, 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋, 예를 들어, 블루투스TM 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비 및/또는 등을 포함할 수 있지만 이들로 제한되지 않는다.
컴퓨팅 디바이스(700)가 차량용 디바이스로 사용될 때, 디바이스는 또한 외부 디바이스, 예를 들어, GPS 수신기, 가속도 센서, 휠 속도 센서, 자이로스코프 등과 같은 다양한 환경 데이터를 감지하는 센서에 연결될 수 있다. 이러한 방식으로, 컴퓨팅 디바이스(700)는, 예를 들어, 차량의 주행 상황을 나타내는 센서 데이터와 위치 데이터를 수신할 수 있다. 컴퓨팅 디바이스(700)가 차량용 디바이스로 사용될 때, 디바이스는 또한 차량의 주행 및 동작을 제어하기 위한 다른 설비(예를 들어, 엔진 시스템, 와이퍼, 잠금 방지 브레이크 시스템 등)에 연결될 수 있다.
또한, 비일시적인 저장 디바이스(710)는 프로세서(704)가 경로 안내 처리를 수행할 수 있도록 지도 정보와 소프트웨어 요소를 가질 수 있다. 또한, 출력 디바이스(706)는 지도, 차량의 위치 표시, 및 또한 차량의 주행 상황을 나타내는 이미지를 디스플레이하기 위한 디스플레이를 포함할 수 있다. 출력 디바이스(706)는 또한 오디오 안내를 위해 이어폰과의 인터페이스 또는 스피커를 포함할 수 있다.
버스(702)는 산업 표준 아키텍처(ISA) 버스, 마이크로 채널 아키텍처(MCA) 버스, 향상된 ISA(EISA) 버스, 비디오 전자 표준 협회(VESA) 로컬 버스, 및 주변 장치 연결(PCI) 버스를 포함할 수 있지만 이들로 제한되지 않는다. 특히, 차량용 디바이스의 경우, 버스(702)는 또한 자동차에 적용하도록 설계된 제어기 영역 네트워크(CAN) 버스 또는 다른 아키텍처를 포함할 수 있다.
컴퓨팅 디바이스(700)는 또한 작업 메모리(714)를 포함할 수 있고, 작업 메모리는, 프로세서(704)의 작업에 유용한 명령어 및/또는 데이터를 저장할 수 있고, 랜덤 액세스 메모리 및/또는 판독 전용 메모리 디바이스를 포함할 수 있지만 이들로 제한되지 않는 임의의 종류의 작업 메모리일 수 있다.
운영 체제(716), 하나 이상의 애플리케이션 프로그램(718), 드라이버 및/또는 기타 데이터 및 코드를 포함하지만 이들로 제한되지 않는 소프트웨어 요소는 작업 메모리(714)에 위치될 수 있다. 위에서 설명된 방법 및 단계를 수행하기 위한 명령어는 하나 이상의 애플리케이션 프로그램(718)에 포함될 수 있고, 전술한 장치(800)의 유닛은 하나 이상의 애플리케이션 프로그램(718)의 명령어를 판독하고 실행하는 프로세서(704)에 의해 구현될 수 있다. 소프트웨어 요소의 명령어의 실행 코드 또는 소스 코드는 위에서 설명된 저장 디바이스(들)(710)와 같은 비일시적인 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 컴파일 및/또는 설치를 통해 작업 메모리(714)로 판독될 수 있다. 소프트웨어 요소의 명령어의 실행 코드 또는 소스 코드는 원격 위치로부터 다운로드될 수도 있다.
이 기술 분야에 통상의 지식을 가진 자라면 전술한 실시형태로부터 본 발명이 필요한 하드웨어를 갖는 소프트웨어로 구현될 수도 있고, 또는 하드웨어, 펌웨어 등에 의해 구현될 수도 있다는 것을 명확히 이해할 수 있을 것이다. 이러한 이해에 기초하여, 본 발명의 실시형태는 부분적으로 소프트웨어 형태로 구현될 수 있다. 컴퓨터 소프트웨어는 컴퓨터의 플로피 디스크, 하드 디스크, 광학 디스크 또는 플래시 메모리와 같은 판독 가능한 저장 매체에 저장될 수 있다. 컴퓨터 소프트웨어는 컴퓨터(예를 들어, 개인용 컴퓨터, 서비스 스테이션 또는 네트워크 단말)가 본 발명의 각각의 실시형태에 따른 방법 또는 그 일부를 실행하게 하는 일련의 명령어를 포함한다.
본 명세서에서 "일례" 또는 "실시형태"로 언급된 용어는 특정 설명된 특징, 구조 또는 특성이 적어도 하나의 실시형태에 포함된 것을 의미한다. 따라서, 이러한 어구의 사용은 하나 초과의 실시형태를 나타낼 수 있다. 또한, 설명된 특징, 구조, 또는 특성은 하나 이상의 실시형태에서 임의의 적절한 방식으로 조합될 수 있다.
그러나, 관련 기술 분야에서 통상의 지식을 가진 자라면 하나 이상의 특정 세부 사항 없이 또는 다른 방법, 자원, 재료 등을 사용하여 실시형태를 실시할 수 있다는 것을 이해할 수 있을 것이다. 다른 예에서, 잘 알려진 구조, 자원 또는 동작은 단지 실시형태의 양태를 모호하게 하는 것을 방지하기 위해 상세히 제시하거나 설명하지 않았다.
예시적인 실시형태 및 응용을 예시하고 설명하였지만, 이 실시형태는 위에 설명된 정확한 구성 및 자원으로 제한되지 않는 것으로 이해된다. 이 기술 분야에 통상의 지식을 가진 자에게 자명한 다양한 수정, 변경 및 변형이 청구범위를 벗어나지 않고 본 명세서에 개시된 방법 및 시스템의 배열, 동작 및 세부사항에서 이루어질 수 있을 것이다.

Claims (15)

  1. 객체를 식별하는 방법으로서,
    제1 시각에서 차량에 설치된 카메라에 의해 출력되는 원시 데이터를 취득하는 단계로서, 상기 출력 원시 데이터는 연속 모델에 대한 연속 데이터 출력 형식 또는 이산 모델에 대한 이산 데이터 출력 형식 중 하나를 포함하는, 상기 원시 데이터를 취득하는 단계;
    상기 원시 데이터를 이산 통계 모델에 공급하여 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 형성하는 단계로서, 상기 이산 통계 모델 형식 데이터는 상기 연속 데이터 출력 형식을 갖는 연속 부분 및 상기 이산 데이터 출력 형식을 갖는 이산 부분을 포함하는, 상기 이산 통계 모델 형식 데이터를 형성하는 단계;
    상기 제1 시각에서의 이산 통계 모델 형식 데이터를 업데이트하기 위해 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하는 단계; 및
    상기 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터로부터 상기 객체를 식별하는 단계로서, 상기 객체는 곡선을 특징으로 하는 차선 표시를 포함하는, 상기 객체를 식별하는 단계
    를 포함하는, 객체를 식별하는 방법.
  2. 제1항에 있어서, 상기 연속 모델은 다항식을 사용하여 곡선을 기술하고, 상기 이산 모델은 복수의 이산 점을 사용하여 곡선을 기술하는, 객체를 식별하는 방법.
  3. 제1항에 있어서, 상기 카메라는 단안 카메라, 양안 스테레오 비전 카메라, 파노라마 비전 카메라, 및 적외선 카메라 중 하나 이상을 포함하는, 객체를 식별하는 방법.
  4. 제1항에 있어서, 상기 원시 데이터를 이산 통계 모델에 공급하여 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 형성하는 단계는,
    상기 원시 데이터가 연속 데이터 출력 형식을 갖는 경우, 상기 원시 데이터를 상기 이산 통계 모델 형식 데이터의 연속 부분으로 사용하고, 상기 원시 데이터에 의해 기술된 곡선 상의 복수의 이산 점을 상기 이산 통계 모델 형식 데이터의 이산 부분으로 계산하는 단계; 및
    상기 원시 데이터가 이산 데이터 출력 형식을 갖는 경우, 상기 원시 데이터에 기초하여 상기 원시 데이터에 대응하는 곡선에 대한 연속 데이터 출력 형식을 상기 이산 통계 모델 형식 데이터의 연속 부분으로 계산하고, 상기 원시 데이터를 상기 이산 통계 모델 형식 데이터의 이산 부분으로 사용하는 단계
    를 더 포함하는, 객체를 식별하는 방법.
  5. 제1항에 있어서, 상기 제1 시각에서의 상기 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하는 단계는,
    상기 제1 시각 이전의 임계 시간 기간 내의 복수의 이전의 시각에서의 복수의 이산 통계 모델 형식 데이터를 포함하는 과거 이산 통계 모델 형식 데이터와 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 융합하여, 융합된 이산 통계 모델 형식 데이터의 이산 부분이 상기 복수의 이산 통계 모델 형식 데이터의 모든 이산 부분의 데이터를 포함하도록 하는 단계, 및
    상기 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 기초하여, 상기 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 대응하는 곡선에 대한 연속 데이터 출력 형식 데이터를 상기 융합된 이산 통계 모델 형식 데이터의 연속 부분으로 계산하는 단계
    를 더 포함하는, 객체를 식별하는 방법.
  6. 제1항에 있어서, 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하는 단계는,
    상기 제1 시각 이전의 임계 시간 기간 내의 복수의 이전 시각에서의 복수의 이산 통계 모델 형식 데이터에 대해,
    상기 제1 시각에서의 이산 통계 모델 형식 데이터가 업데이트될 때까지, 각 시각에서의 이산 통계 모델 형식 데이터를 미리 결정된 시간 간격 후의 후기 시각에서의 이산 통계 모델 형식 데이터와 융합하여, 상기 후기 시각에서의 이산 통계 모델 형식 데이터를 업데이트하여, 융합된 이산 통계 모델 형식 데이터의 이산 부분이 상기 복수의 이산 통계 모델 형식 데이터의 모든 이산 부분의 데이터를 포함하도록 하는 단계, 및
    상기 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 기초하여, 상기 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 대응하는 곡선에 대한 연속 데이터 출력 형식 데이터를 상기 융합된 이산 통계 모델 형식 데이터의 연속 부분으로 계산하는 단계를 반복적으로 수행하는 단계
    를 더 포함하는, 객체를 식별하는 방법.
  7. 제5항 또는 제6항에 있어서, 상기 복수의 이산 통계 모델 형식 데이터의 모든 이산 부분으로부터 중복 데이터를 제거하는 단계를 더 포함하는, 객체를 식별하는 방법.
  8. 제1항에 있어서, 상기 융합하는 단계는, 상기 제1 시각에서의 차량의 위치를 로컬 좌표계의 원점으로 사용하여 상기 과거 이산 통계 모델 형식 데이터를 로컬 좌표계로 변환하여, 상기 과거 이산 통계 모델 형식 데이터와 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 모두 상기 로컬 좌표계로 표시하도록 하는 단계를 더 포함하는, 객체를 식별하는 방법.
  9. 제1항에 있어서, 상기 융합하는 단계는, 상기 과거 이산 통계 모델 형식 데이터에 사용되고 상기 제1 시각에서의 이산 통계 모델 형식 데이터에 사용된 다른 종류의 좌표계를 세계 좌표계로 변환하여, 상기 과거 이산 통계 모델 형식 데이터와 상기 제1 시각에서의 이산 통계 모델 형식 데이터가 모두 동일한 좌표계로 표시되도록 하는 단계를 더 포함하는, 객체를 식별하는 방법.
  10. 제1항에 있어서, 상기 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터로부터 객체를 식별하는 단계는, 수학적 알고리즘을 채택하여 상기 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터에서 이산 데이터 출력 형식을 갖는 데이터로부터 객체를 식별하는 단계를 더 포함하고, 상기 수학적 알고리즘은 회귀 알고리즘, 보간 알고리즘 및 맞춤 알고리즘 중 하나를 포함하는, 객체를 식별하는 방법.
  11. 객체를 식별하기 위한 장치로서,
    차량에 설치된 카메라에 의해 출력되는 원시 데이터를 제1 시각에서 취득하도록 구성된 데이터 취득 모듈로서, 상기 출력 원시 데이터는 연속 모델에 대한 연속 데이터 출력 형식 또는 이산 모델에 대한 이산 데이터 출력 형식 중 하나를 포함하는, 상기 데이터 취득 모듈;
    상기 원시 데이터를 이산 통계 모델에 공급하여 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 형성하도록 구성된 데이터 공급 모듈로서, 상기 이산 통계 모델 형식 데이터는 상기 연속 데이터 출력 형식을 갖는 연속 부분 및 상기 이산 데이터 출력 형식을 갖는 이산 부분을 포함하는, 상기 데이터 공급 모듈;
    상기 제1 시각에서의 이산 통계 모델 형식 데이터를 과거 이산 통계 모델 형식 데이터와 융합하여 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 업데이트하도록 구성된 데이터 융합 모듈; 및
    상기 제1 시각에서의 업데이트된 이산 통계 모델 형식 데이터로부터 상기 객체를 식별하도록 구성된 객체 식별 모듈로서, 상기 객체는 곡선을 특징으로 하는 차선 표시를 포함하는, 상기 객체 식별 모듈
    을 포함하는, 객체를 식별하기 위한 장치.
  12. 제11항에 있어서, 상기 데이터 융합 모듈은,
    상기 원시 데이터가 연속 데이터 출력 형식을 갖는 경우, 상기 원시 데이터를 상기 이산 통계 모델 형식 데이터의 연속 부분으로 사용하고, 상기 원시 데이터로 기술된 곡선 상의 복수의 이산 점을 상기 이산 통계 모델 형식 데이터의 이산 부분으로 계산하도록; 그리고
    상기 원시 데이터가 이산 데이터 출력 형식을 갖는 경우, 상기 원시 데이터에 기초하여 상기 원시 데이터에 대응하는 곡선에 대한 연속 데이터 출력 형식을 상기 이산 통계 모델 형식 데이터의 연속 부분으로 계산하고, 상기 원시 데이터를 상기 이산 통계 모델 형식 데이터의 이산 부분으로 사용하도록
    더 구성된, 객체를 식별하기 위한 장치.
  13. 제11항에 있어서, 상기 데이터 융합 모듈은,
    상기 제1 시각 이전의 임계 시간 기간 내의 복수의 이전의 시각에서의 복수의 이산 통계 모델 형식 데이터를 포함하는 과거 이산 통계 모델 형식 데이터와 상기 제1 시각에서의 이산 통계 모델 형식 데이터를 융합하여, 융합된 이산 통계 모델 형식 데이터의 이산 부분이 상기 복수의 이산 통계 모델 형식 데이터의 모든 이산 부분의 데이터를 포함하게 하도록; 그리고
    상기 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 기초하여, 상기 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 대응하는 곡선에 대한 연속 데이터 출력 형식 데이터를 상기 융합된 이산 통계 모델 형식 데이터의 연속 부분으로 계산하도록
    더 구성된, 객체를 식별하기 위한 장치.
  14. 제11항에 있어서, 상기 데이터 융합 모듈은,
    상기 제1 시각 이전의 임계 시간 기간 내의 복수의 이전 시각에서의 복수의 이산 통계 모델 형식 데이터에 대해,
    상기 제1 시각에서의 이산 통계 모델 형식 데이터가 생성될 때까지, 각각의 시각에서의 이산 통계 모델 형식 데이터를 미리 결정된 시간 간격 후의 후기 시각에서의 이산 통계 모델 형식 데이터와 융합하여, 상기 후기 시각에서의 이산 통계 모델 형식 데이터를 업데이트하여, 융합된 이산 통계 모델 형식 데이터의 이산 부분이 상기 복수의 이산 통계 모델 형식 데이터의 모든 이산 부분의 데이터를 포함하도록 하는 동작, 및
    상기 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 기초하여, 상기 융합된 이산 통계 모델 형식 데이터의 이산 부분 데이터에 대응하는 곡선에 대한 연속 데이터 출력 형식 데이터를 상기 융합된 이산 통계 모델 형식 데이터의 연속 부분으로 계산하는 동작
    을 반복적으로 수행하도록 더 구성된, 객체를 식별하기 위한 장치.
  15. 차량으로서,
    하나 이상의 카메라 및 제11항에 따른 장치를 포함하되, 상기 카메라는 연속 모델 또는 이산 모델 중 하나를 사용하여 객체를 표현하고, 상기 객체는 곡선을 특징으로 하는 차선 표시를 포함하는, 차량.
KR1020227002630A 2019-06-28 2019-06-28 객체를 식별하는 방법 및 시스템 KR20220034798A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/093596 WO2020258222A1 (en) 2019-06-28 2019-06-28 Method and system for identifying object

Publications (1)

Publication Number Publication Date
KR20220034798A true KR20220034798A (ko) 2022-03-18

Family

ID=74060427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227002630A KR20220034798A (ko) 2019-06-28 2019-06-28 객체를 식별하는 방법 및 시스템

Country Status (6)

Country Link
US (1) US20220254140A1 (ko)
EP (1) EP3991086A4 (ko)
JP (1) JP7429246B2 (ko)
KR (1) KR20220034798A (ko)
CN (1) CN114008682A (ko)
WO (1) WO2020258222A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114447866B (zh) * 2022-03-09 2024-03-01 中英海底系统有限公司 布缆机轮组间的压力控制方法及其系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4112819B2 (ja) 2000-05-11 2008-07-02 株式会社東芝 物体領域情報生成装置及び物体領域情報記述プログラム
JP3866595B2 (ja) * 2002-03-15 2007-01-10 株式会社東芝 ハイブリッドモデル作成装置及びプログラム
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
US20170060810A1 (en) * 2012-12-13 2017-03-02 Eagle Harbor Holdings, LLC. System and method for the operation of an automotive vehicle system with modeled sensors
BE1021350B1 (nl) * 2014-11-26 2015-11-05 ROMAEN Hans en RYCKAERT Peter p/a Acerio BVBA Werkwijze en systeem voor het tonen van een opeenvolging van beelden
CN113654561A (zh) * 2014-12-05 2021-11-16 苹果公司 自主导航系统
JP6606472B2 (ja) 2016-07-04 2019-11-13 株式会社Ｓｏｋｅｎ 走路形状認識装置、走路形状認識方法
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
CN108573039B (zh) * 2018-04-04 2022-03-11 烟台海颐软件股份有限公司 一种基于多源时空数据组配的目标辨识方法与系统
US11214268B2 (en) * 2018-12-28 2022-01-04 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles

Also Published As

Publication number Publication date
EP3991086A4 (en) 2023-03-01
JP7429246B2 (ja) 2024-02-07
CN114008682A (zh) 2022-02-01
WO2020258222A1 (en) 2020-12-30
US20220254140A1 (en) 2022-08-11
EP3991086A1 (en) 2022-05-04
JP2022544348A (ja) 2022-10-18

Similar Documents

Publication Publication Date Title
US10586118B2 (en) Localizing traffic situation using multi-vehicle collaboration
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
US10262234B2 (en) Automatically collecting training data for object recognition with 3D lidar and localization
US11535155B2 (en) Superimposed-image display device and computer program
KR20190095579A (ko) 차량의 주행을 보조하는 장치 및 방법
US20210201051A1 (en) Lane selection using machine learning
JP2016126605A (ja) 走行環境認識システム
US10495480B1 (en) Automated travel lane recommendation
JP2018081545A (ja) 画像データ抽出装置及び画像データ抽出方法
EP3951700A1 (en) Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
CN109070889A (zh) 自动驾驶车辆的基于减速路缘的方向检测和车道保持系统
US10922976B2 (en) Display control device configured to control projection device, display control method for controlling projection device, and vehicle
CN109774720A (zh) 高精度地图可视化方法、装置及存储介质
KR20220017481A (ko) 2d 궤적 플래너용 도로 모델 매니폴드
US11189162B2 (en) Information processing system, program, and information processing method
JP7232604B2 (ja) ナビゲーションシステム、ナビゲーション表示方法、およびナビゲーション表示プログラム
KR20200084446A (ko) 전자 장치 및 그의 제어 방법
CN110770540B (zh) 用于构建环境模型的方法和装置
KR20220034798A (ko) 객체를 식별하는 방법 및 시스템
JP2019101806A (ja) 走行現調支援装置
JP7327083B2 (ja) 領域切り出し方法および領域切り出しプログラム
CN114127658B (zh) 使用道路模型2d流形的6d空间中的3d里程
JP6773854B2 (ja) 検出装置、検出方法、および検出プログラム
CN112099481A (zh) 用于构建道路模型的方法和系统
CN111060114A (zh) 用于生成高精度地图的特征图的方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal