KR20160026989A - 객체 움직임의 라이더 기반 분류 기법 - Google Patents

객체 움직임의 라이더 기반 분류 기법 Download PDF

Info

Publication number
KR20160026989A
KR20160026989A KR1020167000946A KR20167000946A KR20160026989A KR 20160026989 A KR20160026989 A KR 20160026989A KR 1020167000946 A KR1020167000946 A KR 1020167000946A KR 20167000946 A KR20167000946 A KR 20167000946A KR 20160026989 A KR20160026989 A KR 20160026989A
Authority
KR
South Korea
Prior art keywords
rider
voxel
point cloud
rider point
voxels
Prior art date
Application number
KR1020167000946A
Other languages
English (en)
Other versions
KR101829556B1 (ko
Inventor
아론 매튜 로건
Original Assignee
우버 테크놀로지스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우버 테크놀로지스, 인크. filed Critical 우버 테크놀로지스, 인크.
Publication of KR20160026989A publication Critical patent/KR20160026989A/ko
Application granted granted Critical
Publication of KR101829556B1 publication Critical patent/KR101829556B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

머신 비전 내에서, 객체 움직임은 흔히 원근법(perspective) 및 시차(parallax)와 같은 기법을 이용하여 이미지 평가 기법을 가시광 이미지에 적용함으로써 추정된다. 그러나, 이들 기법의 정확도는 빛과 그림자와 같은 이미지 내의 시각적 왜곡으로 인해 제한될 수 있다. 대신에, (예컨대 자동화된 내비게이션에서 객체 회피를 위해)라이더 데이터가 이용가능할 수 있고, 그러한 결정을 위해 고정도 데이터 소스 역할을 할 수 있다. 라이더 포인트 클라우드의 제각기의 라이더 포인트가 3차원 복셀 공간의 복셀들에 맵핑될 수 있고 복셀 클러스터가 객체로서 식별될 수 있다. 라이더 포인트의 움직임은 시간의 경과에 따라 분류될 수 있고, 제각기의 객체는 객체와 연관된 라이더 포인트의 분류에 기초하여 이동 중이거나 고정되어 있는 것으로 분류될 수 있다. 이 분류는 정확한 결과를 산출하는데, 시간에 대해 평가될 때 3차원 복셀 공간 내의 복셀이 분명히 구별할 수 있는 상태를 제시하기 때문이다.

Description

객체 움직임의 라이더 기반 분류 기법{LIDAR-BASED CLASSIFICATION OF OBJECT MOVEMENT}
머신 비전(machine vision) 분야에서, 객체 모션 추적 및 속도 추정 기법 및 장치와 같은 많은 시나리오가 다양한 객체의 움직임 검출과 관련이 있다. 예를 들어, 여러 순차적 이미지들 내에서 볼 수 있는 특정 객체를 식별하기 위해 짧은 기간 동안 캡처된 장면의 일련의 이미지들이 평가될 수 있으며, 그 장면의 다양한 지리적 특성에 기초하여 캡처된 기간 동안 그 장면에서의 객체의 움직임이 추정될 수 있다. 일부 그러한 시나리오는 이들 객체에 대한 실시간 또는 거의 실시간 평가와 관련되지만, 다른 시나리오들은 이전에 캡처된 이미지에 대한 회고적 평가(retrospective evaluation)와 관련되는데, 예컨대 거리를 따라 아래로 이동하는 차량이 그 장면에 대한 일련의 이미지를 캡처할 수 있고, 이들 이미지는 장면의 파노라마 뷰 또는 동적 뷰를 형성하기 위해 함께 연결되며, 또한 이들 이미지는 캡처하는 동안 일시적으로 존재하는 객체 때문에 시야를 가리는 장애물을 제거하기 위해, 나중에 후처리될 수 있다.
본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다.
객체가 식별되고, 움직이고 있거나 정지해 있는 것으로 추정되고, 일련의 자연광 이미지(natural-light image)로부터 제거되는 동안, 시각적 이미지의 분석만을 통해 달성할 수 있는 이러한 추정의 정확도는 제한될 수 있다. 그러나, 이 분석은, 객체 검출, 회피, 및 탐색(navigation)을 위해 차량에 흔히 포함되는 라이더(lidar)에 의해 수집된 객체에 대한 범위 정보로 보충될 수 있다. 각 유형의 객체가 분명하게 다른 라이더 데이터의 표시를 제공할 수 있으므로, 라이더의 가용성 및 사용은 그러한 객체들이 움직이고 있는지 아니면 정지해 있는지에 대한 평가에서 특히 발휘될 수 있는 데이터의 고정도(high-precision) 소스를 제공할 수 있다.
이들 관측을 감안하여, 라이더 포인트 클라우드로 표현된 객체의 움직임을 검출하는 기법이 본 명세서에 제시된다. 이들 기법은 라이더 포인트 클라우드 내의 제각기의 라이더 포인트를 3차원 복셀 공간(voxel space) 내의 복셀에 맵핑하는 것과, 3차원 복셀 공간 내의 인접지를 공유하는 복셀들의 복셀 클러스터에 의해 표현된 적어도 하나의 객체를 식별하는 것을 포함한다. 이들 기법은 또한, 라이더 포인트 클라우드 내의 제각기의 라이더 포인트에 대해, 그 라이더 포인트를 선택된 객체와 연관시키는 것과 상기 선택된 객체에 따라 라이더 포인트의 움직임을 분류하는 것을 포함한다. 마지막으로, 이들 기법은, 제각기의 객체에 대해, 객체와 연관된 제각기의 라이더 포인트의 움직임에 따라 객체의 움직임을 분류하는 것을 포함한다. 이런 방식으로 라이더 포인트 클라우드로 표현된 제각기의 객체의 움직임을 검출함으로써, 본 명세서에 제시된 기법은 가상 공간 내의 이동중인 객체 대 정지 객체의 고정도 분류(high-precision classification)를 가능하게 하며, 이 분류는 본 명세서에 제시된 기법들(예컨대, 하나 이상의 이미지를 객체에 포커싱하는 것, 객체의 위치, 방향, 속도, 및/또는 가속도를 추정하는 것, 라이더 포인트 클라우드에 의해 표현된 영역을 나타내는 이미지로부터 객체를 제거하는 것)에 따라서 다양한 추가 처리 기법에 이용될 수 있다.
이들 및 관련 목적을 달성하기 위해, 이하의 설명 및 첨부 도면은 소정의 예시적인 특징 및 구현예를 기술한다. 이들은 하나 이상의 특징이 이용될 수 있는 다양한 방법 중 단지 일부만 나타낸다. 본 개시의 다른 특징, 이점 및 신규한 특징은 첨부 도면과 함께 고려해 볼 때 이하의 상세한 설명으로부터 명확해질 것이다.
도 1은 한 환경 내에서 그 환경의 이미지 및 그 환경 내에 존재하는 다른 객체들의 이미지를 캡처하면서 이동 중인 차량을 도시하는 예시적인 시나리오의 일례이다.
도 2는 차량 주위의 환경의 라이더 포인트 클라우드의 캡처를 나타내고 그 환경 내에 존재하는 다른 객체를 나타내는 예시적인 시나리오의 일례이다.
도 3은 식별된 객체들을 본 명세서에 제시된 기법에 따라 정지 또는 이동 중인 것으로 분류하기 위해 시간의 경과에 따른 라이더 포인트 클라우드의 평가하는 것을 나타내는 예시적인 시나리오의 일례이다.
도 4는 본 명세서에 제시된 기법에 따라 식별된 객체를 정지 또는 이동 중인 것으로 분류하기 위해 시간의 경과에 따라 라이더 포인트 클라우드를 평가하는 예시적인 방법의 흐름도이다.
도 5는 본 명세서에 제시된 기법에 따라 식별된 객체를 정지 또는 이동 중인 것으로 분류하기 위해 시간의 경과에 따라 라이더 포인트 클라우드를 평가하도록 구성된 예시적인 시스템의 컴포넌트 블록도이다.
도 6은 본 명세서에 개시된 하나 이상의 실시예를 구현하도록 구성된 프로세서 실행가능 명령어를 포함하는 예시적인 컴퓨터 판독가능 매체의 일례이다.
도 7은 본 명세서에 제시된 기법에 따른, 인근 객체를 구별하기 위해 객체의 분류 후에 라이더 포인트 클라우드의 재분할을 나타내는 예시적인 시나리오의 일례이다.
도 8은 본 명세서에 개시된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 것이다.
이제 도면을 참고하여 청구대상에 대해 설명하는데, 도면에서 유사한 참조번호는 도면 전반에서 유사한 구성요소를 지칭하는데 사용된다. 이하에서는, 설명을 위한 목적으로, 청구항의 청구대상에 대해 완전히 이해하기 위해 다수의 특정한 상세가 개시된다. 그러나, 청구항의 청구대상은 이들 특정한 상세없이 실시될 수도 있을 것이다. 다른 예에서는, 청구항의 청구대상에 대한 기술을 용이하게 하기 위해 구조 및 장치가 블록도 형태로 도시된다.
A. 서론
머신 비전 분야에서, 많은 시나리오가, 한 환경 내에 존재하며 그 환경의 이미지 내에 나타내어지는 객체를 검출하기 위한, 보다 구체적으로는 이들 객체의 위치, 크기, 방향, 속도 및/또는 가속도를 식별하기 위한, 그 환경의 이미지에 대한 자동화된 평가와 관련된다. 제1 예로서, 평가는, 장애물 회피를 용이하게 하기 위해 자동차, 자전거, 및 도로의 보행자 뿐만 아니라, 표지판, 가로수 및 빌딩을 포함하는 수송 환경(transit environment) 내의 차량과 관련이 있을 수 있다. 제2 예로서, 물리적 객체 추적 시스템이 환경 내의 객체와 상호작용하기 위해(예컨대, 공이나 다른 던져진 객체를 잡기 위해) 그 객체의 모션을 평가할 수 있다. 제3 예로서, 모션 캡처 환경에서 존재하는 행위자가 사람과 같은 움직임을 갖는 애니메이트된 인물을 렌더링하기 위해 다양한 행동을 수행하는 동안 녹화될 수 있다. 다양한 시나리오에서, 분석은 (예컨대, 다른 현재의 객체들과 상호작용 중인 장치 또는 개인을 돕기 위해)실시간으로 또는 거의 실시간으로 수행될 수 있지만, 다른 시나리오에서는, (예컨대, 캡처하는 시간에 존재한 객체의 움직임을 식별하기 위해)분석이 회고적으로 수행될 수도 있다. 이들 및 다른 시나리오는 흔히, 예컨대, 정지 또는 모션 카메라에 의한 가시광 이미지 세트(a set of visible light images)의 캡처 및 평가와 시각적 처리 기법(visual processing technique)을 사람이 볼 수 있는 이미지에 적용하는 것과 관련이 있다. 예를 들어, 머신 비전 기법은 광원으로부터의 섀도잉(shadowing), 원근법(perspective), 상대적 크기, 및 시차 효과와 같은 시각적 단서에 기반하여 이들 이미지의 콘텐츠로부터 객체의 유형, 컬러, 크기, 모양, 방향, 위치, 속도 및 가속도를 평가하려고 시도할 수 있다.
도 1은 한 환경 내에서 카메라(106)를 작동시켜 그 환경의 일련의 이미지를 캡처하면서 이동 중인 (예컨대, 특정한 속도 벡터(104)를 갖는) 차량(102)을 도시하는 예시적인 시나리오의 일례를 나타낸다. 이 예시적인 시나리오에서, 다른 차량들(102)이 또한 환경(100) 내에 존재하며, 이들 차량은 주차된 차와 같은 정지 차량(108) 및 속도 벡터(104)를 갖는 차량(102) 모두를 포함할 수 있다. 환경(100)은 또한 개인(110)과 같은 다른 유형의 이동중인 객체 뿐만 아니라 표지판(112)과 빌딩(114)과 같은 다양한 정지 객체를 포함할 수도 있다. 이 환경에서, 차량(102)의 운전자는 제각기의 차량(102) 및 개인(110)의 속도 벡터(104)를 식별하려고 할 수 있으며, 이동중인 차량(102)과 정지 차량(108) 및 다른 유형의 이동중이거나 정지 상태에 있는 객체 사이를 구별하려고 할 수 있다. 이 분석의 결과는, 거의 실시간으로 수행될 경우, (인근의 다른 차량(102)과 속도를 맞추는 것 및 브레이크 및 운전대를 이용하여 갑작스런 속도 변화를 피하는 것과 같이) 차량(102)의 주행을 도울 수 있다. 또한, 이 분석의 결과는, 예컨대 환경(100)의 방해되지 않는 시야를 생성하기 위해 그리고/또는 선명해진 시각화, 객체의 추가적인 분류(예컨대 움직이는 차량의 제조원 및 모델을 식별하는 것), 및 움직임 추적을 비롯한 다양한 응용을 위해 움직이는 객체의 보다 정교한 3차원 모델을 생성하기 위해, 표시된 차량(102) 및 기타 객체를 카메라(106)에 의해 캡처된 이미지로부터 제거하는데 회고적으로 유용할 수도 있다.
그러나, 이들 시나리오에서, 시각 이미지를 조사하여 객체의 움직임을 식별하는데에서 달성가능한 정밀도는 제한될 수도 있다. 예를 들어, 원근법 및 시차와 같은 기법은, 특히 카메라 렌즈로부터 떨어져 있는 객체에 대해 일반적인 추정만 제공할 수 있고/있거나 빛과 그림자 같은 시각적 아티팩트에 의해 왜곡될 수 있다. 그 결과, 이들 평가 기법은 저정밀도 및/또는 높은 에러율을 갖는 추정치를 생성할 수 있으며 특정 사용에는 부적합할 수 있다.
B. 제시된 기법들
객체 움직임의 평가와 관련한 많은 시나리오는, 지정된 파장의 광의 포커싱된 저전력 빔 세트를 방사할 수 있고 다양한 객체로부터 그러한 광 파장의 반사를 검출하고 기록할 수 있는 레이저 이미징("라이더(lidar)") 캡처 장치로부터의 데이터에 액세스하는 장치(예컨대, 차량(102))를 통해 달성될 수 있다. 검출된 라이더 데이터는 라이더 포인트 클라우드를 생성하는데 사용될 수 있는데, 이 라이더 포인트 클라우드는 객체로부터 반사되어 검출기로 복귀하는 광의 라이더 지점을 나타내며 따라서 환경(100) 내에 존재하는 객체의 특정 지점을 나타낸다. 시간의 경과에 따라 라이더 데이터를 캡처하고 평가함으로써, 이러한 장치는 라이더 검출기 주위의 객체의 상대적인 위치(예컨대, 카메라(106)를 작동시키는 차량(102)에 대한 다른 차량들(102)의 위치)에 대한 표시를 만들 수 있다.
도 2는 라이더 포인트 클라우드를 사용하여 객체(예컨대, 차량(102))를 캡처한 것을 나타내는 예시적인 시나리오(200)의 일례이다. 이 예시적인 시나리오(200)에서, 제1 차량(102)은 속도 벡터(104)를 갖는 움직이는 차량(102) 뒤에 위치해 있고, 정지 차량(108)은 어떠한 검출가능한 모션도 갖지 않는다. 제1 차량(102)은 제1 차량(102) 앞에 라이더 신호(204)를 방사하는 라이더 방사체(202)를 포함할 수 있다. 라이더 신호(204)의 라이더 반사(206)는 라이더 검출기(208)에 의해 검출될 수 있고 제각기의 시점(212)에서 환경(100) 내에 라이더 검출기(208)에 의해 검출된 라이더 포인트(214)를 나타내는 일련의 라이더 포인트 클라우드(210)로서 캡처될 수 있다. 구체적으로, 검출된 라이더 지점(214)은 특정 객체(예컨대, 차량(102)) 주위에 모일 수 있으며, 이는 라이더 검출기(208)가 제각기의 시점(212)에 있는 객체의 존재, 크기, 및/또는 범위를 식별할 수 있도록 할 수 있다. 또한, 시간에 따른 차량들(102) 또는 다른 객체들의 범위를 비교함으로써, 라이더 검출기(208)는 객체의 대략적인 속도를 결정할 수 있다. 예를 들어, 시간의 경과에 따른 라이더 포인트 클라우드(210)를 비교할 때, 움직이는 차량(102)을 나타내는 라이더 포인트(214)와 정지 차량(108)을 나타내는 라이더 포인트(214)는 서로에 대해 그리고 제1 차량(102)에 대해 이동할 수 있다. 그러나, 라이더 검출기(208)를 구비하는 차량(102)이 이동 중에 있으면, 라이더 포인트 클라우드(210) 내의 라이더 포인트(214)에 의해 표현되는 차량(102) 또는 다른 객체의 대략적인 속도는 왜곡될 수 있는데, 예컨대, 정지 차량(108)이 이동 중인 것처럼 보일 수도 있지만, 라이더 검출기(208)를 구비한 차량(102)과 대략 동일한 속도 및 방향으로 움직이고 있는 이동 차량(102)이 정지 차량(108)처럼 보일 수도 있다. 객체들이 3차원 공간에서의 움직임 및 시간의 경과에 따라 검출되면, 그리고/또는 라이더 검출기(208)를 구비한 차량의 방향이 변경(예컨대, 가속, 감속, 및/또는 전환)되면 이들 복잡성은 심해질 수 있다. 제각기의 객체(예컨대, 차량(102))가 이동중인지 아니면 정지해 있는지의 여부를 판단하는 것도 이들 요인을 고려하면 어려워질 수 있다.
제각기의 객체(예컨대 차량(102))를 움직이고 있거나 정지해 있는 것으로 분류하기 위해 그리고 선택적으로 위치 및 속도와 같은 다른 특성을 식별하기 위해, 이들 기법은 제각기의 라이더 포인트 클라우드(210)의 라이더 포인트(214)를 3차원 공간으로 변환하는데 이용될 수 있다. 도 3은 도시된 객체를 분류하기 위해 라이더 포인트 클라우드(210) 세트의 변환을 나타내는 예시적인 시나리오(300)의 일례를 나타낸다. 이 예시적인 시나리오(300)에서, 제각기의 라이더 포인트 클라우드(210)에 있어서, 라이더 포인트(214)는 3차원 복셀 공간(304) 내의 복셀(306)에 맵핑된다(302). 그 다음에, 3차원 복셀 공간(304)의 복셀(306)을 평가하여 복셀(306)의 하나 이상의 복셀 클러스터(예컨대, 라이더 포인트 클라우드(210) 내의 하나 이상의 라이더 포인트(214)에 의해 점유되고, 예컨대 다른 점유된 복셀(306)의 지정된 수의 복셀들(306)과 같이 3차원 복셀 공간(304)의 다른 점유된 복셀(306)과 인접지를 공유하는 복셀들(306))를 검출하고, 그 결과 객체 공간(310) 내의 하나 이상의 객체(312)를 식별(308)할 수 있다. 그 다음에, 라이더 포인트 클라우드(210) 내의 제각기의 라이더에 있어서, 라이더 포인터(214)가 선택된 객체(312)와 연관될 수 있다. 그 후 라이더 포인트(214)의 움직임이 선택된 객체(312)에 따라 분류될 수 있다(예를 들어, 객체들이 3차원 복셀 공간(304) 내의 객체(312)에 대해 이동하고 있거나 정지해 있는 것으로 식별될 수 있다). (예컨대, 제각기의 시점(212)에 객체 공간(310)에 대해 추가된)객체(312)와 연관된 라이더 포인트(214)의 분류된 움직임, 라이더 포인트(214)의 프로젝션(314) 및 제각기의 객체(312)와 연관된 라이더 포인트(214)의 움직임에 대한 평가에 따라서, 제각기의 객체(312)의 움직임이 분류될 수 있다. 예를 들어, 도 3의 프로젝션(314)에 도시된 바와 같이, 제1 객체와 연관된 라이더 포인트(214)는, 3차원 복셀 공간(304)을 고려한 프로젝션 후에, 라이더 검출기(208)에 대해 이동하는 것으로 나타나며, 그 결과 객체(312)의 분류(316)가 이동 객체로 될 수 있는 반면에, 제2 객체(312)와 연관된 라이더 포인트(214)는, 3차원 복셀 공간(304)을 고려한 프로젝션 후, 라이더 검출기(208)의 움직임에 대한 조정 후에 정지해 있는 것으로 나타나며, 그 결과 객체(312)의 분류(316)가 정지 객체로 될 수 있다. 이런 방식으로, 도 3의 예시적인 시나리오(300)에 도시된 기법은 본 명세서에서 제시된 기법에 따라서 라이더 포인트 클라우드(210)로 표현된 환경 내에서 식별된 객체(312)를 정지 객체 및 이동 객체로 분류할 수 있게 한다.
C. 예시적인 실시예들
도 4는 본 명세서에 제시된 기법의 제1 실시예를 나타낸 것으로, 라이더 포인트 클라우드(210)로 표현된 객체(312)의 움직임을 검출하는 예시적인 방법(400)으로 도시되어 있다. 예시적인 방법(400)은, 예를 들어 메모리 회로, 하드 디스크 드라이브의 플래터(platter), 솔리드 스테이트 저장 장치, 또는 자기 또는 광 디스크와 같은 메모리 장치에 저장되고, 장치의 프로세서 상에서 실행될 때, 장치로 하여금 본 명세서에 제시된 기법에 따라서 동작하게 하도록 조직된 된 명령어 세트로서 구현될 수 있다. 예시적인 방법(400)은 402에서 시작되며 장치의 프로세서 상의 명령어를 실행하는 것(404)을 포함한다. 구체적으로, 이들 명령어는 제각기의 라이더 포인트(214)를 맵핑(406)하도록 구성될 수 있다. 제각기의 시점(212)에서 라이더 포인트 클라우드(210)로부터 환경(100) 내에 제시된 객체(312)의 식별 및 움직임 분류를 달성하면, 예시적인 방법(400)은 본 명세서에 제시된 기법을 객체(312)의 움직임의 분류에 적용하고, 418에서 종료된다.
도 5는 본 명세서에 제시된 기법의 제2 실시예를 나타낸 것으로, 환경(100)의 라이더 포인트 클라우드(210)로 표현된 객체(312)의 움직임을 분류하도록 구성된 예시적인 시스템(506)으로 도시되어 있다. 예시적인 시스템(506)은, 예를 들어 장치(502)의 메모리 컴포넌트에 저장되며, 장치(502)의 프로세서(504) 상에서 실행될 때 본 명세서에 제시된 기법에 따라 동작하게 하도록 구성될 수 있는 명령어로서 구현될 수 있다. 예시적인 시스템(506)은, 라이더 포인트 클라우드(210) 내의 제각기의 라이더 포인트(214)를 3차원 복셀 공간(304) 내의 복셀(306)에 맵핑하고 3차원 복셀 공간(304) 내의 인접지를 공유하는 복셀(306)의 복셀 클러스터에 의해 표현된 적어도 하나의 객체(312)를 식별(308)하도록 구성되는 객체 식별자(508)를 포함한다. 예시적인 시스템(506)은 또한 객체 움직임 분류기(510)를 포함하는데, 이것은, 라이더 포인트 클라우드(210) 내의 제각기의 라이더 포인트(214)에 대해, 라이더 포인트(214)를 선택된 객체(312)와 연관시키고 선택된 객체(312)에 따라서 라이더 포인트(214)의 움직임을 분류하도록 구성되고, 제각기의 객체(312)에 대해 객체(312)와 연관된 제각기의 라이더 포인트(214)의 움직임에 따라 객체(312)의 움직임을 분류하도록 구성되는 객체 움직임 분류기(510)를 포함한다. 예시적인 시스템(506)은 장치(502)가 본 명세서에 제시된 기법에 따라서 라이더 포인트 클라우드(210) 내의 라이더 포인트(214)에 의해 표현된 객체(312)의 분류(316)를 달성할 수 있게 할 수 있다.
또 다른 실시예는 본 명세서에 제시된 기법을 적용하도록 구성된 프로세서 실행가능 명령어를 포함하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 장치의 프로세서에 의해 실행될 때, 장치로 하여금 본 명세서에 제시된 기법을 구현하게 하는 컴퓨터 판독가능 명령어 세트를 인코딩하는 메모리 반도체(예컨대, SRAM, DRAM, 및/또는 SDRAM 기술을 이용하는 반도체), 하드 디스크 드라이브의 플래터, 또는 자기 또는 광 디스크(예컨대, CD-R, DVD-R, 또는 플로피 디스크)와 같은 유형의 장치를 포함하는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 이러한 컴퓨터 판독가능 매체는 또한 다양한 유선 시나리오(예컨대, 이더넷 또는 광섬유 케이블) 및/또는 무선 시나리오(예컨대, WiFi와 같은 무선 로컬 에이리어 네트워크(WLAN), 블루투스와 같은 PAN(personal area network) 또는 셀룰러 또는 무선 네트워크)에서 물리적 현상을 통해 전파될 수 있는 신호와 같은 다양한 유형의 통신 매체(컴퓨터 판독가능 저장 매체와 다른 종류의 기술로서)를 포함할 수 있으며, 장치의 프로세서에 의해 실행될 때 장치로 하여금 본 명세서에 제시된 기술을 구현하게 하는 컴퓨터 판독가능 명령어 세트를 인코딩한다.
이들 방식으로 고안되는 컴퓨터 판독가능 매체 또는 컴퓨터 판독가능 장치의 실시예가 도 6에 도시되어 있는데, 이 구현예(600)는 컴퓨터 판독가능 데이터(604)가 인코딩되어 있는 컴퓨터 판독가능 매체(602)(예컨대, CD-R, DVD-R, 하드 디스크 드라이브의 플래터)를 포함한다. 이 컴퓨터 판독가능 데이터(604)는 본 명세서에 개시된 원리에 따라서 동작하도록 구성된 컴퓨터 명령어 세트(606)를 포함한다. 그러한 한 실시예에서, 프로세서-실행가능 명령어(606)는, 예를 들어, 도 4의 예시적인 방법(400)과 같이, 라이더 포인트 클라우드(210)에 따라 객체(312)의 움직임을 분류하는 방법(608)을 수행하도록 구성될 수 있다. 다른 실시예에서는, 프로세서-실행가능 명령어(606)가 도 5의 예시적인 시스템(500)과 같이 라이더 포인트 클라우드(210)에 따라서 객체(312)의 움직임을 분류하는 시스템을 구현하도록 구성될 수도 있다. 이 컴퓨터 판독가능 매체의 일부 실시예는 이 방식으로 구성된 프로세서 실행가능 명령어를 저장하도록 구성되는 컴퓨터 판독가능 저장 매체(예컨대, 하드 디스크 드라이브, 광 디스크, 또는 플래시 메모리 장치)를 포함할 수 있다. 본 명세서에서 제시된 기법들에 따라 동작하도록 구성되는 많은 이러한 컴퓨터-판독가능 매체가 당업자에 의해 고안될 수 있다.
D. 변형예들
본 명세서에서 논의된 기술은 많은 면에서 변형들을 갖도록 고안될 수 있고, 일부 변형은 추가적인 이점을 제공하고/하거나 이들 및 다른 기법들의 다른 변형에 대해 문제점을 줄일 수 있다. 또한, 일부 변형들은 조합으로 구현될 수 있으며, 일부 조합은 추가적인 이점을 나타낼 수 있고/있거나 시너지 협력을 통해 문제점을 줄일 수 있다. 변형들은 다양한 실시예(예컨대, 도 4의 예시적인 방법(400) 및 도 5의 예시적인 시스템(506))에 포함되어 각각의 이점 및/또는 시너지 이점을 이들 실시예에 줄 수 있다.
D1. 시나리오들
이들 기법의 실시예들 사이에서 변경될 수 있는 제1 특징은 그러한 기법들이 이용될 수 있는 시나리오와 관련된다.
제1 특징의 제1 변형예로서, 본 명세서에 제시된 기법은, 도로에서 이동하는 자동차와 자전거 또는 영공에서 이동하는 비행기, 모션 캡처 환경(100)과 같은 소정 영역 내에서 이동중인 개인들, 및 탄도와 같이 공중에서 움직이는 발사체와 같이 환경(100)에서 이동 중인 차량(102)을 비롯한 많은 유형의 객체를 평가하는데 이용될 수 있다.
이 제1 특징의 제2 변형예로서, 본 명세서에 제시된 기법은, 가시광, 근적외선 또는 적외선, 근자외선 또는 자외선 광을 비롯한 많은 유형의 라이더 신호(204)와 함께 이용될 수 있다. 라이더 신호(204)의 다양한 파장은 다양한 매체(예컨대, 물이나 습도가 변하는 공기)를 통과하는 통로, 다양한 형태의 간섭에 대한 감도, 및 달성가능한 해상도와 같은 여러 시나리오에서 유리할 수 있는 다양한 특성을 제공할 수 있다.
이 제1 특징의 제3 변형예로서, 본 명세서에 제시된 기법은 다양한 유형의 레이저와 광도 검출기와 같은 다양한 유형의 라이더 방사체(202) 및/또는 라이더 검출기(208)와 함께 이용될 수 있다. 또한, 이러한 장비는 다른 기술들을 수행하는데에 이용될 수도 있고(예컨대, 차량 네비게이션 시스템에서 범위 검출에 제공되는 라이더 장비가 이동 및 정지중인 객체의 분류에 적합할 수도 있다), 두 세트의 기법에 동시에 또는 순서대로 적용될 수도 있다.
제1 특징의 제4 변형예로서, 본 명세서에 제시된 기술에 따른 객체(312)의 분류(316)가 많은 방식으로 사용될 수 있다. 제1 예로서, 객체(312)를 이동 또는 정지로 분류하는 것(316)은 객체(312)가 있는 대응 이미지의 영역을 식별하는데 사용될 수 있다. 따라서 객체 기반 이미지 평가 기법은 예를 들어 객체(312)의 자동화된 평가 및/또는 식별을 수행하기 위해, 수정될 이미지의 부분들을 식별하기 위해(예컨대, 대중에게 이용가능하게 되는 이미지 내의 객체(312)와 연관된 개인의 프라이버시를 촉진하기 위해), 및/또는 이미지 내의 객체(312)의 존재를 보상하기 위해(예컨대, 환경(100)의 3차원 모델을 재구성하는 동안 이미지의 가려진 영역을 피하기 위해 이동 객체로 분류된 객체를 제거하는것), 이미지들의 특정 영역에 포커싱될 수 있다. 제2 예로서, 객체(312)의 분류는 객체 인식, 예컨대 객체(312)의 움직임에 따라 제각기의 객체(312)를 객체 유형으로서 분류하는 것을 용이하게 할 수 있다. 예를 들어, 장치는 객체(312)의 객체 유형 분류를 선택하도록 훈련되는 객체 유형 분류기를 포함할 수 있으며, 장치는 객체 유형 분류기를 호출하여, 객체(312)의 움직임의 분류(316)를 감안하여 객체(312)를 객체 유형으로 분류할 수 있다. 당업자는 이러한 다양한 시나리오를 고안하고/하거나 본 명세서에 제시된 기술에 따라서 객체(312)의 분류(316)에 사용할 수 있다.
D2. 복셀 맵핑 및 클러스터링
본 명세서에서 제시된 기법의 실시예들 사이에서 변경될 수 있는 제2 특징은 라이더 포인트 클라우드(210)의 라이더 포인트(214)를 3차원 복셀 공간(304)의 복셀(306)에 맵핑하는 것과 관련된다.
이 제2 특징의 제1 변형예로서, 맵핑(302)은 다양한 크기의 3차원 복셀 공간(304)과 관련될 수 있다. 예를 들어, 복셀(306)은 3차원 복셀 공간(304)에 균일하게 걸쳐 있을 수 있으며, 또는 크기 및/또는 밀도가 변할 수도 있다. 실시예들에서, 먼 거리에 걸친 레이저의 잠재적 분산을 보상하기 위해, 3차원 복셀 공간(304) 내의 라이더 검출기(208)로부터 더 멀리 있는 복셀(306)이 라이더 검출기(208)에 더 가까이 있는 복셀(306)보다 더 큰 크기를 가질 수 있다.
이 제2 특징의 제2 변형예로서, 맵핑(302)은 선택된 복셀(306) 및 3차원 복셀 공간(304)의 다른 복셀(306) 사이의 인접 임계치의 비교와 관련된다. 예를 들어, 적어도 하나의 라이더 포인트(214)에 맵핑되는 제1 복셀(306)이 적어도 하나의 라이더 포인트(214)에 맵핑되는 제2 복셀(306)의 3개의 복셀의 인접 임계치 내에 있으면 복셀(306)은 인접지를 공유하는 것으로 판정되고 따라서 동일한 복셀 클러스터의 일부인 것으로 판정될 수 있다. 다른 변형예로서, 3차원 복셀 공간(304) 내의 축이 상이한 인접 임계치를 가질 수 있는데, 예컨대, 3차원 복셀 공간(304) 내의 제1 축은 제1 인접 임계치를 가질 수 있는 반면에, 3차원 복셀 공간(304) 내의 제2 축은 제1 인접 임계치와 상이한 제2 인접 임계치를 가질 수 있다. 하나의 그러한 변형예에서, 이 축을 따라 연결되는 복셀(306)은 면 기반 라이더 반사(206)로 검출하기가 어려울 수 있기 때문에 3차원 복셀 공간(304) 내의 라이더 검출기(208)의 뷰에 평행한 축이 상당히 더 큰 인접 임계치를 갖는 것으로 선택될 수 있다(예컨대, 라이더 검출기(208)에 가까운 제1 복셀(306)은 이 뷰 축에 평행하게 배향된 객체(312)의 연결부를 통해 라이더 검출기(208)로부터 먼 제2 복셀(306)에 연결될 수 있으며, 따라서 반사 라이더에 의해 검출되지 않는다).
이 제2 특징의 제3 변형예로서, 맵핑(302)은 둘 이상의 복셀 클러스터가 연결됨을 판정할 수 있다. 예를 들어, 인근 복셀 클러스터들이 고반사성이 아닌 객체(312)의 부분에 의해 연결될 수 있으며, 그 결과 라이더 포인트(214)가 소수가 된다. 라이더 검출기(208)는 복셀 클러스터가 인접하고 함께 움직이는 것으로 나타나면 복셀 클러스터들이 연결되어 있을 가능성이 높고 따라서 동일한 객체(312)를 나타낼 가능성이 높다. 연결성 판정은, 예컨대 제1 복셀 클러스터를 선택하고, 3차원 복셀 공간(304)의 가장 가까운 이웃 탐색(예컨대, 폭-제1 탐색)을 수행하고, 제1 복셀 클러스터에 연결되어 있는 것으로 보이는 제2 복셀 클러스터를 찾아냄으로써 달성될 수 있다. 이들 및 다른 변형예는 본 명세서에 제시된 기법에 따라 라이더 포인트(214)를 3차원 복셀 공간(304) 내의 복셀(306)에 맵핑하는 것을 용이하게 할 수 있다.
D3. 라이더 포인트 움직임 분류
본 명세서에 제시된 기법의 실시예들 사이에서 변경될 수 있는 제3 특징은 라이더 포인트(214)의 움직임의 분류와 관련된다.
제3 특징의 제1 변형예로서, 3차원 복셀 공간(304) 내에서의 제각기의 복셀(306)의 움직임을 분류함으로써 분류가 수행될 수 있다. 예를 들어, 제각기의 복셀(306)에 있어서, 라이더 포인트 클라우드(210)의 적어도 하나의 라이더 포인트(214)에 의해 시간의 경과에 따른 복셀의 점유 기간에 대한 측정이 수행될 수 있다. 복셀(306)의 점유 기간이 점유 시간 변동 임계치 내에 있는 것으로 판정되면(예컨대, 복셀(306)이 임계 기간보다 긴 기간 동안에 적어도 하나의 라이더 포인트(214)에 의해 점유되면), 복셀(306)은 정지되어 있는 것으로 분류될 수 있고, 라이더 포인트(214)가 복셀(306)에 맵핑된다. 역으로, 정지되어 있는 것으로 분류되는 복셀(306)에 맵핑되지 않는 라이더 포인트(214)는 이동 중인 것으로 분류될 수 있다. 그러한 하나의 변형예로서, 점유 기간이 측정될 수 있고 3차원 공간(304)의 제각기의 복셀(306)의 점유 기간의 표준편차와 비교될 수 있으며, 하나보다 더 많은 표준편차에 대한 점유된 상태를 나타내는 복셀(306)이 정지되어 있는 것으로 분류될 수 있다. 이 변형예는, 예를 들어, 시간의 경과에 따라 모션으로 변환되지 않는 라이더 포인트(214)의 위치의 작은 변화, 예컨대 회전, 모양의 변화, 또는 검출기 지터의 효과를 감소시키는 것과 관련하여 유익할 수 있다.
이 제3 특징의 제2 변형예로서, 사전에 정의된 계산에 따라 라이더 포인트(214) 및/또는 객체(312)의 움직임의 분류를 수행하기 보다, 인공 신경망 또는 유전 알고리즘(genetic algorithm)과 같이, 라이더 포인트(214) 및/또는 객체(312)의 움직임의 분류(316)를 선택하도록 훈련된 움직임 분류기에 의해 분류가 수행될 수 있다. 본 명세서에 제시된 기법에 따라서 라이더 포인트(214) 및/또는 객체(312)의 움직임을 분류하기 위한 이러한 많은 변형예들이 고안될 수 있다.
D4. 추가적인 처리
본 명세서에 제시된 기법의 실시예들 사이에서 변경될 수 있는 제3 특징은 객체(312)의 움직임의 분류(316) 동안 적용될 수 있는 부가적인 처리와 관련된다.
제4 특징의 제1 변형예로서, 제각기의 객체(312)의 움직임을 분류한 후에, 장치는 라이더 포인트 클라우드(210)의 라이더 포인트(214)를 제각기의 객체(312)에 맵핑할 수 있다. 즉, 수집된 라이더 포인트(214)의 총괄적 분류에 기초하여 객체(312)의 분류(316)를 달성한 후에, 개별 라이더 포인트(214)는 라이더 포인트 클라우드(210)의 실질적으로 모든 라이더 포인트(214)가 분류되었음을 검정하기 위해 객체(312)에 리맵핑될 수 있다. 객체들(312) 중 임의의 객체에 맵핑되지 않는 소수의 라이더 포인트(214)는 불량(artifact)으로서 무시될 수 있지만, 객체들(312) 중 임의의 객체에 맵핑되지 않는 라이더 포인트(214)가 많으면 이들 라이더 포인트는 조정된 파라미터(예컨대, 다른 복셀 크기)를 가지고 재계산될 수도 있다.
제4 특징의 제2 변형예로서, 장치는, 제각기의 객체(312)에 대해, 객체(312)와 연관되는 라이더 포인트 클라우드(210)의 라이더 포인트(214)에 따라 객체(312)의 위치 및 방향을 추정할 수 있다. 이에 갈음하여 또는 이에 더하여, 장치는, 제각기의 객체(312)에 대해 라이더 포인트 클라우드의 시간 축에 대해 객체의 적어도 하나의 벡터를 추정할 수 있다(예컨대, 소정 기간 동안 객체(312)의 속도 또는 가속도를 추정할 수 있다). 이들 유형은, 예컨대, 객체(312)의 움직임의 임박한 변화에 대한 예측을 통보할 수 있는 데이터를 제공할 수 있고/있거나 제각기의 객체(312)에 대한 라이더 포인트 클라우드(210)의 라이더 포인트들(214)의 병합을 용이하게 할 수 있다. 또한, 일부 변형예에서, 장치는 객체(312)와 연관되는 적어도 하나의 라이더 포인트(214)로부터 객체(312)의 벡터를 뺄 수도 있고, 이에 따라 객체(312)에 대한 라이더 포인트(214)의 상대적인 움직임(예컨대, 움직이는 동안 객체(312)의 방향 및/또는 형상의 변화)에 대한 정보를 제공할 수 있다.
제4 특징의 제3 변형예로서, 라이더 포인트 클라우드(210)는 차량 벡터(예컨대, 방향, 속도, 및/또는 배향)를 갖는 차량(102)에 탑재되는 라이더 검출기(208)에 의해 검출될 수 있다. 차량(102)의 차량 벡터는, 예컨대, 객체(312)의 움직임의 추정으로부터 라이더 검출기(208)의 움직임을 무시하기 위해, 환경(100)에서 검출된 객체(312)의 벡터로부터 공제될 수 있으며, 이것에 의해 라이더 검출기(208)에 대한 움직임의 맵핑을 환경(100)에 대한 움직임의 맵핑으로 변환할 수 있다.
도 7은 이 제4 특징의 변형예를 나타내는 예시적인 시나리오(700)를 도시한 것이다. 이 예시적인 시나리오(700)에서, 라이더 포인트 클라우드(210)가 검출된 후에, 제각기의 라이더 포인트(214)는 다양한 시점(212)에서 환경(100) 내의 객체(312)와 연관된다. 이 연관은 객체(321)를 구별할 수 있는데(그렇지 않으면 이 객체는 라이더 포인트 클라우드(210)의 프로젝션(314) 내에서 가려질 수 있다), 예를 들어, 동일한 방향으로 이동하고 있지만 서로 바짝 뒤따르는 2개의 차량이 시간이 경과함에 따라 한데 모일 때 합쳐진 프로젝션(314)이 될 수 있지만, 라이더 포인트(216)를 다른 시점(212)에서 식별된 객체(312)와 연관시킴으로써 구별될 수 있다. 당업자는 본 명세서에 제시된 기법에 따라 라이더 포인트 클라우드(210)의 라이더 포인트(214)를 더 처리하기 위한 이러한 많은 기법을 고안할 수 있다.
E. 컴퓨팅 환경
도 8 및 후속하는 논의는 본 명세서에 기재된 하나 이상의 항목의 실시예를 구현하기 위한 적절한 컴퓨팅 환경에 대한 간략하고 일반적인 설명을 제공한다. 도 8의 동작 환경은 적절한 동작 환경의 일례일 뿐이며, 동작 환경의 사용이나 기능의 범위를 한정하려는 의도가 아니다. 예시적인 컴퓨팅 장치는 퍼스널 컴퓨터, 서버 컴퓨터, 휴대용 또는 랩탑 컴퓨터, 이동 장치(휴대전화, PDA, 미디어 재생기 등), 멀티프로세서 시스템, 가전제품, 미니 컴퓨터, 메인프레임 컴퓨터, 전술한 시스템이나 장치를 포함하는 분산형 컴퓨팅 환경 등을 포함할 수 있으니, 이에 제한되지는 않는다.
요구되는 것은 아니지만, 실시예들은 하나 이상의 컴퓨팅 장치에 의해 실행되는 "컴퓨터 판독가능 명령어"의 일반적 맥락에서 설명되었다. 컴퓨터 판독가능 명령어들은 (후술하는) 컴퓨터 판독가능 매체를 통해 분산될 수 있다. 컴퓨터 판독가능 명령어는 함수, 객체, API(Application Programming Interfaces), 데이터 구조체 등과 같이 특정한 추상 데이터 유형을 구현하거나 특정 작업을 수행하는 프로그램 모듈로서 구현될 수 있다. 통상적으로, 컴퓨터 판독가능 명령어의 기능은 다양한 환경에서 원하는 대로 조합되거나 분산될 수 있다.
도 8은 본 명세서에 기술된 하나 이상의 실시예들을 구현하도록 구성된 컴퓨팅 장치(802)를 포함하는 시스템(800)의 예를 도시하고 있다. 일 구성에서, 컴퓨팅 장치(802)는 적어도 하나의 프로세싱 유닛(806)과 메모리(808)를 포함한다. 정확한 구성 및 컴퓨팅 장치의 유형에 따라, 메모리(808)는 (예컨대, RAM과 같은) 휘발성, (예를 들어, ROM, 플래시 메모리 등과 같은) 비휘발성, 또는 이들의 조합일 수 있다. 이 구성은 도 8에서 점선(804)으로 도시되어 있다.
다른 실시예에서, 장치(802)는 추가적인 특징부 및/또는 기능부를 포함할 수 있다. 예를 들어, 장치(802)는 (예를 들어, 착탈가능 및/또는 비착탈가능) 추가 저장부를 포함할 수 있는데, 이는 자기 저장부, 광학 저장부 등을 포함하지만, 이에 제한되지는 않는다. 이러한 추가 저장부는 도 8에서 저장부(810)로 나타나 있다. 일 실시예에서, 본 명세서에 기술된 하나 이상의 실시예들을 구현하는 컴퓨터 판독가능 명령어는 저장부(810) 내에 있을 수 있다. 저장부(810)는 운영 체제, 애플리케이션 프로그램 등을 구현하는 기타 컴퓨터 판독가능 명령어도 포함할 수 있다. 컴퓨터 판독가능 명령어는 예컨대 프로세싱 유닛(806)에 의한 실행을 위해 메모리(808)로 로딩될 수 있다.
본 명세서에서 사용된 "컴퓨터 판독가능 매체"는 컴퓨터 저장 매체를 포함한다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어나 기타 데이터와 같은 정보의 저장을 위한 방법이나 기법에서 구현되는 휘발성 및 비휘발성, 착탈가능형 및 비-착탈가능형 매체를 포함한다. 메모리(808)와 저장부(810)는 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리나 기타 다른 메모리 기법, CD-ROM, DVD나 기타 다른 광학적 저장부, 자기 카세트, 자기 테이프, 자기 디스크 저장부나 기타 다른 자기적 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 장치(802)가 접속할 수 있는 임의의 다른 매체를 포함하는데, 본 발명은 이에 한정되는 것은 아니다. 이와 같은 임의의 컴퓨터 저장 매체가 장치(802)의 일부가 될 수 있다.
장치(802)는 장치(802)를 다른 장치들과 통신하도록 해주는 통신 연결부(들)(816)를 포함할 수 있다. 통신 연결부(들)(816)는 모뎀, 네트워크 인터페이스 카드(NIC), 집적 네트워크 인터페이스, 무선 주파수 송/수신기, 적외선 포트, USB 접속부, 또는 컴퓨팅 장치(802)를 다른 컴퓨팅 장치들에 접속시키기 위한 기타 인터페이스를 포함할 수 있으나, 여기에 한정되는 것은 아니다. 통신 연결부(들)(816)는 유선 접속부 또는 무선 접속부를 포함할 수 있다. 통신 연결부(들)(816)는 통신 매체를 송신 및/또는 수신할 수 있다.
"컴퓨터 판독가능 매체"라는 용어는 통신 매체를 포함한다. 통신 매체는 통상적으로 반송파나 기타 전송 메커니즘과 같이 "변조된 데이터 신호" 내의 데이터 또는 컴퓨터 판독가능 명령어를 구현한다. "변조된 데이터 신호"란 신호 내의 정보가 인코딩되도록 설정되거나 변경된 하나 이상의 자신의 특성(characteristic)을 갖는 신호를 의미한다.
장치(802)는 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 적외선 카메라, 비디오 입력 장치 및/또는 기타 입력 장치와 같은 입력 장치(들)(814)를 포함할 수 있다. 하나 이상의 디스플레이, 스피커, 프린터 및/또는 기타 출력 장치와 같은 출력 장치(들)(812)도 장치(802)에 포함될 수 있다. 입력 장치(들)(814) 및 출력 장치(들)(812)는 유선 접속부, 무선 접속부, 또는 이들의 조합을 통해 장치(802)에 접속될 수 있다. 일 실시예에서, 다른 컴퓨팅 장치로부터의 입력 장치 또는 출력 장치가 컴퓨팅 장치(802)를 위한 입력 장치(들)(814) 또는 출력 장치(들)(812)로 사용될 수도 있다.
컴퓨팅 장치(802)의 컴포넌트들은 버스와 같은 다양한 상호접속부에 의해 접속될 수 있다. 이러한 상호접속부들은 PCI Express와 같은 PCI(Peripheral Component Interconnect), USB (Universal Serial Bus), 파이어와이어(IEEE 1394), 광학 버스 구조체 등을 포함할 수 있다. 다른 실시예에서, 컴퓨팅 장치(802)의 컴포넌트들은 네트워크에 의해 상호접속될 수 있다. 예컨대, 메모리(808)는 네트워크에 의해 상호접속된 상이한 물리적 장소에 위치한 복수의 물리적 메모리 유닛을 포함할 수 있다.
당업자라면 컴퓨터 판독가능 명령어를 저장하는 데 사용되는 저장 장치들이 네트워크 전반에 분산된 것일 수도 있다는 점을 알 것이다. 예를 들어, 네트워크(818)를 통해 액세스가능한 컴퓨팅 장치(820)는 본 명세서에 제공된 하나 이상의 실시예를 구현하는 컴퓨터 판독가능 명령어를 저장할 수 있다. 컴퓨팅 장치(802)는 컴퓨팅 장치(820)에 액세스하여 실행을 위한 컴퓨터 판독가능 명령어의 전부 또는 일부를 다운로드받을 수 있다. 이와는 달리, 컴퓨팅 장치(802)가 필요에 따라 컴퓨터 판독가능 명령어의 조각들을 다운로드받을 수도 있고, 일부 명령어들은 컴퓨팅 장치(802)에서 실행되고 일부는 컴퓨팅 장치(820)에서 실행될 수도 있다.
F. 용어의 용법
본 발명이 구조적 특징 및/또는 방법적 동작에 특유한 표현으로 설명되었지만, 첨부하는 특허청구범위에 정의된 청구대상은 전술한 특정 특징이나 동작들로 제한될 필요는 없다. 오히려, 전술한 특정 특징이나 동작은 청구항을 구현하는 예시적인 형태로서 개시된 것이다.
본 출원에서 사용된 용어 "컴포넌트", "모듈", "시스템", "인터페이스" 등은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행되는 소프트웨어 등 컴퓨터-관련 엔티티를 지칭한다. 예컨대, 컴포넌트는 프로세서 상에서 실행되는 프로세스, 프로세서, 객체, 실행가능물, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있으나, 여기에 제한되지는 않는다. 예로서, 컨트롤러 상에서 실행되는 애플리케이션과 컨트롤러 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 스레드 내에 존재할 수 있으며, 컴포넌트는 하나의 컴퓨터 상에 로컬화될 수도 있고 둘 이상의 컴퓨터 사이에 분산될 수도 있다.
또한, 청구항에 기재된 청구대상은 방법, 장치, 표준 프로그래밍 및/또는 엔지니어링 기법을 사용한 제조품(article of manufacture)으로서 구현되어, 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합을 생성함으로써 개시된 청구 대상을 컴퓨터가 구현하도록 할 수 있다. 본 명세서에서 사용된 "제조품"이라는 용어는 임의의 컴퓨터-판독가능 장치, 캐리어, 매체로부터 액세스가능한 컴퓨터 프로그램을 포함한다. 물론, 당업자는 본 발명의 청구대상의 사상과 범주를 벗어나지 않으면서 이러한 구성에 대해 다양한 변경이 가능하다는 것을 이해할 것이다.
실시예의 다양한 동작들이 본 명세서에 제공된다. 일 실시예에서는 전술한 하나 이상의 동작들이 하나 이상의 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 판독가능 명령어를 구성하여, 컴퓨팅 장치에 의해 실행되면 컴퓨팅 장치로 하여금 제공된 동작들을 수행하도록 할 것이다. 본 명세서에 기재된 동작들의 전부 또는 일부의 순서는 이들 동작들이 반드시 그 순서대로 실행되어야 함을 의미하는 것은 아니다. 본 상세한 설명의 이점을 가지면서 이와는 다른 순서도 가능함을 당업자는 이해할 것이다. 또한, 모든 동작들이 본 명세서에 제공된 각 실시예에 반드시 존재해야 하는 것도 아님을 이해할 것이다.
또한, "예시적인"이라는 용어는 본 명세서에서 예, 사례, 예시의 역할을 의미하도록 사용된다. 본 명세서에서 "예시적인" 것으로 기술된 임의의 특징이나 설계는 반드시 다른 특징이나 설계에 대해 유익한 것으로 간주되지는 않는다. 오히려, 예시적인 이란 단어의 사용은 개념들을 구체적인 방식으로 제시하기 위한 것이다. 본 출원에서 사용된 "또는"이라는 용어는 배타적인 "또는"이라기보다는 포괄적인 "또는"을 의미한다. 즉, 달리 지정되거나 또는 문맥으로부터 명확하지 않은 한, "X가 A 또는 B를 채용한다"는 것은 자연적인 포괄적 순열들 중 임의의 것을 의미하고자 한다. 즉, X가 A를 채용하거나, X가 B를 채용하거나 또는 X가 A와 B를 모두 채용할 경우, "X는 A 또는 B를 채용한다"는 것은 전술한 예들 중 어느 하나 하에서 만족된다. 또한, 본 명세서에서 사용된 단수형은 달리 지정되거나 또는 단수형태(singular form)로 읽히도록 문맥으로부터 명확하지 않은 한, "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서는 하나 이상의 실시예에 대해 설명되고 묘사되었지만, 본 명세서와 첨부도면을 읽고 이해한다면 당업자는 균등한 변경이나 수정을 할 수 있을 것이다. 본 개시 내용은 그러한 모든 수정과 변경을 포함하며, 첨부하는 특허청구범위에 의해서면 그 범위가 제한된다. 특히, 전술한 컴포넌트(예컨대, 구성요소, 리소스 등)에 의해 수행되는 다양한 동작과 관련하여, 본 명세서에서 그러한 컴포넌트들을 묘사하는 데 사용된 용어들은, 본 개시 내용에서 설명된 예시적인 실시예의 기능을 수행하는 개시된 구조들과 구조적으로 균등하지 않다고 하더라도, 달리 표시되지 않는 한 기술된 컴포넌트의 지정된 기능을 수행하는 (이를테면, 기능적으로 균등한) 임의의 컴포넌트에 대응하는 것으로 보아야 한다. 또한, 본 명세서에서는 몇몇 실시예 중 단 하나와 관련하여 구체적인 특징이 개시되었지만, 그러한 특징은 주어진 또는 특정한 응용에 따라 원하는 대로 그리고 유익할 수 있는 다른 실시예의 하나 이상의 다른 특징과 조합될 수 있다. 또한, "구비한다", "가짐", "갖는다", "구비"와 같은 용어들이 상세한 설명이나 특허청구범위에서 사용되는 경우, 이들 용어는 "포함한다(comprising)"라는 용어와 유사한 방식으로 포괄적인 것을 의미한다.

Claims (10)

  1. 프로세서를 포함하는 장치 상에서 라이더 포인트 클라우드(lidar point cloud)로 표시된 객체의 움직임을 검출하는 방법으로서,
    상기 프로세서 상에서
    상기 라이더 포인트 클라우드 내의 제각기의 라이더 포인트를 3차원 복셀 공간 내의 복셀에 맵핑하고,
    상기 3차원 복셀 공간 내의 인접지(adjacency)를 공유하는 복셀들의 복셀 클러스터에 의해 표현된 적어도 하나의 객체를 식별하며,
    상기 라이더 포인트 클라우드 내의 상기 제각기의 라이더 포인트에 대해,
    상기 라이더 포인트를 선택된 객체와 연관시키고,
    상기 선택된 객체에 따라서 상기 라이더 포인트의 움직임을 분류하며,
    제각기의 객체에 대해, 상기 객체와 연관된 상기 제각기의 라이더 포인트의 움직임에 따라서 상기 객체의 움직임을 분류하도록
    구성된 명령어를 실행하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    제각기의 객체를 식별하는 것은 상기 3차원 복셀 공간 내 인접 임계치(adjacency threshold) 내의 인접지를 공유하는 복셀들의 복셀 클러스터에 의해 표현된 상기 객체를 식별하는 것을 더 포함하는
    방법.
  3. 제2항에 있어서,
    상기 3차원 복셀 공간 내의 제1 축은 제1 인접 임계치를 가지며,
    상기 3차원 복셀 공간 내의 제2 축은 상기 제1 인접 임계치와 상이한 제2 인접 임계치를 가지며,
    상기 객체를 식별하는 것은 상기 3차원 공간 내의 제각기의 축에 대해, 상기 축의 상기 인접 임계치 내의 인접지를 제각기 공유하는 복셀들의 클러스터에 의해 표현된 상기 객체를 식별하는 것을 더 포함하는
    방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 객체를 식별하는 것은
    상기 3차원 복셀 공간 내의 복셀들의 적어도 2개의 복셀 클러스터를 식별하는 것과,
    상기 적어도 2개의 복셀 클러스터가 연결되어 있는지 판정하는 것
    을 더 포함하는 방법.
  5. 제4항에 있어서,
    상기 적어도 2개의 복셀 클러스터가 연결되어 있는지 판정하는 것은
    제1 복셀 클러스터를 선택하는 것과,
    상기 제1 복셀 클러스터와의 연결을 식별하기 위해 적어도 하나의 다른 복셀 클러스터의 가장 가까운 이웃의 탐색(nearest neighbor search)을 수행하는 것
    을 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 제각기의 라이더 포인트의 움직임을 분류하는 것은
    상기 3차원 공간 내의 상기 제각기의 복셀의 움직임을 분류하는 것과,
    상기 라이더 포인트에 맵핑된 상기 복셀의 움직임의 분류에 따라서 상기 라이더 포인트의 움직임을 분류하는 것
    을 더 포함하는 방법.
  7. 제6항에 있어서,
    상기 제각기의 복셀의 움직임을 분류하는 것은
    제각기의 복셀에 대해, 상기 라이더 포인트 클라우드의 적어도 하나의 라이더 포인트에 의해 시간의 경과에 따른 상기 복셀의 점유 기간(occupancy duration)을 측정하는 것과,
    상기 복셀의 점유 기간을 점유 시간 변화 임계치와 비교하는 것
    을 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 명령어는 또한 상기 제각기의 객체의 움직임을 분류한 후에, 상기 라이더 포인트 클라우드의 라이더 포인트를 상기 제각기의 객체에 맵핑하도록 구성되는
    방법.
  9. 제8항에 있어서,
    상기 라이더 포인트 클라우드는 시간 축(time axis)을 가지며,
    상기 명령어는 또한 상기 라이더 포인트 클라우드의 상기 시간 축에 대해 상기 제각기의 객체의 움직임을 추적하도록 구성되는
    방법.
  10. 제1항에 있어서,
    상기 라이더 포인트 클라우드는 시간 축을 가지며,
    상기 명령어는 또한, 제각기의 객체에 대해, 상기 라이더 포인트 클라우드의 시간 축에 대해 상기 객체의 적어도 하나의 벡터를 추정하도록 구성되는
    방법.
KR1020167000946A 2013-06-14 2014-06-11 객체 움직임의 라이더 기반 분류 기법 KR101829556B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/917,821 US9110163B2 (en) 2013-06-14 2013-06-14 Lidar-based classification of object movement
US13/917,821 2013-06-14
PCT/US2014/041827 WO2014201075A1 (en) 2013-06-14 2014-06-11 Lidar-based classification of object movement

Publications (2)

Publication Number Publication Date
KR20160026989A true KR20160026989A (ko) 2016-03-09
KR101829556B1 KR101829556B1 (ko) 2018-02-14

Family

ID=51134405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000946A KR101829556B1 (ko) 2013-06-14 2014-06-11 객체 움직임의 라이더 기반 분류 기법

Country Status (9)

Country Link
US (2) US9110163B2 (ko)
EP (1) EP3008488B1 (ko)
JP (1) JP6514192B2 (ko)
KR (1) KR101829556B1 (ko)
CN (1) CN105793730B (ko)
AU (1) AU2014278279B2 (ko)
CA (1) CA2915458C (ko)
SG (2) SG10201610549PA (ko)
WO (1) WO2014201075A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190082065A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터를 처리하기 위한 방법 및 장치
KR20190082068A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치
KR20190089196A (ko) * 2016-11-29 2019-07-30 블랙모어 센서스 앤드 애널리틱스 인코포레이티드 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
WO2019212113A1 (ko) * 2018-05-03 2019-11-07 충북대학교 산학협력단 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
KR20200015722A (ko) * 2017-07-31 2020-02-12 에스지 디제이아이 테크놀러지 코., 엘티디 포인트 클라우드에서의 모션 기반 부정확성의 정정
KR102225387B1 (ko) * 2020-07-14 2021-03-09 주식회사 사라다 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법
KR20210026139A (ko) * 2019-08-29 2021-03-10 (주) 오토노머스에이투지 라이다 센서의 포인트 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
WO2022045431A1 (ko) * 2020-08-31 2022-03-03 네이버랩스 주식회사 위치 추정 방법 및 시스템
KR20220055707A (ko) * 2020-10-27 2022-05-04 건국대학교 산학협력단 의미론적 포인트 클라우드 기반의 객체 추적 장치 및 방법

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014143276A2 (en) 2012-12-31 2014-09-18 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for natural gas leak detection, exploration, and other active remote sensing applications
US10660526B2 (en) 2012-12-31 2020-05-26 Omni Medsci, Inc. Near-infrared time-of-flight imaging using laser diodes with Bragg reflectors
EP2938259A4 (en) 2012-12-31 2016-08-17 Omni Medsci Inc NEAR-FROSTED LASER FOR NONINVASIVE MONITORING OF GLUCOSE, KETONES, HBA1C AND OTHER BLOOD COMPONENTS
WO2014152254A2 (en) 2013-03-15 2014-09-25 Carnegie Robotics Llc Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
JP6531341B2 (ja) * 2014-03-10 2019-06-19 ソニー株式会社 情報処理装置、サーバ、記憶媒体、および制御方法
JP6511283B2 (ja) * 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
US9639958B2 (en) * 2015-03-19 2017-05-02 Caterpillar Inc. Synthetic colorization of real-time immersive environments
US9576185B1 (en) * 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
WO2017063033A1 (en) * 2015-10-12 2017-04-20 Groundprobe Pty Ltd Slope stability lidar
SE1551370A1 (sv) * 2015-10-22 2017-02-07 Uniquesec Ab Testing method with virtual radar signatures for an automotive safety radar system
CZ201695A3 (cs) * 2016-02-20 2017-02-22 MAXPROGRES, s.r.o. Metoda monitorování pomocí kamerového systému s prostorovou detekcí pohybu
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
DE102016105536A1 (de) 2016-03-24 2017-09-28 Valeo Schalter Und Sensoren Gmbh Verfahren zur Erfassung von wenigstens einem Objekt, Vorrichtung einer Sensoreinrichtung, Sensoreinrichtung und Fahrerassistenzsystem mit wenigstens einer Sensoreinrichtung
JP6997106B2 (ja) * 2016-06-27 2022-01-17 モービルアイ ビジョン テクノロジーズ リミテッド 車両をナビゲートするためのシステム、方法およびコンピュータプログラム
US10066946B2 (en) * 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
US10031231B2 (en) * 2016-09-12 2018-07-24 Delphi Technologies, Inc. Lidar object detection system for automated vehicles
WO2018060313A1 (en) * 2016-09-28 2018-04-05 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
US10338208B2 (en) * 2016-10-27 2019-07-02 GM Global Technology Operations LLC Object detection in multiple radars
CN106650640B (zh) * 2016-12-05 2020-03-03 浙江大学 一种基于激光雷达点云局部结构特征的负障碍物检测方法
US10366502B1 (en) * 2016-12-09 2019-07-30 Waymo Llc Vehicle heading prediction neural network
US10838067B2 (en) 2017-01-17 2020-11-17 Aptiv Technologies Limited Object detection system
CN106845399B (zh) * 2017-01-18 2020-06-09 北京林业大学 一种使用分层聚类方式从LiDAR点云中提取单木信息的方法
US11953599B2 (en) * 2017-01-26 2024-04-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and LIDAR information
US10578722B2 (en) 2017-03-27 2020-03-03 Honeywell International Inc. System and method for glare suppression and ranging
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10347001B2 (en) * 2017-04-28 2019-07-09 8th Wall Inc. Localizing and mapping platform
US10401866B2 (en) * 2017-05-03 2019-09-03 GM Global Technology Operations LLC Methods and systems for lidar point cloud anomalies
CN107316048B (zh) * 2017-05-03 2020-08-28 深圳市速腾聚创科技有限公司 点云分类方法及装置
US10346695B2 (en) * 2017-05-25 2019-07-09 General Motors Llc Method and apparatus for classifying LIDAR data for object detection
FR3067495B1 (fr) 2017-06-08 2019-07-05 Renault S.A.S Procede et systeme d'identification d'au moins un objet en deplacement
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
WO2018235744A1 (ja) * 2017-06-22 2018-12-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、及びプログラム
KR101967049B1 (ko) * 2017-06-28 2019-04-09 경성대학교 산학협력단 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치
US11175132B2 (en) * 2017-08-11 2021-11-16 Zoox, Inc. Sensor perturbation
US10983199B2 (en) * 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization
JP6689006B2 (ja) * 2017-08-25 2020-04-28 ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド 車両の環境情報を検出するための方法およびシステム
CN109521756B (zh) * 2017-09-18 2022-03-08 阿波罗智能技术(北京)有限公司 用于无人驾驶车辆的障碍物运动信息生成方法和装置
KR102452550B1 (ko) * 2017-10-17 2022-10-07 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
US10401862B2 (en) 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US20180074200A1 (en) * 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for determining the velocity of lidar points
US10733420B2 (en) * 2017-11-21 2020-08-04 GM Global Technology Operations LLC Systems and methods for free space inference to break apart clustered objects in vehicle perception systems
CN109839645B (zh) * 2017-11-24 2021-05-25 北京京东乾石科技有限公司 速度检测方法、系统、电子设备和计算机可读介质
US10620637B2 (en) * 2017-11-29 2020-04-14 GM Global Technology Operations LLC Systems and methods for detection, classification, and geolocation of traffic objects
US11360216B2 (en) * 2017-11-29 2022-06-14 VoxelMaps Inc. Method and system for positioning of autonomously operating entities
KR102464581B1 (ko) * 2017-12-28 2022-11-07 현대오토에버 주식회사 스테레오 점군 처리장치 및 그 방법
CN109993192A (zh) * 2018-01-03 2019-07-09 北京京东尚科信息技术有限公司 目标对象识别方法及装置、电子设备、存储介质
US11157527B2 (en) * 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
US11093759B2 (en) 2018-03-06 2021-08-17 Here Global B.V. Automatic identification of roadside objects for localization
US11275170B2 (en) * 2018-04-06 2022-03-15 Electromagnetic Systems, Inc. Use of dual processing channels for stationary and moving objects illuminated by radar
CN110361710A (zh) * 2018-04-09 2019-10-22 北京京东尚科信息技术有限公司 基于激光点云的物体识别方法和装置
US11430145B2 (en) 2018-06-17 2022-08-30 Foresight Ai Inc. Identification of local motions in point cloud data
US10824864B2 (en) 2018-06-25 2020-11-03 Apple Inc. Plane detection using semantic segmentation
CN110633617B (zh) 2018-06-25 2023-08-08 苹果公司 使用语义分割的平面检测
DE102018210814A1 (de) 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zur Erkennung statischer Radarziele mit einem Radarsensor für Kraftfahrzeuge
WO2020008458A2 (en) * 2018-07-02 2020-01-09 Vayyar Imaging Ltd. System and methods for environment mapping
US10845818B2 (en) * 2018-07-30 2020-11-24 Toyota Research Institute, Inc. System and method for 3D scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
US10809364B2 (en) 2018-08-06 2020-10-20 Luminar Technologies, Inc. Determining relative velocity using co-located pixels
US11100669B1 (en) 2018-09-14 2021-08-24 Apple Inc. Multimodal three-dimensional object detection
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US11125861B2 (en) * 2018-10-05 2021-09-21 Zoox, Inc. Mesh validation
KR102154589B1 (ko) * 2018-10-31 2020-09-10 (주)오토노머스에이투지 라이다의 멀티 레이어 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
AU2018282435B1 (en) 2018-11-09 2020-02-06 Beijing Didi Infinity Technology And Development Co., Ltd. Vehicle positioning system using LiDAR
US10867210B2 (en) 2018-12-21 2020-12-15 Waymo Llc Neural networks for coarse- and fine-object classifications
US11782158B2 (en) 2018-12-21 2023-10-10 Waymo Llc Multi-stage object heading estimation
US10977501B2 (en) 2018-12-21 2021-04-13 Waymo Llc Object classification using extra-regional context
WO2020146445A1 (en) * 2019-01-08 2020-07-16 Philip Christopher Du Toit Classifying perceived objects based on activity
CN109829399B (zh) * 2019-01-18 2022-07-05 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
DK180562B1 (en) * 2019-01-31 2021-06-28 Motional Ad Llc Merging data from multiple lidar devices
WO2020186444A1 (zh) * 2019-03-19 2020-09-24 深圳市大疆创新科技有限公司 物体检测方法、电子设备与计算机存储介质
US11423710B2 (en) * 2019-03-29 2022-08-23 Lyft, Inc. Approaches for managing vehicles
US11227401B1 (en) * 2019-05-22 2022-01-18 Zoox, Inc. Multiresolution voxel space
RU2767955C1 (ru) 2019-05-27 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия динамических объектов
CN112017202A (zh) * 2019-05-28 2020-12-01 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
US11151394B2 (en) * 2019-06-24 2021-10-19 Nvidia Corporation Identifying dynamic objects in a point cloud
US11010982B1 (en) * 2019-06-25 2021-05-18 Apple Inc. Method and device for utilizing physical objects and physical usage patterns for presenting virtual content
US11630209B2 (en) 2019-07-09 2023-04-18 Waymo Llc Laser waveform embedding
CN110361754B (zh) * 2019-07-15 2021-07-16 武汉中海庭数据技术有限公司 一种基于激光点云数据的道路印刷体生长式聚类方法及装置
US11372253B2 (en) * 2019-08-14 2022-06-28 Apple Inc. Small field of view display mitigation using transitional visuals
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
WO2021067855A1 (en) * 2019-10-02 2021-04-08 Quanergy Systems, Inc. Apparatus and method for object motion analyses of lidar sensor data
CN112651266A (zh) * 2019-10-11 2021-04-13 北京百度网讯科技有限公司 行人检测方法和装置
SI25698A (sl) 2019-12-03 2020-03-31 Mebor D.O.O. Pogonski sklop tračne žage
US11216669B1 (en) 2020-01-16 2022-01-04 Outsight SA Single frame motion detection and three-dimensional imaging using free space information
US11420647B2 (en) 2020-08-13 2022-08-23 Argo AI, LLC Enhanced static object classification using lidar
US11847832B2 (en) * 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
TWI767601B (zh) * 2021-03-10 2022-06-11 廣達電腦股份有限公司 用於室內定位、成像、偵測、姿勢判別、形狀判別的電子裝置及方法
CN113076922B (zh) * 2021-04-21 2024-05-10 北京经纬恒润科技股份有限公司 一种物体检测方法及装置
CN112990151B (zh) * 2021-05-10 2021-08-06 湖北亿咖通科技有限公司 障碍物检测模块的精度检测方法和电子设备
US11978259B2 (en) * 2021-07-09 2024-05-07 Ford Global Technologies, Llc Systems and methods for particle filter tracking
US20230058731A1 (en) * 2021-08-18 2023-02-23 Zoox, Inc. Determining occupancy using unobstructed sensor emissions
CN117092612B (zh) * 2023-10-18 2024-01-26 湘潭大学 基于激光雷达的自动驾驶导航方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535158B2 (en) 2000-03-15 2003-03-18 Utah State University Research Foundation Kinematic analysis of conically scanned environmental properties
JP3664127B2 (ja) * 2001-06-07 2005-06-22 日産自動車株式会社 物体検出装置
WO2005001706A1 (en) * 2003-06-27 2005-01-06 Lafitte Melvyn Jeremie Method and apparatus for extracting causal information from a chaotic time series
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
WO2007132487A1 (en) * 2006-05-15 2007-11-22 Im3D S.P.A. Method and system for automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and computer program therefor
US8041141B2 (en) * 2006-06-30 2011-10-18 The University Of Louisville Research Foundation, Inc. Method and software for shape representation with curve skeletons
TWM306436U (en) * 2006-07-21 2007-02-11 Compal Communications Inc Monitoring apparatus capable of communicating with mobile communication apparatus
US8086396B1 (en) * 2006-12-07 2011-12-27 Itt Manufacturing Enterprises, Inc. Close-spaced leader-follower navigation using control mimic
CN101617197B (zh) 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
JP5303873B2 (ja) * 2007-06-13 2013-10-02 株式会社Ｉｈｉ 車両形状計測方法と装置
JP5218723B2 (ja) * 2007-06-14 2013-06-26 株式会社Ｉｈｉ 蛍光探傷方法および蛍光探傷装置
JP4232167B1 (ja) * 2007-08-27 2009-03-04 三菱電機株式会社 対象特定装置、対象特定方法および対象特定プログラム
CA2649916A1 (en) 2008-01-09 2009-07-09 Tiltan Systems Engineering Ltd. Apparatus and method for automatic airborne lidar data processing and mapping using data obtained thereby
US20090231327A1 (en) 2008-03-12 2009-09-17 Harris Corporation Method for visualization of point cloud data
JP5007863B2 (ja) * 2008-04-21 2012-08-22 独立行政法人産業技術総合研究所 ３次元物体位置計測装置
US8332134B2 (en) 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US20100053593A1 (en) 2008-08-26 2010-03-04 Honeywell International Inc. Apparatus, systems, and methods for rotating a lidar device to map objects in an environment in three dimensions
WO2010042466A1 (en) * 2008-10-06 2010-04-15 Kevin Scott Williams Apparatus and method for classifying point cloud data based on principal axes
US20100204964A1 (en) 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
US8269652B2 (en) 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
JP5322789B2 (ja) * 2009-06-15 2013-10-23 三菱電機株式会社 モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
CN101702200B (zh) * 2009-11-03 2012-02-29 武汉大学 一种机载激光雷达点云数据的自动分类方法
JP5581758B2 (ja) * 2010-03-18 2014-09-03 富士通株式会社 人物検出装置、人物検出方法及びプログラム
WO2011153624A2 (en) 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates
US8950686B2 (en) * 2010-11-19 2015-02-10 Google Inc. Control unit with automatic setback capability
CN102103202B (zh) * 2010-12-01 2013-01-09 武汉大学 一种融合影像的机载激光雷达数据半监督分类方法
US8811748B2 (en) 2011-05-20 2014-08-19 Autodesk, Inc. Collaborative feature extraction system for three dimensional datasets
JP5821276B2 (ja) * 2011-05-20 2015-11-24 マツダ株式会社 移動体の位置および進行方向の検出装置
US8913784B2 (en) * 2011-08-29 2014-12-16 Raytheon Company Noise reduction in light detection and ranging based imaging
WO2013076829A1 (ja) * 2011-11-22 2013-05-30 株式会社日立製作所 自律移動システム
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
US9041589B2 (en) * 2012-04-04 2015-05-26 Caterpillar Inc. Systems and methods for determining a radar device coverage region

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190089196A (ko) * 2016-11-29 2019-07-30 블랙모어 센서스 앤드 애널리틱스 인코포레이티드 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
KR20200015722A (ko) * 2017-07-31 2020-02-12 에스지 디제이아이 테크놀러지 코., 엘티디 포인트 클라우드에서의 모션 기반 부정확성의 정정
US11238561B2 (en) 2017-07-31 2022-02-01 SZ DJI Technology Co., Ltd. Correction of motion-based inaccuracy in point clouds
US11961208B2 (en) 2017-07-31 2024-04-16 SZ DJI Technology Co., Ltd. Correction of motion-based inaccuracy in point clouds
KR20190082065A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터를 처리하기 위한 방법 및 장치
KR20190082068A (ko) * 2017-12-29 2019-07-09 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치
WO2019212113A1 (ko) * 2018-05-03 2019-11-07 충북대학교 산학협력단 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
KR20210026139A (ko) * 2019-08-29 2021-03-10 (주) 오토노머스에이투지 라이다 센서의 포인트 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
KR102225387B1 (ko) * 2020-07-14 2021-03-09 주식회사 사라다 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법
WO2022045431A1 (ko) * 2020-08-31 2022-03-03 네이버랩스 주식회사 위치 추정 방법 및 시스템
KR20220028684A (ko) * 2020-08-31 2022-03-08 네이버랩스 주식회사 위치 추정 방법 및 시스템
KR20220055707A (ko) * 2020-10-27 2022-05-04 건국대학교 산학협력단 의미론적 포인트 클라우드 기반의 객체 추적 장치 및 방법

Also Published As

Publication number Publication date
AU2014278279B2 (en) 2017-09-21
AU2014278279A1 (en) 2016-01-21
EP3008488B1 (en) 2017-12-06
JP2016529475A (ja) 2016-09-23
US9110163B2 (en) 2015-08-18
SG11201510228XA (en) 2016-01-28
JP6514192B2 (ja) 2019-05-15
US9870512B2 (en) 2018-01-16
KR101829556B1 (ko) 2018-02-14
CA2915458A1 (en) 2014-12-18
CA2915458C (en) 2017-08-01
EP3008488A1 (en) 2016-04-20
SG10201610549PA (en) 2017-01-27
CN105793730A (zh) 2016-07-20
CN105793730B (zh) 2018-03-09
US20140368807A1 (en) 2014-12-18
US20160162742A1 (en) 2016-06-09
WO2014201075A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
KR101829556B1 (ko) 객체 움직임의 라이더 기반 분류 기법
US9905032B2 (en) Object removal using lidar-based classification
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
JP2021523443A (ja) Ｌｉｄａｒデータと画像データの関連付け
JP2018530825A (ja) 非障害物エリア検出のためのシステムおよび方法
US11216705B2 (en) Object detection based on machine learning combined with physical attributes and movement patterns detection
Einsiedler et al. External visual positioning system for enclosed carparks
Ponnaganti et al. Deep learning for lidar-based autonomous vehicles in smart cities
JP7418476B2 (ja) 運転可能な領域情報を決定するための方法及び装置
CN115311646A (zh) 一种障碍物检测的方法及装置
CN114384486A (zh) 一种数据处理方法及装置
Bota et al. A framework for object detection, tracking and classification in urban traffic scenarios using stereovision
Klette et al. Advance in vision-based driver assistance
Tousi et al. A new approach to estimate depth of cars using a monocular image
WO2021232031A2 (en) Detection of hidden object using non-line-of-sight (nlos) imaging
US20220270371A1 (en) Determining Distance of Objects
Chandratre Traffic Accident Reconstruction Using Monocular Dashcam Videos
KR20240058347A (ko) 포인트 클라우드 데이터의 이상치 제거 장치 및 방법
Zhou et al. Real-Time Ranging of Vehicles and Pedestrians for Mobile Application on Smartphones
Danescu et al. Sensing the driving environment with smart mobile devices
Ali Dousa Data fusion of video camera and Laser Range Finder (LRF) for obstacle avoidance

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant