KR20190089196A - 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템 - Google Patents

포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20190089196A
KR20190089196A KR1020197018575A KR20197018575A KR20190089196A KR 20190089196 A KR20190089196 A KR 20190089196A KR 1020197018575 A KR1020197018575 A KR 1020197018575A KR 20197018575 A KR20197018575 A KR 20197018575A KR 20190089196 A KR20190089196 A KR 20190089196A
Authority
KR
South Korea
Prior art keywords
class
point cloud
point
classification
classes
Prior art date
Application number
KR1020197018575A
Other languages
English (en)
Other versions
KR102272801B1 (ko
Inventor
스테판 씨. 크로우치
랜디 알. 레이블
브란트 케일러
Original Assignee
블랙모어 센서스 앤드 애널리틱스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 블랙모어 센서스 앤드 애널리틱스 인코포레이티드 filed Critical 블랙모어 센서스 앤드 애널리틱스 인코포레이티드
Priority to KR1020217020076A priority Critical patent/KR102380216B1/ko
Publication of KR20190089196A publication Critical patent/KR20190089196A/ko
Application granted granted Critical
Publication of KR102272801B1 publication Critical patent/KR102272801B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G06K9/627—
    • G01S17/102—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G06K9/46—
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

포인트 클라우드에서 객체를 분류하는 방법은 포인트 클라우드에서 하나 이상의 포인트에 대한 제 1 및 제 2 분류 통계를 계산하는 단계를 포함한다. 가장 가까운 매칭이, 제 1 및 제 2 분류 통계와, 각각의 제 1 및 제 2 분류기의 N 개의 클래스의 세트에 대응하는 제 1 및 제 2 분류 통계의 세트 중 각각의 하나 사이에 결정되어, 객체가 각각의 제 1 및 제 2 클래스에 있는지 추정한다. 제 1 클래스가 제 2 클래스에 대응하지 않으면, 포인트 클라우드와, 제 3 분류기의 오직 제 1 및 제 2 클래스에 대한 모델 포인트 클라우드들 사이에서 가장 가까운 피팅이 수행된다. 3D 포인트 클라우드를 수신하는 것으로부터 거의 실시간 내에 가장 가까운 피팅에 기초하여, 객체가 제 1 또는 제 2 클래스에 할당된다. 장치는 할당된 객체 클래스를 기반으로 동작한다.

Description

포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
관련 출원에 대한 상호 참조
본 출원은 2016년 11월 29일에 출원된 가출원 번호 제62/427,573호의 이익을 주장하고, 이 가출원에 개시된 전체 내용은, 35 U.S.C §119 (e)에 따라, 참조로서 본 명세서에 통합된다.
정부 관심사항의 진술
본 발명은 해군에서 수여한 계약 N00014-16-C-1026에 따른 정부의 지원으로 이루어진 것이다. 정부는 발명에 대해 특정 권리를 가지고 있다.
니모닉(mnemonic)인 LIDAR로 종종 참조되는, 광 검출 및 거리 측정(ranging)을 위한 광 거리 검출은, 고도 측정부터, 이미징, 충돌 회피에 이르기까지 다양한 애플리케이션에 사용된다. LIDAR는 레이더(RADAR:radio-wave detection and ranging)와 같은 기존의 마이크로파 거리 측정 시스템(microwave ranging system)보다 작은 빔 크기로 미세한 스케일 범위 해상도를 제공한다. 광 거리 검출은 타겟에 대한 광 펄스의 왕복 이동 시간을 기반으로 한 직접 거리 측정(direct ranging)과, 송신 처프(chirped) 광 신호와 타겟으로부터 산란된 리턴 신호 간의 주파수 차이에 기초한 처프 검출, 그리고 자연 신호들과 구별할 수 있는 단일 주파수 위상 변화의 시퀀스에 기반한 위상 인코딩 검출을 포함한 여러 다른 기술들로 달성될 수 있다.
수용 가능한 거리 정확도 및 검출 감도를 달성하기 위해, 직접 장거리 LIDAR 시스템은 낮은 펄스 반복률 및 매우 높은 펄스 피크 전력을 갖는 짧은 펄스 레이저를 사용한다. 높은 펄스 전력은 광학 구성요소들의 급격한 성능저하로 이어질 수 있다. 처프 LIDAR 시스템은 상대적으로 낮은 피크 광 전력의 긴 광 펄스를 사용한다. 이 구성에서, 거리 정확도는 펄스 지속 시간이 아닌 처프 대역폭에 따라 달라지므로 우수한 거리 정확도를 여전히 얻을 수 있다.
광 반송파를 변조하기 위해 광대역 무선 주파수(RF) 전기 신호를 사용하여 유용한 광 처프 대역폭이 달성되었다. 처프 LIDAR의 최근 발전은, 광 검출기에 되돌아온 리턴 신호와 결합되는 기준 신호로서 동일한 변조된 광 반송파를 사용하여, 기준 신호들과 리턴 광 신호들 사이의 주파수 차이에 비례하는 상대적으로 낮은 비트 주파수를 결과 전기 신호에서 생성한다. 검출기에서의 이러한 종류의 주파수 차이의 비트 주파수 검출을 헤테로다인 검출(heterodyne detection)이라고 한다. 그것은 준비되고 저렴한 가용성의 RF 구성요소들을 사용하는 이점과 같은 해당 기술분야에 공지된 몇 가지 이점을 갖는다. 미국특허 제7,742,152호에 개시된 최근 연구는, 기준 광 신호로서, 송신 광 신호로부터 분리된 광 신호를 사용하는 광학 구성요소들의 새롭고 간단한 배열을 보여준다. 이러한 배열은 그 특허에서 호모다인 검출(homodyne detection)이라고 불린다.
위상 인코딩된 마이크로파 신호가 광 반송파에 변조된 LIDAR 검출이 또한 사용되어왔다. 이 기술은 리턴 신호의 특정 주파수의 위상 시퀀스(또는 위상 변화)를 송신 신호의 그것과 상관시키는 것에 의존한다. 상관에서의 피크와 연관된 시간 지연은, 매체(medium)에서의 빛의 속도에 의한 거리와 관련이 있다. 이 기술의 장점에는 더 적은 수의 구성요소가 필요하고, 그리고 위상 인코딩된 마이크로파 및 광 통신을 위해 개발된 대량 생산 하드웨어 구성요소가 사용된다는 점이다.
이러한 LIDAR 시스템에서 리턴되는 데이터는 종종 포인트 클라우드로 표현된다. 포인트 클라우드는 일부 좌표계의 데이터 포인트들의 세트이다. 3차원 좌표계에서 이러한 포인트들은 일반적으로 X, Y 및 Z 좌표로 정의되며, 대개 객체의 외부 표면을 나타내기 위한 것이다. 3D 포인트 클라우드는 다른 유형의 스캐너 중에서도 처프 LIDAR 및 위상 인코딩된 LIDAR를 포함하는 LIDAR 시스템과 같은 3D 스캐너로 생성될 수 있다.
본 발명자들은 3D 포인트 클라우드에 의해 표현되는 객체들의 자동 분류가 특히 장거리에 위치한 객체에 대해 실시간으로 어려운 상황과 적용을 인지하였다. 이러한 객체의 자동 분류를 위한 기술이 제공된다.
제 1 세트의 실시예에서, 프로세서상에서 구현되는 방법은 객체의 외부 표면을 나타내는 3D 포인트 클라우드를 획득하는 단계를 포함한다. 상기 방법은 상기 포인트에서 변환 및 회전 불변 좌표계를 정의하기 위해 3D 포인트 클라우드 상의 포인트에서 표면 법선을 추출하는 단계 그리고 3D 포인트 클라우드 내의 하나 이상의 포인트를 정의하기 위해 상기 좌표계에서 하나 이상의 특징 변수들의 값을 추출하는 단계를 더 포함한다. 상기 방법은, 상기 하나 이상의 특징 변수들의 값에 기초하여 상기 3D 포인트 클라우드 내의 상기 하나 이상의 포인트들에 대한 제 1 분류 통계를 계산하는 단계와, 상기 하나 이상의 특징 변수들의 값에 기초하여 상기 3D 포인트 클라우드 내의 하나 이상의의 포인트들에 대한 제 2 분류 통계를 계산하는 단계를 더 포함한다. 상기 방법은, 상기 제 1 분류 통계와, 제 1 분류기의 N 개의 클래스들의 세트에 대응하는 N 개의 제 1 분류 통계들의 세트 중 첫 번째 분류 통계 사이의 가장 가까운 매칭을 결정하여 상기 객체가 제 1 클래스에 속하는 것을 추정하는 단계를 더 포함한다. 상기 방법은, 상기 제 2 분류 통계와, 제 2 분류기의 N 개의 클래스들의 세트에 대응하는 제 2 분류 통계들의 세트 중 두 번째 분류 통계 사이의 가장 가까운 매칭를 결정하여 상기 객체가 제 2 클래스에 속하는 것을 추정하는 단계를 더 포함한다. 제 1 클래스가 제 2 클래스에 대응하지 않는 경우, 3D 포인트 클라우드와, 제 3 분류기의 오직 제 1 클래스 및 제 2 클래스에 대한 모델 포인트 클라우드들 사이의 가장 가까운 피팅에 기초하여 상기 3D 포인트 클라우드의 하나의 포인트에 대한 제 3 분류 통계가 계산된다. 상기 3D 포인트 클라우드를 수신하는 것으로부터 거의 실시간으로 상기 제 3 분류기의 가장 가까운 피팅에 기초하여 상기 제 1 클래스 또는 제 2 클래스에 상기 객체가 할당된다. 상기 방법은, 상기 객체가 할당된 하나의 클래스에 기초하여 장치를 동작시키는 단계를 포함한다.
제 1 세트의 일부 실시예들에서, 제 1 분류 통계는 스핀 이미지이고, 제 2 분류 통계는 공분산 행렬이며, 제 3 분류 통계는 반복적인 가장 가까운 포인트(ICP)이다.
제 2 세트의 실시예에서, 장치는 광 신호를 제공하도록 구성된 레이저 소스를 포함한다. 상기 장치는 신호를 수신하고 송신 신호 및 기준 신호를 생성하도록 구성된 스플리터를 포함한다. 상기 장치는 또한 송신 신호를 장치 외부로 향하도록 하고 송신 신호에 의해 조명된 임의의 객체로부터 후방산란된 임의의 리턴 신호를 수신하도록 구성된 광 커플러를 포함한다. 상기 장치는 또한 기준 신호 및 리턴 신호를 수신하도록 배치된 광 검출기를 포함한다. 또한, 상기 장치는 광 검출기로부터 전기 신호를 수신하는 단계를 수행하도록 구성된 프로세서를 더 포함한다. 프로세서는 또한 상기 방법의 하나 이상의 단계를 수행하도록 구성된다.
다른 실시예에서, 시스템 또는 장치 또는 컴퓨터 판독 가능 매체는 상기 방법의 하나 이상의 단계를 수행하도록 구성된다.
또 다른 양태, 특징 및 이점은, 본 발명을 수행하기 위해 고려되는 최선의 모드를 포함하는, 다수의 특정 실시예 및 구현예를 설명함으로써, 다음의 상세한 설명으로부터 용이하게 명백해진다. 다른 실시예는 또한 다른 및 상이한 특징 및 이점을 가질 수 있으며, 본 발명의 사상 및 범위를 벗어나지 않고 여러 가지 세부 사항이 다양한 명백한 관점에서 변형될 수 있다. 따라서, 도면 및 설명은 본질적으로 예시적인 것으로 간주되어야 하며, 제한적이지는 않다.
실시예들은 첨부되는 도면들에 한정되는 것이 아니라 예로서 도시되며, 동일한 참조부호는 유사한 요소를 참조한다.
도 1a는 일 실시예에 따른, 거리의 예시적인 광 처프(chirp) 측정을 도시하는 그래프들의 세트이다.
도 1b는 일 실시예에 따른, 거리를 나타내는, 디-처핑에 기인한 비트 주파수의 예시적인 측정을 나타내는 그래프이다.
도 2는 일 실시예에 따른, 고해상도 LIDAR 시스템의 예시적인 구성요소를 나타내는 블록도이다.
도 3a는 일 실시예에 따른, 헤테로다인(heterodyne) 처프 LIDAR 시스템의 예시적인 구성요소들을 나타내는 블록도이다.
도 3b는 일 실시예에 따른, 호모다인 처프(homodyne chirped) LIDAR 시스템의 예시적인 구성요소를 나타내는 블록도이다.
도 4는 일 실시예에 따른, 객체의 3D 포인트 클라우드의 예를 도시한다.
도 5a는 일 실시예에 따른, 포인트 세트에 대한 k-d 트리 구성의 예를 도시하는 그래프이다.
도 5b는 일 실시예에 따른, 도 5a의 k-d 트리 구성에 기초한 k-d 트리의 예를 도시한다.
도 6a는 일 실시예에 따른, 객체의 3D 포인트 클라우드의 예를 도시한다.
도 6b는 일 실시예에 따른, 도 6a의 3D 포인트 클라우드의 세그먼트를 도시한다.
도 6c는 일 실시예에 따른, 회전 및 변환 불변 좌표계 내의 3D 포인트 클라우드의 포인트를 정의하기 위한 특징 변수들의 예를 도시하는 블록도이다.
도 6d는 일 실시예에 따른, 도 6d의 특징 변수들의 범위에 대한 3D 포인트 클라우드의 포인트들의 개수의 히스토그램의 예를 도시하는 스핀 이미지이다.
도 6e는 일 실시예에 따른, 각각의 복수의 클래스와 관련된 복수의 클러스터 및 클러스터 중심들의 예를 도시하는 그래프이다.
도 7은 일 실시예에 따른, 3D 포인트 클라우드에 의해 정의된 객체를 분류하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 8a는 일 실시예에 따른, 도 2의 시스템의 실험 환경의 상부 사시도의 예를 도시하는 사진이다.
도 8b는 일 실시예에 따른, 도 8a에 도시된 실험 환경에서 사용된 객체들의 예를 도시하는 블록도이다.
도 9a는 일 실시예에 따른, 객체들의 세트에 대한 포인트 클라우드들의 세트이다.
도 9b는 일 실시예에 따른, 도 9a의 포인트 클라우드들의 세트를 획득하는데 사용되는 객체들의 세트의 예를 도시하는 블록도이다.
도 10a는 일 실시예에 따른, 도 4의 객체의 3D 포인트 클라우드에 기초한 객체의 가려진 모델의 예를 도시하는 블록도이다.
도 10b는 일 실시예에 따른, 객체의 2D 포인트 클라우드의 예를 도시하는 블록도이다.
도 10c-10e는 일 실시예에 따른, 도 10b의 2D 포인트 클라우드와 도 10a의 각 가려진 모델 사이의 최적 피팅의 예를 도시하는 블록도이다.
도 11은 본 발명의 일 실시예가 구현될 수 있는 컴퓨터 시스템을 나타내는 블록도이다.
도 12는 본 발명의 일 실시예가 구현될 수있는 칩셋을 도시한다.
3D 포인트 클라우드에서 객체를 분류하기 위한 방법 및 장치와 시스템 그리고 컴퓨터 판독 가능 매체가 개시된다. 이하의 설명에서, 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정한 세부 사항이 설명된다. 그러나, 당해 기술분야의 당업자에게는 본 발명이 이들 특정 세부 사항 없이 실시될 수 있음이 명백할 것이다. 다른 예들에서, 공지된 구조들 및 장치들은 본 발명을 불필요하게 모호하게 하는 것을 피하기 위해 블록도 형태로 도시된다.
넓은 범위를 설명하는 수치 범위 및 파라미터는, 근사값임에도 불구하고, 특정 비제한적인 실시예에 기재된 수치는 가능한 한 정확하게 보고된다. 그러나 모든 수치는 본 명세서의 작성 당시의 각 테스트 측정에서 발견된 표준 편차에서 필연적으로 발생하는 특정 오류를 본질적으로 포함합니다. 또한, 문맥으로부터 달리 명확한 경우가 아니라면, 본원에 제시된 수치는 최하위 숫자에 의해 주어진 암시적 정밀도를 갖는다. 따라서 값 1.1은 1.05에서 1.15까지의 값을 의미한다. 용어 "대략(약)"은 주어진 값을 중심으로보다 넓은 범위를 나타내기 위해 사용되며, 문맥에서 명확하지 않은 경우, "약 1.1"이 1.0 내지 1.2의 범위를 의미하는 바와 같이, 최하위 숫자 주위의 더 넓은 범위를 의미한다. 만약 최하위 숫자가 불명료하면, "대략(약)"이라는 용어는 2의 인수를 의미한다. 예를 들어, "대략(약) X"는 0.5X에서 2X 범위의 값을 의미한다. 예를 들어, 약 100은 50에서 200의 범위 내의 값을 의미한다. 또한, 본원에 개시된 모든 범위는 그 안에 포함되는 임의의 및 모든 하위 범위를 포함하는 것으로 이해되어야 한다. 예를 들어, "10 미만"의 범위에는 최소값 0과 최대값 10 사이(및 이들을 포함한다)의 임의의 및 모든 하위 범위가 포함될 수 있다. 즉, 예를 들어 1에서 4와 같이, 0과 같거나 0보다 큰 최소값 그리고 10과 같거나 10보다 작은 최대값을 갖는 임의의 및 모든 하위 범위가 포함될 수 있다.
본 발명의 일부 실시예들은 선형 주파수 변조된 광 신호를 갖는 LIDAR 시스템에 의해 생성된 3D 포인트 클라우드에서 객체를 분류하는 환경에서 이하에 설명된다. 그러나 이러한 3D 포인트 클라우드는 선형 처프(chirps)를 특징으로 하는 LIDAR 시스템으로 생성될 필요가 없으며, 송신 신호가 진폭, 주파수 또는 위상 또는 일부 조합으로 변조되는 LIDAR 시스템에 의해 대신 생성될 수 있다. 실시예들은 단일 광 빔 및 그것의 단일 검출기 또는 한 쌍의 검출기 상에서의 리턴을 포함하는 시스템에 의해 생성된 3D 포인트 클라우드에서 객체를 분류하는 것과 관련하여 설명되고, 이들은 선형 스텝핑 또는 회전 광학 구성요소들과 같은 공지된 스캐닝 수단들을 이용하여 스캔될 수 있고, 또는 송신기 및 검출기들 또는 검출기들의 쌍의 어레이로 스캔될 수 있다. 다른 실시예는 임의의 특정 시스템에 의해 생성되지 않고 예시된 실시예와는 다른 시스템에 의해 생성되는 3D 포인트 클라우드에서 객체를 분류하는 것을 포함한다. 또 다른 실시예에서, 3D 포인트 클라우드는 임의의 유형의 3D 스캐닝 LIDAR 시스템(예 : Velodyne®, Riegl®, Leica®, Faro®) 또는 LIDAR 또는 깊이-이미징을 위한 Geiger-mode Avalanche Photodiode(APD)를 사용하는 임의의 "플래시(flash)" LIDAR 시스템을 포함하는 다른 센서로 생성될 수 있다. 이들 시스템은 본 명세서에서 논의된 실시예와 함께 사용하기 위해 3D 포인트 클라우드를 생성하기 위한 합리적인 데이터를 수집하기에 충분한 다운-레인지(down-range) 및 크로스-레인지(cross-range) 해상도를 갖는다.
1. 처프 검출 개요(Chirped Detection Overview)
도 1a는 일 실시예에 따른 예시적인 광 처프 거리 측정을 도시하는 그래프(110, 120, 130, 140)의 세트이다. 수평축(112)은 4개의 그래프 모두에 대해 동일하며 밀리 초(ms, 1ms = 10-3초)씩 임의의 단위로 시간을 나타낸다. 그래프(110)는 송신 광 신호로서 사용되는 광의 빔의 전력을 나타낸다. 그래프(110)의 수직축(114)은 송신 신호의 전력을 임의의 단위로 나타낸다. 트레이스(Trace)(116)는 시간 0에서 시작하여 제한된 펄스 지속 시간, τ 동안 전력이 공급되고 있음을 나타낸다. 그래프(120)는 송신 신호의 주파수를 나타낸다. 수직축(124)은 임의의 단위로 송신 주파수를 나타낸다. 트레이스(126)는 펄스의 지속 시간 τ에 걸쳐 펄스의 주파수가 f1에서 f2로 증가함을 나타내며, 따라서 대역폭 B = f2-f1을 갖는다. 주파수 변화율은 (f2 - f1)/τ이다.
리턴 신호는 그래프(130)로 도시되고, 그 그래프(130)는 시간을 나타내는 수평축(112) 및 그래프(120)에서와 같이 주파수를 나타내는 수직축(124)을 갖는다. 그래프(120)의 처프(126)가 또한 그래프(130) 상에 점선으로 도시되어 있다. 제 1 리턴 신호는 트레이스(136a)로 주어지고, 제 1 리턴 신호는 강도(도시되지 않음)가 감소되고 Δt 만큼 지연된 송신 기준 신호이다. 리턴 신호가 2R의 거리를 커버한 후 외부 객체로부터 수신되면, 리턴 신호는 2R/c로 주어지는 지연된 시간 Δt에서 시작한다. 여기서 R은 타겟까지의 거리(range)이고, c는 매체에서의 빛의 속도(약 3x108m/s)이다. 이 시간 동안 주파수는, 거리에 따른 양, 즉 주파수 변화율에 지연 시간을 곱하여 주어지면서 fR이라고 불려지는 양만큼 변경된다. 이것은 식 1a에 의해 주어진다.
fR = (f2 - f1)/τ*2R/c = 2BR/cτ (1a)
fR의 값은 디-처핑(de-chirping)으로 지칭되는 시간 영역 혼합 동작에서 송신 신호(126)와 리턴 신호(136a) 사이의 주파수 차이에 의해 측정된다. 그래서 거리 R은 식 1b에 의해 주어진다.
R = fR cτ/2B (1b)
물론, 리턴 신호가 펄스가 완전히 송신된 후 도착하면, 즉 2R/c가 τ보다 큰 경우, 수학식 1a 및 1b는 유효하지 않다. 이 경우, 기준 신호는 알려진 또는 고정 된 양만큼 지연되어, 리턴 신호가 기준 신호와 중첩되도록 한다. 기준 신호의 고정 된 또는 알려진 지연 시간은 수학식 1b로부터 계산된 거리에 추가되는 추가 거리를 제공하기 위해 빛의 속도 c와 곱해진다. 매체에서 빛의 속도의 불확실성으로 인해 절대 거리가 벗어날 수는 있지만 이는 거의 일정한 오차이며 주파수 차이를 기반으로 한 상대적 거리는 여전히 매우 정확하다.
어떤 상황에서, 송신 광 빔에 의해 조명된 지점(spot)이, 반투명 객체의 전방 및 후방, 또는 LIDAR로부터 다양한 거리에 있는 객체의 더 가까운 부분과 더 먼 부분, 또는 조명된 지점 내에서 두 개의 개별 객체와 같은 상이한 거리에서 2개 이상의 상이한 산란자를 만난다. 이러한 상황에서, 그래프(130)에 트레이스(136b)로 표시된 바와 같이, 제 2 감소된 강도 및 상이하게 지연된 신호가 또한 수신될 것이다. 이것은 식 1b를 사용하여 다른 거리를 제공하는 fR의 다른 측정 값을 갖게 된다. 어떤 상황에서는, 여러 개의 리턴 신호가 수신된다. 일부 상황에서, 송신 빔은 객체의 다수의 부분을 만나고, 객체의 다수의 부분으로부터 수신된 다수의 리턴 신호는 객체의 다수의 부분 각각에 대한 각각의 거리를 결정하는데 사용된다. 이러한 상황에서, 객체의 여러 부분 각각에 대한 각각의 거리는 객체의 포인트 클라우드를 생성하는데 사용된다. 본 발명의 일부 실시예는 생성된 포인트 클라우드에 따라 객체를 분류하기 위해 제공된다.
그래프(140)는 제 1 리턴 신호(136a)와 기준 처프(126) 사이의 차이 주파수 fR를 도시한다. 수평축(112)은 도 1a의 모든 다른 정렬된 그래프와 같이 시간을 나타낸다. 수직축(134)은 더 확대된 스케일로 주파수 차이를 나타낸다. 트레이스(Trace)(146)는 송신된 처프(chirp) 동안 측정된 일정한 주파수 fR을 나타내며, 식 1b에 의해 주어진 특정 거리를 나타낸다. 제 2 리턴 신호(136b)는, 존재한다면, 디-처핑 동안에 다른 더 큰 fR(도시되지 않음) 값을 발생시킬 것이다; 결과적으로 식 1b를 사용하여 더 큰 거리를 산출하게 된다.
디-처핑(de-chirping)을 위한 일반적인 방법은 기준 광 신호와 리턴 광 신호를 동일한 광 검출기로 향하게 하는 것이다. 검출기의 전기 출력은 검출기에 수렴하는 두 신호의 주파수 및 위상의 차이와 같거나 그것에 의존하는 비트 주파수에 의해 좌우된다. 이 전기적 출력 신호의 푸리에 변환은 비트 주파수에서 피크를 야기할 것이다. 이 비트 주파수는 테라헤르츠(THz, 1THz = 1012 헤르츠)의 광 주파수 범위가 아닌 메가헤르츠(MHz, 1MHz = 106Hz = 초당 106 사이클)의 무선 주파수(RF) 범위에 있다. 이러한 신호는 마이크로 프로세서 또는 특수 제작된 FFT 또는 기타 디지털 신호 처리(DSP) 집적 회로에서 실행되는 FFT(Fast Fourier Transform) 알고리즘과 같은 공통 및 저렴한 RF 구성요소로 쉽게 처리된다. 다른 실시예에서, 리턴 신호는 (국부 발진기로서 처프와 비교하여) 국부 발진기로서 동작하는 연속파(CW) 톤과 혼합된다. 이것은 그 자체가 처프인 검출 신호를 유발한다(또는 어떤 파형이 전송되었는지). 이 경우 탐지된 신호는 Kachelmyer 1990에 설명된 대로 디지털 영역에서 매칭 필터링(matched filtering)을 거친다. 단점은 디지타이저(digitizer) 대역폭 요구 사항이 일반적으로 높다는 것이다. 코히런트 검출의 긍정적인 면은 다른 방식으로 유지된다.
도 1b는 실시예에 따라, 거리(range)를 나타내는, 디-처핑(de-chirping)으로 인한 비트 주파수의 예시적인 측정을 도시하는 그래프이다. 수평축(152)은 메가헤르츠 단위의 주파수를 나타낸다. 수직축은 송신 전력 밀도 IT에 대한 리턴 신호 전력 밀도 IR을 데시벨(dB, 전력 dB = 20log(IR/IT)) 단위로 나타낸다. 트레이스(156)는 FFT 회로에 의해 생성되는 것과 같이 광 검출기에 의해 출력되는 전기 신호 출력의 푸리에 변환이며, Adany et al., 2009에 의해 공개된 데이터에 기초한다. 피크의 수평 위치는, 식 1b를 사용하여 거리를 나타내는 fR을 제공한다. 또한 피크의 다른 특성이 리턴 신호를 설명하는데 사용될 수 있다. 예를 들어, 피크에서의 전력 값은, 트레이스(156)의 최대값에 의해 특징지어지거나, 또는 더 일반적으로, 피크 값(도 1b의 약 -31dB)과 피크의 숄더(Shoulders)에서의 잡음 플로어 (도 1b에서 약 -50dB) 사이의 차이(157)(도 1b의 약 19dB)에 의해, 특징지어진다; 그리고 피크의 폭은 반값 전폭(FWHM)에서 주파수 폭(158)(도 1b에서 약 0.08 MHz)에 의해 특징지어진다. 여러 개의 식별 가능한 리턴이 있는 경우, 광 검출기의 전기적 출력의 FFT에서 복수의 피크가 존재할 수 있고, 복수의 상이한 전력 레벨 및 폭을 가질 수 있다. 일부 방법을 사용하여 트레이스에서 피크를 자동으로 식별하고 위치, 높이 및 폭에 의해 이러한 피크들을 특징지을 수 있다. 예를 들어, 일부 실시예에서, 매사추세츠의 Natick의 MATHWORKSTM의 MATLABTM으로부터 이용 가능한 MATLAB-Signal Processing Toolbox에 의한 FFTW 또는 피크 검출이 사용된다. 또한 캘리포니아, 산타 클라라의 NVIDIATM로부터 이용 가능한 CUDATM에서의 FFTW 및 맞춤 피크 검출에 의존하는 맞춤 구현을 사용할 수도 있다. 맞춤 구현은 FPGA(Field Programmable Gate Array)에서 프로그래된다. 일반적으로 사용되는 알고리즘은, 피크의 위치를 정확하게 결정하기 위해, 임계 거리 프로파일을 지정하고, 질량 중심 알고리즘, 피크 피팅 알고리즘(3-포인트 가우시안 피팅), 또는 일부 기능(예, 가우시안)에 대한 피크의 비선형 피팅을 실행하는 것이다. 움직이는 객체는 계산된 거리에서 오프셋을 유발하는 도플러 주파수 시프트를 도입할 수 있다. 일부 실시예들에서, 도플러 보상이 사용된다. 임의의 공지된 도플러 보상 방법 및 하드웨어가 사용될 수 있다.
움직이는 LIDAR 시스템의 다른 각도, 또는 변환된 위치에서, 펄스 레이트(PR)가 1/(τ+ti)가 되도록, ti의 중간 후에 다른 펄스를 사용하여, 새로운 독립적인 측정이 이루어진다. 이때 프레임은 거리의 2차원 이미지이고 이미지의 각 픽셀은 송신된 빔에 의해 보여지는 객체의 다른 부분까지의 거리를 나타낸다. 1000 개의 수직 각도와 1000 개의 수평 각도 각각에서 송신된 신호로부터 합쳐진 프레임의 경우, 프레임은 106 픽셀을 포함하고 프레임 레이트(FR)는 펄스 레이트의 10-6이다. 예를 들어 10-6/(τ + ti)이다.
2. 거리 검출 하드웨어 개요(Range Detection Hardware Overview)
거리 검출 접근법이 어떻게 구현되는지를 설명하기 위해, 몇몇 일반적인 및 특정 하드웨어 접근법이 설명된다. 도 2는 일 실시예에 따른, 고해상도 LIDAR 시스템의 예시적인 구성요소를 나타내는 블록도이다. 레이저 소스(212)는 변조기(214)에서 진폭 또는 주파수 또는 위상 변조된, 또는 일부 조합인 반송파(201)를 방출하여 대역폭 B 및 지속 시간 τ를 갖는 펄스를 생성한다. 스플리터(216)는 처프를 빔(203)의 에너지의 대부분을 갖는 송신 빔(205)과, 타겟(미도시)으로부터 산란되는 반사 광(291)과 양호한 헤테로다인 또는 호모다인 간섭을 생성하기에 충분하기는 하지만 훨씬 적은 에너지량을 갖는 기준 빔(207)으로 분리한다. 일부 실시예에서, 송신 빔은 그 경로 내의 임의의 객체를 프로파일링하기 위해 다수의 각도로 스캐닝된다. 기준 빔은 산란광과 함께 검출기 어레이(230)에 도달하기에 충분하게 기준 경로(220)에서 지연된다. 일부 실시예에서, 스플리터(216)는 변조기(214)의 업스트림(upstream)이고, 기준 빔(207)은 변조되지 않는다. 다양한 실시예에서, 덜 유연한 접근으로부터 더 유연한 접근으로, 기준은 다음과 같이 분산되거나 반사된 필드와 함께 도착하게 된다 : 1) 장면에 거울을 위치시켜 검출기 어레이에서 송신 빔의 일부를 반사시켜서 경로 길이가 잘 매칭되도록 한다; 2) 광섬유 지연을 사용하여 경로 길이와 가깝게 매칭시키고, 도 2에 제안된 바와 같이, 특정 거리에 대해 관찰되거나 예상되는 위상차를 보상하기 위한 경로 길이 조정의 유무에 관계없이, 검출기 어레이 근처의 광학계로 기준 빔을 방송한다; 또는 3) 경로 길이 불일치를 보상하기 위해 별도의 변조를 생성하기 위해 주파수 쉬프트 장치(음향-광 변조기) 또는 국부 발진기 파형 변조의 시간 지연을 이용하는 것; 또는 일부 조합. 일부 실시예에서, 타겟은 충분히 가깝고, 펄스 지속 시간은 리턴이 지연없이 기준 신호와 충분히 겹치도록 충분히 길다. 다양한 실시예에서, 타겟의 다수의 부분은, 다수의 빔 및 다수의 리턴에 의해 조명된 타겟의 각각의 다수의 부분의 다수의 거리에 기초한 포인트 클라우드를 초래하는 각 스캔된 빔별로 검출기 어레이(230)로 각각의 리턴 광(291)을 산란한다.
검출기 어레이는 타겟으로부터의 리턴 빔(291)에 대략 수직인 평면에 배치 된 단일 검출기 또는 1D 검출기 어레이 또는 2D 검출기 어레이이다. 인터페이스 패턴의 위상 또는 진폭, 또는 어떤 조합은, 펄스 지속 시간(τ) 동안 여러 번 각 검출기의 획득 시스템(240)에 의해 기록된다. 펄스 지속 시간당 시간 샘플(temporal samples)의 수는 다운-레인지(down-range)에 영향을 미친다. 이 수치는 종종 펄스 반복율과 사용 가능한 카메라 프레임 레이트를 기반으로 선택되는 실용적인 고려 사항이다. 프레임 레이트는 종종 "디지타이저 주파수(digitizer frequency)"라고 하는 샘플링 대역폭이다. 기본적으로 Y 거리 폭의 해상도 빈(bins)을 갖는 펄스 동안 X 개의 검출기 어레이 프레임이 수집되면, X*Y 거리 정도를 볼 수 있다. 획득된 데이터는 도 11을 참조하여 이하에서 설명되는 컴퓨터 시스템, 또는 도 12를 참조하여 이하에서 설명되는 칩셋과 같은 프로세싱 시스템(250)에 이용 가능하게 된다. 일부 실시예에서, 획득된 데이터는 타겟의 각각의 다수 부분의 다수의 거리에 기초한 포인트 클라우드이다. 객체 분류 통계 모듈(270)은 도 7의 방법(700)에 따라, 획득된 포인트 클라우드에 기초하여 빔(205)으로 조명된 객체를 분류한다. 임의의 공지된 장치 또는 시스템이 레이저 소스(212), 변조기(214), 빔 스플리터(216), 기준 경로(220), 검출기 어레이(230), 또는 획득 시스템(240)을 구현하는데 사용될 수 있다. 스캔 또는 플러딩(flood) 또는 타겟에 대한 포커스 또는 푸필(pupil) 평면을 넘어선 포커스에 대한 광학 커플링은 도시되지 않는다. 본 명세서에서 사용되는 바와 같이, 광 커플러는 진공, 공기, 유리, 수정, 거울, 렌즈, 광 순환기, 빔 스플리터(beam splitter), 위상 플레이트, 편광자(polarizer), 및 광섬유 등의 단독 또는 조합과 같은 하나의 구성요소로부터 다른 구성요소로 광을 지향시키기 위해 공간 좌표 내의 광의 전파에 영향을 미치는 임의의 구성요소이다.
예를 들어, 일부 처프(chirp) 실시예에서, 사용된 레이저는 레이저를 구동하는 전류에 적용되는 변조로 능동적으로 선형화된다. 실험은 또한 변조를 제공하는 전기 광학 변조기로 수행되었다. 시스템은 다양한 실시예에 대해 이하에서 보다 상세히 설명되는 바와 같이, 원하는 다운-레인지 해상도에 적합한 대역폭 B 및 지속 시간 τ의 처프를 생성하도록 구성된다. 예를 들어, 일부 예시된 실시예에서, 수행된 실험에서 비교적 낮은 검출기 어레이 프레임 레이트의 범위 내에서 작동하기 위해 약 90 GHz의 B의 값 및 약 200 밀리 초(ms, 1ms = 10-3 초)의 τ의 값이 선택되었다. 이러한 선택은 객체의 모양과 객체의 식별에서 종종 중요한 약 30cm의 비교적 큰 거리 윈도우을 관찰하기 위해 수행되었다. 이 기술은 10 MHz ~ 5 THz의 처프 대역폭에서 작동한다. 그러나, 3D 이미징 애플리케이션에서, 전형적인 범위는 약 300 MHz 내지 약 20 GHz의 처프 대역폭, 약 250 나노초(ns, ns = 10-9 초) 내지 약 1 밀리 초(ms, 1ms = 10-3 초)의 처프 지속 시간, 약 0 미터 내지 약 20 km의 타겟까지의 거리, 약 3 밀리미터(mm, 1 mm = 10-3 미터) 내지 약 1 미터(m)의 타겟에서의 지점 크기, 약 7.5 mm 내지 약 0.5 ㎛의 타겟에서의 깊이 해상도이다. 일부 실시예들에서, 타겟은 400 미터(m)와 같은 최소 거리를 갖는다. 이러한 조건 하에서 거리 윈도우를 수 킬로미터까지 확장할 수 있고 도플러 해상도도 상당히 높을 수 있다(처프의 지속 시간에 따라 다름). 프로세스, 장비 및 데이터 구조가 설명을 목적으로 특정한 배열로 도 2에 필수 블록들로 도시되어 있지만, 다른 실시예들에서, 하나 또는 그 이상의 프로세스 또는 데이터 구조, 또는 그 일부분이 상이한 방식으로, 동일한 호스트 또는 다른 호스트 상에, 하나 또는 그 이상의 데이터베이스로 배열되거나, 생략되거나, 또는 하나 또는 그 이상의 다른 프로세스 또는 데이터 구조가 동일하거나 다른 호스트에 포함된다. 예를 들어, 스플리터(216) 및 기준 경로(220)는 0 개 또는 그 이상의 이상의 광 커플러를 포함한다.
도 3a는 일 실시예에 따른, 헤테로다인(heterodyne) 처프 LIDAR 시스템(300a)의 예시적인 구성요소들을 나타내는 블록도이다. 미국특허 제7,742,152호에 기재된 것으로부터 변형된 이 시스템(300a)은 전자 디-처핑을 사용한다. 객체(390)는 시스템(300a)의 동작을 설명하기 위해 도시되지만, 객체(390)는 시스템(300a)의 일부가 아니다. 시스템(300a)은 레이저(301), 변조기(310), 스캐닝 광 커플러(320)로서의 망원경, 평형 포토검출기(330), 프로세싱 회로부(340), 대역폭 B 및 지속 시간 τ의 FM 처프를 생성하는 파형 생성기(350), 전력 스플리터(351), 디-처핑 믹서(360) 및 음향-광학 변조기(370)를 포함한다. 이 시스템에서, 소스 레이저(301) 출력 빔은 빔 스플리터(302)에 의해 두 부분으로 분리된다; 하나의 부분은 망원경에 공급되는 빔(305)을 생성하기 위해 전력 스플리터(351) 및 연산 증폭기 (352a)로부터의 FM 처프(chirp)에 기초하여 변조기(310)에 의해 변조된다.
빔의 다른 부분인 빔(307a)은 코히런트 검출을 위한 국부 발진기(LO)를 생성하는데 사용된다. 음향 스피커는 음향-광 변조기(AOM)(370)를 구동하기 위해 주파수 fm의 음향 신호를 생성하여 헤테로다인 검출을 위한 중간 주파수(IF)로서 작용하는 빔(307b)에서 광 주파수를 fm만큼 시프트시킨다. 광 커플러(322)는 빔(307b)을 평형 포토검출기(330) 중 하나에 지향시킨다.
리턴 광 신호(391)는 또한 광 커플러(322)에 의해 평형 포토검출기의 다른 부분으로 지향된다. 평형 포토다이오드(330)는 직접 검출 컴포넌트를 거부한다. 출력 전기 신호는 연산 증폭기(344a)에서 증폭되고, IF 신호는 대역 통과 필터(341)에 의해 선택되고 기저 대역 파형을 복구하는 쇼트키(Schottky) 다이오드(342)에 의해 검출된다. 결과적인 전기 신호는 저역 통과 필터(343) 및 연산 증폭기(344b)를 통해 지향된다.
디-처핑 믹서(360)는 이 검출된 신호와, 전력 스플리터(351) 및 연산 증폭기(352b)에 의해 출력된 원래의 처프 파형 출력을 비교하여, RF 기준 파형과 그 검출된 파형 사이의 주파수 차이에 의존하는 비트 주파수를 갖는 전기 신호를 생성한다. 또 다른 연산 증폭기(344c) 및 FFT 프로세스(345)가 비팅 주파수를 찾는데 사용된다. 프로세서(346)는 데이터 분석을 수행하도록 프로그램된다. 그러나 300a와 같은 코히런트 검출 시스템은 펄스 이동 시간을 직접 검출하는 것에 비해 수신기 신호 대 잡음비(SNR)를 크게 향상시키지만 시스템 복잡성이 크게 증가한다. 프로세서(346)를 통해 연산 증폭기(344a) 및 디-처핑 믹서(360)로부터의 전기 컴포넌트는 신호 처리 컴포넌트(340)를 구성한다.
도시된 실시예에 따르면, 광 커플러(320)로부터 방출된 광 빔은 하나 이상의 객체의 조명된 부분(392)을 조명하는 유한 빔 크기로 하나 이상의 객체(390)에 충돌한다. 조명된 부분으로부터의 후방 산란된 광은 망원경을 통해 되돌아와 광 커플러(322)에 의해 평형 포토검출기(330)의 하나의 광 다이오드와 같은 광 검출기 상에 지향된다. 일부 실시예에서, 광 커플러(320)로부터 방출된 광 빔은 객체의 다수의 부분(392)에 충돌하고, 후방 산란된 광(391)이 객체의 다수 부분(392) 각각으로부터 되돌아와 객체의 각각의 다수 부분에 대한 각각의 거리를 결정한다. 이러한 실시예에서, 객체의 각각의 다수 부분의 각각의 거리는 하나 이상의 객체의 포인트 클라우드에 포인트를 추가하는데 사용된다. LIDAR 시스템의 다른 각도 또는 다른 위치에서 많은 측정을 한 후 포인트 클라우드가 나타난다. 프로세서(346)는 도 7의 방법(700)에 따라 포인트 클라우드에 기초하여 빔(305)으로 조명된 객체(390)를 분류하기 위해, 후술되는 바와 같이 객체 분류 통계 모듈(380)을 포함한다.
도 3b는 일 실시예에 따른, 호모다인(homodyne) 처프 LIDAR 시스템(300b)의 예시적인 구성요소를 나타내는 블록도이다. 미국특허 제7,742,152호에 개시된 것으로부터 변형된 이 시스템(300b)은 포토닉(photonic) 디-처핑을 사용하고 RF 컴포넌트를 단순화한다. 객체(390)가 시스템(300b)의 동작을 설명하기 위해 도시되었지만, 객체(390)는 시스템(300b)의 일부가 아니다. 시스템(300b)은 파형 발생기(350), 레이저(301), 변조기(310), 변조기(310)의 다운스트림인 스플리터(302), 스캐닝 광 커플러(320)로서 사용되는 망원경, 평형 포토검출기(330) 및 프로세싱 회로부(360)를 포함한다.
이 시스템에서, 광 신호 및 국부 발진기(LO)는 동일한 파형 발생기(350)에 의해 구동되고 연산 증폭기(352)에서 증폭된다. 변조기(310)에 의해 출력된 빔은 빔 스플리터(302)에 의해 빔 부분(305) 및 빔 부분(307c)으로 분리된다. 빔 에너지의 대부분을 갖는, 예를 들어 90% 이상을 갖는 빔 부분(305)은 광 커플러(320)를 통해 송신되어 객체(390)의 조명된 부분(392)을 조명한다. 일부 실시예에서, 빔(305)은 객체(390)의 다수 부분(392)을 조명한다. 이들 실시예에서, 다수의 리턴 신호(309)는 객체(390)의 다수 부분(392) 각각으로부터 포토검출기(330)로 지향되고 객체(390)의 다수 부분(392) 각각에 대한 각각의 거리가 결정된다. 빔 부분(307c)은 지연(308)에서 원하는 양만큼 지연되어 기준 신호(307d)를 생성한다. 일부 실시예들에서, 지연은 없고, 지연(308)은 생략된다. 망원경 또는 다른 광 커플러(320)로부터의 기준 신호(307d) 및 리턴 신호(309)는 광 커플러(322)에 의해 포토검출기(330)로 지향된다.
디-처핑 프로세스는 평형 포토다이오드(330) 내에서 수행되고, 따라서 디-처핑 믹싱 및 관련된 RF 프로세싱의 필요성을 제거한다. LO에 의해 반송되는 원래의 처프 광 파형은 지시된 바와 같이 포토다이오드에서 그것의 지연된 버전과 겹치기(beat) 때문에, 타겟 거리가 FFT 컴포넌트(345)에서 연산 증폭기(344)에 의해 출력된 광전 신호(photocurrent signal)의 주파수 분석에 의해 직접 얻어질 수 있다. 각 리턴에 대해 검출된 타겟 거리, 즉 조명된 부분까지의 거리는, 하나 이상의 객체의 포인트 클라우드에 포인트로 추가된다. 일부 실시예에서, 타겟의 각 부분은 400 미터(m)와 같은 최소 거리를 갖는다. 프로세서(362)는 데이터 분석을 수행하도록 프로그래밍된다. 프로세서(362)는 도 7의 방법(700)에 따라 포인트 클라우드에 기초하여 빔(305)으로 조명된 객체를 분류하기 위해, 후술되는 바와 같이 객체 분류 통계 모듈(380)을 포함한다. 연산 증폭기(344)로부터 프로세서(362)를 통한 전기 컴포넌트는 신호 처리 컴포넌트(360)를 구성한다. 쇼트 노이즈가 코히런트 검출의 주된 노이즈라고 생각하면, 비팅 주파수에서의 SNR은 시스템(300a)의 SNR 및 직접 검출의 SNR에 비해 줄어든다.
3. K-d 트리 개요
k-d 트리(k 차원 트리에 대해 짧음)는 k 차원 공간에서 포인트들을 조직화하기 위한 공간 분할 데이터 구조이다. K-d 트리는 다차원 검색 키(예 : 거리 검색 및 가장 가까운 이웃 검색)와 관련된 검색과 같은 여러 가지 응용 프로그램에 유용한 데이터 구조이다. K-d 트리는 바이너리 공간 분할 트리의 특별한 경우이다. 도 5a는 일 실시예에 따른 포인트 세트에 대한 k-d 트리 구성(500)의 예를 도시하는 그래프이다. 도 5b는 일 실시예에 따른, 도 5a의 k-d 트리 구성(500)에 기초한 k-d 트리(550)의 예를 도시한다. 도 5a 및 도 5b의 예시적인 실시예는, k=2(예를 들어, 2 차원 x-y 공간)인 k-d 트리를 도시한다. 도 5a 및 도 5b는 포인트 세트 {(2,3), (5,4), (9,6), (4,7), (8,1), (7,2)}에 기초한다. 도 5a의 그래프는, 포인트 세트의 각 포인트를 표시한다. 수평축(502)은 x-축이고 수직축(504)은 y-축이다.
k-d 트리(550)는 루트 노드(552) 및 리프 노드(556)를 포함하는 복수의 노드(552, 554, 556)를 갖는 바이너리 트리이다. 모든 비-리프 노드(예를 들어, 노드(552, 554)) 공간을, 반-공간(half-spaces)로 알려진, 두 부분으로 나누는 분할 초평면(hyperplane)을 암묵적으로 생성한다. 이 초평면의 왼쪽에 있는 포인트들은 그 노드의 왼쪽 하위 트리로 표시되고 초평면의 오른쪽 포인트들은 오른쪽 하위 트리로 표시된다. 초평면 방향은 다음과 같은 방식으로 선택된다: 트리의 모든 노드는 k 차원 중 하나와 연관되며, 초평면은 해당 차원의 축에 수직이다. 도 5b의 예시적인 실시예에서, 루트 노드(552)는 x-차원과 연관되고 x-차원에서 중앙값을 갖는 포인트(552a)가 포인트 세트로부터 선택된다(예컨대 (7,2)). x-분할 평면(506)은 x-차원에서 상기 중간값에 기초하여 k-d 트리 구성(500)에서 생성된다(예를 들어, x=7). 포인트 세트 중 이 평면(506)의 좌측에 있는 포인트는 좌측 하위 트리(553)에 의해 표현되고 포인트 세트 중 이 평면(506)의 우측에 있는 포인트는 우측 하위 트리(555)로 표현된다.
노드(554)는 y 차원과 연관된다. y-차원에서 중앙값을 갖는 포인트(554a)가 x-분할 평면(506)의 한 측면(좌측면)에 있는 포인트들(예를 들어, 좌측 하위 트리(553)의 포인트들)로부터 선택된다(예를 들어 (5,4)). y-분할 평면(508)은 y-차원에서 상기 중앙값에 기초하여 k-d 트리 구성(500)에서 생성된다(예를 들어, y=4). 이 y-분할 평면(508)의 일측(바닥 측)에 있는 포인트는 포인트 (2,3)에 의해 리프 노드(556)에 표현되고, 이 y-분할 평면(508)의 다른측(상단)에 있는 포인트는 포인트 (4, 7)에 의해 우측 리프 노드(556)에 표현된다. 유사하게, y-차원에서 중앙값을 갖는 포인트(554b)가 우측 하위 트리(555)에 있는 포인트 세트로부터 선택되고(예를 들어 (9,6)), y-차원에서의 이 중앙값에 기초하여 y-분할 평면(510)이 k-d 트리 구성에서 생성된다(예 : y=6). 이 y-분할 평면(510)의 좌측에 있는 포포인트는 포인트 (8,1)에 의해 리프 노드(556)에 표현되는 반면, 포인트 세트 내에서 y-분할 평면(510)의 우측에는 포인트가 없다.
일부 실시예들에서, k-d 트리(550)는, 주어진 입력 포인트에 가장 가까운 포인트를 세트에서 찾는 것을 목표로 하는, 가장 가까운(NN:nearest neighbor) 이웃 검색을 수행하는데 사용될 수있다. 일 실시예에서, 입력 포인트(512)는 (2,8)이다. 이 검색은 트리 속성을 사용하여 검색 공간의 많은 부분을 빠르게 제거함으로써 효율적으로 수행될 수 있다. 일부 실시예에서, k-d 트리에서 가장 가까운 이웃을 검색하는 것은 루트 노드(552a)로 시작함으로써 진행한다. 검색은 입력 포인트가 삽입되는 경우와 동일한 방식으로 재귀적으로 트리(550) 아래로 이동한다(즉, 포인트가 분할 차원에서 현재 노드보다 작거나 큰지 여부에 따라 왼쪽 또는 오른쪽으로 이동함). 루트 노드(552a)에서, 입력 포인트 (2,8)는 분할 차원(예를 들어, x 차원)에서 노드(552a)에서의 포인트 (7,2)보다 작고, 따라서 검색은 좌측 하위 트리(553)로 이동한다. 노드(554a)에서 입력 포인트 (2,8)은 분할 차원(예 : y 차원)에서 노드(554a)에서의 포인트 (5, 4)보다 크므로 검색은 오른쪽으로 이동하여 리프 노드(556)의 포인트 (4, 7)로 이동한다. 검색이 리프 노드(556) 포인트에 도달하면, 검색은 노드 포인트를 "가장 가까운 이웃"으로서 저장한다. 이 예에서 검색은 입력 포인트 (2,8)에 "가장 가까운 이웃"으로 (4,7)을 저장한다. 도 5a는 입력 포인트(512) 및 리프 노드(556)의 (4,7)에 대응하는 가장 가까운 이웃(514)을 도시한다. K-차원 데이터 세트에 대해 K-d 트리를 생성할 수 있는 소프트웨어가 이용 가능하다. 예를 들어 Accord-framework.net은 C#에서 k-d 트리 가장 가까운 이웃 검색 알고리즘을 제공하는 오픈 소스 소프트웨어 플랫폼이다.
4. 포인트 클라우드 개요
포인트 클라우드(point cloud)은 어떤 좌표계에서 데이터 포인트들의 세트이다. 3차원 좌표계에서 이 포인트들은 일반적으로 X, Y 및 Z 좌표로 정의되며, 대개 객체의 외부 표면을 나타내기 위한 것이다. 다른 실시예에서, 포인트 클라우드의 각각의 포인트는, LIDAR 스캐너의 위치와 같은 몇몇 편리한 원점으로부터의 거리 및 방위각 및 앙각을 사용하여 각 포인트를 위치시키는 극 좌표계와 같은 다른 좌표계로 표현된다. 포인트 클라우드은 3D 스캐너로 생성될 수 있다. 이 장치는 객체의 표면에 있는 많은 수의 포인트를 측정하고, 종종 포인트 클라우드를 데이터 파일로 출력한다. 포인트 클라우드는 장치가 측정한 포인트들의 세트를 나타낸다. 도 4는 일 실시예에 따른, 컵과 같은 객체의 3D 포인트 클라우드(400)의 예를 도시한다. 3D 스캐너는 예를 들어 컵 핸들에 대응하는 부분(402a) 및 컵 테두리에 대응하는 부분(402b)을 포함하는 컵 표면의 상이한 부분에서 포인트를 측정한다. 일부 실시예에서, 객체들의 3D 포인트 클라우드는 도 2 및 도 3a-3b의 시스템(200, 300a, 300b)과 같은 광학 LIDAR 시스템에 의해 생성된다. 이들 실시예에서, 도 2의 객체(도시되지 않음)의 3D 포인트 클라우드는 또는 도 3a-3b의 객체의 3D 포인트 클라우드는, 객체의 다수 부분에 대해 계산된 각각의 거리에 기초하여, 객체 표면상의 다수의 포인트들을 포함하여 얻어진다. 객체가 스캐너의 빛에 불투명하고 객체와 스캐너가 움직이지 않는 경우, 객체의 한쪽 면만 관찰되고 포인트 클라우드는 가려진다. 객체 또는 스캐너 중 하나가 움직여서 객체의 다중면을 스캐너에 노출시키는 경우(예를 들어, 객체를 회전시킴으로써), 객체의 표면의 보다 완전한 3D 표현이 획득될 수 있다.
3D 스캐닝 프로세스의 결과물인 포인트 클라우드는 제조 부품, 계측/품질 검사, 및 수많은 시각화, 애니메이션, 렌더링 및 대량 사용자 정의 응용 프로그램 용의 3D CAD 모델을 만드는 등 다양한 목적으로 사용된다. 포인트 클라우드는 직접 렌더링 및 검사될 수 있지만, 대개 포인트 클라우드는 일반적으로 대부분의 3D 응용 프로그램에서 직접 사용할 수 없기 때문에, 보통 일반적으로 표면 재구성이라고 하는 프로세스를 통해 폴리곤 메쉬 또는 삼각형 메쉬 모델, NURBS 표면 모델, 또는 CAD 모델로 변환된다, 포인트 클라우드를 3D 표면으로 변환하는 많은 기술이 있다. Delaunay 삼각 측량, 알파 모양 및 볼 피벗과 같은 일부 접근법은 포인트 클라우드의 기존 정점에 삼각형 네트워크를 구축하는 반면, 다른 접근법은 포인트 클라우드를 용적 거리 필드로 변환하고 마칭 큐브 알고리즘(marching cubes algorithm)을 통해 정의된 암시적 표면을 재구성한다.
포인트 클라우드를 직접 사용할 수 있는 응용 분야는 산업용 컴퓨터 단층 촬영을 사용하는 산업 계측 또는 검사이다. 제조된 부품의 포인트 클라우드는 CAD 모델(또는 다른 포인트 클라우드)에 정렬될 수 있으며, 차이점을 체크하기 위해 비교 될 수 있다. 이러한 차이는 제조된 부품과 CAD 모델 간의 편차를 시각적으로 알려주는 컬러 맵으로 표시할 수 있다. 기하학적 차원(Geometric dimensions) 및 공차(tolerances)는 포인트 클라우드로부터 직접 추출될 수도 있다.
5. 객체 분류 통계 개요
객체 분류는, 다른 방법으로는 알 수 없는 객체의 포인트 클라우드로부터, 포인트 클라우드를 발생시키는 객체가 속하는 객체의 클래스를 결정하는 것이다. 다양한 방법이, 알려진 객체들의 훈련 세트를 사용하고 클래스에 대한 포인트 클라우드들의 하나 이상의 특성을 특징화한다. 그런 다음, 알 수 없는 객체의 포인트 클라우드를 사용하여 하나 이상의 특성에 대한 값을 유도한다. 알 수 없는 객체의 속성값은 알 수 없는 객체의 값과 가장 유사한 값을 가진 클래스와의 유사도 측정을 사용하여 매칭된다. 이하의 실시예에서, 객체들의 클래스들을 N 개의 관심 클래스들, 예를 들어 N 종류의 차량 및 노변 구조물, 또는 N 종류의 식기, 또는 N 종류의 동물, 또는 N 종류의 휴대용 무기와 같은 관심 클래스로 제한함으로써 문제를 다루기 쉽도록 한다. 알 수 없는 객체는 N 개의 클래스 중 하나와 적절하게 유사하거나 또는 관심이 없는 것으로 거부된다.
도 6a는 일 실시예에 따른, 객체의 3D 포인트 클라우드(600)의 예를 도시한다. 일부 실시예들에서, 3D 포인트 클라우드는 도 2 내지 도 3b를 참조하여 상술한 바와 같은 광학 LIDAR 시스템을 사용하여 얻어진다. 다른 실시예에서, 3D 포인트 클라우드는 그러한 광학 시스템 이외의 3D 스캐너로부터 얻어진다. 도 6b는, 일 실시예에 따른, 도 6a의 3D 포인트 클라우드(600)의 세그먼트(607)를 도시하며, 여기에는 포인트(601) 및 그 포인트(601) 주변의 가장 가까운 이웃 포인트(605)를 포함한다.
표면 법선(602)이 도 6a에 도시되고 포인트 클라우드의 각 포인트에서 물체의 표면에 대한 법선을 근사화한다. 포인트 클라우드(600) 상의 각각의 포인트에서 표면 법선(602)이 근사화된다. 일부 실시예에서, 표면 법선(602)은 Klasing 2009에 개시된 프로세스를 사용하여 근사화된다. 일부 실시예에서, 포인트(601)에서의 표면 법선(602)은 포인트(601) 주위의 가장 가까운 이웃 포인트(605)를 초기에 결정함으로써 결정된다. 도 6b는 단순화를 위해 포인트들(605)의 일부를 레이블링한다. Klasing에서 논의된 바와 같이, 가장 가까운 이웃 포인트들(605)의 (x, y, z) 값은 3x3 공분산 행렬(covariance matrix) C를 구성하는데 사용된다. 일 실시예에서, 3x3 공분산 행렬 C를 구성하기 위해 최소 3 개의 포인트(605)가 사용되어 3D로 평면을 정의한다. 다른 실시예에서, 공분산 행렬 C를 구성하기 위한 최소 개수의 포인트(605)는, 아래에 정의된 대로, 시스템에서 노이즈를 실질적으로 처리하고 유용한 측정치를 얻으며 실시간 또는 실시간에 가깝게 결과를 생성하기 위해 약 10 개의 포인트 내지 약 20 개의 포인트의 범위 내에 있어야 한다. 그런 다음 행렬 C의 고유 값(eigenvalues) (λ1, λ2, λ3) 및 고유 벡터(eigenvectors) (e1, e2, e3)가 계산된다. 이러한 고유 값은 고유 벡터에 의해 표현되는 3 개의 방향 각각에서의 포인트들(605)의 분산의 근사화를 나타낸다. 일부 실시예에서, 가장 작은 고유 값과 관련된 고유 벡터는 포인트(601)에서 표면 법선(602)을 근사화하는데 사용되는데, 그 이유는 이 고유 벡터가 포인트들(605)의 최소 분산의 방향을 근사화하고 다른 2 개의 고유 벡터가 대부분의 분산을 갖는 평면을 정의하기 때문이다. 다른 실시예에서, 포인트(601)에서 객체 표면의 곡률(curvature)은 다음과 같이 고유 값을 이용하여 추정될 수 있다 :
Figure pct00001
(2)
각 포인트(601)에서의 표면 법선(602)은 Klasing에 개시된 방법 이외의 임의의 방법을 사용하여 근사화될 수 있다.
도 6c는 일 실시예에 따른, 변환 및 회전 불변 좌표계(translational and rotational invariant coordinate system) 내의 3D 포인트 클라우드의 포인트들(605)에 의해 정의된 특징 변수의 예를 도시한 블록도(650)이다. 변환 및 회전 불변 좌표계는 포인트(601)에서의 표면 법선(602) 그리고 표면 법선(602)에 직각이고 포인트(601)에서 객체 표면(656)에 접하는 평면(655)에 의해 정의된다. 일부 실시예에서, 특징 변수 α는, 평면(655)을 따라 포인트(601)로부터 포인트(605)까지의 거리(662)에 의해 정의된다. 다른 실시예에서, 특징 변수 β는 포인트(601)에서 포인트(605)까지 평면(655)에 수직인 거리(663)에 의해 정의되며; 또는 특징 변수는, 거리 α 및 β 쌍으로 정의된다. 또 다른 실시예에서, 특징 변수 ρ는 포인트(601)에서 포인트(605)까지의 직선 거리(660)이며, α 및 β를 사용하여 피타고라스의 정리로 도출된다. 또 다른 실시예에서, 특징 변수 θ는 표면 법선(602)과 ρ 사이에서 측정된 각도(658)이다. 또 다른 실시예에서, 특징 변수는 표면 법선(602)을 결정하기 위해 사용된 것과 유사한 방법을 사용하여 결정된 포인트(605)에서의 표면 법선(665)이다. 또 다른 실시예에서, ψ는 표면 법선(665) 및 β 사이에서 측정된 각도(664)이다. 다른 실시예에서, 601과 605 사이의 연속적인 매끄러운 접선 각도를 갖는 호의 길이와 같은, 다른 특징 변수가 정의된다. 하나 이상의 특징 변수들의 세트가 다양한 실시예에서 사용될 수 있다. 3D 포인트 클라우드에서의 하나 이상의 포인트 각각은, 특징 세트 내의 하나 이상의 특징 변수들에 대응하는 값들의 세트를 갖는다.
도 6d는 일 실시예에 따른, 도 6c의 특징 변수들 중 2 개의 값의 범위에 대한 3D 포인트 클라우드의 포인트들(605)의 개수의 히스토그램의 예를 도시하는 스핀 이미지(680)이다. 수평축(682)은 센티미터(cm) 단위로 특징 변수 α의 값을 나타낸다. 수직축(684)은 센티미터(cm) 단위로 특징 변수 β의 값을 나타낸다. α-β 공간은 복수의 빈들(686)로 분할된다. 단순화를 위해 하나의 빈(686)이 도 6d에 도시되었다. 일 실시예에서, 빈(686)은 1 센티미터(cm) x 1 센티미터(cm)의 정사각형 차원을 갖는다. 히스토그램은, 빈(686)에 의해 정의된 α-β 범위 내의 값을 갖는 3D 포인트 클라우드의 포인트들(605)의 개수에 기초하여, 각 빈(686)에 대한 값을 할당한다. 그레이 스케일은 각 빈(686)의 값을 나타내는데 사용되고, 각 빈(686)의 값은 낮은 값들(예를 들어, 백색)에서 높은 값들(예를 들어, 흑색)로 표현된다.
일부 실시예에서, 스핀 이미지(680)는 도 6a에 도시된 포인트 클라우드(600)의 도 6b에 도시된 세그먼트(607)와 같은, 3D 포인트 클라우드의 하나의 세그먼트에 대해 얻어진다. 일 실시예에서, 세그먼트는 약 0.5 미터(m)의 치수를 갖는다. 이러한 실시예에서, 다수의 스핀 이미지(680)가 포인트 클라우드(600)를 스팬하는 대응하는 다수의 세그먼트를 통해 획득된다. 일부 실시예에서, 특징 변수들(예를 들어, α, β)의 값이 포인트 클라우드(600)의 각 세그먼트 내의 각 포인트를 정의하기 위해 획득된다. 다른 실시예에서, 특징 변수들(예를 들어, α, β)의 값은, 각 세그먼트 내의 하나 또는 소수의 포인트 클라우드 포인트들에 대해서만 결정된다. 이들 실시예에서, 스핀 이미지들(680)은 세그먼트들에 걸쳐 충분히 유사하고, 각 세그먼트는 포인트 클라우드(600)를 생성하는데 사용된 객체와 동일한 클래스에 속하는 것으로 인식 가능하다. 스핀 이미지들(680)은 Johnson 1997에 개시된 방법에 기초하여 포인트 클라우드(600) 내의 임의의 포인트들에 대해 획득된다.
일부 실시예에서, 각 세그먼트에 대한 스핀 이미지(680)는 빈들(686)의 개수와 동일한 차원를 갖는 벡터에 의해 표현된다. 이들 실시예에서, 벡터는 [P1, P2, P3, P4 ... PB]로 표현되고, 여기서 PN은 N번째 빈(686)에서의 포인트들(605)의 개수를 나타내고, B는 빈들(686)의 전체 개수이다. 일 예시적인 실시예에서, 스핀 이미지(680)의 α-β 범위가 40 센티미터(cm) x 40 센티미터(cm)이고, 빈(686)은 1 cm x 1 cm의 치수를 갖는 경우, B는 1600이고, 1600 차원의 벡터가 된다. 일부 실시예에서, 스핀 이미지(680)의 히스토그램은 스핀 이미지(680)가 벡터에 의해 표현되기 전에 이산 Parzen 윈도우 접근법을 사용하여 평활화된다. 다른 실시예에서, 스핀 이미지(680)에 의해 표현되는 벡터는 포인트 밀도의 변화로 인해 발생할 수 있는 가변성을 제거하기 위해 정규화된다.
일부 실시예에서, 스핀 이미지(680)를 생성한 객체는 고정된 개수(N)의 클래스에 기초하여 대략 실시간 또는 실시간에 가깝게 분류된다. 이 설명의 목적을 위해, 실시간은 스핀 이미지(680)를 생성하는 3D 포인트 클라우드를 캡처하는데 사용되는 3D 스캐너(예 : LIDAR)의 프레임 레이트에 기반한다. 프레임 레이트의 역수는 3D 스캐너가 3D 포인트 클라우드를 캡처하는 동안의 시간 캡쳐 주기(period)이다. 일 실시예에서, 실시간은 시간 캡처 주기 내의 기간으로 정의된다. 일 예시적인 실시예에서, 프레임 레이트는 초당 2.5-10 프레임 범위이며, 0.1-0.25초의 시간 캡처 주기에 대응한다. 이러한 종류의 시간 주기는 전술 및 충돌 회피 애플리케이션에서 객체를 식별하는데 유리하다. 실시간에 가깝게는 실시간의 약 10 배, 예를 들어 상기 시간 캡처 주기의 경우 약 2.5 초 내이다.
포인트 클라우드 데이터는 다양한 시점과 방향을 통해 각 클래스의 객체들에 대해 수집되었다. (α, β) 특징 변수들의 값은 각 클래스의 객체들에 대한 포인트 클라우드로부터 추출되었다. 각 포인트 클라우드의 클래스 멤버쉽이 알려져 있으므로(예 : 박스, 트래픽 콘 등), 특징 변수들의 값은 알려진 클래스로 레이블링된다. 레이블링된 스핀 이미지 세트는, Ye 2007에 개시되었듯이, 표준 선형 판별 분석(LDA:Linear Discriminant Analysis)을 사용하여 훈련되었다.
일 실시예에서, 차원 감소 단계가 스핀 이미지(680) 벡터에 대해 수행된다. 일 실시예에서, 스핀 이미지(680) 벡터의 차원은, 빈들(686)의 총 개수로부터 전체 클래스 개수(N)에 기초하여 감소된 차원으로 감소된다. 일 예시적인 실시예에서, 스핀 이미지(680) 벡터의 차원은 빈들(686)의 총 개수 1600에서 N-1로 감소된다. 일부 실시예에서, LDA에서 레이블링된 스핀 이미지의 훈련 동안 획득된 미리 결정된 세트의 투영 벡터들은 스핀 이미지(680) 벡터의 차원을 빈들(686)의 총 개수 1600에서 N-1로 투영하는데 사용된다. 일부 실시예에서, 미리 결정된 세트의 투영 벡터들은 N 개의 클래스에 대한 스핀 이미지들의 각각의 세트와 관련된다. Ye 2007 년에 개시된 바와 같이, 이 관리 가능한 특징 공간에서, 새로운 스핀 이미지(680)를 생성하는데 사용되는 3D 포인트 클라우드를 갖는 임의의 미지의 객체에 클래스 멤버십을 할당하기 위해 k-d 트리 및 NN(가장 가까운 이웃) 검색이 수행된다. 일 실시예에서, 다수의 스핀 이미지(680)가 미지의 객체의 포인트 클라우드(600)를 스팬하는 다수의 세그먼트(607)에 대해 얻어지는 경우, 각각의 스핀 이미지(680)는 감소된 차원(예를 들어 N-1)으로 투영되고 NN 검색이 각 세그먼트 스핀 이미지(680)에 클래스 멤버쉽을 할당하기 위해 수행된다. 일부 실시예에서, 축소된 차원 공간으로의 스핀 이미지(680)의 투영 및 스핀 이미지(680)에 대한 클래스 멤버십을 할당하는 NN 검색은 대략 실시간 또는 거의 실시간으로 수행된다. 일 실시예에서, 포인트 클라우드(600)의 세그먼트 스핀 이미지(680)의 실질적인 개수(예컨대, 90 %)가 동일한 클래스로 할당되면, 포인트 클라우드(600)를 생성하는데 사용된 미지의 객체는 동일한 클래스로 할당된다. 다른 실시예에서, 학습 기술은 내부 분산이 적은 각각의 서브 클래스로서 3D 포인트 클라우드를 포함하는 모든 스핀 이미지(680)의 하나 이상의 서브 세트를 식별하는데 사용된다. 다른 실시예에서, 차원 감소 단계는 LDA에 추가하여 또는 LDA 대신에 주성분 분석을 사용하여 스핀 이미지(680) 벡터에 대해 수행된다.
일부 실시예들에서, 특징 변수들 [α, β, θ, ρ, ψ]의 값들은 포인트 클라우드(600) 내의 각각의 포인트(605)에 대해 결정된다. 그리고 나서 이들 특징 변수들은 다음과 같이 데이터 매트릭스 F로 만들어진다:
Figure pct00002
(3)
여기서, F는 n×M 행렬이고, n은 특징 변수들의 개수이고, M은 포인트 클라우드 내의 포인트들(605)의 개수이다. 도시된 실시예에서, n = 5는 특징 변수 [α, β, θ, ρ, ψ]를 나타낸다. 그러나 n은 특정 숫자로 제한되지 않고 5보다 작거나 5보다 클 수도 있으며 위에 나열된 것과 다른 특징 변수들을 포함할 수도 있습니다.
그 다음, 행렬의 각 행(row)에서 M 개의 포인트들(605)의 개수에 걸쳐 각 특징 변수 [α, β, θ, ρ, ψ]의 평균이 결정된다. 제로-평균 데이터 행렬
Figure pct00003
는 특징 변수와 관련된 데이터 행렬 F의 각 행으로부터 각 특징 변수의 평균(예 :
Figure pct00004
)을 빼서 만들어진다. 결과적인 제로-평균 데이터 행렬 F는 다음과 같이 제공된다:
Figure pct00005
(4)
제로-평균 데이터 행렬
Figure pct00006
는 또한 데이터 행렬 F와 마찬가지로 n×M 행렬이다. 그리고 나서 공분산(covariance) 행렬 C는 다음과 같이 제로-평균 데이터 행렬
Figure pct00007
에 따라 만들어진다:
Figure pct00008
여기서, σn은 포인트 클라우드 세그먼트(607)의 포인트들(605)을 나타내는 행의 M 개의 원소에 대한 특징 변수 평균으로부터의 n 번째 특징 변수의 분산이다. 공분산 행렬 C의 대각선 요소는 단일 특징 변수의 분산(예를 들어, σ1 2)을 나타내고, 공분산 행렬 C의 대각선이 아닌 요소는 두 개의 다른 특징 변수들의 공분산(예 : σ1σ2)을 나타낸다. 제로-평균 데이터 행렬
Figure pct00009
는 n×M 행렬이고 행렬
Figure pct00010
-1은 M×n 행렬이므로 공분산 행렬 C는 n×n 행렬이다. 도시된 실시예에서, 상기 5 개의 특징 변수 각각이 공분산 행렬 C를 만드는데 사용되는 경우, 공분산 행렬은 5×5 행렬이다. 그러나 공분산 행렬 C는, 분류 목적으로 사용되는 특징 변수의 개수에 따라, n이 5보다 작거나 큰 n x n 행렬일 수 있다. 일부 실시예들에서, 공분산 행렬 C는, Fehr 2012에 개시된 방법들에 기초하여, 각 포인트에 대한 특징 변수들을 사용하여 구성된다.
일부 실시예에서, 공분산 행렬 C를 만드는데 사용된 포인트 클라우드를 생성 한 객체는 클래스들의 고정된 개수(N)에 기초하여, 위에서 정의된 바와 같이, 대략 실시간 또는 거의 실시간으로 분류된다.
많은 수의 공분산 행렬 C가 훈련 중에 미리 정해진 고정된 개수(N)의 클래스들 각각과 관련된 많은 수의 포인트 클라우드 각각에 대해 만들어진다. 이 많은 수의 공분산 행렬 C는, Salehian 2013에 개시된 바와 같이, 미리 정해진 고정된 개수(N)의 클래스들와 관련된 미리 결정된 고정된 개수의 클러스터들에 배열된다. 각 클러스터의 중심은 클러스터를 나타내기 위해 선택되고, 클러스터 중심과 연관된 공분산 행렬 C가 클러스터와 연관된 클래스를 나타내기 위해 선택된다. 일 실시예에서, 이것은, 입력 공분산 행렬과 비교되는 공분산 행렬의 개수를, 공분산 행렬의 초기 개수로부터 클래스 개수와 동일한 감소된 개수로 감소시킴으로써, 훈련 데이터를 압축한다. 도 6e는, 일 실시예에 따른, 복수의 클러스터(676a, 676b, 676c, 676d) 및 대응하는 클러스터 중심(678a, 678b, 678c, 678d)의 예를 도시하는 그래프(670)이다. 이 실시예에서, 클러스터 중심들(678a, 678b, 678c, 678d)은 각각 각각의 객체 클래스와 관련된다. 단순화를 위해, 도 6e는 2 차원 공간에서 4 개의 클래스와 관련된 4 개의 클러스터를 도시한다. 그러나, 클래스들의 고정된 개수(N)는 예를 들어 10 또는 100과 같은 4 개의 클래스보다 클 수 있으며, 클러스터 공간은 전형적인 실시예에서 2 개 이상의 차원을 가질 수 있다. 수평축(672)은 제 1 파라미터이고 수직축(674)은 제 2 파라미터이다. 도 6e의 2 차원 공간은, 클러스터링이 발생하는 공간을 나타낸다.
각각의 클러스터 중심(678a, 678b, 678c, 678d)과 관련된 공분산 행렬 C는 공분산 행렬 C의 테스트 데이터 입력과 비교된다. 일부 실시예에서, 거리는 입력 공분산 행렬 C와 각 클러스터 중심 행렬 C 사이에서 계산된다. 일 실시예에서, 측지 거리는, Salehian 2013에 개시된 바와 같이, Jensen-Bregman LogDet 발산 연산을 사용하여 행렬들 사이에서 계산된다. 도 6e는 입력 공분산 행렬 C와 관련된 데이터 입력(679)을 도시한다. 일부 실시예에서, 클러스터 중심(678a, 678b, 678c, 678d) 중 어느 것이 데이터 입력(679)에 가장 근접한지를 결정하기 위해 k-d 트리 NN 검색이 수행된다. 이 실시예에서, 클러스터 중심(678a)은 데이터 입력(679)에 가장 가깝고, 따라서 입력 공분산 행렬 C를 생성하는데 사용된 객체는 클러스터(676a)와 연관된 클래스에 기초하여 분류된다. 일부 실시예에서, 데이터 입력(679)과 각 클러스터 중심 사이의 NN 검색은 대략 실시간 또는 거의 실시간으로 수행된다.
일부 실시예에서, 공분산 행렬 C는 포인트 클라우드의 각 포인트에 대해 만들어진다. 실시예에서, 이들 공분산 행렬 C의 서브 세트는, 포인트 클라우드 생성을 위해 사용된 객체를 분류하기 위해, 클러스터 중심과 관련된 공분산 행렬과 비교된다. 다른 실시예에서, 이들 공분산 행렬의 서브 세트의 대부분이 하나의 객체 클래스와 관련되면, 객체는 이 객체 클래스에 할당된다. 일 실시예에서, 1000 개의 공분산 행렬이 포인트 클라우드의 1000 개의 포인트 또는 1000 개의 세그먼트에 대해 만들어지는 경우, 공분산 행렬의 서브 세트(예를 들어, 50)가 클러스터 중심과 관련된 공분산 행렬과 비교된다. 이 예시적인 실시예에서, 공분산 행렬의 서브 세트의 다수(예를 들어 30 개)가 하나의 객체 클래스와 관련되면, 객체는 이 객체 클래스에 따라 분류된다.
도 7은 일 실시예에 따라, 3D 포인트 클라우드에 의해 정의된 객체를 분류하기 위한 예시적인 방법을 나타내는 흐름도이다. 단계들이 설명을 목적으로 특정한 순서로 필수적인 단계들로서 도 7에 도시되어 있지만, 다른 실시예들에서, 하나 이상의 단계들, 또는 그 일부분은 상이한 순서로, 또는 시간상으로 중첩되거나, 직렬 또는 병렬로 수행되고, 또는 생략되거나, 또는 하나 이상의 추가적인 단계들이 추가되거나, 또는 방법이 일부 조합으로 변경된다.
단계 701에서, 객체의 외부 표면을 나타내는 3D 포인트 클라우드가 획득된다. 일부 실시예에서, 3D 포인트 클라우드는 도 2의 시스템(200)을 사용하여 생성되거나, 또는 도 3a 및 도 3b의 시스템(300a, 300b)을 사용하여 생성된다. 다른 실시예에서, 3D 포인트 클라우드는 당업자가 인식하는 임의의 3D 스캐너를 사용하여 생성된다. 또 다른 실시예에서, 3D 포인트 클라우드는 외부 시스템으로부터 획득되고, 그 시스템과 관련된 외부 소스로부터 다운로드되거나 또는 로컬 또는 원격 저장 장치의 저장 장치로부터 검색된다. 일 실시예에서, 3D 포인트 클라우드는, 400 미터(m)와 같은, 최소 거리에 위치하는 도 2의 시스템(200) 또는 도 3a 및 도 3b의 시스템(300a, 300b)에서 객체 또는 타겟으로부터 얻어진다.
단계 702에서, 표면 법선(602)은 포인트 클라우드(600)상의 포인트(601)에서 추출된다. 일 실시예에서, 표면 법선(602)은, 이웃 포인트들(605)의 최소 분산의 방향을 나타내는 최소 고유 값와 연관된 고유 벡터에 기초하여, Klasing 2009로부터의 근사법을 이용하여 추출된다. 다른 실시 예에서, 표면 법선(602)은 다른 방법을 이용하여 추출된다. 일 실시예에서, 표면 법선(602)은 포인트 클라우드(600)에 걸쳐 각 세그먼트에 대해 적어도 하나의 포인트에 대해 추출된다. 표면 법선(602)은, 표면 법선(602) 및 표면 법선(602)에 수직인 (그리고, 따라서, 객체 표면에 접하는) 평면(655)에 기초하여, 포인트(601)에서 변환 및 회전 불변 좌표 시스템을 정의한다.
단계 704에서, 포인트 클라우드(600)의 모든 세그먼트에서 적어도 하나의 포인트(605)에 대해 하나 이상의 특징 변수의 값이 변환 및 회전 불변 좌표 시스템에서 추출된다. 예시적인 실시예에서, 특징 변수들의 값은 포인트 클라우드(600)의 각 세그먼트(607)에서 각 포인트(605)에 대해 추출된다.
단계 705에서, 제 1 분류 통계가 단계 704에서 추출된 특징 변수에 기초하여 포인트 클라우드(600)의 적어도 하나의 포인트(605)에 대해 계산된다. 일 실시예에서, 제 1 분류 통계는 단계 704로부터의 하나 이상의 특징 (α, β)의 추출된 값에 기초한 스핀 이미지(680)이다. 일 실시예에서, 스핀 이미지(680)는 포인트 클라우드(600)의 각 세그먼트(607)에 대해 획득되고, 그러므로 다수의 스핀 이미지(680)가 포인트 클라우드(600)를 스팬하는 다수의 세그먼트(607)에 걸쳐 획득된다.
단계 707에서, 제 2 분류 통계는 단계 704에서의 특징 변수들의 추출된 값에 기초하여 포인트 클라우드(600)의 적어도 하나의 세그먼트에서 각각의 포인트(605)에 대해 계산된다. 일 실시예에서, 제 2 분류 통계는 식 5의 공분산 행렬 C이다. 일부 실시예에서, 공분산 행렬 C는 포인트 클라우드의 각 세그먼트 내의 각 포인트에 대해 만들어진다.
단계 709에서, 단계 705의 제 1 분류 통계와, N 개의 클래스들의 대응하는 세트에 대한 제 1 분류 통계들의 세트 간에 가장 가까운 매칭이 대략 실시간 또는 거의 실시간으로 결정된다. 이 가장 가까운 매칭은 포인트 클라우드(600)를 생성하는 객체가 제 1 클래스에 있다고 추정하는데 사용된다. 일부 실시예들에서, 제 1 분류 통계가 N 개의 클래스들 중 어느 것과도 매칭되지 않을 수 있다. 예를 들어, 관심 대상 객체들이 차량 및 노변 구조물인 경우의 테이블 설정과 같이, 포인트 클라우드는 관심 대상이 아닌 객체를 나타낼 수 있다. 이들 실시예에서, 단계 709에서, 포인트 클라우드를 생성하는 객체는 N 개의 클래스들 중 어느 것도 아닌 것으로 추정된다. 이것은 다양한 애플리케이션, 특히 관심 대상 객체를 포함하는 N 개의 클래스가 알려져있는 경우에 유리한 부정적 분류(예 : 객체가 N 클래스 중 어디에도 속하지 않음)에 해당한다. 일부 실시예에서, 객체가 "미지"(예를 들어, 사전 정의된 N 클래스 중 어느 것에도 존재하지 않음)인지를 아는 것이 바람직하고, 연관된 포인트 클라우드 데이터가 사용자가 관심을 갖는 것인지를 추가적으로 분석하고 훈련하기 위해 저장된다. 예시적인 실시예에서, "알려지지 않은 무기(unknown weapon)"와 같은 레이블은 추후 훈련시에 알려진 타겟 또는 클래스가 될 수 있도록 포인트 클라우드의 훈련 라이브러리를 업데이트하는데 사용된다.
일 실시예에서, 단계 709에서, 단계 705로부터의 스핀 이미지(680)는 스핀 이미지(680)의 빈(686)의 개수와 동일한 벡터로 표현된다. 추가적으로, 일 실시예에서, 단계 709에서, 일련의 알려진 클래스들과 관련된 레이블링된 스핀 이미지들의 세트가 LDA를 사용하여 학습된다. 일 실시예에서, 차원 감소 단계가, LDA 동안에 획득된 투영 벡터를 사용하여 고차원(예를 들어, 빈(686)의 개수)에서 저차원(예를 들어 N-1)으로 스핀 이미지들(680)에 대해 대략 실시간 또는 거의 실시간으로 수행된다. 일 실시예에서, k-d 트리 및 NN 검색이 객체를 제 1 클래스의 멤버쉽에 할당하기 위해 대략 실시간 또는 거의 실시간으로 수행된다. 일 실시예에서, 알려진 클래스들의 세트의 개수(N) 및 결과적으로 제 1 분류 통계들의 세트의 개수는 최대 임계치로 제한된다. 일 실시예에서, N은 10보다 작거나 같다. 다른 실시예에서, N은 100보다 작거나 같다. 일 실시예에서, 단계 709는 스핀 이미지(680) 벡터의 차원 감소의 결과 그리고 감소된 차원 공간에서의 k-d 트리 및 NN 검색의 결과로서 대략 실시간 또는 거의 실시간으로 수행된다.
단계 711에서, 단계 707의 제 2 분류 통계와, N 개의 클래스들의 세트에 대한 제 2 분류 통계들의 세트 간에 가장 가까운 매칭이 대략 실시간 또는 거의 실시간으로 결정된다. 이 가장 가까운 매칭은 포인트 클라우드(600)를 생성하는 객체가 제 2 클래스에 있다고 추정하는데 사용된다. 일부 실시예들에서, 제 2 분류 통계가 N 개의 클래스들 중 어느 것과도 매칭되지 않을 수 있다. 예를 들어, 관심 대상 객체들이 차량 및 노변 구조물인 경우의 테이블 설정과 같이, 포인트 클라우드는 관심 대상이 아닌 객체를 나타낼 수 있다. 이들 실시예에서, 단계 711에서, 포인트 클라우드를 생성하는 객체는 N 개의 클래스들 중 어느 것도 아닌 것으로 추정된다. 이것은 다양한 애플리케이션, 특히 관심 대상 객체를 포함하는 N 개의 클래스가 알려져있는 경우에 유리한 부정적 분류(예 : 객체가 N 클래스 중 어디에도 속하지 않음)에 해당한다.
일 실시예에서, 단계 711에서, 데이터 캡쳐 주기 이전에, 다수의 공분산 행렬 C가 만들어지고 고정된 개수(N)의 클래스와 관련된다. 이러한 많은 수의 공분산 행렬 C는, Salehian 2013에 개시된 바와 같이, 고정된 개수(N)의 클래스에 기초하여 고정된 개수의 클러스터들에 배열된다. 각 클러스터의 중심은 각 클러스터를 나타내기 위해 선택되고, 각 클러스터 중심과 관련된 공분산 행렬은 각 클래스를 나타내도록 선택된다. 일 실시예에서, 단계 711에서, 거리는 테스트 데이터 입력으로부터의 공분산 행렬 C와 각 클래스와 관련된 공분산 행렬 사이에서 대략 실시간으로 또는 거의 실시간으로 계산된다. 일 실시예에서, k-d 트리 및 NN 검색은 대략 실시간 또는 거의 실시간으로 공분산 행렬 C에 가장 가까운 이웃을 결정하는데 사용된다. 객체는 가장 가까운 클러스터 중심과 관련된 제 2 클래스에 할당된다. 일 실시예에서, 알려진 클래스들의 세트의 개수(N) 및 결과적으로 클러스터 중심들의 개수는 최대 임계치로 제한된다. 일 실시예에서, N은 10보다 작거나 같다. 다른 실시예에서, N은 100보다 작거나 같다. 일 실시예에서, 단계 711은, 공분산 행렬 C의 클러스터들의 고정된 개수로의 감소의 결과로서 대략 실시간 또는 거의 실시간으로 수행되고 고정된 개수의 클러스터들에 기초한 k-d 트리 NN 검색의 결과로 이어진다.
단계 713에서, 단계 709로부터의 제 1 클래스는 단계 711로부터의 제 2 클래스와 비교된다. 제 1 클래스가 제 2 클래스와 동일한 경우, 방법은 단계 715로 이동하여 객체가 제 1 클래스에 할당된다. 제 1 클래스가 제 2 클래스와 동일하지 않은 경우, 방법은 단계 717로 이동한다. 다른 실시예에서, 단계 709에서 객체가 N 개의 클래스 중 어느 것에도 속하지 않는다고 추정하고, 단계 711에서 객체가 N 개의 클래스 중 어느 것에도 속하지 않는다고 추정하면, 방법은 N 개의 클래스의 어디에도 객체를 할당하지 않는다. 일 실시예에서, 상기 방법은 상기 객체가 N 개의 클래스들 중 어느 것에도 속하지 않는다는 것을 디스플레이 상에 출력한다. 다른 실시예에서, 상기 방법은 객체가 N 개의 클래스들 중 어느 것에도 속하지 않는다는 것에 기초하여 디바이스를 동작시킨다.
일 실시예에서, 단계 709 또는 단계 711 중 하나가 객체가 N 개의 클래스들 중 어느 것에도 속하지 않는다고 결론 짓고, 단계 709 또는 단계 711 중 다른 하나가 객체가 N 개의 클래스 중 하나에 속한다고 결론을 내리는 경우, 단계 713은 단계 709 및 711의 분류는 일치하지 않는다고 결론을 내리고, 본 방법은 단계 717로 이동한다. 그러나, 이들 실시예에서, 아래에서 논의되는 바와 같이, 단계 717에서, N 개의 클래스 중 하나에서 객체가 식별된 단계 709 또는 단계 711 중 하나에서 식별된 단일 클래스에 대해서만 가장 가까운 피팅(fit)이 포인트 클라우드와 모델 포인트 클라우드 사이에서 수행된다.
단계 717에서, 포인트 클라우드(600)와, 오직 제 1, 2 클래스에 대한 하나 이상의 미리 결정된 가려진 또는 가려지지 않은 모델 포인트 클라우드들 사이의 가장 가까운 피팅에 기초하여, 각 포인트 클라우드(600)에 대한 제 3 분류 통계가 대략 실시간 또는 거의 실시간으로 계산된다. 다른 N-2 개의 클래스들에 대해서는 고려하지 않는다. 일 실시예에서, 단계 717은 제 1 클래스 및 제 2 클래스에 대한 모델 포인트 클라우드들에 대해서만 가장 가까운 피팅을 제한한 결과로 대략 실시간 또는 거의 실시간으로 수행된다.
이것은, 예를 들어 대부분의 계산을 포함하여, 시간 소모적인 분류기일 수 있는 이 방법에 대해 귀중한 시간을 절약할 수 있는 이점을 제공한다. 계산 횟수는 포인트 클라우드의 포인트들의 개수와 N 개의 클래스 각각을 정의하는 표면들의 개수의 N 배인 모델들의 개수를 곱한 값과 관련이 있다. 일 실시예에서, 제 3 분류 통계는, Besl 1992.에 개시된 바와 같이, 반복적인 가장 가까운 포인트(ICP:Iterative Closest Point) 분류 통계이다. 단계 717은 대략 실시간 또는 거의 실시간으로 어떤 클래스(예를 들어, 제 1 클래스 또는 제 2 클래스)가 포인트 클라우드(600)를 생성하는 객체에 더 나은 피팅인지를 결정하는데 사용된다. 일부 실시예에서, 단계 717에서, 가장 가까운 피팅이 포인트 클라우드(600)와 제 1 및 제 2 클래스에 대한 미리 결정된 모델 포인트 클라우드 사이에서 수행된다.
일부 실시예에서, 단계 717에서, 모델 포인트 클라우드는 제 1 및 제 2 클래스에 대해 획득된다. 일 실시예에서, 모델 포인트 클라우드는 각각의 시점에서 관찰할 수 없는 포인트 클라우드의 부분들을 가려서 획득된다. 도 10a는 일 실시예에 따른, 도 4의 객체의 3D 포인트 클라우드(400)에 기초한 객체의 가려진 모델(1000)의 일례를 나타내는 블록도이다. 이러한 예시적인 실시예에서, 가려진 모델(1002a)은 컵의 손잡이 부분의 정면도상에서 얻어진다. 이 시점에서 관찰할 수 없는 컵 부분(예를 들어, 컵의 먼 측면)은 가려진 모델(1002a)에서 생략된다. 유사하게, 가려진 모델(1002b, 1002c)은 직경이 더 크고 손잡이기 존재하는 상부 근처 그리고 직경이 더 작고 손잡이가 없는 컵의 바닥 근처에서 컵의 림 부분의 평면도상에서 얻어진다. 컵의 이러한 부분들(예 : 컵의 뒷면)은 이러한 시점에서 관찰할 수 없으며 가려진 모델(1002b, 1002c)에서는 생략된다. 유사한 방식으로, 제 1 및 제 2 클래스의 3D 포인트 클라우드를 사용하여, 제 1 및 제 2 클래스의 가려진 모델 포인트 클라우드가 얻어진다. 일부 실시예에서, 가려된 모델 포인트 클라우드는 랜덤하게 회전되고나서 구(shperical) 좌표로 변환되는 객체의 마스터 포인트 클라우드를 사용하여 생성된다. 이 좌표계에서 거리에서의 가장 가까운 포인트가 모든 가장 가까운 각도 패치에 대해 선택되었다. 각 각도 패치는 경험적으로 선택된 범위(예를 들어, 0.001도 x 0.001도)를 가지며, 가능한 가려짐의 인스턴스를 구성하기 위해 다시 데카르트 좌표로 변환된다. 모델(1000)의 서브 모델들은 단계 709 및 711에서 결정된 2 개의 상이한 클래스 중 하나의 클래스가 컵이고 제 2 클래스가 다른 경우, 예를 들어 플래터인 경우, 단계 717에서 사용될 수 있다.
일부 실시예에서, 단계 717에서, 객체가 제 1 또는 제 2 클래스로 분류되어야하는지의 여부를 결정하기 위해, 테스트 입력 포인트 클라우드와 제 1 및 제 2 클래스와 연관된 모델 포인트 클라우드들 사이에서 가장 가까운 피팅이 수행된다 도 10b는, 일 실시예에 따른, 객체의 2D 테스트 포인트 클라우드(1010)의 일예를 도시하는 블록도이다. 2D 포인트 클라우드(1010)는 가장 가까운 피팅을 이용하여, 도 10a의 각각의 모델 포인트 클라우드와 비교될 테스트 입력 포인트 클라우드이다. 2D 포인트 클라우드는 클래스의 각 모델에 가장 잘 피팅되도록 회전되고 변환된다. 도 10c-10e는, 일 실시예에 따른, 도 10b의 2 차원 포인트 클라우드(1010)와 도 10a의 각 가려진 모델(1002a, 1002b, 1002c) 사이의 가장 가까운 피팅의 예를 도시하는 블록도이다. 각각의 가장 가까운 피팅에서, Besl 1992에 개시된 바와 같이, 모델 포인트 클라우드 상의 포인트들과 테스트 입력 포인트 클라우드 상의 포인트들 사이의 최소 거리가 얻어지도록 테스트 입력 포인트 클라우드(예 : 1010)가 상대적으로 회전, 변환 및/또는 스케일링된다. 가장 작은 최소 거리를 갖는 피팅은 가장 가까운 피팅으로 지정된다. 가장 가까운 피팅이 너무 크면, 예를 들어, 포인트 클라우드들 사이의 가장 가까운 포인트들의 최소 비율에 대해, 테스트 입력 포인트 클라우드의 포인트들과 모델 포인트 클라우드의 포인트들 사이의 평균 제곱 거리가 임계 제곱 거리 이상이면, 객체는 클래스에 속하지 않는 것으로 고려된다. 예시적인 실시예에서, 포인트 클라우드들 사이의 가장 가까운 포인트들의 상위 90 %에 대해, 테스트 입력 포인트 클라우드의 포인트들과 모델 클라우드의 포인트들 사이의 평균 제곱 거리가 2cm2 이상인 경우, 객체는 클래스에 속하지 않는 것으로 고려된다.
도 10c의 예시적인 실시예에서, 모델 포인트 클라우드(1002a)와 모델 포인트(1010) 사이의 최적 피팅은 포인트 클라우드들 사이의 상대적으로 큰 평균 거리(또는 평균 제곱근 거리)를 초래한다. 도 10d의 예시적인 실시예에서, 모델 포인트 클라우드(1002b)와 모델 포인트(1010) 사이의 최적 피팅은 포인트 클라우드들 사이의 더 작은 평균 거리 또는 평균 제곱근 거리(도 10c에 비해)를 초래한다. 도 10e의 예시적인 실시예에서, 모델 포인트 클라우드(1002c)와 모델 포인트(1010) 사이의 최적 피팅은 포인트 클라우드들 사이의 최소 평균 또는 평균 제곱근 거리를 초래한다. 이 거리가 허용 가능하게 작다면, 2D 포인트 클라우드(1010)는 컵으로 성공적으로 분류된다. 유사하게, 포인트 클라우드(1010)는, 여러 가려진 서브-모델들을 갖는 플래터와 같이, 단계 711에서 결정된 제 2 클래스의 객체들의 모델에 비교된다. 만약 플래터 서브-모델들의 최적 피팅이 더 큰 평균 또는 평균 제곱근 거리를 가지면, 객체는 플래터가 아닌 컵으로 분류될 것이다.
일 실시예에서, 단계 709 또는 단계 711 중 하나가 객체가 N 개의 클래스들 중 어느 것에도 속하지 않는다고 결론을 내리고, 단계 709 또는 단계 711 중 다른 하나가 객체가 객체가 N 개의 클래스 중 하나에 있다고 결론을 내리는 경우, 단계 717에서 가장 가까운 피팅은, 객체가 N 개의 클래스 중 하나에 있다고 결론 짓는 단계 709 또는 단계 711와 연관된 단일 클래스에 대해서만, 테스트 입력 포인트 클라우드와 모델 포인트 클라우드 사이에서 수행된다. 이들 실시예에서, 가장 작은 평균 또는 평균 제곱 거리가 허용 가능하게 작으면, 객체가 N 개의 클래스 중 하나에 있다고 결론 내리는 단계 709 또는 단계 711과 연관된 단일 클래스와 동일한 분류로 분류된다. 이들 실시예에서, 가장 작은 평균 또는 제곱 평균 제곱 거리가 허용 가능하게 작지 않은 경우, 객체는 N 개의 클래스들 중 어느 것으로도 분류되지 않는다.
단계 719에서, 단계 717에서 어느 클래스가 입력 포인트 클라우드와 가장 피팅되는지 따라, 객체는 제 1 또는 제 2 클래스에 할당된다.
단계 721에서, 객체가 클래스에 할당된 후, 할당된 객체 클래스에 기초하여 장치가 동작한다. 일부 실시예에서, 이는 할당된 클래스 또는 할당된 클래스에 기초한 정보를 나타내는 디스플레이 장치 상에 이미지를 제공하는 것을 포함한다. 일부 실시예에서, 이것은 할당된 객체 클래스를 식별하는 데이터를 장치에 통신하는 것을 포함한다. 다른 실시예에서, 이것은 객체에 대한 궤적를 따라 발사체를 발사하는 것을 포함한다. 예시적인 실시예에서, 발사체는 미사일이다. 일부 실시예에서, 상기 장치는 제어된 차량이며, 상기 객체에 기초하여, 상기 객체와의 충돌을 피하도록 상기 차량이 제어되거나 또는 상기 객체와의 충돌을 피하지 않도록 제어된다.
6. 예시적인 실시예들
이러한 예시적인 실시예들에서, LIDAR 시스템은 동시 상향 및 하향 처프 송신 신호들을 생성하기 위해 상기 예시된 구성요소들을 사용하였다. 이 시스템은 Bozeman의 BLACKMORE SENSORS AND ANALYTICS, INC.TM에서 HRS-3D로 상업적으로 구입할 수 있다.
도 8a는, 일 실시예에 따른, 도 2의 시스템(200), 또는 도 3a 또는 도 3b의 시스템(300)의 실험 환경의 상부 사시도의 예를 도시하는 사진(800)이다. 일 실시예에서, 객체(Objects)(802)는 테스트 랩(Test Lab)(804)의 LIDAR 시스템으로부터 거리(806)만큼 떨어져 있다. 일 실시예에서, 거리(806)는 예를 들어 400 미터(m) 내지 2000 미터(m) 사이이다. 도 8b는 일 실시예에 따른, 도 8a에 도시된 실험 환경에서 사용되는 객체(802)의 예를 도시하는 블록도이다. 이들 객체(802)는 N = 5 관심 대상 객체 클래스를 나타내는, 콘(Cone)(802a), 박스(Box)(802b), 파이프(Pipe)(802c), 권총(Pistol)(802d) 및 박스(Box)(802e)를 포함한다. 임의의 유사도 측정 및 연관된 임계 유사도 값을 사용하여, 이러한 모든 객체에 대해 비유사한 포인트 클라우드는 관심 대상 객체가 아니다. 아래의 표 1은 도 7의 방법(700)을 사용하여 실제 객체 클래스(수직 열)가, 예측된 객체 클래스(수평 행)와 비교되는 행렬을 도시한다. 행의 모든 값의 합계는 100 %이다. 일 실시예에서, 방법(700)은 콘(Cone)의 3D 포인트 클라우드가 100 %의 시간에 콘(Cone) 클래스에 있다고 예측하고; 큐브(Cube)의 3D 포인트 클라우드가 100 %의 시간에 큐브(Cube) 클래스에 있다고 예측하며; 파이프(Pipe)의 3D 포인트 클라우드가 96%의 시간에 파이프(Pipe) 클래스에 있고 4%의 시간에 권총(Pistol) 클래스에 있다고 예측하고; 박스(Box)의 3D 포인트 클라우드가 2%의 시간에 큐브(Cube) 클래스에 있고 2%의 시간에 파이프(Pipe) 클래스에 있으며 96%의 시간에 박스(Box) 클래스에 있다고 예측하며; 그리고 권총(Pistol)의 3D 포인트 클라우드는 1%의 시간에 콘(Cone) 클래스에 있고 10%의 시간에 파이프(Pipe) 클래스에 있으며 89%의 시간에 권총(Pistol) 클래스에 있다고 예측한다.
[표1]
Figure pct00011
도 9a는, 일 실시예에 따른, 객체들의 세트에 대한 포인트 클라우드들의 세트(900)이다. 도 9b는, 일 실시예에 따른 도 9a의 포인트 클라우드들의 세트(900)를 획득하기 위해 사용되는 객체들의 세트(902)의 예를 도시하는 블록도이다. 객체들(902)은 객체들(802)보다 형상 및 크기가 더 유사하다. 예를 들어, 3 개의 장난감 총(902a, 902c, 902g)은 유사하다. 객체들(902)은 장난감 총(902a)(표 2의 "썰매(Sledge)), 박스(902b), 장난감 총(902c)(표 2의 "Mod"), 콘(902d), 파이프(902e), 큐브(902f) 및 장난감 총(902g)(표 2의 "Roto")를 포함한다.
일 실시예에서, 객체들(902)은 도 8a에 도시된 것과 유사한 실험 환경에 위치된다. 아래의 표 2는 도 7의 방법(700)에 따라, 실제 객체 클래스(수직 열)가, 예측된 객체 클래스(수평 행)와 비교되는 매트릭스를 도시한다. 다시 각 행에서 모든 열들의 합이 100 %이다. 일 실시예에서, 방법(700)은 콘(Cone)의 3D 포인트 클라우드는 100 %의 시간에 콘(Cone) 클래스에 있다고 예측하고; 큐브(Cube)의 3D 포인트 클라우드는 100 %의 시간에 큐브(Cube) 클래스에 있다고 예측하며; 파이프(Pipe)의 3D 포인트 클라우드는 100 % 시간에 파이프(Pipe) 클래스에 있다고 예측하고; 모드(Mod) 장난감 총의 3D 포인트 클라우드가 1%의 시간에 큐브(Cube) 클래스, 92%의 시간에 모드(Mod) 클래스, 6%의 시간에 로토(Roto) 클래스, 1%의 시간에 썰매(sledge) 클래스에 있다고 예측하며; 로토(Roto) 장난감 총의 3D 포인트 클라우드는 3%의 시간에 파이프(Pipe) 클래스, 97%의 시간에 로토(Roto) 클래스에 있다고 예측하고; 박스(Box)의 3D 포인트 클라우드는 5%의 시간에 파이프(Pipe) 클래스, 1%의 시간에 모드(Mod) 클래스, 93%의 시간에 박스(Box) 클래스에 그리고 1%의 시간에 썰매(Sledge) 클래스에 있다고 예측하며; 썰매(Sledge) 장난감 총의 3D 포인트 클라우드는 3%의 시간에 파이프(Pipe) 클래스, 10%의 시간에 박스(Box) 클래스에, 그리고 87%의 시간에 썰매(Sledge) 클래스에 있다고 예측한다.
[표2]
Figure pct00012
표 2의 결과에 기초하여, 방법(700)은 크기 및 형태가 보다 유사한 더 도전적인 객체 세트임에도 불구하고 강한 클래스 예측을 유지했다.
7. 연산 하드웨어 개요
도 11은 본 발명의 일 실시예가 구현될 수 있는 컴퓨터 시스템(1100)을 나타내는 블록도이다. 컴퓨터 시스템(1100)은 컴퓨터 시스템(1100)의 다른 내부 및 외부 구성요소 간에 정보를 전달하기 위한 버스(1110)와 같은 통신 메커니즘을 포함한다. 정보는 측정 가능한 현상, 전형적으로는 전압의 물리적 신호로 표현되지만, 다른 실시예에서는 자력, 전자기, 압력, 화학, 분자 원자 및 양자 상호 작용과 같은 현상을 포함한다. 예를 들어, 북 및 남 자기장, 또는 0과 0이 아닌 전압은, 2 진수(비트)의 두 가지 상태(0, 1)를 나타낸다. 다른 현상은 더 높은 베이스의 숫자를 나타낼 수 있다. 측정 전에 여러 개의 동시 양자 상태의 중첩은 양자 비트(큐비트)를 나타낸다. 하나 이상의 숫자들 시퀀스는 숫자 또는 문자에 대한 코드를 나타내는데 사용되는 디지털 데이터를 구성한다. 일부 실시예에서, 아날로그 데이터라 불리는 정보는 특정 범위 내의 측정 가능한 값의 거의 연속으로 표시된다. 컴퓨터 시스템(1100), 또는 그 일부는, 여기에 설명된 하나 이상의 방법 중 하나 이상의 단계를 수행하기 위한 수단을 구성한다.
이진 숫자 시퀀스는 숫자 또는 문자에 대한 코드를 나타내는데 사용되는 디지털 데이터를 구성한다. 버스(1110)는 정보가 버스(1110)에 연결된 장치들 사이에 빠르게 전송될 수 있도록 다수의 병렬 정보 컨턱터일 수 있다. 정보를 처리하기 위한 하나 이상의 프로세서들(1102)이 버스(1110)와 결합된다. 프로세서(1102)는 정보에 대한 동작 집합을 수행한다. 동작 집합은 버스(1110)로부터 정보를 가져와서 버스(1110) 상에 정보를 배치하는 것을 포함한다. 동작 세트는 또한 통상적으로 두 개 이상의 정보 단위를 비교하는 것, 정보 단위의 위치를 이동하는 것 및 두 개 이상의 정보 단위의 결합, 예를 들어 가산 또는 곱셈을 포함한다. 프로세서(1102)에 의해 실행되는 일련의 동작은 컴퓨터 명령을 구성한다.
컴퓨터 시스템(1100)은 또한 버스(1110)에 연결된 메모리(1104)를 포함한다. 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 장치와 같은 메모리(1104)는 컴퓨터 명령을 포함하는 정보를 저장한다. 동적 메모리는 그 안에 저장된 정보가 컴퓨터 시스템(1100)에 의해 변경되도록 한다. RAM은 메모리 어드레스로 불리는 위치에 저장된 정보 단위가 인접한 어드레스의 정보와 독립적으로 저장되고 검색될 수 있게 한다. 메모리(1104)는 또한 프로세서(1102)에 의해 사용되어 컴퓨터 명령의 실행 중에 임시 값을 저장한다. 컴퓨터 시스템(1100)은 또한 컴퓨터 시스템(1100)에 의해 변경되지 않는, 명령들을 포함하는, 정적 정보를 저장하기 위해 버스(1110)에 결합된 판독 전용 메모리(ROM:Read Only Memory)(1106) 또는 다른 정적 저장 장치를 포함한다. 버스(1110)에 연결되, 컴퓨터 시스템(1100)이 턴 오프되거나 그렇지 않으면 전력이 손실되는 경우에도 지속되는, 명령을 포함하는 정보를 저장하기 위한, 자기 디스크 또는 광 디스크와 같은 휘발성(영구) 저장 장치(1108)를 포함할 수 있다.
명령들을 포함하는 정보는, 인간 사용자에 의해 조작되는 영숫자 키를 포함하는 키보드, 또는 센서와 같은, 외부 입력 장치(1112)로부터 프로세서에 의해 사용하기 위해 버스(1110)에 제공된다. 센서는 그 부근의 상태를 검출하고 이러한 검출들을 컴퓨터 시스템(1100)에서 정보를 나타내는데 사용되는 신호와 호환 가능한 신호로 변환한다. 주로 인간과 상호 작용하기 위해 사용되는 버스(1110)에 결합 된 다른 외부 장치는, 이미지를 제공하기 위한 CRT(Cathode Ray Tube) 또는 액정 디스플레이(LCD)와 같은 디스플레이 장치(1114)를 포함하고, 디스플레이(1114)에 표현되는 작은 커서 이미지의 위치를 제어하고 디스플레이(1114)에 표현되는 그래픽 요소들에 연관된 명령을 발행하기 위한, 마우스 또는 트랙볼 또는 커서 방향 키와 같은 포인팅 장치(1116)을 포함한다.
도시된 실시예에서, 주문형 집적 회로(IC)(1120)와 같은 특수 목적 하드웨어는 버스(1110)에 결합된다. 특수 목적 하드웨어는 특별한 목적을 위해 프로세서(1102)에 의해 신속하게 수행되지 않는 동작을 충분히 빠르게 수행하도록 구성된다. 애플리케이션 특정 IC의 예는, 디스플레이(1114)를 위한 이미지를 생성하기 위한 그래픽 가속기 카드, 네트워크를 통해 전송된 메시지를 암호화 및 암호 해독하기 위한 암호화 보드, 음성 인식, 및 하드웨어에 더 효율적으로 구현된 일부 복잡한 일련의 동작을 반복적으로 수행하는 로봇 암 및 의료 스캐닝 장비와 같은 특별한 외부 장치들과의 인터페이스를 포함한다.
컴퓨터 시스템(1100)은 또한 버스(1110)에 연결된 통신 인터페이스(1170)의 하나 이상의 인스턴스를 포함한다. 통신 인터페이스(1170)는 프린터, 스캐너 및 외부 디스크와 같은 자신의 프로세서로 동작하는 다양한 외부 장치에 양방향 통신 커플링을 제공한다 . 일반적으로, 커플링은 자신의 프로세서를 갖는 다양한 외부 장치가 접속되는 로컬 네트워크(1180)에 접속되는 네트워크 링크(1178)와 관련된다. 예를 들어, 통신 인터페이스(1170)는 개인용 컴퓨터상의 병렬 포트 또는 직렬 포트 또는 USB(universal serial bus) 포트일 수 있다. 일부 실시예에서, 통신 인터페이스(1170)는 ISDN(Integrated Services Digital Network) 카드 또는 디지털 가입자 회선(DSL) 카드 또는 대응하는 유형의 전화선에 정보 통신 접속을 제공하는 전화 모뎀이다. 일부 실시예에서, 통신 인터페이스(1170)는 버스(1110) 상의 신호를 동축 케이블을 통한 통신 연결을 위한 신호 또는 광섬유 케이블을 통한 통신 연결을위한 광 신호로 변환하는 케이블 모뎀이다. 또 다른 예로서, 통신 인터페이스(1170)는 이더넷과 같은 호환 가능한 LAN에 데이터 통신 접속을 제공하는 근거리 통신망(LAN) 카드일 수 있다. 무선 링크가 구현될 수도 있다. 라디오, 광 및 적외선 파를 포함하는, 음파 및 전자기파와 같은 반송파는, 와이어 또는 케이블 없이 공간을 통과한다. 신호에는 진폭, 주파수, 위상, 편광 또는 반송파의 다른 특성에서 사람이 만든 변동을 포함한다. 무선 링크의 경우, 통신 인터페이스(1170)는 디지털 데이터와 같은 정보 스트림을 운반하는 적외선 및 광 신호를 포함하는, 전기, 음향 또는 전자기 신호를 송수신한다.
컴퓨터 판독 가능 매체라는 용어는 본 명세서에서 실행을 위한 명령을 포함하여 프로세서(1102)에 정보를 제공하는데 참여하는 임의의 매체를 지칭하는데 사용된다. 이러한 매체는 비휘발성 매체, 휘발성 매체 및 전송 매체를 포함하는 많은 형태를 취할 수 있지만, 이에 한정되는 것은 아니다. 비휘발송 매체는, 예를 들어 저장 장치(1108)와 같은, 광 또는 마그네틱 디스크를 포함한다. 휘발성 매체는 예를 들어 동적 메모리(1104)를 포함한다. 전송 매체는 예를 들어 동축 케이블, 구리선, 광섬유 케이블, 및 라디오, 광 및 적외선 파를 포함하는, 음파 및 전자기파와 같은, 유선 또는 케이블 없이 공간을 통과하는 파를 포함한다. 컴퓨터 판독 가능 저장 매체라는 용어는 전송 매체를 제외하고, 프로세서(1102)에 정보를 제공하는데 참여하는 임의의 매체를 지칭하기 위해 여기에서 사용된다.
컴퓨터 판독 가능 매체의 일반적인 형태는, 예를 들어 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, 콤팩트 디스크 ROM(CD-ROM), 디지털 비디오 디스크(DVD) 또는 다른 광 매체, 펀치 카드, 종이 테이프, 또는 홀 패턴을 갖는 임의의 다른 물리적 매체, RAM, 프로그램 가능 ROM(PROM), 소거 가능 PROM(EPROM), FLASH-EPROM, 또는 다른 메모리 칩 또는 카트리지, 반송파, 또는 컴퓨터가 읽을 수 있는 임의의 다른 매체를 포함한다. 용어 "비일시적 컴퓨터 판독 가능 저장 매체"는 캐리어 웨이브 및 다른 신호를 제외하고, 프로세서(1102)에 정보를 제공하는데 참여하는 임의의 매체를 지칭하기 위해 본 명세서에서 사용된다.
하나 이상의 유형의 매체에서 인코딩된 로직은 컴퓨터 판독 가능 저장 매체상의 프로세서 명령들 및 ASIC (1120)과 같은 특수 목적 하드웨어 중 하나 또는 둘 모두를 포함한다.
네트워크 링크(1178)는 일반적으로 하나 이상의 네트워크를 통해 정보를 사용하거나 처리하는 다른 장치로 정보 통신을 제공한다. 예를 들어, 네트워크 링크(1178)는 로컬 네트워크(1180)를 통해 호스트 컴퓨터(1182) 또는 인터넷 서비스 제공자(ISP)에 의해 운영되는 장비(1184)에 접속을 제공할 수 있다. ISP 장비(1184)는 현재 일반적으로 인터넷(1190)으로 지칭되는 네트워크의 공개적이고 전세계적인 패킷 교환 통신 네트워크를 통해 데이터 통신 서비스를 제공한다. 인터넷에 접속된 서버(1192)로 불리는 컴퓨터는 인터넷을 통해 수신된 정보에 응답하여 서비스를 제공한다. 예를 들어, 서버(1192)는 디스플레이(1114)에서의 프리젠테이션을 위한 비디오 데이터를 나타내는 정보를 제공한다.
본 발명은 여기에 설명된 기술을 구현하기 위한 컴퓨터 시스템(1100)의 사용에 관한 것이다. 본 발명의 일 실시예에 따르면, 이들 기술은 메모리(1104)에 포함 된 하나 이상의 명령의 하나 이상의 시퀀스를 실행하는 프로세서(1102)에 응답하여 컴퓨터 시스템(1100)에 의해 수행된다. 소프트웨어 및 프로그램 코드라고도 하는 이러한 명령은 저장 장치(1108)와 같은 다른 컴퓨터 판독 가능 매체로부터 메모리 (1104)로 판독될 수있다. 메모리(1104)에 포함된 명령들의 시퀀스의 실행은 프로세서(1102)로 하여금 여기에 설명된 방법 단계들을 수행하게 한다. 다른 실시예에서, 주문형 집적 회로(Appication Specific IC)(1120)와 같은 하드웨어는 본 발명을 구현하기 위해 소프트웨어 대신에 또는 소프트웨어와 함께 사용될 수 있다. 따라서, 본 발명의 실시예들은 하드웨어와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
통신 인터페이스(1170)를 통해 네트워크 링크(1178) 및 다른 네트워크를 통해 송신된 신호는 컴퓨터 시스템(1100)으로 정보를 전달한다. 컴퓨터 시스템(1100)은, 여러 네트워크 중에 네트워크(1180, 1190)를 통해, 네트워크 링크(1178)를 통해 그리고 통신 인터페이스(1170)를 통해, 프로그램 코드를 포함하는 정보를 송수신할 수 있다. 인터넷(1190)을 이용한 예에서, 서버(1192)는, 인터넷(1190), ISP 장비(1184), 로컬 네트워크(1180) 및 통신 인터페이스(1170)를 통해, 컴퓨터(1100)로부터 전송된 메시지에 의해 요청된, 특정 애플리케이션을 위한 프로그램 코드를 전송한다. 수신된 코드는 수신될 때 프로세서(1102)에 의해 실행되거나, 나중에 실행하기 위해 저장 장치(1108) 또는 다른 비휘발성 저장 장치에 저장 될 수 있다. 이러한 방식으로, 컴퓨터 시스템(1100)은 반송파상의 신호의 형태로 애플리케이션 프로그램 코드를 얻을 수 있다.
다양한 형태의 컴퓨터 판독 가능 매체는 실행을 위해 프로세서(1102)에 명령 또는 데이터 또는 둘 모두의 하나 이상의 시퀀스를 전달하는데 관련될 수 있다. 예를 들어, 명령 및 데이터는 초기에 호스트(1182)와 같은 원격 컴퓨터의 자기 디스크 상에 운반될 수 있다. 원격 컴퓨터는 명령 및 데이터를 그의 동적 메모리에 로딩하고 모뎀을 사용하여 전화선을 통해 명령 및 데이터를 전송한다. 컴퓨터 시스템(1100)에 국부적인 모뎀은 전화선 상에서 명령 및 데이터를 수신하고 적외선 송신기를 사용하여 명령 및 데이터를 네트워크 링크(1178)로서 작용하는 적외선상의 반송파상의 신호로 변환한다. 적외선(1170)는 적외선 신호로 운반된 명령 및 데이터를 수신하고, 명령 및 데이터를 나타내는 정보를 버스(1110) 상에 위치시킨다. 버스(1110)는 정보를 메모리(1104)로 운반하고, 프로세서(1102)는 명령들과 함께 전송된 데이터의 일부를 이용하여 메모리(1104)로부터 명령을 검색하고 실행한다. 메모리(1104)에 수신된 명령들 및 데이터는 선택적으로 프로세서(1102)에 의한 실행 전 또는 후에 저장 장치(1108) 상에 저장 될 수 있다.
도 12는 본 발명의 일 실시예가 구현 될 수 있는 칩셋(1200)을 도시한다. 칩 셋(1200)은 본 명세서에 설명된 방법의 하나 이상의 단계를 수행하도록 프로그래밍되며, 예를 들어 하나 이상의 물리적 패키지(예, 칩)에 통합된 도 11과 관련하여 설명된 프로세서 및 메모리 컴포넌트를 포함한다. 예로서, 물리적 패키지는, 물리적 강도, 크기 보존, 및/또는 전기적 상호작용의 제한과 같은 하나 이상의 특성을 제공하기 위해 구조 어셈블리(예를 들어, 베이스 보드) 상의 하나 이상의 재료, 구성요소 및/또는 와이어의 배열을 포함한다. 특정 실시예에서 칩셋은 단일 칩으로 구현될 수 있다는 것이 고려된다. 칩셋(1200), 또는 그 일부는, 여기에 설명된 방법의 하나 이상의 단계를 수행하기 위한 수단을 구성한다.
일 실시예에서, 칩셋(1200)은 칩셋(1200)의 구성요소들 사이에서 정보를 전달하기 위한 버스(1201)와 같은 통신 메커니즘을 포함한다. 프로세서(1203)는 명령을 실행하고 예를 들어 메모리(1205)에 저장된 정보를 처리하기 위해 버스(1201)에 연결된다. 프로세서(1203)는 독립적으로 수행하도록 구성된 각각의 코어를 갖는 하나 이상의 프로세싱 코어를 포함할 수 있다. 멀티 코어 프로세서는 단일 물리적 패키지 내에서 다중 처리를 가능하게 한다. 멀티 코어 프로세서의 예로는 2 개, 4 개, 8 개 또는 그 이상의 프로세서 코어를 포함한다. 대안으로 또는 부가적으로, 프로세서(1203)는 명령, 파이프 라이닝 및 멀티 스레딩의 독립적인 실행을 가능하게 하기 위해 버스(1201)를 통해 직렬로 구성된 하나 이상의 마이크로 프로세서를 포함할 수 있다. 프로세서(1203)는 또한 하나 이상의 디지털 신호 프로세서(DSP)(1207) 또는 하나 이상의 주문형 집적 회로(ASIC)(1209)와 같은 특정 프로세싱 기능 및 태스크를 수행하기 위한 하나 이상의 특수 구성요소를 수반할 수 있다.
DSP(1207)는 전형적으로 프로세서(1203)와 독립적으로 실시간으로 실세계 신호(예를 들어, 사운드)를 처리하도록 구성된다. 유사하게, ASIC(1209)은 일반적인 목적 프로세서에 의해 쉽게 수행되지 않는 특수 기능을 수행하도록 구성될 수 있다. 본 명세서에 기술된 본 발명의 기능을 수행하는데 도움이 되는 다른 특수 구성요소들은 하나 이상의 필드 프로그래머블 게이트 어레이(FPGA)(도시되지 않음), 하나 이상의 컨트롤러(도시되지 않음), 또는 하나 이상의 다른 특수 목적 컴퓨터 칩을 포함한다.
프로세서(1203) 및 수반하는 구성요소들은 버스(1201)를 통해 메모리(1205)에 연결된다. 메모리(1205)는 여기에 설명된 방법의 하나 이상의 단계를 수행하도록 실행될 때 실행 가능한 명령을 저장하기 위한 동적 메모리(예를 들어, RAM, 자기 디스크, 기록 가능한 광디스크 등) 및 정적 메모리(예를 들어, ROM, CD-ROM 등) 모두를 포함한다. 메모리(1205)는 여기에 설명된 방법 중 하나 이상의 단계의 실행과 관련되거나 생성된 데이터를 저장한다.
8. 변경, 확장 및 수정
전술한 명세서에서, 본 발명은 특정 실시예를 참조하여 설명되었다. 그러나, 본 발명의 보다 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정 및 변화가 이루어질 수 있음이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기 보다는 예시적인 것으로 간주되어야 한다. 본 명세서 및 청구항 전체에서, 문맥상 달리 요구되지 않는 한, "포함하는" 및 "포함고 있는"과 같은 "포함하는"이라는 단어 및 그 변형은, 임의의 다른 항목, 요소 또는 단계, 또는 항목들, 요소들 또는 단계들의 그룹을 배제하지 않고, 명시된 항목, 요소 또는 단계, 또는 항목들, 요소들 또는 단계들의 그룹의 포함을 의미하는 것으로 이해될 것이다. 또한, 부정확한 관사는, 관사에 의해 수정된 하나 또는 그 이상의 항목, 요소 또는 단계를 나타내는 것으로 이해된다. 본 명세서에 사용된 바와 같이, 문맥에서 달리 명확한 것을 제외하고는, 다른 값의 2 배(2 배 또는 절반) 내에 있으면 그 값은 "대략" 다른 값이다. 예시적인 범위가 주어지지만, 문맥으로부터 달리 명백하지 않는 한, 임의의 포함된 범위는 또한 다양한 실시예에서 의도된다. 따라서, 일부 실시예에서 0 내지 10 범위는 1 내지 4 범위를 포함한다.
9. 참고
Adany, P., C. Allen, 및 R. Hui, “간소화된 호모다인 검출을 이용한 처프 라이더(Chirped Lidar Using Simplified Homodyne Detection),” Jour. Lightwave Tech., v. 27 (16), 2009년 8월 15일..
P.J. Besl 및 N.D. McKay, “3-D 모양들의 등록을 위한 방법(Method for registration of 3-D shapes),” 1992, vol. 1611, pp. 586-606.
2012 IEEE 국제 컨퍼런스, 로보틱스 및 자동화(ICRA : Robotics and Automation)에서 제안된, D. Fehr, A. Cherian, R. Sivalingam, S. Nickolay, V. Moreallas, 및 N. Papanikolopoulos의, “객체 인식을 위한 3D 포인트 클라우드에서의 콤팩트한 공분산 기술서(Compact Covariance descriptors in 3D point clouds for object recognition),”pp. 1793-1798 .
Hui, R., C. Allen, 및 P. Adany의 2010년 6월 22일자 미국 특허 7,742,152의, "FM 처프 레이저 레이더를 위한 코히런트 검출 스킴(Coherent detection scheme for FM Chirped laser RADAR)”.
1997년 8월, 카네기 멜론 대학교, 로보틱스 연구소의, Andrew Johnson, “스핀 이미지:3D 표면 매칭 표면(Spin-Images: A Representation for 3-D Surface Matching),” 박사 학위 논문, 기술.보고서 CMU-RI-TR-97-47,
Kachelmyer, A.L., “레이저 레이더를 이용한 거리-도플러 이미징(Range-Doppler Imaging with a Laser Radar),” 링컨 연구소 저널(The Lincoln Laboratory Journal), v. 3. (1), 1990.
K. Klasing, D. Althoff, D. Wollher 및 M. Buss, “거리 센싱 애플리케이션을 위한 표면 법선 추정 방법의 비교(Comparison of Surface Normal Estimation Methods for Range Sensing Applications),” 2009 IEEE 국제 로보틱스 및 자동화 컨퍼런스(International Conference on Robotics and Automation, Piscataway), Piscataway, NJ, USA, 2009, p. 1977-1982.
H. Salehian, G. Cheng, B.C. Vemuri 및 J. Ho, “SDP 행렬의 스테인 중심의 재귀적 추정 및 그 응용(Recursive Estimation of the Stein Center of SPD Matrices and Its Applications),” 2013 IEEE 국제 컴퓨터 비전 국제 컨퍼런스(IEEE International Conference on Computer Vision (ICCV)), 2013, pp. 1793-1800.
24회 머신 러닝 국제 컨퍼런스(24th International Conference on Machine Learning)에서 진행된, J. Ye의 “최소 제곱 선형 판별 분석(Least Squares Linear Discriminant Analysis),” p. 1087-1093.

Claims (20)

  1. 프로세서상에서 구현되는 방법으로서,
    객체의 외부 표면을 나타내는 3D 포인트 클라우드를 획득하는 단계;
    상기 포인트에서 변환 및 회전 불변 좌표계를 정의하기 위해 상기 3D 포인트 클라우드 상의 포인트에서 표면 법선을 추출하는 단계;
    상기 3D 포인트 클라우드 내의 적어도 하나의 포인트를 정의하기 위해 상기 좌표계에서 적어도 하나의 특징 변수의 값을 추출하는 단계;
    상기 적어도 하나의 특징 변수의 값에 기초하여 상기 3D 포인트 클라우드 내의 상기 적어도 하나의 포인트에 대한 제 1 분류 통계를 계산하는 단계;
    상기 적어도 하나의 특징 변수의 값에 기초하여 상기 3D 포인트 클라우드 내의 상기 적어도 하나의 포인트에 대한 제 2 분류 통계를 계산하는 단계;
    상기 제 1 분류 통계와, 제 1 분류기의 N 개의 클래스들의 세트에 대응하는 N 개의 제 1 분류 통계들의 세트 중 첫 번째 분류 통계 사이의 가장 가까운 매칭을 결정하여 상기 객체가 제 1 클래스에 속하는 것을 추정하는 단계;
    상기 제 2 분류 통계와, 제 2 분류기의 클래스들의 N 개의 세트에 대응하는 제 2 분류 통계들의 세트 중 두 번째 분류 통계 사이의 가장 가까운 매칭를 결정하여 상기 객체가 제 2 클래스에 속하는 것을 추정하는 단계;
    제 1 클래스가 제 2 클래스에 대응하지 않는 경우, 3D 포인트 클라우드와, 제 3 분류기의 오직 제 1 클래스 및 제 2 클래스에 대한 모델 포인트 클라우드들 사이의 가장 가까운 피팅에 기초하여 상기 3D 포인트 클라우드의 적어도 하나의 포인트에 대한 제 3 분류 통계를 계산하는 단계;
    상기 3D 포인트 클라우드를 수신하는 것으로부터 거의 실시간으로 상기 제 3 분류기의 가장 가까운 피팅에 기초하여 상기 제 1 클래스 및 제 2 클래스 중 하나에 상기 객체를 할당하는 단계; 및
    상기 객체가 할당된 하나의 클래스에 기초하여 장치를 동작시키는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 분류 통계는,
    상기 적어도 하나의 특징 변수의 값들의 범위에 걸친 다수의 빈들 각각에서의 상기 3D 포인트 클라우드 내의 다수의 포인트들의 히스토그램을 포함하는 스핀 이미지에 기초하는 것을 특징으로 하는 방법.
  3. 제 2 항에있어서,
    상기 가장 가까운 매칭을 결정하는 단계는,
    상기 스핀 이미지를 각각의 빈에 대한 포인트들의 개수를 포함하는 벡터로 변환하는 단계로서, 상기 벡터의 차원은 빈들의 개수인, 단계;
    상기 제 1 분류 통계로서 상기 클래스들의 세트에 기초하여 상기 빈의 개수로부터 감소된 차원으로 상기 벡터의 차원을 압축하는 단계;
    감소된 차원 벡터와, 컴퓨터 판독 가능 매체로부터 검색된 N 개의 클래스들에 대한 스핀 이미지들의 각각의 세트와 관련된 감소된 차원 벡터들의 사전 설정된 세트 사이의 가장 가까운 이웃을 결정하기 위한 검색을 수행하는 단계; 및
    가장 가까운 이웃인 제 1 클래스와 연관된 감소된 차원 벡터에 기초하여 상기 객체가 제 1 클래스에 속하는 것으로 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 제 2 분류 통계는,
    3D 포인트 클라우드에 대한 상기 특징 변수의 평균으로부터의 하나의 특징 변수의 분산에 기초한 대각선 성분들, 및 3D 포인트 클라우드에 대한 다른 특징 변수들의 각각의 평균으로부터의 다른 특징 변수들의 분산에 기초한 비대각선 성분들을 갖는 행렬을 포함하는 공분산 디스크립터(descriptor)에 기초하는 것을 특징으로 하는 방법.
  5. 제 4 항에 있어서,
    상기 공분산 디스크립터와, 공분산 디스크립터들의 세트 사이의 가장 가까운 매칭을 결정하는 단계는,
    각 개별 클러스터에 대한 클러스터 중심을 포함하고, 각 클러스터 중심에 대한 행렬을 포함하는 공분산 디스크립터를 포함하는, 클래스들의 각 세트에 대응하는 소정의 클러스터들의 세트를, 컴퓨터 판독 가능 매체로부터 검색하는 단계;
    3D 포인트 클라우드의 행렬과 각 클러스터 중심에 대한 행렬 사이의 거리를 계산하는 것에 기초하여 3D 포인트 클라우드의 행렬과 각 클러스터 중심에 대한 행렬 사이의 가장 가까운 이웃의 검색을 수행하는 단계;
    가장 가까운 이웃인 제 2 클래스와 연관된 클러스터 중심에 대한 매트릭스에 기초하여 상기 객체가 제 2 클래스에 속하는 것으로 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서,
    상기 제 3 분류 통계는, 반복적인 가장 가까운 포인트(ICP)에 기초하고, 상기 ICP를 계산하는 단계는,
    3D 포인트 클라우드의 포인트들과 제 1 클래스에 대한 소정의 모델 포인트 클라우드 상의 포인트들 사이에서 제 1 최소 거리가 획득될 때까지 3D 포인트 클라우드와 제 1 클래스에 대한 모델 포인트 클라우드에 대해 회전, 변환 및 스케일링 중 적어도 하나를 수행하는 단계;
    3D 포인트 클라우드의 포인트들과 제 2 클래스에 대한 소정 모델 포인트 클라우드의 포인트들 사이에서 제 2 최소 거리가 획득될 때까지 3D 포인트 클라우드 및 제 2 클래스에 대한 모델 포인트 클라우드에 대해 회전, 변환 및 스케일링 중 적어도 하나를 수행하는 단계; 및
    상기 제 1 최소 거리와 상기 제 2 최소 거리 중 작은 것에 기초하여 상기 가장 가까운 피팅을 계산하는 단계를 포함하는 방법.
  7. 제 6 항에 있어서,
    상기 제 1 및 제 2 클래스의 상기 소정의 모델 포인트 클라우드들은,
    상기 제 1 클래스에 대한 초기 포인트 클라우드 및 상기 제 2 클래스에 대한 초기 포인트 클라우드를 획득하는 단계;
    상기 제 1 클래스에 대한 상기 초기 포인트 클라우드와 상기 제 2 클래스에 대한 상기 초기 포인트 클라우드를 복수의 시점으로 회전시키는 단계;
    가려짐 효과로 인해 관찰되는 각 시점에서의 제 1 클래스에 대한 초기 포인트 클라우드 및 제 2 클래스에 대한 초기 포인트 클라우드의 서브 세트를 결정하는 단계에 의해 방법.
  8. 제 1 항에 있어서,
    상기 표면 법선을 추출하는 단계는,
    상기 3D 포인트 클라우드상의 포인트에 대한 복수의 가장 가까운 이웃들을 결정하는 단계;
    상기 복수의 가장 가까운 이웃들의 최소 분산의 방향을 결정하는 단계; 및
    최소 분산의 방향을 기초로 표면 법선을 근사화하는 단계를 포함하는 방법.
  9. 제 1 항에 있어서,
    N은 약 100 미만인 방법.
  10. 제 1 항에 있어서,
    상기 장치를 동작시키는 단계는,
    디스플레이 상에 이미지를 출력하는 단계 및 상기 객체에 대한 궤적을 따라 발사체를 발사하는 단계 중 적어도 하나를 포함하는 방법.
  11. 제 1 항에 있어서,
    상기 제 1 클래스가 상기 제 2 클래스에 대응하는 경우, 상기 객체를 상기 제 1 클래스에 할당하는 단계를 더 포함하는 방법.
  12. 제 1 항에 있어서,
    상기 할당하는 단계는, 상기 3D 포인트 클라우드를 획득할 때 실시간으로 수행되는 것을 특징으로 하는 방법.
  13. 하나 이상의 명령 시퀀스를 운반하는 컴퓨터 판독 가능 매체로서, 하나 이상의 프로세서에 의한 상기 하나 이상의 명령 시퀀스의 실행은, 상기 하나 이상의 프로세서로 하여금,
    객체의 외부 표면을 나타내는 3D 포인트 클라우드를 획득하는 단계;
    상기 포인트에서 변환 및 회전 불변 좌표계를 정의하기 위해 상기 3D 포인트 클라우드 상의 포인트에서 표면 법선을 추출하는 단계;
    상기 3D 포인트 클라우드 내의 적어도 하나의 포인트를 정의하기 위해 상기 좌표계에서 적어도 하나의 특징 변수의 값을 추출하는 단계;
    상기 적어도 하나의 특징 변수의 값에 기초하여 상기 3D 포인트 클라우드 내의 상기 적어도 하나의 포인트에 대한 제 1 분류 통계를 계산하는 단계;
    상기 적어도 하나의 특징 변수의 값에 기초하여 상기 3D 포인트 클라우드 내의 상기 적어도 하나의 포인트에 대한 제 2 분류 통계를 계산하는 단계;
    상기 제 1 분류 통계와, 제 1 분류기의 N 개의 클래스들의 세트에 대응하는 N 개의 제 1 분류 통계들의 세트 중 첫 번째 분류 통계 사이의 가장 가까운 매칭을 결정하여 상기 객체가 제 1 클래스에 속하는 것을 추정하는 단계;
    상기 제 2 분류 통계와, 제 2 분류기의 클래스들의 N 개의 세트에 대응하는 제 2 분류 통계들의 세트 중 두 번째 분류 통계 사이의 가장 가까운 매칭를 결정하여 상기 객체가 제 2 클래스에 속하는 것을 추정하는 단계;
    제 1 클래스가 제 2 클래스에 대응하지 않는 경우, 3D 포인트 클라우드와, 제 3 분류기의 오직 제 1 클래스 및 제 2 클래스에 대한 모델 포인트 클라우드들 사이의 가장 가까운 피팅에 기초하여 상기 3D 포인트 클라우드의 각 포인트에 대한 제 3 분류 통계를 계산하는 단계;
    상기 3D 포인트 클라우드를 수신하는 것으로부터 거의 실시간으로 상기 제 3 분류기의 가장 가까운 피팅에 기초하여 상기 제 1 클래스 및 제 2 클래스 중 하나에 상기 객체를 할당하는 단계; 및
    상기 객체가 할당된 하나의 클래스에 기초하여 장치를 동작시키는 단계를 수행하도록 하는, 컴퓨터 판독 가능 매체.
  14. 제 13 항에 있어서,
    상기 하나 이상의 프로세서에 의한 상기 하나 이상의 명령 시퀀스의 실행은,
    상기 하나 이상의 프로세서로 하여금, 상기 제 1 클래스가 상기 제 2 클래스에 대응한다면 상기 제 1 클래스에 상기 객체를 할당하는 단계를 더 수행하게 하는 컴퓨터 판독 가능 매체.
  15. 장치에 있어서,
    적어도 하나의 프로세서; 및
    하나 이상의 명령 시퀀스를 포함하는 적어도 하나의 메모리를 포함하고,
    상기 적어도 하나의 메모리 및 상기 하나 이상의 명령 시퀀스는, 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금 적어도,
    객체의 외부 표면을 나타내는 3D 포인트 클라우드를 획득하는 단계;
    상기 포인트에서 변환 및 회전 불변 좌표계를 정의하기 위해 상기 3D 포인트 클라우드 상의 포인트에서 표면 법선을 추출하는 단계;
    상기 3D 포인트 클라우드 내의 적어도 하나의 포인트를 정의하기 위해 상기 좌표계에서 적어도 하나의 특징 변수의 값을 추출하는 단계;
    상기 적어도 하나의 특징 변수의 값에 기초하여 상기 3D 포인트 클라우드 내의 상기 적어도 하나의 포인트에 대한 제 1 분류 통계를 계산하는 단계;
    상기 적어도 하나의 특징 변수의 값에 기초하여 상기 3D 포인트 클라우드 내의 상기 적어도 하나의 포인트에 대한 제 2 분류 통계를 계산하는 단계;
    상기 제 1 분류 통계와, 제 1 분류기의 N 개의 클래스들의 세트에 대응하는 N 개의 제 1 분류 통계들의 세트 중 첫 번째 분류 통계 사이의 가장 가까운 매칭을 결정하여 상기 객체가 제 1 클래스에 속하는 것을 추정하는 단계;
    상기 제 2 분류 통계와, 제 2 분류기의 클래스들의 N 개의 세트에 대응하는 제 2 분류 통계들의 세트 중 두 번째 분류 통계 사이의 가장 가까운 매칭를 결정하여 상기 객체가 제 2 클래스에 속하는 것을 추정하는 단계;
    제 1 클래스가 제 2 클래스에 대응하지 않는 경우, 3D 포인트 클라우드와, 제 3 분류기의 오직 제 1 클래스 및 제 2 클래스에 대한 모델 포인트 클라우드들 사이의 가장 가까운 피팅에 기초하여 상기 3D 포인트 클라우드의 각 포인트에 대한 제 3 분류 통계를 계산하는 단계;
    상기 3D 포인트 클라우드를 수신하는 것으로부터 거의 실시간으로 상기 제 3 분류기의 가장 가까운 피팅에 기초하여 상기 제 1 클래스 및 제 2 클래스 중 하나에 상기 객체를 할당하는 단계; 및
    상기 객체가 할당된 하나의 클래스에 기초하여 장치를 동작시키는 단계를 수행하도록 하는 장치.
  16. 제 15 항에 있어서,
    상기 적어도 하나의 메모리 및 상기 하나 이상의 명령 시퀀스는, 상기 적어도 하나의 프로세서와 함께, 상기 제 1 클래스가 상기 제 2 클래스에 대응한다면, 상기 장치로 하여금 상기 제 1 클래스에 상기 객체를 할당하도록 구성되는 장치.
  17. 시스템으로서,
    제 15 항의 장치;
    송신 신호를 장치 외부로 향하게 하도록 구성되고, 상기 송신 신호에 의해 조명된 객체로부터 후방산란된 리턴 신호를 수신하도록 더 구성된 센서;
    상기 적어도 하나의 메모리 및 상기 하나 이상의 명령 시퀀스는, 상기 적어도 하나의 프로세서와 함께, 상기 프로세서로 하여금 상기 센서로부터 전기 신호를 수신하도록 구성되며,
    상기 3D 포인트 클라우드는 상기 전기 신호에 기초하여 획득되는 것을 특징으로 하는 시스템.
  18. 제 17 항에 있어서,
    상기 센서는, 상기 송신 신호를 지향시키는 레이저 소스와, 상기 리턴 신호를 수신하기 위한 광 검출기를 포함하는 것을 특징으로 하는 시스템.
  19. 장치에 있어서,
    광 주파수 대역의 펄스를 포함하는 광 신호를 제공하도록 구성된 레이저 소스;
    상기 신호를 수신하고 광 송신 신호 및 광 기준 신호를 생성하도록 구성된 스플리터;
    상기 송신 신호를 장치 외부로 향하게 하고, 상기 송신 신호에 의해 조명된 객체로부터 후방산란된 임의의 리턴 신호를 수신하도록 구성된 광 커플러;
    상기 기준 신호 및 상기 리턴 신호를 수신하도록 배치된 광 검출기; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 광 검출기로부터 전기 신호를 수신하는 단계;
    객체의 외부 표면을 나타내는 3D 포인트 클라우드를 획득하는 단계;
    상기 포인트에서 변환 및 회전 불변 좌표계를 정의하기 위해 상기 3D 포인트 클라우드 상의 포인트에서 표면 법선을 추출하는 단계;
    상기 3D 포인트 클라우드 내의 각 포인트를 정의하기 위해 상기 좌표계에서 특징 변수들을 추출하는 단계;
    적어도 하나의 특징 변수에 기초하여 상기 3D 포인트 클라우드 내의 각 포인트에 대한 제 1 분류 통계를 계산하는 단계;
    적어도 하나의 특징 변수에 기초하여 상기 3D 포인트 클라우드 내의 각 포인트에 대한 제 2 분류 통계를 계산하는 단계;
    상기 제 1 분류 통계와, 제 1 분류기의 N 개의 클래스들의 세트에 대응하는 N 개의 제 1 분류 통계들의 세트 중 첫 번째 분류 통계 사이의 가장 가까운 매칭을 결정하여 상기 객체가 제 1 클래스에 속하는 것을 추정하는 단계;
    상기 제 2 분류 통계와, 제 2 분류기의 N 개의 클래스들의 세트에 대응하는 제 2 분류 통계들의 세트 중 두 번째 분류 통계 사이의 가장 가까운 매칭를 결정하여 상기 객체가 제 2 클래스에 속하는 것을 추정하는 단계;
    제 1 클래스가 제 2 클래스에 대응하지 않는 경우, 3D 포인트 클라우드와, 제 3 분류기의 오직 제 1 클래스 및 제 2 클래스에 대한 모델 포인트 클라우드들 사이의 가장 가까운 피팅에 기초하여 상기 3D 포인트 클라우드의 각 포인트에 대한 제 3 분류 통계를 계산하는 단계;
    상기 3D 포인트 클라우드를 수신하는 것으로부터 거의 실시간으로 상기 제 3 분류기의 가장 가까운 피팅에 기초하여 상기 제 1 클래스 및 제 2 클래스 중 하나에 상기 객체를 할당하는 단계; 및
    상기 객체가 할당된 하나의 클래스에 기초하여 장치를 동작시키는 단계를 수행하도록 구성된 장치.
  20. 제 19 항에 있어서,
    상기 프로세서는, 상기 제 1 클래스가 상기 제 2 클래스에 대응한다면, 상기 객체를 상기 제 1 클래스에 할당하도록 더 구성되는, 장치.
KR1020197018575A 2016-11-29 2017-11-21 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템 KR102272801B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217020076A KR102380216B1 (ko) 2016-11-29 2017-11-21 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662427573P 2016-11-29 2016-11-29
US62/427,573 2016-11-29
PCT/US2017/062721 WO2018102190A1 (en) 2016-11-29 2017-11-21 Method and system for classification of an object in a point cloud data set

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020076A Division KR102380216B1 (ko) 2016-11-29 2017-11-21 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190089196A true KR20190089196A (ko) 2019-07-30
KR102272801B1 KR102272801B1 (ko) 2021-07-02

Family

ID=62241893

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217020076A KR102380216B1 (ko) 2016-11-29 2017-11-21 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
KR1020197018575A KR102272801B1 (ko) 2016-11-29 2017-11-21 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
KR1020227009625A KR102443626B1 (ko) 2016-11-29 2017-11-21 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217020076A KR102380216B1 (ko) 2016-11-29 2017-11-21 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227009625A KR102443626B1 (ko) 2016-11-29 2017-11-21 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템

Country Status (6)

Country Link
US (2) US11537808B2 (ko)
EP (2) EP4283252A1 (ko)
JP (2) JP6928414B2 (ko)
KR (3) KR102380216B1 (ko)
CN (2) CN114296093A (ko)
WO (1) WO2018102190A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025364A1 (ko) * 2019-08-02 2021-02-11 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210022016A (ko) * 2019-08-02 2021-03-02 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210084115A (ko) * 2019-12-27 2021-07-07 중앙대학교 산학협력단 3차원 포인트 클라우드 신뢰도 판단 시스템 및 방법
KR102343048B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 점군 데이터 전처리 방법
KR102378892B1 (ko) * 2021-06-17 2022-03-28 주식회사 인피닉 3d 점군 데이터 일괄 처리 방법
KR20220055707A (ko) * 2020-10-27 2022-05-04 건국대학교 산학협력단 의미론적 포인트 클라우드 기반의 객체 추적 장치 및 방법
WO2022187251A1 (en) * 2021-03-01 2022-09-09 Waymo Llc Generating scene flow labels from point clouds using object labels
KR20230114157A (ko) 2022-01-24 2023-08-01 삼성에스디에스 주식회사 이상 검출 방법 및 그 시스템
KR102578113B1 (ko) * 2023-04-10 2023-09-14 전남대학교 산학협력단 3차원 객체 형상 획득 시스템 및 방법

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10036812B2 (en) 2015-06-24 2018-07-31 Blackmore Sensors and Analytics Inc. Method and system for three dimensional digital holographic aperture synthesis
KR102380216B1 (ko) * 2016-11-29 2022-03-28 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
EP3548926B1 (en) 2016-11-30 2024-05-29 Aurora Operations, Inc. Method and system for adaptive scanning with optical ranging systems
KR102254466B1 (ko) 2016-11-30 2021-05-20 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 광학 거리 측정 시스템을 이용한 자동적인 실시간 적응형 스캐닝 방법과 시스템
JP2019537012A (ja) 2016-11-30 2019-12-19 ブラックモア センサーズ アンド アナリティクス インク． ドップラー検出および光チャープ距離検出のドップラー補正のための方法およびシステム
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
US20180350055A1 (en) * 2017-06-01 2018-12-06 Tesla, Inc. Augmented reality feature detection
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
US10534084B2 (en) 2017-07-27 2020-01-14 Blackmore Sensors & Analytics, Llc Method and system for using square wave digital chirp signal for optical chirped range detection
US10935670B2 (en) 2018-03-28 2021-03-02 Psionic, Llc Navigation system for GPS denied environments
WO2019209727A1 (en) 2018-04-23 2019-10-31 Blackmore Sensors and Analytics Inc. Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
US11709270B1 (en) * 2018-06-01 2023-07-25 Cintoo SAS, France Method of processing azimuth, elevation and range data from laser scanning an object
CN108765487B (zh) * 2018-06-04 2022-07-22 百度在线网络技术（北京）有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN110633617B (zh) * 2018-06-25 2023-08-08 苹果公司 使用语义分割的平面检测
US20200055524A1 (en) * 2018-08-20 2020-02-20 Alberto LACAZE System and method for verifying that a self-driving vehicle follows traffic ordinances
US11592524B2 (en) * 2018-11-02 2023-02-28 Waymo Llc Computation of the angle of incidence of laser beam and its application on reflectivity estimation
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
CN111866484B (zh) * 2019-04-30 2023-06-20 华为技术有限公司 点云编码方法、点云解码方法、装置及存储介质
KR20220007177A (ko) * 2019-06-05 2022-01-18 엘지전자 주식회사 음성인식 기기를 위한 지능형 음성인식 모델을 제공하는 방법
CN110781920B (zh) * 2019-09-24 2022-09-16 同济大学 一种室内场景点云部件语义信息的识别方法
CN112630749B (zh) * 2019-09-24 2023-06-09 北京百度网讯科技有限公司 用于输出提示信息的方法和装置
US11536843B2 (en) * 2020-02-08 2022-12-27 The Boeing Company De-jitter of point cloud data for target recognition
US11236990B2 (en) * 2020-02-08 2022-02-01 The Boeing Company De-jitter of point cloud data
KR102444879B1 (ko) * 2020-03-05 2022-09-19 고려대학교 산학협력단 라이다(Lidar)를 이용한 실내 공간의 3차원 모델링 방법
EP3882649B1 (en) * 2020-03-20 2023-10-25 ABB Schweiz AG Position estimation for vehicles based on virtual sensor response
DE102020108473A1 (de) 2020-03-27 2021-09-30 Valeo Schalter Und Sensoren Gmbh Objekterkennung durch ein aktives optisches Sensorsystem
CN111652292B (zh) * 2020-05-20 2022-12-06 贵州电网有限责任公司 一种基于ncs、ms的相似物体实时检测方法及系统
US11710324B2 (en) 2020-06-15 2023-07-25 Toyota Research Institute, Inc. Systems and methods for improving the classification of objects
WO2022009091A1 (en) * 2020-07-08 2022-01-13 Cron Systems Pvt. Ltd. System and method for classification of objects by a body taper detection
DE102020130881A1 (de) 2020-11-23 2022-05-25 Valeo Schalter Und Sensoren Gmbh Empfangssignal-Verarbeitungseinrichtung einer Detektionsvorrichtung zur Überwachung wenigstens eines Überwachungsbereichs, Detektionsvorrichtung und Verfahren zum Betreiben einer Detektionsvorrichtung
DE102021102292A1 (de) 2021-02-02 2022-08-04 Valeo Schalter Und Sensoren Gmbh Empfangseinrichtung eine Detektionsvorrichtung zu Überwachung wenigstens eines Überwachungsbereichs auf Objekte hin, Detektionsvorrichtung, Fahrzeug mit wenigstens einer Detektionsvorrichtung und Verfahren zum Betreiben eines Selektionsvorrichtung
US11287529B1 (en) 2021-06-16 2022-03-29 Aeva, Inc. Techniques for doppler point set registration
CN113408613B (zh) * 2021-06-18 2022-07-19 电子科技大学 一种基于延迟机制的单层图像分类方法
WO2023085466A1 (ko) * 2021-11-12 2023-05-19 주식회사 에스오에스랩 라이다 데이터 처리 방법.
KR102505602B1 (ko) * 2021-11-12 2023-03-03 주식회사 에스오에스랩 라이다 데이터 처리 방법
KR102651012B1 (ko) * 2021-11-24 2024-03-25 (주)스마트레이더시스템 4차원 레이더 신호처리 장치
CN113870422B (zh) * 2021-11-30 2022-02-08 华中科技大学 一种点云重建方法、装置、设备及介质
CN117581112A (zh) * 2021-12-17 2024-02-20 英特尔公司 平衡光电检测器及其方法
US20230375736A1 (en) * 2022-05-23 2023-11-23 Konica Minolta Business Solutions U.S.A., Inc. Autonomous detection of concealed weapons at a distance by sensor fusion
CN114925228A (zh) * 2022-06-20 2022-08-19 广东电网有限责任公司 点云解算的可视化监控方法、装置和计算机设备
US20240004045A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Mitigation of phase noise due to back-scatter in coherent optical sensing
KR102516008B1 (ko) 2022-09-21 2023-03-30 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 복셀 다운 샘플링 방법 및 이를 실행하는 장치
CN115497270B (zh) * 2022-09-22 2024-02-02 杭州图南电子股份有限公司 一种基于大数据动态联动的应急广播预警系统及终端
CN115712298B (zh) * 2022-10-25 2023-05-09 太原理工大学 基于单线激光雷达的机器人在通道中行驶的自主导航方法
WO2024095380A1 (ja) * 2022-11-02 2024-05-10 三菱電機株式会社 点群識別装置、学習装置、点群識別方法、および、学習方法
CN116071550B (zh) * 2023-02-09 2023-10-20 安徽海博智能科技有限责任公司 一种激光雷达灰尘点云过滤方法
CN116883490B (zh) * 2023-05-29 2024-02-27 东莞市捷圣智能科技有限公司 一种定位轨迹纠偏方法和装置
CN117830676A (zh) * 2024-03-06 2024-04-05 国网湖北省电力有限公司 基于无人机的输电线路施工风险识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150122676A (ko) * 2013-02-27 2015-11-02 아리쓰메티카 엘티디 이미지 처리
KR20160026989A (ko) * 2013-06-14 2016-03-09 우버 테크놀로지스, 인크. 객체 움직임의 라이더 기반 분류 기법

Family Cites Families (214)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4099249A (en) 1977-02-22 1978-07-04 The United States Of America As Represented By The Secretary Of The Navy Doppler processing method and apparatus
US4620192A (en) 1983-09-29 1986-10-28 Raytheon Company Continuous wave radar with ranging capability
US4648276A (en) 1984-01-27 1987-03-10 Klepper John R Apparatus for measuring the characteristics of an ultrasonic wave medium
JPS6371674A (ja) 1986-09-16 1988-04-01 Matsushita Electric Ind Co Ltd レ−ザ−測距装置
US4804893A (en) 1987-05-11 1989-02-14 Caterpillar Industrial Inc. Electric braking control
US5075864A (en) 1988-10-03 1991-12-24 Lucas Industries Public Limited Company Speed and direction sensing apparatus for a vehicle
US5223986A (en) 1990-08-09 1993-06-29 Kaman Aerospace Corporation Radiation projecting device
US5231401A (en) 1990-08-10 1993-07-27 Kaman Aerospace Corporation Imaging lidar system
JP2765767B2 (ja) 1991-05-20 1998-06-18 富士通テン株式会社 Ｆｍ−ｃｗレーダ装置
US5227910A (en) 1992-03-27 1993-07-13 Khattak Anwar S High resolution laser beam scanner and method for operation thereof
US5216534A (en) 1992-04-24 1993-06-01 E-Systems, Inc. Read-write head for an optical tape recorder
JPH06148556A (ja) 1992-11-10 1994-05-27 Canon Inc 光走査装置
US7610146B2 (en) 1997-10-22 2009-10-27 Intelligent Technologies International, Inc. Vehicle position determining system and method
US7418346B2 (en) 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
JP3060912B2 (ja) 1995-09-11 2000-07-10 富士通株式会社 回転多面鏡およびその製造方法
US6133871A (en) 1995-10-09 2000-10-17 Snaptrack, Inc. GPS receiver having power management
JP2954871B2 (ja) 1996-03-25 1999-09-27 株式会社先進材料利用ガスジェネレータ研究所 光ファイバセンサ
DE19637616A1 (de) 1996-09-16 1998-03-19 Bosch Gmbh Robert Verfahren zum automatischen Kalibrieren eines Wegsensors und Vorrichtung
US5828585A (en) 1997-01-17 1998-10-27 Delco Electronics Corporation Vehicle speed signal calibration
US5999302A (en) 1997-06-27 1999-12-07 Speedring Systems, Inc. Polygon scanner having a fluid film bearing and active correction of cross-scan and in-scan errors
JP4126114B2 (ja) 1997-07-07 2008-07-30 茂雄 大槻 流体の観測面内ドプラ速度分布から面内流を推定する方法
JP3309067B2 (ja) 1997-09-30 2002-07-29 福田 孝太郎 面内流れの表示方法
JPH11153664A (ja) 1997-09-30 1999-06-08 Sumitomo Electric Ind Ltd 繰り返しパルス光を利用した物体検知装置
US20020140924A1 (en) 1999-01-08 2002-10-03 Richard J. Wangler Vehicle classification and axle counting sensor system and method
JP3422720B2 (ja) 1999-04-13 2003-06-30 富士通株式会社 レーザモジュールおよびこれを備えた光走査装置
GB9909323D0 (en) 1999-04-22 1999-06-16 Thomas Swan & Company Limited Phase modulator
JP2000338244A (ja) 1999-05-28 2000-12-08 Mitsubishi Electric Corp コヒーレントレーザレーダ装置
WO2001055746A1 (en) 2000-01-26 2001-08-02 Instro Precision Limited Optical distance measurement
US6931055B1 (en) 2000-04-18 2005-08-16 Sirf Technology, Inc. Signal detector employing a doppler phase correction system
WO2002008780A2 (en) 2000-07-24 2002-01-31 University Of Kansas Center For Research, Inc. Laser radar system
JP2002249058A (ja) 2001-02-26 2002-09-03 Koyo Seiko Co Ltd 電動パワーステアリング装置
DE10139237A1 (de) 2001-08-09 2003-03-06 Conti Temic Microelectronic Vorrichtung zur Entfernungsmessung
DE10148069A1 (de) 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
JP3729127B2 (ja) 2001-12-13 2005-12-21 株式会社村田製作所 レーダ
US20040034304A1 (en) 2001-12-21 2004-02-19 Chikayoshi Sumi Displacement measurement method and apparatus, strain measurement method and apparatus elasticity and visco-elasticity constants measurement apparatus, and the elasticity and visco-elasticity constants measurement apparatus-based treatment apparatus
US6671595B2 (en) 2002-01-08 2003-12-30 Ford Global Technologies, Llc Vehicle side slip angle estimation using dynamic blending and considering vehicle attitude information
US20040158155A1 (en) 2002-04-01 2004-08-12 Njemanze Philip Chidi Transcranial doppler spectroscopy for assessment of brain cognitive functions
JP2006513399A (ja) 2002-05-29 2006-04-20 ケント・エル・デインズ レーザ出力の周波数変調を用いて速度を測定するためのシステム及び方法
US6871148B2 (en) 2002-07-02 2005-03-22 Battelle Memorial Institute Ultrasonic system and technique for fluid characterization
US7324393B2 (en) 2002-09-24 2008-01-29 Sandisk Corporation Method for compensated sensing in non-volatile memory
EP1576385A2 (en) 2002-11-26 2005-09-21 James F. Munro An apparatus for high accuracy distance and velocity measurement and methods thereof
US20050083513A1 (en) 2002-12-20 2005-04-21 Rogers Philip L. Quadrature processed lidar system
US7222007B2 (en) 2004-01-07 2007-05-22 Ford Global Technologies, Llc Attitude sensing system for an automotive vehicle relative to the road
US7122691B2 (en) 2004-03-30 2006-10-17 Sumitomo Chemical Company, Limited Process for producing compound, catalyst component for addition polymerization, process for producing catalyst for addition polymerization, and process for producing addition polymer
US7486802B2 (en) 2004-06-07 2009-02-03 Ford Global Technologies Llc Adaptive template object classification system with a template generator
US7697748B2 (en) 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
JP2006148556A (ja) 2004-11-19 2006-06-08 Yaskawa Electric Corp モニタデータ取得装置
US7440084B2 (en) 2004-12-16 2008-10-21 Arete' Associates Micromechanical and related lidar apparatus and method, and fast light-routing components
JP5086104B2 (ja) 2005-02-14 2012-11-28 デジタル シグナル コーポレイション レーザレーダシステム、及びチャープされた電磁波を提供するシステム及び方法
US8488967B2 (en) 2005-02-18 2013-07-16 Telcordia Technologies, Inc. System and method for OCDMA-based photonic layer security robustness to archival attack
JP4830311B2 (ja) 2005-02-21 2011-12-07 株式会社デンソー 車載用レーダ装置
CN101151551B (zh) 2005-03-31 2010-10-13 松下电器产业株式会社 扩展频谱式雷达设备
US20060239312A1 (en) 2005-04-23 2006-10-26 Telaris Inc. Semiconductor Lasers in Optical Phase-Locked Loops
US7451033B2 (en) 2005-06-10 2008-11-11 Ford Global Technologies, Llc Lateral and longitudinal velocity determination for an automotive vehicle
US7152490B1 (en) 2005-08-15 2006-12-26 Daniel Measurement And Control, Inc. Methods for determining transducer delay time and transducer separation in ultrasonic flow meters
JP2007155467A (ja) 2005-12-05 2007-06-21 Nidec Sankyo Corp 光ビーム走査装置
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
JP4788365B2 (ja) 2006-02-07 2011-10-05 株式会社富士通ゼネラル リモコン信号受信回路
US7742152B2 (en) * 2006-06-23 2010-06-22 University Of Kansas Coherent detection scheme for FM chirped laser radar
US8174568B2 (en) 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
DE102007001103A1 (de) 2007-01-04 2008-07-10 Siemens Ag Vertikale Ausrichtung eines Lidar-Sensors
WO2008086293A2 (en) 2007-01-05 2008-07-17 Nestor, Inc. A system and method for measuring the speed of vehicles or other objects
US7917039B1 (en) 2007-02-09 2011-03-29 University Of Central Florida Research Foundation, Inc. Signal processing using spectrally phase-encoded optical frequency combs
US7639347B2 (en) 2007-02-14 2009-12-29 Leica Geosystems Ag High-speed laser ranging system including a fiber laser
US7573564B2 (en) 2007-06-26 2009-08-11 The United States Of America As Represented By The Secretary Of The Army Systems for doppler tracking using photonic mixing detectors
US7835054B2 (en) 2007-07-02 2010-11-16 Texas Instruments Incorporated Optical architecture having a rotating polygon for use in imaging systems
US8692979B2 (en) 2008-01-16 2014-04-08 Koninklijke Philips N.V. Laser sensor system based on self-mixing interference
US8494709B2 (en) 2008-02-25 2013-07-23 Mitsubishi Electric Corporation On-vehicle communication device
JP4471018B2 (ja) 2008-04-15 2010-06-02 トヨタ自動車株式会社 無段変速機の制御装置
US9041915B2 (en) 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
JP5629052B2 (ja) 2008-06-03 2014-11-19 日立アロカメディカル株式会社 超音波診断装置
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
WO2010030884A2 (en) 2008-09-11 2010-03-18 Metris Usa, Inc. Compact fiber optic geometry for a counter chirp fmcw coherent laser radar
KR20100037487A (ko) 2008-10-01 2010-04-09 엘지전자 주식회사 차량 네비게이션 방법 및 그 장치
US8437901B2 (en) 2008-10-15 2013-05-07 Deere & Company High integrity coordination for multiple off-road vehicles
EP2425506A2 (en) 2009-04-29 2012-03-07 Montana State University Precise broadband frequency modulated laser
US8882675B2 (en) 2009-07-16 2014-11-11 Hitachi Aloka Medical, Ltd. Methods and apparatus for ultrasound imaging
US8441622B2 (en) 2009-07-28 2013-05-14 Applied Concepts, Inc. Lidar measurement device for vehicular traffic surveillance and method for use of same
US8125622B2 (en) 2009-07-28 2012-02-28 Applied Concepts, Inc. Lidar measurement device with target tracking and method for use of same
WO2011102130A1 (ja) 2010-02-18 2011-08-25 パナソニック株式会社 超音波測定方法および超音波測定装置
JP5402772B2 (ja) 2010-03-25 2014-01-29 株式会社日本自動車部品総合研究所 光レーダ装置
US20110292371A1 (en) 2010-05-28 2011-12-01 Optical Air Data Systems, Llc Method and Apparatus for a Pulsed Coherent Laser Range Finder
US9229106B2 (en) 2010-08-13 2016-01-05 Ryan Dotson Enhancement of range measurement resolution using imagery
US8692980B2 (en) 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
JP5709476B2 (ja) 2010-11-10 2015-04-30 富士通テン株式会社 レーダ装置
KR101760344B1 (ko) 2010-11-24 2017-07-21 에스프린팅솔루션 주식회사 다면경 조립체, 이를 채용한 광주사장치 및 화상형성장치
JP2011044750A (ja) 2010-11-30 2011-03-03 Sanyo Electric Co Ltd 太陽電池モジュール
JP5686342B2 (ja) 2011-01-28 2015-03-18 国立大学法人東北大学 レーザレーダ装置およびレーザ合成開口レーダ装置
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
CN102812380B (zh) 2011-03-09 2016-01-20 株式会社东芝 医用图像处理装置
US20120274922A1 (en) 2011-03-28 2012-11-01 Bruce Hodge Lidar methods and apparatus
US8605998B2 (en) * 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
US9504100B2 (en) 2011-05-31 2016-11-22 Munro Design & Technologies, Llc Selective radiation utilization apparatuses for high-efficiency photobioreactor illumination and methods thereof
CN103620506B (zh) 2011-06-10 2016-11-16 惠普发展公司，有限责任合伙企业 光学扫描装置、系统和方法
US9046909B2 (en) 2011-09-02 2015-06-02 Rambus Inc. On-chip regulator with variable load compensation
TWI435993B (zh) 2011-11-16 2014-05-01 Univ Nat Central Special lamps with light changes
DE102012200139A1 (de) 2012-01-05 2013-07-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur radunabhängigen Geschwindigkeitsmessung bei einem Fahrzeug
US8942012B2 (en) 2012-01-31 2015-01-27 Semiconductor Components Industries, Llc Method of forming a switched mode power supply controller device with an off mode and structure therefor
CN104322060B (zh) 2012-03-28 2017-07-28 英特尔公司 用于深度图的低等待时间变形的系统、方法和装置
GB2501466A (en) 2012-04-02 2013-10-30 Univ Oxford Localising transportable apparatus
US9248725B2 (en) 2012-04-04 2016-02-02 Ford Global Technologies, Llc Panoramic roof module for a vehicle
EP2867611A4 (en) 2012-06-27 2016-12-07 Pentair Water Pool & Spa Inc SWIMMING POOL CLEANER WITH LASER REMOVAL MEASUREMENT SYSTEM AND METHOD THEREFOR
US8831780B2 (en) 2012-07-05 2014-09-09 Stanislav Zelivinski System and method for creating virtual presence
US9007569B2 (en) 2012-08-03 2015-04-14 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Coherent doppler lidar for measuring altitude, ground velocity, and air velocity of aircraft and spaceborne vehicles
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
US9196164B1 (en) 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
US8818609B1 (en) 2012-11-15 2014-08-26 Google Inc. Using geometric features and history information to detect features such as car exhaust in point maps
JP2014115978A (ja) * 2012-11-19 2014-06-26 Ricoh Co Ltd 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
US10180496B2 (en) 2012-11-21 2019-01-15 Nikon Corporation Laser radar with remote local oscillator
US9702972B2 (en) 2012-11-28 2017-07-11 B-K Medical Aps Angle independent velocity spectrum determination
US9048824B2 (en) 2012-12-12 2015-06-02 Intel Corporation Programmable equalization with compensated impedance
US9086273B1 (en) 2013-03-08 2015-07-21 Google Inc. Microrod compression of laser beam in combination with transmit lens
US9618742B1 (en) 2013-03-08 2017-04-11 Google Inc. Rotatable mirror assemblies
WO2014155715A1 (ja) * 2013-03-29 2014-10-02 株式会社日立製作所 物体認識装置および物体認識方法並びにプログラム
EP2806286B1 (en) 2013-05-23 2019-07-10 Veoneer Sweden AB FMCW radar blocking detection
US9683928B2 (en) 2013-06-23 2017-06-20 Eric Swanson Integrated optical system and components utilizing tunable optical sources and coherent detection and phased array for imaging, ranging, sensing, communications and other applications
US9683836B2 (en) 2013-08-09 2017-06-20 Conduent Business Services, Llc Vehicle classification from laser scanners using fisher and profile signatures
CN106489170B (zh) 2013-08-12 2020-03-31 苹果公司 基于视觉的惯性导航
WO2015037173A1 (ja) 2013-09-12 2015-03-19 パナソニック株式会社 レーダ装置、車両及び移動体速度検出方法
TWI510877B (zh) 2013-10-23 2015-12-01 Ind Tech Res Inst 電壓補償電路及其控制方法
US20150130607A1 (en) 2013-11-11 2015-05-14 David MacArthur Rear Brake Light System
JP6146295B2 (ja) 2013-12-26 2017-06-14 株式会社豊田中央研究所 レーダ装置および速度の方向測定方法
KR102185727B1 (ko) 2014-01-28 2020-12-02 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
US10431099B2 (en) 2014-02-21 2019-10-01 FLIR Belgium BVBA Collision avoidance systems and methods
US10422649B2 (en) 2014-02-24 2019-09-24 Ford Global Technologies, Llc Autonomous driving sensing system and method
JP2015172491A (ja) 2014-03-11 2015-10-01 富士通テン株式会社 アンテナ、レーダ装置、および、車両制御システム
JP6222523B2 (ja) 2014-03-11 2017-11-01 日本電気株式会社 移動目標抽出システム、移動目標抽出方法、情報処理装置およびその制御方法と制御プログラム
US9476730B2 (en) 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
JP2015205176A (ja) 2014-04-08 2015-11-19 株式会社トプコン 眼科装置
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9383442B2 (en) 2014-05-12 2016-07-05 Autoliv Asp, Inc. Radar system and method for determining range, relative velocity and bearing of an object using continuous-wave and chirp signals
JP5844430B1 (ja) 2014-06-27 2016-01-20 日立アロカメディカル株式会社 超音波診断装置
US9523766B2 (en) 2014-09-19 2016-12-20 Institut National D'optique Phase error correction in synthetic aperture imaging
WO2016058039A1 (en) 2014-10-17 2016-04-21 Commonwealth Scientific And Industrial Research Organisation Range finding apparatus and system
US10247538B2 (en) 2014-10-29 2019-04-02 Bridger Photonics, Inc. Accurate chirped synthetic wavelength interferometer
WO2016103065A1 (en) 2014-12-23 2016-06-30 Husqvarna Ab Robotic vehicle with adjustable operating area
US9607220B1 (en) 2015-01-08 2017-03-28 Vaas, Inc. Image-based vehicle speed estimation
CN105844328B (zh) 2015-01-15 2021-03-02 开利公司 用于自动试运行人员计数系统的方法和系统
CN107533137A (zh) 2015-01-20 2018-01-02 迪吉伦斯公司 全息波导激光雷达
US10001548B2 (en) 2015-01-23 2018-06-19 Navico Holding As Amplitude envelope correction
CN107257931B (zh) 2015-02-20 2020-09-22 苹果公司 用于光束扫描设备的致动光学元件
US9921299B2 (en) 2015-02-20 2018-03-20 Apple Inc. Dynamic beam spot size for light beam scanning device
US10032370B2 (en) 2015-03-03 2018-07-24 Honda Motor Co., Ltd. Methods and apparatus for enabling mobile communication device based secure interaction from vehicles through motion signatures
US10000000B2 (en) * 2015-03-10 2018-06-19 Raytheon Company Coherent LADAR using intra-pixel quadrature detection
US10168429B2 (en) 2015-04-07 2019-01-01 GM Global Technology Operations LLC Compact LIDAR system
CN104793619B (zh) 2015-04-17 2018-02-09 上海交通大学 基于摆动单线激光雷达的仓库巷道自动引导车导航装置
US10036812B2 (en) 2015-06-24 2018-07-31 Blackmore Sensors and Analytics Inc. Method and system for three dimensional digital holographic aperture synthesis
EP3314707A4 (en) 2015-06-26 2019-02-20 Mezmeriz, Inc. WOVEN SIGNAL BAND WIDTH COMPRESSION METHOD, DEVICE AND APPLICATIONS
EP3118651B1 (de) 2015-07-17 2021-04-21 Hexagon Technology Center GmbH Laufzeitmessvorrichtung und laufzeitmessverfahren mit ambiguitätslösung in echtzeit
US10698089B2 (en) 2015-07-27 2020-06-30 Konica Minolta, Inc. Mirror unit and optical-scanning-type object detection device
US11002856B2 (en) 2015-08-07 2021-05-11 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
CN105425245B (zh) 2015-11-06 2018-02-09 中国人民解放军空军装备研究院雷达与电子对抗研究所 一种基于相干探测的远距离高重频激光三维扫描装置
US10591600B2 (en) 2015-11-30 2020-03-17 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads
US9971148B2 (en) 2015-12-02 2018-05-15 Texas Instruments Incorporated Compact wedge prism beam steering
CN105652282B (zh) 2015-12-29 2018-04-06 电子科技大学 一种激光相位测距模块
CN105629258B (zh) 2016-03-02 2019-03-29 东华大学 基于伪随机码相位调制和外差探测的测速测距系统及方法
WO2017149526A2 (en) 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
CN107193011A (zh) 2016-03-15 2017-09-22 山东理工大学 一种用于快速计算无人驾驶车感兴趣区域内车辆速度的方法
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
KR102259759B1 (ko) 2016-05-13 2021-06-02 한국전자기술연구원 동시 입출력이 가능한 ROIC 구조와 이를 포함하는 Lidar ToF 센서
US10416292B2 (en) 2016-05-24 2019-09-17 Veoneer Us, Inc. Direct detection LiDAR system and method with frequency modulation (FM) transmitter and quadrature receiver
US10330778B2 (en) 2016-06-03 2019-06-25 Nokia Of America Corporation Coherent lidar system using tunable carrier-suppressed single-sideband modulation
US10267915B2 (en) 2016-06-07 2019-04-23 Raytheon Company Optical system for object detection and location
KR20170138648A (ko) 2016-06-08 2017-12-18 엘지전자 주식회사 차량용 라이다 장치 및 차량
MY195651A (en) 2016-10-04 2023-02-03 Nissan Motor Parking Control Method And Parking Control Device
EP3523675A4 (en) 2016-10-06 2020-06-24 GM Global Technology Operations LLC LIDAR SYSTEM
US20190154835A1 (en) 2016-10-06 2019-05-23 GM Global Technology Operations LLC Lidar system
US11675078B2 (en) 2016-10-06 2023-06-13 GM Global Technology Operations LLC LiDAR system
TWI594102B (zh) 2016-11-03 2017-08-01 緯創資通股份有限公司 電壓調節電路及其控制方法
US11010615B2 (en) 2016-11-14 2021-05-18 Lyft, Inc. Rendering a situational-awareness view in an autonomous-vehicle environment
KR20180058068A (ko) 2016-11-23 2018-05-31 전자부품연구원 360도 다채널 스캐닝이 가능한 미러 회전 방식의 광학 구조 및 이를 포함하는 3d 라이다 시스템
KR102380216B1 (ko) * 2016-11-29 2022-03-28 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
JP2019537012A (ja) 2016-11-30 2019-12-19 ブラックモア センサーズ アンド アナリティクス インク． ドップラー検出および光チャープ距離検出のドップラー補正のための方法およびシステム
KR102254466B1 (ko) 2016-11-30 2021-05-20 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 광학 거리 측정 시스템을 이용한 자동적인 실시간 적응형 스캐닝 방법과 시스템
EP3548926B1 (en) 2016-11-30 2024-05-29 Aurora Operations, Inc. Method and system for adaptive scanning with optical ranging systems
JP7069447B2 (ja) 2016-12-16 2022-05-18 バラハ ピーティーワイ リミテッド 環境の空間プロファイルの推定
US10942257B2 (en) 2016-12-31 2021-03-09 Innovusion Ireland Limited 2D scanning high precision LiDAR using combination of rotating concave mirror and beam steering devices
DE102017200692B4 (de) 2017-01-17 2022-08-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Omnidirektionale Beleuchtungsvorrichtung und Verfahren zum Abtasten eines Raumwinkelbereichs
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
TWI626521B (zh) 2017-02-17 2018-06-11 旺宏電子股份有限公司 低壓差穩壓裝置及其操作方法
TWI630469B (zh) 2017-03-03 2018-07-21 Faraday Technology Corporation 電壓調整器
US20180276986A1 (en) 2017-03-22 2018-09-27 Toyota Research Institute, Inc. Vehicle-to-human communication in an autonomous vehicle operation
US11022688B2 (en) 2017-03-31 2021-06-01 Luminar, Llc Multi-eye lidar system
US10677897B2 (en) 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
CN107015238A (zh) 2017-04-27 2017-08-04 睿舆自动化（上海）有限公司 基于三维激光雷达的无人车自主定位方法
KR20180126927A (ko) 2017-05-19 2018-11-28 정종택 8채널형 라이다
JP6821510B2 (ja) 2017-05-30 2021-01-27 あおみ建設株式会社 水中音響測位システム及び方法
EP3649616A4 (en) 2017-07-05 2021-04-07 Fastbrick IP Pty Ltd POSITION AND ORIENTATION TRACKER IN REAL TIME
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
US10534084B2 (en) 2017-07-27 2020-01-14 Blackmore Sensors & Analytics, Llc Method and system for using square wave digital chirp signal for optical chirped range detection
US11067993B2 (en) 2017-08-25 2021-07-20 Magna Electronics Inc. Vehicle and trailer maneuver assist system
EP3682308B1 (en) 2017-09-15 2024-04-10 Aeye, Inc. Intelligent ladar system with low latency motion planning updates
US10890919B2 (en) 2017-09-22 2021-01-12 Waymo Llc Calculating velocity of an autonomous vehicle using radar technology
JP7117092B2 (ja) 2017-09-25 2022-08-12 株式会社トプコン レーザ測定方法及びレーザ測定装置
US11415675B2 (en) 2017-10-09 2022-08-16 Luminar, Llc Lidar system with adjustable pulse period
CN207318710U (zh) 2017-11-02 2018-05-04 厦门市和奕华光电科技有限公司 一种单激光器多线束混合激光雷达
US11644834B2 (en) 2017-11-10 2023-05-09 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US10310058B1 (en) 2017-11-22 2019-06-04 Luminar Technologies, Inc. Concurrent scan of multiple pixels in a lidar system equipped with a polygon mirror
US10451716B2 (en) 2017-11-22 2019-10-22 Luminar Technologies, Inc. Monitoring rotation of a mirror in a lidar system
US10481269B2 (en) 2017-12-07 2019-11-19 Ouster, Inc. Rotating compact light ranging system
US10906536B2 (en) 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
WO2019209727A1 (en) 2018-04-23 2019-10-31 Blackmore Sensors and Analytics Inc. Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
JP7167185B2 (ja) 2018-05-08 2022-11-08 コンチネンタル オートモーティブ システムズ インコーポレイテッド 視覚物体追跡装置
WO2019225965A1 (en) 2018-05-24 2019-11-28 Samsung Electronics Co., Ltd. Lidar device
KR102664391B1 (ko) 2018-08-07 2024-05-08 삼성전자주식회사 광 스캐너 및 이를 포함하는 라이다 시스템
TWI671983B (zh) 2018-08-08 2019-09-11 華邦電子股份有限公司 電壓調節器及動態洩流電路
WO2020033161A1 (en) 2018-08-10 2020-02-13 Blackmore Sensors & Analytics, Llc Method and system for scanning of coherent lidar with fan of collimated beams
WO2020062301A1 (zh) 2018-09-30 2020-04-02 深圳市大疆创新科技有限公司 距离探测装置
US11460662B2 (en) 2018-11-02 2022-10-04 Waymo Llc Mirror coupling
US11520139B2 (en) 2020-04-20 2022-12-06 Lockheed Martin Corporation Rotating steering mirror and methods, assemblies, and systems thereof
US20220260686A1 (en) 2021-02-16 2022-08-18 Innovusion Ireland Limited Attaching a glass mirror to a rotating metal motor frame

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150122676A (ko) * 2013-02-27 2015-11-02 아리쓰메티카 엘티디 이미지 처리
KR20160026989A (ko) * 2013-06-14 2016-03-09 우버 테크놀로지스, 인크. 객체 움직임의 라이더 기반 분류 기법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025364A1 (ko) * 2019-08-02 2021-02-11 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210022016A (ko) * 2019-08-02 2021-03-02 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210084115A (ko) * 2019-12-27 2021-07-07 중앙대학교 산학협력단 3차원 포인트 클라우드 신뢰도 판단 시스템 및 방법
KR20220055707A (ko) * 2020-10-27 2022-05-04 건국대학교 산학협력단 의미론적 포인트 클라우드 기반의 객체 추적 장치 및 방법
WO2022187251A1 (en) * 2021-03-01 2022-09-09 Waymo Llc Generating scene flow labels from point clouds using object labels
KR102343048B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 점군 데이터 전처리 방법
KR102378892B1 (ko) * 2021-06-17 2022-03-28 주식회사 인피닉 3d 점군 데이터 일괄 처리 방법
KR20230114157A (ko) 2022-01-24 2023-08-01 삼성에스디에스 주식회사 이상 검출 방법 및 그 시스템
KR102578113B1 (ko) * 2023-04-10 2023-09-14 전남대학교 산학협력단 3차원 객체 형상 획득 시스템 및 방법

Also Published As

Publication number Publication date
JP2019536035A (ja) 2019-12-12
US11921210B2 (en) 2024-03-05
US20230049376A1 (en) 2023-02-16
KR20220039855A (ko) 2022-03-29
EP3548840A4 (en) 2020-07-15
KR20210082281A (ko) 2021-07-02
WO2018102190A1 (en) 2018-06-07
CN114296093A (zh) 2022-04-08
KR102272801B1 (ko) 2021-07-02
EP4283252A1 (en) 2023-11-29
EP3548840B1 (en) 2023-10-11
EP3548840A1 (en) 2019-10-09
CN110168311B (zh) 2021-12-17
US20190370614A1 (en) 2019-12-05
JP2021181998A (ja) 2021-11-25
JP6928414B2 (ja) 2021-09-01
JP7252285B2 (ja) 2023-04-04
CN110168311A (zh) 2019-08-23
KR102380216B1 (ko) 2022-03-28
US11537808B2 (en) 2022-12-27
KR102443626B1 (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
KR102380216B1 (ko) 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
Hong et al. Radarslam: Radar based large-scale slam in all weathers
Zermas et al. Fast segmentation of 3d point clouds: A paradigm on lidar data for autonomous vehicle applications
Rapp et al. A few photons among many: Unmixing signal and noise for photon-efficient active imaging
Benedek et al. Positioning and perception in LIDAR point clouds
Gronwall et al. Ground target recognition using rectangle estimation
Weinmann et al. Preliminaries of 3D point cloud processing
Ullrich et al. Noisy lidar point clouds: impact on information extraction in high-precision lidar surveying
Grönwall et al. Spatial filtering for detection of partly occluded targets
Lee et al. Tracking random finite objects using 3D-LIDAR in marine environments
Suzuki et al. Model-based vehicle position estimation using millimeter wave radar
Li Decomposition of airborne laser scanning waveform data based on EM algorithm
EP3757943B1 (fr) Procédé et dispositif de télémétrie passive par traitement d'image et utilisation de modeles en trois dimensions
US20240111051A1 (en) Use of lidar for intelligent space management
US20220358664A1 (en) Method and Device for Passive Ranging by Image Processing
Joshi et al. A Two-Layer Connected Component Algorithm for Target Extraction Using K-means and Morphology
Cai et al. Occluded boundary detection for small-footprint groundborne LIDAR point cloud guided by last echo
Kang et al. Simultaneous estimation of rotation velocity and center for ISAR cross-range scaling
Abdulqadir et al. Distance Measurement Using Dual Laser Source and Image Processing Techniques
Grönwall et al. Threat detection and tracking using 3D FLASH ladar data
Zhou et al. Analysis of data and model accuracy requirements for target classification using ladar data
Shojaeipour et al. Laser-pointer rangefinder between mobile robot and obstacles via webcam based
Hu et al. Target Detection and Location Using a Laser Imaging System
Cullen et al. Laser radar array used for improving image analysis algorithms
Kitchin et al. Processing and registration of range images from time of flight laser systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant