KR102284565B1 - 포인트 클라우드에서의 모션 기반 부정확성의 정정 - Google Patents

포인트 클라우드에서의 모션 기반 부정확성의 정정 Download PDF

Info

Publication number
KR102284565B1
KR102284565B1 KR1020207000421A KR20207000421A KR102284565B1 KR 102284565 B1 KR102284565 B1 KR 102284565B1 KR 1020207000421 A KR1020207000421 A KR 1020207000421A KR 20207000421 A KR20207000421 A KR 20207000421A KR 102284565 B1 KR102284565 B1 KR 102284565B1
Authority
KR
South Korea
Prior art keywords
scanning
point
point cloud
motion model
target object
Prior art date
Application number
KR1020207000421A
Other languages
English (en)
Other versions
KR20200015722A (ko
Inventor
천 리
루 마
Original Assignee
에스지 디제이아이 테크놀러지 코., 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스지 디제이아이 테크놀러지 코., 엘티디 filed Critical 에스지 디제이아이 테크놀러지 코., 엘티디
Publication of KR20200015722A publication Critical patent/KR20200015722A/ko
Application granted granted Critical
Publication of KR102284565B1 publication Critical patent/KR102284565B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G06K9/00201—
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06K2209/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Abstract

스캐닝 플랫폼에 의해 운반된 하나 이상의 센서에 의해 생성된 포인트 클라우드에서 모션 기반 부정확성의 정정 그리고 연관 시스템 및 방법이 개시된다. 대표적인 방법은 모션 모델을 포인트 클라우드의 타깃 객체와 연관시키는 단계, 모션 모델에 기반하여 조정 팩터를 추정하는 단계, 및 조정 팩터를 사용하여 포인트 클라우드에서 스캐닝 포인트를 조정하는 단계를 포함한다.

Description

포인트 클라우드에서의 모션 기반 부정확성의 정정
본 기술은 일반적으로 예를 들어 스캐닝 플랫폼에 의해 운반되는 하나 이상의 이미터(emitter)/검출기(detector) 센서(예를 들어, 레이저 센서)에 의해 생성된, 포인트 클라우드(point cloud)에서의 모션 기반 부정확성(motion-based inaccuracy)의 정정(correction)에 관한 것이다.
스캐닝 플랫폼의 주변 환경은 일반적으로 하나 이상의 이미터/검출기 센서를 사용하여 스캐닝되거나 검출될 수 있다. LiDAR 센서와 같은 이미터/검출기 센서는 일반적으로 펄스 신호(예를 들어, 레이저 신호)를 외부로 전송하고 펄스 신호 반사를 검출하며, 환경에서 3차원 정보(예를 들어, 레이저 스캐닝 포인트)를 식별하여 객체(object) 검출 및/또는 인식(recognition)을 용이하게 한다. 일반적인 이미터/검출기 센서는 짧은 기간에 걸쳐 축적된 3차원 지오메트리(geometry) 정보(예를 들어, 센서 또는 스캐닝 플랫폼과 연관된 3차원 좌표계로 표현된 스캐닝 포인트)를 제공할 수 있다. 객체의 위치와 관련하여 획득된 정보는 환경에서 보행자, 차량 및/또는 다른 객체를 검출하는 프로세스를 용이하게 할 수 있으며, 이에 따라 자동화 또는 보조의 네비게이션(navigation) 작동(operation)에서 타깃 추적, 장애물 회피, 경로 계획 및/또는 다른 애플리케이션의 베이스(base)를 제공한다. 그러나 스캐닝 포인트의 누적으로 인해 부정확성은 적어도 부분적으로 존재하며, 이는 다양한 높은 레벨의 애플리케이션에 영향을 줄 수 있다. 따라서, 개선된 감지(sensing) 기술 및 디바이스에 대한 요구가 남아 있다.
다음의 요약은 독자의 편의를 위해 제공되며 개시된 기술의 몇몇 대표적인 실시 예를 식별한다.
일부 실시 예에서, 스캐닝 플랫폼에 의해 운반되는 적어도 하나의 스캐닝 유닛을 사용하여 생성된 포인트 클라우드(point cloud)를 조정(adjusting)하기 위한 컴퓨터로 구현된 방법으로서, 상기 방법은, 기간(period of time) 동안 상기 스캐닝 유닛에 의해 생성되는 복수의 스캐닝 포인트를 포함하는 베이스(base) 포인트 클라우드를 획득하는 단계를 포함하며, 상기 스캐닝 포인트 각각은 타깃 객체의 적어도 한 부분(portion)의 위치를 지시하고(indicate), 상기 타깃 객체는 모션 모델과 연관된다. 상기 방법은, 상기 모션 모델에 적어도 부분적으로 기반하여 상기 스캐닝 포인트에 적용가능한 하나 이상의 조정 팩터를 결정하는 단계 및 상기 하나 시아의 조정 팩터에 적어도 부분적으로 기반하여 상기 스캐닝 포인트의 적어도 하나의 서브세트를 변환하는 단계를 더 포함한다.
일부 실시 예에서, 상기 적어도 2개의 스캐닝 포인트에 의해 지시되는 위치는 상이한 시점에 대응한다. 일부 실시 예에서, 상기 적어도 2개의 스캐닝 포인트에 의해 지시되는 위치는 상기 타깃 객체의 상이한 위치에 대응한다. 일부 실시 예에서, 상기 스캐닝 포인트는 상기 스캐닝 유닛 또는 상기 스캐닝 플랫폼과 연관된 3차원 기준 시스템(three-dimensional reference system) 내에서 표현된다(represent). 일부 실시 예에서, 상기 모션 모델은 병진 모션 컴포넌트 및/또는 회전 모션 컴포넌트를 포함한다. 일부 실시 예에서, 상기 병진 모션 컴포넌트는 일정한 병진 속도 팩터(constant translational speed factor)를 포함한다. 일부 실시 예에서, 상기 모션 모델은 회전 모션 컴포넌트를 포함한다. 일부 실시 예에서, 상기 회전 모션 컴포넌트는 일정한 회전 속도 팩터를 포함한다.
일부 실시 예에서, 상기 하나 이상의 조정 팩터를 결정하는 단계는, 상기 스캐닝 포인트와 관련된 볼륨에 적어도 부분적으로 기반하여 포인트 클라우드 측정을 평가하는 단계를 포함한다. 일부 실시 예에서, 상기 포인트 클라우드 측정을 평가하는 단계는, 상기 모션 모델을 상기 스캐닝 포인트에 적용하는 단계 및 상기 모션 모델의 적용에 따라 타깃 시점에서 상기 스캐닝 포인트에 의해 점유된 최소 수량의 볼륨 픽셀(volume pixel)을 검색하는 단계를 포함한다. 일부 실시 예에서, 상기 포인트 클라우드 측정을 평가하는 단계는, 상기 모션 모델을 상기 스캐닝 포인트에 적용하는 단계 및 상기 모션 모델의 적용에 따라 타깃 시점에서 상기 스캐닝 포인트에 의해 둘러싸인(enclosed) 최소화된 볼륨을 검색하는 단계를 포함한다.
일부 실시 예에서, 상기 타깃 시점은 상기 기간의 끝(end)에 대응한다. 일부 실시 예에서, 상기 하나 이상의 조정 팩터는 병진 속도(translational velocity) 또는 회전 속도(rotational speed) 중 적어도 하나를 포함한다. 일부 실시 예에서, 상기 스캐닝 포인트의 적어도 하나의 서브 세트를 변환하는 단계는, 상기 적어도 하나의 조정 팩터에 적어도 부분적으로 기반하여 상기 서브 세트의 각각의 스캐닝 포인트를 재배치(relocate)하는 단계를 포함한다. 일부 실시 예에서, 각각의 스캐닝 포인트를 재배치하는 것은, 상기 스캐닝 포인트가 생성된 시점과 후속 타깃 시점(subsequent target timepoint) 사이의 스캐닝 포인트와 연관된 움직임(movement)에 적어도 부분적으로 기반한다. 일부 실시 예에서, 상기 타깃 객체와 상기 스캐닝 플랫폼 사이의 상대 거리는 상기 기간 동안 변한다.
일부 실시 예에서, 상기 스캐닝 플랫폼은 UAV(unmanned aerial vehicle), 유인 항공기(manned aircraft), 자율 주행 차(autonomous car), 자가 평형 차량(self-balancing vehicle), 로봇, 스마트 웨어러블 디바이스, VR(virtual reality) 헤드 마운트 디스플레이 또는 AR(augmented reality) 헤드 마운트 디스플레이 중 적어도 하나를 포함한다. 일부 실시 예에서, 상기 방법은, 상기 조정된 포인트 클라우드에 적어도 부분적으로 기반하여 상기 타깃 객체를 위치시키는 단계를 더 포함한다.
전술한 방법들 중 임의의 방법은, 실행될 때 스캐닝 플랫폼과 연관된 하나 이상의 프로세서가 대응하는 액션(action)을 수행하게 하는 컴퓨터 실행 가능 명령을 저장하는 비 일시적 컴퓨터 판독 가능 매체를 통해, 또는 차량의 하나 이상의 모션을 적어도 부분적으로 제어하고, 대응하는 액션을 수행하도록 구성된 하나 이상의 프로세서를 포함하는 프로그래밍된 컨트롤러를 포함하는 차량을 통해 구현될 수 있다.
도 1a는 병진 및 회전 모션(translational and rotational motion) 기반 부정확성을 모두 포함하는 타깃 차량의 예시적인 포인트 클라우드를 도시한다.
도 1b는 모션 기반 부정확성이 없는 도 1a의 타깃 차량의 예시적인 포인트 클라우드를 도시한다.
도 2는 본 개시된 기술(the presently disclosed technology)의 일부 실시 예에 따라 베이스 포인트 클라우드를 생성하고 모션 기반 부정확성을 정정하는 프로세스를 도시한다.
도 3은 본 개시된 기술의 일부 실시 예에 따라 모션 모델에 기반하여 스캐닝 포인트를 재배치하는(relocating) 프로세스를 도시한다.
도 4는 균일한 모션 모델(들)이 사용되는 본 개시된 기술의 일부 실시 예에 따라 에러(error)를 결정하는 프로세스를 도시한다.
도 5는 본 개시된 기술의 일부 실시 예에 따른 포인트 클라우드에서 모션 기반 부정확성의 정정 방법을 나타내는 흐름도이다.
도 6은 본 개시된 기술의 다양한 실시 예에 따라 구성된 스캐닝 플랫폼의 예를 도시한다.
도 7은 본 개시된 기술의 다양한 부분을 구현하는데 활용될 수 있는 컴퓨터 시스템 또는 다른 제어 디바이스(700)를 위한 아키텍처의 예를 도시하는 블록도이다.
1. 개요
이미터/검출기 센서(들)(예를 들어, LiDAR 센서)를 사용하여 객체를 스캔닝할 때, 스캔닝된 객체와 센서(들)(예를 들어, 모바일 스캐닝 플랫폼에 의해 운반됨) 사이의 상대적인 움직임(movement)은 일정 기간에 걸쳐 누적된 스캐닝 포인트를 포함하는 3차원(hree-dimensional, 3D) 포인트 클라우드에서 부정확성(예를 들어, 번짐(smearing) 또는 흐림(blurring))을 야기시킬 수 있다. 부정확한 스캐닝 포인트는 객체(또는 그 일부)의 실제 위치를 반영하지 않기 때문에, 3D 포인트 클라우드에 기반하여 재구성된 객체는 부정확할 수 있어서, 객체 추적, 장애물 회피 등과 같은 높은 레벨의 애플리케이션에 영향을 미친다. 본 개시된 기술은 입력으로서 종래의 3D 포인트 클라우드를 사용하고, 움직이는 객체의 스캐닝 결과를 분석하며, 모션 모델(들)에 따라 모션 기반 부정확성을 정정할 수 있다. 본 개시된 기술에 기반하여 생성된 정정 또는 조정된 포인트 클라우드는 효율적이고 정확한 객체 검출 또는 인식을 용이하게 할 수 있어서, 자동화 또는 보조 네비게이션 프로세스에서 다양한 애플리케이션에 대한 신뢰할 수 있는 베이스를 제공한다.
잘 알려져 있고, 스캐닝 플랫폼(예를 들어, UAV 또는 다른 유형의 이동 가능한 플랫폼) 그리고 대응하는 시스템 및 서브 시스템과 종종 연관되지만, 본 개시된기술의 일부 중요한 측면을 불필요하게 모호하게 할 수 있는 구조 및/또는 프로세스를 설명하는 몇몇 세부 사항은, 명확성을 위해 다음의 설명에서 설명되지 않는다. 더욱이, 이하의 개시가 본 개시된 기술의 상이한 측면의 몇몇 실시 예를 제시하지만, 몇몇 다른 실시 예는 여기에 기재된 것과 상이한 구성 또는 상이한 컴포넌트(component)를 가질 수 있다. 따라서, 본 개시된 기술은 추가 엘리먼트를 갖는 및/또는 도 1 내지 도 7을 참조하여 아래에 설명된 몇가지 엘리먼트들이 없는 다른 실시 예들을 가질 수 있다.
도 1 내지 7은 본 개시된 기술의 대표적인 실시 예를 도시하기 위해 제공된다. 달리 제시되지 않는 한, 도면은 본 출원의 청구 범위의 범위를 제한하려는 것이 아니다.
이하에서 설명되는 기술의 많은 실시 예는 프로그램 가능 컴퓨터 또는 컨트롤러에 의해 실행되는 루틴(routine)을 포함하는, 컴퓨터 또는 컨트롤러 실행 가능 명령의 형태를 취할 수 있다. 프로그램 가능한 컴퓨터 또는 컨트롤러는 대응하는 스캐닝 플랫폼 상에 상주하거나 상주하지 않을 수 있다. 예를 들어, 프로그램 가능 컴퓨터 또는 컨트롤러는 스캐닝 플랫폼의 온보드(onboard) 컴퓨터, 또는 스캐닝 플랫폼과 연관된 별도의 전용 컴퓨터, 또는 네트워크 또는 클라우드 기반 컴퓨팅 서비스의 일부일 수 있다. 관련 기술 분야의 통상의 기술자는 이 기술이 아래에 도시되고 설명된 것 이외의 컴퓨터 또는 컨트롤러 시스템에서 실시될 수 있다는 것을 이해할 것이다. 이 기술은 아래에 설명된 하나 이상의 컴퓨터 실행 가능 명령을 수행하도록 프로그래밍되고, 구성되고 또는 조립되는(constructed) 특수 목적 컴퓨터 또는 데이터 프로세서로 구현될 수 있다. 따라서, 여기서 일반적으로 사용되는 "컴퓨터" 및 "컨트롤러"라는 용어는 임의의 데이터 프로세서를 지칭하고, 인터넷 기기(Internet appliance) 및 핸드헬드 디바이스(팜탑(palm-top) 컴퓨터, 웨어러블 컴퓨터, 셀룰러 또는 이동 전화, 다중 프로세서 시스템, 프로세서 기반 또는 프로그램 가능한 가전(consumer electronics), 네트워크 컴퓨터, 미니 컴퓨터 등을 포함)를 포함할 수 있다. 이들 컴퓨터 및 컨트롤러에 의해 처리되는 정보는 LCD(liquid crystal display)를 포함한 임의의 적절한 디스플레이 매체에서 제시될 수 있다. 컴퓨터 또는 컨트롤러 실행 가능 작업(task)을 수행하기 위한 명령은 하드웨어, 펌웨어 또는 하드웨어 및 펌웨어의 조합을 포함하는 임의의 적합한 컴퓨터 판독 가능 매체 내에 또는 그 상에 저장될 수 있다. 명령은 예를 들어 플래시 드라이브, USB(universal serial bus) 디바이스 및/또는 다른 적절한 매체를 포함하는 임의의 적합한 메모리 디바이스에 포함될 수 있다. 특정 실시 예에서, 명령은 따라서 비 일시적이다.
2. 대표적인 실시 예
전형적인 3D 포인트 클라우드는 하나 이상의 기간(예를 들어, 센서(들)에 의해 생성된 하나의 프레임 또는 몇 개의 연속 프레임)에 걸쳐 축적된 스캐닝 포인트를 포함할 수 있다. 스캔되는 타깃 객체가 일정 기간(들) 동안 센서(들)에 센서를 기준으로(relative to) 이동할 때, 포인트 클라우드의 특정 부분이 공간에서(현재 시점과 관련하여) 객체의 잘못된 위치를 지시하여(indicate), "그림자" 효과를 번지게 하거나(smearing), 흐리게 하거나(blurring) 또는 드래그(drag)할 수 있다. 그림자의 길이와 형상은 타깃 객체의 상대적인 움직임의 특성에 따라 달라질 수 있다. 예를 들어, 타깃 객체의 병진 모션(translational motion)은 평평한 직사각형 그림자에 기여할 수 있는 반면, 회전 모션은 호(arc)와 같은 궤적을 남길 수 있다. 도 1a는 병진 및 회전 모션 기반 부정확성을 모두 포함하는 타깃 차량의 예시적인 포인트 클라우드를 도시하고, 도 1b는 모션 기반 부정확성이 없는 타깃 차량의 예시적인 포인트 클라우드를 도시한다.
공간에서 객체의 모션은 임의적일 수 있기 때문에, 모션 기반 부정확성의 수학적 설명은 복잡할 수 있다. 기존의 포인트 클라우드 처리 시스템은 이 현상을 최적화하고 처리하지 않으며, 객체의 의도된 부분이 물리적 공간에 존재하는 것처럼 잘못된 포인트 클라우드(false point cloud)의 일부만 처리한다. 그러나, 이러한 객체 형상 및/또는 위치의 잘못된 감지(sense)는 타깃 추적, 장애물 회피, 경로 계획 및/또는 다른 애플리케이션에서 잘못된 추정 또는 지나치게 보수적인 의사 결정에 기여할 수 있다.
도 2는 본 개시된 기술의 일부 실시 예에 따라 베이스 포인트 클라우드를 생성하고 모션 기반 부정확성을 정정하는 프로세스를 도시한다. 도 2에 도시된 바와 같이, 기간(time period) △t 동안 센서(210)는 타깃 객체(205)를 스캔한다. 스캐닝 포인트(215a-215e)가 기간 내에 개별 시점
Figure 112020001472538-pct00001
에서 생성된다. 다시 말해서, 각각의 스캐닝 포인트(215a-215e)는 대응하는 시점에서 센서(210)로부터 타깃 객체(205)의 일부의 거리를 반영한다. 타깃 객체(205)가 기간 △t 동안 센서(210)를 기준으로 이동하면, 시점 t=△t 이전에 센서(210)에 의해 스캔된 임의의 포인트가 과거 일부 시점에서 타깃 객체 부분과 센서(210) 사이의 거리(따라서 거리가 예상보다 길다)를 반영한다. 이들 스캐닝 포인트(215a-215e)는 일반적으로 단일 또는 공통 좌표계에 축적되어 베이스 포인트 클라우드(225)를 형성한다.
그러므로, 베이스 포인트 클라우드(225)는 기간 △t 동안 이동함에 따라 타깃 객체(205)(또는 그 일부)의 궤적을 반영하는 정보를 포함한다. 베이스 포인트 클라우드(225)의 길이 및 형상은 스캐닝 기간 동안 타깃 객체(205)의 실제 움직임에 적어도 부분적으로 의존한다. 본 개시된 기술은 스캐닝 포인트들(215a-215e)의 적어도 서브 세트를 재배치하는 것을 통해 정정되거나 조정된 포인트 클라우드(235)를 생성할 수 있으므로, 정정되거나 조정된 포인트 클라우드(235)는 특정 시점(예를 들어, 시점 t=△t)에서 타깃 객체(205)의 적어도 일부분(예를 들어, 도 2에 도시된 바와 같은 자동차의 전방)의 형상 및/또는 거리를 더욱 정확하게 반영한다.
도 3은 본 개시된 기술의 일부 실시 예들에 따라, 모션 모델에 기반한 재배치(relocation) 스캐닝 포인트(예를 들어, 도 2의 스캐닝 포인트(215a-215d))를 위한 로세스를 도시한다. 타깃 객체의 베이스 포인트 클라우드(예를 들어, 도 2에 도시된 바와 같은 타깃 객체(205)의 베이스 포인트 클라우드(225))에 포함된 스캐닝 포인트 세트는
Figure 112020001472538-pct00002
와 같이 표현될 수 있으며, 여기서 각각의 스캐닝 포인트
Figure 112020001472538-pct00003
는 스캐닝 포인트가 수집 또는 생성될 때 스캐닝 시점
Figure 112020001472538-pct00004
과 연관된다.
타깃 객체가 시점에서 속도(velocity)
Figure 112020001472538-pct00005
로 이동하면, 스캐닝 포인트 재배치 후 수정되거나 조정된 포인트 클라우드는 다음 세트:
Figure 112020001472538-pct00006
를 포함할 수 있으며, 여기서 적분 연산(ntegral operation)은 베이스 포인트 클라우드의 각각의 스캐닝 포인트가 스캐닝 시점
Figure 112020001472538-pct00007
이후에 발생해야 하는 추가 변위량(amount of additional displacement)을 계산한다. 객체의 병진 모션
Figure 112020001472538-pct00008
및 회전 모션
Figure 112020001472538-pct00009
이 모두 발생하면, 정정되거나 조정된 포인트 클라우드에 포함된 포인트 세트는 다음:
Figure 112020001472538-pct00010
과 같이 표현될 수 있으며, 여기서,
Figure 112020001472538-pct00011
는 시점
Figure 112020001472538-pct00012
에서 객체가 회전하는 포인트(예를 들어, 객체의 중심(centroid))에 대응하고,
Figure 112020001472538-pct00013
는 시점
Figure 112020001472538-pct00014
에서의 포인트
Figure 112020001472538-pct00015
의 위치에 대응하며, 수학 연산자
Figure 112020001472538-pct00016
는 대응하는 회전 변환을 나타낸다.
도 4는 하나 이상의 균일한 모션 모델(들)이 사용되는 본 개시된 기술의 일부 실시 예에 따른 에러를 결정하는 프로세스를 도시한다. 타깃 객체의 실제 선형 속도 v와 가속도 α가 주어지면, 기간 △t 에서 타깃 객체가 이동한 거리는 다음:
Figure 112020001472538-pct00017
과 같다.
감속하는 타깃 객체에 유사한 분석을 적용할 수 있다. 따라서, 도 4에 도시된 바와 같이, 균일한 모션 모델(들)이 사용되는 실시 예에서, 정정되거나 조정된 포인트 클라우드의 에러는 가속 방향 및 감속을 위한 반대 방향에서
Figure 112020001472538-pct00018
의 거리에 대응한다. 타깃 객체 가속도 α에 대한 제한 또는 제약이 주어지면, 이 에러 거리는 베이스 포인트 클라우드 생성을 위한 최대 기간 △t를 결정하기 위해, 안전 구동(driving) 거리 또는 원하는 어플리케이션의 다른 안전 또는 작동 임계 값과 비교된다.
도 5는 본 개시된 기술의 일부 실시 예에 따라 포인트 클라우드에서 하나 이상의 모션 기반 부정확성을 정정하기 위한 방법(500)을 도시하는 흐름도이다. 도 5의 방법은 컨트롤러(예를 들어, 스캐닝 플랫폼의 온보드 컴퓨터, 관련 컴퓨팅 디바이스 및/또는 관련 컴퓨팅 서비스)에 의해 구현될 수 있다.
블록(505)에서, 상기 방법은 객체(예를 들어, 차량, 보행자, 항공기 등)에 관한 스캐닝 포인트의 베이스 포인트 클라우드를 획득하는 단계를 포함한다. 위에서 논의된 바와 같이, 스캐닝 포인트는 일정 기간 동안 수집되고, 개별 스캐닝 포인트는 상이한 시점에서 객체의 상이한 부분의 위치를 나타낼 수 있다. 예시적으로, 베이스 포인트 클라우드는 이미터/검출기 센서(예를 들어, LiDAR 센서)에 의해 생성된 단일 프레임의 스캐닝 포인트를 포함할 수 있다. 프레임 내의 개별 스캐닝 포인트가 동시에 생성되지 않을 수 있다. 예를 들어, 일부 실시 예에서, 센서 데이터(예를 들어, 스캐닝 포인트)가 연속적으로 수집되지만, 스캐닝 포인트의 프레임은 일부 이산 시간 간격(discrete time interval)에 따라 생성되거나 전송된다. 다시 말해서, 프레임은 특정 시간의 지속 기간(duration)(예를 들어, 0.1 초)에 걸쳐 축적된 센서 데이터 세트(예를 들어, 스캐닝 포인트)에 대응할 수 있다. 일부 실시 예들에서, 베이스 포인트 클라우드는 또한 하나 이상의 센서들에 의해 생성된 다수의 연속적인 프레임의 스캐닝 포인트를 포함할 수 있다.
블록(510)에서, 상기 방법은 일정 기간 동안 객체의 움직임에 대한 모션 모델을 결정하는 단계를 포함한다. 모션 모델은 병진 모션 컴포넌트, 회전 모션 컴포넌트, 진동(oscillatory) 모션 컴포넌트 및/또는 다른 모션 컴포넌트를 포함할 수 있다. 예시적으로, 전술한 수식(2)는 기간 동안 객체와 연관된 모션 모델로서 선택될 수 있다.
블록(515)에서, 상기 방법은 스캐닝 포인트에 적용 가능한 추정된 모션 모델 팩터(factor)를 결정하기 위해 포인트 클라우드 측정을 평가하는(assessing) 단계를 포함한다. 모션 기반 부정확성으로 인해 베이스 포인트 클라우드의 크기가 잘못 확대될 수 있다. 따라서, 상기 방법은 베이스 포인트 클라우드 측정에 관련된 볼륨 또는 크기를 평가하여 추정된 모션 모델 팩터를 결정하는 단계를 포함할 수 있다. 예시적으로, 상기 방법은 적어도 하나의 스캐닝 포인트를 포함하는 각각의 복셀(voxel)과 함께, 최소화된 수의 볼륨 픽셀(volume pixel) 또는 복셀(예를 들어, 스캐닝 플랫폼을 둘러싼 3차원 공간을 균등하게 분할하는 0.001 입방 미터 큐브)을 검색할 수 있다. 다시 말해, 포인트 클라우드를 설명하는 가장 적은 수의 복셀은 정지 위치(stationary position)에서 객체의 가장 가까운 근사치(approximation)에 대응할 수 있다. 수학적으로 최소화 함수는 다음:
Figure 112020001472538-pct00019
과 같이 표현될 수 있으며, 여기서,
Figure 112020001472538-pct00020
은 객체의 일정한 병진 속도와 회전 속도(추정될 모션 모델 팩터)를 나타내며, 함수
Figure 112020001472538-pct00021
는
Figure 112020001472538-pct00022
에 의해 점유된 복셀의 수량을 계산하고, 함수
Figure 112020001472538-pct00023
는 병진 속도 및 회전 속도를 관찰하기 위한 사전 용어(priori term)에 대응할 수 있고, 다음과 같은 형식:
Figure 112020001472538-pct00024
을 취할 수 있으며, 여기서
Figure 112020001472538-pct00025
는 상이한 센서 방법(예를 들어, 상이한 시간에 대응하는 객체의 포인트 클라우드를 정렬하거나 레이저 타코미터 또는 밀리미터파 레이더와 같은 다른 센서를 사용하는 것에 의해)으로부터 획득된 관측치(observations)에 대응할 수 있다. 일부 실시 예에서, 수식(3)은
Figure 112020001472538-pct00026
를 필요로 하지 않는다. 이들 실시 예에서, 최소화 검색은 계산적으로 더 비쌀 수 있다(예를 들어, 수렴하는데 더 오래 걸림).
수식(4)에 기반한 복셀 수량 최소화 프로세스는 객체의 다중 회전 중심
Figure 112020001472538-pct00027
을 결정하는 것을 포함할 수 있다. 일부 실시 예에서, 계산 효율 및 편의를 위해, 상기 방법은 병진 변환에 이어서 회전 변환이 수행되는 2단계 근사(two-step approximation)를 포함한다. 예시적으로, 이들 실시 예에서, 포인트 클라우드 측정 평가는 다음 수식:
Figure 112020001472538-pct00028
에 따라 수행될 수 있으며, 여기서
Figure 112020001472538-pct00029
는 병진 모션(translation motion)에 대해서만 최적화된 중간 포인트 클라우드(예를 들어, 수식(1)에 따른
Figure 112020001472538-pct00030
)의 중심 포인트에 대응할 수 있다. 일부 실시 예에서,
Figure 112020001472538-pct00031
는 중간 포인트 클라우드에 대한 다른 위치에 대응하도록 (예를 들어, 자동차의 회전 휠 사이의 중간 포인트를 지시하기 위해) 정의될 수 있다.
일부 실시 예에서, 상기 방법은 포인트 클라우드로 둘러싸인 볼륨을 평가하는 단계를 포함할 수 있다. 복셀 수량 평가와 유사하게, 이 접근법은 모션 모델 기반 수식을 사용하여 측정 값(예를 들어, 모든 외부 표면 스캐닝 포인트를 연결하는 메시(mesh)와 같은 포인트 클라우드의 외부 표면으로 둘러싸인 볼륨)을 계산할 수 있다. "스켈레톤(skeleton)”볼륨을 최소화하려는 복셀 수량 평가와는 달리, 둘러싸인 볼륨(enclosed-volume) 평가는 포인트 클라우드의 전체 크기를 평가할 수 있다. 일부 실시 예에서, 상기 방법은 포인트 클라우드의 다중 측정(예를 들어, 복셀 수량 및 둘러싸인 볼륨 측정(enclosed-volume measurements))을 평가하는 단계 및 다중 평가로부터 초래된 추정된 모션 모델 팩터의 가중 평균(weighted average)을 계산하는 단계를 포함할 수 있다. 일부 실시 예에서, 모션 모델(들)은 일정하지 않은 형태의 팩터(들)를 포함할 수 있다. 예를 들어, 추정될 객체의 병진 속도 및/또는 회전 속도는 시간 t의 함수(들)로서 정의될 수 있다.
일부 실시 예들에 따르면, 포인트 클라우드 측정의 최소화(예를 들어, 복셀 수량 또는 둘러싸인 볼륨)를 검색하는 것은 측정의 글로벌 또는 로컬 최소화된 값을 찾거나(예를 들어, 계산 효율성, 제약, 및/또는 경제의 이유로), 단순히 측정의 감소된 값(그러나 반드시 최소화되는 것은 아님)를 찾는 것을 포함할 수 있다.
블록(520)에서, 상기 방법은 추정된 모션 모델 팩터에 따라 베이스 포인트 클라우드에서 스캐닝 포인트를 변환하여 정정되거나 조정된 포인트 클라우드를 형성하는 단계를 포함한다. 예시적으로, 상기 방법은 적용 가능한 모션 모델(예를 들어, 수식(1) 또는 수식(2))에 따라, 추정된 병진 속도(translational velocity )
Figure 112020001472538-pct00032
및/또는 추정된 회전 속도(rotational speed)
Figure 112020001472538-pct00033
에 적어도 부분적으로 기반하여, 베이스 포인트 클라우드에 초기에 포함된 스캐닝 포인트의 적어도 서브 세트를 재배치하는(relocate) 단계를 포함할 수 있다. 재배치는 서브셋의 각각의 스캐닝 포인트를 스캐닝 포인트가 수집 또는 생성될 때의 시점
Figure 112020001472538-pct00034
의 위치로부터 기간 △t의 끝(end)에서 추정된 스캐닝 포인트의 위치로 이동시키는 것이다. 상기 방법은 기간의 끝에 수집되거나 생성된 임의의 스캐닝 포인트와 조합하여 변환된 스캐닝 포인트를 라벨링(label)하거나 사용하여 객체에 대해 정정되거나 조정된 포인트 클라우드를 형성할 수 있다.
블록(525)에서, 상기 방법은 정정되거나 조정된 포인트 클라우드에 기반하여 하나 이상의 추가 액션을 취하는 단계를 포함한다. 예시적으로, 컨트롤러는 베이스 포인트 클라우드를 사용하는 것보다 더 정확할 수 있는 정정된 포인트 클라우드에 기반하여 중심, 윤곽, 형상을 결정할 수 있거나 및/또는 객체를 인식할 수 있다. 컨트롤러는 또한 정정된 포인트 클라우드에 기반하여 센서(또는 스캐닝 플랫폼)와 객체의 다양한 부분 사이의 거리를 결정할 수 있으며, 이에 따라 장애물 회피, 타깃 추적, 경로 계획 및/또는 기타 자동화/보조 네비게이션 애플리케이션을 용이하게 한다. 도 5의 방법은 특정 이벤트(예를 들어, 증가된 수의 장애물이 있는 영역에 진입하는 스캐닝 플랫폼)에 응답하여 및/또는 사용자 명령어(command)에 기반하여 센서 데이터의 각각의 프레임을 획득하는 것에 응답하여 구현될 수 있다.
도 6은 본 개시된 기술의 다양한 실시 예에 따라 구성된 스캐닝 플랫폼의 예를 도시한다. 예시된 바와 같이, 본 명세서에 개시된 바와 같은 대표적인 스캐닝 플랫폼은 UAV(unmanned aerial vehicle)(602), 무인 항공기(604), 자율 주행 차(autonomous car)(606), 자기 균형 조정 차량(self-balancing vehicle)(608), 지상 로봇(610), 스마트 웨어러블 디바이스(612), 가상 현실(virtual reality, VR) 헤드 마운트 디스플레이(614), 또는 증강 현실(augmented reality, AR) 헤드 마운트 디스플레이(616) 중 적어도 하나를 포함할 수 있다.
도 7은 본 개시된 기술의 다양한 부분을 구현하는데 이용될 수 있는 컴퓨터 시스템 또는 다른 제어 디바이스(700)를 위한 아키텍처의 예를 도시하는 블록도이다. 도 7에서, 컴퓨터 시스템(700)은 인터커넥트(725)를 통해 연결된 하나 이상의 프로세서(705) 및 메모리(710)를 포함한다. 인터커넥트(725)는 임의의 하나 이상의 개별 물리적 버스, 포인트-투-포인트 연결, 또는 적절한 브리지(bridge), 어댑터 또는 컨트롤러에 의해 연결될 수 있는 둘 모두를 나타낼 수 있다. 따라서, 인터커넥트(725)는 예를 들어 시스템 버스, PCI(Peripheral Component Interconnect) 버스, 하이퍼트랜스포트(HyperTransport) 또는 ISA(Industry Standard Architecture) 버스, SCSI(Small Computer System Interface) 버스, USB(universal serial bus), IIC(I2C) 버스 또는 파이어와이어(Firewire )라고도 지칭되는 IEEE(Institute of Electrical and Electronics Engineers) 표준 674 버스를 포함할 수 있다.
프로세서(들)(705)는 예를 들어 호스트 컴퓨터의 전체 작동을 제어하기 위해 중앙 처리 유닛(central processing unit, CPU)을 포함할 수 있다. 특정 실시 예에서, 프로세서(들)(705)는 메모리(710)에 저장된 소프트웨어 또는 펌웨어를 실행하는 것에 의해 이를 달성한다. 프로세서(들)(705)는 하나 이상의 프로그램 가능한 범용 또는 특수 목적 마이크로 프로세서, 디지털 신호프로세서(digital signal processor, DSP), 프로그램 가능 컨트롤러, ASIC(application specific integrated circuit), 프로그램 가능 논리 디바이스(programmable logic device, PLD) 등 또는 이러한 디바이스들의 조합일 수 있거나 이들을 포함할 수 있다.
메모리(710)는 컴퓨터 시스템의 메인 메모리일 수 있거나 이를 포함할 수 있다. 메모리(710)는 임의의 적절한 형태의 랜덤 액세스 메모리(random access memory, RAM), 판독 전용 메모리(read-only memory, ROM), 플래시 메모리 등, 또는 이러한 디바이스들의 조합을 나타낸다. 사용시, 메모리(710)는 특히 프로세서(705)에 의해 실행될 때 프로세서(705)가 본 개시된 기술의 실시 예를 구현하기 위한 작동을 수행하게 하는 일련의 기계 명령을 포함할 수 있다.
인터커넥트(725)를 통해 프로세서(들)(705)에 또한 연결되는 것은 (선택적) 네트워크 어댑터(715)이다. 네트워크 어댑터(715)는 컴퓨터 시스템(700)에 스토리지 클라이언트(storage clients)와 같은 원격 디바이스 및/또는 다른 스토리지 서버와의 통신 능력(ability)제공하며, 예를 들어, 이더넷 어댑터 또는 파이버 채널(Fiber Channel) 어댑터일 수 있다.
여기서 기술된 기술은, 예를 들어 소프트웨어 및/또는 펌웨어로 프로그램된 프로그램 가능 회로(예를 들어, 하나 이상의 마이크로 프로세서), 또는 전적으로 특수 목적의 하드 와이어드 회로(hardwired circuitry), 또는, 또는 이러한 형태의 조합으로 구현될 수 있다. 특수 목적의 하드 와이어드 회로는 예를 들어 하나 이상의 ASIC(application-specific integrated circuit), PLC(programmable logic device), FPGA(field-programmable gate arrays) 등의 형태일 수 있다.
여기에 소개된 기술을 구현하는 데 사용하기 위한 소프트웨어 또는 펌웨어는 기계 판독 가능 저장 매체에 저장될 수 있고, 하나 이상의 범용 또는 특수 목적 프로그램 가능 마이크로 프로세서에 의해 실행될 수 있다. 여기서 사용되는 용어 "기계 판독 가능 저장 매체"는 기계(기계는 예를 들어 컴퓨터, 네트워크 디바이스, 셀룰라 폰, PDA(personal digital assistant), 제조 도구(manufacturing tool), 하나 이상의 프로세서를 가지는 임의 디바이스 등일 수 있음)에 의해 액세스 가능한 형태로 정보를 저장할 수 있는 임의의 메커니즘을 포함한다. 예를 들어, 기계-액세스 가능한 저장 매체는 기록 가능/기록 불가능한(recordable/non-recordable) 매체(예를 들어, ROM(read-only memory); RAM(random access memory), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 디바이스 등) 등을 포함할 수 있다.
여기서 사용된 용어 "논리(logic)"는 예를 들어 특정 소프트웨어 및/또는 펌웨어로 프로그래밍된 프로그램 가능 회로, 특수 목적 하드 와이어드 회로 또는 이들의 조합을 포함할 수 있다.
본 개시의 일부 실시 예는 위에서 설명된 것에 추가하여 또는 대신에 다른 측면(aspect), 엘리먼트, 특징 및/또는 단계를 갖는다. 이러한 잠재적인 추가 및 교체는 본 명세서의 나머지 부분에서 설명된다. 본 명세서에서 "다양한 실시 예", "특정 실시 예" 또는 "일부 실시 예"에 대한 언급은 실시 예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 실시 예에 포함됨을 의미한다. 이들 실시 예, 심지어 대안적인 실시 예(예를 들어, "다른 실시 예"로 지칭 됨)는 다른 실시 예와 상호 배타적이지 않다. 또한, 일부 실시 예에 의해 보여질 수 있고 다른 것들에 의해 보여 질 수 없는 다양한 특징들이 설명된다. 유사하게, 일부 실시 예에 대한 요건(requirement)일 수 있지만 다른 실시 예에는 요구되지 않는 다양한 요건이 설명된다. 예를 들어, 일부 실시 예는 병진 모션만을 설명하고, 다른 실시 예는 회전 모션만을 설명하며, 다른 실시 예는 둘 모두를 설명한다. 다른 예로서, 일부 실시 예는 복셀 수량의 최소화를 추구하고, 다른 실시 예는 둘러싸인 볼륨의 최소화를 추구하지만, 다른 실시 예는 두 기술을 모두 사용한다.
여기에 참조로 포함된 임의의 재료(material)가 본 개시와 상충되는 한, 본 개시가 제어한다.

Claims (61)

  1. 스캐닝 플랫폼에 의해 운반되는 적어도 하나의 스캐닝 유닛을 사용하여 생성된 포인트 클라우드(point cloud)를 조정(adjusting)하기 위한 컴퓨터로 구현된 방법으로서,
    상기 방법은,
    기간(period of time) 동안 상기 스캐닝 유닛에 의해 생성되는 복수의 스캐닝 포인트를 포함하는 베이스(base) 포인트 클라우드를 획득하는 단계 - 상기 스캐닝 포인트 각각은 타깃 객체의 적어도 한 부분(portion)의 위치를 지시하고(indicate), 상기 타깃 객체는 상기 기간 동안 상기 스캐닝 유닛을 기준으로(relative to) 이동함(move) -;
    모션(motion) 모델을 상기 타깃 유닛과 연관시키는 단계 - 상기 모션 모델은 등속 병진 모션 컴포넌트(constant speed translational motion component) 및 등속 회전 모션(constant speed rotational motion) 컴포넌트를 포함함 -;
    상기 기간에 걸쳐 상기 모션 모델의 애플리케이션에 적어도 부분적으로 기반하여, 상기 베이스 포인트 클라우드에 관한 볼륨 측정(volume measurement)을 평가하는(assessing) 단계;
    상기 볼륨 측정의 평가에 적어도 부분적으로 기반하여 상기 스캐닝 포인트에 적용 가능한 하나 이상의 조정 팩터(factor)를 결정하는 단계;
    상기 하나 이상의 조정 팩터에 적어도 부분적으로 기반하여 상기 스캐닝 포인트의 적어도 서브 세트를 변환하여 정정된(corrected) 포인트 클라우드를 생성하는 단계; 및
    상기 정정된 포인트 클라우드에 적어도 부분적으로 기반하여 상기 타깃 객체를 위치시키는(locate) 단계
    를 포함하는 방법.
  2. 스캐닝 플랫폼에 의해 운반되는 적어도 하나의 스캐닝 유닛을 사용하여 생성된 포인트 클라우드를 조정하기 위한 컴퓨터로 구현된 방법으로서,
    기간 동안 상기 스캐닝 유닛에 의해 생성되는 복수의 스캐닝 포인트를 포함하는 베이스 포인트 클라우드를 획득하는 단계 - 상기 스캐닝 포인트 각각은 타깃 객체의 적어도 한 부분의 위치를 지시하며, 상기 타깃 객체는 모션 모델과 연관됨 -;
    상기 모션 모델에 적어도 부분적으로 기반하여 상기 스캐닝 포인트에 적용 가능한 하나 이상의 조정 팩터를 결정하는 단계; 및
    상기 하나 이상의 조정 팩터에 적어도 부분적으로 기반하여 상기 스캐닝 포인트의 적어도 하나의 서브 세트를 변환하여 상기 타깃 객체의 조정된 포인트 클라우드를 생성하는 단계
    를 포함하고,
    상기 하나 이상의 조정 팩터를 결정하는 단계는,
    상기 스캐닝 포인트와 관련된 볼륨에 적어도 부분적으로 기반하여 포인트 클라우드 측정을 평가하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 스캐닝 포인트 중 적어도 2개에 의해 지시된 위치는 상이한 시점에 대응하는, 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 스캐닝 포인트 중 적어도 2개에 의해 지시된 위치는 상기 타깃 객체의 상이한 부분에 대응하는, 방법.
  5. 제2항 또는 제3항에 있어서,
    상기 스캐닝 포인트는 상기 적어도 하나의 스캐닝 유닛 또는 상기 스캐닝 플랫폼과 연관된 3차원 기준 시스템(three-dimensional reference system) 내에서 표현되는(represent), 방법.
  6. 제2항에 있어서,
    상기 모션 모델은 병진 모션 컴포넌트를 포함하는, 방법.
  7. 제6항에 있어서,
    상기 병진 모션 컴포넌트는 일정한 병진 속도 팩터(constant translational speed factor)를 포함하는, 방법.
  8. 제6항에 있어서,
    상기 병진 모션 컴포넌트는 일정하지 않은(non-constant) 병진 속도 팩터를 포함하는, 방법.
  9. 제2항, 제6항, 제7항 또는 제8항 중 어느 한 항에 있어서,
    상기 모션 모델은 회전 모션 컴포넌트를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 회전 모션 컴포넌트는 일정한 회전 속도 팩터를 포함하는, 방법.
  11. 제9항에 있어서,
    상기 회전 모션 컴포넌트는 일정하지 않은 회전 속도 팩터를 포함하는, 방법.
  12. 삭제
  13. 제2항에 있어서,
    상기 포인트 클라우드 측정을 평가하는 단계는,
    상기 모션 모델을 상기 스캐닝 포인트에 적용하는 단계; 및
    상기 모션 모델의 적용에 따라 타깃 시점에서 상기 스캐닝 포인트에 의해 점유된 최소 수량의 볼륨 픽셀(volume pixel)을 검색하는 단계
    를 포함하는, 방법.
  14. 제2항에 있어서,
    상기 포인트 클라우드 측정을 평가하는 단계는,
    상기 모션 모델을 상기 스캐닝 포인트에 적용하는 단계; 및
    상기 모션 모델의 적용에 따라 타깃 시점에서 상기 스캐닝 포인트에 의해 둘러싸인(enclosed) 최소화된 볼륨을 검색하는 단계
    를 포함하는, 방법.
  15. 제13항 또는 제14항에 있어서,
    상기 타깃 시점은 상기 기간의 끝(end)에 대응하는, 방법.
  16. 제2항, 제13항, 또는 제14항 중 어느 한 항에 있어서,
    상기 하나 이상의 조정 팩터는 병진 속도(translational velocity) 또는 회전 속도(rotational speed) 중 적어도 하나를 포함하는, 방법.
  17. 제2항에 있어서,
    상기 스캐닝 포인트의 적어도 하나의 서브 세트를 변환하는 단계는
    상기 적어도 하나의 조정 팩터에 적어도 부분적으로 기반하여 상기 서브 세트의 각각의 스캐닝 포인트를 재배치(relocate)하는 단계
    를 포함하는, 방법.
  18. 제17항에 있어서,
    각각의 스캐닝 포인트를 재배치하는 것은, 상기 스캐닝 포인트가 생성된 시점과 후속 타깃 시점(subsequent target timepoint) 사이의 스캐닝 포인트와 연관된 움직임(movement)에 적어도 부분적으로 기반하는, 방법.
  19. 제2항에 있어서,
    상기 타깃 객체와 상기 스캐닝 플랫폼 사이의 상대 거리는 상기 기간 동안 변하는, 방법.
  20. 제2항 또는 제3항에 있어서,
    상기 조정된 포인트 클라우드에 적어도 부분적으로 기반하여 상기 타깃 객체를 위치시키는 단계
    를 더 포함하는 방법.
  21. 실행시 스캐닝 플랫폼과 연관된 하나 이상의 프로세서가 액션(action)을 수행하게 하는 컴퓨터 실행 가능 명령을 저장하는 비 일시적(non-transitory) 컴퓨터 판독 가능 매체로서,
    상기 액션은,
    기간 동안 적어도 하나의 스캐닝 유닛에 의해 생성되는 복수의 스캐닝 포인트를 포함하는 베이스 포인트 클라우드를 획득하는 단계 - 상기 스캐닝 포인트 각각은 타깃 객체의 적어도 한 부분의 위치를 지시하며, 상기 타깃 객체는 모션 모델과 연관됨 -;
    상기 모션 모델에 적어도 부분적으로 기반하여 상기 스캐닝 포인트에 적용 가능한 하나 이상의 조정 팩터를 결정하는 단계; 및
    상기 하나 이상의 조정 팩터에 적어도 부분적으로 기반하여 상기 스캐닝 포인트의 적어도 하나의 서브 세트를 변환하여 상기 타깃 객체의 조정된 포인트 클라우드를 생성하는 단계
    를 포함하고,
    상기 하나 이상의 조정 팩터를 결정하는 단계는,
    상기 스캐닝 포인트와 관련된 볼륨에 적어도 부분적으로 기반하여 포인트 클라우드 측정을 평가하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  22. 제21항에 있어서,
    상기 스캐닝 포인트 중 적어도 2개에 의해 지시된 위치는 상이한 시점에 대응하는, 컴퓨터 판독 가능 매체.
  23. 제21항 또는 제22항에 있어서,
    상기 스캐닝 포인트 중 적어도 2개에 의해 지시된 위치는 상기 타깃 객체의 상이한 부분에 대응하는, 컴퓨터 판독 가능 매체.
  24. 제21항 또는 제22항에 있어서,
    상기 스캐닝 포인트는 상기 적어도 하나의 스캐닝 유닛 또는 상기 스캐닝 플랫폼과 연관된 3차원 기준 시스템 내에 표현되는, 컴퓨터 판독 가능 매체.
  25. 제21항에 있어서,
    상기 모션 모델은 병진 모션 컴포넌트를 포함하는, 컴퓨터 판독 가능 매체.
  26. 제25항에 있어서,
    상기 병진 모션 컴포넌트는 일정한 병진 속도 팩터를 포함하는, 컴퓨터 판독 가능 매체.
  27. 제25항에 있어서,
    상기 병진 모션 컴포넌트는 일정하지 않은 병진 속도 팩터를 포함하는, 컴퓨터 판독 가능 매체.
  28. 제21항, 제25항, 제26항 또는 제27항 중 어느 한 항에 있어서,
    상기 모션 모델은 회전 모션 컴포넌트를 포함하는, 컴퓨터 판독 가능 매체.
  29. 제28항에 있어서,
    상기 회전 모션 컴포넌트는 일정한 회전 속도 팩터를 포함하는, 컴퓨터 판독 가능 매체.
  30. 제28항에 있어서,
    상기 회전 모션 컴포넌트는 일정하지 않은 회전 속도 팩터를 포함하는, 컴퓨터 판독 가능 매체.
  31. 삭제
  32. 제21항에 있어서,
    상기 포인트 클라우드 측정을 평가하는 단계는,
    상기 모션 모델을 상기 스캐닝 포인트에 적용하는 단계; 및
    상기 모션 모델의 적용에 따라 타깃 시점에서 상기 스캐닝 포인트에 의해 점유된 최소 수량의 볼륨 픽셀(복셀(voxel))을 검색하는 단계
    를 포함하는, 컴퓨터 판독 가능 매체.
  33. 제21항에 있어서,
    상기 포인트 클라우드 측정을 평가하는 단계는,
    상기 모션 모델을 상기 스캐닝 포인트에 적용하는 단계; 및
    상기 모션 모델의 적용에 따라 타깃 시점에서 상기 스캐닝 포인트에 의해 둘러싸인 최소화된 볼륨을 검색하는 단계
    를 포함하는, 컴퓨터 판독 가능 매체.
  34. 제32항 또는 제33항에 있어서,
    상기 타깃 시점은 상기 기간의 끝에 대응하는, 컴퓨터 판독 가능 매체.
  35. 제21항, 제32항 또는 제33항 중 어느 한 항에 있어서,
    상기 하나 이상의 조정 팩터는 병진 속도 또는 회전 속도 중 적어도 하나를 포함하는, 컴퓨터 판독 가능 매체.
  36. 제21항에 있어서,
    상기 스캐닝 포인트의 적어도 하나의 서브 세트를 변환하는 단계는,
    상기 적어도 하나의 조정 팩터에 적어도 부분적으로 기반하여 상기 서브 세트의 각각의 스캐닝 포인트를 재배치하는 단계
    를 포함하는, 컴퓨터 판독 가능 매체.
  37. 제36항에 있어서,
    각각의 스캐닝 포인트를 재배치하는 것은 상기 스캐닝 포인트가 생성된 시점과 후속 타깃 시점 사이에서 상기 스캐닝 포인트와 연관된 움직임에 적어도 부분적으로 기반하는, 컴퓨터 판독 가능 매체.
  38. 제21항에 있어서,
    상기 타깃 객체와 상기 스캐닝 플랫폼 사이의 상대 거리는 상기 기간 동안 변화하는, 컴퓨터 판독 가능 매체.
  39. 제21항 또는 제22항에 있어서,
    상기 액션은
    상기 조정된 포인트 클라우드에 적어도 부분적으로 기반하여 상기 타깃 객체를 위치시키는 단계
    를 더 포함하는, 컴퓨터 판독 가능 매체.
  40. 차량의 하나 이상의 모션을 적어도 부분적으로 제어하는 프로그램된 컨트롤러를 포함하는 차량으로서,
    상기 프로그램된 컨트롤러는,
    기간 동안 적어도 하나의 스캐닝 유닛에 의해 생성되는 복수의 스캐닝 포인트를 포함하는 베이스 포인트 클라우드를 획득하고 - 상기 스캐닝 포인트 각각은 타깃 객체의 적어도 한 부분의 위치를 지시하고, 상기 타깃 객체는 모션 모델과 연관됨 - ;
    상기 모션 모델에 적어도 부분적으로 기반하여 상기 스캐닝 포인트에 적용 가능한 하나 이상의 조정 팩터를 결정하며; 그리고
    상기 하나 이상의 조정 팩터에 적어도 부분적으로 기반하여 상기 스캐닝 포인트의 적어도 하나의 서브 세트를 변환하여 상기 타깃 객체의 조정된 포인트 클라우드를 생성하도록 구성되는 하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 조정 팩터를 결정하는 것은, 상기 스캐닝 포인트와 관련된 볼륨에 적어도 부분적으로 기반하여 포인트 클라우드 측정을 평가하는 것을 포함하는, 차량.
  41. 제40항에 있어서,
    상기 스캐닝 포인트 중 적어도 2개에 의해 지시된 위치는 상이한 시점에 대응하는, 차량.
  42. 제40항 또는 제41항에 있어서,
    상기 스캐닝 포인트 중 적어도 2개에 의해 지시된 위치는 상기 타깃 객체의 상이한 부분에 대응하는, 차량.
  43. 제40항 또는 제41항에 있어서,
    상기 스캐닝 포인트는 상기 적어도 하나의 스캐닝 유닛 또는 상기 차량과 연관된 3차원 기준 시스템 내에 표현되는, 차량.
  44. 제40항에 있어서,
    상기 모션 모델은 병진 모션 컴포넌트를 포함하는, 차량.
  45. 제44항에 있어서,
    상기 병진 모션 컴포넌트는 일정한 병진 속도 팩터를 포함하는, 차량.
  46. 제44항에 있어서,
    상기 병진 모션 컴포넌트는 일정하지 않은 병진 속도 팩터를 포함하는, 차량.
  47. 제40항, 제44항, 제45항 또는 제46항 중 어느 한 항에 있어서,
    상기 모션 모델은 회전 모션 컴포넌트를 포함하는, 차량.
  48. 제47항에 있어서,
    상기 회전 모션 컴포넌트는 일정한 회전 속도 팩터를 포함하는, 차량.
  49. 제47항에 있어서,
    상기 회전 모션 컴포넌트는 일정하지 않은 회전 속도 팩터를 포함하는, 차량.
  50. 삭제
  51. 제40항에 있어서,
    상기 포인트 클라우드 측정을 평가하는 것은,
    상기 모션 모델을 상기 스캐닝 포인트에 적용하는 것; 및
    상기 모션 모델의 적용에 따라 타깃 시점에서 상기 스캐닝 포인트에 의해 점유된 최소 수량의 볼륨 픽셀(복셀)을 검색하는 것
    을 포함하는, 차량.
  52. 제40항에 있어서,
    상기 포인트 클라우드 측정을 평가하는 것은,
    상기 모션 모델을 상기 스캐닝 포인트에 적용하는 것; 및
    상기 모션 모델의 적용에 따라 타깃 시점에서 상기 스캐닝 포인트에 의해 둘러싸인 최소화된 볼륨을 검색하는 것
    을 포함하는, 차량.
  53. 제51항 또는 제52항에 있어서,
    상기 타깃 시점은 상기 기간의 끝에 대응하는, 차량.
  54. 제40항, 제51항 또는 제52항 중 어느 한 항에 있어서,
    상기 하나 이상의 조정 팩터는 병진 속도 또는 회전 속도 중 적어도 하나를 포함하는, 차량.
  55. 제40항에 있어서,
    상기 스캐닝 포인트의 적어도 하나의 서브 세트를 변환하는 것은, 상기 적어도 하나의 조정 팩터에 적어도 부분적으로 기반하여 상기 서브 세트의 각각의 스캐닝 포인트를 재배치하는 것을 포함하는, 차량.
  56. 제55항에 있어서,
    각각의 스캐닝 포인트를 재배치하는 것은 상기 스캐닝 포인트가 생성된 시점과 후속 타깃 시점 사이의 스캐닝 포인트와 연관된 움직임에 적어도 부분적으로 기반하는, 차량.
  57. 제40항에 있어서,
    상기 타깃 객체와 상기 스캐닝 플랫폼 사이의 상대 거리는 상기 기간 동안 변하는, 차량.
  58. 제40항 또는 제57항에 있어서,
    상기 차량은, UAV(unmanned aerial vehicle), 유인 항공기, 자율 주행 차, 자가 평형 차량, 로봇, 스마트 웨어러블 디바이스, VR(virtual reality) 헤드 마운트 디스플레이 또는 AR(augmented reality) 헤드 마운트 디스플레이 중 적어도 하나를 포함하는, 차량.
  59. 제40항 또는 제41항에 있어서,
    상기 하나 이상의 프로세서는 추가로, 상기 조정된 포인트 클라우드에 적어도 부분적으로 기반하여 상기 타깃 객체를 위치시키도록 구성되는, 차량.
  60. 삭제
  61. 삭제
KR1020207000421A 2017-07-31 2017-07-31 포인트 클라우드에서의 모션 기반 부정확성의 정정 KR102284565B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/095300 WO2019023892A1 (en) 2017-07-31 2017-07-31 MOTION-BASED IMPRESSION CORRECTION IN POINT CLOUDS

Publications (2)

Publication Number Publication Date
KR20200015722A KR20200015722A (ko) 2020-02-12
KR102284565B1 true KR102284565B1 (ko) 2021-07-30

Family

ID=64502747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207000421A KR102284565B1 (ko) 2017-07-31 2017-07-31 포인트 클라우드에서의 모션 기반 부정확성의 정정

Country Status (5)

Country Link
US (3) US10152771B1 (ko)
EP (1) EP3631508A4 (ko)
KR (1) KR102284565B1 (ko)
CN (1) CN110914703A (ko)
WO (1) WO2019023892A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009137672A1 (en) 2008-05-07 2009-11-12 Salix Pharmaceuticals, Ltd. Methods of treating bowel disease by administering a bowel cleanser and an antibiotic
AU2012332211B2 (en) 2011-11-02 2016-11-24 Salix Pharmaceuticals, Ltd. Methods for treating irritable bowel syndrome (IBS) and infections
JP2019128641A (ja) * 2018-01-22 2019-08-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
DE102018213554A1 (de) * 2018-08-10 2020-02-13 Audi Ag Verfahren und Anzeigeeinrichtung zur Visualisierung einer Anordnung sowie Wirkungsweise von Umfeldsensoren eines Kraftfahrzeugs
US11048254B2 (en) 2019-04-10 2021-06-29 Waymo Llc Generating simplified object models to reduce computational resource requirements for autonomous vehicles
RU2767955C1 (ru) 2019-05-27 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия динамических объектов
CN112015938A (zh) * 2019-05-28 2020-12-01 杭州海康威视数字技术股份有限公司 点云标签传递方法、装置及系统
GB202311795D0 (en) * 2019-12-19 2023-09-13 Motional Ad Llc Foreground extraction using surface fitting
US11151788B2 (en) * 2019-12-27 2021-10-19 Woven Planet North America, Inc. Systems and methods for presenting a reconstructed representation of a moving object detected in a scene
CN112150635A (zh) * 2020-09-02 2020-12-29 北京捷安申谋军工科技有限公司 基于数字孪生的ar单兵与机器人混编作战系统及其方法
US11792644B2 (en) 2021-06-21 2023-10-17 Motional Ad Llc Session key generation for autonomous vehicle operation
CN114442101B (zh) * 2022-01-28 2023-11-14 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN115661935B (zh) * 2022-10-31 2023-07-11 海信集团控股股份有限公司 一种人体动作准确度确定方法和设备
CN116091533A (zh) * 2023-01-03 2023-05-09 中国人民解放军海军航空大学 一种Qt开发环境下的激光雷达目标演示与提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071121A1 (en) * 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4283116A (en) 1977-04-22 1981-08-11 Jersey Nuclear-Avco Isotopes, Inc. Beam combiner
JPS6076541U (ja) 1983-11-02 1985-05-29 東急車輌製造株式会社 荷役作業機のキヤスタストツパ
JPS63194211A (ja) 1987-02-09 1988-08-11 Sony Corp カメラのレンズ駆動装置
US5179565A (en) 1990-06-07 1993-01-12 Hamamatsu Photonics, K.K. Low noise pulsed light source utilizing laser diode and voltage detector device utilizing same low noise pulsed light source
US5249046A (en) 1992-03-30 1993-09-28 Kaman Aerospace Corporation Method and apparatus for three dimensional range resolving imaging
US6101455A (en) 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6344937B1 (en) 1999-03-03 2002-02-05 Raytheon Company Beam steering optical arrangement using Risley prisms with surface contours for aberration correction
US6246258B1 (en) 1999-06-21 2001-06-12 Xilinx, Inc. Realizing analog-to-digital converter on a digital programmable integrated circuit
US6666855B2 (en) 1999-09-14 2003-12-23 Visx, Inc. Methods and systems for laser calibration and eye tracker camera alignment
US7085400B1 (en) 2000-06-14 2006-08-01 Surgical Navigation Technologies, Inc. System and method for image based sensor calibration
JP2002199682A (ja) 2000-12-26 2002-07-12 Toshiba Corp 中空モータおよび光波距離計
JP2006521536A (ja) 2002-11-26 2006-09-21 ジェームス エフ． マンロ 高精度の距離測定装置およびその方法
EP1524494A1 (en) 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
JP2005321547A (ja) 2004-05-07 2005-11-17 Fujinon Corp 光源装置
US20050248749A1 (en) 2004-05-10 2005-11-10 Ibeo Automobile Sensor Gmbh Method and an apparatus for distance measurement
FR2870428A1 (fr) 2004-05-11 2005-11-18 Gen Electric Machine a rayons x mobile
EP1600564A1 (de) * 2004-05-24 2005-11-30 Leica Geosystems AG Verfahren zur Steuerung einer oberflächenverändernden Maschine
EP1612511B1 (en) 2004-07-01 2015-05-20 Softkinetic Sensors Nv TOF rangefinding with large dynamic range and enhanced background radiation suppression
DE102005017624A1 (de) * 2005-04-15 2006-10-19 Robert Bosch Gmbh Verfahren zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen
US7336407B1 (en) 2005-07-28 2008-02-26 Lockheed Martin Corporation Scanner/pointer apparatus having super-hemispherical coverage
US7843448B2 (en) 2005-11-21 2010-11-30 Leica Geosystems Ag Identification of occluded edge regions from 3D point data
US7236299B1 (en) 2006-04-11 2007-06-26 Bae Systems Information And Electronic Systems Integration Inc. Compact periscopic beam director
US8490489B2 (en) 2006-11-10 2013-07-23 Siemens Medical Solutions Usa, Inc. Transducer array imaging system
CN101216562A (zh) 2007-01-05 2008-07-09 薛志强 激光测距系统
CN101256232A (zh) 2007-02-28 2008-09-03 电装波动株式会社 用于目标三维探测的激光雷达装置
CN101842661A (zh) * 2007-11-07 2010-09-22 电子地图有限公司 将范围传感器数据映射在图像传感器数据上的方法及布置
US8224097B2 (en) 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
WO2009155924A1 (en) 2008-06-27 2009-12-30 Danmarks Tekniske Universitet Rotating prism scanning device and method for scanning
NO332432B1 (no) 2008-08-12 2012-09-17 Kongsberg Seatex As System for deteksjon og avbildning av objekter i banen for marine fartoy
US8290305B2 (en) * 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
CA2753197C (en) * 2009-02-20 2018-09-11 Digital Signal Corporation System and method for generating three dimensional images using lidar and video measurements
US20120170029A1 (en) 2009-09-22 2012-07-05 ISC8 Inc. LIDAR System Comprising Large Area Micro-Channel Plate Focal Plane Array
US20110285981A1 (en) 2010-05-18 2011-11-24 Irvine Sensors Corporation Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR
US20120170024A1 (en) 2009-09-22 2012-07-05 Medhat Azzazy Long Range Acquisition and Tracking SWIR Sensor System Comprising Micro-Lamellar Spectrometer
US8488877B1 (en) 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
WO2011070927A1 (ja) 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US8396293B1 (en) 2009-12-22 2013-03-12 Hrl Laboratories, Llc Recognizing geometrically salient objects from segmented point clouds using strip grid histograms
US8620089B1 (en) 2009-12-22 2013-12-31 Hrl Laboratories, Llc Strip histogram grid for efficient segmentation of 3D point clouds from urban environments
US20130107243A1 (en) 2010-05-03 2013-05-02 Irvine Sensors Corporation Fast, High Resolution 3-D Flash LADAR Imager
KR101699844B1 (ko) * 2010-05-12 2017-01-25 삼성전자주식회사 움직임 보상 3차원 필터링 방법 및 장치
US9396545B2 (en) 2010-06-10 2016-07-19 Autodesk, Inc. Segmentation of ground-based laser scanning points from urban environment
US9031809B1 (en) * 2010-07-14 2015-05-12 Sri International Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
WO2012010839A1 (en) 2010-07-22 2012-01-26 Renishaw Plc Laser scanning apparatus and method of use
US8324775B2 (en) 2010-08-05 2012-12-04 Hiwin Mikrosystem Corp. Brush DC motor with reduction mechanism
US20120121166A1 (en) 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for three dimensional parallel object segmentation
WO2012073889A1 (ja) 2010-12-02 2012-06-07 株式会社マキタ 電動工具
JP5787699B2 (ja) 2010-12-06 2015-09-30 株式会社アルファラボ・ソリューション 像ぶれ補正ユニット、像ぶれ補正装置及び光学装置
US9470548B2 (en) 2011-01-31 2016-10-18 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
EP2682784B1 (en) 2011-03-02 2015-06-24 Toyota Jidosha Kabushiki Kaisha Laser radar device
US8581168B2 (en) 2011-03-29 2013-11-12 Flir Systems, Inc. Dual well read-out integrated circuit (ROIC)
US8605998B2 (en) 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
CN202182717U (zh) 2011-08-30 2012-04-04 公安部第三研究所 一种基于tdc技术的激光测距装置
KR101740259B1 (ko) 2011-10-07 2017-05-29 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
CN102508255A (zh) 2011-11-03 2012-06-20 广东好帮手电子科技股份有限公司 车载四线激光雷达系统及其电路、方法
US8798372B1 (en) 2012-03-07 2014-08-05 Hrl Laboratories, Llc Method for detecting bridges using lidar point cloud data
WO2013177650A1 (en) 2012-04-26 2013-12-05 Neptec Design Group Ltd. High speed 360 degree scanning lidar head
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US9453907B2 (en) 2012-08-15 2016-09-27 Digital Signal Corporation System and method for field calibrating video and lidar subsystems using facial features
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
CN102944224B (zh) 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知系统的工作方法
US20140132723A1 (en) 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures
CN103257342B (zh) 2013-01-11 2014-11-05 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法
JP2014145744A (ja) 2013-01-30 2014-08-14 Ricoh Co Ltd 物体検出装置
US8773182B1 (en) 2013-02-01 2014-07-08 Intel Corporation Stochastic beating time-to-digital converter (TDC)
EP2956891B1 (en) * 2013-02-18 2019-12-18 Tata Consultancy Services Limited Segmenting objects in multimedia data
US9128190B1 (en) 2013-03-06 2015-09-08 Google Inc. Light steering device with an array of oscillating reflective slats
JP6181388B2 (ja) 2013-03-08 2017-08-16 株式会社トプコン 計測装置
CN103257348B (zh) 2013-05-17 2015-05-20 南京航空航天大学 一种飞行器相对高度和相对姿态的测量系统及其测量方法
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9430822B2 (en) 2013-06-14 2016-08-30 Microsoft Technology Licensing, Llc Mobile imaging platform calibration
US8825260B1 (en) 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
CN103499819B (zh) 2013-09-22 2015-06-24 中国科学院光电技术研究所 一种目标视线角偏移量及距离的测量装置和方法
CN203645633U (zh) 2013-12-31 2014-06-11 青岛歌尔声学科技有限公司 红外信号放大电路
US10061111B2 (en) 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
JP6278721B2 (ja) 2014-01-31 2018-02-14 鎌倉光機株式会社 像安定化装置
US9633483B1 (en) 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
JP2015200555A (ja) 2014-04-08 2015-11-12 パナソニックＩｐマネジメント株式会社 距離測定装置
GB201407270D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd 3D data in underwater surveys
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
JP6249881B2 (ja) 2014-05-22 2017-12-20 オリンパス株式会社 固体撮像装置および撮像装置
CN103983963B (zh) 2014-06-09 2016-08-17 北京数字绿土科技有限公司 一种多站地基激光雷达数据的自动配准方法
US9211643B1 (en) * 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
WO2016023224A1 (en) 2014-08-15 2016-02-18 SZ DJI Technology Co., Ltd. System and method for automatic sensor calibration
JP6442193B2 (ja) 2014-08-26 2018-12-19 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
JP2016057108A (ja) 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
JP6132983B2 (ja) 2014-09-24 2017-05-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 雲台とそれを用いる画像形成装置、及び無人機
GB2532948B (en) 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
CN104463872B (zh) 2014-12-10 2018-01-12 武汉大学 基于车载LiDAR点云数据的分类方法
CN104600902A (zh) 2015-01-09 2015-05-06 广东韦达尔科技有限公司 一种空心电机
CN107110958B (zh) 2015-01-21 2020-11-17 三菱电机株式会社 激光雷达装置
WO2016127357A1 (zh) 2015-02-12 2016-08-18 中国科学技术大学 一种基于fpga的时间数字变换器
WO2016164280A1 (en) 2015-04-04 2016-10-13 Skylift Global Multi-rotor vehicle with yaw control and autorotation
GB2537681B (en) 2015-04-24 2018-04-25 Univ Oxford Innovation Ltd A method of detecting objects within a 3D environment
KR101665938B1 (ko) 2015-04-28 2016-10-13 전자부품연구원 미러 회전 방식의 다채널 라이더 스캐너 광학계
CN108400668B (zh) 2015-04-29 2020-10-23 深圳市大疆灵眸科技有限公司 电机、动力装置及使用该动力装置的无人飞行器
EP3098626B1 (de) 2015-05-29 2021-05-19 Hexagon Technology Center GmbH Zeitmessschaltung und optoelektronischer distanzmesser mit einer ebensolchen zeitmessschaltung
CN107850445B (zh) * 2015-08-03 2021-08-27 通腾全球信息公司 用于生成及使用定位参考数据的方法及系统
US9760996B2 (en) 2015-08-11 2017-09-12 Nokia Technologies Oy Non-rigid registration for large-scale space-time 3D point cloud alignment
CN108603758A (zh) 2015-11-30 2018-09-28 卢米诺技术公司 具有分布式激光器和多个传感器头的激光雷达系统和激光雷达系统的脉冲激光器
US9644857B1 (en) * 2015-12-01 2017-05-09 Nasser Ashgriz Virtual thermostat for a zonal temperature control
US10242455B2 (en) 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US20170242104A1 (en) * 2016-02-18 2017-08-24 Aeye, Inc. Ladar Transmitter with Induced Phase Drift for Improved Gaze on Scan Area Portions
CN105759253B (zh) 2016-03-02 2018-01-12 四川经曼光电科技有限公司 激光扫描测距仪
CN105628026B (zh) * 2016-03-04 2018-09-14 深圳大学 一种移动物体的定位定姿方法和系统
WO2017204998A2 (en) 2016-04-29 2017-11-30 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
CN106019923B (zh) 2016-05-18 2018-11-13 中国科学技术大学 一种基于fpga的时间数字变换器
CN106093963B (zh) * 2016-05-31 2018-08-24 中铁第四勘察设计院集团有限公司 一种提高铁路车载激光雷达扫描数据精度的方法
CN106019296A (zh) 2016-07-26 2016-10-12 北醒（北京）光子科技有限公司 一种混合固态多线光学扫描测距装置
CN106093958A (zh) 2016-08-24 2016-11-09 武汉万集信息技术有限公司 基于双apd的激光测距方法及装置
US10210320B2 (en) * 2016-09-21 2019-02-19 Lextron Systems, Inc. System and method for secure 5-D user identification
CN106597414B (zh) 2016-10-18 2020-01-10 浙江大学 一种定标偏振激光雷达增益比的方法
EP4253153A3 (en) * 2016-11-01 2024-01-10 Panasonic Intellectual Property Corporation of America Display method and display device
CN106570905B (zh) * 2016-11-02 2019-05-24 北京控制工程研究所 一种非合作目标点云初始姿态验证方法
CN106597416B (zh) * 2016-11-18 2019-04-09 长安大学 一种地面GPS辅助的LiDAR数据高程差的误差修正方法
US10866101B2 (en) 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
CN107037721B (zh) 2017-06-16 2019-06-21 中国科学技术大学 一种自修正型时间数字转换器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071121A1 (en) * 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance

Also Published As

Publication number Publication date
EP3631508A1 (en) 2020-04-08
CN110914703A (zh) 2020-03-24
WO2019023892A1 (en) 2019-02-07
US20190043170A1 (en) 2019-02-07
US11238561B2 (en) 2022-02-01
KR20200015722A (ko) 2020-02-12
US20220138908A1 (en) 2022-05-05
US11961208B2 (en) 2024-04-16
EP3631508A4 (en) 2020-06-24
US10152771B1 (en) 2018-12-11

Similar Documents

Publication Publication Date Title
KR102284565B1 (ko) 포인트 클라우드에서의 모션 기반 부정확성의 정정
US20210124029A1 (en) Calibration of laser and vision sensors
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
CN109521756B (zh) 用于无人驾驶车辆的障碍物运动信息生成方法和装置
US20210096230A1 (en) Calibration of laser sensors
KR102032070B1 (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
US9274526B2 (en) Autonomous vehicle and method of estimating self position of autonomous vehicle
JP7314411B2 (ja) 移動ロボットの障害物情報感知方法、装置
KR101711964B1 (ko) 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
KR102547274B1 (ko) 이동 로봇 및 이의 위치 인식 방법
US20190050649A1 (en) Information processing apparatus, moving object, information processing method, and computer program product
US11415686B2 (en) Method of modelling a scanning distance sensor for prototyping parameters of such sensor and/or for prototyping software processing the output of such sensor
Sakic et al. Camera-LIDAR object detection and distance estimation with application in collision avoidance system
US9440651B2 (en) Method and device for monitoring a setpoint trajectory of a vehicle
US11645762B2 (en) Obstacle detection
CN112651535A (zh) 局部路径规划方法、装置、存储介质、电子设备及车辆
US20200118285A1 (en) Device and method for determining height information of an object in an environment of a vehicle
EP4134625A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
US20230009736A1 (en) Adaptive motion compensation of perception channels
Vu et al. Targeted trajectories optimization from 2D LIDAR measurements
Baumann et al. Introducing L-Shaping for a Streamlined Lidar-Based Perception in Urban Platooning
CN114509079A (zh) 用于自主驾驶的地面投影的方法和系统
CN117519124A (zh) 自移动设备的避障方法、自移动设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant