KR20220042436A - 자율 운반체들을 제어하기 위한 방법, 디바이스 및 시스템 - Google Patents

자율 운반체들을 제어하기 위한 방법, 디바이스 및 시스템 Download PDF

Info

Publication number
KR20220042436A
KR20220042436A KR1020227007203A KR20227007203A KR20220042436A KR 20220042436 A KR20220042436 A KR 20220042436A KR 1020227007203 A KR1020227007203 A KR 1020227007203A KR 20227007203 A KR20227007203 A KR 20227007203A KR 20220042436 A KR20220042436 A KR 20220042436A
Authority
KR
South Korea
Prior art keywords
autonomous vehicle
safety
environment
objects
model
Prior art date
Application number
KR1020227007203A
Other languages
English (en)
Inventor
니자르 살렘
리차드 자보
Original Assignee
지멘스 일렉트로닉 디자인 오토메이션 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 일렉트로닉 디자인 오토메이션 게엠베하 filed Critical 지멘스 일렉트로닉 디자인 오토메이션 게엠베하
Publication of KR20220042436A publication Critical patent/KR20220042436A/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

자율 운반체들을 제어하기 위한 방법, 디바이스 및 시스템이 개시된다. 컨트롤러는, 자율 운반체를 제어하도록 구성되는 펌웨어 모듈을 포함하고, 펌웨어 모듈은, 자율 운반체를 제어하기 위한 긴급 제어 신호들을 생성하기 위해 자율 운반체의 환경 모델에서 안전 필수 컴포넌트들을 프로세싱하도록 구성되는 이벤트 모듈, 및 자율 운반체의 센싱 유닛들로부터의 센서 데이터의 트랜잭션 프로세싱에 의해 환경 모델을 업데이트하도록 구성되는 트랜잭션 모듈을 포함하여, 환경 모델의 안전 필수 컴포넌트들과 비-안전 필수 컴포넌트들 중 적어도 하나가 업데이트되게 한다.

Description

자율 운반체들을 제어하기 위한 방법, 디바이스 및 시스템
관련 출원에 대한 상호 참조
본 출원은, 2019년 8월 06일자로 출원되고 발명의 명칭이 "Method, Device and System for managing autonomous vehicles"인 미국 가특허 출원 제62/883,362호에 대한 우선권을 주장하고, 이 미국 가특허 출원의 전체 내용이 본 명세서에 포함된다.
기술적 배경
본 발명은 육상, 수상 및 공중 이동이 가능한 자율 운반체(autonomous vehicle)들에 관한 것이다. 특히, 본 발명은 자율 운반체들을 제어하는 것에 관한 것이다.
자율 운반체들은, 내비게이션을 위해 사용되는 다수의 센싱 및 액추에이팅 유닛(sensing and actuating unit)들을 포함한다. 자율 운반체들은, 제어 및 감독을 위해 센싱 및 액추에이팅 유닛들과 인터페이싱하는 컨트롤러들을 또한 포함한다.
컨트롤러들이, 증가된 수의 복잡한 시나리오들을 인지하고 이에 대처할 필요가 있을 수도 있다. 컨트롤러는 자율 운반체들과 연관된 정보를 안전 필수 정보(safety critical information) 및 지식 베이스(knowledge base)로 분류할 수도 있다. 분류는, 안전 필수 정보 및 지식 베이스가, 상이한 프로세싱 요건들을 갖는다는 것을 인지한다. 예를 들어, 안전 필수 정보의 프로세싱이 가능한 한 빨리 수행될 필요가 있다. 이것은 위기 상황의 회피를 가능하게 할 수도 있다. 다른 한편으로, 지식 베이스는 정확성을 향상시키기 위해 센서 데이터의 심층적 프로세싱을 요구할 수도 있다. 정확성이 높을수록, 컨트롤러는 더 양호한 판정들을 행하는 것이 가능할 수도 있다.
상이한 요건들을 해결하기 위한 한 가지 접근법은 안전 필수 정보 프로세싱과 정확성 사이의 트레이드오프에 도달하는 것에 의한 것이다. 그러나, 환경의 복잡성이 트레이드오프에 영향을 미칠 수도 있다. 예를 들어, 비어 있는 환경은 막혀 있는 환경보다 덜 복잡하다. 덜 복잡한 환경으로부터 복잡한 환경으로의 변경이 매우 신속하게 발생할 수도 있다. 그에 따라, 트레이드오프를 가짐으로써, 자율 운반체들은 실시간으로 준최적 레벨(sub-optimal level)들에서 동작할 수도 있다.
본 발명은 안전 필수 정보를 디커플링(decoupling)함으로써 자율 운반체를 제어하기 위한 방법, 디바이스 및 시스템을 개시한다. 추가로, 본 발명은 정확성을 유지하면서 안전 필수 정보의 프로세싱을 가능하게 하기 위한 안전 필수 정보와 지식 베이스 사이의 링크를 개시한다.
본 발명의 제1 양태는 적어도 하나의 자율 운반체를 제어하기 위한 컨트롤러이다. 컨트롤러는, 자율 운반체를 제어하도록 구성되는 펌웨어 모듈을 포함한다. 펌웨어 모듈은, 자율 운반체를 제어하기 위한 긴급 제어 신호들을 생성하기 위해 자율 운반체의 환경 모델에서 안전 필수 컴포넌트(safety critical component)들을 프로세싱하도록 구성되는 이벤트 모듈을 포함한다. 본 명세서에서 사용되는 바와 같이, 환경 모델은 지식 베이스로서 작용하고, 자율 운반체 및 그 자율 운반체와 연관된 환경의 디지털 표현이다. 본 명세서에서 사용되는 바와 같이, 안전 필수 컴포넌트들은, 환경 및 자율 운반체의 안전에 필수적인 디지털 표현으로부터의 데이터를 포함한다. 펌웨어 모듈은, 자율 운반체의 센싱 유닛들로부터의 센서 데이터의 트랜잭션 프로세싱에 의해 환경 모델을 업데이트하도록 구성되는 트랜잭션 모듈을 또한 포함하여, 환경 모델의 안전 필수 컴포넌트들 및/또는 비-안전 필수 컴포넌트들이 업데이트되게 한다. 본 명세서에서 사용되는 바와 같이, 비-안전 필수 컴포넌트들은, 환경 및/또는 자율 운반체의 안전에 필수적이지 않은 환경 모델로부터의 데이터를 포함한다.
일 실시예에서, 이벤트 모듈은 트랜잭션 모듈에 대한 업데이트와 관계없이 안전 필수 컴포넌트들을 프로세싱하고 긴급 제어 신호들을 생성하도록 구성될 수도 있다.
또 다른 실시예에서, 트랜잭션 모듈은 센서 데이터와 예측된 업데이트들 중 적어도 하나를 사용하여 환경 모델 상에서 수행되는 트랜잭션들로서 업데이트들을 정의하도록 구성될 수도 있고, 여기서 트랜잭션들은 점유 맵(occupancy map)에서의 객체 파라미터들의 삽입, 삭제, 수정을 포함하고, 여기서 트랜잭션들은, 원자적이고 복구가능한 동작들로서 실행된다.
본 발명의 제2 양태는 적어도 하나의 자율 운반체를 제어하기 위한 시스템이다. 시스템은, 자율 운반체의 환경을 표시하는 센서 데이터를 생성하도록 구성되는 센싱 유닛들을 포함한다. 본 명세서에서 사용되는 바와 같이, 센서 데이터는 환경에서의 객체들 및 자율 운반체의 포지션, 위치를 표시한다. 시스템은, 본 명세서에서 상술된 바와 같은 컨트롤러를 또한 포함한다. 컨트롤러는 센싱 유닛들에 통신가능하게 커플링되고, 자율 운반체의 동작을 제어하는 제어 신호들을 생성하도록 구성된다. 시스템은, 제어 신호들에 기초하여 자율 운반체의 동작을 제어하도록 구성되는 액추에이팅 유닛들을 포함할 수도 있다.
본 발명의 제3 양태는 적어도 하나의 자율 운반체를 제어하는 방법이다. 방법은, 자율 운반체의 환경 모델에서 안전 필수 컴포넌트들을 식별하는 단계를 포함한다. 환경 모델은, 자율 운반체 및 그 자율 운반체와 연관된 환경의 디지털 표현이다. 안전 필수 컴포넌트들은, 환경 및 자율 운반체의 안전에 필수적인 디지털 표현으로부터의 데이터를 포함한다. 방법은, 안전 필수 컴포넌트들에 기초하여 자율 운반체의 동작을 제어하기 위한 긴급 제어 신호들을 생성하는 단계를 포함한다. 방법은, 자율 운반체에서의 센싱 유닛들로부터의 센서 데이터의 트랜잭션 프로세싱에 의해 환경 모델을 업데이트하는 단계를 더 포함하여, 환경 모델의 안전 필수 컴포넌트들과 비-안전 필수 컴포넌트들 중 적어도 하나가 업데이트되게 하고, 여기서 비-안전 필수 컴포넌트들은, 환경 및 자율 운반체의 안전에 필수적이지 않은 환경 모델로부터의 데이터를 포함한다.
일 실시예에서, 방법은, 환경 모델에 대한 업데이트들을 환경 모델 상에서 수행될 트랜잭션들로서 정의하는 단계를 포함할 수도 있고, 여기서 업데이트들은 센서 데이터와 예측된 업데이트들 중 하나에 기초한다. 추가로, 방법은, 트랜잭션들을, 원자적이고 복구가능한 동작들로서 실행하는 단계를 포함할 수도 있고, 여기서 트랜잭션들은 점유 맵에서의 객체 파라미터들의 삽입, 삭제, 수정을 포함한다.
본 발명의 상기에 언급된 그리고 다른 피처(feature)들은 이제 본 발명의 첨부 도면들을 참조하여 다루어질 것이다. 예시된 실시예들은 본 발명을 제한하는 것이 아니라, 예시하는 것으로 의도된다.
본 발명은 첨부 도면들에 도시된 예시된 실시예들을 참조하여 이하에서 추가로 설명되고, 여기서:
도 1은 본 발명의 일 실시예에 따른, 센서 데이터의 분류의 블록 다이어그램을 예시한다.
도 2는 본 발명의 일 실시예에 따른, 자율 차량(autonomous car)을 제어하기 위한 컨트롤러의 블록 다이어그램을 예시한다.
도 3은 본 발명의 일 실시예에 따른, 무인 공중 운반체(unmanned aerial vehicle)를 제어하기 위한 시스템의 블록 다이어그램을 예시한다.
도 4는 본 발명의 일 실시예에 따른, 도 2의 컨트롤러 및 도 3의 시스템에 의해 사용되는 솔루션 스택의 블록 다이어그램을 예시한다.
도 5는 본 발명의 일 실시예에 따른, 하나 이상의 자율 운반체들을 제어하는 방법을 예시한다.
이하, 본 발명을 수행하기 위한 실시예들이 상세히 설명된다. 다양한 실시예들이 도면들을 참조하여 설명되고, 여기서 동일한 참조 번호들은 전체에 걸쳐 동일한 요소들을 지칭하기 위해 사용된다. 다음의 설명에서, 설명의 목적을 위해, 다수의 특정 세부사항들이 하나 이상의 실시예들의 완전한 이해를 제공하기 위해 제시된다. 그러한 실시예들은 이들 특정 세부사항들 없이 실시될 수도 있다는 것이 명백할 수도 있다.
도 1은 본 발명의 일 실시예에 따른, 센싱 유닛들(102, 104 및 106)로부터의 센서 데이터의 분류의 블록 다이어그램을 예시한다.
센싱 유닛들(102, 104 및 106)은, 카메라들, 광 검출 및 레인징(Light Detection and Ranging)(LiDAR), 레이더, 글로벌 포지셔닝 시스템(Global Positioning System)(GPS) 센서들, 관성 측정 유닛(Inertial Measurement Unit)(IMUs) 등을 포함하지만 이에 한정되지 않는 센서들이다. 이에 따라, 센싱 유닛들(102, 104 및 106)은, 자율 운반체 및 연관된 환경에 대한 정보를 제공하는 것이 가능한 임의의 시스템/디바이스를 지칭한다.
도 1에서, 센싱 유닛(102)은 컴포넌트(110)에 통신가능하게 커플링된다. 센싱 유닛들(104 및 106)은 컴포넌트(115)에 통신가능하게 커플링된다. 일 실시예에서, 컴포넌트(110)는 무인 공중 운반체(즉, 자율 운반체)의 랜딩 기어이고 컴포넌트(115)는 후드이다. 무인 공중 운반체(UAV)의 실시예에서, 센싱 유닛(102)은 UAV 아래의 환경에 관한 정보를 제공하도록 구성된다. 유사하게, UAV 위의 환경은 센싱 유닛들(104 및 106)에 의해 감지된다.
다른 실시예에서, 컴포넌트(110)는 자율 차량의 전방 도어이고 컴포넌트(115)는 전방 범퍼이다. 센싱 유닛들(102)은 측면 충돌 및 차선 이탈의 결정을 가능하게 하기 위한 정보를 제공하도록 구성된다. 센싱 유닛들(104 및 106)은 패스 클리어런스(path clearance)에 관한 정보를 제공한다.
이에 따라, 센싱 유닛들(102, 104 및 106)로부터의 센서 데이터는 환경에 관한 정보를 제공한다. 개별적으로, 센싱 유닛들(102, 104 및 106)로부터의 센서 데이터는 환경의 포괄적인 이해를 제공하지 않을 수도 있다. 이에 따라, 센서 데이터는 융합되어 지식 데이터베이스(160)에 저장될 수도 있다.
포함하는 지식 데이터베이스(160)는, 환경 및 자율 운반체의 환경 모델을 저장하는 데이터베이스이다. 환경 모델은, 환경 및 자율 운반체의 실시간의 디지털 표현이다.
환경 모델은, 환경 및 자율 운반체에서의 객체들의 객체 리스트를 포함한다. 본 명세서에서 사용되는 바와 같이, 객체들은, 자율 운반체에 또는 환경에 있을 수도 있는, 생명 있는 객체들(living objects), 생명 없는 객체들(non-living objects), 생물 객체들 및 무생물 객체들 중 적어도 하나를 포함한다. 예를 들어, 객체들은 자율 운반체에서의 승객, 보행자들, 다른 운반체들, 건물들 등을 포함한다.
추가로, 환경 모델은, 객체들 및 연관된 객체 파라미터들의 점유 맵을 포함한다. 본 명세서에서 사용되는 바와 같이, 객체 파라미터들은 시간 인스턴스에서의 객체들의 스테이터스(status) 및 자율 운반체에 대한 객체들의 관계를 정의한다. 예를 들어, 객체들과 자율 운반체 사이의 공간 관계가 점유 맵에 저장된다.
환경 모델에서의 안전 필수 컴포넌트들(140)이 프로세싱을 위해 추출된다. 안전 필수 컴포넌트들(140)은 환경 모델에서의 안전 필수 데이터(150)에 기초하여 식별된다. 안전 필수 데이터(150)는, 객체들 및 자율 운반체의 안전에 필수적인 객체 파라미터들을 표시한다. 안전 필수 컴포넌트들(140)은 즉각적인 프로세싱을 요구하고 그에 따라 딜레이 없이 프로세싱된다.
안전 필수 컴포넌트들(140)의 프로세싱은 액추에이터 유닛들(130)에 대한 제어 신호들 및/또는 긴급 시스템들(120)에 대한 긴급 제어 신호들의 생성으로 이어질 수도 있다. 본 명세서에서 사용되는 바와 같이, 긴급 시스템들(120)은, 자율 운반체 및 객체들의 안전을 담당하는 액추에이터 유닛들을 포함한다. 예를 들어, 긴급 시스템들(120)은 자율 운반체의 제동 유닛 또는 에어백 유닛을 포함한다.
액추에이터 유닛들(130)은, 거동에 영향을 미치는 자율 운반체의 임의의 컴포넌트를 포함한다. 예를 들어, 액추에이팅 유닛들(130)은 속도 컨트롤러들, 엔진, 프로펠러들, 랜딩 기어 및 섀시 컨트롤러들 등을 포함한다. 액추에이터 유닛들(130)은 비-위기 시나리오들의 경우 자율 운반체를 제어하는 데 또한 사용될 수도 있다.
환경 모델은 안전 필수 컴포넌트들(140)이 프로세싱된 후에 업데이트될 수도 있다. 일 실시예에서, 환경 모델은 각각의 업데이트를 트랜잭션으로서 정의함으로써 업데이트된다. 트랜잭션들은 점유 맵에서의 객체 파라미터들의 삽입, 삭제, 수정을 포함한다. 트랜잭션들은, 원자적이고 복구가능한 동작으로서 실행된다. 이에 따라, 트랜잭션 기반으로 업데이트하는 것은, 환경 모델에 대한 업데이트들이 완료되고 환경 모델이 신뢰될 수 있다는 것을 보장한다. 이에 따라, 어떤 경우에도, 최신 환경 모델에의 보증된 액세스가 보장된다.
도 1은 상이한 센싱 유닛들(102, 104 및 106)을 사용하여 환경으로부터 수집된 정보에 기초하여 자율 운반체를 제어하는 프로세스를 또한 예시한다. 센서 데이터는 환경의 제1 표현을 구축하기 위해 중앙 포인트 또는 지식 데이터베이스(160)에서 수집된다. 제1 표현은 상기에서 환경 모델이라고 지칭된다. 자율 운반체의 안전에 필수적인 표현의 일부가 그 표현의 나머지로부터 디커플링된다. 환경 모델은 안전 필수 컴포넌트들(140)과 비-안전 필수 컴포넌트들 양측 모두에 액세스가능하다. 안전 필수 컴포넌트들(140)은 이 정보를 액세스의 시간에 완전한 것으로서 간주하고 그것에 기초하여 작동한다. 비-안전 필수 컴포넌트들은 다음의 것에 의해 환경 모델을 추가로 증류(distill)할 수 있다:
1. 자율 운반체 및 환경의 안전과 직접적으로 관련되지 않은 센싱 유닛들로부터의 정보를 삽입함.
2. 시간 경과에 따라 정보를 집계함
3. 현재 관찰들에 비추어 과거 지식을 해석함
상기의 프로세스는 하나 이상의 자율 운반체들을 제어하기 위한 컨트롤러를 사용하여 수행된다. 도 2는 본 발명의 일 실시예에 따른, 자율 차량(280)을 제어하기 위한 컨트롤러(200)의 블록 다이어그램을 예시한다.
자율 차량(280)에는 다수의 센싱 유닛들(282, 284 및 286)이 제공된다. 센싱 유닛들(282, 284 및 286)은 자율 차량(280) 및 그 차량(280)과 연관된 환경(290)에 관한 정보를 수집하도록 구성된다. 자율 차량(280)은 액추에이팅 유닛들(도 2에 도시되지 않음)을 포함한다. 센싱 유닛들(282, 284 및 286) 및 액추에이팅 유닛들은 컨트롤러(200)에 통신가능하게 커플링된다.
컨트롤러(200)는 펌웨어 모듈(210)을 포함한다. 본 명세서에서 사용되는 바와 같이, 펌웨어 모듈(210)은, 소프트웨어 명령어들을 실행 및 저장하는 것이 가능한 하드웨어 및 메모리를 지칭한다. 본 명세서에서 사용되는 바와 같이, "메모리"는, 일시적 전파 신호를 제외한 모든 컴퓨터 판독가능 매체들, 예를 들어, 비휘발성 매체들, 휘발성 매체들, 및 송신 매체들을 지칭한다. 메모리는 모듈들, 예를 들어, 환경 모듈(220), 이벤트 모듈(230), 트랜잭션 모듈(240) 및 예측 모듈(250)에 의해 정의되는 컴퓨터 프로그램 명령어들을 저장한다. 펌웨어(210)의 아키텍처가 도 4에서 추가로 설명된다.
펌웨어 모듈(210)에서의 모듈들의 실행 시에, 컨트롤러(200)는 자율 차량(280)을 제어하는 것이 가능하다. 모듈들 각각이 이하에 논의된다.
환경 모듈(220)은 센싱 유닛들(282, 284 및 286)에 의해 생성된 센서 데이터로부터 환경 모델을 생성하도록 구성된다. 환경 모델은, 센서 데이터로부터 생성되는 디지털 표현이다. 환경 모듈(220)은 센서 융합 알고리즘들을 사용하여 디지털 표현을 구축하도록 구성된다. 일 실시예에서, 센서 융합 알고리즘들이 실행되어 그에 의해 센서 데이터가 분석되어 차량(280) 및 환경(290)에서의 객체 리스트를 생성한다. 이에 따라, 환경 모델은, 생명 있는 객체들, 생명 없는 객체들, 생물 객체들 및 무생물 객체들과 같은 객체들을 갖는 객체 리스트를 포함한다. 추가로, 환경 모델은, 객체들 및 연관된 객체 파라미터들의 점유 맵을 포함한다. 객체 파라미터들은 시간 인스턴스에서의 객체들의 스테이터스 및 자율 차량(280)에 대한 객체들의 관계를 정의한다. 예를 들어, 객체들의 관계는 공간적으로 정의될 수도 있다.
환경 모델은 컨트롤러가 환경(290)을 해석하는 것을 가능하게 한다. 추가로, 차량(280)의 현재 그리고 예상된 상태가 차량(280)에 대한 궤적 계획을 수행하는 데 사용된다. 추가로, 환경 모델은 차량(280)에 대한 루트 계획을 가능하게 하기 위해 연속적으로 업데이트된다. 환경 모델을 업데이트하는 것은, 환경 모델의 무결성이 유지되도록 분할가능한 업데이트들로서 수행될 수도 있다.
이벤트 모듈(230)은 자율 차량(280) 및 환경(290)의 환경 모델에서 안전 필수 컴포넌트들을 프로세싱하도록 구성된다. 이벤트 모듈(220)은 자율 차량(280)을 제어하기 위한 긴급 제어 신호들을 생성하도록 추가로 구성된다. 안전 필수 컴포넌트들은, 환경(290) 및 자율 차량(280)의 안전에 필수적인 환경 모델로부터의 데이터를 포함한다. 예를 들어, 환경(290)에서의 방해 객체가 차량(280), 차량(280) 내의 객체들 및 환경(290)의 안전에 필수적일 수도 있다.
환경 모델은 방해 객체의 정보에 기초하여 분석된다. 긴급 제어 신호들을 생성하는 동안 객체의 분류가 고려되지 않을 수도 있다. 예를 들어, 환경 모델은 객체를 보행자 대신에 나무로서 잘못 분류할 수도 있다. 환경 모델은 객체를 보행자로서 올바르게 분류하도록 업데이트될 수도 있다. 그럼에도 불구하고, 객체를 회피하기로 한 판정은 차량(280), 차량(280)에서의 객체들 및 객체/보행자의 보호를 보장한다. 이에 따라, 이벤트 모듈(230)은 긴급 제어 신호들을 생성하기 위해 환경 모델에 대한 업데이트에 관계없이 안전 필수 컴포넌트들을 프로세싱하도록 구성된다. 본 명세서에서 사용되는 바와 같이, "긴급 제어 신호들"은, 우선순위로 차량(280)의 거동을 제어하기 위해 차량(280)의 액추에이터 유닛들에 전송되는 제어 신호들이다. 제어 신호들은 또한 차량(280)에서의 에어백 유닛과 같은 긴급 시스템들에게 전송될 수도 있다.
환경 모델을 업데이트하는 것이 트랜잭션 모듈(240)에 의해 수행된다. 센서 데이터의 트랜잭션 프로세싱에 의해 환경 모델을 업데이트하도록 구성된다. 본 명세서에서 사용되는 바와 같이, "트랜잭션 프로세싱"은, 센서 데이터를, 트랜잭션들이라고 불리는, 개별적이고 분할가능하지 않은 동작들로 분할하는 기법을 지칭한다. 전체적으로 완료되거나 또는 실패한다. 이에 따라, 트랜잭션이 완료되었거나, 또는 그것은 실패 후에 "롤백(roll back)"되었다. 트랜잭션 프로세싱은, 환경 모델의 무결성이, 알려진 일관된 상태로 유지되기 때문에 유리하다.
트랜잭션 모듈(240)은 환경 모델의 안전 필수 컴포넌트들과 비-안전 필수 컴포넌트들 중 적어도 하나를 업데이트하도록 구성된다. 비-안전 필수 컴포넌트들은, 환경 및 자율 운반체의 안전에 필수적이지 않은 환경 모델로부터의 데이터를 포함한다. 일 실시예에서, 트랜잭션 모듈(240)은 센서 데이터 또는 센서 데이터에 대한 예측된 업데이트들 중 어느 하나를 사용하여 환경 모델 상에서 수행되는 트랜잭션들로서 업데이트들을 정의하도록 구성된다. 예를 들어, 객체가 움직이기 시작하는 경우, 움직임 방향의 예측된 업데이트들이 환경 모델에서 업데이트될 수도 있다. 트랜잭션들은 점유 맵에서의 객체 파라미터들의 삽입, 삭제, 수정을 포함하고, 여기서 트랜잭션들은, 원자적이고 복구가능한 동작들로서 실행된다. 추가로, 트랜잭션 모듈(240)은, 2개의 트랜잭션들이, 동일한 시간에 환경 모델을 수정할 수 없도록 구성된다.
예측 모듈(250)은 이력 센서 데이터에 기초하여 환경 모델에 대한 업데이트들을 예측하도록 구성된다. 예를 들어, 동일한 시간에 대한 전날로부터의 센서 데이터가 참조로서 사용되어 가능한 보행자 트래픽을 예측한다. 예측된 업데이트들은 트랜잭션 모듈(240)에 의해 사용되어, 환경 모델을 업데이트하는 트랜잭션들을 정의한다. 예측 모듈(250)은 실시간으로 수신된 센서 데이터의 관점에서 이력 센서 데이터를 해석하는 데 사용된다. 그에 따라, 업데이트되었을 때의 환경 모델은, 컨트롤러(200)가, 정보에 입각한 판정들을 행하는 것이 가능해진다.
컨트롤러(200)는 그것이 가능한 가장 낮은 레이턴시(latency)로 안전 관련 정보를 제공함으로써 안전 요건을 만족시키기 때문에 유리하다. 추가로, 컨트롤러(200)는 성능을 저해하거나 또는 안전을 희생시키는 일 없이 환경(290)에서 잠재적으로 이용가능한 지식을 최대한 활용한다. 이벤트 모듈(230)과 트랜잭션 모듈(240)의 조합 그것은 센싱 유닛들(282, 284 및 286)로부터 수신된 센서 데이터가 항상 액세스가능할 것임을 보증한다.
이벤트 모듈(230)은 컨트롤러(200)가 다음의 것임을 보장한다:
반응성: 이벤트(즉, 안전 필수 컴포넌트)가 식별되자마자, 가능한 최소한의 딜레이로 컨트롤러(200)에 의해 적절한 액션이 취해질 수 있다.
유연성: 안전 필수 컴포넌트들은 계층 구조(hierarchy)로 조직화되어 환경 모델에서 특정 객체 파라미터들에게 더 높은 중요성을 부여할 수 있다. 추가로, 식별되는 안전 필수 컴포넌트들에 기초하여 구성될 수 있는 액션들이 트리거될 수 있다.
트랜잭션 모듈(240)은 또한, 컨트롤러(200)가, 최소 응답 시간으로 업데이트들에 응답하는 것을 가능하게 한다. 추가로, 컨트롤러(200)는 환경 모델을 업데이트하면서 이벤트들을 프로세싱하는 것이 가능하다. 부가적으로, 환경의 데이터 무결성이 항상 보호된다. 추가로, 컨트롤러(200)는 모듈화될 수 있고, 센서 데이터가, 컨트롤러를 사용해야 하는 더 큰 또는 더 많은 컴포넌트들이 됨에 따라 증분 비용(incremental cost)으로 확장될 수 있다.
특정 실시예들에서, 컨트롤러(200)는, 센서 데이터가 모든 레벨들에서 실시간으로 융합되는 중앙 센싱 유닛을 포함할 수도 있다. 그러한 제어 시스템이 도 3에 개시된다.
도 3은 본 발명의 일 실시예에 따른, 무인 공중 운반체(380)를 제어하기 위한 시스템(300)의 블록 다이어그램을 예시한다.
무인 공중 운반체(380)는 자율 운반체이고 다수의 액추에이터 유닛들을 포함한다. 도 3에서, 예시적인 액추에이터 유닛들, 예를 들어, 스티어링 유닛(322), 프로펠러(324), 제동 유닛(326) 및 랜딩 유닛(328)이 표시되어 있다. 추가로, 무인 공중 운반체(380)와 시스템(300)을 연결하는 것은 프로그래밍가능 네트워크 인터페이스(350)이다.
네트워크 인터페이스(350)는 유선 및 무선 통신 표준들 중 하나 이상을 사용하여 센싱 유닛들, 액추에이팅 유닛들 및/또는 컨트롤러(200) 간의 통신을 제공하도록 구성된다. 예를 들어, 유선 통신 표준들은 주변기기 컴포넌트 인터커넥트 익스프레스(Peripheral Component Interconnect Express)(PCI-e) 및 기가비트 이더넷(Gigabit Ethernet) 및 플랫 패널 디스플레이 링크(Flat Panel Display Link)(FPD-Link)를 포함한다. 무선 통신 표준은 블루투스(Bluetooth), 지그비(ZigBee), 초광대역(Ultra Wide Band)(UWB) 및 무선 로컬 영역 네트워크(Wireless Local Area Network)(WLAN)를 포함할 수도 있다. 네트워크 인터커넥트(350)의 예들은 컨트롤러 영역 네트워크(Controller Area Network)(CAN), 로컬 인터커넥트 네트워크(Local Interconnect Network)(LIN) 및 자동차용 이더넷(Automotive Ethernet)을 포함한다.
시스템(300)은 센싱 유닛(310), 컨트롤러(200) 및 프로그래밍가능 네트워크 인터페이스(350)를 포함한다. 센싱 유닛(310)은 데이터 수집 디바이스들, 즉, 센서들 및/또는 프로세서들의 조합을 포함한다. 센싱 유닛(310)에는, 상이한 타입들/포맷들(2D, 3D, ADC 등)을 갖는 센서 데이터가 융합된다. 추가로, 환경 모듈(220)과 조합하여, 다양한 프레임 레이트들의 센서 데이터가, 환경 모델이라고 지칭되는, 하나의 시간 및 공간적으로 싱크된 뷰로 조합된다. 환경 모델은 환경(390) 및 무인 공중 운반체(280)의 디지털 표현을 제공한다.
무인 공중 운반체(380)가 동작 중일 때, 컨트롤러(200)는 이벤트들을 프로세싱하고 환경 모델을 업데이트하는 데 사용되며, 컨트롤러(200)의 동작은 도 2에 제공된 설명과 유사하다. 일 실시예에서, 컨트롤러(200)는 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array)(FPGA) 환경 모델 생성 및 센서 데이터 융합을 포함한다. 추가로, 컨트롤러(200)는, 이벤트 모듈(230), 트랜잭션 모듈(240) 및 예측 모듈(250)을 실행하기 위한 시스템 온 칩(System on Chip)(SOC)을 포함할 수도 있다. 일 실시예에서, 컨트롤러(200)는, 네트워크 인터페이스(350)를 동작시키기 위한 마이크로 컨트롤러 유닛(Micro Controller Unit)(MCU)을 포함한다.
본 발명은, 환경 모델의 이벤트 프로세싱 및 트랜잭션 기반으로 업데이트하는 것을 가능하게 하기 위한 솔루션 스택(400)을 더 포함한다. 도 4는 본 발명의 일 실시예에 따른, 컨트롤러(200) 및 시스템(300)에 의해 사용되는 솔루션 스택(400)의 블록 다이어그램을 예시한다.
스택(400)은 하드웨어 계층(495)을 포함한다. 하드웨어 계층(495)은 하나 이상의 중앙 프로세싱 유닛들 및/또는 FPGA들을 포함할 수도 있다. 하드웨어 계층(495) 위에는 운영 체제 계층(490)이 있다. 일 실시예에서, 본 발명의 모듈들(220, 230, 240 및 250)에 의해 실행되는 로직은 하드웨어 계층(495) 및 운영 체제 계층(490)과 독립적이다.
운영 체제 계층(490) 위에는 미들웨어 계층(480)이 있다. 미들웨어 계층(480)은 런타임 동적 라이브러리들 및/또는 전송 라이브러리들을 포함할 수도 있다. 추가로, 미들웨어 계층(480)은 운영 체제 추상화를 위한 추상화 라이브러리들을 포함할 수도 있다.
운영 체제 계층(480)은 코드 생성기 계층(450)이 선행된다. 코드 생성기 계층(450)은 시스템 런타임 인스턴스 계층(470) 및 컴포넌트 인터페이스들(462, 464 및 468)을 포함한다. 코드 생성기 계층(450)은 도메인 특정 언어로부터의 코드를 합성한다. 코드 생성기 계층(450)은, 런타임 인스턴스 및 인터페이스를 갖는 패키지를 생성한다. 인스턴스들은, 컴포넌트 계층에 정의된 컴포넌트들로부터 이루어진다.
코드 생성기 계층(450) 위에는 시스템 설명 계층(410)이 있다. 시스템 설명 계층(410)은 각각의 컴포넌트(420, 430 및 440)에 대해 정의된다. 각각의 컴포넌트는 타입 계층(422, 432, 442)을 각각 포함한다. 추가로, 각각의 컴포넌트는 컴포넌트 계층(424, 434, 444)을 각각 포함한다.
시스템 설명 계층(410)은 환경 모델에 대한 업데이트들이 설명되는 것을 가능하게 한다. 설명은, 미리 결정된 관계들에 기초하여 연결되는 컴포넌트들의 인스턴스들의 관점들에 있다. 각각의 컴포넌트는, 시스템에서 태스크를 갖는 시맨틱 엔티티(semantic entity)에 대응할 수도 있다. 컴포넌트는, 환경 모델에 대한 업데이트들을 생성 및 프로세싱하는 시스템의 일부들이다. 업데이트들은 타입 계층(422, 432, 442)을 사용하여 설명될 수도 있다.
도 5는 본 발명의 일 실시예에 따른, 하나 이상의 자율 운반체들을 제어하는 방법(500)을 예시한다. 방법은 자율 운반체에서의 센싱 유닛들로부터 센서 데이터를 수신함으로써 단계 510에서 시작된다. 센서 데이터는, 레이더, 광 검출 및 레인징(LIDAR), 비전 및 다른 센서들로부터의 실시간의 필터링되지 않은 원시 데이터를 포함할 수도 있다.
단계 520에서, 센서 데이터로부터 환경 모델이 생성된다. 환경 모델은, 자율 운반체 및 그 자율 운반체와 연관된 환경의 디지털 표현이다. 본 명세서에서 사용되는 바와 같이, 환경 모델은, 센서 융합 기법들을 사용하여 센서 데이터에 기초하여 생성되는 제1 디지털 표현을 또한 포함할 수도 있다. 제1 디지털 표현은 환경 모델이 동적으로 진화할 잠재력을 표시한다. 일 실시예에서, 컨트롤러는 원시 센서 데이터 상에서 센서 융합 알고리즘들을 실행하고, 운반체 및 그 운반체와 연관된 환경의 객체 리스트를 생성할 것이다. 환경은 운반체의 주변들을 포함한다.
환경 모델은, 환경 및 자율 운반체에서의 객체들의 객체 리스트 및 점유 맵을 포함할 수도 있다. 객체들은, 생명 있는 객체들, 생명 없는 객체들, 생물 객체들 및 무생물 객체들 중 적어도 하나를 포함한다. 운반체에 대한 객체들의 관계가 점유 맵에서 매핑된다. 이에 따라, 단계 520은, 객체들 및 연관된 객체 파라미터들의 맵을 포함하는 점유 맵을 생성하는 단계를 또한 포함한다. 객체 파라미터들은 시간 인스턴스에서의 객체들의 스테이터스 및 자율 운반체에 대한 객체들의 관계를 정의한다.
단계 530에서, 환경 모델에서의 안전 필수 컴포넌트들이 식별된다. 안전 필수 컴포넌트들은, 환경 및 자율 운반체의 안전에 필수적인 디지털 표현으로부터의 데이터를 포함한다. 예를 들어, 환경 또는 자율 운반체에서의 객체들에 상해를 야기시킬 수도 있는 장애물. 안전 필수 컴포넌트들은 환경 모델에서 안전 필수 데이터를 결정함으로써 식별된다. 예를 들어, 객체 파라미터들은 안전 필수 데이터를 결정하는 데 사용될 수도 있다.
단계 540에서, 안전 필수 컴포넌트들에 기초하여 자율 운반체의 동작을 제어하기 위해 긴급 제어 신호들이 생성된다. 긴급 제어 신호들은 환경 모델의 진화와 관계없이 생성된다. 예를 들어, 환경과 자율 운반체의 제1 디지털 표현은 완전한 것으로 간주된다. 그에 따라, 안전 필수 컴포넌트들은 더 높은 정확성을 위해 환경 모델을 업데이트하는 프로세스로부터 디커플링된다.
단계 550에서, 환경 모델에 대한 업데이트들이 이력 센서 데이터에 기초하여 예측될 수도 있다. 이들 업데이트들은 머신 학습을 위한 진보된 뉴럴 네트워킹 알고리즘들을 사용하여 앞선 환경 조건들에 기초하여 예측된다.
단계 560에서 환경 모델이 업데이트된다. 업데이트하는 단계는, 환경 모델에 대한 업데이트들을 환경 모델 상에서 수행될 트랜잭션들로서 정의하는 단계를 포함한다. 업데이트들은 센서 데이터 및/또는 예측된 업데이트들에 기초할 수도 있다. 트랜잭션들은 점유 맵에서의 객체 파라미터들의 삽입, 삭제, 수정을 포함한다.
환경 모델은 트랜잭션들의 트랜잭션 프로세싱에 의해 업데이트된다. 트랜잭션 프로세싱에서, 트랜잭션들은, 원자적이고 복구가능한 동작들로서 실행된다. 실행 동안 환경 모델의 안전 필수 컴포넌트들 및/또는 비-안전 필수 컴포넌트들이 업데이트된다. 본 명세서에서 사용되는 바와 같이, 비-안전 필수 컴포넌트들은, 환경 및 자율 운반체의 안전에 필수적이지 않은 환경 모델로부터의 데이터를 포함한다.
본 발명은 하나 이상의 컴퓨터들, 프로세서들, 또는 명령어 실행 시스템에 의해 또는 그와 관련하여 사용하기 위한 프로그램 코드를 저장하는 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체로부터 액세스가능한 프로그램 모듈들을 포함하는 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 이 설명의 목적을 위해, 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체는, 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 프로그램을 포함, 저장, 통신, 전파, 또는 전송할 수 있는 임의의 장치일 수 있다. 그 매체는 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템(또는 장치 또는 디바이스) 또는 전파 매체들 그 자체일 수 있는데, 이는 반도체 또는 솔리드 스테이트 메모리, 자기 테이프, 제거가능 컴퓨터 디스켓, 랜덤 액세스 메모리(random access memory)(RAM), 판독 전용 메모리(read only memory)(ROM), 강성 자기 디스크 및 광학 디스크 예컨대 콤팩트 디스크 판독 전용 메모리(compact disk read-only memory)(CD-ROM), 콤팩트 디스크 판독/기입, 및 DVD를 포함하는 물리적 컴퓨터 판독가능 매체의 정의에 신호 캐리어들이 포함되지 않기 때문이다. 기술의 각각의 양태를 구현하기 위한 프로그램 코드와 프로세서들 양측 모두는 본 기술분야의 통상의 기술자들에게 알려진 바와 같이 중앙집중화 또는 분산될(또는 이들의 조합으로 될) 수 있다.
본 발명이 특정 실시예들을 참조하여 상세히 설명되었지만, 본 발명은 이들 실시예들로 제한되지 않는다는 것이 인식되어야 한다. 본 개시내용의 관점에서, 본 명세서에서 설명되는 바와 같은, 본 발명의 다양한 실시예들의 범주로부터 벗어남이 없이 많은 수정들 및 변형들이 그 자체로 본 기술분야의 통상의 기술자들에게 제시될 것이다. 그에 따라, 본 발명의 범주는 전술한 설명에 의해서보다는 오히려 다음의 청구범위에 의해 표시된다. 청구범위의 등가의 의미 및 범위 내에서 발생하는 모든 변경들, 수정들, 및 변형들은 이들의 범주 내에서 고려되어야 한다. 방법 청구항들에서 청구되는 모든 유리한 실시예들이 시스템/장치 청구항들에도 또한 적용될 수도 있다.

Claims (15)

  1. 적어도 하나의 자율 운반체(autonomous vehicle)를 제어하기 위한 컨트롤러로서,
    상기 컨트롤러는:
    상기 자율 운반체를 제어하도록 구성되는 펌웨어 모듈
    을 포함하고,
    상기 펌웨어 모듈은:
    상기 자율 운반체를 제어하기 위한 긴급 제어 신호들을 생성하기 위해 상기 자율 운반체의 환경 모델에서 안전 필수 컴포넌트(safety critical component)들을 프로세싱하도록 구성되는 이벤트 모듈 -
    상기 환경 모델은, 상기 자율 운반체 및 상기 자율 운반체와 연관된 환경의 디지털 표현이고,
    상기 안전 필수 컴포넌트들은, 상기 환경 및 상기 자율 운반체의 안전에 필수적인 상기 디지털 표현으로부터의 데이터를 포함함 -; 및
    상기 자율 운반체의 센싱 유닛(sensing unit)들로부터의 센서 데이터의 트랜잭션 프로세싱에 의해 상기 환경 모델을 업데이트하도록 구성되는 트랜잭션 모듈
    을 포함하여,
    상기 환경 모델의 안전 필수 컴포넌트들과 비-안전 필수 컴포넌트들 중 적어도 하나가 업데이트되게 하고,
    상기 비-안전 필수 컴포넌트들은, 상기 환경 및 자율 운반체의 안전에 필수적이지 않은 상기 환경 모델로부터의 데이터를 포함하는, 컨트롤러.
  2. 제1항에 있어서,
    상기 이벤트 모듈은 상기 긴급 제어 신호들을 생성하기 위해 상기 환경 모델의 업데이트와 관계없이 상기 안전 필수 컴포넌트들을 프로세싱하도록 구성되고, 상기 긴급 제어 신호들은 우선순위로 상기 자율 운반체의 거동을 제어하는, 컨트롤러.
  3. 제1항에 있어서,
    상기 펌웨어 모듈은:
    상기 센싱 유닛들에 의해 생성된 센서 데이터로부터 상기 환경 모델을 생성하도록 구성되는 환경 모듈; 및
    이력 센서 데이터에 기초하여 상기 환경 모델에 대한 업데이트들을 예측하도록 구성되는 예측 모듈
    을 더 포함하는, 컨트롤러.
  4. 제1항에 있어서,
    상기 환경 모델은:
    상기 환경 및 상기 자율 운반체에서의 객체들의 객체 리스트 - 상기 객체들은, 생명 있는 객체들(living objects), 생명 없는 객체들(non-living objects), 생물 객체들 및 무생물 객체들 중 적어도 하나를 포함함 -; 및
    상기 객체들 및 연관된 객체 파라미터들의 점유 맵(occupancy map)
    을 더 포함하고,
    상기 객체 파라미터들은 시간 인스턴스에서의 상기 객체들의 스테이터스(status) 및 상기 자율 운반체에 대한 상기 객체들의 관계를 정의하는, 컨트롤러.
  5. 제4항에 있어서,
    상기 트랜잭션 모듈은 상기 센서 데이터와 예측된 업데이트들 중 적어도 하나를 사용하여 상기 환경 모델 상에서 수행되는 트랜잭션들로서 상기 업데이트들을 정의하도록 구성되고, 상기 트랜잭션들은 상기 점유 맵에서의 상기 객체 파라미터들의 삽입, 삭제, 수정을 포함하고, 상기 트랜잭션들은, 원자적이고 복구가능한 동작들로서 실행되는, 컨트롤러.
  6. 적어도 하나의 자율 운반체를 제어하기 위한 시스템으로서,
    상기 자율 운반체의 환경을 표시하는 센서 데이터를 생성하도록 구성되는 센싱 유닛들 - 상기 센서 데이터는 상기 환경에서의 객체들 및 자율 운반체의 포지션, 위치를 표시함 -; 및
    상기 센싱 유닛들에 통신가능하게 커플링되고, 상기 자율 운반체의 동작을 제어하는 제어 신호들을 생성하도록 구성되는 컨트롤러
    를 포함하고,
    상기 컨트롤러는:
    상기 자율 운반체를 제어하도록 구성되는 펌웨어 모듈:
    상기 자율 운반체를 제어하기 위한 긴급 제어 신호들을 생성하기 위해 상기 자율 운반체의 환경 모델에서 안전 필수 컴포넌트들을 프로세싱하도록 구성되는 이벤트 모듈 -
    상기 환경 모델은, 상기 자율 운반체 및 상기 자율 운반체와 연관된 환경의 디지털 표현이고,
    상기 안전 필수 컴포넌트들은, 상기 환경 및 상기 자율 운반체의 안전에 필수적인 상기 디지털 표현으로부터의 데이터를 포함함 -; 및
    상기 자율 운반체의 센싱 유닛들로부터의 센서 데이터의 트랜잭션 프로세싱에 의해 상기 환경 모델을 업데이트하도록 구성되는 트랜잭션 모듈
    을 포함하여,
    상기 환경 모델의 안전 필수 컴포넌트들과 비-안전 필수 컴포넌트들 중 적어도 하나가 업데이트되게 하고,
    상기 비-안전 필수 컴포넌트들은, 상기 환경 및 자율 운반체의 안전에 필수적이지 않은 상기 환경 모델로부터의 데이터를 포함하는, 시스템.
  7. 제6항에 있어서,
    유선 및 무선 통신 표준들 중 하나 이상을 사용하여 상기 센싱 유닛들, 액추에이팅 유닛(actuating unit)들 및 컨트롤러 중 적어도 하나 간에서 통신을 제공하도록 구성되는 프로그래밍가능 네트워크 인터페이스, 및
    상기 제어 신호들에 기초하여 상기 자율 운반체의 동작을 제어하도록 구성되는 액추에이팅 유닛들
    을 더 포함하는, 시스템.
  8. 제6항에 있어서,
    상기 센싱 유닛들은 카메라, 광 검출 및 레인징(Light Detection and Ranging)(LiDAR), 레이더, 글로벌 포지셔닝 시스템(Global Positioning System)(GPS) 센서들 중 적어도 하나를 포함하고, 액추에이팅 유닛들은 속도 컨트롤러, 엔진, 프로펠러, 랜딩 기어 및 섀시 컨트롤러 중 하나를 포함하는, 시스템.
  9. 적어도 하나의 자율 운반체를 제어하는 방법으로서,
    상기 자율 운반체의 환경 모델에서 안전 필수 컴포넌트들을 식별하는 단계 - 상기 환경 모델은, 상기 자율 운반체 및 상기 자율 운반체와 연관된 환경의 디지털 표현이고, 상기 안전 필수 컴포넌트들은, 상기 환경 및 상기 자율 운반체의 안전에 필수적인 디지털 표현으로부터의 데이터를 포함함 -;
    상기 안전 필수 컴포넌트들에 기초하여 상기 자율 운반체의 동작을 제어하기 위한 긴급 제어 신호들을 생성하는 단계;
    상기 자율 운반체에서의 센싱 유닛들로부터의 센서 데이터의 트랜잭션 프로세싱에 의해 상기 환경 모델을 업데이트하여, 상기 환경 모델의 안전 필수 컴포넌트들과 비-안전 필수 컴포넌트들 중 적어도 하나가 업데이트되게 하는 단계를 포함하고, 상기 비-안전 필수 컴포넌트들은, 상기 환경 및 자율 운반체의 안전에 필수적이지 않은 상기 환경 모델로부터의 데이터를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 자율 운반체에서의 센싱 유닛들로부터 센서 데이터를 수신하는 단계;
    센서 융합 기법들을 적용함으로써 상기 센서 데이터로부터 상기 환경 모델을 생성하는 단계
    를 더 포함하고,
    상기 환경 모델은 상기 환경 및 상기 자율 운반체에서의 객체들의 객체 리스트 및 점유 맵을 더 포함하고, 상기 객체들은, 생명 있는 객체들, 생명 없는 객체들, 생물 객체들 및 무생물 객체들 중 적어도 하나를 포함하는, 방법.
  11. 제10항에 있어서,
    상기 환경 모델을 생성하는 단계는:
    상기 객체들 및 연관된 객체 파라미터들의 맵을 포함하는 점유 맵을 생성하는 단계
    를 더 포함하고,
    상기 객체 파라미터들은 시간 인스턴스에서의 상기 객체들의 스테이터스 및 상기 자율 운반체에 대한 상기 객체들의 관계를 정의하는, 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    이력 센서 데이터에 기초하여 상기 환경 모델에 대한 업데이트들을 예측하는 단계
    를 더 포함하는, 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 트랜잭션 프로세싱에 의해 상기 환경 모델을 업데이트하는 단계는:
    상기 환경 모델에 대한 업데이트들을 상기 환경 모델 상에서 수행될 트랜잭션들로서 정의하는 단계
    를 더 포함하고,
    상기 업데이트들은 상기 센서 데이터와 상기 예측된 업데이트들 중 하나에 기초하는, 방법.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 트랜잭션들을, 원자적이고 복구가능한 동작들로서 실행하는 단계
    를 더 포함하고,
    상기 트랜잭션들은 상기 점유 맵에서의 상기 객체 파라미터들의 삽입, 삭제, 수정을 포함하는, 방법.
  15. 머신 판독가능 명령어들을 저장하는 컴퓨터 판독가능 매체로서,
    상기 머신 판독가능 명령어들은, 프로세싱 유닛에 의해 실행될 때, 상기 프로세싱 유닛으로 하여금:
    자율 운반체의 환경 모델에서 안전 필수 컴포넌트들을 식별하는 단계 - 상기 환경 모델은, 상기 자율 운반체 및 상기 자율 운반체와 연관된 환경의 디지털 표현이고, 상기 안전 필수 컴포넌트들은, 상기 환경 및 상기 자율 운반체의 안전에 필수적인 디지털 표현으로부터의 데이터를 포함함 -;
    상기 안전 필수 컴포넌트들에 기초하여 상기 자율 운반체의 동작을 제어하기 위한 긴급 제어 신호들을 생성하는 단계;
    상기 자율 운반체에서의 센싱 유닛들로부터의 센서 데이터의 트랜잭션 프로세싱에 의해 상기 환경 모델을 업데이트하는 단계
    를 수행하게 하여, 상기 환경 모델의 안전 필수 컴포넌트들과 비-안전 필수 컴포넌트들 중 적어도 하나가 업데이트되게 하고, 상기 비-안전 필수 컴포넌트들은, 상기 환경 및 자율 운반체의 안전에 필수적이지 않은 상기 환경 모델로부터의 데이터를 포함하는, 컴퓨터 판독가능 매체.
KR1020227007203A 2019-08-06 2020-06-23 자율 운반체들을 제어하기 위한 방법, 디바이스 및 시스템 KR20220042436A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962883362P 2019-08-06 2019-08-06
US62/883,362 2019-08-06
PCT/EP2020/067489 WO2021023429A1 (en) 2019-08-06 2020-06-23 Method, device and system for controlling autonomous vehicles

Publications (1)

Publication Number Publication Date
KR20220042436A true KR20220042436A (ko) 2022-04-05

Family

ID=71607912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227007203A KR20220042436A (ko) 2019-08-06 2020-06-23 자율 운반체들을 제어하기 위한 방법, 디바이스 및 시스템

Country Status (6)

Country Link
US (1) US20220289246A1 (ko)
EP (1) EP3983862B1 (ko)
JP (1) JP2022543559A (ko)
KR (1) KR20220042436A (ko)
CN (1) CN114616528A (ko)
WO (1) WO2021023429A1 (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4852753B2 (ja) * 2006-05-24 2012-01-11 国立大学法人鳥取大学 学習機能をもつ自律移動ロボット
JP2009116860A (ja) * 2007-10-19 2009-05-28 Yamaha Motor Powered Products Co Ltd 車両
US8732591B1 (en) * 2007-11-08 2014-05-20 Google Inc. Annotations of objects in multi-dimensional virtual environments
US9588871B1 (en) * 2015-04-14 2017-03-07 Don Estes & Associates, Inc. Method and system for dynamic business rule extraction
CN106564495B (zh) * 2016-10-19 2018-11-06 江苏大学 融合空间和动力学特性的智能车辆安全驾驶包络重构方法
US10794711B2 (en) * 2016-12-30 2020-10-06 DeepMap Inc. High definition map updates based on sensor data collected by autonomous vehicles
US10627812B2 (en) * 2017-02-14 2020-04-21 Honda Research Institute Europe Gmbh Risk based driver assistance for approaching intersections of limited visibility
US10101745B1 (en) * 2017-04-26 2018-10-16 The Charles Stark Draper Laboratory, Inc. Enhancing autonomous vehicle perception with off-vehicle collected data
JP6838241B2 (ja) * 2017-06-01 2021-03-03 日立Astemo株式会社 移動体挙動予測装置
KR102073861B1 (ko) * 2018-01-17 2020-02-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Also Published As

Publication number Publication date
JP2022543559A (ja) 2022-10-13
EP3983862A1 (en) 2022-04-20
CN114616528A (zh) 2022-06-10
US20220289246A1 (en) 2022-09-15
EP3983862B1 (en) 2024-04-03
WO2021023429A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
Kuutti et al. A survey of deep learning applications to autonomous vehicle control
US11288963B2 (en) Autonomous vehicles featuring vehicle intention system
CN113056749B (zh) 用于自主机器应用的未来对象轨迹预测
JP2023514905A (ja) 自律型車両のためのビヘイビア・プランニング
CN108216249B (zh) 用于车辆的周围环境检测的系统和方法
CN112085165A (zh) 一种决策信息生成方法、装置、设备及存储介质
JP2022542053A (ja) 自律車両の安全停止解放をもたらすためのシステム及び方法
JP2023024276A (ja) 譲るシナリオにおける自律型車両のための行動計画立案
EP3983862B1 (en) Method, device and system for controlling autonomous vehicles
JP2023066377A (ja) 自律システム及びアプリケーションのための人工知能を使用した点群高密度化を有する3d表面再構成
US20240169111A1 (en) Parameterizing hot starts to maximize test repeatability
US11904909B2 (en) Enabling ride sharing during pandemics
US20230084623A1 (en) Attentional sampling for long range detection in autonomous vehicles
US20240184691A1 (en) Testing software changes and determining a repeatability of software tests
US20230331252A1 (en) Autonomous vehicle risk evaluation
US20230196731A1 (en) System and method for two-stage object detection and classification
US20220398412A1 (en) Object classification using augmented training data
US20240092375A1 (en) Autonomous vehicle sensor calibration algorithm evaluation
US20240149907A1 (en) Measuring environmental divergence in a simulation using object occlusion estimation
US20240087377A1 (en) Intelligent components for localized decision making
US20240184258A1 (en) Systems and techniques for validating a simulation framework
US20240166222A1 (en) Measuring simulation realism
US20240168169A1 (en) Attributing sensor realism gaps to sensor modeling parameters
US20230143761A1 (en) Object tracking using semantic attributes
US20240095578A1 (en) First-order unadversarial data generation engine

Legal Events

Date Code Title Description
E902 Notification of reason for refusal