KR20240030846A - 차량 포즈를 추정하는 방법 및 장치 - Google Patents

차량 포즈를 추정하는 방법 및 장치 Download PDF

Info

Publication number
KR20240030846A
KR20240030846A KR1020220111991A KR20220111991A KR20240030846A KR 20240030846 A KR20240030846 A KR 20240030846A KR 1020220111991 A KR1020220111991 A KR 1020220111991A KR 20220111991 A KR20220111991 A KR 20220111991A KR 20240030846 A KR20240030846 A KR 20240030846A
Authority
KR
South Korea
Prior art keywords
information
vehicle
yaw
roll
pitch
Prior art date
Application number
KR1020220111991A
Other languages
English (en)
Inventor
이시드로 페드로
체르니코프 올레그
차네프 도이친
루키치 루카
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Publication of KR20240030846A publication Critical patent/KR20240030846A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/16—Pitch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/18—Roll
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

실시예들에 따른 차량은 차량을 위한 포인트 클라우드를 획득하는 라이다 센서; 차량의 제어를 위한 차량 제어 네트워크부; 차량의 동작을 추정하는 모션부; 라이다의 지면을 추정하는 제어부; 및 차량의 포즈를 보정하는 자동 캘리브레이션부; 를 포함하고, 라이다 센서는 시간 정보를 획득하고, 차량 제어 네트워크부는 차량의 스피드 및 요 레이브 정보를 처리하고, 모션부는 차량에 대한 동작 정보 및 추정 정보를 산출하고, 제어부는 차량에 대한 지면 정보 및 추정 정보를 산출하고, 자동 캘리브레이션부는 차량의 포즈 정보 및 추정 정보를 산출할 수 있다.

Description

차량 포즈를 추정하는 방법 및 장치{APPARATUS FOR ESTIMATING A VEHICEL BY USING A LIDAR SENSOR AND METHOD THEREOF }
본 실시예들은 모든 분야의 차량(vehicle)에 적용 가능하며, 보다 구체적으로 예를 들면, 차량의 동작을 추정하고 보상하는 기술에 적용될 수 있다.
LiDAR(Light Detection and Ranging) 센서는 카메라 및 레이더와 함께 첨단 운전자 지원 시스템(ADAS) 및 자율 주행(AD) 자동차 애플리케이션에 필요한 환경 인식에서 널리 사용된다. LiDAR는 환경에 대한 정확한 범위 측정을 제공하며, 이는 환경에서 움직이는 물체 및 정지된 물체까지의 정확한 거리를 추정하고 주행 가능한 경로의 장애물을 감지하는 데 필요하다.
상술한 바와 같은 문제점 등을 해결하기 위해 본 발명은 네트워크, 모션추정기술, 보정기술을 통해서, 차량의 포즈를 자동으로 추정하고 보상값을 산출할 수 있다. 차량의 센싱 기술의 정확도를 증가시킬 수 있다. 차량 운정하는 동안 자동 및 온라인으로 보정하는 절차가 필요하다. 라이다 센서와 결합한 차량을 위한 보정 절차가 요구된다. 따라서, 본 본 발명은 차량의 라이다 센싱 정보 및 위치 정보를 통해 신뢰할 수 있는 차량 정보를 생성할 수 있다.
본 발명에서 해결하고자 하는 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
실시예들에 따른 차량은 차량을 위한 포인트 클라우드를 획득하는 라이다 센서; 차량의 제어를 위한 차량 제어 네트워크부; 차량의 동작을 추정하는 모션부; 라이다의 지면을 추정하는 제어부; 및 차량의 포즈를 보정하는 자동 캘리브레이션부; 를 포함하고, 라이다 센서는 시간 정보를 획득하고, 차량 제어 네트워크부는 차량의 스피드 및 요 레이브 정보를 처리하고, 모션부는 차량에 대한 동작 정보 및 추정 정보를 산출하고, 제어부는 차량에 대한 지면 정보 및 추정 정보를 산출하고, 자동 캘리브레이션부는 차량의 포즈 정보 및 추정 정보를 산출할 수 있다.
실시예들은 드리프트를 보정하고 드라이브에 대한 센서 자세 변화를 감지할 수 있다. 실시예들은 다른 환경 센서의 보정에 의존하지 않으므로 다른 센서가 잘못 보정된 경우에도 센서 중복성을 유지할 수 있다. 6-DoF 포즈와 함께 각각의 불확실성을 추정하여 확실성을 설정할 수 있다. 이전 오프라인 보정 절차에 의존하지 않으므로 잠재적으로 쓸모없게 될 수 있으며, 이는 OEM 조립 라인과 자동차 수리점 서비스 모두에서 시간과 장비를 크게 절약할 수 있다.
도 1은 본 발명의 일실시예들 중 어느 하나에 의한 자율 주행 장치가 적용될 수 있는 자율 주행 제어 시스템의 전체 블록구성도이다.
도 2는 본 발명의 일실시예들 중 어느 하나에 의한 자율 주행 장치가 차량에 적용되는 예시를 보인 예시도이다.
도3은 실시예들에 따른 차량(Vehicle, V) 및 라이다(LiDAR, L) 좌표계를 나타낸다.
도4는 실시예들에 따른 AC 알고리즘을 위한 구조를 나타낸다.
도5는 실시예들에 따른 AC 방법을 나타낸다.
도6은 실시예들에 따른 차량 제어 방법을 나타낸다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일실시예들 중 어느 하나에 의한 자율 주행 장치가 적용될 수 있는 자율 주행 제어 시스템의 전체 블록구성도이다.
도 2는 본 발명의 일실시예들 중 어느 하나에 의한 자율 주행 장치가 차량에 적용되는 예시를 보인 예시도이다.
우선, 도 1 및 도 2를 참조하여 본 실시예들에 따른 자율 주행 장치가 적용될 수 있는 자율 주행 제어 시스템(예를 들어, 자율 주행 차량)의 구조 및 기능에 대하여 설명한다.
도 1에 도시된 바와 같이, 자율 주행 차량(1000)은, 운전 정보 입력 인터페이스(101), 주행 정보 입력 인터페이스(201), 탑승자 출력 인터페이스(301) 및 차량 제어 출력 인터페이스(401)를 통해 차량의 자율 주행 제어에 필요한 데이터를 송수신하는 자율 주행 통합 제어부(600)를 중심으로 구현될 수 있다. 다만, 자율 주행 통합 제어부(600)를, 당해 명세서 상에서 컨트롤러, 프로세서 또는 간단히 제어부로 지칭할 수도 있다.
자율 주행 통합 제어부(600)는 차량의 자율 주행 모드 또는 수동 주행 모드에서 사용자 입력부(100)에 대한 탑승자의 조작에 따른 운전 정보를 운전 정보 입력 인터페이스(101)를 통해 획득할 수 있다. 사용자 입력부(100)는 도 1에 도시된 바와 같이, 주행 모드 스위치(110) 및 컨트롤 패널(120)(예를 들어, 차량에 장착된 네비게이션 단말, 탑승자가 소지한 스마트폰 또는 태블릿 PC 등등)을 포함할 수 있으며, 이에 따라 운전 정보는 차량의 주행 모드 정보 및 항법 정보를 포함할 수 있다.
예를 들어, 주행 모드 스위치(110)에 대한 탑승자의 조작에 따라 결정되는 차량의 주행 모드(즉, 자율 주행 모드/수동 주행 모드 또는 스포츠 모드(Sports Mode)/에코 모드(Eco Mode)/안전 모드(Safe Mode)/일반 모드(Normal Mode))가 상기한 운정 정보로서 운전 정보 입력 인터페이스(101)를 통해 자율 주행 통합 제어부(600)로 전달될 수 있다.
또한, 탑승자가 컨트롤 패널(120)을 통해 입력하는 탑승자의 목적지, 목적지까지의 경로(목적지까지의 후보 경로 중 탑승자가 선택한 최단 경로 또는 선호 경로 등)와 같은 항법 정보가 상기한 운전 정보로서 운전 정보 입력 인터페이스(101)를 통해 자율 주행 통합 제어부(600)로 전달될 수 있다.
한편, 컨트롤 패널(120)은 차량의 자율 주행 제어를 위한 정보를 운전자가 입력하거나 수정하기 위한 UI (User Interface)를 제공하는 터치 스크린 패널로 구현될 수도 있으며, 이 경우 전술한 주행 모드 스위치(110)는 컨트롤 패널(120) 상의 터치 버튼으로 구현될 수도 있다.
또한, 자율 주행 통합 제어부(600)는 차량의 주행 상태를 나타내는 주행 정보를 주행 정보 입력 인터페이스(201)를 통해 획득할 수 있다. 주행 정보는 탑승자가 조향휠을 조작함에 따라 형성되는 조향각과, 가속 페달 또는 브레이크 페달을 답입함에 따라 형성되는 가속 페달 스트로크 또는 브레이크 페달의 스트로크와, 차량에 형성되는 거동으로서 차속, 가속도, 요, 피치 및 롤 등 차량의 주행 상태 및 거동을 나타내는 다양한 정보를 포함할 수 있으며, 상기 각 주행 정보는 도 1에 도시된 바와 같이, 조향각 센서(210), APS(Accel Position Sensor)/PTS(Pedal Travel Sensor)(220), 차속 센서(230), 가속도 센서(240), 요/피치/롤 센서(250)를 포함하는 주행 정보 검출부(200)에 의해 검출될 수 있다.
나아가, 차량의 주행 정보는 차량의 위치 정보를 포함할 수도 있으며, 차량의 위치 정보는 차량에 적용된 GPS(Global Positioning System) 수신기(260)를 통해 획득될 수 있다. 이러한 주행 정보는 주행 정보 입력 인터페이스(201)를 통해 자율 주행 통합 제어부(600)로 전달되어 차량의 자율 주행 모드 또는 수동 주행 모드에서 차량의 주행을 제어하기 위해 활용될 수 있다.
또한, 자율 주행 통합 제어부(600)는 차량의 자율 주행 모드 또는 수동 주행 모드에서 탑승자에게 제공되는 주행 상태 정보를 탑승자 출력 인터페이스(301)를 통해 출력부(300)로 전달할 수 있다. 즉, 자율 주행 통합 제어부(600)는 차량의 주행 상태 정보를 출력부(300)로 전달함으로써, 출력부(300)를 통해 출력되는 주행 상태 정보를 기반으로 탑승자가 차량의 자율 주행 상태 또는 수동 주행 상태를 확인하도록 할 수 있으며, 상기 주행 상태 정보는 이를테면 현재 차량의 주행 모드, 변속 레인지, 차속 등 차량의 주행 상태를 나타내는 다양한 정보를 포함할 수 있다.
또한, 자율 주행 통합 제어부(600)는 상기한 주행 상태 정보와 함께 차량의 자율 주행 모드 또는 수동 주행 모드에서 운전자에게 경고가 필요한 것으로 판단된 경우, 탑승자 출력 인터페이스(301)를 통해 경고 정보를 출력부(300)로 전달하여 출력부(300)가 운전자에게 경고를 출력하도록 할 수 있다. 이러한 주행 상태 정보 및 경고 정보를 청각적 및 시각적으로 출력하기 위해 출력부(300)는 도 1에 도시된 바와 같이 스피커(310) 및 디스플레이 장치(320)를 포함할 수 있다. 이때, 디스플레이 장치(320)는 전술한 컨트롤 패널(120)과 동일한 장치로 구현될 수도 있고, 분리된 독립적인 장치로 구현될 수도 있다.
또한, 자율 주행 통합 제어부(600)는 차량의 자율 주행 모드 또는 수동 주행 모드에서 차량의 주행 제어를 위한 제어 정보를 차량 제어 출력 인터페이스(401)를 통해 차량에 적용된 하위 제어 시스템(400)으로 전달할 수 있다. 차량의 주행 제어를 위한 하위 제어 시스템(400)은 도 1에 도시된 바와 같이 엔진 제어 시스템(410), 제동 제어 시스템(420) 및 조향 제어 시스템(430)을 포함할 수 있으며, 자율 주행 통합 제어부(600)는 상기 제어 정보로서 엔진 제어 정보, 제동 제어 정보 및 조향 제어 정보를 차량 제어 출력 인터페이스(401)를 통해 각 하위 제어 시스템(410, 420, 430)으로 전달할 수 있다. 이에 따라, 엔진 제어 시스템(410)은 엔진에 공급되는 연료를 증가 또는 감소시켜 차량의 차속 및 가속도를 제어할 수 있고, 제동 제어 시스템(420)은 차량의 제동력을 조절하여 차량의 제동을 제어할 수 있으며, 조향 제어 시스템(430)은 차량에 적용된 조향 장치(예: MDPS(Motor Driven Power Steering) 시스템)를 통해 차량의 조향을 제어할 수 있다.
상기한 것과 같이 본 실시예의 자율 주행 통합 제어부(600)는 운전 정보 입력 인터페이스(101) 및 주행 정보 입력 인터페이스(201)를 통해 운전자의 조작에 따른 운전 정보 및 차량의 주행 상태를 나타내는 주행 정보를 각각 획득하고, 자율 주행 알고리즘에 따라 생성되는 주행 상태 정보 및 경고 정보를 탑승자 출력 인터페이스(301)를 통해 출력부(300)로 전달할 수 있으며, 또한 자율 주행 알고리즘에 따라 생성되는 제어 정보를 차량 제어 출력 인터페이스(401)를 통해 하위 제어 시스템(400)으로 전달하여 차량의 주행 제어가 이루어지도록 동작할 수 있다.
한편, 차량의 안정적인 자율 주행을 보장하기 위해서는 차량의 주행 환경을 정확하게 계측함으로써 주행 상태를 지속적으로 모니터링하고 계측된 주행 환경에 맞추어 주행을 제어해야 할 필요가 있으며, 이를 위해 본 실시예의 자율 주행 장치는 도 1에 도시된 바와 같이 주변 차량, 보행자, 도로 또는 고정 시설물(예: 신호등, 이정표, 교통 표지판, 공사 펜스 등) 등 차량의 주변 객체를 검출하기 위한 센서부(500)를 포함할 수 있다.
센서부(500)는 도 1에 도시된 바와 같이 차량 외부의 주변 객체를 검출하기 위해 라이다 센서(510), 레이더 센서(520) 및 카메라 센서(530) 중 하나 이상을 포함할 수 있다.
라이다 센서(510)는 차량 주변으로 레이저 신호를 송신하고 해당 객체에 반사되어 되돌아오는 신호를 수신함으로써, 차량 외부의 주변 객체를 검출할 수 있으며, 그 사양에 따라 미리 정의되어 있는 설정 거리, 설정 수직 화각(Vertical Field Of View) 및 설정 수평 화각 범위(Vertical Field Of View) 이내에 위치한 주변 객체를 검출할 수 있다. 라이다 센서(510)는 차량의 전면, 상부 및 후면에 각각 설치되는 전방 라이다 센서(511), 상부 라이다 센서(512) 및 후방 라이다 센서(513)를 포함할 수 있으나, 그 설치 위치 및 설치 수는 특정 실시예로 제한되지 않는다. 해당 객체에 반사되어 되돌아오는 레이저 신호의 유효성을 판단하기 위한 임계값은 자율 주행 통합 제어부(600)의 메모리(미도시)에 미리 저장되어 있을 수 있으며, 자율 주행 통합 제어부(600)는 라이다 센서(510)를 통해 송신된 레이저 신호가 해당 객체에 반사되어 되돌아오는 시간을 측정하는 방식을 통해 해당 객체의 위치(해당 객체까지의 거리를 포함한다), 속도 및 이동 방향을 판단할 수 있다.
레이더 센서(520)는 차량 주변으로 전자파를 방사하고 해당 객체에 반사되어 되돌아오는 신호를 수신함으로써, 차량 외부의 주변 객체를 검출할 수 있으며, 그 사양에 따라 미리 정의되어 있는 설정 거리, 설정 수직 화각 및 설정 수평 화각 범위 이내에 위치한 주변 객체를 검출할 수 있다. 레이더 센서(520)는 차량의 전면, 좌측면, 우측면 및 후면에 각각 설치되는 전방 레이더 센서(521), 좌측 레이더 센서(521), 우측 레이더 센서(522) 및 후방 레이더 센서(523)를 포함할 수 있으나, 그 설치 위치 및 설치 수는 특정 실시예로 제한되지 않는다. 자율 주행 통합 제어부(600)는 레이더 센서(520)를 통해 송수신된 전자파의 파워(Power)를 분석하는 방식을 통해 해당 객체의 위치(해당 객체까지의 거리를 포함한다), 속도 및 이동 방향을 판단할 수 있다.
카메라 센서(530)는 차량 주변을 촬상하여 차량 외부의 주변 객체를 검출할 수 있으며, 그 사양에 따라 미리 정의되어 있는 설정 거리, 설정 수직 화각 및 설정 수평 화각 범위 이내에 위치한 주변 객체를 검출할 수 있다.
카메라 센서(530)는 차량의 전면, 좌측면, 우측면 및 후면에 각각 설치되는 전방 카메라 센서(531), 좌측 카메라 센서(532), 우측 카메라 센서(533) 및 후방 카메라 센서(534)를 포함할 수 있으나, 그 설치 위치 및 설치 수는 특정 실시예로 제한되지 않는다. 자율 주행 통합 제어부는 카메라 센서(530)를 통해 촬상된 이미지에 대하여 미리 정의된 영상 처리 프로세싱을 적용함으로써 해당 객체의 위치(해당 객체까지의 거리를 포함한다), 속도 및 이동 방향 등을 판단할 수가 있다.
또한, 차량 내부를 촬상하기 위한 내부 카메라 센서(535)가 차량의 내부의 소정 위치(예: 리어뷰 미러)에 장착되어 있을 수 있으며, 자율 주행 통합 제어부(600)는 내부 카메라 센서(535)를 통해 획득된 이미지를 기반으로 탑승자의 거동 및 상태를 모니터링하여 전술한 출력부(300)를 통해 탑승자에게 안내 또는 경고를 출력할 수도 있다.
라이다 센서(510), 레이더 센서(520) 및 카메라 센서(530) 뿐만 아니라, 센서부(500)는 도 1에 도시된 바와 같이 초음파 센서(540)를 더 포함할 수도 있으며, 이와 함께 차량의 주변 객체를 검출하기 위한 다양한 형태의 센서가 센서부(500)에 더 채용될 수도 있다.
도 2는 본 실시예의 이해를 돕기 위해 전방 라이다 센서(511) 또는 전방 레이더 센서(521)가 차량의 전면에 설치되고, 후방 라이다 센서(513) 또는 후방 레이더 센서(524)가 차량의 후면에 설치되며, 전방 카메라 센서(531), 좌측 카메라 센서(532), 우측 카메라 센서(533) 및 후방 카메라 센서(534)가 각각 차량의 전면, 좌측면, 우측면 및 후면에 설치된 예시를 도시하고 있으나, 전술한 것과 같이 각 센서의 설치 위치 및 설치 수는 특정 실시예로 제한되지 않는다.
나아가, 센서부(500)는 차량에 탑승한 탑승자의 상태 판단을 위해, 탑승자의 생체 신호(예: 심박수, 심전도, 호흡, 혈압, 체온, 뇌파, 혈류(맥파) 및 혈당 등)를 검출하기 위한 생체 센서를 더 포함할 수도 있으며, 생체 센서로는 심박수 센서, 심전도(Electrocardiogram) 센서, 호흡 센서, 혈압 센서, 체온 센서, 뇌파(Electroencephalogram) 센서, 혈류(Photoplethysmography) 센서 및 혈당 센서 등이 있을 수 있다.
마지막으로, 센서부(500)는 마이크(550)를 추가적으로 부가하고 있으며, 내부 마이크(551) 및 외부 마이크(552)는 각각 다른 용도를 위해 사용된다.
내부 마이크(551)는, 예를 들어 자율 주행 차량(1000)에 탑승한 탑승자의 음성을 AI 등에 기반하여 분석하거나 또는 직접적인 음성 명령에 즉각적으로 반응하기 위해 사용될 수 있다.
반면, 외부 마이크(552)는, 예를 들어 자율 주행 차량(1000)의 외부에서 발생하는 다양한 소리를 딥러닝등 다양한 분석툴로 분석하여 안전 운행 등에 적절히 대응하기 위한 용도로 사용될 수가 있다.
참고로, 도 2에 도시된 부호는 도 1에 도시된 부호와 동일 또는 유사한 기능을 수행할 수 있으며, 도 2는 도 1과 비교하여 각 구성요소들의 상대적 위치관계(자율 주행 차량(1000) 내부를 기준으로)를 보다 상세히 예시하였다.
LiDAR(Light Detection and Ranging) 센서는 카메라 및 레이더와 함께 첨단 운전자 지원 시스템(ADAS) 및 자율 주행(AD) 자동차 애플리케이션에 필요한 환경 인식에서 사용될 수 있다.
LiDAR는 환경에 대한 정확한 범위 측정을 제공하며, 이는 환경에서 움직이는 물체 및 정지된 물체까지의 정확한 거리를 추정하고 주행 가능한 경로의 장애물을 감지할 수 있다.
ADAS/AD 애플리케이션에 환경 인식 센서를 사용하려면 VRF(차량 기준 프레임)에 대한 센서의 자세, 즉 위치 및 방향을 알아야 센서의 판독값은 VRF에 표시될 수 있다. ADAS/AD용 VRF는 일반적으로 리어 액슬 위 또는 지면 바로 아래에서 리어 액슬(rear axle)의 중심으로 정의될 수 있다.
자세를 결정하는 과정은 일종의 외부 보정일 수 있다. 도로에서 차량이 운행되는 동안 수행되는 것을 오토 캘리브레이션Auto-Calibration(AC)이라고 지칭할 수 있다.
실시예들은 오프라인 LiDAR 보정을 개선할 수 있다. 이는 공장에서 EOL(End-Of-Line) 보정으로 수행되거나 수리점에서 서비스 보정으로 수행되며, 사고로 인한 충격으로 센서가 잘못 정렬되거나 수리를 위해 제거 및 재조립된 후에 수행되는 문제점이 있을 수 있다.
온라인 외부 교정에서 사용 가능한 리소스는 VRF가 아니라 두 개(또는 그 이상) 센서 간의 교정에만 관련될 수 있다.
오프라인 교정 절차는 크고 값비싼 교정 설정 또는 장비와 숙련된 기술자의 시간이 필요한 문제가 있다. 또한 이러한 일회성 보정 절차는 장기간의 센서 드리프트를 수정하거나 드라이브 간의 잘못된 보정을 감지할 수 없으므로 VRF에 표시된 센서 정보를 신뢰할 수 없다. 이를 위해서는 차량이 서비스 수명 동안 운전될 때 온라인으로 작동하는 보정 절차가 필요다. 실시예들은 LiDAR 센서에 대한 이러한 프로세스를 제공할 수 있다.
AC가 환경 센서 중 적어도 하나에 대해 수행되는 한 나머지는 기존 온라인 센서 대 센서 교정 절차를 통해 VRF에 대해 간접적으로 교정될 수 있다. 그러나 이것은 이중화의 안전 원칙을 위반하고 마스터 센서의 잠재적인 교정 문제를 다른 모든 센서에 노출시킬 수 있다. 따라서, 실시예들은 카메라, 초음파, 레이더와 같은 다른 ADAS 센서에 의존하지 않을 수 있다.
실시예들은 차량이 운전될 때 VRF에 대한 자동차 LiDAR 센서의 전체 6-DoF 자세를 초기 오프라인 보정 없이 각각의 불확실성과 함께 추정하는 방법을 포함한다. 이 방법에는 다음 정보가 필요할 수 있다: 표준 차량 주행 거리계 센서, 즉 휠 인코더의 속도 및 IMU(Inertial Measurement Unit, 관성 측정 장치)의 요 레이트(yaw rate ). 일반적인 LiDAR 인식 소프트웨어 모듈, 즉 접지면 및 자아 움직임 추정.
AC 알고리즘 자체는 접지면 및 자아 움직임 추정인ADAS/AD 인식 아키텍처에서 사용되는 다른(업스트림) 모듈에 대한 모든 무거운 포인트 클라우드 처리를 오프로드하기 때문에, 초경량일 수 있다. 업스트림 인식 모듈을 고려하면 자동차 등급 임베디드 보드에서 실시간, 즉 주파수 ≥20Hz에서 실행할 수 있는 것으로 입증되었다.
실시예들은 다음과 같은 효과를 제공할 수 있다. 실시예들에 따른 ADAS/AD 시스템은 장기간의 센서 자세 드리프트를 보정하고 드라이브 사이의 센서 자세 변화를 감지할 수 있다. 다른 환경 센서의 보정에 의존하지 않으므로 다른 센서가 잘못 보정된 경우에도 센서 중복성을 유지할 수 있다. 6-DoF 포즈와 함께 각각의 불확실성을 추정하여 출력의 각 소비자(예: 센서 융합)가 작동 확실성 임계값을 설정할 수 있다. 이러한 임계값은 수렴된 AC 결과를 NVM(Non-Volatile Memory)에 저장하는 데 사용할 수도 있으므로 각 작업 주기가 시작될 때 최신 AC를 제공할 수 있다. 이전 오프라인 보정 절차에 의존하지 않으므로 잠재적으로 쓸모없게 될 수 있으며, 이는 OEM 조립 라인과 자동차 수리점 서비스 모두에서 시간과 장비를 크게 절약할 수 있다.
실시예들에 따른 출력 정의(Output definition):
실시예들에 따른 방법은 LiDAR 포즈 w.r.t에 대한 추정치를 계산할 수 있다. 6개의 매개변수로 구성된 VRF는 다음과 같다.
여기서 처음 세 개는 직교 좌표의 위치를 인코딩하고 마지막 세 개는 각각 x, y 및 z축 주위의 Tait-Bryan 각도로 방향을 인코딩할 수 있다. 또한 각 매개변수의 추정치에 대한 불확실성도 분산 형태로 다음과 같이 계산될 수 있다.
VRF는 기본적으로 지면 수준에서 리어 액슬 중앙 아래에 원점이 있다. 대신 리어 액슬의 중심에 대한 보정이 필요한 경우 액슬 높이는 LiDAR에서 관찰할 수 없고 추정된 z 매개변수에서 단순히 빼기 때문에 수동으로 측정하고 제공해야 한다.
도3은 실시예들에 따른 차량(Vehicle, V) 및 라이다(LiDAR, L) 좌표계를 나타낸다.
도3은 도1-2의 실시예들에 따른 차량(300) 및 차량의 라이다에 관련된 좌표 정보를 도시한다. 차량(300)은 도1-2 차량에 대응할 수 있다.
도3은 실시예들에 따른 차량 기준 좌표계(V)와 차량 전면에 장착된 가상의 전방 LiDAR(L) 기준 좌표계(301)이다. 또한 롤(Roll), 피치(Pitch) 및 요(Yaw) 방향 각도의 축과 오른쪽 양의 방향이 표시된다.
실시예들에 따른 AC 방법/장치는 다음과 같은 기본 입력이 필요하다:
1. 휠 인코더의 차량 속도와 차량 CAN(Controller Area network) 버스를 통한 IMU의 요레이트
2. LiDAR 포인트 클라우드 및 타임스탬프
실시예들에 따른 알고리즘은 LiDAR 포인트 클라우드를 처리하지 않고 대신 업스트림 인식 모듈의 결과를 수신할 수 있다.
3. LiDAR 자아 움직임 추정치 및 각각의 불확실성
4. 접지면 추정치 및 각각의 불확실성
도4는 실시예들에 따른 AC 알고리즘을 위한 구조를 나타낸다.
도1 내지 도3의 실시예들에 따른 차량, 차량 제어 장치 및 차량 제어 방법은 도4와 같은 구조에 기반하여 오토 캘리브레이션을 이용할 수 있다. 또한, 실시예들에 따른 AC 알고리즘은 설명하지 않은 소프트웨어 모듈의 중요하지 않은 계산에 의존할 수 있다.
실시예들에 따른 알고리즘:
전체 6-DoF 포즈 추정은 세 가지 다른 하위 방법을 결합하여 수행될 수 있다. 이들 각각은 결과가 유효하고 수치적으로 실행 가능하기 위해 충족되어야 하는 차량 동작에 대한 특정 사전 조건을 요구할 수 있다. 각 보정 하위 방법에 대한 차량 모션 사전 조건은 차량 CAN 속도 및 요 레이트 또는 LiDAR 자아 모션 모듈의 추정을 사용하여 확인할 수 있다.
각 보정 하위 방법에 대해 해당 사전 조건이 충족되고 단계 추정이 성공적으로 계산되면 해당 필터가 새 단계 추정으로 업데이트될 수 있다.
도5는 실시예들에 따른 AC 방법을 나타낸다.
실시예들에 따른 포즈 파라미터의 추정 과정은 다음과 같다.
실시예들에 따른 차량, 차량 제어 장치 및 차량 제어 방법은 로드, 요 정보를 다음과 같이 보정할 수 있다.
로드 캘리브레이션(Road calibration):
차량이 주행 중이고, '너무 빠르게'로 설정되지 않은 경우, 플레인 방정식ax+by+cz+d=0의 계수들 {a, b, c, d}로 주어진 추정된 그라운드 플레인(지면)으로부터 직접적으로, 라이다 좌표 정보(z, 롤, 피치)(LiDAR {z, Roll, Pitch})를 추출할 수 있다. 다음과 같이 z, 롤, 피치 좌표 정보를 계산할 수 있다.
롤을 위한 지면 플레인 노멀을 보상하고, 다음 피치 좌표 정보를 계산할 수 있다.
여기서, 도로 보정은 정지 상태에서 수행할 수 있지만, 차량이 특정 최소 속도 이상으로 주행해야 하는 경우 가파른 램프의 시작 또는 끝과 같이 오프셋된 접지면에 대한 보정을 피할 수 있습니다. 또한, “너무", "충분한", "충분한" 및 유사한 용어는 구성 가능한 임계값이 있음을 의미한다.
요 캘리브레이션(Yaw calibration):
차량이 직선으로 이동할 때, 보정 매개변수 {Roll, Pitch}가 "충분한 확실성"으로 알려진 경우 롤 및 피치에 대한 LiDAR 자기 변환을 보정하고 계산할 수 있다.
여기서, 장기간의 매우 가벼운 회전은 이론적으로 Yaw 추정을 편향시키지만 그 효과는 무시할 수 있다.
수평 포지션 캘리브레이션(Horizontal position calibration):
차량이 '충분히 빠르게' 회전하고 보정(캘리브레이션) 매개변수{Roll, Pitch, Yaw}가 "충분한 확실성"으로 알려진 경우, Roll 및 Pitch에 대한 LiDAR 자아 변환을 보정하고 수평 LiDAR 위치를 계산할 수 있다. 수평 LiDAR 포지션{x, y} 을 계산할 수 있다.
VRF(차량 기준 프레임) 의 속도가 세로 축과 정렬되어 있다고 보면, 차량 속도 및 요 레이트(yaw rate)는 에 의한 캘리브레이션 파라미터들 {x, y, Yaw}을 통한 수평 라이다 자기 변환에 관련될 수 있다.
다음과 같이 재-정렬( Re-arranging)할 수 있다.
여기서,
및 각각 차량 속도와 요레이트 및 LiDAR 사이클 시간에서 파생된 VRF의 변환 및 회전을 의미한다.
는 롤 및 피치 보정 후 2D 수평 LiDAR 자아 변환을 나타낸다.
은 요 보정 회전을 의미한다.
단위 행렬을 나타낸다.
여기서, 리어 액슬에 타이어 슬립이나 스티어링이 없다고 가정하는 것과 같다. 코너링 시 뒷 타이어가 미끄러지는 동안 그 영향은 무시할 수 있다. 리어 액슬 스티어링은 이 하위 방법을 무효화할 수 있다.
불확실성 전파 및 필터링
실시예들에 따른 방법/장치는 포즈 매개변수에 대한 단계 추정을 수행한다. 단계별 추정의 분산을 사용하여 가중치를 설정하는 온라인 증분 가중 평균 필터를 통해 결합된다. 이를 위해 단계 추정치의 계산을 통해 자아 운동 및 접지면 입력의 분산을 전파한다.
입력 을 임의 차원의 출력 으로 임의 맵핑하기 위해, 분산은 를 주어진 입력 , 즉 여기서 는 의 Jacobian 행렬임) 근처에서 1차 테일러 급수 확장(Taylor series expansion)를 통해 선형화함으로써 근사화하는 방법으로 전파될 수 있다. 출력 공분산 행렬 결과가 출력된다. 공분산 항을 이용하지 못하는 경우, 입력 공분산 행렬은 으로 근사화될 수 있다.
고정 보정 매개변수를 추정하는 데 사용되는 필터, 즉 신체 움직임이 없는 경우 역분산 가중치 를 가지는 가중 평균 필터일 수 있다. 이는 최종 추정을 산출하는데 이용될 수 있다.
각각의 분산은 다음과 같다.
이 필터링은 각 포즈 매개변수에 대해 개별적으로 적용된다.
여기서, 1 단계 추정치가 독립적이고 동일한 평균을 갖는 정규 분포를 따른다는 가정 하에, 이는 가중 평균의 분산을 최소화하여 필터를 해당 평균의 최대 가능도 추정기(MLE)로 만들 수 있다.
도6은 실시예들에 따른 차량 제어 방법을 나타낸다.
도6의 방법은 도1-2, 도4 등의 차량이 도5 등의 차량 제어 방법을 수행하는 흐름도를 나타낸다. 각 구성요소는 도1-2, 도4 의 하드웨어, 소프트웨어, 프로세서, 및/또는 그것들의 조합에 의해 수행될 수 있다.
S600 실시예들에 따른 차량 제어 방법은 차량을 위한 포인트 클라우드를 획득하는 단계;를 포함할 수 있다.
S601실시예들에 따른 차량 제어 방법은 차량의 제어를 위한 차량 제어 네트워크부에 기초하여 스피드 및 요 레이트를 수신하는 단계;를 더 포함할 수 있다.
S602실시예들에 따른 차량 제어 방법은 차량의 동작에 관한 정보를 추정하는 단계를 더 포함할 수 있다.
S603실시예들에 따른 차량 제어 방법은 차량의 동작에 대한 지상면 정보를 획득하는 단계를 더 포함할 수 있다.
S604실시예들에 따른 차량 제어 방법은 차량의 포즈를 자동으로 보정하는 단계를 더 포함할 수 있다.
차량의 포즈를 자동으로 보정하는 단계는 차량이 일정한 속도(임계치 이상이면 빠른 속도로 판단함)로 주행하는 경우, 차량에 대한 좌표 정보를 업데이트하고, 좌표 정보는 직교 좌표계의 z축 정보, 롤 정보, 피치 정보를 포함하고, 차량이 직선으로 주행하고 롤 정보 및 피치 정보가 이용가능한 경우, 요 정보를 업데이트하고, 차량이 일정한 속도 이상으로 회전하고, 롤 정보, 피치 정보, 요 정보가 이용가능한 경우, 상기 직교 좌표계의 x축 정보, y축 정보를 업데이트할 수 있다.
차량의 포즈를 자동으로 보정하는 단계는 모션부 및 차량 제어 네트워크부에 기초하여 수행될 수 있다.
z축 정보, 롤 정보, 피치 정보를 업데이트하는 방법은, 제어부가 추정한 지면 정보에 기초하여 z축 정보, 롤 정보, 피치 정보를 추출하고, z축 정보, 롤 정보, 피치 정보를 평명 방정식의 계수에 기반하여 산출할 수 있다.
요 정보를 업데이트하는 방법은, 롤 정보 및 피치 정보의 트랜슬레이션 값으로부터 요 정보를 업데이트할 수 있다.
x축 정보, y축 정보를 업데이트하는 방법은, 차량의 스피드 및 요 레이트로부터 획득된 차량 참조 프레임의 트랜슬레이션 값 및 회전 값, 라이다 트랜슬레이션 값, 요 보정을 위한 회전 값에 기초하여 수행될 수 있다.
실시예들은 방법 및/또는 장치 관점에서 설명되었으며, 방법의 설명 및 장치의 설명은 상호 보완하여 적용될 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 통상의 기술자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 실시예들의 권리범위에 속한다. 실시예들에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 실시예들의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 실시예들은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 실시예들의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 실시예들의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
실시예들의 장치의 다양한 구성요소들은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 조합에 의해 수행될 수 있다. 실시예들의 다양한 구성요소들은 하나의 칩, 예를 들면 하나의 하드웨어 서킷으로 구현될 수 있다 실시예들에 따라, 실시예들에 따른 구성요소들은 각각 별도의 칩들로 구현될 수 있다. 실시예들에 따라, 실시예들에 따른 장치의 구성요소들 중 적어도 하나 이상은 하나 또는 그 이상의 프로그램들을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있으며, 하나 또는 그 이상의 프로그램들은 실시예들에 따른 동작/방법들 중 어느 하나 또는 그 이상의 동작/방법들을 수행시키거나, 수행시키기 위한 인스트럭션들을 포함할 수 있다. 실시예들에 따른 장치의 방법/동작들을 수행하기 위한 실행 가능한 인스트럭션들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다. 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함될 수 있다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이 문서에서 “/”와 “,”는 “및/또는”으로 해석된다. 예를 들어, “A/B”는 “A 및/또는 B”로 해석되고, “A, B”는 “A 및/또는 B”로 해석된다. 추가적으로, “A/B/C”는 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 또한, “A, B, C”도 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 추가적으로, 이 문서에서 “또는”는 “및/또는”으로 해석된다. 예를 들어, “A 또는 B”은, 1) “A” 만을 의미하고, 2) “B” 만을 의미하거나, 3) “A 및 B”를 의미할 수 있다. 달리 표현하면, 본 문서의 “또는”은 “추가적으로 또는 대체적으로(additionally or alternatively)”를 의미할 수 있다.
제1, 제2 등과 같은 용어는 실시예들의 다양한 구성요소들을 설명하기 위해 사용될 수 있다. 하지만 실시예들에 따른 다양한 구성요소들은 위 용어들에 의해 해석이 제한되어서는 안된다. 이러한 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위해 사?熾幷? 것에 불과하다. 것에 불과하다. 예를 들어, 제1 사용자 인풋 시그널은 제2사용자 인풋 시그널로 지칭될 수 있다. 이와 유사하게, 제2사용자 인풋 시그널은 제1사용자 인풋시그널로 지칭될 수 있다. 이러한 용어의 사용은 다양한 실시예들의 범위 내에서 벗어나지 않는 것으로 해석되어야만 한다. 제1사용자 인풋 시그널 및 제2사용자 인풋 시그널은 모두 사용자 인풋 시그널들이지만, 문맥 상 명확하게 나타내지 않는 한 동일한 사용자 인풋 시그널들을 의미하지 않는다.
실시예들을 설명하기 위해 사용된 용어는 특정 실시예들을 설명하기 위한 목적으로 사용되고, 실시예들을 제한하기 위해서 의도되지 않는다. 실시예들의 설명 및 청구항에서 사용된 바와 같이, 문맥 상 명확하게 지칭하지 않는 한 단수는 복수를 포함하는 것으로 의도된다. 및/또는 표현은 용어 간의 모든 가능한 결합을 포함하는 의미로 사용된다. 포함한다 표현은 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들이 존재하는 것을 설명하고, 추가적인 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들을 포함하지 않는 것을 의미하지 않는다. 실시예들을 설명하기 위해 사용되는, ~인 경우, ~때 등의 조건 표현은 선택적인 경우로만 제한 해석되지 않는다. 특정 조건을 만족하는 때, 특정 조건에 대응하여 관련 동작을 수행하거나, 관련 정의가 해석되도록 의도되었다.
또한, 본 문서에서 설명하는 실시예들에 따른 동작은 실시예들에 따라서 메모리 및/또는 프로세서를 포함하는 송수신 장치에 의해 수행될 수 있다. 메모리는 실시예들에 따른 동작을 처리/제어하기 위한 프로그램들을 저장할 수 있고, 프로세서는 본 문서에서 설명한 다양한 동작을 제어할 수 있다. 프로세서는 컨트롤러 등으로 지칭가능하다. 실시예들에 동작들은 펌웨어, 소프트웨어, 및/또는 그것들의 조합에 의해 수행될 수 있고, 펌웨어, 소프트웨어, 및/또는 그것들의 조합은 프로세서에 저장되거나 메모리에 저장될 수 있다.
한편, 상술한 실시예들에 따른 동작은 실시예들 따른 송신 장치 및/또는 수신 장치에 의해서 수행될 수 있다. 송수신 장치는 미디어 데이터를 송수신하는 송수신부, 실시예들에 따른 프로세스에 대한 인스트럭션(프로그램 코드, 알고리즘, flowchart 및/또는 데이터)을 저장하는 메모리, 송/수신 장치의 동작들을 제어하는 프로세서를 포함할 수 있다.
프로세서는 컨트롤러 등으로 지칭될 수 있고, 예를 들어, 하드웨어, 소프트웨어, 및/또는 그것들의 조합에 대응할 수 있다. 상술한 실시예들에 따른 동작은 프로세서에 의해 수행될 수 있다. 또한, 프로세서는 상술한 실시예들의 동작을 위한 인코더/디코더 등으로 구현될 수 있다.

Claims (18)

  1. 차량을 위한 포인트 클라우드를 획득하는 라이다 센서;
    상기 차량의 제어를 위한 차량 제어 네트워크부;
    상기 차량의 동작을 추정하는 모션부;
    상기 라이다의 지면을 추정하는 제어부; 및
    상기 차량의 포즈를 보정하는 자동 캘리브레이션부; 를 포함하고,
    상기 라이다 센서는 시간 정보를 획득하고,
    상기 차량 제어 네트워크부는 상기 차량의 스피드 및 요 레이브 정보를 처리하고,
    상기 모션부는 상기 차량에 대한 동작 정보 및 추정 정보를 산출하고,
    상기 제어부는 상기 차량에 대한 지면 정보 및 추정 정보를 산출하고,
    상기 자동 캘리브레이션부는 상기 차량의 포즈 정보 및 추정 정보를 산출하는,
    차량.
  2. 제1항에 있어서,
    상기 자동 캘리브레이션부는,
    상기 차량이 일정한 속도로 주행하는 경우, 상기 차량에 대한 좌표 정보를 업데이트하고, 상기 좌표 정보는 직교 좌표계의 z축 정보, 롤 정보, 피치 정보를 포함하고,
    상기 차량이 직선으로 주행하고 롤 정보 및 피치 정보가 이용가능한 경우, 요 정보를 업데이트하고,
    상기 차량이 일정한 속도 이상으로 회전하고, 롤 정보, 피치 정보, 요 정보가 이용가능한 경우, 상기 직교 좌표계의 x축 정보, y축 정보를 업데이트하는,
    차량.
  3. 제2항에 있어서,
    상기 자동 캘리브레이션부를 위한 업데이트는 상기 모션부 및 상기 차량 제어 네트워크부에 기초하여 수행되는,
    차량.
  4. 제2항에 있어서,
    상기 z축 정보, 롤 정보, 피치 정보를 업데이트하는 방법은,
    상기 제어부가 추정한 지면 정보에 기초하여 상기 z축 정보, 상기 롤 정보, 상기 피치 정보를 추출하고,
    상기 z축 정보, 상기 롤 정보, 상기 피치 정보를 평명 방정식의 계수에 기반하여 산출하는,
    차량.
  5. 제2항에 있어서,
    상기 요 정보를 업데이트하는 방법은, 롤 정보 및 피치 정보의 트랜슬레이션 값으로부터 요 정보를 업데이트하는,
    차량.
  6. 제2항에 있어서,
    상기 x축 정보, y축 정보를 업데이트하는 방법은,
    차량의 스피드 및 요 레이트로부터 획득된 차량 참조 프레임의 트랜슬레이션 값 및 회전 값, 라이다 트랜슬레이션 값, 요 보정을 위한 회전 값에 기초하여 수행되는,
    차량.
  7. 차량을 위한 포인트 클라우드를 획득하는 단계;
    상기 차량의 제어를 위한 차량 제어 네트워크부에 기초하여 스피드 및 요 레이트를 수신하는 단계;
    상기 차량의 동작에 관한 정보를 추정하는 단계;
    상기 차량의 동작에 대한 지상면 정보를 획득하는 단계; 및
    상기 차량의 포즈를 자동으로 보정하는 단계; 를 포함하고,
    상기 차량을 위한 포인트 클라우드를 획득하는 단계는 시간 정보를 획득하고,
    상기 차량의 동작에 관한 정보를 추정하는 단계는 상기 차량에 대한 동작 정보 및 추정 정보를 산출하고,
    상기 차량의 동작에 대한 지상면 정보를 획득하는 단계는 상기 차량에 대한 지면 정보 및 추정 정보를 산출하고,
    상기 차량의 포즈를 자동으로 보정하는 단계는 상기 차량의 포즈 정보 및 추정 정보를 산출하는,
    차량 제어 방법.
  8. 제7항에 있어서,
    상기 차량의 포즈를 자동으로 보정하는 단계는
    상기 차량이 일정한 속도로 주행하는 경우, 상기 차량에 대한 좌표 정보를 업데이트하고, 상기 좌표 정보는 직교 좌표계의 z축 정보, 롤 정보, 피치 정보를 포함하고,
    상기 차량이 직선으로 주행하고 롤 정보 및 피치 정보가 이용가능한 경우, 요 정보를 업데이트하고,
    상기 차량이 일정한 속도 이상으로 회전하고, 롤 정보, 피치 정보, 요 정보가 이용가능한 경우, 상기 직교 좌표계의 x축 정보, y축 정보를 업데이트하는,
    차량 제어 방법.
  9. 제8항에 있어서,
    상기 차량의 포즈를 자동으로 보정하는 단계는 상기 차량의 동작에 관한 정보를 추정하는 단계에 기초하여 수행되는,
    차량 제어 방법.
  10. 제8항에 있어서,
    상기 z축 정보, 롤 정보, 피치 정보를 업데이트하는 방법은,
    상기 차량의 동작에 대한 지상면 정보를 획득하는 단계에 의해 추정된 지면 정보에 기초하여 상기 z축 정보, 상기 롤 정보, 상기 피치 정보를 추출하고,
    상기 z축 정보, 상기 롤 정보, 상기 피치 정보를 평명 방정식의 계수에 기반하여 산출하는,
    차량 제어 방법.
  11. 제8항에 있어서,
    상기 요 정보를 업데이트하는 방법은, 롤 정보 및 피치 정보의 트랜슬레이션 값으로부터 요 정보를 업데이트하는,
    차량 제어 방법.
  12. 제8항에 있어서,
    상기 x축 정보, y축 정보를 업데이트하는 방법은,
    차량의 스피드 및 요 레이트로부터 획득된 차량 참조 프레임의 트랜슬레이션 값 및 회전 값, 라이다 트랜슬레이션 값, 요 보정을 위한 회전 값에 기초하여 수행되는,
    차량 제어 방법.
  13. 차량을 위한 포인트 클라우드를 획득하는 라이다 센서;
    상기 차량의 제어를 위한 차량 제어 네트워크부;
    상기 차량의 동작을 추정하는 모션부;
    상기 라이다의 지면을 추정하는 제어부; 및
    상기 차량의 포즈를 보정하는 자동 캘리브레이션부; 를 포함하고,
    상기 라이다 센서는 시간 정보를 획득하고,
    상기 차량 제어 네트워크부는 상기 차량의 스피드 및 요 레이브 정보를 처리하고,
    상기 모션부는 상기 차량에 대한 동작 정보 및 추정 정보를 산출하고,
    상기 제어부는 상기 차량에 대한 지면 정보 및 추정 정보를 산출하고,
    상기 자동 캘리브레이션부는 상기 차량의 포즈 정보 및 추정 정보를 산출하는,
    차량 제어 장치.
  14. 제13항에 있어서,
    상기 자동 캘리브레이션부는,
    상기 차량이 일정한 속도로 주행하는 경우, 상기 차량에 대한 좌표 정보를 업데이트하고, 상기 좌표 정보는 직교 좌표계의 z축 정보, 롤 정보, 피치 정보를 포함하고,
    상기 차량이 직선으로 주행하고 롤 정보 및 피치 정보가 이용가능한 경우, 요 정보를 업데이트하고,
    상기 차량이 일정한 속도 이상으로 회전하고, 롤 정보, 피치 정보, 요 정보가 이용가능한 경우, 상기 직교 좌표계의 x축 정보, y축 정보를 업데이트하는,
    차량 제어 장치.
  15. 제14항에 있어서,
    상기 자동 캘리브레이션부를 위한 업데이트는 상기 모션부 및 상기 차량 제어 네트워크부에 기초하여 수행되는,
    차량 제어 장치.
  16. 제14항에 있어서,
    상기 z축 정보, 롤 정보, 피치 정보를 업데이트하는 방법은,
    상기 제어부가 추정한 지면 정보에 기초하여 상기 z축 정보, 상기 롤 정보, 상기 피치 정보를 추출하고,
    상기 z축 정보, 상기 롤 정보, 상기 피치 정보를 평명 방정식의 계수에 기반하여 산출하는,
    차량 제어 장치.
  17. 제14항에 있어서,
    상기 요 정보를 업데이트하는 방법은, 롤 정보 및 피치 정보의 트랜슬레이션 값으로부터 요 정보를 업데이트하는,
    차량 제어 장치.
  18. 제14항에 있어서,
    상기 x축 정보, y축 정보를 업데이트하는 방법은,
    차량의 스피드 및 요 레이트로부터 획득된 차량 참조 프레임의 트랜슬레이션 값 및 회전 값, 라이다 트랜슬레이션 값, 요 보정을 위한 회전 값에 기초하여 수행되는,
    차량 제어 장치.
KR1020220111991A 2022-08-29 2022-09-05 차량 포즈를 추정하는 방법 및 장치 KR20240030846A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/897,586 US20240069206A1 (en) 2022-08-29 2022-08-29 Apparatus for estimating vehicle pose using lidar sensor and method thereof
US17/897,586 2022-08-29

Publications (1)

Publication Number Publication Date
KR20240030846A true KR20240030846A (ko) 2024-03-07

Family

ID=90000116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220111991A KR20240030846A (ko) 2022-08-29 2022-09-05 차량 포즈를 추정하는 방법 및 장치

Country Status (2)

Country Link
US (1) US20240069206A1 (ko)
KR (1) KR20240030846A (ko)

Also Published As

Publication number Publication date
US20240069206A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
US11454525B2 (en) Vehicle sensor field calibration utilizing other vehicles
EP3091338B1 (en) Misrecognition determination device
US10782129B2 (en) Method and system for ascertaining and providing a ground profile
EP2485203B1 (en) Vehicle-surroundings monitoring device
WO2019161134A1 (en) Lane marking localization
JP6521753B2 (ja) 車両の測位システム
JP7253065B2 (ja) 車両制御装置、車両制御方法、車両運動制御システム、及びレーン推定装置
KR20210037790A (ko) 자율 주행 장치 및 방법
CN112124318A (zh) 自主驾驶车辆的障碍物感知校准系统
KR20210037791A (ko) 자율 주행 장치 및 방법
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
CN113064143A (zh) 用于具有多LiDAR传感器的自动驾驶车辆的再校准确定系统
KR20240035960A (ko) 자율 주행 장치 및 방법
KR20240038680A (ko) 자율 주행 장치 및 방법
JP2011063106A (ja) 車両制御装置および車両制御方法
JP6916705B2 (ja) 自動運転の自車位置検出装置
CN112345798B (zh) 位置姿势推定装置以及位置姿势推定方法
KR20240030846A (ko) 차량 포즈를 추정하는 방법 및 장치
KR20200133855A (ko) 자율 주행 장치 및 방법
CN116118770A (zh) 面向稳健自动驾驶控制的车辆感知系统的自适应合理化器
JP6855759B2 (ja) 自動運転車両の制御システム
EP4328619A1 (en) Apparatus for estimating vehicle pose using lidar sensor and method thereof
KR102336654B1 (ko) 차량의 센서 융합 장치 및 방법
KR102530702B1 (ko) 자율 주행 장치 및 방법
JP6784633B2 (ja) 車両の走行制御装置