KR102647477B1 - 자율주행을 위한 횡방향 제어 장치 및 방법 - Google Patents

자율주행을 위한 횡방향 제어 장치 및 방법 Download PDF

Info

Publication number
KR102647477B1
KR102647477B1 KR1020220075516A KR20220075516A KR102647477B1 KR 102647477 B1 KR102647477 B1 KR 102647477B1 KR 1020220075516 A KR1020220075516 A KR 1020220075516A KR 20220075516 A KR20220075516 A KR 20220075516A KR 102647477 B1 KR102647477 B1 KR 102647477B1
Authority
KR
South Korea
Prior art keywords
moving object
target point
lateral
information
lateral control
Prior art date
Application number
KR1020220075516A
Other languages
English (en)
Other versions
KR20230174505A (ko
Inventor
강태원
박창현
조성우
서정연
강기혁
Original Assignee
(주)뉴빌리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뉴빌리티 filed Critical (주)뉴빌리티
Priority to KR1020220075516A priority Critical patent/KR102647477B1/ko
Priority to PCT/KR2022/013377 priority patent/WO2023249163A1/ko
Publication of KR20230174505A publication Critical patent/KR20230174505A/ko
Application granted granted Critical
Publication of KR102647477B1 publication Critical patent/KR102647477B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 일 실시예는 자율주행을 위한 횡방향 제어 방법, 장치 및 이동체에 관한 것으로, 상기 자율주행을 위한 횡방향 제어 장치는 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 정보 수집부; 상기 카메라 모듈로부터 수집된 정보에 기초하여 목표 지점 정보를 산출하는 목표 지점 정보 산출 모듈; 및 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 현재 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 횡방향 제어 파라미터 산출 모듈을 포함한다.

Description

자율주행을 위한 횡방향 제어 장치 및 방법{LATERAL MOTION CONTROL APPARATUS FOR AUTONOMOUS DRIVING AND METHOD}
본 발명의 일 실시예는 자율주행을 위한 횡방향 제어 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라 센서를 이용하여 선형적인 횡방향 제어를 가능하게 하는 장치 및 방법에 관한 것이다.
자율주행이란 운전자의 개입 없이 주변 환경을 인식하고, 주행 상황을 판단하여, 차량을 제어함으로써 스스로 주어진 목적지까지 주행하는 것을 말한다.
최근 자율주행 기술의 발달에 따라 자동차, 항공기, 드론, 로봇, 선박 등의 여러 플랫폼을 이용한 자율주행이 시도되고 있다.
4륜 모바일 로봇의 정밀한 움직임 제어를 위해서는 주변 환경으로부터 발생하는 많은 위험에 대해 강인하게 대처하는 것이 중요하다. 자동차의 자율주행의 경우 주행하는 곳이 주로 차도이기 때문에 장애물이나 주행 영역이 규칙적이다. 반면 배달로봇이나 서빙로봇은 더욱 복잡하고 다양한 장애물들이 존재하는 인도, 횡단보도, 실내 공간 등을 주행하기때문에 부드럽고 안전한 주행을 위해서는 플랫폼의 역학적 모델링을 정확하게 구축해야하며 다양한 상황에 따라 적합한 제어기를 적용하고, 컴퓨팅 시간을 적절하게 사용하기 위해서는 비선형이 아닌 선형 역학적 모델링을 구축해야한다.
한편, SSMR (skid steering mobile robot)의 잘 알려진 모델은 이동로봇 차체의 구조는 변형시키지 않고 독립적으로 구동되는 각 바퀴의 회전방향 또는 토크 차이에 의해 지면과 타이어 사이의 미끄러짐을 통해 이동되는 방식이다. Skid-Steering방식은 이동로봇 자체에 어떠한 형태의 조향장치도 없고 제자리 회전이 가능하기 때문에 다양한 지형이나 험지탐사용 로봇, 우주 탐사용 로봇, 전투용 로봇 등의 특수목적용 이동로봇형태로 활용된다.
이러한 Skid-Steering 방식으로 목표지점까지의 이동을 위해서는 로봇과 목표지점까지의 오차를 계산하여 이동궤적을 생성하였다. 그러나, 로봇과 목표지점과의 오차는 로봇 좌표 기준으로 표현할 때, 비선형적인 함수로 표현할 수 밖에 없다. 이러한 비선형적 모델은 MIMO (multi input multi output) 제어도 하기 힘들고 MIMO 제어가 힘들기 때문에 비선형 제어방식을 사용하지 않으면 정밀 제어가 힘들다. 그러나 비선형 제어방식을 사용한다해도 채터링(chattering) 이 존재하거나 실시간 제어가 불가능하거나 유지보수가 힘들 정도로 복잡해질 수 있다.
이와 관련된 선행 문헌은 하기와 같다.
1. 이동 로봇의 제어 장치 및 그 방법 (고려대학교 산학협력단:10-2012-0092235)
2. 모바일 로봇의 장애물 회피 시스템 및 방법 (재단법인대구경북과학기술원:10-2014-0154422)
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 본 발명은 라이다와 같은 고가의 장비를 이용하지 않고 카메라를 이용하여 저비용으로 선형적인 횡방향 제어를 가능하게 하는 장치 및 방법을 제공하고자 한다.
이를 위하여, 본 발명의 일 실시예에 따르면, 자율주행을 위한 횡방향 제어 장치는 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 정보 수집부; 상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출하는 목표 지점 정보 산출 모듈; 및 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 지령 값을 모듈을 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 횡방향 제어 장치장치에 의해 자율주행을 위한 횡방향 제어 방법은, 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 단계; 상기 카메라 모듈로부터 수집된 정보에 기초하여 목표 지점 정보를 산출하는 단계; 및 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 이동체의 요율(yaw rate)을 획득하고 미리 저장된 동역학 모델에 기초하여 t+1시간의 횡방향 제어 지령 값을 산출하는 단계를 포함할 수 있다.
본 발명의 모든 실시예에 따른 자율주행 이동체는 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 정보 수집부; 상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출하는 목표 지점 정보 산출 모듈; 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 횡방향 제어 파라미터 산출 모듈; 상기 횡방향 제어 파라미터를 제어 입력으로 하는 입력 신호를 출력하는 컨트롤러; 및 동력원, 바퀴, 조향장치, 브레이크 등을 포함하고, 상기 컨트롤러에 의해 출력되는 입력 신호에 따라 이동체의 횡방향 움직임을 제어하는 구동장치를 포함한다.
본 발명에 따르면, 수백 내지 수천 달러 LiDAR에 비해 비교적 저렴한 카메라를 이용하므로 비용적 이득이 있다.
또한, 종래의 카메라 즉 시각 데이터 만을 이용하므로 GPS를 통해 제어하는 방식보다 더 강건하기 때문에 지속적으로 제어할 수 있다.
또한, 기존 범용적으로 사용되는 동역학 모델은 비선형 모델이고 SISO (single input single output)로 제어할 수 있지만 로봇이 횡 방향으로 움직일 때 고려해야하는 변수들을 모두 고려하지 못 한다. 비선형 제어기를 사용할 때는 범용적으로 사용되는 알고리즘을 적용하기 힘들고, 모델 없이 기계학습을 활용한 제어방식을 사용할 때는 컴퓨팅 시간이 많이 들거나 학습되지 않은 상황에서는 적용하기 힘들다. 따라서 선형 모델을 활용하여 연산량을 감소시키고, 범용적 알고리즘의 보수 및 적용을 용이하게 한다.
또한, 일 실시예에 따르면 급속도로 목표 지점으로 수렴해야하는 상황 또는 부드러운 주행을 원하는 등의 다양한 주행환경에서 계수를 바꿈만으로 해당 상황에 반응이 가능하다. 또한 노면을 고려하여 cornering stiffness의 값을 바꿔 노면에 따른 횡 방향 움직임을 모사할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 파라미터 산출 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 파라미터 산출 장치의 제어부의 구성을 개략적으로 나타낸 블럭도이다.
도 3은 타이어의 슬립각을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 이동체의 상태변수를 설명하기 위한 상태도이다.
도 5는 본 발명의 일 실시예에 따른 카메라의 전방 주시 거리를 고려하지 않는 이동체의 운동학을 고려한 모델에서 이동체와 목표 정보 간의 상태변수를 설명하기 위한 상태도이다.
도 6은 본 발명의 일 실시예에 따른 카메라의 전방 주시 거리를 고려하는 이동체의 동역학을 고려한 모델에서 이동체와 목표 정보 간의 상태변수를 설명하기 위한 상태도이다.
도 7은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 장치를 탑재한 이동체의 주행을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 파라미터 산출 장치의 구성을 개략적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 자율주행을 위한 횡방향 제어 파라미터 산출 장치(100)는 정보 수집부(120), 제어부(140) 및 메모리부(160)를 포함할 수 있다.
정보 수집부(120)는 자율주행 이동체에 탑재된 하나 이상의 센서(10)에 의해 획득되는 정보를 수집한다. 센서는 예를 들어 하나 이상의 카메라 센서일 수 있다. 정보 수신부(120)는 제어부(140)에 전달한다. 일 실시예에서, 카메라 센서는 자율주행 이동체에 탑재된 카메라의 화각 내의 객체(object)를 촬영하여 영상정보를 생성한다. 화각은 자율주행체의 전방을 포함할 수 있다. 일 실시예에서 카메라 센서는 동시에 2장의 화상을 얻을 수 있는 스테레오 카메라 센서일 수 있다. 카메라 센서는 촬영에 의해 획득한 정보를 제어부(140)로 전달한다.
제어부(140)는 자율주행을 위한 횡방향 제어 파라미터 산출 장치(100)의 각 구성요소를 제어하여 자율주행을 위한 객체의 속도를 추정한다. 제어부(140)의 각 구성요소는 상기의 기능들을 수행할 수 있는 하드웨어와 소프트웨어의 집합으로 구성된다.
일 실시예에서 제어부(140)는 정보 수집부(120)를 통해 획득한 정보에 기초하여 목표 지점 정보를 산출한다. 목표 지점 정보 산출에 대하여는 도 2를 참조하여 상세히 설명하기로 한다.
또한, 제어부(140)는 목표 지점 정보에 기초하여 횡방향 제어 파라미터를 산출할 수 있다. 횡방향 제어 파라미터는 목표 지점과 자율주행 이동체(이하 이동체라고 함)와의 횡방향 간격과 이동체의 헤드(head)와 목표 지점과의 각도 및 이동체의 요율(yaw rate)를 포함할 수 있다. 여기서, 요율은 요 각속도라고 하며, 이동체의 중심을 통하는 수직선 주위에 회전각(요각)이 변하는 속도를 말한다.
메모리부(160)는 자율주행을 위한 횡방향 제어 파라미터 산출 장치(100)가 이동체의 자율주행시 횡방향 제어 파라미터를 산출하기 위해 필요한 정보, 프로그램 등을 저장하거나 데이터베이스화한다. 예컨대, 정보 수집부(120)에 의해 수집되는 정보를 저장하거나, 제어부(140)의 횡방향 제어 파라미터를 산출하기 위한 수학식 및 횡방향 제어 파라미터 산출을 위해 생성되는 중간 데이터를 저장할 수 있다.
또한, 메모리부(160)는 제어부(140)의 요청에 따라 저장된 정보를 제어부(140)에 전달할 수 있다.
도 2는 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 파라미터 산출 장치의 제어부의 구성을 개략적으로 나타낸 도면이고, 도 3은 슬립각을 설명하기 위한 도면이다.
도 2를 참조하면, 제어부(도 1의 140)는 기능에 따라, 목표 지점 정보 산출 모듈(142) 및 횡방향 제어 파라미터 산출 모듈(144)을 포함할 수 있다.
하지만, 제어부(140)의 각 구성은 반드시 물리적으로 다른 구성을 가질 필요는 없다. 제어부(140)의 각 구성은 하나의 프로세서로 구성되고 단지 소프트웨어적으로 분리되거나 실행 루틴이 구분되어 실행될 수도 있을 것이다. 즉, 제어부(140)의 각 구성은 단지 기능적으로 구분될 뿐, 동일한 하드웨어 상에서 실현될 수 있다.
목표 지점 정보 산출 모듈(142)은 카메라 모듈(10)로부터 획득한 이미지로부터 획득한 정보에 기초하여 목표 지점 정보를 산출한다.
일 실시예에서, 목표 지점 정보는 트래킹(tracking)할 목표 레인(lane)과 가장자리(edge) 정보 중 어느 하나 이상을 포함할 수 있다.
예를 들어, 목표 지점 정보 산출 모듈(142)은 획득한 이미지를 분석하여 적어도 하나의 특성 정보를 추출한다. 이때, 특성정보는 주행 가능 의미를 지닌 특정 목표 정보, 차로, 인도, 횡단 보도 등의 주행 가능한 영역 정보 또는 주행 불가 영역 정보, 영역의 가장자리(edge) 등을 포함할 수 있다. 목표 지점 정보 산출 모듈(142)은 특성정보에 기초하여, 트래킹(tracking)할 목표 레인(lane) 또는 가장자리(edge) 정보를 산출한다.
목표 지점 정보 산출 모듈(142)은 트래킹(tracking)할 목표 레인(lane) 또는 가장자리(edge) 정보에 기초하여 이동체의 위치를 기준으로 목표 지점의 상대적인 위치 좌표를 획득할 수 있다.
횡방향 제어 파라미터 산출 모듈(144)은 목표 지점 정보에 기초하여 이동체의 현재 위치 좌표와 목표 지점 위치 좌표까지의 횡방향 간격(ey), 이동체의 헤드 각도와 목표 지점 사이의 각도(eψ), 이동체의 요율(ψ)을 상태변수로 하여 저장된 운동학 모델에 적용함으로써 제어 파라미터를 산출한다. 여기서 운동학 모델은 이동체와 목표 지점에 대한 상태공간모델로 인가될 때 목표 지점으로 수렴하게 하는 요율을 모델입력으로 한다. 즉, 운동학 모델을 통해 산출되는 이동체의 요율을 이동체의 제어 파라미터로 이용할 수 있다.
운동학 모델은 운동을 일으키는 힘을 고려하지 않은 기구학 모델과 운동을 일으키는 횡력을 고려한 동적 모델을 포함할 수 있다.
목표 지점 정보 산출 모듈(142)은 카메라의 전방 주시 거리를 고려하지 않은 기구학 모델에 의해 제어 파라미터를 산출하고 전방 주시 거리를 고려하는 동적 모델에 의해 제어 파라미터를 산출할 수 있다. 전방 주시 거리가 확정되지 않는 상황이나 타이어에 횡 방향 슬립이 거의 발생하지 않는 저속 상황에서는 기구학 모델 만으로도 이동체의 제어 파라미터를 산출할 수 있다. 한편 전방 주시 거리를 알 수 있는 상황이나 바퀴가 놓여있는 방향과 바퀴의 진행방향에 차이가 발생하는 고속 상황에서는 동적 모델로 이동체의 제어 파라미터를 산출할 수 있다. 도 3을 참조하면, 좌, 우 휠의 속도 차에 의해 이동체는 횡력(측력)을 받는다. 횡력이 작용하게 되면 타이어가 놓여있는 방향과 실제 타이어가 움직이는 방향간에 차이가 발생한다. 이러한 차이를 슬립각(slip angle, α)이라고 하며, skid-steering 방식은 슬립각(α)을 고려하여 회전한다. 이때, 고속 상태에서는 슬립각(α)을 고려한 동적 모델링을 수행한다.
도 4는 일 실시예에 따른 이동체의 상태변수를 설명하기 위한 상태도이고, 도 5는 본 발명의 일 실시예에 따른 카메라의 전방 주시 거리를 고려하지 않는 이동체의 운동학을 고려한 모델에서 이동체와 목표 정보 간의 상태변수를 설명하기 위한 상태도이고, 도 6은 본 발명의 일 실시예에 따른 카메라의 전방 주시 거리를 고려하는 이동체의 동역학을 고려한 모델에서 이동체와 목표 정보 간의 상태변수를 설명하기 위한 상태도이다.
도 4에서는 설명의 편의를 위하여 바퀴가 두 개인 바이시클(bicycle mdoel)을 예시하였으나, 이에 한정하는 것은 아니다. 회전 반경에 비해서 휠 간의 간격이 작으므로 바이시클 모델을 4륜 이동체에 적용하여도 오차가 크지 않게 나타난다.
먼저 도 4를 참조하면, 이동체 좌표계는 이동체가 움직이는 동안 각 바퀴와 지면사이에서 작용하는 마찰력을 유도하는데 활용될 수 있다.
도 4에서 {CT}는 Center of turn의 약어로 회전 중심을 의미한다.
{CG}는 Center of gravity의 약어로 무게 중심을 의미한다.
F는 마찰력으로, Fxr는 뒷 바퀴에 작용하는 종 방향 마찰력이고, Fyr는 뒷 바퀴에 작용하는 횡 방향 마찰력이며, Fyf는 앞 바퀴에 작용하는 종 방향 마찰력이고, Fxf는 앞 바퀴에 작용하는 횡 방향 마찰력이다.
r은 회전 중심으로부터 바퀴까지의 거리이고, rc는 회전 중심으로부터 이동체 중심까지지의 거리이다.
lf는 무게 중심으로부터 앞 바퀴까지의 거리이고, lr은 무게 중심으로부터 뒷 바퀴까지의 거리이다.
θr는 뒷 바퀴에 작용하는 미끄러짐 각이고, θf는 앞바퀴에 작용하는 미끄러짐 각이다.
β는 회전 중심에서의 미끄러짐 각이다.
먼저 기구학 모델을 살펴본다.
기구학 모델링은 수학식 1과 같이 나타낼 수 있다.
[수학식 1]
이다.
수학식 1에서, 상태변수는 이동체의 현재 위치 좌표와 목표 지점 위치 좌표까지의 횡방향 간격(ey), 이동체의 헤드 각도와 목표 지점 사이의 각도(eψ), 이동체의 요율(ψ)임을 알 수 있다.
수학식 1에서 Ts는 제어 샘플 시간이다. k는 곡률, Vx는 종 방향 속도이다.
또한,
이고, 수학식 1에 의해,
를 얻을 수 있다.
다음 동적 모델을 살펴본다.
동적 모델링은 수학식 2와 같이 나타낼 수 있다.
[수학식 2]
,
수학식 2에서, L은 Look ahead 길이로, 카메라에서 전방 몇 미터까지 반응하여 움직일 지를 결정하기 위한 요소이다. 이 값은 미리 설정될 수 있다. 는 코너링 스티프니스(cornering stiffness)이다. 코너링 스티프니스는 이동체 타이어의 슬립 각과 사이드 포스의 관계에 따른 슬립 각 0도에서 사이드 포스가 일어나는 미분값을 말한다. 계속 진행하고 있는 이동체 타이어의 방향을 바꿀 경우 발생하는 힘의 크기에 기준이 된다. 이러한 코너링 스티프니스는 이동체의 조종, 안정성에 영향을 미치는 요소 중 하나이다.
는 관성 모멘트이다.
수학식 2에서,
이고, 수학식 2에 의해
를 얻을 수 있다.
따라서, 횡방향 제어 파라미터 산출 모듈(144)은 노면 상황에 따라 코너링 스티프니스를 변경하여 상기 동적 모델에 적용할 수 있다.
이하에서 다른 실시예로써, 상술한 바와 같은 구성을 갖는 본 발명에 따른 자율주행을 위한 객체 속도 추정 방법에 대해 도 6를 참조하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 횡방향 제어 장치장치에 의해 자율주행을 위한 횡방향 제어 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 단계 S110에서, 정보 수집부는 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집한다.
단계 S120에서, 제어부가 상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출한다. 상기 제어부가 수집된 데이터에 포함된 이미지를 분석하여 적어도 하나의 특성 정보를 추출한 후, 상기 특성 정보에 기초하여 목표 레인(lane) 및 가장자리 정보 중 어느 하나를 산출한다. 상기 특성정보는 주행 가능 의미를 지닌 특정 목표 정보, 차로, 인도, 횡단 보도 등의 주행 가능한 영역 정보 또는 주행 불가 영역 정보, 영역의 가장자리(edge) 중 어느 하나 이상을 포함한다.
단계 S130에서, 상기 제어부가 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 현재 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출한다.
상기 제어부가 이동체의 현재 위치와 목표 지점 위치까지의 횡방향 간격, 이동체의 헤드 각도와 목표 지점 사이의 각도, 이동체의 요율을 상태변수로 하여 미리 저장된 운동학 모델에 적용함으로써 제어 파라미터를 산출한다. 상기 횡방향 제어 파라미터는 t+1시간의 요율이다. 제어 파라미터를 산출하는 방법은 도 4 내지 6을 참조하여 설명하였으므로 상세한 설명은 생략한다.
도 8은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 장치를 탑재한 이동체의 주행을 설명하기 위한 도면이다.
도 8을 참조하면, 자율주행을 위한 횡방향 제어 장치를 탑재한 이동체(이하 이동체라고 한다)(1)는 카메라 모듈(10), 횡방향 제어 장치(100), 컨트롤러(200) 및 구동장치(300)를 포함할 수 있다. 상기 실시예에서 설명한 바와 같이, 카메라 모듈(10)는 횡방향 제어 장치(100)에게 정보를 전송하고, 횡방향 제어 장치 (100)와 이동체(1)는 정보를 송수신할 수 있다. 또한, 컨트롤러(200)는 구동장치(300)에게 제어명령을 전송할 수 있다.
카메라 모듈(10), 횡방향 제어 장치(100)는 도 1에서 설명한 카메라 모듈(10), 횡방향 제어 장치(100)와 동일하므로 상세한 설명은 생략한다. 다만, 횡방향 제어 장치(100)는 이동체(1)가 목적지에 도착할 때까지 이산적으로 횡방향 제어 파라미터를 생성하여 컨트롤러(200)에 전달한다. 여기서 횡방향 제어 파라미터는 t+1시간의 요율일 수 있다.
컨트롤러(200)는 이동체의 각 구성요소를 제어하고, 특히 횡방향 제어 장치(100)로부터 횡방향 제어 파라미터를 제어 입력으로 하는 입력 신호를 출력한다.
컨트롤러(200)는 이동체(1)가 미리 설정된 목표 위치에 도달할 때까지 구동장치(300)를 제어하여 주행하고, 목적지에 도달하면 주행을 종료할 수 있다.
구동장치(300)는 동력원, 바퀴, 조향장치, 브레이크 등을 포함하고, 컨트롤러(200)의해 출력되는 입력 신호에 따라 이동체의 횡방향 모션을 제어한다.
여기서 동력원은 전기 기반의 모터, 화석연료 기반의 엔진 등 이동체의 크기 및 기능에 따라 다양하게 채택될 수 있다.
본 발명의 일 실시예에 따르면, 라이다에 비하여 비교적 저렴한 카메라를 이용하여 이동체의 횡방향 모션을 제어할 수 있다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서가 속하는 기술분야의 통상의 지식을 가진 자는 본 명세서가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 명세서의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 명세서의 범위에 포함되는 것으로 해석되어야 한다.
한편, 본 명세서와 도면에는 본 명세서의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 명세서의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 횡방향 제어 장치
10 : 카메라 모듈
120 : 정보 수신부
140 : 제어부
142 : 목표 지점 정보 산출 모듈
144 : 횡방향 제어 파라미터 산출 모듈
160 : 메모리부

Claims (11)

  1. 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 정보 수집부;
    상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출하는 목표 지점 정보 산출 모듈; 및
    상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 횡방향 제어 파라미터 산출 모듈을
    포함하는 자율주행을 위한 횡방향 제어 장치.
  2. 제1항에 있어서,
    상기 목표 지점 정보는 목표 레인(lane) 및 가장자리 정보 중 어느 하나를 트래킹(tracking)하는 자율주행을 위한 횡방향 제어 장치.
  3. 제1항에 있어서,
    상기 횡방향 제어 파라미터는 t+1시간의 요율인 자율주행을 위한 횡방향 제어 장치.
  4. 제1항에 있어서,
    상기 운동학 모델은,
    전방 주시 거리가 확정되지 않는 상황이나 타이어에 횡 방향 슬립이 발생하지 않는 저속 상황에서 적용되는 기구학 모델과
    전방 주시 거리를 알 수 있는 상황이나 바퀴가 놓여있는 방향과 바퀴의 진행방향에 차이가 발생하는 고속 상황에서 적용되는 동적 모델
    을 포함하는 횡방향 제어 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 운동학 모델은 동적 모델이고, 수학식 2와 같이 모델링되는 횡방향 제어 장치.
    [수학식 2]


    ,
    여기서, ey 는 이동체의 현재 위치 좌표와 목표 지점 위치 좌표까지의 횡방향 간격, eψ 는 이동체의 헤드 각도와 목표 지점 사이의 각도, ψ 은 이동체의 요율이고, L은 전방 주시 거리, 는 코너링 스티프니스(cornering stiffness), 는 관성 모멘트이다
  7. 횡방향 제어 장치장치에 의해 자율주행을 위한 횡방향 제어 방법으로서,
    자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 단계;
    상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출하는 단계; 및
    상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 현재 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 단계;
    를 포함하는 자율주행을 위한 횡방향 제어 방법.
  8. 제7항에 있어서,
    상기 목표 지점 정보를 산출하는 단계는,
    상기 데이터에 포함된 이미지를 분석하여 적어도 하나의 특성 정보를 추출한 후, 상기 특성 정보에 기초하여 목표 레인(lane) 및 가장자리 정보 중 어느 하나를 산출하고,
    상기 특성 정보는 주행 가능 의미를 지닌 특정 목표 정보, 차로, 인도, 횡단 보도를 포함하는 주행 가능한 영역 정보 또는 주행 불가 영역 정보, 영역의 가장자리(edge) 중 어느 하나 이상을 포함하는 자율주행을 위한 횡방향 제어 방법.
  9. 제7항에 있어서,
    상기 횡방향 제어 파라미터를 산출하는 단계는, 이동체의 현재 위치와 목표 지점 위치까지의 횡방향 간격, 이동체의 헤드 각도와 목표 지점 사이의 각도, 이동체의 요율을 상태변수로 하여 미리 저장된 운동학 모델에 적용함으로써 제어 파라미터를 산출하는 자율주행을 위한 횡방향 제어 방법.
  10. 제9항에 있어서,
    상기 횡방향 제어 파라미터는 t+1시간의 요율인 자율주행을 위한 횡방향 제어 방법.
  11. 이동체 주위를 촬영하는 카메라 모듈;
    상기 카메라로부터 획득된 정보에 기초하여 목표 지점 정보를 산출하고, 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 현재 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 횡방향 제어장치;
    상기 횡방향 제어 파라미터를 제어 입력으로 하는 입력 신호를 출력하는 컨트롤러; 및
    동력원, 바퀴, 조향장치, 브레이크를 포함하고, 상기 컨트롤러에 의해 출력되는 입력 신호에 따라 이동체의 횡방향 모션을 제어하는 구동장치
    를 포함하는 자율주행 이동체.
KR1020220075516A 2022-06-21 2022-06-21 자율주행을 위한 횡방향 제어 장치 및 방법 KR102647477B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220075516A KR102647477B1 (ko) 2022-06-21 2022-06-21 자율주행을 위한 횡방향 제어 장치 및 방법
PCT/KR2022/013377 WO2023249163A1 (ko) 2022-06-21 2022-09-06 자율주행을 위한 횡방향 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220075516A KR102647477B1 (ko) 2022-06-21 2022-06-21 자율주행을 위한 횡방향 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230174505A KR20230174505A (ko) 2023-12-28
KR102647477B1 true KR102647477B1 (ko) 2024-03-14

Family

ID=89380174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220075516A KR102647477B1 (ko) 2022-06-21 2022-06-21 자율주행을 위한 횡방향 제어 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102647477B1 (ko)
WO (1) WO2023249163A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639525B1 (ko) 2015-05-19 2016-07-13 한양대학교 산학협력단 차선 유지 시스템, 차선 유지 방법과 이에 사용되는 제어 방법
JP2019166981A (ja) 2018-03-23 2019-10-03 ヤンマー株式会社 自律操舵装置
JP2020006860A (ja) 2018-07-10 2020-01-16 本田技研工業株式会社 車両制御装置
KR102164606B1 (ko) 2018-07-23 2020-10-12 한국자동차연구원 자율주행 차량을 위한 횡방향 제어 파라미터 보정 장치 및 방법
JP2021521050A (ja) 2018-04-11 2021-08-26 オーロラ イノベーション インコーポレイティッドＡｕｒｏｒａ Ｉｎｎｏｖａｔｉｏｎ， Ｉｎｃ． 追加車両の決定されたヨーパラメータに基づいた自律走行車制御
KR102363691B1 (ko) 2021-05-07 2022-02-17 (주)뉴빌리티 자율주행을 위한 객체 속도 추정 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101143892B1 (ko) * 2010-12-31 2012-05-14 부산대학교 산학협력단 자율주행 장치 및 그 제어 방법
KR101419844B1 (ko) * 2013-02-25 2014-07-18 성균관대학교산학협력단 확장형 칼만 필터를 이용하여 주행 센서 잡음을 보정하는 스키드 스티어링 방식 원격 제어 무인 방제기
KR101475826B1 (ko) * 2013-03-14 2014-12-30 인하대학교 산학협력단 백스테핑 기법을 이용한 선도 추종자 대형제어 장치, 방법 및 이동로봇
KR101348500B1 (ko) * 2013-07-22 2014-01-07 경남대학교 산학협력단 로봇기반의 자동화 gps 측량시스템
CN107792219B (zh) * 2016-09-06 2020-10-16 夏普株式会社 移动车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639525B1 (ko) 2015-05-19 2016-07-13 한양대학교 산학협력단 차선 유지 시스템, 차선 유지 방법과 이에 사용되는 제어 방법
JP2019166981A (ja) 2018-03-23 2019-10-03 ヤンマー株式会社 自律操舵装置
JP2021521050A (ja) 2018-04-11 2021-08-26 オーロラ イノベーション インコーポレイティッドＡｕｒｏｒａ Ｉｎｎｏｖａｔｉｏｎ， Ｉｎｃ． 追加車両の決定されたヨーパラメータに基づいた自律走行車制御
JP2020006860A (ja) 2018-07-10 2020-01-16 本田技研工業株式会社 車両制御装置
KR102164606B1 (ko) 2018-07-23 2020-10-12 한국자동차연구원 자율주행 차량을 위한 횡방향 제어 파라미터 보정 장치 및 방법
KR102363691B1 (ko) 2021-05-07 2022-02-17 (주)뉴빌리티 자율주행을 위한 객체 속도 추정 장치 및 방법

Also Published As

Publication number Publication date
KR20230174505A (ko) 2023-12-28
WO2023249163A1 (ko) 2023-12-28

Similar Documents

Publication Publication Date Title
US11654891B2 (en) Electronic braking systems and methods
US20230081510A1 (en) Driving Surface Friction Estimations Using Vehicle Steering
Bayar et al. Improving the trajectory tracking performance of autonomous orchard vehicles using wheel slip compensation
CN110036353A (zh) 用于跟踪路线的地面车辆中的自适应控制方法和系统，尤其是在自动驾驶场景中
KR101748269B1 (ko) 자율 주행 차량의 조향 제어 방법 및 장치
JP2021049969A (ja) ハンドルのニュートラル位置を較正するためのシステムおよび方法
KR20170118040A (ko) 서라운드 뷰 영상에서 차량의 자차 동작을 산정하는 방법 및 장치
CN108508760B (zh) 一种多轮独立驱动滑差转向车辆的联合仿真方法及系统
US11341866B2 (en) Systems and methods for training a driver about automated driving operation
WO2019061616A1 (en) IMPEDANCE BASED MOTION CONTROL FOR AUTONOMOUS VEHICLES
US10871777B2 (en) Autonomous vehicle sensor compensation by monitoring acceleration
CN112977411A (zh) 一种智能底盘控制方法及装置
CN111238517A (zh) 用于无人驾驶车辆的路径轨迹的生成方法和生成系统
EP4049916A1 (en) Vehicle control method, vehicle control system, and vehicle
Diab et al. Self-driving car lane-keeping assist using pid and pure pursuit control
US11794756B2 (en) Estimating vehicle velocity based on variables associated with wheels
Osman et al. Vision based lane reference detection and tracking control of an automated guided vehicle
CN113589685B (zh) 一种基于深度神经网络的挪车机器人控制系统及其方法
US11745726B2 (en) Estimating angle of a vehicle wheel based on non-steering variables
CN112969902A (zh) 运载工具的行驶表面摩擦力估计
US20220242401A1 (en) Systems and methods for updating the parameters of a model predictive controller with learned controls parameters generated using simulations and machine learning
KR102647477B1 (ko) 자율주행을 위한 횡방향 제어 장치 및 방법
Abed et al. Steering control for autonomous vehicles using pid control with gradient descent tuning and behavioral cloning
Majer et al. A versatile visual navigation system for autonomous vehicles
US11782451B1 (en) Training machine learning model for controlling autonomous vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant