WO2023249163A1 - 자율주행을 위한 횡방향 제어 장치 및 방법 - Google Patents

자율주행을 위한 횡방향 제어 장치 및 방법 Download PDF

Info

Publication number
WO2023249163A1
WO2023249163A1 PCT/KR2022/013377 KR2022013377W WO2023249163A1 WO 2023249163 A1 WO2023249163 A1 WO 2023249163A1 KR 2022013377 W KR2022013377 W KR 2022013377W WO 2023249163 A1 WO2023249163 A1 WO 2023249163A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
target point
lateral
information
lateral control
Prior art date
Application number
PCT/KR2022/013377
Other languages
English (en)
French (fr)
Inventor
강태원
박창현
조성우
서정연
강기혁
Original Assignee
(주)뉴빌리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뉴빌리티 filed Critical (주)뉴빌리티
Publication of WO2023249163A1 publication Critical patent/WO2023249163A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Definitions

  • One embodiment of the present invention relates to a lateral control device and method for autonomous driving, and more specifically, to an apparatus and method that enables linear lateral control using a camera sensor.
  • Autonomous driving refers to driving to a given destination on its own by recognizing the surrounding environment, judging the driving situation, and controlling the vehicle without driver intervention.
  • the well-known model of SSMR (skid steering mobile robot) moves through slipping between the ground and tires due to the rotational direction or torque difference of each independently driven wheel without modifying the structure of the mobile robot body.
  • the Skid-Steering method is used in the form of special-purpose mobile robots such as robots for exploration of various terrains or rough terrain, space exploration robots, and combat robots because the mobile robot itself does not have any form of steering device and can rotate in place.
  • the present invention was created to solve the above problems, and the present invention seeks to provide a device and method that enables linear lateral control at low cost using a camera without using expensive equipment such as lidar. .
  • a lateral control device for autonomous driving includes an information collection unit that collects data from one or more cameras mounted on an autonomous driving vehicle; a target point information calculation module that calculates target point information based on data collected from the camera module; And based on the target point information, the lateral distance between the moving object and the target point at time t, the angle between the head of the moving object and the target point, and the yaw rate of the moving object are obtained, and based on the pre-stored kinematic model, t+
  • the module can contain a 1-hour lateral control command value.
  • a lateral control method for autonomous driving using a lateral control device includes collecting data from one or more cameras mounted on an autonomous moving vehicle; calculating target point information based on information collected from the camera module; And based on the target point information, the lateral distance between the moving object and the target point at time t, the angle between the head of the moving object and the target point, and the yaw rate of the moving object are obtained, and based on the pre-stored dynamic model, t+ It may include calculating a lateral control command value for 1 hour.
  • a self-driving mobile vehicle includes an information collection unit that collects data from one or more cameras mounted on the self-driving mobile vehicle; a target point information calculation module that calculates target point information based on data collected from the camera module; Based on the target point information, the lateral distance between the moving object and the target point at time t, the angle between the head of the moving object and the target point, and the yaw rate of the moving object are obtained, and based on the pre-stored kinematic model, t+1
  • a lateral control parameter calculation module that calculates a temporal lateral control parameter; a controller that outputs an input signal using the lateral control parameter as a control input; and a driving device that includes a power source, wheels, a steering device, a brake, etc., and controls the lateral movement of the moving object according to an input signal output by the controller.
  • the existing universally used dynamic model is a nonlinear model and can be controlled with SISO (single input single output), but it does not take into account all the variables that must be considered when the robot moves in the lateral direction.
  • SISO single input single output
  • the value of cornering stiffness can be changed to simulate lateral movement according to the road surface.
  • Figure 1 is a block diagram schematically showing the configuration of a lateral control parameter calculation device for autonomous driving according to an embodiment of the present invention.
  • Figure 2 is a block diagram schematically showing the configuration of a control unit of a lateral control parameter calculation device for autonomous driving according to an embodiment of the present invention.
  • Figure 3 is a diagram for explaining the slip angle of a tire.
  • Figure 4 is a state diagram for explaining state variables of a moving object according to an embodiment of the present invention.
  • Figure 5 is a state diagram for explaining state variables between a moving object and target information in a model considering the kinematics of a moving object without considering the forward looking distance of the camera according to an embodiment of the present invention.
  • Figure 6 is a state diagram for explaining the state variables between the moving object and target information in a model considering the dynamics of the moving object considering the forward looking distance of the camera according to an embodiment of the present invention.
  • Figure 7 is a flowchart illustrating a lateral control method for autonomous driving according to an embodiment of the present invention.
  • Figure 8 is a diagram for explaining the driving of a mobile object equipped with a lateral control device for autonomous driving according to an embodiment of the present invention.
  • control unit 140 control unit
  • Figure 1 is a diagram schematically showing the configuration of a lateral control parameter calculation device for autonomous driving according to an embodiment of the present invention.
  • the lateral control parameter calculation device 100 for autonomous driving of the present invention may include an information collection unit 120, a control unit 140, and a memory unit 160.
  • the information collection unit 120 collects information acquired by one or more sensors 10 mounted on the autonomous mobile vehicle.
  • the sensor may be, for example, one or more camera sensors.
  • the information receiving unit 120 transmits the information to the control unit 140.
  • a camera sensor generates image information by photographing an object within the field of view of a camera mounted on an autonomous vehicle.
  • the angle of view may include the front of the autonomous vehicle.
  • the camera sensor may be a stereo camera sensor capable of obtaining two images at the same time.
  • the camera sensor transmits information obtained by shooting to the control unit 140.
  • the control unit 140 controls each component of the lateral control parameter calculation device 100 for autonomous driving to estimate the speed of the object for autonomous driving.
  • Each component of the control unit 140 is composed of a set of hardware and software that can perform the above functions.
  • control unit 140 calculates target point information based on information acquired through the information collection unit 120. Calculation of target point information will be described in detail with reference to FIG. 2.
  • the control unit 140 may calculate lateral control parameters based on target point information.
  • the lateral control parameters may include the lateral distance between the target point and the autonomous moving object (hereinafter referred to as the moving object), the angle between the head of the moving object and the target point, and the yaw rate of the moving object.
  • the yaw rate is called the yaw angular velocity, and refers to the speed at which the rotation angle (yaw angle) changes around a vertical line through the center of the moving object.
  • the memory unit 160 stores or databases information, programs, etc. necessary for the lateral control parameter calculation device 100 for autonomous driving to calculate lateral control parameters when the moving object is autonomously driven.
  • information collected by the information collection unit 120 may be stored, or mathematical equations for calculating the lateral control parameters of the control unit 140 and intermediate data generated for calculating the lateral control parameters may be stored.
  • the memory unit 160 may transmit stored information to the control unit 140 at the request of the control unit 140.
  • Figure 2 is a diagram schematically showing the configuration of a control unit of a lateral control parameter calculation device for autonomous driving according to an embodiment of the present invention
  • Figure 3 is a diagram for explaining the slip angle.
  • control unit may include a target point information calculation module 142 and a lateral control parameter calculation module 144 depending on its function.
  • each component of the control unit 140 does not necessarily have to have a physically different configuration.
  • Each component of the control unit 140 may be composed of one processor and may be executed separately in terms of software or with separate execution routines. That is, each component of the control unit 140 is merely functionally differentiated and can be realized on the same hardware.
  • the target point information calculation module 142 calculates target point information based on information obtained from the image acquired from the camera module 10.
  • the target point information may include one or more of target lane and edge information to be tracked.
  • the target point information calculation module 142 analyzes the acquired image and extracts at least one characteristic information.
  • the characteristic information may include specific target information with drivable meaning, drivable area information such as lanes, sidewalks, crosswalks, etc. or non-drivable area information, edges of the area, etc.
  • the target point information calculation module 142 calculates target lane or edge information to be tracked based on the characteristic information.
  • the target point information calculation module 142 may obtain relative position coordinates of the target point based on the location of the moving object based on target lane or edge information to be tracked.
  • the lateral control parameter calculation module 144 calculates the lateral distance (e y ) between the current position coordinates of the moving object and the target point position coordinates based on the target point information, and the angle between the head angle of the moving object and the target point (e ⁇ ).
  • the control parameters are calculated by applying the rate ( ⁇ ) of the moving object to the stored kinematic model as a state variable.
  • the kinematic model is a state space model for the moving object and the target point, and when applied, the rate that causes convergence to the target point is used as the model input.
  • the rate of the moving object calculated through the kinematic model can be used as a control parameter of the moving object.
  • the kinematic model may include a kinematic model that does not consider the force causing motion and a dynamic model that considers the lateral force that causes motion.
  • the target point information calculation module 142 may calculate control parameters using a kinematic model that does not consider the forward gaze distance of the camera and calculate control parameters using a dynamic model that considers the forward gaze distance.
  • the control parameters of the moving object can be calculated using only the kinematics model.
  • the control parameters of the moving object can be calculated using a dynamic model. Referring to Figure 3, the moving object receives a lateral force due to the speed difference between the left and right wheels.
  • slip angle ( ⁇ ) When lateral force is applied, a difference occurs between the direction in which the tire is placed and the direction in which the tire actually moves. This difference is called the slip angle ( ⁇ ), and the skid-steering method rotates by considering the slip angle ( ⁇ ). At this time, dynamic modeling considering the slip angle ( ⁇ ) is performed at high speed.
  • Figure 4 is a state diagram for explaining the state variables of a moving object according to an embodiment of the present invention
  • Figure 5 is a moving object and target information in a model considering the kinematics of the moving object without considering the forward gaze distance of the camera according to an embodiment of the present invention
  • Figure 6 is a state diagram for explaining the state variables between the moving object and target information in a model considering the dynamics of the moving object considering the forward looking distance of the camera according to an embodiment of the present invention.
  • FIG. 4 a bicycle with two wheels (bicycle mdoel) is illustrated for convenience of explanation, but the present invention is not limited thereto. Since the distance between wheels is small compared to the turning radius, the error does not appear large even when the bicycle model is applied to a four-wheeled vehicle.
  • the moving body coordinate system can be used to derive the friction force that acts between each wheel and the ground while the moving body is moving.
  • ⁇ CT ⁇ is an abbreviation for center of turn and means the center of rotation.
  • ⁇ CG ⁇ is an abbreviation for Center of gravity.
  • F is the friction force
  • F xr is the longitudinal friction force acting on the rear wheels
  • F yr is the transverse friction force acting on the rear wheels
  • F yf is the longitudinal friction force acting on the front wheels
  • F It is the transverse friction force that acts.
  • r is the distance from the center of rotation to the wheel
  • r c is the distance from the center of rotation to the center of the moving object.
  • l f is the distance from the center of gravity to the front wheels
  • lr is the distance from the center of gravity to the rear wheels.
  • ⁇ r is the slip angle acting on the rear wheels
  • ⁇ f is the slip angle acting on the front wheels
  • ⁇ is the slip angle at the center of rotation.
  • Equation 1 the state variables are the lateral distance between the current position coordinates of the moving object and the target point position coordinates (e y ), the angle between the head angle of the moving object and the target point (e ⁇ ), and the rate of movement ( ⁇ ) of the moving object. Able to know.
  • Ts is the control sample time.
  • k is the curvature and Vx is the longitudinal velocity.
  • L is the look ahead length, which is a factor used to determine how many meters ahead the camera will react and move. This value can be preset.
  • Cornering stiffness refers to the differential value at which side force occurs at a slip angle of 0 degrees according to the relationship between the slip angle and side force of the moving vehicle tire. It is the standard for the amount of force generated when changing the direction of a moving object's tires. This cornering stiffness is one of the factors that affects the control and stability of a moving object.
  • the lateral control parameter calculation module 144 can change cornering stiffness according to road surface conditions and apply it to the dynamic model.
  • Figure 7 is a flowchart illustrating a lateral control method for autonomous driving using a lateral control device according to an embodiment of the present invention.
  • step S110 the information collection unit collects data from one or more cameras mounted on the autonomous mobile vehicle.
  • step S120 the control unit calculates target point information based on data collected from the camera module.
  • the control unit extracts at least one characteristic information by analyzing the image included in the collected data, and then calculates one of target lane and edge information based on the characteristic information.
  • the characteristic information includes one or more of specific target information with drivable meaning, drivable area information such as lanes, sidewalks, and crosswalks, non-drivable area information, and edges of the area.
  • step S130 the control unit obtains the lateral distance between the moving object and the target point at time t, the angle between the head of the moving object and the target point, and the current yaw rate of the moving object based on the target point information and stores the information in advance. Based on the kinematic model, the lateral control parameters at time t+1 are calculated.
  • the control unit calculates control parameters by applying the lateral distance between the current position of the moving object and the target point, the angle between the head angle of the moving object and the target point, and the yaw rate of the moving object to a pre-stored kinematic model as state variables.
  • the lateral control parameter is the rate of time t+1. Since the method for calculating control parameters has been described with reference to FIGS. 4 to 6, detailed description will be omitted.
  • Figure 8 is a diagram for explaining the driving of a mobile object equipped with a lateral control device for autonomous driving according to an embodiment of the present invention.
  • a mobile object (hereinafter referred to as a mobile object) (1) equipped with a lateral control device for autonomous driving includes a camera module 10, a lateral control device 100, a controller 200, and a driving device ( 300).
  • the camera module 10 transmits information to the lateral control device 100
  • the lateral control device 100 and the moving object 1 can transmit and receive information.
  • the controller 200 may transmit a control command to the driving device 300.
  • the lateral control device 100 discretely generates lateral control parameters and transmits them to the controller 200 until the moving object 1 arrives at the destination.
  • the lateral control parameter may be the rate of time t+1.
  • the controller 200 controls each component of the moving object, and in particular, outputs an input signal using the lateral control parameter as a control input from the lateral control device 100.
  • the controller 200 controls the driving device 300 to drive the moving object 1 until it reaches a preset target position, and ends driving when the moving object 1 reaches the destination.
  • the driving device 300 includes a power source, wheels, a steering device, brakes, etc., and controls the lateral motion of the moving object according to an input signal output from the controller 200.
  • the power source can be used in various ways depending on the size and function of the moving object, such as an electric motor or fossil fuel-based engine.
  • the lateral motion of a moving object can be controlled using a camera that is relatively inexpensive compared to LiDAR.
  • each block of the processing flow diagram diagrams and combinations of the flow diagram diagrams can be performed by computer program instructions.
  • These computer program instructions can be mounted on a processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, so that the instructions performed through the processor of the computer or other programmable data processing equipment are described in the flow chart block(s). It creates the means to perform functions.
  • These computer program instructions may also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular manner, so that the computer-usable or computer-readable memory It is also possible to produce manufactured items containing instruction means that perform the functions described in the flowchart block(s).
  • Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer, thereby generating a process that is executed by the computer or other programmable data processing equipment. Instructions that perform processing equipment may also provide steps for executing the functions described in the flow diagram block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • the term ' ⁇ unit' used in this embodiment refers to software or hardware components such as FPGA or ASIC, and the ' ⁇ unit' performs certain roles.
  • ' ⁇ part' is not limited to software or hardware.
  • the ' ⁇ part' may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors. Therefore, as an example, ' ⁇ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and 'parts' may be combined into a smaller number of components and 'parts' or may be further separated into additional components and 'parts'. Additionally, components and 'parts' may be implemented to regenerate one or more CPUs within a device or a secure multimedia card.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 일 실시예는 자율주행을 위한 횡방향 제어 방법, 장치 및 이동체에 관한 것으로, 상기 자율주행을 위한 횡방향 제어 장치는 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 정보 수집부; 상기 카메라 모듈로부터 수집된 정보에 기초하여 목표 지점 정보를 산출하는 목표 지점 정보 산출 모듈; 및 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 현재 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 횡방향 제어 파라미터 산출 모듈을 포함한다. 대표도: 도 7

Description

자율주행을 위한 횡방향 제어 장치 및 방법
본 발명의 일 실시예는 자율주행을 위한 횡방향 제어 장치 및 방법에 관한 것으로, 보다 상세하게는 카메라 센서를 이용하여 선형적인 횡방향 제어를 가능하게 하는 장치 및 방법에 관한 것이다.
자율주행이란 운전자의 개입 없이 주변 환경을 인식하고, 주행 상황을 판단하여, 차량을 제어함으로써 스스로 주어진 목적지까지 주행하는 것을 말한다.
최근 자율주행 기술의 발달에 따라 자동차, 항공기, 드론, 로봇, 선박 등의 여러 플랫폼을 이용한 자율주행이 시도되고 있다.
4륜 모바일 로봇의 정밀한 움직임 제어를 위해서는 주변 환경으로부터 발생하는 많은 위험에 대해 강인하게 대처하는 것이 중요하다. 자동차의 자율주행의 경우 주행하는 곳이 주로 차도이기 때문에 장애물이나 주행 영역이 규칙적이다. 반면 배달로봇이나 서빙로봇은 더욱 복잡하고 다양한 장애물들이 존재하는 인도, 횡단보도, 실내 공간 등을 주행하기때문에 부드럽고 안전한 주행을 위해서는 플랫폼의 역학적 모델링을 정확하게 구축해야하며 다양한 상황에 따라 적합한 제어기를 적용하고, 컴퓨팅 시간을 적절하게 사용하기 위해서는 비선형이 아닌 선형 역학적 모델링을 구축해야한다.
한편, SSMR (skid steering mobile robot)의 잘 알려진 모델은 이동로봇 차체의 구조는 변형시키지 않고 독립적으로 구동되는 각 바퀴의 회전방향 또는 토크 차이에 의해 지면과 타이어 사이의 미끄러짐을 통해 이동되는 방식이다. Skid-Steering방식은 이동로봇 자체에 어떠한 형태의 조향장치도 없고 제자리 회전이 가능하기 때문에 다양한 지형이나 험지탐사용 로봇, 우주 탐사용 로봇, 전투용 로봇 등의 특수목적용 이동로봇형태로 활용된다.
이러한 Skid-Steering 방식으로 목표지점까지의 이동을 위해서는 로봇과 목표지점까지의 오차를 계산하여 이동궤적을 생성하였다. 그러나, 로봇과 목표지점과의 오차는 로봇 좌표 기준으로 표현할 때, 비선형적인 함수로 표현할 수 밖에 없다. 이러한 비선형적 모델은 MIMO (multi input multi output) 제어도 하기 힘들고 MIMO 제어가 힘들기 때문에 비선형 제어방식을 사용하지 않으면 정밀 제어가 힘들다. 그러나 비선형 제어방식을 사용한다해도 채터링(chattering) 이 존재하거나 실시간 제어가 불가능하거나 유지보수가 힘들 정도로 복잡해질 수 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 본 발명은 라이다와 같은 고가의 장비를 이용하지 않고 카메라를 이용하여 저비용으로 선형적인 횡방향 제어를 가능하게 하는 장치 및 방법을 제공하고자 한다.
이를 위하여, 본 발명의 일 실시예에 따르면, 자율주행을 위한 횡방향 제어 장치는 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 정보 수집부; 상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출하는 목표 지점 정보 산출 모듈; 및 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 지령 값을 모듈을 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 횡방향 제어 장치장치에 의해 자율주행을 위한 횡방향 제어 방법은, 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 단계; 상기 카메라 모듈로부터 수집된 정보에 기초하여 목표 지점 정보를 산출하는 단계; 및 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 이동체의 요율(yaw rate)을 획득하고 미리 저장된 동역학 모델에 기초하여 t+1시간의 횡방향 제어 지령 값을 산출하는 단계를 포함할 수 있다.
본 발명의 모든 실시예에 따른 자율주행 이동체는 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 정보 수집부; 상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출하는 목표 지점 정보 산출 모듈; 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 횡방향 제어 파라미터 산출 모듈; 상기 횡방향 제어 파라미터를 제어 입력으로 하는 입력 신호를 출력하는 컨트롤러; 및 동력원, 바퀴, 조향장치, 브레이크 등을 포함하고, 상기 컨트롤러에 의해 출력되는 입력 신호에 따라 이동체의 횡방향 움직임을 제어하는 구동장치를 포함한다.
본 발명에 따르면, 수백 내지 수천 달러 LiDAR에 비해 비교적 저렴한 카메라를 이용하므로 비용적 이득이 있다.
또한, 종래의 카메라 즉 시각 데이터 만을 이용하므로 GPS를 통해 제어하는 방식보다 더 강건하기 때문에 지속적으로 제어할 수 있다.
또한, 기존 범용적으로 사용되는 동역학 모델은 비선형 모델이고 SISO (single input single output)로 제어할 수 있지만 로봇이 횡 방향으로 움직일 때 고려해야하는 변수들을 모두 고려하지 못 한다. 비선형 제어기를 사용할 때는 범용적으로 사용되는 알고리즘을 적용하기 힘들고, 모델 없이 기계학습을 활용한 제어방식을 사용할 때는 컴퓨팅 시간이 많이 들거나 학습되지 않은 상황에서는 적용하기 힘들다. 따라서 선형 모델을 활용하여 연산량을 감소시키고, 범용적 알고리즘의 보수 및 적용을 용이하게 한다.
또한, 일 실시예에 따르면 급속도로 목표 지점으로 수렴해야하는 상황 또는 부드러운 주행을 원하는 등의 다양한 주행환경에서 계수를 바꿈만으로 해당 상황에 반응이 가능하다. 또한 노면을 고려하여 cornering stiffness의 값을 바꿔 노면에 따른 횡 방향 움직임을 모사할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 파라미터 산출 장치의 구성을 개략적으로 나타낸 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 파라미터 산출 장치의 제어부의 구성을 개략적으로 나타낸 블럭도이다.
도 3은 타이어의 슬립각을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 이동체의 상태변수를 설명하기 위한 상태도이다.
도 5는 본 발명의 일 실시예에 따른 카메라의 전방 주시 거리를 고려하지 않는 이동체의 운동학을 고려한 모델에서 이동체와 목표 정보 간의 상태변수를 설명하기 위한 상태도이다.
도 6은 본 발명의 일 실시예에 따른 카메라의 전방 주시 거리를 고려하는 이동체의 동역학을 고려한 모델에서 이동체와 목표 정보 간의 상태변수를 설명하기 위한 상태도이다.
도 7은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 장치를 탑재한 이동체의 주행을 설명하기 위한 도면이다.
[부호의 설명]
100: 횡방향 제어 장치
10: 카메라 모듈
120: 정보 수신부
140: 제어부
142: 목표 지점 정보 산출 모듈
144: 횡방향 제어 파라미터 산출 모듈
160: 메모리부
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 파라미터 산출 장치의 구성을 개략적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 자율주행을 위한 횡방향 제어 파라미터 산출 장치(100)는 정보 수집부(120), 제어부(140) 및 메모리부(160)를 포함할 수 있다.
정보 수집부(120)는 자율주행 이동체에 탑재된 하나 이상의 센서(10)에 의해 획득되는 정보를 수집한다. 센서는 예를 들어 하나 이상의 카메라 센서일 수 있다. 정보 수신부(120)는 제어부(140)에 전달한다. 일 실시예에서, 카메라 센서는 자율주행 이동체에 탑재된 카메라의 화각 내의 객체(object)를 촬영하여 영상정보를 생성한다. 화각은 자율주행체의 전방을 포함할 수 있다. 일 실시예에서 카메라 센서는 동시에 2장의 화상을 얻을 수 있는 스테레오 카메라 센서일 수 있다. 카메라 센서는 촬영에 의해 획득한 정보를 제어부(140)로 전달한다.
제어부(140)는 자율주행을 위한 횡방향 제어 파라미터 산출 장치(100)의 각 구성요소를 제어하여 자율주행을 위한 객체의 속도를 추정한다. 제어부(140)의 각 구성요소는 상기의 기능들을 수행할 수 있는 하드웨어와 소프트웨어의 집합으로 구성된다.
일 실시예에서 제어부(140)는 정보 수집부(120)를 통해 획득한 정보에 기초하여 목표 지점 정보를 산출한다. 목표 지점 정보 산출에 대하여는 도 2를 참조하여 상세히 설명하기로 한다.
또한, 제어부(140)는 목표 지점 정보에 기초하여 횡방향 제어 파라미터를 산출할 수 있다. 횡방향 제어 파라미터는 목표 지점과 자율주행 이동체(이하 이동체라고 함)와의 횡방향 간격과 이동체의 헤드(head)와 목표 지점과의 각도 및 이동체의 요율(yaw rate)를 포함할 수 있다. 여기서, 요율은 요 각속도라고 하며, 이동체의 중심을 통하는 수직선 주위에 회전각(요각)이 변하는 속도를 말한다.
메모리부(160)는 자율주행을 위한 횡방향 제어 파라미터 산출 장치(100)가 이동체의 자율주행시 횡방향 제어 파라미터를 산출하기 위해 필요한 정보, 프로그램 등을 저장하거나 데이터베이스화한다. 예컨대, 정보 수집부(120)에 의해 수집되는 정보를 저장하거나, 제어부(140)의 횡방향 제어 파라미터를 산출하기 위한 수학식 및 횡방향 제어 파라미터 산출을 위해 생성되는 중간 데이터를 저장할 수 있다.
또한, 메모리부(160)는 제어부(140)의 요청에 따라 저장된 정보를 제어부(140)에 전달할 수 있다.
도 2는 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 파라미터 산출 장치의 제어부의 구성을 개략적으로 나타낸 도면이고, 도 3은 슬립각을 설명하기 위한 도면이다.
도 2를 참조하면, 제어부(도 1의 140)는 기능에 따라, 목표 지점 정보 산출 모듈(142) 및 횡방향 제어 파라미터 산출 모듈(144)을 포함할 수 있다.
하지만, 제어부(140)의 각 구성은 반드시 물리적으로 다른 구성을 가질 필요는 없다. 제어부(140)의 각 구성은 하나의 프로세서로 구성되고 단지 소프트웨어적으로 분리되거나 실행 루틴이 구분되어 실행될 수도 있을 것이다. 즉, 제어부(140)의 각 구성은 단지 기능적으로 구분될 뿐, 동일한 하드웨어 상에서 실현될 수 있다.
목표 지점 정보 산출 모듈(142)은 카메라 모듈(10)로부터 획득한 이미지로부터 획득한 정보에 기초하여 목표 지점 정보를 산출한다.
일 실시예에서, 목표 지점 정보는 트래킹(tracking)할 목표 레인(lane)과 가장자리(edge) 정보 중 어느 하나 이상을 포함할 수 있다.
예를 들어, 목표 지점 정보 산출 모듈(142)은 획득한 이미지를 분석하여 적어도 하나의 특성 정보를 추출한다. 이때, 특성정보는 주행 가능 의미를 지닌 특정 목표 정보, 차로, 인도, 횡단 보도 등의 주행 가능한 영역 정보 또는 주행 불가 영역 정보, 영역의 가장자리(edge) 등을 포함할 수 있다. 목표 지점 정보 산출 모듈(142)은 특성정보에 기초하여, 트래킹(tracking)할 목표 레인(lane) 또는 가장자리(edge) 정보를 산출한다.
목표 지점 정보 산출 모듈(142)은 트래킹(tracking)할 목표 레인(lane) 또는 가장자리(edge) 정보에 기초하여 이동체의 위치를 기준으로 목표 지점의 상대적인 위치 좌표를 획득할 수 있다.
횡방향 제어 파라미터 산출 모듈(144)은 목표 지점 정보에 기초하여 이동체의 현재 위치 좌표와 목표 지점 위치 좌표까지의 횡방향 간격(ey), 이동체의 헤드 각도와 목표 지점 사이의 각도(eψ), 이동체의 요율(ψ)을 상태변수로 하여 저장된 운동학 모델에 적용함으로써 제어 파라미터를 산출한다. 여기서 운동학 모델은 이동체와 목표 지점에 대한 상태공간모델로 인가될 때 목표 지점으로 수렴하게 하는 요율을 모델입력으로 한다. 즉, 운동학 모델을 통해 산출되는 이동체의 요율을 이동체의 제어 파라미터로 이용할 수 있다.
운동학 모델은 운동을 일으키는 힘을 고려하지 않은 기구학 모델과 운동을 일으키는 횡력을 고려한 동적 모델을 포함할 수 있다.
목표 지점 정보 산출 모듈(142)은 카메라의 전방 주시 거리를 고려하지 않은 기구학 모델에 의해 제어 파라미터를 산출하고 전방 주시 거리를 고려하는 동적 모델에 의해 제어 파라미터를 산출할 수 있다. 전방 주시 거리가 확정되지 않는 상황이나 타이어에 횡 방향 슬립이 거의 발생하지 않는 저속 상황에서는 기구학 모델 만으로도 이동체의 제어 파라미터를 산출할 수 있다. 한편 전방 주시 거리를 알 수 있는 상황이나 바퀴가 놓여있는 방향과 바퀴의 진행방향에 차이가 발생하는 고속 상황에서는 동적 모델로 이동체의 제어 파라미터를 산출할 수 있다. 도 3을 참조하면, 좌, 우 휠의 속도 차에 의해 이동체는 횡력(측력)을 받는다. 횡력이 작용하게 되면 타이어가 놓여있는 방향과 실제 타이어가 움직이는 방향간에 차이가 발생한다. 이러한 차이를 슬립각(slip angle, α)이라고 하며, skid-steering 방식은 슬립각(α)을 고려하여 회전한다. 이때, 고속 상태에서는 슬립각(α)을 고려한 동적 모델링을 수행한다.
도 4는 일 실시예에 따른 이동체의 상태변수를 설명하기 위한 상태도이고, 도 5는 본 발명의 일 실시예에 따른 카메라의 전방 주시 거리를 고려하지 않는 이동체의 운동학을 고려한 모델에서 이동체와 목표 정보 간의 상태변수를 설명하기 위한 상태도이고, 도 6은 본 발명의 일 실시예에 따른 카메라의 전방 주시 거리를 고려하는 이동체의 동역학을 고려한 모델에서 이동체와 목표 정보 간의 상태변수를 설명하기 위한 상태도이다.
도 4에서는 설명의 편의를 위하여 바퀴가 두 개인 바이시클(bicycle mdoel)을 예시하였으나, 이에 한정하는 것은 아니다. 회전 반경에 비해서 휠 간의 간격이 작으므로 바이시클 모델을 4륜 이동체에 적용하여도 오차가 크지 않게 나타난다.
먼저 도 4를 참조하면, 이동체 좌표계는 이동체가 움직이는 동안 각 바퀴와 지면사이에서 작용하는 마찰력을 유도하는데 활용될 수 있다.
도 4에서 {CT}는 Center of turn의 약어로 회전 중심을 의미한다.
{CG}는 Center of gravity의 약어로 무게 중심을 의미한다.
F는 마찰력으로, Fxr는 뒷 바퀴에 작용하는 종 방향 마찰력이고, Fyr는 뒷 바퀴에 작용하는 횡 방향 마찰력이며, Fyf는 앞 바퀴에 작용하는 종 방향 마찰력이고, Fxf는 앞 바퀴에 작용하는 횡 방향 마찰력이다.
r은 회전 중심으로부터 바퀴까지의 거리이고, rc는 회전 중심으로부터 이동체 중심까지지의 거리이다.
lf는 무게 중심으로부터 앞 바퀴까지의 거리이고, lr은 무게 중심으로부터 뒷 바퀴까지의 거리이다.
θr는 뒷 바퀴에 작용하는 미끄러짐 각이고, θf는 앞바퀴에 작용하는 미끄러짐 각이다.
β는 회전 중심에서의 미끄러짐 각이다.
먼저 기구학 모델을 살펴본다.
기구학 모델링은 수학식 1과 같이 나타낼 수 있다.
Figure PCTKR2022013377-appb-img-000001
Figure PCTKR2022013377-appb-img-000002
이다.
수학식 1에서, 상태변수는 이동체의 현재 위치 좌표와 목표 지점 위치 좌표까지의 횡방향 간격(ey), 이동체의 헤드 각도와 목표 지점 사이의 각도(eψ), 이동체의 요율(ψ)임을 알 수 있다.
수학식 1에서 Ts는 제어 샘플 시간이다. k는 곡률, Vx는 종 방향 속도이다.
또한,
Figure PCTKR2022013377-appb-img-000003
이고,
수학식 1에 의해,
Figure PCTKR2022013377-appb-img-000004
Figure PCTKR2022013377-appb-img-000005
를 얻을 수 있다.
다음 동적 모델을 살펴본다.
동적 모델링은 수학식 2와 같이 나타낼 수 있다.
Figure PCTKR2022013377-appb-img-000006
Figure PCTKR2022013377-appb-img-000007
Figure PCTKR2022013377-appb-img-000008
,
Figure PCTKR2022013377-appb-img-000009
수학식 2에서, L은 Look ahead 길이로, 카메라에서 전방 몇 미터까지 반응하여 움직일 지를 결정하기 위한 요소이다. 이 값은 미리 설정될 수 있다.
Figure PCTKR2022013377-appb-img-000010
는 코너링 스티프니스(cornering stiffness)이다. 코너링 스티프니스는 이동체 타이어의 슬립 각과 사이드 포스의 관계에 따른 슬립 각 0도에서 사이드 포스가 일어나는 미분값을 말한다. 계속 진행하고 있는 이동체 타이어의 방향을 바꿀 경우 발생하는 힘의 크기에 기준이 된다. 이러한 코너링 스티프니스는 이동체의 조종, 안정성에 영향을 미치는 요소 중 하나이다.
Figure PCTKR2022013377-appb-img-000011
는 관성 모멘트이다.
수학식 2에서,
Figure PCTKR2022013377-appb-img-000012
이고,
수학식 2에 의해
Figure PCTKR2022013377-appb-img-000013
Figure PCTKR2022013377-appb-img-000014
Figure PCTKR2022013377-appb-img-000015
를 얻을 수 있다.
따라서, 횡방향 제어 파라미터 산출 모듈(144)은 노면 상황에 따라 코너링 스티프니스를 변경하여 상기 동적 모델에 적용할 수 있다.
이하에서 다른 실시예로써, 상술한 바와 같은 구성을 갖는 본 발명에 따른 자율주행을 위한 객체 속도 추정 방법에 대해 도 6를 참조하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 횡방향 제어 장치장치에 의해 자율주행을 위한 횡방향 제어 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 단계 S110에서, 정보 수집부는 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집한다.
단계 S120에서, 제어부가 상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출한다. 상기 제어부가 수집된 데이터에 포함된 이미지를 분석하여 적어도 하나의 특성 정보를 추출한 후, 상기 특성 정보에 기초하여 목표 레인(lane) 및 가장자리 정보 중 어느 하나를 산출한다. 상기 특성정보는 주행 가능 의미를 지닌 특정 목표 정보, 차로, 인도, 횡단 보도 등의 주행 가능한 영역 정보 또는 주행 불가 영역 정보, 영역의 가장자리(edge) 중 어느 하나 이상을 포함한다.
단계 S130에서, 상기 제어부가 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 현재 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출한다.
상기 제어부가 이동체의 현재 위치와 목표 지점 위치까지의 횡방향 간격, 이동체의 헤드 각도와 목표 지점 사이의 각도, 이동체의 요율을 상태변수로 하여 미리 저장된 운동학 모델에 적용함으로써 제어 파라미터를 산출한다. 상기 횡방향 제어 파라미터는 t+1시간의 요율이다. 제어 파라미터를 산출하는 방법은 도 4 내지 6을 참조하여 설명하였으므로 상세한 설명은 생략한다.
도 8은 본 발명의 일 실시예에 따른 자율주행을 위한 횡방향 제어 장치를 탑재한 이동체의 주행을 설명하기 위한 도면이다.
도 8을 참조하면, 자율주행을 위한 횡방향 제어 장치를 탑재한 이동체(이하 이동체라고 한다)(1)는 카메라 모듈(10), 횡방향 제어 장치(100), 컨트롤러(200) 및 구동장치(300)를 포함할 수 있다. 상기 실시예에서 설명한 바와 같이, 카메라 모듈(10)는 횡방향 제어 장치(100)에게 정보를 전송하고, 횡방향 제어 장치 (100)와 이동체(1)는 정보를 송수신할 수 있다. 또한, 컨트롤러(200)는 구동장치(300)에게 제어명령을 전송할 수 있다.
카메라 모듈(10), 횡방향 제어 장치(100)는 도 1에서 설명한 카메라 모듈(10), 횡방향 제어 장치(100)와 동일하므로 상세한 설명은 생략한다. 다만, 횡방향 제어 장치(100)는 이동체(1)가 목적지에 도착할 때까지 이산적으로 횡방향 제어 파라미터를 생성하여 컨트롤러(200)에 전달한다. 여기서 횡방향 제어 파라미터는 t+1시간의 요율일 수 있다.
컨트롤러(200)는 이동체의 각 구성요소를 제어하고, 특히 횡방향 제어 장치(100)로부터 횡방향 제어 파라미터를 제어 입력으로 하는 입력 신호를 출력한다.
컨트롤러(200)는 이동체(1)가 미리 설정된 목표 위치에 도달할 때까지 구동장치(300)를 제어하여 주행하고, 목적지에 도달하면 주행을 종료할 수 있다.
구동장치(300)는 동력원, 바퀴, 조향장치, 브레이크 등을 포함하고, 컨트롤러(200)의해 출력되는 입력 신호에 따라 이동체의 횡방향 모션을 제어한다.
여기서 동력원은 전기 기반의 모터, 화석연료 기반의 엔진 등 이동체의 크기 및 기능에 따라 다양하게 채택될 수 있다.
본 발명의 일 실시예에 따르면, 라이다에 비하여 비교적 저렴한 카메라를 이용하여 이동체의 횡방향 모션을 제어할 수 있다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서가 속하는 기술분야의 통상의 지식을 가진 자는 본 명세서가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 명세서의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 명세서의 범위에 포함되는 것으로 해석되어야 한다.
한편, 본 명세서와 도면에는 본 명세서의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 명세서의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (11)

  1. 자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 정보 수집부;
    상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출하는 목표 지점 정보 산출 모듈; 및
    상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 횡방향 제어 파라미터 산출 모듈을
    포함하는 자율주행을 위한 횡방향 제어 장치.
  2. 제1항에 있어서,
    상기 목표 지점 정보는 목표 레인(lane) 및 가장자리 정보 중 어느 하나를 트래킹(tracking)하는 자율주행을 위한 횡방향 제어 장치.
  3. 제1항에 있어서,
    상기 횡방향 제어 파라미터는 t+1시간의 요율인 자율주행을 위한 횡방향 제어 장치.
  4. 제1항에 있어서,
    상기 운동학 모델은,
    전방 주시 거리가 확정되지 않는 상황이나 타이어에 횡 방향 슬립이 발생하지 않는 저속 상황에서 적용되는 기구학 모델과
    전방 주시 거리를 알 수 있는 상황이나 바퀴가 놓여있는 방향과 바퀴의 진행방향에 차이가 발생하는 고속 상황에서 적용되는 동적 모델
    을 포함하는 횡방향 제어 장치.
  5. 제1항에 있어서,
    상기 운동학 모델은 기구학 모델이고, 수학식 1과 같이 모델링되는 횡방향 제어 장치.
    [수학식 1]
    Figure PCTKR2022013377-appb-img-000016
    Figure PCTKR2022013377-appb-img-000017
    여기서, ey 는 이동체의 현재 위치 좌표와 목표 지점 위치 좌표까지의 횡방향 간격, eψ 는 이동체의 헤드 각도와 목표 지점 사이의 각도, ψ 은 이동체의 요율이고, Ts는 제어 샘플 시간, k는 회전 곡률, Vx는 이동체의 종 방향 속도, lfr은 전류과 후륜까지의 거리이다
  6. 제1항에 있어서,
    상기 운동학 모델은 동적 모델이고, 수학식 2와 같이 모델링되는 횡방향 제어 장치.
    [수학식 2]
    Figure PCTKR2022013377-appb-img-000018
    Figure PCTKR2022013377-appb-img-000019
    Figure PCTKR2022013377-appb-img-000020
    ,
    Figure PCTKR2022013377-appb-img-000021
    여기서, ey 는 이동체의 현재 위치 좌표와 목표 지점 위치 좌표까지의 횡방향 간격, eψ 는 이동체의 헤드 각도와 목표 지점 사이의 각도, ψ 은 이동체의 요율이고, L은 전방 주시 거리, Cα는 코너링 스티프니스(cornering stiffness), Iz는 관성 모멘트이다
  7. 횡방향 제어 장치장치에 의해 자율주행을 위한 횡방향 제어 방법으로서,
    자율주행 이동체에 탑재된 하나 이상의 카메라로부터 데이터를 수집하는 단계;
    상기 카메라 모듈로부터 수집된 데이터에 기초하여 목표 지점 정보를 산출하는 단계; 및
    상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 현재 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 단계;
    를 포함하는 자율주행을 위한 횡방향 제어 방법.
  8. 제7항에 있어서,
    상기 목표 지점 정보를 산출하는 단계는,
    상기 데이터에 포함된 이미지를 분석하여 적어도 하나의 특성 정보를 추출한 후, 상기 특성 정보에 기초하여 목표 레인(lane) 및 가장자리 정보 중 어느 하나를 산출하고,
    상기 특성 정보는 주행 가능 의미를 지닌 특정 목표 정보, 차로, 인도, 횡단 보도 등의 주행 가능한 영역 정보 또는 주행 불가 영역 정보, 영역의 가장자리(edge) 중 어느 하나 이상을 포함하는 자율주행을 위한 횡방향 제어 방법.
  9. 제7항에 있어서,
    상기 횡방향 제어 파라미터를 산출하는 단계는, 이동체의 현재 위치와 목표 지점 위치까지의 횡방향 간격, 이동체의 헤드 각도와 목표 지점 사이의 각도, 이동체의 요율을 상태변수로 하여 미리 저장된 운동학 모델에 적용함으로써 제어 파라미터를 산출하는 자율주행을 위한 횡방향 제어 방법.
  10. 제9항에 있어서,
    상기 횡방향 제어 파라미터는 t+1시간의 요율인 자율주행을 위한 횡방향 제어 방법.
  11. 이동체 주위를 촬영하는 카메라 모듈;
    상기 카메라로부터 획득된 정보에 기초하여 목표 지점 정보를 산출하고, 상기 목표 지점 정보에 기초하여 t시간의 이동체와 목표 지점까지의 횡방향 거리, 이동체의 헤드와 목표 지점 사이의 각도, 현재 이동체의 요율(yaw rate)을 획득하고 미리 저장된 운동학 모델에 기초하여 t+1시간의 횡방향 제어 파라미터를 산출하는 횡방향 제어장치;
    상기 횡방향 제어 파라미터를 제어 입력으로 하는 입력 신호를 출력하는 컨트롤러; 및
    동력원, 바퀴, 조향장치, 브레이크 등을 포함하고, 상기 컨트롤러에 의해 출력되는 입력 신호에 따라 이동체의 횡방향 모션을 제어하는 구동장치
    를 포함하는 자율주행 이동체.
PCT/KR2022/013377 2022-06-21 2022-09-06 자율주행을 위한 횡방향 제어 장치 및 방법 WO2023249163A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0075516 2022-06-21
KR1020220075516A KR102647477B1 (ko) 2022-06-21 2022-06-21 자율주행을 위한 횡방향 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023249163A1 true WO2023249163A1 (ko) 2023-12-28

Family

ID=89380174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013377 WO2023249163A1 (ko) 2022-06-21 2022-09-06 자율주행을 위한 횡방향 제어 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102647477B1 (ko)
WO (1) WO2023249163A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101143892B1 (ko) * 2010-12-31 2012-05-14 부산대학교 산학협력단 자율주행 장치 및 그 제어 방법
KR101348500B1 (ko) * 2013-07-22 2014-01-07 경남대학교 산학협력단 로봇기반의 자동화 gps 측량시스템
KR101419844B1 (ko) * 2013-02-25 2014-07-18 성균관대학교산학협력단 확장형 칼만 필터를 이용하여 주행 센서 잡음을 보정하는 스키드 스티어링 방식 원격 제어 무인 방제기
US20180065242A1 (en) * 2016-09-06 2018-03-08 Sharp Kabushiki Kaisha Moving vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475826B1 (ko) * 2013-03-14 2014-12-30 인하대학교 산학협력단 백스테핑 기법을 이용한 선도 추종자 대형제어 장치, 방법 및 이동로봇
KR101639525B1 (ko) * 2015-05-19 2016-07-13 한양대학교 산학협력단 차선 유지 시스템, 차선 유지 방법과 이에 사용되는 제어 방법
JP2019166981A (ja) * 2018-03-23 2019-10-03 ヤンマー株式会社 自律操舵装置
US10906536B2 (en) * 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
JP2020006860A (ja) * 2018-07-10 2020-01-16 本田技研工業株式会社 車両制御装置
KR102164606B1 (ko) * 2018-07-23 2020-10-12 한국자동차연구원 자율주행 차량을 위한 횡방향 제어 파라미터 보정 장치 및 방법
KR102363691B1 (ko) * 2021-05-07 2022-02-17 (주)뉴빌리티 자율주행을 위한 객체 속도 추정 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101143892B1 (ko) * 2010-12-31 2012-05-14 부산대학교 산학협력단 자율주행 장치 및 그 제어 방법
KR101419844B1 (ko) * 2013-02-25 2014-07-18 성균관대학교산학협력단 확장형 칼만 필터를 이용하여 주행 센서 잡음을 보정하는 스키드 스티어링 방식 원격 제어 무인 방제기
KR101348500B1 (ko) * 2013-07-22 2014-01-07 경남대학교 산학협력단 로봇기반의 자동화 gps 측량시스템
US20180065242A1 (en) * 2016-09-06 2018-03-08 Sharp Kabushiki Kaisha Moving vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RHO, KWANGHYUN ET AL.: "Development of Vision-based Lateral Control System for an Autonomous Navigation Vehicle", TRANSACTIONS OF KSAE, vol. 13, no. 4, 2005, pages 19 - 25 *

Also Published As

Publication number Publication date
KR20230174505A (ko) 2023-12-28
KR102647477B1 (ko) 2024-03-14

Similar Documents

Publication Publication Date Title
US11654891B2 (en) Electronic braking systems and methods
CN103204162B (zh) 具有有效后转向的车道跟踪系统
CN102789233B (zh) 基于视觉的组合导航机器人及导航方法
CN107963077A (zh) 一种车辆通过路口的控制方法、装置及系统
CN108717268A (zh) 基于最优控制与安全距离的自动驾驶最速操纵控制系统及其控制方法
SE530384C2 (sv) Metod för fjärrstyrning av en obemannad markfarkost med rörlig kamera samt en sådan markfarkost
CN107933686A (zh) 一种多轴转向车辆跟踪中央车道线转向控制方法及系统
US11518412B2 (en) Trajectory determination for four-wheel steering
US11414127B2 (en) Trajectory tracking with four-wheel steering
US11345400B2 (en) Trajectory tracking with four-wheel steering and steering limits
Jacquet et al. Motor and perception constrained NMPC for torque-controlled generic aerial vehicles
CN112683281A (zh) 一种基于车辆运动学的自动驾驶车辆联合定位方法
CN109544725A (zh) 一种基于事件驱动的自动驾驶事故智能处理方法
CN106476807A (zh) 车辆的行驶控制装置
Jun et al. Autonomous driving system design for formula student driverless racecar
CN113589685B (zh) 一种基于深度神经网络的挪车机器人控制系统及其方法
WO2023249163A1 (ko) 자율주행을 위한 횡방향 제어 장치 및 방법
CN212965862U (zh) 一种无人驾驶公交车智能控制系统结构
Kamel et al. Developments and challenges in wheeled mobile robot control
Paolillo et al. Toward autonomous car driving by a humanoid robot: A sensor-based framework
Zhou et al. Vision-based dynamic control of car-like mobile robots
CN115648221A (zh) 基于ros系统的教育机器人
Pryde et al. Visual-inertial lateral velocity estimation for motorcycles using inverse perspective mapping
Kuyt et al. Mixed kinematics and camera based vehicle dynamic sideslip estimation for an rc scaled model
Isa et al. An autonomous vehicle driving control system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22948097

Country of ref document: EP

Kind code of ref document: A1