KR20220083002A - 차량 - Google Patents

차량 Download PDF

Info

Publication number
KR20220083002A
KR20220083002A KR1020200172544A KR20200172544A KR20220083002A KR 20220083002 A KR20220083002 A KR 20220083002A KR 1020200172544 A KR1020200172544 A KR 1020200172544A KR 20200172544 A KR20200172544 A KR 20200172544A KR 20220083002 A KR20220083002 A KR 20220083002A
Authority
KR
South Korea
Prior art keywords
vehicle
area
identification
identification area
occlusion
Prior art date
Application number
KR1020200172544A
Other languages
English (en)
Inventor
조대길
신승환
김봉주
Original Assignee
현대자동차주식회사
기아 주식회사
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 현대오토에버 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200172544A priority Critical patent/KR20220083002A/ko
Priority to US17/512,210 priority patent/US11820399B2/en
Publication of KR20220083002A publication Critical patent/KR20220083002A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021Determination of steering angle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0022Gains, weighting coefficients or weighting functions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4049Relationship among other objects, e.g. converging dynamic objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation

Abstract

본 발명은 차량의 거동을 제어를 기초로 정확한 주변 물체의 정보를 획득하여 안전하고 효율적인 자율 주행을 수행하는 차량을 제공한다.
일 실시예에 따른 차량은 적어도 하나의 물체가 포함된 상기 차량의 주변 영상을 획득하는 카메라;
상기 적어도 하나의 물체의 위치 데이터를 획득하는 센서부;
상기 주변 영상 및 상기 위치 데이터를 기초로 상기 적어도 하나의 물체에 각각 대응되는 식별 영역을 결정하고,
상기 식별 영역의 일부가 미리 결정된 가림 영역과 오버랩(overlap)되면 상기 식별 영역과 상기 가림 영역이 분리되도록 상기 차량을 제어하여 자율 주행을 수행하는 제어부;를 포함한다.

Description

차량{VEHICLE}
본 발명은 자율 주행을 수행하는 차량에 관련된 기술이다.
차량의 자율 주행 기술은 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 차량이 도로의 상황을 파악해 자동으로 주행하는 기술이다.
자율 주행 기술은 스마트 카 구현을 위한 핵심 기술로, 자율 주행 차를 위해서는 고속도로 주행 지원 시스템(HDA, 자동차 간 거리를 자동으로 유지해 주는 기술)을 비롯해 후측방 경보 시스템(BSD, 후진 중 주변 차량을 감지, 경보를 울리는 기술), 자동 긴급 제동 시스템(AEB, 앞차를 인식하지 못할 시 제동 장치를 가동하는 기술), 차선 이탈 경보 시스템(LDWS), 차선 유지 지원 시스템(LKAS, 방향 지시등 없이 차선을 벗어나는 것을 보완하는 기술), 어드밴스드 스마트 크루즈 컨트롤(ASCC, 설정된 속도로 차 간 거리를 유지하며 정속 주행하는 기술), 혼잡 구간 주행 지원 시스템(TJA), 주차 충돌방지 보조 시스템 (Parking Collision-Avoidance Assist, PCA), 자율 주차 시스템(Remote Smart Parking Assist)등으로 이루어져 있다.
한편 이러한 자율 주행을 수행하는데 있어서 차량에 어떤 종료의 센서를 구성하고 어떻게 퓨전 하는지에 대한 기술 개발이 진행되고 있다.
한편 이러한 센서가 외부 정보를 획득하는데 있어서 다른 물체들에 의한 가림 현상이 발생하고 있으며 원활한 자율 주행을 위해서는 이러한 가림을 고려한 데이터 수집에 대한 기술이 필요한 실정이다.
본 발명은 차량의 거동을 제어를 기초로 정확한 주변 물체의 정보를 획득하여 안전하고 효율적인 자율 주행을 수행하는 차량을 제공한다.
일 실시예에 따른 차량은 적어도 하나의 물체가 포함된 상기 차량의 주변 영상을 획득하는 카메라;
상기 적어도 하나의 물체의 위치 데이터를 획득하는 센서부;
상기 주변 영상 및 상기 위치 데이터를 기초로 상기 적어도 하나의 물체에 각각 대응되는 식별 영역을 결정하고,
상기 식별 영역의 일부가 미리 결정된 가림 영역과 오버랩(overlap)되면 상기 식별 영역과 상기 가림 영역이 분리되도록 상기 차량을 제어하여 자율 주행을 수행하는 제어부;를 포함한다.
상기 제어부는,
상기 주변 영상을 기초로 상기 적어도 하나의 물체의 종류를 식별할 수 있다.
상기 제어부는, 상기 적어도 하나의 물체 각각에 미리 결정된 기준을 기초로 가중치를 부여하고,
상기 가중치에 기초하여 상기 식별 영역과 상기 가림 영역이 분리되도록 상기 차량을 제어할 수 있다.
상기 제어부는, 상기 위치 데이터를 기초로 상기 주변 영상에서 상기 물체의 이동 경로를 예측할 수 있다.
상기 제어부는, 예측된 상기 물체의 이동 경로를 기초로 상기 식별 영역과 상기 가림 영역의 오버랩을 예측할 수 있다.
상기 제어부는, 상기 차량과 상기 적어도 하나의 물체와의 거리를 변경하여 상기 가림 영역을 상기 식별 영역과 분리시킬 수 있다.
상기 제어부는, 상기 차량이 미리 결정된 도로에 접근하면, 상기 차량의 속도를 감소시켜 상기 식별 영역과 상기 가림 영역을 분리시키도록 제어할 수 있다.
상기 제어부는, 상기 차량의 조향각을 변경하여 상기 식별 영역과 상기 가림 영역을 분리시키도록 제어할 수 있다.
일 실시예에 따른 차량 제어방법은, 자율 주행을 수행하는 차량의 제어방법에 있어서, 적어도 하나의 물체가 포함된 상기 차량의 주변 영상을 획득하는 단계;
상기 적어도 하나의 물체의 위치 데이터를 획득하는 단계;
상기 주변 영상 및 상기 위치 데이터를 기초로 상기 적어도 하나의 물체에 각각 대응되는 식별 영역을 결정하는 단계;
상기 식별 영역의 일부가 미리 결정된 가림 영역과 오버랩(overlap)되면 상기 식별 영역과 상기 가림 영역이 분리되도록 상기 차량을 제어하는 단계;를 포함한다.
상기 식별 영역을 결정하는 단계는, 상기 위치 데이터를 기초로 상기 주변 영상에서 상기 물체의 이동 경로를 예측하는 단계를 포함할 수 있다.
상기 가림 영역이 분리되도록 상기 차량을 제어하는 단계는, 예측된 상기 물체의 이동 경로를 기초로 상기 식별 영역과 상기 가림 영역의 오버랩을 예측하는 단계를 포함할 수 있다.
일 실시예에 따른 차량은 거동을 제어를 기초로 정확한 주변 물체의 정보를 획득하여 안전하고 효율적인 자율 주행을 수행할 수 있다.
도1은 일 실시예에 따른 차량의 제어블럭도이다.
도2a 및 도2b는 일 실시예에 따른 가림 영역을 설명하기 위한 도면이다.
도3은 일 실시예에 따른 차량의 거리 변경을 통하여 가림 영역을 감소시키는 동작을 설명하기 위한 도면이다.
도4는 일 실시예에 따른 차량의 교차로 진입 시 가림 영역을 감소시키는 동작을 설명하기 위한 도면이다.
도5는 일 실시예에 따른 차량의 조향 변경을 통하여 가림 영역을 감소시키는 동작을 설명하기 위한 도면이다.
도6은 일 실시예에 따른 미리 결정된 도로에 접근 시 차량의 속도를 감소시켜 상기 가림 영역을 감소시키는 동작을 설명하기 위한 도면이다.
도7은 일 실시예에 따른 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1은 일 실시예에 따른 차량의 제어블럭도이다.
도1을 참고하면, 일 실시예에 따른 차량(1)은 센서부(100), 제어부(400), 카메라(200), 구동부(300)를 포함할 수 있다.
센서부(100)는 레이다 센서(110)와 라이다 센서(120)를 포함할 수 있다.
레이더 센서(110)는 마이크로파(극초단파, 10cm~100cm 파장) 정도의 전자기파를 물체에 발사시켜 그 물체에서 반사되는 전자기파를 수신하여 물체와의 거리, 방향, 고도 등을 검출하는 센서를 의미할 수 있다.
라이다 센서(120)는, 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 센서를 의미할 수 있다.
센서부(100)는 상기 언급한 레이더 및 라이다 센서를 기초로 적어도 하나의 물체의 위치 데이터를 획득할 수 있다.
구체적으로 물체의 위치 데이터는 물체의 거리, 방향 및 이동성 정보를 포함할 수 있다.
한편 센서부(100)는 각 센서 별 특성을 활용하여 최적의 인식성능을 유지하도록 정보 융합할 수 있다.
카메라(200)는 차량(1) 적어도 하나의 물체가 포함된 주변 영상을 획득하는 구성으로 마련될 수 있다.
일 실시예에 따르면 카메라(200)는 차량(1)의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있다.
차량(1)에 설치된 카메라(200)는 CCD(Charge-Coupled Device) 카메라(200) 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라(200)의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다. 구체적으로 CCD(Charge-Coupled Device) 카메라(200)는 전하 결합 소자를 사용하여 영상을 전기 신호로 변환하는 장치이다. 또한, CIS(CMOS Image Sensor)는 CMOS 구조를 가진 저소비, 저전력형의 촬상소자를 의미하며, 디지털 기기의 전자 필름 역할을 수행한다. 일반적으로 CCD는 CIS보다 감도가 좋아 차량(1)에 많이 쓰이지만, 반드시 이에 한정되는 것은 아니다.
제어부(400)는 주변 영상 및 상기 위치 데이터를 기초로 상기 적어도 하나의 물체에 각각 대응되는 식별 영역을 결정할 수 있다.
식별 영역은 영상에 포함된 각 물체를 식별하는데 필요한 영상을 의미할 수 있다.
식별 영역은 물체의 전체적 이미지를 의미할 수도 있고 물체의 일부가 가려진 이미지를 의미할 수도 있다.
제어부(400)는 주변 영상에 포함된 물체의 종류를 결정할 수 있다.
한편 차량(1)이 획득한 영상에는 센서의 위치 다른 차량의 존재 및 주변 환경 등을 이유로 영상에 가림 영역이 발생할 수 있다.
가림 영역은 카메라 또는 센서부가 획득한 정보 중 주변 물체 정보를 획득할 수 없는 영역을 의미할 수 있다.
제어부(400)는 인식된 물체의 정보를 기반으로 현재 가림 영역을 추정할 수 있다.
제어부(400)는 가림 영역에 식별 영역이 오버랩 되지 않도록 차량을 제어할 수 있다.
즉 제어부(400)는 후술하는 바와 같이 가림 영역과 식별 영역이 오버랩 되지 않기 위해 차량의 속도 및 조향을 변경할 수 있다. 이와 관련한 자세한 내용은 후술한다.
한편 제어부(400)는 식별 영역을 기초로 자율 주행을 수행할 수 있다.
제어부(400)는, 주변 영상을 기초로 상기 적어도 하나의 물체의 종류를 식별할 수 있다.
영상에 포함된 물체는 고정물 및 비고정물이 포함될 수 있다.
고정물은 가드레일, 연석, 신호등, 차선 등의 물체를 의미할 수 있다.
비고정물은 사람, 차 등의 물체를 의미할 수 있다.
제어부(400)는, 적어도 하나의 물체 각각에 미리 결정된 기준을 기초로 가중치를 부여할 수 있다.
구체적으로 제어부(400)는 사람에게 높은 가중치를 부여할 수 있고 연석에 낮은 가중치를 부여할 수 있다.
제어부(400)는 가중치에 기초하여 상기 적어도 하나의 물체에 대응되는 식별 영역이 상기 가림 영역과 분리되도록 상기 차량을 제어할 수 있다.
구체적으로 제어부(400)는 가중치가 높은 사람을 인식하기 위하여 가중치가 낮은 연석의 가림 영역이 발생하도록 차량을 제어할 수 있다.
제어부(400)는 위치 데이터를 기초로 주변 영상 상에서 상기 물체의 이동 경로를 예측할 수 있다.
제어부(400)는, 예측된 상기 물체의 이동 경로를 기초로 상기 가림 영역의 변화를 예측할 수 있다. 예를 들면 전방 차량이 자 차량에 접근하면 차량의 시야 자체가 가려지므로 가림 영역이 증가하는 것으로 판단할 수 있다.
제어부(400)는, 차량과 상기 적어도 하나의 물체와의 거리를 변경하여 상기 가림 영역을 감소시킬 수 있다.
제어부(400)는, 차량이 미리 결정된 도로에 접근하면, ,차량의 속도를 감소시켜 상기 가림 영역을 감소시킬 수 있다. 미리 결정된 도로는 교차로 및 어린이 보호 구역에 해당할 수 있다.
한편 제어부(400)는, 차량의 조향각을 변경하여 식별 영역과 상기 가림 영역의 오버랩을 감소시킬 수 있다.
제어부(400)는 차량 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
한편 차량(1)은 구동부(300)를 포함할 수 있다.
구동부(300)는 차량(1)의 구동을 수행하는 구성을 의미할 수 있다.
구동부(300)는 차량의 조향을 변경하는 스티어링 장치(330)를 포함할 수 있다.
또한 구동부(300)는 차량을 가속하는 엔진(310)및 제동을 수행하는 브레이크(320)도 포함할 수 있다. 한편 도2a, 2b에서 설명한 구동부의 구성은 일 예시에 불구하며 차량에 동력을 변경하는 구성이라면 구성부에 해당될 수 있다.
도2a 및 도2b는 일 실시예에 따른 가림 영역을 설명하기 위한 도면이다.
가림 영역(B2a, B2b)은 제어부가 물체를 인식하는데 있어 다른 물체 또는 환경에 의하여 가려진 영역을 의미할 수 있다.
제어부는 주변 영상 및 위치 데이터를 기초로 상기 적어도 하나의 물체에 각각 대응되는 식별 영역을 결정하고 제어부는 이러한 동작을 기초로 식별한 영상에서 가림 영역(B2a, B2b)이 오버랩 되었는지 여부를 판단할 수 있다.
구체적으로 제어부는 센서부에서 전달된 물체의 정보를 수신하여, 물체의 가림을 인지하거나 물체의 가림을 예측할 수 있다.
한편 제어부는 차량 센서의 위치 및 인식된 물체의 위치 데이터를 기반으로 현재 가림 영역(B2a, B2b)을 추정할 수 있다.
즉 가림 영역(B2a, B2b)은 주변의 차량이나 물체에 의해서도 발생될 수 있는바, 제어부(400)는 위치 데이터를 기초로 가림 영역의 발생을 예측할 수 있다.
또한 제어부는 센서부에서 전달된 물체의 정보를 기반으로 물체들이 이동하게 될 경로를 예측할 수 있다.
또한 제어부는 물체의 경로에 따라서 추정된 가림 영역(B2a, B2b)이 어떻게 변화될 지를 예측할 수 있다.
또한 제어부는 예측된 가림 영역 변화와 예측된 물체의 이동경로를 기초로 가림이 예상되는 물체 정보를 추측 할 수 있다. 또한 가림 영역으로 진입한 물체의 정보를 추적 할 수 있다.
도2a를 참고하면, 차량의 주행 중 앞에 주행하는 다른 차량에 의하여 가림 영역(B2a)이 발생한 경우를 설명한 도면이다. 차량은 카메라, 레이더 및 라이다 센서를 통하여 주변 물체의 데이터를 획득할 수 있다. 한편 차량의 전방에 주행하는 다른 차량은 카메라의 일부를 가려 가림 영역(B2a)을 형성할 수 있다. 도2A의 경우 차량의 앞에 주행하는 차량에 의하여 다른 차량 앞에 위치한 횡단 보도를 횡단하는 사람(M2a)을 판단하는데 있어 가림 영역(B2a)이 형성된 것을 나타내고 있다.
즉, 제어부는 사람(M2a)을 식별하는데 필요한 식별 영역을 획득하는데 앞 차량에 의하여 형성된 가림 영역(B2a) 때문에 식별 영역과 가림 영역에 오버랩이 발생할 수 있다. 차량은 이 경우 사람의 식별 영역과 가림 영역(B2a)이 분리되도록 제어할 수 있다. 가림 영역(B2a)과 사람의 식별 영역(M2a)이 분리되도록 제어하는 것은 식별 영역과 가림 영역의 오버랩 되는 영역이 감소하는 것을 의미한다.
한편 도2B를 참고하면 차량의 전방에 있는 신호등이 전방에 주행하는 차량에 의하여 가려진 것을 나타내고 있다.
즉 도2B에서는 전방의 차량에 의하여 가림 영역(B2b)이 형성되고, 신호등에 해당되는 식별 영역(S2b)이 존재하는데, 신호등(S2b)에 해당되는 식별 영역이 전방의 차량에 의하여 형성된 가림 영역(B2b)과 오버랩 된 것을 나타내고 있다.
이 경우 차량은 식별 영역(B2b)과 가림 영역이 분리되도록 차량을 제어할 수 있다. 이와 관련된 자세한 설명은 후술한다.
한편 도2A 및 도2B에서 설명한 동작은 식별 영역(B2b)과 가림 영역을 설명하기 위한 일 실시예에 불과하며 물체를 식별하는 식별 영역(B2b) 및 가림 영역(B2b)의 실시의 제한은 없다.
도3내지 5는 차량이 가림 영역과 식별 영역을 분리하는 동작을 설명하기 위한 도면이다.
제어부(400)는 물체의 위치 데이터를 기초로 주변 영상에서 상기 물체의 이동 경로를 예측할 수 있다.
또한 이러한 이동 경로를 기초로 식별 영역과 가림 영역의 오버랩을 예측할 수 있다.
구체적으로 제어부(400)는 센서부가 획득한 물체의 정보와 식별 영역과 가림 영역 정보를 수신하여, 인지 성능 향상을 위해서 차량을 제어를 진행할지 여부를 결정할 수 있다.
즉 물체의 식별 정보를 획득하기 위한 차량의 제어가 필요하다고 판단되면 제어 방향과 제어량을 계산하여 구동부를 제어할 수 있다.
한편 제어부(400)의 판단에서는 물체의 중요도 판단이 수행될 수 있다.
구체적으로 제어부(400)는 물체 각각에 미리 결정된 기준을 기초로 가중치를 부여할 수 있다.
제어부는 인식 정보를 기반으로 차량 제어 관점에서 중요한 물체를 판단할 수 있다.
제어부(400)는 중요 물체 중 제어부에서 전달된 예측된 가림 물체 정보를 비교하여 향후 가림 영역에 식별 영역이 포함되는 예상되는 물체를 판단할 수 있다. 제어부는 가중치가 높은 물체 가림이 예상되는 경우 차량의 제어를 통해서 가림이 해소되는지 판단할 수 있다.
제어부(400)는 위와 같은 동작을 전제로 물체의 식별 영역이 가림 영역과 오버랩 되지 않도록 차량을 제어할 수 있다.
도3은 일 실시예에 따른 차량의 거리 변경을 통하여 가림 영역을 감소시키는 동작을 설명하기 위한 도면이다.
도3을 참고하면 차량(1)은 신호등(S3)에 대응되는 식별 영역을 획득하였다.
또한 전방 버스(V3)로 인하여 가림 영역이 발생하였다. 차량(1)이 신호등(S3)에 대응되는 식별 영역을 통하여 신호등(S3)을 인지하는 경우 전방에 마련된 버스(V3)가 형성한 가림 영역과 신호등의 식별 영역이 오버랩 될 수 있다.
이 경우 제어부(400)는 버스(V3)와 차량의 거리를 늘려 신호등을 식별하기 위한 식별 영역을 획득할 수 있다.
또한 제어부는 이 경우 옆으로 이동하여 신호등(S3)에 대응되는 식별 영역을 획득할 수 있다.
도4는 일 실시예에 따른 차량(1)의 교차로 진입 시 가림 영역을 감소시키는 동작을 설명하기 위한 도면이다.
교차로의 경우 차량이 주행에 있어 카메라 및 센서의 전방 및 측방 모두에서 정보를 획득할 수 있다.
또한 차량이 교차로 진입 전 가림으로 인해서 교차로상 물체(V41, V42)가 인식되지 않을 경우 센서가 교차로 영역을 인식 할 때까지 서행 수정 제어를 하여 안전이 확보된 이후에 교차로 진입을 할 수 있다.
즉 제어부는 차량(1)이 미리 결정된 도로, 즉 교차로와 같은 도로에 접근하는 경우 속도를 줄여 발생하는 가림 영역과 주변 물체(V41, V42)를 식별하는데 필요한 식별 영역이 분리되도록 제어할 수 있다.
도5는 일 실시예에 따른 차량의 조향 변경을 통하여 가림 영역을 감소시키는 동작을 설명하기 위한 도면이다.
도5를 참고하면 차량(1)은 고장 차량 차로 점유(V51)나 공사 차로의 경우 전방 차량 앞쪽에서 발생하는 경우 조향을 변경할 수 있다.
예를 들어 전방에 고장 차량(V51)이 존재하는 경우 고장 차량(V51)은 중요한 주변 물체로 결정될 수 있다. 다만 전방 차량(V52)으로 인하여 형성된 가림 영역이, 고장 차량(V51)과 대응되는 식별 영역과 오버랩되면 차량은 전방 공사 차로를 인식하기 어렵다. 따라서 제어부는 차량의 조향을 변경하여 고장 차량(V51)의 식별 영역이 전방 차량(V52)으로 인하여 생긴 가림 영역과 분리되도록 제어할 수 있다.
도6은 일 실시예에 따른 미리 결정된 도로에 접근 시 차량의 속도를 감소시켜 상기 가림 영역을 감소시키는 동작을 설명하기 위한 도면이다.
도6은 차량이 어린이 보호 구역을 주행하는 동작을 나타내고 있다.
어린이 보호 구역의 경우, 자율 주행 시 차량은 더 많은 정보를 기초로 즉각적으로 반응할 수 있다. 또한 어린이 보호 구역에서 차량은 어린이(M6), 즉 사람을 주변 물체로 인식하여야 한다.
차량은 어린이 보호 구역 등에서 어린이(M6)의 차로 안으로 이동 예측 또는 다른 차량(V61, V62) 등으로부터 가림이 예측되는 경우 차량(1)의 속도를 감소시킬 수 있다.
즉 제어부는 차량이 미리 결정된 도로, 어린이 보호 구역과 같은 도로에 접근하는 경우 속도를 줄여 발생하는 가림 영역과 주변 물체(M6, V61, V62)를 식별하는데 필요한 식별 영역이 분리되도록 제어할 수 있다.
한편 도3내지 도6에서 설명한 동작은 본 발명의 동작을 설명하기 위한 일 실시예에 불과하며 차량이 식별 영역과 가림 영역을 분리하는 동작의 제한은 없다.
도7은 일 실시예에 따른 순서도이다.
도7을 참고하면 차량은 자율 주행을 수행하고, 카메라 및 센서를 통하여 주변 영상 및 물체의 위치 데이터를 획득할 수 있다(1001).
또한 제어부는 영상에 포함된 물체와 대응되는 식별 영역을 결정할 수 있다(1002).
한편 식별 영역과 가림 영역의 오버랩이 발생하는지 여부를 판단할 수 있다(1003).
한편 식별 영역과 가림 영역의 오버랩이 발생하면, 제어부는 식별 영역과 가림 영역이 분리되도록 차량을 제어할 수 있다(1004). 또한 이렇게 제어를 수행하는 차량은 이를 기초로 자율 주행을 수행할 수 있다(1005).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 : 차량
100 : 센서부
200 : 카메라
300 : 구동부
400 : 제어부

Claims (11)

  1. 차량에 있어서,
    적어도 하나의 물체가 포함된 상기 차량의 주변 영상을 획득하는 카메라;
    상기 적어도 하나의 물체의 위치 데이터를 획득하는 센서부;
    상기 주변 영상 및 상기 위치 데이터를 기초로 상기 적어도 하나의 물체에 각각 대응되는 식별 영역을 결정하고,
    상기 식별 영역의 일부가 미리 결정된 가림 영역과 오버랩(overlap)되면 상기 식별 영역과 상기 가림 영역이 분리되도록 상기 차량을 제어하여 자율 주행을 수행하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 주변 영상을 기초로 상기 적어도 하나의 물체의 종류를 식별하는 차량.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 물체 각각에 미리 결정된 기준을 기초로 가중치를 부여하고,
    상기 가중치에 기초하여 상기 식별 영역과 상기 가림 영역이 분리되도록 상기 차량을 제어하는 차량.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 위치 데이터를 기초로 상기 주변 영상에서 상기 물체의 이동 경로를 예측하는 차량.
  5. 제4항에 있어서,
    상기 제어부는,
    예측된 상기 물체의 이동 경로를 기초로 상기 식별 영역과 상기 가림 영역의 오버랩을 예측하는 차량.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 차량과 상기 적어도 하나의 물체와의 거리를 변경하여 상기 가림 영역을 상기 식별 영역과 분리시키는 차량.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 차량이 미리 결정된 도로에 접근하면,
    상기 차량의 속도를 감소시켜 상기 식별 영역과 상기 가림 영역을 분리시키도록 제어하는 차량.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 차량의 조향각을 변경하여 상기 식별 영역과 상기 가림 영역을 분리시키도록 제어하는 차량.
  9. 자율 주행을 수행하는 차량의 제어방법에 있어서,
    적어도 하나의 물체가 포함된 상기 차량의 주변 영상을 획득하는 단계;
    상기 적어도 하나의 물체의 위치 데이터를 획득하는 단계;
    상기 주변 영상 및 상기 위치 데이터를 기초로 상기 적어도 하나의 물체에 각각 대응되는 식별 영역을 결정하는 단계;
    상기 식별 영역의 일부가 미리 결정된 가림 영역과 오버랩(overlap)되면 상기 식별 영역과 상기 가림 영역이 분리되도록 상기 차량을 제어하는 단계;를 포함하는 차량 제어방법.
  10. 제9항에 있어서,
    상기 식별 영역을 결정하는 단계는,
    상기 위치 데이터를 기초로 상기 주변 영상에서 상기 물체의 이동 경로를 예측하는 단계를 포함하는 차량 제어방법.
  11. 제9항에 있어서,
    상기 가림 영역이 분리되도록 상기 차량을 제어하는 단계는,
    예측된 상기 물체의 이동 경로를 기초로 상기 식별 영역과 상기 가림 영역의 오버랩을 예측하는 단계를 포함하는 차량 제어방법.

KR1020200172544A 2020-12-10 2020-12-10 차량 KR20220083002A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200172544A KR20220083002A (ko) 2020-12-10 2020-12-10 차량
US17/512,210 US11820399B2 (en) 2020-12-10 2021-10-27 Vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200172544A KR20220083002A (ko) 2020-12-10 2020-12-10 차량

Publications (1)

Publication Number Publication Date
KR20220083002A true KR20220083002A (ko) 2022-06-20

Family

ID=81943217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200172544A KR20220083002A (ko) 2020-12-10 2020-12-10 차량

Country Status (2)

Country Link
US (1) US11820399B2 (ko)
KR (1) KR20220083002A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220083002A (ko) * 2020-12-10 2022-06-20 현대자동차주식회사 차량

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US9910442B2 (en) * 2016-06-28 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded area detection with static obstacle maps
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10296001B2 (en) * 2016-10-27 2019-05-21 Uber Technologies, Inc. Radar multipath processing
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Soken 映像出力装置及び映像生成プログラム
US11625045B2 (en) * 2017-08-31 2023-04-11 Uatc, Llc Systems and methods for controlling an autonomous vehicle with occluded sensor zones
US11454975B2 (en) * 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles
JP7052663B2 (ja) * 2018-09-26 2022-04-12 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US10870351B2 (en) * 2018-12-12 2020-12-22 Here Global B.V. Method and apparatus for augmented reality based on localization and environmental conditions
US11188082B2 (en) * 2019-01-11 2021-11-30 Zoox, Inc. Occlusion prediction and trajectory evaluation
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
GB201912145D0 (en) * 2019-08-23 2019-10-09 Five Ai Ltd Performance testing for robotic systems
US11513519B1 (en) * 2019-09-05 2022-11-29 Zoox, Inc. Sharing occlusion data
US11195063B2 (en) * 2020-02-14 2021-12-07 GM Global Technology Operations LLC Hidden hazard situational awareness
US11524701B2 (en) * 2020-03-30 2022-12-13 Toyota Research Institute, Inc. Methods and systems of predicting road agent behavior using voxel grids
KR20220040088A (ko) * 2020-09-23 2022-03-30 현대자동차주식회사 헤어핀 권선 타입 고정자의 바니시 함침 장치
KR20220083002A (ko) * 2020-12-10 2022-06-20 현대자동차주식회사 차량
US20220185267A1 (en) * 2020-12-16 2022-06-16 Zoox, Inc. Object determination in an occluded region
US20230068848A1 (en) * 2021-08-25 2023-03-02 Argo AI, LLC Systems and methods for vehicle camera obstruction detection

Also Published As

Publication number Publication date
US20220185320A1 (en) 2022-06-16
US11820399B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
US11462022B2 (en) Traffic signal analysis system
US9981658B2 (en) Autonomous driving vehicle system
KR102201290B1 (ko) 차량용 디스플레이 장치 및 차량
JP4933962B2 (ja) 分岐路進入判定装置
EP3366540B1 (en) Information processing apparatus and non-transitory computer-readable recording medium
CN107226088B (zh) 控制器、驾驶控制方法以及程序
US20150375748A1 (en) Driving support apparatus for vehicle
EP3223098B1 (en) Controller, driving control method, and non-transitory computer-readable recording medium storing a program
CN112193246B (zh) 车辆及用于执行车辆间距离控制的方法
US10747219B2 (en) Processing apparatus, vehicle, processing method, and storage medium
KR20190049221A (ko) 자율주행 차량의 보행자 인식 방법
JP5202741B2 (ja) 分岐路進入判定装置
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
CN112849159A (zh) 车辆控制系统以及车辆控制方法
BR102020017266A2 (pt) dispositivo de estimativa de posição de faixa de contenção e sistema de controle veicular
JP6913602B2 (ja) 情報処理装置およびプログラム
US11370489B2 (en) Vehicle and method for steering avoidance control
US20220413503A1 (en) Information processing device, information processing method, and information processing program
KR20220083002A (ko) 차량
US11710407B2 (en) Information processing system and information processing method
KR20210086773A (ko) 차량 및 그 제어방법
JP6645001B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7334107B2 (ja) 車両制御方法及び車両制御装置
KR20220073874A (ko) 근거리 및 원거리 교통 환경정보를 이용한 자율주행 차량의 주행 제어시스템
CN112130551A (zh) 无人驾驶车辆的行进路径和速度决策规划方法及装置