KR102267331B1 - 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법 - Google Patents

자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법 Download PDF

Info

Publication number
KR102267331B1
KR102267331B1 KR1020197019214A KR20197019214A KR102267331B1 KR 102267331 B1 KR102267331 B1 KR 102267331B1 KR 1020197019214 A KR1020197019214 A KR 1020197019214A KR 20197019214 A KR20197019214 A KR 20197019214A KR 102267331 B1 KR102267331 B1 KR 102267331B1
Authority
KR
South Korea
Prior art keywords
pedestrian
vehicle
information
driving
control unit
Prior art date
Application number
KR1020197019214A
Other languages
English (en)
Other versions
KR20200128480A (ko
Inventor
김소령
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20200128480A publication Critical patent/KR20200128480A/ko
Application granted granted Critical
Publication of KR102267331B1 publication Critical patent/KR102267331B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G06K9/00369—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/0032—Position of passenger
    • B60R2021/0037—Position of passenger standing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Abstract

자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법이 개시된다. 본 발명의 일 실시 예에 따른 보행자 안내 시스템은 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하고, 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 하나 이상의 자율 주행 차량들을 포함한다. 본 발명의 자율 주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.

Description

자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
본 발명은 자율 주행 차량에 관한 것으로, 보다 구체적으로는 보행자 상태와 행동을 예측하여 도로를 건너려는 보행자를 인식하는 보행자 안내 시스템 및 방법에 관한 것이다.
자율 주행 차량은 운전자의 개입 없이 스스로 운행이 가능하다. 이미 많은 업체들이 자율 주행 차량 사업에 진출하여, 연구 개발에 몰두하고 있다.
자율 주행 차량은 운전자 개입 없이 빈 공간을 찾아 주차되는 자동 주차 서비스를 지원할 수 있다.
자율 주행 차량은 차량 주변의 보행자를 인식하여 보행자와의 충돌을 회피할 수 있다. 이러한 보행자 인식 기술이 자율 주행 차량에 적용되었으나 차량 주변의 보행자와의 충돌 우려는 여전히 있다.
다 차로 도로의 경우, 일부 차로에서 보행자가 보이지 않는 사각지대가 존재할 수 있고 다른 차량이나 사물로 인하여 보행자가 보이지 않는다. 이 때문에, 차량이 보행자와의 충돌 위험을 예측하고 사고전 제동하기가 어렵다.
보행자 입장에서, 보장자는 모든 차로의 차량이 보이지 않기 때문에 예기치 못한 사고에 노출되기 쉽다. 보행자 상태에 따라 보행 속도 다를 수 있다. 그러나. 자율 주행 차량 기술은 보행자 상태를 고려하여 보행자가 도로를 건너 가는 시간을 예측하지 않는다. 예를 들어, 영유아, 임산부, 장애인, 노약자 등 보행 취약자가 횡단 보도를 건너는 시간이 젊은 성인에 비하여 길지만, 기존 신호 체계는 이러한 보행자의 상태를 반영하지 않고 신호 전환 시간을 일률적으로 적용하고 있다. 보행자는 도로를 횡단하여 건너 가는 과정에서 자신의 안전을 신호등에만 의존하고 있다.
본 발명은 전술한 필요성 및/또는 문제점을 해결하는 것을 목적으로 한다.
본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 적어도 일 실시 예에 따른 자율 주행 차량은 보행자를 촬영하는 카메라; 상기 보행자가 휴대한 보행자 단말기로부터 수신된 신호를 바탕으로 보행자 위치를 인식하고, 상기 카메라에 의해 촬영된 이미지를 분석하여 상기 보행자의 유형을 판정하고, 상기 보행자의 유형을 포함한 보행자 정보를 통신 장치를 통해 타 차량으로 전송하는 제어부; 및 상기 제어부의 제어 하에 상기 보행자의 인식 후에 주행 속도를 감속하는 브레이크 구동부를 포함한다.
본 발명의 적어도 일 실시 예에 따른 보행자 안내 시스템은 보행자 단말기; 및 상기 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하고, 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 하나 이상의 자율 주행 차량들을 포함한다. 상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함한다. 상기 보행자 정보는 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생된다.
본 발명의 적어도 일 실시 예에 따른 보행자 안내 방법은 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하는 단계; 및 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 단계를 포함한다. 상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함한다. 상기 보행자 정보는 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생된다.
본 발명은 차량간 통신을 이용하여 보행자가 보이지 않는 차량이 보행자를 인식하여 다 차로 도로에서 보행자에 대한 사각 없이 이 도로를 주행하는 차량들이 보행자 정보를 공유함으로써 보행자와 충돌 사고를 예방할 수 있다.
본 발명은 차량이 보행가능 여부를 보행자에게 안내함으로써 보행자가 안정감을 향상시킬 수 있다.
본 발명은 보행 가능 정보를 보행자와 가장 가까운 곳에 보여줌으로써 차량과 보행자의 충돌 사고를 예방할 수 있다.
본 발명은 보행자의 상태를 고려하여 보행자의 횡단 시간 예측을 통해 횡단보도 이용 상의 안전도를 높일 수 있다.
본 발명은 보행자 단말기를 통해 수신된 보행자 위치를 인식하고, 자율 주행 차량 또는 서버에서 보행자 유형을 판정한다. 본 발명은 보행자의 유형을 타 차량들로 전송하여 보행자와 가까워지는 차량들의 주행 속도를 늦추어 보행자의 도로 횡단시 보행 안전도를 향상시킬 수 있다.
본 발명은 보행자의 유형에 따라 보행자의 도로 횡단시 횡단 예상 시간을 추정하여 타 차량에 전송할 수 있다.
타 차량은 보행자 유형과 횡단 예상 시간 정보를 수신 받은 감속, 주행 지속 여부를 판단하여 보행자 인식 차량에게 응답한다. 보행자 인식 차량은 응답 받은 차량의 진입 정보(주행 지속 여부)에 기초하여 보행자의 횡단 가능 여부와 도로 횡단시의 보행자 안전도를 판단한다.
보행자와 가장 가까운 차로 또는 보행자의 진행 방향에 있는 차로의 차량은 보행자에게 잘 보이는 디스플레이에 보행 안내 정보를 출력하여 보행자의 안전한 도로 횡단을 안내한다. 보행자의 도로 횡단시 보행자의 이동 방향에서 따라 보행 안내 정보 표시 위치를 진행에 따라 차량 전면에 안내 표시가 함께 이동할 수 있다.
차량은 보행자 상태를 실시간 모니터(monitor)하여 보행자가 도로를 횡단하는 과정에서 보행자의 이동 속도 변화를 초래하는 보행자의 상태 변경 발생시에 횡단 예상 시간을 조정하여 타 차량에게 재 공지하여 타 차량으로 하여금 보행자의 이동 속도 변화에 적절히 대처할 수 있도록 한다.
보행자 단말기는 차량으로부터 수신된 보행 안내 정보를 보행자에게 출력할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 3 내지 도 6은 5G 통신을 이용한 자율 주행 차량의 동작의 일 예를 나타낸다.
도 7은 본 발명의 실시 예에 따른 차량의 외관을 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 차량을 외부의 다양한 각도에서 바라 본 도면이다.
도 9 및 도 10은 본 발명의 실시 예에 따른 차량의 내부를 보여 주는 도면이다.
도 11 및 도 12는 본 발명의 실시 예에 따른 차량의 주행과 관련된 객체들(objects)의 예를 보여 주는 도면들이다.
도 13은 본 발명의 실시 예에 따른 차량을 상세히 보여 주는 블럭도이다.
도 14는 V2X 통신을 보여 주는 도면이다.
도 15는 본 발명의 실시 예에 따른 보행 안내 시스템을 보여 주는 도면이다.
도 16은 본 발명의 실시 예에 따른 보행 안내 방법의 제어 수순을 단계적으로 보여 주는 흐름도이다.
도 17a 및 도 17b는 도 16에 도시된 보행 안내 방법을 도시화한 도면이다.
도 18은 감속 구간의 일 예를 보여 주는 도면이다.
도 19a 내지 도 20b는 보행자가 도로를 가로 질러 건너갈 때 보행자와 가까운 차량이 보행 안내 정보를 출력하는 예를 보여 주는 도면들이다.
도 21은 보행자 단말기의 디스플레이에 출력되는 보행 안내 정보의 일 예를 보여 주는 도면이다.
도 22는 보행자 인지 및 보행자 판단 방법을 상세히 보여 주는 흐름도이다.
도 23은 보행자 상태 변경에 따른 보행 안내 방법을 보여 주는 흐름도이다.
도 24는 서버에서 보행자 유형을 판단하는 실시 예를 보여 주는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
자율 주행 차량(Autonomous Vehicle)은 특정 정보 전송을 5G 네트워크로 전송한다(S1).
상기 특정 정보는, 자율 주행 관련 정보를 포함할 수 있다.
상기 자율 주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
상기 자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 상기 특정 정보는 보행자 유형, 보행자의 위치, 보행자의 도로 횡단 예상 시간, 보행 진행 방향 등의 보행자 정보를 포함할 수 있다. 그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2).
여기서, 상기 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
그리고, 상기 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 상기 자율 주행 차량으로 전송할 수 있다(S3).
전술한 바와 같이, 상기 원격 제어와 관련된 정보는 자율 주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 발명의 일 실시 예에서는 자율 주행 차량은, 상기 5G 네트워크를 통해 타 차량에게 보행자 정보를 송수신하고 보행자 정보를 바탕으로 감속, 정지할 수 있다. 보행자와 가까운 자율 주행 차량은 보행자가 도로를 횡단할 때 보행자에게 보행 안내를 출력한다.
이하 도 2 내지 도 6에서는 본 발명의 일 실시 예에 따라 보행자 안내 서비스를 제공하기 위하여, 자율 주행 차량과 5G 네트워크 간의 5G 통신을 위한 필수 과정(예를 들어, 차량과 5G 네트워크 간의 초기 접속 절차 등)을 개략적으로 설명한다.
도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
자율 주행 차량은 5G 네트워크와 초기 접속(initial access) 절차를 수행한다(S20).
상기 초기 접속 절차는 하향 링크(Downlink, DL) 동작 획득을 위한 셀 서치(cell search), 시스템 정보(system information)를 획득하는 과정 등을 포함한다.
그리고, 상기 자율 주행 차량은 상기 5G 네트워크와 임의 접속(random access) 절차를 수행한다(S21).
상기 임의 접속 과정은 상향 링크(Uplink, UL) 동기 획득 또는 UL 데이터 전송을 위해 프리엠블 전송, 임의 접속 응답 수신 과정 등을 포함한다. 그리고, 상기 5G 네트워크는 상기 자율 주행 차량으로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송한다(S22).
상기 UL Grant 수신은 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원 스케줄링을 받는 과정을 포함한다.
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 상기 5G 네트워크로 특정 정보를 전송한다(S23).
그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정한다(S24).
그리고, 자율 주행 차량은 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL grant를 수신한다(S25).
그리고, 상기 5G 네트워크는 상기 DL grant에 기초하여 상기 자율 주행 차량으로 원격 제어와 관련된 정보(또는 신호)를 전송한다(S26).
한편, 도 3에서는 자율 주행 차량과 5G 통신의 초기 접속 과정 및 또는 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 예를 S20 내지 S26의 과정을 통해 예시적으로 설명하였지만, 본 발명은 이에 한정되지 않는다.
예를 들어, S20, S22, S23, S24 과정을 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 S21, S22, S23, S24, S26 과정을 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한 S23, S24, S25, S26을 통해 AI 동작과 하향링크 그랜트 수신과정이 결합되는 과정을 수행할 수 있다.
또한, 도 2에서는 자율 주행 차량 동작에 대하여 S20 내지 S26을 통해 예시적으로 설명한 것이며, 본 발명은 이에 한정되지 않는다.
예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S22, S25가 S23, S26과 선택적으로 결합되어 동작할 수 있다, 또한 예를 들어, 상기 자율 주행 차량 동작은, S21, S22, S23, S26으로 구성될 수도 있다. 또한 예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S23, S26으로 구성될 수 있다. 또한, 예를 들어, 상기 자율 주행 차량 동작은, S22, S23, S25, S26으로 구성될 수 있다.
도 3 내지 도 6은 5G 통신을 이용한 자율 주행 차량 동작의 일 예를 나타낸다.
먼저 도 3을 참고하면, 자율 주행 모듈을 포함하는 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S30).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S31).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S32).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S33).
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S34).
그리고, 상기 자율 주행 차량은 원격 제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S35).
S30에 빔 관리(beam management, BM) 과정이 추가될 수 있으며, S31에 PRACH(physical random access channel) 전송과 관련된 빔 실패 복구(beam failure recovery) 과정이 추가될 수 있으며, S32에 UL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계 추가될 수 있으며, S33에 특정 정보를 포함하는 PUCCH (physical uplink control channel)/PUSCH (physical uplink shared channel)의 빔 전송 방향과 관련하여 QCL 관계 추가가 추가될 수 있다. 또한, S34에 DL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계 추가될 수 있으다.
도 4를 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S40).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S41).
그리고, 상기 자율 주행 차량은 설정된 그랜트(configured grant)에 기초하여 특정 정보를 5G 네트워크로 전송한다(S42).
그리고, 상기 자율 주행 차량은 원격 제어와 관련된 정보(또는 신호를) 상기 설정된 그랜트에 기초하여 5G 네트워크로부터 수신한다(S43).
도 5를 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S50).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S51).
그리고, 상기 자율 주행 차량은 5G 네트워크로부터 DownlinkPreemption IE를 수신한다(S52).
그리고, 상기 자율 주행 차량은 상기 DownlinkPreemption IE에 기초하여 프리엠션 지시(preemption indication)를 포함하는 DCI 포맷 2_1을 5G 네트워크로부터 수신한다(S53).
그리고, 상기 자율 주행 차량은 pre-emption indication에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB data의 수신을 수행(또는 기대 또는 가정)하지 않는다(S54).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S55).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S56).
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S57).
그리고, 상기 자율 주행 차량은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S58).
도 6을 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S60).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S61).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S62).
상기 UL grant는 상기 특정 정보의 전송에 대한 반복 횟수에 대한 정보를 포함하고, 상기 특정 정보는 상기 반복 횟수에 대한 정보에 기초하여 반복하여 전송된다(S63).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다.
그리고, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제 1 주파수 자원에서, 두 번째 특정 정보의 전송은 제 2 주파수 자원에서 전송될 수 있다.
상기 특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(narrowband)을 통해 전송될 수 있다.
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S64).
그리고, 상기 자율 주행 차량은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S65).
앞서 살핀 5G 통신 기술은 도 7 내지 도 24에서 후술할 본 명세서에서 제안하는 방법들과 결합되어 적용될 수 있으며, 또는 본 명세서에서 제안하는 방법들의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.
본 명세서에서 기술되는 차량은 통신망을 통해 외부 서버에 연결되고, 자율 주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능하다. 통신망은 전술한 5G 네트워크를 포함할 수 있다. 본 발명의 차량은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등으로 구현될 수 있다.
이하의 실시 예에서, 보행자는 보행자 단말기를 휴대하고 도로를 횡단하려는 자를 의미한다. 사용자는 차량의 운전자, 또는 탑승자일 수 있다. 보행자 단말기는 보행자가 휴대 가능하고 위치 정보의 전송이 가능하고 통신망을 통해 차량 및/또는 외부 디바이스로부터 신호를 송수신할 수 있는 단말기 예를 들어, 스마트 폰일 수 있다.
본 발명의 자율 주행 차량와, 서버 중 하나 이상이 인공 지능(Artificial Inteligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.
예를 들어, 자율 주행 차량은 차량에 포함된 적어도 하나의 인공지능(artificial intelligence, AI) 모듈, 로봇 등과 연계되어 동작할 수 있다.
예를 들어, 차량은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.
로봇은 차량 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 로봇과 통신을 수행할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 적어도 어느 하나를 로봇에 제공할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 차량의 이동 경로와 로봇의 이동 경로간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)를 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.
인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.
실시 예에 따라, 차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서의 다양한 실시 예들을 상세히 설명한다.
도 7 내지 도 13을 참조하면, 전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 도 7에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다. 도 7 내지 도 12에서 차량이 세단 형태로 예시되었으나 이에 한정되지 않는다.
차량(100)은 외부 디바이스에 의하여 원격 제어될 수 있다. 외부 디바이스는 서버로 해석될 수 있다. 서버는 차량(100)이 원격 제어가 필요하다고 판단되는 경우, 차량(100)에 대한 원격 제어를 수행할 수 있다.
차량(100)의 운행 모드는 차량(100)을 제어하는 주체에 따라 매뉴얼 모드(Manual mode), 자율 주행 모드, 또는 원격 제어 모드로 나뉠 수 있다. 매뉴얼 모드에서 운전자는 차량을 직접 제어하여 차량 주행을 제어할 수 있다. 자율 주행 모드에서 제어부(170)나 운행 시스템(700)은 운전자 개입 없이 차량(100)의 주행을 제어할 수 있다. 원격 제어 모드에서 운전자 개입 없이 외부 디바이스가 차량(100)의 주행을 제어할 수 있다.
사용자는 사용자 인터페이스 장치(200)를 통해 자율 주행 모드, 매뉴얼 모드, 및 원격 제어 모드 중 하나를 선택할 수 있다.
차량(100)은 운전자 상태 정보, 차량 주행 정보, 및 차량 상태 정보 중 적어도 하나에 기초하여, 자율 주행 모드, 매뉴얼 모드, 및 원격 제어 모드 중 하나로 자동 전환될 수 있다.
운전자 상태 정보는 사용자 인터페이스 장치(200)를 통하여 생성되어 제어부(170)에 제공될 수 있다. 운전자 상태 정보는 내부 카메라(220)나 생체 감지부(230)를 통하여 감지되는 운전자에 대한 영상이나 생체 정보에 기초하여 생성될 수 있다. 예를 들어, 운전자 상태 정보는 내부 카메라(220)를 통하여 획득된 이미지로부터 얻어진 운전자의 시선, 얼굴 표정, 행동, 운전자 위치 정보 등을 포함할 수 있다. 운전자 상태 정보는 생체 감지부(230)를 통하여 획득되는 사용자의 생체 정보를 포함할 수 있다. 운전자 상태 정보는 운전자의 시선이 향하는 방향, 운전자의 졸음 여부, 운전자의 건강 상태, 및 운전자의 감정 상태 등을 나타낼 수 있다.
차량 주행 정보는 차량(100)의 위치 정보, 차량(100)의 자세 정보, 타 차량(OB11)으로부터 수신하는 타 차량(OB11)에 대한 정보, 차량(100)의 주행 경로에 대한 정보나 지도 정보(map)를 포함하는 내비게이션 정보 등을 포함할 수 있다.
차량 주행 정보는 목적지까지의 경로 상에서 차량(100)의 현재 위치, 차량(100)의 주변에 존재하는 객체의 종류, 위치, 및 움직임, 차량(100)의 주변에서 감지되는 차선 유무 등을 포함할 수 있다. 또한, 차량 주행 정보는 타 차량(OB11)의 주행 정보, 차량(100)의 주변에 정차 가능 공간, 차량과 객체가 충돌할 가능성, 차량(100)의 주변에서 감지되는 보행자나 자전거 정보, 도로 정보, 차량(100) 주변의 신호 상태, 차량(100)의 움직임 등을 나타낼 수 있다.
차량 주행 정보는 오브젝트 검출 장치(300), 통신 장치(400), 내비게이션 시스템(770), 센싱부(120), 및 인터페이스부(130) 중 적어도 하나 이상과의 연계를 통해 생성되어, 제어부(170)에 제공될 수 있다.
차량 상태 정보는 차량(100)에 구비된 여러 장치들의 상태에 관련된 정보일 수 있다. 예를 들어, 차량 상태 정보는 배터리의 충전 상태, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700)의 동작 상태에 대한 정보와 각 장치의 이상 여부에 대한 정보를 포함할 수 있다.
차량 상태 정보는 차량(100)의 GPS(Global Positioning System) 신호가 정상적으로 수신되는지, 차량(100)에 구비된 적어도 하나의 센서에 이상이 발생하는지, 차량(100)에 구비된 각 장치들이 정상적으로 동작하는지를 나타낼 수 있다.
오브젝트 검출 장치(300)에서 생성되는 객체 정보에 기초하여, 차량(100)의 제어 모드가 매뉴얼 모드로부터 자율 주행 모드 또는 원격 제어 모드로 전환되거나, 자율 주행 모드에서 매뉴얼 모드 또는 원격 제어 모드로 또는, 원격 제어 모드로부터 매뉴얼 모드 또는 자율 주행 모드로 전환될 수 있다.
통신 장치(400)를 통해 수신되는 정보에 기초하여 차량(100)의 제어 모드가 매뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 매뉴얼 모드로 전환될 수 있다.
외부 디바이스(또는 서버)에서 제공되는 정보, 데이터, 신호에 기초하여 차량(100)의 제어 모드가 매뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 매뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 차량(100)은 운행 시스템(700)의 제어 하에 주행될 수 있다. 자율 주행 모드에서 차량(100)은 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보에 기초하여 운행될 수 있다.
차량(100)이 매뉴얼 모드로 운행되는 경우, 차량(100)은 운전 조작 장치(500)를 통하여 입력되는 사용자 입력에 따라 주행될 수 있다.
차량(100)이 원격 제어 모드로 운행되는 경우, 차량(100)은 통신 장치(400)를 통하여 외부 디바이스가 송신하는 원격 제어 신호를 수신할 수 있다. 차량(100)은 원격 제어 신호에 응답하여 제어될 수 있다.
도 13을 참조하면, 차량(100)은 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
도 13에 도시된 구성 요소 외에 다른 구성 요소를 더 포함하거나, 일부 구성 요소가 생략될 수 있다.
사용자 인터페이스 장치(200)는 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은 사용자 인터페이스 장치(200)를 통해 UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는 입력부(210), 탑승자 감지부(240), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
입력부(210)는 사용자 데이터 또는 명령을 입력 받는다. 입력부(210)에서 수집한 데이터는 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(210)는 차량 내부에 배치될 수 있다. 입력부(210)는 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(210)는 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 음성 입력부(211)는 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는 사용자의 제스쳐 입력을 전기적 신호로 전환하여 프로세서(270) 또는 제어부(170)에 제공할 수 있다. 제스쳐 입력부(212)는 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는 사용자의 터치 입력을 전기적 신호로 전환하여 프로세서(270) 또는 제어부(170)에 제공할 수 있다. 터치 입력부(213)는 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성되어 터치 스크린을 구현할 수 있다. 터치 스크린은 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)의 출력 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 기계식 입력부(214)는 스티어링 휠(steering wheel), 센터 페시아(center fascia), 센터 콘솔(center console), 칵핏 모듈(Cockpit module), 도어(door) 등에 배치될 수 있다.
탑승자 감지부(240)는 차량(100) 내부의 탑승자 또는 사물을 감지할 수 있다. 탑승자 감지부(240)는 내부 카메라(220) 및 생체 감지부(230)를 포함할 수 있다.
내부 카메라(220)는 차량 내부 공간을 촬영한다. 프로세서(270)는 내부 카메라(220)로부터 수신된 차량 내부 영상을 기초로 사용자 상태를 감지할 수 있다.
프로세서(270)는 차량 내부 영상을 분석하여 운전자의 시선, 얼굴, 행동, 표정, 및 위치 등의 운전자 상태를 판단하여 운전자 상태 정보를 발생할 수 있다. 프로세서(270)는 차량 내부 영상에서 사용자의 제스쳐(gesture)를 판단할 수 있다. 프로세서(270)는 운전자 상태 정보를 제어부(170)에 제공할 수 있다.
생체 감지부(230)는 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는 사용자의 생체 정보를 획득할 수 있는 센서를 이용하여 사용자의 지문 정보, 심박동 정보, 및 뇌파 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증이나 사용자의 상태 판단을 위해 이용될 수 있다.
프로세서(270)는 운전자의 생체 정보를 바탕으로 운전자의 상태를 판단하여 운전자 상태 정보를 발생할 수 있다. 운전자 상태 정보는 운전자가 수면 중인지, 졸고 있는지, 흥분하는지, 위급한 상태인지 등을 나타낼 수 있다. 프로세서(270)는 운전자의 생체 정보로부터 획득한 운전자 상태 정보를 제어부(170)에 제공할 수 있다.
출력부(250)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생한다. 출력부(250)는 디스플레이부(251), 음향 출력부(252), 햅틱 출력부(253) 등을 포함할 수 있다.
디스플레이부(251)는 다양한 정보를 포함한 영상 신호를 표시한다. 디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 결합되어 터치 스크린을 구현할 수 있다. 디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. HUD는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 표시할 수 있다.
디스플레이부(251)는 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
디스플레이부(251)는 도 8 내지 도 10에 도시된 바와 같이 복수의 디스플레이(251a 내지 251g)를 포함할 수 있다. 디스플레이(251)는 스티어링 휠의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역(251a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다. 윈도우에 배치된 디스플레이(251h)는 차량(100)의 전방 윈도우, 후방 윈도우, 측면 윈도우 각각에 배치될 수 있다.
음향 출력부(252)는 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 음향 출력부(252)는 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는 촉각 신호를 출력한다. 햅틱 출력부(253)는 촉각 신호에 따라 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시킨다.
프로세서(270)는 사용자 인터페이스 장치(200)의 구성 요소들 각각의 전반적인 동작을 제어할 수 있다. 사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는 다른 장치의 프로세서 또는 제어부(170)의 제어 하에 동작될 수 있다.
오브젝트 검출 장치(300)는 차량(100) 외부에 위치하는 객체(object)를 검출한다. 객체는 차량(100)의 운행과 관련된 다양한 물체들일 수 있다. 예를 들어, 객체는 도 11 및 도 12에 도시된 바와 같이 차로(Lane, OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 고정 구조물, 과속 방지턱, 지형 지물, 동물 등을 포함할 수 있다.
차로(OB10)는 주행 차로, 주행 차로의 옆 차로, 반대 방향으로 주행하는 차량의 차로일 수 있다. 차로(OB10)는 차로(Lane)을 형성하는 좌우측 차선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량(OB11)은 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 타 차량(OB11)은 차량(100)보다 선행하는 차량이거나, 후행하는 차량일 수 있다.
보행자(OB12)는 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는 차량(100)의 주변에 위치하고 2 개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB13)는 차량(100) 주변의 인도 또는 차도 상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은 타 차량(OB11)에 구비된 램프에서 생성된 빛일 수 있다. 빛은 가로등에서 생성된 조명 빛 또는 태양광일 수 있다.
도로는 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
고정 구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리, 지형 지물 등를 포함할 수 있다.
지형 지물은 산, 언덕, 터널, 강, 바다 등을 포함할 수 있다.
객체는 이동 객체와 고정 객체로 나뉘어질 수 있다. 이동 객체는 타 차량(OB11), 이륜차(OB13), 보행자(OB12) 등일 수 있다. 고정 객체는 교통 신호, 도로, 고정 구조물일 수 있다.
오브젝트 검출 장치(300)는 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
카메라(310)는 차량(100)의 외부 환경을 촬영하여 차량(100)의 외부 환경을 보여 주는 영상 신호를 출력한다. 카메라(310)는 차량 주변의 보행자를 촬영할 수 있다.
카메라(310)는 차량(100) 외부의 적절한 위치에 하나 이상 배치될 수 있다. 카메라(310)는 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
카메라(310)는 차량 전방의 영상을 획득하기 위해 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라(310)는 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라(310)는 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라(310)는 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라(310)는 차량 측방의 영상을 획득하기 위해 차량(100)의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 카메라(310)는 사이드 미러, 휀더(fender) 또는 도어 주변에 배치될 수 있다. 카메라(310)로부터 출력된 영상 신호는 프로세서(370)에 제공된다.
레이다(320)는 전자파 송신부, 수신부를 포함할 수 있다. 레이다(320)는 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다(320)는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keying) 방식으로 구현될 수 있다.
레이다(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 시프트(phase-shift) 방식에 기초하여, 객체를 검출하고, 검출된 객체의 위치, 검출된 객체와의 거리 및 상대 속도를 검출할 수 있다. 레이다(320)는 차량(100)의 전방, 후방 또는 측방에 위치하는 주변 객체를 감지하기 위해 차량(100)에서 적절한 위치에 배치될 수 있다.
라이다(330)는 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는 TOF(Time of Flight) 방식 또는 페이즈 시프트(phase-shift) 방식으로 구현될 수 있다. 라이다(330)는 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다(330)는 모터에 의해 회전되며, 주변 객체를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다(330)는 광 스티어링에 의해 차량(100)을 기준으로 소정 범위 내에 위치하는 주변 객체를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 시프트(phase-shift) 방식에 기초하여, 주변 객체를 검출하고, 검출된 주변 객체의 위치, 검출된 객체와의 거리 및 상대 속도를 검출할 수 있다. 라이다(330)는 차량의 전방, 후방 또는 측방에 위치하는 주변 객체를 감지하기 위해 차량(100)에서 적절한 위치에 배치될 수 있다.
초음파 센서(340)는 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)는 객체로부터 반사되어 수시된 초음파로 주변 객체를 검출하고, 검출된 객체의 위치, 검출된 객체와의 거리 및 상대 속도를 검출할 수 있다. 초음파 센서(340)는 차량의 전방, 후방 또는 측방에 위치하는 주변 객체를 감지하기 위해 차량(100)에서 적절한 위치에 배치될 수 있다.
적외선 센서(350)는 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는 객체로부터 반사되어 수시된 적외선을 기초로 주변 객체를 검출하고, 검출된 객체의 위치, 검출된 객체와의 거리 및 상대 속도를 검출할 수 있다. 적외선 센서(350)는 차량의 전방, 후방 또는 측방에 위치하는 주변 객체를 감지하기 위해 차량(100)에서 적절한 위치에 배치될 수 있다.
프로세서(370)는 오브젝트 검출 장치(300)의 구성 요소 각각의 전반적인 동작을 제어할 수 있다. 프로세서(370)는 획득된 영상에 기초하여 주변 객체를 검출하고, 트래킹(tracking)할 수 있다. 프로세서(370)는 영상 처리 알고리즘을 이용하여 객체와의 거리 산출, 객체와의 상대 속도 산출, 객체의 종류, 위치, 크기, 형상, 색상, 이동 경로 판단, 감지되는 문자의 내용 판단 등의 동작을 수행할 수 있다.
프로세서(370)는 송신된 전자파가 객체에 반사되어 되돌아오는 반사 전자파에 기초하여, 주변 객체를 검출하고, 트래킹할 수 있다. 프로세서(370)는 전자파에 기초하여, 객체와의 거리 산출, 객체와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는 송신된 레이저 광이 객체에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 주변 객체를 검출하고, 트래킹할 수 있다. 프로세서(370)는 레이저 광에 기초하여 객체와의 거리 산출, 객체와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는 송신된 초음파가 객체에 반사되어 되돌아오는 반사 초음파에 기초하여, 주변 객체를 검출하고, 트래킹할 수 있다. 프로세서(370)는 초음파에 기초하여, 객체와의 거리 산출, 객체와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는 송신된 적외선 광이 객체에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 주변 객체를 검출하고, 트래킹할 수 있다. 프로세서(370)는 적외선 광에 기초하여 객체와의 거리 산출, 객체와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는 카메라(310)를 통하여 획득된 영상, 레이다(320)를 통하여 수신된 반사 전자파, 라이다(330)를 통하여 수신된 반사 레이저 광, 초음파 센서(340)를 통하여 수신된 반사 초음파, 및 적외선 센서(350)를 통하여 수신된 반사 적외선 광 중 적어도 하나에 기초하여, 주변 객체를 판단하여 객체 정보를 발생할 수 있다. 프로세서(370)는 객체 정보를 제어부(170)에 제공할 수 있다.
객체 정보는 차량(100)의 주변에 존재하는 객체의 종류, 위치, 크기, 형상, 색상, 이동 경로, 속도, 감지되는 문자를 나타낸다. 객체 정보는 차량(100) 주변에 차선이 존재하는지, 차량(100)은 정차 중인데 차량(100) 주변의 타 차량이 주행하는지, 차량(100) 주변에 정차할 수 있는 구역이 있는지, 차량과 오브젝트가 충돌할 가능성, 차량(100) 주변에 보행자나 자전거가 어떻게 분포되어 있는지, 차량(100)이 주행하는 도로의 종류, 차량(100) 주변 신호등의 상태, 차량(100)의 움직임 등을 나타낼 수 있다.
오브젝트 검출 장치(300)는 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)는 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
통신 장치(400)는 통신 링크를 통해 외부 디바이스에 연결되어 외부 디바이스와 양방향 통신을 수행한다. 외부 디바이스는 도 70에서 사용자 단말기(50)와 서버(40)일 수 있다.
통신 장치(400)는 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
근거리 통신부(410)는 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는 차량(100)의 위치 정보를 획득한다. 위치 정보부(420)는 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는 서버(V2I : Vehicle to Infra), 타 차량과의 통신(V2V : Vehicle to Vehicle) 또는 보행자와의 통신(V2P : Vehicle to Pedestrian)을 수행한다. V2X 통신부(430)는 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 회로를 포함할 수 있다.
광통신부(440)는 광을 매개로 외부 디바이스와 통신을 수행한다. 광통신부(440)는 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다. 광발신부는 차량(100)에 포함된 램프와 일체화될 수 있다.
방송 송수신부(450)는 방송 채널을 통해 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는 TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는 통신 장치(400)의 각 구성 요소들의 전반적인 동작을 제어할 수 있다. 프로세서(470)는 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 및 방송 송수신부(450) 중 적어도 하나를 통하여 수신되는 정보에 기초하여, 차량 주행 정보를 생성할 수 있다. 프로세서(470)는 타 차량(OB11)으로부터 수신되는 타 차량(OB11)의 위치, 차종, 주행 경로, 속도, 각종 센싱 값 등에 대한 정보에 기초하여, 차량 주행 정보를 생성할 수 있다. 타 차량(OB11)의 각종 센싱 값에 대한 정보가 수신되는 경우, 차량(100)에 별도의 센서가 없더라도, 프로세서(470)는 차량(100)의 주변 객체에 대한 정보를 얻을 수 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
제어부(170)는 통신 장치(400)로부터 수신된 신호를 바탕으로 운전자 상태 정보, 차량 상태 정보, 차량 주행 정보, 차량(100)의 에러를 나타내는 에러 정보, 객체 정보, 사용자 인터페이스 장치(200)를 통하여 수신되는 사용자 입력, 및 원격 제어 요청 신호 중 적어도 하나를 외부 디바이스로 전송할 수 있다. 원격 제어용 서버는 차량(100)이 송신하는 정보에 기초하여 차량(100)이 원격 제어가 필요한지 판단할 수 있다.
제어부(170)는 통신 장치(400)를 통하여, 원격 제어용 서버로부터 수시된 제어 신호에 따라 차량(100)을 제어할 수 있다.
운전 조작 장치(500)는 운전을 위한 사용자 입력을 수신한다. 매뉴얼 모드에서, 차량(100)은 운전 조작 장치(500)에 의해 제공되는 사용자 입력 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시 예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는 사용자로부터 차량(100)의 감속, 을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는 페달 형태로 구현될 수 있다. 가속 입력 장치 또는 브레이크 입력 장치는 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는 차량(100)내 각종 장치의 구동을 전기적으로 제어한다. 차량 구동 장치(600)는 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
파워 트레인 구동부(610)는 파워 트레인 장치의 동작을 제어할 수 있다. 파워 트레인 구동부(610)는 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는 차량(100)의 동력원에 대한 제어를 수행한다. 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는 제어부(170)의 제어 하에 엔진 출력 토크를 조정할 수 있다. 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는 제어부(170)의 제어 하에 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는 변속기에 대한 제어를 수행한다. 변속기 구동부(612)는 변속기의 상태를 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다. 엔진이 동력원인 경우, 변속기 구동부(612)는 전진(D) 상태에서 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는 샤시 장치의 동작을 제어할 수 있다. 샤시 구동부(620)는 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행하여 차량(100)의 속도를 줄일 수 있다. 브레이크 구동부(622)는 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여 차량(100)의 진동이 저감되도록 제어할 수 있다. 서스펜션 구동부(623)는 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 도어/윈도우 구동부(630)는 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다. 도어 구동부(631)는 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행하여 차량(100)의 윈도우 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다. 안전 장치 구동부(640)는 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행하여 위험 감지시 에어백이 전개되도록 이 에어백을 제어한다.
시트벨트 구동부(642)는 차량(100) 내의 시트벨트 장치(seatbelt apparatus)에 대한 전자식 제어를 수행하여 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행하여 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 이 에어백을 제어한다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행한다.
공조 구동부(660)는 차량(100) 내의 공조 장치(air conditioner)에 대한 전자식 제어를 수행하여 차량 내부의 온도를 조절한다.
운행 시스템(700)은 차량(100)의 운행을 제어한다. 운행 시스템(700)은 자율 주행 모드에서 동작될 수 있다. 운행 시스템(700)은 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750)을 포함할 수 있다. 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 운행 시스템(700)은 제어부(170)의 하위 개념일 수도 있다.
운행 시스템(700)은 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 하나 이상과 연계되어 차량(100)의 자율 운행을 제어할 수 있다.
주행 시스템(710)은 내비게이션 시스템(770)으로부터의 내비게이션 정보를 차량 구동 장치(600)에 제공한다. 내비게이션 정보는 목적지, 경유지 정보 등 자율 주행에 필요한 경로 정보를 포함할 수 있다. 또한, 내비게이션 정보는 맵 데이터, 교통 정보 등을 포함한다.
주행 시스템(710)은 오브젝트 검출 장치(300)로부터의 객체 정보를 차량 구동 장치(600)에 제공한다. 주행 시스템(710)은 통신 장치(400)를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치(600)에 제공할 수 있다.
출차 시스템(740)은 차량(100)의 출차를 수행한다. 출차 시스템(740)은 내비게이션 시스템(770)으로부터의 내비게이션 정보를 차량 구동 장치(600)에 제공할 수 있다. 출차 시스템(740)은 오브젝트 검출 장치(300)로부터의 객체 정보를 차량 구동 장치(600)에 제공할 수 있다. 출차 시스템(740)은 통신 장치(400)를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치(600)에 제공할 수 있다.
주차 시스템(750)은 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은 내비게이션 시스템(770)으로부터의 내비게이션 정보를 바탕으로 차량 구동 장치(600)에 제어 신호를 제공할 수 있다. 주차 시스템(750)은 오브젝트 검출 장치(300)로부터의 객체 정보를 차량 구동 장치(600)에 제공할 수 있다. 주차 시스템(750)은 통신 장치(400)를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치(600)에 제공할 수 있다.
내비게이션 시스템(770)은 내비게이션 정보를 발생할 수 있다. 내비게이션 정보는 맵(map) 데이터, 설정된 목적지 정보, 목적지까지의 경로 정보를 포함한 드라이빙 플랜 데이터(driving plan data), 경로 상의 다양한 객체에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 하나 이상을 포함할 수 있다. 내비게이션 시스템(770)은 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다. 내비게이션 시스템(770)은 통신 장치(400)를 통해 수신된 외부 디바이스로부터 정보를 수신하여 기 저장된 정보를 업데이트 할 수 있다. 내비게이션 시스템(770)은 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수 있다.
센싱부(120)는 차량의 상태를 센싱할 수 있다. 센싱부(120)는 자세 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서 등을 포함할 수 있다. 자세 센서는 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor) 등을 포함할 수 있다.
센싱부(120)는 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등을 실시간 감지하여 센싱 신호를 발생할 수 있다.
센싱부(120)는 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS) 등을 더 포함할 수 있다.
인터페이스부(130)는 차량(100)에 연결되는 다양한 종류의 외부 기기와의 인터페이스를 제공한다. 예를 들면, 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 포함하여 이동 단말기와 데이터를 교환할 수 있다.
인터페이스부(130)는 이동 단말기에 전기 에너지를 공급할 수 있다. 이동 단말기가 인터페이스부(130)에 전기적으로 연결되면, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는 제어부(170)에 연결된다. 메모리(140)는 차량의 구성 요소들 각각의 구동에 필요한 데이터, 사용자 입력 데이터, 외부 디바이스로부터 수신된 정보 데이터 등을 저장할 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는 ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등으로 구현될 수 있다.
메모리(140)는 제어부(170)와 일체형으로 구현되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는 차량(100) 내의 구성 요소들 각각의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Control Unit)를 포함할 수 있다. 제어부(170)는 오브젝트 검출 장치(300) 및 통신 장치(400) 중 적어도 하나를 통하여 획득되는 정보에 기초하여 차량(100)을 제어할 수 있다. 이에 따라, 차량(100)은 제어부(170)의 제어 하에 자율 주행할 수 있다.
프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 등으로 구현될 수 있다.
전원 공급부(190)는 차량 내부의 배터리 로부터 전원을 공급받을 수 있다. 전원 공급부(190)는 제어부(170)의 제어 하에 각 구성 요소들의 동작에 필요한 전원을 구성 요소들에 공급할 수 있다.
차량(100)은 IVI(In-Vehicle Infotainment) 시스템을 포함할 수 있다. IVI 시스템은 사용자 인터페이스 장치(200), 통신 장치(400), 제어부(170), 내비게이션 시스템(770), 및 운행 시스템(700)과 연계되어 동작할 수 있다. IVI 시스템은 사용자 입력에 응답하여 멀티 미디어 컨텐츠를 재생하고 다양한 응용 프로그램에 대한 UI(User Interfaces) 또는 UX(User Experience) 프로그램을 실행한다.
제어부(170)는 V2X 통신을 제어하여 보행자 정보를 타 차량(OB11)에 전달하고 보행자 단말기에 보행 안내 정보를 전송할 수 있다.
제어부(170)는 AI 프로세서(800)를 더 포함할 수 있다. AI는 학습 결과를 바탕으로 카메라(310)에 의해 촬영된 보행자 이미지를 분석하여 보행자의 유형을 판단하고, 보행자의 이동 속도, 보행자의 도로 횡단 예상 시간 등을 추정할 수 있다.
도 14는 V2X 통신을 보여 주는 도면이다.
도 14를 참조하면, V2X 통신은 차량 사이의 통신(communication between vehicles)을 지칭하는 V2V(Vehicle-to-Vehicle), 차량과 eNB 또는 RSU(Road Side Unit) 사이의 통신을 지칭하는 V2I(Vehicle to Infrastructure), 차량 및 개인(보행자, 자전거 운전자, 차량 운전자 또는 승객)이 소지하고 있는 사용자 단말기(user equipment, UE) 간 통신을 지칭하는 V2P(Vehicle-to-Pedestrian), V2N(vehicle-to-network) 등 차량과 모든 개체들 간 통신을 포함한다.
V2X 통신은 V2X 사이드링크 또는 NR V2X와 동일한 의미를 나타내거나 또는 V2X 사이드링크 또는 NR V2X를 포함하는 보다 넓은 의미를 나타낼 수 있다.
V2X 통신은 예를 들어, 전방 충돌 경고, 자동 주차 시스템, 협력 조정형 크루즈 컨트롤(Cooperative adaptive cruise control: CACC), 제어 상실 경고, 교통행렬 경고, 교통 취약자 안전 경고, 긴급 차량 경보, 굽은 도로 주행 시 속도 경고, 트래픽 흐름 제어 등 다양한 서비스에 적용 가능하다.
V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다. 이 경우, V2X 통신을 지원하는 무선 통신 시스템에는, 상기 차량과 모든 개체들 간의 통신을 지원하기 위한 특정 네트워크 개체(network entity)들이 존재할 수 있다. 예를 들어, 상기 네트워크 개체는, BS(eNB), RSU(road side unit), UE, 또는 어플리케이션 서버(application server)(예, 교통 안전 서버(traffic safety server)) 등일 수 있다.
또한, V2X 통신을 수행하는 사용자 단말기(UE)는, 일반적인 휴대용 UE(handheld UE)뿐만 아니라, 차량 단말기(V-UE(Vehicle UE)), 보행자 단말기E(pedestrian UE), BS 타입(eNB type)의 RSU, 또는 UE 타입(UE type)의 RSU, 통신 모듈을 구비한 로봇 등을 의미할 수 있다.
V2X 통신은 단말기들(UE) 간에 직접 수행되거나, 상기 네트워크 개체(들)를 통해 수행될 수 있다. 이러한 V2X 통신의 수행 방식에 따라 V2X 동작 모드가 구분될 수 있다.
V2X 통신은, 사업자(operator) 또는 제3자가 V2X가 지원되는 지역 내에서 UE 식별자를 트랙킹할 수 없도록, V2X 어플리케이션의 사용 시에 UE의 익명성(pseudonymity) 및 개인보호(privacy)를 지원할 것이 요구된다.
V2X 통신에서 자주 사용되는 용어는 다음과 같이 정의된다.
- RSU (Road Side Unit): RSU는 V2I 서비스를 사용하여 이동 차량과 전송/수신 할 수 있는 V2X 서비스 가능 장치이다. 또한, RSU는 V2X 어플리케이션을 지원하는 고정 인프라 엔터티로서, V2X 어플리케이션을 지원하는 다른 엔터티와 메시지를 교환할 수 있다. RSU는 기존 ITS 스펙에서 자주 사용되는 용어이며, 3GPP 스펙에 이 용어를 도입한 이유는 ITS 산업에서 문서를 더 쉽게 읽을 수 있도록 하기 위해서이다. RSU는 V2X 어플리케이션 로직을 BS(BS-타입 RSU라고 함) 또는 UE(UE-타입 RSU라고 함)의 기능과 결합하는 논리적 엔티티이다.
- V2I 서비스: V2X 서비스의 일 타입으로, 한 쪽은 차량(vehicle)이고 다른 쪽은 기반시설(infrastructure)에 속하는 엔티티.
- V2P 서비스: V2X 서비스의 일 타입으로, 한 쪽은 차량이고, 다른 쪽은 개인이 휴대하는 기기(예, 보행자, 자전거 타는 사람, 운전자 또는 동승자가 휴대하는 휴대용 UE기).
- V2X 서비스: 차량에 전송 또는 수신 장치가 관계된 3GPP 통신 서비스 타입.
- V2X 가능(enabled) UE: V2X 서비스를 지원하는 단말기(UE).
- V2V 서비스: V2X 서비스의 타입으로, 통신의 양쪽 모두 차량이다.
- V2V 통신 범위: V2V 서비스에 참여하는 두 차량 간의 직접 통신 범위.
V2X(Vehicle-to-Everything)라고 불리는 V2X 어플리케이션은 살핀 것처럼, (1) 차량 대 차량(V2V), (2) 차량 대 인프라 (V2I), (3) 차량 대 네트워크(V2N), (4) 차량 대 보행자 (V2P)의 4가지 타입이 있다.
도 42는 V2X 어플리케이션의 타입을 예시한 것이다.
이 4가지 타입의 V2X 어플리케이션은 최종 사용자를 위해 보다 지능적인 서비스를 제공하는 "협력적 인식(co-operative awareness)"을 사용할 수 있다. 이는 차량(100, OB11), 길가 기반 시설(RSU), 애플리케이션 서버(2000) 및 보행자(OB12)와 같은 엔티티들이 협동 충돌 경고 또는 자율 주행과 같은 보다 지능적인 정보를 제공하기 위해 해당 지식을 처리하고 공유하도록 해당 지역 환경에 대한 지식(예, 근접한 다른 차량 또는 센서 장비로부터 받은 정보)을 수집할 수 있음을 의미한다.
본 발명이 차량(100)은 자체의 AI 프로세서를 이용하여 보행자 정보를 발생할 수 있다. 또한, 본 발명의 차량(100)은 V2N 통신을 통해 외부 디바이스 예를 들어 서버(2000)에 연결되어 서버(200)의 AI 학습 결과로 얻어진 보행자 정보를 수신하여 타 차량(OB11)에 전송할 수 있다.
도 15는 본 발명의 실시 예에 따른 보행 안내 시스템을 보여 주는 도면이다.
도 15를 참조하면, 보행 안내 시스템은 V2X 통신을 수행하는 차량(100)을 포함한다.
차량(100)의 내비게이션 시스템(770)은 실시간 교통 정보 서비스, 맵 데이터를 포함한 지도 정보 서비스, 경로 안내 서비스를 처리한다.
차량(100)의 제어부(170)는 AI 프로세서를 포함할 수 있다. AI 프로세서는 카메라 영상 분석을 바탕으로 보행자 유형을 판단하여 보행자 정보를 발생하는 보행자 감지 모듈, 보행자 유형을 바탕으로 도로 횡단 예상 시간을 추정하는 보행 예상 시간 추론 모듈, 보행자 안내 정보를 발생하는 보행자 안내 인터페이스, 보행자(OB11)와 타 차량(OB11) 간의 V2X 통신을 제어하는 V2X 컨트롤러를 포함한다.
다른 실시 예에서, 차량(100)은 VTN 통신을 통해 서버(2000)의 AI 학습 결과로 얻어진 보행자 정보를 수신 받을 수 있다. 이 서버(2000)에 대하여는 도 24를 결부한 실시 예에서 상세히 설명하기로 한다.
보행자 단말기(1000)는 V2P 통신을 통해 위치 정보부(1100)로부터의 GPS 신호를 차량(100)에 전송하는 보행자 위치 송수신 모듈, 차량(100) 또는 서버(2000)로부터의 보행자 안내 정보를 수신 받아 출력부(1200)로 출력한다. 출력부(1200)는 보행자 안내 정보를 출력하는 디스플레이와 햅틱 출력부를 포함한다.
도 16은 본 발명의 실시 예에 따른 보행 안내 방법의 제어 수순을 단계적으로 보여 주는 흐름도이다. 도 17a 및 도 17b는 도 16에 도시된 보행 안내 방법을 도시화한 도면이다.
도 16 내지 도 17b를 참조하면, 도로 상에서 차량들(100, OB11)이 주행하는 동안, 보행자 단말기(1000)가 차량(100, OB11)에 위치 정보를 전송하여 보행자의 위치를 주변 차량들(100, OB11)에게 알려 준다(S171). 보행자가 횡단 보도 근처에 서 있을 때 보행자 단말기(1000)로부터 위치 정보 예를 들어, GPS 신호가 차량(100, OB11)으로 전송될 수 있다.
차량(100, OB11)은 보행자를 인식하여 카메라 촬영으로 얻어진 보행자 이미지를 AI 학습 결과를 바탕으로 분석하여 보행자 유형을 판단한다(S172). 보행자(OB12)를 가장 먼저 인식한 차량 혹은 보행자(OB12)와 가장 가까운 차량이 보행자 유형을 판단하여 그 판단 결과를 주변 차량들에게 전송할 수 있다.
차량(100, OB11)이 보행자를 인식하여 보행자 이미지를 촬영한 후, 그 보행자 이미지를 네트워크를 통해 서버(2000)로 전송할 수 있다. 서버(2000)는 AI 학습 결과를 바탕으로 보행자 이미지를 분석하여 보행자 유형을 판단하고, 보행자 유형을 보행자 근처의 도로에 접근하는 차량들(100, OB11)에 전송할 수 있다.
보행자 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 등을 포함한다. 보행자 상태는 보행자가 짐을 들거나 유모차, 휠체어, 시각 장애인 안내견과 함께 있는지 또는 보행자가 넘어지는 등을 구분할 수 있다. 보행자 유형은 영유아, 임산부, 장애인, 노약자 등 보행 취약자를 판정하는 지표로 활용될 수 있다.
차량(100, OB11)은 보행자 위치와 보행자 유형을 수신하면 주행 가능 여부, 감속 및 정지 여부를 판단한다(S173).
차량(100, OB11)의 제어부(170)는 보행자와 가까워지는 방향으로 주행할 때 보행자 위치와 보행자 유형을 수신하면, 브레이크 구동부(622)를 제어하여 주행 속도를 감속할 수 있다. 차량(100, OB11)의 제어부(170)는 보행자와(OB12)의 거리에 따라 제동력을 조정할 수 있다. 차량(100, OB11)의 제어부(170)는 보행자 위치가 소정 거리 내에 있으면 주행 속도를 낮추고 보행자(OB12)가 횡단 보도를 건너기 시작하기 전에 정지할 수 있다. 예를 들어, 도 18에 도시된 바와 같이 보행자(OB12)를 중심으로 제1 반경 구간(191) 내에 있는 차량(100, OB11)의 제동력이 제1 반경 구간(191) 보다 큰 제2 반경 구간(192) 내에 있는 차량(100, OB11)의 제동력 보다 더 크게 제어될 수 있다.
차량(100, OB11)은 보행자(OB12)가 도로를 횡단할 때 보행자(OB12)의 안전을 도모하기 위하여, 주행 가능 여부, 감속 및 정지 여부 판단 결과를 타 차량들(100, OB11)에 전송하여 주변 차량들에 감속 및 정지를 요청할 수 있다(S174). 차량(100, OB11)의 제어부(170)는 타 차량으로부터 상기 판단 결과를 수신하면 응답 신호를 타 차량에게 전송하고 브레이크 구동부(622)를 제어하여 차량(100, OB11)의 속도를 낮춘다. 응답 신호는 감속, 주행 지속 여부에 관한 정보를 포함할 수 있다.
차량(100, OB11)의 제어부(170)는 타 차량의 응답 신호를 바탕으로 보행자(OB12)의 도로 횡단시 보행 안전도를 판단할 수 있다.
차량(100, OB11)들은 V2V 통신을 통해 보행자(OB12)와 가장 가까운 차량(100, OB11)을 검색할 수 있다(S175). 보행자(OB12)가 도로에 접근하거나 도로를 횡단할 때 보행자(OB12)와 가장 가까운 차량(100, OB11)이 AI 판단 결과를 바탕으로 보행자(OB12)의 진행 방향, 횡단 예상 시간 등을 디스플레이 상에 출력할 수 있다(S176). 또한, 차량(100, OB11)이 보행자 단말기(1000)에 보행 안내 정보를 전송할 수 있다. 보행자 단말기(1000)는 보행 안내 정보에 따라 디스플레이 상에 현재 위치, 도로 횡단 가능 여부, 횡단 예상 시간 등을 표시할 수 있고 이러한 정보를 진동(햅틱)으로 출력할 수도 있다.
횡단 예상 시간은 보행자 유형, 보행자 상태를 바탕으로 추정될 수 있다. 예를 들어, 노인이나 영유아의 경우 소정의 기준 시간 보다 +15초 길게 설정될 수 있다. 또한, 횡단 예상 시간은 기존 신호등 시간에 보행자 유형에 따른 추가 시간의 합으로 설정될 수 있다. 보행자 유형이 보행 취약자일 때 횡단 예상 시간이 추가된다.
보행자가 여러 명인 경우, 가장 느린 보행 취약자의 보행 추정 시간을 기준으로 횡단 예상 시간이 계산될 수 있다. 가장 느린 보행 취약자는 보행자의 연령과 보행자의 상태를 바탕으로 미리 설정될 수 있다. 영유아, 노약자, 장애인, 임산부, 무거운 짐이나 동반자가 있는 보행자 등이 보행 취약자로 설정될 수 있다.
횡단 예상 시간은 보행자(OB12) 주변의 도로에서 차량의 혼잡도에 따라 증가될 수 있다. 예를 들어, 차량의 혼잡도가 높을 때 하나의 차로당 5초 증가될 수 있다. 차량의 혼잡도가 낮을 때 하나의 차로당 3초 증가될 수 있다.
보행자 유형이 인식 불가능 한 경우, 보행자는 기타 유형으로 분류될 수 있다. 기타 유형의 경우, 소정의 기준 시간으로 횡단 예상 시간이 설정될 수 있다.
횡단 예상 시간이 변경되면, 도 23에 도시된 바와 같이 차량(100, OB11)의 디스플레이 및/또는 보행자 단말기(1000)를 통해 변경된 횡단 예상 시간을 재 안내할 수 있다.
보행자(OB12)는 차량(100, OB11)에 표시된 보행 안내 및 자신의 단말기(1000)에서 출력되는 보행 안내 메시지를 보고 안전하게 도로를 횡단할 수 있다(S177).
도 19a 내지 도 20b는 보행자가 도로를 가로 질러 건너갈 때 보행자와 가까운 차량이 보행 안내 정보를 출력하는 예를 보여 주는 도면들이다. 도 21은 보행자 단말기의 디스플레이에 출력되는 보행 안내 정보의 일 예를 보여 주는 도면이다.
보행자(OB12)가 도로의 횡단 보도를 횡단할 때 도 19a 내지 도 20b에 도시된 바와 같이 보행자(OB12)와 가장 가까운 차량이 보행 안내 정보를 출력할 수 있다. 보행 안내 정보는 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함할 수 있다.
보행자 단말기(10000)는 차량(100, OB12) 또는 서버(2000)로부터 수신되는 보행 안내 정보를 도 21에 도시된 바와 같이 디스플레이 및/또는 진동으로 출력할 수 있다. 예를 들어, 왕복 6 차로의 도로에서 보행자(OB12)가 횡단 보도의 진입 위치에 서 있는 경우, 도 20a에 도시된 바와 같이 보행자(OB12)와 가장 가까운 제3 차로에 있는 차량(100, OB11)의 디스플레이를 통해 횡단 가능 정보와, 횡단 예상 가능 시간이 표시되고 보행자(OB12)의 이동에 따라 횡단 예상 시간이 카운트된다. 보행자(OB12)가 이동하여 제1 차로를 통과할 때, 도 20b에 도시된 바와 같이 제1 차로에 있는 차량(100, OB11)의 디스플레이를 통해 횡단 가능 정보와, 횡단 예상 가능 시간이 표시될 수 있다. 이 경우, 보행자의 이동에 맞추어 차량(100, OB12)의 디스플레이에 출력되는 보행 안내 정보의 표시 위치로 이동될 수 있다.
한편, 보행자가 횡단보도를 횡단하기 시작하면, 보행자와 가장 가까운 두 차로에 있는 차량들의 디스플레이에 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상의 보행 안내 정보가 출력될 수 있다.
횡단 예상 가능 시간이 얼마 남지 않을 때 보행자의 단말기(1000)를 통해 보행 안내 정보가 출력될 수 있다. 보행자(OB12)가 지나간 차로의, 차량(100, OB11)의 제어부(170)는 보행 안내 정보의 출력을 멈추고 운행 시스템(700)를 제어하여 주행을 재개할 수 있다.
도 22는 보행자 인지 및 보행자 판단 방법을 상세히 보여 주는 흐름도이다.
도 22를 참조하면, 보행자 단말기(1000)는 V2P 통신을 통해 주변 차량에 보행자(OB12)의 위치를 알려 준다(S231). 보행자를 인지한 차량 예를 들어, 보행자와 가장 가까운 차량(100, OB11)의 제어부(170)는 카메라(310)를 구동하여 보행자 이미지를 촬영한다. 차량(100, OB11)은 카메라로부터 얻어진 보행자 이미지를 AI 학습 결과를 바탕으로 분석하여, 보행자를 인식하고 이 보행자를 지시하는 보행자 정보와 보행자의 횡단 예상 시간 추론 결과를 발생할 수 있다(S232, S233 및 S234).
보행자 정보는 보행자 유형을 지시할 수 있다. 보행자 유형은 보행자의 연령대, 보행자의 성별, 보행자 상태 등을 포함한다.
보행자가 2인 이상이면, 제어부(170)는 보행자들 중에서 가장 취약한 보행자를 판정한다(S235 및 S236). 가장 취약한 보행자는 가장 느린 보행 취약자를 의미하며 보행자 연령, 보행자 상태 등을 고려하여 미리 설정될 수 있다.
제어부(170) 또는 서버(2000)는 보행자 유형에 따른 횡단 예상 시간을 추정하고, 보행자(OB12)와 가장 가까운 차량을 탐색한다(S237 및 S238). 그리고 제어부(170)는 보행자 정보를 보행자(OB12)와 가까운 차량(들)에 전송할 수 있다(S239).
제어부(170)는 타 차량으로부터 수신된 응답 신호를 바탕으로 보행자의 도로 횡단시 보행 안전도를 판단할 수 있다(S240 및 S241). 제어부(170)는 보행 안전도가 미리 설정된 기준값 이상일 때 보행 안내 정보를 디스플레이에 출력하고 보행자 단말기(1000)에 전송하여 보행자의 횡단을 유도한다(S242).
도 23은 보행자 상태 변경에 따른 보행 안내 방법을 보여 주는 흐름도이다.
도 23을 참조하면, 차량(100, OB11)의 제어부(170)는 카메라로부터 얻어진 보행자 이미지를 분석하여 보행자 상태를 실시간 모니터(monitor)한다(S251).
제어부(170)는 보행자 상태가 변하여 보행자(OB12)의 이동 속도가 변하는 것으로 판단되면, 횡단 예상 시간을 조정한다(S254). 보행자(OB12)의 이동 속도에 비례하여 횡단 예상 시간이 가변될 수 있다.
제어부(170) 또는 서버(2000)는 보행자(OB12)와 가장 가까운 차량을 탐색한다(S255). 그리고 제어부(170)는 보행자 정보를 보행자(OB12)와 가까운 차량(들)에 전송할 수 있다(S256).
제어부(170)는 타 차량으로부터 수신된 응답 신호를 바탕으로 보행자의 도로 횡단시 보행 안전도를 판단할 수 있다(S257). 제어부(170)는 보행 안전도가 미리 설정된 기준값 이상일 때 보행 안내 정보를 디스플레이에 출력하고 보행자 단말기(1000)에 전송하여 보행자의 횡단을 유도한다(S259).
도 24는 서버(2000)에서 보행자 유형을 판단하는 실시 예를 보여 주는 도면이다.
도 24를 참조하면, 서버(2000)는 AI 장치를 포함한다. AI 장치는 AI 프로세서(2100), 메모리(2500) 및/또는 통신부(2700)를 포함할 수 있다.
AI 프로세서(2100)는 메모리(2500)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(2100)는 차량 관련 데이터와, 보행자 유형을 인식하기 위한 신경망을 학습할 수 있다.
차량 관련 데이터는 차량(100, OB11)으로부터 수신된 운전자 상태 정보, 차량 주행 정보, 및 차량 상태 정보, 내비게이션 정보 등을 포함할 수 있다.
차량 관련 데이터와 보행자 유형을 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다.
신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.
한편, 전술한 바와 같은 기능을 수행하는 AI 프로세서(2100)는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.
메모리(2500)는 AI 장치의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(2500)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(2500)는 AI 프로세서(21)에 의해 액세스되며, AI 프로세서(21)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(25)는 본 발명의 일 실시 예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(26))을 저장할 수 있다.
AI 프로세서(2100)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(22)를 포함할 수 있다. 데이터 학습부(2200)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(2200)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.
데이터 학습부(2200)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(2200)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치에 탑재될 수도 있다. 또한, 데이터 학습부(2200)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.
데이터 학습부(2200)는 학습 데이터 획득부(2300) 및 모델 학습부(2400)를 포함할 수 있다.
학습 데이터 획득부(2300)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다. 예를 들어, 학습 데이터 획득부(2300)는 학습 데이터로서, 신경망 모델에 입력하기 위한 차량 데이터 및/또는 샘플 데이터를 획득할 수 있다.
모델 학습부(2400)는 상기 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(2400)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다.
모델 학습부(2400)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(2400)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(2400)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다. 신경망 모델이 학습되면, 모델 학습부(2400)는 학습된 신경망 모델을 메모리(2500)에 저장할 수 있다.
데이터 학습부(2200)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.
학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(24)가 이미지 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
또한, 학습 데이터 선택부는, 학습 데이터 획득부(2300)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(2400)에 제공될 수 있다. 예를 들어, 학습 데이터 선택부(2300)는, 지능형 전자 기기의 카메라를 통해 획득한 영상 중 특정 영역을 검출함으로써, 특정 영역에 포함된 객체에 대한 데이터만을 학습 데이터로 선택할 수 있다.
또한, 데이터 학습부(2200)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.
모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(22)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정되 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
통신부(2700)는 AI 프로세서(2100)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 상기 외부 전자 기기는, 자율주행 차량, 로봇, 드론, AR 기기, 모바일 기기, 가전 기기 등을 포함할 수 있다.
일 예로 상기 외부 전자 기기가 자율주행 차량인 경우 상기 AI 장치(20)는 상기 자율 주행 모듈 차량과 통신하는 다른 차량 또는 5G 네트워크로 정의될 수 있다. 한편, 상기 AI 장치(20)는 차량 내에 구비된 자율주행 모듈에 기능적으로 임베딩되어 구현될 수도 있다. 또한, 상기 5G 네트워크는 자율 주행 관련 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
AI 프로세서(2100)는 데이터 학습부(2200)를 이용하여 보행자 이미지를 분석한 결과를 바탕으로 보행자 유형과, 보행자의 도로 횡단 예상 시간을 추정할 수 있다.
한편, 도 24에 도시된 서버(2000)의 AI 장치는 AI 프로세서(2100)와 메모리(2500), 통신부(2700) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀둔다.
본 발명의 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법은 다음과 같이 설명될 수 있다.
본 발명의 자율 주행 차량은 보행자를 촬영하는 카메라; 상기 보행자가 휴대한 보행자 단말기로부터 수신된 신호를 바탕으로 보행자 위치를 인식하고, 상기 카메라에 의해 촬영된 이미지를 분석하여 상기 보행자의 유형을 판정하고, 상기 보행자의 유형을 포함한 보행자 정보를 통신 장치를 통해 타 차량으로 전송하는 제어부; 및 상기 제어부의 제어 하에 상기 보행자의 인식 후에 주행 속도를 감속하는 브레이크 구동부를 포함한다.
상기 제어부는 학습 결과를 바탕으로 상기 보행자의 유형을 판정한다.
상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함한다.
상기 제어부는 상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정한다.
상기 제어부는 상기 보행자의 횡단 예상 시간을 상기 통신 장치를 통해 타 차량들로 전송한다.
상기 제어부는 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단한다.
상기 자율 주행 차량은 상기 제어부의 제어 하에 보행 안내 정보를 출력하는 디스플레이를 더 포함한다. 상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함한다.
상기 제어부는 상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송한다.
본 발명의 보행자 안내 시스템은 보행자 단말기; 및 상기 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하고, 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 하나 이상의 자율 주행 차량들을 포함한다. 상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함한다. 상기 보행자 정보가 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생된다.
상기 제어부 또는 상기 서버는 학습 결과를 바탕으로 상기 보행자의 유형을 판정하는 AI 장치를 포함한다.
상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함한다.
상기 제어부 또는 상기 서버는 상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정한다.
상기 제어부는 상기 보행자의 횡단 예상 시간을 통신 장치를 통해 타 차량들로 전송하는 자율 주행 차량을 이용한다.
상기 제어부는 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단한다.
상기 차량은 상기 제어부의 제어 하에 보행 안내 정보를 출력하는 디스플레이를 더 포함한다. 상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함한다. 상기 제어부는 상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송한다.
상기 제어부 또는 상기 서버는 상기 보행자와 가장 가까운 차량을 탐색한다. 상기 보행자와 가장 가까운 차량이 상기 제어부의 제어 하에 보행 안내 정보를 출력한다. 상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함한다.
상기 보행자를 인식한 차량의 제어부는 상기 보행자 이미지를 학습 결과를 바탕으로 분석하여 상기 보행자의 유형을 판정하여 상기 보행자 유형 정보를 발생한다. 상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 발생한다. 상기 보행자 유형 정보와 상기 횡단 예상 시간을 상기 타 차량으로 전송한다. 상기 타 차량의 제어부는 상기 보행자의 유형과 상기 횡단 예상 시간 정보를 수신 받아 감속, 주행 지속 여부를 판단하여 상기 보행자를 인식한 차량으로 전송한다.
본 발명의 보행자 안내 방법은 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하는 단계; 및 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 단계를 포함한다. 상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함한다. 상기 보행자 정보가 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생된다.
상기 보행자 안내 방법은 학습 결과를 바탕으로 상기 보행자의 유형을 판정하는 단계를 더 포함한다.
상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함한다.
상기 보행자 안내 방법은 상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정하여 상기 타 차량으로 전송하는 단계를 더 포함한다.
상기 보행자 안내 방법은 상기 보행자의 횡단 예상 시간을 통신 장치를 통해 상기 타 차량으로 전송하는 단계를 더 포함한다.
상기 보행자 안내 방법은 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단하는 단계를 더 포함한다.
상기 보행자 안내 방법은 하나 이상의 차량에서 보행 안내 정보를 출력하는 단계를 더 포함한다. 상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함하고 상기 차량의 디스플레이에 표시된다.
상기 보행자 안내 방법은 상기 보행자의 이동 방향을 따라 상기 차량들에 표시되는 보행 안내 정보의 표시 위치를 이동하는 단계를 더 포함한다.
상기 보행자 안내 방법은 상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송하는 단계를 더 포함한다.
상기 보행자 안내 방법은 상기 보행자와 가장 가까운 차량을 탐색하는 단계; 및 상기 보행자와 가장 가까운 차량의 디스플레이에 상기 보행 안내 정보를 출력하는 단계를 더 포함한다.
본 발명은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 명세서의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명은 청구 범위의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
상술한 실시 예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 보행자를 촬영하는 카메라;
    상기 보행자가 휴대한 보행자 단말기로부터 수신된 신호를 바탕으로 보행자 위치를 인식하고,상기 보행자와의 거리에 따라 구획된 반경 구간 정보를 획득하고, 상기 카메라에 의해 촬영된 이미지를 분석하여 상기 보행자의 유형을 판정하고, 상기 보행자의 유형을 포함한 보행자 정보를 통신 장치를 통해 타 차량으로 전송하는 제어부; 및
    상기 제어부의 제어 하에 상기 보행자의 인식 후에 상기 보행자 정보 및 상기 반경 구간 정보에 기초하여 주행 속도를 감속하는 브레이크 구동부를 포함하는 자율 주행 차량.
  2. 제 1 항에 있어서,
    상기 반경 구간 정보는,
    상기 보행자의 위치를 중심으로 둘 이상의 구간으로 구획된 반경 구간과 관련된 정보인 것을 특징으로 하는 자율 주행 차량.
  3. 제 1 항에 있어서,
    상기 제어부는 학습 결과를 바탕으로 상기 보행자의 유형을 판정하고,
    상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함하는 자율 주행 차량.
  4. 제 1 항에 있어서,
    상기 제어부가,
    상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정하는 자율 주행 차량.
  5. 제 4 항에 있어서,
    상기 제어부는 상기 보행자의 횡단 예상 시간을 상기 통신 장치를 통해 타 차량들로 전송하는 자율 주행 차량.
  6. 제 1 항에 있어서,
    상기 제어부는 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단하는 자율 주행 차량.
  7. 제 1 항에 있어서,
    상기 제어부의 제어 하에 보행 안내 정보를 출력하는 디스플레이를 더 포함하고,
    상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함하는 자율 주행 차량.
  8. 제 7 항에 있어서,
    상기 제어부가,
    상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송하는 자율 주행 차량.
  9. 보행자 단말기; 및
    상기 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하고, 상기 보행자를 지시하는 보행자 정보 및 상기 보행자와의 거리에 따라 구획된 반경 구간 정보를 타 차량으로 전송하는 하나 이상의 자율 주행 차량들을 포함하고,
    상기 보행자를 인식한 이후, 상기 보행자 정보 및 상기 반경 구간 정보에 기초하여 주행 속도 감속을 결정하되,
    상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함하고,
    상기 보행자 정보 및 상기 반경 구간 정보가 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생되는 자율 주행 차량을 이용한 보행자 안내 시스템.
  10. 제 9 항에 있어서,
    상기 반경 구간 정보는,
    상기 보행자의 위치를 중심으로 둘 이상의 구간으로 구획된 반경 구간과 관련된 정보인 것을 특징으로 하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  11. 제 9 항에 있어서,
    상기 제어부 또는 상기 서버가,
    학습 결과를 바탕으로 상기 보행자의 유형을 판정하는 AI 장치를 포함하고,
    상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  12. 제 9 항에 있어서,
    상기 제어부 또는 상기 서버가,
    상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  13. 제 12 항에 있어서,
    상기 제어부는 상기 보행자의 횡단 예상 시간을 통신 장치를 통해 타 차량들로 전송하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  14. 제 9 항에 있어서,
    상기 제어부는 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  15. 제 9 항에 있어서,
    상기 차량은
    상기 제어부의 제어 하에 보행 안내 정보를 출력하는 디스플레이를 더 포함하고,
    상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  16. 제 15 항에 있어서,
    상기 제어부가,
    통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  17. 제 9 항에 있어서,
    상기 제어부 또는 상기 서버가,
    상기 보행자와 가장 가까운 차량을 탐색하고,
    상기 보행자와 가장 가까운 차량이 상기 제어부의 제어 하에 보행 안내 정보를 출력하고,
    상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  18. 제 9 항에 있어서,
    상기 보행자를 인식한 차량의 제어부가,
    상기 보행자 이미지를 학습 결과를 바탕으로 분석하여 상기 보행자의 유형을 판정하여 상기 보행자 유형 정보를 발생하고,
    상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 발생하고,
    상기 보행자 유형 정보와 상기 횡단 예상 시간을 상기 타 차량으로 전송하고,
    상기 타 차량의 제어부가,
    상기 보행자의 유형과 상기 횡단 예상 시간 정보를 수신 받아 감속, 주행 지속 여부를 판단하여 상기 보행자를 인식한 차량으로 전송하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  19. 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하는 단계; 및
    상기 보행자와의 거리에 따라 구획된 반경 구간 정보를 수신하고,
    상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 단계를 포함하고,
    상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함하고,
    상기 보행자 유형 정보 및 상기 반경 구간 정보에 기초하여 주행 속도 감속을 결정하고,
    상기 보행자 정보 및 상기 반경 구간 정보가 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생되는 자율 주행 차량을 이용한 보행자 안내 방법.
  20. 제 19 항에 있어서,
    상기 반경 구간 정보는,
    상기 보행자의 위치를 중심으로 둘 이상의 구간으로 구획된 반경 구간과 관련된 정보인 것을 특징으로 하는 자율 주행 차량을 이용한 보행자 안내 방법.
KR1020197019214A 2019-05-09 2019-05-09 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법 KR102267331B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/095006 WO2020226258A1 (ko) 2019-05-09 2019-05-09 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200128480A KR20200128480A (ko) 2020-11-13
KR102267331B1 true KR102267331B1 (ko) 2021-06-22

Family

ID=73051482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197019214A KR102267331B1 (ko) 2019-05-09 2019-05-09 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법

Country Status (3)

Country Link
US (1) US20210078598A1 (ko)
KR (1) KR102267331B1 (ko)
WO (1) WO2020226258A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039940B2 (ja) * 2017-11-09 2022-03-23 トヨタ自動車株式会社 車両制御装置
EP3793191A4 (en) * 2018-05-08 2021-04-14 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, MOTION MACHINE, METHOD AND PROGRAM
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US20210005085A1 (en) * 2019-07-03 2021-01-07 Cavh Llc Localized artificial intelligence for intelligent road infrastructure
US11698639B2 (en) * 2020-06-04 2023-07-11 Waymo Llc Predicting jaywalking behaviors of vulnerable road users
US11396271B2 (en) * 2020-06-18 2022-07-26 Ford Global Technologies, Llc System and method for communicating between autonomous vehicle and vulnerable road users
JP7351805B2 (ja) * 2020-07-01 2023-09-27 トヨタ自動車株式会社 情報処理方法、プログラム、車載装置及び車両
CN112298211A (zh) * 2020-11-19 2021-02-02 北京清研宏达信息科技有限公司 一种基于5g分级决策的自动驾驶行人让行方案
KR102568270B1 (ko) * 2021-01-11 2023-08-21 한양대학교 에리카산학협력단 자율주행 차량의 보행자 소통 시스템
US11934198B2 (en) * 2021-03-11 2024-03-19 6 River Systems, Llc Systems and methods for autonomous vehicle operation
US11417224B1 (en) 2021-08-19 2022-08-16 Beta Air, Llc System and method for pilot assistance in an electric aircraft
CN117132863B (zh) * 2023-10-25 2023-12-22 罗普特科技集团股份有限公司 一种能够进行数据反馈的车辆系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327177A (ja) * 2004-05-17 2005-11-24 Fujitsu Ten Ltd 車両間衝突防止支援システムおよび車両間衝突防止支援装置
JP2008065482A (ja) * 2006-09-05 2008-03-21 Mazda Motor Corp 車両用運転支援システム
JP2008287678A (ja) * 2007-05-21 2008-11-27 Toyota Motor Corp 歩行者横断支援装置、車載装置、タグ装置
JP2013174540A (ja) * 2012-02-27 2013-09-05 Mitsubishi Electric Corp 経路探索装置
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
JP2014232501A (ja) * 2013-05-30 2014-12-11 日産自動車株式会社 交通情報提供装置及び交通情報提供方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130112218A (ko) * 2012-04-03 2013-10-14 자동차부품연구원 보행자 충돌방지 시스템
KR101393921B1 (ko) * 2012-05-31 2014-05-12 현대자동차주식회사 차량간 통신을 이용한 장애물 감지 장치 및 방법
KR101511858B1 (ko) * 2013-11-04 2015-04-13 현대오트론 주식회사 보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법
KR20170069645A (ko) * 2015-12-11 2017-06-21 이춘걸 보행자 추돌 방지 시스템 및 이의 실행 방법
JP6593893B2 (ja) * 2018-05-31 2019-10-23 みこらった株式会社 携帯端末、自動車及び通信システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327177A (ja) * 2004-05-17 2005-11-24 Fujitsu Ten Ltd 車両間衝突防止支援システムおよび車両間衝突防止支援装置
JP2008065482A (ja) * 2006-09-05 2008-03-21 Mazda Motor Corp 車両用運転支援システム
JP2008287678A (ja) * 2007-05-21 2008-11-27 Toyota Motor Corp 歩行者横断支援装置、車載装置、タグ装置
JP2013174540A (ja) * 2012-02-27 2013-09-05 Mitsubishi Electric Corp 経路探索装置
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
JP2014232501A (ja) * 2013-05-30 2014-12-11 日産自動車株式会社 交通情報提供装置及び交通情報提供方法

Also Published As

Publication number Publication date
WO2020226258A1 (ko) 2020-11-12
US20210078598A1 (en) 2021-03-18
KR20200128480A (ko) 2020-11-13

Similar Documents

Publication Publication Date Title
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
US10719084B2 (en) Method for platooning of vehicles and vehicle using same
JP6773040B2 (ja) 情報処理システム、および情報処理システムの情報処理方法、情報処理装置、並びにプログラム
KR102498091B1 (ko) 운전 제어 장치 및 운전 제어 방법, 그리고 프로그램
US20190391582A1 (en) Apparatus and method for controlling the driving of a vehicle
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US11608060B1 (en) Speed planning for autonomous vehicles
US11292494B2 (en) Apparatus and method for determining levels of driving automation
CN111587197A (zh) 利用驾驶模式识别来调节电动车辆的动力总成
US20210116930A1 (en) Information processing apparatus, information processing method, program, and mobile object
KR20210050925A (ko) 차량 충돌 회피 장치 및 방법
EP3460402A1 (en) Method for controlling operation system of a vehicle
KR20190106845A (ko) 자율 주행 차량의 탑승자 인식 및 승하차 지원 장치 및 방법
US20220348217A1 (en) Electronic apparatus for vehicles and operation method thereof
KR102209421B1 (ko) 자율 주행 차량과 이를 이용한 주행 제어 시스템 및 방법
KR102310782B1 (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
US20190276044A1 (en) User interface apparatus for vehicle and vehicle including the same
KR20140020230A (ko) 검출된 물체의 행동을 예측하기 위한 시스템 및 방법
KR20190110964A (ko) 탑승자 유형 검출 장치 및 방법
KR20190086406A (ko) 광고 구간 설정 장치 및 방법
KR20190038055A (ko) 차량 주행 제어 장치 및 차량 주행 방법
WO2023069250A1 (en) Vehicle door interface interactions
KR20190106903A (ko) 관심 정보 수집 장치 및 방법
US20210334904A1 (en) Insurance guidance system and method for autonomous vehicle
US20210055116A1 (en) Get-off point guidance method and vehicular electronic device for the guidance

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant