WO2020226258A1 - 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법 - Google Patents

자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법 Download PDF

Info

Publication number
WO2020226258A1
WO2020226258A1 PCT/KR2019/095006 KR2019095006W WO2020226258A1 WO 2020226258 A1 WO2020226258 A1 WO 2020226258A1 KR 2019095006 W KR2019095006 W KR 2019095006W WO 2020226258 A1 WO2020226258 A1 WO 2020226258A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
vehicle
information
driving
control unit
Prior art date
Application number
PCT/KR2019/095006
Other languages
English (en)
French (fr)
Inventor
김소령
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020197019214A priority Critical patent/KR102267331B1/ko
Priority to US16/484,746 priority patent/US20210078598A1/en
Priority to PCT/KR2019/095006 priority patent/WO2020226258A1/ko
Publication of WO2020226258A1 publication Critical patent/WO2020226258A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/0032—Position of passenger
    • B60R2021/0037—Position of passenger standing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Definitions

  • the present invention relates to an autonomous vehicle, and more particularly, to a pedestrian guidance system and method for recognizing a pedestrian who wants to cross a road by predicting a pedestrian state and behavior.
  • Autonomous vehicles can operate by themselves without driver intervention. Many companies have already entered the autonomous vehicle business and are focusing on research and development.
  • Autonomous vehicles can support an automatic parking service that finds and parks an empty space without driver intervention.
  • the autonomous vehicle can recognize pedestrians around the vehicle and avoid collisions with pedestrians. Although such pedestrian recognition technology has been applied to autonomous vehicles, there are still concerns about collisions with pedestrians around the vehicle.
  • the guarantor is susceptible to unexpected accidents because all vehicles in the lane are not visible. Walking speed may vary depending on pedestrian conditions. But. Autonomous vehicle technology does not predict the time a pedestrian crosses the road, taking into account the state of the pedestrian. For example, the time for walking vulnerable people such as infants, pregnant women, the disabled, and the elderly to cross the crosswalk is longer than that of young adults, but the existing signal system does not reflect the state of the pedestrian and applies the signal switching time uniformly. Pedestrians rely solely on traffic lights for their own safety as they cross the road.
  • An autonomous driving vehicle for achieving the above object includes a camera for photographing a pedestrian; Based on the signal received from the pedestrian terminal carried by the pedestrian, the pedestrian position is recognized, the image captured by the camera is analyzed to determine the type of the pedestrian, and the pedestrian information including the type of the pedestrian is transmitted to a communication device.
  • a pedestrian guidance system includes a pedestrian terminal; And one or more autonomous vehicles that recognize a pedestrian based on a signal received from the pedestrian terminal and transmit pedestrian information indicating the pedestrian to other vehicles.
  • the pedestrian information includes pedestrian type information obtained based on a pedestrian image captured by a camera.
  • the pedestrian information is generated by a control unit of the vehicle or a server that communicates with the vehicle through a network.
  • a pedestrian guidance method includes the steps of recognizing a pedestrian based on a signal received from a pedestrian terminal; And transmitting pedestrian information indicating the pedestrian to another vehicle.
  • the pedestrian information includes pedestrian type information obtained based on a pedestrian image captured by a camera.
  • the pedestrian information is generated by a control unit of the vehicle or a server that communicates with the vehicle through a network.
  • a vehicle invisible to a pedestrian recognizes a pedestrian using inter-vehicle communication, and vehicles traveling on this road without blind spots for pedestrians in a multi-lane road share pedestrian information, thereby preventing a collision with a pedestrian.
  • the present invention can improve the sense of stability of the pedestrian by guiding the pedestrian whether the vehicle can walk.
  • a collision between a vehicle and a pedestrian can be prevented by showing the walkable information in the nearest place to a pedestrian.
  • the present invention can increase the degree of safety in using a pedestrian crossing by predicting a pedestrian's crossing time in consideration of the state of the pedestrian.
  • the present invention recognizes the location of a pedestrian received through a pedestrian terminal, and determines the type of pedestrian in an autonomous vehicle or server. According to the present invention, by transmitting the type of pedestrian to other vehicles, the driving speed of vehicles that are close to the pedestrian can be slowed, thereby improving the pedestrian safety when crossing the road.
  • the present invention estimates the estimated crossing time when a pedestrian crosses a road according to the type of pedestrian and transmits it to other vehicles.
  • the other vehicle responds to the pedestrian-recognized vehicle by determining whether the pedestrian type and the estimated crossing time information is received and whether the deceleration or driving continues.
  • the pedestrian-recognized vehicle determines whether a pedestrian can cross the road and the degree of safety of a pedestrian when crossing the road based on the received vehicle entry information (whether driving continues).
  • Vehicles in the lane closest to the pedestrian or the lane in the direction of the pedestrian's progress output walking guide information on a display that is easily visible to the pedestrian to guide pedestrians to cross the road safely.
  • a guide mark may move along the front of the vehicle as the pedestrian guide information display position progresses in the direction of movement of the pedestrian.
  • the vehicle monitors the pedestrian condition in real time and adjusts the estimated time of pedestrian crossing when a change in the pedestrian's condition, which causes a change in the pedestrian's moving speed in the process of crossing the road, is re-notified to other vehicles. To be able to cope with the change in the moving speed of the vehicle properly.
  • the pedestrian terminal may output walking guide information received from the vehicle to the pedestrian.
  • 1 shows an example of a basic operation of an autonomous vehicle and a 5G network in a 5G communication system.
  • FIG. 2 shows an example of an application operation of an autonomous vehicle and a 5G network in a 5G communication system.
  • 3 to 6 show an example of an operation of an autonomous vehicle using 5G communication.
  • FIG. 7 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 8 is a view of a vehicle according to an exemplary embodiment of the present invention as viewed from various external angles.
  • FIG. 9 and 10 are views showing the interior of a vehicle according to an embodiment of the present invention.
  • 11 and 12 are diagrams showing examples of objects related to driving of a vehicle according to an embodiment of the present invention.
  • FIG. 13 is a block diagram showing in detail a vehicle according to an embodiment of the present invention.
  • FIG. 14 is a diagram showing V2X communication.
  • 15 is a view showing a walking guidance system according to an embodiment of the present invention.
  • 16 is a flowchart showing step by step a control procedure of a walking guide method according to an embodiment of the present invention.
  • 17A and 17B are diagrams illustrating a walking guide method shown in FIG. 16.
  • FIG. 18 is a diagram showing an example of a deceleration section.
  • 19A to 20B are diagrams illustrating an example in which a vehicle close to a pedestrian outputs walking guide information when a pedestrian crosses a road.
  • 21 is a diagram illustrating an example of walking guide information output on a display of a pedestrian terminal.
  • 22 is a flowchart illustrating a method of recognizing a pedestrian and determining a pedestrian in detail.
  • FIG. 23 is a flowchart showing a walking guide method according to a change in pedestrian state.
  • 24 is a diagram showing an embodiment of determining a pedestrian type in a server.
  • 1 shows an example of a basic operation of an autonomous vehicle and a 5G network in a 5G communication system.
  • the autonomous vehicle transmits specific information transmission to the 5G network (S1).
  • the specific information may include autonomous driving related information.
  • the autonomous driving related information may be information directly related to driving control of the vehicle.
  • the autonomous driving related information may include one or more of object data indicating objects around the vehicle, map data, vehicle state data, vehicle location data, and driving plan data. .
  • the autonomous driving related information may further include service information necessary for autonomous driving.
  • the specific information may include pedestrian information such as a type of pedestrian, a location of a pedestrian, an estimated time for a pedestrian to cross a road, and a walking direction.
  • the 5G network may determine whether to remotely control the vehicle (S2).
  • the 5G network may include a server or module that performs remote control related to autonomous driving.
  • the 5G network may transmit information (or signals) related to remote control to the autonomous vehicle (S3).
  • the information related to the remote control may be a signal directly applied to the autonomous vehicle, and further may further include service information required for autonomous driving.
  • the autonomous vehicle may transmit and receive pedestrian information to and from other vehicles through the 5G network, and may decelerate and stop based on the pedestrian information. Autonomous vehicles close to pedestrians output walking guidance to pedestrians when pedestrians cross the road.
  • an essential process for 5G communication between an autonomous vehicle and a 5G network (for example, an initial access procedure between a vehicle and a 5G network, etc. ) Is outlined.
  • FIG. 2 shows an example of an application operation of an autonomous vehicle and a 5G network in a 5G communication system.
  • the autonomous vehicle performs an initial access procedure with the 5G network (S20).
  • the initial access procedure includes a cell search for obtaining a downlink (DL) operation, a process of obtaining system information, and the like.
  • the autonomous vehicle performs a random access procedure with the 5G network (S21).
  • the random access process includes a preamble transmission for uplink (UL) synchronization or UL data transmission, a random access response reception process, and the like. And, the 5G network transmits a UL grant for scheduling transmission of specific information to the autonomous vehicle (S22).
  • UL uplink
  • S22 autonomous vehicle
  • the UL Grant reception includes a process of receiving time/frequency resource scheduling for transmission of UL data to a 5G network.
  • the autonomous vehicle transmits specific information to the 5G network based on the UL grant (S23).
  • the 5G network determines whether to remotely control the vehicle (S24).
  • the autonomous vehicle receives a DL grant through a physical downlink control channel in order to receive a response to specific information from the 5G network (S25).
  • the 5G network transmits information (or signals) related to remote control to the autonomous vehicle based on the DL grant (S26).
  • FIG. 3 an example in which the initial access process of the autonomous vehicle and 5G communication and the random access process and the downlink grant reception process are combined is exemplarily described through the processes of S20 to S26, but the present invention is not limited thereto. Does not.
  • the initial access process and/or the random access process may be performed through the processes S20, S22, S23, and S24.
  • the initial access process and/or the random access process may be performed through the processes S21, S22, S23, S24, and S26.
  • a process in which the AI operation and the downlink grant reception process are combined may be performed through S23, S24, S25, and S26.
  • S20, S21, S22, S25 may be selectively combined with S23 and S26 to operate.
  • the autonomous driving vehicle operation may be performed in S21, S22, S23, It may be configured with S26.
  • the autonomous vehicle operation may include S20, S21, S23, and S26.
  • the autonomous vehicle operation may include S22, S23, S25, and S26.
  • 3 to 6 show an example of an autonomous vehicle operation using 5G communication.
  • an autonomous driving vehicle including an autonomous driving module performs an initial access procedure with a 5G network based on a synchronization signal block (SSB) in order to obtain DL synchronization and system information (S30).
  • SSB synchronization signal block
  • the autonomous vehicle performs a random access procedure with the 5G network to acquire UL synchronization and/or transmit UL (S31).
  • the autonomous vehicle receives a UL grant through the 5G network to transmit specific information (S32).
  • the autonomous vehicle transmits specific information to the 5G network based on the UL grant (S33).
  • the autonomous vehicle receives a DL grant for receiving a response to specific information from the 5G network (S34).
  • the autonomous vehicle receives information (or signals) related to remote control from the 5G network based on the DL grant (S35).
  • a beam management (BM) process may be added to S30, and a beam failure recovery process related to PRACH (physical random access channel) transmission may be added to S31, and a UL grant is included in S32.
  • a QCL relationship may be added in relation to the beam reception direction of the PDCCH, and the QCL relationship addition is added in relation to the beam transmission direction of a physical uplink control channel (PUCCH)/physical uplink shared channel (PUSCH) including specific information in S33. Can be.
  • a QCL relationship may be added to S34 in relation to the beam reception direction of the PDCCH including the DL grant.
  • the autonomous vehicle performs an initial access procedure with a 5G network based on SSB in order to acquire DL synchronization and system information (S40).
  • the autonomous vehicle performs a random access procedure with the 5G network to acquire UL synchronization and/or transmit UL (S41).
  • the autonomous vehicle transmits specific information to the 5G network based on a configured grant (S42).
  • the autonomous vehicle receives information (or signals) related to the remote control from the 5G network based on the set grant (S43).
  • the autonomous vehicle performs an initial access procedure with a 5G network based on SSB in order to obtain DL synchronization and system information (S50).
  • the autonomous vehicle performs a random access procedure with a 5G network to obtain UL synchronization and/or transmit UL (S51).
  • the autonomous vehicle receives a DownlinkPreemption IE from the 5G network (S52).
  • the autonomous vehicle receives DCI format 2_1 including a preemption indication from the 5G network based on the DownlinkPreemption IE (S53).
  • the autonomous driving vehicle does not perform (or expect or assume) reception of eMBB data in the resource (PRB and/or OFDM symbol) indicated by the pre-emption indication (S54).
  • the autonomous vehicle receives a UL grant through the 5G network to transmit specific information (S55).
  • the autonomous vehicle transmits specific information to the 5G network based on the UL grant (S56).
  • the autonomous vehicle receives a DL grant for receiving a response to specific information from the 5G network (S57).
  • the autonomous vehicle receives information (or signals) related to remote control from the 5G network based on the DL grant (S58).
  • the autonomous vehicle performs an initial access procedure with a 5G network based on SSB in order to obtain DL synchronization and system information (S60).
  • the autonomous vehicle performs a random access procedure with the 5G network to acquire UL synchronization and/or transmit UL (S61).
  • the autonomous vehicle receives a UL grant through the 5G network to transmit specific information (S62).
  • the UL grant includes information on the number of repetitions for transmission of the specific information, and the specific information is repeatedly transmitted based on the information on the number of repetitions (S63).
  • the autonomous vehicle transmits specific information to the 5G network based on the UL grant.
  • repetitive transmission of specific information may be performed through frequency hopping, transmission of first specific information may be transmitted in a first frequency resource, and transmission of second specific information may be transmitted in a second frequency resource.
  • the specific information may be transmitted through a narrowband of 6RB (Resource Block) or 1RB (Resource Block).
  • the autonomous vehicle receives a DL grant for receiving a response to specific information from the 5G network (S64).
  • the autonomous vehicle receives information (or signals) related to remote control from the 5G network based on the DL grant (S65).
  • the above salpin 5G communication technology may be applied in combination with the methods proposed in the present specification to be described later in FIGS. 7 to 24, or may be supplemented to specify or clarify the technical characteristics of the methods proposed in the present specification.
  • the vehicle described in the present specification is connected to an external server through a communication network, and can move along a preset route without driver intervention using autonomous driving technology.
  • the communication network may include the 5G network described above.
  • the vehicle of the present invention may be implemented as an internal combustion engine vehicle including an engine as a power source, a hybrid vehicle including an engine and an electric motor as a power source, and an electric vehicle including an electric motor as a power source.
  • a pedestrian means a person who carries a pedestrian terminal and wants to cross a road.
  • the user may be the driver or occupant of the vehicle.
  • the pedestrian terminal may be a terminal, for example, a smart phone, which is portable by a pedestrian and capable of transmitting location information and transmitting and receiving signals from a vehicle and/or an external device through a communication network.
  • the autonomous vehicle of the present invention and at least one of the servers are artificial intelligence (Artificial Intelligence) modules, drones (Unmanned Aerial Vehicles, UAVs), robots, Augmented Reality (AR) devices, virtual reality (VR), It can be linked or converged with devices related to 5G service.
  • Artificial Intelligence Artificial Intelligence
  • UAVs Unmanned Aerial Vehicles
  • AR Augmented Reality
  • VR virtual reality
  • an autonomous vehicle may operate in conjunction with at least one artificial intelligence (AI) module, a robot, or the like included in the vehicle.
  • AI artificial intelligence
  • the vehicle may interact with at least one robot.
  • the robot may be an Autonomous Mobile Robot (AMR) capable of driving by magnetic force.
  • AMR Autonomous Mobile Robot
  • the mobile robot is capable of moving by itself and is free to move, and is provided with a plurality of sensors to avoid obstacles while driving, so that it can travel avoiding obstacles.
  • the mobile robot may be a flying robot (eg, a drone) having a flying device.
  • the mobile robot may be a wheel-type robot that includes at least one wheel and is moved through rotation of the wheel.
  • the mobile robot may be a legged robot that has at least one leg and is moved using the leg.
  • the robot may function as a device that complements the convenience of a vehicle user.
  • the robot may perform a function of moving luggage loaded in a vehicle to a user's final destination.
  • the robot may perform a function of guiding a user who gets off the vehicle to a final destination.
  • the robot may perform a function of transporting a user who gets off the vehicle to a final destination.
  • At least one electronic device included in the vehicle may communicate with the robot through a communication device.
  • At least one electronic device included in the vehicle may provide the robot with data processed by at least one electronic device included in the vehicle.
  • at least one electronic device included in the vehicle may include at least one of object data indicating objects around the vehicle, map data, vehicle state data, vehicle location data, and driving plan data. Either can be provided to the robot.
  • At least one electronic device included in the vehicle may receive data processed by the robot from the robot. At least one electronic device included in the vehicle may receive at least one of sensing data generated by the robot, object data, robot state data, robot position data, and movement plan data of the robot.
  • At least one electronic device included in the vehicle may generate a control signal further based on data received from the robot. For example, at least one electronic device included in the vehicle may compare information on an object generated in the object detection device with information on an object generated by the robot, and generate a control signal based on the comparison result. I can. At least one electronic device included in the vehicle may generate a control signal so that interference between the movement path of the vehicle and the movement path of the robot does not occur.
  • At least one electronic device included in the vehicle may include a software module or a hardware module (hereinafter, referred to as an artificial intelligence module) that implements artificial intelligence (AI). At least one electronic device included in the vehicle may input acquired data to an artificial intelligence module and use data output from the artificial intelligence module.
  • an artificial intelligence module that implements artificial intelligence (AI).
  • At least one electronic device included in the vehicle may input acquired data to an artificial intelligence module and use data output from the artificial intelligence module.
  • the artificial intelligence module may perform machine learning on input data using at least one artificial neural network (ANN).
  • ANN artificial neural network
  • the artificial intelligence module may output driving plan data through machine learning on input data.
  • At least one electronic device included in the vehicle may generate a control signal based on data output from the artificial intelligence module.
  • At least one electronic device included in a vehicle may receive data processed by artificial intelligence from an external device through a communication device. At least one electronic device included in the vehicle may generate a control signal based on data processed by artificial intelligence.
  • the overall length is the length from the front part to the rear part of the vehicle 100
  • the width is the width of the vehicle 100
  • the height is from the lower part of the wheel to the roof.
  • the overall length direction (L) is a direction used as a reference for measuring the overall length of the vehicle 100
  • the full width direction (W) is a direction used as a reference for measuring the overall width of the vehicle 100
  • the overall height direction H is the vehicle ( It can mean the direction that is the standard for measuring the total height of 100).
  • the vehicle is illustrated in the form of a sedan, but is not limited thereto.
  • the vehicle 100 may be remotely controlled by an external device.
  • External devices can be interpreted as servers.
  • the server may perform remote control of the vehicle 100.
  • the driving mode of the vehicle 100 may be divided into a manual mode, an autonomous driving mode, or a remote control mode according to a subject controlling the vehicle 100.
  • the manual mode the driver can control the vehicle driving by directly controlling the vehicle.
  • the autonomous driving mode the controller 170 or the driving system 700 may control the driving of the vehicle 100 without driver intervention.
  • the remote control mode an external device may control the driving of the vehicle 100 without driver intervention.
  • the user may select one of an autonomous driving mode, a manual mode, and a remote control mode through the user interface device 200.
  • the vehicle 100 may automatically switch to one of an autonomous driving mode, a manual mode, and a remote control mode based on at least one of driver status information, vehicle driving information, and vehicle status information.
  • the driver status information may be generated through the user interface device 200 and provided to the controller 170.
  • the driver status information may be generated based on an image or biometric information about the driver detected through the internal camera 220 or the biometric sensor 230.
  • the driver's state information may include driver's gaze, facial expressions, behavior, driver position information, etc. obtained from an image acquired through the internal camera 220.
  • the driver state information may include the user's biometric information acquired through the biometric sensor 230.
  • the driver state information may indicate a direction in which the driver's gaze is directed, whether the driver is drowsy, a driver's health state, and an emotional state of the driver.
  • Vehicle driving information includes location information of the vehicle 100, attitude information of the vehicle 100, information about the other vehicle OB11 received from the other vehicle OB11, information about the driving route of the vehicle 100, or map information. It may include navigation information including (map).
  • the vehicle driving information includes the current location of the vehicle 100 on the route to the destination, the type, location, and movement of objects existing around the vehicle 100, the presence or absence of a lane detected around the vehicle 100, etc. I can.
  • the vehicle driving information includes driving information of another vehicle OB11, a space available for stopping around the vehicle 100, the possibility of a collision between a vehicle and an object, pedestrian or bicycle information detected in the vicinity of the vehicle 100, and road information. , It may represent a signal state around the vehicle 100, a movement of the vehicle 100, and the like.
  • Vehicle driving information is generated through linkage with at least one or more of the object detection device 300, the communication device 400, the navigation system 770, the sensing unit 120, and the interface unit 130, and the control unit 170 ) Can be provided.
  • the vehicle status information may be information related to the status of various devices included in the vehicle 100.
  • the vehicle state information may include a state of charge of a battery, a user interface device 200, an object detection device 300, a communication device 400, a driving operation device 500, a vehicle driving device 600, and a driving system ( 700) may include information on the operation state and information on whether each device is abnormal.
  • Vehicle status information is whether a GPS (Global Positioning System) signal of the vehicle 100 is normally received, whether an abnormality occurs in at least one sensor provided in the vehicle 100, and each device provided in the vehicle 100 operates normally. Can indicate whether or not.
  • GPS Global Positioning System
  • the control mode of the vehicle 100 is switched from a manual mode to an autonomous driving mode or a remote control mode, or from an autonomous driving mode to a manual mode or a remote control mode, or It can be switched from remote control mode to manual mode or autonomous driving mode.
  • the control mode of the vehicle 100 may be switched from a manual mode to an autonomous driving mode or may be switched from an autonomous driving mode to a manual mode based on information received through the communication device 400.
  • the control mode of the vehicle 100 may be switched from a manual mode to an autonomous driving mode or may be switched from an autonomous driving mode to a manual mode based on information, data, and signals provided from an external device (or server).
  • the vehicle 100 When the vehicle 100 is operated in the autonomous driving mode, the vehicle 100 may be driven under the control of the driving system 700. In the autonomous driving mode, the vehicle 100 may be driven based on information generated by the driving system 710, the exit system 740, and the parking system 750.
  • the vehicle 100 When the vehicle 100 is operated in the manual mode, the vehicle 100 may be driven according to a user input input through the driving operation device 500.
  • the vehicle 100 When the vehicle 100 is operated in the remote control mode, the vehicle 100 may receive a remote control signal transmitted from an external device through the communication device 400. The vehicle 100 may be controlled in response to a remote control signal.
  • the vehicle 100 includes a user interface device 200, an object detection device 300, a communication device 400, a driving operation device 500, a vehicle driving device 600, and a driving system 700. , A navigation system 770, a sensing unit 120, an interface unit 130, a memory 140, a control unit 170, and a power supply unit 190.
  • the user interface device 200 is a device for communicating with the vehicle 100 and a user.
  • the user interface device 200 may receive a user input and provide information generated by the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UI) or User Experience (UX) through the user interface device 200.
  • UI User Interfaces
  • UX User Experience
  • the user interface device 200 may include an input unit 210, a passenger detection unit 240, an output unit 250, and a processor 270.
  • the input unit 210 receives user data or commands.
  • the data collected by the input unit 210 may be analyzed by the processor 270 and processed as a user's control command.
  • the input unit 210 may be disposed inside the vehicle.
  • the input unit 210 includes one area of a steering wheel, one area of an instrument panel, one area of a seat, one area of each pillar, and one of a door. To be placed in an area, a center console area, a head lining area, a sun visor area, a windshield area, or a window area. I can.
  • the input unit 210 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 may convert a user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 may convert a user's gesture input into an electrical signal and provide it to the processor 270 or the control unit 170.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input.
  • the gesture input unit 212 may detect a user's 3D gesture input. To this end, the gesture input unit 212 may include an optical output unit that outputs a plurality of infrared light or a plurality of image sensors.
  • the gesture input unit 212 may detect a user's 3D gesture input through a Time of Flight (TOF) method, a structured light method, or a disparity method.
  • TOF Time of Flight
  • the touch input unit 213 may convert a user's touch input into an electrical signal and provide it to the processor 270 or the control unit 170.
  • the touch input unit 213 may include a touch sensor for sensing a user's touch input.
  • the touch input unit 213 is integrally formed with the display unit 251 to implement a touch screen.
  • the touch screen may provide an input interface and an output interface between the vehicle 100 and a user together.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the output signal of the mechanical input unit 214 may be provided to the processor 270 or the control unit 170.
  • the mechanical input unit 214 may be disposed on a steering wheel, a center fascia, a center console, a cockpit module, a door, or the like.
  • the occupant detection unit 240 may detect a occupant or an object inside the vehicle 100.
  • the occupant detection unit 240 may include an internal camera 220 and a living body detection unit 230.
  • the internal camera 220 photographs the interior space of the vehicle.
  • the processor 270 may detect a user state based on an image inside the vehicle received from the internal camera 220.
  • the processor 270 may generate driver state information by analyzing a vehicle interior image to determine a driver's state such as a driver's gaze, face, behavior, expression, and location.
  • the processor 270 may determine a user's gesture from an image inside the vehicle.
  • the processor 270 may provide driver state information to the controller 170.
  • the biometric sensor 230 may acquire biometric information of a user.
  • the biometric sensor 230 may acquire fingerprint information, heartbeat information, brain wave information, and the like of a user by using a sensor capable of acquiring the user's biometric information.
  • the biometric information may be used for user authentication or for determining a user's state.
  • the processor 270 may generate driver state information by determining a driver's state based on the driver's biometric information.
  • Driver status information may indicate whether the driver is sleeping, drowsy, excited, or in an emergency.
  • the processor 270 may provide driver state information obtained from the driver's biometric information to the controller 170.
  • the output unit 250 generates output related to visual, auditory, or tactile sense.
  • the output unit 250 may include a display unit 251, an audio output unit 252, a haptic output unit 253, and the like.
  • the display unit 251 displays an image signal including various types of information.
  • the display unit 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. display), a 3D display, and an e-ink display.
  • the display unit 251 may be combined with the touch input unit 213 to implement a touch screen.
  • the display unit 251 may be implemented as a head up display (HUD).
  • the HUD may include a projection module to display information through a windshield or an image projected on a window.
  • the display unit 251 may include a transparent display.
  • the transparent display can be attached to a windshield or window.
  • the transparent display can display a predetermined screen while having a predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transmissive transparent display, transparent LED (Light Emitting Diode) display It may include at least one of.
  • the transparency of the transparent display can be adjusted.
  • the display unit 251 may include a plurality of displays 251a to 251g as illustrated in FIGS. 8 to 10.
  • the display 251 includes one area of the steering wheel, one area 251a, 251b, 251e of the instrument panel, one area 251d of the seat, one area 251f of each pillar, and one of the door. It may be disposed in an area 251g, a center console area, a headlining area, or a sun visor area, or may be implemented in a windshield area 251c or a window area 251h.
  • the display 251h disposed on the window may be disposed on each of the front window, the rear window, and the side window of the vehicle 100.
  • the sound output unit 252 converts an electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs it.
  • the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 outputs a tactile signal.
  • the haptic output unit 253 vibrates the steering wheel, seat belt, and seats 110FL, 110FR, 110RL, and 110RR according to a tactile signal.
  • the processor 270 may control the overall operation of each of the components of the user interface device 200.
  • the user interface device 200 may be operated under the control of a processor of another device or the control unit 170.
  • the object detection device 300 detects an object located outside the vehicle 100.
  • the objects may be various objects related to the operation of the vehicle 100.
  • the object is a lane, OB10, other vehicle (OB11), pedestrian (OB12), two-wheeled vehicle (OB13), traffic signal (OB14, OB15), light, road as shown in FIGS. , Fixed structures, speed bumps, terrain features, animals, and the like.
  • the lane OB10 may be a driving lane, a lane next to the driving lane, or a lane of a vehicle traveling in the opposite direction.
  • the lane OB10 may be a concept including left and right lanes forming a lane.
  • the other vehicle OB11 may be a vehicle running around the vehicle 100.
  • the other vehicle OB11 may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle OB11 may be a vehicle preceding or following the vehicle 100.
  • the pedestrian OB12 may be a person located around the vehicle 100.
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100.
  • the pedestrian OB12 may be a person located on a sidewalk or roadway.
  • the two-wheeled vehicle OB12 may refer to a vehicle that is located around the vehicle 100 and moves using two wheels.
  • the two-wheeled vehicle OB13 may be a motorcycle or bicycle positioned on a sidewalk or roadway around the vehicle 100.
  • the traffic signal may include a traffic light OB15, a traffic sign OB14, a pattern or text drawn on a road surface.
  • the light may be light generated by a lamp provided in another vehicle OB11.
  • the light may be illumination light or sunlight generated from a street lamp.
  • the road may include a road surface, a curve, an uphill, downhill slope, and the like.
  • the fixed structure may be an object located around a road and fixed to the ground.
  • the structure may include a street light, a street tree, a building, a power pole, a traffic light, a bridge, a topographical feature, and the like.
  • the topographical features may include mountains, hills, tunnels, rivers, seas, and the like.
  • Objects can be divided into moving objects and fixed objects.
  • the moving object may be another vehicle (OB11), a two-wheeled vehicle (OB13), a pedestrian (OB12), or the like.
  • the fixed object may be a traffic signal, a road, or a fixed structure.
  • the object detection apparatus 300 may include a camera 310, a radar 320, a lidar 330, an ultrasonic sensor 340, an infrared sensor 350, and a processor 370.
  • the camera 310 photographs the external environment of the vehicle 100 and outputs an image signal showing the external environment of the vehicle 100.
  • the camera 310 may photograph pedestrians around the vehicle.
  • One or more cameras 310 may be disposed at an appropriate location outside the vehicle 100.
  • the camera 310 may be a mono camera, a stereo camera 310a, an AVM (Around View Monitoring) camera 310b, or a 360 degree camera.
  • AVM Around View Monitoring
  • the camera 310 may be disposed in the interior of the vehicle and close to the front windshield in order to acquire an image of the front of the vehicle.
  • the camera 310 may be disposed around a front bumper or a radiator grill.
  • the camera 310 may be disposed in the interior of the vehicle and close to the rear glass in order to acquire an image of the rear of the vehicle.
  • the camera 310 may be disposed around a rear bumper, a trunk or a tail gate.
  • the camera 310 may be disposed in proximity to at least one of the side windows in the interior of the vehicle 100 in order to acquire an image of the vehicle side.
  • the camera 310 may be disposed around a side mirror, a fender, or a door.
  • the image signal output from the camera 310 is provided to the processor 370.
  • the radar 320 may include an electromagnetic wave transmitter and a receiver.
  • the radar 320 may be implemented in a pulse radar method or a continuous wave radar method.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keying (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keying
  • the radar 320 detects an object based on a time of flight (TOF) method or a phase-shift method through an electromagnetic wave, and the position of the detected object, the distance to the detected object, and the relative speed. Can be detected.
  • the radar 320 may be disposed at an appropriate position in the vehicle 100 in order to detect surrounding objects located in front, rear or side of the vehicle 100.
  • the lidar 330 may include a laser transmitter and a receiver.
  • the lidar 330 may be implemented in a Time of Flight (TOF) method or a phase-shift method.
  • the lidar 330 may be implemented as a driven or non-driven. When implemented as a drive type, the lidar 330 is rotated by a motor and may detect surrounding objects. When implemented in a non-driven manner, the lidar 330 may detect surrounding objects located within a predetermined range with respect to the vehicle 100 by optical steering.
  • the vehicle 100 may include a plurality of non-driving lidars 330.
  • the lidar 330 is a laser light medium, based on a time of flight (TOF) method or a phase-shift method, and detects a surrounding object, the position of the detected surrounding object, and the distance to the detected object. And relative speed can be detected.
  • the lidar 330 may be disposed at an appropriate position in the vehicle 100 to detect surrounding objects located in front, rear, or side of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor 340 may detect a surrounding object using ultrasonic waves reflected from the object and received, and detect a location of the detected object, a distance to the detected object, and a relative speed.
  • the ultrasonic sensor 340 may be disposed at an appropriate position in the vehicle 100 in order to detect surrounding objects located in the front, rear, or side of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 may detect a surrounding object based on infrared rays reflected from the object and received, and detect a position of the detected object, a distance to the detected object, and a relative speed.
  • the infrared sensor 350 may be disposed at an appropriate position in the vehicle 100 in order to detect surrounding objects located in the front, rear or side of the vehicle.
  • the processor 370 may control an overall operation of each component of the object detection apparatus 300.
  • the processor 370 may detect and track surrounding objects based on the acquired image.
  • the processor 370 performs operations such as calculating a distance to an object, calculating a relative speed with an object, determining the type, location, size, shape, color, movement path, and content of the detected text using an image processing algorithm. Can be done.
  • the processor 370 may detect and track a surrounding object based on the reflected electromagnetic wave returned by the transmitted electromagnetic wave reflected from the object.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with the object, based on the electromagnetic wave.
  • the processor 370 may detect and track surrounding objects based on the reflected laser light returned by the transmitted laser light being reflected on the object.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with the object based on the laser light.
  • the processor 370 may detect and track a surrounding object based on the reflected ultrasonic wave returned by the transmitted ultrasonic wave reflected from the object.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with the object, based on the ultrasonic wave.
  • the processor 370 may detect and track a surrounding object based on the reflected infrared light reflected from the transmitted infrared light and returned to the object.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with the object based on infrared light.
  • the processor 370 includes an image acquired through the camera 310, a reflected electromagnetic wave received through the radar 320, a reflected laser light received through the lidar 330, and a reflected ultrasonic wave received through the ultrasonic sensor 340. , And the reflected infrared light received through the infrared sensor 350, the surrounding object may be determined to generate object information.
  • the processor 370 may provide object information to the controller 170.
  • the object information indicates the type, location, size, shape, color, movement path, speed, and detected text of an object existing around the vehicle 100.
  • the object information includes whether there is a lane around the vehicle 100, whether other vehicles around the vehicle 100 are running while the vehicle 100 is stopped, whether there is an area that can be stopped around the vehicle 100, the vehicle and the object. It can indicate the possibility of a collision, how pedestrians or bicycles are distributed around the vehicle 100, the type of road the vehicle 100 is traveling on, the state of the traffic lights around the vehicle 100, the movement of the vehicle 100, etc. have.
  • the object detection apparatus 300 may include a plurality of processors 370 or may not include the processors 370.
  • Each of the camera 310, radar 320, lidar 330, ultrasonic sensor 340, and infrared sensor 350 may individually include a processor.
  • the object detection device 300 may be operated under the control of a processor or a controller 170 of a device in the vehicle 100.
  • the communication device 400 is connected to an external device through a communication link to perform bidirectional communication with the external device.
  • the external devices may be the user terminal 50 and the server 40 in FIG. 70.
  • the communication device 400 may include at least one of a transmission antenna, a reception antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short range communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, a broadcast transmission/reception unit 450, and a processor 470.
  • the short range communication unit 410 is a unit for short range communication.
  • the near field communication unit 410 includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wireless Frequency Identification (Wi-Fi). -Fidelity), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-range communication.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless Frequency Identification
  • -Fidelity Wireless Frequency Identification
  • Wi-Fi Direct Wireless Universal Serial Bus
  • the short-range communication unit 410 may form short-range wireless communication networks (Wireless Area Networks) to perform short-range communication between the vehicle 100 and at least one external device.
  • short-range wireless communication networks Wireless Area Networks
  • the location information unit 420 acquires location information of the vehicle 100.
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 performs a server (V2I: Vehicle to Infra), communication with other vehicles (V2V: Vehicle to Vehicle), or communication with a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include a circuit capable of implementing communication with infrastructure (V2I), communication between vehicles (V2V), and communication with pedestrians (V2P).
  • the optical communication unit 440 communicates with an external device through light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits it to the outside, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light transmitting unit may be integrated with a lamp included in the vehicle 100.
  • the broadcast transmission/reception unit 450 receives a broadcast signal from an external broadcast management server through a broadcast channel or transmits a broadcast signal to the broadcast management server.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • the broadcast signal may include a TV broadcast signal, a radio broadcast signal, and a data broadcast signal.
  • the processor 470 may control the overall operation of each component of the communication device 400.
  • the processor 470 drives a vehicle based on information received through at least one of a short-range communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, and a broadcast transmission/reception unit 450. Can generate information.
  • the processor 470 may generate vehicle driving information based on information about the location, vehicle type, driving route, speed, and various sensing values of the other vehicle OB11 received from the other vehicle OB11. When information on various sensing values of the other vehicle OB11 is received, the processor 470 may obtain information about objects around the vehicle 100 even if there is no separate sensor in the vehicle 100.
  • the communication device 400 may be operated under the control of the processor or the controller 170 of another device in the vehicle 100.
  • the communication device 400 may implement a vehicle display device together with the user interface device 200.
  • the vehicle display device may be referred to as a telematics device or an audio video navigation (AVN) device.
  • APN audio video navigation
  • the controller 170 provides driver status information, vehicle status information, vehicle driving information, error information indicating an error of the vehicle 100, object information, and a user interface device 200 based on a signal received from the communication device 400. At least one of a user input and a remote control request signal received through may be transmitted to an external device. The server for remote control may determine whether the vehicle 100 needs remote control based on information transmitted by the vehicle 100.
  • the controller 170 may control the vehicle 100 according to a control signal received from a remote control server through the communication device 400.
  • the driving manipulation device 500 receives a user input for driving.
  • the vehicle 100 may be driven based on a user input signal provided by the driving operation device 500.
  • the driving manipulation device 500 may include a steering input device 510, an acceleration input device 530, and a brake input device 570.
  • the steering input device 510 may receive an input of a traveling direction of the vehicle 100 from a user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from a user.
  • the brake input device 570 may receive an input for deceleration of the vehicle 100 from a user.
  • the acceleration input device 530 and the brake input device 570 may be implemented in the form of a pedal.
  • the acceleration input device or brake input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the driving manipulation device 500 may be operated under the control of the controller 170.
  • the vehicle driving device 600 electrically controls driving of various devices in the vehicle 100.
  • the vehicle driving device 600 may include a power train driving unit 610, a chassis driving unit 620, a door/window driving unit 630, a safety device driving unit 640, a lamp driving unit 650, and an air conditioning driving unit 660. have.
  • the power train driver 610 may control the operation of the power train device.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612.
  • the power source drive unit 611 controls the power source of the vehicle 100.
  • the power source driving unit 610 may control an output torque of the engine.
  • the power source driving unit 611 may adjust the engine output torque under the control of the controller 170.
  • the power source driving unit 610 may adjust the rotational speed and torque of the motor under the control of the controller 170.
  • the transmission driving unit 612 performs control of the transmission.
  • the transmission driving unit 612 may adjust the state of the transmission to forward (D), reverse (R), neutral (N), or parking (P).
  • the transmission driving unit 612 may adjust the bite state of the gear in the forward (D) state.
  • the chassis driver 620 may control the operation of the chassis device.
  • the chassis driving unit 620 may include a steering driving unit 621, a brake driving unit 622, and a suspension driving unit 623.
  • the steering driver 621 may perform electronic control of a steering apparatus in the vehicle 100.
  • the steering driver 621 may change the traveling direction of the vehicle.
  • the brake driving unit 622 may reduce the speed of the vehicle 100 by performing electronic control on a brake apparatus in the vehicle 100.
  • the brake driving unit 622 may individually control each of the plurality of brakes.
  • the brake driving unit 622 may differently control braking force applied to a plurality of wheels.
  • the suspension driving unit 623 may perform electronic control on a suspension apparatus in the vehicle 100.
  • the suspension driving unit 623 may control the suspension device to reduce vibration of the vehicle 100 when there is a curve on the road surface.
  • the suspension driving unit 623 may individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may perform electronic control on a door apparatus or a window apparatus in the vehicle 100.
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632.
  • the door driving unit 631 may control the door device.
  • the door driver 631 may control opening and closing of a plurality of doors included in the vehicle 100.
  • the door driver 631 may control opening or closing of a trunk or a tail gate.
  • the door drive part 631 can control the opening or closing of a sunroof.
  • the window driver 632 may control the opening or closing of the window of the vehicle 100 by performing electronic control on a window apparatus.
  • the safety device driving unit 640 may perform electronic control on various safety apparatuses in the vehicle 100.
  • the safety device driving unit 640 may include an airbag driving unit 641, a seat belt driving unit 642, and a pedestrian protection device driving unit 643.
  • the airbag driver 641 controls the airbag so that the airbag is deployed when a danger is detected by performing electronic control on the airbag apparatus in the vehicle 100.
  • the seat belt driving unit 642 performs electronic control on the seatbelt apparatus in the vehicle 100 and controls the passenger to be fixed to the seats (110FL, 110FR, 110RL, 110RR) using the seat belt when a danger is detected. can do.
  • the pedestrian protection device driving unit 643 performs electronic control on the hood lift and the pedestrian airbag, and controls the airbag so that the hood lift up and the pedestrian airbag are deployed when a collision with a pedestrian is detected.
  • the lamp driving unit 650 performs electronic control on various lamp apparatuses in the vehicle 100.
  • the air conditioning drive unit 660 controls the temperature inside the vehicle by performing electronic control on an air conditioner in the vehicle 100.
  • the driving system 700 controls the operation of the vehicle 100.
  • the driving system 700 may be operated in an autonomous driving mode.
  • the driving system 700 may include a driving system 710, a parking system 740, and a parking system 750.
  • the driving system 700 may be a sub-concept of the control unit 170.
  • the driving system 700 is connected with one or more of the user interface device 200, the object detection device 300, the communication device 400, the vehicle driving device 600, and the control unit 170 to autonomously operate the vehicle 100. Can be controlled.
  • the driving system 710 provides navigation information from the navigation system 770 to the vehicle driving apparatus 600.
  • the navigation information may include route information necessary for autonomous driving, such as destination and stopover information.
  • the navigation information includes map data and traffic information.
  • the driving system 710 provides object information from the object detection device 300 to the vehicle driving device 600.
  • the driving system 710 may provide a signal from an external device received through the communication device 400 to the vehicle driving device 600.
  • the car taking out system 740 performs car taking out of the vehicle 100.
  • the vehicle taking-out system 740 may provide navigation information from the navigation system 770 to the vehicle driving apparatus 600.
  • the vehicle extraction system 740 may provide object information from the object detection device 300 to the vehicle driving device 600.
  • the take-out system 740 may provide a signal from an external device received through the communication device 400 to the vehicle driving apparatus 600.
  • the parking system 750 may park the vehicle 100.
  • the parking system 750 may provide a control signal to the vehicle driving device 600 based on navigation information from the navigation system 770.
  • the parking system 750 may provide object information from the object detection device 300 to the vehicle driving device 600.
  • the parking system 750 may provide a signal from an external device received through the communication device 400 to the vehicle driving device 600.
  • the navigation system 770 may generate navigation information. Navigation information includes one or more of map data, set destination information, driving plan data including route information to the destination, information on various objects on the route, lane information, and current location information of the vehicle. can do.
  • the navigation system 770 may include a memory and a processor. The memory can store navigation information. The processor may control the operation of the navigation system 770.
  • the navigation system 770 may receive information from an external device received through the communication device 400 and update pre-stored information. The navigation system 770 may be classified as a sub-element of the user interface device 200.
  • the sensing unit 120 may sense the state of the vehicle.
  • the sensing unit 120 includes a posture sensor, a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight detection sensor, a heading sensor, a yaw sensor, a gyro sensor, Position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor, It may include a brake pedal position sensor or the like.
  • the posture sensor may include a yaw sensor, a roll sensor, a pitch sensor, and the like.
  • the sensing unit 120 includes vehicle attitude information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/reverse information, and battery information. , Fuel information, tire information, vehicle lamp information, vehicle internal temperature information, vehicle internal humidity information, steering wheel rotation angle, vehicle external illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, etc. Can occur.
  • the sensing unit 120 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake air temperature sensor (ATS), a water temperature sensor (WTS), a throttle position sensor (TPS), It may further include a TDC sensor, a crank angle sensor (CAS), and the like.
  • AFS air flow sensor
  • ATS intake air temperature sensor
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC crank angle sensor
  • the interface unit 130 provides an interface with various types of external devices connected to the vehicle 100.
  • the interface unit 130 may exchange data with a mobile terminal including a port connectable with the mobile terminal.
  • the interface unit 130 may supply electric energy to the mobile terminal.
  • the interface unit 130 may provide electric energy supplied from the power supply unit 190 to the mobile terminal.
  • the memory 140 is connected to the control unit 170.
  • the memory 140 may store data necessary for driving each of the components of the vehicle, user input data, information data received from an external device, and the like.
  • the memory 140 may store various data for the overall operation of the vehicle 100, such as a program for processing or controlling the controller 170.
  • the memory 140 may be implemented as a ROM, RAM, EPROM, flash drive, hard drive, or the like.
  • the memory 140 may be implemented integrally with the control unit 170 or may be implemented as a sub-element of the control unit 170.
  • the controller 170 may control the overall operation of each of the components in the vehicle 100.
  • the control unit 170 may include an Electronic Control Unit (ECU).
  • ECU Electronic Control Unit
  • the control unit 170 may control the vehicle 100 based on information obtained through at least one of the object detection device 300 and the communication device 400. Accordingly, the vehicle 100 may autonomously drive under the control of the controller 170.
  • the processor and control unit 170 includes application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and processors.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors processors.
  • Controllers controllers
  • micro-controllers micro-controllers
  • micro-controllers may be implemented as microprocessors (microprocessors).
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • the power supply unit 190 may supply power required for operation of each component to the components under the control of the controller 170.
  • the vehicle 100 may include an In-Vehicle Infotainment (IVI) system.
  • the IVI system may operate in connection with the user interface device 200, the communication device 400, the control unit 170, the navigation system 770, and the driving system 700.
  • the IVI system plays multimedia contents in response to user input and executes user interfaces (UIs) or user experience (UX) programs for various application programs.
  • UIs user interfaces
  • UX user experience
  • the controller 170 may control V2X communication to transmit pedestrian information to another vehicle OB11 and transmit walking guide information to the pedestrian terminal.
  • the control unit 170 may further include an AI processor 800. Based on the learning result, the AI may analyze the pedestrian image captured by the camera 310 to determine the type of pedestrian, and estimate the movement speed of the pedestrian, the estimated time of the pedestrian crossing the road, and the like.
  • FIG. 14 is a diagram showing V2X communication.
  • V2X communication is V2V (Vehicle-to-Vehicle), which refers to communication between vehicles, and V2I (Vehicle to-Vehicle), which refers to communication between a vehicle and an eNB or Road Side Unit (RSU). Infrastructure), V2P (Vehicle-to-Pedestrian), V2N (vehicle-to-network), which refers to communication between user equipment (UE) held by vehicles and individuals (pedestrian, cyclist, vehicle driver, or passenger). ), including communication between the vehicle and all entities.
  • V2V Vehicle-to-Vehicle
  • V2I Vehicle to-Vehicle
  • V2N Vehicle-to-network
  • UE user equipment
  • V2X communication may represent the same meaning as the V2X sidelink or NR V2X, or may represent a broader meaning including the V2X sidelink or NR V2X.
  • V2X communication includes, for example, forward collision warning, automatic parking system, cooperative adaptive cruise control (CACC), control loss warning, traffic matrix warning, traffic vulnerable safety warning, emergency vehicle warning, and driving on curved roads. It can be applied to various services such as speed warning and traffic flow control.
  • CACC cooperative adaptive cruise control
  • V2X communication may be provided through a PC5 interface and/or a Uu interface.
  • specific network entities for supporting communication between the vehicle and all entities may exist.
  • the network entity may be a BS (eNB), a road side unit (RSU), a UE, or an application server (eg, a traffic safety server).
  • a user terminal (UE) performing V2X communication is not only a general portable UE (handheld UE), but also a vehicle terminal (V-UE (Vehicle UE)), a pedestrian terminal E (pedestrian UE), and BS type (eNB type). It may mean an RSU of, or a UE type of RSU, a robot with a communication module, and the like.
  • V2X communication may be performed directly between terminals (UEs) or through the network entity(s).
  • V2X operation modes may be classified according to the V2X communication method.
  • V2X communication is required to support the pseudonymity and privacy of the UE when using the V2X application so that an operator or a third party cannot track the UE identifier within the region where V2X is supported. do.
  • RSU is a V2X service capable device that can transmit/receive with a mobile vehicle using V2I service.
  • RSU is a fixed infrastructure entity that supports V2X applications, and can exchange messages with other entities that support V2X applications.
  • RSU is a term frequently used in the existing ITS specification, and the reason for introducing this term in the 3GPP specification is to make the document easier to read in the ITS industry.
  • RSU is a logical entity that combines the V2X application logic with the function of the BS (referred to as BS-type RSU) or UE (referred to as UE-type RSU).
  • V2I service A type of V2X service, an entity belonging to one side of the vehicle and the other side of the infrastructure.
  • V2P service A type of V2X service, in which one is a vehicle and the other is a device carried by an individual (eg, a portable UE device carried by a pedestrian, cyclist, driver or passenger).
  • -V2X service 3GPP communication service type in which a transmitting or receiving device is related to a vehicle.
  • -V2X enabled (enabled) UE a terminal (UE) that supports V2X service.
  • V2X service This is a type of V2X service, both of which are vehicles.
  • -V2V communication range Direct communication range between two vehicles participating in V2V service.
  • V2X Vehicle-to-Everything
  • V2V vehicle-to-vehicle
  • V2I vehicle-to-infrastructure
  • V2N vehicle-to-network
  • V2P pedestrians
  • V2X applications can use "co-operative awareness" to provide more intelligent services for end users.
  • entities such as vehicles 100, OB11, roadside infrastructure (RSU), application servers 2000, and pedestrians (OB12) to process that knowledge to provide more intelligent information such as cooperative collision warnings or autonomous driving.
  • RSU roadside infrastructure
  • OB12 pedestrians
  • the vehicle 100 may generate pedestrian information using its own AI processor.
  • the vehicle 100 of the present invention may be connected to an external device, for example, the server 2000 through V2N communication, to receive pedestrian information obtained as a result of AI learning of the server 200 and transmit it to another vehicle OB11. .
  • 15 is a view showing a walking guidance system according to an embodiment of the present invention.
  • the walking guidance system includes a vehicle 100 performing V2X communication.
  • the navigation system 770 of the vehicle 100 processes a real-time traffic information service, a map information service including map data, and a route guidance service.
  • the control unit 170 of the vehicle 100 may include an AI processor.
  • the AI processor is a pedestrian detection module that determines the type of pedestrian based on camera image analysis and generates pedestrian information, an estimated walking time inference module that estimates the estimated time to cross the road based on the type of pedestrian, and a pedestrian guidance interface that generates pedestrian guidance information.
  • It includes a V2X controller that controls V2X communication between the pedestrian (OB11) and another vehicle (OB11).
  • the vehicle 100 may receive pedestrian information obtained as a result of AI learning of the server 2000 through VTN communication.
  • the server 2000 will be described in detail in an embodiment in conjunction with FIG. 24.
  • the pedestrian terminal 1000 receives and outputs the pedestrian location transmission/reception module that transmits the GPS signal from the location information unit 1100 to the vehicle 100 through V2P communication, and receives and outputs pedestrian guidance information from the vehicle 100 or the server 2000. Output to the sub (1200).
  • the output unit 1200 includes a display for outputting pedestrian guidance information and a haptic output unit.
  • 16 is a flowchart showing step by step a control procedure of a walking guide method according to an embodiment of the present invention.
  • 17A and 17B are diagrams illustrating a walking guide method shown in FIG. 16.
  • the pedestrian terminal 1000 transmits location information to the vehicles 100 and OB11 to determine the location of the pedestrian by surrounding vehicles 100. , Informs OB11) (S171).
  • location information for example, a GPS signal may be transmitted from the pedestrian terminal 1000 to the vehicles 100 and OB11.
  • the vehicles 100 and OB11 recognize the pedestrian and analyze the pedestrian image obtained by the camera photographing based on the AI learning result to determine the pedestrian type (S172).
  • the vehicle that recognizes the pedestrian OB12 first or the vehicle closest to the pedestrian OB12 may determine the type of pedestrian and transmit the determination result to nearby vehicles.
  • the pedestrian image may be transmitted to the server 2000 through a network.
  • the server 2000 may analyze a pedestrian image based on the AI learning result to determine a pedestrian type, and transmit the pedestrian type to the vehicles 100 and OB11 approaching the road near the pedestrian.
  • the pedestrian type includes the pedestrian's age, the pedestrian's gender, and the pedestrian status.
  • Pedestrian status can be distinguished by whether a pedestrian is carrying luggage, is with a stroller, wheelchair, or blind guide dog, or a pedestrian falls.
  • Pedestrian type can be used as an index to determine pedestrians vulnerable to walking such as infants, pregnant women, the disabled, and the elderly.
  • the vehicles 100 and OB11 Upon receiving the location of the pedestrian and the type of pedestrian, the vehicles 100 and OB11 determine whether it is possible to drive and whether to slow down or stop (S173).
  • control unit 170 of the vehicle 100 or OB11 may control the brake driving unit 622 to reduce the driving speed.
  • the control unit 170 of the vehicles 100 and OB11 may adjust the braking force according to the distance between the pedestrian and the OB12.
  • the control unit 170 of the vehicles 100 and OB11 may lower the driving speed and stop before the pedestrian OB12 starts crossing the crosswalk if the position of the pedestrian is within a predetermined distance. For example, as shown in FIG.
  • the braking force of the vehicles 100 and OB11 in the first radial section 191 around the pedestrian OB12 is greater than the first radial section 191 ( It can be controlled to be greater than the braking force of the vehicles 100 and OB11 in the 192.
  • Vehicles 100 and OB11 transmit the determination result of whether or not driving, deceleration and stop is possible to other vehicles 100 and OB11 in order to promote the safety of the pedestrian OB12 when the pedestrian OB12 crosses the road. It is possible to request a deceleration and a stop from nearby vehicles (S174).
  • the control unit 170 of the vehicles 100 and OB11 receives the determination result from another vehicle, it transmits a response signal to the other vehicle and controls the brake driving unit 622 to lower the speed of the vehicles 100 and OB11.
  • the response signal may include information on whether to slow down or continue driving.
  • the control unit 170 of the vehicles 100 and OB11 may determine the level of walking safety when the pedestrian OB12 crosses the road based on a response signal from another vehicle.
  • Vehicles 100 and OB11 may search for vehicles 100 and OB11 closest to the pedestrian OB12 through V2V communication (S175).
  • V2V communication V2V communication
  • the vehicle (100, OB11) closest to the pedestrian (OB12) displays the direction of the pedestrian (OB12) and the estimated time of crossing based on the AI judgment result. It can be output (S176).
  • the vehicles 100 and OB11 may transmit walking guide information to the pedestrian terminal 1000.
  • the pedestrian terminal 1000 may display a current location, whether a road crossing is possible, and an estimated crossing time, etc. on the display according to the walking guide information, and may output such information as a vibration (haptic).
  • the estimated crossing time can be estimated based on the type of pedestrian and the pedestrian condition. For example, for the elderly or infants, it may be set longer than a predetermined reference time by +15 seconds. In addition, the estimated crossing time may be set as the sum of the additional time according to the pedestrian type to the existing traffic light time. When the pedestrian type is a pedestrian vulnerable, the estimated crossing time is added.
  • the estimated crossing time may be calculated based on the estimated walking time of the slowest walking vulnerable person.
  • the slowest walking vulnerable person can be preset based on the pedestrian's age and the pedestrian's condition. Infants, the elderly, the disabled, pregnant women, and pedestrians with heavy luggage or companions can be set as vulnerable to walking.
  • the estimated crossing time may increase according to the degree of congestion of the vehicle on the road around the pedestrian OB12. For example, when the degree of congestion of the vehicle is high, it may increase by 5 seconds per lane. It can be increased by 3 seconds per lane when the vehicle's congestion level is low.
  • the pedestrian can be classified into other types.
  • the estimated crossing time may be set as a predetermined reference time.
  • the changed estimated crossing time may be re-guided through the display of the vehicles 100 and OB11 and/or the pedestrian terminal 1000 as shown in FIG. 23.
  • the pedestrian OB12 may safely cross the road by viewing the walking guidance displayed on the vehicles 100 and OB11 and the walking guidance message output from the own terminal 1000 (S177).
  • 19A to 20B are diagrams illustrating an example in which a vehicle close to a pedestrian outputs walking guide information when a pedestrian crosses a road.
  • 21 is a diagram illustrating an example of walking guide information output on a display of a pedestrian terminal.
  • the vehicle closest to the pedestrian OB12 may output walking guide information.
  • the walking guide information may include one or more of a possible crossing guide, an estimated remaining time of crossing, and a walking direction.
  • the pedestrian terminal 10000 may output walking guide information received from the vehicle 100 or OB12 or the server 2000 as a display and/or vibration as shown in FIG. 21.
  • walking guide information received from the vehicle 100 or OB12 or the server 2000 as a display and/or vibration as shown in FIG. 21.
  • the pedestrian OB12 when the pedestrian OB12 is standing at the entrance position of the crosswalk on the road of 6 round-trip lanes, the vehicles 100 and OB11 in the third lane closest to the pedestrian OB12 as shown in FIG. 20A The crossing possible information and the estimated crossing time are displayed through the display of and the estimated crossing time is counted according to the movement of the pedestrian OB12.
  • the pedestrian OB12 moves and passes through the first lane, as shown in FIG. 20B, the information about the possible crossing and the estimated time of the crossing can be displayed through the display of the vehicles 100 and OB11 in the first lane. have.
  • the movement of the pedestrian it may be moved to the display position of the walking guide information output on the display of the vehicles 100 and
  • one or more of a crosswalkable guide, an estimated remaining time for crossing, and a walking direction may be displayed on the displays of vehicles in the two lanes closest to the pedestrian.
  • walking guide information may be output through the terminal 1000 of the pedestrian.
  • the control unit 170 of the vehicles 100 and OB11 in the lane passing the pedestrian OB12 may stop outputting the walking guide information and control the driving system 700 to resume driving.
  • 22 is a flowchart illustrating a method of recognizing a pedestrian and determining a pedestrian in detail.
  • the pedestrian terminal 1000 notifies the location of the pedestrian OB12 to a nearby vehicle through V2P communication (S231).
  • a vehicle that recognizes a pedestrian for example, the control unit 170 of the vehicle 100 or OB11 closest to the pedestrian drives the camera 310 to capture a pedestrian image.
  • Vehicles 100 and OB11 analyze the pedestrian image obtained from the camera based on the AI learning result, to recognize the pedestrian and generate pedestrian information indicating the pedestrian and the result of inferring the estimated time of the pedestrian crossing (S232, S233 and S234).
  • Pedestrian information can dictate the type of pedestrian.
  • the pedestrian type includes the pedestrian's age group, the pedestrian's gender, and the pedestrian status.
  • the controller 170 determines the most vulnerable pedestrian among the pedestrians (S235 and S236).
  • the most vulnerable pedestrian means the slowest pedestrian and can be set in advance in consideration of the pedestrian age and pedestrian condition.
  • the controller 170 or the server 2000 estimates the estimated crossing time according to the type of pedestrian, and searches for a vehicle closest to the pedestrian OB12 (S237 and S238). In addition, the control unit 170 may transmit the pedestrian information to the vehicle(s) close to the pedestrian OB12 (S239).
  • the control unit 170 may determine a pedestrian's walking safety level when crossing a road based on a response signal received from another vehicle (S240 and S241). When the walking safety level is greater than or equal to a preset reference value, the controller 170 outputs walking guide information on the display and transmits it to the pedestrian terminal 1000 to induce a pedestrian crossing (S242).
  • FIG. 23 is a flowchart showing a walking guide method according to a change in pedestrian state.
  • control unit 170 of the vehicle 100 and OB11 analyzes the pedestrian image obtained from the camera and monitors the pedestrian condition in real time (S251).
  • the control unit 170 adjusts the estimated crossing time (S254).
  • the estimated crossing time may vary in proportion to the moving speed of the pedestrian OB12.
  • the controller 170 or the server 2000 searches for a vehicle closest to the pedestrian OB12 (S255).
  • the control unit 170 may transmit pedestrian information to vehicle(s) close to the pedestrian OB12 (S256).
  • the control unit 170 may determine a pedestrian's walking safety level when crossing a road based on a response signal received from another vehicle (S257). When the walking safety level is greater than or equal to a preset reference value, the control unit 170 outputs walking guide information on the display and transmits it to the pedestrian terminal 1000 to induce a pedestrian crossing (S259).
  • 24 is a diagram showing an embodiment in which the server 2000 determines a pedestrian type.
  • the server 2000 includes an AI device.
  • the AI device may include an AI processor 2100, a memory 2500 and/or a communication unit 2700.
  • the AI processor 2100 may learn a neural network using a program stored in the memory 2500.
  • the AI processor 2100 may learn vehicle-related data and a neural network for recognizing pedestrian types.
  • the vehicle-related data may include driver state information, vehicle driving information, vehicle state information, and navigation information received from the vehicles 100 and OB11.
  • a neural network for recognizing vehicle-related data and pedestrian types may be designed to simulate the human brain structure on a computer, and may include a plurality of network nodes having weights that simulate neurons of the human neural network. .
  • the plurality of network modes can send and receive data according to their respective connection relationships to simulate the synaptic activity of neurons that send and receive signals through synapses.
  • the neural network may include a deep learning model developed from a neural network model.
  • a deep learning model a plurality of network nodes may be located in different layers and exchange data according to a convolutional connection relationship.
  • Examples of neural network models include deep neural networks (DNN), convolutional deep neural networks (CNN), Recurrent Boltzmann Machine (RNN), Restricted Boltzmann Machine (RBM), and deep trust. It includes various deep learning techniques such as deep belief networks (DBN) and deep Q-network, and can be applied to fields such as computer vision, speech recognition, natural language processing, and speech/signal processing.
  • the AI processor 2100 performing the above-described functions may be a general-purpose processor (eg, CPU), but may be an AI-only processor (eg, GPU) for artificial intelligence learning.
  • a general-purpose processor eg, CPU
  • an AI-only processor eg, GPU
  • the memory 2500 may store various programs and data required for the operation of the AI device.
  • the memory 2500 may be implemented as a nonvolatile memory, a volatile memory, a flash memory, a hard disk drive (HDD), a solid state drive (SDD), or the like.
  • the memory 2500 is accessed by the AI processor 21, and data read/write/edit/delete/update by the AI processor 21 may be performed.
  • the memory 25 may store a neural network model (eg, a deep learning model 26) generated through a learning algorithm for classifying/recognizing data according to an embodiment of the present invention.
  • the AI processor 2100 may include a data learning unit 22 that learns a neural network for data classification/recognition.
  • the data learning unit 2200 may learn a criterion for how to classify and recognize data using which training data to use in order to determine data classification/recognition.
  • the data learning unit 2200 may learn the deep learning model by acquiring training data to be used for training and applying the acquired training data to the deep learning model.
  • the data learning unit 2200 may be manufactured in the form of at least one hardware chip and mounted on an AI device.
  • the data learning unit 2200 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as a part of a general-purpose processor (CPU) or a dedicated graphics processor (GPU) and mounted on an AI device.
  • AI artificial intelligence
  • the data learning unit 2200 may be implemented as a software module.
  • the software module When implemented as a software module (or a program module including an instruction), the software module may be stored in a computer-readable non-transitory computer readable media. In this case, at least one software module may be provided by an operating system (OS) or an application.
  • OS operating system
  • application application
  • the data learning unit 2200 may include a learning data acquisition unit 2300 and a model learning unit 2400.
  • the training data acquisition unit 2300 may acquire training data necessary for a neural network model for classifying and recognizing data.
  • the training data acquisition unit 2300 may acquire vehicle data and/or sample data for input into a neural network model as training data.
  • the model learning unit 2400 may learn to have a criterion for determining how a neural network model classifies predetermined data by using the acquired training data.
  • the model training unit 2400 may train the neural network model through supervised learning using at least a part of the training data as a criterion for determining the training data.
  • the model learning unit 2400 may train a neural network model through unsupervised learning to discover a criterion by self-learning using the training data without guidance. In addition, the model learning unit 2400 may train the neural network model through reinforcement learning using feedback on whether the result of the situation determination according to the learning is correct. In addition, the model learning unit 2400 may train a neural network model using a learning algorithm including an error back-propagation method or a gradient decent method. When the neural network model is trained, the model learning unit 2400 may store the learned neural network model in the memory 2500.
  • the data learning unit 2200 further includes a training data preprocessing unit (not shown) and a training data selection unit (not shown) to improve the analysis result of the recognition model or to save resources or time required for generating the recognition model. You may.
  • the learning data preprocessor may preprocess the acquired data so that the acquired data can be used for learning to determine a situation.
  • the training data preprocessor may process the acquired data into a preset format so that the model training unit 24 can use the training data acquired for learning for image recognition.
  • the learning data selection unit may select data necessary for learning from the learning data obtained by the learning data acquisition unit 2300 or the learning data preprocessed by the preprocessor.
  • the selected training data may be provided to the model learning unit 2400.
  • the learning data selection unit 2300 may select only data on an object included in the specific area as training data by detecting a specific area among images acquired through the camera of the intelligent electronic device.
  • the data learning unit 2200 may further include a model evaluation unit (not shown) to improve the analysis result of the neural network model.
  • the model evaluation unit may input evaluation data to the neural network model, and when an analysis result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 22 may retrain.
  • the evaluation data may be predefined data for evaluating the recognition model.
  • the model evaluation unit may evaluate as not satisfying a predetermined criterion when the number or ratio of evaluation data in which the analysis result is inaccurate among the analysis results of the learned recognition model for evaluation data exceeds a threshold value. have.
  • the communication unit 2700 may transmit the AI processing result by the AI processor 2100 to an external electronic device.
  • the external electronic devices may include autonomous vehicles, robots, drones, AR devices, mobile devices, home appliances, and the like.
  • the AI device 20 may be defined as another vehicle or 5G network that communicates with the autonomous driving module vehicle.
  • the AI device 20 may be functionally embedded and implemented in an autonomous driving module provided in a vehicle.
  • the 5G network may include a server or module that performs autonomous driving-related control.
  • the AI processor 2100 may estimate the type of pedestrian and the estimated time of the pedestrian crossing the road based on the result of analyzing the pedestrian image using the data learning unit 2200.
  • the AI device of the server 2000 shown in FIG. 24 has been functionally divided into an AI processor 2100, a memory 2500, and a communication unit 2700, but the aforementioned components are integrated into one module. It should be noted that it can also be called an AI module.
  • the autonomous driving vehicle of the present invention and a pedestrian guidance system and method using the same can be described as follows.
  • the autonomous vehicle of the present invention includes a camera for photographing a pedestrian; Based on the signal received from the pedestrian terminal carried by the pedestrian, the pedestrian position is recognized, the image captured by the camera is analyzed to determine the type of the pedestrian, and the pedestrian information including the type of the pedestrian is transmitted to a communication device.
  • the control unit determines the type of pedestrian based on the learning result.
  • the type of pedestrian includes one or more of the pedestrian's age, the pedestrian's gender, and the pedestrian status.
  • the control unit estimates the estimated time of the pedestrian crossing the road based on the type of the pedestrian.
  • the control unit transmits the predicted crossing time of the pedestrian to other vehicles through the communication device.
  • the control unit determines the safety level of the pedestrian according to whether the response signal received from the other vehicle continues driving and deceleration information.
  • the autonomous vehicle further includes a display for outputting walking guide information under the control of the controller.
  • the walking guide information includes at least one of a possible guide for the pedestrian to cross a road, an estimated remaining time for crossing, and a walking direction.
  • the control unit transmits the walking guide information to the pedestrian terminal through the communication device.
  • the pedestrian guide system of the present invention includes a pedestrian terminal; And one or more autonomous vehicles that recognize a pedestrian based on a signal received from the pedestrian terminal and transmit pedestrian information indicating the pedestrian to other vehicles.
  • the pedestrian information includes pedestrian type information obtained based on a pedestrian image captured by a camera.
  • the pedestrian information is generated from a controller of the vehicle or a server that communicates with the vehicle through a network.
  • the control unit or the server includes an AI device that determines the type of the pedestrian based on the learning result.
  • the type of pedestrian includes one or more of the pedestrian's age, the pedestrian's gender, and the pedestrian status.
  • the control unit or the server estimates the estimated time of the pedestrian crossing the road based on the type of the pedestrian.
  • the control unit uses an autonomous vehicle that transmits the predicted crossing time of the pedestrian to other vehicles through a communication device.
  • the control unit determines the safety level of the pedestrian according to whether the response signal received from the other vehicle continues driving and deceleration information.
  • the vehicle further includes a display for outputting walking guide information under the control of the controller.
  • the walking guide information includes at least one of a possible guide for the pedestrian to cross a road, an estimated remaining time for crossing, and a walking direction.
  • the control unit transmits the walking guide information to the pedestrian terminal through the communication device.
  • the controller or the server searches for a vehicle closest to the pedestrian.
  • the vehicle closest to the pedestrian outputs walking guide information under the control of the controller.
  • the walking guide information includes at least one of a possible guide for the pedestrian to cross a road, an estimated remaining time for crossing, and a walking direction.
  • the control unit of the vehicle recognizing the pedestrian analyzes the pedestrian image based on the learning result, determines the type of the pedestrian, and generates the pedestrian type information.
  • the estimated time of the pedestrian crossing the road is generated based on the type of the pedestrian.
  • the pedestrian type information and the estimated crossing time are transmitted to the other vehicle.
  • the control unit of the other vehicle receives information on the type of the pedestrian and the estimated crossing time, determines whether to slow down or continues driving, and transmits the information to the vehicle that recognizes the pedestrian.
  • the method for guiding a pedestrian of the present invention includes the steps of recognizing a pedestrian based on a signal received from a pedestrian terminal; And transmitting pedestrian information indicating the pedestrian to another vehicle.
  • the pedestrian information includes pedestrian type information obtained based on a pedestrian image captured by a camera.
  • the pedestrian information is generated from a controller of the vehicle or a server that communicates with the vehicle through a network.
  • the pedestrian guidance method further includes determining the type of the pedestrian based on the learning result.
  • the type of pedestrian includes one or more of the pedestrian's age, the pedestrian's gender, and the pedestrian status.
  • the pedestrian guidance method further includes the step of estimating the estimated time of the pedestrian crossing the road based on the type of the pedestrian and transmitting the estimated time to the other vehicle.
  • the pedestrian guidance method further includes transmitting the estimated time of the pedestrian crossing to the other vehicle through a communication device.
  • the pedestrian guidance method further includes determining the safety level of the pedestrian according to whether the response signal received from the other vehicle continues driving and deceleration information.
  • the method for guiding pedestrians further includes outputting walking guidance information from one or more vehicles.
  • the walking guide information includes at least one of a possible guide for the pedestrian to cross the road, an estimated remaining time for crossing, and a walking direction, and is displayed on the display of the vehicle.
  • the pedestrian guidance method further includes moving a display position of walking guidance information displayed on the vehicles along the movement direction of the pedestrian.
  • the pedestrian guide method further includes transmitting the walking guide information to the pedestrian terminal through the communication device.
  • the method of guiding a pedestrian may include searching for a vehicle closest to the pedestrian; And outputting the walking guide information on a display of the vehicle closest to the pedestrian.
  • the present invention can be implemented as a computer-readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices that store data that can be read by a computer system.
  • the computer may also include a processor or control unit.

Abstract

자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법이 개시된다. 본 발명의 일 실시 예에 따른 보행자 안내 시스템은 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하고, 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 하나 이상의 자율 주행 차량들을 포함한다. 본 발명의 자율 주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.

Description

자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
본 발명은 자율 주행 차량에 관한 것으로, 보다 구체적으로는 보행자 상태와 행동을 예측하여 도로를 건너려는 보행자를 인식하는 보행자 안내 시스템 및 방법에 관한 것이다.
자율 주행 차량은 운전자의 개입 없이 스스로 운행이 가능하다. 이미 많은 업체들이 자율 주행 차량 사업에 진출하여, 연구 개발에 몰두하고 있다.
자율 주행 차량은 운전자 개입 없이 빈 공간을 찾아 주차되는 자동 주차 서비스를 지원할 수 있다.
자율 주행 차량은 차량 주변의 보행자를 인식하여 보행자와의 충돌을 회피할 수 있다. 이러한 보행자 인식 기술이 자율 주행 차량에 적용되었으나 차량 주변의 보행자와의 충돌 우려는 여전히 있다.
다 차로 도로의 경우, 일부 차로에서 보행자가 보이지 않는 사각지대가 존재할 수 있고 다른 차량이나 사물로 인하여 보행자가 보이지 않는다. 이 때문에, 차량이 보행자와의 충돌 위험을 예측하고 사고전 제동하기가 어렵다.
보행자 입장에서, 보장자는 모든 차로의 차량이 보이지 않기 때문에 예기치 못한 사고에 노출되기 쉽다. 보행자 상태에 따라 보행 속도 다를 수 있다. 그러나. 자율 주행 차량 기술은 보행자 상태를 고려하여 보행자가 도로를 건너 가는 시간을 예측하지 않는다. 예를 들어, 영유아, 임산부, 장애인, 노약자 등 보행 취약자가 횡단 보도를 건너는 시간이 젊은 성인에 비하여 길지만, 기존 신호 체계는 이러한 보행자의 상태를 반영하지 않고 신호 전환 시간을 일률적으로 적용하고 있다. 보행자는 도로를 횡단하여 건너 가는 과정에서 자신의 안전을 신호등에만 의존하고 있다.
본 발명은 전술한 필요성 및/또는 문제점을 해결하는 것을 목적으로 한다.
본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 적어도 일 실시 예에 따른 자율 주행 차량은 보행자를 촬영하는 카메라; 상기 보행자가 휴대한 보행자 단말기로부터 수신된 신호를 바탕으로 보행자 위치를 인식하고, 상기 카메라에 의해 촬영된 이미지를 분석하여 상기 보행자의 유형을 판정하고, 상기 보행자의 유형을 포함한 보행자 정보를 통신 장치를 통해 타 차량으로 전송하는 제어부; 및 상기 제어부의 제어 하에 상기 보행자의 인식 후에 주행 속도를 감속하는 브레이크 구동부를 포함한다.
본 발명의 적어도 일 실시 예에 따른 보행자 안내 시스템은 보행자 단말기; 및 상기 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하고, 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 하나 이상의 자율 주행 차량들을 포함한다. 상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함한다. 상기 보행자 정보는 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생된다.
본 발명의 적어도 일 실시 예에 따른 보행자 안내 방법은 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하는 단계; 및 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 단계를 포함한다. 상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함한다. 상기 보행자 정보는 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생된다.
본 발명은 차량간 통신을 이용하여 보행자가 보이지 않는 차량이 보행자를 인식하여 다 차로 도로에서 보행자에 대한 사각 없이 이 도로를 주행하는 차량들이 보행자 정보를 공유함으로써 보행자와 충돌 사고를 예방할 수 있다.
본 발명은 차량이 보행가능 여부를 보행자에게 안내함으로써 보행자가 안정감을 향상시킬 수 있다.
본 발명은 보행 가능 정보를 보행자와 가장 가까운 곳에 보여줌으로써 차량과 보행자의 충돌 사고를 예방할 수 있다.
본 발명은 보행자의 상태를 고려하여 보행자의 횡단 시간 예측을 통해 횡단보도 이용 상의 안전도를 높일 수 있다.
본 발명은 보행자 단말기를 통해 수신된 보행자 위치를 인식하고, 자율 주행 차량 또는 서버에서 보행자 유형을 판정한다. 본 발명은 보행자의 유형을 타 차량들로 전송하여 보행자와 가까워지는 차량들의 주행 속도를 늦추어 보행자의 도로 횡단시 보행 안전도를 향상시킬 수 있다.
본 발명은 보행자의 유형에 따라 보행자의 도로 횡단시 횡단 예상 시간을 추정하여 타 차량에 전송할 수 있다.
타 차량은 보행자 유형과 횡단 예상 시간 정보를 수신 받은 감속, 주행 지속 여부를 판단하여 보행자 인식 차량에게 응답한다. 보행자 인식 차량은 응답 받은 차량의 진입 정보(주행 지속 여부)에 기초하여 보행자의 횡단 가능 여부와 도로 횡단시의 보행자 안전도를 판단한다.
보행자와 가장 가까운 차로 또는 보행자의 진행 방향에 있는 차로의 차량은 보행자에게 잘 보이는 디스플레이에 보행 안내 정보를 출력하여 보행자의 안전한 도로 횡단을 안내한다. 보행자의 도로 횡단시 보행자의 이동 방향에서 따라 보행 안내 정보 표시 위치를 진행에 따라 차량 전면에 안내 표시가 함께 이동할 수 있다.
차량은 보행자 상태를 실시간 모니터(monitor)하여 보행자가 도로를 횡단하는 과정에서 보행자의 이동 속도 변화를 초래하는 보행자의 상태 변경 발생시에 횡단 예상 시간을 조정하여 타 차량에게 재 공지하여 타 차량으로 하여금 보행자의 이동 속도 변화에 적절히 대처할 수 있도록 한다.
보행자 단말기는 차량으로부터 수신된 보행 안내 정보를 보행자에게 출력할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 3 내지 도 6은 5G 통신을 이용한 자율 주행 차량의 동작의 일 예를 나타낸다.
도 7은 본 발명의 실시 예에 따른 차량의 외관을 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 차량을 외부의 다양한 각도에서 바라 본 도면이다.
도 9 및 도 10은 본 발명의 실시 예에 따른 차량의 내부를 보여 주는 도면이다.
도 11 및 도 12는 본 발명의 실시 예에 따른 차량의 주행과 관련된 객체들(objects)의 예를 보여 주는 도면들이다.
도 13은 본 발명의 실시 예에 따른 차량을 상세히 보여 주는 블럭도이다.
도 14는 V2X 통신을 보여 주는 도면이다.
도 15는 본 발명의 실시 예에 따른 보행 안내 시스템을 보여 주는 도면이다.
도 16은 본 발명의 실시 예에 따른 보행 안내 방법의 제어 수순을 단계적으로 보여 주는 흐름도이다.
도 17a 및 도 17b는 도 16에 도시된 보행 안내 방법을 도시화한 도면이다.
도 18은 감속 구간의 일 예를 보여 주는 도면이다.
도 19a 내지 도 20b는 보행자가 도로를 가로 질러 건너갈 때 보행자와 가까운 차량이 보행 안내 정보를 출력하는 예를 보여 주는 도면들이다.
도 21은 보행자 단말기의 디스플레이에 출력되는 보행 안내 정보의 일 예를 보여 주는 도면이다.
도 22는 보행자 인지 및 보행자 판단 방법을 상세히 보여 주는 흐름도이다.
도 23은 보행자 상태 변경에 따른 보행 안내 방법을 보여 주는 흐름도이다.
도 24는 서버에서 보행자 유형을 판단하는 실시 예를 보여 주는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
자율 주행 차량(Autonomous Vehicle)은 특정 정보 전송을 5G 네트워크로 전송한다(S1).
상기 특정 정보는, 자율 주행 관련 정보를 포함할 수 있다.
상기 자율 주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
상기 자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 상기 특정 정보는 보행자 유형, 보행자의 위치, 보행자의 도로 횡단 예상 시간, 보행 진행 방향 등의 보행자 정보를 포함할 수 있다. 그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2).
여기서, 상기 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
그리고, 상기 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 상기 자율 주행 차량으로 전송할 수 있다(S3).
전술한 바와 같이, 상기 원격 제어와 관련된 정보는 자율 주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 발명의 일 실시 예에서는 자율 주행 차량은, 상기 5G 네트워크를 통해 타 차량에게 보행자 정보를 송수신하고 보행자 정보를 바탕으로 감속, 정지할 수 있다. 보행자와 가까운 자율 주행 차량은 보행자가 도로를 횡단할 때 보행자에게 보행 안내를 출력한다.
이하 도 2 내지 도 6에서는 본 발명의 일 실시 예에 따라 보행자 안내 서비스를 제공하기 위하여, 자율 주행 차량과 5G 네트워크 간의 5G 통신을 위한 필수 과정(예를 들어, 차량과 5G 네트워크 간의 초기 접속 절차 등)을 개략적으로 설명한다.
도 2는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
자율 주행 차량은 5G 네트워크와 초기 접속(initial access) 절차를 수행한다(S20).
상기 초기 접속 절차는 하향 링크(Downlink, DL) 동작 획득을 위한 셀 서치(cell search), 시스템 정보(system information)를 획득하는 과정 등을 포함한다.
그리고, 상기 자율 주행 차량은 상기 5G 네트워크와 임의 접속(random access) 절차를 수행한다(S21).
상기 임의 접속 과정은 상향 링크(Uplink, UL) 동기 획득 또는 UL 데이터 전송을 위해 프리엠블 전송, 임의 접속 응답 수신 과정 등을 포함한다. 그리고, 상기 5G 네트워크는 상기 자율 주행 차량으로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송한다(S22).
상기 UL Grant 수신은 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원 스케줄링을 받는 과정을 포함한다.
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 상기 5G 네트워크로 특정 정보를 전송한다(S23).
그리고, 상기 5G 네트워크는 차량의 원격 제어 여부를 결정한다(S24).
그리고, 자율 주행 차량은 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL grant를 수신한다(S25).
그리고, 상기 5G 네트워크는 상기 DL grant에 기초하여 상기 자율 주행 차량으로 원격 제어와 관련된 정보(또는 신호)를 전송한다(S26).
한편, 도 3에서는 자율 주행 차량과 5G 통신의 초기 접속 과정 및 또는 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 예를 S20 내지 S26의 과정을 통해 예시적으로 설명하였지만, 본 발명은 이에 한정되지 않는다.
예를 들어, S20, S22, S23, S24 과정을 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 S21, S22, S23, S24, S26 과정을 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한 S23, S24, S25, S26을 통해 AI 동작과 하향링크 그랜트 수신과정이 결합되는 과정을 수행할 수 있다.
또한, 도 2에서는 자율 주행 차량 동작에 대하여 S20 내지 S26을 통해 예시적으로 설명한 것이며, 본 발명은 이에 한정되지 않는다.
예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S22, S25가 S23, S26과 선택적으로 결합되어 동작할 수 있다, 또한 예를 들어, 상기 자율 주행 차량 동작은, S21, S22, S23, S26으로 구성될 수도 있다. 또한 예를 들어, 상기 자율 주행 차량 동작은, S20, S21, S23, S26으로 구성될 수 있다. 또한, 예를 들어, 상기 자율 주행 차량 동작은, S22, S23, S25, S26으로 구성될 수 있다.
도 3 내지 도 6은 5G 통신을 이용한 자율 주행 차량 동작의 일 예를 나타낸다.
먼저 도 3을 참고하면, 자율 주행 모듈을 포함하는 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S30).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S31).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S32).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S33).
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S34).
그리고, 상기 자율 주행 차량은 원격 제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S35).
S30에 빔 관리(beam management, BM) 과정이 추가될 수 있으며, S31에 PRACH(physical random access channel) 전송과 관련된 빔 실패 복구(beam failure recovery) 과정이 추가될 수 있으며, S32에 UL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계 추가될 수 있으며, S33에 특정 정보를 포함하는 PUCCH (physical uplink control channel)/PUSCH (physical uplink shared channel)의 빔 전송 방향과 관련하여 QCL 관계 추가가 추가될 수 있다. 또한, S34에 DL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계 추가될 수 있으다.
도 4를 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S40).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S41).
그리고, 상기 자율 주행 차량은 설정된 그랜트(configured grant)에 기초하여 특정 정보를 5G 네트워크로 전송한다(S42).
그리고, 상기 자율 주행 차량은 원격 제어와 관련된 정보(또는 신호를) 상기 설정된 그랜트에 기초하여 5G 네트워크로부터 수신한다(S43).
도 5를 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S50).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S51).
그리고, 상기 자율 주행 차량은 5G 네트워크로부터 DownlinkPreemption IE를 수신한다(S52).
그리고, 상기 자율 주행 차량은 상기 DownlinkPreemption IE에 기초하여 프리엠션 지시(preemption indication)를 포함하는 DCI 포맷 2_1을 5G 네트워크로부터 수신한다(S53).
그리고, 상기 자율 주행 차량은 pre-emption indication에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB data의 수신을 수행(또는 기대 또는 가정)하지 않는다(S54).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S55).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S56).
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S57).
그리고, 상기 자율 주행 차량은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S58).
도 6을 참고하면, 자율 주행 차량은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S60).
그리고, 상기 자율 주행 차량은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S61).
그리고, 상기 자율 주행 차량은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S62).
상기 UL grant는 상기 특정 정보의 전송에 대한 반복 횟수에 대한 정보를 포함하고, 상기 특정 정보는 상기 반복 횟수에 대한 정보에 기초하여 반복하여 전송된다(S63).
그리고, 상기 자율 주행 차량은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다.
그리고, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제 1 주파수 자원에서, 두 번째 특정 정보의 전송은 제 2 주파수 자원에서 전송될 수 있다.
상기 특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(narrowband)을 통해 전송될 수 있다.
그리고, 상기 자율 주행 차량은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S64).
그리고, 상기 자율 주행 차량은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S65).
앞서 살핀 5G 통신 기술은 도 7 내지 도 24에서 후술할 본 명세서에서 제안하는 방법들과 결합되어 적용될 수 있으며, 또는 본 명세서에서 제안하는 방법들의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.
본 명세서에서 기술되는 차량은 통신망을 통해 외부 서버에 연결되고, 자율 주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능하다. 통신망은 전술한 5G 네트워크를 포함할 수 있다. 본 발명의 차량은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등으로 구현될 수 있다.
이하의 실시 예에서, 보행자는 보행자 단말기를 휴대하고 도로를 횡단하려는 자를 의미한다. 사용자는 차량의 운전자, 또는 탑승자일 수 있다. 보행자 단말기는 보행자가 휴대 가능하고 위치 정보의 전송이 가능하고 통신망을 통해 차량 및/또는 외부 디바이스로부터 신호를 송수신할 수 있는 단말기 예를 들어, 스마트 폰일 수 있다.
본 발명의 자율 주행 차량와, 서버 중 하나 이상이 인공 지능(Artificial Inteligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.
예를 들어, 자율 주행 차량은 차량에 포함된 적어도 하나의 인공지능(artificial intelligence, AI) 모듈, 로봇 등과 연계되어 동작할 수 있다.
예를 들어, 차량은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.
로봇은 차량 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 로봇과 통신을 수행할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 적어도 어느 하나를 로봇에 제공할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 차량의 이동 경로와 로봇의 이동 경로간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)를 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.
인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.
차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.
실시 예에 따라, 차량에 포함되는 적어도 하나의 전자 장치는, 통신 장치를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서의 다양한 실시 예들을 상세히 설명한다.
도 7 내지 도 13을 참조하면, 전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 도 7에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다. 도 7 내지 도 12에서 차량이 세단 형태로 예시되었으나 이에 한정되지 않는다.
차량(100)은 외부 디바이스에 의하여 원격 제어될 수 있다. 외부 디바이스는 서버로 해석될 수 있다. 서버는 차량(100)이 원격 제어가 필요하다고 판단되는 경우, 차량(100)에 대한 원격 제어를 수행할 수 있다.
차량(100)의 운행 모드는 차량(100)을 제어하는 주체에 따라 매뉴얼 모드(Manual mode), 자율 주행 모드, 또는 원격 제어 모드로 나뉠 수 있다. 매뉴얼 모드에서 운전자는 차량을 직접 제어하여 차량 주행을 제어할 수 있다. 자율 주행 모드에서 제어부(170)나 운행 시스템(700)은 운전자 개입 없이 차량(100)의 주행을 제어할 수 있다. 원격 제어 모드에서 운전자 개입 없이 외부 디바이스가 차량(100)의 주행을 제어할 수 있다.
사용자는 사용자 인터페이스 장치(200)를 통해 자율 주행 모드, 매뉴얼 모드, 및 원격 제어 모드 중 하나를 선택할 수 있다.
차량(100)은 운전자 상태 정보, 차량 주행 정보, 및 차량 상태 정보 중 적어도 하나에 기초하여, 자율 주행 모드, 매뉴얼 모드, 및 원격 제어 모드 중 하나로 자동 전환될 수 있다.
운전자 상태 정보는 사용자 인터페이스 장치(200)를 통하여 생성되어 제어부(170)에 제공될 수 있다. 운전자 상태 정보는 내부 카메라(220)나 생체 감지부(230)를 통하여 감지되는 운전자에 대한 영상이나 생체 정보에 기초하여 생성될 수 있다. 예를 들어, 운전자 상태 정보는 내부 카메라(220)를 통하여 획득된 이미지로부터 얻어진 운전자의 시선, 얼굴 표정, 행동, 운전자 위치 정보 등을 포함할 수 있다. 운전자 상태 정보는 생체 감지부(230)를 통하여 획득되는 사용자의 생체 정보를 포함할 수 있다. 운전자 상태 정보는 운전자의 시선이 향하는 방향, 운전자의 졸음 여부, 운전자의 건강 상태, 및 운전자의 감정 상태 등을 나타낼 수 있다.
차량 주행 정보는 차량(100)의 위치 정보, 차량(100)의 자세 정보, 타 차량(OB11)으로부터 수신하는 타 차량(OB11)에 대한 정보, 차량(100)의 주행 경로에 대한 정보나 지도 정보(map)를 포함하는 내비게이션 정보 등을 포함할 수 있다.
차량 주행 정보는 목적지까지의 경로 상에서 차량(100)의 현재 위치, 차량(100)의 주변에 존재하는 객체의 종류, 위치, 및 움직임, 차량(100)의 주변에서 감지되는 차선 유무 등을 포함할 수 있다. 또한, 차량 주행 정보는 타 차량(OB11)의 주행 정보, 차량(100)의 주변에 정차 가능 공간, 차량과 객체가 충돌할 가능성, 차량(100)의 주변에서 감지되는 보행자나 자전거 정보, 도로 정보, 차량(100) 주변의 신호 상태, 차량(100)의 움직임 등을 나타낼 수 있다.
차량 주행 정보는 오브젝트 검출 장치(300), 통신 장치(400), 내비게이션 시스템(770), 센싱부(120), 및 인터페이스부(130) 중 적어도 하나 이상과의 연계를 통해 생성되어, 제어부(170)에 제공될 수 있다.
차량 상태 정보는 차량(100)에 구비된 여러 장치들의 상태에 관련된 정보일 수 있다. 예를 들어, 차량 상태 정보는 배터리의 충전 상태, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700)의 동작 상태에 대한 정보와 각 장치의 이상 여부에 대한 정보를 포함할 수 있다.
차량 상태 정보는 차량(100)의 GPS(Global Positioning System) 신호가 정상적으로 수신되는지, 차량(100)에 구비된 적어도 하나의 센서에 이상이 발생하는지, 차량(100)에 구비된 각 장치들이 정상적으로 동작하는지를 나타낼 수 있다.
오브젝트 검출 장치(300)에서 생성되는 객체 정보에 기초하여, 차량(100)의 제어 모드가 매뉴얼 모드로부터 자율 주행 모드 또는 원격 제어 모드로 전환되거나, 자율 주행 모드에서 매뉴얼 모드 또는 원격 제어 모드로 또는, 원격 제어 모드로부터 매뉴얼 모드 또는 자율 주행 모드로 전환될 수 있다.
통신 장치(400)를 통해 수신되는 정보에 기초하여 차량(100)의 제어 모드가 매뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 매뉴얼 모드로 전환될 수 있다.
외부 디바이스(또는 서버)에서 제공되는 정보, 데이터, 신호에 기초하여 차량(100)의 제어 모드가 매뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 매뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 차량(100)은 운행 시스템(700)의 제어 하에 주행될 수 있다. 자율 주행 모드에서 차량(100)은 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보에 기초하여 운행될 수 있다.
차량(100)이 매뉴얼 모드로 운행되는 경우, 차량(100)은 운전 조작 장치(500)를 통하여 입력되는 사용자 입력에 따라 주행될 수 있다.
차량(100)이 원격 제어 모드로 운행되는 경우, 차량(100)은 통신 장치(400)를 통하여 외부 디바이스가 송신하는 원격 제어 신호를 수신할 수 있다. 차량(100)은 원격 제어 신호에 응답하여 제어될 수 있다.
도 13을 참조하면, 차량(100)은 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
도 13에 도시된 구성 요소 외에 다른 구성 요소를 더 포함하거나, 일부 구성 요소가 생략될 수 있다.
사용자 인터페이스 장치(200)는 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은 사용자 인터페이스 장치(200)를 통해 UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는 입력부(210), 탑승자 감지부(240), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
입력부(210)는 사용자 데이터 또는 명령을 입력 받는다. 입력부(210)에서 수집한 데이터는 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(210)는 차량 내부에 배치될 수 있다. 입력부(210)는 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(210)는 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 음성 입력부(211)는 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는 사용자의 제스쳐 입력을 전기적 신호로 전환하여 프로세서(270) 또는 제어부(170)에 제공할 수 있다. 제스쳐 입력부(212)는 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는 사용자의 터치 입력을 전기적 신호로 전환하여 프로세서(270) 또는 제어부(170)에 제공할 수 있다. 터치 입력부(213)는 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성되어 터치 스크린을 구현할 수 있다. 터치 스크린은 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)의 출력 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 기계식 입력부(214)는 스티어링 휠(steering wheel), 센터 페시아(center fascia), 센터 콘솔(center console), 칵핏 모듈(Cockpit module), 도어(door) 등에 배치될 수 있다.
탑승자 감지부(240)는 차량(100) 내부의 탑승자 또는 사물을 감지할 수 있다. 탑승자 감지부(240)는 내부 카메라(220) 및 생체 감지부(230)를 포함할 수 있다.
내부 카메라(220)는 차량 내부 공간을 촬영한다. 프로세서(270)는 내부 카메라(220)로부터 수신된 차량 내부 영상을 기초로 사용자 상태를 감지할 수 있다.
프로세서(270)는 차량 내부 영상을 분석하여 운전자의 시선, 얼굴, 행동, 표정, 및 위치 등의 운전자 상태를 판단하여 운전자 상태 정보를 발생할 수 있다. 프로세서(270)는 차량 내부 영상에서 사용자의 제스쳐(gesture)를 판단할 수 있다. 프로세서(270)는 운전자 상태 정보를 제어부(170)에 제공할 수 있다.
생체 감지부(230)는 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는 사용자의 생체 정보를 획득할 수 있는 센서를 이용하여 사용자의 지문 정보, 심박동 정보, 및 뇌파 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증이나 사용자의 상태 판단을 위해 이용될 수 있다.
프로세서(270)는 운전자의 생체 정보를 바탕으로 운전자의 상태를 판단하여 운전자 상태 정보를 발생할 수 있다. 운전자 상태 정보는 운전자가 수면 중인지, 졸고 있는지, 흥분하는지, 위급한 상태인지 등을 나타낼 수 있다. 프로세서(270)는 운전자의 생체 정보로부터 획득한 운전자 상태 정보를 제어부(170)에 제공할 수 있다.
출력부(250)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생한다. 출력부(250)는 디스플레이부(251), 음향 출력부(252), 햅틱 출력부(253) 등을 포함할 수 있다.
디스플레이부(251)는 다양한 정보를 포함한 영상 신호를 표시한다. 디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 결합되어 터치 스크린을 구현할 수 있다. 디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. HUD는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 표시할 수 있다.
디스플레이부(251)는 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
디스플레이부(251)는 도 8 내지 도 10에 도시된 바와 같이 복수의 디스플레이(251a 내지 251g)를 포함할 수 있다. 디스플레이(251)는 스티어링 휠의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역(251a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다. 윈도우에 배치된 디스플레이(251h)는 차량(100)의 전방 윈도우, 후방 윈도우, 측면 윈도우 각각에 배치될 수 있다.
음향 출력부(252)는 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 음향 출력부(252)는 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는 촉각 신호를 출력한다. 햅틱 출력부(253)는 촉각 신호에 따라 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시킨다.
프로세서(270)는 사용자 인터페이스 장치(200)의 구성 요소들 각각의 전반적인 동작을 제어할 수 있다. 사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는 다른 장치의 프로세서 또는 제어부(170)의 제어 하에 동작될 수 있다.
오브젝트 검출 장치(300)는 차량(100) 외부에 위치하는 객체(object)를 검출한다. 객체는 차량(100)의 운행과 관련된 다양한 물체들일 수 있다. 예를 들어, 객체는 도 11 및 도 12에 도시된 바와 같이 차로(Lane, OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 고정 구조물, 과속 방지턱, 지형 지물, 동물 등을 포함할 수 있다.
차로(OB10)는 주행 차로, 주행 차로의 옆 차로, 반대 방향으로 주행하는 차량의 차로일 수 있다. 차로(OB10)는 차로(Lane)을 형성하는 좌우측 차선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량(OB11)은 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 타 차량(OB11)은 차량(100)보다 선행하는 차량이거나, 후행하는 차량일 수 있다.
보행자(OB12)는 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는 차량(100)의 주변에 위치하고 2 개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB13)는 차량(100) 주변의 인도 또는 차도 상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은 타 차량(OB11)에 구비된 램프에서 생성된 빛일 수 있다. 빛은 가로등에서 생성된 조명 빛 또는 태양광일 수 있다.
도로는 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
고정 구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리, 지형 지물 등를 포함할 수 있다.
지형 지물은 산, 언덕, 터널, 강, 바다 등을 포함할 수 있다.
객체는 이동 객체와 고정 객체로 나뉘어질 수 있다. 이동 객체는 타 차량(OB11), 이륜차(OB13), 보행자(OB12) 등일 수 있다. 고정 객체는 교통 신호, 도로, 고정 구조물일 수 있다.
오브젝트 검출 장치(300)는 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
카메라(310)는 차량(100)의 외부 환경을 촬영하여 차량(100)의 외부 환경을 보여 주는 영상 신호를 출력한다. 카메라(310)는 차량 주변의 보행자를 촬영할 수 있다.
카메라(310)는 차량(100) 외부의 적절한 위치에 하나 이상 배치될 수 있다. 카메라(310)는 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
카메라(310)는 차량 전방의 영상을 획득하기 위해 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라(310)는 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라(310)는 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라(310)는 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라(310)는 차량 측방의 영상을 획득하기 위해 차량(100)의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 카메라(310)는 사이드 미러, 휀더(fender) 또는 도어 주변에 배치될 수 있다. 카메라(310)로부터 출력된 영상 신호는 프로세서(370)에 제공된다.
레이다(320)는 전자파 송신부, 수신부를 포함할 수 있다. 레이다(320)는 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다(320)는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keying) 방식으로 구현될 수 있다.
레이다(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 시프트(phase-shift) 방식에 기초하여, 객체를 검출하고, 검출된 객체의 위치, 검출된 객체와의 거리 및 상대 속도를 검출할 수 있다. 레이다(320)는 차량(100)의 전방, 후방 또는 측방에 위치하는 주변 객체를 감지하기 위해 차량(100)에서 적절한 위치에 배치될 수 있다.
라이다(330)는 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는 TOF(Time of Flight) 방식 또는 페이즈 시프트(phase-shift) 방식으로 구현될 수 있다. 라이다(330)는 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다(330)는 모터에 의해 회전되며, 주변 객체를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다(330)는 광 스티어링에 의해 차량(100)을 기준으로 소정 범위 내에 위치하는 주변 객체를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 시프트(phase-shift) 방식에 기초하여, 주변 객체를 검출하고, 검출된 주변 객체의 위치, 검출된 객체와의 거리 및 상대 속도를 검출할 수 있다. 라이다(330)는 차량의 전방, 후방 또는 측방에 위치하는 주변 객체를 감지하기 위해 차량(100)에서 적절한 위치에 배치될 수 있다.
초음파 센서(340)는 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)는 객체로부터 반사되어 수시된 초음파로 주변 객체를 검출하고, 검출된 객체의 위치, 검출된 객체와의 거리 및 상대 속도를 검출할 수 있다. 초음파 센서(340)는 차량의 전방, 후방 또는 측방에 위치하는 주변 객체를 감지하기 위해 차량(100)에서 적절한 위치에 배치될 수 있다.
적외선 센서(350)는 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는 객체로부터 반사되어 수시된 적외선을 기초로 주변 객체를 검출하고, 검출된 객체의 위치, 검출된 객체와의 거리 및 상대 속도를 검출할 수 있다. 적외선 센서(350)는 차량의 전방, 후방 또는 측방에 위치하는 주변 객체를 감지하기 위해 차량(100)에서 적절한 위치에 배치될 수 있다.
프로세서(370)는 오브젝트 검출 장치(300)의 구성 요소 각각의 전반적인 동작을 제어할 수 있다. 프로세서(370)는 획득된 영상에 기초하여 주변 객체를 검출하고, 트래킹(tracking)할 수 있다. 프로세서(370)는 영상 처리 알고리즘을 이용하여 객체와의 거리 산출, 객체와의 상대 속도 산출, 객체의 종류, 위치, 크기, 형상, 색상, 이동 경로 판단, 감지되는 문자의 내용 판단 등의 동작을 수행할 수 있다.
프로세서(370)는 송신된 전자파가 객체에 반사되어 되돌아오는 반사 전자파에 기초하여, 주변 객체를 검출하고, 트래킹할 수 있다. 프로세서(370)는 전자파에 기초하여, 객체와의 거리 산출, 객체와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는 송신된 레이저 광이 객체에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 주변 객체를 검출하고, 트래킹할 수 있다. 프로세서(370)는 레이저 광에 기초하여 객체와의 거리 산출, 객체와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는 송신된 초음파가 객체에 반사되어 되돌아오는 반사 초음파에 기초하여, 주변 객체를 검출하고, 트래킹할 수 있다. 프로세서(370)는 초음파에 기초하여, 객체와의 거리 산출, 객체와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는 송신된 적외선 광이 객체에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 주변 객체를 검출하고, 트래킹할 수 있다. 프로세서(370)는 적외선 광에 기초하여 객체와의 거리 산출, 객체와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는 카메라(310)를 통하여 획득된 영상, 레이다(320)를 통하여 수신된 반사 전자파, 라이다(330)를 통하여 수신된 반사 레이저 광, 초음파 센서(340)를 통하여 수신된 반사 초음파, 및 적외선 센서(350)를 통하여 수신된 반사 적외선 광 중 적어도 하나에 기초하여, 주변 객체를 판단하여 객체 정보를 발생할 수 있다. 프로세서(370)는 객체 정보를 제어부(170)에 제공할 수 있다.
객체 정보는 차량(100)의 주변에 존재하는 객체의 종류, 위치, 크기, 형상, 색상, 이동 경로, 속도, 감지되는 문자를 나타낸다. 객체 정보는 차량(100) 주변에 차선이 존재하는지, 차량(100)은 정차 중인데 차량(100) 주변의 타 차량이 주행하는지, 차량(100) 주변에 정차할 수 있는 구역이 있는지, 차량과 오브젝트가 충돌할 가능성, 차량(100) 주변에 보행자나 자전거가 어떻게 분포되어 있는지, 차량(100)이 주행하는 도로의 종류, 차량(100) 주변 신호등의 상태, 차량(100)의 움직임 등을 나타낼 수 있다.
오브젝트 검출 장치(300)는 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)는 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
통신 장치(400)는 통신 링크를 통해 외부 디바이스에 연결되어 외부 디바이스와 양방향 통신을 수행한다. 외부 디바이스는 도 70에서 사용자 단말기(50)와 서버(40)일 수 있다.
통신 장치(400)는 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
근거리 통신부(410)는 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는 차량(100)의 위치 정보를 획득한다. 위치 정보부(420)는 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는 서버(V2I : Vehicle to Infra), 타 차량과의 통신(V2V : Vehicle to Vehicle) 또는 보행자와의 통신(V2P : Vehicle to Pedestrian)을 수행한다. V2X 통신부(430)는 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 회로를 포함할 수 있다.
광통신부(440)는 광을 매개로 외부 디바이스와 통신을 수행한다. 광통신부(440)는 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다. 광발신부는 차량(100)에 포함된 램프와 일체화될 수 있다.
방송 송수신부(450)는 방송 채널을 통해 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는 TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는 통신 장치(400)의 각 구성 요소들의 전반적인 동작을 제어할 수 있다. 프로세서(470)는 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 및 방송 송수신부(450) 중 적어도 하나를 통하여 수신되는 정보에 기초하여, 차량 주행 정보를 생성할 수 있다. 프로세서(470)는 타 차량(OB11)으로부터 수신되는 타 차량(OB11)의 위치, 차종, 주행 경로, 속도, 각종 센싱 값 등에 대한 정보에 기초하여, 차량 주행 정보를 생성할 수 있다. 타 차량(OB11)의 각종 센싱 값에 대한 정보가 수신되는 경우, 차량(100)에 별도의 센서가 없더라도, 프로세서(470)는 차량(100)의 주변 객체에 대한 정보를 얻을 수 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
제어부(170)는 통신 장치(400)로부터 수신된 신호를 바탕으로 운전자 상태 정보, 차량 상태 정보, 차량 주행 정보, 차량(100)의 에러를 나타내는 에러 정보, 객체 정보, 사용자 인터페이스 장치(200)를 통하여 수신되는 사용자 입력, 및 원격 제어 요청 신호 중 적어도 하나를 외부 디바이스로 전송할 수 있다. 원격 제어용 서버는 차량(100)이 송신하는 정보에 기초하여 차량(100)이 원격 제어가 필요한지 판단할 수 있다.
제어부(170)는 통신 장치(400)를 통하여, 원격 제어용 서버로부터 수시된 제어 신호에 따라 차량(100)을 제어할 수 있다.
운전 조작 장치(500)는 운전을 위한 사용자 입력을 수신한다. 매뉴얼 모드에서, 차량(100)은 운전 조작 장치(500)에 의해 제공되는 사용자 입력 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시 예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는 사용자로부터 차량(100)의 감속, 을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는 페달 형태로 구현될 수 있다. 가속 입력 장치 또는 브레이크 입력 장치는 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는 차량(100)내 각종 장치의 구동을 전기적으로 제어한다. 차량 구동 장치(600)는 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
파워 트레인 구동부(610)는 파워 트레인 장치의 동작을 제어할 수 있다. 파워 트레인 구동부(610)는 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는 차량(100)의 동력원에 대한 제어를 수행한다. 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는 제어부(170)의 제어 하에 엔진 출력 토크를 조정할 수 있다. 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는 제어부(170)의 제어 하에 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는 변속기에 대한 제어를 수행한다. 변속기 구동부(612)는 변속기의 상태를 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다. 엔진이 동력원인 경우, 변속기 구동부(612)는 전진(D) 상태에서 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는 샤시 장치의 동작을 제어할 수 있다. 샤시 구동부(620)는 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행하여 차량(100)의 속도를 줄일 수 있다. 브레이크 구동부(622)는 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여 차량(100)의 진동이 저감되도록 제어할 수 있다. 서스펜션 구동부(623)는 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 도어/윈도우 구동부(630)는 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다. 도어 구동부(631)는 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행하여 차량(100)의 윈도우 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다. 안전 장치 구동부(640)는 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행하여 위험 감지시 에어백이 전개되도록 이 에어백을 제어한다.
시트벨트 구동부(642)는 차량(100) 내의 시트벨트 장치(seatbelt apparatus)에 대한 전자식 제어를 수행하여 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행하여 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 이 에어백을 제어한다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행한다.
공조 구동부(660)는 차량(100) 내의 공조 장치(air conditioner)에 대한 전자식 제어를 수행하여 차량 내부의 온도를 조절한다.
운행 시스템(700)은 차량(100)의 운행을 제어한다. 운행 시스템(700)은 자율 주행 모드에서 동작될 수 있다. 운행 시스템(700)은 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750)을 포함할 수 있다. 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 운행 시스템(700)은 제어부(170)의 하위 개념일 수도 있다.
운행 시스템(700)은 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 하나 이상과 연계되어 차량(100)의 자율 운행을 제어할 수 있다.
주행 시스템(710)은 내비게이션 시스템(770)으로부터의 내비게이션 정보를 차량 구동 장치(600)에 제공한다. 내비게이션 정보는 목적지, 경유지 정보 등 자율 주행에 필요한 경로 정보를 포함할 수 있다. 또한, 내비게이션 정보는 맵 데이터, 교통 정보 등을 포함한다.
주행 시스템(710)은 오브젝트 검출 장치(300)로부터의 객체 정보를 차량 구동 장치(600)에 제공한다. 주행 시스템(710)은 통신 장치(400)를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치(600)에 제공할 수 있다.
출차 시스템(740)은 차량(100)의 출차를 수행한다. 출차 시스템(740)은 내비게이션 시스템(770)으로부터의 내비게이션 정보를 차량 구동 장치(600)에 제공할 수 있다. 출차 시스템(740)은 오브젝트 검출 장치(300)로부터의 객체 정보를 차량 구동 장치(600)에 제공할 수 있다. 출차 시스템(740)은 통신 장치(400)를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치(600)에 제공할 수 있다.
주차 시스템(750)은 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은 내비게이션 시스템(770)으로부터의 내비게이션 정보를 바탕으로 차량 구동 장치(600)에 제어 신호를 제공할 수 있다. 주차 시스템(750)은 오브젝트 검출 장치(300)로부터의 객체 정보를 차량 구동 장치(600)에 제공할 수 있다. 주차 시스템(750)은 통신 장치(400)를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치(600)에 제공할 수 있다.
내비게이션 시스템(770)은 내비게이션 정보를 발생할 수 있다. 내비게이션 정보는 맵(map) 데이터, 설정된 목적지 정보, 목적지까지의 경로 정보를 포함한 드라이빙 플랜 데이터(driving plan data), 경로 상의 다양한 객체에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 하나 이상을 포함할 수 있다. 내비게이션 시스템(770)은 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다. 내비게이션 시스템(770)은 통신 장치(400)를 통해 수신된 외부 디바이스로부터 정보를 수신하여 기 저장된 정보를 업데이트 할 수 있다. 내비게이션 시스템(770)은 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수 있다.
센싱부(120)는 차량의 상태를 센싱할 수 있다. 센싱부(120)는 자세 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서 등을 포함할 수 있다. 자세 센서는 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor) 등을 포함할 수 있다.
센싱부(120)는 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등을 실시간 감지하여 센싱 신호를 발생할 수 있다.
센싱부(120)는 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS) 등을 더 포함할 수 있다.
인터페이스부(130)는 차량(100)에 연결되는 다양한 종류의 외부 기기와의 인터페이스를 제공한다. 예를 들면, 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 포함하여 이동 단말기와 데이터를 교환할 수 있다.
인터페이스부(130)는 이동 단말기에 전기 에너지를 공급할 수 있다. 이동 단말기가 인터페이스부(130)에 전기적으로 연결되면, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는 제어부(170)에 연결된다. 메모리(140)는 차량의 구성 요소들 각각의 구동에 필요한 데이터, 사용자 입력 데이터, 외부 디바이스로부터 수신된 정보 데이터 등을 저장할 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는 ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등으로 구현될 수 있다.
메모리(140)는 제어부(170)와 일체형으로 구현되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는 차량(100) 내의 구성 요소들 각각의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Control Unit)를 포함할 수 있다. 제어부(170)는 오브젝트 검출 장치(300) 및 통신 장치(400) 중 적어도 하나를 통하여 획득되는 정보에 기초하여 차량(100)을 제어할 수 있다. 이에 따라, 차량(100)은 제어부(170)의 제어 하에 자율 주행할 수 있다.
프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 등으로 구현될 수 있다.
전원 공급부(190)는 차량 내부의 배터리 로부터 전원을 공급받을 수 있다. 전원 공급부(190)는 제어부(170)의 제어 하에 각 구성 요소들의 동작에 필요한 전원을 구성 요소들에 공급할 수 있다.
차량(100)은 IVI(In-Vehicle Infotainment) 시스템을 포함할 수 있다. IVI 시스템은 사용자 인터페이스 장치(200), 통신 장치(400), 제어부(170), 내비게이션 시스템(770), 및 운행 시스템(700)과 연계되어 동작할 수 있다. IVI 시스템은 사용자 입력에 응답하여 멀티 미디어 컨텐츠를 재생하고 다양한 응용 프로그램에 대한 UI(User Interfaces) 또는 UX(User Experience) 프로그램을 실행한다.
제어부(170)는 V2X 통신을 제어하여 보행자 정보를 타 차량(OB11)에 전달하고 보행자 단말기에 보행 안내 정보를 전송할 수 있다.
제어부(170)는 AI 프로세서(800)를 더 포함할 수 있다. AI는 학습 결과를 바탕으로 카메라(310)에 의해 촬영된 보행자 이미지를 분석하여 보행자의 유형을 판단하고, 보행자의 이동 속도, 보행자의 도로 횡단 예상 시간 등을 추정할 수 있다.
도 14는 V2X 통신을 보여 주는 도면이다.
도 14를 참조하면, V2X 통신은 차량 사이의 통신(communication between vehicles)을 지칭하는 V2V(Vehicle-to-Vehicle), 차량과 eNB 또는 RSU(Road Side Unit) 사이의 통신을 지칭하는 V2I(Vehicle to Infrastructure), 차량 및 개인(보행자, 자전거 운전자, 차량 운전자 또는 승객)이 소지하고 있는 사용자 단말기(user equipment, UE) 간 통신을 지칭하는 V2P(Vehicle-to-Pedestrian), V2N(vehicle-to-network) 등 차량과 모든 개체들 간 통신을 포함한다.
V2X 통신은 V2X 사이드링크 또는 NR V2X와 동일한 의미를 나타내거나 또는 V2X 사이드링크 또는 NR V2X를 포함하는 보다 넓은 의미를 나타낼 수 있다.
V2X 통신은 예를 들어, 전방 충돌 경고, 자동 주차 시스템, 협력 조정형 크루즈 컨트롤(Cooperative adaptive cruise control: CACC), 제어 상실 경고, 교통행렬 경고, 교통 취약자 안전 경고, 긴급 차량 경보, 굽은 도로 주행 시 속도 경고, 트래픽 흐름 제어 등 다양한 서비스에 적용 가능하다.
V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다. 이 경우, V2X 통신을 지원하는 무선 통신 시스템에는, 상기 차량과 모든 개체들 간의 통신을 지원하기 위한 특정 네트워크 개체(network entity)들이 존재할 수 있다. 예를 들어, 상기 네트워크 개체는, BS(eNB), RSU(road side unit), UE, 또는 어플리케이션 서버(application server)(예, 교통 안전 서버(traffic safety server)) 등일 수 있다.
또한, V2X 통신을 수행하는 사용자 단말기(UE)는, 일반적인 휴대용 UE(handheld UE)뿐만 아니라, 차량 단말기(V-UE(Vehicle UE)), 보행자 단말기E(pedestrian UE), BS 타입(eNB type)의 RSU, 또는 UE 타입(UE type)의 RSU, 통신 모듈을 구비한 로봇 등을 의미할 수 있다.
V2X 통신은 단말기들(UE) 간에 직접 수행되거나, 상기 네트워크 개체(들)를 통해 수행될 수 있다. 이러한 V2X 통신의 수행 방식에 따라 V2X 동작 모드가 구분될 수 있다.
V2X 통신은, 사업자(operator) 또는 제3자가 V2X가 지원되는 지역 내에서 UE 식별자를 트랙킹할 수 없도록, V2X 어플리케이션의 사용 시에 UE의 익명성(pseudonymity) 및 개인보호(privacy)를 지원할 것이 요구된다.
V2X 통신에서 자주 사용되는 용어는 다음과 같이 정의된다.
- RSU (Road Side Unit): RSU는 V2I 서비스를 사용하여 이동 차량과 전송/수신 할 수 있는 V2X 서비스 가능 장치이다. 또한, RSU는 V2X 어플리케이션을 지원하는 고정 인프라 엔터티로서, V2X 어플리케이션을 지원하는 다른 엔터티와 메시지를 교환할 수 있다. RSU는 기존 ITS 스펙에서 자주 사용되는 용어이며, 3GPP 스펙에 이 용어를 도입한 이유는 ITS 산업에서 문서를 더 쉽게 읽을 수 있도록 하기 위해서이다. RSU는 V2X 어플리케이션 로직을 BS(BS-타입 RSU라고 함) 또는 UE(UE-타입 RSU라고 함)의 기능과 결합하는 논리적 엔티티이다.
- V2I 서비스: V2X 서비스의 일 타입으로, 한 쪽은 차량(vehicle)이고 다른 쪽은 기반시설(infrastructure)에 속하는 엔티티.
- V2P 서비스: V2X 서비스의 일 타입으로, 한 쪽은 차량이고, 다른 쪽은 개인이 휴대하는 기기(예, 보행자, 자전거 타는 사람, 운전자 또는 동승자가 휴대하는 휴대용 UE기).
- V2X 서비스: 차량에 전송 또는 수신 장치가 관계된 3GPP 통신 서비스 타입.
- V2X 가능(enabled) UE: V2X 서비스를 지원하는 단말기(UE).
- V2V 서비스: V2X 서비스의 타입으로, 통신의 양쪽 모두 차량이다.
- V2V 통신 범위: V2V 서비스에 참여하는 두 차량 간의 직접 통신 범위.
V2X(Vehicle-to-Everything)라고 불리는 V2X 어플리케이션은 살핀 것처럼, (1) 차량 대 차량(V2V), (2) 차량 대 인프라 (V2I), (3) 차량 대 네트워크(V2N), (4) 차량 대 보행자 (V2P)의 4가지 타입이 있다.
도 42는 V2X 어플리케이션의 타입을 예시한 것이다.
이 4가지 타입의 V2X 어플리케이션은 최종 사용자를 위해 보다 지능적인 서비스를 제공하는 "협력적 인식(co-operative awareness)"을 사용할 수 있다. 이는 차량(100, OB11), 길가 기반 시설(RSU), 애플리케이션 서버(2000) 및 보행자(OB12)와 같은 엔티티들이 협동 충돌 경고 또는 자율 주행과 같은 보다 지능적인 정보를 제공하기 위해 해당 지식을 처리하고 공유하도록 해당 지역 환경에 대한 지식(예, 근접한 다른 차량 또는 센서 장비로부터 받은 정보)을 수집할 수 있음을 의미한다.
본 발명이 차량(100)은 자체의 AI 프로세서를 이용하여 보행자 정보를 발생할 수 있다. 또한, 본 발명의 차량(100)은 V2N 통신을 통해 외부 디바이스 예를 들어 서버(2000)에 연결되어 서버(200)의 AI 학습 결과로 얻어진 보행자 정보를 수신하여 타 차량(OB11)에 전송할 수 있다.
도 15는 본 발명의 실시 예에 따른 보행 안내 시스템을 보여 주는 도면이다.
도 15를 참조하면, 보행 안내 시스템은 V2X 통신을 수행하는 차량(100)을 포함한다.
차량(100)의 내비게이션 시스템(770)은 실시간 교통 정보 서비스, 맵 데이터를 포함한 지도 정보 서비스, 경로 안내 서비스를 처리한다.
차량(100)의 제어부(170)는 AI 프로세서를 포함할 수 있다. AI 프로세서는 카메라 영상 분석을 바탕으로 보행자 유형을 판단하여 보행자 정보를 발생하는 보행자 감지 모듈, 보행자 유형을 바탕으로 도로 횡단 예상 시간을 추정하는 보행 예상 시간 추론 모듈, 보행자 안내 정보를 발생하는 보행자 안내 인터페이스, 보행자(OB11)와 타 차량(OB11) 간의 V2X 통신을 제어하는 V2X 컨트롤러를 포함한다.
다른 실시 예에서, 차량(100)은 VTN 통신을 통해 서버(2000)의 AI 학습 결과로 얻어진 보행자 정보를 수신 받을 수 있다. 이 서버(2000)에 대하여는 도 24를 결부한 실시 예에서 상세히 설명하기로 한다.
보행자 단말기(1000)는 V2P 통신을 통해 위치 정보부(1100)로부터의 GPS 신호를 차량(100)에 전송하는 보행자 위치 송수신 모듈, 차량(100) 또는 서버(2000)로부터의 보행자 안내 정보를 수신 받아 출력부(1200)로 출력한다. 출력부(1200)는 보행자 안내 정보를 출력하는 디스플레이와 햅틱 출력부를 포함한다.
도 16은 본 발명의 실시 예에 따른 보행 안내 방법의 제어 수순을 단계적으로 보여 주는 흐름도이다. 도 17a 및 도 17b는 도 16에 도시된 보행 안내 방법을 도시화한 도면이다.
도 16 내지 도 17b를 참조하면, 도로 상에서 차량들(100, OB11)이 주행하는 동안, 보행자 단말기(1000)가 차량(100, OB11)에 위치 정보를 전송하여 보행자의 위치를 주변 차량들(100, OB11)에게 알려 준다(S171). 보행자가 횡단 보도 근처에 서 있을 때 보행자 단말기(1000)로부터 위치 정보 예를 들어, GPS 신호가 차량(100, OB11)으로 전송될 수 있다.
차량(100, OB11)은 보행자를 인식하여 카메라 촬영으로 얻어진 보행자 이미지를 AI 학습 결과를 바탕으로 분석하여 보행자 유형을 판단한다(S172). 보행자(OB12)를 가장 먼저 인식한 차량 혹은 보행자(OB12)와 가장 가까운 차량이 보행자 유형을 판단하여 그 판단 결과를 주변 차량들에게 전송할 수 있다.
차량(100, OB11)이 보행자를 인식하여 보행자 이미지를 촬영한 후, 그 보행자 이미지를 네트워크를 통해 서버(2000)로 전송할 수 있다. 서버(2000)는 AI 학습 결과를 바탕으로 보행자 이미지를 분석하여 보행자 유형을 판단하고, 보행자 유형을 보행자 근처의 도로에 접근하는 차량들(100, OB11)에 전송할 수 있다.
보행자 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 등을 포함한다. 보행자 상태는 보행자가 짐을 들거나 유모차, 휠체어, 시각 장애인 안내견과 함께 있는지 또는 보행자가 넘어지는 등을 구분할 수 있다. 보행자 유형은 영유아, 임산부, 장애인, 노약자 등 보행 취약자를 판정하는 지표로 활용될 수 있다.
차량(100, OB11)은 보행자 위치와 보행자 유형을 수신하면 주행 가능 여부, 감속 및 정지 여부를 판단한다(S173).
차량(100, OB11)의 제어부(170)는 보행자와 가까워지는 방향으로 주행할 때 보행자 위치와 보행자 유형을 수신하면, 브레이크 구동부(622)를 제어하여 주행 속도를 감속할 수 있다. 차량(100, OB11)의 제어부(170)는 보행자와(OB12)의 거리에 따라 제동력을 조정할 수 있다. 차량(100, OB11)의 제어부(170)는 보행자 위치가 소정 거리 내에 있으면 주행 속도를 낮추고 보행자(OB12)가 횡단 보도를 건너기 시작하기 전에 정지할 수 있다. 예를 들어, 도 18에 도시된 바와 같이 보행자(OB12)를 중심으로 제1 반경 구간(191) 내에 있는 차량(100, OB11)의 제동력이 제1 반경 구간(191) 보다 큰 제2 반경 구간(192) 내에 있는 차량(100, OB11)의 제동력 보다 더 크게 제어될 수 있다.
차량(100, OB11)은 보행자(OB12)가 도로를 횡단할 때 보행자(OB12)의 안전을 도모하기 위하여, 주행 가능 여부, 감속 및 정지 여부 판단 결과를 타 차량들(100, OB11)에 전송하여 주변 차량들에 감속 및 정지를 요청할 수 있다(S174). 차량(100, OB11)의 제어부(170)는 타 차량으로부터 상기 판단 결과를 수신하면 응답 신호를 타 차량에게 전송하고 브레이크 구동부(622)를 제어하여 차량(100, OB11)의 속도를 낮춘다. 응답 신호는 감속, 주행 지속 여부에 관한 정보를 포함할 수 있다.
차량(100, OB11)의 제어부(170)는 타 차량의 응답 신호를 바탕으로 보행자(OB12)의 도로 횡단시 보행 안전도를 판단할 수 있다.
차량(100, OB11)들은 V2V 통신을 통해 보행자(OB12)와 가장 가까운 차량(100, OB11)을 검색할 수 있다(S175). 보행자(OB12)가 도로에 접근하거나 도로를 횡단할 때 보행자(OB12)와 가장 가까운 차량(100, OB11)이 AI 판단 결과를 바탕으로 보행자(OB12)의 진행 방향, 횡단 예상 시간 등을 디스플레이 상에 출력할 수 있다(S176). 또한, 차량(100, OB11)이 보행자 단말기(1000)에 보행 안내 정보를 전송할 수 있다. 보행자 단말기(1000)는 보행 안내 정보에 따라 디스플레이 상에 현재 위치, 도로 횡단 가능 여부, 횡단 예상 시간 등을 표시할 수 있고 이러한 정보를 진동(햅틱)으로 출력할 수도 있다.
횡단 예상 시간은 보행자 유형, 보행자 상태를 바탕으로 추정될 수 있다. 예를 들어, 노인이나 영유아의 경우 소정의 기준 시간 보다 +15초 길게 설정될 수 있다. 또한, 횡단 예상 시간은 기존 신호등 시간에 보행자 유형에 따른 추가 시간의 합으로 설정될 수 있다. 보행자 유형이 보행 취약자일 때 횡단 예상 시간이 추가된다.
보행자가 여러 명인 경우, 가장 느린 보행 취약자의 보행 추정 시간을 기준으로 횡단 예상 시간이 계산될 수 있다. 가장 느린 보행 취약자는 보행자의 연령과 보행자의 상태를 바탕으로 미리 설정될 수 있다. 영유아, 노약자, 장애인, 임산부, 무거운 짐이나 동반자가 있는 보행자 등이 보행 취약자로 설정될 수 있다.
횡단 예상 시간은 보행자(OB12) 주변의 도로에서 차량의 혼잡도에 따라 증가될 수 있다. 예를 들어, 차량의 혼잡도가 높을 때 하나의 차로당 5초 증가될 수 있다. 차량의 혼잡도가 낮을 때 하나의 차로당 3초 증가될 수 있다.
보행자 유형이 인식 불가능 한 경우, 보행자는 기타 유형으로 분류될 수 있다. 기타 유형의 경우, 소정의 기준 시간으로 횡단 예상 시간이 설정될 수 있다.
횡단 예상 시간이 변경되면, 도 23에 도시된 바와 같이 차량(100, OB11)의 디스플레이 및/또는 보행자 단말기(1000)를 통해 변경된 횡단 예상 시간을 재 안내할 수 있다.
보행자(OB12)는 차량(100, OB11)에 표시된 보행 안내 및 자신의 단말기(1000)에서 출력되는 보행 안내 메시지를 보고 안전하게 도로를 횡단할 수 있다(S177).
도 19a 내지 도 20b는 보행자가 도로를 가로 질러 건너갈 때 보행자와 가까운 차량이 보행 안내 정보를 출력하는 예를 보여 주는 도면들이다. 도 21은 보행자 단말기의 디스플레이에 출력되는 보행 안내 정보의 일 예를 보여 주는 도면이다.
보행자(OB12)가 도로의 횡단 보도를 횡단할 때 도 19a 내지 도 20b에 도시된 바와 같이 보행자(OB12)와 가장 가까운 차량이 보행 안내 정보를 출력할 수 있다. 보행 안내 정보는 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함할 수 있다.
보행자 단말기(10000)는 차량(100, OB12) 또는 서버(2000)로부터 수신되는 보행 안내 정보를 도 21에 도시된 바와 같이 디스플레이 및/또는 진동으로 출력할 수 있다. 예를 들어, 왕복 6 차로의 도로에서 보행자(OB12)가 횡단 보도의 진입 위치에 서 있는 경우, 도 20a에 도시된 바와 같이 보행자(OB12)와 가장 가까운 제3 차로에 있는 차량(100, OB11)의 디스플레이를 통해 횡단 가능 정보와, 횡단 예상 가능 시간이 표시되고 보행자(OB12)의 이동에 따라 횡단 예상 시간이 카운트된다. 보행자(OB12)가 이동하여 제1 차로를 통과할 때, 도 20b에 도시된 바와 같이 제1 차로에 있는 차량(100, OB11)의 디스플레이를 통해 횡단 가능 정보와, 횡단 예상 가능 시간이 표시될 수 있다. 이 경우, 보행자의 이동에 맞추어 차량(100, OB12)의 디스플레이에 출력되는 보행 안내 정보의 표시 위치로 이동될 수 있다.
한편, 보행자가 횡단보도를 횡단하기 시작하면, 보행자와 가장 가까운 두 차로에 있는 차량들의 디스플레이에 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상의 보행 안내 정보가 출력될 수 있다.
횡단 예상 가능 시간이 얼마 남지 않을 때 보행자의 단말기(1000)를 통해 보행 안내 정보가 출력될 수 있다. 보행자(OB12)가 지나간 차로의, 차량(100, OB11)의 제어부(170)는 보행 안내 정보의 출력을 멈추고 운행 시스템(700)를 제어하여 주행을 재개할 수 있다.
도 22는 보행자 인지 및 보행자 판단 방법을 상세히 보여 주는 흐름도이다.
도 22를 참조하면, 보행자 단말기(1000)는 V2P 통신을 통해 주변 차량에 보행자(OB12)의 위치를 알려 준다(S231). 보행자를 인지한 차량 예를 들어, 보행자와 가장 가까운 차량(100, OB11)의 제어부(170)는 카메라(310)를 구동하여 보행자 이미지를 촬영한다. 차량(100, OB11)은 카메라로부터 얻어진 보행자 이미지를 AI 학습 결과를 바탕으로 분석하여, 보행자를 인식하고 이 보행자를 지시하는 보행자 정보와 보행자의 횡단 예상 시간 추론 결과를 발생할 수 있다(S232, S233 및 S234).
보행자 정보는 보행자 유형을 지시할 수 있다. 보행자 유형은 보행자의 연령대, 보행자의 성별, 보행자 상태 등을 포함한다.
보행자가 2인 이상이면, 제어부(170)는 보행자들 중에서 가장 취약한 보행자를 판정한다(S235 및 S236). 가장 취약한 보행자는 가장 느린 보행 취약자를 의미하며 보행자 연령, 보행자 상태 등을 고려하여 미리 설정될 수 있다.
제어부(170) 또는 서버(2000)는 보행자 유형에 따른 횡단 예상 시간을 추정하고, 보행자(OB12)와 가장 가까운 차량을 탐색한다(S237 및 S238). 그리고 제어부(170)는 보행자 정보를 보행자(OB12)와 가까운 차량(들)에 전송할 수 있다(S239).
제어부(170)는 타 차량으로부터 수신된 응답 신호를 바탕으로 보행자의 도로 횡단시 보행 안전도를 판단할 수 있다(S240 및 S241). 제어부(170)는 보행 안전도가 미리 설정된 기준값 이상일 때 보행 안내 정보를 디스플레이에 출력하고 보행자 단말기(1000)에 전송하여 보행자의 횡단을 유도한다(S242).
도 23은 보행자 상태 변경에 따른 보행 안내 방법을 보여 주는 흐름도이다.
도 23을 참조하면, 차량(100, OB11)의 제어부(170)는 카메라로부터 얻어진 보행자 이미지를 분석하여 보행자 상태를 실시간 모니터(monitor)한다(S251).
제어부(170)는 보행자 상태가 변하여 보행자(OB12)의 이동 속도가 변하는 것으로 판단되면, 횡단 예상 시간을 조정한다(S254). 보행자(OB12)의 이동 속도에 비례하여 횡단 예상 시간이 가변될 수 있다.
제어부(170) 또는 서버(2000)는 보행자(OB12)와 가장 가까운 차량을 탐색한다(S255). 그리고 제어부(170)는 보행자 정보를 보행자(OB12)와 가까운 차량(들)에 전송할 수 있다(S256).
제어부(170)는 타 차량으로부터 수신된 응답 신호를 바탕으로 보행자의 도로 횡단시 보행 안전도를 판단할 수 있다(S257). 제어부(170)는 보행 안전도가 미리 설정된 기준값 이상일 때 보행 안내 정보를 디스플레이에 출력하고 보행자 단말기(1000)에 전송하여 보행자의 횡단을 유도한다(S259).
도 24는 서버(2000)에서 보행자 유형을 판단하는 실시 예를 보여 주는 도면이다.
도 24를 참조하면, 서버(2000)는 AI 장치를 포함한다. AI 장치는 AI 프로세서(2100), 메모리(2500) 및/또는 통신부(2700)를 포함할 수 있다.
AI 프로세서(2100)는 메모리(2500)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(2100)는 차량 관련 데이터와, 보행자 유형을 인식하기 위한 신경망을 학습할 수 있다.
차량 관련 데이터는 차량(100, OB11)으로부터 수신된 운전자 상태 정보, 차량 주행 정보, 및 차량 상태 정보, 내비게이션 정보 등을 포함할 수 있다.
차량 관련 데이터와 보행자 유형을 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 모드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고 받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고 받을 수 있다.
신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 신경망 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용될 수 있다.
한편, 전술한 바와 같은 기능을 수행하는 AI 프로세서(2100)는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)일 수 있다.
메모리(2500)는 AI 장치의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(2500)는 비 휘발성 메모리, 휘발성 메모리, 플래시 메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SDD) 등으로 구현할 수 있다. 메모리(2500)는 AI 프로세서(21)에 의해 액세스되며, AI 프로세서(21)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(25)는 본 발명의 일 실시 예에 따른 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥 러닝 모델(26))을 저장할 수 있다.
AI 프로세서(2100)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(22)를 포함할 수 있다. 데이터 학습부(2200)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(2200)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.
데이터 학습부(2200)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(2200)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 장치에 탑재될 수도 있다. 또한, 데이터 학습부(2200)는 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.
데이터 학습부(2200)는 학습 데이터 획득부(2300) 및 모델 학습부(2400)를 포함할 수 있다.
학습 데이터 획득부(2300)는 데이터를 분류하고 인식하기 위한 신경망 모델에 필요한 학습 데이터를 획득할 수 있다. 예를 들어, 학습 데이터 획득부(2300)는 학습 데이터로서, 신경망 모델에 입력하기 위한 차량 데이터 및/또는 샘플 데이터를 획득할 수 있다.
모델 학습부(2400)는 상기 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(2400)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다.
모델 학습부(2400)는 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(2400)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(2400)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다. 신경망 모델이 학습되면, 모델 학습부(2400)는 학습된 신경망 모델을 메모리(2500)에 저장할 수 있다.
데이터 학습부(2200)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 리소스 또는 시간을 절약하기 위해 학습 데이터 전처리부(미도시) 및 학습 데이터 선택부(미도시)를 더 포함할 수도 있다.
학습 데이터 전처리부는 획득된 데이터가 상황 판단을 위한 학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 예를 들어, 학습 데이터 전처리부는, 모델 학습부(24)가 이미지 인식을 위한 학습을 위하여 획득된 학습 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
또한, 학습 데이터 선택부는, 학습 데이터 획득부(2300)에서 획득된 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(2400)에 제공될 수 있다. 예를 들어, 학습 데이터 선택부(2300)는, 지능형 전자 기기의 카메라를 통해 획득한 영상 중 특정 영역을 검출함으로써, 특정 영역에 포함된 객체에 대한 데이터만을 학습 데이터로 선택할 수 있다.
또한, 데이터 학습부(2200)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(미도시)를 더 포함할 수도 있다.
모델 평가부는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(22)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다. 일 예로, 모델 평가부는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정되 임계치를 초과하는 경우, 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
통신부(2700)는 AI 프로세서(2100)에 의한 AI 프로세싱 결과를 외부 전자 기기로 전송할 수 있다. 상기 외부 전자 기기는, 자율주행 차량, 로봇, 드론, AR 기기, 모바일 기기, 가전 기기 등을 포함할 수 있다.
일 예로 상기 외부 전자 기기가 자율주행 차량인 경우 상기 AI 장치(20)는 상기 자율 주행 모듈 차량과 통신하는 다른 차량 또는 5G 네트워크로 정의될 수 있다. 한편, 상기 AI 장치(20)는 차량 내에 구비된 자율주행 모듈에 기능적으로 임베딩되어 구현될 수도 있다. 또한, 상기 5G 네트워크는 자율 주행 관련 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
AI 프로세서(2100)는 데이터 학습부(2200)를 이용하여 보행자 이미지를 분석한 결과를 바탕으로 보행자 유형과, 보행자의 도로 횡단 예상 시간을 추정할 수 있다.
한편, 도 24에 도시된 서버(2000)의 AI 장치는 AI 프로세서(2100)와 메모리(2500), 통신부(2700) 등으로 기능적으로 구분하여 설명하였지만, 전술한 구성요소들이 하나의 모듈로 통합되어 AI 모듈로 호칭될 수도 있음을 밝혀둔다.
본 발명의 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법은 다음과 같이 설명될 수 있다.
본 발명의 자율 주행 차량은 보행자를 촬영하는 카메라; 상기 보행자가 휴대한 보행자 단말기로부터 수신된 신호를 바탕으로 보행자 위치를 인식하고, 상기 카메라에 의해 촬영된 이미지를 분석하여 상기 보행자의 유형을 판정하고, 상기 보행자의 유형을 포함한 보행자 정보를 통신 장치를 통해 타 차량으로 전송하는 제어부; 및 상기 제어부의 제어 하에 상기 보행자의 인식 후에 주행 속도를 감속하는 브레이크 구동부를 포함한다.
상기 제어부는 학습 결과를 바탕으로 상기 보행자의 유형을 판정한다.
상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함한다.
상기 제어부는 상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정한다.
상기 제어부는 상기 보행자의 횡단 예상 시간을 상기 통신 장치를 통해 타 차량들로 전송한다.
상기 제어부는 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단한다.
상기 자율 주행 차량은 상기 제어부의 제어 하에 보행 안내 정보를 출력하는 디스플레이를 더 포함한다. 상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함한다.
상기 제어부는 상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송한다.
본 발명의 보행자 안내 시스템은 보행자 단말기; 및 상기 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하고, 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 하나 이상의 자율 주행 차량들을 포함한다. 상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함한다. 상기 보행자 정보가 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생된다.
상기 제어부 또는 상기 서버는 학습 결과를 바탕으로 상기 보행자의 유형을 판정하는 AI 장치를 포함한다.
상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함한다.
상기 제어부 또는 상기 서버는 상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정한다.
상기 제어부는 상기 보행자의 횡단 예상 시간을 통신 장치를 통해 타 차량들로 전송하는 자율 주행 차량을 이용한다.
상기 제어부는 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단한다.
상기 차량은 상기 제어부의 제어 하에 보행 안내 정보를 출력하는 디스플레이를 더 포함한다. 상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함한다. 상기 제어부는 상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송한다.
상기 제어부 또는 상기 서버는 상기 보행자와 가장 가까운 차량을 탐색한다. 상기 보행자와 가장 가까운 차량이 상기 제어부의 제어 하에 보행 안내 정보를 출력한다. 상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함한다.
상기 보행자를 인식한 차량의 제어부는 상기 보행자 이미지를 학습 결과를 바탕으로 분석하여 상기 보행자의 유형을 판정하여 상기 보행자 유형 정보를 발생한다. 상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 발생한다. 상기 보행자 유형 정보와 상기 횡단 예상 시간을 상기 타 차량으로 전송한다. 상기 타 차량의 제어부는 상기 보행자의 유형과 상기 횡단 예상 시간 정보를 수신 받아 감속, 주행 지속 여부를 판단하여 상기 보행자를 인식한 차량으로 전송한다.
본 발명의 보행자 안내 방법은 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하는 단계; 및 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 단계를 포함한다. 상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함한다. 상기 보행자 정보가 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생된다.
상기 보행자 안내 방법은 학습 결과를 바탕으로 상기 보행자의 유형을 판정하는 단계를 더 포함한다.
상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함한다.
상기 보행자 안내 방법은 상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정하여 상기 타 차량으로 전송하는 단계를 더 포함한다.
상기 보행자 안내 방법은 상기 보행자의 횡단 예상 시간을 통신 장치를 통해 상기 타 차량으로 전송하는 단계를 더 포함한다.
상기 보행자 안내 방법은 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단하는 단계를 더 포함한다.
상기 보행자 안내 방법은 하나 이상의 차량에서 보행 안내 정보를 출력하는 단계를 더 포함한다. 상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함하고 상기 차량의 디스플레이에 표시된다.
상기 보행자 안내 방법은 상기 보행자의 이동 방향을 따라 상기 차량들에 표시되는 보행 안내 정보의 표시 위치를 이동하는 단계를 더 포함한다.
상기 보행자 안내 방법은 상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송하는 단계를 더 포함한다.
상기 보행자 안내 방법은 상기 보행자와 가장 가까운 차량을 탐색하는 단계; 및 상기 보행자와 가장 가까운 차량의 디스플레이에 상기 보행 안내 정보를 출력하는 단계를 더 포함한다.
본 발명은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 명세서의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명은 청구 범위의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
상술한 실시 예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 보행자를 촬영하는 카메라;
    상기 보행자가 휴대한 보행자 단말기로부터 수신된 신호를 바탕으로 보행자 위치를 인식하고, 상기 카메라에 의해 촬영된 이미지를 분석하여 상기 보행자의 유형을 판정하고, 상기 보행자의 유형을 포함한 보행자 정보를 통신 장치를 통해 타 차량으로 전송하는 제어부; 및
    상기 제어부의 제어 하에 상기 보행자의 인식 후에 주행 속도를 감속하는 브레이크 구동부를 포함하는 자율 주행 차량.
  2. 제 1 항에 있어서,
    상기 제어부는 학습 결과를 바탕으로 상기 보행자의 유형을 판정하는 자율 주행 차량.
  3. 제 1 항에 있어서,
    상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함하는 자율 주행 차량.
  4. 제 1 항에 있어서,
    상기 제어부가,
    상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정하는 자율 주행 차량.
  5. 제 4 항에 있어서,
    상기 제어부는 상기 보행자의 횡단 예상 시간을 상기 통신 장치를 통해 타 차량들로 전송하는 자율 주행 차량.
  6. 제 1 항에 있어서,
    상기 제어부는 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단하는 자율 주행 차량.
  7. 제 1 항에 있어서,
    상기 제어부의 제어 하에 보행 안내 정보를 출력하는 디스플레이를 더 포함하고,
    상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함하는 자율 주행 차량.
  8. 제 7 항에 있어서,
    상기 제어부가,
    상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송하는 자율 주행 차량.
  9. 보행자 단말기; 및
    상기 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하고, 상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 하나 이상의 자율 주행 차량들을 포함하고,
    상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함하고,
    상기 보행자 정보가 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생되는 자율 주행 차량을 이용한 보행자 안내 시스템.
  10. 제 9 항에 있어서,
    상기 제어부 또는 상기 서버가,
    학습 결과를 바탕으로 상기 보행자의 유형을 판정하는 AI 장치를 포함하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  11. 제 9 항에 있어서,
    상기 보행자의 유형은 보행자의 연령, 보행자의 성별, 보행자 상태 중 하나 이상을 포함하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  12. 제 9 항에 있어서,
    상기 제어부 또는 상기 서버가,
    상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 추정하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  13. 제 12 항에 있어서,
    상기 제어부는 상기 보행자의 횡단 예상 시간을 통신 장치를 통해 타 차량들로 전송하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  14. 제 9 항에 있어서,
    상기 제어부는 상기 타 차량으로부터 수신된 응답 신호의 주행 지속 여부 및 감속 정보에 따라 상기 보행자의 안전도를 판단하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  15. 제 9 항에 있어서,
    상기 차량은
    상기 제어부의 제어 하에 보행 안내 정보를 출력하는 디스플레이를 더 포함하고,
    상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  16. 제 15 항에 있어서,
    상기 제어부가,
    상기 통신 장치를 통해 상기 보행 안내 정보를 상기 보행자 단말기로 전송하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  17. 제 9 항에 있어서,
    상기 제어부 또는 상기 서버가,
    상기 보행자와 가장 가까운 차량을 탐색하고,
    상기 보행자와 가장 가까운 차량이 상기 제어부의 제어 하에 보행 안내 정보를 출력하고,
    상기 보행 안내 정보는 상기 보행자의 도로 횡단 가능 안내, 횡단 예상 잔여 시간, 보행 방향 중 하나 이상을 포함하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  18. 제 9 항에 있어서,
    상기 보행자를 인식한 차량의 제어부가,
    상기 보행자 이미지를 학습 결과를 바탕으로 분석하여 상기 보행자의 유형을 판정하여 상기 보행자 유형 정보를 발생하고,
    상기 보행자의 유형을 바탕으로 상기 보행자의 도로 횡단 예상 시간을 발생하고,
    상기 보행자 유형 정보와 상기 횡단 예상 시간을 상기 타 차량으로 전송하고,
    상기 타 차량의 제어부가,
    상기 보행자의 유형과 상기 횡단 예상 시간 정보를 수신 받아 감속, 주행 지속 여부를 판단하여 상기 보행자를 인식한 차량으로 전송하는 자율 주행 차량을 이용한 보행자 안내 시스템.
  19. 보행자 단말기로부터 수신된 신호를 바탕으로 보행자를 인식하는 단계; 및
    상기 보행자를 지시하는 보행자 정보를 타 차량으로 전송하는 단계를 포함하고,
    상기 보행자 정보는 카메라에 의해 촬영된 보행자 이미지를 바탕으로 얻어진 보행자 유형 정보를 포함하고,
    상기 보행자 정보가 상기 차량의 제어부 또는, 네트워크를 통해 상기 차량과 통신을 수행하는 서버에서 발생되는 자율 주행 차량을 이용한 보행자 안내 방법.
  20. 제 19 항에 있어서,
    학습 결과를 바탕으로 상기 보행자의 유형을 판정하는 단계를 더 포함하는 자율 주행 차량을 이용한 보행자 안내 방법.
PCT/KR2019/095006 2019-05-09 2019-05-09 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법 WO2020226258A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020197019214A KR102267331B1 (ko) 2019-05-09 2019-05-09 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
US16/484,746 US20210078598A1 (en) 2019-05-09 2019-05-09 Autonomous vehicle and pedestrian guidance system and method using the same
PCT/KR2019/095006 WO2020226258A1 (ko) 2019-05-09 2019-05-09 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/095006 WO2020226258A1 (ko) 2019-05-09 2019-05-09 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2020226258A1 true WO2020226258A1 (ko) 2020-11-12

Family

ID=73051482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/095006 WO2020226258A1 (ko) 2019-05-09 2019-05-09 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법

Country Status (3)

Country Link
US (1) US20210078598A1 (ko)
KR (1) KR102267331B1 (ko)
WO (1) WO2020226258A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112298211A (zh) * 2020-11-19 2021-02-02 北京清研宏达信息科技有限公司 一种基于5g分级决策的自动驾驶行人让行方案
US20210248915A1 (en) * 2018-07-20 2021-08-12 Cybernet Systems Corp. Autonomous transportation system and methods

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039940B2 (ja) * 2017-11-09 2022-03-23 トヨタ自動車株式会社 車両制御装置
EP3793191A4 (en) * 2018-05-08 2021-04-14 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, MOTION MACHINE, METHOD AND PROGRAM
US20210005085A1 (en) * 2019-07-03 2021-01-07 Cavh Llc Localized artificial intelligence for intelligent road infrastructure
US11698639B2 (en) * 2020-06-04 2023-07-11 Waymo Llc Predicting jaywalking behaviors of vulnerable road users
US11396271B2 (en) * 2020-06-18 2022-07-26 Ford Global Technologies, Llc System and method for communicating between autonomous vehicle and vulnerable road users
JP7351805B2 (ja) * 2020-07-01 2023-09-27 トヨタ自動車株式会社 情報処理方法、プログラム、車載装置及び車両
KR102568270B1 (ko) * 2021-01-11 2023-08-21 한양대학교 에리카산학협력단 자율주행 차량의 보행자 소통 시스템
US11934198B2 (en) * 2021-03-11 2024-03-19 6 River Systems, Llc Systems and methods for autonomous vehicle operation
US11417224B1 (en) 2021-08-19 2022-08-16 Beta Air, Llc System and method for pilot assistance in an electric aircraft
CN117132863B (zh) * 2023-10-25 2023-12-22 罗普特科技集团股份有限公司 一种能够进行数据反馈的车辆系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130112218A (ko) * 2012-04-03 2013-10-14 자동차부품연구원 보행자 충돌방지 시스템
KR20130134915A (ko) * 2012-05-31 2013-12-10 현대자동차주식회사 차량간 통신을 이용한 장애물 감지 장치 및 방법
KR101511858B1 (ko) * 2013-11-04 2015-04-13 현대오트론 주식회사 보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법
KR20170069645A (ko) * 2015-12-11 2017-06-21 이춘걸 보행자 추돌 방지 시스템 및 이의 실행 방법
JP2018152119A (ja) * 2018-05-31 2018-09-27 みこらった株式会社 携帯端末、自動車及び通信システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4255880B2 (ja) * 2004-05-17 2009-04-15 富士通テン株式会社 車両間衝突防止支援システムおよび車両間衝突防止支援装置
JP2008065482A (ja) * 2006-09-05 2008-03-21 Mazda Motor Corp 車両用運転支援システム
JP4992546B2 (ja) * 2007-05-21 2012-08-08 トヨタ自動車株式会社 歩行者横断支援装置、車載装置、タグ装置
JP5622766B2 (ja) * 2012-02-27 2014-11-12 三菱電機株式会社 経路探索装置
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
JP2014232501A (ja) * 2013-05-30 2014-12-11 日産自動車株式会社 交通情報提供装置及び交通情報提供方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130112218A (ko) * 2012-04-03 2013-10-14 자동차부품연구원 보행자 충돌방지 시스템
KR20130134915A (ko) * 2012-05-31 2013-12-10 현대자동차주식회사 차량간 통신을 이용한 장애물 감지 장치 및 방법
KR101511858B1 (ko) * 2013-11-04 2015-04-13 현대오트론 주식회사 보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법
KR20170069645A (ko) * 2015-12-11 2017-06-21 이춘걸 보행자 추돌 방지 시스템 및 이의 실행 방법
JP2018152119A (ja) * 2018-05-31 2018-09-27 みこらった株式会社 携帯端末、自動車及び通信システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210248915A1 (en) * 2018-07-20 2021-08-12 Cybernet Systems Corp. Autonomous transportation system and methods
CN112298211A (zh) * 2020-11-19 2021-02-02 北京清研宏达信息科技有限公司 一种基于5g分级决策的自动驾驶行人让行方案

Also Published As

Publication number Publication date
US20210078598A1 (en) 2021-03-18
KR20200128480A (ko) 2020-11-13
KR102267331B1 (ko) 2021-06-22

Similar Documents

Publication Publication Date Title
WO2020226258A1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
WO2017003052A1 (ko) 차량 운전 보조 방법 및 차량
WO2017209313A1 (ko) 차량용 디스플레이 장치 및 차량
WO2021040060A1 (ko) 차량용 전자 장치 및 그의 동작 방법
WO2017022881A1 (ko) 차량 및 그 제어방법
WO2017039047A1 (ko) 차량 및 그 제어방법
WO2017094952A1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
WO2020235714A1 (ko) 자율 주행 차량과 이를 이용한 주행 제어 시스템 및 방법
WO2020017716A1 (ko) 차량용 로봇 및 상기 로봇의 제어 방법
WO2021006365A1 (ko) 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2020159247A1 (ko) 영상 출력 장치
WO2020105751A1 (ko) 탑승자 모니터링 방법 및 이를 위한 장치
WO2020226210A1 (ko) 자율 주행 차량 제어 방법
WO2017119541A1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
WO2020040324A1 (ko) 이동 its 스테이션 및 상기 이동 its 스테이션의 동작 방법
WO2020166749A1 (ko) 차량을 이용한 정보 표시 방법 및 시스템
WO2019151575A1 (ko) 차량 단말기 및 그것을 포함하는 운송 시스템의 제어방법
WO2021040057A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2020017677A1 (ko) 영상 출력 장치
WO2020213772A1 (ko) 차량 제어 장치 및 그 장치의 제어 방법
WO2021182655A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2020159245A1 (ko) 차량 간 영상 공유 방법
WO2016186319A1 (ko) 차량 운전 보조 장치 및 차량

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19927928

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19927928

Country of ref document: EP

Kind code of ref document: A1