WO2024025016A1 - 차량의 ar 사이니지 디스플레이 장치 및 그것의 동작방법 - Google Patents

차량의 ar 사이니지 디스플레이 장치 및 그것의 동작방법 Download PDF

Info

Publication number
WO2024025016A1
WO2024025016A1 PCT/KR2022/011242 KR2022011242W WO2024025016A1 WO 2024025016 A1 WO2024025016 A1 WO 2024025016A1 KR 2022011242 W KR2022011242 W KR 2022011242W WO 2024025016 A1 WO2024025016 A1 WO 2024025016A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
signage
display
driving
data
Prior art date
Application number
PCT/KR2022/011242
Other languages
English (en)
French (fr)
Inventor
이진상
김수진
손진호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/011242 priority Critical patent/WO2024025016A1/ko
Publication of WO2024025016A1 publication Critical patent/WO2024025016A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles

Definitions

  • the present invention relates to an AR signage display device linked to a vehicle and a method of operating the same. More specifically, the present invention relates to an AR digital signage displayed in a determined display area within a vehicle's driving image and implemented to limit the display according to the situation. It relates to an AR signage display device and its operating method.
  • vehicle functions are becoming more diverse. These vehicle functions can be divided into convenience functions to promote driver convenience, and safety functions to promote driver and/or pedestrian safety.
  • Convenience functions of a vehicle have a motive for development related to driver convenience, such as providing infotainment (information + entertainment) functions to the vehicle, supporting partial autonomous driving functions, or helping to secure the driver's field of vision such as night vision or blind spots.
  • driver convenience such as providing infotainment (information + entertainment) functions to the vehicle, supporting partial autonomous driving functions, or helping to secure the driver's field of vision such as night vision or blind spots.
  • ACC adaptive cruise control
  • SPAS smart0020parking assist system
  • NV night vision
  • HUD head up display
  • AHS adaptive headlight system
  • vehicle safety functions are technologies that ensure driver safety and/or pedestrian safety, such as lane departure warning system (LDWS), lane keeping assist system (LKAS), and automatic emergency There is an autonomous emergency braking (AEB) function.
  • LDWS lane departure warning system
  • LKAS lane keeping assist system
  • AEB autonomous emergency braking
  • Augmented Reality outputs additional graphic objects in the real world by outputting graphic objects through a vehicle's windshield or HUD (Head Up Display) or on images captured by a camera.
  • HUD Head Up Display
  • Technology development is actively taking place.
  • technologies that provide route guidance to drivers through augmented reality (AR) technology or expose various additional information or advertisements related to POIs existing on the route is expanding by utilizing such augmented reality (AR) technology. .
  • the present invention aims to solve the above-mentioned problems and other problems.
  • a vehicle that provides various useful information in the form of more realistic AR digital signage while driving the vehicle and can change or limit the display so that the driver can focus on looking ahead depending on the situation detected while driving.
  • the purpose is to provide an AR signage display device and its operation method.
  • an AR signage display device for a vehicle implemented to display or limit the display of AR digital signage by varying the display restriction method appropriate for each situation detected while driving and a method of operating the same.
  • the purpose is to provide.
  • display restrictions and restriction methods of AR digital signage in the vehicle's driving image are determined to more accurately determine the forward gaze section or situation.
  • the purpose is to provide an AR signage display device for a vehicle that can be identified and a method of operating it.
  • the AR signage display device linked to the vehicle can determine that a display restriction condition for AR digital signage has occurred based on the vehicle's driving information and map information received while the vehicle is driving. , In such a case, AR rendering can be performed by correcting the signage data that matches the location where the display restriction condition occurred.
  • At least some AR signage displays are not displayed in the driving image or are displayed in a different shape/size/transparency, thereby helping the driver to focus more on the front, thereby helping safe driving.
  • an AR signage display device linked to a vehicle includes a communication module that communicates with the vehicle and a cloud server that provides AR signage platform services; A display that displays a driving image of a vehicle acquired through a vision sensor; Receives sensing data of the vehicle through the communication module, and requests the cloud server for AR signage data to display content about the location of the vehicle and surrounding POIs determined based on the sensing data as digital signage, and , It may include a processor that renders digital signage generated based on AR signage data corresponding to the request in a display area within the driving image.
  • the processor determines the occurrence of a display restriction condition of the digital signage based on the vehicle's driving information and map information received while the vehicle is driving, and determines the AR that matches the occurrence location of the display restriction condition.
  • the digital signage data may be corrected, and a rendering update of the digital signage may be performed based on the corrected AR signage data.
  • the processor receives rotational driving information of the vehicle, recognizes a display area located in the rotational direction as the occurrence location of the display restriction condition based on the received rotational driving information, and generates matching AR signage data. can be corrected.
  • the processor determines that the amount of change in the heading angle of the vehicle exceeds a preset threshold based on the received rotation driving information, and displays digital signage in the display area located in the rotation direction based on the determination.
  • AR signage data can be corrected to limit the display.
  • the processor maintains the display of digital signage in a display area located in a direction opposite to the direction of rotation while the amount of change in the heading angle of the vehicle exceeds a preset threshold, and the amount of change in the heading angle of the vehicle
  • the AR signage data may be corrected to release the display restrictions of the digital signage in the display area located in the rotation direction.
  • the processor recognizes that the vehicle enters a specific section based on the vehicle's current location and map information, and displays digital signage in all surrounding display areas while the vehicle is within the specific section.
  • AR signage data can be calibrated to limit display.
  • the processor recognizes that the vehicle enters a specific section based on the vehicle's current location and map information, and when the vehicle enters the specific section, the processor displays a digital display area located in the driving direction of the vehicle.
  • AR signage data can be calibrated to limit the display of signage.
  • the processor may differently apply a transparency correction value to AR signage data matching the occurrence location of the display restriction condition depending on whether the vehicle is in a route guidance operation.
  • the processor receives navigation information of the vehicle through the communication module, and sets the display restriction condition in response to the vehicle entering a driving direction change section or destination section based on the received navigation information. It can be determined that this has occurred.
  • the processor in response to the vehicle entering the destination section based on the received navigation information, displays digital signage of content unrelated to the destination among digital signage in the display area within the section.
  • AR signage data can be calibrated to limit
  • the processor in response to the vehicle entering a driving direction change section based on the received navigation information, changes the display area within the section based on the recognition of a set number of driving direction changes in the section.
  • AR signage data can be calibrated to limit the display of digital signage.
  • correction of the AR signage data may be any one of position correction, transparency correction, size correction, and shape correction of the corresponding digital signage.
  • the processor recognizes a merging section for the vehicle's driving lane based on the current location and map information of the vehicle, and detects when another vehicle approaches the merging section based on the vehicle's sensing data. Based on this, the AR signage data can be corrected so that any one of the position, transparency, size, and shape of the digital signage in the display area at the corresponding location is changed.
  • the processor may determine the occurrence location of the display restriction condition and the AR matching the location based on the image distortion ratio of the display area or the change in the front and side area ratio recognized through the vision sensor. At least one of the signage data correction methods may be determined differently.
  • the display displays a driving image including the display area overlapping the rendered updated digital signage, and restores the display of the digital signage based on the end of the display restriction condition. can do.
  • some AR digital signage when a vehicle turns, makes frequent driving changes, or enters a specific area such as a roundabout, some AR digital signage is displayed so that the driver can focus on driving based on such driving information. You can not display it or restrict its display.
  • AR digital data is used so that the driver's front view is not blocked and the area related to the driving environment information is not obscured. Signage display can be limited.
  • FIG. 1 is a diagram illustrating an example of a vehicle related to an embodiment of the present invention.
  • Figure 2 is a view of a vehicle related to an embodiment of the present invention viewed from various angles.
  • 3 and 4 are diagrams showing the interior of a vehicle related to an embodiment of the present invention.
  • 5 and 6 are diagrams referenced for explaining various objects related to driving of a vehicle related to an embodiment of the present invention.
  • Figure 7 is a block diagram referenced in explaining a vehicle related to an embodiment of the present invention.
  • Figure 8 is a block diagram showing the overall system structure related to display restrictions of AR digital signage according to an embodiment of the present invention.
  • Figure 9 is a diagram for explaining the configuration and input/output data of an AR signage display device for a vehicle, according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating the display of AR digital signage by changing the display limitation method according to a change in the area of the display area or the image distortion rate, according to an embodiment of the present invention.
  • 17A to 17D, 18, 19A to 19D, 20, 21, 22, 23, and 24 are based on situational information around the vehicle for safe driving, according to an embodiment of the present invention.
  • drawings showing various embodiments of changing and displaying AR digital signage.
  • the vehicle described in this specification may include a car and a motorcycle.
  • vehicles will be described, focusing on automobiles.
  • the vehicle described in this specification may be a concept that includes all internal combustion engine vehicles having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle refers to the left side of the vehicle's traveling direction
  • the right side of the vehicle refers to the right side of the vehicle's traveling direction
  • the “system” disclosed in this specification may include at least one of a server device and a cloud device, but is not limited thereto.
  • a system may consist of one or more server devices.
  • a system may consist of one or more cloud devices.
  • the system may be operated with a server device and a cloud device configured together.
  • user terminal or “user client” refers to a computing device such as a user terminal that communicates with a vehicle (or electrical equipment, devices/systems, etc. installed in a vehicle) and an AR digital signage platform device/system, and/or It can be referred to as including the system or the user itself.
  • the “digital signage platform” disclosed herein may provide an embedded/device-based or cloud-based platform capable of PaaS (Platform as a Service) and/or MLaaS (Machine Learning as a Service) services. These digital signage platforms relate to methods/operations of providing AR digital signage.
  • PaaS Plate as a Service
  • MLaaS Machine Learning as a Service
  • Map information disclosed in this specification includes images captured through vision sensors such as cameras, 2D map information, 3D map information, Digital Twin 3D maps, and map information in real/virtual space. It can be referred to as meaning.
  • Point of Interest (POI) information is a point of interest selected based on the map information, pre-registered POI information (POI stored in the map of the cloud server), user-set POI information (e.g. My home, school, work, etc.), driving-related POI information (e.g., destination, waypoint, gas station, rest area, parking lot, etc.), and top search POI information (e.g., recently clicked/highly visited POI, hot place, etc.) You can. This POI information can be updated in real time based on the current location of the vehicle.
  • POI information can be updated in real time based on the current location of the vehicle.
  • the “driving image” disclosed in this specification is obtained through a vision sensor on or around the vehicle, for example, an image acquired or projected through a vision sensor (camera, video laser sensor, etc.) while the vehicle is running, or the image of the vehicle. It may include the real image itself/image of virtual space projected onto the windshield.
  • the driving image can be referred to as including all images output through a display, images projected through a laser sensor, or the actual image itself shown through the windshield of a vehicle.
  • FIGS. 1 and 2 are diagrams showing the exterior of a vehicle related to an embodiment of the present invention
  • FIGS. 3 and 4 are diagrams showing the interior of a vehicle related to an embodiment of the present invention.
  • 5 and 6 are diagrams showing various objects related to driving of a vehicle related to an embodiment of the present invention.
  • Figure 7 is a block diagram referenced in explaining a vehicle related to an embodiment of the present invention.
  • Figure 7 is a block diagram used to describe a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include wheels rotated by a power source and a steering input device 510 for controlling the moving direction of the vehicle 100.
  • Vehicle 100 may be an autonomous vehicle.
  • the vehicle 100 may be switched to autonomous driving mode or manual mode based on user input.
  • the vehicle 100 switches from manual mode to autonomous driving mode based on user input received through the user interface device (hereinafter, referred to as 'user terminal') 200, or It can be switched from autonomous driving mode to manual mode.
  • 'user terminal' user interface device
  • the vehicle 100 may be switched to autonomous driving mode or manual mode based on driving situation information.
  • Driving situation information may be generated based on object information provided by the object detection device 300.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode, or from autonomous driving mode to manual mode, based on driving situation information generated by the object detection device 300.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode, or from autonomous driving mode to manual mode, based on driving situation information received through the communication device 400.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode or from autonomous driving mode to manual mode based on information, data, and signals provided from an external device.
  • the autonomous vehicle 100 may be driven based on the driving system 700 .
  • the autonomous vehicle 100 may be operated based on information, data, or signals generated by the driving system 710, the parking system 740, and the parking system 750.
  • the autonomous vehicle 100 may receive user input for driving through the driving control device 500. Based on user input received through the driving control device 500, the vehicle 100 may be driven.
  • the overall length refers to the length from the front to the rear of the vehicle 100
  • the overall width refers to the width of the vehicle 100
  • the overall height refers to the length from the bottom of the wheels to the roof.
  • the overall length direction (L) is the direction that is the standard for measuring the overall length of the vehicle 100
  • the overall width direction (W) is the direction that is the standard for measuring the overall width of the vehicle 100
  • the overall height direction (H) is the direction that is the standard for measuring the overall width of the vehicle 100. It may refer to the direction that serves as the standard for measuring the total height of (100).
  • the vehicle 100 includes a user interface device (hereinafter referred to as a 'user terminal') 200, an object detection device 300, a communication device 400, and a driving operation device. (500), vehicle driving device 600, driving system 700, navigation system 770, sensing unit 120, vehicle interface unit 130, memory 140, control unit 170, and power supply unit 190 ) may include.
  • the vehicle 100 may further include other components in addition to the components described in this specification, or may not include some of the components described.
  • the user interface device 200 is a device for communication between the vehicle 100 and the user.
  • the user interface device 200 may receive user input and provide information generated by the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UI) or User Experience (UX) through a user interface device (hereinafter referred to as a 'user terminal') 200.
  • UI User Interfaces
  • UX User Experience
  • the user interface device 200 may include an input unit 210, an internal camera 220, a biometric detection unit 230, an output unit 250, and a processor 270. Depending on the embodiment, the user interface device 200 may further include other components in addition to the components described, or may not include some of the components described.
  • the input unit 210 is used to receive information from the user, and the data collected by the input unit 120 can be analyzed by the processor 270 and processed as a user's control command.
  • the input unit 210 may be placed inside the vehicle.
  • the input unit 210 is an area of the steering wheel, an area of the instrument panel, an area of the seat, an area of each pillar, and a door.
  • the input unit 210 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 can convert the user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 can convert the user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input. Depending on the embodiment, the gesture input unit 212 may detect a user's 3D gesture input. To this end, the gesture input unit 212 may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit 212 may detect the user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 can convert the user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the touch input unit 213 may include a touch sensor for detecting a user's touch input.
  • the touch input unit 213 may be formed integrally with the display unit 251 to implement a touch screen. This touch screen can provide both an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 170.
  • the mechanical input unit 214 may be placed on a steering wheel, center fascia, center console, cockpit module, door, etc.
  • the internal camera 220 can acquire images inside the vehicle.
  • the processor 270 may detect the user's state based on the image inside the vehicle.
  • the processor 270 may obtain the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect a user's gesture from an image inside the vehicle.
  • the biometric detection unit 230 can acquire the user's biometric information.
  • the biometric detection unit 230 includes a sensor that can acquire the user's biometric information, and can obtain the user's fingerprint information, heart rate information, etc. using the sensor. Biometric information can be used for user authentication.
  • the output unit 250 is for generating output related to vision, hearing, or tactile sensation.
  • the output unit 250 may include at least one of a display unit 251, an audio output unit 252, and a haptic output unit 253.
  • the display unit 251 can display graphic objects corresponding to various information.
  • the display unit 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. It may include at least one of a display, a 3D display, and an e-ink display.
  • the display unit 251 and the touch input unit 213 may form a layered structure or be formed as one piece, thereby implementing a touch screen.
  • the display unit 251 may be implemented as a Head Up Display (HUD).
  • HUD Head Up Display
  • the display unit 251 is equipped with a projection module and can output information through an image projected on a windshield or window.
  • the display unit 251 may include a transparent display.
  • the transparent display can be attached to a windshield or window.
  • a transparent display can display a certain screen while having a certain transparency.
  • transparent displays include transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transparent transparent display, and transparent LED (Light Emitting Diode) display. It may include at least one of: The transparency of a transparent display can be adjusted.
  • the user interface device 200 may include a plurality of display units 251a to 251g.
  • the display unit 251 includes one area of the steering wheel, one area of the instrument panel (521a, 251b, 251e), one area of the seat (251d), one area of each pillar (251f), and one area of the door ( 251g), may be placed in an area of the center console, an area of the headlining, or an area of the sun visor, or may be implemented in an area of the windshield (251c) or an area of the window (251h).
  • the audio output unit 252 converts the electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs it. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may operate to vibrate the steering wheel, seat belt, and seats 110FL, 110FR, 110RL, and 110RR so that the user can perceive the output.
  • the processor (hereinafter referred to as a 'control unit') 270 may control the overall operation of each unit of the user interface device 200.
  • the user interface device 200 may include a plurality of processors 270 or may not include the processor 270.
  • the user interface device 200 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the user interface device 200 may be called a vehicle display device.
  • the user interface device 200 may be operated under the control of the control unit 170.
  • the object detection device 300 is a device for detecting objects located outside the vehicle 100. Objects may be various objects related to the operation of the vehicle 100. 5 and 6, the object O is a lane (OB10), another vehicle (OB11), a pedestrian (OB12), a two-wheeled vehicle (OB13), a traffic signal (OB14, OB15), light, a road, a structure, Can include speed bumps, landmarks, animals, etc.
  • Lane OB10 may be a driving lane, a lane next to a driving lane, or a lane in which an oncoming vehicle travels. Lane OB10 may be a concept that includes left and right lines forming a lane.
  • the other vehicle OB11 may be a vehicle running around the vehicle 100 .
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle OB11 may be a vehicle that precedes or follows the vehicle 100.
  • the pedestrian OB12 may be a person located around the vehicle 100.
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100.
  • a pedestrian OB12 may be a person located on a sidewalk or roadway.
  • the two-wheeled vehicle OB12 may refer to a vehicle located around the vehicle 100 and moving using two wheels.
  • the two-wheeled vehicle OB12 may be a vehicle with two wheels located within a predetermined distance from the vehicle 100.
  • the two-wheeled vehicle OB13 may be a motorcycle or bicycle located on a sidewalk or roadway.
  • Traffic signals may include traffic lights (OB15), traffic signs (OB14), and patterns or text drawn on the road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • the light can be the light generated from street lights.
  • the light may be sunlight.
  • a road may include a road surface, a curve, a slope such as uphill or downhill, etc.
  • the structure may be an object located near the road and fixed to the ground.
  • structures may include streetlights, trees, buildings, electric poles, traffic lights, and bridges.
  • Landforms may include mountains, hills, etc.
  • objects can be classified into moving objects and fixed objects.
  • a moving object may be a concept that includes other vehicles and pedestrians.
  • a fixed object may be a concept including a traffic signal, road, or structure.
  • the object detection device 300 may include a camera 310, radar 320, lidar 330, ultrasonic sensor 340, infrared sensor 350, and processor 370.
  • the object detection apparatus 300 may further include other components in addition to the components described, or may not include some of the components described.
  • the camera 310 may be located at an appropriate location outside the vehicle to obtain images of the exterior of the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an Around View Monitoring (AVM) camera 310b, or a 360-degree camera.
  • AVM Around View Monitoring
  • camera 310 may be placed close to the front windshield, inside the vehicle, to obtain an image of the front of the vehicle.
  • the camera 310 may be placed around the front bumper or radiator grill.
  • the camera 310 may be placed close to the rear windshield in the interior of the vehicle to obtain an image of the rear of the vehicle.
  • the camera 310 may be placed around the rear bumper, trunk, or tailgate.
  • the camera 310 may be placed close to at least one of the side windows inside the vehicle to obtain an image of the side of the vehicle.
  • the camera 310 may be placed around a side mirror, fender, or door.
  • the camera 310 may provide the acquired image to the processor 370.
  • Radar 320 may include an electromagnetic wave transmitting unit and a receiving unit.
  • the radar 320 may be implemented as a pulse radar or continuous wave radar based on the principle of transmitting radio waves.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method depending on the signal waveform among the continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 320 detects an object using electromagnetic waves based on a Time of Flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • TOF Time of Flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • the radar 320 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • LiDAR 330 may include a laser transmitter and a receiver. LiDAR 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • LiDAR 330 may be implemented as a driven or non-driven type.
  • the LIDAR 330 When implemented in a driven manner, the LIDAR 330 is rotated by a motor and can detect objects around the vehicle 100.
  • the LIDAR 330 can detect objects located within a predetermined range based on the vehicle 100 through optical steering.
  • the vehicle 100 may include a plurality of non-driven LIDARs 330.
  • the LIDAR 330 detects an object via laser light based on a time of flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • Lidar 330 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor 340 can detect an object based on ultrasonic waves and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the ultrasonic sensor 340 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 can detect an object based on infrared light, and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the infrared sensor 350 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the processor 370 may control the overall operation of each unit of the object detection device 300.
  • the processor 370 can detect and track an object based on the acquired image.
  • the processor 370 can perform operations such as calculating a distance to an object and calculating a relative speed to an object through an image processing algorithm.
  • the processor 370 can detect and track an object based on reflected electromagnetic waves that are transmitted when the electromagnetic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating the distance to an object and calculating the relative speed to the object, based on electromagnetic waves.
  • the processor 370 may detect and track an object based on reflected laser light that is returned after the transmitted laser is reflected by the object.
  • the processor 370 may perform operations such as calculating the distance to the object and calculating the relative speed to the object, based on the laser light.
  • the processor 370 may detect and track an object based on reflected ultrasonic waves in which the transmitted ultrasonic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on ultrasonic waves.
  • the processor 370 may detect and track an object based on the reflected infrared light that is returned after the transmitted infrared light is reflected by the object.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on infrared light.
  • the object detection apparatus 300 may include a plurality of processors 370 or may not include the processor 370.
  • the camera 310, radar 320, lidar 330, ultrasonic sensor 340, and infrared sensor 350 may each individually include a processor.
  • the object detection device 300 may be operated under the control of the processor or control unit 170 of the device in the vehicle 100.
  • the object detection device 400 may be operated under the control of the control unit 170.
  • the communication device 400 is a device for communicating with an external device.
  • the external device may be another vehicle, mobile terminal, or server.
  • the communication device 400 may include at least one of a transmitting antenna, a receiving antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short-range communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, a broadcast transceiver 450, and a processor 470.
  • the communication device 400 may further include other components in addition to the components described, or may not include some of the components described.
  • the short-range communication unit 410 is a unit for short-range communication.
  • the short-range communication unit 410 includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi (Wireless).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless
  • -Fidelity Wi-Fi Direct
  • Wireless USB Wireless Universal Serial Bus
  • the short-range communication unit 410 may form a wireless area network and perform short-range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for acquiring location information of the vehicle 100.
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing communication with infrastructure (V2I), communication between vehicles (V2V), and communication with pedestrians (V2P) protocols.
  • the optical communication unit 440 is a unit for communicating with an external device through light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits it to the outside, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light emitting unit may be formed to be integrated with the lamp included in the vehicle 100.
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server through a broadcast channel or transmitting a broadcast signal to the broadcast management server.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • Broadcast signals may include TV broadcast signals, radio broadcast signals, and data broadcast signals.
  • the processor 470 may control the overall operation of each unit of the communication device 400.
  • the communication device 400 may include a plurality of processors 470 or may not include the processor 470.
  • the communication device 400 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the communication device 400 may implement a vehicle display device together with the user interface device 200.
  • the vehicle display device may be called a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the control unit 170.
  • the driving control device 500 is a device that receives user input for driving.
  • the vehicle 100 may be operated based on signals provided by the driving control device 500.
  • the driving control device 500 may include a steering input device 510, an acceleration input device 530, and a brake input device 570.
  • the steering input device 510 may receive an input of the direction of travel of the vehicle 100 from the user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, touch pad, or button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from the user.
  • the brake input device 570 may receive an input for decelerating the vehicle 100 from the user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of pedals. Depending on the embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, touch pad, or button.
  • the driving control device 500 may be operated under the control of the control unit 170.
  • the vehicle driving device 600 is a device that electrically controls the operation of various devices in the vehicle 100.
  • the vehicle driving device 600 may include a power train driving unit 610, a chassis driving unit 620, a door/window driving unit 630, a safety device driving unit 640, a lamp driving unit 650, and an air conditioning driving unit 660. You can.
  • the vehicle driving device 600 may further include other components in addition to the components described, or may not include some of the components described.
  • the vehicle driving device 600 may include a processor. Each unit of the vehicle driving device 600 may individually include a processor.
  • the power train driver 610 can control the operation of the power train device.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612.
  • the power source driver 611 may control the power source of the vehicle 100.
  • the power source driver 610 may perform electronic control of the engine. Thereby, the output torque of the engine, etc. can be controlled.
  • the power source driving unit 611 can adjust the engine output torque according to the control of the control unit 170.
  • the power source driver 610 may control the motor.
  • the power source driving unit 610 can adjust the rotational speed and torque of the motor according to the control of the control unit 170.
  • the transmission drive unit 612 can control the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission to forward (D), reverse (R), neutral (N), or park (P).
  • the transmission drive unit 612 can adjust the gear engagement state in the forward (D) state.
  • the chassis driver 620 can control the operation of the chassis device.
  • the chassis drive unit 620 may include a steering drive unit 621, a brake drive unit 622, and a suspension drive unit 623.
  • the steering drive unit 621 may perform electronic control of the steering apparatus within the vehicle 100.
  • the steering drive unit 621 can change the moving direction of the vehicle.
  • the brake driver 622 may perform electronic control of the brake apparatus within the vehicle 100. For example, the speed of the vehicle 100 can be reduced by controlling the operation of the brakes disposed on the wheels.
  • the brake driver 622 can individually control each of the plurality of brakes.
  • the brake driver 622 can control braking force applied to a plurality of wheels differently.
  • the suspension drive unit 623 may perform electronic control of the suspension apparatus within the vehicle 100. For example, when the road surface is curved, the suspension drive unit 623 may control the suspension device to reduce vibration of the vehicle 100. Meanwhile, the suspension driving unit 623 can individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may perform electronic control of the door apparatus or window apparatus within the vehicle 100.
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632.
  • the door driver 631 can control the door device.
  • the door driver 631 can control the opening and closing of a plurality of doors included in the vehicle 100.
  • the door driver 631 can control the opening or closing of the trunk or tail gate.
  • the door driver 631 can control the opening or closing of the sunroof.
  • the window driver 632 may perform electronic control of a window apparatus. It is possible to control the opening or closing of a plurality of windows included in the vehicle 100.
  • the safety device driver 640 may perform electronic control of various safety apparatuses in the vehicle 100.
  • the safety device driver 640 may include an airbag driver 641, a seat belt driver 642, and a pedestrian protection device driver 643.
  • the airbag driving unit 641 may perform electronic control of the airbag apparatus within the vehicle 100.
  • the airbag driving unit 641 may control the airbag to be deployed when danger is detected.
  • the seat belt drive unit 642 may perform electronic control of the seat belt appartus in the vehicle 100. For example, when danger is detected, the seat belt drive unit 642 can control the passenger to be fixed to the seat (110FL, 110FR, 110RL, 110RR) using the seat belt.
  • the pedestrian protection device driving unit 643 may perform electronic control of the hood lift and pedestrian airbag. For example, the pedestrian protection device driving unit 643 may control the hood to lift up and the pedestrian airbag to deploy when a collision with a pedestrian is detected.
  • the lamp driver 650 may perform electronic control of various lamp apparatuses in the vehicle 100.
  • the air conditioning driver 660 may perform electronic control of the air conditioning device (air cinditioner) in the vehicle 100. For example, when the temperature inside the vehicle is high, the air conditioning driver 660 can control the air conditioning device to operate so that cold air is supplied into the vehicle interior.
  • the air conditioning driver 660 can control the air conditioning device to operate so that cold air is supplied into the vehicle interior.
  • the vehicle driving device 600 may include a processor. Each unit of the vehicle driving device 600 may individually include a processor.
  • the vehicle driving device 600 may be operated under the control of the control unit 170.
  • the operation system 700 is a system that controls various operations of the vehicle 100.
  • the navigation system 700 may be operated in autonomous driving mode.
  • the driving system 700 may include a driving system 710, a parking system 740, and a parking system 750.
  • the navigation system 700 may further include other components in addition to the components described, or may not include some of the components described.
  • the navigation system 700 may include a processor. Each unit of the navigation system 700 may individually include a processor.
  • the navigation system 700 when the navigation system 700 is implemented in software, it may be a sub-concept of the control unit 170.
  • the navigation system 700 includes at least one of the user interface device 200, the object detection device 300, the communication device 400, the vehicle driving device 600, and the control unit 170. It may be an inclusive concept.
  • the driving system 710 can drive the vehicle 100.
  • the driving system 710 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the parking system 740 can remove the vehicle 100.
  • the parking system 740 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 750 can park the vehicle 100.
  • the parking system 750 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to park the vehicle 100.
  • the parking system 750 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to park the vehicle 100.
  • the parking system 750 may park the vehicle 100 by receiving a signal from an external device through the communication device 400 and providing a control signal to the vehicle driving device 600.
  • the navigation system 770 may provide navigation information.
  • Navigation information may include at least one of map information, set destination information, route information according to the set destination, information on various objects on the route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include memory and a processor.
  • the memory can store navigation information.
  • the processor may control the operation of the navigation system 770.
  • the navigation system 770 may receive information from an external device through the communication device 400 and update pre-stored information.
  • the navigation system 770 may be classified as a sub-component of the user interface device 200.
  • the sensing unit 120 can sense the status of the vehicle.
  • the sensing unit 120 includes a posture sensor (e.g., yaw sensor, roll sensor, pitch sensor), collision sensor, wheel sensor, speed sensor, and inclination sensor.
  • Sensor weight sensor, heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering wheel It may include a rotational steering sensor, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor, brake pedal position sensor, etc.
  • the sensing unit 120 includes vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/backward information, and battery. Obtain sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, etc. can do.
  • the sensing unit 120 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), TDC sensor, crank angle sensor (CAS), etc. may be further included.
  • the vehicle interface unit 130 may serve as a passageway for various types of external devices connected to the vehicle 100.
  • the vehicle interface unit 130 may have a port that can be connected to a mobile terminal, and can be connected to a mobile terminal through the port. In this case, the vehicle interface unit 130 can exchange data with the mobile terminal.
  • the vehicle interface unit 130 may serve as a conduit for supplying electrical energy to a connected mobile terminal.
  • the vehicle interface unit 130 may provide electrical energy supplied from the power supply unit 190 to the mobile terminal under the control of the control unit 170. .
  • the memory 140 is electrically connected to the control unit 170.
  • the memory 140 can store basic data for the unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 140 may be a variety of storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc.
  • the memory 140 may store various data for the overall operation of the vehicle 100, such as programs for processing or controlling the control unit 170.
  • the memory 140 may be formed integrally with the control unit 170 or may be implemented as a sub-component of the control unit 170.
  • the control unit 170 may control the overall operation of each unit within the vehicle 100.
  • the control unit 170 may be named ECU (Electronic Control Unit).
  • the power supply unit 190 may supply power required for the operation of each component under the control of the control unit 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • processors and control units 170 included in the vehicle 100 include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs ( It may be implemented using at least one of field programmable gate arrays, processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • the device/cloud server providing the AR signage platform service communicates with the user interface device (or, hereinafter referred to as 'user terminal') 200 or the navigation system 770 of the vehicle 100.
  • a platform or AR signage data can be provided for displaying a single AR digital signage or AR digital signage for each floor in the display area within the driving image.
  • AR digital signage refers to the provision of multimedia information displayed in a display area within a driving image, for example, a building or an area related thereto, using augmented reality (AR) technology, and uses AR to function as an outdoor electronic signboard.
  • AR augmented reality
  • displaying AR digital signage for each floor in the display area is to display contents (e.g., advertising information, brand information, news information, etc.) for a plurality of POIs on each floor based on the floor number information of the related area. This means displaying each AR digital signage matching the corresponding content information by stacking it in multiple layers.
  • contents e.g., advertising information, brand information, news information, etc.
  • 'display area' refers to a location or area where AR digital signage is displayed within a driving image in front of a vehicle.
  • the display area may include areas such as a multi-story building, the surroundings of the building, guardrails around the driving road, the driving road floor, and other facilities.
  • 'driving image' or 'driving image' disclosed in this specification refers not only to images captured through camera sensors (or smart glasses including such functions), but also to images reflected on the LCD screen through camera sensors. It can include both real-space images and digitally twinned 3D images displayed on the windshield/dashboard where the video and AR digital signage are directly projected.
  • displaying AR digital signage for each floor in the display area within the driving image is based on the x, y, z spatial coordinates and floor number information for the actual display area (e.g., building, building, etc.). It begins with calculating a reference point for The calculation of this reference point matches the viewpoint of the actual driving road or the above-mentioned driving image with the viewpoint of the screen on which content information related to the plurality of POI information will be rendered, providing the same realism as if a signage billboard were displayed on an actual building. It is a process for
  • the initial position of the display area within the driving image to be mapped in the form of multiple digital signages stacked one after another is calculated.
  • the AR digital signage for each floor can be displayed to correspond to each floor in the display area within the driving image.
  • the AR signage display device 700 may be implemented as a part of the electrical equipment or system of the vehicle 100, as shown, or may be implemented as a separate independent device or system. .
  • the AR signage display device 700 may be implemented in the form of a program consisting of instructions operated by a processor such as a user terminal of the vehicle 100.
  • the AR signage display device 700 communicates with the vehicle 100 to collect sensing data from sensors installed in the vehicle (e.g., camera, GPS/UR, electronnic horizon, ADAS sensor, etc.), navigation information, and user information. It can be received and processed such as appropriate filtering.
  • sensors installed in the vehicle e.g., camera, GPS/UR, electronnic horizon, ADAS sensor, etc.
  • the AR signage display device 700 communicates with a device/cloud server that provides AR signage platform services, receives AR signage data for creating and displaying AR digital signage, and processes it through appropriate filtering. You can.
  • the AR signage display device 700 determines situations related to restrictions on the display of AR digital signage based on received vehicle sensing data and AR signage data, and limits the display according to a restriction method matching the determined situation. So, AR signage data can be corrected.
  • the AR signage display device 700 may perform a display update (rendering update) or display restriction of the AR digital signage based on the corrected AR signage data.
  • Figure 8 is a block diagram showing the overall system structure related to display restrictions of AR digital signage according to an embodiment of the present invention.
  • the entire system can be divided into a vehicle side and a cloud side, and the vehicle AR signage display device 700 according to the present invention is a separate and independent device on the vehicle side or between the vehicle side and the cloud side. It can be implemented as: Additionally, the vehicle side and the cloud side may be composed of a plurality of modules as described below to provide AR digital signage services.
  • the cloud side may include an external data source 810, a signage data manager 820, a database 830, a policy manager 840, and signage data first processing 850.
  • the cloud side can be used in the same concept as the device/cloud server that provides the AR signage platform service, which will be described later.
  • the external data source 810 is a variety of content sources related to the creation of AR digital signage, such as commerce services (e.g., coupons, payments), advertising air displays, and map information (e.g., map data, POI data). , dynamic data, etc.), building data (e.g., floor number information, etc.), etc.
  • commerce services e.g., coupons, payments
  • advertising air displays e.g., maps, payments
  • map information e.g., map data, POI data
  • building data e.g., floor number information, etc.
  • the map data may mean, for example, two-dimensional or three-dimensional map information including POI information for displaying AR digital signage.
  • the map data may include road type, number of driving lanes, width data, etc.
  • the dynamic data may include real-time traffic information (e.g., traffic information on a road/lane basis), accident information, weather information, AR coupon usage information around the current location of the vehicle, etc.
  • the building data may include building topographic information (footpint information), entrance information, and floor number information (building stories information).
  • the advertising agency may provide, for example, content advertising information (eg, advertising information collected in conjunction with databases such as NoSQL DB and Mongo) for each POI.
  • content advertising information eg, advertising information collected in conjunction with databases such as NoSQL DB and Mongo
  • the signage data manager 820 is an interface that communicates with the external data source 810, and can reconstruct data received from the external data source 810 and transmit it to the database 830. Additionally, the signage data manager 820 can manage AR signage data for displaying AR digital signage.
  • the database 830 may include a user data DB, a signage data DB, an advertising data DB, etc., so that each is stored and managed in separate areas according to the properties of the data to be stored.
  • user profile data can be stored and managed in the user data DB
  • AR signage data for displaying AR digital signage in the signage data DB
  • various advertising content monitoring information can be stored and managed in the advertising data DB.
  • the policy manager 840 may determine a display policy for the AR digital signage using vehicle data and user data transmitted from the driving information management unit 860 on the vehicle side. Based on the determined display policy, the policy manager 840 may request a set of AR signage data corresponding to AR digital signage that can be displayed at the current location of the vehicle.
  • the client may include a driving information management unit 860 including a vehicle sensing data collection unit 861, a navigation unit 862, and a user information unit 863.
  • Various vehicle-related information collected by the driving information management unit 860 may be provided to the cloud and the AR signage display device 700.
  • the vehicle's sensing data collection unit 861 collects sensing data collected through various sensors provided in the vehicle, for example, image data collected through the camera 310 of the vehicle 100 (e.g., driving image, object recognition information), GPS/DR data (460), electronnic horizon data, ADAS data (360), V2X data (e.g., situational data collectable through V2V and V2I), vehicle status data (e.g., vehicle abnormal state, residual (fueling/charging amount, consumable replacement time, etc.) can be collected.
  • image data collected through the camera 310 of the vehicle 100 e.g., driving image, object recognition information
  • GPS/DR data 460
  • electronnic horizon data e.g., ADAS data (360)
  • V2X data e.g., situational data collectable through V2V and V2I
  • vehicle status data e.g., vehicle abnormal state, residual (fueling/charging amount, consumable replacement time, etc.
  • the ADAS data 360 includes driving-related sensing data such as driving direction, speed, and distance from the lane.
  • the GPS/DR data 460 includes vehicle location data obtained through a vehicle navigation system.
  • the vehicle's sensing data collection unit 861 can detect objects or dangerous situations around the vehicle based on the sensing data collected through the above-described sensors. For example, the sensing data collection unit 861 detects obstacles or objects (e.g., pedestrians, vehicles, and other means of mobility (e.g., bicycles, electric quick boards, etc.)) around the vehicle based on the ADAS data 360. You can. Additionally, the sensing data collection unit 861 can determine the vehicle's expected driving path information based on electronnic horizon data.
  • obstacles or objects e.g., pedestrians, vehicles, and other means of mobility (e.g., bicycles, electric quick boards, etc.)
  • the sensing data collection unit 861 can determine the vehicle's expected driving path information based on electronnic horizon data.
  • the sensing data collection unit 861 can collect information such as signals in front of the vehicle through V2X communication and traffic-related information to determine the traffic situation around the vehicle.
  • the navigation unit 862 uses the vehicle's map information to provide map-related information such as the type of road being driven, the number and width of lanes, surrounding building information, building coordinate information, and topographic information of the road being driven, as well as navigation route information (e.g. , guidance information, destination/waypoint, etc.) can be collected.
  • map-related information such as the type of road being driven, the number and width of lanes, surrounding building information, building coordinate information, and topographic information of the road being driven, as well as navigation route information (e.g. , guidance information, destination/waypoint, etc.) can be collected.
  • the user information unit 863 includes user basic identification information, user preference information (e.g., user preference POI information, registered hashtags, etc.), driving history information (e.g., recent destination, search destination, user registration point), and coupon usage history. Profile information such as etc. can be collected.
  • user preference information e.g., user preference POI information, registered hashtags, etc.
  • driving history information e.g., recent destination, search destination, user registration point
  • coupon usage history e.g., recent destination, search destination, user registration point
  • Profile information such as etc. can be collected.
  • the driving information management unit 860 collects information obtained from the sensing data collection unit 861, the navigation unit 862, and the user information unit 863, for example, a plurality of sensing data, vehicle status information, navigation data, user profile information, etc. Based on this, driving context information can be extracted. Additionally, the driving information management unit 860 may include other vehicle driving modes (eg, manual/automatic/semi-autonomous driving modes), other setting modes (eg, pet mode, camping mode, etc.), etc.
  • vehicle driving modes eg, manual/automatic/semi-autonomous driving modes
  • other setting modes eg, pet mode, camping mode, etc.
  • the policy manager 840 displays AR digital signage around the vehicle based on the vehicle's driving situation and the vehicle's current location. Create a display policy for
  • the cloud-side signage data first processing 850 configures a set of AR signage data that can be displayed at the current location of the vehicle based on the display policy for AR digital signage created by the policy manager 840.
  • the signage data first processing 850 may include a signage data management module and a media content creation module.
  • the vehicle AR signage display device 700 receives the result of the signage data first processing 850 and the information of the driving information management unit 860, and performs signage data second processing ( 710), a method of limiting the display of AR digital signage can be determined based on the current driving situation of the vehicle.
  • the signage data second processing 710 includes a limit management module 711 that determines a display restriction method of the AR digital signage based on the current vehicle's driving situation and a display area in the driving image according to the determined display restriction method. It may include a media content processing module 712 that processes AR signage data corresponding to AR digital signage to be displayed.
  • the display restriction method by the restriction management module 711 is one or a combination of the following: size adjustment, position adjustment, editing of some areas, transparency adjustment, and shape conversion (e.g., symbol icon, etc.) of the AR digital signage. can be decided.
  • secondary processing is performed on the set of AR signage data received from the signage data first processing 850 by the restriction management module 711.
  • the AR rendering module 720 performs AR rendering so that all or part of the AR digital signage overlaps the display area in the driving image based on the set of AR signage data changed by the second signage data processing 710. do.
  • the AR rendering module 720 merges the secondary processed AR signage data in real time with the display area in the driving image/map image acquired through the vehicle's camera or vision sensor. Accordingly, the viewpoint of the actual driving road and the screen where the AR digital signage will be rendered coincides.
  • the display 730 is configured to display data matched by the AR rendering module 720, and may include, for example, one or more displays such as the vehicle's CID, cluster, HUD, and RSE.
  • FIG. 9 is a diagram for explaining the configuration and input/output data of the AR signage display device 700 for a vehicle, according to an embodiment of the present invention.
  • the AR signage display device 700 of a vehicle may operate to display and/or limit display of AR digital signage in real time based on driving information or driving situation information of the vehicle.
  • the AR signage display device 700 can receive vehicle driving information 902 by communicating with the vehicle (vehicle side in FIG. 8) through a communication module (not shown).
  • the AR signage display device 700 can receive signage data 901 by communicating with a cloud server (cloud side in FIG. 8) that provides AR signage platform services through the communication module.
  • a cloud server cloud side in FIG. 8 that provides AR signage platform services through the communication module.
  • the signage data second processing 710 (or 'processor') of the AR signage display device 700 determines the vehicle's current location and sensing data included in the vehicle driving information 902.
  • AR signage data for displaying content about nearby POIs as digital signage can be requested from the cloud server.
  • the signage data second processing 710 determines the occurrence of display restriction conditions for digital signage based on the vehicle driving information 902 and map information through the restriction management module 711 and the media content processing module 712. And, AR signage data (or a set of AR signage data) matching the occurrence location of the display restriction condition can be corrected.
  • the correction method of the AR signage data may be determined differently depending on the analysis results of the display limitation conditions. For example, as a result of analysis of display restriction conditions, it can be determined differently whether to change the position of the AR digital signage, adjust its size, switch its shape, adjust its transparency, or not display it.
  • the signage data second processing 710 may recognize whether a forward-looking situation occurs based on the driving environment information included in the vehicle driving information 902 and the vehicle's sensing data.
  • the occurrence of a forward-looking situation means, based on driving environment information and vehicle sensing data, detection of objects overlapping or approaching within the driving image, detection of an increase in the driving speed of the vehicle or a driving speed above the reference speed, and detection of objects around the vehicle. This may mean that one of the following occurs: detection of traffic congestion, detection of a pedestrian protection area, entry into a vehicle speed limit area, or occurrence of a reduced visibility situation based on road information or weather information.
  • the signage data second processing 710 corrects the matching AR signage data (or a set of AR signage data) so as not to obscure the area related to the driving environment information based on the recognition of this forward looking situation. You can.
  • the AR rendering module 720 performs rendering by AR matching the digital signage, that is, a set of corrected AR signage data, with the driving image in a display area within the driving image based on the AR signage data. Then, the results of AR rendering are displayed on the display 730.
  • FIG. 10 is a diagram illustrating the display of AR digital signage by changing the display limitation method according to a change in the area of the display area or the image distortion rate, according to an embodiment of the present invention.
  • the processor of the AR signage display device 700 may determine the occurrence of a display restriction condition for AR digital signage based on vehicle driving information and map information received while the vehicle is driving.
  • the processor of the AR signage display device 700 responds to changes in the image distortion ratio of the display area or the area ratio of the front and side of the display area recognized through a vision sensor (e.g., a vehicle camera). Based on this, at least one of the occurrence location of the display restriction condition and the correction method of AR signage data matching the location may be determined differently.
  • a vision sensor e.g., a vehicle camera
  • the display area is an area such as a multi-story building capable of displaying AR digital signage as described above, the surroundings of the building, guardrails around the driving road, the road surface, and other facilities. Includes all etc.
  • the display area is described as a building consisting of multiple floors, but it is not limited thereto.
  • the processor of the AR signage display device 700 calculates the width values of the front and side of the building that change according to the driving of the vehicle.
  • the width value can be calculated based on the change in shape of the image of the front and side of the building obtained through the vehicle's vision sensor.
  • FIG. 10 at first (first view), as shown in (a), a plurality of AR digital signages 1011, 1012, and 1013 are mapped and displayed using the side of the building in the driving image as the display area.
  • the difference between the width values (A, B) of the front and side of the building based on the current position and driving direction 1501 of the vehicle at the first point of view is a preset threshold. Since it is less than or equal to this value, the side with the smaller image distortion ratio is determined as the display area.
  • the display area changes to the front of the building in the driving image, as shown in (b), and multiple AR digital signage (1021, 1022, 1023) was mapped and displayed.
  • the display areas of the plurality of AR digital signages (1011, 1012, 1013) were changed from the side to the front to match the image of the side display area that changed depending on the driving of the vehicle.
  • the display method of the AR digital signage can be varied, for example, transparency, size, etc. , the set of AR signage data may be calibrated.
  • the display area is determined to be a side with a large width value (front/side) depending on the vehicle's driving, a set of AR signage data is required so that the AR digital signage is not temporarily displayed for driving safety. It could be corrected.
  • the processor of the AR signage display device 700 gradually moves the AR digital signage for each floor from one side of the building in the driving image to the other side to correspond to the driving direction and driving speed of the vehicle.
  • the AR rendering module and display can be controlled to limit display at the viewpoint or immediately after movement.
  • the first plurality of AR digital signage (1011) displayed for each floor on the side of the building , 1012, 1013) may be restricted from being displayed when they gradually move toward the front in response to the driving of the vehicle or immediately after they move seamlessly toward the front of the building, as shown in (b).
  • a driving image including a display area in which the rendered and updated AR digital signage overlaps is displayed on the display 730 of the AR signage display device 700.
  • the display 730 of the AR signage display device 700 may restore the display of the AR digital signage to its original state based on the end of the display restriction condition and display it.
  • restoring the display of AR digital signage to its original state means real-time AR matching based on signage data 901 on the cloud side and vehicle main driving information 902 on the cloud side and the vehicle side. , it does not mean the same display as before the display restriction.
  • FIGS. 11, 12, 13, 14, 15, and 16a to 16d show, according to an embodiment of the present invention, changing or limiting display of AR digital signage based on driving state information of the vehicle.
  • FIGS. 11, 12, 13, 14, 15, and 16a to 16d show, according to an embodiment of the present invention, changing or limiting display of AR digital signage based on driving state information of the vehicle.
  • Figure 11 shows an example of correcting AR signage data (or a set of AR signage data) based on vehicle rotation information.
  • the processor of the AR signage display device 700 receives rotational driving information of the vehicle, and recognizes the display area located in the rotational direction as the location where the display restriction condition occurs based on the received rotational driving information, AR signage data that matches it can be corrected.
  • the processor of the AR signage display device 700 may determine that the amount of change in the heading angle of the vehicle exceeds a preset threshold based on the received turning driving information.
  • whether the amount of change in the vehicle's heading angle exceeds a preset threshold may mean that the vehicle enters a turning state or enters an expected section of the turning state according to the navigation route.
  • the processor of the AR signage display device 700 displays a display area located in the direction of rotation of the vehicle based on a determination that the amount of change in the heading angle of the vehicle exceeds a preset threshold (or a determination that it is expected to exceed).
  • AR signage data (or a set of AR signage data) can be corrected to limit the display of AR digital signage.
  • AR rendering is performed to display AR digital signage in both the left and right display areas 1110 and 1120 of the driving image, respectively.
  • the processor of the AR signage display device 700 corrects the AR signage data corresponding to the AR digital signage in the left display area. can do.
  • the display of the digital signage in the display area located in the 'opposite direction' of the vehicle's rotation direction continues to be maintained.
  • the related AR digital signage is continuously displayed in the display area 1110 in the opposite direction. can confirm.
  • the processor of the AR signage display device 700 determines that display restrictions are not necessary when the amount of change in the vehicle's heading angle decreases below a preset threshold, and displays digital signage in the display area located in the direction of rotation. AR signage data can be corrected to lift display restrictions.
  • Figures 12 and 13 illustrate a method of restricting the display of AR digital signage when a vehicle enters a specific section.
  • the processor of the AR signage display device 700 recognizes that the vehicle enters a specific section based on the vehicle's current location and map information, and displays digital signage in all surrounding display areas while the vehicle is within the specific section.
  • the display can be limited, or the AR signage data (or a set of AR signage data) in the display area located in the driving direction upon entry can be corrected.
  • the specific section is a section that requires a high degree of forward looking for the safe driving of the vehicle, and may be, for example, any one of a roundabout section, a highway ramp exit section, a school zone, and a section close to the destination according to the navigation route. You can.
  • Figure 12 shows display restrictions of AR digital signage in a roundabout section.
  • AR digital signage may be mapped and displayed without limitation in the display areas 1201 and 1202 within the roundabout section.
  • AR digital signage in all display areas 1201 and 1202 within the vehicle roundabout section may be turned off (1201', 1202').
  • the display restriction is lifted, and the AR digital signage is re-mapped to the display areas 1201 and 1202. can be displayed.
  • the AR digital signage in the display areas 1201 and 1202 are turned off (1201', 1202'), but the vehicle is not receiving navigation route guidance.
  • the display may be limited to increase only the transparency value of the AR digital signage in the display areas 1201 and 1202. This presupposes that a higher degree of forward looking is necessary in cases where the driver is unaware.
  • Figure 13 shows the display restrictions of AR digital signage in the ramp exit section of a highway.
  • both sides of the highway are selected as display areas (1310 and 1320) and AR digital signage is mapped, respectively. can be provided.
  • the AR signage display device ( The processor of 700 may correct the AR signage data to limit the display of digital signage in the display area 1320' located in the ramp exit section in the vehicle's driving direction 1302.
  • the display of digital signage to the display area 1310' in the opposite direction of the vehicle's driving direction 1302 may be restricted in other ways.
  • the AR digital signage in the display area 1320' located in the ramp exit section is turned off, and the display area located in the opposite direction of the ramp exit section ( 1310')'s AR digital signage can draw attention by only increasing the transparency value.
  • the AR digital signage in the display area 1320' located in the ramp exit section is turned off, but in a situation where the vehicle is not receiving route guidance from the navigation. In this case, it can be implemented to increase only the transparency value of the AR digital signage in the display area 1320' located in the ramp exit section.
  • the transparency correction value for AR signage data matching the occurrence location of the display restriction condition can be applied differently depending on whether the vehicle is in a route guidance operation.
  • Figure 14 shows display changes or display restrictions of AR digital signage when a vehicle approaches a destination.
  • the processor of the AR signage display device 700 receives the vehicle's navigation information through a communication module, and applies the above-mentioned display restriction conditions in response to the vehicle entering the destination section based on the received navigation information. It can be determined that this has occurred.
  • the processor uses AR to limit the display of digital signage of content unrelated to the destination among the digital signage in the display area within the section. Signage data can be corrected. This is a method of removing or changing AR digital signage that distracts drivers from driving while concentrating on the destination ahead.
  • AR digital signage related to the display areas 1410 and 1420 in the driving image is mapped and displayed.
  • the AR digital signage in the display area 1420 in the direction of the destination is turned off (1420').
  • Content related to the destination is mapped and displayed. For example, location information 1402 and/or parking information 1403 of the destination may be displayed in the direction of the destination.
  • the corresponding AR signage data is corrected so that AR digital signage with an increased transparency value is displayed in the display area 1410' in the opposite direction to the destination direction.
  • AR digital signage that is not related to the destination is restricted from being displayed and converted to a format related to the destination, thereby providing information so that the driver can accurately arrive at the destination.
  • Figure 15 shows display restrictions of AR digital signage in a continuous guidance section according to the vehicle's navigation information.
  • the processor of the AR signage display device 700 receives the vehicle's navigation information through a communication module, recognizes that the vehicle has entered a driving direction change section based on the received navigation information, and determines that the display restriction condition has occurred. You can decide.
  • the processor of the AR signage display device 700 configures the AR signage to limit the display of digital signage in the display area within the corresponding section. Data can be corrected.
  • AR digital signage may be mapped and displayed without limitation in the display areas 1510, 1520, and 1530 within the driving image in the section 1501 where the vehicle is driving straight according to navigation information.
  • correction of AR signage data may be any one of position correction, transparency correction, size correction, and shape correction of the corresponding digital signage. Additionally, the correction method for AR signage data may vary depending on the type of display restriction condition, and when the display restriction condition is lifted, AR digital signage may be displayed as it was.
  • Figure 16 shows display restrictions of AR digital signage in a road merging section.
  • the processor of the AR signage display device 700 may recognize the merging section of the vehicle's driving lane based on the current location of the vehicle and map information received through the communication module.
  • the merging section may include a point where lanes merge from the right or left of the current driving lane so that another vehicle can enter the current driving lane, or a section within a certain distance from that point.
  • the processor corrects the AR signage data so that any one of the position, transparency, size, and shape of the digital signage in the display area at that location changes based on another vehicle approaching the recognized merging section. You can.
  • AR digital signage can be mapped and displayed in the display area 1610 while other vehicles/objects are not detected. Even at this time, the vehicle can detect the presence of objects around the vehicle, especially objects approaching the merging section, through ADAS sensors, etc.
  • the transparency value of the AR digital signage is increased as shown in (b) of FIG. 16 and mapped to the display area 1610a, or the AR digital signage is mapped to the display area 1610a as shown in (c) of FIG. 16.
  • Change the position of the digital signage e.g., move the position above the object 1650
  • maps it to the display area 1610c making it possible to keep an eye on the vehicle 1650 approaching the merging section. Accordingly, it provides assistance to the driver's safe driving.
  • FIGS. 17A to 17D, 18, 19A to 19D, 20, 21, 22, 23, and 24 show AR based on the driving environment information of the vehicle, according to an embodiment of the present invention.
  • FIGS. 17A to 17D, 18, 19A to 19D, 20, 21, 22, 23, and 24 show AR based on the driving environment information of the vehicle, according to an embodiment of the present invention.
  • the processor of the vehicle AR signage display device 700 may recognize the occurrence of a forward-looking situation based on the vehicle's driving environment information and vehicle's sensing data collected while the vehicle is driving. You can.
  • the processor may perform a rendering update by correcting the AR signage data that matches the driving environment information so as not to obscure the area related to it.
  • the forward looking situation refers to the environment around the vehicle, detection of objects overlapping or approaching within the vehicle's driving image, detection of an increase in the vehicle's driving speed or a driving speed above the standard speed, detection of traffic congestion around the vehicle, and pedestrian protection. This may be one of the following: detection of an area, entry of a vehicle into a speed limit area, or occurrence of a reduced visibility situation based on road information or weather information.
  • the driving environment information may include one or more of road information, road condition information, weather information, and school zone information.
  • the vehicle's sensing data may include one or more of the vehicle's ADAS sensing data, speed data, destination data, and V2X sensing data.
  • Figures 17 and 18 show display limitations of AR digital signage when a moving object is detected around the vehicle in a forward-looking situation.
  • the processor of the AR signage display device 700 for a vehicle displays an area related to vehicle driving environment information based on the vehicle's driving speed, based on the detection of an object overlapping or approaching within the vehicle's driving image.
  • the correction method for the AR signage data matching can be determined differently.
  • the processor selects an area related to vehicle driving environment information, that is, the area where the object is detected, to focus more on looking ahead of the vehicle.
  • AR digital signage in the surrounding display area of the area can be turned off.
  • the processor determines that there is room to keep an eye on the front of the vehicle, and displays the AR digital signage matching the area related to the vehicle driving environment information. Corresponding AR signage data can be corrected to only increase transparency. At this time, the fact that the driving speed is less than the reference value may include the vehicle being stopped.
  • FIG. 17 For example, as shown in (a) of FIG. 17, with AR digital signage for each floor displayed on the front and side display areas (1710, 1720a, 1720b) of the building in the front area, objects such as pedestrians are displayed in the surrounding area.
  • all AR digital signage for each floor in the display areas 1710', 1720a', and 1720b' are turned off as shown in (b), or as shown in (c).
  • the display area 1710a can be moved to a variable position or the AR digital signage in some display area 1720b' can be turned off.
  • existing AR digital signage can be converted into a simpler AR object (1710", 1710b, 1720c), for example, in the form of an AR icon and displayed by mapping.
  • Figure 19 shows the display restrictions of AR digital signage when a fixed object is detected around the vehicle in a forward-looking situation.
  • the processor of the AR signage display device 700 for a vehicle according to the present invention based on the recognition of an area including a fixed structure due to the occurrence of a forward-looking situation of the vehicle, allows the AR digital signage to display the area including the fixed structure.
  • AR signage data that is matched to be displayed can be corrected.
  • the processor when the display area includes floor number information, the processor, based on the floor number information of the display area, at least one of transparency, position, size, and shape of the AR digital signage for the display area of the corresponding floor number. To make one variable, the rendering can be updated.
  • the number of floors of the display area overlapping with the fixed object area (R) such as a pedestrian protection area or a bus stop on the left side of the vehicle's driving direction 1901 is matched.
  • the display of AR digital signage can be restricted.
  • the display of the related AR digital signage can be maintained in the display area 1910 located in the opposite direction of the fixed object area R.
  • Display restrictions for the surrounding display area of the fixed object area (R) may vary as follows.
  • an AR digital signage matching the corresponding floor number is displayed in the display area of another floor, for example, the floor immediately above (or immediately below), in the display area of the corresponding floor.
  • the mapped display can be displayed as reduced-sized AR digital signage (1920a, 1930a).
  • a portion of the AR digital signage matching the corresponding floor number may be cropped and displayed by mapping.
  • Figures 20 and 21 show display restrictions of AR digital signage within a traffic congestion section in a forward-looking situation.
  • the processor of the AR signage display device 700 for a vehicle displays a display included in the driving image so that the driver can focus on looking ahead, based on the recognition of a forward looking situation (e.g., traffic congestion section).
  • the corresponding AR signage data can be corrected to change the overall reference position of the area.
  • the traffic congestion section is, for example, a means of transportation including a large number of vehicles (e.g., 20 or more) or people (e.g., 20 or more people) recognized in the ADAS sensing data of the vehicle, or included in the dynamic information on the cloud side. This may include cases where traffic congestion is identified based on available traffic information.
  • the baseline (or reference line) 2001 of the display area to which AR digital signage is to be mapped is collectively adjusted upward (or downward).
  • AR digital signage can be mapped. Accordingly, the driver can watch for congestion below (or above) the baseline 2001.
  • the corresponding AR signage data is displayed so that AR digital signage with an increased transparency value is displayed in the display area 2002 overlapping with the traffic congestion section. It can be corrected.
  • the processor of the AR signage display device 700 of the vehicle determines the degree to which the display area in the driving image is close to the current location of the vehicle based on recognition of a forward looking situation such as a traffic congestion section. Accordingly, the corresponding AR signage data (or a set of AR signage data) can be corrected so that the degree of display limitation of the AR digital signage is variable.
  • the processor may perform a rendering update such that the degree of display limitation of the AR digital signage increases as the display area in the driving image becomes closer to the current location of the vehicle. Additionally, the processor may correct the matching AR signage data so that the size value of the digital signage decreases or the transparency value increases as the display limit of the AR digital signage increases.
  • the display area 2010 near the current position of the vehicle in the driving image includes a variable AR digital signage, for example, increased transparency, so that one can look ahead.
  • Matching AR signage data can be corrected so that it has a value or is converted into a simple object form (e.g., icon form).
  • the existing AR digital signage can be displayed as is in the display area (2020) located far from the current location of the vehicle in the driving video.
  • the processor may correct the matching AR signage data so that the display area included in the driving image or the maximum number of digital signage displayed in the display area varies depending on the driving speed of the vehicle. there is.
  • the processor may correct the AR signage data so that the display area or the maximum number of digital signages displayed in the display area is reduced in proportion to the driving speed of the vehicle.
  • AR is displayed in up to five display areas (2101, 2102, 2103, 2104, and 2105) on the driving image.
  • Digital signage may be displayed.
  • Figure 21 (b) if the vehicle's driving speed is between 10 and 30 km, a maximum of three display areas can be displayed at once, and as shown in Figure 21 (c), if the vehicle's driving speed is 30 km or more, a maximum of one display area can be displayed.
  • AR digital signage may be displayed only in the display area, or AR digital signage in all display areas may be turned off.
  • Figure 22 illustrates the display limitations of AR digital signage in a situation where the driver's visibility distance is reduced due to a forward-looking situation.
  • the processor of the vehicle AR signage display device 700 detects the number of recognizable objects in the driving image based on the occurrence of a reduced visibility situation based on the vehicle's road information or weather information. Depending on this, whether to expand the display limit area of the digital signage may be determined differently.
  • the road information may be collected through dynamic information on the cloud side or navigation information on the vehicle side, for example, type of road, number of driving lanes, lane width data, real-time traffic information (e.g., road/lane Unit traffic information), accident information, etc. may be included.
  • the weather information may be received as one of dynamic information on the cloud side, and may include, for example, visibility reduction and numerical values due to precipitation, fog, fine dust, etc.
  • the processor increases the transparency value of the display area close to the vehicle when the number of recognizeable objects is large (e.g., more than the standard value (e.g., more than 80% can be recognized), and AR displays the far display area as before. Renderings can be updated to display digital signage.
  • the number of recognizable objects in the driving video is less than the standard value (e.g., less than 80 or 70%)
  • digital signage is displayed in the driving video so that you can focus on looking ahead. You can update the rendering so that it doesn't.
  • Figure 22 (a) is a situation where the visibility distance is reduced due to traffic congestion, and the lower part 2203 of the building display area increases the transparency value and the upper part 2201 of the building increases the brightness value (i.e. (so that a gradient effect appears), matching AR signage data can be corrected. Additionally, a rendering update may be performed so that the transparency of the floor display area 2204 that is closer to the vehicle in the driving lane is increased, and as the distance increases, the transparency decreases and the brightness value increases.
  • Figure 22 (b) is a situation where visibility is reduced due to weather conditions.
  • the transparency of the AR digital signage decreases and the brightness decreases as the distance from the current location of the vehicle increases.
  • the AR signage data can be corrected and mapped to increase.
  • Figure 22(c) shows a case where the reduction in visibility in front of the vehicle is less than the threshold, and in this case, AR digital signage in all display areas included in the front image is turned off.
  • Figures 23 and 24 illustrate the display limits of AR digital signage when a vehicle enters a speed limit area in a forward-looking situation or when a danger is detected.
  • the processor of the vehicle AR signage display device 700 may not display the digital signage displayed in the display area in the driving image while the vehicle is located within the speed limit area based on the vehicle's driving environment information. there is.
  • the AR digital signage displayed in the display areas 2301 and 2302 in the driving video is not restricted as shown in (a).
  • the AR digital signage in the display area can be turned off (2301', 2302') as shown in (b).
  • an AR object 2310a indicating the speed limit value may be displayed on the road surface of the speed limit area, and an AR icon (e.g., 'child protection zone') indicating the speed limit area may be displayed instead of the restricted AR digital signage. )(2310b) may be displayed in a floating form within the driving image.
  • the processor of the vehicle AR signage display device 700 will not display the digital signage displayed in the display area within the driving image when a dangerous situation is detected based on the vehicle's sensing data. You can.
  • the driver when a vehicle makes a turn, makes frequent driving changes, or enters a specific area such as a roundabout, the driver can focus on driving based on such driving information.
  • Some AR digital signage may not be displayed or may be restricted from being displayed.
  • the display of AR digital signage can be limited so as not to block the driver's forward view and to avoid blocking areas related to driving environment information. .
  • by applying a display restriction method appropriate for each situation according to the attributes of the vehicle's driving information and/or environmental information more realistic AR digital signage is provided while the vehicle is driving and safer driving is possible.
  • the above-described present invention can be implemented as computer-readable code (or application or software) on a program-recorded medium.
  • the control method of the self-driving vehicle described above can be implemented using codes stored in memory, etc.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. This also includes those implemented in the form of carrier waves (e.g., transmission via the Internet). Additionally, the computer may include a processor or control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량과 연동된 AR 사이니지 디스플레이 장치 및 그것의 동작방법이 개시된다. 본 발명에 따른 차량과 연동된 AR 사이니지 디스플레이 장치는,차량이 주행하는 동안 수신되는 차량의 주행 정보와 맵 정보에 기초하여, AR 디지털 사이니지의 표시 제한 조건이 발생한 것을 결정할 수 있고, 그러한 경우 그 표시 제한 조건이 발생한 위치에 매칭되는 사이니지 데이터를 보정하여 AR 렌더링을 수행할 수 있다. 그에 따라 차량이 회전 주행하거나, 잦은 주행 변경을 하거나, 회전 교차로 등과 같은 특정 구역에 진입하는 경우, 운전자가 그러한 주행 정보에 기초하여 운전에 집중할 수 있도록 일부 AR 디지털 사이니지를 표시하지 않거나 또는 표시 제한할 수 있다.

Description

차량의 AR 사이니지 디스플레이 장치 및 그것의 동작방법
본 발명은 차량과 연동된 AR 사이니지 디스플레이 장치 및 그것의 동작방법에 관한 것으로, 보다 구체적으로는 차량의 주행 영상 내 결정된 표시영역에 AR 디지털 사이니지를 디스플레이하고 상황에 따라 표시 제한할 수 있도록 구현한 AR 사이니지 디스플레이 장치 및 그것의 동작방법에 관한 것이다.
차량을 이용하는 사용자의 안전 및 편의를 위해, 차량에는 각종 센서와 장치가 구비되고 있으며, 차량의 기능이 다양화 되고 있다. 이러한 차량의 기능은 운전자의 편의를 도모하기 위한 편의 기능, 그리고 운전자 및/또는 보행자의 안전을 도모하기 위한 안전 기능으로 나뉠 수 있다.
차량의 편의 기능은 차량에 인포테인먼트(information + entertainment) 기능을 부여하고, 부분적인 자율 주행 기능을 지원하거나, 야간 시야나 사각 대와 같은 운전자의 시야 확보를 돕는 등의 운전자 편의와 관련된 개발 동기를 가진다. 예를 들어, 적응 순향 제어(active cruise control, ACC), 스마트주자시스템(smart0020parking assist system, SPAS), 나이트비전(night vision, NV), 헤드 업 디스플레이(head up display, HUD), 어라운드 뷰 모니터(around view monitor, AVM), 적응형 상향등 제어(adaptive headlight system, AHS) 기능 등이 있다.
또한, 차량의 안전 기능은 운전자의 안전 및/또는 보행자의 안전을 확보하는 기술로, 차선 이탈 경고 시스템(lane departure warning system, LDWS), 차선 유지 보조 시스템(lane keeping assist system, LKAS), 자동 긴급 제동(autonomous emergency braking, AEB) 기능 등이 있다.
최근에는, 차량의 윈드쉴드, HUD(Head Up Display)를 통해 그래픽 객체를 출력하거나, 카메라로 촬영되는 영상에 그래픽 객체를 출력하여 실제 세계에 그래픽 객체를 추가로 출력시키는 증강현실(Augmented Reality, AR)에 대한 기술개발이 활발히 이루어지고 있다. 특히, 이러한 증강현실(AR) 기술을 활용하여, 운전자에게 증강현실(AR) 기술을 통해 경로를 안내하거나 경로 상에 존재하는 POI 와 관련된 다양한 부가 정보나 광고를 노출하는 기술들의 개발이 확대되고 있다.
이와 같이 증강현실(AR) 기술을 통한 다양한 안내 또는 광고의 경우, 실제 주행영상에 떠있는 AR 오브젝트의 형태로 표현됨으로써, 현실과 다소 괴리감이 있었으며, 한번에 다양한 정보를 제공하지 못했다. 또한, 이와 같이 증강현실(AR) 기술을 통한 다양한 안내 또는 광고가 주행영상에 표시될 때, 운전자 시야 기준의 빌딩의 형태, 차량의 주행 상황이나, 운전자 개인의 성향, 주변의 교통 및 구조물 환경을 유연하게 반영하지 못했었다.
이에, 보다 사실감 높은 AR 오브젝트 형태, 예를 들어 AR 사이니지 형태의 컨텐츠 정보가 운전자의 시야에 보여지는 경우에 있어서도, 주행 중의 다양한 상황(예, 도로 상황, 위험 감지 등)에 따라 운전자가 전방 주시에 집중할 수 있도록 표시를 제한해야할 경우가 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
본 발명의 일부 실시 예에 따르면, 차량 주행 중에 다양한 유용 정보를 보다 사실감 높은 AR 디지털 사이니지 형태로 제공하고, 주행 중에 감지된 상황에 따라 운전자가 전방 주시에 집중할 수 있도록 표시 변경 또는 제한이 가능한 차량의 AR 사이니지 디스플레이 장치 및 그것의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 일부 실시 예에 따르면, 주행 중에 감지된 상황별로 적합한 표시 제한 방법을 달리하여 AR 디지털 사이니지를 표시 또는 표시 제한할 수 있도록 구현한 차량의 AR 사이니지 디스플레이 장치 및 그것의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 일부 실시 예에 따르면, 보다 다양한 소스에 의한 데이터 및 정보 수집에 기초하여, 차량의 주행 영상 내의 AR 디지털 사이니지의 표시 제한 및 제한 방식을 결정함으로써 전방 주시 구간 또는 상황을 보다 정확하게 파악할 수 있는 차량의 AR 사이니지 디스플레이 장치 및 그것의 동작방법을 제공하는데 그 목적이 있다.
이를 위해, 본 발명에 따른 차량과 연동된 AR 사이니지 디스플레이 장치는,차량이 주행하는 동안 수신되는 차량의 주행 정보와 맵 정보에 기초하여, AR 디지털 사이니지의 표시 제한 조건이 발생한 것을 결정할 수 있고, 그러한 경우 그 표시 제한 조건이 발생한 위치에 매칭되는 사이니지 데이터를 보정하여 AR 렌더링을 수행할 수 있다.
그에 따라, 주행 영상 내에서 적어도 일부 AR 사이니지 디스플레이가 표시되지 않거나 또는 다른 형태/크기/투명도로 표시됨으로써, 운전자가 전방을 보다 주시할 수 있도록 하여 안전 운행을 돕는다.
구체적으로, 본 발명의 실시 예에 따른 차량과 연동된 AR 사이니지 디스플레이 장치는, 상기 차량 및 AR 사이니지 플랫폼 서비스를 제공하는 클라우드 서버와 통신하는 통신모듈; 비전 센서를 통해 획득되는 차량의 주행 영상을 디스플레이하는 디스플레이; 상기 통신모듈을 통해 상기 차량의 센싱 데이터를 수신하고, 상기 차량의 위치와 상기 센싱 데이터에 기초하여 결정된 주변 POI에 대한 컨텐츠를 디지털 사이니지로 표시하기 위한 AR 사이니지 데이터를 상기 클라우드 서버에 요청하고, 상기 요청에 대응되는 AR 사이니지 데이터를 기초로 생성된 디지털 사이니지를 상기 주행 영상 내 표시영역에 렌더링하는 프로세서를 포함할 수 있다. 이때, 상기 프로세서는, 상기 차량이 주행하는 동안 수신되는 차량의 주행 정보 및 맵 정보에 기초하여 상기 디지털 사이니지의 표시 제한 조건의 발생을 결정하고, 상기 표시 제한 조건의 발생 위치에 매칭되는 AR 사이니지 데이터를 보정하고, 상기 보정된 AR 사이니지 데이터에 기초하여 상기 디지털 사이니지의 렌더링 업데이트를 수행할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 차량의 회전 주행 정보를 수신하고, 수신된 회전 주행 정보를 기초로 회전 방향에 위치한 표시영역을 상기 표시 제한 조건의 발생 위치로 인식하여 매칭되는 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 상기 프로세서는, 수신된 회전 주행 정보에 기초하여 차량의 헤딩 각도 변화량이 미리설정된 임계값을 초과하는 것을 결정하고, 상기 결정에 근거하여 상기 회전 방향에 위치한 표시영역의 디지털 사이니지를 표시 제한하도록 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 차량의 헤딩 각도 변화량이 미리설정된 임계값을 초과하는 동안 상기 회전 방향의 반대방향에 위치한 표시영역의 디지털 사이니지의 표시를 유지하고, 상기 차량의 헤딩 각도 변화량이 미리설정된 임계값 미만으로 감소한 것에 응답하여 상기 회전 방향에 위치한 표시영역의 디지털 사이니지의 표시 제한을 해제하도록 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 차량의 현재 위치와 맵 정보에 기초하여 상기 차량이 특정 구간에 진입하는 것을 인식하고, 상기 차량이 상기 특정 구간 내에 있는 동안 주변 모든 표시영역의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 차량의 현재 위치와 맵 정보에 기초하여 상기 차량이 특정 구간에 진입하는 것을 인식하고, 상기 차량이 상기 특정 구간에 진입시 차량의 주행 방향에 위치한 표시영역의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 차량이 경로 안내 동작 중인지 여부에 따라 상기 표시 제한 조건의 발생 위치에 매칭되는 AR 사이니지 데이터에 대한 투명도 보정값을 다르게 적용할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 통신 모듈을 통해 상기 차량의 내비게이션 정보를 수신하고, 수신된 내비게이션 정보에 기초하여 상기 차량이 주행 방향 변경 구간 또는 목적지 구간에 진입한 것에 응답하여 상기 표시 제한 조건이 발생한 것으로 결정할 수 있다.
실시 예에 따라, 상기 프로세서는, 수신된 내비게이션 정보에 기초하여 상기 차량이 목적지 구간에 진입한 것에 응답하여, 해당 구간 내의 표시영역의 디지털 사이니지 중 목적지와 관련 없는 컨텐츠의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 상기 프로세서는, 수신된 내비게이션 정보에 기초하여 상기 차량이 주행 방향 변경 구간에 진입한 것에 응답하여, 해당 구간에서 설정 횟수 이상의 주행 방향 변경이 인식된 것에 근거하여 해당 구간 내의 표시영역의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 상기 AR 사이니지 데이터의 보정은 대응되는 디지털 사이니지의 위치 보정, 투명도 보정, 크기 보정, 형상 보정 중 어느 하나일 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 차량의 현재 위치와 맵 정보에 기초하여 상기 차량의 주행 차선에 대한 합류 구간을 인식하고, 상기 차량의 센싱 데이터에 기초하여 상기 합류 구간에 다른 차량이 접근하는 것에 근거하여, 해당 위치의 표시영역의 디지털 사이니지의 위치, 투명도, 크기, 형상 중 어느 하나가 변경되도록 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 비전 센서를 통해 인식되는 상기 표시영역의 이미지 왜곡비율 또는 전면 및 측면의 면적비율의 변화에 기초하여, 상기 표시 제한 조건의 발생 위치 및 그 위치에 매칭되는 AR 사이니지 데이터의 보정방식 중 적어도 하나를 다르게 결정할 수 있다.
실시 예에 따라, 상기 디스플레이는, 상기 렌더링 업데이트된 디지털 사이니지가 오버랩된 상기 표시영역을 포함한 주행 영상을 디스플레이하고, 상기 표시 제한 조건이 종료된 것에 근거하여 상기 디지털 사이니지의 표시를 복원하여 디스플레이할 수 있다.
본 발명에 따른 차량의 AR 사이니지 디스플레이 장치 및 그것의 동작방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 일부 실시 예에 의하면, 차량이 회전 주행하거나, 잦은 주행 변경을 하거나, 회전 교차로 등과 같은 특정 구역에 진입하는 경우, 운전자가 그러한 주행 정보에 기초하여 운전에 집중할 수 있도록 일부 AR 디지털 사이니지를 표시하지 않거나 또는 표시 제한할 수 있다.
또한, 본 발명의 일부 실시 예에 의하면, 교통 혼잡 구간이나 차량의 가시거리가 감소되는 등의 주행 환경 정보에 기초하여, 운전자의 전방 시야를 가리지 않고 주행 환경 정보와 관련된 영역이 가려지지 않도록 AR 디지털 사이니지의 표시를 제한할 수 있다.
또한, 차량의 주행 정보 및/또는 환경 정보의 속성에 따라 상황별로 적합한 표시 제한 방법을 적용함으로써, 차량의 주행 동안, 보다 사실감 높은 AR 디지털 사이니지를 제공하면서 보다 안전한 주행이 수행될 수 있도록 한다.
도 1은 본 발명의 실시예와 관련된 차량의 예시를 도시한 도면이다.
도 2는 본 발명의 실시예와 관련된 차량을 다양한 각도에서 본 도면이다.
도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 및 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예와 관련된 차량을 설명하는데 참조되는 블럭도이다.
도 8은 본 발명의 실시예에 따른 AR 디지털 사이니지의 표시 제한과 관련된 전체 시스템 구조를 도시한 블록도이다.
도 9는 본 발명의 실시예에 따라, 차량의 AR 사이니지 디스플레이 장치의 구성 및 입출력 데이터를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따라, 표시영역의 면적 또는 이미지 왜곡률 변화에 따라 AR 디지털 사이니지의 표시 제한 방식을 가변하여 디스플레이하는 것을 설명하기 위한 도면들이다.
도 11, 도 12, 도 13, 도 14, 도 15, 도 16a 내지 도 16d는, 본 발명의 실시예에 따라, 안전 운전을 위해 차량의 주행 상태 정보에 기초하여, AR 디지털 사이니지를 변경하여 디스플레이하는 다양한 실시 예들을 도시한 도면들이다.
도 17a 내지 도 17d, 도 18, 도 19a 내지 도 19d, 도 20, 도 21, 도 22, 도 23, 도 24는, 본 발명의 실시예에 따라, 안전 운전을 위해 차량 주변의 상황 정보에 기초하여, AR 디지털 사이니지를 변경하여 디스플레이하는 다양한 실시 예들을 도시한 도면들이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
본 명세서에 개시된 "시스템"은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.
본 개시에서, "사용자 단말" 또는 "사용자 클라이언트"는 차량(또는, 차량에 구비된 전장품, 장치/시스템 등) 및 AR 디지털 사이니지 플랫폼 장치/시스템과 통신하는 사용자 단말 등의 컴퓨팅 장치 및/또는 시스템 또는 사용자 자체를 포함하는 것으로 지칭할 수 있다.
본 명세서에 개시된 "디지털 사이니지 플랫폼"은 PaaS(Platform as a Service) 및/또는 MLaaS(Machine Learning as a Service) 서비스가 가능한 임베디드/장치 기반 또는 클라우드 기반의 플랫폼을 제공할 수 있다. 이러한 디지털 사이니지 플랫폼은 AR 디지털 사이니지를 제공하는 방법/동작과 관련된다.
본 명세서에 개시된 "맵 정보"는 카메라 등의 비전센서를 통해 촬영된 영상, 2차원 지도정보, 3차원지도정보, 디지털 트윈(Digital Twin) 3차원 맵, 실제/가상 공간상의 지도정보를 포함하는 의미로 지칭될 수 있다.
본 명세서에 개시된 "POI(Point of Interest, POI) 정보"는 상기 맵 정보를 기초로 선택된 관심지점으로, 기등록된 POI 정보(클라우드 서버의 맵 지도에 저장된 POI), 사용자 설정 POI 정보(예, 우리집, 학교, 회사 등), 주행 관련 POI 정보(예, 목적지, 경유지, 주유소, 휴게소, 주차장 등), 및 상위 검색 POI 정보(예, 최근 클릿/방문수가 많은 POI, 핫 플레이스 등)를 포함할 수 있다. 이러한 POI 정보는, 차량의 현재 위치를 기준으로 실시간 업데이트될 수 있다.
본 명세서에 개시된 "주행 영상"은 차량 또는 차량 주변의 비전센서를 통해 획득된 것으로, 예를 들어 차량의 주행 동안 비전센서(카메라, 영상용 레이저센서 등)를 통해 획득되거나 투사되는 영상, 차량의 윈드쉴드에 투사되는 현실의 이미지 자체/가상공간의 영상을 포함할 수 있다. 즉, 상기 주행 영상은 디스플레이를 통해 출력되는 영상, 레이저 센서 등을 통해 투사되는 영상, 또는 차량의 윈드쉴드를 통해 보여지는 현실의 이미지 자체를 모두 포함하는 의미로 지칭될 수 있다.
도 1 및 도 2는 본 발명의 실시 예와 관련된 차량의 외관이고, 도 3 및 도 4는 본 발명의 실시예와 관련된 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예와 관련된 차량의 주행과 관련된 다양한 오브젝트를 도시한 도면이다.
도 7은 본 발명의 실시예와 관련된 차량을 설명하는데 참조되는 블럭도이다. 도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다. 차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다. 예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다. 예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다. 예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 차량 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(이하, '사용자 단말'로 명명될 수 있음)(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(210)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(210)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(210)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(210)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다. 실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다. 기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(이하, '제어부'로 명명될 수 있음)(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다. 실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다. 사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다. 오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다. 도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다. 변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다. 샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다. 한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다. 주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다. 출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다. 주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
차량 인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 차량 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 차량 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 차량 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 차량 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 차량 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 본 발명에 따른 AR 사이니지 플랫폼 서비스를 제공하는 장치/클라우드 서버는 차량(100)의 사용자 인터페이스 장치(또는, 이하 '사용자 단말'로 명명됨)(200) 또는 내비게이션 시스템(770)과 통신하여, 주행 영상 내 표시영역에 단일의 AR 디지털 사이니지 또는 층별 AR 디지털 사이니지를 디스플레이하기 위한 플랫폼 또는 AR 사이니지 데이터를 제공할 수 있다.
본 명세서에 개시된, AR 디지털 사이니지는 증강현실(AR) 기술을 이용하여 주행 영상 내 표시영역, 예를 들어 빌딩 또는 그와 관련된 영역에 표시되는 멀티미디어 정보 제공를 의미하며, 옥외 전광판과 같은 기능을 AR 기술로 구현한 것이다
본 명세서에 개시된, 표시영역에 층별 AR 디지털 사이니지를 표시하는 것은, 복수의 POI 에 대한 컨텐츠(예, 광고 정보, 브랜드 정보, 뉴스 정보 등)를 관련된 영역의 층수 정보에 기초하여, 각 층에 대응되는 컨텐츠 정보에 매칭되는 각 AR 디지털 사이니지를 복수의 층으로 쌓아서 표시하는 것을 의미한다.
본 명세서에 개시된, '표시 영역'은 차량 전방의 주행 영상 내에 포함되어 AR 디지털 사이니지가 디스플레이되는 위치 또는 영역을 의미한다. 상기 표시영역은 복수의 층으로 이루어진 빌딩, 상기 빌딩의 주변, 주행 도로 주변의 가드레일, 주행 도로 바닥면, 기타 시설물 등의 영역 등을 포함할 수 있다.
또한, 본 명세서에 개시된, '주행 영상' 또는 '주행 영상'은, 카메라 센서(또는, 이러한 기능을 포함하는 스마트 글래스를 포함함)를 통해 촬영된 영상뿐만 아니라, 카메라 센서를 통해 LCD 화면에 반사되는 영상 및 AR 디지털 사이니지가 직접 투영되는 윈드쉴드/대시보드에 보여지는 실제공간의 이미지 및 디지털 트윈된 3차원 이미지 등을 모두 포함할 수 있다.
본 명세서에서, 주행 영상 내 표시영역에 층별 AR 디지털 사이니지를 표시하는 것은, 실제 표시영역(예, 건물, 빌딩 등) 대한 x, y, z 공간 좌표 및 층수 정보에 기초하여, 실제 표시영역에 대한 기준점을 산출하는 것으로 개시된다. 이러한 기준점의 산출은, 실제 주행 도로나 전술한 주행 영상의 시점과 복수의 POI 정보와 관련된 컨텐츠 정보를 렌더링할 화면의 시점을 일치시켜서, 실제 빌딩에 사이니지 전광판이 표시되는 것과 같은 사실감을 제공하기 위한 과정이다.
그런 다음, 산출된 기준점을 기초로 복수의 디지털 사이니지가 차례로 위로 쌓아지는 형태로 매핑될 주행 영상 내 표시영역의 초기 위치가 계산된다. 다음, AR 엔진을 통해, 산출된 초기 위치로부터 위로 쌓는 형태로 층별 AR 디지털 사이니지가 디스플레이되도록 렌러딩함으로써, 주행 영상 내 표시영역에 층별 AR 디지털 사이니지가 각 층에 대응되도록 표시될 수 있다.
도 7에서, 본 발명의 실시 예에 따른 AR 사이니지 디스플레이 장치(700)는, 도시된 바와 같이 차량(100)의 전장품 또는 시스템의 일부로 구현되거나, 또는 별도의 독립항 장치 또는 시스템으로 구현될 수 있다. 또는, 상기 AR 사이니지 디스플레이 장치(700)는 차량(100)의 사용자 단말 등의 프로세서에 의해 동작하는 명령어로 이루어진 프로그램 형태로 구현될 수도 있다.
AR 사이니지 디스플레이 장치(700)는 차량(100)과 통신하여 차량에 구비된 센서(예, 카메라, GPS/UR, electronnic horizon, ADAS 센서 등)에 의한 센싱 데이터를 수집, 네이게이션 정보, 사용자 정보를 수신하고 적절한 필터링 등의 가공 처리할 수 있다.
AR 사이니지 디스플레이 장치(700)는 AR 사이니지 플랫폼 서비스를 제공하는 장치/클라우드 서버와 통신하여, AR 디지털 사이니지의 생성 및 표시를 위한 AR 사이니지 데이터를 수신하고 이를 적절한 필터링 등의 가공 처리할 수 있다.
AR 사이니지 디스플레이 장치(700)는 수신된 차량의 센싱 데이터 등과 AR 사이니지 데이터를 기초로 AR 디지털 사이니지의 디스플레이의 제한과 관련된 상황을 결정하고, 결정된 상황에 매칭되는 제한 방식에 따라 디스플레이를 제한하도록, AR 사이니지 데이터를 보정할 수 있다. AR 사이니지 디스플레이 장치(700)는 보정된 AR 사이니지 데이터를 기초로 AR 디지털 사이니지의 디스플레이 업데이트(렌더링 업데이트) 또는 표시 제한을 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 AR 디지털 사이니지의 표시 제한과 관련된 전체 시스템 구조를 도시한 블록도이다.
도 8에 도시된 바와 같이, 전체 시스템은 차량측과 클라우드측으로 구분될 수 있으며, 본 발명에 따른 차량의 AR 사이니지 디스플레이 장치(700)는, 차량측 또는 차량측 및 클라우드측 사이에 별개 독립된 장치로서 구현될 수 있다. 또한, 차량측 및 클라우드측은 AR 디지털 사이니지의 서비스 제공을 위해 이하에 설명되는 바와 같이 복수의 모듈들로 구성될 수 있다.
클라우드측은, 외부 데이터 소스원(810), 사이니지 데이터 매니저(820), 데이터 베이스(830), 정책 매니저(840), 및 사이니지 데이터 제1 프로세싱(850)을 포함할 수 있다. 상기 클라우드측은, 후술하는 AR 사이니지 플랫폼 서비스를 제공하는 장치/클라우드 서버와 동일한 개념으로 사용될 수 있다.
외부 데이터 소스원(810)은, AR 디지털 사이니지의 생성고 관련된 다양한 컨텐츠 소스원으로, 예를 들어 커머스 서비스(예, 쿠폰, 결제), 광고 에어전시, 맵 정보(예, 맵 데이터, POI 데이터, 다이내믹 데이터 등), 빌딩 데이터(예, 층수 정보 등) 등을 포함할 수 있다.
여기에서, 상기 맵 데이터는, 예를 들어 AR 디지털 사이니지의 표시를 위한 POI 정보를 포함하는 2차원 또는 3차원 지도정보를 의미할 수 있다. 상기 맵 데이터는, 도로의 종류, 주행 차선의 개수, 너비 데이터 등을 포함할 수 있다.
또한, 상기 다이내믹 데이터는 실시간 교통 정보(예, 도로/차선 단위의 교통 정보), 사고 정보, 날씨 정보, 차량 현재 위치 주변의 AR 쿠폰 사용 정보 등을 포함할 수 있다.
또한, 상기 빌딩 데이터는, 빌딩의 지형정보(footpint information), 입구정보(entrance information), 및 층수정보(building stories information) 등을 포함할 수 있다.
또한, 상기 광고 에이전시는 예를 들어 각 POI 에 대한 컨텐츠 광고정보(예, NoSQL DB, Mongo 등의 데이터베이스와 연동하여 수집되는 광고정보)를 제공할 수 있다.
사이니지 데이터 매니저(820)는 외부 데이터 소스원(810)과 통신하는 인터페이스로, 외부 데이터 소스원(810)로부터 수신되는 데이터를 재구성하여 데이터 베이스(830)에 전달할 수 있다. 또한, 사이니지 데이터 매니저(820)는 AR 디지털 사이니지의 표시를 위한 AR 사이니지 데이터를 관리할 수 있다.
데이터 베이스(830)는, 저장될 데이터의 속성에 따라 각각 별개의 영역에 저장 및 관리되도록, 사용자 데이터 DB, 사이니지 데이터 DB, 광고 데이터 DB 등을 포함할 수 있다. 예를 들어, 사용자 데이터 DB에는 사용자 프로필 데이터가, 사이니지 데이터 DB에는 AR 디지털 사이니지의 표시를 위한 AR 사이니지 데이터가, 그리고 광고 데이터 DB에는 다양한 광고 컨텐츠 모니터링 정보가 저장 및 관리될 수 있다
정책 매니저(840)는, 차량측의 주행 정보 관리부(860)로부터 전송된 차량 데이터와 사용자 데이터를 이용하여 AR 디지털 사이니지에 대한 표시 정책을 결정할 수 있다. 정책 매니저(840)는 결정된 표시 정책에 근거하여, 차량의 현재 위치에서 표시가능한 AR 디지털 사이니지에 대응되는 AR 사이니지 데이터의 집합을 요청할 수 있다.
클라이언트, 즉 차량측은, 차량의 센싱 데이터 수집부(861), 네비게이션부(862), 사용자 정보부(863)를 포함하는 주행 정보 관리부(860)를 포함할 수 있다. 주행 정보 관리부(860)에 수집된 다양한 차량 관련 정보는 클라우드측과 상기 AR 사이니지 디스플레이 장치(700)에 제공될 수 있다.
구체적으로, 차량의 센싱 데이터 수집부(861)는 차량에 구비된 다양한 센서를 통해 수집되는 센싱 데이터, 예를 들어 차량(100)의 카메라(310)를 통해 수집되는 영상 데이터(예, 주행 영상, 오브젝트 인식 정보), GPS/DR 데이터(460), electronnic Horizon 데이터, ADAS 데이터(360), V2X 데이터(예, V2V 및 V2I를 통해 수집가능한 상황 데이터), 차량 상태 데이터(예, 차량 이상 상태, 잔여 주유량/충전량, 소모품 교체시기 등) 등을 수집할 수 있다.
여기에서, 상기 ADAS 데이터(360)는 주행 방향 및 속도, 차선과의 거리 등의 주행 관련 센싱 데이터를 포함한다. 그리고, GPS/DR 데이터(460)는 차량항법시스템을 통해 획득된 차량의 위치 데이터를 포함한다.
차량의 센싱 데이터 수집부(861)는 전술한 센서를 통해 수집된 센싱 데이터를 기초로 차량 주변의 오브젝트나 위험 상황 등을 감지할 수 있다. 예를 들어, 센싱 데이터 수집부(861)는 ADAS 데이터(360)에 기초하여 차량 주변의 장애물 또는 오브젝트(예, 보행자, 차량, 그 밖의 모빌리티 수단(예, 자전거, 전동 퀵보드 등))를 검출할 수 있다. 또한, 센싱 데이터 수집부(861)는 electronnic Horizon 데이터에 기초하여 차량 예상 주행 경로(path) 정보를 파악할 수 있다.
또한, 비록 도시되지는 않았지만, 상기 센싱 데이터 수집부(861)는 V2X 통신을 통해 차량의 전방 신호 등의 정보를 수집하여 트래픽 관련 정보를 수집하여, 차량 주변의 교통 상황을 파악할 수 있다.
내비게이션부(862)는 차량의 지도 정보를 이용하여 주행 도로의 종류, 차선의 개수 및 너비, 주변 빌딩 정보, 빌딩의 좌표 정보, 주행중인 도로의 지형 정보 등의 맵 관련 정보와 내비게이션 경로 정보(예, 안내 정보, 목적지/경유지 등)를 수집할 수 있다.
사용자 정보부(863)는, 사용자 기본 식별 정보, 사용자 선호 정보(예, 사용자 선호 POI 정보, 등록된 해시태그 등), 주행 히스토리 정보(예, 최근 목적지, 검색지, 사용자 등록지점), 쿠폰 사용 히스토리 등의 프로파일 정보를 수집할 수 있다.
주행 정보 관리부(860)는 센싱 데이터 수집부(861), 내비게이션부(862), 사용자 정보부(863)로부터 획득한 정보, 예를 들어 복수의 센싱 데이터, 차량 상태 정보, 내비게이션 데이터, 사용자 프로파일 정보 등에 기초하여 주행 컨택스트(context) 정보를 추출할 수 있다. 또한, 주행 정보 관리부(860)는 그 밖의 차량의 주행 모드(예, 수동/자동/반자율 주행 모드), 기타 설정 모드(예, 펫 모드, 캠핑 모드 등) 등을 포함할 수 있다.
추출된 주행 컨택스트(context) 정보는 클라우드측의 정책 매니저(840)에 전달되면, 정책 매니저(840)는 이를 기초로 차량의 주행 상황 및 차량 현재 위치를 기준으로 차량 주변의 AR 디지털 사이니지에 대한 표시 정책을 생성한다.
클라우드측의 사이니지 데이터 제1 프로세싱(850)은 정책 매니저(840)에 의해 생성된 AR 디지털 사이니지에 대한 표시 정책에 근거하여, 차량의 현재 위치에서 표시가능한 AR 사이니지 데이터의 집합을 구성한다. 이를 위해, 사이니지 데이터 제1 프로세싱(850)은 사이니지 데이터 관리 모듈 및 미디어 컨텐츠 생성 모듈을 포함할 수 있다.
계속해서, 본 발명에 따른 차량의 AR 사이니지 디스플레이 장치(700)에서는, 사이니지 데이터 제1 프로세싱(850)의 결과와 주행 정보 관리부(860)의 정보를 수신하고, 사이니지 데이터 제2 프로세싱(710)에 의해, 현재 차량의 주행 상황을 기반으로 AR 디지털 사이니지의 표시 제한 방법을 결정할 수 있다.
이를 위해, 사이니지 데이터 제2 프로세싱(710)은 현재 차량의 주행 상황을 기반으로 AR 디지털 사이니지의 표시 제한 방법을 결정하는 제한 관리 모듈(711)과 결정된 표시 제한 방법에 따라 주행 영상 내 표시영역에 디스플레이할 AR 디지털 사이니지에 대응되는 AR 사이니지 데이터를 가공하는 미디어 컨텐츠 처리 모듈(712)을 포함할 수 있다.
이때, 제한 관리 모듈(711)에 의한 표시 제한 방법은, AR 디지털 사이니지의 크기 조절, 위치 조절, 일부 영역의 편집, 투명도 조절, 형태 전환(예, 심볼 아이콘 등) 중 하나 또는 복수개의 조합으로 결정될 수 있다. 다시 말해, 제한 관리 모듈(711)에 의해, 사이니지 데이터 제1 프로세싱(850)으로부터 수신된 AR 사이니지 데이터의 집합에 대한 2차 가공이 수행된다.
AR 렌더링 모듈(720)은 사이니지 데이터 제2 프로세싱(710)에 의해 가변된 AR 사이니지 데이터의 집합을 기초로 주행 영상 내 표시영역에 AR 디지털 사이니지의 전부 또는 일부가 오버랩되도록 AR 렌더링을 수행한다.
다시 말해, AR 렌더링 모듈(720)은 차량의 카메라 또는 비전센서를 통해 획득된 주행 영상/ 맵 영상 내 표시영역에 2차 가공된 AR 사이니지 데이터를 실시간으로 정합(AR Merging)한다. 그에 따라, 실제 주행 도로와 AR 디지털 사이니지가 렌더링될 화면의 시점이 일치된다.
디스플레이(730)는 AR 렌더링 모듈(720)에 의해 정합된 데이터를 디스플레이하기 위한 구성으로, 예를 들어 차량의 CID, 클러스터, HUD, RSE 등의 디스플레이 중 하나 또는 복수를 포함할 수 있다.
도 9는 본 발명의 실시예에 따라, 차량의 AR 사이니지 디스플레이 장치(700)의 구성 및 입출력 데이터를 설명하기 위한 도면이다.
도 9를 참조하면, 차량의 AR 사이니지 디스플레이 장치(700)는 차량의 주행 정보나 주행 상황 정보에 근거하여 실시간으로 AR 디지털 사이니지를 표시하고 그리고/또는 표시 제한하도록 동작할 수 있다.
먼저, AR 사이니지 디스플레이 장치(700)는 통신모듈(미도시)을 통해 차량(도 8의 차량측)과 통신하여 차량 주행 정보(902)를 수신할 수 있다.
또한, AR 사이니지 디스플레이 장치(700)는 상기 통신모듈을 통해 AR 사이니지 플랫폼 서비스를 제공하는 클라우드 서버(도 8의 클라우드측)와 통신하여, 사이니지 데이터(901)를 수신할 수 있다.
이를 위해, AR 사이니지 디스플레이 장치(700)의 사이니지 데이터 제2 프로세싱(710)(또는, '프로세서')은 차량 주행 정보(902)에 포함된 차량의 현재 위치와 센싱 데이터에 기초하여 결정된 차량 주변의 POI 에 대한 컨텐츠를 디지털 사이니지로 표시하기 위한 AR 사이니지 데이터를 상기 클라우드 서버에 요청할 수 있다.
사이니지 데이터 제2 프로세싱(710)은 제한 관리 모듈(711)과 미디어 컨텐츠 처리 모듈(712)을 통해, 차량 주행 정보(902)와 맵 정보에 기초하여 디지털 사이니지의 표시 제한 조건의 발생을 결정하고, 표시 제한 조건의 발생 위치에 매칭되는 AR 사이니지 데이터(또는, AR 사이니지 데이터의 집합)를 보정할 수 있다.
이때, AR 사이니지 데이터의 보정은 표시 제한 조건의 분석 결과에 따라 보보정 방식이 다르게 결정될 수 있다. 예를 들어, 표시 제한 조건의 분석 결과 AR 디지털 사이니지의 위치를 변경할지, 크기를 조절할지, 형태를 전환할지, 투명도를 조절할지, 또는 표시하지 않을지를 다르게 결정할 수 있다.
또한, 사이니지 데이터 제2 프로세싱(710)은 차량 주행 정보(902)에 포함된 주행 환경 정보와 차량의 센싱 데이터에 근거하여 전방 주시 상황의 발생여부를 인식할 수 있다.
여기에서, 전방 주시 상황의 발생이란, 주행 환경 정보와 차량의 센싱 데이터에 근거하여, 주행 영상 내 중첩 또는 접근하는 오브젝트의 검출, 상기 차량의 주행속도 증가 또는 기준속도 이상의 주행속도 검출, 차량 주변의 교통 혼잡 상황 검출, 보행자 보호영역의 검출, 차량의 속도 제한 영역 내 진입, 도로 정보 또는 날씨 정보에 기반한 가시거리 감소 상황 발생 중 어느 하나에 해당하게 된 것을 의미할 수 있다.
사이니지 데이터 제2 프로세싱(710)은 이러한 전방 주시 상황이 인식된 것에 근거하여 상기 주행 환경 정보와 관련된 영역을 가리지 않도록, 매칭되는 AR 사이니지 데이터(또는, AR 사이니지 데이터의 집합)를 보정할 수 있다.
AR 렌더링 모듈(720)은 AR 사이니지 데이터를 기초로 주행 영상 내 표시영역에 상기 디지털 사이니지, 즉 보정된 AR 사이니지 데이터의 집합을 주행 영상과 AR 정합함으로써, 렌더링을 수행한다. 그리고, AR 렌더링의 수행 결과가 디스플레이(730)에 표시된다.
이하에서는, 차량의 주행 정보 또는 차량의 주행 환경에 따라 AR 디지털 사이니지 또는 그 표시영역을 제한하는 다양한 실시 예들에 관하여 구체적으로 설명하기로 한다.
도 10은 본 발명의 실시예에 따라, 표시영역의 면적 또는 이미지 왜곡률 변화에 따라 AR 디지털 사이니지의 표시 제한 방식을 가변하여 디스플레이하는 것을 설명하기 위한 도면들이다.
본 발명에 따른 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량이 주행하는 동안 수신되는 차량의 주행 정보 및 맵 정보에 기초하여 AR 디지털 사이니지의 표시 제한 조건의 발생을 결정할 수 있다.
실시 예에 따라, 상기 AR 사이니지 디스플레이 장치(700)의 프로세서는, 비전 센서(예, 차량의 카메라)를 통해 인식되는 표시영역의 이미지 왜곡비율 또는 표시영역의 전면 및 측면의 면적비율의 변화에 기초하여, 표시 제한 조건의 발생 위치 및 그 위치에 매칭되는 AR 사이니지 데이터의 보정방식 중 적어도 하나를 다르게 결정할 수 있다.
한편, 상기 표시영역은, 전술한 바와 같이 AR 디지털 사이니지를 디스플레이할 수 있는, 복수의 층으로 이루어진 빌딩, 상기 빌딩의 주변, 주행 도로 주변의 가드레일, 주행 도로 바닥면, 기타 시설물 등의 영역 등을 모두 포함한다. 다만, 이하에서는 설명의 편의를 위해, 표시영역을 복수의 층으로 이루어진 빌딩으로 설명하였으나, 이에 한정되지 않음을 밝혀둔다.
예를 들어, 도 10에서, AR 디지털 사이니지의 표시 제한 조건이 발생한 경우, 상기 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 주행에 따라 변화하는 빌딩의 정면 및 측면의 너비값을 산출하기 위해, 차량의 비전센서를 통해 획득되는 빌딩의 정면 및 측면의 이미지의 형상 변화를 기초로 너비값을 산출할 수 있다.
도 10에서, 처음에는(제1시점) (a)에 도시된 바와 같이, 주행 영상 내 빌딩의 측면을 표시영역으로 하여 복수의 AR 디지털 사이니지(1011, 1012, 1013)가 매핑 표시되었다. 이는, 위에서 도 14를 참조하여 설명한 바와 같이, 제1시점에서의 차량의 현재위치 및 주행방향(1501)을 기초로 빌딩의 정면 및 측면의 너비값들(A, B)의 차이가 미리설정된 임계값 이하여서, 이미지 왜곡비율이 보다 적은 측면이 표시영역으로 결정된 것이다.
이 후 차량의 주행에 따라, 차량이 빌딩영역에 근접한 시점(제1시점 이후의 제2시점)에서는, (b)에 도시된 바와 같이, 주행 영상 내 빌딩의 정면으로 표시영역이 변경되어, 복수의 AR 디지털 사이니지(1021, 1022, 1023)가 매핑 표시되었다. 즉, 차량의 주행에 따라 가변된 측면 표시영역의 이미지에 맞추어 복수의 AR 디지털 사이니지(1011, 1012, 1013)의 표시영역 자체가 측면에서 정면으로 변경되었다.
이는, 제2시점에서의 차량의 현재위치 및 주행방향(1002)을 기초로 빌딩의 정면 및 측면의 너비값들(A", B")의 차이가 미리설정된 임계값을 초과하여, 너비값이 보다 큰 정면이 표시영역으로 결정된 것이다.
이와 같이, 표시영역이 빌딩의 정면에서 측면 또는 측면에서 정면으로 변경되는 경우, 해당 표시영역이 표시 제한 조건의 발생 위치에 해당하면, 그 위치 및 그 위치에 매칭되는 AR 사이니지 데이터의 보정방식 중 어느 하나도 다르게 결정될 수 있다.
예를 들어, 차량 주행에 따라, 왜곡비율이 보다 적은 면(정면/측면)이 표시영역으로 결정된 경우라면, AR 디지털 사이니지의 표시 방식이 달리지도록, 예를 들어 투명도, 사이즈, 등이 가변되도록, AR 사이니지 데이터의 집합이 보정될 수 있을 것이다.
또는, 예를 들어, 차량 주행에 따라 너비값이 큰 면(정면/측면)이 표시영역으로 결정된 경우라면, 주행 안전을 위해 AR 디지털 사이니지가 일시적으로 표시되지 않도록, AR 사이니지 데이터의 집합이 보정될 수 있을 것이다.
일 실시 예에서, 상기 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 주행방향 및 주행속도에 대응되도록, 층별 AR 디지털 사이니지를 주행영상 내 빌딩의 일 면에서 타 면으로 점진적으로 이동하는 시점에 또는 이동 직후에 표시 제한되도록, AR 렌더링 모듈 및 디스플레이를 제어할 수 있다.
예를 들어, 도 10을 참조하면, 표시영역을 측면 -> 정면으로 변경하는 것으로 결정된 경우, (a)에 도시된 바와 같이, 빌딩의 측면에 층별 표시되던 제1 복수의 AR 디지털 사이니지(1011, 1012, 1013)가 차량의 주행에 대응되게 점진적으로 정면쪽으로 이동하는 시점에 또는 (b)에 도시된 바와 같이, 빌딩의 정면으로 심리스하게 이동한 직후에 표시 제한될 수 있다.
이와 같이, 표시영역에 디스플레이되었던 AR 디지털 사이니지의 표시 제한이 심리스하게 수행됨으로서, 안전 주행에 보다 기여하고 보다 자연스러운 AR 표현이 가능하다.
한편, 상기 AR 사이니지 디스플레이 장치(700)의 디스플레이(730)에는 이와 같이 렌더링 업데이트된 AR 디지털 사이니지가 오버랩된 표시영역을 포함한 주행 영상이 디스플레이된다.
또한, 상기 AR 사이니지 디스플레이 장치(700)의 디스플레이(730)는 상기 표시 제한 조건이 종료된 것에 근거하여 AR 디지털 사이니지의 표시를 원래대로 복원하여 디스플레이할 수 있다.
이때, AR 디지털 사이니지의 표시를 원래대로 복원한다는 것은, 클라우드측의 사이니지 데이터(901)와 클라우드측 및 차량측의 차량 주주행 정보(902)에 근거하여 실시간으로 AR 정합하는 것을 의미하는 것이며, 표시 제한 전과 동일한 디스플레이를 의미하는 것은 아니다.
이하, 도 11, 도 12, 도 13, 도 14, 도 15, 도 16a 내지 도 16d는, 본 발명의 실시예에 따라, 차량의 주행 상태 정보에 기초하여, AR 디지털 사이니지를 변경하거나 표시 제한하는 다양한 실시 예들을 도시한 도면들이다.
도 11은 차량의 회전 주행 정보에 근거하여 AR 사이니지 데이터(또는, AR 사이니지 데이터의 집합)을 보정하는 실시 예이다.
본 발명에 따른 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 회전 주행 정보를 수신하고, 수신된 회전 주행 정보를 기초로 회전 방향에 위치한 표시영역을 표시 제한 조건의 발생 위치로 인식하여, 그에 매칭되는 AR 사이니지 데이터를 보정할 수 있다.
구체적으로, AR 사이니지 디스플레이 장치(700)의 프로세서는, 상기 수신된 회전 주행 정보에 기초하여 차량의 헤딩 각도 변화량이 미리설정된 임계값을 초과하는 것을 결정할 수 있다.
이때, 차량의 헤딩 각도 변화량이 미리 설정된 임계값을 초과하는지 여부는, 차량이 회전상태에 진입하거나 또는 내비게이션의 안내 경로에 따라 회전상태의 예상 구간에 진입한 것을 의미할 수 있다.
계속해서, AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 헤딩 각도 변화량이 미리설정된 임계값을 초과하였다는 결정(또는, 초과 예상된 결정)에 근거하여, 차량의 회전 방향에 위치한 표시영역의 AR 디지털 사이니지를 표시 제한하도록 AR 사이니지 데이터(또는, AR 사이니지 데이터의 집합)을 보정할 수 있다.
구체적으로, 도 11의 (a)에 도시된 바와 같이 차량의 직진 주행 방향(1101)인 동안에는 주행 영상의 좌우측 표시영역(1110, 1120) 모두에 각각 AR 디지털 사이니지를 디스플레이하도록 AR 렌더링한다.
이 후, 도 11의 (b)에 도시된 바와 같이 차량의 우회전 주행 방향(1102)에 의해 표시 제한 조건이 발생되면, 회전방향에 존재하는 AR 디지털 사이니지, 즉 주행 영상의 우측 표시영역(1120')의 AR 디지털 사이니지를 오프(off)하거나 또는 투명값을 증가시켜서 AR 렌더링 업데이트한다.
반면, 도시되지 않았지만, 차량이 좌회전 주행 방향으로 회전하여 표시 제한 조건이 발생되면, AR 사이니지 디스플레이 장치(700)의 프로세서는, 좌측 표시영역의 AR 디지털 사이니지에 대응되는 AR 사이니지 데이터를 보정할 수 있다.
한편, 이와 같이 차량의 회전방향에 존재하는 AR 디지털 사이니지에 대한 표시 제한이 수행되는 동안, 차량의 회전 방향의 '반대방향'에 위치한 표시영역의 디지털 사이니지의 표시는 계속 유지된다. 예를 들어, 도 11의 (a) 및 (b)를 참조하면, 차량의 우회전 주행 방향(1102)이 있는 동안, 그 반대방향의 표시영역(1110)에는 관련된 AR 디지털 사이니지가 계속 표시되고 있음을 확인할 수 있다.
계속해서, AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 헤딩 각도 변화량이 미리설정된 임계값 미만으로 감소하게 되면, 표시 제한이 필요 없는 거으로 보고, 회전 방향에 위치한 표시영역의 디지털 사이니지의 표시 제한을 해제하도록 AR 사이니지 데이터를 보정할 수 있다.
이와 같이, 차량이 회전 주행하는 동안 회전 방향의 AR 디지털 사이니지를 표시 제한함으로써, 안전 주행에 기여할 수 있다.
도 12 및 도 13은 차량이 특정 구간에 진입한 경우에 AR 디지털 사이니지를 표시 제한하는 방법을 도시한 것이다.
상기 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 현재 위치와 맵 정보에 기초하여 차량이 특정 구간에 진입하는 것을 인식하고, 차량이 그 특정 구간 내에 있는 동안에는 주변 모든 표시영역의 디지털 사이니지의 표시를 제한하거나, 진입시 주행 방향에 위치한 표시영역의 AR 사이니지 데이터(또는, AR 사이니지 데이터의 집합)를 보정할 수 있다.
여기에서, 상기 특정 구간은 차량의 안전 주행을 위해 전방 주시가 고도로 요구되는 구간으로서, 예를 들어 회전 교차로 구간, 고속도로 램프 진출 구간, 스쿨 존, 내비게이션의 안내 경로에 따른 목적지 근접 구간 중 어느 하나일 수 있다.
도 12는 회전 교차로 구간에서의 AR 디지털 사이니지의 표시 제한을 도시한 것이다.
도 12의 (a) 도시된 바와 같이, 차량이 회전 교차로 구간에 진입하기 전에는 회전 교차로 구간 내의 표시영역(1201, 1202)에 AR 디지털 사이니지가 제한 없이 매핑 표시될 수 있다. 도 12의 (b)와 같이, 이후의 차량 주행 경로(1203)가 회전 교차로 구간을 지나는 것으로 인식된 경우, 차량이 회전 교차로 구간에 일단 진입하면, 도 12의 (c)에 도시된 바와 같이, 차량이 회전 교차로 구간 내 모든 표시영역(1201, 1202)의 AR 디지털 사이니지들이 오프(off)(1201', 1202')될 수 있다.
이후, 차량이 차량이 회전 교차로 구간을 완전히 빠져 나가거나 거의 빠져나간 경우(예, 출구 2~3 m 이내), 표시 제한이 해제되어, 표시영역(1201, 1202)에 AR 디지털 사이니지가 다시 매핑 표시될 수 있다.
한편, 실시 예에 따라, 차량이 내비게이션의 경로 안내를 받고 있는 상황에서는, 표시영역(1201, 1202)의 AR 디지털 사이니지들이 오프(off)(1201', 1202')되지만, 차량이 내비게이션의 경로 안내를 받지 않는 상황에서는 표시영역(1201, 1202)의 AR 디지털 사이니지들의 투명도값만 증가하도록 표시 제한될 수 있다. 이는, 운전자가 알지 못하는 경우에 보다 전방 주시가 고도로 필요함을 전제로 한다.
도 13은 고속도로의 램프 진출 구간에서의 AR 디지털 사이니지의 표시 제한을 도시한 것이다.
도 13의 (a)에 도시된 바와 같이, 차량이 고속도로를 직진 주행(1301)하는 동안, 가드레일 등의 고속도로 양측면을 표시영역(1310, 1320)으로 선택하여, 각각 AR 디지털 사이니지를 매핑하여 제공할 수 있다.
한편, 도 13의 (b)에 도시된 바와 같이, 차량의 현재 위치와 맵 정보에 기초하여 차량이 램프 구간에 진입함으로써, 전술한 특정 구간에의 진입으로 인식되면, 상기 AR 사이니지 디스플레이 장치(700)의 프로세서는 차량의 주행 방향(1302)에 램프 진출 구간에 위치한 표시영역(1320')의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정할 수 있다.
실시 예에, 차량의 주행 방향(1302)의 반대방향의 표시영역(1310')에의 디지털 사이니지의 표시 다른 방식으로 표시 제한할 수 있다. 예를 들어, 도 13의 (b)에 도시된 바와 같이, 램프 진출 구간에 위치한 표시영역(1320')의 AR 디지털 사이니지는 오프(off)시키고, 램프 진출 구간의 반대방향에 위치한 표시영역(1310')의 AR 디지털 사이니지는 투명도 값만 증가시켜서, 주의를 환기시킬 수 있다.
또 다른 실시 예에서는, 차량이 내비게이션의 경로 안내를 받고 있는 상황이라면 램프 진출 구간에 위치한 표시영역(1320')의 AR 디지털 사이니지는 오프(off)시키지만, 차량이 내비게이션의 경로 안내를 받지 않는 상황이라면 램프 진출 구간에 위치한 표시영역(1320')의 AR 디지털 사이니지의 투명값만 증가시키도록 구현할 수 있다.
이와 같이, 본 발명에서는 표시 제한 조건이 발생한 경우라도 차량이 경로 안내 동작 중인지 여부에 따라, 표시 제한 조건의 발생 위치에 매칭되는 AR 사이니지 데이터에 대한 투명도 보정값을 다르게 적용할 수 있다.
도 14는 차량의 목적지 접근시 AR 디지털 사이니지의 표시 변경 또는 표시 제한을 도시한 것이다.
본 발명에 따른 AR 사이니지 디스플레이 장치(700)의 프로세서는, 통신 모듈을 통해 차량의 내비게이션 정보를 수신하고, 수신된 내비게이션 정보에 기초하여 차량이 목적지 구간에 진입한 것에 응답하여 전술한 표시 제한 조건이 발생한 것으로 결정할 수 있다.
이러한 경우, 상기 프로세서는, 수신된 내비게이션 정보에 기초하여 차량이 목적지 구간에 진입한 것에 응답하여, 해당 구간 내의 표시영역의 디지털 사이니지 중 목적지와 관련 없는 컨텐츠의 디지털 사이니지의 표시는 제한하도록 AR 사이니지 데이터를 보정할 수 있다. 이는, 운전자가 전방의 목적지에 집중하여 주행하도록 방해되는 AR 디지털 사이니지를 제거 또는 변경하는 방법이다.
도 14를 참조하면, 차량이 내비게이션에서 안내하는 목적지로부터 일정 거리 이격된 동안에는 (a)에 도시된 바와 같이, 주행 영상 내 표시영역(1410, 1420)에 관련된 AR 디지털 사이니지가 매핑 표시된다.
이 후, 차량이 내비게이션에서 안내하는 목적지로부터 일정 거리 이내(예, 50~80m 이내)로 접근한 경우, 목적지 방향의 표시영역(1420)의 AR 디지털 사이니지가 오프(off)(1420')되고, 목적지와 관련된 컨텐츠가 매핑 표시된다. 예를 들어, 목적지의 위치 정보(1402) 및/또는 주차 정보(1403)가 목적지 방향에 디스플레이될 수 있다.
한편, 목적지 방향의 반대방향의 표시영역(1410')에는 투명도 값이 증가된 AR 디지털 사이니지가 표시되도록, 대응되는 AR 사이니지 데이터가 보정된다.
이와 같이, 목적지와 관련 없는 AR 디지털 사이니지는 표시 제한하고, 목적지와 관련된 형태로 표시 전환함으로서, 운전자가 목적지에 정확히 도착할 수 있도록 정보를 제공한다.
도 15는 차량의 내비게이션 정보에 따라 연속 안내 구간에서의 AR 디지털 사이니지의 표시 제한을 도시한 것이다.
AR 사이니지 디스플레이 장치(700)의 프로세서는, 통신 모듈을 통해 차량의 내비게이션 정보를 수신하고, 수신된 내비게이션 정보에 기초하여 차량이 주행 방향 변경 구간에 진입한 것을 인식하여 상기 표시 제한 조건이 발생한 것으로 결정할 수 있다.
실시 예에 따라, 상기 주행 방향 변경 구간에서 설정 횟수 이상의 주행 방향 변경이 인식되면, AR 사이니지 디스플레이 장치(700)의 프로세서는, 해당 구간 내의 표시영역의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정할 수 있다.
도 15의 (a) 도시된 바와 같이, 차량이 내비게이션 정보에 따라 직진 주행 구간(1501)에서는 주행 영상 내 표시영역(1510, 1520, 1530)에 제한 없이 AR 디지털 사이니지가 매핑 표시될 수 있다.
이 후, 도 15의 (b)와 같이 안내 경로(1502) 상에 일정 거리 내(200m 이내)에서 설정 횟수 이상의 주행 방향 변경이 있으면, 일정 거리 내(200m) 이내의 구간에서 안내 경로(1502)(예, 우회전(a) 이후 이어서 좌회전(b))에 따라 주행하는 동안, (c)에 도시된 바와 같이 일정 거리 내(200m)의 표시영역(1510, 1520, 1530)의 AR 디지털 사이니지를 오프(off)(1510', 1520', 1530')시킬 수 있다.
이는, 잦은 주행 방향 변경을 수행하는 동안, AR 디지털 사이니지의 제공으로 인해 경로 안내를 방해하지 않기 위함이다.
한편, AR 사이니지 데이터의 보정은 대응되는 디지털 사이니지의 위치 보정, 투명도 보정, 크기 보정, 형상 보정 중 어느 하나일 수 있다. 또한, AR 사이니지 데이터의 보정 방식은 표시 제한 조건의 종류에 따라 달라질 수 있으며, 표시 제한 조건이 해제되면 AR 디지털 사이니지가 원래대로 표시될 수 있다.
도 16은 도로 합류 구간에서의 AR 디지털 사이니지의 표시 제한을 도시한 것이다.
AR 사이니지 디스플레이 장치(700)의 프로세서는, 통신 모듈을 통해 수신되는 차량의 현재 위치와 맵 정보에 기초하여, 차량의 주행 차선에 대한 합류 구간을 인식할 수 있다.
여기에서, 상기 합류 구간은 현재 주행 차선의 우측 또는 좌측으로부터 다른 차량이 현재 주행 차선에 진입할 수 있도록 차선이 합해지는 지점 또는 그 지점으로부터 일정 거리 이내 구간을 포함할 수 있다.
계속해서, 상기 프로세서는 인식된 합류 구간에 다른 차량이 접근하는 것에 근거하여, 해당 위치의 표시영역의 디지털 사이니지의 위치, 투명도, 크기, 형상 중 어느 하나가 변경되도록 AR 사이니지 데이터를 보정할 수 있다.
도 16을 참조하면, (a)에서 차량이 직진 주행(1601) 동안 합류 구간이 인식되더라도, 다른 차량/오브젝트가 검출되지 않는 동안에는 표시영역(1610)에 AR 디지털 사이니지를 매핑 표시할 수 있다. 이때에도, 차량은 ADAS 센서 등을 통해 차량 주변의 오브젝트, 특히 합류 구간에 접근하는 오브젝트의 존재를 검출할 수 있다.
합류 구간에 접근하는 차량(1650)이 검출되면, 도 16의 (b)와 같이 AR 디지털 사이니지의 투명도 값을 증가키셔서 표시영역(1610a)에 매핑하거나, 도 16의 (c)와 같이 AR 디지털 사이니지의 위치를 변경(예, 오브젝트(1650) 위로 위치 이동)하여 가변된 표시영역(1610b)에 매핑하거나, 또는 16의 (c)와 같이 AR 디지털 사이니지의 형태를 전환(1610c_1, 1610c_2)하여 표시영역(1610c)에 매핑함으로써, 합류 구간에 접근하는 차량(1650)을 주시할 수 있게 한다. 그에 따라, 운전자의 안전 주행에 도움을 제공한다.
이하, 도 17a 내지 도 17d, 도 18, 도 19a 내지 도 19d, 도 20, 도 21, 도 22, 도 23, 도 24는, 본 발명의 실시예에 따라, 차량의 주행 환경 정보에 기초하여 AR 디지털 사이니지를 변경하거나 표시 제한하는 다양한 실시 예들을 도시한 도면들이다.
본 발명의 실시 예에 따른 차량의 AR 사이니지 디스플레이 장치(700)의 프로세서는, 상기 차량이 주행하는 동안 수집되는 차량의 주행 환경 정보와 차량의 센싱 데이터에 근거하여 전방 주시 상황의 발생을 인식할 수 있다.
이러한 경우, 상기 프로세서는, 상기 주행 환경 정보와 관련된 영역을 가리지 않도록 그에 매칭되는 AR 사이니지 데이터를 보정하여 렌더링 업데이트를 수행할 수 있다.
여기에서, 상기 전방 주시 상황이란, 차량 주변의 환경이 차량의 주행 영상 내 중첩 또는 접근하는 오브젝트의 검출, 차량의 주행속도 증가 또는 기준속도 이상의 주행속도 검출, 차량 주변의 교통 혼잡 상황 검출, 보행자 보호영역의 검출, 차량의 속도 제한 영역 내 진입, 도로 정보 또는 날씨 정보에 기반한 가시거리 감소 상황 발생 중 어느 하나일 수 있다.
또한, 실시 예에 따라, 상기 주행 환경 정보는, 도로 정보, 도로 상황 정보, 날씨 정보, 스쿨 존 정보 중 하나 이상을 포함할 수 있다.
또한, 실시 예에 따라, 상기 차량의 센싱 데이터는, 차량의 ADAS 센싱 데이터, 속도 데이터, 목적지 데이터, V2X 감지 데이터 중 하나 이상을 포함할 수 있다.
도 17 및 도 18은 전방 주시 상황으로 차량 주변에 움직이는 오브젝트가 검출된 경우, AR 디지털 사이니지의 표시 제한을 도시한 것이다.
본 발명에 따른 차량의 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 주행 영상 내 중첩 또는 접근하는 오브젝트가 검출된 것에 근거하여, 차량이 주행 속도를 기초로, 차량 주행 환경 정보와 관련된 영역에 매칭되는 AR 사이니지 데이터의 보정 방식을 다르게 결정할 수 있다.
구체적으로, 상기 프로세서는, 상기 오브젝트 검출시 차량의 주행 속도가 기준치(예, 시속 40km)를 초과하는 경우, 차량의 전방 주시에 보다 집중하도록, 차량 주행 환경 정보와 관련된 영역, 즉 오브젝트가 검출된 영역의 주변 표시영역의 AR 디지털 사이니지를 오프(off)시킬 수 있다.
또한, 상기 프로세서는, 상기 오브젝트 검출시 차량의 주행 속도가 상기 기준치 미만으로 감지되면, 차량의 전방을 주시하기에 여유가 있는 것으로 보고, 차량 주행 환경 정보와 관련된 영역에 매칭되는 AR 디지털 사이니지의 투명도만 증가하도록 대응 AR 사이니지 데이터를 보정할 수 있다. 이때, 주행 속도가 기준치 미만이라 함은 차량의 정차 상태를 포함할 수 있다.
예를 들어, 도 17의 (a)에 도시된 바와 같이, 전방 영역의 빌딩의 전면 및 측면 표시영역(1710, 1720a, 1720b)에 층별 AR 디지털 사이니지가 표시된 상태에서, 주변에 보행자 등의 오브젝트(1750)가 검출된 경우, (b)에 도시된 바와 같이 표시영역(1710', 1720a', 1720b')의 층별 AR 디지털 사이니지를 모두 오프(off)시키거나, (c)에 도시된 바와 같이 검출된 오브젝트에 매칭되는 표시영역만 피하도록, 가변된 위치의 표시영역(1710a)으로 이동하거나 일부 표시영역(1720b')의 AR 디지털 사이니지만 오프(off) 시킬 수 있다. 또는, (d)에 도시된 바와 같이, 기존의 AR 디지털 사이니지를 보다 심플화된 AR 오브젝트(1710", 1710b, 1720c), 예를 들어 AR 아이콘의 형태로 전환하여 매핑 표시할 수 있다.
도 18을 참조하면, (a)에 도시된 바와 같이 ADAS 센싱 데이터 등을 통해, 차량의 주행 방향(1801)과 동일한 방향으로 움직이는 오브젝트(1850), 예를 들어 다른 차량이 검출된 경우, 오브젝트가 위치한 방향의 표시영역(1810, 1820)에 매핑된 AR 디지털 사이니지 중 일부는 위치 이동하고(1810'), 오브젝트(1850)와 중첩되는 부분은 투명도 값이 증가하도록 매칭되는 AR 사이니지 데이터를 보정할 수 있다.
도 19는 전방 주시 상황으로 차량 주변에 고정 오브젝트가 검출된 경우, AR 디지털 사이니지의 표시 제한을 도시한 것이다.
본 발명에 따른 차량의 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 전방 주시 상황의 발생으로 고정 구조물을 포함한 영역이 인식된 것에 근거하여, AR 디지털 사이니지가 해당 고정 구조물을 포함한 영역을 피하여 디스플레이되도록 매칭되는 AR 사이니지 데이터를 보정할 수 있다.
실시 예에 따라, 표시영역이 층수 정보를 포함하는 경우, 상기 프로세서는, 해당 표시영역의 층수 정보에 근거하여, 해당 층수의 표시영역에 대한 AR 디지털 사이니지의 투명도, 위치, 크기, 형상 중 적어도 하나가 가변되도록, 렌더링 업데이트할 수 있다.
예를 들어, 도 19의 (a)에 도시된 바와 같이 차량의 주행 방향(1901)의 왼쪽 방향에 보행자 보호 영역 또는 버스 정류장 등과 같은 고정 오브젝트 영역(R)과 중첩되는 표시영역의 층수에 매칭되는 AR 디지털 사이니지의 표시를 제한할 수 있다. 이때, 고정 오브젝트 영역(R)의 반대방향에 위치한 표시영역(1910)에는 관련된 AR 디지털 사이니지의 표시는 유지될 수 있다.
고정 오브젝트 영역(R)의 주변 표시영역에 대한 표시 제한은 다음과 같이 다양할 수 있다.
구체적으로, 도 19의 (b)와 같이 해당 층수에 매칭되는 AR 디지털 사이니지를 표시하지 않거나, 도 19의 (c)와 같이 해당 층수에 매칭되는 AR 디지털 사이니지의 투명도 값을 조절(투명도 증가)하여 표시하거나(1930, 또는 도 19의 (d)와 같이 해당 층수에 매칭되는 AR 디지털 사이니지를 다른 층, 예를 들어 바로 위(또는, 바로 아래) 층 표시영역에, 해당 층 표시영역의 AR 디지털 사이니지와 함께, 감소된 크기의 AR 디지털 사이니지들(1920a, 1930a)로 매핑 표시할 수 있다.
또는, 비록 도시되지 않았지만, 해당 층수에 매칭되는 AR 디지털 사이니지의 일부를 크롭(crop)하여 매핑 표시할 수 있다.
도 20 및 도 21은 전방 주시 상황으로 교통 혼잡 구간 내에서의 AR 디지털 사이니지의 표시 제한을 도시한 것이다.
본 발명에 따른 차량의 AR 사이니지 디스플레이 장치(700)의 프로세서는, 전방 주시 상황(예, 교통 혼잡 구간)이 인식된 것에 근거하여, 운전자가 전방 주시에 집중할 수 있도록, 주행 영상 내 포함된 표시영역의 전체 기준위치를 변경하도록 대응되는 AR 사이니지 데이터를 보정할 수 있다.
이때, 상기 교통 혼잡 구간은 예를 들어 차량의 ADAS 센싱 데이터에 다수의 차량을 포함한 이동수단(예, 20개 이상) 또는 사람(예, 20명 이상)이 인식되거나, 클라우드 측의 다이내믹 정보에 포함된 교통 정보에 기초하여 교통 혼잡 상황으로 파악되는 경우를 포함할 수 있다.
예를 들어, 도 20의 (a)에 도시된 바와 같이, 교통 혼잡 구간에서는, AR 디지털 사이니지가 매핑될 표시영역의 기준선(또는, 기준라인)(2001)을 일괄 상향(또는, 하향) 조정하여, AR 디지털 사이니지를 매핑할 수 있다. 그에 따라, 기준선(2001) 아래(또는, 위)에 혼잡 상황을 운전자가 주시할 수 있다.
또는, 예를 들어 도 20의 (b)와 같이, 교통 혼잡 구간과 중첩되는 부분의 표시영역(2002)에서는 보다 증가된 투명도 값을 갖는 AR 디지털 사이니지가 표시되도록, 대응되는 AR 사이니지 데이터를 보정할 수 있다.
또한, 실시 예에 따라, 차량의 AR 사이니지 디스플레이 장치(700)의 프로세서는, 교통 혼잡 구간 등과 같은 전방 주시 상황이 인식된 것에 근거하여, 주행 영상 내의 표시영역이 차량의 현재 위치로부터 근접한 정도에 따라 AR 디지털 사이니지의 표시 제한 정도가 가변되도록, 대응되는 AR 사이니지 데이터(또는, AR 사이니지 데이터의 집합)를 보정할 수 있다.
구체적으로, 상기 프로세서는, 주행 영상 내의 표시영역이 차량의 현재 위치로부터 가까울수록 AR 디지털 사이니지의 표시 제한 정도가 증가되도록 렌더링 업데이트를 수행할 수 있다. 또한, 상기 프로세서는, AR 디지털 사이니지의 표시 제한 정도가 증가할수록 디지털 사이니지의 크기값이 감소하거나 투명도값이 증가하도록 매칭되는 AR 사이니지 데이터를 보정할 수 있다.
예를 들어, 도 20의 (c)와 같이, 주행 영상에서 차량의 현재 위치에서 가까운 위치의 표시영역(2010)에는 전방을 주시할 수 있도록, 가변된 AR 디지털 사이니지, 예를 들어 증가된 투명도 값을 갖거나 심플한 오브젝트 형태(예, 아이콘 형태)로 전환되도록, 매칭되는 AR 사이니지 데이터를 보정할 수 있다. 반면, 주행 영상에서 차량의 현재 위치에서 먼 위치의 표시영역(2020)에는 기존의 AR 디지털 사이니지 그대로 표시할 수 있다.
실시 예에 따라, 상기 프로세서는, 차량의 주행 속도에 따라 상기 주행 영상에 포함되는 표시영역 또는 그 표시영역에 디스플레이되는 디지털 사이니지의 최대 개수가 가변되도록, 매칭되는 AR 사이니지 데이터를 보정할 수 있다.
구체적으로, 상기 프로세서는, 상기 표시영역 또는 상기 표시영역에 디스플레이되는 디지털 사이니지의 최대 개수가 차량의 주행 속도가 비례하여 감소되도록 AR 사이니지 데이터를 보정할 수 있다.
예를 들어, 도 21의 (a)에 도시된 바와 같이, 차량의 주행속도가 10km 미만이거나 정차 상태인 경우에는 주행 영상에 최대 5개의 표시영역(2101, 2102, 2103, 2104, 2105)에 AR 디지털 사이니지가 표시될 수 있다. 한편, 도 21의 (b)와 같이 차량의 주행속도가 10~30km 사이이면 최대 3개의 표시영역이 한번에 표시될 수 있고, 도 21의 (c) 와 같이 차량의 주행속도가 30km 이상이면 최대 한개의 표시영역에만 AR 디지털 사이니가 표시되거나 또는 모든 표시영역의 AR 디지털 사이니지가 오프(off)될 수 있다.
이하, 도 22는 전방 주시 상황으로 운전자의 가시거리가 감소한 상황에서의 AR 디지털 사이니지의 표시 제한을 도시한 것이다.
본 발명에 따른 차량의 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 도로 정보 또는 날씨 정보에 기반하여 가시거리 감소 상황이 발생한 것에 근거하여, 주행 영상 내 인식가능한 오브젝트의 개수의 감지 결과에 따라 상기 디지털 사이니지의 표시 제한 영역의 확장여부를 다르게 결정할 수 있다.
이때, 상기 도로 정보는 클라우드 측의 다이내믹 정보나 차량측의 내비게이션 정보를 통해 수집될 수 있고, 예를 들어 도로의 종류, 주행 차선의 개수, 차선의 너비 데이터, 실시간 교통 정보(예, 도로/차선 단위의 교통 정보), 사고 정보 등을 포함할 수 있다.
또한, 상기 날씨 정보는, 클라우드 측의 다이내믹 정보의 하나로서 수신될 수 있으며, 예를 들어 강수, 안개, 미세먼지 등으로 인한 시인성 저하여부 및 수치를 포함할 수 있다.
실시 예에 따라, 상기 프로세서는, 인식가능한 오브젝트 개수가 많으면(예를 들어 기준치 이상이면(예, 80% 이상 인식가능), 차량에 가까운 표시영역의 투명도값은 증가시키고 먼 표시영역은 기존대로 AR 디지털 사이니지를 표시하도록, 렌더링 업데이트할 수 있다.
반면, 실시 예에 따라, 가시거리 감소 상황에서, 주행 영상 내 인식가능한 오브젝트의 개수가 기준치 미만이면(예, 80 또는 70% 미만), 전방 주시에 집중할 수 있도록, 주행 영상 내 디지털 사이니지를 디스플레이하지 않도록 렌더링 업데이트할 수 있다.
도 22의 (a)는 교통 혼잡 구간으로 인한 가시거리 감소 상황으로서, 빌딩 표시영역의 저층부분(2203)은 투명도 값을 증가시키고 빌딩의 상층부분(2201)은 밝기 값을 증가시키도록(즉, 그라데이션 효과가 나타나도록), 매칭되는 AR 사이니지 데이터를 보정할 수 있다. 또한, 주행 차선에서 차량에 가까운 바닥면 표시영역(2204)은 투명도를 증가시키고, 멀어질수록 투명도를 감소시키고 밝기 값이 증가되도록, 렌더링 업데이트를 수행할 수 있다.
도 22의 (b)는 날씨 상황으로 인한 가시거리 감소 상황으로서, 차량 전방의 시인성 저하로 인한 운전 방해가 최소화될 수 있도록, 차량의 현재 위치로부터 멀어질수록 AR 디지털 사이니지의 투명도는 감소되고 밝기는 증가하도록, AR 사이니지 데이터를 보정하여 매핑할 수 있다.
반면, 도 22의 (c)는 차량 전방의 가시거리 감소가 임계값 미만인 경우로서, 이때에는 전방 영상에 포함된 모든 표시영역의 AR 디지털 사이니지를 오프(off)시킨다.
이하, 도 23 및 도 24는 전방 주시 상황으로 차량이 속도 제한 영역 내 진입하거나 또는 위험 감지 상황에서의 AR 디지털 사이니지의 표시 제한을 도시한 것이다.
본 발명에 따른 차량의 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 주행 환경 정보에 근거하여 차량이 속도 제한 영역 내 위치한 동안 주행 영상 내 표시영역에 디스플레이되었던 디지털 사이니지를 표시하지 않을 수 있다.
예를 들어, 도 23에 도시된 바와 같이, 스쿨 존과 같은 속도 제한 영역에 진입하기 전에는 (a)와 같이 주행 영상 내 표시영역(2301, 2302)에 표시되는 AR 디지털 사이니지를 표시 제한하지 않고, 차량이 해당 영역에 진입하면 (b)와 같이 표시영역의 AR 디지털 사이니지를 오프(off)(2301', 2302')시킬 수 있다.
이때, 속도 제한 영역의 주행 도로 바닥면에는 속도 제한 값을 나타내는 AR 오브젝트(2310a)가 표시될 수 있고, 표시 제한된 AR 디지털 사이니지 대신에 속도 제한 영역임을 나타내는 AR 아이콘(예, '어린이 보호 구역')(2310b)이 주행 영상 내 플로팅 형태로 표시될 수 있다.
또한, 본 발명에 따른 차량의 AR 사이니지 디스플레이 장치(700)의 프로세서는, 차량의 센싱 데이터에 근거하여 위험 상황이 감지된 경우, 상기 주행 영상 내 표시영역에 디스플레이되었던 디지털 사이니지를 표시하지 않을 수 있다.
예를 들어, 도 24의 (a)에 도시된 바와 같이, 표시영역(2410, 2420)에 AR 디지털 사이니지가 표시되는 동안, 차량(100)의 ADAS 센싱 데이터 또는 V2X 데이터를 기초로 위험 상황이 감지된 경우, 도 24의 (b)와 같이 상기 표시영역의 AR 디지털 사이니지를 오프(off)(2410', 2420') 상태로 전환할 수 있다.
이상에서 살펴본 바와 같이 본 발명의 일부 실시 예에 의하면, 차량이 회전 주행하거나, 잦은 주행 변경을 하거나, 회전 교차로 등과 같은 특정 구역에 진입하는 경우, 운전자가 그러한 주행 정보에 기초하여 운전에 집중할 수 있도록 일부 AR 디지털 사이니지를 표시하지 않거나 또는 표시 제한할 수 있다. 또한, 교통 혼잡 구간이나 차량의 가시거리가 감소되는 등의 주행 환경 정보에 기초하여, 운전자의 전방 시야를 가리지 않고 주행 환경 정보와 관련된 영역이 가려지지 않도록 AR 디지털 사이니지의 표시를 제한할 수 있다. 또한, 차량의 주행 정보 및/또는 환경 정보의 속성에 따라 상황별로 적합한 표시 제한 방법을 적용함으로써, 차량의 주행 동안, 보다 사실감 높은 AR 디지털 사이니지를 제공하면서 보다 안전한 주행이 수행될 수 있도록 한다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드(또는, 애플리케이션이나 소프트웨어)로서 구현하는 것이 가능하다. 상술한 자율 주행 차량의 제어 방법은 메모리 등에 저장된 코드에 의하여 실현될 수 있다.
컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (14)

  1. 차량과 연동된 AR 사이니지 디스플레이 장치로서,
    상기 차량 및 AR 사이니지 플랫폼 서비스를 제공하는 클라우드 서버와 통신하는 통신모듈;
    비전 센서를 통해 획득되는 차량의 주행 영상을 디스플레이하는 디스플3
    상기 통신모듈을 통해 상기 차량의 센싱 데이터를 수신하고, 상기 차량의 위치와 상기 센싱 데이터에 기초하여 결정된 주변 POI에 대한 컨텐츠를 디지털 사이니지로 표시하기 위한 AR 사이니지 데이터를 상기 클라우드 서버에 요청하고, 상기 요청에 대응되는 AR 사이니지 데이터를 기초로 생성된 디지털 사이니지를 상기 주행 영상 내 표시영역에 렌더링하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 차량이 주행하는 동안 수신되는 차량의 주행 정보 및 맵 정보에 기초하여 상기 디지털 사이니지의 표시 제한 조건의 발생을 결정하고, 상기 표시 제한 조건의 발생 위치에 매칭되는 AR 사이니지 데이터를 보정하고, 상기 보정된 AR 사이니지 데이터에 기초하여 상기 디지털 사이니지의 렌더링 업데이트를 수행하는,
    AR 사이니지 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 차량의 회전 주행 정보를 수신하고, 수신된 회전 주행 정보를 기초로 회전 방향에 위치한 표시영역을 상기 표시 제한 조건의 발생 위치로 인식하여 매칭되는 AR 사이니지 데이터를 보정하는,
    AR 사이니지 디스플레이 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    수신된 회전 주행 정보에 기초하여 차량의 헤딩 각도 변화량이 미리설정된 임계값을 초과하는 것을 결정하고, 상기 결정에 근거하여 상기 회전 방향에 위치한 표시영역의 디지털 사이니지를 표시 제한하도록 AR 사이니지 데이터를 보정하는,
    AR 사이니지 디스플레이 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 차량의 헤딩 각도 변화량이 미리설정된 임계값을 초과하는 동안 상기 회전 방향의 반대방향에 위치한 표시영역의 디지털 사이니지의 표시를 유지하고,
    상기 차량의 헤딩 각도 변화량이 미리설정된 임계값 미만으로 감소한 것에 응답하여 상기 회전 방향에 위치한 표시영역의 디지털 사이니지의 표시 제한을 해제하도록 AR 사이니지 데이터를 보정하는,
    AR 사이니지 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 차량의 현재 위치와 맵 정보에 기초하여 상기 차량이 특정 구간에 진입하는 것을 인식하고, 상기 차량이 상기 특정 구간 내에 있는 동안 주변 모든 표시영역의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정하는,
    AR 사이니지 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 차량의 현재 위치와 맵 정보에 기초하여 상기 차량이 특정 구간에 진입하는 것을 인식하고, 상기 차량이 상기 특정 구간에 진입시 차량의 주행 방향에 위치한 표시영역의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정하는,
    AR 사이니지 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 차량이 경로 안내 동작 중인지 여부에 따라 상기 표시 제한 조건의 발생 위치에 매칭되는 AR 사이니지 데이터에 대한 투명도 보정값을 다르게 적용하는,
    AR 사이니지 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 통신 모듈을 통해 상기 차량의 내비게이션 정보를 수신하고, 수신된 내비게이션 정보에 기초하여 상기 차량이 주행 방향 변경 구간 또는 목적지 구간에 진입한 것에 응답하여 상기 표시 제한 조건이 발생한 것으로 결정하는,
    AR 사이니지 디스플레이 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    수신된 내비게이션 정보에 기초하여 상기 차량이 목적지 구간에 진입한 것에 응답하여, 해당 구간 내의 표시영역의 디지털 사이니지 중 목적지와 관련 없는 컨텐츠의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정하는,
    AR 사이니지 디스플레이 장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    수신된 내비게이션 정보에 기초하여 상기 차량이 주행 방향 변경 구간에 진입한 것에 응답하여, 해당 구간에서 설정 횟수 이상의 주행 방향 변경이 인식된 것에 근거하여 해당 구간 내의 표시영역의 디지털 사이니지의 표시를 제한하도록 AR 사이니지 데이터를 보정하는,
    AR 사이니지 디스플레이 장치.
  11. 제1항에 있어서,
    상기 AR 사이니지 데이터의 보정은 대응되는 디지털 사이니지의 위치 보정, 투명도 보정, 크기 보정, 형상 보정 중 어느 하나인,
    AR 사이니지 디스플레이 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 차량의 현재 위치와 맵 정보에 기초하여 상기 차량의 주행 차선에 대한 합류 구간을 인식하고,
    상기 차량의 센싱 데이터에 기초하여 상기 합류 구간에 다른 차량이 접근하는 것에 근거하여, 해당 위치의 표시영역의 디지털 사이니지의 위치, 투명도, 크기, 형상 중 어느 하나가 변경되도록 AR 사이니지 데이터를 보정하는,
    AR 사이니지 디스플레이 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 비전 센서를 통해 인식되는 상기 표시영역의 이미지 왜곡비율 또는 전면 및 측면의 면적비율의 변화에 기초하여, 상기 표시 제한 조건의 발생 위치 및 그 위치에 매칭되는 AR 사이니지 데이터의 보정방식 중 적어도 하나를 다르게 결정하는,
    AR 사이니지 디스플레이 장치.
  14. 제1항에 있어서,
    상기 디스플레이는,
    상기 렌더링 업데이트된 디지털 사이니지가 오버랩된 상기 표시영역을 포함한 주행 영상을 디스플레이하고, 상기 표시 제한 조건이 종료된 것에 근거하여 상기 디지털 사이니지의 표시를 복원하여 디스플레이하는,
    AR 사이니지 디스플레이 장치.
PCT/KR2022/011242 2022-07-29 2022-07-29 차량의 ar 사이니지 디스플레이 장치 및 그것의 동작방법 WO2024025016A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/011242 WO2024025016A1 (ko) 2022-07-29 2022-07-29 차량의 ar 사이니지 디스플레이 장치 및 그것의 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/011242 WO2024025016A1 (ko) 2022-07-29 2022-07-29 차량의 ar 사이니지 디스플레이 장치 및 그것의 동작방법

Publications (1)

Publication Number Publication Date
WO2024025016A1 true WO2024025016A1 (ko) 2024-02-01

Family

ID=89706807

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/011242 WO2024025016A1 (ko) 2022-07-29 2022-07-29 차량의 ar 사이니지 디스플레이 장치 및 그것의 동작방법

Country Status (1)

Country Link
WO (1) WO2024025016A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190107286A (ko) * 2019-07-04 2019-09-19 엘지전자 주식회사 차량용 광고 제공 장치 및 차량용 광고 제공 방법
US10444518B2 (en) * 2014-03-31 2019-10-15 Wayray Ag Method of data display through the vehicle windscreen and device for its implementation
US10694262B1 (en) * 2019-03-12 2020-06-23 Ambarella International Lp Overlaying ads on camera feed in automotive viewing applications
WO2022050435A1 (ko) * 2020-09-02 2022-03-10 엘지전자 주식회사 차량용 ar 화면을 위한 시스템 및 차량용 ar 화면 서비스 제공 방법
KR20220040569A (ko) * 2020-09-23 2022-03-31 울산과학기술원 증강현실 기반 차량용 인포테인먼트 시스템 및 차량용 인포테인먼트 시스템 운용 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10444518B2 (en) * 2014-03-31 2019-10-15 Wayray Ag Method of data display through the vehicle windscreen and device for its implementation
US10694262B1 (en) * 2019-03-12 2020-06-23 Ambarella International Lp Overlaying ads on camera feed in automotive viewing applications
KR20190107286A (ko) * 2019-07-04 2019-09-19 엘지전자 주식회사 차량용 광고 제공 장치 및 차량용 광고 제공 방법
WO2022050435A1 (ko) * 2020-09-02 2022-03-10 엘지전자 주식회사 차량용 ar 화면을 위한 시스템 및 차량용 ar 화면 서비스 제공 방법
KR20220040569A (ko) * 2020-09-23 2022-03-31 울산과학기술원 증강현실 기반 차량용 인포테인먼트 시스템 및 차량용 인포테인먼트 시스템 운용 방법

Similar Documents

Publication Publication Date Title
WO2017222299A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2019031852A1 (ko) 지도 제공 장치
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018097465A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2022154299A1 (ko) 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
EP3475134A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
EP3545380A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2018110762A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2017155199A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2020017677A1 (ko) 영상 출력 장치
WO2019066477A1 (en) AUTONOMOUS VEHICLE AND ITS CONTROL METHOD
WO2021157760A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2020166749A1 (ko) 차량을 이용한 정보 표시 방법 및 시스템
WO2020213772A1 (ko) 차량 제어 장치 및 그 장치의 제어 방법
WO2021141145A1 (ko) 영상 출력 장치 및 그것의 제어 방법
WO2020149427A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021230387A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2020246627A1 (ko) 영상 출력 장치
WO2021091041A1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
WO2021125706A1 (ko) 차량 제어 장치 및 그것의 제어 방법
WO2019088318A1 (ko) 주행 시스템 및 차량
WO2022119267A1 (ko) 경로 안내 장치 및 경로 안내 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953241

Country of ref document: EP

Kind code of ref document: A1