WO2024091013A1 - 차량용 디스플레이 장치 및 그 제어 방법 - Google Patents

차량용 디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2024091013A1
WO2024091013A1 PCT/KR2023/016728 KR2023016728W WO2024091013A1 WO 2024091013 A1 WO2024091013 A1 WO 2024091013A1 KR 2023016728 W KR2023016728 W KR 2023016728W WO 2024091013 A1 WO2024091013 A1 WO 2024091013A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
target object
display device
information
state
Prior art date
Application number
PCT/KR2023/016728
Other languages
English (en)
French (fr)
Inventor
류주혁
이경일
이승규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2024091013A1 publication Critical patent/WO2024091013A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present disclosure relates to a vehicle display device, and more specifically, to a vehicle display device capable of implementing an augmented reality-based head-up display by projecting an augmented reality object (or augmented reality image or graphic) to correspond to a target object (or external object). It relates to a display device and its control method.
  • a vehicle is a device that moves the user in the desired direction.
  • a representative example is a car.
  • a vehicle display device is installed inside the vehicle.
  • a display is arranged in a cluster etc. to display various information.
  • various displays such as AVN (Audio Video Navigation) displays and head-up displays that output projected images on the windshield, in vehicles, separately from the cluster.
  • AVN Audio Video Navigation
  • head-up displays that output projected images on the windshield, in vehicles, separately from the cluster.
  • head-up displays are increasing.
  • the vehicle display device may unintentionally project the augmented reality object to an undesired location.
  • the external environment may include at least one of the movement of the vehicle, the ground (topography) condition of the road, and the physical condition and movement of the driver (user).
  • the present disclosure is proposed to solve the above-described problems, and its purpose is to provide a vehicle display device and a control method that allows augmented reality objects to be projected at a desired location despite changes in the external environment while the vehicle is running. do.
  • an image generating unit for outputting an augmented reality object corresponding to a target object, a mirror for reflecting the augmented reality object, and determining a projection position of the augmented reality object. It includes a storage unit that stores an objective function, and a control unit that receives the state of the vehicle and controls the image generation unit to calibrate the image generation unit that outputs the augmented reality object based on the received state of the vehicle and the objective function.
  • a display device for a vehicle can be provided.
  • the objective function can be generated through reinforcement learning of an artificial intelligence model.
  • the objective function may be generated by combining the reinforcement learned artificial intelligence model and the Newton Rapson model.
  • the state of the vehicle is at least one of vehicle attitude information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, and vehicle forward/backward information. It can contain one.
  • the control unit further receives the state of the target object and controls the image generation unit to calibrate the image generation unit that outputs the augmented reality object based on the received state of the target object, the state of the vehicle, and the objective function. You can.
  • the state of the target object may include information about at least one of the presence or absence of the target object, the type of the target object, the shape of the target object, the size of the target object, and the movement of the target object.
  • the control unit further receives the user's state, and calibrates the image generating unit to output the augmented reality object based on the received user's state, the state of the target object, the state of the vehicle, and the objective function. You can control it to do so.
  • the user's status may include information about at least one of the presence or absence of the user and the location of the user's eyebox.
  • the vehicle display device further includes a mirror driving unit for performing at least one of movement and rotation of the mirror, and the control unit controls the received state of the user, the state of the target object, the state of the vehicle, and the purpose. Based on the function, the mirror driving unit may be controlled to perform at least one of movement and rotation of the mirror.
  • the artificial intelligence model may be based on the Proximal Policy Optimization (PPO) algorithm or the Soft Actor-Critic (SAC) algorithm.
  • PPO Proximal Policy Optimization
  • SAC Soft Actor-Critic
  • the step of receiving the state of the vehicle, and the objective function for determining the projection position of the augmented reality object corresponding to the target object and the received vehicle A method of controlling a display device for a vehicle including a step of calibrating an image generating unit that outputs the augmented reality object based on the state can be provided.
  • a vehicle display device can provide a more accurate augmented reality-based head-up display to the user by projecting an augmented reality object to a desired location despite changes in the external environment while the vehicle is running. There is an advantage to being able to do this.
  • FIG. 1 is a diagram showing an example of the exterior and interior of a vehicle.
  • FIGS. 2 and 3 are diagrams showing various examples of the internal configuration of a vehicle display device related to the present disclosure.
  • Figure 4 shows an example of an augmented reality-based vehicle head-up display implemented by a vehicle display device according to one aspect of the present disclosure.
  • FIG. 5 is a diagram for explaining virtual image displacement in the vehicle display device of FIG. 3.
  • Figure 6 is a table showing comparison results between predicted values by modeling and regression.
  • Figure 7 shows the relationship between normalized domain and range.
  • Figure 8 explains the parameters of Equation 10 and Equation 11 of the present disclosure.
  • Figure 9 shows parameters for reinforcement learning to increase overlap between augmented reality objects and target objects provided by the vehicle display device according to the present disclosure.
  • Figure 10 shows the PSD of several terrains.
  • Figure 11 shows simulation class classification according to the degrees of freedom of vehicle, target object, and eyebox.
  • Figure 12 shows overlap between an augmented reality object and a target object when there is no projection correction of the augmented reality object.
  • Figures 13 and 14 show overlap between an augmented reality object and a target object when projection correction of an augmented reality object is performed in class 1 according to one aspect of the present disclosure.
  • Figures 15 and 16 show overlap between an augmented reality object and a target object when projection correction of an augmented reality object is performed in class 2 according to one aspect of the present disclosure.
  • FIG. 17 illustrates overlap between an augmented reality object and a target object when projection correction of an augmented reality object is performed in classes 3 and 4 according to an aspect of the present disclosure.
  • Figure 18 is a flowchart of generating an objective function for overlap between an augmented reality object and a target object according to one aspect of the present disclosure.
  • Figures 19 and 20 show overlap between an augmented reality object and a target object when projection correction of an augmented reality object is performed based on an objective function generated by combining a traditional method and reinforcement learning according to one aspect of the present disclosure.
  • 21 is a block diagram of a vehicle according to one aspect of the present disclosure.
  • Figure 22 shows a learning processor according to one aspect of the present disclosure.
  • Figure 23 is a flowchart of implementation of an augmented reality-based head-up display according to an aspect of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of the exterior and interior of a vehicle.
  • the vehicle 200 includes a plurality of wheels (103FR, 103FL, 103RL,...) rotated by a power source, and a steering wheel 150 for controlling the moving direction of the vehicle 200. It can be operated by .
  • the vehicle 200 may further be equipped with a camera 195 for acquiring images in front of the vehicle.
  • the vehicle 200 may be equipped with a plurality of displays 180a, 180b, and 180h for displaying images, information, etc. inside.
  • the first display 180a may be a cluster display
  • the second display 180b may be an Audio Video Navigation (AVN) display
  • the third display 180a may be a cluster display.
  • the display 180h may be a head up display (HUD) in which an image is projected onto a predetermined area (Ara) of the windshield (WS).
  • the predetermined area (Ara) may correspond to the user's (or driver's) eye area or the user's field of view (Eye Box).
  • the vehicle display device of the present disclosure is a device for HUD (180h).
  • a black masking area or a frit area Fz may be formed in the lower area of the windshield WS, as shown in the drawing.
  • the vehicle 200 described in this specification may be a concept that includes all vehicles including an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source. there is.
  • the vehicle 200 described in this specification is a concept that includes vehicles for all purposes, such as passenger, commercial, military, and construction purposes.
  • 2 and 3 are diagrams showing various examples of the internal configuration of a vehicle display device related to the present disclosure.
  • Figure 2 shows an example of a vehicle display device related to the present disclosure.
  • a vehicle display device 100x related to the present disclosure is a liquid crystal display panel (or a picture generation unit (PGU) 300x) that outputs a projected image
  • the image generating unit includes a fold mirror 315x that reflects the projected image, and a concave mirror 325x that reflects the projected image from the fold mirror 315x to the windshield WS.
  • PGU picture generation unit
  • the projected image reflected from a predetermined area (Arx) of the windshield (WS) is output to the driver's line of sight area (Ara).
  • the concave mirror 325x in the vehicle display device 100x is disposed between the liquid crystal display panel 300x and the driver's gaze area Ara. That is, the concave mirror (325x) is located within two virtual parallel lines passing through the liquid crystal display panel (300x) and the driver's line of sight area (Ara), respectively, at an interval corresponding to the separation distance between the liquid crystal display panel (300x) and the driver's line of sight area (Ara). can be located.
  • the concave mirror 325x in the vehicle display device 100x determines the arrangement of the projected image and the position of the light source.
  • the size SZx of the vehicle display device 100x can be reduced.
  • FIG 3 shows another example of a vehicle display device related to the present disclosure.
  • a vehicle display device 100y related to the present disclosure includes a liquid crystal display panel 300y that outputs a projected image, a fold mirror 315y that reflects the projected image from the liquid crystal display panel 300y, and a fold It includes a concave mirror 325y that reflects the projected image from the mirror 315y, and a transparent cover 335y that outputs the projected image from the concave mirror 325y to the windshield WS.
  • the projected image reflected from a predetermined area (Ary) of the windshield (WS) is output to the driver's line of sight area (Ara).
  • the concave mirror 325y in the vehicle display device 100y is disposed in front of the liquid crystal display panel 300y and the driver's viewing area Ara.
  • the liquid crystal display panel 300y in the vehicle display device 100y is disposed between the concave mirror 325y and the driver's gaze area Ara. That is, the liquid crystal display panel 300y is located within two virtual parallel lines passing through the concave mirror 325y and the driver's gaze area Ara, respectively, at an interval corresponding to the separation distance between the concave mirror 325y and the driver's gaze area Ara. can be located
  • the concave mirror 325y in the vehicle display device 100y determines the arrangement of the projected image and the position of the light source.
  • the size (SZy) of the vehicle display device 100y can be reduced.
  • reference numeral “100” will be used to collectively refer to the vehicle display device of FIG. 2 and the vehicle display device of FIG. 3.
  • the vehicle head-up display described below is not limited to the vehicle head-up display type shown in FIGS. 2 and 3, and can be applied to all types of vehicle head-up displays that view a virtual image reflected on a windshield.
  • Figure 4 shows an example of an augmented reality-based vehicle head-up display implemented by a vehicle display device according to one aspect of the present disclosure.
  • a vehicle 200 (or head-up display 180h), a driver 300 (or driver eyebox 310), and a subject object. (400) may be considered.
  • the vehicle 200 which is a dynamic element, is affected not only by the random inclination and unevenness of the ground 500 and the suspension of the vehicle 200, but also by the number and weight of passengers and tire air pressure. This random dynamic factor makes it difficult to connect between the freeform design of the head-up display 180h for the vehicle display device 100 and the target object 200 targeted by augmented reality.
  • the image output from the PGU (300x, 300y) of the vehicle display device 100 is projected as a virtual augmented reality object on the front head-up display (180h) through the intermediate optical system, and the projected augmented reality object (110) Can only be observed in the driver's field of view (Eyebox) 310, which is the range within which both eyes of the driver 300 can move. Due to this specificity, it is virtually impossible to track the location of the virtual image in real time.
  • the optical system due to the off-axis design of the vehicle display device 100 reacts sensitively to the decrease in continuity, so even a small error in linear optimization in a narrow section of the EKF method It could be greatly expanded depending on the area it passed through, and therefore showed limitations in maintaining uniformity over the entire area.
  • EKF Extended Kalman Filter
  • the dimension of the model will be limited to two dimensions and only displacement in the vertical direction will be considered.
  • the displacement due to the change in the shape of the vehicle due to force can be ignored because the vehicle is made of a rigid body and is insignificant.
  • the displacement of the virtual image obtained in Equation 1 may vary the displacement of the pixel for generating the virtual image on the PGU (300x, 300y) in order to maintain overlap with the target object 400, which is assumed to be in a static state in front. .
  • a general optical system constituting the vehicle display device 100 includes the PGU (300x, 300y), the fold (flat) mirror (315x, 315y), and the concave mirror (325x, 325y). and a wind shield (WS).
  • FIG. 5 is a diagram for explaining virtual image displacement in the vehicle display device of FIG. 3.
  • d1, d2, and d3 which are displacements of virtual images in each of the fold mirror 315y, the concave mirror 325y, and the windshield WS, can be calculated as Equation 2 below.
  • Equation 2 dB is equivalent to Equation 3 below.
  • Equation 3 dc is equivalent to Equation 4 below.
  • Equation 4 da is equivalent to Equation 5 below.
  • one goal of the present disclosure is to obtain the value of the displacement (DC) of the pixel on the PGU that satisfies Equation 6 below.
  • Figure 6 is a table showing comparison results between predicted values by modeling and regression.
  • Figure 7 shows the relationship between normalized domain and range. Through Figure 7, we can see the sensitivity in the relationship between the normalized domain and range.
  • EKF Extended Kalman Filter
  • Equation 7 state variables can be determined as shown in Equation 7 below.
  • Equation 8 the system modeling is as Equation 8 below and the Jacobian matrix is as Equation 9.
  • Machine learning refers to the field of defining various problems dealt with in the field of artificial intelligence and researching methodologies to solve them. do.
  • Machine learning is also defined as an algorithm that improves the performance of a task through consistent experience.
  • ANN Artificial Neural Network
  • ANN is a model used in machine learning and can refer to an overall model with problem-solving capabilities that is composed of artificial neurons (nodes) that form a network through the combination of synapses.
  • Artificial neural networks can be defined by connection patterns between neurons in different layers, a learning process that updates model parameters, and an activation function that generates output values.
  • An artificial neural network may include an input layer, an output layer, and optionally one or more hidden layers. Each layer includes one or more neurons, and the artificial neural network may include synapses connecting neurons. In an artificial neural network, each neuron can output the activation function value for the input signals, weight, and bias input through the synapse.
  • Model parameters refer to parameters determined through learning and include the weight of synaptic connections and the bias of neurons.
  • Hyperparameters refer to parameters that must be set before learning in a machine learning algorithm, and include learning rate, number of repetitions, mini-batch size, initialization function, etc.
  • the purpose of artificial neural network learning can be seen as determining model parameters that minimize the loss function.
  • the loss function can be used as an indicator to determine optimal model parameters in the learning process of an artificial neural network.
  • Machine learning can be classified into supervised learning, unsupervised learning, and reinforcement learning depending on the learning method.
  • Supervised learning refers to a method of training an artificial neural network with a label for the learning data given.
  • a label is the correct answer (or result value) that the artificial neural network must infer when learning data is input to the artificial neural network. It can mean.
  • Unsupervised learning can refer to a method of training an artificial neural network in a state where no labels for training data are given.
  • Reinforcement learning can refer to a learning method in which an agent defined within an environment learns to select an action or action sequence that maximizes the cumulative reward in each state.
  • machine learning implemented with a deep neural network is also called deep learning, and deep learning is a part of machine learning.
  • machine learning is used to include deep learning.
  • the above algorithm for artificial intelligence can be learned by the control unit (not shown) of the vehicle 200 for controlling the vehicle display device.
  • the algorithm for artificial intelligence as described above may be learned in advance at the time of factory shipment and installed in the control unit of the vehicle 200.
  • DRL deep reinforcement learning
  • PPO Proximal Policy Optimization
  • SAC Soft Actor-Critic
  • Equation 10 the state and action are as Equation 10 and Equation 11 below, respectively.
  • the compensation function has a negative distance difference between the static target object 400 and the imaging point of the chief ray determined by the focal length, and is expressed in Equation 12 below.
  • the vehicle display device 100y has a magnification that means the ratio of the sizes of the PGU 300y and the virtual augmented reality object 110 at the end, and the position of the augmented reality object 110 is the displacement amount of the control variable. It shows the amount of movement magnified by the contrast magnification. Therefore, since the agent's displacement area for minimizing the objective function can be seen as taking up a very small proportion of the entire search area, the area with the highest reliability as a result of performing actions and continuous updates in the search area performed in a wide area The PPO algorithm shown in Equation 13 below was selected to determine the policy.
  • VF of the left-hand variable is the error loss of the value function
  • S is the entropy weight
  • the left-hand variable is the C1 and C2 terms that determine the degree of proxy loss in the Clip term that limits the correlation with the previous policy of the right-hand variable. It can be decided by the sum difference.
  • the off-policy SAC Soft Actor-Critic
  • Equation 14 the off-policy SAC (Soft Actor-Critic) algorithm adds an entropy measurement term as shown in Equation 14 below, enabling exploration of various potential areas excluding low-probability paths.
  • entropy can be observed through the H term on the right-hand side, and the importance of entropy observation can be determined through the weight ⁇ .
  • the distance between the target object 140 and the augmented reality object 110 expressed as DAR (Distance of shifted AR)
  • DVA dynamic visual acuity
  • Figure 9 shows parameters for reinforcement learning to increase overlap between augmented reality objects and target objects provided by the vehicle display device according to the present disclosure.
  • Simulation class classification according to degree of freedom is as shown in Figure 11.
  • Figure 11 shows simulation class classification according to the degrees of freedom of vehicle, target object, and eyebox.
  • FIG. 12 shows overlap between an augmented reality object and a target object when there is no projection correction of the augmented reality object.
  • Figures 13 and 14 show overlap between an augmented reality object and a target object when projection correction of an augmented reality object is performed in class 1 according to one aspect of the present disclosure.
  • a vehicle state detection unit described later may be used for class 1
  • the Newton method shows acceptable performance in both DVR and DAR, it has limitations in increasing complexity due to increased degrees of freedom and randomness above class 2.
  • Classes 3 and 4 are the most complex cases due to the added displacement of the driver's field of view. As complexity increased, conflicts between agents were sometimes observed and learning became less stable. Nevertheless, both the driver's field of view and the target object were tracked well even in medium road conditions.
  • a vehicle state detection unit, a target object detection unit, and a user detection unit which will be described later, may be used.
  • FIG. 17 illustrates overlap between an augmented reality object and a target object when projection correction of an augmented reality object is performed in classes 3 and 4 according to an aspect of the present disclosure.
  • Figure 18 is a flowchart of generating an objective function for overlap between an augmented reality object and a target object according to one aspect of the present disclosure.
  • At least one of the vehicle state, the target object state, and the user state can be observed [S181].
  • the state of the vehicle, the state of the target object, and the user state will be described again later.
  • An objective function may be generated using the Newton-Raphson or EFK method based on at least one of the observed state of the vehicle, the state of the target object, and the user state [S182].
  • the overlap between the augmented reality object and the target object can be first predicted [S183].
  • the generated objective function can be tuned based on the reinforcement learning [S184]
  • the overlap between the augmented reality object and the target object can be secondarily predicted, and the secondarily predicted overlap can be used for additional learning of the reinforcement learning. [S185].
  • Figures 19 and 20 show overlap between an augmented reality object and a target object when projection correction of an augmented reality object is performed based on an objective function generated by combining a traditional method and reinforcement learning according to one aspect of the present disclosure.
  • This disclosure introduces reinforcement learning to maintain the overlap between the virtual image and the target object, which is the purpose of the augmented reality object in the vehicle display device, identifies the relationship between key parameter values and the objective function, and shortens the time to reach the ideal value of the objective function for each condition. presented a methodology for stable learning, and compared the performance of objective functions from traditional methodologies to reinforcement learning.
  • FIG. 21 is a block diagram of a vehicle according to one aspect of the present disclosure.
  • the vehicle 200 may include a user detection unit 2200, a target object detection unit 2300, a vehicle state detection unit 2120, a vehicle display device 100, and a control unit 2170.
  • the vehicle 200 may include many other components.
  • the user detection unit 2200 is used to detect the presence and status of the driver and/or other passengers in the vehicle 200, and may include an internal camera 2220 and a biometric detection unit 2230.
  • the internal camera 2220 can acquire images inside the vehicle.
  • the control unit 2170 can detect the state of the user (driver and/or passenger) based on the image inside the vehicle.
  • the control unit 2170 can detect the user's field of view (i.e., eyebox) by obtaining the user's gaze information from the image inside the vehicle.
  • the control unit 2170 detects the user's gesture in the image inside the vehicle. can do.
  • the biometric detection unit 2230 can acquire the user's biometric information.
  • the biometric detection unit 2230 includes a sensor that can acquire the user's biometric information, and can obtain the user's fingerprint information, heart rate information, etc. using the sensor. Biometric information can be used for user authentication.
  • the target object detection unit 2300 is a device for detecting various target objects (or external objects) located outside the vehicle 200.
  • the target object may be various objects related to the operation of the vehicle 200.
  • the target objects may include lanes, other vehicles, pedestrians, two-wheeled vehicles, traffic signals, lights, roads, structures, speed bumps, landmarks, animals, etc.
  • the target object may be classified into a moving object and a fixed object.
  • the moving object may be a concept that includes other vehicles and pedestrians.
  • the fixed object may be a concept including a traffic signal, road, or structure.
  • the vehicle state detection unit 2120 can sense the state of the vehicle.
  • the vehicle state detector 2120 includes a posture sensor (e.g., yaw sensor, roll sensor, pitch sensor), collision sensor, wheel sensor, and speed sensor. Sensor, tilt sensor, weight sensor, heading sensor, yaw sensor, IMU (Inertial Measurement Unit) sensor, gyro sensor, position module, vehicle forward/reverse sensor , a battery sensor, a fuel sensor, a tire sensor, a steering sensor based on steering wheel rotation, a temperature sensor inside the vehicle, a humidity sensor inside the vehicle, an ultrasonic sensor, an illumination sensor, an accelerator pedal position sensor, a brake pedal position sensor, etc.
  • a posture sensor e.g., yaw sensor, roll sensor, pitch sensor
  • Sensor tilt sensor, weight sensor, heading sensor, yaw sensor, IMU (Inertial Measurement Unit) sensor, gyro sensor, position module, vehicle forward/reverse sensor , a battery sensor, a fuel sensor, a tire
  • the vehicle state detector 2120 includes vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, and vehicle forward/backward. Sensing information, battery information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, etc. A signal can be obtained.
  • the vehicle state detection unit 2120 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake air temperature sensor (ATS), a water temperature sensor (WTS), It may further include a throttle position sensor (TPS), TDC sensor, crank angle sensor (CAS), etc.
  • the vehicle display device 100 may further include a learning processor 2130, a model storage unit 2231, and a mirror driver 340 in addition to the components described in FIGS. 2 and 3.
  • the learning processor 2130 can train a model composed of an artificial neural network using training data.
  • the learned artificial neural network or machine learning algorithm may be referred to as a learning model.
  • a learning model can be used to infer a result value for new input data other than learning data, and the inferred value can be used as the basis for a decision to perform an operation.
  • the learning processor 2130 does not necessarily have to be included in the vehicle 200, but may be provided in a separate external server (not shown).
  • the model storage unit 2231 may store a model (or artificial neural network) that is being trained or has been learned through the learning processor 230.
  • the learning model stored in the model storage unit 2231 may be being learned or has been learned by the learning processor 2130 in the vehicle 200, or may have been previously learned by the external server.
  • the mirror driver 340 may move and/or rotate at least one of the fold mirrors 315x and 315y and the concave mirrors 325x and 325y.
  • the control unit 2170 can control the overall operation of each component within the vehicle 200.
  • the control unit 2170 can control each component of the vehicle display device 100 as well as each component within the vehicle 200.
  • the control unit 2170 may be understood as a component belonging to the vehicle display device 100.
  • the control unit 2170 may be understood as including a separate control unit (not shown) for controlling the vehicle display device 100.
  • Figure 22 shows a learning processor according to one aspect of the present disclosure.
  • the learning processor 2130 may include an environment module 2131 and an agent module 2132.
  • the environment module 2131 may be a simulation of overlap between the target object 400 and the augmented reality object 110 while the vehicle 200 is driving.
  • the agent module 2132 may be a simulation of the vehicle display device 100.
  • the learning processor 2130 can train the artificial intelligence model using a reinforcement learning method.
  • the agent module 2132 performs an action (e.g., PGU pixel adjustment and/or mirror driving) on the environment module 2131 and compensates for the action on the environment module 2131.
  • the artificial intelligence model can be learned by receiving.
  • Figure 23 is a flowchart of implementation of an augmented reality-based head-up display according to an aspect of the present disclosure.
  • the control unit 2170 may receive the status of the vehicle 200 from the vehicle status detector 2120 while driving under class 1 or higher conditions [S231].
  • the state of the vehicle 200 includes vehicle attitude information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, and vehicle forward/backward information. It may include at least one of information, etc. ,
  • the control unit 2170 may receive the status of the detected target object from the target object detection sensor 2300 while driving under class 2 or higher conditions [S231].
  • the state of the detected target object may include information about at least one of the presence or absence of the target object, the type of the target object, the shape of the target object, the size of the target object, the movement of the target object, etc. there is.
  • the control unit 2170 can detect the status of the user (driver and/or passenger) from the user detection unit 2200 while driving under class 3 or higher conditions [S231].
  • the user's status may include information about at least one of the presence or absence of the user and the location of the user's eyebox.
  • control unit 2170 calibrates the pixels (e.g., at least one of position and size) of the PGU for projection of the augmented reality object based on the state of the vehicle 200 and the objective function. It can be done [S232].
  • control unit 2170 may calibrate the pixels of the PGU for projection of the augmented reality object based on the state of the vehicle 200, the state of the target object, and the objective function [S232 ].
  • control unit 2170 selects pixels of the PGU for projection of the augmented reality object based on the state of the vehicle 200, the state of the target object, the state of the user, and the objective function.
  • the mirror driving unit 340 By calibrating and driving the mirror driving unit 340, the position and direction of at least one of the folder mirror and the concave mirror can be calibrated [S232].
  • control unit 2170 can project the augmented reality object through the calibrated pixels of the PGU [S233].
  • control unit 2170 may project the augmented reality object through at least one of the calibrated folder mirror and the concave mirror and the calibrated pixels of the PGU [S233].

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)

Abstract

본 개시는, 차량의 운행 중에 외부환경의 변화에도 불구하고 증강 현실 오브젝트가 원하는 위치에 투사될 수 있도록 하기 위해, 대상 오브젝트에 대응되는 증강현실 오브젝트를 출력하는 영상 생성 유닛, 상기 증강현실 오브젝트를 반사시키는 미러, 상기 증강현실 오브젝트의 투사 위치를 결정하기 위한 목적 함수를 저장하는 저장부, 및 차량의 상태를 수신하고, 상기 수신된 차량의 상태 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하도록 하도록 제어하는 제어부를 포함하는 차량용 디스플레이 장치를 제공할 수 있다.

Description

차량용 디스플레이 장치 및 그 제어 방법
본 개시는 차량용 디스플레이 장치에 관한 것이며, 더욱 상세하게는 증강현실 오브젝트(또는 증강현실 영상 또는 그래픽)를 대상 오브젝트(또는 외부 오브젝트)에 대응되도록 투사하여 증강 현실 기반의 헤드 업 디스플레이를 구현할 수 있는 차량용 디스플레이 장치 및 그 제어 방법에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 차량 내부에 차량용 디스플레이 장치가 탑재되고 있다.
예를 들어, 클러스터 등에 디스플레이가 배치되어, 각종 정보를 표시한다. 한편, 차량 주행 정보 등의 표시를 위해, 클러스터와 별도로, AVN(Audio Video Navigation) 디스플레이, 윈드쉴드에 투사 이미지를 출력하는 헤드 업 디스플레이 등 다양한 디스플레이가 차량에 장착되는 추세이다.
한편, 헤드 업 디스플레이를 통해 표시하는 정보가 증가되는 추세이다. 예를 들어, 증강 현실 기반의 헤드 업 디스플레이 구현을 위해, 거리의 도로, 자동차, 주변 사물 등의 정보의 표시가 필요할 수 있다.
그런데, 차량의 운행 중에 외부 환경의 변화에 따라서, 차량용 디스플레이 장치는 증강현실 오브젝트를 의도치 않게 원하지 않는 위치로 투사할 수도 있다. 외부 환경은, 차량의 움직임, 도로의 지면(지형) 상태, 및 운전자(사용자)의 신체 조건 및 움직임 등 중 적어도 하나를 포함할 수 있다.
본 개시는 전술한 문제점을 해결하기 위해 제안되는 것으로서, 차량의 운행 중에 외부환경의 변화에도 불구하고 증강 현실 오브젝트가 원하는 위치에 투사될 수 있도록 하는 차량용 디스플레이 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위해 본 개시의 일 측면에 따르면, 대상 오브젝트에 대응되는 증강현실 오브젝트를 출력하는 영상 생성 유닛, 상기 증강현실 오브젝트를 반사시키는 미러, 상기 증강현실 오브젝트의 투사 위치를 결정하기 위한 목적 함수를 저장하는 저장부, 및 차량의 상태를 수신하고, 상기 수신된 차량의 상태 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하도록 하도록 제어하는 제어부를 포함하는 차량용 디스플레이 장치를 제공할 수 있다.
상기 목적 함수는, 인공지능 모델을 강화학습함으로써 생성될 수 있다.
상기 목적 함수는, 상기 강화학습된 인공지능 모델과 뉴턴 랩슨 방식의 모델이 결합되어 생성될 수 있다.
상기 차량의 상태는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 및 차량 전진/후진 정보 중 적어도 하나를 포함할 수 있다.
상기 제어부는, 상기 대상 오브젝트의 상태를 더욱 수신하고, 상기 수신된 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하도록 제어할 수 있다.
상기 대상 오브젝트의 상태는, 상기 대상 오브젝트의 존재 유무, 상기 대상 오브젝트의 종류, 상기 대상 오브젝트의 형상, 상기 대상 오브젝트의 크기, 상기 대상 오브젝트의 움직임 중 적어도 하나에 관한 정보를 포함할 수 있다.
상기 제어부는, 사용자의 상태를 더욱 수신하고, 상기 수신된 사용자의 상태, 상기 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하도록 하도록 제어할 수 있다.
상기 사용자의 상태는, 상기 사용자의 존재 유무 및 상기 사용자의 아이박스(Eyebox) 위치 중 적어도 하나에 관한 정보를 포함할 수 있다.
상기 차량용 디스플레이 장치는 상기 미러의 이동 및 회전 중 적어도 하나를 수행하기 위한 미러 구동부를 더욱 포함하고, 상기 제어부는, 상기 수신된 사용자의 상태, 상기 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여, 상기 미러의 이동 및 회전 중 적어도 하나를 수행하기 위해 상기 미러 구동부를 제어할 수 있다.
상기 인공지능 모델은 PPO(Proximal Policy Optimization) 알고리즘 또는 SAC(Soft Actor-Critic) 알고리즘에 기반할 수 있다.
또한, 상기와 같은 목적을 달성하기 위해 본 개시의 일 측면에 따르면, 차량의 상태를 수신하는 단계, 및 대상 오브젝트에 대응되는 증강현실 오브젝트의 투사 위치를 결정하기 위한 목적 함수 및 상기 수신된 차량의 상태에 기반하여, 상기 증강현실 오브젝트를 출력하는 영상 생성 유닛을 캘리브레이션하는 단계;를 포함하는 차량용 디스플레이 장치의 제어 방법을 제공할 수 있다.
본 개시에 따른 차량용 디스플레이 장치 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 개시의 여러 측면들 중 적어도 하나에 따르면, 차량의 운행 중에 외부 환경의 변화에도 불구하고 차량용 디스플레이 장치는 증강 현실 오브젝트를 원하는 위치에 투사하여 사용자에게 더욱 정확한 증강 현실 기반의 헤드 업 디스플레이를 제공할 수 있다는 장점이 있다.
도 1은 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도 2 내지 도 3는 본 개시와 관련한 차량용 디스플레이 장치의 내부 구성의 다양한 예를 도시한 도면이다.
도 4는 본 개시의 일측면에 따른 차량용 디스플레이 장치에 의해 구현되는 증강현실 기반의 차량용 헤드업 디스플레이의 예시를 도시한다.
도 5는 도 3의 차량용 디스플레이 장치에서 허상 변위를 설명하기 위한 도면이다.
도 6은 모델링에 의한 예측값과 회기(Regression)에 의한 비교 결과를 나타내는 표이다.
도 7은 정규화된 정의역과 치역의 관계를 도시한다.
도 8은 본 개시의 수식 10 및 수식 11의 파라미터를 설명한다.
도 9는 본 개시에 따른 차량용 디스플레이 장치가 제공하는 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 높이는 강화학습을 위한 파라미터를 도시한다.
도 10은 여러 지형의 PSD를 도시한다.
도 11은 차량, 대상 오브젝트, 및 아이박스의 자유도에 따른 시뮬레이션 클래스 분류를 도시한다.
도 12는 증강현실 오브젝트의 투사 보정이 없는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다.
도 13 및 도 14은 본 개시의 일 측면에 따라 클래스 1에서 증강현실 오브젝트의 투사 보정을 하는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다.
도 15 및 도 16은 본 개시의 일 측면에 따라 클래스 2에서 증강현실 오브젝트의 투사 보정을 하는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다.
도 17은 본 개시의 일 측면에 따라 클래스 3 및 4에서 증강현실 오브젝트의 투사 보정을 하는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다.
도 18는 본 개시의 일 측면에 따라 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 위한 목적 함수의 생성 순서도이다.
도 19 및 도 20은 본 개시의 일 측면에 따라 전통적 방식과 강화학습을 접목함으로써 생성된 목적 함수에 기반하여 증강현실 오브젝트의 투사 보정을 하는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다.
도 21은 본 개시의 일 측면에 따른 차량의 블록도이다.
도 22는 본 개시의 일 측면에 따른 러닝 프로세서를 도시한다.
도 23은 본 개시의 일 측면에 따른 증강 현실 기반의 헤드 업 디스플레이의 구현 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도 1을 참조하여 차량 외부 및 차량 내부의 일예에 대해 살펴보겠다.도 1은 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도 1에 도시된 바와 같이, 차량(200)은, 동력원에 의해 회전하는 복수의 바퀴(103FR, 103FL, 103RL,..)와, 차량(200)의 진행 방향을 조절하기 위한 스티어링휠(150)에 의해 동작할 수 있다.
차량(200)은, 차량 전방의 영상 획득을 위한 카메라(195) 등을 더 구비할 수 있다.
차량(200)은, 내부에 영상, 정보 등의 표시를 위한 복수의 디스플레이(180a, 180b, 180h)를 구비할 수 있다.
예를 들어, 복수의 디스플레이(180a, 180b, 180h) 중 제1 디스플레이(180a)는, 클러스터 디스플레이일 수 있으며, 제2 디스플레이(180b)는, AVN(Audio Video Navigation) 디스플레이일 수 있으며, 제3 디스플레이(180h)는, 윈드쉴드(WS)의 소정 영역(Ara)에 영상이 투사되는 헤드 업 디스플레이(Head Up Display; HUD)인 HUD일 수 있다. 소정 영역(Ara)는 사용자(또는 운전자)의 눈 영역 또는 사용자 시야(Eye Box)에 해당될 수 있다.
한편, 본 개시의 차량용 디스플레이 장치는, HUD (180h)를 위한 장치이다.
한편, 윈드쉴드(WS)의 하부 영역에는 도면과 같이, 블랙 마스킹 영역 또는 프릿(frit) 영역(Fz)이 형성될 수 있다.
한편, 본 명세서에서 기술되는 차량(200)은, 동력원으로서 엔진을 구비하는 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다. 본 명세서에서 기술되는 차량(200)은 승용, 상용, 군용, 건설용 등 모든 용도의 차량을 포함하는 개념이다.
이하, 도 2 및 도 3을 참조하여, 본 개시와 관련한 차량용 디스플레이 장치의 내부 구성에 대해 살펴보겠다. 도 2 내지 도 3는 본 개시와 관련한 차량용 디스플레이 장치의 내부 구성의 다양한 예를 도시한 도면이다.
도 2는 본 개시와 관련한 차량용 디스플레이 장치의 일예를 도시한다.
도 2를 참조하면, 본 개시와 관련한 차량용 디스플레이 장치(100x)는, 투사 영상을 출력하는 액정 표시 패널(또는 영상 생성 유닛(PGU: Picture Generation Unit)(300x), 액정 표시 패널(300x)로부터의 투사 영상을 반사하는 폴드 미러(315x), 폴드 미러(315x)로부터의 투사 영상을 윈드쉴드(WS)로 반사하는 오목 미러(concave mirror)(325x)를 포함한다. 상기 영상 생성 유닛은 액정 표시 패널 이외에도 OLED(Organic Light Emitting Diode), DLP(Digital Light Processing), L-cos(Liquid Crystal on Silicon), 마이크로 LED(Light Emitting Diode) 등으로 구성될 수도 있음은 물론이다. 이는 이하에서도 마찬가지이다.
윈드쉴드(WS)의 소정 영역(Arx)에서 반사되는 투사 영상은 운전자 시선 영역(Ara)으로 출력된다.
차량용 디스플레이 장치(100x) 내의 오목 미러(325x)는, 액정 표시 패널(300x)과 운전자 시선 영역(Ara) 사이에 배치된다. 즉, 액정 표시 패널(300x)과 운전자 시선 영역(Ara) 간의 이격 거리에 해당하는 간격을 두고 액정 표시 패널(300x)과 운전자 시선 영역(Ara)를 각각 지나가는 가상의 두 평행선 안에 오목 미러(325x)가 위치할 수 있다.
한편, 차량용 디스플레이 장치(100x) 내의 오목 미러(325x)는, 투사 영상의 배열과 광원의 위치를 결정한다.
예를 들어, 차량용 디스플레이 장치(100x) 내의 오목 미러(325x)의 배율을 높이고, 초점 거리를 줄이면, 차량용 디스플레이 장치(100x)의 사이즈(SZx)를 저감할 수 있다.
그러나, 이와 같이 사이즈를 저감하는 경우, 대화면의 투사 영상의 구현이 어렵게 되어, AR HUD의 구현이 어렵다는 단점이 있다.
도 3는 본 개시와 관련한 차량용 디스플레이 장치의 다른 예를 도시한다.
도 3을 참조하면, 본 개시와 관련한 차량용 디스플레이 장치(100y)는, 투사 영상을 출력하는 액정 표시 패널(300y), 액정 표시 패널(300y)로부터의 투사 영상을 반사하는 폴드 미러(315y), 폴드 미러(315y)로부터의 투사 영상을 반사하는 오목 미러(concave mirror)(325y), 오목 미러(325y)로부터의 투사 영상을 윈드쉴드(WS)로 출력하는 투명 커버(335y)를 포함한다.
윈드쉴드(WS)의 소정 영역(Ary)에서 반사되는 투사 영상은 운전자 시선 영역(Ara)으로 출력된다.
차량용 디스플레이 장치(100y) 내의 오목 미러(325y)는, 도 2와 달리, 액정 표시 패널(300y)과 운전자 시선 영역(Ara)의 전단에 배치된다.
즉, 차량용 디스플레이 장치(100y) 내의 액정 표시 패널(300y)은, 오목 미러(325y)와 운전자 시선 영역(Ara) 사이에 배치된다. 즉, 오목 미러(325y)과 운전자 시선 영역(Ara) 간의 이격 거리에 해당하는 간격을 두고 오목 미러(325y)과 운전자 시선 영역(Ara)를 각각 지나가는 가상의 두 평행선 안에 액정 표시 패널(300y)이 위치할 수 있다.
한편, 차량용 디스플레이 장치(100y) 내의 오목 미러(325y)는, 투사 영상의 배열과 광원의 위치를 결정한다.
예를 들어, 차량용 디스플레이 장치(100y) 내의 오목 미러(325y)의 배율을 높이고, 초점 거리를 줄이면, 차량용 디스플레이 장치(100y)의 사이즈(SZy)를 저감할 수 있다.
이하, 도 2의 차량용 디스플레이 장치 및 도 3의 차량용 디스플레이 장치를 통칭하기 위해 도면부호 "100"을 사용하겠다.
이하에서 설명되는 차량용 헤드업 디스플레이는 도 2 및 도 3의 차량용 헤드업 디스플레이 타입에 한정되는 것은 아니고, 윈드쉴드에 반사된 허상을 보는 모든 타입의 차량용 헤드업 디스플레이에 적용될 수 있다.
이하, 도 4를 참조하여, 증강현실 기반의 차량용 헤드업 디스플레이에 대해 살펴 보겠다. 도 4는 본 개시의 일측면에 따른 차량용 디스플레이 장치에 의해 구현되는 증강현실 기반의 차량용 헤드업 디스플레이의 예시를 도시한다.
증강현실 기반의 차량용 헤드업 디스플레이를 구현하기 위해서는 차량(200)(또는, 헤드 업 디스플레이(180h)), 운전자(300)(또는 운전자 시야(Eyebox)(310)), 및 대상 오브젝트(subject Object)(400)가 고려될 수 있다. 동적인 요소에 해당되는 차량(200)은 무작위성을 가지는 지면(500)의 기울기 및 요철과 차량(200)의 현가장치 이외에도 탑승자의 수와 체중 및 타이어 공기압에 의해서도 영향을 받게 된다. 이러한 무작위성 동적 요인은 차량용 디스플레이 장치(100)를 위한 헤드 업 디스플레이(180h)의 자유 곡면(Freeform) 설계와 증강현실이 목표로 하는 대상 오브젝트(200) 간의 연계성을 어렵게 한다.
차량용 디스플레이 장치(100)의 PGU(300x, 300y)에서 출력된 영상이 중간의 광학계를 거쳐 전방의 헤드 업 디스플레이(180h)에 허상의 증강현실 오브젝트로서 투영되고, 상기 투영된 증강현실 오브젝트(110)는 운전자(300)의 양안이 움직일 수 있는 범위인 운전자의 시야(Eyebox)(310)에서만 관찰이 가능하다. 이러한 특수성으로 허상의 위치를 실시간 추적하기는 사실상 불가능 하다.
카메라를 통해 변동요인인 차량(200), 지면(500), 운전자의 시야(310)를 관측하고 이를 통해 각각의 변위에 따른 적절한 보상값의 계산이 필요할 수 있다. 이를 위해서는 대상 오브젝트(400)의 x축 방향(거리)의 변위와 y축 방향(높낮이) 변위를 고려한 시뮬레이션 기반 이산적 보정 정보를 입력해야 한다. 그러나, 상기 이산적 보정 정보는 대상 오브젝트(400) 및 차량(200)의 모든 자유도를 포함할 수 없어 연속성을 보장할 수 없고 정확성도 보장할 수 없다. 카메라 설치에 따른 물리적 비용과 중간 연산과정에 따른 연산 비용 및 시간지연 또한 불가피 하게 발생하게 된다.
종래에는 이와 같은 문제점을 뉴턴 랩슨 방식(Newton Rapson Method) 또는 칼만 필터(KF: Kalman Filter)와 같은 수치해석 접근 방식으로 해결하려는 노력이 있었다.
그러나, 뉴턴 랩슨 방식의 경우 근사 함수의 최적해를 찾는데 있어 비교적 적은 연산으로 준수한 성능을 보여 주기는 했으나, 초기값 선정에 의한 영향과 커브 피팅(curve fitting)으로 얻어진 근사 함수의 정확도 이상을 넘어서지 못하는 한계를 보였다.
한편, 확장 칼만 필터(EKF: Extended Kalman Filter)의 경우, 차량용 디스플레이 장치(100)의 비축 설계에 의한 광학계가 연속성 저하에 민감하게 반응하여 EKF 방식의 좁은 구간에서의 선형 최적화의 작은 오차라도 광 경로가 지나가는 영역에 따라서 매우 확대될 수 있었고, 따라서 전체 영역에서 균일성을 유지함에 있어서 한계를 보였다.
또한, 무향 칼만 필터(UKF: Unscented Kalman Filter)의 경우, EKF 에서의 선형화 과정을 생략하고 샘플링을 통해 최적화를 함으로써 선형 근사화의 한계를 넘어 일부 경우에 따라서는 비선형 문제에 대해 비교적 정확한 해를 도출하기도 하였다. 그러나 오차 공분산 추정값이 발산을 야기할 정도로 안정적이지 않다는 문제점을 보였다.
이에 본 개시에서는 강화학습(RL: reinforcement learning)을 이용함으로써, 대상 오브젝트(400)과 증강현실 오브젝트(110) 간의 중첩이 외부 환경으로부터의 받는 영향을 최소화하는 것에 대해 살펴보겠다.
먼저 허상(virtual image)(예를 들면, 증강현실 오브젝트(110))의 변위에 대해 살펴보겠다.
본 개시의 동적 모델링에 있어 설명의 간명함을 위해 모델의 차원은 2차원으로 한정하고 상하방향으로의 변위만을 고려하겠다.
차량(200)의 상하 방향의 변위가 yc이고 피칭(Pitching) 방향의 각도 변화가 ωc일 때, 허상의 상하 방향의 변위 yVI는 다음과 같이 설명된다.
[수식 1]
Figure PCTKR2023016728-appb-img-000001
차량의 자세 변화에 의한 허상의 위치 변화 이외에 힘에 의한 차량의 형상 변화에 의한 변위는 차량이 강체로 이루어져서 미미하므로 무시될 수 있다.
이하, 보상을 위한 변위에 대해 살펴보겠다.
상기 수식 1에서 구한 허상의 변위는 전방의 정적인 상태로 가정한 대상 오브젝트(400)와의 중첩성을 유지하기 위해 상기 PGU(300x, 300y) 상의 상기 허상을 생성하기 위한 픽셀의 변위를 가변할 수 있다.
상기 차량용 디스플레이 장치(100)를 이루는 일반적인 광학계는 상기 PGU(300x, 300y), 상기 폴드 (평판) 미러(315x, 315y), 상기 오목 미러(325x, 325y). 및 윈드 쉴드(WS)를 포함할 수 있다.
상기 PGU 상의 픽셀의 변위(DC)에 따른 상기 폴드 미러 상의 상기 허상의 변위, 상기 오목 미러 상의 상기 허상의 변위, 상기 윈드 쉴드 상의 상기 허상의 변위에 대해 도 5를 참조하여 설명하겠다. 도 5는 도 3의 차량용 디스플레이 장치에서 허상 변위를 설명하기 위한 도면이다.
도 5에서 상기 폴드 미러(315y), 상기 오목 미러(325y), 및 상기 윈드 쉴드(WS) 각각에서의 허상의 변위인 d1, d2, 및 d3는 아래의 수식 2와 같이 계산될 수 있다.
[수식 2]
Figure PCTKR2023016728-appb-img-000002
수식 2에서 dB는 아래 수식 3과 같다.
[수식 3]
Figure PCTKR2023016728-appb-img-000003
수식 3에서 dc는 아래 수식 4와 같다.
[수식 4]
Figure PCTKR2023016728-appb-img-000004
수식 4에서 da는 아래 수식 5와 같다.
[수식 5]
Figure PCTKR2023016728-appb-img-000005
이와 같은 경우 아래 수식 6을 만족하는 상기 PGU 상의 픽셀의 변위(DC)의 값을 구하는 것이 본 개시의 일 목표이다.
[수식 6]
Figure PCTKR2023016728-appb-img-000006
모델링에 의한 예측값과 회기(Regression)에 의한 비교 결과는 도 6과 같다. 도 6은 모델링에 의한 예측값과 회기(Regression)에 의한 비교 결과를 나타내는 표이다.
이를 통해 광경로 상의 비구면 미러에 의한 광경로의 함수화의 어려움과 동시에 배율로 인한 높은 민감도를 알 수 있다.
도 7은 정규화된 정의역과 치역의 관계를 도시한다. 도 7을 통해 정규화된 정의역과 치역의 관계에서의 민감도를 알 수 있다.
이하, 상기 본 개시의 일 목표를 위한 최적해 산출에 있어서 확장 칼만 필터 (EKF)와 같은 전통적인 방식을 활용하는 것에 대해 살펴보겠다.
이를 위해 상태 변수(state variables)를 아래 수식 7과 같이 정할 수 있다.
[수식 7]
Figure PCTKR2023016728-appb-img-000007
이 경우, 시스템 모델링은 아래 수식 8과 같고 야코비 행렬(Jacobian matrix)은 수식 9와 같다.
[수식 8]
Figure PCTKR2023016728-appb-img-000008
[수식 9]
Figure PCTKR2023016728-appb-img-000009
이하, 상기 본 개시의 일 목표를 위한 최적해 산출에 있어서 강화학습을 활용하는 것에 대해 살펴보겠다.
먼저, 인공 지능에 대해 간략히 살펴보겠다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다.
강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
이상과 같은 인공지능을 위한 알고리즘은 상기 차량용 디스플레이 장치의 제어를 위한 상기 차량(200)의 제어부(미도시)에 의해 학습될 수 있다. 또는 이상과 같은 인공지능을 위한 알고리즘은 공장출하시 미리 학습되어 상기 차량(200)의 상기 제어부에 탑재될 수 있다.
심층 강화학습(DRL: deep reinforcement learning)에 적용된 알고리즘은 PPO(Proximal Policy Optimization) 와 SAC(Soft Actor-Critic)로서, 각각 오프-폴리시(Off-Policy)와 온-폴리시(On -Policy)의 대표적인 알고리즘이다.이하에서는 PPO 및 SAC 알고리즘 위주로 설명되지만, 모든 심층 강화학습 알고리즘이 적용될 수 있음은 물론이다.
공통적으로 상태(state)와 액션(action)은 각각 아래의 수식 10 및 수식 11과 같다.
[수식 10]
Figure PCTKR2023016728-appb-img-000010
[수식 11]
Figure PCTKR2023016728-appb-img-000011
각 파라미터의 설명은 도 8에서 도시된 바와 같다. 도 8은 본 개시의 수식 10 및 수식 11의 파라미터를 설명한다.
보상 함수는 정적(static)인 대상 오브젝트(400)와 초점거리로 결정되는 주광선(chief ray)의 결상점과의 음의 거리차를 갖으며, 아래 수식 12와 같다.
[수식 12]
Figure PCTKR2023016728-appb-img-000012
또는
Figure PCTKR2023016728-appb-img-000013
차량용 디스플레이 장치(100y)는 상기 PGU(300y)와 종단의 허상의 증강현실 오브젝트(110)가 가지는 크기의 비를 의미하는 배율을 가지고 있어, 상기 증강현실 오브젝트(110)의 위치는 제어 변수의 변위량 대비 배율만큼 확대된 이동량을 보인다. 따라서, 목적함수를 최소화하기 위한 에이전트의 변위 영역이 전체 탐색 영역에서 차지 하는 비율이 매우 작다고 볼 수 있기 때문에 광범위한 영역에서 수행되는 탐색영역에서 액션을 수행하고 지속 업데이트 한 결과 그 중에 가장 신뢰도가 높은 지역에서 정책을 결정하는 아래 수식 13과 같은 PPO 알고리즘이 선택되었다.
[수식 13]
Figure PCTKR2023016728-appb-img-000014
수식 13에서, 좌변항의 VF는 가치함수의 에러 손실이고 S는 엔트로피 가중치로서, 좌변항은 우변항의 이전 정책과의 연관성을 제한하는 클립(Clip) 항에서 대리손실의 정도를 결정 짓는 C1, C2항의 합 차로 결정될 수 있다.
온 폴리시의 PPO 알고리즘과 대조적으로 오프 폴리시인 SAC(Soft Actor-Critic) 알고리즘은, 아래 수식 14와 같이 엔트로피 측정 항을 추가하여 가능성이 적은 경로를 제외한 가능성이 있는 다양한 영역의 탐색을 가능하게 한다.
[수식 14]
Figure PCTKR2023016728-appb-img-000015
즉, 우변의 H항을 통해 엔트로피를 관측하고 가중치인 α를 통해 엔트로피 관측의 중요도를 결정할 수 있다. 최적의 정책을 선택함에 과거의 경험까지 고려됨으로 샘플의 효율이 높고 국소해(Local Minima)에 빠질 가능성이 낮아질 수 있다.
본 개시에서는, 사용자에게 정보를 전달하는 디스플레이의 대상과의 중첩성 유지함에 있어서 운전자의 인지에 대한 고려도 필요하므로 DAR(Distance of shifted AR)로 표현되는 대상 오브젝트(140과 증강현실 오브젝트(110) 간의 중첩성을 따지는 변위 이외에 동체시력(DVA, Dynamic Visual Acuity)변수를 추가로 고려하였다.
목적함수 달성 정도를 판단하기 위해, Intel(R) Core(TM) i7-10750H CPU@ 2.60GHz, GTX 1660 TI하드웨어 상의 유니티 시뮬레이터(unity simulator)의 멀티 트레이닝(8E)으로 학습 진행하는 방식으로 실험을 진행하였다.
실험 진행에 적용되는 하이퍼 파라미터의 값은 도 9에 도시된 바와 같다. 도 9는 본 개시에 따른 차량용 디스플레이 장치가 제공하는 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 높이는 강화학습을 위한 파라미터를 도시한다.
불확실성 요소인 지형은 지면에서 수직방향으로 발생하는 가속도를 기준으로 구분하였다. ISO8608에서 구분하는 도로의 포장 상태에서 10 cycle/m 초과 구간에서는 클래스 B를 넘어가는 조건이 되도록 3가지 지면 조건(하이, 미디엄, 로우)을 설정한 PSD 분포는 도 10에 도시한 바와 같다. 도 10은 여러 지형의 PSD를 도시한다.
자유도에 따른 시뮬레이션 클래스 분류는 도 11에 도시된 바와 같다. 도 11은 차량, 대상 오브젝트, 및 아이박스의 자유도에 따른 시뮬레이션 클래스 분류를 도시한다.
앞서 분류된 3가지 종류(하이, 미디엄, 로우)의 지면에서, 전방에 투사되는 디스플레이에 대한 조정 (또는 보상)이 없을 경우를 기준(reference)로 하였을 때의 측정 결과는 도 12에 도시된 바와 같다. 도 12는 증강현실 오브젝트의 투사 보정이 없는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다.
이하, 도 12의 중첩성을 기준으로 하여, 각 클래스 별로 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성에 대해 설명하겠다.
먼저 클래스 1의 경우, 가속도변화가 가장 큰 조건에서의 주요 방법들에 대한 측정 결과는 도 13 및 도 14에 도시된 바와 같다. 도 13 및 도 14은 본 개시의 일 측면에 따라 클래스 1에서 증강현실 오브젝트의 투사 보정을 하는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다. 클래스 1의 경우 후술되는 차량 상태 감지부가 사용될 수 있다.
뉴턴 방식, KF 방식, EKF 방식, RL-PPL 방식, RL-SAC 방식 모두 공통적으로 DVA측면에서는 목표수준 2m/s를 벗어나는 모습을 보여 주었고, DAR 측면에서는 강화학습의 PPO 알고리즘이 가장 우수한 결과를 보여주어 기준 대비 DAR의 평균은 15.8%, DAR의 표준편차는 10.9%의 수준을 보였다. 전통적 방식인 KF와 EKF는 수렴성을 보여준 데이터를 취합하였으나 시간이 지남에 따라 지면 조건의 정규성 저하에 따라 초기의 안정성이 떨어지면서 발산되는 결과를 보여 안정적이지 않음을 보였다. 뉴턴 방식은 DVR과 DAR 양쪽에서 준수한 성능을 보여 주여주기는 하나, 클래스 2이상의 자유도와 무작위성 증가에 따른 복잡도 증가에서는 한계를 보였다.
클래스 2의 경우, 상기 차량(200) 전방에 위치한 상기 대상 오프젝트(400)의 자유도가 추가되고, 상기 PGU(300y) 상의 픽셀의 x 및 y 방향의 조정 변위가 추가 되었다. 따라서 뉴턴 방식과 EKF에 필요한 정확한 시스템 모델링이 불가능해짐에 따라 강화학습의 PPO만으로 실험을 진행하였다. 이에 따른 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성에 대한 측정 결과는 도15 및 도 16에 도시된 바와 같다. 도 15 및 도 16은 본 개시의 일 측면에 따라 클래스 2에서 증강현실 오브젝트의 투사 보정을 하는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다. 클래스 2의 경우 후술되는 차량 상태 감지부 및 대상 오브젝트 감지부가 사용될 수 있다.
클래스 3 및 4의 경우, 운전자 시야의 변위가 추가됨으로 가장 복잡도가 높은 경우이다. 복잡도가 증가하면서 때때로 에이전트 간의 충돌이 관찰되었고 학습이 덜 안정적이었다. 그럼에도 불구하고 운전자 시야 및 대상 오브젝트 모두 미디엄 도로조건에서도 추적이 잘 수행되었다. 클래스 3 및 4의 경우 후술되는 차량 상태 감지부, 대상 오브젝트 감지부, 및 사용자 감지부가 사용될 수 있다.
복잡도가 높은 조건에서는 성능이 저하되는 반면, 추가 최적화의 가능성을 보여주었고 시험결과는 도 17에 도시된 바와 같다. 도 17은 본 개시의 일 측면에 따라 클래스 3 및 4에서 증강현실 오브젝트의 투사 보정을 하는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다.
앞서 진행된 실험을 통해 복잡도가 늘어날 수도 있다. 이는 클래스 Ex로 호칭될 수 있다. 클래스 Ex의 경우, DAR의 성능 저하보다 DVA측면의 성능 저하가 더 클 수 있다. 지면에 의한 가속도가 커짐에 따라 에이전트의 변위 조정의 속도가 커지고 DVA측 성능이 악화 되는 것으로 볼 수 있다.
이를 개선 하기 위해, 도 18에 도시된 바와 같이, 앞서 수행된 전통적 방식과 강화학습을 접목하는 것이 고려될 수 있다. 도 18는 본 개시의 일 측면에 따라 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 위한 목적 함수의 생성 순서도이다.
먼저, 차량의 상태, 대상 오브젝트의 상태, 및 사용자 상태 중 적어도 하나가 관찰될 수 있다[S181]. 상기 차량의 상태, 상기 대상 오브젝트의 상태, 및 상기 사용자 상태에 대해서는 나중에 다시 설명된다.
상기 관찰된 상기 차량의 상태, 상기 대상 오브젝트의 상태, 및 상기 사용자 상태 중 적어도 하나에 기반하여 뉴턴-랩슨 또는 EFK 방식으로 목적 함수가 생성될 수 있다[S182].
상기 생성된 목적 함수에 기반하여 상기 증강현실 오브젝트 및 상기 대상 오브젝트 간의 중첩성이 1차 예측될 수 있다[S183].
상기 강화학습에 기반하여 상기 생성된 목적 함수가 튜닝될 수 있다[S184]
상기 튜닝된 목적 함수에 기반하여 상기 증강현실 오브젝트 및 상기 대상 오브젝트 간의 중첩성이 2차 예측될 수 있고, 상기 2차 예측된 중첩성은 상기 강화 학습의 추가 학습에 활용될 수 있다. [S185].
이에 따른 실험 결과는 도 19 및 도 20에 도시된 바와 같다. 도 19 및 도 20은 본 개시의 일 측면에 따라 전통적 방식과 강화학습을 접목함으로써 생성된 목적 함수에 기반하여 증강현실 오브젝트의 투사 보정을 하는 경우의 증강현실 오브젝트 및 대상 오브젝트 간의 중첩성을 도시한다.
본 개시는 차량용 디스플레이 장치에서 증강현실 오브젝트의 목적인 허상과 대상 오브젝트 간의 중첩 상태 유지를 위해 강화학습을 도입하였고 주요 파라미터 값들과 목적 함수 간의 관계를 파악하고 각 조건 별 목적 함수의 이상치 도달의 시간적인 단축과 안정적인 학습을 위한 방법론을 제시하고, 전통적 방법론에서부터 강화학습까지 목적함수의 성능을 비교하였다.
무작위 요소의 증가에 따른 복잡도에 따라 분류된 클래스에 따라 적합한 방법론을 비교 적용 하여 각각의 한계와 장점을 파악 하였다. 이를 기반으로 강화학습의 우수성을 확인하였고 강화학습과 기존의 방식들의 조합의 성능을 실험하였고 기존 대비 우위의 특정 조건을 찾아 냈다.
이하, 이와 같은 방식으로 대상 오브젝트 및 증강현실 오브젝트 간의 중첩성을 향상시키기 위한 알고리즘이 적용될 수 차량용 디스플레이 장치(100)를 장착할 수 있는 차량(200)에 대해 도 21을 더욱 참조하여 설명하겠다. 도 21은 본 개시의 일 측면에 따른 차량의 블록도이다.
상기 차량(200)은 사용자 감지부(2200), 대상 오브젝트 감지부(2300), 차량상태 감지부(2120), 차량용 디스플레이 장치(100), 및 제어부(2170)를 포함할 수 있다. 상기 차량(200)은 이보다 더 많은 다른 구성요소를 포함할 수 있음은 물론이다.
상기 사용자 감지부(2200)는 상기 차량(200) 내의 운전자 및/또는 다른 탑승자의 유무 및 상태를 감지하기 위한 것으로서, 내부 카메라(2220) 및 생체 감지부(2230)를 포함할 수 있다.
상기 내부 카메라(2220)는, 차량 내부 영상을 획득할 수 있다. 상기 제어부(2170)는, 차량 내부 영상을 기초로, 사용자(운전자 및/또는 탑승자)의 상태를 감지할 수 있다. 상기 제어부(2170)는, 차량 내부 영상에서 사용자의 시선 정보를 획득함으로써 사용자 시야(즉, 아이박스(Eyebox)를 감지할 수 있다. 상기 제어부(2170)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
상기 생체 감지부(2230)는, 사용자의 생체 정보를 획득할 수 있다. 상기 생체 감지부(2230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
상기 대상 오브젝트 감지부(2300)는, 상기 차량(200) 외부에 위치하는 각종 대상 오브젝트(또는 외부 오브젝트)를 검출하기 위한 장치이다. 상기 대상 오브젝트는, 상기 차량(200)의 운행과 관련된 다양한 물체들일 수 있다. 상기 대상 오브젝트는, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
상기 대상 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 상기 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 상기 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
상기 차량 상태 감지부(2120)는, 차량의 상태를 센싱할 수 있다. 상기 차량 상태 감지부(2120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), IMU(Inertial Measurement Unit) 센서, 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
상기 차량 상태 감지부(2120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
상기 차량 상태 감지부(2120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
상기 차량용 디스플레이 장치(100)는 도 2 및 도 3에서 설명한 구성요소 이외에 러닝 프로세서(2130), 모델 저장부(2231), 및 미러 구동부(340)을 더욱 포함할 수 있다.
상기 러닝 프로세서(2130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망 또는 머신 러닝 알고리즘을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다. 상기 러닝 프로세서(2130)는 반드시 상기 차량(200) 내에 포함되어야 하는 것은 아니고, 별도의 외부 서버(미도시)에 구비될 수 있다.
상기 모델 저장부(2231)은 상기 러닝 프로세서(230)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망)을 저장할 수 있다.
상기 모델 저장부(2231)에 저장되는 학습 모델은 상기 차량(200) 내의 상기 러닝 프로세서(2130)에 의해 학습 중이거나 학습 완료된 것일 수도 있고, 상기 외부 서버에서 사전에 학습 완료된 것일 수도 있다.
상기 미러 구동부(340)는 상기 폴드 미러(315x, 315y) 및 상기 오목 미러(325x, 325y) 중 적어도 하나를 이동시키고/시키거나 회전시킬 수 있다.
상기 제어부(2170)는 상기 차량(200) 내의 각 구성요소의 전반적인 동작을 제어할 수 있다. 상기 제어부(2170)는 상기 차량(200) 내의 각 구성요소 뿐만 아니라 상기 차량용 디스플레이 장치(100)의 각 구성요소를 제어할 수 있다. 이와 같은 측면에서 상기 제어부(2170) 상기 차량용 디스플레이 장치(100)에 속하는 구성요소로 이해될 수도 있다. 또는 상기 제어부(2170)는 상기 차량용 디스플레이 장치(100)를 제어하기 위한 별도의 제어부(미도시)를 포함하는 것으로 이해될 수도 있다.
이하, 도 22를 참조하여 상기 러닝 프로세서(또는 시뮬레이터)에 대해 좀더 살펴보겠다. 도 22는 본 개시의 일 측면에 따른 러닝 프로세서를 도시한다.
상기 러닝 프로세서(2130)는 환경(environment) 모듈(2131)과 에이전트(agent) 모듈(2132)을 포함할 수 있다. 상기 환경 모듈(2131)은 상기 차량(200)의 운행 중 상기 대상 오브젝트(400)와 상기 증강현실 오브젝트(110) 간의 중첩에 관한 시뮬레이션일 수 있다. 상기 에이전트 모듈(2132)는 상기 차량용 디스플레이 장치(100)에 관한 시뮬레이션일 수 있다.
상기 러닝 프로세서(2130)는 강화학습 방식으로 상기 인공지능 모델을 학습시킬 수 있다. 예를 들면, 상기 에이전트 모듈(2132)는 상기 환경 모듈(2131)에 대해 액션(예를 들면, PGU 픽셀 조정 및/또는 미러 구동)을 수행하고, 상기 환경 모듈(2131)에 대한 액션에 대한 보상을 받음으로써 상기 인공지능 모델이 학습될 수 있다.
이하, 도 23을 참조하여, 이상과 같이 구성된 차량용 디스플레이 장치(100)를 통해 구현되는 증강 현실 기반의 헤드 업 디스플레이에 대해 설명하겠다. 도 23은 본 개시의 일 측면에 따른 증강 현실 기반의 헤드 업 디스플레이의 구현 순서도이다.
상기 제어부(2170)는 클래스 1 이상의 조건에서 운행 중에 상기 차량 상태 감지부(2120)로부터 상기 차량(200)의 상태를 수신할 수 있다[S231]. 상기 차량(200)의 상태는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 및 차량 전진/후진 정보 등 중 적어도 하나를 포함할 수 있다. ,
상기 제어부(2170)는 클래스 2 이상의 조건에서 운행 중에 상기 대상 오브젝트 감지 센서(2300)로부터 상기 검출된 대상 오브젝트의 상태를 수신할 수 있다[S231]. 상기 검출된 대상 오브젝트의 상태는, 상기 대상 오브젝트의 존재 유무, 상기 대상 오브젝트의 종류, 상기 대상 오브젝트의 형상, 상기 대상 오브젝트의 크기, 상기 대상 오브젝트의 움직임 등 중 적어도 하나에 관한 정보를 포함할 수 있다.
상기 제어부(2170)는 클래스 3 이상의 조건에서 운행 중에 상기 사용자 감지부(2200)로부터 사용자(운전자 및/또는 탑승자)의 상태를 감지할 수 있다[S231]. 상기 사용자의 상태는 사용자의 존재 유무 및 사용자의 아이박스(Eyebox) 위치 등 중 적어도 하나에 관한 정보를 포함할 수 있다.
상기 제어부(2170)는 클래스 1의 경우 상기 차량(200)의 상태 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트의 투사를 위한 상기 PGU의 픽셀(예를 들면, 위치 및 크기 중 적어도 하나)를 캘리브레이션할 수 있다[S232].
상기 제어부(2170)는 클래스 2의 경우, 상기 차량(200)의 상태, 상기 대상 오브젝트의 상태 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트의 투사를 위한 상기 PGU의 픽셀을 캘리브레이션할 수 있다[S232].
상기 제어부(2170)는 클래스 3 이상의 경우, 상기 차량(200)의 상태, 상기 대상 오브젝트의 상태, 상기 사용자의 상태, 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트의 투사를 위한 상기 PGU의 픽셀을 캘리브레이션하고, 상기 미러구동부(340)를 구동하여 상기 폴더 미러 및 상기 오목 미러 중 적어도 하나의 위치 및 방향을 캘리브레이션할 수 있다[S232].
상기 제어부(2170)는 클래스 1 및 2의 경우 상기 캘리브레이션된 상기 PGU의 픽셀을 통해 상기 증강현실 오브젝트를 투사할 수 있다[S233].
상기 제어부(2170)는 클래스 3 이상의 경우 과 상기 캘리브레이션되는 상기 폴더 미러 및 상기 오목 미러 중 적어도 하나와 상기 캘리브레이션되는 상기 PGU의 픽셀을 통해 상기 증강현실 오브젝트를 투사할 수 있다[S233].
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 대상 오브젝트에 대응되는 증강현실 오브젝트를 출력하는 영상 생성 유닛;
    상기 증강현실 오브젝트를 반사시키는 미러;
    상기 증강현실 오브젝트의 투사 위치를 결정하기 위한 목적 함수를 저장하는 저장부; 및
    차량의 상태를 수신하고,
    상기 수신된 차량의 상태 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하도록 하도록 제어하는 제어부;를 포함하는 차량용 디스플레이 장치.
  2. 제 1 항에 있어서, 상기 목적 함수는,
    인공지능 모델을 강화학습함으로써 생성되는 것을 특징하는 차량용 디스플레이 장치.
  3. 제 2 항에 있어서, 상기 목적 함수는
    상기 강화학습된 인공지능 모델과 뉴턴 랩슨 방식의 모델이 결합되어 생성되는 것을 특징으로 하는 차량용 디스플레이 장치.
  4. 제 1 항에 있어서, 상기 차량의 상태는
    차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 및 차량 전진/후진 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치.
  5. 제 1 항에 있어서, 상기 제어부는,
    상기 대상 오브젝트의 상태를 더욱 수신하고,
    상기 수신된 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하도록 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  6. 제 5 항에 있어서, 상기 대상 오브젝트의 상태는,
    상기 대상 오브젝트의 존재 유무, 상기 대상 오브젝트의 종류, 상기 대상 오브젝트의 형상, 상기 대상 오브젝트의 크기, 상기 대상 오브젝트의 움직임 중 적어도 하나에 관한 정보를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치.
  7. 제 5 항에 있어서, 상기 제어부는,
    사용자의 상태를 더욱 수신하고,
    상기 수신된 사용자의 상태, 상기 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하도록 하도록 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  8. 제 7 항에 있어서, 상기 사용자의 상태는,
    상기 사용자의 존재 유무 및 상기 사용자의 아이박스(Eyebox) 위치 중 적어도 하나에 관한 정보를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치.
  9. 제 7 항에 있어서,
    상기 미러의 이동 및 회전 중 적어도 하나를 수행하기 위한 미러 구동부를 더욱 포함하고, 상기 제어부는,
    상기 수신된 사용자의 상태, 상기 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여, 상기 미러의 이동 및 회전 중 적어도 하나를 수행하기 위해 상기 미러 구동부를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  10. 제 2 항에 있어서,
    상기 인공지능 모델은 PPO(Proximal Policy Optimization) 알고리즘 또는 SAC(Soft Actor-Critic) 알고리즘에 기반한 것을 특징으로 하는 차량용 디스플레이 장치.
  11. 차량의 상태를 수신하는 단계; 및
    대상 오브젝트에 대응되는 증강현실 오브젝트의 투사 위치를 결정하기 위한 목적 함수 및 상기 수신된 차량의 상태에 기반하여, 상기 증강현실 오브젝트를 출력하는 영상 생성 유닛을 캘리브레이션하는 단계;를 포함하는 차량용 디스플레이 장치의 제어 방법.
  12. 제 11 항에 있어서, 상기 목적 함수는,
    인공지능 모델을 강화학습함으로써 생성되는 것을 특징하는 차량용 디스플레이 장치의 제어 방법.
  13. 제 12 항에 있어서, 상기 목적 함수는
    상기 강화학습된 인공지능 모델과 뉴턴 랩슨 방식의 모델이 결합되어 생성되는 것을 특징으로 하는 차량용 디스플레이 장치의 제어 방법.
  14. 제 11 항에 있어서, 상기 차량의 상태는
    차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 및 차량 전진/후진 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치의 제어 방법.
  15. 제 11 항에 있어서,
    상기 대상 오브젝트의 상태를 수신하는 단계; 및
    상기 수신된 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하는 단계;를 더욱 포함하는 것을 특징으로 하는 차량용 디스플레이 장치의 제어 방법.
  16. 제 15 항에 있어서, 상기 대상 오브젝트의 상태는,
    상기 대상 오브젝트의 존재 유무, 상기 대상 오브젝트의 종류, 상기 대상 오브젝트의 형상, 상기 대상 오브젝트의 크기, 상기 대상 오브젝트의 움직임 중 적어도 하나에 관한 정보를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치의 제어 방법.
  17. 제 15 항에 있어서,
    사용자의 상태를 수신하는 단계; 및
    상기 수신된 사용자의 상태, 상기 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여 상기 증강현실 오브젝트를 출력하는 상기 영상 생성 유닛을 캘리브레이션하는 단계;를 더욱 포함하는 것을 특징으로 하는 차량용 디스플레이 장치의 제어 방법.
  18. 제 17 항에 있어서, 상기 사용자의 상태는,
    상기 사용자의 존재 유무 및 상기 사용자의 아이박스(Eyebox) 위치 중 적어도 하나에 관한 정보를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치의 제어 방법.
  19. 제 17 항에 있어서,
    상기 수신된 사용자의 상태, 상기 대상 오브젝트의 상태, 상기 차량의 상태, 및 상기 목적 함수에 기반하여, 상기 증강현실 오브젝트를 반사하는 미러의 이동 및 회전 중 적어도 하나를 수행하기 위해 미러 구동부를 제어하는 단계를 더욱 포함하는 것을 특징으로 하는 차량용 디스플레이 장치의 제어 방법.
  20. 제 12 항에 있어서,
    상기 인공지능 모델은 PPO(Proximal Policy Optimization) 알고리즘 또는 SAC(Soft Actor-Critic) 알고리즘에 기반한 것을 특징으로 하는 차량용 디스플레이 장치의 제어 방법.
PCT/KR2023/016728 2022-10-26 2023-10-26 차량용 디스플레이 장치 및 그 제어 방법 WO2024091013A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220138999 2022-10-26
KR10-2022-0138999 2022-10-26

Publications (1)

Publication Number Publication Date
WO2024091013A1 true WO2024091013A1 (ko) 2024-05-02

Family

ID=90831388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/016728 WO2024091013A1 (ko) 2022-10-26 2023-10-26 차량용 디스플레이 장치 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2024091013A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017013590A (ja) * 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
JP2017087826A (ja) * 2015-11-05 2017-05-25 アルパイン株式会社 電子装置
KR20210055570A (ko) * 2019-11-07 2021-05-17 네이버 주식회사 비주얼 내비게이션에 있어서 일반화를 개선하기 위한 시스템 및 방법
KR20210081939A (ko) * 2019-12-24 2021-07-02 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR20220075696A (ko) * 2020-11-30 2022-06-08 현대자동차주식회사 딥러닝 기반 헤드업 디스플레이 보정 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017013590A (ja) * 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
JP2017087826A (ja) * 2015-11-05 2017-05-25 アルパイン株式会社 電子装置
KR20210055570A (ko) * 2019-11-07 2021-05-17 네이버 주식회사 비주얼 내비게이션에 있어서 일반화를 개선하기 위한 시스템 및 방법
KR20210081939A (ko) * 2019-12-24 2021-07-02 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR20220075696A (ko) * 2020-11-30 2022-06-08 현대자동차주식회사 딥러닝 기반 헤드업 디스플레이 보정 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
WO2021137485A1 (en) Method and device for displaying 3d augmented reality navigation information
WO2018092989A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2019209057A1 (en) Method of determining position of vehicle and vehicle using the same
WO2020231153A1 (en) Electronic device and method for assisting with driving of vehicle
WO2020159247A1 (ko) 영상 출력 장치
WO2019172645A1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
WO2021006368A1 (ko) 인공지능 기반의 에너지 사용량 예측 장치 및 예측 방법
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
WO2019208965A1 (ko) 전자 장치 및 그 동작 방법
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2020159245A1 (ko) 차량 간 영상 공유 방법
WO2017018844A1 (ko) 자율 주행 차량 및 그의 동작 방법
JP2017094882A (ja) 虚像生成システム、虚像生成方法及びコンピュータプログラム
WO2020171561A1 (en) Electronic apparatus and controlling method thereof
WO2016186319A1 (ko) 차량 운전 보조 장치 및 차량
WO2024091013A1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
WO2021045246A1 (ko) 자동차에 확장된 기능을 제공하는 장치 및 그 방법
WO2020171605A1 (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2021054492A1 (ko) 차량용 인포테인먼트 장치 및 그의 동작 방법
WO2021085691A1 (ko) 차량용 내비게이션의 영상 제공 방법
WO2020159244A1 (ko) 영상 출력 장치
WO2019107730A1 (ko) 전자 장치 및 그의 텍스트 제공 방법
US20200050002A1 (en) Display device and display control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23883118

Country of ref document: EP

Kind code of ref document: A1