WO2021162499A1 - 투명 패널을 제어하기 위한 장치 및 방법 - Google Patents

투명 패널을 제어하기 위한 장치 및 방법 Download PDF

Info

Publication number
WO2021162499A1
WO2021162499A1 PCT/KR2021/001871 KR2021001871W WO2021162499A1 WO 2021162499 A1 WO2021162499 A1 WO 2021162499A1 KR 2021001871 W KR2021001871 W KR 2021001871W WO 2021162499 A1 WO2021162499 A1 WO 2021162499A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
glare
transparent panel
light source
dimming
Prior art date
Application number
PCT/KR2021/001871
Other languages
English (en)
French (fr)
Inventor
코진스키다위드
그르제샥그르제고르슈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021162499A1 publication Critical patent/WO2021162499A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10—Optical coatings produced by application to, or surface treatment of, optical elements
    • G02B1/11—Anti-reflection coatings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Definitions

  • the present disclosure relates to the field of control of panels. More specifically, the present disclosure relates to an apparatus and method for controlling a transparent panel to protect a user's eyes from a light source.
  • transparent panel devices capable of observing an object through a transparent panel.
  • a user can view objects through a transparent panel attached to a transparent panel device such as a car, a camera, a telescope, a viewfinder, and a head mounted display (HMD).
  • a transparent panel device such as a car, a camera, a telescope, a viewfinder, and a head mounted display (HMD).
  • HMD head mounted display
  • the light sources such as the sun and lighting, and the light generated from these light sources may adversely affect the user, such as glare and deterioration of eyesight.
  • glare can be fatal to a user driving a car. In general, it takes about 5 seconds for the user's eyes to return to normal after glare occurs. If the car was running at 80 km/h, the user's eyesight is not normal and the user moves 110 m, so the possibility of collision with a pedestrian or a vehicle increases. In addition, even when a user uses a camera, visual acuity may be deteriorated due to a light source such as the sun.
  • An apparatus and method for controlling a transparent panel according to an exemplary embodiment has a technical task of blocking a user's glare in advance.
  • the apparatus and method for controlling a transparent panel according to an embodiment has a technical task to reduce the possibility of an accident during dimming processing for blocking user's glare.
  • the apparatus and method for controlling a transparent panel according to an exemplary embodiment have a technical task of minimizing the effect caused by user's glare and improving accuracy of glare prediction and glare prevention.
  • a method of controlling a transparent panel includes: recognizing a position of a user's eye on a first side and a position of a light source on a second side with respect to the transparent panel; estimating the user's glare by the light source based on the recognized position of the eye and the position of the light source; and dimming a portion of the transparent panel on which the light of the light source is incident when the user's glare is predicted to occur.
  • the predicting of the user's glare may include predicting the user's glare based on a deep neural network (DNN), wherein the DNN includes a location of the light source, an intensity of light generated from the light source, and a It is possible to predict whether the glare occurs by receiving the location and the user's visual ability information.
  • DNN deep neural network
  • the apparatus and method for controlling a transparent panel may block a user's glare in advance.
  • the apparatus and method for controlling a transparent panel may reduce the possibility of an accident occurring during a dimming process for blocking a user's glare.
  • the apparatus and method for controlling a transparent panel may minimize the effect of user's glare when it occurs, and may improve the accuracy of predicting glare and preventing glare.
  • FIG. 1 is a view for explaining a situation in which a user's glare is generated by light incident on a transparent panel.
  • FIG. 2 is a block diagram of an apparatus for controlling a transparent panel according to an exemplary embodiment.
  • FIG. 3 is an exemplary diagram illustrating a sensor mounted on a transparent panel device.
  • FIG. 4 is an exemplary diagram illustrating a DNN for glare prediction.
  • FIG. 5 is an exemplary diagram illustrating a DNN for determining a dimming processing scheme.
  • FIG. 6 is a view illustrating a transparent panel dimmed to prevent glare of a user by a light source.
  • FIG. 7 is a diagram for explaining a method of determining a dimming position.
  • FIG. 8 is a view for explaining a glare prediction process and a dimming process when a light source is occluded by an object.
  • FIG. 9 is a diagram for describing an object that is covered by a dimming area.
  • FIG. 10 is a diagram illustrating object information displayed on a dimming area of a transparent panel.
  • 11 is a graph illustrating a size of a user's pupil that changes according to a light source.
  • FIG. 12 is a diagram illustrating a dimming process when glare occurs to a user.
  • FIG. 13 is a diagram for explaining a method of updating a weight of a DNN when glare occurs to a user.
  • FIG. 14 is a flowchart illustrating a method of controlling a transparent panel according to an exemplary embodiment.
  • a method of controlling a transparent panel includes: recognizing a position of a user's eye on a first side and a position of a light source on a second side with respect to the transparent panel; estimating the user's glare by the light source based on the recognized position of the eye and the position of the light source; and dimming a portion of the transparent panel on which the light of the light source is incident when the user's glare is predicted to occur.
  • the predicting of the user's glare may include predicting the user's glare based on a deep neural network (DNN), wherein the DNN includes a location of the light source, an intensity of light generated from the light source, and a It is possible to predict whether the glare occurs by receiving the location and the user's visual ability information.
  • DNN deep neural network
  • the recognizing may include recognizing an intensity of light generated from the light source, and the dimming may include adjusting the dimming intensity according to the intensity of the light.
  • Predicting the glare of the user may include predicting that there will be glare of the user when the occlusion of the light source is predicted to be released as the user moves while the light source is occluded by the object. may include steps.
  • the recognizing includes recognizing a type of the light source on the second side, and the predicting of the user's glare may include, when the recognized type of the light source corresponds to a predetermined type, the user's It may include predicting that glare will occur.
  • the method for controlling the transparent panel may further include displaying information on the object on the second side on the transparent panel when the user's glare occurs.
  • the method for controlling the transparent panel may further include determining whether glare has occurred in the user according to the measurement result of the pupil size of the user's eyes.
  • the method for controlling the transparent panel may further include updating a weight of a DNN for predicting the user's glare or a DNN for determining the dimming processing method when the user's glare occurs.
  • the method for controlling the transparent panel may further include dimming a predetermined area of the transparent panel when the user's glare occurs.
  • the method for controlling the transparent panel may further include, after dimming the predetermined area according to the occurrence of glare of the user, reducing the intensity of the dimming.
  • the method for controlling the transparent panel may further include displaying information on an object obscured by the dimmed portion from the user's view on the dimmed portion.
  • An apparatus for controlling a transparent panel includes: a recognition unit for recognizing a position of a user's eye on a first side and a position of a light source on a second side with respect to the transparent panel; a glare prediction unit for predicting a user's glare by the light source based on the recognized position of the eye and the position of the light source; and a panel controller configured to dim a portion of the transparent panel on which the light of the light source is incident when the user's glare is predicted to occur.
  • the glare prediction unit predicts the glare of the user based on the DNN, and the DNN receives the position of the light source, the intensity of light generated from the light source, the position of the eye, and the user's visual ability information to receive the glare. occurrence can be predicted.
  • the recognition unit may recognize an intensity of light generated from the light source, and the panel controller may adjust the dimming intensity according to the intensity of the light.
  • the panel controller may display information on the object on the second side on the transparent panel when the user's glare occurs.
  • the weight of the DNN for predicting the user's glare or the DNN for determining the dimming processing method may be updated.
  • the panel controller may dim a predetermined area of the transparent panel when the user's glare occurs.
  • the panel controller may reduce the intensity of the dimming after dimming the predetermined area according to the occurrence of the user's glare.
  • the panel controller may display information on an object obscured by the dimmed portion from the user's view on the dimmed portion.
  • a component when referred to as “connected” or “connected” to another component in this specification, the component may be directly connected to or directly connected to the other component, but in particular the opposite is true. Unless there is a description to be used, it will be understood that it may be connected or connected through another element in the middle.
  • components expressed as ' ⁇ unit (unit)', 'module', etc. are two or more components combined into one component, or two or more components for each more subdivided function. may be differentiated into.
  • each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions that each component is responsible for, and some of the main functions of each of the components are different It goes without saying that it may be performed exclusively by the component.
  • FIG. 1 is a view for explaining a situation in which glare of the user 10 is generated by the light 32 incident on the transparent panel 20 .
  • transparent panel devices such as a car, a camera, a telescope, and an HMD uses objects 31 , 33 , 34 , 35 located opposite to the user 10 with respect to the transparent panel 20 .
  • the objects 31 , 33 , 34 , 35 may include cars 33 , 34 , the sun 31 , a building 35 , a pedestrian (not shown), etc., the sun
  • a light source such as 31 enters the field of view 11 of the user 10 , it causes glare to the user 10 .
  • Light sources that cause glare to the user 10 include the sun 31 emitting direct light, lighting, the headlamps of automobiles 33 and 34, as well as windows 36 reflecting the light emitted by the light source, the floor It may include, for example, stagnant water.
  • FIG. 2 is a block diagram of an apparatus 200 for controlling a transparent panel 20 according to an exemplary embodiment.
  • the control apparatus 200 includes a recognition unit 210 , a glare prediction unit 230 , and a panel control unit 250 .
  • the recognition unit 210 , the glare prediction unit 230 , and the panel control unit 250 may be implemented with at least one processor and may operate according to a program stored in a memory (not shown).
  • control device 200 may be included in the transparent panel device to control the transparent panel 20 . In another embodiment, the control device 200 may be remotely connected to the transparent panel device to control the transparent panel 20 .
  • the recognition unit 210 recognizes the user's eyes on the first side and the object on the second side with respect to the transparent panel 20 .
  • the recognition unit 210 may recognize the position of the user's eyes and the position of the object based on the sensed data received from the sensor 40 .
  • recognizing the position of the eye may mean recognizing the coordinates of the eye
  • recognizing the object may mean recognizing the coordinates of the object and the type of the object.
  • the sensor 40 may include a camera, a radar, an optical sensor, and the like.
  • the sensor 40 senses a user and an object, and transmits the sensed data to the recognition unit 210 .
  • the sensor 40 may transmit the sensed data to at least one of the panel control unit 250 and the glare prediction unit 230 .
  • the camera may include a camera for photographing the first side and a camera for photographing the second side with respect to the transparent panel 20 .
  • the radar may be used to detect the position of the object on the second side or the distance from the transparent panel device to the object
  • the light sensor may include a photodiode for detecting the intensity of light generated from the light source.
  • the sensor 40 may include a GPS sensor, an acceleration sensor, a gyro sensor, and the like for detecting the position and/or posture of the user, specifically, the transparent panel device.
  • the position and/or posture information of the transparent panel device may be used as information for predicting glare of a user.
  • the senor 40 may be mounted on the user 10 and/or the transparent panel device.
  • the camera for photographing the first side may be mounted on a dashboard or a rearview mirror of the vehicle, and the camera and radar for photographing the second side are the front bumper of the vehicle, It can be mounted on the back of the rearview mirror.
  • FIG 3 is an exemplary view showing a camera mounted on a vehicle 300, a camera (not shown) may be mounted on the front side of the rearview mirror 310 to photograph the first side, and photograph the second side.
  • the camera 320 may be mounted on the rear side of the room mirror 310 .
  • cameras 330 and 340 for photographing the second side may be mounted on the upper portion of the rearview mirror 310 .
  • the recognition unit 210 may analyze the sensing data received from the sensor 40 to recognize the position of the user's eye (or pupil) and the size of the pupil.
  • the recognizer 210 may determine the user's gaze direction and field of view based on the recognized eye position.
  • the recognition unit 210 may determine whether glare has occurred in the user through the size of the pupil. For example, the recognition unit 210 may determine that glare has occurred in the user when the size of the user's pupil is reduced by a predetermined ratio or more compared to the size of the user's pupil in a general situation. Since a technique for tracking a user's pupil size is obviously used in the related art, a detailed description thereof will be omitted.
  • the recognition unit 210 analyzes the sensing data received from the sensor 40 to determine the type of objects on the second side of the transparent panel 20, the positions of the objects, the type of light source, and the intensity of light generated from the light source. can recognize
  • the recognizer 210 may use a deep neural network (DNN) to recognize objects.
  • the DNN may include, for example, a convolutional neural network (CNN).
  • CNN may recognize objects included in the input image through at least one convolutional layer that convolutionally processes the input image. Since CNN for object recognition is widely used in the field of artificial neural networks, a detailed description thereof will be omitted.
  • the glare prediction unit 230 predicts the user's glare by the light source based on the position of the eye and the position of the light source recognized by the recognition unit 210 .
  • the glare prediction unit 230 may determine the user's gaze direction and field of view based on the position of the eye recognized by the recognizer 210 , and may predict in advance whether the light generated from the light source will enter the user's field of view. For example, the glare prediction unit 230 may determine whether glare will occur to the user in the future by considering the position of the light source, the moving speed of the light source, the moving direction of the light source, the position of the eyes, the moving speed of the user, and the moving direction of the user. It can be predicted whether In addition, the glare prediction unit 230 may predict a time when glare is expected to occur to the user, and the panel control unit 250 described later may perform dimming processing according to the predicted time.
  • the glare prediction unit 230 may use a DNN to predict in advance whether or not a user's glare occurs.
  • the DNN may predict whether glare will occur to the user based on the position of the user's eyes, the position of the light source, and sensing data received from the sensor 40 .
  • FIG. 4 is an exemplary diagram illustrating a DNN for glare prediction.
  • the DNN for glare prediction may be implemented as a fully connectec layer (FCL) 400 .
  • the FCL 400 includes layers having at least one node. Data input to each node included in one layer is processed according to a predetermined weight and transmitted to a node in the next layer. Each node included in any one layer may be connected to all nodes included in a previous layer or a subsequent layer.
  • Information input to the FCL 400 is information used to predict a user's glare. Specifically, user's movement, user's visual ability, position of eye, position of object, position of light source, light source Information indicating intensity of light and weather may be input to the FCL.
  • the user's motion information indicates at least one of a current position, a moving direction, and a moving speed of the user or the transparent panel device used by the user.
  • the visual ability information of the user includes the intensity of light predetermined to cause glare to the user, the time it takes for the user to identify an object after the glare occurs to the user, and the time it takes to return to normal vision after the glare occurs to the user. represents at least one.
  • Each of the eye position information, the object position information, and the light source position information represents coordinates of the eye, the object, and the light source. Since the coordinates of the eyes, the coordinates of the object, and the coordinates of the light source may be determined in the local coordinate system of the sensors 40 , the recognition unit 210 determines the coordinates of the eyes, the coordinates of the object and You can transform the coordinates of the light source. For example, the recognition unit 210 may convert the coordinates of the eyes, the coordinates of the object, and the coordinates of the light source into coordinates of a unified coordinate system having a point on the transparent panel 20 as the origin.
  • the light intensity information indicates the intensity of light emitted from the light source, and as described above, may be measured by a photodiode.
  • the weather information indicates the weather of a region where the transparent panel device is located, and may indicate, for example, cloudy, sunny, rain, snow, and the like.
  • the type of information input to the FCL 400 shown in FIG. 4 is only an example, and additional information other than the information shown in FIG. 4 , for example, motion information of objects, may be input to the FCL 400 and , or at least some of the information shown in FIG. 4 may not be input to the FCL 400 .
  • the FCL 400 shown in FIG. 4 is only an example of a DNN used for glare prediction, and the DNN for glare prediction may be implemented as a recurrent neural network (RNN), CNN, or long short-term memory (LSTM).
  • RNN recurrent neural network
  • CNN recurrent neural network
  • LSTM long short-term memory
  • the DNN for glare prediction processes the input values according to the weights optimized as a result of training.
  • the weight is a value used in the calculation process of the layers constituting the DNN, and is used when an input value is applied to a predetermined calculation expression. For example, a value input to any one node of the FCL is transmitted to the next node after applying a weight, and the data input to the convolution layer of CNN is convolved according to the weight included in the filter kernel and then transferred to the next layer. is transmitted That is, the DNN for glare prediction processes input values with predetermined weights, and can predict whether or not glare will occur to the user based on the final output value.
  • the glare prediction unit 230 may predict which light source among the plurality of light sources will cause the user's glare.
  • the reason for specifying the light source causing the user's glare is to dim the transparent panel 20 only with respect to the specific light source, so that the light from the light source that does not cause the user's glare is directly incident on the user's eye for safety reasons. will do
  • the glare prediction unit 230 may predict that glare will be caused to the user when the type of the light source recognized by the recognition unit 210 corresponds to a predetermined type. This is in consideration of a situation in which dimming processing of the transparent panel 20 is unsuitable for safety reasons even if it is a light source that causes glare of a user. Specifically, when the type of the light source recognized by the recognition unit 210 is the sun, a window, a headlamp of a car, or water stagnant on the floor, the glare prediction unit 230 may determine the intensity of light emitted from the light source, the position of the eyes, It can be predicted that glare will occur to the user depending on the location of the light source.
  • the type of light source recognized by the recognition unit 210 is the sun, window, headlight of a car, headlight of a bicycle, and flash of a pedestrian in addition to water standing on the floor.
  • a light source it may be determined that glare will not be caused to the user in order to prevent a collision with a bicycle, a pedestrian, or the like, even if the light intensity of the corresponding light source is strong.
  • the panel control unit 250 determines one of the transparent panel 20 based on the glare prediction result of the glare prediction unit 230 and the eye position and the light source position recognized by the recognition unit 210 . A portion on which the light of the light source is incident is dimmed.
  • the panel controller 250 displays a warning message including information indicating that glare is expected to occur and/or information indicating an incident direction of light on the transparent panel 20, or outputs the speaker or the like.
  • a warning message can be output through means.
  • the dimming treatment of the transparent panel 20 may refer to a treatment of reducing the transparency of a portion of the transparent panel 20 or reducing the brightness of a portion of the transparent panel 20 .
  • the dimming process may refer to a process of changing the color of a portion of the transparent panel 20 in order to reduce the intensity of light incident to the user's eyes.
  • the transparent panel 20 may be a smart window that changes transparency, brightness, or color according to the control of the panel controller 250 .
  • the transparent panel 20 may be a head up display (HUD) that displays predetermined information under the control of the panel controller 250 .
  • HUD head up display
  • the panel controller 250 includes a partial region of the transparent panel 20 to which the light of the light source causing glare of the user is incident among the plurality of light sources recognized by the recognition unit 210 . can be checked, and dimming processing can be performed only in some confirmed areas. The light of the light source that does not cause glare of the user is incident on the user's eyes through the non-dimmed area of the transparent panel 20 .
  • the panel controller 250 may determine the dimming processing method in consideration of the user's visual ability, the position of the light source, the intensity of light, and the position of the eye.
  • the dimming processing method may include a dimming intensity, a dimming time, and a dimming position.
  • the dimming intensity may refer to transparency, brightness, or color of the transparent panel 20 .
  • a reduction rate of the intensity of the light emitted from the light source may vary according to the dimming intensity. That is, at a strong dimming intensity, the intensity of light emitted from the light source through the transparent panel 20 of low transparency is greatly reduced, and at a dimming intensity of a weak intensity, the intensity of light through the transparent panel 20 of relatively high transparency is increased. decreases less
  • the dimming time represents a time interval during which the dimming process is maintained, and the dimming position represents a position in the transparent panel 20 to which the dimming process is applied.
  • the panel controller 250 may determine the dimming intensity by comparing the intensity of light determined in advance to cause glare of the user with the intensity of light recognized by the recognition unit 210 .
  • the panel controller 250 is configured to take into account a time interval in which the light of the light source is expected to leave the user's field of view after causing glare to the user according to the movement of the light source and/or the movement of the transparent panel device. You can decide the dimming time.
  • the panel controller 250 may determine the dimming processing method using the DNN.
  • the DNN may receive the recognition result of the recognition unit 210 and output a dimming processing method.
  • FIG. 5 is an exemplary diagram illustrating a DNN for determining a dimming processing scheme.
  • the DNN shown in FIG. 5 is the FCL 500, and the FCL 500 receives various types of information used to determine a dimming processing method. Specifically, the user's visual ability, the position of the eyes, the type of light source, and the Information indicating a location, light intensity, weather, and time may be input to the FCL 500 .
  • the visual ability information of the user includes the intensity of light predetermined to cause glare to the user, the time it takes for the user to identify an object after the glare occurs to the user, and the time it takes to return to normal vision after the glare occurs to the user. represents at least one.
  • the eye position information and the light source position information indicate coordinates of the eye and the light source, respectively.
  • the type information of the light source is information indicating what the light source is, for example, whether the light source is the sun, a headlight of a car, a headlight of a bicycle, a window, or water stagnant on the floor.
  • the light intensity information indicates the intensity of light entering the user's field of view.
  • the weather information indicates the weather in an area where the transparent panel device is located, and may indicate, for example, cloudy, sunny, rain, snow, and the like.
  • the time information may indicate the current time, or may indicate whether the current time is in the morning, in the afternoon, or in the evening.
  • the type of information input to the FCL 500 shown in FIG. 5 is only an example. Additional information other than the information shown in FIG. 5 may be input to the FCL 500 , or at least some of the information shown in FIG. 5 may not be input to the FCL 500 .
  • the FCL 500 shown in FIG. 5 is only an example of a DNN used to determine a dimming processing method, and the DNN for determining the dimming processing method may be implemented as an RNN, CNN, or LSTM.
  • FIG. 6 is a diagram illustrating a transparent panel 20 dimmed to prevent glare of the user 10 by the light source 31
  • FIG. 7 describes a method for determining a dimming position in the transparent panel 20 It is a drawing for
  • the panel controller 250 dims the portion 25 on which the light of the light source 31 of the transparent panel 20 is incident, thereby weakening the intensity of the light incident on the eye of the user 10 .
  • the panel control unit 250 prevents the glare of the user 10 in advance by dimming only the portion 25 where the light causing the user 10 is expected to be incident, It allows the user 10 to easily identify objects other than the light source 31 .
  • the dimming processing method for each of the plurality of light sources expected to cause glare of the user 10 may be determined independently of each other.
  • the panel controller 250 may determine the dimming position in consideration of the position of the light source 31 and the position of the user's 10 eyes. As shown in FIG. 7 , the light source based on the predetermined origin 710 . A point (x, y, z) that meets the transparent panel 20 among the line segments connecting the coordinates (a, b, c) of the eye and the coordinates of the eye (l, m, n) may be determined as the dimming position 740 . . In addition, the panel controller 250 may dim the area of a predetermined width based on the determined dimming position 740 .
  • FIG. 8 is a view for explaining a glare prediction process and a dimming process when the light source 31 is occluded by the object 810 .
  • the glare prediction unit 230 predicts in advance whether glare will occur to the user 10 based on the position of the light source 31 and the position of the eyes recognized by the recognition unit 210 .
  • the glare prediction unit 230 is configured to generate a light source ( If the occlusion of 31) is expected to be released, it may be predicted that glare will occur to the user 10 .
  • the glare prediction unit 230 determines that the previously recognized light source 31 is currently occluded by another object 810 (see the upper view of FIG. 8 ). ), when the occlusion of the light source 31 is released as the light source 31 and/or the transparent panel device move so that the light from the light source 31 is expected to be incident on the user 10's eyes, the user 10 ) can be predicted in advance.
  • the glare prediction unit 230 predicts that the user 10 will have glare. If predicted, the panel control unit 250 displays a warning message 820 on the transparent panel 20 , and as shown in the lower part of FIG. 8 , dimming the part 25 of the transparent panel 20 .
  • the warning message 820 displayed on the transparent panel 20 is only an example, and the panel controller 250 may output the warning message through an output means such as a speaker.
  • the panel controller 250 dims a portion of the transparent panel 20 in response to the light source, the user may not be able to clearly identify an object obscured by the dimmed portion. Accordingly, it is necessary to inform the user of information about the object that is obscured by the dimmed portion.
  • FIG. 9 is a view for explaining the object 900 covered by the dimming area 25
  • FIG. 10 is a view showing the object information 1000 displayed on the dimming area 25 of the transparent panel 20 . am.
  • an object 900 that is obscured by the dimming area 25 in the field of view 11 of the user 10 may exist. Bicycles, pedestrians, and the like cause great damage when a collision occurs, so dimming the transparent panel 20 to lower the possibility of object identification may cause a greater risk. Accordingly, in one embodiment, the panel control unit 250 dims the part 25 of the transparent panel 20 to prevent glare of the user 10 by the light source 31 , but in the dimming area 25 . Information on the object 900 that is obscured by the display may be displayed on the dimming area 25 .
  • the panel controller 250 may display a silhouette of a bicycle, an image of a bicycle, and the like on the dimming area 25 .
  • the panel control unit 250 displays information indicating that the object covered by the dimming area 25 is a bicycle and the distance between the user 10 and the bicycle is about the dimming area 25 .
  • it may be output through an output means such as a speaker.
  • the user 10 may sense the danger in advance through the object information 1000 displayed on the dimming area 25 .
  • the recognition unit 210 may measure the size of the user's pupil to identify whether glare has occurred in the user. For example, while the recognition unit 210 continuously measures the size of the user's pupil, if the currently measured pupil size is smaller than the previously measured pupil size by a predetermined ratio or more, it is determined that the user has glare. can
  • 11 is a graph illustrating a size of a user's pupil related to glare caused by a light source.
  • the period A represents the period before the user's glare occurs. During period A, the above-described glare prediction process of the glare predictor 230 and the dimming process of the panel controller 250 are performed.
  • Period B represents a period in which glare occurred to the user. It can be seen that the size of the user's pupil is sharply decreased in period B. During period B, it becomes difficult for the user to identify the object, and the possibility of collision with other objects increases.
  • a period C represents a period in which the user adapts to the light incident on the eyes. During period C, the size of the user's pupil remains reduced.
  • the user's glare can be prevented by the glare prediction and dimming processing during the A period, it is necessary to minimize the adverse effect by the light during the B period in which the user's glare has already occurred and the C period in which the user is adapted to the light.
  • FIG. 12 is a diagram illustrating a dimming process when glare occurs to a user.
  • the panel control unit 250 controls the entire area 1210 of the transparent panel 20 or the entire area of the transparent panel 20 .
  • a dimming process may be performed on a predetermined partial area of the area 1210 .
  • the panel controller 250 transmits the information 1200 of the object in front of the transparent panel. (20) can be indicated.
  • the panel controller 250 may display an image of an object in front and a silhouette of the object on the transparent panel 20 .
  • the panel controller 250 may display the type of the object in front and the distance between the user and the object on the transparent panel 20 .
  • the panel controller 250 may adjust the size, color, and position of the object information 1200 displayed on the transparent panel 20 according to the intensity of light incident to the user's eyes, weather, the user's visual ability, and the like.
  • the panel control unit 250 may dim the entire area 1210 or a predetermined partial area of the transparent panel 20. At this time, the panel control unit 250 250 may determine a dimming time and a dimming intensity in consideration of the user's visual ability. For example, the panel controller 250 may increase the dimming intensity as the reduction ratio of the user's pupil size increases, and conversely, decrease the dimming intensity as the reduction ratio of the user's pupil size decreases. Also, the panel controller 250 may determine the dimming time in consideration of the time required for the user to adapt to the glare.
  • the panel control unit 250 After the user adapts to the glare, that is, during period C in FIG. 11 , the panel control unit 250 reduces the dimming intensity of the transparent panel 20 as shown in the lower part of FIG. 12 so that the user can better see the object. make it identifiable Even if the dimming intensity is reduced, since the dimming process is still performed, the panel controller 250 may display information on an object positioned in front on the transparent panel 20 according to an embodiment.
  • the glare prediction result of the glare prediction unit 230 or the panel control unit 250 that glare has occurred to the user even though the user's glare can be prevented in advance under the operation of the glare prediction unit 230 and the panel control unit 250 during period A ) means that the accuracy of the determination result of the dimming processing method is low, so the glare prediction unit 230 or the panel control unit 250 updates the weight of the DNN for glare prediction or the weight of the DNN for determining the dimming processing method can do. This will be described with reference to FIG. 13 .
  • FIG. 13 is a diagram for explaining a process of updating a weight of a DNN when glare occurs to a user.
  • the glare prediction unit 230 predicts that glare will not occur to the user, but when the user's glare occurs, the recognition unit 210 transmits information that the glare has occurred to the user. ) to the DNN 400 , and the DNN 400 updates the weight used to process the input value according to the information received from the recognition unit 210 .
  • the weight can be updated in a direction that predicts that glare will occur to the user when the input information is processed. have.
  • the glare prediction unit 230 predicts that the user will cause glare, and the panel control unit 250 performs the dimming process accordingly.
  • the recognition unit 210 may cause glare to the user.
  • the information indicating that this has occurred is transmitted to the DNN 500 of the panel controller 250 , and the DNN 500 updates the weight used to process the input value according to the information received from the recognition unit 210 .
  • the DNN 500 processed the input information with a predetermined weight to determine the dimming processing method, but glare occurred to the user. Weights can be updated.
  • the recognition unit 210 did not recognize the light source opposite the user with respect to the transparent panel 20, but when glare occurred to the user, the recognition unit 210 caused glare to the user. transmits information to a DNN (not shown) for object identification, and the DNN for object identification updates a weight used to process an input value.
  • the DNN for object identification determines that the light source does not exist among the objects from the sensing data, but since glare has occurred to the user, the weight may be updated so that the light source is identified when the input information is processed.
  • FIG. 14 is a flowchart illustrating a method of controlling the transparent panel 20 according to an exemplary embodiment.
  • step S1410 the control device 200 recognizes the position of the user's eyes.
  • the control device 200 may recognize the location of the user's pupil.
  • the control device 200 may recognize the position of the user's eyes based on sensing data of the sensor 40 that senses the first side where the user is based on the transparent panel 20 .
  • control device 200 may convert the eye coordinates into coordinates in a predetermined common coordinate system.
  • step S1420 the control device 200 recognizes the position of the light source.
  • the control device 200 may recognize objects based on sensing data of the sensor 40 that senses the second side with respect to the transparent panel 20 . Since the light source is included among the objects, the control apparatus 200 may identify the types of objects, select an object corresponding to the light source, and identify the location of the selected light source.
  • control device 200 may convert the coordinates of the object into coordinates in a predetermined common coordinate system.
  • step S1430 the control device 200 predicts the glare of the user due to the light source.
  • the control device 200 may predict that glare will occur to the user when the light of the light source and/or the user is expected to enter the user's field of view as the light source and/or the user move.
  • control device 200 may use the DNN to predict the user's glare.
  • the DNN may process input information according to a weight set in advance as a result of training, and output an output value indicating whether or not glare will occur to the user.
  • step S1440 when the user's glare is expected, the control device 200 dims a portion of the transparent panel 20 on which the light of the light source is incident.
  • the control device 200 may determine a dimming processing method in consideration of a user's visual ability, light intensity, and the like before dimming processing.
  • the dimming processing method may include at least one of a dimming position, a dimming intensity, and a dimming time.
  • control device 200 may use a DNN to determine a dimming processing method.
  • the DNN may process input information according to a weight preset as a result of training and output an output value indicating at least one of a dimming position, a dimming intensity, and a dimming time.
  • control device 200 may display information on an object that is obscured by the dimming area from the user's field of view on the dimming area so that the user can more easily identify the object.
  • the control device 200 may determine whether glare has occurred in the user by measuring the size of the user's pupil. When glare occurs to the user, the control device 200 dims the entire area or a predetermined partial area of the transparent panel 20, and according to an embodiment, information of an object located in front may be displayed on the dimming area. have. In addition, after the user adapts to the light incident on the eyes, the control device 200 may reduce the dimming intensity of the dimming area so that the user can more clearly identify the object.
  • the control device 200 when it is determined that glare has occurred in the user through the pupil size measurement, the control device 200 back propagates the information indicating this to a DNN for predicting glare or a DNN for determining a dimming method.
  • the weight of the DNN for glare prediction or the DNN for determining the dimming method may be updated.
  • the above-described embodiments of the present disclosure can be written as a program that can be executed on a computer, and the written program can be stored in a medium.
  • the medium may be to continuously store a computer executable program, or to temporarily store it for execution or download.
  • the medium may be various recording means or storage means in the form of a single or several hardware combined, it is not limited to a medium directly connected to any computer system, and may exist distributed on a network. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.
  • examples of other media may include recording media or storage media managed by an app store that distributes applications, sites that supply or distribute various other software, and servers.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Liquid Crystal (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Instrument Panels (AREA)

Abstract

투명 패널을 기준으로 제 1 측에 있는 사용자의 눈의 위치와 제 2 측에 있는 광원의 위치를 인식하는 단계; 눈의 위치와 광원의 위치에 기초하여 광원에 의한 사용자의 눈부심을 예측하는 단계; 및 사용자의 눈부심이 발생할 것으로 예측된 경우, 투명 패널 중 광원의 광이 입사되는 부분을 디밍 처리하는 단계를 포함하는 일 실시예에 따른 투명 패널의 제어 방법이 개시된다.

Description

투명 패널을 제어하기 위한 장치 및 방법
본 개시는 패널의 제어 분야에 관한 것이다. 보다 구체적으로, 본 개시는 광원으로부터 사용자의 눈을 보호하기 위해 투명 패널을 제어하는 장치 및 방법에 관한 것이다.
투명 패널을 통해 오브젝트를 관찰할 수 있는 다양한 종류의 기기 (이하, 투명 패널 기기)가 존재한다. 예를 들어, 사용자는 자동차, 카메라, 망원경, 뷰 파인더, HMD(head mounted display) 등의 투명 패널 기기에 부착된 투명 패널을 통해 오브젝트들을 볼 수 있다.
투명 패널을 통해 볼 수 있는 오브젝트들 중에는 태양, 조명 등의 광원도 있는데, 이러한 광원으로부터 발생되는 광은 사용자에게 눈부심, 시력 저하 등의 악영향을 줄 수 있다.
특히, 자동차를 운전하는 사용자에게 눈부심은 치명적일 수 있다. 일반적으로, 눈부심이 발생한 후 사용자의 눈이 정상으로 되돌아 오는데 약 5초가 소요된다. 만약, 자동차가 80km/h로 운행하고 있었다면, 사용자의 시력이 정상적이지 않은 상태에서 110m를 이동하게 되는 것이므로, 보행자, 자동차 등과의 충돌 가능성이 높아진다. 또한, 사용자가 카메라를 이용하는 경우에도 태양 등의 광원에 의한 시력 저하가 발생할 수 있다.
따라서, 투명 패널로 입사되는 광에 의한 사용자의 눈부심을 방지하는 것이 사용자의 건강 및 사고 방지 측면에서 중요하다.
일 실시예에 따른 투명 패널을 제어하기 위한 장치 및 방법은 사용자의 눈부심을 미리 차단하는 것을 기술적 과제로 한다.
또한, 일 실시예에 따른 투명 패널을 제어하기 위한 장치 및 방법은 사용자의 눈부심을 차단하기 위한 디밍 처리 중에 사고 발생 가능성을 감소시키는 것을 기술적 과제로 한다.
또한, 일 실시예에 따른 투명 패널을 제어하기 위한 장치 및 방법은 사용자의 눈부심이 발생한 경우에는 이에 의한 영향을 최소화하고, 눈부심 예측 및 눈부심 방지의 정확도를 향상시키는 것을 기술적 과제로 한다.
일 실시예에 따른 투명 패널의 제어 방법은, 투명 패널을 기준으로 제 1 측에 있는 사용자의 눈의 위치와 제 2 측에 있는 광원의 위치를 인식하는 단계; 상기 인식된 눈의 위치와 광원의 위치에 기초하여 상기 광원에 의한 사용자의 눈부심을 예측하는 단계; 및 상기 사용자의 눈부심이 발생할 것으로 예측된 경우, 상기 투명 패널 중 상기 광원의 광이 입사되는 부분을 디밍 처리하는 단계를 포함할 수 있다.
상기 사용자의 눈부심을 예측하는 단계는, DNN(deep neural network) 기반으로 상기 사용자의 눈부심을 예측하는 단계를 포함하고, 상기 DNN은, 상기 광원의 위치, 상기 광원으로부터 발생하는 광의 세기, 상기 눈의 위치, 및 상기 사용자의 시각 능력 정보를 입력받아 상기 눈부심의 발생 여부를 예측할 수 있다.
일 실시예에 따른 투명 패널을 제어하기 위한 장치 및 방법은 사용자의 눈부심을 미리 차단할 수 있다.
또한, 일 실시예에 따른 투명 패널을 제어하기 위한 장치 및 방법은 사용자의 눈부심을 차단하기 위한 디밍 처리 중에 사고 발생 가능성을 감소시킬 수 있다.
또한, 일 실시예에 따른 투명 패널을 제어하기 위한 장치 및 방법은 사용자의 눈부심이 발생한 경우에는 이에 의한 영향을 최소화하고, 눈부심 예측 및 눈부심 방지의 정확도를 향상시킬 수 있다.
다만, 일 실시예에 따른 투명 패널을 제어하기 위한 장치 및 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 투명 패널로 입사되는 광에 의해 사용자의 눈부심이 발생되는 상황을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 투명 패널의 제어 장치의 블록도이다.
도 3은 투명 패널 기기에 장착된 센서를 나타내는 예시적인 도면이다.
도 4는 눈부심 예측을 위한 DNN을 도시하는 예시적인 도면이다.
도 5는 디밍 처리 방식의 결정을 위한 DNN을 도시하는 예시적인 도면이다.
도 6은 광원에 의한 사용자의 눈부심을 방지하기 위해 디밍 처리된 투명 패널을 도시하는 도면이다.
도 7은 디밍 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 8은 광원이 오브젝트에 의해 오클루젼되었을 때의 눈부심 예측 과정 및 디밍 처리 과정을 설명하기 위한 도면이다.
도 9는 디밍 영역에 의해 가려지는 오브젝트를 설명하기 위한 도면이다.
도 10은 투명 패널의 디밍 영역 상에 표시되는 오브젝트 정보를 도시하는 도면이다.
도 11은 광원에 따라 변화되는 사용자의 동공의 크기를 나타내는 그래프이다.
도 12는 사용자에게 눈부심이 발생한 경우의 디밍 처리 과정을 나타내는 도면이다.
도 13은 사용자에게 눈부심이 발생한 경우 DNN의 가중치를 갱신하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 투명 패널의 제어 방법을 나타내는 순서도이다.
일 실시예에 따른 투명 패널의 제어 방법은, 투명 패널을 기준으로 제 1 측에 있는 사용자의 눈의 위치와 제 2 측에 있는 광원의 위치를 인식하는 단계; 상기 인식된 눈의 위치와 광원의 위치에 기초하여 상기 광원에 의한 사용자의 눈부심을 예측하는 단계; 및 상기 사용자의 눈부심이 발생할 것으로 예측된 경우, 상기 투명 패널 중 상기 광원의 광이 입사되는 부분을 디밍 처리하는 단계를 포함할 수 있다.
상기 사용자의 눈부심을 예측하는 단계는, DNN(deep neural network) 기반으로 상기 사용자의 눈부심을 예측하는 단계를 포함하고, 상기 DNN은, 상기 광원의 위치, 상기 광원으로부터 발생하는 광의 세기, 상기 눈의 위치, 및 상기 사용자의 시각 능력 정보를 입력받아 상기 눈부심의 발생 여부를 예측할 수 있다.
상기 인식하는 단계는, 상기 광원으로부터 발생하는 광의 세기를 인식하는 단계를 포함하고, 상기 디밍 처리하는 단계는, 상기 광의 세기에 따라 상기 디밍 강도를 조절하는 단계를 포함할 수 있다.
상기 사용자의 눈부심을 예측하는 단계는, 광원이 오브젝트에 의해 오클루젼된 상태에서, 상기 사용자가 이동함에 따라 상기 광원의 오클루젼이 해제될 것으로 예측되면, 상기 사용자의 눈부심이 있을 것으로 예측하는 단계를 포함할 수 있다.
상기 인식하는 단계는, 상기 제 2 측에 있는 광원의 종류를 인식하는 단계를 포함하고, 상기 사용자의 눈부심을 예측하는 단계는, 상기 인식된 광원의 종류가 미리 결정된 종류에 해당하면, 상기 사용자의 눈부심이 발생할 것으로 예측하는 단계를 포함할 수 있다.
상기 투명 패널의 제어 방법은, 상기 사용자의 눈부심이 발생한 경우, 상기 제 2 측에 있는 오브젝트의 정보를 상기 투명 패널상에 표시하는 단계를 더 포함할 수 있다.
상기 투명 패널의 제어 방법은, 상기 사용자의 눈의 동공 크기의 측정 결과에 따라 상기 사용자에게 눈부심이 발생하였는지 여부를 판단하는 단계를 더 포함할 수 있다.
상기 투명 패널의 제어 방법은, 상기 사용자의 눈부심이 발생한 경우, 상기 사용자의 눈부심을 예측하는 DNN 또는 상기 디밍 처리 방식을 결정하는 DNN의 가중치를 갱신하는 단계를 더 포함할 수 있다.
상기 투명 패널의 제어 방법은, 상기 사용자의 눈부심이 발생한 경우, 상기 투명 패널의 미리 결정된 영역을 디밍 처리하는 단계를 더 포함할 수 있다.
상기 투명 패널의 제어 방법은, 상기 사용자의 눈부심이 발생함에 따라 상기 미리 결정된 영역을 디밍 처리한 후, 상기 디밍의 강도를 감소시키는 단계를 더 포함할 수 있다.
상기 투명 패널의 제어 방법은, 상기 사용자의 시야에서 상기 디밍 처리된 부분에 의해 가려지는 오브젝트의 정보를 상기 디밍 처리된 부분에 표시하는 단계를 더 포함할 수 있다.
일 실시예에 따른 투명 패널의 제어 장치는, 투명 패널을 기준으로 제 1 측에 있는 사용자의 눈의 위치와 제 2 측에 있는 광원의 위치를 인식하는 인식부; 상기 인식된 눈의 위치와 상기 광원의 위치에 기초하여 상기 광원에 의한 사용자의 눈부심을 예측하는 눈부심 예측부; 및 상기 사용자의 눈부심이 발생할 것으로 예측된 경우, 상기 투명 패널 중 상기 광원의 광이 입사되는 부분을 디밍(dimming) 처리하는 패널 제어부를 포함할 수 있다.
상기 눈부심 예측부는, DNN 기반으로 상기 사용자의 눈부심을 예측하고, 상기 DNN은, 상기 광원의 위치, 상기 광원으로부터 발생하는 광의 세기, 상기 눈의 위치, 및 상기 사용자의 시각 능력 정보를 입력받아 상기 눈부심의 발생 여부를 예측할 수 있다.
상기 인식부는, 상기 광원으로부터 발생하는 광의 세기를 인식하고, 상기 패널 제어부는, 상기 광의 세기에 따라 상기 디밍 강도를 조절할 수 있다.
상기 패널 제어부는, 상기 사용자의 눈부심이 발생한 경우, 상기 제 2 측에 있는 오브젝트의 정보를 상기 투명 패널상에 표시할 수 있다.
상기 사용자의 눈부심이 발생한 경우, 상기 사용자의 눈부심을 예측하는 DNN 또는 상기 디밍 처리 방식을 결정하는 DNN의 가중치가 갱신될 수 있다.
상기 패널 제어부는, 상기 사용자의 눈부심이 발생한 경우, 상기 투명 패널의 미리 결정된 영역을 디밍 처리할 수 있다.
상기 패널 제어부는, 상기 사용자의 눈부심이 발생함에 따라 상기 미리 결정된 영역을 디밍 처리한 후, 상기 디밍의 강도를 감소시킬 수 있다.
상기 패널 제어부는, 상기 사용자의 시야에서 상기 디밍 처리된 부분에 의해 가려지는 오브젝트의 정보를 상기 디밍 처리된 부분에 표시할 수 있다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
이하, 본 개시의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.
도 1은 투명 패널(20)로 입사되는 광(32)에 의해 사용자(10)의 눈부심이 발생되는 상황을 설명하기 위한 도면이다.
자동차, 카메라, 망원경, HMD 등의 다양한 종류의 투명 패널 기기를 이용하는 사용자(10)는 투명 패널(20)을 기준으로 사용자(10)의 반대편에 위치하는 오브젝트들(31, 33, 34, 35)을 볼 수 있다.
도 1에 도시된 바와 같이, 오브젝트들(31, 33, 34, 35)은 자동차(33, 34), 태양(31), 건물(35), 보행자 (미도시) 등을 포함할 수 있는데, 태양(31)과 같은 광원으로부터 발산되는 광(32)이 사용자(10)의 시야(11)로 들어옴에 따라 사용자(10)에게 눈부심을 야기한다.
사용자(10)에게 눈부심을 야기하는 광원은, 직접 광을 발산하는 태양(31), 조명, 자동차(33, 34)의 전조등뿐만 아니라, 광원에 의해 발산된 광을 반사하는 창문(36), 바닥에 고인 물 등을 포함할 수 있다.
전술한 바와 같이, 사용자(10)가 자동차를 운행하는 동안에 눈부심이 발생하면 다른 자동차, 보행자 등과 충돌할 위험이 있으므로 사용자(10)의 눈부심을 효과적으로 방지하는 방안이 필요하다.
도 2는 일 실시예에 따른 투명 패널(20)의 제어 장치(200)의 블록도이다.
도 2를 참조하면, 일 실시예에 따른 제어 장치(200)는 인식부(210), 눈부심 예측부(230) 및 패널 제어부(250)를 포함한다. 인식부(210), 눈부심 예측부(230) 및 패널 제어부(250)는 적어도 하나의 프로세서로 구현될 수 있고, 메모리(미도시)에 저장된 프로그램에 따라 동작할 수 있다.
일 실시예에서, 제어 장치(200)는 투명 패널 기기에 포함되어 투명 패널(20)을 제어할 수 있다. 다른 실시예에서, 제어 장치(200)는 투명 패널(20)을 제어하기 위해 원격에서 투명 패널 기기와 연결될 수도 있다.
인식부(210)는 투명 패널(20)을 기준으로 제 1 측에 있는 사용자의 눈과 제 2 측에 있는 오브젝트를 인식한다. 인식부(210)는 센서(40)로부터 수신되는 센싱 데이터를 기초로 사용자의 눈의 위치와 오브젝트의 위치를 인식할 수 있다. 여기서, 눈의 위치를 인식한다는 것은, 눈의 좌표를 식별하는 것을 의미할 수 있고, 오브젝트를 인식한다는 것은, 오브젝트의 좌표와 오브젝트의 종류를 식별하는 것을 의미할 수 있다.
센서(40)는 카메라, 레이더, 광 센서 등을 포함할 수 있다. 센서(40)는 사용자 및 오브젝트를 센싱하고, 센싱 데이터를 인식부(210)로 전달한다. 구현예에 따라 센서(40)는 센싱 데이터를 패널 제어부(250) 및 눈부심 예측부(230) 중 적어도 하나로 전달할 수 있다.
카메라는 투명 패널(20)을 기준으로 제 1 측을 촬영하는 카메라와 제 2 측을 촬영하는 카메라를 포함할 수 있다. 또한, 레이더는 제 2 측에 있는 오브젝트의 위치 또는 투명 패널 기기로부터 오브젝트까지의 거리를 감지하는데 이용될 수 있고, 광 센서는 광원으로부터 발생되는 광의 세기를 감지하는 포토 다이오드를 포함할 수 있다.
센서(40)는 사용자, 구체적으로는 투명 패널 기기의 위치 및/또는 자세를 감지하기 위한 GPS 센서, 가속도 센서, 자이로 센서 등을 포함할 수 있다. 투명 패널 기기의 위치 및/또는 자세 정보는 사용자의 눈부심을 예측하기 위한 정보로 이용될 수 있다.
일 실시예에서, 센서(40)는 사용자(10) 및/또는 투명 패널 기기에 장착될 수 있다. 예를 들어, 투명 패널 기기가 자동차인 경우, 제 1 측을 촬영하기 위한 카메라는 자동차의 대쉬 보드나 룸미러 등에 장착될 수 있고, 제 2 측을 촬영하기 위한 카메라, 레이더는 자동차의 전방 범퍼, 룸미러의 뒷면 등에 장착될 수 있다.
도 3은 자동차(300)에 장착된 카메라를 도시하는 예시적인 도면으로서, 제 1 측을 촬영하기 위해 룸미러(310)의 앞면에 카메라(미도시)가 장착될 수 있고, 제 2 측을 촬영하기 위해 룸미러(310)의 뒷면에 카메라(320)가 장착될 수 있다. 또한, 제 2 측을 촬영하기 위한 카메라(330, 340)가 룸미러(310)의 상부에 장착될 수도 있다.
다시 도 2를 참조하면, 인식부(210)는 센서(40)로부터 수신되는 센싱 데이터를 분석하여 사용자의 눈(또는 동공)의 위치, 동공의 크기를 인식할 수 있다. 인식부(210)는 인식된 눈의 위치를 기초로 사용자의 시선 방향 및 시야를 결정할 수 있다. 인식부(210)는 동공의 크기를 통해 사용자에게 눈부심이 발생하였는지를 판단할 수 있다. 예를 들어, 인식부(210)는 일반적인 상황에서의 사용자의 동공의 크기 대비 소정 비율 이상 동공의 크기가 작아진 경우 사용자에게 눈부심이 발생한 것으로 판단할 수 있다. 사용자의 동공 크기를 트래킹(tracking)하는 기술은 관련 기술 분야에서 자명하게 이용되고 있으므로 상세한 설명은 생략한다.
또한, 인식부(210)는 센서(40)로부터 수신되는 센싱 데이터를 분석하여 투명 패널(20)의 제 2 측에 있는 오브젝트들의 종류, 오브젝트들의 위치, 광원의 종류, 광원으로부터 발생되는 광의 세기를 인식할 수 있다.
인식부(210)는 오브젝트들을 인식하기 위해 DNN(deep neural network)을 이용할 수 있다. DNN은 예를 들어, CNN(convolutional neural network)를 포함할 수 있다. CNN은 입력 이미지를 컨볼루션 처리하는 적어도 하나의 컨볼루션 레이어를 통해 입력 이미지에 포함된 오브젝트들을 인식할 수 있다. 오브젝트 인식을 위한 CNN은 인공 신경망 분야에서 널리 사용되고 있으므로 상세한 설명은 생략한다.
눈부심 예측부(230)는 인식부(210)에 의해 인식된 눈의 위치 및 광원의 위치에 기초하여 광원에 의한 사용자의 눈부심을 예측한다.
눈부심 예측부(230)는 인식부(210)에 의해 인식된 눈의 위치를 기준으로 사용자의 시선 방향 및 시야를 결정하고, 광원으로부터 발생되는 광이 사용자의 시야 내로 들어올 것인지를 미리 예측할 수 있다. 예를 들어, 눈부심 예측부(230)는 광원의 위치, 광원의 이동 속도, 광원의 이동 방향, 눈의 위치, 사용자의 이동 속도 및 사용자의 이동 방향을 고려하여, 미래에 사용자에게 눈부심이 발생할 것인지 여부를 예측할 수 있다. 또한, 눈부심 예측부(230)는 사용자에게 눈부심이 발생할 것으로 예상되는 시간을 예측할 수 있고, 예측된 시간에 맞춰 후술하는 패널 제어부(250)가 디밍 처리를 할 수 있다.
일 실시예에서, 눈부심 예측부(230)는 사용자의 눈부심 발생 여부를 미리 예측하기 위해 DNN을 이용할 수 있다. DNN은 사용자의 눈의 위치, 광원의 위치, 및 센서(40)로부터 수신되는 센싱 데이터를 기반으로 사용자에게 눈부심이 발생할지를 예측할 수 있다.
도 4는 눈부심 예측을 위한 DNN을 도시하는 예시적인 도면이다.
눈부심 예측을 위한 DNN은 FCL(fully connectec layer)(400)로 구현될 수 있다. FCL(400)은 적어도 하나의 노드를 갖는 레이어들을 포함한다. 어느 하나의 레이어에 포함된 노드 각각으로 입력된 데이터는 소정의 가중치에 따라 처리되어 다음 레이어의 노드로 전달된다. 어느 하나의 레이어에 포함된 노드 각각은 이전 레이어 또는 이후 레이어에 포함된 노드들 모두와 연결될 수 있다.
FCL(400)로 입력되는 정보들은, 사용자의 눈부심을 예측하기 위해 이용되는 정보들이다. 구체적으로, 사용자의 움직임(user's movement), 사용자의 시각 능력(user's visual ability), 눈의 위치(position of eye), 오브젝트의 위치(position of object), 광원의 위치(position of light source), 광의 세기(intensity of light) 및 날씨(weather)를 나타내는 정보가 FCL로 입력될 수 있다.
사용자의 움직임 정보는, 사용자 또는 사용자가 이용하는 투명 패널 기기의 현재 위치, 이동 방향 및 이동 속도 중 적어도 하나를 나타낸다.
사용자의 시각 능력 정보는, 사용자에게 눈부심을 야기하는 것으로 미리 결정된 광의 세기, 사용자에게 눈부심이 발생한 후 사용자가 오브젝트를 식별하는데 소요되는 시간 및 사용자에게 눈부심이 발생한 후 정상 시력으로 되돌아 오는데 소요되는 시간 중 적어도 하나를 나타낸다.
눈의 위치 정보, 오브젝트의 위치 정보, 광원의 위치 정보 각각은 눈, 오브젝트 및 광원의 좌표를 나타낸다. 눈의 좌표, 오브젝트의 좌표, 및 광원의 좌표는 센서(40)들의 로컬(local) 좌표계에서 결정될 수 있으므로, 인식부(210)는 통일된 좌표계의 원점을 기준으로 눈의 좌표, 오브젝트의 좌표 및 광원의 좌표를 변환할 수 있다. 일 예로, 인식부(210)는 눈의 좌표, 오브젝트의 좌표 및 광원의 좌표를 투명 패널(20) 상의 어느 한 점을 원점으로 하는 통일 좌표계의 좌표들로 변환할 수 있다.
광의 세기 정보는 광원으로부터 발산되는 광의 세기를 나타내며, 전술한 바와 같이, 포토 다이오드에 의해 측정될 수 있다.
날씨 정보는 투명 패널 기기가 위치하는 지역의 날씨를 나타내는데, 예를 들어, 흐림, 맑음, 비, 눈 등을 나타낼 수 있다.
도 4에 도시된 FCL(400)로 입력되는 정보의 종류는 하나의 예시일 뿐이며, 도 4에 도시된 정보 이외에 추가적인 정보, 예를 들어, 오브젝트들의 움직임 정보가 FCL(400)로 입력될 수 있고, 또는, 도 4에 도시된 정보 중 적어도 일부는 FCL(400)로 입력되지 않을 수 있다. 도 4에 도시된 FCL(400)은 눈부심 예측에 이용되는 DNN의 예시일 뿐, 눈부심 예측을 위한 DNN은 RNN (recurrent neural network), CNN 또는 LSTM (long short-term memory)으로 구현될 수도 있다.
눈부심 예측을 위한 DNN은 훈련의 결과로 최적화된 가중치에 따라 입력 값을 처리한다. 여기서, 가중치는 DNN을 이루는 레이어의 연산 과정에서 이용되는 값으로서, 입력 값을 소정 연산식에 적용할 때 이용된다. 예를 들어, FCL의 어느 하나의 노드로 입력된 값은 가중치 적용 후 다음 노드로 전달되고, CNN의 컨볼루션 레이어로 입력된 데이터는 필터 커널에 포함된 가중치에 따라 컨볼루션 연산된 후 다음 레이어로 전달된다. 즉, 눈부심 예측을 위한 DNN은 입력 값들을 미리 결정된 가중치로 처리하고, 최종 출력된 값에 기초하여 사용자에게 눈부심이 발생할 것인지, 발생하지 않을 것인지를 예측할 수 있는 것이다.
일 실시예에서, 눈부심 예측부(230)는 인식부(210)에 의해 인식된 광원의 개수가 복수 개일 때, 복수의 광원들 중 어느 광원에 의해 사용자의 눈부심이 발생할 것인지를 예측할 수 있다. 사용자의 눈부심을 야기하는 광원을 특정하는 이유는, 특정 광원에 대해서만 투명 패널(20)의 디밍 처리를 하기 위함이며, 사용자의 눈부심을 야기하지 않는 광원의 광은 안전상의 이유로 사용자의 눈에 그대로 입사되도록 하는 것이다.
일 실시예에서, 눈부심 예측부(230)는 인식부(210)에 의해 인식된 광원의 종류가 미리 결정된 종류에 해당한 경우에 사용자에게 눈부심을 야기할 것으로 예측할 수 있다. 이는, 사용자의 눈부심을 야기하는 광원이라도 안전상의 이유로 투명 패널(20)의 디밍 처리가 부적합한 상황을 고려한 것이다. 구체적으로, 눈부심 예측부(230)는 인식부(210)에 의해 인식된 광원의 종류가 태양, 창문, 자동차의 전조등, 바닥에 고인 물인 경우에는, 해당 광원으로부터 발산되는 광의 세기, 눈의 위치, 광원의 위치에 따라 사용자에게 눈부심이 발생할 것으로 예측할 수 있고, 반대로, 인식부(210)에 의해 인식된 광원의 종류가 태양, 창문, 자동차의 전조등, 바닥에 고인 물 이외에 자전거의 전조등, 보행자의 플래쉬 등인 경우에는 해당 광원의 광의 세기가 강하더라도 자전거, 보행자 등과의 충돌을 방지하기 위해 사용자에게 눈부심을 야기하지 않을 것이라고 결정할 수 있다.
다시 도 2를 보면, 패널 제어부(250)는 눈부심 예측부(230)의 눈부심 예측 결과, 및 인식부(210)에 의해 인식된 눈의 위치 및 광원의 위치에 기초하여, 투명 패널(20) 중 광원의 광이 입사되는 부분을 디밍(dimming) 처리한다. 패널 제어부(250)는 사용자에게 눈부심이 발생할 것으로 예측되면, 눈부심 발생 예정임을 알리는 정보 및/또는 광의 입사 방향을 알리는 정보를 포함하는 경고 메시지를 투명 패널(20) 상에 표시하거나, 스피커 등의 출력 수단을 통해 경고 메시지를 출력할 수 있다.
투명 패널(20)의 디밍 처리는, 투명 패널(20)의 일부분의 투명도를 감소시키거나, 투명 패널(20)의 일부분의 명도를 감소시키는 처리를 의미할 수 있다. 일 실시예에서, 디밍 처리는 사용자의 눈으로 입사되는 광의 세기를 감소시키기 위해 투명 패널(20)의 일부분의 색상을 변경하는 처리를 의미할 수도 있다.
일 실시예에서, 투명 패널(20)은 패널 제어부(250)의 제어에 따라 투명도, 명도 또는 색상을 변경하는 스마트 윈도우일 수 있다. 다른 실시예에서, 투명 패널(20)은 패널 제어부(250)의 제어에 따라 소정의 정보를 표시하는 HUD(head up display)일 수도 있다.
패널 제어부(250)는 투명 패널(20)의 디밍 처리를 위해, 인식부(210)에 의해 인식된 복수의 광원 중 사용자의 눈부심을 야기하는 광원의 광이 입사되는 투명 패널(20)의 일부 영역을 확인하고, 확인된 일부 영역만을 디밍 처리할 수 있다. 사용자의 눈부심을 야기하지 않는 광원의 광은 투명 패널(20) 중 디밍 처리되지 않은 영역을 통해 사용자의 눈으로 입사된다.
일 실시예에서, 패널 제어부(250)는 사용자의 시각 능력, 광원의 위치, 광의 세기 및 눈의 위치를 고려하여 디밍 처리 방식을 결정할 수 있다. 여기서, 디밍 처리 방식은 디밍 강도, 디밍 시간 및 디밍 위치를 포함할 수 있다.
디밍 강도는 투명 패널(20)의 투명도, 명도 또는 색상을 의미할 수 있다. 디밍 강도에 따라 광원으로부터 발산된 광의 세기의 감소율이 달라질 수 있다. 즉, 강한 세기의 디밍 강도에서는 낮은 투명도의 투명 패널(20)을 통해 광원으로부터 발산된 광의 세기가 크게 감소하고, 약한 세기의 디밍 강도에서는 상대적으로 높은 투명도의 투명 패널(20)을 통해 광의 세기가 적게 감소한다.
디밍 시간은 디밍 처리가 유지되는 시간 간격을 나타내고, 디밍 위치는 투명 패널(20) 중 디밍 처리가 적용될 위치를 나타낸다.
일 예에서, 패널 제어부(250)는 사용자의 눈부심을 야기하는 것으로 미리 결정된 광의 세기와, 인식부(210)에 의해 인식된 광의 세기를 비교하여 디밍 강도를 결정할 수 있다. 또한, 일 예에서, 패널 제어부(250)는 광원의 광이, 광원의 이동 및/또는 투명 패널 기기의 이동에 따라 사용자에게 눈부심을 야기한 후, 사용자의 시야를 벗어날 것으로 예상되는 시간 간격을 고려하여 디밍 시간을 결정할 수 있다.
일 실시예에서, 패널 제어부(250)는 DNN을 이용하여 디밍 처리 방식을 결정할 수 있다. DNN은 인식부(210)의 인식 결과를 입력받아 디밍 처리 방식을 출력할 수 있다.
도 5는 디밍 처리 방식의 결정을 위한 DNN을 도시하는 예시적인 도면이다.
도 5에 도시된 DNN은 FCL(500)로서, FCL(500)은 디밍 처리 방식을 결정하는데 이용되는 여러 정보들을 입력받는데, 구체적으로, 사용자의 시각 능력, 눈의 위치, 광원의 종류, 광원의 위치, 광의 세기, 날씨 및 시간을 나타내는 정보들이 FCL(500)로 입력될 수 있다.
사용자의 시각 능력 정보는, 사용자에게 눈부심을 야기하는 것으로 미리 결정된 광의 세기, 사용자에게 눈부심이 발생한 후 사용자가 오브젝트를 식별하는데 소요되는 시간 및 사용자에게 눈부심이 발생한 후 정상 시력으로 되돌아 오는데 소요되는 시간 중 적어도 하나를 나타낸다.
눈의 위치 정보, 광원의 위치 정보는 각각 눈 및 광원의 좌표를 나타낸다.
광원의 종류 정보는 광원이 무엇인지를 나타내는 정보로서, 예를 들어, 광원이 태양, 자동차의 전조등, 자전거의 전조등, 창문 또는 바닥에 고인 물인지를 나타낸다.
광의 세기 정보는 사용자의 시야로 들어오는 광의 세기를 나타낸다.
날씨 정보는 투명 패널 기기가 위치하는 지역에서의 날씨를 나타내는데, 예를 들어, 흐림, 맑음, 비, 눈 등을 나타낼 수 있다.
시간 정보는 현재 시간을 나타낼 수 있고, 또는 현재 시간이 오전 시간대인지, 오후 시간대인지, 저녁 시간대인지를 나타낼 수도 있다.
도 5에 도시된 FCL(500)로 입력되는 정보의 종류는 하나의 예시일 뿐이다. 도 5에 도시된 정보 이외에 추가적인 정보가 FCL(500)로 입력될 수 있고, 또는, 도 5에 도시된 정보 중 적어도 일부는 FCL(500)로 입력되지 않을 수 있다. 도 5에 도시된 FCL(500)은 디밍 처리 방식을 결정하는데 이용되는 DNN의 예시일 뿐이며, 디밍 처리 방식의 결정을 위한 DNN은 RNN, CNN 또는 LSTM으로 구현될 수도 있다.
도 6은 광원(31)에 의한 사용자(10)의 눈부심을 방지하기 위해 디밍 처리된 투명 패널(20)을 도시하는 도면이고, 도 7은 투명 패널(20)에서 디밍 위치를 결정하는 방법을 설명하기 위한 도면이다.
전술한 바와 같이, 패널 제어부(250)는 투명 패널(20) 중 광원(31)의 광이 입사되는 부분(25)을 디밍 처리함으로써, 사용자(10)의 눈으로 입사되는 광의 세기를 약화시킬 수 있다. 도 6에 도시된 바와 같이, 패널 제어부(250)는 사용자(10)의 눈부심을 야기하는 광이 입사될 것으로 예상되는 부분(25)만을 디밍 처리함으로써, 사용자(10)의 눈부심을 미리 방지하고, 사용자(10)가 광원(31) 이외의 다른 오브젝트들을 용이하게 식별할 수 있게 한다.
도 6은 투명 패널(20) 중 하나의 부분 영역(25)만이 디밍 처리된 것으로 도시하고 있지만, 사용자(10)의 눈부심을 야기할 것으로 예상되는 광원의 개수가 복수 개인 경우, 복수의 부분 영역들이 디밍 처리될 수 있다. 이때, 사용자(10)의 눈부심을 야기할 것으로 예상되는 복수의 광원 각각에 대한 디밍 처리 방식이 서로 독립적으로 결정될 수 있다.
패널 제어부(250)는 광원(31)의 위치 및 사용자(10)의 눈의 위치를 고려하여 디밍 위치를 결정할 수 있는데, 도 7에 도시된 바와 같이, 미리 결정된 원점(710)을 기준으로 하는 광원의 좌표(a,b,c)와 눈의 좌표(l,m,n)를 연결한 선분 중 투명 패널(20)과 만나는 지점(x,y,z)을 디밍 위치(740)로 결정할 수 있다. 그리고, 패널 제어부(250)는 결정된 디밍 위치(740)를 기준으로 소정 넓이의 영역을 디밍 처리할 수 있다.
도 8은 광원(31)이 오브젝트(810)에 의해 오클루젼되었을 때의 눈부심 예측 과정 및 디밍 처리 과정을 설명하기 위한 도면이다.
전술한 바와 같이, 눈부심 예측부(230)는 인식부(210)에 의해 인식된 광원(31)의 위치 및 눈의 위치에 기반하여 사용자(10)에게 눈부심이 발생할 것인지 여부를 미리 예측한다. 일 실시예에서, 눈부심 예측부(230)는 광원(31)이 다른 오브젝트(810)에 의해 오클루젼(occlusion)된 경우라도, 광원(31) 및/또는 투명 패널 기기가 이동함에 따라 광원(31)의 오클루젼이 해제될 것으로 예상되면, 사용자(10)에게 눈부심이 발생할 것으로 예측할 수도 있다.
도 8의 상부에 도시된 바와 같이, 투명 패널(20)을 기준으로 사용자(10)의 반대편에 광원이 존재하지 않는 경우에는 광원의 인식이 불가능하므로, 눈부심 예측부(230)가 사용자(10)의 눈부심 발생 가능성이 없다고 예측할 수 있다. 눈부심 발생 가능성이 없는 것으로 예측된 후, 사용자(10)에게 예기치 않은 눈부심이 발생하면 사용자(10)에게 미치는 악영향이 더 클 수 있다. 이러한 예기치 않은 눈부심을 방지하기 위해, 일 실시예에서, 눈부심 예측부(230)는 이전에 인식된 광원(31)이 현재 다른 오브젝트(810)에 의해 오클루젼되어 있고(도 8의 상부 도면 참조), 광원(31) 및/또는 투명 패널 기기가 이동함에 따라 광원(31)의 오클루젼이 해제되어 광원(31)의 광이 사용자(10)의 눈으로 입사될 것으로 예상되면, 사용자(10)의 눈부심이 발생할 것으로 미리 예측할 수 있다.
도 8의 상부에 도시된 바와 같이, 이전에 인식된 광원(31)이 현재 다른 오브젝트(810)에 의해 오클루젼되어 있는 상태에서 눈부심 예측부(230)가 사용자(10)의 눈부심이 있을 것으로 예측한 경우, 패널 제어부(250)는 투명 패널(20) 상에 경고 메시지(820)를 표시하고, 도 8의 하부에 도시된 바와 같이, 투명 패널(20) 중 일부분(25)을 디밍 처리할 수 있다. 투명 패널(20) 상에 표시된 경고 메시지(820)는 하나의 예시일 뿐이며, 패널 제어부(250)는 스피커 등의 출력 수단을 통해 경고 메시지를 출력할 수 있다.
한편, 패널 제어부(250)가 광원에 대응하여 투명 패널(20)의 일부분을 디밍 처리한 경우, 사용자가 디밍 처리된 부분에 의해 가려지는 오브젝트를 명확히 식별하지 못할 수 있다. 따라서, 디밍 처리된 부분에 의해 가려지는 오브젝트에 대한 정보를 사용자에게 알리는 것이 필요하다.
도 9는 디밍 영역(25)에 의해 가려지는 오브젝트(900)를 설명하기 위한 도면이고, 도 10은 투명 패널(20)의 디밍 영역(25) 상에 표시되는 오브젝트 정보(1000)를 도시하는 도면이다.
도 9에 도시된 바와 같이, 사용자(10)의 시야(11)에서 디밍 영역(25)에 의해 가려지는 오브젝트(900)가 존재할 수 있다. 자전거, 보행자 등은 충돌 시 큰 피해가 발생하므로, 투명 패널(20)을 디밍 처리하여 오브젝트의 식별 가능성을 낮추는 것이 오히려 더 큰 위험을 야기할 수 있다. 따라서, 일 실시예에서, 패널 제어부(250)는 광원(31)에 의한 사용자(10)의 눈부심을 방지하기 위해 투명 패널(20) 중 일부분(25)을 디밍 처리하되, 디밍 영역(25)에 의해 가려지는 오브젝트(900)의 정보를 디밍 영역(25) 상에 표시할 수 있다.
도 10에 도시된 바와 같이, 패널 제어부(250)는 디밍 영역(25)에 의해 가려지는 오브젝트가 자전거인 경우, 자전거의 실루엣, 자전거의 이미지 등을 디밍 영역(25)에 표시할 수 있다. 일 실시예에서, 패널 제어부(250)는 디밍 영역(25)에 의해 가려지는 오브젝트가 자전거이며, 사용자(10)와 자전거 사이의 거리가 어느 정도인지를 나타내는 정보를 디밍 영역(25) 상에 표시하거나, 스피커 등의 출력 수단을 통해 출력할 수도 있다. 사용자(10)는 디밍 영역(25) 상에 표시되는 오브젝트 정보(1000)를 통해 미리 위험을 감지할 수 있다.
한편, 눈부심 예측부(230)의 예측 결과 및/또는 패널 제어부(250)의 디밍 처리 방식의 결정 결과가 정확하지 않는 경우, 사용자에게 눈부심이 발생할 가능성이 있다. 사용자에게 눈부심이 발생하였으면, 사용자가 오브젝트를 식별하기 어려워지므로, 눈부심에 따른 악영향을 최소화하는 방안이 요구된다.
전술한 바와 같이, 인식부(210)는 사용자의 동공의 크기를 측정하여 사용자에게 눈부심이 발생하였는지를 식별할 수 있다. 예를 들어, 인식부(210)는 연속하여 사용자의 동공의 크기를 측정하는 동안, 이전에 측정된 동공의 크기 대비 현재 측정된 동공의 크기가 소정 비율 이상 작다면, 사용자에게 눈부심이 발생한 것으로 결정할 수 있다.
도 11은 광원에 의한 눈부심과 관련된 사용자의 동공의 크기를 나타내는 그래프이다.
사용자에게 눈부심이 발생하는 경우를 가정하였을 때, 사용자의 동공 크기와 관련된 3개의 기간들이 존재한다.
A 기간은 사용자의 눈부심이 발생하기 이전의 기간을 나타낸다. A 기간 동안에는 전술한 눈부심 예측부(230)의 눈부심 예측 프로세스와 패널 제어부(250)의 디밍 처리 프로세스가 수행된다.
B 기간은 사용자에게 눈부심이 발생한 기간을 나타낸다. B 기간에서 사용자의 동공의 크기가 급격히 감소된 것을 알 수 있다. B 기간 동안에 사용자는 오브젝트를 식별하기 어려워지고, 다른 오브젝트와의 충돌 가능성이 높아진다.
C 기간은 사용자가 눈으로 입사되는 광에 적응한 기간을 나타낸다. C 기간 동안 사용자의 동공의 크기가 축소된 상태로 유지된다.
A 기간 동안에는 눈부심 예측 및 디밍 처리로 사용자의 눈부심을 방지할 수 있지만, 사용자의 눈부심이 이미 발생한 B 기간, 및 사용자가 광에 적응한 C 기간 동안에 광에 의한 악영향을 최소화하는 것이 필요하다.
도 12는 사용자에게 눈부심이 발생한 경우의 디밍 처리 과정을 나타내는 도면이다.
도 12의 상부에 도시된 바와 같이, 인식부(210)가 사용자에게 눈부심이 발생한 것으로 결정하면, 패널 제어부(250)는 투명 패널(20)의 전체 영역(1210) 또는 투명 패널(20)의 전체 영역(1210) 중 미리 결정된 일부 영역을 디밍 처리할 수 있다.
투명 패널(20)의 전체 영역(1210) 또는 미리 결정된 일부 영역이 디밍 처리된 경우, 사용자에 의한 오브젝트 식별이 어려울 수 있으므로, 패널 제어부(250)는 전방에 있는 오브젝트의 정보(1200)를 투명 패널(20) 상에 표시할 수 있다. 예를 들어, 패널 제어부(250)는 전방에 있는 오브젝트의 이미지, 오브젝트의 실루엣을 투명 패널(20) 상에 표시할 수 있다. 다른 예로, 패널 제어부(250)는 전방에 있는 오브젝트의 종류 및 사용자와 오브젝트 사이의 거리를 투명 패널(20) 상에 표시할 수도 있다. 패널 제어부(250)는 투명 패널(20) 상에 표시되는 오브젝트 정보(1200)의 크기, 색상, 위치를 사용자의 눈으로 입사되는 광의 세기, 날씨, 사용자의 시각 능력 등에 따라 조절할 수도 있다.
사용자에게 눈부심이 발생한 경우, 다시 말하면, 도 11의 B 기간 동안에 패널 제어부(250)는 투명 패널(20)의 전체 영역(1210) 또는 미리 결정된 일부 영역을 디밍 처리할 수 있는데, 이 때, 패널 제어부(250)는 사용자의 시각 능력을 고려하여 디밍 시간 및 디밍 강도를 결정할 수 있다. 예를 들면, 패널 제어부(250)는 사용자의 동공 크기의 감소 비율이 클수록 디밍 강도를 강하게 하고, 반대로, 사용자의 동공 크기의 감소 비율이 작을수록 디밍 강도를 약하게 할 수 있다. 또한, 패널 제어부(250)는 사용자가 눈부심에 적응하는데 소요되는 시간을 고려하여, 디밍 시간을 결정할 수 있다.
사용자가 눈부심에 적응한 이후, 즉, 도 11의 C 기간 동안 패널 제어부(250)는, 도 12의 하부에 도시된 바와 같이, 투명 패널(20)의 디밍 강도를 감소시킴으로써 사용자가 오브젝트를 보다 잘 식별할 수 있게 한다. 디밍 강도가 감소되더라도 여전히 디밍 처리가 되어 있는 상태이므로, 구현예에 따라, 패널 제어부(250)는 전방에 위치하는 오브젝트의 정보를 투명 패널(20) 상에 표시할 수 있다.
A 기간 동안 눈부심 예측부(230) 및 패널 제어부(250)의 동작하에 사용자의 눈부심이 미리 방지될 수 있음에도 사용자에게 눈부심이 발생하였다는 것은 눈부심 예측부(230)의 눈부심 예측 결과 또는 패널 제어부(250)의 디밍 처리 방식의 결정 결과의 정확도가 낮다는 것을 의미하므로, 눈부심 예측부(230) 또는 패널 제어부(250)는 눈부심 예측을 위한 DNN의 가중치 또는 디밍 처리 방식의 결정을 위한 DNN의 가중치를 갱신할 수 있다. 이에 대해서는 도 13을 참조하여 설명한다.
도 13은 사용자에게 눈부심이 발생한 경우 DNN의 가중치를 갱신하는 과정을 설명하기 위한 도면이다.
일 실시예에서, 눈부심 예측부(230)가 사용자에게 눈부심이 발생하지 않을 것으로 예측하였으나, 사용자의 눈부심이 발생한 경우, 인식부(210)는 사용자에게 눈부심이 발생하였다는 정보를 눈부심 예측부(230)의 DNN(400)으로 전달하고, DNN(400)은 인식부(210)로부터 수신된 정보에 따라 입력 값을 처리하는데 이용되는 가중치를 갱신한다. 다시 말하면, DNN(400)은 입력 정보를 미리 결정된 가중치로 처리하여 사용자에게 눈부심이 발생하지 않을 것으로 잘못 예측하였으므로, 입력 정보를 처리하였을 때 사용자에게 눈부심이 발생할 것으로 예측하는 방향으로 가중치를 갱신할 수 있다.
일 실시예에서, 눈부심 예측부(230)가 사용자에게 눈부심이 발생할 것으로 예측하였고, 패널 제어부(250)가 그에 따라 디밍 처리를 하였으나, 사용자에게 눈부심이 발생한 경우, 인식부(210)는 사용자에게 눈부심이 발생하였다는 정보를 패널 제어부(250)의 DNN(500)으로 전달하고, DNN(500)은 인식부(210)로부터 수신된 정보에 따라 입력 값을 처리하는데 이용되는 가중치를 갱신한다. 다시 말하면, DNN(500)은 입력 정보를 미리 결정된 가중치로 처리하여 디밍 처리 방식을 결정하였으나 사용자에게 눈부심이 발생하였으므로, 입력 정보를 처리하였을 때 디밍 강도, 디밍 위치 및 디밍 시간 중 적어도 하나가 변화되도록 가중치를 갱신할 수 있다.
일 실시예에서, 인식부(210)가 투명 패널(20)을 기준으로 사용자의 반대편에 있는 광원을 인식하지 못하였으나, 사용자에게 눈부심이 발생한 경우, 인식부(210)는 사용자에게 눈부심이 발생하였다는 정보를 오브젝트 식별을 위한 DNN(미도시)으로 전달하고, 오브젝트 식별을 위한 DNN은 입력 값을 처리하는데 이용되는 가중치를 갱신한다. 다시 말하면, 오브젝트 식별을 위한 DNN은 센싱 데이터로부터 오브젝트들 중에 광원이 존재하지 않는 것으로 판단하였으나, 사용자에게 눈부심이 발생하였으므로, 입력 정보를 처리하였을 때 광원의 식별이 이루어지도록 가중치를 갱신할 수 있다.
도 14는 일 실시예에 따른 투명 패널(20)의 제어 방법을 나타내는 순서도이다.
S1410 단계에서, 제어 장치(200)는 사용자의 눈의 위치를 인식한다. 제어 장치(200)는 사용자의 동공의 위치를 인식할 수 있다. 제어 장치(200)는 투명 패널(20)을 기준으로 사용자가 있는 제 1 측을 센싱하는 센서(40)의 센싱 데이터에 기초하여 사용자의 눈의 위치를 인식할 수 있다.
일 실시예에서, 사용자의 눈의 위치는 센서(40)의 로컬 좌표계에서 산출된 것이므로, 제어 장치(200)는 눈의 좌표를 미리 결정된 공통 좌표계에서의 좌표로 변환할 수 있다.
S1420 단계에서, 제어 장치(200)는 광원의 위치를 인식한다. 제어 장치(200)는 투명 패널(20)을 기준으로 제 2 측을 센싱하는 센서(40)의 센싱 데이터에 기초하여 오브젝트들을 인식할 수 있다. 오브젝트들 중에 광원이 포함되므로, 제어 장치(200)는 오브젝트들의 종류들을 식별하여, 광원에 해당하는 오브젝트를 선택하고, 선택된 광원의 위치를 식별할 수 있다.
일 실시예에서, 오브젝트의 위치는 센서(40)의 로컬 좌표계에서 산출된 것이므로, 제어 장치(200)는 오브젝트의 좌표를 미리 결정된 공통 좌표계에서의 좌표로 변환할 수 있다.
S1430 단계에서, 제어 장치(200)는 광원에 의한 사용자의 눈부심을 예측한다. 제어 장치(200)는 광원 및/또는 사용자가 이동함에 따라 광원의 광이 사용자의 시야로 들어올 것으로 예상되면, 사용자에게 눈부심이 발생할 것으로 예측할 수 있다.
일 실시예에서, 제어 장치(200)는 사용자의 눈부심을 예측하는데 DNN을 이용할 수 있다. DNN은 훈련의 결과로 미리 세팅된 가중치에 따라 입력 정보들을 처리하고, 사용자에게 눈부심이 발생할지, 발생하지 않을지를 나타내는 출력 값을 출력할 수 있다.
S1440 단계에서, 제어 장치(200)는 사용자의 눈부심이 예상되면, 투명 패널(20) 중 광원의 광이 입사되는 부분을 디밍 처리한다.
제어 장치(200)는 디밍 처리 전에 사용자의 시각 능력, 광의 세기 등을 고려하여 디밍 처리 방식을 결정할 수 있다. 디밍 처리 방식은 디밍 위치, 디밍 강도 및 디밍 시간 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 제어 장치(200)는 디밍 처리 방식을 결정하기 위해 DNN을 이용할 수 있다. DNN은 훈련의 결과로 미리 세팅된 가중치에 따라 입력 정보들을 처리하고, 디밍 위치, 디밍 강도 및 디밍 시간 중 적어도 하나를 나타내는 출력 값을 출력할 수 있다.
일 실시예에서, 제어 장치(200)는 사용자의 시야에서 디밍 영역에 의해 가려지는 오브젝트의 정보를 디밍 영역상에 표시함으로써 사용자가 오브젝트를 보다 쉽게 식별할 수 있게 할 수 있다.
또한, 일 실시예에서, 제어 장치(200)는 사용자의 동공 크기를 측정하여 사용자에게 눈부심이 발생하였는지를 판단할 수 있다. 사용자에게 눈부심이 발생한 경우, 제어 장치(200)는 투명 패널(20)의 전체 영역 또는 미리 결정된 일부 영역을 디밍 처리하고, 구현예에 따라 전방에 위치하는 오브젝트의 정보를 디밍 영역 상에 표시할 수 있다. 또한, 사용자가 눈으로 입사되는 광에 적응한 이후에는, 제어 장치(200)는 디밍 영역의 디밍 강도를 감소시킴으로써, 사용자가 오브젝트를 보다 명확하게 식별하게 할 수 있다.
또한, 일 실시예에서, 제어 장치(200)는 동공 크기 측정을 통해 사용자에게 눈부심이 발생한 것으로 판단되면, 이를 나타내는 정보를 눈부심 예측을 위한 DNN 또는 디밍 방식 결정을 위한 DNN으로 역전사(back propagation)하여 눈부심 예측을 위한 DNN 또는 디밍 방식 결정을 위한 DNN의 가중치가 갱신되도록 할 수 있다.
한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.
매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상, 본 개시의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.

Claims (15)

  1. 투명 패널을 기준으로 제 1 측에 있는 사용자의 눈의 위치와 제 2 측에 있는 광원의 위치를 인식하는 단계;
    상기 인식된 눈의 위치와 광원의 위치에 기초하여 상기 광원에 의한 사용자의 눈부심을 예측하는 단계; 및
    상기 사용자의 눈부심이 발생할 것으로 예측된 경우, 상기 투명 패널 중 상기 광원의 광이 입사되는 부분을 디밍(dimming) 처리하는 단계를 포함하는, 투명 패널의 제어 방법.
  2. 제1항에 있어서,
    상기 사용자의 눈부심을 예측하는 단계는,
    DNN(deep neural network) 기반으로 상기 사용자의 눈부심을 예측하는 단계를 포함하고,
    상기 DNN은, 상기 광원의 위치, 상기 광원으로부터 발생하는 광의 세기, 상기 눈의 위치, 및 상기 사용자의 시각 능력 정보를 입력받아 상기 눈부심의 발생 여부를 예측하는, 투명 패널의 제어 방법.
  3. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 광원으로부터 발생하는 광의 세기를 인식하는 단계를 포함하고,
    상기 디밍 처리하는 단계는,
    상기 광의 세기에 따라 상기 디밍 강도를 조절하는 단계를 포함하는, 투명 패널의 제어 방법.
  4. 제1항에 있어서,
    상기 사용자의 눈부심을 예측하는 단계는,
    광원이 오브젝트에 의해 오클루젼(occlusion)된 상태에서, 상기 사용자가 이동함에 따라 상기 광원의 오클루젼이 해제될 것으로 예측되면, 상기 사용자의 눈부심이 있을 것으로 예측하는 단계를 포함하는, 투명 패널의 제어 방법.
  5. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 제 2 측에 있는 광원의 종류를 인식하는 단계를 포함하고,
    상기 사용자의 눈부심을 예측하는 단계는,
    상기 인식된 광원의 종류가 미리 결정된 종류에 해당하면, 상기 사용자의 눈부심이 발생할 것으로 예측하는 단계를 포함하는, 투명 패널의 제어 방법.
  6. 제1항에 있어서,
    상기 투명 패널의 제어 방법은,
    상기 사용자의 눈부심이 발생한 경우, 상기 제 2 측에 있는 오브젝트의 정보를 상기 투명 패널상에 표시하는 단계를 더 포함하는, 투명 패널의 제어 방법.
  7. 제6항에 있어서,
    상기 투명 패널의 제어 방법은,
    상기 사용자의 눈의 동공 크기의 측정 결과에 따라 상기 사용자에게 눈부심이 발생하였는지 여부를 판단하는 단계를 더 포함하는, 투명 패널의 제어 방법.
  8. 제6항에 있어서,
    상기 투명 패널의 제어 방법은,
    상기 사용자의 눈부심이 발생한 경우, 상기 사용자의 눈부심을 예측하는 DNN 또는 상기 디밍 처리 방식을 결정하는 DNN의 가중치를 갱신하는 단계를 더 포함하는, 투명 패널의 제어 방법.
  9. 제6항에 있어서,
    상기 투명 패널의 제어 방법은,
    상기 사용자의 눈부심이 발생한 경우, 상기 투명 패널의 미리 결정된 영역을 디밍 처리하는 단계를 더 포함하는, 투명 패널의 제어 방법.
  10. 제9항에 있어서,
    상기 투명 패널의 제어 방법은,
    상기 사용자의 눈부심이 발생함에 따라 상기 미리 결정된 영역을 디밍 처리한 후, 상기 디밍의 강도를 감소시키는 단계를 더 포함하는, 투명 패널의 제어 방법.
  11. 제1항에 있어서,
    상기 투명 패널의 제어 방법은,
    상기 사용자의 시야에서 상기 디밍 처리된 부분에 의해 가려지는 오브젝트의 정보를 상기 디밍 처리된 부분에 표시하는 단계를 더 포함하는, 투명 패널의 제어 방법.
  12. 제1항의 투명 패널의 제어 방법을 실행하기 위한 프로그램을 저장하는 컴퓨터로 읽을 수 있는 매체.
  13. 투명 패널을 기준으로 제 1 측에 있는 사용자의 눈의 위치와 제 2 측에 있는 광원의 위치를 인식하는 인식부;
    상기 인식된 눈의 위치와 상기 광원의 위치에 기초하여 상기 광원에 의한 사용자의 눈부심을 예측하는 눈부심 예측부; 및
    상기 사용자의 눈부심이 발생할 것으로 예측된 경우, 상기 투명 패널 중 상기 광원의 광이 입사되는 부분을 디밍(dimming) 처리하는 패널 제어부를 포함하는, 투명 패널의 제어 장치.
  14. 제13항에 있어서,
    상기 눈부심 예측부는,
    DNN 기반으로 상기 사용자의 눈부심을 예측하고,
    상기 DNN은, 상기 광원의 위치, 상기 광원으로부터 발생하는 광의 세기, 상기 눈의 위치, 및 상기 사용자의 시각 능력 정보를 입력받아 상기 눈부심의 발생 여부를 예측하는, 투명 패널의 제어 장치.
  15. 제13항에 있어서,
    상기 인식부는,
    상기 광원으로부터 발생하는 광의 세기를 인식하고,
    상기 패널 제어부는,
    상기 광의 세기에 따라 상기 디밍 강도를 조절하는, 투명 패널의 제어 장치.
PCT/KR2021/001871 2020-02-13 2021-02-15 투명 패널을 제어하기 위한 장치 및 방법 WO2021162499A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0017708 2020-02-13
KR1020200017708A KR102671798B1 (ko) 2020-02-13 2020-02-13 투명 패널을 제어하기 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2021162499A1 true WO2021162499A1 (ko) 2021-08-19

Family

ID=77292448

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/001871 WO2021162499A1 (ko) 2020-02-13 2021-02-15 투명 패널을 제어하기 위한 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102671798B1 (ko)
WO (1) WO2021162499A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006199104A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 可変透過率ウィンドウシステム
KR20160125306A (ko) * 2015-04-20 2016-10-31 동국대학교 산학협력단 눈부심 방지 장치 및 방법
KR20180060788A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 눈부심 방지 장치 및 방법
US20190026574A1 (en) * 2016-10-20 2019-01-24 Ford Global Technologies, Llc Vehicle-Window-Transmittance-Control Apparatus And Method
KR20190104922A (ko) * 2019-08-21 2019-09-11 엘지전자 주식회사 자율주행 차량의 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102707595B1 (ko) * 2016-12-01 2024-09-19 삼성전자주식회사 눈 검출 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006199104A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 可変透過率ウィンドウシステム
KR20160125306A (ko) * 2015-04-20 2016-10-31 동국대학교 산학협력단 눈부심 방지 장치 및 방법
US20190026574A1 (en) * 2016-10-20 2019-01-24 Ford Global Technologies, Llc Vehicle-Window-Transmittance-Control Apparatus And Method
KR20180060788A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 눈부심 방지 장치 및 방법
KR20190104922A (ko) * 2019-08-21 2019-09-11 엘지전자 주식회사 자율주행 차량의 제어 방법

Also Published As

Publication number Publication date
KR102671798B1 (ko) 2024-06-03
KR20210103616A (ko) 2021-08-24

Similar Documents

Publication Publication Date Title
WO2018092989A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
KR101789984B1 (ko) 차량용 사이드 미러 카메라 시스템
WO2015093828A1 (ko) 스테레오 카메라 및 이를 구비한 차량
US7319805B2 (en) Active night vision image intensity balancing system
US20060158715A1 (en) Variable transmissivity window system
US20050083432A1 (en) Image processing device, operation supporting device, and operation supporting system
JP4268974B2 (ja) 監視装置及び方法
WO2016021961A1 (ko) 차량용 헤드램프 구동장치 및 이를 구비한 차량
WO2017119557A1 (ko) 운전 보조 장치 및 그 제어방법
CN114460744A (zh) 基于车辆信息解除抬头显示器保护模式的方法和装置
KR102256987B1 (ko) 자동차 운전자의 시야 확보 장치 및 방법
WO2017204406A1 (ko) 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법
US20170057414A1 (en) Monitor device and computer program for display image switching
US20210269052A1 (en) Attention calling device and attention calling method
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2023146071A1 (ko) 차량 외부 측전방 상태 확인 장치
WO2021162499A1 (ko) 투명 패널을 제어하기 위한 장치 및 방법
WO2013009058A2 (en) Apparatus and method for controlling high lamp of vehicle
JP2001039210A (ja) ライト点灯制御装置
WO2016163590A1 (ko) 적외선 영상 기반의 차량 보조 장치 및 방법
KR20210043525A (ko) 자동차 운전자의 시야 확보 장치 및 방법
WO2018124389A1 (ko) 차량 간 충돌 방지 방법 및 장치
WO2020096192A1 (ko) 전자 장치 및 그 제어 방법
WO2019107730A1 (ko) 전자 장치 및 그의 텍스트 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21754322

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21754322

Country of ref document: EP

Kind code of ref document: A1