WO2024167196A1 - 차량 내 적외선 조명의 밝기를 제어하는 전자 장치 및 그 동작 방법 - Google Patents

차량 내 적외선 조명의 밝기를 제어하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024167196A1
WO2024167196A1 PCT/KR2024/001295 KR2024001295W WO2024167196A1 WO 2024167196 A1 WO2024167196 A1 WO 2024167196A1 KR 2024001295 W KR2024001295 W KR 2024001295W WO 2024167196 A1 WO2024167196 A1 WO 2024167196A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared light
light
passenger
brightness
electronic device
Prior art date
Application number
PCT/KR2024/001295
Other languages
English (en)
French (fr)
Inventor
진성기
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230153943A external-priority patent/KR20240124796A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024167196A1 publication Critical patent/WO2024167196A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces

Definitions

  • the present disclosure relates to an electronic device for controlling the brightness of infrared lighting installed in a vehicle and an operating method thereof. Specifically, the present disclosure discloses an electronic device for controlling the brightness of infrared lighting based on the proximity between an occupant and a camera in an occupant monitoring system (OMS) including a camera including infrared lighting in a vehicle, and an operating method thereof.
  • OMS occupant monitoring system
  • the present disclosure discloses an electronic device and an operating method thereof for controlling a plurality of infrared lights to compensate for a difference in brightness of an image due to positions where the plurality of infrared lights are arranged in an occupant monitoring system including a plurality of infrared lights.
  • An occupant monitoring system is a system that recognizes the faces of not only the driver but also the passengers, and detects and warns them of behaviors such as not paying attention to the front or driving while drowsy.
  • the occupant monitoring system can recognize the face of the driver or passengers by taking pictures of them through a camera installed inside the vehicle, or perform functions such as checking objects inside the vehicle remotely.
  • infrared-band lighting is being used to analyze images without being disturbed by people.
  • the number of lights installed inside vehicles is gradually increasing as video devices (e.g., cameras) are added to monitor not only the driver but also the passenger in the front seat or the rear seat passengers.
  • Infrared band lighting has the advantage of being invisible to the human eye, but has the characteristic of low atmospheric propagation efficiency, so it requires high output.
  • the attenuation ratio is high due to the characteristic of short-range active lighting, there are cases where the difference in brightness is significantly large even with a small distance difference. For example, lighting that can be recognized at a distance of 2 to 3 meters (m) has high output at a distance of 0.2 to 0.3 meters.
  • infrared band lighting is a wavelength band that is invisible to the human eye, if a problem occurs, it may not be recognized by the person, which may act as a factor of anxiety for the driver or passengers of the vehicle.
  • the method of operating an electronic device may include a step of acquiring a frame for proximity sensing according to a preset frame number ratio among a plurality of image frames acquired according to a frame per second through a camera.
  • the method of operating the electronic device may include a step of determining whether there is proximity between the infrared lighting of the camera and an occupant in the vehicle based on a pixel brightness value of the frame for proximity sensing.
  • the method of operating the electronic device may include a step of adjusting the brightness of the infrared lighting based on a result of determining whether there is proximity.
  • the electronic device may include a camera including an infrared illuminator configured to irradiate infrared light to an occupant in a vehicle and an image sensor configured to receive light reflected from the occupant and obtain an image, a memory storing at least one instruction, and at least one processor for executing the at least one instruction.
  • the image sensor may obtain a plurality of image frames according to a frame per second number, and may obtain a frame for proximity sensing according to a preset frame number ratio between the times at which the plurality of image frames are obtained.
  • the at least one processor may obtain brightness information of pixels of the proximity sensing frame, and determine proximity between the camera and the occupant in the vehicle based on the brightness information of the obtained proximity sensing frame.
  • the at least one processor may adjust brightness of the infrared illuminator based on a result of determining proximity.
  • Another aspect of the present disclosure provides a method of operating an electronic device that controls a plurality of infrared lights included in a vehicle.
  • the method of operating an electronic device according to one embodiment of the present disclosure may include a step of applying an on time signal, by which the plurality of infrared lights are emitted, to the plurality of infrared lights in synchronization with an exposure time of a camera.
  • the method of operating the electronic device may include a step of adjusting an on time signal ratio of the first row lights illuminating the first row seats among the plurality of infrared lights to be different from an on time signal ratio of the second row lights illuminating the second row seats, based on a difference in brightness between the first row seats and the second row seats in the vehicle due to the plurality of infrared lights.
  • the method of operating the electronic device may include a step of adjusting the brightness of the first row seats by applying an on time signal with an adjusted ratio to the first row lights.
  • the electronic device may include a camera including a plurality of infrared lights configured to irradiate infrared lights to an occupant in a vehicle and an image sensor configured to obtain an image by receiving light reflected from the occupant, a memory storing at least one instruction, and at least one processor for executing the at least one instruction.
  • the plurality of infrared lights may include first row lights irradiating infrared light to a first row seat of the vehicle and second row lights irradiating infrared light to a second row seat of the vehicle.
  • the at least one processor may apply an on time signal at which the plurality of infrared lights are emitted to the plurality of infrared lights in synchronization with an exposure time of the image sensor.
  • the at least one processor may adjust an on time signal ratio of the first row lights to be different from an on time signal ratio of the second row lights based on a difference in brightness between the first row seats and the second row seats in the vehicle due to the plurality of infrared lights.
  • the at least one processor can control the brightness of the first row seats by applying a rate-controlled on-time signal to the first row lights.
  • FIG. 1 is a drawing illustrating an operation of measuring the distance between a camera and a passenger to determine proximity according to one embodiment of the present disclosure.
  • FIG. 2 is a flowchart illustrating a method for controlling the brightness of infrared lighting in a vehicle by an electronic device according to one embodiment of the present disclosure.
  • FIG. 3 is a timing chart illustrating an operation of an electronic device according to one embodiment of the present disclosure to control an image sensor to acquire an image frame and to control the brightness of infrared lighting based on the acquired image frame.
  • FIG. 4 is a block diagram illustrating components of an electronic device according to one embodiment of the present disclosure.
  • FIG. 5 is a block diagram illustrating components of a camera according to one embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method by which an electronic device determines proximity between an infrared light of a camera and an occupant in a vehicle according to one embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a plurality of light receiving sensors divided into a plurality of regions according to one embodiment of the present disclosure.
  • FIG. 8 is a timing chart illustrating an operation of an electronic device according to one embodiment of the present disclosure to control an image sensor to acquire an image frame and to control the brightness of infrared lighting based on the acquired image frame.
  • FIG. 9 is a timing chart illustrating an operation of an electronic device according to one embodiment of the present disclosure to control an image sensor to acquire an image frame and to control the brightness of infrared lighting based on the acquired image frame.
  • FIG. 10 is a timing chart illustrating an operation of an electronic device according to one embodiment of the present disclosure to control an image sensor to acquire an image frame and to control the brightness of infrared lighting based on the acquired image frame.
  • FIG. 11 is a timing chart illustrating an operation of an electronic device according to one embodiment of the present disclosure to control an image sensor to acquire an image frame and to control the brightness of infrared lighting based on the acquired image frame.
  • FIG. 12A is a cross-sectional view illustrating an arrangement of a plurality of infrared illuminators and image sensors within a vehicle according to one embodiment of the present disclosure.
  • FIG. 12b is a diagram illustrating an in-vehicle arrangement of a plurality of infrared illuminators and image sensors according to one embodiment of the present disclosure.
  • FIG. 13 is a flowchart illustrating a method for controlling a plurality of infrared lights mounted in a vehicle by an electronic device according to one embodiment of the present disclosure.
  • FIG. 14 is a timing chart illustrating an operation of an electronic device according to one embodiment of the present disclosure to adjust an on-time signal ratio of a first row light.
  • FIG. 15 is a timing chart illustrating an operation of an electronic device according to one embodiment of the present disclosure to adjust an on-time signal ratio of a first row light.
  • FIG. 16 is a timing chart illustrating an operation of an electronic device according to one embodiment of the present disclosure to adjust an on-time signal ratio of a first row light.
  • FIG. 17 is a diagram illustrating a logical AND gate for controlling the on-time signal ratio of the first row lighting of an electronic device according to one embodiment of the present disclosure.
  • FIG. 18 is a diagram illustrating a logical AND gate for controlling the on-time signal ratio of a plurality of infrared lights in an electronic device according to one embodiment of the present disclosure.
  • FIG. 19 is a drawing for explaining an operation of an electronic device according to one embodiment of the present disclosure to adjust brightness differences between seats in a vehicle by controlling the brightness of a plurality of infrared lights.
  • FIG. 20 is a drawing for explaining an operation performed by an electronic device of the present disclosure using artificial intelligence technology.
  • FIG. 21 is a diagram illustrating an embodiment of the present disclosure in which an electronic device operates in conjunction with a server.
  • Figure 22 is a drawing for explaining Figure 21 in detail.
  • a processor configured to perform A, B, and C can mean a dedicated processor (e.g., an embedded processor) for performing the operations, or a generic-purpose processor (e.g., a CPU or an application processor) that can perform the operations by executing one or more software programs stored in memory.
  • a dedicated processor e.g., an embedded processor
  • a generic-purpose processor e.g., a CPU or an application processor
  • a 'vehicle' is a means of transportation that runs on a road or a track.
  • the vehicle may be a concept including an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, a battery electric vehicle having an electric motor as a power source and including a battery, etc.
  • the vehicle may include at least one of an automobile, a train, and a motorcycle.
  • an 'occupant monitoring system refers to a device that captures an image of at least one occupant among a driver, a front passenger, and a rear-row passenger using a camera, and recognizes the face of the occupant from the image or recognizes the motion of the occupant (e.g., drowsiness, sleep, conversation, mobile device operation, etc.) using a pre-learned artificial intelligence model.
  • the occupant monitoring system includes a camera that captures the occupant, and the camera may include an infrared illuminator that irradiates infrared light toward the occupant.
  • an 'infrared light' is a device configured to emit light in an infrared band and irradiate the infrared light toward a passenger.
  • the infrared light may be a component included in a camera for a passenger monitoring system.
  • the band of the infrared light may be, for example, 940 nanometers (nm), but is not limited thereto.
  • a 'proximity sensing frame' is an image frame additionally acquired by a camera to determine whether there is a proximity between an infrared light of a camera for an occupant monitoring system and an occupant in a vehicle.
  • the proximity sensing frame may be an image frame additionally acquired according to a preset frame number ratio among a plurality of image frames acquired by the camera according to a frame per second number.
  • the 'predetermined frame count ratio' represents the ratio of the number of multiple image frames acquired during a given time period to one frame for proximity sensing.
  • FIG. 1 is a drawing illustrating an operation of measuring the distance between a camera (110) and a passenger in a vehicle (10) according to one embodiment of the present disclosure to determine proximity.
  • the electronic device (100) includes a camera (110) and may be implemented as an occupant monitoring system that monitors occupants including a driver (1) in a vehicle (10) through the camera (110).
  • the 'occupant monitoring system (OMS)' refers to a device that captures an image of at least one occupant among the driver (1), the passenger in the front seat, and the rear row occupants by using the camera (110), and recognizes the face of the occupant from the image using a pre-learned artificial intelligence model, or recognizes the occupant's actions (e.g., drowsiness, sleep, conversation, mobile device operation, etc.).
  • the camera (110) is mounted in the vehicle (10) and can capture a passenger in the vehicle (10).
  • the camera (110) can include an infrared light (111, see FIG. 4) that irradiates infrared band light to the passenger in order to capture a driver (1) or a passenger in the first row seat (12).
  • the infrared light (111) included in the camera (110) can be always turned on to continuously irradiate infrared light to the driver (1) over time.
  • the infrared light (111) can also irradiate infrared light to a passenger in the passenger seat among the first row seats (12) or a passenger in the second row seat (14).
  • Infrared light irradiated to the passengers by infrared lighting (111) generally has a band that humans cannot see with their eyes, for example, a 940 nanometer (nm) band. As the time for which infrared light is irradiated to the passengers including the driver (1) increases, the passengers' eyes may be damaged by the infrared light. Since the infrared lighting (111) includes an infrared light source such as, for example, VCSELs (Vertical-Cavity Surface-Emission Lasers) or LEDs (Light-Emitting Diodes), there is an increasing demand for the eye health of the passengers.
  • VCSELs Very-Cavity Surface-Emission Lasers
  • LEDs Light-Emitting Diodes
  • the infrared lighting (111) In order to prevent eye damage to the passengers while operating the passenger monitoring system, it is necessary to adjust the brightness of the infrared lighting (111) to a low level, such as by turning off the active infrared lighting (111) when the passenger approaches the light of the camera (110) and the distance (d) between the passenger and the camera (110) decreases below a certain critical distance.
  • the electronic device (100) of the present disclosure includes a camera (110), and uses the camera (110) to determine whether a distance (d) between a passenger and the camera (110) is less than a predetermined threshold distance, and can adjust the brightness of an infrared light (111) to a low level based on the result of the determination of proximity.
  • the specific function and/or operation of the electronic device (100) of the present disclosure to determine whether a passenger is less than a threshold distance from the camera (110) and to adjust the brightness of the infrared light (111) based on the proximity will be described in detail with reference to FIGS. 2 and 3.
  • FIG. 2 is a flowchart illustrating a method for controlling the brightness of infrared lighting in a vehicle by an electronic device according to one embodiment of the present disclosure.
  • FIG. 3 is a timing chart (300) illustrating an operation of an electronic device according to one embodiment of the present disclosure to control an image sensor (112) to acquire an image frame and to control the brightness of an infrared light (111) based on the acquired image frame.
  • an electronic device 100, see FIGS. 1 and 4 together, a function and/or operation of an electronic device (100, see FIGS. 1 and 4) according to one embodiment of the present disclosure for controlling the brightness of an infrared light (111) based on the proximity between a passenger and the infrared light (111) of a camera will be described.
  • the electronic device (100) acquires a frame for proximity sensing according to a preset frame number ratio among a plurality of image frames acquired according to the frame number per second through the camera.
  • the camera (110, see FIGS. 1 and 4) may include an infrared light (111, see FIGS. 3 and 4) and an image sensor (112, see FIGS. 3 and 4).
  • the electronic device (100) may control the infrared light (111) of the camera (110) to irradiate infrared light to an occupant in a vehicle, and may capture an occupant irradiated with infrared light using the image sensor (112) to acquire a plurality of image frames.
  • the electronic device (100) may acquire a frame for proximity sensing according to a preset frame number ratio among the plurality of image frames acquired.
  • a 'proximity sensing frame' means an image frame additionally acquired in addition to a plurality of image frames acquired by the camera (110) in order to determine whether there is proximity between an infrared light (111) of the camera (110) and an occupant in a vehicle.
  • the proximity sensing frame may be an image frame additionally acquired according to a preset frame number ratio among a plurality of image frames acquired by the camera (110) according to the frame number per second.
  • the electronic device (100) controls the infrared light (111) included in the camera (110) to irradiate infrared light according to a preset time period (T), and controls the image sensor (112) to capture an occupant irradiated with infrared light to obtain a plurality of image frames (i 1 , i 2 , i 3 , ).
  • the infrared light (111) may perform auto exposure to automatically adjust the exposure time and gain for irradiating the infrared light.
  • the infrared light (111) may irradiate the first infrared light (l 1 ) for an exposure time of 6.5 ms, and the image sensor (112) may capture an occupant irradiated with the first infrared light (l 1 ) to obtain the first image frame (i 1 ).
  • the infrared light (111) can irradiate the second infrared light (l 2 ) for an exposure time of 5 ms, and the image sensor (112) can capture the passenger irradiated with the second infrared light (l 2 ) to obtain the first image frame (i 2 ).
  • the time period (T) between the time at which the first image frame (i 1 ) is obtained and the time at which the second image frame (i 2 ) is obtained in the timing chart (300) is determined according to the number of frames per second, and can be, for example, 33 ms. However, it is not limited thereto.
  • the electronic device (100) can obtain a plurality of image frames (i 1 , i 2 , i 3 , ).
  • the exposure times included in the timing chart (300) for example, 6.5 ms, 5 ms, 3.5 ms, 0.7 ms, etc., are only examples for the convenience of explanation, and the exposure times are not limited as illustrated in FIG. 3.
  • the electronic device (100) can acquire proximity sensing frames (pf 1 , pf 2 , pf 3 ) according to a preset frame number ratio between acquiring a plurality of image frames (i 1 , i 2 , i 3 , ).
  • the 'preset frame number ratio' represents a ratio of the number of a plurality of image frames acquired during a predetermined time period to one proximity sensing frame. Referring to the timing chart (300) of FIG. 3, one first proximity sensing frame (pf 1 ) can be acquired after two image frames including a first image frame (i 1 ) and a second image frame (i 2 ) are acquired.
  • one second proximity sensing frame (pf 2 ) can be acquired after a third image frame (i 3 ) and a fourth image frame (i 4 ) are acquired.
  • the preset frame count ratio may represent a ratio of one proximity sensing frame per two image frames.
  • the ratio of one proximity sensing frame per two image frames is only an example for convenience of explanation, and the 'preset frame count ratio' of the present disclosure is not limited to that illustrated in FIG. 3.
  • the electronic device (100) can control the infrared light (111) to irradiate infrared light (l p ) for proximity sensing according to a preset frame number ratio, and can obtain frames (pf 1 , pf 2 , pf 3 ) for proximity sensing by receiving reflected light reflected from a passenger through the image sensor (112).
  • the infrared light (111) can perform manual exposure to irradiate infrared light (l p ) for proximity sensing with an exposure time and gain fixed to preset values. Referring to the timing chart (300) illustrated in FIG.
  • the exposure time of the infrared light (l p ) for proximity sensing is fixed to 4 ms, and the gain can also be fixed. However, this is for convenience of explanation, and the exposure time of the infrared light (l p ) for proximity sensing is not limited to 4 ms.
  • Calibration information regarding fixed values of exposure time and gain of infrared light (l p ) for proximity sensing of the infrared light (111) may be stored in advance in the nonvolatile memory (116, see FIG. 5) of the camera (110).
  • the infrared light (111) may obtain the values of the exposure time and gain stored in advance from the nonvolatile memory (116) and apply the exposure time and gain of the infrared light (l p ) for proximity sensing.
  • the image sensor (112) receives the reflected light reflected from the passenger as the infrared light for proximity sensing is irradiated, and converts the analog signal of the light into a digital signal through an analog-to-digital converter (ADC), thereby obtaining frames (pf 1 , pf 2 , pf 3 ) for proximity sensing.
  • ADC analog-to-digital converter
  • the time period (T p ) during which frames for proximity sensing (pf 1 , pf 2 , pf 3 ) are acquired is configured to be a relatively short time compared to the time period (T ) during which multiple image frames (i 1 , i 2 , i 3 , ...) are acquired.
  • the electronic device (100) determines whether there is a proximity between the infrared light of the camera and the passenger in the vehicle based on the luminance value of the frame for proximity sensing.
  • the electronic device (100) may obtain information about the luminance value of the frame for proximity sensing based on the signal level of the analog-to-digital converter output (ADC output) obtained by the image sensor (112, see FIG. 3) of the camera. For example, when the passenger is located far away from the infrared light of the camera, the signal level of the analog-to-digital converter output by the image sensor (112) will be low because the amount of reflected light reflected from the passenger is small.
  • ADC output analog-to-digital converter output
  • the signal level of the analog-to-digital converter output by the image sensor (112) may be relatively high because the amount of reflected light reflected from the passenger is relatively large.
  • the electronic device (100) compares the brightness value of the proximity sensing frame with a preset threshold, and if the comparison result shows that the brightness value of the proximity sensing frame exceeds the threshold, it can be determined that the passenger is in a position close to the infrared light.
  • the first proximity sensing frame (pf 1 ) acquired by the image sensor (112) may have a low luminance value of the pixel.
  • the luminance value of the first proximity sensing frame (pf 1 ) may be a value between 0 and 128.
  • the electronic device (100) may determine that the passenger is located far away from the infrared light of the camera based on the luminance value of the first proximity sensing frame (pf 1 ).
  • the luminance value of the pixel may be intermediate.
  • the luminance value of the second proximity sensing frame (pf 2 ) may be 128.
  • the luminance value of the pixel may be high.
  • the luminance value of the third proximity sensing frame (pf 3 ) may be saturated between 128 and 256 or above 256.
  • the electronic device (100) may determine that the passenger is in a position close to the infrared light of the camera based on the luminance value of the third proximity sensing frame (pf 3 ).
  • step S230 the electronic device (100) adjusts the brightness of the infrared light based on the result of the determination of proximity.
  • the electronic device (100) can turn off the power applied to the infrared light. Through this, the electronic device (100) can adjust the amount of infrared light irradiated to the passenger to be low.
  • the electronic device (100) when it is determined that a passenger is in proximity to the infrared light, can adjust the on time ratio of the infrared light by adjusting the pulse duty that controls the emission of the infrared light through pulse width modulation (PWM). By lowering the on time ratio of the infrared light, the electronic device (100) can reduce the amount of infrared light irradiated to the passenger.
  • PWM pulse width modulation
  • the electronic device (100) when it is determined that a passenger is close to the infrared light, can control the current value of the power applied to the infrared light to adjust the brightness of the infrared light. By controlling the current value of the power applied to the infrared light, the electronic device (100) can reduce the amount of infrared light irradiated to the passenger.
  • the electronic device (100) when it is determined that a passenger is close to the infrared light, can control the exposure time of the infrared light to adjust the brightness of the infrared light. By controlling the exposure time of the infrared light, the electronic device (100) can reduce the amount of infrared light irradiated to the passenger.
  • a passenger monitoring system comprising a camera including an infrared light (111, see FIGS. 3 and 4)
  • the passenger's eyes may be damaged by the infrared light.
  • the infrared light (111) includes an infrared light source such as, for example, VCSELs (Vertical-Cavity Surface-Emission Lasers) or LEDs (Light-Emitting Diodes)
  • VCSELs Very-Cavity Surface-Emission Lasers
  • LEDs Light-Emitting Diodes
  • the present disclosure provides an electronic device (100) and an operating method thereof that determines whether a passenger is close to the infrared light (111) of a camera (110) and adjusts the brightness of the infrared light (111) based on the result of determining whether the passenger is close, in order to prevent a problem in which infrared light is excessively irradiated to a passenger in a vehicle by an infrared light (111) included in a camera (110) in an passenger monitoring system, thereby having a negative effect on the eye health of the passenger.
  • the electronic device (100) additionally acquires proximity sensing frames (pf 1 , pf 2 , pf 3 ) according to a preset frame number ratio while a plurality of image frames (i 1 , i 2 , i 3 , ...) are acquired through the image sensor (112) of the camera (110), determines whether an occupant is approaching the infrared light (111) of the camera (110) based on the pixel brightness value of the proximity sensing frame, and adjusts the brightness of the infrared light (111) based on the determination result of the proximity.
  • the electronic device (100) of the present disclosure can prevent damage to the eye health of occupants in a vehicle due to irradiation of infrared light in advance.
  • the electronic device (100) according to one embodiment of the present disclosure can determine whether there is proximity between an infrared light (111) and a passenger without the need to add separate hardware such as a proximity sensor, thereby providing the technical effects of cost reduction and increased efficiency.
  • the electronic device (100) does not require a separate proximity sensor or other component, the hardware design of an existing passenger monitoring system can be maintained, thereby improving the usability of the existing system.
  • FIG. 4 is a block diagram illustrating components of an electronic device (100) according to one embodiment of the present disclosure.
  • the electronic device (100) may be implemented as an occupant monitoring system (OMS).
  • OMS occupant monitoring system
  • the electronic device (100) may include a camera (110), a processor (120), and a memory (130).
  • the camera (110), the processor (120), and the memory (130) may be electrically and/or physically connected to each other, respectively. Only essential components for explaining the operation of the electronic device (100) are illustrated in FIG. 4, and the components included in the electronic device (100) are not limited as illustrated in FIG. 4.
  • the electronic device (100) may further include a communication interface (140, see FIG. 23) configured to transmit and receive data with a server (200, see FIGS. 22 and 23) or an external device.
  • a communication interface 140, see FIG. 23
  • the camera (110) is configured to capture an image by capturing an occupant, such as a driver and/or a passenger, riding in a vehicle. In one embodiment of the present disclosure, the camera (110) can capture a face of an occupant to capture a face image.
  • the camera (110) may include an infrared illuminator (111) and an image sensor (112). However, the present invention is not limited thereto, and the camera (110) may further include an interface circuit (113, see FIG. 5), a connector (114, see FIG. 5), a power management circuit (115, see FIG. 5), and a nonvolatile memory (116, see FIG. 5) in addition to the infrared illuminator (111) and the image sensor (112).
  • the interface circuit (113), the connector (114), the power management circuit (115), and the nonvolatile memory (116), among the components included in the camera (110), will be described in detail with reference to FIG. 5.
  • the infrared light (111) is configured to emit light in an infrared band and irradiate the light in an infrared band toward passengers in the vehicle.
  • the infrared light (111) may include a light source composed of, for example, VCSELs (Vertical-Cavity Surface-Emission Lasers) that emit and irradiate infrared light in a dot pattern.
  • VCSELs Very-Cavity Surface-Emission Lasers
  • the present invention is not limited thereto, and the infrared light (111) may include a laser light source or an LED (Light-Emitting Diode) light source.
  • the infrared illumination (111) can be operated in synchronization with the exposure time of the image sensor (112). That is, the infrared illumination (111) can emit infrared light and irradiate infrared light by supplying power to the light source during the exposure time of the camera (110) when capturing an image. In one embodiment of the present disclosure, the infrared illumination (111) can irradiate infrared light of a 940 nanometer (nm) band that is invisible to the human eye. However, the band of light irradiated by the infrared illumination (111) is not limited to 940 nm.
  • the infrared light (111) may be configured in multiple units.
  • the infrared light (111) may include a first row light (111-1, see FIGS. 12a and 12b) that irradiates infrared light to a first row seat (12, see FIGS. 12a and 12b) and a second row light (111-2, see FIGS. 12a and 12b) that irradiates infrared light to a second row seat (14, see FIGS. 12a and 12b).
  • the image sensor (112) is configured to generate an image of the occupant by receiving reflected light reflected from the occupant by the irradiated infrared light.
  • the image sensor (112) can obtain an image of the occupant by collecting reflected light reflected from the occupant through a lens, receiving the reflected light through a light receiving sensor, and converting an analog light signal into a digital signal through an analog-to-digital converter.
  • the image sensor (112) can be configured as, for example, any one of a complementary metal oxide semi-conductor (CMOS), a charge coupled device (CCD), or a charge priming device (CPD).
  • CMOS complementary metal oxide semi-conductor
  • CCD charge coupled device
  • CPD charge priming device
  • the infrared light (111) irradiates infrared light according to a time period determined according to the number of frames per second, and the image sensor (112) can obtain a plurality of image frames by receiving the reflected light reflected by the infrared light from the passenger.
  • the infrared light (111) irradiates infrared light for proximity sensing according to a preset frame number ratio, and the image sensor (112) can obtain a frame for proximity sensing by receiving the reflected light reflected from the passenger.
  • the 'preset frame number ratio' represents the ratio of the number of a plurality of image frames acquired during a preset time period to one frame for proximity sensing.
  • the 'predetermined time period' represents one time period in which a preset number of image frames and one frame for proximity sensing are acquired. For example, when one frame for proximity sensing is acquired after two image frames are acquired, the frame number ratio may be 2:1.
  • infrared light for proximity sensing is irradiated in a manual exposure mode, in which case the exposure time and gain of the infrared light for proximity sensing can be fixed to preset values.
  • the exposure time of the infrared light for proximity sensing can be fixed to 4 ms, but is not limited thereto.
  • the image sensor (112) can convert an analog optical signal into a digital signal during the process of acquiring a frame for proximity sensing and provide information about the output signal level to the processor (120).
  • the processor (120) can execute one or more instructions of a program stored in the memory (130).
  • the processor (120) can be configured with hardware components that perform arithmetic, logic, and input/output operations and image processing. Although the processor (120) is illustrated as one element in FIG. 4, it is not limited thereto. In one embodiment of the present disclosure, the processor (120) can be configured with one or more multiple elements.
  • the processor (120) can be a general-purpose processor such as a CPU (Central Processing Unit), an AP (Application Processor), a DSP (Digital Signal Processor), a GPU (Graphics Processing Unit), a VPU (Vision Processing Unit), or an NPU (Neural Processing Unit), a graphics-only processor.
  • the processor (120) is an AI-only processor
  • the AI-only processor can be designed with a hardware structure specialized for processing a specific AI model.
  • the processor (120) may be implemented as an 8-bit MCU (8-bit Microcontroller) or PLD (Programmable Logic Devices).
  • the memory (130) may be configured as at least one type of storage medium among, for example, a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, an SD or XD memory, etc.), a RAM (Random Access Memory), a SRAM (Static Random Access Memory), a ROM (Read-Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), a PROM (Programmable Read-Only Memory), or an optical disk.
  • a flash memory type for example, a hard disk type, a multimedia card micro type, a card type memory (for example, an SD or XD memory, etc.), a RAM (Random Access Memory), a SRAM (Static Random Access Memory), a ROM (Read-Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), a PROM (Programmable Read-Only Memory), or an optical disk.
  • a flash memory type
  • the memory (130) may store instructions related to functions and/or operations for controlling the infrared light (111) of the camera (110) based on the proximity between the infrared light (111) and the passenger.
  • the memory (130) may store at least one of instructions, an algorithm, a data structure, a program code, and an application program that can be read by the processor (120).
  • the instructions, the algorithm, the data structure, and the program code stored in the memory (130) may be implemented in a programming or scripting language such as, for example, C, C++, Java, or an assembler.
  • the processor (120) and memory (130) may constitute an electronic control unit (ECU) included in a vehicle.
  • ECU electronice control unit
  • a function or operation performed by the processor (120) by executing commands or program codes included in modules stored in the memory (130) will be described.
  • the processor (120) can determine whether there is a proximity between the infrared light (111) of the camera (110) and a passenger in the vehicle based on the luminance value information of the proximity sensing frame.
  • the processor (120) can obtain information about the luminance value of the proximity sensing frame based on the signal level of an analog-to-digital converter (ADC) output obtained by the image sensor (112) of the camera (110).
  • ADC analog-to-digital converter
  • the processor (120) can compare the luminance value of the proximity sensing frame with a preset threshold, and if the luminance value of the proximity sensing frame exceeds the threshold as a result of the comparison, it can be determined that the passenger is in a position close to the infrared light (111).
  • the image sensor (112) includes a plurality of light-receiving sensors, and the plurality of light-receiving sensors may be divided into a plurality of regions according to their positions.
  • the plurality of light-receiving sensors may receive reflected light from an infrared light occupant to obtain a frame for proximity sensing.
  • the processor (120) may obtain luminance value information for each region of the frame for proximity sensing, and may apply a weight value assigned for each region to the luminance value information for each region to determine whether the occupant is in proximity to the infrared light (111) of the camera (110).
  • the processor (120) determines that the passenger is in proximity to the infrared light (111) of the camera (110), the processor (120) can adjust the brightness of the infrared light to be low. In one embodiment of the present disclosure, if the brightness value of the frame for proximity sensing exceeds the threshold value and the passenger is determined to be in proximity to the camera, the processor (120) can turn off the power applied to the infrared light (111). An embodiment in which the processor (120) turns off the power of the infrared light (111) to lower the amount of infrared light irradiated to the passenger will be described in detail with reference to the timing chart (800) illustrated in FIG. 8.
  • the processor (120) when it is determined that a passenger is close to the infrared light (111), the processor (120) can adjust the on time ratio of the infrared light (111) by controlling the pulse duty for controlling the light emission of the infrared light (111) through pulse width modulation (PWM).
  • PWM pulse width modulation
  • the processor (120) when it is determined that a passenger is close to the infrared light (111), the processor (120) can control the current value of the power applied to the infrared light (111) to adjust the brightness of the infrared light (111).
  • the processor (120) controls the current value of the power applied to the infrared light (111) to lower the amount of infrared light irradiated to the passenger will be described in detail with reference to the timing chart (1000) illustrated in FIG. 10.
  • the processor (120) when it is determined that a passenger is close to the infrared light (111), the processor (120) can control the light emission time of the infrared light (111) to adjust the brightness of the infrared light (111).
  • the processor (120) controls the light emission time of the infrared light (111) to lower the amount of infrared light irradiated to the passenger will be described in detail with reference to the timing chart (1100) illustrated in FIG. 11.
  • FIG. 5 is a block diagram illustrating components of a camera (110) according to one embodiment of the present disclosure.
  • the camera (110) may include an infrared light (111), an image sensor (112), an interface circuit (113), a connector (114), a power management circuit (115), and a nonvolatile memory (116).
  • the infrared light (111), the image sensor (112), the interface circuit (113), the connector (114), the power management circuit (115), and the nonvolatile memory (116) included in the camera (110) may be electrically and/or physically connected to each other, respectively.
  • the infrared light (111) is configured to emit light in an infrared band and irradiate the light in an infrared band toward passengers in a vehicle.
  • the infrared light (111) may include an optical filter (111a), an infrared light source (111b), and a driver (111c).
  • the optical filter (111a) may be composed of an optical element that filters a wavelength band of light so that light in an infrared band can be emitted.
  • the optical filter (111a) may further include an optical element that changes the path of light having a straight path.
  • the infrared light source (111b) is configured to generate light in an infrared band and emit the light through a collimating lens.
  • the infrared light source (111b) can irradiate infrared light in a 940 nanometer (nm) band that is invisible to the human eye.
  • the band of light irradiated by the infrared light source (111b) is not limited to 940 nm.
  • the infrared light source (111b) may be configured with, for example, VCSELs (Vertical-Cavity Surface-Emission Lasers) that generate and emit point pattern light.
  • the present invention is not limited thereto, and the infrared light source (111b) may be configured with an LED (Light-Emitting Diode) light source or a laser light source.
  • the driver (111c) is configured as an integrated circuit configured to control the irradiation timing and exposure time at which infrared light is irradiated by the infrared light source (111b).
  • the image sensor (112) is configured to generate an image of the passenger by receiving the reflected light from the passenger that is irradiated by the infrared light (111).
  • the image sensor (112) receives a control signal from the interface circuit (113) and transmits the control signal to the infrared light (111), thereby controlling the light irradiation timing and exposure time of the infrared light (111).
  • the image sensor (112) may include an optical filter (112a), a lens (112b), and a light receiving sensor (112c).
  • the optical filter (112a) may be composed of an optical element that filters a wavelength band of light so that light of a specific infrared band can be received.
  • the optical filter (112a) may include an optical element that changes the path of light and focuses light so that reflected light can be received through the lens (112b).
  • the lens (112b) is an optical element that allows the reflected light reflected by the passenger to travel in a parallel and straight line without being dispersed according to the directivity of the light, so that an image can be formed on the image sensor (112). Since the lens (112b) is a well-known hardware component, a detailed description thereof will be omitted.
  • the light receiving sensor (112c) is configured to receive reflected light collected through the lens (112b) to obtain an analog light signal, and to convert the analog light signal into a digital signal through an analog-to-digital converter to obtain an image of the passenger.
  • the light receiving sensor (112c) may be configured with, for example, a plurality of photodiodes.
  • the plurality of photodiodes may be arranged to form an array in the form of an n ⁇ m matrix.
  • the light receiving sensor (112c) may be configured with, but is not limited to, a plurality of SPADs (Single-Photon Avalanche Diodes).
  • the interface circuit (113) is configured as an integrated circuit that acquires a plurality of image frames from the image sensor (112) through a parallel pipeline, converts the acquired plurality of image frames into a serial transmission method, and transmits them to the connector (114).
  • the interface circuit (113) receives a control signal from a processor (120, see FIG. 4) or an electronic control unit (ECU) through the connector (114), and transmits the received control signal to the image sensor (112) to control the image sensor (112).
  • the connector (114) is a hardware device that connects the camera (110) and the processor (120) or the ECU in the vehicle.
  • the connector (114) can receive a control signal from the processor (120) or the ECU and transmit the control signal to the interface circuit (113).
  • the connector (114) can obtain an image frame from the interface circuit (113) and transmit the obtained image frame to the processor (120) or the ECU.
  • the power management integrated circuit (PMIC) (115) is composed of an integrated circuit that receives power from a connector (114) and provides driving power to the infrared light (111), image sensor (112), and interface circuit (113).
  • the nonvolatile memory (116) is a memory that stores calibration data determined based on the optical characteristics of the optical filter (112a) and the lens (112b).
  • the term 'nonvolatile memory (116)' refers to a storage medium that stores and maintains information even when power is not supplied, and can use the stored information again when power is supplied.
  • the nonvolatile memory (116) may be configured as an electrically erasable programmable read-only memory (EEPROM).
  • nonvolatile memory (116) may be configured as, for example, a flash memory, a hard disk, an SSD (Solid State Drive), a multimedia card micro type, an external memory of a card type (for example, an SD or XD memory, etc.), or an optical disk.
  • a flash memory for example, a hard disk, an SSD (Solid State Drive), a multimedia card micro type, an external memory of a card type (for example, an SD or XD memory, etc.), or an optical disk.
  • the nonvolatile memory (116) may store information regarding a threshold value that serves as a criterion for determining whether an occupant is approaching based on a signal level of an analog-to-digital converter output output by the image sensor (112).
  • the interface circuit (113) may obtain threshold value information from the nonvolatile memory (116) and compare the signal level of the analog-to-digital converter output output by the image sensor (112) with the threshold value to determine whether an occupant is approaching the infrared light (111). In this case, the interface circuit (113) may provide the result of determining whether or not an occupant is approaching to the processor (120) or an ECU in the vehicle.
  • FIG. 6 is a flowchart illustrating a method for an electronic device (100) to determine proximity between a camera and a passenger in a vehicle according to one embodiment of the present disclosure.
  • Steps S610 to S630 illustrated in FIG. 6 are steps that specify the operation of step S220 of FIG. 2.
  • Step S610 illustrated in FIG. 6 may be performed after the operation of step S210 of FIG. 2 is performed.
  • Step S230 of FIG. 2 may be performed after the operation of step S630 illustrated in FIG. 6 is performed.
  • step S610 the electronic device (100) obtains a brightness value of a frame for proximity sensing based on a signal level of an analog-to-digital converter (ADC) output that converts an analog signal of light obtained by an image sensor (112, see FIGS. 4 and 5) into a digital signal.
  • ADC analog-to-digital converter
  • the image sensor (112) receives reflected light reflected by the passenger using a light receiving sensor (112c, see FIG.
  • the processor (120, see FIG. 4) of the electronic device (100) can obtain luminance value information of a frame for proximity sensing based on the signal level of a digital output output by an analog-to-digital converter of the image sensor (112).
  • step S620 the electronic device (100) compares the luminance value of the frame for proximity sensing with a preset threshold value ( ⁇ ).
  • the 'preset threshold value ( ⁇ )' may be a luminance value of a pixel preset to determine whether there is proximity between a passenger and a camera.
  • the threshold value ( ⁇ ) may be preset by a user.
  • the processor (120, see FIG. 4) of the electronic device (100) may load the nonvolatile memory (116, see FIG. 5) of the camera (110, see FIGS. 4 and 5) to obtain information about the threshold value ( ⁇ ).
  • step S630 If the luminance value of the frame for proximity sensing exceeds a preset threshold value ( ⁇ ) (step S630), the electronic device (100) determines that the passenger is close to the infrared light of the camera.
  • the electronic device (100) performs step S610 again to obtain the luminance value of the frame for proximity sensing obtained at the next point in time.
  • FIG. 7 is a diagram illustrating a plurality of light receiving sensors (700-1 to 700-n) divided into a plurality of regions (710-1 to 710-16) according to one embodiment of the present disclosure.
  • the image sensor (700) may include a plurality of light-receiving sensors (700-1 to 700-n).
  • the plurality of light-receiving sensors (700-1 to 700-n) may be configured with, for example, a plurality of photodiodes.
  • the plurality of photodiodes may be arranged to configure an array in the form of an n ⁇ m matrix.
  • the plurality of photodiodes are illustrated as an array in the form of a 16 ⁇ 16 matrix, but this is for convenience of explanation, and the number of the plurality of light-receiving sensors (700-1 to 700-n) of the present disclosure is not limited as illustrated in FIG. 7.
  • the plurality of light-receiving sensors (700-1 to 700-n) may be configured with a plurality of SPADs (Single-Photon Avalanche Diodes). However, it is not limited thereto.
  • the plurality of light receiving sensors (700-1 to 700-n) can be divided into a plurality of regions (710-1 to 710-16) depending on the position where they are arranged.
  • the plurality of light receiving sensors (700-1 to 700-n) are illustrated as being divided into a total of 16 regions, but this is for convenience of explanation, and the light receiving sensors of the present disclosure are not limited to being divided into 16 regions.
  • a plurality of light receiving sensors (700-1 to 700-n) can receive reflected light reflected from a passenger and obtain an analog signal of the light.
  • the analog signal obtained by the plurality of light receiving sensors (700-1 to 700-n) can be converted into a digital signal by an analog-to-digital converter.
  • the image sensor (700) can obtain an image by performing separate post-processing on the converted digital signal.
  • each of the plurality of light receiving sensors (700-1 to 700-n) can correspond to each of a plurality of pixels included in the image.
  • the electronic device (100) may apply a weight value according to a location to each of the plurality of areas (710-1 to 710-16) when determining the proximity between a passenger and an infrared light based on the luminance values of a plurality of pixels included in the image.
  • a face may be included in the central area of the image acquired through the image sensor (700), and a background may be captured or the passenger's chest area may be captured in the remaining areas excluding the central area.
  • the processor (120, see FIG. 4) of the electronic device (100) can assign weights to each region for a frame for proximity sensing acquired by the image sensor (700) and apply the assigned weights to the luminance values of pixels for each region.
  • the processor (120, see FIG. 4) of the electronic device (100) can assign weights to each region for a frame for proximity sensing acquired by the image sensor (700) and apply the assigned weights to the luminance values of pixels for each region.
  • the processor (120) may assign a higher weight to an area corresponding to a central area among a plurality of areas (710-1 to 710-16) of the image sensor (700), for example, a sixth area (710-6), a seventh area (710-7), a tenth area (710-10), and an eleventh area (710-11), compared to other areas, and may apply a high weight to the luminance values of pixels of areas corresponding to the sixth area (710-6), the seventh area (710-7), the tenth area (710-10), and the eleventh area (710-11) of a proximity sensing frame acquired through the image sensor (700).
  • the processor (120) may determine whether there is proximity between the infrared light of the camera and the passenger based on the luminance values of the proximity sensing frame to which the weights are applied.
  • the electronic device (100) when obtaining a frame for proximity sensing through the image sensor (700), divides a plurality of light-receiving sensors (700-1 to 700-n) included in the image sensor (700) into a plurality of regions (710-1 to 710-16) according to their arranged positions, and assigns a higher weight to a central region among the plurality of regions (710-1 to 710-16) where the passenger's face is likely to be captured, for example, a sixth region (710-6), a seventh region (710-7), a tenth region (710-10), and an eleventh region (710-11), compared to other regions, thereby applying the weight to the luminance value per pixel of the frame for proximity sensing, so that the proximity of the passenger to the infrared light of the camera can be determined more accurately and efficiently.
  • FIG. 8 is a timing chart (800) illustrating an operation of an electronic device (100) according to one embodiment of the present disclosure controlling an image sensor (112) to acquire an image frame and controlling the brightness of an infrared light (111) based on the acquired image frame.
  • the electronic device (100) controls the infrared light (111) included in the camera (110) to irradiate infrared light according to a preset time period (T), and controls the image sensor (112) to capture an occupant irradiated with infrared light to obtain a plurality of image frames (i 1 , i 2 , i 3 , ).
  • the infrared light (111) may perform auto exposure to automatically adjust the exposure time and gain for irradiating the infrared light.
  • the infrared light (111) may irradiate the first infrared light (l 1 ) for an exposure time of 6.5 ms, and the image sensor (112) may capture an occupant irradiated with the first infrared light (l 1 ) to obtain the first image frame (i 1 ).
  • the infrared light (111) may irradiate the second infrared light (l 2 ) for an exposure time of 5 ms, and the image sensor (112) may capture an occupant irradiated with the second infrared light (l 2 ) to obtain a first image frame (i 2 ).
  • the exposure times included in the timing chart (800) for example, 6.5 ms, 5 ms, 3.5 ms, 0.7 ms, etc., are only examples for convenience of explanation, and the exposure times are not limited as illustrated in FIG. 8.
  • the electronic device (100) can acquire proximity sensing frames (pf 1 , pf 2 , pf 3 ) according to a preset frame number ratio while acquiring a plurality of image frames (i 1 , i 2 , i 3 , ).
  • the 'preset frame number ratio' represents a ratio of the number of a plurality of image frames acquired during a predetermined time period to one proximity sensing frame. Referring to the timing chart (800) of FIG. 8, one first proximity sensing frame (pf 1 ) can be acquired after two image frames including a first image frame (i 1 ) and a second image frame (i 2 ) are acquired.
  • one second proximity sensing frame (pf 2 ) may be acquired after the third image frame (i 3 ) and the fourth image frame (i 4 ) are acquired
  • one third proximity sensing frame (pf 3 ) may be acquired after the fifth image frame (i 5 ) and the sixth image frame (i 6 ) are acquired.
  • the preset frame number ratio may represent a ratio of one proximity sensing frame per two image frames.
  • the ratio of one proximity sensing frame per two image frames is merely an example for the convenience of explanation, and the 'preset frame number ratio' of the present disclosure is not limited as illustrated in FIG. 8.
  • the electronic device (100) can control the infrared light (111) to irradiate infrared light (l p ) for proximity sensing according to a preset frame rate, and can obtain frames (pf 1 , pf 2 , pf 3 ) for proximity sensing by receiving reflected light reflected from a passenger through the image sensor (112).
  • the infrared light (111) can perform manual exposure to irradiate infrared light (l p ) for proximity sensing with an exposure time and gain fixed to preset values. Referring to the timing chart (800) illustrated in FIG.
  • the exposure time of the infrared light (l p ) for proximity sensing is fixed to 4 ms, and the gain can also be fixed. However, this is for convenience of explanation, and the exposure time of the infrared light (l p ) for proximity sensing is not limited to 4 ms.
  • the electronic device (100) can determine whether there is proximity between the infrared light (111) and the passenger based on the luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ).
  • the processor (120, see FIG. 4) of the electronic device (100) compares the pixel luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ) with a preset threshold value, and if the luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ) exceed the threshold value as a result of the comparison, it can determine that the passenger is in proximity to the infrared light (111).
  • the processor 120, see FIG. 4
  • the luminance value of the first proximity sensing frame (pf 1 ) may be lower than the threshold value, and the luminance values of the second proximity sensing frame (pf 2 ) and the third proximity sensing frame (pf 3 ) may exceed the threshold value.
  • the processor (120) compares the brightness value of the second proximity sensing frame (pf 2 ) with a threshold value, and if the comparison result determines that the brightness value of the second proximity sensing frame (pf 2 ) exceeds the threshold value, it can determine that the passenger has moved closer to the infrared light (111).
  • the processor (120) of the electronic device (100) may turn off the power applied to the infrared light (111) if it is determined that the passenger is in a position close to the infrared light (111).
  • the processor (120) may control the power management circuit (115, see FIG. 5) of the camera to turn off the power applied to the infrared light (111) after the second proximity sensing frame (pf 2 ) is acquired.
  • the pixel luminance values of the fifth image frame (i 5 ) to the seventh image frame (i 7 ) may be lower than the pixel luminance values of the first image frame (i 1 ) to the fourth image frame (i 4 ).
  • the infrared light (111) irradiates infrared light (l p ) for proximity sensing through manual exposure, and irradiates infrared light (l p ) for proximity sensing with a fixed exposure time and gain, thereby obtaining a third proximity sensing frame (pf 3 ). If the luminance value of the third proximity sensing frame (pf 3 ) is higher than the luminance value of the second proximity sensing frame (pf 2 ), the processor (120) can determine that the passenger has approached closer to the infrared light (111). In this case, the processor (120) can keep the power of the infrared light (111) in an off state.
  • FIG. 9 is a timing chart (900) illustrating an operation of an electronic device (100) according to one embodiment of the present disclosure controlling an image sensor (112) to acquire an image frame and controlling the brightness of an infrared light (111) based on the acquired image frame.
  • the timing chart (900) illustrated in FIG. 9 is identical to the timing chart (800) illustrated in FIG. 8 except for the pulse duty of the fifth infrared light (l 5 ) to the seventh infrared light (l 8 ) irradiated to obtain the fifth image frame (i 5 ) to the seventh image frame (i 7 ), and therefore, redundant descriptions regarding the plurality of image frames (i 1 to i 7 ), the frames for proximity sensing (pf 1 , pf 2 , pf 3 ), and the preset frame number ratio, etc. are omitted.
  • the electronic device (100) can determine whether there is proximity between the infrared light (111) and the passenger based on the luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ).
  • the processor (120, see FIG. 4) of the electronic device (100) compares the pixel luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ) with a preset threshold value, and if the luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ) exceed the threshold value as a result of the comparison, it can determine that the passenger is in proximity to the infrared light (111). Referring to the embodiment illustrated in FIG.
  • the luminance value of the first proximity sensing frame (pf 1 ) may be lower than a threshold value, and the luminance values of the second proximity sensing frame (pf 2 ) and the third proximity sensing frame (pf 3 ) may exceed the threshold value.
  • the processor (120) compares the luminance value of the second proximity sensing frame (pf 2 ) with the threshold value, and if it is determined as a result of the comparison that the luminance value of the second proximity sensing frame (pf 2 ) exceeds the threshold value, it may be determined that the passenger has moved closer to the infrared light (111).
  • the processor (120) of the electronic device (100) determines that the passenger is in a position close to the infrared light (111)
  • the processor (120) can adjust the on time signal ratio of the infrared light (111) by controlling the pulse duty for controlling the light emission of the infrared light (111) through pulse width modulation (PWM).
  • PWM pulse width modulation
  • the 'on time signal ratio' represents the ratio at which an on signal is applied to control the light source of the infrared light (111) to emit infrared light to the passenger during the entire signal cycle.
  • the processor (120) may control the infrared lighting (111) to apply the infrared light (l 5 , l 6 ) as an on-time signal in the form of a pulse waveform having a constant pulse width.
  • the processor (120) may perform pulse width modulation to apply the fifth infrared light (l 5 ) and the sixth infrared light (l 6 ) as a pulse waveform that limits the pulse duty of the first infrared light (l 1 ) to the fourth infrared light (l 4 ).
  • the processor (120) may determine that the passenger has approached closer to the infrared light (111). In this case, the processor (120) may perform pulse width modulation so that the seventh infrared light (l 7 ) and the eighth infrared light (l 8 ) irradiated at a point in time after the third proximity sensing frame (pf 3 ) is acquired have an on-time signal ratio of 20% compared to the first infrared light (l 1 ) to the fourth infrared light (l 4 ).
  • the luminance value of the seventh image frame (i 7 ) acquired by the image sensor (112) after the seventh infrared light (l 7 ) is irradiated may be lower than the luminance values of the fifth image frame (i 5 ) and the sixth image frame (i 6 ).
  • FIG. 10 is a timing chart (1000) illustrating an operation of an electronic device (100) according to one embodiment of the present disclosure controlling an image sensor (112) to acquire an image frame and controlling the brightness of an infrared light (111) based on the acquired image frame.
  • the timing chart (1000) illustrated in FIG. 10 is identical to the timing chart ( 800 ) illustrated in FIG. 8 except that the output of the fifth infrared light (l 5 ) to the seventh infrared light (l 8 ) irradiated to obtain the fifth image frame (i 5 ) to the seventh image frame (i 7 ) is low, and therefore, redundant descriptions regarding the plurality of image frames (i 1 to i 7 ), the frames for proximity sensing (pf 1 , pf 2 , pf 3 ), and the preset frame number ratio, etc., are omitted.
  • the electronic device (100) can determine whether there is proximity between the infrared light (111) and the passenger based on the luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ).
  • the processor (120, see FIG. 4) of the electronic device (100) compares the pixel luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ) with a preset threshold value, and if the luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ) exceed the threshold value as a result of the comparison, it can determine that the passenger is in proximity to the infrared light (111). Referring to the embodiment illustrated in FIG.
  • the luminance value of the first proximity sensing frame (pf 1 ) may be lower than a threshold value, and the luminance values of the second proximity sensing frame (pf 2 ) and the third proximity sensing frame (pf 3 ) may exceed the threshold value.
  • the processor (120) compares the luminance value of the second proximity sensing frame (pf 2 ) with the threshold value, and if it is determined as a result of the comparison that the luminance value of the second proximity sensing frame (pf 2 ) exceeds the threshold value, it may be determined that the passenger has moved closer to the infrared light (111).
  • the processor (120) of the electronic device (100) determines that the passenger is in a position close to the infrared light (111)
  • the processor (120) can control the power management circuit (115, see FIG. 5) of the camera to lower the current value of the power applied to the infrared light (111).
  • the processor (120) determines that the luminance value of the second proximity sensing frame (pf 2 ) exceeds the threshold value, the processor (120) can lower the current value applied to the infrared light (111) to lower the output of the infrared lights (l 5 , l 6 ).
  • the processor (120) can limit the current value applied to the infrared light (111) to 40% to irradiate the fifth infrared light (l 5 ) and the sixth infrared light (l 6 ).
  • the luminance values of the fifth image frame (i 5 ) and the sixth image frame (i 6 ) acquired by the image sensor (112) may be lower than the luminance values of the first image frame (i 1 ) to the fourth image frame (i 4 ).
  • the processor (120) can determine that the passenger has approached closer to the infrared light (111). In this case, the processor (120) can further lower the current value applied to the infrared light (111) at a point in time after the third proximity sensing frame (pf 3 ) is acquired to irradiate the seventh infrared light (l 7 ) and the eighth infrared light (l 8 ).
  • the processor (120) can lower the output of the seventh infrared light (l 7 ) and the eighth infrared light (l 8 ) to 20% of the output of the first infrared light (l 1 ) by limiting the current value applied to the infrared light (111) to 20%.
  • the luminance value of the seventh image frame (i 7 ) acquired by the image sensor (112) after the seventh infrared light (l 7 ) is irradiated may be lower than the luminance values of the fifth image frame (i 5 ) and the sixth image frame (i 6 ).
  • FIG. 11 is a timing chart (1100) illustrating an operation of an electronic device (100) according to one embodiment of the present disclosure controlling an image sensor (112) to acquire an image frame and controlling the brightness of an infrared light (111) based on the acquired image frame.
  • the timing chart (1100) illustrated in FIG. 11 is identical to the timing chart (800) illustrated in FIG. 8 except that the exposure time of the fifth infrared light (l 5 ) to the seventh infrared light (l 7 ) irradiated to obtain the fifth image frame (i 5 ) to the seventh image frame (i 7 ) is shorter, and therefore, redundant descriptions regarding the plurality of image frames (i 1 to i 7 ), the frames for proximity sensing (pf 1 , pf 2 , pf 3 ), and the preset frame number ratio, etc., are omitted.
  • the electronic device (100) can determine whether there is proximity between the infrared light (111) and the passenger based on the luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ).
  • the processor (120, see FIG. 4) of the electronic device (100) compares the pixel luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ) with a preset threshold value, and if the luminance values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ) exceed the threshold value as a result of the comparison, it can determine that the passenger is in proximity to the infrared light (111). Referring to the embodiment illustrated in FIG.
  • the luminance value of the first proximity sensing frame (pf 1 ) may be lower than a threshold value, and the luminance values of the second proximity sensing frame (pf 2 ) and the third proximity sensing frame (pf 3 ) may exceed the threshold value.
  • the processor (120) compares the luminance value of the second proximity sensing frame (pf 2 ) with the threshold value, and if it is determined as a result of the comparison that the luminance value of the second proximity sensing frame (pf 2 ) exceeds the threshold value, it may be determined that the passenger has moved closer to the infrared light (111).
  • the processor (120) of the electronic device (100) determines that the passenger is in a position close to the infrared light (111)
  • the processor (120) can control the infrared light (111) to reduce the exposure time of the infrared light. Referring to the timing chart (1100) illustrated in FIG. 11, if the processor (120) determines that the luminance value of the second proximity sensing frame (pf 2 ) exceeds the threshold value, the processor (120) can control the infrared light (111) to reduce the exposure time of the infrared lights (l 5 , l 6 ).
  • the processor (120) can control the infrared light (111) to limit the exposure time of the fifth infrared light (l 5 ) and the sixth infrared light (l 6 ) to within 1 ms, respectively.
  • the output of the fifth infrared light (l 5 ) and the sixth infrared light (l 6 ) is lowered, and the luminance values of the fifth image frame (i 5 ) and the sixth image frame (i 6 ) acquired by the image sensor (112) may be lower than the luminance values of the first image frame (i 1 ) to the fourth image frame (i 4 ).
  • the processor (120) may determine that the passenger has approached closer to the infrared light (111). In this case, the processor (120) may further reduce the exposure time of the seventh infrared light (l 7 ) irradiated by the infrared light (111) at a point in time after the third proximity sensing frame ( pf 3 ) is acquired. For example, the processor (120) may limit the exposure time of the seventh infrared light (l 7 ) irradiated by the infrared light (111) to 0.5 ms.
  • the output of the seventh infrared light (l 7 ) is lowered, and the luminance value of the seventh image frame (i 7 ) acquired by the image sensor (112) may be lower than the luminance values of the fifth image frame (i 5 ) and the sixth image frame (i 6 ).
  • the electronic device (100) determines whether an occupant is approaching the infrared light (111) based on the brightness values of the proximity sensing frames (pf 1 , pf 2 , pf 3 ), and if it is determined that the occupant is approaching the infrared light (111), the electronic device (100) may lower the brightness of the infrared light (111) by turning off the infrared light (111) (see FIG. 8), lowering the on-time signal ratio of the infrared light (111) (see FIG. 9), limiting the current value of the power applied to the infrared light (111) (see FIG.
  • the electronic device (100) may prevent the problem of the eye health of the occupant being deteriorated due to excessive infrared light being irradiated to the occupant in the vehicle by the occupant monitoring system.
  • FIG. 12a is a cross-sectional view illustrating the arrangement of a plurality of infrared lights (111-1, 111-2) and an image sensor (112) in a vehicle according to one embodiment of the present disclosure.
  • a camera (110) is arranged inside a vehicle (10), and the camera (110) may include a plurality of infrared lights (111-1, 111-2) and an image sensor (112).
  • the plurality of infrared lights (111-1, 111-2) are configured to emit light in an infrared band and irradiate infrared light to passengers of the vehicle (10), such as a driver and/or passengers riding in a first row seat (12) and a second row seat (14).
  • the plurality of infrared lights (111-1, 111-2) may be installed in interior lights or clusters inside the vehicle (10), but are not limited thereto.
  • the first row light (111-1) can irradiate infrared light to the occupants of the first row seat (12), and the second row light (111-2) can irradiate infrared light to the occupants of the second row seat (14).
  • the plurality of infrared lights (111-1, 111-2) are identical to the infrared lights (111) described in FIGS. 1 to 11, except that they are composed of two or more, and therefore, redundant descriptions are omitted.
  • the first row lights (111-1) and the second row lights (111-2) may each be configured in multiple units. This will be described with reference to Fig. 12b.
  • FIG. 12b is a diagram illustrating the arrangement of a plurality of lights (111-1L, 111-1R, 111-2L, 111-2R) and an image sensor (112) within a vehicle according to one embodiment of the present disclosure.
  • the first row lighting (111-1) may include a first row left lighting (111-1L) and a first row right lighting (111-1R), and the second row lighting (111-2) may include a second row left lighting (111-2L) and a second row right lighting (111-2R).
  • the first row left lighting (111-1L) may irradiate infrared light to a driver sitting in the driver's seat (12-1) among the first row seats (12, see FIG. 12a), and the first row right lighting (111-1R) may irradiate infrared light to a passenger sitting in the passenger seat (12-2) on the right side among the first row seats (12).
  • the first row right side light (111-1R) can irradiate infrared light to the driver sitting in the driver's seat
  • the first row left side light (111-1L) can irradiate infrared light to the passenger sitting in the left passenger seat among the first row seats (12).
  • the second row left side light (111-2L) can irradiate infrared light to the passenger sitting in the second row left seat (14-1) among the second row seats (14, see FIG. 1a)
  • the second row right side light (111-2R) can irradiate infrared light to the passenger sitting in the second row right seat (14-2) among the second row seats (14).
  • the first row light (111-1) and the second row light (111-2) are illustrated as including two lights each, but this is exemplary, and the present disclosure is not limited to as illustrated in FIG. 12b. In one embodiment of the present disclosure, the first row light (111-1) and the second row light (111-2) may each include three or more multiple lights.
  • the camera (110) is configured to capture an image by capturing an occupant riding in at least one of the first row seat (12) and the second row seat (14).
  • the electronic device (100) mounted in the vehicle (10) may be configured as an occupant monitoring system (OMS) that recognizes the face of an occupant, such as a driver or a passenger, or recognizes the occupant's actions (e.g., drowsiness, sleep, conversation, mobile device operation, etc.) by analyzing the image acquired through the camera (110) using a pre-learned artificial intelligence model.
  • OMS occupant monitoring system
  • the size of the first distance (d 1 ) between the image sensor (112) of the camera (110) and the first row seat (12) may be smaller than the size of the second distance (d 2 ) between the image sensor (112) and the second row seat (14).
  • the first row light (111-1) irradiates infrared light to the occupants of the first row seat (12) and the second row light (111-2) irradiates infrared light to the occupants of the second row seat (14)
  • the first distance (d 1 ) and the second distance (d 2 ) between the image sensor (112) and the seats (12, 14) are different, and therefore, the brightness of the first row seat (12) and the second row seat (14) may significantly differ depending on the attenuation ratio according to the distance.
  • the brightness difference between the first row seat (12) and the second row seat (14) may also occur due to physical environmental differences such as the irradiation angle and transmittance by the first row light (111-1) and the second row
  • FIG. 13 is a flowchart illustrating a method for controlling a plurality of infrared lights mounted in a vehicle by an electronic device (100) according to one embodiment of the present disclosure.
  • step S1310 the electronic device (100) applies an on time signal to the plurality of infrared lights in synchronization with the exposure times during which infrared light is irradiated by the plurality of infrared lights.
  • the electronic device (100) can apply an on time signal to the first row lights (111-1, see FIGS. 12a and 12b) and the second row lights (111-2, see FIGS. 12a and 12b) so that the light sources of the first row lights (111-1, see FIG. 12a and 12b) are emitted only during the exposure time of the camera to irradiate infrared light to the first row seat (12, see FIG. 1a) and the second row seat (14, see FIG. 1a).
  • step S1320 the electronic device (100) adjusts the on-time signal ratio of the first row light (111-1) illuminating the first row seat (12) among the plurality of infrared lights (111-1, 111-2) based on the brightness difference between the first row seat (12) and the second row seat (14) in the vehicle due to the plurality of infrared lights (111-1, 111-2).
  • the electronic device (100) can measure the brightness of the first row seat (12) and the second row seat (14). Since the method by which the electronic device (100) measures the brightness is a known technology, a detailed description thereof will be omitted.
  • the electronic device (100) can adjust the on-time signal ratio of the first row light (111-1) to be different from the on-time signal ratio of the second row light (111-2) based on the brightness difference between the first row seat (12) and the second row seat (14). In one embodiment of the present disclosure, the electronic device (100) can adjust the on-time signal ratio of the first column illumination (111-1) by applying a delay time within a time period synchronized with the exposure time of the image sensor of the camera. In one embodiment of the present disclosure, the electronic device (100) can adjust the on-time signal ratio of the first column illumination (111-1) by adjusting the pulse duty for controlling the light emission of the first column illumination (111-1) through Pulse Width Modulation.
  • the electronic device (100) can adjust the on-time signal ratio of the first column illumination (111-1) by applying the delay time within a time period synchronized with the exposure time of the camera and adjusting the pulse duty for controlling the light emission of the first column illumination (111-1) to which the delay time is applied through Pulse Width Modulation.
  • step S1330 the electronic device (100) applies the adjusted on-time signal to the first row light (111-1) to adjust the brightness of the first row seat (12).
  • the electronic device (100) can adjust the brightness of the first row seat (12) to be the same as the brightness of the second row seat (14).
  • the camera uses infrared lighting to irradiate infrared band light to the passenger and use it as lighting.
  • Infrared band lighting has the advantage of being invisible to the human eye, but has low atmospheric propagation efficiency.
  • the attenuation ratio according to distance is high due to the characteristics of short-range active lighting, there are cases where the brightness difference is significantly large even with a small distance difference. Therefore, when infrared band lighting is installed on the first row seats (12-1, 12-2) and the second row seats (14-1, 14-2) in the vehicle (10), the brightness difference due to the distance difference becomes large.
  • a greater brightness difference can occur due to physical environmental differences such as the irradiation angle and transmittance by multiple lights.
  • One embodiment of the present disclosure provides an electronic device (100) for controlling the brightness of a plurality of infrared lights (111-1, 111-2) and an operating method thereof to compensate for the difference in brightness between a first row seat (12-1, 12-2) and a second row seat (14-1, 14-2) due to the positions at which a plurality of infrared lights (111-1, 111-2) are arranged in an occupant monitoring system (OMS) including a plurality of infrared lights (111-1, 111-2) in a vehicle (10).
  • OMS occupant monitoring system
  • An electronic device (100) controls the brightness of the first row light (111-1) by applying a delay time to the light emission timing of the first row light (111-1) that irradiates infrared light to the first row seats (12-1, 12-2) or by controlling the pulse duty through pulse width modulation in a software manner, thereby allowing the brightness of the first row seats (12-1, 12-2) and the second row seats (14-1, 14-2) to be adjusted to the same level. Therefore, the electronic device of the present disclosure can obtain an image having an appropriate brightness regardless of the structure of the vehicle (10) and the installed positions of the plurality of infrared lights (111-1, 111-2), thereby providing a technical effect of improving the accuracy of passenger monitoring.
  • the electronic device of the present disclosure controls the brightness of the first row light (111-1) based on software, so that the brightness can be flexibly controlled in real time, and an image can be obtained with minimal influence from changes in external light sources such as sunlight.
  • FIG. 14 is a timing chart (1400) illustrating an operation of an electronic device (100) according to one embodiment of the present disclosure to adjust the on-time signal ratio of the first row light (111-1).
  • the image sensor included in the camera (110) can receive light reflected from a subject during a preset exposure time within a time period (T 1 , T 2 , T 3 , ...) and acquire an image frame.
  • the processor (120, see FIG. 4 ) of the electronic device (100) can apply an on time signal to the first row illumination (111-1) and the second row illumination (111-2) so that the light sources of the first row illumination (111-1) and the second row illumination (111-2) are operated to emit infrared light in synchronization with the exposure time of the camera (110).
  • the second row light (111-2) is illuminated during the exposure time of the camera (110) to irradiate infrared light to the second row seat (14, see FIG. 12a), and the second row light (111-2) is turned off during the time when the image frame is acquired, so that infrared light is not irradiated.
  • the processor (120) may also apply an on-time signal to the first row light (111-1) in synchronization with the exposure time of the camera (110).
  • the processor (120) may apply a delay time (t delay ) within a time period (T 1 , T 2 , T 3 , ...) synchronized with the exposure time of the camera (110) to apply the on-time signal to the first row light (111-1).
  • the processor (120) may determine the delay time (t delay ) based on the difference in brightness between the first row seat (12, see FIG. 12A) and the second row seat (14). For example, the processor (120) may adjust the delay time in proportion to the difference in brightness between the first row seat (12) and the second row seat (14).
  • the processor (120) may determine the delay time (t delay ) based on the first distance between the camera (110) and the first row light (111-1) and the second distance between the camera (110) and the second row light (111-2).
  • the on-time signal may be applied to the first column light (111-1) after the delay time (t delay ).
  • the time (t on ) at which the on-time signal is applied to the first column light (111-1) may be shorter than the exposure time of the camera (110) within the time period (T 1 , T 2 , T 3 , . That is, the on-time signal applied to the first column light (111-1) during the time period (T 1 , T 2 , T 3 , ...) may end before the time at which the exposure time of the camera (110) ends, and the first column light (111-1) may be switched to an off state.
  • the rate at which the on-time signal is applied to the first row light (111-1) during the time period (T 1 , T 2 , T 3 , ...), i.e., the on-time signal ratio, can be adjusted to be lower than the on-time signal ratio of the second row light (111-2).
  • the processor (120) can adjust the brightness of the first row seat (12) to be the same as the brightness of the second row seat (14).
  • FIG. 15 is a timing chart (1500) illustrating an operation of an electronic device (100) according to one embodiment of the present disclosure to adjust the on-time signal ratio of the first row light (111-1).
  • the timing chart (1500) of Fig. 15 is identical to the timing chart (1400) illustrated in Fig. 14 except for the on-time signal applied to the first row light (111-1), and therefore, redundant descriptions related to the exposure time of the image sensor (112) of the camera and the on-time signal of the second row light (111-2) are omitted.
  • the processor (120, see FIG. 4) of the electronic device (100) can adjust the pulse duty for controlling the light emission of the first row light (111-1) through pulse width modulation.
  • the processor (120) can apply an on-time signal to cause the first row light (111-1) to light up and irradiate infrared light to the first row seat (12, see FIG. 12a) in a pulse waveform having a constant pulse width.
  • the pulse duty at which the on-time signal is applied to the first row light (111-1) can be determined based on the brightness difference between the first row seat (12) and the second row seat (14, see FIG. 12a).
  • the processor (120) may determine the pulse duty inversely proportional to the difference between the brightness of the first row seat (12) and the brightness of the second row seat (14). That is, the darker the brightness of the second row seat (14) is compared to the brightness of the first row seat (12), the shorter the pulse duty of the on-time signal applied to the first row light (111-1).
  • the present invention is not limited thereto, and the processor (120) may also determine the pulse duty based on a first distance between the image sensor (112) of the camera and the first row light (111-1) and a second distance between the image sensor (112) and the second row light (111-2).
  • the on-time signal ratio of the first row lighting (111-1) may be lower than the on-time signal ratio of the second row lighting (111-2).
  • the processor (120) may adjust the brightness of the first row seat (12) to be the same as the brightness of the second row seat (14).
  • FIG. 16 is a timing chart (1600) illustrating an operation of an electronic device (100) according to one embodiment of the present disclosure to adjust the on-time signal ratio of the first row light (111-1).
  • the timing chart (1600) of Fig. 16 is identical to the timing chart (1400) illustrated in Fig. 14 except for the on-time signal applied to the first row light (111-1), and therefore, redundant descriptions related to the exposure time of the image sensor (112) of the camera and the on-time signal of the second row light (111-2) are omitted.
  • the processor (120, see FIG. 4) of the electronic device (100) may apply a delay time (t delay ) to an on-time signal applied to the first row light (111-1) within a time period (T 1 , T 2 , T 3 , ...) synchronized with the exposure time of the image sensor ( 112 ), and apply an on-time signal of a pulse waveform to the first row light (111-1).
  • the processor (120) may adjust the pulse duty of the on-time signal applied to the first row light (111-1) through pulse width modulation.
  • the processor (120) may determine the delay time (t delay ) applied to the first row light (111-1) based on the brightness difference between the first row seat (12) and the second row seat (14). In one embodiment of the present disclosure, the processor (120) can determine the pulse duty of the on-time signal applied to the first row light (111-1) based on the brightness difference between the first row seat (12) and the second row seat (14).
  • the on-time signal in the form of a pulse wave applied to the first row light (111-1) may be terminated earlier than the time at which the exposure time of the image sensor (112) ends. That is, the sum of the delay time (t delay ) applied to the first row light (111-1) and the time (t pulse ) at which the on-time signal in the form of a pulse wave is applied may be shorter than the exposure time of the image sensor (112).
  • the present invention is not limited thereto, and the on-time signal in the form of a pulse wave applied to the first row light (111-1) may be stopped at the same time at which the exposure time of the image sensor (112) ends.
  • the on-time signal ratio of the first row lighting (111-1) can be adjusted to be lower than the on-time signal ratio of the second row lighting (111-2) during the time period ( T 1 , T 2 , T 3 , ).
  • the processor (120) can adjust the brightness of the first row seat (12) to be the same as the brightness of the second row seat (14).
  • FIG. 17 is a diagram illustrating a logical AND gate (1700) for controlling the on-time signal ratio of the first row light (111-1) of an electronic device (100) according to one embodiment of the present disclosure.
  • the processor (120) can control the operation of the second row light (111-2) by applying an exposure time control signal (1710) synchronized with the exposure time by the image sensor (112) of the camera (110, see FIGS. 4, 5, 12a, and 12b) to the second row light (111-2).
  • the processor (120) includes an AND gate (1700) and can perform an operation of multiplying the exposure time control signal (1710) by a delay time/pulse width modulation control signal (1720) that applies a delay time or controls pulse width modulation through the AND gate (1700).
  • the processor (120) can output a signal that controls the on-time signal ratio of the first row light (111-1) through the AND operation.
  • the processor (120) can control the brightness of the first row light (111-1) by applying the output signal to the first row light (111-1).
  • FIG. 18 is a diagram illustrating logical product gates (1801 to 1804) for controlling the on-time signal ratio of a plurality of lights (111-1L, 111-1R, 111-2L, 111-2R) of an electronic device (100) according to one embodiment of the present disclosure.
  • the first row lighting (111-1) and the second row lighting (111-2) may be configured in multiple units.
  • the first row lighting (111-1) may include a first row left lighting (111-1L) and a first row right lighting (111-1R).
  • the second row lighting (111-2) may include a second row left lighting (111-2L) and a second row right lighting (111-2R).
  • the processor (120) applies an exposure time control signal (1810) synchronized with the exposure time by the image sensor (112) of the camera (110, see FIGS.
  • the processor (120) includes a plurality of AND gates (1801 to 1804), and can perform an operation of multiplying a delay time/pulse width modulation control signal (1821 to 1824) that applies a delay time or controls pulse width modulation through the plurality of AND gates (1801 to 1804) by an exposure time control signal (1810).
  • the processor (120) can output a signal that controls an on-time signal ratio of a plurality of lights (111-1L, 111-1R, 111-2L, 111-2R) through the AND operation through the plurality of AND gates (1810 to 1804).
  • the processor (120) can control the brightness of a plurality of first row seats (12-1, 12-2, see FIG. 19) and a plurality of second row seats (14-1, 14-2, see FIG. 12b) by applying the output signals to each of a plurality of lights (111-1L, 111-1R, 111-2L, 111-2R).
  • FIG. 19 is a drawing for explaining an operation of an electronic device (100) according to one embodiment of the present disclosure to control the brightness of a plurality of lights to adjust the brightness difference between a plurality of seats (12-1, 12-2, 14-1, 14-2) in a vehicle.
  • the first row seats and the second row seats of the vehicle (10) may be configured in multiple numbers.
  • the first row seats may include a driver's seat (12-1) and a passenger's seat (12-2)
  • the second row seats may include a second row seat 1 (14-1) and a second row seat 2 (14-2).
  • the brightness of the driver's seat (12-1) and the passenger's seat (12-2) may be different from each other, and the brightness of the second row seat 1 (14-1) and the second row seat 2 (14-2) may be different from each other.
  • the brightness of the second row seat 1 (14-1) may be brighter than the brightness of the second row seat 2 (14-2).
  • the brightness of the driver's seat (12-1) and the passenger's seat (12-2) may be brighter than the brightness of the second row seat 1 (14-1).
  • the processor (120 can measure the brightness of a plurality of first row seats (12-1, 12-2) and adjust the delay time/pulse width modulation control signals (1821, 1822) based on the brightness difference of the plurality of first row seats (12-1, 12-2).
  • the processor (120) can perform a logical AND operation to multiply the adjusted delay time/pulse width modulation control signals (1821, 1822) by the exposure time control signal (1810), thereby adjusting the brightness of the first row left light (111-1L) and the first row right light (111-1R).
  • the processor (120) can measure the brightness of a plurality of second row seats (14-1, 14-2) and adjust the delay time/pulse width modulation control signals (1823, 1824) based on the brightness difference of the plurality of second row seats (14-1, 14-2).
  • the processor (120) can perform a logical AND operation to multiply the adjusted delay time/pulse width modulation control signals (1823, 1824) by the exposure time control signal (1810), thereby adjusting the brightness of the second row left side lights (111-2L) and the second row right side lights (111-2R). As the brightness of the second row left light (111-2L) and the second row right light (111-2R) is adjusted, the brightness of the second row seat 1 (14-1) and the second row seat 2 (14-2) can be adjusted equally.
  • FIG. 20 is a drawing for explaining an operation performed by an electronic device (100) using artificial intelligence technology according to one embodiment of the present disclosure.
  • At least one of the following operations performed by the electronic device (100): i) acquiring a frame for proximity sensing according to a preset frame rate ratio among a plurality of image frames acquired according to the frame rate per second through a camera (110, see FIGS. 4 and 5); ii) determining whether there is proximity between the infrared light (111) of the camera (110) and a passenger in a vehicle based on a pixel brightness value of the acquired frame for proximity sensing; and iii) adjusting the brightness of the infrared light (111) based on a result of determining whether there is proximity, may be performed using an artificial intelligence (AI) technology that performs a calculation through a neural network.
  • AI artificial intelligence
  • At least one of the operations of controlling the brightness of the first row seat (12) by applying an on-time signal with a controlled ratio to the first row lighting (111-1) can be performed using artificial intelligence (AI) technology that performs calculations through a neural network.
  • AI artificial intelligence
  • AI technology is a technology that obtains the desired result by analyzing and/or processing input data, such as by classifying it, based on operations through a neural network.
  • a neural network can receive input data, perform operations for the aforementioned analysis and/or classification, and output result data.
  • 'training' can mean training the neural network to discover or learn on its own a method for analyzing input data for the neural network, a method for classifying input data, and/or a method for extracting features necessary for generating result data from input data.
  • the neural network can learn learning data (e.g., multiple different images) and optimize the weight values within the neural network. Then, by processing the input data through the neural network with the optimized weight values, the desired result is output.
  • a neural network can be classified as a deep neural network when the number of hidden layers, which are internal layers that perform calculations, is plural, that is, when the depth of the neural network that performs calculations increases.
  • Neural networks include, for example, a convolutional neural network, a recurrent neural network, a restricted Boltzmann machine, a deep belief network, a bidirectional recurrent deep neural network, and deep Q-networks, but are not limited to the examples described above.
  • the neural network can be subdivided.
  • a convolutional neural network can be subdivided into a D-CNN (Deep Convolution Neural Network) or a Capsnet neural network (not shown).
  • An 'AI model' may mean a neural network including at least one layer that receives input data and operates to output a desired result.
  • an 'AI model' may mean an algorithm that performs a calculation through a neural network to output a desired result, a set of multiple algorithms, a processor for executing an algorithm (or a set of algorithms), software for executing an algorithm (or a set of algorithms), or hardware for executing an algorithm (or a set of algorithms).
  • At least one of the following operations: i) acquiring a frame for proximity sensing according to a preset frame rate ratio among a plurality of image frames acquired according to the frame rate per second through the camera (110), ii) judging whether there is proximity between the infrared light (111) of the camera (110) and a passenger in the vehicle based on the pixel brightness value of the acquired frame for proximity sensing, and iii) adjusting the brightness of the infrared light (111) based on the result of judging whether there is proximity, may be performed based on an AI model.
  • At least one of the following operations i) applying an on time signal, in which a plurality of infrared lights (111-1, 111-2) are emitted in synchronization with the exposure time of the camera (110) described above, to the plurality of infrared lights (111-1, 111-2), ii) adjusting the on time signal ratio of the first row light (111-1) illuminating the first row seat (12) among the plurality of infrared lights (111-1, 111-2) to be different from the on time signal ratio of the second row light (111-2) illuminating the second row seat (14), and iii) applying an on time signal with an adjusted ratio to the first row light (111-1) to adjust the brightness of the first row seat (12), may be performed based on an AI model. Can be.
  • a neural network (2000) can be trained by receiving training data. Then, the trained neural network (2000) receives input data (2010) as an input terminal (2020), and the input terminal (2020), hidden layer (2030), and output terminal (2040) can perform operations to analyze the input data (2010) and data transmitted from the previous layer to output output data (2050).
  • the hidden layer (2030) is illustrated as one layer, but this is only an example, and the hidden layer (2030) may be composed of multiple layers.
  • the neural network (2000) can be trained to compare a luminance value of a frame for proximity sensing with a preset threshold value, and determine that an occupant in a vehicle is in proximity to an infrared light (111) if the luminance value of the frame for proximity sensing exceeds the threshold value as a result of the comparison.
  • the neural network (2000) can be trained to turn off power applied to the infrared light (111) when it is determined that an occupant in the vehicle is close to the infrared light (111).
  • the neural network (2000) can be trained to adjust the on time signal ratio of the infrared light (111) by adjusting the pulse duty that controls the light emission of the infrared light (111) through pulse width modulation (PWM) when it is determined that an occupant in the vehicle is close to the infrared light (111).
  • PWM pulse width modulation
  • the neural network (2000) can be trained to control the current value of the power applied to the infrared light (111) to adjust the brightness of the infrared light (111) when it is determined that an occupant in the vehicle is close to the infrared light (111).
  • the neural network (2000) can be trained to control the exposure time of the infrared light (111) to adjust the brightness of the infrared light (111) when it is determined that an occupant in the vehicle is close to the infrared light (111).
  • the neural network (2000) can be trained to adjust the on-time signal ratio of the first row light (111-1) by applying a delay time within a time period synchronized to the exposure time of the camera (110).
  • the neural network (2000) can be trained to control the on-time signal ratio of the first row light (111-1) by controlling the pulse duty for controlling the light emission of the first row light (111-1) through Pulse Width Modulation.
  • the neural network (2000) can control the on-time signal ratio of the first row light (111-1) by applying a delay time within a time period synchronized to the exposure time of the camera (110) and controlling the pulse duty for controlling the light emission of the first row light (111-1) to which the delay time is applied through pulse width modulation.
  • data or program code related to a neural network (2000) that performs at least one of the following operations: i) acquiring a frame for proximity sensing according to a preset frame ratio among a plurality of image frames acquired according to the frame per second through the camera (110), ii) determining whether there is proximity between the infrared light (111) of the camera (110) and an occupant in a vehicle based on a pixel brightness value of the acquired frame for proximity sensing, and iii) adjusting the brightness of the infrared light (111) based on a result of determining whether there is proximity, is stored in a memory (130, see FIG. 4), and learning using the neural network (2000) can be performed by a processor (120, see FIG. 4).
  • the processor (120) may include an artificial intelligence-only processor such as an NPU (Neural Processing Unit).
  • At least one of the following operations is performed: i) applying an on time signal to the plurality of infrared lights (111-1, 111-2) to emit light in synchronization with the exposure time of the camera (110), ii) adjusting an on time signal ratio of the first row light (111-1) illuminating the first row seat (12) among the plurality of infrared lights (111-1, 111-2) to be different from the on time signal ratio of the second row light (111-2) illuminating the second row seat (14) based on the difference in brightness between the first row seat (12) and the second row seat (14) in the vehicle due to the plurality of infrared lights (111-1, 111-2), and iii) applying an on time signal with an adjusted ratio to the first row light (111-1) to adjust the brightness of the first row seat (12).
  • Data or program code related to the neural network (2000) is stored in the memory (130), and learning using the neural network (2000) can be performed by the processor (120).
  • the present invention is not limited thereto, and the neural network (2000) that performs at least one of the following operations: i) acquiring a frame for proximity sensing according to a preset frame ratio among a plurality of image frames acquired according to the frame per second through the camera (110), ii) determining whether there is proximity between the infrared light (111) of the camera (110) and a passenger in the vehicle based on the pixel brightness value of the acquired frame for proximity sensing, and iii) adjusting the brightness of the infrared light (111) based on the result of determining whether there is proximity, may be implemented in a separate device (not shown) or processor (not shown) that is distinct from the electronic device (100).
  • At least one of the following is performed: i) an operation of applying an on time signal, in which a plurality of infrared lights (111-1, 111-2) are emitted, to the plurality of infrared lights (111-1, 111-2) in synchronization with the exposure time of the camera (110), ii) an operation of adjusting an on time signal ratio of the first row light (111-1) illuminating the first row seat (12) among the plurality of infrared lights (111-1, 111-2) to be different from an on time signal ratio of the second row light (111-2) illuminating the second row seat (14) based on the difference in brightness between the first row seat (12) and the second row seat (14) in the vehicle due to the plurality of infrared lights (111-1, 111-2), and iii) an operation of applying an on time signal with an adjusted ratio to the first row light (111-1) to adjust the brightness of the first row seat (12).
  • the neural network (2000) may be implemented in a separate device (not shown) or
  • the operation via the neural network (2000) described above may also be performed by a server (200, see FIGS. 21 and 22) capable of communicating with an electronic device (100) via a wireless communication network according to one embodiment. Communication between the electronic device (100) and the server (200) is described with reference to FIGS. 21 and 22.
  • FIG. 21 is a drawing illustrating an electronic device (100) according to the disclosed embodiment that operates in conjunction with a server (200).
  • the electronic device (100) may include a camera (110), a processor (120), and a memory (130). In one embodiment of the present disclosure, the electronic device (100) may further include a communication interface (140, see FIG. 21).
  • the camera (110), the processor (120), and the memory (130) illustrated in FIG. 21 are identical to the camera (110, see FIG. 4), the processor (120, see FIG. 4), and the memory (130, see FIG. 4) illustrated and described in FIG. 4, and therefore, a redundant description will be omitted.
  • the server (200) can transmit and receive data with the electronic device (100) through a communication network (400) and process the data.
  • the server (200) may include a communication interface (210) for communicating with an electronic device (100), a processor (220) for performing at least one instruction, and a database (230).
  • the server (200) may train an AI model and store the trained AI model. Then, the server (200) may perform at least one of the following operations using the trained AI model: i) obtaining a frame for proximity sensing according to a preset frame number ratio among a plurality of image frames, ii) determining whether there is proximity between an infrared light (111) of a camera (110) and a passenger in a vehicle based on a pixel brightness value of the obtained frame for proximity sensing, and iii) adjusting the brightness of the infrared light (111) based on a result of determining whether there is proximity.
  • the server (200) performs the following operations: i) applying an on time signal, in which a plurality of infrared lights (111-1, 111-2) are emitted, to the plurality of infrared lights (111-1, 111-2) in synchronization with the exposure time of the camera (110); ii) adjusting an on time signal ratio of the first row light (111-1) illuminating the first row seat (12) among the plurality of infrared lights (111-1, 111-2) to be different from an on time signal ratio of the second row light (111-2) illuminating the second row seat (14) based on a difference in brightness between the first row seat (12) and the second row seat (14) in the vehicle due to the plurality of infrared lights (111-1, 111-2); and iii) applying an on time signal with an adjusted ratio to the first row light (111-1) to adjust the brightness of the first row seat (12). You can perform at least one of the actions.
  • the electronic device (100) may be limited in the storage capacity of the memory (130, see FIG. 4), the computational processing speed of the processor (120, see FIG. 4), the collection capability of the learning data set, etc., compared to the server (200). Therefore, operations requiring the storage of large amounts of data and a large amount of computation may be performed in the server (200), and then the necessary data and/or AI model may be transmitted to the electronic device (100) via a communication network. Then, the electronic device (100) may receive and use the necessary data and/or AI model via the server (200), thereby performing the necessary operations quickly and easily, even without a processor having a large amount of memory and a fast computational capability.
  • the server (200) may include a neural network (2000) as described in FIG. 20.
  • Figure 22 is a drawing for explaining Figure 21 in detail.
  • the server (200) may include a communication interface (210), a processor (220), and a database (230).
  • the communication interface (210) performs communication with an external device through a wireless communication network.
  • the external device may include a server that can perform at least one of the operations required by the electronic device (100) or transmit data required by the electronic device (100).
  • the communication interface (210) includes at least one communication module, such as a short-range communication module, a wired communication module, a mobile communication module, a broadcast reception module, etc.
  • at least one communication module means a communication module capable of transmitting and receiving data through a network following a communication standard, such as a tuner that performs broadcast reception, Bluetooth, Wi-Fi, Wibro (Wireless broadband), WiMAX (World Interoperability for Microwave Access), CDMA, WCDMA, the Internet, 3G, 4G, 5G, and/or a communication method using millimeter waves (mmWave).
  • a communication standard such as a tuner that performs broadcast reception, Bluetooth, Wi-Fi, Wibro (Wireless broadband), WiMAX (World Interoperability for Microwave Access), CDMA, WCDMA, the Internet, 3G, 4G, 5G, and/or a communication method using millimeter waves (mmWave).
  • the mobile communication module included in the communication interface (210) can perform communication with another device (e.g., the electronic device (100)) located remotely through a communication network according to a communication standard such as 3G, 4G (LTE), and/or 5G.
  • the communication module that performs communication with another device located remotely may be referred to as a 'remote communication module'.
  • the electronic device (100) further includes a communication interface (140), and the communication interface (210) of the server (200) can transmit and receive data with the communication interface (140) of the electronic device (100) wiredly or wirelessly.
  • the processor (220) controls the overall operation of the server (200). For example, the processor (220) can perform required operations by executing at least one of the instructions and at least one of the programs of the server (200).
  • the database (230) may include a memory (not shown) and may store at least one of at least one instruction, program, and data required for the server (200) to perform a predetermined operation within the memory (not shown). In addition, the database (230) may store data required for the server (200) to perform operations according to a neural network.
  • the server (200) may store the neural network (2000) described in FIG. 20.
  • the neural network (2000) may be stored in at least one of the processor (220) and the database (230).
  • the neural network (2000) included in the server (200) may be a neural network that has completed learning.
  • the server (200) can transmit a neural network (2000, see FIG. 20) for which learning has been completed to the communication interface (140) of the electronic device (100) through the communication interface (210).
  • the electronic device (100) can obtain and store the neural network (2000) for which learning has been completed, and obtain the desired output data through the neural network (2000).
  • the present disclosure provides a method for controlling the brightness of infrared lighting in a vehicle by an electronic device (100).
  • the operating method of the electronic device (100) may include a step of acquiring a frame for proximity sensing according to a preset frame number ratio among a plurality of image frames acquired according to the frame per second through a camera (110).
  • the operating method of the electronic device (100) may include a step of determining whether there is proximity between the infrared lighting of the camera (110) and an occupant in the vehicle based on a pixel brightness value of the frame for proximity sensing.
  • the operating method of the electronic device (100) may include a step of adjusting the brightness of the infrared lighting (111) based on a result of determining whether there is proximity.
  • the preset frame count ratio may represent a ratio of one proximity sensing frame to a number of image frames acquired during one time period in which the preset number of image frames and one proximity sensing frame are acquired.
  • the exposure time of infrared light irradiated to the passenger by infrared lighting (111) to obtain the frame for proximity sensing may be fixed to a preset time.
  • the pixel brightness value of the frame for proximity sensing can be obtained based on the signal level of an analog-to-digital converter (ADC) output that converts an analog signal of light obtained by an image sensor (112) of a camera (110) into a digital signal.
  • ADC analog-to-digital converter
  • the step of determining whether there is proximity between the infrared light (111) and the passenger may include the step of comparing the brightness value of the acquired proximity sensing frame with a preset threshold value; and the step of determining that the passenger is in proximity to the infrared light (111) if the brightness value of the proximity sensing frame exceeds the threshold value as a result of the comparison.
  • the step of adjusting the brightness of the infrared light (111) may include a step of turning off power applied to the infrared light (111) when it is determined that a passenger is close to the infrared light (111).
  • the electronic device (100) in the step of controlling the brightness of the infrared light (111), can control the on time signal ratio of the infrared light (111) by controlling the pulse duty for controlling the light emission of the infrared light (111) through pulse width modulation (PWM) when it is determined that the passenger is close to the infrared light (111).
  • PWM pulse width modulation
  • the electronic device (100) in the step of adjusting the brightness of the infrared light (111), can control the current value of the power applied to the infrared light (111) to adjust the brightness of the infrared light (111) when it is determined that the passenger is close to the infrared light (111).
  • the electronic device (100) in the step of adjusting the brightness of the infrared light (111), can control the exposure time of the infrared light (111) to adjust the brightness of the infrared light (111) when it is determined that the passenger is close to the infrared light (111).
  • the image sensor (112) of the camera (110) includes a plurality of light-receiving sensors, and the plurality of light-receiving sensors may be divided into a plurality of regions according to their positions.
  • the step of determining whether there is proximity between the infrared light (111) and the passenger may include the step of obtaining region-specific luminance value information of a proximity sensing frame by receiving light reflected from the passenger using the plurality of light-receiving sensors included in each of the plurality of divided regions; and the step of applying a weight value assigned to each region to the obtained region-specific luminance value information to determine whether the passenger is in proximity to the infrared light (111).
  • the present disclosure provides an electronic device (100) that controls the brightness of lighting based on proximity to an occupant in a vehicle (10).
  • the electronic device (100) may include a camera (110) including an infrared illuminator (111) configured to irradiate an infrared light to an occupant in a vehicle (10) and an image sensor (112) configured to receive light reflected from the occupant and obtain an image, a memory (130) that stores at least one instruction, and at least one processor (120) that executes the at least one instruction.
  • the image sensor (112) may obtain a plurality of image frames according to a frame per second number, and may obtain a frame for proximity sensing according to a preset frame number ratio between the times at which the plurality of image frames are obtained.
  • the at least one processor (120) can obtain brightness information of pixels of a frame for proximity sensing, and determine whether there is proximity between the camera (110) and a passenger in the vehicle (10) based on the obtained brightness information of the frame for proximity sensing.
  • the at least one processor (120) can adjust the brightness of the infrared light (111) based on the result of determining whether there is proximity.
  • the preset frame count ratio may represent a ratio of one proximity sensing frame to a number of image frames acquired during one time period in which the preset number of image frames and one proximity sensing frame are acquired.
  • the exposure time of infrared light irradiated to a passenger by infrared lighting (111) to obtain the frame for proximity sensing may be fixed to a preset time.
  • the at least one processor (120) can obtain a pixel brightness value of a frame for proximity sensing based on a signal level of an analog-to-digital converter (ADC) output that converts an analog signal of light obtained by an image sensor (112) into a digital signal.
  • ADC analog-to-digital converter
  • the at least one processor (120) compares a luminance value of an acquired proximity sensing frame with a preset threshold value, and if the luminance value of the proximity sensing frame exceeds the threshold value as a result of the comparison, it can be determined that the passenger is in proximity to the infrared light (111).
  • the at least one processor (120) may turn off power applied to the infrared light (111) when it is determined that a passenger is close to the infrared light (111).
  • the at least one processor (120) can adjust the on time signal ratio of the infrared light (111) by controlling the pulse duty for controlling the light emission of the infrared light (111) by performing pulse width modulation (PWM).
  • PWM pulse width modulation
  • the at least one processor (120) can control the current value of the power applied to the infrared light (111) to adjust the brightness of the infrared light (111).
  • the at least one processor (120) can control the exposure time of the infrared light (111) to adjust the brightness of the infrared light (111).
  • the image sensor (112) includes a plurality of light-receiving sensors (700-1 to 700-n), and the plurality of light-receiving sensors (700-1 to 700-n) can be divided into a plurality of regions according to their positions.
  • the at least one processor (120) can obtain region-specific luminance value information of a proximity sensing frame by receiving light reflected from a passenger using the plurality of light-receiving sensors (700-1 to 700-n) included in each of the plurality of divided regions.
  • the at least one processor (120) can determine whether the passenger is close to the infrared light (111) by applying a weight value assigned to each region to the obtained region-specific luminance value information.
  • the present disclosure provides an operating method of an electronic device (100) that controls a plurality of infrared lights (111-1, 111-2) included in a vehicle (10).
  • the operating method of the electronic device (100) may include a step of applying an on time signal, by which the plurality of infrared lights (111-1, 111-2) are emitted, to the plurality of infrared lights (111-1, 111-2) in synchronization with an exposure time of a camera (110).
  • the operating method of the electronic device (100) may include a step of adjusting an on-time signal ratio of the first row light (111-1) illuminating the first row seat among the plurality of infrared lights (111-1, 111-2) to be different from the on-time signal ratio of the second row light (111-2) illuminating the second row seat based on a difference in brightness between the first row seat and the second row seat in the vehicle (10) due to the plurality of infrared lights (111-1, 111-2).
  • the operating method of the electronic device (100) may include a step of adjusting the brightness of the first row seat by applying an on-time signal whose ratio is adjusted to the first row light (111-1).
  • the electronic device (100) in the step of adjusting the on-time signal ratio of the first column light (111-1), can adjust the on-time signal ratio of the first column light (111-1) by applying a delay time within a time period synchronized with the exposure time of the image sensor (112) of the camera (110).
  • the electronic device (100) in the step of adjusting the on-time signal ratio of the first column light (111-1), can adjust the on-time signal ratio of the first column light (111-1) by adjusting the pulse duty that controls the light emission of the first column light (111-1) through pulse width modulation.
  • the electronic device (100) in the step of adjusting the on-time signal ratio of the first column light (111-1), can adjust the on-time signal ratio of the first column light (111-1) by applying a delay time within a time period synchronized with the exposure time of the image sensor (112) of the camera (110) and controlling the pulse duty for controlling the light emission of the first column light (111-1) to which the delay time is applied through pulse width modulation.
  • the first row lights (111-1) may be configured in plurality.
  • the electronic device (100) may adjust the on-time signal ratio of each of the plurality of first row lights (111-1) differently based on the brightness difference of the plurality of first row seats by each of the plurality of first row lights (111-1).
  • the second row lights (111-2) may be configured in multiple units.
  • the operating method of the electronic device (100) may further include a step of differently adjusting the on-time signal ratio of each of the plurality of second row lights based on the brightness difference of the plurality of second row seats by each of the plurality of second row lights.
  • the present disclosure provides an electronic device (100) for controlling the brightness of infrared lighting of a camera (110) included in a vehicle (10).
  • the electronic device (100) may include a camera (110) including a plurality of infrared lights (111-1, 111-2) configured to irradiate infrared light to a passenger in the vehicle (10) and an image sensor (112) configured to receive light reflected from the passenger and obtain an image, a memory (130) for storing at least one instruction, and at least one processor (120) for executing at least one instruction.
  • the plurality of infrared lights (111-1, 111-2) may include a first row light (111-1) for irradiating infrared light to a first row seat of the vehicle (10) and a second row light (111-2) for irradiating infrared light to a second row seat of the vehicle (10).
  • the at least one processor (120) can apply an on time signal at which the plurality of infrared lights (111-1, 111-2) are emitted to the plurality of infrared lights (111-1, 111-2) in synchronization with the exposure time of the image sensor (112).
  • the at least one processor (120) can adjust an on time signal ratio of the first row light (111-1) to be different from an on time signal ratio of the second row light (111-2) based on a difference in brightness between the first row seats and the second row seats in the vehicle (10) due to the plurality of infrared lights (111-1, 111-2).
  • the at least one processor (120) can apply an on time signal with an adjusted ratio to the first row light (111-1) to adjust the brightness of the first row seats.
  • the at least one processor (120) can adjust the on-time signal ratio of the first row light (111-1) by applying a delay time within a time period synchronized to the exposure time of the image sensor (112).
  • the at least one processor (120) can adjust the on-time signal ratio of the first row light (111-1) by controlling the pulse duty for controlling the light emission of the first row light (111-1) through pulse width modulation.
  • the at least one processor (120) can control the on-time signal ratio of the first row light (111-1) by applying a delay time within a time period synchronized with the exposure time of the image sensor (112) and controlling the pulse duty for controlling the light emission of the first row light (111-1) to which the delay time is applied through pulse width modulation.
  • the first row lights (111-1) may be configured in plurality.
  • the at least one processor (120) may adjust the on-time signal ratio of each of the plurality of first row lights (111-1) differently based on the brightness difference of the plurality of first row seats by each of the plurality of first row lights (111-1).
  • the second row lights (111-2) may be configured in multiple units.
  • the at least one processor (120) may adjust the on-time signal ratio of each of the plurality of second row lights differently based on the brightness difference of the plurality of second row seats by each of the plurality of second row lights.
  • the program executed by the electronic device (100) described herein may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • the program may be executed by any system capable of executing computer-readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing device to do a desired operation or may independently or collectively command the processing device.
  • the software may be implemented as a computer program including instructions stored on a computer-readable storage medium.
  • Examples of the computer-readable storage medium include magnetic storage media (e.g., read-only memory (ROM), random-access memory (RAM), floppy disks, hard disks, etc.) and optical readable media (e.g., CD-ROMs, DVDs (Digital Versatile Discs)).
  • the computer-readable storage medium may be distributed across network-connected computer systems so that the computer-readable code may be stored and executed in a distributed manner.
  • the medium may be readable by a computer, stored in a memory, and executed by a processor.
  • a computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not contain signals and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • a 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • a program according to the embodiments disclosed in this specification may be provided as a computer program product.
  • the computer program product may be traded between sellers and buyers as a commodity.
  • the computer program product may include a software program, a computer-readable storage medium having the software program stored thereon.
  • the computer program product may include a product in the form of a software program (e.g., a downloadable application) distributed electronically by a manufacturer of an electronic device or through an electronic market (e.g., Samsung Galaxy Store TM , Google Play Store TM ).
  • a software program e.g., a downloadable application
  • the storage medium may be a storage medium of a cloud server of a manufacturer of a vehicle (10), a server of a manufacturer of an electronic device (100), a server of an electronic market, or a relay server that temporarily stores the software program.
  • the computer program product may include a storage medium of the server (200) or a storage medium of the other electronic device in a system comprising an electronic device (100), a server (200, see FIGS. 21 and 22), and another electronic device.
  • a third device e.g., a mobile device such as a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a software program itself that is transmitted from the electronic device (100) to another electronic device or the third device, or transmitted from the third device to the electronic device (100).
  • one of the electronic device (100), another electronic device, and a third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • a third device e.g., a mobile device such as a smart phone
  • two or more of the electronic device (100), another electronic device, and a third device may execute the computer program product to perform the method according to the disclosed embodiments in a distributed manner.
  • the electronic device (100) may execute a computer program product stored in a memory (130, see FIG. 4) to control another electronic device that is in communication with the electronic device (100) to perform a method according to the disclosed embodiments.
  • a third device may execute a computer program product to control an electronic device in communication with the third device to perform a method according to the disclosed embodiment.
  • the third device may download the computer program product from the electronic device (100) and execute the downloaded computer program product.
  • the third device may execute the computer program product provided in a pre-loaded state to perform the method according to the disclosed embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)

Abstract

탑승자 모니터링 시스템(Occupant Monitoring System)에서 카메라에 포함되는 적외선 조명에 의해 차량 내 탑승자에게 적외선 광이 과도하게 조사되어 탑승자의 눈 건강에 악영향을 미칠 수 있는 문제를 방지하기 위하여, 카메라의 적외선 조명에 대한 탑승자의 근접 여부를 판단하고, 근접 여부의 판단 결과에 기초하여 적외선 조명의 밝기를 조절하는 전자 장치 및 그 동작 방법을 제공한다. 탑승자 모니터링 시스템에서 카메라에 포함되는 복수의 적외선 조명에 의한 제1 열 좌석과 제2 열 좌석 간의 밝기 차이를 조절하는 전자 장치 및 그 동작 방법을 제공한다.

Description

차량 내 적외선 조명의 밝기를 제어하는 전자 장치 및 그 동작 방법
본 개시는 차량 내에 탑재된 적외선 조명의 밝기를 제어하는 전자 장치 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시는 차량 내의 적외선 조명을 포함하는 카메라로 구성된 탑승자 모니터링 시스템(occupant monitoring system, OMS)에서 탑승자와 카메라 간의 근접 여부에 기초하여 적외선 조명의 밝기를 조절하는 전자 장치 및 그 동작 방법을 개시한다.
본 개시는 복수의 적외선 조명을 포함하는 탑승자 모니터링 시스템에서, 복수의 적외선 조명이 배치된 위치에 의한 이미지의 밝기 차이를 보정하기 위하여 복수의 적외선 조명을 제어하는 전자 장치 및 그 동작 방법을 개시한다.
탑승자 모니터링 시스템(occupant monitoring system, OMS)은 운전자 뿐만 아니라 탑승자의 얼굴을 인식하여 전방을 주시하지 않거나 졸음 운전을 하는 등의 동작을 감지하여 주의를 주는 시스템이다. 탑승자 모니터링 시스템은 차량 내부에 설치된 카메라를 통해 운전자 또는 탑승자를 촬영하여 얼굴을 인식하거나, 원격에서 차량 내부의 물건을 확인하는 기능 등을 수행할 수 있다. 최근에는 안전 운전을 위하여 탑승자 모니터링 시스템이 법제화되면서, 사람에게 방해받지 않고, 이미지 분석을 하기 위하여 적외선 대역의 조명을 채용하고 있다. 탑승자 모니터링 시스템에서는 운전자 뿐만 아니라, 조수석 탑승자 또는 후열 좌석 탑승자를 모니터링하기 위한 영상 장치(예를 들어, 카메라)가 추가되면서, 차량 내부에 탑재되는 조명의 개수는 점점 증가하는 추세이다.
적외선 대역 조명은 사람의 눈에 보이지 않는 장점이 있으나, 대기 전파 효율은 낮은 특성을 갖는 바, 높은 출력을 필요로 한다. 또한, 근거리 액티브 조명의 특성 상 별 감쇄 비율이 높아, 작은 거리 차이에도 밝기 차이가 현저하게 큰 경우가 있다. 예를 들어, 2 내지 3미터(m)의 거리에서 인식 가능한 수준의 조명은 0.2 내지 0.3미터 이내의 거리에서는 높은 출력을 갖게 된다. 또한, 적외선 대역의 조명은 사람의 눈에는 보이지 않는 파장의 대역이기 때문에, 문제가 발생되는 경우 사람이 인지할 수 없어 차량의 운전자 또는 탑승자의 불안 요소로 작용할 수 있다.
본 개시의 일 측면(aspect)은 차량 내 적외선 조명의 밝기를 제어하는 전자 장치의 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치의 동작 방법은 카메라를 통해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 카메라의 적외선 조명과 차량 내 탑승자 간의 근접 여부를 판단하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 근접 여부의 판단 결과에 기초하여 적외선 조명의 밝기를 조절(adjust)하는 단계를 포함할 수 있다.
본 개시의 다른 측면(another aspect)은 차량 내 탑승자와의 근접 여부에 기초하여 조명의 밝기를 제어하는 전자 장치를 제공한다. 본 개시의 일 실시예에 따른 전자 장치는 차량 내의 탑승자에 적외선 광을 조사하도록 구성되는 적외선 조명 및 탑승자로부터 반사된 광을 수광하여 이미지를 획득하도록 구성되는 이미지 센서를 포함하는 카메라, 적어도 하나의 명령어들(instructions)를 저장하는 메모리, 및 상기 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 이미지 센서는 초당 프레임 수(frame per second)에 따라 복수의 이미지 프레임을 획득하고, 복수의 이미지 프레임이 획득되는 시점 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득할 수 있다. 상기 적어도 하나의 프로세서는 근접 센싱용 프레임의 픽셀의 휘도 정보를 획득하고, 획득된 근접 센싱용 프레임의 휘도 정보에 기초하여 카메라와 차량 내 탑승자 간의 근접 여부를 판단할 수 있다. 상기 적어도 하나의 프로세서는 근접 여부의 판단 결과에 기초하여 적외선 조명의 밝기를 조절(adjust)할 수 있다.
본 개시의 다른 측면은 차량 내에 포함된 복수의 적외선 조명을 제어하는 전자 장치의 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치의 동작 방법은 카메라의 노출 시간(exposure time)에 동기화하여 복수의 적외선 조명이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명에 인가하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 복수의 적외선 조명에 의한 차량 내 제1 열 좌석 및 제2 열 좌석의 밝기 차이에 기초하여, 복수의 적외선 조명 중 제1 열 좌석을 비추는 제1 열 조명의 온 타임 신호 비율을 제2 열 좌석을 비추는 제2 열 조명의 온 타임 신호 비율과 상이하게 조절하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 비율이 조절된 온 타임 신호를 제1 열 조명에 인가하여 제1 열 좌석의 밝기를 조절하는 단계를 포함할 수 있다.
본 개시의 다른 측면은 차량 내에 포함된 카메라의 적외선 조명의 밝기를 제어하는 전자 장치를 제공한다. 본 개시의 일 실시예에 따른 전자 장치는 차량 내의 탑승자에 적외선 광을 조사하도록 구성되는 복수의 적외선 조명 및 탑승자로부터 반사된 광을 수광하여 이미지를 획득하도록 구성되는 이미지 센서를 포함하는 카메라, 적어도 하나의 명령어들(instructions)를 저장하는 메모리, 및 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 복수의 적외선 조명은 차량의 제1 열 좌석에 적외선 광을 조사하는 제1 열 조명 및 차량의 제2 열 좌석에 적외선 광을 조사하는 제2 열 조명을 포함할 수 있다. 상기 적어도 하나의 프로세서는, 이미지 센서의 노출 시간(exposure time)에 동기화하여 복수의 적외선 조명이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명에 인가할 수 있다. 상기 적어도 하나의 프로세서는 복수의 적외선 조명에 의한 차량 내 제1 열 좌석 및 제2 열 좌석의 밝기 차이에 기초하여, 제1 열 조명의 온 타임 신호 비율을 제2 열 조명의 온 타임 신호 비율과 상이하게 조절할 수 있다. 상기 적어도 하나의 프로세서는 비율이 조절된 온 타임 신호를 제1 열 조명에 인가하여 제1 열 좌석의 밝기를 조절할 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 카메라와 탑승자 간의 거리를 측정하여 근접 여부를 판단하는 동작을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치가 차량 내 적외선 조명의 밝기를 제어하는 방법을 도시한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치가 이미지 센서를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명의 밝기를 제어하는 동작을 도시한 타이밍 차트(timing chart)이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 구성 요소를 도시한 블록도이다.
도 5는 본 개시의 일 실시예에 따른 카메라의 구성 요소를 도시한 블록도이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치가 카메라의 적외선 조명과 차량 내 탑승자 간의 근접 여부를 판단하는 방법을 도시한 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 복수의 영역으로 분할된 복수의 수광 센서를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치가 이미지 센서를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명의 밝기를 제어하는 동작을 도시한 타이밍 차트이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 이미지 센서를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명의 밝기를 제어하는 동작을 도시한 타이밍 차트이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치가 이미지 센서를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명의 밝기를 제어하는 동작을 도시한 타이밍 차트이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치가 이미지 센서를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명의 밝기를 제어하는 동작을 도시한 타이밍 차트이다.
도 12a는 본 개시의 일 실시예에 따른 복수의 적외선 조명 및 이미지 센서의 차량 내 배치를 도시한 단면도이다.
도 12b는 본 개시의 일 실시예에 따른 복수의 적외선 조명 및 이미지 센서의 차량 내 배치를 도시한 도면이다.
도 13은 본 개시의 일 실시예에 따른 전자 장치가 차량 내에 탑재된 복수의 적외선 조명을 제어하는 방법을 도시한 흐름도이다.
도 14는 본 개시의 일 실시예에 따른 전자 장치가 제1 열 조명의 온 타임 신호 비율을 조절하는 동작을 도시한 타이밍 차트이다.
도 15는 본 개시의 일 실시예에 따른 전자 장치가 제1 열 조명의 온 타임 신호 비율을 조절하는 동작을 도시한 타이밍 차트이다.
도 16은 본 개시의 일 실시예에 따른 전자 장치가 제1 열 조명의 온 타임 신호 비율을 조절하는 동작을 도시한 타이밍 차트이다.
도 17은 본 개시의 일 실시예에 따른 전자 장치가 제1 열 조명의 온 타임 신호 비율을 조절하기 위한 논리곱 게이트를 도시한 도면이다.
도 18은 본 개시의 일 실시예에 따른 전자 장치가 복수의 적외선 조명의 온 타임 신호 비율을 조절하기 위한 논리곱 게이트를 도시한 도면이다.
도 19는 본 개시의 일 실시예에 따른 전자 장치가 복수의 적외선 조명의 밝기를 제어하여 차량 내 좌석 간 밝기 차이를 조정하는 동작을 설명하기 위한 도면이다.
도 20은 본 개시의 전자 장치가 인공 지능 기술을 이용하여 수행하는 동작을 설명하기 위한 도면이다.
도 21은 본 개시의 전자 장치가 서버와 연동하여 동작하는 개시된 실시예를 도시한 도면이다.
도 22는 도 21을 상세하게 설명하기 위한 도면이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
또한, 본 개시에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
본 개시에서, '차량'은 도로 또는 선로 위를 달리는 운송 수단이다. 차량은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하고, 배터리를 포함하는 배터리 전기 차량(Battery Electric Vehicle) 등을 포함하는 개념일 수 있다. 본 개시의 일 실시예에서, 차량은 자동차, 기차, 및 오토바이 중 적어도 하나를 포함할 수 있다.
본 개시에서, '탑승자 모니터링 시스템(occupant monitoring system, OMS)'은 카메라를 이용하여 운전자, 조수석 탑승자, 및 후열 탑승자 중 적어도 하나의 탑승자를 촬영하여 이미지를 획득하고, 기 학습된 인공지능 모델을 이용하여 이미지로부터 탑승자의 얼굴을 인식하거나, 탑승자의 동작(예를 들어, 졸음, 수면, 대화, 모바일 디바이스 조작 등)을 인식하는 장치를 나타낸다. 본 개시의 일 실시예에서, 탑승자 모니터링 시스템은 탑승자를 촬영하는 카메라를 포함하고, 카메라는 탑승자를 향하여 적외선 광을 조사하는 적외선 조명을 포함할 수 있다.
본 개시에서, '적외선 조명'은 적외선 대역의 광을 발광하고, 탑승자를 향하여 적외선 광을 조사하도록 구성되는 장치이다. 본 개시의 일 실시예에서, 적외선 조명은 탑승자 모니터링 시스템을 위한 카메라에 포함되는 구성일 수 있다. 적외선 광의 대역은 예를 들어, 940나노미터(nm)일 수 있으나, 이에 한정되지 않는다.
본 개시에서, '근접 센싱용 프레임(proximity frame)'은 탑승자 모니터링 시스템을 위한 카메라의 적외선 조명과 차량 내 탑승자 간의 근접 여부를 판단하기 위하여, 카메라에 의해 추가로 획득되는 이미지 프레임이다. 본 개시의 일 실시예에서, 근접 센싱용 프레임은 카메라에 의해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 추가로 획득되는 이미지 프레임일 수 있다.
본 개시에서, '기 설정된 프레임 수 비율'은 소정의 주기(time period) 동안 획득된 복수의 이미지 프레임의 개수와 근접 센싱용 프레임 1개의 비율을 나타낸다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 카메라(110)와 차량(10) 내 탑승자 간의 거리를 측정하여 근접 여부를 판단하는 동작을 도시한 도면이다.
도 1을 참조하면, 전자 장치(100)는 카메라(110)를 포함하고, 카메라(110)를 통해 차량(10) 내의 운전자(1)를 포함하는 탑승자를 모니터링하는 탑승자 모니터링 시스템으로 구현될 수 있다. 본 개시에서, '탑승자 모니터링 시스템(occupant monitoring system, OMS)'은 카메라(110)를 이용하여 운전자(1) 뿐만 아니라, 조수석 탑승자, 및 후열 탑승자 중 적어도 하나의 탑승자를 촬영하여 이미지를 획득하고, 기 학습된 인공지능 모델을 이용하여 이미지로부터 탑승자의 얼굴을 인식하거나, 탑승자의 동작(예를 들어, 졸음, 수면, 대화, 모바일 디바이스 조작 등)을 인식하는 장치를 나타낸다.
카메라(110)는 차량(10) 내에 장착되고(mounted), 차량(10) 내의 탑승자를 촬영할 수 있다. 카메라(110)는 제1 열 좌석(12)에 탑승한 운전자(1) 또는 조수석 탑승자를 촬영하기 위하여, 탑승자에게 적외선 대역의 광을 조사하는 적외선 조명(111, 도 4 참조)을 포함할 수 있다. 운전자(1)의 경우에는 실시간 모니터링이 필요하기 때문에, 카메라(110)에 포함되는 적외선 조명(111)은 운전자(1)에 대해서는 항상 켜져 있는 상태로 시간의 흐름에 따라 계속 적외선 광을 조사할 수 있다. 본 개시의 일 실시예에서, 적외선 조명(111)은 제1 열 좌석(12) 중 조수석에 탑승한 조수석 탑승자 또는 제2 열 좌석(14)에 탑승한 탑승자에 대해서도 적외선 광을 조사할 수 있다.
적외선 조명(111)에 의해 탑승자에게 조사되는 적외선 광은 일반적으로 사람이 눈으로 볼 수 없는 대역, 예를 들어 940나노미터(nm) 대역을 갖는다. 적외선 광이 운전자(1)를 포함하는 탑승자에게 조사되는 시간이 늘어날수록 적외선 광에 의한 탑승자의 눈 손상이 발생될 수 있다. 적외선 조명(111)은 예를 들어, VCSELs(Vertical-Cavity Surface-Emission Lasers) 또는 LED(Light-Emitting Diode) 등 적외선 광원을 포함하는 바, 탑승자의 눈 건강에 관한 요구가 많아지고 있다. 탑승자 모니터링 시스템을 동작시키면서, 탑승자의 눈 손상을 방지하기 위해서는 탑승자가 카메라(110)의 조명 근처로 접근하여 탑승자와 카메라(110) 간의 거리(d)가 일정 임계 거리 미만으로 줄어드는 경우 액티브(active) 방식의 적외선 조명(111)을 오프(off)하는 등 적외선 조명(111)의 밝기를 낮게 조절할 필요가 있다.
본 개시의 전자 장치(100)는 카메라(110)를 포함하고, 카메라(110)를 이용하여 탑승자와 카메라(110) 간의 거리(d)가 일정 임계 거리 미만으로 근접하는지 여부를 판단하고, 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 낮게 조절할 수 있다. 본 개시의 전자 장치(100)가 탑승자가 카메라(110)에 임계 거리 미만으로 근접하였는지 여부를 판단하고, 근접 여부에 기초하여 적외선 조명(111)의 밝기를 조절하는 구체적인 기능 및/또는 동작에 대해서는 도 2 및 도 3을 참조하여 상세하게 설명하기로 한다.
도 2는 본 개시의 일 실시예에 따른 전자 장치가 차량 내 적외선 조명의 밝기를 제어하는 방법을 도시한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치가 이미지 센서(112)를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명(111)의 밝기를 제어하는 동작을 도시한 타이밍 차트(timing chart)(300)이다.
이하에서는, 도 2와 도 3을 함께 참조하여 본 개시의 일 실시예에 따른 전자 장치(100, 도 1 및 도 4 참조)가 탑승자와 카메라의 적외선 조명(111) 간의 근접 여부에 기초하여 적외선 조명(111)의 밝기를 조절하는 기능 및/또는 동작을 설명하기로 한다.
도 2의 단계 S210에서, 전자 장치(100)는 카메라를 통해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득한다. 본 개시의 일 실시예에서, 카메라(110, 도 1 및 도 4 참조)는 적외선 조명(111, 도 3 및 도 4 참조) 및 이미지 센서(112, 도 3 및 도 4 참조)를 포함할 수 있다. 전자 장치(100)는 카메라(110)의 적외선 조명(111)을 제어하여 차량 내 탑승자에게 적외선 광을 조사하고, 이미지 센서(112)를 이용하여 적외선 광이 조사된 탑승자를 촬영하여 복수의 이미지 프레임을 획득할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)는 복수의 이미지 프레임이 획득되는 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득할 수 있다. 본 개시에서, '근접 센싱용 프레임(proximity frame)'은 카메라(110)의 적외선 조명(111)과 차량 내 탑승자 간의 근접 여부를 판단하기 위하여, 카메라(110)에 의해 획득되는 복수의 이미지 프레임 외에 추가로 획득되는 이미지 프레임을 의미한다. 본 개시의 일 실시예에서, 근접 센싱용 프레임은 카메라(110)에 의해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 추가로 획득되는 이미지 프레임일 수 있다.
도 3에 도시된 타이밍 차트(300)를 함께 참조하면, 전자 장치(100)는 카메라(110)에 포함되는 적외선 조명(111)을 제어하여 기 설정된 시간 주기(time period)(T)에 따라 적외선 광을 조사하고, 이미지 센서(112)를 제어하여 적외선 광이 조사된 탑승자를 촬영하여 복수의 이미지 프레임(i1, i2, i3, ...)을 획득할 수 있다. 본 개시의 일 실시예에서, 적외선 조명(111)은 자동 노출(auto exposure)을 수행하여, 적외선 광이 조사되는 노출 시간(exposure time) 및 게인(gain)을 자동으로 조절하여 적외선 광을 조사할 수 있다. 예를 들어, 적외선 조명(111)은 6.5ms의 노출 시간 동안 제1 적외선 광(l1)을 조사하고, 이미지 센서(112)는 제1 적외선 광(l1)이 조사된 탑승자를 촬영하여 제1 이미지 프레임(i1)을 획득할 수 있다. 또한, 적외선 조명(111)은 5ms의 노출 시간 동안 제2 적외선 광(l2)을 조사하고, 이미지 센서(112)는 제2 적외선 광(l2)이 조사된 탑승자를 촬영하여 제1 이미지 프레임(i2)을 획득할 수 있다. 타이밍 차트(300)에서 제1 이미지 프레임(i1)이 획득되는 시점과 제2 이미지 프레임(i2)이 획득되는 시점 간의 시간 주기(T)는 초당 프레임 수에 따라 결정되고, 예를 들어, 33ms일 수 있다. 그러나, 이에 한정되는 것은 아니다. 전술한 방식을 통해 전자 장치(100)는 복수의 이미지 프레임(i1, i2, i3, ...)을 획득할 수 있다. 타이밍 차트(300)에 포함된 노출 시간, 예를 들어, 6.5ms, 5ms, 3.5ms, 0.7ms 등은 설명의 편의를 위한 예시일 뿐이고, 노출 시간이 도 3에 도시된 바와 같이 한정되는 것은 아니다.
전자 장치(100)는 복수의 이미지 프레임(i1, i2, i3, ...)을 획득되는 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임(pf1, pf2, pf3)을 획득할 수 있다. 본 개시의 일 실시예에서, '기 설정된 프레임 수 비율'은 소정의 시간 주기(time period) 동안 획득된 복수의 이미지 프레임의 개수와 근접 센싱용 프레임 1개의 비율을 나타낸다. 도 3의 타이밍 차트(300)를 참조하면, 제1 이미지 프레임(i1)과 제2 이미지 프레임(i2)을 포함하는 2개의 이미지 프레임이 획득된 이후 1개의 제1 근접 센싱용 프레임(pf1)이 획득될 수 있다. 마찬가지로, 제3 이미지 프레임(i3)과 제4 이미지 프레임(i4)이 획득된 이후 1개의 제2 근접 센싱용 프레임(pf2)이 획득될 수 있다. 이 경우, 기 설정된 프레임 수 비율은 2개의 이미지 프레임 당 1개의 근접 센싱용 프레임의 비율을 나타낼 수 있다. 2개의 이미지 프레임 당 1개의 근접 센싱용 프레임의 비율은 설명의 편의를 위한 예시일 뿐, 본 개시의 '기 설정된 프레임 수 비율'이 도 3에 도시된 바와 같이 한정되는 것은 아니다.
전자 장치(100)는 적외선 조명(111)을 제어하여 기 설정된 프레임 수 비율에 따라 근접 센싱용 적외선 광(lp)을 조사하고, 이미지 센서(112)를 통해 탑승자로부터 반사된 반사 광을 수광하여 근접 센싱용 프레임(pf1, pf2, pf3)을 획득할 수 있다. 본 개시의 일 실시예에서, 적외선 조명(111)은 수동 노출(manual exposure)을 수행하여, 기 설정된 값으로 고정된 노출 시간(exposure time) 및 게인(gain)으로 근접 센싱용 적외선 광(lp)을 조사할 수 있다. 도 3에 도시된 타이밍 차트(300)를 참조하면, 근접 센싱용 적외선 광(lp)의 노출 시간은 4ms로 고정되고, 게인도 고정될 수 있다. 그러나, 이는 설명의 편의를 위한 것이고, 근접 센싱용 적외선 광(lp)의 노출 시간이 4ms로 한정되는 것은 아니다. 적외선 조명(111)의 근접 센싱용 적외선 광(lp)의 노출 시간 및 게인의 고정된 값에 관한 캘리브레이션 정보는 카메라(110)의 비휘발성 메모리(116, 도 5 참조)에 미리 저장되어 있을 수 있다. 적외선 조명(111)은 비휘발성 메모리(116)으로부터 기 저장된 노출 시간 및 게인의 값을 획득하여 근접 센싱용 적외선 광(lp)의 노출 시간 및 게인을 적용할 수 있다. 이미지 센서(112)는 근접 센싱용 적외선 광이 조사됨에 따라 탑승자로부터 반사된 반사 광을 수광하고, 아날로그-디지털 변환기(analog-to-digital converter, ADC)를 통해 광의 아날로그 신호를 디지털 신호로 변환함으로써 근접 센싱용 프레임(pf1, pf2, pf3)을 획득할 수 있다.
복수의 이미지 프레임(i1, i2, i3, ...)은 일반적으로 하드웨어 사양에 맞춰서 획득되므로, 로스(loss)를 최소화하기 위해서는 근접 센싱용 프레임(pf1, pf2, pf3)이 획득되는 시간 주기(Tp)는 복수의 이미지 프레임(i1, i2, i3, ...)가 획득되는 시간 주기(T)에 비하여 비교적 짧은 시간으로 구성된다.
다시 도 2를 참조하면, 단계 S220에서 전자 장치(100)는 근접 센싱용 프레임의 휘도 값에 기초하여 카메라의 적외선 조명과 차량 내 탑승자 간의 근접 여부를 판단한다. 본 개시의 일 실시예에서, 전자 장치(100)는 카메라의 이미지 센서(112, 도 3 참조)에 획득된 아날로그-디지털 변환기 출력(ADC 출력)의 신호 레벨에 기초하여 근접 센싱용 프레임의 휘도 값에 관한 정보를 획득할 수 있다. 예를 들어, 탑승자가 카메라의 적외선 조명으로부터 멀리 이격되어 위치하는 경우, 탑승자로부터 반사되는 반사 광의 광량이 적기 때문에 이미지 센서(112)에 의한 아날로그-디지털 변환기 출력의 신호 레벨이 낮을 것이다. 반대의 예로, 탑승자가 카메라의 적외선 조명에 근접하는 경우, 탑승자로부터 반사되는 반사 광의 광량이 상대적으로 많기 때문에 이미지 센서(112)에 의한 아날로그-디지털 변환기 출력의 신호 레벨은 상대적으로 높을 수 있다. 이와 같은 원리를 이용하여, 전자 장치(100)는 근접 센싱용 프레임의 휘도 값을 기 설정된 임계값(threshold)와 비교하고, 비교 결과 근접 센싱용 프레임의 휘도 값이 임계값을 초과하는 경우 탑승자가 적외선 조명과 근접한 위치에 있는 것으로 판단할 수 있다.
도 3에 도시된 타이밍 차트(300)를 함께 참조하면, 이미지 센서(112)에 의해 획득된 제1 근접 센싱용 프레임(pf1)은 픽셀의 휘도 값이 낮을 수 있다. 예를 들어, 제1 근접 센싱용 프레임(pf1)의 휘도값은 0 내지 128 사이의 값일 수 있다. 이 경우, 전자 장치(100)는 제1 근접 센싱용 프레임(pf1)의 휘도 값에 기초하여 탑승자가 카메라의 적외선 조명과 멀리 이격된 위치에 있다고 판단할 수 있다. 제2 근접 센싱용 프레임(pf2)의 경우, 픽셀의 휘도 값이 중간 정도일 수 있다. 예를 들어, 제2 근접 센싱용 프레임(pf2)의 휘도 값은 128일 수 있다. 제3 근접 센싱용 프레임(pf3)의 경우, 픽셀의 휘도 값이 높을 수 있다. 예를 들어, 제3 근접 센싱용 프레임(pf3)의 휘도 값은 128 내지 256 사이 또는 256 이상으로 포화(saturation)될 수 있다. 이 경우, 전자 장치(100)는 제3 근접 센싱용 프레임(pf3)의 휘도 값에 기초하여 탑승자가 카메라의 적외선 조명과 근접한 위치에 있다고 판단할 수 있다.
도 2를 참조하면, 단계 S230에서 전자 장치(100)는 근접 여부의 판단 결과에 기초하여 적외선 조명의 밝기를 조절한다. 본 개시의 일 실시예에서, 근접 센싱용 프레임의 휘도 값이 임계값을 초과하여 탑승자가 적외선 조명과 근접하다고 판단되는 경우, 전자 장치(100)는 적외선 조명에 인가되는 전원을 오프(off)할 수 있다. 이를 통해, 전자 장치(100)는 탑승자에게 조사되는 적외선 광의 광량을 낮게 조절할 수 있다.
본 개시의 일 실시예에서, 탑승자가 적외선 조명과 근접하다고 판단되는 경우, 전자 장치(100)는 펄스 폭 변조(pulse width modulation, PWM)을 통해 적외선 조명의 발광을 제어하는 펄스 듀티(pulse duty)를 조절함으로써, 적외선 조명의 온 타임(on time) 비율을 조절할 수 있다. 적외선 조명의 온 타임 비율을 낮게 조절함으로써, 전자 장치(100)는 탑승자에게 조사되는 적외선 광의 광량을 낮출 수 있다.
본 개시의 일 실시예에서, 탑승자가 적외선 조명과 근접하다고 판단되는 경우, 전자 장치(100)는 적외선 조명에 인가되는 전원의 전류 값을 제어하여 적외선 조명의 밝기를 조절할 수 있다. 적외선 조명에 인가되는 전원의 전류 값을 제어함으로써, 전자 장치(100)는 탑승자에게 조사되는 적외선 광의 광량을 낮출 수 있다.
본 개시의 일 실시예에서, 탑승자가 적외선 조명과 근접하다고 판단되는 경우, 전자 장치(100)는 적외선 조명의 노출 시간을 제어하여 적외선 조명의 밝기를 조절할 수 있다. 적외선 조명의 노출 시간을 제어함으로써, 전자 장치(100)는 탑승자에게 조사되는 적외선 광의 광량을 낮출 수 있다.
도 1에서 설명한 바와 같이, 적외선 조명(111, 도 3 및 도 4 참조)을 포함하는 카메라로 구성된 탑승자 모니터링 시스템에서, 적외선 광이 탑승자에게 조사되는 시간이 늘어날수록 적외선 광에 의한 탑승자의 눈 손상이 발생될 수 있다. 특히, 적외선 조명(111)은 예를 들어, VCSELs(Vertical-Cavity Surface-Emission Lasers) 또는 LED(Light-Emitting Diode) 등 적외선 광원을 포함하는 바, 탑승자의 눈 건강에 관한 요구가 많아지고 있다. 따라서, 탑승자의 눈 손상을 방지하기 위해서는 탑승자가 카메라(110)의 조명 근처로 접근하는 경우 액티브(active) 방식의 적외선 조명(111)을 오프(off)하는 등 적외선 조명(111)의 밝기를 낮게 조절할 필요가 있다.
본 개시는 탑승자 모니터링 시스템에서 카메라(110)에 포함되는 적외선 조명(111)에 의해 차량 내 탑승자에게 적외선 광이 과도하게 조사되어 탑승자의 눈 건강에 악영향을 미칠 수 있는 문제를 방지하기 위하여, 카메라(110)의 적외선 조명(111)에 대한 탑승자의 근접 여부를 판단하고, 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 조절하는 전자 장치(100) 및 그 동작 방법을 제공하는 것을 목적으로 한다.
도 2 및 도 3에 도시된 실시예에 따른 전자 장치(100)는, 카메라(110)의 이미지 센서(112)를 통해 복수의 이미지 프레임(i1, i2, i3, ...)이 획득되는 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임(pf1, pf2, pf3)을 추가로 획득하고, 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 카메라(110)의 적외선 조명(111)에 대한 탑승자의 근접 여부를 판단하며, 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 조절(adjust)할 수 있다. 이를 통해, 본 개시의 전자 장치(100)는 적외선 광이 조사됨에 따른 차량 내 탑승자의 눈 건강 손상을 미연에 방지할 수 있다. 또한, 본 개시의 일 실시예에 따른 전자 장치(100)는 근접 센서 등 별도의 하드웨어를 추가할 필요없이, 적외선 조명(111)과 탑승자 간의 근접 여부를 판단할 수 있는 바, 비용 절감 및 효율성 증대라는 기술적 효과를 제공한다.
본 개시의 일 실시예에 따른 전자 장치(100)는 별도의 근접 센서 등 부품을 필요로 하지 않으므로, 기존의 탑승자 모니터링 시스템의 하드웨어 설계를 유지할 수 있는 바, 기존 시스템의 활용도를 향상시킬 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치(100)의 구성 요소를 도시한 블록도이다.
전자 장치(100)는 탑승자 모니터링 시스템(OMS)으로 구현될 수 있다. 도 4를 참조하면, 전자 장치(100)는 카메라(110), 프로세서(120), 및 메모리(130)를 포함할 수 있다. 카메라(110), 프로세서(120), 및 메모리(130)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다. 도 4에는 전자 장치(100)의 동작을 설명하기 위한 필수적 구성 요소만이 도시되었고, 전자 장치(100)가 포함하는 구성 요소가 도 4에 도시된 바와 같이 한정되는 것은 아니다. 본 개시의 일 실시예에서, 전자 장치(100)는 서버(200, 도 22 및 도 23 참조) 또는 외부 디바이스와 데이터 송수신을 수행하도록 구성된 통신 인터페이스(140, 도 23 참조)를 더 포함할 수도 있다.
카메라(110)는 차량 내에 탑승한 운전자 및/또는 동승자 등 탑승자를 촬영하여 이미지를 획득하도록 구성된다. 본 개시의 일 실시예에서, 카메라(110)는 탑승자의 얼굴을 촬영하여 얼굴 이미지를 획득할 수 있다. 카메라(110)는 적외선 조명(111) 및 이미지 센서(112)를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 카메라(110)는 적외선 조명(111) 및 이미지 센서(112) 뿐만 아니라, 인터페이스 회로(113, 도 5 참조), 커넥터(114, 도 5 참조), 전력 관리 회로(115, 도 5 참조), 및 비휘발성 메모리(116, 도 5 참조)를 더 포함할 수 있다. 카메라(110)에 포함되는 구성 중 인터페이스 회로(113), 커넥터(114), 전력 관리 회로(115), 및 비휘발성 메모리(116)에 대해서는 도 5에서 상세하게 설명하기로 한다.
적외선 조명(111)은 적외선 대역의 광을 발광하고, 차량 내의 탑승자를 향하여 적외선 대역의 광을 조사하도록 구성된다. 적외선 조명(111)은 예를 들어, 점 패턴의 적외선 광을 방출 및 조사하는 VCSELs(Vertical-Cavity Surface-Emission Lasers)로 구성된 광원을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 적외선 조명(111)은 레이저 광원 또는 LED(Light-Emitting Diode) 광원을 포함할 수 있다.
적외선 조명(111)은 이미지 센서(112)의 노출 시간(exposure time)에 동기화되어 동작될 수 있다. 즉, 적외선 조명(111)은 이미지 촬영 시 카메라(110)의 노출 시간 동안 광원에 전원을 공급하여 적외선을 발광하고, 적외선 광을 조사할 수 있다. 본 개시의 일 실시예에서, 적외선 조명(111)은 사람의 눈에는 보이지 않는 940나노미터(nm) 대역의 적외선 광을 조사할 수 있다. 그러나, 적외선 조명(111)에 의해 조사되는 광의 대역이 940nm로 한정되는 것은 아니다.
본 개시의 일 실시예에서, 적외선 조명(111)은 복수 개로 구성될 수 있다. 예를 들어, 적외선 조명(111)은 제1 열 좌석(12, 도 12a 및 도 12b 참조)에 적외선 광을 조사하는 제1 열 조명(111-1, 도 12a 및 도 12b 참조) 및 제2 열 좌석(14, 도 12a 및 도 12b 참조)에 적외선 광을 조사하는 제2 열 조명(111-2, 도 12a 및 도 12b 참조)를 포함할 수 있다.
이미지 센서(112)는 조사된 적외선 광이 탑승자로부터 반사된 반사 광을 수광하여 탑승자 이미지를 생성하도록 구성된다. 본 개시의 일 실시예에서, 이미지 센서(112)는 렌즈를 통해 탑승자로부터 반사된 반사 광을 집광하고, 수광 센서를 통해 반사 광을 수광하며, 아날로그-디지털 변환기(analog-to-digital converter)를 통해 아날로그 광 신호를 디지털 신호로 변환함으로써 탑승자 이미지를 획득할 수 있다. 이미지 센서(112)는 예를 들어, CMOS(complementary metal oxide semi-conductor), CCD(charge coupled device), 또는 CPD(charge priming device)) 중 어느 하나로 구성될 수 있다.
적외선 조명(111)은 초당 프레임 수(frame per second)에 따라 결정된 시간 주기에 따라 적외선 광을 조사하고, 이미지 센서(112)는 적외선 광이 탑승자에 의해 반사된 반사 광을 수광하여 복수의 이미지 프레임을 획득할 수 있다. 적외선 조명(111)은 기 설정된 프레임 수 비율에 따라 근접 센싱용 적외선 광을 조사하고, 이미지 센서(112)는 탑승자로부터 반사된 반사 광을 수광하여 근접 센싱용 프레임을 획득할 수 있다. 본 개시의 일 실시예에서, '기 설정된 프레임 수 비율'은 소정의 시간 주기(time period) 동안 획득된 복수의 이미지 프레임의 개수와 근접 센싱용 프레임 1개의 비율을 나타낸다. 여기서, '소정의 시간 주기'는 기 설정된 개수의 이미지 프레임 및 1개의 근접 센싱용 프레임이 획득되는 1회의 주기(time period)를 나타낸다. 예를 들어, 2개의 이미지 프레임이 획득된 이후 1개의 근접 센싱용 프레임이 획득되는 경우 프레임 수 비율은 2:1일 수 있다.
본 개시의 일 실시예에서, 근접 센싱용 적외선 광은 수동 노출(manual exposure) 모드로 조사되고, 이 경우 근접 센싱용 적외선 광의 노출 시간(exposure time) 및 게인(gain)은 기 설정된 값으로 고정될 수 있다. 예를 들어, 근접 센싱용 적외선 광의 노출 시간은 4ms로 고정될 수 있으나, 이에 한정되는 것은 아니다.
이미지 센서(112)는 근접 센싱용 프레임을 획득하는 과정에서 아날로그 광 신호를 디지털 신호로 변환하여 출력된 신호 레벨에 관한 정보를 프로세서(120)에 제공할 수 있다.
프로세서(120)는 메모리(130)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(120)는 산술, 로직 및 입출력 연산과 이미지 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 도 4에는 프로세서(120)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 본 개시의 일 실시예에서, 프로세서(120)는 하나 이상의 복수 개의 엘리먼트들로 구성될 수 있다. 프로세서(120)는 CPU(Central Processing Unit), AP(Application Processor), DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU(Graphic Processing Unit), VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU(Neural Processing Unit)와 같은 인공지능 전용 프로세서일 수 있다. 프로세서(120)가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
본 개시의 일 실시예에서, 프로세서(120)는 8bit MCU(8-bit Microcontroller) 또는 PLD(Programmable Logic Devices)로 구현될 수도 있다.
메모리(130)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 또는 광 디스크 중 적어도 하나의 타입의 저장매체로 구성될 수 있다.
메모리(130)에는 전자 장치(100)가 카메라(110)의 적외선 조명(111)과 탑승자 간의 근접 여부에 기초하여 적외선 조명(111)을 제어하는 기능 및/또는 동작들과 관련된 명령어들(instructions)이 저장될 수 있다. 본 개시의 일 실시예에서, 메모리(130)에는 프로세서(120)가 판독할 수 있는 명령어들, 알고리즘(algorithm), 데이터 구조, 프로그램 코드(program code), 및 애플리케이션 프로그램(application program) 중 적어도 하나가 저장될 수 있다. 메모리(130)에 저장되는 명령어들, 알고리즘, 데이터 구조, 및 프로그램 코드는 예를 들어, C,　C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
프로세서(120) 및 메모리(130)는 차량 내에 포함되는 ECU(electronic control unit)를 구성할 수 있다. 이하에서는, 프로세서(120)가 메모리(130)에 저장된 모듈들에 포함된 명령어들 또는 프로그램 코드들을 실행함으로써 수행하는 기능 또는 동작을 설명하기로 한다.
프로세서(120)는 근접 센싱용 프레임의 휘도 값 정보에 기초하여 카메라(110)의 적외선 조명(111)과 차량 내 탑승자 간의 근접 여부를 판단할 수 있다. 본 개시의 일 실시예에서, 프로세서(120)는 카메라(110)의 이미지 센서(112)에 의해 획득된 아날로그-디지털 변환기(analog-to-digital converter, ADC) 출력의 신호 레벨에 기초하여 근접 센싱용 프레임의 휘도 값에 관한 정보를 획득할 수 있다. 프로세서(120)는 근접 센싱용 프레임의 휘도 값을 기 설정된 임계값(threshold)과 비교하고, 비교 결과 근접 센싱용 프레임의 휘도 값이 임계값을 초과하는 경우 탑승자가 적외선 조명(111)에 근접한 위치에 있는 것으로 판단할 수 있다.
본 개시의 일 실시예에서, 이미지 센서(112)는 복수의 수광 센서를 포함하고, 복수의 수광 센서는 위치에 따라 복수의 영역으로 분할될 수 있다. 복수의 수광 센서는 적외선 광이 탑승자로부터 반사된 반사 광을 수광하여 근접 센싱용 프레임을 획득할 수 있다. 이 경우, 프로세서(120)는 근접 센싱용 프레임의 영역 별 휘도 값 정보를 획득하고, 영역 별 휘도 값 정보에 영역 별로 할당된 가중치(weight value)를 적용하여 탑승자의 카메라(110)의 적외선 조명(111)에 대한 근접 여부를 판단할 수 있다. 이미지 센서(112)에 포함되는 복수의 수광 센서가 복수의 영역으로 분할되고, 영역 별 가중치를 적용하여 탑승자와 적외선 조명(111) 간의 근접 여부를 판단하는 구체적인 실시예에 대해서는 도 7에서 상세하게 설명하기로 한다.
프로세서(120)는 탑승자가 카메라(110)의 적외선 조명(111)에 근접한 위치에 있다고 판단된 경우, 적외선 조명의 밝기를 낮게 조절할 수 있다. 본 개시의 일 실시예에서, 근접 센싱용 프레임의 휘도 값이 임계값을 초과하여 탑승자가 카메라와 근접하다고 판단되는 경우, 프로세서(120)는 적외선 조명(111)에 인가되는 전원을 오프(off)할 수 있다. 프로세서(120)가 적외선 조명(111)의 전원을 오프하여 탑승자에게 조사되는 적외선 광의 광량을 낮추는 실시예에 대해서는 도 8에 도시된 타이밍 차트(800)를 참조하여 상세하게 설명하기로 한다.
본 개시의 일 실시예에서, 탑승자가 적외선 조명(111)에 근접하다고 판단되는 경우, 프로세서(120)는 펄스 폭 변조(pulse width modulation, PWM)을 통해 적외선 조명(111)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절함으로써, 적외선 조명(111)의 온 타임(on time) 비율을 조절할 수 있다. 프로세서(120)가 적외선 조명(111)의 온 타임 비율을 낮게 조절하여 탑승자에게 조사되는 적외선 광의 광량을 낮추는 실시예에 대해서는 도 9에 도시된 타이밍 차트(900)를 참조하여 상세하게 설명하기로 한다.
본 개시의 일 실시예에서, 탑승자가 적외선 조명(111)에 근접하다고 판단되는 경우, 프로세서(120)는 적외선 조명(111)에 인가되는 전원의 전류 값을 제어하여 적외선 조명(111)의 밝기를 조절할 수 있다. 프로세서(120)가 적외선 조명(111)에 인가되는 전원의 전류 값을 제어하여 탑승자에게 조사되는 적외선 광의 광량을 낮추는 실시예에 대해서는 도 10에 도시된 타이밍 차트(1000)를 참조하여 상세하게 설명하기로 한다.
본 개시의 일 실시예에서, 탑승자가 적외선 조명(111)에 근접하다고 판단되는 경우, 프로세서(120)는 적외선 조명(111)의 발광 시간을 제어하여 적외선 조명(111)의 밝기를 조절할 수 있다. 프로세서(120)가 적외선 조명(111)의 발광 시간을 제어하여 탑승자에게 조사되는 적외선 광의 광량을 낮추는 실시예에 대해서는 도 11에 도시된 타이밍 차트(1100)를 참조하여 상세하게 설명하기로 한다.
도 5는 본 개시의 일 실시예에 따른 카메라(110)의 구성 요소를 도시한 블록도이다.
도 5를 참조하면, 카메라(110)는 적외선 조명(111), 이미지 센서(112), 인터페이스 회로(113), 커넥터(114), 전력 관리 회로(115), 및 비휘발성 메모리(116)를 포함할 수 있다. 카메라(110)에 포함된 적외선 조명(111), 이미지 센서(112), 인터페이스 회로(113), 커넥터(114), 전력 관리 회로(115), 및 비휘발성 메모리(116)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
적외선 조명(111)은 적외선 대역의 광을 발광하고, 차량 내의 탑승자를 향하여 적외선 대역의 광을 조사하도록 구성된다. 본 개시의 일 실시예에서, 적외선 조명(111)은 광학 필터(111a), 적외선 광원(111b), 및 드라이버(111c)를 포함할 수 있다.
광학 필터(optical filter)(111a)는 적외선 대역의 광을 발광할 수 있도록 광의 파장 대역을 필터링(filtering)하는 광학 소자(optical element)로 구성될 수 있다. 본 개시의 일 실시예에서, 광학 필터(111a)는 직진성을 갖는 광의 경로를 변경하는 광학 소자를 더 포함할 수 있다.
적외선 광원(111b)은 적외선 대역의 광을 생성하고, 콜리메이팅 렌즈를 통해 광을 방출하도록 구성된다. 본 개시의 일 실시예에서, 적외선 광원(111b)은 사람의 눈에는 보이지 않는 940나노미터(nm) 대역의 적외선 광을 조사할 수 있다. 그러나, 적외선 광원(111b)에 의해 조사되는 광의 대역이 940nm로 한정되는 것은 아니다. 적외선 광원(111b)은 예를 들어, 점 패턴 광을 생성하고, 방출하는 VCSELs(Vertical-Cavity Surface-Emission Lasers)로 구성될 수 있다. 그러나, 이에 한정되지 않고, 적외선 광원(111b)은 LED(Light-Emitting Diode) 광원 또는 레이저 광원으로 구성될 수 있다.
드라이버(111c)는 적외선 광원(111b)에 의해 적외선 광이 조사되는 조사 타이밍 및 노출 시간(exposure time)을 제어하도록 구성되는 집적 회로로 구성된다.
이미지 센서(112)는 적외선 조명(111)에 의해 조사된 적외선 광이 탑승자로부터 반사된 반사 광을 수광하여 탑승자 이미지를 생성하도록 구성된다. 이미지 센서(112)는 인터페이스 회로(113)로부터 제어 신호를 수신하고, 적외선 조명(111)에 제어 신호를 전송함으로써, 적외선 조명(111)의 광 조사 타이밍 및 노출 시간을 제어할 수 있다.
이미지 센서(112)는 광학 필터(112a), 렌즈(112b), 및 수광 센서(112c)를 포함할 수 있다.
광학 필터(112a)는 특정 적외선 대역의 광을 수광할 수 있도록 광의 파장 대역을 필터링하는 광학 소자(optical element)로 구성될 수 있다. 본 개시의 일 실시예에서, 광학 필터(112a)는 렌즈(112b)를 통해 반사 광이 수광될 수 있도록 광의 경로를 변경하여 광을 집광하는 광학 소자를 포함할 수 있다.
렌즈(112b)는 탑승자에 의해 반사된 반사 광이 광의 지향성(directivity)에 따라 분산되지 않고, 평행하게 직진하도록 하여 이미지 센서(112)에 상이 맺힐 수 있도록 하는 광학 소자이다. 렌즈(112b)는 잘 알려진 공지의 하드웨어 구성이므로, 상세한 설명은 생략한다.
수광 센서(112c)는 렌즈(112b)를 통해 집광된 반사 광을 수광하여 아날로그 광 신호를 획득하고, 아날로그-디지털 변환기(analog-to-digital converter)를 통해 아날로그 광 신호를 디지털 신호로 변환함으로써 탑승자 이미지를 획득하도록 구성된다. 수광 센서(112c)는 예를 들어, 복수의 포토 다이오드로 구성될 수 있다. 복수의 포토 다이오드는 n×m 매트릭스 형태의 어레이를 구성하도록 배치될 수 있다. 본 개시의 일 실시예에서, 수광 센서(112c)는 복수의 SPAD(Single-Photon Avalanche Diode)로 구성될 수 있으나, 이에 한정되는 것은 아니다.
인터페이스 회로(113)는 병렬 파이프라인을 통해 이미지 센서(112)로부터 복수의 이미지 프레임을 획득하고, 획득된 복수의 이미지 프레임을 직렬(serial) 전송 방식으로 변환하여 커넥터(114)로 전송하는 집적 회로(integrated circuit)으로 구성된다. 인터페이스 회로(113)는 커넥터(114)를 통해 프로세서(120, 도 4 참조) 또는 ECU(electronic control unit)로부터 제어 신호를 수신하고, 수신된 제어 신호를 이미지 센서(112)에 전송하여 이미지 센서(112)를 제어할 수 있다.
커넥터(114)는 카메라(110)와 프로세서(120) 또는 차량 내 ECU를 연결하는 하드웨어 장치이다. 커넥터(114)는 프로세서(120) 또는 ECU로부터 제어 신호를 수신하고, 인터페이스 회로(113)에 제어 신호를 전송할 수 있다. 커넥터(114)는 인터페이스 회로(113)로부터 이미지 프레임을 획득하고, 획득된 이미지 프레임을 프로세서(120) 또는 ECU에 전송할 수 있다.
전력 관리 회로(power management integrated circuit, PMIC)(115)는 커넥터(114)로부터 전력을 공급받아 적외선 조명(111), 이미지 센서(112), 및 인터페이스 회로(113)에 구동 전력을 제공하는 집적 회로로 구성된다.
비휘발성 메모리(116)는 광학 필터(112a) 및 렌즈(112b)의 광학적 특성에 기초하여 결정된 캘리브레이션 데이터를 저장하는 메모리이다. '비휘발성 메모리(Non-volatile memory)(116)'는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 의미한다. 본 개시의 일 실시예에서, 비휘발성 메모리(116)는 EEPROM(electrically erasable programmable read-only memory)으로 구성될 수 있다. 그러나, 이에 한정되는 것은 아니고, 비휘발성 메모리(116)는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 외장 메모리(예를 들어 SD 또는 XD 메모리 등), 또는 광디스크 등으로 구성될 수도 있다.
비휘발성 메모리(116)는 이미지 센서(112)에 의해 출력되는 아날로그-디지털 변환기 출력의 신호 레벨에 따라 탑승자의 근접 여부를 판단하는 기준이 되는 임계값(threshold)에 관한 정보가 저장되어 있을 수 있다. 본 개시의 일 실시예에서, 인터페이스 회로(113)는 비휘발성 메모리(116)로부터 임계값 정보를 획득하고, 이미지 센서(112)에 의해 출력되는 아날로그-디지털 변환기 출력의 신호 레벨을 임계값과 비교하여 적외선 조명(111)에 관한 탑승자의 근접 여부를 판단할 수 있다. 이 경우, 인터페이스 회로(113)는 근접 여부의 판단 결과를 프로세서(120) 또는 차량 내 ECU에 제공할 수 있다.
도 6은 본 개시의 일 실시예에 따른 전자 장치(100)가 카메라와 차량 내 탑승자 간의 근접 여부를 판단하는 방법을 도시한 흐름도이다.
도 6에 도시된 단계 S610 내지 S630은 도 2의 단계 S220의 동작을 구체화한 단계들이다. 도 6에 도시된 단계 S610은 도 2의 단계 S210의 동작이 수행된 이후에 수행될 수 있다. 도 6에 도시된 단계 S630의 동작이 수행된 이후에는 도 2의 단계 S230이 수행될 수 있다.
단계 S610에서, 전자 장치(100)는 이미지 센서(112, 도 4 및 도 5 참조)에 의해 획득된 광의 아날로그 신호를 디지털 신호로 변환한 아날로그-디지털 변환기(analog-to-digital converter, ADC) 출력의 신호 레벨에 기초하여 근접 센싱용 프레임의 휘도 값을 획득한다. 본 개시의 일 실시예에서, 적외선 조명(111, 도 4 및 도 5 참조)에 의해 탑승자에게 적외선 광이 조사되면, 이미지 센서(112)는 수광 센서(112c, 도 5 참조)를 이용하여 탑승자에 의해 반사된 반사 광을 수광하고, 수광된 광의 아날로그 신호를 획득하며, 아날로그-디지털 변환기(ADC)를 통해 아날로그 신호를 디지털 신호로 변환함으로써 근접 센싱용 프레임을 획득할 수 있다. 전자 장치(100)의 프로세서(120, 도 4 참조)는 이미지 센서(112)의 아날로그-디지털 변환기에 의해 출력되는 디지털 출력의 신호 레벨에 기초하여 근접 센싱용 프레임의 휘도 값 정보를 획득할 수 있다.
단계 S620에서, 전자 장치(100)는 근접 센싱용 프레임의 휘도 값을 기 설정된 임계값(α)과 비교한다. '기 설정된 임계값(α)'은 탑승자와 카메라 간의 근접 여부를 판단하기 위하여 미리 설정된 픽셀의 휘도 값일 수 있다. 본 개시의 일 실시예에서, 임계값(α)은 사용자에 의해 미리 설정될 수 있다. 전자 장치(100)의 프로세서(120, 도 4 참조)는 카메라(110, 도 4 및 도 5 참조)의 비휘발성 메모리(116, 도 5 참조)를 로드(load)하여 임계값(α)에 관한 정보를 획득할 수 있다.
근접 센싱용 프레임의 휘도 값이 기 설정된 임계값(α)을 초과하는 경우(단계 S630), 전자 장치(100)는 탑승자가 카메라의 적외선 조명에 근접한 것으로 판단한다.
근접 센싱용 프레임의 휘도 값이 기 설정된 임계값(α) 이하인 경우, 전자 장치(100)는 다시 단계 S610을 수행하여 다음 시점에 획득된 근접 센싱용 프레임의 휘도 값을 획득한다.
도 7은 본 개시의 일 실시예에 따른 복수의 영역(710-1 내지 710-16)으로 분할된 복수의 수광 센서(700-1 내지 700-n)를 도시한 도면이다.
도 7을 참조하면, 이미지 센서(700)는 복수의 수광 센서(700-1 내지 700-n)를 포함할 수 있다. 복수의 수광 센서(700-1 내지 700-n)는 예를 들어, 복수의 포토 다이오드로 구성될 수 있다. 복수의 포토 다이오드는 n×m 매트릭스 형태의 어레이를 구성하도록 배치될 수 있다. 도 7의 실시예에서, 복수의 포토 다이오드는 16×16 매트릭스 형태의 어레이로 도시되었지만, 이는 설명의 편의를 위한 것이고, 본 개시의 복수의 수광 센서(700-1 내지 700-n)의 개수가 도 7에 도시된 바와 같이 한정되는 것은 아니다. 본 개시의 일 실시예에서, 복수의 수광 센서(700-1 내지 700-n)는 복수의 SPAD(Single-Photon Avalanche Diode)로 구성될 수도 있다. 그러나, 이에 한정되는 것은 아니다.
복수의 수광 센서(700-1 내지 700-n)는 배치된 위치에 따라 복수의 영역(710-1 내지 710-16)으로 분할될 수 있다. 도 7의 실시예에서, 복수의 수광 센서(700-1 내지 700-n)는 총 16개의 영역으로 분할되는 것으로 도시되었지만, 이는 설명의 편의를 위한 것이고, 본 개시의 수광 센서가 16개의 영역으로 분할되는 것으로 한정되지는 않는다.
복수의 수광 센서(700-1 내지 700-n)는 탑승자로부터 반사된 반사 광을 수광하여 광의 아날로그 신호를 획득할 수 있다. 복수의 수광 센서(700-1 내지 700-n)에 의해 획득된 아날로그 신호는 아날로그-디지털 변환기(analog-to-digital converter)에 의해 디지털 신호로 변환될 수 있다. 이미지 센서(700)는 변환된 디지털 신호에 별도의 후처리(post processing)를 거쳐 이미지를 획득할 수 있다. 이 경우, 복수의 수광 센서(700-1 내지 700-n) 각각은 이미지에 포함되는 복수의 픽셀들(pixel) 각각에 대응될 수 있다.
본 개시의 일 실시예에서, 전자 장치(100)는 이미지에 포함되는 복수의 픽셀들의 휘도 값에 기초하여 탑승자와 적외선 조명 간의 근접 여부를 판단함에 있어서, 복수의 영역(710-1 내지 710-16) 각각에 위치에 따른 가중치(weight value)를 적용할 수 있다. 일반적으로, 카메라를 통해 탑승자의 이미지를 촬영하는 경우 이미지 센서(700)를 통해 획득된 이미지에서 중앙부의 영역에는 얼굴이 포함되고, 중앙 부분을 제외한 나머지 영역에서는 배경이 촬영되거나 또는 탑승자의 가슴 부위가 촬영될 수 있다.
전자 장치(100)의 프로세서(120, 도 4 참조)는 이미지 센서(700)에 의해 획득된 근접 센싱용 프레임에 대하여, 영역 별로 가중치를 할당하고, 영역 별 픽셀의 휘도 값에 할당된 가중치를 적용할 수 있다. 도 7에 도시된 실시예에서, 프로세서(120)는 이미지 센서(700)의 복수의 영역(710-1 내지 710-16) 중 중앙 영역에 해당되는 영역, 예를 들어 제6 영역(710-6), 제7 영역(710-7), 제10 영역(710-10), 및 제11 영역(710-11)에 대하여 다른 영역들 대비 높은 가중치를 할당하고, 이미지 센서(700)를 통해 획득된 근접 센싱용 프레임의 제6 영역(710-6), 제7 영역(710-7), 제10 영역(710-10), 및 제11 영역(710-11)에 대응되는 영역의 픽셀의 휘도 값에 높은 가중치를 적용할 수 있다. 프로세서(120)는 가중치가 적용된 근접 센싱용 프레임의 휘도 값에 기초하여 카메라의 적외선 조명과 탑승자 간의 근접 여부를 판단할 수 있다.
카메라의 적외선 조명과 탑승자 간의 근접 여부를 판단함에 있어서, 탑승자의 눈 보호가 중요하다. 도 7에 도시된 실시예에 따른 전자 장치(100)는 이미지 센서(700)를 통해 근접 센싱용 프레임을 획득함에 있어서, 이미지 센서(700)에 포함되는 복수의 수광 센서(700-1 내지 700-n)를 배치된 위치에 따라 복수의 영역(710-1 내지 710-16)으로 분할하고, 복수의 영역(710-1 내지 710-16) 중 탑승자의 얼굴이 촬영될 가능성이 높은 중앙 영역, 예를 들어 제6 영역(710-6), 제7 영역(710-7), 제10 영역(710-10), 및 제11 영역(710-11)에 대하여 다른 영역들 대비 높은 가중치를 할당하여 근접 센싱용 프레임의 픽셀 별 휘도 값에 가중치를 적용하는 바, 카메라의 적외선 조명에 대한 탑승자의 근접 여부를 더 정확하고, 효율적으로 판단할 수 있다.
도 8은 본 개시의 일 실시예에 따른 전자 장치(100)가 이미지 센서(112)를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명(111)의 밝기를 제어하는 동작을 도시한 타이밍 차트(800)이다.
도 8에 도시된 타이밍 차트(800)를 참조하면, 전자 장치(100)는 카메라(110)에 포함되는 적외선 조명(111)을 제어하여 기 설정된 시간 주기(time period)(T)에 따라 적외선 광을 조사하고, 이미지 센서(112)를 제어하여 적외선 광이 조사된 탑승자를 촬영하여 복수의 이미지 프레임(i1, i2, i3, ...)을 획득할 수 있다. 본 개시의 일 실시예에서, 적외선 조명(111)은 자동 노출(auto exposure)을 수행하여, 적외선 광이 조사되는 노출 시간(exposure time) 및 게인(gain)을 자동으로 조절하여 적외선 광을 조사할 수 있다. 예를 들어, 적외선 조명(111)은 6.5ms의 노출 시간 동안 제1 적외선 광(l1)을 조사하고, 이미지 센서(112)는 제1 적외선 광(l1)이 조사된 탑승자를 촬영하여 제1 이미지 프레임(i1)을 획득할 수 있다. 또한, 적외선 조명(111)은 5ms의 노출 시간 동안 제2 적외선 광(l2)을 조사하고, 이미지 센서(112)는 제2 적외선 광(l2)이 조사된 탑승자를 촬영하여 제1 이미지 프레임(i2)을 획득할 수 있다. 타이밍 차트(800)에 포함된 노출 시간, 예를 들어, 6.5ms, 5ms, 3.5ms, 0.7ms 등은 설명의 편의를 위한 예시일 뿐이고, 노출 시간이 도 8에 도시된 바와 같이 한정되는 것은 아니다.
전자 장치(100)는 복수의 이미지 프레임(i1, i2, i3, ...)을 획득되는 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임(pf1, pf2, pf3)을 획득할 수 있다. 본 개시의 일 실시예에서, '기 설정된 프레임 수 비율'은 소정의 시간 주기(time period) 동안 획득된 복수의 이미지 프레임의 개수와 근접 센싱용 프레임 1개의 비율을 나타낸다. 도 8의 타이밍 차트(800)를 참조하면, 제1 이미지 프레임(i1)과 제2 이미지 프레임(i2)을 포함하는 2개의 이미지 프레임이 획득된 이후 1개의 제1 근접 센싱용 프레임(pf1)이 획득될 수 있다. 마찬가지로, 제3 이미지 프레임(i3)과 제4 이미지 프레임(i4)이 획득된 이후 1개의 제2 근접 센싱용 프레임(pf2)이 획득되고, 제5 이미지 프레임(i5) 및 제6 이미지 프레임(i6)이 획득된 이후 1개의 제3 근접 센싱용 프레임(pf3)이 획득되고, 될 수 있다. 이 경우, 기 설정된 프레임 수 비율은 2개의 이미지 프레임 당 1개의 근접 센싱용 프레임의 비율을 나타낼 수 있다. 2개의 이미지 프레임 당 1개의 근접 센싱용 프레임의 비율은 설명의 편의를 위한 예시일 뿐, 본 개시의 '기 설정된 프레임 수 비율'이 도 8에 도시된 바와 같이 한정되는 것은 아니다.
전자 장치(100)는 적외선 조명(111)을 제어하여 기 설정된 프레임 수 비율에 따라 근접 센싱용 적외선 광(lp)을 조사하고, 이미지 센서(112)를 통해 탑승자로부터 반사된 반사 광을 수광하여 근접 센싱용 프레임(pf1, pf2, pf3)을 획득할 수 있다. 본 개시의 일 실시예에서, 적외선 조명(111)은 수동 노출(manual exposure)을 수행하여, 기 설정된 값으로 고정된 노출 시간(exposure time) 및 게인(gain)으로 근접 센싱용 적외선 광(lp)을 조사할 수 있다. 도 8에 도시된 타이밍 차트(800)를 참조하면, 근접 센싱용 적외선 광(lp)의 노출 시간은 4ms로 고정되고, 게인도 고정될 수 있다. 그러나, 이는 설명의 편의를 위한 것이고, 근접 센싱용 적외선 광(lp)의 노출 시간이 4ms로 한정되는 것은 아니다.
전자 장치(100)는 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값에 기초하여, 적외선 조명(111)과 탑승자 간의 근접 여부를 판단할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)의 프로세서(120, 도 4 참조)는 근접 센싱용 프레임(pf1, pf2, pf3)의 픽셀 휘도 값을 기 설정된 임계값과 비교하고, 비교 결과 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값이 임계값을 초과하는 경우 탑승자가 적외선 조명(111)과 근접한 것으로 판단할 수 있다. 도 8에 도시된 실시예에서, 제1 근접 센싱용 프레임(pf1)의 휘도 값은 임계값 보다 낮고, 제2 근접 센싱용 프레임(pf2) 및 제3 근접 센싱용 프레임(pf3)의 휘도 값은 임계값을 초과할 수 있다. 프로세서(120)는 제2 근접 센싱용 프레임(pf2)의 휘도 값을 임계값과 비교하고, 비교 결과 제2 근접 센싱용 프레임(pf2)의 휘도 값이 임계값을 초과한다고 판단하여 탑승자가 적외선 조명(111)으로 근접하게 이동하였다고 판단할 수 있다.
전자 장치(100)의 프로세서(120)는 탑승자가 적외선 조명(111)에 근접한 위치에 있다고 판단된 경우, 적외선 조명(111)에 인가되는 전원을 오프(off)할 수 있다. 도 8에 도시된 실시예에서, 프로세서(120)는 제2 근접 센싱용 프레임(pf2)이 획득된 이후 카메라의 전력 관리 회로(115, 도 5 참조)를 제어하여, 적외선 조명(111)에 인가되는 전원을 오프할 수 있다. 적외선 조명(111)의 전원이 오프됨에 따라 적외선 광이 조사되지 않고, 제5 이미지 프레임(i5) 내지 제7 이미지 프레임(i7)의 픽셀 휘도 값은 제1 이미지 프레임(i1) 내지 제4 이미지 프레임(i4)의 픽셀 휘도 값 보다 낮아질 수 있다.
다만, 이 경우에도 적외선 조명(111)은 수동 노출(manual exposure)을 통해 근접 센싱용 적외선 광(lp)을 조사하는 바, 고정된 노출 시간 및 게인으로 근접 센싱용 적외선 광(lp)을 조사하고, 이를 통해 제3 근접 센싱용 프레임(pf3)을 획득할 수 있다. 제3 근접 센싱용 프레임(pf3)의 휘도 값이 제2 근접 센싱용 프레임(pf2)의 휘도 값 보다 높은 경우, 프로세서(120)는 탑승자가 적외선 조명(111)에 더 가까이 근접하였다고 판단할 수 있다. 이 경우, 프로세서(120)는 적외선 조명(111)의 전원을 오프(off) 상태로 유지할 수 있다.
도 9는 본 개시의 일 실시예에 따른 전자 장치(100)가 이미지 센서(112)를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명(111)의 밝기를 제어하는 동작을 도시한 타이밍 차트(900)이다.
도 9에 도시된 타이밍 차트(900)는 제5 이미지 프레임(i5) 내지 제7 이미지 프레임(i7)을 획득하기 위하여 조사되는 제5 적외선 광(l5) 내지 제7 적외선 광(l8)의 펄스 듀티(pulse duty)를 제외하고는 도 8에 도시된 타이밍 차트(800)와 동일하므로, 복수의 이미지 프레임(i1 내지 i7), 근접 센싱용 프레임(pf1, pf2, pf3), 및 기 설정된 프레임 수 비율 등에 관한 중복되는 설명은 생략한다.
전자 장치(100)는 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값에 기초하여, 적외선 조명(111)과 탑승자 간의 근접 여부를 판단할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)의 프로세서(120, 도 4 참조)는 근접 센싱용 프레임(pf1, pf2, pf3)의 픽셀 휘도 값을 기 설정된 임계값과 비교하고, 비교 결과 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값이 임계값을 초과하는 경우 탑승자가 적외선 조명(111)과 근접한 것으로 판단할 수 있다. 도 9에 도시된 실시예를 참조하면, 제1 근접 센싱용 프레임(pf1)의 휘도 값은 임계값 보다 낮고, 제2 근접 센싱용 프레임(pf2) 및 제3 근접 센싱용 프레임(pf3)의 휘도 값은 임계값을 초과할 수 있다. 프로세서(120)는 제2 근접 센싱용 프레임(pf2)의 휘도 값을 임계값과 비교하고, 비교 결과 제2 근접 센싱용 프레임(pf2)의 휘도 값이 임계값을 초과한다고 판단하여 탑승자가 적외선 조명(111)으로 근접하게 이동하였다고 판단할 수 있다.
전자 장치(100)의 프로세서(120)는 탑승자가 적외선 조명(111)에 근접한 위치에 있다고 판단된 경우, 펄스 폭 변조(pulse width modulation, PWM)을 통해 적외선 조명(111)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절함으로써 적외선 조명(111)의 온 타임(on time) 신호 비율을 조절할 수 있다. 본 개시에서, '온 타임 신호 비율'은 전체 신호 주기 동안 적외선 조명(111)의 광원이 발광되어 탑승자에게 적외선 광을 조사하도록 제어하는 온(on) 신호가 인가되는 비율을 나타낸다.
도 9에 도시된 타이밍 차트(900)를 참조하면, 프로세서(120)는 제2 근접 센싱용 프레임(pf2)의 휘도 값이 임계값을 초과한다고 판단한 경우, 적외선 조명(111)을 제어하여 적외선 광(l5, l6)을 온 타임 신호를 일정 펄스 폭을 갖는 펄스 파형으로 인가할 수 있다. 예를 들어, 프로세서(120)는 펄스 폭 변조를 수행하여, 제5 적외선 광(l5) 및 제6 적외선 광(l6)의 펄스 듀티를 제1 적외선 광(l1) 내지 제4 적외선 광(l4) 대비 40%로 제한하는 펄스 파형으로 인가할 수 있다. 수동 노출을 통해 획득된 제3 근접 센싱용 프레임(pf3)의 휘도 값이 제2 근접 센싱용 프레임(pf2)의 휘도 값 보다 높은 경우, 프로세서(120)는 탑승자가 적외선 조명(111)에 더 가까이 근접하였다고 판단할 수 있다. 이 경우, 프로세서(120)는 제3 근접 센싱용 프레임(pf3)이 획득된 이후 시점에서 조사되는 제7 적외선 광(l7) 및 제8 적외선 광(l8)은 제1 적외선 광(l1) 내지 제4 적외선 광(l4) 대비 20%의 온 타임 신호 비율을 갖도록 펄스 폭 변조를 수행할 수 있다. 제7 적외선 광(l7)이 조사된 이후 이미지 센서(112)에 의해 획득되는 제7 이미지 프레임(i7)의 휘도 값은 제5 이미지 프레임(i5) 및 제6 이미지 프레임(i6)의 휘도 값 보다 낮을 수 있다.
도 10은 본 개시의 일 실시예에 따른 전자 장치(100)가 이미지 센서(112)를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명(111)의 밝기를 제어하는 동작을 도시한 타이밍 차트(1000)이다.
도 10에 도시된 타이밍 차트(1000)는 제5 이미지 프레임(i5) 내지 제7 이미지 프레임(i7)을 획득하기 위하여 조사되는 제5 적외선 광(l5) 내지 제7 적외선 광(l8)의 출력이 낮은 점을 제외하고는 도 8에 도시된 타이밍 차트(800)와 동일하므로, 복수의 이미지 프레임(i1 내지 i7), 근접 센싱용 프레임(pf1, pf2, pf3), 및 기 설정된 프레임 수 비율 등에 관한 중복되는 설명은 생략한다.
전자 장치(100)는 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값에 기초하여, 적외선 조명(111)과 탑승자 간의 근접 여부를 판단할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)의 프로세서(120, 도 4 참조)는 근접 센싱용 프레임(pf1, pf2, pf3)의 픽셀 휘도 값을 기 설정된 임계값과 비교하고, 비교 결과 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값이 임계값을 초과하는 경우 탑승자가 적외선 조명(111)과 근접한 것으로 판단할 수 있다. 도 10에 도시된 실시예를 참조하면, 제1 근접 센싱용 프레임(pf1)의 휘도 값은 임계값 보다 낮고, 제2 근접 센싱용 프레임(pf2) 및 제3 근접 센싱용 프레임(pf3)의 휘도 값은 임계값을 초과할 수 있다. 프로세서(120)는 제2 근접 센싱용 프레임(pf2)의 휘도 값을 임계값과 비교하고, 비교 결과 제2 근접 센싱용 프레임(pf2)의 휘도 값이 임계값을 초과한다고 판단하여 탑승자가 적외선 조명(111)으로 근접하게 이동하였다고 판단할 수 있다.
전자 장치(100)의 프로세서(120)는 탑승자가 적외선 조명(111)에 근접한 위치에 있다고 판단된 경우, 카메라의 전력 관리 회로(115, 도 5 참조)를 제어하여 적외선 조명(111)에 인가되는 전원의 전류 값을 낮출 수 있다. 도 10에 도시된 타이밍 차트(1000)를 참조하면, 프로세서(120)는 제2 근접 센싱용 프레임(pf2)의 휘도 값이 임계값을 초과한다고 판단한 경우, 적외선 조명(111)에 인가되는 전류 값을 낮춰서 적외선 광(l5, l6)의 출력을 낮출 수 있다. 예를 들어, 프로세서(120)는 적외선 조명(111)에 인가되는 전류 값을 40%로 제한하여 제5 적외선 광(l5) 및 제6 적외선 광(l6)을 조사할 수 있다. 이를 통해 이미지 센서(112)에 의해 획득된 제5 이미지 프레임(i5) 및 제6 이미지 프레임(i6)의 휘도 값은 제1 이미지 프레임(i1) 내지 제4 이미지 프레임(i4)의 휘도 값에 비해 낮을 수 있다.
수동 노출을 통해 획득된 제3 근접 센싱용 프레임(pf3)의 휘도 값이 제2 근접 센싱용 프레임(pf2)의 휘도 값 보다 높은 경우, 프로세서(120)는 탑승자가 적외선 조명(111)에 더 가까이 근접하였다고 판단할 수 있다. 이 경우, 프로세서(120)는 제3 근접 센싱용 프레임(pf3)이 획득된 이후 시점에서 적외선 조명(111)에 인가되는 전류 값을 더 낮춰서 제7 적외선 광(l7) 및 제8 적외선 광(l8) 조사할 수 있다. 예를 들어, 프로세서(120)는 적외선 조명(111)에 인가되는 전류 값을 20%로 제한하여 제7 적외선 광(l7) 및 제8 적외선 광(l8)의 출력을 제1 적외선 광(l1)의 출력 대비 20% 수준으로 낮출 수 있다. 이 경우, 제7 적외선 광(l7)이 조사된 이후 이미지 센서(112)에 의해 획득되는 제7 이미지 프레임(i7)의 휘도 값은 제5 이미지 프레임(i5) 및 제6 이미지 프레임(i6)의 휘도 값 보다 더 낮을 수 있다.
도 11은 본 개시의 일 실시예에 따른 전자 장치(100)가 이미지 센서(112)를 제어하여 이미지 프레임을 획득하고, 획득된 이미지 프레임에 기초하여 적외선 조명(111)의 밝기를 제어하는 동작을 도시한 타이밍 차트(1100)이다.
도 11에 도시된 타이밍 차트(1100)는 제5 이미지 프레임(i5) 내지 제7 이미지 프레임(i7)을 획득하기 위하여 조사되는 제5 적외선 광(l5) 내지 제7 적외선 광(l7)의 노출 시간이 짧은 점을 제외하고는 도 8에 도시된 타이밍 차트(800)와 동일하므로, 복수의 이미지 프레임(i1 내지 i7), 근접 센싱용 프레임(pf1, pf2, pf3), 및 기 설정된 프레임 수 비율 등에 관한 중복되는 설명은 생략한다.
전자 장치(100)는 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값에 기초하여, 적외선 조명(111)과 탑승자 간의 근접 여부를 판단할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)의 프로세서(120, 도 4 참조)는 근접 센싱용 프레임(pf1, pf2, pf3)의 픽셀 휘도 값을 기 설정된 임계값과 비교하고, 비교 결과 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값이 임계값을 초과하는 경우 탑승자가 적외선 조명(111)과 근접한 것으로 판단할 수 있다. 도 11에 도시된 실시예를 참조하면, 제1 근접 센싱용 프레임(pf1)의 휘도 값은 임계값 보다 낮고, 제2 근접 센싱용 프레임(pf2) 및 제3 근접 센싱용 프레임(pf3)의 휘도 값은 임계값을 초과할 수 있다. 프로세서(120)는 제2 근접 센싱용 프레임(pf2)의 휘도 값을 임계값과 비교하고, 비교 결과 제2 근접 센싱용 프레임(pf2)의 휘도 값이 임계값을 초과한다고 판단하여 탑승자가 적외선 조명(111)으로 근접하게 이동하였다고 판단할 수 있다.
전자 장치(100)의 프로세서(120)는 탑승자가 적외선 조명(111)에 근접한 위치에 있다고 판단된 경우, 적외선 조명(111)을 제어하여 적외선 광의 노출 시간(exposure time)을 감소시킬 수 있다. 도 11에 도시된 타이밍 차트(1100)를 참조하면, 프로세서(120)는 제2 근접 센싱용 프레임(pf2)의 휘도 값이 임계값을 초과한다고 판단한 경우, 적외선 조명(111)을 제어하여 적외선 광(l5, l6)의 노출 시간을 줄일 수 있다. 예를 들어, 프로세서(120)는 적외선 조명(111)을 제어하여 제5 적외선 광(l5) 및 제6 적외선 광(l6)의 노출 시간을 각각 1ms 이내로 제한할 수 있다. 이를 통해 제5 적외선 광(l5) 및 제6 적외선 광(l6)의 출력은 낮아지고, 이미지 센서(112)에 의해 획득된 제5 이미지 프레임(i5) 및 제6 이미지 프레임(i6)의 휘도 값은 제1 이미지 프레임(i1) 내지 제4 이미지 프레임(i4)의 휘도 값에 비해 낮을 수 있다.
수동 노출을 통해 획득된 제3 근접 센싱용 프레임(pf3)의 휘도 값이 제2 근접 센싱용 프레임(pf2)의 휘도 값 보다 높은 경우, 프로세서(120)는 탑승자가 적외선 조명(111)에 더 가까이 근접하였다고 판단할 수 있다. 이 경우, 프로세서(120)는 제3 근접 센싱용 프레임(pf3)이 획득된 이후 시점에서 적외선 조명(111)에 의해 조사되는 제7 적외선 광(l7)의 노출 시간을 더 낮출 수 있다. 예를 들어, 프로세서(120)는 적외선 조명(111)에 의해 조사되는 제7 적외선 광(l7)의 노출 시간을 0.5ms로 제한할 수 있다. 이 경우, 제7 적외선 광(l7)의 출력은 더 낮아지고, 이미지 센서(112)에 의해 획득되는 제7 이미지 프레임(i7)의 휘도 값은 제5 이미지 프레임(i5) 및 제6 이미지 프레임(i6)의 휘도 값 보다 더 낮을 수 있다.
도 8 내지 도 11에 도시된 실시예에서, 전자 장치(100)는 근접 센싱용 프레임(pf1, pf2, pf3)의 휘도 값에 기초하여 탑승자가 적외선 조명(111)에 근접하였는지 여부를 판단하고, 탑승자가 적외선 조명(111)에 근접하였다고 판단되는 경우 적외선 조명(111)을 오프(off)하거나(도 8 참조), 적외선 조명(111)의 온 타임 신호 비율을 낮추거나(도 9 참조), 적외선 조명(111)에 인가되는 전원의 전류 값을 제한하거나(도 10 참조), 적외선 조명(111)에 의한 광의 노출 시간을 제한하는(도 11 참조) 등 방법으로 적외선 조명(111)의 밝기를 낮출 수 있다. 이를 통해, 본 개시의 일 실시예에 따른 전자 장치(100)는 탑승자 모니터링 시스템에 의해 차량 내 탑승자에게 적외선 광이 과도하게 조사됨에 따라 탑승자의 눈 건강이 악화되는 문제를 방지할 수 있다.
도 12a는 본 개시의 일 실시예에 따른 복수의 적외선 조명(111-1, 111-2) 및 이미지 센서(112)의 차량 내 배치를 도시한 단면도이다.
도 12a를 참조하면, 차량(10) 내에는 카메라(110)가 배치되고, 카메라(110)는 복수의 적외선 조명(111-1, 111-2) 및 이미지 센서(112)를 포함할 수 있다. 복수의 적외선 조명(111-1, 111-2)은 적외선 대역의 광을 발광하여, 제1 열 좌석(12) 및 제2 열 좌석(14)에 탑승한 운전자 및/또는 동승자 등 차량(10)의 탑승자에게 적외선 광을 조사하도록 구성된다. 도 12a에 도시된 실시예에서, 복수의 적외선 조명(111-1, 111-2)은 차량(10) 내부의 실내등 또는 클러스터에 설치될 수 있으나, 이에 한정되는 것은 아니다. 복수의 적외선 조명(111-1, 111-2) 중 제1 열 조명(111-1)은 제1 열 좌석(12)의 탑승자에게 적외선 광을 조사하고, 제2 열 조명(111-2)은 제2 열 좌석(14)의 탑승자에게 적외선 광을 조사할 수 있다.
복수의 적외선 조명(111-1, 111-2)은 2개 이상의 복수 개로 구성된다는 점을 제외하고는, 도 1 내지 도 11에서 설명한 적외선 조명(111)과 동일하므로, 중복되는 설명은 생략한다.
제1 열 조명(111-1) 및 제2 열 조명(111-2)은 각각 복수 개로 구성될 수도 있다. 이에 대해서는 도 12b를 참조하여 설명하기로 한다.
도 12b는 본 개시의 일 실시예에 따른 복수의 조명(111-1L, 111-1R, 111-2L, 111-2R) 및 이미지 센서(112)의 차량 내 배치를 도시한 도면이다.
도 12b를 참조하면, 제1 열 조명(111-1)은 제1 열 좌측 조명(111-1L) 및 제1 열 우측 조명(111-1R)를 포함하고, 제2 열 조명(111-2)은 제2 열 좌측 조명(111-2L) 및 제2 열 우측 조명(111-2R)를 포함할 수 있다. 제1 열 좌측 조명(111-1L)은 제1 열 좌석(12, 도 12a 참조) 중 운전석(12-1)에 탑승한 운전자에 적외선 광을 조사하고, 제1 열 우측 조명(111-1R)는 제1 열 좌석(12) 중 우측의 조수석(12-2)에 탑승한 동승자에게 적외선 광을 조사할 수 있다. 그러나, 이에 한정되는 것은 아니고, 운전석이 우측에 위치하는 일부 국가(예를 들어, 일본, 영국 등)의 차량에서는 제1 열 우측 조명(111-1R)이 운전석에 탑승한 운전자에게 적외선 광을 조사하고, 제1 열 좌측 조명(111-1L)은 제1 열 좌석(12) 중 좌측의 조수석에 탑승한 동승자에게 적외선 광을 조사할 수 있다. 제2 열 좌측 조명(111-2L)은 제2 열 좌석(14, 도 1a 참조) 중 제2 열 좌측 좌석(14-1)에 탑승한 탑승자에게 적외선 광을 조사하고, 제2 열 우측 조명(111-2R)는 제2 열 좌석(14) 중 제2 열 우측 좌석(14-2)에 탑승한 탑승자에게 적외선 광을 조사할 수 있다.
도 12b에 도시된 실시예에서, 제1 열 조명(111-1) 및 제2 열 조명(111-2)은 각각 2개의 조명을 포함하는 것으로 도시되었으나, 이는 예시적인 것이고, 본 개시가 도 12b에 도시된 바와 같이 한정되는 것은 아니다. 본 개시의 일 실시예에서, 제1 열 조명(111-1) 및 제2 열 조명(111-2)은 각각 3개 이상의 복수 개의 조명을 포함할 수도 있다.
도 12a 및 도 12b를 함께 참조하면, 카메라(110)는 제1 열 좌석(12) 및 제2 열 좌석(14) 중 적어도 하나에 탑승한 탑승자를 촬영하여 이미지를 획득하도록 구성된다. 본 개시의 일 실시예에서, 차량(10) 내에 탑재된 전자 장치(100)는 카메라(110)를 통해 획득된 이미지를 기 학습된 인공지능 모델을 이용하여 분석함으로써, 운전자 또는 동승자 등 탑승자의 얼굴을 인식하거나, 탑승자의 동작(예를 들어, 졸음, 수면, 대화, 모바일 디바이스 조작 등)을 인식하는 탑승자 모니터링 시스템(occupant monitoring system, OMS)로 구성될 수도 있다. 도 12a에 도시된 실시예에서, 카메라(110)의 이미지 센서(112)와 제1 열 좌석(12) 간의 제1 거리(d1)의 크기는 이미지 센서(112)와 제2 열 좌석(14) 간의 제2 거리(d2)의 크기 보다 작을 수 있다. 제1 열 조명(111-1)이 제1 열 좌석(12)의 탑승자에 적외선 광을 조사하고, 제2 열 조명(111-2)이 제2 열 좌석(14)의 탑승자에 적외선 광을 조사하더라도 이미지 센서(112)와 좌석들(12, 14) 간의 제1 거리(d1)와 제2 거리(d2)가 다르므로, 거리 별 감쇄 비율에 따라 제1 열 좌석(12)과 제2 열 좌석(14)의 밝기는 현저하게 차이날 수 있다. 거리 차이 뿐만 아니라, 제1 열 조명(111-1)과 제2 열 조명(111-2)에 의한 조사 각도, 투과율 등 물리적인 환경 차이에 의하여 제1 열 좌석(12)과 제2 열 좌석(14) 간의 밝기 차이가 발생될 수도 있다.
도 13은 본 개시의 일 실시예에 따른 전자 장치(100)가 차량 내에 탑재된 복수의 적외선 조명을 제어하는 방법을 도시한 흐름도이다.
단계 S1310에서, 전자 장치(100)는 복수의 적외선 조명에 의해 적외선 광이 조사되는 노출 시간(exposure time)에 동기화하여, 온 타임(on time) 신호를 복수의 적외선 조명에 인가한다. 전자 장치(100)는 카메라의 노출 시간 동안에만 제1 열 조명(111-1, 도 12a 및 도 12b 참조) 및 제2 열 조명(111-2, 도 12a 및 도 12b 참조)의 광원이 발광되어 제1 열 좌석(12, 도 1a 참조) 및 제2 열 좌석(14, 도 1a 참조)에 적외선 광을 조사하도록 제1 열 조명(111-1) 및 제2 열 조명(111-2)에 온 타임(on) 신호를 인가할 수 있다.
단계 S1320에서, 전자 장치(100)는 복수의 적외선 조명(111-1, 111-2)에 의한 차량 내 제1 열 좌석(12)과 제2 열 좌석(14)의 밝기 차이에 기초하여, 복수의 적외선 조명(111-1, 111-2) 중 제1 열 좌석(12)을 비추는 제1 열 조명(111-1)의 온 타임 신호 비율을 조절한다. 전자 장치(100)는 제1 열 좌석(12)과 제2 열 좌석(14)의 밝기를 측정할 수 있다. 전자 장치(100)가 밝기를 측정하는 방식은 공지의 기술이므로, 상세한 설명은 생략한다. 전자 장치(100)는 제1 열 좌석(12)과 제2 열 좌석(14) 간의 밝기 차이에 기초하여 제1 열 조명(111-1)의 온 타임 신호 비율을 제2 열 조명(111-2)의 온 타임 신호 비율과 상이하게 조절할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)는 카메라의 이미지 센서의 노출 시간에 동기화되는 시간 주기 내에서 지연 시간(delay time)을 적용하여 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)는 펄스 폭 변조(Pulse Width Modulation)를 통해 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절하여 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)는 카메라의 노출 시간에 동기화되는 시간 주기 내에서 지연 시간을 적용하고, 펄스 폭 변조를 통해 지연 시간이 적용된 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티를 조절함으로써, 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다.
단계 S1330에서, 전자 장치(100)는 조절된 온 타임 신호를 제1 열 조명(111-1)에 인가하여 제1 열 좌석(12)의 밝기를 조절한다. 본 개시의 일 실시예에서, 전자 장치(100)는 제1 열 좌석(12)의 밝기를 제2 열 좌석(14)의 밝기와 동일하게 조절할 수 있다.
탑승자 모니터링 시스템에서, 카메라는 적외선 조명을 이용하여 탑승자에게 적외선 대역의 광을 조사하여 조명으로 활용한다. 적외선 대역 조명은 사람의 눈에 보이지 않는 장점이 있으나, 대기 전파 효율은 낮은 특성을 갖는다. 또한, 근거리 액티브 조명의 특성 상 거리 별 감쇄 비율이 높아, 작은 거리 차이에도 밝기 차이가 현저하게 큰 경우가 있다. 이로 인하여, 적외선 대역의 조명을 차량(10) 내의 제1 열 좌석(12-1, 12-2) 및 제2 열 좌석(14-1, 14-2)에 각각 설치하는 경우, 거리 차이에 의한 밝기 차이가 크게 나타나게 된다. 거리 차이 뿐만 아니라, 복수의 조명에 의한 조사 각도, 투과율 등 물리적인 환경 차이에 의하여 더욱 많은 밝기 차이가 발생될 수 있다. 제1 열 좌석(12-1, 12-2)과 제2 열 좌석(14-1, 14-2)의 밝기 차이로 인하여, 카메라(110)를 통해 획득된 이미지의 특정 영역은 적정 밝기로 촬영되지만, 나머지 영역은 포화 또는 저조도 이미지로서 이미지 분석에 적합하지 않은 바, 탑승자 인식의 정확도가 떨어지는 문제점이 있다. 또한, 외부 광(예를 들어, 자연 광)의 상태 등 외부 환경에 의한 좌석 별 밝기 차이 발생 시에는 좌석 별로 조정된 조명이라도, 탑승자를 모니터링하기 위한 적정 밝기의 이미지를 획득할 수 없는 경우가 있다.
본 개시의 일 실시예는 차량(10) 내의 복수의 적외선 조명(111-1, 111-2)을 포함하는 탑승자 모니터링 시스템(OMS)에서 복수의 적외선 조명(111-1, 111-2)이 배치된 위치에 의한 제1 열 좌석(12-1, 12-2)과 제2 열 좌석(14-1, 14-2)의 밝기 차이를 보정하기 위하여, 복수의 적외선 조명(111-1, 111-2)의 밝기를 제어하는 전자 장치(100) 및 그 동작 방법을 제공하는 것을 목적으로 한다.
본 개시의 일 실시예에 따른 전자 장치(100)는 제1 열 좌석(12-1, 12-2)에 적외선 광을 조사하는 제1 열 조명(111-1)의 발광 타이밍에 지연 시간을 적용하거나, 펄스 폭 변조를 통해 펄스 듀티를 조절하는 등의 소프트웨어적인 방식으로 제1 열 조명(111-1)의 밝기를 제어하는 바, 제1 열 좌석(12-1, 12-2)과 제2 열 좌석(14-1, 14-2)의 밝기를 동일하게 조절할 수 있다. 따라서, 본 개시의 전자 장치는 차량(10)의 구조 및 복수의 적외선 조명(111-1, 111-2)의 설치된 위치에 관계없이 적정 밝기를 갖는 이미지를 획득할 수 있고, 이를 통해 탑승자 모니터링의 정확도를 향상시키는 기술적 효과를 제공한다. 또한, 본 개시의 전자 장치는 소프트웨어를 기반으로 제1 열 조명(111-1)의 밝기를 조절하는 바, 실시간으로 유연하게 밝기를 조절할 수 있고, 햇빛 등 외부 광원 변화에 의한 영향도 최소화된 이미지를 획득할 수 있다.
도 14는 본 개시의 일 실시예에 따른 전자 장치(100)가 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하는 동작을 도시한 타이밍 차트(1400)이다.
도 14에 도시된 타이밍 차트(1400)를 참조하면, 카메라(110)에 포함된 이미지 센서는 시간 주기(T1, T2, T3, ...) 내에서 기 설정된 노출(exposure) 시간 동안 피사체로부터 반사된 광을 수광하고, 이미지 프레임을 획득할 수 있다. 전자 장치(100)의 프로세서(120, 도 4 참조)는 카메라(110)의 노출 시간에 동기화하여, 제1 열 조명(111-1) 및 제2 열 조명(111-2)의 광원이 동작되어 적외선 광을 발광하도록 온 타임(on time) 신호를 제1 열 조명(111-1) 및 제2 열 조명(111-2)에 인가할 수 있다. 타이밍 차트(1400)를 참조하면, 제2 열 조명(111-2)에는 카메라(110)의 노출 시간과 동기화된 온 타임 신호가 인가됨에 따라 카메라(110)의 노출 시간 동안에는 제2 열 조명(111-2)이 발광되어 제2 열 좌석(14, 도 12a 참조)에 적외선 광이 조사되고, 이미지 프레임이 획득되는 시간 동안에는 제2 열 조명(111-2)이 오프(off)되어 적외선 광이 조사되지 않을 수 있다.
프로세서(120)는 제1 열 조명(111-1)에 대해서도 카메라(110)의 노출 시간에 동기화하여 온 타임 신호를 인가할 수 있다. 프로세서(120)는 카메라(110)의 노출 시간에 동기화되는 시간 주기(T1, T2, T3, ...) 내에서 지연 시간(delay time)(tdelay)을 적용하여 제1 열 조명(111-1)에 온 타임 신호를 인가할 수 있다. 본 개시의 일 실시예에서, 프로세서(120)는 제1 열 좌석(12, 도 12a 참조)과 제2 열 좌석(14)의 밝기 차이에 기초하여 지연 시간(tdelay)을 결정할 수 있다. 예를 들어, 프로세서(120)는 제1 열 좌석(12)의 밝기와 제2 열 좌석(14)의 밝기 간의 차이에 비례하여 지연 시간을 조절할 수 있다. 즉, 제2 열 좌석(14)의 밝기가 제1 열 좌석(12)의 밝기에 비하여 어두울수록 제1 열 조명(111-1)에 인가되는 온 타임 신호에 적용되는 지연 시간(tdelay)을 더 길게 조절할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(120)는 카메라(110)와 제1 열 조명(111-1) 간의 제1 거리 및 카메라(110)와 제2 열 조명(111-2) 간의 제2 거리에 기초하여 지연 시간(tdelay)을 결정할 수도 있다.
타이밍 차트(1400)를 참조하면, 지연 시간(tdelay)이 적용됨에 따라 제1 열 조명(111-1)에는 지연 시간(tdelay) 이후에 온 타임 신호가 인가될 수 있다. 본 개시의 일 실시예에서, 제1 열 조명(111-1)에 온 타임 신호가 인가되는 시간(ton)은 시간 주기(T1, T2, T3, ...) 내에서 카메라(110)의 노출 시간 보다 짧을 수 있다. 즉, 시간 주기(T1, T2, T3, ...) 동안 제1 열 조명(111-1)에 인가되는 온 타임 신호는 카메라(110)의 노출 시간이 종료되는 시점 보다 먼저 종료되고, 제1 열 조명(111-1)은 오프 상태로 전환될 수 있다.
제1 열 조명(111-1)에 지연 시간(tdelay)이 적용됨에 따라 시간 주기(T1, T2, T3, ...) 동안 제1 열 조명(111-1)에 온 타임 신호가 인가되는 비율, 즉 온 타임 신호 비율은 제2 열 조명(111-2)의 온 타임 신호 비율 보다 낮게 조절될 수 있다. 프로세서(120)는 제1 열 조명(111-1)의 온 타임 신호 비율을 낮게 조절함으로써, 제1 열 좌석(12)의 밝기를 제2 열 좌석(14)의 밝기와 동일하게 조절할 수 있다.
도 15는 본 개시의 일 실시예에 따른 전자 장치(100)가 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하는 동작을 도시한 타이밍 차트(1500)이다.
도 15의 타이밍 차트(1500)는 제1 열 조명(111-1)에 인가되는 온 타임 신호를 제외하고는 도 14에 도시된 타이밍 차트(1400)와 동일하므로, 카메라의 이미지 센서(112)의 노출 시간 및 제2 열 조명(111-2)의 온 타임 신호와 관련된 중복되는 설명은 생략한다.
도 15에 도시된 타이밍 차트(1500)를 참조하면, 전자 장치(100)의 프로세서(120, 도 4 참조)는 펄스 폭 변조(Pulse Width Modulation)를 통해 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절할 수 있다. 본 개시의 일 실시예에서, 프로세서(120)는 제1 열 조명(111-1)을 발광시켜 제1 열 좌석(12, 도 12a 참조)에 적외선 광을 조사하도록 하는 온 타임 신호를 일정 펄스 폭을 갖는 펄스 파형으로 인가할 수 있다. 본 개시의 일 실시예에서, 제1 열 조명(111-1)에 온 타임 신호가 인가되는 펄스 듀티는 제1 열 좌석(12)과 제2 열 좌석(14, 도 12a 참조)의 밝기 차이에 기초하여 결정될 수 있다. 예를 들어, 프로세서(120)는 제1 열 좌석(12)의 밝기와 제2 열 좌석(14)의 밝기 간의 차이에 반비례하여 펄스 듀티를 결정할 수 있다. 즉, 제2 열 좌석(14)의 밝기가 제1 열 좌석(12)의 밝기에 비하여 어두울수록 제1 열 조명(111-1)에 인가되는 온 타임 신호의 펄스 듀티는 짧아질 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(120)는 카메라의 이미지 센서(112)와 제1 열 조명(111-1) 간의 제1 거리 및 이미지 센서(112)와 제2 열 조명(111-2) 간의 제2 거리에 기초하여 펄스 듀티를 결정할 수도 있다.
타이밍 차트(1500)를 참조하면, 제1 열 조명(111-1)에는 온 타임 신호가 펄스 파형으로 인가됨에 따라 제1 열 조명(111-1)의 온 타임 신호 비율은 제2 열 조명(111-2)의 온 타임 신호 비율 보다 낮을 수 있다. 프로세서(120)는 제1 열 조명(111-1)의 온 타임 신호 비율을 낮게 조절함으로써, 제1 열 좌석(12)의 밝기를 제2 열 좌석(14)의 밝기와 동일하게 조절할 수 있다.
도 16은 본 개시의 일 실시예에 따른 전자 장치(100)가 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하는 동작을 도시한 타이밍 차트(1600)이다.
도 16의 타이밍 차트(1600)는 제1 열 조명(111-1)에 인가되는 온 타임 신호를 제외하고는 도 14에 도시된 타이밍 차트(1400)와 동일하므로, 카메라의 이미지 센서(112)의 노출 시간 및 제2 열 조명(111-2)의 온 타임 신호와 관련된 중복되는 설명은 생략한다.
도 16에 도시된 타이밍 차트(1600)를 참조하면, 전자 장치(100)의 프로세서(120, 도 4 참조)는 이미지 센서(112)의 노출 시간에 동기화되는 시간 주기(T1, T2, T3, ...) 내에서 제1 열 조명(111-1)에 인가되는 온 타임 신호에 지연 시간(tdelay)을 적용하고, 제1 열 조명(111-1)에 펄스 파형의 온 타임 신호를 인가할 수 있다. 본 개시의 일 실시예에서, 프로세서(120)는 펄스 폭 변조를 통해 제1 열 조명(111-1)에 인가되는 온 타임 신호의 펄스 듀티를 조절할 수 있다. 본 개시의 일 실시예에서, 프로세서(120)는 제1 열 좌석(12)과 제2 열 좌석(14)의 밝기 차이에 기초하여 제1 열 조명(111-1)에 적용되는 지연 시간(tdelay)을 결정할 수 있다. 본 개시의 일 실시예에서, 프로세서(120)는 제1 열 좌석(12)과 제2 열 좌석(14)의 밝기 차이에 기초하여 제1 열 조명(111-1)에 인가되는 온 타임 신호의 펄스 듀티를 결정할 수 있다.
타이밍 차트(1600)를 참조하면, 제1 열 조명(111-1)에 인가되는 펄스 파 형태의 온 타임 신호는 이미지 센서(112)에 의한 노출 시간이 종료되는 시점 보다 먼저 종료될 수 있다. 즉, 제1 열 조명(111-1)에 적용되는 지연 시간(tdelay)과 펄스 파형의 온 타임 신호가 인가되는 시간(tpulse)의 합은 이미지 센서(112)의 노출 시간 보다 짧을 수 있다. 그러나, 이에 한정되는 것은 아니고, 제1 열 조명(111-1)에 인가되는 펄스 파 형태의 온 타임 신호는 이미지 센서(112)의 노출 시간이 종료되는 시점과 동일한 시점에 중단될 수 있다.
제1 열 조명(111-1)에 지연 시간(tdelay)이 적용되고, 펄스 파 형태의 온 타임 신호가 인가됨에 따라 시간 주기(T1, T2, T3, ...) 동안 제1 열 조명(111-1)의 온 타임 신호 비율은 제2 열 조명(111-2)의 온 타임 신호 비율 보다 낮게 조절될 수 있다. 프로세서(120)는 제1 열 조명(111-1)의 온 타임 신호 비율을 낮게 조절함으로써, 제1 열 좌석(12)의 밝기를 제2 열 좌석(14)의 밝기와 동일하게 조절할 수 있다.
도 17은 본 개시의 일 실시예에 따른 전자 장치(100)가 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하기 위한 논리곱 게이트(1700)를 도시한 도면이다.
도 17을 참조하면, 프로세서(120)는 카메라(110, 도 4, 도 5, 도 12a, 및 도 12b 참조)의 이미지 센서(112)에 의한 노출 시간에 동기화된 노출 시간 제어 신호(1710)를 제2 열 조명(111-2)에 인가하여, 제2 열 조명(111-2)의 동작을 제어할 수 있다. 프로세서(120)는 논리곱 연산 게이트(AND gate)(1700)를 포함하고, 논리곱 연산 게이트(1700)를 통해 지연 시간을 적용하거나 펄스 폭 변조를 제어하는 지연 시간/펄스 폭 변조 제어 신호(1720)를 노출 시간 제어 신호(1710)와 곱하는 연산을 수행할 수 있다. 프로세서(120)는 논리곱 연산을 통해 제1 열 조명(111-1)의 온 타임 신호 비율을 제어하는 신호를 출력할 수 있다. 프로세서(120)는 출력된 신호를 제1 열 조명(111-1)에 인가함으로써, 제1 열 조명(111-1)의 밝기를 조절할 수 있다.
도 18은 본 개시의 일 실시예에 따른 전자 장치(100)가 복수의 조명(111-1L, 111-1R, 111-2L, 111-2R)의 온 타임 신호 비율을 조절하기 위한 논리곱 게이트(1801 내지 1804)를 도시한 도면이다.
도 18을 참조하면, 제1 열 조명(111-1) 및 제2 열 조명(111-2)은 복수 개로 구성될 수 있다. 제1 열 조명(111-1)은 제1 열 좌측 조명(111-1L) 및 제1 열 우측 조명(111-1R)를 포함할 수 있다. 제2 열 조명(111-2)은 제2 열 좌측 조명(111-2L) 및 제2 열 우측 조명(111-2R)를 포함할 수 있다. 프로세서(120)는 카메라(110, 도 4, 도 5, 도 12a, 및 도 12b 참조)의 이미지 센서(112)에 의한 노출 시간에 동기화된 노출 시간 제어 신호(1810)를 제1 열 좌측 조명(111-1L), 제1 열 우측 조명(111-1R), 제2 열 좌측 조명(111-2L), 및 제2 열 우측 조명(111-2R)에 각각 인가하여, 제1 열 좌측 조명(111-1L), 제1 열 우측 조명(111-1R), 제2 열 좌측 조명(111-2L), 및 제2 열 우측 조명(111-2R)들의 동작을 제어할 수 있다.
본 개시의 일 실시예에서, 프로세서(120)는 복수의 논리곱 연산 게이트(AND gate)(1801 내지 1804)를 포함하고, 복수의 논리곱 연산 게이트(1801 내지 1804)를 통해 지연 시간을 적용하거나 펄스 폭 변조를 제어하는 지연 시간/펄스 폭 변조 제어 신호(1821 내지 1824)를 노출 시간 제어 신호(1810)와 곱하는 연산을 수행할 수 있다. 프로세서(120)는 복수의 논리곱 연산 게이트(1810 내지 1804)를 통한 논리곱 연산을 통해 복수의 조명(111-1L, 111-1R, 111-2L, 111-2R)의 온 타임 신호 비율을 제어하는 신호를 출력할 수 있다. 프로세서(120)는 출력된 신호를 복수의 조명(111-1L, 111-1R, 111-2L, 111-2R)에 각각 인가함으로써, 복수의 제1 열 좌석(12-1, 12-2, 도 19 참조) 및 복수의 제2 열 좌석(14-1, 14-2, 도 12b 참조)의 밝기를 조절할 수 있다.
도 19는 본 개시의 일 실시예에 따른 전자 장치(100)가 복수의 조명의 밝기를 제어하여 차량 내 복수의 좌석들(12-1, 12-2, 14-1, 14-2) 간의 밝기 차이를 조정하는 동작을 설명하기 위한 도면이다.
도 19를 참조하면, 차량(10)의 제1 열 좌석 및 제2 열 좌석은 복수 개로 구성될 수 있다. 도 19에 도시된 실시예에서, 제1 열 좌석은 운전석(12-1) 및 조수석(12-2)을 포함하고, 제2 열 좌석은 제2 열 좌석1(14-1) 및 제2 열 좌석2(14-2)를 포함할 수 있다. 운전석(12-1)과 조수석(12-2)의 밝기는 서로 다르고, 제2 열 좌석1(14-1)과 제2 열 좌석2(14-2)의 밝기는 서로 다를 수 있다. 예를 들어, 제2 열 좌석1(14-1)의 밝기는 제2 열 좌석2(14-2)의 밝기 보다 더 밝을 수 있다. 예를 들어, 운전석(12-1) 및 조수석(12-2)의 밝기는 제2 열 좌석1(14-1)의 밝기 보다 밝을 수 있다.
도 18 및 도 19를 함께 참조하면, 프로세서(120, 도 18 참조)는 복수의 제1 열 좌석(12-1, 12-2)의 밝기를 측정하고, 복수의 제1 열 좌석(12-1, 12-2)의 밝기 차이에 기초하여 지연 시간/펄스 폭 변조 제어 신호(1821, 1822)를 조절할 수 있다. 프로세서(120)는 조절된 지연 시간/펄스 폭 변조 제어 신호(1821, 1822)를 노출 시간 제어 신호(1810)와 곱하는 논리곱 연산을 수행함으로써, 제1 열 좌측 조명(111-1L) 및 제1 열 우측 조명(111-1R)의 밝기를 조절할 수 있다. 제1 열 좌측 조명(111-1L) 및 제1 열 우측 조명(111-1R)의 밝기가 조절됨에 따라 운전석(12-1)과 조수석(12-2)의 밝기는 동일하게 조절될 수 있다. 마찬가지로, 프로세서(120)는 복수의 제2 열 좌석(14-1, 14-2)의 밝기를 측정하고, 복수의 제2 열 좌석(14-1, 14-2)의 밝기 차이에 기초하여 지연 시간/펄스 폭 변조 제어 신호(1823, 1824)를 조절할 수 있다. 프로세서(120)는 조절된 지연 시간/펄스 폭 변조 제어 신호(1823, 1824)를 노출 시간 제어 신호(1810)와 곱하는 논리곱 연산을 수행함으로써, 제2 열 좌측 조명(111-2L) 및 제2 열 우측 조명(111-2R)의 밝기를 조절할 수 있다. 제2 열 좌측 조명(111-2L) 및 제2 열 우측 조명(111-2R)의 밝기가 조절됨에 따라 제2 열 좌석1(14-1)과 제2 열 좌석2(14-2)의 밝기는 동일하게 조절될 수 있다.
도 20은 본 개시의 일 실시예에 따른 전자 장치(100)가 인공 지능 기술을 이용하여 수행되는 동작을 설명하기 위한 도면이다.
구체적으로, 전자 장치(100)에 의해 수행되는 i) 카메라(110, 도 4 및 도 5 참조)를 통해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하는 동작, ii) 획득된 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 카메라(110)의 적외선 조명(111)과 차량 내 탑승자 간의 근접 여부를 판단하는 동작, 및 iii) 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 조절(adjust)하는 동작 중 적어도 하나는, 신경망(neural network)을 통한 연산을 수행하는 인공지능(AI: Artificial Intelligence) 기술을 이용하여 수행될 수 있다.
전자 장치(100)에 의해 수행되는 i) 카메라(110, 도 4, 도 5, 도 12a 및 도 12b 참조)의 노출 시간(exposure time)에 동기화하여 복수의 적외선 조명(111-1, 111-2)이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명(111-1, 111-2)에 인가하는 동작, ii) 복수의 적외선 조명(111-1, 111-2)에 의한 차량 내 제1 열 좌석(12, 도 12a 참조) 및 제2 열 좌석(14, 도 12a 참조)의 밝기 차이에 기초하여, 복수의 적외선 조명(111-1, 111-2) 중 제1 열 좌석(12)을 비추는 제1 열 조명(111-1)의 온 타임 신호 비율을 제2 열 좌석(14)을 비추는 제2 열 조명(111-2)의 온 타임 신호 비율과 상이하게 조절하는 동작, 및 iii) 비율이 조절된 온 타임 신호를 제1 열 조명(111-1)에 인가하여 제1 열 좌석(12)의 밝기를 조절하는 동작 중 적어도 하나는, 신경망을 통한 연산을 수행하는 인공지능(AI) 기술을 이용하여 수행될 수 있다.
인공 지능 기술(이하, 'AI 기술')은 신경망(Neural Network)을 통한 연산을 기반으로 입력 데이터를 분석 및/또는 분류 등과 같은 처리를 하여 목적하는 결과를 획득하는 기술이다.
이러한 AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network)이라 한다. 여기서, 신경망은 입력 데이터를 입력받고, 전술한 분석 및/또는 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다. 신경망이 입력 데이터에 대응되는 결과 데이터를 정확하게 출력하기 위해서는, 신경망을 학습(training)시킬 필요가 있다. 여기서, '학습(training)'은 신경망에 대한 입력 데이터들을 분석하는 방법, 입력 데이터들을 분류하는 방법, 및/또는 입력 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 신경망이 스스로 발견 또는 터득할 수 있도록 훈련시키는 것을 의미할 수 있다. 구체적으로, 학습 과정을 통하여, 신경망은 학습 데이터(예를 들어, 서로 다른 복수의 이미지들)를 학습(training)하여 신경망 내부의 가중치(weight) 값들을 최적화할 수 있다. 그리고, 최적화된 가중치 값을 가지는 신경망을 통하여, 입력 데이터를 처리함으로써, 목적하는 결과를 출력한다.
신경망은 연산을 수행하는 내부의 레이어(layer)인 은닉 레이어(hidden layer)의 개수가 복수일 경우, 즉 연산을 수행하는 신경망의 심도(depth)가 증가하는 경우, 심층 신경망으로 분류될 수 있다. 신경망은 예를 들어, 컨볼루션 신경망 (Convolutional Neural Network), 순환 신경망(Recurrent Neural Network), 제한된 볼츠만 머신(Restricted Boltzmann Machine), 심층 신뢰 신경망(Deep Belief Network), 양방향 순환 심층 신경망(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 등을 포함하고, 전술한 예시에 한정되지 않는다. 또한, 신경망은 세분화될 수 있다. 예를 들어, 컨볼루션 신경망은 D-CNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망(미도시) 등으로 세분화 될 수 있다.
'AI 모델'은 입력 데이터를 수신하고 목적하는 결과를 출력하도록 동작하는 적어도 하나의 레이어를 포함하는 신경망을 의미할 수 있다. 또한, 'AI 모델'은 신경망을 통한 연산을 수행하여 목적하는 결과를 출력하는 알고리즘, 복수의 알고리즘의 집합, 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 프로세서(processor), 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 소프트웨어, 또는 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 하드웨어를 의미할 수 있다.
전술한 i) 카메라(110)를 통해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하는 동작, ii) 획득된 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 카메라(110)의 적외선 조명(111)과 차량 내 탑승자 간의 근접 여부를 판단하는 동작, 및 iii) 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 조절(adjust)하는 동작 중 적어도 하나는 AI 모델 기반으로 수행될 수 있다.
또한, 전술한 i) 카메라(110)의 노출 시간에 동기화하여 복수의 적외선 조명(111-1, 111-2)이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명(111-1, 111-2)에 인가하는 동작, ii) 복수의 적외선 조명(111-1, 111-2)에 의한 차량 내 제1 열 좌석(12) 및 제2 열 좌석(14)의 밝기 차이에 기초하여, 복수의 적외선 조명(111-1, 111-2) 중 제1 열 좌석(12)을 비추는 제1 열 조명(111-1)의 온 타임 신호 비율을 제2 열 좌석(14)을 비추는 제2 열 조명(111-2)의 온 타임 신호 비율과 상이하게 조절하는 동작, 및 iii) 비율이 조절된 온 타임 신호를 제1 열 조명(111-1)에 인가하여 제1 열 좌석(12)의 밝기를 조절하는 동작 중 적어도 하나는 AI 모델 기반으로 수행될 수 있다.
도 20을 참조하면, 신경망(2000)은 학습 데이터(training data)를 입력받아 트레이닝(training)될 수 있다. 그리고, 학습된 신경망(2000)은 입력단(2020)으로 입력 데이터(2010)를 입력받고, 입력단(2020), 은닉 레이어(hidden layer)(2030) 및 출력단(2040)은 입력 데이터(2010) 및 이전 레이어로부터 전달된 데이터를 분석하여 출력 데이터(2050)를 출력하기 위한 연산을 수행할 수 있다. 도 20에서는 은닉 레이어(2030)가 1개의 계층인 것으로 도시되어 있으나, 이는 예시일 뿐이고, 은닉 레이어(2030)는 복수의 계층으로 이루어질 수도 있다.
개시된 실시예에서, 신경망(2000)은 근접 센싱용 프레임의 휘도 값을 기 설정된 임계값과 비교하고, 비교 결과 근접 센싱용 프레임의 휘도 값이 임계값을 초과하는 경우 차량 내 탑승자가 적외선 조명(111)과 근접한 것으로 판단하도록 학습될 수 있다.
개시된 실시예에서, 신경망(2000)은 차량 내 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우, 적외선 조명(111)에 인가되는 전원을 오프(off)하도록 학습될 수 있다.
개시된 실시예에서, 신경망(2000)은 차량 내 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우, 펄스 폭 변조(pulse width modulation, PWM)을 통해 적외선 조명(111)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절함으로써 적외선 조명(111)의 온 타임(on time) 신호 비율을 조절하도록 학습될 수 있다.
개시된 실시예에서, 신경망(2000)은 차량 내 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우, 적외선 조명(111)에 인가되는 전원의 전류 값을 제어하여 적외선 조명(111)의 밝기를 조절하도록 학습될 수 있다.
개시된 실시예에서, 신경망(2000)은 차량 내 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우, 적외선 조명(111)의 노출 시간을 제어하여 적외선 조명(111)의 밝기를 조절하도록 학습될 수 있다.
개시된 실시예에서, 신경망(2000)은 카메라(110)의 노출 시간에 동기화되는 시간 주기 내에서 지연 시간(delay time)을 적용하여 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하도록 학습될 수 있다.
개시된 실시예에서, 신경망(2000)은 펄스 폭 변조(Pulse Width Modulation)를 통해 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절하여 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하도록 학습될 수 있다.
개시된 실시예에서, 신경망(2000)은 카메라(110)의 노출 시간에 동기화되는 시간 주기 내에서 지연 시간(delay time)을 적용하고, 펄스 폭 변조를 통해 지연 시간이 적용된 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티를 조절함으로써, 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다.
개시된 실시예에서, 전술한 i) 카메라(110)를 통해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하는 동작, ii) 획득된 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 카메라(110)의 적외선 조명(111)과 차량 내 탑승자 간의 근접 여부를 판단하는 동작, 및 iii) 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 조절(adjust)하는 동작 중 적어도 하나를 수행하는 신경망(2000)과 관련된 데이터 또는 프로그램 코드는 메모리(130, 도 4 참조)에 저장되고, 신경망(2000)을 이용하는 학습은 프로세서(120, 도 4 참조)에 의해 수행될 수 있다. 이 경우, 프로세서(120)는 NPU(Neural Processing Unit)와 같은 인공지능 전용 프로세서를 포함할 수 있다.
개시된 실시예에서, 전술한 i) 카메라(110)의 노출 시간에 동기화하여 복수의 적외선 조명(111-1, 111-2)이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명(111-1, 111-2)에 인가하는 동작, ii) 복수의 적외선 조명(111-1, 111-2)에 의한 차량 내 제1 열 좌석(12) 및 제2 열 좌석(14)의 밝기 차이에 기초하여, 복수의 적외선 조명(111-1, 111-2) 중 제1 열 좌석(12)을 비추는 제1 열 조명(111-1)의 온 타임 신호 비율을 제2 열 좌석(14)을 비추는 제2 열 조명(111-2)의 온 타임 신호 비율과 상이하게 조절하는 동작, 및 iii) 비율이 조절된 온 타임 신호를 제1 열 조명(111-1)에 인가하여 제1 열 좌석(12)의 밝기를 조절하는 동작 중 적어도 하나를 수행하는 신경망(2000)과 관련된 데이터 또는 프로그램 코드는 메모리(130)에 저장되고, 신경망(2000)을 이용하는 학습은 프로세서(120)에 의해 수행될 수 있다.
그러나, 이에 한정되는 것은 아니고, 전술한 i) 카메라(110)를 통해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하는 동작, ii) 획득된 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 카메라(110)의 적외선 조명(111)과 차량 내 탑승자 간의 근접 여부를 판단하는 동작, 및 iii) 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 조절(adjust)하는 동작 중 적어도 하나를 수행하는 신경망(2000)은 전자 장치(100)와 구별된 별도의 디바이스(미도시) 또는 프로세서(미도시) 내에 구현될 수 있다.
또한, 전술한 i) 카메라(110)의 노출 시간에 동기화하여 복수의 적외선 조명(111-1, 111-2)이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명(111-1, 111-2)에 인가하는 동작, ii) 복수의 적외선 조명(111-1, 111-2)에 의한 차량 내 제1 열 좌석(12) 및 제2 열 좌석(14)의 밝기 차이에 기초하여, 복수의 적외선 조명(111-1, 111-2) 중 제1 열 좌석(12)을 비추는 제1 열 조명(111-1)의 온 타임 신호 비율을 제2 열 좌석(14)을 비추는 제2 열 조명(111-2)의 온 타임 신호 비율과 상이하게 조절하는 동작, 및 iii) 비율이 조절된 온 타임 신호를 제1 열 조명(111-1)에 인가하여 제1 열 좌석(12)의 밝기를 조절하는 동작 중 적어도 하나를 수행하는 신경망(2000)은 전자 장치(100)와 구별된 별도의 디바이스(미도시) 또는 프로세서(미도시) 내에 구현될 수 있다.
전술한 신경망(2000)을 통한 연산은 일 실시예에 따른 전자 장치(100)와 무선 통신 네트워크를 통해 통신할 수 있는 서버(200, 도 21및 도 22 참조)에 의해 수행될 수도 있다. 전자 장치(100)와 서버(200) 간의 통신은 도 21 및 도 22를 참조하여 설명한다.
도 21은 서버(200)와 연동하여 동작하는 개시된 실시예에 따른 전자 장치(100)를 도시한 도면이다.
도 21에 도시된 실시예에서, 전자 장치(100)는 카메라(110), 프로세서(120), 및 메모리(130)를 포함할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)는 통신 인터페이스(140, 도 21 참조)를 더 포함할 수 있다. 도 21에 도시된 카메라(110), 프로세서(120), 및 메모리(130)는 도 4에 도시되고, 설명된 카메라(110, 도 4 참조), 프로세서(120, 도 4 참조), 및 메모리(130, 도 4 참조)와 동일하므로, 중복되는 설명은 생략한다.
서버(200)는 통신 네트워크(400)를 통하여 전자 장치(100)와 데이터를 송수신하며 데이터를 처리할 수 있다.
도 22를 함께 참조하면, 서버(200)는 전자 장치(100)와 통신하는 통신 인터페이스(210), 적어도 하나의 인스트럭션을 수행하는 프로세서(220), 및 데이터베이스(230)를 포함할 수 있다.
서버(200)는 AI 모델을 훈련시키고, 훈련된 AI 모델을 저장하고 있을 수 있다. 그리고, 서버(200)는 훈련된 AI 모델을 이용하여 전술한 i) 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하는 동작, ii) 획득된 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 카메라(110)의 적외선 조명(111)과 차량 내 탑승자 간의 근접 여부를 판단하는 동작, 및 iii) 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 조절(adjust)하는 동작 중 적어도 하나를 수행할 수 있다. 본 개시의 일 실시예에서, 서버(200)는 i) 카메라(110)의 노출 시간에 동기화하여 복수의 적외선 조명(111-1, 111-2)이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명(111-1, 111-2)에 인가하는 동작, ii) 복수의 적외선 조명(111-1, 111-2)에 의한 차량 내 제1 열 좌석(12) 및 제2 열 좌석(14)의 밝기 차이에 기초하여, 복수의 적외선 조명(111-1, 111-2) 중 제1 열 좌석(12)을 비추는 제1 열 조명(111-1)의 온 타임 신호 비율을 제2 열 좌석(14)을 비추는 제2 열 조명(111-2)의 온 타임 신호 비율과 상이하게 조절하는 동작, 및 iii) 비율이 조절된 온 타임 신호를 제1 열 조명(111-1)에 인가하여 제1 열 좌석(12)의 밝기를 조절하는 동작 중 적어도 하나를 수행할 수 있다.
일반적으로, 전자 장치(100)는 메모리(130, 도 4 참조)의 저장 용량, 프로세서(120, 도 4 참조)의 연산 처리 속도, 학습 데이터 셋의 수집 능력 등이 서버(200)에 비하여 제한적일 수 있다. 따라서, 대용량 데이터의 저장 및 대용량의 연산량이 필요한 동작은 서버(200)에서 수행한 후, 통신 네트워크를 통하여 필요한 데이터 및/또는 AI 모델을 전자 장치(100)에 전송할 수 있다. 그러면, 전자 장치(100)는 대용량의 메모리 및 빠른 연산 능력을 갖는 프로세서 없이도, 서버(200)를 통하여 필요한 데이터 및/또는 AI 모델을 수신하여 이용함으로써, 빠르고 용이하게 필요한 동작을 수행할 수 있다.
개시된 실시예에서, 서버(200)는 도 20에서 설명한 신경망(2000)을 포함할 수 있다.
도 22는 도 21을 상세하게 설명하기 위한 도면이다.
도 22를 참조하면, 서버(200)는 통신 인터페이스(210), 프로세서(220), 및 데이터베이스(230)를 포함할 수 있다.
통신 인터페이스(210)는 무선 통신 네트워크를 통해서 외부 장치와 통신을 수행한다. 여기서, 외부 장치(미도시)는 전자 장치(100)가 필요로 하는 연산 중 적어도 하나를 수행하거나, 전자 장치(100)가 필요로 하는 데이터 등을 송신할 수 있는 서버를 포함할 수 있다.
통신 인터페이스(210)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 적어도 하나의 통신 모듈은 방송 수신을 수행하는 튜너, 블루투스, Wi-Fi, Wibro(Wireless broadband), WiMAX(World Interoperability for Microwave Access), CDMA, WCDMA, 인터넷, 3G, 4G, 5G 및/또는 밀리미터 파(mmWave)를 이용한 통신 방식과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 의미한다.
통신 인터페이스(210)에 포함되는 이동 통신 모듈은 3G, 4G(LTE), 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 원거리에 위치하는 다른 장치(예를 들어, 전자 장치(100))와 통신을 수행할 수 있다. 여기서, 원거리에 위치하는 다른 장치와 통신을 수행하는 통신 모듈을 '원거리 통신 모듈'이라 칭할 수 있다. 본 개시의 일 실시예에서, 전자 장치(100)는 통신 인터페이스(140)를 더 포함하고, 서버(200)의 통신 인터페이스(210)는 전자 장치(100)의 통신 인터페이스(140)와 유선 또는 무선으로 데이터를 송수신할 수 있다.
프로세서(220)는 서버(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(220)는, 서버(200)의 적어도 하나의 인스트럭션(instructions), 및 프로그램들 중 적어도 하나를 실행함으로써, 요구되는 동작들을 수행할 수 있다.
데이터베이스(230)는 메모리(미도시)를 포함할 수 있으며, 메모리(미도시) 내에 서버(200)가 소정 동작을 수행하기 위해서 필요한 적어도 하나의 인스트럭션, 프로그램, 데이터 중 적어도 하나를 저장할 수 있다. 또한, 데이터베이스(230)는 서버(200)가 신경망에 따른 연산을 수행하기 위해서 필요한 데이터들을 저장할 수 있다.
개시된 실시예에서, 서버(200)는 도 20에서 설명한 신경망(2000)을 저장하고 있을 수 있다. 신경망(2000)은 프로세서(220) 및 데이터베이스(230) 중 적어도 하나에 저장될 수 있다. 서버(200)가 포함하는 신경망(2000)은 학습이 완료된 신경망이 될 수 있다.
또한, 서버(200)는 학습이 완료된 신경망(2000, 도 20참조)을 통신 인터페이스(210)를 통하여 전자 장치(100)의 통신 인터페이스(140)로 전송할 수 있다. 전자 장치(100)는 학습이 완료된 신경망(2000)을 획득 및 저장하고, 신경망(2000)을 통하여 목적하는 출력 데이터를 획득할 수 있다.
본 개시는 전자 장치(100)가 차량 내 적외선 조명의 밝기를 제어하는 방법을 제공한다. 본 개시의 일 실시예에서, 전자 장치(100)의 동작 방법은 카메라(110)를 통해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하는 단계를 포함할 수 있다. 상기 전자 장치(100)의 동작 방법은 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 카메라(110)의 적외선 조명과 차량 내 탑승자 간의 근접 여부를 판단하는 단계를 포함할 수 있다. 상기 전자 장치(100)의 동작 방법은 근접 여부의 판단 결과에 기초하여, 적외선 조명(111)의 밝기를 조절(adjust)하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 기 설정된 프레임 수 비율은 기 설정된 개수의 이미지 프레임 및 1개의 근접 센싱용 프레임이 획득되는 1회의 주기(time period) 동안 획득된 복수의 이미지 프레임의 개수 대비 1개의 근접 센싱용 프레임의 비율을 나타낼 수 있다.
본 개시의 일 실시예에서, 상기 근접 센싱용 프레임을 획득하기 위하여 적외선 조명(111)에 의해 상기 탑승자에게 조사되는 적외선 광의 노출 시간(exposure time)은 기 설정된 시간으로 고정될 수 있다.
본 개시의 일 실시예에서, 상기 근접 센싱용 프레임의 픽셀 휘도 값은 카메라(110)의 이미지 센서(112)에 의해 획득된 광의 아날로그 신호를 디지털 신호로 변환한 아날로그-디지털 변환기(analog-to-digital converter, ADC) 출력의 신호 레벨에 기초하여 획득될 수 있다.
본 개시의 일 실시예에서, 상기 적외선 조명(111)과 상기 탑승자 간의 근접 여부를 판단하는 단계는, 획득된 근접 센싱용 프레임의 휘도 값을 기 설정된 임계값과 비교하는 단계; 및 비교 결과 근접 센싱용 프레임의 휘도 값이 임계값을 초과하는 경우 탑승자가 적외선 조명(111)과 근접한 것으로 판단하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 적외선 조명(111)의 밝기를 조절하는 단계는, 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우 적외선 조명(111)에 인가되는 전원을 오프(off)하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 적외선 조명(111)의 밝기를 조절하는 단계에서, 전자 장치(100)는 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우 펄스 폭 변조(pulse width modulation, PWM)을 통해 적외선 조명(111)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절함으로써 적외선 조명(111)의 온 타임(on time) 신호 비율을 조절할 수 있다.
본 개시의 일 실시예에서, 상기 적외선 조명(111)의 밝기를 조절하는 단계에서, 전자 장치(100)는 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우 적외선 조명(111)에 인가되는 전원의 전류 값을 제어하여 적외선 조명(111)의 밝기를 조절할 수 있다.
본 개시의 일 실시예에서, 상기 적외선 조명(111)의 밝기를 조절하는 단계에서, 전자 장치(100)는 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우 적외선 조명(111)의 노출 시간을 제어하여 적외선 조명(111)의 밝기를 조절할 수 있다.
본 개시의 일 실시예에서, 상기 카메라(110)의 이미지 센서(112)는 복수의 수광 센서를 포함하고, 상기 복수의 수광 센서는 위치에 따라 복수의 영역으로 분할될 수 있다. 상기 적외선 조명(111)과 상기 탑승자 간의 근접 여부를 판단하는 단계는, 분할된 복수의 영역 각각에 포함된 복수의 수광 센서를 이용하여 탑승자로부터 반사된 광을 수광함으로써 근접 센싱용 프레임의 영역 별 휘도 값 정보를 획득하는 단계; 및 획득된 영역 별 휘도 값 정보에 영역 별로 할당된 가중치(weight value)를 적용하여 탑승자의 적외선 조명(111)에 대한 근접 여부를 판단하는 단계를 포함할 수 있다.
본 개시는 차량(10) 내 탑승자와의 근접 여부에 기초하여 조명의 밝기를 제어하는 전자 장치(100)를 제공한다. 본 개시의 일 실시예에 따른 전자 장치(100)는 차량(10) 내의 탑승자에 적외선 광을 조사하도록 구성되는 적외선 조명(111) 및 탑승자로부터 반사된 광을 수광하여 이미지를 획득하도록 구성되는 이미지 센서(112)를 포함하는 카메라(110), 적어도 하나의 명령어들(instructions)를 저장하는 메모리(130), 및 상기 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서(120)를 포함할 수 있다. 상기 이미지 센서(112)는 초당 프레임 수(frame per second)에 따라 복수의 이미지 프레임을 획득하고, 복수의 이미지 프레임이 획득되는 시점 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득할 수 있다. 상기 적어도 하나의 프로세서(120)는 근접 센싱용 프레임의 픽셀의 휘도 정보를 획득하고, 획득된 근접 센싱용 프레임의 휘도 정보에 기초하여 카메라(110)와 차량(10) 내 탑승자 간의 근접 여부를 판단할 수 있다. 상기 적어도 하나의 프로세서(120)는 근접 여부의 판단 결과에 기초하여 적외선 조명(111)의 밝기를 조절(adjust)할 수 있다.
본 개시의 일 실시예에서, 상기 기 설정된 프레임 수 비율은 기 설정된 개수의 이미지 프레임 및 1개의 근접 센싱용 프레임이 획득되는 1회의 주기(time period) 동안 획득된 복수의 이미지 프레임의 개수 대비 1개의 근접 센싱용 프레임의 비율을 나타낼 수 있다.
본 개시의 일 실시예에서, 상기 근접 센싱용 프레임을 획득하기 위하여 적외선 조명(111)에 의해 탑승자에게 조사되는 적외선 광의 노출 시간(exposure time)은 기 설정된 시간으로 고정될 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 이미지 센서(112)에 의해 획득된 광의 아날로그 신호를 디지털 신호로 변환한 아날로그-디지털 변환기(analog-to-digital converter, ADC) 출력의 신호 레벨에 기초하여 근접 센싱용 프레임의 픽셀 휘도 값을 획득할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 획득된 근접 센싱용 프레임의 휘도 값을 기 설정된 임계값과 비교하고, 비교 결과 근접 센싱용 프레임의 휘도 값이 임계값을 초과하는 경우 탑승자가 적외선 조명(111)과 근접한 것으로 판단할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우, 적외선 조명(111)에 인가되는 전원을 오프(off)할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우, 펄스 폭 변조(pulse width modulation, PWM)을 수행하여 적외선 조명(111)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절함으로써, 적외선 조명(111)의 온 타임(on time) 신호 비율을 조절할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우, 적외선 조명(111)에 인가되는 전원의 전류 값을 제어하여 적외선 조명(111)의 밝기를 조절할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 탑승자가 적외선 조명(111)과 근접하다고 판단된 경우, 적외선 조명(111)의 노출 시간을 제어하여 적외선 조명(111)의 밝기를 조절할 수 있다.
본 개시의 일 실시예에서, 상기 이미지 센서(112)는 복수의 수광 센서(700-1 내지 700-n)를 포함하고, 상기 복수의 수광 센서(700-1 내지 700-n)는 위치에 따라 복수의 영역으로 분할될 수 있다. 상기 적어도 하나의 프로세서(120)는 분할된 복수의 영역 각각에 포함된 복수의 수광 센서(700-1 내지 700-n)를 이용하여 탑승자로부터 반사된 광을 수광함으로써 근접 센싱용 프레임의 영역 별 휘도 값 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서(120)는 획득된 영역 별 휘도 값 정보에 영역 별로 할당된 가중치(weight value)를 적용하여 탑승자의 적외선 조명(111)에 대한 근접 여부를 판단할 수 있다.
본 개시는 차량(10) 내에 포함된 복수의 적외선 조명(111-1, 111-2)을 제어하는 전자 장치(100)의 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치(100)의 동작 방법은 카메라(110)의 노출 시간(exposure time)에 동기화하여 복수의 적외선 조명(111-1, 111-2)이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명(111-1, 111-2)에 인가하는 단계를 포함할 수 있다. 상기 전자 장치(100)의 동작 방법은 복수의 적외선 조명(111-1, 111-2)에 의한 차량(10) 내 제1 열 좌석 및 제2 열 좌석의 밝기 차이에 기초하여, 복수의 적외선 조명(111-1, 111-2) 중 제1 열 좌석을 비추는 제1 열 조명(111-1)의 온 타임 신호 비율을 제2 열 좌석을 비추는 제2 열 조명(111-2)의 온 타임 신호 비율과 상이하게 조절하는 단계를 포함할 수 있다. 상기 전자 장치(100)의 동작 방법은 비율이 조절된 온 타임 신호를 제1 열 조명(111-1)에 인가하여 제1 열 좌석의 밝기를 조절하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하는 단계에서 전자 장치(100)는, 카메라(110)의 이미지 센서(112)의 노출 시간에 동기화되는 시간 주기 내에서 지연 시간(delay time)을 적용하여 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다.
본 개시의 일 실시예에서, 상기 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하는 단계에서 전자 장치(100)는, 펄스 폭 변조(Pulse Width Modulation)를 통해 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절하여 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다.
본 개시의 일 실시예에서, 상기 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하는 단계에서 전자 장치(100)는, 카메라(110) 이미지 센서(112)의 노출 시간에 동기화되는 시간 주기 내에서 지연 시간(delay time)을 적용하고, 펄스 폭 변조를 통해 지연 시간이 적용된 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티를 조절함으로써, 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다.
본 개시의 일 실시예에서, 상기 제1 열 조명(111-1)은 복수 개로 구성될 수 있다. 상기 제1 열 조명(111-1)의 온 타임 신호 비율을 조절하는 단계에서 전자 장치(100)는, 복수의 제1 열 조명(111-1) 각각에 의한 복수의 제1 열 좌석의 밝기 차이에 기초하여, 복수의 제1 열 조명(111-1) 각각의 온 타임 신호 비율을 상이하게 조절할 수 있다.
본 개시의 일 실시예에서, 상기 제2 열 조명(111-2)은 복수 개로 구성될 수 있다. 상기 전자 장치(100)의 동작 방법은 복수의 제2 열 조명 각각에 의한 복수의 제2 열 좌석의 밝기 차이에 기초하여, 복수의 제2 열 조명 각각의 온 타임 신호 비율을 상이하게 조절하는 단계를 더 포함할 수 있다.
본 개시는 차량(10) 내에 포함된 카메라(110)의 적외선 조명의 밝기를 제어하는 전자 장치(100)를 제공한다. 본 개시의 일 실시예에 따른 전자 장치(100)는, 차량(10) 내의 탑승자에 적외선 광을 조사하도록 구성되는 복수의 적외선 조명(111-1, 111-2) 및 탑승자로부터 반사된 광을 수광하여 이미지를 획득하도록 구성되는 이미지 센서(112)를 포함하는 카메라(110), 적어도 하나의 명령어들(instructions)를 저장하는 메모리(130), 및 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서(120)를 포함할 수 있다. 상기 복수의 적외선 조명(111-1, 111-2)은 차량(10)의 제1 열 좌석에 적외선 광을 조사하는 제1 열 조명(111-1) 및 차량(10)의 제2 열 좌석에 적외선 광을 조사하는 제2 열 조명(111-2)을 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는, 이미지 센서(112)의 노출 시간(exposure time)에 동기화하여 복수의 적외선 조명(111-1, 111-2)이 발광되는 온 타임(on time) 신호를 복수의 적외선 조명(111-1, 111-2)에 인가할 수 있다. 상기 적어도 하나의 프로세서(120)는 복수의 적외선 조명(111-1, 111-2)에 의한 차량(10) 내 제1 열 좌석 및 제2 열 좌석의 밝기 차이에 기초하여, 제1 열 조명(111-1)의 온 타임 신호 비율을 제2 열 조명(111-2)의 온 타임 신호 비율과 상이하게 조절할 수 있다. 상기 적어도 하나의 프로세서(120)는 비율이 조절된 온 타임 신호를 제1 열 조명(111-1)에 인가하여 제1 열 좌석의 밝기를 조절할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 이미지 센서(112)의 노출 시간에 동기화되는 시간 주기 내에서 지연 시간(delay time)을 적용하여 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 펄스 폭 변조(Pulse Width Modulation)를 통해 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절하여 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(120)는 이미지 센서(112)의 노출 시간에 동기화되는 시간 주기 내에서 지연 시간(delay time)을 적용하고, 펄스 폭 변조를 통해 지연 시간이 적용된 상기 제1 열 조명(111-1)의 발광을 제어하는 펄스 듀티를 조절함으로써, 제1 열 조명(111-1)의 온 타임 신호 비율을 조절할 수 있다.
본 개시의 일 실시예에서, 상기 제1 열 조명(111-1)은 복수 개로 구성될 수 있다. 상기 적어도 하나의 프로세서(120)는 복수의 제1 열 조명(111-1) 각각에 의한 복수의 제1 열 좌석의 밝기 차이에 기초하여, 복수의 제1 열 조명(111-1) 각각의 온 타임 신호 비율을 상이하게 조절할 수 있다.
본 개시의 일 실시예에서, 상기 제2 열 조명(111-2)은 복수 개로 구성될 수 있다. 상기 적어도 하나의 프로세서(120)는 복수의 제2 열 조명 각각에 의한 복수의 제2 열 좌석의 밝기 차이에 기초하여, 복수의 제2 열 조명 각각의 온 타임 신호 비율을 상이하게 조절할 수 있다.
본 명세서에서 설명된 전자 장치(100)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어TM, 구글 플레이 스토어TM)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량(10)의 제조사의 클라우드 서버 또는 전자 장치(100)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장 매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(100), 서버(200, 도 21 및 도 22 참조), 및 타 전자 장치로 구성되는 시스템에서, 서버(200)의 저장매체 또는 타 전자 장치의 저장매체를 포함할 수 있다. 또는, 전자 장치(100)와 통신 연결되는 제3 장치(예를 들어, 스마트 폰 등 모바일 디바이스)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(100)로부터 타 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치(100)로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(100), 타 전자 장치, 및 제3 장치(예를 들어, 스마트 폰 등 모바일 디바이스) 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(100), 타 전자 장치, 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(100)가 메모리(130, 도 4 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(100)와 통신 연결된 타 전자 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(100)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 전자 장치(100)가 차량 내 적외선 조명의 밝기를 제어하는 방법에 있어서,
    카메라(110)를 통해 초당 프레임 수(frame per second)에 따라 획득되는 복수의 이미지 프레임 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하는 단계;
    상기 획득된 근접 센싱용 프레임의 픽셀 휘도 값에 기초하여 상기 카메라(110)의 적외선 조명(111)과 상기 차량 내 탑승자 간의 근접 여부를 판단하는 단계; 및
    근접 여부의 판단 결과에 기초하여, 상기 적외선 조명(111)의 밝기를 조절(adjust)하는 단계;
    를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 근접 센싱용 프레임을 획득하기 위하여 상기 적외선 조명(111)에 의해 상기 탑승자에게 조사되는 적외선 광의 노출 시간(exposure time)은 기 설정된 시간으로 고정되는, 방법.
  3. 제1 항 또는 제2 항 중 어느 하나의 항에 있어서,
    상기 적외선 조명(111)과 상기 탑승자 간의 근접 여부를 판단하는 단계는,
    상기 획득된 근접 센싱용 프레임의 휘도 값을 기 설정된 임계값과 비교하는 단계; 및
    비교 결과 상기 근접 센싱용 프레임의 휘도 값이 상기 임계값을 초과하는 경우 상기 탑승자가 상기 적외선 조명(111)과 근접한 것으로 판단하는 단계;
    를 포함하는, 방법.
  4. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
    상기 적외선 조명(111)의 밝기를 조절하는 단계는,
    상기 탑승자가 상기 적외선 조명(111)과 근접하다고 판단된 경우, 상기 적외선 조명(111)에 인가되는 전원을 오프(off)하는 단계;
    를 포함하는, 방법.
  5. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
    상기 적외선 조명(111)의 밝기를 조절하는 단계는,
    상기 탑승자가 상기 적외선 조명(111)과 근접하다고 판단된 경우, 펄스 폭 변조(pulse width modulation, PWM)을 통해 상기 적외선 조명(111)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절함으로써 상기 적외선 조명(111)의 온 타임(on time) 신호 비율을 조절하는, 방법.
  6. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
    상기 적외선 조명(111)의 밝기를 조절하는 단계는,
    상기 탑승자가 상기 적외선 조명(111)과 근접하다고 판단된 경우, 상기 적외선 조명(111)에 인가되는 전원의 전류 값을 제어하여 상기 적외선 조명(111)의 밝기를 조절하는, 방법.
  7. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
    상기 적외선 조명(111)의 밝기를 조절하는 단계는,
    상기 탑승자가 상기 적외선 조명(111)과 근접하다고 판단된 경우, 상기 적외선 조명(111)의 노출 시간을 제어하여 상기 적외선 조명(111)의 밝기를 조절하는, 방법.
  8. 차량(10) 내 탑승자와의 근접 여부에 기초하여 조명의 밝기를 제어하는 전자 장치(100)에 있어서,
    상기 차량(10) 내의 탑승자에 적외선 광을 조사하도록 구성되는 적외선 조명(111) 및 상기 탑승자로부터 반사된 광을 수광하여 이미지를 획득하도록 구성되는 이미지 센서(112)를 포함하는 카메라(110);
    적어도 하나의 명령어들(instructions)를 저장하는 메모리(130); 및
    상기 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서(120);
    를 포함하고,
    상기 이미지 센서(112)는,
    초당 프레임 수(frame per second)에 따라 복수의 이미지 프레임을 획득하고, 상기 복수의 이미지 프레임이 획득되는 시점 사이에 기 설정된 프레임 수 비율에 따라 근접 센싱용 프레임을 획득하고,
    상기 적어도 하나의 프로세서(120)는,
    상기 근접 센싱용 프레임의 픽셀의 휘도 정보를 획득하고, 상기 획득된 근접 센싱용 프레임의 휘도 정보에 기초하여 상기 카메라(110)와 상기 차량(10) 내 탑승자 간의 근접 여부를 판단하고,
    근접 여부의 판단 결과에 기초하여 상기 적외선 조명(111)의 밝기를 조절(adjust)하는, 전자 장치(100).
  9. 제8 항에 있어서,
    상기 근접 센싱용 프레임을 획득하기 위하여 상기 적외선 조명(111)에 의해 상기 탑승자에게 조사되는 적외선 광의 노출 시간(exposure time)은 기 설정된 시간으로 고정되는, 전자 장치(100).
  10. 제8 항 또는 제9 항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 획득된 근접 센싱용 프레임의 휘도 값을 기 설정된 임계값과 비교하고,
    비교 결과 상기 근접 센싱용 프레임의 휘도 값이 상기 임계값을 초과하는 경우 상기 탑승자가 상기 적외선 조명(111)과 근접한 것으로 판단하는, 전자 장치(100).
  11. 제8 항 내지 제10 항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 탑승자가 상기 적외선 조명(111)과 근접하다고 판단된 경우, 상기 적외선 조명(111)에 인가되는 전원을 오프(off)하는, 전자 장치(100).
  12. 제8 항 내지 제10 항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 탑승자가 상기 적외선 조명(111)과 근접하다고 판단된 경우, 펄스 폭 변조(pulse width modulation, PWM)을 수행하여 상기 적외선 조명(111)의 발광을 제어하는 펄스 듀티(pulse duty)를 조절함으로써, 상기 적외선 조명(111)의 온 타임(on time) 신호 비율을 조절하는, 전자 장치(100).
  13. 제8 항 내지 제10 항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 탑승자가 상기 적외선 조명(111)과 근접하다고 판단된 경우, 상기 적외선 조명(111)에 인가되는 전원의 전류 값을 제어하여 상기 적외선 조명(111)의 밝기를 조절하는, 전자 장치(100).
  14. 제8 항 내지 제10 항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 탑승자가 상기 적외선 조명(111)과 근접하다고 판단된 경우, 상기 적외선 조명(111)의 노출 시간을 제어하여 상기 적외선 조명(111)의 밝기를 조절하는, 전자 장치(100).
  15. 제8 항 내지 제14 항 중 어느 하나의 항에 있어서,
    상기 이미지 센서(112)는 복수의 수광 센서(700-1 내지 700-n)를 포함하고,
    상기 복수의 수광 센서(700-1 내지 700-n)는 위치에 따라 복수의 영역으로 분할되며,
    상기 적어도 하나의 프로세서(120)는,
    상기 분할된 복수의 영역 각각에 포함된 복수의 수광 센서(700-1 내지 700-n)를 이용하여 상기 탑승자로부터 반사된 광을 수광함으로써 상기 근접 센싱용 프레임의 영역 별 휘도 값 정보를 획득하고,
    상기 획득된 영역 별 휘도 값 정보에 영역 별로 할당된 가중치(weight value)를 적용하여 상기 탑승자의 상기 적외선 조명(111)에 대한 근접 여부를 판단하는, 전자 장치(100).
PCT/KR2024/001295 2023-02-09 2024-01-26 차량 내 적외선 조명의 밝기를 제어하는 전자 장치 및 그 동작 방법 WO2024167196A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2023-0017577 2023-02-09
KR20230017577 2023-02-09
KR20230125856 2023-09-20
KR10-2023-0125856 2023-09-20
KR10-2023-0153943 2023-11-08
KR1020230153943A KR20240124796A (ko) 2023-02-09 2023-11-08 차량 내 적외선 조명의 밝기를 제어하는 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2024167196A1 true WO2024167196A1 (ko) 2024-08-15

Family

ID=92263188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/001295 WO2024167196A1 (ko) 2023-02-09 2024-01-26 차량 내 적외선 조명의 밝기를 제어하는 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2024167196A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0850018A (ja) * 1994-08-05 1996-02-20 Honda Motor Co Ltd 距離測定装置および方法
JP3009511B2 (ja) * 1991-07-30 2000-02-14 キヤノン株式会社 カメラのための測距装置
KR20100019034A (ko) * 2007-08-08 2010-02-18 하만 베커 오토모티브 시스템즈 게엠베하 차량 조명 시스템
JP2016032257A (ja) * 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
KR20220021322A (ko) * 2020-08-13 2022-02-22 현대자동차주식회사 차량용 조명 장치 및 그의 조명 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3009511B2 (ja) * 1991-07-30 2000-02-14 キヤノン株式会社 カメラのための測距装置
JPH0850018A (ja) * 1994-08-05 1996-02-20 Honda Motor Co Ltd 距離測定装置および方法
KR20100019034A (ko) * 2007-08-08 2010-02-18 하만 베커 오토모티브 시스템즈 게엠베하 차량 조명 시스템
JP2016032257A (ja) * 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
KR20220021322A (ko) * 2020-08-13 2022-02-22 현대자동차주식회사 차량용 조명 장치 및 그의 조명 제어 방법

Similar Documents

Publication Publication Date Title
WO2015122677A1 (ko) 자동차의 트렁크 개방 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
WO2016182275A1 (en) Autonomous driving apparatus and vehicle including the same
WO2020032464A1 (en) Method for processing image based on scene recognition of image and electronic device therefor
WO2019182269A1 (ko) 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
WO2021112446A1 (en) Pollution source determination robot cleaner and operating method thereof
WO2020171512A1 (en) Electronic device for recommending composition and operating method thereof
WO2015088289A1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2020226210A1 (ko) 자율 주행 차량 제어 방법
WO2018038340A2 (en) Electronic device including light-emitting elements and method of operating electronic device
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2015099463A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2020189806A1 (ko) 차량 제어 장치
WO2022139262A1 (ko) 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법
EP3479562A2 (en) Electronic device including light-emitting elements and method of operating electronic device
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2019045521A1 (ko) 전자 장치 및 그 제어 방법
WO2019168323A1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
WO2020231156A1 (en) Electronic device and method for acquiring biometric information using light of display
WO2017065352A1 (ko) 차량용 어라운드 뷰 제공 장치 및 차량
WO2024167196A1 (ko) 차량 내 적외선 조명의 밝기를 제어하는 전자 장치 및 그 동작 방법
WO2019017586A1 (ko) 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
WO2021034002A1 (ko) 다중 광도 영상 획득 장치 및 방법
WO2021060636A1 (en) Motion detection device and method